7 použití Jev, ktoré odstraňujú skutočnú prácu zo softvéru

Niekto sa nášho webu opýtal, koľko máme integrácií. Odpovedal radou, koľko polí má obsahovať registračný formulár.

Odpoveď prišla rýchlo. Bola zbytočná.

Obe otázky obsahovali slovo „koľko“. Náš vyhľadávací kód prideľoval prijatej zhode s často kladenou otázkou minimálne skóre 0,86. Slabá zhoda tak vyzerala presvedčivo. Rýchlosť zakryla nesprávne rozhodnutie.

Práve nad takýmto zlyhaním sa oplatí zamyslieť pri prezeraní Ship with Jev. K 26. septembru 2026 obsahoval katalóg 551 komunitných projektov. Popri hrách sú v ňom vyhľadávacie komponenty, agenti pre prehliadače, výskumné nástroje a experimenty so smerovaním. Katalóg pripisuje údaje o výkone ich autorom. Je to nástroj na objavovanie projektov, nie nezávislý porovnávací test.

Zaujímavá otázka je, ktoré z týchto postupov odstránia prácu zo skutočného produktu.

Pre tímy vyvíjajúce integrácie a podnikový softvér by som najprv vyhodnotil týchto sedem. Poradie je redakčným úsudkom o užitočnosti a testovateľnosti. Príklady pracovných postupov nižšie sú navrhované riešenia, pokiaľ nie je pomenovaná a prepojená konkrétna implementácia.

Čo Jev prináša do aplikácie

TypeSafe opisuje Jev ako model na úsudky s definovanými dátovými typmi. Poskytnete mu relevantný stav a otázku; dostanete výber, pravdepodobnosť alebo skóre, ktoré dokáže spracovať kód. Jeho mapa použití zahŕňa smerovanie, vyhľadávanie informácií, overovanie a extrakciu.

Toto rozlíšenie má užitočného predchodcu v materiáloch z YouTube, ktoré sme spracovali. V prednáške Dioga Almeidu na AI Engineer spoluzakladateľ TypeSafe obhajuje softvér, ktorého stavebné prvky dokážu prejaviť viac inteligencie. Túto ambíciu porovnáva s pridaním asistenta k existujúcemu softvéru. Je to jeho argument o smerovaní AI, nie meranie súčasného výkonu Jev.

Predstavte si železničnú výhybku. Užitočným výstupom je určenie, ktorú z dostupných koľají má vlak zvoliť. Odsek opisujúci koľaje výhybke nič nepridáva.

Námietka je rozumná: „Bežný LLM už dokáže vrátiť JSON.“ Áno. Dôvod na použitie iného komponentu musí vychádzať z nameranej kvality, nákladov a latencie daného rozhodnutia. Samotná odpoveď s definovaným typom nedokazuje nič z toho.

Najprv treba prebrať výzvu zo strany CLM

Jacky Kwok, Hangoo Kang, Tarun Suresh, Jon Saad-Falcon, Marco Pavone, Christopher Ré a Azalia Mirhoseini zverejnili 23. septembra prácu Contrastive Language Models. Spochybňuje predpoklad, že Jev je jedinou praktickou cestou k rýchlym sémantickým rozhodnutiam.

Autori uvádzajú výsledky bez ukážok úlohy porovnateľné s Jev pri používaní počítača, hraní hier a volaní nástrojov, s až 9× nižšou latenciou. Samostatne uvádzajú 81,6 % pri 38 úlohách DeepSWE vyhradených na testovanie a 87,6 % pri 30 úlohách Terminal-Bench 2.1. Tieto výsledky programovania využívajú doladené overovacie modely CLM, ktoré vyberajú z riešení vytvorených inými modelmi. Pri rovnakom nastavení overovania uvádzajú aj výsledok Jev pod referenčnou úrovňou náhodného výberu. Latenciu merali na H100. Ide o zistenia autorov, ktoré sme nezávisle nezopakovali. Pôvodné vyhodnotenie a metodika.

Toto porovnanie mení to, čo by sme mali testovať. Výber frontu podpory, výber pasáže z vyhľadávania a vyhodnotenie dlhého priebehu programovania sú rôzne úlohy. Dobrý výsledok v jednej nerozhoduje o ostatných.

CLM kóduje stavy a kandidátske akcie oddelene, takže opakovane použiteľné vektorové reprezentácie akcií možno ukladať do vyrovnávacej pamäte. Jeho repozitár dokumentuje rozhranie kompatibilné s TypeSafe a predvolený limit stavu 2 048 tokenov. Dlhšie stavy sa skracujú, ak nie je nastavené inak. Kompatibilita na úrovni API nedokazuje rovnocennosť rozhodnutí.

Zverejnená karta modelu uvádza vektorové reprezentácie Qwen3-8B a upozorňuje, že silné výsledky overovania vyžadujú doladené výstupné vrstvy. Zároveň jasne hovorí, že CLM hodnotí dodaných kandidátov a nevytvára riešenie. Otvorené váhy poskytujú možnosť vyhodnotenia; hardvér, prevádzka modelu a údržba majú naďalej svoje náklady.

Pre Tajo sú poučenia konkrétne: porovnávajte rozhodovacie modely na rovnakých prípadoch, oddelene zaznamenávajte latenciu pri studenom a zahriatom spustení a testujte vierohodných nesprávnych kandidátov. Zafixujte verziu modelu aj prípadného enkodéra či projekčnej vrstvy. Nepodporované konfigurácie poskytovateľa odmietnite namiesto tichého výberu iného poskytovateľa. Pri zmene modelu alebo súboru kandidátov znovu overte kalibráciu.

Nasledujúcich sedem pracovných postupov zostáva užitočnými kandidátmi na vyhodnotenie. Ich hodnota nezávisí od toho, či Jev vyhrá každé porovnanie.

1. Vyhľadávanie, ktoré overuje, či výsledok odpovedá na otázku

Toto je moja prvá voľba, pretože zlyhanie je viditeľné a výsledok sa dá ľahko označiť. Odpovedala vrátená pasáž na to, čo sa návštevník pýtal?

Získajte malý súbor kandidátov pomocou kľúčových slov, vektorových reprezentácií alebo oboch prístupov. Potom sa Jev opýtajte, či každá pasáž poskytuje požadovaný fakt. Príručka pre zmenu poradia výsledkov od TypeSafe ukazuje túto dvojfázovú štruktúru. Odhaľuje aj jej hranicu: model meniaci poradie nemôže vybrať dokument, ktorý sa vôbec nenašiel.

1. Vyhľadanie

   kľúčové slová, vektory

   Malá množina kandidátov

   Nepridá, čo vynechalo
2. Jev

   typovaný úsudok

   Poskytuje tento úryvok

   požadovaný fakt?
3. Odpoveď

   alebo žiadna odpoveď

   Správna, alebo nezodpovedaná

   Meria sa celková latencia

V našom príklade s počtom integrácií je najkratšia cesta ešte jednoduchšia. Spočítajte položky v autoritatívnom katalógu. Uveďte, čo tento počet znamená. Zdokumentovaný konektor a pripojenie nastavené zákazníkom sú rozdielne veci.

Sémantický úsudok si vyhraďte pre otázky, ktorých význam treba interpretovať, napríklad: „Dokáže to preniesť iba zákazníkov, ktorí sa od včera zmenili?“ Vyhľadajte príslušnú dokumentáciu synchronizácie a overte, či sa venuje inkrementálnym aktualizáciám.

Implementácia jevsearch od Kylea McLarena ukazuje konkrétne poradie: najprv prídu výsledky podľa kľúčových slov, potom ich zoradí Jev. Zverejnený porovnávací test využíva vlastný súbor dokumentácie a označené dopyty. Je to užitočný dôkaz o danom teste, nie prísľub pre iný web alebo jazyk.

Merajte správne odpovede, nepodložené odpovede, nezodpovedané otázky a celkovú latenciu. Zahrňte preklepy aj preložené dopyty. Rýchlejšie nerelevantné výsledky zostávajú nerelevantné.

2. Smerovanie požiadaviek na správnu stránku, do frontu alebo k agentovi

Používateľ napíše: „Po zmene účtu prestali prichádzať kontakty.“ Vaša aplikácia musí odlíšiť riešenie problémov s pripojením od fakturácie, mapovania polí a žiadosti o vytvorenie novej synchronizácie.

Poskytnite aktuálnu obrazovku, nedávnu konverzáciu a ciele dostupné danému používateľovi. Požiadajte o najlepší cieľ a výslovne zahrňte možnosť, že nevyhovuje žiadny. Identifikátory cieľov ponechajte pod kontrolou aplikácie.

Spoločne môže byť užitočných viacero úsudkov: zámer, cieľ, naliehavosť a to, či správa obsahuje vykonateľnú požiadavku. Vzor fan-out od TypeSafe umožňuje nezávislým otázkam zdieľať jednu požiadavku. Kód potom spracuje relevantné odpovede.

Neškodný návrh navigácie a oprávnenie vykonať prácu zostávajú oddelenými rozhodnutiami. Nájdenie správnej fakturačnej stránky neoprávňuje na vrátenie peňazí. Nájdenie správneho agenta mu neposkytuje prihlasovacie údaje.

Praktickým prínosom je menej odovzdávaní a menej kôl objasňovania. Merajte, ako často používateľ dosiahne správny cieľ na prvý pokus. Uchovávajte súbor na opakované prehratie s nadväzujúcimi správami ako „áno“, „nová úloha“ a „sú už hotové?“ Zmysel dávajú len v kontexte.

3. Mapovanie neusporiadaných dát do spoľahlivej integrácie

Tu je navrhovaný integračný postup. Zdrojový export obsahuje customer_email, billing_email a account_owner_email. Cieľ očakáva e-mailovú adresu kontaktu.

Podobnosť reťazcov ponecháva skutočnú nejednoznačnosť. Popisy polí, vzorové hodnoty a obchodný účel ju pomáhajú vyriešiť. Jev môže vyberať zo skutočných zdrojových polí, zatiaľ čo kód kontroluje typy, povinné hodnoty a obmedzenia cieľa.

Súvisiaca príručka extrakcie z vopred spracovaných hodnôt používa mimoriadne užitočný návrh: kód nájde kandidátske hodnoty, model vyberie kandidáta a kód skopíruje pôvodnú hodnotu. Tým sa predíde vytváraniu náhradnej adresy alebo sumy.

1. Kód

   nájde kandidátov

   customer_email

   billing_email

   account_owner_email
2. Jev

   vyberie jedno

   Popisy polí

   Ukážkové hodnoty, účel
3. Kód

   skopíruje pôvodnú hodnotu

   Typy, povinné hodnoty

   Obmedzenia cieľového systému

Pri integrácii CRM a e-mailu uchovávajte zdrojové pole spolu s rozhodnutím o mapovaní. Zobrazte náhľad dotknutých záznamov. Neisté mapovania nechajte nevyriešené, kým ich niekto nepreverí.

Je tu aj ekonomická výhoda: schválené mapovanie schémy sa dá použiť opakovane. Ak sa význam poľa nezmenil, nepotrebujete volanie modelu pre každý riadok.

Merajte odmietnuté záznamy a nesprávne mapovania oproti preverenej vzorke. Úspešná požiadavka API dokazuje prijatie dát; nedokazuje, že správny e-mail skončil pri správnom kontakte.

4. Výber najmenšieho modelu, ktorý dokončí úlohu

Smerovanie medzi modelmi je zaujímavé, keď aplikácia posiela všetko svojmu najdrahšiemu modelu. Zmena označenia, posúdenie výsledku vyhľadávania a náročné skúmanie architektúry majú rôzne požiadavky.

Najprv definujte modely, ktoré sú nastavené a smú prijímať dáta danej úlohy. Zaznamenajte podporované nástroje a pozorovaný výkon. Potom môže úzko zameraný úsudok odporučiť vhodnú možnosť z tohto súboru. TypeSafe zahŕňa tento vzor do svojich príkladov smerovania medzi modelmi.

Jev Router od OpenRouter sprístupňuje tento postup prostredníctvom modelu s ID typesafe/jev-router vo svojom chatovom API. Jeho stránka opisuje výber modelu aj úrovne uvažovania podľa vývoja konverzácie. Pred nasadením vyhodnoťte povolené nadväzujúce modely, skutočné poplatky, spracovanie dát a správanie pri volaní nástrojov. Stránku sme overili; výkon tohto smerovača sme nemerali.

Navrhovaná politika začína bežným kódom pre presné pravidlá a fakty. Na ohraničené sémantické otázky použite rozhodovací model, na písanie alebo implementáciu vhodný generatívny model. K výkonnejšiemu modelu prejdite, keď to odôvodňujú dôkazy.

Čo úloha potrebuje?

1. Presné pravidlá a fakty

   Bežný kód

2. Vymedzená sémantická otázka

   Rozhodovací model

3. Písanie alebo implementácia

   Vhodný generatívny model

4. Dôkazy odôvodňujú viac

   Eskalovať

Aj samotný smerovač stojí čas a peniaze. Pri jasných opakovateľných úlohách môže byť lepšie pevné pravidlo. Pri nejednoznačných úlohách porovnávajte smerovanie s referenčným použitím jedného modelu podľa dokončenej práce.

Sledujte náklady na prijatý výsledok, opakované pokusy, mieru prechodu na výkonnejší model a neskôr odhalené zlyhania. Lacnejšie prvé volanie sa môže zmeniť na drahý pracovný postup, ak niekto musí opravovať jeho výstup.

5. Overovanie tvrdení predtým, než sa stanú odpoveďami pre zákazníkov

Citácia môže existovať a napriek tomu nepodporovať vetu vedľa nej. Zdroj môže opisovať plánovanú funkciu, kým odpoveď ju označuje za dostupnú už dnes.

Príručka kontroly citácií od TypeSafe oddeľuje dve kontroly. Bežné porovnávanie reťazcov odhalí chýbajúci citát. Sémantický úsudok posúdi, či okolitý text zdroja podporuje tvrdenie.

Rovnaký návrh použite pri odpovedi podpory, vygenerovanom integračnom návode alebo agentom navrhnutej správe o dokončení. Tvrdenie, zdrojovú pasáž a verdikt ponechajte dostupné na kontrolu.

Dokončenie stále vyžaduje priame dôkazy. Testy preukazujú testované správanie. Záznam o nasadení preukazuje nasadenie. Sémantický úsudok môže označiť nesúlad medzi správou a jej dôkazmi; nedokáže vytvoriť chýbajúce dôkazy.

Toto použitie je príťažlivé, pretože sa dá zaradiť pred existujúci krok publikovania. Merajte nepodložené tvrdenia, ktoré uniknú, podložené tvrdenia zbytočne zablokované kontrolou a vzniknutú prácu pri preverovaní. Začnite konkrétnymi chybami, o ktorých už viete, že ich Váš systém robí.

6. Premena prepisov a spätnej väzby zákazníkov na užitočné výbery

Archív prepisov začne byť užitočný, keď v ňom niekto nájde podstatnú pasáž. „Obsahuje slovo integrácia“ je slabým filtrom pre „vysvetľuje, prečo zákazník nedokončil nastavenie“.

Jedným z prístupov je vyhľadať pravdepodobné pasáže a potom posúdiť niekoľko konkrétnych vlastností: opisuje to prekážku pri nastavení, obsahuje to konkrétny príklad alebo sa to dá pochopiť samostatne bez chýbajúceho kontextu?

Pri každej vybranej pasáži zachovajte URL zdroja a časovú značku. Časová značka pochádza z prepisu. Model posudzuje relevantnosť.

Pre strihača videa môžu tieto signály vytvoriť krátky zoznam klipov na kontrolu. Produktovému tímu pomôžu usporiadať opakované námietky. Marketérovi môžu oddeliť dôkazy od zákazníkov od nepodložených tvrdení kampane.

Vzor kombinovaného hodnotenia od TypeSafe ponecháva dimenzie oddelené, aby kód mohol meniť ich váhy. Klip vhodný do návodu sa môže líšiť od klipu na krátku ukážku produktu. Ak sa podkladové dôkazy a kritériá nezmenili, použite úsudky opakovane.

JevQL ponúka súvisiacu komunitnú implementáciu: sémantické predikáty nad riadkami PostgreSQL, vyhodnocované mimo databázy. Jeho dokumentácia ukazuje, že bežné filtre ovplyvňujú účet. Pred vyžiadaním sémantických úsudkov znížte počet vhodných riadkov.

Merajte prijatie výberu pri kontrole a čas ušetrený hľadaním použiteľného materiálu. Skóre pútavosti úvodu nie je predpoveďou počtu pozretí.

7. Rozhrania, ktoré vyberajú ďalšiu užitočnú akciu

Obrazovka nastavení môže dostať požiadavku „Zastavte túto synchronizáciu do zajtra“. Agent v prehliadači môže potrebovať vybrať z ovládacích prvkov viditeľných na aktuálnej stránke.

V našom navrhovanom rozhraní aplikácia poskytne povolené akcie a aktuálny stav. Jev si medzi nimi vyberie. Rozhranie zobrazí príslušný ovládací prvok alebo návrh, ktorý sa dá preveriť.

Ship with Jev obsahuje ukážku vyhľadávania letov v prehliadači od Gregora Zunica. Uvedený čas behu a náklady patria k tejto ukážke. Prenositeľnou myšlienkou je výber z akcií dostupných v každom kroku; iný postup v prehliadači vyžaduje vlastné overenie.

Na aktuálnosti stavu záleží. Ak sa počas hodnotenia zmení vybraný účet alebo stránka, zastaraný výsledok zahoďte. Akcie viažte na účet a stav, ktoré boli preverované.

Takto môže byť užitočný aj katalóg rozhraní s definovanými dátovými typmi. Model vyberie známe zobrazenie a jeho ohraničené dáta; bežný vykresľovací kód vytvorí rozhranie. Merajte úspešné dokončenie úloh a nesprávne akcie. Osobitne sledujte, či ovládacie prvky zostávajú zrozumiteľné.

Kde by som začal

Vyberte opakované rozhodnutie, ktoré už spôsobuje viditeľné plytvanie. Na zostavenie hodnotiaceho súboru použite jeho skutočné zlyhania.

Existujúci problém	Prvý experiment	Dôkazy, ktoré sa oplatí zbierať
Vyhľadávanie odpovedá na nesprávnu otázku	Posúďte krátky zoznam nájdených výsledkov	Správne odpovede, zdržanie sa odpovede, latencia
Požiadavky sa presúvajú medzi tímami	Vyberte z povolených frontov	Presnosť prvého smerovania, odovzdania
Importy vyžadujú ručné mapovanie	Vyberte skutočné zdrojové polia	Chyby mapovania, čas kontroly
Každá úloha používa najväčší model	Smerujte vhodné úlohy	Náklady na prijatý výsledok
Generované odpovede preháňajú tvrdenia	Overujte tvrdenia oproti zdrojom	Nepodložené tvrdenia, ktoré uniknú
Archív prepisov nikto nepoužíva	Vracajte pasáže s časovými značkami	Prijatie pri kontrole, čas hľadania dôkazov
Používatelia nevedia nájsť ovládacie prvky	Navrhnite dostupnú akciu	Miera dokončenia, nesprávne voľby

Nekopírujte prah istoty z ukážky. Dokumentácia TypeSafe o istote vysvetľuje, že istota pri Choice a Score sumarizuje rozdelenie. Nie je dôkazom, že vstupy boli úplné alebo že zvolená akcia je povolená.

Zahrňte prípady, keď nevyhovuje žiadny kandidát. Zahrňte nedostupnú službu. Zahrňte každý jazyk, ktorý plánujete podporovať. Verziu modelu a definície otázok uchovávajte spolu s výsledkami, aby sa neskoršia zmena dala spravodlivo porovnať.

Pri integračnom produkte by som začal relevantnosťou vyhľadávania a mapovaním polí. Oboje skracuje cestu k fungujúcej synchronizácii. Oboje Vám umožňuje preskúmať chybu, skôr než prerastie do problému zákazníka.

Vyberte jednu nesprávnu odpoveď, ktorú Váš softvér dáva dnes. Naučte ho spoľahlivo urobiť správny ďalší krok.