7 načina primene Jeva koji uklanjaju stvarni posao iz softvera

Neko je pitao naš veb-sajt koliko integracija imamo. Odgovorio je savetom o tome koliko polja treba da ima obrazac za registraciju.

Odgovor je stigao brzo. Bio je beskoristan.

Oba pitanja su sadržala „koliko”. Naš kod za pretraživanje je prihvaćenom poklapanju sa često postavljanim pitanjem dodelio minimalnu ocenu 0,86, pa je slabo poklapanje delovalo uverljivo. Brzina je prikrila pogrešnu odluku.

O takvoj grešci vredi razmisliti dok pregledate Ship with Jev. Dana 26. septembra 2026. katalog je navodio 551 projekat zajednice. Igre stoje uz komponente za pretraživanje, agente za pregledač, istraživačke alate i eksperimente sa usmeravanjem. Katalog podatke o performansama pripisuje njihovim autorima; služi za otkrivanje projekata, a nije nezavisni uporedni test.

Zanimljivo je pitanje koji od tih obrazaca uklanja posao iz stvarnog proizvoda.

Za timove koji grade integracije i poslovni softver najpre bih procenio sledećih sedam. Redosled je urednička procena korisnosti i mogućnosti testiranja. Primeri tokova rada u nastavku su predloženi dizajni, osim kada je navedena konkretna implementacija.

Šta Jev donosi aplikaciji

TypeSafe opisuje Jev kao model za tipizovane procene. Dajte mu relevantno stanje i pitanje; dobićete izbor, verovatnoću ili ocenu koju kod može da upotrebi. Njegova mapa slučajeva upotrebe obuhvata usmeravanje, pronalaženje, proveru i izdvajanje.

Ta razlika ima koristan prethodnik u YouTube materijalu koji smo obradili. U predavanju Dioga Almeide na konferenciji AI Engineer, suosnivač TypeSafea zagovara softver čiji osnovni delovi mogu da izraze više inteligencije. Tu ambiciju poredi sa dodavanjem asistenta postojećem softveru. To je njegov argument o smeru razvoja AI-ja, a ne uporedni test trenutnih performansi Jeva.

Zamislite železničku skretnicu. Koristan rezultat je izbor dostupnog koloseka kojim voz treba da krene. Pasus koji opisuje koloseke ne dodaje ništa samom prebacivanju.

Prigovor je razuman: „Običan LLM već može da vrati JSON.” Da. Razlog za drugačiju komponentu zavisi od izmerenog kvaliteta, troška i kašnjenja pri toj odluci. Tipizovani odgovor sam po sebi ne dokazuje ništa od toga.

Izazov CLM-a zaslužuje prvo mesto

Dana 23. septembra Jacky Kwok, Hangoo Kang, Tarun Suresh, Jon Saad-Falcon, Marco Pavone, Christopher Ré i Azalia Mirhoseini objavili su Contrastive Language Models. Njihov rad dovodi u pitanje pretpostavku da je Jev jedini praktičan put do brzih semantičkih odluka.

Autori navode rezultate bez dodatnog treniranja na zadatku uporedive sa Jevom za korišćenje računara, igre i pozivanje alata, uz do devet puta manje kašnjenje. Zasebno navode 81,6 % na 38 izdvojenih zadataka DeepSWE i 87,6 % na 30 zadataka Terminal-Bench 2.1. Ti rezultati programiranja koriste dodatno trenirane CLM provere koje biraju među rešenjima drugih modela. Navode i da je Jev u toj postavci provere bio ispod njihove referentne vrednosti nasumičnog izbora. Kašnjenje je izmereno na H100. To su nalazi autora koje nismo nezavisno ponovili. Originalna evaluacija i metodologija.

To poređenje menja ono što treba da testiramo. Izbor reda za podršku, izbor pasusa iz pretrage i procena dugog niza programerskih koraka različiti su zadaci. Dobar rezultat u jednom ne rešava ostale.

CLM odvojeno kodira stanja i moguće radnje, pa se vektorski prikazi radnji mogu sačuvati i ponovo koristiti. Njegov repozitorijum dokumentuje interfejs kompatibilan sa TypeSafeom i podrazumevano ograničenje stanja na 2.048 tokena; duža stanja se skraćuju ako nije drugačije podešeno. Kompatibilnost na nivou API-ja ne dokazuje jednake odluke.

Kartica objavljenog modela navodi vektorske prikaze Qwen3-8B i upozorava da snažni rezultati provera zahtevaju dodatno trenirane izlazne slojeve. Takođe jasno kaže da CLM ocenjuje ponuđene kandidate i ne generiše rešenje. Otvorene težine nude mogućnost evaluacije; hardver, posluživanje i održavanje i dalje koštaju.

Za Tajo su pouke konkretne: uporedite modele za odluke na istim slučajevima, zasebno beležite kašnjenje prvog i sledećih poziva i testirajte uverljive, ali pogrešne kandidate. Fiksirajte verziju modela i svakog enkodera ili projekcionog sloja. Odbijte nepodržane konfiguracije dobavljača umesto da tiho izaberete drugog. Ponovo proverite kalibraciju kada se promeni model ili skup kandidata.

Sedam tokova rada u nastavku i dalje su korisni kandidati za evaluaciju. Njihova vrednost ne zavisi od toga da Jev pobedi u svakom poređenju.

1. Pretraga koja proverava odgovara li rezultat na pitanje

To je moj prvi izbor jer je greška vidljiva, a ishod se lako može označiti. Da li je vraćeni pasus odgovorio na pitanje posetioca?

Pronađite mali skup kandidata pretragom ključnih reči, vektorskim prikazima ili obema metodama. Zatim pitajte Jev da li svaki pasus sadrži traženu činjenicu. TypeSafeov vodič za ponovno rangiranje prikazuje tu strukturu u dva koraka. Pokazuje i ograničenje: model za ponovno rangiranje ne može da izabere dokument koji početna pretraga nije pronašla.

1. Preuzimanje

   ključne reči, vektori

   Mali skup kandidata

   Ne dodaje ono što je propustilo
2. Jev

   tipizovana procena

   Da li ovaj odlomak

   navodi traženu činjenicu?
3. Odgovor

   ili bez odgovora

   Tačan ili bez odgovora

   Meri se ukupno kašnjenje

Za naš primer s brojem integracija najkraći put je još jednostavniji. Prebrojte stavke u merodavnom katalogu. Navedite šta taj broj znači. Dokumentovani konektor i veza koju je podesio kupac različite su stvari.

Semantičku procenu čuvajte za pitanja čije značenje traži tumačenje, na primer: „Može li ovo da prenese samo kupce koji su se promenili od juče?” Pronađite odgovarajuću dokumentaciju o sinhronizaciji, pa proverite da li govori o inkrementalnim ažuriranjima.

Implementacija jevsearch Kylea McLarena pokazuje sled: prvo stižu rezultati po ključnim rečima, a zatim Jevovo rangiranje. Objavljeni uporedni test koristi sopstveni korpus dokumentacije i označene upite. To je koristan dokaz o tom testu, a ne obećanje za drugi veb-sajt ili jezik.

Merite tačne odgovore, odgovore bez podloge, pitanja bez odgovora i ukupnu latenciju. Uključite tipfelere i prevedene upite. Brži nerelevantni rezultati i dalje su nerelevantni.

2. Usmeravanje zahteva na pravu stranicu, u red ili agentu

Korisnik piše: „Kontakti su prestali da stižu nakon što sam promenio nalog.” Vaša aplikacija mora da razlikuje probleme sa vezom od naplate, mapiranja polja i zahteva za novu sinhronizaciju.

Dostavite trenutni ekran, nedavni razgovor i odredišta dostupna tom korisniku. Zatražite najbolje odredište, uz izričitu opciju „nema poklapanja”. Identifikatori odredišta neka ostanu pod kontrolom aplikacije.

Zajedno može biti korisno nekoliko procena: namera, odredište, hitnost i da li poruka sadrži zahtev na koji se može delovati. TypeSafeov obrazac fan-out omogućava da nezavisna pitanja dele jedan zahtev. Kod zatim koristi relevantne odgovore.

Bezazlena preporuka za navigaciju i dozvola za izvršavanje posla ostaju odvojene odluke. Pronalaženje prave stranice za naplatu ne odobrava povraćaj novca. Pronalaženje pravog agenta ne daje mu pristupne podatke.

Praktična korist su manje predaja između timova i manje ponavljanja razjašnjenja. Merite koliko često korisnik iz prvog pokušaja stigne na pravo odredište. Čuvajte skup primera za ponovno testiranje s naknadnim porukama poput „da”, „novi zadatak” i „da li su gotovi?”. One imaju smisla samo uz kontekst.

3. Mapiranje neurednih podataka u pouzdanu integraciju

Evo predloženog toka integracije. Izvoz izvornog sistema sadrži customer_email, billing_email i account_owner_email. Odredišni sistem očekuje imejl adresu kontakta.

Sličnost naziva ostavlja stvarnu dvosmislenost. Opisi polja, primeri vrednosti i poslovna svrha pomažu da se ona razreši. Jev može da izabere među stvarnim izvornim poljima, dok kod proverava tipove, obavezne vrednosti i ograničenja odredišta.

Povezani vodič za izdvajanje unapred prepoznatih vrednosti koristi posebno koristan pristup: kod pronalazi moguće vrednosti, model bira kandidata, a kod kopira izvornu vrednost. Tako se izbegava izmišljanje zamenske adrese ili iznosa.

1. Kod

   pronalazi kandidate

   customer_email

   billing_email

   account_owner_email
2. Jev

   bira jedno

   Opisi polja

   Primeri vrednosti, svrha
3. Kod

   kopira izvornu vrednost

   Tipovi, obavezne vrednosti

   Ograničenja odredišta

Za integraciju CRM-a i imejl marketinga sačuvajte izvorno polje i odluku o mapiranju zajedno. Prikažite pregled zapisa na koje će promena uticati. Nesigurna mapiranja ostavite nerešenim do provere.

Tu postoji ekonomska prednost: odobreno mapiranje šeme može ponovo da se koristi. Nije potreban poziv modela za svaki red kada značenje polja ostaje isto.

Merite odbijene zapise i netačna mapiranja u odnosu na provereni uzorak. Uspešan API zahtev dokazuje da su podaci prihvaćeni; ne dokazuje da je prava imejl adresa stigla do pravog kontakta.

4. Izbor najmanjeg modela koji može završiti zadatak

Usmeravanje između modela je privlačno kada aplikacija sve šalje najskupljem modelu. Promena oznake, procena rezultata pretrage i zahtevno istraživanje arhitekture imaju različite potrebe.

Najpre odredite modele koji su konfigurisani i smeju da prime podatke zadatka. Zabeležite alate koje podržavaju i uočene performanse. Zatim uska procena može da preporuči odgovarajuću opciju iz tog skupa. TypeSafe taj obrazac uključuje u primere usmeravanja između modela.

OpenRouterov Jev Router nudi taj obrazac kroz svoj chat API pod identifikatorom modela typesafe/jev-router. Opis navodi da bira i model i nivo napora za zaključivanje dok se razgovor menja. Pre usvajanja procenite dozvoljene modele koji se pozivaju dalje, stvarne troškove, obradu podataka i ponašanje tokom poziva alata. Proverili smo opis; nismo sproveli uporedni test tog usmerivača.

Naša predložena politika polazi od običnog koda za tačna pravila i činjenice. Model za odluke koristite za ograničena semantička pitanja, odgovarajući generativni model za pisanje ili implementaciju, a eskalaciju kada je dokazi opravdavaju.

Šta zadatak traži?

1. Tačna pravila i činjenice

   Običan kod

2. Ograničeno semantičko pitanje

   Model za odluke

3. Pisanje ili implementacija

   Odgovarajući generativni model

4. Dokazi opravdavaju više

   Eskalirati

I sam usmerivač košta vremena i novca. Za očigledne zadatke koji se ponavljaju fiksno pravilo može biti bolje. Za dvosmislene zadatke uporedite usmeravanje sa osnovnom vrednošću fiksnog modela na završenom poslu.

Pratite trošak po prihvaćenom rezultatu, ponovne pokušaje, udeo eskalacija i greške otkrivene kasnije. Jeftiniji prvi poziv može postati skup tok rada ako neko mora da popravi njegov rezultat.

5. Provera tvrdnji pre nego što postanu odgovori kupcima

Citat može da postoji, a da ipak ne podržava rečenicu pored sebe. Izvor može da opisuje planiranu funkciju, dok odgovor tvrdi da je dostupna danas.

TypeSafeov vodič za proveru citata razdvaja dve provere. Obično poklapanje teksta otkriva citat koji nedostaje. Semantička procena ocenjuje da li okolni tekst izvora podržava tvrdnju.

Primenite isti pristup na odgovor podrške, generisani vodič za integraciju ili agentov predloženi izveštaj o završetku. Tvrdnja, pasus izvora i zaključak neka ostanu dostupni za pregled.

Završetak i dalje zahteva direktne dokaze. Testovi potvrđuju testirano ponašanje. Zapis o primeni potvrđuje primenu. Semantička procena može da označi neslaganje između izveštaja i dokaza; ne može da stvori dokaz koji nedostaje.

Ova primena je privlačna jer može da se doda pre postojećeg koraka objavljivanja. Merite nepotkrepljene tvrdnje koje prođu, potkrepljene tvrdnje koje su nepotrebno blokirane i dodatni posao pregleda. Počnite od konkretnih grešaka za koje već znate da ih vaš sistem pravi.

6. Pretvaranje transkripata i povratnih informacija kupaca u korisne uže liste

Arhiva transkripata je korisna kada neko može da pronađe važan pasus. „Sadrži reč integracija” slab je filter za „objašnjava zašto je kupac odustao tokom postavljanja”.

Jedan pristup je da pronađete verovatne pasuse, pa procenite nekoliko konkretnih osobina: da li opisuju prepreku pri postavljanju, sadrže konkretan primer ili imaju smisla bez konteksta koji nedostaje?

Uz svaki izabrani pasus zadržite URL izvora i vremensku oznaku. Vremenska oznaka dolazi iz transkripta. Model procenjuje relevantnost.

Video-montažeru ti signali mogu da daju uži izbor klipova za pregled. Produktnom timu mogu da pomognu da organizuje prigovore koji se ponavljaju. Marketinškom stručnjaku mogu da odvoje dokaze kupaca od nepotkrepljenih tvrdnji u kampanji.

TypeSafeov obrazac složenog ocenjivanja drži dimenzije odvojenim, tako da kod može da menja njihove težine. Klip pogodan za vodič može da se razlikuje od onog za kratku demonstraciju proizvoda. Ponovo koristite procene kada osnovni dokazi i kriterijumi ostanu isti.

JevQL nudi srodnu implementaciju zajednice: semantičke uslove nad redovima PostgreSQL-a, procenjene izvan baze podataka. Njegova dokumentacija pokazuje zašto su obični filteri važni za trošak. Smanjite broj odgovarajućih redova pre traženja semantičkih procena.

Merite koliko recenzenti prihvataju izbor i vreme ušteđeno pri pronalaženju upotrebljivog materijala. Ocena privlačnosti uvoda nije prognoza broja pregleda.

7. Interfejsi koji biraju sledeću korisnu radnju

Na ekran sa podešavanjima može stići poruka: „Zaustavite ovu sinhronizaciju do sutra.” Agent za pregledač možda mora da izabere među kontrolama vidljivim na trenutnoj stranici.

U našem predloženom dizajnu interfejsa aplikacija dostavlja dozvoljene radnje i trenutno stanje. Jev bira među njima. Interfejs prikazuje odgovarajuću kontrolu ili predlog koji može da se pregleda.

Ship with Jev uključuje demonstraciju Gregora Zunica o traženju letova u pregledaču. Navedeno vreme izvođenja i trošak pripadaju toj demonstraciji. Prenosiva ideja je izbor među dostupnim radnjama u svakom koraku; drugi tok u pregledaču zahteva sopstvenu proveru.

Ažurnost stanja je važna. Ako se izabrani nalog ili stranica promeni dok procena traje, odbacite zastareli rezultat. Vežite radnje za nalog i stanje koji su pregledani.

Tako i tipizovani katalog interfejsa može da postane koristan. Model bira poznati prikaz i njegove ograničene podatke; običan kod za prikaz stvara interfejs. Merite uspešno završavanje zadatka i pogrešne radnje, uz posebnu pažnju da li kontrole ostaju razumljive.

Gde bih počeo

Izaberite odluku koja se ponavlja i već pravi vidljiv gubitak. Koristite njene stvarne greške za izradu skupa za evaluaciju.

Postojeći problem	Prvi eksperiment	Dokazi koje vredi prikupiti
Pretraga odgovara na pogrešno pitanje	Procenite uži izbor pronađenih rezultata	Tačni odgovori, uzdržavanja, kašnjenje
Zahtevi kruže između timova	Birajte iz dozvoljenih redova	Tačnost prvog usmeravanja, predaje
Uvoz zahteva ručno mapiranje	Izaberite stvarna izvorna polja	Greške mapiranja, vreme pregleda
Svaki zadatak koristi najveći model	Usmerite odgovarajuće zadatke	Trošak po prihvaćenom rezultatu
Generisani odgovori tvrde previše	Proverite tvrdnje prema izvorima	Nepotkrepljene tvrdnje koje prođu
Niko ne koristi arhivu transkripata	Vratite pasuse s vremenskim oznakama	Prihvatanje recenzenata, vreme do pronalaska dokaza
Korisnici ne mogu da nađu kontrole	Predložite dostupnu radnju	Udeo završenih zadataka, pogrešni izbori

Nemojte da kopirate prag pouzdanosti iz demonstracije. TypeSafeova dokumentacija o pouzdanosti objašnjava da pouzdanost za Choice i Score sažima raspodelu. Ne dokazuje da su ulazni podaci potpuni ni da je izabrana radnja odobrena.

Uključite slučajeve u kojima nijedan kandidat ne odgovara. Uključite nedostupnu uslugu. Uključite svaki jezik koji nameravate da podržite. Sačuvajte verziju modela i definicije pitanja uz rezultate kako bi kasnija promena mogla pošteno da se uporedi.

Za integracioni proizvod počeo bih relevantnošću pretrage i mapiranjem polja. Oba skraćuju put do funkcionalne sinhronizacije. Oba vam omogućavaju da vidite grešku pre nego što preraste u problem kupca.

Izaberite jedan pogrešan odgovor koji vaš softver danas daje. Neka pouzdano izabere pravi sledeći korak.