Op deze pagina
- Wat Jev aan een toepassing toevoegt
- De uitdaging van CLM verdient voorrang
- 1. Zoeken dat controleert of een resultaat de vraag beantwoordt
- 2. Verzoeken naar de juiste pagina, wachtrij of agent sturen
- 3. Rommelige gegevens omzetten in een betrouwbare integratie
- 4. Het kleinste model kiezen dat de taak afmaakt
- 5. Claims controleren voordat klanten ze zien
- 6. Van transcripties en klantfeedback nuttige selecties maken
- 7. Interfaces die de volgende nuttige actie kiezen
- Waar ik zou beginnen
Iemand vroeg onze website hoeveel integraties we hebben. De website gaf advies over hoeveel velden er in een aanmeldformulier horen.
Het antwoord kwam snel. Het was nutteloos.
Beide vragen bevatten ‘hoeveel’. Onze zoekcode gaf een geaccepteerde FAQ-treffer een minimumscore van 0,86. Daardoor leek een zwakke overeenkomst overtuigend. De snelheid verborg de verkeerde beslissing.
Dit is het soort fout om in gedachten te houden wanneer je Ship with Jev bekijkt. Op 26 september 2026 stonden er 551 projecten van de community in de catalogus. Games staan er naast zoekcomponenten, browseragents, onderzoekstools en experimenten met routering. De catalogus schrijft prestatiecijfers toe aan de makers zelf. Het is een hulpmiddel om projecten te ontdekken, geen onafhankelijke benchmark.
De interessante vraag is welke van die patronen werk uit een echt product wegnemen.
Voor teams die integraties en zakelijke software bouwen, zijn dit de zeven toepassingen die ik als eerste zou evalueren. De volgorde is mijn redactionele oordeel over nut en toetsbaarheid. De workflows hieronder zijn voorstellen, tenzij een concrete implementatie wordt genoemd.
Wat Jev aan een toepassing toevoegt
TypeSafe beschrijft Jev als een model voor getypeerde oordelen. Geef het de relevante toestand en een vraag; je krijgt een keuze, een kans of een score die code kan gebruiken. De kaart met toepassingsmogelijkheden omvat routering, ophalen van informatie, verificatie en extractie.
Dat onderscheid heeft een nuttige voorloper in het YouTube-materiaal dat we hebben opgenomen. In een lezing van Diogo Almeida bij AI Engineer pleit de medeoprichter van TypeSafe voor software waarvan de bouwstenen meer intelligentie kunnen uitdrukken. Hij zet die ambitie af tegen het toevoegen van een assistent aan bestaande software. Dat is zijn visie op de richting van AI, geen benchmark van de huidige prestaties van Jev.
Denk aan een spoorwissel. Het nuttige resultaat is welk beschikbaar spoor de trein moet nemen. Een alinea over de sporen zet de wissel niet om.
Het bezwaar is terecht: ‘Een gewoon LLM kan al JSON teruggeven.’ Ja. De reden om een andere component te gebruiken, hangt af van gemeten kwaliteit, kosten en latentie voor die beslissing. Alleen een getypeerd antwoord bewijst niets daarvan.
De uitdaging van CLM verdient voorrang
Op 23 september publiceerden Jacky Kwok, Hangoo Kang, Tarun Suresh, Jon Saad-Falcon, Marco Pavone, Christopher Ré en Azalia Mirhoseini Contrastive Language Models. Hun werk betwist de aanname dat Jev de enige praktische route naar snelle semantische beslissingen is.
De auteurs rapporteren zero-shotresultaten die vergelijkbaar zijn met Jev bij computergebruik, games en toolaanroepen, met een tot 9 keer lagere latentie. Afzonderlijk melden ze 81,6% op 38 achtergehouden DeepSWE-taken en 87,6% op 30 Terminal-Bench 2.1-taken. Voor die programmeerresultaten kiezen fijngetunede CLM-verificatiemodellen uit oplossingen van andere modellen. Ze melden ook dat Jev in die opstelling onder hun referentie met willekeurige selectie scoort. De latentie is gemeten op een H100. Dit zijn bevindingen van de auteurs die we niet onafhankelijk hebben gereproduceerd. Oorspronkelijke evaluatie en methode.
Die vergelijking verandert wat we moeten testen. Een supportwachtrij kiezen, een zoekpassage selecteren en een lang programmeertraject beoordelen zijn verschillende taken. Een goed resultaat op de ene beslist niet over de andere.
CLM codeert toestanden en mogelijke acties apart, zodat representaties van herbruikbare acties in de cache kunnen blijven. De repository beschrijft een TypeSafe-compatibele interface en een standaardlimiet van 2.048 tokens voor de toestand. Langere toestanden worden afgekapt tenzij anders geconfigureerd. Compatibiliteit op API-niveau garandeert geen gelijkwaardige beslissingen.
De modelkaart van de uitgave noemt Qwen3-8B-representaties en waarschuwt dat de sterke verificatieresultaten fijngetunede heads vereisen. Ook maakt die duidelijk dat CLM aangeleverde kandidaten beoordeelt en zelf geen oplossing genereert. Open gewichten bieden een evaluatiemogelijkheid; hardware, hosting en onderhoud kosten nog steeds geld.
Voor Tajo zijn de lessen concreet: vergelijk beslismodellen op dezelfde gevallen, leg koude en warme latentie apart vast en test aannemelijke maar foute kandidaten. Leg versies van het model en eventuele encoders of projectieheads vast. Wijs niet-ondersteunde providerconfiguraties af in plaats van stil een andere provider te kiezen. Controleer de kalibratie opnieuw zodra het model of de kandidaatset verandert.
De zeven workflows hieronder blijven goede kandidaten voor evaluatie. Hun waarde hangt er niet van af of Jev elke vergelijking wint.
1. Zoeken dat controleert of een resultaat de vraag beantwoordt
Hier zou ik beginnen, omdat de fout zichtbaar is en de uitkomst eenvoudig te labelen. Beantwoordde de gevonden passage de vraag van de bezoeker?
Haal een kleine kandidaatset op met trefwoordzoeken, vectorrepresentaties of allebei. Vraag Jev vervolgens of elke passage het gevraagde feit bevat. Het voorbeeld voor het opnieuw rangschikken van resultaten van TypeSafe toont deze opzet in twee stappen. Het toont ook de beperking: een rangschikker kan geen document kiezen dat de eerste zoekstap heeft gemist.
- Ophalentrefwoorden, vectorrepresentatiesKleine kandidaatsetKan niets toevoegen wat gemist is
- Jevgetypeerd oordeelBevat deze passagehet gevraagde feit?
- Antwoordof geen antwoordJuist of onbeantwoordTotale latentie gemeten
Voor ons voorbeeld met het aantal integraties is de kortste route nog eenvoudiger. Tel de vermeldingen in de gezaghebbende catalogus. Leg uit wat het aantal betekent. Een gedocumenteerde connector is iets anders dan een door een klant ingestelde verbinding.
Bewaar semantisch oordeel voor vragen waarbij de betekenis interpretatie vraagt, zoals: ‘Kan dit alleen klanten overzetten die sinds gisteren zijn veranderd?’ Haal de relevante synchronisatiedocumentatie op en controleer of die incrementele updates behandelt.
De jevsearch-implementatie van Kyle McLaren maakt de volgorde concreet: trefwoordresultaten komen eerst, daarna volgt de rangschikking door Jev. De gepubliceerde benchmark gebruikt zijn eigen documentatieverzameling en gelabelde zoekvragen. Dat is bewijs voor die test, geen belofte voor een andere website of taal.
Meet juiste antwoorden, niet-onderbouwde antwoorden, onbeantwoorde vragen en totale latentie. Neem spelfouten en vertaalde vragen op. Snellere irrelevante resultaten blijven irrelevant.
2. Verzoeken naar de juiste pagina, wachtrij of agent sturen
Een gebruiker schrijft: ‘De contacten komen niet meer binnen sinds ik het account heb gewijzigd.’ Je toepassing moet een verbindingsprobleem onderscheiden van facturering, veldtoewijzing en een verzoek om een nieuwe synchronisatie te maken.
Geef het huidige scherm, de recente conversatie en de bestemmingen die deze gebruiker mag bereiken. Vraag om de beste bestemming, met een expliciete optie voor ‘geen overeenkomst’. De toepassing houdt de bestemmingscodes zelf onder controle.
Meerdere oordelen kunnen samen nuttig zijn: intentie, bestemming, urgentie en of het bericht een uitvoerbaar verzoek bevat. Met het fan-outpatroon van TypeSafe kunnen onafhankelijke vragen één aanvraag delen. Daarna gebruikt de code de relevante antwoorden.
Een onschuldige navigatiesuggestie en toestemming om werk uit te voeren blijven afzonderlijke beslissingen. De juiste factureringspagina vinden geeft geen toestemming voor een terugbetaling. De juiste agent vinden geeft die agent geen inloggegevens.
Het praktische voordeel is minder overdrachten en minder rondes om verduidelijking te vragen. Meet hoe vaak iemand in één keer de juiste bestemming bereikt. Houd een testsuite met vervolgberichten als ‘ja’, ‘nieuwe taak’ en ‘zijn die klaar?’ aan. Zonder context hebben die geen betekenis.
3. Rommelige gegevens omzetten in een betrouwbare integratie
Hier is een voorgestelde integratieworkflow. Een bronexport bevat customer_email, billing_email en account_owner_email. Het doelsysteem verwacht het e-mailadres van het contact.
Overeenkomst tussen tekenreeksen laat een echte dubbelzinnigheid bestaan. Veldbeschrijvingen, voorbeeldwaarden en het zakelijke doel helpen die op te lossen. Jev kan kiezen uit de echte bronvelden, terwijl code typen, verplichte waarden en beperkingen van het doel controleert.
Het verwante voorbeeld voor extractie van vooraf geparseerde waarden gebruikt een bijzonder nuttige opzet: code vindt kandidaatwaarden, het model kiest een kandidaat en code kopieert de originele waarde. Zo ontstaat er geen nieuw adres of bedrag.
- Codekandidaten vindencustomer_emailbilling_emailaccount_owner_email
- Jevéén kiezenVeldbeschrijvingenVoorbeeldwaarden, doel
- Codeoriginele waarde kopiërenTypen, verplichte waardenBeperkingen van het doel
Bewaar bij een integratie van CRM en e-mailmarketing het bronveld en de toewijzingsbeslissing samen. Toon een voorbeeld van de betrokken records. Laat onzekere toewijzingen open totdat ze zijn gecontroleerd.
Dat levert economisch voordeel op: een goedgekeurde schematoewijzing is herbruikbaar. Je hoeft het model niet voor elke rij aan te roepen zolang de betekenis van het veld gelijk blijft.
Meet afgewezen records en foute toewijzingen aan de hand van een gecontroleerde steekproef. Een geslaagde API-aanvraag bewijst dat de payload is geaccepteerd; niet dat het juiste e-mailadres bij het juiste contact terechtkwam.
4. Het kleinste model kiezen dat de taak afmaakt
Modelroutering is aantrekkelijk wanneer een toepassing alles naar haar duurste model stuurt. Een label aanpassen, een zoekresultaat beoordelen en een ingewikkelde architectuur onderzoeken stellen verschillende eisen.
Bepaal eerst welke modellen zijn geconfigureerd en de gegevens van de taak mogen ontvangen. Leg vast welke tools ze ondersteunen en hoe ze in de praktijk presteren. Daarna kan een afgebakend oordeel een passende optie uit die set aanbevelen. TypeSafe behandelt dit patroon in zijn voorbeelden van modelroutering.
De Jev Router van OpenRouter biedt dit patroon onder de model-ID typesafe/jev-router via de chat-API. Volgens de vermelding kiest hij zowel het model als de redeneerinspanning wanneer een gesprek verandert. Onderzoek de toegestane achterliggende modellen, werkelijke kosten, gegevensverwerking en het gedrag bij toolaanroepen voordat je hem gebruikt. We hebben de vermelding gecontroleerd, maar de router niet gebenchmarkt.
Ons voorgestelde beleid begint met gewone code voor exacte regels en feiten. Gebruik een beslismodel voor begrensde semantische vragen, een geschikt generatief model voor schrijven of implementatie, en escalatie wanneer het bewijs daar reden toe geeft.
Wat heeft de taak nodig?
-
Exacte regels en feiten
Gewone code
-
Een begrensde semantische vraag
Beslismodel
-
Schrijven of implementatie
Een geschikt generatief model
-
Het bewijs rechtvaardigt meer
Escaleren
De router kost zelf tijd en geld. Voor duidelijke, herhaalbare taken kan een vaste regel beter zijn. Vergelijk bij dubbelzinnige taken de routering met een vast model op afgerond werk.
Houd kosten per geaccepteerd resultaat, nieuwe pogingen, escalatiepercentage en later ontdekte fouten bij. Een goedkope eerste aanroep kan een dure workflow worden als iemand de uitkomst moet herstellen.
5. Claims controleren voordat klanten ze zien
Een bronverwijzing kan bestaan zonder de zin ernaast te ondersteunen. Een bron kan een geplande functie beschrijven terwijl het antwoord stelt dat die vandaag beschikbaar is.
Het voorbeeld voor citatiecontrole van TypeSafe scheidt twee controles. Gewone tekstvergelijking ontdekt een ontbrekend citaat. Een semantisch oordeel beoordeelt of de omliggende brontekst de claim ondersteunt.
Pas dezelfde aanpak toe op een supportantwoord, een gegenereerde integratiehandleiding of het voorgestelde afrondingsrapport van een agent. Bewaar de claim, bronpassage en het oordeel zodat iemand ze kan controleren.
Afronding vereist nog steeds rechtstreeks bewijs. Tests tonen het geteste gedrag aan. Een uitrolrecord toont een uitrol aan. Een semantisch oordeel kan een verschil tussen een rapport en het bewijs markeren; het kan ontbrekend bewijs niet maken.
Deze toepassing is aantrekkelijk omdat de controle voor een bestaande publicatiestap kan plaatsvinden. Meet niet-onderbouwde claims die door de controle komen, onderbouwde claims die onnodig worden tegengehouden en het extra controlewerk. Begin met concrete fouten die je systeem nu al maakt.
6. Van transcripties en klantfeedback nuttige selecties maken
Een transcriptiearchief wordt nuttig wanneer iemand de belangrijke passage kan vinden. ‘Bevat het woord integratie’ is een zwak filter voor ‘legt uit waarom een klant de installatie afbrak’.
Een aanpak is waarschijnlijke passages ophalen en daarna enkele eigenschappen beoordelen: beschrijft deze passage een probleem bij de inrichting, bevat zij een concreet voorbeeld of is zij zonder ontbrekende context te begrijpen?
Houd de bron-URL en tijdcode bij elke geselecteerde passage. De tijdcode komt uit de transcriptie. Het model beoordeelt de relevantie.
Voor een video-editor kunnen die signalen een korte selectie van clips opleveren. Voor een productteam kunnen ze terugkerende bezwaren ordenen. Voor een marketeer kunnen ze bewijs van klanten scheiden van niet-onderbouwde campagneclaims.
Het patroon voor samengestelde scores van TypeSafe houdt de dimensies gescheiden zodat code de gewichten kan wijzigen. Een clip voor een handleiding kan anders zijn dan een clip voor een korte productdemonstratie. Hergebruik de oordelen zolang bewijs en criteria gelijk blijven.
JevQL is een verwante community-implementatie: semantische voorwaarden voor PostgreSQL-rijen, buiten de database geëvalueerd. De documentatie laat zien dat gewone filters de rekening beïnvloeden. Beperk de geschikte rijen voordat je semantische oordelen opvraagt.
Meet hoeveel voorstellen de beoordelaars accepteren en hoeveel tijd het vinden van bruikbaar materiaal scheelt. Een score voor de kracht van een opening voorspelt geen weergaven.
7. Interfaces die de volgende nuttige actie kiezen
Een instellingenscherm kan het verzoek krijgen: ’Pauzeer deze synchronisatie tot morgen.’ Een browseragent moet misschien kiezen uit de zichtbare bedieningselementen op de huidige pagina.
In ons voorgestelde interfaceontwerp levert de toepassing toegestane acties en de huidige toestand aan. Jev kiest daaruit. De interface toont het relevante bedieningselement of een controleerbaar voorstel.
Ship with Jev bevat Gregor Zunics demo voor het zoeken naar vluchten in de browser. De gemelde looptijd en kosten gelden voor die demonstratie. De overdraagbare gedachte is bij elke stap kiezen uit beschikbare acties; een andere browserworkflow moet zelf worden gecontroleerd.
De actualiteit van de toestand telt. Als het geselecteerde account of de pagina verandert terwijl een oordeel wordt gevormd, verwerp dan het verouderde resultaat. Koppel acties aan het account en de toestand die werden beoordeeld.
Dit kan ook een catalogus van getypeerde interfaces nuttig maken. Een model kiest een bekende weergave en de begrensde gegevens ervan; gewone rendercode maakt de interface. Meet afgeronde taken en verkeerde acties, vooral of de bedieningselementen begrijpelijk blijven.
Waar ik zou beginnen
Kies de herhaalde beslissing die nu al zichtbaar verspilling veroorzaakt. Bouw met de echte fouten ervan de evaluatieset.
| Bestaand probleem | Eerste proef | Te verzamelen bewijs |
|---|---|---|
| Zoeken beantwoordt de verkeerde vraag | Een gevonden shortlist beoordelen | Juiste antwoorden, onthoudingen, latentie |
| Verzoeken gaan van team naar team | Kiezen uit toegestane wachtrijen | Juistheid van de eerste route, overdrachten |
| Imports vragen handmatige veldtoewijzing | Echte bronvelden kiezen | Toewijzingsfouten, controletijd |
| Elke taak gebruikt het grootste model | Geschikte taken routeren | Kosten per geaccepteerd resultaat |
| Gegenereerde antwoorden claimen te veel | Claims met bronnen vergelijken | Niet-onderbouwde claims die doorkomen |
| Niemand gebruikt het transcriptiearchief | Passages met tijdcodes teruggeven | Acceptatie door beoordelaars, tijd tot bewijs |
| Gebruikers vinden bedieningselementen niet | Een beschikbare actie voorstellen | Afrondingspercentage, verkeerde keuzes |
Neem de betrouwbaarheidsdrempel van een demo niet zomaar over. De documentatie over confidence van TypeSafe legt uit dat de confidence van Choice en Score een verdeling samenvat. Zij bewijst niet dat de invoer compleet was of dat de gekozen actie geoorloofd is.
Neem gevallen op waarin geen kandidaat past. Neem een onbeschikbare dienst op. Neem elke taal op die je wilt ondersteunen. Bewaar de modelversie en vraagdefinities bij de resultaten, zodat een latere wijziging eerlijk kan worden vergeleken.
Voor een integratieproduct zou ik beginnen met zoekrelevantie en veldtoewijzing. Beide verkorten de weg naar een werkende synchronisatie. Bij beide kun je de fout bekijken voordat die een klantprobleem wordt.
Kies één verkeerd antwoord dat je software vandaag geeft. Zorg dat de volgende stap voortaan betrouwbaar de juiste is.
Veelgestelde vragen
Waar is Jev nuttig voor?
Jev levert getypeerde semantische oordelen: een bestemming kiezen, controleren of bewijs een vraag beantwoordt, een bronwaarde selecteren of een item volgens criteria scoren. Die oordelen kunnen zoeken, supportroutering, veldtoewijzing in integraties, verificatie en modelselectie sturen. Berekeningen, rechten en uitvoering blijven bij gewone code.
Kan Jev het LLM in een toepassing vervangen?
Het kan sommige aanroepen vervangen waarvan het gewenste resultaat een keuze of score is. Een uitleg schrijven, code genereren en open redeneren vragen nog steeds om een geschikt generatief model. Evalueer de hele workflow in plaats van aan te nemen dat een beslismodel elke LLM-aanroep vervangt.
Bewijst de confidence van Jev dat een antwoord juist is?
Nee. De confidence van Choice en Score vat de verdeling over de gegeven opties of niveaus samen. Ontbrekend bewijs en slechte kandidaten kunnen nog steeds een foute beslissing opleveren. Meet nauwkeurigheid en onthouding op representatieve voorbeelden en controleer bevoegdheden apart.