Op deze pagina
Een antwoord over een geretourneerde bestelling ziet er klaar voor verzending uit: grammaticaal juist, vriendelijk en kort. In dit denkbeeldige geval geeft een automatische beoordeling de volle score. De assistent vertelt de klant ook dat de terugbetaling is uitgevoerd, hoewel niemand het betaalsysteem heeft gecontroleerd.
De fout zit niet in een zwakke zin. Ze zit in een zwakke definitie van goed.
In een opgenomen demonstratie van evaluatie maakt een team scores voor een agent die softwaredocumentatie schrijft. Het interessante moment komt wanneer de persoon die het werk kent, beschrijft wat kwaliteit betekent en een tool dat omzet in criteria. Later roept een lage score de juiste twijfel op: heeft de agent een oplossing nodig, of de beoordeling?
De rubriek is een theorie over de taak. Test die theorie.
Begin met de fout die alles afkeurt
Teams beginnen vaak met eigenschappen die makkelijk te scoren zijn: helderheid, toon, structuur en volledigheid. Ze zijn nuttig. Ze zijn zelden voldoende.
Voor het denkbeeldige terugbetalingsantwoord staat ‘zeg nooit dat een terugbetaling is uitgevoerd zonder betalingsbewijs’ boven de kwaliteit van de tekst. Voor een gegevenssynchronisatie is ‘koppel het facturatie-e-mailadres niet aan het e-mailadres van de accounteigenaar’ belangrijker dan een fraaie uitleg van de veldtoewijzing.
Vraag de domeinexpert om drie soorten gevallen: één duidelijk goed, één duidelijk fout en één waarover deskundige mensen kunnen verschillen. Bewaar de bronrecords en de reden van elk oordeel. Als een geval afhangt van een regel die kan veranderen, sla dan de versie van die regel bij het label op.
De eerste ronde mag klein zijn. Vaag mag ze niet zijn.
- Taakeigenaar
goede, foute en betwiste gevallen
- Exacte controles identiteit · toestemming · doeltoestand
code handhaaft feiten
- Semantische rubriek
beoordeel alleen wat interpretatie vraagt
- Verschillen onderzoeken
labels en criteria verbeteren
| Controle | Betere eigenaar | Waarom |
|---|---|---|
| Vereiste toestemming bestaat | Code en gezaghebbende records | Het is een exact feit met gevolgen |
| Doel-ID hoort bij de bronidentiteit | Code en testrecord | Een model mag geen identificatie raden |
| Antwoord behandelt de vraag van de klant | Door mensen getoetste rubriek, eventueel modelbeoordelaar | Betekenis vraagt interpretatie |
| Toon past bij de situatie | Door mensen getoetste rubriek, eventueel modelbeoordelaar | Meer dan één vorm kan goed zijn |
Onze gids voor AI in bestaande workflows maakt onderscheid tussen beperkte modeltaken, vaste regels en menselijke controle bij risico. Code hoort oorspronkelijke waarden te kopiëren en voorwaarden te controleren nadat een model een keuze heeft gemaakt. Het vertrouwen van het model wordt geen toestemming.
Een score erft de blinde vlekken van de rubriek
Het bezwaar is terecht: ‘Een mens kan niet elke uitvoering van een agent nakijken. We hebben een schaalbare beoordelaar nodig.’ Ja. De vraag is wat die beoordelaar opschaalt.
Als de rubriek een fraai antwoord beloont maar nooit controleert of de bestelling echt is terugbetaald, maakt automatisering die omissie groter. Een getal met twee decimalen oogt precies. Het kan nog steeds het verkeerde meten.
De documentatie van Google Cloud over het evalueren van beoordelaars beschrijft een bruikbare controle: verzamel gevallen met menselijke beoordelingen, voer de modelmaat uit en vergelijk de scores. Het punt is niet dat één mens onfeilbaar is. Het model heeft een maatstaf van buitenaf nodig voordat zijn score gewicht krijgt.
Onderzoek verschillen, niet alleen de gemiddelde overeenstemming. Als de beoordelaar een antwoord goedkeurt dat een teamleider van de klantenservice afkeurt, zoek dan het ontbrekende criterium. Als twee experts van mening verschillen, bewaar beide labels en zoek de regel die zij anders lezen. Middel het geschil niet ongemerkt weg.
De keuze van gevallen is net zo belangrijk als de formulering van de criteria. Een verzameling gewone successen kan een beoordelaar betrouwbaar laten lijken terwijl de moeilijke gevallen ontbreken. Neem onvolledige records, tegenstrijdige instructies en gevallen op waarbij stoppen en vragen het juiste antwoord is. Houd daarnaast een aparte set gevallen die de makers van de rubriek niet hebben gebruikt bij het afstellen. Zo moet een wijziging die vertrouwde voorbeelden verbetert, zich ook elders bewijzen. Als de bedrijfsregel verandert, werk dan labels en verwachte uitkomsten bij; een bevroren testset kan het beleid van gisteren belonen.
Houd de uitkomst vast aan de beoordeling
Een rubriek voor een synchronisatieagent moet tot het klantresultaat reiken. Is het juiste contact gewijzigd? Is toestemming gerespecteerd? Kan een mislukt record opnieuw worden verwerkt zonder een ingrijpende actie te herhalen?
De Brevo-connectorgids legt uit waarom een geslaagde API-aanroep kan samengaan met een ontbrekend kenmerk. Een beoordeling die alleen de aanroep controleert, mist het resultaat. Een beoordeling die alleen de bestemming controleert, kan een verboden route missen die toevallig de juiste waarde opleverde. Bij risico tellen beide.
Begin met één beperkte taak en een paar foutsoorten. Laat de gevallen labelen door de persoon die de taak bezit. Zet exacte controles in code en gebruik een modelbeoordelaar alleen wanneer taal of oordeel dat echt nodig maakt. Voer dezelfde gevallen opnieuw uit na een wijziging van prompt, model of tool. Leg vast wat latere fouten over de rubriek laten zien.
De kosten zijn tijd van deskundigen vooraf. De winst is dat elke latere score een betekenis heeft die iemand kan verdedigen.
Een dashboard toont een score. Alleen de rubriek vertelt wat je hebt geteld.
Veelgestelde vragen
Wie moet de beoordelingscriteria voor een AI-agent bepalen?
De mensen die de taak en de gevolgen kennen, bepalen wat aanvaardbaar is en welke fouten een resultaat afkeuren. Ontwikkelaars maken daarvan herhaalbare controles en toetsen of een modelbeoordelaar het eens is met menselijke beoordelingen.
Bewijst een hoge beoordelaarsscore dat een agent werkt?
Nee. De score meet overeenstemming met een rubriek op de geteste gevallen. Een zwakke rubriek, niet-representatieve gevallen of een slecht afgestemde beoordelaar kan een schadelijk resultaat hoog waarderen.
Wat moet code controleren in plaats van een modelbeoordelaar?
Controleer exacte rechten, recordidentificaties, verplichte toolaanroepen en de toestand in het doelsysteem waar mogelijk met code. Een modelbeoordelaar is nuttig voor betekenis en kwaliteit die vaste regels niet kunnen beslissen.