Na této stránce
Odpověď o vrácené objednávce vypadá připravená k odeslání: je gramaticky správná, přátelská a stručná. V tomto ilustrativním případě jí automatické hodnocení dá plný počet bodů. Asistent však zákazníkovi také tvrdí, že peníze už byly vráceny, aniž kdokoli zkontroloval platební systém.
Chyba není ve stavbě věty. Je ve slabé definici dobré odpovědi.
V zaznamenané ukázce hodnocení tým vytváří skóre pro agenta píšícího softwarovou dokumentaci. Zajímavý okamžik nastává, když člověk znalý práce popíše její kvalitu a nástroj z tohoto popisu sestaví kritéria. Později nízké skóre vyvolá správnou pochybnost: možná je třeba opravit agenta, možná samotné hodnocení.
Rubrika je teorie úkolu. Otestujte ji.
Začněte chybou, která výsledek vyřazuje
Týmy často začínají dimenzemi, které se snadno bodují: jasnost, tón, struktura, úplnost. Jsou užitečné. Zřídka však stačí.
U ilustrativní odpovědi o vrácení peněz má „nikdy netvrdit, že refundace proběhla, bez potvrzení o vrácení peněz v platebním systému“ stát nad kvalitou prózy. U synchronizace dat je „nemapovat fakturační e-mail na e-mail vlastníka účtu“ důležitější než hezky napsané vysvětlení mapy polí.
Požádejte odborníka o tři druhy případů: zjevně dobrý, zjevně špatný a takový, o němž se informovaní lidé mohou přít. Zachovejte zdrojové záznamy i důvod každého úsudku. Závisí-li případ na pravidle, které se může změnit, uložte jeho verzi spolu s označením.
První sada může být malá. Nesmí být vágní.
- Vlastník úkolu
dobré, špatné a sporné případy
- Přesné kontroly identita · oprávnění · cíl
kód vynucuje fakta
- Významová rubrika
posuzujte jen to, co vyžaduje výklad
- Posouzení neshod
opravte označení a kritéria
| Kontrola | Vhodnější vlastník | Proč |
|---|---|---|
| Existuje požadované oprávnění | Kód a autoritativní záznamy | Fakt je přesný a má důsledky |
| Cílové ID odpovídá zdrojové identitě | Kód a testovací záznam | Model nemá hádat identifikátor |
| Odpověď řeší dotaz zákazníka | Rubrika posouzená lidmi, případně modelový posuzovatel | Význam vyžaduje výklad |
| Tón odpovídá situaci | Rubrika posouzená lidmi, případně modelový posuzovatel | Existuje více přijatelných podob |
Náš průvodce zaváděním AI do existujících postupů doporučuje úzký úkol pro model, evaluace a lidskou kontrolu rizikových akcí. U typovaných rozhodnutí může kód po výběru modelu zkopírovat původní hodnoty a zkontrolovat omezení. Jistota modelu se nemění v oprávnění.
Skóre zdědí slepá místa rubriky
Námitka je oprávněná: „Člověk nemůže kontrolovat každý běh agenta. Potřebujeme škálovatelný posuzovací model.“ Ano. Otázka je, co takový model škáluje.
Pokud rubrika odměňuje uhlazenou odpověď a nikdy nekontroluje, zda byly peníze opravdu vráceny, automatizace rozmnoží opomenutí. Číslo se dvěma desetinnými místy vypadá přesně. Přesto může měřit špatnou věc.
Dokumentace Google Cloud k hodnocení posuzovatele popisuje praktickou kontrolu: připravte případy s lidským hodnocením, spusťte metriku založenou na modelu a skóre porovnejte. Nejde o to, že názor jednoho člověka je neomylný. Model potřebuje vnější měřítko, než jeho skóre získá váhu.
Zkoumejte neshody, ne jen průměrnou shodu. Pokud posuzovatel schválí odpověď, kterou vedoucí podpory odmítl, hledejte chybějící kritérium. Pokud se dva odborníci neshodnou, uchovejte obě označení a najděte pravidlo, které vykládají různě. Spor tiše nezprůměrujte.
Výběr případů je stejně důležitý jako formulace kritéria. Soubor rutinních úspěchů může posuzovatele vykreslit jako spolehlivého a tvrdé případy nechat nedotčené. Zahrňte neúplné záznamy, rozporné pokyny a případy, kde je správné zastavit se a zeptat. Držte oddělený soubor případů, na kterých autoři rubriku neladili, aby se zlepšení známých příkladů muselo potvrdit i jinde. Při změně obchodního pravidla obnovte označení i očekávané výsledky; zamrzlý testovací soubor může odměňovat včerejší politiku.
Výsledek musí zůstat spojený s hodnocením
Rubrika pro synchronizačního agenta má sledovat výsledek zákazníka. Změnil se správný kontakt? Byl dodržen souhlas? Lze neúspěšný záznam znovu zpracovat bez zopakování akce s důsledky?
Průvodce konektorem Brevo vysvětluje, proč úspěšné volání API může existovat vedle chybějícího atributu. Hodnocení kontrolující jen volání koncového bodu mine výsledek. Hodnocení kontrolující jen cíl může minout zakázanou cestu, která náhodou skončila správnou hodnotou. Pokud cesta nese riziko, záleží na obojím.
Začněte jedním úzkým úkolem a několika způsoby selhání. Případy označte s člověkem, který úkol vlastní. Přesné kontroly vložte do kódu a modelového posuzovatele použijte jen tam, kde jej jazyk nebo úsudek opravdu vyžaduje. Po změně promptu, modelu nebo nástroje spusťte stejné případy. Zaznamenejte, co pozdější chyby odhalí o rubrice.
Cenou je čas odborníka na začátku. Ziskem je význam každého pozdějšího skóre, který někdo dokáže obhájit.
Dashboard může ukázat skóre. Jen rubrika říká, co jste počítali.
Často Kladené Otázky
Kdo má definovat kritéria hodnocení agenta AI?
Lidé znalí úkolu a jeho důsledků mají určit přijatelné výsledky a vyřazující chyby. Vývojáři mohou úsudky převést na opakovatelné kontroly a ověřit, zda modelový posuzovatel souhlasí s hodnocením lidí.
Dokazuje vysoké skóre posuzovatele, že agent funguje?
Ne. Skóre měří shodu s rubrikou na testovaných případech. Slabá rubrika, nereprezentativní případy nebo špatně kalibrovaný posuzovatel mohou dát vysoké skóre škodlivému výsledku.
Co má místo modelového posuzovatele kontrolovat kód?
Přesná oprávnění, identifikátory záznamů, povinná volání nástrojů a cílový stav se mají podle možností kontrolovat kódem. Modelový posuzovatel pomáhá u významových vlastností, které přesná pravidla nerozhodnou.