Na tejto stránke
Odpoveď o vrátenej objednávke vyzerá pripravená na odoslanie: je gramaticky správna, priateľská a krátka. V tomto ilustratívnom prípade jej automatické skóre pridelí plný počet bodov. Asistent však zákazníkovi zároveň oznámi, že refundácia už prebehla, hoci nikto neskontroloval platobný systém.
Chyba nie je v slabej vete. Je v slabej definícii dobrej práce.
V načítanej ukážke hodnotenia tím vytvára skóre pre agenta, ktorý píše softvérovú dokumentáciu. Zaujímavý moment nastane, keď človek znalý úlohy opíše, čo znamená kvalita, a nástroj z opisu vytvorí kritériá. Neskôr nízke skóre vyvolá správnu pochybnosť: možno treba opraviť agenta, alebo možno hodnotenie.
Kritériá sú teóriou o úlohe. Otestujte túto teóriu.
Začnite diskvalifikačnou chybou
Tímy často začínajú rozmermi, ktoré sa ľahko bodujú: jasnosť, tón, štruktúra a úplnosť. Sú užitočné. Málokedy stačia.
Pri ilustratívnej odpovedi o refundácii musí byť „nikdy netvrďte, že refundácia prebehla bez potvrdenia z platobného systému“ dôležitejšie než kvalita textu. Pri synchronizácii dát záleží viac na „nemapujte fakturačný e-mail na e-mail vlastníka účtu“ než na príjemne napísanom vysvetlení mapy polí.
Požiadajte odborníka na danú oblasť o tri druhy prípadov: jeden zjavne dobrý, jeden zjavne nesprávny a jeden, pri ktorom sa informovaní ľudia môžu rozísť. Zachovajte zdrojové záznamy aj dôvod každého úsudku. Ak prípad závisí od pravidla, ktoré sa môže zmeniť, uložte verziu pravidla spolu s hodnotením.
Prvý pokus môže byť malý. Nesmie byť neurčitý.
- Vlastník úlohy
dobré, zlé a sporné prípady
- Presné kontroly identita · súhlas · cieľ
kód vynucuje fakty
- Významové kritériá
model hodnotí len to, čo vyžaduje výklad
- Kontrola nezhôd
oprava hodnotení a kritérií
| Kontrola | Vhodnejší vlastník | Prečo |
|---|---|---|
| Existuje požadované oprávnenie | Kód a autoritatívne záznamy | Fakt je presný a má následky |
| ID v cieli zodpovedá identite v zdroji | Kód a testovací záznam | Model nemá hádať identifikátor |
| Odpoveď rieši otázku zákazníka | Ľuďmi preskúmané kritériá, prípadne modelový hodnotiteľ | Význam vyžaduje výklad |
| Tón sa hodí k situácii | Ľuďmi preskúmané kritériá, prípadne modelový hodnotiteľ | Existuje viac prijateľných foriem |
Náš sprievodca zavádzaním AI do existujúcich pracovných postupov pripomína potrebu určiť hranice úlohy. Pri typovaných rozhodnutiach je hranica rovnaká: kód prenáša pôvodné hodnoty a po výbere modelom kontroluje obmedzenia. Sebaistota modelu sa nestáva oprávnením.
Skóre dedí slepé miesta kritérií
Námietka je oprávnená: „Človek nemôže kontrolovať každý beh agenta. Potrebujeme hodnotiteľa, ktorý zvládne väčší objem.“ Áno. Otázka je, čo taký hodnotiteľ násobí.
Ak kritériá odmeňujú vyladenú odpoveď a nikdy nekontrolujú, či bola objednávka skutočne refundovaná, automatizácia znásobí vynechanie. Číslo s dvomi desatinnými miestami vyzerá presne. Stále môže merať nesprávnu vec.
Dokumentácia Google Cloud k hodnoteniu hodnotiaceho modelu opisuje praktickú kontrolu: pripravte prípady s ľudskými hodnoteniami, spustite modelovú metriku a porovnajte jej skóre s týmito hodnoteniami. Nejde o tvrdenie, že pohľad jedného človeka je neomylný. Ide o to, že model potrebuje vonkajšie meradlo, než jeho skóre dostane váhu.
Skúmajte nezhody, nie iba priemernú zhodu. Ak hodnotiteľ pustí odpoveď, ktorú vedúci podpory odmietol, pýtajte sa, ktoré chýbajúce kritérium to vysvetľuje. Ak nesúhlasia dvaja odborníci, ponechajte obe hodnotenia a nájdite pravidlo, ktoré vykladajú rozdielne. Rozpor potichu nezahladzujte priemerom.
Výber prípadov je rovnako dôležitý ako znenie kritéria. Zbierka bežných úspechov môže vytvoriť dojem spoľahlivého hodnotiteľa, hoci ťažké prípady zostali mimo. Zahrňte neúplné záznamy, protichodné pokyny a situácie, keď je správnou odpoveďou zastaviť sa a opýtať. Ponechajte samostatný súbor prípadov, na ktorých autori kritériá neladili, aby sa zmena zlepšujúca známe príklady musela osvedčiť aj inde. Keď sa zmení obchodné pravidlo, obnovte hodnotenia aj očakávané výsledky; zamrznutý súbor testov môže odmeňovať včerajšie pravidlá.
Výsledok musí zostať súčasťou hodnotenia
Kritériá pre synchronizačného agenta majú sledovať zákaznícky výsledok. Zmenil sa správny kontakt? Rešpektoval sa súhlas? Dá sa neúspešný záznam spracovať znova bez opakovania kroku s následkami?
Sprievodca konektorom Brevo vysvetľuje, prečo môže úspešné volanie API existovať súčasne s chýbajúcim atribútom. Hodnotenie, ktoré kontroluje len zavolanie koncového bodu, výsledok prehliadne. Hodnotenie sledujúce iba cieľ môže prehliadnuť zakázanú cestu, ktorá náhodou skončila správnou hodnotou. Keď cesta nesie riziko, záleží na oboch.
Začnite jednou úzkou úlohou a niekoľkými spôsobmi zlyhania. Prípady označte spolu s človekom, ktorý úlohu vlastní. Presné kontroly vložte do kódu a modelového hodnotiteľa použite len tam, kde je jazyk alebo úsudok naozaj potrebný. Rovnaké prípady spustite po zmene promptu, modelu alebo nástroja. Zaznamenajte, čo neskoršie zlyhania odhalia o kritériách.
Cena je čas odborníka na začiatku. Prínosom je význam každého neskoršieho skóre, ktorý niekto dokáže obhájiť.
Panel môže ukázať skóre. Len kritériá povedia, čo ste počítali.
Často Kladené Otázky
Kto má určiť kritériá hodnotenia agenta AI?
Ľudia, ktorí poznajú úlohu a jej následky, majú určiť prijateľné výsledky a diskvalifikačné chyby. Vývojári môžu tieto úsudky premeniť na opakovateľné kontroly a overiť, či sa modelový hodnotiteľ zhoduje s ľudskými hodnoteniami.
Dokazuje vysoké skóre hodnotiteľa, že agent funguje?
Nie. Skóre meria zhodu s kritériami na testovaných prípadoch. Slabé kritériá, nereprezentatívne prípady či zle kalibrovaný hodnotiteľ môžu dať vysoké skóre škodlivému výsledku.
Čo má namiesto modelového hodnotiteľa kontrolovať kód?
Presné oprávnenia, identifikátory záznamov, povinné volania nástrojov a cieľový stav kontrolujte podľa možnosti kódom. Modelový hodnotiteľ je užitočný pre významové vlastnosti, ktoré presné pravidlá nerozhodnú.