Pe această pagină
Un răspuns despre o comandă returnată pare gata de trimis: este corect gramatical, prietenos și scurt. În acest caz ilustrativ, un scor automat îi dă punctaj maxim. Asistentul îi spune însă clientului și că rambursarea a fost emisă, deși nimeni nu a verificat sistemul de plăți.
Eroarea nu este o propoziție slabă. Este o definiție slabă a muncii bune.
Într-o demonstrație preluată despre evaluare, o echipă construiește scoruri pentru un agent care scrie documentație software. Momentul interesant este când persoana care cunoaște munca descrie ce înseamnă calitatea, iar un instrument transformă descrierea în criterii. Mai târziu, un scor mic stârnește îndoiala potrivită: poate agentul are nevoie de o reparație sau poate evaluarea.
Grila este o teorie despre sarcină. Testează teoria.
Începe cu greșeala descalificantă
Echipele încep adesea cu dimensiuni ușor de punctat: claritate, ton, structură, completitudine. Sunt utile. Rareori ajung.
Pentru răspunsul ilustrativ despre rambursare, „nu afirma niciodată că rambursarea este finalizată fără dovada rambursării din sistemul de plăți” este mai important decât calitatea prozei. La sincronizarea datelor, „nu mapa e-mailul de facturare în locul adresei proprietarului contului” contează mai mult decât frumusețea explicației hărții de câmpuri.
Cere expertului domeniului trei feluri de cazuri: unul evident bun, unul evident greșit și unul asupra căruia oameni informați ar putea să nu fie de acord. Păstrează înregistrările sursă și motivul fiecărei judecăți. Dacă un caz depinde de o regulă care se poate schimba, salvează versiunea regulii împreună cu eticheta.
Prima trecere poate fi mică. Nu poate fi vagă.
- Proprietarul sarcinii
cazuri bune, rele și disputate
- Verificări exacte identitate · permisiune · destinație
codul impune faptele
- Grilă semantică
modelul judecă doar ce cere interpretare
- Revizuirea dezacordurilor
corectează etichetele și criteriile
| Verificare | Proprietar mai potrivit | De ce |
|---|---|---|
| Permisiunea necesară există | Codul și înregistrările autoritative | Faptul este exact și are consecințe |
| ID-ul din destinație corespunde identității sursă | Codul și o înregistrare de test | Modelul nu ar trebui să ghicească un identificator |
| Răspunsul tratează întrebarea clientului | Grilă revizuită de oameni, eventual model evaluator | Sensul cere interpretare |
| Tonul se potrivește situației | Grilă revizuită de oameni, eventual model evaluator | Există mai multe forme acceptabile |
Ghidul nostru pentru introducerea AI în fluxurile existente ajută la definirea limitelor unei sarcini. La deciziile tipizate, granița este aceasta: codul copiază valorile originale și verifică restricțiile după ce modelul alege dintre candidați. Încrederea modelului nu devine permisiune.
Scorul moștenește punctele oarbe ale grilei
Obiecția este corectă: „Un om nu poate revizui fiecare rulare a agentului. Avem nevoie de un evaluator la scară.” Da. Întrebarea este ce anume multiplică evaluatorul.
Dacă grila răsplătește un răspuns bine formulat și nu verifică niciodată dacă acea comandă a fost într-adevăr rambursată, automatizarea va multiplica omisiunea. Un număr cu două zecimale arată precis. Poate măsura tot lucrul greșit.
Documentația Google Cloud despre evaluarea modelelor evaluatoare descrie un control practic: pregătește cazuri cu evaluări umane, rulează metrica bazată pe model și compară scorurile ei cu acele evaluări. Ideea nu este că părerea unei persoane este infailibilă. Modelul are nevoie de un reper extern înainte ca scorul său să cântărească.
Examinează dezacordurile, nu doar acordul mediu. Dacă evaluatorul acceptă un răspuns respins de responsabilul echipei de asistență, întreabă ce criteriu lipsă explică situația. Dacă doi experți nu sunt de acord, păstrează ambele etichete și găsește regula interpretată diferit. Nu ascunde dezacordul într-o medie.
Selecția cazurilor contează la fel de mult ca formularea criteriului. O colecție de succese obișnuite poate face evaluatorul să pară fiabil, în timp ce cazurile grele nu sunt atinse. Include înregistrări incomplete, instrucțiuni în conflict și cazuri unde răspunsul corect este oprirea și cererea de clarificări. Păstrează separat cazuri pe care autorii grilei nu au ajustat-o, astfel încât o schimbare care ajută exemplele familiare să fie testată și în altă parte. Când se schimbă regula de afaceri, actualizează etichetele și rezultatele așteptate; un set de teste înghețat poate răsplăti politica de ieri.
Ține rezultatul legat de evaluare
O grilă pentru un agent de sincronizare ar trebui să urmărească rezultatul clientului. S-a schimbat contactul corect? A fost respectat consimțământul? Poate fi reluată o înregistrare eșuată fără repetarea unei acțiuni cu consecințe?
Ghidul conectorului Brevo explică de ce un apel API reușit poate exista împreună cu un atribut lipsă. O evaluare care verifică doar dacă agentul a apelat punctul API va rata rezultatul. Una care verifică doar destinația poate rata o cale interzisă care întâmplător a lăsat valoarea potrivită. Ambele contează atunci când calea poartă un risc.
Începe cu o sarcină îngustă și câteva moduri de eșec. Etichetează cazurile împreună cu persoana care deține sarcina. Pune controalele exacte în cod și folosește evaluatorul-model doar acolo unde limba sau judecata chiar îl cer. Rulează aceleași cazuri după schimbarea promptului, modelului sau instrumentului. Notează ce arată eșecurile ulterioare despre grilă.
Costul este timpul expertului de la început. Câștigul este că fiecare scor viitor are un sens pe care cineva îl poate apăra.
Un panou poate arăta un scor. Numai grila îți spune ce ai numărat.
Întrebări Frecvente
Cine ar trebui să definească criteriile de evaluare ale unui agent AI?
Persoanele care cunosc sarcina și consecințele ei ar trebui să definească rezultatele acceptabile și greșelile descalificante. Inginerii pot transforma aceste judecăți în verificări repetabile și pot testa dacă evaluatorul-model se aliniază cu evaluările umane.
Un scor mare al evaluatorului dovedește că agentul funcționează?
Nu. Scorul măsoară acordul cu o grilă pentru cazurile testate. O grilă slabă, cazuri nereprezentative sau un evaluator prost calibrat pot puncta foarte bine un rezultat dăunător.
Ce ar trebui verificat prin cod, nu printr-un model evaluator?
Permisiunile exacte, identificatorii înregistrărilor, apelurile obligatorii de instrumente și starea destinației trebuie verificate prin cod ori de câte ori este posibil. Modelul evaluator este util pentru calități semantice pe care regulile exacte nu le pot hotărî.