Na ovoj stranici
Odgovor o vraćenoj porudžbini deluje spremno za slanje: gramatički ispravan, ljubazan i kratak. U ovom ilustrativnom slučaju automatska ocena daje mu sve poene. Pomoćnik uz to kaže kupcu da je povraćaj novca izvršen, iako niko nije proverio sistem plaćanja.
Greška nije u lošoj rečenici. Greška je u slaboj definiciji dobrog.
U pregledanoj demonstraciji ocenjivanja tim pravi ocene za agenta koji piše softversku dokumentaciju. Zanimljiv trenutak nastupa kada osoba koja poznaje posao opiše kvalitet, a alat opis pretvori u kriterijume. Kasnije nizak rezultat izaziva pravo pitanje: možda agent treba popravku, a možda samo ocenjivanje.
Kriterijumi su teorija zadatka. Testirajte tu teoriju.
Počnite greškom koja poništava rezultat
Timovi često počinju dimenzijama koje se lako ocenjuju: jasnoćom, tonom, strukturom, potpunošću. Korisne su. Retko su dovoljne.
Za ilustrativan odgovor o povraćaju, „nikada ne tvrdi da je novac vraćen bez potvrde iz sistema plaćanja“ važnije je od kvaliteta stila. Za sinhronizaciju podataka, „ne mapiraj imejl za fakture na imejl vlasnika naloga“ važnije je od toga da li objašnjenje mape lepo zvuči.
Zatražite od stručnjaka za oblast tri vrste slučajeva: očigledno dobar, očigledno pogrešan i jedan o kom se upućeni ljudi mogu ne slagati. Sačuvajte izvorne zapise i razlog za svaku ocenu. Ako slučaj zavisi od pravila koje se može promeniti, čuvajte verziju pravila uz oznaku.
Prva serija može biti mala. Ne sme biti neodređena.
- Vlasnik zadatka
dobri, loši i sporni slučajevi
- Stroge provere identitet · dozvola · odredište
kod sprovodi činjenice
- Semantički kriterijumi
model procenjuje samo ono što traži tumačenje
- Pregled neslaganja
ispravite oznake i kriterijume
| Provera | Bolji nosilac | Zašto |
|---|---|---|
| Obavezna dozvola postoji | Kod i autoritativni zapisi | Činjenica je tačna i važna |
| ID u odredištu odgovara izvornom identitetu | Kod i testni zapis | Model ne treba da pogađa identifikator |
| Odgovor zaista odgovara na kupčevo pitanje | Ljudski pregledani kriterijumi, možda model | Značenje traži tumačenje |
| Ton odgovara situaciji | Ljudski pregledani kriterijumi, možda model | Postoji više prihvatljivih oblika |
Naš vodič za AI u postojećim tokovima rada takođe razlikuje korisnu procenu modela od kontrole izvršavanja: odredite gde AI pomaže, a zatim merite konačni rezultat. Visoka sigurnost modelove procene sama po sebi ne daje dozvolu.
Ocena nasleđuje slepe tačke kriterijuma
Prigovor je pošten: „Čovek ne može pregledati svaki rad agenta. Treba nam ocenjivač koji radi u velikom obimu.“ Da. Pitanje je šta on ponavlja u velikom obimu.
Ako kriterijumi nagrađuju uglađen odgovor, a nikad ne proveravaju da li je novac stvarno vraćen, automatizacija će umnožiti taj propust. Broj sa dve decimale izgleda precizno. I dalje može meriti pogrešnu stvar.
Dokumentacija Google Cloud za ocenjivanje modela koji sude opisuje praktičnu proveru: pripremite slučajeve sa ljudskim ocenama, pokrenite meru zasnovanu na modelu i uporedite rezultate. To ne znači da je mišljenje jedne osobe nepogrešivo. Modelu treba spoljašnje merilo pre nego što njegova ocena dobije težinu.
Pregledajte neslaganja, ne samo prosečno slaganje. Ako model odobri odgovor koji je rukovodilac podrške odbio, pitajte koji nedostajući kriterijum to objašnjava. Ako se dva stručnjaka ne slažu, sačuvajte obe oznake i pronađite pravilo koje različito tumače. Spor ne sakrivajte u proseku.
Uzorak je važan koliko i formulacija kriterijuma. Zbirka rutinskih uspeha može učiniti ocenjivača pouzdanim naizgled, dok teški slučajevi ostaju netaknuti. Uključite nepotpune zapise, sukobljena uputstva i slučajeve kada je pravi odgovor stati i pitati. Držite poseban skup slučajeva na kome autori nisu podešavali kriterijume, tako da izmena koja popravlja poznate primere mora dokazati vrednost i drugde. Kada se poslovno pravilo promeni, osvežite oznake i očekivane ishode; zamrznut test skup može nagrađivati jučerašnju politiku.
Ishod držite uz ocenjivanje
Kriterijumi za agenta koji sinhronizuje podatke treba da prate rezultat kupca. Da li se pravi kontakt promenio? Da li je saglasnost poštovana? Može li se neuspešan zapis ponoviti bez ponavljanja radnje sa posledicama?
Vodič za Brevo konektor objašnjava zašto uspešan API poziv može postojati uz atribut koji nedostaje. Ocena koja proverava samo poziv krajnje tačke propušta ishod. Ona koja proverava samo odredište može propustiti zabranjen put koji je slučajno dao pravu vrednost. Oboje je važno kada put nosi rizik.
Počnite jednim uskim zadatkom i nekoliko načina otkaza. Označite slučajeve sa osobom koja posao poseduje. Stroge provere stavite u kod, a model koristite samo gde jezik ili procena to zaista traže. Iste slučajeve pokrenite posle izmene prompta, modela ili alata. Zabeležite šta kasnije greške otkrivaju o kriterijumima.
Cena je vreme stručnjaka na početku. Dobitak je to što svaka kasnija ocena ima značenje koje neko može braniti.
Komandna tabla može prikazati ocenu. Samo kriterijumi govore šta ste brojali.
Često Postavljana Pitanja
Ko treba da definiše kriterijume za ocenu AI agenta?
Ljudi koji poznaju zadatak i njegove posledice treba da odrede prihvatljive rezultate i greške koje ih poništavaju. Inženjeri mogu te procene pretvoriti u ponovljive provere i testirati slaganje modela sa ljudskim ocenama.
Da li visoka ocena modela dokazuje da agent radi?
Ne. Ocena meri slaganje sa kriterijumima na testiranim slučajevima. Slabi kriterijumi, nereprezentativni slučajevi ili loše podešen model mogu dati visoku ocenu štetnom rezultatu.
Šta treba proveravati kodom umesto modelom?
Tačne dozvole, identifikatore zapisa, obavezne pozive alatima i stanje odredišta proveravajte kodom gde god je moguće. Model koristite za semantičke osobine koje stroga pravila ne mogu razrešiti.