Ezen az oldalon
Egy visszaküldött rendelésre írt válasz küldésre késznek látszik: nyelvtanilag helyes, barátságos és rövid. Ebben a képzeletbeli esetben az automatikus pontszám teljes értéket ad. Az asszisztens azt is állítja, hogy a visszatérítés megtörtént, pedig senki sem ellenőrizte a fizetési rendszert.
Nem a mondat gyenge. A jó munka meghatározása az.
Egy feldolgozott értékelési bemutatóban csapat készít pontszámokat szoftverdokumentációt író ügynökhöz. Az érdekes pillanat az, amikor a feladatot ismerő ember elmondja, mit jelent a minőség, egy eszköz pedig szempontokká alakítja. Később az alacsony pontszám helyes kétséget ébreszt: talán az ügynököt kell javítani, talán az értékelést.
A szempontrendszer elmélet a feladatról. Az elméletet tesztelni kell.
Kezdd a kizáró hibával
A csapatok gyakran könnyen pontozható dimenziókkal kezdenek: érthetőség, hangnem, szerkezet, teljesség. Hasznosak. Ritkán elegendők.
A képzeletbeli visszatérítési válasznál a „fizetési igazolás nélkül soha ne állítsd, hogy a visszatérítés megtörtént” fontosabb a szöveg szépségénél. Adatszinkronizálásnál a „számlázási e-mail-címet ne képezd le a fióktulajdonos e-mail-címére” többet számít, mint a mezőleképezés magyarázatának stílusa.
Kérj a terület szakértőjétől háromféle esetet: nyilvánvalóan jót, nyilvánvalóan rosszat és olyat, amelyen tájékozott emberek is vitázhatnak. Őrizd meg a forrásrekordokat és az ítélet indokát. Ha egy eset változható szabálytól függ, a címkével együtt verziózd a szabályt.
Az első kör lehet kicsi. Homályos nem lehet.
- A feladat gazdája
jó, rossz és vitatott esetek
- Pontos ellenőrzések azonosság · jogosultság · célállapot
a kód érvényesíti a tényeket
- Szemantikai szempontok
csak az értelmezést igénylő részt ítéld meg
- Eltérések felülvizsgálata
címkék és szempontok javítása
| Ellenőrzés | Megfelelőbb felelős | Miért? |
|---|---|---|
| Megvan a szükséges engedély | Kód és mértékadó nyilvántartás | A tény pontos és fontos következményű |
| A célazonosító egyezik a forrás azonosságával | Kód és tesztrekord | A modell ne találgasson azonosítót |
| A válasz felel a vásárló kérdésére | Ember által felülvizsgált szempont, esetleg modellbíró | A jelentés értelmezést kíván |
| A hangnem illik a helyzethez | Ember által felülvizsgált szempont, esetleg modellbíró | Több elfogadható forma létezik |
A meglévő munkafolyamatokba bevezetett MI-ről szóló útmutatónk a megengedett értékek és kötelező szabályok előzetes meghatározását, majd példákon való ellenőrzését javasolja. A modell pontszáma nem válik engedéllyé.
A pontszám örökli a szempontok vakfoltjait
Jogos ellenvetés: „Ember nem vizsgálhat minden ügynöki futást. Skálázható bíró kell.” Igaz. A kérdés, mit skáláz a bíró.
Ha a szempontrendszer a csiszolt választ jutalmazza, de sosem ellenőrzi, valóban megtörtént-e a visszatérítés, az automatizálás a hiányt skálázza. A két tizedesjegyű szám pontosnak látszik. Mégis rossz dolgot mérhet.
A Google Cloud bíróértékelési dokumentációja gyakorlati ellenőrzést ír le: készíts emberi értékelésekkel ellátott eseteket, futtasd a modellalapú metrikát, és vesd össze a pontszámokat. Nem az a gondolat, hogy egyetlen ember tévedhetetlen. Külső mércének kell lennie, mielőtt a modell pontszáma súlyt kaphat.
Az átlagos egyezés mellett az eltéréseket is nézd. Ha a bíró átenged egy választ, amelyet az ügyfélszolgálat felelőse elutasított, kérdezd meg, melyik hiányzó szempont magyarázza ezt. Ha két szakértő vitatkozik, tartsd meg mindkét címkét, és keresd meg a szabályt, amelyet máshogyan értenek. Ne átlagold el csendben a vitát.
A mintaválasztás legalább olyan fontos, mint a szempont megfogalmazása. A hétköznapi sikerek gyűjteményében a bíró megbízhatónak tűnhet, miközben a nehéz esetek érintetlenek maradnak. Legyenek benne hiányos rekordok, ellentmondó utasítások és olyan esetek, ahol a helyes válasz megállni és kérdezni. Tarts külön olyan eseteket, amelyekre a szempontok szerzői nem hangoltak, hogy a megszokott példáknál javuló változás máshol is bizonyítson. Ha üzleti szabály változik, frissítsd a címkéket és a várt eredményeket; a befagyott tesztkészlet a tegnapi szabályt jutalmazhatja.
Az eredmény maradjon az értékeléshez kötve
Szinkronizáló ügynöknél a szempontrendszer kövesse a vásárlói eredményt. A megfelelő kapcsolat változott? Tiszteletben maradt a hozzájárulás? A hibás rekord újrajátszható következményes művelet megismétlése nélkül?
A Brevo-csatlakozóról szóló útmutató elmagyarázza, miért férhet össze a sikeres API-hívás a hiányzó attribútummal. Az értékelés, amely csak a végpont meghívását nézi, elmulasztja az eredményt. A csak célállapotot néző értékelés elmulaszthatja az oda vezető tiltott utat. Kockázatos útnál mindkettő számít.
Kezdj egy szűk feladattal és néhány hibamóddal. Címkézd az eseteket a feladat gazdájával. A pontos ellenőrzéseket tedd kódba, modellbírót csak ott használj, ahol a nyelv vagy a megítélés valóban igényli. Ugyanazokat az eseteket futtasd újra prompt-, modell- vagy eszközváltozás után. Jegyezd fel, mit árulnak el a későbbi hibák a szempontrendszerről.
Az ára az előre befektetett szakértői idő. A nyereség, hogy minden későbbi pontszámnak védhető jelentése van.
Az irányítópult mutathat számot. Csak a szempontrendszer mondja meg, mit számoltál.
Gyakran Ismételt Kérdések
Ki határozza meg az MI-ügynök értékelési szempontjait?
A feladatot és következményeit ismerő emberek határozzák meg az elfogadható eredményeket és kizáró hibákat. A fejlesztők ezeket ismételhető ellenőrzésekké alakíthatják, és megmérhetik, egyezik-e a modellbíró az emberi értékelésekkel.
A magas bírói pontszám bizonyítja, hogy az ügynök működik?
Nem. A pontszám az adott eseteken a szempontrendszerrel való egyezést méri. Gyenge szempontok, nem reprezentatív esetek vagy rosszul kalibrált bíró magas pontot adhat káros eredményre is.
Mit ellenőrizzünk kóddal a modellbíró helyett?
A pontos jogosultságokat, rekordazonosítókat, kötelező eszközhívásokat és célállapotot lehetőség szerint kóddal ellenőrizd. A modellbíró azokhoz a szemantikai tulajdonságokhoz hasznos, amelyeket a pontos szabályok nem döntenek el.