Merajte cenu jedného prijatého výsledku

Tím oslavuje nízku cenu jedného behu AI. Niektoré behy však potrebujú opakovanie. Niektoré výstupy musí človek opraviť. Niekoľko z nich spustí externé vyhľadanie. Cena jedného behu zostáva nízka, zatiaľ čo cena jednej prijatej pracovnej položky rastie. Je to ilustratívny účtovný príklad, nie nameraný výsledok.

Ukážka prevádzky agentov zobrazuje pripisovanie nákladov na tokeny a prácu naprieč reláciami a tímami. Taká viditeľnosť je užitočná, no panel výdavkov sám nedokazuje hodnotu. Pri posudzovaní automatizácie záleží na menovateli rovnako ako na čitateli.

Definujte výsledok pred sčítaním nákladov

Pri synchronizácii dát môže model klasifikovať voľne písané pole pred presunom záznamu. „Úspešný beh“ môže znamenať, že model vrátil štítok. Užitočný výsledok je prísnejší: cieľ prijal správny záznam, pravidlo oprávnenia platilo a počas určeného obdobia kontroly nebolo treba nič opravovať. Sú to odlišné jednotky.

Vyberte jednotku, ktorú pracovný postup dlhuje používateľovi. Môže to byť vyriešený prípad podpory, schválená faktúra alebo správne aktualizovaný profil zákazníka. Určte, čo znamená prijatie a kto môže výsledok odmietnuť. Bez definície môže tím vylepšiť graf nákladov znížením latky.

Potom sledujte cestu ku každému prijatému výsledku.

1. Pokus

   volanie modelu
   môže vyžadovať
2. Nástroje a opakovanie

   ďalšia práca
   potom
3. Kontrola

   čas opravy
   prejde kontrolami
4. Prijatý výsledok

   definovaný výsledok

Počítajte používanie modelu, volania nástrojov, opakované pokusy, ľudskú kontrolu a prepracovanie. Zložky nechajte viditeľné namiesto spojenia do jednej nevysvetlenej sumy. Cena nástroja môže zahŕňať platené volanie API; ľudský čas možno uvádzať v minútach a na peniaze ho previesť iba s výslovne uvedeným miestnym predpokladom.

Veličina	Príklad definície	Prečo na nej záleží
Pokus	Jeden spustený beh	Ukazuje záťaž, nie dodanú hodnotu
Prijatý výsledok	Položka, ktorá prešla určenými kontrolami	Menovateľ užitočného výstupu
Opakovanie	Ďalší pokus pre tú istú položku	Odhaľuje skrytý výpočet a čakanie
Oprava	Zmena po prvom prijatí	Odhaľuje dlh kvality
Čas kontroly	Ľudské minúty na overenie	Odhaľuje presunutú prácu

Tabuľka navrhuje účtovné kategórie; neudáva benchmark agentov ani synchronizácií.

Sledujte položku, nie iba model

Model môže byť lacný v drahom pracovnom postupe. Predstavte si klasifikáciu s jediným volaním, pri ktorej systém načíta tri záznamy, čaká na externé API a požiada pracovníka o zosúladenie nesúladu. Polovičný počet tokenov môže celkovú cenu zmeniť sotva citeľne. Naopak, o niečo drahšia klasifikácia môže ušetriť čas kontroly, ak poskytne lepšie dôkazy a menej chýb. Ani jedno neplatí automaticky; merajte to.

Použite identifikátor položky na spojenie pokusov, volaní nástrojov a výsledkov. V stope dodržiavajte ochranu súkromia: účtovanie potrebuje počty a odkazy, nie neobmedzenú kópiu zákazníckych dát. Zaznamenajte verziu modelu alebo pravidla, pretože neskoršia zmena môže ovplyvniť náklady aj vzorce chýb.

Priemery môžu skryť drahý koniec rozdelenia. Popri mediáne uveďte rozdelenie alebo aspoň vysoký percentil. Jedna zriedkavá cesta, ktorá sa opakovane pokúša o zápis, môže spotrebovať veľký rozpočet alebo zdržať časovo citlivé odoslanie. Rozlišujte neúspešnú prácu bezpečne zastavenú od zlej práce, ktorá vyzerala prijatá a neskôr vyžadovala opravu.

Pred porovnaním nákladov určte kvalitu

Niektoré výsledky vyžadujú úsudok. To je dôvod určiť kritériá kontroly, nie dôvod používať cenu za beh. Pri odpovedi podpory môže prijatie vyžadovať faktickú správnosť, povolený krok a vhodný tón. Kontrolóri môžu nesúhlasiť; sledujte nesúhlas a vyhnite sa falošnému tvrdeniu o presnosti.

Pri presných krokoch synchronizácie môže byť prijatie deterministickejšie. Cieľ má očakávané ID a polia, zdrojová udalosť je potvrdená raz a duplicita nevytvorí ďalšieho zákazníka. Neskoršiu opravu treba priradiť k tej istej pracovnej položke. Panel tak nemôže počítať rýchlu nesprávnu synchronizáciu ako dodanú hodnotu.

Cena nie je jediným cieľom. Oneskorenie, spoľahlivosť, súkromie a škoda zákazníkovi môžu prevážiť. Lacnejší postup so zriedkavými, ale vážnymi chybami môže byť horšou voľbou. Náklady porovnávajte iba medzi cestami, ktoré spĺňajú potrebnú kvalitu a pravidlá oprávnení.

Porovnanie potrebuje aj východiskový stav. Merajte existujúcu ručnú cestu alebo predchádzajúcu automatizovanú cestu s rovnakou definíciou prijatia. Inak môže nový agent vyzerať efektívne len preto, že neúspešná práca sa počíta inak. Stanovte pevné obdobie pozorovania neskorých opráv a prípady, pri ktorých ešte neuplynulo, uveďte osobitne namiesto tichého označenia za úspech. Ak položku kontrolujú dvaja ľudia, započítajte skutočnú prácu oboch a poznačte nesúhlas. Sprievodca zavádzaním AI do existujúcich pracovných postupov pokrýva voľby spustenia; tento záznam testuje, či jedna voľba dodáva prijatú prácu za udržateľnú cenu.

Najužitočnejšia účtovná otázka nie je „Ako lacno model hovoril?“ Znie: „Koľko stálo dodať jeden výsledok, ktorý sme boli ochotní ponechať?“