Kedy odstrániť pomocnú obchádzku pre AI?

Medzi ilustratívnym integračným asistentom a jeho mapou polí stoja tri otázky pre model. Prvá klasifikuje požiadavku. Druhá vyberie nástroj. Tretia zopakuje tú istú voľbu v dlhšom formáte. Postup vznikol, keď si model často mýlil dve operácie. Po aktualizácii modelu môže dodatočné smerovanie pridávať oneskorenie bez toho, aby zabránilo chybám.

Zistíte to iba spustením rovnakých úloh po oboch cestách. Známosť nie je dôkaz hodnoty.

Prednáška o produktoch, ktoré sa menia so schopnosťami modelu tvrdí, že produkt sa má zlepšovať spolu so svojím modelom. Opisuje aj ťažkosti pri odstraňovaní známych rozhraní. Poučením nie je odstrániť každú oporu. Treba otestovať, či si ju ešte zaslúži.

Oddeľte pomoc od právomoci

Starou pomôckou môže byť prompt opakujúci opisy nástrojov, smerovač, ktorý vždy vyberie tú istú operáciu, alebo pevné rozhranie pre úlohu, ktorú model dnes dokáže jasnejšie vysvetliť na požiadanie. Jej úlohou je pomáhať modelu alebo používateľovi dokončiť prácu. Ak to už nerobí, náklady na údržbu sú čistou záťažou.

Kontrola oprávnenia je iná. Rozhoduje, či je krok povolený. Model, ktorý výborne vyberá nástroje, si aj tak nemôže udeliť prístup k dátam iného obchodníka. Model, ktorý napíše bezchybnú aktualizáciu kontaktu, stále potrebuje správne schválenie pred živým zápisom.

Vysvetlenie MCP opisuje prístup k nástrojom aj bezpečnostnú cenu jeho sprístupnenia. Schopnosti modelu môžu zmeniť spôsob, akým asistent nájde správny nástroj. Nerušia potrebu obmedziť rozsah nástroja a overiť jeho vstupy.

Toto rozlíšenie predchádza častej chybe pri upratovaní produktu. Tímy vidia starý postup ako jednu vrstvu a buď si nechajú všetko, alebo všetko odstránia. Rozdeľte ho na otázky: ktoré časti pomáhajú modelu uvažovať, ktoré pomáhajú používateľovi porozumieť a ktoré vynucujú pravidlo mimo modelu? Iba prvé dve sú kandidátmi na odstránenie vďaka novým schopnostiam.

Spravodlivé porovnanie potrebuje rovnaké vstupy úloh a rovnaké povolené kroky. Ak jednoduchšia cesta dostane novšiu schému alebo širšie oprávnenia, dobrý výsledok hovorí málo o odstránenej vrstve. Zahrňte prípady zlyhania, ktoré mala stará pomôcka zachytiť, a potom overte, či ich nová cesta zachytáva z rovnakého dôvodu. Inak môže niekoľko úspešných bežných príkladov vymazať pamäť na dôvod, prečo pomôcka vznikla.

Porovnajte celé úlohy

Samotný benchmark modelu nestačí. Produktová otázka znie, či používatelia dokončia skutočnú úlohu s menším počtom chýb, za kratší čas alebo s jasnejším dôkazom.

Vytvorte malý súbor scenárov: bežné mapovanie kontaktu, neznáme cieľové pole, účet bez potrebných oprávnení a požiadavku na aktiváciu pred ukážkou. Každý spustite s pomocnou vrstvou aj bez nej. Skontrolujte výsledné volania nástrojov, vysvetlenia a rozhodnutia zastaviť. Vedľa správnosti merajte oneskorenie a náklady.

Ak je jednoduchšia cesta rovnako dobrá pri bežných úlohách, no horšia pri oprávneniach, zachovajte ochranu. Ak pomôcka nič nemení a pridáva dve sekundy, odstráňte ju. Ak pomáha iba pri jednej zriedkavej triede požiadaviek, obmedzte ju na túto triedu.

Oprávnená námietka znie: „Používatelia sa naučili staré rozhranie; jeho odstránenie im pridá prácu.“ Správne. Známy ovládací prvok môže pomáhať človeku aj vtedy, keď ho model už nepotrebuje. Sledujte skutočné dokončovanie úloh a porozumenie týchto používateľov. Staré rozhranie môže zostať z ľudských dôvodov, tie však treba pomenovať a otestovať.

Oddeľte cenu obchádzky od ceny jej zmeny. Smerovač môže pridávať malé oneskorenie, no byť lacný na údržbu; krehký ručne napísaný parser môže vyžadovať prácu pri každom novom poli poskytovateľa. Hodnotiaca tabuľka môže zaznamenať oneskorenie, mieru chýb, záťaž údržby a porozumenie používateľov. Hodnoty pochádzajú z vlastných úloh produktu, nie zo všeobecného tvrdenia, že novší model je múdrejší.

Čo stará pomôcka stále chráni?

1. Vynucuje oprávnenie alebo dátový rozsah

   Kontrolu ponechajte

   Schopnosť modelu neudeľuje právomoc.

2. Pomáha len pri jednej triede výnimiek

   Pomôcku zúžte

   Použite ju tam, kde testy úloh ukazujú hodnotu.

3. Nemení žiadny testovaný výsledok

   Pomôcku odstráňte

   Odstráňte oneskorenie a údržbu, ktoré si už nezaslúži.

Obchádzku odstráňte zámerne

Bezpečné odstránenie má východiskové výsledky aj cestu späť. Zaznamenajte výsledok starej cesty v rovnakých scenároch, pre ohraničenú skupinu zapnite novú cestu a sledujte zlyhania. Staré správanie nechajte dostatočne dlho dostupné na diagnostiku zhoršenia. Sú to bežné produktové kontroly, nie prísľub, že pokrok modelov urobí každú funkciu zbytočnou.

Tajov sprievodca reverzným ETL ponúka užitočnú hranicu: opakovaný prenos dát patrí do stabilného procesu. Silnejší model môže zlepšiť návrh či vysvetlenie mapovania. Volanie modelu pri každom zázname sa tým nestane lepším spôsobom prenosu.

Cenou tejto disciplíny je pravidelné opakované testovanie. Prínosom je produkt, ktorý nenesie včerajšie obchádzky navždy.

Pokrok modelu má odstraňovať zbytočnú námahu, nie pravidlá.

Ku každej ponechanej vrstve zapíšte krátky dôvod. „Tento krok bráni nepovoleným zápisom“ platí aj pri lepšom modeli. „Tento krok kompenzuje zamieňanie dvoch nástrojov modelom“ má pri ďalšej zmene modelu spustiť nový test. Taký malý zoznam mení budúce upratovanie na opakovateľné rozhodnutie namiesto debaty o tom, či je starý návrh známy.