Na tejto stránke
Predstavte si katalóg produktov, ktorý sa v pondelok zmení. Prompt asistenta stále obsahuje piatkový zoznam. Tím prompt aktualizuje. Druhá kópia starého zoznamu však zostane v príkladoch použitých pri trénovaní modelu. Asistent teraz v jednej relácii podá jednu aktuálnu a jednu zastaranú odpoveď.
Je to ilustratívne zlyhanie, ale jeho mechanizmus je bežný: ten istý fakt získal viac domovov.
Prednáška o promptoch, načítavaní informácií a váhach modelu ukazuje užitočnú hranicu. Prompt hovorí asistentovi, ako sa má správať. Načítanie prináša do konkrétnej úlohy aktuálne informácie, ktoré možno citovať. Prispôsobenie modelu môže naučiť ustálený vzorec. Ak tieto tri možnosti berieme ako rebrík, na ktorom po prompte nasleduje načítanie a po ďalšej chybnej odpovedi vždy dotrénovanie, nesprávne diagnostikujeme faktické chyby.
Prompt je zlý katalóg
Prompty lákajú jednoduchosťou úprav. Pridáte odsek a ďalšia požiadavka ho nesie so sebou. Táto pohodlnosť skrýva dve náklady. Fakt sa posiela pri každom volaní, aj keď nie je relevantný. A pri dlhom prompte sa ťažšie zisťuje, ktorú kópiu pravidla model použil.
Trvalý pokyn ako „pred odoslaním kampane sa opýtajte“ patrí k agentovi. Zoznam aktuálnych vlastných polí tohto obchodu nie. Môže sa zmeniť, keď správca účtu pridá atribút. Môže sa líšiť medzi účtami. Jeden pracovný priestor k nemu môže mať prístup, iný nie.
Sprievodca konektorom Brevo ukazuje, prečo sú definície polí dôležité pri synchronizácii kontaktov. Ak atribút nie je v cieľovom účte definovaný, mapovanie, ktoré podľa názvu vyzeralo rozumne, nemusí vytvoriť zamýšľané pole. Agent má skontrolovať aktuálny kontrakt účtu, nie si vybaviť všeobecný zoznam polí z tréningu.
Užitočný výsledok načítania musí byť dosť malý na to, aby sa dal preveriť. Má uvádzať účet, na ktorý sa vzťahuje, čas načítania a operáciu alebo pole, ktoré opisuje. Ak si dva načítané úryvky odporujú, systém má rozpor ukázať namiesto tichého výberu plynulejšieho textu. Správnym ďalším krokom môže byť nové vyhľadanie alebo kontrola, nie ďalšie dôraznejšie preformulovanie promptu.
Načítajte fakt spolu s jeho rozsahom
Užitočný znalostný záznam obsahuje viac než text. Potrebuje zdroj, verziu alebo čas načítania, rozsah účtu a jasný spôsob odstránenia či nahradenia. Definícia poľa z jedného účtu obchodníka sa nikdy nesmie stať všeobecným pravidlom pre iný účet.
Otázka o atribúte kontaktu potom môže načítať najmenší úryvok, ktorý na ňu odpovie: názov a typ poľa a účet, kde existuje. Odpoveď môže odkázať na tento zdroj. Ak mapovanie zlyhá, tím môže zisťovať, či bol fakt zastaraný, či sa vrátil výsledok z nesprávneho účtu alebo či model správnemu úryvku neporozumel.
To sú rôzne opravy. Úprava promptu nevyrieši filter načítania, ktorý prekračuje hranice účtov. Väčší model nedodá definíciu atribútu, ktorú nikto nenačítal.
Vysvetlenie MCP opisuje, ako môže agent používať nástroje. Nástroj má vrátiť relevantný kontrakt, zatiaľ čo aplikácia vynucuje, kto ho smie vidieť. Textový pokyn „neprezraď údaje iného účtu“ nenahrádza dotaz obmedzený na oprávnený účet.
Toto rozdelenie zrýchľuje aj opravy. Ak sa premenuje cieľové pole, aktualizujte zdroj schémy a zneplatnite dotknuté mapovanie. Ak agent opakovane zle chápe stabilný pokyn, zmeňte ho alebo otestujte cielené trénovanie. Ak je odpoveď nesprávna preto, že načítavací systém vybral nesprávny účet, zmena váh modelu obíde príčinu. Každá trieda chyby má iného vlastníka a inú cestu opravy.
- Trvalý pokyn
Ako sa má asistent správať
- Načítanie v rozsahu účtu účet · verzia · čas
Čo platí teraz
- Rozhodnutie o mapovaní
Použite aktuálny fakt pre túto úlohu
- Vynútený zápis
Kód kontroluje oprávnenie a rozsah
Vzorce učte až po ich ustálení
Oprávnená námietka znie: „Ak sa fakt používa stále, prečo ho nenaučiť menší model?“ Samotné opakovanie nestačí. Fakt musí zostať správny počas celého intervalu medzi aktualizáciami modelu a model musí vedieť rozlišovať kontexty.
Stabilný spôsob klasifikácie môže časom stáť za dotrénovanie. Aktuálny zoznam polí poskytovateľa je slabý kandidát. Aj keď sa mení zriedka, jedna zastaraná odpoveď môže spôsobiť nesprávne mapovanie mnohých záznamov. Fakt nechajte tam, kde ho človek dokáže skontrolovať a aktualizovať.
Zdrojová prednáška zároveň varuje pred riešením každého zlyhania úsudku ďalším načítavaním. Ak model nevie správne porovnať dva relevantné dokumenty, ďalších päťdesiat dokumentov ho nenaučí uvažovať. Najprv zistite, či dorazil správny úryvok. Potom posúďte, či bol úsudok nad ním správny.
Pre tvorcu integrácie z toho vyplýva postup opravy: určite nesprávne tvrdenie; preskúmajte načítaný úryvok o poli alebo API; overte jeho účet a verziu; podľa potreby opravte zdroj alebo načítanie; rozhodnutie znova otestujte. Až potom zvažujte zmenu modelu.
Cena je údržba skutočnej znalostnej vrstvy: aktualizácie zdrojov, kontroly prístupu a citácie. Ziskom je fakt, ktorý možno opraviť na jednom mieste.
Meniaci sa kontrakt by nikdy nemal čakať, kým ho model zabudne.
Často Kladené Otázky
Čo patrí do promptu agenta?
Krátke, trvalé pokyny o správaní a hraniciach. Meniaci sa katalóg, zoznam polí konkrétneho účtu či aktuálne pravidlo poskytovateľa treba podľa potreby načítať z oprávneného zdroja.
Prečo model nedotrénovať na aktuálnej dokumentácii?
Dotrénovanie môže uložiť meniaci sa fakt do váh, ktoré sa ťažko kontrolujú a aktualizujú. Najprv zaistite, že sa v čase rozhodnutia načíta a uvedie správny dokument.
Ako opraviť nesprávnu faktickú odpoveď?
Skontrolujte zdrojový dokument, jeho verziu, filter vyhľadávania a vrátený úryvok. Pred zmenou modelu opravte fakt alebo cestu, ktorou sa načítal.