Кога временният AI похват трябва да изчезне?

Три въпроса към модела стоят между илюстративен асистент за интеграции и неговото съпоставяне на полета. Първият класифицира заявката. Вторият избира инструмент. Третият пренаписва същия избор в по-дълъг формат. Последователността е създадена, когато моделът често е бъркал две операции. След обновяване на модела допълнителният маршрут може да носи забавяне, без да предотвратява грешки.

Единственият начин да узнаете е да пуснете същите задачи по двата пътя. Познатото не е доказателство за стойност.

Презентация за продукти, които се променят с възможностите на модела твърди, че продуктът трябва да става по-добър, когато моделът му се подобри. Тя описва и трудността да се премахнат познати интерфейси. Полезният урок не е да изтрием всяка опора. Той е да проверим дали опората още заслужава мястото си.

Отделете помощта от правомощието

Стар помощен слой може да е подкана, която повтаря описанията на инструментите, маршрутизатор, който винаги избира една и съща операция, или фиксиран интерфейс за задача, която моделът вече може да обясни по-ясно при поискване. Работата му е да помага на модела или потребителя да свърши задача. Ако вече не помага, разходът за поддръжка е чиста тежест.

Проверката на разрешение е различна. Тя решава дали действие е позволено. Модел, който вече избира инструментите отлично, все още не може сам да си даде достъп до данните на друг търговец. Модел, който пише безупречна актуализация на контакт, все още се нуждае от правилното одобрение преди реален запис.

Обяснението за MCP описва както достъпа до инструменти, така и цената за сигурността при предоставянето му. Възможностите на модела може да променят как асистентът намира правилния инструмент. Те не премахват нуждата инструментът да е ограничен по обхват и входът му да се проверява.

Това разграничение предпазва от честа грешка при почистване на продукта. Екипите виждат стария процес като един слой и или запазват всичко, или изтриват всичко. Разделете го на въпроси: кои части помагат на модела да разсъждава, кои помагат на потребителя да разбира и кои налагат правило извън модела? Само първите две може да бъдат премахнати заради подобрени способности.

Честното сравнение изисква едни и същи входове и позволени действия. Ако по-простият път получава по-нова схема или по-широки разрешения, добрият му резултат казва малко за премахнатия слой. Включете случаи на провал, които старият помощен слой е бил създаден да улавя, после проверете дали новият път ги улавя по същата причина. Иначе няколко успешни обикновени примера могат да заличат паметта защо слоят е съществувал.

Сравнявайте завършени задачи

Тест на модел не е достатъчен. Продуктовият въпрос е дали потребителите приключват действителната задача с по-малко грешки, за по-кратко време или с по-ясни доказателства.

Подгответе малък набор сценарии: обикновено съпоставяне на контакт, непознато поле в целевата система, акаунт с липсващи разрешения и заявка за активиране преди предварителен преглед. Пуснете всеки със и без помощния слой. Проверете получените извиквания на инструменти, обясненията и решенията за спиране. Измерете забавянето и разхода заедно с правилността.

Ако по-простият път е равен при обикновени задачи, но по-слаб при случая с разрешения, запазете защитата. Ако помощният слой не променя нищо и добавя две секунди, премахнете го. Ако помага само при един рядък вид заявка, ограничете го до този вид.

Справедливо възражение е: „Потребителите научиха стария интерфейс; изтриването му създава нова работа“. Вярно. Познат контрол може да помага на човек и след като моделът вече няма нужда от него. Наблюдавайте действителното завършване и разбиране при тези потребители. Стар интерфейс може да остане заради човешки причини, но причините трябва да бъдат назовани и тествани.

Отделете цената на временното решение от цената на промяната му. Маршрутизатор може да добавя малко забавяне, но да е евтин за поддръжка; крехък ръчно написан парсер може да изисква работа всеки път, когато доставчик добави поле. Таблица за оценка може да отчита забавяне, процент грешки, тежест на поддръжката и разбиране от потребителите. Стойностите идват от задачите на самия продукт, не от общо твърдение, че по-нов модел е по-умен.

Какво все още пази старият помощен слой?

1. Налага разрешения или обхват на данни

   Запазете контрола

   Способностите на модела не дават правомощия.

2. Помага само за един вид изключения

   Стеснете помощния слой

   Използвайте го там, където тестовете показват стойност.

3. Не променя нито един тестван резултат

   Премахнете помощния слой

   Махнете незаслуженото забавяне и поддръжка.

Премахнете временното решение съзнателно

Безопасното премахване има начална база и път за връщане. Запишете резултата от стария път по същите сценарии, включете новия за ограничена група и следете провалите. Запазете старото поведение достатъчно дълго, за да диагностицирате връщане назад в качеството. Това са обичайни продуктови проверки, не обещание, че напредъкът на моделите прави всяка функция излишна.

Ръководството на Tajo за reverse ETL предлага полезна граница: повтарящото се преместване на данни принадлежи в стабилен конвейер. По-силен модел може да подобри предложението или обяснението на съпоставяне. Не прави по-добър транспортния механизъм с извикване на модел за всеки запис.

Цената на тази дисциплина е периодично повторно тестване. Ползата е продукт, който не носи вечно вчерашните временни решения.

Напредъкът на модела трябва да премахва излишното усилие, не правилата.

Оставете кратка причина до всеки оцелял слой. „Тази стъпка предотвратява записи без разрешение“ остава валидно и при по-добър модел. „Тази стъпка компенсира объркване на два инструмента от модела“ трябва да задейства нов тест при следващата смяна на модела. Такъв кратък списък превръща бъдещото почистване в повторимо решение, вместо в спор дали старият дизайн изглежда познат.