На тази страница
Числото 420 може да е правилно по две несъвместими причини. В този илюстративен пример два агента връщат един и същ сегмент от контакти и двата посочват 420 клиента. Единият е използвал одобрената аудитория на магазина и е проверил съгласието. Другият е копирал остарял експорт от друго работно пространство и случайно е получил същия брой.
Оценка само по резултата дава пълен брой точки и на двата агента. Това е грешна оценка.
Обсъждане на проверката в среди с агенти отделя крайния резултат от пътя, по който е получен. В примера с електронна таблица правилното число е само част от задачата. Формулите, препратките към източниците и задължителното форматиране също имат значение. При интеграции същата разлика е още по-важна: произходът на резултата може да решава дали изобщо е бил разрешен.
Крайната стойност не доказва произхода си
Да допуснем, че агент предлага съпоставяне на полета от клиентски обект в магазин към маркетингова система. Съпоставя email с имейл, firstName със собствено име и поле за съгласие с маркетинговия статус в целевата система. Предварителният преглед изглежда правдоподобен.
Какво е прочел, за да направи тези избори? Текущата схема, стара извадка или документ от друг акаунт? Проверил ли е значението на полето за съгласие, или го е извел от етикета? Третирал ли е null като „не е абониран“, или като „неизвестно“?
Всеки отговор променя доколко същото крайно съпоставяне заслужава доверие. Съпоставянето е резултат. Следата от доказателства е аргументът то да бъде използвано.
Тази следа трябва да посочва коя версия на всеки източник е била достъпна при решението. По-късна снимка на поправена схема не обяснява съпоставяне, предложено вчера. Запазете съответната версия на схемата или документа заедно с решението и връзката между нея и одобреното правило. Целта е решението да може да се възстанови, не да се пази всяка страница, видяна от агента.
Ето защо трасето от инструменти може да е по-важно от уверено обяснение. То записва конкретните извиквания и идентификатори, които агентът е използвал. Писменото резюме може да помогне, но не може да докаже, че източникът е бил консултиран. При интеграция доказателствата трябва да сочат изходния обект, договора на целевата система и конкретното правило, което ще премести данните.
Ръководството за интегриране на бизнес инструменти започва от отговорността за полетата, защото имената от двете страни рядко решават кой има правомощие. Проверка на процеса пита дали агентът действително е използвал това решение за отговорността, преди да предложи запис.
Опишете разрешения път в задачата
Добрият тестов случай има две части. Първо, посочете какво трябва да съдържа целевата система. Второ, посочете кои доказателства и действия са разрешени по пътя дотам.
За илюстративния сегмент очакваният резултат може да е 420 контакта, но одобреният път може допълнително да изисква заявка в обхвата на магазина, актуално съпоставяне на съгласието и предварителен преглед, който посочва изключените записи. Може да забранява четене от друго работно пространство и директно изпращане на кампания.
Така проверяващият става конкретен. Може механично да отхвърли идентификатор от друго работно пространство. Може да провери дали е имало предварителен преглед преди активиране. Може да потвърди, че източникът, посочен в резултата, съвпада с този в трасето. Това са правила, не мнения на модел.
Оставащ въпрос може да изисква преценка: избраното поле за съгласие действително ли означава разрешение за тази кампания? Тук човек или тесен модел за решения трябва да разгледа определението на полето и замислената употреба. Правилото и преценката вършат различна работа.
Така тестът получава полезно съобщение за провал. „Грешен отговор“ оставя екипа да гадае. „Правилен брой, но аудиторията е взета от друго работно пространство“ посочва нарушение на границата на данните. „Правилно съпоставяне, но няма определение за съгласието“ посочва липсващо доказателство. Проверяващият трябва да съобщи нарушеното условие и записа от трасето, който го е причинил, за да може поправката да промени пътя, а не да полира крайния текст.
Какво доказва трасето?
-
Одобрен източник и задължителни проверки
Приемете пътя
Резултатът има доказателствата, изисквани от задачата.
-
Източник от друго работно пространство
Отхвърлете пътя
Съвпадащият брой не разрешава това четене.
-
Липсват задължителни доказателства
Задръжте за преглед
Самият резултат не показва как е получен.
Не превръщайте трасето в ритуал
Справедливо възражение е: „Агентът може да направи задължителните извиквания и въпреки това да ги пренебрегне“. Така е. Списъкът на извикванията доказва, че те са направени. Не доказва, че върнатите данни са повлияли на решението.
Един начин да тествате това е да променяте доказателствата. Подайте два иначе сходни записа с различно състояние на съгласието. Ако агентът даде еднакво съпоставяне и обяснение и в двата случая, привидното използване на източника може да е само за показ. Друг тест е да премахнете задължителен източник и да изисквате агентът да спре. Агент, който запълва празнината по памет, не е следвал разрешения път.
Цената е повече работа по тестовите случаи. Някой трябва да определи разрешените източници, очакваните разлики и забранените преки пътища. Общата оценка „изглежда ли отговорът добре?“ се изгражда по-евтино. Тя учи по-малко.
Reverse ETL превръща съпоставянето в повтарящо се преместване на данни. След одобрението му обикновен код може да го прилага, без агент да преглежда доказателствата за всеки ред. Одитът на пътя е нужен при решенията, които създават или променят правилото, и отново когато променен договор го постави под въпрос.
Правилен отговор, получен през грешния акаунт, не е почти успех. Това е друга задача.
Често Задавани Въпроси
Защо да проверяваме пътя, ако крайният отговор е правилен?
Агентът може да е използвал данни без разрешение, да е пропуснал задължителна проверка или случайно да е получил вярната стойност. Самият резултат не доказва, че пътят е бил безопасен и повторим.
Нужен ли е човешки преглед на всяко междинно действие?
Не. Записвайте извикванията на инструменти и налагайте детерминистични правила за забранени действия. Преглеждайте важните или неясните стъпки и тествайте представителни трасета.
Как екипът може да тества това?
Съчетайте очакваните крайни състояния с разрешените източници на доказателства и задължителните проверки. Повторете случаи, при които пряк път може да даде същия отговор, и вижте дали проверяващият го отхвърля.