Na této stránce
Číslo 420 může být správné ze dvou neslučitelných důvodů. V tomto ilustrativním příkladu dva agenti vrátí stejný segment kontaktů a oba uvedou 420 zákazníků. Jeden použil schválené publikum obchodu a zkontroloval souhlas. Druhý zkopíroval zastaralý export z jiného pracovního prostoru a náhodou dostal stejný počet.
Hodnocení pouze podle výsledku dává oběma plný počet bodů. To je špatná známka.
Diskuse o ověřování v prostředí agentů odděluje konečný výstup od cesty, kterou vznikl. V příkladu s tabulkou je správné číslo jen částí úkolu. Záleží také na vzorcích, odkazech na zdroje a požadovaném formátování. U integrací je tento rozdíl ještě důležitější: původ výsledku může rozhodovat, zda byl vůbec dovolený.
Konečná hodnota nedokazuje původ
Představme si, že agent navrhne mapování polí zákazníka obchodu do marketingového systému. Přiřadí email k e-mailu, firstName ke křestnímu jménu a pole souhlasu k marketingovému stavu v cíli. Náhled působí věrohodně.
Co agent četl, aby k tomu došel? Současné schéma, starý vzorek, nebo dokument jiného účtu? Prozkoumal skutečný význam pole souhlasu, nebo ho odhadl podle názvu? Považoval null za „nepřihlášený“, nebo za „neznámý“?
Každá odpověď mění důvěryhodnost stejného konečného mapování. Mapa je výstup. Důkazní stopa je argument, proč ji použít.
Tato stopa musí určit verzi každého zdroje dostupnou v době rozhodnutí. Pozdější snímek opraveného schématu nevysvětluje mapování navržené včera. Uložte příslušnou revizi schématu nebo dokumentu spolu s rozhodnutím a zachovejte vazbu mezi revizí a schváleným pravidlem. Smyslem je rekonstruovat rozhodnutí, ne archivovat každou stránku, kterou agent viděl.
Proto může být stopa volání nástrojů důležitější než sebejisté vysvětlení. Zaznamenává konkrétní volání a identifikátory, které agent použil. Slovní shrnutí pomáhá, ale nedokazuje, že agent zdroj skutečně použil. V integraci mají důkazy ukazovat na zdrojový objekt, cílovou smlouvu a přesné pravidlo přenosu dat.
Průvodce integrací firemních nástrojů začíná vlastnictvím polí, protože názvy na obou stranách obvykle neurčují autoritu. Kontrola postupu se ptá, zda agent toto rozhodnutí opravdu použil před návrhem zápisu.
Povolenou cestu napište do úkolu
Dobrý testovací případ má dvě části. Nejprve určete, co má být v cíli. Pak stanovte, jaké důkazy a akce jsou na cestě povolené.
U ilustrativního segmentu může být očekávaným výstupem 420 kontaktů, ale schválená cesta může zároveň vyžadovat dotaz omezený na konkrétní obchod, aktuální mapování souhlasu a náhled uvádějící vyloučené záznamy. Může zakazovat čtení napříč pracovními prostory a přímé odeslání kampaně.
Kontrola se tím stává konkrétní. Mechanicky může odmítnout identifikátor jiného pracovního prostoru. Může ověřit, že před aktivací proběhlo volání náhledu. Může potvrdit shodu zdroje uvedeného ve výstupu se zdrojem ve stopě. To jsou pravidla, ne názory modelu.
Jedna otázka může stále vyžadovat úsudek: znamenalo vybrané pole souhlasu skutečně oprávnění pro tuto kampaň? Tam má definici pole a zamýšlené použití posoudit člověk nebo úzký rozhodovací model. Pravidlo a úsudek plní různé úlohy.
Test pak dává užitečnou zprávu o chybě. „Špatná odpověď“ nechává tým hádat. „Správný počet, ale publikum pochází z čtení jiného pracovního prostoru“ určuje selhání datové hranice. „Správná mapa, ale chyběla definice souhlasu“ určuje nedostatek důkazů. Kontrola má uvést porušenou podmínku a položku stopy, která ji způsobila. Oprava pak změní cestu místo pouhého uhlazení textu výsledku.
Co dokazuje stopa?
-
Zdroj s povoleným přístupem a povinné kontroly
Přijmout cestu
Výsledek má důkazy požadované úkolem.
-
Zdroj z jiného pracovního prostoru
Odmítnout cestu
Shodný počet takové čtení neopravňuje.
-
Chybí povinný důkaz
Pozastavit k posouzení
Samotný výstup nevysvětluje svůj původ.
Nedělejte ze stopy rituál
Spravedlivá námitka zní: „Agent může provést povinná volání, a přesto je ignorovat.“ Ano. Seznam volání dokazuje, že volání proběhlo. Nedokazuje, že získaný důkaz ovlivnil rozhodnutí.
Jedním testem je změnit důkaz. Předložte dva jinak podobné záznamy s odlišným stavem souhlasu. Pokud agent v obou vrátí stejné mapování a vysvětlení, jeho zdánlivé čtení zdroje mohlo být jen divadlem. Druhým testem je odebrat povinný zdroj a požadovat zastavení. Agent, který mezeru vyplní z paměti, se povolenou cestou nevydal.
Testovací podklady tím vyžadují více práce. Někdo musí určit povolené zdroje, očekávané rozdíly a zakázané zkratky. Obecné hodnocení „vypadala odpověď dobře?“ je levnější. Naučí méně.
Reverzní ETL mění mapování v opakovaný přesun dat. Po schválení může běžný kód mapování aplikovat bez toho, aby agent znovu zkoumal důkazy u každého řádku. Audit cesty patří k rozhodnutím, která pravidlo vytvářejí nebo mění, a znovu ve chvíli, kdy je změněná smlouva zpochybní.
Správná odpověď získaná z nesprávného účtu není těsné minutí cíle. Je to jiný úkol.
Často Kladené Otázky
Proč zkoumat postup, když je výsledek správný?
Agent mohl použít nepovolená data, přeskočit povinnou kontrolu nebo dojít ke správné hodnotě náhodou. Samotný výstup nedokazuje, že postup byl bezpečný a opakovatelný.
Musí člověk kontrolovat každý mezikrok?
Ne. Zaznamenávejte volání nástrojů a zakázané akce hlídejte deterministickými pravidly. Posuzujte důležité nebo nejednoznačné kroky a testujte reprezentativní průběhy.
Jak to může tým otestovat?
Ke každému očekávanému cílovému stavu určete povolené důkazní zdroje a povinné kontroly. Přehrajte případy, kde stejnou odpověď dá zkratka, a ověřte, že ji kontrola odmítne.