Všetko lacno skontrolujte; dôkladne skúmajte len nejasné prípady

Predstavte si ilustratívnu dávku 10 000 aktualizácií kontaktov. Každý záznam by mohol prejsť modelom, ktorý nanovo posúdi jeho polia. Z jedného rozhodnutia o mapovaní by vzniklo 10 000 opakovaných rozhodnutí.

Začnite lacnejšou otázkou: spĺňa tento záznam známe podmienky schváleného mapovania? V kóde overte prítomnosť polí, dátové typy, verziu schémy a výslovné požiadavky na súhlas. Záznamy, ktoré zlyhajú alebo zostanú nejasné, pošlite na užšie posúdenie.

Je to ilustratívny návrh, nie meranie Tajo. Zaujímavým číslom nie je počet záznamov prepustených prvou kontrolou. Je ním počet dôležitých chýb, ktoré prepustí nesprávne.

Špecializovaný postup opísaný v prezentácii začína širokým rozlíšením normálneho a abnormálneho stavu a potom podrobnejšie analyzuje označené prípady. Jeho oblasť má iné dôsledky a dôkazy ako marketingové údaje. Zdroj podporuje viacstupňové rozhodovanie, nie cenu či deterministickosť prvého algoritmu. V integrácii môže lacná deterministická kontrola pokryť známe podmienky pred dôkladným posúdením neistých prípadov.

Prvá kontrola má rozhodnúť bežné prípady

Dobrá prvá kontrola sa pýta na vec, ktorú kód vie rozhodnúť z dostupných dôkazov. „Je zdrojové pole prítomné?“ je jeden príklad. „Zodpovedá hodnota deklarovanému typu v cieli?“ druhý. „Je to tá istá verzia schémy, podľa ktorej bolo mapovanie schválené?“ tretí.

Pravidlo môže prejsť každý riadok bez vymýšľania nového výkladu pre každý záznam. Vie aj vysvetliť odpoveď. Odmietnutý riadok môže uviesť, že cieľové pole birthday očakáva dátum, ale zdroj poslal voľný text. To pomôže viac než „nízka istota AI“.

Sprievodca konektorom Brevo od Tajo vysvetľuje, prečo záleží na definíciách cieľových atribútov. Konektor môže úspešne odoslať HTTP požiadavku, zatiaľ čo príjemca ignoruje nedeklarovaný atribút. Predbežná kontrola deklarovaných polí zachytí jednu triedu chýb pred zápisom. Neskoršie spätné načítanie zachytí inú. Ani jedno nie je názorom modelu, že kontakt „vyzerá správne“.

Cieľom nie je odstrániť úsudok. Cieľom je vyhradiť ho otázke, ktorá ho potrebuje.

1. Nová synchronizačná dávka

2. NAJPRV

   Kontrola známych pravidiel

   • Identita, typ poľa a rozsah účtu
3. POTOM

   Rozhodnutie jasných prípadov

   • Prepustite bežné záznamy; známe chyby zadržte
4. PODĽA POTREBY

   Preskúmanie nejasných prípadov

   • Skúmajte dôkazy, ktoré pravidlá nerozhodli

5. Overený výsledok alebo výslovné pozastavenie

Drahšia kontrola potrebuje správne prípady

Predpokladajme, že z ilustratívnych 10 000 záznamov prejde prvou kontrolou 9 800. Zvyšných 200 dostane bližšie posúdenie. Znie to úsporne. O správnosti to nič nehovorí, kým niekto neskontroluje vzorku z 9 800 a výsledky zvyšných 200.

Prvá kontrola sa môže mýliť dvoma spôsobmi. Môže označiť bežný prípad a zbytočne minúť čas na preskúmanie. Závažnejšie je prepustiť prípad, ktorý sa mal zastaviť. Ktorá chyba stojí viac, závisí od postupu. Chýbajúca nepovinná značka a chýbajúce oprávnenie na marketingový e-mail nemajú mať rovnaký prah.

Rozumná námietka znie: „Ak model vie každý záznam pochopiť, prečo veriť krehkému pravidlu?“ Pretože opakované bežné záznamy nie sú správnejšie len vďaka ďalšej otázke modelu. Slabina pravidla je viditeľná: pri zmene zmluvy zdroja alebo cieľa môžu jeho predpoklady zostarnúť. Preto zmluvu sledujte a odoberajte vzorky prepustených prípadov. Nie je to dôvod nahradiť každú stabilnú kontrolu neohraničeným úsudkom.

Eskalácia môže byť užšia než celé ľudské preskúmanie. Známa chyba dodávateľa môže potrebovať zdokumentovanú opravu. Naozaj nový význam poľa môže vyžadovať návrh mapovania od agenta. Nejasnosť súhlasu môže potrebovať zodpovedného človeka. Prvá kontrola má každý prípad smerovať k najmenšej autorite, ktorá ho vie rozhodnúť.

Sprievodca integráciou viacerých firemných nástrojov opisuje výber zdroja pravdy a spúšťača pred výberom nástrojov. Tieto rozhodnutia určujú, ktoré výnimky si zaslúžia pozornosť. Nesúlad poľa, ktoré žiadny ďalší postup nepoužíva, môže počkať. Nesúlad poľa určujúceho publikum kampane nemôže.

Merajte uniknuté chyby, nie len úspory

Viacstupňový systém môže vytvoriť lákavý graf: veľa prípadov spracovaných lacno, málo odoslaných ďalej. Graf je neúplný. Pridajte druhú mieru: koľko prípadov prepustených prvým krokom zlyhalo pri neskoršej kontrole cieľa alebo nezávislom preskúmaní vzorky?

Meranie sa má viazať na skutočnú úlohu. Ak ide o súlad kontaktov, skúmajte stav kontaktov v cieli. Ak ide o publikum, skúmajte zaradených aj vylúčených. Počet chýb bez menovateľa a následných dôsledkov sa ľahko oslavuje, ale ťažko sa mu verí.

Praktický pokus môže začať v malom. Uložte súbor preskúmaných bežných aj výnimočných záznamov. Spustite na ňom lacné pravidlo. Overte každú prehliadnutú výnimku. Potom pravidlo nechajte tieňovo bežať na živej prevádzke bez právomoci schvaľovať nové správanie. Až po pochopení jeho prehliadnutí má rozhodovať, ktoré prípady obídu hlbšiu kontrolu.

Sprievodca reverzným ETL pokrýva opakovaný presun dát za touto úlohou. Popri pipeline stojí otázka triedenia: podľa čoho vieme, že stabilné pravidlo už stabilné nie je?

Dôkladnú kontrolu venujte tomu, čo široká kontrola nemôže vedieť.