Her şeyi düşük maliyetle kontrol edin, yalnızca gerekenleri inceleyin

Örnek olarak 10.000 kişi güncellemesinden oluşan bir parti düşünün. Her kayıt, alanları hakkında yeniden hüküm vermesi için modele gönderilebilir. Bu, tek bir eşleme kararını 10.000 kez tekrarlanan karara dönüştürür.

Daha ucuz bir soruyla başlayın: Bu kayıt onaylanmış eşlemenin bilinen koşullarına uyuyor mu? Alanların varlığını, veri türlerini, şema sürümünü ve açık iletişim izni gereksinimlerini kodla kontrol edin. Başarısız veya belirsiz kayıtları daha dar kapsamlı incelemeye gönderin.

Bu örnek bir tasarımdır, Tajo performans ölçümü değildir. İlginç sayı, ilk taramanın kaç kaydı geçirdiği değil, kaç önemli hatayı yanlışlıkla geçirdiğidir.

Bu konuşmada anlatılan uzmanlık iş akışı önce geniş bir normal-anormal sınıflandırması yapar, sonra işaretlenen vakalara daha ileri analiz uygular. O alanın riskleri ve kanıtları pazarlama verilerinden farklıdır. Kaynak, ilk algoritmanın maliyetini veya deterministik olduğunu değil, aşamalı karar yapısını gösterir. Entegrasyonda ucuz ve deterministik bir kontrol, bilinen koşulları kapsayıp belirsiz vakaları dikkatli incelemeye bırakabilir.

İlk tarama sıradan vakaları sonuçlandırmalı

İyi bir ilk tarama, mevcut kanıtla kodun yanıtlayabileceği soru sorar. “Kaynak alan var mı?” bunlardan biridir. “Değer hedef sistemin bildirdiği türe uyuyor mu?” bir diğeridir. “Şema, eşlemenin onaylandığı sürüm mü?” üçüncüsüdür.

Kural her satırda yeni bir yorum icat etmeden çalışabilir. Yanıtını da açıklayabilir. Reddedilen bir satır, kaynak serbest metin verirken hedefteki birthday alanının tarih beklediğini söyleyebilir. Bu, “AI güveni düşük” ifadesinden daha yararlıdır.

Tajo’nun Brevo bağlayıcı kılavuzu, hedef sistemin özellik tanımlarının neden önemli olduğunu açıklar. Bağlayıcı HTTP isteğini iletebilirken alıcı sistem tanımlanmamış bir özelliği yok sayabilir. Tanımlı alanlara yönelik ön kontrol, yazmadan önce bir hata sınıfını yakalar. Sonradan okuma ise başka bir sınıfı yakalar. İkisi de kişinin “iyi görünüp görünmediğine” ilişkin model görüşüyle karıştırılmamalıdır.

Amaç muhakemeyi ortadan kaldırmak değildir. Muhakemeyi gerçekten gerektiği soruya ayırmaktır.

1. Yeni senkronizasyon partisi

2. ÖNCE

   Bilinen kuralları kontrol edin

   • Kimlik, alan türü ve hesap kapsamı
3. ARDINDAN

   Açık sonuçları belirleyin

   • Sıradan kayıtları geçirin; bilinen hataları bekletin
4. YALNIZCA GEREKİRSE

   Çözülemeyen vakaları inceleyin

   • Kuralların sonuçlandıramadığı kanıtı inceleyin

5. Kontrol edilmiş sonuç veya açık bekletme

Pahalı tarama doğru vakaları almalı

Örnekteki 10.000 kaydın 9.800’ünün ilk kontrolden geçtiğini varsayalım. Kalan 200 daha yakından incelenir. Bu verimli görünür. Ancak biri 9.800 kayıttan bir örneklemi ve 200 kaydın sonuçlarını kontrol edene kadar doğruluk hakkında hiçbir şey söylemez.

İlk taramanın iki tür hatası vardır. Sıradan bir vakayı işaretleyip gereksiz inceleme süresi harcayabilir. Daha ciddisi, durdurulması gereken vakayı geçirebilir. Hangi hatanın maliyetli olduğu iş akışına bağlıdır. İsteğe bağlı etiketin eksikliği ile pazarlama e-postası gönderme izninin eksikliği aynı eşiği paylaşmamalıdır.

Makul bir itiraz şudur: “Model her kaydı anlayabiliyorsa neden kırılgan bir kurala güvenelim?” Çünkü sıradan kayıtları tekrar tekrar modele sormak onları kendiliğinden daha doğru yapmaz. Kuralın zayıflığı görülebilir: kaynak veya hedef sistem sözleşmesi değiştiğinde varsayımları eskiyebilir. Bu, sözleşmeyi izleme ve kabul edilen vakaları örneklemle kontrol etme nedenidir; her istikrarlı kontrolü sınırsız muhakemeyle değiştirme nedeni değil.

Üst aşamaya gönderme, tam insan incelemesinden daha dar olabilir. Bilinen sağlayıcı hatası belgelenmiş onarım gerektirebilir. Gerçekten yeni bir alan anlamı, eşleme öneren ajan gerektirebilir. İletişim izni belirsizliği sorumlu kişiye gitmelidir. İlk tarama her vakayı sonuçlandırabilecek en dar yetkiye yönlendirmelidir.

Birden çok iş aracını entegre etme kılavuzu, araç seçiminden önce doğruluk kaynağı ve tetikleyici seçimini anlatır. Bu kararlar hangi istisnaların dikkat gerektirdiğini belirler. Hiçbir sonraki işlemde kullanılmayan verideki alan uyumsuzluğu bekleyebilir. Kampanya kitlesini seçen alandaki uyumsuzluk bekleyemez.

Yalnızca tasarrufu değil, kaçan hataları ölçün

Aşamalı bir sistem çekici grafik üretebilir: çok vaka ucuza işlenmiş, azı sonraki aşamaya gitmiş. Bu grafik eksiktir. İkinci bir ölçü ekleyin: İlk taramanın geçirdiği vakalardan kaçı daha sonraki hedef sistem kontrolünde veya bağımsız örneklem incelemesinde başarısız oldu?

Ölçüm gerçek işe bağlanmalıdır. Amaç kişileri uyumlu tutmaksa hedef sistemdeki kişi durumunu inceleyin. Amaç kitleyi korumaksa kimlerin dahil edildiğini ve dışarıda kaldığını inceleyin. Paydası ve sonraki etkisi olmayan hata sayısını kutlamak kolay, ona güvenmek zordur.

Pratik deneme küçük başlayabilir. İncelenmiş sıradan ve istisnai kayıtlardan bir küme saklayın. Ucuz kuralı bu kümede çalıştırın. Kaçırılan her istisnayı kontrol edin. Sonra yeni davranışları onaylamasına izin vermeden canlı trafikte gözlem amaçlı çalıştırın. Ancak kaçırdıkları anlaşıldıktan sonra hangi vakaların daha derin incelemeyi atlayacağına karar versin.

Reverse ETL kılavuzu bu tür işlerin arkasındaki yinelenen veri hareketini ele alır. Ayıklama sorusu bu veri hattının yanındadır: hangi gözlemler istikrarlı kuralın artık istikrarlı olmadığını söyler?

Dikkatli incelemeyi geniş taramanın bilemeyeceği yere harcayın.