Yanıt doğru. İzlenen yol yanlış.

Doğru sonuç, ona giden güvensiz yolu gizleyebilir. Ajanın yalnızca ne döndürdüğünü değil, ne okuduğunu ve değiştirdiğini de kontrol edin.

agent evaluation process

Kısaca cevap nedir?

Doğru sonuç tek başına yeterli kanıt değildir. Ajan işinde özellikle müşteri verisi veya izinler söz konusuysa kullanılan kaynakları, yapılan işlemleri ve uygulanan kontrolleri doğrulayın. Kuralı açıksa süreç denetimi otomatikleştirilebilir; insan yalnızca sonuç doğuran belirsizliği incelemelidir. Bu yazı sonuca giden yol hakkındadır, simüle edilmiş hedef sistemin gerçeğe uygunluğu hakkında değil.

Daha fazla bilgi
Bu sayfada

420 sayısı birbiriyle bağdaşmayan iki nedenle doğru olabilir. Bu örnek senaryoda iki ajan aynı kişi segmentini döndürür ve ikisi de 420 müşteri listeler. Biri onaylı mağaza kitlesini kullanıp iletişim iznini kontrol etmiştir. Diğeri farklı bir çalışma alanından eski bir dışa aktarımı kopyalamış, tesadüfen aynı sayıya ulaşmıştır.

Yalnızca sonucu puanlayan sistem ikisine de tam not verir. Bu yanlış değerlendirmedir.

Ajan ortamlarında doğrulamaya ilişkin bir tartışma, nihai çıktıyla onu üretmek için izlenen yolu ayırır. Elektronik tablo örneğinde doğru sayı, görevin yalnızca bir parçasıdır. Formüller, kaynak başvuruları ve zorunlu biçim de önemlidir. Entegrasyonlarda ayrım daha keskindir: sonucun nereden geldiği, ona erişimin izinli olup olmadığını belirleyebilir.

Son değer kendi kökenini kanıtlayamaz

Bir ajanın mağazadaki müşteri nesnesinden pazarlama sistemine alan eşlemesi önerdiğini varsayalım. email alanını e-postaya, firstName alanını ada, iletişim izni alanını da hedef sistemin pazarlama durumuna eşler. Önizleme makul görünür.

Bu seçimler için neyi okudu? Güncel şemayı mı, eski örneği mi, yoksa başka hesaba ait belgeyi mi? İletişim izni alanının anlamını inceledi mi, yoksa etiketinden mi çıkardı? Null değeri “abone değil” mi, “bilinmiyor” mu saydı?

Her yanıt, aynı son eşlemenin ne kadar güvenilir olduğunu değiştirir. Eşleme çıktıdır. Kanıt izi, onu kullanma gerekçesidir.

Bu iz, karar anında her kaynağın hangi sürümünün mevcut olduğunu belirtmelidir. Sonradan düzeltilmiş şemanın ekran görüntüsü, dün önerilen eşlemeyi açıklamaz. İlgili şema veya belge sürümünü kararla birlikte yakalayın; bu sürümle onaylanan kural arasındaki bağı koruyun. Amaç ajanın gördüğü her sayfayı saklamak değil, kararı yeniden kurabilmektir.

Bu nedenle araç izi, kendinden emin açıklamadan daha önemli olabilir. İz, ajanın kullandığı somut çağrıları ve tanımlayıcıları kaydeder. Yazılı özet yararlıdır ama kaynağa gerçekten başvurulduğunu kanıtlayamaz. Entegrasyonda kanıt, kaynak nesneyi, hedef sistem sözleşmesini ve veriyi taşıyacak belirli kuralı göstermelidir.

İş araçlarını entegre etme kılavuzu alan sahipliğiyle başlar; çünkü iki taraftaki adlar, yetkinin kimde olduğunu nadiren belirler. Süreç denetimi, ajanın yazma taslağını hazırlamadan önce bu sahiplik kararına gerçekten başvurup başvurmadığını sorar.

İzin verilen yolu göreve yazın

İyi bir test vakasının iki bölümü vardır. Önce hedef sistemin ne içermesi gerektiğini belirtin. Sonra oraya giderken hangi kanıt ve işlemlere izin verildiğini yazın.

Örnek segmentte beklenen çıktı 420 kişi olabilir. Ancak onaylı yol ayrıca mağaza kapsamlı sorguyu, güncel iletişim izni eşlemesini ve dışlanan kayıtları belirten önizlemeyi gerektirebilir. Çalışma alanları arası okumayı ve doğrudan kampanya göndermeyi yasaklayabilir.

Bu, doğrulayıcıyı somutlaştırır. Başka çalışma alanına ait tanımlayıcıyı mekanik olarak reddedebilir. Etkinleştirmeden önce önizleme çağrısı yapıldığını kontrol edebilir. Çıktıda adı verilen veri kaynağının izdeki kaynakla eşleştiğini doğrulayabilir. Bunlar model görüşü değil, kurallardır.

Kalan bir soru muhakeme gerektirebilir: seçilen iletişim izni alanı gerçekten bu kampanyaya izin mi veriyordu? Alan tanımını ve amaçlanan kullanımı bir kişinin veya dar kapsamlı karar modelinin incelemesi gereken yer burasıdır. Kural ile muhakeme farklı işler görür.

Böylece test yararlı hata mesajı verir. “Yanlış yanıt” ekibi tahmine bırakır. “Sayı doğru, ancak kitleyi çalışma alanları arası okuma sağladı” veri sınırı hatasını belirler. “Eşleme doğru, ancak iletişim izni tanımı mevcut değildi” eksik kanıtı gösterir. Doğrulayıcı, başarısız koşulu ve buna yol açan iz kaydını bildirmelidir ki onarım son ifadeyi cilalamak yerine yolu değiştirsin.

İz neyi kanıtlıyor?

  1. Onaylı kaynak ve gerekli kontroller

    Yolu kabul edin

    Sonuç, görevin gerektirdiği kanıta sahip.

  2. Başka çalışma alanına ait kaynak

    Yolu reddedin

    Eşleşen sayı o okumaya izin vermez.

  3. Gerekli kanıt eksik

    İncelemeye alın

    Yalnızca çıktı, nasıl elde edildiğini gösteremez.

Kavramsal yol denetimi. Aynı son sayı farklı yollardan elde edilebilir.

İzi törensel bir gerekliliğe çevirmeyin

Makul bir itiraz şudur: “Ajan gerekli çağrıları yapıp sonuçlarını yine de yok sayabilir.” Doğru. Çağrı listesi çağrının yapıldığını kanıtlar; dönen kanıtın kararı etkilediğini kanıtlamaz.

Bunu test etmenin bir yolu kanıtı değiştirmektir. Diğer yönlerden benzer ama iletişim izni durumları farklı iki kayıt sunun. Ajan ikisine de aynı eşlemeyi ve açıklamayı veriyorsa kaynağa görünürde başvurması bir gösteriden ibaret olabilir. Bir başka yöntem, zorunlu kaynağı kaldırıp ajandan durmasını istemektir. Boşluğu hafızasından dolduran ajan izin verilen yolu izlememiştir.

Bunun bedeli test düzeneğinde daha fazla iştir. Yetkili kaynakları, beklenen ayrımları ve yasak kestirmeleri birinin tanımlaması gerekir. Genel “Yanıt iyi görünüyor mu?” puanı daha ucuza hazırlanır. Daha az öğretir.

Reverse ETL bir eşlemeyi tekrarlanan veri hareketine dönüştürür. Eşleme onaylandıktan sonra sıradan kod, ajan her satırda kanıtı yeniden incelemeden onu uygulayabilir. Yol denetimi kuralı oluşturan veya değiştiren kararlarda, sonra da değişen bir sözleşme kuralı sorgulattığında yapılmalıdır.

Yanlış hesaptan elde edilmiş doğru yanıt, neredeyse doğru bir iş değildir. Farklı bir iştir.

Sık Sorulan Sorular

Son yanıt doğruysa yolu neden incelemeliyiz?

Ajan yetkisiz veri kullanmış, gerekli kontrolü atlamış veya doğru değere tesadüfen ulaşmış olabilir. Yalnızca çıktı, yolun güvenli ya da tekrarlanabilir olduğunu kanıtlayamaz.

Her ara işlem insan tarafından mı incelenmeli?

Hayır. Araç çağrılarını kaydedin ve yasak işlemlere deterministik kurallar uygulayın. Önemli veya belirsiz adımları inceleyin ve temsilî işlem izlerini test edin.

Ekip bunu nasıl test edebilir?

Beklenen son durumları izin verilen kanıt kaynakları ve zorunlu kontrollerle eşleştirin. Bir kestirmenin aynı yanıtı üretebildiği vakaları yeniden oynatıp doğrulayıcının bunları reddedip reddetmediğine bakın.

Erken erişim talep edin

Adınızı ve iş e-posta adresinizi girin. Tajo erişim talebinizi onaylamanız için size bir bağlantı göndereceğiz.

Brevo'yu Edinin