Bu sayfada
İade edilmiş sipariş hakkında yanıt gönderilmeye hazır görünüyor: dilbilgisi doğru, dostça ve kısa. Bu örnek vakada otomatik puan tam not veriyor. Asistan ayrıca ödeme sistemi hiç kontrol edilmediği hâlde müşteriye iadenin yapıldığını söylüyor.
Hata zayıf cümle değil, iyi işin zayıf tanımıdır.
Kaydedilmiş değerlendirme gösteriminde ekip, yazılım belgesi yazan ajan için puanlar kurar. İlginç an, işi bilen kişinin kalitenin anlamını açıklaması ve aracın bu açıklamayı ölçütlere çevirmesidir. Daha sonra düşük puan doğru kuşkuyu doğurur: belki ajan, belki değerlendirme düzeltilmelidir.
Rubrik görev hakkındaki kuramdır. Kuramı test edin.
Önce kabul edilemez hatayı tanımlayın
Ekipler çoğunlukla kolay puanlanan boyutlarla başlar: açıklık, üslup, yapı, eksiksizlik. Yararlıdırlar. Nadiren yeterlidirler.
Örnek iade yanıtında “ödeme makbuzu olmadan tamamlanmış iade iddia etme” kuralı, üslup kalitesinin üzerinde olmalıdır. Veri senkronizasyonunda “fatura e-postasını hesap sahibinin e-postasına eşlemeyin” kuralı, alan eşlemesi açıklamasının güzel yazılıp yazılmadığından önemlidir.
Alan uzmanından üç tür vaka isteyin: açıkça iyi, açıkça yanlış ve bilgili kişilerin ayrışabileceği bir vaka. Kaynak kayıtları ve her kararın gerekçesini saklayın. Vaka değişebilecek kurala bağlıysa etiketi kuralla birlikte sürümleyin.
İlk tur küçük olabilir. Belirsiz olamaz.
- Görev sahibi
iyi, kötü ve tartışmalı vakalar
- Kesin kontroller kimlik · izin · hedef
kod olguları uygular
- Anlamsal rubrik
yalnızca yorum gerektirenleri değerlendirin
- Uyuşmazlık incelemesi
etiket ve ölçütleri düzeltin
| Kontrol | Daha uygun sahibi | Nedeni |
|---|---|---|
| Gerekli izin var | Kod ve yetkili kaynaktan alınan kayıtlar | Olgu kesin ve sonuç doğurur |
| Hedef ID kaynak kimlikle eşleşir | Kod ve test kaydı | Model tanımlayıcı tahmin etmemeli |
| Yanıt müşterinin sorusunu karşılar | İnsan incelemesinden geçen rubrik, gerekirse model değerlendiricisi | Anlam yorum gerektirir |
| Üslup duruma uygundur | İnsan incelemesinden geçen rubrik, gerekirse model değerlendiricisi | Birden fazla kabul edilebilir biçim vardır |
Mevcut iş akışlarında AI uygulama kılavuzu, model değerlendirmesini gerçek kontrolleri ve sonuçları olan iş akışına yerleştirir. Bu sınırda kod, özgün değerleri korumalı ve model seçeneklerden birini seçtikten sonra kuralları kontrol etmelidir. Modelin güveni izne dönüşmez.
Puan, rubriğin kör noktalarını devralır
İtiraz haklıdır: “İnsan her ajan çalışmasını inceleyemez. Ölçeklenebilir değerlendiriciye ihtiyacımız var.” Evet. Soru, değerlendiricinin neyi ölçeklediğidir.
Rubrik cilalı yanıtı ödüllendirip siparişin gerçekten iade edilip edilmediğini hiç kontrol etmiyorsa otomasyon bu eksikliği büyütür. İki ondalıklı sayı kesin görünür. Yine de yanlış şeyi ölçebilir.
Google Cloud’un değerlendirici değerlendirme belgesi pratik denetim anlatır: insan puanları olan vakalar hazırlayın, model tabanlı ölçüyü çalıştırın ve puanları karşılaştırın. Mesele tek kişinin görüşünün yanılmaz olması değildir. Model puanının ağırlık kazanması için dış standarda ihtiyaç duymasıdır.
Yalnızca ortalama uyuma değil, uyuşmazlıklara bakın. Değerlendirici destek sorumlusunun reddettiği yanıtı geçirirse hangi eksik ölçütün bunu açıkladığını sorun. İki uzman anlaşmıyorsa iki etiketi de koruyup farklı yorumladıkları kuralı bulun. Ayrılığı sessizce ortalamaya gömmeyin.
Örneklem seçimi ölçüt sözcükleri kadar önemlidir. Rutin başarılarla dolu küme, zor vakalara dokunmadan değerlendiriciyi güvenilir gösterebilir. Eksik kayıtları, çelişen yönergeleri ve doğru yanıtın durup sormak olduğu vakaları ekleyin. Rubriği yazanların ayar yapmadığı ayrı bir vaka kümesi tutun; böylece tanıdık örneklerde gelişen değişiklik başka yerde de kendini kanıtlasın. İş kuralı değiştiğinde hem etiketleri hem beklenen sonuçları yenileyin; donmuş test kümesi dünün politikasını ödüllendirebilir.
Sonucu değerlendirmeye bağlı tutun
Senkronizasyon ajanı rubriği müşterinin sonucunu izlemelidir. Doğru kişi değişti mi? İletişim izni korundu mu? Başarısız kayıt, sonuç doğuran işlemi tekrarlamadan yeniden oynatılabilir mi?
Brevo bağlayıcı kılavuzu, başarılı API çağrısıyla eksik özelliğin nasıl bir arada bulunabildiğini açıklar. Yalnızca ajanın uç noktayı çağırıp çağırmadığını kontrol eden değerlendirme sonucu kaçırır. Yalnızca hedefi kontrol eden değerlendirme ise tesadüfen doğru değerle biten yasak yolu kaçırabilir. Yol risk taşıyorsa ikisi de önemlidir.
Dar bir görev ve birkaç hata türüyle başlayın. Vakaları görevin sahibiyle etiketleyin. Kesin kontrolleri koda koyun; model değerlendiricisini yalnızca dil veya muhakeme gerçekten gerektiriyorsa kullanın. İstem, model veya araç değiştikten sonra aynı vakaları çalıştırın. Sonraki hataların rubrik hakkında öğrettiklerini kaydedin.
Bedeli başta uzman zamanıdır. Kazancı, sonraki her puanın savunulabilir anlama sahip olmasıdır.
Pano puanı gösterebilir. Neyi saydığınızı yalnızca rubrik söyler.
Sık Sorulan Sorular
AI ajanının değerlendirme ölçütlerini kim tanımlamalı?
Görevi ve sonuçlarını bilen kişiler kabul edilebilir sonuçları ve diskalifiye eden hataları tanımlamalı. Mühendisler bu kararları tekrarlanabilir kontrollere dönüştürüp model değerlendiricisinin insan puanlarıyla uyuşup uyuşmadığını ölçebilir.
Yüksek değerlendirici puanı ajanın çalıştığının kanıtı mı?
Hayır. Puan, test edilen vakalarda rubriğe uyumu ölçer. Zayıf rubrik, temsilî olmayan vakalar veya kötü kalibre edilmiş değerlendirici zararlı sonuca yüksek puan verebilir.
Model değerlendiricisi yerine ne kodla kontrol edilmeli?
Kesin izinler, kayıt tanımlayıcıları, zorunlu araç çağrıları ve hedef sistem durumu mümkün olduğunda kodla kontrol edilmeli. Model değerlendiricisi, kesin kuralların sonuçlandıramadığı anlamsal niteliklerde yararlıdır.