في هذه الصفحة
تبدو رسالة الرد بشأن طلب أُعيد جاهزة للإرسال: سليمة نحوياً، ودودة، وقصيرة. في هذه الحالة التوضيحية، يمنحها تقييم آلي العلامة الكاملة. لكن المساعد يخبر العميل أيضاً بأن رد المال قد تم، مع أن أحداً لم يفحص نظام الدفع.
الخطأ ليس ضعف الجملة، بل ضعف تعريف العمل الجيد.
في عرض تقييم جرى استيعابه، يبني فريق درجات لوكيل يكتب وثائق برمجية. اللحظة المهمة حين يصف من يعرف العمل معنى الجودة، وتحول أداة الوصف إلى معايير. ثم تثير درجة منخفضة شكاً صحيحاً: هل يحتاج الوكيل إلى إصلاح، أم يحتاج التقييم نفسه إليه؟
سلم التقييم نظرية عن المهمة. اختبر النظرية.
ابدأ بالخطأ الذي يلغي النتيجة
تبدأ الفرق غالباً بأبعاد يسهل تسجيلها: الوضوح والنبرة والبنية والشمول. وهي نافعة، لكنها نادراً ما تكفي.
في مثال الرد بشأن رد المال، تتقدم قاعدة «لا تدعِ إتمام رد المال دون إيصال دفع» على جودة الصياغة. وفي مزامنة البيانات، يهم «لا تربط بريد الفواتير ببريد صاحب الحساب» أكثر من سلاسة شرح خريطة الحقول.
اطلب من خبير المجال ثلاثة أنواع من الحالات: جيدة بوضوح، وخاطئة بوضوح، وحالة قد يختلف فيها المطلعون. احتفظ بالسجلات المصدرية وسبب كل حكم. وإذا اعتمدت حالة على قاعدة قابلة للتغير، فاحفظ إصدار القاعدة مع التصنيف.
يمكن أن تكون الدفعة الأولى صغيرة، ولا يجوز أن تكون مبهمة.
- صاحب المهمة
حالات جيدة وسيئة ومختلف عليها
- فحوص دقيقة الهوية · الإذن · الوجهة
الكود يفرض الوقائع
- معايير دلالية
الحكم فيما يحتاج إلى تفسير فقط
- مراجعة الخلافات
تصحيح التصنيفات والمعايير
| الفحص | الجهة الأنسب | السبب |
|---|---|---|
| وجود الإذن المطلوب | الكود والسجلات المعتمدة | حقيقة دقيقة وعواقبها مهمة |
| تطابق معرف الوجهة مع هوية المصدر | الكود وسجل اختبار | لا ينبغي للنموذج تخمين المعرف |
| إجابة الرد عن سؤال العميل | معايير راجعها إنسان، وربما حكم نموذج | المعنى يحتاج إلى تفسير |
| ملاءمة النبرة للموقف | معايير راجعها إنسان، وربما حكم نموذج | توجد أكثر من صيغة مقبولة |
يساعد دليل إدخال الذكاء الاصطناعي في سير العمل القائم على رسم الحد بين حكم النموذج والتحقق بالكود من القيم والقيود. لا تصبح ثقة النموذج إذناً.
ترث الدرجة نقاط عمى المعايير
اعتراض منصف يقول: «لا يستطيع الإنسان مراجعة كل تشغيل لوكيل، ونحتاج إلى حكم قابل للتوسع». نعم. لكن ما الذي نوسعه؟
إذا كافأ السلم إجابة مصقولة ولم يفحص هل رُد المال فعلاً، ستوسع الأتمتة ذلك السهو. يبدو الرقم ذو منزلتين عشريتين دقيقاً، وقد يقيس الشيء الخطأ.
تصف وثائق Google Cloud لتقييم نموذج الحكم فحصاً عملياً: جهز حالات بتقديرات بشرية، وشغل المقياس المعتمد على النموذج، وقارن الدرجات. ليس المقصود أن رأي شخص واحد معصوم، بل أن النموذج يحتاج إلى معيار خارجي قبل أن تحمل درجته وزناً.
افحص الاختلافات لا متوسط الاتفاق فقط. إذا نجح الحكم رداً رفضه مسؤول الدعم، فاسأل أي معيار ناقص يفسر ذلك. وإذا اختلف خبيران، فاحتفظ بالحكمين وابحث عن القاعدة التي يفسرانها بشكل مختلف. لا تمحُ الخلاف بمتوسط صامت.
لا تقل أهمية اختيار العينة عن صياغة المعيار. قد تجعل النجاحات المعتادة الحكم يبدو موثوقاً بينما لم تمس الحالات الصعبة. أدرج سجلات ناقصة، وتعليمات متعارضة، وحالات تكون فيها الإجابة الصحيحة التوقف والسؤال. احتفظ بمجموعة منفصلة من الحالات لم يضبط عليها واضعو السلم، كي يثبت أي تعديل نجاحه خارج الأمثلة المألوفة. وإذا تغيرت قاعدة العمل، فحدّث التصنيفات والنتائج المتوقعة؛ إذ قد يكافئ اختبار مجمد سياسة الأمس.
أبقِ النتيجة ملتصقة بالتقييم
ينبغي أن يتبع سلم وكيل المزامنة نتيجة العميل. هل تغيرت جهة الاتصال الصحيحة؟ وهل احترمت الموافقة؟ وهل يمكن إعادة تشغيل سجل فاشل دون تكرار فعل ذي عاقبة؟
يبين دليل موصل Brevo لماذا قد ينجح استدعاء API مع غياب سمة. سيفوت تقييم يفحص استدعاء العملية وحده النتيجة، وقد يفوت تقييم الوجهة وحدها طريقاً محظوراً صادف أن انتهى بالقيمة الصحيحة. كلاهما مهم حين يحمل الطريق خطراً.
ابدأ بمهمة ضيقة وبضع صور للإخفاق. صنف الحالات مع من يملك المهمة. ضع الفحوص الدقيقة في الكود، واستخدم حكم النموذج حين تحتاج اللغة أو التفسير إليه حقاً. أعد الحالات نفسها بعد تغير المطالبة أو النموذج أو الأداة. وسجل ما تكشفه الإخفاقات اللاحقة عن السلم.
التكلفة هي وقت الخبراء مقدماً. والمكسب أن لكل درجة لاحقة معنى يستطيع أحدهم الدفاع عنه.
قد تعرض لوحة درجة، لكن سلم التقييم وحده يخبرك ما الذي عددته.
الأسئلة المتكررة
من ينبغي أن يحدد معايير تقييم وكيل الذكاء الاصطناعي؟
من يعرفون المهمة وعواقبها يحددون النتائج المقبولة والأخطاء الملغية. ويمكن للمهندسين تحويل الأحكام إلى فحوص متكررة وتقييم موافقة حكم النموذج للتقديرات البشرية.
هل الدرجة العالية تثبت عمل الوكيل؟
لا. تقيس الدرجة التوافق مع سلم التقييم على الحالات المختبرة. وقد يمنح سلم ضعيف أو حالات غير تمثيلية أو حكم غير مضبوط نتيجة ضارة درجة عالية.
ما الذي يفحصه الكود بدلاً من حكم النموذج؟
الأذونات الدقيقة، ومعرفات السجلات، واستدعاءات الأدوات المطلوبة، وحالة الوجهة متى أمكن. ينفع حكم النموذج للصفات الدلالية التي لا تحسمها القواعد الدقيقة.