इस पेज पर
लौटाए हुए ऑर्डर के बारे में उत्तर भेजने योग्य दिखता है: व्याकरण सही, लहजा अच्छा और छोटा. इस उदाहरण में स्वचालित स्कोर उसे पूरे अंक देता है. असिस्टेंट ग्राहक को यह भी कहता है कि रिफ़ंड जारी हो गया, जबकि किसी ने भुगतान सिस्टम जांचा नहीं.
समस्या वाक्य की नहीं. अच्छे की परिभाषा कमज़ोर है.
संग्रहित मूल्यांकन प्रदर्शन में टीम सॉफ़्टवेयर दस्तावेज़ लिखने वाले एजेंट के लिए स्कोर बनाती है. दिलचस्प क्षण तब है जब काम जानने वाला व्यक्ति गुणवत्ता का अर्थ बताता है और टूल उससे कसौटियां बनाता है. बाद में कम स्कोर सही संदेह जगाता है: एजेंट सुधारें या मूल्यांकन?
कसौटी काम के बारे में सिद्धांत है. सिद्धांत जांचें.
अयोग्य बनाने वाली गलती से शुरू करें
टीम अक्सर आसानी से स्कोर होने वाले आयामों से शुरू करती है: स्पष्टता, लहजा, संरचना, पूर्णता. ये उपयोगी हैं. शायद ही पर्याप्त हों.
उदाहरण के रिफ़ंड उत्तर में “भुगतान की रसीद बिना रिफ़ंड पूरा होने का दावा न करें” भाषा की गुणवत्ता से ऊपर है. डेटा सिंक में “बिलिंग ईमेल को अकाउंट स्वामी के ईमेल में मैप न करें” फ़ील्ड मैप की अच्छी व्याख्या से ज़्यादा महत्वपूर्ण है.
क्षेत्र विशेषज्ञ से तीन तरह के मामले मांगें: साफ़ तौर पर अच्छा, साफ़ तौर पर गलत और ऐसा जिसमें जानकार लोग असहमत हो सकते हैं. हर निर्णय का स्रोत रिकॉर्ड और कारण बचाएं. मामला बदल सकने वाले नियम पर निर्भर हो तो लेबल के साथ नियम का संस्करण रखें.
पहला दौर छोटा हो सकता है. धुंधला नहीं.
- काम का स्वामी
अच्छे, खराब और विवादित मामले
- सटीक जांच पहचान · अनुमति · डेस्टिनेशन
कोड तथ्य सत्यापित करता है
- अर्थ वाली कसौटी
केवल व्याख्या ज़रूरी हो तो मॉडल
- असहमति समीक्षा
लेबल और कसौटी सुधारें
| जांच | बेहतर स्वामी | कारण |
|---|---|---|
| आवश्यक अनुमति मौजूद है | कोड और आधिकारिक रिकॉर्ड | तथ्य सटीक और गंभीर असर वाला है |
| डेस्टिनेशन ID स्रोत पहचान से मिलता है | कोड और टेस्ट रिकॉर्ड | मॉडल को पहचानकर्ता अनुमान नहीं लगाना चाहिए |
| उत्तर ग्राहक के सवाल का जवाब देता है | मानव समीक्षा वाली कसौटी, संभव हो तो मॉडल | अर्थ की व्याख्या ज़रूरी है |
| लहजा स्थिति के अनुकूल है | मानव समीक्षा वाली कसौटी, संभव हो तो मॉडल | कई स्वीकार्य रूप हो सकते हैं |
मौजूदा वर्कफ़्लो में AI जोड़ने की गाइड भी निर्णय और निष्पादन की सीमा समझाती है: मॉडल का भरोसा अनुमति नहीं बनता. मॉडल उम्मीदवार चुने, फिर कोड मूल मान कॉपी करे और सीमाएं जांचे.
कसौटी की अनदेखियां स्कोर में भी रहती हैं
आपत्ति उचित है: “इंसान हर एजेंट रन नहीं देख सकता. हमें बड़े पैमाने का मूल्यांकनकर्ता चाहिए.” सही. सवाल है वह किस चीज़ को बड़ा कर रहा है.
कसौटी सुगठित उत्तर को पुरस्कृत करे और ऑर्डर का वास्तविक रिफ़ंड जांचे ही नहीं, तो ऑटोमेशन चूक को भी बड़े पैमाने पर फैलाएगा. दो दशमलव वाला नंबर बहुत सटीक दिखता है. फिर भी गलत चीज़ माप सकता है.
Google Cloud का मूल्यांकनकर्ता जांच दस्तावेज़ व्यावहारिक जांच बताता है: मानव रेटिंग वाले मामले तैयार करें, मॉडल आधारित मेट्रिक चलाएं और स्कोर की तुलना करें. बात यह नहीं कि एक व्यक्ति की राय अचूक है. बात है कि मॉडल स्कोर को वज़न देने से पहले बाहरी मानक चाहिए.
औसत सहमति के साथ असहमति भी देखें. ग्राहक सहायता प्रमुख द्वारा अस्वीकार उत्तर को मॉडल पास करे तो पूछें कौन सी कसौटी गायब है. दो विशेषज्ञ असहमत हों तो दोनों लेबल रखें और अलग समझे गए नियम को खोजें. विवाद को चुपचाप औसत में न मिटाएं.
नमूना चुनना कसौटी के शब्द जितना महत्वपूर्ण है. सामान्य सफल मामले मूल्यांकनकर्ता को भरोसेमंद दिखा सकते हैं जबकि कठिन मामले अनछुए रहते हैं. अधूरे रिकॉर्ड, विरोधी निर्देश और सही उत्तर रुककर पूछना हो, ऐसे मामले शामिल करें. कसौटी बनाने वालों ने जिस अलग समूह पर समायोजन नहीं किया, उसे भी रखें. परिचित उदाहरणों पर सुधार दूसरे में भी काम करे. बिज़नेस नियम बदले तो लेबल और अपेक्षित परिणाम दोनों ताज़ा करें; जमी टेस्ट सूची कल की नीति को पुरस्कृत कर सकती है.
मूल्यांकन को परिणाम से जोड़े रखें
सिंक एजेंट की कसौटी को ग्राहक परिणाम तक जाना चाहिए. सही संपर्क बदला? सहमति का पालन हुआ? विफल रिकॉर्ड को गंभीर असर वाला काम दोहराए बिना फिर चला सकते हैं?
Brevo कनेक्टर गाइड बताती है कि सफल API कॉल और गायब एट्रिब्यूट साथ हो सकते हैं. केवल एंडपॉइंट कॉल देखना परिणाम छोड़ देगा. केवल डेस्टिनेशन देखना निषिद्ध रास्ता छोड़ सकता है जो संयोग से सही मान तक पहुंचा. रास्ते में जोखिम हो तो दोनों मायने रखते हैं.
छोटे काम और कुछ विफलता प्रकार से शुरू करें. काम के स्वामी के साथ मामलों पर लेबल लगाएं. सटीक जांच कोड में रखें और भाषा या निर्णय सचमुच मांगे तभी मॉडल मूल्यांकनकर्ता लगाएं. प्रॉम्प्ट, मॉडल या टूल बदलने पर वही मामले चलाएं. बाद की विफलताएं कसौटी के बारे में क्या सिखाती हैं, दर्ज करें.
शुरुआती लागत विशेषज्ञ का समय है. लाभ है कि बाद के हर स्कोर का ऐसा अर्थ होगा जिसे कोई समझा सके.
डैशबोर्ड स्कोर दिखा सकता है. आपने क्या गिना, यह कसौटी ही बताती है.
अक्सर पूछे जाने वाले प्रश्न
AI एजेंट की मूल्यांकन कसौटी कौन तय करे?
काम और उसके परिणाम समझने वाले लोग स्वीकार्य परिणाम और अयोग्य त्रुटियां तय करें. इंजीनियर उन निर्णयों को दोहराए जा सकने वाली जांच बना सकते हैं और मॉडल मूल्यांकनकर्ता मानव रेटिंग से कितना सहमत है, जांच सकते हैं.
ऊंचा मॉडल स्कोर एजेंट के काम करने का प्रमाण है?
नहीं. स्कोर जांचे गए मामलों पर कसौटी से मेल बताता है. कमज़ोर कसौटी, प्रतिनिधि न होने वाले मामले या गलत संतुलित मूल्यांकनकर्ता हानिकारक परिणाम को ऊंचा स्कोर दे सकते हैं.
मॉडल मूल्यांकनकर्ता की जगह कोड से क्या जांचें?
सटीक अनुमतियां, रिकॉर्ड पहचानकर्ता, ज़रूरी टूल कॉल और डेस्टिनेशन स्थिति जहां संभव हो कोड से जांचें. मॉडल मूल्यांकनकर्ता उन अर्थ संबंधी गुणों में उपयोगी है जिन्हें सटीक नियम तय नहीं कर सकते.