Σε αυτή τη σελίδα
Μια απάντηση για επιστρεφόμενη παραγγελία φαίνεται έτοιμη να σταλεί: γραμματικά σωστή, φιλικός τόνος, λίγες λέξεις. Σε αυτή την υποθετική περίπτωση, ο αυτοματοποιημένος έλεγχος δίνει άριστα. Η απάντηση λέει επίσης στον πελάτη ότι εκδόθηκε επιστροφή χρημάτων, παρότι κανείς δεν έλεγξε το σύστημα πληρωμών.
Το σφάλμα δεν είναι μια αδύναμη πρόταση. Είναι ένας αδύναμος ορισμός του καλού.
Σε μια καταγεγραμμένη επίδειξη αξιολόγησης, μια ομάδα κατασκευάζει βαθμολογίες για πράκτορα που γράφει τεκμηρίωση λογισμικού. Η ενδιαφέρουσα στιγμή είναι όταν ο άνθρωπος που γνωρίζει τη δουλειά περιγράφει τι σημαίνει ποιότητα και ένα εργαλείο μετατρέπει αυτή την περιγραφή σε κριτήρια. Αργότερα, μια χαμηλή βαθμολογία προκαλεί τη σωστή αμφιβολία: μήπως χρειάζεται διόρθωση ο πράκτορας ή μήπως η αξιολόγηση;
Η κλίμακα είναι θεωρία για την εργασία. Δοκιμάστε τη θεωρία.
Ξεκινήστε από το σφάλμα που αποκλείει την αποδοχή
Οι ομάδες συχνά ξεκινούν με διαστάσεις που βαθμολογούνται εύκολα: σαφήνεια, τόνος, δομή, πληρότητα. Είναι χρήσιμες. Σπάνια αρκούν.
Για την υποθετική απάντηση περί επιστροφής χρημάτων, το «ποτέ μην ισχυρίζεστε ότι ολοκληρώθηκε επιστροφή χωρίς αποδεικτικό πληρωμής» προηγείται της ποιότητας του κειμένου. Σε συγχρονισμό δεδομένων, το «μην αντιστοιχίζετε το email τιμολόγησης με το email του ιδιοκτήτη λογαριασμού» έχει μεγαλύτερη σημασία από το πόσο καλογραμμένη είναι η εξήγηση της αντιστοίχισης.
Ζητήστε από τον ειδικό του πεδίου τρία είδη περιπτώσεων: μία σαφώς σωστή, μία σαφώς λανθασμένη και μία για την οποία ενημερωμένοι άνθρωποι μπορεί να διαφωνούν. Κρατήστε τις αρχικές εγγραφές και τον λόγο κάθε κρίσης. Αν μια περίπτωση εξαρτάται από κανόνα που μπορεί να αλλάξει, αποθηκεύστε την έκδοση του κανόνα μαζί με την ετικέτα.
Το πρώτο σύνολο μπορεί να είναι μικρό. Δεν μπορεί να είναι αόριστο.
- Υπεύθυνος εργασίας
σωστές, λανθασμένες και αμφισβητούμενες περιπτώσεις
- Ακριβείς έλεγχοι ταυτότητα · άδεια · προορισμός
ο κώδικας επιβάλλει τα γεγονότα
- Σημασιολογικά κριτήρια
κρίση μόνο όπου χρειάζεται ερμηνεία
- Εξέταση διαφωνιών
διόρθωση ετικετών και κριτηρίων
| Έλεγχος | Καταλληλότερος υπεύθυνος | Γιατί |
|---|---|---|
| Υπάρχει η απαιτούμενη άδεια | Κώδικας και επίσημες εγγραφές που ορίζουν την κατάσταση | Το γεγονός είναι ακριβές και κρίσιμο |
| Το ID προορισμού ταιριάζει με την ταυτότητα πηγής | Κώδικας και δοκιμαστική εγγραφή | Το μοντέλο δεν πρέπει να μαντεύει αναγνωριστικό |
| Η απάντηση καλύπτει την ερώτηση του πελάτη | Κριτήρια ελεγμένα από άνθρωπο, ενδεχομένως μοντέλο-κριτής | Το νόημα απαιτεί ερμηνεία |
| Ο τόνος ταιριάζει στην περίσταση | Κριτήρια ελεγμένα από άνθρωπο, ενδεχομένως μοντέλο-κριτής | Υπάρχουν περισσότερες από μία αποδεκτές μορφές |
Ο οδηγός για την AI σε υπάρχουσες ροές εργασίας θέτει το ίδιο όριο για αποφάσεις μέσα σε μια ροή: ο κώδικας διατηρεί τις αρχικές τιμές και ελέγχει τους περιορισμούς αφού το μοντέλο επιλέξει ανάμεσα σε υποψήφιες. Η βεβαιότητα του μοντέλου δεν μετατρέπεται σε άδεια.
Η βαθμολογία κληρονομεί όσα αγνοούν τα κριτήρια
Η αντίρρηση είναι δίκαιη: «Ένας άνθρωπος δεν μπορεί να εξετάζει κάθε εκτέλεση πράκτορα. Χρειαζόμαστε κριτή που κλιμακώνεται». Ναι. Το ερώτημα είναι τι ακριβώς κλιμακώνει.
Αν τα κριτήρια επιβραβεύουν καλογραμμένη απάντηση αλλά ποτέ δεν ελέγχουν αν επιστράφηκαν πράγματι τα χρήματα, η αυτοματοποίηση θα κλιμακώσει την παράλειψη. Ένας αριθμός με δύο δεκαδικά μοιάζει ακριβής. Μπορεί να μετρά το λάθος πράγμα.
Η τεκμηρίωση της Google Cloud για αξιολόγηση μοντέλου-κριτή περιγράφει πρακτικό έλεγχο: ετοιμάστε περιπτώσεις με ανθρώπινες αξιολογήσεις, εκτελέστε τη μέτρηση μέσω μοντέλου και συγκρίνετε βαθμολογίες. Το νόημα δεν είναι ότι η άποψη ενός ανθρώπου είναι αλάνθαστη. Το μοντέλο χρειάζεται εξωτερικό πρότυπο προτού το σκορ του αποκτήσει βάρος.
Εξετάστε τις διαφωνίες, όχι μόνο τη μέση συμφωνία. Αν ο κριτής εγκρίνει απάντηση που ο υπεύθυνος υποστήριξης απέρριψε, αναζητήστε ποιο κριτήριο λείπει. Αν δύο ειδικοί διαφωνούν, κρατήστε και τις δύο ετικέτες και βρείτε ποιον κανόνα ερμηνεύουν διαφορετικά. Μη σβήνετε σιωπηρά τη διαφωνία με έναν μέσο όρο.
Η επιλογή περιπτώσεων έχει όση σημασία έχει και η διατύπωση των κριτηρίων. Πολλές συνηθισμένες επιτυχίες μπορούν να κάνουν τον κριτή να φαίνεται αξιόπιστος ενώ οι δύσκολες περιπτώσεις μένουν ανέγγιχτες. Συμπεριλάβετε ελλιπείς εγγραφές, αντικρουόμενες οδηγίες και περιπτώσεις όπου η σωστή απάντηση είναι να σταματήσει και να ρωτήσει. Κρατήστε χωριστό σύνολο περιπτώσεων στο οποίο δεν ρύθμισαν τα κριτήρια οι συντάκτες τους. Έτσι μια αλλαγή που βελτιώνει γνώριμα παραδείγματα πρέπει να αποδείξει την αξία της και αλλού. Όταν αλλάζει επιχειρηματικός κανόνας, ανανεώστε ετικέτες και αναμενόμενα αποτελέσματα. Ένα παγωμένο σύνολο δοκιμών μπορεί να επιβραβεύει τη χθεσινή πολιτική.
Κρατήστε το αποτέλεσμα δεμένο με την αξιολόγηση
Τα κριτήρια για πράκτορα συγχρονισμού πρέπει να ακολουθούν το αποτέλεσμα για τον πελάτη. Άλλαξε η σωστή επαφή; Τηρήθηκε η συγκατάθεση; Μπορεί μια αποτυχημένη εγγραφή να επανεκτελεστεί χωρίς να επαναληφθεί ενέργεια με συνέπειες;
Ο οδηγός συνδέσμου Brevo εξηγεί γιατί επιτυχής κλήση API μπορεί να συνυπάρχει με χαρακτηριστικό που λείπει. Αξιολόγηση που ελέγχει μόνο αν ο πράκτορας κάλεσε το endpoint θα χάσει το αποτέλεσμα. Αξιολόγηση που ελέγχει μόνο τον προορισμό μπορεί να χάσει μια απαγορευμένη διαδρομή που έτυχε να καταλήξει στη σωστή τιμή. Και τα δύο έχουν σημασία όταν η διαδρομή έχει κίνδυνο.
Ξεκινήστε με μία στενή εργασία και λίγους τρόπους αποτυχίας. Επισημάνετε τις περιπτώσεις με τον υπεύθυνο της εργασίας. Βάλτε τους ακριβείς ελέγχους σε κώδικα και χρησιμοποιήστε μοντέλο-κριτή μόνο εκεί όπου η γλώσσα ή η κρίση το απαιτεί πραγματικά. Εκτελέστε τις ίδιες περιπτώσεις μετά από αλλαγή προτροπής, μοντέλου ή εργαλείου. Καταγράψτε τι αποκαλύπτουν οι επόμενες αστοχίες για τα κριτήρια.
Το κόστος είναι χρόνος ειδικού στην αρχή. Το όφελος είναι ότι κάθε επόμενη βαθμολογία έχει νόημα που κάποιος μπορεί να υπερασπιστεί.
Ένας πίνακας μπορεί να εμφανίσει σκορ. Μόνο τα κριτήρια λένε τι μετρήσατε.
Έχετε Ερωτήσεις; Έχουμε Απαντήσεις
Ποιος πρέπει να ορίσει τα κριτήρια αξιολόγησης ενός πράκτορα AI;
Οι άνθρωποι που γνωρίζουν την εργασία και τις συνέπειές της πρέπει να ορίσουν αποδεκτά αποτελέσματα και σφάλματα αποκλεισμού. Οι μηχανικοί μπορούν να τα μετατρέψουν σε επαναλήψιμους ελέγχους και να εξετάσουν αν ο κριτής συμφωνεί με ανθρώπινες αξιολογήσεις.
Αποδεικνύει η υψηλή βαθμολογία ότι ένας πράκτορας λειτουργεί;
Όχι. Η βαθμολογία μετρά συμφωνία με κριτήρια στις περιπτώσεις που δοκιμάστηκαν. Αδύναμα κριτήρια, μη αντιπροσωπευτικές περιπτώσεις ή κακώς βαθμονομημένος κριτής μπορούν να δώσουν υψηλό σκορ σε επιζήμιο αποτέλεσμα.
Τι πρέπει να ελέγχεται από κώδικα αντί για μοντέλο-κριτή;
Ακριβείς άδειες, αναγνωριστικά εγγραφών, απαιτούμενες κλήσεις εργαλείων και κατάσταση προορισμού πρέπει να ελέγχονται με κώδικα όπου είναι εφικτό. Ο κριτής είναι χρήσιμος για σημασιολογικές ιδιότητες που δεν αποφασίζονται με ακριβείς κανόνες.