Σε αυτή τη σελίδα
Φανταστείτε κατάλογο προϊόντων που αλλάζει τη Δευτέρα. Το prompt του βοηθού περιέχει ακόμη τη λίστα της Παρασκευής. Η ομάδα το ενημερώνει. Ένα δεύτερο αντίγραφο της παλιάς λίστας βρίσκεται σε παραδείγματα εκπαίδευσης του μοντέλου. Ο βοηθός δίνει τώρα μια τρέχουσα και μια παρωχημένη απάντηση στην ίδια συνομιλία.
Αυτή είναι υποθετική αποτυχία, αλλά ο μηχανισμός της είναι γνωστός: το ίδιο γεγονός απέκτησε περισσότερα από ένα σπίτια.
Μια παρουσίαση για prompts, ανάκτηση και βάρη μοντέλου χαράζει χρήσιμο όριο. Το prompt λέει στον βοηθό πώς να συμπεριφέρεται. Η ανάκτηση φέρνει τρέχουσα γνώση με πηγές σε συγκεκριμένη εργασία. Η προσαρμογή μοντέλου μπορεί να διδάξει ένα σταθερό μοτίβο. Αν τα δείτε σαν σκάλα, πρώτα prompt, έπειτα ανάκτηση και μετά fine-tuning όποτε η απάντηση παραμένει λάθος, διαγιγνώσκετε λανθασμένα τα σφάλματα γεγονότων.
Το prompt είναι κακός κατάλογος
Τα prompts είναι ελκυστικά γιατί διορθώνονται εύκολα. Προσθέστε μια παράγραφο και το επόμενο αίτημα την περιέχει. Αυτή η ευκολία κρύβει δύο κόστη. Το γεγονός στέλνεται με κάθε κλήση, ακόμη και όταν είναι άσχετο. Και ένα μεγάλο prompt δυσκολεύει να διακρίνετε ποιο αντίγραφο κανόνα χρησιμοποίησε το μοντέλο.
Μια σταθερή οδηγία όπως «ρώτησε πριν στείλεις καμπάνια» ανήκει κοντά στον πράκτορα. Η τρέχουσα λίστα ειδικών πεδίων αυτού του καταστήματος όχι. Μπορεί να αλλάξει όταν ο διαχειριστής προσθέσει χαρακτηριστικό. Μπορεί να διαφέρει ανάμεσα σε πελάτες. Μπορεί να είναι ορατή σε έναν χώρο εργασίας και απαγορευμένη σε άλλον.
Ο οδηγός του συνδέσμου Brevo δείχνει γιατί οι ορισμοί πεδίων έχουν σημασία στον συγχρονισμό επαφών. Αν ένα χαρακτηριστικό δεν έχει δηλωθεί στον λογαριασμό προορισμού, μια αντιστοίχιση που φαινόταν λογική από το όνομα μπορεί να μην παράγει το επιθυμητό πεδίο. Ο πράκτορας πρέπει να εξετάζει την τρέχουσα σύμβαση του λογαριασμού, όχι να θυμάται γενική λίστα πεδίων από την εκπαίδευσή του.
Ένα καλό αποτέλεσμα ανάκτησης είναι αρκετά μικρό ώστε να μπορεί να αμφισβητηθεί. Πρέπει να λέει σε ποιον λογαριασμό ή πελάτη ισχύει, πότε διαβάστηκε και ποια λειτουργία ή ποιο πεδίο περιγράφει. Αν δύο ανακτημένα αποσπάσματα διαφωνούν, το σύστημα πρέπει να δείχνει τη σύγκρουση αντί να επιλέγει σιωπηλά το πιο καλογραμμένο. Το επόμενο βήμα μπορεί να είναι νέο ερώτημα ή εξέταση, όχι μια ακόμη πιο επιτακτική διατύπωση του prompt.
Ανακτήστε το γεγονός μαζί με το πεδίο ισχύος του
Μια χρήσιμη εγγραφή γνώσης περιέχει περισσότερα από κείμενο. Χρειάζεται πηγή, έκδοση ή χρόνο ανάκτησης, όριο λογαριασμού και σαφή τρόπο αντικατάστασης ή διαγραφής. Ένας ορισμός πεδίου που βρέθηκε σε έναν λογαριασμό καταστήματος δεν πρέπει να γίνεται γενικός κανόνας για άλλον.
Ένα ερώτημα για χαρακτηριστικό επαφής μπορεί τότε να ανακτήσει το μικρότερο απόσπασμα που απαντά: όνομα, τύπο και λογαριασμό όπου υπάρχει. Η απάντηση μπορεί να παραπέμπει στην πηγή. Αν η αντιστοίχιση αποτύχει, η ομάδα μπορεί να ρωτήσει αν το γεγονός ήταν παλιό, αν επέστρεψε αποτέλεσμα άλλου λογαριασμού ή αν το μοντέλο παρερμήνευσε σωστό απόσπασμα.
Αυτά απαιτούν διαφορετικές διορθώσεις. Αλλαγή prompt δεν διορθώνει φίλτρο ανάκτησης που περνά όρια πελατών. Μεγαλύτερο μοντέλο δεν μπορεί να προσφέρει ορισμό χαρακτηριστικού που κανείς δεν ανέκτησε.
Η εξήγηση του MCP περιγράφει πώς ένας πράκτορας ρωτά εργαλεία. Το εργαλείο πρέπει να επιστρέφει τη σχετική σύμβαση, ενώ η εφαρμογή επιβάλλει ποιος επιτρέπεται να τη δει. Μια οδηγία κειμένου «μην αποκαλύπτεις δεδομένα άλλου πελάτη» δεν αντικαθιστά περιορισμένο ερώτημα.
Ο διαχωρισμός επιταχύνει και τη διόρθωση. Αν ένα πεδίο προορισμού μετονομαστεί, ενημερώστε την πηγή σχήματος και ακυρώστε την αντίστοιχη αντιστοίχιση. Αν ο πράκτορας παρερμηνεύει επανειλημμένα σταθερή οδηγία, αλλάξτε την οδηγία ή δοκιμάστε στοχευμένη εκπαίδευση. Αν η απάντηση είναι λάθος επειδή η ανάκτηση επέλεξε λάθος λογαριασμό, η αλλαγή βαρών μοντέλου δεν αγγίζει την αιτία. Κάθε τύπος σφάλματος έχει διαφορετικό υπεύθυνο και διαδρομή διόρθωσης.
- Σταθερή οδηγία
Πώς πρέπει να συμπεριφέρεται ο βοηθός
- Περιορισμένη ανάκτηση λογαριασμός · έκδοση · χρόνος
Τι ισχύει τώρα
- Απόφαση αντιστοίχισης
Χρήση τρέχοντος γεγονότος για αυτή την εργασία
- Ελεγχόμενη εγγραφή
Ο κώδικας ελέγχει άδεια και όριο
Διδάξτε μοτίβα μόνο όταν σταθεροποιηθούν
Η εύλογη αντίρρηση είναι: «Αν ένα γεγονός χρησιμοποιείται διαρκώς, γιατί να μην εκπαιδεύσουμε μικρότερο μοντέλο με αυτό;» Η επανάληψη δεν αρκεί. Το γεγονός πρέπει να παραμένει σωστό στο διάστημα ανάμεσα σε ενημερώσεις μοντέλου και το μοντέλο να διακρίνει τα συμφραζόμενα.
Ένας σταθερός τρόπος ταξινόμησης ίσως αξίζει μελλοντική προσαρμογή. Η τρέχουσα λίστα πεδίων προμηθευτή είναι κακός υποψήφιος. Ακόμη κι αν αλλάζει σπάνια, μία παρωχημένη απάντηση μπορεί να εφαρμόσει λάθος αντιστοίχιση σε πολλές εγγραφές. Κρατήστε το γεγονός όπου άνθρωπος μπορεί να το εξετάσει και να το ενημερώσει.
Η πηγή προειδοποιεί επίσης να μη χρησιμοποιείται ανάκτηση για κάθε αποτυχία συλλογισμού. Αν το μοντέλο δεν συγκρίνει σωστά δύο σχετικά έγγραφα, πενήντα ακόμη έγγραφα δεν θα του διδάξουν τη σύγκριση. Ρωτήστε πρώτα αν έφτασε το σωστό απόσπασμα. Έπειτα αν η κρίση πάνω του ήταν ορθή.
Για κάποιον που δημιουργεί ενσωματώσεις, προκύπτει μια σειρά διορθώσεων: εντοπίστε τον λανθασμένο ισχυρισμό, εξετάστε το ανακτημένο απόσπασμα για πεδίο ή API, επαληθεύστε λογαριασμό και έκδοση, διορθώστε την πηγή ή την ανάκτηση αν χρειάζεται και δοκιμάστε την απόφαση ξανά. Μόνο τότε εξετάστε αλλαγή μοντέλου.
Το κόστος είναι η συντήρηση πραγματικού επιπέδου γνώσης: ενημερώσεις πηγών, έλεγχοι πρόσβασης και παραπομπές. Το όφελος είναι ένα γεγονός που διορθώνεται σε ένα σημείο.
Μια σύμβαση που αλλάζει δεν πρέπει να περιμένει να την ξεχάσει το μοντέλο.
Έχετε Ερωτήσεις; Έχουμε Απαντήσεις
Τι ανήκει στο prompt ενός πράκτορα;
Σύντομες, σταθερές οδηγίες για συμπεριφορά και όρια. Ένας μεταβαλλόμενος κατάλογος, μια λίστα πεδίων συγκεκριμένου πελάτη ή ένας τρέχων κανόνας προμηθευτή πρέπει να ανακτώνται από εξουσιοδοτημένη πηγή όταν χρειάζονται.
Γιατί να μη γίνει fine-tuning με την τρέχουσα τεκμηρίωση;
Το fine-tuning μπορεί να κλειδώσει ένα γεγονός που αλλάζει στα βάρη του μοντέλου, όπου είναι δύσκολο να ελεγχθεί και να ενημερωθεί. Πρώτα εξασφαλίστε ότι ανακτάται και αναφέρεται το σωστό έγγραφο τη στιγμή της απόφασης.
Πώς διορθώνεται μια λανθασμένη πραγματολογική απάντηση;
Εξετάστε το έγγραφο πηγής, την έκδοσή του, το φίλτρο ανάκτησης και το απόσπασμα που επέστρεψε. Διορθώστε το γεγονός ή τη διαδρομή ανάκτησης πριν αλλάξετε μοντέλο.