Tempatkan fakta yang berubah di sumber yang dapat diperbaiki

Bayangkan katalog produk yang berubah pada hari Senin. Prompt asisten masih berisi daftar hari Jumat. Tim memperbarui prompt. Salinan kedua dari daftar lama tetap ada dalam contoh yang dipakai untuk melatih model. Kini asisten memberi satu jawaban terbaru dan satu jawaban usang dalam sesi yang sama.

Ini kegagalan ilustratif, tetapi mekanismenya lazim: satu fakta mempunyai lebih dari satu tempat tinggal.

Presentasi tentang prompt, pengambilan informasi, dan bobot model menggambarkan batas yang berguna. Prompt memberi tahu asisten bagaimana harus bertindak. Pengambilan informasi membawa pengetahuan terkini yang dapat dirujuk ke tugas tertentu. Penyesuaian model dapat mengajarkan pola yang stabil. Menganggap ketiganya sebagai tangga, mulai dari prompt, lalu pengambilan, lalu penyetelan setiap kali jawaban masih salah, akan salah mendiagnosis kesalahan faktual.

Prompt bukan katalog yang baik

Prompt menarik karena mudah diedit. Tambahkan paragraf, lalu permintaan berikutnya ikut membawanya. Kemudahan itu menyembunyikan dua biaya. Fakta dikirim pada setiap panggilan meskipun tidak relevan. Prompt yang panjang juga membuat sulit mengetahui salinan aturan mana yang dipakai model.

Instruksi tahan lama seperti “mintalah persetujuan sebelum mengirim kampanye” pantas berada dekat agen. Daftar bidang kustom terbaru milik toko tertentu tidak. Daftar itu dapat berubah setelah administrator akun menambahkan atribut. Daftar itu dapat berbeda antar pelanggan. Daftar itu mungkin terlihat oleh satu ruang kerja tetapi terlarang bagi ruang kerja lain.

Panduan konektor Brevo menunjukkan mengapa definisi bidang penting untuk sinkronisasi kontak. Jika atribut belum dideklarasikan dalam akun tujuan, pemetaan yang tampak masuk akal dari namanya mungkin tidak menghasilkan bidang yang dimaksud. Agen perlu memeriksa kontrak akun yang berlaku, bukan mengingat daftar bidang umum dari pelatihan.

Hasil pengambilan informasi yang berguna cukup kecil untuk diperiksa. Hasil itu harus menyatakan akun atau pelanggan mana yang dicakupnya, kapan dibaca, dan operasi atau bidang apa yang dijelaskan. Jika dua kutipan yang diambil saling bertentangan, sistem harus memperlihatkan konflik itu alih-alih diam-diam memilih kalimat yang lebih lancar. Langkah berikutnya mungkin pencarian ulang atau tinjauan, bukan memperkeras kalimat prompt.

Ambil fakta beserta cakupannya

Catatan pengetahuan yang berguna memuat lebih dari teks. Ia memerlukan sumber, versi atau waktu pengambilan, cakupan akun, serta cara jelas untuk dihapus atau diganti. Definisi bidang dari satu akun toko tidak boleh menjadi aturan universal bagi akun lain.

Pertanyaan tentang atribut kontak kemudian dapat mengambil kutipan terkecil yang menjawabnya: nama bidang, tipe, dan akun tempat bidang itu ada. Jawaban dapat merujuk kembali ke sumber. Jika pemetaan gagal, tim dapat menanyakan apakah faktanya usang, apakah hasil dari akun yang salah dikembalikan, atau apakah model salah memahami kutipan yang benar.

Ketiganya memerlukan perbaikan berbeda. Perubahan prompt tidak memperbaiki filter pengambilan yang melewati batas antar pelanggan. Model lebih besar tidak dapat menyediakan definisi atribut yang tidak pernah diambil.

Penjelasan MCP membahas bagaimana agen dapat menanyakan alat. Alat perlu mengembalikan kontrak yang relevan, sementara aplikasi menegakkan siapa yang boleh melihatnya. Instruksi teks “jangan ungkap data pelanggan lain” tidak menggantikan kueri yang dibatasi pada akun berizin.

Pembagian ini juga mempercepat perbaikan. Jika bidang tujuan diganti nama, perbarui sumber skema dan batalkan pemetaan yang terdampak. Jika agen berulang kali salah memahami instruksi yang stabil, ubah instruksinya atau uji pelatihan yang ditargetkan. Jika jawaban salah karena pencarian memilih akun yang keliru, perubahan bobot model tidak menyentuh penyebabnya. Setiap jenis kesalahan mempunyai penanggung jawab dan jalur koreksi sendiri.

1. Instruksi tahan lama

   Cara asisten harus bertindak

   memberi masukan
2. Pengambilan terbatas akun · versi · waktu

   Apa yang benar sekarang

   memberi masukan
3. Keputusan pemetaan

   Gunakan fakta terbaru untuk tugas ini

   memberi masukan
4. Penulisan terkendali

   Kode memeriksa izin dan cakupan

Ajarkan pola hanya setelah menjadi stabil

Keberatan yang wajar ialah: “Jika fakta dipakai terus-menerus, mengapa tidak melatihnya ke dalam model yang lebih kecil?” Pengulangan saja tidak cukup. Fakta itu harus tetap benar selama jeda antarpembaruan model, dan model harus dapat membedakan konteks.

Gaya klasifikasi yang stabil mungkin kelak layak disetel. Daftar bidang penyedia saat ini bukan kandidat yang baik. Walaupun jarang berubah, satu jawaban usang dapat menghasilkan pemetaan keliru yang diterapkan pada banyak catatan. Simpan fakta di tempat yang dapat diperiksa dan diperbarui manusia.

Presentasi sumber juga mengingatkan agar pengambilan informasi tidak dipakai untuk menyelesaikan semua kegagalan bernalar. Jika model tidak dapat membandingkan dua dokumen relevan dengan benar, menambahkan lima puluh dokumen lagi tidak akan mengajarinya bernalar. Pertama, tanyakan apakah kutipan yang tepat sudah tiba. Lalu, apakah penilaian terhadap kutipan itu masuk akal.

Bagi pembuat integrasi, urutan perbaikannya adalah: identifikasi klaim yang salah; periksa kutipan yang diambil tentang bidang atau API; verifikasi akun dan versinya; perbaiki sumber atau pengambilan jika perlu; uji lagi keputusannya. Baru setelah itu pertimbangkan perubahan model.

Biayanya ialah memelihara lapisan pengetahuan nyata: pembaruan sumber, pemeriksaan akses, dan rujukan. Keuntungannya ialah fakta dapat diperbaiki di satu tempat.

Kontrak yang berubah tidak seharusnya menunggu model melupakannya.