Pengetahuan mempunyai batas akses

Sebuah rujukan menunjuk kontrak, tetapi kontrak itu milik pelanggan yang salah. Dalam kasus ilustratif ini, asisten dukungan mencari tanggal perpanjangan di folder dua pelanggan. Ia menemukan kontrak serupa milik pelanggan lain, memasukkannya ke konteks, lalu menjawab dengan lancar.

Ini bukan insiden yang dilaporkan. Rujukan membuat jawaban tampak teliti sambil membuka data pelanggan yang salah. Cacatnya terjadi sebelum model menulis satu kalimat pun.

Materi yang dipelajari tentang tempat pengetahuan AI disimpan menyampaikan prinsip arsitektur berguna: pengetahuan yang berbeda menurut pengguna memerlukan lapisan pengambilan dengan kendali akses. Panduan Microsoft tentang akses tingkat dokumen menjelaskan pemeriksaan izin yang terkait dengan dokumen dalam indeks dan identitas saat kueri. Aturan umumnya lebih sederhana daripada produk pencarian mana pun: hanya materi yang diizinkan boleh memasuki jalur jawaban.

Letakkan batas sebelum jawaban

Prompt dapat meminta asisten menjawab singkat, mengutip sumber, atau bertanya untuk memperjelas. Prompt tidak aman jika berkata “ingat untuk tidak memakai dokumen pelanggan lain” tetapi tetap memberikan dokumen itu kepada model. Jika pengambilan sudah melintasi batas, prompt diminta membatalkan kegagalan akses.

Aplikasi harus menetapkan identitas orang yang meminta. Kueri pencarian harus membawa cakupan yang dihasilkan: pelanggan, peran, akun, atau izin per dokumen sesuai kebutuhan ranah. Kandidat harus disaring atau diotorisasi sebelum teksnya diberikan kepada model. Jika jawaban dapat memicu penulisan, jalur penulisan harus memeriksa otorisasi lagi terhadap catatan sasaran.

1. Identitas peminta

   autentikasi dalam aplikasi

   membatasi
2. Pengambilan terbatas pelanggan · peran · dokumen

   saring sebelum konteks model

   membatasi
3. Jawaban berdasar bukti

   rujuk bukti yang diizinkan

   membatasi
4. Otorisasi penulisan

   periksa lagi catatan sasaran

Ini bukan hanya masalah pencarian vektor. Pencarian kata kunci, ringkasan yang disimpan sementara, ingatan percakapan, dan hasil alat semuanya dapat membawa konten pribadi. Ringkasan yang berasal dari dokumen satu pelanggan tetap pribadi setelah teks aslinya dipendekkan.

Panduan kami tentang menghubungkan alat bisnis menanyakan siapa yang menguasai tiap catatan dan sistem mana yang menjadi sumber resmi. Untuk asisten, tambahkan satu pertanyaan: siapa yang boleh tahu bahwa catatan itu ada?

Contoh kecil memperlihatkan urutannya

Misalkan indeks ilustratif mempunyai empat dokumen: dua artikel bantuan publik, satu kontrak untuk Pelanggan A, dan satu untuk Pelanggan B. Pengguna dari Pelanggan A bertanya tentang ketentuan penagihan. Kecocokan semantik terdekat kebetulan kontrak Pelanggan B.

Pengambilan tanpa batas mengembalikannya. Instruksi belakangan untuk “jawab hanya tentang Pelanggan A” tidak menjamin keamanan; isinya sudah masuk ke konteks model. Pengambilan dengan cakupan menyingkirkan dokumen Pelanggan B sebelum pemeringkatan atau hanya mengembalikan kandidat yang diizinkan. Asisten kemudian dapat menjawab dari kontrak Pelanggan A atau mengatakan sumber yang diperlukan tidak tersedia.

Penerapan tepatnya bergantung pada platform. Pola penyaringan keamanan Azure AI Search menempelkan pengenal kelompok pada dokumen dan menerapkan filter pada tiap kueri. Dokumentasinya juga mengingatkan bahwa menyembunyikan bidang izin dari respons bukanlah kendali akses. Bagian yang dapat ditegakkan adalah filter dan identitas peminta di belakangnya.

Perbedaan itu penting ketika izin berubah. Jika seorang pekerja kehilangan akses, cache lama atau indeks yang belum diperbarui tidak boleh terus menyajikan dokumen tersebut. Tim memerlukan jalur pembaruan yang jelas dan pengujian pencabutan izin, bukan hanya pengujian pemberian izin pertama. Jika layanan pencarian tidak dapat menghormati model akses sumber, menyalin sumber ke indeks tersebut mungkin arsitektur yang salah.

Izin dan relevansi adalah pengujian berbeda

Dokumen yang diizinkan dapat tidak relevan atau usang. Jawaban yang akurat dapat berasal dari akses tanpa izin. Itu kegagalan terpisah, jadi evaluasilah secara terpisah.

Uji batas lebih dulu: dapatkah peminta dari satu pelanggan mengambil, mengutip, atau menyimpulkan konten pribadi pelanggan lain? Sertakan pertanyaan langsung, parafrasa, dan ringkasan. Lalu uji mutu jawaban di dalam kumpulan yang diizinkan: apakah asisten memilih kebijakan terkini dan mengakui ketika bukti tidak ada? Panduan RAG Microsoft secara jelas menyarankan kendali akses saat pengambilan dan memperlakukan konten yang diambil sebagai tidak tepercaya.

Ini mempunyai biaya. Pengindeksan yang memperhatikan izin memerlukan metadata, pemetaan identitas, dan penanganan pencabutan akses. Beberapa hasil pencarian menjadi kosong setelah disaring. Itu hasil yang benar ketika peminta tidak mempunyai akses ke bukti. Mengisi kekosongan dengan tebakan percaya diri mengubah perlindungan akses menjadi masalah ketepatan.

Batas ini juga menguji aturan pengecualian dalam otomatisasi: apa yang harus terjadi ketika pencarian berizin tidak menemukan apa pun? Rancangan baik dapat mengatakan “Saya tidak dapat mengakses sumber untuk jawaban itu” dan menawarkan jalur penerusan yang tepat. Ia tidak boleh mencari di pelanggan lain, memakai jawaban lama, atau menyimpulkan rincian pribadi dari judul dokumen. Perlakukan hasil kosong sebagai keadaan normal yang dapat diuji. Izin adalah bagian dari ketepatan, bukan kasus khusus yang ditambal setelah peluncuran.

Asisten yang berguna bukanlah asisten yang mengetahui semua hal di perusahaan. Asisten yang berguna menemukan bukti tepat dalam batas kewenangan peminta dan mengakui ketika batas itu membuat pertanyaan belum terjawab.