Cunoașterea are o limită de acces

O citare indică un contract, dar contractul aparține altui client. În acest caz ilustrativ, un asistent de suport caută data reînnoirii în dosarele a doi clienți. Găsește un contract asemănător al celuilalt client, îl adaugă în context și răspunde fluent.

Nu este un incident raportat. Citarea face răspunsul să pară atent documentat, deși dezvăluie datele clientului greșit. Defectul a apărut înainte ca modelul să scrie vreo propoziție.

O prezentare inclusă în surse despre locul cunoașterii AI formulează un principiu arhitectural util: informațiile care diferă de la un utilizator la altul au nevoie de un strat de căutare cu control al accesului. Ghidul Microsoft despre accesul la nivel de document descrie verificări ale permisiunilor legate de documentele indexate și de identitatea folosită la interogare. Regula generală este mai simplă decât orice produs de căutare: numai materialul autorizat ar trebui să intre pe traseul răspunsului.

Pune limita înaintea răspunsului

Un prompt poate cere unui asistent să fie concis, să citeze surse sau să solicite clarificări. Nu poate spune în siguranță „ține minte să nu folosești documentele altui client” în timp ce modelul primește acele documente. Dacă etapa de căutare a trecut deja limita, promptului i se cere să repare o eroare de acces.

Aplicația trebuie să stabilească identitatea solicitantului. Interogarea trebuie să poarte domeniul de acces rezultat: clientul, rolul, contul sau permisiunile documentului, după cum cere domeniul. Rezultatele candidate trebuie filtrate sau autorizate înainte ca textul lor să fie oferit modelului. Dacă răspunsul poate declanșa o scriere, traseul de scriere trebuie să verifice din nou autorizarea pentru înregistrarea vizată.

Nu este o problemă exclusivă a căutării vectoriale. Căutarea după cuvinte-cheie, rezumatele din cache, memoria conversației și rezultatele instrumentelor pot conține toate date private. Un rezumat derivat din documentul unui client rămâne privat și după scurtarea textului sursă.

Ghidul nostru despre conectarea instrumentelor de afaceri întreabă cine deține fiecare înregistrare și care sistem este autoritar. Pentru un asistent, adaugă încă o întrebare: cine are voie să știe că înregistrarea există?

Un exemplu mic arată de ce ordinea contează

Să presupunem că un index ilustrativ conține patru documente: două articole publice de ajutor, un contract al clientului A și unul al clientului B. Un utilizator al clientului A întreabă despre condițiile de facturare. Cea mai apropiată potrivire semantică este, întâmplător, contractul clientului B.

O căutare fără limită de acces îl returnează. O instrucțiune ulterioară, „răspunde doar pentru clientul A”, nu poate garanta siguranța; conținutul a intrat deja în contextul modelului. O căutare limitată elimină documentul clientului B înainte de ordonarea rezultatelor sau returnează doar candidați autorizați. Asistentul poate apoi să răspundă din contractul clientului A ori să spună că nu are sursa necesară.

Implementarea exactă depinde de platformă. Modelul de filtrare a securității din Azure AI Search atașează documentelor identificatori de grup și aplică un filtru fiecărei interogări. Documentația avertizează și că ascunderea unui câmp cu permisiuni din răspuns nu reprezintă, singură, control al accesului. Partea care impune limita este filtrul, împreună cu identitatea solicitantului din spatele lui.

Distincția contează când permisiunile se schimbă. Dacă un lucrător pierde accesul, un cache vechi sau un index neactualizat nu trebuie să continue să ofere documentul. Echipele au nevoie de o cale definită de actualizare și de teste pentru revocare, nu doar pentru acordarea inițială a accesului. Dacă serviciul de căutare nu poate respecta modelul de acces al sursei, copierea datelor în acel index poate fi arhitectura greșită.

Permisiunea și relevanța sunt teste diferite

Un document autorizat poate fi irelevant sau învechit. Un răspuns exact poate fi neautorizat. Sunt moduri diferite de eșec și trebuie evaluate separat.

Testează mai întâi limita: poate un solicitant dintr-un client să găsească, să citeze sau să deducă informații private din alt client? Include întrebări directe, reformulări și rezumate. Apoi testează calitatea răspunsului în setul permis: alege asistentul politica actuală și recunoaște când lipsesc dovezile? Ghidul Microsoft despre RAG recomandă explicit controlul accesului la momentul căutării și tratarea conținutului găsit ca nefiind de încredere.

Există un cost. Indexarea atentă la permisiuni cere metadate, maparea identităților și gestionarea revocărilor. Unele căutări vor returna un set gol după filtrare. Este rezultatul corect când solicitantul nu are acces la dovezi. Umplerea golului cu o presupunere sigură pe sine ar transforma protecția accesului într-o problemă de exactitate.

Această limită este și un test practic al regulii generale pentru excepțiile automatizării: ce se întâmplă când setul autorizat de rezultate este gol? O proiectare bună poate răspunde „Nu am acces la o sursă pentru acest răspuns” și poate propune calea potrivită de escaladare. Nu trebuie să caute într-un alt client, să refolosească un răspuns vechi sau să deducă detalii private din titlul unui document. Tratează rezultatul gol ca pe o stare normală și testabilă a fluxului. Permisiunea face parte din corectitudine, nu este un caz special de peticit după lansare.

Un asistent util nu este cel care știe tot ce există în companie. Este cel care găsește dovezile potrivite în limitele drepturilor solicitantului și spune când limita lasă întrebarea fără răspuns.