Un asistent intern poate formula un răspuns corect folosind un document pe care angajatul nu are dreptul să îl citească. La acceptarea unui proiect RAG, verifică separat utilitatea răspunsului și dreptul utilizatorului de a primi informația. Un scor bun de calitate nu acoperă o eroare de autorizare.
RAG înseamnă că aplicația caută informații în surse și le transmite modelului pentru formularea răspunsului. Pentru introducerea conceptului, poți consulta ghidul nostru despre RAG. Aici urmărim ce trebuie verificat înainte ca documentele interne să intre într-un asemenea flux.
Urmărește permisiunile până la fragmentul de document
Documentele sunt adesea împărțite în fragmente pentru căutare. Fiecare fragment trebuie să păstreze legătura cu sursa și informația necesară verificării accesului. Dacă documentul are acces restricționat, o copie din index nu ar trebui să devină disponibilă tuturor.
Documentația Microsoft pentru Azure AI Search descrie verificarea permisiunilor la căutare și dependența ei de metadatele sincronizate în index. Unele mecanisme native sunt marcate preview, cu limitări proprii. Pentru un proiect concret, verifică sursa de date, versiunea API și comportamentul sincronizării; existența unei funcții în documentație nu confirmă configurarea ei în aplicație.
Aplică verificarea înainte ca fragmentele să ajungă în contextul modelului. O instrucțiune de tipul „nu divulga date confidențiale” nu înlocuiește controlul accesului. La nivel de produs, stabilește și ce mesaj vede utilizatorul când nu există surse autorizate suficiente, fără a dezvălui titluri sau detalii din documentele restricționate.
Construiește un set de probe cu date fictive
Propunem un scenariu ipotetic cu trei roluri: vânzări, financiar și administrator de conținut. Creează documente fictive cu informații ușor de recunoscut și notează exact cine le poate consulta. Acestea permit verificarea fluxului fără expunerea datelor reale în rapoartele de test.
Pentru aceeași întrebare, execută testul prin conturile celor trei roluri. Înregistrează documentele recuperate și rezultatul așteptat. Verifică și citările, previzualizările și linkurile de descărcare; răspunsul principal poate ascunde o informație pe care o altă componentă o afișează.
Include apoi schimbări de stare: retrage accesul unui rol, mută un document într-un spațiu restricționat și șterge o sursă de test. Măsoară când schimbarea se reflectă în căutare și în răspuns. Echipa trebuie să stabilească un comportament sigur pentru intervalul de sincronizare.
Cache-ul merită o probă separată. OWASP descrie riscurile răspunsurilor reutilizate între utilizatori și ale permisiunilor învechite. Rulează întrebarea întâi cu un rol autorizat, apoi cu unul fără acces, inclusiv după retragerea drepturilor. Consemnează dacă aplicația a folosit un rezultat memorat.
Măsoară și răspunsurile utile
Pe lângă probele de acces, adună întrebări reale de la viitorii utilizatori, eliminate de date personale sau secrete. Pentru fiecare, un responsabil al informației notează sursa și elementele pe care răspunsul trebuie să le conțină. Include formulări scurte, termeni folosiți în firmă și întrebări pentru care documentația nu oferă un răspuns.
Microsoft separă în evaluarea RAG calitatea recuperării documentelor de susținerea răspunsului prin context. Această separare ajută investigația: dacă sursa corectă lipsește din rezultate, modificarea formulării răspunsului nu rezolvă căutarea.
Pentru acceptare, propunem o fișă cu patru rezultate distincte:
- Accesul respectă rolul contului de test.
- Căutarea aduce sursele relevante pentru întrebare.
- Afirmațiile și citările corespund conținutului surselor.
- Aplicația recunoaște lipsa informațiilor, când este cazul.
Păstrează judecata unui specialist pentru cazurile ambigue. Evaluatorii automați pot ajuta la repetarea probelor, dar rezultatele lor trebuie verificate pe exemple cunoscute. Un răspuns fluent poate conține o dată greșită sau o condiție contractuală omisă.
La fiecare schimbare a modelului, indexării sau permisiunilor, repetă setul relevant de probe. În cererea pentru un proiect AI și RAG, descrie rolurile, sursele de documente și persoana care poate valida răspunsurile pentru fiecare domeniu.