Torna al blog AI Infrastructure

Il tuo assistente RAG rispetta le autorizzazioni dei documenti? Un piano pratico di test dei controlli di accesso

Per proteggere i documenti riservati, un assistente RAG ha bisogno di più di un semplice accesso autenticato. Segui le autorizzazioni dal sistema di origine attraverso indicizzazione, recupero, cache e log, quindi verifica le modifiche agli accessi e i casi di errore.

Diagramma che segue le autorizzazioni degli utenti da una fonte documentale, attraverso l'indicizzazione e il recupero RAG, fino a una risposta soggetta a controllo degli accessi

Una schermata di accesso non dimostra che l'accesso ai documenti sia protetto

Un utente può essere autenticato in un'applicazione RAG e ricevere comunque contenuti che non è autorizzato a consultare. L'accesso autenticato risponde alla domanda su chi sta usando l'applicazione; l'autorizzazione a livello di documento stabilisce a quali materiali di origine quella persona può accedere.

La distinzione è importante perché una pipeline RAG trasforma i documenti in blocchi e dati derivati, quindi seleziona alcuni di quei contenuti per fornirli a un modello linguistico. Le autorizzazioni di un documento sorgente non si applicano necessariamente in automatico ai relativi blocchi. L'accesso va verificato durante l'acquisizione, l'archiviazione, il recupero e in tutti gli altri luoghi in cui i contenuti possono persistere.

Considera il test come una verifica lungo l'intero percorso: L'applicazione riesce a identificare il richiedente e i suoi diritti di accesso attuali, applicarli a ogni blocco recuperato prima che raggiunga il modello e impedire che i contenuti riservati compaiano altrove? Una citazione o un'istruzione al modello di evitare il materiale riservato non costituiscono un controllo delle autorizzazioni.

  • L'autenticazione identifica l'utente; l'autorizzazione stabilisce se quell'utente può accedere a una determinata risorsa.
  • Una risposta corretta per un utente autorizzato non dimostra che a un altro utente verrà negato l'accesso allo stesso documento.
  • L'hosting autonomo offre a un team il controllo sulla distribuzione, ma non garantisce di per sé il controllo degli accessi a livello di documento. Il supporto dipende dall'applicazione, dal connettore, dalla configurazione e dal modello di autorizzazione.

Definisci i criteri di accettazione prima dei test

Annota il risultato previsto per ogni stato di accesso. Una base sicura è il principio del privilegio minimo: consenti solo gli accessi esplicitamente autorizzati e negali quando il sistema non riesce a verificare l'autorizzazione. Considera sia l'accesso ai contenuti sia le possibili divulgazioni tramite titoli dei documenti, citazioni, estratti o altri metadati.

  • Utente autorizzato: nel contesto recuperato possono essere inclusi solo contenuti di origine consentiti.
  • Utente non autorizzato: non vengono restituiti contenuti riservati né metadati che possano rivelarli.
  • Identità sconosciuta, metadati delle autorizzazioni mancanti o controlli delle autorizzazioni non disponibili: i contenuti riservati non vengono forniti finché non è possibile verificare l'accesso.
Una schermata di accesso non dimostra che l'accesso ai documenti sia protetto

Mappa l'intero percorso dall'identità al contesto recuperato

Prima di configurare o testare un'applicazione, traccia il percorso di un documento dalla sua origine fino a una risposta. Annota dove vengono definite le autorizzazioni, in che modo il connettore le legge, da dove provengono identità e appartenenza ai gruppi e quale componente applica la decisione al momento del recupero.

Fai un inventario delle risorse protette e dei sistemi che configurano gli accessi. Le regole possono essere distribuite tra un archivio di origine, un servizio di identità o gruppi, un connettore, un'applicazione e un archivio vettoriale. Individua un responsabile per ogni regola e annota quale componente deve applicarla.

  • Origine: identità del documento, proprietario, gruppi o ruoli e regole di accesso del sistema di origine.
  • Acquisizione: modalità con cui il connettore legge i contenuti e i metadati delle autorizzazioni, e comportamento previsto se uno dei due non è disponibile.
  • Suddivisione in blocchi e archiviazione: verifica che ogni blocco mantenga l'identità del documento e i metadati di accesso pertinenti.
  • Risoluzione dell'identità: modalità con cui l'identità del richiedente viene associata a un'identità di origine e ai gruppi o ruoli attuali.
  • Recupero: punto in cui viene verificato l'accesso e verifica che avvenga prima che i contenuti siano inviati al modello linguistico.
  • Dopo il recupero: verifica se risposte, citazioni, cronologia delle conversazioni, cache, esportazioni o log possono conservare contenuti riservati.

Segui il percorso delle autorizzazioni nella pipeline RAG

Per ogni passaggio, individua il componente responsabile di mantenere o applicare i diritti di accesso. Il controllo delle autorizzazioni deve avvenire prima che i contenuti riservati raggiungano il modello linguistico.

  1. 1
    Autorizzazioni all'origine

    Individua le regole applicate ai documenti, i responsabili, i gruppi e la fonte autorevole.

  2. 2
    Connettore e acquisizione

    Verifica che il connettore importi metadati delle autorizzazioni utilizzabili insieme ai contenuti.

  3. 3
    Blocchi e archiviazione

    Verifica che ogni blocco resti associato alla propria origine e ai relativi metadati di accesso.

  4. 4
    Identità e recupero

    Risolvi i diritti attuali del richiedente e filtra i blocchi non autorizzati prima di creare il contesto del modello.

  5. 5
    Risposta e dati conservati

    Controlla citazioni, cronologia delle conversazioni, cache, esportazioni e log per verificare che non contengano dati riservati.

Mappa l'intero percorso dall'identità al contesto recuperato

Esamina il trattamento delle autorizzazioni da parte del connettore

Un connettore che importa il testo dei documenti non importa necessariamente anche le regole di accesso del sistema di origine. Verifica il comportamento dello specifico connettore e della configurazione che intendi usare; non dedurre il supporto dalle funzionalità generali dell'applicazione RAG né dal fatto che la connessione sia riuscita.

Chiedi come vengono rappresentati i metadati di accesso dopo l'acquisizione. I metadati delle autorizzazioni devono restare associati a ogni blocco pertinente, anziché andare persi durante la suddivisione in blocchi o la generazione degli embedding. Stabilisci come l'applicazione confronta tali metadati con l'utente richiedente al momento del recupero: un controllo effettuato soltanto durante l'acquisizione può diventare obsoleto quando le autorizzazioni cambiano.

  • Quali autorizzazioni di origine e campi di identità legge questo connettore?
  • Può rappresentare nell'applicazione le distinzioni tra gruppi, ruoli, proprietari o tenant presenti nell'origine?
  • Ogni blocco conserva l'identità del documento di origine e i metadati di accesso?
  • Cosa accade se un documento non dispone di autorizzazioni utilizzabili, se il connettore non riesce a leggerle o se l'associazione dell'identità è ambigua?
  • L'applicazione applica la decisione prima che qualsiasi contenuto recuperato raggiunga il modello linguistico oppure si affida al modello perché segua le istruzioni?

Esegui un test di recupero tra utenti

Usa una raccolta piccola e controllata con autorizzazioni intenzionalmente diverse. Includi almeno un documento che un utente di test può leggere e un altro che non può leggere, e usa contenuti di test distintivi in modo da riconoscere eventuali divulgazioni nelle risposte, nelle citazioni e nei log. Annota il risultato previsto prima di eseguire le query.

Verifica i confini del recupero, non soltanto se l'applicazione restituisce una risposta. Controlla il testo della risposta, i documenti citati, gli estratti e ogni dettaglio visibile sulle fonti. Se l'applicazione rende disponibili i blocchi recuperati o i registri di audit, esaminali usando solo account autorizzati a consultare i materiali sottostanti.

  • Accedi come utente autorizzato e verifica che sia possibile recuperare i contenuti consentiti.
  • Accedi come utente privo di accesso e poni la stessa domanda. Verifica che i contenuti riservati non compaiano nella risposta, nelle citazioni o negli estratti.
  • Se rientrano nell'ambito del test tenant o reparti distinti, verifica che un utente non possa recuperare i blocchi di un altro.
  • Ripeti il test con una query ad accesso misto, che potrebbe attingere sia da documenti consentiti sia da documenti riservati.
  • Verifica che la decisione sia associata all'identità effettiva del richiedente, non a un'identità condivisa del connettore che conceda accessi più ampi.

Sintesi dei casi fondamentali per testare le autorizzazioni

Usa questi casi come matrice di copertura. Per ogni test, registra il risultato previsto e quello osservato.

Caso di testConfigurazioneRisultato previsto
Utenti con diritti diversiDue utenti interrogano la stessa raccolta, ma hanno accessi diversi.Ogni utente recupera solo i documenti consentiti dai propri diritti.
Confine tra tenant o repartiUn utente esegue una query su contenuti associati a un altro tenant o reparto.Nessun blocco, citazione o metadato rivelatore supera il confine.
Diritti modificatiL'accesso a un documento o l'appartenenza a un gruppo cambia dopo l'acquisizione.Il recupero riflette i diritti aggiornati una volta applicata la modifica.
Documento rimosso o autorizzazione non verificabileUn documento viene eliminato o il sistema non può verificare i relativi metadati di accesso.I contenuti derivati non vengono forniti quando non è possibile confermare l'accesso.

Verifica revoche, modifiche ai gruppi ed eliminazioni

Modifica l'accesso di un utente di test all'origine, quindi ripeti la stessa query una volta che la modifica dovrebbe essere entrata in vigore. Includi sia le modifiche dirette all'accesso ai documenti sia le modifiche all'appartenenza a gruppi o ruoli. Registra il tempo di sincronizzazione e il modo in cui determini che le autorizzazioni aggiornate siano effettivamente applicate.

Verifica anche la rimozione dall'origine. Eliminare un file dalla sua posizione originale non basta se i relativi blocchi, embedding, riepiloghi, risultati in cache o altri dati derivati restano disponibili altrove nella pipeline RAG. Stabilisci cosa rimuovono l'applicazione e il connettore e come verifichi che l'operazione sia stata completata.

  • Revoca l'accesso di un utente a un documento e verifica che il recupero non restituisca più i relativi contenuti.
  • Rimuovi un utente da un gruppo autorizzato ed esegui il test usando l'identità attuale dell'utente.
  • Elimina un documento di origine o rimuovigli le autorizzazioni, quindi controlla il recupero, le citazioni e gli altri dati derivati.
  • Ripeti i test pertinenti dopo la sincronizzazione delle autorizzazioni, in caso di errori del connettore o dopo il ripristino da un'interruzione del servizio.
  • Verifica l'invalidazione della cache, affinché una risposta precedentemente autorizzata non resti disponibile a un utente che non è più autorizzato.

Controlla i luoghi in cui i contenuti possono persistere dopo il recupero

Le autorizzazioni devono coprire più del solo archivio vettoriale. Una risposta riservata o un riferimento alla fonte possono persistere nella cronologia delle conversazioni, nelle cache, nelle esportazioni o nei log. La disponibilità di queste funzionalità, il loro comportamento e chi può accedervi variano a seconda dell'applicazione e della configurazione: perciò, verifica la distribuzione effettiva.

Controlla se un utente può riaprire una conversazione dopo aver perso l'accesso a un documento. Verifica se i risultati in cache sono isolati in base all'utente o al contesto di accesso e se vengono invalidati quando cambiano le autorizzazioni. Valuta se le citazioni rivelano nomi o identificativi sensibili dei documenti anche quando il testo della risposta non contiene tali informazioni.

I log possono aiutare a indagare sulle decisioni di accesso, ma possono anche rivelare informazioni sui documenti sottostanti. Registra dati sufficienti per controllare quale identità ha richiesto quali contenuti e i relativi metadati di accesso, limitando al contempo l'accesso ai log e definendo tempi di conservazione adeguati alle tue esigenze.

  • Cronologia delle conversazioni e conversazioni condivise
  • Risposte in cache, blocchi recuperati o risultati di ricerca
  • Citazioni, titoli delle fonti, estratti ed esportazioni
  • Log dell'applicazione, del connettore e del recupero
  • Backup o altre copie conservate dei dati archiviati dall'applicazione

Definisci un comportamento sicuro quando non è possibile verificare le autorizzazioni

Decidi cosa fare quando un connettore non è disponibile, l'aggiornamento delle autorizzazioni non riesce, non è possibile risolvere l'appartenenza ai gruppi o un documento non dispone di metadati di accesso utilizzabili. Per i contenuti riservati, un'impostazione predefinita sicura è negare o mettere in quarantena il recupero finché non è possibile verificare l'autorizzazione. Continuare a usare una vecchia istantanea delle autorizzazioni può mantenere un accesso già revocato.

Documenta il compromesso: un comportamento di chiusura in caso di errore può rendere alcuni contenuti indisponibili durante un problema di sincronizzazione, ma fornirli quando i diritti sono incerti può esporre dati. Rendi chiara la risposta mostrata all'utente senza rivelare contenuti riservati e fai in modo che la condizione sia visibile all'operatore responsabile.

  • Definisci quali errori bloccano il recupero e chi può risolverli.
  • Non considerare i metadati delle autorizzazioni mancanti come un'autorizzazione valida per tutti.
  • Registra gli errori di sincronizzazione e le fonti interessate senza inserire nei log accessibili a un pubblico ampio i contenuti dei documenti riservati.
  • Dopo il ripristino, verifica che le autorizzazioni siano aggiornate ed esegui di nuovo i test di accesso pertinenti prima di ripristinare il recupero.

Assegna le responsabilità e rendi continuativa la revisione degli accessi

Le regole di accesso possono essere configurate in più sistemi, quindi assegna un responsabile a ogni parte del percorso: autorizzazioni all'origine, associazione di identità e gruppi, comportamento del connettore, applicazione delle autorizzazioni durante il recupero e dati conservati. Mantieni un inventario delle raccolte protette e dei punti in cui è configurata ciascuna regola.

Integra il piano di test nelle operazioni continuative, invece di usarlo solo per l'approvazione iniziale. Ripeti i test dopo modifiche ai connettori o al modello di autorizzazione, modifiche all'associazione dei gruppi, cambiamenti significativi alla configurazione dell'applicazione o incidenti che riguardano gli accessi o la sincronizzazione. Confronta periodicamente le autorizzazioni attuali dell'origine con i metadati di accesso usati dal sistema di recupero.

Per i team che distribuiscono autonomamente un'applicazione RAG, l'hosting e la sicurezza dell'applicazione sono responsabilità distinte. Airbip offre la distribuzione gestita delle applicazioni presenti nel proprio catalogo pubblico, con istanze eseguite come workload Docker su server cloud Airbip. I team devono comunque scegliere e convalidare il connettore, il modello di autorizzazione, il trattamento dei dati e le politiche di accesso dell'applicazione in base ai propri requisiti.

  • Mantieni un inventario delle risorse con fonte, responsabile, posizione delle regole di accesso e connettore.
  • Applica il principio del privilegio minimo e regole di negazione predefinita, ove opportuno.
  • Monitora lo stato della sincronizzazione e verifica la presenza di dati sulle autorizzazioni obsoleti o mancanti.
  • Conserva casi di test ripetibili per scenari con utenti autorizzati, non autorizzati o revocati e documenti eliminati.
  • Esamina gli accessi ai log e ai contenuti conservati e definisci per quanto tempo ciascuno deve rimanere disponibile.

Domande frequenti

Accedere a un'applicazione RAG significa che le sue risposte rispettano le autorizzazioni dei documenti?

No. L'accesso autenticato identifica l'utente, ma l'applicazione deve determinare separatamente a quali documenti quell'utente può accedere e applicare tale decisione prima che i contenuti riservati raggiungano il modello linguistico.

Basta controllare le autorizzazioni quando i documenti vengono indicizzati?

No. Le autorizzazioni possono cambiare dopo l'acquisizione. Mantieni i metadati di accesso associati a ogni blocco e verifica che il sistema di recupero controlli i diritti attuali del richiedente.

Cosa dovrebbe succedere se un connettore non riesce a leggere le autorizzazioni di un documento?

Definisci in anticipo una regola di gestione sicura degli errori. Per i contenuti riservati, nega o metti in quarantena il recupero finché non è possibile verificare l'autorizzazione, anziché considerare i metadati mancanti o obsoleti come un'autorizzazione valida.

Cosa dovrebbe essere rimosso quando si elimina un documento di origine?

Controlla il documento di origine e i relativi dati derivati in tutta la pipeline RAG, inclusi blocchi, embedding, risultati in cache e altre copie conservate. Verifica che i contenuti eliminati o privati delle autorizzazioni non siano più recuperabili.

L'hosting autonomo garantisce il controllo degli accessi ai documenti RAG?

No. L'hosting autonomo non fornisce di per sé autorizzazioni a livello di documento. Il supporto dipende dall'applicazione, dal connettore, dall'associazione delle identità, dalla configurazione e dalla gestione delle modifiche alle autorizzazioni e dei dati conservati nella distribuzione.

Fonti e approfondimenti 2
  1. RAG Security Cheat Sheet OWASP Cheat Sheet Series
  2. Zero Trust Journey Takeaways National Institute of Standards and Technology (NIST)