Zurück zum Blog AI Infrastructure

Beachtet Ihr RAG-Assistent Dokumentberechtigungen? Ein praktischer Testplan für Zugriffskontrollen

Ein RAG-Assistent braucht mehr als eine Anmeldung, um vertrauliche Dokumente zu schützen. Verfolgen Sie Berechtigungen vom Quellsystem über Indexierung und Abruf bis zu Caches und Protokollen – und testen Sie Änderungen sowie Fehlerfälle.

Diagramm, das Benutzerberechtigungen von einer Dokumentquelle über RAG-Indexierung und -Abruf bis zu einer zugriffskontrollierten Antwort nachverfolgt

Ein Anmeldebildschirm beweist nicht, dass der Dokumentzugriff kontrolliert wird

Ein Benutzer kann bei einer RAG-Anwendung angemeldet sein und trotzdem Inhalte erhalten, die er nicht sehen darf. Die Anmeldung beantwortet die Frage, wer die Anwendung nutzt; die dokumentbezogene Autorisierung legt fest, auf welche Quellmaterialien diese Person zugreifen darf.

Eine RAG-Pipeline wandelt Dokumente in Abschnitte und abgeleitete Daten um und wählt anschließend Inhalte aus, die einem Sprachmodell bereitgestellt werden. Berechtigungen des Quelldokuments werden nicht automatisch auf diese Abschnitte übertragen. Die Zugriffsregeln müssen deshalb entlang der Pipeline berücksichtigt werden.

Prüfen Sie, ob die Anwendung die Identität und aktuellen Zugriffsrechte des Anfragenden ermitteln, sie auf abgerufene Abschnitte anwenden und eine Offenlegung eingeschränkter Inhalte auch an anderen Speicherorten verhindern kann. Ein Zitat oder eine Modellanweisung, eingeschränktes Material zu vermeiden, ist keine Zugriffskontrolle.

  • Die Authentifizierung identifiziert den Benutzer; die Autorisierung entscheidet, ob dieser Benutzer auf eine bestimmte Ressource zugreifen darf.
  • Eine erfolgreiche Antwort für einen berechtigten Benutzer beweist nicht, dass einem anderen Benutzer der Zugriff auf dasselbe Dokument verweigert wird.
  • Selbsthosting gibt einem Team Kontrolle über die Bereitstellung, stellt aber für sich genommen keine dokumentbezogene Zugriffskontrolle her. Die Unterstützung hängt von Anwendung, Konnektor, Konfiguration und Berechtigungsmodell ab.

Legen Sie vor dem Test die Abnahmekriterien fest

Halten Sie für jeden Zugriffsstatus das erwartete Ergebnis fest. Eine sichere Grundregel ist das Prinzip der geringsten Berechtigung: Gewähren Sie nur ausdrücklich erlaubten Zugriff und verweigern Sie ihn, wenn die Berechtigung nicht festgestellt werden kann. Berücksichtigen Sie auch mögliche Offenlegungen über Dokumenttitel, Zitate, Ausschnitte oder andere Metadaten.

  • Berechtigter Benutzer: Nur erlaubte Quellinhalte dürfen in den abgerufenen Kontext gelangen.
  • Nicht berechtigter Benutzer: Eingeschränkte Inhalte und aufschlussreiche Metadaten werden nicht zurückgegeben.
  • Unbekannte Identität, fehlende Berechtigungsmetadaten oder nicht verfügbare Berechtigungsprüfungen: Eingeschränkte Inhalte werden nicht bereitgestellt, solange der Zugriff nicht bestätigt werden kann.
Ein Anmeldebildschirm beweist nicht, dass der Dokumentzugriff kontrolliert wird

Kartieren Sie den gesamten Weg von der Identität bis zum abgerufenen Kontext

Zeichnen Sie den Weg eines Dokuments von seiner Quelle bis zu einer Antwort auf. Halten Sie fest, wo die Quelle Berechtigungen definiert, wie der Konnektor sie ausliest, woher Identität und Gruppenzugehörigkeit stammen und welche Komponente die Zugriffsentscheidung beim Abruf umsetzt.

Erfassen Sie die geschützten Ressourcen und die Systeme, in denen Zugriffsregeln konfiguriert werden. Regeln können über ein Quell-Repository, einen Identitäts- oder Gruppendienst, einen Konnektor, eine Anwendung und einen Vektorspeicher verteilt sein. Bestimmen Sie für jede Regel eine verantwortliche Stelle.

  • Quelle: Dokumentidentität, Eigentümer, Gruppen oder Rollen sowie Zugriffsregeln des Quellsystems.
  • Aufnahme: Wie der Konnektor Inhalte und Berechtigungsmetadaten ausliest und was geschieht, wenn eines davon nicht verfügbar ist.
  • Aufteilung in Abschnitte und Speicherung: Ob jeder Abschnitt die Dokumentidentität und relevante Zugriffsmetadaten behält.
  • Identitätsauflösung: Wie der Anfragende einer Quellidentität und aktuellen Gruppen oder Rollen zugeordnet wird.
  • Abruf: Wo der Zugriff geprüft wird und ob nicht autorisierte Inhalte herausgefiltert werden, bevor der Modellkontext erstellt wird.
  • Nach dem Abruf: Ob Antworten, Zitate, Gesprächsverlauf, Caches, Exporte oder Protokolle eingeschränkte Inhalte speichern können.

Autorisierung entlang des RAG-Pfads nachverfolgen

Ermitteln Sie für jeden Schritt die Komponente, die Zugriffsrechte bewahrt oder durchsetzt.

  1. 1
    Quellberechtigungen

    Ermitteln Sie Dokumentregeln, Eigentümer, Gruppen und die maßgebliche Quelle.

  2. 2
    Konnektor und Aufnahme

    Prüfen Sie, ob der Konnektor zusammen mit den Inhalten verwertbare Berechtigungsmetadaten importiert.

  3. 3
    Abschnitte und Speicherung

    Stellen Sie sicher, dass jeder Abschnitt seiner Quelle und den Zugriffsmetadaten zugeordnet bleibt.

  4. 4
    Identität und Abruf

    Ermitteln Sie die aktuellen Rechte des Anfragenden und filtern Sie nicht autorisierte Abschnitte vor der Erstellung des Modellkontexts heraus.

  5. 5
    Antworten und gespeicherte Daten

    Prüfen Sie Zitate, Gesprächsverlauf, Caches, Exporte und Protokolle auf eingeschränkte Inhalte.

Kartieren Sie den gesamten Weg von der Identität bis zum abgerufenen Kontext

Prüfen Sie, wie der Konnektor mit Berechtigungen umgeht

Ein Konnektor, der Dokumenttext importiert, importiert nicht zwangsläufig auch die Zugriffsregeln des Quellsystems. Bestätigen Sie das Verhalten des konkreten Konnektors und der geplanten Konfiguration. Leiten Sie die Unterstützung weder aus allgemeinen Funktionen der RAG-Anwendung noch aus einer erfolgreichen Verbindung ab.

Fragen Sie, wie Berechtigungen nach der Aufnahme dargestellt werden. Zugriffsmetadaten sollten jedem relevanten Abschnitt zugeordnet bleiben und dürfen beim Aufteilen in Abschnitte oder beim Erstellen von Einbettungen nicht verloren gehen. Stellen Sie außerdem fest, wie die Anwendung diese Metadaten beim Abruf mit dem anfragenden Benutzer abgleicht. Eine Prüfung nur zum Zeitpunkt der Aufnahme kann veraltet sein, wenn sich Berechtigungen ändern.

  • Welche Quellberechtigungen und Identitätsfelder liest dieser Konnektor aus?
  • Kann er Gruppen-, Rollen-, Eigentümer- oder Mandantenunterscheidungen der Quelle in der Anwendung abbilden?
  • Behält jeder Abschnitt die Identität seines Quelldokuments und die Zugriffsmetadaten?
  • Was geschieht, wenn einem Dokument verwertbare Berechtigungen fehlen, der Konnektor sie nicht auslesen kann oder die Identitätszuordnung mehrdeutig ist?
  • Wird die Zugriffsentscheidung technisch durchgesetzt oder soll das Sprachmodell sie durch Befolgen von Anweisungen treffen?

Führen Sie einen Abruftest mit verschiedenen Benutzern durch

Verwenden Sie eine kleine, kontrollierte Sammlung mit unterschiedlichen Zugriffsrechten. Nehmen Sie mindestens ein Dokument auf, das ein Testbenutzer lesen darf und ein anderer nicht. Verwenden Sie unverwechselbare Testinhalte, damit mögliche Offenlegungen in Antworten, Zitaten und Protokollen erkennbar sind. Notieren Sie das erwartete Ergebnis, bevor Sie Abfragen ausführen.

Prüfen Sie neben dem Antworttext auch zitierte Dokumente, Ausschnitte und sichtbare Quelldetails. Wenn die Anwendung abgerufene Abschnitte oder Prüfprotokolle bereitstellt, kontrollieren Sie diese ausschließlich mit Konten, die zum Einsehen des zugrunde liegenden Materials berechtigt sind.

  • Melden Sie sich als berechtigter Benutzer an und bestätigen Sie, dass erlaubte Inhalte abgerufen werden können.
  • Melden Sie sich mit einem Benutzer ohne Zugriff an und stellen Sie dieselbe Frage. Prüfen Sie, dass eingeschränkte Inhalte weder in der Antwort noch in Zitaten oder Ausschnitten auftauchen.
  • Wenn separate Mandanten oder Abteilungen relevant sind, testen Sie, ob Inhalte des jeweils anderen Bereichs abgerufen werden können.
  • Wiederholen Sie den Test mit einer Abfrage, die Inhalte sowohl aus erlaubten als auch aus eingeschränkten Dokumenten beziehen könnte.
  • Vergewissern Sie sich, dass die Entscheidung an die tatsächliche Identität des Anfragenden gebunden ist und nicht an eine gemeinsame Konnektoridentität mit umfassenderen Zugriffsrechten.

Zentrale Testfälle für Dokumentberechtigungen

Führen Sie die Testfälle mit kontrollierten Testbenutzern aus und halten Sie erwartete sowie beobachtete Ergebnisse fest.

TestfallKonfigurationErwartetes Ergebnis
Unterschiedliche BenutzerrechteZwei Benutzer haben unterschiedliche Zugriffsrechte auf dieselbe Sammlung.Jeder Benutzer ruft nur Dokumente ab, die von seinen Rechten abgedeckt sind.
Grenze zwischen Mandanten oder AbteilungenEin Benutzer fragt Inhalte eines anderen Mandanten oder einer anderen Abteilung ab.Keine Abschnitte, Zitate oder aufschlussreichen Metadaten überschreiten die Grenze.
Berechtigung entzogenEin Benutzer verliert den Dokumentzugriff oder wird aus einer berechtigten Gruppe entfernt.Nach Umsetzung der Änderung kann der Benutzer die Inhalte nicht mehr abrufen.
Quelle gelöschtEin Quelldokument wird gelöscht oder seine Berechtigung entzogen.Seine abgeleiteten Inhalte sind nicht mehr abrufbar.
Berechtigungsdaten nicht verfügbarDer Konnektor kann keine verwertbaren Zugriffsmetadaten bereitstellen oder aktualisieren.Das System verweigert den Zugriff oder stellt die Inhalte unter Quarantäne, statt sie bei unklaren Berechtigungen bereitzustellen.

Testen Sie den Entzug von Berechtigungen, Gruppenänderungen und Löschungen

Ändern Sie die Zugriffsrechte eines Testbenutzers an der Quelle und wiederholen Sie dieselbe Abfrage, sobald die Änderung wirksam sein sollte. Berücksichtigen Sie direkte Änderungen des Dokumentzugriffs ebenso wie Änderungen der Gruppen- oder Rollenmitgliedschaft. Notieren Sie, wie lange die Synchronisierung dauert und woran Sie erkennen, dass die aktualisierten Berechtigungen angewendet werden.

Testen Sie auch das Entfernen der Quelle. Eine Datei an ihrem ursprünglichen Speicherort zu löschen reicht nicht aus, wenn ihre Abschnitte, Einbettungen, Zusammenfassungen oder zwischengespeicherten Ergebnisse an anderer Stelle in der RAG-Pipeline verfügbar bleiben. Stellen Sie fest, was die Anwendung und der Konnektor entfernen und wie Sie den Abschluss überprüfen.

  • Entziehen Sie einem Benutzer den Zugriff auf ein Dokument und überprüfen Sie, dass dessen Inhalt nicht mehr abgerufen wird.
  • Entfernen Sie einen Benutzer aus einer berechtigten Gruppe und testen Sie mit seiner aktuellen Identität.
  • Löschen Sie ein Quelldokument oder entziehen Sie ihm die Berechtigung und prüfen Sie den Abruf sowie die zugehörigen abgeleiteten Daten.
  • Wiederholen Sie relevante Tests nach der Berechtigungssynchronisierung, nach Konnektorfehlern oder nach der Wiederherstellung eines ausgefallenen Systems.
  • Prüfen Sie die Cache-Invalidierung, damit eine zuvor berechtigte Antwort einem inzwischen nicht mehr berechtigten Benutzer nicht weiterhin zur Verfügung steht.

Prüfen Sie, an welchen Stellen Inhalte nach dem Abruf gespeichert bleiben können

Die Autorisierung muss mehr als nur den Vektorspeicher berücksichtigen. Eine eingeschränkte Antwort oder ein Quellverweis kann im Gesprächsverlauf, in Caches, Exporten oder Protokollen gespeichert bleiben. Ob diese Funktionen vorhanden sind, wie sie sich verhalten und wer darauf zugreifen kann, hängt von Anwendung und Konfiguration ab. Testen Sie deshalb die tatsächliche Bereitstellung.

Prüfen Sie, ob ein Benutzer eine Unterhaltung erneut öffnen kann, nachdem er den Dokumentzugriff verloren hat. Berücksichtigen Sie, ob Zitate vertrauliche Dokumentnamen oder Kennungen offenlegen, selbst wenn der Antworttext den Inhalt auslässt.

Protokolle können helfen, Zugriffsentscheidungen nachzuvollziehen, aber auch Informationen über zugrunde liegende Dokumente offenlegen. Erfassen Sie ausreichend Daten, um zu prüfen, welche Identität welche Inhalte angefordert hat und welche Berechtigungsmetadaten galten. Beschränken Sie den Zugriff auf Protokolle und legen Sie eine angemessene Aufbewahrungsdauer fest.

  • Gesprächsverlauf und geteilte Unterhaltungen
  • Zwischengespeicherte Antworten, abgerufene Abschnitte oder Suchergebnisse
  • Zitate, Quelltitel, Ausschnitte und Exporte
  • Anwendungs-, Konnektor- und Abrufprotokolle
  • Sicherungen oder andere aufbewahrte Datenkopien der Anwendung

Legen Sie ein sicheres Verhalten fest, wenn Berechtigungen nicht bestätigt werden können

Legen Sie fest, was geschieht, wenn ein Konnektor nicht verfügbar ist, eine Berechtigungsaktualisierung fehlschlägt, die Gruppenmitgliedschaft nicht ermittelt werden kann oder einem Dokument verwertbare Zugriffsmetadaten fehlen. Bei eingeschränkten Inhalten ist es sicherer, den Abruf standardmäßig zu verweigern oder die Inhalte unter Quarantäne zu stellen, bis die Autorisierung bestätigt werden kann. Ein alter Berechtigungsstand kann Zugriff gewähren, obwohl dieser bereits entzogen wurde.

Dokumentieren Sie den Zielkonflikt: Bei einer ausfallsicheren Verweigerung können einige Inhalte während eines Synchronisierungsproblems nicht verfügbar sein. Werden Inhalte hingegen trotz unklarer Berechtigungen bereitgestellt, können Daten offengelegt werden. Formulieren Sie die nutzerseitige Rückmeldung klar, ohne eingeschränkte Inhalte preiszugeben, und machen Sie den Zustand für die zuständige Stelle sichtbar.

  • Legen Sie fest, welche Fehler den Abruf blockieren und wer sie beheben kann.
  • Behandeln Sie fehlende Berechtigungsmetadaten nicht als Berechtigung für alle.
  • Protokollieren Sie Synchronisierungsfehler und betroffene Quellen, ohne eingeschränkte Dokumentinhalte in allgemein zugängliche Protokolle aufzunehmen.
  • Bestätigen Sie nach der Wiederherstellung, dass die Berechtigungen aktualisiert wurden, und wiederholen Sie relevante Zugriffstests, bevor Sie den Abruf wieder freigeben.

Weisen Sie Verantwortlichkeiten zu und überprüfen Sie Zugriffe fortlaufend

Da Zugriffsregeln in mehreren Systemen konfiguriert sein können, benennen Sie für jeden Teil des Ablaufs eine verantwortliche Stelle: Quellberechtigungen, Identitäts- und Gruppenzuordnung, Konnektorverhalten, Durchsetzung beim Abruf und gespeicherte Daten. Führen Sie ein Verzeichnis der geschützten Sammlungen und der Orte, an denen die jeweiligen Regeln konfiguriert sind.

Machen Sie den Testplan zu einem Bestandteil des laufenden Betriebs und nicht nur der Freigabe zum Start. Wiederholen Sie die Tests nach Änderungen an Konnektoren oder Berechtigungsmodellen, Änderungen an Gruppenzuordnungen, wesentlichen Konfigurationsänderungen der Anwendung oder Vorfällen im Zusammenhang mit Zugriff oder Synchronisierung. Vergleichen Sie regelmäßig die aktuellen Berechtigungen der Quelle mit den beim Abruf verwendeten Berechtigungsmetadaten.

Für Teams, die eine selbst gehostete RAG-Anwendung bereitstellen, sind Hosting und Anwendungssicherheit getrennte Verantwortungsbereiche. Airbip bietet verwaltete Bereitstellungen für Anwendungen in seinem öffentlichen Katalog. Die Instanzen laufen als Docker-Workloads auf Airbip-Cloudservern. Teams müssen weiterhin Konnektoren, Berechtigungsmodell, Datenverarbeitung und Zugriffsrichtlinien der Anwendung entsprechend ihren Anforderungen auswählen und überprüfen.

  • Führen Sie ein Ressourcenverzeichnis mit Quelle, Eigentümer, Speicherort der Zugriffsregeln und Konnektor.
  • Setzen Sie, wo angemessen, auf das Prinzip der geringsten Berechtigung und standardmäßige Zugriffsverweigerung.
  • Überwachen Sie den Synchronisierungsstatus und untersuchen Sie veraltete oder fehlende Berechtigungsdaten.
  • Bewahren Sie wiederholbare Testfälle für berechtigte, nicht berechtigte, widerrufene und gelöschte Dokumente auf.
  • Überprüfen Sie den Zugriff auf Protokolle und gespeicherte Inhalte und legen Sie fest, wie lange diese verfügbar bleiben sollen.

Häufige Fragen

Bedeutet die Anmeldung bei einer RAG-Anwendung, dass ihre Antworten Dokumentberechtigungen berücksichtigen?

Nein. Die Anmeldung identifiziert den Benutzer. Die Anwendung muss separat ermitteln, auf welche Dokumente dieser Benutzer zugreifen darf, und die Zugriffsentscheidung durchsetzen, bevor eingeschränkte Inhalte das Sprachmodell erreichen.

Reicht es aus, Berechtigungen bei der Indexierung von Dokumenten zu prüfen?

Nein. Berechtigungen können sich nach der Aufnahme ändern. Bewahren Sie die Zugriffsmetadaten für jeden Abschnitt auf und testen Sie, ob der Abruf die aktuellen Rechte des Anfragenden berücksichtigt.

Was sollte geschehen, wenn ein Konnektor die Berechtigungen eines Dokuments nicht auslesen kann?

Legen Sie vorab eine sichere Fehlerregel fest. Verweigern Sie bei eingeschränkten Inhalten den Abruf oder stellen Sie diese unter Quarantäne, bis die Berechtigung bestätigt werden kann. Behandeln Sie fehlende oder veraltete Metadaten nicht als Autorisierung.

Was sollte entfernt werden, wenn ein Quelldokument gelöscht wird?

Prüfen Sie das Quelldokument und seine abgeleiteten Daten in der gesamten RAG-Pipeline, darunter Abschnitte, Einbettungen, zwischengespeicherte Ergebnisse und andere aufbewahrte Kopien. Vergewissern Sie sich, dass die Inhalte nicht mehr abgerufen werden können.

Garantiert Selbsthosting eine dokumentbezogene Zugriffskontrolle in RAG?

Nein. Selbsthosting bietet für sich genommen keine dokumentbezogene Autorisierung. Die Unterstützung hängt von Anwendung, Konnektor, Identitätszuordnung, Konfiguration und dem Umgang mit Berechtigungsänderungen und gespeicherten Daten ab.

Quellen und weiterführende Literatur 2
  1. RAG Security Cheat Sheet OWASP Cheat Sheet Series
  2. Zero Trust Journey Takeaways National Institute of Standards and Technology (NIST)