Voltar ao blog AI Infrastructure

Seu assistente RAG respeita as permissões dos documentos? Um plano prático de testes de controle de acesso

Um assistente RAG precisa de mais do que autenticação para proteger documentos restritos. Rastreie as permissões do sistema de origem até a indexação, a recuperação, os caches e os registros; depois, teste mudanças de acesso e falhas.

Diagrama que acompanha as permissões do usuário da origem do documento, passando pela indexação e recuperação RAG, até uma resposta com controle de acesso

Uma tela de autenticação não comprova que o acesso aos documentos é controlado

Um usuário pode estar autenticado em um aplicativo RAG e, ainda assim, receber conteúdo que não tem permissão para ver. A autenticação responde quem está usando o aplicativo; a autorização no nível do documento responde a quais materiais de origem essa pessoa pode ter acesso.

Essa distinção é importante porque um pipeline RAG transforma documentos em fragmentos e dados derivados e, em seguida, seleciona parte desse conteúdo para fornecer a um modelo de linguagem. As permissões de um documento de origem não são necessariamente aplicadas automaticamente a esses fragmentos. É preciso verificar o acesso durante a ingestão, o armazenamento, a recuperação e em outros locais onde o conteúdo possa persistir.

Trate o teste como um rastreamento: O aplicativo consegue identificar quem fez a solicitação e seus direitos de acesso atuais, aplicá-los a cada fragmento recuperado antes que ele chegue ao modelo e impedir que conteúdo restrito apareça em outros lugares? Uma citação ou uma instrução ao modelo para evitar material restrito não constitui um controle de autorização.

  • A autenticação identifica o usuário; a autorização decide se esse usuário pode acessar um recurso específico.
  • Uma resposta bem-sucedida para um usuário autorizado não demonstra que outro usuário terá o acesso negado ao mesmo documento.
  • A hospedagem própria dá à equipe controle sobre a implantação, mas, por si só, não estabelece o controle de acesso no nível do documento. O suporte depende do aplicativo, do conector, da configuração e do modelo de permissões.

Defina os critérios de aceitação antes de testar

Registre o resultado esperado para cada estado de acesso. Um ponto de partida seguro é o princípio do menor privilégio: permitir somente o acesso explicitamente autorizado e negar o acesso quando o sistema não conseguir confirmar essa autorização. Considere tanto o acesso ao conteúdo quanto a divulgação por meio de títulos de documentos, citações, trechos ou outros metadados.

  • Usuário autorizado: somente o conteúdo de origem permitido pode ser incluído no contexto recuperado.
  • Usuário não autorizado: conteúdo restrito e metadados que possam revelá-lo não são retornados.
  • Identidade desconhecida, metadados de permissão ausentes ou verificações de permissão indisponíveis: o conteúdo restrito não é fornecido até que seja possível confirmar o acesso.
Uma tela de autenticação não comprova que o acesso aos documentos é controlado

Mapeie todo o caminho da identidade até o contexto recuperado

Antes de configurar ou testar um aplicativo, desenhe o percurso de um documento desde a origem até a resposta. Registre onde as permissões são definidas na origem, como o conector as lê, de onde vêm a identidade e a associação a grupos e qual componente aplica a decisão no momento da recuperação.

Faça um inventário dos recursos protegidos e dos sistemas que configuram o acesso. As regras podem estar distribuídas entre um repositório de origem, um serviço de identidade ou grupos, um conector, o aplicativo e um banco vetorial. Identifique um responsável por cada regra e anote qual componente deve aplicá-la.

  • Origem: identidade do documento, proprietário, grupos ou funções e regras de acesso do sistema de origem.
  • Ingestão: como o conector lê o conteúdo e os metadados de permissão, e o que acontece se um deles estiver indisponível.
  • Fragmentação e armazenamento: se cada fragmento mantém a identidade do documento e os metadados de acesso relevantes.
  • Resolução de identidade: como a identidade do solicitante é associada à identidade correspondente na origem e aos grupos ou funções atuais.
  • Recuperação: onde o acesso é verificado e se isso ocorre antes de o conteúdo ser enviado ao modelo de linguagem.
  • Após a recuperação: se respostas, citações, histórico de conversas, caches, exportações ou registros podem reter conteúdo restrito.

Rastreie a autorização ao longo do caminho RAG

Em cada etapa, identifique o componente responsável por preservar ou aplicar os direitos de acesso. A verificação de autorização deve ocorrer antes que o conteúdo restrito chegue ao modelo de linguagem.

  1. 1
    Permissões na origem

    Identifique as regras dos documentos, os responsáveis, os grupos e a fonte oficial.

  2. 2
    Conector e ingestão

    Verifique se o conector importa metadados de permissão utilizáveis junto com o conteúdo.

  3. 3
    Fragmentos e armazenamento

    Confirme que cada fragmento continua associado à sua origem e aos metadados de acesso.

  4. 4
    Identidade e recuperação

    Resolva os direitos atuais do solicitante e filtre os fragmentos não autorizados antes de montar o contexto do modelo.

  5. 5
    Resposta e dados retidos

    Verifique se há conteúdo restrito em citações, histórico de conversas, caches, exportações e registros.

Mapeie todo o caminho da identidade até o contexto recuperado

Verifique como o conector trata as permissões

Um conector que importa o texto de documentos não necessariamente importa as regras de acesso do sistema de origem. Confirme o comportamento do conector e da configuração específicos que pretende usar; não presuma que há suporte com base nos recursos gerais do aplicativo RAG ou em uma conexão bem-sucedida.

Pergunte como as permissões são representadas após a ingestão. Os metadados de acesso devem permanecer associados a cada fragmento relevante, em vez de se perderem durante a fragmentação ou a geração de embeddings. Determine como o aplicativo avalia esses metadados em relação ao usuário solicitante no momento da recuperação; uma verificação feita apenas durante a ingestão pode ficar desatualizada quando as permissões mudarem.

  • Quais permissões de origem e campos de identidade este conector lê?
  • Ele consegue representar no aplicativo as distinções de grupo, função, proprietário ou locatário da origem?
  • Cada fragmento mantém a identidade do documento de origem e os metadados de acesso?
  • O que acontece se um documento não tiver permissões utilizáveis, se o conector não conseguir lê-las ou se o mapeamento de identidade for ambíguo?
  • O aplicativo aplica a decisão antes que qualquer conteúdo recuperado chegue ao modelo de linguagem ou depende de o modelo seguir instruções?

Execute um teste de recuperação entre usuários

Use uma coleção pequena e controlada com direitos de acesso propositalmente diferentes. Inclua pelo menos um documento que um usuário de teste possa ler e outro não, e use conteúdo de teste distintivo para reconhecer possíveis vazamentos nas respostas, citações e registros. Anote o resultado esperado antes de executar as consultas.

Teste os limites de recuperação, não apenas se o aplicativo retorna uma resposta. Verifique o texto da resposta, os documentos citados, os trechos e todos os detalhes de origem visíveis. Se o aplicativo mostrar fragmentos recuperados ou registros de auditoria, examine-os também, usando apenas contas autorizadas a ver o material subjacente.

  • Entre como um usuário autorizado e confirme que é possível recuperar conteúdo permitido.
  • Entre como um usuário sem acesso e faça a mesma pergunta. Confirme que o conteúdo restrito não aparece na resposta, nas citações nem nos trechos.
  • Quando houver locatários ou departamentos separados, teste se um usuário consegue recuperar os fragmentos de outro.
  • Repita o teste com uma consulta de acesso misto que possa buscar conteúdo tanto em documentos permitidos quanto em documentos restritos.
  • Verifique se a decisão está associada à identidade real do solicitante, e não a uma identidade compartilhada do conector que conceda acesso mais amplo.

Casos essenciais de teste de permissões de documentos

Execute cada caso com usuários de teste controlados e registre os resultados esperados e observados. O conteúdo restrito não deve ser retornado a um usuário que não tenha acesso.

Caso de testeConfiguraçãoResultado esperado
Direitos diferentes entre usuáriosDois usuários têm acessos diferentes à mesma coleção.Cada usuário recupera somente os documentos permitidos por seus direitos.
Limite entre locatários ou departamentosUm usuário consulta conteúdo associado a outro locatário ou departamento.Nenhum fragmento, citação ou metadado revelador ultrapassa o limite.
Permissão revogadaUm usuário perde o acesso a um documento ou é removido de um grupo autorizado.O usuário não consegue recuperar o conteúdo depois que o sistema aplica a mudança.
Origem excluídaUm documento de origem é excluído ou tem suas permissões removidas.Seu conteúdo derivado deixa de poder ser recuperado ou retido em dados relacionados do pipeline.
Dados de permissão indisponíveisO conector não consegue fornecer ou atualizar metadados de acesso utilizáveis.O sistema nega o acesso ou coloca o conteúdo em quarentena, em vez de fornecê-lo quando os direitos são incertos.

Teste revogações, mudanças de grupo e exclusões

Altere o acesso de um usuário de teste na origem e repita a mesma consulta depois que a mudança deveria ter sido aplicada. Inclua tanto alterações diretas de acesso a documentos quanto mudanças na associação a grupos ou funções. Registre quanto tempo a sincronização leva e como você determina que as permissões atualizadas estão sendo aplicadas.

Teste também a remoção na origem. Excluir um arquivo de seu local original não basta se seus fragmentos, embeddings, resumos, resultados em cache ou outros dados derivados continuarem disponíveis em outro lugar do pipeline RAG. Determine o que o aplicativo e o conector removem e como você confirma que o processo foi concluído.

  • Revogue o acesso de um usuário a um documento e verifique se a recuperação deixa de retornar seu conteúdo.
  • Remova um usuário de um grupo autorizado e teste com a identidade atual desse usuário.
  • Exclua um documento de origem ou remova suas permissões e verifique a recuperação, as citações e outros dados derivados.
  • Repita os testes relevantes após a sincronização das permissões, erros do conector ou recuperação de uma interrupção.
  • Verifique a invalidação do cache para garantir que uma resposta anteriormente autorizada não continue disponível a um usuário que já não tem autorização.

Verifique onde o conteúdo pode persistir após a recuperação

A autorização precisa levar em conta mais do que o banco vetorial. Uma resposta restrita ou uma referência à origem pode persistir no histórico de conversas, em caches, exportações ou registros. A existência desses recursos, seu comportamento e quem pode acessá-los variam conforme o aplicativo e a configuração; por isso, teste a implantação real.

Verifique se um usuário consegue reabrir uma conversa depois de perder o acesso ao documento. Confira se os resultados em cache são isolados por usuário ou contexto de acesso e invalidados quando as permissões mudam. Considere se as citações revelam nomes ou identificadores de documentos confidenciais, mesmo quando o texto da resposta omite o conteúdo.

Os registros podem ajudar a investigar decisões de acesso, mas também podem revelar informações sobre os documentos subjacentes. Registre dados suficientes para auditar qual identidade solicitou qual conteúdo e os metadados de acesso relevantes, restringindo o acesso aos registros e definindo um período de retenção adequado às suas necessidades.

  • Histórico de conversas e conversas compartilhadas
  • Respostas em cache, fragmentos recuperados ou resultados de pesquisa
  • Citações, títulos de origem, trechos e exportações
  • Registros do aplicativo, do conector e da recuperação
  • Backups ou outras cópias retidas dos dados armazenados pelo aplicativo

Defina um comportamento seguro quando não for possível confirmar as permissões

Decida o que fazer quando um conector estiver indisponível, uma atualização de permissões falhar, não for possível resolver a associação a grupos ou um documento não tiver metadados de acesso utilizáveis. Para conteúdo restrito, uma opção padrão segura é negar ou colocar a recuperação em quarentena até que seja possível confirmar a autorização. Continuar usando um retrato antigo das permissões pode manter um acesso que já foi revogado.

Documente a compensação: o comportamento de falhar de forma fechada pode tornar parte do conteúdo indisponível durante um problema de sincronização, mas fornecê-lo quando os direitos são incertos pode expor dados. Deixe a resposta apresentada ao usuário clara, sem revelar conteúdo restrito, e torne a condição visível para o operador responsável.

  • Defina quais falhas bloqueiam a recuperação e quem pode resolvê-las.
  • Não trate a ausência de metadados de permissão como autorização para todos.
  • Registre falhas de sincronização e as origens afetadas sem incluir conteúdo de documentos restritos em registros amplamente acessíveis.
  • Após a recuperação, confirme que as permissões foram atualizadas e repita os testes de acesso relevantes antes de restabelecer a recuperação.

Atribua responsabilidades e mantenha a revisão de acesso contínua

As regras de acesso podem ser configuradas em vários sistemas; por isso, designe um responsável para cada parte do caminho: permissões na origem, mapeamento de identidade e grupos, comportamento do conector, aplicação das regras na recuperação e dados retidos. Mantenha um inventário das coleções protegidas e dos locais onde cada regra está configurada.

Integre o plano de testes às operações contínuas, em vez de usá-lo apenas na aprovação do lançamento. Execute-o novamente após mudanças no conector ou no modelo de permissões, mudanças no mapeamento de grupos, alterações significativas na configuração do aplicativo ou incidentes envolvendo acesso ou sincronização. Compare periodicamente as permissões atuais da origem com os metadados de acesso usados na recuperação.

Para equipes que implantam um aplicativo RAG por conta própria, a hospedagem e a segurança do aplicativo são responsabilidades distintas. A Airbip oferece implantação gerenciada para aplicativos em seu catálogo público, com instâncias executadas como cargas de trabalho Docker em servidores na nuvem da Airbip. Ainda cabe às equipes escolher e validar o conector, o modelo de permissões, o tratamento de dados e as políticas de acesso do aplicativo conforme seus requisitos.

  • Mantenha um inventário de recursos com a origem, o responsável, o local da regra de acesso e o conector.
  • Aplique o princípio do menor privilégio e regras de negação padrão quando apropriado.
  • Acompanhe o status da sincronização e investigue dados de permissão desatualizados ou ausentes.
  • Mantenha casos repetíveis para cenários de usuário autorizado, não autorizado, acesso revogado e documento excluído.
  • Revise o acesso aos registros e ao conteúdo retido e defina por quanto tempo cada um deve permanecer disponível.

Perguntas frequentes

Entrar em um aplicativo RAG significa que suas respostas respeitam as permissões dos documentos?

Não. A autenticação identifica o usuário, mas o aplicativo precisa determinar separadamente a quais documentos esse usuário pode ter acesso e aplicar essa decisão antes que o conteúdo restrito chegue ao modelo de linguagem.

Basta verificar as permissões quando os documentos são indexados?

Não. As permissões podem mudar após a ingestão. Mantenha os metadados de acesso associados a cada fragmento e teste se a recuperação avalia os direitos atuais do solicitante.

O que deve acontecer se um conector não conseguir ler as permissões de um documento?

Defina antecipadamente uma regra segura para falhas. Para conteúdo restrito, negue ou coloque a recuperação em quarentena até que seja possível confirmar a permissão, em vez de tratar metadados ausentes ou desatualizados como autorização.

O que deve ser removido quando um documento de origem é excluído?

Verifique o documento de origem e seus dados derivados em todo o pipeline RAG, incluindo fragmentos, embeddings, resultados em cache e outras cópias retidas. Confirme que o conteúdo excluído ou sem permissões já não pode ser recuperado.

A hospedagem própria garante o controle de acesso a documentos em RAG?

Não. A hospedagem própria, por si só, não fornece autorização no nível do documento. O suporte depende do aplicativo, do conector, do mapeamento de identidade, da configuração e de como a implantação trata mudanças de permissões e dados retidos.

Fontes e leituras adicionais 2
  1. RAG Security Cheat Sheet OWASP Cheat Sheet Series
  2. Zero Trust Journey Takeaways National Institute of Standards and Technology (NIST)