La tua app RAG può acquisire i documenti che usi davvero? Una checklist di valutazione
Un elenco di formati supportati non basta a dirti se un’applicazione RAG estrae correttamente i documenti che usi davvero. Crea un set di test rappresentativo, controlla i contenuti acquisiti e verifica come vengono gestiti aggiornamenti, eliminazioni ed errori.
Perché l’elenco dei formati supportati non basta
Un elenco di compatibilità risponde a una domanda circoscritta: l’applicazione può accettare un file con una determinata estensione? Non ti dice se i contenuti di cui il tuo team ha bisogno verranno estratti integralmente e in una forma utilizzabile.
Un PDF può contenere testo selezionabile, immagini di pagine scansionate, tabelle complesse o una combinazione di tutti e tre gli elementi. Due file con la stessa estensione possono quindi rappresentare test di acquisizione molto diversi. Considera l’indicazione «supportato» come un motivo per testare un formato, non come la prova che i tuoi documenti siano pronti per la ricerca.
Concentra questa valutazione sul processo di acquisizione: quali contenuti e metadati entrano nel sistema, che cosa viene tralasciato o modificato e che cosa accade quando i file sorgente cambiano. Valuta separatamente la qualità delle risposte e l’attribuzione delle fonti.
- Testa documenti reali provenienti dai team e dagli archivi che prevedi di usare.
- Distingui tra «caricamento accettato» e «contenuto estratto correttamente».
- Indica se ogni test riguarda l’accettazione del file, l’estrazione, i metadati o la gestione del ciclo di vita.
Crea un set di test piccolo ma rappresentativo
Inizia con un set ridotto che rispecchi le fonti dei tuoi documenti, anziché raccogliere molti file di esempio scelti per comodità. Includi casi ordinari e anche i file problematici su cui il personale fa davvero affidamento. Un set di test mirato rende più semplice controllare i risultati e ripetere le stesse verifiche dopo modifiche alla configurazione.
Includi documenti diversi per struttura e provenienza. Per le pagine scansionate, usa file in cui il testo è presente soltanto come immagine. Per le tabelle, scegli esempi in cui è importante il rapporto tra intestazioni, righe e valori. Includi documenti lunghi e documenti con più sezioni, così da verificare che i contenuti non vadano persi o vengano disposti in un ordine inatteso.
Tieni un semplice inventario insieme ai file. Annota per ciascuno i contenuti previsti, i campi importanti, la lingua, la struttura e le eventuali particolarità note. In questo modo chi esamina i risultati avrà un riferimento per controllare i contenuti acquisiti.
- File ordinari provenienti da ogni fonte importante e nei formati più comuni.
- Pagine scansionate, documenti ricchi di immagini e PDF che combinano testo e immagini.
- Tabelle, moduli, intestazioni, piè di pagina, impaginazioni a più colonne e documenti con elenchi.
- Documenti brevi e lunghi, compresi esempi con più sezioni.
- Le lingue, le convenzioni di denominazione e gli schemi di metadati presenti nella raccolta reale.
Verifica la qualità dell’estrazione: testo, struttura, metadati e OCR
Per ogni file di test, confronta i contenuti acquisiti con l’originale. Controlla che il testo chiave sia presente, che l’ordine di lettura sia sensato e che le intestazioni e i confini tra le sezioni siano ancora riconoscibili. Esamina con attenzione i valori il cui significato dipende dalle etichette vicine, come una voce di tabella associata a una specifica intestazione di colonna.
Per il materiale scansionato, verifica se il testo viene effettivamente estratto e se gli errori di riconoscimento modificano nomi, date, identificativi o cifre. Non dare per scontato che un caricamento riuscito significhi che sia stato eseguito l’OCR: verificalo consultando la documentazione dell’applicazione o esaminando i contenuti risultanti.
Controlla i metadati separatamente dal testo principale. A seconda del tuo caso d’uso, i campi utili possono includere il nome del file, la posizione della fonte, la data del documento, la lingua o un identificativo interno. Determina quali campi vengono mantenuti, quali possono essere forniti o modificati e quali non sono disponibili. Non presumere che un campo venga conservato solo perché compare nelle proprietà del file originale.
- Puoi esaminare o esportare il contenuto estratto da un file di test?
- Le intestazioni delle tabelle restano associate ai valori corretti?
- L’OCR riconosce nomi, date, numeri e identificativi fondamentali con un’accuratezza sufficiente per il tuo uso?
- Quali campi dei metadati vengono mantenuti dopo l’acquisizione e puoi distinguere i file simili in un secondo momento?
Testa duplicati, aggiornamenti ed eliminazioni
Le raccolte di documenti cambiano. Usa una copia di test innocua e annota cosa mostra l’applicazione prima e dopo ogni operazione.
Prova ad acquisire due volte lo stesso file, quindi testa due file diversi con nomi simili o contenuti sovrapposti. L’applicazione potrebbe gestire questi casi in modo diverso: l’obiettivo è stabilire quale sia il suo comportamento, non presumere che rilevi o unisca i duplicati.
Poi modifica una frase o un valore distintivo in un documento di test e acquisisci il file aggiornato. Controlla se i vecchi contenuti restano, se compaiono quelli nuovi e se riesci a capire quale versione è attiva. Infine, rimuovi il file sorgente usando la procedura documentata e verifica cosa accade ai contenuti acquisiti, secondo le regole che ti servono.
- Carica due volte lo stesso identico file e annota se viene creato uno o più elementi acquisiti.
- Testa un file aggiornato con lo stesso nome e un file aggiornato con un nome diverso.
- Verifica come l’applicazione distingue due documenti con nomi simili.
- Dopo aggiornamenti ed eliminazioni, controlla se i contenuti acquisiti corrispondono ancora alla versione attesa.
Osserva gli errori, i nuovi tentativi e i completamenti parziali
Includi almeno un file che prevedi possa creare difficoltà, come un file danneggiato o una variante inattesa di un formato comune, se puoi farlo in sicurezza. Segui l’intero processo, invece di controllare solo se la schermata di caricamento ha accettato il file.
Annota ciò che mostra l’applicazione quando l’acquisizione non riesce o sembra incompleta. Tra gli indicatori utili potrebbero esserci uno stato, un messaggio di errore, una voce di registro o un’indicazione che l’elaborazione è ancora in corso. La disponibilità e il livello di dettaglio variano: verificali con un test.
Se l’applicazione offre un’opzione per riprovare o rielaborare, testala su una copia e annota se il processo riprende da dove si era interrotto, ricomincia da capo o crea un secondo elemento. Determina inoltre se un’elaborazione in batch può riuscire solo in parte e come identificare i file che richiedono attenzione.
- Se disponibili, puoi distinguere gli elementi in coda, in elaborazione, completati e non riusciti?
- L’errore identifica il file e fornisce dettagli sufficienti per decidere quale passo tentare?
- Puoi riprovare l’acquisizione di un elemento non riuscito e il risultato è chiaro?
- Se un’elaborazione in batch viene completata solo in parte, riesci a identificare i file completati e quelli rimasti in sospeso?
- Gli amministratori possono consultare i registri pertinenti o altre informazioni diagnostiche?
Confronta i contenuti estratti prima di valutare il recupero
Quando un risultato di ricerca sembra errato, la causa potrebbe essere un problema di acquisizione, una configurazione del recupero o qualcos’altro. Esaminare i contenuti acquisiti, come descritto sopra, aiuta a distinguere queste possibilità. Se un paragrafo fondamentale o un valore di tabella non è mai entrato nei contenuti indicizzati, modificare le impostazioni delle risposte non farà ricomparire il testo mancante.
Per ogni documento di test, scegli in anticipo alcuni passaggi o valori distintivi e usali come riferimento. Segnala omissioni, testo duplicato, problemi nell’ordine di lettura e caratteri alterati prima di avviare le prove di ricerca o risposta.
Il tutorial di LangChain sulla [valutazione di un’applicazione RAG](https://docs.langchain.com/langsmith/evaluate-rag-tutorial) descrive come creare set di dati di test e usarli per eseguire un’applicazione RAG. Questa valutazione è distinta dalla verifica di come una determinata applicazione analizza i documenti o gestisce le modifiche ai file: considera quindi i controlli di acquisizione come una fase di test a sé.
- Prepara prima del caricamento una breve checklist dei contenuti previsti per ogni file.
- Separa i difetti di estrazione da quelli di recupero o di risposta.
- Se non è possibile ispezionare i contenuti estratti, chiedi al fornitore quali evidenze o metodi diagnostici sono disponibili.
Registra i risultati e stabilisci i criteri di accettazione
Un registro di valutazione utile è breve ma ripetibile. Per ogni file, annota la fonte, il formato, le caratteristiche rilevanti, l’esito dell’acquisizione, le osservazioni sull’estrazione, il risultato relativo ai metadati, i test del ciclo di vita e le eventuali soluzioni alternative. Registra la configurazione dell’applicazione e la data del test, così da poter confrontare correttamente le prove successive.
Definisci criteri di accettazione in base ai rischi effettivi. Per esempio, un team potrebbe richiedere la conservazione esatta di determinati identificativi, testo utilizzabile da una categoria specifica di pagine scansionate o una procedura chiara per rimuovere i contenuti quando viene eliminato un file sorgente. Esplicita lo standard, invece di definire semplicemente un risultato di acquisizione «buono» o «cattivo».
Decidi che cosa fare se un file non supera il test. Le opzioni potrebbero includere l’esclusione di quella fonte, la preparazione di una copia normalizzata, l’aggiunta di una fase di revisione manuale o la scelta di un’applicazione diversa. Se serve una soluzione alternativa, documenta chi ne è responsabile e come verrà mantenuta.
- File di test e fonte
- Contenuti e metadati previsti
- Estrazione osservata ed eventuali omissioni o distorsioni
- Comportamento in caso di duplicazione, aggiornamento ed eliminazione
- Visibilità degli errori, esito dei nuovi tentativi e intervento manuale
- Esito positivo, positivo con riserve o negativo rispetto a un requisito scritto
Domande da chiarire nella documentazione o con un test diretto
Il comportamento in fase di acquisizione dipende dall’applicazione. Cerca risposte nella documentazione ufficiale aggiornata e verifica i requisiti importanti con il tuo set di test.
Chiedi non solo quali formati sono elencati, ma anche quali elaborazioni vengono eseguite e quali limiti si applicano. Chiarisci se l’OCR è disponibile, se viene eseguito nel tuo ambiente o se coinvolge un servizio esterno e quali dati potrebbero essere inviati al di fuori della tua distribuzione. Non dedurre questi dettagli da un semplice elenco di formati.
Per le distribuzioni self-hosted, ospitare autonomamente l’applicazione non risolve automaticamente ogni questione relativa alla gestione dei dati. Verifica il flusso di elaborazione e le dipendenze, poi definisci le decisioni su accesso, conservazione e governance in base alle esigenze della tua organizzazione.
- Quali tipi di file e quali strutture documentali specifiche sono indicati nella documentazione come supportati?
- Esistono limiti relativi a dimensioni dei file, numero di pagine, dimensioni dei batch, tempi di elaborazione o dimensioni della raccolta?
- L’OCR è incluso, facoltativo o dipende da un altro componente o servizio?
- L’analisi, l’OCR o altre elaborazioni inviano contenuti dei documenti a un servizio esterno?
- È possibile esaminare il testo estratto e i metadati? Quali dettagli diagnostici sono disponibili?
- Che cosa conserva l’applicazione dopo la rimozione di un file sorgente e quali passaggi sono necessari per eliminarlo?
Domande frequenti
Qual è la differenza tra il supporto di un formato e l’acquisizione corretta di un documento?
Il supporto di un formato indica in genere che un’applicazione può accettare quel formato. Un’acquisizione corretta significa che i contenuti e la struttura rilevante di cui il tuo team ha bisogno sono stati estratti e resi utilizzabili. Verifica entrambi gli aspetti con esempi reali.
Quanti documenti dovrebbe contenere un set di test per l’acquisizione RAG?
Non esiste un numero valido in ogni situazione. Inizia con un set gestibile che copra le fonti, i formati, le lingue e i casi limite importanti della tua raccolta. L’obiettivo è una copertura rappresentativa e risultati ispezionabili, non un campione numeroso fine a sé stesso.
Come posso testare l’OCR senza confondere l’acquisizione con la qualità delle risposte?
Scegli pagine scansionate con un breve elenco di nomi, date, cifre o frasi attesi. Esamina i contenuti estratti o usa il metodo diagnostico indicato dal fornitore, prima di valutare i risultati di ricerca o le risposte generate.
Devo presumere che l’aggiornamento o l’eliminazione di un file sorgente aggiorni automaticamente i contenuti acquisiti?
No. Il comportamento può variare in base all’applicazione e alla configurazione. Segui la procedura documentata e verifica il risultato prima di affidarti al processo per materiale importante.
Il self-hosting garantisce che l’elaborazione dei documenti resti nel mio ambiente?
Il solo self-hosting non consente di trarre questa conclusione. Verifica se l’analisi, l’OCR o altre elaborazioni dipendono da servizi esterni e quali dati dei documenti vengono inviati o conservati.
Fonti e approfondimenti
- Evaluate a RAG application — LangChain
- A complete guide to RAG evaluation — Evidently AI