Kann Ihre RAG-App die Dokumente verarbeiten, die Sie tatsächlich verwenden? Eine Checkliste zur Evaluation
Eine Liste unterstützter Dateitypen zeigt nicht, ob eine RAG-Anwendung Ihre tatsächlichen Dokumente korrekt ausliest. Stellen Sie einen repräsentativen Testsatz zusammen, prüfen Sie die verarbeiteten Inhalte und testen Sie, wie Aktualisierungen, Löschungen und Fehler gehandhabt werden.
Warum die Angabe unterstützter Dateiformate nicht ausreicht
Eine Kompatibilitätsliste beantwortet eine eng gefasste Frage: Kann die Anwendung eine Datei mit einer bestimmten Endung annehmen? Sie sagt Ihnen nicht, ob die Inhalte, die Ihr Team benötigt, vollständig extrahiert und in einer für die Anwendung nutzbaren Form bereitgestellt werden.
Ein PDF kann auswählbaren Text, gescannte Seitenbilder, komplexe Tabellen oder eine Mischung aus all diesen Elementen enthalten. Zwei Dateien mit derselben Endung können daher ganz unterschiedliche Tests der Dokumentenverarbeitung erfordern. Betrachten Sie „unterstützt“ als Anlass, ein Format zu testen – nicht als Beleg dafür, dass Ihre Dokumente für die Suche bereit sind.
Richten Sie diese Evaluation auf den Verarbeitungspfad aus: Welche Inhalte und Metadaten gelangen ins System, was wird ausgelassen oder verändert und was geschieht, wenn sich Quelldateien ändern? Bewerten Sie die Qualität der Antworten und die Quellenzuordnung separat.
- Testen Sie echte Dokumente aus den Teams und Repositories, die Sie voraussichtlich nutzen werden.
- Unterscheiden Sie zwischen „Upload akzeptiert“ und „Inhalt korrekt extrahiert“.
- Halten Sie fest, ob sich jeder Test auf die Dateiannahme, die Extraktion, Metadaten oder das Verhalten im Dateilebenszyklus bezieht.
Stellen Sie einen kleinen, repräsentativen Testsatz zusammen
Beginnen Sie mit einem kleinen Satz, der Ihre Dokumentquellen widerspiegelt, statt mit einer großen Sammlung bequemer Beispieldateien. Nehmen Sie sowohl gewöhnliche Beispiele als auch die schwierigen Dateien auf, auf die Ihre Mitarbeitenden tatsächlich angewiesen sind. Ein fokussierter Testsatz erleichtert die Prüfung der Ergebnisse und die Wiederholung derselben Tests nach Konfigurationsänderungen.
Nehmen Sie Dokumente mit unterschiedlichen Strukturen und Ursprüngen auf. Verwenden Sie für gescannte Seiten Dateien, bei denen der Text ausschließlich als Bild vorliegt. Wählen Sie für Tabellen Beispiele, bei denen es auf den Zusammenhang zwischen Überschriften, Zeilen und Werten ankommt. Nehmen Sie lange Dokumente und Dokumente mit mehreren Abschnitten auf, um zu prüfen, ob Inhalte verloren gehen oder in einer unerwarteten Reihenfolge erscheinen.
Führen Sie neben den Dateien ein einfaches Verzeichnis. Notieren Sie für jede Datei die erwarteten Inhalte, wichtige Felder, Sprache, Struktur und bekannte Besonderheiten. So haben die Prüfenden eine Referenz, wenn sie die verarbeiteten Ergebnisse untersuchen.
- Gewöhnliche Dateien aus jeder wichtigen Quelle und den gängigen Dateitypen.
- Gescannte Seiten, bildlastige Dokumente und PDFs mit Text und Bildern.
- Tabellen, Formulare, Kopf- und Fußzeilen, mehrspaltige Layouts und Dokumente mit Listen.
- Kurze und lange Dokumente, einschließlich Beispielen mit mehreren Abschnitten.
- Die Sprachen, Benennungskonventionen und Metadatenmuster Ihrer tatsächlichen Sammlung.
Prüfen Sie die Extraktionsqualität: Text, Struktur, Metadaten und OCR
Vergleichen Sie bei jeder Testdatei die verarbeiteten Inhalte mit dem Original. Prüfen Sie, ob wichtige Textstellen vorhanden sind, ob die Lesereihenfolge sinnvoll ist und ob Überschriften und Abschnittsgrenzen erkennbar bleiben. Achten Sie besonders auf Werte, deren Bedeutung von benachbarten Beschriftungen abhängt, etwa auf einen Tabelleneintrag unter einer bestimmten Spaltenüberschrift.
Prüfen Sie bei gescanntem Material, ob überhaupt Text extrahiert wird und ob Erkennungsfehler Namen, Datumsangaben, Kennungen oder Zahlen verändern. Gehen Sie nicht davon aus, dass mit einem erfolgreichen Upload auch OCR ausgeführt wurde. Vergewissern Sie sich anhand der Dokumentation der Anwendung oder durch Prüfung der resultierenden Inhalte.
Prüfen Sie Metadaten getrennt vom Fließtext. Je nach Anwendungsfall können etwa Dateiname, Quellpfad, Dokumentdatum, Sprache oder eine interne Kennung nützliche Felder sein. Ermitteln Sie, welche Felder erhalten bleiben, welche angegeben oder bearbeitet werden können und welche nicht verfügbar sind. Nehmen Sie nicht an, ein Feld werde übernommen, nur weil es in den Eigenschaften der Originaldatei erscheint.
- Können Sie die extrahierten Inhalte einer Testdatei einsehen oder exportieren?
- Sind wichtige Absätze vorhanden, lesbar und sinnvoll angeordnet?
- Bleiben Tabellenüberschriften den richtigen Werten zugeordnet?
- Erfasst die OCR wichtige Namen, Datumsangaben, Zahlen und Kennungen genau genug für Ihren Anwendungsfall?
- Welche Metadatenfelder bleiben bei der Verarbeitung erhalten, und können Sie ähnliche Dateien anschließend voneinander unterscheiden?
Testen Sie Duplikate, Aktualisierungen und Löschungen
Dokumentensammlungen verändern sich. Testen Sie den Dateilebenszyklus ausdrücklich, statt die Verarbeitung als einmaligen Upload zu betrachten. Verwenden Sie eine unbedenkliche Testkopie und halten Sie fest, was die Anwendung vor und nach jeder Aktion anzeigt.
Versuchen Sie, dieselbe Datei zweimal zu verarbeiten, und testen Sie anschließend zwei verschiedene Dateien mit ähnlichen Namen oder sich überschneidenden Inhalten. Die Anwendung kann diese Fälle unterschiedlich behandeln. Ihr Ziel ist es, ihr Verhalten festzustellen, nicht anzunehmen, dass Duplikate erkannt oder zusammengeführt werden.
Ändern Sie als Nächstes einen markanten Satz oder Wert in einem Testdokument und verarbeiten Sie die überarbeitete Datei. Prüfen Sie, ob der alte Inhalt bestehen bleibt, ob der neue Inhalt erscheint und ob Sie erkennen können, welche Version aktiv ist. Entfernen Sie dann die Quelldatei über das dokumentierte Verfahren und prüfen Sie, ob auch der verarbeitete Inhalt entfernt oder auf andere Weise gemäß Ihren Richtlinien behandelt wird.
- Laden Sie exakt dieselbe Datei zweimal hoch und halten Sie fest, ob daraus ein oder mehrere verarbeitete Einträge entstehen.
- Testen Sie eine überarbeitete Datei mit demselben Namen und eine überarbeitete Datei mit einem anderen Namen.
- Prüfen Sie, wie die Anwendung zwei Dokumente mit ähnlichen Namen voneinander unterscheidet.
- Vergewissern Sie sich nach einer Aktualisierung, dass alter Text nicht unerwartet neben dem neuen Text bestehen bleibt.
- Prüfen Sie nach einer Löschung, was mit den verarbeiteten Inhalten und den zugehörigen Metadaten geschieht.
Beobachten Sie Fehler, Wiederholungsversuche und unvollständige Verarbeitung
Nehmen Sie mindestens eine Datei auf, bei der Sie Schwierigkeiten erwarten, etwa eine beschädigte Datei oder eine ungewöhnliche Variante eines gängigen Formats, sofern sich das sicher durchführen lässt. Beobachten Sie den gesamten Prozess, statt nur zu prüfen, ob die Upload-Oberfläche die Datei akzeptiert hat.
Halten Sie fest, was die Anwendung anzeigt, wenn die Verarbeitung fehlschlägt oder unvollständig zu sein scheint. Nützliche Hinweise können ein Status, eine Fehlermeldung, ein Logeintrag oder ein Hinweis darauf sein, dass die Verarbeitung noch läuft. Ob solche Informationen verfügbar sind und wie detailliert sie ausfallen, variiert je nach Anwendung. Prüfen Sie dies daher in einem Test, statt davon auszugehen, dass es entsprechende Hinweise gibt.
Wenn die Anwendung eine Wiederholung oder erneute Verarbeitung anbietet, testen Sie dies mit einer Kopie und notieren Sie, ob der Vorgang fortgesetzt, neu gestartet oder ein zweiter Eintrag angelegt wird. Ermitteln Sie außerdem, ob ein Stapel teilweise erfolgreich verarbeitet werden kann und wie Sie feststellen, welche Dateien Aufmerksamkeit erfordern.
- Können Sie – sofern die Anwendung solche Zustände anzeigt – zwischen eingereihten, gerade verarbeiteten, abgeschlossenen und fehlgeschlagenen Elementen unterscheiden?
- Nennt der Fehler die Datei und enthält er genügend Details, um den nächsten Schritt festzulegen?
- Können Sie ein fehlgeschlagenes Element erneut verarbeiten, und ist das Ergebnis eindeutig?
- Können Sie bei teilweise abgeschlossenen Stapelverarbeitungen erkennen, welche Dateien fertig und welche noch offen sind?
- Können Administratorinnen und Administratoren relevante Logs oder andere Diagnoseinformationen finden?
Vergleichen Sie die extrahierten Inhalte, bevor Sie den Abruf beurteilen
Wenn ein Suchergebnis falsch erscheint, kann die Ursache in der Dokumentenverarbeitung, einer Einstellung des Abrufs oder etwas anderem liegen. Wenn Sie zuerst die verarbeiteten Inhalte prüfen, lassen sich diese Möglichkeiten besser auseinanderhalten. Ist ein wichtiger Absatz oder Tabellenwert nie in den indexierten Inhalt gelangt, wird er durch eine Änderung der Antwort-Einstellungen nicht wiederhergestellt.
Wählen Sie für jedes Testdokument vorab einige markante Textstellen oder Werte aus. Suchen Sie nach der Verarbeitung in den extrahierten Inhalten oder nutzen Sie die nächstgelegene von der Anwendung bereitgestellte Prüfmöglichkeit. Notieren Sie Auslassungen, doppelte Textstellen, Probleme mit der Lesereihenfolge und veränderte Zeichen.
Das LangChain-Tutorial zur [Evaluation einer RAG-Anwendung](https://docs.langchain.com/langsmith/evaluate-rag-tutorial) behandelt das Erstellen von Testdatensätzen und das Ausführen einer RAG-Anwendung damit. Eine solche Evaluation unterscheidet sich von der Prüfung, wie eine bestimmte Anwendung Dokumente ausliest oder Dateiänderungen handhabt. Führen Sie deshalb die Tests zur Dokumentenverarbeitung als eigenen Testschritt durch.
- Erstellen Sie vor dem Upload für jede Beispieldatei eine kurze Liste der erwarteten Inhalte.
- Vergleichen Sie Quelle und extrahierte Inhalte, bevor Sie Such- oder Antworttests durchführen.
- Kennzeichnen Sie Extraktionsfehler getrennt von Fehlern beim Abruf oder bei der Antwort.
- Wenn sich die extrahierten Inhalte nicht prüfen lassen, fragen Sie den Anbieter nach verfügbaren Nachweisen oder Diagnoseverfahren.
Halten Sie Ergebnisse fest und legen Sie Akzeptanzkriterien fest
Eine nützliche Evaluationsdokumentation ist knapp, aber wiederholbar. Notieren Sie für jede Datei Quelle, Format, relevante Merkmale, Verarbeitungsergebnis, Beobachtungen zur Extraktion, Ergebnis für Metadaten, Tests des Dateilebenszyklus und etwaige Umgehungslösungen. Halten Sie außerdem die Anwendungskonfiguration und das Testdatum fest, damit sich ein späterer Durchlauf fair vergleichen lässt.
Definieren Sie Akzeptanzkriterien anhand Ihrer tatsächlichen Risiken. Ein Team kann beispielsweise die exakte Übernahme bestimmter Kennungen, nutzbaren Text aus einer festgelegten Klasse gescannter Seiten oder ein klares Verfahren zur Entfernung von Inhalten verlangen, wenn eine Quelle gelöscht wird. Formulieren Sie den Maßstab ausdrücklich, statt ein Verarbeitungsergebnis lediglich als „gut“ oder „schlecht“ zu bezeichnen.
Legen Sie fest, was geschieht, wenn eine Datei den Test nicht besteht. Zu den Möglichkeiten zählen, die Quelle auszuschließen, eine normalisierte Kopie vorzubereiten, einen manuellen Prüfschritt einzuführen oder eine andere Anwendung zu wählen. Wenn eine Umgehungslösung erforderlich ist, dokumentieren Sie, wer dafür verantwortlich ist und wie sie gepflegt wird.
- Testdatei und Quelle
- Erwartete Inhalte und Metadaten
- Beobachtete Extraktion sowie Auslassungen oder Verfälschungen
- Verhalten bei Duplikaten, Aktualisierungen und Löschungen
- Erkennbarkeit von Fehlern, Ergebnis von Wiederholungsversuchen und manuelle Eingriffe
- Bestanden, bedingt bestanden oder nicht bestanden – gemessen an einer schriftlich festgehaltenen Anforderung
Fragen, die in der Dokumentation oder durch einen direkten Test zu klären sind
Das Verhalten bei der Dokumentenverarbeitung ist anwendungsspezifisch. Suchen Sie in der aktuellen offiziellen Dokumentation nach Antworten und bestätigen Sie wichtige Anforderungen mit Ihrem eigenen Testsatz.
Fragen Sie nicht nur nach den aufgeführten Formaten, sondern auch danach, welche Verarbeitungsschritte stattfinden und welche Einschränkungen gelten. Klären Sie, ob OCR verfügbar ist, ob sie in Ihrer Umgebung ausgeführt wird oder einen externen Dienst einbezieht und welche Daten möglicherweise außerhalb Ihrer Bereitstellung übermittelt werden. Leiten Sie solche Details nicht aus einer Formatliste ab.
Bei selbst gehosteten Bereitstellungen sind nicht automatisch alle Fragen zum Umgang mit Daten geklärt, nur weil Sie die Anwendung selbst hosten. Bestätigen Sie den Verarbeitungspfad und die Abhängigkeiten und treffen Sie anschließend Entscheidungen zu Zugriff, Aufbewahrung und Governance, die zu Ihrer Organisation passen.
- Welche Dateitypen und konkreten Dokumentstrukturen sind laut Dokumentation unterstützt?
- Gibt es Beschränkungen bei Dateigröße, Seitenzahl, Stapelgröße, Verarbeitungszeit oder Sammlungsgröße?
- Ist OCR enthalten, optional oder von einer anderen Komponente beziehungsweise einem anderen Dienst abhängig?
- Werden Dokumentinhalte bei der Analyse, OCR oder sonstigen Verarbeitung an einen externen Dienst übermittelt?
- Können Sie extrahierten Text und Metadaten prüfen, und welche Diagnoseinformationen sind verfügbar?
- Welche Daten behält die Anwendung nach dem Entfernen einer Quelldatei, und welche Schritte sind erforderlich, um sie zu löschen?
Häufige Fragen
Was ist der Unterschied zwischen Dateiunterstützung und erfolgreicher Dokumentenverarbeitung?
Dateiunterstützung bedeutet in der Regel, dass eine Anwendung ein Format annimmt. Eine erfolgreiche Verarbeitung bedeutet, dass die Inhalte und relevanten Strukturen, die Ihr Team benötigt, extrahiert und nutzbar gemacht wurden. Testen Sie beides mit echten Beispielen, einschließlich schwieriger Dokumente.
Wie viele Dokumente sollte ein Testsatz für die RAG-Dokumentenverarbeitung enthalten?
Dafür gibt es keine allgemeingültige Zahl. Beginnen Sie mit einem überschaubaren Satz, der die wichtigen Quellen, Formate, Sprachen und Sonderfälle Ihrer Sammlung abdeckt. Entscheidend sind eine repräsentative Abdeckung und eine sorgfältige Prüfung, nicht eine große Stichprobe um ihrer selbst willen.
Wie kann ich OCR testen, ohne die Dokumentenverarbeitung mit der Antwortqualität zu verwechseln?
Wählen Sie gescannte Seiten aus und notieren Sie eine kurze Liste erwarteter Namen, Datumsangaben, Zahlen oder Textstellen. Prüfen Sie die extrahierten Inhalte, sofern verfügbar, oder nutzen Sie das vom Anbieter dokumentierte Diagnoseverfahren. Kontrollieren Sie die Erkennung direkt, bevor Sie Suchergebnisse oder generierte Antworten bewerten.
Sollte ich davon ausgehen, dass sich die verarbeiteten Inhalte automatisch aktualisieren, wenn eine Quelldatei geändert oder gelöscht wird?
Nein. Das Verhalten kann je nach Anwendung und Konfiguration variieren. Testen Sie geänderte und entfernte Dateien mit dem dokumentierten Verfahren und prüfen Sie anschließend, was mit den verarbeiteten Inhalten geschieht, bevor Sie sich bei wichtigen Materialien darauf verlassen.
Garantiert Selbsthosting, dass die Dokumentenverarbeitung in meiner Umgebung bleibt?
Allein aus dem Selbsthosting lässt sich das nicht ableiten. Prüfen Sie, ob Analyse, OCR oder andere Verarbeitung von externen Diensten abhängen, und bestätigen Sie, welche Dokumentdaten übermittelt und aufbewahrt werden.
Quellen und weiterführende Literatur
- Evaluate a RAG application — LangChain
- A complete guide to RAG evaluation — Evidently AI