¿Puede tu aplicación RAG procesar los documentos que realmente utilizas? Lista de verificación
Una lista de formatos de archivo no permite saber si una aplicación RAG extrae correctamente tus documentos reales. Crea un conjunto de pruebas representativo, inspecciona el contenido ingerido y verifica cómo se gestionan las actualizaciones, las eliminaciones y los errores.
Por qué no basta con que se anuncie la compatibilidad con ciertos formatos
Una lista de compatibilidad responde a una pregunta concreta: ¿puede la aplicación aceptar un archivo con una extensión determinada? No te dice si el contenido que tu equipo necesita se extraerá completo y en un formato utilizable.
Un PDF puede contener texto seleccionable, imágenes de páginas escaneadas, tablas complejas o una combinación de todo ello. Por eso, dos archivos con la misma extensión pueden requerir pruebas de ingesta distintas. Considera que la indicación «compatible» es una razón para probar un formato, no una prueba de que tus documentos estén listos para la búsqueda.
Centra esta evaluación en qué contenido y metadatos entran en el sistema, qué se omite o modifica y qué ocurre cuando cambian los archivos de origen. Evalúa por separado la calidad de las respuestas y la atribución de las fuentes.
- Prueba documentos reales de los equipos y repositorios que prevés utilizar.
- Distingue entre «se aceptó la carga» y «el contenido se extrajo correctamente».
- Registra si cada prueba evalúa la aceptación del archivo, la extracción, los metadatos o el comportamiento durante el ciclo de vida del archivo.
Prepara un conjunto de pruebas pequeño y representativo
Empieza con un conjunto pequeño que refleje tus fuentes documentales, en lugar de reunir muchos archivos de muestra fáciles de conseguir. Incluye ejemplos corrientes y archivos problemáticos en los que el personal realmente se apoya. Un conjunto acotado facilita la inspección de los resultados y la repetición de las mismas comprobaciones tras cambiar la configuración.
Incluye documentos con estructuras y procedencias diversas. Para las páginas escaneadas, utiliza archivos cuyo texto solo esté presente como imagen. Para las tablas, elige ejemplos en los que importe la relación entre encabezados, filas y valores. Añade documentos extensos y con varias secciones para comprobar si se pierde contenido o aparece en un orden inesperado.
Guarda junto a los archivos un manifiesto sencillo con el contenido esperado, los campos importantes, el idioma, la estructura y cualquier particularidad conocida. Así, quienes revisen los resultados tendrán una referencia para comparar el contenido ingerido.
- Archivos habituales de cada fuente importante y de los tipos de archivo más comunes.
- Páginas escaneadas, documentos con muchas imágenes y PDF que combinan texto e imágenes.
- Tablas, formularios, encabezados, pies de página, diseños en varias columnas y documentos con listas.
- Documentos cortos y extensos, incluidos ejemplos con varias secciones.
- Los idiomas, las convenciones de nomenclatura y los patrones de metadatos presentes en tu colección real.
Comprueba la calidad de la extracción: texto, estructura, metadatos y OCR
Compara el contenido ingerido con el original de cada archivo de prueba. Comprueba si aparece el texto clave, si el orden de lectura tiene sentido y si los encabezados y los límites entre secciones siguen siendo reconocibles. Presta atención a los valores cuyo significado depende de etiquetas cercanas, como una entrada de tabla bajo un encabezado de columna concreto.
Para el material escaneado, comprueba si se extrae texto y si los errores de reconocimiento alteran nombres, fechas, identificadores o cifras. No des por sentado que se ha aplicado OCR solo porque la carga se completó correctamente. Confírmalo en la documentación de la aplicación o inspeccionando el contenido resultante.
Comprueba los metadatos por separado del texto principal. Según tu caso de uso, pueden ser útiles el nombre del archivo, la ubicación de origen, la fecha del documento, el idioma o un identificador interno. Determina qué campos se conservan, cuáles puedes proporcionar o editar y cuáles no están disponibles.
- ¿Puedes inspeccionar o exportar el contenido extraído de un archivo de prueba?
- ¿Están presentes los párrafos clave y son legibles y están en un orden lógico?
- ¿Se mantienen asociados los encabezados de las tablas con los valores correctos?
- ¿El OCR reconoce nombres, fechas, cifras e identificadores importantes con suficiente precisión para tu caso de uso?
- ¿Qué campos de metadatos se conservan durante la ingesta y puedes distinguir después los archivos similares?
Prueba los duplicados, las actualizaciones y las eliminaciones
Las colecciones de documentos cambian. Prueba expresamente el ciclo de vida de los archivos en una copia de prueba sin riesgo y registra lo que muestra la aplicación antes y después de cada acción.
Ingiere dos veces el mismo archivo y, después, dos archivos distintos con nombres parecidos o contenido coincidente. La aplicación puede comportarse de manera diferente en cada caso; el objetivo es determinar qué hace, no dar por sentado que detecta o combina duplicados.
A continuación, cambia una frase o un valor distintivo en un documento de prueba e ingiere el archivo actualizado. Comprueba si se conserva el contenido antiguo, si aparece el nuevo y si puedes saber qué versión está activa. Luego elimina el archivo de origen siguiendo el procedimiento documentado y comprueba si también se elimina el contenido ingerido o si se gestiona de otra forma, según lo exija tu política.
- Carga dos veces el mismo archivo exacto y registra si se crea uno o varios elementos ingeridos.
- Prueba un archivo actualizado con el mismo nombre y otro actualizado con un nombre distinto.
- Comprueba cómo distingue la aplicación dos documentos con nombres parecidos.
- Tras una actualización, verifica qué versión del contenido queda disponible.
- Tras una eliminación, verifica qué ocurre con el contenido ingerido y los metadatos asociados.
Observa los errores, los reintentos y las finalizaciones parciales
Incluye al menos un archivo que esperes que cause dificultades, como un archivo dañado o una variante inesperada de un formato habitual, si puedes hacerlo de forma segura. Observa el proceso completo en lugar de limitarte a comprobar si la pantalla de carga aceptó el archivo.
Registra lo que muestra la aplicación cuando la ingesta falla o parece incompleta. Puede haber señales útiles, como un estado, un mensaje de error, una entrada de registro o una indicación de que el procesamiento sigue en curso. La disponibilidad y el nivel de detalle varían según la aplicación: compruébalo mediante una prueba.
Si la aplicación ofrece una opción para reintentar o volver a procesar, pruébala con una copia y anota si reanuda el proceso, lo empieza de nuevo o crea un segundo elemento. Determina también si un lote puede completarse parcialmente y cómo identificar los archivos que requieren atención.
- ¿Puedes distinguir los elementos en cola, en proceso, completados y fallidos, si la aplicación muestra esos estados?
- ¿El error identifica el archivo y aporta suficiente información para decidir qué probar a continuación?
- ¿Puedes reintentar un elemento fallido y queda claro el resultado?
- Si un lote se completa parcialmente, ¿puedes identificar los archivos terminados y los pendientes?
- ¿Pueden los administradores consultar los registros pertinentes u otra información de diagnóstico?
Compara el contenido extraído antes de evaluar la recuperación
Cuando un resultado de búsqueda parece incorrecto, la causa podría estar en la ingesta, en la configuración de recuperación o en otro factor. Inspeccionar el contenido ingerido ayuda a distinguir esas posibilidades: si un párrafo clave o el valor de una tabla nunca llegó al contenido indexado, cambiar los ajustes de respuesta no hará que aparezca el texto de origen que falta.
Elige de antemano algunos pasajes o valores distintivos de cada documento de prueba. Después de la ingesta, localízalos en el contenido extraído o mediante el mecanismo de inspección más parecido que ofrezca la aplicación. Registra omisiones, texto duplicado, problemas con el orden de lectura y caracteres alterados.
El tutorial de LangChain sobre [cómo evaluar una aplicación RAG](https://docs.langchain.com/langsmith/evaluate-rag-tutorial) explica cómo crear conjuntos de datos de prueba y ejecutar una aplicación RAG con ellos. Esa evaluación no sustituye las pruebas específicas de cómo una aplicación analiza documentos o gestiona cambios en los archivos.
- Antes de cargar cada archivo de muestra, prepara una lista breve del contenido esperado.
- Compara el contenido de origen con el extraído antes de probar la búsqueda o las respuestas.
- Registra por separado los defectos de extracción y los de recuperación o respuesta.
- Si no se puede inspeccionar el contenido extraído, pregunta al proveedor qué pruebas o métodos de diagnóstico hay disponibles.
Registra los resultados y establece criterios de aceptación
Un registro de evaluación útil es breve, pero permite repetir las pruebas. Para cada archivo, anota su fuente, formato, características relevantes, resultado de la ingesta, observaciones sobre la extracción, resultado de los metadatos, pruebas del ciclo de vida y cualquier solución alternativa. Registra también la configuración de la aplicación y la fecha de la prueba para poder comparar los resultados más adelante.
Define los criterios de aceptación en función de tus riesgos reales. Por ejemplo, un equipo puede exigir la conservación exacta de determinados identificadores, texto utilizable de una categoría definida de páginas escaneadas o un proceso claro para eliminar contenido cuando se borra un archivo de origen. Especifica el estándar en lugar de calificar el resultado simplemente como «bueno» o «malo».
Decide qué hacer si un archivo no supera la prueba. Algunas opciones pueden ser excluir esa fuente, preparar una copia normalizada, añadir un paso de revisión manual o elegir otra aplicación. Si se necesita una solución alternativa, documenta quién se encarga de ella y cómo se mantendrá.
- Archivo de prueba y fuente.
- Contenido y metadatos esperados.
- Extracción observada y cualquier omisión o distorsión.
- Comportamiento ante duplicados, actualizaciones y eliminaciones.
- Visibilidad de errores, resultado de los reintentos e intervención manual.
- Aprobado, aprobado con condiciones o no aprobado según un requisito escrito.
Preguntas que debes resolver consultando la documentación o haciendo una prueba directa
El comportamiento de la ingesta depende de cada aplicación. Busca respuestas en la documentación oficial vigente y confirma los requisitos importantes con tu propio conjunto de pruebas.
Pregunta no solo qué formatos aparecen en la lista, sino también qué procesamiento se lleva a cabo y qué límites se aplican. Aclara si hay OCR, si se ejecuta dentro de tu entorno o si interviene un servicio externo, y qué datos podrían salir de tu despliegue. No deduzcas estos detalles a partir de una lista de formatos.
En los despliegues autogestionados, alojar la aplicación por tu cuenta no resuelve automáticamente todas las cuestiones sobre el tratamiento de datos. Confirma el flujo de procesamiento y sus dependencias; después, toma decisiones sobre acceso, conservación y gobernanza que se ajusten a tu organización.
- ¿Qué tipos de archivo y estructuras documentales concretas se indican como compatibles?
- ¿Hay límites de tamaño de archivo, número de páginas, tamaño de lote, tiempo de procesamiento o tamaño de la colección?
- ¿El OCR está incluido, es opcional o depende de otro componente o servicio?
- ¿El análisis, el OCR u otro procesamiento envía el contenido de los documentos a un servicio externo?
- ¿Puedes inspeccionar el texto extraído y los metadatos? ¿Qué información de diagnóstico está disponible?
- ¿Qué conserva la aplicación después de eliminar un archivo de origen y qué pasos son necesarios para borrarlo?
Preguntas frecuentes
¿Qué diferencia hay entre la compatibilidad con un archivo y una ingesta correcta del documento?
La compatibilidad suele indicar que la aplicación acepta un formato. Una ingesta correcta significa que el contenido y la estructura relevante para tu equipo se extrajeron y quedaron disponibles. Comprueba ambas cosas con ejemplos reales, incluidos documentos difíciles.
¿Cuántos documentos debería incluir un conjunto de pruebas de ingesta RAG?
No existe una cifra universal. Empieza con un conjunto manejable que cubra las fuentes, los formatos, los idiomas y los casos límite importantes de tu colección. El objetivo es obtener una cobertura representativa e inspeccionar los resultados, no reunir una muestra grande porque sí.
¿Cómo puedo probar el OCR sin confundir la ingesta con la calidad de las respuestas?
Elige páginas escaneadas con una lista breve de nombres, fechas, cifras o frases esperados. Inspecciona el contenido extraído, si está disponible, o utiliza el método de diagnóstico que documente el proveedor. Comprueba el reconocimiento antes de evaluar los resultados de búsqueda o las respuestas generadas.
¿Debo suponer que un archivo de origen actualizado o eliminado actualizará automáticamente el contenido ingerido?
No. El comportamiento puede variar según la aplicación y la configuración. Sigue el procedimiento documentado y verifica el resultado en una copia de prueba antes de confiar en el proceso para materiales importantes.
¿Alojar la aplicación por mi cuenta garantiza que el procesamiento de documentos permanezca en mi entorno?
No se puede llegar a esa conclusión solo porque la aplicación esté autogestionada. Comprueba si el análisis, el OCR u otros procesos dependen de servicios externos y confirma qué datos de los documentos se envían y se conservan.
Fuentes y lecturas adicionales
- Evaluate a RAG application — LangChain
- A complete guide to RAG evaluation — Evidently AI