RAG en producción: lo que no aparece en la demo
Indexar unos pocos documentos funciona en una demo. El chunking, la recuperación y la medición son lo que sostiene el uso real.

La mayoría de las demos de RAG tienen la misma forma: generar embeddings de algunos documentos, generar el embedding de una pregunta, similitud coseno y listo. Esa parte funciona lo bastante bien como para convencer en una demo, y es una fracción chica de lo que un sistema RAG necesita para sostenerse en el uso real, con documentos reales, preguntas reales y consecuencias reales cuando se equivoca.
Dónde viven los vectores
La respuesta honesta a "qué base vectorial usar" rara vez tiene que ver con cuál es la más rápida en un benchmark. Son cinco decisiones distintas que se evalúan juntas: cuánta RAM necesita un índice HNSW a tu escala real; si la búsqueda híbrida (palabras clave + vectores) tiene que ser nativa o se puede aproximar; si hay una ventaja relacional que vale la pena conservar (cruzar una búsqueda vectorial con el resto de tus datos, o usar seguridad a nivel de fila para aislar clientes en lugar de resolverlo en el código de la aplicación); cómo llegan realmente tus datos (las inserciones continuas favorecen HNSW, las cargas por lotes favorecen IVF); y el costo operativo de sumar un sistema nuevo frente a extender uno que ya operás. Postgres con pgvector alcanza para la mayoría de los sistemas hasta decenas de millones de vectores. La razón para ir más allá es un requisito concreto y con nombre (búsqueda híbrida nativa, o una escala realmente masiva), no la vaga sensación de que una base vectorial dedicada tiene que ser más "seria".
El chunking es una decisión de modelado de datos
Un fragmento mal cortado no es un problema cosmético: es lo que el modelo toma como verdad. Cortás una oración por la mitad, o separás un número de la fila de la tabla que le da sentido, y el modelo no tiene forma de recuperar ese contexto, porque no está en el texto que recibió. En un documento con estructura real, como un balance con tablas financieras, encabezados y etiquetas de fila, aplanar el HTML a texto plano sin cuidado convierte una tabla en una sopa de números, y cortar esa sopa por cantidad de tokens puede dejar el corte en medio de una fila: la cifra queda en un fragmento y el período al que corresponde, en el siguiente.
Un fragmento mal cortado no es un problema cosmético: es lo que el modelo toma como verdad.
La solución escala con el esfuerzo: marcar los fragmentos que contienen una tabla para que nunca se dividan por tamaño; renderizar las tablas como markdown para conservar la relación entre filas y columnas; o directamente extraerlas como datos estructurados cuando una pregunta necesita un número exacto y no una coincidencia aproximada. Nada de eso es opcional si los documentos tienen tablas. Y los metadatos (qué empresa, qué fecha, qué sección) tienen que viajar con cada fragmento; si no, nada impide que un fragmento de un documento se filtre en la respuesta sobre otro que casualmente se lee parecido.
Recuperación más allá de la búsqueda por similitud
La similitud coseno encuentra parecido semántico, no coincidencias exactas: un ticker, un nombre propio o un término específico se pueden perder si el espacio de embeddings no los representa de forma distinguible. La búsqueda híbrida corre un método léxico (BM25) junto con la búsqueda vectorial y combina los dos rankings, normalmente por posición y no por puntaje, porque los dos puntajes viven en escalas incomparables.
El reranking agrega una segunda pasada, más cara: un cross-encoder que evalúa la consulta junto con cada documento candidato, en lugar de por separado, y detecta relevancia que una búsqueda rápida y aproximada se pierde, sobre todo con contenido de fuentes distintas, donde los puntajes de similitud de una fuente no suelen ser comparables con los de otra. Y la transformación de la consulta (generar una respuesta hipotética y buscar por su embedding en lugar de por la pregunta tal cual) ayuda cuando la forma en que alguien pregunta y la forma en que está escrita la respuesta están más lejos, en vocabulario y estilo, de lo que una búsqueda directa por embeddings puede salvar. Ninguna de las tres reemplaza a la búsqueda por similitud: un sistema de recuperación maduro las combina en capas.
Medir en lugar de adivinar
"Probé algunas preguntas a mano" no escala ni es reproducible. Cambiás el tamaño de los fragmentos, el modelo de embeddings o agregás reranking, y no hay una respuesta real sobre si mejoró: solo una impresión, normalmente formada al volver a probar los casos fáciles que ya se sabía que funcionaban. La evaluación de RAG a nivel producción separa dos preguntas que fallan de forma independiente: si la recuperación trajo el material correcto (precisión y exhaustividad del contexto) y si la generación se mantuvo fiel a ese material (fidelidad y relevancia de la respuesta). Un sistema puede acertar en una y fallar en la otra.
Todo esto corre con un LLM como juez, porque no hay una fórmula para "fiel" como la hay para la coincidencia exacta, y el juez tiene su propia tasa de error: conviene recordarlo antes de dar por real una diferencia chica entre dos variantes. El conjunto de evaluación nunca está terminado. Empieza como una selección curada de unas pocas decenas de preguntas reales con respuestas conocidas, y crece cada vez que producción revela una falla real, incluidos los casos, fáciles de olvidar, en los que la respuesta correcta es "no tengo esa información". Sin probar contra esos casos no hay forma de saber si el sistema inventa en silencio cuando debería decirlo.
Lo que producción agrega y los tutoriales omiten
Regenerar embeddings es un costo fácil de subestimar: reprocesar un documento (un cambio de chunking, un bug corregido, un modelo de embeddings nuevo) implica regenerar todos los fragmentos, no solo los nuevos, porque los vectores de modelos distintos no son comparables entre sí. El reranking es la partida de latencia que más sorprende, porque un cross-encoder corre una vez por documento candidato en cada consulta y no se paraleliza tan fácil como la búsqueda vectorial inicial. Y cambiar el índice (un modelo nuevo, otro chunking) no es una inserción incremental: es reprocesar todo el historial. Eso significa que dos "generaciones" del mismo documento pueden convivir a mitad de la migración, salvo que la versión nueva se construya en paralelo y se reemplace de forma atómica, validada contra consultas conocidas antes de que la toque el tráfico de producción.
La trazabilidad cierra el ciclo: una marca de cita en la respuesta no garantiza que la afirmación esté respaldada por esa fuente. Verificarlo requiere que el modelo cite algo comprobable (una frase exacta de la fuente) y un chequeo aparte, programático, de que esa frase y esos números existen realmente en el fragmento. Saltearse ese segundo paso es peor que no citar: da la apariencia de algo verificable sin la sustancia.
Nada de esto aparece en una demo armada con un puñado de documentos limpios y unas pocas preguntas amables. Aparece la primera vez que un documento real tiene una tabla, que un usuario real pregunta algo que el conjunto de evaluación no anticipó, o que un cambio de chunking tiene que salir sin corromper lo que ya está atendiendo tráfico.
Compartí este insight