RAG em produção: o que não aparece na demo
Indexar alguns documentos funciona numa demo. Chunking, recuperação e medição são o que sustenta o uso real.

A maioria das demos de RAG tem o mesmo formato: gerar embeddings de alguns documentos, gerar o embedding de uma pergunta, similaridade de cosseno e pronto. Essa parte funciona bem o bastante para convencer numa demo, e é uma fração pequena do que um sistema RAG precisa para se sustentar no uso real, com documentos reais, perguntas reais e consequências reais quando erra.
Onde ficam os vetores
A resposta honesta para "qual banco vetorial usar" raramente tem a ver com qual é o mais rápido num benchmark. São cinco decisões distintas, avaliadas em conjunto: quanta RAM um índice HNSW precisa na sua escala real; se a busca híbrida (palavras-chave + vetores) precisa ser nativa ou pode ser aproximada; se existe uma vantagem relacional que vale a pena manter (cruzar uma busca vetorial com o resto dos seus dados, ou usar segurança em nível de linha para isolar clientes em vez de resolver isso no código da aplicação); como os seus dados realmente chegam (inserções contínuas favorecem HNSW, cargas em lote favorecem IVF); e o custo operacional de adicionar um sistema novo em vez de estender um que você já opera. Postgres com pgvector basta para a maioria dos sistemas até dezenas de milhões de vetores. O motivo para ir além é um requisito concreto e com nome (busca híbrida nativa, ou uma escala realmente massiva), não a vaga sensação de que um banco vetorial dedicado precisa ser mais "sério".
Chunking é uma decisão de modelagem de dados
Um trecho mal cortado não é um problema cosmético: é o que o modelo trata como verdade. Corte uma frase ao meio, ou separe um número da linha da tabela que lhe dá sentido, e o modelo não tem como recuperar esse contexto, porque ele não está no texto que recebeu. Num documento com estrutura real, como um relatório com tabelas financeiras, cabeçalhos e rótulos de linha, achatar o HTML para texto puro sem cuidado transforma uma tabela numa sopa de números, e cortar essa sopa por quantidade de tokens pode deixar o corte no meio de uma linha: o valor fica num trecho e o período a que ele pertence, no seguinte.
Um trecho mal cortado não é um problema cosmético: é o que o modelo trata como verdade.
A solução escala com o esforço: marcar os trechos que contêm uma tabela para que nunca sejam divididos por tamanho; renderizar as tabelas como markdown para preservar a relação entre linhas e colunas; ou extraí-las diretamente como dados estruturados quando uma pergunta precisa de um número exato, e não de uma correspondência aproximada. Nada disso é opcional se os documentos têm tabelas. E os metadados (qual empresa, qual data, qual seção) precisam viajar com cada trecho; caso contrário, nada impede que um trecho de um documento vaze para a resposta sobre outro que, por acaso, se lê de forma parecida.
Recuperação além da busca por similaridade
A similaridade de cosseno encontra semelhança semântica, não correspondências exatas: um ticker, um nome próprio ou um termo específico podem se perder se o espaço de embeddings não os representa de forma distinta. A busca híbrida roda um método léxico (BM25) junto com a busca vetorial e combina os dois rankings, normalmente pela posição e não pela pontuação, porque as duas pontuações vivem em escalas incomparáveis.
O reranking acrescenta uma segunda passada, mais cara: um cross-encoder que avalia a consulta junto com cada documento candidato, em vez de separadamente, e capta relevância que uma busca rápida e aproximada deixa passar, sobretudo com conteúdo de fontes diferentes, onde as pontuações de similaridade de uma fonte costumam não ser comparáveis com as de outra. E a transformação da consulta (gerar uma resposta hipotética e buscar pelo embedding dela, em vez da pergunta como veio) ajuda quando o jeito como alguém pergunta e o jeito como a resposta está escrita estão mais distantes, em vocabulário e estilo, do que uma busca direta por embeddings consegue cobrir. Nenhuma das três substitui a busca por similaridade: um sistema de recuperação maduro as combina em camadas.
Medir em vez de adivinhar
"Testei algumas perguntas na mão" não escala nem é reproduzível. Você muda o tamanho dos trechos, o modelo de embeddings ou acrescenta reranking, e não há uma resposta real sobre se melhorou: só uma impressão, normalmente formada ao testar de novo os casos fáceis que já se sabia que funcionavam. A avaliação de RAG em nível de produção separa duas perguntas que falham de forma independente: se a recuperação trouxe o material certo (precisão e cobertura do contexto) e se a geração permaneceu fiel a esse material (fidelidade e relevância da resposta). Um sistema pode acertar uma e falhar na outra.
Tudo isso roda com um LLM como juiz, porque não existe uma fórmula para "fiel" como existe para a correspondência exata, e o próprio juiz tem a sua taxa de erro: vale lembrar disso antes de tomar como real uma diferença pequena entre duas variantes. O conjunto de avaliação nunca está pronto. Ele começa como uma seleção curada de algumas dezenas de perguntas reais com respostas conhecidas e cresce cada vez que a produção revela uma falha real, incluindo os casos, fáceis de esquecer, em que a resposta correta é "não tenho essa informação". Sem testar contra esses casos, não há como saber se o sistema inventa em silêncio quando deveria dizer isso.
O que a produção acrescenta e os tutoriais omitem
Gerar os embeddings de novo é um custo fácil de subestimar: reprocessar um documento (uma mudança de chunking, um bug corrigido, um modelo de embeddings novo) significa gerar de novo todos os trechos, não só os novos, porque vetores de modelos diferentes não são comparáveis entre si. O reranking é o item de latência que mais surpreende, porque um cross-encoder roda uma vez por documento candidato em cada consulta e não se paraleliza tão facilmente quanto a busca vetorial inicial. E mudar o índice (um modelo novo, outro chunking) não é uma inserção incremental: é reprocessar todo o histórico. Isso significa que duas "gerações" do mesmo documento podem conviver no meio da migração, a menos que a versão nova seja construída em paralelo e trocada de forma atômica, validada contra consultas conhecidas antes que o tráfego de produção a toque.
A rastreabilidade fecha o ciclo: uma marca de citação na resposta não garante que a afirmação esteja respaldada por aquela fonte. Verificar isso exige que o modelo cite algo checável (uma frase exata da fonte) e uma verificação separada, programática, de que essa frase e esses números realmente existem no trecho. Pular esse segundo passo é pior do que não citar: dá a aparência de algo verificável sem a substância.
Nada disso aparece numa demo montada com um punhado de documentos limpos e algumas perguntas amigáveis. Aparece na primeira vez que um documento real tem uma tabela, que um usuário real pergunta algo que o conjunto de avaliação não previu, ou que uma mudança de chunking precisa entrar em produção sem corromper o que já está atendendo tráfego.
Compartilhe este insight