InsightsArtigo · Engenharia de IA

Como avaliar modelos de embeddings: um guia prático

Um ranking público é um bom lugar para começar a escolher um modelo de embeddings, e um mau lugar para parar.

Um ranking público é um bom lugar para começar a escolher um modelo de embeddings, e um mau lugar para parar. Benchmarks como o MTEB tiram a média do desempenho em dezenas de tarefas e domínios: recuperação, classificação e clustering, sobre notícias, código e texto geral da web. Um modelo que aparece perto do topo no total pode render pior, em silêncio, justamente no que importa: a qualidade de recuperação no seu próprio corpus, com o vocabulário do seu domínio. Um modelo treinado principalmente com texto geral da web não representa necessariamente bem relatórios financeiros, prontuários médicos ou contratos jurídicos, e uma boa pontuação média não deixa ver essa lacuna.

O que realmente muda entre modelos

A dimensionalidade é a primeira diferença prática (entre 384 e 3072 dimensões, conforme o modelo) e não sai de graça: cada dimensão é armazenamento e memória de índice multiplicados pela quantidade de trechos do corpus, e afeta a velocidade de busca em escala. O custo por token varia uma ordem de grandeza ou mais entre os modelos de embeddings menores e maiores de um mesmo provedor, e hospedar um modelo open source próprio (BGE, E5 e similares) troca a fatura por token pelo custo de inferência em GPU e pelo trabalho operacional de mantê-lo: não é de graça, é outro tipo de custo.

Os limites da janela de contexto também variam: alguns modelos truncam muito antes de um trecho completo e outros lidam com vários milhares de tokens sem problema, o que importa diretamente para a estratégia de chunking que vem antes. E só os modelos open source podem ser ajustados com os seus próprios dados rotulados: um modelo proprietário via API fica fixo no que o provedor entregou, para o bem ou para o mal.

Montar um ambiente de avaliação em vez de confiar num ranking

A única avaliação que responde de verdade "qual modelo nos serve" roda os modelos candidatos sobre o mesmo corpus, o mesmo chunking e o mesmo conjunto de consultas, mudando só o modelo de embeddings, para que qualquer diferença nos resultados possa ser atribuída a essa única variável. Isso exige um conjunto rotulado: pares de uma consulta real e o documento (ou trecho) que de fato a responde. É o mesmo requisito de "a verdade precisa vir de algo real" que qualquer avaliação encontra, curado por alguém que conhece o domínio, e não gerado fazendo um modelo avaliar a si mesmo.

Com isso, as métricas que importam medem se o documento certo foi encontrado, não a qualidade de uma resposta gerada: recall@k (se o documento certo está entre os primeiros k resultados) e métricas sensíveis à posição, como MRR ou NDCG, que além disso penalizam uma resposta certa enterrada na posição 40 em relação a uma que aparece na posição 2. Isso vem antes das métricas de qualidade de geração (fidelidade, relevância da resposta), que importam quando a recuperação já funcionou: um modelo pode ser excelente gerando e, ainda assim, falhar se a recuperação nunca encontrou a fonte certa.

O custo não é só o preço por token

O custo de ingestão é o número que entra no orçamento e o que se repete: gerar os embeddings de um corpus inteiro não é um gasto único se o chunking muda, se um bug é corrigido na extração ou se o corpus continua crescendo. Cada reprocessamento gera tudo de novo, não só o que mudou, porque não há garantia de que vetores de execuções diferentes (em alguns casos, nem do mesmo modelo) sejam comparáveis.

O custo de gerar o embedding de cada consulta é menor por requisição, mas escala com o tráfego, e hospedar o modelo próprio muda toda a estrutura de custos: de uma fatura por token previsível para uma infraestrutura que precisa ser dimensionada, monitorada e mantida disponível. É uma escolha real, não uma melhoria de graça só porque tira um item da fatura de um fornecedor.

Quando vale a pena trocar

Migrar de modelo de embeddings nunca é uma mudança de configuração: é gerar de novo o corpus inteiro, porque os vetores de dois modelos diferentes não vivem num espaço comparável e não podem ser misturados no mesmo índice. Isso faz com que trocar tenha um custo real, então vale decidir com cuidado: rodar o mesmo ambiente de avaliação contra o modelo candidato, sobre o mesmo corpus, e trocar quando há uma diferença medida e significativa em recall ou em qualidade de ranking com consultas reais, não porque um modelo novo liderou um ranking público este mês.

O modelo que vence num benchmark de propósito geral e o que vence num corpus específico muitas vezes não são o mesmo.

O único jeito de saber em que situação você está é medir diretamente.

Compartilhe este insight

LinkedIn