InsightsArtículo · Ingeniería de IA

Cómo evaluar modelos de embeddings: una guía práctica

Un ranking público es un buen lugar para empezar a elegir un modelo de embeddings, y un mal lugar para terminar.

Un ranking público es un buen lugar para empezar a elegir un modelo de embeddings, y un mal lugar para terminar. Benchmarks como MTEB promedian el rendimiento en decenas de tareas y dominios: recuperación, clasificación y clustering, sobre noticias, código y texto web general. Un modelo que figura cerca del primer puesto en el total puede rendir peor, en silencio, justo en lo único que importa: la calidad de recuperación sobre tu propio corpus, con el vocabulario de tu dominio. Un modelo entrenado sobre todo con texto web general no necesariamente representa bien balances financieros, historias clínicas o contratos legales, y un buen puntaje promedio no deja ver esa brecha.

Qué cambia realmente entre modelos

La dimensionalidad es la primera diferencia práctica (entre 384 y 3072 dimensiones según el modelo) y no es gratis: cada dimensión es almacenamiento y memoria de índice multiplicados por la cantidad de fragmentos del corpus, y afecta la velocidad de búsqueda a escala. El costo por token varía en un orden de magnitud o más entre los modelos de embeddings más chicos y más grandes de un mismo proveedor, y alojar un modelo open source propio (BGE, E5 y similares) cambia la factura por token por el costo de inferencia en GPU y el trabajo operativo de mantenerlo: no es gratis, es otro tipo de costo.

Los límites de la ventana de contexto también difieren: algunos modelos truncan mucho antes de un fragmento completo y otros manejan varios miles de tokens sin problema, algo que importa directamente para la estrategia de chunking que esté antes. Y solo los modelos open source se pueden ajustar con tus propios datos etiquetados: un modelo propietario por API queda fijo en lo que entregó el proveedor, para bien o para mal.

Armar un entorno de evaluación en lugar de confiar en un ranking

La única evaluación que responde de verdad "qué modelo nos sirve" corre los modelos candidatos sobre el mismo corpus, el mismo chunking y el mismo conjunto de consultas, cambiando solo el modelo de embeddings, para que cualquier diferencia en los resultados se pueda atribuir a esa única variable. Eso necesita un conjunto etiquetado: pares de una consulta real y el documento (o fragmento) que realmente la responde. Es el mismo requisito de "la verdad tiene que salir de algo real" con el que se cruza cualquier evaluación, curado por alguien que conoce el dominio y no generado haciendo que un modelo se califique a sí mismo.

Con eso, las métricas que importan miden si el documento correcto se encontró, no la calidad de una respuesta generada: recall@k (si el documento correcto está entre los primeros k resultados) y métricas sensibles a la posición como MRR o NDCG, que además penalizan una respuesta correcta enterrada en el puesto 40 frente a una que aparece en el puesto 2. Esto está antes de las métricas de calidad de generación (fidelidad, relevancia de la respuesta), que importan una vez que la recuperación ya funcionó: un modelo puede ser excelente generando y aun así fallar si la recuperación nunca encontró la fuente correcta.

El costo no es solo el precio por token

El costo de ingesta es el número que se presupuesta y el que se repite: generar los embeddings de todo un corpus no es un gasto único si cambia el chunking, se corrige un bug en la extracción o el corpus sigue creciendo. Cada reprocesamiento vuelve a generar todo, no solo lo que cambió, porque no está garantizado que los vectores de corridas distintas (en algunos casos, ni siquiera del mismo modelo) sean comparables.

El costo de generar el embedding de cada consulta es menor por request, pero escala con el tráfico, y alojar el modelo propio cambia toda la estructura de costos: de una factura por token predecible a una infraestructura que hay que dimensionar, monitorear y mantener disponible. Es una decisión real, no una mejora gratis solo porque saca una línea de la factura de un proveedor.

Cuándo vale la pena cambiar

Migrar de modelo de embeddings nunca es un cambio de configuración: es regenerar todo el corpus, porque los vectores de dos modelos distintos no viven en un espacio comparable y no se pueden mezclar en el mismo índice. Eso hace que cambiar tenga un costo real, así que conviene decidirlo con cuidado: correr el mismo entorno de evaluación contra el modelo candidato, sobre el mismo corpus, y cambiar cuando hay una brecha medida y significativa en recall o en calidad de ranking sobre consultas reales, no porque un modelo nuevo encabezó un ranking público este mes.

El modelo que gana en un benchmark de propósito general y el que gana sobre un corpus específico muchas veces no son el mismo.

La única forma de saber en qué situación estás es medirlo directamente.

Compartí este insight

LinkedIn