InsightsArtículo · LLMOps

LLMOps: qué cambia cuando una llamada a un modelo llega a producción

Los prompts son lógica, la evaluación es una foto y ningún proveedor es para siempre. La disciplina operativa que necesita una llamada a un modelo en producción.

Un prompt determina el comportamiento y la calidad de un sistema tan directamente como el código, pero se lo suele tratar como un detalle de implementación: un string metido en algún lugar de la aplicación, sin historial de qué cambió y por qué, sin una forma fácil de revertir y sin manera de probar un cambio de forma aislada antes de que llegue a producción. Una vez que el sistema está en vivo, esa brecha deja de ser cosmética.

Los prompts son lógica, no strings

La solución básica es el control de versiones: los prompts viven en sus propios archivos y se siguen como cualquier otro cambio. La versión más madura desacopla por completo los cambios de prompt de los despliegues de código: cambiar una redacción no debería requerir un redeploy completo, sobre todo cuando quien itera sobre el prompt (un experto del dominio, un product manager) no es quien maneja el pipeline de despliegue.

Lo que hay que versionar es más amplio que el texto: el modelo, los parámetros (temperatura, máximo de tokens), los ejemplos few-shot y la configuración de recuperación y herramientas que corrió junto con esa llamada. El mismo texto de prompt puede comportarse distinto entre proveedores, o entre versiones del mismo modelo. Versionar solo el string es versionar la mitad. Y un historial de versiones sin evaluación asociada solo dice qué cambió, no si mejoró: cada cambio de prompt debería correr contra un conjunto de evaluación antes de integrarse, con la misma disciplina que correr los tests antes de integrar código.

La evaluación es una foto; el monitoreo es un video

Correr una suite de evaluación una vez, antes del lanzamiento, describe la calidad en ese momento y sobre esa muestra. No dice nada de lo que pasará dentro de un mes, cuando el tráfico incluya tipos de preguntas que el conjunto original nunca anticipó o los documentos de base hayan cambiado. El monitoreo continuo necesita cuatro cosas:

  • Una estrategia de muestreo. Evaluar el 100% del tráfico con un LLM como juez no es costeable: hay que muestrear de forma continua, dando más peso a los cambios recientes o a las respuestas de baja confianza.
  • Señales en línea baratas que no necesitan juez: pulgar arriba o abajo, si el usuario reformuló la pregunta enseguida, si exportó la respuesta.
  • Detección de deriva. ¿Se sostiene la fidelidad promedio de esta semana? ¿La distribución de preguntas entrantes sigue cerca de lo que representa el conjunto de evaluación?
  • Umbrales de alerta que conviertan una métrica en una acción: un rollback, un aviso a la guardia, no solo un dashboard que nadie mira.

El ciclo se cierra en el conjunto de evaluación offline: cada falla real que detecta el monitoreo tiene que sumarse a él; si no, el benchmark offline queda congelado en el momento en que se armó mientras producción sigue moviéndose.

Costo y latencia por llamada, no por factura

Un request tradicional cuesta más o menos lo mismo sin importar qué pidió el cliente. El costo de una llamada a un LLM varía muchísimo de un request a otro (tokens de entrada y salida, qué modelo, si corrió recuperación o reranking), y sin medirlo por llamada, etiquetado por funcionalidad y por usuario, el único número disponible es la factura total a fin de mes, que no responde nada sobre qué es lo que realmente sale caro.

La latencia necesita la misma granularidad: además de las etapas del pipeline (embeddings, recuperación, reranking, generación), las respuestas en streaming se dividen en tiempo hasta el primer token y latencia total, y la velocidad percibida sigue más al primer número que al segundo. Y cuando un solo pedido de un usuario dispara una cadena de llamadas a LLMs (un agente que llama a una herramienta, evalúa el resultado y vuelve a llamar), el número que importa para la economía del producto es el costo total de esa cadena, no el de cada llamada.

Nunca un solo proveedor

Fijar un único proveedor en el código es un punto único de falla, el mismo problema que cualquier otro sistema sin redundancia. Y la solución no es solo el failover: es, de entrada, derivar cada tarea al modelo adecuado según costo y complejidad, en lugar de pagar un modelo de primera línea para una clasificación simple. El fallback tiene un problema de taxonomía: un rate limit o un error 5xx vale la pena reintentarlo en otro lado; un rechazo del filtro de contenido normalmente no, porque probablemente vuelva a rebotar por el mismo motivo y solo suma latencia.

Un circuit breaker (dejar de llamar durante un tiempo a un proveedor que falla una y otra vez, en lugar de pagar el costo del fallback en cada request mientras está caído) es el mismo patrón que se usa en el resto de los sistemas distribuidos. Lo que sí es distinto de un failover de base de datos: cuando una réplica toma el lugar de otra, los datos son idénticos. Cuando una llamada a un LLM pasa a otro proveedor, no está garantizado que la respuesta sea equivalente (puede cambiar el formato, el tono o la corrección), así que una respuesta de fallback necesita su propia validación antes de llegar al usuario, no alcanza con que "la llamada a la API no dio error".

Los guardrails actúan antes de que salga la respuesta

Hay una diferencia real entre medir la fidelidad sobre una muestra, después de los hechos, y filtrar cada respuesta, en tiempo real, antes de que llegue al usuario. Un guardrail de producción corre un chequeo más liviano y rápido sobre cada respuesta (el LLM juez completo es demasiado caro para el 100% del tráfico) y bloquea o regenera si falla, y reserva el juez caro para el muestreo periódico.

Los datos sensibles se mueven en dos direcciones, y conviene defender cada una por separado. Hacia adentro: un usuario que pega información sensible en un prompt que sale del sistema hacia un proveedor externo. Hacia afuera, en un sistema con varios clientes: la recuperación que devuelve documentos privados de un cliente dentro de la respuesta a otro, una filtración que el aislamiento estructural en la base de datos previene de forma mucho más confiable que cualquier instrucción en el prompt.

Y la inyección de prompts tiene una variante propia de RAG que es fácil pasar por alto: instrucciones metidas dentro de un documento recuperado, no en lo que escribe el usuario. Si el sistema trata el contenido recuperado como algo a obedecer y no como algo a citar, ahí está la puerta abierta. La defensa duradera es de arquitectura: el contenido recuperado nunca tiene autoridad para cambiar el comportamiento, solo para ser citado. Es la misma disciplina que ya exige verificar las citas, y de paso cierra también esta brecha.

El contenido recuperado nunca tiene autoridad para cambiar el comportamiento, solo para ser citado.

Desplegar un prompt como se despliega código

Un cambio de prompt o de modelo tiene el mismo radio de impacto que un despliegue de código, pero rara vez se lo trata con el mismo rigor: un cambio de redacción muchas veces llega a todos los usuarios en el siguiente request, porque "es solo texto". El despliegue canary aplica el mismo mecanismo (derivar un porcentaje chico del tráfico, medir, ampliar) con una diferencia real: la señal de que algo se rompió no es rápida ni binaria como una caída o un pico de errores. Es estadística ("la fidelidad bajó de 94% a 89%") y necesita volumen y la misma metodología de evaluación corriendo específicamente sobre la porción canary.

El despliegue en sombra corre la versión nueva junto a la actual, sobre una copia del tráfico real, sin mostrarle su salida a nadie: cero riesgo para los usuarios, y cierra la brecha entre un conjunto de evaluación sintético y lo que la gente realmente pregunta, a cambio de duplicar el gasto en API mientras dura. Y el camino de rollback solo sirve si es rápido: volver a apuntar el tráfico a la versión anterior del prompt tiene que ser posible sin redeploy de código, que es justamente la razón por la que el versionado de prompts se desacopla del pipeline de despliegue. Lo ideal es conectarlo directamente a los umbrales de alerta del monitoreo, para que una regresión se revierta sola en lugar de esperar a que alguien la note.

Nada de esto es exótico: es la misma disciplina operativa que necesita cualquier sistema en producción, aplicada a un componente (una llamada a un modelo) que falla, deriva y cuesta plata de maneras en que un servicio típico no lo hace.

Compartí este insight

LinkedIn