Presupuesto de inferencia: enruta antes de promptear
Cada petición cuesta dinero y milisegundos. Define el presupuesto primero y deja que el presupuesto elija el modelo, no al revés.
El modelo no es la arquitectura
La mayoría de integraciones con LLMs empiezan eligiendo modelo y terminan descubriendo el costo en la factura. Invierte el orden: cada endpoint de tu sistema declara un presupuesto (por ejemplo, 800 ms de p95 y 0,002 € por petición) y el presupuesto decide qué modelo atiende cada caso. El modelo es un detalle de ejecución; el presupuesto es diseño.
Mide antes de optimizar
Sin telemetría de inferencia vas a ciegas. Registra por proveedor, modelo y endpoint: tokens de entrada y salida, latencia p50 y p99, tasa de error y costo imputado. Con dos semanas de datos reales sabrás qué porcentaje de tus peticiones necesita de verdad el modelo grande. En la práctica suele ser menos del 20%.
Routing por niveles
El patrón que usamos en producción (SynthHires orquesta diez proveedores sobre el Vercel AI SDK, con OpenRouter como red de seguridad):
- Nivel base: el modelo pequeño y barato atiende todo por defecto.
- Escalado por señales: subes al modelo grande solo con motivo (confianza baja, entrada larga, tarea marcada como crítica, reintento tras un fallo).
- Fallback encadenado: si un proveedor cae o devuelve 429, la petición salta al siguiente sin que el usuario lo note. Sin esto, tu disponibilidad es la de tu proveedor más débil.
Caché y streaming
Lo repetido (saludos, plantillas, FAQs) se responde de caché exacta sin tocar ningún modelo. Para lo casi repetido, una caché semántica por embeddings recupera respuestas anteriores si la similitud supera tu umbral. Y todo lo que tarde más de un segundo responde en streaming: la latencia percibida cae aunque la real no se mueva.
Ejercicio
Toma un endpoint real tuyo y escribe su presupuesto en una línea: p95 objetivo, costo máximo por petición y qué ocurre si se supera (degradar, encolar o fallar en voz alta). Si no puedes escribirlo, todavía no tienes diseño: tienes un prompt con infraestructura alrededor.
En la próxima lección: dónde viven las API keys cuando cada usuario trae las suyas.