A dónde se va el dinero
Un chatbot con IA tiene cuatro rubros de costo:
- Uso del modelo, que se cobra por token de entrada y de salida.
- Recuperación, si usas RAG: embeddings, una base de datos vectorial y su almacenamiento.
- Hosting para el código del bot, la base de datos y las colas.
- Cargos de la plataforma, donde existan. Las APIs de Telegram, Discord y Slack son gratuitas; la WhatsApp Business Platform cobra por mensaje según los precios de Meta.
En la mayoría de los bots domina el uso del modelo. Ahí hay que mirar primero.
La fórmula de tokens
Cada petición a un modelo de chat vuelve a enviar todo el contexto. Una petición típica contiene:
- el prompt de sistema,
- las definiciones de herramientas (esquemas de funciones), si el bot puede llamar herramientas,
- el historial de la conversación que incluyas,
- los documentos recuperados, en RAG,
- el mensaje nuevo del usuario,
y el modelo devuelve tokens de salida. Entonces:
costo por petición = tokens de entrada x precio de entrada + tokens de salida x precio de salida
costo mensual = costo por petición x peticiones por día x 30
La entrada y la salida suelen tener precios distintos, y la salida cuesta más por token. Consulta la página de precios de tu proveedor para ver las cifras actuales.
Un ejemplo (con tus propios precios)
Supón que un bot de soporte envía un prompt de sistema de 600 tokens, 400 tokens de esquemas de herramientas, los últimos 6 turnos del historial (unos 900 tokens), 1,200 tokens de fragmentos recuperados y una pregunta de 80 tokens, y recibe una respuesta de 250 tokens.
- Entrada: 600 + 400 + 900 + 1,200 + 80 = 3,180 tokens
- Salida: 250 tokens
Multiplica por los precios de tu modelo y por las peticiones diarias que esperas. Nuestro estimador de tokens y costos hace esta cuenta con precios editables y muestra qué parte de la petición domina.
Fíjate dónde están los tokens: la pregunta del usuario es menos del 3% de la entrada. Las partes fijas (prompt de sistema, esquemas, texto recuperado, historial) son lo que pagas en cada turno.
Las palancas que bajan la factura
- Prompts de sistema más cortos. Quita repeticiones y ejemplos que el modelo no necesita.
- Menos herramientas por petición. Envía solo las definiciones relevantes para el paso actual.
- Historial acotado. Usa una ventana deslizante o resume los turnos antiguos.
- Menos fragmentos, pero mejores. Una mejor recuperación permite enviar tres fragmentos en lugar de diez.
- Limita la longitud de la salida. Fija un máximo y pide respuestas concisas.
- Caché de prompts. Los principales proveedores ofrecen precios con descuento para prefijos de prompt repetidos. Pon primero el contenido estable (prompt de sistema, herramientas) para que pueda guardarse en caché. OpenAI aplica la caché automáticamente a prompts largos; Anthropic permite marcar los bloques que se pueden cachear.
- Procesamiento por lotes. El trabajo que no necesita respuesta inmediata (clasificar tickets, resumir logs) puede ir por APIs de lotes, que OpenAI y Anthropic ofrecen con descuento frente a las peticiones en tiempo real.
- Enruta según la dificultad. Un router de intents basado en reglas o un modelo pequeño puede atender saludos, preguntas frecuentes y comandos; envía al modelo grande solo las preguntas difíciles.
El hosting y lo demás
El bot en sí suele ser barato de alojar: un bot con webhooks en una plataforma serverless puede caber en un plan gratuito (consulta cómo mantener un bot en línea gratis). Presupuesta aparte la base de datos vectorial si usas RAG, los logs y el monitoreo, y los cargos por mensaje de WhatsApp si ese es tu canal.
Protege el presupuesto
- Configura límites de gasto y alertas en el panel de tu proveedor de modelos.
- Limita las peticiones por usuario para que una persona (o un script) no dispare tu factura.
- Pon un tope a los ciclos de herramientas en agentes: un número máximo de pasos por petición.
- Registra los tokens por petición para saber cuánto cuesta cada función.
Fuentes
- Precios de OpenAI: openai.com/api/pricing y caché de prompts: platform.openai.com/docs/guides/prompt-caching
- Batch API de OpenAI: platform.openai.com/docs/guides/batch
- Precios de Anthropic: anthropic.com/pricing y caché de prompts: docs.anthropic.com/en/docs/build-with-claude/prompt-caching
- Message Batches de Anthropic: docs.anthropic.com/en/docs/build-with-claude/batch-processing
- Precios de WhatsApp: developers.facebook.com/docs/whatsapp/pricing