Estimación
En qué se van los tokens de un chatbot
Cada petición reenvía el prompt de sistema, las definiciones de herramientas y el historial incluido, así que una conversación larga sale más cara en cada turno. Lo que más ahorra suele ser un prompt de sistema más corto, una ventana deslizante o resumen de turnos antiguos, un límite de longitud de salida y el cacheo del prefijo estable.
- Regla general en inglés: 1 token son unos 4 caracteres o 0,75 palabras. El español y el código usan algo más de tokens por palabra.
- Para recuentos exactos usa la librería de tokenización o el endpoint de recuento de tu proveedor.
Relacionado: diseñador de flujos, guía de chatbots e IA.