La cadena
La mayoría de bots de voz encadenan tres etapas:
- Voz a texto (STT) convierte el audio en texto, idealmente con resultados parciales en streaming.
- Lógica de diálogo: reglas, una máquina de estados o un LLM decide la respuesta. Consulta chatbots con IA y agentes.
- Texto a voz (TTS) convierte la respuesta en audio, idealmente enviando el primer fragmento antes de generar la frase entera.
Algunos proveedores ofrecen modelos de voz a voz que fusionan las etapas. Reducen la latencia pero dan menos control sobre lo que se dice, algo importante para el cumplimiento normativo.
Latencia
La gente espera una respuesta tan rápida como la de otra persona, a menudo en torno a un segundo. Mide cada etapa por separado: detección del fin del habla, cierre del STT, primer token del modelo, primer byte de audio del TTS y tiempo de red. Técnicas habituales:
- Haz streaming de todo y empieza el TTS con la primera frase completa.
- Mantén prompts cortos y usa modelos pequeños para turnos sencillos.
- Reproduce un breve acuse si una llamada a herramienta va a tardar.
- Aloja los servicios cerca entre sí y del proveedor de telefonía.
Turnos de palabra
- La detección de actividad de voz (VAD) decide cuándo ha terminado la persona. Demasiado rápida e interrumpes; demasiado lenta y el bot parece torpe.
- El barge-in permite interrumpir: detén la reproducción al detectar voz y descarta el resto de la respuesta.
- Confirma los valores críticos ("He entendido 4 5 1 2, ¿es correcto?") porque los errores de STT en números y nombres son frecuentes.
Canales
- Teléfono: los proveedores de telefonía conectan las llamadas a tu servicio por SIP o un WebSocket de medios que transmite tramas de audio (a menudo mu-law a 8 kHz). Usa los tonos DTMF como alternativa.
- Web y apps: WebRTC ofrece audio de baja latencia con cancelación de eco integrada.
- Apps de chat: Telegram, WhatsApp y Discord entregan los mensajes de voz como archivos de audio (normalmente Ogg/Opus). Descarga, transcribe y responde en texto o audio. Los canales de voz de Discord necesitan una conexión de voz al gateway, que librerías como discord.js voice soportan.
Consentimiento y transparencia
- Di a quien llama que habla con un sistema automático y ofrece una persona.
- Grabar y transcribir llamadas se regula de forma distinta según la jurisdicción; algunas exigen el consentimiento de todas las partes. Anuncia la grabación y busca asesoría legal para tus mercados. Consulta aspectos legales, términos y privacidad.
- No clones la voz de una persona real sin su permiso explícito.
- Conserva el audio solo el tiempo necesario; las transcripciones también son datos personales.
Pruebas
Crea un conjunto de frases grabadas con acentos, ruido de fondo y números, y sigue la tasa de error de palabras y la latencia de extremo a extremo a lo largo del tiempo. Consulta pruebas de bots.