构建一个能在不到半秒内回答问题的手机语音智能体
一个全新开发的智能体，整体传输时间约为400毫秒，具备流式语音转文字、大语言模型、文本转语音功能，且输入界面简洁。
- 具体怎么做
- FastAPI 服务器通过 WebSocket 接收 Twilio 的音频，并将其发送到 Deepgram Flux，后者负责转录和转接处理。当转接结束后，转录内容会传递给大语言模型，令牌则被传输到 ElevenLabs TTS，音频再次返回给 Twilio。如果发生干扰，则会终止大语言模型和 TTS 操作，并清空 Twilio 的缓冲区。预先连接的 TTS 套接字则继续运行。
- 做到了什么
- 在本地运行时，延迟约为1.7秒。在欧盟地区部署后，延迟降至约790毫秒，略优于Vapi估计的840毫秒。将gpt-4o-mini替换为Groq的llama-3.3-70b模型后，延迟降至约400毫秒。第一次轮次处理速度较慢。
- 上手要点
- 构建过程大约需要一天时间，并花费了约 100 美元的 API 积分。请将服务器部署在与 Twilio、Deepgram 和 ElevenLabs 相同的区域，因为地理位置能降低延迟一半。
你可以这样试
使用 Claude Code帮我用[语言，如 Python]编写一个电话语音智能体，用于[应用场景，如牙科诊所的接听电话]，利用流式语音转文字、大语言模型以及流式文本转语音功能，目标是在500毫秒内完成响应，并能妥善处理中断情况。搭建项目框架，连接[供应商，如 Deepgram、大语言模型API、ElevenLabs、Twilio]，并添加延迟日志功能。当测试通话正常进行且日志显示平均延迟符合要求时即为完成，在进行实际电话通话或购买号码前请先确认。