ElevenLabs 进军对话式 AI

ElevenLabs，一家提供 AI 语音克隆和文本转语音 API 的初创公司，于本周一推出了构建对话式 AI 机器人的能力。该公司宣布，用户现在可以在 ElevenLabs 的开发者平台上构建完整的对话代理，并自定义诸如语调、回应长度等变量。

ElevenLabs 此前主要提供不同的声音和文本转语音服务的 AI 工具。公司增长负责人 Sam Sklar 说，许多客户已经在利用这一能力创建对话式 AI 代理。然而，整合知识库和处理客户打断是最具挑战性的部分，这也是公司决定构建完整对话机器人流程的原因。

用户可以登录他们的 ElevenLabs 账户，通过选择模板或创建新项目来开始构建对话代理。他们可以选择代理的主要语言、第一条消息和系统提示来确定代理的个性。开发者还需要选择一个大型语言模型（Gemini、GPT 或 Claude）、回应的温度（以确定回应的创造性）和令牌使用限制。

用户还可以调整其他方面，如声音、延迟、稳定性、认证标准和与 AI 代理对话的最大长度。用户可以添加自己的知识库，如文件、URL 或文本块，来支持对话机器人。此外，他们还可以将自定义的大型语言模型（LLM）与机器人集成。ElevenLabs 的 SDK 兼容 Python、JavaScript、React 和 Swift，公司还提供 WebSocket API 以实现更多自定义。

公司还可以定义标准来收集特定数据项——例如，与代理交谈的客户的名字和电子邮件——以及用自然语言定义呼叫成功或失败的评估标准。

目前，公司不提供其语音转文本 API 作为独立产品，但未来可能会这样做，使其成为 Google、Microsoft 和 Amazon 的语音转文本 API 以及专业 API 如 OpenAI 的 Whisper、AssemblyAI、Deepgram、Speechmatics 和 Gladia 的竞争对手。

这个领域创业公司还有类似 Vapi 和 Retell 等，而 ElevenLabs 还将与 OpenAI 的实时对话 API 竞争，ElevenLabs 相信其自定义能力和切换模型的能力将使其比 OpenAI 更有优势。