用 Agent Simulations 测试语音智能体
LiveKit 宣布 Agent Simulations 面向所有 LiveKit Cloud 项目正式可用,用 LLM 驱动的模拟用户按任务级场景跑完整对话,再由 LLM 裁判给出通过与否及原因。
推荐理由:LiveKit 把语音智能体测试做成可版本化的场景套件,读者可据此了解如何把回归测试接进 CI。
日期栏展示收录日期,历史补录归入原文日期。
LiveKit 宣布 Agent Simulations 面向所有 LiveKit Cloud 项目正式可用,用 LLM 驱动的模拟用户按任务级场景跑完整对话,再由 LLM 裁判给出通过与否及原因。
推荐理由:LiveKit 把语音智能体测试做成可版本化的场景套件,读者可据此了解如何把回归测试接进 CI。
Preferred Networks 发布 PLaMo 翻译大型更新版,基于第三代国产 LLM PLaMo,称其日语翻译精度与 Claude Fable 5.1、GPT-6.1 Sol、GPT-6 Astra 等前沿模型相当,成本约为原文10万字符14日元,不到海外前沿模型和机器翻译服务的十分之一。
推荐理由:原文给出翻译精度对标、成本对比与53语言扩展,可据此判断国产LLM在垂直场景的落地方式。
OpenRouter 上线 ElevenLabs 的九个文本转语音模型和两个语音转文本模型,已有 OpenRouter 应用可直接调用语音与转写接口,无需单独的 ElevenLabs 套餐。
推荐理由:OpenRouter 接入 ElevenLabs 语音模型,读者可了解语音能力如何并入现有 LLM 调用链路。
Google Cloud 团队发布教程,讲解如何用 Gemini Live API 构建可实时打断的语音 AI 智能体。方案由浏览器客户端、Gemini Live API 和 Python 后端三部分组成,通过 WebSocket 保持双向音频流,并利用内置 VAD 实现 barge-in 打断,在本地先静音并清空播放缓冲以降低延迟。
推荐理由:原文给出 Gemini Live API 构建实时语音智能体的完整架构与打断处理思路,可迁移到自建语音应用。
Google DeepMind 发布 Gemini 3.8 Live with Live Avatar,将实时视频生成与语音对话结合,为 Gemini 的对话式 AI 带来近实时的视觉形象。
推荐理由:官方给出 Live Avatar 的实时音视频对话能力、异步工具调用与 97 种语言支持,可据此判断企业级数字人交互的落地形态。
Google DeepMind 发布 Gemini 3.8 Flash TTS 和 Gemini 3.8 Flash-Lite TTS 两款文本转语音模型,前者面向角色设计与深度创作控制,后者面向高并发、低成本的配音与语音智能体场景。
推荐理由:原文给出两款 TTS 模型的语音设计、复刻与逐行导演能力及基准排名,可据此判断语音生成工作流的变化。
NVIDIA Nemotron 3 Diarization 发布,这是一个约 100M 参数的 Transformer 说话人分离模型,基于 NVIDIA Streaming Sortformer 构建,把 16 kHz 音频切成 10ms 帧并输出 T×8 的说话人活动概率矩阵。
推荐理由:原文给出单检查点四档延迟、DER 对比与单卡并发上限,可据此评估实时说话人分离的部署成本。
蚂蚁 Venus Team 与清华大学开源 Realtime-Venus 全双工交互系统,包含 9B 的 Realtime-Venus-Omni 与 Realtime-Venus-Audio 两个模型,以及负责后台任务执行的 Realtime-Venus-Harness 运行时。
推荐理由:可了解全双工对话模型与异步任务框架如何组合,以及开源仓库提供的模型与运行入口。
Google DeepMind 发布 Gemini 3.8 Live 和 Gemini 3.8 Live Extended Thinking 两款实时语音对话模型,前者面向规模化与成本效率,后者面向高复杂度任务与多步推理。
推荐理由:Google DeepMind 发布两款实时语音对话模型,给出基准成绩与开发者接入渠道,可据此判断语音智能体的能力水位。
LiveKit 发布 Connectors,在 LiveKit 房间与 Twilio Programmable Voice、WhatsApp Business Calling 之间建立直连,通话作为 kind 为 CONNECTOR 的参与者进入房间,无需配置 SIP trunk 或运行网关。
推荐理由:LiveKit 把 Twilio 与 WhatsApp 通话直接接入房间,读者可据此判断现有电话工作流如何少改架构。
Cartesia 发布语音模型 Sonic-3.6,在十五个地区的盲测对比中听众偏好率最高达 93%,并在 Artificial Analysis 的受控与供应商语音榜上均列第一。
推荐理由:Cartesia 公布 Sonic-3.6 的盲测偏好数据与延迟指标,可据此判断语音合成在自然度与多语言上的进展。
LiveKit 在 LiveKit Agents 中发布 expressive mode,通过一个参数开启,让语音智能体根据对话情境调整情绪、语气和非语言声音。
推荐理由:LiveKit 官方说明 expressive mode 的实现方式与接入成本,可据此判断语音智能体情感表达如何落地。
Cartesia 发布面向实时语音智能体的语音转文字模型 Ink-2,据 2026 年 6 月 Artificial Analysis 流式榜单,其词错误率最低排名第一。
推荐理由:原文给出 Ink-2 在准确率、轮次检测和延迟三项指标上的对比数据,读者可据此判断实时语音智能体的选型。