豆包实时音视频模型开放API,画面每秒只给2帧

11月19日,火山引擎把豆包实时音视频通话模型(SeedRealtime 1.0)的 API 全量开放了。画面、声音以及两者的先后顺序,现在交给同一个端到端模型一起处理。

一个模型替掉三段流水线

以前做能看会说的语音助手,得把语音识别、视觉理解、语音合成三个模型串起来,用户每句话都在流水线上走一遭。麻烦不在单个模型准不准,而在衔接——哪一环慢半拍,对面都能听出“卡了一下”。

据火山引擎介绍,换成端到端之后,SeedRealtime 1.0 的音视频对话节奏问题减少了一半,一次对话完整走完的概率也有提升。这个“一半”是厂商给的对比口径,测试集和判定方法没有公布。

落到体感上,模型不用等你问完再琢磨,一边听一边盯着画面,觉得该开口就自己开口。设备上的差别,往往不在参数里,而在该说话的时候会不会说话。

画面每秒只推两帧

按火山引擎开发者文档,接入时客户端把摄像头或屏幕画面推给服务端,帧率不超过 2 FPS。这个数比预期低不少,视频通话随手就是 30 帧。

2 FPS 差不多是每半秒看到一张静止画面。看菜单、看仪表盘、看你翻到第几页,都够用;打球、快手势这类动作抓不住。

底层也不是从零搭的。文档写明,Doubao-Seed-Realtime-1.0 在豆包实时语音模型 3.0(全双工 Seeduplex)基础上加了视频帧、图片输入和火山搜图。

功能上还有声音复刻、热词、联网搜索和 AIGC 内容标识,iOS 端 SDK 是 SpeechEngineToB 0.0.15.2.1。

开发者真正要改的地方

对已经在做语音助手的团队,换模型不是改个接口地址。过去三个服务、三套并发、三次计费;现在一条长连接撑完整场对话,容量怎么估、断线怎么重连、用户插话怎么打断,都得重写。产品已上线的,客户端采集画面这段改动量更大。

官方举的例子挺具体:咖啡机前看到用户把整颗豆子倒进手柄,提醒得先研磨;萃取完看油脂和出液量,建议缩短时间。机场里过滤掉旁人闲聊,等旅客问航班,调出刚才扫到的大屏信息作答。

端到端实时语音这条路不空,OpenAI 的 Realtime API、Google 的 Gemini Live 都在做。拉开距离的是画面这一路:把视频帧当原生输入,而不是外挂视觉模型识别截图,眼下还不是标配。

该 API 已在火山引擎全量开放,文档里给了 iOS 端接入说明和示例工程,可用范围以官方文档为准。

信息来源:IT之家(2026年11月19日)、火山引擎开发者文档

相关阅读

华为云发布首款昇腾原生具身世界模型 机器人训练可跑国产芯片
腾讯元宝搜索正式上线:能搜公众号和视频号,广告与答案分开
Gemini上线记忆摘要 AI记住你什么可查可删

免责声明:本站转载的文章,版权归原作者所有;旨在传递信息,不代表本站的观点和立场。

微软把 Word 装进 Copilot,办公入口换人了
上一篇 2026年11月18日 15:42
小鹏飞行汽车和人形机器人将于今年量产
下一篇 2026年4月24日 09:49

相关推荐