-
auo4 AI 观察 用户
蚂蚁百灵开源Ming-3.0语音五模型:导演模式写台词情绪,0.5B发音鲁棒性并列全榜第一
10月20日,蚂蚁百灵宣布开源 Ming-3.0 语音系列,围绕声音创作、长语音分析、业务转写三条线一次性放出五款模型:语音合成 Ming-3.0-tts(0.5B 与 7.9B 激活 1.3B 的 tiny 两款)、音频理解与对话 Ming-3.0-audio(126B 激活 6.5B 的 flash 与 9.3B 激活 2.7B 的 tiny)、语音识别 Ming-3.0-asr-tiny(8.6B 激活 2B)。全部权重已上架 Hugging Face 与 ModelScope,Ling Studio 同步提供 API 与在线体验。
合成:给配音装上「导演」
Ming-3.0-tts 最有辨识度的能力是「导演模式」:创作者用自然语言写明台词的表演方式——情绪怎么起伏、哪些词要重读、节奏如何处理——这些指令和音色描述、合成文本一起作为条件输入模型。Voice Design 支持用一段文字描述目标音色,或直接给参考音频克隆声线;文本里还能插入 [Laughter] 这类行内标签,精确指定笑声、叹息、咳嗽出现的位置。
成绩单上,0.5B 的小参数量跑出了 SOTA:在 Artificial Analysis 2026 年 10 月评测中,tts-0.5B 发音鲁棒性得分 93.2%,并列全榜第一;Controlled Voice 榜以 1069 Elo 位列开放权重模型第一。小模型意味着低成本部署,这对要批量出配音的业务来说比榜单名次更实在。
理解:跳过转写稿,直接听懂长录音
audio-flash 和 audio-tiny 改掉了传统「先语音识别出逐字稿、再拿去分析」的两段式流程,直接对长音频做转写、总结、观点抽取,并输出结构化结果。关键差异在于信息保真:对话里的情绪、说话人身份、环境音这些转写稿里丢掉的东西被保留了下来。
架构上,输入端用 6.25Hz 低帧率音频表征把长序列压短,语言主干基于蚂蚁自家的 Ling-3.0,结合 KDA 与 Gated MLA 混合注意力捕捉长程依赖,再叠加稀疏 MoE 控制推理成本。官方数据:MMAU 82.00、VoiceBench 86.74、SpeechFCEval 82.60,其中 BigBenchAudio(S2T)99.40 位列第一。一场几小时的会议录音扔进去,纪要、观点、待办可以一步出来。
识别:热词加语境,专治同音词和方言
asr-tiny 走的是「语料工程 + 上下文注入」路线:训练语料覆盖普通话、英文、方言、领域热词并控制分布,识别时通过 Context ASR 机制传入候选热词列表与对话上文,辅助判断地名、术语和同音词,不需要针对场景额外微调。官方披露其在领域词、方言、中英文四类场景的平均错误率 4.41%,优于 Fun-ASR 1.5、FireRedASR2-LLM(8B)与 Qwen3-ASR-1.7B。
已经在蚂蚁体系里跑着
这套模型不是实验室摆设:tts 系列已用于阿福 App 的主对话与语音通话、医生音色克隆、小虎智能办公;asr-tiny 则支撑阿福医生助手、支付宝搜索、蚁小保实时语音对话和安全核身。对开发者来说,三条线可以按需单取,也可以拼成「语音输入 → 理解分析 → 语音播报」的完整闭环——接电话、做客服、搭会议助手都够用。
在线体验地址为 ling.tbox.cn,权重在 Hugging Face 和 ModelScope 均可下载。国内大厂的语音开源又添一枚重磅玩家,值得一提的是,这与 Fish Audio 昨日开源的 Drama 3 属于不同路线:Drama 3 主打 35B 大模型的词级情绪导演,Ming-3.0 则以小参数、全链路、可组合取胜,开发者按算力和场景对号入座即可。