Zyphra 开源 ZONOS3-Mini:8 亿参数 MoE 语音模型,笔记本上就能实时克隆声音

语音合成这条赛道,正在被一个"小个子"选手搅动。2026 年 11 月 9 日,AI 公司 Zyphra 开源了文本转语音模型 ZONOS3-Mini——一个总参数 8 亿、每次推理仅激活约 1 亿参数的稀疏混合专家(MoE)模型。它主打两件事:零样本声音克隆,以及在笔记本、手机甚至浏览器里实时出声。模型权重以 Apache 2.0 协议开放,可免费商用。

一小段样本,就能克隆一个声音

ZONOS3-Mini 的核心能力是零样本语音克隆。给它一段最长 60 秒的原始参考音频(或一个 192 维的说话人嵌入向量),再给它一段文本,它就能用这个人的声音把文本念出来。官方模型卡列出的支持语言多达 43 种,覆盖英语、中文普通话、阿拉伯语,到印地语、泰米尔语、他加禄语等欧洲、中东、东亚、东南亚和南亚语言。

在可控性上,这款模型也下了功夫。它提供对响度、带宽和语速的显式控制,支持词级别的表达控制,还能通过"激活引导"(activation steering)调节情绪、节奏、声音投射和生动度。换句话说,不只是"念出来",还能控制"怎么念"——比如让某几个词低声耳语,或者让整段话带上某种情绪色彩。

架构拆解:11 层混合,15Hz 音频 token

从技术报告看,ZONOS3-Mini 是一个 11 层的语言模型,把门控 DeltaNet(Gated DeltaNet)层与全局注意力层混合在一起——大约每 4 层里有 1 层是全局注意力。它采用全注意力残差(Full AttnRes)和潜在混合专家结构,读取 SuperBPE 文本 token,预测 10 组、每组 4096 个的双codec音频码,采样率 15Hz。随后由一个因果多分辨率 iSTFT 解码器,把这些音频码还原成 44.1kHz 的高质量音频,单次最多可生成 10 分钟。

声音克隆的实现路径有两条:要么把原始参考音频编码成相同的音频码,要么直接喂入 192 维的 MECT-B2 说话人嵌入。整个链路里,Zyphra 自研的 ZAC-1 音频编解码器是关键一环——它把音频压缩成模型可以"说"的 token。

训练成本也被反复提及。Zyphra 称,这款模型在 112 张英伟达 H100 上训练了 2.5 天,之后又经过两阶段后训练:先做直接偏好优化(DPO),再做组相对策略优化(GRPO)。

快到什么程度?笔记本 150 毫秒,浏览器 570 毫秒

ZONOS3-Mini 最想证明的,是"小模型也能很快"。Zyphra 公布的数据是:在一台 M3 MacBook Air 上,从输入到出第一个音频的时间不到 150 毫秒;在 Pixel 9 手机的浏览器里不到 570 毫秒;在单张 H100 80GB 上,8 个并发请求的首次音频中位数延迟为 80 毫秒,峰值吞吐量达到每秒 457 秒音频。这意味着它不仅能跑在数据中心,更能塞进终端设备里实时运行。

为了让"端侧实时"落地,Zyphra 提供了多套运行时:基于 SGLang 的 CUDA 服务、Apple Silicon 的 MLX 服务、C++/GGML 服务,以及浏览器内的 WebGPU 版本。模型卡还列出了 llama.cpp、Ollama、Docker Model Runner 等运行方式,命令一行即可拉起。官方还提供了一个可直接在浏览器里试玩的 Playground,无需安装。

在 Zyphra 自家的 TTS 能力指数 v1(ZTTS2-Eval)上,公司报告 ZONOS3-Mini 在开源模型中排名第一,其后是 Fish S2 Pro 和 MOSS TTS v1.5。需要说明的是,这些数字来自厂商自己的评测。

开放协议下的语音基础设施

ZONOS3-Mini 的权重在 Hugging Face 上以 Apache 2.0 协议开放,推理运行时代码则在 GitHub 上以 MIT 协议开源——两者都允许商用。这一组合对想做语音智能体的开发者很有吸引力:既可以把模型部署在笔记本、手机或浏览器里做一个"秒回"的语音助手,也能做离线旁白、多语言无障碍朗读,让音频数据完全不离开设备;需要高并发时,也能当作服务端 TTS 顶上去。

如果你在做语音相关的产品,ZONOS3-Mini 提供了一个新的默认选项——一个 8 亿参数、能在终端设备上实时克隆 43 种语言声音的开源模型。技术报告已公开(arXiv:2611.16525),权重、推理代码和浏览器演示一应俱全,感兴趣的开发者可以直接上手验证。