IBM 开源 Granite Speech 5.0 2B：39 万小时训练，英文 ASR 错误率仅 5.06%

2026 年 10 月 21 日，IBM 在 Hugging Face 上一次性放出了 Granite Speech 语音模型家族的三项更新：全新的 granite-speech-5.0-2b，以及两款升级版 granite-speech-5.0-470m-turboctc 和 granite-speech-4.1-2b-plus。三款模型全部以 Apache 2.0 许可发布，原生支持 Transformers 库——意味着任何人都能免费下载、修改并商用。其中最受关注的是 2B 主力模型：它在 Open ASR Leaderboard 的英文短音频测试集上平均词错率（WER）仅 5.06%，在开放权重 ASR 模型里排到全球第二。

主角：granite-speech-5.0-2b

granite-speech-5.0-2b 是 4.1-2b 的同参数 successors（仍是 20 亿参数），但能力和数据规模都上了台阶。

  • 训练数据：39 万小时公共音频，外加为日语 ASR、关键词偏置（keyword biasing）和翻译专门合成的辅助数据；
  • 支持语言（转写）：英语、法语、德语、西班牙语、葡萄牙语、日语；
  • 翻译：在上述语言与英语之间互译，另外支持英语→意大利语、英语→普通话；
  • 英文 ASR 成绩：平均 WER 5.06%，按 IBM 引用 Open ASR Leaderboard 截至 2026-10-21 的公开英文短音频测试集，在开放权重模型中排名第二；
  • 运行支持：vLLM、llama.cpp 以及面向 Apple Silicon 的 mlx-audio 均可跑；官方建议把音频切成约 2 分钟一段解码，更长的录音先用 VAD 切分。

相比 4.1，5.0-2B 新增了几项实用控制能力：

  1. 语言 ID 提示（Language-ID prompting）：在 prompt 里指明输入语言，引导多语种转写；
  2. 关键词列表，最多 2000 条：把产品名、人名、缩写词"偏置"进输出，避免专有名词被写错；
  3. 按需标点与大小写：在 prompt 里要求加标点和大写，IBM 称其大写 F1 在各测试集上落在 89.7 到 99.5 之间；
  4. 更强的长音频与对话式翻译：不再是只处理短朗读句，对更长、更自然的口语也能稳住。

快的那块：470M Turbo CTC

第二款 470m-turboctc 是个"为速度而生"的小模型。它今年 8 月刚出时只支持英语，这次更新补齐了多语种，并大幅提速：

  • 新增多语种：英语、日语、西班牙语、德语、法语、意大利语、葡萄牙语；
  • 原生标点与大小写：不再需要单独的 truecasing 后处理步骤；
  • 抗混响与远场：训练目标明确针对回声房间和远距离麦克风场景；
  • 速度数字最亮眼：IBM 通过编译单个 Conformer 块并跨层复用其计算图，把 Open ASR Leaderboard 上的吞吐推到 19,870 RTFx，比发布时的约 12,600 提升约 1.6 倍，且精度持平。RTFx 表示模型每秒能处理多少秒音频，所以这套配置理论上能在片刻间扫完数小时录音；
  • 体验入口：IBM 提供了基于 WebGPU 的浏览器流式 demo。

对本地、隐私敏感的场景，这个 470M 模型是笔记本和手机上最该先试的那个。

开会那块：4.1-2B Plus

第三款 4.1-2b-plus 面向会议、客服电话、访谈这类"多人、长时、谁在什么时候说了什么"的录音。它保留了原来的架构、prompt 格式和 API，所以开发者直接换权重即可，代码不用动。IBM 给出的都是"错误率越低越好"的指标：

指标 旧版 新版 变化
长音频 WER 13.53% 10.22% 降约 24%
20 词关键词偏置 WER 11.79% 6.48% 降约 45%
全语音平均时间戳漂移（AAS） 210.86 98.54 减少一半以上
说话人归因错误率（WDER） 4.40 4.10 降约 7%
说话人归属词错率（cpWER） 30.50 28.48 降约 7%

说话人归属仍是会议转写里最难的部分，4.10 的 diarization 错误率只是小步前进，所以这块的实际增益主要体现在"时间戳更准"和"长音频更稳"。

还能跑在浏览器里

发布一周后（10 月 28 日），社区出现了 4-bit ONNX 版本的 granite-speech-5.0-2b-ONNX，同样 Apache 2.0。它面向 Transformers.js + WebGPU 的浏览器内推理（Safari 26 需 4.3 以上版本支持 WebGPU），三份图合计约 1.7 GB（658 MB 音频编码器 + 119 MB 嵌入 + 948 MB 解码器）。在一个 73 句的 LibriSpeech 小样本上，4-bit 文件 WER 2.43%，略优于 4.1 的 ONNX 文件（2.70%）——样本很小，仅作转换健全性检查，真实精度仍以 IBM 排行榜为准。

怎么用、注意什么

三款模型都在 Hugging Face 上，IBM 称它们原生兼容 Transformers，并被 vLLM（部署）、llama.cpp（普通电脑）、mlx-audio（Apple Silicon Mac）支持。对生产环境，IBM 建议搭配自家的风险检测模型 Granite Guardian 一起用。

需要提醒的是：这些性能数字都是 IBM 自己公布的，源材料是其官方博客和模型卡，目前没有第三方独立复现；且 Open ASR Leaderboard 每天都在变，英文短音频集也只是真实音频的一小块，WER 也不代表延迟和成本。如果你的音频带噪、带口音或属于特定领域，最好拿自己的录音实测。

为什么这件事值得关注

Granite Speech 5.0 把"高精度转写翻译""极速边缘转写""会议多说话人归属"三件事拆成了三档明确可选的模型，而且全免费、可商用、可本地离线运行。对开发者来说，这意味着不必再把语音识别锁死在某家闭源 API 上——下载即用，数据不出本机。在 AI 能力越来越多被放进付费云服务的当下，这种"开源 + Apache 2.0 + 端侧可跑"的组合，本身就是一种态度。