小米开源MiDashengLM-Spatial:给大模型装上"空间耳朵",首个端到端空间音频理解模型

2026年10月15日,小米宣布推出 Dasheng(大模型"大山")系列的新成员——MiDashengLM-Spatial,并完整公开模型权重与推理代码,以 Apache 2.0 许可证发布。据小米介绍,这是业界首个开源的端到端空间音频理解大模型,让机器不仅能"听懂"声音的内容,还能感知声音来自哪里、如何在空间中分布。

从"听懂声音"到"理解空间"

过去两年,小米先后发布并开源了声音基座模型 Xiaomi Dasheng 以及声音理解大模型 MiDashengLM-7B,相关技术已经在小米智能家居、汽车座舱等场景落地超过 30 项应用,能够对语音、环境声音和音乐进行统一感知与理解。

MiDashengLM-Spatial 以 MiDashengLM-7B 为基座,进一步给声音理解大模型装上了一双"空间耳朵":它在保留基础音频理解能力的同时,具备空间感知与推理能力,推动音频大模型从"听懂声音"迈向"理解声音所处的空间"。

举个直观的例子:同样是听到一句"把灯关掉",普通语音模型只能识别这句话的文本;而空间音频理解模型还能判断这句话是从客厅左边、还是卧室传来的,从而决定关哪盏灯。这种能力对人车家全生态的交互尤其关键——当用户在车里或家里随口发出指令时,系统需要知道声音的方向和空间位置,才能做出正确的响应。

开源了什么

小米这次把核心资产都开放了出来,开发者可以直接上手:

  • 模型结构与权重,托管在 HuggingFace(mispeech/midashenglm-spatial);
  • 完整的推理代码,放在 GitHub(xiaomi-research/midashenglm-spatial);
  • 评估代码与技术报告,技术报告编号为 arXiv:2610.11156;
  • 还有一个在线的项目主页,可以试听和查看演示效果。

采用 Apache 2.0 许可证意味着,开发者可以免费下载、修改、再分发,包括用于商业用途,门槛相当低。

落地场景:人车家全生态

小米表示,MiDashengLM-Spatial 将陆续应用于智能家居、汽车座舱等场景,用空间听觉能力进一步提升"人车家全生态"的交互体验。比如在家里,智能音箱可以更准确地判断家庭成员的位置和朝向;在汽车座舱里,系统能依据声音来源区分主驾、副驾和后排的指令,减少误触发。

从更大的视角看,空间音频理解是具身智能和多模态交互里的一环。当大模型既能处理语言、图像,又能理解声音的空间信息,它离"真正理解物理世界"就更近了一步。小米这次选择把首个端到端方案开源,既是在音频大模型赛道上抢占技术话语权,也是在为下游的机器人、智能座舱、智能家居开发者提供一块可用的基石。