蚂蚁灵波开源 LingBot-Touch 触觉基础模型:给机器人通用大脑装上"手感"

2026 年 11 月 10 日,蚂蚁灵波科技开源触觉基础模型 LingBot-Touch,为机器人的通用大脑补齐了关键的触觉感知能力。该模型基于近 5000 小时真实触觉数据预训练,覆盖磁触觉、视触觉和压阻式三类主流传感原理,可将不同传感器的信号转化为同一套触觉表征,让积累的"手感"能够跨传感器、跨灵巧手、跨模型和跨任务复用。技术报告、模型权重与代码已在 Hugging Face、GitHub(Robbyant/lingbot-touch)和魔搭社区开源,采用 Apache 2.0 许可。

视觉看不见的,触觉来补位

在真实物理世界里,机器人每执行一步动作,都需要感知物体和环境的变化,再修正下一步动作。许多精细操作中,看清物体位置、把手伸到正确地方,并不意味着任务就能顺利完成。接触之后受力是否合适、物体是否滑移,仅靠视觉往往难以判断。

以灵巧手拧瓶盖为例:深度信息可以帮助手指对准瓶盖,但开始转动后,瓶盖可能已经松动,也可能是指腹沿着盖壁打滑。这两种情况在画面中相似,却需要不同的动作调整。指尖的接触位置、受力大小及其变化,成为动作模型的重要判断依据,而这些信息往往被手指和物体遮挡,视觉难以获得。

统一触觉表征,跨硬件复用

给机器人装上触觉传感器,并不等于它就能用好触觉。商用触觉传感器整体仍处于较早阶段,视触觉、磁触觉、压阻式等路线各有优势和局限,且同样一次接触在不同传感原理和触点布局下会形成不同的原始信号——如果模型只学会解读其中一种,更换传感器或灵巧手后已有的数据和经验就难以复用。

LingBot-Touch 的思路,是让触觉理解摆脱对特定传感器物理信号的依赖。它按传感原理分别设置编码入口,先处理不同的原始信号,再将不同布局的触点映射到统一的指尖坐标空间(canonical spherical space);共享 Transformer 学习接触位置、受力及其随时间的变化,输出统一的触觉 Token,供不同动作模型使用。这一架构下,人戴触觉手套和遥操作灵巧手采集的数据可以共同用于训练,不同动作模型也能利用训练好的模型提取接触特征。

在预训练上,模型显式支持磁触觉每指 96/76/64/48/32/24 点、压阻式 61/16/9 点(拇指 124 点)、视触觉 200/96/32 点等多种分辨率,并在潜在空间通过掩码预测学习统一表征,是一个 JEPA 式的触觉表征模型。

真机测试:成功率提升 14~26 个百分点

为了验证触觉表征对真实操作的帮助,蚂蚁灵波在 Sharpa Wave 和 XHand1 两款灵巧手上完成了 26 项真机测试,涵盖翻书页、拧瓶盖、辨识麻将牌等精细操作。接入 LingBot-Touch 后,LingBot-VLA、π0.5、Diffusion Policy 和 T-Rex 四种动作模型的平均任务成功率,较无触觉时提高约 14 至 26 个百分点。

其中,在 T-Rex 控制 Sharpa Wave 拧瓶盖的任务中:不使用触觉时成功率为 56.25%,直接输入传感器原始信号时为 62.5%,接入 LingBot-Touch 的触觉表征后,成功率达到 90%。

更关键的是跨硬件复用能力。XHand1 采用的磁触觉传感器型号并不在预训练数据中,模型学到的磁触觉经验全部来自人戴手套采集的数据。换到这只灵巧手后,蚂蚁灵波保持 LingBot-Touch 参数不变,仅用 XHand 的操作示范训练动作模型即生效,证明触觉能力可跨硬件迁移,不绑定某一厂商的传感器或自研动作模型。

轻量高效,端侧可跑

为兼顾感知能力与端侧算力,蚂蚁灵波提供 Tiny 与 Small 两种容量版本。此次 26 项真机测试全部使用约 530 万参数的轻量版 LingBot-Touch-Tiny 完成;接入 LingBot-VLA、π0.5 和 T-Rex 后,动作模型参数量仅增加约 0.13% 至 0.16%。即便使用最小的 ViT 骨干,模型也支持高频下游推理。Small 版在感知测试中表现出进一步提升的潜力——当预训练数据增至近 5000 小时,模型仍能从新增数据中获益,说明触觉预训练还有持续扩展提升的空间。

坚持"具身原生"路线

蚂蚁灵波 CEO 朱兴表示,以 GPT-6 Astra、Claude Fable 5.2 为代表的数字世界大模型进展,确实让机器人的复杂任务推理和物理操作能力更强,这一点值得积极吸收;但产业一线实践表明,要真正跑通操作闭环,物理操作泛化性这块硬骨头仍绕不开,很大程度上仍要靠具身基础模型自身的突破。

模态输入的质量很大程度上决定了动作输出的质量。LingBot-Touch 的发布,是蚂蚁灵波对"具身原生"路线的持续投入——不同于面向数字信息的多模态范式,机器人身处真实物理世界,信息从传感器来、作用到环境中去,既需要理解深度这类空间感知信息,也需要处理触觉、力觉、温度等接触感知模态。未来,蚂蚁灵波将持续推动视觉、深度、触觉等更多物理模态在统一模型中对齐,并在推进商业化的同时持续向社区开源开放。

据蚂蚁灵波官方技术报告、央广网、新华网等公开报道整理,arXiv 编号 2611.12806。