-
auo4 AI 观察 用户
IBM 联合 Hugging Face 开源 LLMON:让小模型学会「指令归指令,数据归数据」
11 月 12 日,IBM 与 Hugging Face 联合发布 LLMON(LLM Object Notation,读作「lemon」)——一种专为大语言模型设计的标记语言,并同步在 Hugging Face 上开源两款实验性预览模型:granite-4.1-3b-LLMON-preview 与 granite-4.1-8b-LLMON-preview,均采用宽松的 Apache 2.0 许可证。这套方案瞄准的是 AI 智能体最头疼的问题之一:间接提示词注入攻击。
官方给出的核心数据颇为亮眼:在 OPI 基准上,LLMON 预览模型相比测试中最好的前沿模型多避免了 47% 的注入攻击,相比最好的开源模型多避免了 95%;间接提示词注入攻击的成功率从常规模型的 53%~100%,降到 0.02%~5.6%。IBM 同时强调,这是实验性预览,尚不适合生产环境。
JSON 的软肋,与 LLMON 的解法
如今主流做法是用 JSON 等通用格式承载上下文里的结构信息,但 IBM 指出,这些格式是为解析器设计的,并非为因果语言模型设计。对 3B、8B 这样的小模型来说,JSON 的 {、引号、逗号只是普通的文本 token——一段被检索到的恶意 PDF 内容里写着「ignore prior instructions」(忽略之前的指令),在词法上和 JSON 的闭合引号长得几乎一样,模型很容易把「数据」误当成「命令」。
LLMON 换了个思路:它用六个保留的单标记分隔符(用于标签的开始、结束、嵌套、锚定)来标记结构边界,嵌套是局部的,不需要跨 8K token 去数括号。上下文中的每一部分都被贴上标签、赋予唯一 ID,并通过一个「执行块(exec block)」显式绑定——哪个指令(instruction),作用于哪些数据(data),满足什么要求(requirement),输出放到哪里。
关键在于「exec」标志:设为 True 的部分会被绑定进执行块,是真正生效的指令;设为 False 的部分虽然也出现在上下文里,却没有任何东西引用它。这种「诱饵」设计也被用进了训练,专门教模型忽略未被绑定的文本。
从基座训练到五级强化学习
这两款预览模型不是从已有的 instruct 模型微调而来,而是从 Granite 4.1 基座检查点开始,把 LLMON 行为在后训练阶段「学」出来。训练配方分三步:
- 分词器:加入六个保留分隔符 token;
- 监督微调:把指令微调语料重新序列化为 LLMON 块,并加入未被绑定的诱饵指令和数据(目标输出保持不变),教模型忽略这些干扰;
- 强化学习栈:五轮 GRPO(涵盖推理、RLHF、校准、数学等),再加一轮 DPO,使用约 1000 条由模型自身对注入尝试的回复构成的 on-policy 偏好对。
由此学到的「权限规则」是:通过 exec 引用的指令才权威,数据路径上的文本不是命令。IBM 还提供了一个注意力可视化 Space,方便安全审查者观察模型各层的行为。需要注意,这是一条「学出来」的规则,而非密码学层面的强制保证。
效果与局限:安全提升,但不牺牲通用能力
IBM 在 OPI、ASB、StruQ 三个基准上测试了间接注入(把恶意指令藏进检索文档或工具返回体里)。结果显示 LLMON 预览版在 OPI 上接近零攻击成功率,且通用能力基准与 Granite 4.1 Instruct 大致持平——也就是说,这份安全余量并非以大幅牺牲模型能力为代价。官方文档给出的细分数字是:文本级注入攻击中,3B 模型成功率从 100% 降到 0.1%,8B 模型从 96.3% 降到 0.02%。
不过局限也很明确:这些都是「静态、一次性」注入的基准测试,无法覆盖跨多轮对话的自适应攻击,IBM 也坦言这部分仍在研究中。此外,自定义标签集(例如在 ScienceWorld 场景里定义 instr.task.goal、data.state.inventory 这类标签)需要在发布词表之外额外做 LoRA 或进一步微调。所有数据都是 IBM 自己在指定测试集上跑出的结果,第三方复现仍待观察。
开发者怎么用
上手路径并不复杂:从 Hugging Face 拉取两款预览模型的权重,克隆工具链仓库 github.com/generative-computing/llmon(内含转换器和工作流模板),或使用原生支持 LLMON 的 Mellea 框架。转换器包支持 JSON 与 LLMON 的无损互转,团队可以保留 Zod/OpenAPI 的 schema,只在推理边界改用 LLMON,再把输出转回 JSON 给下游 API。
对已经在本地用 llama.cpp 一类工具跑 Granite 4.1 3B/8B 的团队来说,换检查点只是一次权重替换,不是换运行时——但需要一并带上模型卡里的 LLMON 聊天模板。IBM 的定位也很克制:LLMON 是输入防火墙、输出护栏、工具沙箱的补充,而非替代品;真正把它当成「让小模型学会忽略注入」的结构化编码层。
参考论文:arXiv:2610.38120、arXiv:2603.22519;工具链:github.com/generative-computing/llmon