-
auo4 AI 观察 用户
开源智能体基础模型 Axion 1.0:两段 SFT 加 RL 的极简配方,35B 权重 Apache 2.0 开放
2026 年 11 月 4 日,arXiv 论文 2611.03233 发布 Axion 1.0——一个「不止开源权重」的开源智能体基础模型。它的核心主张是:一个强力的 Agent 基础模型,可以靠「极简配方」炼成。整个训练只分两段轻量监督微调(SFT)加一轮强化学习(RL),不做专门的 mid-training、DPO 或在线蒸馏,总共约 1.8 万条 SFT 轨迹加 484 条 RL 任务。更关键的是,团队把训练代码、数据构建与 35B 复现权重一并公开,Apache 2.0 许可,试图把「如何造一个开源 Agent 模型」这件事,从玄学变成可复跑的流程。
谁做的、底座是什么
论文作者来自杜克大学、字节跳动、马里兰大学与水牛城大学,包括 Yuqi Jia、Yunjie Tian 等。模型提供 35B 与 122B 两个规模,均为混合专家(MoE)架构:35B 版本基于 Qwen3.6-35B-A3B,总参数 35B、每 token 激活约 3B;122B 版本基于 Qwen3.5-122B-A10B。训练数据约 3.12 亿 token。
极简配方:把复杂度放进数据,而不是管线
Axion 的配方只有三个阶段,思路是用数据本身承担难度,而不是堆砌训练技巧。
第一阶段 SFT 练「自包含科学推理」:团队用公开种子题,改写成更难的题——模型已经会做的题,就通过组合、参数化、范围平移或分情况分析进一步加难,并且每改一次都重新核对参考答案。论文称这种「模型感知」的数据构造,能把难度调到刚好卡在底座模型能力边界上。这一阶段约 10,819 条轨迹。
第二阶段 SFT 练「工具调用与信息检索」:从真实公开数据源和确定性计算中构造可自动验证的任务。这一阶段约 7,544 条轨迹,合计两段 SFT 约 18,363 条。
最后是异步 GRPO 强化学习,打磨长程推理与工具交互,约 484 条 RL 任务。没有 mid-training、没有 DPO、没有在线蒸馏——这正是它想证明的:plain recipe is enough。
成绩:开源里不弱,但仍落后于最强闭源
35B 复现权重的自报成绩为:HLE 52.8、SEAL-0 60.4、FrontierScience Olympiad 85.0、Research 55.0。论文版 122B 在限制网站访问的完整 HLE 上达到 59.0,FrontierScience Olympiad 87.0、Research 66.7。作为对照,Hugging Face 模型卡上 Claude Opus 5 的 HLE 为 63.6——开源模型与最强闭源之间仍有差距,但 Axion 已经把「开源 Agent 基础模型」的天花板往上抬了一截。
开源到什么程度:代码、数据、权重全给
Axion 真正的亮点在「开放范围」。GitHub 上的 bytedance/axion1_0 仓库放出了数据生成与过滤、提示词、两段式 SFT、异步 RL,以及评测准备与打分脚本。Hugging Face 上的 Axion1-0 组织下还有训练数据集 axion-training-data。35B 复现权重以 Apache 2.0 开放,可用 vLLM 起 OpenAI 兼容服务(示例为 8 卡、BF16、131K 上下文,配合 qwen3 推理与工具解析器)来做工具型 Agent 评测。122B 权重官方标注「即将发布」。
需要留意一个细节:Hugging Face 上的 35B 权重在 README 里被明确写为「社区复现版本,并非官方 Axion 检查点」,论文版 122B 有成绩但截至发布时未放出权重链接。换句话说,今天能直接拿来用的,是社区按公开配方复现的 35B,而不是字节官方的成品。
为什么这件事值得关注
过去一年,开源权重模型越来越多,但「怎么训出来」往往是一笔糊涂账:数据配方、训练代码、打分逻辑大多不公开,外人只能拿到一个黑箱权重。Axion 1.0 反其道而行,把「配方—数据—代码—权重」整条链路摊开,让研究者和工程师可以复现、改造自己的 Agent 训练流程。对想自研智能体模型、又受限于闭源底座不可控的团队来说,这类「可复跑的开源范式」比单一权重更有长期价值。代价是,你拿到的是一条可验证的路径,而非一个开箱即用的 SOTA——在 HLE 等硬榜上,它暂时还追不上 Opus 5 这一档闭源模型。