Ricursive 开源 Ripple-65B Preview：65B 稠密模型干翻 500B+ MoE，Apache 2.0 可商用

2026 年 11 月 4 日，芯片设计算力公司 Ricursive Intelligence 在 Hugging Face 放出 Ripple-65B Preview——一个 650 亿参数的稠密（dense）开放权重语言模型，采用 Apache 2.0 许可。它的卖点很锋利：用不到对手零头的参数，在编程智能体基准 Terminal-Bench 2.1 上跑出 80.52 分，自称是美国开放权重模型里的第一，且能塞进一台 NVIDIA DGX Spark 本地运行。比起一堆动辄 500B~975B 的稀疏 MoE 模型，Ripple 把「小但够用、便宜且可商用」这条路走通了。

它从哪来：一家芯片公司为什么要训大模型

Ricursive Intelligence 由 Anna Goldie 与 Azalia Mirhoseini 联合创立，这两位是 Google AlphaChip（用强化学习做芯片布局规划）背后的核心研究者。公司的主产品是一个 AI 芯片设计平台，而芯片设计本质上就是在严苛约束下写代码、调硬件描述语言，所以一个强编程模型是这门生意的核心基础设施，而非副业。

Ripple 正是支撑该平台的专有模型的「通用变体」，并针对 agentic coding（智能体自主写代码、跑终端）做了调优。把通用版开源，既是招募人才的信号，也让外部开发者帮它压测地基。据披露，开发团队从 1 人成长到 5 人，研发总成本约 3200 万美元——公司称这约是此前开放权重编程 SOTA 的十分之一（成本数字未经独立审计，且通常不含失败实验）。

模型规格：薄而深，全程激活

Ripple-65B Preview 是一个 650 亿参数的稠密 Transformer（不是 MoE），意味着每个 token 都跑满全部 650 亿参数——虽然绝对体量小于那些 500B+ 的 MoE，但每 token 的计算更实在。

  • 架构：80 层，d_model 5120（瘦而深）；在 Olmo 3 的 llama 式基线上改为类 Gemma 3N 架构以换取大规模训练稳定性，增加注意力头数、抬高滑动窗口与全局注意力层比例并缩小窗口来对冲开销，还加入了 FFN 激活裁剪、门控注意力、全局 NoPE 与值残差。
  • 预训练：在 12 万亿 tokens 的文本与代码（以英文和代码为主）上从头预训练，知识截止 2025-12-17；先 8K 序列长度跑 877,500 步，再 64K 跑 2000 亿 token 的中训练，随后长上下文训练、1830 亿 token 的监督微调，最后 128K 上 700 步强化学习。Together AI 称 Terminal-Bench 成绩背后有 140 万次 RL rollout。
  • 上下文：最长 1,048,576 tokens（Together 托管页标注为 128K，实际取决于部署环境）。
  • 三个权重：指令微调 BF16、面向本地硬件（如 DGX Spark）的实验性 NVFP4 4-bit 版、以及仅预训练的 BF16 base。

基准成绩：小模型的逆袭（但有保留）

Ricursive 的对比表只框定「美国训练的开放权重模型」，刻意把 DeepSeek、Qwen 等非美实验室排除在外。在这个口径下：

  • Terminal-Bench 2.1：80.52，高于 Reflection Beam 501B（80.1）与 Meta Muse Spark Open 816B（76.4），自称美国开放权重第一；VentureBeat 对比表另列 SWE-bench Pro v2.0 Hard 79.1%。
  • SWE-bench Verified：76.5、MCP Atlas：71.67、DeepSWE v1.1：44.3%。
  • 效率上，公司宣称在代码任务上比其 Olmo 3 基线有 16 倍算力效率提升，全程可达 55 倍；并报告 2×B200、batch size 8 下约 250 tokens/秒（量化与定制内核之前）。

需要冷静看待的是：这些数字多为自报，截至发布尚无独立 harness 复现 Terminal-Bench 2.1 的 80.5 分；而模型卡自己也坦承，当用官方 Terminus 2 在 128K 序列长度跑时，几乎所有模型的分数都会更低。它并非处处领先——在 SWE-bench Verified、DeepSWE、SciCode 与 MCP Atlas 上，按 Ricursive 自己的表仍落后 Muse Spark Open 等对手；同期的 Inkling 2 Small 在它列举的三项基准上反而更高。

部署与许可：能落地、能商用

  • 本地：官方称可跑在单台 NVIDIA DGX Spark 这类设备上，并提供 4-bit 权重与 Colab notebook 上手。
  • API：Hugging Face 直下权重；Together AI 提供托管 API，定价每百万 tokens 输入 0.20 美元、输出 0.60 美元；OpenRouter 也有通道（输入 0.20、输出 0.60、缓存读 0.05，为通道价非官方直营价）。
  • 许可：Apache 2.0，允许商用、修改与本地私有化部署——这一点比许多近期「开放权重但附加限制」的发布更宽松，对企业把编码智能体留在自有 VPC 内、杜绝数据外泄很有吸引力。

一个实操提醒：仓库里带了自定义代码 modeling_ricursive.py，加载时需要 trust-remote-code 式信任，上线前请让平台团队先审一遍。

怎么看这次开源

Ripple-65B 的价值不在「它是否真比 975B 的对手强」（差距大多在区间内、且自报），而在于它证明了一条被验证可复制的路线：用相对小的稠密架构 + 聚焦 agentic coding 的后训练 + 宽松的 Apache 2.0，就能在企业本地跑起一个够用的编程智能体底座，成本还压到数千万美元级别。

对想自托管编码智能体、又不愿被 MoE 的分布式路由和许可证条款绑住团队的工程组织，它是一个值得 PoC 的候选；只是别拿着自报基准直接拍板上生产——先把你自己的仓库、语言和工具链跑一遍实测，再做 rollout 决策。