百度开源文心 5.5 Flash Base：280B 稀疏 MoE 基座，激活仅 14B

11 月 5 日，百度正式发布并开源最新基座模型 文心 5.5 Flash Base（ERNIE-5.5-Flash-Base）。这是一款围绕"效率"这条主线设计的稀疏 MoE 架构大模型：总参数量高达 2800 亿（280B），但每个 token 仅激活 140 亿（14B） 参数，在 33.5 万亿（33.5T）tokens 上从零完成预训练。目前 FP8 与 BF16 权重已在 HuggingFace 平台开放下载，并联合 vLLM、SGLang 等社区提供开源生态支持。

当下国产基座模型的竞争，正从"拼参数规模"走进更精细的"拼效率"深水区。文心 5.5 Flash Base 给出的答案是：用可控的计算预算，装下超大模型容量的专业能力。

一、同尺寸 SOTA：拿什么赢？

在公开基准评测中，文心 5.5 Flash Base 与 DeepSeek-V4-Flash-Base（284B-A13B）、Hy3-preview-Base（295B-A21B）、MiMo-V2.5-Base（310B-A15B）等同规模基座模型正面交锋，在知识、推理、数学、代码、多语言、长上下文等 7 大类共 30 项测试中全面超越对手，拿下同尺寸 SOTA（同等规模最优水平）——尤其在推理、代码、学科能力以及长上下文任务上表现更突出。

从架构规格看，它采用 280B 总参数的稀疏 MoE 设计，共 43 层 Transformer，Hidden Size 为 4096，拥有 64 个注意力头。预训练阶段上下文长度最高支持 128K，而在微调与推理场景下，可扩展到最长 100 万（1M）token 的超长上下文处理能力。这种"大容量 + 小激活"的稀疏设计，让模型有机会在计算预算相对可控的情况下，容纳更多专家知识和专业能力。

二、三项"重工业"改造

基准成绩背后，是文心在注意力机制、专家路由和训练目标上的系统性创新：

1. 注意力：Latent-Gated Sparse Attention（潜门控稀疏注意力） 模型把 HCA（重度压缩注意力）与 MLA（多头潜在注意力）组合成混合稀疏注意力，让不同层分工——有的负责压缩历史信息，有的负责细粒度访问历史位置，在降低长上下文 KV Cache 开销的同时保留精准检索能力。 在此之上引入低秩门控注意力（Low-Rank Gated Attention）：利用注意力层本就会生成的低秩 query latent 来计算输出门，使门控投影权重参数减少 75%，效果反而有所提升。 虚拟头注意力（Virtual Head Attention, VHA） 则进一步提升模型表达力与训练质量，推理时融合进注意力算子，额外开销极小。

2. 专家路由：Multi-Router Latent MoE（多路由器潜 MoE） 传统方案依赖单一路由器做专家选择，评分偏差容易影响最终效用。文心改用多个独立路由器协同参与专家选择，改善"路由评分"与"专家实际效用"之间的相关性，同时在保持激活专家数量、专家计算量和通信量不变的前提下，降低单一评分偏差的影响。

3. 训练目标：ECHO 它无需额外增加 MTP（Multi-Token Prediction）模块，而是复用主干最后一层，让主干自身学习预测后续 token，从而提前规划序列走向，有效提升推理与代码能力。文心 5.5 Flash 仅采用单步 ECHO 预训练，复用的最后一层还可作为投机解码（speculative decoding）的草稿模型，展现出多步外推能力——同样只训练一步，多步起草质量大幅优于辅助 MTP 模块。

三、训练系统的硬支撑

算法之外，大模型基建创新同样关键。文心改进了分布式 Muon 优化器，并推出面向大 head dim 的注意力算子 FlashMask-4，在数千卡规模下将跨机集合通信合并为单次传输，显著改善大规模训练中的通信、显存利用与计算效率。预训练采用 Muon 优化器与 FP8 混合精度，训练上下文逐步扩展至 128K。

四、开放什么，留给开发者什么

需要特别说明：百度开放的是预训练终点的 Checkpoint，它尚未经过中训练（mid-training）与后训练（post-training，包括对齐与指令微调）。换句话说，这是一个"统一起点"而非"成品"——开发者可以基于它继续开展领域适配、指令微调、推理强化和 Agent 训练，把它当作通用技术底座自由发挥。

配套资源已经就位：

  • HuggingFace 权重：FP8 与 BF16 两个版本均已开放下载；
  • Megatron-Bridge 微调示例，方便做继续训练；
  • vLLM 插件与 SGLang Cookbook，覆盖主流推理生态。

五、为什么这件事值得关注

对企业和开发者而言，文心 5.5 Flash Base 开源最直接的价值，是用 140 亿激活参数的推理成本，获得接近 2800 亿总参数的通用能力。这大幅降低了企业级大模型私有化部署的算力门槛，为长文档分析、企业级智能体、代码开发等场景提供了一枚高性价比的基座选择。

从更大的视角看，当头部厂商把"超大稀疏 MoE + 超长上下文 + 开源权重"做成可自由取用的起点，国内大模型开源生态的技术普惠进程又被往前推了一步——竞争不再只是谁的参数更大，而是同样规模下，谁的效率和可用性更胜一筹。