斯坦福开源 Halcyon：不靠语言预训练，文生图也能省下 275 倍算力

绝大多数文生图系统都遵循同一套「配方」：先在互联网规模文本上预训练一个语言模型，再把语言理解接到视觉生成。斯坦福团队的新论文 Halcyon 直接质疑这个前提——他们从零训练出一族早融合多模态自回归模型，完全不依赖语言预训练，却用少得多的算力打赢了更大体量的对手，并把代码与模型全部开源。

方法与数据

Halcyon 在包含 1 亿组图文对的 GPIC 数据集上从零预训练。它没有外挂现成大语言模型，而是把文本分词器、图像分词器与生成模型三者用 next-token prediction 统一学习，图像与文本片段在较早阶段就被交错送入同一建模流程（early-fusion），而不是先各自处理再后期拼接。模型规模从 0.1B 到 4B 参数不等。

关键结果（均来自论文）

  • Halcyon-0.52B 的 gFD 为 48.0，优于 LlamaGen-XL/8 的 63.3，预训练算力却只有对方的 18.2 分之一；
  • Halcyon-1.6B 的 gFD 为 35.3，超过 JiT-T2I-XXL/8++ 的 41.0，预训练算力减少 275 倍；
  • 受控实验表明，在已有图文训练基础上加入纯文本预训练，并没有提升文生图效果；
  • 在代表性文生图系统里，语言预训练往往占了预训练 FLOPs 的 80% 以上——这正是 Halcyon 大幅省算力的主因。

顺带学会「看图说话」

研究者没有靠加预算，而是把原本的 caption dropout 换成图像到文本（I2T）监督，让同一套框架在同等预算下同时学会图像描述生成，且不损失文生图质量。

为什么重要

Halcyon 的价值不在于宣称「语言预训练没用」，而在于重新划出了文生图系统的资源依赖边界：如果你的目标就是图文生成，直接用高质量图文对训练，可能比先搭一个庞大通用语言模型更高效、也更好对齐训练目标。代码与模型已开放，意味着中小团队可以跳过昂贵的语言预训练阶段，把精力放在配对数据的质量与多样性上。当然，GPIC 本身已是 1 亿级配对，复杂指令理解、编辑与组合生成仍需更广验证，早融合能否在更多任务上守住效率优势，是下一步要看的。

参考资料：arXiv 论文《Text-to-Image Generative Modeling Without Language Pretraining》（2610.26863）；Hugging Face Daily Papers；Radical Numerics 开源仓库。