OpenMOSS 开源 MOSS-Image：5B 文生图模型把"长文本渲染+JSON布局"做成系统

OpenMOSS（复旦NLP、上海创智、MOSI 联合团队）近日发布开源文生图模型 MOSS-Image，主打"长文本渲染 + 可编辑布局"，把开源模型一直缺的"密集文字渲染 + 布局控制"补上了。模型、训练配方、评测框架全部开源，权重采用 Apache-2.0 协议，ComfyUI / SGLang / vLLM-Omni 均 day-0 支持，Comfy-Org 镜像上线 11 天即获 276 万下载，GitHub 收获 2063 星。

不是又一个文生图，而是一套"复杂图形生成"系统

常规文生图模型一到信息密集型图形就露怯：一张知识卡片、一张活动海报、一个UI界面，画面看着合理，文字却常常缺字、错字、排版混乱。闭源系统（GPT Image 2、Seedream、Qwen Image、Nano Banana）早把这类需求做成主力场景，开源阵营却一直没人正面接。

MOSS-Image 的输入可以是一句自然语言，也可以是带 bounding box 的布局 JSON，输出是文字可读、元素归位的高密度图像，覆盖海报、信息图、UI 三类场景。它的卖点是三件事：

  • 中英双语长文本渲染：训练终阶段文本上限 4096 token，能把页级长度的文字段落整段画进图里；
  • 显式布局控制：通过文本条件通路直接吃 JSON 布局（元素 + bounding box + 字体属性），按坐标摆放文字和物体；
  • Agent 做规格生成：PE 模块把一句话需求扩写成"内容 + 排版"规格再交给渲染器，短的原始提示在 RLA 上只有 1081.70 Elo，JSON 布局提示拉到 1622.87。

架构：5B 单流 DiT，从零预训练

渲染主干是 5B 单流 DiT：42 个 block、hidden size 3072、24 头注意力（每头 128 维）、FFN 8192。文本侧用冻结的 Qwen3.5-9B 提特征（4096 维），经线性投影降到 3072 再加两个 text-only Transformer 块；图像侧用冻结的 FLUX.2 VAE（取自 FLUX.2-klein-4B，32 通道、8 倍下采样），latent 按 2×2 成组，有效步长 16 像素，1024² 分辨率对应 4096 个 image token。位置编码是 4D RoPE，坐标轴为（r, t, w, h），其中 r=0 对应的部分维度不旋转（partial RoPE），是为将来接参考图条件预留的——当前版本没有参考图输入。

关键在于条件接口：训练时一部分样本用多粒度 caption，另一部分用结构化标注（全局描述 + 逐元素 bbox / 类别 / 逐行转写文本 + 字体属性），两类都走同一条文本通路喂进去，于是推理时模型既能跟自然语言、也能跟 JSON 布局。

反直觉的数据配方："标注而不过滤"

语料从 ReLAION、OmniCorpus、DataComp 等公开数据构建，SSCD 去重加自研 AI 图检测后从约 50 亿张收到约 30 亿张。之后团队做了一件反直觉的事：不再做质量过滤，水印、模糊人脸、压缩痕迹这类"脏属性"全部写进文本标注，让模型学会把残留属性也画出来。论文给出的 1.6M 步对照显示，额外过滤后 GenEval 从 0.6484 跌到 0.6244，OneIG 从 0.4363 跌到 0.3482——过滤把数据分布切窄了。

训练分三阶段，分辨率从 256² 爬到 1024²，文本上限同步放宽到 4096 token，终阶段在 310K 步取 EMA 权重。优化器用 Muon–AdamW 混合：eligible 矩阵走 Muon，其余走 AdamW。1B 消融里，到达 loss 0.41，Muon–AdamW 要 257K 步、AdamW 要 385K 步，省 33.2%。工程侧训练跑在"替代 GPU 平台"上，512 卡规模、packing 预算 8576 token/pack。

评测：长文本断层第一，布局控制拉满

LongLongTextBench（LLTB）：构造 240 个文学文本渲染任务（英中各 120，短中长三档），平均目标文本 1339.8 字符，总字符量 321,545，指标是 Qwen2.5-VL-7B 做 OCR 后的多集召回率六组等权平均（Mean-6）：

  • MOSS-Image：96.3
  • GPT Image 2：99.0
  • Nano Banana Pro：96.6
  • Qwen Image 3.0 Pro：94.3
  • FLUX.2：11.8

开源权重模型里断层第一；纵向看，它的短板也是最长的中文文本（92.4，比英文低 4.7 点）。

7Bench（布局控制）：224 张图、576 个目标物体，检出物体上的 mIoU：MOSS-Image 0.88，Ideogram 4.0 仅 0.44，检出率 0.77 也明显更高。

RealLayoutArena（端到端人类偏好）：61 个任务盲测两两对比，Bradley–Terry 拟合 Elo：GPT Image 2 以 1844.35 排第一，MOSS-Image + Layout PE 以 1698.70 排第二（293 胜 / 100 平 / 64 负）；把 PE 规格改写成统一自然语言、只比主干时，MOSS-Image 以 1807.34 Elo 排第一。

部署与显存

全量 bf16 权重约 27.2GB：transformer 约 10.2GB + Qwen3.5-9B 文本编码器约 16.8GB + VAE 0.25GB。单张 24GB 卡跑不了全量，Gradio 提供 GPU resident / Component / Sequential 三档内存模式，Component 档把编码器按需换入换出。默认采样：flow-mapping Euler、50 步、CFG 3、shift 5，示例代码跑 1456×1456。Apple Silicon 有官方文档（M1 Max / 32GB 验证过）。生态上 ComfyUI 原生支持（PR 17095），另有 8 步 DMD 蒸馏、FP16 修复版、去色带 LoRA 等衍生仓，社区 KohakuMossTrainer 宣称 6GB 显存即可做 LoRA 训练。

局限与边界

首先，主干只支持文生图：不能条件于参考图像，不支持图像编辑，4D RoPE 的参考轴只是预留，并非能力。其次，PE 模块依赖外部闭源模型（GPT-6），其审美判断、参考解读和事实错误都会直接传导进规格，完整系统的复现效果绑在 GPT-6 上。再次，训练数据以英文为主，没有专门的中文 caption 标注流程，最长的中文文本仍是明确弱点。

MOSS-Image 验证了一件事：密集文字和复杂排版不是靠更大参数堆出来的，而是"渲染器 + 规格生成"两件事一起做出来的——一条文本通路同时学自然语言和布局 JSON，"标注而不过滤"保住真实数据分布，一个 Agent 把模糊意图落成可执行规格。对想本地跑文生图的同学，优先 SFT 权重配 ComfyUI，显存不足就开 Component 模式；对做 agent + 生成系统的人，这篇最有价值的不是 5B 主干，而是"JSON 布局即条件"的思路。