英伟达开源 PixelUMM：甩掉 VAE 和 ViT，直接在像素空间统一图像视频理解与生成

一句话看懂

2026 年 11 月 1 日，NVIDIA TLibs 联合滑铁卢大学开源了 PixelUMM（Encoder-Free Unified Image and Video Understanding and Generation）。它最大的不同是：既不用 ViT 视觉编码器，也不用 VAE 潜变量 tokenizer，而是把原始像素直接接进一个共享的 Transformer，用同一套模型同时做图像理解、视频理解、文生图和文生视频。代码已在 GitHub（nv-tlabs/PixelUMM）开源，模型权重托管在 Hugging Face（nvidia/PixelUMM）。

为什么需要它

统一多模态模型（UMM）通常给"理解"和"生成"各配一套视觉表示：理解用 ViT 提取语义特征，生成用 VAE 提供潜变量。结果同一张图要以两种 token 进入上下文，视觉上下文被拉长；这种双流接口也和 VLM 常用的单一视觉流不同，难以直接复用成熟的预训练流程。近期的像素空间建模（如 JiT）证明图像生成可以绕过 VAE 直接在像素上进行，但把这一思路扩展到视频并不容易——视频生成依赖 3D VAE，视频理解又常逐帧用图像编码器，两者对时间维度的表示方式并不一致。

它怎么做的

PixelUMM 把图像切成 16×16 的空间 patch，把视频切成 16×16×4 的时空 tubelet（4 帧），理解和生成共用这种表示，只经过一层线性投影就把原始像素接入共享的多模态主干。主干采用 Mixture-of-Transformers（MoT）架构：理解专家和生成专家各自拥有独立的参数，却共享同一个注意力。模型以 Qwen3-8B 为语言基座，总参数约 15.2B。

它还去掉了显式的时间步嵌入和以时间步为条件的 AdaLN——去噪网络只接收加噪像素，由模型自己从像素中推断噪声强度。四类任务（图像理解 I2T、视频理解 V2T、文生图 T2I、文生视频 T2V）被统一序列化为 ChatML 对话格式，视觉输入和生成目标都占据对话里的原始像素 token 区间；注意力上采用广义因果机制：文本内部因果、每个图像或视频块内部双向、后续块能看到前面所有块。

训练与关键经验

文本部分沿用 BAGEL 的交叉熵设计，只对回复计算损失；像素部分沿用 JiT 的 x-prediction（直接预测干净像素），但损失在速度空间（v-loss）中计算，三者加权求和。论文围绕 8 组对照实验给出了实用经验：16×16 patch 比 32×32 的生成损失更低（更强的空间压缩反而更难学）；视频 tubelet 采用 p16/t4，与 Wan2.2 等常见视频 VAE 的压缩比一致；线性输出头在天空、墙面等平滑区域会留下轻微 patch 网格伪影，卷积输出头（Wan 式或 PixelShuffle）能更好抑制；8B 模型达到相同损失所需的训练步数约为 1.7B 模型的 1/3。

基准表现

在公开基准上，PixelUMM 的整体表现与先进基线相当。图像理解方面，它在 CountBench（94.30）和 PixMo-Count（73.03）上取得表中最佳；视频理解方面，在统一模型里 MVBench（70.53）、Video-MME（57.33）、LongVideoBench（59.61）、LVBench（40.41）四项均居首；图像生成 GenEval 得分 0.77，用 BAGEL 的长 prompt 改写后提升到 0.83，DPG-Bench 总分 85.74；视频生成 VBench 总分 83.24，其中 Imaging Quality（67.63）、Temporal Style（25.84）、Overall Consistency（27.90）三项在统一模型中排名第一。官方放出的视频示例为 832×464、96 帧（4 秒、24fps），所有像素都由模型直接输出，不经过任何 VAE 解码器。

意义与边界

PixelUMM 用单层线性投影加 MoT，就统一了图像与视频的理解与生成，证明无编码器的像素空间统一建模是可行的，为后续统一多模态模型提供了可复现的设计参考。需要指出的是，各模型训练数据不同，这些分数不能说明哪种架构更优或哪个模型收敛更快；开源代码采用 Apache-2.0 协议，模型权重目前仅支持非商用科研评估。对于想要本地试验像素空间多模态研究的人来说，它是一份干净的起点。