Reka发布Rho-1：19B单网络统一文本图像视频与机器人动作，320张H100训三个月

10 月 5 日，Reka AI 发布了 Rho-1 的研究预览——一个 190 亿参数的「全推理」（omni-reasoning）模型。它的卖点不是参数规模，而是把当下主流的「一个大脑调度一堆专家模型」的拼装式架构，压成了一个神经网络。

在同一个模型里，文本、图像、视频和机器人动作都是 token。它既能理解，也能生成，还能真的动手。

现在的 AI 系统，其实是条流水线

Reka 在博客里先把问题说清楚了：今天绝大多数 AI 系统是 agentic pipeline。一个中心模型负责规划和派活，把具体任务交给各个模态的专用模型。每交接一次就多一层延迟，而且每个专用模型拿到的只是一个被转述过的窄请求，看不到完整的上下文。

更麻烦的是不对称。视觉语言模型（VLM）能吃文本、图像、视频，但只吐文本；视频扩散模型能接收多模态条件，但只吐像素。输入和输出的能力对不上，模型就被锁死在交互循环的半边。

Rho-1 想把这个循环补全。

一个网络，五种信号进出对称

Rho-1 把进出网络的所有信号归成两类原生格式：

  • 离散 token：文本、符号推理、高层指令。
  • 连续 token：图像隐变量、视频帧、机器人动作、本体感知（proprioception）。

因为输出格式和输入格式一致，模型生成的东西可以直接喂回自己的上下文。每个模态也保留了自己的自然形态，不需要把连续的动态过程压成有损的离散 token，也不用把语言硬塞进连续空间。

在每个 transformer block 里，算力被拆成两条专家权重流：一条理解流负责语言和视觉解析，一条生成流负责把噪声去噪成图像和视频。关键在于这两条流不是各跑各的——

  • 共享注意力与状态：两条流的 token 互相 attend，跑在同一个 KV cache 上。用户指令、思维链、之前的视频帧、已经发出的运动策略，全部累积在同一份上下文里。
  • 零延迟交接：由理解流决定这一轮输出什么模态。需要视觉合成时，它发一个离散的交接 token，生成流立刻从完整的累积状态开始渲染。

模型端到端用两个目标同时优化：离散序列走 next-token prediction，图像、视频和动作这类连续输出走 flow matching。两条流共享注意力和同一个表示空间，所以进步不会各自封存。Reka 的假设是：文本预训练让空间推理变强，视频一致性会跟着变好；从具身轨迹里学到更丰富的物理动态，实时操控就会更接地气。

五轮对话：画图、框选、动画、改天气、问答

官方放出的一段录屏最能说明问题。这是一段未经剪辑的连续会话：

第一轮，用户让它画「低空视角下海边岩石岬角上红白条纹的灯塔，正午强光」。模型先想清楚构图，然后渲染出 image:0。

第二轮，「给灯塔画个框」。模型直接在图上标出灯塔——注意它不是调用了一个目标检测模型，因为场景就在自己的上下文里，边界框是作为坐标 token 直接attend 到那个状态生成的。

第三轮，「让它动起来：无人机慢慢飞向灯塔」。模型从 image:0 的原始表示出发生成 video:0。第一帧不是重新编码的图片，而是上下文里原本就持有的表示，所以光照、几何、物体身份一路延续下来。

第四轮，「把视频改成暴风雪，岩石和草上要有自然的积雪，灯塔、房子和镜头运动完全不变」。模型生成 video:1。

第五轮，「两段视频有什么不一样？」模型直接读产生这个变化的隐状态来回答，而不是把导出的帧再跑一遍图像描述。

Reka 强调：每一个回复都来自同一个模型、同一段对话。它不是 agentic 系统，没有工具调用，没有第二个模型。

快到可以聊天

Rho-1 的基础版本生视频中位数是 0.79 倍实时速度，大约 6 秒后就能开始看流畅画面。

蒸馏版本把去噪轨迹从 99 步砍到 8 步，画质损失很小，直接把系统推进了可交互区间。Reka 的内部测试里，它生成一段 5.3 秒的视频只用了约 1 秒，是他们测过的视频模型里最快的；出图速度和最快的专用图像模型相当；文本首 token 也是最快的。

Reka 还演示了 Rho-1 Flash 用固定种子改提示词连续改视频：给金毛戴上圣诞帽、换成黑拉布拉多、加条红围巾、改成夜晚加北极光——五版渲染分别耗时 2.01 秒、1.11 秒、1.11 秒、1.11 秒、1.15 秒。

对照着看，一个多智能体流水线走完「路由—扩写提示词—排队—生成—返回」大概 13.8 秒，Rho-1 的「规划—生成」实测 7.0 秒。

机器人那一半：从互联网视频里抠控制信号

机器人部分是最不一样的一环。机器人训练数据稀缺，Reka 的做法是训练一个逆动力学模型，从普通互联网视频里反推出控制信号，而不是依赖录制的机器人操作日志。

结果是同一套网络权重，既预测相机画面，也控制机器人运动——内部对一帧相机的表示，同时就是驱动机械臂的信号，中间没有翻译模块。官方样片里有仓库机器人、四足机器狗、行星车、激光切割机和焊接机械臂。

只用了 320 张 H100，训三个月

帖子里所有结果，都来自一个从零开始训练的检查点：320 张 H100，训三个月。Reka 说这只是现代前沿语言模型和视频模型算力的极小一部分。

在他们看来，这点算力才是最值得说的：现在暴露出来的失败模式——长程漂移、跨时间的接地不稳、编辑脆弱、原生分辨率偏低——历史上都是靠规模改善的。更重要的是，统一架构的规模收益是复合的。在碎片化流水线里，新增算力要分给 LLM、图像生成器、视频骨干网络和动作策略四份；在 Rho-1 里，每一份新增 FLOP 都进同一个模型。

现在还拿不到

需要说清楚的是：Rho-1 目前是研究预览，没有公开权重，也没有公开的 API 和定价。官方提供的样本画廊是 60 段未剪辑片段，覆盖 10 个领域（真实驾驶、电子游戏、机器人、航拍、第一人称、天气、自然、工业、城市、室内），来自同一个检查点，没有按领域微调。

Reka 自己列出的局限包括：长程漂移、时间接地弱、编辑不稳定、原生视频分辨率目前封顶在 672×384。所有结果都来自 Reka 自己的帖子，目前还没有第三方基准测评。

有兴趣的团队（具身机器人、交互式仿真环境、闭环视觉-动作系统）可以通过 [email protected] 联系合作。

这件事的意义

Rho-1 值得关注的不是 19B 这个数字，而是它给出的架构方向：不是把一堆窄模型接线接起来，而是一个基础模型扛下整条回路。它能想象一个环境、跟踪环境的状态、回答关于它的问题、并让它动起来，全程不掉线。

Reka 把这种统一视为物理 AGI 的核心前提。放在眼下的行业背景里看，这个判断也解释了为什么越来越多团队开始押注全模态统一架构——拼装带来的延迟和信息损耗，已经成了体验的天花板。

至于这条路能不能走通，得等它被搬出精心挑选的演示之外再说。但至少从这 320 张 H100 三个月的产出看，方向是有说服力的。

来源：Reka AI 官方研究页面 reka.ai/labs/research/rho-1-collapsing-the-multimodal-stack，The Decoder、MarkTechPost 2026 年 10 月 5 日报道