微软发布 Mage-VL-Cowork：4B 混合智能体把「点鼠标」和「写代码」装进同一个模型

微软 Mage 团队近日在 Hugging Face 上放出了一款名为 Mage-VL-Cowork 的开源权重模型。它不是又一个只会点点点的电脑操作智能体，而是一个参数只有 40 亿、却在单一策略里同时学会了「看屏幕点界面」和「开终端写代码」的混合智能体。模型卡显示，它在 OSWorld-Verified 这个 361 项桌面任务基准上拿到了 66.0% 的成绩，是 4B 量级里目前公开报告的最高分。权重以 Apache-2.0 协议开放，bf16 版本约 9.48GB，社区 4 位量化后降到约 2.7GB，意味着一张游戏显卡就能本地跑起来。

一个策略，两种动作

传统电脑操作智能体（CUA）大多困在「鼠标键盘循环」里：哪怕只是改个表格里的几个数，也要靠几十次点击和截图完成。Mage-VL-Cowork 的特别之处在于，它把两种动作通道合并进了同一个视觉语言策略（vision-language policy）：每一轮，模型先输出一段简短推理，再给出一个工具调用，这个调用要么是 GUI 动作（在归一化坐标里的鼠标点击和键盘输入，共 11 类基本原语），要么是一条在持久 Python 环境里执行的 shell 命令。没有额外的路由器来决定该走哪条路——模型自己学会在什么时候截图、什么时候开终端。

这种「混合」设计的出发点很实在：很多桌面任务用一段脚本几秒钟就能搞定，硬要走图形界面反而又慢又容易出错。官方演示里有一个合并电子表格单元格的例子，智能体完全跳过了界面，直接用 openpyxl 在终端里改文件，6 步、39 秒就完成，全程只碰了一次界面。而在 GIMP 的例子里，它又老老实实在界面上操作，用终端去检查保存图片的属性。什么时候用视觉、什么时候用代码，是模型自己在一次策略里权衡的。

66% 这个数意味着什么

模型卡报告的 66.0% 是 OSWorld-Verified 在 50 步预算下的成绩，背后是 361 道留出题，排除 Google Drive，桌面分辨率固定在 1920×1080。两次跑分分别是 65.33% 和 66.75%，平均 66.04% 后四舍五入成 66.0%。微软还公布了分项：操作系统类任务 87.5%，多应用工作流 62.7%——这个落差提醒我们，跨应用协作才是它的短板，落地前要先测自己真正要做的活。官方对比表里，它压过了更大的开源模型 Muse Glimmer-30B（65.9%）和 Qwen3.6-27B（63.9%），不过这些数字都来自微软自家评测，独立实验室尚未复现，官方榜单头部仍是 86% 左右。

训练配方比分数更有复用价值

比起分数，更值得开发者借鉴的是它的训练方法。Mage-VL-Cowork 从一个中间的 Mage-VL 4B 检查点出发，经过五阶段「先专精、后统一」课程：先做面向 GUI 的中训练（每轮 246 亿 token），再依次做 GUI 智能体 SFT（15.67 万条轨迹）、编码与终端 SFT，最后通过混合 SFT 和异步在线混合 RL 把两套能力统一。视觉端用自家的 Mage-ViT（16×16 patch、空间合并尺寸 2、3D RoPE），语言端用阿里 Qwen3-4B-Instruct-2507，架构是 llava_onevision2，活动上下文 32768 token，最长支持到 262144。

在线混合 RL 在混合 SFT 基础上又加了 10.16 个百分点，同时把平均模型调用次数降了 13.0%、输出 token 降了 25.4%——也就是说，会选路的模型不仅更准，还更省 token。团队还构造了一个叫 Mage-CUA-Forge 的工作流合成引擎，跨 6915 个原子技能生成了 29.38 万道桌面与网页任务，保留了 31.88 万条验证过的混合轨迹（68.19% 是 GUI 工具调用，31.81% 是终端调用），把每道题的数据生成成本砍了 82.6%，token 用量降 93.3%，单题花费从 0.906 美元压到 0.158 美元。另一个「进化教师脚手架」通过剪掉 xdotool 这类重叠工具、预装领域 Python 库，把 GPT-5.4 教师模型提到 92.0%、步骤少 29.2%，学生端 4B 模型因此多了 12.5 个百分点增益。

它是什么，不是什么

需要明确：Mage-VL-Cowork 是一个研究检查点，不是产品。微软在模型卡里写明「仅用于研究目的，不打算用于产品或服务的部署」，它和 Microsoft 365 里收费的 Copilot Cowork、以及 Claude 的 Cowork 都没有关系。实际用起来也有粗糙边缘：截至 10 月 31 日，社区反馈称还没有现成的 llama.cpp、Ollama 或 LM Studio 能加载它的视觉投影模块，MLX 移植还停留在开放拉取请求阶段。加载代码很简单（AutoModel.from_pretrained("microsoft/Mage-VL-Cowork", trust_remote_code=True)），但真正要用起来，离不开配套的执行沙箱——模型本身只产出工具调用，由独立环境执行并回传观察。

工作记忆上，它用非对称滑动窗口保留最近 3 张截图、4 段完整回复和折叠后的动作历史，把上下文长度压住。动作通道除了 computer_use 还有 bash（持久 shell 和 Python 环境），输出格式固定为「推理 + 动作摘要 + 工具调用」。对开发者来说，一个 4B、可自托管的桌面智能体基线，价值在于把电脑操作自动化从「只能调 frontier API、每帧都上传」的昂贵模式，拉回到一张工作站显卡就能实验的门槛。至于 66% 能不能在你的机器上复现，取决于评测环境——那才是判断它到底是里程碑还是营销的关键。

本文综合整理自微软 Mage 团队官方模型卡、arXiv 技术报告及多家科技媒体公开报道。