华为开源 MACaQ:一套量化工具通吃文本图像视频音频,122B 大模型 64 分钟压完只要 32.5GB 内存

大模型量化这件事,过去一直是"一种模型一套工具":语言模型用一套、 diffusion 图像模型用另一套、语音模型再来一套,量化完还得挑对应的推理引擎跑。华为诺亚(huawei-csl)开源的 MACaQ 想把这件事统一掉——一个模型无关的量化框架,文本、图像、视频、音频全都能压,压完还能在 llama.cpp、vLLM、Diffusers、PyTorch 这几套主流引擎上直接跑。

MACaQ 是什么

MACaQ 全称 Model Agnostic Calibrated Quantization(模型无关的校准量化),2026 年 11 月 10 日首次开源,采用 Apache 2.0 协议,配套论文编号 arXiv 2611.10649。项目由华为诺亚方实验室 Philipp Bich、Lukas Cavigelli 等人主导,目前 GitHub 上约 379 颗星。

它解决的核心问题是"量化精度损失":把模型权重从 16 位压到 4 位甚至 2 位,体积和显存能大幅下降,但精度往往跟着掉。MACaQ 的做法是引入校准(calibration),用少量校准数据去算每一层最合适的量化参数,从而在低精度下尽量保住模型能力。官方给出的两个关键数字很直观:一台设备 64 分钟就能把一个 1220 亿参数(122B)的模型量化完,全程只占约 32.5GB 设备内存;在 Llama-3-8B 上,它的困惑度(perplexity)比 MR-GPTQ、DuQuant++ 更低,或者用相当于它们 1/11 的量化时间达到同样的最佳困惑度。

一个工具,四类模型,四种后端

MACaQ 的"模型无关"不是口号,README 里按后端分了四条清晰的产品线:

Diffusers 后端——面向图像、视频、音频生成,用 W4A4(权重和激活都压到 4 位)。量化 diffusion transformer 后保存成 safetensors 检查点。官方给出的支持样例包括 Black Forest Labs 的 FLUX.2-klein-4B(图像生成)、Wan-AI 的 Wan2.2-TI2V-5B-Diffusers(视频和图生视频)、以及 stable-audio-1.0(音频生成)。图生视频任务会在校准阶段用上条件图像。

llama.cpp 后端——面向文本生成,输出 2/3/4 位的 GGUF 格式,还支持 CPU 运行。支持列表很长:Qwen3-4B 稠密模型、Qwen3.8-27B 混合文本、Qwen3-30B-A3B 与 Qwen3-Coder-30B-A3B 等 MoE 模型、Qwen3-Next-80B-A3B,以及 OLMoE 等。官方还提供了一张对比图,把 MACaQ 量化的 Qwen3-4B GGUF 和社区已有的 GGUF 按文件大小、相对 FP16 的 KL 散度放在一起比。

vLLM 后端——面向文本生成和在线服务,默认 W4A4,也支持仅权重量化。以 Qwen3.8-27B 为例,相对原始 BF16(设为 1× 基准),MACaQ W4A4 的困惑度只从 2.8463 微升到 2.8994,而 prefill(预填充)速度快到 2.33 倍、decode(解码)速度快到 2.58 倍——精度几乎不掉,吞吐翻倍。

PyTorch 后端——面向语音生成,同样 W4A4,压完保存的检查点下次直接加载,不用重新校准。样例包括 Qwen3-TTS 和 Chatterbox Turbo。

此外项目还列了 Ascend(昇腾)后端,与华为自家硬件生态呼应。每个后端建议用独立的 Python 3.12 环境。

MACaQ-R:给已有 GGUF 再"精修"一次

除了从零量化,MACaQ 还放出了一个配套工具 MACaQ-R,专门用来"精修"已经量化好的 GGUF 模型。它不改原生格式和块缩放(block scales),只优化权重编码,因此精修后的 GGUF 在标准 llama.cpp 上照样能跑,兼容性不受影响。

官方拿 Qwen3.6-35B-A3B 做了对比:同样是 Q4_K_XL、同样 22.36GB 的体积,Unsloth 的 UD-Q4_K_XL 版本 KL 散度是 0.015731,而 MACaQ-R 版本做到 0.013367——同样的大小,质量更好。项目已经在 Hugging Face 放出了这个精修版 GGUF 供下载。

从命令看,精修流程大致是:拿一个已量化的 GGUF、对应的原始模型、一个 FP16 教师模型、一份校准文本,跑一次 refine 就能产出 MACaQ-R 版本,之后用 llama cli 或 llama serve 直接加载。

谁会用得上

对普通用户来说,MACaQ 最直接的价值是让本地跑大模型更省显存、更快:32.5GB 内存量化 122B 模型这个数字,意味着过去得靠多卡服务器才能做的量化工作,现在单机就能完成。对开发者来说,一套工具覆盖四种模态、四种推理后端,省去了在多个量化工具之间切换的麻烦。对国产算力生态来说,Ascend 后端的存在让它在昇腾硬件上有了落点。

需要提醒的是,MACaQ 的精度数据(困惑度、KL 散度、1/11 量化时间)目前主要来自官方论文和 README,还没看到大规模第三方复测;榜单式的横向对比也多是官方自测。量化精度是否真如宣传般"几乎不掉",还得看具体模型和具体任务。此外 W4A4 这类激活也量化的方案,对推理引擎的支持度要求更高,落地时要确认自己用的引擎版本能吃到加速红利。

项目地址在 GitHub 的 huawei-csl/MACaQ 仓库,论文、Hugging Face 模型集合、各后端安装与量化教程都在 README 里有链接。官方还预告,用 MACaQ 量化的 Qwen4-27B 模型(兼容标准 llama.cpp)即将放出下载。