Underdog AI 开源 Saluki 27B：把 54GB 大模型压到 7.89GB，工具调用反超全量版

10 月 8 日到 9 日，Conway Research 旗下的 Underdog AI 团队在 Hugging Face 上放出 Saluki 27B，采用 Apache 2.0 许可，仓库名为 ConwayResearch/Underdog-Saluki-27B-1.0。它不是又一个从零训练的新模型，而是把阿里的 Qwen3.8-27B 做了一次极致的 2-bit 量化——原版全精度约 54GB，压完只剩 7.89GB，约为原来的七分之一，却能在标准 llama.cpp 里直接跑，无需任何自定义编译。

压缩到七分之一，还能保住「工具调用」这根骨头

Saluki 的底模 Qwen3.8-27B 有 64 层，混合了 Gated DeltaNet 线性注意力与门控注意力，原生支持 262144 token 的超长上下文。Underdog 的构建链路分三层：先在阿里底模上，由 ISTA-DASLab 用分组标量量化与速率约束优化（GSQ-RCO）做出 8.4GB 的 IQ2_XS 版本；随后 Underdog 再叠一层自定义的 IQ2-mix 处理，带上 imatrix 标签，把体积进一步压到 7.89GB，并且把优化目标明确对准「工具调用保真度」。

这一点是关键。量化通常会让模型全面变笨，但 Saluki 刻意保护了「选对工具、填对参数、知道什么时候不该调工具」这项把聊天模型变成 Agent 的能力。在 Underdog Bench（120 道来自 Berkeley Function Calling Leaderboard v4 的冻结任务）上，Saluki 通过 88 道，全精度 Qwen3.8-27B 反而只通过 84 道；在 100 道并行工具调用题里，Saluki 成功 42 次，全量版 35 次。九项基准平均保真度约 96%，指令遵循 IFEval 上 93.5 对 91.5，也小幅超过原版。Underdog 甚至援引 Artificial Analysis 的说法称，在「挑工具」这件事上，Saluki 的表现压过了半年前的 frontier 模型 Claude Opus 4.6 Max。

代价也很清楚：数学和长推理掉得明显

极端压缩不是没有代价。在重推理项目上 Saluki 掉到了原版的 82% 到 85%：AIME 2025 数学 79.2 对 96.7，AIME 2026 为 80.0 对 94.6；MuSR 推理 67.5 对 79.6；MBPP+ 编码 78.0 对 83.9；SWE-bench Verified 解决 30/50 个软件问题，全量版 33 个。换句话说，它是一个为「会用工具的 Agent」而非「数学奥赛选手」设计的模型——日常推理和工具调用撑得住，复杂多步逻辑和高级编码则建议留一个更大的模型兜底。

8GB 文件，12GB 显卡才是现实底线

「不到 8GB 文件」是好听的营销话术，真实运行时未必如此。本地用 llama.cpp 起一个 OpenAI 兼容 API，32K 上下文窗口会额外吃掉一份 FP16 缓存，把总显存推到约 9.5 GiB。也就是说，8GB 显卡跑重负载 Agent 工作流几乎不可能不靠慢到离谱的系统内存卸载；真正稳妥的入门门槛是 12GB 显卡，比如消费级的 RTX 3060 12GB 或 RTX 4070。在单张 DGX Spark 上，Docker Compose + llama.cpp 能跑到约 53 tokens/秒；更贴近玩家的 12GB 主机则能稳定拿到 18–19 tokens/秒。社区实测里，长上下文检索（RAG）能拿 15/15 满分，作为本地检索增强引擎相当能打。

为什么这件事有意义

Saluki 27B 证明了一件事：超定向量化可以保住最关键的 Agent 能力，而不必要求企业级算力。它把「本地、隐私优先、离线可用」的 Agent 从显存焦虑里解放出来——一张消费级显卡就能跑一个不把数据送出机器的私人助手，做任务自动化、查内部系统、跑 RAG。配合一条命令起的 Docker 部署和 OpenAI 兼容 API，企业级 AI 基础设施与本地开发者环境之间的那道墙，正在快速消融。对预算敏感、又想用上可控本地智能体的团队来说，这是一份现成的、可照抄的蓝图。

（资料来源：Underdog AI 官方页面、MarkTechPost、KGA IT、i10x.ai 与 techgogogo 等公开技术报道）