Strata 开源：一张 12GB 游戏显卡跑 125B 大模型，本地每秒 94 tokens

1250 亿参数的大模型，过去只有数据中心的服务器才带得动。一个叫 Strata 的开源项目改变了这件事：它能让 Qwen3.8-Flash-Next 这款 125B 参数的模型，在一台普通游戏 PC 上流畅运行——一张 12GB 显存的显卡、64GB 内存就够了，输出速度最高每秒 94 个 token，比人阅读的速度还快。项目采用 MIT 协议在 GitHub 开源，Windows 和 Linux 都支持。

它解决什么问题

Qwen3.8-Flash-Next 是通义团队的大模型，通常需要数百 GB 显存的服务器才能跑。Strata 的目标很直接：把这种"服务器级"模型塞进消费级硬件，而且全程本地运行，对话、写代码、看图、对接编程 Agent，数据一个字节都不出你的电脑。

实测成绩单（官方在两台普通游戏 PC 上测得）：

  • NVIDIA 平台（RTX 5070 12GB + Ryzen 5 7600 + 64GB 内存）：Q2_0 量化下输出 94 tokens/s、读入长文本 2650 tokens/s；更高精度的 IQ3_S 下也有 53 tokens/s
  • AMD 平台（RX 9070 XT 16GB + 47GB 内存）：Q2_0 下输出 60 tokens/s、读入 1160 tokens/s
  • 显卡越好越快：RTX 3090（24GB）预计能跑到每秒 100~140 tokens

每秒 60 个 token 就已经快过人的阅读速度，这套成绩意味着本地大模型第一次有了"不卡手"的体验。

原理：把整个电脑变成一块"分布式显存"

Strata 的核心思路是把模型的工作分摊到整台机器上，官方用了一个厨房的比喻：常用的东西放在台面上，其余的收进储藏室。

具体拆开看，Qwen3.8-Flash-Next 是一个拥有 24576 个"专家"的 MoE 模型，每个词只需要其中 10 个专家参与计算。Strata 据此做了分级放置：

  1. 显卡显存里放访问最频繁的几千个专家
  2. 全部专家放在内存里，剩下的交给 CPU 并行处理
  3. SSD 上存一张大的查找表兜底

光有分级放置还不够，Strata 还用了投机解码（speculative decoding）：先由一个小模型猜出接下来几个词，再让大模型一次性批量验证，答案质量不变，速度提升 1.6 到 1.8 倍。读长文本时按最多 8192 token 的大块做预填充，吞吐超过每秒 1000 token。

上手门槛：比想象中低

硬件要求：

  • 显卡：NVIDIA RTX 20/30/40/50 系或 AMD RX 7000/9000 系，12GB 显存起步，支持多卡分摊
  • 内存：32GB 起步（决定能跑哪个规格），64GB 可以解锁全部规格
  • 硬盘：约 80GB 空闲空间，建议 SSD
  • 系统：Windows 10/11 或 Linux

安装是真正的一键式：Windows 双击 START-HERE.bat，Linux 跑 ./setup.sh，安装器自动识别显卡、下载约 70GB 的模型文件（支持断点续传），然后自动校准引擎。启动后在浏览器打开本地地址就能用，同时提供 OpenAI 和 Anthropic 兼容的本地 API，可以直接接进 Claude Code、Cursor 等编程工具，还带 MCP 服务端和图片输入支持。

一个有趣的设计是它甚至写了专门给 AI 看的安装文档（AI_SETUP.md）——你可以让另一个 AI 助手帮你把 Strata 装好。

按内存选规格

  • 32GB 内存：选 Coder 版（裁掉一半专家的代码特化版，保留完整模型 91% 的 SWE-bench Verified 成绩；代价是代码之外的中文等能力偏弱）
  • 48GB 内存：IQ2_XS 或最快的 Q2_0
  • 64GB 内存：推荐 IQ2_XS，追求质量选 IQ3_S（最慢但最聪明）
  • 96GB 以上：IQ3_S 或实验性的 Unsloth 4bit 版

还有个 Swift 1.5 微调版，思考链更短，回答来得更快，质量基本不掉。

值得一提的边界

大文件的加载需要一点耐心：首次启动时 Strata 要把 35~55GB 数据载入内存并锁定一部分给显卡，电脑会卡顿 1~3 分钟，属正常现象。AMD 部分规格还在完善中，文档里明确标注了待测项。代码特化版 Coder 对中文支持较弱，需要中文能力的用户应选保留全部专家的通用规格。

结语

Strata 代表了本地推理的一个务实方向：不去跟云端拼模型大小，而是把"分级放置 + 投机解码 + 量化"这些工程手段叠加起来，让消费级硬件的每一 GB 显存和内存都物尽其用。对于注重数据隐私、想在自己机器上跑大模型的开发者和极客玩家来说，这是目前门槛最低的方案之一。项目基于 llama.cpp/ggml 构建，MIT 协议，模型本身由 Qwen 团队发布、ISTA-DASLab 等社区量化。

来源：GitHub 项目 Niko1221/Strata 仓库 README（纯文本整理）