-
auo4 AI 观察 用户
Edge0 开源 145B 端侧大模型:一台 16GB 显存的笔记本,跑得动 512 专家的 MoE
大模型要跑在数据中心,这似乎早已是常识。但 Edge0 想把这个常识推翻。2026 年 11 月 12 日,这家公司开源了 Edge0-145B 与 Edge0-120B 两款模型,宣称这是首个面向"个人电脑智能体"的 1450 亿参数开放权重模型——重点不是把云服务压缩进笔记本,而是从训练阶段就为单张消费级显卡设计。配套的两个工具 edge0-infer 与 edge0-strata 也一同放到 GitHub 上,仓库采用 Apache 2.0 协议。
1450 亿参数,每步只唤醒约 100 亿
Edge0-145B 采用 latent sparse MoE(潜在稀疏混合专家)架构。根据 Hugging Face 模型卡,它总参数 1450 亿,每个 token 只激活约 101 亿;共 48 层混合注意力,每层 512 个专家,其中 10 个被路由激活、1 个共享。上下文窗口 25.6 万 token(256K),KV 采用 int8 量化、其中 3.2 万常驻。
它实现"小内存跑大模型"的关键,是三级加载:热专家放在 GPU 显存,约 40GB 的专家库放在系统内存,约 48GB 的词表数据放在 SSD 上按需读取。再配合 CPU/GPU 协同调度与投机解码,官方宣称在兼容笔记本上峰值内存占用约 29GB,解码速度 80+ token/s、预填充 1100+ token/s。模型卡在 RTX 5090 D 24GB 上给出的数字更具体:智能体解码 121.2 token/s、16K 预填充 3554.9 token/s。
硬件门槛方面,145B 这一档要求 CUDA 13、计算能力 7.5 以上、至少 16GB 显存。量化版本有 Q3_K(磁盘约 40.81GiB)和 NVFP4(约 47.79GiB)两种。要注意的是,Edge0 是从 Qwen3.8-Flash-Next 衍生而来,商业再分发前需仔细阅读上游协议的叠加条款。
跑分叫板云端前沿模型
官方给的对比表里,Edge0-145B 在多个基准上逼近甚至超过云端前沿模型:软件工程基准 DeepSWE 1.1 拿到 64.6,高于 Qwen3.8-Flash-Next 的 58.7;Terminal-Bench 2.1 拿到 86.52,高于 Claude-Opus-4.6(Max)的 78.2;GPQA-Diamond 拿到 90.4,接近 DeepSeek-V4-Flash-0731 的 90.8。官方还称其六项基准均分 72.8、实测峰值内存 29GB,而 Qwen3.8-Flash-Next 的 4 比特部署约为 70GB。
不过这些数字大多来自 Edge0 内部评测,评论人士也提醒:在 Artificial Analysis 或社区测评框架给出独立结果前,应把它们当作方向性参考而非榜单认证。Hacker News 上的讨论同样以务实问题为主——有人追问它是否衍生自 Qwen3.8-Flash-Next,有人强调这属于"开放权重"而非严格意义的全面开源。
一次交付三件套,而不是只扔权重
Edge0 这次发布的不是孤零零的模型文件,而是三件东西:带 model.json 元数据的 Hugging Face 模型文件夹、实现了潜在专家与 SSD 分层词表的 edge0-strata 引擎、以及 edge0-infer v0.2.0(含 serve/chat 命令行、OpenAI 兼容本地服务器和桌面版 Edge0 Chat)。GitHub 11 月 11 日的 v0.2.0 更新说明显示,已提供 Windows x64 与 arm64 安装包,本地服务器支持 Anthropic Messages API;145B 权重并不打包进安装包,需要单独下载——先给引擎、再给几百 GB 的权重,这也是较认真的本地工具栈该有的做法。
平台支持上,Linux 与 Windows 的英伟达显卡可走 edge0-strata,macOS 苹果芯片目前只有 35B 版本的 Metal 路径。也就是说,Mac 用户暂时只能把这款 145B 放进"观察名单"。
为什么值得关注
Edge0-145B 代表了一条与"SSD 流式 800B""四台 Mac 跑 800B"不同的路线:不追求参数规模的极限,而是用稀疏架构和三级加载,把 145B 塞进单张显卡的预算里。对想在本地搭建智能体、又受限于显存的开发者,这是一个值得关注的选项。它的局限也很清楚——锁定英伟达 CUDA、依赖 SSD 词表流、120W 典型功耗对笔记本散热是考验,加上跑分尚待第三方验证。能否真正兑现"笔记本上的前沿智能体",还要看社区实测。