DeepSeek开源DeepInfer推理引擎：支撑日处理155万亿token的生产服务，两天18k星

10月20日，DeepSeek宣布将内部推理框架DeepInfer全面开源，基于Apache 2.0协议。这不是又一个实验室项目——它是DeepSeek自家生产环境正在使用的推理引擎，支撑着DeepSeek V4.1 Flash的高吞吐、低延迟大规模推理服务。仓库上线当天即冲上Hacker News榜首（2000+分），约一天破1.5万星，两天内星数来到1.8万以上，fork接近2000。DeepSeek同时表示，未来新模型的推理代码及后续优化也将在这个仓库持续更新。

前沿实验室第一次交出serving层

过去大厂开源模型，通常只放权重；驱动这些权重的推理引擎才是决定每token成本的关键，却始终锁在内部。DeepInfer的README对此毫不避讳：项目“最初主要构建在vLLM之上”，同时借鉴了SGLang和TensorRT-LLM的设计思路——它不是一张白纸上的全新引擎，而是vLLM后裔加上DeepSeek自家的内核栈。

内核清单读起来像DeepSeek历次开源成果的“全家福”：FlashMLA（多头潜在注意力内核）、DeepGEMM（FP8矩阵乘）、DeepEP（专家并行通信）、TileKernels、DeepSelect，以及自研TileLang编写的定制内核。

特性清单：为超大规模MoE服务而生

DeepInfer当前支持唯一模型DeepSeek-V4.1-Flash（默认1017检查点），硬件目标为NVIDIA SM100级GPU与华为昇腾950 NPU两族。在这个范围内，它把一套生产级MoE服务技术完整公开：

  • 并行策略：Attention数据并行搭配均衡上下文并行（DP/CP），MoE专家并行加专家并行负载均衡（EP+EPLB）；
  • DSpark投机解码：轻量draft模块一次提出5个token，由目标模型批量验证，置信度头预测每个草稿的接受概率，低置信草稿直接跳过——据SiliconANGLE报道，这使每步需要验证的草稿token减少约30%，在DeepSeek生产负载下带来4%~7%的吞吐提升；
  • SWA有界重放：针对滑动窗口注意力的缓存未命中场景，不再按“层数×窗口长度”重算，只重放每个提示最后约128个token，将重计算成本钉死为常数——总prefill计算量接近减半；
  • 零开销异步批调度：CPU批调度与设备执行重叠，默认开启；
  • 批不变推理与确定性采样：设置DEEPINFER_BATCH_INVARIANT=1后，输出不随同批其他请求变化；配合固定种子可复现完全一致的采样结果（目前仅NVIDIA）。对调试temperature=0下抖动的评测来说，这个保证相当珍贵；
  • 结构化输出：内置正则、JSON Schema、EBNF文法约束。

基准测试以帕累托曲线形式公布：prefill在4块SM100 GPU上、decode在64块GPU上测得，各自位于一个scale-up域内。目前社区尚无与vLLM、SGLang的独立对比实测——这两个引擎已经轮流领跑性能榜两年，对社交媒体上流传的“快X倍”说法，建议保持观望。

生产数字与诚实的边界

随代码发布的部署Q&A透露了一组生产数据：DeepSeek一个集群目前每天处理约155万亿token，非高峰定价下成本约38美元/GPU/小时；第三方分析估算其日收入约2200万美元、毛利率约80%（未经审计）。

同样值得注意的是README明确“不给”的部分：完整推理服务所需的KV cache系统、prefill/decode分离、跨数据并行副本的负载均衡，这次都没有开源，官方解释是与内部基础设施紧耦合。配套的deepseek-recipe库可以复现官方API的token处理逻辑，但搭出完整服务仍要靠自己补齐。运行门槛也不低：Linux、GCC 13+、Python 3.12、CUDA 13（NVIDIA）或CANN 9.2（昇腾）。

谁该关注

在SM100或昇腾950上大规模跑V4.1 Flash的团队，这是厂商亲测的原生栈，值得立刻评估；在H100上跑Llama或Qwen的团队暂时无缘——当前只支持一个模型、两族硬件；做推理基础设施的工程师则拿到了一份免费教材：MoE专家并行、投机解码、滑动窗口重放在生产环境的真实工程决策，过去只能靠猜，现在有源码可读。

时机上颇有戏剧性：开源落地在PyTorch Conference首日，此前48小时内，美国国土安全部刚要求联邦民用机构移除DeepSeek产品，中国商务部也就AI技术出口管制目录公开征求意见。地缘与开源在同一条时间线上交汇。对行业而言，更大的悬念是：前沿实验室的serving层第一次被摆上台面，第三方推理服务商的成本曲线和API定价，可能都要被重新校准。