Kimi K3开源：2.8万亿参数全球最大开源模型，自主设计芯片仅需48小时

7月16日，月之暗面正式发布Kimi K3，成为全球首个真正落地的三万亿参数级别开源模型。

架构创新

核心架构

  • 总参数2.88万亿，每token激活1040亿
  • 采用Kimi Delta Attention（KDA）与Attention Residuals混合架构
  • 超稀疏MoE架构，896个专家中激活16个
  • 原生支持100万token上下文

扩展效率 相比K2，整体扩展效率提升约2.5倍。

硬核案例

GPU编译器开发：Kimi K3独立开发了MiniTriton编译器，性能媲美Triton。

芯片设计：在48小时自主运行中，设计了一款服务于nano模型的芯片，在4mm²面积内实现100MHz频率和8700 tokens/s解码吞吐量。

研究加速：复现I-Love-Q universal relations，完成原本需要1-2周的工作仅耗时约2小时。

来源：https://www.kimi.com/blog/kimi-k3