OpenAI 亮出首款自研推理芯片 Jalapeño:9 个月流片,用 AI 设计 AI 芯片

11 月 18 日,OpenAI 在官网发布技术报告《Advancing chip design with OpenAI models》,系统披露了它如何通过自研的 AI 模型反过来设计芯片。最受关注的部分,是 OpenAI 首次公开了首款定制推理芯片 Jalapeño 的细节——这款由 OpenAI 与博通(Broadcom)联合开发的专用推理 ASIC,从架构设计到流片制造只用了 9 个月,OpenAI 称这是高性能先进半导体领域有史以来最快的开发周期。

这款芯片被 OpenAI 定义为"智能处理器"(Intelligence Processor),专为大语言模型推理从零打造,而不是从通用加速器改造而来。它的亮相,标志着 OpenAI 正式加入谷歌、亚马逊、Meta 等自研芯片的行列,把算力成本的控制权更多握在自己手里。

从 GPT-4o 参与设计说起

Jalapeño 的故事,起点其实在 2025 年初。OpenAI 透露,工程师当时就开始用 GPT-4o 辅助芯片设计。即便以今天的标准看,那还是相对早期的模型,但它已经能在芯片微架构里识别出真正有价值的优化空间。

一个具体例子是向量单元(Vector Unit)——负责管理和执行并行计算任务的核心模块。GPT-4o 通过分析浮点加法器、乘法器、数据转换函数、归约逻辑以及特殊功能单元等电路,探索不同的逻辑实现方式和流水线划分方案,从中找到了硬件资源复用、减少中间数据存储的机会。

这套"用 AI 设计 AI 芯片"的方法,后来被证明价值不小。在同份报告里,OpenAI 还披露:它帮助 AMD 优化旗舰 GPU 的 IP 内核,相较已经高度优化的基准设计,最高实现了 14% 的 PPA(功耗、性能、面积)综合改善。AMD 已把部分方案纳入近期送交制造的芯片设计。在约 11.2 万 Token 的可比预算下,最新的 GPT-6.2 Astra 在两款开源 RISC-V 处理器的 RTL 优化和"从规格设计处理器"两项任务中,都拿到了最高平均分。

为推理而生:把数据搬运压到最低

Jalapeño 是一颗纯粹的推理芯片,不做训练。OpenAI 的设计重心非常清晰:最大限度减少数据移动,让计算、内存和网络紧密咬合,使利用率逼近理论峰值。

从架构上看,它以大型矩阵乘法引擎为主,针对 FP8 或 INT8 运算优化,对敏感层可能保留 BF16 兜底;用 HBM 高带宽内存存放权重和 KV 缓存,芯片上还有专门的 SRAM 切片服务 KV-cache 分块和临时激活。OpenAI 硬件项目负责人 Richard Ho 描述,这颗芯片围绕"对前沿 AI 模型最重要的内核、内存搬运、网络和服务模式"来设计——换句话说,就是针对批处理 QKV 投影、MLP 矩阵乘、融合归一化、以及高吞吐的 KV 缓存读写做深度定制。

系统层面,Jalapeño 借助博通的 Tomahawk 交换芯片扩展,可规模化到数千颗芯片组成的集群,节点间走高带宽以太网。博通负责芯片实现和高速网络,台积电(TSMC)负责制造,Celestica 负责主板、机架和系统集成。OpenAI 表示,XPU 设计要结合内核、内存系统、网络、调度和部署系统,作为一个统一的栈来协同设计。

性能说法与真实数字

发布至今,OpenAI 没有公布任何一个 TOPS 数值、tokens/s 测量或延迟分布,外界能看到的更多是定性表述和第三方零散数据。

博通 CEO Hock Tan 称这颗芯片在 OpenAI 的工作负载上"表现和英伟达 Blackwell GPU、谷歌 TPU 一样好",成本大约节省一半。SemiAnalysis 受邀进入 OpenAI 实验室,用 InferenceX 基准套件做了首次第三方测量:在并发为 1 的情况下,跑 DeepSeek R1 达到每秒 700 token 以上且未使用推测解码,每瓦吞吐优于对比的英伟达系统——不过该机构也明确说明,数字由 OpenAI 提供,对比对象实际是同样用 HBM4 的 Rubin 世代而非已出货的 Blackwell。Barron's 援引机架级数据称,在 Celestica 机架上实现了 8% 到 10% 的速度提升、15% 到 20% 的功耗下降,以及 110% 的密度提升。

OpenAI 强调,工程样片已经在目标生产频率和功耗下运行前沿工作负载,包括一款内部代号 GPT-5.3-Codex-Spark 的未发布模型,完整技术报告将在"未来几个月"公布。

一场关于成本的长期押注

外界常把 Jalapeño 解读为 OpenAI"摆脱英伟达"的一步棋,这个说法对也不全对。

更准确的动机是经济账。OpenAI 每年在算力上投入巨大, inference 成本直接决定 ChatGPT、Codex 等产品的毛利。推理专用 ASIC 砍掉了训练所需的反向传播数据通路、梯度累加单元等电路,把这些面积和功耗预算让给更多矩阵引擎和更大的片上 SRAM,从而在目标负载上取得远高于通用 GPU 的有效利用率。这是一条从谷歌 TPU v1 就开始验证的路线。

按计划,Jalapeño 将于 2026 年底开始小规模部署,2027 年逐步放量,微软是首发客户,双方要一起落地吉瓦级数据中心。OpenAI 联合创始人兼总裁 Greg Brockman 说:"世界正在走向算力驱动的经济。Jalapeño 是我们长期全栈基础设施战略的一部分,目标是让算力更充裕,从而让 AI 更快、更可靠、更便宜。"

真正值得注意的是背后的赌注:Jalapeño 押注 LLM 推理的工作负载在芯片生命周期内不会发生根本变化。如果 MoE、注意力机制或推理范式出现大的迁移,为今天负载深度定制的硅片就可能失去优势。这也解释了为什么 OpenAI 一边流片自研芯片,一边仍与博通、AMD、新思科技(Synopsys)多方合作——它要的不是一个孤立的芯片,而是一整套能随模型演进的算力体系。