OpenAI开源MultiLangBench评测框架：GPT-6用COBOL从零写数据库，通过率从11%干到72%

10月19日，OpenAI 发布文章《Advancing coding in low-resource programming languages》，宣布在 COBOL、Fortran、Visual Basic、OCaml 等"低资源编程语言"上的编码能力进展，并同步开源多语言编程评测框架 MultiLangBench 至 GitHub。在新评测下，GPT-6 Astra 在 20 种语言上的平均测试通过率达到 87.4%，是前代 GPT-5.6 Sol（26.8%）的三倍多；COBOL 单项更是从 10.9% 跃升至 72.1%。

为什么是 COBOL 这些"老古董"？

所谓低资源语言，指可用代码与文档远少于 Python、JavaScript 的编程语言，但它们恰恰支撑着全球的关键基础设施：COBOL 承载着超过 40% 的在线银行系统、80% 的线下信用卡交易和 95% 的 ATM 交易；Fortran 则用于天气预报与核反应堆安全分析。

维护这些遗留系统的痛点很具体：文档可能不完整，原始开发者早已离职，关键业务规则只存在于代码里。无论修 bug 还是迁移到新语言，团队都必须保住系统现有的行为——这也正是编程模型最容易翻车的地方。OpenAI 表示，这项工作正是回应企业与开发者客户"编码模型在这些语言上很挣扎"的反馈。

MultiLangBench 怎么考：20 种语言从零写一个 SQLite

MultiLangBench 的考题设计颇有意思：要求模型在指定编程语言中从零构建一个兼容 SQLite 的数据库引擎。模型需要组织代码库、管理状态、处理错误、新增功能且不破坏既有功能。

为了在不同语言的实现之间公平比较，评测用"数据库文件"作为共享接口：候选程序拿到一个初始数据库和一条 SQL 查询，产出修改后的数据库，再用 SQLite 参考实现校验结果内容是否符合预期。这样一来，无论引擎用什么语言写成，跑的都是同一套测试——这些测试改编自 SQLite 官方测试套件。评测同时报告测试通过率与 API 成本，衡量模型在一次较长编码会话中能构建出多少"真能跑的功能"。

配套的还有一项 COBOL 迁移评测：考察模型能否把现有程序迁移到另一种语言、且保持行为不变。两项评测分别对应两种互补能力——建造新软件，与保住旧软件的行为。

成绩单：Astra 87.4%，COBOL 仍是硬骨头

在最大推理强度下，GPT-6 Astra 拿下 20 种语言平均 87.4% 的测试通过率，且每一门语言都较前代提升：COBOL 从 10.9% 到 72.1%，OCaml 从 25.6% 到 85.8%，Fortran 从 21.4% 到 83.5%，Visual Basic 从 27.5% 到 89.4%。20 门语言中有 19 门得分超过 83%，COBOL 依然是最难啃的那根骨头，止步 72%。

主打低成本的 GPT-6 Luna 平均通过率 40.3%，同样全语言超越前代，代价是绝对分数仍有差距；但它的估算 API 成本约为每样本 0.77 美元，仅为 GPT-5.6 Sol（3.48 美元）的 22% 左右。

COBOL 迁移评测的提升更为夸张：GPT-6.1 Sol 在低推理强度下通过率 86.6%（前代 GPT-5.6 Sol 仅 5.4%），成本还低 39%；高推理强度下达到 97.9%，接近评测饱和。从个位数到接近满分，这个跨度说明前代模型在这类任务上几乎"交白卷"。

冷静看：自家基准，尚未独立验证

需要指出的是，两项评测均为 OpenAI 自家设计，成绩未经独立验证；OpenAI 自己也提醒，相关能力仍需专家审查与生产环境测试，切勿直接把迁移结果推向关键系统。外部分析普遍认为，产品博客里的提升与"生产可用的迁移方案"之间仍有距离——真实遗留系统里 tangled 的业务规则、未文档化的外部依赖，都不是基准能完整覆盖的。

但对长期被 Python/JavaScript 叙事笼罩的 AI 编码赛道来说，这次开源的 MultiLangBench 至少把一个被忽视了很久的评价维度摆上了台面：衡量 AI 编程能力的尺子，不该只有 Web 应用和算法题。评测框架已在 GitHub 开源，用 COBOL 和 Fortran 养活着银行、保险与政府系统的工程团队，不妨拿去实测一下。