表格数据是企业机器学习的地基——预测客户流失、判断信贷违约、做需求预测、评估保险风险，用的都是结构化的一张张表。过去二十来年，这个领域的行业标准答案是梯度提升树。它效果好，但运维成本高得离谱：每来一个新问题，都要重新收集标签、做特征工程、搜超参数，然后部署一个从零开始学习的新模型。

NVIDIA 在 2026 年 9 月 29 日发布的 Kumo Tabular，想把这个流程压掉。它是一个面向表格数据的开放基础模型，一次前向传播就能预测新行的结果，不需要针对任务做训练、调参，也不需要做特征工程。

核心思路：把上下文学习搬进表格

Kumo Tabular 的做法是把大语言模型那套上下文学习（in-context learning）用到表上。大模型读几个 prompt 里的示例就能解新任务，Kumo 则是把一张带标签的表当作上下文读进去，然后直接预测新行的标签。

它的预训练用的是完全人工合成的数据——从结构因果模型（Structural Causal Model，SCM）里采样出来的假表。这个选择有两个好处：模型对任何具体行业的数据集都没有偏向，同时还能学到表格结构的通用规律。因为它从没见过客户数据或榜单数据，评测结果在理论上也更干净。

模型有三个尺寸，参数量从 2800 万到 2.15 亿不等，分别是 Small、Medium 和 Large。三档在预训练阶段看到的表数量大约是 3500 万、7100 万和 1.37 亿张。训练分三个阶段推进，上下文行数从最初的 1024 行，扩到 400 到 10240 行，最后到 60000 行，列数上限始终是 100。

合成数据这一步刻意做得「脏」：包含缺失值、高基数类别、重复冲突记录和重尾分布的目标值，为的是让模型见过真实表格里那些麻烦样子。

架构：为表格专门设计的 Transformer

整个模型借鉴了 TabICL 和 TabPFN 的思路，用列注意力、行注意力和上下文注意力三层结构分阶段处理。

Cell Embedding（单元格嵌入）：一组单元格通过傅里叶特征变成一个 token，数值型和类别型各自有独立的权重。这里有个实用细节——缺失值不需要填充，模型直接处理。

Row Embedding（行嵌入）：交替使用列注意力和行注意力把单元格压缩成行表示。列注意力的开销随行数线性增长，行注意力则用 4 个可学习的 [CLS] token。这样模型既能理解单列自身的分布，也能理解跨列的复杂特征交互。

In-Context Learning（上下文学习）：查询行只去注意力已标注的上下文行。这个设计带来一个很实际的性质——某一行的预测不依赖于同一批次里还有哪些行在被打分，所以批量大小怎么变，结果都一致。

此外还有两个关键优化。一个是 length-aware attention temperature（长度感知注意力温度）：表格变大时注意力会被稀释，这个机制让每个查询的温度随 key 数量对数增长，且每个注意力头单独学习这个系数，从而避免处理超出训练规模的数据集时掉点。另一个是 Test-GQA，通过复用上下文的 key 和 value 缓存来缩小缓存体积，后续预测可以直接复用。

回归任务上，模型输出的是 999 个分位数，由此既能得到点预测，也能给出不确定度估计。

成绩：四个榜单第一

默认设置下，Kumo Tabular 在四个主流基准上都拿到了第一：

  • TabArena：ELO 1950，第一名，超过调过参的梯度提升树、AutoGluon 以及其他表格基础模型。在单张 RTX 6000 Pro 的统一评测环境下，速度比竞品 LimiX-2 快 17 倍（另有报道称在某些设置下达到 26 倍）
  • BeyondArena：ELO 1418，Improvability 7.78%，排名第一
  • TALENT：综合排名最佳，分类准确率平均排名第 6.67、分类 log-loss 第 3.98、回归 RMSE 第 4.22
  • ScoringBench：Large 和 Medium 分列第一、第二

官方还提到它在准确率与效率的帕累托前沿上创造了新的最优，也就是更高准确率配更低算力开销。

需要说明的是，这些成绩目前都是厂商自报的，尚未在 TabArena 的实时榜单上被独立复现过。

限制：用之前得知道的事

Kumo Tabular 原生只支持数值列和类别列。文本、图片和时间戳必须先通过预处理脚本转成特征才能喂进去——库里内置了这些转换的 recipe。

单次前向传播最多支持 10 个类别，超出的话需要用纠错输出码（Error-Correcting Output Codes）在库层面扩展，理论上可以到任意类别数。

还有一个更隐蔽的风险：如果查询行的数据分布和上下文行差异很大，准确率可能会下降。这在市场条件快速变化的场景里尤其常见。NVIDIA 的建议是，上线前先在留出集上验证准确率和校准情况。另外精度在训练范围之外也可能衰减。

怎么拿

权重在 Hugging Face，仓库是 nvidia/Kumo-Tabular，许可证是 OpenMDW-1.1，允许商用且不收授权费。配套的 GPU 原生结构化数据模型库（SDM）在 GitHub 的 NVIDIA/structured-data-models，用的是 Apache-2.0。SDM 库里除了 Kumo Tabular，还打包了 TableTensor、预处理、集成方法、多类别支持、TabICLv2、Google 的 TabFM 和 KumoRelational。

环境要求是 Python 3.11+、PyTorch 2.7+ 和 CUDA GPU。唯一的实际成本是推理时的 GPU 开销。

需要注意的是，NVIDIA 尚未放出合成数据的生成器和训练配方，官方表示这两个会很快提供。

谁该关心

最直接受益的是那些数据结构固定、但每次都要重新建模的场景。保险精算师可以拿新的理赔数据集直接试风险模型，跳过重训练流水线；医疗研究者不用为每个新变量集重新做特征工程就能分析患者记录的预后；金融侧的交易和分析岗位可以用新的数据馈送在低延迟下建模价格波动或违约风险。

但要清醒一点：这类模型目前的强势区间集中在中小规模、独立同分布的表格上。数据量超过数十万行、有明显时序或分组结构、要求毫秒级 CPU 打分、或者受监管需要解释性的场合，梯度提升树依然更稳妥。稳妥的做法是先跑一个 LightGBM 或 XGBoost 基线，给两边相同的调参预算，再比较——而不是直接替换。

来源：NVIDIA 官方发布（Hugging Face Blog: nvidia/kumo-tabular，2026 年 9 月 29 日）