印度 Sarvam 开源 Prism 决策模型：105B 权重 Apache 2.0，44 毫秒判断一次路由

2026 年 11 月 3 日，印度 AI 公司 Sarvam AI 发布了一款企业级决策模型 Sarvam Prism，并直接以 Apache 2.0 协议在 Hugging Face 开放权重。它的卖点很反直觉：不跟你「聊天」，也不逐字生成文本，而是在一次前向传播里，对预设的几个选项直接给出概率打分——中位响应延迟只有 44 毫秒。当大多数大模型还在比拼「生成得多快」时，Prism 把战场切到了「判断得多准、多稳、多便宜」。

从「会回答」转向「会判断」

传统自回归语言模型依赖逐 token 输出，算力消耗大、响应时间长，很难满足低延迟路由、安全拦截和高吞吐自动化流程的要求。Prism 换了一条路：它基于 Sarvam 105B 基础架构，通过 LoRA 微调构建，整合了 128 个专家模块，但应用定位从开放式文本生成转向了确定性选项评估。

每个输入请求包含三部分：环境状态、问题，以及上下文允许范围内的若干选项。模型双向读取状态和问题，通过一个轻量级评分头为每个选项计算概率。训练时结合了采用 5% 标签平滑的交叉熵损失与 Brier 损失，以增强概率校准；推理阶段则通过固定的内部选项排序机制，消除了「选项位置被打乱就改变答案」的位置偏差——官方用 2000 道选择题验证，无论怎样打乱选项顺序，答案都保持一致。

44 毫秒是怎么来的

延迟是 Prism 最硬的数据。官方测试显示，在单张 NVIDIA B200 GPU、FP8 精度下，Prism 实现了 44 毫秒的中位数响应延迟；而在优化前，双卡 B200 上的延迟高达 664 毫秒——相当于提速约 15 倍。

Sarvam 的工程手段很具体：把模型权重转换为 FP8 格式，将 128 个专家整合进单一算子，把前向传播封装为 CUDA Graph，并将微调适配器直接合并入主干权重。最终 Prism 在 Sarvam 自测的 25 款模型中，位列「响应低于 100 毫秒」梯度里的平均分第一名。

在包含三项基准的评测中，Prism 综合平均分达到 71.8（Jev 决策指数 67.0，复刻版 Artificial Analysis 决策指数 65.9，内部印度语料基准 82.5）。作为对照，得分更高的 mammoth-1 达到 75.2 分，但其中位数响应延迟是 284 毫秒——速度和分数的权衡，正是决策模型选型的真实取舍。

规格与部署

  • 上下文：单次最高支持 131,072 个 token，可一次性评估较长输入（如智能体运行轨迹）。
  • 精度与显存：FP8 精度运行，单卡显存不低于 120 GB。
  • 许可：Apache 2.0 开源权重，可在 Hugging Face 获取本地部署；同时通过 Sarvam Indus 提供托管 API。

它擅长什么

Prism 的目标场景非常「工程化」：客户支持意图路由、模型路由分发、文档智能分析，以及智能体执行审查。换句话说，它更适合嵌进企业的自动化管道里当一个「判断层」，而不是当面向用户的聊天机器人。

在细分测试中，Sarvam 披露 Prism 在涵盖 9 项任务、5,517 道题目的内部网络安全基准上取得 89.0% 的准确率，高于 Clef 的 84.5%、Jev 1.14 的 78.6% 和 Microsoft-Decision-1 的 76.1%；在 700 次智能体轨迹审查测试中综合准确率 78.5%，其中判断「是否需要人工介入」的准确率达 86.4%。

为什么值得关注

Prism 的发布，给企业在高吞吐决策、意图路由和智能体验证等场景提供了一条替代传统自回归生成模型的实用路径。借助单卡 120 GB 显存与 FP8 部署能力，其 Apache 2.0 开源权重允许企业把低延迟、确定性的判断管道完全部署在本地私有基础设施中，降低对外部商业 API 的依赖。

更深层的变化是：决策模型正从「会回答」转向「会判断」——把延迟、稳定性与部署主权，变成和准确率同等重要的指标。Perplexity 的 decider、AWS Strands Decider、Cloudflare Clef、Baseten mammoth 近期接连开源，说明「判断层下沉到私有环境」正在成为 Agent 落地的新共识。Prism 用 44 毫秒和一份 Apache 2.0 权重，给这条路线又添了一个可复用的工程范本。