Google AI发布TimesFM-3：3.3亿参数的零样本多变量时间序列预测基础模型

Google研究团队发布了TimesFM-3，一个3.3亿参数的时间序列基础模型，可在单次前向传播中预测多个相关序列。所有TimesFM检查点直到2.5版本都是单变量的：一个序列，只有自身的历史，别无其他。TimesFM-3原生预训练用于多变量预测，基于超过1万亿个时间点，接受多个目标、过去协变量和过去-未来协变量，无需任务特定微调。

核心创新

TimesFM-3是原生预训练用于多变量预测的。它携带3.3亿参数，在超过1万亿个真实和合成时间序列上进行预训练。三种输入类型可零样本工作，无需任务特定微调：

  1. 多目标：联合预测，每个目标有点预测和分位数输出
  2. 过去协变量：仅在历史上已知，如过去的客流量
  3. 过去-未来协变量：未来值已知，如促销日历

架构改进

骨干网仍是解码器专用的Transformer。连续点被分组为32步的补丁，然后按系列归一化，使不同规模不会主导。目标和过去协变量标记来自单个补丁。过去-未来协变量标记使用前瞻技巧：当前补丁与未来补丁连接，使模型能在事件发生前看到计划事件。

标记随后进入2D网格并通过两种交替注意力机制：

  1. 因果时间注意力：水平运行，严格因果且局限于同一系列内的较早标记
  2. 全变量注意力：垂直运行，在给定时间步，标记读取该步的每个其他系列

性能表现

Google在GIFT-Eval、fev-bench和TIME排行榜上进行了评估，对比Chronos-2、Toto 2.0家族和TimesFM-2.5。在预训练基础模型中，TimesFM-3在所有三项中获得最高平均排名，对于点和概率指标均如此。包发布记录fev-bench上100个真实世界任务排名第1，TIME上50个领域数据集和98个评估任务排名第1，GIFT-Eval上基础模型中排名第1。

部署限制

部分可部署。TimesFM仓库代码采用Apache-2.0许可，但TimesFM 3.0权重在timesfm-non-commercial-license-v1.0下分发。仅限于非商业、非生产用途。今天可以基准测试，但不能在生产预测API后面发布。



本文源自「MarkTechPost」