四大 AI 巨头联手设"拒爬"标准：网站主用 robots.txt 一次拒绝 AI 训练抓取

2026 年 11 月 1 日，OpenAI、谷歌、微软与 Anthropic 四家掌握最多算力的 AI 公司罕见地在同一件事上达成一致——它们宣布将共同采用一套新标准，让内容发布方能够一次性声明"拒绝 AI 抓取"，而不必再挨家挨户去谈。这套机制由 Anthropic 技术负责人 Kevin Kelley 提交给互联网工程任务组（IETF），并直接嵌进网站已有的 robots.txt 文件里。对苦于素材被悄悄喂进训练集的媒体、论坛与独立站来说，等于有了一个统一的"退出开关"。

过去：每家公司各设一套规则，发布方跑不赢

robots.txt 这个文件，网站管理员早就熟悉了。它原本用来告诉搜索引擎爬虫：哪些页面能抓、哪些不能，适用范围包括搜索索引、网页归档以及早期的 AI 模型训练。

但问题出在 AI 时代变了味。过去 robots.txt 主要约束搜索引擎；现在，各家 AI 公司的训练爬虫也在持续抓取网页，把内容塞进训练集。更麻烦的是，发布方想拦某一家 AI，得单独去那家公司登记自己的偏好——OpenAI 一套、谷歌一套、微软一套、Anthropic 一套，规则格式还可能各不相同。

AI 爬虫的数量和频率远超传统搜索引擎，发布方的人力根本跟不上"逐家声明"。这就是为什么新标准的核心诉求很简单：把"我对 AI 训练内容的使用偏好"写成一个通用信号，一次写入、多方通用。

现在：一个开关，多家通用

新标准的做法很轻量：

  • 写进 robots.txt：发布方在自己网站的 robots.txt 里加入针对 AI 训练抓取的控制指令；
  • 一次声明、多家生效：不必再为每家公司单独配置，写入一次即可同时通知多家 AI 企业；
  • 由 Anthropic 率先提出并发起：技术负责人 Kevin Kelley 把方案提交给 IETF，试图把它从"企业各自为政"推进成"互联网通用信号"。

换句话说，以后发布方要拒绝 AI 抓取自家内容，理论上只需要在 robots.txt 里写一行通用的拒绝声明，而不是分别去四家公司的后台各填一遍。

四家巨头的落地节奏

标准虽由 Anthropic 推动，但四家的落地时间表并不一致：

  • Anthropic：已率先采纳这套标准；
  • OpenAI：称将在"未来几个月内"落实；
  • 谷歌、微软：预计于明年（2027 年）跟进支持；
  • Meta：发言人 Andy Stone 表态支持建立此类通用信号，但未给出具体落地计划。

值得注意的是，Meta 虽然表态支持，却不在首批落地名单里——这也说明"口头支持通用信号"和"真正把开关接进自己的爬虫"之间，还隔着一段工程与政策距离。

它到底能解决什么，又解决不了什么

要冷静看待这件事。它本质是一个行业自律信号，不是法律强制令：

能做的：给内容发布方一个统一、低成本的"偏好表达"通道，减少重复谈判，把"是否允许用于 AI 训练"这件事从混沌拉到可对话的桌面。对重视版权、数据合规的媒体和站点，这是实打实的进步。

暂时做不到的：robots.txt 里的声明依赖对方"愿意遵守"。如果某家爬虫无视声明继续抓，发布方并没有通过这个标准获得新的法律武器——它改变的是"行业惯例"，而非"执法能力"。真正可追责的边界，仍要靠版权法、合同条款和各地监管来划定。

为什么这件事值得关注

当四家最头部的 AI 实验室罕见地在"如何被拒绝"上达成一致，背后是内容版权这场拉锯正在从对抗走向可协商。

过去一年，媒体、出版社、论坛与独立创作者对"训练数据来源是否合规"的质疑越来越强，诉讼与谈判不断。巨头们主动给出统一退出机制，至少释放了两个信号：

  1. 合规正在变成采购与合作的门槛：随着 ISO/IEC 27090:2026 等 AI 安全审计标准落地，数据来源的"可拒绝、可追溯"会从道德倡议变成实际约束；
  2. 话语权在向发布方倾斜一点点：过去是"爬了再说"，现在是"你可以明文拒绝"——哪怕执行力有限，叙事的天平已经挪动。

对中小站点而言，最现实的动作是：检查并更新自己的 robots.txt，把"是否允许 AI 训练抓取"写清楚，等各家爬虫真正支持通用信号后，就能一键生效。

这场关于"谁的内容、能不能被学"的拉锯还远没结束，但 11 月 1 日这天，至少从混沌里露出了一张可以对话的桌子。