robots.txt 里终于有了「别拿我的内容训练」的统一说法，OpenAI 说它会照办

公告说了什么

OpenAI 在这份 10 月 30 日的公告里承诺，将遵循 robots.txt 中的一份通用信号，用于表达网站内容能否被用于基础生成式 AI 训练。公告把这件事定位为自愿参与的协作：多家参与的提供方识别同一句声明，网站运营方写一次即可。

公告同时链接了对应的 IETF 草案，文件名是 draft-kelley-aipref-training-preference-signal。也就是说，这不是某家公司自定义的私有字段，而是朝标准化方向推进的一份提案——但提案与标准之间还有距离。

以前的做法有多笨

在共享信号出现之前，网站运营方要做的是「认人」：先弄清每家 AI 公司的爬虫叫什么、User-Agent 怎么标识，再为每一家单独维护一段规则。想拒绝十家，就得写十套；某家改了爬虫名，规则就可能失效。

这套流程的成本不在写规则，而在持续维护。对一家内容站来说，这不是技术问题，而是运营负担：没人愿意每隔几周核对一遍爬虫名单，更没人能保证名单是完整的。

共享信号省掉的到底是什么

按公告的说法，共享信号把「一对一」变成「一对多」：网站运营方声明一次偏好，所有参与的提供方按同一份语义去读。省掉的是重复配置和爬虫识别的维护工作。

要注意它省掉的是「表达偏好」的成本，不是「执行偏好」的成本。声明之后，抓取行为是否真的遵守，仍要靠各家兑现承诺，以及内容方自己抽检。公告没有回避这一点：它明确写了这是一项自愿努力。

时间表，以及它不替代什么

OpenAI 给出的时间表是「未来数月内实现」，届时会再公布实现细节。也就是说，公告发布当天，这套信号对该公司的抓取行为还没有任何约束力。

公告还特别说明，新信号不会取代 OpenAI 通过 robots.txt 已经提供的控制方式。对已经在用现有规则的内容方来说，短期内不需要改配置；但也意味着这套机制是叠加而非替换，规则的复杂度会先上升、后下降。

对内容方和开发者分别意味着什么

对内容方，最实际的动作是：等实现细节公布后再改一次配置，而不是现在就去追草案文本。草案在定稿前仍可能变化，过早按某一版写死规则，反而可能写出一份没人读得懂的 robots.txt。

对开发者，这件事的信号意义大于技术意义：训练数据的授权正在从「事后谈判」往「事前声明」迁移。如果你在做爬虫或数据管道，未来需要读的不只是 User-Agent 白名单，还包括这类结构化偏好字段。

顺带一个实操提醒：草案文本会迭代，字段名和语义都可能改。跟着草案的版本走，比从别人网站上抄一段现成配置更可靠——后者往往连是谁写的、对应哪一版规范都说不清。

一周后补上的名单：谷歌、微软说「明年」，Meta 只表态支持

11 月 1 日，IT 之家援引报道补上了这份协调机制的参与方名单：Anthropic 已率先采纳，OpenAI 计划在未来几个月内落实，谷歌和微软预计明年支持；Meta 发言人 Andy Stone 表示支持建立此类通用信号，但没有给出具体落地计划。同时确认了草案的提出者——Anthropic 的技术负责人 Kevin Kelley，提交对象是 IETF，最终形态仍是集成在 robots.txt 里的字段。

这组补充信息改变了此前判断的权重。公告发布时只有 OpenAI 一家承诺遵循，读者无法判断这份草案会不会变成「只有一家读的方言」；现在四家主要提供方给出了不同时间表，方向是明确的，但节奏参差：一家已经采纳，一家数月内，两家要等到明年。对内容方来说，实际含义是这段时间里仍要按老办法维护逐家规则，共享信号只能算过渡期的第二套配置。

继续阅读