引言
10 月 30 日，OpenAI 宣布将遵循 robots.txt 中一个新的公共信号，用于表达网站对「内容是否可用于基础生成式 AI 训练」的偏好。这个信号来自 IETF AI Preferences 工作组的标准草案，多家参与厂商同日共同宣布支持。
对站长来说，这是一次期待已久的简化；对行业来说，这是内容授权从「一对一谈判」走向「标准化声明」的第一步。
一、过去的困境：爬虫规则是碎片化的
在 AIPref 之前，一个想让 AI 别抓自己内容的站长要做什么？
- 找到 OpenAI 的爬虫 UA 列表，写一条 GPTBot 规则；
- 找到 Anthropic 的，再写一条；
- 找到 Google 的，再写一条；
- 每一家新厂商出现，就得再维护一条。
这是一份永远追不上变化的清单。更麻烦的是，各家规则语法不完全一致，站长很难确认自己写对了。
AIPref 的思路很简单：把这些合并成一个通用字段，一次声明，多家生效。
二、实际能做什么，不能做什么
能做的：
- 在 robots.txt 里一次性表达「允许训练 / 禁止训练 / 只允许特定用途」等偏好；
- 让中小站长不必研究每家厂商的爬虫细节；
- 为后续的合规审计提供机器可读依据。
不能做的：
- 它没有强制力。参与是自愿的，OpenAI 的公告原文是「我们鼓励其他 AI 提供商也遵循该信号」——「鼓励」二字说明了一切。
- 它不替代已有的 crawler 控制。OpenAI 明确说现有 robots.txt 控制继续有效，新信号是叠加而非替换。
- 它不能解决「已经抓走的数据怎么办」——历史训练数据的追溯问题依然无解。
三、时间表值得注意
OpenAI 的说法是「将在未来几个月内实现该信号」，并承诺实现时再发一次更新说明细节。
这个措辞很关键：现在是宣布，不是生效。站主要是今天就在 robots.txt 里写上 AIPref 字段，短期内不会有任何实际效果。理性的做法是现在准备好内容，等厂商真正落地后再切换。
四、为什么这件事比看起来重要
过去一年，内容授权的基本形态是「大厂和少数大媒体签协议，中小站长没有谈判地位」。纽约时报能谈，一个独立博客谈不了。
标准化声明的价值在于：它给了没有议价能力的一方一个技术上的表达渠道。虽然自愿遵循意味着这个渠道随时可能被无视，但有标准总比没有好——至少「无视」变成了可举证的事实。
五、评分与建议
综合评分：4.3 / 5
- 方向正确性：5 / 5
- 落地确定性：3.5 / 5（自愿 + 时间表模糊）
- 站长收益：4.5 / 5（维护成本显著下降）
- 实际约束力：3 / 5（无强制机制）
给站长的建议：
1. 现在别急着改 robots.txt，先关注 IETF 草案最终版语法。
2. 把现有的厂商专属规则整理成一张表，等 AIPref 落地后对照精简。
3. 如果内容是你的核心资产，别把希望全押在 robots.txt 上——技术声明不是法律保护。
给开发者的建议： 如果你在做内容站或数据产品，现在就把「训练偏好」写进产品需求。明年这会是一个用户会问的功能。
六、我的判断
这是开放网络在 AI 时代的一次自我修补。它解决的是效率问题（一次声明多家生效），没有解决权力问题（厂商可以不理）。
真正的分水岭会在 OpenAI 实现这个信号的几个月后：那时可以观察有多少厂商跟进、有多少站长的声明被真正尊重。标准的意义不在发布那天，在第一次有人违反它的那天。
---
*资料来源：OpenAI 官方公告《Making it easier for websites to express AI training preferences》（2026-10-30）、IETF AI Preferences 工作组草案。内容经 AI大广场 编辑整理，非赞助内容。*