OpenAI、谷歌、微软和Anthropic近日表示，将遵守一种新的共同信号：网站只需在robots.txt文件中写一组规则，就能一次性向所有参与的AI公司表明「不同意内容被用于AI训练」。目前，网站要拒绝AI训练，必须逐一写明每家公司的爬虫名称，并持续更新名单。

这一机制由Anthropic标准技术负责人Kevin Kelley在互联网工程任务组（IETF）AI偏好工作组提出，称为「策略令牌」：在robots.txt中以「User-Agent: __usage_ai-training」开头，再用常规的Disallow、Allow写明哪些路径不允许、哪些允许用于训练，例如全站拒绝、只放开新闻素材目录。草案没有新增任何指令或语法；没写这组规则的网站视为未表达偏好，通配符「*」规则也不算数。该文件目前是个人草案，并非IETF正式标准，有效期至2027年5月3日。

各家进度不同：Anthropic已开始实施；微软计划自2027年2月1日起在抓取时遵守，并另设页面级的「AI接地」偏好，用来控制内容能否用于AI生成的回答，2027年3月1日起不再把旧的NoArchive、NoCache标签当作训练或接地设置；谷歌计划2027年初支持，看到该令牌时会按屏蔽Google-Extended处理；OpenAI称将在未来几个月内实施，现有robots.txt规则继续有效。Meta传播主管Andy Stone称共同信号是「重要一步」，但没说Meta是否会遵守。

需要注意的是，这条规则只针对生成式AI训练，不阻止抓取，不影响网站在搜索结果中的展示，也无法撤回已经被抓取过的内容。

下南洋预测市场：https://tonanyang.cc/webapp/