Cloudflare 推出 “Pay‑Per‑Crawl” 工具，网站可向 AI Bot 收费抓取内容

基础设施巨头 Cloudflare 推出一项重大政策：将 AI 抓取器默认屏蔽，并推行名为 “Pay‑Per‑Crawl” 的收费模型，允许网站所有者向 AI 公司对其内容进行训练时收取费用。该服务面向使用 Cloudflare 托管的 20% 以上网站，初期已得到了 Condé Nast、Associated Press、Reddit、Pinterest、Gannett、Time、Stack Overflow 等主流内容平台的支持。

这一举措源于 Cloudflare 提供的 AI Audit 仪表板，能让网站清晰监控 AI 抓取频率、区分各家模型、根据透明规则选择屏蔽或允许访问，目前已有超过100万站点启用类似功能。然而，传统搜索引擎如 Google 的爬虫回访率却下降显著：Cloudflare 数据显示 Google 的 “抓取/推荐” 比率从六个月前的 6：1 下滑至 18：1，而 OpenAI 则为惊人的 1500：1 ，反映 AI 模型训练已大幅抽走免费内容流量与广告收益。

Cloudflare 首席执行官 Matthew Prince 强调，该举措目的是恢复内容创作者的议价能力与营收模式：“AI Bot 无限制抓取内容必须改变”，新机制是“保护高度原创内容可持续创作”的核心一步 。技术上，Cloudflare 利用行为分析与 ML 模型识别 AI Bot，即使它们忽略 robots.txt 规则。

目前 “Pay‑Per‑Crawl” 正处于私人 beta 测试阶段，允许参与者设定对不同 AI Bot 的访问费率，甚至实现拒绝非许可抓取，同时支持保持部分大型模型如 OpenAI 的访问。Ars Technica 报道，该机制可灵活设置“对特定 bot 收费，其他免费”。

若能推广普及，该机制将推动 AI 内容许可市场发展，为小型或中型内容创作者提供与大平台对等的定价能力，同时也可能引发 AI 公司为训练材料付费的竞争。尽管短期内 AI 企业是否愿意付费尚不明朗，但 Cloudflare 正通过提供交互界面，降低协商门槛，希望促成“内容授权 + AI 创新”的双赢生态。

总体而言，Cloudflare 的新政策将 AI 内容抓取市场从“无偿掠夺”状态转为“许可付费”模式，对内容业者构筑了新保护盾，对 AI 公司则带来成本考量变化，或推动未来 AI 模型训练方式更趋规范。