Cloudflare 给 AI 爬虫定规矩
Cloudflare 近期发布服务默认规则重大更新，给全行业 AI 企业定下 9 月 15 日整改期限。所有 AI 厂商必须拆分搜索爬虫与模型训练、AI 代理专用爬虫，未完成区分的混合爬虫访问带广告页面会被拦截。
这一政策旨在让网站运营者能够清晰地控制自己的内容被用于何种目的：搜索索引还是 AI 训练。对于网站主来说，这是一个重要的变化，可以更精细化地管理爬虫访问权限。
来源：整理自 OSCHINA
Cloudflare 近期发布服务默认规则重大更新，给全行业 AI 企业定下 9 月 15 日整改期限。所有 AI 厂商必须拆分搜索爬虫与模型训练、AI 代理专用爬虫，未完成区分的混合爬虫访问带广告页面会被拦截。
这一政策旨在让网站运营者能够清晰地控制自己的内容被用于何种目的：搜索索引还是 AI 训练。对于网站主来说，这是一个重要的变化，可以更精细化地管理爬虫访问权限。
来源：整理自 OSCHINA