主流 AI 爬虫一览与放行策略
GPTBot、ClaudeBot、PerplexityBot、Bytespider、Baiduspider 各自做什么,屏蔽会不会影响收录,内容站该怎么配 robots。
AI 爬虫分两类:一类为训练模型抓数据,一类为回答问题实时检索。它们对网站的影响完全不同。
一、两类爬虫的差别
| 类型 | 目的 | 屏蔽的代价 |
|---|---|---|
| 训练型(如 GPTBot) | 收集语料训练模型 | 未来模型可能不认识你 |
| 检索型(如 OAI-SearchBot、PerplexityBot) | 实时检索并引用 | 直接影响能否被 AI 引用 |
| 用户触发型(如 ChatGPT-User) | 用户让 AI 访问某页面 | 影响用户体验与引用 |
关键:屏蔽检索型爬虫,等于主动退出 AI 答案。
二、常见 UA 对照
| UA | 归属 | 建议 |
|---|---|---|
| GPTBot | OpenAI 训练 | 内容站建议允许 |
| OAI-SearchBot | OpenAI 搜索 | 必须允许 |
| ChatGPT-User | 用户触发访问 | 允许 |
| ClaudeBot | Anthropic | 建议允许 |
| PerplexityBot | Perplexity 检索 | 必须允许 |
| Bytespider | 字节(豆包等) | 建议允许 |
| Baiduspider | 百度搜索 | 必须允许 |
| Googlebot | 谷歌搜索 | 必须允许 |
| CCBot | Common Crawl 公共语料 | 可选,建议允许 |
三、推荐的 robots 配置
``` User-agent: * Allow: / Disallow: /search/ Disallow: /admin/
User-agent: GPTBot Allow: /
User-agent: OAI-SearchBot Allow: /
User-agent: ClaudeBot Allow: /
User-agent: PerplexityBot Allow: /
Sitemap: https://www.example.com/sitemap.xml ```
不需要为每个爬虫单独写,默认全允许即可。只有在需要精细控制时才分组。
四、什么情况下该屏蔽
- 有付费墙或独家数据,担心被无偿使用。
- 服务器带宽吃紧,AI 爬虫抓取过于频繁。
- 内容涉及隐私或敏感信息。
屏蔽要权衡:训练型可以屏蔽,检索型建议保留。
五、怎么验证 AI 爬虫有没有来
``bash grep -iE "gptbot|claudebot|perplexity|bytespider" access.log | tail -20 ``
如果一个月一条都没有,可能是:
- robots 拦了
- CDN / WAF 拦了(很常见)
- 站点权重太低,还没被抓
六、一个现实判断
AI 引荐流量目前占比还小,但增长快、转化质量高。对内容站来说,允许抓取的成本几乎为零,收益是长期的可见度。
不要因为「不想被白嫖」而关掉整个入口。搜索的本质就是被看见。
本文由 361网站优化 编辑整理,数据与结论以发布时的实测为准。发现错误欢迎邮件指正。