速查 3
搜索引擎与 AI 爬虫 UA 一览
24 个常见爬虫的 UA 名称、归属与用途,附放行建议。屏蔽错一个,可能丢掉一整条流量入口。
| UA 名称 | 归属 | 用途 | 建议 |
|---|---|---|---|
| Googlebot | 搜索抓取与索引 | 必须允许 | |
| Googlebot-Image | 图片搜索抓取 | 允许 | |
| Google-Extended | 控制内容是否用于 Gemini 训练 | 内容站可允许 | |
| Bingbot | Microsoft | Bing 搜索抓取 | 允许 |
| Baiduspider | 百度 | 百度搜索抓取 | 必须允许 |
| Baiduspider-render | 百度 | 百度移动渲染抓取 | 允许 |
| Sogou web spider | 搜狗 | 搜狗搜索抓取 | 允许 |
| 360Spider | 360 搜索 | 360 搜索抓取 | 允许 |
| Bytespider | 字节跳动 | 豆包等产品的内容抓取 | 建议允许 |
| GPTBot | OpenAI | 模型训练数据抓取 | 内容站建议允许 |
| OAI-SearchBot | OpenAI | 搜索类功能实时检索 | 必须允许,否则无法被引用 |
| ChatGPT-User | OpenAI | 用户触发的页面访问 | 允许 |
| ClaudeBot | Anthropic | 模型训练与检索 | 建议允许 |
| Claude-User | Anthropic | 用户触发的页面访问 | 允许 |
| PerplexityBot | Perplexity | 答案检索与引用 | 必须允许 |
| Applebot | Apple | Siri 与 Spotlight 抓取 | 允许 |
| Applebot-Extended | Apple | 控制是否用于 Apple 智能训练 | 可选 |
| CCBot | Common Crawl | 公共语料库抓取 | 可选 |
| Amazonbot | Amazon | Alexa 与购物相关抓取 | 可选 |
| FacebookBot | Meta | 链接预览与内容抓取 | 建议允许,影响分享卡片 |
| Twitterbot | X | 链接预览 | 允许 |
| DuckDuckBot | DuckDuckGo | 搜索抓取 | 允许 |
| YandexBot | Yandex | 俄语区搜索 | 无俄语业务可屏蔽 |
| AhrefsBot / SemrushBot | 第三方工具 | 外链与排名数据收集 | 可屏蔽以省带宽 |
「必须允许」指屏蔽后会直接损失可见度;「可选」指按自身策略决定。屏蔽前先确认 CDN / WAF 没有误拦,否则改了 robots 也没用。
推广