361网站优化 - SEO培训与网站优化
公告

每个人对SEO的理解都不同,有高有低,有深有浅。SEO大道至简,无数细节决定了SEO的成败。

速查 3

搜索引擎与 AI 爬虫 UA 一览

24 个常见爬虫的 UA 名称、归属与用途,附放行建议。屏蔽错一个,可能丢掉一整条流量入口。

24 条 · 更新 2026-11-19

UA 名称归属用途建议
GooglebotGoogle搜索抓取与索引必须允许
Googlebot-ImageGoogle图片搜索抓取允许
Google-ExtendedGoogle控制内容是否用于 Gemini 训练内容站可允许
BingbotMicrosoftBing 搜索抓取允许
Baiduspider百度百度搜索抓取必须允许
Baiduspider-render百度百度移动渲染抓取允许
Sogou web spider搜狗搜狗搜索抓取允许
360Spider360 搜索360 搜索抓取允许
Bytespider字节跳动豆包等产品的内容抓取建议允许
GPTBotOpenAI模型训练数据抓取内容站建议允许
OAI-SearchBotOpenAI搜索类功能实时检索必须允许,否则无法被引用
ChatGPT-UserOpenAI用户触发的页面访问允许
ClaudeBotAnthropic模型训练与检索建议允许
Claude-UserAnthropic用户触发的页面访问允许
PerplexityBotPerplexity答案检索与引用必须允许
ApplebotAppleSiri 与 Spotlight 抓取允许
Applebot-ExtendedApple控制是否用于 Apple 智能训练可选
CCBotCommon Crawl公共语料库抓取可选
AmazonbotAmazonAlexa 与购物相关抓取可选
FacebookBotMeta链接预览与内容抓取建议允许,影响分享卡片
TwitterbotX链接预览允许
DuckDuckBotDuckDuckGo搜索抓取允许
YandexBotYandex俄语区搜索无俄语业务可屏蔽
AhrefsBot / SemrushBot第三方工具外链与排名数据收集可屏蔽以省带宽

「必须允许」指屏蔽后会直接损失可见度;「可选」指按自身策略决定。屏蔽前先确认 CDN / WAF 没有误拦,否则改了 robots 也没用。

推广