robots.txt 写法详解与十个致命错误
一个字符写错就能让全站从索引里消失。逐条讲语法、通配符、常见配置模板,以及上线前的验证方法。
robots.txt 是权限最高的一个文件:写错一行,整站可能从搜索结果里消失,而且恢复要几周。
一、基本语法
`` User-agent: * Disallow: /admin/ Allow: /admin/public/ Sitemap: https://www.example.com/sitemap.xml ``
User-agent指定生效的蜘蛛,*表示全部。Disallow禁止抓取,Allow优先于Disallow(同长度时 Allow 优先)。- 支持
*通配和$结尾锚定:Disallow: /*?sort=。 - 文件必须放在根目录,且返回 200 与
text/plain。
二、十个致命错误
- **
Disallow: /写在User-agent: *下**,全站被屏蔽。上线前必查。 - Disallow 了 CSS/JS,搜索引擎无法正确渲染页面,移动适配判断失真。
- 用 robots 屏蔽不想被收录的页面,但页面仍可能被索引(因为外链存在),只是没有摘要。
- 忘了加 Sitemap 行,或者写成了相对路径。
- 文件返回 404,蜘蛛会当作「无限制」,等于全放行。
- 文件返回 500,蜘蛛可能暂停抓取。
- 测试环境用了生产 robots,上线后忘了改。
- 通配符写错,
Disallow: *.pdf不生效,正确写法是Disallow: /*.pdf$。 - 屏蔽了图片目录,图片搜索流量归零。
- 多份 robots 冲突(CDN 一份、源站一份),实际生效的是 CDN 那份。
三、要不要屏蔽 AI 爬虫
2026 年的现实是:屏蔽 GPTBot、ClaudeBot 等,等于放弃在 AI 答案里被引用的机会。对内容站来说,这通常是净损失。
建议:
- 内容站:允许主流 AI 爬虫,用 robots 精确屏蔽低质抓取(如纯抓取型 bot)。
- 有付费墙或独家数据的站:可以限制,但要清楚代价。
- 电商站:允许,AI 推荐正在带来真实成交。
四、验证方法
``bash curl -s https://www.example.com/robots.txt curl -sI https://www.example.com/robots.txt | grep -i content-type ``
再用 Search Console 的 robots.txt 测试工具,输入几个关键 URL,看是否被拦。
五、最稳的写法
``` User-agent: * Disallow: /search/ Disallow: /*?q= Disallow: /admin/ Allow: /
Sitemap: https://www.example.com/sitemap.xml ```
不写 Disallow: /,不用通配符屏蔽整类目录,把该给的都给出去,用 noindex 处理具体的低质页面。robots 管抓取,noindex 管索引,别混用。
本文由 361网站优化 编辑整理,数据与结论以发布时的实测为准。发现错误欢迎邮件指正。