361网站优化 - SEO培训与网站优化
公告

每个人对SEO的理解都不同,有高有低,有深有浅。SEO大道至简,无数细节决定了SEO的成败。

技术 SEO

robots.txt 写法详解与十个致命错误

一个字符写错就能让全站从索引里消失。逐条讲语法、通配符、常见配置模板,以及上线前的验证方法。

发布于 4 分钟读完 1107 字

robots.txt 是权限最高的一个文件:写错一行,整站可能从搜索结果里消失,而且恢复要几周。

一、基本语法

`` User-agent: * Disallow: /admin/ Allow: /admin/public/ Sitemap: https://www.example.com/sitemap.xml ``

  • User-agent 指定生效的蜘蛛,* 表示全部。
  • Disallow 禁止抓取,Allow 优先于 Disallow(同长度时 Allow 优先)。
  • 支持 * 通配和 $ 结尾锚定:Disallow: /*?sort=。
  • 文件必须放在根目录,且返回 200 与 text/plain。

二、十个致命错误

  1. **Disallow: / 写在 User-agent: * 下**,全站被屏蔽。上线前必查。
  2. Disallow 了 CSS/JS,搜索引擎无法正确渲染页面,移动适配判断失真。
  3. 用 robots 屏蔽不想被收录的页面,但页面仍可能被索引(因为外链存在),只是没有摘要。
  4. 忘了加 Sitemap 行,或者写成了相对路径。
  5. 文件返回 404,蜘蛛会当作「无限制」,等于全放行。
  6. 文件返回 500,蜘蛛可能暂停抓取。
  7. 测试环境用了生产 robots,上线后忘了改。
  8. 通配符写错,Disallow: *.pdf 不生效,正确写法是 Disallow: /*.pdf$。
  9. 屏蔽了图片目录,图片搜索流量归零。
  10. 多份 robots 冲突(CDN 一份、源站一份),实际生效的是 CDN 那份。

三、要不要屏蔽 AI 爬虫

2026 年的现实是:屏蔽 GPTBot、ClaudeBot 等,等于放弃在 AI 答案里被引用的机会。对内容站来说,这通常是净损失。

建议:

  • 内容站:允许主流 AI 爬虫,用 robots 精确屏蔽低质抓取(如纯抓取型 bot)。
  • 有付费墙或独家数据的站:可以限制,但要清楚代价。
  • 电商站:允许,AI 推荐正在带来真实成交。

四、验证方法

``bash curl -s https://www.example.com/robots.txt curl -sI https://www.example.com/robots.txt | grep -i content-type ``

再用 Search Console 的 robots.txt 测试工具,输入几个关键 URL,看是否被拦。

五、最稳的写法

``` User-agent: * Disallow: /search/ Disallow: /*?q= Disallow: /admin/ Allow: /

Sitemap: https://www.example.com/sitemap.xml ```

不写 Disallow: /,不用通配符屏蔽整类目录,把该给的都给出去,用 noindex 处理具体的低质页面。robots 管抓取,noindex 管索引,别混用。

本文由 361网站优化 编辑整理,数据与结论以发布时的实测为准。发现错误欢迎邮件指正。

接着读这几篇

推广