技术与部署
robots.txt 生成器
选择预设规则、填写要屏蔽的目录与 sitemap 地址,生成可直接使用的 robots.txt,并提示常见的致命错误。
用于生成 Sitemap 的绝对地址。
只写路径,不要写域名。想屏蔽带参数的 URL 用
/*?q= 形式。
生成的 robots.txt
生成前先想清楚两件事
- robots 管抓取,noindex 管索引。 想让页面不出现,用 noindex;只想省抓取预算,用 robots。
- 屏蔽 CSS/JS 会让搜索引擎无法正确渲染页面,影响移动适配判断。
预设说明
- 标准站:允许全部,屏蔽后台、搜索页、带参 URL。
- 内容站:在标准基础上允许所有主流 AI 爬虫。
- 谨慎型:屏蔽训练型 AI 爬虫,保留检索型(仍可被引用)。
- 仅搜索引擎:只允许主流搜索引擎,其余全部屏蔽(风险较高)。
生成后必做三步
- 上传到站点根目录,确认返回 200 且 Content-Type 为 text/plain。
- 用
curl检查内容是否正确。 - 在 Search Console 的 robots 测试工具里验证关键 URL。
最容易犯的错
User-agent: * 下面写 Disallow: /——整站从搜索里消失。上线前一定逐行读一遍。
这个文件权限最高,改动最小。
推广