361网站优化 - SEO培训与网站优化
公告

每个人对SEO的理解都不同,有高有低,有深有浅。SEO大道至简,无数细节决定了SEO的成败。

技术与部署

robots.txt 生成器

选择预设规则、填写要屏蔽的目录与 sitemap 地址,生成可直接使用的 robots.txt,并提示常见的致命错误。

用于生成 Sitemap 的绝对地址。
只写路径,不要写域名。想屏蔽带参数的 URL 用 /*?q= 形式。

生成的 robots.txt

生成前先想清楚两件事

  1. robots 管抓取,noindex 管索引。 想让页面不出现,用 noindex;只想省抓取预算,用 robots。
  2. 屏蔽 CSS/JS 会让搜索引擎无法正确渲染页面,影响移动适配判断。

预设说明

  • 标准站:允许全部,屏蔽后台、搜索页、带参 URL。
  • 内容站:在标准基础上允许所有主流 AI 爬虫。
  • 谨慎型:屏蔽训练型 AI 爬虫,保留检索型(仍可被引用)。
  • 仅搜索引擎:只允许主流搜索引擎,其余全部屏蔽(风险较高)。

生成后必做三步

  1. 上传到站点根目录,确认返回 200 且 Content-Type 为 text/plain。
  2. 用 curl 检查内容是否正确。
  3. 在 Search Console 的 robots 测试工具里验证关键 URL。

最容易犯的错

User-agent: * 下面写 Disallow: /——整站从搜索里消失。上线前一定逐行读一遍。

这个文件权限最高,改动最小。

其它工具

推广