robots.txt 写法详解与十个致命错误
一个字符写错就能让全站从索引里消失。逐条讲语法、通配符、常见配置模板,以及上线前的验证方法。
每个人对SEO的理解都不同,有高有低,有深有浅。SEO大道至简,无数细节决定了SEO的成败。
一个字符写错就能让全站从索引里消失。逐条讲语法、通配符、常见配置模板,以及上线前的验证方法。
GPTBot、ClaudeBot、PerplexityBot、Bytespider、Baiduspider 各自做什么,屏蔽会不会影响收录,内容站该怎么配 robots。
AI 搜索优化不是给 AI 写稿,而是让内容更容易被抓取、理解和引用。讲清 GEO 与 SEO 的关系、可衡量的指标,以及目前还不能做的事。
抓取预算不是每天固定多少次,而是「你的站点能承受多少 + 有多少值得抓」。用日志数据判断是否真的不够用,再决定优化方向。
把 SEO 拆成抓取、索引、召回、排序四层,再加上 AI 答案里的「被引用」。每一层对应的判断信号和动作都不一样,先定位层级,再谈优化。
不报班也能学会,但需要有顺序。给出 12 周的练习计划:从看懂源码到独立做一个站的诊断,每周一个可交付成果。
sitemap 不是「提交就收录」的按钮。它解决的是发现效率问题。讲清分割策略、lastmod 的真实作用,以及五种会让它失效的写法。
新站最怕两件事:上线前乱改,上线后乱发。这份 30 天日程把技术底座、内容节奏、收录提交和数据观察排成可执行的顺序。
用 site 查询、完整标题搜索、Search Console 的三组数据,十分钟定位页面是没抓、没收录、没召回还是排名太后。
不需要装软件,用 grep、awk、sort 就能回答三个问题:蜘蛛来不来、抓了什么、哪些页面从没被抓。附完整命令。
llms.txt 是一个社区提案,不是官方标准。讲清它的格式、目前谁在支持、做了有没有收益,以及更值得投入的替代方案。
从「收录慢怎么办」到「怎么证明你的工作有价值」。给出每类问题背后的考察点,以及能体现判断力的回答结构。
一个内容站被核心更新打掉 70% 流量。完整记录排查过程:先排除技术问题,再定位内容质量,最后用合并与翻新恢复。
从抓取、结构、内容、实体、监测五个维度列出 20 个可勾选项。每项都给出判断方法和修复方向,可以直接当项目计划用。
换域名、改结构、换 CMS 都可能让流量腰斩。这份清单按「迁移前、迁移中、迁移后 30 天」组织,附回滚方案。