抓取预算:什么时候该关心,怎么优化
抓取预算不是每天固定多少次,而是「你的站点能承受多少 + 有多少值得抓」。用日志数据判断是否真的不够用,再决定优化方向。
「抓取预算」被讲得很玄。它的实际含义只有一句:搜索引擎愿意在你的站上花多少抓取资源。这个额度由站点质量和服务器响应共同决定。
一、什么时候说明预算不够
三个信号同时出现才算:
- 日志里蜘蛛每天抓取的 URL 数长期不变,且远小于你新增的 URL 数。
- 新页面平均要 7 天以上才被首次抓取。
- 蜘蛛大量抓取无价值 URL(筛选参数、重复列表页)。
只有第 3 条单独出现时,不是预算不够,是浪费太多。
二、先止漏,再扩容
止漏的动作:
- 筛选/排序参数页
noindex,follow或 robots 屏蔽。 - 分页不要 canonical 到第一页。
- 站内搜索结果页、会员中心、打印页全部屏蔽。
- 修复软 404(返回 200 的空页面)。
- 减少重定向链:A→B→C 要合并成 A→C。
扩容的动作:
- 提升服务器响应:TTFB 控制在 200ms 内。
- 减少页面体积,尤其是首屏阻塞资源。
- 提高内容质量与更新频率(这是最根本的)。
- 增加内链,让重要页面更容易被发现。
三、用日志算真实配额
```bash # 每天 Googlebot 抓取次数 awk '{print $4}' access.log | cut -d: -f1 | sort | uniq -c | tail -14
# 抓取最多的路径 grep -i googlebot access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head -20 ```
第二行命令最有价值:如果前 20 名里有一半是无参数价值的列表页,说明预算被浪费了。
四、大站的特殊情况
页面数超过 10 万的站,抓取预算管理是核心工作。要点:
| 问题 | 处理 |
|---|---|
| 新页面进不了索引 | 用内链把新页面挂到高权重页面下 |
| 老页面反复被抓 | 内容稳定页降低更新频率,加 Last-Modified |
| 参数无限组合 | 规范化 URL,只保留有搜索价值的组合 |
| 分页太深 | 限制在 10 页以内,用「加载更多」改为独立 URL |
五、小站不用太操心
页面数少于 500 的站,抓取预算几乎不会是瓶颈。这时候更该关注内容质量和内链结构。
把「抓取预算」当成万能解释,往往掩盖了真正的问题:内容不值得抓。
本文由 361网站优化 编辑整理,数据与结论以发布时的实测为准。发现错误欢迎邮件指正。