日志分析入门:三条命令看清爬虫行为
不需要装软件,用 grep、awk、sort 就能回答三个问题:蜘蛛来不来、抓了什么、哪些页面从没被抓。附完整命令。
日志是最原始也最真实的数据。Search Console 告诉你结果,日志告诉你过程。
一、先确认日志格式
Nginx 默认格式:
`` $remote_addr - $remote_user [$time_local] "$request" $status $body_bytes_sent "$http_referer" "$http_user_agent" ``
宝塔面板的日志通常在 /www/wwwlogs/域名.log。
二、三条核心命令
1. 每天来了多少次
``bash awk '{print $4}' access.log | cut -d: -f1 | sort | uniq -c | tail -14 ``
2. 抓了哪些页面
``bash grep -i "googlebot" access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head -30 ``
3. 哪些重要页面从没被抓
``bash for u in /a/page1/ /a/page2/ /c/tech-seo/; do n=$(grep -c "$u" access.log) echo "$n $u" done ``
三、看四个指标
| 指标 | 健康值 |
|---|---|
| 日均抓取次数 | 小站 50—500,大站上千 |
| 抓取 4xx/5xx 比例 | < 5% |
| 抓取静态资源比例 | 通常 30%—60% |
| 新页面首次被抓间隔 | < 7 天 |
四、发现异常怎么查
蜘蛛完全不来了:
- 检查 robots.txt 是否可访问。
- 检查防火墙 / CDN 是否拦 UA。
- 检查服务器是否长期 5xx。
抓取量突然翻倍:
- 是否有大量新 URL 生成(分页、参数)。
- 是否被镜像站抓取。
- 是否有恶意爬虫伪装 UA。
只抓列表页不抓详情页:
- 详情页内链太深。
- 列表页分页太多。
- 详情页加载太慢。
五、日志分析的价值
- 验证 sitemap 提交是否真的带来抓取。
- 发现「抓了但不索引」的具体页面。
- 找到被浪费的抓取预算。
- 识别恶意爬虫与批量抓取。
六、频率建议
小站每月一次,大站每周一次。不用天天看,但改版、上新栏目、流量异常时必须看。
日志不会撒谎,只是不好读。花一小时学会三条命令,收益持续很多年。
本文由 361网站优化 编辑整理,数据与结论以发布时的实测为准。发现错误欢迎邮件指正。