361网站优化 - SEO培训与网站优化
公告

每个人对SEO的理解都不同,有高有低,有深有浅。SEO大道至简,无数细节决定了SEO的成败。

数据分析

日志分析入门:三条命令看清爬虫行为

不需要装软件,用 grep、awk、sort 就能回答三个问题:蜘蛛来不来、抓了什么、哪些页面从没被抓。附完整命令。

发布于 3 分钟读完 831 字

日志是最原始也最真实的数据。Search Console 告诉你结果,日志告诉你过程。

一、先确认日志格式

Nginx 默认格式:

`` $remote_addr - $remote_user [$time_local] "$request" $status $body_bytes_sent "$http_referer" "$http_user_agent" ``

宝塔面板的日志通常在 /www/wwwlogs/域名.log。

二、三条核心命令

1. 每天来了多少次

``bash awk '{print $4}' access.log | cut -d: -f1 | sort | uniq -c | tail -14 ``

2. 抓了哪些页面

``bash grep -i "googlebot" access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head -30 ``

3. 哪些重要页面从没被抓

``bash for u in /a/page1/ /a/page2/ /c/tech-seo/; do n=$(grep -c "$u" access.log) echo "$n $u" done ``

三、看四个指标

指标健康值
日均抓取次数小站 50—500,大站上千
抓取 4xx/5xx 比例< 5%
抓取静态资源比例通常 30%—60%
新页面首次被抓间隔< 7 天

四、发现异常怎么查

蜘蛛完全不来了:

  1. 检查 robots.txt 是否可访问。
  2. 检查防火墙 / CDN 是否拦 UA。
  3. 检查服务器是否长期 5xx。

抓取量突然翻倍:

  1. 是否有大量新 URL 生成(分页、参数)。
  2. 是否被镜像站抓取。
  3. 是否有恶意爬虫伪装 UA。

只抓列表页不抓详情页:

  1. 详情页内链太深。
  2. 列表页分页太多。
  3. 详情页加载太慢。

五、日志分析的价值

  • 验证 sitemap 提交是否真的带来抓取。
  • 发现「抓了但不索引」的具体页面。
  • 找到被浪费的抓取预算。
  • 识别恶意爬虫与批量抓取。

六、频率建议

小站每月一次,大站每周一次。不用天天看,但改版、上新栏目、流量异常时必须看。

日志不会撒谎,只是不好读。花一小时学会三条命令,收益持续很多年。

本文由 361网站优化 编辑整理,数据与结论以发布时的实测为准。发现错误欢迎邮件指正。

接着读这几篇

推广