如何分析搜索引擎爬虫日志?

服务器日志是少数几个"搜索引擎亲口告诉你它怎么看你"的渠道。Search Console告诉你哪些页面进了索引,服务器日志则告诉你蜘蛛什么时候来过、访问了哪些地址、拿到什么状态码、访问了多深。两者结合,才能把"为什么没收录"这种模糊问题落到具体的URL和具体的配置上。但日志文件动辄几十兆上百兆,直接打开看几乎没人看得下去,需要一套切分和统计的方法。更关键的一点是:现在需要关注的不只是Googlebot,还有GPTBot、PerplexityBot、Bingbot、百度蜘蛛等一批爬虫,它们访问的是同一批URL,却代表完全不同的用途。下面按分析顺序拆开讲。

第一步:识别爬虫UA并完成分组

分析的第一步是把访问日志里的爬虫请求从正常流量里摘出来。识别方式有两种:按User-Agent字符串匹配,以及按来源IP反查。前者快但可能误判伪装请求,后者准但要维护IP段表,实际工作中两者结合使用。

常见爬虫UA的识别要点:

  • Googlebot是搜索引擎的主爬虫,UA包含 Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) 这类特征。同时要区分 Googlebot Smartphone、Googlebot-Image、Googlebot-News、以及 Google-InspectionTool(站长工具的实时测试用)、Google-Read-Aloud(朗读功能)这类衍生爬虫,统计时要分开,因为它们的行为模式完全不同。
  • bingbot是Bing的主爬虫,UA里带 +http://www.bing.com/bingbot.htm。另外还有 msnbot、adidxbot(广告索引)等细分爬虫。
  • Baiduspider是百度蜘蛛,常见形态包括 Baiduspider(网页)、Baiduspider-image(图片)、Baiduspider-video(视频)、以及用于移动端的 Baiduspider-render。
  • AI类爬虫是必须单独归组的一类:GPTBot(OpenAI,用于训练与检索)、ChatGPT-User(用户触发的实时访问)、PerplexityBot、ClaudeBot、Applebot-Extended、以及各家自己的搜索类爬虫。这一组的访问量在近几年明显上升,而且它们的抓取行为与搜索引擎蜘蛛有一个关键差别:AI爬虫通常访问的URL数量更少,但路径更集中、深度更浅,往往只抓首页、分类页和少数详情页。如果日志显示某个AI爬虫只抓了几十个URL就再也不来了,这通常说明站点没有向它开放路径,或者返回了它不接受的响应。

还要留意一种情况:UA被伪装。有些抓取工具会冒充Googlebot的UA来探测站点。这时把UA匹配出来的记录与来源IP对照,如果某个IP声称是Googlebot但不在Google公布的IP段内,就可能是伪装流量,可以单独归为一组观察。

第二步:按UA分组统计抓取频次与页面分布

分组完成后,每个UA单独做三组统计。

抓取频次。按天或按周统计某个爬虫访问了多少次、日均多少次。这条曲线是判断站点在爬虫端"权重"的直接依据。曲线持续下滑通常意味着站点的质量信号在下降或者抓取配额被削减;曲线突然陡增往往对应一次大规模内容更新或外链增长,值得去查是不是有异常。

页面分布。统计该爬虫抓到的URL中,落在不同目录(/products/、/blog/、/category/、/tag/、/author/ 等)的比例。这张分布图能直接暴露问题:如果某个爬虫的抓取量大部分都花在 /tag/ 和 /author/ 这类低价值路径上,说明站点的链接结构把爬虫带偏了;如果 /products/ 这类核心目录完全没被访问,那产品页的发现路径就是断的。

重抓频次分布。按URL统计被访问的次数,取出被反复抓取的那批。反复抓取有两种截然不同的含义:抓得多说明这个URL被判定为重要(内容更新频繁或信号强),这是好事;抓了但每次都失败(返回错误、响应超时、每次都触发重定向),这是明确的信号浪费,说明站点在浪费抓取预算。日志里那些"同一URL、短时间内反复出现、状态码非200"的记录,是最值得优先处理的一类。

第三步:看抓取深度、状态码异常与时间分布

抓取深度。把每次访问的URL按路径层级数统计,再看蜘蛛访问的最大深度。如果一个爬虫从来只访问到第三层,第四层往下的产品详情页就永远不会被发现——这通常是因为详情页的链接只出现在第三层页面的HTML里,而那个链接是通过JavaScript动态插入的,蜘蛛在初始HTML里看不到。此时要看具体抓到的HTML响应内容,而不是看页面在浏览器里的样子。

状态码异常统计。把非200的响应按状态码分组,逐类对应处理:

状态码含义对抓取的影响处理方向
301 / 308永久重定向正常,但每个跳转都要消耗一次抓取,且重定向链会传递权重压缩重定向链,一跳直达目标地址
302 / 307临时重定向百度蜘蛛对临时跳转处理较保守,可能不传递权重永久迁移应改用301
403禁止访问该URL直接抓取失败,同一URL重试会持续失败检查WAF、CDN规则、UA黑名单、目录权限
429请求过多触发了限流,爬虫通常会退避,短期内减少抓取放宽限流阈值或降低站点自身请求频率
5xx服务器错误抓取中断,该URL及其后续发现路径可能中断修复服务端异常,重点看错误日志
408 / 超时响应超时连接被中断,蜘蛛判定资源不可用优化TTFB,减少首字节时间
404页面不存在浪费抓取预算,密集404会降低整体抓取效率对有价值的旧URL做301
200 但内容空软404 / 空壳页被当作有效内容抓走,浪费预算且降低质量信号修正模板或返回真实404

抓取时间分布。按小时统计各爬虫的访问量。这条数据有两个用途:一是确认服务器在低峰时段是否有足够的资源应对抓取,如果蜘蛛集中访问的时段正好是站点业务高峰、响应变慢,容易形成"越抓越慢、越慢越被放弃"的循环;二是发现异常,比如某个爬虫长期只在凌晨两点访问(这类模式有时来自镜像或非预期来源),或者反过来,你的业务高峰时段完全没有蜘蛛来访。

第四步:从日志里提取问题清单

把上面几轮的统计结果汇总成一张问题清单,每条都要对应到具体URL和具体动作。下面是日志分析里较有价值的几个发现方向。

日志发现可能原因对应动作
某目录抓取占比畸高(如/tag/、/author/、参数页)站点生成了大量低价值URL,且链接结构向外暴露关闭或noindex这类路径,限制索引,清理已收录的重复页
核心产品目录从未被任何爬虫访问产品页无内链入口,或入口在JS渲染之后才出现在导航与分类页加入直接链接,改为服务端渲染关键入口
AI类爬虫访问量极低且集中在首页robots.txt拦截,或未在服务端放通这些UA核对UA规则,在robots中放通并在响应中明确允许
同一URL反复抓取且状态码非200服务器错误、限流或访问控制误伤按状态码分类处理,优先修复高频失败URL
抓取深度长期卡在某一层深层页面的链接未出现在服务端返回的HTML里检查服务端渲染,确保关键导航与内链在首屏HTML中可见
某UA抓取时间高度集中在业务高峰抓取与业务争抢服务器资源评估服务器资源或调整响应策略,避免超时
大量请求指向不存在的地址外链指向错误URL或历史遗留链接对有外部引用的旧路径做301映射

铭赞经验:日志分析的价值不在于得出多复杂的结论,而在于把方向缩到很小。多数站点真正需要处理的往往就是两三件事——把深链路径打通、把AI爬虫放通、把高频失败的URL修掉。日志的价值在于用数据指出是哪一件,而不是靠猜。

分析落地:日志分析的实操流程与工具

实际操作顺序建议如下:先确定分析周期(至少覆盖两到四周,才能看出趋势和周期性),把日志导出为结构化格式;然后按UA归类过滤,只保留爬虫记录;接着用表格或脚本做分组统计(Excel的数据透视表够用,量大时用AWK、Python的pandas或GoAccess这类工具);最后把统计结果与Search Console、百度资源平台的数据交叉验证——日志里显示某URL被抓了几十次,但Search Console里显示它从未被索引,这就说明问题出在抓取之后的环节。

需要注意两个技术细节。一是日志里记录的是请求,不等于爬虫拿到了完整内容。服务器返回200只代表HTTP层成功,如果内容是JS渲染后才出现的空壳,蜘蛛实际拿到的信息远少于日志表现。所以分析时建议配合一次真实的抓取测试,看返回的HTML里正文与内链是否齐备。二是不同爬虫的日志字段可能不完整,部分托管环境或CDN默认不记录User-Agent,遇到这种情况要先在CDN或主机层面开启详细日志。

下一步行动

如果需要做一次完整的日志分析与索引问题排查,可以联系铭赞网络,我们会结合服务器日志、Search Console与百度资源平台的数据交叉分析,输出抓取频次现状、目录分布、状态码异常清单与按优先级排序的整改建议。电话 13991172090,或访问 xamz.cn/geo/diagnosis.html 在线申请。

铭赞网络的服务范围覆盖GEO优化、SEO、网站建设和外贸营销,服务电话 13991172090。