AI没有提到你的品牌时,多数人第一反应是内容不够好。但服务器日志往往给出另一个答案:这个AI爬虫压根没来过你的站点。判断AI抓取行为的证据不在前台,而在Nginx或Apache的访问日志里——那里记录着每一次请求的来源IP、User-Agent、请求路径、返回状态码、传输字节数和耗时。把这批原始记录按AI爬虫归类、分析它们去了哪些页面、拿到了什么响应,就能把"AI为什么没引用我"这个问题从猜测变成可验证的排查过程。
日志里哪些字段能支撑AI抓取分析
常见的Nginx日志格式(combined格式)已经包含做这件事所需的大部分字段。关键是知道每个字段在分析中承担什么角色,而不是把日志当成一堆看不懂的字符串。
| 日志字段 | 在AI抓取分析中的作用 | 典型取值与解读 |
|---|---|---|
| User-Agent | 识别爬虫身份的唯一依据,归类的第一维度 | GPTBot、OAI-SearchBot、ClaudeBot、PerplexityBot 等 |
| 请求路径 | 还原爬虫的访问轨迹,判断抓取深度 | / 出现一次、/product/ 出现数十次,属于深度抓取 |
| 状态码 | 反映请求是否被满足,是排查阻断的第一信号 | 200 正常,403 被拒,429 被限速,5xx 服务端错误 |
| 响应时间 | 判断页面是否渲染过慢导致抓取放弃 | 普遍超过数秒,说明首屏渲染偏重 |
| Referer | 判断爬虫从哪里跟进来,是否跟随了站内链接 | 为空说明直接抓取 sitemap 或首页 |
| 请求IP与字节数 | 辅助识别同一爬虫的分布式节点,判断抓取规模 | 字节数持续为0或极小,多为无效请求 |
如果站点使用的是云CDN或WAF,原始访问日志通常不在源站,需要在CDN控制台或安全控制台导出;使用日志分析工具(AWStats、GoAccess、Matomo)或日志管道时,注意确认导出的是包含 User-Agent 的原始字段,而不是已经聚合过的统计报表,因为聚合报表通常会丢掉 UA 和状态码的明细。
第一步:按UA把请求归类到AI爬虫
日志里每天可能有几万到几十万条记录,直接看文件没有意义,第一步是筛选。把日志中的 User-Agent 字段与一份AI爬虫UA清单做匹配,分出四类:AI训练爬虫、AI搜索索引爬虫、AI用户触发爬虫、通用搜索引擎爬虫。清单需要持续维护,因为各家会不定期新增或调整标识。
这一步有两个技术细节值得注意。一是匹配要包含子串与变体,部分爬虫会在 UA 末尾附加版本号或站点信息,比如带 +https:// 后缀,或者使用 ClaudeBot/1.0 这类带版本号的写法,直接用完全相等匹配会漏掉。二是要区分"真爬虫"与"伪装者",有些工具会伪装成浏览器UA发起请求用于数据采集,这一类通常不构成AI引用来源,统计时可以单独归为"其他",不要混进AI爬虫的结论里。
归类完成后先看三个总量指标:各AI爬虫的请求总次数、各AI爬虫覆盖的唯一URL数量、各AI爬虫请求占全站请求的比例。这三个数字放在一起能立刻分出几种典型状态:请求次数高但URL数量低,说明它反复抓取少数几个页面;请求次数和URL数量都高,说明抓取覆盖良好;两者都接近零,说明这个爬虫还没来过站点。
第二步:看抓取频次、页面数与抓取深度
拿到归类结果后,把每个AI爬虫的请求按时间和路径展开分析。三个维度最关键:
抓取频次。按天或按周聚合请求次数,观察是否存在规律。如果一个AI爬虫每天固定来一次、每次抓几十个页面,属于正常的索引更新节奏;如果集中在某一天密集抓取数千个请求之后就长时间不再出现,说明它把站点扫了一遍就认为内容没有更新价值;如果请求之间间隔极短、连续命中同一批URL,多半是脚本化采集而非正常索引爬虫。
抓取深度。统计请求路径的层级分布,看它是否只停留在首页和一级栏目。实践中最常见的一种情形是:AI爬虫抓了首页、分类页、列表页,但产品详情页、解决方案页、技术文章页一个都没抓到。这类站点往往首页链接用JavaScript生成、或者内容靠筛选参数展开,爬虫顺着链接走不到深处,只能停在列表层。
是否命中关键内容页。这一步需要准备一份"目标页面清单",把真正希望被AI引用的页面列出来——通常是产品页、方案页、案例页、技术资料页。然后核对日志:这些URL在AI爬虫的请求里出现了几次,出现在什么时间,响应状态码是什么。清单里的页面在日志中一次都没出现,问题基本可以定位在链接结构或抓取深度上。
这三个维度可以做成一张固定的对照表,每个月更新一次,让变化趋势比单点数字更有意义。
第三步:状态码分布暴露的抓取障碍
状态码是把"抓到了"和"抓成了"区分开来的关键字段。AI爬虫请求的返回码分布,往往直接指向具体问题。
| 状态码组合 | 说明的实际情况 | 下一步排查方向 |
|---|---|---|
| 200 为主 | 请求被正常满足,爬虫拿到了内容 | 若仍未被引用,问题在内容质量而非抓取 |
| 大量 301/302 | 请求被反复重定向,爬虫在追链路上消耗预算 | 检查 http/https、带不带 www、尾斜杠等跳转链是否收敛 |
| 大量 403 | 请求被拒绝,通常是 WAF 规则或 UA 黑名单命中 | 核对安全策略里是否误伤了AI爬虫标识 |
| 大量 429 | 触发了限速,爬虫被要求降低请求频率 | 放宽对AI爬虫的速率限制,或设置独立白名单 |
| 大量 404 | 爬虫请求的是站内不存在的地址 | 多为旧链接、失效的参数组合或被删除的内容 |
| 大量 5xx | 服务端错误,页面生成失败 | 查看应用层日志,渲染超时与后端异常是主因 |
| 大量 304 | 命中了缓存,爬虫没有拿到新内容 | 检查缓存策略是否让爬虫拿到过期版本 |
重定向这一项值得单独展开。很多站点的跳转链是这样的:访问 http://域名 跳到 https://域名,再跳到带 www 的版本,再跳到去掉尾斜杠的版本——三跳之后才落到最终页面。搜索引擎能处理这种链路,但AI爬虫的抓取预算有限,每一跳都在消耗它的资源,部分爬虫在跳数过多时直接放弃。
另一个高频问题是返回200但内容是空壳。日志显示请求成功,字节数却异常小,原因是页面正文靠JavaScript在客户端渲染,服务端只返回了框架。这种情况下日志告诉你"抓取成功",但AI真正拿到的是没有实质内容的HTML。要确认这一点,需要在浏览器里查看源代码,核对正文是否已存在于初始HTML中。
第四步:把抓取情况转成结论与动作
日志分析的终点不是报表,而是一份可执行的判断。抓取数据与引用结果之间的对应关系有四种典型情形,处理方式完全不同。
- 日志里完全没有该AI爬虫的记录。优先检查 robots.txt 规则是否把它挡在门外、服务器或WAF是否在应用层拦截、以及站点地图与内链是否给它提供了入口。这一类属于准入问题,先放行再谈内容。
- 有抓取记录,但只覆盖首页和列表页。属于站点结构问题。检查内链是否用JavaScript生成、产品页是否需要经过筛选交互才能到达、内容是否藏在折叠区域或滚动加载之后。解决办法是补充可被直接访问的深层页面路径,并把它们写进站点地图。
- 目标页面被抓到了,但状态码是 4xx 或 5xx。属于技术阻断问题,与内容质量无关。逐条修复响应状态,优先消除 5xx 和重定向链。
- 目标页面被抓到了,状态码是 200 且内容完整,但AI在回答中仍不引用。这一类才是内容问题。此时要回到内容本身检查:页面是否直接回答了用户会问的那句话、有没有可引用的具体事实、结构和标题是否便于被切分成独立片段、是否存在更权威的同类来源被优先采用。
把四种情形和对应动作做成一张对照表,附上具体URL示例,日志分析就从"看数据"变成了"能派工单"。
铭赞经验:日志分析有个反复出现的现象——很多站点的AI爬虫请求量并不低,但抓到的页面集中在首页和几个栏目页上,深度内容始终为零。这种情况下继续优化首页文案、继续加关键词,作用有限,因为那些回答采购问题真正需要引用的产品页和方案页,压根没有进入AI的候选集。先把结构打开,再谈内容打磨。
下一步行动
想知道你的站点在AI抓取层面卡在哪一环?铭赞提供免费GEO基线诊断——分析服务器日志中的各AI爬虫访问记录、状态码分布与抓取深度覆盖情况,输出漏抓页面清单与修复优先级。电话 13991172090,或访问 xamz.cn/geo/diagnosis.html 在线申请。
铭赞网络的服务范围覆盖GEO优化、SEO、网站建设和外贸营销,服务电话 13991172090。