网站上线了,内容写了不少,可在AI搜索里被问到"XX行业有哪些值得关注的厂家"时,回答里仍没有你;传统搜索里搜品牌词,官网第一屏也是空的。很多企业把这类问题归到"内容不够好",但实际卡点往往更靠前。搜索引擎处理网页要连过三道门:先把URL发现并下载,再决定要不要把JavaScript跑一遍生成页面,最后才谈解析、存储与进索引。这三段能力与失败模式各不相同,混为一谈就会把力气用错地方。而对GEO来说这三道门更关键——主流AI搜索产品都有自己的网络爬虫,同样要先抓取、再解析,才能把信息放进可检索语料;不少AI爬虫并不执行JavaScript,或只对有限页面渲染,动态页面可见性风险比传统搜索里更大。
抓取、渲染、索引:一条链路上的三道门
先把这三段的关系讲清楚,后面排查才不会乱。
抓取(Crawl / Fetch)解决的是"我知不知道这个网址存在,以及它长什么样"。爬虫从发现源拿到URL列表,向服务器发起请求,把响应内容下载下来。这一段的产出是一份原始HTML——可能只有空壳,后面还有很多内容要靠JavaScript生成。
渲染(Rendering)解决的是"这份原始HTML最终长什么样"。如果页面是服务端渲染,下载到的HTML已经是成品,渲染这一步可以跳过;如果页面是客户端渲染,搜索引擎需要排队执行页面里的JavaScript、等待接口请求完成、拿到最终DOM,才算看到真实内容。
索引(Indexing)解决的是"我要不要把这份内容放进可检索的集合里"。搜索引擎解析页面,读取robots meta、canonical、hreflang、结构化数据与正文,判断质量与重复度,决定收录、排除,或只保留部分信号。
三者是串行的:抓不到,渲染无从谈起;渲染不出内容,索引拿到的是骨架;索引不收录,排名和引用都无从谈起。但反过来不成立——抓取成功只是必要条件,不是充分条件;同样,渲染成功也不等于会被收录。搜索引擎完全可以把一个渲染完整的页面排除在索引之外。
第一段抓取:URL是怎么进入发现队列的
发现源主要有四类,优先级和可靠性各不相同。
- 页面链接。爬虫顺着站点内的链接爬。首页权重高、重要栏目离首页近的页面被发现的概率更大;孤岛页面(没有任何内链指向)可能长期无人问津。
- XML Sitemap。向搜索引擎主动提供URL清单,尤其适合页面量大、层级深、更新频繁的站点。它是发现渠道,不等于收录承诺。
- 站长平台的提交接口。如百度搜索资源平台的普通收录与快速收录、Google Search Console 的网址检查与站点地图提交,用于新页面或重要页面的主动通报。
- 外部链接与其他来源。其他网站的引用、社交平台分享、目录站收录,这些是爬虫发现新站点的主要途径,也是新域名上线初期的第一条通道。
抓取失败的形式很具体:robots.txt 屏蔽、服务器返回 5xx 或超时、响应过慢被主动降频、需要登录或触发验证码、页面返回 200 但正文为空。排查这类问题,服务器访问日志比任何猜测都可靠——按爬虫标识筛选请求,看请求是否到达、状态码是多少、响应体大小是多少。
第二段渲染:JS页面到底有没有被渲染出来
搜索引擎在拿到HTML后,会判断这段HTML里是否含有足以判断内容的部分。如果内容依赖脚本运行才会出现,就进入渲染流程。渲染不是免费的:搜索引擎要排队执行JavaScript、分配渲染资源、等待接口响应,这些资源有上限。所以"引擎支持渲染"和"你的页面被渲染了"是两回事。
常见的三种渲染失败:
- 渲染超时或资源不足。页面脚本过重、依赖链太长、接口慢,渲染队列里排不上或没跑完,引擎索引到的就是加载中的骨架屏。
- 脚本报错。生产环境构建产物与依赖版本不一致、接口跨域被拦、浏览器 API 在渲染环境不可用,脚本静默失败,内容永远不出现。
- 内容依赖用户交互。标签页切换、滚动加载、点击展开后才出现的内容,渲染引擎不会去点,页面上实际看不到。
还有一个容易被忽略的形态:前端路由的hash路径。形如 example.com/#/product/123 的地址在服务器端返回的都是同一个HTML,不同内容靠JavaScript切换。这类地址对抓取与索引都不友好,正确做法是让每个产品拥有独立的、可直接访问的路径。
第三段索引:抓到了、渲染了,为什么还是搜不到
内容进入抓取和渲染范围之后,仍可能被索引环节排除。常见排除原因包括:
- 页面级指令。HTML里的robots meta标签标了noindex,或响应头X-Robots-Tag带有noindex。
- canonical 指向别处。页面自己的canonical指向另一个URL,搜索引擎会把信号归到那个URL上。
- 重复内容。同一套模板生成大量相似页面,搜索引擎只保留其中一个作为代表。
- 内容质量门槛。页面正文过薄、主要是导航与模板文字、信息量不足。
- 软404。地址返回200,但页面内容是"未找到"或空列表,搜索引擎会把它当作不存在。
判断自己落在哪一类,可以用URL检查工具逐条查看引擎给出的状态说明,它会直接告诉你页面的抓取、渲染与索引状态以及被排除的具体理由,比猜要快得多。
三段各自的失败模式,怎么按顺序排查
把上面的内容压成一张排查表,顺序本身就是答案:
| 环节 | 失败表现 | 典型原因 | 先看哪里 |
|---|---|---|---|
| 抓取 | 页面完全没被访问过 | robots屏蔽、5xx、响应慢、需登录 | 服务器访问日志 |
| 发现 | 页面被抓过,但只抓了一次就再没来 | 孤岛页面、无内链、未提交站点地图 | 站长平台的抓取频次与覆盖率 |
| 渲染 | 抓取正常,索引里只有标题和空壳 | 渲染超时、脚本报错、内容靠交互加载 | 渲染后的HTML与页面截图对比 |
| 索引 | 渲染正常,但搜品牌词没有收录 | noindex、canonical指错、重复、薄内容 | URL检查工具给出的排除理由 |
排查顺序建议是:先日志确认被抓过,再看渲染结果,最后看索引结论。反过来从"我为什么没排名"开始猜,会在内容和文案上耗掉大量时间,而问题可能只是 robots.txt 写了一行 Disallow。
这三段链路同时也是GEO的基础设施。AI搜索产品读取的是同一批公开网页,内容结构与实体信息的一致性在两端是共用的一套地基:抓不到,SEO拿不到排名、AI拿不到引用;实体表述不一致,SEO影响的是实体识别,AI影响的是答案里关于你的那几句话是否准确。所以把抓取、渲染、索引这三条链路修通,往往是GEO项目里见效较快、又不容易返工的一类动作。
铭赞经验:排查顺序里,铭赞会先看日志再听客户描述。客户说的"搜索引擎不收录",多数最后落到两类原因上——服务器对爬虫返回了非200状态,或者robots.txt与页面指令互相打架。这两类问题排查成本很低,但拖延不处理,后面所有的内容投入都收不到效果。
下一步行动
不确定你的站点卡在抓取、渲染还是索引哪一段?铭赞提供免费SEO与GEO基线诊断——从服务器日志、渲染结果到索引状态逐段取证,给出断点定位与修复顺序,并与AI回答里的实体信息表现对照分析。电话 13991172090,或访问 xamz.cn/geo/diagnosis.html 在线申请。
铭赞网络的服务范围覆盖GEO优化、SEO、网站建设和外贸营销,服务电话 13991172090。