JavaScript网站如何处理SEO抓取问题?

React、Vue、Angular 构成了当下企业站的主流形态,但相当一部分站点在浏览器里打开是完整的,在搜索引擎和爬虫眼里却只有一个空壳:<div id="root"></div>。问题不在于搜索引擎不支持 JavaScript,而在于它支持的方式有明确的成本边界——渲染要排队、要分配资源、要有超时限制,还有相当一部分 AI 爬虫根本不执行脚本。所以"我们的网站是 React 做的"这句话本身不构成解释,它只是把一个渲染策略问题,包装成了一个技术栈问题。

JS 站点的三层风险

把风险分层看,排查时就不会乱。

第一层,渲染成本与队列。搜索引擎执行 JavaScript 需要排队,并分配有限的渲染资源。页面越重——JS 体积大、依赖链长、接口多、首屏请求多——排队的成本越高,赶上高峰时段尤其容易排不上。这一层的问题是"你可能很久都轮不到",而且表现隐蔽:搜索引擎不会告诉你它只是没排上。

第二层,超时后拿到的是骨架。渲染有超时限制,超时后引擎会把当前拿到的内容当作结果。如果这时页面只输出了加载中的占位结构,那么被索引的就是一个空壳:标题之外几乎没有正文,页面质量判定自然不通过。典型症状是"抓取报告显示已抓取,但收录为零",而URL检查工具里能看到渲染后的页面是正常的——说明渲染其实成功过,只是有相当一部分请求没跑完。

第三层,动态内容根本不出现。内容只有在用户交互之后才会显示:需要点开的标签页、滚动到底才加载的列表、点了"展开参数"才出现的规格表、需要选择型号后才渲染的报价。渲染引擎不会替你点击,它只会加载页面并执行脚本,这类内容对索引而言等于不存在。页面上"看起来有",不等于爬虫"拿得到"。

还有两个常被漏掉的连带问题:由脚本注入的 meta 标签(canonical、robots、Open Graph)在原始HTML里不存在,抓取器读不到就等于没写;基于 hash 的前端路由让多个页面共用同一个服务器地址,服务器返回的都是同一份HTML,内容再完整也无法按URL区分。

方案取舍:SSR、SSG、ISR 与客户端渲染

渲染方式没有优劣之分,只有与页面类型是否匹配之分。

  • SSG 静态生成:在构建期把每个路由渲染成 HTML 写到磁盘。速度较快、服务器压力较小、内容对爬虫完全可见。适合产品目录、文档、案例库这类内容相对稳定的页面。
  • SSR 服务端渲染:每次请求由服务器渲染出完整 HTML 返回。首屏时间比静态生成长,但内容永远是最新的,适合实时性要求高的页面,比如带库存与报价的产品页。
  • ISR 增量静态生成:先生成静态页,再按时间或按请求触发后台重新生成。兼顾性能与更新频率,适合页面量大、更新频繁的内容站。
  • 客户端渲染:HTML 里只放空容器,全部内容由浏览器运行脚本后生成。适合登录后的后台、在线编辑器、可视化工具这类不需要被检索的应用页面。

现实中的站点几乎都是混合策略:首页、核心落地页、产品详情页用 SSR 或 SSG 兜住,长尾列表页与筛选页可以接受客户端渲染。判断标准很简单:这个页面是否需要被搜索或被AI检索到?需要,就不该完全交给客户端渲染。

预渲染与水合:让关键内容出现在首屏 HTML 里

预渲染指的是在返回给爬虫与用户的第一份HTML里就已经包含完整内容,水合指的是在这份静态HTML之上挂载客户端应用,让页面变得可交互。两者的配合有一个硬性要求:静态 HTML 中的内容必须与水合后生成的 DOM 一致。不一致会触发 hydration mismatch,开发控制台会报警,框架甚至可能把整棵子树重新渲染掉——那样一来,SEO内容反而被水合过程抹掉了。

落地时的要点清单:

  • 把语义内容放进首屏 HTML。标题、H1、正文摘要、关键规格参数、价格区间、FAQ、canonical、meta 标签、JSON-LD 结构化数据,都应该在第一份HTML里就存在,而不是等脚本跑完再插入。
  • 图片用真实的 img 标签,给出 width、height 与 alt;不要用背景图承载产品信息,也不要把图片作为唯一的内容载体。
  • 给关键内容加静态兜底。即使脚本失败,页面里也应该有一段可读的文本——比如一个写死在 HTML 里的规格表或简介。这一段既是给爬虫的保险,也是给禁用脚本用户的可用性保障。
  • 路由用真实路径。采用 history 模式的框架要配上服务器 rewrite 规则,让直接访问子路由时返回 index.html 而不是 404,同时把静态资源和接口路径排除在 rewrite 之外。

React、Vue、Angular 里的常见坑

React 系。最常见的写法是用 useEffect 在客户端请求数据再 setState,这段数据不会出现在服务端返回的 HTML 里。解决方向是改用框架的服务端能力取数,让数据在渲染阶段就进入 HTML;同理,用 React Helmet 之类的库在客户端注入 meta 标签,等于把 canonical 与 robots 藏进了脚本,应改为框架提供的服务端元数据接口。React.lazy 配合 Suspense 会产生 fallback 分支,如果关键内容被放进了懒加载块,渲染不完整时页面就是空的。

Vue 系。createApp().mount('#app') 的典型后果和 React 一样。另外两点要留意:一是 vue-router 的 history 模式必须配服务器 rewrite,否则直接打开 /product/123 会 404;二是要做 SSR 就需要引入服务端渲染器,而不是只在客户端挂载。

Angular 系。常见问题是路由懒加载的 chunk 在渲染阶段还没加载完,导致页面停在路由占位上;启用服务端渲染后,还要确认服务端渲染与浏览器环境的差异(浏览器 API、时间与随机数)没有在渲染期被调用,否则会出现不一致。

三个跨框架的共性坑。一是构建期取不到数据:SSG 在构建时就需要调用接口,如果接口在构建环境不可达或需要鉴权,生成的静态页就会是空的。二是CDN 缓存了旧构建,导致新旧版本的 HTML 混杂,排查时看到的内容与线上不一致。三是代理与路径配置错误,前端按相对路径请求接口,部署到子目录后全部 404,而内容恰好依赖这个接口,于是页面渲染不出正文。

怎么检测:三个动作能定位到具体环节

一,看引擎实际拿到的 HTML。用站长平台的URL检查工具提交具体地址,直接查看它抓取到的内容与渲染后的内容分别是什么。这一步能区分"抓取阶段就没拿到"和"抓到了但没渲染出来"。

二,做渲染前后对比。用命令行请求页面,查看返回的 HTML 里有没有关键文字;再用无头浏览器加载同一地址抓取渲染后的 DOM,把两者逐段比对。差异的部分就是爬虫可能拿不到的内容。同样的方法可以用来验证 JSON-LD、canonical、meta 是否在首屏HTML里。

三,看日志。在服务器访问日志里筛出爬虫请求,记录响应体大小。如果响应体只有几 KB,而页面实际内容有几十 KB,基本可以确认返回的是骨架;同时统计爬虫请求的频率与时间分布,间接反映渲染队列的拥挤程度。

这三个动作的顺序,与前面三层风险的顺序是一致的:先确认引擎抓到的是什么,再看渲染出来的是什么,最后回到日志核对响应体。多工具并用的价值在于交叉验证——单看URL检查工具的"渲染正常"结论并不可靠,因为那通常只反映某一次成功渲染。

对GEO来说,这一层的权重更高。主流AI搜索产品的爬虫大多不执行JavaScript,它们读到的是原始HTML。如果你的核心内容只存在于客户端渲染之后,那么无论传统搜索的渲染机制多么努力,AI检索侧几乎看不到你的产品参数与企业事实。把关键内容前置到HTML里,在SEO里是加分项,在GEO里更接近前置条件——而这依然是同一件事:让机器在不运行任何脚本的前提下,就能读懂你写了什么。

铭赞经验:铭赞在接手JS站点时,习惯先让开发做一件事——把首页与三个核心落地页的原始HTML(用命令行请求,不开浏览器)抓下来发给业务方看。业务方通常会惊讶于"页面上写的介绍、规格、资质,一行都没在里面"。这个动作能很快地把问题从"要不要换框架"拉回到"内容有没有放进HTML",避免一上来就推翻重做。

下一步行动

不确定你的JS站点哪些内容被爬虫拿到了、哪些没有?铭赞提供免费SEO与GEO基线诊断——对核心页面做抓取与渲染前后对比、检查结构化数据与路由配置,输出需要前置到HTML的内容清单与改造顺序。电话 13991172090,或访问 xamz.cn/geo/diagnosis.html 在线申请。

铭赞网络的服务范围覆盖GEO优化、SEO、网站建设和外贸营销,服务电话 13991172090。