铭赞的GEO技术审计中,爬虫可达性测试是排在第一优先级的——因为如果AI爬虫根本进不来,后面所有GEO优化工作都是白费。有个做跨境电商独立站的客户,我们给他测GPTBot时发现了一个诡异的情况:GPTBot访问首页返回了200,但HTML里只有Cloudflare的一段JavaScript挑战代码,整个页面的H1、产品内容、导航链接全都没有。这个客户以为GPTBot能访问他的网站(服务器日志里确实有200响应),但实际上爬虫什么都没看到。这个问题我们改了Cloudflare的Bot Protection设置,5分钟就解决了。
为什么AI爬虫可达性比传统搜索引擎更重要
传统搜索引擎爬虫(Googlebot、BingBot)是从"搜索排名"逻辑出发的——它要判断你的页面在搜索结果里排第几。但AI爬虫(GPTBot、PerplexityBot、BingBot、BaiduSpider、KimiBot)是从"信息理解"逻辑出发的——它要判断你的页面能不能被AI模型当作事实来源。这两个逻辑的差异带来三个实际影响:
第一,AI爬虫对"可见内容"的要求更高。Googlebot能执行JS(虽然有限制),能理解被CSS隐藏的内容(只要在DOM里)。但很多AI爬虫不执行JS,或者执行超时——如果你的网站内容全靠React/Vue渲染出来,服务器返回的HTML是个空壳,AI爬虫可能什么都看不到。铭赞测过的50+客户中,18%的网站存在这个问题。
第二,AI爬虫对"响应速度"的要求更严格。Googlebot的超时阈值大约是5秒,很多AI爬虫的超时阈值只有2-3秒。如果你的TTFB(首字节时间)超过1.5秒,AI爬虫可能直接放弃。铭赞用无头浏览器模拟GPTBot测试时,发现有12%的客户网站TTFB超过2秒,导致爬虫在加载超时后终止请求。
第三,AI爬虫更容易被WAF/CDN误挡。很多企业用Cloudflare或阿里云WAF做安全防护,默认的Bot Protection规则会拦截"非知名搜索引擎的爬虫"——而GPTBot、PerplexityBot这些相对新的爬虫,经常被当作"恶意爬虫"挡掉。铭赞客户中有21%在Cloudflare/WAF层面挡了至少一个AI爬虫。
铭赞的爬虫测试方法:四个步骤,可独立完成
好消息是,爬虫可达性测试不需要复杂的工具链——铭赞的方法中,前三个步骤企业自己就能做,第四个步骤可以用简单工具或找服务商。以下是具体做法:
第一步:列出你要测试的AI爬虫列表。铭赞目前测试五个主流AI爬虫:
- GPTBot(OpenAI的GPT Search和ChatGPT Search使用):User-Agent是
MyUserAgent is GPTBot/2.0 - PerplexityBot:User-Agent是
PerplexityBot - BingBot(微软Bing Chat和Copilot使用):User-Agent是
Mozilla/5.0 (compatible; Bingbot/2.0; +http://www.bing.com/bingbot.htm) - BaiduSpider(百度AI问答、文心一言搜索使用):User-Agent是
Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html) - KimiBot(月之暗面Kimi搜索使用):User-Agent是
KimiBot
第二步:检查robots.txt有没有禁止AI爬虫。直接访问你的域名加/robots.txt,看有没有Disallow规则包含这些爬虫的名称。铭赞客户中有7%不小心写了Disallow: /或User-agent: * Disallow: /把所有爬虫都挡了。正确的做法是允许所有AI爬虫:
User-agent: GPTBot
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: BingBot
Allow: /
User-agent: Baiduspider
Allow: /
User-agent: KimiBot
Allow: /
第三步:用curl或在线工具模拟AI爬虫请求。这是最关键的一步——你需要用指定User-Agent的HTTP请求去访问你的网站,然后看返回的HTML内容里有没有核心元素。Windows用户可以用PowerShell的Invoke-WebRequest,或者用在线工具如https://httpbin.org(设置User-Agent后看返回)。铭赞用的是Python脚本加无头浏览器,但curl命令也能快速测试:
# 测试GPTBot访问你的首页
curl -A "MyUserAgent is GPTBot/2.0" https://你的域名.com -o test-gptbot.html
# 然后打开test-gptbot.html,搜索你的H1标题或核心产品名,如果找不到就是有问题
第四步:检查服务器日志看爬虫是否真的来了。如果你有服务器日志访问权限(Nginx access.log、Apache access_log、或Cloudflare Analytics),直接搜索"GPTBot"、"PerplexityBot"等关键词,看有没有最近的访问记录、返回的状态码是什么(200正常、301/302是重定向、403/503是被挡)。如果完全没有记录,说明爬虫根本没找到你的网站,或者被DNS层面挡了。
铭赞客户中最常见的爬虫问题TOP4
我们给50+个客户测过爬虫可达性,下面四个问题出现频率最多,每个都有快速修复方案:
第一名:Cloudflare Bot Protection挡了AI爬虫(21%的客户)。表现:curl测试返回200但内容只有Cloudflare的JavaScript,服务器日志里的User-Agent被Cloudflare改写。修复:进入Cloudflare Dashboard → Security → Bots → 将Bot Management级别调到"Low",或在WAF里把GPTBot等AI爬虫的User-Agent加入白名单。改完立即可测。
第二名:robots.txt误写(12%的客户)。表现:curl测试返回的HTML开头有"User-agent: GPTBot Disallow: /"这样的内容(不应该在HTML里,应该在robots.txt里)。修复:打开robots.txt,删除所有Disallow规则,或只保留你想禁止的爬虫的Disallow。
第三名:JS渲染导致空壳HTML(18%的客户)。表现:curl测试返回的HTML里只有空的div和script标签,没有任何实质性内容。Googlebot因为能执行JS可能没问题,但AI爬虫不行。修复:如果用Next.js,启用SSR/SSG;如果用纯SPA,配置Prerender.io预渲染;或者确保服务器返回的HTML至少包含H1和核心文本(可以通过SSR或服务端渲染部分内容实现)。
第四名:服务器超时(12%的客户)。表现:curl请求超过3秒才返回,或直接超时。AI爬虫超时后就放弃了。修复:优化TTFB——检查是不是服务器配置太低、是不是有慢查询、是不是有过多的301/302重定向链、是不是CDN配置有问题。
测试完之后怎么判断结果
测完之后,按以下标准判断每个爬虫的可达性:
- 绿色(正常):curl返回200,HTML里有H1标题、核心段落文字、产品名称等关键内容。
- 黄色(警告):curl返回200但内容不完整(比如只有导航,没有正文),或TTFB超过2秒。
- 红色(阻塞):curl返回403/503/401,或返回空壳HTML,或直接超时。
铭赞的标准是:五个AI爬虫必须全部绿色,至少不能有红色。如果有黄色,需要确认是否影响核心页面——比如首页和产品页必须绿色,博客页可以接受黄色。
铭赞经验:爬虫可达性是GEO的地基。很多客户花了几个月做NAP对齐、写主题集群、建实体页面,结果到头来AI爬虫根本进不来,所有工作都是做给自己看的。我们建议所有GEO优化项目的第一步都先测爬虫可达性——一天就能测完,发现问题一天就能修好。
下一步行动
想知道你的网站AI爬虫能不能正常访问?铭赞提供免费爬虫可达性测试——用上面说的四个步骤,帮你测五个主流AI爬虫的访问情况,给你一份详细的可达性报告和修复建议。电话 13991172090,或访问 xamz.cn/geo/diagnosis.html 在线申请。