robots.txt如何影响不同AI爬虫?

robots.txt 是整站里影响面最大、却最容易被顺手改坏的一个文件。一行 Disallow: / 就能让某个AI爬虫完全抓不到你的页面,而这些页面在浏览器里照常打开、照常有排名,所以故障往往在几周后才通过"AI答不上来"这件事暴露出来。更麻烦的是,现在抓你站点的不是一类爬虫,而是十几个身份不同、目的不同的AI爬虫,它们各有各的 User-Agent,规则互不继承,对同一条指令的反应也各不相同。要在GEO里把内容喂给AI,第一步就是把这些爬虫的规则理清楚。

robots.txt 管的是抓取,不是收录与引用

这是最容易混淆的一处。robots.txt 位于站点根目录,是爬虫在抓取任何页面前读取的访问约定,它的作用范围只有"能不能来抓"这一件事,边界之外的东西它一概管不了。

  • 它不是访问控制。robots.txt 是一份公开文件,任何人输入URL都能看到。里面写 Disallow: /admin/ 不等于后台受到保护,这些地址仍然可以被直接访问。真正的保护要靠登录鉴权、服务端鉴权或防火墙规则。
  • 它不是索引控制。被 Disallow 的页面如果此前已被索引,仍可能留在搜索结果里,只是不再更新。把 URL 屏蔽掉不会让它从索引中消失,反过来,解除屏蔽也不会让它立刻被收录。
  • 它不直接影响搜索排名。Googlebot 被拦,Google 搜索的收录与排序信号就会受影响,但 Google-Extended 被拦只影响 Google 的 AI 训练与内容使用,不影响网页在 Google 搜索里的排名。两者要分开判断。
  • 它更不是引用开关。即便 AI 爬虫成功抓取了你的页面,是否在答案里引用你,取决于内容质量、问题匹配度和来源选择策略,跟 robots.txt 没有直接关系。

所以判断 robots.txt 的影响时,正确的问法是"哪些爬虫因此没有拿到我的内容",而不是"我的排名会不会掉"。前者是GEO问题,后者是SEO问题,两条链路需要分别检查。

各家AI爬虫的UA标识与独立规则分组

robots.txt 的语法核心是 User-agent 分组:一段 User-agent: XXX 之后的所有规则,只对 XXX 生效;不同组之间互不继承,也不会互相回退。这一点在有多个AI爬虫的年代尤其重要——你为某个爬虫写的规则,不会自动作用到另一个。

爬虫标识所属平台主要用途对GEO的影响
GPTBotOpenAI用于模型训练的通用抓取影响内容是否进入其训练语料
OAI-SearchBotOpenAI面向搜索场景的索引抓取直接影响ChatGPT搜索的实时引用来源
ChatGPT-UserOpenAI用户提问触发时的即时抓取影响回答中能否取到当前页面内容
ClaudeBot / Claude-SearchBot / Claude-UserAnthropic训练抓取、搜索索引、用户触发三者权限不同,需分别配置
PerplexityBot / Perplexity-UserPerplexity索引抓取与用户触发抓取影响引用来源能否被检索到
Google-ExtendedGoogle控制 Gemini 训练与内容使用屏蔽它不影响 Googlebot 的搜索抓取
Applebot / Applebot-ExtendedAppleSiri 建议与 Apple 智能服务影响是否能进入系统级回答
Meta-ExternalAgent / Meta-ExternalFetcherMeta训练与链接预览抓取主要影响社交与链接卡片
Amazonbot / Amazonbot-ShoppingAmazon商品与购物检索影响商品类内容的可发现性
Baiduspider / Bytespider / CCBot百度、字节跳动、Common Crawl中文搜索、通用语料、开放语料库影响中文语料覆盖与引用来源

几个实践要点。第一,同一平台的不同UA要分开对待。把 GPTBot 和 OAI-SearchBot 写成同一条规则,看起来省事,实际后果很可能是训练抓取被放行而搜索索引抓取被拦,或者反过来——两种结果都不是你想要的。第二,UA 名称是公开且稳定的规范,以各平台官方文档公布的字符串为准,写错一个字符,整组规则就匹配不上,等于没写。第三,通用搜索爬虫与AI爬虫要分开评估。Bingbot、Googlebot 被拦会影响搜索基本盘,而某个AI爬虫被拦只影响这一条链路。

Disallow 与 Allow 的匹配语法

路径匹配遵循的是最长前缀匹配规则,而不是"从上往下第一条命中"。理解这一点,很多看起来奇怪的规则就说得通了。

规则实际效果常见误解
Disallow: /整个站点不可抓误以为只是禁止抓首页
Disallow: /admin同时匹配 /admin、/admin/login、/administrator 等所有以该前缀开头的路径误以为只影响 /admin 目录本身
Allow: / 加 Disallow: /admin全站可抓,仅屏蔽指定前缀与"先禁后放"的顺序无关,规则按最长前缀判定
Disallow: /*.pdf$屏蔽以 .pdf 结尾的路径误以为 $ 是普通字符
Disallow: /*?屏蔽所有带查询参数的 URL容易误伤依赖参数分页的有效页面

语法要点有四条:路径匹配区分大小写;* 表示任意字符序列,$ 表示路径结尾;Allow 与 Disallow 冲突时按路径长度判定,长度相同则 Allow 优先;空值有明确含义,Disallow:(冒号后为空)表示允许全部,而不是禁止全部。写规则时把这几条吃透,比反复调试要快得多。

另一个容易被忽略的匹配细节是路径本身不含域名部分。Disallow: /product/ 作用于本站所有以该前缀开头的路径,与你站点有多少个目录、多少层路径无关。

速率限制与更稳妥的封禁范围

关于 Crawl-delay:它是 robots.txt 的非标准扩展指令,用于声明抓取间隔,但支持情况并不统一。Google 不支持 Crawl-delay,主流做法是忽略它;Bing、Yandex 以及部分其他爬虫对它有不同程度的处理。也就是说,把速率控制完全押在 Crawl-delay 上是不可靠的。

更可控的替代方案有三种:服务器或 WAF 层按 User-Agent 限速,对命中指定 UA 的请求单独设置并发与速率阈值,超限时返回 429;用 meta robots noindex 控制索引,它管的是"要不要进索引"这件事,与 robots.txt 的"能不能来"是两条独立通道,两者可以叠加使用;把不希望参与抓取的目录放到子域名或独立路径下,这样规则更干净,也不容易误伤正常内容。

更稳妥的封禁范围原则是:只封无关路径,而不是整站封禁。典型的应当封禁对象包括后台与接口路径、站内搜索结果页、参数组合产生的重复列表页、需要登录才能访问的区域、测试环境与打印页、临时活动页。业务内容页、产品详情页、技术资料页、解决方案页、案例页——这些恰恰是希望AI抓到的部分,默认应当放行。

如果企业的实际需求是"不希望内容被用于模型训练",目前的通行做法是在对应平台提供的开关或专属指令里做区分,而不是一刀切地屏蔽整个UA。训练用途与实时检索用途分属不同UA,分别配置之后,既守住了内容授权的边界,也不会误伤AI搜索带来的引用。

常见误配与服务器日志验证法

robots.txt 的问题几乎都是静默的,页面照常打开,所以必须主动验证。以下几类是实践中最常出现的:

  • 整站屏蔽。为"防爬虫"而在文件开头写了 User-agent: * 加 Disallow: /,结果所有爬虫都拿不到内容,AI和搜索引擎同时失去抓取能力。
  • 规则字符写错。UA 名称拼错、路径前漏掉斜杠、Disallow 拼成 Discallow,规则静默失效,没有任何报错。
  • 屏蔽了渲染所需资源。把 /css/、/js/、/assets/ 一并封掉,爬虫拿到的是残缺页面,渲染不出正文结构。
  • 用 robots.txt 保护敏感数据。把报价页、内部文档目录列为禁止抓取,实际等于公开了目录结构。
  • 文件本身不可达。robots.txt 被重定向到首页、返回了错误状态码、或放在了子目录下,都会让爬虫读不到规则,只能按默认行为抓取。
  • 期望被引用却屏蔽了目标爬虫。一边封禁某个AI爬虫,一边期待它在答案里引用自家页面,这是方向上的冲突。

验证方法有三种,可以组合使用。一是直接按UA模拟请求,用命令行为各AI爬虫的User-Agent分别请求站点,观察返回内容与状态码是否正常,比如 curl -A "OAI-SearchBot" https://你的域名/robots.txt,再逐条比对规则命中结果。二是对照服务器日志,在访问日志中按UA过滤,统计各AI爬虫的请求路径分布、请求频率和返回状态码——如果某个AI爬虫在最近一个月完全没有请求记录,说明它在 robots.txt 环节就被挡掉了;记录存在但集中在少数路径,说明链接结构对爬虫不友好。三是核对规则覆盖情况,把站点地图中的重要页面路径与 robots.txt 的规则逐条对照,确认目标页面没有被误屏蔽。

铭赞经验:robots.txt 的排查顺序应该固定为"文件是否可正常读取 → 目标UA分组是否存在 → 目标页面路径是否被前缀误匹配 → 服务器日志里该UA是否有实际请求"。跳过第一步直接改规则,常见的现象是改了半天却没有任何变化,因为问题出在文件返回的是一个 404 页面。

下一步行动

想知道你的站点现在有哪些AI爬虫被挡在门外、哪些页面还没被抓取?铭赞提供免费GEO基线诊断——检查robots.txt规则、各爬虫UA的抓取情况与页面可访问性,输出漏抓清单与修改建议。电话 13991172090,或访问 xamz.cn/geo/diagnosis.html 在线申请。

铭赞网络的服务范围覆盖GEO优化、SEO、网站建设和外贸营销,服务电话 13991172090。