robots.txt 是整站里影响面最大、却最容易被顺手改坏的一个文件。一行 Disallow: / 就能让某个AI爬虫完全抓不到你的页面,而这些页面在浏览器里照常打开、照常有排名,所以故障往往在几周后才通过"AI答不上来"这件事暴露出来。更麻烦的是,现在抓你站点的不是一类爬虫,而是十几个身份不同、目的不同的AI爬虫,它们各有各的 User-Agent,规则互不继承,对同一条指令的反应也各不相同。要在GEO里把内容喂给AI,第一步就是把这些爬虫的规则理清楚。
robots.txt 管的是抓取,不是收录与引用
这是最容易混淆的一处。robots.txt 位于站点根目录,是爬虫在抓取任何页面前读取的访问约定,它的作用范围只有"能不能来抓"这一件事,边界之外的东西它一概管不了。
- 它不是访问控制。robots.txt 是一份公开文件,任何人输入URL都能看到。里面写
Disallow: /admin/不等于后台受到保护,这些地址仍然可以被直接访问。真正的保护要靠登录鉴权、服务端鉴权或防火墙规则。 - 它不是索引控制。被 Disallow 的页面如果此前已被索引,仍可能留在搜索结果里,只是不再更新。把 URL 屏蔽掉不会让它从索引中消失,反过来,解除屏蔽也不会让它立刻被收录。
- 它不直接影响搜索排名。Googlebot 被拦,Google 搜索的收录与排序信号就会受影响,但 Google-Extended 被拦只影响 Google 的 AI 训练与内容使用,不影响网页在 Google 搜索里的排名。两者要分开判断。
- 它更不是引用开关。即便 AI 爬虫成功抓取了你的页面,是否在答案里引用你,取决于内容质量、问题匹配度和来源选择策略,跟 robots.txt 没有直接关系。
所以判断 robots.txt 的影响时,正确的问法是"哪些爬虫因此没有拿到我的内容",而不是"我的排名会不会掉"。前者是GEO问题,后者是SEO问题,两条链路需要分别检查。
各家AI爬虫的UA标识与独立规则分组
robots.txt 的语法核心是 User-agent 分组:一段 User-agent: XXX 之后的所有规则,只对 XXX 生效;不同组之间互不继承,也不会互相回退。这一点在有多个AI爬虫的年代尤其重要——你为某个爬虫写的规则,不会自动作用到另一个。
| 爬虫标识 | 所属平台 | 主要用途 | 对GEO的影响 |
|---|---|---|---|
| GPTBot | OpenAI | 用于模型训练的通用抓取 | 影响内容是否进入其训练语料 |
| OAI-SearchBot | OpenAI | 面向搜索场景的索引抓取 | 直接影响ChatGPT搜索的实时引用来源 |
| ChatGPT-User | OpenAI | 用户提问触发时的即时抓取 | 影响回答中能否取到当前页面内容 |
| ClaudeBot / Claude-SearchBot / Claude-User | Anthropic | 训练抓取、搜索索引、用户触发 | 三者权限不同,需分别配置 |
| PerplexityBot / Perplexity-User | Perplexity | 索引抓取与用户触发抓取 | 影响引用来源能否被检索到 |
| Google-Extended | 控制 Gemini 训练与内容使用 | 屏蔽它不影响 Googlebot 的搜索抓取 | |
| Applebot / Applebot-Extended | Apple | Siri 建议与 Apple 智能服务 | 影响是否能进入系统级回答 |
| Meta-ExternalAgent / Meta-ExternalFetcher | Meta | 训练与链接预览抓取 | 主要影响社交与链接卡片 |
| Amazonbot / Amazonbot-Shopping | Amazon | 商品与购物检索 | 影响商品类内容的可发现性 |
| Baiduspider / Bytespider / CCBot | 百度、字节跳动、Common Crawl | 中文搜索、通用语料、开放语料库 | 影响中文语料覆盖与引用来源 |
几个实践要点。第一,同一平台的不同UA要分开对待。把 GPTBot 和 OAI-SearchBot 写成同一条规则,看起来省事,实际后果很可能是训练抓取被放行而搜索索引抓取被拦,或者反过来——两种结果都不是你想要的。第二,UA 名称是公开且稳定的规范,以各平台官方文档公布的字符串为准,写错一个字符,整组规则就匹配不上,等于没写。第三,通用搜索爬虫与AI爬虫要分开评估。Bingbot、Googlebot 被拦会影响搜索基本盘,而某个AI爬虫被拦只影响这一条链路。
Disallow 与 Allow 的匹配语法
路径匹配遵循的是最长前缀匹配规则,而不是"从上往下第一条命中"。理解这一点,很多看起来奇怪的规则就说得通了。
| 规则 | 实际效果 | 常见误解 |
|---|---|---|
Disallow: / | 整个站点不可抓 | 误以为只是禁止抓首页 |
Disallow: /admin | 同时匹配 /admin、/admin/login、/administrator 等所有以该前缀开头的路径 | 误以为只影响 /admin 目录本身 |
Allow: / 加 Disallow: /admin | 全站可抓,仅屏蔽指定前缀 | 与"先禁后放"的顺序无关,规则按最长前缀判定 |
Disallow: /*.pdf$ | 屏蔽以 .pdf 结尾的路径 | 误以为 $ 是普通字符 |
Disallow: /*? | 屏蔽所有带查询参数的 URL | 容易误伤依赖参数分页的有效页面 |
语法要点有四条:路径匹配区分大小写;* 表示任意字符序列,$ 表示路径结尾;Allow 与 Disallow 冲突时按路径长度判定,长度相同则 Allow 优先;空值有明确含义,Disallow:(冒号后为空)表示允许全部,而不是禁止全部。写规则时把这几条吃透,比反复调试要快得多。
另一个容易被忽略的匹配细节是路径本身不含域名部分。Disallow: /product/ 作用于本站所有以该前缀开头的路径,与你站点有多少个目录、多少层路径无关。
速率限制与更稳妥的封禁范围
关于 Crawl-delay:它是 robots.txt 的非标准扩展指令,用于声明抓取间隔,但支持情况并不统一。Google 不支持 Crawl-delay,主流做法是忽略它;Bing、Yandex 以及部分其他爬虫对它有不同程度的处理。也就是说,把速率控制完全押在 Crawl-delay 上是不可靠的。
更可控的替代方案有三种:服务器或 WAF 层按 User-Agent 限速,对命中指定 UA 的请求单独设置并发与速率阈值,超限时返回 429;用 meta robots noindex 控制索引,它管的是"要不要进索引"这件事,与 robots.txt 的"能不能来"是两条独立通道,两者可以叠加使用;把不希望参与抓取的目录放到子域名或独立路径下,这样规则更干净,也不容易误伤正常内容。
更稳妥的封禁范围原则是:只封无关路径,而不是整站封禁。典型的应当封禁对象包括后台与接口路径、站内搜索结果页、参数组合产生的重复列表页、需要登录才能访问的区域、测试环境与打印页、临时活动页。业务内容页、产品详情页、技术资料页、解决方案页、案例页——这些恰恰是希望AI抓到的部分,默认应当放行。
如果企业的实际需求是"不希望内容被用于模型训练",目前的通行做法是在对应平台提供的开关或专属指令里做区分,而不是一刀切地屏蔽整个UA。训练用途与实时检索用途分属不同UA,分别配置之后,既守住了内容授权的边界,也不会误伤AI搜索带来的引用。
常见误配与服务器日志验证法
robots.txt 的问题几乎都是静默的,页面照常打开,所以必须主动验证。以下几类是实践中最常出现的:
- 整站屏蔽。为"防爬虫"而在文件开头写了
User-agent: *加Disallow: /,结果所有爬虫都拿不到内容,AI和搜索引擎同时失去抓取能力。 - 规则字符写错。UA 名称拼错、路径前漏掉斜杠、Disallow 拼成 Discallow,规则静默失效,没有任何报错。
- 屏蔽了渲染所需资源。把
/css/、/js/、/assets/一并封掉,爬虫拿到的是残缺页面,渲染不出正文结构。 - 用 robots.txt 保护敏感数据。把报价页、内部文档目录列为禁止抓取,实际等于公开了目录结构。
- 文件本身不可达。robots.txt 被重定向到首页、返回了错误状态码、或放在了子目录下,都会让爬虫读不到规则,只能按默认行为抓取。
- 期望被引用却屏蔽了目标爬虫。一边封禁某个AI爬虫,一边期待它在答案里引用自家页面,这是方向上的冲突。
验证方法有三种,可以组合使用。一是直接按UA模拟请求,用命令行为各AI爬虫的User-Agent分别请求站点,观察返回内容与状态码是否正常,比如 curl -A "OAI-SearchBot" https://你的域名/robots.txt,再逐条比对规则命中结果。二是对照服务器日志,在访问日志中按UA过滤,统计各AI爬虫的请求路径分布、请求频率和返回状态码——如果某个AI爬虫在最近一个月完全没有请求记录,说明它在 robots.txt 环节就被挡掉了;记录存在但集中在少数路径,说明链接结构对爬虫不友好。三是核对规则覆盖情况,把站点地图中的重要页面路径与 robots.txt 的规则逐条对照,确认目标页面没有被误屏蔽。
铭赞经验:robots.txt 的排查顺序应该固定为"文件是否可正常读取 → 目标UA分组是否存在 → 目标页面路径是否被前缀误匹配 → 服务器日志里该UA是否有实际请求"。跳过第一步直接改规则,常见的现象是改了半天却没有任何变化,因为问题出在文件返回的是一个 404 页面。
下一步行动
想知道你的站点现在有哪些AI爬虫被挡在门外、哪些页面还没被抓取?铭赞提供免费GEO基线诊断——检查robots.txt规则、各爬虫UA的抓取情况与页面可访问性,输出漏抓清单与修改建议。电话 13991172090,或访问 xamz.cn/geo/diagnosis.html 在线申请。
铭赞网络的服务范围覆盖GEO优化、SEO、网站建设和外贸营销,服务电话 13991172090。