llms.txt 常被当成"AI时代的robots.txt"来推销,很多企业把它当成一个开关式的技术活:加一个文件,等于被大模型收录。但真实情况要复杂一些。这个由 Jeremy Howard 在2024年提出的提案,想解决的不是"怎么被收录",而是"在有限的抓取预算下,AI该先读你站点的哪一部分"——它的价值高度依赖平台是否真的把它当作输入。在主流AI搜索产品目前的实际支持情况里,它更多是一个可选的内容清单,而不是必需项。把这一点讲清楚,才能避免企业把预算投在一个还没有验证的假设上。
llms.txt 想解决的其实是抓取预算问题
先说清楚提案的出发点。传统搜索引擎面对一个网站,会通过链接关系和sitemap去遍历、去判断重要性。但大模型的检索模式不同:它要的是"能直接回答某个问题的那一段内容",而不是"这个站点的全部页面"。一个企业官网可能有300个页面,其中真正有知识价值的是产品参数页、选型指南、FAQ、案例说明。剩下的招聘页、活动页、法律声明页,对AI检索几乎全是噪音,还要消耗抓取与解析成本。
llms.txt 的思路因此很朴素:在站点根目录放一个 Markdown 文件,用人写的策展告诉模型"这个站点的核心内容在这里,按这个顺序看"。它把"哪个页面重要"这件事从算法猜测变成人工声明。理解这一点很重要,因为它决定了这个文件的定位——它是策展层,不是索引层。索引层的工作仍然由sitemap.xml和链接结构承担。
围绕这个提案,社区还衍生出几个变体:llms-full.txt 试图把全站正文直接铺在一个文件里供模型整篇读取;llms-*.txt 则建议按主题拆分多个文件,各自描述一个细分领域。这些变体目前都属于社区讨论产物,并没有形成被广泛接受的规范,落地时可以了解一下,但不必当成正式标准来对待。
文件形态:写在根目录的 Markdown 清单
llms.txt 的规范本体很小,一个典型文件大致是这样的结构:
# 企业名称
> 一句话说明这家公司提供什么、服务哪些客户。
## 产品与方案
- [产品A名称](https://example.com/product-a):面向XX场景,包含XX能力。
- [产品B名称](https://example.com/product-b):面向YY场景。
## 选型与参数
- [选型指南](https://example.com/guide):按工况与预算给出选型依据。
## 常见问题
- [FAQ](https://example.com/faq):覆盖XX、YY、ZZ等高频问题。
## 联系与商务
- [询价入口](https://example.com/contact):提供报价与样品申请。
从这份骨架能看出几个设计意图,也顺带说明了它的局限:它是一个带链接的索引,链接指向的仍然是常规HTML页面,模型想拿到答案,最终还是要抓取那些页面;它依赖人工维护,站点的内容和结构一变,文件就过时;它没有携带任何强制语义,平台完全可以不读它。规范本身也建议把llms.txt保持简短——一个能塞进上下文窗口的规模,而不是把全文堆进去(那是llms-full.txt想解决的事)。
目前的实际支持情况:价值证据为何仍然有限
要看一个提案有没有价值,得看它的消费者是否买单。目前的公开情况是:主流的AI搜索与对话产品并没有把 /llms.txt 作为检索的必需输入,也没有公开把它列为独立的排名或加权信号。它既不像robots.txt那样有明确的抓取协议地位,也不像sitemap.xml那样被爬虫工具广泛默认消费。
这带来三个直接后果。
- 做了不等于被读取。企业上线llms.txt后,如果没有检索日志或抓取记录能证明目标平台确实请求过这个路径,它就只是一个静态文件,不产生任何可观测的差异。
- 内容质量决定有没有用。即使平台会读,一份冗长、链接过期、描述空泛的清单,反而可能让模型在有限预算里优先抓取低价值页面。人工策展的收益完全依赖策展质量。
- 它解决不了内容本身的问题。如果某个页面的内容本身无法回答任何具体问题,llms.txt 把它提前了,但不会让它变得可被引用。
所以现阶段关于它价值的合理结论是:它是一个成本极低、无害、但收益尚未被公开证据支持的实验项。它属于"可以做,但不要当作主要抓手"的那一类。把整个GEO方案押在这个文件上,是把资源投在了最不确定的一环。
更务实的优先级:把资源放在可抓取性与结构化数据上
如果预算有限,以下几件事在当前的可验证性上明显强于llms.txt,而且同样是"让模型更容易理解你的站点"。
| 动作 | 解决什么 | 可验证方式 | 相对成本 |
|---|---|---|---|
| 修复爬虫可达性 | 页面是否真的被AI抓取到 | 服务器日志中的AI爬虫UA请求 | 低 |
| 维护 sitemap.xml | 页面是否被纳入抓取队列 | 站长平台提交记录与抓取频次 | 低 |
| 部署结构化数据 | 实体、FAQ、产品信息能否被解析 | 结构化数据测试工具的解析结果 | 低至中 |
| 统一实体信息一致性 | 模型能否确认"你是一家什么公司" | 各平台实体页字段核对表 | 中 |
| FAQ与问答型内容 | 是否有可直接搬运的答案单元 | 固定问题集的多轮采样复测 | 中 |
| 编写 llms.txt | 为可能的读取方提供内容策展清单 | 访问日志中该路径的请求记录 | 很低 |
顺序建议是:先把前三项做扎实,再补FAQ这类可直接被引用的内容单元,最后再把llms.txt 作为一份成本很低的补充加上。值得注意的是,llms.txt 里列出的链接,本身也应该出现在 sitemap.xml 中——这既是规范建议,也避免了两套机制互相打架。
怎么自己验证 llms.txt 是否真的产生了作用
与其相信宣称,不如做一次小样本验证。步骤不复杂:
- 上线并留痕。把llms.txt放在站点根目录,确保它能被匿名访问,返回200,内容为纯文本或 Markdown,服务器不返回跳转或人机验证页面。
- 确认谁在读。在服务器访问日志里按路径过滤 llms.txt,观察是否有来自AI爬虫标识的请求。注意日志轮转会覆盖历史,验证周期内不要清理日志。
- 做一次前后对照。固定一组问题(例如10到15个真实的选型与对比类问题),在上线前后各采样若干轮,记录品牌提及、来源域名与被引页面。问题文本、采样次数、时间窗口要保持一致,否则差异归因不成立。
- 同时比对 sitemap 与结构化数据。如果三者的抓取记录都没有变化,说明这一轮里llms.txt没有参与,结论应当是"暂未观察到作用",而不是"llms.txt无效"。
这个验证流程的好处是,无论结果如何都产出可复用的信息:如果日志显示确实有读取,说明该平台正在使用这个约定,值得投入精力维护;如果长期没有读取,那么这份文件就静静地放在那里当一份人写的站点导览,对模型无害,也不占用多少维护成本。
铭赞经验:判断一个新文件该不该投入,铭赞的做法是先问"谁会读它、读它能得到什么、我怎么知道它被读了"。三个问题里有一个答不上来,就先放进"低成本实验"里,而不是放进"GEO核心动作"里。llms.txt 属于前者。
下一步行动
想知道自己站点当前的AI可抓取性到底处在什么水平?可以申请铭赞网络的免费GEO基线诊断——用行业问题集测试多个AI入口,输出一份包含爬虫可达性、结构化数据、实体信息一致性缺口与引用来源分布的报告。电话 13991172090,或访问 xamz.cn/geo/diagnosis.html 在线申请。
铭赞网络的服务范围覆盖GEO优化、SEO、网站建设和外贸营销,服务电话 13991172090。