监测 AI 搜索时,一个几乎所有人都会遇到的情况是:今天问一遍,答案里提到了你的品牌;十分钟后再问一遍,同样的话,你的品牌不见了,换成了别家。有人因此得出「AI 搜索完全不可信」的结论,也有人因此得出「被 AI 推荐了」的乐观判断,然后被下一次提问打回原形。这两种判断都不成立。AI 答案的波动是一个可以拆解、可以测量、可以被设计成不受干扰的工程问题——前提是知道随机性来自哪一层,以及哪些层你能影响。下面把三层来源分开讲,并给出一套能得出稳定结论的记录与复测方法。
随机性的三个来源,先分清楚
同一个问题、同一个引擎,两次得到不同答案,背后的原因通常不止一个。把它拆成三层,能帮我们判断波动是「正常噪声」还是「真的发生了变化」。
| 来源层级 | 发生了什么 | 波动的时间尺度 | 企业能否影响 |
|---|---|---|---|
| 检索层 | 候选文档集合发生变化:新页面被抓取、旧页面被重排、来源排序调整 | 小时到周 | 能,通过内容与站点结构 |
| 生成层 | 同样的材料,模型采样出不同的措辞、不同的取舍、不同的条目组合 | 秒到分钟 | 部分能,通过内容结构与事实密度 |
| 更新层 | 索引刷新、模型版本更换、检索策略调整、个性化与位置参数介入 | 天到月 | 基本不能 |
第三层是很多争论的根源。一个企业在两次采样之间,网站内容一个字没改,结果里品牌出现了又消失——如果这中间引擎换了模型版本或刷新了索引,那这不是「你的内容不好」,而是基线被换掉了。监测报告如果不区分这三层,就会把系统更新误读成工作成效,或者反过来。
检索层与生成层:候选池在动,采样也在变
生成式引擎在生成答案之前,先要检索出一批候选材料。这一层的变化有几个常见来源。
第一,抓取时序。新发布的页面不会立刻进入索引。引擎有自己的抓取调度,热门站点被抓得更频繁,冷门站点可能几天甚至几周才轮到一次。所以你今天发布的内容,今天不一定能被引用;今天没被引用,不代表内容有问题。
第二,来源排序的动态调整。即使候选集合没变,同一批文档的内部排序也会随时间、随查询措辞、随实时信号波动。这会导致「同一批候选,不同次序」,而生成阶段对排序是敏感的——排在前面的文档更容易被选中作为主要依据。
第三,查询改写带来的路径分叉。用户输入的一句话,引擎通常会做多次查询改写,尝试不同关键词组合。如果其中一次改写命中了另一套索引或另一个时间切片(有些引擎会混入实时网页快照),候选集合就会明显不同。这解释了为什么把同一个问题换个说法问,答案可能完全不同——你以为在测稳定性,其实测的是两条不同的检索路径。
第四,实时性与位置参数。部分引擎会根据提问者所在区域做本地化处理,附带本地商户、本地服务类信息。同一句「附近哪里有做 XX 的」,不同城市得到的答案自然不一样。做地域型业务时,这一点会让监测结果天然带噪。
生成层:同样的材料也能写出不同的话。即使候选材料完全相同,生成出来的文本也不会逐字一致。这一层是生成式系统的固有特性,主要体现在三处。
采样随机性。大模型生成文本时是在概率空间里逐词采样,同一个输入上下文,不同次运行可能选出不同的措辞路径。这不是 bug,而是生成式模型的运行机制。表现出来的现象是:事实内容基本一致,但详略、顺序、举例、句子长度都不一样。
取舍的不确定性。当候选材料信息量过大时,模型每次选取进入答案的部分可能不同。某次它选了你的参数表,下次它选了你的服务说明,两次都「提到了你」,但被验证到的能力维度完全不同。这对监测有直接影响:单次测试里你的品牌「出现了」,并不代表你在这个话题上的信息稳定可被抽取。
表述的模糊化倾向。当多个来源信息一致度不高或存在冲突时,模型倾向于用概括性表述(「一些厂商」「有相当多的企业」)而不是点名。这会让品牌层级的出现率在某些轮次里天然偏低。
这一层带来的实际影响是:如果你的内容只有一种说法、且这个说法在语义上比较接近同类描述,模型就很容易把你模糊掉。具体的、带唯一信息的事实(具体的口径、具体的认证编号、具体的适用工况)更难被概括掉,因此更容易在多次采样中稳定出现。这是「事实密度」在技术层面的真实意义。
更新层:索引刷新与模型换代会重置基线
第三层不属于日常波动,而属于环境变更,它的影响往往被误读。
索引刷新与重建。引擎会定期重建索引,重建后页面的抓取频率、摘要质量、片段选取方式都可能变化。你上个月的内容,这个月可能以另一种形式被摘录,甚至因为页面结构调整而不再被选中。
模型版本更换。底层模型换版本,对同一批材料的取舍偏好会变:有的版本更倾向于列举具体案例,有的更倾向于给出概括性结论,有的对结构化表格的抽取能力更强。这类变更通常没有提前通知,也不会有针对某个企业的补偿机制。
检索策略调整。引擎的排序逻辑、来源配额、去重规则都会迭代。这类调整往往让某些来源类型的权重上升或下降——比如增加对论坛类问答、垂直行业平台内容的偏好,或者调整对官方站点与媒体站的比例处理。
产品侧的功能改动。比如答案的呈现形式从段落改成分点、来源从脚注改为内联引用、是否展示完整来源清单等变化。这些改动会直接影响「引用」这个指标的判定标准本身——如果引擎不再输出脚注链接,你的引用率可能会掉,但这不是内容质量的变化。
因此,监测方案里必须记录运行环境信息:测试日期、引擎名称与可见的产品版本、所处地区、账号状态(登录与未登录)、是否开启了联网检索模式。没有这些元数据,两次数字放在一起比较就没有意义。
和 SEO 的稳定性做一次对比
传统 SEO 里,「我的词排第几」是一个相当稳定的数字。同一个用户、同一个地区、同一个设备搜同一个词,短期内结果变动很小——索引和排序虽有波动,但通常是渐进的、可预期的。这就是为什么排名能直接当结论用,客户也接受「上个月第 8 位,这个月第 5 位」这种表述。
AI 答案不具备这个性质,原因前面已经拆过:候选池在动、生成在采样、环境在更新。更关键的是表达形式本身没有位置概念——一段答案里你的品牌出现在第三句还是第十句,在传统排名思维里没意义,但在 AI 里却会影响读者是否看到。
这带来两个直接后果。
后果一:不能拿单次结果下结论。「AI 推荐了我们」和「AI 一次都没提过我们」这两个说法,在没有重复采样的情况下都不成立。任何一个基于单次询问的判断,都可能只是采样的一次极值。
后果二:不能用单一数值做横向比较。不同引擎的随机性幅度不同,同一个引擎在不同时段也可能处于不同的波动区间。跨引擎比较单个数字时,要先确认采样次数足够,且要同时呈现波动范围而不是单一均值。
但这不意味着 AI 答案不可评估。可评估性来自「把变量固定住」:固定问题措辞、固定引擎、固定时间窗口、固定采样次数,测足够多的样本,然后看分布而不是看单点。传统 SEO 是「测一次就有一个数」,AI 监测是「测很多次才有一个分布」。方法不同,但结论一样可以稳定。
可控与不可控的边界,以及怎么记录
把三层随机性对应到企业的工作面上,可以分成三档。
- 直接可控:你发布什么内容、以什么结构发布、页面里有哪些可核验的事实、实体信息在各渠道是否一致。检索层的通过率和生成层的被采纳概率,都受这一档影响。
- 间接可控:你的内容被多少来源交叉印证、站点是否被稳定抓取、历史内容的时效性是否被维护。这一档影响的是「被采纳时的权重和准确性」。
- 基本不可控:模型版本、采样参数、索引刷新节奏、检索策略变更、产品呈现形式。这一档只能被动接受,监测的意义在于识别出环境变更,避免把环境变化误读为工作成效。
基于这个边界,记录规范至少要包含以下字段,缺一不可:
- 问题原文与改写。每次提问逐字记录,包括是否加了地域词、是否重新表述过。措辞是变量之一,必须固定。
- 环境信息。引擎与产品版本、测试时间(精确到小时)、地区、账号状态、是否联网检索。
- 原始答案留存。截图加文本双留。文本很重要,因为后续要重新做标注;截图重要,因为呈现形式本身是信息。
- 结构化标注。是否引用、是否提及、是否推荐、语境倾向、出现位置、答案长度、是否使用列表结构。标注字段一旦确定就不要随意改动,否则历史数据无法对比。
- 采样批次号。同一轮测试的所有记录使用同一批次号,便于在数据里把「同一轮」和「不同轮」分开。
复测设计上有几条实用规则。第一,问题集要分层并且版本化。问题集本身也要版本管理,改了问题措辞就要标记新版本,否则新旧数字不能直接比。第二,同一轮内完成全部采样。不要上午测三个引擎、下午测两个,那两批数据的环境差异会污染比较。第三,采样次数按波动幅度定。如果某个问题在三次采样里出现了三次、三种不同结果,说明它本身高度不稳定,这类问题的单次结果没有参考价值。第四,留出一部分问题做「稳定性对照组」——这几个问题连续多期表现一致,可以用来判断当期的环境是否发生了系统性变化。第五,结论要基于分布。报告里给的是「出现频次区间」和「同期竞品对照」,不是单个百分比;并且明确标注本次样本量。
铭赞经验:我们内部有一条硬规矩——单次测试结果不进结论,也不写进给客户的报告。原因很简单:去年做监测时我们发现,同一批问题在同一天下午连续问三次,品牌提及的结果能差出一大截。当时差点把波动当成工作成效汇报出去。后来我们把采样次数固定、批次固定、环境参数全部记录,报告只呈现多期同口径的对照,客户的决策质量明显提高了——他们不再因为某一周的数字回落就要求换方向,也不容易被服务商用一个漂亮数字牵着走。
下一步行动
想了解你的品牌在 AI 答案中的出现频率与波动区间是多少?铭赞提供免费 GEO 基线诊断——按固定问题集、多引擎、多轮重复采样建立基线,输出出现频次分布、语境分布和同期竞品对照,并标出哪些问题本身高度不稳定。电话 13991172090,或访问 xamz.cn/geo/diagnosis.html 在线申请。
铭赞网络的服务范围覆盖 GEO 优化、SEO、网站建设和外贸营销,服务电话 13991172090。