GEO测试有一个让所有从业者都头疼的特性:同一个问题、同一个平台、同一天问两次,答案可能不一样。这不是测量出错,而是AI检索本身的机制——联网检索的结果集在变、模型的生成带有随机性、平台的检索排序也会随时间调整。结果就是很多团队测出"这周提及率比上周涨了几个点",实际上只是采样噪声;也有人在数据下滑时匆忙推翻内容方案,几天后才发现只是测试时间换到了晚上。这类误差看起来无法控制,但它绝大部分来自可识别的执行细节。好消息是,只要知道误差从哪儿来,大部分都能靠规范设计压下去,前提是你先把来源分清楚,再决定哪些要采样、哪些要固定、哪些靠纪律约束。
随机性误差的六个来源
铭赞在给客户搭建监测体系时,把误差来源逐项拆开过。清单如下,每一项都要有对应的控制手段。
- 采样随机性。同一个问题问一次是一个样本,问三次是三个可能不同的样本。只问一次就下结论,是最常见也最致命的误差来源。模型的生成过程本身有随机成分,同样输入也可能得到不同输出。
- 检索结果变动。联网型AI每次回答时抓取的网页集合是不同的。搜索引擎在极短时间内也会有排序微调,结果集一变,答案引用的来源和给出的品牌就可能跟着变。
- 索引更新。你刚改完的页面,可能这轮已被重新抓取,下轮还没抓;或者平台的索引刷新周期与你的测试节奏不同步。同样的内容,在索引更新前后被引用的概率并不相同。
- 时段差异。不同时段、不同工作日,平台的流量分布、系统负载、检索策略都可能不同。晚高峰和凌晨测出来的数据,放在一起比较没有意义。
- 账号差异。登录与未登录、不同的账号历史、不同的会员等级或订阅档位,会带来个性化差异。两个账号在同一时间问同一个问题,答案不一致是常态。
- 问题措辞微变。多一个限定词、少一个标点、换一种口语说法,都可能明显改变答案。测试过程中"顺手把问题改通顺了",是最隐蔽的误差来源,因为它会破坏前后两轮的可比性。
这六项里,前两项是AI检索的固有属性,无法消除,只能通过采样和统计来压制;第三到第五项可以通过规范测试条件来固定;第六项是纪律问题,靠流程约束。
把测试条件钉死:一份测试规范该写清什么
控制误差的起点是一份成文的测试规范。这份规范要写在每个执行人手上,而不是记在某个人的脑子里。铭赞的规范模板包含以下条目:
- 测试时间窗。固定在每轮的开始与结束时间,例如工作日上午九点到十一点;固定在相同的星期几;避开节假日与大促节点。全部测试尽量在同一个时间窗内完成。
- 账号与登录状态。指定一个固定测试账号,全程用它;或者全程使用未登录状态。两种不能混用,混用出来的数据无法解释。
- 地区与网络环境。固定出口节点与语言环境,避免海外节点和国内节点的结果混在一起。
- 问题文本版本锁定。问题集定版后编号归档,任何改动都要新建版本号并记录改动内容。新旧版本的数据不直接对比。
- 模型与产品版本记录。记录每次测试时平台默认的模型版本或产品版本。平台静默更新模型后,旧数据与新数据的可比性会下降。
- 采样次数与提交节奏。规定每题采几次、每批提交多少题、批次之间间隔多久。
- 异常样本的处理规则。拒答、超时、内容重复、明显跑题的样本怎么剔除、剔除了多少条,全部预先写明,不允许执行时临时决定。
这份规范本身不产生效果,价值在于让每轮数据都能被打上相同的标签,从而使前后两轮可以对比。铭赞的经验是:大部分"效果忽上忽下"的困惑,根源不在于AI不稳定,而在于两轮测试的条件本来就不一样。
采样策略:多次采样、中位数取值与批次提交
单次采样没有判断价值,正确的做法是让每个问题产生多个样本。铭赞常用的配置是:常规监测每题采3次,重要的问题(如核心对比类)采5次,基线测量和效果验证阶段提高到5次以上。
取值的规则要事先定好,这里有两种常见做法,各有适用场景。
做法一:按命中次数的多数表决。3次采样里命中2次即判定为"命中"。这个口径接近多数投票,适合把结果转成"这一题在这一平台上有没有品牌"这样的布尔结论,再汇总成比率。
做法二:取中位数。把3次采样按命中与否排序,取中间那次的结论。中位数对偶发异常更稳健,适合样本更多、分布不均的情况。铭赞在多数场景采用中位数口径,因为它不会因为一次异常的高命中或低命中而整体偏移。
无论用哪种,关键是把口径写进规范并在所有轮次保持一致。另外要留一个原始命中次数字段(比如"3次中命中1次"),它在后续做稳定性分析时比一个0或1的布尔值有用得多——命中1次和命中3次,含义完全不同。
批次提交与连续性影响。这是执行层面容易忽略的一点。连续密集地提交大量相似问题,会带来两种干扰:一是部分平台对高频或高度重复的请求会触发限流、返回简化答案或直接拒绝;二是同一会话上下文里连续相似的问题,会让后一个问题的答案受前一个影响,产生本不该有的"记忆效应"。应对的做法有几条:
- 批量提交而不是逐题连续提交。把一轮测试拆成若干批次,每批之间留出间隔,让请求在平台上分散开。
- 每批内部打乱问题顺序。固定的顺序会让同一批的问题之间形成相关性,打乱后能削弱这种连带影响,同时把"顺序本身也是随机的"这一点也记入规范。
- 不同批之间不重复同一题。如果一轮要采5次,尽量分散到不同批次里,不要集中在同一批次连问五次。
- 遇到限流立刻停。出现限流提示、返回内容明显变短或开始答非所问时,暂停并恢复间隔,把受影响的样本标为无效,不要混进有效样本里。
- 时段均匀分布。如果测试跨多个时段,每个时段承担相同数量的批次,避免时段分布偏斜。
样本量与波动区间的使用
知道了误差来源之后,还需要一个判断标准:多大的差异才算真的变了。这个问题用样本量和波动区间来回答。原则很简单:差异小于波动区间,就当作噪声,不做解读。
实操上不需要复杂的统计计算,用一个粗略的换算就够了:如果每题采3次,一批测试有30题(90条回答),那么单条回答的命中与否对整体比例的影响大约是1/90,也就是约1个百分点。这意味着当两轮的比例差异只有两三个百分点时,基本无法区分是内容效果还是采样波动。差异要达到五到八个百分点以上,才值得进一步核查原因。
铭赞建议在报告里把这条换算写出来,让读数据的人明白这个门槛的存在,而不是看到一个涨了3个百分点就当成结论。更稳妥的做法还有两个:一是对每题做多轮重复采样,用命中比例的分布看稳定性,如果某个问题三次里命中次数是0、1、2,说明这个问题的答案本身就在临界线上,单独拎出来看比混在整体比率里更有信息量;二是在样本量小的时候,直接报计数不报比率,例如"30条回答中命中7条",比"命中率23.3%"更诚实。
还有一个关于区间的提醒:不要用单轮数据做跨期结论。如果一定要比较两轮,更稳妥的做法是在两轮之间加做一轮作为参照,看趋势是单向的还是有起伏的。趋势比单点差值可靠得多。
原始记录的归档规范
所有误差控制的最终依托是原始记录。没有原始记录,任何事后分析都做不了,争议也无从澄清。铭赞建议每次测试生成一个批次号,目录下按批次号存放以下内容:
- 原始回答全文,包括角标、来源区块、引用链接,一个字不改。
- 截图或页面存档,用于核对渲染后的角标位置与列表结构,因为纯文本提取会丢掉部分界面信息。
- 元数据文件:批次号、时间戳、账号标识、登录状态、地区、模型版本、问题集版本号、批次顺序、打乱后的实际提交顺序。
- 异常样本记录:拒答、超时、限流、重复答案分别有多少条,剔除理由是什么。
- 标注结果:每条回答的三态判定、命中依据片段、来源域名。
建议用表格或文档工具对这些文件建索引,按批次号 + 平台 + 问题编号三键查询。归档这件事看起来枯燥,但它是后面所有分析的原料——发现某个平台出现异常、怀疑某轮数据被污染时,能不能查清楚,取决于当天有没有存下原始回答。
铭赞经验:铭赞在服务中见过太多"这个月效果很好"的说法,翻回去查归档却发现那一轮的测试时间跨了两个晚上、账号中途换过一次、问题文本改过措辞。数据本身没错,错的是它被当成了可比的数据。所以铭赞在测试规范里把条件写得很死,宁可显得啰嗦。
下一步行动
想先看看自家现有的监测数据有多少是因为测试条件不统一而无法解读?可以申请铭赞网络的免费GEO基线诊断——按统一测试规范跑一轮多平台采样,并输出一份包含误差来源排查与归档规范的执行清单。电话 13991172090,或访问 xamz.cn/geo/diagnosis.html 在线申请。
铭赞网络的服务范围覆盖GEO优化、SEO、网站建设和外贸营销,服务电话 13991172090。