如何设计AI搜索对照实验?

互联网广告领域可以做严格的 A/B 测试:把流量随机分成两半,一半看到旧版落地页,一半看到新版,几周后就能得到因果结论。GEO 做不到这件事。模型无法被随机分配,检索结果不受实验者控制,你更不可能让同一个品牌在某个时间点一半被优化、一半没被优化。因此在 AI 搜索里验证效果,只能退一步用前后对比和分层对照去近似因果。这不是没有办法,而是办法换了:结论的强度不再由"随机化"决定,而由三件事决定——干预变量是否单一、对照对象是否可比、样本量是否够。本文讲清楚这套准实验设计的可行边界与具体做法。

为什么GEO做不了严格A/B对照

先把限制说清楚,后面所有设计才有依据。在广告实验里,被随机化的对象是"哪一位用户看到哪一版素材",随机化由平台在流量分配层完成,两组用户面对的其余条件基本一致。在 GEO 里情况完全不同:

被观察的对象不受控。模型生成什么、检索到什么,不由实验者决定,也无法把同一个问题随机分给"优化前"和"优化后"两组使用者。两组人看到的检索子集可能本身就不同。

实验单位无法拆分。广告实验里品牌可以有两套落地页,GEO 里你改的是品牌在信息世界里的整体形象,无法在时间上切分成两半。

观察对象会反过来被观察影响。你持续产出内容、持续被模型检索到,这些行为本身就在改变模型的检索偏好,也就是说实验在观测的同时还在被观测对象塑造。

所以 GEO 里的实验本质是准实验:用可比性换取因果性。这带来两个现实结论。第一,可行的实验形态只有前后时间序列对比和同类对象横向对比两种;第二,结论不能像 A/B 那样直接归因,它的说服力取决于设计质量与采样量,而这两件事恰恰是可以被认真做好的。

干预变量单一化:一次只动一件事

准实验里最关键的自制力,是一次实验只动一个变量。常见的破坏方式是:同一周里改了官网内容、调整了页面标题、上线了几个问答页、又在几个目录平台更新了实体信息,还顺手发了些外部链接。等到指标出现变化,没有任何一种解释能被排除。

把干预写成可执行的改动清单是有效的做法:具体改了哪个页面、新增了哪一类文档、更新了哪几个实体平台、每项的上线时间戳,全部登记在案;清单之外的动作在实验期内暂停,如果无法暂停(比如持续的市场投放),就单独记录投放节奏并在解释结果时说明。

还有三条配套纪律:问题集与采集环境保持不变,否则前后期不可比;两次干预之间留出完整间隔,让前一轮的影响充分沉淀,避免余波污染下一轮;登记干扰事件——网站改版、平台版本更新、行业性热点、媒体曝光,都要写进实验日志,事后解释异常时才用得上。

对照组的三条可行路径

路径一:同批未干预的兄弟对象。同一企业旗下、面向相近客户群、但本次不做任何优化的产品线或子品牌,也可以是同一条产品线里未做优化的型号。优点是天然受控——同一公司主体、同一渠道、同一时间、同一套品牌资源;缺点是样本量通常偏小,且兄弟对象的客户结构未必完全一致,所以需要把每个对照对象的采样次数提上去。

路径二:同类目下的其他词。当同一批内容覆盖了多个关键词或多个问题类型时,可以把已优化的词当作处理组,把同类目下尚未优化的词当作对照组。这条路径样本量能做大,是很实用的一种设计;前提是两组词在搜索意图、竞争环境、词量级上要接近,因此上线前需要人工做一次词级别匹配,把明显不对等的词剔除。

路径三:自身的前后对比。以干预上线日为分界,比较前后各若干周的指标。这条路径用得最普遍,也最容易做偏,因为它无法排除平台季节性、行业淡旺季、外部热点等同期因素。所以它的正确用法是与前两条组合:时间序列给出变化方向,横向对照给出可信度。

选择原则很简单:优先选控制变量更多、且在实验期内确定不会被误触的对照对象。如果只能拿到样本量很小的兄弟产品,那就用增加采样次数来补,而不是降低判定标准。

观测窗口、采样量与差异判定

观测窗口。内容从上线到被收录、被检索、被引用需要时间。窗口太短会低估效果,太长会把别的因素掺进来。铭赞的做法是以干预上线日为起点按周连续观察,窗口覆盖数周;窗口内如果出现重大干扰事件,就把数据按事件分段来看,而不是混成一个平均值。

采样量。结论的强度由样本量决定。一个问题的一次采样支撑不了任何结论;比较两期,至少需要每期每个问题多次采样,并覆盖不同时间窗口。

差异判定用规则,不用感觉。铭赞的判定口径是这样规定的:每期每个问题采样若干次,先算"出现频次率"(出现次数除以采样次数),再对整组问题取中位数作为点估计,取四分位距或全距作为区间;然后比较处理组与对照组的区间关系——区间不重叠,判定为方向明确;区间重叠但中位数差距超过预先设定的阈值,判定为倾向性差异、需要继续采样;其余情况判定为未见差异。这里要特别区分一句:区间重叠时的结论是"目前看不出差异",而不是"两者没有差异",这个措辞差别决定了后面要不要继续投入。

观测与判定项具体做法判定含义
观测窗口长度以干预上线日为起点,按周连续观察数周过短会低估效果,过长会混入干扰
每问题每期采样次数固定次数,分时段并跨天分布样本量不足时任何结论都不成立
点估计出现频次率的中位数用于跨组比较的中心位置
区间四分位距或全距反映结果的波动幅度
判定规则区间不重叠为方向明确;重叠且中位数差超阈值为倾向性差异;其余为未见差异把"有没有效果"变成可计算的问题
干扰登记版本更新、网站改版、投放事件逐条记录异常波动可以回溯解释

阈值要在实验开始前定下来,并写进方案。事后再定阈值,等于用结果反推标准,团队内部对结论的信任也就无从建立。

GEO实验设计的六个常见错误

错误一:干预变量不单一。内容、标题、结构化数据、外部发布同时推进,指标变化后无法归因。

错误二:对照组被污染。对照组选了一个明显不同量级的对象;或者对照的产品线在实验期被"顺手优化"了,实验中途失去对照。

错误三:样本量不足。每期每个问题只测一次,靠"看起来明显"下结论。这种结论经不起一次复查。

错误四:观测窗口不合适。内容还没进入检索范围就宣布见效,或者窗口横跨了旺季,把季节性当成了优化效果。

错误五:口径中途改动。优化前后用了不同的问题集、不同的提问措辞、不同的判定标准,前后数字不具可比性却仍被放在同一张趋势图上。

错误六:把同期干扰算成效果。平台改版、模型升级、行业热点期内的搜索量上涨,都可能与你的干预无关。凡是不能排除的因素,都要写进报告的限制说明里。

还有一个越界问题要单独提醒:从"某几个问题上的位次变化"推出"整体获客能力提升",跨度太大。实验能支撑的结论强度,只到它设计的那个层级为止。

铭赞经验:GEO 效果验证的难点不在于收集不到数据,而在于数据太容易讲成任何一种故事。铭赞的做法是把实验写成一份可被质疑的协议:干预清单、对照对象及其可比性说明、观测窗口、采样次数、判定规则、干扰事件记录,全部事先写定。协议先定,结论后出——顺序反了,实验就变成了给既定印象找证据。

下一步行动

想知道你的优化动作到底带来了什么变化?铭赞提供免费 GEO 基线诊断——按前后时间序列与同类横向对照两条线采集数据,明确干预清单、观测窗口与判定规则,输出一份附带干扰事件说明的效果验证报告。电话 13991172090,或访问 xamz.cn/geo/diagnosis.html 在线申请。

铭赞网络的服务范围覆盖GEO优化、SEO、网站建设和外贸营销,服务电话 13991172090。