识别样本污染的关键,不是先看哪个版本转化更好,而是先确认分流本身是否独立。可以按一个顺序排查:先检查同一访客是否可能跨版本、再检查分流前后是否存在触发条件差异、最后才比较各版本指标。若同一访客在登录前后、跨设备或跨渠道进入时被重新随机分组,那么后续的版本对比就不再成立,此时应暂停结论,先修正分组和记录方式。
假设一个场景:某次分流把新访客随机分到A、B两个页面版本,统计显示B版本转化率明显更高。但复核时发现,部分访客在登录后又被重新分配了一次,于是同一人先后看到两个版本。此时“B更好”可能只是样本被混合后的假象,而非页面本身的效果。
这类现象通常有两种解释:
两种解释都可能导致“差异明显”,所以不能只看汇总转化率。要区分它们,必须回到分流记录和访客标识,而不是继续放大指标对比。
能区分“真实差异”和“样本污染”的第一类证据,是同一访客标识是否出现在多个版本中。若分流系统使用长期稳定的访客ID,并且日志显示同一ID只被分配一次,那么样本互斥性较强。若日志中同一ID在A、B两个版本都出现,尤其出现在登录、切换设备或清除缓存之后,污染的可能性就明显上升。
第二类证据是分流触发条件是否一致。例如:未登录用户按设备随机分组,登录用户按账号重新分组,这两种规则混用时,同一人很容易被重新分配。此时应检查分流是在页面加载前完成,还是在用户完成某个动作后才写入分组。写入越晚、触发条件越多,重复分配的概率越高。
第三类证据是渠道来源与版本分布是否异常。若某个渠道的访客大量集中在B版本,而另一个渠道集中在A版本,那么版本差异可能被渠道差异放大。这不能单独证明污染存在,但能提示分流并非随机,需要进一步核对分配逻辑。
实际动作:导出分流日志,按访客ID去重后统计每个ID被分配的版本数量。若发现同一ID对应多个版本,先不要继续比较转化率,而应修正分组写入时机,再重新观察。这个动作的结果会直接决定下一步:若去重后每个ID只对应一个版本,才适合进入版本效果比较;若仍存在跨版本,说明当前数据只能用于排查分流逻辑,不能用于效果判断。
假设某站点在未登录时按浏览器随机分配版本,登录后又按账号重新随机分配。一个访客可能先以未登录身份进入A版本,登录后被分到B版本。此时该访客的浏览、点击和转化行为会被同时计入两个版本,两个版本的样本不再互斥。
这种情况下,B版本的高转化可能来自“登录用户本身更愿意转化”,而不是B版本更好。要验证这一点,可以只保留登录后未发生重新分组的访客,或者只分析首次分配后未跨版本的会话。若限制样本后差异明显缩小甚至消失,就说明原先的差异很可能来自样本污染,而不是版本本身。
面对“先修分流”和“先看结果”这两个选择,适用条件不同。
判断依据不是“哪个版本数据更好看”,而是“样本是否互斥”。如果无法确认互斥,先修分流更稳妥;如果已经确认互斥,才适合进入结果比较。
需要说明的是,第三方估算流量、平台报告和站内统计的口径可能不同,单看某一项指标归零或差异扩大,不能单独证明分流正确或错误。更合理的做法是把分流日志、访客标识和触发条件放在一起核对,用可复查的证据链判断样本是否被污染。只有样本互斥性得到确认,版本之间的差异才值得进一步分析。