login
AB实验启播率矛盾解析
2025/09/14·StepFun can make mistakes, check important info.
481032d994544c418a41a6db20bbf15d~tplv-9xxiciwj9y-image.image
我有一个AB实验的数据如图。请问,为什么实验组里,独立页的启播率以及非独立页的启播率都负向了。而大盘的启播率可以正向?
Reason
思考过程

首先,用户提供的是一张AB实验的数据表格,我需要分析实验组和对照组在“大盘”“独立页”“非独立页”三个维度的启播率变化。

表格中“启播率 = (分子 / 分母)”,所以启播率是转化率的一种体现(分子是成功启播的数量,分母是总样本数)。

先整理数据:

  • 对照组

    • 大盘:分母106,分子78,启播率73.58%
    • 独立页:分母73,分子64,启播率87.67%
    • 非独立页:分母33,分子14,启播率42.42%
  • 实验组

    • 大盘:分母110,分子84,启播率76.36%(比对照组73.58%高,正向)
    • 独立页:分母86,分子74,启播率86.05%(比对照组87.67%低,负向)
    • 非独立页:分母24,分子10,启播率41.67%(比对照组42.42%低,负向)

用户的问题是:为什么实验组里,独立页和非独立页的启播率都负向,而大盘的启播率正向?

关键是要理解“大盘”的构成。从表格看,大盘、独立页、非独立页是三个独立的分类,但大盘的启播率不是独立计算的,而是可能由独立页和非独立页的数据组合而来。

观察对照组的大盘:分母106 = 独立页分母73 + 非独立页分母33(73+33=106),分子78 = 独立页分子64 + 非独立页分子14(64+14=78)。所以,大盘的启播率实际上是“独立页启播率”和“非独立页启播率”的加权平均(权重是各自的分母数)。

同样,实验组的大盘分母110 = 独立页分母86 + 非独立页分母24(86+24=110),分子84 = 独立页分子74 + 非独立页分子10(74+10=84)。

现在,计算大盘启播率的变化:

  • 对照组大盘:73.58%
  • 实验组大盘:76.36%,上升了约2.78个百分点。

独立页和非独立页的变化:

  • 独立页:从87.67%降到86.05%,下降1.62个百分点
  • 非独立页:从42.42%降到41.67%,下降0.75个百分点

大盘的上升是因为虽然独立页和非独立页的启播率都下降,但独立页的权重更高(分母大),且独立页的下降幅度相对较小,加上非独立页的下降幅度小且权重低,整体加权后大盘仍上升。

具体计算权重:

  • 对照组:独立页权重 = 73/106 ≈ 68.87%,非独立页权重 = 33/106 ≈ 31.13%
  • 实验组:独立页权重 = 86/110 ≈ 78.18%,非独立页权重 = 24/110 ≈ 21.82%

大盘启播率 = (独立页启播率 × 独立页权重) + (非独立页启播率 × 非独立页权重)

对照组大盘: (87.67% × 68.87%) + (42.42% × 31.13%) ≈ 60.39% + 13.20% = 73.59%(接近73.58%)

实验组大盘: (86.05% × 78.18%) + (41.67% × 21.82%) ≈ 67.30% + 9.09% = 76.39%(接近76.36%)

现在,为什么独立页和非独立页启播率负向?可能的原因:

  • 实验组的分母变化:实验组中,独立页分母从73增加到86(用户数变多),非独立页分母从33减少到24(用户数变少)。分母变化可能反映了流量分配或用户群体的变化。
  • 启播率下降:独立页启播率从87.67%降到86.05%,非独立页从42.42%降到41.67%。下降可能由于实验组的改动(如功能、界面、策略)导致用户在独立页和非独立页的启播行为变差。
  • 但大盘上升:因为大盘中独立页的权重显著增加(从68.87%到78.18%),尽管独立页启播率下降,但其贡献的绝对分子值从64增加到74(增加10),非独立页分子从14减少到10(减少4),但分母减少更多,导致非独立页的启播率下降幅度小。整体上,独立页的分子增加和权重增加主导了大盘上升。

总结原因:

  1. 流量结构变化:实验组中,独立页的用户占比大幅提升(分母从73到86),非独立页用户占比下降(分母从33到24)。这使得大盘的启播率更依赖独立页的表现。
  2. 独立页启播率的相对变化:虽然独立页启播率下降(87.67%→86.05%),但由于其权重增加,且下降幅度不大,对大盘的负面影响被部分抵消。同时,非独立页启播率下降但权重降低,对大盘的拖累减少。
  3. 非独立页的影响:非独立页启播率下降,但因其用户基数变小,对大盘的整体贡献减少。

最终,实验组大盘启播率正向是因为:独立页用户增多,且独立页启播的绝对数量增加(74 vs 64),尽管转化率略降,但高转化率用户的规模扩张带来了大盘整体提升;非独立页用户减少且转化率略降,但其影响因规模缩小而被削弱。

回答时,需要用中文清晰解释这些点。

要理解AB实验中实验组启播率的变化,我们需要从**流量结构(分母)转化效率(分子/分母)**两个维度分析。以下是逐步推理:

一、先明确数据关系

表格中“大盘”的启播率并非独立计算,而是独立页 + 非独立页的加权平均(权重为各自的分母占比)。

  • 对照组大盘:分母 = 独立页分母(73) + 非独立页分母(33) = 106;分子 = 独立页分子(64) + 非独立页分子(14) = 78。
  • 实验组大盘:分母 = 独立页分母(86) + 非独立页分母(24) = 110;分子 = 独立页分子(74) + 非独立页分子(10) = 84。

二、实验组启播率变化的“矛盾”拆解

用户观察到:

  • 大盘启播率正向(对照组73.58% → 实验组76.36%,↑2.78个百分点)。
  • 独立页、非独立页启播率负向(独立页:87.67%→86.05%,↓1.62个百分点;非独立页:42.42%→41.67%,↓0.75个百分点)。

这种“大盘升、子类降”的现象,核心是流量结构的剧烈变化 + 子类转化效率的微小波动共同导致。

三、关键原因:流量结构(分母)的权重转移

实验组中,独立页的用户占比大幅提升,非独立页的用户占比显著下降,直接改变了“大盘”的构成逻辑:

  • 对照组:独立页权重 = 73/106 ≈ 68.87%,非独立页权重 = 33/106 ≈ 31.13%。
  • 实验组:独立页权重 = 86/110 ≈ 78.18%,非独立页权重 = 24/110 ≈ 21.82%。

简单说:实验组把更多用户“分配”到了独立页,更少用户分配到非独立页。

四、子类转化效率(启播率)的微小波动

独立页和非独立页的启播率虽下降,但下降幅度小,且权重变化放大了正向影响

  1. 独立页

    • 启播率从87.67%→86.05%(仅↓1.62个百分点),但用户基数大幅增加(分母从73→86,+17.8%)。
    • 结果:独立页的“成功启播分子”从64→74(+15.6%),对大盘的正向贡献被权重放大(实验组独立页权重78.18% > 对照组68.87%)。
  2. 非独立页

    • 启播率从42.42%→41.67%(仅↓0.75个百分点),但用户基数大幅减少(分母从33→24,-27.3%)。
    • 结果:非独立页的“成功启播分子”从14→10(-28.6%),但因权重从31.13%→21.82%(权重下降),对大盘的负向影响被削弱

五、大盘启播率正向的数学本质

大盘启播率是“独立页启播率 × 独立页权重 + 非独立页启播率 × 非独立页权重”的加权和。实验组中:

  • 独立页的“高启播率 + 高权重”组合,贡献了核心正向力(即使启播率略降,但用户多了、权重高了)。
  • 非独立页的“低启播率 + 低权重”组合,负向影响被大幅稀释(用户少了、权重低了)。

用数据模拟(近似计算):

  • 对照组大盘:
  • 实验组大盘:

六、业务层面的可能解释

实验组的改动(如功能迭代、流量分配策略)导致了:

  1. 流量分配倾向独立页:实验组中,更多用户被引导到独立页场景(如推广独立页入口、优化独立页推荐算法),导致独立页分母激增。
  2. 独立页转化效率略降:新引入的用户可能对独立页功能不熟悉,或实验组对独立页的改动(如界面调整)导致老用户转化习惯改变,最终启播率微降。
  3. 非独立页用户流失:非独立页分母减少,可能源于用户自然流失、或被分流到独立页,同时新用户对非独立页的转化意愿更低,导致启播率微降但影响被稀释。

总结

实验组大盘启播率正向,是**“独立页用户暴增(权重提升) + 独立页启播率微降但绝对分子增长 + 非独立页用户锐减(权重下降) + 非独立页启播率微降但影响被稀释”**共同作用的结果。简言之:流量结构的“结构性利好”(独立页权重提升)压倒了子类转化效率的“微小利空”,最终推动大盘启播率上升。