ABtest原理及?法總結

A/B test ?的

檢驗產品或活動?案調整優化在某指標上是否有顯著改善效果。檢驗構建實驗組和對照組。之后，在后期的觀察中，通過?些統計?法，驗證效果的差異性是否顯著。

A/B test 原理

（注意區分計算不同：兩總體均值檢驗、兩總體率值檢驗）

A/B test 流程

①明確?標：驗證實驗相?對照組是否有顯著性差異變化（提升或下降），如點擊率、轉化率、?均訂單量等等。

②選定指標：根據實驗?的和業務需求選定實驗結果好壞的評價指標。

?般分層級，?個核?指標+多個觀察指標。

核?指標?來計算需要的樣本量，以及度量我們這次實驗的效果。

觀察指標則?來度量，該實驗對其他數據的影響（?如對?盤留存的影響，對?絡延遲的影響等等）

③建?假設：建?零假設和備選假設。

零假設?般是實驗改動沒有效果，備選假設是有效果，即實驗組相?對照組有顯著性差異。

④計算樣本量：選取顯著性?平、功效值，根據公式計算實驗組所需最?樣本量。

樣本量與變異系數、功效（?般要求0.8~0.95）成正?，與提升度（?般?于0.05）成反?。

因此，當延長可接受的實驗周期累計樣本量還是不夠時，可以通過以下2種思路來降低樣本量要求。

（1）選擇變異系數較?的衡量指標；

（2）降低功效值要求，放寬提升度。

注意：以下?法代?σ² 的是A和B的2個?差組合（），相當于2倍?差，因此計算的也是A、B兩組總共需要的最?樣本量，假設檢驗時每組只需?半的樣本量

即可。

，

注意：通常以?戶粒度來作為實驗單位。

　?。?）?戶粒度：這個是最推薦的，即以?個?戶的唯?標識來作為實驗樣本。好處是符合AB測試的分桶單位唯?性，不會造成?個實驗單位處于兩個分桶，造成的數據不置信。

　?。?）設備粒度：以?個設備標識為實驗單位。相??戶粒度，如果?個?戶有兩個?機，那么也可能出現?個?戶在兩個分桶中的情況，所以也會造成數據不置信的情況。

　?。?）?為粒度：以?次?為為實驗單位，也就是?戶某?次使?該功能，是實驗桶，下?次使?可能就被切換為基線桶。會造成?量的?戶處于不同的分桶。

強烈不推薦這種?式。

⑤收集數據：?站或APP的訪問者將被隨機分配對照組和實驗組，上線驗證，并收集數據。

流量分割：有分流和分層兩種思路。如果要同時上線多個實驗，分流流量不夠切，或者為了達到最?樣本量需要很長的實驗周期怎么辦？這也不現實。此時就可以考慮分層的思路，就是將同?批?戶，不停的隨機后，處于不同的桶。也就是說，?個?戶會處于多個實驗中，只要實驗之間不相互影響，我們就能夠?限次的切割?戶。