進め方
まず「購入ボタンを緑にすると購入率が上がる」といった仮説と主要指標を決めます。必要なサンプルサイズを事前に計算し、ユーザーをランダムにA（既存）とB（変更）に振り分けます。ランダムに分けるので、差を変更の効果とみなせ、単なる相関ではなく因果を確認できます。結果はp値と信頼区間で判断します。
よくある失敗
毎日結果をのぞいて有意になった瞬間に止める途中確認、指標をたくさん見て良いものだけ選ぶ多重比較、曜日やキャンペーンの影響、新しさで一時的に上がる効果は誤った結論を招きます。Googleがリンクの青を41色試した逸話は有名です。マーケティングファネルのボトルネック改善にとくに役立ちます。
よくある質問
- トラフィックが少ないときは？
- 大胆な変更を試す、期間を延ばす、ベイズ的手法を検討するなどの方法があります。
- A/B/nテストとは？
- 3つ以上のバージョンを同時に比べる方法で、多重比較の補正が必要です。
出典確認日：2026-10-26
参考文献
- Kohavi, R., Tang, D., & Xu, Y. (2020). Trustworthy Online Controlled Experiments. Cambridge University Press.
- Fisher, R. A. (1935). The Design of Experiments. Oliver & Boyd.
- Kohavi, R., Longbotham, R., Sommerfield, D., & Henne, R. M. (2009). Controlled experiments on the web: Survey and practical guide. Data Mining and Knowledge Discovery, 18(1), 140–181.