实施方法
先确定假设（如把结账按钮改成绿色能提升转化）和核心指标，预先计算所需样本量，再把用户随机分到A（对照）和B（实验）。随机分配使差异可归因于改动，从而确认因果而非单纯相关。结果用p值和置信区间判断。
常见错误
每天偷看结果、一显著就停止，查看多个指标只挑好的（多重比较），忽视季节性和新奇效应，都会导致错误结论。谷歌曾测试41种蓝色链接。A/B测试特别适合优化营销漏斗中的瓶颈。
常见问题
- 流量少怎么办？
- 测试更大胆的改动、延长时间或用贝叶斯方法。
- 什么是A/B/n测试？
- 同时比较三个以上版本，需进行多重比较校正。
来源核查日期：2026-10-26
参考文献
- Kohavi, R., Tang, D., & Xu, Y. (2020). Trustworthy Online Controlled Experiments. Cambridge University Press.
- Fisher, R. A. (1935). The Design of Experiments. Oliver & Boyd.
- Kohavi, R., Longbotham, R., Sommerfield, D., & Henne, R. M. (2009). Controlled experiments on the web: Survey and practical guide. Data Mining and Knowledge Discovery, 18(1), 140–181.