진행 방법
먼저 '결제 버튼을 초록색으로 바꾸면 결제율이 오른다' 같은 가설과 핵심 지표를 정해요. 필요한 표본 크기를 미리 계산한 뒤 사용자를 무작위로 A(기존)와 B(변경)에 배정해요. 무작위 배정 덕분에 두 그룹의 차이를 변경의 효과로 볼 수 있어, 단순한 상관관계가 아닌 인과를 확인할 수 있어요. 결과는 p값과 신뢰구간으로 판단해요.
흔한 실수
결과를 매일 들여다보다 유의해지는 순간 멈추는 엿보기, 지표를 여러 개 보고 좋은 것만 고르는 다중 비교, 주말·이벤트 같은 계절성, 새로움 효과로 잠깐 오르는 현상은 잘못된 결론을 낳아요. 구글은 링크 색 41가지를 시험한 일화로 유명하고, 아마존·넷플릭스 등은 매년 수많은 실험을 돌려요. 마케팅 퍼널의 병목을 찾아 개선할 때 특히 유용해요.
자주 묻는 질문
- 트래픽이 적으면 어떡하나요?
- 큰 효과를 기대하는 대담한 변경을 시험하거나, 기간을 늘리거나, 베이지안 방법을 고려할 수 있어요.
- A/B/n 테스트는 뭔가요?
- 세 개 이상의 버전을 동시에 비교하는 방식으로, 다중 비교 보정이 필요해요.
출처 검토일: 2026-10-26
참고문헌
- Kohavi, R., Tang, D., & Xu, Y. (2020). Trustworthy Online Controlled Experiments. Cambridge University Press.
- Fisher, R. A. (1935). The Design of Experiments. Oliver & Boyd.