역사: 크기보다 대표성
1936년 미국 대선에서 잡지 『리터러리 다이제스트』는 240만 명에게 응답을 받아 공화당 랜던의 압승을 예측했지만, 루스벨트가 46개 주에서 이겼어요. 표본이 전화·자동차 보유자 같은 부유층에 치우쳤기 때문이에요. 반면 조지 갤럽은 약 5만 명의 대표 표본으로 정확히 맞혀 이름을 알렸어요. 이 사건은 '크기보다 무작위성과 대표성'이라는 교훈을 남겼어요. 이후 윌리엄 코크런이 표본조사 이론을 정리했고, 1988년 제이콥 코헨은 실험 연구의 표본을 효과크기와 검정력으로 계산하는 방법을 대중화했어요. 2013년에는 신경과학 연구의 평균 검정력이 약 20%에 불과하다는 분석이 나와 충격을 줬어요.
설문조사 표본 수
비율을 추정하는 설문의 표본 수는 n = z² × p(1−p) ÷ e²로 계산해요. 95% 신뢰수준(z=1.96), 가장 보수적인 p=0.5, 오차범위 ±5%p면 약 385명, ±3%p면 약 1,068명이에요. 그래서 전국 여론조사가 대개 1,000명 안팎이에요. 오차를 절반으로 줄이려면 표본이 4배 필요하고, 모집단이 아주 크면 모집단 크기는 거의 영향을 주지 않아요. 이 값이 신뢰구간의 폭을 결정해요.
실험과 A/B 테스트
두 집단의 평균을 t검정으로 비교하는 실험은 유의수준 α(보통 0.05), 검정력(보통 0.8), 기대 효과크기(코헨의 d)로 표본을 정해요. 중간 효과(d=0.5)면 집단당 약 64명, 작은 효과(d=0.2)면 약 394명이 필요해요. A/B 테스트에서 전환율 5%를 5.5%로 올리는 작은 개선을 확인하려면 버전당 3만 명 넘게 필요할 수 있어요. 표본이 부족하면 2종 오류가 커지고, 우연히 유의한 결과는 효과가 부풀려져 있을 가능성이 높아요. 무료 프로그램 G*Power나 온라인 계산기로 쉽게 계산할 수 있어요.
자주 묻는 질문
- 모집단이 1만 명이면 표본도 더 많아야 하나요?
- 아니요, 모집단이 수천 명 이상이면 필요한 표본 수는 거의 같아요. 작을 때만 유한모집단 보정을 해요.
- 응답률이 낮으면요?
- 목표 표본을 예상 응답률로 나눠 더 많이 배포하되, 무응답 편향도 점검해야 해요.
출처 검토일: 2026-10-26
참고문헌
- Cohen, J. (1992). A power primer. Psychological Bulletin, 112(1), 155–159.
- Cochran, W. G. (1977). Sampling Techniques (3rd ed.). Wiley.
- Button, K. S., et al. (2013). Power failure: why small sample size undermines the reliability of neuroscience. Nat Rev Neurosci, 14, 365–376.