정확한 뜻
새 약의 효과를 검정한다면 귀무가설은 '효과가 없다'예요. p = 0.03이라면 '효과가 정말 없을 때 이 정도 차이가 우연히 나올 확률이 3%'라는 뜻이에요. 미리 정한 유의수준(보통 0.05)보다 작으면 귀무가설을 기각하고 '통계적으로 유의하다'고 말해요. 0.05는 피셔가 편의상 제안한 관례일 뿐 자연법칙이 아니에요.
흔한 오해
p값은 귀무가설이 참일 확률이 아니고, 효과의 크기나 중요성을 알려 주지도 않아요. 표본이 아주 크면 사소한 차이도 유의해지고, 여러 번 분석해 유의한 것만 보고하는 p-해킹은 재현되지 않는 연구를 낳아요. 2016년 미국통계학회는 p값만으로 결론을 내리지 말고 효과크기와 신뢰구간을 함께 보라고 권고했어요. 사전 확률을 반영하려면 베이즈 정리를, 유의한 상관이 곧 원인은 아니라는 점은 상관관계와 인과관계를 참고하세요.
자주 묻는 질문
- p=0.06이면 효과가 없는 건가요?
- 아니요. 증거가 기준에 조금 못 미칠 뿐이며, 효과크기와 신뢰구간을 함께 봐야 해요.
- p값이 작을수록 효과가 큰가요?
- 아니요. 표본 크기에도 크게 좌우돼요.
출처 검토일: 2026-10-26
참고문헌
- Wasserstein, R. L., & Lazar, N. A. (2016). The ASA statement on p-values: Context, process, and purpose. The American Statistician, 70(2), 129–133.
- Fisher, R. A. (1925). Statistical Methods for Research Workers. Oliver & Boyd.
- Ioannidis, J. P. A. (2005). Why most published research findings are false. PLoS Medicine, 2(8), e124.