역사
로널드 피셔는 p값으로 귀무가설에 반하는 증거의 강도만 따졌지만, 예르지 네이만과 이건 피어슨(칼 피어슨의 아들)은 1933년 논문에서 검정을 '결정 규칙'으로 보고 두 종류의 잘못된 결정을 정의했어요. 귀무가설이 참인데 기각하는 것을 1종 오류, 거짓인데 기각하지 못하는 것을 2종 오류라 했죠. 1960~80년대 제이콥 코헨은 심리학 연구 대부분이 검정력이 너무 낮아 2종 오류를 자주 저지른다고 경고했고, 2005년 존 이오아니디스의 논문은 1종 오류와 출판 편향 때문에 발표된 연구 상당수가 틀릴 수 있다고 지적해 재현성 위기를 불러왔어요.
개념과 상충 관계
1종 오류 확률은 유의수준 α로, 보통 5%로 정해요. 2종 오류 확률은 β이고, 1−β를 검정력이라 해 보통 80% 이상을 목표로 해요. 재판에 비유하면 1종 오류는 무고한 사람을 유죄로, 2종 오류는 범인을 무죄로 판결하는 것이에요. 코로나 검사에서 감염되지 않은 사람이 양성이 나오면 1종, 감염자가 음성이 나오면 2종 오류예요. 표본 크기가 같다면 α를 낮출수록 β가 커지는 상충 관계가 있어서, 둘 다 줄이려면 표본 크기를 늘려야 해요.
실전 주의점
검정을 20번 하면 효과가 전혀 없어도 한 번쯤은 우연히 유의한 결과가 나와요. 그래서 여러 번 비교할 때는 본페로니 보정 등으로 α를 조정해요. 결과가 나올 때까지 분석 방법을 바꾸는 'p-해킹'은 1종 오류를 크게 부풀려요. A/B 테스트에서 결과를 매일 들여다보다 유의해지는 순간 멈추는 것도 같은 문제예요. 사전확률을 고려하는 베이즈 정리 관점에서는 드문 가설일수록 '유의한' 결과도 거짓 양성일 가능성이 높아요.
자주 묻는 질문
- 어떤 오류가 더 나쁜가요?
- 상황에 따라 달라요. 암 검진처럼 놓치면 위험한 경우는 2종 오류를, 신약 승인처럼 잘못 승인하면 위험한 경우는 1종 오류를 더 경계해요.
- 검정력을 높이려면?
- 표본 크기를 늘리거나 측정 오차를 줄이고, 효과가 큰 조건에서 실험해요.
출처 검토일: 2026-10-26
참고문헌
- Neyman, J., & Pearson, E. S. (1933). On the problem of the most efficient tests of statistical hypotheses. Phil. Trans. R. Soc. A, 231, 289–337.
- Cohen, J. (1988). Statistical Power Analysis for the Behavioral Sciences (2nd ed.). Erlbaum.
- Ioannidis, J. P. A. (2005). Why most published research findings are false. PLoS Medicine, 2(8), e124.