历史
罗纳德·费希尔用p值衡量反对原假设的证据强度，而耶日·奈曼与埃贡·皮尔逊（卡尔·皮尔逊之子）在1933年的论文中把检验视为“决策规则”，定义了两种错误决策：原假设为真却拒绝为第一类错误，原假设为假却未拒绝为第二类错误。1960～80年代，雅各布·科恩警告多数心理学研究检验效能过低，常犯第二类错误；2005年约翰·约安尼迪斯的论文指出，第一类错误加上发表偏倚，使许多已发表研究可能是错的，引发了可重复性危机。
概念与权衡
第一类错误的概率即显著性水平α，通常设为5%；第二类错误的概率为β，1−β称为检验效能，一般以80%以上为目标。用审判比喻，第一类错误是冤枉无辜者，第二类错误是放走罪犯。核酸检测中未感染者呈阳性是第一类错误，感染者呈阴性是第二类错误。样本量固定时，降低α会使β增大，要同时减少两者就得增加样本量。
实践注意
即使毫无效应，做20次检验也大约会有一次偶然显著，因此多重比较需用邦费罗尼校正等方法调整α。不断更换分析方法直到出现显著结果的“p值操纵”会大幅放大第一类错误。在A/B测试中每天查看结果、一显著就停止，也是同样的问题。从贝叶斯定理角度看，先验上越不可能的假设，其“显著”结果越可能是假阳性。
常见问题
- 哪种错误更严重？
- 视情况而定：癌症筛查中漏诊（第二类）更危险，新药审批中误批（第一类）更危险。
- 如何提高检验效能？
- 增加样本量、减少测量误差，或在效应较大的条件下实验。
来源核查日期：2026-10-26
参考文献
- Neyman, J., & Pearson, E. S. (1933). On the problem of the most efficient tests of statistical hypotheses. Phil. Trans. R. Soc. A, 231, 289–337.
- Cohen, J. (1988). Statistical Power Analysis for the Behavioral Sciences (2nd ed.). Erlbaum.
- Ioannidis, J. P. A. (2005). Why most published research findings are false. PLoS Medicine, 2(8), e124.