含义
当数据分成子群体时与把同样的数据合并时得出相反结论,就出现了辛普森悖论。英国统计学家爱德华·H·辛普森于1951年描述了这一现象,不过卡尔·皮尔逊和乌德尼·尤尔更早就注意到类似效应。
经典案例
- 肾结石治疗(Charig et al., 1986):无论结石大小,开放手术(A)的成功率都高于经皮肾镜取石术(B),但总体上B看起来更好(A 78%,B 83%),因为较难的大结石病例大多接受了A。
- 伯克利研究生招生(Bickel et al., 1975):总体上女性录取率似乎较低,但在大多数院系内没有差距,或有略微偏向女性的小差距。女性更多地申请了竞争激烈的院系。
为何会发生
第三个变量(混杂因素)既影响结果,又与分组相关。当各组规模差异悬殊时,合并后的比率是加权平均,方向可能翻转。
如何解读
合并的答案和分层的答案哪个正确,单凭数字无法决定,而取决于因果结构。朱迪亚·珀尔认为,因果图能告诉我们应当调整哪些变量。随机化、分层分析和回归调整可以减少混杂,这在为循证实践阅读研究时十分重要。
参考文献
- Simpson, E. H. (1951). The interpretation of interaction in contingency tables. Journal of the Royal Statistical Society, Series B, 13(2), 238-241.
- Bickel, P. J., Hammel, E. A., & O'Connell, J. W. (1975). Sex bias in graduate admissions: Data from Berkeley. Science, 187(4175), 398-404.
- Charig, C. R., Webb, D. R., Payne, S. R., & Wickham, J. E. (1986). Comparison of treatment of renal calculi by open surgery, percutaneous nephrolithotomy, and extracorporeal shockwave lithotripsy. BMJ, 292(6524), 879-882.
- Pearl, J. (2014). Comment: Understanding Simpson's paradox. The American Statistician, 68(1), 8-13.