재현성 위기

위기의 발단

이오아니디스(2005)는 표본이 작고 효과가 작으며 분석의 유연성이 클수록, 발표된 연구 결과가 거짓일 확률이 높아진다는 모형을 제시해 큰 반향을 일으켰어요. 2011년에는 벰이 미래를 예감하는 초능력이 존재한다는 실험 결과를 일류 학술지에 발표하면서, 표준적인 통계 관행이 얼마나 쉽게 비현실적 결과를 '유의미하게' 만들 수 있는지에 대한 우려가 커졌어요. 같은 해 시먼스·넬슨·시몬손(2011)은 표본 크기, 측정 변수, 통제 변수를 자유롭게 고르는 것만으로 거짓 양성률이 60%를 넘을 수 있음을 시뮬레이션으로 보여 주었어요. 존·뢰벤슈타인·프렐렉(2012)의 조사에서는 많은 심리학자가 결과를 보고 데이터 수집을 멈추거나 일부 조건만 보고하는 등의 의심스러운 연구 관행을 인정했어요.

대규모 재현 연구의 결과

오픈사이언스협업(2015)은 세 주요 심리학 학술지에 실린 연구 100개를 다시 실험했는데, 원래 연구의 97%가 유의미했던 것과 달리 재현 연구에서는 약 36%만 유의미한 결과를 얻었고 효과 크기는 평균 절반 수준이었어요. 의학에서는 비글리와 엘리스(2012)가 획기적 전임상 암 연구 53개 중 6개만 재현됐다고 보고했어요. 캐머러 등(2016)은 실험경제학 연구 18개 중 11개, 캐머러 등(2018)은 『네이처』와 『사이언스』에 실린 사회과학 실험 21개 중 13개가 재현되었다고 밝혔어요. 버튼 등(2013)은 신경과학 연구의 통계적 검정력이 매우 낮다는 점을 지적했고, 베이커(2016)의 설문에서 연구자 70% 이상이 다른 연구자의 실험을 재현하는 데 실패한 경험이 있다고 답했어요.

원인과 개혁

재현성 위기의 원인으로는 작은 표본과 낮은 검정력, p값 0.05 기준을 넘기기 위한 분석 조작(p-해킹), 결과를 본 뒤 가설을 세우는 관행, 그리고 유의미한 결과만 출판되는 출판 편향이 꼽혀요. 이는 성과 지표가 목표가 될 때 왜곡이 생긴다는 굿하트의 법칙이나, 기대에 맞는 증거를 선호하는 확증 편향과도 연결돼요. 무나포 등(2017)은 사전등록, 등록 보고서, 데이터와 코드 공개, 협업 연구를 포함한 개혁 선언을 발표했고, 벤저민 등(2018)은 새로운 발견의 유의수준을 0.005로 낮추자고 제안했어요. 노섹 등(2022)은 이러한 개혁 이후 재현 가능성, 견고성, 재생산성 개념이 정비되고 연구 관행이 실제로 바뀌고 있다고 정리했어요. 재현성 위기는 머튼의 과학 규범 중 조직된 회의주의가 제도적으로 작동해야 한다는 점을 다시 일깨웠어요.

자주 묻는 질문

재현성 위기를 쉽게 설명하면?

유명 학술지에 실린 실험을 다른 연구자가 똑같이 다시 해 보니, 상당수가 같은 결과가 나오지 않았다는 문제예요. 그래서 과학 연구의 신뢰성을 높이기 위한 다양한 개혁이 시작됐어요.

재현성 위기는 과학이 틀렸다는 뜻인가요?

그렇지 않아요. 오히려 과학이 스스로의 오류를 찾아내고 고쳐 가는 과정으로 볼 수 있어요. 재현 연구, 사전등록, 데이터 공개 같은 개혁으로 연구의 신뢰성을 높이려는 노력이 이어지고 있어요.

출처 검토일: 2026-10-26

참고문헌

1. Ioannidis, J. P. A. (2005). Why most published research findings are false. PLoS Medicine, 2(8), e124.
2. Simmons, J. P., Nelson, L. D., & Simonsohn, U. (2011). False-positive psychology: Undisclosed flexibility in data collection and analysis allows presenting anything as significant. Psychological Science, 22(11), 1359–1366.
3. Bem, D. J. (2011). Feeling the future: Experimental evidence for anomalous retroactive influences on cognition and affect. Journal of Personality and Social Psychology, 100(3), 407–425.
4. John, L. K., Loewenstein, G., & Prelec, D. (2012). Measuring the prevalence of questionable research practices with incentives for truth telling. Psychological Science, 23(5), 524–532.
5. Begley, C. G., & Ellis, L. M. (2012). Raise standards for preclinical cancer research. Nature, 483(7391), 531–533.
6. Button, K. S., et al. (2013). Power failure: Why small sample size undermines the reliability of neuroscience. Nature Reviews Neuroscience, 14(5), 365–376.
7. Open Science Collaboration. (2015). Estimating the reproducibility of psychological science. Science, 349(6251), aac4716.
8. Camerer, C. F., et al. (2016). Evaluating replicability of laboratory experiments in economics. Science, 351(6280), 1433–1436.
9. Baker, M. (2016). 1,500 scientists lift the lid on reproducibility. Nature, 533(7604), 452–454.
10. Munafò, M. R., et al. (2017). A manifesto for reproducible science. Nature Human Behaviour, 1, 0021.
11. Benjamin, D. J., et al. (2018). Redefine statistical significance. Nature Human Behaviour, 2(1), 6–10.
12. Camerer, C. F., et al. (2018). Evaluating the replicability of social science experiments in Nature and Science between 2010 and 2015. Nature Human Behaviour, 2(9), 637–644.
13. Nosek, B. A., et al. (2022). Replicability, robustness, and reproducibility in psychological science. Annual Review of Psychology, 73, 719–748.