신뢰도의 종류
- 검사-재검사 신뢰도: 같은 검사를 일정 간격을 두고 두 번 실시해 상관을 봐요. 기억·학습 효과가 단점이에요.
- 동형검사 신뢰도: 내용과 난이도가 같은 두 검사를 비교해요.
- 반분 신뢰도: 문항을 둘로 나눠 상관을 구하고 스피어만-브라운 공식으로 보정해요.
- 내적 일관성: 문항들이 같은 개념을 재는지 크론바흐 알파로 보며, 보통 0.7 이상이면 수용 가능하다고 봐요.
- 평정자 간 신뢰도: 관찰자들의 판단 일치도(코헨의 카파 등)
타당도의 종류
- 내용 타당도: 문항이 개념의 내용 영역을 대표하는지 전문가가 판단해요. 액면 타당도는 겉보기 판단이에요.
- 준거 타당도: 외부 기준과의 상관으로 판단하며, 같은 시점의 동시 타당도와 미래 결과를 맞히는 예측 타당도가 있어요.
- 구성 타당도: 이론적 개념을 제대로 반영하는지 보며, 관련 개념과 높게 상관하는 수렴 타당도와 다른 개념과 낮게 상관하는 판별 타당도, 요인분석으로 확인해요.
둘의 관계
과녁에 비유하면 신뢰도는 화살이 한곳에 모이는 정도, 타당도는 중심에 맞는 정도예요. 측정에 무작위 오차가 크면 신뢰도가 낮고, 체계적 오차가 크면 타당도가 낮아요. 신뢰도가 낮으면 타당도도 높을 수 없지만, 신뢰도가 높다고 타당도가 보장되지는 않아요.
높이는 방법
문항 수를 늘리고 모호한 문항을 고치며, 측정 조건과 지시를 표준화하고, 조사자 훈련과 사전검사를 해요. 타당도를 위해서는 개념을 명확히 정의하고 검증된 척도를 쓰는 것이 좋아요. 연구 설계의 내적·외적 타당도와는 다른 개념이에요.
캠퍼스다운 자료실에는 이 이론을 다룬 자료도 있어요: 「사회복지조사에서의 신뢰도 타당도의 관계」, 「내적타당도 관련요인」, 「신뢰도와 타당도의 개념」, 「타당도의 종류로 대표적인 내용 타당도, 준거관련 타당도, 구인 타당도」.
이 이론을 다룬 레포트·발표 자료는 캠퍼스다운 자료실의 '측정의 신뢰도와 타당도' 레포트 검색에서 찾아볼 수 있어요.
참고문헌
- Cronbach, L. J. (1951). Coefficient alpha and the internal structure of tests. Psychometrika, 16(3), 297-334.
- Campbell, D. T., & Fiske, D. W. (1959). Convergent and discriminant validation by the multitrait-multimethod matrix. Psychological Bulletin, 56(2), 81-105.
- Cronbach, L. J., & Meehl, P. E. (1955). Construct validity in psychological tests. Psychological Bulletin, 52(4), 281-302.
- Rubin, A., & Babbie, E. R. (2016). Research Methods for Social Work (9th ed.). Cengage.