몇 명이면 충분할까
비르지(1992)는 4~5명으로 문제의 약 80%를 찾을 수 있다고 보고했고, 닐슨과 랜다우어(1993)는 참가자 수에 따른 발견율 공식을 만들었어요. 닐슨(2000)은 그래서 15명을 한 번에 테스트하기보다 5명씩 세 번 반복하라고 권해요. 하지만 포크너(2003)는 5명 표본은 우연에 따라 발견율이 크게 흔들린다고 반박했어요. 결론적으로 5명은 반복 개선을 위한 정성 테스트에 적합하고, 수치를 비교하려면 더 많은 표본이나 A/B 테스트가 필요해요.
과업 설계와 진행
좋은 과업은 '설정 메뉴를 찾으세요'가 아니라 '알림이 너무 많이 와서 줄이고 싶어요'처럼 목표와 맥락을 줘요. 에릭슨과 사이먼(1993)이 정리한 소리 내어 생각하기는 참가자가 생각을 말하게 하되 진행자는 최소한으로 개입하는 방식이에요. 허춤과 야콥센(2001)은 평가자마다 찾는 문제가 크게 다르다는 '평가자 효과'를 보고했으니, 디자이너·개발자·기획자가 함께 관찰하는 게 좋아요. 과업 성공률, 소요 시간, 오류와 함께 밴거와 동료들(2008)의 기준으로 SUS 점수를 해석하세요.
모바일 테스트 요령
모바일 테스트는 참가자 본인의 휴대폰으로, 평소처럼 한 손으로 들고 진행하는 게 가장 현실적이에요. 원격 테스트에서는 화면 녹화와 함께 손가락 움직임이 보이도록 카메라를 두면 좋아요. 예쁜 시안은 심미적 사용성 효과 때문에 말로는 좋은 평가를 받기 쉬우니 행동을 중심으로 보세요. 테스트 전 닐슨의 사용성 휴리스틱으로 전문가 검토를 하면 명백한 문제를 먼저 걷어낼 수 있어요.
자주 묻는 질문
- 사용성 테스트는 정말 5명이면 되나요?
- 반복 개선용 정성 테스트라면 5명씩 여러 번이 효율적이지만, 수치 비교나 다양한 사용자군이 있다면 더 필요해요.
- 원격 테스트와 대면 테스트 중 무엇이 좋은가요?
- 원격은 빠르고 다양한 참가자를 모으기 쉽고, 대면은 표정과 맥락을 깊게 관찰하기 좋아요.
출처 검토일: 2026-10-27
참고문헌
- Nielsen, J., & Landauer, T. K. (1993). A mathematical model of the finding of usability problems. In Proceedings of the INTERACT '93 and CHI '93 Conference on Human Factors in Computing Systems (pp. 206–213). ACM. 참가자 수에 따른 문제 발견율 공식을 제시한 연구라, '5명 법칙'의 수학적 근거를 볼 때 참고하면 도움이 돼요.
- Nielsen, J. (2000, March 19). Why you only need to test with 5 users. Nielsen Norman Group. 작은 테스트를 여러 번 반복하라는 주장이라, 테스트 일정 계획 시 참고하면 도움이 돼요.
- Virzi, R. A. (1992). Refining the test phase of usability evaluation: How many subjects is enough? Human Factors, 34(4), 457–468. 4~5명으로 문제의 약 80%를 찾는다는 실험이라, 소규모 테스트의 근거로 참고하면 도움이 돼요.
- Faulkner, L. (2003). Beyond the five-user assumption: Benefits of increased sample sizes in usability testing. Behavior Research Methods, Instruments, & Computers, 35(3), 379–383. 5명 표본은 편차가 크다는 반론이라, 참가자 수를 늘려야 할 때 참고하면 도움이 돼요.
- Bangor, A., Kortum, P. T., & Miller, J. T. (2008). An empirical evaluation of the System Usability Scale. International Journal of Human–Computer Interaction, 24(6), 574–594. SUS 점수의 해석 기준을 대규모 데이터로 제시해, 만족도 측정 시 참고하면 도움이 돼요.
- Hertzum, M., & Jacobsen, N. E. (2001). The evaluator effect: A chilling fact about usability evaluation methods. International Journal of Human–Computer Interaction, 13(4), 421–443. 평가자마다 찾는 문제가 크게 다르다는 연구라, 여러 명이 함께 관찰해야 하는 이유로 참고하면 도움이 돼요.
- Ericsson, K. A., & Simon, H. A. (1993). Protocol analysis: Verbal reports as data (Rev. ed.). MIT Press. 소리 내어 생각하기(think-aloud) 방법의 이론적 기초라, 진행 시 개입을 줄이는 법을 볼 때 참고하면 도움이 돼요.