사용성 테스트

사용성 테스트(Usability testing)는 사용자 중심 인터랙션 디자인에서 사용자를 대상으로 제품을 테스트하여 평가하는 기법이다. 실제 사용자가 시스템을 어떻게 사용하는지에 대한 직접적인 정보를 제공하므로 대체 불가능한 사용성 관행으로 볼 수 있다.Nielsen, J. (1994). Usability Engineering, Academic Press Inc, p 165 이 기법은 제품의 디자인 직관성과 관련이 깊으며, 이전에 제품에 노출된 적이 없는 사용자를 대상으로 테스트한다. 이러한 테스트는 최종 제품의 성공에 매우 중요하며, 사용자들에게 혼란을 주는 완전한 기능의 애플리케이션은 오래가지 못할 것이다. 이는 전문가가 사용자를 참여시키지 않고 다양한 방법으로 사용자 인터페이스를 평가하는 사용성 검사 방법과 대조된다.

사용성 테스트는 사람이 만든 제품이 의도한 목적을 달성하는 능력을 측정하는 데 중점을 둔다. 사용성 테스트의 이점을 일반적으로 얻는 제품의 예로는 음식, 소비재, 웹사이트 또는 웹 애플리케이션, 컴퓨터 인터페이스, 문서 및 장치가 있다. 사용성 테스트는 특정 개체 또는 개체 집합의 사용성 또는 사용 편의성을 측정하는 반면, 일반적인 인간-컴퓨터 상호 작용 연구는 보편적인 원칙을 공식화하려고 시도한다.

무엇이 아닌가
단순히 개체나 문서에 대한 의견을 수집하는 것은 사용성 테스트라기보다는 시장 조사 또는 질적 연구이다. 사용성 테스트는 일반적으로 사람들이 제품을 얼마나 잘 사용할 수 있는지 확인하기 위해 통제된 조건에서 체계적인 관찰을 포함한다. 그러나 사용자의 행동 외에 동기/인식을 더 잘 이해하기 위해 정성적 연구와 사용성 테스트가 종종 함께 사용되기도 한다.

사용자에게 초안을 보여주며 "이해하셨나요?"라고 묻는 대신, 사용성 테스트는 사람들이 의도한 목적을 위해 무언가를 사용하려고 시도하는 것을 지켜보는 것을 포함한다. 예를 들어, 장난감 조립 지침을 테스트할 때, 테스트 대상에게는 지침과 부품 상자가 제공되어야 하며, 부품 및 재료에 대해 언급하도록 요청하는 대신 장난감을 조립하도록 요청해야 한다. 지침의 문구, 그림 품질 및 장난감 디자인 모두 조립 과정에 영향을 미친다.

방법
사용성 테스트를 설정하는 것은 관찰자가 지켜보고 메모하는 동안(동적 검증) 제품을 사용하여 일련의 작업을 수행하는 시나리오, 즉 현실적인 상황을 신중하게 만드는 것을 포함한다. 스크립트 지침, 종이 프로토타입, 사전 및 사후 테스트 설문지와 같은 몇 가지 다른 테스트 도구도 테스트 중인 제품에 대한 피드백을 수집하는 데 사용된다(정적 검증). 예를 들어, 이메일 프로그램의 첨부 기능 테스트를 위해 시나리오는 사람이 이메일 첨부 파일을 보내야 하는 상황을 설명하고, 이 작업을 수행하도록 요청할 것이다. 목표는 사람들이 현실적인 방식으로 어떻게 기능하는지 관찰하여 개발자가 문제 영역을 식별하고 수정할 수 있도록 하는 것이다. 사용성 테스트 중 데이터를 수집하는 데 일반적으로 사용되는 기술에는 사고 발화 프로토콜, 공동 발견 학습 및 시표 추적이 포함된다.

복도 테스트

복도 테스트(hallway testing)는 게릴라 사용성이라고도 불리며, 복도를 지나가는 사람들과 같이 제품이나 서비스를 사용해 보라고 요청하는 빠르고 저렴한 사용성 테스트 방법이다. 이는 디자이너가 새로운 디자인의 초기 단계에서 사용자가 도저히 진행할 수 없는 심각한 문제인 "벽"을 식별하는 데 도움이 될 수 있다. 프로젝트 디자이너와 엔지니어를 제외한 누구라도 사용될 수 있다(그들은 프로젝트에 너무 가깝기 때문에 "전문가 검토자" 역할을 하는 경향이 있다).

이러한 유형의 테스트는 편의 표본 추출의 한 예이며, 따라서 결과는 편향될 수 있다.

원격 사용성 테스트

사용성 평가자, 개발자 및 잠재 사용자가 다른 국가 및 시간대에 위치하는 시나리오에서 전통적인 실험실 사용성 평가를 수행하는 것은 비용 및 물류 측면에서 모두 어려움을 초래한다. 이러한 우려로 인해 사용자와 평가자가 공간과 시간을 넘어 분리된 원격 사용성 평가에 대한 연구가 이루어졌다. 사용자 작업 및 기술의 맥락에서 평가를 용이하게 하는 원격 테스트는 동기식 또는 비동기식일 수 있다. 전자는 평가자와 사용자 간의 실시간 일대일 통신을 포함하는 반면, 후자는 평가자와 사용자가 개별적으로 작업하는 것을 포함한다. 이러한 두 가지 접근 방식의 요구 사항을 해결하기 위한 수많은 도구가 존재한다.

동기식 사용성 테스트 방법론은 화상 회의 또는 WebEx와 같은 원격 애플리케이션 공유 도구를 사용한다. WebEx 및 GoToMeeting은 동기식 원격 사용성 테스트를 수행하는 데 가장 일반적으로 사용되는 기술이다. 그러나 동기식 원격 테스트는 협업 테스트 프로세스를 지원하는 데 필요한 즉각성과 "존재감"이 부족할 수 있다. 또한 문화적 및 언어적 장벽을 넘는 대인 관계 역학을 관리하려면 관련 문화에 민감한 접근 방식이 필요할 수 있다. 다른 단점으로는 테스트 환경에 대한 통제력 감소와 참가자가 본래 환경에서 경험하는 방해 및 중단이 있다. 동기식 원격 사용성 테스트를 수행하기 위해 개발된 새로운 방법 중 하나는 가상 세계를 사용하는 것이다.

비동기식 방법론에는 사용자의 클릭 스트림 자동 수집, 애플리케이션과 상호 작용하는 동안 발생하는 중요 사건에 대한 사용자 로그, 사용자의 인터페이스에 대한 주관적인 피드백이 포함된다. 실험실 연구와 유사하게, 비동기식 원격 사용성 테스트는 작업 기반이며 플랫폼은 연구자가 클릭 및 작업 시간을 캡처할 수 있도록 한다. 따라서 많은 대기업의 경우 이를 통해 연구자는 웹사이트 또는 모바일 사이트를 방문할 때 방문자의 의도를 더 잘 이해할 수 있다. 또한 이러한 유형의 사용자 테스트는 인구 통계학적, 태도적 및 행동 유형별로 피드백을 분류할 기회도 제공한다. 테스트는 사용자의 자체 환경(실험실이 아닌)에서 수행되어 실제 시나리오 테스트를 더욱 시뮬레이션하는 데 도움이 된다. 이 접근 방식은 또한 원격 지역의 사용자로부터 빠르고 낮은 조직 오버헤드로 쉽게 피드백을 요청할 수 있는 수단을 제공한다. 최근 몇 년 동안 비동기식으로 사용성 테스트를 수행하는 것도 보편화되었으며, 테스터가 자유 시간에 집에서 편안하게 피드백을 제공할 수 있도록 한다.

전문가 검토

전문가 검토는 사용성 테스트의 또 다른 일반적인 방법이다. 이름에서 알 수 있듯이 이 방법은 해당 분야의 경험이 있는 전문가(사용성 테스트를 전문으로 하는 회사에서 올 수도 있음)를 초빙하여 제품의 사용성을 평가하는 데 의존한다.

발견적 평가방법 또는 사용성 감사는 한 명 이상의 인적 요소 전문가가 인터페이스를 평가하는 것이다. 평가자는 제이콥 닐슨이 1994년에 처음 정의한 10가지 사용성 휴리스틱과 같은 사용성 원칙을 기반으로 인터페이스의 사용성, 효율성 및 효과를 측정한다.

사용자 연구 및 새로운 장치에 대한 응답으로 계속 진화해 온 닐슨의 사용성 휴리스틱은 다음과 같다.
 시스템 상태의 가시성
 시스템과 실제 세계 간의 일치
 사용자 제어 및 자유
 일관성 및 표준
 오류 방지
 회상보다는 인지
 사용의 유연성 및 효율성
 미적 및 최소주의 디자인
 사용자가 오류를 인식, 진단 및 복구하도록 돕기
 도움말 및 문서

자동화된 전문가 검토

전문가 검토와 유사하게, 자동화된 전문가 검토는 좋은 디자인과 휴리스틱에 대한 규칙이 주어진 프로그램을 사용하여 사용성 테스트를 제공한다. 자동화된 검토는 사람의 검토만큼 많은 세부 정보와 통찰력을 제공하지 못할 수 있지만, 더 빠르고 일관되게 완료할 수 있다. 사용성 테스트를 위한 대리 사용자를 생성한다는 아이디어는 인공지능 커뮤니티의 야심 찬 방향이다.

A/B 테스트

웹 개발 및 마케팅에서 A/B 테스트 또는 스플릿 테스트는 웹 디자인(특히 사용자 경험 디자인)에 대한 실험적 접근 방식으로, 관심 결과(예: 배너 광고 클릭률)를 증가시키거나 최대화하는 웹 페이지 변경 사항을 식별하는 것을 목표로 한다. 이름에서 알 수 있듯이 사용자 행동에 영향을 미칠 수 있는 한 가지 변형을 제외하고는 동일한 두 가지 버전(A 및 B)이 비교된다. 버전 A는 현재 사용 중인 버전일 수 있으며, 버전 B는 어떤 면에서 수정된다. 예를 들어, 전자 상거래 웹사이트에서 구매 퍼널은 일반적으로 A/B 테스트의 좋은 후보인데, 이탈률이 약간만 개선되어도 판매량이 크게 증가할 수 있기 때문이다. 텍스트, 레이아웃, 이미지 및 색상과 같은 요소를 테스트하여 상당한 개선을 볼 수 있다.

다변수 테스트 또는 버킷 테스트는 A/B 테스트와 유사하지만 동시에 두 가지 이상의 버전을 테스트한다.

참가자 수

1990년대 초, 당시 썬 마이크로시스템즈의 연구원이었던 제이콥 닐슨은 개발 과정의 다양한 단계에서 수많은 소규모 사용성 테스트(일반적으로 각각 5명의 참가자만 참여)를 사용하는 개념을 대중화했다. 그의 주장은 두세 명의 사람들이 홈페이지에 완전히 혼란스러워하는 것이 발견되면, 동일한 결함 있는 디자인으로 더 많은 사람들이 고통받는 것을 지켜보는 것은 얻는 것이 거의 없다는 것이다. "정교한 사용성 테스트는 자원 낭비이다. 최고의 결과는 5명 이하의 사용자를 테스트하고 감당할 수 있는 만큼 많은 소규모 테스트를 실행하는 것에서 나온다."; references 

"5명의 사용자로 충분하다"는 주장은 나중에 수학적 모델로 설명되었는데, 이는 발견되지 않은 문제의 비율 U에 대해 다음과 같이 나타낸다.

여기서 p는 한 피험자가 특정 문제를 식별할 확률이고 n은 피험자 수(또는 테스트 세션 수)이다. 이 모델은 실제 존재하는 문제의 수에 대한 점근선 그래프로 나타난다(아래 그림 참조).

파일:Virzis Formula.PNG

이후 연구에서 닐슨의 주장은 경험적 증거와 더 진보된 수학적 모델을 사용하여 의문이 제기되었다. 이 주장에 대한 두 가지 주요 과제는 다음과 같다.
 사용성은 특정 사용자 집합과 관련이 있으므로, 이처럼 작은 표본 크기는 전체 모집단을 대표하기 어려우므로 이러한 작은 표본의 데이터는 그들이 대표할 수 있는 모집단보다는 표본 그룹을 반영할 가능성이 더 높다.
 모든 사용성 문제가 동일하게 쉽게 감지되는 것은 아니다. 다루기 어려운 문제는 전체 프로세스를 늦추는 경향이 있다. 이러한 상황에서 프로세스의 진행은 닐슨/란다우어 공식에 의해 예측된 것보다 훨씬 더 얕다.

닐슨은 5명의 사용자로 한 번의 테스트를 마치고 중단하라고 주장하지 않는다. 그의 요점은 5명의 사용자로 테스트하고, 그들이 발견한 문제를 수정하고, 그 다음에 수정된 사이트를 5명의 다른 사용자로 테스트하는 것이 10명의 사용자로 한 번의 사용성 테스트를 실행하는 것보다 제한된 자원을 더 잘 사용하는 방법이라는 것이다. 실제로 테스트는 전체 개발 주기 동안 주당 1~2회, 라운드당 3~5명의 테스트 대상을 사용하여 진행되며, 결과는 24시간 이내에 디자이너에게 전달된다. 따라서 프로젝트 과정에서 실제로 테스트되는 사용자 수는 쉽게 50~100명에 이를 수 있다. 연구에 따르면 조직에서 수행하는 사용자 테스트에는 일반적으로 5~10명의 참가자 모집이 포함된다.

초기 단계에서는 사용자가 즉시 문제를 접할 가능성이 가장 높기 때문에 일반적인 지능을 가진 거의 모든 사람을 테스트 대상으로 사용할 수 있다. 2단계에서는 테스터가 다양한 능력 스펙트럼에 걸쳐 테스트 대상을 모집한다. 예를 들어, 한 연구에서 숙련된 사용자는 첫 번째부터 마지막까지 어떤 디자인도 사용하는 데 문제가 없었지만, 초보 사용자 및 스스로를 파워 사용자라고 밝힌 사용자 모두 반복적으로 실패했다. 나중에는 디자인이 매끄러워짐에 따라 대상 인구에서 사용자를 모집해야 한다.

이 방법이 프로젝트 과정에서 충분한 수의 사람들에게 적용되면 위에서 제기된 이의가 해결된다. 표본 크기는 더 이상 작지 않으며, 가끔 사용자에게만 발생하는 사용성 문제가 발견된다. 이 방법의 가치는 특정 디자인 문제가 일단 발생하면 즉시 제거되기 때문에 다시는 나타나지 않으며, 성공적으로 보이는 부분은 계속해서 테스트된다는 사실에 있다. 초기 디자인 문제가 5명의 사용자에게만 테스트될 수 있다는 것은 사실이지만, 이 방법이 적절히 적용되면 초기 테스트에서 작동했던 디자인 부분은 50~100명의 사람들에게 테스트될 것이다.

예시
1982년 애플 컴퓨터 개발자 매뉴얼은 사용성 테스트에 대해 다음과 같이 조언했다.

 "대상 사용자를 선택하십시오. 대상 사용자를 식별하여 사람-인터페이스 디자인을 시작하십시오. 비즈니스맨을 위해 작성하고 있습니까 아니면 어린이를 위해 작성하고 있습니까?"
 대상 사용자가 애플 컴퓨터와 소프트웨어의 주제에 대해 얼마나 알고 있는지 파악한다.
 1단계와 2단계는 대상 사용자의 요구에 맞게 사용자 인터페이스를 디자인할 수 있도록 한다. 회계사를 위해 작성된 세금 준비 소프트웨어는 사용자가 컴퓨터에 대해 아무것도 모르지만 세법에 대한 전문가라고 가정할 수 있는 반면, 소비자를 위해 작성된 이러한 소프트웨어는 사용자가 세금에 대해 아무것도 모르지만 애플 컴퓨터의 기본에 익숙하다고 가정할 수 있다.

애플은 개발자들에게 "친구, 친척, 신입사원을 동원하여 가능한 한 빨리 테스트를 시작해야 한다"고 조언했다.

디자이너들은 사람들이 프로그램을 사용하는 것을 직접 보아야 한다. 왜냐하면

교육
사용성 테스트는 여러 분야에서 학문적 교육의 정식 과목이었다. 사용성 테스트는 작문 연구와 온라인 작문 교육(OWI)에 중요하다. 학자 콜린 비요크(Collin Bjork)는 사용성 테스트가 "효과적인 OWI 개발에 필수적이지만 불충분하다. 디지털 수사학 이론과 결합되지 않는 한"이라고 주장한다.

 설문 조사 연구 
설문 조사 제품에는 설문 응답자 단독으로 또는 데이터 수집가와 함께 작성하거나 사용할 수 있는 종이 및 디지털 설문지, 양식 및 도구가 포함된다. 사용성 테스트는 주로 웹 설문 조사에서 수행되며, 사람들이 설문 조사와 상호 작용하는 방식, 즉 설문 조사를 탐색하고, 설문 응답을 입력하고, 도움말 정보를 찾는 방식에 중점을 둔다. 사용성 테스트는 인지적 선행 연구 (사람들이 제품을 이해하는 방식), 파일럿 테스트 (설문 조사 절차가 어떻게 작동하는지), 설문 방법론의 주제 전문가의 전문 검토와 같은 전통적인 설문 사전 테스트 방법을 보완한다.

번역된 설문 조사 제품에서 사용성 테스트는 문장 및 단어 수준, 데이터 입력 및 탐색 디자인에서 "문화적 적합성"이 고려되어야 한다는 것을 보여주었고, 일반적인 기능(탭, 하이퍼링크, 드롭다운 목록, URL)에 대한 번역 및 시각적 단서 제시가 사용자 경험을 개선하는 데 도움이 된다는 것을 보여주었다.

 같이 보기 
 교육공학
 발견적 평가방법
 ISO 9241
 RITE 기법
 소프트웨어 성능 테스트
 소프트웨어 테스트

 각주 

 외부 링크 
 Usability.gov

분류:소프트웨어 테스트
분류:교육공학
분류:사용성
분류:제품 검사