ユーザビリティテスト
1990年代初頭、当時サン・マイクロシステムズの研究者だったヤコブ・ニールセンが、開発工程の随所で複数の小規模なユーザビリティテスト(基本的にたった5人の被験者を対象とした)を用いるコンセプトを提唱した。彼曰く、2, 3人がホームページ上で躓く現象を確認できた上で、さらに多くの人々が同じ欠陥デザインに苦しむところを観察しても得られるものは少ない。「複雑なユーザビリティテストは資源の無駄である。最良の結果は、最高でも5人のユーザーに、小規模なテストを可能な限り実施することで得られる。その後ニールセンは自身の研究を出版し、ヒューリスティック評価という用語を新造した。
「ユーザーは5人で十分」とする主張は、後に問題Uの割合を定義する数学モデルによって説明された。
U = 1 − ( 1 − p ) n {\displaystyle U=1-(1-p)^{n}}
pを一人のユーザーが特定の問題を発見する確率、nをユーザーの数(もしくはテストの回数)とする。このモデルは実在する問題についての漸近グラフとして表せる(下記参照)。
後の研究からニールセンの主張は経験的証拠 とより高度な数理モデル の両方から追及された。
ユーザーが進行を妨げる問題に最も直面しやすい初期段階においては、平均的な知識レベルを持つ誰もがテスト被験者として参加できる。第2段階では実験者は幅広い特性の領域から被験者を募る。例えばある研究では、経験豊富なユーザーは徹頭徹尾どのデザインも問題なく使えたのに対して、ナイーブなユーザーや自己意識の高いユーザーは失敗を繰り返した。後にデザインがよりスムーズになれば、ユーザーは特定の母集団から選択されるべきである。
プロジェクトが進む中で十分な数の被験者に対して手法が用いられた時、上に挙げた議論が解決する:標本の数は最早小さいとは言えず、わずかな数のユーザー間にしか発生しない程度のユーザビリティ問題が発見されるようになる。この手法の価値は、特定のデザイン上の問題は発見された直後に二度と発生しないように解決され、そもそも問題の無い部分も幾度もテストされる点にある。当初存在したデザイン上の主な問題がたった5人のユーザーによってしかテストされないという点については事実であるが、手法が正しく適用されたとき、当初のテストで問題がなかったデザイン部分は50人から100人の人々にテストされることになる。