ソフトウェアテストシンポジウム 2013
JaSST’13: Japan Symposium on Software Testing 2013

ユーザビリティ評価方法の実践的拡張および適用
河野 哲也†TAN LIPTONG†

岩本 善行† 白井 明‡

居駒 幹夫‡†株式会社 日立製作所 ＩＴプラットフォーム事業本部 プラットフォームＱＡ本部 ソフト品質保証部‡株式会社 日立製作所 ＩＴプラットフォーム事業本部 ソフトウェア本部 生産技術部†‡〒244-0817 横浜市戸塚区吉田町２９２番地
E-mail:†‡{tetsuya.kouno.cb, liptong.tan.rk, yoshiyuki.iwamoto.yp, akira.shirai.ws, mikio.ikoma.yh}@hitachi.com

あらまし 現在，ユーザビリティ評価はソフトウェアテストにおいて大きな関心の一つである．従来のユーザビ
リティ評価方法にはいくつかの制約があるため，テスト・品質保証部門で適用するには課題がある．そこで本研究では，NEM という従来のユーザビリティ評価方法を取り上げ，実践的な拡張を行う．そして，拡張したユーザビリ
ティ評価方法の適用例を示す．
キーワード 非機能要求，使用性，ユーザビリティ評価，NEM(Novice Expert ratio Method)

Practical Enhancement and Application of a Usability Evaluation Method
Tetsuya KOUNO† Liptong TAN† Yoshiyuki IWAMOTO†

Akira SHIRAI‡ and Mikio IKOMA‡†Software Quality Assurance Department, IT Platform R&D Management Division, Hitachi, Ltd.
‡Software Engineering Department, IT Platform R&D Management Division, Hitachi, Ltd.
†‡ 292, Yoshida-cho, Totsuka-ku, Yokohama, 244-0817 Japan
E-mail:†‡{tetsuya.kouno.cb, liptong.tan.rk, yoshiyuki.iwamoto.yp, akira.shirai.ws, mikio.ikoma.yh}@hitachi.com

Abstract Today the usability evaluation is one of important interests in software testing. There are several issues forapplication of conventional usability evaluation methods to quality assurance organizations because these methods have somerestrictions. In this paper, we focus on NEM (Novice Expert ratio Method), which is one of the conventional methods, and describe apractical enhancement of NEM. And this paper shows an example application of the enhanced method.
Keyword Non-Functional Requirements，Usability，Usability Evaluation，NEM(Novice Expert ratio Method)

1. は じ め に近年，ソフトウェアテストの重要性は広く認知され，多くのソフトウェア開発現場ではテスト設計の前倒し

うに非機能要求の中で重要な要素の一つである使用性（以降，ユーザビリティと呼ぶ）に焦点をあて，ユーザビリティの評価方法の検討を進める．

やテスト技法の導入など様々な取組みが行われている．

従来，ユーザビリティ評価に関して，ユーザビリテ

従来のテスト技法の多くは，テスト対象の機能が仕ィテスティングやヒューリスティック評価法など様々様通りに動くかといった機能要求に関するテストに焦な評価方法が提案されている．これら従来の評価方法

点を当てたものが多く，効率性や使用性など非機能要は，「ユーザビリティに関する専門的な知識を有する専求に関するテストに焦点を当てたものは充分ではない．

門家が必要であること」や「一般ユーザを用意する必一方，多くのソフトウェア開発現場では機能要求通り要があること」などの制約があることから，専門家やに動くものの性能面や使いやすさといった非機能要求専門組織が担当し実施することが多いと考えられる．に関わる問題に関心がシフトしつつある．すなわち，またテスト・品質保証部門では，そのような専門的な現在，非機能要求に関するテストは大きな関心の一つ知識を有しない立場でユーザビリティに関する定性的となっている．

な改善要望や問題点を開発組織にフィードバックした

現在，非機能要求は，その関心の大きさに伴い様々な と こ ろ で 検 討・議 論 さ れ て い る [1][2]．例 え ば ，非 機としてもそれらが反映してもらえないことも珍しくない．

能 要 求 仕 様 定 義 ガ イ ド ラ イ ン [2]で は ，機 能 性 や 信 頼 性 ，そのような背景を踏まえ，テスト・品質保証部門に

使 用 性 ，保 守 性 な ど の 10 種 類 の 特 性 を 定 義 し ，そ れ ら

おいてユーザビリティに関する専門的な知識を有しなに関しての副特性および測定項目を定めている．本研

いテスト・品質保証技術者でも適用できるようなユー

究では，このガイドラインでも取り上げられているよ

ザビリティの評価方法の検討・拡張を行うことを本研

究の目的とする．

ザ ビ リ テ ィ テ ス テ ィ ン グ ，ヒ ュ ー リ ス テ ィ ッ ク 評 価 法 ，以降，2 章では従来のユーザビリティ評価方法を概チェックリスト評価法，認知的ウォークスルーは定性観する．3 章では従来のユーザビリティ評価方法の的 な 評 価 と い っ た 側 面 が 強 い が ， 一 方 NEM は 操 作 時

NEM を 取 り 上 げ 検 討・拡 張 を 行 い ，4 章 で は そ の 適 用

間 お よ び NE 比 と い っ た 定 量 的 な 評 価 の 側 面 が 強 い ．

を行う．

ここで本研究では定量的な評価という側面を重視し，NEM を 取 り 上 げ 実 践 的 な 検 討 ・ 拡 張 を 行 う ．

2. 従 来 の ユ ー ザ ビ リ テ ィ 評 価 方 法
本章では従来のユーザビリティ評価法として，ユー

3. ユ ー ザ ビ リ テ ィ 評 価 方 法 の 検 討 と 拡 張ザビリティテスティング・ヒューリスティック評価

本 章 で は ， ま ず 文 献 [4]， [5]に 従 い NEM の 概 要 を 示法・チェックリスト評価法・認知的ウォークスルー・

し ， 次 に NEM の 検 討 お よ び 拡 張 を 行 う ． な お ， NEM

NEM(Novice Expert ratio Method)の 5 つ の 方 法 を 取 り 上の 詳 細 に つ い て は ， 文 献 [4]， [5]を 参 照 さ れ た い ．

げ，概観する．
ユ ー ザ ビ リ テ ィ テ ス テ ィ ン グ [3]は ，ユ ー ザ テ ス テ ィ

3.1. NEM の概 要ングとも呼ばれ，当該製品が対象とするユーザに実際

NEM は ，操 作 時 間 を 計 測 し NE 比 を 分 析 す る こ と でにテスト対象を使ってもらいながらユーザビリティ上問題箇所を特定することができる方法であり，次の一の問題点を洗い出す評価方法であり，開発者が見落と連の手順によって実施される．なお，本手順では，ユしがちなテスト対象の問題点を効率的に洗い出すことーザビリティ評価を企画する企画者とテスト対象を操ができる．

作する評価者の 2 つの立場があるため，必要に合わせヒ ュ ー リ ス テ ィ ッ ク 評 価 法 [3]は ，評 価 の た め の ガ イ
ドラインを事前に用意しユーザビリティに関しての知て企画者と評価者を示すようにする．
(1)評 価 対 象 の 選 定

識を習得した専門家が自らの知識と経験からガイドラ

テスト対象全体に対してユーザビリティ評価を行インに従いテスト対象の評価を行う方法であり，専門うことは現時的ではないので，特定の機能群もしくは的な知見に照らし合わせた問題点を洗い出すことがでユーザの目的などユーザビリティを評価する対象を決きる．

定する．

チ ェ ッ ク リ ス ト 評 価 法 [3]は ，事 前 に 設 定 し た チ ェ ッ(2)シ ナ リ オ の 設 定

クリストに基づきテスト対象がその確認内容を満たし(1) で 選 定 し た 対 象 に 対 し て ど の よ う な シ ナ リ オ をているかどうかを評価する方法であり，チェックリス評価したいかを検討し，一連のシナリオを設定する．

トの質に依存するもののテスト対象の問題点を広く洗ここで設定するシナリオは操作時間を計測するためのい出すことができる．

ものであり，操作時間に影響が出るため評価者には詳

認 知 的 ウ ォ ー ク ス ル ー [3]は ，シ ス テ ム を 利 用 す る ユ

しいシナリオは提示せず，操作目標といった比較的抽ーザにとってどのような目標があり，それを実現する象度の高い課題を与える．

ためにどのような手続きが必要で，そのために何が手(3)操 作 時 間 の 計 測 単 位 の 設 定がかりとなるのか，そしてその結果はどのようにフィ(2)で 設 定 し た シ ナ リ オ を 分 節 化 も し く は 集 約 化 し ，ードバックされるのか，という流れで評価する方法で操作時間の計測単位を決める．

ある．具体的には，評価者が想定されるタスクに沿っ(4)評 価 者 の 選 定て実際にテスト対象を利用しながらユーザの思考過程や操作を推測して問題点を洗い出す方法である．

一般ユーザと開発者を選定する．なお，評価結果は平均値で処理するため，多くの評価者を集めることがNEM[4][5]は ，Novice Expert ratio Method の 略 で あ り重要となる．

ユーザと開発者とのギャップに関する問題を操作時間(5)評 価 実 施の 比 較 に よ っ て 明 ら か に す る 方 法 で あ る ．具 体 的 に は ，(2) で 設 定 し た シ ナ リ オ に 対 応 す る 操 作 課 題 を 評 価

ユーザと設計者が事前に用意されたシナリオに従いテ者に与え，評価者はテスト対象を操作する．また，企スト対象を操作し，一定の大きさに分割したシナリオ

画 者 は (3)の 計 測 単 位 に 従 い ，操 作 時 間 を 計 測・収 集 すごとに操作時間を計測しユーザの操作時間と設計者のる．

操 作 時 間 と の 比 を NE(Novice Expert)比 と し て 表 し ，開(6)評 価 結 果 の 整 理 と 分 析

発者にとって操作しやすいがユーザにとっては操作し(5)で 収 集 し た 評 価 結 果 に 対 し て ，一 般 ユ ー ザ と 開 発にくいといった問題を定量的に分析し洗い出す方法で者ごとに計測単位にあわせて操作時間の平均値を算出ある．

する．さらに，一般ユーザと開発者の操作時間の平均以上，従来のユーザビリティ評価方法においてユー

値 に 対 し て 比 を 算 出 す る ． こ の 比 を NE 比 と 呼 ぶ ． ここ で ， 操 作 時 間 の 平 均 値 は 折 れ 線 グ ラ フ で 表 し ， NE

4. 適 用 例

比は棒グラフで表し，一つのグラフで表現することと4.1. 適 用 の流 れす る ． そ し て ， NE 比 に 基 づ き 分 析 を 行 い ， 問 題 の あるシナリオを特定する．
以 上 ，NEM に よ る ユ ー ザ ビ リ テ ィ 評 価 は ，操 作 時 間

本 章 で は ， ミ ド ル ウ ェ ア 製 品 を 対 象 と し て 3.2 で 拡張した評価方法の適用を行う．なお，企画者は筆者を初めとした品質保証技術者 5 名であった．以降，3 章

および一般ユーザと開発者との対比といったユーザビで示した手順に従って適用例を示す．

リティの部分的側面しか評価できていないことに注意(1)評 価 対 象 の 選 定

されたい．

本適用の操作の目的は，テスト対象の中でも基本的な 機 能 を 使 用 す る「 シ ス テ ム を 構 築 す る 」に 選 定 し た ．

3.2. NEM の検 討 と拡 張本 節 で は ，NEM を テ ス ト・品 質 保 証 部 門 で 適 用 す る(2)シ ナ リ オ の 設 定システムを構築するための一連のシナリオを次のことを前提に検討・考察を進める．また，それらの前ように設定した．

提と合わせて，より良い分析，すなわちユーザビリテ① ID・ パ ス ワ ー ド 入 力

ィに関する問題の特定についての拡張も考慮に含める．
ま ず ，先 に 述 べ た 前 提 を 考 え る と ，(4)評 価 者 の 選 定に お い て 一 般 ユ ー ザ を 集 め る こ と は 難 し い ． 文 献 [4]，[5]で は ，NE の Novice を 一 般 ユ ー ザ と し て い る が ，元 々の意味を考えると必ずしもユーザである必要はない．
すなわち，テスト対象に対しての専門的な知識を有しな い 非 熟 練 者 で あ る こ と が 重 要 で あ る と 考 え ，例 え ば ，
品質保証技術者でも担当製品以外の技術者であれば非熟 練 者 と 考 え る こ と も 可 能 で あ る ．よ っ て 本 研 究 で は ，Novice を 非 熟 練 者 と 呼 ぶ よ う に す る ．
加 え て ， NE の Expert を 設 計 者 （ 開 発 者 ） と し て いるが，必ずしも開発者である必要なく，同様に熟練者であることが重要であり，例えば品質保証技術者でも熟 練 者 と み な す こ と も 可 能 で あ る ．よ っ て 本 研 究 で は ，Expert を 熟 練 者 と 呼 ぶ こ と に す る ．
次 に ，(6)評 価 結 果 の 整 理 と 分 析 に お い て ，操 作 時 間提示された管理ユーザＩＤとパスワードを入力する．
②ログイン
ログインボタンを押下する．
③初期設定
所定のリンクをたどり初期設定入力を行う．
④追加設定
追加設定画面を開き所定の設定を入力する．
⑤セットアップ設定
セットアップ画面を開きセットアップを行う．
⑥環境設定
環境設定画面を開き所定の設定を行う．
⑦起動
起動画面を開き起動ボタンを押下する．
⑧ログの確認
起動状況のログを表示し問題がないことを確認する．
(3)操 作 時 間 の 計 測 単 位 の 設 定の平均値を表すとしているが，操作時間のばらつきも「②ログイン」は，操作時間が極端に短いために③考慮に含めた方がより良い分析が行えると考える．例に含め，②と③で一つの計測単位とした．加えて，⑦

え ば ，同 じ 操 作 時 間 平 均 値 30 秒 で も ，｛ 25 秒 /30 秒 /35も同様の理由で，⑥と⑦で一つの計測単位とした．

秒 ｝ と ｛ 5 秒 /30 秒 /55 秒 ｝ で は 後 者 が 何 ら か の 問 題 が(4)評 価 者 の 選 定あると考えられるからである．

本テスト対象は，コンシューマ製品ではなく，ミドよって，本研究では操作時間のばらつきも分析にとルウェアに関して一定の専門知識を有する技術者がユって重要な要素であると考え，熟練者と非熟練者ともーザであることが想定されたため，当該製品担当外のにシナリオごとにばらつきが分かる箱ひげ図で表し，同程度の知識を有する品質保証技術者 4 名を非熟練者

そのグラフを追加で評価結果の整理に含めることとすとして選定した．加えて，当該製品の担当の品質保証る．これにより，熟練者・非熟練者いずれの操作時間技術者 4 名を熟練者として選定した．

において，ばらつきを大きくさせる問題についても分(5)評 価 実 施析が行えるようになる．
以 上 よ り ，(4)評 価 者 の 選 定 に お い て 非 熟 練 者 と 熟 練者 と 捉 え る よ う に す る こ と ，お よ び (6)評 価 結 果 の 整 理と分析において操作時間に対して箱ひげ図で表現した

評価者の操作の一連の流れを観察し問題の所在箇所を確認することも目的の一つとしたため，操作時間はストップウォッチで計測した．
なお，純粋なデータが採取できるようにするために，グラフを追加することの 2 点を拡張点とする．次章で計 8 名の評価者に対しては事前にユーザビリティ評価

は，その拡張点を含めたユーザビリティ評価方法の適を行っていることは伝えずに操作を行ってもらった．

用例を示す．

(6)評 価 結 果 の 整 理 と 分 析
評価結果の詳細および分析は次節で示す．

非熟練者平均(秒)NE比(倍)

熟練者平均(秒)10.00

300.009.00
250.00
8.00

7.00
200.00
6.00

5.00

150.004.00
100.00
3.00

2.00
50.00
1.00

0.00

0.00
①②③

④

図１⑤⑥⑦

⑧

平 均 操 作 時 間 と NE 比

4.2. 適 用 結 果 と分 析

一 方 ， NE 比 が 大 き か っ た 「 ⑤ セ ッ ト ア ッ プ 設 定 」

本 節 で は ， 平 均 操 作 時 間 と NE 比 の グ ラ フ ， お よ び

では，特定の評価者だけが多くの時間を費やし平均値

非熟練者・熟練者の操作時間のばらつきのグラフを示を吊り上げたわけではないことが分かる．つまり，先し，各グラフに対して分析を行い，続けて適用結果のに述べた問題が特定の非熟練者に当てはまるわけでは分析を行う．

なく，総じて画面が分かりにくいといえる．

ま ず ，平 均 操 作 時 間 と NE 比 の グ ラ フ を 図 １ に 示 す ．

図３が示すように，熟練者の操作時間では，大きな図１が示すように「⑤セットアップ設定」が大きなばらつきはみられなかった．
「 ⑥ 環 境 設 定 」と「 ⑦ 起 動 」

NE 比 と な っ た ． そ の 理 由 を 操 作 の 観 察 結 果 お よ び セで 若 干 の ば ら つ き が 見 ら れ る が ，そ れ は「 ⑥ 環 境 設 定 」

ットアップ設定画面に対して企画者で分析を行った結において，企画側が用意したシナリオと熟練者の通常果，セットアップ設定画面のデザインが他の画面と整の作業とが若干食い違ったため，操作に戸惑いが生じ合性が取れていないことが原因であることが分かった．

たことが原因のようである．

そのため，設定先を見つけるのに時間がかかってしまったと想定される．この点については，当該製品の担550

当の品質保証技術者は当該画面のインタフェースにな500れてしまっていたため，特に問題と思っておらず今回450の適用で初めて分かった問題であった．

400

次に，非熟練者の操作時間のバラツキを図２に示し，熟練者の操作時間のバラツキを図３に示す．

350
300
250

図２が示すように，「 ② ロ グ イ ン 」と「 ③ 初 期 設 定 」

200

で 大 き な ば ら つ き が み ら れ る ．そ の 理 由 は ，「③初期設150定」において一名の評価者が設定操作を間違えたために多くの時間を要したことが原因であることが操作の100500

観察結果より分かった．また，図１の「②③」で非熟①②③

練者の平均操作時間が大きくなっていることもそれが

図２

非熟練者の操作時間のばらつき原因で平均を吊り上げていることが分かった．

④⑤⑥⑦⑧550で分析することを目的としているが，非熟練者に絞っ500た評価としては，一回目の操作時間と二回目の操作時450

間とが，操作の学習によってどの程度操作時間が短縮

400できるかといった習得性といった観点での拡張も可能

350である．

300
250

一方，本適用において非熟練者の操作時間のばらつ

200

き で 分 か っ た 操 作 の 間 違 い に 関 し て は ，NEM の 拡 張 の150

一 ア プ ロ ー チ と し て 考 え ら れ る ．具 体 的 に は ，NEM は100

操作時間という指標に対して，エラー数という指標を50

追 加 し NE 比 を 表 す よ う な 拡 張 が 挙 げ ら れ る ．

0①②③④⑤⑥⑦

図３

熟練者の操作時間のばらつき⑧

5. お わ り に本研究では，非機能要求におけるユーザビリティに以上，本適用により，今まで経験的にわかっていな焦点をあて，ユーザビリティの専門組織ではないテスかったユーザビリティに関する問題が明らかになった．

ト・品質保証部門でもユーザビリティ評価方法が適用

こ れ は ， NE 比 で 表 現 し た こ と に よ り 問 題 の 所 在 箇 所できるようにすることを狙って検討を進めた．具体的が特定できたことが大きく寄与する結果となった．さに は ，NEM と い う 従 来 の ユ ー ザ ビ リ テ ィ 評 価 方 法 の 検らに，非熟練者および熟練者ごとに操作時間のばらつ討・拡張を行った．くわえて，その適用例を示し，効き を あ わ せ て 示 し ， NE 比 が 妥 当 で あ る こ と も 確 認 で果を確認した．

きた．
なお，開発の制約によりテスト対象の画面仕様に対して改良を行うことが許されなかったため，本適用で今後の課題は，本手法の適用のためのガイドラインの整備や適用事例の拡充，新たな評価指標の検討および評価方法の構築が考えられる．

明らかになったユーザビリティに関する問題は次バージョンで解決するように検討を進めている

4.3. 考 察
本 研 究 で は ，NEM 本 来 の 一 般 ユ ー ザ が 評 価 を 行 う という制約を拡張し，非熟練者であれば評価が行えると
考 え ， そ の 適 用 を 行 っ た ． 適 用 結 果 よ り ， 大 き な NE
比を特定し，その問題を明らかにすることができた．
この結果より，一般ユーザを用意できないような制約の元，テスト対象に関しての非熟練者を評価者として用意することができれば適用可能であることが示唆される．
ま た NEM は ， ユ ー ザ ビ リ テ ィ と い う 枠 組 み の な かで操作時間に着目して評価を行う方法である．そのため，問題の所在箇所は特定することができるが，何が問題であるのかは他の評価方法の併用，および評価者へのヒアリングなど多岐にわたる検討が必要である．
本研究では，一般ユーザを非熟練者と捉えたが，一般ユーザという観点で他の従来のユーザビリティ評価方法の対応を考えると，ユーザビリティテスティングに操作時間といった定量的な視点を組み込んだ方法とも言える．あわせて，ヒューリスティック評価法・認知的ウォークスルーの専門家によって実施される評価
方 法 は ，NEM の 評 価 に 対 し て 補 完 的 な 役 割 で 実 施 し ていくことが望まれる．
NEM は 一 般 ユ ー ザ（ 非 熟 練 者 ）と 開 発 者 と い う 対 比

文献[1] 独 立 行 政 法 人 情 報 処 理 推 進 機 構 ソ フ ト ウ ェア ・ エ ン ジ ニ ア リ ン グ ・ セ ン タ ー (2010)：「 非 機 能 要 求 グ レ ー ド 」(http://sec.ipa.go.jp/reports/20100416.html) .
[2] (社 )日 本 情 報 シ ス テ ム・ユ ー ザ ー 協 会 編 (2008)：「非機能要求仕様定義ガイドライン」.
[3] 黒 須 正 明 他 (2000)：「ユーザ工学入門 －使い勝手を 考 え る ・ ISO13407 へ の 具 体 的 ア プ ロ ー チ 」[4] 鱗 原 晴 彦 他 (1999)：設 計 者 と 初 心 者 ユ ー ザ の 操 作
時間比較によるユーザビリティ評価手法, ヒューマ ン イ ン タ フ ェ ー ス シ ン ポ ジ ウ ム '99.
[5] 鱗 原 晴 彦 他 (2001)：定 量 的 ユ ー ザ ビ リ テ ィ 評 価 手法：NEM に よ る 操 作 性 の 評 価 事 例 お よ び ツ ー ル 開
発の報告, ヒューマンインタフェースシンポジウ
ム '01.