日本ソフトウェア科学会第 31 回大会 (2014 年度) 講演論文集

リモート・ユーザビリティテストの実施容易性と有効性の評価実験
西本 光司

南部 美砂子伊藤 恵

ユーザビリティテストでは被験者にユーザの立場でソフトウェアや Web サイトなどを実際に使用してもらい, 使いやすさを評価する. しかし, 被験者と実験者が同じ時間や空間を共有する必要があり, 実施コストが非常に高い. それに対して, リモート・ユーザビリティテストは実験者と被験者が時間と空間を共有せずに行えるため実施コストが比較的低い. リモート・ユーザビリティテストに関する既存研究ではユーザビリティテストとリモート・ユーザビリティテストの課題達成率および処理時間の傾向が似ていることが示されている. しかし, 既存研究ではリモートならではの実施容易性や有効性を示すのには情報が不十分である. 本研究ではリモート・ユーザビリティテストの実施容易性と有効性の評価実験を行う. この実験では, 被験者にとっての実施容易性のほか, ユーザビリティテストと同等の情報が低コストに得られることも実証する.

Usability testing is to evaluate ease of use for Web site or software by user. But, cost of usability testing isvery high, because this needs that experimenter and subject share the same space and time. In contrast, costof remote usability testing is relatively low, because it does not need that experimenter and subject sharethe same space and time. The existing research about remote usability testing shows that both the trend ofachievement rate and the processing time of remote usability testing are similar to that of usability testing.
But, the existing research shows not enough information for the eﬀectiveness and remote characteristic ofimplementation ease. This research experiments to evaluate the eﬀectiveness and implementation ease of
remote usability testing. This experiment will demonstrate that tester can obtain the results equivalent ofthat of usability testing at low cost and that remote usability testing is easy to implement for the subjects.

フェースにどのような問題が存在するかについて具1 はじめに体的な情報が得ることができる. しかし, ユーザビリユーザビリティとは使いやすさのことである. 機能

ティテストは実験者と被験者が同じ空間, 同じ空間で要件を満たしたソフトウェアも, 実際に使ってみる事テストを行うので, 実験者と被験者との時間の調整や,で使いにくい場合がある. 使いにくいソフトウェアは実験場所や実験に使う機材の準備などの実施コスト利用する人も少なく, 作業効率も悪くなる. ソフトウェがかかる.

アの生産性が向上し，機能要件を満たしていることがユーザビリティテストに対し, リモートユーザビリ

あたりまえとなった今，使いやすさの重要性が増して

ティテストは実験者と被験者が時間や空間を共有しないる.

い. 被験者は好きな時間や場所で実験を行う事ができ,開発されたソフトウェアのユーザビリティを評価す

実験者は被験者のテスト結果をリアルタイムで収集るためユーザビリティテストが行われる. ユーザビリすることができる. そのため実施コストをユーザビリ

ティテストは実際のユーザがテストを行うので, ユー

ティテストと比べると低コストでテストを行う事がで

ザがどのようにコンピュータを使用するか, インターきる. 米国などではリモートユーザビリティテストが主流になっているが, 日本ではあまり活用されていな

Evaluation An Experimental for Eﬀectiveness andImplementation Ease of Remote Usability Testing.
Koji Nishimoto, Misako Nambu, Kei Ito, 公立はこだて未来大学, Future University Hakodate.

い. よって, リモートユーザビリティテストの有効性やリモートならではの実施容易性を示す必要がある.

ではユーザビリティテストとリモート・ユーザビリ

2 関連研究ティテストの課題達成率および課題処理時間の傾向が2. 1 ユーザビリティ似ていることを示している. [5] しかし, 課題達成率おユーザビリティは ISO9241-11 において, 特定の利よび課題処理時間のようにパフォーマンス評価から得用状況において,「特定のユーザによって, ある製品が,られる情報が似ていることだけではリモートユーザ指定された目標を達成するために用いられる際の, 有ビリティテストとしての有用性を示すには不十分であ効性, 効率, ユーザの満足度の度合い」と定義されている. 他の手法から得られる情報が似ているかどうか示

る. [3] 一方, ヤコブ・ニールセンによってはユーザーす必要がある.

インターフェースのユーザビリティは,「ある一面からだけの特性ではなく, 学習しやすさ, 効率性, 記憶し3 研究方法やすさ, エラー発生率, 主観的満足度,5 つのユーザビ

3. 1 リモートユーザビリティテストの実施容易性リティ特性からなる多角的構成要素を持っている」と定義されている. [2]と有効性を示す経緯
前章で述べた関連研究では, リモートユーザビリ
ティテストの有用性と, リモートでユーザビリティテ

2. 2 ユーザビリティテスト

ストで行うことの利点である実施容易性が示されてい実ユーザを用いた評価手法の中でも, ユーザビリない. そこで, 本研究ではリモートユーザビリティテ

ティテストは実際の課題解決場面を見ることになるストの実施容易性と有効性を示すために 2 つの実験ため, ユーザビリティの問題点を見いだしやすい. まを行う. 有用性と実施容易性の両方を示すために, リた, 説得力のある情報が得られるので設計へのフィー

モートユーザビリティテストの有効性のある部分の実ドバックがしやすい. [4]

施容易性を示す必要がある. よって, ユーザビリティ

しかし, テスト実施においての被験者と実験者の時テストとリモートユーザビリティテストの比較の実験間の調整や, 発話情報や行動情報を取得するために,を行った後に, 実験的制約のあるリモートユーザビリ

場所の準備が必要なので実施コストがかかる.

ティテストと実験的制約がない場合の比較実験を行う

表 1 はユーザビリティテストの手法である. 手法はことが望ましい.

大きく 3 種類あり, パフォーマンス評価, 主観的評価,インタラクション評価がある. パフォーマンス評価は「使いやすさ」(作業速度, エラー率) を評価する. 主観

3. 2 ユーザビリティテストとリモートユーザビリ
ティテストの比較的評価は主観的印象, 感じなどの主観データを質問紙

まず, リモートユーザビリティテストの有用性を評などで採取する. インタラクション評価はわかりやす価するために多数ユーザの傾向を把握し定量的分析

さをタスクを実行している被験者の行動を観察し評を必要がある. よって, パフォーマンス評価と主観的価する. [4]

評価を合わせたテストをユーザビリティテストとリモートユーザビリティテストで実施し, それぞれから

2. 3 リモートユーザビリティテスト

得られる定量的情報を比較し傾向を分析することで被験者がそばにいなくても, ユーザに説明書を渡し,リモートユーザビリティテストの有用性を評価する.

結果のレポートを出してくれるように頼めば, 離れたパフォーマンス評価では図 1 のタスクを被験者に所からでも調査は実施できる. [1]リモートユーザビリティテストは被験者と実験者行ってもらい, 図 2,3 のチェックリストで Web サイトの評価を行ってもらう.との時間の調整や場所の準備がないため, ユーザビリ

この実験で取得する情報は以下の通りである.

ティテストに比べて実施コストが低い.

• 被験者のプロフィール (性別, 年齢, インターネッ

リモート・ユーザビリティテストに関する既存研究トをよく使うかなど)表1

ユーザビリティテストの手法

パフォーマンス評価

主観的評価

インタラクション評価

手法

時計計測, 事象計測

インタビュー, アンケート

モニタリング, プロトコル分析

長所実施が容易, 定量的分析可能

多数ユーザの傾向を問題点指摘が容易把握するのに適切
短所

問題点指摘困難

ユーザーの記憶に依存• 被験者の与えられた 7 個の課題の課題達成率• 被験者の与えられた 7 個の課題の課題達成時間• 被験者の Web サイトに対する 31 項目の 4 段階
評価の数値

• 被験者のクリック画面座標×クリック回数• 被験者の操作したページ遷移

ユーザ解析工数大• 被験者のプロフィール (性別, 年齢, インターネッ
トをよく使うかなど)• 被験者の与えられた 7 個の課題の課題達成率• 被験者の Web サイトに対する 31 項目の 4 段階
評価の数値

• 被験者のクリック画面座標×クリック回数• 録音した課題取り組み時の被験者の発話情報

3. 3 実験的制約のあるリモートユーザビリティテ• 録画した課題取り組み時の被験者の行動情報

ストと実験的制約がない場合の比較

発話情報と行動情報は実験的制約がある場合とない

被験者がリモート環境で時間や場所を選ばず気軽場合で Web サイトの問題を発見できるかどうか判断にテストを受ける事ができる実施容易性を評価する.

するために取得する.

リモート環境でテストを受ける場合では,「テスト中は被験者はテスト以外のことを並行してテストを行っ4 実験方法てはならない」などの実験的制約のある場合と, 実験

4. 1 実験環境的制約のない場合である. 実験者にとっても被験者にユーザビリティテストとリモートユーザビリティテ

とっても実施容易性を示す必要があるので実験的制ストの比較の実験は, ユーザビリティテストとリモー約を設ける場合のリモートユーザビリティテストと,トユーザビリティテストの両テストで被験者のページ実験的制約を設けない場合のリモートユーザビリティの遷移を追跡するために QuickTime の画面収録機能テストを評価する. パフォーマンス評価と主観的評価,を使用する.

さらに実験的制約の有無による問題指摘が容易にな

ユーザビリティテストでは実験者は被験者に立ち会るインタラクション評価を合わせたテストを実施し,い, 実験を行う. リモートユーザビリティテストではそれぞれから得られる各情報を比較し実施容易性を実験者は被験者に立ち会わず, 被験者のみで図 4 のよ評価する.

うな実験を行う.

さらに, ユーザビリティテストとリモートユーザビ

実験的制約のあるリモートユーザビリティテスト

リティテストの比較で得られたユーザビリティテストと実験的制約がない場合の比較の実験は図 5 のようとリモートユーザビリティテストで傾向が似ていた情な実験を行う. 被験者のページの遷移を追跡するため報の制約がある場合とない場合での定量的情報を比に QuickTime の画面収録機能を使用するのに加えて,較し傾向を分析し, 有効性と実施容易性の両方を評価

ユーザの発話や行動を記録するために, ビデオカメラする.

を設置する.

パフォーマンス評価では図 1 のタスクを被験者に行ってもらい, 図 2,3 のチェックリストで Web サイトの評価を行ってもらう.
この実験で取得する情報は以下の通りである.

4. 2 実験題材
今年度から一般公開された北海道函館市のイベン
ト情報サイト「HakoEve」図 6 で実験を行う. 今回の

図1

図2

テストで被験者に行ってもらうタスク項目例

テストで被験者に行ってもらうチェックリスト項目例

題材を選んだ理由として,「HakoEve」が本校の PBLため, サイトの問題点が潜在している可能性が高い.

で学生開発され, 函館市地域交流まちづくりセンターの Web サイトの一部として今年 4 月に一般公開され

4. 3 被験者

たこと,7 月 22 日時点で 10 画面存在し, 約 1000 件のユーザビリティテストとリモートユーザビリティテイベント情報が登録されているが公開して間もないストの比較の実験はユーザビリティテスト 10 人, リ

図3

図4

テストで被験者に行ってもらう主観的評価項目例

ユーザビリティテストとリモートユーザビリティテストの比較の実験

モートユーザビリティテスト 10 人. 実験的制約のあている情報があることである. 傾向が似ている情報がるリモートユーザビリティテストと実験的制約がないあることでリモートユーザビリティテストの有用性

場合の比較の実験は実験的制約があるリモートユーザを示す事が出来る. そして, ユーザビリティテストとビリティテスト 3 人, 実験的制約のないリモートユー同等の情報が被験者と実験者との時間の調整がないザビリティテスト 3 人を予定している. 被験者は 2 つ分や, ユーザービリティラボのように実験用のスタジの実験の被験を重複せず, 普段インターネットを使っオを使わない分, 低コストに得られることも実証するてイベント情報を調べた経験がある人が半数, 調べたことができる. 実験的制約のあるリモートユーザビリ経験が無い人を半数として想定している.

ティテストと実験的制約がない場合の比較では, ユーザビリティテストとリモートユーザビリティテストの4. 4 期待される結果比較で明らかになった, 各テストから取得する情報の期待される結果として, ユーザビリティテストとリ数値の変化や数値の値の傾向が似ている情報が, 実験モートユーザビリティテストの比較では, 各テストか的制約がある場合とない場合での傾向が似ているこら取得する情報の数値の変化や数値の値の傾向が似とである. 傾向が似ている事によって, 実験的制約が

図5

実験的制約のあるリモートユーザビリティテストと実験的制約がない場合の比較じた.
今後は被験者を募集し, 評価実験を進める. そして,得られた結果を分析していく. 得られた結果を基に,リモートユーザビリティテストのより良い実施方法やどんな題材に向き, どんな題材に不向きであるかを調査する. また, 他の Web サイトでも同様の結果が得られるかどうかを調査する.

参 考 文 献図6

北海道函館市のイベント情報サイト「HakoEve」

ない場合でもユーザビリティテストと同等の情報が低コストに得られることも実証することができる.

5 おわりに本論はリモート・ユーザビリティテストの有用性と実施容易性を示すために, 評価実験の実験方法まで論[ 1 ] Steve Krug（2000) ウェブユーザビリティの法則 ス
トレスを感じさせないナビゲーション作法とは ソフト
バンクパブリッシング 293pp.
[ 2 ] ヤコブ・ニールセン（1990) ユーザビリティエンジ
ニアリング言論 東京電機大学出版局 pp. 21–22．
[ 3 ] 樽本徹也（2005) ユーザビリティエンジニアリング
オーム社 pp. 4–5．
[ 4 ] 黒須正明（2003) ユーザビリティテスティング 共立出版 12pp．
[ 5 ] 藤慎治（2002) ウェブのリモート・ユーザビリティ
テストに関する研究．