DIY (Do it Yourself) ユーザビリティテスト
ユーザビリティテスト

自作貯金支援アプリケーションに対する対象のユーザビリティを評価し，問題点や改良点を示す

DIYユーザビリティテストの計画と実施・インスペクション
・ユーザーテスト法

The University of Kitakyushu 北九州市立大学

テストユーザーに製品やプロトタイプを使用してもらい，その様子を観察することで問題点を抽出する

国際環境工学研究科 情報工学専攻
山崎 進 研究室 上之園 倫哉

コンサルに依頼することが一般的だが，身の回りのものを利用して自分たち(開発者自身)でユーザビリティテストを実施する
Do it Yourself!!
Copyright © 2012 Rinsuke Agenosono All Rights Reserved.

Copyright © 2012 Rinsuke Agenosono All Rights Reserved.

1

ユーザーテスト法のプロセス

テストが委託型とDIYであることの比較① リクルート
被験者(ターゲットユーザー，テスト目的に応じた人物)を集める

表1：委託型ユーザビリティテストとDIYユーザビリティテストの比較
従来の委託型② テスト設計
被験者に課すタスクを設定する
インタビュー項目等を検討する
テストの流れを設定する

活動の主体
被験者

専用ラボ

会議室や研究スペース
必要な情報を書いたメモと対話

ユーザビリティ評価をしてもらえる・リクルーティングやテスト設計等，手間のかかる部分を任せることができる

・コンサル会社と開発会社の間でコミュニ

欠点ケーションのミスマッチが起こる可能性があ・自分達に必要な情報だけ抽出しユーザビリティテストにかける期間を削減することができる
・予算内でのテスト可能回数が増加する
・被験者との対話から効率的かつ効果的に問題を発見できる可能性が高い
・リクルートやテスト設計に手間がかかる
・テスト実施状況の観察やテスト進行にるテクニックが必要

Copyright © 2012 Rinsuke Agenosono All Rights Reserved.

3

4

今回のDIYユーザビリティテストの目的とテスト観点

自作貯金支援アプリケーション「CEMPEI式貯金」②出費した分だけ赤の割合が目的

▶

増えていく

1．ユーザビリティ上の問題

コンセプト

2．開発者自身が気づいていない問題

・日々の節約と貯金のサポートを目的と上記2つに関する問題点を発見することしたiOS用アプリ①[出費][収入][調整]・シンプルで使いやすいインターフェーの中から目的の項目をス，及びグラフによる直観的な理解を選んで金額を入力

人脈（友達の友達の友達の...

調査会社の登録モニター
動画付き，大量のレポート

・費用が高い．時間(期間)がかかる

評価対象

目標貯金額を示す

開発者自身

場所

開発チームへフィードバック③青い部分は今期のテスト

専門のコンサルタント

成果物

利点

④ 分析/レポート③の結果からユーザビリティ上の問題を分析し，レポートにまとめる

DIYユーザビリティ

ユーザビリティテスト

・専門家の知見から様々な項目について③ 実査
被験者がタスクを実行する様子を観察，記録する
インタビュー，アンケートを実施する

Copyright © 2012 Rinsuke Agenosono All Rights Reserved.

2

テスト観点

▶

a. ユーザーが迷わず操作できるか目指している

実際に操作している様子を観察して検証する

・スマートフォンを持つ大学生が主なターゲットユーザー

b. アプリを使用する際に必要な概念や用語を理解してもらえるかc. 不快感を与えないかどうか操作の観察，及びインタビューにより検証する

図1：CEMPEI式貯金のメイン画面

Copyright © 2012 Rinsuke Agenosono All Rights Reserved.

5

Copyright © 2012 Rinsuke Agenosono All Rights Reserved.

6

テスト設計テスト設計

タスクの設定アウトラインやテストに必要なドキュメントの作成

表2：各操作とタスク及び被験者に提示する情報の関係※
テストN
被験者に提示する情報
確認したい操作 観点 タスクo.
“予算と期間”の概念に1 ついて理解できるか出費の入力が2 できるか

・このアプリがどんなものだったか説明してくださいリクルート スマートフォンユーザーの大学生
4.2 シナリオ(コンテキスト)の提示
・明日から使いたいと思ったか？
対象
・「これから，このアプリを使って頂きますが，その前に仮の設定を作りましょう」
・こんな機能がついていたらもっと良いのではないかというものはあるか？
被験者数
5〜6名
『(被験者)さんは半年で￥40,000貯金したいと考えています．でも大学の講義やサークルーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーー
タスク
出費/収入の入力，入力ミス項目の削除，並びに残金調整に関するタスクの活動が忙しくて，なかなかバイトのシフトを増やすことが出来ません．だから節約で少6．エンディング
ーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーー
しでもお金を浮かせようと考えています』
・お礼
必要なもの
・アプリの初期化

1．イントロダクション
一枚ずつ引いてもらい書かれている内容をアプリに反映させてもらう
・撮影許可の確認

a

ログから先の入力を削除する

4 できるかa

収入を入力する￥10,000の小遣いを貰いました

5 調整機能が使えるか調整機能を使って，所持金とアプリの出費の入力をうっかり忘れてしまって，

a,b

・テスト開始から終了までの流れ
・質問やタスクの提示順序
・インタビュアが話す内容
・必要品目

ーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーー
a「一昨日と昨日の出費をアプリに反映させてみてください」
2．事前インタビュー■スタート：メインページ
・お金の管理はどうやっているか□ゴール：出費が画面下部に記録される(グラフ赤部分が増える)

昨日，次のリスト(省略)のようなリストをもとに，出費を入力する

3 (修正)ができるか>>iTunesStoreの説明画面
・アンケート／テスト
・「ここに○枚のカードを用意しました．いまからこのカードに書いてあることをアプリ・撮影器具 に入力していただきます」
ーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーー
カードの例：○○○を￥3,000で購入した，￥5,000の小遣いを貰ったetcする)

a

入力ミスの削除

・情報提示カード>>購入リスト
4.3 タスクについて(※インタビュアが聞き取りで確認初期設定をするb

ユーザビリティテストアウトライン最終更新2012/10/03ユーザビリティテストアウトライン最終更新2012/10/03
ユーザビリティテストアウトライン最終更新2012/10/03

ーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーー
テスト概要・「(iTunesStoreの画面を見せる)この説明を読んでなんとなくどんなアプリなのかイメージしてみてください」
5．事後インタビュー&アンケート
評価対象
スマートフォン用貯金支援アプリ
CEMPEI式貯金(通称せんちょ)「このアプリでどんなことが出来そうですか？」・アプリを触ってみた率直な感想は？

・貯金しているか可能ならば4.2で使う

・スマートフォン歴はどれくらいかb「実家に帰ったら『何か美味しいものでも食べなさい』と￥5,000貰いました」
・スマホアプリに求めるものは何か■スタート：メインページ
ーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーー□ゴール：収入が画面下部に記録される(グラフ全体の割合が少し大きくなる)

お金を使いました

3．事前説明・「これから実際にスマートフォンを操作していただき，アプリケーションの評価に協力
c「(購入リストを提示する)この出費は我々の記入ミスですので削除してください」
してもらいます．普通にいつも通りの感覚で操作を行っていただきたいと思います」■スタート：メインページ
・「今回我々がテストするのはアプリそのものであって，決して(被験者)さんではありま□ゴール：出費がログから消去される(グラフの赤部分が減る)

先日の飲み会の代金は￥4,000ではなくせん．ですからもし操作を失敗したり，途中で分からないことが出てきても気になさらないでください」
d「うっかり出費の入力を忘れていて，お財布の中身とアプリの残金が合わなくなってし・「できれば，アプリを使いながら思ったことを口に出して頂けると，とても参考になりまいました」
ます．例えば，これから何をしようとしているのか，なぜそうしようと思うのか，など教■スタート：メインページ
えてください」□ゴール：残金が適切な値になる(グラフに反映される)
・「途中で何か質問がある場合，尋ねて頂いても結構ですが，今日はユーザーの方が一人で操作するとき，どんな振る舞いをするのかを確かめたいと思っておりますので，質問によってはお答えできない，もしくはしない場合があります」￥3,500でしたーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーー

収入の入力が残金表示を合わせる

4．タスク実行観察
4.1 アプリケーション説明文の提示

図2：ユーザビリティテストアウトライン

財布の中身とアプリの表示が合わなくなりました．
財布の中身は￥52,970です※ a. ユーザーが迷わず操作できるか
b. アプリを使用する際に必要な概念や用語を理解してもらえるか

参考文献：「アジャイル・ユーザビリティ」樽本徹也，オーム社，2012（Cについては事後インタビューで聞き取り）

Copyright © 2012 Rinsuke Agenosono All Rights Reserved.

図3：AppStoreを模した疑似画面

Copyright © 2012 Rinsuke Agenosono All Rights Reserved.

78※

プロトコルの作成と分析

DIYユーザビリティテスト実施の様子※ユーザーの行動と発話を記録したもの

図5：録画される映像
図4：テスト実施の様子
Copyright © 2012 Rinsuke Agenosono All Rights Reserved.

9

結果：タスクの達成状況
被験者＝アプリのターゲットユーザー▶

ユーザビリティ上見直すべき箇所をタスク

1

初期設定をする
リストをもとに出費を入力する

ログから先の入力を削除する

4

収入を入力する

5

調整機能を使って，所持金とアプリの残金表示を合わせる!
○

△

○

△

△

△

○!
○!

○!
○!

!
○!
○!

7つ，1つ，抽出することができた
問題点の一例

被験者A 被験者B 被験者C 被験者D 被験者DNo

10

開発者が気づいていなかった問題を

表3：タスク達成状況一覧

3

Copyright © 2012 Rinsuke Agenosono All Rights Reserved.

結果：抽出された問題点
今回はスマートフォンユーザーの大学生

2

図6：プロトコルの一部△「[調整]のボタンを押して残高を入力する」という操作が正しいのだが，ユーザーは[調整]のボタンを○!
○○下部のリストを編集するためのボタンだと捉えたリストからログを削除するためには，該当箇所をスライドさせれば良いのだが，そのことに気づいたユーザーはいなかった○：ユーザーは独力でタスクを達成．無駄な操作や混乱も少ない．
△：ユーザーはタスクを完了したが，無駄な操作や戸惑いが見られた．(またはインタビュアの助言によりタスクを完了した)

図7：ログの削除と調整機能に関する画面!：ユーザーは独力でタスクを完了できなかった．(またはインタビュアが完了できないと判断した)

Copyright © 2012 Rinsuke Agenosono All Rights Reserved.

11

Copyright © 2012 Rinsuke Agenosono All Rights Reserved.

12

今後の課題▶

▶

抽出した問題点を開発チームへフィードバックする抽出された問題を解決することでユーザビリティが向上するか検証する▶

解決策に施したものに対し，再度同様のユーザビリティテストを行う

設定したテストケースが妥当だったか確認する・タスク
・ユーザーに提示する情報

Copyright © 2012 Rinsuke Agenosono All Rights Reserved.

13