ソフトウェアテストシンポジウム北海道 2015（JaSST’15 Hokkaido）

画面系ペアテスト(pair testing)の事例報告
多様な視点を入れて探索的テストを実施しよう！
藤村 浩
東京エレクトロン システム開発センター 制御技術部
ポイント
楽しく、多様な視点で不具合検出。試験者の学習効果も期待できます。
キーワード
探索的テスト。第三者的視点。新たな気付き。ユーザビリティ改善。楽しく。
想定する聴衆ソフトウェアテスト（主に画面系）に関わる方

1/6

ソフトウェアテストシンポジウム北海道 2015（JaSST’15 Hokkaido）(1)はじめに・背景■背景
我々の開発では以前より探索的テストを適所で実施しており、・記述されたテストケースを機械的に適用しただけでは到達できない不具合の発見
・不十分と推測される記述式テストの補足
・実装中、または実装完了直後の成果物に対する不具合の早期発見などで一定の成果をあげてきた。また、その重要性はチーム内でも共有されている。
今後も重要と考えている探索的テストの更なる強化・効率化についてチーム内で議論した際、以下のようなコメントがあった。
・案件の仕様検討、実装に係わっていない非開発者に、開発者には無い視点で画面を操作してもらい、新たな不具合を発見してほしい。
・非開発者に実際に画面を操作してもらい、操作上の不備、改善点を指摘してほしい。
・ある機能を複数人でテストしても、もし同じようなテストケースで行われていれば非効率である。
・仕様に詳しくない場合、どう操作したらよいのか分からない。仕様理解のための調査も大変。
・テスト環境の準備に時間がかかる場合がある。
では、「仕様に詳しい人（開発者）とそうでない人（非開発者）の二人一組でテストすると良いのでは？」という提案が出され、ペアテストを実施することとなった。
■「ペアテスト(pair testing)」とは？
二人で一つの試験環境を使い、交互に試験を行うテスト手法
ペアプログラミングのテスト版(2)解決したい課題・問題
上記背景にあるように、我々の開発において探索的テストは重要なアクティビティとなっている。
今後も探索的テストの強化・効率化により、以下のような課題を解決していきたいと考えた。
■課題①

第三者的視点を注入し、新たな不具合を発見したい。

②

また、ユーザビリティの課題も早期に発見したい。

③

テスト環境や機能理解の準備時間を低減したい。

④

今後、長期に渡り保守していく製品となるため、その仕様理解者を増やす教育的機会として活用したい。

(3)課題・問題に対する施策
ペアテストを実施する。
その効果を確認し、改善改良も図る。
■対象案件
・新規画面が追加される（新規性の高い）、中／大規模の案件で、‐多くの不具合混入が予想される案件。
‐実際に操作してみて、ユーザビリティの不備を発見したい案件。
2/6

ソフトウェアテストシンポジウム北海道 2015（JaSST’15 Hokkaido）

・対象案件は四件。
■試験メンバー（各案件別にアサイン）・テスター（二名）
‐開発者
‐非開発者
本トライアルでは、当該案件の開発者本人を知見者としてアサイン。
・記録係（一名）
一件目の案件では不在。テスターが記録係を兼ねるとテストに集中できないため、二件目以降の案件より新たに記録係をアサインした。
■試験時期
・一通りの機能実装の完了後。
■試験の流れ・一方のテスターから画面操作を始める。1 つの画面を見て、ワイワイ話しながらテストする。
・一方のテスターが思いつくテストケースを一通り終えたら操作を交代する。
（特にチャータは用意していない）
・一周または二周したら終了。
・記録係は、どのような操作をして、どのような不具合が発見されたのかを記録する。
■試験時間
・全体で 30 分から 90 分。
■実施結果
□結果 1
グラフ 1 に個人テスト／ペアテスト別の不具合検出率、及びユーザビリティ改善の検出率を示す。
（個人テストとは一人で実施するテスト。また、検出率は 1 時間あたりの検出件数である。）

・不具合の検出率では個人テストがペアテストを上回っている。しかし、ユーザビリティ課題の検出3/6

ソフトウェアテストシンポジウム北海道 2015（JaSST’15 Hokkaido）

率ではペアテストの方が約二倍、効率的であった。
・また、全検出数（指摘数）に占めるユーザビリティ改善の割合は、個人テストは約 10%、ペアテストは約 27%であった。ペアテストでは画面操作中にユーザビリティの不備に気付ける頻度が高い傾向がある。
□結果 2
グラフ 2 にペアテストにおける開発者／非開発者別の不具合（ユーザビリティ改善指摘含む）の検出率を示す。

・開発者に比べ、非開発者のテスターによる検出率が総じて高い結果となった。
□結果 3以下に参加メンバーのアンケート結果、および所感を紹介する。

4/6

ソフトウェアテストシンポジウム北海道 2015（JaSST’15 Hokkaido）*参加者の所感・ワイワイ楽しくテストできて良かった。
・ペアテストは画面のあるソフトウェアで実施し易く、有効的であると感じた。また、試験書に基づく試験の実施前、比較的完成度が高くない時期、実装にすぐに戻れる時期に実施するのが一番効果的且つ効率的と感じた。
・知見が少ない人でも開発者担当者に教えてもらいながらテストできることで、新たな視点を取り込むことができ、不具合を発見できると考えている。
・開発者（知見者）も、事前知識が少ない非開発者の操作・視点を知ることで新たな気付きがある。
・ユーザビリティの改善については、あるべき姿をその場で相談・確認し、即座に提案できるのでとても効率的であった。
・教育的効果も期待できそうである。
(4)特に工夫した点・主張したい点■工夫した点
・非開発者同士の組み合わせでは、機能、及び操作の理解に時間を要し非効率と思われるため、テスターのうちどちらか一方は当該案件の開発者をアサインした。
・当該案件の開発者同士の組み合わせでは第三者的な視点が入り難いと判断し、ペアの対象外とした。
・二案件目より、テスターとは別に記録係を置き、テスターがテストに集中できるようにした。
■主張したい点
5/6

ソフトウェアテストシンポジウム北海道 2015（JaSST’15 Hokkaido）

今回のペアテストは主に新規性が高く、大きめの案件という限定的な対象ではあったが、結果データ
1,2 より以下のような傾向が見えた。
1.

個人テストに比べ、ユーザビリティの改善指摘が効率的に行えている。
ペアで実施することでよく気付き、また不備内容の確認、相談、改善提案が同時に行えるため、大変効率的である。

2.

操作し慣れた開発者では気付けないことに非開発者が気付けている。
期待値や先入観が無いため、テスト対象の挙動が「おかしい」「不自然だ」と気付きやすいと思われる。
「第三者的な視点で不具合やユービリティの改善点を発見したい」という目的については、結果データからも成果が出ているのではないかと考えている。
また、アンケート結果より、多くの参加者が総合的（準備時間低減や教育効果含む）に見て、コストに見合う効果があると感じ、今後も継続してみたいと考えている。
多数の参加者から良い評価、今後の期待を得ることができた。
(5)今後の展開・課題
今回の傾向は、実施案件、及び参加メンバー共に限定的なものであるため、以下の検討・検証が必要と考えている。
・ペアテストに効果的なテスト対象の明確化‐新規／変更、機能内容、規模、他
・テスト時期（効果的なテストフェーズ）
・テスト手順・効果的なテスターの組み合わせ・テスター二人、記録係一人の計三人のコストに見合う成果がコンスタントに出せるのか。
以上。

6/6