テスト設計コンテスト 20172017年2月23日

チーム名：T.B.D
メンバー：森重 丈/柳川 佳慶/上倉 隆明/山本 和弘/小港 省吾/大西 主紗/白井 美貴© 2017 Fuji Xerox Advanced Technology Co., Ltd. All rights reserved.

アジェンダ1. チーム紹介/テスト設計のコンセプト
2. テスト設計の全体プロセス
3. テスト要求分析
4. テストアーキテクチャ設計
5. テスト詳細設計
6. まとめ© 2017 Fuji Xerox Advanced Technology Co., Ltd. All rights reserved.

1

1. チーム紹介/テスト設計のコンセプト© 2017 Fuji Xerox Advanced Technology Co., Ltd. All rights reserved.

2

1. チーム紹介/テストポリシー
チーム紹介
チーム名：T.B.D（とりあえず、バグ、出しとく？）
メンバー構成 ：テスト業務経験1～4年の若手7名
テストポリシー
テスト対象製品のユーザー要求を満たし、ユーザーが利用し続けられること
対象製品
ターゲット

：話題沸騰ポット（電気ポット）：未就学児および小学校低学年程度の子供のいる利用環境（e.g.家庭、保育園、小学校など教育施設）
担当：システムテスト※温度制御機能は温度制御専門チームが担当のため、対象外とする。

© 2017 Fuji Xerox Advanced Technology Co., Ltd. All rights reserved.

3

2. テスト設計の全体プロセス© 2017 Fuji Xerox Advanced Technology Co., Ltd. All rights reserved.

4

2. テスト設計の全体プロセス
テスト要求分析：テストすべきこと(要求)の洗い出し＋テスト戦略策定
テストアーキテクチャ設計 ：テストすべきことのまとめ＋全体像設計
テスト詳細設計：テストの具体的な手段の設計© 2017 Fuji Xerox Advanced Technology Co., Ltd. All rights reserved.

5

3. テスト要求分析© 2017 Fuji Xerox Advanced Technology Co., Ltd. All rights reserved.

6

3. テスト要求分析：市場分析
テスト分析

市場情報

市場分析

テストベースユーザー分析

リッチ
ピクチャ

リスク込
ゴールモデルテスト観点出し

テスト観点

アーキテクチャ
設計

機能分析

機能一覧

テスト
アーキテクチャ

詳細設計
仕様問合せリスト(ダミー仕様含む)
テスト
ケース© 2017 Fuji Xerox Advanced Technology Co., Ltd. All rights reserved.

7

テスト
スクリプト例

3. テスト要求分析：市場分析
目的：電気ポット市場において、ユーザの関心などの市場情報を把握する。
子供のヒヤリハット事故「ポットを倒す」: 25 件、「蒸気を触る」:24 件などの事故が多発している。
→「Sマーク認証」を制定。⇒安全性が重視されている。

Sマーク認証
子供の電気ポットによる事故多発のため事故防止策としてSマーク認証の追加基準を制定
参考：電気製品認証協議会（SCEA)
http://www.s-ninsho.com/index.html
http://www.jqa.jp/service_list/safety/topics/topics_safety_65.html
引用：平成25 年度 ヒヤリ・ハット調査「乳幼児のやけどの危険」
http://www.metro.tokyo.jp/INET/CHOUSA/2014/02/DATA/60o2r401.pdf

高齢者からの需要
無線内蔵の電気ポットで高齢者の安否を気遣う「みまもりほっとライン」というサービスが契約者数１万件突破と大好評。
↓・電気ポットは毎日使うため、みまもりサービスに抜擢
・火を使わず安心/安全
引用：象印マホービン株式会社(http://www.mimamori.net/）© 2017 Fuji Xerox Advanced Technology Co., Ltd. All rights reserved.

8

3. テスト要求分析：機能分析
テスト分析

市場情報

市場分析

テスト
ベース

ユーザー分析

リッチ
ピクチャ

リスク込
ゴールモデル

テスト
観点出し

テスト観点

アーキテクチャ
設計

機能分析

機能一覧

テスト
アーキテクチャ

詳細設計
仕様問合せリスト(ダミー仕様含む)
テスト
ケース© 2017 Fuji Xerox Advanced Technology Co., Ltd. All rights reserved.

9

テスト
スクリプト例

3. テスト要求分析：機能分析
目的：電気ポットの機能を把握/整理する。
テストベースより各機能を目的機能ごとにグルーピングし、機能一覧表を作成した。
→テストベースに記載されている機能を目的機能で整理した。

テストベースに記載されている機能A

目的機能

テストベースに記載されている機能B

テストベースに記載されている機能C© 2017 Fuji Xerox Advanced Technology Co., Ltd. All rights reserved.

10

3. テスト要求分析：ユーザー分析
テスト分析

市場情報

市場分析

テスト
ベース

ユーザー分析

リッチピクチャ

リスク込
ゴールモデル

テスト
観点出し

テスト観点

アーキテクチャ
設計

機能分析

機能一覧

テスト
アーキテクチャ

詳細設計
仕様問合せリスト(ダミー仕様含む)
テスト
ケース© 2017 Fuji Xerox Advanced Technology Co., Ltd. All rights reserved.

11

テストスクリプト例

3. テスト要求分析：ユーザー分析
目的：対象製品のユーザーを明確にし、ユーザーの要求を抽出する。
テストベース、市場分析結果を受け、開発現場/利用シーン/販売現場の３つ視点でリッチピクチャを使用し、電気ポットの開発からエンドユーザーが利用するまでの要求を洗い出し、整理した。

テストベース

市場情報○リッチピクチャを選定した理由
自由記述に近い表現方法であることから、スキルレベルの差があっても議論が可能であるため。
© 2017 Fuji Xerox Advanced Technology Co., Ltd. All rights reserved.

12

3. テスト要求分析：テスト観点出し
テスト分析

市場情報

市場分析

テスト
ベース

ユーザー分析

リッチ
ピクチャ

リスク込
ゴールモデル

テスト
観点出し

テスト観点

アーキテクチャ
設計

機能分析

機能一覧

テスト
アーキテクチャ

詳細設計
仕様問合せリスト(ダミー仕様含む)
テスト
ケース© 2017 Fuji Xerox Advanced Technology Co., Ltd. All rights reserved.

13

テストスクリプト例

3. テスト要求分析：テスト観点出し
目的：ユーザー分析、市場分析で出し切れなかったテスト観点を抽出する。
日頃、メンバーが業務で使用している主なテスト観点を元にメンバー内で議論した。
→テストポリシーを受け、以下3つの観点をピックアップした。
「正常機能」、「異常系(エラー)/安全性」、「表示/UI/操作性」

テストポリシー
テスト対象製品のユーザー要求を満たし、ユーザーが利用し続けられること

正常機能
・基本機能が仕様書通りに動くこと
・定義された製品寿命の間、使用可能であること

異常系(エラー)/安全性・エラーを起こした場合、復帰できること・致命的な事故が発生しないこと

表示/UI/操作性
・水位や温度(モード)が正確に表示されること・直観的にわかりやすいデザインであること© 2017 Fuji Xerox Advanced Technology Co., Ltd. All rights reserved.

14

3. テスト要求分析：テスト分析
テスト分析

市場情報

市場分析

テスト
ベース

ユーザー分析

リッチピクチャ

リスク込
ゴールモデル

テスト
観点出し

テスト観点

アーキテクチャ
設計

機能分析

機能一覧

テスト
アーキテクチャ

詳細設計
仕様問合せリスト(ダミー仕様含む)
テスト
ケース© 2017 Fuji Xerox Advanced Technology Co., Ltd. All rights reserved.

15

テストスクリプト例

3. テスト要求分析：テスト分析
目的：それぞれの分析結果より、どのような内容をテストすべきか検討する。
ユーザー分析によって抽出したユーザ要求を「テスト面での要求」、「マネジメント面での要求」に分けて構造的(ゴールモデル)に表現した。

繰り返す

テスト要求

リッチピクチャマネジメント要求
テスト観点
正常機能異常系(エラー)/安全性
表示/UI/操作性© 2017 Fuji Xerox Advanced Technology Co., Ltd. All rights reserved.

16

4. テストアーキテクチャ設計© 2017 Fuji Xerox Advanced Technology Co., Ltd. All rights reserved.

17

4.テストアーキテクチャ設計：アーキテクチャ設計
テスト分析

市場情報

市場分析

テスト
ベース

ユーザー
分析

リッチ
ピクチャ

リスク込
ゴールモデル

テスト
観点出し

テスト観点

アーキテクチャ
設計

機能分析

機能一覧

テスト
アーキテクチャ

詳細設計
仕様問合せリスト(ダミー仕様含む)
テスト
ケース© 2017 Fuji Xerox Advanced Technology Co., Ltd. All rights reserved.

18

テストスクリプト例

4.テストアーキテクチャ設計
目的：テスト全体を表現する。
テスト要求として抽出した、各ビジネス要求につき１つのテストコンテナを作成した。
<構成の狙い>・ビジネス要求単位でテストの実施可否を決めること。
・他チーム(温度制御専門チーム)のテスト領域も記載し、組織における３遊間のテスト漏れを防ぐ。

マネジメント要求マネジメント要求

順番や構造を検討

テスト要求

テスト要求

テストアーキテクチャ

コンテナの粒度を検討© 2017 Fuji Xerox Advanced Technology Co., Ltd. All rights reserved.

19

5. テスト詳細設計

・機能テスト・信頼性テスト(連続稼働)
・エラーテスト・操作性テスト© 2017 Fuji Xerox Advanced Technology Co., Ltd. All rights reserved.

20

5.テスト詳細設計：詳細設計
テスト分析

市場情報

市場分析

テスト
ベース

ユーザー
分析

リッチ
ピクチャ

リスク込
ゴールモデル

テスト
観点出し

テスト観点

アーキテクチャ
設計

機能分析

機能一覧

テスト
アーキテクチャ

詳細設計
仕様問合せリスト(ダミー仕様含む)
テスト
ケース© 2017 Fuji Xerox Advanced Technology Co., Ltd. All rights reserved.

21

テストスクリプト例

5.詳細設計：機能テスト
目的：ユーザーが求める一般的な機能が動作することを確認する。
ユーザーが求める一般的な機能をブレーンストーミングで洗い出し、抽出した項目に対してテストケースを作成した。

給湯

タイマ

ロック

パラメータを洗い出し、それぞれのテストケースを作成

ユーザーが求める一般的な目的機能

テストケース© 2017 Fuji Xerox Advanced Technology Co., Ltd. All rights reserved.

225.詳細設計：信頼性テスト(連続稼働)
目的：ポットの機能を繰り返し利用した際に、メモリリークや他の不具合が発生しないことを確認する。
■設計内容
ポットの状態と操作を確率付き状態遷移として表現⇒ コンセント接続/接続断をそれぞれ始点/終点として統計的テストを出力■ポイント
・各機能の利用率について市場情報を利用することで、ユーザの利用形態に近いワークフローを生成することが可能になる・お湯切れや満水など、単純なエラー動作を含ませることで、連続稼働状況でのエラー動作確認が可能
・テストケースの 操作/操作量/次操作移行条件/操作後期待値 をテンプレート化したことにより、自動化テストが可能© 2017 Fuji Xerox Advanced Technology Co., Ltd. All rights reserved.

23

5.詳細設計：エラーテスト
目的：イレギュラーな状態/操作を想定し、テストケースを作成する。
ユーザー要求より想定されるイレギュラー状態/操作と、大事故へつながるクリティカル・インシデントの2軸でエラーケースを想定し、相互補完しテストケースを作成した。
要求ベース

機能ベース

事故の元となるクリティカル・インシデントを想定

ユーザー要求からイレギュラー状態/操作を想定

クリティカル・インシデント
状態操作対応表

FV表

相互補完
テストケース24© 2017 Fuji Xerox Advanced Technology Co., Ltd. All rights reserved.

24

5.詳細設計：操作性テスト
目的：ユーザー目線での使用性を確認する。
ニールセンの10原則より、テスト対象の使用性について検討した。
→仕様の問題点：仕様問い合わせリストにて問合せ/指摘を実施する。
テストで確認すべき点：機能テストのテストケースに反映し、妥当性を検証する。

仕様問合せリスト(ダミー仕様含む)
テスト
ベース

ユーザーの不満となりうる仕様を指摘⇒品質向上を狙う

仕様の問題点

ニールセンの10原則で検討

テストで確認すべき仕様© 2017 Fuji Xerox Advanced Technology Co., Ltd. All rights reserved.

テストケース(機能テスト)25ユーザーの要求を満たしているかテストで確認⇒品質向上を狙う

6.まとめ本テストではユーザー要求、マネジメント要求を満たすことを重視し、テスト設計を実施した。
しかし、実際にテストを設計してみると上流工程からの流れや思いを下流工程の末端まで反映できず、思うように設計できなかった部分もあった。

マネジメント要求
マネジメント要求

順番や構造を検討

テスト要求

テスト要求

テストアーキテクチャ

コンテナの粒度を検討© 2017 Fuji Xerox Advanced Technology Co., Ltd. All rights reserved.

26

参考文献
本資料作成にあたり、参考・引用した文献は以下の通り。
1. 東京都生活文化局消費生活部生活安全課, 平成 25 年度 ヒヤリ・ハット調査 「乳幼児のやけどの危険」（インターネットアンケート）,
http://www.metro.tokyo.jp/INET/CHOUSA/2014/02/DATA/60o2r401.pdf, 2014.
2. テスト設計コンテスト実行委員会 特定非営利活動法人 ソフトウェアテスト技術振興協会（ASTER)、
NPO法人 組込みソフトウェア管理者・技術者育成研究会 (SESSAME), 「話題沸騰ポット要求仕様書(GOMA‐1015型) 第７版」, 2005.
3. テスト設計コンテスト実行委員会 特定非営利活動法人 ソフトウェアテスト技術振興協会（ASTER),ASTER U30 テスト設計コンテスト テストプロジェクト要求補足書 Ver. 1.0, 2016.
4. 電気製品認証協議会(SCEA), “電気製品認証協議会(SCEA),” 電気製品認証協議会(SCEA), [オンライン].
Available: http://www.s-ninsho.com/index.html. [アクセス日: 2016].
5. 一般財団法人日本品質保証機構, “電気湯沸器（電気ケトル及び電気ポット）に対するSマーク認証の追加基
準のお知らせ,” 2013年. [オンライン]. Available:
http://www.jqa.jp/service_list/safety/topics/topics_safety_65.html. [アクセス日: 2016].
6. 象印マホービン株式会社, “みまもりほっとライン,” 象印マホービン株式会社, [オンライン]. Available:
http://www.mimamori.net/. [アクセス日: 2016].

© 2017 Fuji Xerox Advanced Technology Co., Ltd. All rights reserved.

27

ご清聴頂き、ありがとうございました。

© 2017 Fuji Xerox Advanced Technology Co., Ltd. All rights reserved.

28

Xerox、Xeroxロゴ、およびFuji Xeroxロゴは、米国ゼロックス社の登録商標または商標です。

Appendix.ゴールモデル（マネジメント要求）© 2017 Fuji Xerox Advanced Technology Co., Ltd. All rights reserved.

30

Appendix.ゴールモデル（テスト要求）© 2017 Fuji Xerox Advanced Technology Co., Ltd. All rights reserved.

31

Appendix. FV表© 2017 Fuji Xerox Advanced Technology Co., Ltd. All rights reserved.

32

Appendix. インシデント-状態対応表© 2017 Fuji Xerox Advanced Technology Co., Ltd. All rights reserved.

33

Appendix. テスト要求優先度© 2017 Fuji Xerox Advanced Technology Co., Ltd. All rights reserved.

34

Appendix. 操作性仕様問い合わせ© 2017 Fuji Xerox Advanced Technology Co., Ltd. All rights reserved.

35