テスト設計コンテスト’16
決勝戦 発表資料
チーム名：てすにゃんメンバ：なかはら、えのき、ふじわら、ありま、おーだん

1

チーム紹介 てすにゃん とは…
誰も同じ所属ではない有象無象の野良猫テスト傭兵部隊。
関西のソフトウェアテスト関連のイベントのつながりで集いました。

ふじわら

えのき

おーだん

なかはら

某組み込み系のソフト屋

OSSのQA担当

何でも屋 テスト担当

某組み込み系のテスト屋

ありま
某組み込み系のソフト屋

今回は、第三者検証企業のテストチームとして、提示されたテストベースを元にソフトウェアテスト設計提案を行う！てすにゃん テストせっけいコンテスト’16

2

発表の流れ
コンセプト

1

テスト
要求分析書

テスト方針

2

ポイント

3

テスト
アーキテクチャ
設計書

テスト
要求分析
テスト
アーキテク
チャ
設計ポイント5

テスト詳細設計書

4

テスト
ベースてすにゃん テストせっけいコンテスト’16

テスト
詳細設計・実装

ポイント

7

6

3

コンセプト『お客様の企業(経営)理念・戦略に沿ったテストを実現します』てすにゃんの立場は、第三者検証会社として、お客様であるベンダ企業の企業(経営)理念・戦略に沿ったテストを実現することが、一番の価値だと考えました。
そのために…
一つ、私たちは企業(経営)理念・戦略およびビジネス価値を把握することにこだわります。
二つ、私たちはテストする製品を理解することにこだわります。

1 2 3 4 5 6 7てすにゃん テストせっけいコンテスト’16

4

お客様の企業(経営)理念・戦略【経営理念】

・社会とともに発展
・音楽がもつ根源的な価値を具現化＆普及

ビジネス価値の具体化てすにゃんのテストスコープ

カラオケユーザーの価値【経営戦略】

・心から音楽を楽しんでもらう→最高レベルカラオケシステムの開発
・音楽に対する多様な社会のニーズに応える→多様な世代に対するきめ細やかなシステム
およびサービスを迅速に開発し、提供する（特に高齢者向けのシステム)

1 2 3 4 5 6 7てすにゃん テストせっけいコンテスト’16

5

テスト方針テスト方針① リスクベースドテスト➁ ユーザーストーリーテスト➂ ユーザビリティテスト④ 探索的テスト

1 2 3 4 5 6 7てすにゃん テストせっけいコンテスト’16

6

プロセス概要
TRA-01
テスト
要求分析書

TAD-01
テスト
アーキテクチャ設計書

TDD-01
テスト詳細
設計書

テスト
要求分析
テスト
アーキテク
チャ
設計

テスト
詳細設計

テスト
ベース
TB-01～06

1 2 3 4 5 6 7てすにゃん テストせっけいコンテスト’16※以降の工程は、提案が採用時に検討する。

7

プロセス詳細(テスト要求分析)
何を、誰のために、何故テストするかを理解する
1

245

3

1 2 3 4 5 6 7

6てすにゃん テストせっけいコンテスト’16

8

テスト要求分析のポイント
1 【競争戦略の理解】
テスト方針において、お客様である企業の競争戦略は大きく影響を受けるため、下記の内容についての把握を行った。これにより、テストの範囲及び方針についての明確化を図ることができた。

製品群開発• ビジネス戦略• 製品戦略• 開発方針スクラム開発への移行

1 2 3 4 5 6 7てすにゃん テストせっけいコンテスト’16

9テスト要求分析のポイント
2 【ステークホルダー分析】
本テストの発注者である通信カラオケシステムメーカーに納得していただくテストを実施するために、まず通信カラオケシステムメーカーに関連するステークホルダーの洗い出しを行った。
これにより、価値を提供するユーザー群を洗い出すことができた。

No カテゴリ
1 ユーザ

ステークホルダー
カラオケボックス
利用者
ナイト店利用者

説明
関心事項
カラオケボックスで通信カラオケを利 製品使いやすさ、曲の豊富さ、音の良用する人。
さ、その他サービスの良さ
2 ユーザ
ナイト店で通信カラオケを利用する 製品使いやすさ、曲の豊富さ、音の良人。
さ、その他サービスの良さ
3 ユーザ
その他の場所利用者 宿泊施設、介護施設の利用者
製品使いやすさ、曲の豊富さ、音の良さ、その他サービスの良さ
4 オーナー
カラオケボックス
カラオケボックスのオーナー
製品の頑丈さ、運用コストの安さ
オーナー
5 オーナーナイト店
バー・スナック・クラブのオーナー
製品の頑丈さ、運用コストの安さ
オーナー
6 オーナー
その他の場所
宿泊施設、介護施設のオーナー
製品使いやすさ、曲の豊富さ、音の良オーナー
さ、その他サービスの良さ
7 サプライヤー 機器提供者
機器の販売を行う。
製品の品質、多品種提供
また、サプライヤー機能のテストを行う。
8 サプライヤー サービス運用者
機器の運用および保守を行う。
製品使いやすさ、インフラ設備また、サプライヤー機能のテストを行う。
9 サプライヤー 経営者
機器開発でのビジネスを行う。
開発・テストコストの削減、多品種生産(メーカー)
10 サプライヤー 開発チーム
機器の開発を行う。
新規技術の取り込み、高品質製品の開(メーカー)
発
11 サプライヤー 第三者テストチーム 開発チームとは、別にシステムテス 不具合の摘出、仕様の理解、テスト手法(メーカー)
ト、受け入れテストを行う。の開発製品においては、映像パターンの豊富さ、音の良さ、使いやすさが重要な関心事であることも分かった。

1 2 3 4 5 6 7てすにゃん テストせっけいコンテスト’16

10

テスト要求分析のポイント
3 【市場・財務分析】
機器提供者(ここでは、第一興商 様とする)の財務状況およびカラオケ業界に対する市場傾向を把握するため、インターネット文献調査を行い、結果をまとめた。

3 【実機調査】
通信カラオケシステムの利用構成及び手順を把握するため、実機調査を行った。

(通信)カラオケシステムの過去不具合一覧ｃ

ナイト店市場
エルダー市場3 【過去不具合調査】
通信カラオケシステムに対する重大な不具合(=欠陥)を把握するため、インターネット文献調査を行い、過去に発生した不具合をまとめた。
No1

不具合内容
対象機能 現象
カラオケの利用券を購入したのに歌が歌えない
通信

2

音操作

マイク音の遅延が発生する

3
4
5
6
7
8

採点ゲーム
表示
音操作
電源
採点ゲーム
表示

ピアノロールが正しく表示されない
歌詞が読み仮名しか出ない
近隣部屋のスピーカーから自分の声が流れてしまう
稼働中に急に電源オフになる
採点結果が送信されない
曲再生中の「リクエストNo.」予約時に画面が正常に表示されない

JASRAC1 2 3 4 5 6 7てすにゃん テストせっけいコンテスト’16

11

テスト要求分析のポイント
3 【機能要求関連分析：変更影響分析】
SW機能とHWの入出力関係を俯瞰するため、各テストベースのバージョン毎にソフトウェア機能の観点で機能要求関連分析を行った。これにより、テストベースにおける変更点も明確になり、不明確な部分の洗い出しも行うことができた。

1 2 3 4 5 6 7Ver 1.0

Ver 1.1てすにゃん テストせっけいコンテスト’16

整理版

12

テスト要求分析のポイント
3 【テキスト差分分析分析：変更影響分析】
ASTER通信カラオケシステムソフトウェア要件
定義書のVer 1.0とVer 1.1に対して、変更影響分析として、テキスト差分分析を行った。これにより、テストベースにおける変更点が明確になり、不明確な部分の洗い出しも行うことができた。

322

総変更行:行
誤記修正が多かった。

変更量が多い機能をリスクとして見る

1 2 3 4 5 6 7てすにゃん テストせっけいコンテスト’16

13

テスト要求分析のポイント
3 【テストベースへの提言書】
これまでの分析結果から明示的なテストベース(TB-01～TB06)に対する提言をまとめた。
また、この提言は、テストアーキテクチャ設計のプロセスにおいて得た提言も記載している。

分析の結果
1. テストベース記載が不明確で煩雑になっている
2. SW機能とHW入出力の関連が見えにくい
3. ソフトウェア要件の妥当性が判断しにくい

ユーザーストーリー
一覧
4つの懸念表提言
要件の曖昧さにより、暗黙的な仕様要因による欠陥が作りこまれてしまうリスクが非常に高い状態である

SW機能
×HW入出力関連表

変更影響
分析結果

⇒てすにゃんとしては、ソフトウェア要件定義書段階でのリスク低減策として、「レビューと開発へのFB」 「探索的テスト実施」を行うてすにゃん成果物

1 2 3 4 5 6 7てすにゃん テストせっけいコンテスト’16

14

テスト要求分析のポイント

1 2 3 4 5 6 7030

本体、リモコン外部機器から楽曲予約できること
曲番号、検索結果、履歴から楽曲予約できること
楽曲予約する曲が20曲以内であること
カラオケシステムが営業状態であること
カラオケユーザーが楽曲予約の際に外部機器の操作に迷わないこと
備考 各ストーリーとの組み合わせも考える。(てすにゃん要望)

http://keio-marke.com/_userdata/m2012amusement.pdf

ユーザーストーリー(エピック)【ユーザーストーリーの一例（ユーザー：カラオケボックス）】
すずきじろうのケース～週末開店直後に男ばかり友達グループと5人でカラオケボックスに行く～
じろうさんのカラオケに対する価値
友達と楽しい時間を過ごす
土曜

行動（概要）

13時～17時

カラオケ

ユーザーストーリー(要求単位)○該当する製品の各利用者(この節のみ、ユーザー) の製品における価値を明確にするため、対象となる具体的なユーザーをペルソナスケッチとして作成し、そのユーザーのユーザーストーリー(エピック)を作成した。これにより、ユーザーにとっての製品への関わりが明確になり、優先して取り組むべき製品の開発およびテスト対象を導き出すことができた。

予約

UserStory No (US-xxx)＜役割＞としてカラオケボックス利用者＜機能・性能＞ができる
楽曲が予約できる
それは、＜ビジネス価値＞のためだ
歌いたい/今歌っている人を邪魔することなく歌う準備する
受け入れ基準 楽曲予約を受けた順に楽曲予約した曲が流れること

ユーザストーリーの選定背景

カラオケシステムが関与する箇所

4 【ペルソナスケッチ＆ユーザーストーリー】

行動（詳細）
受付する。時間（フリータイム）と人数（5人）を選ぶ。
（DAM機の部屋に入室）
マイクとリモコンを受け取る。
部屋に入る：照明を暗くする
飲み物を注文する（内線電話）
飲み物は別会計。代金はまとめて最後に支払う。
リモコンで新曲を探す（リモコンにて、”最近のヒット曲”ボタンから検索する）
ただし、歌うのは来てから歌い始める（歌唱中に店員が途中で入ってくると恥ずかしい）
飲み物が運ばれてくる

マインドメータ

自分から歌いだす（まずブルーハーツを歌う）
他人が歌うリモコン、目次本2冊の両方を使って検索＆予約する（歌唱曲を思いついた人から順に予約する）
複数人がリモコン or リモコンで同時に予約■■■■■■
■■■■■
■■■■■

○
○
○

■■■■■

○てすにゃん テストせっけいコンテスト’16

マインドメータの変化が■■■■■■■■■■■■■■■■■■○■■■■■■■■■■■■■

15

テスト要求分析のポイント
6 【テスト範囲・方針の決定】
下記の結果から、本開発におけるてすにゃんのテスト範囲・方針を決定した。
••••競争戦略
ステークホルダー
現状のプロダクト
ビジネスリスク

テスト対象：カラオケボックス ステークホルダー

テスト方針：リスクベースドテスト
ユーザーストーリーテスト
ユーザビリティテスト
探索テスト

1 2 3 4 5 6 7

本開発でのテスト範囲てすにゃん テストせっけいコンテスト’16

16

プロセス詳細(テストアーキテクチャ設計)
いつ、どこをどのようにテストするかを決める
12

1 2 3 4 5 6 7てすにゃん テストせっけいコンテスト’16

17

テストアーキテクチャ設計のポイント
1 【アーキテクチャ記述手順書】

テスト設計要求からテストアーキテクチャで表現する項目を策定した。

1 2 3 4 5 6 7てすにゃん テストせっけいコンテスト’16

18

テストアーキテクチャ設計のポイント
2【ユーザーストーリーテスト概要】

今までのテスト要求分析の結果から、ユーザーストーリーのテストを以下のタイプに分けて実施する。
・ユーザーストーリーで構成するテストタイプ
1. スクリプトテスト• 網羅的にテストを行う
2. 探索的テスト• ピンポイントにテストを行う
3. ユーザビリティテスト• 開発チーム内部での相互に被験者となって行う• ストーリー単体での使用性を確認する
4. ストーリー組み合わせテスト• ストーリー組み合わせでのテストを行う• 結合していくことで、システムテストとする
5. 対象ユーザーのユーザビリティテスト• 既定した対象ユーザーによる使用性を確認する
補足：ユーザーストーリー以外のテスト
1. 欠陥修正確認、欠陥影響確認テスト
2. 回帰テスト

1 2 3 4 5 6 7てすにゃん テストせっけいコンテスト’16

19

テストアーキテクチャ
2

1 2 3 4 5 6 7てすにゃん テストせっけいコンテスト’1620

テストアーキテクチャの振る舞い
テストアーキテクチャ

スプリント毎に実装される
ユーザーストーリー

テストアーキテクチャは、実装されるユーザーストー
リー・開発段階によって振る舞いを変えていく。
Ex.修正確認テスト、回帰テストの実施、ストーリー組み合わせテストの実施などの有無

1 2 3 4 5 6 7てすにゃん テストせっけいコンテスト’16

21

プロセス詳細(テスト詳細設計)
どこをどのように、どれだけテストするかを算出する
2

1

3

1 2 3 4 5 6 7てすにゃん テストせっけいコンテスト’16

22

テスト詳細設計のポイント
1 【テスト詳細設計の考え方】スクリプトテスト、探索的テストについて、受け入れ基準への品質リスクによるテスト仕様作成方法を策定した。
これにより、ユーザーストーリー毎に対する品質リスクを検討し続け、欠陥を発見するテストケースを作成できる。
テスト詳細設計範囲

スクリプトテスト

1 2 3 4 5 6 7

ユーザビリティテストてすにゃん テストせっけいコンテスト’16

探索的テスト23

テスト詳細設計のポイント
2 【テスト実施の効率化】

データテストTDD No. ビジネス価値スクリプトテスト(網羅テスト)を実施するには、時間が掛かることが課題になる。
そのため、各ストーリーの品質リスクに対するテスト方法(技法)を導出しテストグループとしてまとめた。
これによりテスト実施の効率化を図る。

001-002004-002

テストグループ
機器テスト
TDD No.ビジネス価値
021-003 歌唱中の楽曲を早送りし、次の曲を早く歌う
022-003 歌唱中の楽曲を手前に戻し、もう一度歌い直す
024-003 サビだけを歌いたいため

009-004
010-006
010-009017-010018-010034-005034-007041-001
030-003 歌いたい/今歌っている人を邪魔することなく歌う準備する
041-004034-004 次に自分が歌う順番なのか確認する
TDD No. ビジネス価値
041-006
001-005034-006
楽曲演奏を聴きながら、歌を歌う

リスク指数

楽曲を歌うため

12

楽曲のイメージに浸って、歌を歌う

13

音楽メーカーがカラオケボックスユーザに対してCDを販促する

11

歌いたい曲の歌詞を覚えなくても正しく歌える

12

歌いたい曲の歌詞を覚えなくても正しく歌える

12

楽曲を適度な速度に変更し、歌いやすくする

13

楽曲を適度な音程に変更し、歌いやすくする
7
次に自分が歌う順番なのか確認する
5
次に自分が歌う順番なのか確認する
5
うまく歌えたかを見て練習するため
境界値テスト
14

13

リスク指数

11
11
15

うまく歌えたかを見て練習するため
11
うまく歌えたかを見て練習するため
11

リスク指数

1115

042-003015-001
うまく歌えたかを見て練習するため
046-001 自分が歌った動画を他の人と共有して楽しんだり、一般に公開して楽しむ①歌唱準備できた状態で歌い始める②歌唱準備できずに楽曲が演奏開始した場合でも、再度歌い直せる
9043-001
015-002
うまく歌えたかを見て練習するため
061-001①歌唱準備できた状態で歌い始める②歌唱準備できずに楽曲が演奏開始した場合でも、再度歌い直せる

715
715

自前で用意した動画などを表示して、カラオケボックス利用者に宣伝する
10
043-003015-003
うまく歌えたかを見て練習するため①歌唱準備できた状態で歌い始める②歌唱準備できずに楽曲が演奏開始した場合でも、再度歌い直せる
043-004 操作/設定テスト
015-004
うまく歌えたかを見て練習するため①歌唱準備できた状態で歌い始める②歌唱準備できずに楽曲が演奏開始した場合でも、再度歌い直せる
No. ビジネス価値
043-005
016-001TDD歌唱中の楽曲を途中で終了し、次の曲を早く歌う
うまく歌えたかを見て練習するため
008-001
雰囲気、振り付けを楽しむため
058-006
016-002

歌唱中の楽曲を途中で終了し、次の曲を早く歌う歌うときに読むのに詰まらないため
016-007013-003
歌唱中の楽曲を途中で終了し、次の曲を早く歌う

8017-009017-011018-002018-006
018-008018-009

1 2 3 4 5 6 7

14
14

8

14
14

14

楽曲を適度な速度に変更し、歌いやすくする

13

楽曲を適度な速度に変更し、歌いやすくする

13

楽曲を適度な速度に変更し、歌いやすくする

13

楽曲を適度な音程に変更し、歌いやすくする

13

楽曲を適度な音程に変更し、歌いやすくする

13

楽曲を適度な音程に変更し、歌いやすくする

13

楽曲を適度な音程に変更し、歌いやすくする

13てすにゃん テストせっけいコンテスト’16

1411

11
8

017-006

715
1415

11

歌唱中の楽曲を途中で終了し、次の曲を早く歌う

ライブ映像など背景映像を楽しみたいからだ
016-005012-002
歌唱中の楽曲を途中で終了し、次の曲を早く歌う
ライブ映像など背景映像を楽しみたいからだ
016-006012-004715

リスク指数

カラオケボックス利用者に様々なお知らせをする
歌唱中の楽曲を途中で終了し、次の曲を早く歌う

雰囲気、振り付けを楽しむため
016-003008-002
歌唱中の楽曲を途中で終了し、次の曲を早く歌う
ライブ映像など背景映像を楽しみたいからだ
016-004012-001

15

1215

次に自分が歌う順番なのか確認する
042-001009-002
うまく歌えたかを見て練習するため
035-001 楽曲予約する際に、事前に歌いやすい曲に設定する音楽メーカーがカラオケボックスユーザに対してCDを販促する
11

14

・・・

24

テスト詳細設計のポイント
2 【探索的テストの事前分析結果 インプット】
ユーザーストーリーにおける探索的テストは下記を対象に実施する。これにより、事前に欠陥が発見しやすい箇所からテストを行うことができる

1.

変更された箇所：変更影響テスト
テキスト差分分析結果、機能要求関連図2.

曖昧な箇所：懸念解消テスト
四つの懸念表(レビュー項目にロジックブランチの考え方を適用したもの)

1 2 3 4 5 6 7てすにゃん テストせっけいコンテスト’16

25テストアーキテクチャ 完成版

1 2 3 4 5 6 7てすにゃん テストせっけいコンテスト’16

26

以上で発表を終わります。
ご清聴ありがとうございました。てすにゃん テストせっけいコンテスト’16

27