無理なく、筋が通るようにしたら、テスコンで2連覇できた件

株式会社 豆蔵 西尾泰彦

©2023 Mamezou Co., Ltd.

1

会社および自己紹介◼ 名前◼ 西尾 泰彦（にしお やすひこ）
採用
強化中◼ プロフィール
◼ 大学院博士課程修了（ソフトウェア信頼性工学。博士（工学））◼ 電機メーカーで13年、ソフトウェア品質保証（QAテスト、フィールド保証、マネジメント）業務に従事◼ モデリングツールベンダで3年半弱、開発支援、コミュニティ活動、セキュリティ研究員に従事◼ 現職では、テスト・品質のコンサルティング。セーフティ＆セキュリティのコンサルティング、MBSE導入のコンサルティング等に従事©2023 Mamezou Co., Ltd.

2

本日お伝えしたいこと

テスト設計コンテスト（以降テスコン）初参戦時は結果が伴わなかったものの、その後２年連続で優勝できました。
優勝を勝ち取るに至ったちょっとした工夫 “無理なく、筋が通る”について、 お伝えします。

©2023 Mamezou Co., Ltd.

3

目次
◼ テスコン初挑戦◼ 上手くいかなかった現実◼ どう乗り越えたのか◼ 無理なく、筋が通るようにまとめよう◼ さいごに©2023 Mamezou Co., Ltd.

4

テスコン初挑戦©2023 Mamezou Co., Ltd.

5

テスコン初挑戦◼ 3年前、私たちは、自身のスキルアップ、プレゼンス向上を目的に、かなり意気込んで、テスコンに挑みました

ソフトウェアエンジニアリングの知見を活かすぞ！

対象を、良い感じにモデリングするぞ！

システム開発のように、ステークホルダの要求を網羅した、実現可能なテストケースを作る事例を発信したい！

入賞、優勝の暁には、テスト設計の実力があることを示し、多くのプロジェクトで、仕事の幅を広げられれば最高！

◼ しかし・・・。
©2023 Mamezou Co., Ltd.

6

上手くいかなかった現実©2023 Mamezou Co., Ltd.

7

上手くいかなかった現実◼ しかし、意気込むあまり、テスト設計成果物をうまくまとめられず、決勝5チーム中5位と、とても優秀なテスト設計とは言えない状況でした

結果： 5位・・・。

◼ いただいた指摘をまとめると・・
テストコンセプトをステークホルダが理解できないテスト文書が体系だっていない©2023 Mamezou Co., Ltd.

要求分析、設計手法が体系だって行われていない

8

どう乗り越えたか©2023 Mamezou Co., Ltd.

9

どう乗り越えたのか（1/2）◼ 問題点を整理いただいた指摘

対応策

現状の問題点①計画・ドキュメント体系

何をテストするのか？
改めて考えたらテストコンセプトをステークホルダが理解できないどうする？

テスト要求分析が体系だっておらず、発散してしまっていた

ドキュメント体系：
ドキュメントの責務とつながりを明確にしようと考えた

何をテストするのか？
改めて考え
たら②スコープ、観点何をテストするのか？
改めて考えたら要求分析、設計手法が体系だって行われていない何をテストするのか？
改めて考えたらテストの計画：
利害関係者が納得しやすい、一般的な表現方法を考えたどうする？

テストのスコープ(テスト対象モデル・機能)、観点が、実現出来そうかよく考えられてなかった

テストのスコープ（テスト対象モデル・機能）：テスト対象モデルは、テスト対象が、何をするものかわかればOKと考えた
テストのスコープ（テスト対象モデル・機能）・観点：
今回テストする機能、観点を絞ろうと考えた
テストの観点：
テスト観点の考え方は、機能観点中心と限定しないように考えた③テストのアーキテクチャどうする？

テスト文書が体系だっていないどうやってテストするのか？改めて考えたらテストの順番を並べただけで、テストアーキテクチャが十分でなかった©2023 Mamezou Co., Ltd.

テストアーキテクチャ：
テスト観点を要件にテストケースを実現（設計）するつもりで考えた
テストアーキテクチャ：
UMLだけでなく、マトリクス等、様々な視点で構造を表そうと考えた
10

どう乗り越えたのか（2/2）◼ 前ページの対応策を、テスト設計・実装のプロセスに当てはめ、無理なく、筋が通るように解いていきました
補足：2021～2022で異なるテストプロセスを採用したが、各年のプロセスで共通する考え方を表現したもの何をテストするのか？

テストの計画・ドキュメント
体系

テストベース

どうやってテストするのか？

テストのアーキテクチャ設計

テストの要求分析

テストアーキテクチャ

テストの詳細設計・実装

テスト
ケース

何をテストするのか？

テストのスコープ(テスト対象モデル・機能）、観点◼ 以降の章で、無理なく、筋が通るようにするため、テストの要求分析、テストのアーキテクチャ設計で何を考え、どう改善したかをご説明していきます©2023 Mamezou Co., Ltd.

11

無理なく、筋が通るようにまとめよう©2023 Mamezou Co., Ltd.

12

無理なく筋がとおるように：①計画・ドキュメント体系◼ テストの要求分析の改善◼ テスト要求分析を発散させないようにするために、どう考えたか◼ 利害関係者が納得しやすい、一般的な表現方法を考えた◼ テスト全体の目的や方針、スコー プや進め方について◼ ドキュメントの責務とつながりを明確にしようと考えた◼ 目的とコンセプトを書くドキュメント◼ テスト設計の過程を文章にするドキュメント◼ テスト設計の結果を文章にするドキュメント◼ それを絵にするドキュメント◼ どう改善したか◼ 「一般的なテスト計画書からスタート」という基本に立ち返り、改善した◼ ドキュメント体系を、MVCデザインパターンの「モデル（結果の詳細）、ビュー（結果の絵）」の視点でまとめ、改善した©2023 Mamezou Co., Ltd.

13

無理なく筋がとおるように： ①計画・ドキュメント体系◼ テストの要求分析におけるアウトプット（1/3）©2023 Mamezou Co., Ltd.

2021年 決勝
Web公開資料より

14無理なく筋がとおるように： ①計画・ドキュメント体系◼ テストの要求分析におけるアウトプット（2/3）©2023 Mamezou Co., Ltd.

2021年 決勝
Web公開資料より

15

無理なく筋がとおるように： ①計画・ドキュメント体系◼ テストの要求分析におけるアウトプット（3/3）©2023 Mamezou Co., Ltd.

2022年 決勝
Web公開資料より

16

無理なく筋がとおるように：②スコープ、観点◼ テストの要求分析の改善◼ 実現可能なスコープ、観点を、どう考えたか◼ テスト対象モデルは、「テスト対象が何をするものかわかればOK」と考えた◼ 今回テストする機能、観点を絞ろうと考えた◼ テスト観点の考え方は、機能観点中心と限定しないように考えた◼ どう改善したか◼ テスト対象モデル、テスト観点を、パワポ1枚で拡大不要な粒度にして改善した◼ 費用対効果の高い機能に、リソースを投入する旨を明示して改善した◼ 機能観点を網羅するだけでなく、非機能観点においても段階的に品質向上していく過程を絵にして改善した
スコープ：
本発表では、テスト対象モデル、 機能のこととする©2023 Mamezou Co., Ltd.

17

無理なく筋がとおるように：②スコープ、観点◼ テストの要求分析におけるアウトプット（1/5）©2023 Mamezou Co., Ltd.

2021年 決勝
Web公開資料より

18

無理なく筋がとおるように：②スコープ、観点◼ テストの要求分析におけるアウトプット（2/5）©2023 Mamezou Co., Ltd.

2021年 決勝
Web公開資料より

19

無理なく筋がとおるように：②スコープ、観点◼ テストの要求分析におけるアウトプット（3/5）©2023 Mamezou Co., Ltd.

2022年 決勝
Web公開資料より20無理なく筋がとおるように：②スコープ、観点◼ テストの要求分析におけるアウトプット（4/5）©2023 Mamezou Co., Ltd.

2022年 決勝
Web公開資料より

21

無理なく筋がとおるように：②スコープ、観点◼ テストの要求分析におけるアウトプット（5/5）©2023 Mamezou Co., Ltd.

2022年 決勝
Web公開資料より

22

無理なく筋がとおるように：③テストのアーキテクチャ◼ テストのアーキテクチャ設計の改善◼ 十分なテストアーキテクチャにするために、どう考えたか◼ テスト観点を要件にテストケースを実現（設計）するつもりで考えた◼ UMLだけでなく、マトリクス等、様々な視点で構造を表そうと考えた◼ どう改善したか◼ テストシステムのアーキテクチャ（テストスイートの依存関係等）を示して改善した◼ 最適な実行順序を考えるきっかけをつくった◼ テスト対象と、テスト観点の対応関係のマトリクスを元にしたアーキテクチャにして改善した◼ リスクを減らす視点でもアーキテクチャを評価した◼ マトリクスを眺めることで、構造（テストケースの塊、依存関係）が見える絵を導いて改善した©2023 Mamezou Co., Ltd.

23

無理なく筋がとおるように：③テストのアーキテクチャ◼ テストのアーキテクチャ設計におけるアウトプット（1/6）©2023 Mamezou Co., Ltd.

2021年 決勝
Web公開資料より

24

無理なく筋がとおるように：③テストのアーキテクチャ◼ テストのアーキテクチャ設計におけるアウトプット（2/6）©2023 Mamezou Co., Ltd.

2021年 決勝
Web公開資料より

25

無理なく筋がとおるように：③テストのアーキテクチャ◼ テストのアーキテクチャ設計におけるアウトプット（3/6）

2022年 決勝
Web公開資料より
QF：
テスコンのテストベースとなっていたQualityForwadというテスト管理ツールを指す©2023 Mamezou Co., Ltd.

26

無理なく筋がとおるように：③テストのアーキテクチャ◼ テストのアーキテクチャ設計におけるアウトプット（4/6）©2023 Mamezou Co., Ltd.

2022年 決勝
Web公開資料より

27

無理なく筋がとおるように：③テストのアーキテクチャ◼ テストのアーキテクチャ設計におけるアウトプット（5/6）©2023 Mamezou Co., Ltd.

2022年 決勝
Web公開資料より

28

無理なく筋がとおるように：③テストのアーキテクチャ◼ テストのアーキテクチャ設計におけるアウトプット（6/6）©2023 Mamezou Co., Ltd.

2022年 決勝
Web公開資料より

29

さいごに

©2023 Mamezou Co., Ltd.

30

無理なく、筋が通るようにを意識して（1/2）◼ いいテスト設計成果物にすることができました
2022年
１位

2021年
１位

どういうテストをしようとしてるのか、よくわかるようになった

文章の構成、観点、アーキテクチャがよりわかりやすくなった

自動化にスコープを絞ったテストとしてテストスクリプトまで作りきれてる点は良い©2023 Mamezou Co., Ltd.

工学的な考え方や技術を磨き、より一層テストの本質を突き詰めてほしい31無理なく、筋が通るようにを意識して（2/2）◼ 素敵なトロフィー、メダル、賞状もいただきました

2022のメダル
2022年のリボン

2021のメダル

2021年のリボン

2022の賞状

2021の賞状©2023 Mamezou Co., Ltd.

32

さいごに
◼ テスコンで学んだことを仕事で活かせた！成長できた！
◼ 仕事でテストの説明がスムーズに行え、お客様とのコミュニケーションが良好になった◼ ソフトウェア工学の知識に深みが出た◼ 参加メンバからも、勉強になったと言ってもらえた◼ テスト設計に関する知識に加えて、目的を持って対象を分析していくことの面白さを知れた◼ メンバの意見や成果物のまとめ方や見せ方の工夫も学ぶことができた◼ 皆さんも、テスコンに挑戦してみよう！
◼ なぜ？を自主的に考えられる、いい経験ができます

発表は以上です©2023 Mamezou Co., Ltd.

33