A6) テスト設計コンテスト 裏話「テスト設計コンテスト今年の予選の傾向～関係者からのここだけの話！？～ 」

秋谷 勤（東海ソフト/APTJ）
笹瀬 義久（sdtech/Qualis Plus）
吉澤 智美（日本電気）©2017 Association of Software Test Engineering

本日のお題
1. テスト設計コンテストって何？
～テスト設計について復習～
2. 各チームの成果物(提出物)の分析
3. 今年のOPEN予選の傾向と分析
4. 「中の人」からのここだけの話©2017 Association of Software Test Engineering

1．テスト設計コンテストって何？
～テスト設計について復習～

3 ©2017 Association of Software Test Engineering自己紹介• 吉澤智美– 日本電気株式会社– 生まれも育ちも在住も神奈川県– 東京勤務• 主な活動– JaSST東京実行委員、JaSST東京-CEDEC実行委員、東北、新潟、東海、九州アドバイザ– テスト設計コンテスト審査委員、実行委員– ICST2017 Local Arrangement co-chair– JSTQB 運営委員、技術委員
4 ©2017 Association of Software Test Engineeringテスト設計コンテストとは• 目的– ソフトウェアテストを分析設計から行うことを周知し、ソフトウェアテストエンジニアに対する教育の機会を提供する。
– コンテストという形式をとることにより、ソフトウェアテストが創造的な作業であり楽しいということを経験してもらい、若年層及び初級テストエンジニアからベテランテストエンジニアまでテストへの興味を高める。
– ソフトウェアテスト業界における技術開発を競技を通じ、促進する。

• 形式– 全国の地域予選を勝ち抜いたチームが決勝で腕をさらに競う– バグ出しコンテストではない。テスト設計成果物の良さを競うコンテスト– 各チームは共通のテストベースに対するテスト設計を行い、プレゼンテーションを行う

5 ©2017 Association of Software Test Engineeringテスト設計コンテストの今まで
2011

2015

【大賞】めいしゅ館（東海）【湯本賞】奥村 健二（東海）【にし賞】堀米 賢（東京）【優勝】しなてす（東京）【準優勝】TEVASAKIplus （東京）

2012

2016

【最優秀賞】TETTAN（東京）【審査員特別賞】あまがさきてすとくらぶ（関西）【優勝】SASADAN Go （書類選考）【準優勝】しなてす （東京）

2013
【優勝】TETTAN（東京） 2連覇【準優勝】Yuki Da RMA（北海道）

2014【優勝】ＴＦＣ ＫＡ・ＲＩ・ＹＡ （東海）
【準優勝】MKE98（審査委員推薦枠：東海）

2016
従来のOPENクラスに加えU-30クラス新設！
2017年2月23日決勝戦開催
6 ©2017 Association of Software Test Engineeringテスト設計コンテスト テストベース• 2011年～2013年
NPO法人 組込みソフトウェア管理者・技術者育成研究会 (SESSAME)
話題沸騰ポット要求仕様書 (GOMA‐1015型) 第７版• 2014年、2015年
自動販売機プログラム(ASTERオリジナル)• 2016年、2017年
ASTER通信カラオケシステム
http://www.aster.or.jp/business/contest/history.html
http://aster.or.jp/business/contest/rulebook.html#testbase

7 ©2017 Association of Software Test Engineering

2011年～2013年、2017年u-30クラスのテストベース• 「話題沸騰ポット要求仕様書 (GOMA-1015型) 第７版」
• NPO法人 組込みソフトウェア管理者・技術者育成研究会(SESSAME)様 http://www.sessame.jp/

8 ©2017 Association of Software Test Engineering

2014、2015年のテストベース：自動販売機プログラム• 自動販売機プログラム

9 ©2017 Association of Software Test Engineering

2016年、2017年OPENクラスのテストベース• ASTER通信カラオケシステム

10©2017 Association of Software Test Engineering

提出成果物• 成果物１ ： テスト設計の最終成果物：40ページまで– メインの審査対象• 成果物２ ： テスト設計に関わる成果物一式– テスト設計を行う過程• 成果物３ ： アピールシート– 各チーム紹介、狙いなどを表現• 成果物4：プレゼンテーション用資料– プレゼンテーション：20分(発表15分、質疑応答5分)で– 自チームのテスト設計を説明• 当日フロア掲示用資料– 8ページで各チームの特徴、主張を表現
11©2017 Association of Software Test Engineering

審査基準(2017OPENクラス)• テスト要求分析・テストアーキテクチャ設計点(40点)• テスト詳細設計・実装点(30点)• 工程間一貫性点(10点)• 文書点(20点)• 総合点(20点)
http://aster.or.jp/business/contest/rulebook.html#agreement

12©2017 Association of Software Test Engineeringテスト設計コンテストの流れ
チュートリアル北海道、東京、東海、関西、全国書類

参加申し込み予選

北海道、東京、東海、関西、全国書類＋成果物審査
プレゼン審査(予選、決勝とも)

決勝戦
13©2017 Association of Software Test Engineering

2．各チームの成果物(提出物)の分析

14©2017 Association of Software Test Engineering自己紹介• 名前：笹瀬義久• エスディーテック株式会社 品質管理準備室所属• 静岡県西部地区(浜名湖の西岸)出身• 現在は埼玉県和光市在住• 主な活動：• NPO法人ソフトウェアテスト技術振興協会(ASTER) 正会員• テスト設計コンテスト実行委員長(2014年～)• JaSST東海実行委員(～2013年)• システム開発文書研究会(ASDoQ) 個人会員
• テクニカルコミュニケーター協会(TC協会) 個人会員

15©2017 Association of Software Test Engineering自己紹介(2)• 主な業務経歴：• ソフトウェアテスト/品質関連に従事して約12年• うち7年間は組込み製品のQA部門で通信機器、音響機器、アミューズメント機器のソフトウェアテスト全般を担当• 後半は社内品質コンサル的な業務も行う• 2014年より品質コンサルタントとして活動• 2016年10月より現職

16©2017 Association of Software Test Engineering

テスコンに関する統計的データ• テスコンの実行委員として見せられるデータって何？
• 申し込み状況• エントリーチーム数• エントリー種別（企業/学校などのワークス、一般）• 成果物提出状況• 成果物提出時期• 成果物レギュレーションチェック結果 etc
17©2017 Association of Software Test Engineering

テスコンに関する統計的データ(2)• テスコンの実行委員として見せられるデータって何？

• 審査委員のコメント• 出場チームへのフィードバックコメント• 集合審査時の審査議事録

18©2017 Association of Software Test Engineering

テスコンに関する統計的データ(3)以下の統計資料を作成することとしました• エントリーチーム数と出場チーム数の遷移• 成果物のレギュレーション準拠具合も考慮して作成• 成果物提出状況と予選通過の相関• 実際に相関があるかは不明• 審査コメント/議事録の計量テキスト分析• 内容の雰囲気が伝わる程度で参考になれば・・・
19©2017 Association of Software Test Engineering

エントリーチーム数と出場チーム数の遷移• 申し込み状況から• エントリーチーム数と実際の出場チーム数• 更に成果物のレギュレーションを満たさないチーム数• 過去3年分のOPENクラスの予選エントリーデータより作成

20©2017 Association of Software Test Engineering

エントリー数と出場チーム数の遷移
0

5

10

15

エントリー数

提出資料不備

出場辞退数

20

25

テスコン’15

テスコン’16

テスコン’17

21©2017 Association of Software Test Engineering

エントリー数と出場チーム数の遷移

テスコン’15

テスコン’16

テスコン’17

総エントリー数

172014

出場辞退数

253

提出資料不備257

成果物提出率

88.2%

75.0%

78.6%

成果物不備率

13.3%

33.3%

63.6%

22©2017 Association of Software Test Engineering

成果物提出状況と予選通過の相関• そもそも相関があるのか？
• とりあえず以下の指標でやってみました• 成果物提出状況• 提出された成果物のレギュレーション準拠度合い• 成果物提出期限の厳守度合い• 上記2点を数値化して使用• 成果物1(上限40ページ)のページ数• 過去3年分のOPENクラスの予選データより作成
23©2017 Association of Software Test Engineering

成果物の内容/納期と成果物1のページ数

成果物内容/納期

2

100

20

40

成果物１ページ数24©2017 Association of Software Test Engineering

成果物提出状況と予選通過の相関• そもそも相関があるのか？
• どうやら相関がある模様• 成果物提出状況• レギュレーション準拠や納期に対する意識が高いチームは比較的高い評価を受けている• 提出時の事故に対してもリスクを考慮している可能性が高い• 成果物1(上限40ページ)のページ数• 38~40ページで提出したチームは10チームが予選通過を果たしている• 総予選通過が16チームなので6割以上を占めている
25©2017 Association of Software Test Engineering

審査コメント/議事録の計量テキスト分析「KH Coder」というテキストマイニングツールを使って計量テキスト分析を行ってみました。

対象の文書は以下の二つです。
• 出場チームにフィードバックされる審査コメントデータ• 成果物/プレゼンの集合審査時の議事録データ
もちろんチーム名や審査委員名などの固有名詞はマスクしてあります。

26©2017 Association of Software Test Engineering

審査委員コメント

27©2017 Association of Software Test Engineering

集合審査議事録28©2017 Association of Software Test Engineering

審査コメント/議事録の計量テキスト分析
計量テキスト分析からネットワーク図を描いてみて• 出場チームにフィードバックされる審査コメントデータ
対象のチームにもよるが、これからの業務やテスト設計コンテストに活かせるように、比較的わかりやすい言葉で前向きなニュアンスを持つ言葉が多かった• 成果物/プレゼンの集合審査時の議事録データ
各審査委員の審査意図を明確にするために本気で議論されているからか、厳しい言葉も多い
また運営の立場から決勝戦や翌年の話が出ることも特徴

29©2017 Association of Software Test Engineering

3．今年のOPEN予選の傾向と分析

30©2017 Association of Software Test Engineering自己紹介• 秋谷 勤– 東海ソフト株式会社– APTJ株式会社 品質保証部 出向中– 埼玉県出身– 現在は愛知県» 関東→東海と笹瀬さんと逆です• 主な活動– テスト設計コンテスト東海審査員（2016〜）– JaSST東海実行委員(2015～)– JASA中部アジャイル研究会（2013〜）» 2016年会長

31©2017 Association of Software Test Engineering自己紹介(2)• 主な業務経歴– ソフトウェア開発業務を11年くらい» 自動販売機関連開発を8年くらい» 冷熱機器を2年くらい– 後半はSEPG活動やプロダクト改善の面倒を試作から量産まで» 試作品を量産品の品質に上げる– 2015年より» 自動車のPF周りの品質保証およびSEPG活動に従事

32©2017 Association of Software Test Engineering

今年の傾向！
• の前に近年の傾向をお話しします33©2017 Association of Software Test Engineering

近年の傾向！
• 全体的にワンランク上がった！
– 要求分析が固まってきた• 過去のテスコンは要求分析をきちんとしているチームが勝っている• 要求分析の結果を理由とすることでアーキテクチャ設計の良さの説明に筋が通るため

34©2017 Association of Software Test Engineering

近年の傾向！

今年はどうなる？

※2017年は決勝進出チームの予選時のデータ– 秋谷の主観的カウントで行っています35©2017 Association of Software Test Engineering

近年の傾向！
• 2016年から上がっているのはテストベースが変わったから？
• 2016年はそもそも平均も超えていないチームが優勝している• 要求分析が安定してきて、、、• 設計で勝負する時代がきた！

36©2017 Association of Software Test Engineering

今年の傾向！
• では今年の傾向に入ります。

37©2017 Association of Software Test Engineering

今年の傾向！
• 第3者的な立ち位置を想定するパターンが多い• プロセス説明も様々な表現で説明できるようになってきている– 方針と計画とプロセスの切り分けができている• 用語集で自分たちの言葉を定義するチームが増えた

38©2017 Association of Software Test Engineeringテストアーキテクチャの傾向• 最終的には箱と線• 中間成果物はマインドマップや表– それをある法則にのっとり識別してモデル化• 各予選のアーキテクチャ図(らしきもの)を見てみましょう39©2017 Association of Software Test Engineeringテストアーキテクチャの傾向

40©2017 Association of Software Test Engineering

東京予選 Aグループ 紙印テスト倶楽部

41©2017 Association of Software Test Engineering

東京予選 Bグループ わんだーズ

42©2017 Association of Software Test Engineering

東京予選 Bグループ わんだーズ

43©2017 Association of Software Test Engineering

書類予選 モモテツ

44©2017 Association of Software Test Engineering

北海道予選 STUDIO IBURI

45©2017 Association of Software Test Engineering

東海予選 てすにゃんRev2

46©2017 Association of Software Test Engineering

設計にフォーカスがあたることで浮き彫りになったこと• つながりの一貫性– 要求とアーキテクチャ設計– アーキテクチャ設計と詳細設計• 「機能」の抜き出し方– それは本当に機能？仕様書に依存していませんか？
» 仕様書から抜き出すのみ» 仕様書が変わると機能だったものが設定になったりする

47©2017 Association of Software Test Engineering4．「中の人」からのここだけの話

48©2017 Association of Software Test Engineering「中の人」への質問• 自動販売機 テストベースレビューア：秋谷さん• カラオケシステム テストベース 作成：笹瀬さん
への質問です1．実務でどのように製品に関わっていましたか？
2．テストベースをレビュー／提供する時、どの辺を製品通りにしましたか？
また、端折ったところはありますか？

49©2017 Association of Software Test Engineering

会場で聞いてみたいことある方いらっしゃいますか？

50©2017 Association of Software Test Engineering「中の人」への質問：続き
3．テスト設計コンテストでの成果物を見てどう思いましたか？
4．自分たちでテストしていない観点はありましたか？
5．思いもよらないQ&A、その他突込みありましたか？

51©2017 Association of Software Test Engineering

会場で聞いてみたいことある方いらっしゃいますか？

52©2017 Association of Software Test Engineering

今年のテスト設計コンテスト決勝は・・・

2017年2月23日(木)開催！
会場：日本大学理工学部 駿河台校舎7号館
時間：午前10時くらいから(詳細はWebで)• 第一部：U-30• 第二部：OPEN• どなたでも聴講できます• 当日の資料は有償、聴講のみなら無償• お申し込みは↓から(チラシ見てくださいね)
http://aster.or.jp/business/contest.html

多くのみなさまのご参加をお待ちしています53©2017 Association of Software Test Engineering