結合・総合テストフェーズにおける継続的テスト設計の取り組み

金融システム事業部門
金融システム第五事業本部 証券システム第一部
山口 真 豊田 圭一郎 田辺 紘明
2018/5/25
Copyright(c) SCSK Corporationcontents

1

１．背景
２．課題
３．課題解決～チームで行う継続的テスト設計～
４．活動の成果
５．残課題
６．まとめ

Copyright(c) SCSK Corporation

背景
20xx年x月
不具合件数（ユーザーテスト、本番初期障害）が1.6倍に急増
このままではヤバイ！

約1.6倍

従来
2

発端の案件
Copyright(c) SCSK Corporation

背景
慢性的な課題１．有識者不足による品質確保の難化
視野が広い→サブシステム連携を理解確保が難しい育成は長期視野が深い→業務フロー、法制度に知見あり
有識者

業務経験が長い→案件のポイントをつかむ

視野が狭い→担当サブシステムの理解に留まる
5～6年目の若手

視野が浅い→明確な要件のみ理解
非有識者

業務経験が短い→有識者の発言が理解できない

有識者が形式化したテストシナリオが品質確保の核
このテストシナリオをウォーターフォール形式でテスト
3確保
困難

短期プロジェクト
案件並行稼動Copyright(c) SCSK Corporation

背景
２．有識者の知見を共有できず不具合多発
X案件

独自検証

要件定義まで有識者が実施
以後進行を別担当者（PM）が引継ぎ※PMは非有識者
有識者からPMに知見共有失敗→有効なテストを実施できず

通常案件
有識者がテストシナ
リオ作成
受入テスト前に一定の品質を確保

受入テストで不具合頻発
4

実例

知識・ノウハウテストシナリオ

懸念・モヤモヤ

独自検証

有識者の知見はテストシナリオに
シナリオに表れない部分は有識者が「独自検証」
有識者中心の品質確保
Copyright(c) SCSK Corporation

課題
内容

課題
有識者の暗黙知[1]を共有出来ず⇒形式知[1]化の失敗

暗黙知

形式知

暗黙知共有

PMは有識者から仕様について情報収集
有識者の暗黙知を共有できず、テストケース不十分により本番障害検出

知識・ノウハウ懸念・モヤモヤ

原因

詳細

PM一人で情報収集

一人で暗黙知→形式知の作業をしたため、形式知化に失敗した際に他者によるフォローが難しい
1:1では情報共有量の範囲に限界がある→どうしても担当サブシステ
ムに関する範囲に偏りがち

前提知
識のムラ

[1]知識創造企業，野中育次郎，竹内弘高 翻訳：梅本勝博，東洋経済新報社，ISBN978-4- 492-52081-9
5

Copyright(c) SCSK Corporation

課題解決～チームで行う継続的テスト設計～
有識者の暗黙知を引き出すために「チームで行う継続的テスト設計」を実践
複数人で実施共有
共有

アジャイル型(短期反復型)

共有
共有

閃き・アイデア
6

１．要件定義書、業務フローをINPUTに複数の非有識者が検証項目作成
２．検証項目をテスト関係者間でレビュー→暗黙知を引き出し、チームで共有
３．結果をテスト方針として利用

１．毎日、短時間の情報共有をチームで実施→通称「モヤモヤ会」
２．不具合になりそうな怪しい部分抽出
重点的にテストできるよう、重み付け
３．「モヤモヤ会」の内容を元にテストシナリオは修正・追加する

Copyright(c) SCSK Corporation[2]知識創造企業，野中育次郎，竹内弘高 翻訳：梅本勝博，東洋経済新報社，ISBN978-4- 49252 -081-9

課題解決～チームで行う継続的テスト設計～
X案件の反省を活かし、総合テスト運営を見直し
不具合についてテストシナリオ非有識者中心のテスト設計
業務を分割して、各サブシステムのTLがテスト観点を記載
有識者＋顧客にアドバイスをもらう
TLT
LTL

暗黙知

其の１

毎日実施
短時間(30分/回)

其の2

ブレイン・ストーミング
どのような意見・アイデアをも否定・批判しない
情報収集・共有が目的

顧客
其の3

形式知

7

テスト実施・検証の疑問・懸念点を共有
意見が出やすいようにルールを策定

共有
有識者

テスト観点

モヤモヤ会の設置

テスト
シナリオ

其の4

誰が・どのように実施するかは後々決める
一言から発展
意見・アイデアに参加者からも感想を求め相乗効果を促す
Copyright(c) SCSK Corporation

実施手法～SECI モデルを手本に～[2]①毎日、「モヤモヤ会」を実施。不具合となりそうなところを抽出②優先度、重要度の高いところはテストケースを追加して検証

8

共同化

表出化

モヤモヤ会にて気になっている内容を共有します
参加者はテスト打鍵者、シナリオ作成者、要件定義者、ファシリテーター

モヤモヤ会で出た内容を追加テストケースとして総合テストまたは受入れテスト内で検証します

内面化

連結化

有識者は、テスト状況（テスト実施、検証、不具合内容）を即座に理解します
・不具合を作り込みやすい機能・不足が懸念されるテストケース
有識者は上記のモヤモヤ（＝暗黙知）を抱えます

追加シナリオは他のテストシナリオに応用できないか検討します
使える場合は、総合テストまたは受入
れテスト内で追加テストケースを検証します[2]知識創造企業，野中育次郎，竹内弘高 翻訳：梅本勝博，東洋経済新報社，ISBN978-4- 492-52081-9

Copyright(c) SCSK Corporation

活動の成果QCDの観点で活動結果を比較

実施後案件

実施前案件
超過

コスト

予定通り

延長

UAT期間

予定通り

品質目標未達品質

品質目標達成コスト 会議運営と追加テスト分と一時的なコストは増えたが当初の予算で実施可能な範囲期間 UATで検出される不具合が減っているため、予定通りの期間で終了
9

Copyright(c) SCSK Corporation

活動の成果QCD以外の観点で活動結果を比較

実施前案件

10

実施後案件増えない

有識者

増加

個人に蓄積

ノウハウ

プロジェクトに蓄積低下

モチベーション

上昇

有識者

プロジェクトを通して、非有識者から有識者に成長

ノウハウ

形式化されたケースは後発のプロジェクトでも利用可能に

モチベーション

一人で悩まず、チームで解消、モヤモヤが晴れて大満足
Copyright(c) SCSK Corporation

活動の成果取り組み導入の前後で規模あたりシナリオケース数が増加
当初計画分＋シナリ
オテスト期間中に追加したケースの合計約1.8倍

導入 前
11

導入 後
Copyright(c) SCSK Corporation

活動の成果取り組み導入の前後で規模あたりユーザーテスト、本番初期障害件数の大幅減に成功
ユーザーテスト期間中に当社が検出した不具合を除く約90%減

導入 前
12

導入 後
Copyright(c) SCSK Corporation

活動の成果シナリオテストケース数が多いほど、不具合件数（ユーザーテスト、本番初期障害）が減少する
いずれも規模あたりで補正した数値
導入 前

改善を確認
導入 後

13

Copyright(c) SCSK Corporation

残課題
もう一段階レベルアップするために掲げる課題です
課題

内容

ファシリテーターの育成

暗黙知の具体化・言語化するにあたり、意見の要約、意見を促すといったファシリテーション能力が求められるが、現状ファシリテーションを行えるメンバーも限られている

テスト効率化

この取り組みを継続していくとテストケースが膨大になる（爆発）することが予想される
効率的に取捨選択する方法や自動化等の対策が必要

上流工程の作り込みにも適用

開発メンバーが一番「モヤモヤ」しているのは、仕様が不明確な時期。「モヤモヤ会は」不具合発見だけではなく、作り込みにも適用

14

Copyright(c) SCSK Corporation

まとめ
まだまだ発展途上ではありますが本取り組みのまとめです15

スクラムを意識

ファシリテータの重要性

テスト方針は顧客からも意見を収集
モヤモヤ抽出、重み付けはファシリテータが実施（スクラムマスタ＋プロダクトオーナ！？）→スクラムの一体感、達成感も得られます

簡単に意見が出るわけではない
ある程度の業務知識とメンバーの特徴を理解していないと暗黙知は引き出せない！？
→とはいえ、話しかければ答えてくれます
自分が理解してなくても誰かがフォロー

長期的な視点が必要

テストだけじゃない

追加テストによるメンバの疲労は少なからずあります
だが本番障害の疲労に比べたらかわいいもの属人的なテストからの脱却は1日してならず→共有したノウハウ・知識は次に繋がる筈「モヤモヤ」は、他にもある筈
・開発プロセス・組織成長など表面化していない課題＝「モヤモヤ」は随所に存在！？
→発言の場は案外少なかったりもする
Copyright(c) SCSK Corporation最後まで発表をお聞き頂きありがとうございました。

SCSK株式会社
金融システム第二事業部門
金融システム第五事業本部 証券システム第一部
山口 真（Makoto.Yamaguchi@scsk.jp）
豊田 圭一郎(Keiichirou.Toyoda@scsk.jp)
田辺 紘明（Hi.Tanabe@@scsk.jp）〒135-0061 東京都江東区豊洲3-2-24 豊洲フォレシア○本書の著作権はSCSK株式会社に帰属します。無断転写および本書に記述されたアイディア等の無断流用を禁止します。
○掲載されている社名や製品名は、それぞれ各社の商標または登録商標です。
Copyright(c) SCSK Corporation