JaSST’06 in Osaka

ソフトウェアテストシンポジウム2006 in 大阪

目次
1. はじめに
2. リスク管理活動
3. プロジェクト効果の分析
4. おわりに

高品質ソフトウェア開発のためのリスク管理とその定量的評価
2006.5.11
福島 利彦

連絡先
(株)日新システムズ：fukushima@co-nss.co.jp
12© T. Fukushima

JaSST’06 in Osaka

1. はじめにプロジェクトリスクとは，プロジェクトにとって望ましくない結果を生む可能性を持つものすべて
経験例

ソフトウェアプロジェクトは，・ 要求定義が不明確なまま開発を進めるリスク・ 精度の高いスケジュールを立てられないリスクが内在する． これらのリスクが課題として残っていると，・ テスト観点の低さ，・ テスト期間の圧迫等に繋がり，その結果，低品質ソフトウェアとなる．
 本発表は，プロジェクトの失敗を防止し，高品質ソフトウェアを開発するための，リスク管理を行う方法を示す．
 さらに，重回帰分析を用いて，実際のプロジェクトのデータを定量的に分析することにより，プロジェクト結果に影響を及ぼすマネジメント要因を明確にする方法を提案する．
3© T. Fukushima

JaSST’06 in Osaka

2. リスク管理活動
2.1 プロジェクトのリスク

 スケジュールのリスク

 テスト工程のリスク

・工数根拠の弱いスケジュール
・非現実的なスケジュール
 要求定義のリスク
・新規開発，新技術・品質仕様，成果物定義が曖昧
・受注範囲が不明確
・運用業務の考察不足
 人的要因のリスク
・マネジメントスキル不足
・要求技術を備えた人材の不足
・コミニュケーション不足

・テスト期間が短い
・テスト項目が曖昧
・テスト項目の網羅性が低い
・テスト環境の整備不足

障害の多発！

4© T. Fukushima

JaSST’06 in Osaka

JaSST’06 in Osaka

2.2 リスク管理の方法

2.3 リスクの識別と定量化
リスク計算書でプロジェクトのリスク度を計算

スク管理の目的は，QCD（品質，コスト，納期）に関する・ リスク度＝Σi(識別したリスク項目×項目毎配点)i（最大100点）

ロジェクトリスクの軽減である．
①リスクの識別②リスクの定量化③軽減策導出④リスクの追跡下の４ステップを行う．
① リスク計算書をチェックシートとして用い，リスクを識別する．
② リスク計算書によりリスク度を求め，定量化する．

リスク管理活動レベルの設定
・リスク発生時の重大度を想定し，危険・追跡要・安全の３レベルに評価する．
・ この評価が，リスク管理活動が取り組むプロジェクトの優先順位となる．

リスク度＝Σ（リスク項目ごとの配点） ：最大100点③ リスク評価に基づいて，リスク軽減策を計画する．

④ 開発中は，既存リスクの監視と，新たなリスクの識別を継続 5© T. Fukushima© T. Fukushima

6

質問事項

2.3.1
リスク計算書シ （１）開発規模
ス
テ （２）業務要件
ム
特性 （３）性能要件①機能数が多い、または機能ボリュームが見えない②システム構造が複雑である。または複雑さが見えない①エンドユーザでのシステムの役割を知らない②エンドユーザ機能、オペレータ機能があいまい③ユーザがシステムに要求する品質の重要課題を知らない①性能要件を顧客と合意していない、又は性能を把握していない②性能要件は、社内では実績ない①ユーザ要件に将来拡張があるのに、最大値を記述した文書がない（４）拡張性開 （１）技術基盤
発体
制 （２）開発体制
特性

JaSST’06 in配点
Osaka

①メンバーが経験のない業務、装置に対するシステムである②スキル不足のメンバーがある③メンバーが経験のない技術（OS、パッケージ、開発環境、言語）を含む①プロジェクトマネージャの役割と責任範囲が明確でない②プロジェクトマネージャとしての経験が浅い③品質保証が参画すべきだのに、参画する予算、工期がない④組織に交代メンバーの余裕がない①ｽｹｼﾞｭｰﾙはマネージャが進捗管理できる最少単位に分割されていない②ｿﾌﾄｳｴｱ成果物の規模（枚数、ｽﾃｯﾌﾟ数、ﾊﾞｲﾄ数）が見積られていない①開発環境が不足(ハード発注遅れ、納期遅れなど）②検証環境が不足（ハード発注遅れ、納期遅れなど）①日新システムズ常駐で作業をしない外注者がいる②外部委託の作業内容（作業範囲と成果物）が明確でない③開発ソフトウエアの大半が外部委託である④外部委託先がスキル不足、もしくはその可能性がある（３）ｽｹｼﾞｭｰﾙ（４）資源（５）外部委託顧 （１）工期設定
客 （２）顧客体制
特性①見積時に計画した工期が確保できていない①顧客の仕様決定スキルが不足、又は仕様がころころ変わる②開発中に他工番の割り込みを多発する顧客である③課で納入実績のない顧客である④顧客内でコミニュケーションの不足がある⑤プロジェクト内で、他社、顧客担当分の開発遅れがある

契 （１）見積り
約特性（２）受入検証①未受注である。又は受注範囲と責任境界が明確でない②納入成果物名、内容、納入日が決まっていない③見積りが甘い、または予算が押さえられている④現地調整あるが、見積りに正しく含んでいない又は別見積りにしていない①納品後の顧客受入検証期間と日新システムズの無償保証期間が決まっていない

7

リスク度

© T. Fukushima

3346444230
42224422222244240611211124442418100

JaSST’06 in Osaka2.4 リスク軽減策の導出

スク軽減策は，標準ソフトウェアプロセスに基づいて，スクに対応するプロセスの強化を計画する．
（標準ソフトウェアプロセスは，CMMに準拠して契約プロセス・開発プロセス・マネジメントプロセス・品質保証プロセスを定義（例）要求が曖昧なリスクの場合したもの）
・ 要求仕様書のレビューを計画する．
・ 要求仕様の顧客との早期合意を計画する．
© T. Fukushima

テスト計画／テスト項目／テスト結果のレビュ を計画する

JaSST’06 in Osaka

JaSST’06 in Osaka

2.5 リスクの追跡と監視

2.4.1 ソフトウェア信頼度成長モデルの適用事例
ソフトウェア信頼度成長モデルは，検出フォールト数の成長から安定への推移により，品質を評価する

リスクの監視開発中は，既存リスクの監視と，新たなリスクの抽出のため

指数形ソフトウェア信頼度成長モデル
m (t )=a [1-exp(-bt )]

累積フォー
ルト数

総期待フォールト数=124.2

120
100

QCDの評価
リスク度を再評価する．
リスク軽減策が有効であるか？QCDを評価する．

期待残存フォールト数=13.28060

累積バグ数

40

指数形SRGM
90%信頼限界（下限）00100

200300400
テスト時間（H）

500

600

Qの判定基準： レビュー計画のとおりか？

偏差二乗和=392.1857

90%信頼限界（上限）20Cの判定基準： EVMによるコスト差異が10%以内か？
リスクの発生K-S検定量=0.0583

700

Dの判定基準： EVMによるスケジュール差異が10%以内かプロジェクトが管理限界を逸脱した場合は，リスクが発生している．
9© T. Fukushima

10© T. Fukushima

JaSST’06 in Osaka

JaSST’06 in Osaka

2.5.1 EVM （Earned Value Management) の事例

2.6 リスク管理で経験した課題

EVM は，コストとスケジュールを関連づけて，プロジェクトの完成度を表す指標を提供する．

（１）新規性の高いプロジェクトのリスク評価
初物はハイリスクの決めつけたリスク管理の実施（２）工数見積り精度が低いプロジェクトのリスク評価
契約レビューの実施（３）PMのマネジメント能力が低いと，リスク度は下がらない

進捗グラフ
進捗グラフ
120%
100%

工数

80%
60%

計画工数(PV)40%

実工数(AC)

スケジュール差異，コスト差異，等 を測定し，管理限界（差異ー１０％）で判定する．

リスク度
80
危険域
7060
50
40302010 安全域
0

達成価値(EV)20%

工数期待値(EAC)
0%0%© T. Fukushima

20%

40%

60%

期間

80%

8100%

118/22© T. Fukushima

8/28

マネジメント
能力の低いプロジェクト

9/6

9/19

9/26

10/3

10/10 10/17 10/31

11/712

JaSST’06 in Osaka

JaSST’06 in Osaka

3. プロジェクト効果の分析

3.1 予測モデル式の導出

品質管理部門の活動

重回帰式

リスクの識別，定量化，軽減策

リスクの追跡製品品質 ＝ F (リスク管理,進捗管理,品質保証)
開発コスト＝ G (リスク管理,進捗管理,品質保証)

プロセス品質保証活動

プロジェクト計画レビュー

進捗状況分析 (EVM)

製品品質保証活動

品質保証計画リスク管理活動目的変量 製品品質(Y1)：顧客納入後のフォールト数 開発コスト(Y2)：コスト予実差

テスト信頼性評価

レビュー

説明変量
 リスク管理：開始時リスク度(X1)と，リスク度軽減速度(X2)

品質管理部門の活動とプロジェクトのQCD結果の関係を導き出すために重回帰分析を適用し，予測モデル式を導出する．

（リスク度軽減速度＝リスク度が３０点以下に軽減できるまでの期間/開発予定期間）

進捗管理：規模当りのＥＶＭ分析回数(X3) 品質保証：規模当りのレビュー回数(X4)と，レビュー合格率(X5)13© T. Fukushima

14© T. Fukushima

JaSST’06 in Osaka

JaSST’06 in Osaka

3.1.1 分析データ

3.2 相関分析

実際の１０のソフトウェアプロジェクトから得られたデータ
リスク管理活動
開始時
リスク度

プロジェク
トNo.

X112345678910© T. Fukushima

リスク度
軽減速度

X2

プロジェクト
管理活動
規模当り
EVM回数

X3

X1

目的変量

説明変量
製品品質保証活動
規模当り
レビュー回数

X4

レビュー
合格率

X5

ソフトウェア
製品品質

ソフトウェア
開発コスト

納入後
フォールト数

コスト予実差

Y1

Y2(0～100)(0～1.00)（回/規模）（回/規模）(0～1.00)（件）(差無し＝1.00)

73
47
38
35
34
32
32
24
23
13

1.00
0.33
0.87
0.95
0.51
1.00
0.28
0.00
0.00
0.00

0.21
0.78
1.18
0.74
2.70
1.70
0.79
0.99
1.84
2.42

0.05
0.10
0.14
0.12
0.22
1.71
0.07
0.62
0.31
0.54

0.50
0.50
0.50
1.00
0.50
0.67
0.00
0.74
0.50
1.0012013
30
10000

1.13
0.92
1.12
1.04
0.93
1.19
0.92
1.03
0.82
1.0015

X1X2X3X4X5Y1Y2X2X3X4X5

Y1

0.6328

1-0.6563-0.3538

1-0.3376

0.12480.3321

1-0.3018

0.04950.23770.290310.6507

0.6432-0.4551-0.2891-0.072210.35170.7377-0.2746

0.47500.30190.5889

Y1 およびY2 は，X1，X2 と正の相関がある．



X1 は，X2 およびX3 との相関が強い．



Y1 はX5 との相関は見られない．

3.3.1 重回帰分析（開発コスト）
ソフトウェア開発コストの予測式＝0.16X2 －0.03X3 +0.11X4+0.93
Y2標準化Y2 ＝0.60X2 －0.22X3 +0.47X4

ソフトウェア製品品質の予測式＝7.69X2－0.76X3－3.37X4+1.42
Y1
標準化Y1 ＝0.64X2－0.12X3－0.33X4

早期リスク軽減X2 小予測コスト

Y1 小レビュー回数X4 大Y1 小予測値

1510
50-50-5© T. Fukushima

510

実測値

152016JaSST’06 in Osaka

3.3 重回帰分析（製品品質）

201© T. Fukushima

JaSST’06 in Osaka

早期リスク軽減X2 小Y21

予測式の精度はあまり高くないが，実際に不具合数が多いプロジェクトは，多いと予測できている．
(決定係数：0.562)
17Y2 小レビュー回数X4 大1.31.1
1.00.70.8Y2 大

1.2

0.9

1.0
0.9

1.1

1.2

1.3

実コスト

開発コストは高い精度で予測できている．
(決定係数：0.728)

0.8
0.7

© T. Fukushima

18

JaSST’06 in Osaka

JaSST’06 in Osaka

3.4 マネジメント要因の有効性評価

4. おわりに
定量的評価の結果

リスク管理の評価
我々のプロジェクトで，リスク管理(X2) が有効なマネジメントであった．
理由：ＰＭのマネジメント技術を直接支援する活動であるためと考える．

リスク管理によるPMへの支援活動が，プロジェクトが成功するために有効であった．
定量的評価法は，導入し定着させたマネジメント技術の有効性確認と改善すべき課題を抽出することの有効であると考える．

品質保証の評価
品質保証担当者のレビュー評価( X5 ) は，有効でなかった．
改善策：レビュー評価もリスクとして捉え，リスク管理で支援を行う．

今後の課題

テスト工程に対するリスク軽減
テスト工程を計画通り実施するために，早期にリスクを軽減(X2) し，レビューを計画どおり行う( X4 ) マネジメントが重要．
© T. Fukushima

19

定量的評価法により，データに基づいた改善のPDCAサイクルを確立し，マネジメント技術を持続的に向上させていく．

© T. Fukushima

20