JaSST Tokyo 2017
事例発表

品質予測モデルの構築およびプロジェクト管理への適用事例
三菱スペース・ソフトウエア株式会社
鎌倉事業部 生産技術部
岡野 麻子

自己紹介
• 岡野 麻子（おかのあさこ）• 三菱スペース・ソフトウエア株式会社• 経歴– ～2004 防衛分野の業務に従事– 2004～2010 QAに所属– 2010～ SEPGに所属。
• 主に、CMMIによるプロセス改善に従事。「定量的プロジェクト管理」の推進をしています。
• 統計分析（プロセス実績ベースラインやプロセス実績モデルの構築）、ツールの管理等も行っています。

• 弊社では、様々な事業分野があり、製品も幅広く取り扱っております。使われる技術の特性もそれだけ多くあり、統計分析では非常に悩むことが多いです。

2Copyright © 2016MITSUBISHI SPACE SOFTWARE CO.,LTD. All Rights Reservedアジェンダ1. 発表の概要
2. 背景と目的
3. 品質予測モデルの構築
4. 予測実施のポイント
5. 適用事例の紹介
6. まとめと今後の予定
7. 参考文献3
Copyright © 2016MITSUBISHI SPACE SOFTWARE CO.,LTD. All Rights Reserved

1.発表の概要【概要】
当事業部では、累積誤り検出密度の予測にゴンペルツ曲線を採用している。
プロジェクトの初期段階からプロジェクトゴール(※)達成可否の予測を行うことができるように品質予測モデルの構築において工夫した点（データの外挿）、およびプロジェクト管理へ適用した事例について紹介する。
※プロジェクトゴール：プロジェクトの目標値（例：QCD等）

4
Copyright © 2016MITSUBISHI SPACE SOFTWARE CO.,LTD. All Rights Reserved

2.背景と目的【背景】
プロジェクトの実績データが蓄積されてきた。このデータを活用し、プロセスを改善させて品質向上を目指す【目的】
出荷時の品質に問題のないプロダクトにする⇒【手段】
予測モデルを利用したプロジェクト管理の推進（CMMIレベル４(※)の考え方に基づく）※CMMIレベル４：「標準化されたプロセスを定量的に測定し、洗練化していく状態」
レベル４のプラクティスの一部に、予測モデルを利用したプロジェクト管理を行うことが求められている
5
Copyright © 2016MITSUBISHI SPACE SOFTWARE CO.,LTD. All Rights Reserved

3.品質予測モデルの構築(1/9)
【何を予測するかを決定】
目的：出荷時の品質に問題がないプロダクトにする
手段：予測モデルを利用したプロジェクト管理の推進「出荷後の品質に問題がないこと(品質のゴール)」の達成可否の予測を行うことにより、早期の問題対処を行う
6
Copyright © 2016MITSUBISHI SPACE SOFTWARE CO.,LTD. All Rights Reserved

3.品質予測モデルの構築(2/9)
【尺度の選択(1/2)】
・「出荷後の品質に問題がない」プロジェクト＝ 「品質のゴール」を達成した「成功プロジェクト」であると定義
・「成功プロジェクト」の実績データに基づく予測モデルを構築し、その予測に従い管理を実施することとした「出荷後の品質に問題がないこと」を評価する尺度として出荷時残存誤り密度を採用している。
7
Copyright © 2016MITSUBISHI SPACE SOFTWARE CO.,LTD. All Rights Reserved

3.品質予測モデルの構築(3/9)
【尺度の選択(2/2)】
ただし、出荷時残存誤り密度は出荷後ある程度の時間を経ないと分からないデータである。そこで、「成功プロジェクト」がプロジェクト実施中にどのように「誤り」を検出していったのかという傾向と同じ軌跡をたどっていけば、出荷時残存誤り密度も同じようになると定義し、誤りの検出傾向を近似したモデルを作成することとした。

「成功プロジェクト」の各フェーズごとの「誤り検出密度」の実績データを各工程ごとに累積した「累積誤り検出密度」の予測モデルを構築
8
Copyright © 2016MITSUBISHI SPACE SOFTWARE CO.,LTD. All Rights Reserved

3.品質予測モデルの構築(4/9)
【データの層別】
尺度「累積誤り検出密度」が決まったので、予測モデルの構築を試みる。・・・が・・・
様々な事業のデータが存在し、プロジェクトの特性によるばらつきが見られる「成功プロジェクト」として分類したプロジェクトのデータに絞り、そこからさらに予測モデルを適用する試行プロジェクトの特性を考慮したデータの層別(※)を行う。
※データの層別基準（一部紹介）
言語、製造量、プロジェクト構成メンバー、開発環境 等
9Copyright © 2016MITSUBISHI SPACE SOFTWARE CO.,LTD. All Rights Reserved

3.品質予測モデルの構築(5/9)
【成功プロジェクト(過去実績)のデータに基づいた傾向把握】
1. 累積誤り検出密度を工程ごとにプロット

2. 工程ごとに箱ひげ図を作成
3. 四分位範囲の第３四分位を上限値、中央値を目標値、第１四分位を下限値と設定

4. 四分位範囲を使用し、累積誤り検出密度のゴールを算出
5. 最終実施工程の上下限範囲をゴールと設定
6. 最終工程部分の上下限範囲内へ予測結果がどの程度入るか 累積
誤でプロジェクトゴール達成可否 り検出を判断
密過去事例1

過去事例2
過去事例3
過去事例4
過去事例5
過去事例6

度

10
Copyright © 2016MITSUBISHI SPACE SOFTWARE CO.,LTD. All Rights Reserved

3.品質予測モデルの構築(6/9)
【予測モデルの決定】
予測モデルの尺度が「累積誤り検出密度」⇒ソフトウェア開発において累積誤り検出密度は、工程が進むにつれて、一般にS字曲線を描く傾向がある（参考文献③三觜武, ソフトウェアの品質評価法, 日科技連出版社, 1981）⇒この曲線を表現するためにゴンペルツ曲線を採用した算出した「累積誤り検出密度」の目標値を使用し、ゴンペルツ曲線のパラメータを決定

11

Copyright © 2016MITSUBISHI SPACE SOFTWARE CO.,LTD. All Rights Reserved

3.品質予測モデルの構築(7/9)
【ゴンペルツ曲線と予測モデル】
𝑦 = 𝐾𝑎𝑏𝑥(𝐾 > 0, 0 < 𝑎 < 1, 0 < 𝑏 < 1) ・・・(1)ただし,目的変数 𝑦 ：各工程の累積誤り検出密度
説明変数 𝑥 ：各工程の番号𝑦

変曲点：ln(−1/ ln 𝑎)𝑥0 =,ln 𝑏𝑦0 = 𝐾𝑒 −1※形状は変曲点に関して点対称ではない

累 𝐾積
誤り
検出 𝑦0
密度
𝐾𝑎

変曲点𝑎, 𝑏 の値ににより
𝑥0 ≥ 0 または 𝑥0 ≤ 00 𝑥0

各工程の番号𝑥12

Copyright © 2016MITSUBISHI SPACE SOFTWARE CO.,LTD. All Rights Reserved

3.品質予測モデルの構築(8/9)
【ゴンペルツ曲線のパラメータの決定①】(1)の両辺の常用対数をとり線形化
log 𝑦 = log 𝐾 + 𝑏 𝑥 log 𝑎 ・・・(2)log(𝑦 + Δ𝑦) = log 𝐾 + 𝑏 𝑥+1 log 𝑎𝑥 が１工程進むと Δ𝑦 増加・・・(3)式(3)-(2)よりlog(𝑦 + Δ𝑦) − log 𝑦 = 𝑏 − 1 𝑏 𝑥 log 𝑎 = 𝑏 − 1 (log 𝑦 − log 𝐾)

これより𝒀 = 𝑨𝑿 + 𝑩
ただし 𝑋 ≡ log 𝑦 ,𝑌 ≡ log 𝑦 + Δ𝑦 − log 𝑦 ,𝐴 ≡ 𝑏 − 1,
𝐵 ≡ 1 − 𝑏 log 𝐾
13
Copyright © 2016MITSUBISHI SPACE SOFTWARE CO.,LTD. All Rights Reserved

3.品質予測モデルの構築(9/9)
【ゴンペルツ曲線のパラメータの決定②】
 パラメータ 𝐾 と 𝑏 の決定(最小二乗法で 𝐴 と 𝐵 を決定、最低４工程のデータが必要)
𝑏 = 𝐴 + 1, 𝐾 = 10

𝐵1−𝑏

 パラメータ 𝑎 の決定（𝑥 = 0 に対する 𝑦 = 𝑦 ∗ を試行錯誤的に与える）
𝑎 = 𝑦 ∗ /𝐾
これで、使用する品質予測モデルが決定。
これを用いて、試行プロジェクトに適用し、予測を行う。
実績値を測定するたびに予測を実施する。
14
Copyright © 2016MITSUBISHI SPACE SOFTWARE CO.,LTD. All Rights Reserved

4.予測実施のポイント(1/3)
【予測実施のポイント】
差分データ𝜟𝒚を用いたために、最低4工程のデータが必要＝ 実施済の工程が4つ以上あることが必要
プロジェクト初期からの予測が出来ない・・・・
 予測モデルを使用するプロジェクトすべてが４工程以上実施するとは限らない・・・


4点に満たないときは、プロジェクト計画時に設定した目標値を使用して外挿を行い、プロジェクトの初期からの予測を可能にした※「成功プロジェクト」として層別したものと実績値の傾向が同じであれば、プロジェクト15
ゴールの達成を予測でき、外装するデータとして妥当であると考えた
Copyright © 2016MITSUBISHI SPACE SOFTWARE CO.,LTD. All Rights Reserved

4.予測実施のポイント(2/3)
【品質予測実施手順】
1. 各工程における累積誤り検出密度の目標値を用いてゴンペルツ曲線を決定
2. 手順１の曲線から各工程間の累積誤り検出密度の差分を算出

𝑦累𝐾積
誤り 𝑦𝑛+1
検出
密度𝑦𝑛0

上限予測値

３章で作成した予測モデル

凡例：● 目標値
差分

下限予測値

差分: 𝑦𝑛+1 − 𝑦𝑛

𝑥𝑛𝑥𝑛+1𝑥

各工程の番号

16

Copyright © 2016MITSUBISHI SPACE SOFTWARE CO.,LTD. All Rights Reserved

4.予測実施のポイント(3/3)
【品質予測実施手順】
3. 終了した工程の実績値と手順２の差分を用いて、終了していない工程の累積誤り検出密度を外挿して全工程のデータを準備
上限予測値

𝑦

累積
誤り
検出密度

凡例：● 実績値○ 差分を用いて外挿した値

下限予測値
３章で作成した予測モデル

0差分を足していく

各工程の番号𝑥

4. 準備されたデータを用いて再度ゴンペルツ曲線を決定し、品質予測モデルを導出

17
Copyright © 2016MITSUBISHI SPACE SOFTWARE CO.,LTD. All Rights Reserved

5.適用事例の紹介(1/4)
【試行内容について】
試行プロジェクト（3工事で試行）
派生開発
 プロジェクト体制は数年間ほぼ同じ

プロジェクトゴール「成功プロジェクト」としての層別基準の一つである「出荷時残存誤り密度の達成」を設定⇒ゴールを満たす品質予測モデルを構築し、適用

以下をプロジェクト管理の中で実施
目標値から導出した品質予測モデルを利用し、プロジェクトゴール達成可否を予測し管理 プロジェクトの初期からプロジェクトゴールの予測を行い早期に品質状況を把握、予測結果が最終工程の上下限範囲から逸脱した場合には早期の分析・処置を促す

18
Copyright © 2016MITSUBISHI SPACE SOFTWARE CO.,LTD. All Rights Reserved

5.適用事例の紹介(2/4)
【プロジェクトB 結果1】
 目標値から導出した品質予測モデルを適用し、プロジェクトゴール達成可否を予測し管理した結果⇒上下限範囲には入ったが、方式設計工程終了時における累積誤り検出密度が当該工程の許容範囲を超えているので、リスクとして管理し、レビュー結果の分析を行い対策をうった結果、単体テスト工程において許容範囲に入った
1.60
1.40
累過去実績に成功プロジェクトの傾向基づく累積1.20
誤実績累積

積

り
1.00
検出密0.80
度

予測累積0.60
0.40
0.20
0.00

19
Copyright © 2016MITSUBISHI SPACE SOFTWARE CO.,LTD. All Rights Reserved

5.適用事例の紹介(3/4)
【プロジェクトB 結果2】
 プロジェクトの初期からプロジェクトゴールの予測を行い早期に品質状況を把握、予測結果が最終工程の上下限範囲から逸脱した場合には早期の分析・処置を促した結果⇒①単体テスト工程での予測はゴールから逸脱するという結果が出たが、対策を実施し、最終工程ではゴールの上下限範囲内に入った②現在、試行プロジェクトの出荷後の品質状況は、データ層別基準の一つである「成功プロジェクト」の値に近い状態である
1.60

1.60
1.40

累
1.20
積1.00
誤り
0.80
検0.60
出0.40
密0.20
度0.00

指標範囲(50%)
過去実績に
成功プロジェ
クトの傾向
基づく累積
実績累積
予測累積累1.40積1.20
誤1.00
り0.80
検出0.60
密0.40
度0.20

指標範囲
(50%)
過去実績に
成功プロジェ
クトの傾向
基づく累積
実績累積
予測累積

0.00

20
Copyright © 2016MITSUBISHI SPACE SOFTWARE CO.,LTD. All Rights Reserved

5.適用事例の紹介(4/4)
【適用事例まとめ】
 各工程においてプロジェクトゴールの目標とする許容範囲に予測値が収まるか否かを定量的に判断しプロジェクト管理を行うことができた（手段の有効性を確認）
 現在、試行プロジェクトの出荷後の品質状況は、データ層別基準の一つである「成功プロジェクト」の値に近い状態である（目的の達成）

プロジェクトゴール達成へ向けた品質状況の把握を早期に行え、品質向上への取り組みを促す効果を得られたと考える
21
Copyright © 2016MITSUBISHI SPACE SOFTWARE CO.,LTD. All Rights Reserved

6.まとめと今後の予定【まとめ】
最小二乗法で必要となる4点に満たない部分を外挿することにより導出した品質予測モデルを試行プロジェクトにて適用した結果、試行プロジェクトの出荷後の品質状況がデータ層別基準の一つである「成功プロジェクト」の値に近い状態であることから、品質予測モデルの効果を確認できた【今後の予定】①更に試行を継続して行い、予測モデルの妥当性を検証していく②ゴンペルツ曲線は、プロジェクトゴールの予測を行うモデルである。品質状況把握の精度を高めるために、次工程以降の品質状況予測をタイムリーに行うことができるモデルを検討し、採用していく（カルマンフィルタ など）
22Copyright © 2016MITSUBISHI SPACE SOFTWARE CO.,LTD. All Rights Reserved

7.参考文献① 石田秀人, シグモイドのゴンペルツ曲線の求め方,
http://home.a02.itscom.net/coffee/tako07.html② 東大教養学部統計学教室編，統計学入門，東大出版会，1991③ 三觜武, ソフトウェアの品質評価法, 日科技連出版社, 1981
④ 野中誠, 小池利和, 小室陸,データ指向のソフトウェア
品質マネジメント―メトリクス分析による「事実にもとづく管理」の実践,日科技連出版社, 201223
Copyright © 2016MITSUBISHI SPACE SOFTWARE CO.,LTD. All Rights Reserved

ご清聴ありがとうございました。

24
Copyright © 2016MITSUBISHI SPACE SOFTWARE CO.,LTD. All Rights Reserved