GRADUATE SCHOOL OF INFORMATION SCIENCE AND TECHNOLOGYO S A K A

U N I V E R S I T Y

O S A K A

GRADUATE SCHOOL OF INFORMATION SCIENCE AND TECHNOLOGYU N I V E R S I T Y

2► ご自身の所属される組織で，いわゆる「混乱プロジェクト」に関するコンセンサスがありますか？

あるないプロジェクトの「混乱」に対するコンセンサスはわりとある．

2005年10月24日(c) Osamu Mizuno, 2005 / All rights reserved.

IPA Forum 2005 / SEC ConferenceO S A K A

GRADUATE SCHOOL OF INFORMATION SCIENCE AND TECHNOLOGYU N I V E R S I T Y

3► 放置すると，失敗プロジェクトになってしまうかもしれないプロジェクト
成功混乱失敗プロジェクトプロジェクトプロジェクト► この研究での定義◆ コスト＆期間を計画から一定以上超過したもの◆ 組織内でコンセンサスがあるもの
2005年10月24日(c) Osamu Mizuno, 2005 / All rights reserved.

IPA Forum 2005 / SEC ConferenceO S A K A

GRADUATE SCHOOL OF INFORMATION SCIENCE AND TECHNOLOGYU N I V E R S I T Y

4► ご自身の担当する開発プロジェクトが混乱しそうだと感じたことはありますか？

あるない「ITプロジェクトの72%は問題を抱えているか，失敗している．」---- Standish Groupによる調査より2005年10月24日(c) Osamu Mizuno, 2005 / All rights reserved.

IPA Forum 2005 / SEC ConferenceGRADUATE SCHOOL OF INFORMATION SCIENCE AND TECHNOLOGYO S A K AU N I V E R S I T Y

5► 混乱プロジェクトが何か分かっている► プロジェクトが混乱しかかってる(気がする)► 何か対策を打った方がいい！
► わかっては，いるんだが・・・

では，分かっているのに何故つき進んでしまうのか？
2005年10月24日(c) Osamu Mizuno, 2005 / All rights reserved.

IPA Forum 2005 / SEC ConferenceGRADUATE SCHOOL OF INFORMATION SCIENCE AND TECHNOLOGYO S A K A

U N I V E R S I T Y

6

それはプロジェクト混乱が可視化されていないから.

► プロジェクトの混乱を何らかの形で可視化する必要性
2005年10月24日(c) Osamu Mizuno, 2005 / All rights reserved.

IPA Forum 2005 / SEC ConferenceO S A K A

GRADUATE SCHOOL OF INFORMATION SCIENCE AND TECHNOLOGYU N I V E R S I T Y

7(2) データ分析

プロジェクト混乱予測システム

阪大(3) 予測モデル決定(1) データ蓄積(4) 混乱確率

ソフトウェア開発現場

2005年10月24日「確率」という目に見える形でプロジェクトの混乱を数値化(c) Osamu Mizuno, 2005 / All rights reserved.

IPA Forum 2005 / SEC ConferenceGRADUATE SCHOOL OF INFORMATION SCIENCE AND TECHNOLOGYO S A K A

U N I V E R S I T Y

8► 山田真哉, 「さおだけ屋はなぜ潰れないのか?〜身近な疑問から始める会計学〜」, 光文社「ある特定の数字を定期的におさえること」，
これが分析の極意であり，(以下略)≪会計の本質的な考え方≫とは，目に見えないものを具体的な数字にして見えるようにする，(中略)といった考え方のことです．
◆ 目的は違えども，やることは同じなのではな
2005年10月24日

いか? (c) Osamu Mizuno, 2005 / All rights reserved.

IPA Forum 2005 / SEC ConferenceGRADUATE SCHOOL OF INFORMATION SCIENCE AND TECHNOLOGYO S A K A

U N I V E R S I T Y

9► プロジェクトが混乱するか否か◆ プロジェクトが混乱するかどうかのコンセンサ

スは取れている．
◆ しかし，混乱プロジェクトを特定する術がない．
◆ 目安がないよりも，何か目に見えるもので判断できたほうが良い！
► プロジェクトを予測するためには◆ 特定の「メトリクス」に着目する必要がある．
◆ ・・・それは何？

2005年10月24日(c) Osamu Mizuno, 2005 / All rights reserved.

IPA Forum 2005 / SEC ConferenceGRADUATE SCHOOL OF INFORMATION SCIENCE AND TECHNOLOGYO S A K A

U N I V E R S I T Y

10► 着目すべき視点として，プロジェクトマネージャへの「問題分析アンケート」を利用する．
◆ プロジェクトマネージャが無意識に感じている混乱への予兆を収集したい．
◆ プロジェクト初期の時点では，定量的データもそれほど集まってはいない

2005年10月24日(c) Osamu Mizuno, 2005 / All rights reserved.

IPA Forum 2005 / SEC ConferenceGRADUATE SCHOOL OF INFORMATION SCIENCE AND TECHNOLOGYO S A K A

U N I V E R S I T Y

11► 開発現場で長年受け継がれてきた「問題分析チェックリスト」を継承► リスク関連文献からのサーベイ► 開発現場のニーズに合わせた問題分析アンケートを作成

2005年10月24日(c) Osamu Mizuno, 2005 / All rights reserved.

IPA Forum 2005 / SEC ConferenceGRADUATE SCHOOL OF INFORMATION SCIENCE AND TECHNOLOGYO S A K A

U N I V E R S I T Y

12

2005年10月24日(c) Osamu Mizuno, 2005 / All rights reserved.

IPA Forum 2005 / SEC ConferenceGRADUATE SCHOOL OF INFORMATION SCIENCE AND TECHNOLOGYO S A K A

U N I V E R S I T Y

13► 開発現場の特徴を反映させたものを作成◆ 必ずしも一般性はない．
◆ 連続して利用する場合にも改変が必須．

► それほど多くない項目数で◆ これぐらいなら時間をかけずに答えてもらえるという分量に抑える．
◆ 手間をかけずに．

2005年10月24日(c) Osamu Mizuno, 2005 / All rights reserved.

IPA Forum 2005 / SEC ConferenceGRADUATE SCHOOL OF INFORMATION SCIENCE AND TECHNOLOGYO S A K A

U N I V E R S I T Y

14► 開発の計画時点．または，開発の早期時点．
◆ 開発者へのアンケートはできそうで，開発がうまく進むかどうかを知りたい．

問題分析
アンケート

2005年10月24日(c) Osamu Mizuno, 2005 / All rights reserved.

混乱確率

IPA Forum 2005 / SEC ConferenceO S A K A

GRADUATE SCHOOL OF INFORMATION SCIENCE AND TECHNOLOGYU N I V E R S I T Y

15► プロジェクトデータベース+データマイニ

ングツール

プロジェクトDB
混乱xxx

成功xxxxxx x

データマイニング手法(ベイズ識別器)

混乱予測システム

2005年10月24日(c) Osamu Mizuno, 2005 / All rights reserved.

IPA Forum 2005 / SEC ConferenceO S A K A

GRADUATE SCHOOL OF INFORMATION SCIENCE AND TECHNOLOGYU N I V E R S I T Y

16

アンケート表STEP1
アンケート作成
回答結果(過去プロジェクト)

STEP3
過去プロジェクト
混乱評価

STEP2
アンケート回答(過去プロジェクト)

分類

プロジェクトDB
混乱xxx

成功xxxxxx x

SEPGなど開発メンバー

混乱予測システム
2005年10月24日(c) Osamu Mizuno, 2005 / All rights reserved.

IPA Forum 2005 / SEC ConferenceO S A K A

GRADUATE SCHOOL OF INFORMATION SCIENCE AND TECHNOLOGYU N I V E R S I T Y

17

回答結果
(新規プロジェクト)

STEP4
混乱予測STEP2
アンケート回答(新規プロジェクト)

予測
混乱

成功90%

10%
20%

プロジェクトDB
混乱xxx

データ
マイニング手法

アンケート表(ベイズ識別器)

成功xxxxxx x

SEPGなど開発メンバー

混乱予測システム
2005年10月24日(c) Osamu Mizuno, 2005 / All rights reserved.

IPA Forum 2005 / SEC ConferenceO S A K A

GRADUATE SCHOOL OF INFORMATION SCIENCE AND TECHNOLOGYU N I V E R S I T Y

18► カテゴリカルデータの分類を行う手法◆ 学習データからクラス分けを計算◆ 新規データが所属すべきクラスの決定

学習データ
クラスC1

分類したいデータ

Qx
2005年10月24日

P(C1|Qx)= 0.7

クラスC2? P(C2|Qx)(c) Osamu Mizuno, 2005 / All rights reserved.

= 0.3IPA Forum 2005 / SEC ConferenceGRADUATE SCHOOL OF INFORMATION SCIENCE AND TECHNOLOGYO S A K A

U N I V E R S I T Y

19► 過去のデータからこれから起こりうる事象の確率を計算◆ クラス ：
◆ 各データの持つ属性値 ：◆ データがクラスに属する 確率

学習データから計算可能定数
2005年10月24日(c) Osamu Mizuno, 2005 / All rights reserved.

IPA Forum 2005 / SEC ConferenceGRADUATE SCHOOL OF INFORMATION SCIENCE AND TECHNOLOGYO S A K A

U N I V E R S I T Y

20► Naive Bayes 名義変数使用◆ 属性値は名義変数► Naive Bayes 連続値変数使用◆ 属性値は連続値を取る変数► Bayesian Network◆ 属性間にグラフによる依存関係を定義► etc..

最も精度の良かった手法を採用．

2005年10月24日(c) Osamu Mizuno, 2005 / All rights reserved.

IPA Forum 2005 / SEC ConferenceGRADUATE SCHOOL OF INFORMATION SCIENCE AND TECHNOLOGYO S A K A

U N I V E R S I T Y

21► 過去プロジェクトに対するアンケート結果

から，ベイズ識別器に基づく複数の混乱予測モデルを作成◆ 組込機器ソフトウェアの開発プロジェクト◆ プロジェクトの実施は1996年から1998年◆ アンケートの実施は1999年◆ 有効回答の得られたプロジェクト数は40※アンケートはプロジェクト終了後に実施されている．

2005年10月24日► 最も精度の高い手法を選択(c) Osamu Mizuno, 2005 / All rights reserved.

IPA Forum 2005 / SEC ConferenceO S A K A

GRADUATE SCHOOL OF INFORMATION SCIENCE AND TECHNOLOGYU N I V E R S I T Y

22► 各手法の精度をジャックナイフ法にて比較(1) NaiveBayesの予測結果(2) NaiveBayes(正規分布)の予測結果

予測結果
実際の結果

成功

予測結果
混乱

実際の結果

混乱

成功

23

4

成功

234

混乱

310

混乱

112

正答率:0.825

正答率:0.875(4) ComplementNaiveBayesの予測結果(3) BayesNetの予測結果

予測結果

予測結果
実際の結果

2005年10月24日

成功

成功

実際の結果

混乱

成功

混乱

成功

23

4

成功

189

混乱

310

混乱

58

正答率:0.825

正答率:0.675(c) Osamu Mizuno, 2005 / All rights reserved.

IPA Forum 2005 / SEC ConferenceGRADUATE SCHOOL OF INFORMATION SCIENCE AND TECHNOLOGYO S A K A

U N I V E R S I T Y

23► 仮に1998年に実施されたプロジェクトを新規プロジェクトとみなすことにする．
► 1996年と1997年のプロジェクト結果から作成されたモデルを用いて新規プロジェク
トの混乱確率を算出してみる．
◆ 1996年に実施されたプロジェクト：32件◆ 1998年に実施されたプロジェクト：

2005年10月24日(c) Osamu Mizuno, 2005 / All rights reserved.

8件

IPA Forum 2005 / SEC ConferenceO S A K A

GRADUATE SCHOOL OF INFORMATION SCIENCE AND TECHNOLOGYU N I V E R S I T Y

24

PJ33
PJ34
PJ35
PJ36
PJ37
PJ38
PJ39
PJ40

データ
マイニング手法( NaiveBayes正規分布 )xxx

成功xxxxxx x

混乱予測システム
2005年10月24日0.5% 成功
PJ35
混乱確率
1.2% 成功
PJ36
混乱確率
PJ37
成功0.1%
混乱確率
成功0.1%
混乱確率
40.1% 成功

プロジェクトDB
混乱

PJ33
PJ34
混乱確率

(c) Osamu Mizuno, 2005 / All rights reserved.

PJ38
PJ39
混乱確率
PJ40
混乱確率

65.0% 混乱98.0%
混乱確率混乱
99.0% 混乱
IPA Forum 2005 / SEC ConferenceO S A K A

GRADUATE SCHOOL OF INFORMATION SCIENCE AND TECHNOLOGYU N I V E R S I T Y

25► 実験結果まとめ
NaiveBayes(正規分布) による予測結果
予測結果
実際の結果
成功
混乱

成功

混乱

5003

正答率:

1.000

すべてのプロジェクトについて，混乱・成功を正しく分類することに成功
2005年10月24日(c) Osamu Mizuno, 2005 / All rights reserved.

IPA Forum 2005 / SEC ConferenceGRADUATE SCHOOL OF INFORMATION SCIENCE AND TECHNOLOGYO S A K A

U N I V E R S I T Y

26► ベイズ識別器に基づく混乱予測システム◆ 混乱プロジェクトを高い精度で予測可能◆ 混乱プロジェクトを確率という形で可視化◆ 導入の手間はそれほどかからない

2005年10月24日(c) Osamu Mizuno, 2005 / All rights reserved.

IPA Forum 2005 / SEC ConferenceGRADUATE SCHOOL OF INFORMATION SCIENCE AND TECHNOLOGYO S A K A

U N I V E R S I T Y

27► Q1: アンケートだとあまりに主観的すぎるのではないか．
► Q2: 終了したプロジェクトで良くても，実際に進行中のプロジェクトでは当てはまらないのではないか．
► Q3: 利用しているデータが古いのでアンケートの答えがいい加減なのでは．
► Q4: 多くの準備をしないと一般の企業では利用できないのではないか．
► Q5: 今回の結果は一例では．
2005年10月24日(c) Osamu Mizuno, 2005 / All rights reserved.

IPA Forum 2005 / SEC ConferenceGRADUATE SCHOOL OF INFORMATION SCIENCE AND TECHNOLOGYO S A K A

U N I V E R S I T Y

28► Q1: アンケートだとあまりに主観的すぎるのではないか．
► A1: 今回の研究では，まさに主観的な部分を抽出するための研究を行った．定量的データも利用した分析を進めている．

2005年10月24日(c) Osamu Mizuno, 2005 / All rights reserved.

IPA Forum 2005 / SEC ConferenceGRADUATE SCHOOL OF INFORMATION SCIENCE AND TECHNOLOGYO S A K A

U N I V E R S I T Y

29► Q2: 終了したプロジェクトで良くても，実際に進行中のプロジェクトでは当てはまらないのではないか．
► A2: 実際に進行中のプロジェクトに対する適用可能性についてもいくつかの論文で発表している．

2005年10月24日(c) Osamu Mizuno, 2005 / All rights reserved.

IPA Forum 2005 / SEC ConferenceGRADUATE SCHOOL OF INFORMATION SCIENCE AND TECHNOLOGYO S A K A

U N I V E R S I T Y

30► Q3: 利用しているデータが古いのでアンケートの答えがいい加減なのでは．
► A3: 実際にアンケートをしたのは，遅くとも3年後になる．
◆ アンケートの結果としては，時間の経過により回答不能とされたものも相当数ある．
◆ 今回利用したデータは，SEPGなども精査した結果，信頼に足ると判断したものになる．

2005年10月24日(c) Osamu Mizuno, 2005 / All rights reserved.

IPA Forum 2005 / SEC ConferenceGRADUATE SCHOOL OF INFORMATION SCIENCE AND TECHNOLOGYO S A K A

U N I V E R S I T Y

31► Q4: 多くの準備をしないと一般の企業では利用できないのではないか．
► A4: 発表内でも述べさせていただいたとおり，できるだけ準備の手間は小さくなるようにと考えている．
◆

2005年10月24日

既に社内に存在する仕組みを最大限活用できるように．

(c) Osamu Mizuno, 2005 / All rights reserved.

IPA Forum 2005 / SEC ConferenceGRADUATE SCHOOL OF INFORMATION SCIENCE AND TECHNOLOGYO S A K A

U N I V E R S I T Y

32► Q5: 今回の結果は一例では．
► A5: 確かにその通り！
◆ では，第2例，第3例をご一緒に実験して頂けませんでしょうか？

o-mizuno@ist.osaka-u.ac.jp

2005年10月24日(c) Osamu Mizuno, 2005 / All rights reserved.

IPA Forum 2005 / SEC ConferenceGRADUATE SCHOOL OF INFORMATION SCIENCE AND TECHNOLOGYO S A K A

U N I V E R S I T Y

33► 本研究へのサポーター◆ 大学:

鳥居宏次 元奈良先端大学長◆ 企業:
オムロン株式会社
株式会社リコー
株式会社東芝沖電気工業株式会社etc.
► 機会のご提供◆ IPAソフトウェア・エンジニアリング・センター
2005年10月24日(c) Osamu Mizuno, 2005 / All rights reserved.

IPA Forum 2005 / SEC ConferenceGRADUATE SCHOOL OF INFORMATION SCIENCE AND TECHNOLOGYO S A K AU N I V E R S I T Y