工数予測支援ツール e3 の実用性評価と機能拡張
古田雄基 肥後芳樹 楠本真二
大阪大学大学院情報科学研究科{y-furuta,higo,kusumoto}@ist.osaka-u.ac.jp
要旨て，スケジュールの適切な管理や開発資源の割り当てなどを行うことができる．結果として，納期遅れやコスト

ソフトウェア開発プロジェクトでの開発工数の見積り超過といったプロジェクトの失敗のリスクを抑えること

は，プロジェクト計画作成において非常に重要な作業でが可能となる．そのため様々な工数予測手法が提案されある．見積もられた工数を基にして，開発期間，開発人ている．その中でも，重回帰分析や類似性に基づく手法数，開発コスト等が計画される．工数を管理し，プロジェといった，過去に実施したプロジェクト (過去プロジェクトを円滑に遂行することにより，納期遅れやコスト超クト) の実績データに基づく手法がよく用いられている．

過といったプロジェクトの失敗を未然に防ぐことが可能

実績データに基づく手法では，工数を予測したい進行中となる．我々はこれまでに開発予測対象プロジェクトにのプロジェクト (現行プロジェクト) で収集されたデー対して複数の工数予測手法を同時に適用し，妥当な工数タと過去プロジェクトの実績データから，現行プロジェ予測結果を推薦する工数予測ツール e3 を開発してきていクトの工数を予測する．しかしながら，実績データに基るが，より多くの予測手法の実装やユーザインタフェーづく手法では，予測精度は実績データに大きく依存するスの改良，より多くの適用評価が求められていた．そこ[1] ため，1 つの手法で高い精度を得ることは難しい．そ3で，本研究では，e に対して複数の工数予測手法を追加こで，この問題に対処するために開発されたのが工数予し，ユーザインターフェースの改良を行った．次に，6測ツール「e3 」である．本稿では，工数予測ツール e3 につのソフトウェア開発データセットを用いた追加実験を対して行った機能拡張や実用性の評価のための追加実験行い，これまでの評価結果と同じく，ツールが推薦するについて述べる．

予測結果の有用性を確認した．更に，実用性の評価のため，商用見積もりツールである KnowledgePLAN との2. 工数予測ツール e3比較実験行った．比較実験にあたっては，ある企業の 63プロジェクトデータを用いた．実験の結果，e3 の予測精2.1. 特徴度は KnowledgePLAN の予測精度にわずかに劣っていたが，分析を通じて e3 の予測精度向上のため方向性が確認できた．

工数予測ツール「e3 」プロジェクトの工数の予測値に対して期待される精度に基づいた，工数予測手法の選択を支援するツールである．1 件の現行プロジェクトに対して，複数の工数予測手法を適用し，工数予測手法ごと

1. はじめにに工数の予測値とその予測値に対して期待される精度を表示する．1 度の実行で複数の工数予測手法の予測結果

ソフトウェア開発において，プロジェクトを円滑に遂を確認することができ，予測値に対して期待される精度行するためには，工数予測が重要である．工数とは，開を比較することによって，特定の工数予測手法に依存し発期間と要員の積で算出される延べ作業時間を表す数値ない柔軟な工数予測が可能となる．また，出力としては，であり，プロジェクトを管理する上で重要な指標となる．

各工数予測手法の現行プロジェクトの予測値と期待され工数を正確に予測し，必要な工数を把握することによっる精度が出力される．厳密に現行プロジェクトの工数の予測値に対する精度ではないのは，工数予測時には現行プロジェクトの工数を目的変数，その他のメトリクプロジェクトの工数の実績値が未知であるため，予測値スを説明変数として，過去プロジェクト情報を基にと実績値の誤差から精度を算出することができないため回帰式を導出し，現行プロジェクトのメトリクスのである．期待される精度の指標としては，ある過去プロ値を導出した回帰式に代入することで工数の予測値ジェクトの工数を他の過去プロジェクトを用いて，予測を得る手法である．

したときの相対誤差の平均値や中央値，相対誤差が 252.3％以内のプロジェクトの割合を採用している．図 1 はこれまでの知見「e3 」の実際の動作の様子を表している．
「e3 」は文献 [3] で行われた 3 つのデータセットに対する実験によって，ツールが表示する期待される精度の高い工数予測手法をその都度選択することにより，各データセットにおいて，最も精度の高い手法と同程度の精度で予測を行うことが可能であると確認されている．また，使用するデータセットによって有効な手法も異なっており，さまざまな組織から収集されたプロジェクトデータセットに対しては，類似性に基づいた手法が有効であり，同一の組織で収集されたプロジェクトデータセットに対しては，回帰分析を用いた手法が有効であった

2.4

課題

「e3 」への課題もいくつか指摘されている．一つは，
3

図 1. e の動作ツールの機能不足の改善である．適用可能な工数予測手法の増大や改良したユーザーインターフェースの提供などが挙げられている．また，ツールの適用が行われたのが，文献 [2] の 3 つのデータセットに対する適用のみで2.2. 実装されている工数予測手法あり，ツールの適用事例が少ないという点も指摘されている．

実装されている工数予測手法は，主に類似性に基づく手法と回帰分析に基づく手法の 2 種類がある．

3. e3 の機能拡張

1. 類似性に基づく手法 [2]過去プロジェクトの中から現行プロジェクトと類似「e3 」の機能拡張として，適用可能な工数予測手法をしているプロジェクト (類似プロジェクト) を探し，増やすために，類似性に基づく手法において，実装済み類似プロジェクトの工数の実測値を基に現行プロのものとは異なる 2 つの類似度の尺度を用いた手法 [4]ジェクトの工数を予測する手法である．これは，プと COCOMO[5] モデルを追加した．実装されている類

ロジェクト情報に含まれるメトリクス値の類似して似性の評価手法は，以下の通りである．

いるプロジェクト同士は工数の値も類似していると• 調整コサイン類似性いう仮説を前提としている．類似プロジェクトのみを用いて予測を行うため，過去プロジェクトの中にプロジェクトデータを多次元ベクトルとみなし，ベ特異なプロジェクトが存在したとしても，そのプロクトルのなす角を類似度の尺度として用いる．ただジェクトの影響を受けずに予測が可能という長所がし，こちらはメトリクスの分散を考慮している．プロある．

ジェクト pa とプロジェクト pb の類似度 sim(pa , pb )2. 回帰分析に基づく手法
2

• K-nn 法は以下の式 1 で表される．

欠損しているプロジェクトに類似しているプロジェ

sim (pa , pb ) =() ()j∈Ma ∩Mb { vaj ′ −mj ′ × vbj ′ −mj ′ }√()2 √()2∑∑j∈Ma ∩Mb vaj ′ −mj ′j∈Ma ∩Mb vbj ′ −mj ′クトから，欠損しているメトリクスの値の平均値∑を算出し，欠損値を補完する．類似度には，ユーク(1)リッド距離の逆数を用いる．

• CF 応用法

Ma と Mb はそれぞれ，プロジェクト pa と pb の欠損していないメトリクスの集合を表している．また欠損しているプロジェクトに類似しているプロジェ

mj ′ はメトリクス mj ′ の正規化された特性値の平均値を表す．類似度 sim(pa , pb ) の値域は [−1.0, 1.0]

クトから，欠損しているメトリクスの値の加重平均である．

コサイン類似性を用いる．

値を算出し，欠損値を補完する．類似度には，調整• 相関係数

以下の図 2 は「e3 」の拡張した入力画面である．

プロジェクトデータを多次元ベクトルとみなし，ベクトルのなす角を類似度の尺度として用いる．た4. 評価実験

だし，こちらはプロジェクトの分散を考慮している．プロジェクト pa とプロジェクト pb の類似度

「e3 」の評価実験について述べる．評価実験としては，

sim(pa , pb ) は以下の式 2 で表される．

過去に得られた知見と同じ結果が，別のデータセットにおいても得られるかどうかを確認するための実験 (評価実験 1) と，「e3 」の工数予測ツールとしての実用性を評価するための実験 (評価実験 2) を行った．

sim (pa , pb ) =() ()j∈Ma ∩Mb { vaj ′ −pa × vbj ′ −pb }√(()2)2 √∑∑j∈Ma ∩Mb vaj ′ −paj∈Ma ∩Mb vbj ′ −pb∑(2)

4.1. 評価実験 1
この実験の目的は，ツールが表示する期待される精度

Ma と Mb はそれぞれ，プロジェクト pa と pb の欠損していないメトリクスの集合を表している．まの高い工数予測手法をその都度選択することにより，各データセットにおいて，最も精度の高い手法と同程度のた pa ，pb はプロジェクト pa ，pb の正規化された特精度で予測を行うことが可能であることの確認である．

性値の平均値を表す．類似度 sim(pa , pb ) の値域は

適用対象は PROMISE[8] という見積り研究の Web サイ[−1.0, 1.0] である．

トで公開されている以下の 6 つのデータセットである．
また，ユーザーインターフェースの改良として，入力• Desharnais Software Cost Estimation

データのプロジェクトリストから予測に使用しないプロDesharnais によって収集されたカナダのソフトウェ
ア開発企業における 80 年代のデータセットであるジェクトや，プロジェクトのデータを取り除く機能と，入力データ上で欠損しているプロジェクトのデータを自動補完する方法 [6, 7] を選択できる機能を追加した．具

• CM1

体的には，下記の自動補完方法を選択できるようにした．

NASA のデータを収集し，処理する，宇宙船の計器• 平均値挿入法の開発のデータセット

欠損しているプロジェクトデータを全プロジェクト• JM1でのそのデータの平均値で補完するNASA の予測を生成するために，シミュレーショ

• リストワイズ法

ンを用いる，実時間地上システムの開発のデータセット

欠損しているプロジェクトデータを持つプロジェク
トを除去する．

3

• KC1
NASA の地上データを受信して処理するためのストレージ管理を実装しているシステムのデータセット• KC2
sample.csv

EffortFPTeam Sizever.1

1

1

1150

10Sample Project A 1059 113

8

Current ProjectNASA の KC1 と同じプロジェクトの別の部分のデー
タセット
• PC1

Sample Project B 3700 309
Sample Project C 1950

Sample Project D 883

2199

NASA の地球周回軌道衛星のためのフライトソフ
トウェアのデータセット

16

評価方法は，ツールが表示する期待される精度の最も高い工数予測手法をその都度選択して使用した場合と，常に同じ工数予測手法を使用し続けた場合とで現行プロ
ジェクトの工数の実測値と予測値の誤差を比較する．実
験の結果，適用した全てのデータセットにおいて，ツールが表示する期待される精度の最も高い工数予測手法をその都度選択して使用した場合，それぞれのデータセッ
トで有効な工数予測手法と同程度の誤差で予測が行えることが確認できた．
図 3 に，Dersharnais に適用した結果を示す．この図からデータセットに有効な手法を使い続けた場合の誤差の平均が 0.378, ツールの推薦する手法を選び続けた場合の誤差の平均が 0.382 となっており，同程度の誤差で予測可能であることが確認できる．
データセットの適用結果
1誤差平均

0.8

0.378

0.6

0.382

0.4
0.2

mean
median
eba1
eba2
eba3
eba4
eba5
eba1ACS
eba2ACS
eba3ACS
eba4ACS
eba5ACS
eba1CC
eba2CC
eba3CC
eba4CC
eba5CC
eba15ACS
eba15CCslinearpower
multipleforwardbestMMER

0

有効な手法の予測値の誤差平均

ツールが推薦した
予測値の誤差平均

図 3. 評価実験 1 の結果例（Dersharnais）

図 2. e3 の入力画面

4.2. 評価実験 2
評価実験 2 として，「e3 」の工数予測ツールとしての実用性を評価するために，某企業が利用している見積もりツール「KnowledgePLAN」との性能比較実験を行った．

4

5. まとめ「KnowledgePLAN」は SPR 社の開発したソフトウェアプロジェクトの計画を支援するツールである．1 万件を超えるプロジェクト実績データを搭載した知識データベー

工数予測ツール「e3 」の機能拡張と実用性の評価実験

スを基に，プロジェクトの所要工数や期間，品質，コスについて述べた。機能拡張としては，工数見積手法の追ト，成果物の規模などを予測できる．実験には，某企業加と欠損値補完機能を実装した．また，評価実験としての 63 件のプロジェクトを用いた．評価方法は 63 件のプは，文献 [8] の 6 種類のデータセットを用いて，既に得られている知見を確認した．更に，実用性の評価として，

3ロジェクトに対して「e 」と「KnowledgePLAN」を適

KnowledgePLAN との予測精度の比較を行った．今後は，より多くのプロジェクトデータに対する適用実験や実用性の改善に取り組む予定である．

3用し，工数の予測値と実測値を比較する．
「e 」には，各プロジェクトの工数の予測値を求める際に，入力データとして，予測値を求めるプロジェクト以外の 62 件のプロジェクトの情報と，予測値を求めるプロジェクトの工数

6. 謝辞の実測値以外の情報を与えた．
「KnowledgePLAN」は，某企業で使用されていた方法を用いて，工数の予測値を求めた．実験の結果，工数の予測値と実測値の誤差を本研究は，一部日本学術振興会科学研究費補助金基盤(Magnitude of Error Relative)[9] の尺度で評価

研究 (S)(課題番号：25220003) の助成を得て行われた．

MERし，その平均を比べると，「KnowledgePLAN」が 0.282，参考文献「e3 」が 0.325 となり，「KnowledgePLAN」の方が予測精度は良いという結果になった，しかし，いくつかのプロ[1] E. Mendes et al. Further comparison of crosscompany and within-company eﬀort estimation
models for web applications. In 10th IEEE Inter-

ジェクトに対しては「e3 」の方が予測精度がよいということも分かった．結果を以下の表 1 に示す．しかし，いくつかのプロジェクトに対しては「e3 」の方が予測精度

national Symposium on Software Metrics, pp. 348–357, 2004.

がよいということも分かった．
表 1. 実験結果
ツール
平均 MER

e30.325

KnowledgePLAN

0.282[2] 角田雅照, 大杉直樹, 門田暁人, 松本健一, 佐藤慎一.
協調フィルタリングを用いたソフトウェア開発工数
予測方法. 情報処理学会論文誌, Vol. 46, No. 5, pp.
1155–1164, May 2005.
[3] 生方克馬, 柿元健, 楠本真二. 期待される精度の比較による適切な工数予測手法の判別を支援するツール.

4.3. 考察

電子情報通信学会論文誌 D, Vol. J95-D, No. 4, pp.

885–894, Apr 2012.

評価実験 2 の結果，「e3 」の方が予測精度の良いプロジェクトの特徴についてであるが，これらのプロジェク[4] 大杉直樹, 角田雅照, 門田暁人, 松村知子, 松本健一, 菊池奈穂美. 企業横断的収集データに基づくソフトウェ
ア開発プロジェクトの工数見積もり. SEC journal,

3

トについては，「e 」の類似性に基づく予測手法が有効に働いていた．今回のデータセットは某企業で収集された，ドメインの限定されているものであるため，過去のこのVol. 5, No. 1, pp. 16–25, 2006.

ツールについての知見に基づけば，回帰分析などが有効[5] B.W.Boehm, C.Abts, A.W.Brown, S. Chulani,に働くとされている．そのため，「KnowledgePLAN」のB. K. Clark, E. Horowitz, R. Madachy, D. J. Reifer,and B. Steece. Software Cost Estimation with Cocomo II. Prentice Hall, 2000.

1 万件を超える実績データに基づく予測が有効に働いていると考えられる．しかし，プロジェクトデータの中に，ドメインが限定されているものの一部特異なプロジェク
トが少数存在し，それらについては「e3 」の類似性に基[6] 田村晃一, 柿元健, 戸田航史, 角田雅照, 門田暁人, 松本健一, 大杉直樹. 工数予測における類似性に基づくづく手法が有効に働いた可能性が考えられる．

5

欠損値補完法の実験的評価. コンピュータソフトウェ
ア, Vol. 26, No. 3, pp. 44–55, 2009.

[7] 田村晃一, 門田暁人, 松本健一. 欠損値処理法を用いた工数予測におけるデータ件数と予測精度の関係. コン
ピュータソフトウェア, Vol. 27, No. 2, pp. 100–105,

2010.
[8] PROMISE software engineering repository.
http://promise.site.uottawa.ca/SERepository/.
[9] T.Foss, E.Stensrud, B.Kitchenham, and I.Myrtveit.
A simulation study of the model evaluation criterion mmre. IEEE Transactions on Software Engineering, Vol. 29, No. 11, pp. 985–995, Nov 2003.

6