工数予測支援ツール e3 の機能拡張と追加評価
Additional evaluation and extension of effort estimation tool e3
古田 雄基†
Yuuki Furuta

肥後 芳樹†
Yoshiki Higo

楠本 真二†
Shinji Kusumoto

1. はじめにソフトウェア開発において，プロジェクトを円滑に遂行するためには，工数予測が重要である．工数とは，開発期間と要員の積で算出される延べ作業時間を表す数値であり，プロジェクトを管理する上で重要な指標となる．
工数を正確に予測し，必要な工数を把握することによって，スケジュールの適切な管理や開発資源の割り当てなどを行うことができる．結果として，納期遅れやコスト超過といったプロジェクトの失敗のリスクを抑えることが可能となる． そのため様々な工数予測手法が提案されている．その中でも，重回帰分析や類似性に基づく手法といった，過去に実施したプロジェクト(過去プロジェクト)の実績データに基づく手法がよく用いられている．実績データに基づく手法では，工数を予測したい進行中のプロジェクト(現行プロジェクト)で収集されたデータと過去プロジェクトの実績データから，現行プロジェクトの工数を予測する．しかしながら、実績データに基づく手法では，予測精度は実績データに大きく依存する[1]ため，1 つの手法で高い精度を得ることは難しい．そこで，この問 題 に 対 処 す る た め に 開 発されたのが工数予測ツール「e3」である．
本稿では，工数予測ツール e3 に対して行った機能拡張と追加評価について述べる．

2. 工数予測ツール e3
2.1 特徴工数予測ツール「e3」は，現行プロジェクトの工数の予測値に対して期待される精度に基づいた，工数予測手法の選択を支援するツールである．1 件の現行プロジェクトに対して，複数の工数予測手法を適用し，工数予測手法ごとに工数の予測値とその予測値に対して期待される精度を表示する．1 度の実行で複数の工数予測手法の予測結果を確認することができ，予測値に対して期待される精度を比較することによって，特定の工数予測手法に依存しない柔軟な工数予測が可能となる．また，出力としては，各工数予測手法の現行プロジェクトの予測値と期待される精度が出力される．厳密に現行プロジェクトの工数の予測値に対する精度ではないのは，工数予測時には現行プロジェクトの工数の実績値が未知であるため，予測値と実績値の誤差から精度を算出することができないためである．期待される精度の指標としては，ある過去プロジェクトの工数を他の過去プロジェクトを用いて，予測したときの相対誤差の平均値や中央値，相対誤差が25%以内のプロジェクトの割合を採用している．図1は「e3」の実際の動作の様子を表している．
†大阪大学大学院情報科学研究科 Graduate School ofInformation Science and Technology, Osaka University

図1

e3 の動作

2.2 実装されている工数予測手法実装されている工数予測手法は，主に類似性に基づく手法と回帰分析に基づく手法の 2 種類がある．
(1) 類似性に基づく手法[2]過去プロジェクトの中から現行プロジェクトと類似しているプロジェクト(類似プロジェクト)を探し，類似プロジェクトの工数の実測値を基に現行プロジェクトの工数を予測する手法である．これは，プロジェクト情報に含まれるメトリクス値の類似しているプロジェ
クト同士は工数の値も類似しているという仮説を前提としている．類似プロジェクトのみを用いて予測を行うため，過去プロジェクトの中に特異なプロジェクトが存在したとしても，そのプロジェクトの影響を受けずに予測が可能という長所がある．
(2) 回帰分析に基づく手法
プロジェクトの工数を目的変数，その他のメトリクスを説明変数として，過去プロジェクト情報を基に回帰式を導出し，現行プロジェクトのメトリクスの値を導出した回帰式に代入することで工数の予測値を得る手法である．

2.3 これまでの知見「e3」は文献[3]で行われた 3 つのデータセットに対する実験によって，ツールが表示する期待される精度の高い工数予測手法をその都度選択することにより，各データセットにおいて，最も精度の高い手法と同程度の精度で予測を行うことが可能であると確認されている．また，使用するデータセットによって有効な手法も異なっており，さまざまな組織から収集されたプロジェクトデータセットに対しては，類似性に基づいた手法が有効であり，同一の組織で収集されたプロジェクトデータセットに対しては，回帰分析を用いた手法が有効であった2.4 課題「e3」への課題もいくつか指摘されている．一つは，ツールの機能不足の改善である．適用可能な工数予測手法の増大や改良したユーザーインターフェースの提供などが挙げられている．また，ツールの適用が行われたのが，
文献[2]の 3 つのデータセットに対する適用のみであり，ツールの適用事例が少ないという点も指摘されている．

3. e3 の機能拡張「e3」の機能拡張として，適用可能な工数予測手法を増やすために，類似性に基づく手法において，実装済みのものとは異なる 2 つの類似度の尺度を用いた手法とCOCOMO[4]と呼ばれる，あらかじめ求められているいくつかの変数を持つ工数の予測値の導出式に，現行プロジェクトのメトリクスの値を割り当てることによって工数の予測値を求める方法に基づいた手法を追加した．また，ユーザーインターフェースの改良として，入力データのプロジェクトリストから予測に使用しないプロジェクトや，プロジェクトのデータを取り除く機能と，入力データ上で欠損しているプロジェクトのデータを自動補完する方法を選択できる機能を追加した．

4. 評価実験「e3」の追加評価実験について述べる．追加評価としては，過去に得られた知見と同じ結果が，別のデータセットにおいても得られるかどうかを確認するための実験(評価実験 1)と，「e3」の工数予測ツールとしての実用性を評価するための実験(評価実験 2)を行った．

4.1 評価実験 1
この実験の目的は，ツールが表示する期待される精度の高い工数予測手法をその都度選択することにより，各データセットにおいて，最も精度の高い手法と同程度の精度で予測を行うことが可能であることの確認である．
適用対象は PROMISE[5]という見積り研究の Web サイトで公開されている 6 つのデータセットである．
評価方法は，ツールが表示する期待される精度の最も高い工数予測手法をその都度選択して使用した場合と，常に同じ工数予測手法を使用し続けた場合とで現行プロジェクトの工数の実測値と予測値の誤差を比較する．
実験の結果，適用した全てのデータセットにおいて，ツールが表示する期待される精度の最も高い工数予測手法をその都度選択して使用した場合，それぞれのデータセットで有効な工数予測手法と同程度の誤差で予測が行えることが確認できた．

4.2 評価実験 2
評価実験 2 として，「e3」の工数予測ツールとしての実用性を評価するために，某企業が利用している見積もりツール「KnowledgePLAN」との性能比較実験を行った．
「KnowledgePLAN」は SPR 社の開発したソフトウェアプロジェクトの計画を支援するツールである．1 万件を超えるプロジェクト実績データを搭載した知識データベースを基に，プロジェクトの所要工数や期間，品質，コスト，成果物の規模などを予測できる．
実験には，某企業の 42 件のプロジェクトを用いた．

評 価 方 法 は 42 件 の プ ロ ジ ェ ク ト に 対 し て 「 e3 」 と「KnowledgePLAN」を適用し，工数の予測値と実測値を比較する．「e3」には，各プロジェクトの工数の予測値を求める際に，入力データとして，予測値を求めるプロジ
ェクト以外の 41 件のプロジェクトの情報と，予測値を求めるプロジェクトの工数の実測値以外の情報を与えた．
「KnowledgePLAN」は，某企業で使用されていた方法を用いて，工数の予測値を求めた．
実 験 の 結 果 ， 工 数 の 予 測 値 と 実 測 値 の 誤 差 を MER(Magnitude of Error Relative)[6]の尺度で評価し，その平均を比べると，「KnowledgePLAN」が 0.267，「e3」が 0.324となり，「KnowledgePLAN」の方が予測精度は良いという結果になった，しかし，いくつかのプロジェクトに対しては「e3」の方が予測精度がよいということも分かった．

4.3 考察評価実験 2 の考察であるが，まず，「e3」の方が誤差平均で見た予測精度が悪い理由は，今回の実験では，1 万件を超える実績データに基づく予測を「KnowledgePLAN」が行う一方，「e3」は予測に某企業の 42 件のプロジェクトデータのみを用いている．そこで，実績データが蓄積されることで精度が向上する可能性があると思われる．
実際にデータセットの件数を減らして「e3」を実行してみると，件数が少ないほど，予測の精度が悪くなる傾向が見られた．次に，「e3」の方が予測精度の良いプロジェク
トの特徴についてであるが，これらのプロジェクトについては，「e3」の類似性に基づく予測手法が有効に働いていた．今回のデータセットは某企業で収集された，ドメインの限定されているものであるため，過去のこのツールについての知見に基づけば，回帰分析などが有効に働くとされている．そのため，「KnowledgePLAN」の 1 万件を超える実績データに基づく予測が有効に働いていると考えられる．しかし，プロジェクトデータの中に，ドメインが限定されているものの一部特異なプロジェクトが少数存在し，それらについては「e3」の類似性に基づく手法が有効に働いた可能性が考えられる．

5. まとめ
工数予測ツール「e3」の機能拡張と追加評価実験について述べた。今後は、より多くのプロジェクトデータに対する適用実験や実用性の改善に取り組む．
謝辞
本研究は，一部日本学術振興会科学研究費補助金基盤研
究(S)(課題番号：25220003) の助成を得て行われた．
参考文献[1] E. Mendes et al., “Further comparison of cross–company and within–company effort estimation models for Web applications”, 10th IEEE
International Symposium on Software Metrics, pp.348–357(2004).
[2] 角田他, “協調フィルタリングを用いたソフトウェア開発工数
予 測 方 法 ”, 情報処理学会論文誌, Vol.46, No.5, pp.1155-1164(2005).
[3] 生方他, “期待される精度の比較による適切な工数予測手法の判別を支援する工数予測ツール”,電子情報通信学会論文誌 D,
Vol. J95-D, No 4, pp.885-894(2012).
[4] B. Boehm, "Software Engineering Economics", Prentice Hall (1981).
[5] http://promise.site.uottawa.ca/SERepository/.
[6] T. Foss et al., “A simulation study of the model evaluation criterion
MMRE”, IEEE Trans. on SE, Vol.29, No.11, pp.985-995(2003).