論 文
類似性に基づくソフトウェア開発工数見積もりにおける外れ値除去法の比較
角田 雅照†

門田 暁人†

渡邊 瑞穂†∗

柿元健††

松本 健一†

Comparison of Outlier Deletion Methods for Analogy Based Software Eﬀort Estimation
Masateru TSUNODA† , Akito MONDEN† , Mizuho WATANABE†∗ , Takeshi
KAKIMOTO†† , and Ken-ichi MATSUMOTO†

あらまし 本論文では，類似性に基づくソフトウェア開発工数見積もり方法（Analogy 法）における外れ値
除去法の効果を，3 つのプロジェクトデータセット（ISBSG データ [6]，Kitchenham データ [11]，Desharnais
データ [1]）を用いて実験的に比較する．比較対象の外れ値除去法は，これまで提案されている 4 種類の外れ値除去法（k-means 法を用いた除去法，LTS を用いた除去法，Cook の距離を用いた除去法，Mantel 相関を用いた除去法）と，本論文で新たに提案する除去法である．提案方法は，Analogy 法の特性を考慮して，類似プロジェク
トにおいて工数（生産性）が極端に異なる類似プロジェクトを外れ値とみなし，見積もり時の計算から除外する．
実験の結果，提案方法は比較した外れ値除去法の中で平均的に最も高い見積もり精度を示し，どのデータセットを用いた場合でも見積もり精度が大きく低下することはなく，ABRE(Absolute Balanced Relative Error) 平
均値で最大 28.8%の改善が見られた．
キーワード

case based reasoning, 工数予測, 異常値, プロジェクト管理, 生産性

類似したプロジェクトを選定し，それらの実績工数に1. は じ め に基づいて工数を見積もる．Analogy 法による見積もり

ソフトウェア開発プロジェクトを成功に導くために，は，見積もりの根拠となる類似プロジェクトが提示さ

開発工数を高い精度で見積もることは非常に重要でれるため，（プロジェクトマネージャなど）見積もりをあり，これまで，様々な定量的工数見積もり手法が提行う者にとって直観的に理解しやすいという利点があ案されてきた．近年，類似性に基づく工数見積もりる [31]．また，Analogy 法では，重回帰分析などのよ方法（Analogy 法）[27] に対する注目が高まっており，

うにデータセット全体に対してただ 1 つの見積もり式

Analogy 法に関する様々な提案や適用事例が報告さを構築するのではなく，見積もり対象プロジェクトごれている [7], [8], [19], [30], [31]．Analogy 法は，過去とに個別に見積もり式を構築するため，プロジェクト

プロジェクトの実績データセット（開発規模や開発工の個別性をより強く反映した見積もりが行えるという数などが記録されたデータセット．以降，単にデータ特長がある．

セットとする）から，見積もり対象のプロジェクトと†奈良先端科学技術大学院大学情報科学研究科，生駒市
Graduate School of Information Science and Technology,

る場合がある [26]．例えば，例外的な分量の作業手戻

Nara Institute of Science and Technology,

りが発生したプロジェクトの場合，同一規模の他のプ

8916-5 Ta-

kayama-cho, Ikoma-shi, Nara 630-0192 Japan††

ロジェクトに比べ，開発工数が極端に大きくなる．ま香川高等専門学校電気情報工学科，高松市
Department of Electrical and Computer Engineering, Ka-

た，工数の収集・集計時にミスが発生したプロジェク

gawa National College of Technology, 355 Chokushicho,

トの場合，実際の工数と異なる工数が記録される．こTakamatsu-shi, Kagawa 761-8058 Japan∗

ただし，データセットには，見積もりの根拠データとして用いるべきではないプロジェクトが含まれてい

現在，日本アイ・ビー・エム株式会社

電子情報通信学会論文誌 D Vol. Jxx–D

れらのプロジェクトは見積もり精度の低下を招くため，
c （社）電子情報通信学会 xxxx
No. xx pp. 1–14 ⃝1

電子情報通信学会論文誌 xxxx/xx Vol. Jxx–D No. xx

見積もり時に除外する必要がある．しかしほとんどの場合，データセットにはこのような個別のプロジェク

Table 1

トの内情までは記録されていないため，これらのプロ
ジェクトを特定することは難しい．また，仮にデータ収集時にこういった内情を知り得た場合でも，どの程度の分量の作業手戻りが発生したプロジェクトを除く

P roj1…
P roji…
P rojn

表 1 Analogy 法で用いるデータセット
Dataset Used by Analogy Based Eﬀort Estimation.

Ef f ort
y1
…
yi
…
yn

Size
f p11
…
f pi1
…
f pn1

M etric1
x11
…
xi1
…
xn1

… M etricj
…
x1j
…
…
xij
…
…
xnj

… M etricm
…
x1m
…
…
xim
…
…
xnm

べきかといった規準を設定することは容易ではない．
このため，統計的手法に基づく外れ値除去法を用いて，これらのプロジェクトを除去することが行われる．
外れ値除去法とは，特定の変数の値が極端に大きなプ
ロジェクトや，（工数や規模，開発期間などの）変数の値の組み合わせが他のプロジェクトと大きく異なるプ
ロジェクトを外れ値とみなし，データセットから除去する方法である．重回帰分析の場合，Cook の距離 [29]を用いて外れ値を除去することが一般的である．Cookの距離を用いた除去法では，重回帰分析を行い，モデルの係数に大きな影響を与えるケースを外れ値とみなす．Cook の距離を用いた除去法以外にも，工数見積
もり時にデータセットから外れ値を除去する方法がいている [8], [24]．そこで本論文では，類似プロジェクトにおいて実績工数（生産性）が大きく異なるプロジェ
クトを外れ値とみなし，工数見積もりの計算から除外する．具体的には，類似プロジェクト抽出後に，ロバ
スト Z-score 法 [22] で標準化した実績工数が閾値を上回るプロジェクトを外れ値とみなす．
以降，2 章では Analogy 法について説明し，3 章で従来の外れ値除去法，4 章で提案方法について説明する．5 章では評価実験について説明し，6 章で実験結果，7 章で考察を述べる．最後に 8 章でまとめと今後の課題を述べる．

くつか提案されている [7], [26]．ただし，これらの外れ

2. 類似性に基づく工数見積もり

値除去法を Analogy 法に適用した事例はほとんどな

Analogy 法では，表 1 に示す m × n 行列で表される

く，さらにこれらの外れ値除去法を適用した場合の効
果もこれまで比較されておらず，いずれの外れ値除去
法が Analogy 法に適しているのかは明らかではない．
そこで本論文では，Analogy 法に複数の外れ値除去法を適用し，それぞれの効果を比較する．実験では，これまで提案されている 4 種類の外れ値除去法（k-means 法を用いた除去法 [26]，LTS を用いた除去法 [26]，Cook の距離を用いた除去法 [29]，Mantel 相関を用いた除去法 [7]）を，3 種類のデータセット（ISBSG
データ [6]，Kitchenham データ [11]，Desharnais デー
タ [1]）に適用して外れ値を除去し，工数見積もりを行い，見積もり精度を比較する．これらはソフトウェア
開発企業で収集されたデータであり，無償もしくは有償にて利用可能で，かつ多くの論文で工数見積もりモデル構築のために使われており，プロジェクト数が多いという特徴を持つ．
さらに本論文では，Analogy 法の特性を考慮した外れ値除去法を提案し，従来の外れ値除去法と効果を比

データセットを入力として用いる．表において，P roji
は i 番目のプロジェクト，M etricj は j 番目の変数，

xij は P roji の M etricj の値，f pi は P roji の（ファンクションポイントなどの）開発規模，yi は P rojiの工数を示す．ここで P roja を見積もり対象のプロ
ジェクト，yˆa を ya の見積もり値とする．このとき，

Analogy 法による工数見積もりは以下の手順で行われる．
（ 1 ） 各変数 M etricj の値域を [0,1] に正規化し，値域（単位）の違いが類似度計算に影響を与えないよ
うにする（正規化を行わない場合，値域の大きな変数が類似度に大きな影響を与えてしまう）．j 番目の変数 M etricj の最大値を max(M etricj )，最小値を′min(M etricj ) としたとき，vij の正規化後の値 vijは

次式により求める．
′
vij=

vij − min(M etricj )max(M etricj ) − min(M etricj )(1)

較する．Analogy 法では，類似プロジェクトを複数個（ 2 ） データセットから，見積り対象のプロジェク

抽出し，それらの実績工数に基づいて見積もり工数をト P roja と類似した過去プロジェクト P roji を見つ計算するが，類似プロジェクトの実績工数（3 章で後けるため，2 つのプロジェクト間の「距離」を類似度述する規模補正法を用いる場合，生産性）がばらついとして用いる．プロジェクトを m 個の変数で表現し，ている場合，見積もり精度が低下することが指摘されm 次元空間におけるユークリッド距離を求めることが2

論文／類似性に基づくソフトウェア開発工数見積もりにおける外れ値除去法の比較一般的である [30]．この距離が短いほど，2 つのプロ

トワーク，ベイジアンネットワークそれぞれによる見ジェクトは類似していることを表す．P roja と P roji

積もり時に外れ値除去法を適用し，外れ値除去の効果の距離 Dist(P roja , P roji ) は次式により求める．

を確かめている．ただし，Analogy 法に適用した場合

v
um
u∑
′
′ 2
Dist(P roja , P roji ) = t
(vah
− vih
)

の効果は確かめていない．

(2)

Keung ら [7] は，Analogy 法への適用を前提とした，Mantel 相関を用いた除去法を提案している．Mantel

h=1

相関を用いた除去法により，どのプロジェクトが除去（ 3 ） 類似度が高い k 個の過去プロジェクト P roji

されるかは分析しているが，Mantel 相関を用いた除の実績工数 yi より，見積もり対象プロジェクト P roja

去法により，見積もり精度がどの程度改善するかは確の見積もり工数 yˆa を計算する．一般的には，類似

かめていない．以降では，それぞれの外れ値除去法にプロジェクトの実績工数の平均値を見積もり工数とついて詳述する．

する計算法が用いられるが，本論文では複数の適用

3. 1 k-means 法を用いた除去法

事例においてより高い見積もり精度が報告されていk-means 法を用いた除去法は，k-means 法によるクる [8], [19], [31]，類似プロジェクトの実績工数を規模補正した値を見積もり工数とする計算法（以降，規模補正法と呼ぶ）を用いる．規模補正法では，見積もり
対象プロジェクトの規模が類似プロジェクトの規模のs 倍（s は 0 より大きい実数）であれば，工数も同様に
s 倍になっているという仮定に基づき，類似プロジェ
クトの規模と見積もり対象のプロジェクトの規模の比に基づいて類似プロジェクトの工数を補正している．

ラスタリング結果に基づいて外れ値を特定し，除去する手法である [26]．k-means 法は，データを k 個のクラスタに分け，互いに似ているケースを同じクラス
タに割り当てる．k は初期値として与える必要がある
が，k-means 法を用いた除去法では，シルエット値の平均値が最小となる k を採用する．シルエット値は，各ケースが所属しているクラスタが適切かどうかを判断する指標であり，あるケースが所属しているクラス

P roji の開発規模 f pi と P roja の開発規模 f pa を用

タとそれ以外のクラスタとの距離に基づいて計算されいて，P roji の補正工数 adjyi は式 3 により，見積もりる．シルエット値の値域は [-1,1] であり，1 に近いほど

工数 yˆa は式 4 により計算する．ここで，Simprojects

そのケースは適切なクラスタに割り当てられているとは，P roja と類似度の高い上位 k 個のプロジェクトのいえる．k-means 法を用いた除去法では，シルエット

集合を表す．

値が 0 未満のケースと，2 個以下の個体しか存在しな

f pa
adjyi = yi ×
f pi

(3)

タセットから除外する．なお，k-means 法を適用する

∑

yˆa =

adjyh
h∈Simprojectskいクラスタに含まれるケースを外れ値とみなし，デー(4)

3. 従来の外れ値除去法

前に，あらかじめ式（1）によりデータを正規化しておく．

3. 2 LTS を用いた除去法
LTS(Least trimmed squares) を用いた除去法は，外れ値除去法とは，データサンプル（データセット）

重回帰分析を行い，残差の大きいケースを外れ値とみ中のケース（プロジェクト）が外れ値であるか検証し，なす手法である [26]．LTS 法はロバストな重回帰分析

外れ値と判断されたケースをデータサンプルから除去の手法である．通常の重回帰分析では残差二乗和が最小する処理である．これまで，ソフトウェア開発工数見になるようにモデルを構築するのに対し，LTS 法では積もりにおいて，重回帰分析適用時に Cook の距離を

残差を小さい順に並べた場合の h 番目（n/2 < h < n，

用いて外れ値を除去することは行われていたが（ [18]n はデータ件数）までの残差を用いて，残差二乗和がなど），外れ値除去法の効果を確かめた研究は少な最小になるようにモデルを構築する．LTS を用いた除く [26]，Analogy 法に適した外れ値除去法もほとんど去法では，h = 0.75n とし，残差の大きい 0.25n 個の存在しない [7]．

ケースを外れ値とみなし，データセットから除外する．

Seo ら [26] は，ソフトウェア開発工数見積もり時に

3. 3 Cook の距離を用いた除去法

LTS 法を用いた除去法と k-means 法を用いた除去法

Cook の距離を用いた除去法は，重回帰分析を行い，を適用することを提案し，重回帰分析，ニューラルネッ

モデルの係数に大きな影響を与えるケースを外れ値と3

電子情報通信学会論文誌 xxxx/xx Vol. Jxx–D No. xx

みなす．Cook の距離は，あるケースをモデル推定のあろう」という前提に基づいて見積もっており，提案

計算から除外した場合に，すべてのケースの残差がど方法は Analogy 法の前提に当てはまらないプロジェの程度変化するかを示す距離であり，Cook の距離がクトを外れ値とみなしている．Analogy 法では類似プ

4/n（n はデータ件数）以上となるケースを外れ値とロジェクトの実績工数がばらついている場合，見積もみなし [29]，データセットから除外する．Cook の距

り精度が低下することが指摘されており [24]，提案法

離が大きい場合，そのケースをモデル構築の計算からはこの問題点に対応している．

除外したことにより，偏回帰係数が大きく変化したこ

規模補正法を用いる場合，提案方法は生産性に基とを示す．Cook の距離を用いた除去法は，重回帰分

づいて外れ値を除去することになる．式（3）をみる

析適用時に外れ値を除去する方法であるが，工数見積と，類似プロジェクトの補正工数 adjyi は生産性の逆もりの研究における外れ値除去法としては最も一般的数 yi /f pi （yi は実績工数，f pi は開発規模）に見積であるため，本論文では Analogy 法に適用し，その効もり対象プロジェクトの開発規模 f pa を乗じており，果を確かめる．

（adjyi 計算時には）f pa は定数とみなされるため，補3. 4 Mantel 相関を用いた除去法

正工数 adjyi に基づいて外れ値を除去することは，生Mantel 相関を用いた除去法は，説明変数の値が類似産性に基づいて外れ値を除去することと同じとなる．

しているにもかかわらず，目的変数の値が類似してい提案方法では，類似プロジェクトの実績工数（規模ないケースを外れ値とみなす手法であり [7]，Analogy

補正法を用いる場合は補正工数，すなわち生産性）の法に適用することを前提としている．通常の相関係数

中央値と比較して，大きく異なるプロジェクトを外れ（Pearson の相関係数など）は 2 つの変数の関連の強値とみなす．ただし，類似プロジェクトの実績工数のさを表すのに対し，Mantel 相関は（説明変数のセッ

分散が大きいと中央値との差も大きくなるため，実績トと目的変数など）2 つの変数セット間の関連の強さ

工数を標準化し，閾値を超えるプロジェクトを外れ値を表す．Mantel 相関により「プロジェクトの開発規とみなす．一般に，標準化には正規分布を前提とする

模や開発期間（説明変数の値）が似ていると，開発工Z-score 法が用いられるが，類似プロジェクトの実績工数（目的変数の値）も似ているかどうか」を調べるこ

数は必ずしも正規分布に従っているとは限らない．そとができる．Mantel 相関は，各プロジェクトのペア

こで提案方法では，正規分布を前提としないロバスト

について，説明変数に基づくユークリッド距離と目的

Z-score 法 [22] を用いて標準化する．ロバスト Z-score

変数に基づくユークリッド距離を計算し，それらの相法では，平均値の代わりに中央値を，標準偏差の代わ関係数を計算することにより求められる．

りに四分位範囲を用いる．より詳細には，類似度が高Mantel 相関を用いた除去法では，以下の手順によい k 個の過去プロジェクトから，以下の手順で外れ値

り外れ値を特定する．

を除去する．

（ 1 ） 全てのプロジェクトについて，i 番目のプロ（ 1 ） 類似プロジェクトの工数 yi の中央値 M と四ジェクトを除外した Mantel 相関 ri を計算する．

分位範囲 IQR を計算する．規模補正法を用いる場合，（ 2 ） ri の平均値 r̄，標準偏差 rs を計算する．

yi は類似プロジェクトの実績工数ではなく，規模補正（ 3 ） i 番目のプロジェクトが Mantel 相関の平均

した工数とする．

値 に与える影響の大きさをてこ比 lmi と呼び，ri − r̄（ 2 ） 以下の式（ロバスト Z-score 法 [22]）により，により求める．

標準化された工数 yi′ を計算する．

（ 4 ） てこ比を標準偏差 rs で割り，標準化した値が4（Keung ら [7] が推奨する値．4σ ）を上回るプロジェ
クトを外れ値とみなし，データセットから除外する．

4. 提案する外れ値除去法
提案する外れ値除去法は，見積もり対象プロジェク

yi′ =yi − M
N IQR(5)

ここで N IQR = 0.7413 · IQR であり，正規分布の標準偏差に該当する（平均値 0，標準偏差 1 の正規分布の IQR は 1.34898 であり，IQR に 1.34898 の逆数を乗じることにより，標準偏差と等しくなる）．

トと類似したプロジェクトの中で，工数が大きく異な（ 3 ） yi′ の絶対値が閾値 th を上回る（中央値 M かるプロジェクトを外れ値とみなす．Analogy 法は「類ら標準偏差に該当する N IQR の th 倍離れている）プ

似するプロジェクトは，工数も互いに似た値を取るでロジェクトを外れ値とみなし，見積もり工数計算から4

論文／類似性に基づくソフトウェア開発工数見積もりにおける外れ値除去法の比較除外する．見積もり工数 yˆa は以下の式により計算す

去法や LTS を用いた除去法を適用する場合，（未調整，る（規模補正法を用いる場合，yh は規模補正した工数

または調整済）FP のみを説明変数とした．これは，（ことなる）．ここで，Elimprojects は，P roja と類似

れらの除去法で使用される）重回帰分析を適切に行う

度の高い上位 k 個のプロジェクトから，d 個の外れ値ためには，一般に説明変数の個数の 5 倍 [28]，または

プロジェクト除外した集合を表す．

5〜10 倍程度のデータ件数が必要である [12] とされて

∑
yˆa =

h∈Elimprojects

yh

k−d

おり，説明変数を絞り込んだほうがより適切に重回帰(6)

本論文では閾値 th を 1.65（標準正規分布の片側 5%点にあたる）とした．

分析が行われると考えられるためである．

5. 1 実験に用いたデータセット
ISBSG データは，International Software Benchmark Standard Group (ISBSG) が収集した 20 カ国

提案方法は，開発現場における（人手による）類推のソフトウェア開発企業のデータである [6]．本論文

見積もり法において，外れ値を除去する方法と定性的ではリリース 9 のデータを用いており，1989 年からには類似しているといえ，その方法を定量的に実施で2004 年までの 3026 件のプロジェクトについて，99 種

きるようにしたとみなすこともできる．また，他の外類の変数が記録されている．ただし，ISBSG データ

れ値除去法と比べるとシンプルであることから，開発にはデータの信頼性が低いプロジェクトなどが含まれ現場に受け入れられやすいという副次的効果が期待ており，これらを分析から除外する必要がある．そこされる．提案手法がシンプルである理由は，類似プロ

で ISBSG データを用いて工数見積もりの研究行ってジェクト抽出後に適用することが前提となっているた

いる Lokan ら [17] の条件（データの品質が A またはめである．類似プロジェクト同士は説明変数の値が類B，FP が IFPUG 法で計測されているなど）に従って似しているため，従来の外れ値除去法のように説明変データを抽出した．さらに欠損値（変数に値が記録さ数を考慮に入れる必要性は低くなる．そのため，比較れていないこと）が含まれているプロジェクトを除外

的簡便な方法により，目的変数の値のみに着目して外した，593 件を実験に用いた．また，説明変数についれ値を除去することができる．

ても Lokan らと同じ 4 つの変数（未調整 FP，開発種

5. 評 価 実 験
実験により，従来の外れ値除去法と提案する外れ値除

別，言語種別，プラットフォーム）を用いた．開発種
別，言語種別，プラットフォームはカテゴリ変数のため，ダミー変数化して用いた．

去法の性能を評価した．実験では，ISBSG データ [6]，Kitchenham データは，Kitchenham が 2002 年にKitchenham データ [11]，Desharnais データ [1] の 3

文献の中で公開した，あるソフトウェア開発企業のつのデータセットを用いて，Analogy 法により開発工データである [11]．データセットに含まれる 145 件の数を見積もった．見積もり時に従来の外れ値除去法とプロジェクトのうち，欠損値が含まれるプロジェクト

提案する外れ値除去法をそれぞれ適用し，精度を比較を除いた 135 件を用いた．説明変数は，工数見積に用することにより，それぞれの外れ値除去法の性能を評いるには不適切な変数（プロジェクト管理者による工価した．見積もり時期はプロジェクトの計画完了時で数の見積値など）と開発期間を除いた 2 つの変数（調あると想定し，その時点で値が明確になっている変数

整済み FP，開発種別）である．このうち開発種別はのみを説明変数として用いた．

カテゴリ変数のため，ダミー変数化して用いた．

外れ値を除去してから Analogy 法で見積もりを行

Desharnais データ [1] は，Desharnais によって収集う場合と，類似プロジェクト抽出後に外れ値を除去しされたカナダのソフトウェア開発企業における 80 年て見積もりを行う場合の性能についてそれぞれ評価し代のデータセットである [4]．データセットに含まれる

た．ただし，k-means 法を用いた除去法では，2 個以

81 件のプロジェクトのうち，欠損値が含まれるプロ下の個体しか存在しないクラスタに含まれるケースをジェクトを除いた 77 件を用いた．説明変数は，開発外れ値とみなすと，ほとんどのプロジェクトが外れ値

年度と調整済み FP（ファンクションポイント），開発となるため，シルエット値が 0 未満のプロジェクトの期間を除いた 7 つの変数（開発チームの経験年数，プ

みを除去対象とした．

ロジェクトマネージャの経験年数，トランザクション

類似プロジェクト抽出後に Cook の距離を用いた除数，未調整 FP，調整係数，開発言語，エンティティ
5電子情報通信学会論文誌 xxxx/xx Vol. Jxx–D No. xx数）である．このうち開発言語はカテゴリ変数のため，積もり値が 0 人時の場合，M RE は 1 となる）．逆にダミー変数化して用いた．Cook の距離を用いた除去

過大見積もりの場合，M ER は最大でも 1 未満としか法と LTS を用いた除去法を適用する際には，トランならない．そこで本論文では，M RE ，M ER に加え，ザクション数とエンティティ数を説明変数から除外し過大見積もりと過少見積もりをバランスよく評価する

た．これは，未調整 FP= トランザクション数 + エン

指標 [21] である ABRE を評価指標に用いた．また，

ティティ数という関係があり，説明変数として用いる

外れ値除去によって工数見積もりの偏りが変化するかことは，多重共線性の点から不適切であるためである．

どうかを確かめるために BRE を用いた．

5. 2 評 価 指 標

5. 3 実 験 手 順

工数見積もり 精度の評 価指標と して，AE (Ab-それぞれの外れ値除去法を適用してソフトウェア開

solute Error)，M RE (Magnitude of Relative Er-

発工数を見積もる実験を行い，外れ値除去法の性能比ror) [3]，M ER (Magnitude of Error Relative to the較を行った．実験では，工数見積モデルの研究におい

estimate) [10]，ABRE (Absolute Balanced Relativeて K-fold cross validation とともに最も一般的な方法

Error) [20]，BRE (Balanced Relative Error) [20] のである [23]，holdout 法 [5] を用いた．holdout 法を適

5 つの指標の平均値と中央値を用いた（注 1）．工数の実用する場合，フィットデータのサイズが小さくなり，

測値を x，見積もり値を x̂ とするとき，それぞれの指精度に悪影響を与えないか注意する必要がある．工数標は以下の式により求められる．

見積もりの実験において信頼できる結果を得るために

AE = |x − x̂|(7)

M RE =|x − x̂|x(8)

M ER =|x − x̂|x̂

(9)は，20 件以上のフィットデータが存在することが理想的であるとされているが [9]，最もデータ件数が少ない

Desharnais データに holdout 法を適用しても，39 件
を学習データとして用いることができるため，悪影響はないと判断した．
類似プロジェクト抽出前に Cook の距離を用いた除去法と LTS を用いた除去法（重回帰分析）を適用す{
ABRE ={BRE =|x̂−x|, x̂ − x >=0x|x̂−x|
,
x̂
−
x
<
0
x̂

る場合，前述のように説明変数の個数の 5 倍，または(10)

5〜10 倍程度のデータ件数が必要となるが，データ数と比較して（ダミー変数を含めた）説明変数が最も多い Desharnais データにおいても，説明変数の個数の(x̂−x), x̂ − x >=0x(x̂−x), x̂ − x < 0x̂

6.5 倍にあたる 39 件のデータがラーニングデータに含(11)

まれており，問題はないと考えられる．
外れ値を除去してから Analogy 法で見積もりを行

BRE 以外の指標は，値が小さいほど工数見積もりう場合，以下の手順に従って実験を行った（図 1）．

の精度が高いことを示す．BRE は 0 に近いほど工数（ 1 ） データを無作為に半数ずつに分け，一方を見積もりに偏りがないことを示す（正の値の場合，過フィットデータ，もう一方をテストデータとする．フィッ

大見積もりに偏っていることを示し，負の値の場合はトデータは見積もりの根拠とするデータセット（過去

過少見積もりに偏っていることを示す）．直感的にはプロジェクトに該当する），テストデータは見積もり

M RE は実測値との相対誤差，M ER は見積もり値と対象とするデータセット（開発中のプロジェクトに該の相対誤差であるといえる．ただし，M RE と M ER

当する）である．

は過大見積もりと過少見積もりに対し，アンバランス（ 2 ） 外れ値除去法を適用してフィットデータからな評価になるという問題がある [2], [16]．
（見積もり工

外れ値を除去した後，フィットデータから各フィット

数が 0 以上の）過少見積もりの場合，M RE は最大でデータの類似プロジェクトを抽出し，それらを用いても 1 にしかならない（例えば実測値が 1000 人時，見対象とするフィットデータのプロジェクトの工数を（未知のものとして）見積もる．類似プロジェクト数 k を（注 1）：ABRE と BRE の平均値は，それぞれ文献 [20] の ARE ，REに該当する．本論文では，他の評価指標の定義と合わせるために式変形を行い，用語を変更した．

6

1 から 20 まで変化させて見積もりを行い，それぞれの場合で残差二乗和を計算し，残差二乗和が最も小さ論文／類似性に基づくソフトウェア開発工数見積もりにおける外れ値除去法の比較

図2

図1

実験手順（類似プロジェクト抽出前に外れ値を除去する場合）
Fig. 1 Experimental procedure (Outliers are deleted
before selecting similar projects).

実験手順（類似プロジェクト抽出後に外れ値を除去する場合）
Fig. 2 Experimental procedure (Outliers are deleted
after selecting similar projects).

（ 4 ） テストデータの工数実測値と見積もり値から，くなった k を採用する．
（ 3 ） 手順（2）で外れ値を除去したフィットデータ
から各テストデータの類似プロジェクトを抽出し，それらを用いて対象とするテストデータのプロジェクトの工数を（未知のものとして）見積もる．類似プロジェ
クト数は手順（2）で採用した値を用いる．
（ 4 ） テストデータの工数実測値と見積もり値から，各評価指標を計算する．

各評価指標を計算する．
（ 5 ）（1）〜（4）の手順を 10 回繰り返す．
なお，手順（2）における残差二乗和とは，AE の二乗を合計したものであり，見積もりモデルを選択する
際に広く用いられている [16]．また，手順（2）においてフィットデータが 20 件未満の場合は，k の最大値はフィットデータに含まれるプロジェクト件数とした．

6. 実 験 結 果（ 5 ）（1）〜（4）の手順を 10 回繰り返す（10 組のフィットデータ，テストデータ，各評価指標が得られる）．
類似プロジェクト抽出後に外れ値を除去して見積もりを行う場合，以下の手順に従って実験を行った（図2）．
（ 1 ） データを無作為に半数ずつに分け，一方を
フィットデータ，もう一方をテストデータとする．
（ 2 ） フィットデータから各フィットデータの類似
プロジェクトを抽出し，類似プロジェクトに外れ値除去法を適用して外れ値を除去してから，それらを用いて対象とするフィットデータのプロジェクトの工数を（未知のものとして）見積もる．類似プロジェクト数 k
を 1 から 20 まで変化させて見積もりを行い（k < 3 など，k が小さすぎて外れ値除去法が適用できない時は，外れ値を除去せずに見積もった），それぞれの場合で残差二乗和を計算し，残差二乗和が最も小さくなった

k を採用する．
（ 3 ） フィットデータから各テストデータの類似プ
ロジェクトを抽出し，類似プロジェクトに外れ値除去法を適用して外れ値を除去してから，それらを用いて

表 2〜表 4 に，各データセットにおける外れ値除去法を適用しない場合（Analogy 法だけを用いる場合）の評価指標，適用しない場合と適用した場合の評価指標の差，及び除去率（除去プロジェクト件数 / 全プロ
ジェクト件数．類似プロジェクト抽出後に除去した場
合，除外プロジェクト数 / 類似プロジェクト数の平均値）を示す．評価指標は 10 個のテストデータから得られた値を平均したものである．差が負となっている
ものは，外れ値除去法を適用することにより評価指標が悪化したことを示す．差の検定ではノンパラメト
リックな検定である Wilcoxon の符号付順位和検定を用いた（注 2）（各評価指標は正規分布しているとはいえず，また同じフィットデータに対してそれぞれの外れ値除去法を適用した結果を比較するため）．有意水準
は 5%とし，有意差があった場合は斜体で表している．

6. 1 ISBSG データに外れ値除去法を適用した場合（類似プロジェクト抽出後に適用）
提案手法 M ER 平均値は悪化していたが，ABREの平均値で 28.83%，中央値で 4.86%改善しており，さらに AE の平均値や中央値など，その他の評価指標も対象とするテストデータのプロジェクトの工数を（未知のものとして）見積もる．類似プロジェクト数は手順（2）で採用した値を用いる．

（注 2）：この検定では，外れ値除去法未適用時と適用時を比較して，いくつのテストサブセットで評価指標が上回っている（または下回っている）かによって p 値が決定され，差の大きさには影響を受けない．

7

電子情報通信学会論文誌 xxxx/xx Vol. Jxx–D No. xx
表 2 外れ値除去法を適用した場合の評価指標（ISBSG データ）
Table 2 Evaluation Criteria after Outlier Deletion (ISBSG Data).
外れ値除去法未適用
抽出後 提案方法
適用
Mantel 相関
k-means 法
Cook の距離
LTS
抽出前 提案方法
適用
Mantel 相関
k-means 法
Cook の距離
LTS

AE
AE
M RE
M RE
平均値 中央値 平均値
中央値
3680
1607 166.93% 59.59%
602
285 47.80% 5.60%
0
0
0.00%
0.00%
61
-6
2.46%
0.10%
158
42
9.29%
1.50%
477
239 37.25% 3.63%-379-83 -22.08% -3.31%
131
44.53% -0.82%-99-122
0.68% -3.20%
309-412.24% -2.91%
419
118 34.24%
0.10%

M ER
平均値
91.27%-16.90%
0.00%
0.52%
0.90%
-11.42%
12.55%-1.34%-20.04%-19.08%-23.34%M ER
中央値58.05%
0.29%
0.00%
1.58%
0.94%
-0.02%
2.37%-0.43%-2.16%-0.75%-4.01%

ABRE
平均値
210.36%28.83%
0.00%
2.63%
9.52%
24.18%-9.39%
3.19%-17.86%-5.99%
11.25%

ABRE
中央値
91.69%
4.86%
0.00%
2.12%
2.22%
4.30%
0.93%
-0.32%-10.07%-7.37%-6.64%

BRE
平均値-87.24%75.89%
0.00%
1.36%
9.63%
57.61%-42.34%6.84%
24.01%
34.92%
66.87%

BRE
中央値-21.38%19.17%
0.00%-1.49%
3.39%
20.32%-16.51%
1.35%
7.06%
7.00%
19.47%

除去率
0.00%
15.41%
0.00%
0.74%
3.91%
21.56%
15.12%
1.21%
2.79%
4.65%
24.92%

改善していたことから（M ER 中央値と ABRE 中央下であった．ただし，改善の程度は ABRE 平均値で値以外で有意差があった），外れ値除去の効果があっ

3.19%であり，ABRE 中央値ではほとんど変化がなたといえる．

く，さらに外れ値除去法を適用しない場合と有意差がMantel 相関を用いた除去法 プロジェクトが全くあった評価指標は M RE 平均値だけであったことか除外されておらず，外れ値除去が機能していなかった．

ら，外れ値除去の効果はごくわずかであるといえる．

k-means 法を用いた除去法 10 個中 8 個の評価指標

k-means 法を用いた除去法，Cook の距離を用いが改善し，改善しなかった評価指標についても悪化はた除去法 4 個以下の評価指標しか改善しておらず，さごくわずかであった．ただし，見積もり精度の改善のらに ABRE の平均値，中央値とも 6%以上悪化して程度は ABRE の平均値で 2.63%，中央値で 2.12%でいた．従って，k-means 法を用いた除去法，Cook のあり，さらに外れ値除去法を適用しない場合と有意差距離を用いた除去法は ISBSG データには適していながあった評価指標はなかったことから，外れ値除去のいといえる．

効果はごくわずかであるといえる．

LTS を用いた除去法 7 個の評価指標が改善してい

Cook の距離を用いた除去法 全ての評価指標が改たが（AE 平均値，M RE 平均値，BRE の平均値と善していた．ただし，外れ値除去法を適用しない場合

中央値に有意差があった），ABRE 中央値が悪化してとの有意差は見られず，また，ABRE の平均値と中央いた．どの評価指標を重視するかによって，LTS を用

値の改善の程度はそれぞれ 9.52%，2.22%であり，提いた除去法に効果があるかどうかの判断は異なるが，

案方法や LTS を用いた除去法よりも外れ値除去の効

BRE 中央値を除いて，類似プロジェクト抽出後に提果が大きいとはいえない．

案手法を適用した場合のほうが評価指標の改善の程度

LTS を用いた除去法 M ER の平均値と中央値は悪が大きく，少なくとも類似プロジェクト抽出後に提案化していたが，ABRE の平均値で 24.18%，中央値手法を適用した場合よりも効果が大きいとはいえない．

で 4.30%改善し，その他の評価指標も改善しており

6. 3 Kitchenham データに外れ値除去法を適用（M ER 中央値と ABRE 中央値以外で有意差があっした場合（類似プロジェクト抽出後に適用）た），提案方法と同程度の効果が見られた．

提案手法 10 個中 7 個の評価指標が改善しており，

6. 2 ISBSG データに外れ値除去法を適用した場

ABRE の平均値で 7.61%，中央値で 1.67%改善して合（類似プロジェクト抽出前に適用）いた（M RE 平均値，BRE の平均値と中央値が有意提案手法 10 個中 3 個の評価指標しか改善しておに改善し，M ER 平均値が有意に悪化していた）．たらず，さらに ABRE 平均値が 9.39%悪化していた．

だし 6.4 節で後述するように，類似プロジェクト抽出

従って，提案方法を類似プロジェクト抽出前に適用す

前適用の Cook の距離を用いた除去法のほうが効果がべきでないといえる．

高い可能性がある．

Mantel 相関を用いた除去法 6 個の評価指標が改善

Mantel 相関を用いた除去法 全ての評価指標が改し，改善しなかった評価指標についても悪化は 1.34%以善していたが（ABRE の平均値と中央値はそれぞれ

8

論文／類似性に基づくソフトウェア開発工数見積もりにおける外れ値除去法の比較
表 3 外れ値除去法を適用した場合の評価指標（Kitchenham データ）
Table 3 Evaluation Criteria after Outlier Deletion (Kitchenham Data).
外れ値除去法未適用
抽出後 提案方法
適用
Mantel 相関
k-means 法
Cook の距離
LTS
抽出前 提案方法
適用
Mantel 相関
k-means 法
Cook の距離
LTS

AE
AE
M RE
M RE
平均値 中央値 平均値
中央値
1335
635
95.80% 40.82%-20
7 17.45%
2.91%
14
2
1.02%
0.28%
-14
19
0.37% -0.27%
-73
1
0.58%
0.61%
-223
15 10.52%
1.10%-81-7 -13.80% -0.41%-23-2-0.04%
1.67%
19
17
1.96% -0.05%
46
40
4.86%
2.90%
28
-6
-1.02%
1.76%

M ER
平均値
50.81%-10.08%0.45%-0.15%-3.77%-12.83%
3.46%
1.63%-1.12%
2.99%
0.72%

M ER
中央値
36.69%-2.07%
0.51%-0.72%-1.54%-1.39%-2.06%
0.91%
0.71%
2.89%
0.73%

ABRE
ABRE
平均値
中央値
110.95% 49.57%
7.61%
1.67%
1.27%
0.51%
0.20%
0.31%
-2.77% -2.24%-1.26% -0.59%-9.63% -3.25%
1.30%
2.00%
0.98%
0.80%
6.52%
5.09%
-0.42%
1.77%

BRE
BRE
除去率
平均値
中央値
-54.36% -11.10%
0.00%
37.77%
8.14% 17.21%
0.63%
0.17%
0.03%
0.81%
-0.72%
1.58%
7.42%
5.23%
9.79%
33.21%
9.63% 19.64%-23.39% -8.05% 14.41%-2.14%
0.14%
1.76%
3.97%
1.18%
1.91%
1.82%
2.19%
5.44%
-1.91%
0.99% 25.00%

1.27%，0.51%改善していた），その程度は小さく，有く，有意差もなかったことから，外れ値除去の効果は意差もなかったことから，外れ値除去の効果はごくわ

ごくわずかであるといえる．

ずかであるといえる．

k-means 法を用いた除去法 8 個の評価指標が改善

k-means 法を用いた除去法 5 個の評価指標が改してした（BRE 平均値が有意に改善していた）．た

善していたが（ABRE の平均値と中央値はそれぞれだし，ABRE の平均値と中央値の改善の程度が小さ

0.20%，0.31%改善していた），その程度は小さく，有く（それぞれ 0.98%，0.80%），類似プロジェクト抽

意差もなかったことから，外れ値除去の効果はごくわ

出後に提案手法を適用した場合よりも外れ値除去の効ずかであるといえる．

果が大きいとはいえない．

Cook の距離を用いた除去法 5 個の評価指標が改善

Cook の距離を用いた除去法 全ての評価指標が改しており，BRE の平均値と中央値が 5%以上改善し善しており（M ER 平均値が有意に改善していた），ていた．ただし，ABRE の平均値と中央値が若干悪

ABRE の平均値と中央値が 5%以上改善していたこと化しており，かつ指標値が改善している評価指標におから，外れ値除去の効果があったといえる．類似プロ

いて有意差がなかったことから，少なくとも類似プロ

ジェクト抽出後適用の提案方法と比較すると，ABRE

ジェクト抽出後に提案手法を適用した場合よりも外れの平均値の改善の差は小さく，かつ中央値の改善の程

値除去の効果が大きいとはいえない．

度は Cook の距離を用いた除去法のほうが大きかった．

LTS を用いた除去法 5 個の評価指標が改善してしCook の距離を用いた除去法では，BRE の平均値とた（M RE 平均値，BRE の平均値と中央値が有意に中央値の改善の程度が提案方法に比べて小さいことに改善しており，M ER 平均値が有意に悪化していた）．

注意する必要があるが，Kitchenham データに対する

ただし，ABRE の平均値と中央値が若干悪化してお外れ値除去の効果は，Cook の距離を用いた除去法のり，かつ AE 平均値の悪化の程度が比較的大きいことほうが提案方法よりも高い可能性がある．

から，少なくとも類似プロジェクト抽出後に提案手法

LTS を用いた除去法 6 個の評価指標が改善してを適用した場合よりも外れ値除去の効果が大きいとはいたが（ABRE の平均値は 0.42%悪化し，中央値はいえない．

1.77%改善していた），その程度は大きくなく，有意6. 4 Kitchenham データに外れ値除去法を適用した場合（類似プロジェクト抽出前に適用）
提案手法 10 個中 1 個の評価指標しか改善しておらず，さらに ABRE 平均値が 9.63%悪化していた．
従って，提案方法を類似プロジェクト抽出前に適用すべきでないといえる．

差もなかったことから，外れ値除去の効果はあるとしてもごくわずかであるといえる．

6. 5 Desharnais データに外れ値除去法を適用した場合（類似プロジェクト抽出後に適用）
提案手法 10 個中 3 個の評価指標しか改善しておらず，改善している評価指標において有意差が見られず

Mantel 相関を用いた除去法 6 個の評価指標が改（M ER 平均値が有意に悪化していた），ABRE の平善していたが（ABRE の平均値と中央値はそれぞれ均値と中央値が若干悪化していたことから，外れ値除1.30%，2.00%改善していた），その程度は大きくな

去の効果があるとはいえない．ただし，ABRE の平9電子情報通信学会論文誌 xxxx/xx Vol. Jxx–D No. xx
表 4 外れ値除去法を適用した場合の評価指標（Desharnais データ）
Table 4 Evaluation Criteria after Outlier Deletion (Desharnais Data).
外れ値除去法未適用
抽出後 提案方法
適用
Mantel 相関
k-means 法
Cook の距離
LTS
抽出前 提案方法
適用
Mantel 相関
k-means 法
Cook の距離
LTS

AE
平均値
2031
-23
0
-2
-24
7
-255
35
0
-8
-10

AE
M RE
M RE
中央値 平均値
中央値
1195
45.81% 29.87%-48
0.24% -1.89%
0
0.00%
0.00%
-10
-0.04% -0.02%
41-0.14%
0.31%
63
1.52%
0.29%
-403 -29.68% -6.39%
8-1.99% -1.07%
00.03% -0.66%
80-4.04% -2.38%
12-3.47% -3.23%

M ER
平均値
38.41%-2.40%
0.00%
0.01%-0.30%-0.99%-4.34%
1.16%-0.04%-9.65%-1.91%

均値と中央値の悪化は最大でも 1.88%であり，見積もり精度を大きく低下させているともいえない．

M ER
中央値
30.78%-0.38%
0.00%-0.09%
0.09%
0.44%-2.24%
1.34%
0.08%-5.02%-0.79%ABRE
ABRE BRE
平均値
中央値
平均値
55.10% 35.36% -12.82%-1.54% -1.88%
5.24%
0.00%
0.00%
0.00%
-0.04% -0.14%-0.08%-0.39% -0.20%
0.87%
0.38%
0.79%
4.95%
-29.64% -7.01% -33.13%-1.11% -0.22%-5.74%-0.02% -0.52%
0.13%-11.03% -8.37%
10.95%-4.72% -4.62%-2.11%

BRE
中央値-6.46%
2.52%
0.00%
0.00%
2.01%
4.90%
-9.10%-6.54%
0.00%-2.41%-1.02%

除去率
0.00%
12.5%
0.00%
0.49%
6.04%
9.19%
12.05%
1.03%
0.51%
8.97%
25.64%

Cook の距離を用いた除去法 2 個の評価指標しか改善しておらず，さらに ABRE の平均値と中央値がMantel 相関を用いた除去法 プロジェクトが全く8%以上悪化していた．従って，Desharnais データに除外されておらず，外れ値除去が機能していなかった．

対し，類似プロジェクト抽出前に Cook の距離を用い

k-means 法を用いた除去法 各評価指標にほとんど変化が見られず，Desharnais データに対して効果がなかった．

た除去法を適用すべきでないといえる．

LTS を用いた除去法 1 個の評価指標しか改善しておらず，さらに ABRE の平均値と中央値が 4.5%以上

Cook の距離を用いた除去法 5 個の評価指標が改善

悪化していた．特に LTS 法では，ABRE 平均値と中していたが，有意差が見られず，ABRE の平均値と央値で，適用しない場合と有意差が見られた（有意に中央値が若干悪化していたことから，外れ値除去の効

悪化していた）．従って，Desharnais データに対し，果があるとはいえない．ただし，ABRE の平均値と類似プロジェクト抽出前に LTS を用いた除去法を適

中央値の悪化は最大でも 0.39%であり，見積もり精度

用すべきでないといえる．

を大きく低下させているともいえない．

6. 7 ABRE 平均値に基づく比較

LTS を用いた除去法 9 個の評価指標が改善してい外れ値除去法を適用することにより ABRE 平均値

た．ただし，ABRE の平均値と中央値の改善の程度が大きく改善していた場合，他の評価指標もおおむねが小さく（それぞれ 0.38%，0.79%），かつ指標値が改善しており，適用しない場合と有意差も見られ，外改善している評価指標において有意差がなかったこと

れ値除去の効果があったといえる．そこで ABRE 平

から，外れ値除去の効果はごくわずかであるといえる．

均値に基づいて各手法の比較を行う．各データセット

6. 6 Desharnais データに外れ値除去法を適用しに外れ値除去法を適用した場合の ABRE 平均値の変た場合（類似プロジェクト抽出前に適用）
提案手法 10 個の評価指標全てが悪化しており，さ化（表 2〜表 4 の数値をまとめたもの）と，その平均値を表 5 に示す．

らに ABRE 平均値が 29.64%悪化していた．従って，あらゆるデータセットにおいて，ある 1 つの手法が提案方法を類似プロジェクト抽出前に適用すべきでな

最も精度が高くなることが最も望ましい結果であるが，いといえる．

データマイニング手法の能力はデータセットの性質にMantel 相関を用いた除去法 4 個の評価指標が改善

強く依存し [14]，ソフトウェア開発データは多様であしていたが，有意差が見られず，ABRE の平均値とるため，平均的には性能の高い手法であっても，デー

中央値が最大で 1.11%悪化し，ABRE の平均値と中タセットによっては性能が低くなることが広く見られ央値も 5%以上悪化していたことから，外れ値除去のる [13]〜[15], [25]．従来の多くの論文では，見積もり効果があるとはいえない．

精度の悪化が少ないことや，比較的多くのデータセッ

k-means 法を用いた除去法 各評価指標にほとんどトで高い性能を示すことなど，相対的に性能が安定し変化が見られず，Desharnais データに対して効果がて高いことを根拠として，手法の有効性を判断していなかった．

る．本論文でもこれらの論文の考えを踏襲し，平均的10論文／類似性に基づくソフトウェア開発工数見積もりにおける外れ値除去法の比較に高い見積もり精度を示し，かつ精度悪化が小さい手

り示したことも，本論文の貢献の一つと考える．また，

法が，より有効性の高い手法であると判断する．表 5

開発現場への適用が容易な外れ値除去法（提案方法）

より以下の結論を下した．

により，（より複雑な）従来法と同等以上の見積もり精•提案方法を類似プロジェクト抽出後に適用することにより，平均的に最も高い見積もり精度が得られる．また，2 つのデータセットで 7.5%以上精度が改善しており，精度が悪化している 1 つのデータセット
においても低下は 1.54%であり，最も性能が安定している．

•

度向上が見込まれることを明らかにしたことも，本論
文の貢献の一つであると考える．

7. 考

察

7. 1 外れ値除去法の適用時期
提案方法を類似プロジェクト抽出前に適用すること，

LTS を用いた除去法を類似プロジェクト抽出後及び Mantel 相関を用いた除去法，k-means 法を用いに適用することにより，2 番目に高い見積もり精度がた除去法を抽出後に適用することは，以下に述べる得られる．2 つのデータセットで見積もり精度が改善

問題があり，実験においても高い精度向上が見られなしており，精度が悪化している 1 つのデータセットにかったことから，避けるべきであるといえる．

おける精度の低下も 1.26%であることから，性能が安•

提案方法は生産性が大きく異なるプロジェクト定しているといえる．ただし，7.5%以上精度が改善しを外れ値とみなすため，抽出前に適用すると，単純にているデータセットは 1 つだけであり，提案方法に比（プロジェクトの特性を考慮せずに）生産性（規模補正

べると見積もり精度改善の効果が低い．

法を用いていない場合は工数）の大きいプロジェクト•

Mantel 相関を用いた除去法を類似プロジェクと小さいプロジェクトが削除される．すなわち，説明

ト抽出後に適用した場合，2 つのデータセットで見積

変数（プロジェクト特性）を全く考慮せずにプロジェ

もり精度が改善しており，残り 1 つのデータセットにクトを削除することになり，原理的に外れ値除去法とおける精度の低下は 1.11%であり，性能が安定していしてうまく機能しない．

るといえる．ただし，最も精度が改善している場合で•Mantel 相関を用いた除去法では，説明変数をも 3.19%の精度改善しか見られず，提案方法（類似プ

セットにしてユークリッド距離を求めているが，類似

ロジェクト抽出後）と LTS を用いた除去法（同）に比プロジェクト抽出後は説明変数の値が非常に類似して

べ，見積もり精度改善の効果が低い．

おり（直感的には，相関係数の一方の変数がほぼ定数•k-means を用いた除去法を類似プロジェクト抽になるイメージである），マンテル相関（のテコ比）

出後に適用した場合，2 つのデータセットで見積もりの差が現れにくく，結果の信頼性（外れ値特定精度）

精度が改善しており，残り 1 つのデータセットにおけが低くなる．

る精度の低下は 0.04%であり，性能が安定していると•

k-means 法を用いた除去法の場合，対象デーいえる．ただし，最も精度が改善している場合でもタ件数（類似プロジェクト数）が少ない上，すでに2.63%の精度改善しか見られず，提案方法（類似プロ

Analogy 法でクラスタリングされている（と見なすこジェクト抽出後）と LTS を用いた除去法（同）に比とができる）類似プロジェクトに対し，さらにクラス

べ，見積もり精度改善の効果が低い．

タリングを行うことになるため，信頼性が低くなる．

•

上記以外では，類似プロジェクト抽出前，後のMantel 相関を用いた除去法と k-means 法を用いたどちらに適用した場合においても，2 つのデータセッ

除去法を類似プロジェクト抽出後に適用した場合，抽トで精度が悪化しており，性能が安定しているとはい

出前に適用した場合と比べて除去率が低い傾向が見らえない．また，提案方法と比べて平均的な見積もり精

れたが，これは閾値が影響しているのではなく，上記

度改善の効果が低い．

のように適用自体に問題があるためであると考える．

一見，外れ値除去を行ったり，Analogy 法で対象プ

なお，LTS を用いた除去法の除去率が低い理由は，類ロジェクトを絞り込んだりすることは見積もり精度向似プロジェクト数が少ないためである．LTS を用いた

上に役立つように思われるが，実際には Analogy 法

除去法では一律に 25%のデータを削除するが，類似に外れ値除去法を適用しても，精度が向上しない場合

プロジェクトが少ない場合，例えば類似プロジェクトがあった．これまで工数見積もりに対する外れ値除去

数が 5 件の場合，（5 × 0.75=3.75 件より）4 件のプロ法の効果を確かめた研究は少なく，この点を実験によジェクトが見積もりに使われ，1 件（20%）が除去さ
11電子情報通信学会論文誌 xxxx/xx Vol. Jxx–D No. xx
表 5 外れ値除去法を適用した場合の ABRE 平均値の変化
Table 5 Diﬀerence of Average ABRE after Outlier Deletion.
外れ値除去法
平均値
提案方法
Mantel 相関
k-means 法
Cook の距離
LTS

11.63%
0.42%
0.93%
2.12%
7.77%

ISBSG
データ
28.83%
0.00%
2.63%
9.52%
24.18%

抽出後
Kitchenham
データ
7.61%
1.27%
0.20%
-2.77%-1.26%Desharnais
データ-1.54%
0.00%-0.04%-0.39%
0.38%

れる．

平均値
-16.23%
1.13%-5.63%-3.50%
2.04%

ISBSG
データ
-9.40%
3.19%-17.86%-5.99%
11.25%

抽出前
Kitchenham Desharnais
データ
データ-9.63%-29.64%1.30%-1.11%
0.98%-0.02%
6.52%-11.03%-0.42%-4.72%

グに関わらず，提案方法，Cook の距離を用いた除去

7. 2 外れ値除去法間の効果の差法，LTS を用いた除去法では，比較的除去率が高く，提案方法を類似プロジェクト抽出後に適用した場合

Mantel 相関を用いた除去法，k-means 法を用いた除と，（いくつかの）従来法を抽出前に適用した場合で，去法の場合，低い除去率であった．このため，除去率

外れ値除去の効果に差が見られたことに関して，以下と各手法には関連があると考えられる．また，除去率の理由が考えられる（提案方法を類似プロジェクト抽と外れ値除去法の効果の関連（例えば，除去率の最も出前に適用すること，及び Mantel 相関を用いた除去高い手法が，最も効果が高いなど）は，現時点では明法，k-means 法を用いた除去法を抽出後に適用するこ確に見られなかった．

とに問題があることは前節で述べたとおりである）．

•

7. 4 データセットによる外れ値除去法の効果の差

提案方法は Analogy 法の特性を考慮し，Anal-

ISBSG データの場合，類似プロジェクト抽出後にogy 法の前提に当てはまらないプロジェクトを外れ値

外れ値除去法を適用した場合（提案方法，Cook の距とみなしている．類似プロジェクトの生産性（規模 /離を用いた除去法，LTS を用いた除去法）の効果が比工数）がばらついている場合，規模補正法による見積

較的高かった．ISBSG データのように，複数の企業

もり精度が低下することが指摘されており [8], [19]，提から収集された多様なプロジェクトが含まれるデータ

案方法はこの問題点に対応している．そのため，性能セットの場合，データセット全体から外れ値を除去すが高くなっていると考えられる．

るよりも，類似プロジェクトを抽出してから外れ値を•

k-means 法を用いた除去法で除外されるプロ除去するほうが適していると考えられる．

ジェクトは，データセットの他のプロジェクトと似てDesharnais データの場合，ほとんどの外れ値除去

いないため，そもそも Analogy 法では見積時に利用法において，ABRE 平均値の変化が 5%未満となってされない（類似プロジェクトとならない）可能性があいることから，外れ値除去法が有効に機能しなかった

る．また，k-means 法ではフィットデータにおいて似のではなく，そもそも見積精度に影響を与えるようなたプロジェクトが少ない場合，外れ値とみなされるが，外れ値は含まれていないのではないかと推測される．

一般に開発規模の大きなプロジェクトは数が少ないた

実績工数の分布に着目した場合，Desharnais データ

め，それらが外れ値として除外される可能性がある．

は極端に大きな値が含まれていないと指摘されている

その場合，テストデータに含まれる開発規模の大きなことも [9]，外れ値がほとんど含まれていないと推測しプロジェクトの見積精度が低下すると考えられる．こた根拠の一つである．

れらが性能に影響を与えていると考えられる．

•

Cook の距離を用いた除去法，LTS を用いた除8. お わ り に

去法は重回帰モデルをベースとしているが，類似プロ

本 論 文 で は ，類 似 性 に 基 づ く 工 数 見 積 も り 方 法

ジェクト抽出前に適用する場合，重回帰モデルで外れ（Analogy 法）に複数の外れ値除去法を適用し，そ値となるプロジェクトが Analogy 法で外れ値となる

れぞれの除去法を実験的に評価した．また，Analogyとは限らず，このためにあまり性能が安定しなかった法に適した外れ値除去法を新たに提案した．実験では，と考えられる．

類似プロジェクト抽出前に適用した場合と，類似プロ

7. 3 除去率と外れ値除去法の関連

ジェクト抽出後に適用した場合の効果を確かめた．ソ

データセットにより多少異なるが，適用のタイミン

フトウェア開発企業で収集された 3 種類のデータセッ

12論文／類似性に基づくソフトウェア開発工数見積もりにおける外れ値除去法の比較

トを用いて外れ値除去法の効果を比較した結果，提案[11]

velopment Estimation Accuracy,” Journal of Systems

平均的に最も高い見積もり精度が得られることがわかった．今後の課題としては，より多くのデータセッ

B. Kitchenham, S. L. Pﬂeeger, B. McColl, and S.
Eagan “An Empirical Study of Maintenance and De-

方法を類似プロジェクト抽出後に適用することにより，and Software, vol.64, issue 1, pp.57-77, 2002.
[12]

J. Kliijnen, “Sensitivity analysis and related analy-

トを用いて同様の実験を繰り返すことにより，提案方

ses: a survey of statistical techniques,” Journal Sta-法が有用となるコンテキストをより明確にしていくこ

tistical Computation and Simulation, vol.57, no.1-4,
pp.111-142, 1987.

とが重要となる．

[13]

Y. Kultur, B. Turhan, and A. Bener, “Ensemble of

謝辞 本論文で利用した工数見積もりツールの作者

neural networks with associative memory (ENNA) forである大杉直樹氏に，深く感謝致します．本研究の一estimating software development costs,” Knowledge-

部は，文部科学省「次世代 IT 基盤構築のための研究開発」の委託に基づいて行われた．また，本研究の一Based Systems, vol.22, no.6, pp.395-402, 2009.
[14]

ing heuristics for analogy-based software eﬀort esti-

部は，文部科学省科学研究補助費（若手 B：課題番号mation method AQUA+,” Empirical Software Engineering, vol.13, no.1, pp.63-96, 2008.

22700034）による助成を受けた．
[1]

G.

Boetticher,

文

献

T.

Menzies,[15]
T.

Ostrand:ing data, http://promisedata.org/ repository, Westogy,” Empirical Software Engineering, vol.12, no.1,
pp.65-106, 2007.
[16]

Virginia University, Department of Computer Sci-

Software Metrics Symposium (METRICS), pp.34,

C. Burgess, and M. Leﬂey, “Can genetic programming improve software eﬀort estimation? A compar-

Como, Italy, Sep. 2005
[17]

ative evaluation,” Journal of Information and Soft-

Database: a further replicated study,” In Proc. of the

S. Conte, H. Dunsmore, and V. Shen, “Software

International Symposium on Empirical Software En-

Engineering, Metrics and Models,” p.396, Ben-

gineering (ISESE), pp.75-84, Rio de Janeiro, Brazil,

jamin/Cummings, 1986.

Sep. 2006.

J. Desharnais, “Analyse Statistique de la Productivi-[18]

tie des Projets Informatique a Partie de la Techniqueels using the Tukutuku database:of Montreal, 1989.
J. Han, and M. Kamber: Data Mining: Concepts andInternational

Software

Benchmarking

no.5, pp.673-690, 2008.
[19]

Standards

Web Cost Estimation,” In Proc. of the Internationaland research suite, ISBSG, 2004.

Symposium on Empirical Software Engineering (IS-J. Keung, B. Kitchenham, and R. Jeﬀery, “AnalogyX: Providing Statistical Inference to Analogy-Based

ESE), pp.100-109, Rome, Italy, September 2003.
[20]

Software Cost Estimation,” IEEE Trans. on Software

mation Models,” Journal of Systems and Software,

C. Kirsopp, E. Mendes, R. Premraj, and M. Shepperd, “An Empirical Analysis of Linear Adapta-

vol.27, issue 1, pp.3-16, 1994.
[21]

tion Techniques for Case-Based Prediction,” In Proc.

sus Sequential Development Models,” IEEE Trans.

pp.231-245, Trondheim, Norway, June 2003.
C. Kirsopp, and M. Shepperd, “Making inferences

on Software Eng., vol.31, no.9, pp.754-766, Sep. 2005.
[22]

with small numbers of training sets,” IEE ProceedB. Kitchenham, S. MacDonell, L. Pickard, and M.
Shepperd, “What Accuracy Statistics Really Measure,” In Proc. of IEE Software, vol.148, no.3, pp.8185, 2001.

National Association of Testing Authorities (NATA):
Guide to NATA proﬁciency testing, Version 2, Na-ings: Software, vol.149, no.5, pp.123-130, 2002.
[10]

K. Mølokken-Østvold, and M. Jørgensen, “A Comparison of Software Project Overruns-Flexible ver-of International Conference Case-Based Reasoning,[9]

Y. Miyazaki, M. Terakado, K. Ozaki, and H. Nozaki,“Robust Regression for Developing Software Esti-

Eng., vol. 34, no. 4, pp.471-484, 2008.
[8]

E. Mendes, N. Mosley, S. Counsell, “A Replicated Assessment of the Use of Adaptation Rules to ImproveGroup (ISBSG): ISBSG Estimating: Benchmarking[7]

An extended

study,” The Journal of Systems and Software, vol.81,

Techniques, Morgan Kaufmann, 2000.
[6]

E. Mendes, S. Martino, F. Ferrucci, C. Gravino,“Cross-company vs. single-company web eﬀort mod-des Point des Function,” Master Thesis, University[5]

C. Lokan, and E. Mendes, “Cross-company andsingle-company eﬀort models using the ISBSG

ware Technology, vol.43, no.14, pp.863-873, 2001.

[4]

C. Lokan, “What Should You Optimize When Building an Estimation Model?,” In Proc. of Internationalence, 2007.

[3]

J. Li, G. Ruhe, A. Al-Emran, and M. Richter, “A
ﬂexible method for software eﬀort estimation by anal-

and

PROMISE Repository of empirical software engineer-[2]

J. Li, and G. Ruhe, “Analysis of attribute weight-

tional Association of Testing Authorities, 2002.
[23]

V. Nguyen, B. Steece, and B. Boehm, “A constrained
regression technique for COCOMO calibration,” In
Proc. of the International Symposium on Empirical Software Engineering and Measurement (ESEM),

13電子情報通信学会論文誌 xxxx/xx Vol. Jxx–D No. xx
pp.213-222, Kaiserslautern, Germany, Oct. 2008.
[24]

1998 年奈良先端科学技術大学院大学情報科

Tsunoda, T. Kakimoto, and K. Matsumoto, “Is This学研究科博士後期課程修了．同年同大学同研究科助手．2004 年同大学助教授．2007 年
同大学准教授．2003〜2004 年 Auckland
大学客員研究員．博士 (工学)．ソフトウェ
アメトリクス，ソフトウェアプロテクション，ヒューマンファ

Cost Estimate Reliable?

- the Relationship be-

tween Homogeneity of Analogues and Estimation Reliability,” In Proc. of the International Symposiumon Empirical Software Engineering and Measurement (ESEM), pp.384-392, Madrid, Spain, September 2007.
[25]

クタ等の研究に従事．情報処理学会，日本ソフトウェア科学会，
IEEE，ACM 各会員．

A. Oliveira, P. Braga, R. Lima, and M. Cornélio,“GA-based method for feature selection and parameters optimization for machine learning regression applied to software eﬀort estimation,” Information and渡邊 瑞穂

Y. Seo, K. Yoon, and D. Bae, “An Empirical Analysis

2006 年京都教育大学教育学部卒業．2008
年奈良先端科学技術大学院大学情報科学研
究科博士前期課程修了．同年日本アイ・ビー・
エム株式会社入社．在学時，ソフトウェア

of Software Eﬀort Estimation with Outlier Elimina-

開発工数予測などの研究に従事．

Software Technology, vol.52, no.11, pp.1155-1166,
2010.
[26]

1994 年名古屋大学工学部電気学科卒業．

N. Ohsugi, A. Monden, N. Kikuchi, M. Barker, M.

tion,” In proc. of the international workshop on Predictor models in software engineering (PROMISE),
pp.25-32, Leipzig, Germany, May 2008.
[27]

M. Shepperd, and C. Schoﬁeld,”Estimating software
project eﬀort using analogies,” IEEE Trans. on Software Eng., vol.23, no.12, pp.736-743, 1997.

[28]

H. Tan, Y. Zhao, and H. Zhang,“Conceptual data
model-based software size estimation for information
systems,” ACM Transactions on Software Engineering and Methodology, vol.19, no.2, pp.1-37, 2009.

田中豊，垂水共之（編）：Windows 版 統計解析ハンドブッ
ク 多変量解析，p.240，共立出版，1995.
[30] A. Tosun, B. Turhan, A. Bener, “Feature weighting[29]

heuristics for analogy-based eﬀort estimation models,” Expert Systems with Applications, vol.36, no.7,
pp.10325-10333, 2009.
[31]

F. Walkerden, and R. Jeﬀery, “An Empirical Studyof Analogy-based Software Eﬀort Estimation,” Empirical Software Engineering, vol.4, no.2, pp.135-158,
1999.

（平成 xx 年 xx 月 xx 日受付）

角田雅照 （正員）1997 年和歌山大学経済学部卒業．2004
年奈良先端科学技術大学院大学情報科学研
究科博士前期課程修了．2007 年同大学同研究科博士後期課程修了．同年同大学同研究科特任助教．博士（工学）．ソフトウェ
アメトリクスの研究に従事．情報処理学会，
ヒューマンインタフェース学会，教育システム情報学会，IEEE
各会員．

門田

14

暁人 （正員）

柿元

健

（正員）

2003 年神戸市立工業高等専門学校専攻科電気電子工学専攻修了．2005 年奈良先端科学技術大学院大学情報科学研究科博士前期課程修了．2008 年同大博士後期課程修了．同年大阪大学大学院情報科学研究科特任助教．2010 年香川高等専門学校電気情報工学科講師．博士（工学）．ソフトウェア信頼性/開発工数予測などの研究に従事．情報処理学会，IEEE 各会員．

松本 健一

（正員）

1985 年大阪大学基礎工学部情報工学科卒
業．1989 年同大学大学院博士課程中退．同年同大学基礎工学部情報工学科助手．1993
年奈良先端科学技術大学院大学情報科学研

究科助教授．2001 年同大学教授．工学博士．エンピリカルソフトウェア工学，特に，プロジェクトデータ収集／利用支援の研究に従事．電子情報通信学会，日本ソフトウェア科学会，ACM 各会員，IEEE Senior
Member．

Abstract We experimentally compare the eﬀect of outlier deletion methods for analogy based software
eﬀort estimation using three project dataset. Existing four outlier deletion methods (k-means deletion
method, LTS deletion method, Cook’s distance deletion method, and Mantel correlation deletion method)and our proposed deletion method are evaluated. The proposed method deletes outliers by detecting projects
whose eﬀort are extremely diﬀerent from other k-nn projects of the target project. Experimental results
showed that the proposed method showed highest accuracy on average between deletion methods. It did
not degrade the estimation accuracy for any dataset, and the improvement was 28.8% in terms of averageabsolute balanced relative error.
Key words case based reasoning，eﬀort prediction, abnormal value, project management, productivity