(57)【特許請求の範囲】
【請求項１】
コンピュータに備えられた演算装置が、複数の属性項目に関する値を表す属性値を含むデータを特異データであるか否かを判定する、特異データ検出方法であって、
前記データの各前記属性値について、複数の前記データに基づき、各前記属性項目のそれぞれについて予め算出した基準範囲からの外れ度合に基づき、前記属性値が前記基準範囲内であれば外れ評価点は０と算出し、前記属性値が前記基準範囲外であれば前記外れ度合に応じて外れ評価点を算出し、外れ評価点を決定するステップと、
前記データのそれぞれについて、前記外れ評価点が所定の閾値以上である属性値の数を表す外れ属性数をカウントするステップと、
前記データのそれぞれについて、前記外れ評価点および前記外れ属性数に基づき、特異度数を決定するステップと、
前記特異度数に基づき、前記データのそれぞれについて、特異データであるか否かを判定するステップと、
を有し、
前記特異度数を決定する前記ステップにおいて、前記演算装置は、前記データの外れ評価点を合計することにより、外れ総合評価点を算出し、この外れ総合評価点と前記外れ属性数に基づいて決定される重みとを乗算することによって前記特異度数を決定し、
特異データであるか否かを判定する前記ステップは、
全特異度数の第１四分位点および第３四分位点に基づいて特異度数基準範囲を決定するステップ、または、全特異度数における所定の信頼区間に基づいて前記特異度数基準範囲を決定するステップと、
各特異度数について、前記特異度数基準範囲に属するか否かを判定するステップとを含むことを特徴とする
特異データ検出方法。
【請求項２】
複数の前記データの入力を受け付けるステップと、
前記データのそれぞれが特異データであるか否かを出力するステップと
を有する、請求項１に記載の特異データ検出方法。
【請求項３】
前記基準範囲は、対応する属性項目における第１四分位点および第３四分位点に基づいて決定されるか、または、対応する属性項目における所定の信頼区間に基づいて決定される、請求項１または２に記載の特異データ検出方法。
【請求項４】
前記属性項目のそれぞれについて箱ひげ図を生成するステップをさらに有し、
特異データであるか否かを出力する前記ステップは、前記箱ひげ図において、各属性値に対応する位置に、当該属性値を含むデータが特異データであるか否かを示す記号を出力するステップを含む
請求項２に記載の特異データ検出方法、または請求項２を引用する場合の請求項３に記載の特異データ検出方法。
【請求項５】
請求項１〜４のいずれか一項に記載の方法をコンピュータに実行させる特異データ検出プログラム。
【請求項６】
請求項１〜４のいずれか一項に記載の方法を実行するコンピュータによって構成される特異データ検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数のデータを含むデータ群において、各データが特異データであるか否かを判定する技術に関する。
【背景技術】
【０００２】
データクレンジング処理は、クレンジング対象となるデータに付随する複数の属性値を評価し、他のデータと性質が大きく異なるデータを特異データとして検出する処理である。データクレンジング処理では、データの各属性値がどの程度基準から外れているかという「外れ度合」に基づいて特異データを検出する。
【０００３】
このようなデータクレンジング処理の例は、特許文献１に記載される。特許文献１の方法では、異常値割合が所定の閾値以上となるレコードを削除することによってクレンジングを行う。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００４−２９９７１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来の技術では、特異データの検出が必ずしも適切に行えないという問題があった。
たとえば特許文献１の方法では、異常値の割合は考慮しているが、各異常値の外れ度合については考慮していない。したがって、わずかに異常な属性値を多数含むデータについては過敏に特異データと判定される一方、大きく外れた異常値を１つだけ含むデータについては、その外れ度合に関わらず正常データと判定されてしまう可能性が高い。
【０００６】
この発明は、このような問題点を解決するためになされたものであり、特異データをより適切に検出できる特異データ検出方法、特異データ検出プログラムおよび特異データ検出装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上述の問題点を解決するため、この発明に係る特異データ検出方法は、コンピュータに備えられた演算装置が、複数の属性項目に関する値を表す属性値を含むデータが特異データであるか否かを判定する、特異データ検出方法であって、データの各属性値について、複数のデータに基づき、各属性項目のそれぞれについて予め算出した基準範囲からの外れ度合に基づき、属性値が基準範囲内であれば外れ評価点は０と算出し、属性値が基準範囲外であれば外れ度合に応じて外れ評価点を算出し、外れ評価点を決定するステップと、データのそれぞれについて、外れ評価点が所定の閾値以上である属性値の数を表す外れ属性数をカウントするステップと、データのそれぞれについて、外れ評価点および外れ属性数に基づき、特異度数を決定するステップと、特異度数に基づき、データのそれぞれについて、特異データであるか否かを判定するステップと、を有し、特異度数を決定するステップにおいて、演算装置は、データの外れ評価点を合計することにより、外れ総合評価点を算出し、この外れ総合評価点と外れ属性数に基づいて決定される重みとを乗算することによって特異度数を決定し、特異データであるか否かを判定するステップは、全特異度数の第１四分位点および第３四分位点に基づいて特異度数基準範囲を決定するステップ、または、全特異度数における所定の信頼区間に基づいて特異度数基準範囲を決定するステップと、各特異度数について、特異度数基準範囲に属するか否かを判定するステップとを含むことを特徴とする。
【０００８】
複数のデータの入力を受け付けるステップと、データのそれぞれが特異データであるか否かを出力するステップとを有してもよい。
基準範囲は、対応する属性項目における第１四分位点および第３四分位点に基づいて決定されるか、または、対応する属性項目における所定の信頼区間に基づいて決定されてもよい。
属性項目のそれぞれについて箱ひげ図を生成するステップをさらに有し、特異データであるか否かを出力するステップは、箱ひげ図において、各属性値に対応する位置に、当該属性値を含むデータが特異データであるか否かを示す記号を出力するステップを含んでもよい。
【０００９】
また、この発明に係る特異データ検出プログラムは、上述の特異データ検出方法をコンピュータに実行させる。
【００１０】
また、この発明に係る特異データ検出装置は、上述の特異データ検出方法を実行するコンピュータによって構成される。
【発明の効果】
【００１１】
この発明に係る特異データ検出方法、特異データ検出プログラムおよび特異データ検出装置によれば、基準範囲からの外れ度合と、基準範囲から外れた属性の数との双方に基づいて特異データを検出するので、特異データをより適切に検出することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施の形態１に係る特異データ検出装置の構成を示す図である。
【図２】図１のデータ群の例を示す図である。
【図３】図１の特異データ検出装置の処理の流れを示すフローチャートである。
【図４】箱ひげ図と、基準範囲等との関係を示す図である。
【図５】図２のデータ群の各属性値に対応する外れ評価点を表す図である。
【図６】外れ属性数と重みとの対応関係の例を表す図である。
【発明を実施するための形態】
【００１３】
以下、この発明の実施の形態を添付図面に基づいて説明する。
実施の形態１．
図１に、本発明の実施の形態１に係る特異データ検出装置１０の構成を示す。特異データ検出装置１０は、複数のデータについて、各データが特異データであるか否かを判定することにより特異データを検出する装置である。
【００１４】
特異データ検出装置１０は周知のコンピュータとしての構成を有し、演算を行う演算手段２０と、情報を格納する記憶手段３０とを備える。演算手段２０はＣＰＵ（中央処理装置）を含み、記憶手段３０は半導体メモリおよびＨＤＤ（ハードディスクドライブ）等の記憶媒体を含む。
【００１５】
また、特に図示しないが、特異データ検出装置１０は、入力手段、出力手段およびネットワークインタフェースを備える。入力手段は、使用者が情報を入力するために用いる手段であり、たとえばマウスやキーボード等である。出力手段は、使用者に対して情報を出力する手段であり、たとえば液晶ディスプレイ等の表示装置であるが、プリンタ等の印刷装置であってもよい。ネットワークインタフェースは、通信網や他のコンピュータとの間で情報の入出力を行うための手段である。
【００１６】
記憶手段３０は、複数のデータからなるデータ群４０を記憶する。特異データ検出装置１０は、このデータ群４０に含まれるデータに対して特異データの検出処理を行う。また、記憶手段３０は、特異データ検出プログラム５０を記憶する。特異データ検出プログラム５０は、演算手段２０によって実行されることにより、コンピュータに特異データ検出装置１０としての機能を実現させる。
【００１７】
図２に、データ群４０の例を示す。データ群４０は複数のデータを含む。図２では、各行が１つのデータを表し、２０個のデータが示されている。各データはそれぞれ、複数の項目（以下「属性項目」と呼ぶ）に関して、そのデータの性質を表す定量的な測定値（以下「属性値」と呼ぶ）を含む。
【００１８】
図２には「属性Ａ」〜「属性Ｅ」の５種類の属性項目が示されている。たとえばデータ０１は、「属性Ａ」という名称の属性項目について、「０．１８」という値を属性値として有する。本実施形態では、属性値はすべて数値である。各データはたとえば１つのシステム開発プロジェクトを表し、各属性値はたとえば工数、費用、品質等に関連する数値を表す。なお図２には後の説明のために「外れ属性値」を示す囲み線および注釈を付してあるが、これは実際のデータ群４０には含まれない。
【００１９】
また、図２には、各属性項目の第１四分位点Ｑ１、第３四分位点Ｑ３および四分位範囲ＩＱＲも示している。属性Ｅの例では、第１四分位点Ｑ１＝４．００であり、第３四分位点Ｑ３＝８．２５であり、四分位範囲ＩＱＲ＝Ｑ３−Ｑ１＝４．２５である。ＩＱＲは、各属性項目に対応する箱ひげ図の箱部分に相当する。なお、図２の例では各四分位点の値を線形補間によって求めているが、これらの値は補間によらずいずれかの属性値をそのまま用いてもよく、また適宜丸められてもよい。
【００２０】
図３は、特異データ検出装置１０の処理の流れを示すフローチャートである。特異データ検出装置１０は、コンピュータとしてこのフローチャートに係る方法を実行する。
まず演算手段２０は、データ群４０を構成する複数のデータの入力を受け付けるとともに記憶手段３０に記憶する（ステップＳ１）。この入力はたとえばキーボードを介して行われてもよく、ネットワークを介して行われてもよく、可搬記憶媒体を介して行われてもよい。
【００２１】
次に、演算手段２０は、データ群４０に基づき、属性項目のそれぞれについて基準範囲を決定する（ステップＳ２）。
図４は、箱ひげ図と、基準範囲等との関係を示す図である。基準範囲は、本実施形態では次のようにして決定される。
まず、第１四分位点Ｑ１および第３四分位点Ｑ３を算出する。また、四分位範囲ＩＱＲ＝Ｑ３−Ｑ１を算出する。基準範囲は、Ｑ１−１．５×ＩＱＲを下限とし、Ｑ３＋１．５×ＩＱＲを上限とする範囲として決定される。
【００２２】
次に、演算手段２０は、各データの各属性値について、基準範囲からの外れ度合に基づき、外れ評価点を決定する（ステップＳ３）。図４に示すように、属性値が基準範囲に属していれば外れ度合は０となり、外れ評価点も０となる。また、属性値が基準範囲から外れており、かつ上限または下限からの距離が１．５×ＩＱＲ以下となる範囲にあれば外れ度合は小となり、外れ評価点は１０となる。さらに、属性値が基準範囲から外れており、かつ上限または下限からの距離が１．５×ＩＱＲを超える範囲にあれば外れ度合は大となり、外れ評価点は２０となる。
【００２３】
図２において太い破線は外れ度合が大（すなわち外れ評価点が２０）である外れ属性値を示し、細い一点鎖線は外れ度合が小（すなわち外れ評価点が１０）である外れ属性値を示す。以下では、外れ度合が０でない属性値（すなわち外れ評価点が１０以上である属性値）を「外れ属性値」と呼ぶ。
図５は、図２のデータ群の各属性値に対応する外れ評価点を表す。
【００２４】
上述の外れ評価点の決定基準を不等式に表すと次のようになる。
・                   X(n,a)＜Q1(a)-3.0×IQR(a)の場合：外れ度合大、外れ評価点20
・Q1(a)-3.0×IQR(a)≦X(n,a)＜Q1(a)-1.5×IQR(a)の場合：外れ度合小、外れ評価点10
・Q1(a)-1.5×IQR(a)≦X(n,a)≦Q3(a)+1.5×IQR(a)の場合：外れ度合０、外れ評価点0
・Q3(a)+1.5×IQR(a)＜X(n,a)≦Q3(a)+3.0×IQR(a)の場合：外れ度合小、外れ評価点10
・Q3(a)+3.0×IQR(a)＜X(n,a)                   の場合：外れ度合大、外れ評価点20
ここで、第ｎ番目のデータ（図２の例では１≦ｎ≦２０）の属性項目ａ（図２の例ではａは属性Ａ〜属性Ｅのいずれか）の属性値をＸ（ｎ，ａ）で表し、属性項目ａのＱ１，Ｑ３，ＩＱＲをそれぞれＱ１（ａ），Ｑ３（ａ），ＩＱＲ（ａ）で表している。
【００２５】
次に、演算手段２０は、各データについて外れ属性値の数をカウントする（ステップＳ４）。図５ではこの数を「外れ属性数」として示す。
【００２６】
次に、演算手段２０は、各データについて特異度数を決定する（ステップＳ５）。特異度数の決定は、たとえば次のようにして行われる。
本実施形態ではまず、各データについて、当該データの各属性値の外れ評価点に基づいて外れ総合評価点を算出する。この外れ総合評価点は、たとえばそのデータについてすべての外れ評価点を合計することによって算出される。あるデータの外れ総合評価点が高い場合、そのデータはデータ群において他のデータと性質が異なるということを表す。
また、演算手段２０は、各データについて、外れ属性数に基づいて重みを決定する。そして、外れ総合評価点と重みとに基づいて特異度数を算出する。たとえば特異度数は外れ総合評価点と重みとを乗算した値として算出される。
このように、本実施形態によれば、基準範囲からの外れ度合と、外れ属性数との双方に基づいて特異データを検出する。
【００２７】
図６は、外れ属性数と重みとの対応関係の例を表す。図５のデータ０１の場合、外れ属性数が２個であるので重みは１．２５となり、この重みを外れ評価点の合計４０と乗算することにより、特異度数４０×１．２５＝５０が算出される。本実施形態では、外れ属性数が大きいほど重みが大きくなるよう定義されているので、外れ総合評価点が同一であっても、外れ属性数が多いデータほど特異度数が大きくなる。たとえば図５の例では、データ０１とデータ１６はいずれも外れ総合評価点は４０であるが、外れ属性数の多いデータ１６のほうが特異度数が大きくなっている。
なお、図６の対応関係は、たとえばあらかじめ記憶手段３０に記憶しておくことができる。
【００２８】
次に、演算手段２０は、全データの特異度数に基づき、各データが特異データであるか否かを判定する（ステップＳ６）。このステップは、特異データを検出するステップに相当する。
特異データであるか否かの判定は、公知の統計的手法による判定であればどのようなものであってもよいが、たとえばステップＳ２およびＳ３と同様の方法によって行うことができる。すなわち、全データの特異度数を母集団としてＱ１およびＱ３を求め、これらに基づいて特異度数基準範囲を決定し、各特異度数がこの特異度数基準範囲に属するか否かを判定し、特異度数基準範囲に属さない特異度数を有するデータを特異データであると判定する。図５の例についてこの方法を適用すると、データ０１、データ０５およびデータ１６が特異データであると判定される。
【００２９】
次に、演算手段２０は、属性項目のそれぞれについて箱ひげ図を生成する（ステップＳ７。なおこのステップＳ７は、ステップＳ１より後であればどの時点で実行されてもよい）。箱ひげ図の生成は、各属性項目のＱ１、Ｑ３、ＩＱＲおよび基準範囲に基づき、公知の方法によって行うことができる。たとえば、Ｑ１の位置を下限としＱ３の位置を上限とする範囲を示す矩形を生成し、基準範囲内で最大となる属性値の位置を上端とするひげを生成し、基準範囲内で最小となる属性値の位置を下端とするひげを生成する。また、各属性値を示す記号を生成してもよい。
同様に、演算手段２０は、特異度数について箱ひげ図を生成してもよい。
【００３０】
次に、演算手段２０は、各データが特異データであるか否かを出力する（ステップＳ８）。この出力は、たとえば表示手段への表示や、記憶手段３０への新たなファイルの記録によってなされる。出力形式はどのようなものであってもよい。たとえば特異データと判定されたデータをリストして出力してもよく、各データと関連付けてそのデータが特異データであるか否かの表示を出力してもよく、またはステップＳ７で生成された箱ひげ図に出力されてもよい。箱ひげ図に出力する場合には、箱ひげ図において各属性値に対応する位置に、当該属性値を含むデータが特異データであるか否かを示す記号を出力してもよい。
【００３１】
また、特異度数について箱ひげ図が生成されている場合には、その箱ひげ図において同様の出力がなされてもよい。たとえば、各特異度数に対応する位置に、当該特異度数を有するデータが特異データであるか否かを示す記号を出力してもよい。
【００３２】
以上のように説明される本発明の実施の形態１によれば、基準範囲からの外れ度合と、外れ属性数との双方に基づいて特異データを検出するので、これらの一方のみに基づいて検出する技術と比較して、特異データをより適切に検出することができる。したがってより適切なデータクレンジングを実現できる。
【００３３】
上述の実施の形態１において、以下のような変形を施すことができる。
箱ひげ図の生成（ステップＳ７）は省略してもよい。また、箱ひげ図に代えて、または箱ひげ図に加えて、各属性値を表すグラフを生成してもよい。
【００３４】
基準範囲の上限および下限は、実施の形態１のものに限らず、Ｑ１およびＱ３に基づいて決定される他の範囲であってもよい。また、Ｑ１およびＱ３に基づかず、他の統計的な値に基づいてもよい。さらに、基準範囲は中央値Ｑ２に基づいてもよく、四分位以外の分位数やパーセント点に基づいてもよい。また、平均値および標準偏差に基づいてもよい。
【００３５】
基準範囲は、所定の信頼幅に対応する信頼区間に基づいて決定されてもよく、信頼区間を基準範囲としてもよい。たとえば少なくとも２つの属性項目が互いに相関を有する場合（またはその可能性がある場合）に、ある属性値に基づいて別の属性値の信頼幅および信頼区間を決定してもよい。
なお、ステップＳ６における特異度数基準範囲を決定する際にも、このような方法を用いることができる。また、属性項目に対する基準範囲と、特異度数基準範囲とを異なる方法で決定してもよい。
【００３６】
また、基準範囲からの外れ度合は、基準範囲の上限または下限からの距離ではなく、距離の関数によって表されてもよい。また、外れ評価点は図４以外の方法で決定されてもよく、たとえば外れ度合をそのまま外れ評価点として用いてもよい。さらに、ある属性値が外れ属性値であるか否かの判定基準は実施の形態１と異なるものを用いてもよく、たとえば外れ評価点の閾値を１０以外の値としてもよい。
【００３７】
外れ属性数と重みとの対応関係は、図６に示すものでなくともよく、たとえば外れ属性数が多くなるほど重みが減少する内容としてもよい。このようにすると、多数の外れ属性値を含むデータよりも、より極端な外れ属性値を含むデータのほうが特異データであると判定されやすくなる。
【００３８】
実施の形態１では外れ総合評価点と重みとを乗算することによって特異度数を算出するが、これは外れ総合評価点と重みとに基づく演算であれば他の演算によってもよい。たとえば加算、べき乗、指数関数等を用いて特異度数を算出してもよい。
【００３９】
実施の形態１では、外れ属性数と重みとの対応関係はすべての属性項目について共通であるが、これは属性項目ごとに異ならせてもよい。たとえば、図６に相当する対応関係を属性項目ごとに定義してもよい。
実施の形態１における特異データ検出方法は、見積りの基礎データの点検や、品質に関する目標値の設定支援に利用できる。
【符号の説明】
【００４０】
１０  特異データ検出装置、２０  演算手段、３０  記憶手段、４０  データ群（データ）、５０  特異データ検出プログラム、Ｑ１，Ｑ３  四分位点、ＩＱＲ  四分位範囲。
【図１】
0005430702.tif 000002
【図２】
0005430702.tif 000003
【図３】
0005430702.tif 000004
【図４】
0005430702.tif 000005
【図５】
0005430702.tif 000006
【図６】
0005430702.tif 000007