(57)【要約】【課題】収集データの品質をさらに向上させる。【解決手段】欠損データ補完装置１は、欠損値含有属性除去部１０、階層クラスタ解析部２０、サブクラスタ同定部３０、補完値決定部４０、および補完値代入部５０を備える。欠損値含有属性除去部１０は、収集データから欠損値を含む属性を取り除く。階層クラスタ解析部２０は、欠損値含有属性除去部１０により属性が取り除かれた収集データに対して階層クラスタ解析を行う。サブクラスタ同定部３０は、階層クラスタ解析部２０による階層クラスタ解析の結果に基づいて、欠損値を含む欠損データ項目が属するサブクラスタを同定する。補完値決定部４０は、サブクラスタ同定部３０により同定されたサブクラスタに属するデータ項目に基づいて欠損値の補完値を求める。補完値代入部５０は、補完値決定部４０により求められた補完値で欠損値を補完する。【選択図】図１
2015184853.tif 000002
【特許請求の範囲】
【請求項１】
収集データに含まれる欠損値を補完する欠損データ補完装置であって、
前記収集データから、前記欠損値を含む属性を取り除く欠損値含有属性除去手段と、
前記欠損値含有属性除去手段により前記属性が取り除かれた収集データに対して、階層クラスタ解析を行う階層クラスタ解析手段と、
前記階層クラスタ解析手段による階層クラスタ解析の結果に基づいて、前記欠損値を含む欠損データ項目が属するサブクラスタを同定するサブクラスタ同定手段と、
前記サブクラスタ同定手段により同定されたサブクラスタに属するデータ項目に基づいて、前記欠損値の補完値を求める補完値決定手段と、
前記補完値決定手段により求められた補完値で前記欠損値を補完する補完値代入手段と、を備えることを特徴とする欠損データ補完装置。
【請求項２】
前記欠損値含有属性除去手段、前記階層クラスタ解析手段、前記サブクラスタ同定手段、前記補完値決定手段、および前記補完値代入手段のそれぞれによる処理を、１回以上繰り返し、
前記欠損値含有属性除去手段による処理を行うたびに、当該欠損値含有属性除去手段は、前記収集データから、前記欠損値を含む属性を１つずつ取り除くことを特徴とする請求項１に記載の欠損データ補完装置。
【請求項３】
前記収集データを第１グループおよび第２グループに分類する属性分類手段を備え、
前記欠損値含有属性除去手段は、前記第１グループに属する収集データから、前記欠損値を含む属性を取り除くとともに、前記第１グループに属する収集データと前記第２グループに属する収集データとを組み合わせたものから、前記欠損値を含む属性を取り除き、
前記階層クラスタ解析手段は、前記欠損値含有属性除去手段により前記属性が取り除かれた前記第１グループに属する収集データに対して階層クラスタ解析を行うとともに、前記欠損値含有属性除去手段により前記属性が取り除かれた前記第１グループに属する収集データと前記第２グループに属する収集データとを組み合わせたものに対して階層クラスタ解析を行い、
前記第１グループに属する収集データに対する階層クラスタ解析により得られた樹形図のサブクラスタと、前記第１グループに属する収集データと前記第２グループに属する収集データとを組み合わせたものに対する階層クラスタ解析により得られた樹形図のサブクラスタと、の類似度を求める樹形図類似度判定手段をさらに備え、
前記サブクラスタ同定手段は、前記樹形図類似度判定手段により求められた類似度が予め定められた閾値以上であれば、前記第１グループに属する収集データと、前記第１グループに属する収集データと前記第２グループに属する収集データとを組み合わせたものと、のそれぞれにおいて、前記欠損データ項目が属するサブクラスタを同定し、
前記補完値決定手段は、前記樹形図類似度判定手段により求められた類似度が前記閾値以上であれば、前記サブクラスタ同定手段により同定されたサブクラスタに属するデータ項目に基づいて前記欠損値の補完値を求め、
前記補完値代入手段は、前記樹形図類似度判定手段により求められた類似度が前記閾値以上であれば、前記補完値決定手段により求められた補完値で前記欠損値を補完することを特徴とする請求項１または２に記載の欠損データ補完装置。
【請求項４】
前記収集データを第１グループおよび第２グループに分類する属性分類手段を備え、
前記欠損値含有属性除去手段は、前記第１グループに属する収集データから、前記欠損値を含む属性を取り除くとともに、前記第１グループに属する収集データと前記第２グループに属する収集データとを組み合わせたものから、前記欠損値を含む属性を取り除き、
前記階層クラスタ解析手段は、前記欠損値含有属性除去手段により前記属性が取り除かれた前記第１グループに属する収集データに対して階層クラスタ解析を行うとともに、前記欠損値含有属性除去手段により前記属性が取り除かれた前記第１グループに属する収集データと前記第２グループに属する収集データとを組み合わせたものに対して階層クラスタ解析を行い、
前記第１グループに属する収集データに対する階層クラスタ解析により得られた樹形図のサブクラスタと、前記第１グループに属する収集データと前記第２グループに属する収集データとを組み合わせたものに対する階層クラスタ解析により得られた樹形図のサブクラスタと、の類似度を求める樹形図類似度判定手段をさらに備え、
前記樹形図類似度判定手段により求められた類似度が予め定められた閾値未満であれば、前記第１グループに属する収集データと、前記第１グループに属する収集データと前記第２グループに属する収集データとを組み合わせたものと、をそれぞれｋ−ｍｅａｎｓ法を用いてクラスタ解析し、クラスタ解析結果に基づいて前記欠損値の補完値を求めるクラスタ解析手段を備えることを特徴とする請求項１から３のいずれかに記載の欠損データ補完装置。
【請求項５】
欠損値含有属性除去手段、階層クラスタ解析手段、サブクラスタ同定手段、補完値決定手段、および補完値代入手段を備え、収集データに含まれる欠損値を補完する欠損データ補完装置における欠損データ補完方法であって、
前記欠損値含有属性除去手段が、前記収集データから、前記欠損値を含む属性を取り除く第１のステップと、
前記階層クラスタ解析手段が、前記第１のステップにより前記属性が取り除かれた収集データに対して、階層クラスタ解析を行う第２のステップと、
前記サブクラスタ同定手段が、前記第２のステップによる階層クラスタ解析の結果に基づいて、前記欠損値を含む欠損データ項目が属するサブクラスタを同定する第３のステップと、
前記補完値決定手段が、前記第３のステップにより同定されたサブクラスタに属するデータ項目に基づいて、前記欠損値の補完値を求める第４のステップと、
前記補完値代入手段が、前記第４のステップにより求められた補完値で前記欠損値を補完する第５のステップと、を備えることを特徴とする欠損データ補完方法。
【請求項６】
欠損値含有属性除去手段、階層クラスタ解析手段、サブクラスタ同定手段、補完値決定手段、および補完値代入手段を備え、収集データに含まれる欠損値を補完する欠損データ補完装置における欠損データ補完方法を、コンピュータに実行させるためのプログラムであって、
前記欠損値含有属性除去手段が、前記収集データから、前記欠損値を含む属性を取り除く第１のステップと、
前記階層クラスタ解析手段が、前記第１のステップにより前記属性が取り除かれた収集データに対して、階層クラスタ解析を行う第２のステップと、
前記サブクラスタ同定手段が、前記第２のステップによる階層クラスタ解析の結果に基づいて、前記欠損値を含む欠損データ項目が属するサブクラスタを同定する第３のステップと、
前記補完値決定手段が、前記第３のステップにより同定されたサブクラスタに属するデータ項目に基づいて、前記欠損値の補完値を求める第４のステップと、
前記補完値代入手段が、前記第４のステップにより求められた補完値で前記欠損値を補完する第５のステップと、をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、欠損データ補完装置、欠損データ補完方法、およびプログラムに関する。
【背景技術】
【０００２】
従来、データマイニングでは、収集された収集データから、目的に応じて分類や予測を行ってきた。上述の分類や予測の精度を向上させる手法として、収集データの欠損値を補完する手法が提案されている（例えば、特許文献１参照）。
【０００３】
特許文献１に示されている手法では、収集データの欠損値と、収集データの全ての正常値と、のマンハッタン距離を求め、求めたマンハッタン距離が最小となる正常値を欠損値に代入する。これによれば、収集データの品質を向上させることができるので、その結果、分類や予測の精度を向上させることができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００２−２１５６４６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、特許文献１に示されている上述の手法では、収集データの中にノイズデータが含まれていた場合に、このノイズデータの値も正常値として用いてしまう。このため、収集データの品質を十分には向上させることができなかった。
【０００６】
そこで、本発明は、上述の課題を鑑みてなされたものであり、収集データの品質をさらに向上させることを目的とする。
【課題を解決するための手段】
【０００７】
本発明は、上記の課題を解決するために、以下の事項を提案している。
（１）  本発明は、収集データに含まれる欠損値を補完する欠損データ補完装置であって、前記収集データから、前記欠損値を含む属性を取り除く欠損値含有属性除去手段（例えば、図１の欠損値含有属性除去部１０に相当）と、前記欠損値含有属性除去手段により前記属性が取り除かれた収集データに対して、階層クラスタ解析を行う階層クラスタ解析手段（例えば、図１の階層クラスタ解析部２０に相当）と、前記階層クラスタ解析手段による階層クラスタ解析の結果に基づいて、前記欠損値を含む欠損データ項目が属するサブクラスタを同定するサブクラスタ同定手段（例えば、図１のサブクラスタ同定部３０に相当）と、前記サブクラスタ同定手段により同定されたサブクラスタに属するデータ項目に基づいて、前記欠損値の補完値を求める補完値決定手段（例えば、図１の補完値決定部４０に相当）と、前記補完値決定手段により求められた補完値で前記欠損値を補完する補完値代入手段（例えば、図１の補完値代入部５０に相当）と、を備えることを特徴とする欠損データ補完装置を提案している。
【０００８】
この発明によれば、欠損データ補完装置に、欠損値含有属性除去手段、階層クラスタ解析手段、サブクラスタ同定手段、補完値決定手段、および補完値代入手段を設けることとした。また、欠損値含有属性除去手段により、収集データから欠損値を含む属性を取り除くこととした。階層クラスタ解析手段により、欠損値含有属性除去手段により属性が取り除かれた収集データに対して階層クラスタ解析を行うこととした。サブクラスタ同定手段により、階層クラスタ解析手段による階層クラスタ解析の結果に基づいて、欠損値を含む欠損データ項目が属するサブクラスタを同定することとした。補完値決定手段により、サブクラスタ同定手段により同定されたサブクラスタに属するデータ項目に基づいて欠損値の補完値を求めることとした。補完値代入手段により、補完値決定手段により求められた補完値で欠損値を補完することとした。このため、欠損値を含むデータ項目と、他のデータ項目と、の類似度を、これらの属性を用いて判断し、欠損値を含むデータ項目との類似度の高いデータ項目を用いて、この欠損値の補完値を求めることができる。したがって、収集データの品質をさらに向上させることができる。
【０００９】
（２）  本発明は、（１）の欠損データ補完装置について、前記欠損値含有属性除去手段、前記階層クラスタ解析手段、前記サブクラスタ同定手段、前記補完値決定手段、および前記補完値代入手段のそれぞれによる処理を、１回以上繰り返し、前記欠損値含有属性除去手段による処理を行うたびに、当該欠損値含有属性除去手段は、前記収集データから、前記欠損値を含む属性を１つずつ取り除くことを特徴とする欠損データ補完装置を提案している。
【００１０】
ここで、収集データから複数の属性を一度に全て取り除くと、収集データに存在している属性の全てを取り除くことになるなど、残った属性の数が著しく少なくなってしまうおそれがある。これによれば、補完値を求めることができなかったり、求めた補完値の品質が低くなってしまったりするおそれがある。
【００１１】
そこで、この発明によれば、（１）の欠損データ補完装置において、欠損値含有属性除去手段による処理を行うたびに、欠損値含有属性除去手段により、収集データから欠損値を含む属性を１つずつ取り除くこととした。このため、補完値を求めることができなかったり、求めた補完値の品質が低くなってしまったりするのを防止することができる。
【００１２】
（３）  本発明は、（１）または（２）の欠損データ補完装置について、前記収集データを第１グループおよび第２グループに分類する属性分類手段（例えば、図５の属性分類部６０に相当）を備え、前記欠損値含有属性除去手段は、前記第１グループに属する収集データから、前記欠損値を含む属性を取り除くとともに、前記第１グループに属する収集データと前記第２グループに属する収集データとを組み合わせたものから、前記欠損値を含む属性を取り除き、前記階層クラスタ解析手段は、前記欠損値含有属性除去手段により前記属性が取り除かれた前記第１グループに属する収集データに対して階層クラスタ解析を行うとともに、前記欠損値含有属性除去手段により前記属性が取り除かれた前記第１グループに属する収集データと前記第２グループに属する収集データとを組み合わせたものに対して階層クラスタ解析を行い、前記第１グループに属する収集データに対する階層クラスタ解析により得られた樹形図のサブクラスタと、前記第１グループに属する収集データと前記第２グループに属する収集データとを組み合わせたものに対する階層クラスタ解析により得られた樹形図のサブクラスタと、の類似度を求める樹形図類似度判定手段（例えば、図５の樹形図類似度判定部７０に相当）をさらに備え、前記サブクラスタ同定手段は、前記樹形図類似度判定手段により求められた類似度が予め定められた閾値以上であれば、前記第１グループに属する収集データと、前記第１グループに属する収集データと前記第２グループに属する収集データとを組み合わせたものと、のそれぞれにおいて、前記欠損データ項目が属するサブクラスタを同定し、前記補完値決定手段は、前記樹形図類似度判定手段により求められた類似度が前記閾値以上であれば、前記サブクラスタ同定手段により同定されたサブクラスタに属するデータ項目に基づいて前記欠損値の補完値を求め、前記補完値代入手段は、前記樹形図類似度判定手段により求められた類似度が前記閾値以上であれば、前記補完値決定手段により求められた補完値で前記欠損値を補完することを特徴とする欠損データ補完装置を提案している。
【００１３】
この発明によれば、（１）または（２）の欠損データ補完装置において、収集データを第１グループおよび第２グループに分類する属性分類手段と、樹形図類似度判定手段と、を設けることとした。また、樹形図類似度判定手段により、第１グループに属する収集データに対する階層クラスタ解析により得られた樹形図のサブクラスタと、第１グループに属する収集データと第２グループに属する収集データとを組み合わせたものに対する階層クラスタ解析により得られた樹形図のサブクラスタと、の類似度を求めることとした。さらに、求めた類似度が閾値以上であれば、欠損データ項目が属するサブクラスタを、第１グループに属する収集データと、第１グループに属する収集データと第２グループに属する収集データとを組み合わせたものと、のそれぞれにおいてサブクラスタ同定手段により同定し、サブクラスタ同定手段により同定されたサブクラスタに属する収集データを用いて補完値決定手段により補完値を求め、補完値決定手段により求められた補完値で補完値代入手段により欠損値を補完することとした。このため、収集データを性質や特徴に応じて分類し、それぞれの属性に対応する樹形図間の関係を用いて、欠損値を含むデータ項目と、収集データから欠損値を含む属性を取り除いた後のデータ項目と、の類似度を判断することができる。したがって、収集データの品質をより向上させることができる。
【００１４】
（４）  本発明は、（１）から（３）のいずれかの欠損データ補完装置について、前記収集データを第１グループおよび第２グループに分類する属性分類手段（例えば、図５の属性分類部６０に相当）を備え、前記欠損値含有属性除去手段は、前記第１グループに属する収集データから、前記欠損値を含む属性を取り除くとともに、前記第１グループに属する収集データと前記第２グループに属する収集データとを組み合わせたものから、前記欠損値を含む属性を取り除き、前記階層クラスタ解析手段は、前記欠損値含有属性除去手段により前記属性が取り除かれた前記第１グループに属する収集データに対して階層クラスタ解析を行うとともに、前記欠損値含有属性除去手段により前記属性が取り除かれた前記第１グループに属する収集データと前記第２グループに属する収集データとを組み合わせたものに対して階層クラスタ解析を行い、前記第１グループに属する収集データに対する階層クラスタ解析により得られた樹形図のサブクラスタと、前記第１グループに属する収集データと前記第２グループに属する収集データとを組み合わせたものに対する階層クラスタ解析により得られた樹形図のサブクラスタと、の類似度を求める樹形図類似度判定手段（例えば、図５の樹形図類似度判定部７０に相当）をさらに備え、前記樹形図類似度判定手段により求められた類似度が予め定められた閾値未満であれば、前記第１グループに属する収集データと、前記第１グループに属する収集データと前記第２グループに属する収集データとを組み合わせたものと、をそれぞれｋ−ｍｅａｎｓ法を用いてクラスタ解析し、クラスタ解析結果に基づいて前記欠損値の補完値を求めるクラスタ解析手段を備えることを特徴とする欠損データ補完装置を提案している。
【００１５】
この発明によれば、（１）から（３）のいずれかの欠損データ補完装置において、収集データを第１グループおよび第２グループに分類する属性分類手段と、樹形図類似度判定手段と、クラスタ解析手段と、を設けることとした。また、樹形図類似度判定手段により、第１グループに属する収集データに対する階層クラスタ解析により得られた樹形図のサブクラスタと、第１グループに属する収集データと第２グループに属する収集データとを組み合わせたものに対する階層クラスタ解析により得られた樹形図のサブクラスタと、の類似度を求めることとした。さらに、クラスタ解析手段により、第１グループに属する収集データに対する階層クラスタ解析により得られた樹形図のサブクラスタと、第１グループに属する収集データと第２グループに属する収集データとを組み合わせたものに対する階層クラスタ解析により得られた樹形図のサブクラスタと、の類似度が閾値未満であれば、第１グループに属する収集データと、第１グループに属する収集データと第２グループに属する収集データとを組み合わせたものと、をそれぞれｋ−ｍｅａｎｓ法を用いてクラスタ解析し、クラスタ解析結果に基づいて補完値を求めることとした。このため、第１グループに属する収集データに対する階層クラスタ解析により得られた樹形図のサブクラスタと、第１グループに属する収集データと第２グループに属する収集データとを組み合わせたものに対する階層クラスタ解析により得られた樹形図のサブクラスタと、の類似度が低い場合でも、欠損値を含むデータ項目との類似度の高いデータ項目を用いて、この欠損値の補完値を求めることができる。
【００１６】
（５）  本発明は、欠損値含有属性除去手段（例えば、図１の欠損値含有属性除去部１０に相当）、階層クラスタ解析手段（例えば、図１の階層クラスタ解析部２０に相当）、サブクラスタ同定手段（例えば、図１のサブクラスタ同定部３０に相当）、補完値決定手段（例えば、図１の補完値決定部４０に相当）、および補完値代入手段（例えば、図１の補完値代入部５０に相当）を備え、収集データに含まれる欠損値を補完する欠損データ補完装置における欠損データ補完方法であって、前記欠損値含有属性除去手段が、前記収集データから、前記欠損値を含む属性を取り除く第１のステップと、前記階層クラスタ解析手段が、前記第１のステップにより前記属性が取り除かれた収集データに対して、階層クラスタ解析を行う第２のステップと、前記サブクラスタ同定手段が、前記第２のステップによる階層クラスタ解析の結果に基づいて、前記欠損値を含む欠損データ項目が属するサブクラスタを同定する第３のステップと、前記補完値決定手段が、前記第３のステップにより同定されたサブクラスタに属するデータ項目に基づいて、前記欠損値の補完値を求める第４のステップと、前記補完値代入手段が、前記第４のステップにより求められた補完値で前記欠損値を補完する第５のステップと、を備えることを特徴とする欠損データ補完方法を提案している。
【００１７】
この発明によれば、上述した効果と同様の効果を奏することができる。
【００１８】
（６）  本発明は、欠損値含有属性除去手段（例えば、図１の欠損値含有属性除去部１０に相当）、階層クラスタ解析手段（例えば、図１の階層クラスタ解析部２０に相当）、サブクラスタ同定手段（例えば、図１のサブクラスタ同定部３０に相当）、補完値決定手段（例えば、図１の補完値決定部４０に相当）、および補完値代入手段（例えば、図１の補完値代入部５０に相当）を備え、収集データに含まれる欠損値を補完する欠損データ補完装置における欠損データ補完方法を、コンピュータに実行させるためのプログラムであって、前記欠損値含有属性除去手段が、前記収集データから、前記欠損値を含む属性を取り除く第１のステップと、前記階層クラスタ解析手段が、前記第１のステップにより前記属性が取り除かれた収集データに対して、階層クラスタ解析を行う第２のステップと、前記サブクラスタ同定手段が、前記第２のステップによる階層クラスタ解析の結果に基づいて、前記欠損値を含む欠損データ項目が属するサブクラスタを同定する第３のステップと、前記補完値決定手段が、前記第３のステップにより同定されたサブクラスタに属するデータ項目に基づいて、前記欠損値の補完値を求める第４のステップと、前記補完値代入手段が、前記第４のステップにより求められた補完値で前記欠損値を補完する第５のステップと、をコンピュータに実行させるためのプログラムを提案している。
【００１９】
この発明によれば、コンピュータを用いてプログラムを実行することで、上述した効果と同様の効果を奏することができる。
【発明の効果】
【００２０】
本発明によれば、収集データの品質をさらに向上させることができる。
【図面の簡単な説明】
【００２１】
【図１】本発明の第１実施形態に係る欠損データ補完装置のブロック図である。
【図２】収集データテーブルの一例を示す図である。
【図３】樹形図の一例を示す図である。
【図４】本発明の第１実施形態に係る欠損データ補完装置が行う欠損データ補完処理のフローチャートである。
【図５】本発明の第２実施形態に係る欠損データ補完装置のブロック図である。
【図６】収集データテーブルの一例を示す図である。
【図７】樹形図の一例を示す図である。
【図８】本発明の第３実施形態に係る欠損データ補完装置のブロック図である。
【図９】本発明の第３実施形態に係る欠損データ補完装置に設けられたクラスタ解析部が行う補完値算出処理のフローチャートである。
【発明を実施するための形態】
【００２２】
以下、本発明の実施の形態について図面を参照しながら説明する。なお、以下の実施形態における構成要素は適宜、既存の構成要素などとの置き換えが可能であり、また、他の既存の構成要素との組み合せを含む様々なバリエーションが可能である。したがって、以下の実施形態の記載をもって、特許請求の範囲に記載された発明の内容を限定するものではない。
【００２３】
＜第１実施形態＞
図１は、本発明の第１実施形態に係る欠損データ補完装置１のブロック図である。欠損データ補完装置１は、収集データに含まれている欠損値について、補完値を求めて補完する。
【００２４】
図２は、本実施形態における収集データをまとめた収集データテーブルを示す図である。収集データは、データベース（図示省略）に予め記憶されており、図２の収集データテーブルでは、国語、算数、理科、社会、英語の各科目のテスト結果が、ユーザＡ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆ、Ｇのユーザごとに登録されており、ユーザＡの算数のテスト結果と、ユーザＢの英語のテスト結果と、が欠落している。
【００２５】
属性値とは、ユーザごとの各科目のテスト結果の値のことである。図２において、例えばユーザＣの算数についての属性値は、「９０」である。
【００２６】
データ項目とは、収集データテーブルの１つ行に含まれている全ての属性値のことである。図２において、例えばユーザＣのデータ項目は、「８０、９０、３５、４０、５０」である。
【００２７】
属性とは、収集データテーブルの１つの列に含まれている全ての属性値のことである。図２において、例えば理科の属性は、「６７、８０、３５、５０、４５、８０、８８」である。
【００２８】
欠損値とは、収集データテーブルに登録されておらず欠落している属性値のことである。図２では、ユーザＡの算数のテスト結果と、ユーザＢの英語のテスト結果と、が欠損値に該当する。欠損値が発生する原因としては、何らかの理由により、データを収集できなかったり、収集データテーブルに属性値を登録できなかったりすることが想定される。
【００２９】
欠損データ項目とは、欠損値を含むデータ項目のことである。図２では、ユーザＡのデータ項目と、ユーザＢのデータ項目と、が欠損データ項目に該当する。
【００３０】
正常データ項目とは、欠損値を含まないデータ項目のことである。図２では、ユーザＣのデータ項目と、ユーザＤのデータ項目と、ユーザＥのデータ項目と、ユーザＦのデータ項目と、ユーザＧのデータ項目と、が正常データ項目に該当する。
【００３１】
データ番号とは、データ項目の名前のことである。図２では、ユーザＡ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆ、Ｇのそれぞれがデータ番号に該当する。
【００３２】
属性グループとは、性質や特徴に応じて分類される、属性の集まりのことである。例えば、図２の属性グループは、テスト科目に関する属性の集まりであり、後述の図６の属性グループは、学習時の環境情報に関する属性の集まりである。
【００３３】
図１に戻って、欠損値含有属性除去部１０、階層クラスタ解析部２０、サブクラスタ同定部３０、補完値決定部４０、および補完値代入部５０を備える。
【００３４】
欠損値含有属性除去部１０は、データベースから収集データを読み出して収集データテーブルを生成し、生成した収集データテーブルから欠損値を含む属性を取り除く。例えば図２の収集データテーブルからは、算数の属性と、英語の属性と、を取り除くことになる。
【００３５】
ただし、複数の属性を一度に全て取り除くと、収集データテーブルに存在している属性の全てを取り除くことになるなど、残った属性の数が著しく少なくなってしまうおそれがある。これによれば、補完値を求めることができなくなってしまったり、求めた補完値の品質が低くなってしまったりするおそれがある。
【００３６】
そこで、欠損値が複数存在している場合には、全ての欠損値について補完値が求められるまで、第１の手順と、第２の手順と、を繰り返して、収集データテーブルから欠損値を含む属性を１つずつ取り除く。なお、第１の手順では、複数の欠損値の中から１つを選択し、第２の手順では、第１の手順で選択した１つの欠損値を含む１つの属性を、収集データテーブルから取り除くこととする。
【００３７】
例えば、図２の収集データテーブルであれば、上述の第１の手順および第２の手順を、２回ずつ繰り返す。１回目の第１の手順では、算数および英語のうち一方の属性を選択し、１回目の第２の手順では、１回目の第１の手順で選択した属性を収集データテーブルから取り除く。１回目の第２の手順で属性が取り除かれた収集データテーブルは、上述の一方の属性に含まれる欠損値の補完値を算出するために用いられる。一方、２回目の第１の手順では、算数および英語のうち他方の属性を選択し、２回目の第２の手順では、２回目の第１の手順で選択した属性を収集データテーブルから取り除く。２回目の第２の手順で属性が取り除かれた収集データテーブルは、上述の他方の属性に含まれる欠損値の補完値を算出するために用いられる。
【００３８】
階層クラスタ解析部２０は、欠損値含有属性除去部１０により欠損値を含む属性が取り除かれた収集データテーブルに対して、階層クラスタ解析を行う。階層クラスタ解析では、データ項目間の類似度または非類似度（距離）に基づいて、最も類似度の高いデータ項目から順次集めてクラスタを形成して、樹形図を得る。これによれば、類似するデータ項目同士が同じサブクラスタに分類されることになる。
【００３９】
図３は、階層クラスタ解析部２０による階層クラスタ解析により、図２の収集データテーブルから得られた樹形図を示す図である。サブクラスタとは、クラスタの中で、類似する（距離の近い）データ項目の集まりのことであり、例えば、ユーザＡのデータ項目と、ユーザＥのデータ項目と、は同じサブクラスタに属している。
【００４０】
サブクラスタ同定部３０は、階層クラスタ解析部２０による階層クラスタ解析の結果に基づいて、欠損データ項目が属するサブクラスタを同定する。これによれば、算数に関して欠損値を有するユーザＡが、ユーザＥと同じサブクラスタに属し、英語に関して欠損値を有するユーザＢが、ユーザＦと同じサブクラスタに属すると、判定されることになる。
【００４１】
補完値決定部４０は、サブクラスタ同定部３０により同定されたサブクラスタに属するデータ項目に基づいて、補完値を求める。具体的には、まず、サブクラスタ同定部３０により同定されたサブクラスタに属する正常データ項目を求め、求めた正常データ項目に含まれる属性値の代表値を求める。次に、求めた代表値と、欠損値を含むデータ項目と、に基づいて補完値を求める。例えば、ユーザＡの算数に関する欠損値については、ユーザＥの属性値の代表値を補完値とする。なお、代表値としては、例えば、平均値や最大値や中央値やモードを用いることができる。
【００４２】
補完値代入部５０は、収集データテーブルにおいて、補完値決定部４０により求められた補完値を欠損値に代入して、収集データテーブルを更新する。
【００４３】
図４は、欠損データ補完装置１が行う欠損データ補完処理のフローチャートである。
【００４４】
ステップＳ１において、欠損データ補完装置１は、欠損値含有属性除去部１０により、データベースから収集データを読み出して収集データテーブルを生成し、ステップＳ２に処理を移す。
【００４５】
ステップＳ２において、欠損データ補完装置１は、欠損値含有属性除去部１０により、収集データテーブルから欠損値を含む属性を１つ取り除き、ステップＳ３に処理を移す。
【００４６】
なお、どの収集データテーブルから欠損値を含む属性を１つ取り除くのかは、ステップＳ２の処理をこれまでに何回行ったのかに応じて変わる。ステップＳ２の処理をこれまでに行ったことがない場合には、ステップＳ１で生成した収集データテーブルから、欠損値を含む属性を１つ取り除く。一方、ステップＳ２の処理をこれまでに１回以上行っている場合には、前回のステップＳ６で更新した後の収集データテーブルから、欠損値を含む属性を１つ取り除く。
【００４７】
ステップＳ３において、欠損データ補完装置１は、階層クラスタ解析部２０により、ステップＳ２で欠損値を含む属性を取り除いた収集データテーブルに対して階層クラスタ解析を行って、樹形図を得て、ステップＳ４に処理を移す。
【００４８】
ステップＳ４において、欠損データ補完装置１は、サブクラスタ同定部３０により、ステップＳ３で得た樹形図に基づいて、欠損データ項目が属するサブクラスタを同定し、ステップＳ５に処理を移す。
【００４９】
ステップＳ５において、欠損データ補完装置１は、補完値決定部４０により、ステップＳ４で同定したサブクラスタに属するデータ項目に基づいて、補完値を求め、ステップＳ６に処理を移す。
【００５０】
ステップＳ６において、欠損データ補完装置１は、補完値代入部５０により、ステップＳ５で求めた補完値を欠損値に代入して、収集データテーブルを更新し、ステップＳ７に処理を移す。
【００５１】
なお、どの収集データテーブルを更新するのかは、ステップＳ６の処理をこれまでに何回行ったのかに応じて変わる。ステップＳ６の処理をこれまでに行ったことがない場合には、ステップＳ１で生成した収集データテーブルを、更新する。一方、ステップＳ６の処理をこれまでに１回以上行っている場合には、前回のステップＳ６で更新した後の収集データテーブルを、更新する。これによれば、ステップＳ６の処理を行うたびに、ステップＳ１で生成した収集データテーブルの欠損値が補完されていくことになる。
【００５２】
ステップＳ７において、欠損データ補完装置１は、補完値代入部５０により、全ての欠損値を補完できたか否か、すなわちステップＳ６で更新を行った後の収集データテーブルにおいて欠損値が存在していないか否かを、判別する。全ての欠損値を補完できたと判別した場合には、図４の処理を終了し、少なくとも１つ以上の欠損値をまだ補完できていないと判別した場合には、ステップＳ２に処理を戻す。
【００５３】
以上の欠損データ補完装置１によれば、以下の効果を奏することができる。
【００５４】
欠損データ補完装置１は、欠損値を含むデータ項目と、他のデータ項目と、の類似度を、これらの属性を用いて判断し、欠損値を含むデータ項目との類似度の高いデータ項目を用いて、この欠損値の補完値を求めることができる。このため、収集データの品質をさらに向上させることができる。
【００５５】
また、欠損データ補完装置１は、収集データテーブルから欠損値を含む属性を１つずつ取り除く。このため、収集データテーブルに残った属性の数が著しく少なくなってしまうのを防止して、補完値を求めることができなくなってしまったり、求めた補完値の品質が低くなってしまったりするのを防止することができる。
【００５６】
＜第２実施形態＞
図５は、本発明の第２実施形態に係る欠損データ補完装置１Ａのブロック図である。欠損データ補完装置１Ａは、図１に示した本発明の第１実施形態に係る欠損データ補完装置１とは、属性分類部６０および樹形図類似度判定部７０を備える点と、欠損値含有属性除去部１０、階層クラスタ解析部２０、サブクラスタ同定部３０、補完値決定部４０、および補完値代入部５０のそれぞれの代わりに欠損値含有属性除去部１０Ａ、階層クラスタ解析部２０Ａ、サブクラスタ同定部３０Ａ、補完値決定部４０Ａ、および補完値代入部５０Ａのそれぞれを備える点と、が異なる。なお、欠損データ補完装置１Ａにおいて、欠損データ補完装置１と同一構成要件については、同一符号を付し、その説明を省略する。
【００５７】
属性分類部６０は、データベースから収集データを読み出して、これら収集データを性質や特徴に応じて分類し、分類結果に応じて収集データテーブルを生成する。例えば、データベースから収集データとして、国語、算数、理科、社会、英語の各科目のテスト結果と、学習時の体温、脈拍、雑音、室温、およびどれだけ体を動かしたのかを示す動き範囲と、がユーザごとに読み出された場合には、図２の収集データテーブルと、図６の収集データテーブルと、が生成されることになる。
【００５８】
欠損値含有属性除去部１０Ａは、図１に示した欠損値含有属性除去部１０と同様に、収集データテーブルから欠損値を含む属性を取り除く。ただし、欠損値含有属性除去部１０Ａは、属性分類部６０により生成された複数の収集データテーブルのうち第１の収集テーブルから欠損値を含む属性を取り除くとともに、属性分類部６０により生成された複数の収集データテーブルのうち第１の収集テーブルと第２の収集テーブルとを組み合わせたものから欠損値を含む属性を取り除く。例えば、属性分類部６０により、図２の収集データテーブルと、図６の収集データテーブルと、が生成された場合には、欠損値含有属性除去部１０Ａは、図２の収集データテーブルから欠損値を含む属性を取り除くとともに、図２の収集データテーブルと図６の収集データテーブルとを組み合わせたものから欠損値を含む属性を取り除く。
【００５９】
階層クラスタ解析部２０Ａは、図１に示した階層クラスタ解析部２０と同様に、階層クラスタ解析を行う。ただし、階層クラスタ解析部２０Ａは、欠損値を含む属性が取り除かれた後の第１の収集テーブルに対して階層クラスタ解析を行うとともに、欠損値を含む属性が取り除かれた後の第１の収集テーブルと第２の収集テーブルとを組み合わせたものに対して階層クラスタ解析を行う。例えば、属性分類部６０により、図２の収集データテーブルと、図６の収集データテーブルと、が生成された場合には、欠損値を含む属性が取り除かれた後の図２の収集テーブルに対して階層クラスタ解析を行うとともに、欠損値を含む属性が取り除かれた後の図２の収集テーブルと図６の収集テーブルとを組み合わせたものに対して階層クラスタ解析を行う。これによれば、図２の収集データテーブルについての樹形図と、図２の収集データテーブルおよび図６の収集データテーブルについての樹形図と、が得られることになる。
【００６０】
図７は、図２の収集データテーブルおよび図６の収集データテーブルについて得られた樹形図を示す図である。なお、図２の収集データテーブルについて得られた樹形図については、図３に示したとおりである。
【００６１】
樹形図類似度判定部７０は、階層クラスタ解析部２０Ａにより得られた樹形図同士のサブクラスタが類似しているか否かを判別する。具体的には、階層クラスタ解析部２０Ａにより得られた樹形図のそれぞれについて、部分木の一致度や編集距離などを利用する類似度判定アルゴリズムを用いて類似度を求め、求めた類似度が予め定められた閾値以上であれば、それら樹形図のサブクラスタが類似していると判別する。例えば、図３の樹形図と、図７の樹形図と、が階層クラスタ解析部２０Ａにより得られた場合には、これら２つの樹形図のサブクラスタの類似度を求めて、これら２つの樹形図のサブクラスタが類似しているか否かを判別する。
【００６２】
サブクラスタ同定部３０Ａは、樹形図類似度判定部７０によりサブクラスタ同士が類似していると判定された場合に、階層クラスタ解析部２０Ａにより得られた樹形図のそれぞれにおいて、サブクラスタ同定部３０と同様に欠損データ項目が属するサブクラスタを同定する。
【００６３】
補完値決定部４０Ａは、樹形図類似度判定部７０によりサブクラスタ同士が類似していると判定された場合に、階層クラスタ解析部２０Ａにより得られた樹形図のそれぞれにおいて、補完値決定部４０と同様に補完値を求める。
【００６４】
補完値代入部５０Ａは、樹形図類似度判定部７０によりサブクラスタ同士が類似していると判定された場合に、補完値代入部５０と同様に、補完値決定部４０Ａにより求められた補完値を欠損値に代入して、収集データテーブルを更新する。
【００６５】
以上の欠損データ補完装置１Ａによれば、欠損データ補完装置１が奏することのできる上述の効果に加えて、以下の効果を奏することができる。
【００６６】
欠損データ補完装置１Ａは、収集データを性質や特徴に応じて分類し、それぞれの属性に対応する樹形図間の関係を用いて、欠損値を含むデータ項目と、他のデータ項目と、の類似度を判断する。このため、収集データの品質をより向上させることができる。
【００６７】
＜第３実施形態＞
図８は、本発明の第３実施形態に係る欠損データ補完装置１Ｂのブロック図である。欠損データ補完装置１Ｂは、図５に示した本発明の第２実施形態に係る欠損データ補完装置１Ａとは、クラスタ解析部８０を備える点が異なる。なお、欠損データ補完装置１Ｂにおいて、欠損データ補完装置１Ａと同一構成要件については、同一符号を付し、その説明を省略する。
【００６８】
クラスタ解析部８０は、樹形図類似度判定部７０により、階層クラスタ解析部２０Ａにより得られた樹形図同士のサブクラスタが類似していないと判別された場合に、ｋ−ｍｅａｎｓ法を用いて補完値を求める。クラスタ解析部８０による補完値算出処理について、図９を用いて以下に説明する。
【００６９】
ステップＳ１１において、クラスタ解析部８０は、ｋ−ｍｅａｎｓ法のパラメータｋに「２」を設定し、ステップＳ１２に処理を移す。
【００７０】
ステップＳ１２において、クラスタ解析部８０は、ｋ−ｍｅａｎｓ法により、図２の収集データと、図２の収集データおよび図６の収集データと、をそれぞれクラスタ解析し、ステップＳ１３に処理を移す。
【００７１】
ステップＳ１３において、クラスタ解析部８０は、今回のステップＳ１２でのクラスタ解析により得られたクラスタごとの代表値と、前回（ｋの値が、現在のｋの値よりも「１」小さいとき）のステップＳ１２でのクラスタ解析により得られたクラスタごとの代表値と、の差分の絶対値を求め、ステップＳ１４に処理を移す。
【００７２】
ステップＳ１４において、クラスタ解析部８０は、ステップＳ１３で求めた差分の絶対値が予め定められた閾値未満であるか否かを判別する。閾値以上であると判別した場合には、ステップＳ１５に処理を移す。一方、閾値未満であると判別した場合には、クラスタ解析の結果が安定していると判断し、ステップＳ１６に処理を移す。
【００７３】
ステップＳ１５において、クラスタ解析部８０は、ｋ−ｍｅａｎｓ法のパラメータｋに１を加算し、ステップＳ１２に処理を戻す。
【００７４】
ステップＳ１６において、クラスタ解析部８０は、図２の収集データから、欠損データ項目が属するサブクラスタＸａを同定するとともに、図２の収集データおよび図６の収集データに対してｋ−ｍｅａｎｓを利用してクラスタ解析を行い、その結果としてサブクラスタＸ１、Ｘ２、・・・Ｘｎを得て、ステップＳ１７に処理を移す。
【００７５】
ステップＳ１７において、クラスタ解析部８０は、Ｊａｃｃａｒｄ係数を用いて、サブクラスタＸａに最も類似するサブクラスタＸｉ（ただし、ｉは、１≦ｉ≦ｎを満たす整数）を、サブクラスタＸ１、Ｘ２、・・・Ｘｎの中から抽出し、ステップＳ１８に処理を移す。例えば、サブクラスタＸａと、サブクラスタＸｍ（ただし、ｍは、１≦ｍ≦ｎを満たす任意の整数）と、の類似度をＪａｃｃａｒｄ係数を用いて求める場合には、以下の数式（１）を用いる。
【００７６】
【数１】
2015184853.tif 000003
【００７７】
ステップＳ１８において、クラスタ解析部８０は、サブクラスタＸａおよびサブクラスタＸｉに含まれる正常データ項目の属性値を用いて代表値を求め、求めた代表値を用いて補完値を求め、図９の処理を終了する。
【００７８】
以上の欠損データ補完装置１Ｂによれば、以下の効果を奏することができる。
【００７９】
欠損データ補完装置１Ｂは、階層クラスタ解析部２０Ａにより得られた樹形図同士のサブクラスタが類似していない場合でも、欠損値を含むデータ項目との類似度の高いデータ項目を用いて、この欠損値の補完値を求めることができる。
【００８０】
なお、本発明の欠損データ補完装置１、１Ａ、１Ｂの処理を、コンピュータ読み取り可能な非一時的な記録媒体に記録し、この記録媒体に記録されたプログラムを欠損データ補完装置１、１Ａ、１Ｂに読み込ませ、実行することによって、本発明を実現できる。
【００８１】
ここで、上述の記録媒体には、例えば、ＥＰＲＯＭやフラッシュメモリといった不揮発性のメモリ、ハードディスクといった磁気ディスク、ＣＤ−ＲＯＭなどを適用できる。また、この記録媒体に記録されたプログラムの読み込みおよび実行は、欠損データ補完装置１、１Ａ、１Ｂに設けられたプロセッサによって行われる。
【００８２】
また、上述のプログラムは、このプログラムを記憶装置などに格納した欠損データ補完装置１、１Ａ、１Ｂから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネットなどのネットワーク（通信網）や電話回線などの通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
【００８３】
また、上述のプログラムは、上述の機能の一部を実現するためのものであってもよい。さらに、上述の機能を欠損データ補完装置１、１Ａ、１Ｂにすでに記録されているプログラムとの組み合せで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【００８４】
以上、この発明の実施形態につき、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計なども含まれる。
【符号の説明】
【００８５】
１、１Ａ、１Ｂ・・・欠損データ補完装置
１０、１０Ａ・・・欠損値含有属性除去部
２０、２０Ａ・・・階層クラスタ解析部
３０、３０Ａ・・・サブクラスタ同定部
４０、４０Ａ・・・補完値決定部
５０、５０Ａ・・・補完値代入部
６０・・・属性分類部
７０・・・樹形図類似度判定部
８０・・・クラスタ解析部
【図１】
2015184853.tif 000004
【図２】
2015184853.tif 000005
【図３】
2015184853.tif 000006
【図４】
2015184853.tif 000007
【図５】
2015184853.tif 000008
【図６】
2015184853.tif 000009
【図７】
2015184853.tif 000010
【図８】
2015184853.tif 000011
【図９】
2015184853.tif 000012