(57)【要約】【課題】ラベル情報を利用した欠損値補完方法及び装置を提供する。【解決手段】訓練データ欠損値補完部２１によりラベル有りデータの欠損値を補完し、検証データ欠損値補完部２２によりラベル有りデータとラベル無しデータを結合させて、ラベル無しデータの欠損値補完を行う。訓練データを用いた予測モデル学習部２３により訓練データを用いた教師付き学習を行い、予測モデルによる検証データの予測部２４により検証データのラベルを予測する。【選択図】図１
2008234352.tif 000002
【特許請求の範囲】
【請求項１】
ラベル情報を用いた欠損値補完方法であって、
ラベル有りデータに基づく教師付き学習を用いた欠損値補完を行う第１の欠損値補完ステップと、
欠損値補完されたラベル有りデータとラベル無しデータとを結合し、属性に基づいて欠損値補完を行う第２の欠損値補完ステップとを有することを特徴とする欠損値補完方法。
【請求項２】
前記第１の欠損値補完ステップにおける前記教師付き学習がアンサンブル学習であることを特徴とする請求項１記載の欠損値補完方法。
【請求項３】
前記第１の欠損値補完ステップにおける前記教師付き学習がランダムフォレストによる学習であることを特徴とする請求項１記載の欠損値補完方法。
【請求項４】
前記第２の欠損値補完ステップにおいては、属性の平均値又は中央値を補完値とすることを特徴とする請求項１から３のいずれか１項記載の欠損値補完方法。
【請求項５】
前記第２の欠損値補完ステップにおいては、Ｋ近傍法、混合正規分布のベイズ推定、又は局所最小二乗法のいずれかにより補完値を算出することを特徴とする請求項１から３のいずれか１項記載の欠損値補完方法。
【請求項６】
前記欠損値補完されたラベル有りデータとラベル無しデータとから学習する学習ステップを有することを特徴とする請求項１から５のいずれか１項記載の欠損値補完方法。
【請求項７】
前記学習ステップにおいては、前記ラベル有りデータについて教師付き学習を行うことを特徴とする請求項６記載の欠損値補完方法。
【請求項８】
前記学習ステップにおいては、前記ラベル有りデータについてアンサンブル学習を行うことを特徴とする請求項７記載の欠損値補完方法。
【請求項９】
前記学習ステップにおいては、前記ラベル有りデータについてランダムフォレストによる学習を行うことを特徴とする請求項７記載の欠損値補完方法。
【請求項１０】
前記学習ステップにおいては、ラベル無しデータについての教師無し学習を行うことを特徴とする請求項６から９のいずれか１項記載の欠損値補完方法。
【請求項１１】
前記学習ステップにおいては、前記ラベル無しデータについてクラスタリング学習を行うことを特徴とする請求項１０記載の欠損値補完方法。
【請求項１２】
ラベル有りデータを記憶する訓練データ記憶手段と、
ラベル無しデータを記憶する検証データ記憶手段と、
前記ラベル有りデータの欠損値を教師付き学習によって補完する訓練データ欠損値補完手段と、
欠損値補完された訓練データを記憶する補完訓練データ記憶手段と、
前記欠損値補完された訓練データと前記ラベル無しデータとを結合し、その属性からラベル無しデータの欠損値を補完する検証データ欠損値補完手段と、
欠損値補完されたラベル無しデータを記憶する補完検証データ記憶手段と、
前記欠損値補完された訓練データを用いて教師付き学習を行う予測モデル学習手段と、
学習した予測モデルを記憶する予測モデル記憶手段と、
前記欠損値補完された検証データのラベルを、前記予測モデルを用いて予測する検証データ予測手段とを有することを特徴とするラベル情報を用いた欠損値補完装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、欠損値補完方法及び装置に関し、特にラベル有りデータに含まれるラベル情報を用いて教師あり学習による欠損値補完を行い、ラベル無しデータの欠損値補完に利用することで、推定度を高めた欠損値補完方法及び装置に関する。
【背景技術】
【０００２】
学習データには属性の値が得られていない場合が多く、これらは欠損値と呼ばれている。多くの学習アルゴリズムは欠損値が存在しないことを前提にアルゴリズムが構成されている。そのため、欠損している属性に対してもっともな値を推定する必要がある。従来の欠損値補完方法としては、欠損している属性の平均値や中央値あるいは属性間の距離に基づく方法などがある。
【０００３】
生物学データを例に挙げると、ＤＮＡマイクロアレイにおける遺伝子発現データに対する欠損値補完方法がいくつか存在する。従来の欠損値推定方法として、非特許文献１〜３にあるような方法が知られている。
【０００４】
ラベル有りデータの欠損値については、アンサンブル学習の一つであるランダムフォレストを用いて教師付き学習を行い、学習課程で得られるサンプル間の近接度を利用して推定を行う。ランダムフォレストと近接度とを用いた欠損値補完については、非特許文献４、非特許文献５に記載されている。
【特許文献１】特開２００６−３０９４８５号公報
【非特許文献１】Troyanska, O., Cantor, M., Sherlock, G., Brown, P., Hasite, T., Tibshirani,R., Botstein, D. and Altman, R., Missing value estimation methods for DNA microarrays, BIOINFORMATICS, 520-525, 2001.
【非特許文献２】Oba, S, Sato, M., Takemasa, I., Monden, M., Matsubara, K. and Ishii, S., A Bayesian missing value estimation method for gene expression profile data, BIOINFORMATICS, 2088-2096, 2003.
【非特許文献３】Kim, H., Golub, G., and Park, H., Missing value estimation for DNA microarray gene expression data: local least square imputation, BIOINFORMATICS, 187-198, 2005.
【非特許文献４】Leo Breiman, Random Forests, Machine Learning, 2001, 5-32.
【非特許文献５】Svetnik, V., Liaw, A., Tong, C., Cullberson, C., Sheridan, R. and Feauton B., Random forest: A Classification and Regression Tool for Compound Classification and QSAR modeling, J. Chen, Inf. Comput. Sci, 1947-1958, 2003.
【発明の開示】
【発明が解決しようとする課題】
【０００５】
特許文献１や非特許文献１〜３に開示される方法には、次のような問題点がある。
まず、特許文献１や非特許文献１、２の方法は、属性情報から混合正規分布などを仮定し、属性値の確率分布を求めてから、属性値を推定している。しかし、属性情報が混合正規分布から生成される仮定が成立しない場合には、推定値は真の値と全く異なる可能性がある。
【０００６】
非特許文献３では、局所最小二乗法を用いているが、属性数が非常に多い高次元データでは、いわゆる「次元の呪い」によって、データ間の距離が推定に大きな影響を及ぼす危険がある。これらの問題はラベル情報を利用していないことに起因しており、そのため、データ分布の仮定や局所的な距離が推定に有効である仮定が成立しない場合は、適切な方法であるとは言えない。
【０００７】
また、非特許文献４、５に記載の方法では、ラベル有りデータについてのみ、欠損値の補完が可能であり、ラベル無しデータについては適用できない問題がある。
【０００８】
本発明はかかる問題に鑑みてなされたものであり、ラベルが未知であるラベル無しデータの欠損値を、属性のみから補完する場合よりも高精度に補完できる欠損値補完装置及び方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するため、本発明は、第１の態様として、ラベル情報を用いた欠損値補完方法であって、ラベル有りデータに基づく教師付き学習を用いた欠損値補完を行う第１の欠損値補完ステップと、欠損値補完されたラベル有りデータとラベル無しデータとを結合し、属性に基づいて欠損値補完を行う第２の欠損値補完ステップとを有することを特徴とする欠損値補完方法を提供するものである。
【００１０】
本発明の第１の態様においては、第１の欠損値補完ステップにおける教師付き学習がアンサンブル学習であること、又は、第１の欠損値補完ステップにおける教師付き学習がランダムフォレストによる学習であることが好ましい。
【００１１】
本発明の第１の態様の上記のいずれの構成においても、第２の欠損値補完ステップにおいては、属性の平均値又は中央値を補完値とすること、又は、第２の欠損値補完ステップにおいては、Ｋ近傍法、混合正規分布のベイズ推定、又は局所最小二乗法のいずれかにより補完値を算出することが好ましい。
【００１２】
本発明の第１の態様の上記のいずれの構成においても、欠損値補完されたラベル有りデータとラベル無しデータとから学習する学習ステップを有することが好ましく、これに加えて、学習ステップにおいては、ラベル有りデータについて教師付き学習を行うことがより好ましい。さらに加えて、学習ステップにおいては、ラベル有りデータについてアンサンブル学習を行うこと、又は、学習ステップにおいては、ラベル有りデータについてランダムフォレストによる学習を行うことがより好ましい。
【００１３】
本発明の第１の態様の学習ステップを備えた構成においては、学習ステップにおいては、ラベル無しデータについての教師無し学習を行うことが好ましく、これに加えて、学習ステップにおいては、ラベル無しデータについてクラスタリング学習を行うことがより好ましい。
【００１４】
また、上記目的を達成するため、本発明は、第２の態様として、ラベル有りデータを記憶する訓練データ記憶手段と、ラベル無しデータを記憶する検証データ記憶手段と、ラベル有りデータの欠損値を教師付き学習によって補完する訓練データ欠損値補完手段と、欠損値補完された訓練データを記憶する補完訓練データ記憶手段と、欠損値補完された訓練データとラベル無しデータとを結合し、その属性からラベル無しデータの欠損値を補完する検証データ欠損値補完手段と、欠損値補完されたラベル無しデータを記憶する補完検証データ記憶手段と、欠損値補完された訓練データを用いて教師付き学習を行う予測モデル学習手段と、学習した予測モデルを記憶する予測モデル記憶手段と、欠損値補完された検証データのラベルを、予測モデルを用いて予測する検証データ予測手段とを有することを特徴とするラベル情報を用いた欠損値補完装置を提供するものである。
【発明の効果】
【００１５】
本発明によれば、ラベルが未知であるラベル無しデータの欠損値を、属性のみから補完する場合よりも高精度に補完できる欠損値補完装置及び方法を提供できる。
【発明を実施するための最良の形態】
【００１６】
〔発明の要点〕
本発明は、近接度と呼ばれるラベル情報を利用して得られる距離を計算することで、ラベルを予測するのに適した距離を用いて欠損値補完を行い、ラベル無しデータについては、欠損値補完されたラベル有りデータの属性値を利用することで、属性のみから欠損値を補完する場合よりも推定精度を向上させるものである。
すなわち、本発明では、ラベル有りデータの欠損値については、ラベルに対する教師付き学習を利用して推定し、ラベルが未知であるラベル無しデータの欠損値については、ラベル有りデータと組み合わせて推定することで、ラベル無しデータに対するラベルの予測精度を向上させる。
【００１７】
以下、本発明の好適な実施の形態について図面を用いて説明する。なお、ラベル有りデータを「訓練データ」、ラベル無しデータを「検証データ」と呼ぶものとする。
【００１８】
図１に、本実施形態にかかる欠損値補完装置の構成を示す。この欠損値補完装置は、入力装置１、データ処理装置２、記憶装置３、出力装置４を有する。入力装置１は、キーボードなどのユーザインタフェース（ＵＩ）である。データ処理装置２は、プログラム制御によって動作する。記憶装置３は、情報を記憶する。出力装置４は、ディスプレイのような表示装置やプリンタなどの印刷装置である。
【００１９】
データ処理装置２は、訓練データ欠損値補完部２１、検証データ欠損値補完部２２、予測モデル学習部２３、予測部２４を有する。訓練データ欠損値補完部２１は、ラベル情報が既知である訓練データにおける欠損値を補完する。検証データ欠損値補完部２２は、欠損値補完された訓練データとラベル情報が未知である検証データとを用いて検証データの欠損値を補完する。予測モデル学習部２３は、欠損値補完された訓練データを用いて予測モデルを学習する。予測部２４は、予測モデルによって検証データのラベルを予測する。
【００２０】
記憶装置３は、訓練データ記憶部３１、補完訓練データ記憶部３２、検証データ記憶部３３、補完検証データ記憶部３４及び予測モデル記憶部３５を有する。訓練データ記憶部３１は、訓練データを格納する。補完訓練データ記憶部３２は、欠損値が補完された訓練データを格納する。検証データ記憶部３３は、検証データを格納する。補完検証データ３４は、欠損値が補完された検証データを格納する。予測モデル記憶部３５は、訓練データを用いて学習された予測モデルを格納する。
【００２１】
図２〜４に、欠損値補完装置の動作の流れを示す。
入力装置１を介して実行指示が与えられ、訓練データ記憶部３１から訓練データが入力されると（ステップＳ１０１）、訓練データ欠損値補完部２１によって訓練データの欠損値が補完される（ステップＳ１０２）。欠損値が補完された訓練データは、補完訓練データ記憶部３２に記憶される。また、検証データ欠損値補完部２２によって、欠損値補完された訓練データを用いて検証データの欠損値が補完される（ステップＳ１０３）。欠損値が補完された検証データは、補完検証データ記憶部３４に記憶される。なお、ステップＳ１０２及びＳ１０３の動作については後段でより詳細に説明する。
【００２２】
予測モデル学習部２３は、補完訓練データ記憶部３２から欠損値補完された訓練データを取得し、ラベルと属性とを用いた教師付き学習を行い（ステップＳ１０４）、得られた予測モデルを予測モデル記憶部３５に格納する（ステップＳ１０５）。
【００２３】
図３を用いて訓練データの欠損値補完方法（ステップＳ１０２の動作）の具体例を説明する。
まず、訓練データ欠損値補完部２１は、訓練データ記憶部３１から訓練データのラベル情報を取得する（ステップＳ２０１）。訓練データ欠損値補完部２１には、欠損値補完に用いる反復回数Ｍやランダムフォレストの学習パラメータが入力装置１を介して設定される（ステップＳ２０２）。Ｍは、例えば３００程度に設定する。また、数回の試行によってデータに対して最も適切なＭを設定することもできる。
【００２４】
次に、訓練データ欠損値補完部２１は、反復回数を計数する指示数ｍを１に設定する（ステップＳ２０３）。そして、訓練データ欠損値補完部２１は、数値属性の場合には中央値、カテゴリ属性の場合は最頻カテゴリとして、欠損値を粗く（大まかに）補完する（ステップＳ２０４）。訓練データ欠損値補完部２１は、補完された訓練データを用いてランダムフォレストによる教師付き学習を行う（ステップＳ２０５）。そして、学習過程によって得られるデータk,l間の近接度prox(k,l)を下記式（１）によって算出する（ステップＳ２０６）。
【００２５】
【数１】
2008234352.tif 000003
【００２６】
ここで、ntreeは決定木又は回帰木の個数であり、δk,lはデータk,lが同じ終端ノードに達した場合に１となり、それ以外の場合は０となるようなクロネッカーのデルタ関数である。この近接度を重みとして、数値属性の欠損値は重み付き平均によって欠損値を更新し、カテゴリ属性の場合は重み付け多数決によってカテゴリを更新する（ステップＳ２０７）。数値属性の欠損値を補完する重み付き平均は下記式（２）によって求められる。
【００２７】
【数２】
2008234352.tif 000004
【００２８】
ここで、Xiは、欠損値補完の対象となっている属性値であり、Nは訓練データの総数である。
【００２９】
訓練データ欠損値補完部２１は、反復回数を計数する指示数ｍに１を加える（ステップＳ２０８）。指示数ｍが予め設定されているＭに達していない場合は（ステップＳ２０９／Ｎｏ）、ステップＳ２０５へ進み、更新された欠損値を用いてランダムフォレストによる教師付き学習を行う。指示数ｍがＭに達したら（ステップＳ２０９／Ｙｅｓ）、処理を終了する。
【００３０】
図４を用いて検証データ欠損値補完方法（ステップＳ１０３の動作）の具体例を説明する。
【００３１】
検証データ欠損値補完部２２は、補完訓練データ記憶部３２から欠損値補完された訓練データを取得するととともに、検証データ記憶部３３から検証データを取得する（ステップＳ３０１）。続いて、検証データ欠損値補完部２２は、Ｋ近傍法におけるパラメータを設定し（ステップＳ３０２）、欠損補完された訓練データと検証データとをマージする（ステップＳ３０３）。検証データ欠損値補完部２２は、属性に欠損値が存在するサンプルを探索し（ステップＳ３０４）、欠損値補完が必要なサンプルの個数を計数する指示数ｎを１として初期化する（ステップＳ３０５）。欠損値以外の属性に基づいてサンプルk,l間のユークリッド距離dklを下記式（３）によって算出し、近傍サンプルＫ個を探索する（ステップＳ３０６）。Ｋは、例えば１０程度に設定する。また、数回の試行によってデータに対して最も適したＫを設定することもできる。
【００３２】
【数３】
2008234352.tif 000005
【００３３】
式（３）において、Ｉは欠損値の無い属性の個数である。
【００３４】
検証データ欠損値補完部２２は、近傍サンプルＫ個のユークリッド距離を重みとして、欠損値を下記式（４）に示す重み付き平均として求める（ステップＳ３０７）。
【００３５】
【数４】
2008234352.tif 000006
【００３６】
検証データ欠損値補完部２２は、欠損値補完が必要なサンプルの個数の指示数ｎに１を加える（ステップＳ３０８）。ｎがＮに達していない場合（ステップＳ３０９／Ｎｏ）、ステップＳ３０６へ進み、次に必要なサンプル欠損値補完を行うために近傍サンプルを探索する。ｎがＮに到達した場合は（ステップＳ３０９／Ｙｅｓ）、検証データ欠損値補完部２２は処理を終了する。
【００３７】
ラベル情報としては、医学・生物学の場合、薬効の有無、病態の進行度の他に生存時間などの表現型を用いることができる。教師付き学習の方法としては、ランダムフォレストを始めとしたバギング、ブースティングなどのアンサンブル学習や、サポートベクターマシン、決定木、生存木を用いることができる。欠損値補完された訓練データと検証データから学習する方法としては、検証データのクラスタリングによる学習を用いることができる。
【００３８】
予測手段は、予測モデル記憶部３５から予測モデルを、補完検証データ記憶部３４から欠損値が補完された検証データをそれぞれ取得し、予測モデルを基にラベルを予測する。
予測結果は、出力装置４から出力される。
【００３９】
このように、ラベル有りデータに含まれるラベル情報を用いて教師付き学習による欠損値補完を行い、ラベル無しデータの欠損値補完に利用することで推定精度の高い欠損値補完が可能となる。
【実施例】
【００４０】
Mayo Clinicにて１９７４〜１９８４年に亘って取得された原発性胆汁性肝硬変（ＰＢＣ：Primary Biliary Cirrhosis）の患者の臨床情報をＲパッケージの一つであるrandomSurvivalForestのpbcオブジェクトから取得し、繊維化のステージ（属性名：stage）３、４であった２９９人の患者の臨床情報に基づき、２分割交差確認法により分類実験を行った。
【００４１】
ラベルとして繊維化ステージstage、属性としてはdrugs, age, sex, ascites, hepatom, spiders, edema, bili, chol, albumin, copper, alk, sgot, trig, platelet, prothrombinを用いた。
【００４２】
本発明の対照法として、ラベル情報を用いない欠損値補完法の一つであるＫ近傍法を用い、学習アルゴリズムとしては、ランダムフォレストを用いた。対照法の詳細は非特許文献１に開示されている。
【００４３】
ラベル情報を用いない欠損値補完であるＫ近傍法の場合の分類性能を表１に示す。
【００４４】
【表１】
2008234352.tif 000007
【００４５】
本発明によって欠損値補完した場合の分類性能を表２に示す。
【００４６】
【表２】
2008234352.tif 000008
【００４７】
以上の結果により、本発明によって欠損値を補完した場合の正解率は、ラベル情報を用いない場合と比較して高く、分類性能が高いことが確認された。
【００４８】
なお、上記実施形態は本発明の好適な実施の一例であり、本発明はこれに限定されることなく様々な変形が可能である。
【図面の簡単な説明】
【００４９】
【図１】本発明の好適な実施の形態にかかる欠損値補完装置の構成を示す図である。
【図２】欠損値補完装置の動作の流れを示す図である。
【図３】訓練データの欠損値を補完する処理の流れを示す図である。
【図４】検証データの欠損値を補完する処理の流れを示す図である。
【符号の説明】
【００５０】
１    入力装置
２    データ処理装置
３    記憶装置
４    出力装置
２１    訓練データ欠損値補完部
２２    検証データ欠損値補完部
２３    予測モデル学習部
２４    予測部
３１    訓練データ記憶部
３２    補完訓練データ記憶部
３３    検証データ記憶部
３４    補完検証データ記憶部
３５    予測モデル記憶部
【図１】
2008234352.tif 000009
【図２】
2008234352.tif 000010
【図３】
2008234352.tif 000011
【図４】
2008234352.tif 000012