(57)【要約】【課題】ラベル付きデータ数少ないときでも、高精度のラベル伝播を可能とするラベル伝播装置を提供する。【解決手段】計量学習手段２１は、データ記憶部３１からデータを取得し、データの特徴量に基づいて、データ間の類似度を学習する。ラベル伝播手段２２は、計量学習手段２１が学習した類似度を用いて、ラベル付きデータからラベルなしデータにラベルを伝播させる。【選択図】図１
2009230362.tif 000002
【特許請求の範囲】
【請求項１】
データ処理装置を用いて、計量に基づくラベル伝播を行うラベル伝播方法であって、
前記データ処理装置が、データを記憶するデータ記憶部からデータを取得しデータ間の類似度を学習する計量学習ステップと、
前記データ処理装置が、前記学習した類似度を用いて、ラベル付きデータからラベルを伝播させるラベル伝播ステップとを有するラベル伝播方法。
【請求項２】
前記計量学習ステップでは、アンサンブル学習により計量を求める、請求項１に記載のラベル伝播方法。
【請求項３】
前記アンサンブル学習が、ランダムフォレストに基づく計量学習である、請求項２に記載のラベル伝播方法。
【請求項４】
前記ラベル伝播ステップでは、伝播元のラベルを正例のみ、又は、正例及び負例の双方とする、請求項１乃至３の何れか一に記載のラベル伝播方法。
【請求項５】
前記ラベルが複数ある、請求項１乃至４の何れか一に記載のラベル伝播方法。
【請求項６】
前記ラベル伝播ステップでは、所定の数のデータ間を計量に用いる、請求項１乃至５の何れか一に記載のラベル伝播方法。
【請求項７】
前記計量学習ステップでは、データ間の類似度を表す計量行列を計算する、請求項１乃至６の何れか一に記載のラベル伝播方法。
【請求項８】
前記ラベル伝播ステップでは、前記計量行列を正規化した上で、ラベル伝播を行う、請求項７に記載のラベル伝播方法。
【請求項９】
前記ラベル伝播ステップでは、逆行列計算を用いてラベル伝播を行う、請求項７又は８に記載のラベル伝播方法。
【請求項１０】
前記ラベル伝播ステップでは、反復的にラベルを伝播させる、請求項１乃至８の何れか一に記載のラベル伝播方法。
【請求項１１】
計量に基づくラベル伝播を行うラベル伝播装置であって、
データを記憶するデータ記憶部からデータを取得し、データの特徴量に基づいてデータ間の類似度を学習する計量学習手段と、
前記計量学習手段にて学習した類似度を用いて、ラベル付きデータからラベルを伝播させるラベル伝播手段とを有するラベル伝播装置。
【請求項１２】
データ処理装置に、計量に基づくラベル伝播を行う処理を実行させるプログラムであって、前記データ処理装置に、
データを記憶するデータ記憶部からデータを取得しデータ間の類似度を学習する計量学習処理と、
前記学習された類似度を用いて、ラベル付きデータからラベルを伝播させるラベル伝播処理とを実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はラベル伝播装置、方法、及び、プログラムに関し、更に詳しくは、データ多様体の計量を用いてラベル伝播を行うラベル伝播装置、方法、及び、プログラムに関する。
【背景技術】
【０００２】
計量学習に基づくラベル伝播装置がある。ラベル伝播装置では、正例・負例となるラベル付きデータが大量に入手可能な場合、一般に、教師付き学習の枠組みで学習が行われる。しかし、現実には、このラベル付けに膨大な時間や労力、コストを要することが多く、ラベル付きデータは少数しか得られないことが多い。一方、ラベルなしデータは比較的容易に入手可能である場合が多いため、ラベルなしデータを用いた学習が行われることが多い。ラベルなしデータを利用した学習は、半教師付き学習と呼ばれている。例えば、希少な疾病を診断する場合、対象疾病の臨床データを多く得ることは困難であるが、その他の疾病や健常者の臨床データは比較的容易に入手可能であると考えられる。このような場合に、半教師付き学習と呼ばれる学習方式が有効であると考えられる。
【０００３】
半教師付き学習は、ラベルなしのデータの分布を考慮することによって、ラベルの予測精度を向上させることを目的とする学習方式である。半教師付き学習の定式化では、教師つき学習であるサポートベクターマシンやブースティングの目標関数にラベルなしデータの情報を加えるものや、データ多様体の計量を利用した学習法が知られている。データ多様体の計量を用いてラベル伝播を行う方法として、正例又は負例のみからラベルを伝播させる方法がある（例えば非特許文献１参照）。また、正例・負例の双方を用いてラベルを伝播させる方法もある（例えば非特許文献２参照）。
【０００４】
非特許文献１及び２では、データ間の類似度をガウシアンカーネルとして表し、分散値を適切に調整することによって、高い分類精度を実現している。また、データ間の類似度として、教師なしランダムフォレストを用いてクラスタリングを行う方法も提案されている。教師なしランダムフォレストを用いてクラスタリングを行う旨は、例えば、非特許文献３に記載されている。
【非特許文献１】Zhou, D., Weston, J., Gretton, A., Bousquet, O., Scholkopf, B. Ranking on data manifolds, Proceeding of Advances in neural information processing systems 2004.
【非特許文献２】Zhou, D., Bousquet, O., Lal, N. T., Weston, J., Scholkopf, B. Learning with local and global consistency, Proceeding of Advances in neural information processing systems 2004.
【非特許文献３】Shi, T., Seligson, D., Belldegrun, S. A., Palotie, A., Horvath, S., Tumor classification by tissue microarray profiling: random forest clustering applied to renal cell carcinoma, Modern Pathology, 18, 547-557, 2005.
【発明の開示】
【発明が解決しようとする課題】
【０００５】
非特許文献１及び２には、以下に示すような問題点がある。すなわち、非特許文献１及び２では、データ間の類似度（計量）にガウシアンカーネルを用いることで、データ間の属性が数値に限定され、順序変数やカテゴリー変数などへは直接には適用できない。このため、適用可能なデータ形式に大きな制限があり、扱えるデータ形式の汎用性が乏しいという問題がある。また、非特許文献１及び２では、ガウシアンカーネルの分散値を適切に設定する必要があるが、ラベル付きデータが少数の場合、ラベル伝播前に分散値を適切に設定することができないという問題もある。
【０００６】
非特許文献３では、類似度（計量）を学習することは可能であるが、クラスタリングを行うのみで、ラベルの予測時にラベル情報を活用できていないという点が課題として残る。また、非特許文献３では、潜在的なクラスタを発見することを目的としてクラスタリングを行っており、ラベルを予測するということは行っていない。
【０００７】
本発明は、ラベル付きデータ数が少ないときでも、高精度のラベル伝播を可能とするラベル伝播装置、方法、及び、プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、本発明のラベル伝播方法は、データ処理装置を用いて、計量に基づくラベル伝播を行うラベル伝播方法であって、前記データ処理装置が、データを記憶するデータ記憶部からデータを取得しデータ間の類似度を学習する計量学習ステップと、前記データ処理装置が、前記学習した類似度を用いて、ラベル付きデータからラベルを伝播させるラベル伝播ステップとを有することを特徴とする。
【０００９】
本発明のラベル伝播装置は、計量に基づくラベル伝播を行うラベル伝播装置であって、データを記憶するデータ記憶部からデータを取得し、データの特徴量に基づいてデータ間の類似度を学習する計量学習手段と、前記計量学習手段にて学習した類似度を用いて、ラベル付きデータからラベルを伝播させるラベル伝播手段とを有することを特徴とする。
【００１０】
本発明のプログラムは、データ処理装置に、計量に基づくラベル伝播を行う処理を実行させるプログラムであって、前記データ処理装置に、データを記憶するデータ記憶部からデータを取得しデータ間の類似度を学習する計量学習処理と、前記学習された類似度を用いて、ラベル付きデータからラベルを伝播させるラベル伝播処理とを実行させることを特徴とする。
【発明の効果】
【００１１】
本発明のラベル伝播装置、方法、及び、プログラムは、ラベル付きデータ数が少ないときでも、高精度のラベル伝播を行うことができる。
【発明を実施するための最良の形態】
【００１２】
以下、図面を参照し、本発明の実施の形態を詳細に説明する。図１は、本発明の一実施形態のラベル伝播装置を示している。ラベル伝播装置は、キーボード等の入力装置１０と、プログラム制御により動作するデータ処理装置２０と、情報を記憶する記憶装置３０と、ディスプレイ装置や印刷装置等の出力装置４０とを有する。データ処理装置２０は、データから計量行列を計算する計量学習手段２１と、ラベル付きデータを用いてラベルなしデータのラベルを予測するラベル伝播手段２２とを有する。
【００１３】
記憶装置３０は、データを格納するデータ記憶部３１と、計量行列を格納する計量記憶部３２とを有する。データ記憶部３１に格納されるデータは、複数項目についての測定値などのデータ本体と、ラベルとの組とで構成されている。データは、ラベル付きデータと、ラベルなしデータとを含む。
【００１４】
計量学習手段２１は、ユーザが入力装置１０を用いて実行指示を入力すると、データ記憶部３１からデータを読み出し、データの特徴量に基づいて、ラベル付きデータとラベル無しデータの計量学習を行う。計量学習では、アンサンブル学習により、計量行列を求める。アンサンブル学習には、ランダムフォレスト、ブースティング、バギングを用いることができる。計量学習手段２１は、学習結果である計量行列を、計量記憶部３２に記憶する。
【００１５】
ラベル伝播手段２２は、計量記憶部３２から、計量学習手段２１が生成した計量行列を読み出す。また、ラベル伝播手段２２は、データ記憶部３１からラベルを読み出す。ラベル伝播手段２２は、読み出した計量行列とラベルとに基づいて、ラベル付きデータのラベルをラベル無しデータに伝播させ、ラベルなしデータのラベルを予測する。
【００１６】
図２に、計量学習手段２１の処理手順を示す。ユーザが、入力装置１０を用いて実行指示を入力すると、データ記憶部３１からデータを読み出し（ステップＡ１）、ブートストラップ回数Ｂを設定する（ステップＡ２）。計量学習手段２１は、元のデータからサンプル数Ｎ個リサンプルしたものを正例とし、元のデータの各属性について無作為にサンプリングしたものを擬似負例として生成する。この手順をＢ回繰り返して、Ｂ個のブートストラップサンプルを生成する（ステップＡ３）。
【００１７】
計量学習手段２１は、生成したブートストラップサンプルのそれぞれについて、データを正例、擬似負例を負例として、決定木による学習を行う（ステップＡ４）。その際、計量学習手段２１は、決定木の学習過程で、分岐変数候補を無作為に少数選び、分岐変数の選択を行う。ステップＡ３及びステップＡ４の操作は、教師なしランダムフォレストである。教師なしランダムフォレストについては、例えば、「Shi, T., Horvath, S., Unsupervised learning with random forest predictors, Journal of Computational and Graphical Statistics, volume 15, Number 1, 118-138, 2006.」に記載されている。
【００１８】
計量学習手段２１は、Ｂ個の決定木について、各サンプルが同一の最終ノードに到達した回数を計数する（ステップＡ５）。計量学習手段２１は、ステップＡ５の計数結果を用いて、ｘ，ｙサンプル間の計量Ｗを、以下のように定義する。
【数１】
2009230362.tif 000003
ここで、Ｎは決定木の最終ノードの総数、Ｉ（ｘ，ｙ）はｘ，ｙが同一最終ノードに到達した場合に１をとり、それ以外では０となる指示関数である。計量学習手段２１は、この定義を用いて、各サンプル間の計量行列を計算する（ステップＡ６）。
【００１９】
図３に、ラベル伝播手段２２の処理手順を示す。ラベル伝播手段２２は、データ記憶部３１からラベルを取得し、計量記憶部３２から計量行列を読み出す（ステップＢ１）。ラベル伝播手段２２は、連結データ数ｋと、伝播パラメータαとを設定する（ステップＢ２）。連結データ数ｋ及び伝播パラメータαは、例えば、あらかじめラベル伝播手段２２に設定しておく。
【００２０】
ラベル伝播手段２２は、設定された連結データ数ｋ個を各サンプルの近傍として連結して計量をそのまま残し、それ以外の計量を０とする（ステップＢ３）。ラベル伝播手段２２は、計量行列を、以下のように正規化する（ステップＢ４）。
【数２】
2009230362.tif 000004
上記式において、Ｗは連結データ以外の成分が残された計量行列であり、ＤはＷのｉ番目の列の合計を対角成分に持つ対角行列であり、Ｓは正規化された計量行列である。
【００２１】
ラベル伝播手段２２は、正規化した計量行列Ｓとラベルとを用いて、ラベル伝播を行う（ステップＢ５）。ラベル伝播は、
ｆ＝（Ｉ-αＳ）-1ｙ
により行う。ｆは判別関数であり、Ｉは単位行列である。また、ｙはラベルのベクトルであり、ラベル付きデータに対応する要素を１とし、ラベルなしデータに対応する要素は０とする。ｙは、例えば行数を５０とするとき、ラベル数が１つであれば１列×５０行のベクトルとなり、ラベルが複数あるときには複数列×５０行のベクトルとなる。
【００２２】
逆行列を用いたラベル伝播式の導出は、下記の反復的な方程式から得られる。
【数３】
2009230362.tif 000005
上記式において、ｔは反復回数である。定義より、f(0)=yである。上記式のｔ→∞の極限を取ると、０＜α＜１であるので、
【数４】
2009230362.tif 000006
となる。このことから、
【数５】
2009230362.tif 000007
が導かれる。（１−α）は、最終的な結果には影響しないので、ラベルの予測には、
【数６】
2009230362.tif 000008
を用いればよいことがわかる。
【００２３】
ラベルの情報としては、医学・生物学分野の場合、疾病や薬効の有無、病態の進行度や、生存時間などを用いることができる。また、ラベル付きデータに正例・負例がある場合は、ラベルのベクトルｙの要素として、１，−１を用いることができる。ラベルなしデータの予測結果は、出力装置４０から出力される。
【００２４】
本実施形態では、ランダムフォレストによりデータ間の計量をデータ依存的に学習し、その計量を用いてラベルを伝播させる。このようにすることで、ラベル付きデータが少ない状況においても、高精度の分類器を構成することができる。また、アンサンブル学習で求めた計量を用いているので、データ間の属性は数値属性には限定されない。
【００２５】
以下、実施例を用いて、本実施形態の有用性について説明する。データには、腎細胞癌の組織マイクロアレイデータを用いる。このデータは、インターネット（http://www.genetics.ucla.edu/labs/horvath/RFclustering/RFclustering.htm）から取得可能である。このデータは、８種類のたんぱく質の発現データと癌のグレード（１−４）に関する情報を含んでいる。発現データがデータ本体であり、グレードがラベルに相当する。このデータを用いた論文として、非特許文献３がある。
【００２６】
腎細胞癌の組織のグレードを、病理診察された２９７人の患者の８種類の蛋白質の発現データに基づき、性能評価を行った。グレード１と診断された者は３４人、グレード２〜４と診断された者は２６３人である。癌のグレードは、病理医によって分類される癌の悪性度であり、グレード１の予後は良いことが知られている。グレードが上がるのに従って予後が悪くなる。詳細については非特許文献３に記載されている。
【００２７】
実施例では、ランダムフォレストのブートストラップ回数を５０００回、ｋ＝１０、α＝０．９９とした。性能評価は、グレード１の患者のうち１症例のみをラベル付きデータとみなした場合を想定し、全部で３４回繰り返し、ＲＯＣ曲線（receiver operating characteristic curve）下の面積（ＡＵＣ：Area Under Curve）により性能を比較し、ＡＵＣの平均値を評価基準とした。ＡＵＣは値が大きいほど、性能が高いことを示している。結果を、下記表１に示す。表１に、比較例として、計量行列に基づく最近傍法によるラベル伝播を行った場合のＡＵＣを併せて示す。最近傍法については、非特許文献２に記載されている。
【表１】
2009230362.tif 000009
【００２８】
統計的有意性を評価するため、本実施形態のＡＵＣと最近傍法のＡＵＣのｔ検定を行った。ｐ値は、０．０３となった。以上の結果から、本実施形態のランダムフォレストによる計量学習に基づくラベル伝播法は、最近傍法と比較して、分類性能ＡＵＣが有意に高いことがわかる。
【００２９】
以上、本発明をその好適な実施形態に基づいて説明したが、本発明のラベル伝播装置、方法、及び、プログラムは、上記実施形態にのみ限定されるものではなく、上記実施形態の構成から種々の修正及び変更を施したものも、本発明の範囲に含まれる。
【図面の簡単な説明】
【００３０】
【図１】本発明の一実施形態のラベル伝播装置を示すブロック図。
【図２】計量学習の処理手順を示すフローチャート。
【図３】ラベル伝播の処理手順を示すフローチャート。
【符号の説明】
【００３１】
１０：入力装置
２０：データ処理装置
２１：計量学習手段
２２：ラベル伝播手段
３０：記憶装置
３１：データ記憶部
３２：計量記憶部
４０：出力装置
【図１】
2009230362.tif 000010
【図２】
2009230362.tif 000011
【図３】
2009230362.tif 000012