(57)【要約】【課題】下位学習機械として教師あり学習を適用可能な汎用的かつ学習パラメータの少ない実用的な高精度の分類器を提供する。【解決手段】訓練データを記憶する。ラベル無しデータおよびテストデータを記憶する。訓練データにより教師あり学習を行う。勾配を記憶する。訓練データとラベル無しデータおよびテストデータを結合し、教師あり学習を反復的に行う。学習された判別関数を記憶する。判別関数を用いてテストデータのラベルを予測する。【選択図】図１
2009075737.tif 000002
【特許請求の範囲】
【請求項１】
アンサンブル学習に基づく半教師あり学習方法において、
記憶データ、テストデータ及びラベル無しデータを記憶するデータ記憶ステップと、
前記データ記憶ステップにおいて記録した訓練データに基づいて教師あり学習を行う初期学習ステップと、
前記初期学習ステップにおいて算出されたデータを記憶する算出結果記憶ステップと、
前記データ記憶ステップにおいて記録した訓練データとラベル無しデータの属性を結合したデータ及び前記算出結果記憶ステップで記憶しているデータに基づいて教師あり学習を反復的に行う学習ステップと
を備えることを特徴とする半教師あり学習方法。
【請求項２】
請求項１に記載の半教師あり学習方法において、
前記学習ステップにおける教師あり学習は、前記初期学習ステップによって算出された訓練データの勾配及びテストデータの勾配をラベルとして行われることを特徴とする半教師あり学習方法。
【請求項３】
請求項１又は２に記載の半教師あり学習方法において、
前記初期学習ステップにおける教師あり学習の方式がブースティング又は勾配ブースティングであることを特徴とする半教師あり学習方法。
【請求項４】
請求項１乃至３の何れか１項に記載の半教師あり学習方法において、
前記初期学習ステップにおける訓練データに関する損失関数が凸関数であることを特徴とする半教師あり学習方法。
【請求項５】
請求項１乃至４の何れか１項に記載の半教師あり学習方法において、
前記初期学習ステップにおける訓練データに関する損失関数が指数関数であることを特徴とする半教師あり学習方法。
【請求項６】
請求項１乃至５の何れか１項に記載の半教師あり学習方法において、
前記初期学習ステップにおける各ラウンドで学習された判別関数に縮小パラメータを乗ずる、初期正則化ステップを更に備えることを特徴とする半教師あり学習方法。
【請求項７】
請求項１乃至６の何れか１項に記載の半教師あり学習方法において、
前記初期学習ステップにおける下位学習機械が決定木であることを特徴とする半教師あり学習方法。
【請求項８】
請求項１乃至７の何れか１項に記載の半教師あり学習方法において、
前記学習ステップにおける教師あり学習の方式がブースティング又は勾配ブースティングであることを特徴とする半教師あり学習方法。
【請求項９】
請求項１乃至８の何れか１項に記載の半教師あり学習方法において、
前記学習ステップにおけるラベル無しデータとはテストデータであることを特徴とする半教師あり学習方法。
【請求項１０】
請求項１乃至９の何れか１項に記載の半教師あり学習方法において、
前記学習ステップにおける訓練データに関する損失関数が凸関数であることを特徴とする半教師あり学習方法。
【請求項１１】
請求項１乃至１０の何れか１項に記載の半教師あり学習方法において、
前記学習ステップにおける訓練データに関する損失関数が指数関数であることを特徴とする半教師あり学習方法。
【請求項１２】
請求項１乃至１１の何れか１項に記載の半教師あり学習方法において、
前記学習ステップにおいて、ラベル無しデータに対する下位学習機械の予測値の分散を最小化することを特徴とする半教師あり学習方法。
【請求項１３】
請求項１乃至１２の何れか１項に記載の半教師あり学習方法において、
前記学習ステップにおける各ラウンドで学習された判別関数に縮小パラメータを乗ずる、正則化ステップを更に備えることを特徴とする半教師あり学習方法。
【請求項１４】
請求項１乃至１３の何れか１項に記載の半教師あり学習方法において、
前記学習ステップにおける下位学習機械が決定木であることを特徴とする半教師あり学習方法。
【請求項１５】
請求項１乃至１４の何れか１項に記載の半教師あり学習方法において、
前記学習ステップにおいて得られた学習結果に基づいてテストデータのラベルを予測する予測ステップを更に備えることを特徴とする半教師あり学習方法。
【請求項１６】
アンサンブル学習に基づく半教師あり学習装置において、
訓練データを記憶する訓練データ記憶部と、ラベル無しデータおよびテストデータを記憶するテストデータ記憶部と、訓練データにより教師あり学習を行う初期学習部と、勾配を記憶するパラメータ記憶部と、訓練データとラベル無しデータおよびテストデータを結合し、教師あり学習を反復的に行う学習部と、学習された判別関数を記憶する判別関数記憶部と、判別関数を用いてテストデータのラベルを予測する判別部を備えることを特徴とする半教師あり学習装置。
【請求項１７】
アンサンブル学習に基づく半教師あり学習装置において、
記憶データ、テストデータ及びラベル無しデータを記憶するデータ記憶手段と、
前記データ記憶手段において記録した訓練データに基づいて教師あり学習を行う初期学習手段と、
前記初期学習手段において算出されたデータを記憶する算出結果記憶手段と、
前記データ記憶手段において記録した訓練データとラベル無しデータの属性を結合したデータ及び前記算出結果記憶手段で記憶しているデータに基づいて教師あり学習を反復的に行う学習手段と
を備えることを特徴とする半教師あり学習装置。
【請求項１８】
請求項１７に記載の半教師あり学習装置において、
前記学習手段における教師あり学習は、前記初期学習手段によって算出された訓練データの勾配及びテストデータの勾配をラベルとして行われることを特徴とする半教師あり学習装置。
【請求項１９】
請求項１７又は１８に記載の半教師あり学習装置において、
前記初期学習手段における教師あり学習の方式がブースティング又は勾配ブースティングであることを特徴とする半教師あり学習装置。
【請求項２０】
請求項１７乃至１９の何れか１項に記載の半教師あり学習装置において、
前記初期学習手段における訓練データに関する損失関数が凸関数であることを特徴とする半教師あり学習装置。
【請求項２１】
請求項１７乃至２０の何れか１項に記載の半教師あり学習装置において、
前記初期学習手段における訓練データに関する損失関数が指数関数であることを特徴とする半教師あり学習装置。
【請求項２２】
請求項１７乃至２１の何れか１項に記載の半教師あり学習装置において、
前記初期学習手段における各ラウンドで学習された判別関数に縮小パラメータを乗ずる、第１の正則化手段を更に備えることを特徴とする半教師あり学習装置。
【請求項２３】
請求項１７乃至２２の何れか１項に記載の半教師あり学習装置において、
前記初期学習手段における下位学習機械が決定木であることを特徴とする半教師あり学習装置。
【請求項２４】
請求項１７乃至２３の何れか１項に記載の半教師あり学習装置において、
前記学習手段における教師あり学習の方式がブースティング又は勾配ブースティングであることを特徴とする半教師あり学習装置。
【請求項２５】
請求項１７乃至２４の何れか１項に記載の半教師あり学習装置において、
前記学習手段におけるラベル無しデータとはテストデータであることを特徴とする半教師あり学習装置。
【請求項２６】
請求項１７乃至２５の何れか１項に記載の半教師あり学習装置において、
前記学習手段における訓練データに関する損失関数が凸関数であることを特徴とする半教師あり学習装置。
【請求項２７】
請求項１７乃至２６の何れか１項に記載の半教師あり学習装置において、
前記学習手段における訓練データに関する損失関数が指数関数であることを特徴とする半教師あり学習装置。
【請求項２８】
請求項１７乃至２７の何れか１項に記載の半教師あり学習装置において、
前記学習手段において、ラベル無しデータに対する下位学習機械の予測値の分散を最小化することを特徴とする半教師あり学習装置。
【請求項２９】
請求項１７乃至２８の何れか１項に記載の半教師あり学習装置において、
前記学習手段における各ラウンドで学習された判別関数に縮小パラメータを乗ずる、第２の正則化手段を更に備えることを特徴とする半教師あり学習装置。
【請求項３０】
請求項１７乃至２９の何れか１項に記載の半教師あり学習装置において、
前記学習手段における下位学習機械が決定木であることを特徴とする半教師あり学習装置。
【請求項３１】
アンサンブル学習に基づく半教師あり学習プログラムにおいて、
訓練データを記憶する訓練データ記憶機能と、ラベル無しデータおよびテストデータを記憶するテストデータ記憶機能と、訓練データにより教師あり学習を行う初期学習機能と、勾配を記憶するパラメータ記憶機能と、訓練データとラベル無しデータおよびテストデータを結合し、教師あり学習を反復的に行う学習機能と、学習された判別関数を記憶する判別関数記憶機能と、判別関数を用いてテストデータのラベルを予測する判別機能をコンピュータに実現させることを特徴とする半教師あり学習プログラム。
【請求項３２】
アンサンブル学習に基づく半教師あり学習プログラムにおいて、
記憶データ、テストデータ及びラベル無しデータを記憶するデータ記憶機能と、
前記データ記憶機能において記録した訓練データに基づいて教師あり学習を行う初期学習機能と、
前記初期学習機能において算出されたデータを記憶する算出結果記憶機能と、
前記データ記憶機能において記録した訓練データとラベル無しデータの属性を結合したデータ及び前記算出結果記憶機能で記憶しているデータに基づいて教師あり学習を反復的に行う学習機能と
をコンピュータに実現させることを特徴とする半教師あり学習プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、アンサンブル学習を用いてラベル有りデータだけでなくラベル無しデータも学習することによる予測精度の高い半教師あり学習方法、半教師あり学習装置及び半教師あり学習プログラムに関する。
【背景技術】
【０００２】
ラベル有りデータを訓練データとして学習機械に学習させたうえで、テストデータのラベルを予測する学習方式は、教師あり学習と呼ばれている。
【０００３】
教師あり学習の方法としては、ブースティング、バギング、サポートベクターマシンなどが有名であり、様々なデータにおいて適用されている。ブースティング、バギング、サポートベクターマシンについては、非特許文献１乃至３に記載されている。
【０００４】
しかしながら、教師あり学習で高精度の分類器を構成するためには十分な量の訓練データが必要である。この点、一般的にはデータを人手でラベル付けするために、十分な量の訓練データを得るためには非常に時間や労力を要するという問題がある。また、得られたデータの分布に偏りが大きい場合は、テストデータに対する予測精度が低いという問題が指摘されている。
【０００５】
これらの問題に対して、半教師あり学習と呼ばれる手法が提案されている。従来のブースティングやサポートベクターマシンの方法論を拡張することにより、半教師あり学習が実現されている事例が非特許文献４乃至７に記載されている。
【０００６】
ここで、半教師あり学習とは、訓練データだけでなく、ラベル無しデータあるいはテストデータの分布も考慮した学習方式を指し、訓練データが少数の場合であっても高精度の分類器を構成することを目的とする学習方式をいう。
【０００７】
なお以下の説明では、ラベル無しデータおよびテストデータを単にテストデータと記載する。
【非特許文献１】Y Freund, RE Schapire, A decision-theoretic generalization of on-line learning and an application to boosting, Journal of Computer and System Sciences, 1997, 23-27.
【非特許文献２】L. Breiman, Bagging Predictors, Machine Learning, 1996, 123-140.
【非特許文献３】J. P. Vert, K. Tsuda and B. Scholkopf, "A primer on kernel methods",in Kernel Methods in Computational Biology, MIT Press, 2004, 35-70.
【非特許文献４】F.d’Alche Buc, Y. Grandvalet, and C. Ambroise, Semi-supervised margin boost, Advances in Neural Information Processing Systems 14, MIT Press, 2002.
【非特許文献５】Y. Grandvalet, F.d’Alche Buc, and C. Ambroise, Boosting mixture models for semi-supervised learning, ICANN, Springer-Verlag, 2002, 41-48.
【非特許文献６】K. P. Benett, A. Demiriz, and R. Macin, Exploiting unlabeled data in ensemble methods, SIGKDD, ACM, 2002.
【非特許文献７】O. Chapelle and A. Zien, Semi-supervised classification by low density separation, In Proceedings of the Tenth International Workshop on Artificial Intelligence and Statistics, 2005.
【非特許文献８】J Friedman, Greedy Function Approximation: A Gradient Boosting Machine, The Annals of Statistics, 2001, 1189-1232.
【非特許文献９】Boaz Leskes, The Value of Agreement, a New Boosting Algorithm, Master Thesis, Section Computational Science and Institute for Logic, Language & Computation, University of Amsterdam, 2005.
【非特許文献１０】A. Buja and Y. S. Lee, Data Mining Criteria for Tree-Based Regression and Classification, Proceedings of KDD 2001, 27-36.
【非特許文献１１】UCI Machine Learning Repository Content Summary  ［平成１９年９月１２日検索］、インターネット  〈http://mlearn.ics.uci.edu/MLSummary.html〉
【発明の開示】
【発明が解決しようとする課題】
【０００８】
もっとも、上記した非特許文献４乃至７に記載の方法では、以下に示すような問題点がある。
【０００９】
まず、非特許文献４及び５に記載の方法は、ブースティングに用いる下位学習機械として半教師あり学習を行う学習機械が必要であり、従来の教師あり学習の手法を用いることができない。そのため、適用可能なデータ形式に制限があり汎用性に乏しいという問題がある。また、大規模データに対して、計算時間を要するという問題もある。
【００１０】
一方、非特許文献６に記載の方法では、非特許文献４，５において問題であったブースティングの下位学習機械として、教師あり学習の学習機械を用いることが可能である。しかし、学習の定式化に問題があるため、分類精度の向上効果が乏しく、性能が劣化する場合もあることが報告されている。
【００１１】
また、非特許文献７に記載の方法では、サポートベクターマシンの目的関数にテストデータに関する損失関数を導入しているが、計算方法や最適化法が煩雑なため、多数の学習パラメータのチューニングや計算時間を要する問題がある。
【００１２】
そこで、本発明は上述した問題点を鑑み、学習理論に基づき、ブースティングを用いてラベル無しデータに対する予測値の分散を最小化しつつ訓練データの損失関数も最小化することで、下位学習機械として教師あり学習を適用可能な汎用的かつ学習パラメータの少ない実用的な高精度の分類器を提供することを目的とする。
【課題を解決するための手段】
【００１３】
本発明の第１の観点によれば、方法としてアンサンブル学習に基づく半教師あり学習方法において、記憶データ、テストデータ及びラベル無しデータを記憶するデータ記憶ステップと、前記データ記憶ステップにおいて記録した訓練データに基づいて教師あり学習を行う初期学習ステップと、前記初期学習ステップにおいて算出されたデータを記憶する算出結果記憶ステップと、前記データ記憶ステップにおいて記録した訓練データとラベル無しデータの属性を結合したデータ及び前記算出結果記憶ステップで記憶しているデータに基づいて教師あり学習を反復的に行う学習ステップとを備えることを特徴とする半教師あり学習方法が提供される。
【００１４】
更に、本発明の第２の観点によれば、第１の装置としてアンサンブル学習に基づく半教師あり学習装置において、訓練データを記憶する訓練データ記憶部と、ラベル無しデータおよびテストデータを記憶するテストデータ記憶部と、訓練データにより教師あり学習を行う初期学習部と、勾配を記憶するパラメータ記憶部と、訓練データとラベル無しデータおよびテストデータを結合し、教師あり学習を反復的に行う学習部と、学習された判別関数を記憶する判別関数記憶部と、判別関数を用いてテストデータのラベルを予測する判別部を備えることを特徴とする半教師あり学習装置が提供される。
【００１５】
更に、本発明の第３の観点によれば、第２の装置としてアンサンブル学習に基づく半教師あり学習装置において、記憶データ、テストデータ及びラベル無しデータを記憶するデータ記憶手段と、前記データ記憶手段において記録した訓練データに基づいて教師あり学習を行う初期学習手段と、前記初期学習手段において算出されたデータを記憶する算出結果記憶手段と、前記データ記憶手段において記録した訓練データとラベル無しデータの属性を結合したデータ及び前記算出結果記憶手段で記憶しているデータに基づいて教師あり学習を反復的に行う学習手段とを備えることを特徴とする半教師あり学習装置が提供される。
【００１６】
更に、本発明の第４の観点によれば、第１のプログラムとしてアンサンブル学習に基づく半教師あり学習プログラムにおいて、訓練データを記憶する訓練データ記憶機能と、ラベル無しデータおよびテストデータを記憶するテストデータ記憶機能と、訓練データにより教師あり学習を行う初期学習機能と、勾配を記憶するパラメータ記憶機能と、訓練データとラベル無しデータおよびテストデータを結合し、教師あり学習を反復的に行う学習機能と、学習された判別関数を記憶する判別関数記憶機能と、判別関数を用いてテストデータのラベルを予測する判別機能をコンピュータに実現させることを特徴とする半教師あり学習プログラムが提供される。
【００１７】
更に、本発明の第５の観点によれば、第２のプログラムとしてアンサンブル学習に基づく半教師あり学習プログラムにおいて、記憶データ、テストデータ及びラベル無しデータを記憶するデータ記憶機能と、前記データ記憶機能において記録した訓練データに基づいて教師あり学習を行う初期学習機能と、前記初期学習機能において算出されたデータを記憶する算出結果記憶機能と、前記データ記憶機能において記録した訓練データとラベル無しデータの属性を結合したデータ及び前記算出結果記憶機能で記憶しているデータに基づいて教師あり学習を反復的に行う学習機能とをコンピュータに実現させることを特徴とする半教師あり学習プログラムが提供される。
【発明の効果】
【００１８】
本発明によれば、訓練データだけでなく、ラベル無しデータの分布も学習することから、少数の訓練データから高精度の分類器を構成することが可能になる。
【発明を実施するための最良の形態】
【００１９】
次に、本発明の実施形態について図面を用いて説明する。
【００２０】
本発明は訓練データだけなくテストデータも用いて、ブースティングによる学習を行い、下位学習機械として任意の教師あり学習の学習機械を利用することで、訓練データが少ない状況においても、高精度の分類器を構成する新しい方法である。以下に本発明を実施するための形態について、図面を参照して説明する。
【００２１】
図１を参照すると、本発明の実施形態は、キーボード等の入力装置１と、プログラム制御により動作するデータ処理装置２と、情報を記憶する記憶装置３と、ディスプレイ装置や印刷装置等の出力装置４を備える。
【００２２】
データ処理装置２は、初期学習部２１と、学習部２２と、判別部２３を備える。
【００２３】
初期学習部２１は、訓練データのみを用いてブースティングによる学習を行い、テストデータの勾配を計算する部分である。学習部２２は、訓練データ及びテストデータの勾配をラベルとしてブースティングによる学習を行い、判別関数を更新する部分である。判別部２３は、学習された判別関数を用いてテストデータのラベルを予測する部分である。
【００２４】
記憶装置３は、訓練データを格納する訓練データ記憶部３１と、テストデータを格納するテストデータ記憶部３２と、損失関数の勾配を格納するパラメータ記憶部３３と、判別関数を格納する判別関数記憶部３４を備える。
【００２５】
次に図１、図２及び図３を参照して、本発明を実施するための形態の動作について、説明する。
【００２６】
まず、入力装置１によって実行指示が与えられ、訓練データ記憶部３１及びテストデータ記憶部３２からデータ処理装置２に訓練データとテストデータが入力される（図２、ステップＡ１）。
【００２７】
次に、初期学習部２１により、訓練データを用いた判別関数Ｆの教師あり学習が行われる（図２、ステップＡ４）。なお初期学習部２１の具体的動作（ステップＡ２及びステップＡ３）については下記する。
【００２８】
そして、判別関数を反復的に更新し（図２、ステップＡ５）、判別関数による訓練データの勾配を計算する（図２、ステップＡ６）。
【００２９】
その後、算出された勾配がパラメータ記憶部３３、判別関数が判別関数記憶部３４に記憶される。
【００３０】
図２を参照して、初期学習部２１の具体的な動作について、説明する。
【００３１】
まず、訓練データ記憶部３１とテストデータ記憶部３２から訓練データ及びテストデータがデータ処理装置２に入力される（図２、ステップＡ１）。
【００３２】
次に初期学習部２１は、反復回数にｔ１、縮小パラメータにν１を設定する（図２、ステップＡ２）。また、反復回数を計数する指示パラメータＴを１に初期化する（図２、ステップＡ３）。
【００３３】
訓練データを用いた判別関数Ｆの教師あり学習を行う（図２、ステップＡ４）。
【００３４】
ラウンドＴ−１で得られた判別関数ＦＴ−１に、学習により得られた判別関数Ｆを加えることにより、判別関数ＦＴとして更新する（図２、ステップＡ５）。数式として、以下に示す。
【００３５】
【数１】
2009075737.tif 000003
ここで、ν１（０＜ν１≦１）は縮小パラメータであり、オーバーフィッティングを防ぐ正則化のために導入されている。ν１が導入されていることにより汎化誤差を最小にするようなＦＴに収束することとなる。
【００３６】
次に、判別関数ＦＴを用いて、損失関数を最小化する訓練データの勾配を求める（図２、ステップＡ６）。
【００３７】
ここで、教師あり学習におけるブースティングの損失関数は、訓練データにおける誤り率を最小化することにより、テストデータの誤り率も同時に最小化することを目的として、設計されている。非特許文献８には、勾配ブースティングと呼ばれる方法で損失関数を判別関数により微分することで、損失関数の最小化方向を探索するという方法が記載されている。
【００３８】
具体的な損失関数としては、以下の数式で表されるような関数がある。
【００３９】
【数２】
2009075737.tif 000004
ここで、Ｌは損失関数、ｙｉはｉ番目のデータのクラスラベル、ｙｉ∈（−１，１）、Ｆ（ｘｉ）は判別関数であり、ｉ番目のデータの属性ｘｉが与えられたときの出力を表す。損失関数は凸関数であるので、損失関数ＬをＦ（ｘｉ）で微分し、負をとることによって、損失関数の最小化方向が得られる。
【００４０】
【数３】
2009075737.tif 000005
ここで、ｇｉはデータｘｉの勾配であり、Ｄｌａｂｅｌｅｄは訓練データの属性とラベルの組の集合である。
【００４１】
次に、反復回数の指示パラメータＴに１を加える（図２、ステップＡ７）。そしてＴの値が予め定めた定数ｔに達すれば、学習を終了する。一方、定数ｔに達していない場合は、勾配をラベルとした判別関数の教師あり学習（図２、ステップＡ４）に戻る（図２、ステップＡ８）。
【００４２】
次に、判別関数ＦＴを用いてテストデータの勾配を算出する（図２、ステップＡ９）。
【００４３】
ここで、テストデータはラベル無しデータである。そのため、テストデータについては、訓練データと同じ損失関数や勾配を用いることができない。しかし、非特許文献９において、下位学習機械の集合から得られるラベル無しデータの予測値の分散を小さくすることにより、ブースティングの汎化性能が向上できることが示されている。すなわち、ラベル無しデータの予測値の分散を最小にするような勾配を、テストデータについて求めれば性能を向上させることが可能である。
【００４４】
そこで、逐次的に分散を最小化することのできる勾配を以下のようにして導出する。下位学習機械の数がＬと下位学習機械の数がＬ＋１における予測値の分散をそれぞれ、VＬ，ＶＬ＋１とすると、
【００４５】
【数４】
2009075737.tif 000006
と書ける。ここで、ｆｌはｌ番目に学習された判別関数であり、ｘｉはテストデータである。ここで、Ｌ＋１番目の下位学習機械で求めるべき勾配をｇとすると、
【００４６】
【数５】
2009075737.tif 000007
と書き直すことができる。ｇはΔＶ＝ＶＴ−ＶＴ＋１を最大化するように求めればよい。そこで、ｇによりΔＶの微分が０になるようにｇを定める。
【００４７】
【数６】
2009075737.tif 000008
ここで、ΔＶがｇに関する２階微分が常に負であることから、凹関数であり、大域的な最大値を求めることができることが保証されている。また、上記のｇをΔＶに代入すると、ΔＶ＞０であるので、単調に分散を減少させることができる。
【００４８】
初期学習部２１によって得られた訓練データとテストデータの勾配はパラメータ記憶部３３に格納し、学習された判別関数ＦＴは判別関数記憶部３４に格納する。
【００４９】
初期学習部２１は勾配ブースティングと同一のアルゴリズムであり、テストデータの勾配を複数の判別関数から予測値の分散を求めるために学習を行う。
【００５０】
次に、学習部２２の動作を図３を用いて説明する。
【００５１】
まず、訓練データ記憶部３１とテストデータ記憶部３２から訓練データ及びテストデータが学習部２２に入力される。また、初期学習部２１によって得られた訓練データとテストデータの勾配がパラメータ記憶部３３から学習部２２に入力される（図３、ステップＢ１）。
【００５２】
反復回数ｔ２、縮小パラメータν２が設定される（図３、ステップＢ２）。反復回数を計数する指示パラメータＴを１に初期化し（図３、ステップＢ３）、訓練データとテストデータの勾配をラベルとして訓練データ及びテストデータを用いた判別関数Ｆの教師あり学習を行う（図３、ステップＢ４）。
【００５３】
次に、ラウンドＴ−１で得られた判別関数ＦＴ−１に、学習により得られた判別関数Ｆを加えることにより、判別関数ＦＴとして更新する（図３、ステップＢ５）。
得られた判別関数ＦＴを用いて、訓練データ及びテストデータの勾配を計算する（図３、ステップＢ６）。
【００５４】
初期学習部２１と同様にして、訓練データ及びテストデータの勾配をそれぞれで求めた後、反復回数の指示パラメータＴに１を加える（図３、ステップＢ７）。
【００５５】
Ｔが予め定めた定数ｔ２に達すれば、学習を終了する。一方、達していない場合は、勾配をラベルとした判別関数の教師あり学習（図３、ステップＢ４）に戻る（図３、ステップＢ８）。学習された判別関数は判別関数記憶部３４に格納する。
【００５６】
判別学習部２３では、テストデータをテストデータ記憶部３２から入力し、判別関数記憶部３４から判別関数を入力し、テストデータのラベルを予測する。
【００５７】
ラベル情報としては、例えば医学・生物学分野の場合、疾患や薬効の有無、病態の進行度の他に生存時間などを用いることができる。教師付き学習の方法としては、例えばバギング、ブースティングなどのアンサンブル学習や、サポートベクターマシン、決定木、生存木を用いることができる。なお、上記したラベル情報や教師付き学習方法は例示であり、他のラベル情報や教師付き学習方法を利用することも可能である。
【００５８】
そして、テストデータの予測結果は出力装置４から出力される。
【００５９】
なお、半教師あり学習装置は、ハードウェア、ソフトウェア又はこれらの組合せにより実現することができる。
【実施例】
【００６０】
次に、本発明の実施例について説明する。
【００６１】
実施に用いるデータとして、糖尿病に関する臨床情報を機械学習ベンチマークデータのＵＣＩレポジトリ（非特許文献１１参照）から取得した。
【００６２】
糖尿病発症の有無（属性名：ｄｉａｂｅｔｅｓ）を診察された７６８人の患者のうち臨床情報８項目に基づき、性能評価を行った。７６８人の患者のうち糖尿病と診断された者は２６８人、発症していないと診断された者は５００人である。臨床情報の属性における欠損値については、カテゴリーデータについては、最頻カテゴリー、数値データについては、中央値により補完した。
【００６３】
本発明の学習パラメータとして、縮小パラメータν１，ν２＝１とし、訓練データの損失関数として、勾配ブースティングのＡｄａｂｏｏｓｔタイプの指数関数を用いた。下位学習機械としては、決定木の１つであるＣＡＲＴを用いた。ＣＡＲＴの詳細については、非特許文献１０に記載されている。なお説明の便宜上、本発明の方法をＳＳＢｏｏｓｔ（Ｓｅｍｉ−Ｓｕｐｅｒｖｉｓｅｄ  Ｂｏｏｓｔｉｎｇ）と記載する。
【００６４】
本発明の対照法として、訓練データのみを用いた勾配ブースティングとＣＡＲＴを用いた。なお、勾配ブースティングの詳細は非特許文献８に記載されている。便宜上、対照法をＡｄａｂｏｏｓｔと記載する。ＳＳＢｏｏｓｔはＡｄａｂｏｏｓｔと全く同様に訓練データについて学習を２０回行い（ｔ１＝２０）、その後、２０回テストデータの勾配も用いて学習を行った（ｔ２＝２０）。
【００６５】
Ａｄａｂｏｏｓｔの反復回数は４０回とした。ＳＳＢｏｏｓｔとＡｄａｂｏｏｓｔは計４０回の反復学習を行い、同等の条件下で、公平な性能比較を行った。性能比較の結果を図４に示す。
【００６６】
図４に示された結果から、本発明の方法ＳＳＢｏｏｓｔはＡｄａｂｏｏｓｔ及びＣＡＲＴと比較して、分類性能が常に高いことが分かる。
【００６７】
以上より、本発明を実施することにより下位学習機械として教師あり学習を適用可能な高精度の分類器を実現する事ができる。
【図面の簡単な説明】
【００６８】
【図１】本発明の実施形態の基本的構成を表す図である。
【図２】本発明の実施形態における初期学習部の処理手順を示すフローチャートである。
【図３】本発明の実施形態における反復学習部の処理手順を示すフローチャートである。
【図４】本発明の実施形態の対照法として、訓練データのみを用いた勾配ブースティングとＣＡＲＴを用いた性能比較の結果を表す図である。
【符号の説明】
【００６９】
１  入力装置
２  データ処理装置
３  記憶装置
４  出力装置
２１  初期学習部
２２  学習部
２３  判別手段
３１  訓練データ記憶部
３２  テストデータ記憶部
３３  パラメータ記憶部
３４  判別関数記憶部
【図１】
2009075737.tif 000009
【図２】
2009075737.tif 000010
【図３】
2009075737.tif 000011
【図４】
2009075737.tif 000012