(57)【要約】  精度よく分類する分類器を低コストで得ることができる学習装置、学習方法及び学習プログラムを提供する。一実施の形態によれば、学習装置（１）は、ラベル付きデータと、ラベルなしデータと、を記憶した訓練データＤＢ（２１）からデータを読み込むとともに、ラベルなしデータのクラス事前確率を推定する初期化部（３１）と、読み込んだデータを、グループ（Ｓ１）及びグループ（Ｓ２）に分割するデータ分割部（３２）と、グループ（Ｓ１）に属したデータを用いて、重み付き経験リスクが小さくなるような分類器を導出する重み付きリスク最小化部（３３）と、グループ（Ｓ２）に属したデータを用いて、一般化性能指標が大きくなるように、ハイパーパラメータを選択して分類器を決定するパラメータ選択部（３４）と、決定された分類器を記憶する分類器記憶部（３５）と、を備える。
2020044425.tif 000002
【特許請求の範囲】
【請求項１】
正クラスに属する正例のデータであるか負クラスに属する負例のデータであるかが与えられたラベル付きデータと、前記正例のデータであるか前記負例のデータであるかが未知のラベルなしデータと、を記憶した訓練データデータベースから前記データを読み込むとともに、前記ラベルなしデータのクラス事前確率を推定する初期化部と、
読み込んだ前記データを、第１グループ及び第２グループに分割するデータ分割部と、
前記第１グループに属した前記データを用いて、重み付き経験リスクが小さくなるような分類器を導出する重み付きリスク最小化部と、
前記第２グループに属した前記データを用いて、一般化性能指標が大きくなるように、ハイパーパラメータを選択して前記分類器を決定するパラメータ選択部と、
決定された前記分類器を記憶する分類器記憶部と、
を備え、
前記分類器は、複数の特徴量で定まる前記データを入力とし、前記データが前記正クラスに属するなら正の値を、前記データが前記負クラスに属するなら負の値を出力する関数であり、
前記重み付き経験リスクは、前記データ、前記分類器、損失関数及び前記クラス事前確率を用いて計算される関数であり、前記データを用いた前記分類器の前記損失関数から推定される期待値に重みが付いており、
前記一般化性能指標は、前記データ、前記分類器及び前記クラス事前確率を用いて計算される関数である、
学習装置。
【請求項２】
前記重み付きリスク最小化部は、前記重みを所定の値に固定した事後確率推定部であり、
前記事後確率推定部は、前記損失関数としてロジスティック損失を用いて、前記重み付き経験リスクが小さくなるように前記分類器を導出し、
前記パラメータ選択部は、前記ハイパーパラメータとして閾値を含んだ前記一般化性能指標が大きくなるように、前記閾値を決定する、
請求項１に記載の学習装置。
【請求項３】
前記重み付きリスク最小化部は、前記重みを０から１の間の複数の値を用いて、複数の前記分類器を導出し、
前記パラメータ選択部は、導出された複数の前記分類器の中で、前記一般化性能指標が最も大きい前記分類器を選択する、
請求項１に記載の学習装置。
【請求項４】
前記一般化性能指標は、真陽性を含み、前記真陽性は、前記ラベル付きデータ及び前記ラベルなしデータを用いて推定される、
請求項１〜３のいずれか一項に記載の学習装置。
【請求項５】
前記一般化性能指標は、陽性率を含み、前記陽性率は、前記ラベルなしデータを用いて推定される、
請求項１〜４のいずれか一項に記載の学習装置。
【請求項６】
前記一般化性能指標は、Ｆ値、再現率、正答率、重み付き正答率、偽陽性率、偽発見率、適合率、ＡＭ値及びＪａｃｃａｒｄ係数のうち、少なくともいずれかに設定可能である、
請求項１〜５のいずれか一項に記載の学習装置。
【請求項７】
前記第１グループのデータ数は、第２グループのデータ数よりも大きい、
請求項１〜６のいずれか一項に記載の学習装置。
【請求項８】
前記第１グループの正データ数、負データ数及びラベルなしデータ数は、それぞれ、前記第２グループの前記正データ数、前記負データ数及び前記ラベルなしデータ数よりも大きい、
請求項７に記載の学習装置。
【請求項９】
正クラスに属する正例のデータであるか負クラスに属する負例のデータであるかが与えられたラベル付きデータと、前記正例のデータであるか前記負例のデータであるかが未知のラベルなしデータと、を記憶した訓練データデータベースから前記データを読み込むとともに、前記ラベルなしデータのクラス事前確率を推定するステップと、
読み込んだ前記データを、第１グループ及び第２グループに分割するステップと、
前記第１グループに属した前記データを用いて、重み付き経験リスクが小さくなるような分類器を導出するステップと、
前記第２グループに属した前記データを用いて、一般化性能指標が大きくなるように、ハイパーパラメータを選択して前記分類器を決定するステップと、
決定された前記分類器を記憶するステップと、
を備え、
前記分類器は、複数の特徴量で定まる前記データを入力とし、前記データが前記正クラスに属するなら正の値を、前記データが前記負クラスに属するなら負の値を出力する関数であり、
前記重み付き経験リスクは、前記データ、前記分類器、損失関数及び前記クラス事前確率を用いて計算される関数であり、前記データを用いた前記分類器の前記損失関数から推定される期待値に重みが付いており、
前記一般化性能指標は、前記データ、前記分類器及び前記クラス事前確率を用いて計算される関数である、
学習方法。
【請求項１０】
正クラスに属する正例のデータであるか負クラスに属する負例のデータであるかが与えられたラベル付きデータと、前記正例のデータであるか前記負例のデータであるかが未知のラベルなしデータと、を記憶した訓練データデータベースから前記データを読み込ませるとともに、前記ラベルなしデータのクラス事前確率を推定させ、
読み込んだ前記データを、第１グループ及び第２グループに分割させ、
前記第１グループに属した前記データを用いて、重み付き経験リスクが小さくなるような分類器を導出させ、
前記第２グループに属した前記データを用いて、一般化性能指標が大きくなるように、ハイパーパラメータを選択して前記分類器を決定させ、
決定された前記分類器を記憶させる、
ことをコンピュータに実行させる学習プログラムであって、
前記分類器は、複数の特徴量で定まる前記データを入力とし、前記データが前記正クラスに属するなら正の値を、前記データが前記負クラスに属するなら負の値を出力する関数であり、
前記重み付き経験リスクは、前記データ、前記分類器、損失関数及び前記クラス事前確率を用いて計算される関数であり、前記データを用いた前記分類器の前記損失関数から推定される期待値に重みが付いており、
前記一般化性能指標は、前記データ、前記分類器及び前記クラス事前確率を用いて計算される関数である、
学習プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、学習装置、学習方法及び学習プログラムに関し、例えば、２値分類のための学習装置、学習方法及び学習プログラムに関する。
【背景技術】
【０００２】
与えられたテストデータを分類器に精度よく２値分類させるためには、あらかじめ訓練データを用いて分類器を訓練する機械学習が必要である。機械学習は、データの正解情報の観点から、教師付き機械学習、教師なし機械学習、半教師付き機械学習に分けられる。教師付き学習は、正解情報が与えられたデータを用いて分類器を訓練するものであり、教師なし学習は、正解情報が与えられないデータを用いて分類器を訓練するものである。なお、正解情報が与えられたデータをラベル付きデータという。ラベル付きデータは、正例のデータ及び負例のデータを含んでいる。正例のデータを正データ、負例のデータを負データともいう。正解情報が与えられないデータをラベルなしデータという。【０００３】
半教師付き学習は、ラベル付きデータ、及び、ラベルなしデータの両方を用いて分類器を訓練するものである。ラベル付きデータが少ないと、分類器の精度が低下する場合がある。一方、教師付き学習のように、すべてのデータをラベル付きデータにしようとすると、膨大な費用がかかる場合がある。半教師付き学習では、ラベル付きデータに加えて、ラベルなしデータも用いている。これにより、コストを抑えつつ精度よく分類する分類器を得ることができる。【０００４】
分類結果の評価を示す分類指標は、攻撃メールの分類、ニュースの分類等の応用課題に適したものが好ましい。例えば、データが不均衡の場合、すなわち、正データの数よりも負データの数が圧倒的に大きい場合、または、負データの数よりも正データの数が圧倒的に大きい場合には、不均衡データに適した分類指標を用いて分類器を訓練することが望ましい。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１７−１２６１５８号公報
【非特許文献】
【０００６】
【非特許文献１】Kawakubo, H.; du Plessis, M. C.; and Sugiyama, M. 2016. “Computationally efficient class-prior estimation under class balance change using energy distance.” IEICE Transactions on Information and Systems E99-D(1):176-186.
【非特許文献２】Sakai, T.; Niu, G.; and Sugiyama, M. 2018. “Semi-supervised AUC optimization based on positive-unlabeled learning.” Machine Learning 107(4):767-794.
【発明の概要】
【発明が解決しようとする課題】
【０００７】
特許文献１には、ラベル付きデータに加えて、ラベルなしデータを用いて分類器を訓練する半教師付き学習が開示されている。特許文献１では、分類指標にＡＵＣ（Ａｒｅａ  Ｕｎｄｅｒ  ｔｈｅ  ＲＯＣ  Ｃｕｒｖｅ）を用いている。しかしながら、分類指標として、ＡＵＣだけにしか対応していないため、異なる分類指標を用いる場合には、新たに分類器を訓練するアルゴリズムを用意しなければならず、アルゴリズムを用意するコストが増大する。例えば、ＡＵＣという分類指標だけだと、Ｆ値が分類指標として適した場合に対応することができない。【０００８】
本発明は、このような課題を解決するためになされたものである。すなわち、応用課題に適した分類指標を選ぶことができ、精度よく分類する分類器を低コストで得ることができる学習装置、学習方法及び学習プログラムを提供する。
【課題を解決するための手段】
【０００９】
一実施の形態に係る学習装置は、正クラスに属する正例のデータであるか負クラスに属する負例のデータであるかが与えられたラベル付きデータと、前記正例のデータであるか前記負例のデータであるかが未知のラベルなしデータと、を記憶した訓練データデータベースから前記データを読み込むとともに、前記ラベルなしデータのクラス事前確率を推定する初期化部と、読み込んだ前記データを、第１グループ及び第２グループに分割するデータ分割部と、前記第１グループに属した前記データを用いて、重み付き経験リスクが小さくなるような分類器を導出する重み付きリスク最小化部と、前記第２グループに属した前記データを用いて、一般化性能指標が大きくなるように、ハイパーパラメータを選択して前記分類器を決定するパラメータ選択部と、決定された前記分類器を記憶する分類器記憶部と、を備え、前記分類器は、複数の特徴量で定まる前記データを入力とし、前記データが前記正クラスに属するなら正の値を、前記データが前記負クラスに属するなら負の値を出力する関数であり、前記重み付き経験リスクは、前記データ、前記分類器、損失関数及び前記クラス事前確率を用いて計算される関数であり、前記データを用いた前記分類器の前記損失関数から推定される期待値に重みが付いており、前記一般化性能指標は、前記データ、前記分類器及び前記クラス事前確率を用いて計算される関数である。【００１０】
また、一実施の形態に係る学習方法は、正クラスに属する正例のデータであるか負クラスに属する負例のデータであるかが与えられたラベル付きデータと、前記正例のデータであるか前記負例のデータであるかが未知のラベルなしデータと、を記憶した訓練データデータベースから前記データを読み込むとともに、前記ラベルなしデータのクラス事前確率を推定するステップと、読み込んだ前記データを、第１グループ及び第２グループに分割するステップと、前記第１グループに属した前記データを用いて、重み付き経験リスクが小さくなるような分類器を導出するステップと、前記第２グループに属した前記データを用いて、一般化性能指標が大きくなるように、ハイパーパラメータを選択して前記分類器を決定するステップと、決定された前記分類器を記憶するステップと、を備え、前記分類器は、複数の特徴量で定まる前記データを入力とし、前記データが前記正クラスに属するなら正の値を、前記データが前記負クラスに属するなら負の値を出力する関数であり、前記重み付き経験リスクは、前記データ、前記分類器、損失関数及び前記クラス事前確率を用いて計算される関数であり、前記データを用いた前記分類器の前記損失関数から推定される期待値に重みが付いており、前記一般化性能指標は、前記データ、前記分類器及び前記クラス事前確率を用いて計算される関数である。【００１１】
さらに、一実施の形態に係る学習プログラムは、正クラスに属する正例のデータであるか負クラスに属する負例のデータであるかが与えられたラベル付きデータと、前記正例のデータであるか前記負例のデータであるかが未知のラベルなしデータと、を記憶した訓練データデータベースから前記データを読み込ませるとともに、前記ラベルなしデータのクラス事前確率を推定させ、読み込んだ前記データを、第１グループ及び第２グループに分割させ、前記第１グループに属した前記データを用いて、重み付き経験リスクが小さくなるような分類器を導出させ、前記第２グループに属した前記データを用いて、一般化性能指標が大きくなるように、ハイパーパラメータを選択して前記分類器を決定させ、決定された前記分類器を記憶させる、ことをコンピュータに実行させる学習プログラムであって、前記分類器は、複数の特徴量で定まる前記データを入力とし、前記データが前記正クラスに属するなら正の値を、前記データが前記負クラスに属するなら負の値を出力する関数であり、前記重み付き経験リスクは、前記データ、前記分類器、損失関数及び前記クラス事前確率を用いて計算される関数であり、前記データを用いた前記分類器の前記損失関数から推定される期待値に重みが付いており、前記一般化性能指標は、前記データ、前記分類器及び前記クラス事前確率を用いて計算される関数である。
【発明の効果】
【００１２】
一実施の形態によれば、精度よく分類する分類器を低コストで得ることができる学習装置、学習方法及び学習プログラムを提供する。
【図面の簡単な説明】
【００１３】
【図１】実施形態に係る学習装置を例示したブロック図である。
【図２】実施形態に係る学習装置の入力部に入力されるデータを例示した図である。
【図３】実施形態に係る分類器訓練部を例示したブロック図である。
【図４】実施形態に係る学習装置の分類器訓練部の動作を例示したフローチャート図である。
【図５】実施形態の実施例１に係る学習装置の分類器訓練部を例示したブロック図である。
【図６】実施形態の実施例１に係る学習装置の分類器訓練部の動作を例示したフローチャート図である。
【図７】実施形態の実施例２に係る学習装置の分類器訓練部を例示したブロック図である。
【図８】実施形態の実施例２に係る学習装置の分類器訓練部の動作の概要を例示したフローチャート図である。
【発明を実施するための形態】
【００１４】
実施形態に係る学習装置を説明する。まず、本実施形態の学習装置に関して、課題、解決法、関連研究、関数等の説明をする。これにより、本実施形態の学習装置をより明確なものにする。
【００１５】
＜はじめに＞
分類指標は、重要な役割を果たし、分類方法は、各分類指標に基づいてしばしば開発される。
【００１６】
（課題１）
一般的に、正答率（ａｃｃｕｒａｃｙ）は、機械学習の分類タスクにおけるモデルの有効性または頑健性を評価するための良好な性能指標ではないことはよく知られている。これは、データセットが不均衡である場合に、特に当てはまる。詐欺の検出、医療診断などの分類タスクにおいて、クラスにおけるデータの不均衡に実際に遭遇する。異常事象の誤分類は、正常事象の誤分類よりもコストがかかる。データが不均衡の場合には、再現率（ｒｅｃａｌｌ）やＦ値（Ｆ  ｍｅａｓｕｒｅ）など、他の性能指標がより適している。一般的に、現実の世界の複雑な問題に対処するためには、性能指標の選択に柔軟に対応する必要がある。
【００１７】
（課題２）
現実の世界の応用課題における別の問題は、ラベル付きデータ自体の収集が困難なことである。ラベルなしデータを豊富に入手することは、（ビッグデータの収集と分析の技術が最近成長したため、）比較的安価である。しかしながら、ラベル付きデータの収集は専門知識を必要とし、しばしば労力を必要とする。したがって、この問題に対処することも実際上重要である。
【００１８】
（解決法）
ラベルなしデータの掘り起しは、一般的に、ラベル付きデータが不十分な場合に、分類タスクの洞察を得るために役立つ。これは、機械学習コミュニティ内のいわゆる半教師付き学習の研究に動機を与える。さらに、幅広い性能指標に対応する決定関数を最適化することは、複雑なデータセットを扱う場合に有益である。本実施形態では、一般化性能指標と呼ばれる一種の性能指標に焦点を当てる。これは、真陽性（ＴＰ）、偽陽性（ＦＰ）、真陰性（ＴＮ）、偽陰性（ＦＮ）の線形結合の比として記述できる。そして、上記の課題に取り組むために、一般化性能指標を用いて、２値分類タスクを行う統一された半教師付き学習を提案する。
【００１９】
（関連研究）
以前に研究されたほとんどの半教師付き学習とは対照的に、この研究で使用される枠組みは、データ分布に仮定を行わない。そして、正データ及びラベルなしデータからの分類（ＰＵ分類）に基づいている。このアプローチは、分類器を訓練するときに誤分類率が考慮される場合に利用されている。
【００２０】
この半教師付き学習の枠組みの中で、ＡＵＣを最適化することも検討されている。しかし、この研究で示されるように、半教師付き学習の設定で一般化性能指標を最適化することは、これまで考慮されていないものである。
【００２１】
＜課題の設定＞
（訓練データ及び分類器）
ランダムな変数ｘ、ｙの確率密度ｐ（ｘ、ｙ）を（１）式に示す。
【００２２】
【数１】
2020044425.tif 000003
【００２３】
ここで、ｄは、正の整数である。（２）式に示す正（Ｐ）データχＰ、負（Ｎ）データχＮ、及び、ラベルなし（Ｕ）データχＵと呼ばれるサンプルの３つのセットが与えられたとき、ｘからｙへの２値分類問題を検討する。
【数２】
2020044425.tif 000004
【００２４】
ここで、（３）式は、（４）式を満たすような正データ及び負データのクラス事前確率である。
【数３】
2020044425.tif 000005
【数４】
2020044425.tif 000006
【００２５】
また、確率密度ｐＰ（ｘ）、ｐＮ（ｘ）及びｐＵ（ｘ）に対する期待値を、それぞれ、ＥＰ、ＥＮ、及び、ＥＵとする。（５）式を分類器とする。
【数５】
2020044425.tif 000007
【００２６】
分類器の符号ｆ＝ｓｉｇｎ（ｇ）に基づいて決定関数を得る。ここで、ｍ≧０のとき、ｓｉｇｎ（ｍ）＝１であり、そうでない場合に、ｓｉｇｎ（ｍ）＝−１である。応用課題とデータセットに応じて、分類指標を選択し、分類指標がより高くなるように分類器を訓練する。
【００２７】
（一般化性能指標）
分類タスクでは、応用分野に応じてさまざまな分類指標が使用される。例えば、通常の正答率、重み付けされた正答率及びＦ値等である。それらの分類指標は、異なるように見えるが、統一され、単一の表現で表すことができる。一般化性能指標ＧＰＭは、（６）式のように定義される。
【数６】
2020044425.tif 000008
【００２８】
ここで、ｃｉ、ｄｉは、定数であり、真陽性ＴＰ（ｆ）及び陽性率α（ｆ）は、指標関数Ｉ（・）を用いて、（７）式と定義する。
【数７】
2020044425.tif 000009
【００２９】
一般化性能指標ＧＰＭにおける定数を設定することで、いくつかの分類指標をカバーすることができる。例えば、ｃ１＝ｄ２＝１、及び、その他の定数が０のときに、適合率（ｐｒｅｃｉｓｉｏｎ）とすることができる。また、ｃ１＝１、ｄ０＝θＰ、その他の定数がゼロのときに、再現率（ｒｅｃａｌｌ、真陽性率）とすることができる。また、ｃ１＝２、ｄ２＝１、及び、その他の定数がゼロのときにＦ値（Ｆ  ｍｅａｓｕｒｅ）とすることができる。このように、ｃｉ及びｄｉの値を適宜選択することにより、一般化性能指標ＧＰＭは、Ｆ値、再現率、正答率、重み付き正答率、偽陽性率、偽発見率、適合率、ＡＭ値及びＪａｃｃａｒｄ係数のうち、少なくともいずれかに設定可能である。
【００３０】
＜一般化性能指標ＧＰＭを用いた教師あり学習＞
ここでは、一般化性能指標ＧＰＭを用いた教師あり学習方法を検討する。
【００３１】
（一般化性能指標ＧＰＭの推定）
教師あり学習では、一般化性能指標ＧＰＭの真陽性ＴＰ（ｆ）と、陽性率α（ｆ）は、次のように推定することができる。すなわち、真陽性ＴＰ（ｆ）は、（８）式のように表すことができるので、真陽性ＴＰ（ｆ）の推定量は、（９）式のようにして求めることができる。
【数８】
2020044425.tif 000010
【数９】
2020044425.tif 000011
【００３２】
次に、陽性率α（ｆ）は、（１０）式のように表現できる。
【数１０】
2020044425.tif 000012
【００３３】
次に、陽性率αＰＮ（ｆ）の経験的推定量は、（１１）式のように計算される。
【数１１】
2020044425.tif 000013
【００３４】
最後に、教師付き一般化性能指標ＰＮ−ＧＰＭは、（１２）式のように表現することができる。
【数１２】
2020044425.tif 000014
【００３５】
その推定量は、（１３）式のように計算される。
【数１３】
2020044425.tif 000015
【００３６】
（アルゴリズム）
一般化性能指標ＧＰＭにより最適化された分類器を得るために、２段階期待効用最大化（ｔｗｏ−ｓｔｅｐ  ＥＵＭ、または、２段階ＥＵＭという。）と、重み付き経験リスク最小化（ｗＥＲＭという。）と呼ばれる２つのアルゴリズムを提案する。両方のアルゴリズムにおいて、最初に、訓練データのグループＳを、２つのグループＳ１及びＳ２に分割する。
【００３７】
（ｔｗｏ−ｓｔｅｐ  ＥＵＭ）
２段階ＥＵＭアルゴリズムでは、分割されたグループＳ１を用いて、（１４）式で示される事後確率推定器ｐ（ｙ｜ｘ）を推定する。
【数１４】
2020044425.tif 000016
【００３８】
これは、ロジスティック回帰によって導くことができる。次に、分割された訓練データＳ２によって推定される教師付き一般化性能指標ＰＮ−ＧＰＭを最大にする閾値を見つける。閾値は、（１５）式に示される。
【数１５】
2020044425.tif 000017
【００３９】
（１５）式では、（１６）式を用いている。
【数１６】
2020044425.tif 000018
【００４０】
得られた閾値を用いて、学習された決定関数は（１７）式で表される。
【数１７】
2020044425.tif 000019
【００４１】
（ｗＥＲＭ）
重み付き経験リスク最小化ｗＥＲＭアルゴリズムでは、教師付き学習において、（１８）式で示す重み付きリスク（重み付き教師付き学習）に基づいて分類器を訓練する。
【数１８】
2020044425.tif 000020
【００４２】
教師付き重み付き経験リスクは、（１９）式のように計算される。
【数１９】
2020044425.tif 000021
【００４３】
次に、教師付き学習における重み付きリスク最小化に基づく学習関数を（２０）式とする。
【数２０】
2020044425.tif 000022
【００４４】
そして、一般化性能指標ＧＰＮを最大化にする（２１）式で示す重みを見つける。
【数２１】
2020044425.tif 000023
【００４５】
最後に、決定関数として、（２２）式を得る。
【数２２】
2020044425.tif 000024
【００４６】
＜正データ及びラベルなしデータに基づく半教師付き学習＞
次に、正データ及びラベルなしデータに基づく半教師付き学習を検討する。
【００４７】
（ＰＵ  ｒｉｓｋ）
まず、正データ及びラベルなしデータに基づく学習のリスク（以下、ＰＵリスクという。）を説明する。ＰＵリスクは、正データ及びラベルなしデータだけの期待値として表現できる場合でも、教師あり学習のリスクと同等である。ＰＵリスクは、（２３）式のように表すことができる。
【数２３】
2020044425.tif 000025
【００４８】
上記に示されているように、ＰＵリスクは、負のデータを持たない偽陰率に近似し、等価性は、周辺密度の定義によって確認することができる。
【００４９】
（ＰＮＵ  ｒｉｓｋ）
ＰＵリスクと同様に、負データ及びラベルなしデータに基づく学習のリスク関数（以下、ＮＵリスクという。）を、（２４）式のように定義する。
【数２４】
2020044425.tif 000026
【００５０】
そうすると、ＰＮリスクと、ＰＵ／ＮＵリスクの組み合わせであるＰＮＵリスク関数は、（２５）式のように表される。
【数２５】
2020044425.tif 000027
【００５１】
ここで、−１≦η≦1であり、ηは混合係数である。
【００５２】
＜一般化性能指標に基づく半教師付き学習＞
次に、正データ及びラベルなしデータを用いた学習（以下、ＰＵ学習という。）に基づく一般化性能指標ＧＰＭによる半教師付き学習方法を提案する。
【００５３】
（一般化性能指標）
最初に、一般化性能指標ＧＰＭの新しい推定量を提案する。周辺密度の定義から、次の（２６）式を得る。
【数２６】
2020044425.tif 000028
【００５４】
したがって、負データ及びラベルなしデータを使用して真陽性を（２７）式のように表すことができる。
【数２７】
2020044425.tif 000029
【００５５】
次に、正データ、負データ、及び、ラベルなしデータ（以下、ＰＮＵという。）に基づいて真陽性を、（２８）式のように提案する。
【数２８】
2020044425.tif 000030
【００５６】
ここで、０≦γ≦１である。
【００５７】
陽性率α（ｆ）は、教師付き学習とは対照的に、ラベルなしデータのみを用いて、（２９）式のように表すことができる。
【数２９】
2020044425.tif 000031
【００５８】
その推定量は、（３０）式のように表すことができる。
【数３０】
2020044425.tif 000032
【００５９】
（１１）式の教師付きバージョンと比較して、ラベルなしデータを使用すると、陽性率α（ｆ）の正確な推定値を得ることができる。これは、ラベルなしデータの量がラベル付きデータよりも十分に大きいからである。
【００６０】
最後に、提案された真陽性ＴＰ（ｆ）及び陽性率α（ｆ）の推定を用いて、一般化性能指標を（３１）式のように近似する。
【数３１】
2020044425.tif 000033
【００６１】
上記（３１）式を、ＰＮＵに基づく一般化性能指標ＰＮＵ−ＧＰＭと呼ぶ。
【００６２】
（重み付きＰＮＵリスク）
次に、ＰＮＵリスクを、クラスの重みを扱うように拡張する。これは、オリジナルのＰＮＵリスクの一般化とみなすことができる。ＰＵリスクに重みを加えると、重み付きＰＵリスクが得られる。これは、（３２）式に示すような重み付けされたＰＮリスクに相当する。
【数３２】
2020044425.tif 000034
【００６３】
同様に、重み付きＮＵリスクを（３３）式のように定義する。
【数３３】
2020044425.tif 000035
【００６４】
ＰＵ学習に基づく半教師付き学習方法とともに、（３４）式のように定義される重み付きＰＮＵリスクを提案する。
【数３４】
2020044425.tif 000036
【００６５】
ここで、−１≦η≦１である。実際には、（３５）式に示す重み付き経験リスクが、訓練に使用される。
【数３５】
2020044425.tif 000037
【００６６】
（非負補正）
（２３）式を用いたＰＵ学習では、深層ニューラルネットワークなどの表現力の高いモデルを用いると経験ＰＵリスク関数が負になり、リスク関数の非負性が満たされないことがある。この問題に対処するために、非負リスク関数が提案され、その有効性が示されている。
【００６７】
非負ＰＵリスクと同様に、非負重み付けＰＵ／ＮＵリスクｎｎｗＰＵ／ＮＵ及びその推定量も、（３６）式のように提案する。
【数３６】
2020044425.tif 000038
【００６８】
非負重み付けＰＵリスクｎｎｗＰＵでは、例えば、確率的勾配降下（Ｓｔｏｃｈａｓｔｉｃ  Ｇｒａｄｉｅｎｔ  Ｄｅｓｃｅｎｔ：ＳＧＤ）を用いて分類器を訓練する。
【００６９】
＜理論的分析＞
ここでは、提案した推定量の性質を論理的に示す。（３７）式のように設定する。
【数３７】
2020044425.tif 000039
【００７０】
簡単のために、（３８）式のように示す。
【数３８】
2020044425.tif 000040
【００７１】
（定理１）
ｎＵ→∞と想定する。任意の固定された分類器において、（３９）式を得る。
【数３９】
2020044425.tif 000041
【００７２】
次に、（４０）式を得る。
【数４０】
2020044425.tif 000042
【００７３】
ここで、（４１）式である。（４２）式のように設定する。
【数４１】
2020044425.tif 000043
【数４２】
2020044425.tif 000044
【００７４】
簡単のために、（４３）式のように示す。
【数４３】
2020044425.tif 000045
【００７５】
（定理２）
ｎＵ→∞と想定する。任意の固定された分類器において、損失関数が（４４）式を満たせば、（４５）式を得る。
【数４４】
2020044425.tif 000046
【数４５】
2020044425.tif 000047
【００７６】
ここで、（４６）式であり、（４７）式を用いている。
【数４６】
2020044425.tif 000048
【数４７】
2020044425.tif 000049
そして、（４８）式を得る。
【数４８】
2020044425.tif 000050
【００７７】
また、（４９）式及び（５０）式を得る。
【数４９】
2020044425.tif 000051
【数５０】
2020044425.tif 000052
【００７８】
＜アルゴリズム＞
ここでは、一般化性能指標により最適化された分類器を訓練するためのアルゴリズムを提案する。発明者らは、一般化性能指標のアルゴリズムの拡張である２つのアルゴリズムを開発する。
【００７９】
（期待効用最大化）
オリジナルのＥＵＭアルゴリズムと比較して、ＰＮ−ＧＰＭ推定値を、提案されるＰＮＵ−ＧＰＭ推定値に置き換える。さらに、クラス事前確率θＰを推定するためのクラス事前確率推定ステップを追加する。例えば、クラス事前確率θＰは、非特許文献１に記載の方法で推定することができる。提案するＰＮＵ−ＥＵＭの手順をアルゴリズム１に要約する。
【００８０】
（アルゴリズム１：Ｔｗｏ−Ｓｔｅｐ  ＰＮＵ−ＥＵＭ）
入力は、訓練データのグループＳ及び混合係数ηである。
１  グループＳを用いて、クラス事前確率θＰを推定する。
２  訓練データをグループＳ１及びＳ２に分割する。
３  グループＳ１で、（５１）式に示す事後確率推定器を推定する。
【数５１】
2020044425.tif 000053
【００８１】
４  グループＳ２で、（５２）式に示す閾値ｂを見つける。
【数５２】
2020044425.tif 000054
ここで、（５３）式である。出力は、（５４）式である。
【数５３】
2020044425.tif 000055
【数５４】
2020044425.tif 000056
【００８２】
（重み付き経験リスクの最小化）
ＰＮＵ−ＥＵＭ法と同様に、クラス事前確率の推定ステップがオリジナルのｗＥＲＭ方法に追加されている。次に、重み付きＰＮリスクとＰＮ−ＧＰＭとを、提案される重み付きＰＮＵリスクとＰＮＵ−ＧＰＭ推定値とに置き換える。発明者らは、提案するＰＮＵ−ｗＥＲＭ方法をアルゴリズム２に要約する。
【００８３】
（アルゴリズム２：ＰＮＵ−ｗＥＲＭ）
入力は、訓練データのグループＳ及び混合係数ηである。
１  グループＳを用いて、クラス事前確率θＰを推定する。
２  訓練データをグループＳ１及びＳ２に分割する。
３  （５５）式に示す重み付けされたＰＮＵリスク推定量を最小化することによって、グループＳ１を用いた（５６）式に示す分類器を訓練する。
【数５５】
2020044425.tif 000057
【数５６】
2020044425.tif 000058
４  グループＳ２を用いて、（５７）式に示す重みを見つける。
【数５７】
2020044425.tif 000059
ここで、（５８）式である。出力は、（５９）式である。
【数５８】
2020044425.tif 000060
【数５９】
2020044425.tif 000061
【００８４】
（ラベルなしデータによる検証）
ここでは、アルゴリズムの検証手順について説明する。既存の分類方法とは異なり、ＰＵ学習は、スコアを計算するためにＵデータを利用することを可能にする。したがって、上記のアプローチは、検証フェーズにおいてラベルなしデータを利用することもできる。
【００８５】
このために、訓練フェーズでは、混合係数がハイパーパラメータとみなされても、検証フェーズでは、重み付きＰＮＵリスクとＰＮＵ−ＧＰＭの混合係数を固定する必要がある。混合係数を固定するために非特許文献２と同様の理論的解析の結果を用いる。
【００８６】
＜学習装置＞
次に、実施形態に係る学習装置を説明する。図１は、実施形態に係る学習装置を例示したブロック図である。図１に示すように、学習装置１は、入力部１０と、演算部２０と、出力部４０とを含んでいる。学習装置１は、例えば、コンピュータに設けられている。コンピュータは、ＣＰＵと、ＲＡＭと、ＲＯＭと、を含んでいる。ＲＯＭは、例えば、アルゴリズム及びプログラム等を記憶する。
【００８７】
入力部１０は、２値分類対象となるデータが入力される。例えば、入力部１０は、正例のデータ及び負例のデータを含むラベル付きデータ、並びに、ラベルなしデータが、訓練データとして入力される。
【００８８】
図２は、実施形態に係る学習装置の入力部に入力される訓練データを例示した図である。図２に示すように、入力される訓練データは、正クラスに属する正例のデータであるか負クラスに属する負例のデータであるかが与えられたラベル付きデータと、正例のデータであるか負例のデータであるかが未知のラベルなしデータを含んでいる。具体的には、正例のデータ、負例のデータ及びラベルなしデータは、（６０）式で表される。ここで、定義より、（６１）式が成り立つ。
【数６０】
2020044425.tif 000062
【数６１】
2020044425.tif 000063
【００８９】
入力されるデータは、例えば、Ｅメールである。Ｅメールは、普通のメール及び攻撃メールを含んでいる。攻撃メールは、受信者に対して不利益を及ぼすメールである。普通のメールは、攻撃メール以外のメールである。攻撃メールの一部は、セキュリティオペレーションセンターの監視官のアラートにかかっている。よって、攻撃メールの一部は、正例のデータであることが与えられたラベル付きデータに相当する。アラートにかかった一部のメールにしかラベルを付けていないため、ラベル付きのデータ数は小さい。このように、攻撃メールは、普通のメールに比べて圧倒的に少ないので、不均衡データである。
【００９０】
また、入力されるデータは、例えば、商品に対するユーザのレビューやコメントである。ユーザのレビューやコメントから、ユーザが商品に対して好意的か否定的かを分類する。この場合には、多くのレビューやコメントは、ラベルなしデータである。入力部１０は、訓練データの他に、２値分類対象となるデータとして、テストデータも入力される。
【００９１】
演算部２０は、訓練データデータベース（以下、訓練データＤＢという。）２１と、分類器訓練部２２と、テストデータデータベース（以下、テストデータＤＢという。）２３と、分類部２４と、を含んでいる。
【００９２】
訓練データＤＢ２１は、分類器を訓練するために入力部１０において入力された訓練データを記憶する。訓練データは、ラベル付きデータ及びラベルなしデータを含んでいる。分類器訓練部２２は、訓練データＤＢ２１に記憶された訓練データに基づいて、２値分類のための分類器を訓練する。また、分類器訓練部２２は、訓練した分類器を分類部２４に出力する。テストデータＤＢ２３は、２値分類するために入力部１０において入力されたテストデータを記憶する。分類部２４は、テストデータＤＢ２３に記憶されたテストデータを、分類器訓練部２２から出力された分類器を用いて２値分類する。出力部４０は、分類部２４により２値分類された結果を出力する。
【００９３】
図３は、実施形態に係る分類器訓練部２２を例示したブロック図である。図３に示すように、分類器訓練部２２は、初期化部３１、データ分割部３２、重み付きリスク最小化部３３、パラメータ選択部３４、分類器記憶部３５を含んでいる。
【００９４】
初期化部３１は、ラベル付きデータ及びラベルなしデータを記憶した訓練データＤＢ２１からデータを読み込む。また、初期化部３１は、読み込んだデータから、ラベルなしデータのクラス事前確率を推定する。ラベルなしデータのクラス事前確率の推定方法は、ラベル付きデータ及びラベルなしデータから事前確率を推定する方法であれば特にこだわらない。例えば、非特許文献１に記載の方法でもよい。
【００９５】
データ分割部３２は、読み込んだラベル付きデータ及びラベルなしデータを、グループＳ１及びグループＳ２に分割する。例えば、データ分割部３２は、ラベル付きのデータ及びラベルなしデータを、それぞれ、ａ：（１−ａ）の比率で分割する。ここで、値ａは、０＜ａ＜１である。分割する際には、グループＳ１のデータ数が、グループＳ２のデータ数よりも大きいことが望ましい。これにより、重み付きリスク最小化部３３により導出される分類器の性能を向上させることができる。また、分割する際には、グループＳ１に含まれた正データ数、負データ数及びラベルなしデータ数の比を、グループＳ２に含まれた正データ数、負データ数及びラベルなしデータ数の比と等しくする。例えば、グループＳ１の正データ数、負データ数及びラベルなしデータ数が、それぞれ、グループＳ２の正データ数、負データ数及びラベルなしデータ数よりも大きくする。これにより、重み付きリスク最小化部３３における分類器の導出と、パラメータ選択部３４におけるパラメータの選択との条件を合わせることができ、分類器の性能を向上させることができる。
【００９６】
重み付きリスク最小化部３３は、分割されたグループＳ１に属したデータを用いて、重み付き経験リスクが小さくなるような分類器を導出する。
【００９７】
分類器は、複数の特徴量で定まるデータを入力とし、データが正クラスに属するなら正の値を、データが負クラスに属するなら負の値を出力する関数である。データを分類する際には、分類器の出力の符号を見ることでデータを分類する。
【００９８】
重み付き経験リスクは、（６２）式で定義されるように、データ、分類器、損失関数及びクラス事前確率を用いて計算される関数である。
【数６２】
2020044425.tif 000064
【００９９】
期待値ＥＰ、ＥＮ及びＥＵを、データχＰ、χＮ及びχＵを用いて推定することにより、（６３）式に示す経験リスク関数を得ることができる。
【数６３】
2020044425.tif 000065
【０１００】
なお、期待値は、（６４）式のように、損失関数を用いて計算することができる。損失関数は、例えば、ロジスティック損失関数でもよいし、２乗損失関数でもよい。
【数６４】
2020044425.tif 000066
【０１０１】
データを用いた分類器の損失関数から推定される各期待値に重みが付いている。重み付き経験リスクは、データに対する分類器のあてはまりの良さを表す評価尺度である。重み付き経験リスクによる評価尺度は、小さいほどデータに対する分類器のあてはまりが良いことを示す。重み付き経験リスク関数は、ハイパーパラメータを含んでいる。例えば、重みや組み合わせパラメータが、ハイパーパラメータである。
【０１０２】
パラメータ選択部３４は、分割されたグループＳ２のデータを用いて、一般化性能指標を推定する。そして、パラメータ選択部３４は、一般化性能指標が大きくなるようにハイパーパラメータを選択し、分類器を決定する。
【０１０３】
一般化性能指標は、（６５）式で定義されるように、データ、分類器及びクラス事前確率を用いて計算される関数であり、分類器の性能を表す指標である。
【数６５】
2020044425.tif 000067
【０１０４】
ここで、真陽性ＴＰ及び陽性率α（ｆ）は、（６６）式である。よって、一般化性能指標は、真陽性ＴＰ及び陽性率α（ｆ）を含んでいる。
【数６６】
2020044425.tif 000068
【０１０５】
一般化性能指標は、ｃｉ、ｄｉのハイパーパラメータを変えることにより、正答率、Ｆ値等の様々な性能指標とすることができる。よって、応用課題に応じて、ハイパーパラメータを選択することで適切な性能指標とすることができる。例えば、不均衡データから正データを判定することに重点を置く場合にはＦ値とし、均衡データから正データと負データを判定することに重点を置く場合には正答率とすることが好ましい。以前の研究では、真陽性ＴＰを、（６７）式に示すように、正データχＰのみを用いて推定している。
【数６７】
2020044425.tif 000069
【０１０６】
本実施形態では、真陽性ＴＰは、（６８）式に示すように、正データχＰ、負データχＮ及びラベルなしデータχＵを用いて推定される。これにより、精度よく真陽性ＴＰを推定することができる。
【数６８】
2020044425.tif 000070
【０１０７】
また、定義より明らかであるが、陽性率α（ｆ）は、ラベルなしデータを用いて推定される。
【０１０８】
分類器記憶部３５は、分類器に対応する関数を記憶する。分類器記憶部３５は、例えば、ハイパーパラメータが選択された分類器を記憶する。
【０１０９】
次に、実施形態に係る分類器訓練部２２の動作を説明する。図４は、実施形態に係る学習装置の分類器訓練部２２の動作を例示したフローチャート図である。図４のステップＳＴＰ１に示すように、訓練データＤＢ２１からデータを読み込む。具体的には、初期化部３１は、ラベル付きデータと、ラベルなしデータと、を記憶した訓練データＤＢ２１からデータを読み込む。また、初期化部３１は、訓練データＤＢ２１からデータを読み込むとともに、読み込んだデータから、ラベルなしデータのクラス事前確率を推定する。
【０１１０】
次に、ステップＳＴＰ２に示すように、読み込んだデータを、グループＳ１及びグループＳ２に分割する。具体的には、データ分割部３２は、読み込んだラベル付きデータ及びラベルなしデータを、グループＳ１及びグループＳ２に分割する。
【０１１１】
次に、ステップＳＴＰ３に示すように、グループＳ１を用いて重み付き経験リスクを小さくする分類器を構成する。具体的には、重み付きリスク最小化部３３は、分割されたグループＳ１に属したデータを用いて、重み付き経験リスクが小さくなるような分類器を導出する。
【０１１２】
次に、ステップＳＴＰ４に示すように、グループＳ２を用いて、パラメータを選択する。具体的には、パラメータ選択部３４は、分割されたグループＳ２に属したデータを用いて、一般化性能指標を推定し、推定した一般化性能指標が大きくなるように、ハイパーパラメータを選択する。これにより、分類器が決定される。
【０１１３】
そして、ステップＳＴＰ５に示すように、分類器を分類器記憶部３５に格納させる。具体的には、分類器記憶部３５は、ハイパーパラメータが選択された分類器を格納させる。このようにして、分類器訓練部２２は、分類器を出力する。
【０１１４】
次に、本実施形態の学習装置の効果を説明する。本実施形態では、一般化性能指標を用いて分類器を決定する。したがって、例えば、正答率だけでなく、応用課題に適した分類指標を用いて分類器を訓練することができる。よって、応用課題ごとのアルゴリズムを用意する必要がなく、コストを低減することができる。
【０１１５】
例えば、攻撃メールの分類では、普通のＥメールに比べて攻撃メールは圧倒的に少ない。そのため、正例のデータに重点を置きつつ分類するＦ値を分類指標として用いることが望ましい。本実施形態では、半教師付き学習の一般化性能指標をＦ値に設定することで、攻撃メールの分類課題に対応することができる。
【０１１６】
また、商品に対するレビューやコメントは、ラベルなしデータに相当するが、このようなレビューやコメントは、全体として好意的なものが多い。そこで、レビューやコメント全体の正例または負例を重視する割合に応じて、半教師付き学習の一般化性能指標を重み付きの正答率に設定する。これにより、レビューやコメントの分類課題に対応することができる。
【０１１７】
本実施形態では、ラベル付きデータに加えて、ラベルなしデータを利用する半教師付き学習を行っている。よって、正解情報が少ないデータから分類器を得ることができ、追加のラベル付けコストなしで、精度よく分類を行う分類器を得ることができる。また、クラスタ仮定のような、データ分布に対する強い仮定を必要としていない。よって、ラベルなしデータを機械学習に利用する際に、データ分布に対する強い仮定を必要としない。
【０１１８】
＜実施例１＞
次に、実施形態の実施例１に係る学習装置１を説明する。本実施例の分類器訓練部２２ａは、特徴として、事後確率推定器３３ａ及び閾値決定部３４ａを有している。具体的には、重み付きリスク最小化部３３及びパラメータ選択部３４を、事後確率推定器３３ａ及び閾値決定部３４ａに置き換えたものである。
【０１１９】
図５は、実施形態の実施例１に係る学習装置の分類器訓練部２２ａを例示したブロック図である。図５に示すように、分類器訓練部２２ａは、初期化部３１、データ分割部３２、事後確率推定部３３ａ、閾値決定部３４ａ、分類器記憶部３５を含んでいる。初期化部３１、データ分割部３２及び分類器記憶部３５は、前述の初期化部３１、データ分割部３２及び分類器記憶部３５と同様である。
【０１２０】
事後確率推定部３３ａは、分割されたグループＳ１のデータを用いて、（６９）式に示す事後確率推定器を求める。
【数６９】
2020044425.tif 000071
【０１２１】
事後確率推定部３３ａは、重み付きリスク最小化部３３の重みを所定の値に固定したものである。例えば、事後確率推定部３３ａは、重み付きリスク最小化部３３の重みを１／２に固定したものである。これにより、事後確率推定部３３ａは、重み付きリスク最小化部３３の重みをなくしたものに相当する。
【０１２２】
事後確率推定部３３ａは、損失関数としてロジスティック損失を用いて、重み付き経験リスクが小さくなるように、分類器を導出する。具体的には、事後確率推定部３３ａは、（７０）式に示すように、様々な混合係数ηについて、ロジスティック損失で分類器を学習し、学習後の分類器を、（７０）式の右側の式で示すようなロジスティック変換ρη（ｘ）により得ることができる。すなわち、実施例１における重み付きリスク最小化の場合には、ロジスティック損失で分類器を学習し、学習後における分類器のロジスティック変換後の出力を、事後確率の推定量として解釈することができる。多くの場合、経験リスク関数に正則化を加えたものを最小化する。
【数７０】
2020044425.tif 000072
【０１２３】
閾値決定部３４ａは、分割されたグループＳ２のデータを用いて、（７１）式に示すように、一般化性能指標を推定し、推定した一般化性能指標が大きくなるように、ハイパーパラメータを選択する。具体的には、閾値決定部３４ａは、ハイパーパラメータとして閾値ｂを含んだ一般化性能指標が大きくなるように、閾値ｂを決定する。
【数７１】
2020044425.tif 000073
【０１２４】
次に、分類器訓練部２２ａの動作を説明する。図６は、実施形態の実施例１に係る学習装置の分類器訓練部２２ａの動作を例示したフローチャート図である。図６のステップＳＴＰ１１に示すように、訓練データＤＢ２１からデータを読み込む。そして、ステップＳＴＰ１２に示すように、読み込んだデータを、グループＳ１及びグループＳ２に分割する。図６のステップＳＴＰ１１及びステップＳＴＰ１２の動作は、前述のステップＳＴＰ１及びステップＳＴＰ２と同様である。
【０１２５】
次に、ステップＳＴＰ１３に示すように、グループＳ１を用いて事後確率推定器を構成する。例えば、事後確率推定部３３ａは、経験リスク最小化を、ロジスティック損失の下で解き、分類器をロジスティックモデルの入力とすることにより、事後確率推定器を求める。具体的には、事後確率推定部３３ａは、ロジスティック損失で分類器を学習し、学習後の分類器をロジスティック変換したものを、事後確率推定器として出力する。
【０１２６】
次に、ステップＳＴＰ１４に示すように、グループＳ２を用いて、閾値ｂを決定する。例えば、閾値決定部３４ａは、分割されたグループＳ２のデータを用いて、一般化性能指標を推定する。一般化性能指標は、ハイパーパラメータとして閾値を含んでいる。そして、閾値決定部３４ａは、一般化性能指標を最大にするように、閾値ｂを決定する。
【０１２７】
そして、ステップＳＴＰ１５に示すように、分類器を分類器記憶部３５に格納させる。このようにして、分類器訓練部２２ａは、分類器を出力する。
【０１２８】
次に、実施例１に係る学習装置の効果を説明する。本実施例では、閾値決定部３４ａにおいて、事後確率推定器及び閾値を含む一般化性能指標が最大となるように閾値を決定している。よって、閾値を選択することができるので、精度よく分類する分類器を導出することができる。これ以外の構成及び効果は、上述の実施形態の記載に含まれている。
【０１２９】
＜実施例２＞
次に、実施例２に係る学習装置を説明する。本実施例における分類器訓練部２２ｂは、特徴として、分類器決定部３４ｂを有している。具体的には、パラメータ選択部３４を、分類器決定部３４ｂと置き換えている。
【０１３０】
図７は、実施形態の実施例２に係る学習装置の分類器訓練部２２ｂを例示したブロック図である。図７に示すように、分類器訓練部２２ｂは、初期化部３１、データ分割部３２、重み付きリスク最小化部３３ｂ、分類器決定部３４ｂ、分類器記憶部３５を含んでいる。初期化部３１、データ分割部３２及び分類器記憶部３５は、前述の初期化部３１、データ分割部３２及び分類器記憶部３５と同様である。
【０１３１】
重み付きリスク最小化部３３ｂは、（７２）式に示すように、分割されたグループＳ１のデータを用いて、様々な重みδ及び混合係数ηについて、重み付き経験リスク関数を最小化するように分類器を導出する。
【数７２】
2020044425.tif 000074
【０１３２】
重み付き経験リスク関数において、分類器の損失関数から推定される期待値に重みが付いている。重み付きリスク最小化部３３ｂは、重みとして、いろいろな値を試して、重み付きリスク最小化を行う。例えば、重み付きリスク最小化部３３ｂは、重みを０から１の間の複数の値を用いて、複数の分類器を導出する。
【０１３３】
分類器決定部３４ｂは、（７３）式に示すように、分割されたグループＳ２に属したデータを用いて、一般化性能指標が大きくなるように、ハイパーパラメータを決定する。
【数７３】
2020044425.tif 000075
【０１３４】
これにより、分類器を決定する。具体的には、分類器決定部３４ｂは、重み付きリスク最小化部３３ｂにより導出された複数の分類器の中で、最も一般化性能指標が大きい分類器を選択する。そして、分類器決定部３４ｂは、選択した分類器を分類器記憶部３５に出力する分類器に決定する。
【０１３５】
次に、分類器訓練部２２ｂの動作を説明する。図８は、実施形態の実施例２に係る学習装置の分類器訓練部２２ｂの動作の概要を例示したフローチャート図である。図８のステップＳＴＰ２１に示すように、訓練データＤＢ２１からデータを読み込む。具体的には、初期化部３１は、訓練データＤＢ２１から、正例及び負例のラベル付きデータ、並びに、ラベルなしデータを読み込む。また、初期化部３１は、重み候補を読み込んでもよい。
【０１３６】
次に、ステップＳＴＰ２２に示すように、読み込んだデータを、グループＳ１及びグループＳ２に分割する。図８のステップＳＴＰ２２の動作は、前述のステップＳＴＰ２及びステップＳＴＰ１２と同様である。
【０１３７】
次に、ステップＳＴＰ２３に示すように、グループＳ１を用いて重み付きリスクを小さくする分類器を構成する。例えば、重み付きリスク最小化部３３ｂは、分割されたグループＳ１に属したデータを用いて、重み付きリスクを小さくする分類器を導出する。具体的には、重み付きリスク最小化部３３ｂは、重みを０から１の間の複数の値を用いて、重み付きリスクを小さくする複数の分類器を導出する。
【０１３８】
次に、ステップＳＴＰ２４に示すように、グループＳ２を用いて、分類器を選択する。具体的には、分類器決定部３４ｂは、重み付きリスク最小化部３３ｂにより導出された複数の分類器の中で、最も一般化性能指標が大きい分類器に決定する。
【０１３９】
そして、ステップＳＴＰ２５に示すように、決定された分類器を分類器記憶部３５に格納させる。このようにして、分類器訓練部２２ｂは、分類器を出力する。
【０１４０】
次に、本実施例の学習装置の効果を説明する。本実施例では、重みを０から１の間の複数の値を用いて、複数の分類器を導出している。よって、精度よく分類する分類器を導出することができる。これ以外の構成及び効果は、実施形態及び実施例１の記載に含まれている。
【０１４１】
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。
【０１４２】
例えば、実施形態、実施例１及び実施例２の各構成を組み合わせたものも、本発明の技術的思想の範囲に含まれる。また、実施形態、実施例１及び実施例２に係る学習装置の動作を、学習方法または学習プログラムに置き換えたものも技術的思想の範囲に含まれる。
【符号の説明】
【０１４３】
１  学習装置
１０  入力部
２０  演算部
２１  訓練データＤＢ
２２、２２ａ、２２ｂ  分類器訓練部
２３  テストデータＤＢ
２４  分類部
３１  初期化部
３２  データ分割部
３３、３３ｂ  重み付きリスク最小化部
３３ａ  事後確率推定器
３４  パラメータ選択部
３４ａ  閾値決定部
３４ｂ  分類器決定部
３５  分類器記憶部
４０  出力部
【図１】
2020044425.tif 000076
【図２】
2020044425.tif 000077
【図３】
2020044425.tif 000078
【図４】
2020044425.tif 000079
【図５】
2020044425.tif 000080
【図６】
2020044425.tif 000081
【図７】
2020044425.tif 000082
【図８】
2020044425.tif 000083
【国際調査報告】
2020044425.tif 000084
2020044425.tif 000085