(57)【特許請求の範囲】
【請求項１】
学習事例と当該学習事例に対する、所定の２値のうちのいずれかを示すラベルとを含む複数のセットと、各学習事例に対する係数値とに基づいて、仮説モデルを学習する学習部と、
前記仮説モデルと前記各学習事例とに基づき、前記学習事例毎に前記２値のいずれかに対応する傾向及び当該傾向の程度を示す分類結果を求め、
前記学習事例のうち、前記分類結果における前記傾向が、対応する前記ラベルに対応する学習事例を特定し、特定した各学習事例について、対応する前記係数値と、前記分類結果における前記程度との積を求め、当該積の第１合計を算出し、
前記学習事例のうち、前記分類結果における前記傾向が、対応する前記ラベルに対応しない学習事例を特定し、特定した各学習事例について、対応する前記係数値と、前記分類結果における前記程度との積を求め、当該積の第２合計を算出し、
前記第２合計に対する前記第１合計の比の対数を、前記各分類結果における前記程度の絶対値のうちの最大値の２倍の値で除することによって、前記仮説モデルの確信度を算出する算出部と
を含む情報処理装置。
【請求項２】
前記算出部は、複数回繰り返す各ラウンドにおいて、当該ラウンドにおける前記各学習事例に対する係数値を用いて、当該ラウンドにおける仮説モデル及び当該仮説モデルの確信度を算出し、
前記各ラウンドにおける前記確信度に基づいて、当該ラウンドにおける前記仮説モデルを結合させることによって学習モデルを更新する第１更新部と、
前記確信度に基づいて、各学習事例に対する係数値を次のラウンドのための係数値に更新する第２更新部と
を含む請求項１記載の情報処理装置。
【請求項３】
学習事例と当該学習事例に対する、所定の２値のうちのいずれかを示すラベルとを含む複数のセットと、各学習事例に対する係数値とに基づいて、仮説モデルを学習する第１ステップと、
前記仮説モデルと前記各学習事例とに基づき、前記学習事例毎に前記２値のいずれかに対応する傾向及び当該傾向の程度を示す分類結果を求める第２ステップと、
前記学習事例のうち、前記分類結果における前記傾向が、対応する前記ラベルに対応する学習事例を特定し、特定した各学習事例について、対応する前記係数値と、前記分類結果における前記程度との積を求め、当該積の第１合計を算出する第３ステップと、
前記学習事例のうち、前記分類結果における前記傾向が、対応する前記ラベルに対応しない学習事例を特定し、特定した各学習事例について、対応する前記係数値と、前記分類結果における前記程度との積を求め、当該積の第２合計を算出する第４ステップと、
前記第２合計に対する前記第１合計の比の対数を、前記各分類結果における前記程度の絶対値のうちの最大値の２倍の値で除することによって、前記仮説モデルの確信度を算出する第５ステップと
を含み、コンピュータにより実行される情報処理方法。
【請求項４】
学習事例と当該学習事例に対する、所定の２値のうちのいずれかを示すラベルとを含む複数のセットと、各学習事例に対する係数値とに基づいて、仮説モデルを学習する第１ステップと、
前記仮説モデルと前記各学習事例とに基づき、前記学習事例毎に前記２値のいずれかに対応する傾向及び当該傾向の程度を示す分類結果を求める第２ステップと、
前記学習事例のうち、前記分類結果における前記傾向が、対応する前記ラベルに対応する学習事例を特定し、特定した各学習事例について、対応する前記係数値と、前記分類結果における前記程度との積を求め、当該積の第１合計を算出する第３ステップと、
前記学習事例のうち、前記分類結果における前記傾向が、対応する前記ラベルに対応しない学習事例を特定し、特定した各学習事例について、対応する前記係数値と、前記分類結果における前記程度との積を求め、当該積の第２合計を算出する第４ステップと、
前記第２合計に対する前記第１合計の比の対数を、前記各分類結果における前記程度の絶対値のうちの最大値の２倍の値で除することによって、前記仮説モデルの確信度を算出する第５ステップと
をコンピュータに実行させる情報処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、学習器を用いてモデルを学習する技術に関する。
【背景技術】
【０００２】
ある文献には、繰り返されるラウンド毎に、各学習事例に対する重みを更新して２値で表現される分類結果を出力する弱仮説を複数学習し、これらを統合させたモデル（結合モデル）を学習するブースティング技術が開示されている。この技術によれば、各ラウンドにおいて学習された弱仮説に対する確信度が算出される。最終のモデルは各弱仮説の確信度を基に結合された形で表現される。
【０００３】
このように、弱仮説が２値で表現される分類結果を出力する分類器を用いて実現される場合には、解析的に確信度を計算することができるので、確信度算出に係る処理負荷は比較的に小さい。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】Quinlan, J.R.: C4.5: Programs for Machine Learning. Morgan Kaufmann (1993)
【非特許文献２】Rosenblatt, F.: The perceptron: A probabilistic model for information storage and organization in the brain. 65(6) (1958) 386-408
【非特許文献３】Freund, Y., Schapire, R.E.: A decision-theoretic generalization of on-line learning and an application to boosting. Journal of computer and system sciences 55(1) (1997)
【非特許文献４】Schapire, R.E., Singer, Y.: Improved boosting algorithms using confidence-rated predictions. Machine Learning 37(3) (1999) 297-336
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明の目的は、一側面では、複数値を含む分類結果を出力する仮説モデルの確信度を算出する処理の負荷を軽減することである。
【課題を解決するための手段】
【０００６】
一態様に係る情報処理装置は、（Ａ）学習事例と当該学習事例に対する、所定の２値のうちのいずれかを示すラベルとを含む複数のセットと、各学習事例に対する係数値とに基づいて、仮説モデルを学習する学習部と、（Ｂ）（ｂ１）仮説モデルと各学習事例とに基づき、学習事例毎に上記２値のいずれかに対応する傾向及び当該傾向の程度を示す分類結果を求め、（ｂ２）学習事例のうち、分類結果における上記傾向が、対応するラベルに対応する学習事例を特定し、特定した各学習事例について、対応する係数値と、分類結果における上記程度との積を求め、当該積の第１合計を算出し、（ｂ３）学習事例のうち、分類結果における上記傾向が、対応するラベルに対応しない学習事例を特定し、特定した各学習事例について、対応する係数値と、分類結果における上記程度との積を求め、当該積の第２合計を算出し、（ｂ４）第２合計に対する第１合計の比の対数を、各分類結果における上記程度の絶対値のうちの最大値の２倍の値で除することによって、仮説モデルの確信度を算出する算出部とを含む。
【発明の効果】
【０００７】
一側面としては、複数値を含む分類結果を出力する仮説モデルの確信度を算出する処理の負荷を軽減できる。
【図面の簡単な説明】
【０００８】
【図１】図１は、ＡｄａＢｏｏｓｔのメイン処理フローを示す図である。
【図２】図２は、モデル学習装置の機能ブロックを示す図である。
【図３】図３は、モデル学習部の構成を示す図である。
【図４】図４は、モデル学習装置及びモデル適用装置の機能ブロックを示す図である。
【図５】図５は、本実施の形態におけるモデル学習処理フローを示す図である。
【図６】図６は、学習事例データの例を示す図である。
【図７】図７は、ラベルデータの例を示す図である。
【図８】図８は、初期状態の結合モデルデータの例を示す図である。
【図９】図９は、第１ラウンドにおける重みデータを示す図である。
【図１０】図１０は、第１ラウンドにおける弱学習処理の概要を示す図である。
【図１１】図１１は、確信度算出処理フローを示す図である。
【図１２】図１２は、第１弱仮説による分類の概要を示す図である。
【図１３】図１３は、第１ラウンドにおける確信度算出の概要を示す図である。
【図１４】図１４は、第１ラウンドにおける結合モデルの更新の概要を示す図である。
【図１５】図１５は、重み更新処理フローを示す図である。
【図１６】図１６は、第１ラウンドにおける重み更新の概要を示す図である。
【図１７】図１７は、第２ラウンドにおける弱学習処理の概要を示す図である。
【図１８】図１８は、第２弱仮説による分類の概要を示す図である。
【図１９】図１９は、第２ラウンドにおける確信度算出の概要を示す図である。
【図２０】図２０は、第２ラウンドにおける結合モデルの更新の概要を示す図である。
【図２１】図２１は、モデル適用処理フローを示す図である。
【図２２】図２２は、第１ラウンドにおける結合モデルデータを用いたモデル適用の例を示す図である。
【図２３】図２３は、第２ラウンドにおける結合モデルデータを用いたモデル適用の例を示す図である。
【図２４】図２４は、コンピュータの機能ブロックを示す図である。
【発明を実施するための形態】
【０００９】
まず、ブースティング手法の例として、ＡｄａＢｏｏｓｔ（非特許文献１，２）について説明する。学習の目的は、与えられた学習事例Ｘからラベル集合ＹへのマッピングＦ：Ｘ−＞Ｙを導出することである。この例で、ラベルは｛−１，＋１｝の２値のいずれかを示すものとする。
【００１０】
図１に、ＡｄａＢｏｏｓｔのメイン処理フローを示す。学習システムは、学習データＳと、ブースティングについての繰り返し回数Ｔとを受け付ける（Ｓ１）。学習データＳは、学習事例とラベルとのセットをｍ個含み、｛（ｘ1，ｙ1），．．．（ｘm，ｙm）｝と表される。
【００１１】
ｘi∈Ｘは、ｉ番目のセットに係る学習事例を表し、ｙi∈Ｙは、ｉ番目のセットに係るラベルを表している。繰り返し回数Ｔは、ブースティングを繰り返す回数である。
【００１２】
学習システムは、学習事例の重み（ｗ1,1，．．．ｗ1,m）を初期化する（Ｓ３）。学習事例の重みｗ1,iは、学習事例ｘiの重みである。各学習事例の重みｗ1,i（１≦ｉ≦ｍ）に、初期値１／ｍが設定される。つまり、各学習事例の初期重みは、均等とする。
【００１３】
そして、カウンタｔに１を設定する（Ｓ５）。
【００１４】
学習システムは、弱学習器に弱仮説ｈtを求めさせる（Ｓ７）。弱学習器は、上述の学習データＳと学習事例の重み（ｗ1,1，．．．ｗ1,m）を用いて弱仮説ｈtを学習する。例えば決定木学習器（非特許文献１）やパーセプトロン（非特許文献２）などの分類器が、弱学習器として利用される。ｈtは、ｔ回目のラウンドで求めた弱仮説を表している。
【００１５】
次に、学習システムは、求めた弱仮説ｈtに対する確信度αtを算出する（Ｓ９）。
【００１６】
更に、学習システムは、次の式に従って、学習事例の重みを更新する（Ｓ１１）。
【数１】
0006402607.tif 000002
【００１７】
式（１）に含まれるｈt（ｘi）は、学習事例ｘiに対するｈｔによる分類結果であり、ｅは、ネイピア数である。また、（１）式の分母は、以下のように表される。
【数２】
0006402607.tif 000003
そして、（２）式は、以下のような正規化を行うための係数である。
【数３】
0006402607.tif 000004
【００１８】
学習システムは、カウンタｔに１を加え（Ｓ１３）、カウンタｔが繰り返し回数Ｔを超えたか否かを判定する（Ｓ１５）。カウンタｔが繰り返し回数Ｔを超えていないと判定した場合には、学習システムは、Ｓ７に戻り、上述した一連の処理を繰り返す。
【００１９】
カウンタｔが繰り返し回数Ｔを超えたと判定した場合には、学習システムは、最終仮説Ｆを求める（Ｓ１７）。学習システムは、上述のループ処理により求めたＴ種類の弱仮説を、以下の式に従って結合することによって、最終仮説Ｆを求める。
【数４】
0006402607.tif 000005
【００２０】
式中のｓｉｇｎは、入力値が正の場合には＋１を返し、それ以外の場合には−１を返す関数である。
【００２１】
図１では、繰り返し処理を終えた後に弱仮説をまとめて統合する最終仮説Ｆを算出する手順の例を示したが、図５を用いて後述するように、繰り返し処理においてその都度弱仮説を結合モデルに統合することによって、最終仮説Ｆを求めるようにしてもよい。
【００２２】
尚、ＡｄａＢｏｏｓｔでは、以下の式に示すように、Ｔ種類の弱仮説からなる最終仮説Ｆにおいて、学習エラーの数に関する上限値が存在することが証明されている。
【数５】
0006402607.tif 000006
[[π]] は、ある命題πが成り立つ場合に１となり、ある命題πが成り立たない場合に０となることを意味している。
【００２３】
各ラウンドｔにおける弱仮説ｈtに関して以下の式の条件を満たす確信度αtが得られれば、ＡｄａＢｏｏｓｔによる学習は収束することが、式（５）によって導かれる。
Ｚt（αt）＜１  （６）  
【００２４】
但し、係数Ｚt（αt）＝１となるラウンドがあったとしても、当該ラウンドは上述した上限値に対して影響を与えない。
【００２５】
続いて、確信度αtを算出する方法について説明する。まず、２値で示される分類結果を出力する分類器（例えば、決定木学習器）を弱学習器として利用する場合における確信度αtの算出方法について説明する。
【００２６】
非特許文献４によれば、２値で示される分類結果を出力する分類器を弱学習器として利用する場合には、確信度αtが解析的に算出される。
【００２７】
式（２）に示したＺt（αt）のαtによる微分は、以下のように求められる。
【数６】
0006402607.tif 000007
【００２８】
そして、Ｚt（αt）のαtによる微分を０とした場合のαtは以下の式によって求められる。
【数７】
0006402607.tif 000008
【００２９】
尚、対数の底は、ｅである。
【数８】
0006402607.tif 000009
これは、t 番目の弱仮説によって正しい分類が行われた各学習事例ｘOtに対する重みの合計である。
【数９】
0006402607.tif 000010
これは、t 番目の弱仮説によって誤った分類が行われた各学習事例ｘNtに対する重みの合計である。
【００３０】
尚、以下の式に示すように、Ｏｔは、学習事例を識別するための１からｍまでのＩＤのうち、t 番目の弱仮説によって正しい分類が行われた学習事例のＩＤに相当する。
【数１０】
0006402607.tif 000011
【００３１】
以下の式に示すように、Ｎｔは、学習事例を識別するための１からｍまでのＩＤのうち、t 番目の弱仮説によって誤った分類が行われた学習事例のＩＤに相当する。
【数１１】
0006402607.tif 000012
【００３２】
次に、多値で示される分類結果を出力する分類器（例えば、パーセプトロン）を弱学習器として利用する場合における確信度αtの算出方法について説明する。
【００３３】
上記の非特許文献４の式（１１）の計算方法では、多値の実数値で示される分類結果を出力する分類器を利用することを想定していない。
【００３４】
多値の実数値で示される分類結果を出力する分類器を弱学習器として利用する場合に、式（８）によって確信度αtを求めることは適当でない。仮に式（８）を用いれば、多値が正しく確信度αtに反映されないことになるからである。
【００３５】
解析的算出に代わる次善の方法として、確信度αtを二分法によって求めることが考えられる。二分法によれば、２点で特定される区間に相当する探索範囲を絞り込むことによって解を導く。二分法は既知の技術であるので、二分法による確信度αt算出については簡単な説明に留める。
【００３６】
非特許文献４において示されている通り、Ｚtに対する確信度αtによる２階微分は正である。つまり、Ｚt（αt）のグラフは、下向きに凸型を示す。この例における二分法は、Ｚtの最小値を試行的に探索することに相当する。
【００３７】
しかし、二分法によって確信度αtを求める場合には、処理負荷が大きくなりやすい。
【００３８】
本実施の形態では、処理負荷をより少なくするために、近似的に確信度αtを算出する。以下、式（６）に示した条件を満たす確信度αtを求める近似式について説明する。
【００３９】
まず、式（２）は、以下のように変換することができる。
【数１２】
0006402607.tif 000013
【００４０】
式（１１）における第１項は、以下の式に示すように、ｔ番目の弱仮説による分類結果が０となった学習事例の重みの合計である。
【数１３】
0006402607.tif 000014
【００４１】
式（１１）における第２項に含まれるＯｔは、式（９）を用いて上述した通り、t 番目の弱仮説によって正しい分類が行われた学習事例のＩＤに相当する。つまり、式（１１）における第２項は、t 番目の弱仮説によって正しい分類が行われた学習事例に関する。
【００４２】
また、式（１１）における第３項に含まれるＮｔは、式（１０）を用いて上述した通り、t 番目の弱仮説によって誤った分類が行われた学習事例のＩＤに相当する。つまり、式（１１）における第３項は、t 番目の弱仮説によって誤った分類が行われた学習事例に関する。
【００４３】
尚、式（１１）における第２項及び第３項に含まれるＵtは、以下の式に示すように、t 番目の弱仮説による各学習事例に対する分類結果の絶対値のうち、最大の値を意味する。
【数１４】
0006402607.tif 000015
【００４４】
そして、式（１１）における第２項及び第３項に、以下に示すベルヌーイの不等式を適用する。０＜ｘであるならば、０＜ｒ≦１である任意のｒに関して、以下の不等式が成立することが知られている。
ｘr≦ｒ（ｘ−１）＋１
【００４５】
従って、式（１１）における第２項について、以下の不等式が成立する。
【数１５】
0006402607.tif 000016
【００４６】
同様に、式（１１）における第３項について、以下の不等式が成立する。
【数１６】
0006402607.tif 000017
【００４７】
式（１１）における第２項及び第３項を上述した不等式の右辺に置き換えたＺ~t（αt）（~は、Ｚの上のハットを意味する。）とＺt（αt）との間には、以下の式が成立する。
Ｚt（αt）≦Ｚ~t（αt）    （１２）
【００４８】
Ｚ~t（αt）は、以下の式で表される。
【数１７】
0006402607.tif 000018
【００４９】
一方、式（３）に示したように、ｔ番目の弱仮説による各学習事例の重みの合計は１であるので、以下の式が成り立つ。
【数１８】
0006402607.tif 000019
従って、上述したＺ~t（αt）は、以下のように書き換えられる。
【数１９】
0006402607.tif 000020
【００５０】
そして、Ｚ~tに対するαtによる微分は、以下の式で表される。
【数２０】
0006402607.tif 000021
【００５１】
よって、Ｚ~t（αt）に対するαtによる微分が０であるときのαt、つまりＺt（αt）が最小値であるときのαtは、以下の式で表せる。
【数２１】
0006402607.tif 000022
本実施の形態では、この式に従って確信度αtを算出する。
【００５２】
尚、この式によって確信度αtを算出するようにしても、最終仮説を算出する式（４）は変わらない。
【００５３】
次に、各ラウンドｔで、式（１３）を満たす確信度αtを求めれば、ＡｄａＢｏｏｓｔによる学習が収束することを示す。
【００５４】
式（１３）で示されたαtをＺ~tに代入することによって、以下の式が求められる。
【数２２】
0006402607.tif 000023
【００５５】
この式から、Ｚ~t（αt）≦１となることがわかる。そして、式（１２）を考慮すると、以下のようになる。
Ｚt（αt）≦Ｚ~t（αt）≦１
【００５６】
従って、式（１３）によって算出される確信度αtは、式（６）に示したＺt（αt）＜１の条件を満たすか、あるいはＺt（αt）＝１の条件を満たす。つまり、学習エラーの上限値が低下するか、あるいは維持されるので、少なくともブースティングによって学習エラーの上限値が上昇することはない。
【００５７】
以下では、具体的な装置の構成及び動作について説明する。図２に、モデル学習装置の機能ブロックを示す。モデル学習装置は、学習データ（ラベルデータ及び結合モデルデータを含む）などの入力を行うための学習データ入力部１０１と、学習データ入力部１０１によって入力された学習データなどを格納する学習データ格納部１０３と、学習データ格納部１０３に格納されているデータを用いてモデル学習を行うモデル学習部１０５とを有する。
【００５８】
更に、モデル学習装置は、モデル学習部１０５における処理に用いられるパラメータを記憶するパラメータ記憶部１０６と、モデル学習部１０５で算出する重みデータを格納する重みデータ格納部１０７と、モデル学習部１０５で算出する確信度データを格納する確信度格納部１０８と、モデル学習部１０５の処理結果であるモデルデータ（例えば、弱仮説データ及び結合モデルデータ）を格納するモデルデータ格納部１０９とを有する。
【００５９】
更に、モデル学習装置は、生成されたモデルデータを適用して分類を行う対象を特定する処理対象データを入力するための対象データ入力部１１１と、対象データ入力部１１１によって入力された処理対象データを格納する対象データ格納部１１３と、モデルデータ格納部１０９に格納されているモデルデータを、対象データ格納部１１３に格納されている処理対象データに適用して、分類を行うモデル適用部１１５と、モデル適用部１１５の分類結果を格納する分類結果格納部１１７と、分類結果格納部１１７に格納されている分類結果を出力する出力部１１９とを有する。
【００６０】
図３に、モデル学習部の構成を示す。モデル学習部１０５は、ブースティング部２０１と弱学習部２０３とを有する。ブースティング部２０１は、ブースティング処理を行う。弱学習部２０３は、弱学習処理を実行する。この例における弱学習部２０３は、分類結果として多値のスコアを出力するパーセプトロンを分類器として用いる。この例におけるパーセプトロンは、正又は負の実数値をスコアとして出力する。但し、弱学習部２０３が、他の分類器を用いるようにしてもよい。
【００６１】
ブースティング部２０１は、初期化部２０５、確信度算出部２０７、結合モデル更新部２０９及び重み更新部２１１を有する。初期化部２０５は、データの初期化を行う。確信度算出部２０７は、弱仮説に対する確信度を算出する。結合モデル更新部２０９は、結合モデルを更新する。重み更新部２１１は、学習事例の重みを更新する。
【００６２】
図２に示したモデル学習装置は、モデル学習の処理及びモデル適用の処理を行う。但し、モデル適用の処理を、モデル学習の処理を行った装置とは別の装置によって行うようにしてもよい。
【００６３】
図４に、モデル学習装置とは別に、モデル適用装置を設ける例を示す。モデル学習装置は、図２に示したモデルデータ格納部１０９と同様のモデルデータ格納部１０９ａを有する。更に、モデルデータ格納部１０９ａに格納されているモデルデータ（例えば、最終的な結合モデルデータ）を出力する出力部１１９ａを有している。
【００６４】
一方、モデル適用装置は、モデル学習装置から出力されたモデルデータを受け付ける受付部１２１を有している。モデル適用装置は、更に受付部１２１において受け付けたモデルデータを格納するためのモデルデータ格納部１０９ｂを有している。モデル適用装置が有する対象データ入力部１１１乃至分類結果格納部１１７は、図２におけるモデル学習装置の場合と同様である。また、モデル適用装置は、更に図２におけるモデル学習装置における出力部１１９と同様の出力部１１９ｂを有する。
【００６５】
上述した学習データ入力部１０１、モデル学習部１０５、対象データ入力部１１１、モデル適用部１１５、出力部１１９、ブースティング部２０１、弱学習部２０３、初期化部２０５、確信度算出部２０７、結合モデル更新部２０９及び重み更新部２１１は、ハードウエア資源（例えば、図２４）と、以下で述べる処理をプロセッサに実行させるプログラムとを用いて実現される。
【００６６】
上述した学習データ格納部１０３、パラメータ記憶部１０６、重みデータ格納部１０７、確信度格納部１０８、モデルデータ格納部１０９、対象データ格納部１１３及び分類結果格納部１１７は、ハードウエア資源（例えば、図２４）を用いて実現される。
【００６７】
次に、図５乃至図２０を用いて、本実施の形態におけるモデル学習部１０５等の処理内容について説明する。
【００６８】
図５に、本実施の形態におけるモデル学習処理フローを示す。上述したように本実施の形態における確信度算出処理は、従来技術と異なる。
【００６９】
まず、学習データ入力部１０１は、例えばユーザからの指示に従って、学習データＳと、繰り返し回数Ｔとについての入力を受け付ける（Ｓ１０１）。学習データＳには、学習事例データ及びラベルデータが含まれる。
【００７０】
図６に、学習事例データ６０１の例を示す。学習事例データ６０１は、学習事例ＩＤに対応する素性を含んでいる。この例で、ｘ1で識別される学習事例は、素性ａ、素性ｂ及び素性ｃから構成される。同様に、ｘ2で識別される学習事例は、素性ａ、素性ｂ及び素性ｄから構成される。ｘ3で識別される学習事例は、素性ａ及び素性ｂから構成される。この例における学習事例の数ｍは、３である。
【００７１】
図７に、ラベルデータ７０１の例を示す。ラベルＩＤは、学習事例ＩＤに対応する。ｙ1は、ｘ1に対応する。ｙ2は、ｘ2に対応する。更に、ｙ3は、ｘ3に対応する。そして、ラベルデータ７０１は、ラベルＩＤに対応するラベルを含んでいる。この例で、ｙ1で識別されるラベルは、「＋１」である。同様に、ｙ2で識別されるラベルは、「−１」である。更に、ｙ3で識別されるラベルは、「＋１」である。
【００７２】
学習事例とラベルとをまとめた学習データを用いるようにしてもよい。
【００７３】
初期化部２０５は、モデルデータ格納部１０９に初期の結合モデルを設定する（Ｓ１０３）。図８に、初期状態の結合モデルデータ８０１ａの例を示す。結合モデルデータ８０１は、各素性に対する第３スコアを含んでいる。尚、この例では、３種類のスコアを用いる。第１スコアは、弱仮説データに含まれる。第２スコアは、分類結果データに含まれる。第１スコア及び第２スコアについては、後述する。初期化部２０５は、各素性に対応する第３スコアに０を設定する。この例では、素性ａ乃至素性ｄのそれぞれに対応する第３スコアに０が設定される。
【００７４】
次に、初期化部２０５は、重みデータ格納部１０７に格納されている学習事例の重み（ｗ1,1，．．．ｗ1,m）を初期化する（Ｓ１０５）。具体的には、各重みに、等しく１／ｍの値が設定される。
【００７５】
図９に、第１ラウンドにおける重みデータ９０１ａを示す。重みＩＤは、学習事例ＩＤに対応する。ｗ1,1は、ｘ1に対応する。ｗ1,2は、ｘ2に対応する。更に、ｗ1,3は、ｘ3に対応する。そして、重みデータ９０１は、重みＩＤに対応する重みを含んでいる。この例で、ｗ1で識別される重み、ｗ2で識別される重み及びｗ3で識別される重みには、いずれも「０．３３３３３」が設定されている。
【００７６】
ブースティング部２０１は、パラメータｔに１を設定する（Ｓ１０７）。パラメータｔは、Ｓ１０９からＳ１１７までのルーチンの実行回数を計数するための変数であり、ｔによってラウンドを特定する。
【００７７】
そして、弱学習部２０３は、弱学習処理を実行する（Ｓ１０９）。この例における弱学習処理では、分類器としてパーセプトロンを用いる。この例では、パーセプトロンの学習は、１度だけの繰り返しとする。
【００７８】
図１０に、第１ラウンドにおける弱学習処理の概要を示す。図１０は、上述した学習事例データ６０１、ラベルデータ７０１及び第１ラウンドにおける重みデータ９０１ａを用いて弱学習処理を行った結果、弱仮説データ１００１ａが生成された様子を示している。
【００７９】
第１ラウンドで生成された弱仮説を、第１弱仮説という。弱仮説データ１００１ａは、第１弱仮説のデータである。弱仮説データ１００１は、各素性に対する第１スコアを含んでいる。正の値である第１スコアは、当該素性を含む学習事例のラベルが「＋１」である傾向があることを示している。負の値である第１スコアは、当該素性を含む学習事例のラベルが「−１」である傾向があることを示している。
【００８０】
事例の重みを用いたモデル更新部分以外は、従来技術と同様であるので、パーセプトロンを用いた弱学習処理の詳細については省略する。
【００８１】
確信度算出部２０７は、確信度算出処理を実行する（Ｓ１１１）。確信度算出処理において、確信度算出部２０７は、上述した式（１３）に従って確信度αtを算出する。
【００８２】
図１１に、確信度算出処理フローを示す。確信度算出部２０７は、まず、Ｓ１０９において求めた弱仮説による分類処理を実行する（Ｓ２０１）。
【００８３】
図１２に、第１弱仮説による分類の概要を示す。学習事例データ６０１に含まれる各学習事例について第１弱仮説に係る弱仮説データ１００１ａを適用した分類が行われ、分類結果が得られる。分類結果データ１２０１ａは、第１弱仮説による分類結果を示している。この例では、分類結果に対する評価が付されている。分類結果とラベルとの正負が一致する場合に、「正しい」と評価される。他方、分類結果とラベルとの正負が一致しない場合に、「誤り」と評価される。つまり、分類結果がラベルと合致する傾向を示す場合に「正しい」と評価され、分類結果がラベルと合致しない傾向を示す場合に「誤り」と評価される。
【００８４】
各学習事例に対する分類結果は、第２スコアとして得られる。この例で、学習事例ｘ1に対して第１弱仮説を適用した分類結果である第２スコアｈ1（ｘ1）は、「１」であり、その評価は「正しい」である。同様に、学習事例ｘ2に対して第１弱仮説を適用した分類結果である第２スコアｈ1（ｘ2）は、「０．３３３３３」であり、その評価は「誤り」である。更に、学習事例ｘ3に対して第１弱仮説を適用した分類結果である第２スコアｈ1（ｘ3）は、「０．６６６６７」であり、その評価は「正しい」である。
【００８５】
この例では、説明に資するために評価を分類結果に付したが、評価は省略するようにしてもよい。
【００８６】
確信度算出部２０７は、分類結果である第２スコアの絶対値のうち最大の値Ｕtを求める（Ｓ２０３）。図１２に示した分類結果データ１２０１ａの例では、第２スコアｈ1（ｘ3）の絶対値「１」が、最大値Ｕtに相当する。
【００８７】
確信度算出部２０７は、パラメータｉに１を設定する（Ｓ２０５）。パラメータｉは、Ｓ２０７からＳ２１５までのルーチンの実行回数を計数するための変数であり、ｉによって学習事例を特定する。
【００８８】
確信度算出部２０７は、パラメータｉによって特定されるラベルｙiに分類結果ｈt（ｘi）を乗じた値が正であるか否かを判定する（Ｓ２０７）。当該値が正であることは、分類結果ｈt（ｘi）の評価が「正しい」であることに相当する。
【００８９】
ラベルｙiに分類結果ｈt（ｘi）を乗じた値が正であると判定した場合には、パラメータｔ及びパラメータｉによって特定される重みｗt,iに分類結果ｈt（ｘi）の絶対値を乗じた値を、正に関する総和を算出するためのパラメータに加算する（Ｓ２０９）。そして、Ｓ２１５の処理に移る。
【００９０】
一方、ラベルｙiに分類結果ｈt（ｘi）を乗じた値が正ではないと判定した場合には、確信度算出部２０７は、当該値が負であるか否かを判定する（Ｓ２１１）。当該値が負であることは、分類結果ｈt（ｘi）の評価が「誤り」であることに相当する。
【００９１】
ラベルｙiに分類結果ｈt（ｘi）を乗じた値が負であると判定した場合には、パラメータｔ及びパラメータｉによって特定される重みｗt,iに分類結果ｈt（ｘi）の絶対値を乗じた値を、負に関する総和を算出するためのパラメータに加算する（Ｓ２１３）。そして、Ｓ２１５の処理に移る。
【００９２】
一方、ラベルｙiに分類結果ｈt（ｘi）を乗じた値が負ではないと判定した場合、つまり当該値が０である場合には、そのままＳ２１５の処理に移る。
【００９３】
確信度算出部２０７は、パラメータｉに１を加え（Ｓ２１５）、パラメータｉが学習事例の数ｍを超えたか否かを判定する（Ｓ２１７）。パラメータｉが学習事例の数ｍを超えていないと判定した場合には、Ｓ２０７へ戻り一連の処理を繰り返す。
【００９４】
パラメータｉが学習事例の数ｍを超えたと判定した場合には、確信度算出部２０７は、（正に関する総和／負に関する総和）の対数を求める（Ｓ２１９）。そして、確信度算出部２０７は、求めた対数に１／（２×Ｕt）を乗ずる（Ｓ２２１）。その結果、第ｔ仮説に対する確信度αtが得られる。第ｔ仮説に対する確信度αtは、確信度格納部１０８に格納される。
【００９５】
図１３に、第１ラウンドにおける確信度算出の概要を示す。この例で、正に関する総和は、０．３３３３３×１＋０．３３３３３×０．６６６６７である。また、負に関する総和は、０．３３３３３×０．３３３３３である。そして、第１弱仮説に対する確信度α1が、「０．８０４７２」となる。
【００９６】
確信度算出処理を終えると、図５に示したＳ１１３の処理に戻る。結合モデル更新部２０９は、前回のラウンドにおける結合モデルデータ８０１、今回のラウンドで求めた弱仮説データ１００１及び確信度αtに基づいて、今回のラウンドにおける結合モデルデータ８０１を算出する（Ｓ１１３）。具体的には、各素性について、今回の弱仮説データ１００１の第１スコアに確信度αtを乗じた値を、前回のラウンドにおける結合モデルデータ８０１の第３スコアに加える。そして、求められた和を今回のラウンドにおける結合モデルの第３スコアに設定する。
【００９７】
図１４に、第１ラウンドにおける結合モデルの更新の概要を示す。第１ラウンドにおける結合モデルデータ８０１ｂの素性ａに対する第３スコア「０．２６８２４」は、０．８０４７２×０．３３３３３＋０によって求められる。同様に、素性ｂに対する第３スコア「０．２６８２４」は、０．８０４７２×０．３３３３３＋０によって求められる。同様に、素性ｃに対する第３スコア「０．２６８２４」は、０．８０４７２×０．３３３３３＋０によって求められる。更に、素性ｄに対する第３スコア「−０．２６８２４」は、０．８０４７２×（−０．３３３３３）＋０によって求められる。
【００９８】
続いて、重み更新部２１１は、重み更新処理を実行する（Ｓ１１５）。重み更新処理において、重み更新部２１１は、重みデータ格納部１０７に格納されている重みデータ９０１を更新する。
【００９９】
図１５に、重み更新処理フローを示す。重み更新部２１１は、上述した式（２）に従って、正規化のための係数Ｚt（αt）を算出する（Ｓ３０１）。重み更新部２１１は、パラメータｉに１を設定する（Ｓ３０３）。パラメータｉは、Ｓ３０５及びＳ３０７までのルーチンの実行回数を計数するための変数であり、ｉによって学習事例を特定する。
【０１００】
重み更新部２１１は、上述した式（１）に従って、次の重みｗt+1,iを算出する（Ｓ３０５）。
【０１０１】
重み更新部２１１は、パラメータｉに１を加え（Ｓ３０７）、パラメータｉが学習事例の数ｍを超えたか否かを判定する（Ｓ３０９）。パラメータｉが学習事例の数ｍを超えていないと判定した場合には、Ｓ３０５へ戻り上述した処理を繰り返す。
【０１０２】
パラメータｉが学習事例の数ｍを超えたと判定した場合には、重み更新処理を終え、図５に示したＳ１１７の処理に戻る。
【０１０３】
図１６に、第１ラウンドにおける重み更新の概要を示す。図１６は、第１弱仮説による分類結果データ１２０１ａと、ラベルデータ７０１と、第１ラウンドにおける重みデータ９０１ａと、第１弱仮説に対する確信度α1とに基づいて、第２ラウンドにおける重みデータ９０１ｂが生成される様子を示している。
【０１０４】
「正しい」の評価を得た学習事例ｘ1に対応する重みは、「０．３３３３３」から「０．１９１１４」へ減っている。同様に、学習事例ｘ3に対応する重みも、「０．３３３３３」から「０．２４９９５」へ減っている。一方、「誤り」の評価を得た学習事例ｘ2に対応する重みは、「０．３３３３３」から「０．５５８９１」へ増えている。このように「正しい」の評価を得た学習事例に対する重みを減らし、「誤り」の評価を得た学習事例に対する重みを増やすことによって、次の弱学習処理において修正された弱仮説が得られるようになる。
【０１０５】
図５の説明に戻る。ブースティング部２０１は、パラメータｔに１を加える（Ｓ１１７）。そして、ブースティング部２０１は、パラメータｔが繰り返し回数Ｔを超えたか否かを判定する（Ｓ１１９）。パラメータｔが繰り返し回数Ｔを超えていないと判定した場合には、Ｓ１０９に戻って一連の処理を繰り返す。パラメータｔが繰り返し回数Ｔを超えたと判定した場合には、図４に示したモデル適用装置の出力部１１９ｂは、最後的な結合モデルデータ８０１を出力する（Ｓ１２１）。図２に示したモデル学習装置の場合には、Ｓ１２１の処理を省くようにしてもよい。
【０１０６】
図１７乃至図２１に、第２ラウンドにおける処理の概要を示す。まず、図１７に、第２ラウンドにおける弱学習処理の概要を示す。第２ラウンドでは、第１ラウンドで更新された重みデータ９０１ｂに基づいて、弱学習処理が行われる。
【０１０７】
第１ラウンドで生成された弱仮説を、第２弱仮説という。弱仮説データ１００１ｂは、第２弱仮説のデータである。
【０１０８】
図１８に、第２弱仮説による分類の概要を示す。第２ラウンドでは、第２弱仮説に係る弱仮説データ１００１ｂを適用した分類が行われ、分類結果が得られる。分類結果データ１２０１ｂは、第２弱仮説による分類結果を示している。第２ラウンドでは、学習事例ｘ2に対する評価が「正しい」に変わっている。
【０１０９】
図１９に、第２ラウンドにおける確信度算出の概要を示す。第２弱仮説に対するα2は「１．１８６４７」であり、第１弱仮説に対する確信度α1よりも大きい。
【０１１０】
図２０に、第２ラウンドにおける結合モデルの更新の概要を示す。図２０は、第２弱仮説に係る弱仮説データ１００１ｂと、第２弱仮説に対するα2と基づいて、第１ラウンドにおける結合モデルデータ８０１ｂが第２ラウンドにおける結合モデルデータ８０１ｃに更新される様子を示している。
【０１１１】
最後に、モデル適用部１１５におけるモデル適用処理について説明する。図２１に、モデル適用処理フローを示す。
【０１１２】
対象データ入力部１１１は、処理対象データを入力する（Ｓ４０１）。処理対象データは、対象データ格納部１１３に格納される。処理対象データは、学習事例データ６０１と同様に素性の組み合わせを含む。学習事例データ６０１に含まれる学習事例における素性の組み合わせ以外の未知の組み合わせを処理対象としてもよい。
【０１１３】
モデル適用部１１５は、結合モデルによる分類処理を実行する（Ｓ４０３）。つまり、モデル学習によって生成された結合モデルデータ８０１を用いて分類器による分類が行われる。分類結果は、分類結果格納部１１７に格納される。そして、出力部１１９は、分類結果格納部１１７に格納されている分類結果を出力する（Ｓ４０５）。
【０１１４】
多くの場合には、最終的に生成された結合モデルデータ８０１が用いられる。但し、以下では、上述した第１ラウンドにおける結合モデルデータ８０１ｂと第２ラウンドにおける結合モデルデータ８０１ｃとの適性を比較するために、これらの結合モデルデータ８０１ｂ及び８０１ｃを用いたモデル適用の例を示す。
【０１１５】
また、多くの場合には、学習事例における素性の組み合わせ以外の未知の組み合わせを処理対象とするが、以下では、改善の様子を説明しやすくするために、学習事例における組み合わせと同じ組み合わせを処理対象とする。
【０１１６】
図２２に、第１ラウンドにおける結合モデルデータ８０１ｂを用いたモデル適用の例を示す。処理対象データ２２０１に含まれる処理対象ｘ11における素性の組み合わせは、学習事例ｘ1に係る素性の組み合わせと同様である。従って、処理対象ｘ11は、ラベル「＋１」に分類されるべきである。同じく処理対象ｘ12における素性の組み合わせは、学習事例ｘ2に係る素性の組み合わせと同様である。従って、処理対象ｘ12は、ラベル「−１」に分類されるべきである。更に、処理対象ｘ13における素性の組み合わせは、学習事例ｘ3に係る素性の組み合わせと同様である。従って、処理対象ｘ13は、ラベル「＋１」に分類されるべきである。
【０１１７】
処理対象ｘ11に対する分類結果である第２スコアＨ1（ｘ11）は、分類されるべきラベルと同様に正である。従って、評価は「正しい」である。また、処理対象ｘ13に対する分類結果である第２スコアＨ1（ｘ13）も、分類されるべきラベルと同様に正である。従って、評価は「正しい」である。一方、処理対象ｘ12に対する分類結果である第２スコアＨ1（ｘ12）は、期待される負の値になっていない。従って、評価は「誤り」である。つまり、処理対象うち１つは正しく分類されていない。
【０１１８】
図２３に、第２ラウンドにおける結合モデルデータ８０１ｃを用いたモデル適用の例を示す。処理対象データ２２０１は、図２２の場合と同様である。第２ラウンドにおける結合モデルデータ８０１ｃを用いた場合には、処理対象ｘ11乃至処理対象ｘ13に対する分類結果に対する評価が「正しい」である。つまり、処理対象が残らず正しく分類されている。この例は、ラウンドが増すと結合モデルの適性が高まることを示している。
【０１１９】
本実施の形態によれば、ラベルが示す所定の２値のいずれかに合致する傾向（この例では、第２スコアにおける正又は負の別）とその傾向の程度（この例では、第２スコアの絶対値）を示す分類結果（この例では、第２スコア）を求める弱仮説の確信度を算出する処理の負荷を軽減できる。
【０１２０】
更に、ラベルが示す所定の２値のいずれかに合致する傾向とその傾向の程度を示す分類結果を求める弱仮説を結合させるブースティングにおける学習の収束性を担保できる。
【０１２１】
以上本発明の一実施の形態を説明したが、本発明はこれに限定されるものではない。例えば、上述の機能ブロック構成はプログラムモジュール構成に一致しない場合もある。
【０１２２】
また、上で説明した各記憶領域の構成は一例であって、上記のような構成でなければならないわけではない。さらに、処理フローにおいても、処理結果が変わらなければ、処理の順番を入れ替えることや複数の処理を並列に実行させるようにしても良い。
【０１２３】
なお、上で述べたモデル学習装置は、コンピュータ装置であって、図２４に示すように、メモリ２５０１とＣＰＵ（Central Processing Unit）２５０３とハードディスク・ドライブ（ＨＤＤ：Hard Disk Drive）２５０５と表示装置２５０９に接続される表示制御部２５０７とリムーバブル・ディスク２５１１用のドライブ装置２５１３と入力装置２５１５とネットワークに接続するための通信制御部２５１７とがバス２５１９で接続されている。オペレーティング・システム（ＯＳ：Operating System）及び本実施例における処理を実施するためのアプリケーション・プログラムは、ＨＤＤ２５０５に格納されており、ＣＰＵ２５０３により実行される際にはＨＤＤ２５０５からメモリ２５０１に読み出される。ＣＰＵ２５０３は、アプリケーション・プログラムの処理内容に応じて表示制御部２５０７、通信制御部２５１７、ドライブ装置２５１３を制御して、所定の動作を行わせる。また、処理途中のデータについては、主としてメモリ２５０１に格納されるが、ＨＤＤ２５０５に格納されるようにしてもよい。本発明の実施例では、上で述べた処理を実施するためのアプリケーション・プログラムはコンピュータ読み取り可能なリムーバブル・ディスク２５１１に格納されて頒布され、ドライブ装置２５１３からＨＤＤ２５０５にインストールされる。インターネットなどのネットワーク及び通信制御部２５１７を経由して、ＨＤＤ２５０５にインストールされる場合もある。このようなコンピュータ装置は、上で述べたＣＰＵ２５０３、メモリ２５０１などのハードウエアとＯＳ及びアプリケーション・プログラムなどのプログラムとが有機的に協働することにより、上で述べたような各種機能を実現する。
【０１２４】
以上述べた本発明の実施の形態をまとめると、以下のようになる。
【０１２５】
本実施の形態に係る情報処理装置は、（Ａ）学習事例と当該学習事例に対する、所定の２値のうちのいずれかを示すラベルとを含む複数のセットと、各学習事例に対する係数値とに基づいて、仮説モデルを学習する学習部と、（Ｂ）（ｂ１）仮説モデルと各学習事例とに基づき、学習事例毎に上記２値のいずれかに対応する傾向及び当該傾向の程度を示す分類結果を求め、（ｂ２）学習事例のうち、分類結果における上記傾向が、対応するラベルに対応する学習事例を特定し、特定した各学習事例について、対応する係数値と、分類結果における上記程度との積を求め、当該積の第１合計を算出し、（ｂ３）学習事例のうち、分類結果における上記傾向が、対応するラベルに対応しない学習事例を特定し、特定した各学習事例について、対応する係数値と、分類結果における上記程度との積を求め、当該積の第２合計を算出し、（ｂ４）第２合計に対する第１合計の比の対数を、各分類結果における上記程度の絶対値のうちの最大値の２倍の値で除することによって、仮説モデルの確信度を算出する算出部とを含む。
【０１２６】
このようにすれば、ラベルが示す所定の２値のいずれかに対応する傾向とその傾向の程度を示す分類結果を求める仮説モデルの確信度を算出する処理の負荷を軽減できる。
【０１２７】
更に、上記算出部は、複数回繰り返す各ラウンドにおいて、当該ラウンドにおける各学習事例に対する係数値を用いて、当該ラウンドにおける仮説モデル及び当該仮説モデルの確信度を算出するようにしてもよい。また、各ラウンドにおける確信度に基づいて、当該ラウンドにおける仮説モデルを結合させることによって学習モデルを更新する第１更新部を含むようにしてもよい。また、確信度に基づいて、各学習事例に対する係数値を次のラウンドのための係数値に更新する第２更新部を含むようにしてもよい。
【０１２８】
このようにすれば、ラベルが示す所定の２値のいずれかに対応する傾向とその傾向の程度を示す分類結果を求める仮説モデルを結合させるブースティングにおける学習の収束性を担保できる。
【０１２９】
なお、上で述べた情報処理装置における処理をコンピュータに行わせるためのプログラムを作成することができ、当該プログラムは、例えばフレキシブルディスク、ＣＤ−ＲＯＭ、光磁気ディスク、半導体メモリ、ハードディスク等のコンピュータ読み取り可能な記憶媒体又は記憶装置に格納されるようにしてもよい。尚、中間的な処理結果は、一般的にメインメモリ等の記憶装置に一時保管される。
【０１３０】
以上の実施例を含む実施形態に関し、さらに以下の付記を開示する。
【０１３１】
（付記１）
学習事例と当該学習事例に対する、所定の２値のうちのいずれかを示すラベルとを含む複数のセットと、各学習事例に対する係数値とに基づいて、仮説モデルを学習する学習部と、
前記仮説モデルと前記各学習事例とに基づき、前記学習事例毎に前記２値のいずれかに対応する傾向及び当該傾向の程度を示す分類結果を求め、
前記学習事例のうち、前記分類結果における前記傾向が、対応する前記ラベルに対応する学習事例を特定し、特定した各学習事例について、対応する前記係数値と、前記分類結果における前記程度との積を求め、当該積の第１合計を算出し、
前記学習事例のうち、前記分類結果における前記傾向が、対応する前記ラベルに対応しない学習事例を特定し、特定した各学習事例について、対応する前記係数値と、前記分類結果における前記程度との積を求め、当該積の第２合計を算出し、
前記第２合計に対する前記第１合計の比の対数を、前記各分類結果における前記程度の絶対値のうちの最大値の２倍の値で除することによって、前記仮説モデルの確信度を算出する算出部と
を含む情報処理装置。
【０１３２】
（付記２）
前記算出部は、複数回繰り返す各ラウンドにおいて、当該ラウンドにおける前記各学習事例に対する係数値を用いて、当該ラウンドにおける仮説モデル及び当該仮説モデルの確信度を算出し、
前記各ラウンドにおける前記確信度に基づいて、当該ラウンドにおける前記仮説モデルを結合させることによって学習モデルを更新する第１更新部と、
前記確信度に基づいて、各学習事例に対する係数値を次のラウンドのための係数値に更新する第２更新部と
を含む付記１記載の情報処理装置。
【０１３３】
（付記３）
学習事例と当該学習事例に対する、所定の２値のうちのいずれかを示すラベルとを含む複数のセットと、各学習事例に対する係数値とに基づいて、仮説モデルを学習する第１ステップと、
前記仮説モデルと前記各学習事例とに基づき、前記学習事例毎に前記２値のいずれかに対応する傾向及び当該傾向の程度を示す分類結果を求める第２ステップと、
前記学習事例のうち、前記分類結果における前記傾向が、対応する前記ラベルに対応する学習事例を特定し、特定した各学習事例について、対応する前記係数値と、前記分類結果における前記程度との積を求め、当該積の第１合計を算出する第３ステップと、
前記学習事例のうち、前記分類結果における前記傾向が、対応する前記ラベルに対応しない学習事例を特定し、特定した各学習事例について、対応する前記係数値と、前記分類結果における前記程度との積を求め、当該積の第２合計を算出する第４ステップと、
前記第２合計に対する前記第１合計の比の対数を、前記各分類結果における前記程度の絶対値のうちの最大値の２倍の値で除することによって、前記仮説モデルの確信度を算出する第５ステップと
を含み、コンピュータにより実行される情報処理方法。
【０１３４】
（付記４）
前記第１ステップ乃至前記第５ステップを繰り返す各ラウンドにおいて、当該ラウンドにおける前記各学習事例に対する係数値を用いて、当該ラウンドにおける仮説モデル及び当該仮説モデルの確信度を算出し、
更に、
前記各ラウンドにおける前記確信度に基づいて、当該ラウンドにおける前記仮説モデルを結合させることによって学習モデルを更新する第６ステップと、
前記確信度に基づいて、各学習事例に対する係数値を次のラウンドのための係数値に更新する第７ステップと
を含む付記３記載の情報処理方法。
【０１３５】
（付記５）
学習事例と当該学習事例に対する、所定の２値のうちのいずれかを示すラベルとを含む複数のセットと、各学習事例に対する係数値とに基づいて、仮説モデルを学習する第１ステップと、
前記仮説モデルと前記各学習事例とに基づき、前記学習事例毎に前記２値のいずれかに対応する傾向及び当該傾向の程度を示す分類結果を求める第２ステップと、
前記学習事例のうち、前記分類結果における前記傾向が、対応する前記ラベルに対応する学習事例を特定し、特定した各学習事例について、対応する前記係数値と、前記分類結果における前記程度との積を求め、当該積の第１合計を算出する第３ステップと、
前記学習事例のうち、前記分類結果における前記傾向が、対応する前記ラベルに対応しない学習事例を特定し、特定した各学習事例について、対応する前記係数値と、前記分類結果における前記程度との積を求め、当該積の第２合計を算出する第４ステップと、
前記第２合計に対する前記第１合計の比の対数を、前記各分類結果における前記程度の絶対値のうちの最大値の２倍の値で除することによって、前記仮説モデルの確信度を算出する第５ステップと
をコンピュータに実行させる情報処理プログラム。
【符号の説明】
【０１３６】
１０１  学習データ入力部  １０３  学習データ格納部
１０５  モデル学習部  １０６  パラメータ記憶部
１０７  重みデータ格納部  １０８  確信度格納部
１０９  モデルデータ格納部  １１１  対象データ入力部
１１３  対象データ格納部  １１５  モデル適用部
１１７  分類結果格納部  １１９  出力部
１２１  受付部  ２０１  ブースティング部
２０３  弱学習部  ２０５  初期化部
２０７  確信度算出部  ２０９  結合モデル更新部
２１１  重み更新部  ６０１  学習事例データ
７０１  ラベルデータ  ８０１  結合モデルデータ
９０１  重みデータ  １００１  弱仮説データ
１２０１  分類結果データ  ２２０１  処理対象データ
【図１】
0006402607.tif 000024
【図２】
0006402607.tif 000025
【図３】
0006402607.tif 000026
【図４】
0006402607.tif 000027
【図５】
0006402607.tif 000028
【図６】
0006402607.tif 000029
【図７】
0006402607.tif 000030
【図８】
0006402607.tif 000031
【図９】
0006402607.tif 000032
【図１０】
0006402607.tif 000033
【図１１】
0006402607.tif 000034
【図１２】
0006402607.tif 000035
【図１３】
0006402607.tif 000036
【図１４】
0006402607.tif 000037
【図１５】
0006402607.tif 000038
【図１６】
0006402607.tif 000039
【図１７】
0006402607.tif 000040
【図１８】
0006402607.tif 000041
【図１９】
0006402607.tif 000042
【図２０】
0006402607.tif 000043
【図２１】
0006402607.tif 000044
【図２２】
0006402607.tif 000045
【図２３】
0006402607.tif 000046
【図２４】
0006402607.tif 000047