(57)【要約】      （修正有）【課題】構造学習の精度を高める。【解決手段】モデル学習方法は、（Ａ）各学習事例の重みに基づき、各学習事例から正解構造を抽出する際の手掛かりとなる素性の各々に対応する第１スコアを更新して、当該各第１スコアにより規定されるモデルを算出する第１ステップと、（Ｂ）各学習事例について、当該学習事例から導かれる複数の候補構造のうち正解構造以外の各構造に対して、モデルにより付与される第２スコアのうち最大スコアを特定し、当該学習事例の正解構造に対してモデルにより付与される第２スコアと最大スコアとの差を求め、各学習事例における上記差により定義されるエラーの上限値に基づき、モデルの確信度を算出する第２ステップと、（Ｃ）確信度と上記差とに基づき、各学習事例の重みを更新する第３ステップと、（Ｄ）第１乃至３ステップの繰り返しステップとを含む。【選択図】図３１
2015011535.tif 000002
【特許請求の範囲】
【請求項１】
コンピュータが、
各学習事例の重みに基づいて、前記重みに対応する各学習事例から夫々の正解構造を抽出する際の手掛かりとなる素性の各々に対応する第１スコアを更新することによって、当該第１スコアの各々により規定されるモデルを算出する第１ステップと、
前記各学習事例について、当該学習事例から導かれる複数の候補構造のうち前記正解構造以外の前記候補構造の各々に対して、前記モデルにより付与される第２スコアのうち最大スコアを特定し、当該学習事例の前記正解構造に対して前記モデルにより付与される第２スコアと前記最大スコアとの差を求めると共に、前記各学習事例における前記差により定義されるエラーの上限値に基づいて、前記モデルの確信度を算出する第２ステップと、
前記確信度と前記各学習事例における前記差とに基づいて、前記各学習事例の前記重みを更新する第３ステップと、
前記第１ステップと、前記第２ステップと、前記第３ステップとを繰り返すステップと、
を実行するモデル学習方法。
【請求項２】
前記第１ステップにおいて、前記各学習事例の前記重みの各々を、当該学習事例の学習率に設定して、前記第１スコアを更新する
請求項１記載のモデル学習方法。
【請求項３】
各学習事例の重みに基づいて、前記重みに対応する各学習事例から夫々の正解構造を抽出する際の手掛かりとなる素性の各々に対応する第１スコアを更新することによって、当該第１スコアの各々により規定されるモデルを算出する第１ステップと、
前記各学習事例について、当該学習事例から導かれる複数の候補構造のうち前記正解構造以外の前記候補構造の各々に対して、前記モデルにより付与される第２スコアのうち最大スコアを特定し、当該学習事例の前記正解構造に対して前記モデルにより付与される第２スコアと前記最大スコアとの差を求めると共に、前記各学習事例における前記差により定義されるエラーの上限値に基づいて、前記モデルの確信度を算出する第２ステップと、
前記確信度と前記各学習事例における前記差とに基づいて、前記各学習事例の前記重みを更新する第３ステップと、
前記第１ステップと、前記第２ステップと、前記第３ステップとを繰り返すステップと、
を含み、コンピュータに実行させるためのモデル学習プログラム。
【請求項４】
重みデータ格納部に格納されている各学習事例の重みに基づいて、学習データ格納部に格納されている前記重みに対応する各学習事例から夫々の正解構造を抽出する際の手掛かりとなる素性の各々に対応する第１スコアを更新することによって、当該第１スコアの各々により規定されるモデルを算出し、当該モデルをモデルデータ格納部に格納する第１算出手段と、
前記学習データ格納部に格納されている前記各学習事例について、当該学習事例から導かれる複数の候補構造のうち前記正解構造以外の前記候補構造の各々に対して、前記モデルデータ格納部に格納されている前記モデルにより付与される第２スコアのうち最大スコアを特定し、当該学習事例の前記正解構造に対して前記モデルにより付与される第２スコアと前記最大スコアとの差を求め、当該差を差データ格納部に格納すると共に、前記各学習事例における前記差により定義されるエラーの上限値に基づいて、前記モデルの確信度を算出し、当該確信度を確信度データ格納部に格納する第２算出手段と、
前記確信度データ格納部に格納されている前記確信度と前記差データ格納部に格納されている前記各学習事例における前記差とに基づいて、前記重みデータ格納部に格納されている前記各学習事例の前記重みを更新する更新手段と、
を有し、
前記第１算出手段による処理と前記第２算出手段による処理と前記更新手段による処理とを繰り返させるモデル学習装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、機械学習の技術に関する。
【背景技術】
【０００２】
最初に、構造予測を行う自然言語処理のタスクの例として、単語列から品詞列へのマッピング、単語列からフレーズ列へのマッピング及び単語列から固有名詞列へのマッピングについて、順次説明する。
【０００３】
図１に、単語列から品詞列へのマッピングの様子を示す。この例における単語列１１は、「Ｔａｒｏ」、「Ｙａｍａｄａ」及び「ｓｉｎｇｓ」の単語を順に含んでいる。そして、この図は、これらの単語に名詞（図中、「Ｎ」と記す）あるいは動詞（図中、「Ｖ」と記す）のような品詞が対応付けられる様子を示している。この例では、単語列１１に含まれる各単語に対して、品詞列１３に含まれる「名詞」、「名詞」及び「動詞」が対応付けられている。
【０００４】
図２に、単語列からフレーズ列へのマッピングの様子を示す。単語列１１は、図１の場合と同様である。そして、この図は、これらの単語列からフレーズ群を抽出し、それらのフレーズ群に名詞句（図中、「ＮＰ」と記す）あるいは動詞句（図中、「ＶＰ」と記す）のような品詞句が対応付けられる様子を示している。この例では、フレーズ列２１中の「Ｔａｒｏ  Ｙａｍａｄａ」の第１フレーズと「ｓｉｎｇｓ」の第２フレーズとが抽出され、それぞれのフレーズに「名詞句」と「動詞句」とが対応付けられている。
【０００５】
図３に、単語列から固有名詞列へのマッピングの様子を示す。単語列１１は、図１の場合と同様である。そして、この図は、これらの単語列に含まれる単語あるいはフレーズに、人名（図中、「Ｐ」と記す）あるいはそれ以外（図中、「Ｏ」と記す）が対応付けられる様子を示している。この例では、固有名詞列３１に示すように「Ｔａｒｏ  Ｙａｍａｄａ」のフレーズが人名であると判定され、「ｓｉｎｇｓ」が人名以外であると判定されている。
【０００６】
これらのタスクの実現方法として、教師有り学習手法が適用されてきた。教師有り学習手法では、上述のような単語列とその正解構造（たとえば、ラベル列）とが学習データとして与えられ、この学習データを用いて単語列から構造を正しくマッピングできるように学習する。例えば、分類器を組み合わせる方法の場合には、各単語にラベルを付与することで、最終的な出力を決定できるようにする。
【０００７】
図４に、分類器によるマッピングの様子を示す。単語列１１は、図１の場合と同様である。この例では、学習によって、単語に対してラベルを付与する分類器の組み合わせを得て、その分類器の組み合わせによって、判定対象である単語列に含まれる各単語にラベルを対応付ける。
【０００８】
この例では、「名詞句の先頭」（図中、「Ｂ−ＮＰ」と記す）、「名詞句の先頭以外」（図中、「Ｉ−ＮＰ」と記す）、「動詞句の先頭」（図中、「Ｂ−ＶＰ」と記す）及び「動詞句の先頭以外」（図中、「Ｉ−ＶＰ」と記す）の４種類のラベルを用いる。
【０００９】
「名詞句の先頭」の後に、「名詞句の先頭」又は「動詞句の先頭」が続く場合には、先の「名詞句の先頭」に対応する単語が、単独で名詞句に相当することを意味する。
【００１０】
「名詞句の先頭」の後に、一つあるいは複数の「名詞句の先頭以外」が続く場合には、その「名詞句の先頭」に対応する単語から、最後尾の「名詞句の先頭以外」に対応する単語までの単語列からなるフレーズが、名詞句に相当することを意味する。
【００１１】
「動詞句の先頭」の後に、「名詞句の先頭」又は「動詞句の先頭」が続く場合には、先の「動詞句の先頭」に対応する単語が、単独で動詞句に相当することを意味する。
【００１２】
「動詞句の先頭」の後に、一つあるいは複数の「動詞句の先頭以外」が続く場合には、その「動詞句の先頭」に対応する単語から、最後尾の「動詞句の先頭以外」に対応する単語までの単語列からなるフレーズが、動詞句に相当することを意味する。
【００１３】
この例では、ラベル列４１に示すように、「Ｔａｒｏ」に「名詞句の先頭」が付与され、「Ｙａｍａｄａ」に「名詞句の先頭以外」が付与され、「ｓｉｎｇｓ」に「動詞句の先頭」が付与されている。その結果、フレーズ列４３に示すように、「Ｔａｒｏ  Ｙａｍａｄａ」が名詞句であると判定され、「ｓｉｎｇｓ」が動詞句であると判定される。
【００１４】
また近年は、直接的に構造を予測する構造学習手法も用いられている。図５に、構造学習手法によるマッピングの様子を示す。この例では、各単語に対する４種類のラベルを選択的に組み合わせたラベル列の候補群５１の中から、正しいラベル列を直接選択する仕組みを学習する。ラベル列の選択は、図示するように各単語に対するラベル同士を結ぶパス群から、正しいパスを選択することに相当する。
【００１５】
この例では、「Ｔａｒｏ」に対する「名詞句の先頭」と、「Ｙａｍａｄａ」に対する「名詞句の先頭以外」と、「ｓｉｎｇｓ」に対する「動詞句の先頭」とからなるラベル列が選択され、その結果、フレーズ列５３に示すように、「Ｔａｒｏ  Ｙａｍａｄａ」が名詞句であると判定され、「ｓｉｎｇｓ」が動詞句であると判定される。
【００１６】
また、図６に、別の構造学習手法によるマッピングの様子を示す。単語列１１は、図１の場合と同様である。この例は、単語の塊であるチャンクを単位としている。単語列を構成するチャンクに対する４種類のラベルを選択的に組み合わせたラベル列の候補群６１の中から、正しいラベル列を直接選択する仕組みを学習する。つまり、ラベル列の選択は、図示するように各チャンクに対するラベル同士を結ぶパス群から、正しいパスを選択することに相当する。また、単語列が１つのチャンクとなることを想定して、そのチャンクのラベルを選択することもある。
【００１７】
この例では、フレーズ列６３に示すように、「Ｔａｒｏ  Ｙａｍａｄａ」に対する名詞句と、「ｓｉｎｇｓ」に対する動詞句とからなるラベル列が選択される。
【００１８】
これらの学習手法に加えて、更に判定精度を高めることを目的として、アンサンブル学習手法を採用している例もある。アンサンブル学習手法の一種であるブースティング手法では、複数のモデル（規則ともいう。）を学習し、それらのモデルを組み合わせることで精度の高い統合モデルを生成する。複数のモデルを学習するための学習器は、弱学習器と呼ばれ、その弱学習器で学習されたモデルは、弱仮説と呼ばれる。
【００１９】
ブースティング手法では、学習データに含まれる各学習事例に対して重みを設定する。そして、弱仮説によって正しい予測結果が得られる簡単な学習事例に対しては、その重みを小さくし、弱仮説によって正しい予測結果が得られない難しい学習事例に対しては、その重みを大きくするように調整する。このように各学習事例の重みを調整することによって、多様な学習事例へ適応した統合モデルを得られることが期待される。
【００２０】
構造予測にブースティング手法を採用するある例によれば、弱学習器として、前述したようにラベルを付与する分類器が用いられている。
【先行技術文献】
【特許文献】
【００２１】
【特許文献１】特開２０１０−３３２１３号公報
【非特許文献】
【００２２】
【非特許文献１】Schapire, R. E. and Singer, Y.: BoosTexter: A boosting-based system for text categorization, Machine Learning, Vol. 39(2/3), pp. 135-168 (2000)
【非特許文献２】Nagata, M.: A Stochastic Japanese Morphological Analyzer Using a Forward-DP Backward-A* N-Best Search Algorithm, COLING, pp. 201-207 (1994)
【非特許文献３】Schapire, R. E. and Singer, Y.: Improved Boosting Algorithms Using Confidence-rated Predictions, Machine Learning, Vol. 37, No. 3, pp. 297-336 (1999)
【非特許文献４】Cohen, W. W. and Sarawagi, S.: Exploiting dictionaries in named entity extraction: combining semi-Markov extraction processes and data integration methods, Proc. of KDD’04, pp. 89-98 (2004)
【非特許文献５】Sarawagi, S. and Cohen, W. W.: Semi-Markov Conditional Random Fields for Information Extraction, Proc. of NIPS’04 (2004)
【発明の概要】
【発明が解決しようとする課題】
【００２３】
本発明の目的は、一側面では、構造学習の精度を高めることである。
【課題を解決するための手段】
【００２４】
一態様に係るモデル学習方法は、（Ａ）各学習事例の重みに基づいて、重みに対応する各学習事例から夫々の正解構造を抽出する際の手掛かりとなる素性の各々に対応する第１スコアを更新することによって、当該第１スコアの各々により規定されるモデルを算出する第１ステップと、（Ｂ）各学習事例について、当該学習事例から導かれる複数の候補構造のうち正解構造以外の候補構造の各々に対して、モデルにより付与される第２スコアのうち最大スコアを特定し、当該学習事例の正解構造に対してモデルにより付与される第２スコアと最大スコアとの差を求めると共に、各学習事例における当該差により定義されるエラーの上限値に基づいて、モデルの確信度を算出する第２ステップと、（Ｃ）確信度と各学習事例における上記差とに基づいて、各学習事例の重みを更新する第３ステップと、（Ｄ）第１ステップと、第２ステップと、第３ステップとを繰り返すステップとを含む。
【発明の効果】
【００２５】
一側面としては、構造学習の精度を高めることができる。
【図面の簡単な説明】
【００２６】
【図１】図１は、単語列から品詞列へのマッピングの様子を示す図である。
【図２】図２は、単語列からフレーズ列へのマッピングの様子を示す図である。
【図３】図３は、単語列から固有名詞列へのマッピングの様子を示す図である。
【図４】図４は、分類器によるマッピングの様子を示す図である。
【図５】図５は、構造学習手法によるマッピングの様子を示す図である。
【図６】図６は、構造学習手法によるマッピングの様子を示す図である。
【図７】図７は、公知技術のメイン処理フローを示す図である。
【図８】図８は、公知技術における学習データと規則の例を示す図である。
【図９】図９は、学習事例の例を示す図である。
【図１０】図１０は、正解構造の例を示す図である。
【図１１】図１１は、初期状態における学習事例の重みの例を示す図である。
【図１２】図１２は、初期状態における構造予測モデルの例を示す図である。
【図１３】図１３は、構造学習の様子を示す図である。
【図１４】図１４は、構造予測モデルを更新する様子を示す図である。
【図１５】図１５は、構造学習の様子を示す図である。
【図１６】図１６は、構造予測モデルを更新する様子を示す図である。
【図１７】図１７は、構造学習の様子を示す図である。
【図１８】図１８は、構造予測モデルを更新する様子を示す図である。
【図１９】図１９は、第２スコア算出の様子を示す図である。
【図２０】図２０は、第２スコア算出の様子を示す図である。
【図２１】図２１は、第２スコア算出の様子を示す図である。
【図２２】図２２は、学習事例の重みの例を示す図である。
【図２３】図２３は、構造学習の様子を示す図である。
【図２４】図２４は、構造予測モデルを更新する様子を示す図である。
【図２５】図２５は、構造学習の様子を示す図である。
【図２６】図２６は、構造予測モデルを更新する様子を示す図である。
【図２７】図２７は、構造学習の様子を示す図である。
【図２８】図２８は、構造予測モデルを更新する様子を示す図である。
【図２９】図２９は、モデル学習装置の機能ブロックを示す図である。
【図３０】図３０は、モデル学習部の構成を示す図である。
【図３１】図３１は、本発明のメイン処理フローを示す図である。
【図３２】図３２は、初期状態における結合モデルの例を示す図である。
【図３３】図３３は、構造学習処理フローを示す図である。
【図３４】図３４は、構造予測モデル更新処理フローを示す図である。
【図３５】図３５は、確信度算出処理フローを示す図である。
【図３６】図３６は、コンピュータの機能ブロック図である。
【発明を実施するための形態】
【００２７】
まず、本稿で用いるブースティング手法であるＡｄａＢｏｏｓｔ（非特許文献１）について説明する。学習の目的は、与えられた学習事例Ｘからラベル集合ＹへのマッピングＦ、
【数１】
2015011535.tif 000003
を導出することである。ここでのラベルは、｛−１，＋１｝である。
【００２８】
図７に、ＡｄａＢｏｏｓｔのメイン処理フローを示す。学習システムは、学習データＳと、ブースティング繰り返し数Ｔとを受け付ける（Ｓ１）。学習データＳは、学習事例とラベルとのセットをｎ個含み、｛（ｘ1，ｙ1），．．．（ｘn，ｙn）｝と表される。
【００２９】
【数２】
2015011535.tif 000004
は、ｉ番目のセットに係る学習事例を表し、
【数３】
2015011535.tif 000005
は、ｉ番目のセットに係るラベルを表している。
【００３０】
ブースティング繰り返し数Ｔは、ブースティングにおける繰り返しの回数である。
【００３１】
学習システムは、学習事例の重み（ｗ1,1，．．．ｗ1,n）を初期化する（Ｓ３）。学習事例の重みｗ1,iは、学習事例ｘiに対応している。各学習事例の重みｗ1,i（１≦ｉ≦ｎ）に、初期値１／ｎが設定される。つまり、各初期の学習事例の重みは、均等とする。
【００３２】
そして、カウンタｔを１に初期化する（Ｓ５）。
【００３３】
学習システムは、弱学習器に弱仮説ｈtを求めさせる（Ｓ７）。弱学習器は、上述の学習データＳと学習事例の重み（ｗ1,1，．．．ｗ1,n）から弱仮説ｈtを学習する。ｈtは、ｔ回目のブースティングラウンドで求めた弱仮説を表している。
【００３４】
次に、学習システムは、求めた弱仮説ｈtに対する確信度αtを算出する（Ｓ９）。
【００３５】
更に、学習システムは、次の式に従って、学習事例の重みを更新する（Ｓ１１）。
【数４】
2015011535.tif 000006
【００３６】
式中のｈt（ｘi）は、学習事例ｘiに対するｈｔによる分類結果であり、ｅは、ネイピア数である。また、
【数５】
2015011535.tif 000007
は、
【数６】
2015011535.tif 000008
のための正規化項である。
【００３７】
学習システムは、カウンタｔに１を加え（Ｓ１３）、カウンタｔがブースティング繰り返し数Ｔを越えたか否かを判定する（Ｓ１５）。カウンタｔがブースティング繰り返し数Ｔを越えていないと判定した場合には、学習システムは、Ｓ７に戻り、上述した一連の処理を繰り返す。
【００３８】
カウンタｔがブースティング繰り返し数Ｔを越えたと判定した場合には、学習システムは、最終仮説Ｆを求める（Ｓ１７）。学習システムは、上述のループ処理により求めたＴ種類の弱仮説を、以下の式に従って結合することによって、最終仮説Ｆを求める。
【数７】
2015011535.tif 000009
【００３９】
式中のｓｉｇｎは、入力値が正の場合には１を返し、それ以外の場合には−１を返す関数である。
【００４０】
図８に、ＡｄａＢｏｏｓｔにおける学習データと学習される規則との例を示す。図８の上側のテーブルは、ＡｄａＢｏｏｓｔに与えられる学習データの例である。この例で、ラベルが「＋１」の場合には、名詞句の一部であることを示し、ラベルが「−１」の場合には、名詞句以外であることを示している。ここでの素性とは、規則の候補である。第１レコードは、素性「Ｙａｍａｄａ」が名詞句の一部であることに重み「１／３」が与えられたことを示している。第２レコードは、素性「ｓｉｎｇｓ」が名詞句以外であることに重み「１／３」が与えられたことを示している。第３レコードは、素性「Ｔａｒｏ」が名詞句の一部であることに重み「１／３」が与えられたことを示している。このような学習データから図８の下側のテーブルに示すような規則が学習される。ここで、正の値は名詞句であることを意味し、負の値は名詞句でないことを意味している。
【００４１】
尚、ＡｄａＢｏｏｓｔでは、Ｔ種類の弱仮説で構成される最終仮説Ｆにおいて、以下に示す学習エラーの上限値を持つことが証明されている。
【数８】
2015011535.tif 000010
【００４２】
[[π]] は、ある命題πが成り立つ場合に１となり、ある命題πが成り立たない場合に０となることを意味している。
【００４３】
式（１） と式（３）によって、各ブースティングラウンドｔにおけるｈtに対して、以下の式の条件を満たす確信度αtを選択すれば、ＡｄａＢｏｏｓｔによる学習は収束することが導かれる。
Ｚt（αt）＜１    
【００４４】
［実施の形態の具体的内容］
本実施の形態では、構造予測モデルを規定するスコアと、構造を評価するスコアとの２種類のスコアを用いる。以下、構造予測モデルを規定するスコアを第１スコアと呼び、構造を評価するスコアを第２スコアと呼び、両者を区別する。
【００４５】
上述したブースティング手法では、正例と負例が与えられることを想定しているが、構造学習手法においては明示的に負例が与えられるわけではない。従って、ブースティング手法にそのまま構造学習手法を適用するわけには行かない。
【００４６】
そこで、本実施の形態では、学習事例に対する正解構造における第２スコアと、正解構造以外の構造群における最高の第２スコアとの差を利用する。更に、上述の第２スコアの差で定義されるエラーの上限値に基づき、学習事例の重みを更新する。具体的には、正解構造の第２スコアが最高の第２スコアより低い場合は、不適を意味するので、その学習事例の重みを増加させる。正解構造の第２スコアが最高の第２スコアより高く、あるいは等しい場合は、好適を意味するので、その学習事例の重みを減少させる。
【００４７】
以下で処理の概要を説明する。まず、学習データについて述べる。図９に、学習データに含まれる学習事例の例を示す。この例における学習事例は、単語列である。ここでは説明を簡単にするために、第３単語までの単語列の例を示しているが、単語数はもっと多くてもよい。
【００４８】
また、学習事例の数についても、説明を簡単にするために３つとしているが、実際に学習を行う場合には、もっと多くの学習事例を用意する。
【００４９】
第１学習事例：Ｘ1は、第１単語「Ｙａｍａｄａ」と第２単語「ｓｉｎｇｓ」とからなる単語列である。第２学習事例：Ｘ2は、第１単語「Ｔａｒｏ」と第２単語「ｓｉｎｇｓ」とからなる単語列である。第３学習事例：Ｘ3は、第１単語「Ｔａｒｏ」と第２単語「Ｙａｍａｄａ」と第３単語「ｓｉｎｇｓ」とからなる単語列である。
【００５０】
学習データは、学習事例である単語列に対する正解構造も有している。この例で、図６に例示したように、正解構造は、チャンクとそのチャンクに対するラベルの組み合わせの列である。
【００５１】
図１０に示した正解構造の例では、図４で説明した「名詞句の先頭」（Ｂ−ＮＰ）、「名詞句の先頭以外」（Ｉ−ＮＰ）、「動詞句の先頭」（Ｂ−ＶＰ）及び「動詞句の先頭以外」（Ｉ−ＶＰ）の４種類のラベルを用いて、チャンクと品詞句とを特定する。但し、チャンクと品詞句との組み合わせを特定する構造であれば、図１０以外の形式であってもよい。
【００５２】
本実施の形態では、各学習事例に重みが付与される。図１１に、初期状態における学習事例の例を示す。初期状態では、重みの合計が１であり、また各重みが均等になるようにする。この例では、学習事例の数が３であるので、各重みは１／３とする。
【００５３】
次に、本実施の形態に係る構造予測モデルについて説明する。構造学習手法として、非特許文献４に示した手法あるいは非特許文献５に示した手法などを利用してもよい。ここでは、非特許文献４における構造学習手法に対してブースティングを適用する例について説明する。図１２に、初期状態における構造予測モデルの例を示す。構造予測モデルは、正解構造を予測する各手掛かりに対応する第１スコアを有している。この例における手掛かりは、素性に相当する。初期状態において、各第１スコアには初期値０が設定される。
【００５４】
この例で、第１レコードは、チャンク「Ｔａｒｏ」のラベルが名詞句（ＮＰ）であるという手掛かりに対応する第１スコアに０が設定されていることを示している。第２レコードは、チャンク「Ｙａｍａｄａ」のラベルが名詞句（ＮＰ）であるという手掛かりに対応する第１スコアに０が設定されていることを示している。第３レコードは、チャンク「Ｔａｒｏ」のラベルが動詞句（ＶＰ）であるという手掛かりに対応する第１スコアに０が設定されていることを示している。第４レコードは、チャンク「Ｙａｍａｄａ」のラベルが動詞句（ＶＰ）であるという手掛かりに対応する第１スコアに０が設定されていることを示している。第５レコードは、チャンク「ｓｉｎｇｓ」のラベルが動詞句（ＶＰ）であるという手掛かりに対応する第１スコアに０が設定されていることを示している。第６レコードは、チャンク「Ｙａｍａｄａ  ｓｉｎｇｓ」のラベルが名詞句（ＮＰ）であるという手掛かりに対応する第１スコアに０が設定されていることを示している。第７レコードは、チャンク「Ｔａｒｏ  Ｙａｍａｄａ」のラベルが名詞句（ＮＰ）であるという手掛かりに対応する第１スコアに０が設定されていることを示している。手掛かりを特定する条件は、この例に限定されない。例えば、当該チャンクの前の単語あるいは後の単語に対する条件を含んでいてもよい。
【００５５】
図１３に、構造学習の様子を示す。この図は、第１学習事例Ｘ1の単語列１３０１に対する候補構造Ｙ群１３０３から、図１２に示した構造予測モデルに従って、最も第２スコアの大きい構造Ｙ*1１３０５を抽出する様子を示している。図１２に示した構造予測モデルでは、第１スコアがすべて０であるので、各候補構造Ｙにおける第２スコアは等しく０となる。その場合には、いずれの候補構造Ｙが抽出されてもよいが、この例ではチャンク「Ｙａｍａｄａ  ｓｉｎｇｓ」とそのラベルの名詞句（ＮＰ）との組み合わせである構造Ｙが選択される。
【００５６】
第１学習事例Ｘ1の正解構造Ｙ1１３０７は、第１チャンク「Ｙａｍａｄａ」とそのラベルの名詞句（ＮＰ）との組み合わせと、第２チャンク「ｓｉｎｇｓ」とそのラベルの動詞句（ＶＰ）との組み合わせの列であるので、ここで抽出された最大スコア構造Ｙ*1１３０５は、正解構造Ｙ1１３０７と一致しないと判定される。
【００５７】
この図で、最大スコア構造Ｙ*1１３０５に含まれるチャンクとそのラベルとの組み合わせを太い実線の枠で囲み、正解構造Ｙ1１３０７に含まれるチャンクとそのラベルとの組み合わせを太い破線の枠で囲んでいる。
【００５８】
図１４に、図１３の判定結果に基づいて、構造予測モデルを更新する様子を示す。本実施の形態では、最大スコア構造が正解構造と一致しないと判定された場合に、最大スコア構造に対応する各手掛かりの第１スコアから学習事例の重みだけ減算する。更に、正解構造に対応する各手掛かりの第１スコアに学習事例の重みを加算する。
【００５９】
このように減算する値と加算する値とは、学習率と呼ばれる。つまり、学習事例の重みを学習率に適用して、最大スコア構造に対応する各手掛かりの第１スコアに対する減算を行うとともに、正解構造に対応する各手掛かりの第１スコアに対する加算を行う。
【００６０】
最大スコア構造Ｙ*1１３０５に含まれるチャンク「Ｙａｍａｄａ  ｓｉｎｇｓ」とそのラベルである名詞句（ＮＰ）との組み合わせは、構造予測モデルの第６レコードの手掛かりに合致するので、第６レコードの第１スコアを減算する。このとき、図１１に示した第１学習事例の重みＷ1,1に相当する「１／３」を引くようにする。
【００６１】
更に、正解構造Ｙ1１３０７に含まれる第１チャンク「Ｙａｍａｄａ」とそのラベルの名詞句（ＮＰ）との組み合わせは、構造予測モデルの第２レコードの手掛かりに合致するので、第２レコードの第１スコアを加算する。同じく正解構造Ｙ1１３０７に含まれる第２チャンク「ｓｉｎｇｓ」とそのラベルの動詞句（ＶＰ）との組み合わせは、構造予測モデルの第５レコードの手掛かりに合致するので、第５レコードの第１スコアを加算する。このとき、いずれも、図１１に示した第１学習事例の重みＷ1,1に相当する「１／３」を加えるようにする。以上で、第１学習事例に対する１回目の構造学習を終える。
【００６２】
続いて、図１５に、第２学習事例に対する１回目の構造学習の様子を示す。この図は、第２学習事例Ｘ2の単語列１５０１に対する候補構造Ｙ群１５０３から、図１４に示した構造予測モデルに従って、最も第２スコアの大きい構造Ｙ*2１５０５を抽出する様子を示している。ここでは、チャンク「Ｔａｒｏ」とそのラベルの動詞句（ＶＰ）との組み合わせと、チャンク「ｓｉｎｇｓ」とそのラベルの動詞句（ＶＰ）との組み合わせとの列が選択される。
【００６３】
第２学習事例Ｘ2については、ここで抽出された最大スコア構造Ｙ*2１５０５は、正解構造Ｙ2１５０７と一致しないと判定される。
【００６４】
この図でも、最大スコア構造Ｙ*2１５０５に含まれるチャンクとそのラベルとの組み合わせを太い実線の枠で囲み、正解構造Ｙ2１５０７に含まれるチャンクとそのラベルとの組み合わせを太い破線の枠で囲んでいる。
【００６５】
図１６に、図１５の判定結果に基づいて、構造予測モデルを更新する様子を示す。最大スコア構造Ｙ*2１５０５に含まれるチャンク「Ｔａｒｏ」とそのラベルの動詞句（ＶＰ）との組み合わせは、構造予測モデルの第３レコードの手掛かりに合致するので、第３レコードの第１スコアを減算する。同じく最大スコア構造Ｙ*2１５０５に含まれるチャンク「ｓｉｎｇｓ」とそのラベルの動詞句（ＶＰ）との組み合わせは、構造予測モデルの第５レコードの手掛かりに合致するので、第５レコードの第１スコアを減算する。このとき、いずれも、図１１に示した第２学習事例の重みＷ1,2に相当する「１／３」を引くようにする。
【００６６】
更に、正解構造Ｙ2１５０７に含まれる第１チャンク「Ｔａｒｏ」とそのラベルの名詞句（ＮＰ）との組み合わせは、構造予測モデルの第１レコードの手掛かりに合致するので、第１レコードの第１スコアを加算する。同じく正解構造Ｙ2１５０７に含まれる第２チャンク「ｓｉｎｇｓ」とそのラベルの動詞句（ＶＰ）との組み合わせは、構造予測モデルの第５レコードの手掛かりに合致するので、第５レコードの第１スコアを加算する。このとき、いずれも、図１１に示した第１学習事例の重みＷ1,2に相当する「１／３」を加えるようにする。第５レコードの第１スコアは、減算と加算とが重なるため、結果的に値が変動しない。以上で、第２学習事例に対する１回目の構造学習を終える。
【００６７】
続いて、図１７に、第３学習事例に対する１回目の構造学習の様子を示す。この図は、第３学習事例Ｘ3の単語列１７０１に対する候補構造Ｙ群１７０３から、図１６に示した構造予測モデルに従って、最も第２スコアの大きい構造Ｙ*3１７０５を抽出する様子を示している。ここでは、チャンク「Ｔａｒｏ」とそのラベルの名詞句（ＮＰ）との組み合わせと、チャンク「Ｙａｍａｄａ」とそのラベルの名詞句（ＮＰ）との組み合わせと、チャンク「ｓｉｎｇｓ」とそのラベルの動詞句（ＶＰ）との組み合わせとの列が選択される。
【００６８】
第３学習事例Ｘ3の正解構造Ｙ3１７０７は、第１チャンク「Ｔａｒｏ  Ｙａｍａｄａ」とそのラベルの名詞句（ＮＰ）との組み合わせと、第２チャンク「ｓｉｎｇｓ」とそのラベルの動詞句（ＶＰ）との組み合わせの列であるので、ここで抽出された最大スコア構造Ｙ*3１７０５は、正解構造Ｙ3１７０７と一致しないと判定される。
【００６９】
この図でも、最大スコア構造Ｙ*3１７０５に含まれるチャンクとそのラベルとの組み合わせを太い実線の枠で囲み、正解構造Ｙ3１７０７に含まれるチャンクとそのラベルとの組み合わせを太い破線の枠で囲んでいる。
【００７０】
図１８に、図１７の判定結果に基づいて、構造予測モデルを更新する様子を示す。最大スコア構造Ｙ*3１７０５に含まれるチャンク「Ｔａｒｏ」とそのラベルである名詞句（ＮＰ）との組み合わせは、構造予測モデルの第１レコードの手掛かりに合致するので、第１レコードの第１スコアを減算する。同じく最大スコア構造Ｙ*3１７０５に含まれるチャンク「Ｙａｍａｄａ」とそのラベル名詞句（ＮＰ）との組み合わせは、構造予測モデルの第２レコードの手掛かりに合致するので、第２レコードの第１スコアを減算する。同じく最大スコア構造Ｙ*3１７０５に含まれるチャンク「ｓｉｎｇｓ」とそのラベル動詞句（ＶＰ）との組み合わせは、構造予測モデルの第５レコードの手掛かりに合致するので、第５レコードの第１スコアを減算する。このとき、いずれも、図１１に示した第３学習事例の重みＷ1,3に相当する「１／３」を引くようにする。
【００７１】
更に、正解構造Ｙ3１７０７に含まれる第１チャンク「Ｔａｒｏ  Ｙａｍａｄａ」とそのラベルの名詞句（ＮＰ）との組み合わせは、構造予測モデルの第７レコードの手掛かりに合致するので、第７レコードの第１スコアを加算する。同じく正解構造Ｙ3１７０７に含まれる第２チャンク「ｓｉｎｇｓ」とそのラベルの動詞句（ＶＰ）との組み合わせは、構造予測モデルの第５レコードの手掛かりに合致するので、第５レコードの第１スコアを加算する。このとき、いずれも、図１１に示した第１学習事例の重みＷ1,3に相当する「１／３」を加えるようにする。第５レコードの第１スコアは、減算と加算とが重なるため、結果的に値が変動しない。以上で、第３学習事例に対する１回目の構造学習を終える。
【００７２】
通常は、上述した構造学習を複数回繰り返すが、ここでは説明を簡単にするために、繰り返しは行わずに、構造学習を一旦終了する。
【００７３】
このようにして、構造予測モデルが得られると、次に構造予測モデルに対する確信度を算出する。本実施の形態では、正解構造を除く候補構造群に対する第２スコアのうち最大スコアと、正解構造に対する第２スコアである正解スコアとの差に基づいて、確信度を算出する。尚、第２スコアは、その時点における構造予測モデルに基づいて算出される。
【００７４】
図１９に、第１学習事例に対する１回目の第２スコア算出の様子を示す。この図は、第１学習事例Ｘ1の単語列１３０１に対する候補構造Ｙ群１３０３から、図１８に示した構造予測モデルに従って、最も第２スコアの大きい構造Ｙt1１９０１（正解構造Ｙ1１３０７を除く）を抽出する様子を示している。ここではチャンク「Ｙａｍａｄａ」とそのラベルの動詞句（ＶＰ）との組み合わせと、チャンク「ｓｉｎｇｓ」とそのラベルの動詞句（ＶＰ）との組み合わせとの列が選択される。
【００７５】
最も第２スコアの大きい構造Ｙt1１９０１に対する第２スコアｓ1（Ｘ1，Ｙt1）は、チャンク「Ｙａｍａｄａ」とそのラベルの動詞句（ＶＰ）との組み合わせに対するスコアと、チャンク「ｓｉｎｇｓ」とそのラベルの動詞句（ＶＰ）との組み合わせに対するスコアとの合計となる。チャンク「Ｙａｍａｄａ」とそのラベルの動詞句（ＶＰ）との組み合わせに対するスコアの算出には、図１８に示した構造予測モデルでこの組み合わせに合致する手掛かりを示す第４レコードに設定されている第１スコアを用いる。つまり、０となる。チャンク「ｓｉｎｇｓ」とそのラベルの動詞句（ＶＰ）との組み合わせに対するスコアの算出には、図１８に示した構造予測モデルでこの組み合わせに合致する手掛かりを示す第５レコードに設定されている第１スコアを用いる。つまり、１／３となる。従って、最も第２スコアの大きい構造Ｙt1１９０１に対する最大スコアｓ1（Ｘ1，Ｙt1）は、１／３となる。
【００７６】
更に、正解構造Ｙ1１３０７の第２スコアである正解スコアも算出する。正解構造Ｙ1１３０７に対する第２スコアｓ1（Ｘ1，Ｙ1）は、第１チャンク「Ｙａｍａｄａ」とそのラベルの名詞句（ＮＰ）との組み合わせに対するスコアと、第２チャンク「ｓｉｎｇｓ」とそのラベルの動詞句（ＶＰ）との組み合わせに対するスコアとの合計となる。第１チャンク「Ｙａｍａｄａ」とそのラベルの名詞句（ＮＰ）との組み合わせに対するスコアの算出には、図１８に示した構造予測モデルでこの組み合わせに合致する手掛かりを示す第２レコードに設定されている第１スコアを用いる。つまり、０となる。第２チャンク「ｓｉｎｇｓ」とそのラベルの動詞句（ＶＰ）との組み合わせに対するスコアの算出には、図１８に示した構造予測モデルでこの組み合わせに合致する手掛かりを示す第５レコードに設定されている第１スコアを用いる。つまり、１／３となる。従って、正解構造Ｙ1１３０７の第２スコアである正解スコアｓ1（Ｘ1，Ｙ1）は、１／３となる。
【００７７】
そのため、第１学習事例Ｘ1については、正解スコアと最大スコアとの差は、０となる。
【００７８】
図２０に、第２学習事例に対する１回目の第２スコア算出の様子を示す。この図は、第２学習事例Ｘ2の単語列１５０１に対する候補構造Ｙ群１５０３から、図１８に示した構造予測モデルに従って、最も第２スコアの大きい構造Ｙt2２００１（正解構造Ｙ2１５０７を除く）を抽出する様子を示している。ここではチャンク「Ｔａｒｏ」とそのラベルの動詞句（ＶＰ）との組み合わせと、チャンク「ｓｉｎｇｓ」とそのラベルの動詞句（ＶＰ）との組み合わせとの列が選択される。
【００７９】
最も第２スコアの大きい構造Ｙt2２００１に対する第２スコアｓ1（Ｘ2，Ｙt2）は、チャンク「Ｔａｒｏ」とそのラベルの動詞句（ＶＰ）との組み合わせに対するスコアと、チャンク「ｓｉｎｇｓ」とそのラベルの動詞句（ＶＰ）との組み合わせに対するスコアとの合計となる。チャンク「Ｔａｒｏ」とそのラベルの動詞句（ＶＰ）との組み合わせに対するスコアの算出には、図１８に示した構造予測モデルでこの組み合わせに合致する手掛かりを示す第３レコードに設定されている第１スコアを用いる。つまり、−１／３となる。チャンク「ｓｉｎｇｓ」とそのラベルの動詞句（ＶＰ）との組み合わせに対するスコアの算出には、図１８に示した構造予測モデルでこの組み合わせに合致する手掛かりを示す第５レコードに設定されている第１スコアを用いる。つまり、１／３となる。従って、最も第２スコアの大きい構造Ｙt2２００１に対する最大スコアｓ1（Ｘ2，Ｙt2）は、０となる。
【００８０】
更に、正解構造Ｙ2１５０７の第２スコアである正解スコアも算出する。正解構造Ｙ2１５０７に対する第２スコアｓ1（Ｘ2，Ｙ2）は、第１チャンク「Ｔａｒｏ」とそのラベルの名詞句（ＮＰ）との組み合わせに対するスコアと、第２チャンク「ｓｉｎｇｓ」とそのラベルの動詞句（ＶＰ）との組み合わせに対するスコアとの合計となる。第１チャンク「Ｔａｒｏ」とそのラベルの名詞句（ＮＰ）との組み合わせに対するスコアの算出には、図１８に示した構造予測モデルでこの組み合わせに合致する手掛かりを示す第１レコードに設定されている第１スコアを用いる。つまり、０となる。第２チャンク「ｓｉｎｇｓ」とそのラベルの動詞句（ＶＰ）との組み合わせに対するスコアの算出には、図１８に示した構造予測モデルでこの組み合わせに合致する手掛かりを示す第５レコードに設定されている第１スコアを用いる。つまり、１／３となる。従って、正解構造Ｙ2１５０７の第２スコアである正解スコアｓ1（Ｘ2，Ｙ2）は、１／３となる。
【００８１】
そのため、第２学習事例Ｘ2について、正解スコアと最大スコアとの差は、１／３となる。
【００８２】
図２１に、第３学習事例に対する１回目のスコア算出の様子を示す。この図は、第３学習事例Ｘ3の単語列１７０１に対する候補構造Ｙ群１７０３から、図１８に示した構造予測モデルに従って、最も第２スコアの大きい構造Ｙt3２１０１（正解構造Ｙ3１７０７を除く）を抽出する様子を示している。ここではチャンク「Ｔａｒｏ」とそのラベルの名詞句（ＮＰ）との組み合わせと、チャンク「Ｙａｍａｄａ」とそのラベルの名詞句（ＮＰ）との組み合わせと、チャンク「ｓｉｎｇｓ」とそのラベルの動詞句（ＶＰ）との組み合わせとの列が選択される。
【００８３】
最も第２スコアの大きい構造Ｙt3２１０１に対する第２スコアｓ1（Ｘ3，Ｙt3）は、チャンク「Ｔａｒｏ」とそのラベルの名詞句（ＮＰ）との組み合わせに対するスコアと、チャンク「Ｙａｍａｄａ」とそのラベルの名詞句（ＮＰ）との組み合わせに対するスコアと、チャンク「ｓｉｎｇｓ」とそのラベルの動詞句（ＶＰ）との組み合わせに対するスコアとの合計となる。チャンク「Ｔａｒｏ」とそのラベルの名詞句（ＮＰ）との組み合わせに対するスコアの算出には、図１８に示した構造予測モデルでこの組み合わせに合致する手掛かりを示す第１レコードに設定されている第１スコアを用いる。つまり、０となる。チャンク「Ｙａｍａｄａ」とそのラベルの名詞句（ＮＰ）との組み合わせに対するスコアの算出には、図１８に示した構造予測モデルでこの組み合わせに合致する手掛かりを示す第２レコードに設定されている第１スコアを用いる。つまり、０となる。チャンク「ｓｉｎｇｓ」とそのラベルの動詞句（ＶＰ）との組み合わせに対するスコアの算出には、図１８に示した構造予測モデルでこの組み合わせに合致する手掛かりを示す第５レコードに設定されている第１スコアを用いる。つまり、１／３となる。従って、最も第２スコアの大きい構造Ｙt3２１０１に対する最大スコアｓ1（Ｘ3，Ｙt3）は、１／３となる。
【００８４】
更に、正解構造Ｙ3１７０７の第２スコアである正解スコアも算出する。正解構造Ｙ3１７０７に対する第２スコアｓ1（Ｘ3，Ｙ3）は、第１チャンク「Ｔａｒｏ  Ｙａｍａｄａ」とそのラベルの名詞句（ＮＰ）との組み合わせに対するスコアと、第２チャンク「ｓｉｎｇｓ」とそのラベルの動詞句（ＶＰ）との組み合わせに対するスコアとの合計となる。第１チャンク「Ｔａｒｏ  Ｙａｍａｄａ」とそのラベルの名詞句（ＮＰ）との組み合わせに対するスコアの算出には、図１８に示した構造予測モデルでこの組み合わせに合致する手掛かりを示す第７レコードに設定されている第１スコアを用いる。つまり、１／３となる。第２チャンク「ｓｉｎｇｓ」とそのラベルの動詞句（ＶＰ）との組み合わせに対するスコアの算出には、図１８に示した構造予測モデルでこの組み合わせに合致する手掛かりを示す第５レコードに設定されている第１スコアを用いる。つまり、１／３となる。従って、正解構造Ｙ3１７０７の第２スコアである正解スコアｓ1（Ｘ3，Ｙ3）は、２／３となる。
【００８５】
そのため、第３学習事例Ｘ3について、正解スコアと最大スコアとの差は、１／３となる。
【００８６】
これらの差に基づいて、後述する式（４）を満たす確信度を特定する。この例では、後述する式（５）により、
Ｚ~1（α1）（~は、Ｚの上のハットを意味する。）
＝１／３ｅｘｐ（−α＊（０）））＋１／３ｅｘｐ（−α＊（１／３）））＋１／３ｅｘｐ（−α＊（１／３）））
＝１／３＋２／３ｅｘｐ（−α／３）＜１
となるα1を見つける。
【００８７】
この例では、０＜確信度α1であれば足りるので、確信度α1を１とする。従って、
Ｚ~1（１）＝０．８１１０２
となる。
【００８８】
そして、後述する式（６）により、以下の通り第２学習事例の重みを算出する。
Ｗ2,1＝Ｗ1,1ｅｘｐ（−（０））／Ｚ~1（１）
＝（１／３）／Ｚ~1（１）＝０．４１１
Ｗ2,2＝Ｗ1,2ｅｘｐ（−（１／３））／Ｚ~1（１）
＝（１／３）ｅｘｐ（−（１／３））／Ｚ~1（１）＝０．２９４４９
Ｗ2,3＝Ｗ1,3ｅｘｐ（−（１／３））／Ｚ~1（１）
＝（１／３）ｅｘｐ（−（１／３））／Ｚ~1（１）＝０．２９４４９
【００８９】
図２２に、更新された学習事例の重みの例を示す。このように、学習事例の重みを更新した上で、更に構造学習を繰り返す。
【００９０】
図２３に、第１学習事例に対する２回目の構造学習の様子を示す。２回目の構造学習において、構造予測モデルは初期化され、図１２の状態に戻る。この図は、第１学習事例Ｘ1の単語列１３０１に対する候補構造Ｙ群１３０３から、図１２に示した構造予測モデルに従って、最も第２スコアの大きい構造Ｙ*1２３０１を抽出する様子を示している。ここでは、チャンク「Ｙａｍａｄａ  ｓｉｎｇｓ」とそのラベルの名詞句（ＮＰ）との組み合わせが選択される。
【００９１】
第１学習事例Ｘ1の正解構造Ｙ1１３０７は、第１チャンク「Ｙａｍａｄａ」とそのラベルの名詞句（ＮＰ）との組み合わせと、第２チャンク「ｓｉｎｇｓ」とそのラベルの動詞句（ＶＰ）との組み合わせの列であるので、ここで抽出された最大スコア構造Ｙ*1２３０１は、正解構造Ｙ1１３０７と一致しないと判定される。
【００９２】
この図でも、最大スコア構造Ｙ*1２３０１に含まれるチャンクとそのラベルとの組み合わせを太い実線の枠で囲み、正解構造Ｙ1１３０７に含まれるチャンクとそのラベルとの組み合わせを太い破線の枠で囲んでいる。
【００９３】
図２４に、図２３の判定結果に基づいて、構造予測モデルを更新する様子を示す。最大スコア構造Ｙ*1２３０１に含まれるチャンク「Ｙａｍａｄａ  ｓｉｎｇｓ」とそのラベルの名詞句（ＮＰ）との組み合わせは、構造予測モデルの第６レコードの手掛かりに合致するので、第６レコードの第１スコアを減算する。このとき、図２２に示した第１学習事例の重みＷ2,1に相当する「０．４１１」を引くようにする。１回目に比べて、重みが増している。
【００９４】
更に、正解構造Ｙ1１３０７に含まれる第１チャンク「Ｙａｍａｄａ」とそのラベルの名詞句（ＮＰ）との組み合わせは、構造予測モデルの第２レコードの手掛かりに合致するので、第２レコードの第１スコアを加算する。同じく正解構造Ｙ1１３０７に含まれる第２チャンク「ｓｉｎｇｓ」とそのラベルの動詞句（ＶＰ）との組み合わせは、構造予測モデルの第５レコードの手掛かりに合致するので、第５レコードの第１スコアを加算する。このとき、いずれも、図２２に示した第１学習事例の重みＷ2,1に相当する「０．４１１」を加えるようにする。１回目に比べて、重みが増している。以上で、第１学習事例に対する２回目の構造学習を終える。
【００９５】
続いて、図２５に、第２学習事例に対する２回目の構造学習の様子を示す。この図は、第２学習事例Ｘ2の単語列１５０１に対する候補構造Ｙ群１５０３から、図２４に示した構造予測モデルに従って、最も第２スコアの大きい構造Ｙ*2２５０１を抽出する様子を示している。ここでは、チャンク「Ｔａｒｏ」とそのラベルの動詞句（ＶＰ）との組み合わせと、チャンク「ｓｉｎｇｓ」とそのラベルの動詞句（ＶＰ）との組み合わせとの列が選択される。
【００９６】
第２学習事例Ｘ2の正解構造Ｙ2１５０７は、第１チャンク「Ｔａｒｏ」とそのラベルの名詞句（ＮＰ）との組み合わせと、第２チャンク「ｓｉｎｇｓ」とそのラベルの動詞句（ＶＰ）との組み合わせの列であるので、ここで抽出された最大スコア構造Ｙ*2２５０１は、正解構造Ｙ2１５０７と一致しないと判定される。
【００９７】
この図でも、最大スコア構造Ｙ*2２５０１に含まれるチャンクとそのラベルとの組み合わせを太い実線の枠で囲み、正解構造Ｙ2１５０７に含まれるチャンクとそのラベルとの組み合わせを太い破線の枠で囲んでいる。
【００９８】
図２６に、図２５の判定結果に基づいて、構造予測モデルを更新する様子を示す。最大スコア構造Ｙ*2２５０１に含まれるチャンク「Ｔａｒｏ」とそのラベルの動詞句（ＶＰ）との組み合わせは、構造予測モデルの第３レコードの手掛かりに合致するので、第３レコードの第１スコアを減算する。同じく最大スコア構造Ｙ*2２５０１に含まれるチャンク「ｓｉｎｇｓ」とそのラベルの動詞句（ＶＰ）との組み合わせは、構造予測モデルの第５レコードの手掛かりに合致するので、第５レコードの第１スコアを減算する。このとき、いずれも、図２２に示した第２学習事例の重みＷ2,2に相当する「０．２９４４９」を引くようにする。１回目に比べて、重みが減っている。
【００９９】
更に、正解構造Ｙ2１５０７に含まれる第１チャンク「Ｔａｒｏ」とそのラベルの名詞句（ＮＰ）との組み合わせは、構造予測モデルの第１レコードの手掛かりに合致するので、第１レコードの第１スコアを加算する。同じく正解構造Ｙ2１５０７に含まれる第２チャンク「ｓｉｎｇｓ」とそのラベルの動詞句（ＶＰ）との組み合わせは、構造予測モデルの第５レコードの手掛かりに合致するので、第５レコードの第１スコアを加算する。このとき、いずれも、図２２に示した第２学習事例の重みＷ2,2に相当する「０．２９４４９」を加えるようにする。１回目に比べて、重みが減っている。第５レコードの第１スコアは、減算と加算とが重なるため、結果的に値が変動しない。以上で、第２学習事例に対する２回目の構造学習を終える。
【０１００】
続いて、図２７に、第３学習事例に対する２回目の構造学習の様子を示す。この図は、第３学習事例Ｘ3の単語列１７０１に対する候補構造Ｙ群１７０３から、図２６に示した構造予測モデルに従って、最も第２スコアの大きい構造Ｙ*3２７０１を抽出する様子を示している。ここでは、チャンク「Ｔａｒｏ」とそのラベルの名詞句（ＮＰ）との組み合わせと、チャンク「Ｙａｍａｄａ」とそのラベルの名詞句（ＮＰ）との組み合わせと、チャンク「ｓｉｎｇｓ」とそのラベルの動詞句（ＶＰ）との組み合わせとの列が選択される。
【０１０１】
第３学習事例Ｘ3の正解構造Ｙ3１７０７は、第１チャンク「Ｔａｒｏ  Ｙａｍａｄａ」とそのラベルの名詞句（ＮＰ）との組み合わせと、第２チャンク「ｓｉｎｇｓ」とそのラベルの動詞句（ＶＰ）との組み合わせの列であるので、ここで抽出された最大スコア構造Ｙ*3２７０１は、正解構造Ｙ3１７０７と一致しないと判定される。
【０１０２】
この図でも、最大スコア構造Ｙ*3２７０１に含まれるチャンクとそのラベルとの組み合わせを太い実線の枠で囲み、正解構造Ｙ3１７０７に含まれるチャンクとそのラベルとの組み合わせを太い破線の枠で囲んでいる。
【０１０３】
図２８に、図２７の判定結果に基づいて、構造予測モデルを更新する様子を示す。最大スコア構造Ｙ*3２７０１に含まれるチャンク「Ｔａｒｏ」とそのラベルの名詞句（ＮＰ）との組み合わせは、構造予測モデルの第１レコードの手掛かりに合致するので、第１レコードの第１スコアを減算する。同じく最大スコア構造Ｙ*3２７０１に含まれるチャンク「Ｙａｍａｄａ」とそのラベルの名詞句（ＮＰ）との組み合わせは、構造予測モデルの第２レコードの手掛かりに合致するので、第２レコードの第１スコアを減算する。同じく最大スコア構造Ｙ*3２７０１に含まれるチャンク「ｓｉｎｇｓ」とそのラベルの動詞句（ＶＰ）との組み合わせは、構造予測モデルの第５レコードの手掛かりに合致するので、第５レコードの第１スコアを減算する。このとき、いずれも、図２２に示した第３学習事例の重みＷ2,3に相当する「０．２９４４９」を引くようにする。１回目に比べて、重みが減っている。
【０１０４】
更に、正解構造Ｙ3１７０７に含まれる第１チャンク「Ｔａｒｏ  Ｙａｍａｄａ」とそのラベルの名詞句（ＮＰ）との組み合わせは、構造予測モデルの第７レコードの手掛かりに合致するので、第７レコードの第１スコアを加算する。同じく正解構造Ｙ3１７０７に含まれる第２チャンク「ｓｉｎｇｓ」とそのラベルの動詞句（ＶＰ）との組み合わせは、構造予測モデルの第５レコードの手掛かりに合致するので、第５レコードの第１スコアを加算する。このとき、いずれも、図２２に示した第３学習事例の重みＷ2,3に相当する「０．２９４４９」を加えるようにする。１回目に比べて、重みが減っている。第５レコードの第１スコアは、減算と加算とが重なるため、結果的に値が変動しない。以上で、第３学習事例に対する２回目の構造学習を終える。
【０１０５】
そして、２回目の構造予測モデルについても確信度を算出する。図２８に示した２回目の構造予測モデルは、図１８に示した１回目の構造予測モデルよりも構造を予測する精度が向上している。
【０１０６】
例えば、チャンク「Ｔａｒｏ」とそのラベルの名詞句（ＮＰ）との組み合わせに合致する手掛りに対応する第１レコードの第１スコア「０」は、チャンク「Ｔａｒｏ」とそのラベルの動詞句（ＶＰ）との組み合わせに合致する手掛りに対応する第３レコードの第１スコア「−０．２９４４９」よりも大きい。従って、チャンク「Ｔａｒｏ」について、正しいラベルである名詞句（ＮＰ）を導くようになっている。
【０１０７】
例えば、チャンク「Ｙａｍａｄａ」とそのラベルの名詞句（ＮＰ）との組み合わせに合致する手掛りに対応する第２レコードの第１スコア「０．１１６５１」は、チャンク「Ｙａｍａｄａ」とそのラベルの動詞句（ＶＰ）との組み合わせに合致する手掛りに対応する第４レコードの第１スコア「０」よりも大きい。従って、チャンク「Ｙａｍａｄａ」についても、正しいラベルである名詞句（ＮＰ）を導くようになっている。
【０１０８】
例えば、チャンク「Ｔａｒｏ  Ｙａｍａｄａ」とそのラベルの名詞句（ＮＰ）との組み合わせに合致する手掛りに対応する第７レコードの第１スコア「０．２９４４９」は、チャンク「Ｔａｒｏ」とそのラベルの名詞句（ＮＰ）との組み合わせに合致する手掛りに対応する第１レコードの第１スコア「０」と、チャンク「Ｙａｍａｄａ」とそのラベルの名詞句（ＮＰ）との組み合わせとの列に合致する手掛りに対応する第２レコードの第１スコア「０．１１６５１」との合計「０．１１６５１」よりも大きい。従って、チャンク「Ｔａｒｏ  Ｙａｍａｄａ」とそのラベルの名詞句（ＮＰ）との組み合わせを正しく導くようになっている。
【０１０９】
尚、後述するように、それぞれの構造予測モデルに基づいて、結合モデルを求める。以上で、処理の概要についての説明を終える。
【０１１０】
以下、具体的なシステムの構成及び動作について説明する。図２９に、モデル学習装置の機能ブロックを示す。本システムは、学習データなどの入力を行うための学習データ入力部１０１と、学習データ入力部１０１によって入力された学習データなどを格納する学習データ格納部１０３と、学習データ格納部１０３に格納されているデータを用いて本実施の形態における主要な処理を実施するモデル学習部１０５とを有する。
【０１１１】
更に、本システムは、モデル学習部１０５で算出する第２スコアの差データを格納する差データ格納部１０６と、モデル学習部１０５で算出する重みデータを格納する重みデータ格納部１０７と、モデル学習部１０５で算出する確信度データを格納する確信度格納部１０８と、モデル学習部１０５の処理結果であるモデルデータ（例えば、構造予測モデル及び統合モデル）を格納するモデルデータ格納部１０９とを有する。
【０１１２】
更に、本システムは、生成されたモデルを適用して分類を行う対象である分類データを入力するための分類データ入力部１１１と、分類データ入力部１１１によって入力された分類データを格納する分類データ格納部１１３と、モデルデータ格納部１０９に格納されているモデルデータを、分類データ格納部１１３に格納されている処理対象データに適用して、分類を行うモデル適用部１１５と、モデル適用部１１５の処理結果を格納する処理結果格納部１１７とを有する。
【０１１３】
図３０に、モデル学習部１０５の構成を示す。モデル学習部１０５は、ブースティング部２０１と構造学習部２０３とを有する。ブースティング部２０１は、ブースティング処理を行う。構造学習部２０３は、構造学習処理を行う。
【０１１４】
ブースティング部２０１は、初期化部２０５、確信度算出部２０７、結合モデル更新部２０９及び重み更新部２１１を有する。初期化部２０５は、データの初期化を行う。確信度算出部２０７は、構造予測モデルに対する確信度を算出する。結合モデル更新部２０９は、結合モデルを更新する。重み更新部２１１は、学習事例の重みを更新する。
【０１１５】
学習データ格納部１０３、差データ格納部１０６、重みデータ格納部１０７、確信度格納部１０８、モデルデータ格納部１０９、分類データ格納部１１３及び処理結果格納部１１７は、例えば後述する図３６に示されたメモリ２５０１、ＨＤＤ（Hard Disk Drive）２５０５あるいはドライブ装置２５１３を用いる。
【０１１６】
学習データ入力部１０１、モデル学習部１０５、分類データ入力部１１１、モデル適用部１１５、ブースティング部２０１、構造学習部２０３、初期化部２０５、確信度算出部２０７、結合モデル更新部２０９及び重み更新部２１１は、その処理の一部又は全部を、例えば後述する図３６に示されたメモリ２５０１に格納されたプログラムに含まれる命令をＣＰＵ（Central Processing Unit）２５０３で読み込み、実行することによって実現されるようにしてもよい。
【０１１７】
次に、図３１乃至図３５を用いて、本実施の形態におけるモデル学習部１０５等の処理内容について説明する。
【０１１８】
図３１に、本発明のメイン処理フローを示す。まず、学習データ入力部１０１は、例えばユーザからの指示に従って、学習データＳ＝｛（Ｘ1，Ｙ1），．．．，（Ｘn，Ｙn）｝と、ブースティング繰り返し数Ｔとについての入力を受け付ける（Ｓ１０１）。
【０１１９】
学習データ入力部１０１は、例えば、図９に示した学習事例と、図１０に示した正解構造とを受け付ける。ブースティング繰り返し数Ｔは、ブースティングにおける繰り返しの回数である。
【０１２０】
モデル学習部１０５は、モデルデータ格納部１０９に初期の結合モデルＭ0を設定する（Ｓ１０３）。具体的には、ブースティング部２０１の初期化部２０５がこの処理を行う。図３２に、初期状態における結合モデルの例を示す。初期化部２０５は、各手掛かりに対する第１スコアに０を設定する。
【０１２１】
モデル学習部１０５は、重みデータ格納部１０７に格納されている学習事例の重み（ｗ1,1，．．．ｗ1,n）を初期化する（Ｓ１０５）。具体的には、ブースティング部２０１の初期化部２０５がこの処理を行う。各重みに、等しく１／ｎの値が設定される。
【０１２２】
モデル学習部１０５のブースティング部２０１は、パラメータｔを１に初期化する（Ｓ１０７）。
【０１２３】
モデル学習部１０５は、構造学習処理を実施する（Ｓ１０９）。具体的には、構造学習部２０３がこの処理を行う。
【０１２４】
図３３に、構造学習処理フローを示す。構造学習部２０３は、以下の式に示すように、学習事例の重み（ｗt,1，．．．ｗt,n）を学習事例の学習率（ε1，．．．εn）にセットする（Ｓ２０１）。学習事例の学習率（ε1，．．．εn）は、構造学習処理における内部パラメータである。
【数９】
2015011535.tif 000011
ここでは、非特許文献４に示した手法を利用する場合の例を示しているが、非特許文献５に示した手法を利用する場合にも、同様に学習事例の重みを学習事例の学習率にセットするようにしてもよい。
【０１２５】
構造学習部２０３は、モデルデータ格納部１０９に格納されている構造予測モデルｍを初期化する（Ｓ２０３）。このとき、構造学習部２０３は、モデルデータ格納部１０９に格納されている構造予測モデルｍに含まれる各スコアを０にする。これにより、構造予測モデルｍは、図１２に示した状態となる。
【０１２６】
構造学習部２０３は、パラメータｐを１に初期化する（Ｓ２０５）。
【０１２７】
構造学習部２０３は、パラメータｉを１に初期化する（Ｓ２０７）。
【０１２８】
構造学習部２０３は、以下の式に従って、学習事例Ｘiについての候補構造Ｙ群のうち、最大スコアを得る構造Ｙ*iを特定する（Ｓ２０９）。以下で説明する構造は、例えば前述したチャンクとラベルとの組み合わせの列に相当する。
【数１０】
2015011535.tif 000012
【０１２９】
Φ（Ｘ，Ｙ）は、学習事例Ｘの単語列 と構造Ｙとを、Ｄ次元ベクトルへマッピングする関数であり、以下の式のように定義される。
【数１１】
2015011535.tif 000013
【０１３０】
Ｄは、構造予測モデルｍにおける手掛かりの数に相当する。｜Ｙ｜は、構造Ｙに含まれるチャンクの数である。Ｙ（j）は、構造Ｙに含まれるj番目のチャンクとそのラベルｌ（Ｙ（j））との組み合わせである。
【０１３１】
また、φd（Ｘ，Ｙ（j））は、学習事例である単語列Ｘと組み合わせＹ（j）を受け取り、Ｄ次元のベクトルを返す関数である。単語列Ｘと組み合わせＹ（j）とが、ｄ番目の手掛かりに相当する素性を満たす場合には、ｄ次元目の値に１が設定され、他の値に０が設定されたベクトルが返される。単語列Ｘと組み合わせＹ（j）とが、ｄ番目の手掛かりに相当する素性を満たさない場合には、ｄ次元目の値に０が設定され、更に他の値にも０が設定されたベクトルが返される。
【０１３２】
素性には、例えば「Ｙ（j）のチャンクが『Ｍｒ．』であり、且つそのラベルが名詞句である」、「Ｙ（j）のチャンクにおける先頭の単語の前に出現する単語が『Ｍｒ．』であり、且つそのチャンクのラベルｌ（Ｙ（j））が動詞句である」、あるいは「Ｙ（j）のチャンクにおける最後の単語の後に出現する単語が『ｉｎ』であり、且つそのチャンクのラベルｌ（Ｙ（j））が名詞句である」のようなものを用いてもよい。
【０１３３】
繰り返しによって、構造予測モデルｍは随時更新されるが、構造学習部２０３は、Ｓ２０９の処理時点における構造予測モデルｍを用いる。ｗφd（Ｘ，Ｙ）は、学習事例Ｘと構造Ｙの組み合わせに与えられるスコアである。
【０１３４】
最大スコア構造Ｙ*iが、正解構造Ｙiと異なる場合には、以下の式に従って、構造予測モデルｍは更新される。
【数１２】
2015011535.tif 000014
【０１３５】
そのため、構造学習部２０３は、最大スコア構造Ｙ*iは正解構造Ｙiと一致するか否かを判定する。（Ｓ２１１）。最大スコア構造Ｙ*iは正解構造Ｙiと一致すると判定した場合には、そのままＳ２１５の処理へ移る。
【０１３６】
他方、最大スコア構造Ｙ*iは正解構造Ｙiと一致しないと判定した場合には、構造学習部２０３は、構造予測モデル更新処理を実施する（Ｓ２１３）。
【０１３７】
図３４に、構造予測モデル更新処理フローを示す。構造学習部２０３は、最大スコア構造Ｙ*iに対応する各手掛かりの第１スコアを、学習率εiに従って減算する（Ｓ３０１）。構造学習部２０３は、図１４、図１６、図１８、図２４、図２６及び図２８における太い実線枠の例のように、最大スコア構造Ｙ*iに含まれる各チャンクとそのラベルの組み合わせと合致する各手掛かりを特定し、その手掛かりの第１スコアに学習率εiの値を減算する。
【０１３８】
更に、構造学習部２０３は、正解構造Ｙiに対応する各手掛かりの第１スコアを、学習率εiに従って加算する（Ｓ３０３）。構造学習部２０３は、図１４、図１６、図１８、図２４、図２６及び図２８における太い破線枠の例のように、正解構造Ｙiに含まれる各チャンクとそのラベルの組み合わせと合致する各手掛かりを特定し、その手掛かりの第１スコアに学習率εiの値を加算する。そして、図３３のＳ２１５の処理に戻る。
【０１３９】
図３３の処理に戻って、構造学習部２０３は、パラメータｉに１を加え（Ｓ２１５）、パラメータｉが学習事例の数ｎを越えたか否かを判定する（Ｓ２１７）。パラメータｉが学習事例の数ｎを越えていないと判定した場合には、Ｓ２０９に戻って一連の処理を繰り返す。パラメータｉが学習事例の数ｎを越えたと判定した場合には、Ｓ２１９に移って、構造学習部２０３は、パラメータｐに１を加え（Ｓ２１９）、パラメータｐが構造学習の繰り返し数Ｐを越えたか否かを判定する（Ｓ２１７）。パラメータｐが構造学習の繰り返し数Ｐを越えていないと判定した場合には、Ｓ２０７に戻って一連の処理を繰り返す。パラメータｐが構造学習の繰り返し数Ｐを越えたと判定した場合には、構造学習処理を終え、図３１のＳ１１１に戻る。
【０１４０】
図３１の説明に戻る。モデル学習部１０５は、確信度算出処理を実施する（Ｓ１１１）。具体的には、ブースティング部２０１の確信度算出部２０７がこの処理を行う。
【０１４１】
図３５に、確信度算出処理フローを示す。確信度算出部２０７は、パラメータｉに１を設定する（Ｓ４０１）。パラメータｉは、Ｓ４０３からＳ４０７までのルーチンを計数し、学習事例を特定する。
【０１４２】
確信度算出部２０７は、候補構造Ｙ群のうち、正解構造Ｙiを除き最大スコアを得る構造Ｙtiを特定する（Ｓ４０３）。最大スコアを得る構造Ｙtiを特定するための式を、以下に示す。
【数１３】
2015011535.tif 000015
【０１４３】
上記のｓt（Ｘi，Ｙ）は、以下の式に示すように、ｔ番目のブースティングラウンドにおける学習事例Ｘiに対する構造Ｙのスコアを意味する。
【数１４】
2015011535.tif 000016
【０１４４】
ｍtは、ｔ番目のブースティングラウンドにおける構造予測モデルである。
【０１４５】
上述の通り正解構造Ｙiは除かれるので、候補構造Ｙ群のスコアうち、正解構造Ｙiのスコアが最も大きい場合には、２番目に大きいスコアを得た構造をＹtiとする。このとき、例えばforward-DP backward-A* N-best search algorithm（非特許文献２） の技術を用いるようにしてもよい。
【０１４６】
確信度算出部２０７は、以下の式に従って、正解構造Yiに対する第２スコアから最大スコア構造Ｙtiに対する第２スコアを引いて差ｄt（Ｘi）を求める（Ｓ４０５）。確信度算出部２０７は、求めた差を差データ格納部１０６に格納する。
【数１５】
2015011535.tif 000017
【０１４７】
この差を用いることによって、誤ってチャンキングされた学習事例、あるいは誤ってラベル付けされた学習事例に対する重みが高くなるように調整される。
【０１４８】
確信度算出部２０７は、パラメータｉに１を加え（Ｓ４０７）、パラメータｉが学習事例の数ｎを越えたか否かを判定する（Ｓ４０９）。パラメータｉが学習事例の数ｎを越えていないと判定した場合には、Ｓ４０３へ戻り一連の処理を繰り返す。
【０１４９】
パラメータｉが学習事例の数ｎを越えたと判定した場合には、確信度算出部２０７は、学習モデルＭtに対する確信度αtを算出する。具体的には、確信度算出部２０７は、差データ格納部１０６に格納されている各学習事例における差に基づき、以下の式で示される収束条件を満たす確信度αtを特定する（Ｓ４１１）。
【数１６】
2015011535.tif 000018
【０１５０】
このとき、
【数１７】
2015011535.tif 000019
である。
【０１５１】
この式によれば、構造学習処理（Ｓ１０９）によって各学習事例に与えられる実数値であるスコアを指数として扱うことになる。従って、収束条件を満たす確信度αtを解析的に計算することは、難しい場合もある。
【０１５２】
確信度αtを計算する方法として、Ｂｉｓｅｃｔｉｏｎ  Ｓｅａｒｃｈを利用するようにしてもよい。｛−１，＋１｝の二値を予測する弱仮説ｈtを用いた場合の確信度の計算（ＡｄａＢｏｏｓｔ：非特許文献１）に合わせるために、本実施の形態では、弱仮説ｈtをｓｉｇｎ（ｄt（Ｘi））と定義する。そして、式(２)におけるＺt（αt）を最小化するときの値αtを求め、それを確信度とする。そのため、以下の式に示すように、Ｚtに対するαtによる微分を行う。
【数１８】
2015011535.tif 000020
【０１５３】
そして、上記式が０となる条件を解くことで、以下の式に示すように確信度を求める。
【数１９】
2015011535.tif 000021
【０１５４】
最後に、以下の範囲で、式（５）を最小化する値をＢｉｓｅｃｔｉｏｎ  Ｓｅａｒｃｈによって選択し、それを確信度とする。
【数２０】
2015011535.tif 000022
【０１５５】
このように探索の範囲を広くすることによって、より正確な確信度が得られると期待される。確信度算出部２０７は、算出した確信度を確信度格納部１０８に格納する。以上で、確信度算出処理についての説明を終える。
【０１５６】
図３１の説明に戻る。モデル学習部１０５は、モデルデータ格納部１０９に格納されている構造予測モデルに基づき、モデルデータ格納部１０９に格納されている結合モデルを更新する（Ｓ１１３）。具体的には、ブースティング部２０１の結合モデル更新部２０９が、以下の式に従って、前回のブースティングラウンドｔ−１における結合モデルＭt-1、今回のブースティングラウンドｔで求めた構造予測モデルｍt及び確信度αtに基づいて、今回のブースティングラウンドｔにおける結合モデルＭtを算出する。このとき、結合モデル更新部２０９は、確信度格納部１０８から確信度αtを読み取る。
【数２１】
2015011535.tif 000023
【０１５７】
続いて、モデル学習部１０５は、重みデータ格納部１０７に格納されている学習事例の重みを更新する（Ｓ１１５）。具体的には、ブースティング部２０１の重み更新部２１１が、以下の式に従って、今回のブースティングラウンドｔにおける学習事例の重み（ｗt,1，．．．ｗt,n）から、次回のブースティングラウンドｔにおける学習事例の重み（ｗt+1,1，．．．ｗt+1,n）を求める。
【数２２】
2015011535.tif 000024
【０１５８】
正解構造Ｙiのスコアｓt（Ｘi，Ｙi) が、最大スコアｓt（Ｘi，Ｙti）より大きい場合、つまり０＜ｄt（Ｘi）の場合には、正しく解析されたことを意味する。従って、次回に用いる学習事例の重みを減少させる。
【０１５９】
他方、正解構造Ｙiのスコアｓt（Ｘi，Ｙi) が、最大スコアｓt（Ｘi，Ｙti）より小さい場合、つまり０＞ｄt（Ｘi）の場合には、正しく解析されなかったことを意味する。従って、次回に用いる学習事例の重みを増加させる。
【０１６０】
モデル学習部１０５のブースティング部２０１は、パラメータｔを１インクリメントする（Ｓ１１７）。
【０１６１】
続いて、モデル学習部１０５のブースティング部２０１は、パラメータｔがブースティング繰り返し数Ｔを越えたか否かを判定する（Ｓ１１９）。パラメータｔがブースティング繰り返し数Ｔを越えていないと判定した場合には、Ｓ１０９に戻って一連の処理を繰り返す。パラメータｔがブースティング繰り返し数Ｔを越えたと判定した場合には、図３１の処理を終了する。
【０１６２】
最後に、モデル適用部１１５におけるモデル適用処理について説明する。モデル適用部１１５は、従来の構造学習におけるマッピングを実施する。モデル適用部１１５の処理内容は、モデルデータ格納部１０９に格納されるモデルデータ（この例では、結合データ）と、分類データ入力部１１１によって入力され分類データ格納部１１３に格納されている分類データ（この例では、単語列）とを用いて、従来通りに実行される。この例では、以下の式に従って、分類データの単語列Ｘにおける候補構造Ｙ群のうち、最終の結合モデルＭTに基づいて算出したスコアが最大となる構造Ｙ*を特定する。
【数２３】
2015011535.tif 000025
【０１６３】
そして、処理結果（この例では、構造Ｙ*）が、処理結果格納部１１７に格納される。
【０１６４】
［付録］
本実施の形態に係る学習方法は、各ブースティングラウンドｔで、０＜αtを満たし、且つ式（４）を満たす確信度αtを計算できれば、本発明の前提と同様に収束することを示す。
【０１６５】
本実施の形態に係る学習方法では、以下に示す学習エラーの上限値が得られることを証明する。
【数２４】
2015011535.tif 000026
【０１６６】
尚、
【数２５】
2015011535.tif 000027
である。
【０１６７】
まず、式（６） を展開することにより、次の式が得られる。
【数２６】
2015011535.tif 000028
【０１６８】
従って、Ｙ*i≠Ｙiの場合には、
【数２７】
2015011535.tif 000029
となる。
【０１６９】
これは、１からＴまでの範囲のｔに対して、以下の式を満たすからである。
【数２８】
2015011535.tif 000030
【０１７０】
更に、Ｙ*i≠Ｙiの場合には、次の式が満たされる。
【数２９】
2015011535.tif 000031
【０１７１】
よって、
【数３０】
2015011535.tif 000032
となる。
【０１７２】
これらの結果から、以下に示すように、上述した学習エラーの上限値が得られる。
【数３１】
2015011535.tif 000033
【０１７３】
以上のように、従来のブースティング手法と同様、本実施の形態も収束性を備える。
【０１７４】
以上本発明の一実施の形態を説明したが、本発明はこれに限定されるものではない。例えば、上述の機能ブロック構成は実際のプログラムモジュール構成に一致しない場合もある。
【０１７５】
また、上で説明した各記憶領域の構成は一例であって、上記のような構成でなければならないわけではない。さらに、処理フローにおいても、処理結果が変わらなければ処理の順番を入れ替えることも可能である。さらに、並列に実行させるようにしても良い。
【０１７６】
なお、上で述べたモデル学習装置は、コンピュータ装置であって、図３６に示すように、メモリ２５０１とＣＰＵ（Central Processing Unit）２５０３とハードディスク・ドライブ（ＨＤＤ：Hard Disk Drive）２５０５と表示装置２５０９に接続される表示制御部２５０７とリムーバブル・ディスク２５１１用のドライブ装置２５１３と入力装置２５１５とネットワークに接続するための通信制御部２５１７とがバス２５１９で接続されている。オペレーティング・システム（ＯＳ：Operating System）及び本実施例における処理を実施するためのアプリケーション・プログラムは、ＨＤＤ２５０５に格納されており、ＣＰＵ２５０３により実行される際にはＨＤＤ２５０５からメモリ２５０１に読み出される。ＣＰＵ２５０３は、アプリケーション・プログラムの処理内容に応じて表示制御部２５０７、通信制御部２５１７、ドライブ装置２５１３を制御して、所定の動作を行わせる。また、処理途中のデータについては、主としてメモリ２５０１に格納されるが、ＨＤＤ２５０５に格納されるようにしてもよい。本発明の実施例では、上で述べた処理を実施するためのアプリケーション・プログラムはコンピュータ読み取り可能なリムーバブル・ディスク２５１１に格納されて頒布され、ドライブ装置２５１３からＨＤＤ２５０５にインストールされる。インターネットなどのネットワーク及び通信制御部２５１７を経由して、ＨＤＤ２５０５にインストールされる場合もある。このようなコンピュータ装置は、上で述べたＣＰＵ２５０３、メモリ２５０１などのハードウエアとＯＳ及びアプリケーション・プログラムなどのプログラムとが有機的に協働することにより、上で述べたような各種機能を実現する。
【０１７７】
以上述べた本発明の実施の形態をまとめると、以下のようになる。
【０１７８】
本実施の形態に係るモデル学習方法は、（Ａ）各学習事例の重みに基づいて、重みに対応する各学習事例から夫々の正解構造を抽出する際の手掛かりとなる素性の各々に対応する第１スコアを更新することによって、当該第１スコアの各々により規定されるモデルを算出する第１ステップと、（Ｂ）各学習事例について、当該学習事例から導かれる複数の候補構造のうち正解構造以外の候補構造の各々に対して、モデルにより付与される第２スコアのうち最大スコアを特定し、当該学習事例の正解構造に対してモデルにより付与される第２スコアと最大スコアとの差を求めると共に、各学習事例における当該差により定義されるエラーの上限値に基づいて、モデルの確信度を算出する第２ステップと、（Ｃ）確信度と各学習事例における上記差とに基づいて、各学習事例の重みを更新する第３ステップと、（Ｄ）第１ステップと、第２ステップと、第３ステップとを繰り返すステップとを含む。
【０１７９】
このようにすれば、構造学習で得られたモデルの確信度を正解構造の第２スコアと他の候補構造の最大スコアとの差で表すことによって、次の構造学習に用いる学習事例の重みを更新できるようになる。更に、エラーの上限値に基づいて構造学習におけるトレーニングエラーを収束させることができる。例えば、学習事例の重みに基づくブースティング手法を構造学習に適用して、構造学習の精度を高めることができる。
【０１８０】
更に、上記第１ステップにおいて、重みデータ格納部に格納されている各学習事例の重みの各々を、学習事例の学習率に設定して、上記第１スコアを更新するようにしてもよい。
【０１８１】
このようにすれば、学習事例の重みを直接的に構造学習によるモデルに反映できる。
【０１８２】
なお、上記方法による処理をコンピュータに行わせるためのプログラムを作成することができ、当該プログラムは、例えばフレキシブルディスク、ＣＤ−ＲＯＭ、光磁気ディスク、半導体メモリ、ハードディスク等のコンピュータ読み取り可能な記憶媒体又は記憶装置に格納されるようにしてもよい。尚、中間的な処理結果は、一般的にメインメモリ等の記憶装置に一時保管される。
【０１８３】
以上の実施例を含む実施形態に関し、さらに以下の付記を開示する。
【０１８４】
（付記１）
コンピュータが、
各学習事例の重みに基づいて、前記重みに対応する各学習事例から夫々の正解構造を抽出する際の手掛かりとなる素性の各々に対応する第１スコアを更新することによって、当該第１スコアの各々により規定されるモデルを算出する第１ステップと、
前記各学習事例について、当該学習事例から導かれる複数の候補構造のうち前記正解構造以外の前記候補構造の各々に対して、前記モデルにより付与される第２スコアのうち最大スコアを特定し、当該学習事例の前記正解構造に対して前記モデルにより付与される第２スコアと前記最大スコアとの差を求めると共に、前記各学習事例における前記差により定義されるエラーの上限値に基づいて、前記モデルの確信度を算出する第２ステップと、
前記確信度と前記各学習事例における前記差とに基づいて、前記各学習事例の前記重みを更新する第３ステップと、
前記第１ステップと、前記第２ステップと、前記第３ステップとを繰り返すステップと、
を実行するモデル学習方法。
【０１８５】
（付記２）
前記第１ステップにおいて、前記各学習事例の前記重みの各々を、当該学習事例の学習率に設定して、前記第１スコアを更新する
付記１記載のモデル学習方法。
【０１８６】
（付記３）
各学習事例の重みに基づいて、前記重みに対応する各学習事例から夫々の正解構造を抽出する際の手掛かりとなる素性の各々に対応する第１スコアを更新することによって、当該第１スコアの各々により規定されるモデルを算出する第１ステップと、
前記各学習事例について、当該学習事例から導かれる複数の候補構造のうち前記正解構造以外の前記候補構造の各々に対して、前記モデルにより付与される第２スコアのうち最大スコアを特定し、当該学習事例の前記正解構造に対して前記モデルにより付与される第２スコアと前記最大スコアとの差を求めると共に、前記各学習事例における前記差により定義されるエラーの上限値に基づいて、前記モデルの確信度を算出する第２ステップと、
前記確信度と前記各学習事例における前記差とに基づいて、前記各学習事例の前記重みを更新する第３ステップと、
前記第１ステップと、前記第２ステップと、前記第３ステップとを繰り返すステップと、
を含み、コンピュータに実行させるためのモデル学習プログラム。
【０１８７】
（付記４）
重みデータ格納部に格納されている各学習事例の重みに基づいて、学習データ格納部に格納されている前記重みに対応する各学習事例から夫々の正解構造を抽出する際の手掛かりとなる素性の各々に対応する第１スコアを更新することによって、当該第１スコアの各々により規定されるモデルを算出し、当該モデルをモデルデータ格納部に格納する第１算出手段と、
前記学習データ格納部に格納されている前記各学習事例について、当該学習事例から導かれる複数の候補構造のうち前記正解構造以外の前記候補構造の各々に対して、前記モデルデータ格納部に格納されている前記モデルにより付与される第２スコアのうち最大スコアを特定し、当該学習事例の前記正解構造に対して前記モデルにより付与される第２スコアと前記最大スコアとの差を求め、当該差を差データ格納部に格納すると共に、前記各学習事例における前記差により定義されるエラーの上限値に基づいて、前記モデルの確信度を算出し、当該確信度を確信度データ格納部に格納する第２算出手段と、
前記確信度データ格納部に格納されている前記確信度と前記差データ格納部に格納されている前記各学習事例における前記差とに基づいて、前記重みデータ格納部に格納されている前記各学習事例の前記重みを更新する更新手段と、
を有し、
前記第１算出手段による処理と前記第２算出手段による処理と前記更新手段による処理とを繰り返させるモデル学習装置。
【符号の説明】
【０１８８】
１０１  学習データ入力部    １０３  学習データ格納部
１０５  モデル学習部    １０６  差データ格納部
１０７  重みデータ格納部    １０８  確信度格納部
１０９  モデルデータ格納部    １１１  分類データ入力部
１１３  分類データ格納部    １１５  モデル適用部
１１７  処理結果格納部    ２０１  ブースティング部
２０３  構造学習部    ２０５  初期化部
２０７  確信度算出部    ２０９  結合モデル更新部
２１１  重み更新部
【図１】
2015011535.tif 000034
【図２】
2015011535.tif 000035
【図３】
2015011535.tif 000036
【図４】
2015011535.tif 000037
【図５】
2015011535.tif 000038
【図６】
2015011535.tif 000039
【図７】
2015011535.tif 000040
【図８】
2015011535.tif 000041
【図９】
2015011535.tif 000042
【図１０】
2015011535.tif 000043
【図１１】
2015011535.tif 000044
【図１２】
2015011535.tif 000045
【図１３】
2015011535.tif 000046
【図１４】
2015011535.tif 000047
【図１５】
2015011535.tif 000048
【図１６】
2015011535.tif 000049
【図１７】
2015011535.tif 000050
【図１８】
2015011535.tif 000051
【図１９】
2015011535.tif 000052
【図２０】
2015011535.tif 000053
【図２１】
2015011535.tif 000054
【図２２】
2015011535.tif 000055
【図２３】
2015011535.tif 000056
【図２４】
2015011535.tif 000057
【図２５】
2015011535.tif 000058
【図２６】
2015011535.tif 000059
【図２７】
2015011535.tif 000060
【図２８】
2015011535.tif 000061
【図２９】
2015011535.tif 000062
【図３０】
2015011535.tif 000063
【図３１】
2015011535.tif 000064
【図３２】
2015011535.tif 000065
【図３３】
2015011535.tif 000066
【図３４】
2015011535.tif 000067
【図３５】
2015011535.tif 000068
【図３６】
2015011535.tif 000069