(57)【要約】【課題】低コストで言語解析モデルの予測性能を向上できる系列構造予測器の学習を行う言語解析モデル学習技術を提供する。【解決手段】言語解析モデル学習装置２は、ラベルなしデータＤuを利用して学習済み識別モデル用パラメタベクトル集合Λとモデル統合用パラメタ集合Γとを学習することで第１目的関数を最大化する生成モデル用パラメタベクトル集合Θを決定する生成モデル学習手段２１と、ラベルありデータＤlを利用して識別モデル用パラメタベクトル集合Λと生成モデル用パラメタベクトル集合Θとを学習することで第２目的関数を最大化するモデル統合用パラメタ集合Γを決定するモデル統合学習手段２２と、生成モデル用パラメタベクトル集合Θとモデル統合用パラメタ集合Γとを交互に決定させて一方が収束条件を満たすときに生成モデル用パラメタベクトル集合Θとモデル統合用パラメタ集合Γとを出力する収束判定手段２３とを備える。【選択図】図２
2008225907.tif 000002
【特許請求の範囲】
【請求項１】
文字列または記号列にラベルが付与されたデータを示すラベルありデータと、文字列または記号列を示すラベルなしデータとを入力データとして、識別モデルと生成モデルとに基づいて、文字列または記号列に付与すべきラベルを推定するために使用される言語解析モデルを学習する言語解析モデル学習装置であって、
前記識別モデルは、入力される文字列または記号列を条件に予め定められたラベル候補が出現する確率を示す条件付き確率を用いて前記付与すべきラベルを推定するモデルであり、
前記生成モデルは、入力される文字列または記号列と前記予め定められたラベル候補とが同時に生成される確率を示す同時確率を用いて前記付与すべきラベルを推定するモデルであり、
前記入力されたラベルなしデータを利用して、予め学習された識別モデル用パラメタベクトル集合と、予め定められたモデル統合用パラメタ集合とを学習することで第１目的関数を最大化するような生成モデル用パラメタベクトル集合を決定する生成モデル学習手段と、
前記入力されたラベルありデータを利用して、前記識別モデル用パラメタベクトル集合と、前記生成モデル用パラメタベクトル集合とを学習することで第２目的関数を最大化するような前記モデル統合用パラメタ集合を決定するモデル統合学習手段と、
前記生成モデル用パラメタベクトル集合と前記モデル統合用パラメタ集合とを交互に決定させて、いずれか一方が所定の収束条件を満たすときに、その時点の前記生成モデル用パラメタベクトル集合と前記モデル統合用パラメタ集合とを出力する収束判定手段とを備えることを特徴とする言語解析モデル学習装置。
【請求項２】
前記第１目的関数を最大化させるための補助関数および前記第２目的関数は、
前記ラベルありデータを利用して前記識別モデル用パラメタベクトル集合から推定された入力系列と出力系列との同時確率と、当該識別モデル用パラメタベクトル集合に対して予め求められた前記モデル統合用パラメタ集合とに基づいて算出される確率値を、積算対象とする前記識別モデル用パラメタベクトル集合に亘って積算した結果を示す識別モデル統合用確率値と、
前記ラベルなしデータを利用して前記生成モデル用パラメタベクトル集合から推定された入力系列と出力系列との同時確率と、当該生成モデル用パラメタベクトル集合に対して予め求められた前記モデル統合用パラメタ集合とに基づいて算出される確率値を、積算対象とする前記生成モデル用パラメタベクトル集合に亘って積算した結果を示す生成モデル統合用確率値と、の積を、
前記入力される文字列または記号列に対して付与すべきラベルの事後確率を示すパラメタ集合として含む、
ことを特徴とする請求項１に記載の言語解析モデル学習装置。
【請求項３】
前記出力される生成モデル用パラメタベクトル集合および前記モデル統合用パラメタ集合と、前記予め学習された識別モデル用パラメタベクトル集合とを、前記事後確率を示すパラメタ集合に統合するパラメタ統合手段をさらに備えることを特徴とする請求項２に記載の言語解析モデル学習装置。
【請求項４】
前記識別モデルを用いて前記入力されたラベルありデータを学習することで前記識別モデル用パラメタベクトル集合を作成する識別モデル学習手段をさらに備えることを特徴とする請求項１ないし請求項３のいずれか一項に記載の言語解析モデル学習装置。
【請求項５】
文字列または記号列にラベルが付与されたデータを示すラベルありデータと、文字列または記号列を示すラベルなしデータとを入力データとして、識別モデルと生成モデルとに基づいて、文字列または記号列に付与すべきラベルを推定するために使用される言語解析モデルを学習する言語解析モデル学習装置の言語解析モデル学習方法であって、
前記識別モデルは、入力される文字列または記号列を条件に予め定められたラベル候補が出現する確率を示す条件付き確率を用いて前記付与すべきラベルを推定するモデルであり、
前記生成モデルは、入力される文字列または記号列と前記予め定められたラベル候補とが同時に生成される確率を示す同時確率を用いて前記付与すべきラベルを推定するモデルであり、
生成モデル学習手段によって、前記入力されたラベルなしデータを利用して、予め学習された識別モデル用パラメタベクトル集合と、予め定められたモデル統合用パラメタ集合とを学習することで第１目的関数を最大化するような生成モデル用パラメタベクトル集合を決定するステップと、
モデル統合学習手段によって、前記入力されたラベルありデータを利用して、前記識別モデル用パラメタベクトル集合と、前記生成モデル用パラメタベクトル集合とを学習することで第２目的関数を最大化するような前記モデル統合用パラメタ集合を決定するステップと、
収束判定手段によって、前記生成モデル用パラメタベクトル集合と前記モデル統合用パラメタ集合とを交互に決定させて、いずれか一方が所定の収束条件を満たすときに、その時点の前記生成モデル用パラメタベクトル集合と前記モデル統合用パラメタ集合とを出力するステップとを含むことを特徴とする言語解析モデル学習方法。
【請求項６】
前記第１目的関数を最大化させるための補助関数および前記第２目的関数は、
前記ラベルありデータを利用して前記識別モデル用パラメタベクトル集合から推定された入力系列と出力系列との同時確率と、当該識別モデル用パラメタベクトル集合に対して予め求められた前記モデル統合用パラメタ集合とに基づいて算出される確率値を、積算対象とする前記識別モデル用パラメタベクトル集合に亘って積算した結果を示す識別モデル統合用確率値と、
前記ラベルなしデータを利用して前記生成モデル用パラメタベクトル集合から推定された入力系列と出力系列との同時確率と、当該生成モデル用パラメタベクトル集合に対して予め求められた前記モデル統合用パラメタ集合とに基づいて算出される確率値を、積算対象とする前記生成モデル用パラメタベクトル集合に亘って積算した結果を示す生成モデル統合用確率値と、の積を、
前記入力される文字列または記号列に対して付与すべきラベルの事後確率を示すパラメタ集合として含む、
ことを特徴とする請求項５に記載の言語解析モデル学習方法。
【請求項７】
パラメタ統合手段によって、前記出力される生成モデル用パラメタベクトル集合および前記モデル統合用パラメタ集合と、前記予め学習された識別モデル用パラメタベクトル集合とを、前記事後確率を示すパラメタ集合に統合するステップを有することを特徴とする請求項６に記載の言語解析モデル学習方法。
【請求項８】
識別モデル学習手段によって、前記識別モデルを用いて前記入力されたラベルありデータを学習することで前記識別モデル用パラメタベクトル集合を作成するステップを有することを特徴とする請求項５ないし請求項７のいずれか一項に記載の言語解析モデル学習方法。
【請求項９】
請求項５ないし請求項８のいずれか一項に記載の言語解析モデル学習方法をコンピュータに実行させることを特徴とする言語解析モデル学習プログラム。
【請求項１０】
請求項９に記載の言語解析モデル学習プログラムが記録されたことを特徴とするコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、言語解析モデル学習技術に係り、特に、文字列または記号列に付与すべきラベルを推定するために使用される言語解析モデルを学習する言語解析モデル学習技術に関する。
【背景技術】
【０００２】
従来、例えば、テキスト、ＤＮＡ塩基配列、ｗｅｂ空間等に関する文字列または記号列といった系列構造を有した入力（入力系列）に対して、分類用のタグとしてラベル（ラベル系列、または出力系列ともいう）を付与する問題が知られている。このような問題のことを、以下、系列構造予測問題と呼び、入力系列ｘに対して出力系列ｙを付与する装置（またはプログラム）のことを系列構造予測器と呼ぶ。入力系列ｘおよび出力系列ｙの具体例を図１８に示す。
【０００３】
図１８（ａ）は、系列構造予測問題のうちテキストを形態素に区切る問題に関するものであり、テキストに対して言語的な特徴を示すラベルを付与する例を示している。入力系列ｘは、「不動産  情報  登記  評価  システム  が  １３  日  に  発足  した  。」のように、１２個の形態素に区切られている。ここで、形態素とは、これ以上に細かくすると意味がなくなってしまう最小の文字列をいう。ラベル「Ｂ」は、文字列上の形態素の開始位置を示し、ラベル「Ｉ」は、ラベル「Ｂ」で開始した形態素の範囲内に含まれる位置を示している。
【０００４】
図１８（ｂ）は、系列構造予測問題のうちテキストから固有表現を抽出する問題に関するものであり、固有名詞に対して固有名詞の種類を示すラベルを付与する例を示している。入力系列ｘは、「田中  一郎  は  陸上  連盟  の  会長  です」のように、８個の形態素に区切られている。このうち、「田中」、「一郎」、「陸上」、「連盟」の４つの形態素は、固有表現を示すので、ラベル「Ｂ−人名」、「Ｉ−人名」、「Ｂ−組織名」、「Ｉ−組織名」がそれぞれ付与されている。また、ラベル「Ｏ」は、固有表現以外の形態素を示している。なお、「田中一郎」、「陸上連盟」の２つの固有名詞も固有表現を示すので、ラベル「人名」、「組織名」がそれぞれ付与されている。
【０００５】
図１８（ｃ）は、系列構造予測問題のうちＤＮＡ塩基配列から遺伝子領域を推定する問題に関するものであり、４種類の文字列（Ｔ，Ｃ，Ａ，Ｇ）を用いた３個の塩基の順列（コドン）に対してアミノ酸を示すラベルを付与する例を示している。ここでは、コドン「ＡＴＧ」に対して、たんぱく質への翻訳開始を示す開始コドンおよびメチオニンを示すラベル「Ｍ」が付与されている。また、コドン「ＴＧＡ」に対して、たんぱく質への翻訳終了を示す終始コドンおよびヒスチジンを示すラベル「Ｈ」が付与されている。また、コドン「ＡＴＧ」とコドン「ＴＧＡ」とに挟まれた各コドンには、対応するラベル「Ｒ」、「Ｄ」、「Ｗ」、「Ｑ」が付与されている。また、コドン「ＡＴＧ」より前（左側）の文字と、コドン「ＴＧＡ」より後（右側）の文字とには、対応するアミノ酸ではないことを示すために、ラベル「Ｏ」が付与されている。
【０００６】
従来の言語解析モデル学習装置は、対象とする系列構造予測問題に関して入力系列に正解ラベル系列が付与された正解データを用いて事前に統計学的な学習（以下、教師あり学習という）を行っている。ここで、正解データとは、学習の前に入力系列と出力系列との組が分かっているデータである。そして、教師あり学習で得られたパラメタを用いて、入力系列とラベル系列との対応関係を示す言語解析モデルが作成される。そして、系列構造予測器は、作成された言語解析モデルを利用することで、入力系列に対してラベルを実際に付与することが可能となる。
【０００７】
教師あり学習の具体的な方法として、従来は、局所的な最適解を組み合わせる方法が用いられていた。近年では、条件付き確率場に代表される大域的最適化に基づく方法が用いられるようになってきており、性能が向上している（例えば、非特許文献１参照）。
【０００８】
この条件付き確率場を用いる方法は、例えば、言語情報処理単位かつ意味のまとまりである「チャンク」毎に解析しながら読むチャンキング（Chunking）や、固有表現抽出といった自然言語解析タスクにおいて、現在最もよい性能を示す方法の一つとして広く利用されるようになっている。条件付き確率場の方法は、条件付き確率ｐ（ｙ｜ｘ）をモデル化する方法に分類される方法である。このように条件付き確率ｐ（ｙ｜ｘ）をモデル化して系列構造を予測する手法を、以下では、識別アプローチという。
【非特許文献１】J． Lafferty, A. McCallum and F. Pereira, Conditional Random Fields：Probabilistic Models for Segmenting and Labeling Sequence Data, In Proc. of ICML-2001, Pages 282-289, 2001
【発明の開示】
【発明が解決しようとする課題】
【０００９】
系列予測問題に関わらず、一般に、性能のよい予測を行うためには、教師あり学習時に扱う特徴空間を十分に覆うデータ量が必要であると認識されている。しかし、正解データは、人手により作成する必要があるため、作成コストが高いという問題がある。
一方、系列予測問題に関する学習で扱うラベル系列（出力系列）ｙの個々のインスタンスｙi（ｉ＝１，２，…）間には相互依存性があるため、系列予測問題に関する学習で扱う特徴空間は非常に大きなものになってしまう。そして、予測性能を高めるためには、膨大な正解データが必要となる。しかも、系列予測問題には、ラベル系列の相互依存性という特徴があるため、正解データを作成するためには、対象とするタスクに関するさらに高い専門的な能力とコストとが要求される。
【００１０】
一方、従来の言語解析モデル学習装置は、人手により作成された限られた量の正解データしか利用していないため、正解データ以外の未知データに対する性能はよくない。特に、同じタスクで別ドメインのデータの系列構造を予測する場合には、その別ドメイン特有の特徴が学習できていないため、予測性能が大幅に劣化する場合がある。具体的な例を挙げると、自然言語処理の固有表現抽出タスクでは、一般的に新聞記事の正解データをモデル学習に利用する。この新聞記事の正解データを用いて学習した結果得られた言語解析モデルを用いて系列構造予測器がｗｅｂデータの固有表現抽出を行なった場合に、ｗｅｂデータに対する固有表現抽出性能は、新聞記事に対する固有表現抽出性能に比べて大幅に低くなる。これは、ｗｅｂデータが学習データの新聞記事と異なる別ドメインであるからである。
【００１１】
また、正解データは、人手により作成されるので、限られた量しか存在しない。例えば、固有表現抽出タスクをあるドメインで適用しようとする場合に、ｗｅｂデータを含む多くのドメインでは、その適用したいドメインでの正解データが存在しない。そのため、性能のよい系列構造予測器の作成が困難である場合がほとんどである。
【００１２】
一方、適用したいドメインのラベルなしデータの獲得は比較的簡単である場合が多い。ここで、ラベルなしデータとは、正解ラベルが付与されていないデータ、つまり、加工されていないデータを意味する。以下では、このラベルなしデータと対照的に正解ラベルを有している正解データのことを、ラベルありデータということにする。
【００１３】
ラベルなしデータには、正解ラベル（正解出力系列）の情報が付与されていないので、ラベルなしデータをどのようにすれば学習に用いることができるかは知られていない。試みに、条件付き確率場の方法に代表される識別アプローチにおいてラベルなしデータを学習に用いるために、古典的な条件付き確率によるモデル（識別モデル）を設計してみると、条件式からラベルなしデータの項が消去されてしまう。つまり、識別アプローチは、教師あり学習の設定ではよい性能を示すが、ラベルなしデータを取り込むことは難しいアプローチであると言える。
【００１４】
また、例えば、同時確率ｐ（ｘ，ｙ）によるモデル（生成モデル）を設計する方法である生成アプローチにおいて、ラベルなしデータを学習に用いる場合には、ＥＭ（Expectation Maximization）アルゴリズムを用いることで、正解ラベル系列（出力系列）の情報を欠損情報としてラベルなしデータを自然かつ簡単に取り込む枠組が存在する。ただし、この生成アプローチでは、条件付き確率場といった教師あり学習の設定での識別アプローチに比べて予測性能が遠く及ばない場合がほとんどである。
【００１５】
そこで、本発明では、前記した問題を解決し、低コストで言語解析モデルの予測性能を向上させるためにラベルありデータとラベルなしデータとを入力として系列構造予測器の学習を行うことのできる言語解析モデル学習技術を提供することを目的とする。
【課題を解決するための手段】
【００１６】
前記課題を解決するために、請求項１に記載の言語解析モデル学習装置は、文字列または記号列にラベルが付与されたデータを示すラベルありデータと、文字列または記号列を示すラベルなしデータとを入力データとして、識別モデルと生成モデルとに基づいて、文字列または記号列に付与すべきラベルを推定するために使用される言語解析モデルを学習する言語解析モデル学習装置であって、前記識別モデルが、入力される文字列または記号列を条件に予め定められたラベル候補が出現する確率を示す条件付き確率を用いて前記付与すべきラベルを推定するモデルであり、前記生成モデルが、入力される文字列または記号列と前記予め定められたラベル候補とが同時に生成される確率を示す同時確率を用いて前記付与すべきラベルを推定するモデルであり、前記入力されたラベルなしデータを利用して、予め学習された識別モデル用パラメタベクトル集合と、予め定められたモデル統合用パラメタ集合とを学習することで第１目的関数を最大化するような生成モデル用パラメタベクトル集合を決定する生成モデル学習手段と、前記入力されたラベルありデータを利用して、前記識別モデル用パラメタベクトル集合と、前記生成モデル用パラメタベクトル集合とを学習することで第２目的関数を最大化するような前記モデル統合用パラメタ集合を決定するモデル統合学習手段と、前記生成モデル用パラメタベクトル集合と前記モデル統合用パラメタ集合とを交互に決定させて、いずれか一方が所定の収束条件を満たすときに、その時点の前記生成モデル用パラメタベクトル集合と前記モデル統合用パラメタ集合とを出力する収束判定手段とを備えることを特徴とする。
【００１７】
また、請求項５に記載の言語解析モデル学習方法は、文字列または記号列にラベルが付与されたデータを示すラベルありデータと、文字列または記号列を示すラベルなしデータとを入力データとして、識別モデルと生成モデルとに基づいて、文字列または記号列に付与すべきラベルを推定するために使用される言語解析モデルを学習する言語解析モデル学習装置の言語解析モデル学習方法であって、前記識別モデルが、入力される文字列または記号列を条件に予め定められたラベル候補が出現する確率を示す条件付き確率を用いて前記付与すべきラベルを推定するモデルであり、前記生成モデルが、入力される文字列または記号列と前記予め定められたラベル候補とが同時に生成される確率を示す同時確率を用いて前記付与すべきラベルを推定するモデルであり、生成モデル学習手段によって、前記入力されたラベルなしデータを利用して、予め学習された識別モデル用パラメタベクトル集合と、予め定められたモデル統合用パラメタ集合とを学習することで第１目的関数を最大化するような生成モデル用パラメタベクトル集合を決定するステップと、モデル統合学習手段によって、前記入力されたラベルありデータを利用して、前記識別モデル用パラメタベクトル集合と、前記生成モデル用パラメタベクトル集合とを学習することで第２目的関数を最大化するような前記モデル統合用パラメタ集合を決定するステップと、収束判定手段によって、前記生成モデル用パラメタベクトル集合と前記モデル統合用パラメタ集合とを交互に決定させて、いずれか一方が所定の収束条件を満たすときに、その時点の前記生成モデル用パラメタベクトル集合と前記モデル統合用パラメタ集合とを出力するステップとを含むことを特徴とする。
【００１８】
請求項１に記載の言語解析モデル学習装置または請求項５に記載の言語解析モデル学習方法によれば、言語解析モデル学習装置は、ラベルなしデータを利用して生成モデル用パラメタベクトル集合を決定することで、生成アプローチによりラベルなしデータを取り込む。そして、言語解析モデル学習装置は、決定された生成モデル用パラメタベクトル集合とラベルありデータとを利用してモデル統合用パラメタ集合を決定することで、生成アプローチにより取り込んだラベルなしデータを識別アプローチにより学習することができる。そして、言語解析モデル学習装置は、生成モデル用パラメタベクトル集合とモデル統合用パラメタ集合との一方が収束するまで交互に決定することで最適な生成モデル用パラメタベクトル集合およびモデル統合用パラメタ集合とを出力する。したがって、これら出力される生成モデル用パラメタベクトル集合およびモデル統合用パラメタ集合と、学習済みの識別モデル用パラメタベクトル集合とから構成される言語解析モデルは低コストで高い予測性能を実現することが可能である。
【００１９】
また、請求項２に記載の言語解析モデル学習装置は、請求項１に記載の言語解析モデル学習装置において、前記第１目的関数を最大化させるための補助関数および前記第２目的関数が、前記ラベルありデータを利用して前記識別モデル用パラメタベクトル集合から推定された入力系列と出力系列との同時確率と、当該識別モデル用パラメタベクトル集合に対して予め求められた前記モデル統合用パラメタ集合とに基づいて算出される確率値を、積算対象とする前記識別モデル用パラメタベクトル集合に亘って積算した結果を示す識別モデル統合用確率値と、前記ラベルなしデータを利用して前記生成モデル用パラメタベクトル集合から推定された入力系列と出力系列との同時確率と、当該生成モデル用パラメタベクトル集合に対して予め求められた前記モデル統合用パラメタ集合とに基づいて算出される確率値を、積算対象とする前記生成モデル用パラメタベクトル集合に亘って積算した結果を示す生成モデル統合用確率値と、の積を、前記入力される文字列または記号列に対して付与すべきラベルの事後確率を示すパラメタ集合として含むことを特徴とする。
【００２０】
また、請求項６に記載の言語解析モデル学習方法は、請求項５に記載の言語解析モデル学習方法において、前記第１目的関数を最大化させるための補助関数および前記第２目的関数が、前記ラベルありデータを利用して前記識別モデル用パラメタベクトル集合から推定された入力系列と出力系列との同時確率と、当該識別モデル用パラメタベクトル集合に対して予め求められた前記モデル統合用パラメタ集合とに基づいて算出される確率値を、積算対象とする前記識別モデル用パラメタベクトル集合に亘って積算した結果を示す識別モデル統合用確率値と、前記ラベルなしデータを利用して前記生成モデル用パラメタベクトル集合から推定された入力系列と出力系列との同時確率と、当該生成モデル用パラメタベクトル集合に対して予め求められた前記モデル統合用パラメタ集合とに基づいて算出される確率値を、積算対象とする前記生成モデル用パラメタベクトル集合に亘って積算した結果を示す生成モデル統合用確率値と、の積を、前記入力される文字列または記号列に対して付与すべきラベルの事後確率を示すパラメタ集合として含むことを特徴とする。
【００２１】
請求項２に記載の言語解析モデル学習装置または請求項６に記載の言語解析モデル学習方法によれば、言語解析モデル学習装置は、第１目的関数を最大化させるための補助関数および第２目的関数が、入力系列に対して付与すべきラベルの事後確率として、ラベルありデータを利用した識別モデル統合用確率値と、ラベルなしデータを利用した生成モデル統合用確率値との積を含むので、第１目的関数および第２目的関数をそれぞれ最大化することで決定される生成モデル用パラメタベクトル集合およびモデル統合用パラメタ集合とが、ラベルなしデータとラベルありデータとを学習した結果を反映することとなる。ここで、ラベルなしデータを第１目的関数を最大化させるための補助関数に利用するのであって、ラベルなしデータを第１目的関数に直接用いることはしない。つまり、ラベルなしデータを生成アプローチで取り込みつつ、識別アプローチの予測性能の良さを兼ね備えることが可能となる。ここで、識別モデル用パラメタベクトルから推定された同時確率は、例えば、条件付き確率場（ＣＲＦ：Conditional Random Fields）により構成される。また、生成モデル用パラメタベクトルから推定された同時確率は、例えば、隠れマルコフモデル（ＨＭＭ：Hidden Markov Model）により構成される。
【００２２】
また、請求項３に記載の言語解析モデル学習装置は、請求項２に記載の言語解析モデル学習装置において、前記出力される生成モデル用パラメタベクトル集合および前記モデル統合用パラメタ集合と、前記予め学習された識別モデル用パラメタベクトル集合とを、前記事後確率を示すパラメタ集合に統合するパラメタ統合手段をさらに備えることを特徴とする。
【００２３】
また、請求項７に記載の言語解析モデル学習方法は、請求項６に記載の言語解析モデル学習方法において、パラメタ統合手段によって、前記出力される生成モデル用パラメタベクトル集合および前記モデル統合用パラメタ集合と、前記予め学習された識別モデル用パラメタベクトル集合とを、前記事後確率を示すパラメタ集合に統合するステップを有することを特徴とする。
【００２４】
請求項３に記載の言語解析モデル学習装置または請求項７に記載の言語解析モデル学習方法によれば、言語解析モデル学習装置は、入力される文字列または記号列に対して付与すべきラベルの事後確率として、生成モデル用パラメタベクトル集合、モデル統合用パラメタ集合、および識別モデル用パラメタベクトル集合を単一のパラメタベクトル（パラメタ集合）に統合する。したがって、この統合されたパラメタベクトルは、言語解析モデルとして利用し易くなる。
【００２５】
また、請求項４に記載の言語解析モデル学習装置は、請求項１ないし請求項３のいずれか一項に記載の言語解析モデル学習装置において、前記識別モデルを用いて前記入力されたラベルありデータを学習することで前記識別モデル用パラメタベクトル集合を作成する識別モデル学習手段をさらに備えることを特徴とする。
【００２６】
また、請求項８に記載の言語解析モデル学習方法は、請求項５ないし請求項７のいずれか一項に記載の言語解析モデル学習方法によって、識別モデル学習手段によって、前記識別モデルを用いて前記入力されたラベルありデータを学習することで前記識別モデル用パラメタベクトル集合を作成するステップを有することを特徴とする。
【００２７】
請求項４に記載の言語解析モデル学習装置または請求項８に記載の言語解析モデル学習方法によれば、言語解析モデル学習装置は、ラベルありデータを学習することで識別モデル用パラメタベクトル集合を作成する。したがって、識別モデル用パラメタベクトル集合を作成するための構成と、モデル統合用パラメタ集合を作成するための構成とを共用することが可能となる。
【００２８】
また、請求項９に記載の言語解析モデル学習プログラムは、請求項５ないし請求項８のいずれか一項に記載の言語解析モデル学習方法をコンピュータに実行させることを特徴とする。このように構成されることにより、このプログラムをインストールされたコンピュータは、このプログラムに基づいた各機能を実現することができる。
【００２９】
また、請求項１０に記載のコンピュータ読み取り可能な記録媒体は、請求項９に記載の言語解析モデル学習プログラムが記録されたことを特徴とする。このように構成されることにより、この記録媒体を装着されたコンピュータは、この記録媒体に記録されたプログラムに基づいた各機能を実現することができる。
【発明の効果】
【００３０】
本発明によれば、ラベルありデータとラベルなしデータとを入力として系列構造予測器の学習を行うことができる。その結果、低コストで言語解析モデルの予測性能を向上させることが可能となる。
【発明を実施するための最良の形態】
【００３１】
以下、図面を参照して本発明の言語解析モデル学習装置および言語解析モデル学習方法を実施するための最良の形態（以下「実施形態」という）について詳細に説明する。本実施形態では、入力をテキスト、出力を固有表現のラベル列として固有表現抽出の問題で言語解析モデル学習装置を説明する。
【００３２】
［言語解析モデル作成装置の構成］
図１は、本発明の実施形態に係る言語解析モデル作成装置の概要を模式的に示す構成図である。言語解析モデル作成装置１は、図１に示すように、言語解析モデル学習装置２と、パラメタ統合装置３とを備えている。学習フェーズにおいて、言語解析モデル学習装置２は、ラベルありデータＤlと、ラベルなしデータＤuと、学習支援情報記憶手段４に格納された情報とを用いて、処理結果をパラメタ集合記憶手段５に出力する。
【００３３】
ラベルありデータＤlは、文字列または記号列にラベルが付与されたデータを示す。ここでは、式（１）に示すように、ラベルありサンプルＳl＝（ｘn，ｙn）のＮ個の集合のことを、ラベルありデータＤlと呼ぶ。また、ラベルなしデータＤuは、文字列または記号列を示す。ここでは、式（２）に示すように、ラベルなしサンプルＳu＝（ｘm）のＭ個の集合のことを、ラベルなしデータＤuと呼ぶ。
【００３４】
【数１】
2008225907.tif 000003
【００３５】
学習支援情報記憶手段４は、学習支援情報として、後記する識別モデル用特徴抽出テンプレートと、生成モデル用特徴抽出テンプレートと、出力ラベル候補とを記憶するものである。
【００３６】
また、言語解析モデル学習装置２は、処理結果として、式（３）で示す識別モデル用パラメタベクトル集合Λと、式（４）で示す生成モデル用パラメタベクトル集合Θと、式（５）で示すモデル統合用パラメタ集合Γとをパラメタ集合記憶手段５に格納する。ここで、λiは識別モデル用パラメタベクトル、θjは生成モデル用パラメタベクトル、γi，γjはモデル統合用パラメタである。また、識別モデルは、入力される文字列または記号列を条件に予め定められたラベル候補が出現する確率を示す条件付き確率を用いて付与すべきラベルを推定するモデルである。また、生成モデルは、入力される文字列または記号列と予め定められたラベル候補とが同時に生成される確率を示す同時確率を用いて付与すべきラベルを推定するモデルである。
【００３７】
【数２】
2008225907.tif 000004
【００３８】
パラメタ統合装置（パラメタ統合手段）３は、言語解析モデル学習装置２から出力される生成モデル用パラメタベクトル集合Θ、モデル統合用パラメタ集合Γ、および識別モデル用パラメタベクトル集合Λとを、単一のパラメタ集合に統合するものである。式（６）に示すＲは、入力される文字列または記号列に対して付与すべきラベルの事後確率を示すものである。Ｒは、ｐiDをγiで累乗して算出される確率値をｉに亘って積算した結果を示す識別モデル統合用確率値と、ｐjGをγjで累乗して算出される確率値をjに亘って積算した結果を示す生成モデル統合用確率値との積の形になっている。パラメタ統合装置３は、統合されたパラメタ集合を言語解析モデル記憶手段６に格納する。
【００３９】
【数３】
2008225907.tif 000005
【００４０】
評価フェーズにおいて、系列構造予測装置７は、入力データであるラベルなしサンプルＳuに対して、言語解析モデル記憶手段６に格納されている言語解析モデル（パラメタ統合装置３によって統合されたパラメタ集合）を用いて、付与すべきラベルを推定し、入力データに対応したラベルありサンプルＳlを出力するものである。
【００４１】
［言語解析モデル学習装置の構成］
図２は、図１に示した言語解析モデル学習装置の構成を模式的に示す機能ブロック図である。言語解析モデル学習装置２は、例えば、ＣＰＵ（Central Processing Unit）と、ＲＡＭ（Random Access Memory）と、ＲＯＭ（Read Only Memory）と、ＨＤＤ（Hard Disk Drive）と、入出力インタフェース等から構成され、図２に示すように、識別モデル学習手段１０と、系列構造予測器学習手段２０とを備えている。
【００４２】
＜入力データ例＞
図３は、図２に示した言語解析モデル学習装置に入力する情報の例を示す図であって、（ａ）はラベルありデータ、（ｂ）は出力ラベル候補集合をそれぞれ示している。図３（ａ）に示す例は、図１８（ｂ）に示したものと同様である。ただし、形態素区切りは事前に施されているものとする。
【００４３】
図３（ｂ）に示す出力ラベル候補集合は、固有表現抽出に対応したものであり、予め定められた５つの出力ラベル候補を要素としている。各要素は、図１８（ｂ）に示したものと同様である。この出力ラベル候補集合は、対象とする問題によって自動的に決定され、学習支援情報記憶手段４の出力ラベル候補記憶手段４３から言語解析モデル学習装置２が取得するものである。
【００４４】
＜識別モデル学習手段＞
識別モデル学習手段１０は、識別モデルを用いて、入力されたラベルありデータＤlを学習することで識別モデル用パラメタベクトル集合Λを作成するものであり、出力候補グラフ生成手段１１と、特徴抽出手段１２と、パラメタ学習手段１３とを備えている。このうち、出力候補グラフ生成手段１１と、特徴抽出手段１２とは、学習のための前処理を行うためのものである。また、識別モデル学習手段１０は、式（７）に示すラベルありデータＤl′を用いる。
【００４５】
【数４】
2008225907.tif 000006
【００４６】
≪出力候補グラフ生成手段≫
出力候補グラフ生成手段１１は、入力されたラベルありデータＤl′から出力候補グラフを生成するものである。出力候補グラフは、図４に示すように、可能性のあるすべての出力系列候補をパスで接続したラティス形式で表現したものである。図４は、図２に示した言語解析モデル学習装置で生成される出力候補グラフの一例を模式的に示す図である。ここで、＜ＢＯＳ＞は、入力系列ｘの始まりを表す固定の特別なラベルであり、＜ＥＯＳ＞は、入力系列ｘの終わりを表す固定の特別なラベルである。ラティスは、入力されたラベルありデータＤl′（入力系列ｘ）に対する出力系列ｙが、個々のインスタンスｙi（ｉ＝１，…，５）をノード、各インスタンス間の依存関係をリンクで示したものである。出力候補グラフ中の＜ＢＯＳ＞から＜ＥＯＳ＞間の１つのパスは１つの出力に対応し、出力候補グラフは、とり得るすべての出力の候補を包含したグラフになっている。例えば、ノード４０１は、ラベルありデータＤl′の４番目の単語「陸上」に対してラベル「Ｂ−組織名」を付与した出力のインスタンスを示す。同様に、ノード４０２は、ラベルありデータＤl′の６番目の単語「の」に対してラベル「Ｏ」を付与した出力のインスタンスを示す。
【００４７】
≪特徴抽出手段≫
特徴抽出手段１２は、出力候補グラフから、推定する位置のラベルと、識別モデル用特徴抽出テンプレートに記述された入力系列中のインスタンスとの組み合わせにより、特徴を抽出するものである。識別モデル用特徴抽出テンプレートの具体例を図５に示す。図５は、識別モデル用特徴抽出テンプレートの例を示す図である。識別モデル用特徴抽出テンプレート５００は、出力系列のｉ番目として「ｙ4」のラベルを推定するテンプレートである。この識別モデル用特徴抽出テンプレート５００は、推定する位置のラベルの前後２つずつまでに対応する入力単語を特徴として抽出するものである。したがって、特徴抽出手段１２は、識別モデル用特徴抽出テンプレート５００を用いた場合に、図５に示す「ｙ4」の位置のラベルを推定するときに、図６（ａ）に符号６０１〜６０５で示す特徴を抽出する。具体的には、図５に示す出力系列のｉ番目として「ｙ4」の位置のラベルを「Ｂ−組織名」と推定する場合には、図６（ｂ）に符号６１１〜６１５で示す特徴を抽出する。同様に、図５に示す出力系列のｉ番目として「ｙ4」の位置のラベルを「Ｂ−人名」と推定する場合には、図６（ｃ）に符号６２１〜６２５で示す特徴を抽出する。
【００４８】
また、特徴抽出手段１２は、出力候補グラフと識別モデル用特徴抽出テンプレートを用いて、出力候補グラフの各ノード（またはリンク）に特徴ベクトルを付与し、特徴ベクトル付き出力候補グラフを生成する。出力候補グラフと特徴ベクトルとの関係を図７に示す。図７は、図４に丸で示したノードに対して、図５に示した識別モデル用特徴抽出テンプレートを用いて作成された特徴ベクトルの説明図である。図７（ａ）は、図４に示したノード４０１に付与される特徴を示す。特徴抽出手段１２は、これらの特徴には値「１」を紐付け、また、ノード４０１に付与されない別の特徴には値「０」を紐付けることで、「１」と「０」とを要素に持つ特徴ベクトルを形成する。特徴抽出手段１２は、前後２単語のいずれかと、対象とするノードが属する出力ラベルとの組合せで特徴を生成するため、入力系列の単語の同じ位置で出力ラベルの違うノードの特徴ベクトルは、それぞれ互いに直交するので、それらの内積をとると「０」となる。図７（ｂ）は、図４に示したノード４０２に付与される特徴を示す。これも同様なので説明を省略する。
【００４９】
≪パラメタ学習手段≫
パラメタ学習手段１３は、特徴ベクトル付き出力候補グラフと、初期化されたパラメタベクトル（すべての要素が０のベクトル）を用いて識別アプローチの教師あり学習を行うものである。ここでは、パラメタ学習手段１３は、条件付き確率場に基づいて識別モデル用パラメタベクトル集合Λの学習を行うために、図２に示すように、目的関数計算手段１３１と、目的関数勾配計算手段１３２と、収束判定手段１３３と、パラメタ更新手段１３４とを備えている。なお、条件付き確率場については、例えば、「F. Sha and F. Pereira, Shallow Parsing with Conditio1al Random Fields, In Proc. of HLT/NAACL-2003. pages 213-220, 2003」に詳述されているので説明を省略する。
【００５０】
目的関数計算手段１３１は、識別モデル用パラメタベクトルλが入力された目的関数を計算するものである。ここでは、前提として、入力系列ｘ（ラベルありデータ）が与えられた際の系列中の位置ｓから得られる局所的な特徴ベクトルｆsを式（８）で定義する。
【００５１】
【数５】
2008225907.tif 000007
【００５２】
また、条件付き確率場は、各クリーク（clique）上のポテンシャル関数の積と全体の比率とを用いて条件付き確率ｐ（ｙ｜ｘ）を定義する。つまり、条件付き確率場による入力系列ｘに対する出力系列ｙの条件付き確率ｐ（ｙ｜ｘ）は、式（９）で定義される。また、式（９）中のＺ（ｘ）は、式（１０）に示すように、すべての出力ｙに対する正規化項にあたる。
【００５３】
【数６】
2008225907.tif 000008
【００５４】
目的関数計算手段１３１は、与えられたラベルありデータＤl′を利用して、パラメタベクトルλの（対数）事後確率最大化を行うものである。つまり、目的関数計算手段１３１は、logｐ（λ｜Ｄl′）の最大化を行う。具体的には、目的関数計算手段１３１は、式（１１）で示される目的関数ＬCRF（λ）を計算する。ただし、ｐ（λ）はλの事前確率分布を表す。式（１１）に示した目的関数を最適化するには、Ｌ−ＢＦＧＳといった勾配に基づく数値最適化法を適用することができる。なお、Ｌ−ＢＦＧＳについては、「D. C. Liu and J. Nocedal, On the Limited Memory BFGS Method for Large Scale Optimization Math. Programming,Ser.B, 45（3）:503-528,1989」に記載されているので、説明を省略する。
【００５５】
【数７】
2008225907.tif 000009
【００５６】
目的関数勾配計算手段１３２は、式（１１）に示した目的関数の勾配を計算するものである。式（１１）に示した目的関数の勾配∇ＬCRF（λ）は、式（１２）で示される。
【００５７】
【数８】
2008225907.tif 000010
【００５８】
ここで、Ｅは添字の期待値を示す。また、右辺第１項は、特徴ベクトルの経験的期待値なので、ラベルありデータから正解系列に表れる特徴を数え上げることで容易に計算できる。また、その値はラベルありデータにのみ依存する値なので、学習前に一度計算すればよい。また、式（１２）の右辺第２項は、すべての出力系列に対する各特徴ベクトルが出現する期待値となっている。よって、すべての可能な出力系列について個別に計算する必要がある。しかも、構造予測問題においては、一般に、すべての可能な出力の総数が非常に膨大な数となるため、すべての可能な出力を個々に計算することは計算量の観点から非常に困難である。しかしながら、系列構造予測問題に関しては、forward-backwardアルゴリズムを用いて効率的に期待値が計算できることが知られているため、現実的な時間で処理を実行することが可能となっている（非特許文献１参照）。
【００５９】
収束判定手段１３３は、各特徴の経験的期待値とすべての出力に対する各特徴の期待値との差が収束したか否かを判別するものである。具体的には、収束判定手段１３３は、式（１２）で示される目的関数の勾配∇ＬCRF（λ）の値が収束したか否かを判別する。また、収束判定手段１３３は、目的関数の勾配∇ＬCRF（λ）の値が収束したと判定した場合には、その時点の識別モデル用パラメタベクトルλを識別モデル用パラメタベクトル集合記憶手段５１に出力する。出力される識別モデル用パラメタベクトル（列ベクトル）の一例を図８に示す。パラメタ更新手段１３４は、目的関数の勾配∇ＬCRF（λ）の値が収束していない場合に、識別モデル用パラメタベクトルλを更新するものである。
【００６０】
本実施形態では、識別モデル学習手段１０は、同一のラベルありデータから複数の識別モデルを学習することが可能である。例えば、識別モデル用特徴抽出テンプレートを変更することによって、複数の異なった識別モデルを作成することができる。なお、識別モデルの数に関しては、特に限定されるものではなく、設計者が、タスクなどに応じて、例えば、１〜数千まで自由に決定することができる。本実施形態では、識別モデル学習手段１０により作成された異なる（Ｉ個の）識別モデル用パラメタベクトルλiをすべて合わせて前記した式（３）で表す。
【００６１】
＜系列構造予測器学習手段＞
系列構造予測器学習手段２０は、識別モデル用パラメタベクトル集合記憶手段５１に記憶された識別モデル用パラメタベクトル集合Λを入力として、交互に処理を実行する生成モデル学習手段２１およびモデル統合学習手段２２と、この交互処理を所定の終了条件に達するまで行わせる収束判定手段２３とを備えている。
【００６２】
生成モデル学習手段２１は、入力されたラベルなしデータＤuを利用して、予め学習された識別モデル用パラメタベクトル集合Λと、予め定められたモデル統合用パラメタ集合Γとを学習することで第１目的関数を最大化するような生成モデル用パラメタベクトル集合Θを決定するものである。
【００６３】
モデル統合学習手段２２は、入力されたラベルありデータＤlを利用して、識別モデル用パラメタベクトル集合Λと、生成モデル用パラメタベクトル集合Θとを学習することで第２目的関数を最大化するようなモデル統合用パラメタ集合Γを決定するものである。
【００６４】
収束判定手段２３は、生成モデル学習手段２１およびモデル統合学習手段２２に対して、生成モデル用パラメタベクトル集合Θとモデル統合用パラメタ集合Γとを交互に決定させて、いずれか一方が所定の収束条件を満たすときに、その時点の生成モデル用パラメタベクトル集合Θとモデル統合用パラメタ集合Γとを出力するものである。
【００６５】
＜学習支援情報記憶手段＞
学習支援情報記憶手段４は、識別モデル用特徴抽出テンプレート記憶手段４１と、生成モデル用特徴抽出テンプレート記憶手段４２と、出力ラベル候補記憶手段４３とを備えている。識別モデル用特徴抽出テンプレート記憶手段４１は、識別モデル用特徴抽出テンプレートを記憶するものである。生成モデル用特徴抽出テンプレート記憶手段４２は、生成モデル用特徴抽出テンプレートを記憶するものである。出力ラベル候補記憶手段４３は、出力ラベル候補を記憶するものである。なお、各記憶手段４１，４２，４３は、例えば、一般的なハードディスクやメモリから構成される。
【００６６】
＜パラメタ集合記憶手段＞
パラメタ集合記憶手段５は、識別モデル用パラメタベクトル集合記憶手段５１と、生成モデル用パラメタベクトル集合記憶手段５２と、モデル統合用パラメタ集合記憶手段５３とを備えている。識別モデル用パラメタベクトル集合記憶手段５１は、識別モデル用パラメタベクトル集合Λを記憶するものである。生成モデル用パラメタベクトル集合記憶手段５２は、生成モデル用パラメタベクトル集合Θを記憶するものである。モデル統合用パラメタ集合記憶手段５３は、モデル統合用パラメタ集合Γを記憶するものである。なお、各記憶手段５１，５２，５３は、例えば、一般的なハードディスクやメモリから構成される。
【００６７】
［系列構造予測器学習手段の構成］
図９は、図２に示した系列構造予測器学習手段の構成を模式的に示す機能ブロック図である。
≪生成モデル学習手段≫
生成モデル学習手段２１は、出力候補グラフ生成手段２１１と、特徴抽出手段２１２と、目的関数計算手段２１３と、補助関数計算手段２１４と、パラメタ更新手段２１５とを備えている。このうち、出力候補グラフ生成手段２１１と、特徴抽出手段２１２とは、学習のための前処理を行うためのものである。また、生成モデル学習手段２１は、前記した式（２）に示すラベルなしデータＤuを用いる。
【００６８】
出力候補グラフ生成手段２１１は、図２に示した識別モデル学習手段１０の出力候補グラフ生成手段１１と同様なので説明を省略する。
特徴抽出手段２１２は、出力候補グラフから、推定する位置のラベルと、生成モデル用特徴抽出テンプレートに記述された入力系列中のインスタンスとの組み合わせにより、特徴を抽出する。生成モデル用特徴抽出テンプレートの具体例を図１０に示す。図１０は、生成モデル用特徴抽出テンプレートの例を示す図である。生成モデル用特徴抽出テンプレートの基本的なフォーマットは、識別モデル用特徴抽出テンプレートと同様であり、特徴の抽出方法も同様である。唯一の違いは、生成モデル用特徴抽出テンプレートは、隠れマルコフモデルの制約として抽出される素性が互いに独立であるという条件を満たす必要がある。よって、この独立の条件を満たしている場合には、識別モデル用特徴抽出テンプレートと同じテンプレートを利用してもよい。また、全く違ったテンプレートにしてもよく、対象とするタスクや事前知識により自由に設計することができる。
【００６９】
図１０に例示した生成モデル用特徴抽出テンプレート１０００は、推定する位置のラベルとその前のラベルに対応する入力単語を特徴として抽出するものである。したがって、特徴抽出手段２１２は、生成モデル用特徴抽出テンプレート１０００を用いた場合に、図１０に示す「ｙ4」の位置のラベルを推定するときに、図１１（ａ）に示す特徴を抽出する。具体的には、図１０に示す出力系列のｉ番目として「ｙ4」の位置のラベルを「Ｂ−組織名」と推定する場合には、図１１（ｂ）に示す特徴を抽出する。同様に、図１０に示す出力系列のｉ番目として「ｙ4」の位置のラベルを「Ｂ−人名」と推定する場合には、図１１（ｃ）に示す特徴を抽出する。また、特徴抽出手段２１２は、出力候補グラフと生成モデル用特徴抽出テンプレートを用いて、出力候補グラフの各ノードおよびリンクにシンボル生成確率および遷移確率を付与し、確率付き出力候補グラフを出力する。
【００７０】
目的関数計算手段２１３は、確率付き出力候補グラフと、生成モデル用パラメタベクトル集合Θ(t)とが入力された目的関数（第１目的関数）Ｇを計算するものである。目的関数Ｇの前提として、前記した式（６）のＲ（ｙ｜ｘ；Λ，Θ，Γ）に基づき、入力系列ｘを与えた際の出力系列ｙの識別関数（discriminant function）ｇ（ｙ｜ｘ；Λ，Θ，Γ）を考える。前記した式（１）右辺の分母は正規化項なのでｙの決定には寄与しないため、識別関数ｇ（ｙ｜ｘ；Λ，Θ，Γ）は、式（１）右辺の分子のみを用いて以下のように定義できる。
【００７１】
【数９】
2008225907.tif 000011
【００７２】
すべての出力ｙに対する識別関数ｇの出力値の合計を、式（１４）に示す目的関数Ｇ（Θ｜Γ）で定義する。ここで、ｐ（Θ）は、生成モデル用パラメタベクトル集合Θに対する事前確率分布を表している。したがって、目的関数計算手段２１３は、式（１４）に示す目的関数Ｇ（Θ｜Γ）を計算する。
【００７３】
【数１０】
2008225907.tif 000012
【００７４】
補助関数計算手段２１４は、式（１４）で示される目的関数Ｇ（Θ｜Γ）を最大化するパラメタベクトル集合Θを求める処理を行う。つまり、Γが既知のとき、Ｇ（Θ｜Γ）を初期値近傍で最大化するΘを、ＥＭアルゴリズムのような反復計算によって推定することができる。具体的には、補助関数計算手段２１４は、式（１５）に示すＱ関数（補助関数）が最大になるパラメタベクトル集合Θ′を、現在のパラメタベクトル集合Θより求め、Θ′がΘに対して増大しなくなるまでΘをΘ′で置き換えながら繰り返しＱ関数を求める。
【００７５】
【数１１】
2008225907.tif 000013
【００７６】
式（１５）に示すＱ関数（Ｑ（Θ′，Θ；Γ））の形は、隠れマルコフモデルと同じ形であるため、隠れマルコフモデルで用いられるBaum-Welchアルゴリズムを用いて効率的にパラメタ更新することができる。ただし、隠れマルコフモデルでは、条件付き確率ｐ（ｙ｜ｘ；θ）を用いて周辺確率を計算するが、本実施形態では、式（６）で示すＲ（ｙ｜ｘ；Λ，Θ，Γ）を用いて周辺確率を計算する点が異なる。
パラメタ更新手段２１５は、収束判定手段２３によって、収束していないと判定された場合に、生成モデル用パラメタベクトル集合Θ(t)を更新するものである。
【００７７】
この生成モデル学習手段２１において、ラベルなしデータＤuを用いて式（１４）で示される目的関数Ｇ（Θ｜Γ）を最大化させることは、あらゆる未知入力系列ｘに対して、出力系列ｙ間の識別関数ｇが大きい値を与えることを意味し、それは、識別の信頼性を高くすることに貢献する。なぜならば、仮に、識別関数ｇがすべての出力系列ｙに対して非常に小さい値を与えるような状況を想定してみると、すべての出力系列ｙ間での識別関数ｇの値の差が非常に小さくなってほぼ同じ値となることと等価であるために、識別の信頼性は低いと考えることができるからである。また、系列構造予測器学習手段２０は、ラベルなしデータＤuを識別関数ｇのすべての出力に対する総和を最大化（増加）させるためにのみに利用するのであって、ラベルなしデータＤuを最終的な系列構造予測器の最適化には直接用いることはしない。これは、ラベルなしデータＤuは正解出力が不明であるため、出力系列ｙに対する識別器の最適化には貢献できないためである。
【００７８】
≪モデル統合学習手段≫
モデル統合学習手段２２は、任意の生成モデル用パラメタベクトル集合Θに対して、モデル統合用パラメタ集合Γに対する事後確率最大化（ＭＡＰ：Maximum A Posteriori）によるパラメタ推定（ＭＡＰ推定）を行うものであり、目的関数（第２目的関数）を最大化するようなモデル統合用パラメタ集合Γを推定する。このモデル統合学習手段２２は、出力候補グラフ生成手段２２１と、特徴抽出手段２２２と、目的関数計算手段２２３と、識別モデル用偏微分計算手段２２４と、生成モデル用偏微分計算手段２２５と、パラメタ更新手段２２６とを備えている。このうち、出力候補グラフ生成手段２２１と、特徴抽出手段２２２とは、図２に示した識別モデル学習手段１０の出力候補グラフ生成手段１１と、特徴抽出手段１２と同様なので説明を省略する。また、モデル統合学習手段２２は、前記した式（１）に示すラベルありデータＤlを用いる。
【００７９】
目的関数計算手段２２３は、モデル統合用パラメタ集合Γ(t)が入力された目的関数（第２目的関数）ＬSS-Hybを計算するものである。目的関数ＬSS-Hyb（Γ｜Θ）は、式（１６）で定義される。ただし、ｐ（Γ）をΓの事前確率分布とする。
【００８０】
【数１２】
2008225907.tif 000014
【００８１】
任意の固定されたΘ上で、目的関数ＬSS-Hyb（Γ｜Θ）はパラメタ集合Γに対して凸関数となるので、この最適化は大域的最適解が保証される。よって、目的関数ＬSS-Hyb（Γ｜Θ）の勾配を計算すれば、Ｌ−ＢＦＧＳといった勾配を用いる最適化アルゴリズムを適用して容易に解を得ることができる。
【００８２】
識別モデル用偏微分計算手段２２４は、式（１６）に示す目的関数ＬSS-Hyb（Γ｜Θ）を識別モデル（本実施形態ではＣＲＦ）用のモデル統合パラメタγiで偏微分する計算を行うものである。具体的には、識別モデル用偏微分計算手段２２４は、式（１７）の右辺を計算する。式（１７）の右辺第１項と第２項とは最適化処理中には定数となるため、事前に一度計算しておけばよい。式（１７）の右辺第３項の計算については、説明の都合上、後記する。
【００８３】
【数１３】
2008225907.tif 000015
【００８４】
生成モデル用偏微分計算手段２２５は、式（１６）に示す目的関数ＬSS-Hyb（Γ｜Θ）を生成モデル用のモデル統合パラメタγjで偏微分する計算を行うものである。具体的には、生成モデル用偏微分計算手段２２５は、式（１８）の右辺を計算する。
【００８５】
【数１４】
2008225907.tif 000016
【００８６】
式（１８）の右辺第１項は最適化処理中には定数となるため、事前に一度計算しておけばよい。次に、式（１８）の右辺第２項の計算について、前記した式（１７）の右辺第３項の計算と合わせて説明する。ここで、前記した式（６）右辺の分母をＮR（ｘ）で表すとすると、前記した式（６）は式（１９）のように書き表すことができる。
【００８７】
【数１５】
2008225907.tif 000017
【００８８】
この式（１９）によれば、各位置ｓのコストは、識別モデルと生成モデルの各位置ｓに対応する値の総乗で求められ、式（１９）に示す条件付き確率Ｒ（ｙ｜ｘ；Λ，Θ，Γ）は、そのコストのすべての位置での総乗と全体の比率で表される。式（１７）の右辺第３項と式（１８）の右辺第２項は、各モデルの出力値に対する期待値であるため式（１９）から、forward-backwardアルゴリズムを用いて効率的に計算できる。つまり、Γの推定は、従来、条件付き確率場で用いられていたものと全く同じforward-backwardアルゴリズムを用いて効率的に導出できる。
パラメタ更新手段２２６は、収束判定手段２３によって、収束していないと判定された場合に、モデル統合用パラメタ集合Γ(t)を更新するものである。
【００８９】
本実施形態では、収束判定手段２３の判別する収束条件として、式（２０）で示すΔが所定値以下になったときに収束したものと判定する。これは、モデル統合用パラメタ集合Γが、固定の生成モデル用パラメタベクトル集合Θに対して大域的最適解を持つためである。なお、式（２０）に示すΔの代わりに、例えば、｜Θ(t)−Θ(t-1)｜、｜Γ(t)−Γ(t-1)｜等を用いるようにしても構わない。
【００９０】
【数１６】
2008225907.tif 000018
【００９１】
以上の構成によって、収束判定手段２３は、収束したと判定した場合には、その時点の生成モデル用パラメタベクトル集合Θを生成モデル用パラメタベクトル集合記憶手段５２に出力すると共に、その時点のモデル統合用パラメタ集合Γをモデル統合用パラメタ集合記憶手段５３に出力する。出力される生成モデル用パラメタベクトル（列ベクトル）の一例を図１２に示す。また、出力されるモデル統合用パラメタ集合の一例を列ベクトル形式で図１３に示す。
【００９２】
なお、生成モデル学習手段２１と、モデル統合学習手段２２とは、ＣＰＵが記憶手段のＨＤＤ等に格納された所定のプログラムをＲＡＭに展開して実行することによりその機能が実現されるものである。
【００９３】
［言語解析モデル作成装置の動作］
図１に示した言語解析モデル作成装置の動作について主に言語解析モデル学習装置２の動作を中心に図１４を参照（適宜図１および図２参照）して説明する。図１４は、図１に示した言語解析モデル作成装置の動作を示すフローチャートである。言語解析モデル作成装置１の言語解析モデル学習装置２は、ラベルありデータＤl、ラベルなしデータＤu、および、学習支援情報を入力する（ステップＳ１）。学習支援情報としては、対象とする問題により自動的に決定される「出力ラベル候補集合」、対象とする問題により人手にて決定される「識別モデル用特徴抽出テンプレートおよび生成モデル用特徴抽出テンプレート」を入力する。
【００９４】
そして、言語解析モデル学習装置２は、識別モデル学習手段１０によって、ラベルありデータＤl′、出力ラベル候補集合、および、識別モデル用特徴抽出テンプレートを用いて、教師あり学習処理（条件付き確率場）を実行し（ステップＳ２）、教師あり学習処理の結果得られた識別モデル用パラメタベクトル集合Λを識別モデル用パラメタベクトル集合記憶手段５１に出力する（ステップＳ３）。そして、言語解析モデル学習装置２は、系列構造予測器学習手段２０によって、識別モデル用パラメタベクトル集合記憶手段５１から識別モデル用パラメタベクトル集合Λを取得して入力し（ステップＳ４）、生成モデル用パラメタベクトル集合Θおよびモデル統合用パラメタ集合Γをｔ＝０で初期化する（ステップＳ５）。
【００９５】
次に、言語解析モデル学習装置２は、系列構造予測器学習手段２０の生成モデル学習手段２１によって、ラベルなしデータＤu、出力ラベル候補集合、および、生成モデル用特徴抽出テンプレートを用いて、生成モデル用パラメタベクトル集合推定処理を実行する（ステップＳ６）。この処理は、詳細は後記するが、固定したΛとΓの下でΘを推定するものである。そして、言語解析モデル学習装置２は、系列構造予測器学習手段２０のモデル統合学習手段２２によって、ラベルありデータＤL、出力ラベル候補集合を用いて、モデル統合用パラメタ集合推定処理を実行する（ステップＳ７）。この処理は、詳細は後記するが、固定したΛとΘの下でΓを推定するものである。
【００９６】
そして、言語解析モデル学習装置２は、収束判定手段２３によって、モデル統合用パラメタ集合Γが収束したか否かを判別する（ステップＳ８）。収束していない場合（ステップＳ８：Ｎｏ）、言語解析モデル学習装置２は、系列構造予測器学習手段２０によって、現在のｔの値に「１」を加え（ステップＳ９）、ステップＳ６に戻る。一方、収束した場合（ステップＳ８：Ｙｅｓ）、言語解析モデル学習装置２は、系列構造予測器学習手段２０によって、現時点の生成モデル用パラメタベクトル集合Θおよびモデル統合用パラメタ集合Γを出力する（ステップＳ１０）。そして、言語解析モデル作成装置１のパラメタ統合装置３は、言語解析モデル学習装置２から出力される生成モデル用パラメタベクトル集合Θ、モデル統合用パラメタ集合Γ、および識別モデル用パラメタベクトル集合Λを、単一のパラメタ集合に統合する（ステップＳ１１）。
【００９７】
＜教師あり学習処理＞
図１５は、図１４に示した教師あり学習処理を示すフローチャートである。言語解析モデル学習装置２の識別モデル学習手段１０は、出力候補グラフ生成手段１１によって、入力されたラベルありデータＤl′から出力候補グラフを生成する（ステップＳ２１）。そして、識別モデル学習手段１０は、特徴抽出手段１２によって、出力候補グラフから、推定する位置のラベルと識別モデル用特徴抽出テンプレートに記述された入力系列中のインスタンスとの組み合わせにより特徴を抽出する（ステップＳ２２）。そして、識別モデル学習手段１０は、識別モデル用パラメタベクトルλの初期値をパラメタ学習手段１３に入力する（ステップＳ２３）。次に、識別モデル学習手段１０のパラメタ学習手段１３は、目的関数計算手段１３１によって、前記した式（１１）で示される目的関数ＬCRF（λ）を計算する（ステップＳ２４）。そして、パラメタ学習手段１３は、目的関数勾配計算手段１３２によって、目的関数の勾配∇ＬCRF（λ）を前記した式（１２）に基づいて計算し（ステップＳ２５）、収束判定手段１３３によって、目的関数の勾配∇ＬCRF（λ）の値が収束したか否かを判別する（ステップＳ２６）。収束した場合（ステップＳ２６：Ｙｅｓ）、識別モデル学習手段１０は、その時点の識別モデル用パラメタベクトルλを識別モデル用パラメタベクトル集合記憶手段５１に出力する（ステップＳ２７）。一方、収束していない場合（ステップＳ２６：Ｎｏ）、パラメタ学習手段１３は、パラメタ更新手段１３４によって、パラメタベクトルλを更新する（ステップＳ２８）。
【００９８】
＜生成モデル用パラメタベクトル集合推定処理＞
図１６は、図１４に示した生成モデル用パラメタベクトル集合推定処理を示すフローチャートである。言語解析モデル学習装置２の生成モデル学習手段２１は、出力候補グラフ生成手段２１１によって、入力されたラベルなしデータＤuから出力候補グラフを生成する（ステップＳ４１）。そして、生成モデル学習手段２１は、特徴抽出手段２１２によって、出力候補グラフから、推定する位置のラベルと生成モデル用特徴抽出テンプレートに記述された入力系列中のインスタンスとの組み合わせにより特徴を抽出する（ステップＳ４２）。そして、生成モデル学習手段２１は、生成モデル用パラメタベクトル集合Θ(t)を目的関数計算手段２１３に入力する（ステップＳ４３）。次に、生成モデル学習手段２１は、目的関数計算手段２１３によって、前記した式（１４）に示す目的関数Ｇ（Θ｜Γ）を計算し（ステップＳ４４）、補助関数計算手段２１４によって、式（１５）に示すＱ関数（Ｑ（Θ′，Θ；Γ））を計算する（ステップＳ４５）。そして、生成モデル学習手段２１は、処理の結果として生成モデル用パラメタベクトル集合Θ(t+1)を収束判定手段２３に出力する（ステップＳ４６）。
【００９９】
＜モデル統合用パラメタ集合推定処理＞
図１７は、図１４に示したモデル統合用パラメタ集合推定処理を示すフローチャートである。言語解析モデル学習装置２のモデル統合学習手段２２は、出力候補グラフ生成手段２２１によって、入力されたラベルありデータＤlから出力候補グラフを生成する（ステップＳ６１）。そして、モデル統合学習手段２２は、特徴抽出手段２２２によって、出力候補グラフから、推定する位置のラベルと識別モデル用特徴抽出テンプレートに記述された入力系列中のインスタンスとの組み合わせにより特徴を抽出する（ステップＳ６２）。そして、モデル統合学習手段２２は、モデル統合用パラメタ集合Γ(t)を目的関数計算手段２２３に入力する（ステップＳ６３）。次に、モデル統合学習手段２２は、目的関数計算手段２２３によって、前記した式（１６）に示す目的関数ＬSS-Hyb（Γ｜Θ）を計算し（ステップＳ６４）、識別モデル用偏微分計算手段２２４によって、前記した式（１７）に基づいて、識別モデルのパラメタγiによる偏微分を計算し（ステップＳ６５）、生成モデル用偏微分計算手段２２５によって、前記した式（１８）に基づいて、生成モデルのパラメタγjによる偏微分を計算する（ステップＳ６６）。そして、モデル統合学習手段２２は、処理の結果としてモデル統合用パラメタ集合Γ(t+1)を収束判定手段２３に出力する（ステップＳ６７）。
【０１００】
なお、言語解析モデル学習装置２は、一般的なコンピュータに、前記した各ステップを実行させる言語解析モデル学習プログラムを実行することで実現することもできる。このプログラムは、通信回線を介して配布することも可能であるし、ＣＤ−ＲＯＭ等の記録媒体に書き込んで配布することも可能である。
【０１０１】
本実施形態の言語解析モデル学習装置２によれば、ラベルなしデータＤuを利用して生成モデル用パラメタベクトル集合Θを決定し、決定された生成モデル用パラメタベクトル集合ΘとラベルありデータＤlとを利用してモデル統合用パラメタ集合Γを決定することで、生成アプローチにより取り込んだラベルなしデータＤuを識別アプローチにより学習することができる。そのため、獲得が比較的簡単なラベルなしデータＤuを利用して構造予測器の学習を行うことが可能となる。その結果、ラベルありデータＤlの量が同じであれば、従来の条件付き確率場の学習方法よりも性能がよい構造予測器の学習を行うことが可能となる。また、あるドメインのラベルありデータＤlが存在しない場合に、同タスク別ドメインのラベルありデータＤlを用いて学習した構造予測器と、対象ドメインのラベルなしデータＤuとを用いて学習を行うことが可能となる。つまり、従来、ラベルありデータＤlが存在しない場合には予測が困難であったドメインに対して、ラベルなしデータＤuを獲得するコストのみで、高性能の構造予測器を作成することが可能となる。
【０１０２】
以上、本発明の実施形態について説明したが、本発明はこれに限定されるものではなく、その趣旨を変えない範囲で実施することができる。例えば、本実施形態では、識別モデル学習手段１０で利用するラベルありデータと、モデル統合学習手段２２で利用するラベルありデータとを別のものとして説明したが、これに限定されるものではなく、同一であっても構わない。ただし、それぞれの処理部で異なるラベルありデータを用いた方が、適合性の高い言語解析モデルが構築できることが多いことが実験的に分かっているので、識別モデル学習手段１０とモデル統合学習手段２２とでそれぞれ利用するラベルありデータは異なる方が好ましい。
【０１０３】
また、本実施形態では、識別モデル用特徴抽出テンプレートおよび生成モデル用特徴抽出テンプレートが、対象とする問題により人手にて決定されるものとして説明したが、複数の問題に対応できるように予め作成された複数のテンプレートを用意しておき、対象とする問題を入力することで自動的にテンプレートを選択するように構成してもよい。
また、本実施形態では、言語解析モデル学習装置２は、識別モデル学習手段１０を備えるベストモードの構成で説明したが、予め学習された識別モデル用パラメタベクトル集合Λを利用できるように構成していれば、識別モデル学習手段１０を備えていなくてもよい。
また、本実施形態では、パラメタ統合装置３は、言語解析モデル学習装置２とは別に設けるものとして説明したが、言語解析モデル学習装置２に含めて構成するようにしてもよい。
【図面の簡単な説明】
【０１０４】
【図１】本発明の実施形態に係る言語解析モデル作成装置の概要を模式的に示す構成図である。
【図２】図１に示した言語解析モデル学習装置の構成を模式的に示す機能ブロック図である。
【図３】図２に示した言語解析モデル学習装置に入力する情報の例を示す図であって、（ａ）はラベルありデータ、（ｂ）は出力ラベル候補集合をそれぞれ示している。
【図４】図２に示した言語解析モデル学習装置で生成される出力候補グラフの一例を模式的に示す図である。
【図５】識別モデル用特徴抽出テンプレートの例を示す図である。
【図６】図５に示した識別モデル用特徴抽出テンプレートで抽出される特徴の例を示す図である。
【図７】図４に丸で示したノードに対して、図５に示した識別モデル用特徴抽出テンプレートを用いて作成された特徴ベクトルの説明図である。
【図８】図２に示した識別モデル学習手段から出力される識別モデル用パラメタベクトルの一例を示す図である。
【図９】図２に示した系列構造予測器学習手段の構成を模式的に示す機能ブロック図である。
【図１０】生成モデル用特徴抽出テンプレートの例を示す図である。
【図１１】図１０に示した生成モデル用特徴抽出テンプレートで抽出される特徴の例を示す図である。
【図１２】図９に示した系列構造予測器学習手段から出力される生成モデル用パラメタベクトルの一例を示す図である。
【図１３】図９に示した系列構造予測器学習手段から出力されるモデル統合用パラメタ集合の一例を示す図である。
【図１４】図１に示した言語解析モデル作成装置の動作を示すフローチャートである。
【図１５】図１４に示した教師あり学習処理を示すフローチャートである。
【図１６】図１４に示した生成モデル用パラメタベクトル集合推定処理を示すフローチャートである。
【図１７】図１４に示したモデル統合用パラメタ集合推定処理を示すフローチャートである。
【図１８】系列構造予測問題で扱う入力系列および出力系列の例を模式的に示す図である。
【符号の説明】
【０１０５】
１      言語解析モデル作成装置
２      言語解析モデル学習装置
１０    識別モデル学習手段
１１    出力候補グラフ生成手段
１２    特徴抽出手段
１３    パラメタ学習手段
１３１  目的関数計算手段
１３２  目的関数勾配計算手段
１３３  収束判定手段
１３４  パラメタ更新手段
２０    系列構造予測器学習手段
２１    生成モデル学習手段
２１１  出力候補グラフ生成手段
２１２  特徴抽出手段
２１３  目的関数計算手段
２１４  補助関数計算手段
２１５  パラメタ更新手段
２２    モデル統合学習手段
２２１  出力候補グラフ生成手段
２２２  特徴抽出手段
２２３  目的関数計算手段
２２４  識別モデル用偏微分計算手段
２２５  生成モデル用偏微分計算手段
２２６  パラメタ更新手段
２３    収束判定手段
３      パラメタ統合装置（パラメタ統合手段）
４      学習支援情報記憶手段
４１    識別モデル用特徴抽出テンプレート記憶手段
４２    生成モデル用特徴抽出テンプレート記憶手段
４３    出力ラベル候補記憶手段
５      パラメタ集合記憶手段
５１    識別モデル用パラメタベクトル集合記憶手段
５２    生成モデル用パラメタベクトル集合記憶手段
５３    モデル統合用パラメタ集合記憶手段
６      言語解析モデル記憶手段
７      系列構造予測装置
【図１】
2008225907.tif 000019
【図２】
2008225907.tif 000020
【図３】
2008225907.tif 000021
【図４】
2008225907.tif 000022
【図５】
2008225907.tif 000023
【図６】
2008225907.tif 000024
【図７】
2008225907.tif 000025
【図８】
2008225907.tif 000026
【図９】
2008225907.tif 000027
【図１０】
2008225907.tif 000028
【図１１】
2008225907.tif 000029
【図１２】
2008225907.tif 000030
【図１３】
2008225907.tif 000031
【図１４】
2008225907.tif 000032
【図１５】
2008225907.tif 000033
【図１６】
2008225907.tif 000034
【図１７】
2008225907.tif 000035
【図１８】
2008225907.tif 000036