(57)【要約】【課題】文単位の任意の素性を利用し、予め解候補を用意せずに依存構造の解析を行うことが可能な言語処理装置、言語処理方法、およびコンピュータプログラムを提供する。【解決手段】言語処理装置は、文節単位の素性を用いて依存構造を解析するための確率モデルのパラメータである文節単位モデルパラメータを推定する文節単位モデルパラメータ推定部（１３２）と；文単位の素性を用いて依存構造を解析するための確率モデルのパラメータである文単位モデルパラメータを推定する文単位モデルパラメータ推定部（１３４）と；上記文単位モデルパラメータと上記文節単位モデルパラメータとによって特徴付けられる確率モデルから入力文に対する依存構造のサンプルを生成する動的サンプル生成部（１１２）と；上記動的サンプル生成部により生成された上記入力文に対する依存構造のサンプルから最適な依存構造を決定する依存構造決定部（１１３）とを備える。【選択図】図１
2008176667.tif 000002
【特許請求の範囲】
【請求項１】
入力文に対する依存構造を解析する言語処理装置であって：
文節単位の素性を用いて依存構造を解析するための確率モデルのパラメータである文節単位モデルパラメータを推定する文節単位モデルパラメータ推定部と；
文単位の素性を用いて依存構造を解析するための確率モデルのパラメータである文単位モデルパラメータを推定する文単位モデルパラメータ推定部と；
前記文単位モデルパラメータと前記文節単位モデルパラメータとによって規定される確率モデルから入力文に対する依存構造のサンプルを生成するサンプル生成部と；
前記サンプル生成部により生成された前記入力文に対する依存構造のサンプルから最適な依存構造を決定する依存構造決定部と；
を備えることを特徴とする、言語処理装置。
【請求項２】
前記依存構造決定部は、前記サンプル生成部により生成された前記入力文に対する依存構造のサンプルを基に近似的に計算された周辺確率を最大化することで、前記入力文中の各文節の係り先を決定することを特徴とする、請求項１に記載の言語処理装置。
【請求項３】
前記依存構造決定部は、前記入力文中の任意の文節からその前方の文節へ係る確率は０であり、前記入力文中の最後の文節が前記入力文全体の主辞になる確率は１であり、前記入力文中の最後から１つ手前の文節が該最後の文節に係る確率は１であるという制約に従い、前記入力文中の各文節の係り先を決定することを特徴とする、請求項２に記載の言語処理装置。
【請求項４】
入力文に対する依存構造を解析する言語処理方法であって：
文節単位の素性を用いて依存構造を解析するための確率モデルのパラメータである文節単位モデルパラメータを推定する文節単位モデルパラメータ推定ステップと；
文単位の素性を用いて依存構造を解析するための確率モデルのパラメータである文単位モデルパラメータを推定する文単位モデルパラメータ推定ステップと；
前記文単位モデルパラメータと前記文節単位モデルパラメータとによって規定される確率モデルから入力文に対する依存構造のサンプルを生成するサンプル生成ステップと；
前記サンプル生成ステップで生成した前記入力文に対する依存構造のサンプルから最適な依存構造を決定する依存構造決定ステップと；
を含んで成ることを特徴とする、言語処理方法。
【請求項５】
入力文に対する依存構造を解析する言語処理装置としてコンピュータを機能させるコンピュータプログラムであって：
文節単位の素性を用いて依存構造を解析するための確率モデルのパラメータである文節単位モデルパラメータを推定する文節単位モデルパラメータ推定ステップと；
文単位の素性を用いて依存構造を解析するための確率モデルのパラメータである文単位モデルパラメータを推定する文単位モデルパラメータ推定ステップと；
前記文単位モデルパラメータと前記文節単位モデルパラメータとによって規定される確率モデルから入力文に対する依存構造のサンプルを生成するサンプル生成ステップと；
前記サンプル生成ステップで生成した前記入力文に対する依存構造のサンプルから最適な依存構造を決定する依存構造決定ステップと；
を備えることを特徴とする、コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、言語を解析する言語処理装置、言語処理方法、およびコンピュータプログラムに関する。
【背景技術】
【０００２】
機械翻訳システム等の言語処理装置で機械翻訳する場合、例えば、使用者によって入力された入力文に対して構文解析等を行ない、この構文解析等により得た入力文の構造に基づいて翻訳処理をすることが行われる。
【０００３】
上記言語処理装置では、入力された入力文の依存構造を解析する必要が度々発生する。なお、依存構造とは、例えば、単語間又は文節間の修飾／被修飾の関係（係り受け関係）を表す構造のことをいう。
【０００４】
【非特許文献１】内元清貴、外２名、“最大エントロピー法に基づくモデルを用いた日本語係り受け解析”、情報処理学会論文誌、１９９９、Ｖｏｌ．４０、Ｎｏ．９、ｐ３３９７−３４０７
【非特許文献２】工藤拓、松本裕治、“チャンキングの段階適用による日本語係り受け解析”、情報処理学会論文誌、２００２、Ｖｏｌ．４３、Ｎｏ．６、ｐ１８３４−１８４１
【非特許文献３】Ｃｏｌｌｉｎｓ  ａｎｄ  Ｋｏｏ、“Ｄｉｓｃｒｉｍｉｎａｔｉｖｅ  Ｒｅｒａｎｋｉｎｇ  ｆｏｒ  Ｎａｔｕｒａｌ  Ｌａｎｇｕａｇｅ  Ｐａｒｓｉｎｇ”、Ｃｏｍｐｕｔａｔｉｏｎａｌ  Ｌｉｎｇｕｉｓｔｉｃｓ、２００４、Ｖｏｌ．３１、Ｎｏ．１
【発明の開示】
【発明が解決しようとする課題】
【０００５】
上記依存構造を解析する方法としては、規則に基づく方法や統計的手法が考えられ、当該統計的手法は依存構造解析に必要なパラメータ等を学習用データから自動的に推定できるという利点がある（例えば、非特許文献１参照）。統計的手法に基づく依存構造解析では、データ中に含まれる手がかりとなる情報（素性）をもとにして、未知の文に対する依存構造を決定する。そのため、どのような素性を利用するかによって依存構造解析の精度が左右される。
【０００６】
上記の非特許文献１では、最大エントロピーモデルを用いて２つの文節が係り受け関係を持つ確率を計算することにより、統計的に文の依存構造を求めている。
【０００７】
しかしながら、上記非特許文献１に示す依存構造の解析方法では、文中の各係り受け関係は独立であると仮定し、利用できる素性が限定されているため、この仮定が成り立たない場合は解析に失敗する可能性があるという問題がある。
【０００８】
また、上記の非特許文献２では、サポートベクターマシンを用いて、隣り合う２つの文節が係るか若しくは係らないかの判定を段階的に適用していくことにより、文全体の依存構造を決定している。
【０００９】
上記の非特許文献２に示す依存構造の解析方法では、文中の各係り受け関係が独立であるとは仮定せず、ある２つの文節が係り受け関係にあるかどうかを判定する際に、着目している係り元文節に係る文節、着目している係り先文節に係る文節、着目している係り先文節が係る文節から得られる素性も考慮する。このような素性を利用することで、より高い精度で文の依存構造を決定することができる。
【００１０】
しかしながら、上記の非特許文献２に示す依存構造の解析方法では、逐次的に決定的な解析を行っている、という問題がある。
【００１１】
つまり、文中の係り受け関係を１つずつ順番に判定しているため、既に係り受け関係の判定された文節から得られる素性は利用することができるが、まだ係り受け関係が判定されていない文節から得られる素性は利用することができない。
【００１２】
以上のように、上記の非特許文献２に示す依存構造の解析方法では、各文節の係り先は独立であると仮定した場合の文節単位の素性だけではなく、文中に含まれる複数の文節の各係り先のような文単位の素性を一部利用することができるが、利用できる情報は限られており、文単位の任意の素性を必ずしも利用できるとは限らない。
【００１３】
また、上記の非特許文献３では、上述のような問題を解決するために、リランキングに基づく方法を利用している。この方法ではまず始めに従来手法を用いて、正解であると思われる解候補の上位ｘ個（例えばｘ＝３０）を得る。
【００１４】
次に、そのｘ個の各候補に対して、文単位の素性を用いてどの候補が最も正しいと思われるかを決定する。この方法では、ｘ個の各候補は既に文中の全ての係り受け関係が決定されているため、文単位の任意の素性を利用することができる。
【００１５】
しかしながら、上記の非特許文献３に示す依存構造の解析方法では、始めに得るｘ個の解候補の中に正解が含まれていなければ、どのようにしても正しい答えを出力することはできない、という問題があった。
【００１６】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、文単位の任意の素性を利用し、予め解候補を用意せずに依存構造の解析を行うことが可能な、新規かつ改良された言語処理装置、言語処理方法、およびコンピュータプログラムを提供することにある。
【課題を解決するための手段】
【００１７】
上記課題を解決するため、本発明の第１の観点によれば、入力文の依存構造を解析する言語処理装置が提供される。上記言語処理装置は、文節単位の素性を用いて依存構造を解析するための確率モデルのパラメータである文節単位モデルパラメータを推定する文節単位モデルパラメータ推定部と；文単位の素性を用いて依存構造を解析するための確率モデルのパラメータである文単位モデルパラメータを推定する文単位モデルパラメータ推定部と；上記文単位モデルパラメータと上記文節単位モデルパラメータとによって規定される確率モデルから入力文に対する依存構造のサンプルを生成するサンプル生成部と；上記サンプル生成部により生成された上記入力文に対する依存構造のサンプルから最適な依存構造を決定する依存構造決定部と；を備えることを特徴としている。
【００１８】
本発明によれば、上記言語処理装置は、上記文節単位モデルパラメータだけでなく、当該文節単位モデルパラメータと上記文単位モデルパラメータとによって規定される確率モデルから入力文に対する依存構造のサンプルをギブスサンプリング等により動的に生成するため、より一層適切な依存構造を決定することができ、より一層精度の高い解析を実現することができる。
【００１９】
上記依存構造決定部は、上記サンプル生成部により生成された上記入力文に対する依存構造のサンプルを基に近似的に計算される周辺確率を最大化することで、上記入力文中の各文節の係り先を決定するようにしてもよい。なお、上記入力文中の各文節の係り先が決定することにより、上記入力文に対する依存構造を決定することができる。
【００２０】
上記依存構造決定部は、上記入力文中の任意の文節からその前方の文節へ係る確率は０であり、上記入力文中の最後の文節が上記入力文全体の主辞になる確率は１であり、上記入力文中の最後から１つ手前の文節が該最後の文節に係る確率は１であるという制約に従い、上記入力文中の各文節の係り先を決定するようにしてもよい。
【００２１】
上記課題を解決するために、本発明の別の観点によれば、入力文の依存構造を解析する言語処理方法が提供される。上記言語処理方法は、文節単位の素性を用いて依存構造を解析するための確率モデルのパラメータである文節単位モデルパラメータを推定する文節単位モデルパラメータ推定ステップと；文単位の素性を用いて依存構造を解析するための確率モデルのパラメータである文単位モデルパラメータを推定する文単位モデルパラメータ推定ステップと；上記文単位モデルパラメータと上記文節単位モデルパラメータとによって規定される確率モデルから入力文に対する依存構造のサンプルを生成する動的サンプル生成ステップと；上記動的サンプル生成ステップで生成した上記入力文に対する依存構造のサンプルから最適な依存構造を決定する依存構造決定ステップと；を含んで構成されることを特徴としている。
【００２２】
上記依存構造決定ステップでは、上記動的サンプル生成ステップで生成した上記入力文に対する依存構造のサンプルを基に近似的に計算される周辺確率を最大化することで、上記入力文中の各文節の係り先を決定するようにしてもよい。
【００２３】
上記依存構造決定ステップでは、上記入力文中の任意の文節からその前方の文節へ係る確率は０であり、上記入力文中の最後の文節が上記入力文全体の主辞になる確率は１であり、上記入力文中の最後から１つ手前の文節が該最後の文節に係る確率は１であるという制約に従い、上記入力文中の各文節の係り先を決定するようにしてもよい。
【００２４】
上記課題を解決するために、本発明の別の観点によれば、入力文の依存構造を解析する言語処理装置としてコンピュータを機能させるコンピュータプログラムが提供される。上記コンピュータプログラムは、文節単位の素性を用いて依存構造を解析するための確率モデルのパラメータである文節単位モデルパラメータを推定する文節単位モデルパラメータ推定ステップと；文単位の素性を用いて依存構造を解析するための確率モデルのパラメータである文単位モデルパラメータを推定する文単位モデルパラメータ推定ステップと；上記文単位モデルパラメータと上記文節単位モデルパラメータとによって規定される確率モデルから入力文に対する依存構造のサンプルを生成する動的サンプル生成ステップと；上記動的サンプル生成ステップで生成した上記入力文に対する依存構造のサンプルから最適な依存構造を決定する依存構造決定ステップと；を備えることを特徴としている。
【発明の効果】
【００２５】
以上説明したように、本発明によれば、文中の文節の係り先を確率的に変化させることを繰り返すギブスサンプリングなどを用いて依存構造の解析を行うため、文節単位の素性に限らず、文単位の任意の素性を利用することができ、予め解候補を用意せずに依存構造の解析を行うことができる。
【発明を実施するための最良の形態】
【００２６】
以下、本発明の好適な実施の形態について、添付図面を参照しながら詳細に説明する。なお、以下の説明及び添付図面において、略同一の機能及び構成を有する構成要素については、同一符号を付することにより、重複説明を省略する。
【００２７】
（言語処理装置１０１について）
まず、図１を参照しながら、本実施形態の言語処理装置について説明する。なお、図１は、本実施の形態に係る言語処理装置の概略的な構成を示すブロック図である。
【００２８】
本実施形態の言語処理装置は、機能的には、図１に示すことができる。
【００２９】
図１に示すように、言語処理装置１０１は、入力された文中の依存構造を解析して係り受け関係を決定する解析部１１０と、依存構造の解析を行う際に使用されるモデルのパラメータを格納するモデル格納部１２０と、構文解析済みコーパスからモデルパラメータの学習を行うパラメータ推定部１３０とを備えている。
【００３０】
上記解析部１１０は、図１に示すように、依存構造を解析する文を入力文として使用者から入力を受け付けるための入力部１１１と、動的サンプル生成部１１２と、依存構造決定部１１３と、依存構造が決定された文を使用者等に出力する出力部１１４とを備えている。
【００３１】
上記動的サンプル生成部１１２は、上記入力部１１１で受け付けた入力文に対して文節単位モデルパラメータ格納部１２１と文単位モデルパラメータ格納部１２２に格納された情報を用いて、これらのモデルパラメータによって特徴付けられる（又は、規定される、モデル化される）確率分布から１又は２以上のサンプルを生成する。
【００３２】
上記依存構造決定部１１３は、上記動的サンプル生成部１１２により生成されたサンプルを利用して入力文の依存構造を決定する。
【００３３】
なお、本実施の形態にかかる入力部１１１は、例えば、使用者から依存構造を解析する文を受けることが可能なキーボード、ボタン等の入力手段を例示することができるが、使用者又はプログラムなどから依存構造を解析する文を受けることが可能であれば、かかる例に限定されず、例えば、マウス、スタイラスペン、またはジョイスティックなどの場合でもよい。
【００３４】
また、本実施の形態にかかる出力部１１４は、依存構造の解析結果を利用するもの（例えば、使用者又はプログラムなど）に、当該依存構造の解析結果を出力することができれば、如何なるものでもよい。
【００３５】
また、図１に示すように、上記モデル格納部１２０は、文節単位モデルパラメータ格納部１２１と、文単位モデルパラメータ格納部１２２とを備えている。
【００３６】
上記文節単位モデルパラメータ格納部１２１は、動的サンプル生成部１１２及びパラメータ推定用サンプル生成部１３３で使用される文節単位モデルのパラメータを格納し記憶している。なお、上記文節単位モデルのパラメータは、文節単位の素性を用いて依存構造を解析するための文節単位モデルに係るパラメータであり、文節単位モデルパラメータ推定部１３２により求められるが、詳細は後述する。
【００３７】
上記文単位モデルパラメータ格納部１２２は、動的サンプル生成部１１２で使用される文単位モデルのパラメータを格納し記憶している。なお、上記文単位モデルのパラメータは、文単位の素性を用いて依存構造を解析するための文単位モデルに係るパラメータであり、文単位モデルパラメータ推定部１３４により求められるが、詳細は後述する。
【００３８】
また、図１に示すように、上記パラメータ推定部１３０は、構文解析済みコーパス格納部１３１と、文節単位モデルパラメータ推定部１３２と、パラメータ推定用サンプル生成部１３３と、文単位モデルパラメータ推定部１３４とを備えている。
【００３９】
上記構文解析済みコーパス格納部１３１は、文節単位モデルパラメータ推定部１３２と、パラメータ推定用サンプル生成部１３３と、文単位モデルパラメータ推定部１３４とで使用される構文解析済みコーパスを格納し記憶している。
【００４０】
なお、上記構文解析済みコーパスは、自然言語処理のために構文解析がされたコーパスであり、ユーザ又はコンピュータ等によって構築される。
【００４１】
上記文節単位モデルパラメータ推定部１３２は、上記構文解析済みコーパス格納部１３１に格納された構文解析済みコーパスを用いて文節単位モデルのパラメータを求め、その結果を文節単位モデルパラメータ格納部１２１に送る。当該送られた文節単位モデルのパラメータは文節単位モデルパラメータ格納部１２１により格納される。
【００４２】
上記パラメータ推定用サンプル生成部１３３は、上記構文解析済みコーパス格納部１３１に格納された構文解析済みコーパスと、文節単位モデルパラメータ格納部１２１に格納された文節単位モデルパラメータとを用いて、そのパラメータにより規定される確率分布から上記構文解析済みコーパス中の各文に対する依存構造のサンプルを生成する。
【００４３】
さらに、上記パラメータ推定用サンプル生成部１３３は、上記生成したサンプルを文単位モデルパラメータ推定部１３４に送る。
【００４４】
上記文単位モデルパラメータ推定部１３４は、上記構文解析済みコーパス格納部１３１に格納された構文解析済みコーパスと、上記パラメータ推定用サンプル生成部１３３により生成されたサンプルとを用いて、文単位モデルのパラメータを求める。
【００４５】
さらに、上記文単位モデルパラメータ推定部１３４は、求めた結果（文単位モデルのパラメータ）を文単位モデルパラメータ格納部１２２に送る。当該文単位モデルパラメータ格納部１２２は、当該送られた文単位モデルのパラメータを格納する。
【００４６】
（依存構造の解析処理について）
次に、図２等を参照しながら、本実施の形態に係る依存構造の解析処理について説明する。なお、図２は、本実施形態に係る言語処理装置が、使用者から受け付けた入力文を依存構造の解析をして出力するまでの処理の概要を示すフローチャートである。
【００４７】
まず、図２に示すように、使用者が依存構造解析させたい文を入力部１１１を用いて入力する（Ｓ２０１）。ただし、入力部１１１によって入力された文は既に単語あるいは文節に分割されており、その品詞等も推定されているものとする。
【００４８】
ここでは、入力された文中のｔ番目の文節（又は、単語やその品詞等）をｗｔで表すことにする。また、入力文全体を入力文中の文節の集合Ｗで表すこととし、文中に含まれる文節の数を｜Ｗ｜で表すことにする。
【００４９】
つまり、上述を式に表すと下記の式（１）のようになる。
【００５０】
【数１】
2008176667.tif 000003
【００５１】
また、ｔ番目の文節の係り先が文中の何番目の文節であるかをｈｔで表すことにし、ｈｔの集合をＨで表すことにする。
【００５２】
つまり、上述を式に表すと下記の式（２）のようになる。
【００５３】
【数２】
2008176667.tif 000004
【００５４】
ただし、文全体の主辞である文節は係り先を持たないため、そのような単語の係り先は、例えば、０で表すこととする。
【００５５】
よって、本実施の形態に係る言語処理装置の目的である依存構造解析は、単語列Ｗが入力された時に、その各単語の係り先の集合Ｈを求めることである。
【００５６】
次に、上記入力部１１１で入力された単語列Ｗに対して、動的サンプル生成部１１２は、文節単位モデルパラメータ格納部１２１に格納された文節単位モデルパラメータと、文単位モデルパラメータ格納部１２２に格納された文単位モデルパラメータとを用いて、それらのパラメータ（文節単位モデルパラメータ、文単位モデルパラメータ）により規定される依存構造の確率分布からギブスサンプリングにより動的にサンプルを生成する（Ｓ２０２）。
【００５７】
以下、上記ギブスサンプリング（又は、ギブスサンプラー、熱浴法）について簡単に説明する。ギブスサンプリングとは、乱数を用いてつぎつぎに変数の値を書き換えることで、動的にサンプルを生成する手法である。
【００５８】
なお、上記変数の値を書き換える部分は、条件付き分布からのサンプリングにより行われる。変数ｘをいくつかの成分に分けて、ｘ＝｛ｘｉ｝，ｉ＝１，…，Ｎのように書き、ｘｉはもとからある自然な要素でも、それらをいくつかずつにまとめ直したものでもよいとする。
【００５９】
毎回、ひとつの成分ｘｉを選んで、現在のその値を忘れて新しく取り直すとする。新しく取り直す際には同じ成分の以前の値を参照しない。そのとき、新しいｘｉの値を、それ以外の成分を固定した条件付き確率Ｐ（ｘｉ｜ｘ１，…，ｘｉ−１，ｘｉ＋１，…，ｘＮ）で選ぶのがギブスサンプリングである。新しく取り直す際には同じ成分の以前の値を参照しないのが特徴である。連続変数なら条件付密度を考えることになる。
【００６０】
任意の初期状態から出発して、他の成分を固定した条件付き確率に従ってひとつの成分を取り直す、という操作を限りなく繰り返すわけである。成分ｉの選び方は毎回ランダムに選んでも、計算をはじめる前に決めた順番で順繰りに選んでも良い。
【００６１】
ギブスサンプリングは、問題を分割して、それぞれは効率良く扱えるものに分けて、それを統合するというアプローチである。ギブスサンプリングのポイントは、統合の仕方として条件付き分布からのサンプリングによって状態を部分的に更新していくという方法を取ることで、これによって、全体として、つじつまのあった計算を行い、かつ、高次元でも部分と全体とのギャップによって計算が破綻しないようにできる。
【００６２】
目標分布が事後分布π＊でその確率密度関数をπ（θ｜ｘ）とし、θはθ＝（θ１，…，θｐ）といくつかのブロックに分割できるとする。また、θ−ｉ＝（θ１，…，θｉ−１，θｉ＋１，…，θｐ）とｘが与えられたときの条件付事後分布π＊ｉの確率密度関数をπ（θｉ｜θ−ｉ，ｘ）とし、この条件付分布からのサンプリングが容易であると仮定する。
【００６３】
このとき、ギブスサンプリングのアルゴリズムは、
（１）初期値θ（０）＝（θ（０）１，θ（０）２，…，θ（０）ｐ）を決め、ｔ＝１とおく
（２）ｉ＝１，…，ｐについて
θ（ｔ）１，〜π（θｉ，｜θ（ｔ）−ｉ，ｘ），
θ（ｔ）−ｉ＝（θ（ｔ）１，…，θ（ｔ）ｉ−１，θ（ｔ−１）ｉ＋１，…，θ（ｔ−１）ｐ），
を発生させる。
（３）ｔをｔ＋１として（２）に戻る。
上記（２）と（３）を繰り返し、十分大きな数Ｎについてｔ≧Ｎのときθ（ｔ）＝（θ（ｔ）１，θ（ｔ）２，…，θ（ｔ）ｐ）を事後分布π＊の確率標本とする。
【００６４】
以上、本実施の形態にかかるギブスサンプリングについて説明を終了する。なお、動的サンプル生成部１１２が実行するギブスサンプリングは、参考文献２（伊庭幸人、外５名、“計算統計ＩＩ−マルコフ連鎖モンテカルロ法とその周辺−、岩波書店、２００５）に記載のギブスサンプリングと同じものである。
【００６５】
ここで、文単位の依存構造の確率分布、つまりＷが与えられた場合のＨの確率分布を、図３に示す式（３）のように定義する。
【００６６】
ただし、図３に示す式（３）におけるＺ（Ｗ）については、図４に示す式（４）のように定義する。
【００６７】
上記式（３）又は式（４）において、Ｑ（Ｈ｜Ｗ）は文節単位の素性を用いて計算される依存構造の確率分布であり、｛λｋ｝は文単位モデルパラメータであり、Ω（Ｗ）は文節集合Ｗが与えられた場合の取り得る任意のＨからなる集合であり、Ｆｋ（Ｗ，Ｈ）は任意の文単位の素性である。
【００６８】
上記Ｆｋ（Ｗ，Ｈ）としては、例えば、文中の各文節ｗｔについて、その文節の係り先ｗｈ´（ｈ´＝ｈｔ）と、さらにその文節の係り先ｗｈ″（ｈ″＝ｈｈ´）を利用することができる。
【００６９】
また、文中の各文節ｗｔについて、その文節に係る全ての文節｛ｗｔ´｜ｈｔ´＝ｔ｝と文節ｗｔの組を利用することもできる。さらに、文は文節の集合であるので、文単位の素性の一部に文節単位の素性を含んでいてもよい。
【００７０】
ここで、文節単位の素性を用いて計算される依存構造の確率分布Ｑ（Ｈ｜Ｗ）は、図５に示す式（５）〜式（７）のように定義する。
【００７１】
図５に示す式（５）〜式（７）の式において、μｌは文節単位モデルパラメータであり、ｇｌ（Ｗ，ｔ，ｈ）は文節列Ｗ中のｔ番目の文節がｈ番目の文節に係ることに関する文節単位の素性である。
【００７２】
上記ｇｌ（Ｗ，ｔ，ｈ）としては、例えば、ｗｔとｗｈのそれぞれの見出し、品詞、あるいは文節間の距離、文節間の読点の有無など、参考文献１（内元清貴、外２名、“最大エントロピー法に基づくモデルを用いた日本語係り受け解析”、情報処理学会論文誌、１９９９、Ｖｏｌ．４０、Ｎｏ．９、ｐ３３９７−３４０７）に記述されているような素性等を用いることができる。
【００７３】
上記参考文献１には、次のように記載されている。素性とは、例えば、２つの文節間の係り受けの確率を計算するための情報であり、具体的には、素性は、表層文字列、品詞、活用形、括弧や句読点の有無、文節間距離、またはそれらの組み合わせ等であり、表２（参考文献１、Ｐ３４０１参照）に挙げられている。表２に挙げた素性は、素性名と素性値から成り、一文中の２つの文節に着目したとき、それぞれの文節（前文節と後文節）が持ち得る属性若しくは２文節間に現れ得る属性を表している。
【００７４】
このように、文節単位の素性を用いて計算される依存構造の確率分布は、文中の各係り受け関係間の独立性を仮定して計算される。
【００７５】
以上のようにして定義された確率分布Ｐ（Ｈ｜Ｗ）からサンプルを生成する場合、Ｈは非常に高次元の確率変数であるため、容易にサンプルを生成できない。
【００７６】
そこで、本実施の形態では、ギブスサンプリングを使用して動的にサンプルを生成する。当該ギブスサンプリングについては、上述したように、例えば、参考文献２等に記載されている。
【００７７】
ここでは、Ｓ個（例えばＳ＝１００）のサンプル｛Ｈ（１），…，Ｈ（Ｓ）｝を生成するものとする。なお通常の依存文法では、文節の係り先が自分自身（その文節自身）になることはないため、自分自身が係り先となる確率は０と定義して計算してもよい。
【００７８】
また日本語では、通常、ある文節の係り先はその文節より常に後方に存在し、文末の文節が文全体の主辞となり、文末の１つ前の文節は必ず文末の文節に係ることが知られている。
【００７９】
そこで、このような言語を解析対象とする場合には、前方の単語に係る確率を０、文末の単語が文全体の主辞となる確率を１、文末の１つ前の単語が文末の単語に係る確率を１とするような制約を入れて計算してもよい。さらに、不必要な候補に対するサンプルは生成されないようにして、効率的にサンプリングを行うことも可能である。例えば、品詞Ａの文節が品詞Ｂの文節に係っている事例が構文解析済みコーパス格納部１３１中には出現しないようであれば、サンプルを生成する場合にそのような係り受け関係を考慮しないこともできる。また、文節単位の素性を用いて計算された確率が十分小さい（例えば０．５％未満）ような係り受け関係を考慮しないこともできる。
【００８０】
次に、図２に示すように、動的サンプル生成部１１２により生成されたサンプル｛Ｈ（１），…，Ｈ（Ｓ）｝を用いて、依存構造決定部１１３は、最適な入力文の依存構造と思われる依存構造（又は、解）を決定する（Ｓ２０３）。
【００８１】
上記依存構造決定部１１３による処理（Ｓ２０３）について説明すると、ここでは以下に示すようにして、近似的に計算される周辺確率を最大化することにより、図６に示す式（８）で求められるｔ番目の単語の係り先（ｈｔ）を決定するが、かかる例に限定されない。なお、図６にｔ番目の単語の係り先を決定するための式（式（８）〜式（１０））を示す。
【００８２】
次に、図２に示すように、出力部１１４は、依存構造決定部１１３によって決定された入力文に対する依存構造を、利用者に出力する（Ｓ２０４）。
【００８３】
以上で、図２に示す使用者から受け付けた入力文を、依存構造の解析をして出力するまでの処理についての説明を終了する。
【００８４】
（パラメータの推定処理）
次に、図７を参照しながら、本実施の形態に係る学習用データから必要なパラメータを学習して格納する処理について説明する。図７は、本実施形態に係る言語処理装置が依存構造の解析を行う上で必要となるパラメータを学習用データから学習して格納するまでの処理の概要を示すフローチャートである。
【００８５】
まず、図７に示すように、文節単位モデルパラメータ推定部１３２は、構文解析済みコーパス格納部１３１に格納された構文解析済みコーパスを用いて、文節単位モデルパラメータ、つまり図５の式（６）中に示す｛μｌ｝を求め、それを文節単位モデルパラメータ格納部１２１に渡す（Ｓ３０１）。
【００８６】
文節単位モデルパラメータ格納部１２１は、文節単位モデルパラメータ推定部１３２により渡された文節単位モデルパラメータ｛μｌ｝を格納する。
【００８７】
ここで、構文解析済みコーパス中のｎ番目の文をＷｎ、その文の依存構造をＨｎで表すこととし、構文解析済みコーパス中にはＮ個の文が存在するものとする。
【００８８】
なお、上記ステップＳ３０１において、構文解析済みコーパス｛Ｗ１，Ｈ１，…，ＷＮ，ＨＮ｝からパラメータ｛μｌ｝を求めるには、上記参考文献１等に記述されているような方法や、あるいは後述するような準ニュートン法を用いて計算することができる。
【００８９】
次に、パラメータ推定用サンプル生成部１３３は、図７に示すように、構文解析済みコーパス格納部１３１に格納された構文解析済みコーパスと、文節単位モデルパラメータ格納部１２１に格納された文節単位モデルパラメータを用いて、それらのパラメータによって規定される文節単位の素性を用いて計算される依存構造の確率分布Ｑ（Ｈ｜Ｗ）からパラメータ推定用のサンプルを構文解析済みコーパス中の各文に対して生成し、それを文単位モデルパラメータ推定部１３４へ渡す（Ｓ３０２）。
【００９０】
上記パラメータ推定用のサンプルは、図５の式（６）と乱数を使用することにより求めることができる。ここでは、コーパス中の各文Ｗｎに対して、Ｒ個（例えばＲ＝１００）のパラメータ推定用のサンプル｛Ｈｎ（１），…，Ｈｎ（Ｒ）｝を生成するものとする。
【００９１】
最後に、文単位モデルパラメータ推定部１３４は、構文解析済みコーパス格納部１３１に格納された構文解析済みコーパスと、パラメータ推定用サンプル生成部１３３により生成されたパラメータ推定用のサンプルを用いて、図３の式（３）及び図４の式（４）に示す文単位モデルパラメータ｛λｋ｝を求め、それを文単位モデルパラメータ格納部１２２に渡す（Ｓ３０３）。
【００９２】
上記文単位モデルパラメータ格納部１２２は、文単位モデルパラメータ推定部１３４により渡された文単位モデルパラメータ｛λｋ｝を格納する。
【００９３】
ここで、構文解析済みコーパス｛Ｗ１，Ｈ１，…，ＷＮ，ＨＮ｝と、文節単位の依存構造の確率分布Ｑ（Ｈ｜Ｗ）から生成したサンプル｛Ｈｌ（１），…，Ｈｌ（Ｒ），…，ＨＮ（１），…，ＨＮ（Ｒ）｝を用いて、文単位モデルパラメータ｛λｋ｝を求める方法について、以下説明する。
【００９４】
ここでは、図８の式（１１）〜式（１３）に示すような目的関数を考えて、その値を最大化する｛λｋ｝を求めることにする。
【００９５】
図８に示す式（１１）〜式（１３）において、Ｃは定数であり無視できるものである。またσは例えば使用者等によって設定される定数である（例えばσ＝０．１等）。上記図８に示す式を偏微分したものが、図９に示す式（１４）、式（１５）となる。
【００９６】
図８に示す式（１３）のような目的関数と、図９に示す式（１５）のような当該式（１３）の偏微分とを計算すれば、準ニュートン法などを用いて各λｋの値を計算することができる。上記準ニュートン法等を用いて各λｋの値を計算する方法については、例えば、参考文献３（Ｍａｌｏｕｆ：“Ａ  ｃｏｍｐａｒｉｓｏｎ  ｏｆ  ａｌｇｏｒｉｔｈｍｓ  ｆｏｒ  ｍａｘｉｍｕｍ  ｅｎｔｒｏｐｙ  ｐａｒａｍｅｔｅｒ  ｅｓｔｉｍａｔｉｏｎ”、Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ＣｏＮＬＬ−２００２、２００２、ｐ４９−５５）に記載されている。
【００９７】
本実施の形態において、例えば、上述の準ニュートン法などを用いて各λｋの値を計算する場合、下記に示すように近似的に計算を行うものとする。その理由は、上記図８の式（１３）と図９の式（１５）には、可能性を有するあらゆる候補に関する数え上げが必要となる項が含まれているため、計算量が非常に大きく実用的な時間で計算を行うのは難しいためである。
【００９８】
そこで、図１０の式（１６）〜式（１９）に示すようにして各項を近似的に計算することができる。
【００９９】
かかる図１０の式（１６）〜式（１９）に示すように、各項を近似することによって、計算量を非常に小さくすることが可能であり、迅速かつ効率的に各λｋの値を計算することができる。
【０１００】
本実施の形態に係る言語処理装置１０１によれば、依存構造を解析する際に、文中の各文節の係り受け関係が独立であると仮定した文節単位の素性だけではなく、文中のあらゆる係り受け関係を考慮した文単位の素性も利用することにより、高い精度で解析を行うことができる。
【０１０１】
また、本実施の形態に係る言語処理装置１０１によれば、モデルのパラメータを学習データから統計的に推定するため、対象とするデータに適合したパラメータを得ることができる。
【０１０２】
なお、上述した一連の処理は、専用のハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータやマイクロコンピュータ等の情報処理装置にインストールされ、上記情報処理装置を言語処理装置１０１として機能させる。
【０１０３】
上記プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスクやＲＯＭなどに予め記録しておくことができる。
【０１０４】
あるいはまた、プログラムは、ハードディスクドライブに限らず、フレキシブルディスク、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｃ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＭＯ（Ｍａｇｎｅｔｏ  Ｏｐｔｉｃａｌ）ディスク、ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｃ）、磁気ディスク、半導体メモリなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウエアとして提供することができる。
【０１０５】
なお、プログラムは、上述したようなリムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等にインストールすることができる。
【０１０６】
ここで、本明細書において、言語処理装置１０１として各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理も含むものである。
【０１０７】
また、プログラムは、１つのコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。
【０１０８】
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる例に限定されない。当業者であれば、特許請求の範囲に記載された技術的思想の範疇内において各種の変更例または修正例を想定し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【０１０９】
上記実施形態においては、依存構造解析の結果として入力文中の各単語の係り先がどの単語であるかのみを考慮する場合を例にあげて説明したが、本発明はかかる例に限定されない。例えば、係り先がどの単語であるか考慮する他に、係り先の単語がどのような関係であるかというラベル情報を扱ってもよい。
【０１１０】
また、上記実施形態においては、言語処理装置１０１が日本語について処理する場合を例に挙げて説明したが、言語処理装置１０１は言語に依存せず適用することが可能であるため、かかる例に限定されず、例えば、英語等の様々な言語の文書、または、日本語や英語などが混在する文書等に対しても、言語処理装置１０１は実施することが可能である。
【０１１１】
また、上記実施形態においては、言語処理装置１０１が文節を単位とした素性だけではなく、文節の集合である文を単位とした素性を利用する場合を例に挙げて説明したが、かかる例に限定されず、例えば、言語処理装置１０１が文節を単位とした素性だけではなく、文の集合である文書を単位とした素性を利用するように拡張することも可能である。
【０１１２】
また、上記実施形態においては、ギブスサンプリングを使用する場合を例に挙げて説明したが、かかる例に限定されず、例えば、参考文献２に記載の「焼きなまし法」等を用いて最適な依存構造を求めることも可能である。なお、焼きなまし法とは、ギブスサンプリングと併用して用いることのできる最適化アルゴリズムをいう。
【産業上の利用可能性】
【０１１３】
本発明は、言語処理装置、言語処理方法、およびコンピュータプログラムに適用可能である。
【図面の簡単な説明】
【０１１４】
【図１】本実施の形態に係る言語処理装置の概略的な構成を示すブロック図である。
【図２】本実施の形態に係る入力文の依存構造解析をして出力するまでの処理の概要を示すフローチャートである。
【図３】本実施の形態に係る入力文の依存構造の解析処理を説明するための説明図である。
【図４】本実施の形態に係る入力文の依存構造の解析処理を説明するための説明図である。
【図５】本実施の形態に係る入力文の依存構造の解析処理を説明するための説明図である。
【図６】本実施の形態に係る入力文の依存構造の解析処理を説明するための説明図である。
【図７】本実施形態に係る依存構造の解析を行う上で必要となるパラメータを学習用データから学習して格納するまでの処理の概要を示すフローチャートである。
【図８】本実施の形態にかかるパラメータの推定処理を説明するための説明図である。
【図９】本実施の形態にかかるパラメータの推定処理を説明するための説明図である。
【図１０】本実施の形態にかかるパラメータの推定処理を説明するための説明図である。
【符号の説明】
【０１１５】
１０１      言語処理装置
１１０      解析部
１１１      入力部
１１２      動的サンプル生成部
１１３      依存構造決定部
１１４      出力部
１２０      モデル格納部
１２１      文節単位モデルパラメータ格納部
１２２      文単位モデルパラメータ格納部
１３０      パラメータ推定部
１３１      構文解析済みコーパス格納部
１３２      文節単位モデルパラメータ推定部
１３３      パラメータ推定用サンプル生成部
１３４      文単位モデルパラメータ推定部
【図１】
2008176667.tif 000005
【図２】
2008176667.tif 000006
【図３】
2008176667.tif 000007
【図４】
2008176667.tif 000008
【図５】
2008176667.tif 000009
【図６】
2008176667.tif 000010
【図７】
2008176667.tif 000011
【図８】
2008176667.tif 000012
【図９】
2008176667.tif 000013
【図１０】
2008176667.tif 000014