(57)【特許請求の範囲】
【請求項１】
複数の言語の文を含む多言語データが与えられたときに、各言語の文法と共に言語共通の文法を推定する多言語文法解析装置であって、
各言語の個別文法として言語の確率付き生成規則の集合の推定分布のパラメータである言語の個別文法のパラメータを示す情報を言語毎に記憶すると共に、前記各言語共通の共通文法として共通文法のパラメータ集合を示す情報と、入力された前記多言語データを示す情報とを記憶する記憶手段と、
言語毎に、前記記憶手段に記憶されている情報に基づいて、前記個別文法の生成規則を構文木に沿って適用した場合の文が生成される確率を表す構文木確率を推定する処理と、前記記憶手段に記憶されている情報および前記推定された構文木確率に基づいて、前記個別文法のパラメータを推定して前記記憶手段に記憶されている情報を更新する処理と、を交互に実行することで、当該言語の文法を推定する個別文法推定手段と、
前記個別文法推定手段により更新された各言語の個別文法のパラメータと、前記記憶手段に記憶されている共通文法のパラメータとに基づいて、前記共通文法のパラメータのＫＬダイバージェンスを最小化することにより、新たな共通文法のパラメータを推定し、前記記憶手段に記憶されている共通文法のパラメータを更新することで、前記言語共通の文法を推定する共通文法推定手段と、
前記各言語の文法を推定する処理と、前記言語共通の文法を推定する処理とを、予め定められた終了条件が満たされるまで交互に繰り返し実行させる推定処理制御手段と
を備えることを特徴とする多言語文法解析装置。
【請求項２】
前記個別文法推定手段は、
前記構文木確率を推定する処理として、言語毎に、前記多言語データに含まれる文データと、個別文法パラメータ推定部にて推定された個別文法のパラメータとに基づいて、前記構文木確率を推定する構文木確率推定部と、
前記個別文法のパラメータを更新する処理として、言語毎に、前記多言語データに含まれる文データおよび前記共通文法パラメータの集合と、前記推定された構文木確率とに基づいて、前記個別文法のパラメータを推定する個別文法パラメータ推定部とを備え、
前記構文木確率を推定する処理と前記個別文法のパラメータを更新する処理とを、動的計画法に基づく内側外側アルゴリズムにより行うことを特徴とする請求項１に記載の多言語文法解析装置。
【請求項３】
複数の言語の文を含む多言語データが与えられたときに、各言語の文法と共に言語共通の文法を推定する多言語文法解析装置による多言語文法解析方法であって、
前記多言語文法解析装置は、
各言語の個別文法として言語の確率付き生成規則の集合の推定分布のパラメータである言語の個別文法のパラメータを示す情報を言語毎に記憶すると共に、前記各言語共通の共通文法として共通文法のパラメータ集合を示す情報と、入力された前記多言語データを示す情報とを記憶する記憶手段と、演算手段とを備え、
前記演算手段は、
前記各言語の個別文法のパラメータを示す情報と、前記各言語の共通文法のパラメータ集合を示す情報とを前記記憶手段において初期化するステップと、
言語毎に、前記記憶手段に記憶されている情報に基づいて、前記個別文法の生成規則を構文木に沿って適用した場合の文が生成される確率を表す構文木確率を推定する処理と、前記記憶手段に記憶されている情報および前記推定された構文木確率に基づいて、前記個別文法のパラメータを推定して前記記憶手段に記憶されている情報を更新する処理と、を交互に実行することで、当該言語の文法を推定する個別文法推定ステップと、
前記個別文法推定ステップにより更新された各言語の個別文法のパラメータと、前記記憶手段に記憶されている共通文法のパラメータとに基づいて、前記共通文法のパラメータのＫＬダイバージェンスを最小化することにより、新たな共通文法のパラメータを推定し、前記記憶手段に記憶されている共通文法のパラメータを更新することで、前記言語共通の文法を推定する共通文法推定ステップと、
前記個別文法推定ステップと、前記共通文法推定ステップとを、予め定められた終了条件が満たされるまで交互に繰り返し実行させるステップと
を含んで実行することを特徴とする多言語文法解析方法。
【請求項４】
請求項１または請求項２に記載の多言語文法解析装置を構成する各手段としてコンピュータを機能させるための多言語文法解析プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、言語の文法を解析する技術に係り、特に、複数の言語の文を含むデータから各言語の文法を推定する技術に関する。
【背景技術】
【０００２】
世界には多様な言語が存在するが、これら言語には共通性があると言われている。例えば、ヨーロッパ言語の多くは、「主語→動詞→目的語」の語順であるという文法の共通性がある。そのため、複数の言語のデータを用いて、同時に複数の言語の文法を学習することにより、文法学習性能の向上が期待できると考えられる。
【０００３】
従来技術として、二言語の対訳文集合を用いて文法学習性能を向上させる技術が知られている（非特許文献１）。非非特許文献１に記載の技術では、同期文脈自由文法（SCFG：synchronous context free grammar）に基づく独自の方法により、例えば、中国語を英語に翻訳する。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】Phil Blunsom, Trevor Cohn, and Miles Osborne, “Bayesian synchronous grammar induction,” Advances in Neural Information Processing Systems 21, pages 161-168, 2009
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、非非特許文献１に記載の従来の技術は、対訳になっていない文には適用できないという問題点がある。さらに、対訳文を入手するのには多くのコストがかかる。
【０００６】
そこで、本発明は、以上のような問題点を鑑みてなされたものであり、複数の言語が対訳になっていないとしてもこれら各言語で記述された文集合から、個別言語の文法と共に言語共通の文法を推定する技術を提供することを課題とする。
【課題を解決するための手段】
【０００７】
前記課題を解決するため、本発明に係る多言語文法解析装置は、複数の言語の文を含む多言語データが与えられたときに、各言語の文法と共に言語共通の文法を推定する多言語文法解析装置であって、各言語の個別文法として言語の確率付き生成規則の集合の推定分布のパラメータである言語の個別文法のパラメータを示す情報を言語毎に記憶すると共に、前記各言語共通の共通文法として共通文法のパラメータ集合を示す情報と、入力された前記多言語データを示す情報とを記憶する記憶手段と、言語毎に、前記記憶手段に記憶されている情報に基づいて、前記個別文法の生成規則を構文木に沿って適用した場合の文が生成される確率を表す構文木確率を推定する処理と、前記記憶手段に記憶されている情報および前記推定された構文木確率に基づいて、前記個別文法のパラメータを推定して前記記憶手段に記憶されている情報を更新する処理と、を交互に実行することで、当該言語の文法を推定する個別文法推定手段と、前記個別文法推定手段により更新された各言語の個別文法のパラメータと、前記記憶手段に記憶されている共通文法のパラメータとに基づいて、前記共通文法のパラメータのＫＬダイバージェンスを最小化することにより、新たな共通文法のパラメータを推定し、前記記憶手段に記憶されている共通文法のパラメータを更新することで、前記言語共通の文法を推定する共通文法推定手段と、前記各言語の文法を推定する処理と、前記言語共通の文法を推定する処理とを、予め定められた終了条件が満たされるまで交互に繰り返し実行させる推定処理制御手段とを備えることを特徴とする。
【０００８】
また、前記課題を解決するため、本発明に係る多言語文法解析方法は、複数の言語の文を含む多言語データが与えられたときに、各言語の文法と共に言語共通の文法を推定する多言語文法解析装置による多言語文法解析方法であって、前記多言語文法解析装置が、各言語の個別文法として言語の確率付き生成規則の集合の推定分布のパラメータである言語の個別文法のパラメータを示す情報を言語毎に記憶すると共に、前記各言語共通の共通文法として共通文法のパラメータ集合を示す情報と、入力された前記多言語データを示す情報とを記憶する記憶手段と、演算手段とを備え、前記演算手段が、前記各言語の個別文法のパラメータを示す情報と、前記各言語の共通文法のパラメータ集合を示す情報とを前記記憶手段において初期化するステップと、言語毎に、前記記憶手段に記憶されている情報に基づいて、前記個別文法の生成規則を構文木に沿って適用した場合の文が生成される確率を表す構文木確率を推定する処理と、前記記憶手段に記憶されている情報および前記推定された構文木確率に基づいて、前記個別文法のパラメータを推定して前記記憶手段に記憶されている情報を更新する処理と、を交互に実行することで、当該言語の文法を推定する個別文法推定ステップと、前記個別文法推定ステップにより更新された各言語の個別文法のパラメータと、前記記憶手段に記憶されている共通文法のパラメータとに基づいて、前記共通文法のパラメータのＫＬダイバージェンスを最小化することにより、新たな共通文法のパラメータを推定し、前記記憶手段に記憶されている共通文法のパラメータを更新することで、前記言語共通の文法を推定する共通文法推定ステップと、前記個別文法推定ステップと、前記共通文法推定ステップとを、予め定められた終了条件が満たされるまで交互に繰り返し実行させるステップとを含んで実行することを特徴とする。
【０００９】
かかる構成の多言語文法解析装置、または、かかる手順の多言語文法解析方法によれば、多言語文法解析装置は、多言語データが与えられたときに、言語の個別文法のパラメータ集合を各言語の個別文法とし、かつ、各言語の共通文法のパラメータ集合を言語共通の共通文法として、各パラメータを推定および更新することで、各言語の文法を推定する処理と、言語共通の文法を推定する処理とを、予め定められた終了条件が満たされるまで交互に繰り返し実行する。ここで、多言語データは、対訳になっていなくてもよい。各言語の文法を推定する処理は、言語毎に行う処理である。各言語の文法を推定する処理は、言語ごとに続けて行ってもよいし、並列に行ってもよい。各言語の文法を推定する手法には、従来公知のアルゴリズムを用いることが可能である。各言語の共通文法のパラメータ集合は、本発明の独自のパラメータである。この共通文法のパラメータ集合を推定するための言語共通の文法を推定する処理には、従来公知のアルゴリズムを用いることが可能である。このように各言語の文法を推定する処理と共に、言語共通の文法を推定する処理を行って多言語データを解析することにより、言語共通の文法を発見でき、また、個別文法学習の性能を向上させることができる。
【００１０】
また、本発明に係る多言語文法解析装置は、前記個別文法推定手段が、前記構文木確率を推定する処理として、言語毎に、前記多言語データに含まれる文データと、個別文法パラメータ推定部にて推定された個別文法のパラメータとに基づいて、前記構文木確率を推定する構文木確率推定部と、前記個別文法のパラメータを更新する処理として、言語毎に、前記多言語データに含まれる文データおよび前記共通文法パラメータ集合と、前記推定された構文木確率とに基づいて、前記個別文法のパラメータを推定する個別文法パラメータ推定部とを備え、前記構文木確率を推定する処理と前記個別文法のパラメータを更新する処理とを、動的計画法に基づく内側外側アルゴリズムにより行うことが好ましい。
【００１１】
かかる構成によれば、多言語文法解析装置は、各言語の個別文法を推定する処理において、動的計画法に基づく内側外側アルゴリズムを用いるので、構文木確率と、個別文法のパラメータとを効率的に計算することができる。
【００１２】
また、本発明に係る多言語文法解析プログラムは、前記の多言語文法解析装置を構成する各手段としてコンピュータを機能させるためのプログラムである。このように構成されることにより、このプログラムをインストールされたコンピュータは、このプログラムに基づいた各機能を実現することができる。
【発明の効果】
【００１３】
本発明によれば、複数の言語が対訳になっていないとしてもこれら各言語で記述された文集合である多言語データを解析することにより、個別言語の文法と共に言語共通の文法を推定することができる。したがって、言語共通の文法を発見できると共に、個別文法学習の性能を向上させることができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の実施形態に係る多言語文法解析装置の構成を示すブロック図である。
【図２】図１に示した多言語文法解析装置による処理の流れを示すフローチャートである。
【図３】図１に示した個別文法推定部および共通文法推定部の構成を示すブロック図である。
【図４】本発明の実施形態に係る多言語文法解析装置により抽出された共通文法の一例を示す図である。
【図５】図４に示す非終端記号の一例と、各言語で出力される確率の高い終端記号（単語）を示す図（その１）である。
【図６】図４に示す非終端記号の一例と、各言語で出力される確率の高い終端記号（単語）を示す図（その２）である。
【図７】図４に示す非終端記号の一例と、各言語で出力される確率の高い終端記号（単語）を示す図（その３）である。
【発明を実施するための形態】
【００１５】
以下、本発明の多言語文法解析装置を実施するための形態（以下、「実施形態」という）について図面を参照して説明する。以下では、多言語文法解析装置の構成の概要、多言語文法解析方法の概要、推定計算アルゴリズムの具体例について順次説明する。
【００１６】
［多言語文法解析装置の構成の概要］
図１に示す多言語文法解析装置１は、入力される多言語データを解析し、各言語の文法およびそれらの文法を生成する共通文法をデータから推定する装置である。
【００１７】
この多言語文法解析装置１は、図１に示すように、演算手段２と、入力手段３と、記憶手段４と、出力手段５とを備えている。各手段２，３，４，５はバスライン６に接続されている。
【００１８】
演算手段２は、例えば、ＣＰＵ（Central Processing Unit）およびＲＡＭ（Random Access Memory）から構成される主制御装置である。この演算手段２は、図１に示すように、個別文法推定部２１と、共通文法推定部２２と、推定処理制御部２３と、メモリ２４とを含んで構成される。
【００１９】
演算手段２は、記憶手段４から、個別文法推定プログラム４１、共通文法推定プログラム４２および推定処理制御プログラム４３をそれぞれ読み込み、メモリ２４に格納し、実行することで、前記した個別文法推定部２１と、共通文法推定部２２と、推定処理制御部２３とをそれぞれ実現する。ここで、個別文法推定部２１は、各言語で共有してもよいし、言語別に複数備えるようにしてもよい。以下では、一例として、各言語で共有することとして説明する。なお、これら個別文法推定部２１、共通文法推定部２２および推定処理制御部２３の詳細については後記する。
【００２０】
入力手段３は、例えば、キーボード、マウス、ディスクドライブ装置などから構成される。記憶手段４は、例えば、一般的なハードディスク装置などから構成される。
【００２１】
記憶手段４には、演算手段２で用いられるプログラムとして、個別文法推定プログラム４１と、共通文法推定プログラム４２と、推定処理制御プログラム４３とを記憶させておくことが可能である。
また、記憶手段４には、演算手段２で用いられる各種データとして、入力多言語データ４４と、共通文法パラメータ集合４５と、個別文法パラメータ集合４６とを記憶する。ここで、入力多言語データ４４は入力手段３を介して入力され、記憶手段４に記憶される構成とすることが可能である。また、共通文法パラメータ集合４５および個別文法パラメータ集合４６は、演算手段２の演算処理結果を示すデータであり、その詳細については後記する。
【００２２】
出力手段５は、例えば、グラフィックボード（出力インタフェース）およびそれに接続されたモニタである。モニタは、例えば、液晶ディスプレイ等から構成され、多言語データの文法解析を行った結果等を表示する。
【００２３】
［多言語文法解析方法の概要］
＜前提＞
以下、多言語文法解析方法の原理の前提としている数式を列挙する。
まず、多言語文法解析装置１の解析対象のデータ集合として与えられる入力多言語データ４４を以下の式（１）のように表す。例えば、英語、フランス語およびドイツ語の３言語の文章（文データ）が入力される場合、式（１）におけるｌ＝１，２，３のいずれかが、各言語に割り当てられる。ここで、入力される多言語データは、対訳である必要はなく、また、言語毎に文の個数が異なっていてもよい。
【００２４】
【数１】
0005427675.tif 000002
【００２５】
多言語文法解析装置１のタスクは、式（１）で示す入力多言語データから、式（２）で示す各言語の文法と、それらの文法を生成する共通文法とを推定することである。なお、数式中において、アルファベット等の書体がイタリックの場合には変数を示し、ボールドの場合には集合を示す。また、それらの大文字と小文字は示す内容が異なる。また、文中にて、集合と明記した記号や、集合を示す数式の番号を引用した記号は、集合を示す。
【００２６】
【数２】
0005427675.tif 000003
【００２７】
ここでは、簡単のため、各言語の文法（言語ｌの文法）として、式（３）に示すように、確率文脈自由文法（PCFG：Probabilistic context free grammar）を用いる。なお、他の確率文法モデルを用いてもよい。
【００２８】
【数３】
0005427675.tif 000004
【００２９】
なお、式（３）において添字ｌの有無で示すように、非終端記号集合Ｋは言語間で共有されているが、終端記号集合Ｗl、規則集合Φlは言語固有である。
【００３０】
以下では、PCFGにおいて、簡単のため、各言語の文法（言語ｌの文法）として、チョムスキー標準形のみを想定する。中でも、以下の式（４）および式（５）で示す２つの生成規則ｒのみからなる文法であるチョムスキー標準形のみを想定する。
式（４）に示す終端記号生成規則は、非終端記号Ａを終端記号ｗ（単語）に書き換える規則である。式（５）に示す非終端記号生成規則は、非終端記号Ａを２つの非終端記号Ｂ，Ｃに書き換える規則である。なお、任意の文脈自由文法はチョムスキー標準形に変換することができる。
【００３１】
【数４】
0005427675.tif 000005
【００３２】
PCFG Ｇlの非終端記号Ａは、以下の式（６）〜式（８）に示す３種類の生成規則確率を持つ。
【００３３】
【数５】
0005427675.tif 000006
【００３４】
【数６】
0005427675.tif 000007
【００３５】
【数７】
0005427675.tif 000008
【００３６】
式（６）に示す規則選択確率は、式（９）に示す言語共通のディリクレ分布から生成され、また、式（７）に示す非終端記号生成規則確率は、式（１０）に示す言語共通のディリクレ分布から生成されるとする。同様に、式（８）に示す終端記号生成規則確率は、式（１２）に示す言語共通のディリクレ分布から生成されるとする。
【００３７】
【数８】
0005427675.tif 000009
【００３８】
ここで、〜は確率分布からのサンプリングを表し、Dir（・）はディリクレ分布（Dirichlet distribution）を表す。
【００３９】
また、式（１１）の集合αは、言語共通文法のパラメータ集合（共通文法パラメータ集合）であって、この多言語文法解析装置１が、言語個別文法のパラメータと共に推定しようとしているパラメータである。式（１１）の集合αは、共通文法における規則選択パラメータαθＡｔと、共通文法における生成規則パラメータαφＡＢＣとを含んでいる。また、式（１１）の集合αは、多言語文法解析装置１の演算手段２の演算処理結果を示す共通文法パラメータ集合４５（図１参照）に相当する。各パラメータαθＡｔ、αφＡＢＣは、具体的には、推定される言語共通の文法として、前記した式（５）に示す非終端記号生成規則Ａ→ＢＣ（Ａ，Ｂ，Ｃ∈Ｋ）を表すものである。ただし、その計算の詳細は後記する。
なお、式（１２）に示すαψは、非終端記号Ａに依存しない言語共通文法のパラメータであり、ボールド表記ではない。このαψは、式（１１）の集合αには含まれていないが、推定しても構わない。
【００４０】
非終端記号Ａについての前記した式（６）〜式（８）に示す３種類の生成規則確率を用いると、前記した式（３）に示す言語ｌの規則集合Φlは、式（１３）で表される。
【００４１】
【数９】
0005427675.tif 000010
【００４２】
次に、各言語の個別文法のパラメータ集合（個別文法パラメータ集合）を式（１４）のΓで表し、言語ｌの個別文法のパラメータを式（１５）のΓlで表す。
【００４３】
【数１０】
0005427675.tif 000011
【００４４】
式（１４）に示す言語個別文法のパラメータ集合Γは、この多言語文法解析装置１が、言語共通文法のパラメータ集合αと共に推定しようとしているパラメータである。この式（１４）のΓは、多言語文法解析装置１の演算手段２の演算処理結果を示す個別文法パラメータ集合４６（図１参照）に相当する。
また、式（１５）に示す言語ｌの個別文法（Ｇl＝（Ｋ，Ｗl，Φl））のパラメータΓlは、前記した式（１３）に示す言語ｌの規則集合Φlの推定分布のパラメータである。なお、式（１５）の右辺の各パラメータ｛γθｌＡ，γφｌＡ，γψｌＡ｝Ａ∈Ｋは、具体的には、言語ｌの個別文法として、前記した式（４）に示す非終端記号生成規則Ａ→ｗ（Ａ∈Ｗl）、および式（５）に示す非終端記号生成規則Ａ→ＢＣ（Ａ，Ｂ，Ｃ∈Ｋ）を表すものである。ただし、その計算の詳細は後記する。
【００４５】
＜処理の概要＞
多言語文法解析装置１の処理の流れについて図２を参照して説明する。
まず、多言語文法解析装置１は、入力手段３から、前記した式（１）で示す入力多言語データＸを読み込む（ステップＳ１）。入力多言語データＸは、入力多言語データ４４として記憶手段４に格納される。
【００４６】
次に、多言語文法解析装置１は、演算手段２の推定処理制御部２３によって、前記した式（１４）および式（１５）に示す各言語の個別文法パラメータ集合Γと、前記した式（１１）に示す共通文法パラメータ集合αとを初期化する（ステップＳ２）。ここで、初期化されたパラメータは、共通文法パラメータ集合４５および個別文法パラメータ集合４６として、記憶手段４に格納される。
【００４７】
次に、多言語文法解析装置１は、各言語に対して、個別文法推定部２１および共通文法推定部２２を、予め定められた終了条件が満たされるまで繰り返す（ステップＳ３〜ステップＳ７）。ここでは、多言語文法解析装置１は、まず、演算手段２の個別文法推定部２１によって、ステップＳ３〜ステップＳ５の処理ループにおいて、入力多言語データＸにおける言語集合Ｌに所属する全ての言語ｌについて以下の計算を行うこととした（ステップＳ３）。個別文法推定部２１は、式（１５）に示す言語ｌの個別文法のパラメータ集合Γlを推定する（ステップＳ４）。なお、個別文法推定部２１による個別文法のパラメータ集合Γlの推定方法については後記する。ここで推定された個別文法パラメータ集合Γlは記憶手段４に格納される。そして、個別文法推定部２１は、言語ｌごとに個別文法パラメータ集合Γlの推定を繰り返す。そして、入力多言語データＸにおける言語集合Ｌに所属する全ての言語ｌについて個別文法パラメータ集合Γlを推定し終わった場合（ステップＳ５）、多言語文法解析装置１は、ステップＳ６に進む。
【００４８】
続いて、多言語文法解析装置１は、演算手段２の共通文法推定部２２によって、式（１１）に示す共通文法パラメータ集合αを推定する（ステップＳ６）。なお、共通文法推定部２２による共通文法パラメータ集合αの推定方法については後記する。ここで推定された共通文法パラメータ集合αは記憶手段４に格納される。そして、多言語文法解析装置１は、演算手段２の推定処理制御部２３によって、終了条件が満たされたか否かを判別する（ステップＳ７）。終了条件が満たされていない場合（ステップＳ７：Ｎｏ）、多言語文法解析装置１は、ステップＳ３に戻る。
【００４９】
一方、終了条件が満たされた場合（ステップＳ７：Ｙｅｓ）、多言語文法解析装置１は、演算処理結果を出力手段５に出力する。これにより、演算処理結果として、例えば、共通文法パラメータ集合４５（式（１１）のα）や、個別文法パラメータ集合４６（式（１４）のΓ）が出力される。具体的には、演算処理結果として、例えば、共通文法パラメータに基づく共通文法（言語共通の文法として推定された生成規則Ａ→ＢＣ）が出力されると共に、言語別に、個別文法パラメータに基づく当該言語の個別文法（言語ｌの個別文法として推定された生成規則Ａ→ＢＣ、Ａ→ｗ）が出力される。
【００５０】
＜終了条件＞
本実施形態では、推定処理制御部２３は、例えば、個別文法のパラメータ集合Γlの推定値と、共通文法のパラメータ集合αの推定値とが、入力多言語データＸをどのくらい尤もらしく説明できているかを表す値（以下、尤度という）を計算し、この計算結果が収束している場合に、終了条件が満たされたものと判定することとした。例えば、言語ｌに関して推定された個別文法Ｇlが、与えられた言語ｌの文データＸl（言語ｌの文集合）に合致していれば、この尤度は高くなる。また、推定された共通文法が各個別文法の共通性を抽出できていれば、この尤度は高くなる。例えば、この尤度として、真の事後分布と推定事後分布とのＫＬ（Kullback-Leibler）ダイバージェンスを用いることができる。ＫＬダイバージェンスは式（１６）で表される。
【００５１】
【数１１】
0005427675.tif 000012
【００５２】
また、式（１６）に示す推定事後分布ｑ（Ｚ，Φ，α）として、例えば式（１７）を用いることができる。
【００５３】
【数１２】
0005427675.tif 000013
【００５４】
式（１７）の右辺において、１番目のΠは、前記した式（１１）の共通文法パラメータ集合において、パラメータθに係る集合の推定事後分布と、パラメータφに係る集合の推定事後分布との積を、非終端記号Ａに関して掛け合わせる演算を示す。
【００５５】
式（１７）の右辺において、２番目のΠは、言語ｌの文データＸl（言語ｌの文集合）に属するｄ番目の文（第ｄ文）が構文木ｚを用いて生成する確率の推定事後分布（構文木確率）を、言語ｌおよび文ｄに関して掛け合わせる演算を示す。
【００５６】
式（１７）の右辺において、３番目のΠは、前記した式（１３）の言語ｌの規則集合Φlにおいて、パラメータθに係る集合の推定事後分布と、パラメータφに係る集合の推定事後分布と、パラメータψに係る集合の推定事後分布との積を、言語ｌおよび非終端記号Ａに関して掛け合わせる演算を示す。
【００５７】
推定処理制御部２３が、終了条件として用いる尤度は、前記した式（１６）で示すＫＬダイバージェンスに限定されるものではない。推定処理制御部２３が、終了条件として用いる尤度は、事後確率など、ＫＬダイバージェンスと同等の性質を持つ値であってもよい。
【００５８】
また、推定処理制御部２３は、終了条件として、前記した尤度を用いる形態に限定されるものではない。他の終了条件としては、例えば、パラメータが収束している場合に、終了条件が満たされたものと判定することとしてもよい。この場合、判定に用いるパラメータの個数や種類は適宜変更することができる。さらに、ステップＳ３〜ステップＳ７の処理を予め定められた回数以上の繰り返しを行った場合や、ステップＳ３〜ステップＳ７の処理時間が予め定められた時間以上経過した場合に、終了条件が満たされたものと判定することとしてもよい。
【００５９】
［推定計算アルゴリズムの具体例］
以下では、個別文法推定部２１による個別文法のパラメータ集合Γlの推定方法（前記したステップＳ４）、および、共通文法推定部２２による共通文法パラメータ集合αの推定方法（前記したステップＳ６）について、具体例として、変分ベイズ法に基づいて推定を行う場合について説明する。
【００６０】
＜個別文法推定部＞
図１に示す個別文法推定部２１の構成例について図３を参照して説明する。なお、図３には、多言語文法解析装置１の一部のみ示した。
図３に示すように、個別文法推定部２１は、個別文法読込部２１１と、構文木確率推定部２１２と、個別文法パラメータ推定部２１３と、個別文法書込部２１４とを備えている。
【００６１】
個別文法読込部２１１は、記憶手段４から、言語ｌのデータＸlと、この言語ｌの個別文法パラメータ集合Γl＝｛γθｌＡ，γφｌＡ，γψｌＡ｝Ａ∈Ｋ（式（１５）参照）と、共通文法パラメータ集合αとをそれぞれ読み込むものである。ここで読み込まれた言語ｌのデータＸlと、言語ｌの個別文法パラメータ集合Γlは、構文木確率推定部２１２に送られる。また、言語ｌのデータＸlと、共通文法パラメータ集合αは、個別文法パラメータ推定部２１３に送られる。
【００６２】
構文木確率推定部２１２は、言語ｌのデータＸlおよび個別文法の推定分布のパラメータΓlに基づいて、文毎に構文木ｚの確率（構文木確率ｑ（ｚld））を推定するものである。この構文木確率ｑ（ｚld）は、言語ｌの個別文法の生成規則（Ａ→Ｂ Ｃ、Ａ→ｗ）を構文木ｚに沿って適用した場合の文が生成される確率を表す。
【００６３】
ここで推定された構文木確率ｑ（ｚld）は、個別文法パラメータ推定部２１３に送られる。後記するように、個別文法パラメータ推定部２１３と、構文木確率推定部２１２とは、個別文法パラメータが最適化されるまで互いに処理を繰り返す。したがって、構文木確率推定部２１２は、１回目は、言語ｌのデータＸlおよび個別文法読込部２１１から読み込んだ個別文法の推定分布のパラメータΓlに基づいて、構文木確率ｑ（ｚld）を推定し、次回からは、個別文法パラメータ推定部２１３で推定されたパラメータΓlおよび言語ｌのデータＸlにより構文木確率ｑ（ｚld）を推定する。例えば、言語ｌの第ｄ文の構文木確率ｑ（ｚld）は式（１８）により計算できる。
【００６４】
【数１３】
0005427675.tif 000014
【００６５】
なお、本実施形態では、この構文木確率推定部２１２は、読み込まれた言語ｌのデータＸlを解析して、前記した式（１８）に示す回数Ｃ（Ａ→ＢＣ；ｚｌｄ，ｌ，ｄ）およびＣ（Ａ→ｗ；ｚｌｄ，ｌ，ｄ）をカウントする。
【００６６】
また、式（１８）中の重みパラメータπθｌＡｔ（＝πθｌＡ１ or πθｌＡ０)、πφｌＡＢＣおよびπψｌＡｗは、式（１９）〜式（２１）によりそれぞれ計算できる。
【００６７】
【数１４】
0005427675.tif 000015
【００６８】
ここで、式（１９）〜式（２１）のexpの指数部は、式（２２）〜式（２４）で示される。また、式（２２）〜式（２４）のΨ（ｘ）は、式（２５）のディガンマ関数を表す。
【００６９】
【数１５】
0005427675.tif 000016
【００７０】
個別文法パラメータ推定部２１３は、読み込まれた言語ｌのデータＸlと、共通文法パラメータ集合αと、構文木確率推定部２１２で推定された構文木確率ｑ（ｚld）とに基づいて、個別文法の推定分布のパラメータΓl＝｛γθｌＡ，γφｌＡ，γψｌＡ｝Ａ∈Ｋを推定するものである。
本実施形態では、この個別文法パラメータ推定部２１３は、読み込まれた言語ｌのデータＸlを解析して、前記した式（１８）に示す回数Ｃ（Ａ→ＢＣ；ｚｌｄ，ｌ，ｄ）およびＣ（Ａ→ｗ；ｚｌｄ，ｌ，ｄ）をカウントする。
【００７１】
言語ｌの個別文法パラメータ集合Γl＝｛γθｌＡ，γφｌＡ，γψｌＡ｝Ａ∈Ｋ（式（１５）参照）と、言語ｌの規則集合Φl＝｛θｌＡ，φｌＡ，ψｌＡ｝Ａ∈Ｋ（式（１３）参照；θ，φ，ψはボールド）との関係は、式（２６）〜式（２８）で示される。ここで、ｑは推定事後分布、Dir（・）はディリクレ分布を表す。
【００７２】
【数１６】
0005427675.tif 000017
【００７３】
前記した式（２６）〜式（２８）の右辺のパラメータγθｌＡ，γφｌＡ，γψｌＡは式（２９）〜式（３１）により計算できる。なお、以下では、規則選択パラメータθや規則生成パラメータφ，ψの添字を、適宜、ｔ，ＡＢＣ、Ａｗでそれぞれ展開する。
【００７４】
【数１７】
0005427675.tif 000018
【００７５】
ここで、ｑ（ｚld）は、構文木確率推定部２１２で推定された構文木確率を示す。また、Ｃ（Ａ→ＢＣ；ｚｌｄ，ｌ，ｄ）およびＣ（Ａ→ｗ；ｚｌｄ，ｌ，ｄ）は、前記した式（１８）を参照して説明した回数をそれぞれ示す。また、Ｃ（Ａ，ｔ；ｚｌｄ，ｌ，ｄ）は、言語ｌの第ｄ文において構文木ｚを用いた場合に非終端記号Ａにおいて規則タイプｔ＝｛０，１｝が選択される回数を表す。αθＡｔ、αφＡｔは前記した式（９）および式（１０）に示す言語共通文法のパラメータを示す。αψは前記した式（１２）に示す言語共通文法のパラメータを示す。
【００７６】
この個別文法パラメータ推定部２１３で推定された個別文法の推定分布のパラメータは、最適化されるまで繰り返し構文木確率推定部２１２に送られる。この個別文法パラメータ推定部２１３は、最適化された個別文法の推定分布のパラメータを、個別文法書込部２１４に送る。なお、これらの計算は、従来公知のアルゴリズムとして、動的計画法に基づく内側外側アルゴリズムを用いることにより、効率的に計算することができる。ここで、内側外側アルゴリズムは、ＥＭアルゴリズム（Expectation−Maximization algorithm）の１つであり、前記した式（１８）の計算がＥステップ、前記した式（２９）〜式（３１）の計算がＭステップに相当する。
【００７７】
個別文法書込部２１４は、言語ｌについて最適化された個別文法パラメータΓlを記憶手段４に書き込むものである。
【００７８】
図３では、個別文法読込部２１１が言語１のデータＸ1と、この言語１の個別文法パラメータ集合Γ1＝｛γθ１Ａ，γφ１Ａ，γψ１Ａ｝Ａ∈Ｋ（式（１５）参照）と、共通文法パラメータ集合αとをそれぞれ読み込み、推定した個別文法パラメータ集合Γ1を、個別文法書込部２１４が記憶手段４に書き込むことを示している。個別文法推定部２１を各言語で共有している場合、続いて、個別文法読込部２１１が言語２のデータＸ２と、この言語２の個別文法パラメータ集合Γ２と、共通文法パラメータ集合αとをそれぞれ読み込み、推定した個別文法パラメータ集合Γ２を、個別文法書込部２１４が記憶手段４に書き込む。以下、同様に順次言語ｌを選択する。なお、個別文法推定部２１を言語別に複数備えるようにしてもよい。
【００７９】
＜共通文法推定部＞
図１に示す共通文法推定部２２の構成例について図３を参照して説明する。
共通文法推定部２２は、共通文法読込部２２１と、共通文法パラメータ推定部２２２と、共通文法書込部２２３とを備えている。
【００８０】
共通文法読込部２２１は、記憶手段４から、言語ｌの個別文法パラメータ（その集合はΓl＝｛γθｌＡ，γφｌＡ，γψｌＡ｝Ａ∈Ｋ（式（１５）参照））と、共通文法パラメータ（その集合は式（１１）に示すα）とをそれぞれ読み込むものである。ここで読み込まれた言語ｌの個別文法パラメータと、共通文法パラメータとは、共通文法読込部２２１に送られる。
【００８１】
共通文法パラメータ推定部２２２は、読み込まれた言語ｌの個別文法パラメータと、読み込まれた共通文法パラメータとに基づいて、新たな共通文法パラメータを推定するものである。
【００８２】
前記した式（１１）に示す共通文法パラメータ集合αのうち、共通文法における規則選択パラメータαθＡｔは、ＫＬダイバージェンスを最小化することにより推定することができる。
例えば、従来公知のアルゴリズムである不動点反復法を用いた場合、共通文法パラメータ推定部２２２は、式（３２）で表されるパラメータ更新式を用いて計算する。なお、式（３２）のΨ（ｘ）は、前記した式（２５）に示すディガンマ関数を表す。
【００８３】
【数１８】
0005427675.tif 000019
【００８４】
式（３２）において、右辺は更新前、左辺は更新後を示す。右辺の分母に示すように、ディガンマ関数についての差は、すべての言語ｌに亘って加算される。つまり、共通文法における規則選択パラメータαθＡｔは、すべての言語ｌの個別文法パラメータに依存している。
【００８５】
また、前記した式（１１）に示す共通文法パラメータ集合αのうち、共通文法における生成規則パラメータαφＡＢＣについても、同様な手法で更新することができる。そこで、共通文法パラメータ推定部２２２は、式（３３）で表されるパラメータ更新式を用いて計算する。
【００８６】
【数１９】
0005427675.tif 000020
【００８７】
共通文法書込部２２３は、更新した共通文法パラメータを記憶手段４に書き込むものである。これにより、記憶手段４の共通文法パラメータ集合４５が更新される。
図３では、共通文法読込部２２１がすべての言語１の個別文法パラメータと、共通文法パラメータとをそれぞれ読み込み、更新した共通文法パラメータを、共通文法書込部２２３が記憶手段４に書き込むことを示している。
【００８８】
前記したように、本実施形態では、推定処理制御部２３（図１参照）が終了条件を判定することしたが、これに代えて共通文法推定部２２が終了条件を判定することとしてもよい。また、本実施形態では、推定処理制御部２３（図１参照）が個別文法パラメータ集合４６と、共通文法パラメータ集合４５とを初期化することしたが、これに代えて個別文法推定部２１が各パラメータを初期化することとしてもよい。
【００８９】
本実施形態によれば、多言語文法解析装置１は、多言語データが与えられたときに、言語の個別文法のパラメータ集合Γと、各言語の共通文法のパラメータ集合αとを用いて、各言語の文法を推定する処理と、言語共通の文法を推定する処理とを終了条件が満たされるまで交互に繰り返し実行して入力多言語データＸを解析することにより、共通の文法を発見でき、また、個別文法学習の性能を向上させることができる。
また、本実施形態によれば、多言語文法解析装置１は、対訳になっていない多言語データが与えられたとしても、その多言語データを解析することにより、共通の文法を発見でき、また、個別文法学習の性能を向上させることができる。
【００９０】
以上、本発明の実施形態について説明したが、本発明はこれに限定されるものではなく、その趣旨を変えない範囲で実施することができる。例えば、推定計算アルゴリズムの具体例として、変分ベイズ法に基づいて推定を行う場合について説明したが、本発明はこれに限定されるものではない。変分ベイズ法に代えて、マルコフ連鎖モンテカルロ法等を用いることも可能である。
【００９１】
また、個別文法推定部２１が、ステップＳ３〜ステップＳ５の処理ループを各言語に対して繰り返すこととして図２のフローチャートを用いて説明したが、各言語に対して並列化処理することも可能である。
【００９２】
また、個別文法推定プログラム４１、共通文法推定プログラム４２および推定処理制御プログラム４３を、１つにした多言語文法解析プログラムを記憶手段４に記憶させておくことによっても、多言語文法解析装置１と同等の効果を奏することができる。
【実施例】
【００９３】
本発明を評価するために本実施形態に係る多言語文法解析装置によって実際に多言語の共通文法を推定した。
【００９４】
＜実験方法＞
ここでは、入力される多言語データＸとして、ヨーロッパの以下の１１言語の自然言語文データを用いて共通文法を推定する実験を行った。
用いた言語は、デンマーク語（Danish：以下、daと略記する)、ドイツ語（German：de)、ギリシャ語（Greek：el)、イギリス英語（English：en)、スペイン語（Spanish：es)、フィンランド語（Finnish：fi)、フランス語（French：fr)、イタリア語（Italian：it)、オランダ語（Dutch：nl)、ポルトガル語（Portuguese：pt)、スウェーデン語（Swedish：sv)である。
また、条件として、前記した式（３）の非終端記号集合Ｋにおける非終端記号の個数、すなわち、非終端記号数を２０とした。そして、非終端記号の識別番号として、No.0〜No.19を割り当てた。
【００９５】
また、この実験では、次の式（３４）によって、共通文法における非終端記号生成規則（Ａ→ＢＣ）の確率φ＾Ａ→ＢＣを算出した。
【００９６】
【数２０】
0005427675.tif 000021
【００９７】
式（３５）は、式（３４）に示すθ＾１の定義式である。また、αθ１は、共通文法にて非終端記号生成規則（Ａ→ＢＣ）を選択する確率を示し、αθ０は、共通文法にて終端記号生成規則（Ａ→ｗ）を選択する確率を示す。また、言語ｌにおいて非終端記号生成規則（Ａ→ＢＣ）を選択する確率をθｌ１で示すときに、このθｌ１をすべての言語ｌで平均化したものは、式（３５）のθ＾１を表す。
【００９８】
同様に、式（３６）は、式（３４）に示すφ＾ＡＢＣの定義式である。式（３６）の右辺の分子αφＡＢＣは、共通文法にて非終端記号生成規則（Ａ→ＢＣ）を生成する確率を示し、式（３６）の右辺の分母は、特定の非終端記号（Ａ）から生成される非終端記号すべて（Ｂ′Ｃ′）について生成確率を足し合わせた結果の確率を示す。また、言語ｌにおいて非終端記号生成規則（Ａ→ＢＣ）を生成する確率をφｌＡＢＣで示すときに、このφｌＡＢＣをすべての言語ｌで平均化したものは、式（３６）のφ＾ＡＢＣを表す。
【００９９】
＜実験結果＞
本実施形態に係る多言語文法解析装置によって１１言語のデータから抽出された共通文法の結果を図４に示す。
この実験では、共通文法における非終端記号生成規則（Ａ→ＢＣ）が７個抽出された。例えば、「0→16  11」は、“No.0の非終端記号”を、“No.16の非終端記号”と、“No.11の非終端記号”とに書き換える規則を示す。また、推定の後に、各非終端記号が、何を表しているかを、文法カテゴリに基づいて、例えばＮＰ（noun phrase）やＶＰ（verb phrase）といった一般的な文法記号を用いて名付けた。
規則（Ａ→ＢＣ）の右の欄は、共通文法における非終端記号生成規則（Ａ→ＢＣ）の確率φ＾Ａ→ＢＣを前記した式（３４）によって算出した結果を示す。
【０１００】
図４に示すように、例えば、変換元の記号ＮＰには、非終端記号が３通りあり（No.12、No.15、No.17）、変換先の記号Ｎには、非終端記号が２通りある（No.5、No.19）。これらの理由は、７個の規則がツリー構造で表され、規則が現れる回数によって非終端記号の識別番号が異なるからである。
【０１０１】
図４に示す記号ＮＰ（名詞句）と記号Ｎ（名詞）とを区別した同様な規則を次の表１に示す。例えば、表１に示す“No.12の非終端記号”が現れるまでに、規則が３回現れている。また、表１に示す“No.15の非終端記号”が現れる前には、規則が現れていない（No.15が変換元である）。さらに、表１に示す“No.17の非終端記号”が現れるまでには、規則が１回現れている。よって、図３に示す記号ＮＰを、表１では名詞句(1)、名詞句(2)、名詞句(3)でそれぞれ区別した。同様に、図３に示す記号Ｎを、表１では名詞句(1)、名詞句(2)で区別した。
【０１０２】
【表１】
0005427675.tif 000022
【０１０３】
図４に示すように、共通文法における非終端記号生成規則（Ａ→ＢＣ）として抽出された７個の規則には、１２個の非終端記号が含まれている。これら１２個の非終端記号のうち、終端記号生成確率の高いものとして、No.2、No.5、No.7、No.9、No.11、No.13の合計６個の非終端記号を抽出した。
【０１０４】
このうち“No.2の非終端記号”について、１１個の各言語で出力される確率の高い終端記号（単語）を図５（ａ）に示し、“No.5の非終端記号”について、１１個の各言語で出力される確率の高い終端記号（単語）を図５（ｂ）に示す。
また、No.7、No.9の非終端記号について各言語で出力される確率の高い終端記号を図６（ａ）、図６（ｂ）にそれぞれ示す。
さらに、No.11、No.13の非終端記号について各言語で出力される確率の高い終端記号を図７（ａ）、図７（ｂ）にそれぞれ示す。
【０１０５】
共通文法における非終端記号生成規則（Ａ→ＢＣ）の推定後に文法カテゴリを名づけたが、図５〜図７に示すように、どの言語でも、同じ文法カテゴリに属する単語がクラスタリングできていることが分かる。したがって、本発明は、例えば１１言語で記述された自然言語文データから、個別言語の文法と共に言語共通の文法を推定できる性能があると評価できる。
【符号の説明】
【０１０６】
１      多言語文法解析装置
２      演算手段
３      入力手段
４      記憶手段
５      出力手段
６      バスライン
２１    個別文法推定部
２１１  個別文法読込部
２１２  構文木確率推定部
２１３  個別文法パラメータ推定部
２１４  個別文法書込部
２２    共通文法推定部
２２１  共通文法読込部
２２２  共通文法パラメータ推定部
２２３  共通文法書込部
２３    推定処理制御部
２４    メモリ
４１    個別文法推定プログラム
４２    共通文法推定プログラム
４３    推定処理制御プログラム
４４    入力多言語データ
４５    共通文法パラメータ集合
４６    個別文法パラメータ集合
【図１】
0005427675.tif 000023
【図２】
0005427675.tif 000024
【図３】
0005427675.tif 000025
【図４】
0005427675.tif 000026
【図５】
0005427675.tif 000027
【図６】
0005427675.tif 000028
【図７】
0005427675.tif 000029