(57)【特許請求の範囲】
【請求項１】
統計的機械翻訳に使用されるフレーズペアを生成する翻訳フレーズペア生成装置であって、
正規化されていない第１対訳コーパスから正規化されていない第１単語対応を作成し、正規化されている第２対訳コーパスから正規化されている第２単語対応を作成する単語対応付け部と、
前記第１対訳コーパス、および、前記第１単語対応から第１フレーズペアを抽出し、前記第１対訳コーパス、および、前記第２単語対応から第２フレーズペアを抽出し、前記第２対訳コーパス、および、前記第１単語対応から第３フレーズペアを抽出し、前記第２対訳コーパス、および、前記第２単語対応から第４フレーズペアを抽出するフレーズペア抽出部と、
前記第１フレーズペア、前記第２フレーズペア、前記第３フレーズペア、および、前記第４フレーズペアに対して、それぞれスコア付けを行い、フレーズテーブルに格納するスコア付加部と、
を有することを特徴とする翻訳フレーズペア生成装置。
【請求項２】
翻訳元言語文の入力を受け付け、請求項１に記載された翻訳フレーズペア生成装置により前記フレーズテーブルに格納された前記第１フレーズペア、前記第２フレーズペア、前記第３フレーズペア、および、前記第４フレーズペアをもとに、翻訳先言語文を出力することを特徴とする統計的機械翻訳装置。
【請求項３】
統計的機械翻訳に使用されるフレーズペアを生成する翻訳フレーズペア生成方法であって、
コンピュータが、
正規化されていない第１対訳コーパスから正規化されていない第１単語対応を作成し、正規化されている第２対訳コーパスから正規化されている第２単語対応を作成する手順と、
前記第１対訳コーパス、および、前記第１単語対応から第１フレーズペアを抽出し、前記第１対訳コーパス、および、前記第２単語対応から第２フレーズペアを抽出し、前記第２対訳コーパス、および、前記第１単語対応から第３フレーズペアを抽出し、前記第２対訳コーパス、および、前記第２単語対応から第４フレーズペアを抽出する手順と、
前記第１フレーズペア、前記第２フレーズペア、前記第３フレーズペア、および、前記第４フレーズペアに対して、それぞれスコア付けを行い、フレーズテーブルに格納する手順と、
を実行することを特徴とする翻訳フレーズペア生成方法。
【請求項４】
コンピュータが、翻訳元言語文の入力を受け付け、請求項３に記載された翻訳フレーズペア生成方法により前記フレーズテーブルに格納された前記第１フレーズペア、前記第２フレーズペア、前記第３フレーズペア、および、前記第４フレーズペアをもとに、翻訳先言語文を出力することを特徴とする統計的機械翻訳方法。
【請求項５】
請求項３に記載された翻訳フレーズペア生成方法をコンピュータに実行させるための翻訳フレーズペア生成プログラム。
【請求項６】
請求項４に記載された統計的機械翻訳方法をコンピュータに実行させるための統計的機械翻訳プログラム。
【請求項７】
請求項５または請求項６に記載されたプログラムを格納することを特徴とするコンピュータが読み取り可能な記憶媒体。
【請求項８】
統計的機械翻訳に使用されるフレーズペアを生成するフレーズペア生成装置であって、
正規化しない１つの対訳コーパスと、その対訳コーパスに対してＮ−１種類の単語正規化手法をそれぞれ１回適用した対訳コーパスをＮ−１個作成することで、合計Ｎ個の対訳コーパスとし、前記Ｎ個の対訳コーパスからＮ個の単語対応グループを作成する単語対応付け部と、
前記Ｎ個の対訳コーパスと、前記Ｎ個の単語対応との組み合わせにより、Ｎの２乗個のフレーズペアを抽出するフレーズペア抽出部と、
前記Ｎの２乗個のフレーズペアに対して、それぞれスコア付けを行い、フレーズテーブルに格納するスコア付加部と、
を有することを特徴とする翻訳フレーズペア生成装置。
【請求項９】
統計的機械翻訳に使用されるフレーズペアを生成するフレーズペア生成装置であって、
正規化しない１つの対訳コーパスからＮ種類の単語正規化手法をそれぞれ１回適用したＮ個の単語対応グループを作成する単語対応付け部と、
前記１個の対訳コーパスと、前記Ｎ個の単語対応との組み合わせにより、Ｎ個のフレーズペアを抽出するフレーズペア抽出部と、
前記Ｎ個のフレーズペアに対して、それぞれスコア付けを行い、フレーズテーブルに格納するスコア付加部と、
を有することを特徴とする翻訳フレーズペア生成装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、翻訳フレーズペア生成装置、統計的機械翻訳装置、翻訳フレーズペア生成方法、統計的機械翻訳方法、翻訳フレーズペア生成プログラム、統計的機械翻訳プログラム、および、記憶媒体に関する。
【背景技術】
【０００２】
翻訳元言語の文と翻訳先言語の文のペアを大量に集めた対訳データから、機械翻訳システムを自動構築する技術（統計的機械翻訳）が提案されている。
【０００３】
図３は、フレーズ翻訳を示す説明図である。フレーズベースの統計的機械翻訳は、単語単位ではなく、単語列に対する翻訳モデルが用いられる。最初に図３上部の翻訳元言語文「日本  の  首相  は  小泉  です」を部分文字列に分割するあらゆる可能性を考える。その可能性の１つとして、図３に示すような３つの部分文字列「日本  の」「首相  は」「小泉  です」に分割される。
【０００４】
次に、分割された部分文字列ごとに翻訳モデルを用いて翻訳して翻訳先言語文（目的言語の文字列）「The prime minister」「of Japan」「is Koizumi」を作成する。さらに、これら目的言語の文字列のあらゆる並び替えを翻訳文候補として考える。
【０００５】
こうして生成される膨大な翻訳文候補の中から、最も尤度の高い翻訳文「The prime minister of Japan is Koizumi」を探索し出力する。ただし実際は、これらあらゆる可能性を全探索して最適解を求めることは現実的でないため、様々な制約を加えて候補を絞り、準最適解を求めることが一般的である。
【０００６】
機械翻訳の問題は、翻訳元単語列ｆに対応して、次の（式１）を満たす最適な翻訳先単語列ｅｈを求める問題として定式化される（非特許文献１参照）。なお、本明細書では、説明を理解しやすくするために、翻訳元単語列ｆの一例として日本語文字列を、翻訳先単語列ｅの一例として英語文字列を、それぞれ使用する。
【０００７】
ｈｍ（ｅ，ｆ）は翻訳元単語列ｆと翻訳先単語列ｅのペアをスコア付けする素性関数、λｍ（ｍ＝１…Ｍ）はそれらのスケーリングファクタ、Ｅは可能な全ての翻訳先単語列（すなわち翻訳先言語）とする。
【数１】
0004829685.tif 000002
【０００８】
各素性関数ｈｍ（ｅ，ｆ）としては、非特許文献２では、次の７つのｌｏｇをとったものが使われる。
・フレーズ翻訳確率：φ（ｅ｜ｆ）
・フレーズ翻訳確率：φ（ｆ｜ｅ）
・レキシカル重み：ｌｅｘ（ｅ｜ｆ）
・レキシカル重み：ｌｅｘ（ｆ｜ｅ）
・フレーズペナルティ：ωｌｅｎｇｔｈ（ｅ）（ただし、ωは定数、ｌｅｎｇｔｈ（）は単語列長を返す関数）
・Ｎ−ｇｒａｍ言語モデル：ＰＬＭ（ｅ）
・歪モデル
【０００９】
各フレーズ翻訳確率やレキシカル重みは翻訳としての尤度を評価する関数であり、別名、翻訳モデルとも呼ばれる。前記の式において、現実にはＥの全ての要素を候補とすることは不可能であるため、次のようにして翻訳候補を生成し、Ｅを近似する。
【００１０】
図４は、文分割と翻訳候補を示す説明図である。まず、翻訳元の文を単語列に分割し、翻訳モデルを用いて各々の翻訳元単語列に対する翻訳先単語列の候補を生成する。翻訳元の文をオーバーラップやギャップなしに覆うような翻訳元単語列と翻訳先単語列のペア（以後、フレーズペア）の集合（この図の場合、文頭から文末まで有効グラフをたどって得られるフレーズペアの集合）のすべての要素を並び替えたものが翻訳候補となる。
【００１１】
なお、本明細書では、１つのフレーズペアをカギ括弧でくくり、“「翻訳元単語列ｆから翻訳される翻訳先単語列ｅのフレーズ（翻訳元単語列ｆのフレーズ）」”の形式で表現する。なお、１つの文は、１つ以上のフレーズペアにより構成される。
【００１２】
例えば、図４の例では以下の集合は翻訳候補を構成するものとして適切なものである。
・｛「Japanese（日本  の）」，「The prime minister（首相  は）」，「Koizumi（小泉）」，「is（です）」｝
・｛「Japanese（日本  の）」，「the prime minister（首相  は）」，「is Koizumi（小泉  です）」｝
【００１３】
各集合の要素を並びかえることで、以下のような膨大な翻訳候補文を生成する。
・「Japanese（日本  の）」「The prime minister（首相  は）」「is Koizumi（小泉  です）」
・「the prime minister（首相  は）」「Japanese（日本  の）」「is Koizumi（小泉  です）」
【００１４】
しかしながら、ここまで翻訳候補数を制限しても現実的にはこれら全ての候補から最適解を求めることはできない。そこで、非特許文献３の手法で準最適解をもとめる。
【００１５】
各スケーリングファクタλｍについては、非特許文献１の手法を用いることで、スケーリングファクタ学習用対訳コーパスにおける翻訳精度が最大になるように自動設定できる。
【００１６】
前記４つの翻訳モデル（φ（ｅ｜ｆ）、φ（ｆ｜ｅ）、ｌｅｘ（ｅ｜ｆ）、および、ｌｅｘ（ｆ｜ｅ））は次のようなフレーズテーブルとして表現される。
【表１】
0004829685.tif 000003
【００１７】
翻訳候補文に対するこれらの値は、翻訳候補を構成するフレーズペアのスコアの累積として計算される。例えば候補
・「of Japan（日本  の）」「The prime minister（首相  は）」「is Koizumi（小泉  です）」に対するφ（ｅ｜ｆ）は、φ（ｅ｜ｆ）＝０．３×０．６×０．２＝０．０３６となり、対応する素性関数の値はそのｌｏｇ値であるため、ｌｏｇφ（ｅ｜ｆ）≒−１．４４となる。
【００１８】
４つの翻訳モデルに対応する素性関数のスケーリングファクタがそれぞれ、０．１、０．２、０．３、０．４だとすると、以下の翻訳候補文の翻訳モデルに関する総合スコアを計算する。
・「The prime minister（首相  は）」「of Japan（日本  の）」「is Koizumi（小泉  です）」
計算結果は、次の通りである。
０．１×ｌｏｇ（０．６×０．３×０．２）
＋０．２×ｌｏｇ（０．５×０．３５×０．１）
＋０．３×ｌｏｇ（０．４×０．２×０．３）
＋０．４×ｌｏｇ（０．３×０．２５×０．４）
【００１９】
翻訳候補文のスコアとしては、翻訳モデルに関する総合スコアだけでなく、その他の素性関数を考慮して、同様に計算される。翻訳結果としては、最もスコアの高い翻訳候補が選ばれる（繰り返しになるが、現実的には最適解は求められず、非特許文献３の手法によって準最適化をもとめる）。
【００２０】
図５は、翻訳フレーズペア生成装置１ａを示す構成図である。フレーズテーブル１９ａは、翻訳元言語の文と翻訳先言語の文のペアを大量に集めた対訳データから作成される。フレーズテーブル１９ａは、次の（１）から（３）のステップで作られる。
（１）単語対応付け部１４ａは、対訳コーパス１１ａから単語対応１６ａを作成することで、単語対応付けを行う。
（２）フレーズペア抽出部１５ａは、対訳コーパス１１ａおよび単語対応１６ａから対応するフレーズペア１７ａを抽出する。
（３）スコア付加部１８ａは、フレーズペア１７ａにスコア付けを行い、フレーズテーブル１９ａを作成する。
【００２１】
図６は、フレーズ抽出を示す説明図である。フレーズ抽出は、前記した（１）、（２）に相当する。最初にＩＢＭモデル（非特許文献４）などを用いて、単語の対応付けを行う。図６の「塗りつぶし矩形」が単語対応を表す。この例の単語対応は、単語位置をインデックスとして、「日本語の単語位置−英語の単語位置」の集合｛１−１，２−２，３−３，３−４，４−０｝（ただし単語位置０はどこにも対応しないことを意味する）と表現される。次にこの単語対応を基に、翻訳元言語の各単語に対応する「塗りつぶし矩形」が閉じるとともに翻訳先言語の各単語に対応する「塗りつぶし矩形」も閉じるように、フレーズペア１７ａを抽出する。この例では、以下の９組が抽出される。
・This（これ）
・is（は）
・a pen（ペン）
・a pen（ペン  です）
・This is（これ  は）
・This is a pen（これ  は  ペン）
・This is a pen（これ  は  ペン  です）
・is a pen（は  ペン）
・is a pen（は  ペン  です）
【００２２】
スコア付加部１８ａは、対訳データのすべての文ペアから抽出されるフレーズペア１７ａのリストから、各フレーズペア１７ａに対するスコアを計算する。各スコアの計算方法は、非特許文献２に基づく。
【００２３】
図７は、翻訳フレーズペア生成装置１ｂを示す構成図である。翻訳フレーズペア生成装置１ｂは、（１）単語対応付けの前処理として単語正規化してから、フレーズテーブル１９ｂを求める。具体的には、単語表現正規化部１３ｂは、対訳コーパス１１ｂから正規化対訳コーパス１２ｂを作成する。単語対応付け部１４ｂは、正規化対訳コーパス１２ｂから単語対応１６ｂを作成する。残りの構成は図５と同じである。
【００２４】
単語表現正規化部１３ｂの単語正規化手法としてはいくつかの方法が考えられるが、英単語の正規化の場合、全てを小文字化する手法、または、ステミングとよばれる単語の活用語尾を削除する手法などがよく使われる。単語正規化した対訳コーパスは単語対応付けのためだけに用いられ、フレーズペア１７ｂの抽出はもとの対訳コーパスを用いるため、フレーズテーブルに現れる単語列は単語正規化しないものが使われる。
【非特許文献１】F.J.Och著、「Minimum error rate training in statistical machine translation」、in Proc.of the 41st Annual Meeting of the Association for Computational Linguistics(ACL),pp.160-167,2003
【非特許文献２】P.Koehn,F.J.Och,andD.Marcu著、「Statistical phrase-based translation」、in Proc.of Human Language Technology Conference of the North American Chapter of the Association for Computational Linguistics(HLT-NAACL),pp.127-133,2003
【非特許文献３】P.Koehn,Pharaoh著、「a beam search decoder for phrase-based statistical machine translation models」、in Proc of the 6th Conforence of the Association for Machine Translation in the Americas(AMTA),pp.115-124,2004
【非特許文献４】P.F.Brown,S.A.D.Pietra,V.J.D.Pitra and R.L.Mercer著、「the Mathematics of Statistical Machine Translation」、Parameter Estimation,Computational Linguistics,Vol.19,No.2,pp.263-311,1993.3
【発明の開示】
【発明が解決しようとする課題】
【００２５】
単語列に対する翻訳モデルは、翻訳元言語文字列、翻訳先言語文字列およびスコアの三つ組みの集合で表される。この翻訳モデルは、両言語に含まれる単語同士の共起の統計量を用いて単語対応付けを行い、その単語対応付け結果を用いて構成される。
【００２６】
しかし、単語対応付けに用いる共起の統計量は、翻訳モデルの学習に用いる学習データが少ない場合には信頼できるものが求まらず、結果として精度の高い翻訳モデルが獲得できない問題がある。
【００２７】
そこで、あらかじめ英単語を小文字に統一する、または、英語の活用語尾を削除する（ステミング）など、単語表記の正規化をしておくことで共起の統計量を安定してもとめやすくすることが広く行われている。これまで単語の対応付けを正規化された対訳コーパスのみから生成していた。
【００２８】
しかし、正規化により、どのような学習データに対しても安定し、性能を引き出すことは困難であるという副作用が発生してしまう。つまり、単語表記を正規化することはある種の情報が失われることであるため、単語表記を正規化してもとめた単語対応に基づき作成された翻訳モデルは、学習データが増えると単語表記を正規化しないで作成したものより精度が落ちるという問題があった。
【００２９】
例えば、日本語の単語「日本」は英単語の「Japan」や「Japanese」に対応づき易い。しかし、学習データが少ない場合、英単語をステミングすることで、「Japan」も「Japanese」も「Japan」に変換して扱った方が、安定して共起統計量がもとまる。しかし、「日本人は日本が好き」と「Japanese people like Japan」の二文間で単語対応を求める際は、どちらの「日本」が「Japan」と「Japanese」に対応しているかの区別が必要なため、このような正規化は副作用も及ぼす。 
【００３０】
そこで、本発明は、前記した問題を解決し、どのような学習データにおいても、精度の高い翻訳ができるような、フレーズペアを作成することを主な目的とする。
【課題を解決するための手段】
【００３１】
前記課題を解決するために、本発明は、統計的機械翻訳に使用されるフレーズペアを生成するフレーズペア生成装置であって、正規化されていない第１対訳コーパスから正規化されていない第１単語対応を作成し、正規化されている第２対訳コーパスから正規化されている第２単語対応を作成する単語対応付け部と、前記第１対訳コーパス、および、前記第１単語対応から第１フレーズペアを抽出し、前記第１対訳コーパス、および、前記第２単語対応から第２フレーズペアを抽出し、前記第２対訳コーパス、および、前記第１単語対応から第３フレーズペアを抽出し、前記第２対訳コーパス、および、前記第２単語対応から第４フレーズペアを抽出するフレーズペア抽出部と、前記第１フレーズペア、前記第２フレーズペア、前記第３フレーズペア、および、前記第４フレーズペアに対して、それぞれスコア付けを行い、フレーズテーブルに格納するスコア付加部と、を有することを特徴とする。
【００３２】
これにより、従来の方法よりも多数の翻訳フレーズペアの生成ができる。
【００３３】
本発明は、翻訳元言語文の入力を受け付け、前記翻訳フレーズペア生成装置により前記フレーズテーブルに格納された前記第１フレーズペア、前記第２フレーズペア、前記第３フレーズペア、および、前記第４フレーズペアをもとに、翻訳先言語文を出力することを特徴とする。
【００３４】
これにより、従来の方法よりも多数の翻訳フレーズペアの生成ができる。
【００３５】
本発明は、統計的機械翻訳に使用されるフレーズペアを生成する翻訳フレーズペア生成方法であって、コンピュータが、正規化されていない第１対訳コーパスから正規化されていない第１単語対応を作成し、正規化されている第２対訳コーパスから正規化されている第２単語対応を作成する手順と、前記第１対訳コーパス、および、前記第１単語対応から第１フレーズペアを抽出し、前記第１対訳コーパス、および、前記第２単語対応から第２フレーズペアを抽出し、前記第２対訳コーパス、および、前記第１単語対応から第３フレーズペアを抽出し、前記第２対訳コーパス、および、前記第２単語対応から第４フレーズペアを抽出する手順と、前記第１フレーズペア、前記第２フレーズペア、前記第３フレーズペア、および、前記第４フレーズペアに対して、それぞれスコア付けを行い、フレーズテーブルに格納する手順と、を実行することを特徴とする。
【００３６】
これにより、従来の方法よりも多数の翻訳フレーズペアの生成ができる。
【００３７】
本発明は、コンピュータが、翻訳元言語文の入力を受け付け、前記翻訳フレーズペア生成方法により前記フレーズテーブルに格納された前記第１フレーズペア、前記第２フレーズペア、前記第３フレーズペア、および、前記第４フレーズペアをもとに、翻訳先言語文を出力することを特徴とする。
【００３８】
これにより、従来の方法よりも多数の翻訳フレーズペアの生成ができる。
【００３９】
本発明は、前記翻訳フレーズペア生成方法をコンピュータに実行させるための翻訳フレーズペア生成プログラムである。
【００４０】
これにより、従来の方法よりも多数の翻訳フレーズペアの生成ができる。
【００４１】
本発明は、前記統計的機械翻訳方法をコンピュータに実行させるための統計的機械翻訳プログラムである。
【００４２】
これにより、従来の方法よりも多数の翻訳フレーズペアの生成ができる。
【００４３】
本発明は、前記プログラムを格納することを特徴とする。
【００４４】
これにより、従来の方法よりも多数の翻訳フレーズペアの生成ができる。
【００４５】
本発明は、統計的機械翻訳に使用されるフレーズペアを生成するフレーズペア生成装置であって、正規化しない１つの対訳コーパスと、その対訳コーパスに対してＮ−１種類の単語正規化手法をそれぞれ１回適用した対訳コーパスをＮ−１個作成することで、合計Ｎ個の対訳コーパスとし、前記Ｎ個の対訳コーパスからＮ個の単語対応グループを作成する単語対応付け部と、前記Ｎ個の対訳コーパスと、前記Ｎ個の単語対応との組み合わせにより、Ｎの２乗個のフレーズペアを抽出するフレーズペア抽出部と、前記Ｎの２乗個のフレーズペアに対して、それぞれスコア付けを行い、フレーズテーブルに格納するスコア付加部と、を有することを特徴とする。
【００４６】
これにより、従来の方法よりも多数の翻訳フレーズペアの生成ができる。
【００４７】
本発明は、統計的機械翻訳に使用されるフレーズペアを生成するフレーズペア生成装置であって、正規化しない１つの対訳コーパスからＮ種類の単語正規化手法をそれぞれ１回適用したＮ個の単語対応グループを作成する単語対応付け部と、前記１個の対訳コーパスと、前記Ｎ個の単語対応との組み合わせにより、Ｎ個のフレーズペアを抽出するフレーズペア抽出部と、前記Ｎ個のフレーズペアに対して、それぞれスコア付けを行い、フレーズテーブルに格納するスコア付加部と、を有することを特徴とする。
【００４８】
これにより、従来の方法よりも多数の翻訳フレーズペアの生成ができる。
【発明の効果】
【００４９】
本発明により、正規化していない対訳コーパスからも生成するようにしたことにより、従来の方法よりも多数の翻訳フレーズペアの生成ができる。よって、どのような学習データにおいても、単語正規化しない翻訳モデルだけ用いた場合や、単語正規化した翻訳モデルだけ用いた場合と比べて、平均して精度の高い翻訳ができ、安定して性能を引き出すことができる。
【００５０】
また、ユーザは、学習データに応じて対訳コーパスを正規化するかしないか、またはどのような正規化手法を用いるかを学習データに応じて先見的に決定する必要がなくなり、決定に関する負担が軽減する。
【発明を実施するための最良の形態】
【００５１】
以下に、本発明が適用される翻訳システムの一実施形態について、図面を参照して詳細に説明する。
【００５２】
図１は、翻訳フレーズペア生成装置１ｃを示す構成図である。図７と比較すると、以下に示す構成の差異がある。
【００５３】
まず、単語対応付け部１４ｃは、単語正規化しない対訳コーパス１１ｃ（第１対訳コーパス）、および、正規化した正規化対訳コーパス１２ｃ（第２対訳コーパス）にそれぞれ対応して、正規化なし単語対応１６ｄ（第１単語対応）、および、正規化あり単語対応１６ｃ（第２単語対応）を求める。
【００５４】
次に、フレーズペア抽出部１５ｃは、以下に示す４種類のフレーズペア（フレーズペアのマルチセット）を抽出する。
・第１フレーズペア１７ｃとして、正規化していない対訳コーパス１１ｃから正規化なし単語対応１６ｄを用いて、フレーズペアを抽出する。
・第２フレーズペア１７ｄとして、正規化していない対訳コーパス１１ｃから正規化あり単語対応１６ｃを用いて、フレーズペアを抽出する。
・第３フレーズペア１７ｅとして、正規化対訳コーパス１２ｃから正規化なし単語対応１６ｄを用いて、フレーズペアを抽出する。
・第４フレーズペア１７ｆとして、正規化対訳コーパス１２ｃから正規化あり単語対応１６ｃを用いて、フレーズペアを抽出する。
【００５５】
以下にフレーズテーブル１９（一部）の例を示す。
【表２】
0004829685.tif 000004
【００５６】
フレーズテーブル１９において、抽出されなかったフレーズペアのスコアは非常に小さな値である０．００１に設定する。前記フレーズテーブル１７の例では、フレーズペア「＃１」は、第１フレーズペア１７ｃに含まれなかったため、０．００１となっている。
【００５７】
図２は、統計的機械翻訳装置２を示す構成図である。日本語から英語へ翻訳する日英機械翻訳システムに関する一例を示す。統計的機械翻訳装置２は、スケーリングファクタ学習用対訳データ２１、スケーリングファクタ学習部２２、スケーリングファクタ２３、解探索部２４、フレーズテーブル２５、および、言語モデル２６を有する。これらの構成要素は、例えば、非特許文献１、非特許文献３の従来法により実現できる。
【００５８】
フレーズテーブル１９（図１参照）に格納されている内容と、フレーズテーブル２５に格納されている内容とは、同じである。この内容の同一化をするために、例えば、フレーズテーブル１７からフレーズテーブル２５にデータコピーを行ってもよいし、フレーズテーブル２５からフレーズテーブル１７に参照するリンクを設定してもよい。
【００５９】
フレーズテーブル２５に格納されている個々のフレーズペアとそれに対応する各スコアの三つ組みの集合から、翻訳候補文を評価する関数ｈｍ（ｅ，ｆ）を構成する。スケーリングファクタ学習部２２は、翻訳モデル（言語モデル２６）以外の素性関数も含めて、スケーリングファクタ学習用対訳データ２１における翻訳精度が最大になるように、非特許文献１の手法などを用いてスケーリングファクタ２３を求める。
【００６０】
解探索部２４は、スケーリングファクタ２３により個々の素性関数を重み付けする。
【００６１】
以上の実施形態では、フレーズテーブル２５に格納されている「対訳コーパス」と「正規化対訳コーパス」の２種類を用いることで、２の２乗＝４種類のフレーズペアのバリエーションを獲得した。さらに、単語表現正規化部１３ｃは、Ｎ−１種類の単語正規化手法をそれぞれ１回適用した対訳コーパスをＮ−１個作成し、正規化しない１つの対訳コーパスを含めて、合計Ｎ個の対訳コーパスを用いるように拡張できる。同様に、Ｎ−１種類の単語正規化手法をそれぞれ１回適用した単語対応をＮ−１個作成し、正規化しない１つの単語対応を含めて、合計Ｎ個の単語対応を用いるように拡張できる。なお、Ｎは、２以上の自然数である。
【００６２】
この場合、抽出対象となる対訳コーパスがＮ個、利用する単語対応がＮ個で合計Ｎの２乗個のフレーズペアのマルチセットが獲得可能である。または、正規化しない対訳コーパスが１個、利用する単語対応がＮ個で合計Ｎ個のフレーズペアのマルチセットが獲得可能である。このように、本実施形態では対訳コーパスのバリエーションを組み合わせ的に活かして、翻訳モデルのバリエーションを増やすことが可能となる。
【００６３】
以上説明した本発明は、単語正規化しないで求めた翻訳モデルと、単語正規化してもとめた翻訳モデルを重み付けて併用して用いる。翻訳モデルの重み付けは、翻訳モデルを学習した学習データとは別の重み決定用学習データを用い、重み決定用学習データでの翻訳精度が一番高くなるように設定することを特徴とする。
【００６４】
以上説明した本発明は、以下のようにその趣旨を逸脱しない範囲で広く変形実施することができる。
【００６５】
例えば、本明細書では、翻訳元単語列ｆおよび翻訳先単語列ｅとして、任意の言語体系から任意の言語体系への翻訳が適用可能である。
【００６６】
なお、翻訳フレーズペア生成装置１ｃ、および、統計的機械翻訳装置２は、それぞれ演算処理を行う際に用いられる主記憶手段としてのメモリと、前記演算処理を行う演算処理装置と、各テーブルを格納するＨＤＤ（Hard Disk Drive）などの補助記憶手段を少なくとも備えるコンピュータとして構成される。なお、メモリは、ＲＡＭ（Random Access Memory）などにより構成される。演算処理は、ＣＰＵ（Central Processing Unit）によって構成される演算処理装置が、メモリ上のプログラムを実行することで、実現される。本実施形態は、各装置に加え、各装置に演算処理を実行させるためのプログラム、および、そのプログラムを格納したコンピュータ読み取り可能な記憶媒体を含む。
【図面の簡単な説明】
【００６７】
【図１】本発明の一実施形態に関する翻訳フレーズペア生成装置を示す構成図である。
【図２】本発明の一実施形態に関する統計的機械翻訳装置を示す構成図である。
【図３】本発明の一実施形態に関するフレーズ翻訳を示す説明図である。
【図４】本発明の一実施形態に関する文分割と翻訳候補を示す説明図である。
【図５】本発明の一実施形態に関する翻訳フレーズペア生成装置（従来法１）を示す構成図である。
【図６】本発明の一実施形態に関するフレーズ抽出を示す説明図である。
【図７】本発明の一実施形態に関する翻訳フレーズペア生成装置（従来法２）を示す構成図である。
【符号の説明】
【００６８】
１      翻訳フレーズペア生成装置
２      統計的機械翻訳装置
１４    単語対応付け部
１５    フレーズペア抽出部
１８    スコア付加部
１９    フレーズテーブル
【図１】
0004829685.tif 000005
【図２】
0004829685.tif 000006
【図３】
0004829685.tif 000007
【図４】
0004829685.tif 000008
【図５】
0004829685.tif 000009
【図６】
0004829685.tif 000010
【図７】
0004829685.tif 000011