(57)【要約】言語間の解析モデルを生成し、目的言語にソース言語を機械翻訳するモデルを使用するためのシステムおよび方法が提供される。システムおよび方法は、ソース言語の文の受容、および、各々が目的言語の単語、統語上のラベル、および、要素間の関係を示す役割ラベルで分類される要素を有する候補解析の言語間の解析モデルでの検索および統計学的なランク付けを含む。統計学的に高ランクの解析は、ソース言語の文の言語間の解析を生成するため、目的言語の語順規則に従って統語上のおよび役割ラベルを用いて選ばれ、再配置される。
2009533728.tif 000002
【特許請求の範囲】
【請求項１】
ソース言語から目的言語への機械翻訳するための方法であって、(a)翻訳モジュールでの、該ソース言語の少なくとも１つの文の受容;（b）言語間の解析モデルでの検索および統計学的なランク付けであり、複数の候補解析は該ソース言語文の単語に対応する目的言語の単語で分類される要素;該要素の統語上のカテゴリを示す統語上のラベル;および、該要素の関係を示す役割ラベルを各々有するもの;(c)該少なくとも１つの文のための統計学的に高ランクの解析の選択;および、（d）該ソース言語の文の言語間の解析を生成するため、該目的言語の語順規則に従った該統語上のおよび役割ラベルを用いた該解析の再配置を含む方法。
【請求項２】
前記再配置（d）が、前記語順規則と関連した規則集合の使用を含む請求項１の方法。
【請求項３】
前記言語間の解析が単一の上部ノードから複数の語末ノードまで下流の分岐関係に配置されている複数のノードを含む請求項１の方法。
【請求項４】
前記複数のノードが、前記統語上のラベルおよび前記役割ラベルを含む複数の分類されたノード;該分類されたノードの下流に連結される複数の語末の前のノードであって、前記目的言語の単語をそれぞれ含む該語末の前のノード;および、該語末の前のノードに連結される前記複数の語末ノードであって、前記ソース言語文の前記単語をそれぞれ含む前記語末ノードを含む請求項３の方法。
【請求項５】
前記統語上のラベルが、ＣＣ，  ＣＤ，  ＵＨ，  ＤＴ，  ＥＸ，  ＦＷ，  ＩＮ，  ＪＪ，  ＪＪＲ，  ＪＪＳ，  ＬＳ，  ＭＤ，  ＮＮ，  ＮＮＳ，  ＮＮＰ，  ＮＮＰＳ，  ＰＤＴ，  ＰＯＳ，  ＰＲＰ，  ＰＰ＄，  ＲＢ，  ＲＢＲ，  ＲＢＳ，  ＲＰ，  ＳＹＭ，  ＴＯ，  ＵＨ，  ＶＢ，  ＶＢＤ，  ＶＢＧ，  ＶＢＮ，  ＶＢＰ，  ＶＢＺ，  ＷＤＴ，  ＷＰ，  ＷＰ＄，  ＷＲＢ，  ＃，  ＄，  ．，  ，，  ：  ，  （，  ），  ”，  ｀，  ”，  ’，  ”，  ＡＤＪＰ，  ＡＤＶＰ，  ＮＰ，  ＰＰ，  Ｓ，  ＳＢＡＲ，  ＳＢＡＲＱ，  ＳＩＮＶ，  ＳＱ，  ＶＰ，  ＷＨＡＤＶＰ，  ＷＨＮＰ，  ＷＨＰＰ，  Ｘ，  およびその組合せから構成される群から選択される請求項３の方法。
【請求項６】
前記役割ラベルは、隣接上流ノードに関し、前記言語間の解析の範囲内で各々分類されたノードの候補の役割を定める請求項３の方法。
【請求項７】
役割ラベルがHEAD、SBJ、OBJ、SYNHEAD、PPMOD、SMOD、PREMOD、POSTMOD、MIDMODおよびその組合せから構成される群から選択される請求項６の方法。
【請求項８】
前記再配置（d）が、前記目的言語と関連する単語順序に前記語末の前のノードを配置することを含む請求項４の方法。
【請求項９】
目的言語の解析を生成するために、前記言語間の解析からの前記複数の語末ノードの除去を含む請求項８の方法。
【請求項１０】
目的言語の翻訳を生成するために前記語末の前のノードの抽出を含む請求項８の方法。
【請求項１１】
前記割当て(b）が、前記言語間の解析モデルの生成（d）を含む請求項１の方法。
【請求項１２】
前記生成（d）が、
(e)パーサ・トレーニング・モジュールでの複数の目的言語文の解析ツリーを有する目的言語ツリーバンクの受容であって、該目的言語文の該解析ツリーは前記統語上のラベルで分類されるノードを有するような受容;
(f)目的言語文のための候補解析ツリーをランク付けするパラメータを含む、該目的言語ツリーバンクを用いた目的言語解析モデルの生成;
(g)前記解析モジュールでの第２の複数の並列コーパスからの目的言語文の受容であって、該並列コーパスは前記第２の複数の目的言語文およびそれらのそれぞれのソース言語の同等物を含むような受容;
(h)前記第２の複数の目的言語文の各々の文の候補解析ツリーのランク付けされたリストを生成するため、該第２の複数の目的言語文への該目的言語解析モデルの適用;
(i)ツリー・トランスフォーマでの該ソースおよび目的言語の言語学的な特性と関連する規則集合を適用することによる該候補解析ツリーの変換;
(j)役割ラベラーでの該候補解析ツリーのノードへの言語学的な役割ラベルの割当てであって、該役割ラベルがそのそれぞれの解析ツリー内のノードの該言語学的な役割に対応するような割当て;
(k)各々の候補解析ツリーの部分からの文法制約の抽出;
(l)該抽出された文法制約および該並列コーパスのソース言語文を用いた該言語間の解析モデルの推定であって、該言語間の解析モデルが候補解析のランク付けのために十分なパラメータを含み、そこで、該パラメータが、ソース言語単語、目的言語単語、統語上のラベルおよび役割ラベルを含む該候補解析の要素と関連があるような推定;
を含む請求項１１の方法。
【請求項１３】
前記言語学的な特性が前記ソースおよび目的言語の形態的な構造を含む請求項１２の方法。
【請求項１４】
前記言語学的な特性が前記ソースおよび目的言語の句構造を含む請求項１２の方法。
【請求項１５】
前記推定（ｌ）がインサイド・アウトサイドアルゴリズムを使用して生じられる請求項１２の方法。
【請求項１６】
前記推定（１）がCKYアルゴリズムを使用して生じられる請求項１２の方法。
【請求項１７】
前記受容（g）が目的言語コーパスの受容をさらに含む請求項１２の方法。
【請求項１８】
前記抽出（k）は前記目的言語コーパスの前記解析ツリーから要素間の依存関係に関する統計の抽出を含む請求項１７の方法。
【請求項１９】
前記依存関係が語彙的依存関係を含む請求項１８の方法。
【請求項２０】
目的言語にソース言語を機械翻訳するため、言語間の解析モデルを生成するための方法であって、
(a) パーサ・トレーニング・モジュールでの複数の目的言語文の解析ツリーを有する目的言語ツリーバンクの受容であって、該目的言語文の解析ツリーが、該目的言語での統語上のカテゴリによって分類されるノードを有するような受容;
(b) 該目的言語ツリーバンクを用いた、目的言語文のための候補解析ツリーをランク付けするパラメータを含む目的言語解析モデルの生成;
(c) 該解析モジュールでの、並列コーパスから第２の複数の目的言語文の受容であって、該並列コーパスが前記第２の複数の目的言語文およびそれらのそれぞれのソース言語の同等物を含むような受容;
(d)前記第２の複数の目的言語文の各々の文のための候補解析ツリーのランクが付けられたリストを生成するため、 該第２の複数の目的言語文への該目的言語解析モデルの適用;
(e) ツリー・トランスフォーマでの該ソースおよび目的言語の言語学的な特性と関連している規則集合を適用することによる該候補解析ツリーの変換;
(f) 役割ラベラーでの該候補の解析ツリーのノードへの言語学的な役割ラベルの割当てであって、該役割ラベルがそのそれぞれの解析ツリー内のノードの該言語学的な役割に対応するような割当て;
(g) 各々の候補解析ツリーの部分からの文法制約の抽出;
(h) 該抽出された文法制約および該並列コーパスのソース言語文を用いた該言語間の解析モデルの推定であって、該言語間の解析モデルは、候補解析をランク付けするために十分なパラメータを含み、そこで、該パラメータは、ソース言語の単語、目的言語の単語、統語上のラベルおよび役割ラベルを含む該候補解析の要素と関連があるような推定を含む方法。
【請求項２１】
前記言語学的な特性が前記ソースおよび目的言語の形態的な構造を含む請求項２０の方法。
【請求項２２】
前記言語学的な特性が前記ソースおよび目的言語の句構造を含む請求項２０の方法。
【請求項２３】
前記推定（h）がパーサおよび文法を含む言語間の文法推定モジュールによって生じられる請求項２０の方法。
【請求項２４】
前記受容(c)が目的言語コーパスの受容を含む請求項２０の方法。
【請求項２５】
前記抽出（g）が前記目的言語コーパスの前記解析ツリーからの要素間の依存関係に関する統計抽出を含む請求項２４の方法。
【請求項２６】
前記依存関係が語彙的依存関係を含む請求項２５の方法。
【請求項２７】
ソース言語から目的言語への機械翻訳のためのシステムであって、
該ソース言語の少なくとも１つの文を受容するために構成される翻訳モジュール;
複数の候補解析を検索し、統計学的にランク付けするために構成される言語間の解析モデルであって、複数の候補解析は各々:該ソース言語の文の単語に対応する目的言語の単語で分類される要素;該要素の統語上のカテゴリを示す統語上のラベル;および、該要素の間の関係を示す役割ラベル;を有する言語間の解析モデル;
該少なくとも１つの文の統計学的に最高ランクの解析を選ぶために構成されるパーサ;
および、該ソース言語の文の言語間の解析を生成するため該目的言語の語順規則に従って、該統語上のおよび役割ラベルを用いて該統計学的にランク付けされた解析のうちの少なくとも１つを再配置するために構成される再順序付けモジュールを含むシステム。
【請求項２８】
目的言語にソース言語を機械翻訳する言語間の解析モデルを生成するためのシステムであって、
複数の目的言語文の解析ツリーを有する目的言語ツリーバンクを受容するために構成されるパーサ・トレーニング・モジュールであって、該解析ツリーはそれらの統語上のカテゴリによって分類されるノードを有するパーサ・トレーニング・モジュール;
該目的言語ツリーバンクを使用して、目的言語の文のための候補解析ツリーランク付けするパラメータを含む目的言語解析モデルを生成するために構成される該パーサ・トレーニング・モジュール;
並列コーパスから第２の複数の目的言語の文を受容するために構成される該パーサ・トレーニング・モジュールであって、該並列コーパスは、該第２の複数の目的言語の文、および、それらのそれぞれのソース言語同等物を含む該パーサ・トレーニング・モジュール;
前記第２の複数の目的言語の文の各々の文のための候補解析ツリーのランク付けされたリストを生成するため、該目的言語解析モデルを該第２の複数の目的言語文に適用するために構成される目的言語パーサ;
該ソースおよび目的言語の言語学的な特性と関連する規則集合を適用することによって該候補解析ツリーを変換するために構成されるツリー・トランスフォーマ;
言語学的な役割ラベルを該候補解析ツリーのノードに割り当てるように構成される役割ラベラーであって、該役割ラベルはそのそれぞれの解析ツリー内のノードの該言語学的な役割に対応する役割ラベラー;
各々の候補解析ツリーの部分から、文法制約を抽出するために構成される抽出モジュール;
該並列コーパスの該抽出された文法制約およびソース言語文を用いて該言語間の解析モデルを推定するために構成される言語間の文法推定部;および、
候補解析をランク付けするのに十分なパラメータを含む該言語間の解析モデルであって、そこで、該パラメータは、ソース言語単語、目的言語単語、統語上のラベルおよび役割ラベルを含む前記候補解析の要素を関連する該言語間の解析モデルを含むシステム。
【請求項２９】
前記言語学的な特性が前記ソースおよび目的言語の形態的な構造を含む請求項２８のシステム。
【請求項３０】
前記言語学的な特性が前記ソースおよび目的言語の句構造を含む請求項２８のシステム。
【請求項３１】
ソース言語を目的言語に機械翻訳するための製品において、
そこで具体化されるコンピュータ可読のプログラムコードを有するコンピュータが使用可能な媒体であって:
翻訳モジュールで該ソース言語の少なくとも１つの文を受容し;
各々が該ソース言語文の単語に対応する目的言語単語で分類される要素;該要素の統語上のカテゴリを示す統語上のラベル;および、前記要素の間の関係を示す役割ラベル;を有する複数の候補解析を言語間の解析モデルで検索し、統計学的にランク付けし;
前記少なくとも１つの文のため統計学的に最高ランクの解析を選択し;
および、該ソース言語文の言語間の解析を生成するため害目的言語の語順規則に従って該統語上のおよび役割ラベルを用いて該解析を再配置するためのコンピュータ可読のプログラムコードを有するコンピュータが使用可能な媒体を含む製品。
【請求項３２】
前記言語間の解析モデルを生成するためのコンピュータ可読のプログラムコードを含む請求項３１の製品。
【請求項３３】
前記言語間の解析モデルを生成するための前記コンピュータ可読のプログラムコードは:
パーサ・トレーニング・モジュールで、複数の目的言語の文の解析ツリーを有する目的言語ツリーバンクを受容し、該目的言語の文の該解析ツリーは該統語上のラベルで分類されるノードを有する目的言語ツリーバンクを受容し;
目的言語の文のための候補解析ツリーをランク付けするパラメータを含む該目的言語ツリーバンクを使用して、目的言語解析モデルを生成し;
前記解析モジュール、並列コーパスから第２の複数の目的言語文を受容し、該並列コーパスは該第２の複数の目的言語の文およびそれらのそれぞれのソース言語の同等物を含む第２の複数の目的言語文を受容し;
該第２の複数の目的言語文の各々の文のための候補解析ツリーのランク付けされたリストを生成するため、該第２の複数の目的言語の文に、該目的言語解析モデルを適用し;
ツリー・トランスフォーマで、該ソースおよび目的言語の言語学的な特性と関連する規則集合を適用することにより該候補解析ツリーを変換し;
役割ラベラーで、該候補の解析ツリーのノードに言語学的な役割ラベルであって、そのそれぞれの解析ツリー内のノードの該言語学的な役割に対応する該役割ラベルを割当て;
各々の候補解析ツリーの部分から文法制約を抽出し;
および、該抽出された文法制約および該並列コーパスのソース言語文を用いて該言語間の解析モデルを推定するコンピュータ可読のプログラムコードを含み、
該言語間の解析モデルは、候補解析をランク付けするために十分なパラメータを含み、そこで、該パラメータは、ソース言語単語、目的言語単語、統語上のラベルおよび役割ラベルを含む前記候補解析の要素と関連する請求項３２の製品。
【請求項３４】
前記言語学的な特性が前記ソースおよび目的言語の形態的な構造を含む請求項３３の製品。
【請求項３５】
前記言語学的な特性が前記ソースおよび目的言語の句構造を含む請求項３３の製品。
【請求項３６】
ソース言語を目的言語に翻訳するための自動翻訳機であって、
翻訳モジュールで該ソース言語の少なくとも１つの文を受容する手段;
各々が該ソース言語の文の単語に対応する目的言語の単語で分類される要素;該要素の統語上のカテゴリを示す統語上のラベル;および、該要素間の関係を示す役割ラベルを有する複数の候補解析を言語間の解析モデルで検索および統計学的ランク付けする手段;
該少なくとも１つの文のため、統計学的に最高ランクの解析を選ぶ手段;
および、該ソース言語の文の言語間の解析を生成するため、該目的言語の語順規則に従って該統語上のおよび役割ラベルを用いた該解析を再配置する手段を含む翻訳機。
【請求項３７】
前記言語間の解析モデルを生成するための手段を含む請求項３６の自動翻訳機。
【請求項３８】
前記言語間の解析モデルを生成する前記手段が:
パーサ・トレーニング・モジュールで、複数の目的言語文の解析ツリーであって、該統語上のラベルで分類されるノードを有する該目的言語の文の該解析ツリーを有する目的言語ツリーバンクを受容する手段;
該目的言語ツリーバンクを用いて、目的言語の文のための候補解析ツリーをランク付けするパラメータを含む目的言語解析モデルを生成する手段;
該解析モジュールで、該第２の複数の目的言語文およびそれらのそれぞれのソース言語の同等物を含む並列コーパスから第２の複数の目的言語文を受容する手段;
該第２の複数の目的言語文の各々の文のための候補解析ツリーのランク付けされたリストを生成するため、該第２の複数の目的言語の文に、該目的言語解析モデルを適用する手段;
ツリー・トランスフォーマで、該ソースおよび目的言語の言語学的な特性と関連する規則集合を適用することによって該候補解析ツリーを変換する手段;
役割ラベラーで、そのそれぞれの解析ツリー内のノードの該言語学的な役割に対応する言語学的な役割ラベルを該候補解析ツリーのノードに割当てる手段;
各々の候補解析ツリーの部分から文法制約を抽出する手段;
および、該並列コーパスの該抽出された文法制約およびソース言語文を用いて、候補解析をランク付けするのに十分なパラメータを含み、そこで、該パラメータは、ソース言語の単語、目的言語の単語、統語上のラベルおよび役割ラベルを含む該候補解析の要素と関連がある該言語間の解析モデルを推定する手段を含む請求項３７の自動翻訳機。
【請求項３９】
前記言語学的な特性が前記ソースおよび目的言語の形態的な構造を含む請求項３８の自動翻訳機。
【請求項４０】
前記言語学的な特性が前記ソースおよび目的言語の句構造を含む請求項３８の自動翻訳機。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は自動機械翻訳に関し、ソースおよび目的言語間のテキストを機械翻訳する方法およびシステムに関する。
【背景技術】
【０００２】
転送ベースの翻訳システムは、ベネットおよびスローカム（１９８５）（「LRC機械翻訳システム」、コンピュータ言語学、１１巻、２-３号、４月-９月」）Bennett and Slocum, １９８５, (“The LRC Machine Translation System,”
Computational Linguistics, Volume １１, Numbers ２-３, April-September”)により例証されるように２５年以上の間存在してきた。
そのようなシステムは、３つの段階の翻訳を実行する。まず、ソース言語テキストがその統語上の構造を決定するために解析される。第２に、解析ツリーが目的言語の自然の順序に適合するように一セットの統語上の規則に基づいて再配置される。第３に、個々のソース言語の単語が目的言語の単語に変換される。
結果として生じる語列は、ソース言語の文の目的言語の翻訳である。このようなシステムの制限は、すべての情報が規則および辞書の複雑な集合において人手でコード化され、各々の言語対のためにコンピュータを利用した言語学者によって多くの時間および労力を必要とすることである。さらに、規則は予測不可能な方法で相互作用する可能性があり、ある時はあらゆる翻訳を妨げ、またあるときには誤訳を生じることがある。すべての文が翻訳され、正しい翻訳だけが生じられるように、規則間の相互作用を制御することは困難である。これらの困難は、一般に「範囲」および「過生成」の問題と呼ばれる。
【０００３】
ソース-チャネル・モデルと呼ばれる、翻訳への統計的アプローチは、１９９５年のブラウン他（米国特許５,４７７,４５１号）に記載されるBrown et al. １９９５ (U.S.
Patent ５,４７７,４５１)。（ソース-チャネル・モデルの標準の記述において、ソースおよび目的という用語は、この文献の大部分におけるそれらの使用法とは逆転する;ソース-チャネル文脈の「目的言語」は翻訳装置に入力される言語を指し、「ソース言語」は出力として生じられる言語である。標準専門用語集に合わせて、これらの用語はソース-チャネル・モデルを議論する際にこの逆転された意味で使用されるが、この使用法は、ここでソース-チャネル・モデルに制限される。）
この方法では、情報は訳文の例から自動的に得られ、手で作られた規則および辞書の必要性を取り除く。さらに、各々の考えられる翻訳は、確率値を割り当てられる。したがって、正しい翻訳だけが生じられるように、規則を配置する必要性はない。多数の翻訳が生じられてもよく、例えば最も高い可能性スコアの翻訳が選ばれる。
【０００４】
それでもやはり、そのようなシステムは制限を有する。一つの制限は、単語順序がソースおよび目的言語の間でどのように異なるかを記載する歪みパラメータを含むチャネル・モデルが、基礎的な文法の規則性を捕らえないことである。これらの規則性は、言語間の文法の構造を変換する場合（例えばSVO（主語-動詞-目的語の順序）言語からVSO（動詞-主語-目的語の順序）言語への変換の場合）、非常に有益である。この制限の結果は、訳文の単語の順序を決定するため、広範なかつ計算機的に不経済な調査が必要であることである。さらに、選択された順序が本当に文法的に正しいという保証はほとんどない。
【０００５】
これらのアプローチの第２の制限は、典型的にn-gram言語モデルであるソース・モデルを含むことである。そのようなモデルは、すぐ近くの単語間の局所的符合の用途にのみ説明され、全体のフレーズが文法的に正しいかを決定する方法を提供しない。実際に文法的に正しいフレーズのため、表現される関係がもっともらしいかを決定する方法はない。
これらのアプローチが結合された場合であっても、ソースおよびチャネル・モデルの制限は、非文法的な翻訳または意味が通っていない文法的な翻訳の実質的な可能性を生ずる。そのようなシステムは多くの場合、構文的に解析され、それらの入力の分析が可能であることに依存するので、そのようなふるまいは、下流の自動システムが（例えば事実のデータベースを抽出するため）翻訳されたテキストのさらなる処理を試みる場合、特に問題を含む可能性がある。
【０００６】
ヤマダおよびナイト,２００３（Yamada and Knight）（米国特許出願２００３００２３４２３号）（US Patent Application ２００３３００２３４２３）は、ソース-チャネル構築を保持する一方、代替チャネル・モデルを導入することによって、上述した制限を克服する試みる技術を記載する。過去の研究のように、この構築は、単語がソース言語から目的言語に翻訳される方法を記載する確率テーブルを含む。
過去の方法とは対照的に、この構築は、ソースが単語の単純な列というよりも統語上の解析ツリーであるようになる。確率テーブルはそれから、言語間の単語の順序の違いを説明するために、ツリーノードの考えられる置換であるモデルに導入される。追加的な確率テーブルは、ソース言語の対照物を有しない目的言語の単語の挿入であるモデルに導入される。このモデルに基づく復号器は、ヤマダおよびナイト,２００２（Yamada and Knight, ２００２）に記載される（「統語法ベースのMTのための復号器」コンピュータ言語学連合第４０回年次総会の予稿）。（”Ａ  ｄｅｃｏｄｅｒ  ｆｏｒ  ｓｙｎｔａｘ−ｂａｓｅｄ  ＭＴ，”  Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ｔｈｅ  ４０ｔｈ  Ａｎｎｕａｌ  Ｍｅｅｔｉｎｇ  ｏｆ  ｔｈｅ  Ａｓｓｏｃｉａｔｉｏｎ  ｆｏｒ  Ｃｏｍｐｕｔａｔｉｏｎａｌ  Ｌｉｎｇｕｉｓｔｉｃｓ”）この復号器は、すぐ近くの単語間の局所的符合の用途のみを説明するｎ−ｇｒａｍ言語モデルを保持する。
【０００７】
また別の技術は、「翻訳が文法的に説明できる」と考え、かつ、全体の翻訳工程を記載する一段式の分析モデルを定める代わりに、上記の方法のソースおよびチャネル構築から完全に離れる。このアプローチの例は、ウー,１９９７（Wu）（「並列コーパスの確率的反転変換文法および二ヵ国語分析」コンピュータ言語学、２３(３):３７７-４０３）（”Ｓｔｏｃｈａｓｔｉｃ  Ｉｎｖｅｒｓｉｏｎ  Ｔｒａｎｓｄｕｃｔｉｏｎ  Ｇｒａｍｍａｒｓ  ａｎｄ  Ｂｉｌｉｎｇｕａｌ  Ｐａｒｓｉｎｇ  ｏｆ  Ｐａｒａｌｌｅｌ  Ｃｏｒｐｏｒａ，”  Ｃｏｍｐｕｔａｔｉｏｎａｌ  Ｌｉｎｇｕｉｓｔｉｃｓ，  ２３（３）：  ３７７−４０３”）、アルシャウィ，２００１（Ａｌｓｈａｗｉ）（米国特許第６，２３３，５４４号）、および、メラメド，２００４（Ｍｅｌａｍｅｄ）（「分析による統計的機械翻訳」（コンピュータ言語学連合第４２回年次総会の予稿）（”Ｓｔａｔｉｓｔｉｃａｌ  Ｍａｃｈｉｎｅ  Ｔｒａｎｓｌａｔｉｏｎ  ｂｙ  Ｐａｒｓｉｎｇ，”  Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ｔｈｅ  ４２ｎｄ  Ａｎｎｕａｌ  Ｍｅｅｔｉｎｇ  ｏｆ  ｔｈｅ  Ａｓｓｏｃｉａｔｉｏｎ  ｆｏｒ  Ｃｏｍｐｕｔａｔｉｏｎａｌ  Ｌｉｎｇｕｉｓｔｉｃｓ”）を含む。
【０００８】
これらのアプローチの一般によくある特性は、ソースおよび目的言語の文を同時に表現する専門的な文法形式論の使用である:ウー（１９９７）Wuの場合、「反転変換文法」;アルシャウィ（２００１)Alshawiの場合、「先頭の変換部の収集」;メラメド（２００４）Melamedの場合、「マルチテキスト文法」である。
【発明の開示】
【発明が解決しようとする課題】
【０００９】
以上説明したように、先行技術の欠点に対処する機械翻訳システムおよび方法の必要性が存在する。本発明は、従来の技術が有する基礎的な文法の規則性を捕らえない点や、全体のフレーズが文法的に正しいかを決定することが出来ない点を解決することを目的としている。
【課題を解決するための手段】
【００１０】
本発明の一態様において、ソース言語から目的言語までの機械翻訳の方法が提供される。方法は、ソース言語での文の受容と、各々が目的言語の単語で分類された要素、統語上のラベル、および要素の関係を示す役割ラベルを持つ候補解析の言語間の分析モデルでの検索と、統計学的なランク付けとを含む。方法は、文のための統計的に高ランクの解析の選択、および、ソース言語文の言語間の解析を生成するため、目的言語の語順規則による統語上のおよび役割ラベルを用いた解析の再配置をさらに含む。
【００１１】
本発明の別の態様において、ソース言語を目的言語に機械翻訳するための言語間の解析モデルを生成する方法が提供される。方法は、目的言語の文の解析ツリーを有する目的言語ツリーバンクの受容を含み、解析ツリーはそれらの統語上のカテゴリで分類されたノードを有している。目的言語解析モデルは目的言語ツリーバンクを用いて生成され、目的言語文の候補解析ツリーをランク付けするパラメータを含む。目的言語文の第２の集合は並列コーパスから受容され、並列コーパスは目的言語文およびそれらのそれぞれのソース言語の同等物を含んでいる。目的言語解析モデルは、その各々の文の候補解析ツリーのランク付けされたリストを生成するため、目的言語文の第２の集合に適用される。これらの候補解析ツリーは、ソースおよび目的言語の言語学的特性と関連している規則集合を適用することによって変換される。言語学的な役割ラベルは候補解析ツリーのノードに割り当てられ、そこで、役割ラベルは、そのそれぞれの解析ツリーの範囲内でノードの言語学的な役割に対応する。文法制約は、各々の候補解析ツリーの部分から抽出される。言語間の解析モデルはそれから、言語間の解析モデルが候補解析をランク付けするために十分なパラメータを含むように、抽出された文法制約および並列コーパスのソース言語文を用いて推定され、そこにおいて、パラメータは、ソース言語の単語、目的言語の単語、統語上のラベルおよび役割ラベルを含む候補解析の要素と関連がある。
【００１２】
本発明のさらに別の態様において、ソース言語から目的言語までの機械翻訳のシステムが提供される。システムは、ソース言語の文を受容するために構成される翻訳モジュール、および、複数の候補解析を検索して統計的にランク付けするために構成される言語間の解析モデルを含む。候補の解析は各々ソース言語文の単語に対応する目的言語の単語で分類される要素を有し、統語上のラベルは要素の統語上のカテゴリを示し、役割ラベルは要素間の関係を示す。パーサは、文のための統計的に高ランクの解析を選ぶために構成される。再順序付けモジュールは、ソース言語文の言語間の解析を生成するため、目的言語の語順規則に従って、統語上のおよび役割ラベルを用いて少なくとも１つのランク付けされた解析を再配置するために構成される。
【００１３】
さらに別の態様において、目的言語にソース言語を機械翻訳するため、言語間の解析モデルを生成するシステムが提供される。このシステムは、目的言語文の解析ツリーを有する目的言語ツリーバンクを受容するために構成されるパーサ・トレーニング・モジュールを含み、解析ツリーはそれらの統語上のカテゴリで分類されたノードを有する。パーサ・トレーニング・モジュールは、目的言語文のための候補解析ツリーをランク付けするパラメータを含む目的言語ツリーバンクを用いて、目的言語解析モデルを生成するために構成される。目的言語パーサは目的言語解析モデル、および、並列コーパスからの目的言語文の第２の集合を受容し、並列コーパスは、第２の複数の目的言語文およびそれらのそれぞれのソース言語の同等物を含む。目的言語パーサは、その各々の文のための候補解析ツリーのランク付けされたリストを生成するため、目的言語解析モデルを目的言語文の第２の集合に適用するように構成される。ツリー・トランスフォーマは、ソースおよび目的言語の言語学的な特性と関連した規則集合を適用することによって候補解析ツリーを変換するために構成される。役割ラベラーは、言語学的な役割ラベルを候補解析ツリーのノードに割り当てるように構成され、役割ラベルはそのそれぞれの解析ツリー内のノードの言語学的な役割に対応する。摘出モジュールは、各々の候補解析ツリーの部分から文法制約を抽出するために構成される。言語間の文法推定部は、言語間の解析モデルが候補解析をランク付けするのに十分なパラメータを含むように、並列コーパスの抽出された文法制約およびソース言語文を用いて言語間の解析モデルを予想するために構成され、そこにおいて、パラメータは、ソース言語の単語、目的言語の単語、統語上のラベルおよび役割ラベルを含む候補解析の要素と関連する。
【００１４】
さらに別の態様において、ソース言語を目的言語に機械翻訳する製品が提供される。製品は、そこにおいて具体化されるコンピュータ可読のプログラムコードを有するコンピュータが使用可能な媒体を含む。コンピュータが使用可能な媒体は、翻訳モジュールで、ソース言語の少なくとも１つの文を受容するためのコンピュータ可読のプログラムコードを有する。プログラムコードはまた、言語間の解析モデルで複数の候補解析の検索および統計的なランク付けも提供し、各々の解析はソース言語文の単語に対応する目的言語の単語で分類される要素を有し、統語上のラベルは要素の統語上のカテゴリを示し、役割ラベルは要素間の関係を示している。プログラムコードはまた、少なくとも１つの文のための統計的に高ランクの解析を選択するため;および、ソース言語文の言語間の解析を生成するため、目的言語の語順規則によって統語上のおよび役割ラベルを用いて、解析を再配置するために提供される。
【００１５】
本発明のさらに別の態様において、ソース言語を目的言語に翻訳する自動翻訳機械が提供される。翻訳機械は、ソース言語の文を受容する手段および候補解析を検索し統計的ランク付けする手段を含む。候補の解析はソース言語文の単語に対応する目的言語の単語で分類される要素を各々有し、統語上のラベルは要素の統語上のカテゴリを示し、役割ラベルは要素間の関係を示している。文のための統計的に高ランクの解析を選ぶ手段、および、ソース言語文の言語間の解析を生成するため、目的言語の語順規則に従って統語上のおよび役割ラベルを用いて解析を再配置するための手段もまた提供される。
【発明を実施するための最良の形態】
【００１６】
以下の詳細な説明において、この一部を形成し、実例として本発明が実施される特殊な実施態様が示される添付の図面が参照される。これらの実施態様は、当業者が本発明を実施できるのために十分詳細に記載され、他の実施態様が利用されてもよいと理解される。構造上の、手順のおよびシステムの変化が本発明の趣旨および範囲から逸脱することなく、作成されてもよいこともまた理解される。以下の詳細な説明はしたがって限定的なものではなく、本発明の範囲は添付の請求の範囲およびそれらの同等物によって定められる。説明の明瞭さのため、添付の図面において示される類似した特徴は、類似した参照番号で指示され、図面の代替的な実施態様で示す類似した特徴は、類似した参照番号によって示される。
【００１７】
図を参照すると、本発明の実施態様が示される。ベネットおよびスローカム（１９８５）Bennett and Slocumのような転送ベースのシステムとは異なり、これらの実施態様は、自動的に必要な詳細な情報をデータから学習し、例えば、各々の特定の言語のためにカスタマイズされる規則のような大量の手書きの規則の必要性を取り除く。これらの実施態様は各々のソース言語文のための広範囲にわたる考えられる翻訳を考慮し、確率を各々の候補に割り当て、それによって、上記で検討された従来のルールベース・システムの範囲および過生成の問題を克服する。これらの実施態様によって使用される比較的少ない規則は一般的な性質であり、興味のあるあらゆる特定の言語の文法入門を参照することによってすぐに決定することができる。
【００１８】
本発明の実施態様は、ソース言語（例えばアラビア語）の単語列を目的言語（例えば英語）の単語列に翻訳するためのコンピュータによって動作する方法およびシステムを含む。これらの実施態様は、パラメータ値が少なくとも２つのデータ資源:並列コーパスおよび目的言語ツリーバンクから推定される統計的アルゴリズムに基づく。パラメータ推定値をさらに細かく区別するため、目的言語文（例えば目的言語コーパス）の広範な収集が任意に使われてもよい。これらの実施態様はまた、様々な規則集合に含まれる少量の一般的な言語学的な情報を使用してもよい。
【００１９】
図３２に示すように、解析ツリーを生じるためにソース言語文を解析することによって翻訳は達成される。典型的な統語上の解析ツリーのように、結果として生じる解析は、統語上のカテゴリで分類されるノードを含む。典型的な解析ツリーと異なり、葉を直接支配しているノードの追加的な層が存在する;これらの語末の前のノードは、目的言語の単語で分類される。また、典型的な解析ツリーとは異なり、各々のノード- 語末の前のノードを除いて-は、 その親ノード（例えばSBJをサブジェクトとするような）と関連してその言語学的な関係（すなわちその『役割』）を示す第２のラベルを含む。この種の解析ツリーは、言語間の解析ツリー（または、例えばその部分を指すために、単純に言語間の解析）とここで呼ばれる。そのような言語間の解析ツリーの例は、図２において示される。
【００２０】
言語間の解析ツリーがソース言語文のために得られるならば、単純な集合の規則が目的言語の単語順序の規則に従ってノードを再配置するために使用される。この再配置は、言語間の解析ツリーにおける言語学的な関係（役割）ラベルによって容易にされる。ノードが再配置されるならば、規則の第２の集合が、再配置されたツリーによって提供される順序で目的言語の単語を抽出するために適用されてもよい。結果として生じる単語列は、ソース言語文の目的言語の翻訳である。
【００２１】
代替的に、翻訳された出力が（例えば情報摘出システムによって）さらなる自動処理を意図する場合、再配置されたツリー- そのソース言語葉が取り除かれた-は、単語列の代わりに出力され、それによってソース言語文の目的言語の解析を提供する。
【００２２】
例えば上述したブラウン他１９９５（Ｂｒｏｗｎ  ｅｔ  ａｌ．，）のアプローチのような統計的モデルとは異なり、本発明の実施態様は、言語間の単語順序を変換する場合、文法的に正しい規則性を説明する（例えばSVO言語からVSO言語への変換）。さらにこれらの実施態様は、先頭の単語およびそれらの修飾子間の長距離の依存関係を説明する。これらの特性は、特にソースおよび目的言語が構造的に異種である場合、より文法的に正しくかつ意味的に首尾一貫した傾向の翻訳を導く。加えて、文法的に正しい規則性は検索空間を減少するのに適し、よりコンピュータ的に効率が良い翻訳処理を生じる。
【００２３】
上述したヤマダおよびナイト,２００３(Yamada and Knight)のような統語法ベースのチャネル・モデルとは異なり、本発明の実施態様は、別々のソースおよびチャネル構成部分を有しない一段式の統計的モデルに基づく。それは、特定の置換または単語挿入のための確率テーブルを必要とせず;代わりに、単語の順序を変換し、少量の一般的な言語学的な情報を適用することによって挿入をより効率的に扱う。さらに、それはヤマダおよびナイト,２００２(Yamada and Knight)のように、専門の復号器を必要としない。復号化は、コリンズ,９７（Collins）の「統計的分析のために３つの生成語彙的モデル」（ACLの第３５回年次総会の予稿）”Ｔｈｒｅｅ  Ｇｅｎｅｒａｔｉｖｅ，  Ｌｅｘｉｃａｌｉｓｅｄ  Ｍｏｄｅｌｓ  ｆｏｒ  Ｓｔａｔｉｓｔｉｃａｌ  Ｐａｒｓｉｎｇ，”  Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ｔｈｅ  ３５ｔｈ  Ａｎｎｕａｌ  Ｍｅｅｔｉｎｇ  ｏｆ  ｔｈｅ  ＡＣＬ”において開示されるものに類似した、統語分析のために一般に使用されるタイプ、例えば、ＬＰＣＦＧ（語彙的確率文脈自由文法：Ｌｅｘｉｃａｌｉｚｅｄ  Ｐｒｏｂａｂｉｌｉｓｔｉｃ  Ｃｏｎｔｅｘｔ−Ｆｒｅｅ  Ｇｒａｍｍａｒ）のような従来の分析モデルを使用して実行されてもよい。加えて、モデルの語彙的特性は、別々のｎ−ｇｒａｍ言語モデルの必要性を取り除き、単語間の長距離の依存関係を容易にする。
【００２４】
ウー,１９９７(Wu)、アルシャウィ,２００１(Alshawi)およびメラメド,２００４(Melamed)の「分析して翻訳する」アプローチとは異なり、同期的な文法は必要とされない;文法は、まさに標準の単一言語の分析のように単純にLPCFGである。両方の言語の単語順序を同時に説明する必要性はない。むしろ、一般的な言語学的な規則の小さい集合と共に、言語間の解析において埋め込まれた統語上の関係情報は、目的言語翻訳が自然の標準的な順序において合成されることを可能にする。
【００２５】
本発明の実施態様は、その統計的モデルを推定する際の以前の方法に追加的な利点を提供する。過去の統語法ベースのモデルは、並列コーパスの目的言語側の自動的な解析により得られるツリーが正しいとみなす;実際は、存在しているパーサは相当数のエラーを作成する。さらに以前のモデルは、同一の言語学的な依存関係がソース言語文およびそれらの目的言語の翻訳において存在するとみなす。実際は、多くの言語学的な依存関係がソースおよび目的言語で分配される一方、相当数の差異がある。そのような仮定は、統計的翻訳モデルを推定する際の多数のアライメント・エラーを導く可能性がある。本発明の実施態様は、解析の不正確さおよび言語間のミスマッチな依存関係を説明し、より高品質な配列を導き、最終的により正確な翻訳を導く。
【００２６】
データの貧弱さは、多くの場合統計的モデルを推定する際の、特に多数の個別の単語を含むモデルにおいて制限因子である。以前のソース-チャネル構築は、大量の単一言語のテキストを使用して別々に推定された別々のn-gram言語モデルを導入することによって、部分的にこの制限を克服する。しかしながら、これらのモデルは、隣接した少数の単語の範囲に制限される。本発明の実施態様は、その分析モデルを細かく区別するために、目的言語の文の大量な収集を任意に利用することによってこの制限を克服する。別々のn-gramソース・モデルとは異なり、これらの実施態様の細かい推定は、解析モデルそれ自体の一部であり、したがって広く分離された単語間の依存関係を説明することができる。
【００２７】
これらの多くの実施態様の特性は、それらのパラメータ値が並列コーパス、および、例えば、マーカス他,１９９４(Marcus et al.,)によるペンシルベニア大学のツリーバンク「英語の広範な注釈コーパスの構築:ペンシルベニア大学・ツリーバンク」、コンピュータ言語学、１９巻、No.２」”Ｂｕｉｌｄｉｎｇ  ａ  Ｌａｒｇｅ  Ａｎｎｏｔａｔｅｄ  Ｃｏｒｐｕｓ  ｏｆ  Ｅｎｇｌｉｓｈ：  Ｔｈｅ  Ｐｅｎｎ  Ｔｒｅｅｂａｎｋ，”  Ｃｏｍｐｕｔａｔｉｏｎａｌ  Ｌｉｎｇｕｉｓｔｉｃｓ，  Ｖｏｌｕｍｅ  １９，  Ｎｕｍｂｅｒ  ２”のような目的言語の統語上のツリーバンクのみを使用して推定されてもよいということである。ソース言語のためにツリーバンクは必要とされない。この特性は、ツリーバンクは英語には直ちに利用できるが、多くの他の言語には直ちに利用できないので、いくつかの外国語テキストを英語に翻訳するのに特に都合が良い。同様に、上記したように、広範な目的言語コーパスは、目的言語のパラメータをさらに細かく区別をするために使用されてもよい。目的言語が英語である場合、実質的には無制限の量のテキストが利用できる。
【００２８】
上に言及されるように、翻訳システムの出力がさらなる自動処理を意図するものである場合（例えば情報抽出システムによる）、これらの実施態様はソース言語文の目的言語解析を生じることができる。したがって、下流の処理部による非文法的な翻訳の解析で一般に直面する問題は、減少されるまたは取り除かれる。
【００２９】
この開示において使われる場合、用語「コンピュータ」は、ワークステーション、サーバ、パーソナルコンピュータ、ノート・パソコン、パーソナル携帯情報機器（PDA）、ポケットPC、多機能電話、または、あらゆる他の適切なコンピュータを含むものとする。
【００３０】
本発明を具体化しているシステムおよび方法は、以下を含むあらゆる適切な言語および技術でプログラムされることができるが、これらに制限されない。
C++;ビジュアル・ベーシック;ジャバ;VBスクリプト;Jスクリプト;BCMAスクリプト;DHTM１;XML;CGI;ハイパーテキスト・マークアップ言語（HTML）、アクティブ・サーバーページ（ASP）;およびジャバスクリプト。
以下を含むあらゆる適切なデータベース技術は使用されるが、これらに制限されない。
Microsoft AccessおよびIBM AS ４００。
【００３１】
ここで図を参照して、本発明の実施態様はより完全に記載される。
図１に示すように、例示的な翻訳システムは、３つの最高位の構成部分から構成されている:翻訳トレーニング・プログラム１１０、言語間の解析モデル１０８および実行時翻訳プログラム１０６。
【００３２】
特定の実施態様において、翻訳トレーニング・プログラムは目的言語ツリーバンク１０４および並列コーパス１０２を受容し、言語間の解析モデル１０８を生じる。目的言語ツリーバンクは、統語上のラベルで注釈が付けられる目的言語文の解析を含み、解析の要素の統語上のカテゴリを示す。適切な目的言語ツリーバンクの例は、上述したペンシルバニア大学のツリーバンク（マーカス他,１９９４  Marcus et al.）である。当業者に公知のいかなる数の統語上のラベルが、本発明の実施態様において使われてもよい。適切な統語上のラベルの例は、例えば、以下の表１および２において示されるペンシルバニア大学のツリーバンクによって使用されるものを含む。
【００３３】
【表１】
2009533728.tif 000003
【００３４】
【表２】
2009533728.tif 000004
【００３５】
並列コーパス１０２は、ソース言語文および目的言語翻訳の文が整列された対を含む。加えて、広範な目的言語コーパス１１６は、言語間の解析モデルをさらに細かく区別するためにトレーニング・プログラムによって任意に受容されてもよい。広範な目的言語コーパスは使用される場合、一まとまりの注釈が付かない目的言語文を含む。
【００３６】
実行時翻訳プログラム１０６は言語間の解析モデル１０８および一まとまりのソース言語文１００を受容し、目的言語翻訳１１２を生成する。任意に、実行時翻訳プログラムは目的言語解析ツリー１１４を生じる。目的言語解析ツリー１１４は、例えば図２において示されるように目的言語翻訳の統語上の解析を含む。加えてまたは代替的に、ソース言語の単語は、以下にさらに詳細に検討されるようにさらなる処理のために使われる可能性のある目的言語の解析を残すため、解析ツリー１１４から取り除かれてもよい。
【００３７】
（翻訳トレーニング・プログラム）
ここで図３に戻って、翻訳トレーニング・プログラム１１０が詳細に記載される。
特定の実施態様に示すように、３つの構成部分は、目的言語文を構文的に解析するメカニズムを提供する:パーサ・トレーニング・プログラム１２０、目的言語分析モデル１２２および目的言語パーサ１２４。構成部分のこの組合せは、LPCFG（語彙的確率文脈自由文法）パーサを実行する。コリンズ,１９９７(Collins)により例えば開示される LPCFGパーサが、このために使われてもよい。必要ではないが、特定の実施態様において、パーサは、単一の最高スコアリング解析のみよりも、考えられる解析のランク付けn-bestリストを生じる。例えば、シャーニアクおよびジョンソン,２００５（Ｃｈａｒｎｉａｋ  ａｎｄ  Ｊｏｈｎｓｏｎ）「粗いものから細かいものへのｎ−ｂｅｓｔ分析およびＭａｘＥｎｔの区別的な再ランク付け」：コンピュータ言語学第４３回年次総会の予稿”Ｃｏａｒｓｅ−ｔｏ−ｆｉｎｅ  ｎ−ｂｅｓｔ  ｐａｒｓｉｎｇ  ａｎｄ  ＭａｘＥｎｔ  ｄｉｓｃｒｉｍｉｎａｔｉｖｅ  ｒｅｒａｎｋｉｎｇ，”  Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ｔｈｅ  ４３ｒｄ  Ａｎｎｕａｌ  Ｍｅｅｔｉｎｇ  ｏｆ  ｔｈｅ  Ａｓｓｏｃｉａｔｉｏｎ  ｆｏｒ  Ｃｏｍｐｕｔａｔｉｏｎａｌ  Ｌｉｎｇｕｉｓｔｉｃｓ”に開示されるように、解析ツリーのｎ−ｂｅｓｔリストを生じる適切な技術は、周知である。
【００３８】
並列コーパス１０２からの目的言語文は、目的言語パーサ１２４に到達する。目的言語分析モデル１２２を適用して、目的言語パーサは、各々の目的言語文のための候補解析のリストを生じる。このリストは、相当高いスコア（例えば最も高いスコアリング解析の５０%以内）を有するすべての他の解析と同様に最も高いスコアリング解析を含む。
【００３９】
候補解析のリストは、ソース言語により近い形状に各々のツリーを変換するため、単純な、一般的な、言語学的な規則を適用するツリー・トランスフォーマ１２６によって受容される。（言語学的な規則が単純かつ一般的である一方、それらは言語により特定であり、各々の言語対のために異なる規則が必要である。ここで提供される例において、ソース言語はアラビア語であり、目的言語は英語である。）これらの変換は単語順序の差異を説明せず、むしろ１）形態学、および２）フレーズ構造における差異を説明する。規則は、厳密に決定的ではない:いくつかの代替的な目的言語構造物のうちの１つを用いて、ソース言語要素が表現可能である場合、ツリー・トランスフォーマ１２６は、各々の可能性のための代替的な出力を生じる。したがって、入力として受容される各々のツリーのために、ツリー・トランスフォーマ１２６は、出力として代替的な変換されたツリーのいくつかを典型的に生じる。以下の表３は、プロトタイプ（例示的な）のアラビア語から英語への翻訳システムにおいて使用される一セットの１０の規則を記載する。
【００４０】
【表３】
2009533728.tif 000005
【００４１】
図５から１４は、例によって各々の規則の操作を図示する。ツリー・トランスフォーマの全体の操作は、図４および１５において図示される。例えば図４において示される解析ツリーが提供され、ツリー・トランスフォーマ１２６は、いくつかの代替的な出力ツリーを生じ、その１つが図１５において示される。
【００４２】
図３をまた参照すると、役割ラベラー１２８は、ツリー・トランスフォーマ１２６から変換されたツリーのリストを受容する。役割ラベラーは、言語学的な役割（例えばSBJ、OBJ）を各々の受容されたツリーの各々の構成要素に割り当てる。プロトタイプ・システムにおいて使用される言語学的な役割の例は、表４において提供される。
【００４３】
【表４】
2009533728.tif 000006
【００４４】
図１５および２７は、役割ラベラーの操作の例を提供する。入力として図１５において示される変換されたツリーが提供され、役割ラベラー１２８は、出力として図２７において示されるツリーを生成する。
【００４５】
役割ラベラー１２８の操作は、目的言語パーサ１２４によって決定される（予測される）ように先頭の構成要素に注意することから始める。（コリンズ,９７のようなLPCFGパーサは、先頭中心であり、暗に各々の構成要素の先頭を識別する。ここで、用語「先頭」は、標準言語学的な感覚において使用され、直観的に句または節の最も重要な単語を指す。当業者は、この先頭の情報がそれに対して言及する解析ツリーを増やすことによって、または、それを助動詞データ構造に格納することによって単純に保持されることができることを考慮して本開示を認識する。）規則の集合はそれから、各々の構成要素の言語学的な役割を決定する役割ラベラー１２８によって適用される。以下の表５は、プロトタイプのアラビア語から英語へのシステムにおいて使われる１１の規則の例示的な集合を記載する。
【００４６】
【表５】
2009533728.tif 000007
【００４７】
図１６から２６は、例によって各々の規則の操作を図示する。
タイプaの生成物エクストラクタ１３０は、役割ラベラー１２８から役割が分類されたツリーのリストを受容する。そのようなリストは、潜在的に大きい。例えば、単一の入力文のために、目的言語パーサ１２４は、５０の信頼できそうな解析ツリーのリストを生じる可能性がある。ツリー・トランスフォーマ１２６がそれから各々の考えられる解析のために平均１０の変換されたツリーを生じる場合、タイプaの生成物エクストラクタ１３０は、５００の役割が分類されたツリーのリストを受容する。
【００４８】
タイプaの生成物エクストラクタ１３０の目的は、語末にない生成物を並列コーパス１０２の特定の文と関連している各々の役割が分類されたツリーから抽出し、受容されたツリーのこの全体のリストから生成物の結合を取ることによって、生成物の単一の集合を構成することである。生成物のこの集合は、受容されたツリーの全体のリストを生成することができる簡潔な文法を定める。（大部分の生成物がn-bestリストの多数のツリーで分配されるので、生成物の数は、ツリーの数よりずっと遅く増加する。）図２８は、生成物を表すために使用する例示的なデータ構造を示す。（これらの生成物は、以下に検討される他のタイプの生成物から区別するために『タイプa生成物』と呼ばれる。）
【００４９】
これらのタイプa生成物は、まさに前述のLPCFGのように語彙的である。さらに、ユニット生成物、すなわち右側（RHS）が単一の要素だけを含む生成物は、それらの親の生成物に折り畳まれる。特に、各々のRHS要素は、親ノードおよび次の分岐または語末の前のノード間の中間ノードを記載するパスを含む。（パスの一番上のノードの下のノードは、１つの考えられる役割:HEADのみを有する。したがって、パスの要素の役割情報を明白に表す必要性はない。）したがって、上部生成物を除いて、タイプaユニット生成物はない（上部生成物は、TOPのLHSカテゴリおよびツリーの一番上のノードである単一のRHS要素を有する）。図２９は、例のツリーおよびそれから抽出されるタイプa生成物の集合を示す。生成物１４２の要素１のユニット生成パスに留意のこと。タイプa生成物は、標準の文脈自由の文法の生成物があらゆる典型的な解析ツリーから抽出されるのと同じ方法で解析ツリーから抽出されることができると、当業者は認識する。
【００５０】
図３に戻ると、言語間の文法推定部１３２は、タイプaの生成物エクストラクタ１３０からタイプa生成物の集合を受容し（１６８、図３１）、各々の集合は単一の目的言語の文、すなわち、並列コーパス１０２から派生する。加えて、言語間の文法推定部１３２は示されるように、並列コーパス１０２から各々の目的言語文のソース言語翻訳（１７０、図３１）を受容する。これらの２つの入力ソースから、言語間の文法推定部１３２は言語間の解析モデル１０８を生成する。モデル１０８はしたがって、候補解析をランク付けするのに十分なパラメータを含み、候補解析のパラメータ関連する要素は、ソース言語の単語、目的言語の単語、統語上のラベルおよび役割ラベルを含む。
【００５１】
上で言及されるように、言語間の文法推定部１３２は、言語間の解析モデル１０８をさらに細かく区別するため、任意に広範な目的言語コーパス１１６を受容してもよい。推定部１３２の例は、以下に詳述する。
【００５２】
例えば、言語間の文法を生じるための言語間の文法推定部１３２の操作は、強制的な文法誘導式として処理される。特に、推定部１３２は、それらの目的言語対照物から引き出される制約の集合を受けてソース言語トレーニング文を生成することができるLPCFG文法（ここでタイプb文法と呼ぶ）を誘導するように構成される。この文法誘導は、ベーカー,７９(Baker）（「音声認識のための訓練可能文法」、米国音響学会の春季会議の予稿、５４７-５５０ページ）（”Ｔｒａｉｎａｂｌｅ  ｇｒａｍｍａｒｓ  ｆｏｒ  ｓｐｅｅｃｈ  ｒｅｃｏｇｎｉｔｉｏｎ，”  Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ｔｈｅ  Ｓｐｒｉｎｇ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｆ  ｔｈｅ  Ａｃｏｕｓｔｉｃａｌ  Ｓｏｃｉｅｔｙ  ｏｆ  Ａｍｅｒｉｃａ，  ｐａｇｅｓ  ５４７−５５０”）によって記載される周知のインサイド・アウトサイドアルゴリズムを使用して生成されてもよい。
【００５３】
特定の実施態様において、誘導されたタイプb文法が負う特殊な制約は、以下から成る:
(１) 受容されたタイプa生成物がそれぞれ役割r１、r２...rnで先頭hに取り付けられる修飾子m１、m２...mnを含む場合、誘導された文法は、同じ役割を使用している取付け物の同じ集合を許可するが、タイプa生成物に記載されるのと同じ順序で修飾子が取付けられる必要はない。その代わりに、修飾子のあらゆる順序は許可される。
(２) 誘導された文法のあらゆる特定の派生のため、受容されたタイプa生成物のいずれにもおいて発生しない制限された数の取付けは許可される。すなわち、mがhに取り付けられるタイプa生成物がない場合であっても、修飾子mが先頭hに取付けられてもよい。そのような場合、取付け物に割り当てられる役割は、「挿入される」。そのような取付けは、ミスマッチがソースおよび目的言語依存関係の間で発生する場合に文法誘導を容易にする。概算手順を扱いやすく保つため、より多くのものがいくつかの実施態様において提供されてもよいけれども、ツリーにつき１つだけのそのような挿入された取付けが現在許可される。
(３) 受容されたタイプa生成物において発生しているすべての修飾子が、誘導された文法に存在する必要があるわけではない;いくつかは省略されてもよい。例えば、特定のタイプa生成物において、修飾子m１、m２およびm３は、先頭hに取り付けられてもよいが、強制的な文法は、m２およびm３だけが先頭hに取り付けられる構成要素を許可する。
(４) 各々の修飾子は、構成要素内で一度だけ取り付けることが許可される。例えば、役割SBJを有する修飾子（NP、代表的な）は、一度だけ先頭（S、強調される）に取り付けるのが許可される。
【００５４】
前述の制約を実施するため、図３１に示すようにタイプb文法１６２から切り離されるパーサ１６０を含む文法推定部１３２のための構成が使われてもよい。形式的に、特定の実施態様において、タイプ-b文法１６２は、１）一セットの可変部分、２）一セットの語末、３）一セットの見込みに基づく生成物、および４）可変のユニークなTOPから構成される４つの要素からなる。システムにおいて使用される他のタイプの文法からこれを区別するため、これをタイプb文法と呼び、その構成部分をタイプb可変部分、タイプb語末、およびタイプb生成物と呼ぶ。
【００５５】
タイプb可変部分は、例えば従来の文法で予想されるように単純な記号ではなく、むしろ、追加的に状態情報を維持する複合的な目的語である。この状態情報は、様々な形の制約を実施するために使用される。例えば、各々のタイプb可変部分は、構成要素にまだ取り付けられない残りの修飾子を追跡する「補足」領域を含み、それによって、各々の修飾子が一度だけ付くことができる制約の施行を許可する。タイプb可変部分において使用されるデータ・フィールドの簡潔な説明は、以下の表６において提供される。
【００５６】
【表６】
2009533728.tif 000008
【００５７】
タイプb語末は、１以上のソース言語の単語の連続した列である（プロトタイプ・システムにおいて、語末は長さが最高３つの単語である）。１以上の単語の列である語末を許可することによって、単一の目的言語の単語は、多数のソース言語の単語に整列されることができる。
【００５８】
図３０に示すように、タイプb生成物は３つのタイプで構成される:上部生成物（tp-生成物）、バイナリ分岐生成物（br-生成物）、および葉生成物（lf-生成物）。文法推定（推定部１３２、図３）の間、パーサ１６０は、文法１６２から生成物（１６４で）を求め、代わりにそのリクエストを満たすタイプb生成物（１６６で）の（おそらく空の）リストを受容する。文法１６２の変わった特性は、パーサからのリクエストを満たすために必要とされると、その要素は「高速で」作成されることである。したがって、文法１６２は、すべての制約は、その応答を返す前に満たされ、派生の現行の状態を反映する可変部分を動的に作成することができると確認することができる。
【００５９】
これらの実施態様において、各々のリクエストのために、パーサ１６０は文法１６２にRHS（右側）を通過させ、代わりに特定されたRHSを有する生成物１６６のリストを受容する。この配置は、インサイド・アウトサイドアルゴリズムと同様に、例えば周知のCKYアルゴリズムのような様々な下からの分析戦略を支持する。３つのタイプのリクエストが支持される。:
・上部生成物のリクエスト（Ｂ＿Ｖａｒｉａｂｌｅ  ｖｒ）−上部生成物（もし存在すれば）を返す。ここでＴＯＰ→ｖｒ。
・分岐生成物のリクエスト（Ｂ＿Ｖａｒｉａｂｌｅ  ｖｒ１，Ｂ＿Ｖａｒｉａｂｌｅ  ｖｒ２）−分岐生成物のリストを返す（もしあれば）、ここでｖｒ１はｖｒ２に付く、またはｖｒ２はｖｒ１に付く。
・葉生成物のリクエスト（Ｂ＿Ｔｅｒｍｉｎａｌ  ｔｒ）−ソース言語の単語ｔｒを生じる葉生成物のリストを返す。
付録Aは、各々のこれらのリクエストされたタイプの実施態様を記載する図示された擬似コードを提供する。
【００６０】
特定の実施態様において、言語間の文法推定部１３２は、３つの段階において作動する。段階１の間、インサイド・アウトサイドアルゴリズムが、LF_生成のみの概算の確率モデル（すなわち単語の翻訳確率）を推定するために使用される。これらの概算の確率は、次の推定段階の間、より多量の枝刈りを可能にする。必要に応じて、LF_生成のための確率は、ブラウン他,１９９５(Brown et al.）によって記載される例えばモデル１のような定形状態モデルからの推定値で段階１の前に初期化されてもよい。そのような初期設定は、収束の速度を上げるのを助ける傾向がある。段階２の間、インサイド・アウトサイドアルゴリズムは、すべての３つのb_生成タイプ:LF_生成と同じく、TP_生成、BR_生成のための確率を決定するために使用される。（実施例によっては、段階２はモデル精度の潜在的劣化を犠牲にして、完全に省略されてもよい。）段階１および段階２のため、インサイド・アウトサイド推定の繰返し（１７２、図３１）典型的に使用される（例えば少なくとも２または３回）。段階３の間、従来の確率CKY解析アルゴリズムが、−任意に段階２からのモデル・パラメータで−各々の文のための単一の最高スコアリング解析を抽出するために使われてもよい。結果は、図２において例えば示される言語間の解析ツリーのツリーバンクである。このツリーバンクから、周波数は言語間の解析モデル１０８の確率を演算するために抽出される。（原則として、それは、周波数を抽出する前に１-best解析のツリーバンクを作成するのに厳密には必要でない;段階２の最終的なインサイド・アウトサイドパスから直接に周波数を抽出することは可能である。しかしながら、１-bestツリーバンクの作成により、最終的なモデルのサイズが本質的に減少される傾向がある。）これらの３つの段階の特殊な例は、次に記載される。
【００６１】
段階-１確率モデル
代表的な実施態様において、標準設定の分岐確率は１.０で固定され、したがって、この段階において効果を有しない。ミスマッチされた依存関係の分岐確率は、固定したペナルティ（例えば０.０５）に設定される。上部確率もまた、１.０で固定される。LF_生成確率のみが、この段階の間更新される。これらの確率のためにユニグラム確率モデルが使用される。
【００６２】
段階-２確率モデル
この段階において、分岐および上部確率もまた、更新される。分岐生成物は、３つの部分に分解される:１）先頭予測、２）修飾子予測、および３）修飾子見出し語予測。以下の公式は、可変部分前のカテゴリ(prev_category)および前の役割(prev_role)に関連する。部分的に構成された構成要素を拡張する生成物のため、前のカテゴリおよび前の役割は、分岐方向次第で、先頭可変部分のどちらかの左端または右端から取られる。新規な構成要素を始める生成物のため、前のカテゴリおよび前の役割は両方ゼロである。
【００６３】
段階-３確率モデル
段階３の間、言語間のツリーバンクが作成され、言語間の解析モデル１０８が生成される。このモデルは、２つの部分を有する。
【００６４】
第１の部分は、目的言語の用語およびそのカテゴリ（すなわち統語上のラベル）を提供され、１以上のソース言語の単語を生成するモデルである。このモデルのための確率は、上記のLF_生成のものと同一でもよい。
【００６５】
第２の部分は、以下のことを除いて、コリンズ,９７(Collins）に記載されるモデル１に類似したLPCFGである:
- 統語上のカテゴリおよびラベルと共に、パスおよび役割は同時に予測される。
- 距離特徴は、取り除かれる。
- 一次のマルコフ特性- 前のカテゴリおよび前の役割は、加えられる。
【００６６】
完全性のため、モデルの詳細を以下に記載する。
先頭予測:
P(hc,hp|pc,pt,pw)
ここで、
- hcは、先頭カテゴリである。
- hpは、先頭パスである。
- pcは、両親カテゴリである。
- ptは、親品詞タグである。
- pwは、親単語である。
修飾子予測:
P(mc,mt,mw,mp,mr|pc,pt,pw,hc,pm)
ここで、
- mcは、修飾子カテゴリである。
- mtは、修飾子タグである。
- mwは、修飾子の単語である。
- mpは、修飾子パスである。
- mrは、修飾子の役割である。
- pc、pt、pwおよびhcは、上記の先頭の予測場合と同じである。
- pmは、前の修飾子（先頭の次に最も近い）の統語上のカテゴリである。
【００６７】
修飾子予測は、それから２つの部分に分けられる:１）カテゴリ、タグ、パスおよび役割の予測、および、２）見出し語の予測。
実際には、このモデルのすべての確率は、容易にされるべきである。容易にする技術をことは、例えば、コリンズ,９７(Collins)の文献において周知である。
【００６８】
（広範な目的言語コーパスから統計によるモデルの任意の改善）
上に言及されるように、広範な目的言語コーパスから導き出される統計は、直接に上記のモデルに加えることができる。修飾子予測が２つの部分に分けられ、見出し語を予測部分は前の修飾子に依存していないので、修飾子-見出し語予測の統計は、修飾子順序に反応しない。したがって、修飾子順序が異なるツリーから、見出し語統計を組み込むことの問題はない。特に、目的言語解析ツリーから、修飾子-見出し語統計を組み込むことの障害はない。
【００６９】
図３に示すように、広範な目的言語コーパス１１６は、提供される場合、目的言語パーサ１２４によって解析される。特定の実施態様において、１-bestな解析のみが各々の文のために使用される。次に、ツリー・トランスフォーマ１２６は、前述のようにソース言語により近い形式に各々のツリーを変換する。規則が各々の解析のために多数のツリーを導く場合、すべての生じたツリーが、使われてもよい。役割ラベラー１２８はまた、以前に記載されるように、役割ラベルを変換されたツリーに加える。最終的に、語彙のカウント抽出器１３６は、上に検討されたように、言語間の文法推定部１３２により生成される統計に類似した２つの語彙の統計を抽出する。これらの統計はそれから、上記の段階３の間、生じられる推定部１３２によって、言語間のツリーバンクから抽出される（例えば２つの語彙の）統計に付加される。結合された統計は、それから言語間の解析モデル１０８の（２つの語彙の）確率を計算するために使用される。
【００７０】
（実行時翻訳プログラム１０６）
図３２を参照すると、言語間の解析モデル１０８が推定されるならば、翻訳はLPCFG以上の分析をほとんど必要としない。示されるように、ソース言語文１００は、言語間のパーサ１８０に到達する。言語間のパーサはまた、前述のように言語間の解析モデル１０８を受容する。分析が進行する前に、パーサの図は、１以上のソース言語単語の各々の連続した群の考えられる翻訳が入れられ、ここで、考えられる翻訳およびそれらの確率は、上記したLF_生成が提供される。（最高３つの単語が例示的な/プロトタイプ・システムにおいて使われてもよい。）したがって図は、１）目的言語の単語、２）それらの統語上のおよび役割ラベル、および３）ソース言語単語を生じているそれらの単語/ラベルの対の確率が入れられる。この点で、生じているツリーが各々のノードの役割情報を含むことを除いて、単一言語の場合に関するように分析は進行する。
【００７１】
ツリー再順序付け部１８２は、目的言語の自然の単語順序にツリーを再配置するためにその役割情報を使用する。しかしながら、ツリー再順序付け部１８２は最初に、ツリー・トランスフォーマ１２６によって作成される形態的な変化を元に戻すために逆規則を適用する（例えば、先頭名詞からの限定詞を分ける、動詞群を個別的な単語に切るなど）。形態的な変化が元に戻るならば、ツリー再配置は進行する。目的言語が英語の場合の、プロトタイプ・システムにおいて、再配置規則は次の通りである:
- SBJノードは、直接に先頭動詞に先行する。
- OBJノードは、直接に先頭動詞に続く。
- POSTMODノードは、もしあれば、OBJの後の先頭ノードに続く。
- PPMODノードは、もしあれば、POSTMODの後の先頭ノードに続く。
- SMODノードは、もしあれば、PPMODの後の先頭ノードに続く。
- MIDMODノードは、動詞群の最初の動詞の後に配置される。
- PREMODノードは、もしあれば、SBJに先行する先頭ノードの前に配置される。言語間の解析ツリーの先頭の前に発生するあらゆるPREMODノードの順序は、それらを先頭の前の位置へ移動する前に逆転される。
- SYNHEADノードは、もしあれば、PREMODの前に先頭ノードに先行する。
- 限定詞および所有代名詞は、名詞句の先頭に配置される。
- 前置詞は、前置詞句の前部に移動される。
【００７２】
ソース言語文が解析され、再順序付けされるならば、翻訳工程は、本質的に完結される。従来の翻訳が必要とされる場合、語末の前の抜粋工程１８４は語末の前のノードを抽出し、訳文を生ずる。代替的に、目的言語の解析ツリーが必要とされる場合、葉の除去工程１８６は、ソース言語語末を取り除き、目的言語解析を残す。
【００７３】
ここで記載される実施態様の１つに関して記載されるあらゆる特徴は、本発明の趣旨および範囲から逸脱することなく、ここで記載される他の実施態様に使用されると理解される。
【００７４】
前述の実施態様がコンピュータまたは他の高性能装置で動作するソフトウェア要素として記載されてきたけれども、名目上、あらゆるここで記載される様々なモジュールまたは工程は、本発明の趣旨および範囲から逸脱することなくソフトウェア、ハードウェア、または、そのあらゆる組合せで実行されてもよいとさらに理解される。
【００７５】
先行する明細書において、本発明は、その特殊な例示的な実施態様に関して記載されてきた。以下に続く請求項に記載のより広い本発明の精神と範囲から逸脱することなく、様々な変更態様と改変がそれに対して作成されてもよいことは明らかである。明細書および図面はしたがって、これに限定されるということではなく例示の意味であるとみなされることになる。
【図面の簡単な説明】
【００７６】
【図１】本発明の実施態様の高水準の機能的なブロック線図である。
【図２】図１の実施態様によって使用される例示的な言語間の解析ツリーである。
【図３】図１の一部の実施態様の詳細な機能的なブロック線図である。
【図４】図１の実施態様によって使用される例示的な目的言語解析ツリーである。
【図５】本発明のツリー-トランスフォーマ・モジュールの実施態様によって使用される様々な規則の例である。
【図６】本発明のツリー-トランスフォーマ・モジュールの実施態様によって使用される様々な規則の例である。
【図７】本発明のツリー-トランスフォーマ・モジュールの実施態様によって使用される様々な規則の例である。
【図８】本発明のツリー-トランスフォーマ・モジュールの実施態様によって使用される様々な規則の例である。
【図９】本発明のツリー-トランスフォーマ・モジュールの実施態様によって使用される様々な規則の例である。
【図１０】本発明のツリー-トランスフォーマ・モジュールの実施態様によって使用される様々な規則の例である。
【図１１】本発明のツリー-トランスフォーマ・モジュールの実施態様によって使用される様々な規則の例である。
【図１２】本発明のツリー-トランスフォーマ・モジュールの実施態様によって使用される様々な規則の例である。
【図１３】本発明のツリー-トランスフォーマ・モジュールの実施態様によって使用される様々な規則の例である。
【図１４】本発明のツリー-トランスフォーマ・モジュールの実施態様によって使用される様々な規則の例である。
【図１５】図５から１４までのツリー-トランスフォーマによって生成される変換されたツリーの例である。
【図１６】本発明の役割ラベラーの実施態様によって使用される様々な規則の例である。
【図１７】本発明の役割ラベラーの実施態様によって使用される様々な規則の例である。
【図１８】本発明の役割ラベラーの実施態様によって使用される様々な規則の例である。
【図１９】本発明の役割ラベラーの実施態様によって使用される様々な規則の例である。
【図２０】本発明の役割ラベラーの実施態様によって使用される様々な規則の例である。
【図２１】本発明の役割ラベラーの実施態様によって使用される様々な規則の例である。
【図２２】本発明の役割ラベラーの実施態様によって使用される様々な規則の例である。
【図２３】本発明の役割ラベラーの実施態様によって使用される様々な規則の例である。
【図２４】本発明の役割ラベラーの実施態様によって使用される様々な規則の例である。
【図２５】本発明の役割ラベラーの実施態様によって使用される様々な規則の例である。
【図２６】本発明の役割ラベラーの実施態様によって使用される様々な規則の例である。
【図２７】図１６から２６までの役割ラベラーによって生成される役割ラベル化されたツリーの例である。
【図２８】本発明の実施態様によって使用されるタイプaの製造データ・フィールドの例である。
【図２９】本発明のタイプaの生成物エクストラクタの例である。
【図３０】本発明の実施態様によって使用されるタイプbの文法要素の例およびデータ・フィールドである。
【図３１】本発明の例示的な言語間の文法推定値のより詳細な機能的なブロック線図である。
【図３２】図３２は、図１の実施態様の実行時翻訳プログラム部分の機能的なブロック線図である。
【図１】
2009533728.tif 000009
【図２】
2009533728.tif 000010
【図３】
2009533728.tif 000011
【図４】
2009533728.tif 000012
【図５】
2009533728.tif 000013
【図６】
2009533728.tif 000014
【図７】
2009533728.tif 000015
【図８】
2009533728.tif 000016
【図９】
2009533728.tif 000017
【図１０】
2009533728.tif 000018
【図１１】
2009533728.tif 000019
【図１２】
2009533728.tif 000020
【図１３】
2009533728.tif 000021
【図１４】
2009533728.tif 000022
【図１５】
2009533728.tif 000023
【図１６】
2009533728.tif 000024
【図１７】
2009533728.tif 000025
【図１８】
2009533728.tif 000026
【図１９】
2009533728.tif 000027
【図２０】
2009533728.tif 000028
【図２１】
2009533728.tif 000029
【図２２】
2009533728.tif 000030
【図２３】
2009533728.tif 000031
【図２４】
2009533728.tif 000032
【図２５】
2009533728.tif 000033
【図２６】
2009533728.tif 000034
【図２７】
2009533728.tif 000035
【図２８】
2009533728.tif 000036
【図２９】
2009533728.tif 000037
【図３０】
2009533728.tif 000038
【図３１】
2009533728.tif 000039
【図３２】
2009533728.tif 000040
【国際調査報告】
2009533728.tif 000041