(57)【要約】  コロケーション翻訳を抽出するシステムおよび方法を提示する。本方法には、ソース言語およびターゲット言語のモノリンガルコーポラおよびバイリンガルコーパス（使用可能な場合）を使用してコロケーション翻訳モデルを構築するステップが含まれる。コロケーション翻訳モデルは、コロケーションの前後のコンテキストワード（ｃｏｎｔｅｘｔｕａｌ  ｗｏｒｄｓ）に関する期待値最大化（ＥＭ：ｅｘｐｅｃｔａｔｉｏｎ  ｍａｘｉｍｉｚａｔｉｏｎ）アルゴリズムを使用する。コロケーション翻訳モデルは、後でコロケーション翻訳辞書を抽出するために使用できる。コンテキストの冗長性（ｃｏｎｔｅｘｔ  ｒｅｄｕｎｄａｎｃｙ）および／または双方向翻訳の制約（ｂｉ−ｄｉｒｅｃｔｉｏｎａｌ  ｔｒａｎｓｌａｔｉｏｎ）に基づくオプションのフィルタを使用して、信頼性の高いコロケーション翻訳のみが辞書に組み込まれることを保証できる。構築されたコロケーション翻訳モデルと抽出されたコロケーション翻訳辞書は、後でセンテンス翻訳（ｓｅｎｔｅｎｃｅ  ｔｒａｎｓｌａｔｉｏｎ）などのさらなる自然言語処理（ｎａｔｕｒａｌ  ｌａｎｇｕａｇｅ  ｐｒｏｃｅｓｓｉｎｇ）を行う場合に利用できる。
2008547093.tif 000002
【特許請求の範囲】
【請求項１】
コンピュータが解読できる命令を格納するコンピュータ可読媒体であって、実装された場合に前記コンピュータにコロケーション翻訳モデルを構築させ、
モノリンガルのソース言語のコーポラからソース言語のコロケーションを抽出するステップと、
モノリンガルのターゲット言語のコーポラからターゲット言語のコロケーションを抽出するステップと、
少なくとも前記ソース言語のコロケーションとターゲット言語のコロケーションとを使用してコロケーション翻訳モデルを構築するステップとを備えており、前記コロケーション言語モデルは特徴関数のセットに基づくことと、前記特徴関数の１つは前記抽出されたソース言語のコロケーションの前後のコンテキストワードに関する確率情報を備えることとを特徴とするコンピュータ可読媒体。
【請求項２】
前記コロケーション翻訳モデルは前記特徴関数の少なくともいくつかとの対数線形の関係に基づくことを特徴とする請求項１に記載のコンピュータ可読媒体。
【請求項３】
前記コンテキストに関する特徴関数は期待値最大化アルゴリズムを使用して確率値を評価することを特徴とする請求項１に記載のコンピュータ可読媒体。
【請求項４】
前記期待値最大化アルゴリズムはソース言語とターゲット言語のモノリンガルコーポラとを使用してパラメータを評価することを特徴とする請求項３に記載のコンピュータ可読媒体。
【請求項５】
前記特徴関数の１つはターゲット言語のコロケーション言語モデルを備えることを特徴とする請求項１に記載のコンピュータ可読媒体。
【請求項６】
前記特徴関数の１つはソース言語からターゲット言語へのワード翻訳確率情報によるワード翻訳モデルを備えることを特徴とする請求項１に記載のコンピュータ可読媒体。
【請求項７】
前記特徴関数の１つはターゲット言語からソース言語へのワード翻訳確率情報によるワード翻訳モデルを備えることを特徴とする請求項１に記載のコンピュータ可読媒体。
【請求項８】
前記ソース言語とターゲット言語のペアによるバイリンガルコーパスを受信するステップをさらに備えることを特徴とする請求項１に記載のコンピュータ可読媒体。
【請求項９】
前記特徴関数の１つは前記バイリンガルコーパスを使用してトレーニングされたワード翻訳言語モデルを備えることを特徴とする請求項８に記載のコンピュータ可読媒体。
【請求項１０】
前記特徴関数の１つは前記バイリンガルコーパスを使用してトレーニングされたコンテキスト翻訳モデルを備えることを特徴とする請求項８に記載のコンピュータ可読媒体。
【請求項１１】
ソース言語のコーポラを受信するステップと、
前記ソース言語のコーポラをソース言語の依存トリプルに解析するステップと、
前記解析されたソース言語の依存トリプルから前記ソース言語のコロケーションを抽出するステップと、
前記コロケーション翻訳モデルにアクセスし、前記抽出されたソース言語のコロケーションの一部に対応するコロケーション翻訳を抽出するステップとをさらに備えることを特徴とする請求項１に記載のコンピュータ可読媒体。
【請求項１２】
前記抽出されたソース言語のコロケーションの一部は前記ソース言語とターゲット言語との相関性が高いコロケーションのタイプに基づいて選択されることを特徴とする請求項１１に記載のコンピュータ可読媒体。
【請求項１３】
コロケーション翻訳を抽出する方法であって、
ソース言語のコーポラを受信するステップと、
ターゲット言語のコーポラを受信するステップと、
前記ソース言語のコーポラからソース言語のコロケーションを抽出するステップと、
期待値最大化（ＥＭ）アルゴリズムを使用して前記抽出されたソース言語のコロケーションの前後のコンテキストワードのコンテキストワード翻訳確率値を評価することによってコロケーション翻訳確率情報をモデル化するステップとを備えることを特徴とする方法。
【請求項１４】
前記コンテキストワードの確率値を評価するステップは、選択されたウィンドウサイズのコンテキストワードを選択するステップを備えることを特徴とする請求項１３に記載の方法。
【請求項１５】
前記ソース言語とターゲット言語のペアによるバイリンガルコーパスを受信するステップと、
前記受信されたバイリンガルコーパスを使用してワード翻訳確率値を評価するステップをさらに備えることを特徴とする請求項１３に記載の方法。
【請求項１６】
前記モデル化されたコロケーション翻訳確率情報を使用してコロケーション翻訳辞書を抽出するステップをさらに備えることを特徴とする請求項１３に記載の方法。
【請求項１７】
前記コロケーション翻訳辞書を抽出するステップはコンテキストの冗長性および双方向翻訳の制約の少なくとも１つに基づいてフィルタリングするステップをさらに備えることを特徴とする請求項１６に記載の方法。
【請求項１８】
コロケーション翻訳を抽出するシステムであって、
ソース言語からターゲット言語へのコロケーション翻訳モデルを構築するように構成されたモジュールを備えており、前記コロケーション翻訳モデルは期待値最大化アルゴリズムに基づく繰り返しを使用して評価される選択されたソース言語のコンテキストに関する確率値を備えることを特徴とするシステム。
【請求項１９】
前記コロケーション翻訳モデルを使用してコロケーション翻訳辞書を抽出するように構成された第２のモジュールをさらに備えており、前記第２のモジュールはコンテキストの冗長性に基づいてコロケーション翻訳をフィルタリングし、コロケーション翻訳候補を生成するように構成されたサブモジュールを備えることを特徴とする請求項１８に記載のシステム。
【請求項２０】
前記第２のモジュールは双方向翻訳の制約に基づいてコロケーション翻訳候補をフィルタリングし、コロケーション翻訳辞書を生成するためのサブモジュールをさらに備えることを特徴とする請求項１９に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般的には自然言語処理に関する。より具体的には、本発明はコロケーション翻訳に関する。
【背景技術】
【０００２】
依存トリプル（ｄｅｐｅｎｄｅｎｃｙ  ｔｒｉｐｌｅ）は、語彙的に制限されたワードのペアと特定のシンタックス（ｓｙｎｔａｃｔｉｃ）または依存関係であり、一般的な形は＜ｗｌ，ｒ，ｗ２＞である。ただし、ｗｌとｗ２はワード、ｒは依存関係である。例えば、＜ｔｕｒｎ  ｏｎ，ＯＢＪ，ｌｉｇｈｔ＞などの依存トリプルは、動詞と目的語（ｖｅｒｂ−ｏｂｊｅｃｔ）の依存トリプルである。センテンスに含まれるワード間には様々なタイプの依存関係があり、したがって様々なタイプの依存トリプルがある。コロケーションは、選択された関連性（ｒｅｌａｔｅｄｎｅｓｓ）のしきい値を満たすかまたは上回る特定のタイプの依存トリプルであり、多くの場合にｗ１およびｗ２はそれぞれ「ｈｅａｄ」および「ｄｅｐｅｎｄａｎｔ」と呼ばれる。一般的なタイプのコロケーションには、主語と動詞（ｓｕｂｊｅｃｔ−ｖｅｒｂ）、動詞と目的語、名詞と形容詞（ｎｏｕｎ−ａｄｊｅｃｔｉｖｅ）、および動詞と副詞（ｖｅｒｂ−ａｄｖｅｒｂ）のコロケーションがある。
【０００３】
場合によっては、ソース言語とターゲット言語とは大きく異なるが、いくつかのタイプのコロケーションでは特定のソース言語とターゲット言語との間に強力な相関性（ｃｏｒｒｅｓｐｏｎｄｅｎｃｅ）があることが確認されている。例えば、中国語と英語は大きく異なる言語であるが、それにもかかわらず、一般的なタイプのコロケーションでは、主語と動詞、動詞と目的語、名詞と形容詞、および動詞と副詞のコロケーションの間に強力な相関性がある。このようなタイプのコロケーションに見られる強力な相関性により、フレーズおよびセンテンスをソース言語からターゲット言語に翻訳する場合にコロケーション翻訳を使用するのが望ましいこととなる。このように、コロケーション翻訳は、機械翻訳、言語を超えた情報検索（ｃｒｏｓｓ  ｌａｎｇｕａｇｅ  ｉｎｆｏｒｍａｔｉｏｎ  ｒｅｔｒｉｅｖａｌ）、第２言語の学習、その他のバイリンガル自然言語処理アプリケーションを実行する場合に重要である。コロケーション翻訳エラーは、多くの場合にコロケーションが特異であり、したがって翻訳を予測できないために発生する。換言すると、ソース言語内のコロケーションは互いに構造が類似しており、意味的にも関係しているが、ターゲット言語における翻訳は構造的にも意味的にもまったく異なる可能性がある。
【０００４】
例えば、中国語の動詞「ｋａｎ４」は、中国語の動詞と目的語のコロケーションのｈｅａｄと考えられる。ワード「ｋａｎ４」は、目的語すなわちコロケーションの依存関係によって、英語の「ｓｅｅ（見る）」、「ｗａｔｃｈ（見る）」、「ｌｏｏｋ（見る）」、または「ｒｅａｄ（読書をする）」に翻訳できる。例えば、ワード「ｋａｎ４」の後には中国語のワード「ｄｉａｎ４ｙｉｎｇ３」（英語で「ｆｉｌｍ」または「ｍｏｖｉｅ（映画）」を意味する）または「ｄｉａｎ４ｓｈｉ４」（通常は英語で「ｔｅｌｅｖｉｓｉｏｎ（テレビ）」を意味する）が続く可能性がある。ただし、中国語のコロケーション「ｋａｎ４  ｄｉａｎ４ｙｉｎｇ３」および「ｋａｎ４  ｄｉａｎ４ｓｈｉ４」は、センテンスによって、それぞれ英語の「ｓｅｅ  ｆｉｌｍ」および「ｗａｔｃｈ  ｔｅｌｅｖｉｓｉｏｎ」に翻訳されるのが最適と考えられる。このように、ワード「ｋａｎ４」は異なる英語に翻訳されるが、コロケーション「ｋａｎ４  ｄｉａｎ４ｙｉｎｇ３」および「ｋａｎ４  ｄｉａｎ４ｓｈｉ４」は構造的にも意味的にも類似している。
【０００５】
別の状況では、「ｋａｎ４」はワード「ｓｈｕ１」（英語で「ｂｏｏｋ（本）」を意味する）を伴うコロケーションも構成できる。ただし、多くのセンテンスにおけるコロケーション「ｋａｎ４  ｓｈｕ１」は、コロケーション翻訳では英語の「ｒｅａｄ」のみに翻訳され、したがって目的語「ｂｏｏｋ」は使用されないのが最適と考えられる。
【０００６】
中国語のワードは、本明細書ではローマ字の発音の後に抑揚を表す「ぴん音（Ｐｉｎｙｉｎ）」の数字を伴って表されていることに留意されたい。ピン音は、中国の公用語の発音として一般的に認められているシステムである。
【０００７】
従来、コロケーション翻訳の方法は通常はソース言語とターゲット言語のパラレルコーポラまたはバイリンガルコーポラに依存してきた。しかし、整備された大規模なバイリンガルコーポラは一般的に入手が困難であり、構築するには費用がかかる。これに対して、大規模なモノリンガルコーポラは、ソース言語とターゲット言語の両方で容易に入手できる。
【０００８】
最近では、モノリンガルコーポラを使用したコロケーション翻訳の方法が開発されている。しかし、このような方法には使用可能なバイリンガルコーポラまたは限定された数量で使用可能なバイリンガルコーポラの使用はさらに組み込まれていないのが一般的である。さらに、このようなモノリンガルコーポラを使用する方法では、翻訳するコロケーションの前後のコンテキストワードは一般的には考慮されていない。
【０００９】
【非特許文献１】"Collocation translation acquisition using monolingual corpora," by Yajuan Lu and Ming Zhou, The 42nd Annual Meeting of the Association for Computational Linguistics, pp. 295-302, 2004
【非特許文献２】"Discriminative training and maximum entropy models for statistical machine translation," by Franz Josef Osch and Hermann Ney, The 40th Meeting of the Association for Computational Linguistics, pp. 295-302 (2002)
【非特許文献３】"The mathematics of machine translation: parameter estimation," by Brown et al., Computational Linguistics, 19(2): pp. 263-313 (1993)
【非特許文献４】"Accurate methods for the statistics of surprise and coincidence," by Ted Dunning, Computational Linguistics, 10(1), pp. 61-74 ((1993)
【発明の開示】
【発明が解決しようとする課題】
【００１０】
したがって、様々な自然言語処理アプリケーションに使用するコロケーションの翻訳と抽出のための改善された方法が継続的に求められている。
【課題を解決するための手段】
【００１１】
本発明には、モノリンガルコーポラと使用可能なバイリンガルコーポラを使用してコロケーション翻訳モデルを構築するステップが含まれる。コロケーション翻訳モデルは、翻訳するコロケーションの前後のコンテキストワードに関する期待値最大化アルゴリズムを使用する。他の実施形態では、コロケーション翻訳モデルを使用してコロケーション翻訳を特定し、抽出する。さらに他の実施形態では、構築された翻訳モデルと抽出されたコロケーション翻訳はセンテンス翻訳に使用される。
【発明を実施するための最良の形態】
【００１２】
自動コロケーション翻訳は、機械翻訳や言語を超えた情報検索を含む自然言語処理のための重要な技術である。
【００１３】
本発明の１つの態様は、コロケーション翻訳に有効な確率情報を使用して語彙知識ベースを拡張するステップを提供する。別の態様では、本発明には格納された確率情報を使用してコロケーション翻訳を抽出し、語彙知識ベースをさらに拡張するステップが含まれる。別の態様では、取得された語彙の確率情報と抽出されたコロケーション翻訳は後でセンテンス翻訳に使用される。
【００１４】
本発明の態様について詳細に説明する前に、本発明を実施するために利用できるコンピューティングデバイスについて一般的に説明するのが効果的であろう。図１は、本発明を実装できる適切なコンピューティングシステム環境１００の例を示している。コンピューティングシステム環境１００は適切なコンピューティング環境の１つの例にすぎず、本発明の使用または機能の範囲に関するいかなる制限を示すものでもない。また、コンピューティング環境１００は、例示的な動作環境１００に示すコンポーネントの任意の１つまたは組合せに関して、いかなる依存性も要件もないと解釈するものとする。
【００１５】
本発明は、他の様々な汎用または専用のコンピューティングシステム環境または構成でも動作できる。本発明の使用に適した周知のコンピューティングシステム、環境、および／または構成の例には、パーソナルコンピュータ、サーバコンピュータ、ハンドヘルドまたはラップトップデバイス、マルチプロセッサシステム、マイクロプロセッサベースのシステム、セットトップボックス、プログラム可能な家庭用電子機器、ネットワークＰＣ、ミニコンピュータ、メインフレームコンピュータ、電話システム、前述の任意のシステムまたはデバイスを含む分散コンピューティング環境などが含まれるが、これらに限定はされない。
【００１６】
本発明については、コンピュータで実行されるコンピュータ実行可能命令（例えばプログラムモジュール）の一般的なコンテキストで説明できる。一般に、プログラムモジュールには、特定のタスクを実行したり、特定の抽象データ型を実装したりするルーチン、プログラム、オブジェクト、コンポーネント、データ構造などがある。当業者は、本明細書に示す説明と図面を、任意の形のコンピュータ可読媒体に書き込むことができるプロセッサ実行可能命令として実装できる。
【００１７】
本発明は、通信ネットワークを介してリンクされるリモート処理デバイスでタスクを実行する分散コンピューティング環境でも実施できる。分散コンピューティング環境では、メモリ記憶デバイスを含むローカルとリモートの両方のコンピュータ記憶媒体にプログラムモジュールを格納できる。
【００１８】
図１を参照すると、本発明を実施する例示的なシステムには、コンピュータ１１０の形で汎用のコンピューティングデバイスが含まれる。コンピュータ１１０のコンポーネントには、処理装置１２０、システムメモリ１３０、および様々なシステムコンポーネントを接続する（システムメモリから処理装置１２０への接続を含む）システムバス１２１が含まれるが、これらに限定はされない。システムバス１２１は、様々なバスアーキテクチャのいずれかを使用したメモリバスまたはメモリコントローラ、周辺バス、およびローカルバスを含む各種バス構造のいずれでもよい。こうしたアーキテクチャには、例として、ＩＳＡ（Ｉｎｄｕｓｔｒｙ  Ｓｔａｎｄａｒｄ  Ａｒｃｈｉｔｅｃｔｕｒｅ）バス、ＭＣＡ（Ｍｉｃｒｏ  Ｃｈａｎｎｅｌ  Ａｒｃｈｉｔｅｃｔｕｒｅ）バス、ＥＩＳＡ（Ｅｎｈａｎｃｅｄ  ＩＳＡ）バス、ＶＥＳＡ（Ｖｉｄｅｏ  Ｅｌｅｃｔｒｏｎｉｃｓ  Ｓｔａｎｄａｒｄｓ  Ａｓｓｏｃｉａｔｉｏｎ）ローカルバス、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ  Ｃｏｍｐｏｎｅｎｔ  Ｉｎｔｅｒｃｏｎｎｅｃｔ）バス（メザニン（Ｍｅｚｚａｎｉｎｅ）バスとも呼ばれる）が含まれるが、これらに限定はされない。
【００１９】
コンピュータ１１０には、一般的に様々なコンピュータ可読媒体が含まれる。コンピュータ可読媒体は、コンピュータ１１０からアクセスできる使用可能な任意の媒体でよい。また、揮発性と不揮発性の両方の媒体、および取り外し可能と不可能の両方の媒体が含まれる。例として、コンピュータ可読媒体にはコンピュータ記憶媒体および通信媒体を含めてもよいが、これらに限定はされない。コンピュータ記憶媒体には、コンピュータ可読の命令、データ構造、プログラムモジュール、またはその他のデータなどの情報を記憶する任意の方法または技術で実装された、揮発性と不揮発性の両方、および取り外し可能と不可能の両方の媒体が含まれる。コンピュータ記憶媒体には、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリなどのメモリ技術、ＣＤ  ＲＯＭ、デジタル多用途ディスク（ＤＶＤ：ｄｉｇｉｔａｌ  ｖｅｒｓａｔｉｌｅ  ｄｉｓｋ）などの光ディスクストレージ、磁気カセット、磁気テープ、磁気ディスクストレージなどの磁気記憶デバイス、または必要な情報の格納に使用でき、コンピュータ１１０からアクセスできる他の任意の媒体が含まれるが、これらに限定はされない。通信媒体は、通常、搬送波やその他の搬送メカニズムのような変調データ信号に含まれるコンピュータ可読の命令、データ構造、プログラムモジュール、またはその他のデータなどを具体化したものであり、任意の情報伝達媒体を含んでいる。「変調データ信号」という用語は、信号内の情報を符号化するように１つまたは複数の特性を設定または変更された信号を意味する。通信媒体には、例として、有線ネットワーク、直接ワイヤ接続などの有線媒体と、音、ＲＦ、赤外線などの無線媒体が含まれるが、これらに限定はされない。上記の任意の組合せも、コンピュータ可読媒体の範囲内に含まれるものとする。
【００２０】
システムメモリ１３０には、読み取り専用メモリ（ＲＯＭ：ｒｅａｄ  ｏｎｌｙ  ｍｅｍｏｒｙ）１３１やランダムアクセスメモリ（ＲＡＭ：ｒａｎｄｏｍ  ａｃｃｅｓｓ  ｍｅｍｏｒｙ）１３２のように揮発性および／または不揮発性メモリという形をとるコンピュータ記憶媒体が含まれる。起動時などにコンピュータ１１０内の要素間の情報転送を支援する基本ルーチンを含む基本入出力システム１３３（ＢＩＯＳ：ｂａｓｉｃ  ｉｎｐｕｔ／ｏｕｔｐｕｔ  ｓｙｓｔｅｍ）は、通常はＲＯＭ  １３１に格納される。ＲＡＭ  １３２には、通常は処理装置１２０から直ちにアクセスできる、かつ／または処理装置１２０で現在操作しているデータおよび／またはプログラムモジュールが格納されている。例として、図１にはオペレーティングシステム１３４、アプリケーションプログラム１３５、その他のプログラムモジュール１３６、およびプログラムデータ１３７が示されているが、これらに限定はされない。
【００２１】
コンピュータ１１０には、その他の取り外し可能／不可能、揮発性／不揮発性のコンピュータ記憶媒体を含めてもよい。図１には、単に例として、取り外し不可能な不揮発性の磁気媒体の読み出しまたは書き込みを行うハードディスクドライブ１４１、取り外し可能な不揮発性の磁気ディスク１５２の読み出しまたは書き込みを行う磁気ディスクドライブ１５１、ＣＤ  ＲＯＭや他の光媒体のような取り外し可能な不揮発性の光ディスク１５６の読み出しまたは書き込みを行う光ディスクドライブ１５５を示している。例示的なオペレーティング環境で使用できる上記以外の取り外し可能／取り外し不可能、揮発性／不揮発性のコンピュータ記憶媒体には、磁気テープカセット、フラッシュメモリカード、デジタル多用途ディスク、デジタルビデオテープ、ソリッドステートＲＡＭ、ソリッドステートＲＯＭなどが含まれるが、これらに限定はされない。ハードディスクドライブ１４１は、通常はインターフェース１４０などの取り外し不可能なメモリインターフェースを介してシステムバス１２１に接続し、磁気ディスクドライブ１５１と光ディスクドライブ１５５は、通常はインターフェース１５０などの取り外し可能なメモリインターフェースを介してシステムバス１２１に接続する。
【００２２】
図１に示す前述のドライブとこれに対応するコンピュータ記憶媒体には、コンピュータ可読の命令、データ構造、プログラムモジュール、およびその他のコンピュータ１１０のデータを格納できる。例えば、図１を参照すると、ハードディスクドライブ１４１には、オペレーティングシステム１４４、アプリケーションプログラム１４５、その他のプログラムモジュール１４６、およびプログラムデータ１４７が格納されている。こうしたコンポーネントは、オペレーティングシステム１３４、アプリケーションプログラム１３５、その他のプログラムモジュール１３６、およびプログラムデータ１３７と同じでもよいし、異なっていてもよいことに留意されたい。ここでは、オペレーティングシステム１４４、アプリケーションプログラム１４５、その他のプログラムモジュール１４６、およびプログラムデータ１４７には異なる番号を付けて、少なくとも別の複製であることを示している。
【００２３】
ユーザは、キーボード１６２、マイクロフォン１６３、およびポインティングデバイス１６１（マウス、トラックボール、またはタッチパッドなど）の入力デバイスによって使用してコンピュータ１１０にコマンドや情報を入力できる。他の入力デバイス（図示せず）には、ジョイスティック、ゲームパッド、サテライトディッシュ、スキャナなどを含めてもよい。これらの入力デバイスおよび他の入力デバイスは、多くの場合にシステムバスに接続されたユーザ入力インターフェース１６０を介して処理装置１２０に接続するが、パラレルポート、ゲームポート、またはＵＳＢ（ｕｎｉｖｅｒｓａｌ  ｓｅｒｉａｌ  ｂｕｓ）のような他のインターフェースやバス構造によって接続してもよい。モニタ１９１または他のタイプの表示デバイスも、ビデオインターフェース１９０のようなインターフェースを介してシステムバス１２１に接続される。さらに、コンピュータには出力周辺インターフェース１９０を介して接続できるスピーカ１９７やプリンタ１９６など、モニタ以外の出力周辺デバイスが含まれていてもよい。
【００２４】
コンピュータ１１０は、リモートコンピュータ１８０のような１台または複数台のリモートコンピュータへの論理接続を使用してネットワーク環境で動作できる。リモートコンピュータ１８０は、パーソナルコンピュータ、ハンドヘルドデバイス、サーバ、ルーター、ネットワークＰＣ、ピアデバイス、または他の一般的なネットワークノードでもよい。また、通常はコンピュータ１１０に関連して上に説明した要素の多くまたはすべてが含まれる。図１に示す論理接続には、ローカルエリアネットワーク（ＬＡＮ：ｌｏｃａｌ  ａｒｅａ  ｎｅｔｗｏｒｋ）１７１とワイドエリアネットワーク（ＷＡＮ：ｗｉｄｅ  ａｒｅａ  ｎｅｔｗｏｒｋ）１７３が含まれるが、その他のネットワークを含めてもよい。このようなネットワーキング環境は、オフィス、企業規模のコンピュータネットワーク、イントラネット、およびインターネットではごく一般的である。
【００２５】
ＬＡＮネットワーキング環境で使用する場合、コンピュータ１１０はＬＡＮ  １７１にネットワークインターフェースまたはアダプタ１７０を介して接続する。ＷＡＮネットワーキング環境で使用する場合、コンピュータ１１０は一般にインターネットなどのＷＡＮ  １７３を介して通信を確立するためのモデム１７２またはその他の手段を備えている。モデム１７２（内蔵でも外付けでもよい）は、ユーザ入力インターフェース１６０または他の適切なメカニズムを使用してシステムバス１２１に接続できる。ネットワーク環境では、コンピュータ１１０またはその一部に関連して説明したプログラムモジュールをリモートメモリ記憶デバイスに格納できる。例として、図１にリモートコンピュータ１８０に格納されたリモートアプリケーションプログラム１８５を示すが、これに限定はされない。図示されたネットワーク接続は例示的なものであり、コンピュータ間の通信リンクを確立する他の手段を使用してもよいことは理解されよう。
【００２６】
バックグラウンドコロケーション翻訳モデル
コロケーション翻訳モデルは、Ｂａｙｅｓ（ベイズ）理論に従って構築されている。ソース言語（例えば中国語）のコロケーションまたはトリプルｃｔｒｉ＝（ｃ１，ｒｃ，ｃ２）、およびターゲット言語（例えば英語）のトリプル翻訳ｅｔｒｉ＝（ｅ１，ｒｅ，ｅ２）の候補のセットが与えられた場合に、最適な英語のトリプル
【００２７】
【数１】
2008547093.tif 000003
【００２８】
は以下の式を最大にするトリプルである。式（１）：
【００２９】
【数２】
2008547093.tif 000004
【００３０】
ただし、ｐ（ｅｔｒｉ）は言語モデルまたはターゲット言語モデルと呼ばれており、ｐ（ｃｔｒｉ｜ｅｔｒｉ）は翻訳モデルまたはコロケーション翻訳モデルと呼ばれている。便宜上、コロケーションとトリプルは同義で使用されていることに留意されたい。実際には、コロケーションはすべての依存トリプルでなく、トレーニングコーポラ（ｔｒａｉｎｉｎｇ  ｃｏｒｐｏｒａ）のサイズを制限するために使用されることが多い。
【００３１】
ターゲット言語モデルｐ（ｅｔｒｉ）は、英語のコロケーションデータベースまたはトリプルデータベースを使用して計算できる。後で詳説するように、例えば補間（ｉｎｔｅｒｐｏｌａｔｉｏｎ）によるスムージング（Ｓｍｏｏｔｈｉｎｇ）を使用すると、データ希薄性に関連する問題を軽減できる。
【００３２】
与えられた英語のコロケーションまたはトリプルがコーパスに出現する確率は、以下の式で計算できる。
【００３３】
【数３】
2008547093.tif 000005
【００３４】
ただし、ｆｒｅｑ（ｅ１，ｒｅ，ｅ２）はトリプルｅｔｒｉの頻度を表し、Ｎはトレーニングコーパスに含まれる英語のトリプルの総数を表す。英語のトリプルｅｔｒｉ＝（ｅ１，ｒｅ，ｅ２）では、関係ｒｅが与えられた場合に２つのワードｅ１とｅ２が条件付き独立であると仮定されると、式（２）は次のように書き直すことができる。
【００３５】
【数４】
2008547093.tif 000006
【００３６】
ワイルドカード記号＊は任意のワードまたは関係を表している。式（２）と（３）を使用すると、補間された言語モデルは次のように表される。
【００３７】
【数５】
2008547093.tif 000007
【００３８】
ただし、０＜α＜１である。スムージング係数αは次のように計算できる。
【００３９】
【数６】
2008547093.tif 000008
【００４０】
式１の翻訳モデルｐ（ｃｔｒｉ｜ｅｔｒｉ）は、次の２つの仮定を使用して評価されている。
【００４１】
仮定１：英語のトリプルｅｔｒｉおよび対応する中国語の依存関係ｒｃが与えられた場合に、ｃ１とｃ２は条件付き独立である。これは次のように表現できる。
【００４２】
【数７】
2008547093.tif 000009
【００４３】
仮定２：英語のトリプルｅｔｒｉについて、ｃｉはｅｉ（ｉ∈｛１，２｝）のみに依存し、かつｒｃはｒｅのみに依存すると仮定する。式（６）は次のように書き直すことができる。
【００４４】
【数８】
2008547093.tif 000010
【００４５】
ｐ（ｃ１｜ｅ１）およびｐ（ｃ２｜ｅ２）はトリプル内の翻訳確率であり、したがって制限されていない確率であることに留意されたい。以下では、ｈｅａｄ  （ｐ（ｃ１｜ｅ１））およびｄｅｐｅｎｄａｎｔ  （ｐ（ｃ２｜ｅ２））の間の翻訳は、それぞれ（ｐｈｅａｄ（ｃ｜ｅ））および（ｐｄｅｐ（ｃ｜ｅ））として表される。
【００４６】
英語と中国語の同じ依存関係は相関性が強いので、ｒｅとｒｃが対応する場合はｐ（ｒｃ｜ｒｅ）＝１、それ以外の場合はｐ（ｒｃ｜ｒｅ）＝０と仮定してもよい。他の実施形態では、ｐ（ｒｃ｜ｒｅ）は０．８から１．０まで変動し、同様にｐ（ｒｃ｜ｒｅ）は０．２から０．０まで変動する。
【００４７】
確率値ｐｈｅａｄ（ｃ１｜ｅ１）とｐｄｅｐ（ｃ２｜ｅ２）は、非特許文献１で説明されている期待値最大化（ＥＭ）アルゴリズムを使用して繰り返し評価されている。非特許文献１では、ＥＭアルゴリズムは次のように表されている。
【００４８】
【数９】
2008547093.tif 000011
【００４９】
ただし、ＥＴｒｉは英語、ＣＴｒｉは中国語のトリプルセットを表している。
【００５０】
翻訳確率ｐｈｅａｄ（ｃ｜ｅ）とｐｄｅｐ（ｃ｜ｅ）は、以下のような一様分布に初期設定されている。
【００５１】
【数１０】
2008547093.tif 000012
【００５２】
ただし、Γｅは英語のワードｅの翻訳セットを表す。ワード翻訳確率は、前述のＥＭアルゴリズムを使用して繰り返し評価されている。
【００５３】
本発明のコロケーション翻訳モデル
本発明のフレームワークには、コロケーション翻訳モデルの対数線形モデリング（ｌｏｇ  ｌｉｎｅａｒ  ｍｏｄｅｌｉｎｇ）が含まれる。本発明のモデルに含まれるのは、非特許文献１で説明されているコロケーション翻訳モデルの態様である。ただし、本発明のモデルは翻訳されるコロケーションの前後のコンテキストワードから得られるコンテキスト情報も利用する。さらに、本発明のフレームワークでは、バイリンガルコーパスベースの特徴（ｆｅａｔｕｒｅｓ）とモノリンガルコーパスベースの特徴の両方を統合する（使用可能な場合または望ましい場合）。
【００５４】
中国語のコロケーションｃｃｏｌ＝（ｃ１，ｒｃ，ｃ２）と英語の翻訳候補のセットｅｃｏｌ＝（ｅ１，ｒｅ，ｅ２）が与えられた場合に、翻訳確率は次のようにして評価できる。
【００５５】
【数１１】
2008547093.tif 000013
【００５６】
ただし、ｈｍ（ｅｃｏｌ，ｃｃｏｌ），ｍ＝ｌ，．．．Ｍは特徴関数（ｆｅａｔｕｒｅ  ｆｕｎｃｔｉｏｎｓ）のセットである。本発明の翻訳モデルは、依存トリプルだけでなくコロケーションを使用して構築できることに留意されたい。特徴関数ｈｍのそれぞれについて、モデルパラメータλｍ，ｍ＝ｌ，．．．Ｍが存在する。特徴のセットが与えられた場合に、パラメータλｍは非特許文献２で説明されているＩＩＳアルゴリズムまたはＧＩＳアルゴリズムを使用して評価できる。
【００５７】
最も確率の高い英語の翻訳を選択するための決定規則は次の式で表される。
【００５８】
【数１２】
2008547093.tif 000014
【００５９】
本発明の翻訳モデルでは、以下で詳述するように、特徴関数またはスコア、すなわちターゲット言語スコア、内部コロケーション（ｉｎｓｉｄｅ−ｃｏｌｌｏｃａｔｉｏｎ）翻訳スコア、およびコンテキストワード翻訳スコアの少なくとも３種類が考慮される。
【００６０】
ターゲット言語スコアに起因する特徴関数
本発明では、ターゲット言語の特徴関数は以下のように定義される。
【００６１】
ｈ１（ｅｃｏｌ，ｃｃｏｌ）＝ｌｏｇ  ｐ（ｅｃｏｌ）                    式１１
ただし、上のｐ（ｅｃｏｌ）は一般的にターゲット言語モデルと呼ばれている。ターゲット言語モデルは、バックグラウンドコロケーション翻訳モデルに関連して説明するように、ターゲット言語すなわち英語のコーパスを使用して評価できる。
【００６２】
内部コロケーション翻訳スコアに起因する特徴関数
内部コロケーション翻訳スコアは、次のワード翻訳確率として表すことができる。
【００６３】
ｈ２（ｅｃｏｌ，ｃｃｏｌ）＝ｌｏｇ  ｐ（ｅｌ｜ｃｌ）                  式１２
ｈ３（ｅｃｏｌ，ｃｃｏｌ）＝ｌｏｇ  ｐ（ｅ２｜ｃ２）                  式１３
ｈ４（ｅｃｏｌ，ｃｃｏｌ）＝ｌｏｇ  ｐ（ｃｌ｜ｅｌ）                  式１４
ｈ５（ｅｃｏｌ，ｃｃｏｌ）＝ｌｏｇ  ｐ（ｃ２｜ｅ２）                  式１５
別の実施形態では、特徴関数ｈ４とｈ５は省略できることに留意されたい。ワード翻訳確率ｐｉ（ｃｉ｜ｅｉ），ｉ＝１，２の逆転は、機械翻訳のソースチャネルモデル（ｓｏｕｒｃｅ  ｃｈａｎｎｅｌ  ｍｏｄｅｌ）内の翻訳モデルと呼ばれている。実験によれば、コロケーション翻訳では一般的に直接確率（ｄｉｒｅｃｔ  ｐｒｏｂａｂｉｌｉｔｉｅｓ）ｐｉ（ｅｉ｜ｃｉ），ｉ＝１，２でより適切な結果が得られることが示されている。本発明では、直接確率ｐｉ（ｅｉ｜ｃｉ）は特徴関数としてコロケーション翻訳モデルに含まれる。
【００６４】
非特許文献１で説明されている方法に従って、コロケーションワード翻訳確率は２つのモノリンガルコーポラを使用して評価できる。英語と中国語の３つの主要な依存関係、すなわち動詞と目的語、名詞と形容詞、動詞と副詞は相関性が強いことが仮定される。ＥＭアルゴリズムは、バイリンガル翻訳辞書と組み合わせると、式１２から１５に示す４つの内部コロケーション翻訳確率ｈ２からｈ５の評価に使用される。ｈ４とｈ５は非特許文献１から直接抽出できること、およびｈ２とｈ３は英語をソース言語、中国語をターゲット言語として使用してから、これに非特許文献１に記載のＥＭアルゴリズムを適用することによって同様に抽出できることに留意されたい。
【００６５】
さらに、関係翻訳スコアは、以下の式で表される本発明のモデルの特徴関数と見なすこともできる。
【００６６】
ｈ６（ｅｃｏｌ，ｃｃｏｌ）＝ｌｏｇ  ｐ（ｒｅ｜ｒｃ）                  式１６
非特許文献１と同様に、対応するｒｅとｒｃについてはｐ（ｒｅ｜ｒｃ）＝０．９、それ以外の場合はｐ（ｒｅ｜ｒｃ）＝０．１と仮定してもよい。他の実施形態では、対応するｒｅとｒｃについてはｐ（ｒｅ｜ｒｃ）が０．８から１．０まで変動し、それ以外の場合は０．２から０．０まで変動する。さらに他の実施形態では、特徴関数ｈ６は全体が省略されている。
【００６７】
コンテキストワード翻訳スコアに起因する特徴関数
本発明のコロケーション翻訳モデルでは、コロケーションの外部のコンテキストワードもコロケーション翻訳のあいまい性除去に有効である。例えば、センテンス
【００６８】
【数１３】
2008547093.tif 000015
【００６９】
で、コロケーション
【００７０】
【数１４】
2008547093.tif 000016
【００７１】
を翻訳するには、コンテキストワード
【００７２】
【数１５】
2008547093.tif 000017
【００７３】
および
【００７４】
【数１６】
2008547093.tif 000018
【００７５】
も翻訳の助けになる。コンテキストワードの特徴関数は次のように表すことができる。
【００７６】
ｈ７（ｅｃｏ１，ｃｃｏ１）＝ｌｏｇ  ｐｃ１（ｅ１｜Ｄ１）              式１７
ｈ８（ｅｃｏ１，ｃｃｏ１）＝ｌｏｇ  ｐｃ２（ｅ２｜Ｄ２）              式１８
ただし、Ｄ１はｃ１のコンテキストワードセット、Ｄ２はｃ２のコンテキストワードセットである。ここでは、ｃ２はｃ１のコンテキスト、ｃ１はｃ２のコンテキストと見なされる。したがって、次の式が得られる。
【００７７】
【数１７】
2008547093.tif 000019
【００７８】
ただし、ｍはウィンドウサイズである。
【００７９】
簡潔にするために、翻訳するワードをｃ（ｃ＝ｃ１，またはｃ＝ｃ２）で表し、ｅをｃの翻訳候補、Ｄ＝（ｃ’１，．．．，ｃ’ｎ）をｃのコンテキストとする。Ｎａｉｖｅ  Ｂａｙｅｓ（ナイーブベイズ）の仮定を使用して、以下のように簡素化される。
【００８０】
【数１８】
2008547093.tif 000020
【００８１】
ｐ（ｅ）の値は、英語のコーパスを使用して容易に評価できる。従来の確率ｐｃ（ｅ）＝ｐ（ｅ｜ｃ）は、内部コロケーション翻訳の特徴関数内で考慮されていたので、ここではコンテキストワード翻訳スコア計算の第２のコンポーネントのみが考慮されている。したがって、次の式が得られる。
【００８２】
【数１９】
2008547093.tif 000021
【００８３】
ここで、問題は翻訳確率ｐ（ｃ’｜ｅ）を評価する方法である。従来から、これはバイリンガルコーパスを使用して評価できる。本発明では、モノリンガルコーポラを使用してこうした確率を評価する方法が提供される。
【００８４】
モノリンガルコーポラを使用してコンテキストワード翻訳確率を評価する方法
基本的な考え方は、英語のすべてのインスタンス（ｅ’，ｅ）は分布
【００８５】
【数２０】
2008547093.tif 000022
【００８６】
に従って独立して生成されるという仮定により、中国語のコンテキストｃ’が対応する英語のコンテキストｅ’にマップされるということである。こうして、翻訳確率ｐ（ｃ’｜ｅ）は以下に示すようにＥＭアルゴリズムを使用して英語のモノリンガルコーパスから評価できる。
【００８７】
【数２１】
2008547093.tif 000023
【００８８】
ただし、Ｃは中国語のワードセットを表し、Ｅは英語のワードセットを表し、Ｔｃは中国語のワードｃの翻訳セットを表している。ＥＭアルゴリズムを使用すると、コンテキストを１つの言語から別の言語に正確に翻訳する上で効果的である。
【００８９】
いくつかの実施形態では、確率がゼロにならないように、ｐ（ｃ’｜ｅ）は従来の確率ｐ（ｃ’）を使用して以下のようにスムージングできる。
【００９０】
ｐ（ｃ’｜ｅ）＝αｐ’（ｃ’｜ｅ）＋（１−α）ｐ（ｃ’）              式２３
ただし、ｐ’（ｃ’｜ｅ）は前述のＥＭアルゴリズムによって評価された確率である。パラメータαは実験から０．８に設定できるが、同様の値を使用してもよい。
【００９１】
バイリンガルコーパスから抽出された特徴をコロケーション翻訳モデルに統合
特定のソース言語とターゲット言語のペア（例えば英語とスペイン語）について、何らかのバイリンガルコーポラが使用可能である。本発明のコロケーション翻訳のフレームワークは、こうした貴重なバイリンガルリソースを同一のコロケーション翻訳モデルに統合できる。
【００９２】
本コロケーション翻訳モデル内のすべての翻訳の特徴はバイリンガルコーパスを使用しても評価できるので、対応するバイリンガルコーパスから抽出された特徴は比較的容易に抽出できる。例えば、バイリンガル翻訳確率は以下のように定義できる。
【００９３】
ｈ９（ｅｃｏ１，ｃｃｏ１）＝ｌｏｇ  ｐｂｉ（ｅ１｜ｃ１）              式２４
ｈ１０（ｅｃｏ１，ｃｃｏ１）＝ｌｏｇ  ｐｂｉ（ｅ２｜ｃ２）            式２５
ｈ１１（ｅｃｏ１，ｃｃｏ１）＝ｌｏｇ  ｐｂｉ（ｃ１｜ｅ１）            式２６
ｈ１２（ｅｃｏ１，ｃｃｏ１）＝ｌｏｇ  ｐｂｉ（ｃ２｜ｅ２）            式２７
ｈ１３（ｅｃｏ１，ｃｃｏ１）＝ｌｏｇ  ｐｂｉ（ｅ１｜Ｄ１）            式２８
ｈ１４（ｅｃｏ１，ｃｃｏ１）＝ｌｏｇ  ｐｂｉ（ｅ２｜Ｄ２）            式２９
このような確率の値または情報は、非特許文献３で説明されているＩＢＭモデルなどの従来の方法を使用してバイリンガルコーポラから評価できる。
【００９４】
一般に、バイリンガルリソースが使用可能な場合はこれを使用するのが効果的である。バイリンガルコーポラにより、翻訳確率の評価、したがってコロケーション翻訳の精度を向上できる。本発明のモデリングフレームワークは、少なくともモノリンガルと使用可能なバイリンガルの両方のリソースをシームレスに統合するため有利である。
【００９５】
多くの実施形態では、本明細書で説明されているいくつかの特徴関数は、適切なコロケーション翻訳モデルを適切に構築するために必要ではないので省略されていることに留意されたい。例えば、いくつかの実施形態では特徴関数ｈ１１とｈ１２は必要ではないので省略されている。他の実施形態では、ｈ４とｈ５が省略されている。さらに他の実施形態では、依存関係に基づく特徴関数ｈ６が省略されている。最終的に、他の実施形態では、コロケーション翻訳モデルを構築する上でｈ４、ｈ５、ｈ６、ｈ１１、ｈ１２が省略されている。
【００９６】
図２は、１つの方法２００として実施される本発明の少なくとも３つの一般的な態様を示す概略流れ図である。図３、４、および５は、それぞれの態様を実行するためのモジュールを示すブロック図である。図６、７、および８は、図３、４、および５に示すブロック図に一般的に対応する方法を示している。本明細書で説明するブロック図、流れ図、方法は、理解を目的とする例示的なものであり、限定と見なしてはならないことに留意されたい。例えば、本発明の態様の実施を推進する上で、モジュールまたはステップを統合、分離、または省略してもよい。
【００９７】
ここで図２を参照すると、方法２００のステップ２０１には、後でさらなる自然言語処理（特にテキスト翻訳またはセンテンス翻訳）に使用される情報を使用して語彙知識ベースを拡張するステップが含まれる。ステップ２０１には、本発明によるコロケーション翻訳モデルを構築するステップ２０２と、本発明のコロケーション翻訳モデルを使用してコロケーション翻訳を抽出かつ／または取得するステップ２０４とが含まれる。方法２００には、構築されたコロケーション翻訳モデルと抽出されたコロケーション翻訳の両方を使用して受信されたセンテンス（２０６に示す）のセンテンス翻訳を実行するステップ２０８がさらに含まれている。２１０に示すように、センテンス翻訳は繰り返し実行できる。
【００９８】
図３は、語彙知識ベース構築モジュール３００を備えるシステムを示すブロック図である。語彙知識ベース構築モジュール３００は、本発明によるコロケーション翻訳モデル３０５を構築するコロケーション翻訳モデル構築モジュール３０３を備えている。コロケーション翻訳モデル３０５は、図４と図５に示すように、後でコロケーション翻訳の抽出およびセンテンス翻訳を実行するときに使用する語彙知識ベース３０１を拡張する。図６は、本発明による語彙知識ベース３０１の拡張を示す流れ図であり、一般的には図３に対応する。
【００９９】
語彙知識ベース構築モジュール３００は、コンピュータ１１０上で実行されるアプリケーションプログラム１３５でもよい。または、ＬＡＮ  １７１またはＷＡＮ  １７３に接続する任意のリモートコンピュータ上に格納され、リモートコンピュータ上で実行されるアプリケーションプログラムでもよい。同様に、語彙知識ベース３０１はコンピュータ１１０の任意のローカルストレージデバイス上に常駐してもよい。ハードディスクドライブ１４１または光学ＣＤ、またはＬＡＮ  １７１またはＷＡＮ  １７３上のメモリデバイスにリモートに格納されてもよい。語彙知識ベース構築モジュール３００は、コロケーション翻訳モデル構築モジュール３０３を備えている。
【０１００】
ステップ６０２で、ソース言語（中国語）のコーパスまたはコーポラ３０２はコロケーション翻訳モデル構築モジュール３０３で受信される。ソース言語のコーポラ３０２には、任意の自然言語のテキストが含まれる。ただし、本明細書では説明のためのソース言語として多くの場合に中国語が使用されている。多くの実施形態では、ソース言語のコーポラ３０２には未処理のまたは前処理されたデータまたはテキスト（例えば、新聞、書籍、出版物、雑誌、Ｗｅｂソース、音声テキスト変換エンジンなどから得られるテキスト）が含まれている。ソース言語のコーポラ３０２は、前述の任意の入力デバイスおよび前述のデータストレージデバイスから受信できる。
【０１０１】
ステップ６０４で、ソース言語のコロケーション抽出モジュール３０４は、パーサー３０６を使用して中国語のコーポラ３０２を依存トリプルに解析し、中国語のコロケーションまたはコロケーションデータベース３０８を生成する。多くの実施形態では、コロケーション抽出モジュール３０４は、例えば依存トリプルからのコロケーション抽出に使用できる対数尤度比（ＬＬＲ：Ｌｏｇ  Ｌｉｋｅｌｉｈｏｏｄ  Ｒａｔｉｏ）のメトリックに基づくスコアリングシステムを使用してソース言語すなわち中国語のコロケーション３０８を生成する。こうしたＬＬＲスコアリングについては、非特許文献４で説明されている。他の実施形態では、ソース言語のコロケーション抽出モジュール３０４はより大きな依存トリプルのセットを生成する。他の実施形態では、依存トリプルからコロケーションを抽出するその他の方法、例えばＷＭＩ（ｍｕｔｕａｌ  ｗｏｒｄ  ｉｎｆｏｒｍａｔｉｏｎ）に基づく方法を使用してもよい。
【０１０２】
ステップ６０６で、コロケーション翻訳モデル構築モジュール３０３は、前述の任意の入力デバイスおよび前述の入力データストレージデバイスからターゲット言語すなわち英語のコーパスまたはコーポラ３１０を受信する。英語を使用したのは単に説明のためであり、その他のターゲット言語を使用してもよいことにも留意されたい。
【０１０３】
ステップ６０８で、ターゲット言語のコロケーション抽出モジュール３１２は、パーサー３１４を使用して英語のコーポラ３１０を依存トリプルに解析する。前述のモジュール３０４と同様に、コロケーション抽出モジュール３１２は、依存トリプルからコロケーションを抽出する任意の方法を使用してターゲット言語または英語のコロケーション３１６を生成できる。他の実施形態では、コロケーション抽出モジュール３１２はさらなるフィルタリングを実行することなく依存トリプルを生成できる。英語のコロケーションまたは依存トリプル３１６は、データベースに格納し、さらに処理することができる。
【０１０４】
ステップ６１０で、パラメータ評価モジュール３２０は、英語のコロケーション３１６を受信し、コロケーション言語モデルを評価する既知の任意の方法を使用したターゲット言語すなわち英語のコロケーション確率トレーナ３２２で言語モデルｐ（ｅｃｏｌ）を評価する。ターゲット言語のコロケーション確率トレーナ３２２は、一般的に個々のコロケーションのカウントと以上で詳細に説明したターゲット言語のコーポラ３１０内のコロケーションの総数に基づいて、様々なコロケーションの確率を評価する。多くの実施形態では、トレーナ３２２は選択されたタイプのコロケーションのみを評価する。前述のように、中国語と英語の言語ペアにおいて、動詞と目的語、名詞と形容詞、および動詞と副詞のコロケーションには特に高い相関性がある。このために、本発明の実施形態はトレーニングされたコロケーションのタイプを関係の相関性が高いものに限定できる。確率値３２４を使用して、前述の特徴関数ｈ１を評価できる。
【０１０５】
ステップ６１２で、パラメータ評価モジュール３２０は、中国語のコロケーション３０８、英語のコロケーション３１６、およびバイリンガル辞書（例えば中国語から英語）を受信し、ワード翻訳確率トレーナ３３２を使用してワード翻訳確率３３４を評価する。多くの実施形態では、ワード翻訳確率トレーナ３３２は、非特許文献１で説明されているＥＭアルゴリズムを使用して、中国語と英語のモノリンガルコーポラを使用したワード翻訳確率モデルを評価する。こうした確率値ｐｍｏｎ（ｅ｜ｃ）を使用して、前述の特徴関数ｈ４とｈ５を評価する。
【０１０６】
ステップ６１４で、当初のソース言語とターゲット言語が逆転する。例えば、英語がソース言語と見なされ、中国語がターゲット言語と見なされる。パラメータ評価モジュール３２０は、ソース言語とターゲット言語のコロケーションを逆転し、英語から中国語の辞書を使用して英語から中国語のワード翻訳確率モデルを評価する。こうした確率値ｐｍｏｎ（ｃ｜ｅ）を使用して、前述の特徴関数ｈ２とｈ３を評価する。
【０１０７】
ステップ６１６で、パラメータ評価モジュール３２０は、中国語のコロケーション３０８、英語のコーポラ３１０、およびバイリンガル辞書３３６を受信し、前述の本発明によるＥＭアルゴリズムを使用してコンテキスト翻訳確率モデル３４２を構築する。確率値ｐ（ｃ’｜ｅ１）とｐ（ｃ’｜ｅ２）は、ＥＭアルゴリズムを使用して評価され、前述の特徴関数ｈ７とｈ８を評価する。
【０１０８】
ステップ６１８で、３４７で示される関係翻訳のスコアまたは確率ｐ（ｒｅ｜ｒｃ）が評価される。一般に、中国語と英語との同じ依存関係は相関性が強いことを仮定できる。したがって、多くの実施形態では、ｒｅがｒｅに対応する場合はｐ（ｒｅ｜ｒｃ）＝０．９、それ以外の場合はｐ（ｒｅ｜ｒｃ）＝０．１と仮定できる。ｐ（ｒｅ｜ｒｃ）の仮定された値を使用して、特徴関数ｈ６を評価できる。ただし、他の実施形態では、それぞれｒｅがｒｅに対応する場合はｐ（ｒｅ｜ｒｃ）の値が０．８から１．０まで変動し、それ以外の場合は０．２から０まで変動すると仮定できる。
【０１０９】
ステップ６２０で、コロケーション翻訳モデル構築モデル３０３はバイリンガルコーパス３５０を受信する。バイリンガルコーパス３５０は、一般的にパラレルコーパスまたはセンテンスで整列された（ａｌｉｇｎｅｄ）ソース言語およびターゲット言語のコーパスである。ステップ６２２で、バイリンガルワード翻訳確率トレーナは３６４で示される確率値ｐｂｉ（ｃ｜ｅ）を評価する。ターゲット言語とソース言語を逆転すると、確率値ｐｂｉ（ｅ｜ｃ）をモデル化できることに留意されたい。ｐｂｉ（ｃ｜ｅ）とｐｂｉ（ｅ｜ｃ）の値を使用すると、前述の特徴関数ｈ９からｈ１２を評価できる。
【０１１０】
ステップ６２４で、バイリンガルコンテキスト翻訳確率トレーナは３５２でｐｂｉ（ｅ１｜Ｄ１）とｐｂｉ（ｅ２｜Ｄ２）の値を評価する。こうした確率値を使用すると、前述の特徴関数ｈ１３とｈ１４を評価できる。
【０１１１】
すべてのパラメータが評価されると、コロケーション翻訳モデル３０５は、オンラインコロケーション翻訳に使用できる。オフラインコロケーション翻訳の辞書の取得に使用することもできる。ここで図２、４、および７を参照すると、図４は語彙知識ベース２０１を特定のソース言語とターゲット言語のペアによるコロケーション翻訳辞書でさらに拡張するためのコロケーション翻訳を抽出するステップ２０４を実行するシステムを示している。図７は一般的に図４に対応しており、語彙コロケーション翻訳モデル３０５を使用してコロケーション翻訳を抽出かつ／または取得するステップを示している。
【０１１２】
ステップ７０２で、コロケーション抽出モジュール３０４はソース言語のコーポラを受信する。ステップ７０４で、コロケーション抽出モジュール３０４は、自然言語テキストからコロケーションを抽出する任意の既知の方法を使用して、ソース言語のコーポラ３０２からソース言語のコロケーション３０８を抽出する。多くの実施形態では、コロケーション抽出モジュール３０４は対数尤度比（ＬＬＲ）スコアラー３０６を備えている。ＬＬＲスコアラー３０６は依存トリプルｃｔｒｉ＝（ｃ１，ｒｃ，ｃ２）のスコアを計算し、３０８で指定されるソース言語のコロケーションｃｃｏｌ＝（ｃ１，ｒｃ，ｃ２）を特定する。多くの実施形態では、対数尤度比（ＬＬＲ）スコアラー３０６は以下の式でＬＬＲスコアを計算する。
【０１１３】
Ｌｏｇｌ＝ａｌｏｇａ＋ｂｌｏｇｂ＋ｃｌｏｇｃ＋ｄｌｏｇｄ
−（ａ＋ｂ）ｌｏｇ（ａ＋ｂ）−（ａ＋ｃ）ｌｏｇ（ａ＋ｃ）
−（ｂ＋ｄ）ｌｏｇ（ｂ＋ｄ）−（ｃ＋ｄ）ｌｏｇ（ｃ＋ｄ）
＋ＮｌｏｇＮ
ただし、Ｎは中国語のトリプルの総数であり、
ａ＝ｆ（ｃ１，ｒｃ，ｃ２）、
ｂ＝ｆ（ｃ１，ｒｃ，＊）−ｆ（ｃ１，ｒｃ，ｃ２）、
ｃ＝ｆ（＊，ｒｃ，ｃ２）−ｆ（ｃ１，ｒｃ，ｃ２）、
ｄ＝Ｎ−ａ−ｂ−ｃ
ｆは特定のトリプルのカウントまたは頻度を表し、＊は中国語の任意のワードを表す「ワイルドカード」であることに留意されたい。頻度とＬＬＲの値が選択されたしきい値より大きい依存トリプルは、ソース言語のコロケーション３０８として特定され、取得される。
【０１１４】
前述のように、多くの実施形態では、処理されるソース言語とターゲット言語のペアによって、特定のタイプのコロケーションのみが抽出される。例えば、中国語と英語の言語ペアでは、動詞と目的語（ＶＯ：ｖｅｒｂ−ｏｂｊｅｃｔ）、名詞と形容詞（ＡＮ：ｎｏｕｎ−ａｄｊｅｃｔｉｖｅ）、および動詞と副詞（ＡＶ：ｖｅｒｂ−ａｄｖｅｒｂ）のコロケーションを抽出できる。１つの実施形態では、主語と動詞（ＳＶ：ｓｕｂｊｅｃｔ−ｖｅｒｂ）のコロケーションも追加される。特定のタイプのコロケーションを選択する場合に重要な考慮事項は、ソース言語と１つまたは複数のターゲット言語の間の相関性が強いことである。ＬＬＲスコアの計算はコロケーションを決定する１つの方法にすぎず、限定する意図はないことにもさらに留意されたい。依存トリプルからコロケーションを特定する任意の既知の方法、例えばＷＭＩ（ｗｅｉｇｈｔｅｄ  ｍｕｔｕａｌ  ｉｎｆｏｒｍａｔｉｏｎ）を使用してもよい。
【０１１５】
ステップ７０６で、コロケーション翻訳抽出モジュール４００は、前述のように、確率値ｐｍｏｎ（ｃ’｜ｅ）、ｐｍｏｎ（ｅ｜ｃ）、ｐｍｏｎ（ｃ｜ｅ）、ｐ（ｅｃｏｌ）、ｐｂｉ（ｃ’｜ｅ）、ｐｂｉ（ｅ｜ｃ）、ｐｂｉ（ｃ｜ｅ）、およびｐ（ｒｅ｜ｒｃ）を含むコロケーション翻訳モデル３０５を受信する。
【０１１６】
ステップ７０８で、コロケーション翻訳モジュール４０２は中国語のコロケーション３０８をターゲット言語すなわち英語のコロケーションに翻訳する。最初に、４０３でコロケーション翻訳モデル内の確率を使用して特徴関数を計算する。多くの実施形態では、特徴関数は前述の確率関数に伴う対数線形の関係を備えている。次に、４０４でコロケーションを使用して特徴関数が計算され、中国語のコロケーション３０８に含まれる個々の中国語のコロケーションｃｃｏｌが４０４と以下に示す最も確率の高い英語のコロケーション
【０１１７】
【数２２】
2008547093.tif 000024
【０１１８】
に翻訳される。
【０１１９】
【数２３】
2008547093.tif 000025
【０１２０】
多くの実施形態では、さらなるフィルタリングが実行され、信頼性の高いコロケーション翻訳のみが抽出されることが保証される。この目的を達成するために、コロケーション翻訳抽出モジュール４００は、コンテキストの冗長性フィルタ４０６および／または双方向翻訳の制約フィルタ４１０を備えていてもよい。ただし、１つのコロケーションは様々なコンテキストで様々な翻訳に変換される場合があることに留意されたい。例えば、
【０１２１】
【数２４】
2008547093.tif 000026
【０１２２】
すなわち
【０１２３】
【数２５】
2008547093.tif 000027
【０１２４】
（ピン音）は、異なるコンテキストに基づく複数の翻訳、例えば「ｓｅｅ  ｆｉｌｍ（映画を見る）」、「ｗａｔｃｈ  ｆｉｌｍ（映画を見る）」および「ｌｏｏｋ  ｆｉｌｍ（映画を見る）」を受信することがある。
【０１２５】
ステップ７１０で、コンテキストの冗長性フィルタ４０６は、抽出された中国語と英語のコロケーションのペアをフィルタリングする。多くの実施形態では、コンテキストの冗長性フィルタ４０６は頻度が最も高い翻訳のカウントとすべての翻訳のカウントとの比率を計算する。この比率が選択されたしきい値に適合する場合は、コロケーションと対応する翻訳は４０８に示すように中国語のコロケーション翻訳候補として取得される。
【０１２６】
ステップ７１２で、双方向翻訳の制約フィルタ４１０は翻訳候補４０８をフィルタリングし、コロケーション翻訳辞書で後続の処理に利用できる抽出されたコロケーション翻訳４１６を生成する。ステップ７１２には、４１２に示すように英語と中国語のコロケーション翻訳モデルを使用して英語のコロケーション翻訳候補を抽出するステップが含まれる。こうした英語と中国語の翻訳モデルは、ステップ６１４（図６に示す）などの先行するステップから構築できる。ここでは、中国語はターゲット言語と見なされ、英語はソース言語と見なされる。翻訳候補のセット４０８と４１４の両方に含まれるコロケーション翻訳は、最終的なコロケーション翻訳と４１６して抽出される。
【０１２７】
図５は、本発明により構築されたコロケーション翻訳辞書とコロケーション翻訳モデルを使用してセンテンス翻訳を実行するためのシステムを示すブロック図である。図８は一般的に図５に対応しており、本発明によるコロケーション翻訳辞書とコロケーション翻訳モデルを使用したセンテンス翻訳を示している。
【０１２８】
ステップ８０２で、センテンス翻訳モジュール５００は、図１に関連して説明した任意の入力デバイスまたはストレージデバイスからソース言語すなわち中国語のセンテンスを受信する。ステップ８０４で、センテンス翻訳モジュール５００はコロケーション翻訳辞書４１６を受信するかまたはこれにアクセスする。ステップ８０５で、センテンス翻訳モジュール５００はコロケーション翻訳モデル３０５を受信するかまたはこれにアクセスする。ステップ８０６で、少なくとも１つの依存パーサーを備えるパーサー（１つ以上）５０４は、ソース言語のセンテンス５０２を解析済みの中国語のセンテンス５０６に解析する。
【０１２９】
ステップ８０８で、コロケーション翻訳モジュール５００は中国語とターゲット言語すなわち英語との相関性が最も高いコロケーションのタイプに基づいて中国語のコロケーションを選択する。いくつかの実施形態では、５１１に示すように、こうしたタイプのコロケーションには、動詞と目的語、名詞と形容詞、および動詞と副詞のコロケーションが含まれる。
【０１３０】
ステップ８１０で、コロケーション翻訳モジュール５００はコロケーション翻訳辞書４１６を使用して中国語のコロケーション５１１をブロック５１３に示すターゲット言語すなわち英語のコロケーション５１４に翻訳する。ステップ８１０で、コロケーション翻訳辞書を使用して翻訳が見つからない５１１のコロケーションについては、コロケーション翻訳モジュール５００はコロケーション翻訳モデル３０５を使用してこうした中国語のコロケーションをターゲット言語すなわち英語のコロケーション５１４に翻訳する。ステップ８１２で、英語の文法モジュール５１６は、英語のコロケーション５１４を受信し、適切な英語の文法規則５１７に基づいて英語のセンテンス５１８を構築する。英語のセンテンス５１８は、５２０に示すようにアプリケーションレイヤに返されるまたはさらなる処理が行われる。
【０１３１】
本発明について、特定の実施形態に関連して説明してきたが、本発明の精神と範囲を逸脱しない限り、その形態および細部において様々な変更が可能なことは、当業者には理解されるであろう。
【図面の簡単な説明】
【０１３２】
【図１】本発明を実施できる１つのコンピューティング環境を示すブロック図である。
【図２】本発明の３つの態様を示す概略流れ図である。
【図３】コロケーション翻訳に有効な確率情報を使用して語彙知識ベース（ｌｅｘｉｃａｌ  ｋｎｏｗｌｅｄｇｅ  ｂａｓｅ）を拡張するためのシステムを示すブロック図である。
【図４】抽出されたコロケーション翻訳を使用して語彙知識ベースをさらに拡張するためのシステムを示すブロック図である。
【図５】拡張された語彙知識ベースを使用してセンテンス翻訳を実行するためのシステムを示すブロック図である。
【図６】コロケーション翻訳に有効な確率情報を使用した語彙知識ベースの拡張を示す流れ図である。
【図７】抽出されたコロケーション翻訳を使用したさらなる語彙知識ベースの拡張を示す流れ図である。
【図８】拡張された語彙知識ベースを使用してセンテンス翻訳を実行する方法を示す流れ図である。
【図１】
2008547093.tif 000028
【図２】
2008547093.tif 000029
【図３】
2008547093.tif 000030
【図４】
2008547093.tif 000031
【図５】
2008547093.tif 000032
【図６】
2008547093.tif 000033
【図７】
2008547093.tif 000034
【図８】
2008547093.tif 000035
【国際調査報告】
2008547093.tif 000036