(57)【要約】【課題】  １を超える数の自然言語からの単語を有する混合言語表現用の言語モデルを構築する。【解決手段】  言語間のペアの単語について単語等価確率が生成され、ストアされる。単語等価確率は、モノリンガルの単語履歴を生成するために必要に応じて使用される。モノリンガルの履歴は、次の単語の仮説を生成するためにモノリンガルの言語モデルによって使用される。また単語等価確率は、外来言語における次の単語の確率を計算するためにも使用される。【選択図】      図１
2006163592.tif 000002
【特許請求の範囲】
【請求項１】
混合言語表現の言語モデリングのための方法であって、
第１の言語の単語および少なくとも１つの別の言語の単語に関連づけられる単語等価確率をストアするステップ、
混合言語の単語履歴を基礎とし、前記ストアされた単語等価確率を使用して前記第１の言語のモノリンガル単語履歴を生成するステップ、
前記モノリンガル単語履歴を基礎として、前記第１の言語における、モノリンガルの次の単語の仮説の確率を生成するステップ、および、
前記モノリンガルの次の単語の仮説の確率および前記ストアされた単語等価確率を基礎として、前記混合言語表現における次の単語の確率を決定するステップ、
を包含する方法。
【請求項２】
さらに、単語等価確率とそれぞれのモノリンガルの次の単語の仮説の確率の積を合計するステップを包含する、請求項１に記載の方法。
【請求項３】
前記モノリンガルの次の単語の仮説の確率は統計的言語モデルである、請求項１に記載の方法。
【請求項４】
さらに、混合言語の単語のシーケンスを、単語等価確率を使用してモノリンガルの単語のシーケンスへ変換するステップを包含する、請求項１に記載の方法。
【請求項５】
さらに、前記第１の言語および前記少なくとも１つの別の言語における対応する表現を有する並列テキスト・コーパスを基礎として前記単語等価確率を決定するステップを包含する、請求項１に記載の方法。
【請求項６】
さらに、基本言語の単語履歴を前提として外来言語の次の単語の仮説の確率を決定するステップを包含する、請求項１に記載の方法。
【請求項７】
さらに、前記第１の言語および前記少なくとも１つの別の言語における対応する表現を有する並列テキスト・コーパスを使用するステップを包含する、請求項１に記載の方法。
【請求項８】
混合言語表現の言語モデリングのためのコンピュータ・プログラムであって、
第１の言語の単語および少なくとも１つの別の言語の単語に関連づけられる単語等価確率をストアするステップ、
混合言語の単語履歴を基礎とし、前記ストアされた単語等価確率を使用して前記第１の言語のモノリンガル単語履歴を生成するステップ、
前記モノリンガル単語履歴を基礎として、前記第１の言語における、モノリンガルの次の単語の仮説の確率を生成するステップ、および、
前記モノリンガルの次の単語の仮説の確率および前記ストアされた単語等価確率を基礎として、前記混合言語表現における次の単語の確率を決定するステップ、
を行うための、コンピュータ可読メディア上に記録されたコンピュータ・ソフトウエアを包含するコンピュータ・プログラム。
【請求項９】
混合言語表現の言語モデリングのためのコンピュータ・システムであって、
第１の言語の単語および少なくとも１つの別の言語の単語に関連づけられる単語等価確率をストアするステップ、
混合言語の単語履歴を基礎とし、前記ストアされた単語等価確率を使用して前記第１の言語のモノリンガル単語履歴を生成するステップ、
前記モノリンガル単語履歴を基礎として、前記第１の言語における、モノリンガルの次の単語の仮説の確率を生成するステップ、および、
前記モノリンガルの次の単語の仮説の確率および前記ストアされた単語等価確率を基礎として、前記混合言語表現における次の単語の確率を決定するステップ、
を行うための、コンピュータ可読メディア上に記録されたコンピュータ・ソフトウエアを包含するコンピュータ・システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、『混合言語表現』と呼ばれる異なる自然言語からの単語を含む表現のための言語モデリングに関する。
【背景技術】
【０００２】
言語モデルは、自然言語表現の理解が必要とされるほとんどすべてのシステムに使用されている。音声認識、機械翻訳、光学文字認識、およびテキスト・マイニングは、言語モデルが使用される分野の一部に過ぎない。言語モデルの１つのタスクは、特定の言語について、所定の単語シーケンスの発生がどの程度もっともらしいかということの予測である。言語モデルは、以前の単語の履歴を基礎として単語の確率を提供する。一例はＮ‐グラム言語モデルであり、Ｎ‐１の以前の単語が与えられるときに次の単語の確率を予測する。このモデルは、次の式（１）によって表される。
【０００３】
Ｐ（Ｗｉ｜Ｗｉ‐１，Ｗｉ‐２，．．．，Ｗｉ‐Ｎ＋１）      （１）
【０００４】
上記の式（１）において、Ｗｉは、仮説として取り上げられる単語であり、Ｗｉ‐１，Ｗｉ‐２，．．．，Ｗｉ‐Ｎ＋１は、履歴内の以前のＮ‐１個の単語である。概して、３種類の言語モデル、すなわち（ｉ）シンタクス‐ベースの言語モデル、（ｉｉ）セマンティクス‐ベースの言語モデル、および（ｉｉｉ）シンタクス‐ベースおよびセマンティクス‐ベースの言語モデルの側面を組み合わせたモデルが存在する。
【０００５】
シンタクス‐ベースの言語モデルが、与えられた言語のシンタクスを使用して次の単語の確率を予測するのに対し、セマンティクス‐ベースの言語モデルは、以前の単語の履歴のドメイン・コンテキストを頼る。同一のドメイン・コンテキストからの単語に高い確率が関連付けされる。
【０００６】
最終的には、以前の単語のシンタクスならびにセマンティクスの両方の組み合わせを使用し、仮説として取り上げられる単語について単一の確率が決定できるように、これら両方のアプローチを組み合わせることができる。たとえば、重み付け平均、あるいは信頼性評価基準に基づいて他を除外するために採用される確率の１つを用いることができる。
【０００７】
上記のＮ‐グラム・モデルが非特許文献１の中で述べられている。現存するＮ‐グラム・モデルは、以前のＮ‐１個の単語の履歴を使用して、利用可能となればセンテンスを形成することになるシーケンス内のＮ番目の単語を予測している。Ｎ‐グラム・モデルもしくは類似する任意の統計テクニックは、言語モデルが構築されることになる言語の実質的なテキスト・コーパスを必要とする。しかしながらこのコーパスは、通常、混合言語表現に利用できない。
【０００８】
決定ツリー、および分類および認識ツリーを言語モデルの構築に使用することもできる。１つのテクニックが非特許文献２に述べられている。この種のツリー‐ベースのアプローチは、履歴の２値質問を尋ねることによって履歴を分割し、次の単語の確率を与えるリーフ・ノードへ到達する。
【０００９】
コンテキスト‐フリー文法（ＣＦＧ）もまたセンテンスの生成に使用されている。非特許文献３を参照されたい。近年は言語モデルに潜在的セマンティック分析も使用されており、ほかの部分ではシンタクス的な言語モデルにドキュメントのセマンティクスを組み込んでいる。このアプローチに言及している１つの参考文献として非特許文献４が挙げられる。
【００１０】
上記の現存するテクニックは、たとえば話し言葉の中に現れる混合言語表現の処理に完全には適していない。たとえば、英語の単語およびフレーズは、国際言語としての英語の優勢に起因して、しばしば話者のネイティブ言語の中に埋め込まれる。多数の異なる言語が話されている国もしくは地域においては、一方の言語の単語を他方の言語の中で借用するということが行われる。各種の混交言語は、この現象がさらに発展したものである。しかしながら、センテンスのシンタクス的な構造が、この外来言語の単語の混合によって変化することはない。
【００１１】
非特許文献５は、どのようにして混合言語表現が生成されるかという心理について記述している。著者らは、１を超える数の言語を話す各種の話者にわたって言語切り替えコストを研究した。著者らは、『より弱い言語』と『より強い言語』のコンセプトについて述べ、２つの方向における言語切り替えコストは等しくないと結論している。
【００１２】
マイケル・ジョン・マルチーノ（Ｍｉｃｈａｅｌ  Ｊｏｈｎ  Ｍａｒｔｉｎｏ）およびロバート・チャールス・ポールセン・ジュニア（Ｒｏｂｅｒｔ  Ｃｈａｒｌｅｓ  Ｐａｕｌｓｅｎ，Ｊｒ）に対して１９９９年６月１５日に発行された特許文献１『コンピュータ・ドキュメントにおける自然言語シフトの決定（Ｄｅｔｅｒｍｉｎｉｎｇ  ａ  ｎａｔｕｒａｌ  ｌａｎｇｕａｇｅ  ｓｈｉｆｔ  ｉｎ  ａ  ｃｏｍｐｕｔｅｒ  ｄｏｃｕｍｅｎｔ）』は、言語切り替えの確率のコンセプトについて述べている。この確率は、ドキュメント内の言語切り替えポイントの検出のために計算される。
【００１３】
センテンス内の言語におけるこの種の切り替えは、書面のコミュニケーションより、口頭のコミュニケーションにより頻繁に観察される。混合言語センテンスを使用するドキュメントは、書面が口頭のコミュニケーションより相対的に形式偏重となることに起因して比較的まれである。たとえば多くのインド人は、会話の間に、ヒンディー語のセンテンスに埋め込まれた英単語を使用する。同様にヨーロッパ人は、それぞれの地元の言語で話している間に英単語を使用する。この種の借用は、口頭の言語においては比較的一般的である。
【００１４】
【特許文献１】米国特許第５，９１３，１８５号
【非特許文献１】Ｒ．ネサー（Ｒ．Ｋｎｅｓｅｒ）およびＨ．ネイ（Ｈ．Ｎｅｙ）著『インプルーブド・バッキング‐オフ・フォア・Ｍ‐グラム・ランゲージ・モデリング（Ｉｍｐｒｏｖｅｄ  ｂａｃｋｉｎｇ‐ｏｆｆ  ｆｏｒ  Ｍ‐ｇｒａｍ  ｌａｎｇｕａｇｅ  ｍｏｄｅｌｉｎｇ）』、ＩＥＥＥインターナショナル・コンファレンス・オン・アコースティックス、スピーチ、アンド・シグナル・プロセッシング（ＩＥＥＥ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ａｃｏｕｓｔｉｃｓ，Ｓｐｅｅｃｈ  ａｎｄ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｉｎｇ）会報、１９９５年５月、第１巻、ｐ．１８１‐１８４
【非特許文献２】Ｌ．Ｒ．バール（Ｌ．Ｒ．Ｂａｈｌ）、Ｐ．Ｆ．ブラウン（Ｐ．Ｆ．Ｂｒｏｗｎ）、Ｐ．Ｖ．デソウザ（Ｐ．Ｖ．ｄｅ  Ｓｏｕｚａ）、およびＲ．Ｌ．マーサー（Ｒ．Ｌ．Ｍｅｒｃｅｒ）著『ア・ツリー‐ベースド・スタティスティカル・ランゲージ・モデル・フォア・ナチュラル・ランゲージ・スピーチ・レコグニション（Ａ  ｔｒｅｅ‐ｂａｓｅｄ  ｓｔａｔｉｓｔｉｃａｌ  ｌａｎｇｕａｇｅ  ｍｏｄｅｌ  ｆｏｒ  ｎａｔｕｒａｌ  ｌａｎｇｕａｇｅ  ｓｐｅｅｃｈ  ｒｅｃｏｇｎｉｔｉｏｎ）』、ＩＥＥＥトランザクションズ・オン・アコースティックス、スピーチ、シグナル・プロセッシング（ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ａｃｏｕｓｔｉｃｓ，Ｓｐｅｅｃｈ，Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｉｎｇ）、１９８９年７月、第３７巻、ｐ．１００１‐１００８
【非特許文献３】Ｌ．Ｇ．ミラー（Ｌ．Ｇ．Ｍｉｌｌｅｒ）およびＳ．Ｅ．レビンソン（Ｓ．Ｅ．Ｌｅｖｉｎｓｏｎ）著『シンタクティック・アナリシス・フォア・ラージ・ボキャブラリ・スピーチ・レコグニション・ユージング・ア・コンテキスト‐フリー・カバリング・グラマー（Ｓｙｎｔａｃｔｉｃ  ａｎａｌｙｓｉｓ  ｆｏｒ  ｌａｒｇｅ  ｖｏｃａｂｕｌａｒｙ  ｓｐｅｅｃｈ  ｒｅｃｏｇｎｉｔｉｏｎ  ｕｓｉｎｇ  ａ  ｃｏｎｔｅｘｔ‐ｆｒｅｅ  ｃｏｖｅｒｉｎｇ  ｇｒａｍｍａｒ）』、ＩＥＥＥインターナショナル・コンファレンス・オン・アコースティックス、スピーチ、アンド・シグナル・プロセッシング（ＩＥＥＥ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ａｃｏｕｓｔｉｃｓ，Ｓｐｅｅｃｈ，ａｎｄ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｉｎｇ）会報、１９８８年４月、第１巻、ｐ．２７１‐２７４
【非特許文献４】Ｊ．Ｒ．ベルガルダ（Ｊ．Ｒ．Ｂｅｌｌｅｇａｒｄａ）著『スピーチ・レコグニション・エクスペリメンツ・ユージング・マルチ‐スパン・スタティスティカル・ランゲージ・モデルズ（Ｓｐｅｅｃｈ  ｒｅｃｏｇｎｉｔｉｏｎ  ｅｘｐｅｒｉｍｅｎｔｓ  ｕｓｉｎｇ  ｍｕｌｔｉ‐ｓｐａｎ  ｓｔａｔｉｓｔｉｃａｌ  ｌａｎｇｕａｇｅ  ｍｏｄｅｌｓ）』、ＩＥＥＥインターナショナル・コンファレンス・オン・アコースティックス、スピーチ、アンド・シグナル・プロセッシング（ＩＥＥＥ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ａｃｏｕｓｔｉｃｓ，Ｓｐｅｅｃｈ  ａｎｄ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｉｎｇ）会報、１９９９年、ｐ．７１７‐７２０
【非特許文献５】レナタ・Ｆ・Ｉ・ミューター（Ｒｅｎａｔａ  Ｆ  Ｉ  Ｍｅｕｔｅｒ）およびアラン・オールポート（Ａｌａｎ  Ａｌｌｐｏｒｔ）著『バイリンガル・ランゲージ・スイッチング・イン・ネーミング、アシンメトリカル・コスツ・オブ・ランゲージ・セレクション（Ｂｉｌｉｎｇｕａｌ  Ｌａｎｇｕａｇｅ  Ｓｗｉｔｃｈｉｎｇ  ｉｎ  Ｎａｍｉｎｇ、Ａｓｙｍｍｅｔｒｉｃａｌ  Ｃｏｓｔｓ  ｏｆ  Ｌａｎｇｕａｇｅ  Ｓｅｌｅｃｔｉｏｎ）』、ジャーナル・オブ・メモリ・アンド・ランゲージ（Ｊｏｕｒｎａｌ  ｏｆ  Ｍｅｍｏｒｙ  ａｎｄ  Ｌａｎｇｕａｇｅ）、第４０号、１９９９年、ｐ．２５‐４０
【非特許文献６】Ｐ．Ｆ．ブラウン（Ｐ．Ｆ．Ｂｒｏｗｎ）、Ｊ．コッケ（Ｊ．Ｃｏｃｋｅ）、Ｓ．デラ・ピエトラ（Ｓ．Ｄｅｌｌａ  Ｐｉｅｔｒａ）、Ｖ．デラ・ピエトラ（Ｖ．Ｄｅｌｌａ  Ｐｉｅｔｒａ）、Ｆ．ジェリネック（Ｆ．Ｊｅｌｉｎｅｋ）、Ｒ．マーサー（Ｒ．Ｍｅｒｃｅｒ）、およびＰ．ルーシン（Ｐ．Ｒｏｏｓｓｉｎ）著『ア・スタティスティカル・アプローチ・ツー・ランゲージ・トランスレーション（Ａ  Ｓｔａｔｉｓｔｉｃａｌ  Ａｐｐｒｏａｃｈ  ｔｏ  Ｌａｎｇｕａｇｅ  Ｔｒａｎｓｌａｔｉｏｎ）、第１２回インターナショナル・コンファレンス・オン・コンピュテーショナル・リングィスティックス（ｔｈｅ  １２ｔｈ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｃｏｍｐｕｔａｔｉｏｎａｌ  Ｌｉｎｇｕｉｓｔｉｃｓ）会報、１９８８年、ハンガリー、ブダペスト
【非特許文献７】ダン・メレイムド（Ｄａｎ  Ｍｅｌａｍｅｄ）著『ア・ワード‐ツー‐ワード・モデル・オブ・トランスレーショナル・イクイバレンス（Ａ  Ｗｏｒｄ‐ｔｏ‐Ｗｏｒｄ  Ｍｏｄｅｌ  ｏｆ  Ｔｒａｎｓｌａｔｉｏｎａｌ  Ｅｑｕｉｖａｌｅｎｃｅ）』第３５回アニュアル・ミーティング・オブ・ザ・アソシエーション・フォア・コンピュテーショナル・リングィスティックス（Ｔｈｉｒｔｙ‐Ｆｉｆｔｈ  Ａｎｎｕａｌ  Ｍｅｅｔｉｎｇ  ｏｆ  ｔｈｅ  Ａｓｓｏｃｉａｔｉｏｎ  ｆｏｒ  Ｃｏｍｐｕｔａｔｉｏｎａｌ  Ｌｉｎｇｕｉｓｔｉｃｓ）および第８回コンファレンス・オブ・ザ・ヨーロピアン・チャプター・オブ・アソシエーション・フォア・コンピュテーショナル・リングィスティックス（Ｅｉｇｈｔｈ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｆ  ｔｈｅ  Ｅｕｒｏｐｅａｎ  Ｃｈａｐｔｅｒ  ｏｆ  ｔｈｅ  Ａｓｓｏｃｉａｔｉｏｎ  ｆｏｒ  Ｃｏｍｐｕｔａｔｉｏｎａｌ  Ｌｉｎｇｕｉｓｔｉｃｓ）会報、１９９７年
【発明の開示】
【発明が解決しようとする課題】
【００１５】
言語モデルの構築に使用されているテクニックの多くは、本質において統計的である。この種の統計的テクニックは、システムのトレーニングのために厖大なテキスト・コーパスを必要とする。このテキスト・コーパスは、モデルが構築される種類の言語の表現でなければならない。ここで使用されている意味において、混合言語表現用のその種のコーパスは存在しない。したがって、いわゆる混合言語表現用の言語モデルを開発するアプローチが必要とされている。
【課題を解決するための手段】
【００１６】
センテンス内の次の単語を混合言語表現について予測することができる。この次の単語は、以前の単語のテキストと同一の言語とすることも可能であり、あるいは別の言語からの単語とすることも可能である。この種のフレームワークは、前述したようなドキュメント内における『言語切り替え』を見つけ出す必要性を未然に防止する。ここで説明しているテクニックは、現存する統計的テクニックとともに使用して、混合言語ドキュメントまたはテキスト・ストリームに関する言語モデルを構築することができる。
【００１７】
単語等価確率のデータベースが、必要に応じてモノリンガル言語ジェネレータによって使用される。モノリンガル言語ジェネレータは、混合言語単語履歴を使用してモノリンガル単語履歴を生成する。一方、モノリンガル単語履歴は、モノリンガル言語モデルによって使用される。結果として得られる次の単語の仮説は、次の単語の言語変化モデルによって使用され、それが単語等価確率を使用して、モノリンガル単語仮説内の次の単語を、外来言語の次の単語へ変換する。期待される混合言語の次の単語を提供することが可能になる。
【発明を実施するための最良の形態】
【００１８】
大規模テキスト・コーパスでは、通常、所定の言語内においてその言語のための言語モデルを構築することが求められる。拡張によって現存するテクニックを混合言語表現に適用するときには、混合言語シンタクスにおける大規模テキスト・コーパスが必要とされることになる。そのような混合言語コーパスが利用可能であったとしても、混合言語のための言語モデルの構築に現存するテクニックを使用できるとする方法は不明である。大規模コーパスが実際的でない混合言語については、ここで述べているような異なるアプローチが適切である。結果的に言語モデルのトレーニングのための混合言語コーパスの使用が回避される。
【００１９】
それに代えて、基本言語と、単語およびフレーズが基本言語内に埋め込まれる外来言語の間の『並列テキスト・コーパス』が使用される。基本言語は第１言語またはより強い言語、外来言語は第２言語、他言語、またはより弱い言語と考えることができる。複数の他言語が存在できるが、もっとも一般的なケースは、単一の他言語であり、その理由から基本言語および外来言語という用語は好都合である。モノリンガル言語モデルは、基本言語用に利用可能であると想定する。外来言語の単語は、基本言語のセンテンス内に埋め込まれる。前述したように、この埋め込みは、基本言語の文法的なシンタクスが実質的な変更を受けないといったものである。
【００２０】
並列コーパスから、単語等価確率、Ｐｅｑ（Ｗ）が抽出される。これらの単語等価確率Ｐｅｑ（Ｗ）は、基本言語内の所定の単語の代わりとして外来言語内の単語が使用されることがどの程度もっともらしいかということを予測する。これは、Ｐｅｑ（Ｗｆｉ／Ｗｂｊ）として表すことができるが、これは基本言語内の単語Ｗｂｊに代えて外来言語の単語Ｗｆｉが使用される確率を表す。
【００２１】
統計的機械翻訳システムに使用されているテクニックと類似のテクニックが使用されて、これらの等価の確率が計算される。機械翻訳の分野においては、センテンス対センテンスの並列コーパスが、その機械翻訳システムが構築された２つの言語に対して使用される。この並列コーパスは、アライメント・モデルおよび辞書モデルのパラメータのトレーニングに使用される。辞書モデルは、２つの言語間における単語のペアに関する単語等価確率を表す。関連する参考文献に非特許文献６がある。
【００２２】
結果として得られる確率は、現存する言語モデルとともに混合言語用の言語モデルを構築するために使用することができる。現存する言語モデルにおいては、次の単語の確率が以前の単語の履歴を基礎として予測され、かつすべての単語が同一言語内において考慮され、この場合にはそれが基本言語である。混合言語の場合には、以前の単語の履歴が外来言語の単語を有することが可能であり、予測されるべき単語についても外来言語からの単語となることが可能である。
【００２３】
この種の単語等価確率は、非特許文献６（上記参照済み）および非特許文献７に述べられている研究から見つけ出すことができる。
【００２４】
単語対単語の単語等価確率は、統計的機械翻訳システムの構築に使用される重要な特徴である。この確率関数を使用して混合言語表現のための言語モデルを構築する。この種の言語モデルは、基本言語のセンテンス内に埋め込まれたいくつかの外来言語の単語を有するセンテンスを処理することができる。
【００２５】
概要
まず、予測されるべき単語が外来言語の一部であり、単語履歴内に外来言語がまったく存在しない場合について考える。次の外来言語の単語の確率が、最初に等価の基本言語の単語の確率を計算し、次に、その結果に、その基本言語の単語に代えて外来言語の単語が使用される等価確率を乗ずることによって計算される。最後に、すべての基本言語の単語と外来言語の単語の可能性のある組み合わせにわたってこの確率を合計し、最終結果を計算する。
【００２６】
以前の単語の履歴が外来言語の単語を含む場合には、これよりわずかに複雑なシナリオとなる。次の単語の確率は、履歴内のすべての外来言語の単語を、基本言語におけるそれらの等価の単語によって置換し、続いてこの確率に、基本および置換された外来言語の単語の組み合わせに関する等価確率を乗ずることによって計算される。
【００２７】
図１は、混合言語表現の言語モデルに関するシステム・アーキテクチャ１００を表している概略図である。最初に基本言語単語代用モジュール１１０へ、仮説として取り上げる単語（Ｗ）、および以前の単語の履歴（Ｈ）が提供される。この結果として修正後の、仮説として取り上げる単語（Ｗ’）および以前の単語の履歴（Ｈ’）が基本言語における現存する言語モデル１２０へ提供される。また後の使用のために、単語等価確率１３０の生成ならびにストアも行われる。現存する言語モデル１２０は、修正後の仮説として取り上げる単語（Ｗ’）および以前の単語の履歴（Ｈ’）に基づき、Ｐ（Ｗ’／Ｈ’）として次の単語の確率を生成する。この情報、および以前に生成された単語等価確率１３０が、確率修正モデル１４０へ提供されて、以前の単語の履歴（Ｈ）を前提とした、仮説として取り上げる単語（Ｗ）の最終的な確率Ｐ（Ｗ／Ｈ）が生成される。
【００２８】
図２は、混合言語表現を処理する言語モデルの構築に関係するフローチャート２００である。第１段階は、ステップ２１０における基本言語用の言語モデルの構築である。ステップ２２０において、基本言語の単語と外来言語のターゲット単語の間の単語等価確率が生成される。ステップ２３０においては、基本言語における単語履歴に関する仮説が生成される。必要に応じて単語等価確率を頼る。最後にステップ２４０において、モノリンガル・テクニックを使用して基本言語における次の単語のための仮説が生成される。必要に応じて単語等価確率が考慮される。次に、このプロシージャの個々の側面についてより詳細に説明する。
【００２９】
基本言語モデル
基本言語用の言語モデルは、最初にステップ２１０において構築される。このステップは、この種の言語のためのテキスト・データが概して利用できることから、標準的な統計的言語モデル構築テクニックを使用して行うことができる。ヒンディー語および英語の特定の場合について、混合言語表現がヒンディー語Ｌ１からの単語をより多く含む（したがって、その文法シンタクスに従う）と期待される場合に、言語モデルがＬ１について構築される。同じ理由から、混合言語表現が英語の単語をより多く含むと期待される場合には、英語Ｌ２について言語モデルを構築する。
【００３０】
単語等価確率
単語等価確率は、ステップ２２０において、基本言語および外来言語に関して生成される。基本言語内のすべての単語について、同一もしくは関連する意味を表す等価単語が外来言語の中に存在する。その種の単語等価確率を生成する１つの方法は、基本および外来言語の並列コーパスを使用して単語等価確率を統計的に決定することによる。この種の等価は、言語学者によって構築されるタイプの静的翻訳辞書から学習させることもできる。これを目的として、前述したこのほかのテクニックを使用することもできる。すでに引用済みの非特許文献６ならびに非特許文献７を参照されたい。
【００３１】
基本言語における単語履歴の仮説の生成
基本言語における単語履歴の仮説が、ステップ２３０において生成される。言語モデルは、与えられた単語履歴を基礎として作用する。このモデルは、単語シーケンスの履歴を前提としてシーケンス内の次の単語の予測を試みる。混合言語の場合については、履歴に、基本および外来言語の単語が混在しているとき、ステップ２１０において構築される言語モデルがその種の混合された単語の履歴を扱うことができない。そこで、ステップ２３０において、基本言語の単語の履歴について仮説が生成される。これは、ステップ２２０において計算された単語等価確率を使用する。単語等価モデルに基づき、基本言語で生成されたその種の仮説のそれぞれは、その仮説に関連付けされた『スコア』を有している。これらのスコアについての詳細は後述する。
【００３２】
混合言語の単語の履歴は、基本言語の単語を完全に使用して表される単語の履歴の仮説へ変換される。最初の履歴自体が基本言語で表されている場合には、この仮説を生成する必要はない。しかしながら、最初の履歴が外来言語から得られた１ないしは複数の単語を有しており、かつ最初の履歴を基本言語で表すことが望まれる場合には、単語等価確率を使用し、基本言語についての仮説の単語の履歴が生成される。
【００３３】
次の単語の仮説の生成
基本言語の履歴があれば、ステップ３４０において、モノリンガル言語モデルに使用されている標準のテクニックを用いてシーケンス内の基本言語の次の単語を仮説として取り上げることができる。混合言語履歴からの次の単語の生成は、モノリンガル履歴からの次の単語の生成の問題に簡約される。
【００３４】
混合言語表現に関する次の単語の仮説の生成
同一言語の履歴があれば、基本言語における単語を仮説として取り上げることができる。基本言語で与えられた履歴について外来言語の単語を仮説として取り上げるためには、単語等価を使用する。これは、基本言語における次の単語を前提として、外来言語における次の単語に関する仮説を生成する。ステップ３３０における場合と同様に、その種の仮説のそれぞれがスコアを有し、その詳細については後述する。
【００３５】
２つの言語、すなわち基本および外来言語のいずれかにおいて次の単語の仮説が生成される。履歴は、基本言語または外来言語のいずれか、あるいは基本および外来言語の混合である単語を含む言語とすることができる。したがって、混合言語モデルが提供される。便宜上、単一の外来言語が記述されているが、１を超える数の外来言語を混合言語表現の中で使用することができる。
【００３６】
Ｎ‐グラム言語モデルを使用した解釈
ここでは、Ｎ‐グラム言語モデルとして、Ｎが３のときのトリグラム言語モデルを説明する。単語等価のメリットは、確率関数に置き換えて表現される。トリグラム言語モデルは、先行する２つの単語を前提として次の単語の確率を予測する。これを次の式（２）のように表すことができる。
【００３７】
Ｐ（Ｗｓｉ，／Ｗｓｉ‐１  Ｗｓｉ‐２）      （２）
【００３８】
上記の式（２）においてＷｓｉは、ポジションｉにおける単語Ｗを表す。上付文字のｓは、単語Ｗの言語の区別に使用されている。したがって、Ｗｂは基本言語における単語を表し、Ｗｆは外来言語における単語を表す。モノリンガルのトリグラム言語モデルの場合には、３つの単語すべてが基本言語に属する。
【００３９】
次の単語だけが外来言語のときは、トリグラム言語モデルによって指定される確率の測定が次の式（３）のように修正される。
【００４０】
Ｐ（Ｗｓｉ，／Ｗｓｉ‐１  Ｗｓｉ‐２）
＝ΣｋＰｅｑ（Ｗｆｉ，ｋ／Ｗｂｉ，ｋ）Ｐ（Ｗｂｉ，ｋ／Ｗｂｉ‐１Ｗｂｉ‐２）  （３）
これにおいて、
Ｗｓｉ  ∈  ⊥Ｌｆ、かつ
Ｗｓｉ‐１，Ｗｓｉ‐２  ∈  ⊥Ｌｂ
【００４１】
上記の式（３）において、⊥Ｌｂおよび⊥Ｌｆは、それぞれ基本言語および外来言語の単語の集合を表す。
【００４２】
上記の式（３）の右辺第１項は、外来言語の単語Ｗｆｉ，ｋが基本言語のＷｂｉ，ｋの代わりに使用される確率を表す。この項に、単語Ｗｂｉ，ｋのトリグラム確率が乗じられる。この乗算が、Ｗｆｉ，ｋとＷｂｉ，ｋのすべての組み合わせにわたって合計され、それがＷｆｉ，ｋの所望の混合言語確率を与える。
【００４３】
同様に、履歴の単語の１つが外来言語の場合には、次の式（４）が使用されてトリグラムの確率が修正される。
【００４４】
Ｐ  Ｗｓｉ，／Ｗｓｉ‐１  Ｗｓｉ‐２
＝ΣｋＰｅｑ（Ｗｆｉ‐１，ｋ／Ｗｂｉ‐１，ｋ）Ｐ（Ｗｂｉ，ｋ／Ｗｂｉ‐１Ｗｂｉ‐２）
Ｗｓｉ‐１  ∈  ⊥Ｌｆ、かつＷｓｉ，Ｗｓｉ‐２  ∈  ⊥Ｌｂのとき
＝ΣｋＰｅｑ（Ｗｆｉ‐２，ｋ／Ｗｂｉ‐２，ｋ）Ｐ（Ｗｂｉ，ｋ／Ｗｂｉ‐１Ｗｂｉ‐２）
Ｗｓｉ‐２  ∈  ⊥Ｌｆ、かつＷｓｉ，Ｗｓｉ‐１  ∈  ⊥Ｌｂのとき
（４）
【００４５】
上記の式（４）においては、基本言語のモノリンガル言語モデルおよび単語等価確率を使用して、言語Ｓ内の任意の単語を仮説として取り上げることができる。
【００４６】
混合言語の履歴（トリグラム言語モデルの場合には、先行する２つの単語によって表される）は、シーケンス内の次の単語の生成に使用することができる。同一のアプローチを、２を超える数の言語に拡張することができる。
【００４７】
具体化の目的のためにトリグラム言語モデルの使用について述べているが、前述した現存する統計的言語モデル（一般的にＮ‐グラム、ＬＳＡ等）のいずれも、次の単語の仮説のメトリクスを計算する目的に使用することができる。次の単語の仮説（および、必要な場合には以前の単語の履歴）が、単語等価確率を使用して基本言語において変換され、その後、基本言語の言語モデルが使用されて、次の単語の確率が計算される。
【００４８】
コンピュータ・ハードウエアおよびソフトウエア
図３は、ここで説明したような混合言語表現用の言語モデリングを行うための使用することのできるタイプのコンピュータ・システム４００を略図的に示している。コンピュータ・ソフトウエアは、コンピュータ・システム３００上にインストールされた適切なオペレーティング・システムの下に実行され、ここで説明したテクニックの実行を援助する。このコンピュータ・ソフトウエアは、任意の適切なコンピュータ・プログラミング言語を使用してプログラムされ、特定のステップを達成するための各種のソフトウエア・コード手段を包含しているものと考えることができる。
【００４９】
コンピュータ・システム３００のコンポーネントには、コンピュータ３２０、キーボード３１０ならびにマウス３１５、およびビデオ・ディスプレイ３９０が含まれる。コンピュータ３２０は、プロセッサ３４０、メモリ３５０、入力／出力（Ｉ／Ｏ）インターフェース３６０、３６５、ビデオ・インターフェース３４５、およびストレージ・デバイス３５５を含む。
【００５０】
プロセッサ３４０は、オペレーティング・システムならびにオペレーティング・システムの下に実行されるコンピュータ・ソフトウエアを実行する中央処理ユニット（ＣＰＵ）である。メモリ３５０は、ランダム・アクセス・メモリ（ＲＡＭ）および読み出し専用メモリ（ＲＯＭ）を含み、プロセッサ３４０の管理の下に使用される。
【００５１】
ビデオ・インターフェース３４５は、ビデオ・ディスプレイ３９０に接続されており、ビデオ・ディスプレイ３９０上における表示のためのビデオ信号を提供する。コンピュータ３２０を操作するためのユーザ入力は、キーボード３１０ならびにマウス３１５から提供される。ストレージ・デバイス３５５は、ディスク・ドライブまたはそのほかの任意の適切なストレージ・メディアを含むことができる。
【００５２】
コンピュータ３２０のコンポーネントのそれぞれは、データ・バス、アドレス・バス、およびコントロール・バスを含む内部バス３３０に接続されており、コンピュータ３２０のコンポーネントは、バス３３０を介して相互に通信することができる。
【００５３】
コンピュータ・システム３００は、入力／出力（Ｉ／Ｏ）インターフェース３６５を介し、インターネット３８０として示されているネットワークへ向かう通信チャンネル３８５を使用して、１ないしは複数のほかの類似のコンピュータへ接続することができる。
【００５４】
コンピュータ・ソフトウエアは、ポータブル・ストレージ・メディア上への記録が可能であり、その場合には、コンピュータ・ソフトウエア・プログラムがストレージ・デバイス３５５からコンピュータ・システム３００によってアクセスされる。それに代えてコンピュータ・ソフトウエアが、インターネット３８０からコンピュータ３２０によって直接アクセスされるようにすることも可能である。いずれの場合においてもユーザは、キーボード３１０ならびにマウス３１５を使用してコンピュータ・システム３００とインタラクションを行い、コンピュータ３２０上において実行中のプログラムされたコンピュータ・ソフトウエアを操作することができる。
【００５５】
このほかの構成もしくはタイプのコンピュータ・システムについても、同様にネットワーク・サービスの組み立ての演算側面の遂行に使用することができる。上記のコンピュータ・システム３００は、ここで説明したテクニックの具体化に適している特定タイプのシステムの単なる例として説明されているに過ぎない。
【００５６】
例
英語のセンテンス内に埋め込まれたヒンディー語の例を説明する。この場合に第１言語または基本言語が英語であり、第２言語または外来言語がヒンディー語である。これら２つの言語の単語間の区別を容易にするため、英語の単語には小文字を、ヒンディー語の単語には大文字を使用する。
【００５７】
この混合言語のセンテンスを『Ｄｅｌｈｉ  ｂｅｃｏｍｅｓ  ｖｅｒｙ  ＧＡＲＭ  ｉｎ  ｓｕｍｍｅｒ．』とする。このセンテンスにおいて、『ＧＡＲＭ』は、英語のセンテンス内に埋め込まれたヒンディー語の単語である。この場合に、音声認識の間において単語『ＧＡＲＭ』の言語モデル確率を計算するためには、ヒンディー語と英語の間の混合言語モデルが必要である。ここで説明したように、こういった種類の用途のためのテキスト・データが利用できないことから、この種のモデルは利用可能でない。
【００５８】
それに代えて、等価の英単語（『ｈｏｔ』、『ｗａｒｍ』、『ｂｏｉｌｅｄ』、『ｔｅｍｐｅｒａｔｕｒｅ』等）と『ＧＡＲＭ』の単語等価確率を利用することができる。これらの等価確率は、すでに説明したように、ヒンディー語と英語の間の並列テキスト・コーパスによって評価される。
【００５９】
この例を続けるが、与えられた例の単語等価確率を次の表１に示す。
【００６０】
表１
Ｐ（ＧＡＲＭ｜ｈｏｔ）＝０．５３
Ｐ（ＧＡＲＭ｜ｗａｒｍ）＝０．２６
Ｐ（ＧＡＲＭ｜ｂｏｉｌｅｄ）＝０．１９
【００６１】
表１に示されている確率を使用し、次の式（５）に従って単語『ＧＡＲＭ』の言語モデル確率が（トリグラム・フレームワークにおいて）獲得される。
【００６２】
Ｐ（ＧＡＲＭ｜ｖｅｒｙ，ｂｅｃｏｍｅｓ）＝
Ｐ（ＧＡＲＭ｜ｈｏｔ）×Ｐ（ｈｏｔ｜ｖｅｒｙ，ｂｅｃｏｍｅｓ）
＋Ｐ（ＧＡＲＭ｜ｗａｒｍ）×Ｐ（ｗａｒｍ｜ｖｅｒｙ，ｂｅｃｏｍｅｓ）
＋Ｐ（ＧＡＲＭ｜ｂｏｉｌｅｄ）×Ｐ（ｂｏｉｌｅｄ｜ｖｅｒｙ，ｂｅｃｏｍｅｓ）
＋．．．                                                      （５）
【００６３】
確率Ｐ（ｈｏｔ｜ｖｅｒｙ，ｂｅｃｏｍｅｓ）、Ｐ（ｗａｒｍ｜ｖｅｒｙ，ｂｅｃｏｍｅｓ）、Ｐ（ｂｏｉｌｅｄ｜ｖｅｒｙ，ｂｅｃｏｍｅｓ）は、トリグラム確率として英語の言語モデルから獲得されるが、これは言語モデルの分野では標準的なテクニックである。
【００６４】
式（５）は、１を超える数の言語からの単語を有する混合言語センテンスについて、単語等価確率を使用して言語モデルの確率を計算する方法を示している。これらの単語等価確率は、これら２つの言語の並列センテンスの形式の、２つの言語間の並列テキスト・コーパスから評価される。並列コーパスの一部となり得るいくつかのセンテンスの例を、英語およびヒンディー語について次の表２に示す。
【００６５】
表２
１．  英語、Ｄｅｌｈｉ  ｂｅｃｏｍｅｓ  ｖｅｒｙ  「ｈｏｔ」  ｉｎ  ｓｕｍｍｅｒ．
ヒンディー語、ＤＥＬＨＩ  ＧＡＲＭＩＹＯＮ  ＭＥＩＮ  ＢＡＨＵＴ  「ＧＡＲＭ」  ＨＯ  ＪＡＴＥＥ  ＨＡＩ．
２．  英語、Ｄｏｎ’ｔ  ｆｏｒｇｅｔ  ｔｏ  ｔａｋｅ  「ｗａｒｍ」  ｃｌｏｔｈｅｓ  ｗｈｅｎ  ｇｏｉｎｇ  ｔｏ  ｔｈｅ  ｈｉｌｌｓ．
ヒンディー語、ＰＡＨＡＤＯＮ  ＭＥＩＮ  ＪＡＴＥ  ＳＡＭＡＹ  「ＧＡＲＭ」  ＫＡＰＤＥ  ＬＥ  ＪＡＮＡ  ＮＡＨＩＮ  ＢＨＵＬＥＮ．
【００６６】
当業者には明らかであろうが、ここで説明したテクニックならびに構成に対して各種の変更および修正を行うことができる。
【図面の簡単な説明】
【００６７】
【図１】言語モデルの構築に関するフレームワークを表した概略図である。
【図２】ここで説明しているテクニックに関係するステップを表したフローチャートである。
【図３】ここで説明しているテクニックの実施に適したコンピュータ・システムの概略図である。
【符号の説明】
【００６８】
１００  システム・アーキテクチャ
１１０  基本言語単語代用モジュール
１２０  現存する言語モデル
１３０  単語等価確率
１４０  確率修正モデル
２００  フローチャート
３００  コンピュータ・システム
３１０  キーボード
３１５  マウス
３２０  コンピュータ
３３０  バス
３４０  プロセッサ
３４５  ビデオ・インターフェース
３５０  メモリ
３５５  ストレージ・デバイス
３６０  入力／出力（Ｉ／Ｏ）インターフェース
３６５  入力／出力（Ｉ／Ｏ）インターフェース
３８０  インターネット
３８５  通信チャンネル
３９０  ビデオ・ディスプレイ
４００  コンピュータ・システム
【図１】
2006163592.tif 000003
【図２】
2006163592.tif 000004
【図３】
2006163592.tif 000005