JP 3850742 B2 2006.11.29(57)【 特 許 請 求 の 範 囲 】【請求項１】
音声翻訳器のタスクを拡大する際に、新規タスクに適応した第１の言語の言語モデルを作成するための言語モデルの適応化方法において、第１の言語以外の第２の言語で記述された新規タスクの第１のモノリンガルコーパスを、
機械翻訳器を用いて第１の言語に翻訳することによって、第１の言語で記述された新規タ
スクでの第２のモノリンガルコーパスを作成する第１ステップ、および第１ステップで作成された新規タスクでの第２のモノリンガルコーパスに基づいて、言語モデルを適応化する第２ステップ、を備えていることを特徴とする言語モデルの適応化方法。

10【請求項２】
第２ステップは、第１ステップで作成された新規タスクでの第１の言語で記述された第２のモノリンガルコーパス、および一般タスクでの第１の言語で記述されたモノリンガルコーパスから、新規タスクに適応した第１の言語の言語モデルを作成するステップを備えていることを特徴とする請求項１に記載の言語モデルの適応化方法。
【発明の詳細な説明】【０００１】【発明の属する技術分野】
この発明は、言語モデルの適応化方法に関する。
【０００２】20

(2)JP 3850742 B2 2006.11.29【従来の技術】
ある言語の言語モデルを適応先タスクに適応させるためには、小規模でも、適応先タスク
でのコーパスであって、適応化しようとする言語モデルの言語で記述されたコーパスが必要となる。多言語の話し言葉の音声翻訳器の言語モデルのタスク適応となると、各言語の適応先タスクの小規模コーパスが必要となる。この収集はコスト高となり収集が困難である。
【０００３】
そこで、従来においては、集められた少量のコーパスを用いて言語モデルの適応化を行った り （ 文 献 [1] 参 照 ） 、 Ｗ Ｗ Ｗ （ World Wide Web) に 情 報 を 求 め て 得 ら れ た 情 報 を 用 い て
言 語 モ デ ル の 適 応 化 を 行 っ た り し て い た （ 文 献 [2] 参 照 ） 。

10【０００４】
文 献 [1] ： A. I. Rudnicky: "Language Modeling with Limited Domain Data," Proc. of
the ARPA Spoken Language Systems Technogy Workshop,pp.66‑69(1995).
文 献 [2] ： A. Berger, et al.:"Just‑In‑Time Language Modeling," Proc. of the ICASS
P,pp. 705‑708(1998).
【０００５】
これらは対象がディクテーションであり、話し言葉に比べて大量に存在する書き言葉を集めて利用する場合がほとんどであった。また、データの集めにくい医療所見のディクテー
シ ョ ン や 、 マ ン マ シ ン イ ン タ ー フ ェ ー ス の 分 野 で は 、 タ ス ク の 会 話 を 記 述 す る Ｃ Ｆ Ｇ (Context Free Grammar(文 脈 自 由 文 法 ))を 人 手 で 作 成 し 、 作 成 し た Ｃ Ｆ Ｇ に よ っ て 人 工 的 に 生

20

成 し た デ ー タ を 利 用 し て 言 語 モ デ ル の 適 応 を 行 っ て い た （ 文 献 [3] ， [4] 参 照 ） 。
【０００６】
文 献 [3] ： 伊 藤 伸 泰 , 荻 野 紫 穂 , 新 島 仁 : " 文 法 を 利 用 し た Ｎ − ｇ ｒ ａ ｍ モ デ ル の タ ス ク
適応，言 語 処 理 学 会 第 ４ 回 年 次 大 会 発 表 論 文 集 ， pp. 610‑613(1998).

文 献 [4] ： Y.Wang,et al ed.,"A Unified Context‑Free Grammar and N‑gram Model for
Spoken Language Processing," Proc. of ICASSP, 2000.
【０００７】【発明が解決しようとする課題】
この発明は、適応化しようとする言語モデルの言語以外の言語で記述された新規タスクでのモノリンガルコーパスを用いることによって、新規タスクに適応した言語モデルを作成30することができる言語モデルの適応化方法を提供することを目的とする。
【０００８】【課題を解決するための手段】
請求項１に記載の発明は、音声翻訳器のタスクを拡大する際に、新規タスクに適応した第１の言語の言語モデルを作成するための言語モデルの適応化方法において、第１の言語以外の第２の言語で記述された新規タスクの第１のモノリンガルコーパスを、機械翻訳器を用いて第１の言語に翻訳することによって、第１の言語で記述された新規タスクでの第２のモノリンガルコーパスを作成する第１ステップ、および第１ステップで作成された新規タスクでの第２のモノリンガルコーパスに基づいて、言語モデルを適応化する第２ステップを備えていることを特徴とする。

40【０００９】
請求項２に記載の発明は、請求項１に記載の言語モデルの適応化方法において、第２ステ
ップは、第１ステップで作成された新規タスクでの第１の言語で記述された第２のモノリ
ンガルコーパス、および一般タスクでの第１の言語で記述されたモノリンガルコーパスから、新規タスクに適応した第１の言語の言語モデルを作成するステップを備えていることを特徴とする。
【００１０】【発明の実施の形態】
以下、図面を参照して、この発明の実施の形態について説明する。
【００１１】50

(3)JP 3850742 B2 2006.11.29〔１〕本発明の概要についての説明
ある言語の言語モデルを適応先タスクに適応させるためには、小規模でも、適応先タスク
でのコーパスであって、適応化しようとする言語モデルの言語で記述されたコーパスが必要となる。多言語の話し言葉の音声翻訳器の言語モデルのタスク適応となると、各言語の適応先タスクの小規模コーパスが必要となる。この収集はコスト高となり収集が困難である。
【００１２】
本発明では、適応化しようとする言語モデルの言語以外の言語で記述された新たな適応先タスクでのモノリンガルコーパスに基づいて、言語モデルの適応化を行う。つまり、適応化しようとする言語モデルの言語以外の言語で記述された新たな適応先タスクでのモノリ

10

ンガルコーパスを機械翻訳器によって翻訳することによって、適応化しようとする言語モデルの言語で記述された適応先タスクでの擬似的なコーパスを作成し、それを使って統計的言語モデルの適応化を行う。
【００１３】
機械翻訳器の翻訳用の知識には、隣接単語間の接続情報が保持されていることが期待できる。適応先タスクのモノリンガルコーパスを翻訳器によって翻訳することにより得られた疑似的なコーパスは、仮に訳文全体としては間違いを含んでいても、トピックや文のスタ
イルが適応先のタスクに適合し、かつ、隣接単語程度の局所的な文脈では適切な語順が反映されていると考えられる。したがって、作成された擬似的コーパスは言語モデルの適応用のコーパスとして利用できることが期待できる。

20【００１４】〔２〕言語モデルの適応化方法についての説明
は じ め に 、 言 語 モ デ ル の 適 応 と い う 課 題 を 明 ら か に す る 。 こ こ で は 、 ソ ー ス 言 語 を Language2(例 え ば 日 本 語 ) と し 、 タ ー ゲ ッ ト 言 語 を Language1(例 え ば 英 語 ) と す る 。
【００１５】
図 １ に 示 す よ う に 、 一 般 的 な 意 味 で の 言 語 モ デ ル の 適 応 と い う 課 題 は 、 一 般 タ ス ク (Gener
al Task)の デ ー タ と 適 応 先 タ ス ク (Target Task) の デ ー タ と を 使 っ て 、 タ ー ゲ ッ ト の タ ス
クに適応した言語モデルを作成することである。このため、小規模でも適応先のターゲッ
トタスクのコーパスが必要となる。
【００１６】

30

一方、本発明での言語モデルの適応という課題は、図２に示すようになる。すなわち、図２ で タ ー ゲ ッ ト 言 語 (Language1) の 言 語 モ デ ル の 適 応 に お い て 、 適 応 先 タ ス ク (Target Task) に 対 す る 言 語 デ ー タ Ｔ L 1 が 存 在 し な い 場 合 に 、 そ の 代 わ り と な る 言 語 デ ー タ Ｔ ' L 1 を、そのタスクでの他の言語のデータＴL 2 から言語翻訳によって作成し、それを使って言語モデルを適応させることである。
【００１７】
こ の タ ー ゲ ッ ト 言 語 (Language1) の 言 語 デ ー タ Ｔ ' L 1 の 作 成 に 用 い ら れ る 翻 訳 器 で は 、 翻
訳用の知識の中に、ターゲット言語の局所的な語順の情報が保持されている。そのため隣
接単語間程度では比較的正しい語順の翻訳結果を得られる見込みがある。その結果、その作成された言語データＴ' L 1 から、言語モデルに必要な隣接単語間の接続性に関する情報40が得られる見込みがある。
【００１８】
適 応 の 手 法 と し て は 、 Ｍ Ａ Ｐ 適 応 ( 文 献 [5] 参 照 ) や モ デ ル の 線 形 結 合 ( 上 記 文 献 [1] 参照) など様々な手法があるが、この実施の形態では、モデルの線形結合を利用する。
【００１９】
文 献 [5] ： H. Masataki,et.al: "Task Adaptation using MAP Estimation in N‑gram Lan
guage Modeling," Proc. of the ICASSP, 1997,pp.783‑786.
【００２０】
図３は、本発明による言語モデルの適応化方法の手順を示している。
ここでは、ターゲットタスク（新規タスク）に適応した第１の言語の言語モデルを生成す

50

(4)

JP 3850742 B2 2006.11.29

る場合の言語モデルの適応化方法について説明する。
ステップ１：一般タスクのバイリンガルコーパスを使って機械翻訳器を作成する。ここで、一般タスクだけを使った一般タスク用の言語モデルＬＭG （図２参照) も作成される。
【００２１】
ステップ２：ステップ１で作成した機械翻訳器を使って、第１言語以外の第２言語で記述されたターゲットタスクのモノリンガルコーパスＴL 2 （図２参照) を翻訳することにより、第１言語で記述されたターゲットタスクの擬似的なモノリンガルコーパスＴ' L 1 （図２参照) を作成する。
【００２２】
ステップ３：ステップ２で作成された第１の言語で記述された擬似的なモノリンガルコー

10

パスＴ' L 1 を使って言語モデル適応用の言語モデルＬＭT ' L 1 （図２参照) を作成する。
【００２３】
ステップ４：ステップ１で作成した一般タスク用の言語モデルＬＭG と、ステップ３で作成した言語モデル適応用の言語モデルＬＭT ' L 1 とを結合することによって、ターゲットタ
スクに適応した第１言語の言語モデルを作成する。
【００２４】
なお、機械翻訳器としては、一般タスクのバイリンガルコーパスを使用して作成されたものが用いられているが、それ以外の方法で作成された機械翻訳器を用いてもよい。
【００２５】
また、言語モデル適応用の言語モデルＬＭT ' L 1 に結合される一般タスク用の言語モデルＬ20

ＭG としては、ステップ１で機械翻訳器を作成する際に作成されたものが用いられているが、それ以外の方法で作成されたものを用いてもよい。
【００２６】〔３〕機械翻訳器についての説明【００２７】
上述したように、この発明による言語モデルの適応化方法においては、言語モデル適応用のデータを作成するために機械翻訳器が用いられる。さまざまな機械翻訳器の利用が可能であるが、後述する評価実験では翻訳の原理が明らかな統計的機械翻訳器を利用しているため、ここでは評価実験で用いられる統計的機械翻訳器の概要について説明する。
【００２８】

30〔３−１〕統計的機械翻訳器の概要についての説明
評 価 実 験 で 用 い る 翻 訳 器 は 、 文 献 [6] の Ｉ Ｂ Ｍ

Ｍｏｄｅｌ４を基本とする統計的翻訳器である。
【００２９】
文 献 [6] ： P. Brown, et. al,"The mathematics of statistical machine translation:
Parameter estimation "Computational Linguistics, 19(2),pp.263‑311(1993).
【００３０】
翻訳の問題は、雑音のある通信路での復号の問題と見做すことができる。例えば、日本語
文（Ｊ）から英語文（Ｅ）への翻訳を考えると、日本語の文から英語の文への翻訳で最も尤もらしい翻訳結果（ここではこれをＥ*とする）を得るという問題は、次式（１）とし40て表現される。
【００３１】
Ｅ*＝ａｒｇｍａｘＰ（Ｅ｜Ｊ）…（１）

【００３２】
通常、この式をベイズの公式によって次式（２）に示すように変形し、ある１つの日本語の文を入力に定めた場合には分母が定数項となるので、分子のみで翻訳結果Ｅ

*

の決定を

行う。
【００３３】
Ｅ*＝ａｒｇｍａｘＰ（Ｊ｜Ｅ）Ｐ（Ｅ）／Ｐ（Ｊ）【００３４】

…（２）
50

(5)

JP 3850742 B2 2006.11.29

ここで、分子のＰ（Ｊ｜Ｅ）は「翻訳モデル」、Ｐ（Ｅ）は「言語モデル」と呼ばれる。
言語モデルとしては、隣接単語のＮ−ｇｒａｍがしばしば用いられる。
【００３５】
これらのモデルのパラメータは全て学習用の一般タスクのバイリンガルコーパスから統計的に推定される。これらのモデルを用いることにより、訳語を選択し、Ｐ（Ｅ）の制約のもとで語順を整えて、翻訳を達成する。そのため、対象が新たなタスクの場合でも、モデルのパラメータが正しく推定されていれば、出力される翻訳結果の中に、局所的な文脈では比較的正しい単語並びが得られ、言語モデル適応用のデータとして利用できることが期待できる。
【００３６】

10本発明では、機械翻訳器で生成されたテキストから作られた言語モデル適応用の言語モデ
ルと、一般タスクのコーパスから作られた言語モデル（この実施の形態ではＰ（Ｅ））との線形結合により、タスクに適応化された言語モデルを作成する。
【００３７】〔４〕評価実験【００３８】
以下、本発明の有効性を翻訳先言語のターゲットタスクでのテストセットパープレキシテ
ィの削減によって確認する。これに用いるデータ、実験条件について説明する。
【００３９】〔４−１〕一般およびターゲットタスクのデータ

20

本実験では、日英の対訳コーパス（以後、「フレーズブックコーパス」と呼ぶ）を利用する。文の内容は旅行時の会話表現である。
【００４０】
これらの表現は、あらかじめ人手によって、「空港」、「飛行機内」、「レストラン」などの場面を主とした複数のカテゴリに分類されている。分類カテゴリの例を表１に示した。
【００４１】【表１】30

40【００４２】
カテゴリーの中の「空港」での会話表現を評価実験のターゲットタスクとして設定し、残りのカテゴリーを一般タスクとして設定した。これらの内訳は、表２の通りである。
【００４３】【表２】

(6)JP 3850742 B2 2006.11.29

10【００４４】
ターゲットタスクのコーパスの規模と適応の効果との関係を調べるために、サイズの異なるターゲットタスクコーパスを数通り用意した。表２の
t1000
し、

，

test

t2000

，

t4739

Generalを一般タスクとし、を量が異なる３つのターゲットタスクのコーパスとをターゲットタスクの評価用コーパスとする。なお、文と単語の総数は英語で数えた結果である。
【００４５】
機械翻訳器へは、

20
t1000

，

t2000

および

t4739

の形態素解析済みの日本語形

態素列を入力する。そして、出力された翻訳結果の英語文（単語への分割済）を適応用のデータＴ' L 1 （図２参照) として利用する。
【００４６】〔４−２〕実験の手順
ここでは、翻訳器によって作成されたテキストを用いて言語モデルの適応化を行い、そのモデルの性能をパープレキシティーの削除量で評価する。
【００４７】
最初に、翻訳器によって完全な訳文（本実験では英文）が作成される場合を想定して、ターゲットタスクの３種類のコーパスのそれぞれに対応するフレーズブックコーパス内の訳

30

文（ここでは英語文）を使って言語モデルの適応化を行った場合のパープレキシティーの削減量を調査する。
【００４８】
次に、翻訳器によって翻訳されたデータを言語モデルの適応に用いたことの効果（本発明の効果）を調査する。
【００４９】
まず、上記実施の形態で説明した手順にしたがって、統計的機械翻訳器の翻訳モデルと言語モデルとを作成する。つまり、一般タスクのバイリンガルコーパス（

Generalの両言語）のみを使用して、翻訳器とターゲット言語（本実験では英語）の言語モデルＬＭG（図２参照）とを作成する。

40【００５０】
次 に 、 タ ー ゲ ッ ト タ ス ク の モ ノ リ ン ガ ル コ ー パ ス （ 本 実 験 で は 、 日 本 語 の t1000 ， t2000， t4739 ） の み を 上 記 機 械 翻 訳 器 で 翻 訳 し 、 得 ら れ た 結 果 を 使 用 し て 、 タ ー ゲ ッ ト 言 語 (本 実 験 で は 、 英 語 ) で の タ ー ゲ ッ ト タ ス ク 用 の 言 語 モ デ ル Ｌ Ｍ T （ 添 字 の Ｔ は 、 t1000 ，t2000 ， t4739 を 表 す ） を 作 成 す る 。
【００５１】
最後に、２つの言語モデルＬＭG とＬＭT とを線形結合することにより、適応化した言語
モ デ ル を 作 成 す る 。 本 実 験 で は 、 言 語 モ デ ル に は 単 語 ３ gramを 、 線 形 結 合 の 結 合 係 数 は 削
除 補 間 法 （ 上 記 文 献 [1] 参 照 ） に よ っ て 決 め た 。
【００５２】50

(7)JP 3850742 B2 2006.11.29

本実験は、言語モデルの新たな適応先となるターゲットタスクにだけ出現する単語とその訳語の対が、機械翻訳器に存在しない設定の元で行った。
【００５３】〔４−３〕実験結果と考察【００５４】
以下に示す結果は全て、翻訳先言語のターゲットタスクのテストセット（本実験では「空港」タスクの英語）での単語パープレキシティー（ＰＰ値）またはその削減率で示す。
【００５５】〔４−３−１〕対訳コーパスの理想訳を使った場合（性能の上限）
ターゲットタスクのデータを仮に集めることができた場合に、どこまでＰＰ値の削減が得10られるかという性能の上限を確認しておくために、対訳コーパスの訳を使って適応した場
合のＰＰ値を計算した。
【００５６】
この結果を、表３の２〜４行目（
目（

General only

General ＋ t ＜ サ イ ズ ＞）に示す。同じ表３の１行）は、一般タスクのバイリンガルコーパスだけから作られた言語モ

デルでのＰＰ値である。
【００５７】【表３】
20【００５８】

30

このように、一般タスクの言語モデルとターゲットタスクの言語モデルとの適応によって作成された言語モデルにおけるＰＰ値のほうが、他に比べて小さくなっていることがわかる。
【００５９】
また、図４の実線Ａは、ターゲットタスクのコーパスを含まない一般タスクのバイリンガ
ルコーパスの増加に伴うＰＰの変化を示すグラフであり、破線Ｂは一般タスクのバイリン
ガルコーパスにターゲットタスクのバイリンガルコーパス内の訳文（英文）を順次追加した 場 合 の Ｐ Ｐ の 変 化 を 示 す グ ラ フ （ 表 ３ の General ＋ t ＜ サ イ ズ ＞ で の Ｐ Ｐ 値 ） で あ る 。
図の横軸は文数（コーパスサイズ）を、縦軸はＰＰ値を示している。
【００６０】

40

図４から、一般タスクのコーパスをさらに倍の規模だけ集める（実線の右側への延長）よりもターゲットタスクのデータを適応させたほう（破線）がＰＰ値の削減の効果が大きくなっていることがわかる。
【００６１】
以上２点から、本データでは、言語モデル適応の方が有効であることが観察された。
【００６２】
これらの結果から、本実験の設定では、翻訳が１００％成功すれば、適応先のデータが増加するに伴って、適応先のタスクでのオープンなテストセットのＰＰ値が削減し、最大３８．０％近くまで相対的にＰＰ値を下げられる可能性があることがわかる。
【００６３】50

(8)JP 3850742 B2 2006.11.29〔４−３−２〕翻訳されたテキストを用いる場合
次に、理想的な翻訳結果を用いる代わりに、実際に機械翻訳器を使って作成されたターゲ
ットタスクのデータを適応に使った場合のＰＰ値を、各組合わせについて計算した結果を表４に示す。
【００６４】【表４】

10【００６５】
表４から、機械翻訳器によって作成された、新しいターゲットタスクに対するテキストを言語モデルの適応に用いることにより、適応前のＰＰ値からの１３％のＰＰ値の削減が得20られることがわかる。
なお、図５の実線Ｂは、図４の破線に相当するものであり、一般タスクのバイリンガルコ
ーパスにターゲットタスクのバイリンガルコーパス内の訳文（英文）を順次追加した場合のＰＰの変化を示すグラフであり、破線Ｃは、一般タスクのバイリンガルコーパスにター
ゲットタスクのバイリンガルコーパスの日本文を機械翻訳した文（英文）を順次追加した
場合のＰＰの変化を示すグラフである。
【００６６】【発明の効果】
この発明によれば、適応化しようとする言語モデルの言語以外の言語で記述された新規タ
スクでのモノリンガルコーパスを用いることによって、新規タスクに適応した言語モデル30を作成することができるようになる。この結果、各言語の小規模コーパスを集めなくて済み、そのためコストがかからなくなる。
【図面の簡単な説明】【図１】一般的な意味での言語モデルの適応という課題を説明するための模式図である。
【図２】本発明での言語モデルの適応という課題を説明するための模式図である。
【図３】本発明による言語モデルの適応化方法の手順を示すフローチャートである。
【図４】ターゲットタスクのコーパスを含まない一般タスクのバイリンガルコーパスの増加に伴うＰＰの変化と、一般タスクのバイリンガルコーパスにターゲットタスクのバイリ
ンガルコーパス内の訳文（英文）を順次追加した場合のＰＰの変化とをそれぞれ示すグラフである。
【図５】一般タスクのバイリンガルコーパスにターゲットタスクのバイリンガルコーパス
内の訳文（英文）を順次追加した場合のＰＰの変化と、一般タスクのバイリンガルコーパ
スにターゲットタスクのバイリンガルコーパスの日本文を機械翻訳した文（英文）を順次追加した場合のＰＰの変化とをそれぞれ示すグラフである。

40

(9)
【図１】

【図３】

【図２】

【図４】

【図５】

JP 3850742 B2 2006.11.29

(10)JP 3850742 B2 2006.11.29

フロントページの続き
審査官 樫本 剛(56)参考文献 特許第２６４４１７１（ＪＰ，Ｂ２）
特許第３３０５９５３（ＪＰ，Ｂ２）
特開２０００−３０５９３０（ＪＰ，Ａ）
特開２００１−３４３９９３（ＪＰ，Ａ）
特開２０００−２１４８８１（ＪＰ，Ａ）
政瀧他，最大事後確率推定によるN‑gram言語モデルのタスク適応，電子情報通信学会論文誌 D‑
II，日本，１９９８年１１月２５日，Vol.J81‑D‑II、No.11，p.2519‑2525
P. E. Brown et al.，The Mathematics of Statistical Machine Translation : Parameter Est
imation，Computational Linguistics，米国，１９９３年 ６月，Vol.19, No.2，p.263‑311(58)調査した分野(Int.Cl.，ＤＢ名)
G10L 15/00
G10L 15/06
G10L 15/18
G06F 17/28