(57)【特許請求の範囲】
【請求項１】
音声翻訳器のタスクを拡大する際に、新規タスクに適応した第１の言語の言語モデルを作成するための言語モデルの適応化方法において、
第１の言語以外の第２の言語で記述された新規タスクの第１のモノリンガルコーパスを、機械翻訳器を用いて第１の言語に翻訳することによって、第１の言語で記述された新規タスクでの第２のモノリンガルコーパスを作成する第１ステップ、および
第１ステップで作成された新規タスクでの第２のモノリンガルコーパスに基づいて、言語モデルを適応化する第２ステップ、
を備えていることを特徴とする言語モデルの適応化方法。
【請求項２】
第２ステップは、第１ステップで作成された新規タスクでの第１の言語で記述された第２のモノリンガルコーパス、および一般タスクでの第１の言語で記述されたモノリンガルコーパスから、新規タスクに適応した第１の言語の言語モデルを作成するステップを備えていることを特徴とする請求項１に記載の言語モデルの適応化方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、言語モデルの適応化方法に関する。
【０００２】
【従来の技術】
ある言語の言語モデルを適応先タスクに適応させるためには、小規模でも、適応先タスクでのコーパスであって、適応化しようとする言語モデルの言語で記述されたコーパスが必要となる。多言語の話し言葉の音声翻訳器の言語モデルのタスク適応となると、各言語の適応先タスクの小規模コーパスが必要となる。この収集はコスト高となり収集が困難である。
【０００３】
そこで、従来においては、集められた少量のコーパスを用いて言語モデルの適応化を行ったり（文献[1] 参照）、ＷＷＷ（World Wide Web) に情報を求めて得られた情報を用いて言語モデルの適応化を行ったりしていた（文献[2] 参照）。
【０００４】
文献[1] ：A. I. Rudnicky: "Language Modeling with Limited Domain Data," Proc. of the ARPA Spoken Language Systems Technogy Workshop,pp.66-69(1995).
文献[2] ：A. Berger, et al.:"Just-In-Time Language Modeling," Proc. of the ICASSP,pp. 705-708(1998).
【０００５】
これらは対象がディクテーションであり、話し言葉に比べて大量に存在する書き言葉を集めて利用する場合がほとんどであった。また、データの集めにくい医療所見のディクテーションや、マンマシンインターフェースの分野では、タスクの会話を記述するＣＦＧ(Context Free Grammar(文脈自由文法))を人手で作成し、作成したＣＦＧによって人工的に生成したデータを利用して言語モデルの適応を行っていた（文献[3] ，[4] 参照）。
【０００６】
文献[3] ：伊藤伸泰, 荻野紫穂, 新島仁: " 文法を利用したＮ−ｇｒａｍモデルのタスク適応，”言語処理学会第４回年次大会発表論文集，pp. 610-613(1998).
文献[4] ：Y.Wang,et al ed.,"A Unified Context-Free Grammar and N-gram Model for Spoken Language Processing," Proc. of ICASSP, 2000.
【０００７】
【発明が解決しようとする課題】
この発明は、適応化しようとする言語モデルの言語以外の言語で記述された新規タスクでのモノリンガルコーパスを用いることによって、新規タスクに適応した言語モデルを作成することができる言語モデルの適応化方法を提供することを目的とする。
【０００８】
【課題を解決するための手段】
請求項１に記載の発明は、音声翻訳器のタスクを拡大する際に、新規タスクに適応した第１の言語の言語モデルを作成するための言語モデルの適応化方法において、第１の言語以外の第２の言語で記述された新規タスクの第１のモノリンガルコーパスを、機械翻訳器を用いて第１の言語に翻訳することによって、第１の言語で記述された新規タスクでの第２のモノリンガルコーパスを作成する第１ステップ、および第１ステップで作成された新規タスクでの第２のモノリンガルコーパスに基づいて、言語モデルを適応化する第２ステップを備えていることを特徴とする。
【０００９】
請求項２に記載の発明は、請求項１に記載の言語モデルの適応化方法において、第２ステップは、第１ステップで作成された新規タスクでの第１の言語で記述された第２のモノリンガルコーパス、および一般タスクでの第１の言語で記述されたモノリンガルコーパスから、新規タスクに適応した第１の言語の言語モデルを作成するステップを備えていることを特徴とする。
【００１０】
【発明の実施の形態】
以下、図面を参照して、この発明の実施の形態について説明する。
【００１１】
〔１〕本発明の概要についての説明
ある言語の言語モデルを適応先タスクに適応させるためには、小規模でも、適応先タスクでのコーパスであって、適応化しようとする言語モデルの言語で記述されたコーパスが必要となる。多言語の話し言葉の音声翻訳器の言語モデルのタスク適応となると、各言語の適応先タスクの小規模コーパスが必要となる。この収集はコスト高となり収集が困難である。
【００１２】
本発明では、適応化しようとする言語モデルの言語以外の言語で記述された新たな適応先タスクでのモノリンガルコーパスに基づいて、言語モデルの適応化を行う。つまり、適応化しようとする言語モデルの言語以外の言語で記述された新たな適応先タスクでのモノリンガルコーパスを機械翻訳器によって翻訳することによって、適応化しようとする言語モデルの言語で記述された適応先タスクでの擬似的なコーパスを作成し、それを使って統計的言語モデルの適応化を行う。
【００１３】
機械翻訳器の翻訳用の知識には、隣接単語間の接続情報が保持されていることが期待できる。適応先タスクのモノリンガルコーパスを翻訳器によって翻訳することにより得られた疑似的なコーパスは、仮に訳文全体としては間違いを含んでいても、トピックや文のスタイルが適応先のタスクに適合し、かつ、隣接単語程度の局所的な文脈では適切な語順が反映されていると考えられる。したがって、作成された擬似的コーパスは言語モデルの適応用のコーパスとして利用できることが期待できる。
【００１４】
〔２〕言語モデルの適応化方法についての説明
はじめに、言語モデルの適応という課題を明らかにする。ここでは、ソース言語をLanguage2(例えば日本語) とし、ターゲット言語をLanguage1(例えば英語) とする。
【００１５】
図１に示すように、一般的な意味での言語モデルの適応という課題は、一般タスク(General Task)のデータと適応先タスク(Target Task) のデータとを使って、ターゲットのタスクに適応した言語モデルを作成することである。このため、小規模でも適応先のターゲットタスクのコーパスが必要となる。
【００１６】
一方、本発明での言語モデルの適応という課題は、図２に示すようになる。すなわち、図２でターゲット言語(Language1) の言語モデルの適応において、適応先タスク(Target Task) に対する言語データＴL1が存在しない場合に、その代わりとなる言語データＴ' L1を、そのタスクでの他の言語のデータＴL2から言語翻訳によって作成し、それを使って言語モデルを適応させることである。
【００１７】
このターゲット言語(Language1) の言語データＴ' L1の作成に用いられる翻訳器では、翻訳用の知識の中に、ターゲット言語の局所的な語順の情報が保持されている。そのため隣接単語間程度では比較的正しい語順の翻訳結果を得られる見込みがある。その結果、その作成された言語データＴ' L1から、言語モデルに必要な隣接単語間の接続性に関する情報が得られる見込みがある。
【００１８】
適応の手法としては、ＭＡＰ適応( 文献[5] 参照) やモデルの線形結合( 上記文献[1] 参照) など様々な手法があるが、この実施の形態では、モデルの線形結合を利用する。
【００１９】
文献[5] ：H. Masataki,et.al: "Task Adaptation using MAP Estimation in N-gram Language Modeling," Proc. of the ICASSP, 1997,pp.783-786.
【００２０】
図３は、本発明による言語モデルの適応化方法の手順を示している。
ここでは、ターゲットタスク（新規タスク）に適応した第１の言語の言語モデルを生成する場合の言語モデルの適応化方法について説明する。
ステップ１：一般タスクのバイリンガルコーパスを使って機械翻訳器を作成する。ここで、一般タスクだけを使った一般タスク用の言語モデルＬＭG （図２参照) も作成される。
【００２１】
ステップ２：ステップ１で作成した機械翻訳器を使って、第１言語以外の第２言語で記述されたターゲットタスクのモノリンガルコーパスＴL2（図２参照) を翻訳することにより、第１言語で記述されたターゲットタスクの擬似的なモノリンガルコーパスＴ' L1（図２参照) を作成する。
【００２２】
ステップ３：ステップ２で作成された第１の言語で記述された擬似的なモノリンガルコーパスＴ' L1を使って言語モデル適応用の言語モデルＬＭT'L1（図２参照) を作成する。
【００２３】
ステップ４：ステップ１で作成した一般タスク用の言語モデルＬＭG と、ステップ３で作成した言語モデル適応用の言語モデルＬＭT'L1とを結合することによって、ターゲットタスクに適応した第１言語の言語モデルを作成する。
【００２４】
なお、機械翻訳器としては、一般タスクのバイリンガルコーパスを使用して作成されたものが用いられているが、それ以外の方法で作成された機械翻訳器を用いてもよい。
【００２５】
また、言語モデル適応用の言語モデルＬＭT'L1に結合される一般タスク用の言語モデルＬＭG としては、ステップ１で機械翻訳器を作成する際に作成されたものが用いられているが、それ以外の方法で作成されたものを用いてもよい。
【００２６】
〔３〕機械翻訳器についての説明
【００２７】
上述したように、この発明による言語モデルの適応化方法においては、言語モデル適応用のデータを作成するために機械翻訳器が用いられる。さまざまな機械翻訳器の利用が可能であるが、後述する評価実験では翻訳の原理が明らかな統計的機械翻訳器を利用しているため、ここでは評価実験で用いられる統計的機械翻訳器の概要について説明する。
【００２８】
〔３−１〕統計的機械翻訳器の概要についての説明
評価実験で用いる翻訳器は、文献[6] のＩＢＭ  Ｍｏｄｅｌ４を基本とする統計的翻訳器である。
【００２９】
文献[6] ：P. Brown, et. al,"The mathematics of statistical machine translation: Parameter estimation "Computational Linguistics, 19(2),pp.263-311(1993).
【００３０】
翻訳の問題は、雑音のある通信路での復号の問題と見做すことができる。例えば、日本語文（Ｊ）から英語文（Ｅ）への翻訳を考えると、日本語の文から英語の文への翻訳で最も尤もらしい翻訳結果（ここではこれをＥ* とする）を得るという問題は、次式（１）として表現される。
【００３１】
Ｅ* ＝ａｒｇｍａｘＰ（Ｅ｜Ｊ）    …（１）
【００３２】
通常、この式をベイズの公式によって次式（２）に示すように変形し、ある１つの日本語の文を入力に定めた場合には分母が定数項となるので、分子のみで翻訳結果Ｅ* の決定を行う。
【００３３】
Ｅ* ＝ａｒｇｍａｘＰ（Ｊ｜Ｅ）Ｐ（Ｅ）／Ｐ（Ｊ）    …（２）
【００３４】
ここで、分子のＰ（Ｊ｜Ｅ）は「翻訳モデル」、Ｐ（Ｅ）は「言語モデル」と呼ばれる。言語モデルとしては、隣接単語のＮ−ｇｒａｍがしばしば用いられる。
【００３５】
これらのモデルのパラメータは全て学習用の一般タスクのバイリンガルコーパスから統計的に推定される。これらのモデルを用いることにより、訳語を選択し、Ｐ（Ｅ）の制約のもとで語順を整えて、翻訳を達成する。そのため、対象が新たなタスクの場合でも、モデルのパラメータが正しく推定されていれば、出力される翻訳結果の中に、局所的な文脈では比較的正しい単語並びが得られ、言語モデル適応用のデータとして利用できることが期待できる。
【００３６】
本発明では、機械翻訳器で生成されたテキストから作られた言語モデル適応用の言語モデルと、一般タスクのコーパスから作られた言語モデル（この実施の形態ではＰ（Ｅ））との線形結合により、タスクに適応化された言語モデルを作成する。
【００３７】
〔４〕評価実験
【００３８】
以下、本発明の有効性を翻訳先言語のターゲットタスクでのテストセットパープレキシティの削減によって確認する。これに用いるデータ、実験条件について説明する。
【００３９】
〔４−１〕一般およびターゲットタスクのデータ
本実験では、日英の対訳コーパス（以後、「フレーズブックコーパス」と呼ぶ）を利用する。文の内容は旅行時の会話表現である。
【００４０】
これらの表現は、あらかじめ人手によって、「空港」、「飛行機内」、「レストラン」などの場面を主とした複数のカテゴリに分類されている。分類カテゴリの例を表１に示した。
【００４１】
【表１】
0003850742.tif 000002
【００４２】
カテゴリーの中の「空港」での会話表現を評価実験のターゲットタスクとして設定し、残りのカテゴリーを一般タスクとして設定した。これらの内訳は、表２の通りである。
【００４３】
【表２】
0003850742.tif 000003
【００４４】
ターゲットタスクのコーパスの規模と適応の効果との関係を調べるために、サイズの異なるターゲットタスクコーパスを数通り用意した。表２の”General ”を一般タスクとし、”t1000 ”，”t2000 ”，”t4739 ”を量が異なる３つのターゲットタスクのコーパスとし、”test”をターゲットタスクの評価用コーパスとする。なお、文と単語の総数は英語で数えた結果である。
【００４５】
機械翻訳器へは、”t1000 ”，”t2000 ”および”t4739 ”の形態素解析済みの日本語形態素列を入力する。そして、出力された翻訳結果の英語文（単語への分割済）を適応用のデータＴ' L1（図２参照) として利用する。
【００４６】
〔４−２〕実験の手順
ここでは、翻訳器によって作成されたテキストを用いて言語モデルの適応化を行い、そのモデルの性能をパープレキシティーの削除量で評価する。
【００４７】
最初に、翻訳器によって完全な訳文（本実験では英文）が作成される場合を想定して、ターゲットタスクの３種類のコーパスのそれぞれに対応するフレーズブックコーパス内の訳文（ここでは英語文）を使って言語モデルの適応化を行った場合のパープレキシティーの削減量を調査する。
【００４８】
次に、翻訳器によって翻訳されたデータを言語モデルの適応に用いたことの効果（本発明の効果）を調査する。
【００４９】
まず、上記実施の形態で説明した手順にしたがって、統計的機械翻訳器の翻訳モデルと言語モデルとを作成する。つまり、一般タスクのバイリンガルコーパス（”General ”の両言語）のみを使用して、翻訳器とターゲット言語（本実験では英語）の言語モデルＬＭG （図２参照）とを作成する。
【００５０】
次に、ターゲットタスクのモノリンガルコーパス（本実験では、日本語のt1000 ，t2000 ，t4739 ）のみを上記機械翻訳器で翻訳し、得られた結果を使用して、ターゲット言語( 本実験では、英語) でのターゲットタスク用の言語モデルＬＭT （添字のＴは、t1000 ，t2000 ，t4739 を表す）を作成する。
【００５１】
最後に、２つの言語モデルＬＭG とＬＭT とを線形結合することにより、適応化した言語モデルを作成する。本実験では、言語モデルには単語３gramを、線形結合の結合係数は削除補間法（上記文献[1] 参照）によって決めた。
【００５２】
本実験は、言語モデルの新たな適応先となるターゲットタスクにだけ出現する単語とその訳語の対が、機械翻訳器に存在しない設定の元で行った。
【００５３】
〔４−３〕実験結果と考察
【００５４】
以下に示す結果は全て、翻訳先言語のターゲットタスクのテストセット（本実験では「空港」タスクの英語）での単語パープレキシティー（ＰＰ値）またはその削減率で示す。
【００５５】
〔４−３−１〕対訳コーパスの理想訳を使った場合（性能の上限）
ターゲットタスクのデータを仮に集めることができた場合に、どこまでＰＰ値の削減が得られるかという性能の上限を確認しておくために、対訳コーパスの訳を使って適応した場合のＰＰ値を計算した。
【００５６】
この結果を、表３の２〜４行目（”General ＋t ＜サイズ＞”）に示す。同じ表３の１行目（”General only”）は、一般タスクのバイリンガルコーパスだけから作られた言語モデルでのＰＰ値である。
【００５７】
【表３】
0003850742.tif 000004
【００５８】
このように、一般タスクの言語モデルとターゲットタスクの言語モデルとの適応によって作成された言語モデルにおけるＰＰ値のほうが、他に比べて小さくなっていることがわかる。
【００５９】
また、図４の実線Ａは、ターゲットタスクのコーパスを含まない一般タスクのバイリンガルコーパスの増加に伴うＰＰの変化を示すグラフであり、破線Ｂは一般タスクのバイリンガルコーパスにターゲットタスクのバイリンガルコーパス内の訳文（英文）を順次追加した場合のＰＰの変化を示すグラフ（表３のGeneral ＋t ＜サイズ＞でのＰＰ値）である。図の横軸は文数（コーパスサイズ）を、縦軸はＰＰ値を示している。
【００６０】
図４から、一般タスクのコーパスをさらに倍の規模だけ集める（実線の右側への延長）よりもターゲットタスクのデータを適応させたほう（破線）がＰＰ値の削減の効果が大きくなっていることがわかる。
【００６１】
以上２点から、本データでは、言語モデル適応の方が有効であることが観察された。
【００６２】
これらの結果から、本実験の設定では、翻訳が１００％成功すれば、適応先のデータが増加するに伴って、適応先のタスクでのオープンなテストセットのＰＰ値が削減し、最大３８．０％近くまで相対的にＰＰ値を下げられる可能性があることがわかる。
【００６３】
〔４−３−２〕翻訳されたテキストを用いる場合
次に、理想的な翻訳結果を用いる代わりに、実際に機械翻訳器を使って作成されたターゲットタスクのデータを適応に使った場合のＰＰ値を、各組合わせについて計算した結果を表４に示す。
【００６４】
【表４】
0003850742.tif 000005
【００６５】
表４から、機械翻訳器によって作成された、新しいターゲットタスクに対するテキストを言語モデルの適応に用いることにより、適応前のＰＰ値からの１３％のＰＰ値の削減が得られることがわかる。
なお、図５の実線Ｂは、図４の破線に相当するものであり、一般タスクのバイリンガルコーパスにターゲットタスクのバイリンガルコーパス内の訳文（英文）を順次追加した場合のＰＰの変化を示すグラフであり、破線Ｃは、一般タスクのバイリンガルコーパスにターゲットタスクのバイリンガルコーパスの日本文を機械翻訳した文（英文）を順次追加した場合のＰＰの変化を示すグラフである。
【００６６】
【発明の効果】
この発明によれば、適応化しようとする言語モデルの言語以外の言語で記述された新規タスクでのモノリンガルコーパスを用いることによって、新規タスクに適応した言語モデルを作成することができるようになる。この結果、各言語の小規模コーパスを集めなくて済み、そのためコストがかからなくなる。
【図面の簡単な説明】
【図１】一般的な意味での言語モデルの適応という課題を説明するための模式図である。
【図２】本発明での言語モデルの適応という課題を説明するための模式図である。
【図３】本発明による言語モデルの適応化方法の手順を示すフローチャートである。
【図４】ターゲットタスクのコーパスを含まない一般タスクのバイリンガルコーパスの増加に伴うＰＰの変化と、一般タスクのバイリンガルコーパスにターゲットタスクのバイリンガルコーパス内の訳文（英文）を順次追加した場合のＰＰの変化とをそれぞれ示すグラフである。
【図５】一般タスクのバイリンガルコーパスにターゲットタスクのバイリンガルコーパス内の訳文（英文）を順次追加した場合のＰＰの変化と、一般タスクのバイリンガルコーパスにターゲットタスクのバイリンガルコーパスの日本文を機械翻訳した文（英文）を順次追加した場合のＰＰの変化とをそれぞれ示すグラフである。
【図１】
0003850742.tif 000006
【図２】
0003850742.tif 000007
【図３】
0003850742.tif 000008
【図４】
0003850742.tif 000009
【図５】
0003850742.tif 000010