(57)【要約】【課題】  統計機械翻訳装置の学習をより有効に行なうことができるような対訳コーパスを作成できるコーパス変換装置を提供する。【解決手段】  コーパス変換装置２０は、日本語と英語との対訳コーパス５０を、統計機械翻訳の学習に適した学習用対訳コーパスに変換するためのコーパス変換装置であって、対訳コーパス５０に含まれる対訳を、所定の基準にしたがい互いに同義と判定される対訳からなる同義文クラスに分類するクラス分け処理部５２と、分類された同義文クラスの各々に対し、当該同義文クラスに含まれる対訳の日本語の文を代表する代表文を決定するための日本語代表文決定部５６と、クラス分け処理部５２により分類された同義文クラスの各々に対し、対訳の各々の日本語の文を、当該同義文クラスに対し日本語代表文決定部５６により決定された代表文で実質的に置換することにより、日英コーパス２２を作成するための日本語置換処理部６０とを含む。【選択図】        図１
2007004457.tif 000002
【特許請求の範囲】
【請求項１】
第１の言語と第２の言語との対訳からなる対訳コーパスを、統計機械翻訳の学習に適した学習用対訳コーパスに変換するためのコーパス変換装置であって、
前記対訳コーパスに含まれる対訳を、所定の基準にしたがい互いに同義と判定される対訳からなる同義文クラスに分類するための同義文分類手段と、
前記同義文分類手段により分類された同義文クラスの各々に対し、当該同義文クラスに含まれる対訳の前記第１の言語の文を代表する第１の代表文を決定するための第１の代表文決定手段と、
前記同義文分類手段により分類された同義文クラスの各々に対し、当該同義文クラスに含まれる対訳の各々の前記第１の言語の文を、当該同義文クラスに対し前記第１の代表文決定手段により決定された前記第１の代表文で実質的に置換することにより、第１の学習用対訳コーパスを作成し所定の記憶媒体に格納するための第１の置換手段とを含む、コーパス変換装置。
【請求項２】
前記同義文分類手段により分類された同義文クラスの各々に対し、当該同義文クラスに含まれる対訳の前記第２の言語の文を代表する第２の代表文を決定するための第２の代表文決定手段と、
前記同義文分類手段により分類された同義文クラスの各々に対し、当該同義文クラスに含まれる対訳の各々の前記第２の言語の文を、当該同義文クラスに対し前記第２の代表文決定手段により決定された前記第２の代表文で実質的に置換することにより、第２の学習用対訳コーパスを作成し、所定の記憶媒体に格納するための第２の置換手段とをさらに含む、請求項１に記載のコーパス変換装置。
【請求項３】
前記同義文分類手段は、
前記対訳コーパスに含まれる未分類の対訳の一つに対し、新たな同義文クラスを割当てるためのクラス割当手段と、
前記所定の基準にしたがい、新たに割当てられた同義文クラスに含まれる対訳の少なくとも一方の文と同義と判定される文を有する対訳を探索し、探索された対訳を当該新たに割当てられた同義文クラスに分類するための探索手段と、
前記対訳コーパスに未分類の対訳が存在しなくなるまで、前記クラス割当手段と前記探索手段とを動作させるための手段とを含む、請求項１又は請求項２に記載のコーパス変換装置。
【請求項４】
前記探索手段は、
指定された対訳のうち、前記第１の言語の文と同一の文を有する対訳を探索するための第１の手段と、
指定された対訳のうち、前記第２の言語の文と同一の文を有する対訳を探索するための第２の手段と、
前記新たに割当てられた同義文クラスに含まれる対訳を起点として、前記第１の手段と前記第２の手段とにより探索される対訳に対して前記第１の手段と前記第２の手段とによる探索を再帰的に行なうことにより、前記起点となった対訳を起点とし、少なくとも一つの文が同一であるという関係により互いに連鎖的に関連付けられた対訳からなる集合を作成するための手段と、
前記作成するための手段により作成された集合に含まれる対訳を、前記新たに割当てられた同義文クラスに分類するための手段とを含む、請求項３に記載のコーパス変換装置。
【請求項５】
前記第１の代表文決定手段は、前記同義文分類手段により分類された同義文クラスの各々に対し、当該同義文クラスに含まれる対訳の前記第１の言語の文が当該同義文クラス内で出現する頻度に基づいて、前記第１の代表文を決定するための手段を含む、請求項１〜請求項４のいずれかに記載のコーパス変換装置。
【請求項６】
前記第１の代表文を決定するための手段は、前記同義文分類手段により分類された同義文クラスの各々に対し、当該同義文クラスに含まれる対訳の前記第１の言語の文のうち、当該同義文クラス内で出現する頻度の最も高いものを、前記第１の代表文に決定するための手段を含む、請求項５に記載のコーパス変換装置。
【請求項７】
コンピュータにより実行されると、当該コンピュータを、請求項１〜請求項６のいずれかに記載のコーパス変換装置として動作させる、コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明はコーパスを使用した機械翻訳に関し、特に、機械翻訳の品質を向上させることが可能なコーパスの作成装置に関する。
【背景技術】
【０００２】
近年、機械翻訳の中でも統計機械翻訳に対する関心が高まり、多くの研究が行なわれている。それら研究の主たる関心は、翻訳のためのモデルとデコーディングアルゴリズムとに向けられている。一方、統計機械翻訳において使用される対訳コーパスについては、それほどの関心は払われていない。通常、対訳コーパスのコーパスサイズが大きくなると翻訳の品質が向上することが知られており、したがって従来の研究はコーパスサイズと翻訳の品質との間の関係に向けられていた。
【０００３】
しかし、ソース言語のある文をターゲット言語に翻訳する際には多くの翻訳の仕方がある。そのため、機械翻訳の開発と翻訳品質の評価とは困難である。特に統計機械翻訳の場合、対訳コーパスにどのような対訳を含ませればよいかは翻訳の品質に関する重大な問題であるにもかかわらず、これまで正当な関心が払われてこなかった。
【０００４】
対訳コーパスで翻訳の品質に最も大きな影響を与える要因の一つに、同義文対訳の存在がある。同義文対訳とは、表現が異なるが意味が同じという複数組の対訳のことをいう。同義文対訳では、一方の言語の文のみが異なり他方の言語の文が全く一致している場合もあるし、双方の言語の文がともに異なっている場合もある。このような同義文対訳の存在により、ある翻訳単位（単語など）に対する翻訳候補が増えることになり、統計的機械翻訳装置の学習に悪影響が及び、その結果、翻訳の品質向上の障害となっている。
【特許文献１】特開２００５−１３５２１７号公報
【非特許文献１】カシオカ、Ｈ．「対訳コーパスからの同義文のグループ分け」、ＬＲＥＣ−２００４予稿集、ｐｐ．３９１−３９４、２００４年（Hideki  Kashioka,  2004.  "Grouping  Synonymous  Sentences  from  a  Parallel  Corpus",  in  Proc．  of   LREC  2004，  pp.  391-394)
【非特許文献２】タケザワ、Ｔ．他４名、「実世界における旅行会話の言語翻訳のための、広範囲のバイリンガルコーパスに向けて」第３回ＬＲＥＣ−２００２予稿集、ｐｐ．１４７−１５２、２００２年（Takezawa，  T.  et  al.,  "Toward  a  Broad-coverage  Bilingual  Corpus  for  Speech  Translation  of  Travel  Conversations  in  the  Real  World",  In  Proc.  of  the  3rd  LREC，  pp.  147-152,  2002）
【発明の開示】
【発明が解決しようとする課題】
【０００５】
特許文献１には、互いに対訳関係にはないが、同じ話題を取り扱っている二つの言語の文章から同義文対訳を抽出する手法が開示されている。しかしこの手法は、対訳コーパスに含まれる対訳数を増大させることにより翻訳品質の向上を図るための手法であり、対訳コーパスに含まれる同義文対訳に着目したものではない。
【０００６】
対訳コーパスに含まれる対訳数が多くなれば、その対訳コーパスを使用して学習した統計機械翻訳装置の翻訳品質が高くなることは確かである。しかし、対訳数が多くなれば学習に要する時間が増大するという問題もある。したがって、対訳コーパスに対し何らかの改良を施すことにより、対訳数が同程度でも翻訳の品質を向上させることができるような、又はより少ない対訳数でも同程度の翻訳の品質を得ることができるような、統計機械翻訳装置の学習のための対訳コーパスが必要である。
【０００７】
したがって、本発明の一つの目的は、対訳コーパスを変換処理して、統計機械翻訳装置の学習をより有効に行なうことができるような対訳コーパスを作成可能なコーパス変換装置を提供することである。
【課題を解決するための手段】
【０００８】
本発明の第１の局面に係るコーパス変換装置は、第１の言語と第２の言語との対訳からなる対訳コーパスを、統計機械翻訳の学習に適した学習用対訳コーパスに変換するためのコーパス変換装置であって、対訳コーパスに含まれる対訳を、所定の基準にしたがい互いに同義と判定される対訳からなる同義文クラスに分類するための同義文分類手段と、同義文分類手段により分類された同義文クラスの各々に対し、当該同義文クラスに含まれる対訳の第１の言語の文を代表する第１の代表文を決定するための第１の代表文決定手段と、同義文分類手段により分類された同義文クラスの各々に対し、当該同義文クラスに含まれる対訳の各々の第１の言語の文を、当該同義文クラスに対し第１の代表文決定手段により決定された第１の代表文で実質的に置換された第１の学習用対訳コーパスを作成し所定の記憶媒体に格納するための第１の置換手段とを含む。
【０００９】
同義文分類手段が、対訳コーパスに含まれる対訳を、所定の基準にしたがって同義文クラスに分類する。各同義文クラスに対し、第１の代表文決定手段が、第１の言語の文の代表文（第１の代表文）を決定し、第１の置換手段が、その同義文クラスの対訳の全てに関し、第１の言語の文を第１の代表文で実質的に置換することにより、第１の学習用対訳コーパスを作成する。
【００１０】
このようにして作成された第１の学習用対訳コーパスを使用して第１の言語から第２の言語への統計機械翻訳装置の翻訳モデルの学習を行なうと、オリジナルの対訳コーパスで学習を行なった場合と比較して翻訳精度が向上することが実験により確認できた。したがって本発明によれば、対訳コーパスを変換処理して、統計機械翻訳装置の学習をより有効に行なうことができるような対訳コーパスを作成可能なコーパス変換装置を提供できる。
【００１１】
好ましくは、コーパス変換装置は、同義文分類手段により分類された同義文クラスの各々に対し、当該同義文クラスに含まれる対訳の第２の言語の文を代表する第２の代表文を決定するための第２の代表文決定手段と、同義文分類手段により分類された同義文クラスの各々に対し、当該同義文クラスに含まれる対訳の各々の第２の言語の文を、当該同義文クラスに対し第２の代表文決定手段により決定された第２の代表文で実質的に置換された第２の学習用対訳コーパスを作成し、所定の記憶媒体に格納するための第２の置換手段とをさらに含む。
【００１２】
各同義文クラスに対し、第２の代表文決定手段が、第２の言語の文の代表文（第２の代表文）を決定し、第２の置換手段が、その同義文クラスの対訳の全てに関し、第２の言語の文を第２の代表文で実質的に置換することにより、第２の学習用対訳コーパスを作成する。
【００１３】
この第２の学習用対訳コーパスを使用して第２の言語から第１の言語への統計機械翻訳装置の翻訳モデルの学習を行なうと、オリジナルの対訳コーパスで学習を行なった場合と比較して翻訳精度が向上することが実験により確認できた。
【００１４】
さらに好ましくは、同義文分類手段は、対訳コーパスに含まれる未分類の対訳の一つに対し、新たな同義文クラスを割当てるためのクラス割当手段と、所定の基準にしたがい、新たに割当てられた同義文クラスに含まれる対訳の少なくとも一方の文と同義と判定される文を有する対訳を探索し、探索された対訳を当該新たに割当てられた同義文クラスに分類するための探索手段と、対訳コーパスに未分類の対訳が存在しなくなるまで、クラス割当手段と探索手段とを動作させるための手段とを含む。
【００１５】
クラス割当手段が、対訳コーパスに含まれる未分類の対訳の一つを選択すると、探索手段によりこの対訳の少なくとも一方の文と同義と判定される文を有する対訳が探索され、これらがまとめて一つの新たな同義文クラスに分類される。この処理を、未分類の対訳が存在しなくなるまで行なうことにより、対訳コーパスの全ての対訳が同義文クラスのいずれかに分類される。
【００１６】
探索手段は、指定された対訳のうち、第１の言語の文と同一の文を有する対訳を探索するための第１の手段と、指定された対訳のうち、第２の言語の文と同一の文を有する対訳を探索するための第２の手段と、新たに割当てられた同義文クラスに含まれる対訳を起点として、第１の手段と第２の手段とにより探索される対訳に対して第１の手段と第２の手段とによる探索を再帰的に行なうことにより、起点となった対訳を起点とし、少なくとも一つの文が同一であるという関係により互いに連鎖的に関連付けられた対訳からなる集合を作成するための手段と、作成するための手段により作成された集合に含まれる対訳を、新たに割当てられた同義文クラスに分類するための手段とを含んでもよい。
【００１７】
少なくとも一方の文が同一であるという関係に基づいて対訳を探索することにより、実質的に同義と思われる対訳が、第１の言語の文と第２の言語の文との双方を通じて網羅的に探索される。同義文クラスの分類が精密なものとなり、こうして作成された学習用対訳コーパスを用いて統計機械翻訳のための学習を行なうことにより、翻訳精度が向上することが期待できる。
【００１８】
好ましくは、第１の代表文決定手段は、同義文分類手段により分類された同義文クラスの各々に対し、当該同義文クラスに含まれる対訳の第１の言語の文が当該同義文クラス内で出現する頻度に基づいて、第１の代表文を決定するための手段を含む。
【００１９】
出現頻度という客観的情報に基づいて第１の代表文を決定することができる。
【００２０】
さらに好ましくは、第１の代表文を決定するための手段は、同義文分類手段により分類された同義文クラスの各々に対し、当該同義文クラスに含まれる対訳の第１の言語の文のうち、当該同義文クラス内で出現する頻度の最も高いものを、第１の代表文に決定するための手段を含む。
【００２１】
出現頻度の最も高い文が第１の代表文に決定される。出現頻度という客観的な情報に基づき、さらに出現頻度が最も高いという明確な基準に基づいて第１の代表文が決定される。
【００２２】
本発明の第２の局面に係るコンピュータプログラムは、コンピュータにより実行されると、当該コンピュータを、上記したいずれかのコーパス変換装置として動作させる。したがって、上記したコーパス変換装置と同様の効果を奏することができる。
【発明を実施するための最良の形態】
【００２３】
以下、本発明の一実施の形態に係るコーパス変換装置について説明する。なお以下の説明及び図面において、同一の部品には同一の参照番号を付してある。それらの名称及び機能も同一である。したがって、それらについての詳細な説明は繰返さない。なお、以下に説明する構成により得られた対訳コーパスを学習用データとして機械翻訳のための翻訳モデルを学習することにより、機械翻訳の精度が向上することを実験により確認できた。実験の内容及び結果については後述する。
【００２４】
＜構成＞
図１に、本発明の一実施の形態に係るコーパス変換装置２０を含む統計機械翻訳システム１８をブロック図形式で示す。図１を参照して、この統計機械翻訳システム１８は、日英双方向の翻訳を行なうためのものであって、予め準備された日英対訳コーパス５０と、日英対訳コーパス５０に対し所定の処理を行ない、日英コーパス２２及び英日コーパス２４を出力するためのコーパス変換装置２０とを含む。日英対訳コーパス５０は通常の日英対訳コーパスであり、多数の同義文対訳を含んでいることが前提となっている。日英コーパス２２及び英日コーパス２４の構成、及びコーパス変換装置２０の機能の詳細については後述する。なお、本明細書では、「コーパス」とは、文（対訳文）の集まりのことも指すし、場合によってはコーパスを記憶する記憶装置のことも指すものとする。
【００２５】
統計機械翻訳システム１８はさらに、日英コーパス２２を学習用コーパスとして学習し、日本文の入力３０を英文の出力３２に翻訳するための日英機械翻訳装置２６と、英日コーパス２４を学習コーパスとして学習し、英文の入力３４を日本文の出力３６に翻訳するための英日機械翻訳装置２８とを含む。
【００２６】
コーパス変換装置２０はさらに、日英対訳コーパス５０に含まれる英日対訳を、同義対訳文からなる同義文クラスに分類するためのクラス分け処理部５２と、クラス分け処理部５２により作成された同義文クラスコーパスを記憶するための同義文クラスコーパス５４とを含む。同義文クラスとは、対訳を構成する文のいずれかが同じであるという関係により連鎖的に関係付けられた対訳の集合のことをいう。本実施の形態では、ある対訳の日本語文と同じ日本語文を持つ別の対訳も、ある対訳の英語文と同一の英語文を持つさらに他の対訳も、当初の対訳と同一の同義文クラスに属するような分類がされる。同義文クラスに含まれる文の数には制限はなく、一つでもよいし多数でもよい。
【００２７】
コーパス変換装置２０はさらに、同義文クラスコーパス５４に含まれる同義文クラスの各々に対し、同義文クラスを構成する１又は複数の対訳の日本語文のうちで、当該同義文クラスを代表する日本語文を決定する処理を行なうための日本語代表文決定部５６と、同義文クラスコーパス５４に含まれる同義文クラスの各々に対し、当該同義文クラスに含まれる対訳の日本語文を全て日本語代表文決定部５６により決定された当該同義文クラスの日本語代表文に置換するための日本語置換処理部６０とを含む。同義文クラスコーパス５４に対し、日本語代表文決定部５６と日本語置換処理部６０とによる処理をした結果得られるのが日英コーパス２２である。
【００２８】
コーパス変換装置２０はさらに、同義文クラスコーパス５４に含まれる同義文クラスの各々に対し、同義文クラスを構成する１又は複数の対訳の英語文のうちで、当該同義文クラスを代表する英語文を決定する処理を行なうための英語代表文決定部５８と、同義文クラスコーパス５４に含まれる同義文クラスの各々に対し、当該同義文クラスに含まれる対訳の英語文を全て英語代表文決定部５８により決定された当該同義文クラスの英語代表文に置換するための英語置換処理部６２とを含む。同義文クラスコーパス５４に対し、英語代表文決定部５８と英語置換処理部６２とによる処理をした結果得られるのが英日コーパス２４である。
【００２９】
日本語代表文決定部５６及び英語代表文決定部５８による代表文の決定方法としては種々のものがある。最も一般的なものは、文の出現頻度という客観的基準に基づくもので、特に同義文クラス内で出現回数の最も多い（出現頻度が最も高い）文を代表文とする方法である。本実施の形態でも、日本語代表文決定部５６及び英語代表文決定部５８はそうした方法で代表文を決定する。他にも、最も短い文を代表文とする方法、逆に最も長い文を代表文とする方法などがある。
【００３０】
一方、日英機械翻訳装置２６及び英日機械翻訳装置２８はソース言語とターゲット言語とが入れ替わっているだけで、互いに類似の構成を持つ。
【００３１】
日英機械翻訳装置２６は、日英コーパス２２を学習データとして日英翻訳モデル８２に対する学習を行なうための日英翻訳学習部８０と、学習済の日英翻訳モデル８２を記憶するための記憶装置と、予め準備された英語言語モデル８４と、日英翻訳モデル８２及び英語言語モデル８４を用いて日本文の入力３０に対する日英機械翻訳を行ない、英文の出力３２を出力するための日英機械翻訳部８６とを含む。なお、本実施の形態では英語言語モデル８４は予め準備するものとするが、日英コーパス２２（又は日英対訳コーパス５０）のうちの英語部分のみを使用して英語言語モデル８４の学習を行なってもよい。
【００３２】
英日機械翻訳装置２８は、英日コーパス２４を用いて英日翻訳モデル１０２の学習を行なうための英日翻訳学習部１００と、学習済の英日翻訳モデル１０２を記憶するための記憶装置と、予め準備された日本語言語モデル１０４と、英日翻訳モデル１０２及び日本語言語モデル１０４を用い、英文の入力３４に対する英日機械翻訳を行なって日本文の出力３６を出力するための英日機械翻訳部１０６とを含む。
【００３３】
図２に、日英対訳コーパス５０の構成の例を示す。図２を参照して、日英対訳コーパス５０は、多数の日英対訳文１２０を含む。日英対訳文１２０の各々は、日本語（例えばＪ１）と、その対訳である英語（例えばＥ１）とを含む。
【００３４】
図３に、同義文クラスコーパス５４の構成の例を示す。図３を参照して、同義文クラスコーパス５４は、複数（Ｍ個）の同義文クラス１３０，１３２，１３４，…，１４０を含む。各同義文クラスは、英語文又は日本語文が互いに同一の関係にある対訳を含む。例えば、同義文クラス１３０は、複数の対訳（Ｊ１１，Ｅ１１），（Ｊ１２，Ｅ１２），…，（Ｊ１Ｎ１，Ｅ１Ｎ１）を含む。これら対訳の間には、例えば日本語文Ｊ１１と日本語文Ｊ１２とが同一であり、英語文Ｅ１２と英語文Ｅ１Ｎ１とが同一であり、というような関係が成り立っている。この場合、（Ｊ１１，Ｅ１１）と（Ｊ１Ｎ１，Ｅ１Ｎ１）も同じ同義文クラスに属する。本実施の形態では、別々の同義文クラスに属する対訳の間には、こうした関係は成立しないものとする。
【００３５】
図４に、図１に示す日本語代表文決定部５６及び日本語置換処理部６０により行なわれる処理を説明するための図を示す。図４を参照して、ある同義文クラス１５０が４つの対訳文（Ｓ１，Ｔ１）（Ｓ２，Ｔ１）（Ｓ１，Ｔ２）及び（Ｓ３，Ｔ１）を含むものとする。Ｓは日本語、Ｔは英語のことを指す。添え字が異なる文は互いに異なるものとする。
【００３６】
図４に示す例では、同義文クラス１５０に含まれる日本語文のうち出現頻度の最も大きなものはＳ１である。したがって日本語代表文決定部５６はＳ１を同義文クラス１５０の日本語代表文として選択する。日本語置換処理部６０は、同義文クラス１５０に含まれる各対訳の日本語文を、この代表文Ｓ１で置換する。その結果、同義文クラス１５２が得られる。
【００３７】
得られた同義文クラス１５２は、同義文クラス１５０と同じく４つの対訳を持つ。しかし同義文クラス１５２の場合、これら対訳は（Ｓ１，Ｔ１），（Ｓ１，Ｔ１），（Ｓ１，Ｔ２），及び（Ｓ１，Ｔ１）となっている。すなわち、これら対訳の日本語文は全てＳ１に置換されている。
【００３８】
英日コーパス２４を得るために英語代表文決定部５８及び英語置換処理部６２が行なう処理もほぼこれと同様である。ただし、日本語と英語とが日英コーパス２２の場合と異なり入れ替わっている。
【００３９】
なお、図４においては、理解しやすいように同義文クラス１５２について全ての対訳を示している。しかし、対訳の一方がこの同義文クラス１５２中の対訳について共通しているので、この文については、一つのクラスについて一つだけ記憶するようにしてもよい。こうすることで実質的に全ての対訳の一方の文を置換した場合と同じ効果を得ながら、同義文クラスコーパス５４のための記憶領域を節約できる。この点は日英コーパス２２及び英日コーパス２４についても同様である。
【００４０】
図５は、コーパス変換装置２０を実現するためのコンピュータプログラムのメイン処理の制御構造を示すフローチャートである。図５を参照して、このプログラムが開始されると、まずステップ１６０で日英対訳コーパス５０の読込みを行なう。続いてステップ１６２で日英対訳コーパス５０のクラス分け処理を実行する。この処理の詳細については図６を参照して後述する。この処理の結果、日英対訳コーパス５０が同義文クラスに分類され、同義文クラスコーパス５４が作成される。
【００４１】
ステップ１６４では、同義文クラスコーパス５４の各同義文クラスに対し、日本語代表文を定める処理が行なわれる。ステップ１６６では、各同義文クラスに対し、当該同義文クラスに属する同義文の内、日本語部分を日本語代表文で置換する処理が実行される。この結果得られるのが、日英コーパス２２である。
【００４２】
ステップ１６８では、同義文クラスコーパス５４の各同義文クラスに対し、英語代表文を定める処理が行なわれる。ステップ１７０では、各同義文クラスに対し、当該同義文クラスに属する同義文のうち、英語部分を英語代表文で置換する処理が実行される。この結果得られるのが、英日コーパス２４である。
【００４３】
図６は、図５のステップ１６２で実行されるクラス分け処理を実現するためのコンピュータプログラムの制御構造を示すフローチャートである。このプログラムは再帰呼出し可能であり、自分自身の実行中に自分自身を呼出すことができる。なお、クラス分け処理としてはこの方法に限定されず、例えば非特許文献１に記載の方法を使用することもできる。
【００４４】
図６を参照して、本実施の形態では、クラス分け処理のステップ１８０において、日英対訳コーパス５０に含まれる対訳のうち、まだクラス分けがされていない（未分類の）対訳を一つ選択する。ステップ１８２では、未分類の対訳がなくなったか否かを判定する。未分類の対訳がないということは、対訳が全て何らかの同義文クラスに分類されたということである。したがってこの場合には処理は終了する。未分類の対訳があればそれを選択し、制御はステップ１８４に進む。
【００４５】
ステップ１８４では、この対訳に対して新しいクラスを割当てる。続いてステップ１８６では、処理対象の対訳の日本語文を起点として同一クラスに属する対訳を探索する日本文処理を実行する。日本文処理の詳細については図７を参照して後述する。日本文処理が完了すると、ステップ１８８で処理対象の対訳の英語文を起点として同一クラスに属する対訳を探索する英文処理を実行する。英文処理の詳細については図８を参照して後述する。ステップ１８８の処理が終了すると、制御はステップ１８０に戻る。
【００４６】
こうして、ステップ１８０で未分類の対訳が見つかるごとに新たな同義文クラスを作成し、当該クラスに属する対訳を探索する。この処理を、未分類の対訳がなくなるまで行なうことにより、日英対訳コーパス５０に含まれる対訳の各々が、同義文クラスのいずれかに分類される。
【００４７】
図７に、図６のステップ１８６で実行される日本文処理を実現するプログラムの制御構造の詳細を示す。図７を参照して、ステップ２００において、処理対象の対訳の日本文と同一の日本文を持つ未分類の対訳を日英対訳コーパス５０から抽出する。ステップ２０２では、抽出された対訳の数が０か否かを判定する。抽出された対訳の数が０であればこの日本文処理を終了し、さもなければステップ２０４に進む。
【００４８】
ステップ２０４では、ステップ２００で抽出された対訳を、処理対象の対訳と同一の同義文クラスに分類する処理を行なう。続いて、抽出された対訳の各々に対し、ステップ２０６の処理を実行する。すなわち、ステップ２０６では、抽出された対訳の英文について、英文処理を呼出す。この英文処理は、図６のステップ１８８で実行されるものと同一である。抽出された対訳の全てについてステップ２０６の処理を実行すると、この日本文処理を終了し、制御は呼出元に復帰する。
【００４９】
図８は、図６のステップ１８８及び図７のステップ２０６で呼出される英文処理を実現するプログラムの制御構造を示す。図８を参照して、ステップ２３０で処理対象の対訳の英文と同一英文を持つ未分類の対訳を日英対訳コーパス５０から抽出する。ステップ２３２では、抽出された対訳の数が０か否かを判定する。制御は、抽出された対訳の数が０であればこの英文処理を終了し、さもなければステップ２３４に進む。
【００５０】
ステップ２３４では、ステップ２３０で抽出された対訳を、処理対象の対訳と同一の同義文クラスに分類する処理を行なう。続いて、抽出された対訳の各々に対し、ステップ２３６の処理を実行する。すなわち、ステップ２３６では、抽出された対訳の日本文について、日本文処理を呼出す。この日本文処理は、図６のステップ１８６で実行されるものと同一である。抽出された対訳の全てについてステップ２３６の処理を実行すると、この英文処理を終了し、制御は呼出元に復帰する。
【００５１】
以上が図１に示す統計機械翻訳システム１８の構成の詳細である。
【００５２】
＜動作＞
以上に構成を説明した統計機械翻訳システム１８は以下のように動作する。なお、図１に示す日英対訳コーパス５０、英語言語モデル８４、日本語言語モデル１０４、並びに学習前の日英翻訳モデル８２及び英日翻訳モデル１０２はいずれも予め適切に準備されているものとする。
【００５３】
最初にクラス分け処理部５２が日英対訳コーパス５０に含まれる対訳を読込み、全ての対訳を同義文クラスに分類することによって同義文クラスコーパス５４を作成する。
【００５４】
日本語代表文決定部５６が、同義文クラスコーパス５４の各同義文クラスに対し、出現頻度を基準として日本語代表文を決定する。日本語置換処理部６０が、同義文クラスコーパス５４の各同義文クラスに対し、当該クラスに含まれる対訳の日本語文を全て、日本語代表文決定部５６により決定された日本語代表文で置換する。この処理により、日英コーパス２２が作成される。
【００５５】
同様に、英語代表文決定部５８が同義文クラスコーパス５４の各同義文クラスに対し、出現頻度を基準として英語代表文を決定する。英語置換処理部６２が、同義文クラスコーパス５４の各同義文クラスに対し、当該クラスに含まれる対訳の英語文を全て、英語代表文決定部５８により決定された英語代表文で置換する。この処理により、英日コーパス２４が作成される。
【００５６】
日英コーパス２２が作成されると、日英コーパス２２を学習データとして日英翻訳学習部８０が日英翻訳モデル８２の学習を行なう。日英翻訳モデル８２の学習が完了すると、日英機械翻訳部８６による日英翻訳が可能になる。同様に、英日コーパス２４が作成されると、英日コーパス２４を学習データとして英日翻訳学習部１００が英日翻訳モデル１０２の学習を行なう。英日翻訳モデル１０２の学習が完了すると、英日機械翻訳部１０６による英日翻訳が可能になる。
【００５７】
＜実施の形態の効果＞
上記したような構成を持つ日英コーパス２２及び英日コーパス２４を用いて日英翻訳モデル８２及び英日翻訳モデル１０２の学習を行なうと、日英機械翻訳部８６及び英日機械翻訳部１０６による機械翻訳の精度が向上することが、実験により確認できた。以下、実験結果について説明する。
【００５８】
実験では、日英対訳コーパス５０（図１参照）として、出願人において用意した多言語対訳コーパスＢＴＥＣ（非特許文献２参照）の日英対訳部分を用いた。実験で使用したＢＴＥＣコーパスは、１５２，１７０個の日英対訳を含んでいた。同義文クラスに分類した後のクラス数は７２，８０８、各クラスの平均文数は２．１であった。
【００５９】
なお、比較のために、英日翻訳及び日英翻訳の双方において、日英対訳コーパス５０と、日英コーパス２２と、英日コーパス２４とをそれぞれ用いて翻訳モデルの学習を行なった３種類の場合の翻訳品質を、翻訳品質を測定する際によく使用されるスコアを複数種類用いて評価した。英日翻訳及び日英翻訳の結果を次のテーブル１及びテーブル２にそれぞれ示す。使用したスコアについてはテーブルの後に説明する。テーブルにおいて、太字で示した部分が各スコアに関する最高スコアである。
【００６０】
【表１】
2007004457.tif 000003
【００６１】
【表２】
2007004457.tif 000004
−スコアの説明−
ＢＬＥＵ：  テスト文と参照文との間のｎグラムマッチの重み付き幾何平均に、翻訳結果が短い場合のペナルティを乗じた値。大きい方がよい。
【００６２】
ＮＩＳＴ：  テスト文と参照文との間のｎグラムマッチの重み付き算術平均に、長さに関する因数を乗じたもの。この因数も、翻訳結果が短い場合にペナルティを課する。大きい方がよい。
【００６３】
ｍＷＥＲ：  多重参照単語誤り率。テスト文と参照文との間の編集距離（一方の文を他方の文に変えるために必要な挿入操作、削除操作、及び置換操作の最小数）のこと。小さい方がよい。
【００６４】
ｍＰＥＲ：  多重参照位置独立な単語誤り率。語順を考慮しない編集距離のこと。小さい方がよい。
【００６５】
テーブル１を参照して、英日翻訳では、英日コーパス２４を用いて英日翻訳モデル１０２の学習を行なった場合がいずれのスコアでも最もよいスコアとなっている。一方、テーブル２を参照して、日英翻訳では日英コーパス２２を用いて日英翻訳モデル８２の学習を行なった場合がいずれのスコアでも最もよいスコアとなっている。
【００６６】
両者を総合すると、この実験から、対訳コーパスを同義文クラスに分類した上、各クラスで翻訳処理のソース言語側（英日翻訳なら英語、日英翻訳なら日本語）の文を代表文で置換するとよい結果が得られることが分かった。しかもその結果は、元の対訳コーパスを用いるよりもかなりよい。したがって、これまで説明した第１の実施の形態に係る統計機械翻訳システム１８のように、日英対訳コーパス５０から日英コーパス２２及び英日コーパス２４を作成するようにし、それらを用いてそれぞれ日英機械翻訳装置及び英日機械翻訳装置の学習を行なうことで、日英機械翻訳及び英日機械翻訳の双方の翻訳精度を高めることができる。
【００６７】
なお、上記実施の形態では、コーパス変換装置２０は、日英コーパス２２と英日コーパス２４との双方を作成する機能を持つ。しかし本発明がそのような実施の形態には限定されず、日英コーパス２２と英日コーパス２４とのいずれか一方を作成する機能を持つだけでもよいことは明らかである。また、日本語と英語とがかなり性格の異なる言語であるにもかかわらず、テーブル１、２に示したようにソース言語側についてのみ対訳文を代表文に置換すると日英と英日との両方向についてよい結果が得られたことに鑑みると、日本語と英語という組合せに限定されず、多くの言語の組合せに対しても有効であると考えられる。
【００６８】
＜コンピュータによる実現＞
この実施の形態に係る統計機械翻訳システム１８、及びその一部をなすコーパス変換装置２０は、コンピュータハードウェアと、そのコンピュータハードウェアにより実行されるプログラムと、コンピュータハードウェアに格納されるデータとにより実現される。図９はこのコンピュータシステム３３０の外観を示し、図１０はコンピュータシステム３３０の内部構成を示す。
【００６９】
図９を参照して、このコンピュータシステム３３０は、ＦＤ（フレキシブルディスク）ドライブ３５２及びＣＤ−ＲＯＭ（コンパクトディスク読出専用メモリ）ドライブ３５０を有するコンピュータ３４０と、キーボード３４６と、マウス３４８と、モニタ３４２とを含む。
【００７０】
図１０を参照して、コンピュータ３４０は、ＦＤドライブ３５２及びＣＤ−ＲＯＭドライブ３５０に加えて、ＣＰＵ（中央処理装置）３５６と、ＣＰＵ３５６、ＦＤドライブ３５２及びＣＤ−ＲＯＭドライブ３５０に接続されたバス３６６と、ブートアッププログラム等を記憶する読出専用メモリ（ＲＯＭ）３５８と、バス３６６に接続され、プログラム命令、システムプログラム、及び作業データ等を記憶するランダムアクセスメモリ（ＲＡＭ）３６０とを含む。コンピュータシステム３３０はさらに、プリンタを含んでもよい。
【００７１】
ここでは示さないが、コンピュータ３４０はさらにローカルエリアネットワーク（ＬＡＮ）への接続を提供するネットワークアダプタボードを含んでもよい。
【００７２】
コンピュータシステム３３０に統計機械翻訳システム１８又はコーパス変換装置２０としての動作を行なわせるためのコンピュータプログラムは、ＣＤ−ＲＯＭドライブ３５０又はＦＤドライブ３５２に挿入されるＣＤ−ＲＯＭ３６２又はＦＤ３６４に記憶され、さらにハードディスク３５４に転送される。又は、プログラムは図示しないネットワークを通じてコンピュータ３４０に送信されハードディスク３５４に記憶されてもよい。プログラムは実行の際にＲＡＭ３６０にロードされる。ＣＤ−ＲＯＭ３６２から、ＦＤ３６４から、又はネットワークを介して、直接にＲＡＭ３６０にプログラムをロードしてもよい。また、日英対訳コーパス５０は、例えばハードディスク３５４に記憶され、日英コーパス２２及び英日コーパス２４の作成時にその必要部分がＲＡＭ３６０に読込まれる。
【００７３】
上記したプログラムは、コンピュータ３４０にこの実施の形態の統計機械翻訳システム１８又はコーパス変換装置２０として動作を行なわせる複数の命令を含む。この動作を行なわせるのに必要な基本的機能のいくつかは、コンピュータ３４０上で動作するオペレーティングシステム（ＯＳ）もしくはサードパーティのプログラム、又はコンピュータ３４０にインストールされる各種ツールキットのモジュールにより提供される。したがって、このプログラムは、この実施の形態に係る統計機械翻訳システム１８又はコーパス変換装置２０の各機能を実現するのに必要な機能全てを必ずしも含まなくてよい。このプログラムは、命令のうち、所望の結果が得られるように制御されたやり方で適切な機能又は「ツール」を呼出すことにより、上記した統計機械翻訳システム１８又はコーパス変換装置２０としての動作を実行する命令のみを含んでいればよい。コンピュータシステム３３０の動作は周知であるので、ここでは繰返さない。
【００７４】
なお、上記した実施の形態では、クラス分け処理部５２によるクラス分けにおいては、日本語文又は英語文の一方が同一である対訳については連鎖式に全て探索して一つのクラスに分類している。しかし、本発明はそのような実施の形態には限定されない。探索を１段階に限定する（処理対象の対訳の日本語文又は英語文と同一の対訳のみを一つの同義文クラスとする。）など、探索の回数を限定するようにしてもよい。
【００７５】
今回開示された実施の形態は単に例示であって、本発明が上記した実施の形態のみに制限されるわけではない。本発明の範囲は、発明の詳細な説明の記載を参酌した上で、特許請求の範囲の各請求項によって示され、そこに記載された文言と均等の意味及び範囲内でのすべての変更を含む。
【図面の簡単な説明】
【００７６】
【図１】本発明の一実施の形態に係る統計機械翻訳システム１８のブロック図である。
【図２】日英対訳コーパス５０の構成を示す模式図である。
【図３】同義文クラスコーパス５４の構成を示す模式図である。
【図４】代表文による置換方法を説明するための図である。
【図５】コーパス変換装置２０を実現するためのコンピュータプログラムのメイン処理の制御構造を示すフローチャートである。
【図６】図５に示すプログラムの内、クラス分け処理を実現するためのコンピュータプログラムの制御構造を示すフローチャートである。
【図７】図６に示すプログラムの内、日本文処理を実現するための、再帰的呼出可能なコンピュータプログラムの制御構造を示すフローチャートである。
【図８】図６に示すプログラムの内、英文処理を実現するための、再帰的呼出可能なコンピュータプログラムの制御構造を示すフローチャートである。
【図９】本発明の一実施の形態に係る統計機械翻訳システム１８及びコーパス変換装置２０を実現するコンピュータシステムの外観図である。
【図１０】図９に示すコンピュータのブロック図である。
【符号の説明】
【００７７】
１８  統計機械翻訳システム
２０  コーパス変換装置
２２  日英コーパス
２４  英日コーパス
２６  日英機械翻訳装置
２８  英日機械翻訳装置
３０  日本文の入力
３２  英文の出力
３４  英文の入力
３６  日本文の出力
５０  日英対訳コーパス
５２  クラス分け処理部
５４  同義文クラスコーパス
５６  日本語代表文決定部
５８  英語代表文決定部
６０  日本語置換処理部
６２  英語置換処理部
８０  日英翻訳学習部
８２  日英翻訳モデル
８４  英語言語モデル
８６  日英機械翻訳部
１００  英日翻訳学習部
１０２  英日翻訳モデル
１０４  日本語言語モデル
１０６  英日機械翻訳部
【図１】
2007004457.tif 000005
【図２】
2007004457.tif 000006
【図３】
2007004457.tif 000007
【図４】
2007004457.tif 000008
【図５】
2007004457.tif 000009
【図６】
2007004457.tif 000010
【図７】
2007004457.tif 000011
【図８】
2007004457.tif 000012
【図９】
2007004457.tif 000013
【図１０】
2007004457.tif 000014