(57)【要約】【課題】統計翻訳以外の翻訳システムの場合であっても仮説を受理すべきか否かを順位和に基づく信頼度（ＲＳＣＭ）を用いて高い精度で判定できるようにする。【解決手段】機械翻訳の出力仮説の選択装置６０は、複数の機械翻訳装置７０、７２、７４の各々からそれぞれ出力されたＭベストリスト５２、５４、５６を受け、それらを混合して所定のスコアリング手法にしたがって各仮説をスコアリングしＮベストリストを作成するためのスコアリング処理部８０およびソート処理部８２と、作成されたＮベストリストに含まれる仮説のうち、Ｍベストリストの各々の先頭仮説に対し、Ｎベストリスト中におけるＲＳＣＭによるスコアＣrankを算出するためのＣrank算出部８４と、算出されたスコアＣrankがしきい値以上であれば受理し、それ以外であれば棄却する判定部８６とを含む。【選択図】      図１
2006039616.tif 000002
【特許請求の範囲】
【請求項１】
複数の機械翻訳装置の各々からそれぞれ出力された、複数の、仮説のＭベストリスト（Ｍは自然数）を受け、当該複数のＭベストリストを混合して所定のスコアリング手法にしたがって各仮説をスコアリングしＮベストリスト（ＮはＭより大きな自然数）を作成するためのＮベストリスト作成手段と、
前記Ｎベストリスト作成手段により作成されたＮベストリストに含まれる仮説に対し、当該Ｎベストリスト中における順位和による信頼度（ＲＳＣＭ）を算出するための信頼度算出手段と、
前記信頼度算出手段により算出された信頼度が所定の条件を充足するか否かにしたがって、前記複数のＭベストリストの仮説を受理するか棄却するかを判定するための判定手段とを含む、機械翻訳の出力仮説の選択装置。
【請求項２】
前記判定手段は、前記信頼度算出手段により算出された信頼度が予め定めるしきい値以上か否かにしたがって、前記複数のＭベストリストの仮説を受理するか棄却するかを判定するための手段を含む、請求項１に記載の機械翻訳の出力仮説の選択装置。
【請求項３】
前記信頼度算出手段は、前記Ｎベストリストに含まれる仮説のうち、前記複数のＭベストリストの各々の先頭仮説に対し、当該Ｎベストリスト中における順位和による信頼度を算出するための先頭仮説信頼度算出手段を含み、
前記判定手段は、前記先頭仮説信頼度算出手段により算出された信頼度が所定の条件を充足するか否かにしたがって、前記複数のＭベストリストの各々の先頭仮説を受理するか棄却するかを判定するための先頭仮説判定手段とを含む、請求項１または請求項２に記載の機械翻訳の出力仮説の選択装置。
【請求項４】
前記先頭仮説信頼度算出手段は、次の式にしたがって各仮説に含まれる単語のスコアＣrankを算出し、さらに当該仮説に含まれる全単語のスコアＣrankの最小値を求めることにより、各仮説のスコアＣrankを算出するための手段を含む、請求項３に記載の機械翻訳の出力仮説の選択装置。
【数１】
2006039616.tif 000014
ただし、αは自然数ｎに対する単調減少関数、^ｅ1Iは前記複数のＭベストリストの先頭仮説のいずれか、^ｅiは前記^ｅ1I中のｉ番目の単語、ｗ1Inは前記Ｎベストリスト内の先頭からｎ番目の仮説、Ｌi（^ｅ1I,ｗ1In）は、前記^ｅ1Iに基づく、仮説ｗ1Inに対する単語^ｅiのＬｅｖｅｎｓｈｔｅｉｎアライメント、δ（・，・）はクロネッカー関数、をそれぞれ表す。
【請求項５】
前記Ｎベストリスト作成手段は、
所定の対訳コーパスに基づいて、予め準備されたＫ重交差検定型のモデル作成方法により作成された統計的モデル群を記憶するための統計的モデル記憶手段と、
前記統計的モデル記憶手段に記憶された統計的モデル群に含まれる複数の統計的モデルをそれぞれ用いて、前記複数のＭベストリストに含まれる仮説の各々に対し複数の確率的スコアを算出するための確率的スコア算出手段と、
前記複数のＭベストリストに含まれる仮説の各々に対して算出された前記複数の確率的スコアの平均を算出するための平均算出手段と、
前記平均算出手段によって算出された前記確率的スコアの平均によって、前記複数のＭベストリストに含まれる仮説を所定順序で整列することにより、前記Ｎベストリストを作成するための手段とを含む、請求項１〜請求項４のいずれかに記載の機械翻訳の出力仮説の選択装置。
【請求項６】
前記統計的モデル群に含まれる統計的モデルの各々は、前記所定の対訳コーパスに基づいて、前記Ｋ重交差検定型のモデル作成方法により互いに組となるように作成された言語モデルと翻訳モデルとを含む、請求項５に記載の機械翻訳の出力仮説の選択装置。
【請求項７】
コンピュータにより実行されると、当該コンピュータを、請求項１〜請求項６のいずれかに記載の機械翻訳の出力仮説の選択装置として動作させる、コンピュータプログラム。
【請求項８】
請求項７に記載のコンピュータプログラムによりプログラムされた、コンピュータ。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は機械翻訳システムに関し、特に、複数の機械翻訳装置の出力の中から適切な訳のみを選別する機能を持つ機械翻訳システムに関する。
【背景技術】
【０００２】
機械翻訳装置（ＭＴ）の出力が適切なものか否かを測定するための尺度として、統計翻訳（ＳＭＴ）システムで用いられる順位和による信頼度（rank-sum-based  confidence  measure：ＲＳＣＭ）と呼ばれるものがある。ＲＳＣＭは非特許文献１で提案されたものである。
【０００３】
ＲＳＣＭの基本的考えは、ＳＭＴシステムにおけるＮベストリスト出力のうちの、各訳文候補（仮説）の順位に基づいて各Ｎベストリストの先頭仮説の単語の事後確率を算出し、その事後確率を用いて先頭仮説の信頼度を求める、という方法である。
【０００４】
ここで「Ｎベストリスト」とは、ＳＭＴシステムにおいて統計的モデルに基づいて各訳文候補に対し付与される確率的スコアに基づき、スコアが上位であるＮ個の訳文候補からなるリストのことをいう。
【０００５】
いわゆるノンパラメトリック統計等の分野では、通常、統計的検定を行なう際にサンプルの数値自体ではなく、数値により決定された、全サンプル中におけるサンプルの順位を使用する。従来のＲＳＣＭにおいては、Ｎベストリスト中の仮説の確率自体ではなく、その仮説のＮベストリスト中の順位を用いている。より詳細には、従来のＲＳＣＭでは、各仮説の各単語のスコアを、以下のようにして算出している。すなわち、仮説中の各単語について、Ｎベストリスト中の仮説であって、Ｌｅｖｅｎｓｈｔｅｉｎアライメントがされた位置（非特許文献２を参照されたい。）にその単語と同じ単語を含むものを求める。次にそれらの順位を加算し、その結果を用いてその単語のＲＳＣＭスコアを算出する。仮説中の全単語の信頼度が所定のしきい値よりも大きければ、その仮説が正確または完全なものであると判定する。それ以外の場合にはその仮説は誤り／不完全なものと判定する。
【０００６】
従来のＲＳＣＭにおけるスコアは以下のように算出される。まず、^ｅ1Iおよびｗ1InをそれぞれＮベストリスト中の先頭の仮説及びｎ番目の仮説を表すものとする。^ｅiは、先頭の仮説^ｅ1Iのｉ番目の単語を表すものとする。Ｌi(^ｅ1I，ｗ1In)は、先頭仮説^ｅ1Iに基づいた、ｎ番目の仮説ｗ1Inに対する単語^ｅiのＬｅｖｅｎｓｈｔｅｉｎアライメントを表すものとする。単語^ｅiに関する従来のＲＳＣＭは、Ｎベストリスト中の文であって、Ｌｅｖｅｎｓｈｔｅｉｎアライメントにおいてｉにアライメントされた位置に単語^ｅiが存在するものの、仮説の順位の和を全順位の合計で正規化したものである。すなわち単語^ｅiのＲＳＣＭをＣrank（^ｅi）とすると、Ｃrank（^ｅi）は次の式により表される。
【０００７】
【数１】
2006039616.tif 000003
ただしδ(・，・)はクロネッカー関数を表す。ここでは、クロネッカー関数δ（ｘ，ｙ）は、単語または形態素ｘおよびｙが等しければ１、それ以外であれば０をとる関数である。
【０００８】
したがって、単語^ｅiとＬi(^e1I,w1In)とが等しいときのみ、仮説ｗ1Inの順位Ｎ−ｎがＣrank(^ei)の分子に加算される。Ｃrankの計算では、順位ｎではなくＮ−ｎが加算に用いられる。これは、Ｎベストリストの先頭に近い仮説ほど、スコアＣrankに対する貢献が大きいと考えられるためである。
【０００９】
こうして、仮説に含まれる全単語についてＣrankを算出し、その最小値によって各先頭仮説のスコア（信頼度）を算出する。本明細書では、そのようにして各仮説に対して算出されるスコアを仮説のスコアＣrankと呼ぶことにする。
【００１０】
【非特許文献１】Ｎ．ユッフィング他２名、「統計機械翻訳のための信頼度」、ＭＴサミットＩＸ予稿集、ｐｐ．３９４−４０１、２００３年（Nicola  Ueffing，Klaus  Macherey，and  Hermann  Ney，"Confidence  measures  for  statistical  machine  translation"，in  Proc．of  MT  Summit  IX，pp．394-401，2003）
【非特許文献２】Ｖ．Ｉ．レヴェンシュタイン、「削除、挿入および反転の訂正が可能なバイナリコード」、ソヴィエト物理ドクラーディ、１０（８）、ｐｐ．７０７−７１０、１９６６年（Vladimir  I．  Levenshtein，"Binary  codes  capable  of  correcting  deletions,  insertions,  and  reversals",  Soviet  Physics  Doklady,  10(8):707-710,  1966）
【非特許文献３】Ｔ．ドイ他１名、「入力文の分割および翻訳」、ＨＬＴ−ＮＡＡＣＬ２００３ＤＤＭＴワークショップ予稿集、ｐｐ．１０４−１１０、２００３年（Takao  Doi  and  Eiichiro  Sumita,  "Input  sentence  splitting  and  translating",  in  Proc.  the  HLT-NAACL  2003  Workshop  on  DDMT,  pages  104-110,  2003）
【非特許文献４】Ｋ．イマムラ他２名、「自動評価を用いた機械翻訳規則のフィードバッククリーニング」、ＡＣＬ−２００３予稿集、ｐｐ．４４７−４５４、２００３年（Kenji  Imamura,  Eiichiro  Sumita,  and  Yuji  Matsumoto,  "Feedback  cleaning  of  machine  translation  rules  using  automatic  evaluation",  in  Proc.  ACL-2003,  pp.  447-454,  2003）
【非特許文献５】Ｔ．ワタナベ他２名、「チャンクベースの統計翻訳」、ＭＴサミットＩＸ予稿集、ｐｐ．４１０−４１７、２００３年（Taro  Watanabe,  Eiichiro  Sumita,  and  Hiroshi  G.  Okuno,  "Chunk-based  statistical  translation",  in  Proc.  Mt  Summit  IX,  pp.  410-417,  2003）
【非特許文献６】Ｔ．Ｍ．ミッチェル、「機械学習」、マグローヒル社刊、米国ニューヨーク、１９９７年（Tom  M.  Mitchell,  "Machine  Learning",  The  McGraw-Hill  Companies  Inc.,  New  York,  U.S.A.,  1997）
【非特許文献７】Ｔ．タケザワ他４名、「実世界における旅行会話の言語翻訳のための、広範囲のバイリンガルコーパスに向けて」、ＬＲＥＣ−２００２予稿集、ｐｐ．１４７−１５２、２００２年（Takezawa  T.  et  al.,  "Toward  a  Broad-coverage  Bilingual  Corpus  for  Speech  Translation  of  Travel  Conversations  in  the  Real  World",  in  Proc.  LREC-2002,  pp.  147-152,  2002）
【非特許文献８】Ｐ．Ｆ．ブラウン他３名、「統計機械翻訳の数学：パラメータ推定」、計算言語学、１９（２）、ｐｐ．２６３−３１１、１９９３年（Peter  F.  Brown  et  al.,  "The  mathematics  of  statistical  machine  translation:  Parameter  estimation",  Computational  Linguistics,  19(2):  263-311,  1993)
【非特許文献９】甘利他編、「言語と心理の統計−ことばと行動の確率モデルによる分析」（第二部第５章「統計的機械翻訳」）、統計科学のフロンティアシリーズ、第１０巻、岩波書店、ｐｐ．１００−１２８、２００３年
【非特許文献１０】秋葉他、「ＳＭＴ指標を用いた複数翻訳エンジンからの最適訳選択」、情処研報、２００２−ＮＬ−１５０，ｐｐ．６３−６８、情報処理学会、２００２年
【非特許文献１１】Ｐ．クラークスン他１名、「ＣＭＵ−ケンブリッジツールキットを用いた統計的言語モデリング」、ＥＵＲＯＳＰＥＥＣＨ−１９９７予稿集、ｐｐ．２７０７−２７１０、１９９７年（Philip  Clarkson  and  Ronald  Rosenfeld,  "Statistical  language  modeling  using  the  CMU-Cambridge  toolkit",  in  Proc.  EUROSPEECH-1997,  pp.  2707-2710）
【非特許文献１２】Ｆ．Ｊ．オック他１名、「改良統計的アライメントモデル」、ＡＣＬ−２０００予稿集、ｐｐ．４４０−４４７、２０００年（Franz  Josef  Och  and  Hermann  Ney,  "Improved  statistical  alignment  models",  in  Proc.  ACL-2000,  pp.  440-447）
【発明の開示】
【発明が解決しようとする課題】
【００１１】
しかし、従来のＲＳＣＭは、ＳＭＴ翻訳システムに対しては比較的高い性能を示すが、それ以外のタイプの翻訳システムに対しては常によく機能するわけではない。図７に、３種類の既存の翻訳システムとＲＳＣＭとを組合せた場合の結果の相違を、等感受性（Receiver  Operating  Characteristics：ＲＯＣ）曲線で示す。３種類の翻訳システムとは、出願人が開発したＤ３、ＨＰＡＴ、およびＳＡＴ（非特許文献３，４，５をそれぞれ参照）システムである。これらのうち、ＳＡＴのみが統計翻訳システムであり、他の２種はそれ以外の方式のシステムである。
【００１２】
理想的なＲＯＣ曲線は、直交座標表現で（０，１）、（１，１）、（１，０）によりそれぞれ表される正方形の３頂点を結んだ線となる。したがって、求めたＲＯＣ曲線がこの理想的なＲＯＣ曲線に近いほど、ＲＳＣＭの性能は高いということができる。図７に示すとおり、Ｄ３またはＨＰＡＴとＲＳＣＭとを組合せたときのＲＯＣ曲線は上記した理想的なＲＯＣ曲線にはほど遠く、ＳＡＴを用いたものの性能よりはるかに低い。ＲＳＣＭを統計翻訳システムと組合せた場合の性能は高く、これを統計翻訳システム以外のシステムに対して適用した場合にも同様に性能が高いことが望まれる。
【００１３】
したがって本発明の目的は、ＳＭＴ以外の翻訳システムの場合であっても棄却すべき仮説と受理すべき仮説とを高い精度で判定し、判定結果によって仮説の出力の可否を定めることができる機械翻訳の出力仮説の選択装置を提供することである。
【課題を解決するための手段】
【００１４】
本発明の第１の局面に係る機械翻訳の出力仮説の選択装置は、複数の機械翻訳装置の各々からそれぞれ出力された、複数の、仮説のＭベストリスト（Ｍは自然数）を受け、当該複数のＭベストリストを混合して所定のスコアリング手法にしたがって各仮説をスコアリングしＮベストリスト（ＮはＭより大きな自然数）を作成するためのＮベストリスト作成手段と、Ｎベストリスト作成手段により作成されたＮベストリストに含まれる仮説に対し、当該Ｎベストリスト中における順位和によるＲＳＣＭを算出するための信頼度算出手段と、信頼度算出手段により算出された信頼度が所定の条件を充足するか否かにしたがって、複数のＭベストリストの仮説を受理するか棄却するかを判定するための判定手段とを含む。
【００１５】
複数のＭベストリストを混合して得たＮベストリストに基づき、ＲＳＣＭを用いて各仮説の信頼度を算出することにより、単独のＮベストリストおよびＲＳＣＭを用いた場合と比較して最終的な判定の精度を高めることができることが実験的に確かめられた。
【００１６】
好ましくは、判定手段は、信頼度算出手段により算出された信頼度が所定のしきい値以上か否かにしたがって、複数のＭベストリストの各々の先頭仮説を受理するか棄却するかを判定するための手段を含む。
【００１７】
より好ましくは、信頼度算出手段は、Ｎベストリストに含まれる仮説のうち、複数のＭベストリストの各々の先頭仮説に対し、当該Ｎベストリスト中における順位和による信頼度を算出するための先頭仮説信頼度算出手段を含み、判定手段は、先頭仮説信頼度算出手段により算出された信頼度が所定の条件を充足するか否かにしたがって、複数のＭベストリストの各々の先頭仮説を受理するか棄却するかを判定するための先頭仮説判定手段とを含む。
【００１８】
好ましくは、信頼度算出手段は、次の式にしたがって各仮説に含まれる単語のスコアＣrankを算出し、さらに当該仮説に含まれる全単語のスコアＣrankの最小値を求めることにより、各仮説のスコアＣrankを算出するための手段を含む。
【００１９】
【数２】
2006039616.tif 000004
ただし、α（ｎ）は自然数ｎに関する単調減少関数、^ｅ1Iは複数のＭベストリストの先頭仮説のいずれか、^ｅiは^ｅ1I中のｉ番目の単語、ｗ1InはＮベストリスト内の先頭からｎ番目の仮説、Ｌi（^ｅ1I,ｗ1In）は、^ｅ1Iに基づく、仮説ｗ1Inに対する単語^ｅiのＬｅｖｅｎｓｈｔｅｉｎアライメント、δ（・，・）はクロネッカー関数、をそれぞれ表す。
【００２０】
Ｎベストリスト作成手段は、所定の対訳コーパスに基づいて、予め準備されたＫ重交差検定型のモデル作成方法により作成された統計的モデル群を記憶するための統計的モデル記憶手段と、統計的モデル記憶手段に記憶された統計的モデル群に含まれる複数の統計的モデルをそれぞれ用いて、複数のＭベストリストに含まれる仮説の各々に対し複数の確率的スコアを算出するための確率的スコア算出手段と、複数のＭベストリストに含まれる仮説の各々に対して算出された複数の確率的スコアの平均を算出するための平均算出手段と、平均算出手段によって算出された確率的スコアの平均によって、複数のＭベストリストに含まれる仮説を所定順序で整列することにより、Ｎベストリストを作成するための手段とを含んでもよい。
【００２１】
好ましくは、統計的モデル群に含まれる統計的モデルの各々は、所定の対訳コーパスに基づいて、Ｋ重交差検定型のモデル作成方法により互いに組となるように作成された言語モデルと翻訳モデルとを含む。
【００２２】
本発明の第２の局面に係るコンピュータプログラムは、コンピュータにより実行されると、当該コンピュータを、上記したいずれかの機械翻訳の出力仮説の選択装置として動作させるものである。
【００２３】
本発明の第３の局面に係るコンピュータは、上記したコンピュータプログラムによりプログラムされたものであり、その結果、上記したいずれかの機械翻訳の出力仮説の選択装置として動作する。
【発明を実施するための最良の形態】
【００２４】
−構成−
図１に、本発明の第１の実施の形態に係る機械翻訳システム２０の全体構成をブロック図形式で示す。図１を参照して、この機械翻訳システム２０は、予め準備した対訳コーパスである学習コーパス３０から、Ｋ重交差検定法と同様のモデル学習処理を行なうことにより、各々同じ数のモデルを含む言語モデル群３４および翻訳モデル群３６を作成するためのＫ重交差検定型モデル作成装置３２と、入力３８を前述したように３つの機械翻訳システムを使用して翻訳し、その結果から言語モデル群３４および翻訳モデル群３６を使用して好ましい翻訳結果を出力４２として出力するための機械翻訳装置４０とを含む。
【００２５】
学習コーパス３０は対訳コーパスであって、各対訳に含まれる２つの言語の文の間でのアライメントが行なわれている。
【００２６】
機械翻訳装置４０は、入力３８を前述した３つの機械翻訳システムを使用して翻訳して得られた３つのＭベストリスト（前述したＮベストリストと同じ種類のリストであるが、スコア先頭からＭ個の仮説をリストしたものである。）５２、５４および５６を出力するための機械翻訳部５０と、機械翻訳部５０の出力した３つのＭベストリスト５２、５４および５６をすべて記憶するためのＭベストリスト記憶装置５８と、Ｍベストリスト記憶装置５８に記憶された３つのＭベストリストを混合し、いずれも予め準備した、機械翻訳部５０における翻訳の目的言語の言語モデル群３４、及び翻訳の目的言語から原言語への翻訳モデル群３６を参照して計算した確率スコアを用いて前述したスコアＣrankを用いたものと同じ算出方式のノンパラメトリックなスコア付けを各仮説に対して行ない、その結果を用いて３つのＭベストリストの先頭仮説の各々を受理するか棄却するかを決定するための受理／棄却処理部６０とを含む。
【００２７】
なお、Ｍベストリストの「Ｍ」は、いずれの機械翻訳処理部からのものも等しいことが望ましいが、必ずしも互いに等しくなくてもよい。
【００２８】
機械翻訳部５０は、いずれも入力３８を翻訳して翻訳結果の仮説をそれぞれＭベストリスト５２、５４および５６として出力するための第１の機械翻訳処理部７０、第２の機械翻訳処理部７２および第３の機械翻訳処理部７４を含む。本実施の形態では、第１の機械翻訳処理部７０として前述したＤ３を、第２の機械翻訳処理部７２として前述したＨＰＡＴを、第３の機械翻訳処理部７４として前述したＳＡＴを、それぞれ使用する。
【００２９】
受理／棄却処理部６０は、Ｍベストリスト記憶装置５８に記憶された３つのＭベストリストに含まれる各仮説に対し、言語モデル群３４及び翻訳モデル群３６を用いて後述するように所定の確率スコアを算出し各仮説とともにスコア付仮説を出力するためのスコアリング処理部８０と、スコアリング処理部８０と通信を行なうことによって全ての確率スコア付の仮説を蓄積し、それら全て混合したリスト（これを本実施の形態ではＮベストリストと呼ぶ。）内の仮説を対応する確率スコアにしたがって降順にソートするためのソート処理部８２と、ソート処理部８２により作成されたリスト中の各仮説の順位に基づき、従来技術と同様の算出式（ただし、以下に説明するように一部の変更がある。）にしたがって、Ｍベストリスト５２、５４および５６の各々の先頭仮説のスコアＣrankを算出するためのＣrank算出部８４と、Ｍベストリスト５２、５４および５６の先頭仮説の各々に対し、Ｃrank算出部８４により算出された全ての訳語のスコアＣrankが所定のしきい値以上か否かを判定し、しきい値以上のスコアＣrankを持つ仮説のみを出力４２として出力するための判定部８６とを含む。
【００３０】
本実施の形態に係る機械翻訳システム２０は３つの機械翻訳処理部７０、７２および７４を有し、出力されるＭベストリストも３つある。したがって受理／棄却処理部６０が出力する可能性のある仮説は０個〜３個の範囲である。
【００３１】
図１に示すスコアリング処理部８０は、学習コーパス３０に基づいて、各先頭仮説の確率的スコアを算出する機能を持つ。自然言語処理で通常用いられる確率には、言語モデル確率と翻訳モデル確率とがある。言語モデル確率とは、ある言語の文において、可能なｎ−グラム（特定の順序でならんでいるｎ個の単語。）が現れる確率である。言語モデル確率を全てのｎ−グラムに対して算出したものが言語モデルである。通常、ｎ＝１，２または３が用いられる。実際に使用されている言語でこのような確率を算出するのは不可能なので、通常は、学習コーパス３０のようなコーパスがこの算出のために用いられる。
【００３２】
翻訳モデルも同様である。ここでは、非特許文献８に記載の翻訳モデルを使用する。翻訳モデルの算出には、訳語の対応付け（アライメント）がされた対訳文を多数含む対訳コーパスが必要である。ある言語Ａから別の言語Ｂへの翻訳モデルの算出では、言語Ｂの単語ｂに対し、その単語ｂに翻訳される確率を言語Ａの単語ａの全てについて調べて合計する。そして、言語Ｂのすべての単語についてそのような値を算出し、そうした単語と値との対の集まりを言語Ａから言語Ｂへの翻訳モデルと呼ぶ。翻訳モデルの学習法については、非特許文献９を参照されたい。
【００３３】
機械翻訳により得られた仮説のスコアリングを行なう際には、目的言語の言語モデルにより算出される言語モデル確率と、目的言語及び原言語間の翻訳モデルにより算出される翻訳モデル確率との積がよく使用される（非特許文献１０を参照されたい。）。しかしこれらの値はいずれも統計的なものであって、同じ学習コーパスからサブコーパスを作成し、それらサブコーパスを用いてこれらの学習を行なうと、サブコーパスのサイズが同じであってもサブコーパスによって言語モデル確率および翻訳モデル確率が異なってくることが知られている。そのように不安定な言語モデル確率および翻訳モデル確率を用いると、ロバストなＣrank算出が不可能となり、その結果精度のよい受理／棄却処理もできなくなる。
【００３４】
そこで本実施の形態では、以下に述べるようにＫ重交差検定処理と同様の方法によって学習コーパス３０から複数個の訓練用サブコーパスを作成する。それらをそれぞれ用いて複数個の言語モデル群３４および翻訳モデル群３６の学習を行なう。スコアリング処理部８０でのスコアリングでは、以下に述べるように、同じサブコーパスから作成された言語モデルと翻訳モデルとを使用して各仮説に対するスコアリングを行なう。
【００３５】
図２に、Ｋ重交差検定型モデル作成装置３２の詳細なブロック図を示す。図２を参照して、Ｋ重交差検定型モデル作成装置３２は、Ｋ重交差検定処理（本実施の形態ではＫ＝３）を行なう際と同様に、学習コーパス３０からＫ個のサブコーパス９２、９４、９６を作成するためのＫ重分割処理部９０を含む。本実施の形態ではＫ＝３である。より具体的にはＫ重分割処理部９０は、学習コーパス３０を３つの部分コーパスにほぼ等分し、それらのうち２つずつの組合せからなるサブコーパス９２、９４および９６を作成する機能を持つ。
【００３６】
Ｋ重交差検定型モデル作成装置３２はさらに、サブコーパス９２から第１の言語モデル１１０および第１の翻訳モデル１１２を作成するための第１のモデル作成部１００と、サブコーパス９４から第２の言語モデル１１４および第２の翻訳モデル１１６を作成するための第２のモデル作成部１０２と、サブコーパス９６から第３の言語モデル１１８および第３の翻訳モデル１２０を作成するための第３のモデル作成部１０４とを含む。第１の言語モデル１１０、第２の言語モデル１１４、および第３の言語モデル１１８により言語モデル群３４が形成される。第１の翻訳モデル１１２、第２の翻訳モデル１１６および第３の翻訳モデル１２０により翻訳モデル群３６が形成される。言語モデルはＣＭＵ−ケンブリッジツールキット（非特許文献１１を参照されたい。）により、翻訳モデルはＧＩＺＡ＋＋（非特許文献１２を参照されたい。）という名称のツールにより、それぞれ学習を行なうことができる。
【００３７】
第１のモデル作成部１００は、サブコーパス９２に基づいて第１の言語モデル１１０を作成するための言語モデル作成部１３０と、サブコーパス９２に基づいて第１の翻訳モデル１１２を作成するための翻訳モデル作成部１３２とを含む。第２のモデル作成部１０２および第３のモデル作成部１０４の構成は第１のモデル作成部１００と同様である。
【００３８】
図１に示すスコアリング処理部８０は、言語モデル群３４および翻訳モデル群３６を用いてロバストな確率スコアリング処理を行なうためのものである。図３を参照して、スコアリング処理部８０は、ソート処理部８２から与えられる受信確認信号１５６または図示しない処理開始信号に応答してＭベストリスト記憶装置５８に記憶された３つのＭベストリストに含まれる仮説を順に一つ読出すための仮説読出部１５０と、仮説読出部１５０から与えられる各仮説に対し、第１の言語モデル１１０および第１の翻訳モデル１１２を用いてそれぞれ算出された言語モデル確率および翻訳モデル確率の積を算出するための第１の確率スコアリング処理部１４０と、各仮説に対し、第２の言語モデル１１４および第２の翻訳モデル１１６を用いてそれぞれ算出された言語モデル確率および翻訳モデル確率の積を算出するための第２の確率スコアリング処理部１４２と、第３の言語モデル１１８および第３の翻訳モデル１２０を用いてそれぞれ算出された言語モデル確率および翻訳モデル確率の積を算出するための第３の確率スコアリング処理部１４４と、第１の確率スコアリング処理部１４０、第２の確率スコアリング処理部１４２および第３の確率スコアリング処理部１４４の出力を合計するための加算部１４６と、加算部１４６により計算された合計をＫ（本実施の形態ではＫ＝３）で除算するための除算部１４８と、仮説読出部１５０から与えられる仮説および除算部１４８の出力を一旦記憶し、確率スコア付仮説１５４としてソート処理部８２に与えるためのバッファ１５２とを含む。加算部１４６と除算部１４８とにより、第１の確率スコアリング処理部１４０、第２の確率スコアリング処理部１４２および第３の確率スコアリング処理部１４４の出力の平均が算出される。
【００３９】
なお、仮説読出部１５０は、全ての仮説に対する処理が終了すると読出完了信号１５８をソート処理部８２に送出する機能を持つ。一方、ソート処理部８２は、バッファ１５２から確率スコア付の仮説１５４の受信が完了するたびに受信完了信号１５６を仮説読出部１５０に与える機能を持つ。
【００４０】
第１の確率スコアリング処理部１４０は、各仮説および第１の言語モデル１１０に基づいて各仮説の言語モデル確率を算出するための言語モデル確率算出部１６０と、各仮説および第１の翻訳モデル１１２に基づいて各仮説の翻訳モデル確率を算出するための翻訳モデル確率算出部１６２と、言語モデル確率算出部１６０の出力する言語モデル確率に翻訳モデル確率算出部１６２の出力する翻訳モデル確率を乗算するための乗算部１６４とを含む。
【００４１】
同様に、第２の確率スコアリング処理部１４２は言語モデル確率算出部１７０、翻訳モデル確率算出部１７２、および乗算部１７４を含み、第３の確率スコアリング処理部１４４は、言語モデル確率算出部１８０、翻訳モデル確率算出部１８２、および乗算部１８４を含む。
【００４２】
前述したとおり、Ｃrank算出部８４は従来と同様の計算式により各仮説のスコアＣrankを算出するが、従来の技術で示した式と異なり、以下の式を用いる。
【００４３】
【数３】
2006039616.tif 000005
この式を従来の式と比較すると、加算する値として「Ｎ−ｎ」ではなく「Ｎ−ｎ＋１」を用いていることが分かる。これは、「Ｎ−ｎ＋１」を用いると、その総合計が分母と同じＮ（Ｎ＋１）／２となるためである。また、同じスコアの仮説が複数ある場合、それらのスコアＣrankの算出には、それらの仮説の順位の平均値を割当てる。
【００４４】
なお、さらに一般的にはＣrankは以下のように表すことができる。
【００４５】
【数４】
2006039616.tif 000006
ただしα（ｎ）は自然数ｎに対する単調減少関数である。したがって、例えば次の式にしたがってＣrankを算出しても良い。
【００４６】
【数５】
2006039616.tif 000007
【００４７】
このように、本実施の形態では、従来のＲＳＣＭと異なり、複数のＭベストリストを混合したＮベストリストに対してＲＳＣＭと同様の式によりスコアＣrankを算出する。したがって、本実施の形態に係るようなスコアＣrankの算出方法を改良ＲＳＣＭと呼ぶことにする。
【００４８】
−動作−
本実施の形態に係る機械翻訳システム２０は以下のように動作する。機械翻訳システム２０の動作は３つのフェーズに分けられる。第１のフェーズでは、Ｋ重交差検定型モデル作成装置３２が学習コーパス３０から言語モデル群３４および翻訳モデル群３６を作成する。第２のフェーズでは、機械翻訳装置４０の機械翻訳部５０が、入力３８を翻訳し、それぞれＭベストリスト５２、５４および５６を出力し、Ｍベストリスト記憶装置５８に格納する。第３のフェーズでは、受理／棄却処理部６０がＭベストリスト記憶装置５８に格納された３つのＭベストリスト５２、５４および５６の各仮説に対するスコアリング処理を行ない、３つのＭベストリスト５２、５４および５６の各々の先頭仮説を受理するか棄却するかを決定する。以下、各フェーズにおける機械翻訳システム２０の動作を順に説明する。
【００４９】
−第１のフェーズ（モデル群の作成）−
予め、対訳コーパスである学習コーパス３０が準備されているものとする。図２を参照して、Ｋ重分割処理部９０が学習コーパス３０から３個のサブコーパス９２、９４および９６を作成する。第１のモデル作成部１００が、第１のサブコーパス９２に基づいて第１の言語モデル１１０および第１の翻訳モデル１１２を作成する。同様に、第２のモデル作成部１０２が、サブコーパス９４から第２の言語モデル１１４および第２の翻訳モデル１１６を作成する。第３のモデル作成部１０４が、サブコーパス９６から第３の言語モデル１１８および第３の翻訳モデル１２０を作成する。第１の言語モデル１１０、第２の言語モデル１１４、および第３の言語モデル１１８によって言語モデル群３４が構成される。第１の翻訳モデル１１２、第２の翻訳モデル１１６、および第３の翻訳モデル１２０により翻訳モデル群３６が構成される。言語モデル群３４および翻訳モデル群３６は、受理／棄却処理部６０による処理で使用されるため、コンピュータ読取可能な形式で受理／棄却処理部６０に接続される。
【００５０】
−第２のフェーズ（機械翻訳）−
図１を参照して、入力３８が、第１の機械翻訳処理部７０、第２の機械翻訳処理部７２および第３の機械翻訳処理部７４にそれぞれ与えられる。第１の機械翻訳処理部７０は入力３８を翻訳して、Ｍベストリスト５２を出力する。第２の機械翻訳処理部７２および第３の機械翻訳処理部７４もそれぞれＭベストリスト５４および５６を出力する。これらＭベストリスト５２、５４および５６は、いずれもコンピュータ読取可能な形式でＭベストリスト記憶装置５８に格納される。
【００５１】
−第３のフェーズ（受理／棄却処理）−
図１を参照して、言語モデル群３４および翻訳モデル群３６と、Ｍベストリスト記憶装置５８へのＭベストリスト５２、５４および５６の格納とが完了すると、受理／棄却処理部６０は、これらＭベストリスト５２、５４および５６の各々の先頭仮説の受理または棄却を、以下のようにして決定する。
【００５２】
図３を参照して、仮説読出部１５０は、図示しない処理開始信号に応答して、Ｍベストリスト記憶装置５８に格納されたＭベストリストから最初の仮説を読出して第１の確率スコアリング処理部１４０、第２の確率スコアリング処理部１４２、第３の確率スコアリング処理部１４４、およびバッファ１５２に与える。バッファ１５２はこの仮説を一時格納する。
【００５３】
第１の確率スコアリング処理部１４０の言語モデル確率算出部１６０は、与えられた仮説と第１の言語モデル１１０とに基づいて、与えられた仮説に対する言語モデル確率を算出し乗算部１６４に与える。翻訳モデル確率算出部１６２は、与えられた仮説と第１の翻訳モデル１１２と入力３８とに基づいて、与えられた仮説に対する翻訳モデル確率を算出し、乗算部１６４に与える。乗算部１６４は、言語モデル確率算出部１６０からの言語モデル確率と翻訳モデル確率算出部１６２からの翻訳モデル確率とを乗算し、その結果得られたスコアを加算部１４６に与える。
【００５４】
第２の確率スコアリング処理部１４２の言語モデル確率算出部１７０は、与えられた仮説と第２の言語モデル１１４とに基づいて、与えられた仮説に対する言語モデル確率を算出し乗算部１７４に与える。翻訳モデル確率算出部１７２は、与えられた仮説と第２の翻訳モデル１１６と入力３８とに基づいて、与えられた仮説に対する翻訳モデル確率を算出し、乗算部１７４に与える。乗算部１７４は、言語モデル確率算出部１７０からの言語モデル確率と翻訳モデル確率算出部１７２からの翻訳モデル確率とを乗算し、その結果得られたスコアを加算部１４６に与える。
【００５５】
第３の確率スコアリング処理部１４４の言語モデル確率算出部１８０は、与えられた仮説と第３の言語モデル１１８とに基づいて、与えられた仮説に対する言語モデル確率を算出し乗算部１８４に与える。翻訳モデル確率算出部１８２は、与えられた仮説と第３の翻訳モデル１２０と入力３８とに基づいて、与えられた仮説に対する翻訳モデル確率を算出し、乗算部１８４に与える。乗算部１８４は、言語モデル確率算出部１８０からの言語モデル確率と翻訳モデル確率算出部１８２からの翻訳モデル確率とを乗算し、その結果得られたスコアを加算部１４６に与える。
【００５６】
加算部１４６は、乗算部１６４、１７４および１８４の出力するスコアの合計を算出し、除算部１４８に与える。除算部１４８は、加算部１４６から与えられた値を「３」で除算して結果を出力する。すなわち加算部１４６および除算部１４８は、第１の確率スコアリング処理部１４０、第２の確率スコアリング処理部１４２、および第３の確率スコアリング処理部１４４が算出するスコアの平均値を算出しソート処理部８２に与える。したがってソート処理部８２には、各仮説とその平均スコアとが確率スコア付仮説１５４として与えられる。このとき、Ｍベストリスト５２、５４および５６の各々の先頭仮説については、それを示す情報が仮説に付される。
【００５７】
ソート処理部８２は、この値を受取ると仮説読出部１５０に対して受信確認信号１５６を与える。この受信確認信号１５６に応答して仮説読出部１５０は２番目の仮説をＭベストリスト記憶装置５８から読出す。以下、この処理を全ての仮説に対する処理が終了するまで繰返す。仮説読出部１５０は、全ての仮説の読出が完了すると、読出完了信号１５８をソート処理部８２に与える。
【００５８】
ソート処理部８２は、スコアリング処理部８０から与えられる仮説と確率スコアとを組にして記憶していく。ソート処理部８２は、仮説読出部１５０から読出完了信号１５８が与えられると、記憶した全ての仮説をその確率スコアにしたがって降順にソートする。ソート結果はＣrank算出部８４に与えられる。このときにも、Ｍベストリスト５２、５４および５６の各々の先頭仮説については、それを示す情報が仮説に付される。
【００５９】
Ｃrank算出部８４は、前記した式にしたがって、Ｍベストリスト５２、５４および５６の各々の先頭仮説のスコアＣrankを算出する。Ｃrank算出部８４は、Ｍベストリスト５２、５４および５６の各々の先頭仮説を、そのスコアＣrankと共に判定部８６に与える。
【００６０】
判定部８６は、Ｍベストリスト５２、５４および５６の各々の先頭仮説のスコアＣrankが所定のしきい値以上か否かを判定する。判定部８６は、スコアＣrankがしきい値以上と判定された仮説を出力し、それ以外の仮説を棄却する。
【００６１】
−実験結果−
上記した実施の形態に係る機械翻訳システム２０を用いて以下のような実験を行なった。すなわち、機械翻訳システム２０に含まれる各機械翻訳処理部７０、７２、７４の出力の先頭仮説が満足なものか否か、すなわちユーザの許容できる訳質以上の訳質か否かを判定する。そのため、各機械翻訳処理部７０、７２、７４の翻訳結果の訳質を以下のようにＡ、Ｂ、ＣおよびＤの４段階で評価した。（Ａ）優：訳文中の情報と文法との双方に問題がない。（Ｂ）良：情報の一部が不足するか、文法的に誤りがあるが内容の理解は容易。（Ｃ）可：文法的に誤っているが、努力すれば理解できる。（Ｄ）不可：重要な情報が不適切に翻訳されている。この実験では、図１に示す３つのＭベストリスト５２、５４および５６の各先頭仮説に対し、翻訳の目的言語（翻訳後の言語）に堪能な９人の話者による評価を予め行ない、その中央値を各仮説の評価値としておいた。
【００６２】
本実施の形態に係る評価方法の妥当性について、ＲＯＣ曲線、Ｈ平均、および正解率により評価した。機械翻訳処理部７０、７２および７４の各々に対して、これらの値がコンフュージョンマトリックス（表１）を用いて算出される。
【００６３】
【表１】
2006039616.tif 000008
例えば、上記実施の形態のシステムで日英翻訳を行なう場合、機械翻訳処理部７０、７２および７４の出力する３つの３ベストリストに対し上記した改良ＲＳＣＭによる処理を行なって、各３ベストリストの先頭仮説に対する上記した評価を行なった。比較のために、単一の機械翻訳部からの１０ベストリストを使用する機械翻訳システムに対してＲＳＣＭを用いた結果についても同様の評価を行なった。評価を各機械翻訳処理部とＲＳＣＭごとに別々のコンフュージョンマトリックスに加算した。この評価で用いられた尺度は以下のとおりである。
【００６４】
「ＲＯＣ曲線」とは、種々のしきい値に対して、棄却正解率に対して受理正解率をプロットしたものである。「受理正解率（ＣＡＲ：Correct  Acceptance  Rate）」とは、満足すべき仮説のうち受理されたものの数を、満足すべき仮説の総数で除した値、すなわち表１中の記号を用いて表せばＶs,a／Ｖsのことをいう。「棄却正解率（ＣＲＲ：Correct  Rejection  Rate）」とは、不十分な仮説のうち棄却されたものの数を、不十分な仮説の総数で除した値、すなわち表１中の記号を用いて表せばＶu,r／Ｖuのことをいう。
【００６５】
Ｈ平均とは、ＣＡＲとＣＲＲとの調和平均、すなわち２＊ＣＡＲ＊ＣＲＲ／（ＣＡＲ＋ＣＲＲ）のことをいう。
【００６６】
正解率とは、ＣＡＲとＣＲＲとの加重平均、すなわち（Ｖs＊ＣＡＲ＋Ｖu＊ＣＲＲ）／（Ｖs＋Ｖu）＝（Ｖs,a＋Ｖu,r）／（Ｖs＋Ｖu）のことをいう。
【００６７】
Ｈ平均と正解率との双方について、１０重交差検定を行なった。交差検定で除外されたもの以外のサブセットに対し上記した性能が最大化されるようにしきい値を定め、そのしきい値を用いて、除外されたサブセットについて性能を計算した。Ｈ平均と正解率とにおける、信頼度の性能差を統計的に検定するために、１０重交差検定法の結果に基づく一対ｔ検定（非特許文献６を参照されたい。）を行なった。性能の相違が以下の条件を充足する場合、その相違は１−α％の信頼度で統計的に見て異なったものとなる。
【００６８】
【数６】
2006039616.tif 000009
ここで、ＰproとＰextとはそれぞれ、本実施の形態に係る改良ＲＳＣＭと、従来のＲＳＣＭとの平均性能を表し、ｔ(α,10-1)は（１０−１）自由度を持つステューデントの分布であり、Ｓは性能差の平均の推定標準偏差を表す。
【００６９】
上記した３タイプの機械翻訳処理部７０、７２および７４の各々に対し、英日翻訳を行なうものと日英翻訳を行なうものとを準備した。表２にこれら機械翻訳処理部の性能を示す。
【００７０】
【表２】
2006039616.tif 000010
実験で使用したテストセットは、英語と日本語との対訳を５１０個含むものである。これら対訳は、出願人が作成した基本旅行表現コーパス（ＢＴＥＣ：Basic  Travel  Expression  Corpus）（非特許文献７参照）からランダムに抽出したものである。
【００７１】
言語モデルおよび翻訳モデルの学習に使用したコーパスは、テストセット以外の上記ＢＴＥＣである。その統計的特徴を表３に示す。
【００７２】
【表３】
2006039616.tif 000011
学習が行なわれた言語モデルと翻訳モデルとの数はそれぞれ３個である。
【００７３】
−結果−
ＲＯＣ曲線を求めるため、図７に結果を示したものと同じ実験を行なった。すなわち、満足すべき翻訳が上記したクラスＡのみである場合には、改良ＲＳＣＭと従来のＲＳＣＭとの双方とも、３つの先頭仮説のうちでクラスＡのみを受理し、クラスＢ，Ｃ，Ｄを棄却するように設定した。図４〜図６にそれぞれ、いずれも日英翻訳を行なうＤ３、ＨＰＡＴ、およびＳＡＴに対するＲＯＣ曲線を示す。これらの図において、菱形、たて棒、三角および正方形マークで示した曲線は、それぞれ従来のＲＳＣＭを用いたもの、Ｄ３、ＨＰＡＴおよびＳＡＴの３ベストリストを混合したものを用いた、本実施の形態に係る改良ＲＳＣＭを用いたもの、Ｄ３およびＨＰＡＴの２つの５ベストリストを混合したものを用いた、本実施の形態に係る改良ＲＳＣＭを用いたもの、およびスコアリングを併用した従来のＲＳＣＭを用いたもの、のＲＯＣ曲線をそれぞれ示す。スコアリングを併用した従来のＲＳＣＭを用いたものでは、最初のＮベストリストに対し、上記実施の形態で説明したスコアリング手法を用いて再スコアリングを行なう。さらに、得られたスコアの平均を用いて仮説をソートする。そして、ソート後のリストを用いてＲＳＣＭによるスコアリングを行なう。
【００７４】
図４〜図６において、点線で示したのはＨ平均で０．７〜０．８に相当する等高線である。理想的なＲＯＣ曲線は、前述したとおり（０，１）、（１，１）、および（１，０）を結んだ正方形の２辺により示される曲線である。したがって、曲線がこの正方形に近づけば近づくほど、ＲＳＣＭの性能は高いということができる。
【００７５】
図４から分かるように、３つの３ベストリストを混合したものを用いた改良ＲＳＣＭによるＲＯＣ曲線は、従来のＲＳＣＭを用いたものと比較してはるかに正方形に近いことが分かる。また、図５に示されるように、２つの５ベストリストを混合したものを用いた改良ＲＳＣＭによるＲＯＣ曲線も、従来のＲＳＣＭを用いたものと比較してはるかに正方形に近い。特に、もともとＲＳＣＭに適したＳＭＴシステムの出力を用いない場合であっても、よい性能が得られたことに注意すべきである。
【００７６】
また、図４および図５から、Ｎベストリストをスコアリングしてから従来のＲＳＣＭを用いたものにおいても、もとのＮベストリストに対して従来のＲＳＣＭを適用した場合より正方形に近いＲＯＣ曲線が得られている。したがって、ＳＭＴシステム以外の方式を用いる翻訳処理システム（例えばＤ３およびＨＰＡＴ）に対して、本実施の形態による改良ＲＳＣＭを用いるとはるかによい性能が得られることが分かる。
【００７７】
図６からは、ＳＭＴシステム（ＳＡＴ）に対しては、本実施の形態に係る改良ＲＳＣＭを用いた場合と、従来のＲＳＣＭを用いた場合とでは性能にそれほど相違がないことが分かる。ただし、ＣＡＲがＣＲＲより大きいところでは従来のＲＳＣＭを用いたもののＲＯＣ曲線がより正方形に近く、それ以外のところでは改良ＲＳＣＭを用いたもののＲＯＣ曲線がより正方形に近い。したがって、ＣＲＲをより重視すべきときには、改良ＲＳＣＭを用いたものの方がよりよい性能を得ることができる。
【００７８】
表４および表５に、それぞれＨ平均および正解率に対して１０重交差検定に基づく一対ｔ検定法を適用した結果を示す。
【００７９】
【表４】
2006039616.tif 000012
【００８０】
【表５】
2006039616.tif 000013
表４および表５において、各欄は３つの機械翻訳システムＤ３、ＨＰＡＴおよびＳＡＴについて行なった実験の結果得られた性能（表４はＨ平均について、表５は正解率について）を示す。各機械翻訳システムについての３つの欄に示した小数値はいずれも、本実施の形態に係る改良ＲＳＣＭの平均性能、改良ＲＳＣＭと従来のＲＳＣＭとの性能の差、および左横の差のｔ値を、それぞれ示す。太字で示した数字は、左横の差が９５％の信頼度で有意であることを表す。「分割位置」は、ユーザが許容する訳質として設定したクラスを表し、「｜」の左側が許容するクラス、右側が許容しないクラスを、それぞれ表す。
【００８１】
表４によれば、非ＳＭＴシステムに対しては、ユーザが許容するクラスがどのような場合であっても、本実施の形態に係る改良ＲＳＣＭを用いたＨ平均は従来のＲＳＣＭと比較してかなりよい。ＳＭＴシステムに対しては、英日ＳＡＴの「ＡＢＣ｜Ｄ」および日英の「ＡＢ｜ＣＤ」の場合を除き、改良ＲＳＣＭを用いた場合と従来のＲＳＣＭを用いた場合とでＨ平均には有意な相違はない。
【００８２】
表５に示された結果は、表４に示されたものとほとんど同じである。異なる点は「ＡＢＣ｜Ｄ」の場合、有意な点がない点である。
【００８３】
評価尺度としての正解率は、満足すべき翻訳と不十分な翻訳との数の比に大きな影響を受ける。Ｈ平均はこの比に対し独立である。状況に応じ、これら２つの尺度を使い分ける必要がある。一般的には、自然な評価尺度であるＨ平均を用いることが望ましい。テストセットが何らかの特殊な状況を反映しているような場合には、正解率を使うと便利である。
【００８４】
以上のように、非ＳＭＴシステムを使用する場合、本実施の形態に係るＲＳＣＭを用いると、従来のＲＳＣＭを用いた場合と比較して非常に高い性能が得られる。またＳＭＴシステムを使用する場合でも、本実施の形態に係るＲＳＣＭを用いると、従来のＲＳＣＭを用いた場合と遜色のない性能を得ることができる。
【００８５】
なお、本発明が上記した実施の形態に限定されないことはもちろんである。例えば、上記した実施の形態では、各Ｍベストリストの先頭仮説についてのみ、受理すべきか棄却すべきかを判定したが、先頭仮説だけでなく、各Ｍベストリストの上位の複数個の仮説について同様の判定をしてもよい。また、全ての仮説について同様の判定を行なうようにしてもよい。
【００８６】
また、上記実施の形態では３つの機械翻訳システムを利用したが、２つまたは４つ以上の機械翻訳システムを利用しても良いことはいうまでもない。
【００８７】
−コンピュータによる実現−
この実施の形態に係る機械翻訳システムは、コンピュータハードウェアと、そのコンピュータハードウェアにより実行されるプログラムと、コンピュータハードウェアに格納されるデータとにより実現される。図８はこのコンピュータシステム３３０の外観を示し、図９はコンピュータシステム３３０の内部構成を示す。
【００８８】
図８を参照して、このコンピュータシステム３３０は、ＦＤ（フレキシブルディスク）ドライブ３５２およびＣＤ−ＲＯＭ（コンパクトディスク読出専用メモリ）ドライブ３５０を有するコンピュータ３４０と、キーボード３４６と、マウス３４８と、モニタ３４２とを含む。
【００８９】
図９を参照して、コンピュータ３４０は、ＦＤドライブ３５２およびＣＤ−ＲＯＭドライブ３５０に加えて、ＣＰＵ（中央処理装置）３５６と、ＣＰＵ３５６、ＦＤドライブ３５２およびＣＤ−ＲＯＭドライブ３５０に接続されたバス３６６と、ブートアッププログラムなどを記憶する読出専用メモリ（ＲＯＭ）３５８と、バス３６６に接続され、プログラム命令、システムプログラム、および作業データなどを記憶するランダムアクセスメモリ（ＲＡＭ）３６０とを含む。コンピュータシステム３３０はさらに、プリンタ３４４を含んでいる。
【００９０】
ここでは示さないが、コンピュータ３４０はさらにローカルエリアネットワーク（ＬＡＮ）への接続を提供するネットワークアダプタボードを含んでもよい。
【００９１】
コンピュータシステム３３０にこの実施の形態に係る機械翻訳システムとしての動作を行なわせるためのコンピュータプログラムは、ＣＤ−ＲＯＭドライブ３５０またはＦＤドライブ３５２に挿入されるＣＤ−ＲＯＭ３６２またはＦＤ３６４に記憶され、さらにハードディスク３５４に転送される。または、プログラムは図示しないネットワークを通じてコンピュータ３４０に送信されハードディスク３５４に記憶されてもよい。プログラムは実行の際にＲＡＭ３６０にロードされる。ＣＤ−ＲＯＭ３６２から、ＦＤ３６４から、またはネットワークを介して、直接にＲＡＭ３６０にプログラムをロードしてもよい。
【００９２】
このプログラムは、コンピュータ３４０にこの実施の形態に係る機械翻訳システムとしての動作を行なわせるように配列された複数の命令を含む。この動作を行なわせるのに必要な基本的機能のいくつかはコンピュータ３４０上で動作しているオペレーティングシステム（ＯＳ）またはサードパーティのプログラム、もしくはコンピュータ３４０にインストールされる各種ツールキットのモジュールにより提供される。したがって、このプログラムはこの実施の形態の機械翻訳システムおよび方法を実現するのに必要な機能全てを必ずしも含まなくてよい。このプログラムは、命令のうち、所望の結果が得られるように制御されたやり方で適切な機能または「ツール」を呼出すことにより、上記した機械翻訳システムを実行する命令のみを含んでいればよい。コンピュータシステム３３０の動作は周知であるので、ここでは繰返さない。
【００９３】
今回開示された実施の形態は単に例示であって、本発明が上記した実施の形態のみに制限されるわけではない。本発明の範囲は、発明の詳細な説明の記載を参酌した上で、特許請求の範囲の各請求項によって示され、そこに記載された文言と均等の意味および範囲内でのすべての変更を含む。
【図面の簡単な説明】
【００９４】
【図１】本発明の一実施の形態に係る機械翻訳システム２０のブロック図である。
【図２】図１に示すＫ重交差検定型モデル作成装置３２のより詳細なブロック図である。
【図３】図１に示すスコアリング処理部８０のより詳細なブロック図である。
【図４】従来のＲＳＣＭと本発明の一実施の形態に係る改良ＲＳＣＭとを用いた場合の日英Ｄ３（Ａ｜ＢＣＤ）におけるＲＯＣ曲線を対比して示すグラフである。
【図５】従来のＲＳＣＭと本発明の一実施の形態に係る改良ＲＳＣＭとを用いた場合の日英ＨＰＡＴ（Ａ｜ＢＣＤ）におけるＲＯＣ曲線を対比して示すグラフである。
【図６】従来のＲＳＣＭと本発明の一実施の形態に係る改良ＲＳＣＭとを用いた場合の日英ＳＡＴ（Ａ｜ＢＣＤ）におけるＲＯＣ曲線を対比して示すグラフである。
【図７】従来のＲＳＣＭを日英ＳＡＴ、日英ＨＰＡＴ、および日英Ｄ３に対して用いた場合のＲＯＣ曲線を示すグラフである。
【図８】本実施の形態に係る機械翻訳システムを実現するコンピュータシステム３３０の外観を示す図である。
【図９】コンピュータシステム３３０の内部構成を示すブロック図である。
【符号の説明】
【００９５】
２０  機械翻訳システム、３０  学習コーパス、３２  Ｋ重交差検定型モデル作成装置、３４  言語モデル群、３６  翻訳モデル群、３８  入力、４０  機械翻訳装置、４２  出力、５０  機械翻訳部、５２，５４，５６  Ｍベストリスト、５８  Ｍベストリスト記憶装置、６０  受理／棄却処理部、７０  第１の機械翻訳処理部、７２  第２の機械翻訳処理部、７４  第３の機械翻訳処理部、８０  スコアリング処理部、８２  ソート処理部、８４  Ｃrank算出部、８６  判定部、９０  Ｋ重分割処理部、９２，９４，９６  サブコーパス、１００  第１のモデル作成部、１０２  第２のモデル作成部、１０４  第３のモデル作成部、１１０  第１の言語モデル、１１２  第１の翻訳モデル、１１４  第２の言語モデル、１１６  第２の翻訳モデル、１１８  第３の言語モデル、１２０  第３の翻訳モデル、１３０  言語モデル作成部、１３２  翻訳モデル作成部、１４０  第１の確率スコアリング処理部、１４２  第２の確率スコアリング処理部、１４４  第３の確率スコアリング処理部、１４６  加算部、１４８  除算部、１５０  仮説読出部、１５２  バッファ、１６０，１７０，１８０  言語モデル確率算出部、１６２，１７２，１７４  翻訳モデル確率算出部、１６４，１７４，１８４  乗算部
【図１】
2006039616.tif 000015
【図２】
2006039616.tif 000016
【図３】
2006039616.tif 000017
【図４】
2006039616.tif 000018
【図５】
2006039616.tif 000019
【図６】
2006039616.tif 000020
【図７】
2006039616.tif 000021
【図８】
2006039616.tif 000022
【図９】
2006039616.tif 000023