(57)【要約】【課題】  この発明は、評価対象の翻訳結果の表現の多様性を許容しながら、高い精度で翻訳エージェントの翻訳能力を評価することができる翻訳エージェントの翻訳能力評価方法を提供することを目的とする。【解決手段】　複数の原言語テスト文および各原言語テスト文に対応する正解翻訳文ならびに原言語テスト文とは異なる複数の原言語参照文および各原言語参照文に対応する正解翻訳文を用意しておく第１ステップ、各原言語テスト文毎に、原言語テスト文に対応する正解翻訳文と、原言語テスト文に類似する原言語参照文に対応する正解翻訳文とを正解翻訳文候補とし、各正解翻訳文候補と翻訳エージェントによって得られた当該原言語テスト文に対する翻訳結果とを比較することにより、各原言語テスト文毎の翻訳正解率を算出する第２のステップを備えている。【選択図】　図１
2004013913.tif 000002
【特許請求の範囲】
【請求項１】
複数の原言語テスト文および各原言語テスト文に対応する正解翻訳文ならびに原言語テスト文とは異なる複数の原言語参照文および各原言語参照文に対応する正解翻訳文を用意しておく第１ステップ、
　各原言語テスト文毎に、原言語テスト文に対応する正解翻訳文と、原言語テスト文に類似する原言語参照文に対応する正解翻訳文とを正解翻訳文候補とし、各正解翻訳文候補と翻訳エージェントによって得られた当該原言語テスト文に対する翻訳結果とを比較することにより、各原言語テスト文毎の翻訳正解率を算出する第２のステップ、ならびに
　第２ステップで算出された各原言語テスト文毎の翻訳正解率に基づいて翻訳エージェントの翻訳能力を評価する第３ステップ、
　を備えていることを特徴とする翻訳エージェントの翻訳能力評価方法。
【請求項２】
第２ステップは、
　原言語参照文群から原言語テスト文に類似する原言語参照文を検索するａステップ、
　ａステップで検索された１または複数の原言語参照文に対応する正解翻訳文と、当該原言語テスト文に対応する正解翻訳文とを正解翻訳文候補とし、各正解翻訳文候補と翻訳エージェントによって得られた当該原言語テスト文に対する翻訳結果とを比較することにより、各正解翻訳文候補毎の翻訳正解率を算出するｂステップ、および
　ｂステップで算出された各正解翻訳文候補毎の翻訳正解率のうち、最も翻訳正解率が高い翻訳正解率を、当該原言語テスト文に対する翻訳正解率として求めるｃステップ、
　を備えていることを特徴とする請求項１に記載の翻訳エージェントの翻訳能力評価方法。
【請求項３】
ａステップでは、原言語テスト文と各原言語参照文との類似度を算出し、所定の類似度判定用閾値より類似度が高い原言語参照文を原言語テスト文に類似する原言語参照文として検索することを特徴とする請求項２に記載の翻訳エージェントの翻訳能力評価方法。
【請求項４】
類似度はＤＰマッチングに基づいて算出されることを特徴とする請求項３に記載の翻訳エージェントの翻訳能力評価方法。
【請求項５】
翻訳正解率はＤＰマッチングに基づいて算出されることを特徴とする請求項１、２、３および４のいずれかに記載の翻訳エージェントの翻訳能力評価方法。
【請求項６】
第３ステップは、第２ステップで算出された各原言語テスト文毎の翻訳正解率の平均値を算出し、この算出結果に基づいて翻訳エージェントの翻訳能力を評価することを特徴とする請求項１、２、３、４および５のいずれかに記載の翻訳エージェントの翻訳能力評価方法。
【請求項７】
第３ステップは、第２ステップで算出された各原言語テスト文毎の翻訳正解率と、所定のランク判別用域値とを比較することにより、翻訳エージェントによって得られた当該原言語テスト文に対する翻訳結果をランク分けし、ランク分け結果に基づいて翻訳エージェントの翻訳能力を評価することを特徴とする請求項１、２、３、４および５のいずれかに記載の翻訳エージェントの翻訳能力評価方法。
【請求項８】
複数の原言語テスト文および各原言語テスト文に対応する正解翻訳文、原言語テスト文とは異なる複数の原言語参照文および各原言語参照文に対応する正解翻訳文ならびに各原言語テスト文に対応する翻訳能力別翻訳文を用意しておく第１ステップ、
　各原言語テスト文毎に、原言語テスト文に対応する正解翻訳文と、原言語テスト文に類似する原言語参照文に対応する正解翻訳文とを正解翻訳文候補とし、各正解翻訳文候補と翻訳エージェントによって得られた原言語テスト文に対する翻訳結果とを比較することにより、各原言語テスト文毎の第１翻訳正解率を算出する第２のステップ、
　各原言語テスト文毎に、原言語テスト文に対応する正解翻訳文と、原言語テスト文に類似する原言語参照文に対応する正解翻訳文とを正解翻訳文候補とし、各正解翻訳文候補と原言語テスト文に対応する翻訳能力別翻訳文とを比較することにより、各原言語テスト文毎の第２翻訳正解率を各翻訳能力別翻訳文セット毎に算出する第３のステップ、ならびに　第２ステップで算出された各原言語テスト文毎の第１翻訳正解率と、第３ステップで各翻訳能力別翻訳文セット毎に算出された各原言語テスト文毎の第２翻訳正解率とに基づいて、翻訳エージェントの翻訳能力を評価する第４ステップ、
　を備えていることを特徴とする翻訳エージェントの翻訳能力評価方法。
【請求項９】
第２ステップは、
　原言語参照文群から原言語テスト文に類似する原言語参照文を検索するａステップ、
　ａステップで検索された１または複数の原言語参照文に対応する正解翻訳文と、当該原言語テスト文に対応する正解翻訳文とを正解翻訳文候補とし、各正解翻訳文候補と翻訳エージェントによって得られた当該原言語テスト文に対する翻訳結果とを比較することにより、各正解翻訳文候補毎の第１翻訳正解率を算出するｂステップ、および
　ｂステップで算出された各正解翻訳文候補毎の第１翻訳正解率のうち、最も翻訳正解率が高い翻訳正解率を、当該原言語テスト文に対する第１翻訳正解率として求めるｃステップを備えており、
　第３ステップは、
　ａステップで検索された１または複数の原言語参照文に対応する正解翻訳文と、当該原言語テスト文に対応する正解翻訳文とを正解翻訳文候補とし、各正解翻訳文候補と当該原言語テスト文に対応する翻訳能力別翻訳文とを比較することにより、各正解翻訳文候補毎の第２翻訳正解率を翻訳能力別翻訳文セット毎に算出するｄステップ、および
　ｄステップで算出された各正解翻訳文候補毎の第２翻訳正解率のうち、最も翻訳正解率が高い翻訳正解率を、当該原言語テスト文に対する第２翻訳正解率として求めるｅステップを備えていることを特徴とする請求項８に記載の翻訳エージェントの翻訳能力評価方法。　
【請求項１０】
第４ステップは、
　翻訳能力別翻訳文セット毎に、各原言語テスト文に対する第１翻訳正解率と第２翻訳正解率とを比較することにより、翻訳エージェントによって得られた翻訳結果が翻訳能力別翻訳文より優れている原言語テスト文の数（以下、優位文数という）を翻訳能力別翻訳文セット毎に算出するステップ、および
　翻訳能力別翻訳文セット毎に算出された優位文数に基づいて、翻訳エージェントの翻訳能力を算出するステップ、
　を備えていることを特徴とする請求項８および９のいずれかに記載の翻訳エージェントの翻訳能力評価方法。
【請求項１１】
複数の原言語テスト文および各原言語テスト文に対応する正解翻訳文、原言語テスト文とは異なる複数の原言語参照文および各原言語参照文に対応する正解翻訳文ならびに各原言語テスト文に対応する翻訳能力別翻訳文を用意しておく第１ステップ、
　各原言語テスト文毎に、原言語テスト文に対応する正解翻訳文と、原言語テスト文に類似する原言語参照文に対応する正解翻訳文とを正解翻訳文候補とし、各正解翻訳文候補と翻訳エージェントによって得られた当該原言語テスト文に対する翻訳結果とを比較することにより、各原言語テスト文毎の第１翻訳正解率を算出し、得られた各原言語テスト文毎の第１翻訳正解率から原言語テスト文セットに対する平均翻訳正解率を算出する第２のステップ、
　各原言語テスト文毎に、原言語テスト文に対応する正解翻訳文と、原言語テスト文に類似する原言語参照文に対応する正解翻訳文とを正解翻訳文候補とし、各正解翻訳文候補と原言語テスト文に対応する翻訳能力別翻訳文とを比較することにより、各原言語テスト文毎の第２翻訳正解率を各翻訳能力別翻訳文セット毎に算出し、各翻訳能力別翻訳文セット毎に得られた各原言語テスト文毎の第２翻訳正解率から、各翻訳能力別翻訳文セット毎の平均翻訳正解率を算出する第３のステップ、ならびに
　第２ステップで算出された原言語テスト文セットに対する平均翻訳正解率と、第３ステップで算出された各翻訳能力別翻訳文セット毎の平均翻訳正解率とに基づいて、翻訳エージェントの翻訳能力を評価する第４ステップ、
　を備えていることを特徴とする翻訳エージェントの翻訳能力評価方法。
【請求項１２】
第２ステップは、
　原言語参照文群から原言語テスト文に類似する原言語参照文を検索するａステップ、
　ａステップで検索された１または複数の原言語参照文に対応する正解翻訳文と、当該原言語テスト文に対応する正解翻訳文とを正解翻訳文候補とし、各正解翻訳文候補と翻訳エージェントによって得られた当該原言語テスト文に対する翻訳結果とを比較することにより、各正解翻訳文候補毎の第１翻訳正解率を算出するｂステップ、
　ｂステップで算出された各正解翻訳文候補毎の第１翻訳正解率のうち、最も翻訳正解率が高い翻訳正解率を、当該原言語テスト文に対する第１翻訳正解率として求めるｃステップ、および
　各原言語テスト文に対する第１翻訳正解率の平均を算出することによって、原言語テスト文セットに対する平均翻訳正解率を算出するｄステップ、
　を備えており、
　第３ステップは、
　ａステップで検索された１または複数の原言語参照文に対応する正解翻訳文と、当該原言語テスト文に対応する正解翻訳文とを正解翻訳文候補とし、各正解翻訳文候補と原言語テスト文に対応する翻訳能力別翻訳文とを比較することにより、各正解翻訳文候補毎の第２翻訳正解率を翻訳能力別翻訳文セット毎に算出するｅステップ、
　ｅステップで算出された各正解翻訳文候補毎の第２翻訳正解率のうち、最も翻訳正解率が高い翻訳正解率を、当該原言語テスト文に対する第２翻訳正解率として求めるｆステップ、および
　翻訳能力別翻訳文セット毎に原言語テスト文に対する第２翻訳正解率の平均を算出することによって、各翻訳能力別翻訳文セット毎の平均翻訳正解率を算出するｇステップ、
　を備えていることを特徴とする請求項１１に記載の翻訳エージェントの翻訳能力評価方法。
【発明の詳細な説明】
【技術分野】
【０００１】
　　この発明は、翻訳エージェントの翻訳能力評価方法に関する。この明細書において、”翻訳エージェント”とは、翻訳を行なう機能を備えたものを広く意味し、機械翻訳システムの他、人間そのものも含まれる。
【背景技術】
【０００２】
　翻訳エージェントの翻訳能力評価方法として、予め決められた評価基準に従い、Ａ，Ｂ，Ｃ，Ｄなどのランクを評価者が主観で付与し、例えばＡ，ＢまたはＣランクの割合を翻訳能力の尺度（翻訳率）とするといった方法が知られている。
【０００３】
　Ａ，Ｂ，Ｃ，Ｄの各ランクは、例えば、完全訳（訳文だけでまったく問題なし）、部分訳（訳文は少し情報が欠けている）、可能訳（訳文はかなり情報が欠けている）、不可能訳（翻訳からは情報が想像もできない）に対応する。
【０００４】
　翻訳エージェントの翻訳結果と正解翻訳文とをＤＰマッチングを用いて比較することにより、翻訳結果の正解率を算出する手法も提案されている (Takezawa他、"A New Evaluation Method for Speech Translation Systems and A Case Study on ATR-MATRIX from Japanese to English", MT Summit VII, Sept. 1999 参照) 。
【０００５】
ＤＰマッチングを用いた翻訳結果の正解率の計算方法について説明する。ＤＰマッチング（例えば、長尾真著 "言語工学",  発行所；株式会社昭晃堂，1985　参照）では、２つの文の全体にわたってできるだけもっともらしいマッチングが行なわれる。ＤＰマッチングの例を説明する。文は単語系列で表されるとする。
【０００６】
　日本語の "今日は天気です" という文１は、 "今日" 、 "は" 、 "天気" 、 "です" と分割される。日本語の "今日雨ですね" という文２は "今日" 、 "雨" 、 "です" 、 "ね" と分割される。ＤＰマッチングの結果、表１の単語の対応関係の結果が得られる。
【０００７】
【表１】
2004013913.tif 000003
【０００８】
　文１の "は" は文２では削除され、文１の "天気" は文２では "雨" に置換され、文２には "ね" が挿入されている。たとえば、文２を評価対象文とし、文１を正解文とすると、文２の正解率（類似度）は、次式（１）のように定義される。式（１）において、Total は文１の単語数、Sub は置換された単語数、Del は削除された単語数、Ins は挿入された単語数である。
【０００９】
Acc=(Total-(Sub+Del+Ins))/Total   …（１）
　上記の例では、 Acc=(4-(1+1+1))/4=1/4=0.25 となる。挿入、置換、削除の各誤りがない場合には、正解率 100％となり、誤りに応じて正解率は低下する。
【００１０】
　日英翻訳結果の翻訳正解率の計算も、同様にして行なわれる。つまり、原言語である日本語に対応した英語の正解の翻訳結果と、評価対象の英語の翻訳結果とをＤＰマッチングすることにより、正解率を求める。翻訳正解率が 100％であれば、原言語である日本語に対応した英語の正解の翻訳結果と、評価対象の英語の翻訳結果は完全に一致しているので、評価対象の英語の翻訳結果は正しいと判断できる。
【発明の開示】
【発明が解決しようとする課題】
【００１１】
　上記従来におけるＤＰマッチングを用いた翻訳正解率の計算では、評価対象の翻訳結果と正解翻訳とのマッチングに基づく距離を単に計算しているだけなので、翻訳結果が正解とは異なる表現を採用している場合は、たとえ正解であっても翻訳正解率が著しく劣化してしまう。したがって、表現の多様性を許容できない欠点がある。更に、翻訳正解率と従来の主観評価に基づく翻訳率などの評価尺度との関連性が明らかでないという欠点がある。
【００１２】
この発明は、評価対象の翻訳結果の表現の多様性を許容しながら、高い精度で翻訳エージェントの翻訳能力を評価することができる翻訳エージェントの翻訳能力評価方法を提供することを目的とする。
【００１３】
　また、この発明は、従来、主観的に行なっていたランク評価の全部または一部を、自動的に行なうことが可能となる翻訳エージェントの翻訳能力評価方法を提供することを目的とする。
【課題を解決するための手段】
【００１４】
　この発明は、複数の原言語テスト文および各原言語テスト文に対応する正解翻訳文ならびに原言語テスト文とは異なる複数の原言語参照文および各原言語参照文に対応する正解翻訳文を用意しておく第１ステップ、各原言語テスト文毎に、原言語テスト文に対応する正解翻訳文と、原言語テスト文に類似する原言語参照文に対応する正解翻訳文とを正解翻訳文候補とし、各正解翻訳文候補と翻訳エージェントによって得られた当該原言語テスト文に対する翻訳結果とを比較することにより、各原言語テスト文毎の翻訳正解率を算出する第２のステップ、ならびに第２ステップで算出された各原言語テスト文毎の翻訳正解率に基づいて翻訳エージェントの翻訳能力を評価する第３ステップを備えていることを特徴とする。
【００１５】
　第２ステップは、たとえば、原言語参照文群から原言語テスト文に類似する原言語参照文を検索するａステップ、ａステップで検索された１または複数の原言語参照文に対応する正解翻訳文と、当該原言語テスト文に対応する正解翻訳文とを正解翻訳文候補とし、各正解翻訳文候補と翻訳エージェントによって得られた当該原言語テスト文に対する翻訳結果とを比較することにより、各正解翻訳文候補毎の翻訳正解率を算出するｂステップ、およびｂステップで算出された各正解翻訳文候補毎の翻訳正解率のうち、最も翻訳正解率が高い翻訳正解率を、当該原言語テスト文に対する翻訳正解率として求めるｃステップを備えている。
【００１６】
　ａステップでは、たとえば、原言語テスト文と各原言語参照文との類似度を算出し、所定の類似度判定用閾値より類似度が高い原言語参照文を原言語テスト文に類似する原言語参照文として検索する。
【００１７】
　類似度は、たとえば、ＤＰマッチングに基づいて算出される。翻訳正解率は、たとえば、ＤＰマッチングに基づいて算出される。
【００１８】
　第３ステップでは、たとえば、第２ステップで算出された各原言語テスト文毎の翻訳正解率の平均値を算出し、この算出結果に基づいて翻訳エージェントの翻訳能力を評価する。
【００１９】
　第３ステップでは、第２ステップで算出された各原言語テスト文毎の翻訳正解率と、所定のランク判別用域値とを比較することにより、翻訳エージェントによって得られた当該原言語テスト文に対する翻訳結果をランク分けし、ランク分け結果に基づいて翻訳エージェントの翻訳能力を評価する。
【００２０】
　この発明は、複数の原言語テスト文および各原言語テスト文に対応する正解翻訳文、原言語テスト文とは異なる複数の原言語参照文および各原言語参照文に対応する正解翻訳文ならびに各原言語テスト文に対応する翻訳能力別翻訳文を用意しておく第１ステップ、各原言語テスト文毎に、原言語テスト文に対応する正解翻訳文と、原言語テスト文に類似する原言語参照文に対応する正解翻訳文とを正解翻訳文候補とし、各正解翻訳文候補と翻訳エージェントによって得られた原言語テスト文に対する翻訳結果とを比較することにより、各原言語テスト文毎の第１翻訳正解率を算出する第２のステップ、各原言語テスト文毎に、原言語テスト文に対応する正解翻訳文と、原言語テスト文に類似する原言語参照文に対応する正解翻訳文とを正解翻訳文候補とし、各正解翻訳文候補と原言語テスト文に対応する翻訳能力別翻訳文とを比較することにより、各原言語テスト文毎の第２翻訳正解率を各翻訳能力別翻訳文セット毎に算出する第３のステップ、ならびに第２ステップで算出された各原言語テスト文毎の第１翻訳正解率と、第３ステップで各翻訳能力別翻訳文セット毎に算出された各原言語テスト文毎の第２翻訳正解率とに基づいて、翻訳エージェントの翻訳能力を評価する第４ステップを備えていることを特徴とする。
【００２１】
　第２ステップは、たとえば、原言語参照文群から原言語テスト文に類似する原言語参照文を検索するａステップ、ａステップで検索された１または複数の原言語参照文に対応する正解翻訳文と、当該原言語テスト文に対応する正解翻訳文とを正解翻訳文候補とし、各正解翻訳文候補と翻訳エージェントによって得られた当該原言語テスト文に対する翻訳結果とを比較することにより、各正解翻訳文候補毎の第１翻訳正解率を算出するｂステップ、およびｂステップで算出された各正解翻訳文候補毎の第１翻訳正解率のうち、最も翻訳正解率が高い翻訳正解率を、当該原言語テスト文に対する第１翻訳正解率として求めるｃステップを備えている。
【００２２】
　第３ステップは、たとえば、ａステップで検索された１または複数の原言語参照文に対応する正解翻訳文と、当該原言語テスト文に対応する正解翻訳文とを正解翻訳文候補とし、各正解翻訳文候補と当該原言語テスト文に対応する翻訳能力別翻訳文とを比較することにより、各正解翻訳文候補毎の第２翻訳正解率を翻訳能力別翻訳文セット毎に算出するｄステップ、およびｄステップで算出された各正解翻訳文候補毎の第２翻訳正解率のうち、最も翻訳正解率が高い翻訳正解率を、当該原言語テスト文に対する第２翻訳正解率として求めるｅステップを備えている。
【００２３】
　第４ステップは、たとえば、翻訳能力別翻訳文セット毎に、各原言語テスト文に対する第１翻訳正解率と第２翻訳正解率とを比較することにより、翻訳エージェントによって得られた翻訳結果が翻訳能力別翻訳文より優れている原言語テスト文の数（以下、優位文数という）を翻訳能力別翻訳文セット毎に算出するステップ、および翻訳能力別翻訳文セット毎に算出された優位文数に基づいて、翻訳エージェントの翻訳能力を算出するステップを備えている。
【００２４】
　この発明は、複数の原言語テスト文および各原言語テスト文に対応する正解翻訳文、原言語テスト文とは異なる複数の原言語参照文および各原言語参照文に対応する正解翻訳文ならびに各原言語テスト文に対応する翻訳能力別翻訳文を用意しておく第１ステップ、各原言語テスト文毎に、原言語テスト文に対応する正解翻訳文と、原言語テスト文に類似する原言語参照文に対応する正解翻訳文とを正解翻訳文候補とし、各正解翻訳文候補と翻訳エージェントによって得られた当該原言語テスト文に対する翻訳結果とを比較することにより、各原言語テスト文毎の第１翻訳正解率を算出し、得られた各原言語テスト文毎の第１翻訳正解率から原言語テスト文セットに対する平均翻訳正解率を算出する第２のステップ、各原言語テスト文毎に、原言語テスト文に対応する正解翻訳文と、原言語テスト文に類似する原言語参照文に対応する正解翻訳文とを正解翻訳文候補とし、各正解翻訳文候補と原言語テスト文に対応する翻訳能力別翻訳文とを比較することにより、各原言語テスト文毎の第２翻訳正解率を各翻訳能力別翻訳文セット毎に算出し、各翻訳能力別翻訳文セット毎に得られた各原言語テスト文毎の第２翻訳正解率から、各翻訳能力別翻訳文セット毎の平均翻訳正解率を算出する第３のステップ、ならびに第２ステップで算出された原言語テスト文セットに対する平均翻訳正解率と、第３ステップで算出された各翻訳能力別翻訳文セット毎の平均翻訳正解率とに基づいて、翻訳エージェントの翻訳能力を評価する第４ステップを備えていることを特徴とする。
【００２５】
　第２ステップは、たとえば、原言語参照文群から原言語テスト文に類似する原言語参照文を検索するａステップ、ａステップで検索された１または複数の原言語参照文に対応する正解翻訳文と、当該原言語テスト文に対応する正解翻訳文とを正解翻訳文候補とし、各正解翻訳文候補と翻訳エージェントによって得られた当該原言語テスト文に対する翻訳結果とを比較することにより、各正解翻訳文候補毎の第１翻訳正解率を算出するｂステップ、ｂステップで算出された各正解翻訳文候補毎の第１翻訳正解率のうち、最も翻訳正解率が高い翻訳正解率を、当該原言語テスト文に対する第１翻訳正解率として求めるｃステップ、および各原言語テスト文に対する第１翻訳正解率の平均を算出することによって、原言語テスト文セットに対する平均翻訳正解率を算出するｄステップを備えている。
【００２６】
　第３ステップは、たとえば、ａステップで検索された１または複数の原言語参照文に対応する正解翻訳文と、当該原言語テスト文に対応する正解翻訳文とを正解翻訳文候補とし、各正解翻訳文候補と原言語テスト文に対応する翻訳能力別翻訳文とを比較することにより、各正解翻訳文候補毎の第２翻訳正解率を翻訳能力別翻訳文セット毎に算出するｅステップ、ｅステップで算出された各正解翻訳文候補毎の第２翻訳正解率のうち、最も翻訳正解率が高い翻訳正解率を、当該原言語テスト文に対する第２翻訳正解率として求めるｆステップ、および翻訳能力別翻訳文セット毎に原言語テスト文に対する第２翻訳正解率の平均を算出することによって、各翻訳能力別翻訳文セット毎の平均翻訳正解率を算出するｇステップを備えている。
【発明の効果】
【００２７】
この発明によれば、評価対象の翻訳結果の表現の多様性を許容しながら、高い精度で翻訳エージェントの翻訳能力を評価することができるようになる。また、この発明によれば、従来、主観的に行なっていたランク評価の前部または一部を、自動的に行なうことが可能となる。
【発明を実施するための最良の形態】
【００２８】
　以下、図面を参照して、この発明の実施例について説明する。
【実施例１】
【００２９】
　図１、図２および図３を参照して、この発明の第１の実施例について説明する。
【００３０】
　図１は、翻訳エージェントの翻訳能力評価を行なうシステムの基本的な構成を示している。ここでは、日本語を英語に翻訳する日英機械翻訳システムの翻訳能力を評価する場合を例にとって説明する。
【００３１】
　日英機械翻訳システムの翻訳能力を評価するために、テスト文の集合が日本語テストセット１として用意されているとともに、日本語の各テスト文に対応した英語の正解が英語テストセット２として用意されているものとする。ここでは、各日本語テスト文を j(i)(i=1,2,3, ..., n)で表し、各日本語テスト文に対応した英語の正解文を e(i)(i=1,2,3, ..., n)で表す。
【００３２】
　一方、日本語テスト文とは別に、複数の日本語文（以下、日本語参照文という）とその英語翻訳結果である英文とが用意されており、各日本語参照文と対応する英文とは対応付けられているものとする。日本語参照文の集合を日本語データベース３と呼び、各日本語参照文に対応する英文の集合を英語データベース４と呼ぶことにする。
【００３３】
　日本語テキストセット１内の日本語テスト文 j(i) は、日英機械翻訳システム６に入力される。日英機械翻訳システム６は、入力された日本語テスト文 j(i) を翻訳し、その翻訳結果７を出力する。
【００３４】
　また、日本語テキストセット１内の日本語テスト文 j(i) は、類似日本語文検索器５にも入力される。類似日本語文検索器５は、入力された日本語テスト文 j(i) に類似する日本語参照文を、日本語データベース３から検索する。
【００３５】
　この検索は、次のようにして行なわれる。まず、日本語テスト文 j(i) と日本語データベース３内の各日本語参照文とを比較し、上記式（１）を用いて、各日本語参照文毎に、日本語参照文の日本語テスト文 j(i) に対する類似度（正解率）を算出する。予め定めた類似度判別用閾値よりも正解率が高い日本語参照文を、日本語テスト文 j(i) に類似した日本語参照文（以下、類似日本語参照文という）として特定する。
【００３６】
　そして、特定した類似日本語参照文に対応する英文を、英語データベース４から検索し、検索した英文を、日本語テスト文 j(i) に対する英文正解候補として追加する。したがって、日本語テスト文 j(i) に対する英文正解候補は、日本語テスト文 j(i) に対応する正解文 e(i) と、類似日本語文検索器５によって検索された類似日本語参照文に対応する英文との集合となる。
【００３７】
　翻訳正解率計算器８は、日本語テスト文 j(i) の翻訳結果７と各英文正解候補とを比較し、上記式（１）を用いて、各英文正解候補毎に日本語テスト文 j(i) の英文正解候補に対する翻訳正解率を算出する。そして、翻訳正解率の最大値を当該日本語テスト文 j(i) の翻訳正解率とする。
【００３８】
　このようにして、日本語テストセット１内の各日本語テスト文 j(i) に対する翻訳正解率を算出する。そして、全ての日本語テスト文 j(i) に対して求められた翻訳正解率の平均をテストセット翻訳正解率として求める。得られたテストセット翻訳正解率を、機械翻訳システムの翻訳能力評価の尺度として用いる。
【００３９】
　ところで、上記のようにして求められたテストセット翻訳正解率は、機械翻訳システムの翻訳能力評価の尺度の１つであるが、従来の主観評価（ＡＢＣＤランク評価）との対応関係が不明である。これらの対応関係の算出方法を次に説明する。
【００４０】
　図２は、各日本語テスト文 j(i) に対して求められた翻訳正解率と、各日本語テスト文 j(i) の翻訳結果に対して行なわれた主観評価結果（ＡＢＣＤランク評価結果）との関係を示している。なお、図２は、日英機械翻訳システム６として、ＡＴＲ音声翻訳通信研究所が研究開発した機械翻訳機(TDMT)を用いた場合の実験結果を示している。
【００４１】
　図２のＡ、Ｂ、Ｃ、Ｄは、評価ランクを示している。図２の縦軸は各日本語テスト文の翻訳正解率を表している。
【００４２】
　Ａランクが付与された日本語テスト文（翻訳結果）の翻訳正解率は分布しているがその平均翻訳正解率は高く、Ｄランクが付与された日本語テスト文（翻訳結果）の平均翻訳正解率は低い。そこで、ＡランクとＢランク以下（Ｂ，Ｃ，Ｄ）とを判別できるようなランク判別用閾値を設定すれば、ランク判別用閾値より大きな翻訳正解率に属する日本語テスト文（翻訳結果）をＡランクと見做し、ランク判別用閾値以下の翻訳正解率に属する日本語テスト文（翻訳結果）をＢランク以下のランクと見做すことができる。
【００４３】
　ＡランクとＢランク以下とを判別できるようなランク判別用閾値を決定する方法としては、主観評価によってＡランクが付与された日本語テスト文（翻訳結果）の平均翻訳正解率と、主観評価によってＢランク以下のランクＢ，Ｃ，Ｄが付与された日本語テスト文（翻訳結果）の平均翻訳正解率の中間値を選択する等、判別分析と呼ばれている手法を利用することができる。
【００４４】
　ＡランクとＢランク以下とを判別できるようなランク判別用閾値を用いて、各日本語テスト文をＡランクとＢランク以下とにランク分け（Ａ／Ｂ，Ｃ，Ｄ）し、主観評価結果を用いてそのランク分けが正しい割合（判別率）を算出した。同様に、Ｂランク以上のランクＡ，Ｂと、Ｃランク以下のランクＣ，Ｄとを判別できるようなランク判別用閾値を用いて、各日本語テスト文をＢランク以上とＣランク以下とにランク分け（Ａ，Ｂ／Ｃ，Ｄ）し、そのランク分けが正しい割合（判別率）を算出した。
【００４５】
　また、Ｃランク以上のランクＡ，Ｂ，Ｃと、Ｄランクとを判別できるようなランク判別用閾値を用いて、各日本語テスト文をＣランク以上とＤランクとにランク分け（Ａ，Ｂ，Ｃ／Ｄ）し、そのランク分けが正しい割合（判別率）を算出した。さらに、ＡランクとＢランク、ＢランクとＣランク、ＣランクとＤランクとをそれぞれ判別できるようなランク判別用閾値を用いて、各日本語テスト文を各ランク毎にランク分け（Ａ／Ｂ／Ｃ／Ｄ）し、そのランク分けが正しい割合（判別率）を算出した。
【００４６】
　このような判別率の算出を、類似日本語文検索器５で用いられる類似度判別用閾値を１０％から１００％までの範囲で１０％ずつ変化させて行なった結果を、図３に示す。図３の横軸は類似度判別用閾値を示し、縦軸は判別率を示している。また、図３の右端には、日本語テスト文に対して類似日本語文を検索しない従来例の場合の実験結果を示している。
【００４７】
　図３から、類似度判別用閾値を１００％とした場合であっても、日本語テスト文に対して類似日本語参照文が検索されることがあるため、従来例に比べて判別率が高く、表現の多様性を許容する効果があることが理解できる。また、類似度判別用閾値を適切に選択することにより、従来例に比べて、１５％も、判別率が向上させることが可能である。
【００４８】
　また、図３から、ランク判別用閾値を用いてランク分けを行なった場合に、ＡランクとＢランク以下とのランク分け、Ｂランク以上とＣランク以下とのランク分けおよびＣランク以上とＤランクとのランク分けのうち、ＡランクとＢランク以下とのランク分けを行なった場合の判別率が最も高いことが分かる。Ａランクに属すると判別された日本語テスト文の数の日本語テスト文総数に対する割合を翻訳能力の尺度（翻訳率）として用いれば、主観評価の８０％という高い精度で翻訳能力評価を自動的に行なえるようになる。
【００４９】
　なお、Ａ，Ｂ，Ｃ、Ｄを別々のランクで高い精度で評価する場合には、Ａのランク判定を上述の方法で自動判定し、その後、Ｂ，Ｃ，Ｄのランク判別を評価者が行うこともできる。このようにすれば、高い翻訳率精度を維持しながら、評価者が評価する日本語テスト文の数を削減できるので、評価者の負担が軽減され、効率的な評価を行なうことが可能となる。
【実施例２】
【００５０】
　以下、図４および図５を参照して、この発明の第２の実施の形態について説明する。
【００５１】
　図４は、翻訳エージェントの翻訳能力評価を行なうシステムの基本的な構成を示している。ここでは、日本語を英語に翻訳する日英機械翻訳システムの翻訳能力を評価する場合を例にとって説明する。
【００５２】
　第１の翻訳正解率計算器１２は、第１の実施の形態の翻訳正解率計算器８と同様に、日本語テスト文j(i)に対する日英機械翻訳システムの翻訳結果（評価対象の翻訳結果）１１と日本語テスト文j(i)に対する英文正解候補とに基づいて、日本語テスト文j(i)毎に翻訳正解率を計算する。日本語テスト文j(i)に対する英文正解項候補は、日本語テスト文j(i)に対応する正解文e(i)と、類似日本語文検索器５（図１参照）によって検索された類似日本語参照文に対応する英文との集合からなる。
【００５３】
参照翻訳データベース１３には、各日本語テスト文毎に能力別の複数の翻訳結果が保存されている。英語を例に取ると、参照翻訳データベース１３には TOEIC (Test of English for International Commuunication) 試験のスコアが異なる複数のTOEIC 受験者の各日本語テスト文毎の翻訳結果 TOEIC(i,t)(i=1,2,3, ...,n, t=1,2,3, ..., m)が格納されている。
【００５４】
第２の翻訳正解率計算器１４は、日本語テスト文j(i)に対する参照翻訳データベース１３内の翻訳結果TOEIC(i,t)と日本語テスト文j(i)に対する英文正解候補とに基づいて、第１の翻訳正解率計算器１２と同様な手法で、日本語テスト文j(i)毎に翻訳正解率を計算する。日本語テスト文j(i)に対する英文正解項候補は、日本語テスト文j(i)に対応する正解文e(i)と、類似日本語文検索器５（図１参照）によって検索された類似日本語参照文に対応する英文との集合からなる。
【００５５】
第１の翻訳正解率計算器１２によって算出される日本語テスト文j(i)毎の翻訳正解率をＡ１(i) とする。第２の翻訳正解率計算器１４によって算出される受験者毎の日本語テスト文j(i)毎の翻訳正解率をＡ２(i,t) とする。
【００５６】
　ここでは、参照翻訳データベース１３に格納されている複数の受験者の各日本語テスト文毎の翻訳結果のうち、一人の受験者の各日本語テスト文毎の翻訳結果を用いて１セット分の日本語テスト文j(i)に対する処理が行なわれた後、次の受験者の各日本語テスト文毎の翻訳結果を用いて１セット分の日本語テスト文j(i)に対する処理が行なわれるというように、各受験者の翻訳結果セット毎に１セット分の日本語テスト文j(i)に対する処理が行なわれる。
【００５７】
　一対比較器１５は、第１の翻訳正解率計算器１２によって算出される翻訳正解率をＡ１(i) と、第２の翻訳正解率計算器１４によって算出される翻訳正解率をＡ２(i,t) とを比較し、それらの優劣を判定する。一対比較器１５は、閾値をThとすると、たとえば、次の条件式(i) ，(ii),(iii)を用いて優劣を判定する。
(i)   if  A1>A2+Th   then A1が優位と判定
(ii)  if  ｜A1-A2 ｜≦Th   then  A1 とA2とが同等と判定
(iii) if  A2>A1+Th   then   A2が優位と判定
　これらの判定結果は、一対比較集計器１６に送られる。一対比較集計器１６は、一人の受験者の翻訳結果に基づいて１セット分の日本語テスト文j(i)に対する優位判定が行なわれる毎に、当該１セット分の日本語テスト文j(i)に対する優位判定結果に基づいて、日英機械翻訳システムによって得られた翻訳結果が、TOEIC 受験者の翻訳結果より優れている原言語テスト文の数（優位文数）を算出する。
【００５８】
　ここでは、優位文数は、１セット分の日本語テスト文j(i)に対する日英機械翻訳システムの翻訳結果のうち、Ａ１が優位と判定された評価対象の翻訳結果の数と、同等と判定された評価対象の翻訳結果の数の１／２とを加算した値として定義される。以上により、受験者毎（TOEIC のスコア毎）の優位文数が求められる。
【００５９】
　TOEIC のスコア毎の優位文数は、翻訳能力均衡点計算器１７に送られる。翻訳能力均衡点計算器１７は、TOEIC のスコア毎の優位文数を回帰分析することによってTOEIC のスコアに対する優位文数を表す回帰直線を求め、その回帰直線上で優位文数が日本語テスト文の総数の半分になる点に対応するTOEIC のスコアを求める。そして、求めたTOEIC のスコアを、日英機械翻訳システムのTOEIC のスコア（翻訳能力の評価値）とする。
【００６０】
　図５は、一対比較集計器１６によって求められたTOEIC のスコア毎の優位文数、および翻訳能力均衡点計算器１７によって求められた回帰直線を示している。
【００６１】
　なお、図５は、日英機械翻訳システムとして、ＡＴＲ音声翻訳通信研究所が研究開発した機械翻訳機(TDMT)を用いた場合の実験結果を示している。また、この例では、日本語テスト文の総数は３３０である。
【００６２】
　図５の折れ線ａ１は、第２の実施の形態によって得られたTOEIC のスコア毎の優位文数を示し、直線ａ２は折れ線ａ１のデータから求められた回帰直線を示している。
【００６３】
　また、折れ線ｂ１は、第１および第２の翻訳正解率計算器１２、１４が日本語テスト文に対する類似日本語参照文を利用することなく翻訳正解率を算出した場合のスコア毎の優位文数を示し、直線ｂ２は折れ線ｂ１のデータから求められた回帰直線を示している。
また、折れ線ｃ１は、日英機械翻訳システムの翻訳結果と参照翻訳データベース内の翻訳結果との比較を評価者が主観的に行なった場合の、TOEIC のスコア毎の優位文数を示し、直線ｃ２は折れ線ｃ１のデータから求められた回帰直線を示している。
【００６４】
　優位文数は、受験者のTOEIC スコアが高くなるのにともなって少なくなる傾向がある。図５では、第２の実施の形態によって求められた日英機械翻訳システムのTOEIC スコアは７３０点となっている。日英機械翻訳システムの翻訳結果と参照翻訳データベース内の翻訳結果との比較を評価者が主観的に行なった場合の日英機械翻訳システムのTOEIC スコアは７０８点となり、類似日本語参照文を利用しない翻訳正解率に基づいて日英機械翻訳システムのTOEIC スコアを求めると５８０点となる。
【００６５】
　第２の実施の形態によって求められた日英機械翻訳システムのTOEIC スコアは、類似日本語参照文を利用しない翻訳正解率に基づいて日英機械翻訳システムのTOEIC スコアに比べて、日英機械翻訳システムの翻訳結果と参照翻訳データベース内の翻訳結果との比較を評価者が主観的に行なった場合の日英機械翻訳システムのTOEIC スコアにはるかに近似したものとなり、第２の実施の形態によれば主観的評価に近い評価結果が自動的に得られることがわかる。
【００６６】
　なお、参照翻訳データベース１３内の翻訳結果を翻訳正解率計算器１４に入力する際に、当該翻訳結果の精度が低下するように誤差を付加するようにしてもよい。
【実施例３】
【００６７】
　以下、図６および図７を参照して、この発明の第３の実施の形態について説明する。
【００６８】
　図６は、翻訳エージェントの翻訳能力評価を行なうシステムの基本的な構成を示している。ここでは、日本語を英語に翻訳する日英機械翻訳システムの翻訳能力を評価する場合を例にとって説明する。
【００６９】
　参照翻訳データベース２３は、第２の実施形態の参照翻訳データベース１３と同じであり、 TOEIC試験のスコアが異なる複数のTOEIC 受験者の各日本語テスト文毎の翻訳結果 TOEIC(i,t)(i=1,2,3, ...,n, t=1,2,3, ..., m)が格納されている。
【００７０】
　第１のテストセット翻訳正解率計算器２２は、第１の実施の形態の翻訳正解率計算器８と同様に、日本語テスト文j(i)に対する日英機械翻訳システムの翻訳結果（評価対象の翻訳結果）２１と日本語テスト文j(i)に対する英文正解候補とに基づいて、テスト日本語文全体に対する翻訳正解率（評価対象の翻訳結果に対するテストセット翻訳正解率）を計算する。日本語テスト文j(i)に対する英文正解項候補は、日本語テスト文j(i)に対応する正解文e(i)と、類似日本語文検索器５（図１参照）によって検索された類似日本語参照文に対応する英文との集合からなる。
【００７１】
第２のテストセット翻訳正解率計算器２４は、日本語テスト文j(i)に対する参照翻訳データベース１３内の翻訳結果TOEIC(i,t)と日本語テスト文j(i)に対する英文正解候補とに基づいて、第１のテストセット翻訳正解率計算器２２と同様な手法で、受験者毎（TOEIC のスコア毎) にテスト日本語文全体に対する翻訳正解率（参照翻訳結果に対するテストセット翻訳正解率）を計算する。
【００７２】
　回帰直線計算器２５は、第２のテストセット翻訳正解率計算器２４によって求められたTOEIC のスコア毎の参照翻訳結果に対するテストセット翻訳正解率から、回帰分析によってTOEIC のスコアに対するテストセット翻訳正解率を表す回帰直線を計算する。
【００７３】
　翻訳能力計算器２６は、第１のテストセット翻訳正解率計算器２２によって求められた評価対象の翻訳結果に対するテストセット翻訳正解率と、回帰直線計算器２５によって求められた回帰直線とに基づいて、日英機械翻訳システムの翻訳能力を計算する。
【００７４】
　図７は、第２のテストセット翻訳正解率計算器２４によって求められたTOEIC のスコア毎の参照翻訳結果に対するテストセット翻訳正解率および回帰直線計算器２５によって求められた回帰直線を示している。
【００７５】
　なお、図７は、日英機械翻訳システムとして、ＡＴＲ音声翻訳通信研究所が研究開発した機械翻訳機(TDMT)を用いた場合の実験結果を示している。また、この例では、日本語テスト文の総数は３３０である。
【００７６】
　図７において、横軸はTOEIC 受験者のスコアを示し、縦軸はテストセット翻訳正解率を示している。
【００７７】
　図７の折れ線ａ１は、第３の実施の形態の第２のテストセット翻訳正解率計算器２４によって求められたTOEIC のスコア毎の参照翻訳結果に対するテストセット翻訳正解率を示し、直線ａ２は折れ線ａ１のデータから求められた回帰直線を示している。値Ａは、第３の実施の形態の第１のテストセット翻訳正解率計算器２２によって算出された評価対象の翻訳結果に対するテストセット翻訳正解率を示している。
【００７８】
　また、折れ線ｂ１は、日本語テスト文に対する類似日本語参照文を利用することなく算出されたTOEIC のスコア毎の参照翻訳結果に対するテストセット翻訳正解率を示し、直線ｂ２は折れ線ｂ１のデータから求められた回帰直線を示している。値Ｂは、日本語テスト文に対する類似日本語参照文を利用することなく算出された評価対象の翻訳結果に対するテストセット翻訳正解率を示している。
【００７９】
　直線ａ２で示される回帰直線と、第１のテストセット翻訳正解率計算器２２によって求められた評価対象の翻訳結果に対するテストセット翻訳正解率Ａとの交点に対応するTOEIC のスコアが、第３の実施の形態によって求められた日英機械翻訳システムのTOEIC のスコアである。図７の場合は、日英機械翻訳システムのTOEIC のスコアは６８０点となっている。
【００８０】
　同様にして、類似日本語文を利用しない翻訳正解率に基づいて日英機械翻訳システムのTOEIC スコアを求めると６５０点となる。なお、日英機械翻訳システムの翻訳結果と参照翻訳データベース内の翻訳結果との比較を評価者が行った主観評価実験によると日英機械翻訳システムのTOEIC スコアは７０８点となった。
【００８１】
　第３の実施の形態によって求められた日英機械翻訳システムのTOEIC スコアは、類似日本語参照文を利用しない翻訳正解率に基づいて日英機械翻訳システムのTOEIC スコアに比べて、主観的に評価を行なった場合の日英機械翻訳システムのTOEIC スコアにはるかに近似したものとなり、第３の実施の形態によれば主観的評価に近い評価結果が自動的に得られることがわかる。
【００８２】
　なお、参照翻訳データベース２３内の翻訳結果をテストセット翻訳正解率計算器２４に入力する際に、当該翻訳結果の精度が低下するように誤差を付加するようにしてもよい。　　　
【００８３】
　上記各実施の形態によれば、次のような利点がある。
（１）原言語テスト文に類似する類似原言語参照文として誤った用例が検索されたとしても、誤って検索された用例に対応する類似対訳文に対する翻訳正解率は低い値となるため、当該翻訳正解率は採用されなくなる。このため、原言語テスト文に類似する類似原言語参照文の検索誤りの影響が少なく、高い精度の翻訳評価が可能である。
（２）原言語テスト文に類似すると検索された類似原言語参照文に対応する類似対訳文は、人手などで作られる精度の高い対訳であるので、単語の選択、並びが正確である。このため高い精度の翻訳評価が可能である。
（３）従来において主観評価を行なうことによって決定していたＡＢＣＤ等のランク分けを、自動的に行なうことが可能となる。特に、高い翻訳正解率の場合にはＡランクの主観評価との対応関係が強いので、Ａランクのテスト文については高い精度で自動判別を行なうことが可能となる。
（４）各テスト文に対する翻訳結果を、ＡＢＣＤランクにランク分けさせたい場合に、高い翻訳正解率の場合にはＡランクの主観評価との対応関係が強い性質を利用することにより、Ａランクのテスト文については自動的な判別を行い、Ａランク以下のランクのテスト文については、従来の主観による高い精度の評価を行なうことにより、ランク分けに要する評価者の負担が軽減される。
（５）異なる人間の翻訳能力に対応した参照翻訳データベースを利用する場合、各人間の翻訳能力に対応した翻訳正解率と評価対象の翻訳結果の翻訳正解率をテスト文毎に一対比較し、その比較結果の優劣が均衡する参照翻訳データベースの人間能力を翻訳対象の翻訳能力とすることにより翻訳自動評価が実現できる。また、参照翻訳データベースの翻訳正解率と優位文数の間の回帰直線を利用し、高い精度で均衡点を求める構成も実現できる。（６）異なる人間の翻訳能力に対応した参照翻訳データベースを利用する場合、各人間の翻訳能力それぞれに対応したテストセット平均翻訳正解率と、評価対象の翻訳結果に対するテストセット平均翻訳正解率とを比較し、両者が均衡する参照翻訳データベースの人間能力を翻訳対象の翻訳能力とすることにより翻訳自動評価が実現できる。この際、各人間の翻訳能力それぞれに対応したテストセット平均翻訳正解率から人間の翻訳能力に対するテストセット平均翻訳正解率を表す回帰直線を求め、この回帰直線と評価対象の翻訳結果に対するテストセット平均翻訳正解率の交点から、高い精度で均衡点を求めることもできる。
【図面の簡単な説明】
【００８４】
【図１】第１の実施の形態による翻訳エージェントの翻訳能力評価を行なうシステムの基本的な構成を示すブロック図である。
【図２】各日本語テスト文 j(i) に対して求められた翻訳正解率と、各日本語テスト文 j(i) の翻訳結果に対して行なわれた主観評価結果（ＡＢＣＤランク評価結果）との関係を示すグラフである。
【図３】類似度判別用閾値と判別率との関係を示すグラフである。
【図４】第２の実施の形態による翻訳エージェントの翻訳能力評価を行なうシステムの基本的な構成を示すブロック図である。
【図５】一対比較集計器１６によって求められたTOEIC のスコア毎の優位文数、および翻訳能力均衡点計算器１７によって求められた回帰直線を示すグラフである。
【図６】第３の実施の形態による翻訳エージェントの翻訳能力評価を行なうシステムの基本的な構成を示すブロック図である。
【図７】第２のテストセット翻訳正解率計算器２４によって求められたTOEIC のスコア毎の参照翻訳結果に対するテストセット翻訳正解率および回帰直線計算器２５によって求められた回帰直線を示すグラフである。
【符号の説明】
【００８５】
　　３　日本語データベース
　　４　英語データベース
　　５　類似日本語文検索器
　　８　翻訳正解率計算器
　１２　第１の翻訳正解率計算器
　１３　参照翻訳データベース
　１４　第２の翻訳正解率計算器
　１５　一対比較器
　１６　一対比較集計器
　１７　翻訳能力均衡点計算器
　２２　第１のテストセット翻訳正解率計算器
　２３　参照翻訳データベース
　２４　第２のテストセット翻訳正解率計算器
　２５　回帰直線計算器
　２６　翻訳能力計算器
【図１】
2004013913.tif 000004
【図２】
2004013913.tif 000005
【図３】
2004013913.tif 000006
【図４】
2004013913.tif 000007
【図５】
2004013913.tif 000008
【図６】
2004013913.tif 000009
【図７】
2004013913.tif 000010