JP 4113814 B2 2008.7.9(57)【特許請求の範囲】【請求項１】
予め用意された複数の原言語テスト文を利用して翻訳エージェントの翻訳能力を評価する
翻訳エージェントの翻訳能力評価装置であって、各原言語テスト文に対応する正解翻訳文を記憶した第１記憶手段、
原言語テスト文とは異なる複数の原言語参照文を記憶した第２記憶手段、
各原言語参照文に対応する正解翻訳文を記憶した第３記憶手段、
各原言語テスト文毎に、原言語テスト文に対応する正解翻訳文と、第２記憶手段内の原
言語参照文から検索された、原言語テスト文に類似する原言語参照文、に対応する正解翻訳文とを正解翻訳文候補とし、各正解翻訳文候補と翻訳エージェントによって得られた当10

該原言語テスト文に対する翻訳結果とを比較することにより、各原言語テスト文毎の翻訳
正解率を算出する第１手段、ならびに第１手段で算出された各原言語テスト文毎の翻訳正解率に基づいて翻訳エージェントの翻訳能力を評価する第２手段、を備えていることを特徴とする翻訳エージェントの翻訳能力評価装置。
【請求項２】
第１手段は、第２記憶手段内の原言語参照文から原言語テスト文に類似する原言語参照文を検索する
ａ手段、
ａ手段で検索された１または複数の原言語参照文に対応する正解翻訳文と、当該原言語

20

(2)

JP 4113814 B2 2008.7.9

テスト文に対応する正解翻訳文とを正解翻訳文候補とし、各正解翻訳文候補と翻訳エージ
ェントによって得られた当該原言語テスト文に対する翻訳結果とを比較することにより、各正解翻訳文候補毎の翻訳正解率を算出するｂ手段、およびｂ手段で算出された各正解翻訳文候補毎の翻訳正解率のうち、最も翻訳正解率が高い翻訳正解率を、当該原言語テスト文に対する翻訳正解率として求めるｃ手段、を備えていることを特徴とする請求項１に記載の翻訳エージェントの翻訳能力評価装置。
【請求項３】
ａ手段では、原言語テスト文と各原言語参照文との類似度を算出し、所定の類似度判定用
閾値より類似度が高い原言語参照文を原言語テスト文に類似する原言語参照文として検索10することを特徴とする請求項２に記載の翻訳エージェントの翻訳能力評価装置。
【請求項４】
類似度はＤＰマッチングに基づいて算出されることを特徴とする請求項３に記載の翻訳エージェントの翻訳能力評価装置。
【請求項５】
翻訳正解率はＤＰマッチングに基づいて算出されることを特徴とする請求項１、２、３および４のいずれかに記載の翻訳エージェントの翻訳能力評価装置。
【請求項６】
第２手段は、第１手段で算出された各原言語テスト文毎の翻訳正解率の平均値を算出し、この算出結果に基づいて翻訳エージェントの翻訳能力を評価することを特徴とする請求項

20

１、２、３、４および５のいずれかに記載の翻訳エージェントの翻訳能力評価装置。
【請求項７】
第２手段は、第１手段で算出された各原言語テスト文毎の翻訳正解率と、所定のランク判
別用域値とを比較することにより、翻訳エージェントによって得られた当該原言語テスト
文に対する翻訳結果をランク分けし、ランク分け結果に基づいて翻訳エージェントの翻訳能力を評価することを特徴とする請求項１、２、３、４および５のいずれかに記載の翻訳
エージェントの翻訳能力評価装置。
【請求項８】
予め用意された複数の原言語テスト文を利用して翻訳エージェントの翻訳能力を評価する
翻訳エージェントの翻訳能力評価装置であって、

30

各原言語テスト文に対応する正解翻訳文を記憶した第１記憶手段、
原言語テスト文とは異なる複数の原言語参照文を記憶した第２記憶手段、
各原言語参照文に対応する正解翻訳文を記憶した第３記憶手段、
各原言語テスト文に対応する翻訳能力別翻訳文を記憶した第４記憶手段、
各原言語テスト文毎に、原言語テスト文に対応する正解翻訳文と、第２記憶手段内の原
言語参照文から検索された、原言語テスト文に類似する原言語参照文、に対応する正解翻訳文とを正解翻訳文候補とし、各正解翻訳文候補と翻訳エージェントによって得られた原言語テスト文に対する翻訳結果とを比較することにより、各原言語テスト文毎の第１翻訳
正解率を算出する第１手段、各原言語テスト文毎に、原言語テスト文に対応する正解翻訳文と、第２記憶手段内の原40

言語参照文から検索された、原言語テスト文に類似する原言語参照文、に対応する正解翻訳文とを正解翻訳文候補とし、各正解翻訳文候補と原言語テスト文に対応する翻訳能力別
翻訳文とを比較することにより、各原言語テスト文毎の第２翻訳正解率を各翻訳能力別翻訳文セット毎に算出する第２手段、ならびに第１手段で算出された各原言語テスト文毎の第１翻訳正解率と、第２手段で各翻訳能力
別翻訳文セット毎に算出された各原言語テスト文毎の第２翻訳正解率とを各原言語テスト
文毎に比較し、その比較結果に基づいて翻訳エージェントの翻訳能力を評価する第３手段、を備えていることを特徴とする翻訳エージェントの翻訳能力評価装置。
【請求項９】50

(3)JP 4113814 B2 2008.7.9

第１手段は、第２記憶手段内の原言語参照文から原言語テスト文に類似する原言語参照文を検索する
ａ手段、
ａ手段で検索された１または複数の原言語参照文に対応する正解翻訳文と、当該原言語
テスト文に対応する正解翻訳文とを正解翻訳文候補とし、各正解翻訳文候補と翻訳エージ
ェントによって得られた当該原言語テスト文に対する翻訳結果とを比較することにより、各正解翻訳文候補毎の第１翻訳正解率を算出するｂ手段、およびｂ手段で算出された各正解翻訳文候補毎の第１翻訳正解率のうち、最も翻訳正解率が高い翻訳正解率を、当該原言語テスト文に対する第１翻訳正解率として求めるｃ手段を備え
ており、

10

第２手段は、
ａ手段で検索された１または複数の原言語参照文に対応する正解翻訳文と、当該原言語
テスト文に対応する正解翻訳文とを正解翻訳文候補とし、各正解翻訳文候補と当該原言語
テスト文に対応する翻訳能力別翻訳文とを比較することにより、各正解翻訳文候補毎の第２翻訳正解率を翻訳能力別翻訳文セット毎に算出するｄ手段、およびｄ手段で算出された各正解翻訳文候補毎の第２翻訳正解率のうち、最も翻訳正解率が高い翻訳正解率を、当該原言語テスト文に対する第２翻訳正解率として求めるｅ手段を備えていることを特徴とする請求項８に記載の翻訳エージェントの翻訳能力評価装置。
【請求項１０】
第３手段は、

20

翻訳能力別翻訳文セット毎に、各原言語テスト文に対する第１翻訳正解率と第２翻訳正解率とを比較することにより、翻訳エージェントによって得られた翻訳結果が翻訳能力別
翻訳文より優れている原言語テスト文の数（以下、優位文数という）を翻訳能力別翻訳文
セット毎に算出する手段、および翻訳能力別翻訳文セット毎に算出された優位文数に基づいて、翻訳エージェントの翻訳能力を算出する手段、を備えていることを特徴とする請求項８および９のいずれかに記載の翻訳エージェントの翻訳能力評価装置。
【請求項１１】
予め用意された複数の原言語テスト文を利用して翻訳エージェントの翻訳能力を評価する

30

翻訳エージェントの翻訳能力評価装置であって、各原言語テスト文に対応する正解翻訳文を記憶した第１記憶手段、
原言語テスト文とは異なる複数の原言語参照文を記憶した第２記憶手段、
各原言語参照文に対応する正解翻訳文を記憶した第３記憶手段、
各原言語テスト文に対応する翻訳能力別翻訳文を記憶した第４記憶手段、
各原言語テスト文毎に、原言語テスト文に対応する正解翻訳文と、第２記憶手段内の原
言語参照文から検索された、原言語テスト文に類似する原言語参照文、に対応する正解翻訳文とを正解翻訳文候補とし、各正解翻訳文候補と翻訳エージェントによって得られた当
該原言語テスト文に対する翻訳結果とを比較することにより、各原言語テスト文毎の第１
翻訳正解率を算出し、得られた各原言語テスト文毎の第１翻訳正解率から原言語テスト文

40

セットに対する平均翻訳正解率を算出する第１手段、各原言語テスト文毎に、原言語テスト文に対応する正解翻訳文と、第２記憶手段内の原
言語参照文から検索された、原言語テスト文に類似する原言語参照文、に対応する正解翻訳文とを正解翻訳文候補とし、各正解翻訳文候補と原言語テスト文に対応する翻訳能力別
翻訳文とを比較することにより、各原言語テスト文毎の第２翻訳正解率を各翻訳能力別翻訳文セット毎に算出し、各翻訳能力別翻訳文セット毎に得られた各原言語テスト文毎の第２翻訳正解率から、各翻訳能力別翻訳文セット毎の平均翻訳正解率を算出する第２手段、ならびに第１手段で算出された原言語テスト文セットに対する平均翻訳正解率と、第２手段で算出された各翻訳能力別翻訳文セット毎の平均翻訳正解率とに基づいて、翻訳エージェント

50

(4)

JP 4113814 B2 2008.7.9の翻訳能力を評価する第３手段、を備えていることを特徴とする翻訳エージェントの翻訳能力評価装置。
【請求項１２】
第１手段は、第２記憶手段内の原言語参照文から原言語テスト文に類似する原言語参照文を検索する
ａ手段、
ａ手段で検索された１または複数の原言語参照文に対応する正解翻訳文と、当該原言語
テスト文に対応する正解翻訳文とを正解翻訳文候補とし、各正解翻訳文候補と翻訳エージ
ェントによって得られた当該原言語テスト文に対する翻訳結果とを比較することにより、
10

各正解翻訳文候補毎の第１翻訳正解率を算出するｂ手段、ｂ手段で算出された各正解翻訳文候補毎の第１翻訳正解率のうち、最も翻訳正解率が高い翻訳正解率を、当該原言語テスト文に対する第１翻訳正解率として求めるｃ手段、および
各原言語テスト文に対する第１翻訳正解率の平均を算出することによって、原言語テス
ト文セットに対する平均翻訳正解率を算出するｄ手段、を備えており、
第２手段は、
ａ手段で検索された１または複数の原言語参照文に対応する正解翻訳文と、当該原言語
テスト文に対応する正解翻訳文とを正解翻訳文候補とし、各正解翻訳文候補と原言語テス
ト文に対応する翻訳能力別翻訳文とを比較することにより、各正解翻訳文候補毎の第２翻20

訳正解率を翻訳能力別翻訳文セット毎に算出するｅ手段、
ｅ手段で算出された各正解翻訳文候補毎の第２翻訳正解率のうち、最も翻訳正解率が高い翻訳正解率を、当該原言語テスト文に対する第２翻訳正解率として求めるｆ手段、および
翻訳能力別翻訳文セット毎に原言語テスト文に対する第２翻訳正解率の平均を算出する
ことによって、各翻訳能力別翻訳文セット毎の平均翻訳正解率を算出するｇ手段、を備えていることを特徴とする請求項１１に記載の翻訳エージェントの翻訳能力評価装置。
【発明の詳細な説明】
30【技術分野】【０００１】
この発明は、翻訳エージェントの翻訳能力評価装置に関する。
【背景技術】【０００２】
翻訳エージェントの翻訳能力評価方法として、予め決められた評価基準に従い、Ａ，Ｂ，Ｃ，Ｄなどのランクを評価者が主観で付与し、例えばＡ，ＢまたはＣランクの割合を翻
訳能力の尺度（翻訳率）とするといった方法が知られている。
【０００３】
Ａ，Ｂ，Ｃ，Ｄの各ランクは、例えば、完全訳（訳文だけでまったく問題なし）、部分訳（訳文は少し情報が欠けている）、可能訳（訳文はかなり情報が欠けている）、不可能

40

訳（翻訳からは情報が想像もできない）に対応する。
【０００４】
翻訳エージェントの翻訳結果と正解翻訳文とをＤＰマッチングを用いて比較することにより、翻訳結果の正解率を算出する手法も提案されている (Takezawa他、"A New Evaluat
ion Method for Speech Translation Systems and A Case Study on ATR‑MATRIX from Ja
panese to English", MT Summit VII, Sept. 1999 参照) 。
【０００５】
ＤＰマッチングを用いた翻訳結果の正解率の計算方法について説明する。ＤＰマッチン
グ（例えば、長尾真著 "言語工学",

発行所；株式会社昭晃堂，1985

参照）では、２つの文の全体にわたってできるだけもっともらしいマッチングが行なわれる。ＤＰマッチン

50

(5)

JP 4113814 B2 2008.7.9

グの例を説明する。文は単語系列で表されるとする。
【０００６】
日本語の "今日は天気です" という文１は、 "今日" 、 "は" 、 "天気" 、 "です" と分割される。日本語の "今日雨ですね" という文２は "今日" 、 "雨" 、 "です" 、 "ね" と分割される。ＤＰマッチングの結果、表１の単語の対応関係の結果が得られる。
【０００７】【表１】

10【０００８】

20

文１の "は" は文２では削除され、文１の "天気" は文２では "雨" に置換され、文２には "ね" が挿入されている。たとえば、文２を評価対象文とし、文１を正解文とすると、文２の正解率（類似度）は、次式（１）のように定義される。式（１）において、Total は文１の単語数、Sub は置換された単語数、Del は削除された単語数、Ins は挿入された単語数である。
【０００９】
Acc=(Total‑(Sub+Del+Ins))/Total…（１）

上記の例では、 Acc=(4‑(1+1+1))/4=1/4=0.25 となる。挿入、置換、削除の各誤りがない場合には、正解率 100％となり、誤りに応じて正解率は低下する。
【００１０】

30

日英翻訳結果の翻訳正解率の計算も、同様にして行なわれる。つまり、原言語である日本語に対応した英語の正解の翻訳結果と、評価対象の英語の翻訳結果とをＤＰマッチング
することにより、正解率を求める。翻訳正解率が 100％であれば、原言語である日本語に対応した英語の正解の翻訳結果と、評価対象の英語の翻訳結果は完全に一致しているので、評価対象の英語の翻訳結果は正しいと判断できる。
【発明の開示】【発明が解決しようとする課題】【００１１】
上記従来におけるＤＰマッチングを用いた翻訳正解率の計算では、評価対象の翻訳結果と正解翻訳とのマッチングに基づく距離を単に計算しているだけなので、翻訳結果が正解

40とは異なる表現を採用している場合は、たとえ正解であっても翻訳正解率が著しく劣化してしまう。したがって、表現の多様性を許容できない欠点がある。更に、翻訳正解率と従来の主観評価に基づく翻訳率などの評価尺度との関連性が明らかでないという欠点がある。
【００１２】
この発明は、評価対象の翻訳結果の表現の多様性を許容しながら、高い精度で翻訳エー
ジェントの翻訳能力を評価することができる翻訳エージェントの翻訳能力評価装置を提供することを目的とする。
【００１３】
また、この発明は、従来、主観的に行なっていたランク評価の全部または一部を、自動

50

(6)

JP 4113814 B2 2008.7.9

的に行なうことが可能となる翻訳エージェントの翻訳能力評価装置を提供することを目的とする。
【課題を解決するための手段】【００１４】
この発明は、予め用意された複数の原言語テスト文を利用して翻訳エージェントの翻訳能力を評価する翻訳エージェントの翻訳能力評価装置であって、各原言語テスト文に対応する正解翻訳文を記憶した第１記憶手段、原言語テスト文とは異なる複数の原言語参照文を記憶した第２記憶手段、各原言語参照文に対応する正解翻訳文を記憶した第３記憶手段、各原言語テスト文毎に、原言語テスト文に対応する正解翻訳文と、第２記憶手段内の原
言語参照文から検索された、原言語テスト文に類似する原言語参照文、に対応する正解翻10

訳文とを正解翻訳文候補とし、各正解翻訳文候補と翻訳エージェントによって得られた当
該原言語テスト文に対する翻訳結果とを比較することにより、各原言語テスト文毎の翻訳
正解率を算出する第１手段、ならびに第１手段で算出された各原言語テスト文毎の翻訳正解率に基づいて翻訳エージェントの翻訳能力を評価する第２手段を備えていることを特徴とする。
【００１５】
第１手段は、たとえば、第２記憶手段内の原言語参照文から原言語テスト文に類似する
原言語参照文を検索するａ手段、ａ手段で検索された１または複数の原言語参照文に対応
する正解翻訳文と、当該原言語テスト文に対応する正解翻訳文とを正解翻訳文候補とし、各正解翻訳文候補と翻訳エージェントによって得られた当該原言語テスト文に対する翻訳

20

結果とを比較することにより、各正解翻訳文候補毎の翻訳正解率を算出するｂ手段、およびｂ手段で算出された各正解翻訳文候補毎の翻訳正解率のうち、最も翻訳正解率が高い翻訳正解率を、当該原言語テスト文に対する翻訳正解率として求めるｃ手段を備えている。
【００１６】
ａ手段では、たとえば、原言語テスト文と各原言語参照文との類似度を算出し、所定の類似度判定用閾値より類似度が高い原言語参照文を原言語テスト文に類似する原言語参照
文として検索する。
【００１７】
類似度は、たとえば、ＤＰマッチングに基づいて算出される。翻訳正解率は、たとえば、ＤＰマッチングに基づいて算出される。

30【００１８】
第２手段では、たとえば、第１手段で算出された各原言語テスト文毎の翻訳正解率の平均値を算出し、この算出結果に基づいて翻訳エージェントの翻訳能力を評価する。
【００１９】
第２手段では、第１手段で算出された各原言語テスト文毎の翻訳正解率と、所定のラン
ク判別用域値とを比較することにより、翻訳エージェントによって得られた当該原言語テスト文に対する翻訳結果をランク分けし、ランク分け結果に基づいて翻訳エージェントの翻訳能力を評価する。
【００２０】
この発明は、予め用意された複数の原言語テスト文を利用して翻訳エージェントの翻訳40

能力を評価する翻訳エージェントの翻訳能力評価装置であって、各原言語テスト文に対応する正解翻訳文を記憶した第１記憶手段、原言語テスト文とは異なる複数の原言語参照文を記憶した第２記憶手段、各原言語参照文に対応する正解翻訳文を記憶した第３記憶手段、各原言語テスト文に対応する翻訳能力別翻訳文を記憶した第４記憶手段、各原言語テス
ト文毎に、原言語テスト文に対応する正解翻訳文と、第２記憶手段内の原言語参照文から検索された、原言語テスト文に類似する原言語参照文、に対応する正解翻訳文とを正解翻訳文候補とし、各正解翻訳文候補と翻訳エージェントによって得られた原言語テスト文に対する翻訳結果とを比較することにより、各原言語テスト文毎の第１翻訳正解率を算出す
る第１手段、各原言語テスト文毎に、原言語テスト文に対応する正解翻訳文と、第２記憶手段内の原言語参照文から検索された、原言語テスト文に類似する原言語参照文、に対応

50

(7)

JP 4113814 B2 2008.7.9

する正解翻訳文とを正解翻訳文候補とし、各正解翻訳文候補と原言語テスト文に対応する
翻訳能力別翻訳文とを比較することにより、各原言語テスト文毎の第２翻訳正解率を各翻
訳能力別翻訳文セット毎に算出する第２手段、ならびに第１手段で算出された各原言語テスト文毎の第１翻訳正解率と、第２手段で各翻訳能力別翻訳文セット毎に算出された各原
言語テスト文毎の第２翻訳正解率とを各原言語テスト文毎に比較し、その比較結果に基づいて翻訳エージェントの翻訳能力を評価する第３手段を備えていることを特徴とする。
【００２１】
第１手段は、たとえば、第２記憶手段内の原言語参照文から原言語テスト文に類似する
原言語参照文を検索するａ手段、ａ手段で検索された１または複数の原言語参照文に対応
する正解翻訳文と、当該原言語テスト文に対応する正解翻訳文とを正解翻訳文候補とし、

10

各正解翻訳文候補と翻訳エージェントによって得られた当該原言語テスト文に対する翻訳結果とを比較することにより、各正解翻訳文候補毎の第１翻訳正解率を算出するｂ手段、
およびｂ手段で算出された各正解翻訳文候補毎の第１翻訳正解率のうち、最も翻訳正解率が高い翻訳正解率を、当該原言語テスト文に対する第１翻訳正解率として求めるｃ手段を備えている。
【００２２】
第２手段は、たとえば、ａ手段で検索された１または複数の原言語参照文に対応する正解翻訳文と、当該原言語テスト文に対応する正解翻訳文とを正解翻訳文候補とし、各正解
翻訳文候補と当該原言語テスト文に対応する翻訳能力別翻訳文とを比較することにより、各正解翻訳文候補毎の第２翻訳正解率を翻訳能力別翻訳文セット毎に算出するｄ手段、お20

よびｄ手段で算出された各正解翻訳文候補毎の第２翻訳正解率のうち、最も翻訳正解率が高い翻訳正解率を、当該原言語テスト文に対する第２翻訳正解率として求めるｅ手段を備えている。
【００２３】
第３手段は、たとえば、翻訳能力別翻訳文セット毎に、各原言語テスト文に対する第１
翻訳正解率と第２翻訳正解率とを比較することにより、翻訳エージェントによって得られた翻訳結果が翻訳能力別翻訳文より優れている原言語テスト文の数（以下、優位文数という）を翻訳能力別翻訳文セット毎に算出する手段、および翻訳能力別翻訳文セット毎に算出された優位文数に基づいて、翻訳エージェントの翻訳能力を算出する手段を備えている
30。
【００２４】
この発明は、予め用意された複数の原言語テスト文を利用して翻訳エージェントの翻訳能力を評価する翻訳エージェントの翻訳能力評価装置であって、各原言語テスト文に対応する正解翻訳文を記憶した第１記憶手段、原言語テスト文とは異なる複数の原言語参照文を記憶した第２記憶手段、各原言語参照文に対応する正解翻訳文を記憶した第３記憶手段、各原言語テスト文に対応する翻訳能力別翻訳文を記憶した第４記憶手段、各原言語テス
ト文毎に、原言語テスト文に対応する正解翻訳文と、第２記憶手段内の原言語参照文から検索された、原言語テスト文に類似する原言語参照文、に対応する正解翻訳文とを正解翻訳文候補とし、各正解翻訳文候補と翻訳エージェントによって得られた当該原言語テスト
文に対する翻訳結果とを比較することにより、各原言語テスト文毎の第１翻訳正解率を算40出し、得られた各原言語テスト文毎の第１翻訳正解率から原言語テスト文セットに対する平均翻訳正解率を算出する第１手段、各原言語テスト文毎に、原言語テスト文に対応する
正解翻訳文と、第２記憶手段内の原言語参照文から検索された、原言語テスト文に類似する原言語参照文、に対応する正解翻訳文とを正解翻訳文候補とし、各正解翻訳文候補と原言語テスト文に対応する翻訳能力別翻訳文とを比較することにより、各原言語テスト文毎の第２翻訳正解率を各翻訳能力別翻訳文セット毎に算出し、各翻訳能力別翻訳文セット毎に得られた各原言語テスト文毎の第２翻訳正解率から、各翻訳能力別翻訳文セット毎の平均翻訳正解率を算出する第２手段、ならびに第１手段で算出された原言語テスト文セットに対する平均翻訳正解率と、第２手段で算出された各翻訳能力別翻訳文セット毎の平均翻訳正解率とに基づいて、翻訳エージェントの翻訳能力を評価する第３手段を備えているこ

50

(8)

JP 4113814 B2 2008.7.9とを特徴とする。
【００２５】
第１手段は、たとえば、第２記憶手段内の原言語参照文から原言語テスト文に類似する
原言語参照文を検索するａ手段、ａ手段で検索された１または複数の原言語参照文に対応
する正解翻訳文と、当該原言語テスト文に対応する正解翻訳文とを正解翻訳文候補とし、各正解翻訳文候補と翻訳エージェントによって得られた当該原言語テスト文に対する翻訳結果とを比較することにより、各正解翻訳文候補毎の第１翻訳正解率を算出するｂ手段、ｂ手段で算出された各正解翻訳文候補毎の第１翻訳正解率のうち、最も翻訳正解率が高い
翻訳正解率を、当該原言語テスト文に対する第１翻訳正解率として求めるｃ手段、および各原言語テスト文に対する第１翻訳正解率の平均を算出することによって、原言語テスト

10

文セットに対する平均翻訳正解率を算出するｄ手段を備えている。
【００２６】
第２手段は、たとえば、ａ手段で検索された１または複数の原言語参照文に対応する正解翻訳文と、当該原言語テスト文に対応する正解翻訳文とを正解翻訳文候補とし、各正解
翻訳文候補と原言語テスト文に対応する翻訳能力別翻訳文とを比較することにより、各正解翻訳文候補毎の第２翻訳正解率を翻訳能力別翻訳文セット毎に算出するｅ手段、ｅ手段で算出された各正解翻訳文候補毎の第２翻訳正解率のうち、最も翻訳正解率が高い翻訳正解率を、当該原言語テスト文に対する第２翻訳正解率として求めるｆ手段、および翻訳能
力別翻訳文セット毎に原言語テスト文に対する第２翻訳正解率の平均を算出することによって、各翻訳能力別翻訳文セット毎の平均翻訳正解率を算出するｇ手段を備えている。

20【発明の効果】【００２７】
この発明によれば、評価対象の翻訳結果の表現の多様性を許容しながら、高い精度で翻訳エージェントの翻訳能力を評価することができるようになる。また、この発明によれば、従来、主観的に行なっていたランク評価の全部または一部を、自動的に行なうことが可能となる。
【発明を実施するための最良の形態】【００２８】
以下、図面を参照して、この発明の実施例について説明する。
【実施例１】

30【００２９】
図１、図２および図３を参照して、この発明の第１の実施の形態について説明する。
【００３０】
図１は、翻訳エージェントの翻訳能力評価を行なうシステムの基本的な構成を示している。ここでは、日本語を英語に翻訳する日英機械翻訳システムの翻訳能力を評価する場合
を例にとって説明する。
【００３１】
日英機械翻訳システムの翻訳能力を評価するために、テスト文の集合が日本語テストセット１として用意されているとともに、日本語の各テスト文に対応した英語の正解が英語
テストセット２として用意されているものとする。ここでは、各日本語テスト文を j(i)(40

i=1,2,3, ..., n)で表し、各日本語テスト文に対応した英語の正解文を e(i)(i=1,2,3, .
.., n)で表す。
【００３２】
一方、日本語テスト文とは別に、複数の日本語文（以下、日本語参照文という）とその英語翻訳結果である英文とが用意されており、各日本語参照文と対応する英文とは対応付
けられているものとする。日本語参照文の集合を日本語データベース３と呼び、各日本語
参照文に対応する英文の集合を英語データベース４と呼ぶことにする。
【００３３】
日本語テキストセット１内の日本語テスト文 j(i) は、日英機械翻訳システム６に入力される。日英機械翻訳システム６は、入力された日本語テスト文 j(i) を翻訳し、その翻

50

(9)

JP 4113814 B2 2008.7.9

訳結果７を出力する。
【００３４】
また、日本語テキストセット１内の日本語テスト文 j(i) は、類似日本語文検索器５にも入力される。類似日本語文検索器５は、入力された日本語テスト文 j(i) に類似する日本語参照文を、日本語データベース３から検索する。
【００３５】
この検索は、次のようにして行なわれる。まず、日本語テスト文 j(i) と日本語データ
ベース３内の各日本語参照文とを比較し、上記式（１）を用いて、各日本語参照文毎に、日本語参照文の日本語テスト文 j(i) に対する類似度（正解率）を算出する。予め定めた類似度判別用閾値よりも正解率が高い日本語参照文を、日本語テスト文 j(i) に類似した

10

日本語参照文（以下、類似日本語参照文という）として特定する。
【００３６】
そして、特定した類似日本語参照文に対応する英文を、英語データベース４から検索し、検索した英文を、日本語テスト文 j(i) に対する英文正解候補として追加する。したがって、日本語テスト文 j(i) に対する英文正解候補は、日本語テスト文 j(i) に対応する
正解文 e(i) と、類似日本語文検索器５によって検索された類似日本語参照文に対応する
英文との集合となる。
【００３７】
翻訳正解率計算器８は、日本語テスト文 j(i) の翻訳結果７と各英文正解候補とを比較し、上記式（１）を用いて、各英文正解候補毎に日本語テスト文 j(i) の英文正解候補に20

対する翻訳正解率を算出する。そして、翻訳正解率の最大値を当該日本語テスト文 j(i)の翻訳正解率とする。
【００３８】
このようにして、日本語テストセット１内の各日本語テスト文 j(i) に対する翻訳正解率を算出する。そして、全ての日本語テスト文 j(i) に対して求められた翻訳正解率の平均をテストセット翻訳正解率として求める。得られたテストセット翻訳正解率を、機械翻訳システムの翻訳能力評価の尺度として用いる。
【００３９】
ところで、上記のようにして求められたテストセット翻訳正解率は、機械翻訳システムの翻訳能力評価の尺度の１つであるが、従来の主観評価（ＡＢＣＤランク評価）との対応

30

関係が不明である。これらの対応関係の算出方法を次に説明する。
【００４０】
図２は、各日本語テスト文 j(i) に対して求められた翻訳正解率と、各日本語テスト文
j(i) の翻訳結果に対して行なわれた主観評価結果（ＡＢＣＤランク評価結果）との関係を示している。なお、図２は、日英機械翻訳システム６として、ＡＴＲ音声翻訳通信研究所が研究開発した機械翻訳機(TDMT)を用いた場合の実験結果を示している。
【００４１】
図２のＡ、Ｂ、Ｃ、Ｄは、評価ランクを示している。図２の縦軸は各日本語テスト文の翻訳正解率を表している。
【００４２】

40

Ａランクが付与された日本語テスト文（翻訳結果）の翻訳正解率は分布しているがその平均翻訳正解率は高く、Ｄランクが付与された日本語テスト文（翻訳結果）の平均翻訳正解率は低い。そこで、ＡランクとＢランク以下（Ｂ，Ｃ，Ｄ）とを判別できるようなラン
ク判別用閾値を設定すれば、ランク判別用閾値より大きな翻訳正解率に属する日本語テス
ト文（翻訳結果）をＡランクと見做し、ランク判別用閾値以下の翻訳正解率に属する日本
語テスト文（翻訳結果）をＢランク以下のランクと見做すことができる。
【００４３】
ＡランクとＢランク以下とを判別できるようなランク判別用閾値を決定する方法としては、主観評価によってＡランクが付与された日本語テスト文（翻訳結果）の平均翻訳正解
率と、主観評価によってＢランク以下のランクＢ，Ｃ，Ｄが付与された日本語テスト文（

50

(10)

JP 4113814 B2 2008.7.9

翻訳結果）の平均翻訳正解率の中間値を選択する等、判別分析と呼ばれている手法を利用することができる。
【００４４】
ＡランクとＢランク以下とを判別できるようなランク判別用閾値を用いて、各日本語テ
スト文をＡランクとＢランク以下とにランク分け（Ａ／Ｂ，Ｃ，Ｄ）し、主観評価結果を用いてそのランク分けが正しい割合（判別率）を算出した。同様に、Ｂランク以上のラン
クＡ，Ｂと、Ｃランク以下のランクＣ，Ｄとを判別できるようなランク判別用閾値を用いて、各日本語テスト文をＢランク以上とＣランク以下とにランク分け（Ａ，Ｂ／Ｃ，Ｄ）
し、そのランク分けが正しい割合（判別率）を算出した。
【００４５】

10

また、Ｃランク以上のランクＡ，Ｂ，Ｃと、Ｄランクとを判別できるようなランク判別
用閾値を用いて、各日本語テスト文をＣランク以上とＤランクとにランク分け（Ａ，Ｂ，Ｃ／Ｄ）し、そのランク分けが正しい割合（判別率）を算出した。さらに、ＡランクとＢ
ランク、ＢランクとＣランク、ＣランクとＤランクとをそれぞれ判別できるようなランク
判別用閾値を用いて、各日本語テスト文を各ランク毎にランク分け（Ａ／Ｂ／Ｃ／Ｄ）し、そのランク分けが正しい割合（判別率）を算出した。
【００４６】
このような判別率の算出を、類似日本語文検索器５で用いられる類似度判別用閾値を１０％から１００％までの範囲で１０％ずつ変化させて行なった結果を、図３に示す。図３の横軸は類似度判別用閾値を示し、縦軸は判別率を示している。また、図３の右端には、

20

日本語テスト文に対して類似日本語文を検索しない従来例の場合の実験結果を示している。
【００４７】
図３から、類似度判別用閾値を１００％とした場合であっても、日本語テスト文に対して類似日本語参照文が検索されることがあるため、従来例に比べて判別率が高く、表現の多様性を許容する効果があることが理解できる。また、類似度判別用閾値を適切に選択することにより、従来例に比べて、１５％も、判別率が向上させることが可能である。
【００４８】
また、図３から、ランク判別用閾値を用いてランク分けを行なった場合に、ＡランクとＢランク以下とのランク分け、Ｂランク以上とＣランク以下とのランク分けおよびＣラン

30

ク以上とＤランクとのランク分けのうち、ＡランクとＢランク以下とのランク分けを行なった場合の判別率が最も高いことが分かる。Ａランクに属すると判別された日本語テスト
文の数の日本語テスト文総数に対する割合を翻訳能力の尺度（翻訳率）として用いれば、主観評価の８０％という高い精度で翻訳能力評価を自動的に行なえるようになる。
【００４９】
なお、Ａ，Ｂ，Ｃ、Ｄを別々のランクで高い精度で評価する場合には、Ａのランク判定
を上述の方法で自動判定し、その後、Ｂ，Ｃ，Ｄのランク判別を評価者が行うこともできる。このようにすれば、高い翻訳率精度を維持しながら、評価者が評価する日本語テスト
文の数を削減できるので、評価者の負担が軽減され、効率的な評価を行なうことが可能となる。

40【実施例２】【００５０】
以下、図４および図５を参照して、この発明の第２の実施の形態について説明する。
【００５１】
図４は、翻訳エージェントの翻訳能力評価を行なうシステムの基本的な構成を示している。ここでは、日本語を英語に翻訳する日英機械翻訳システムの翻訳能力を評価する場合
を例にとって説明する。
【００５２】
第１の翻訳正解率計算器１２は、第１の実施の形態の翻訳正解率計算器８と同様に、日本語テスト文j(i)に対する日英機械翻訳システムの翻訳結果（評価対象の翻訳結果）１１

50

(11)

JP 4113814 B2 2008.7.9と日本語テスト文j(i)に対する英文正解候補とに基づいて、日本語テスト文j(i)毎に翻訳
正解率を計算する。日本語テスト文j(i)に対する英文正解項候補は、日本語テスト文j(i)に対応する正解文e(i)と、類似日本語文検索器５（図１参照）によって検索された類似日
本語参照文に対応する英文との集合からなる。
【００５３】
参照翻訳データベース１３には、各日本語テスト文毎に能力別の複数の翻訳結果が保存されている。英語を例に取ると、参照翻訳データベース１３には TOEIC (Test of Englis
h for International Commuunication) 試験のスコアが異なる複数のTOEIC 受験者の各日
本語テスト文毎の翻訳結果 TOEIC(i,t)(i=1,2,3, ...,n, t=1,2,3, ..., m)が格納されて10いる。
【００５４】
第２の翻訳正解率計算器１４は、日本語テスト文j(i)に対する参照翻訳データベース１
３内の翻訳結果TOEIC(i,t)と日本語テスト文j(i)に対する英文正解候補とに基づいて、第１の翻訳正解率計算器１２と同様な手法で、日本語テスト文j(i)毎に翻訳正解率を計算する。日本語テスト文j(i)に対する英文正解項候補は、日本語テスト文j(i)に対応する正解
文e(i)と、類似日本語文検索器５（図１参照）によって検索された類似日本語参照文に対応する英文との集合からなる。
【００５５】
第１の翻訳正解率計算器１２によって算出される日本語テスト文j(i)毎の翻訳正解率をＡ１(i) とする。第２の翻訳正解率計算器１４によって算出される受験者毎の日本語テス20

ト文j(i)毎の翻訳正解率をＡ２(i,t) とする。
【００５６】
ここでは、参照翻訳データベース１３に格納されている複数の受験者の各日本語テスト
文毎の翻訳結果のうち、一人の受験者の各日本語テスト文毎の翻訳結果を用いて１セット
分の日本語テスト文j(i)に対する処理が行なわれた後、次の受験者の各日本語テスト文毎の翻訳結果を用いて１セット分の日本語テスト文j(i)に対する処理が行なわれるというよ
うに、各受験者の翻訳結果セット毎に１セット分の日本語テスト文j(i)に対する処理が行なわれる。
【００５７】
一対比較器１５は、第１の翻訳正解率計算器１２によって算出される翻訳正解率をＡ１30(i) と、第２の翻訳正解率計算器１４によって算出される翻訳正解率をＡ２(i,t) とを比較し、それらの優劣を判定する。一対比較器１５は、閾値をThとすると、たとえば、次の条件式(i) ，(ii),(iii)を用いて優劣を判定する。
(i)

if

A1>A2+Th(ii)

if｜A1‑A2 ｜≦Th

then

A2>A1+Th

A2が優位と判定(iii) ifthen A1が優位と判定
then

A1 とA2とが同等と判定

これらの判定結果は、一対比較集計器１６に送られる。一対比較集計器１６は、一人の受験者の翻訳結果に基づいて１セット分の日本語テスト文j(i)に対する優位判定が行なわれる毎に、当該１セット分の日本語テスト文j(i)に対する優位判定結果に基づいて、日英
機械翻訳システムによって得られた翻訳結果が、TOEIC 受験者の翻訳結果より優れている

40

原言語テスト文の数（優位文数）を算出する。
【００５８】
ここでは、優位文数は、１セット分の日本語テスト文j(i)に対する日英機械翻訳システ
ムの翻訳結果のうち、Ａ１が優位と判定された評価対象の翻訳結果の数と、同等と判定された評価対象の翻訳結果の数の１／２とを加算した値として定義される。以上により、受験者毎（TOEIC のスコア毎）の優位文数が求められる。
【００５９】TOEIC のスコア毎の優位文数は、翻訳能力均衡点計算器１７に送られる。翻訳能力均衡点計算器１７は、TOEIC のスコア毎の優位文数を回帰分析することによってTOEIC のスコアに対する優位文数を表す回帰直線を求め、その回帰直線上で優位文数が日本語テスト文

50

(12)

JP 4113814 B2 2008.7.9の総数の半分になる点に対応するTOEIC のスコアを求める。そして、求めたTOEIC のスコ
アを、日英機械翻訳システムのTOEIC のスコア（翻訳能力の評価値）とする。
【００６０】
図５は、一対比較集計器１６によって求められたTOEIC のスコア毎の優位文数、および翻訳能力均衡点計算器１７によって求められた回帰直線を示している。
【００６１】
なお、図５は、日英機械翻訳システムとして、ＡＴＲ音声翻訳通信研究所が研究開発した機械翻訳機(TDMT)を用いた場合の実験結果を示している。また、この例では、日本語テスト文の総数は３３０である。
【００６２】

10

図５の折れ線ａ１は、第２の実施の形態によって得られたTOEIC のスコア毎の優位文数を示し、直線ａ２は折れ線ａ１のデータから求められた回帰直線を示している。
【００６３】
また、折れ線ｂ１は、第１および第２の翻訳正解率計算器１２、１４が日本語テスト文
に対する類似日本語参照文を利用することなく翻訳正解率を算出した場合のスコア毎の優位文数を示し、直線ｂ２は折れ線ｂ１のデータから求められた回帰直線を示している。また、折れ線ｃ１は、日英機械翻訳システムの翻訳結果と参照翻訳データベース内の翻訳結果との比較を評価者が主観的に行なった場合の、TOEIC のスコア毎の優位文数を示し、直線ｃ２は折れ線ｃ１のデータから求められた回帰直線を示している。
【００６４】

20

優位文数は、受験者のTOEIC スコアが高くなるのにともなって少なくなる傾向がある。
図５では、第２の実施の形態によって求められた日英機械翻訳システムのTOEIC スコアは
７３０点となっている。日英機械翻訳システムの翻訳結果と参照翻訳データベース内の翻訳結果との比較を評価者が主観的に行なった場合の日英機械翻訳システムのTOEIC スコア
は７０８点となり、類似日本語参照文を利用しない翻訳正解率に基づいて日英機械翻訳シ
ステムのTOEIC スコアを求めると５８０点となる。
【００６５】
第２の実施の形態によって求められた日英機械翻訳システムのTOEIC スコアは、類似日
本語参照文を利用しない翻訳正解率に基づいて日英機械翻訳システムのTOEIC スコアに比べて、日英機械翻訳システムの翻訳結果と参照翻訳データベース内の翻訳結果との比較を

30

評価者が主観的に行なった場合の日英機械翻訳システムのTOEIC スコアにはるかに近似したものとなり、第２の実施の形態によれば主観的評価に近い評価結果が自動的に得られることがわかる。
【００６６】
なお、参照翻訳データベース１３内の翻訳結果を翻訳正解率計算器１４に入力する際に、当該翻訳結果の精度が低下するように誤差を付加するようにしてもよい。
【実施例３】【００６７】
以下、図６および図７を参照して、この発明の第３の実施の形態について説明する。
【００６８】

40

図６は、翻訳エージェントの翻訳能力評価を行なうシステムの基本的な構成を示している。ここでは、日本語を英語に翻訳する日英機械翻訳システムの翻訳能力を評価する場合
を例にとって説明する。
【００６９】
参照翻訳データベース２３は、第２の実施形態の参照翻訳データベース１３と同じであり、 TOEIC試験のスコアが異なる複数のTOEIC 受験者の各日本語テスト文毎の翻訳結果 T
OEIC(i,t)(i=1,2,3, ...,n, t=1,2,3, ..., m)が格納されている。
【００７０】
第１のテストセット翻訳正解率計算器２２は、第１の実施の形態の翻訳正解率計算器８と同様に、日本語テスト文j(i)に対する日英機械翻訳システムの翻訳結果（評価対象の翻

50

(13)

JP 4113814 B2 2008.7.9

訳結果）２１と日本語テスト文j(i)に対する英文正解候補とに基づいて、テスト日本語文
全体に対する翻訳正解率（評価対象の翻訳結果に対するテストセット翻訳正解率）を計算する。日本語テスト文j(i)に対する英文正解項候補は、日本語テスト文j(i)に対応する正解文e(i)と、類似日本語文検索器５（図１参照）によって検索された類似日本語参照文に対応する英文との集合からなる。
【００７１】
第２のテストセット翻訳正解率計算器２４は、日本語テスト文j(i)に対する参照翻訳データベース１３内の翻訳結果TOEIC(i,t)と日本語テスト文j(i)に対する英文正解候補とに基づいて、第１のテストセット翻訳正解率計算器２２と同様な手法で、受験者毎（TOEICのスコア毎) にテスト日本語文全体に対する翻訳正解率（参照翻訳結果に対するテストセ

10

ット翻訳正解率）を計算する。
【００７２】
回帰直線計算器２５は、第２のテストセット翻訳正解率計算器２４によって求められた
TOEIC のスコア毎の参照翻訳結果に対するテストセット翻訳正解率から、回帰分析によってTOEIC のスコアに対するテストセット翻訳正解率を表す回帰直線を計算する。
【００７３】
翻訳能力計算器２６は、第１のテストセット翻訳正解率計算器２２によって求められた評価対象の翻訳結果に対するテストセット翻訳正解率と、回帰直線計算器２５によって求められた回帰直線とに基づいて、日英機械翻訳システムの翻訳能力を計算する。
【００７４】

20

図７は、第２のテストセット翻訳正解率計算器２４によって求められたTOEIC のスコア毎の参照翻訳結果に対するテストセット翻訳正解率および回帰直線計算器２５によって求められた回帰直線を示している。
【００７５】
なお、図７は、日英機械翻訳システムとして、ＡＴＲ音声翻訳通信研究所が研究開発した機械翻訳機(TDMT)を用いた場合の実験結果を示している。また、この例では、日本語テスト文の総数は３３０である。
【００７６】
図７において、横軸はTOEIC 受験者のスコアを示し、縦軸はテストセット翻訳正解率を示している。

30【００７７】
図７の折れ線ａ１は、第３の実施の形態の第２のテストセット翻訳正解率計算器２４によって求められたTOEIC のスコア毎の参照翻訳結果に対するテストセット翻訳正解率を示
し、直線ａ２は折れ線ａ１のデータから求められた回帰直線を示している。値Ａは、第３の実施の形態の第１のテストセット翻訳正解率計算器２２によって算出された評価対象の翻訳結果に対するテストセット翻訳正解率を示している。
【００７８】
また、折れ線ｂ１は、日本語テスト文に対する類似日本語参照文を利用することなく算出されたTOEIC のスコア毎の参照翻訳結果に対するテストセット翻訳正解率を示し、直線ｂ２は折れ線ｂ１のデータから求められた回帰直線を示している。値Ｂは、日本語テスト

40

文に対する類似日本語参照文を利用することなく算出された評価対象の翻訳結果に対するテストセット翻訳正解率を示している。
【００７９】
直線ａ２で示される回帰直線と、第１のテストセット翻訳正解率計算器２２によって求められた評価対象の翻訳結果に対するテストセット翻訳正解率Ａとの交点に対応するTOEIC のスコアが、第３の実施の形態によって求められた日英機械翻訳システムのTOEIC のスコアである。図７の場合は、日英機械翻訳システムのTOEIC のスコアは６８０点となっている。
【００８０】
同様にして、類似日本語文を利用しない翻訳正解率に基づいて日英機械翻訳システムの

50

(14)

JP 4113814 B2 2008.7.9

TOEIC スコアを求めると６５０点となる。なお、日英機械翻訳システムの翻訳結果と参照
翻訳データベース内の翻訳結果との比較を評価者が行った主観評価実験によると日英機械
翻訳システムのTOEIC スコアは７０８点となった。
【００８１】
第３の実施の形態によって求められた日英機械翻訳システムのTOEIC スコアは、類似日
本語参照文を利用しない翻訳正解率に基づいて日英機械翻訳システムのTOEIC スコアに比べて、主観的に評価を行なった場合の日英機械翻訳システムのTOEIC スコアにはるかに近似したものとなり、第３の実施の形態によれば主観的評価に近い評価結果が自動的に得られることがわかる。
【００８２】

10

なお、参照翻訳データベース２３内の翻訳結果をテストセット翻訳正解率計算器２４に入力する際に、当該翻訳結果の精度が低下するように誤差を付加するようにしてもよい。
【００８３】
上記各実施の形態によれば、次のような利点がある。
（１）原言語テスト文に類似する類似原言語参照文として誤った用例が検索されたとしても、誤って検索された用例に対応する類似対訳文に対する翻訳正解率は低い値となるため、当該翻訳正解率は採用されなくなる。このため、原言語テスト文に類似する類似原言語
参照文の検索誤りの影響が少なく、高い精度の翻訳評価が可能である。
（２）原言語テスト文に類似すると検索された類似原言語参照文に対応する類似対訳文は、人手などで作られる精度の高い対訳であるので、単語の選択、並びが正確である。この20

ため高い精度の翻訳評価が可能である。
（３）従来において主観評価を行なうことによって決定していたＡＢＣＤ等のランク分け
を、自動的に行なうことが可能となる。特に、高い翻訳正解率の場合にはＡランクの主観評価との対応関係が強いので、Ａランクのテスト文については高い精度で自動判別を行なうことが可能となる。
（４）各テスト文に対する翻訳結果を、ＡＢＣＤランクにランク分けさせたい場合に、高い翻訳正解率の場合にはＡランクの主観評価との対応関係が強い性質を利用することにより、Ａランクのテスト文については自動的な判別を行い、Ａランク以下のランクのテスト
文については、従来の主観による高い精度の評価を行なうことにより、ランク分けに要す
る評価者の負担が軽減される。

30（５）異なる人間の翻訳能力に対応した参照翻訳データベースを利用する場合、各人間の翻訳能力に対応した翻訳正解率と評価対象の翻訳結果の翻訳正解率をテスト文毎に一対比較し、その比較結果の優劣が均衡する参照翻訳データベースの人間能力を翻訳対象の翻訳能力とすることにより翻訳自動評価が実現できる。また、参照翻訳データベースの翻訳正解率と優位文数の間の回帰直線を利用し、高い精度で均衡点を求める構成も実現できる。
（６）異なる人間の翻訳能力に対応した参照翻訳データベースを利用する場合、各人間の翻訳能力それぞれに対応したテストセット平均翻訳正解率と、評価対象の翻訳結果に対す
るテストセット平均翻訳正解率とを比較し、両者が均衡する参照翻訳データベースの人間能力を翻訳対象の翻訳能力とすることにより翻訳自動評価が実現できる。この際、各人間の翻訳能力それぞれに対応したテストセット平均翻訳正解率から人間の翻訳能力に対する40

テストセット平均翻訳正解率を表す回帰直線を求め、この回帰直線と評価対象の翻訳結果に対するテストセット平均翻訳正解率の交点から、高い精度で均衡点を求めることもできる。
【図面の簡単な説明】【００８４】【図１】第１の実施の形態による翻訳エージェントの翻訳能力評価を行なうシステムの基
本的な構成を示すブロック図である。
【図２】各日本語テスト文 j(i) に対して求められた翻訳正解率と、各日本語テスト文 j(i) の翻訳結果に対して行なわれた主観評価結果（ＡＢＣＤランク評価結果）との関係を示すグラフである。

50

(15)

JP 4113814 B2 2008.7.9【図３】類似度判別用閾値と判別率との関係を示すグラフである。
【図４】第２の実施の形態による翻訳エージェントの翻訳能力評価を行なうシステムの基
本的な構成を示すブロック図である。
【図５】一対比較集計器１６によって求められたTOEIC のスコア毎の優位文数、および翻訳能力均衡点計算器１７によって求められた回帰直線を示すグラフである。
【図６】第３の実施の形態による翻訳エージェントの翻訳能力評価を行なうシステムの基
本的な構成を示すブロック図である。
【図７】第２のテストセット翻訳正解率計算器２４によって求められたTOEIC のスコア毎の参照翻訳結果に対するテストセット翻訳正解率および回帰直線計算器２５によって求められた回帰直線を示すグラフである。

10【符号の説明】【００８５】
３

日本語データベース

４

英語データベース

５

類似日本語文検索器

８

翻訳正解率計算器

１２

第１の翻訳正解率計算器

１３

参照翻訳データベース

１４

第２の翻訳正解率計算器

１５

一対比較器

１６

一対比較集計器１７

翻訳能力均衡点計算器

２２

第１のテストセット翻訳正解率計算器

２３

参照翻訳データベース

２４

第２のテストセット翻訳正解率計算器

２５

回帰直線計算器

２６

翻訳能力計算器

20

(16)
【図１】

【図２】

【図３】

【図４】

JP 4113814 B2 2008.7.9

(17)
【図５】

【図７】

【図６】

JP 4113814 B2 2008.7.9

(18)JP 4113814 B2 2008.7.9

フロントページの続き(72)発明者 山本 誠一
京都府相楽郡精華町光台二丁目２番地２ 株式会社国際電気通信基礎技術研究所内
合議体
審判長 立川 功
審判官 多賀 実
審判官 長 由紀子
10(56)参考文献 「外国語作文における自動検索手法について」，情報処理学会研究報告９９−ＣＨ−４１−１，
Ｖｏｌ．９９，ｐ．１−ｐ．６「英作文における自動検索システムの構築と評価」，情報処理学会論文誌，Ｖｏｌ．４０，Ｎｏ．１２，ｐ．４３８８−ｐ．４３９５（１９９９．１２．１５）「英作文学習支援システムの作成」，情報処理学会研究報告２０００−ＮＬ−１３９−６，Ｖｏ
ｌ．２０００，Ｎｏ．８６，ｐ．４１−ｐ．４８（２０００．０９．２２）(58)調査した分野(Int.Cl.，ＤＢ名)
G06F17/21‑17/30