(57)【要約】【構成】翻訳評価文の削減処理では、テストセットから１文を削除候補の翻訳評価文（削除候補文）として選択する（ステップＳ９）。選択した１文を除いた翻訳評価文のそれぞれについて、回帰直線との誤差の標準偏差値を算出する（ステップＳ１１）。このような標準偏差値は削除候補を順次選択する毎に算出され（ステップＳ１１〜Ｓ１９）、標準偏差値が最小となる場合の削除候補文を集合から削除する（ステップＳ２１）。つまり、削除しても標本値に影響が出ない翻訳評価文が削除される。【効果】削除しても影響のない、すなわち意味のない翻訳評価文を削除するので、翻訳評価文を必要最小限の数にすることができる。【選択図】　図４
2004029588.tif 000002
【特許請求の範囲】
【請求項１】
複数の翻訳評価文の集合を整理してそれよりも少ない数の集合にする翻訳評価文の削減方法であって、
（ａ）　前記複数の翻訳評価文の翻訳結果のそれぞれについての評価を数値を用いて標本化した複数の標本点についての回帰直線を決定し、
（ｂ）　前記複数の翻訳評価文から１文毎に順に削除候補として選択し、
（ｃ）　前記選択した１文を除いた前記複数の翻訳評価文のそれぞれについて前記回帰直線との誤差の標準偏差値を１文毎に順に削除候補を選択した場合のそれぞれについて算出し、そして
（ｄ）　前記標準偏差値が最小となる場合の前記翻訳評価文を前記集合から削除する、翻訳評価文の削除方法。
【請求項２】
前記ステップ（ｂ）　から前記ステップ（ｄ）　をすべての前記翻訳評価文の数に相当する回数だけ繰り返す、請求項１記載の翻訳評価文の削除方法。
【請求項３】
前記ステップ（ｄ）　は、（ｄ−１）　前記ステップ（ｂ）　からステップ（ｄ）　の処理を１回実行する毎に削除された前記翻訳評価文を除く複数の翻訳評価文の翻訳評価に対応する前記複数の標本点についての前記回帰直線を再決定するステップを含む、請求項２記載の翻訳評価文の削減方法。
【請求項４】
前記ステップ（ａ）　は、（ａ−１）　任意の翻訳システムによる第１翻訳結果と任意の被験者集団による個々の第２翻訳結果とを、各被験者について前記複数の翻訳評価文毎に一対でその優劣を評価した評価結果のそれぞれを数値を用いて標本化した複数の標本点についての回帰直線を決定するステップを含む、請求項１ないし３のいずれかに記載の翻訳評価文の削減方法。
【請求項５】
前記回帰直線は、前記第１翻訳結果が前記第２翻訳結果よりも優位であると判断される率の複数の標本点について決定される、請求項４記載の翻訳評価文の削減方法。
【請求項６】
前記ステップ（ｃ）　は、（ｃ−１）　最初に決定された前記回帰直線上であり前記翻訳システムと前記被験者集団との翻訳能力が均衡する均衡点を決定するステップ、および（ｃ−２）　前記均衡点の誤差の標準偏差が最小となる場合の翻訳評価文を削除するステップを含む、請求項４または５記載の翻訳評価文の削減方法。
【発明の詳細な説明】
【０００１】
【産業上の利用分野】
この発明は翻訳評価文の削減方法に関し、特にたとえば複数の翻訳評価文の集合を整理してそれよりも少ない数の集合にする、翻訳評価文の削減方法に関する。
【０００２】
【従来の技術】
従来では、電子情報通信学会論文誌　Ｄ−ＩＩ　Ｖｏｌ．Ｊ８４−Ｄ−ＩＩ　Ｎｏ．１１　ｐｐ．２３６２−２３７０　２００１年１１月「音声翻訳システムと人間との比較による音声翻訳能力評価手法の提案と比較実験」において紹介されるように、翻訳能力の評価に使用する複数の日本文（翻訳評価文）を用意しておき、その複数の翻訳評価文を含むテストセットを用いて、翻訳システムと日本語ネイティブの被験者とに翻訳試験を実施し、いずれの翻訳結果がよりよい翻訳すなわちより英語ネイティブに近い翻訳であるかを英語ネイティブの外国人が相対的に判断し、その判断結果および被験者のＴＯＥＩＣスコア等を参酌して、翻訳システムの翻訳能力を評価（判断）していた。
【０００３】
【発明が解決しようとする課題】
しかし、翻訳システムと被験者とがテストセットに含まれる多数の翻訳評価文を翻訳する必要があり、また、翻訳システムや被験者に対して音声で翻訳評価文を提示する場合には、翻訳評価文を１分間隔で２回提示するようにしていたため、上述したような翻訳能力の評価を行うには、一週間程度の時間を要していた。したがって、翻訳能力の評価を行う毎に、このような試験等を行うとすれば、多大な時間および多大な費用を費やすこととなっていた。
【０００４】
それゆえに、この発明の主たる目的は、短時間で能力を正確に評価できる翻訳評価文の集合を作成できる、翻訳評価文の削減方法を提供することである。
【０００５】
【課題を解決するための手段】
この発明は、複数の翻訳評価文の集合を整理してそれよりも少ない数の集合にする翻訳評価文の削減方法であって、（ａ）　複数の翻訳評価文の翻訳結果のそれぞれについての評価を数値を用いて標本化した標本点についての回帰直線を決定し、（ｂ）　複数の翻訳評価文から１文毎に順に削除候補として選択し、（ｃ）　選択した１文を除いた複数の翻訳評価文のそれぞれについて回帰直線との誤差の標準偏差値を１文毎に順に削除候補を選択した場合のそれぞれについて算出し、そして（ｄ）　標準偏差値が最小となる場合の翻訳評価文を集合から削除する、翻訳評価文の削除方法である。
【０００６】
【作用】
複数の翻訳評価文の集合を整理してそれよりも少ない数の集合にする場合には、まず、その複数の翻訳評価文を翻訳させた結果（翻訳結果）について絶対評価或いは相対評価による評価がなされる。その評価を数値により標本化した複数の標本点についての回帰直線が決定される。たとえば、複数の翻訳評価文から１文を削除候補文として選択し、選択した１文を除いた翻訳評価文のそれぞれについて回帰直線との誤差の標準偏差値を算出する。そして、標準偏差値が最小となる場合の削除候補文を集合から削除する。つまり、削除しても回帰直線にほとんど影響が出ない（ずれが生じない）翻訳評価文が削除される。
【０００７】
たとえば、全翻訳評価文の数に相当する回数だけ削減処理を実行し、その結果から削除する翻訳評価文の妥当な数を決定すればよい。
【０００８】
また、１文削除する毎に、その削除した翻訳評価文を除く複数の翻訳評価文について、回帰直線が再決定されるので、繰り返し回数を重ねる毎に標準偏差値を最小点に向かって小さくする方向へ収束させることができる。つまり、翻訳評価文を削減するとともに、翻訳能力の評価の信頼度を高くすることができる。
【０００９】
たとえば、任意の翻訳システムの第１翻訳結果と任意の被験者集団の第２翻訳結果とを、被験者毎に、相対的に１文毎に（一対で）比較した評価結果を数値により標本化した複数の標本点について回帰直線を決定するようにしてもよい。
【００１０】
この場合には、回帰直線は、翻訳システムの翻訳結果が各被験者の翻訳結果よりも優れている（よりネイティブに近い）と判断される率の標本点の分散から決定される。
【００１１】
たとえば、最初に決定した回帰直線上であり、翻訳システムと被験者集団との翻訳能力が均衡する（同等と考えられる）点（均衡点）を決定して、この均衡点の誤差が最小をなる場合の翻訳評価文を削除するようにすれば、より信頼度の高い結果を得ることができる。
【００１２】
【発明の効果】
この発明によれば、回帰直線との誤差の標準偏差値が最小となる場合の翻訳評価文を削除するので、必要最小限の翻訳評価文の集合を作成することができる。このため、短時間で正確な翻訳能力を評価することができる。
【００１３】
この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
【００１４】
【実施例】
図１を参照して、この実施例の翻訳評価文の削減装置１０は、たとえばＰＣやワークステーションのようなコンピュータであり、ＣＰＵ１２を含む。このＣＰＵ１２は、内部バス１４を介してハードディスクドライブ（ＨＤＤ）１６、ＲＡＭ１８およびインターファイス（Ｉ／Ｆ）２０に接続される。
【００１５】
ＨＤＤ１６には、後述で図４を用いて説明する翻訳評価文の削減処理を実行するためのプログラムが記憶（インストール）される。また、ＯＳや他のプログラム等がインストールされ、翻訳評価文のデータを含む文書データ、画像データ等の各種データも記憶される。この実施例では、翻訳評価文とは、日本語から英語への翻訳能力を評価するための日本語で記述された問題文をいう。
【００１６】
ＲＡＭ１８は、ＣＰＵ１８のワーキングメモリとして使用され、またバッファメモリとしても使用される。また、Ｉ／Ｆ２０は、通信回線（図示せず）を介して他のコンピュータ（図示せず）やインターネットと接続するために設けられる。したがって、Ｉ／Ｆ２０および通信回線を介して他のコンピュータやインターネットに接続した場合には、当該他のコンピュータ等から取得したデータ等を削減装置１０に取り込むことができ、そのとき、取り込んだデータ等はＲＡＭ１８に一旦記録される。
【００１７】
なお、図示等は省略するが、削減装置１０には、さらに、フロッピー（登録商標）ディスク、ＣＤ、ＤＶＤ或いはＭＯのような外部記憶媒体を装着可能なドライブが設けられ、ディスプレイおよびキーボードやコンピュータマウスなどの入力装置が接続される。つまり、上述したような各種データは、ＨＤＤ１６に記憶しておく必要はなく、インターネット上のサイト（ホームページ）や外部記憶媒体等から取得することも可能である。
【００１８】
このような構成により、複数の翻訳評価文の集合がそれよりも少ない数に削減されるが、この実施例では、翻訳評価文は上述のとおり日本語の文であり、たとえば、任意のカテゴリに属する日本語の文が複数用意される。この実施例では、本願出願人により、独自に収集整理されたバイリンガル旅行対話データベースから取得した２３対話（３３０文）からなる翻訳評価文の集合（以下、「テストセット」と呼ぶことにする。）を用いることができる。
【００１９】
このようなテストセットに含まれる翻訳評価文の削減処理を実行する前に、このテストセットを用いて、翻訳システムと被験者との翻訳試験が行われる。ここで、翻訳システムとしては、任意の翻訳システムを用いることができるが、この実施例では、本件出願人の研究所で開発された日英双方向音声翻訳システム「ＡＴＲ−ＭＡＴＲＩＸ」が用いられる。
【００２０】
この日英双方向音声翻訳システム（以下、単に「翻訳システム」という。）は、日本語音声認識（日本語ＳＰＲＥＣ）機能および日英翻訳（日英ＴＤＭＴ）機能を有している。簡単に説明すると、ＳＰＲＥＣ機能は、予め収録された日本語による会話についての多数の音声データと入力される音声に対応するデータ（音声データ）とを、たとえばＤＰマッチング法により比較し、一致する音声データを特定して、入力された音声を認識する機能である。ただし、音声認識機能の能力によっては、正しく翻訳評価文を認識できない場合があるため、この実施例では、ＴＤＭＴ機能のみを使用することにする。
【００２１】
ＴＤＭＴ機能は、構成素境界パターンと呼ばれる単純なパターンと用例で記述された変換知識の情報を用いて構成素境界解析と用例利用型処理を実行する機能である。たとえば、日英翻訳では、「ＸにＹ」という表層パターンに対し、以下のような変換知識が作られる。ただし、Ｘ′はＸの対訳である。
＜表層パターンと変換知識の例＞
ＸにＹ　→　Ｙ′ｔｏＸ′（（京都，来る），（空港，行く），…）
Ｙ′ａｔＸ′（（３時，来る），…）
この変換知識により「ＸにＹ」という日本語の表現が「Ｙ′ｔｏＸ′」や「Ｙ′ａｔＸ′」に変換されるが、その例として、「京都に来る」に対応した（京都，来る）という用例があることを示している。一般には、「ＸにＹ」のような原言語パターンに対し、変換可能な表現が複数存在するため、シソーラス（分類語彙表）を利用しながら、用例との意味距離計算を使い、パターンを選択している。また、入力文は、構文構造に対応する複数のパターンの組み合わせで表される。構文構造候補が複数存在する場合には、構文構造を構成するパターンの意味距離の合計により、最もふさわしい構文構造が絞り込まれる。
【００２２】
また、翻訳試験における被験者としては、３０人の日本語ネイティブの日本人で、ＴＯＥＩＣ（Ｔｅｓｔ　Ｏｆ　Ｅｎｇｌｉｓｈ　Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｃｏｍｍｕｎｉｃａｔｉｏｎ）　スコアが３００点〜９００点の間で均等に分布するように、人物が採用される。この実施例では、１００点台毎（３００点〜４００点，４００点〜５００点，…，８００点〜９００点）に５人の被験者が分布するようにした。
【００２３】
翻訳試験では、テストセットに含まれる翻訳評価文を、翻訳システムと３０人の被験者（被験者集団）とに１文ずつ提示し、それを英訳させる。たとえば、翻訳システムに対しては翻訳評価文に対応するテキストデータが入力され、被験者に対しては翻訳評価文を書面に記述したものが提示され、それぞれが翻訳評価文を英訳する。そして、或る英語ネイティブの外国人が、１つの翻訳評価文毎に、対応する翻訳システムの翻訳結果と被験者の翻訳結果とを比較し、いずれの翻訳結果が優れているか、劣っているか、または、同等であるかを判断する。ただし、比較判断は、被験者毎に行われる。
【００２４】
このように、比較判断は、翻訳システムと各被験者との翻訳結果を１文ずつ相対的に比較する方法（一対比較法）により行われる。たとえば、“眺めのよいお部屋ばかりですからきっとお気に入ると思いますが”という翻訳評価文を、翻訳システムが“Ｉｔ’ｓ　ｏｎｌｙ　ｒｏｏｍ　ｗｉｔｈ　ａ　ｆｉｎｅ　ｖｉｅｗ，ｓｏ　Ｉ　ｔｈｉｎｋ　ｓｕｒｅｌｙ　ｌｉｋｅｓ．”と翻訳し、被験者が“Ｔｈｅｙ　ａｒｅ　ｇｏｏｄ　ｓｉｔｅ　ｒｏｏｍ．Ｉ　ｔｈｉｎｋ　ｙｏｕｌｉｋｅ　ｔｈｅ　ｒｏｏｍ．”と翻訳した場合に、互いの翻訳結果のいずれが優れている（より英語ネイティブに近い）かまたは同等かを判断するのである。参考までに、この翻訳結果については、翻訳システムが優れていると判断された。
【００２５】
なお、このような翻訳試験および翻訳結果の比較判断をすべて終了するには、一週間程度の時間を要する。
【００２６】
翻訳システムの翻訳結果と各被験者の翻訳結果を比較判断した結果は、図２に示すように、棒グラフを用いて表現することができる。図２においては、１つの棒が１人の被験者と翻訳システムとの比較判断の結果を示す。また、白抜きの部分は、被験者の翻訳結果が翻訳システムの翻訳結果よりも優れていると判断された翻訳評価文（翻訳文）の数（被験者の勝ち数）を示す。また、斜線を付した部分は、翻訳システムの翻訳結果が被験者の翻訳結果よりも優れていると判断された翻訳評価文の数（翻訳システムの勝ち数）を示す。そして、黒色の部分は、翻訳システムの翻訳結果と被験者の翻訳結果とが同等であると判断された翻訳評価文の数（引き分け数）を示す。
【００２７】
なお、図２に示した比較判断は、或る英語ネイティブの外国人の主観によって行われるため、かかる判断を複数の英語ネイティブの外国人に行わせて、その平均を取るようにすれば、比較判断者の判断による誤差を小さくすることができる。
【００２８】
また、回帰分析においては、翻訳システムと被験者との翻訳能力が同等と見なせる翻訳評価文の数を２分し、それぞれを人間（被験者）優位の翻訳評価文の数、翻訳システム優位の翻訳評価文の数に加える修正を行っている（数１参照）。
【００２９】
図２に示すような各被験者との比較判断の結果を用いて、翻訳システムが被験者よりも優れている率（以下、「システム勝率」という。）ＳＷＲが数１に従って算出される。
【００３０】
【数１】
ＳＷＲ＝（ＮＭＴ＋０．５×ＮＥＶＥＮ）／ＮＴＯＴＡＬ　
ただし、ＮＭＴは翻訳システムの翻訳結果が被験者の翻訳結果よりも優れていると判断された翻訳評価文の数であり、ＮＥＶＥＮは翻訳システムの翻訳結果と被験者の翻訳結果とが同等であると判断された翻訳評価文の数であり、そして、ＮＴＯＴＡＬ　は全翻訳評価文の数である。
【００３１】
数１を用いて算出されたシステム勝率をグラフに表すと、図３のように示すことができる。図３においては、翻訳システムの翻訳結果と各被験者の翻訳結果とを比較判断した場合のシステム勝率をドット（標本点）で示し、それらを点線で結んである。この図３からよく分かるように、ＴＯＥＩＣスコアが比較的低い被験者と比べた場合には、システム勝率が高く、ＴＯＥＩＣスコアが高くなるにつれてシステム勝率が次第に低くなる。
【００３２】
また、システム勝率ＳＷＲの標本点に基づく回帰直線Ｌは最小２乗法により算出され、この回帰直線Ｌも図３のグラフ上に記述される。つまり、回帰直線Ｌを求めることにより、システム勝率を直線的な変化（１次関数）で表してある。
【００３３】
回帰直線Ｌがテストセットに含まれるすべての翻訳評価文の数の半分（この実施例では、３３０／２＝１６５）と交差する点は、被験者と翻訳システムとの能力均衡点（システム勝率ＳＷＲ＝０．５）である。図３に示す結果では、この能力均衡点は、ＴＯＥＩＣスコアが７０８点である。つまり、翻訳システム（ＴＤＭＴ）の翻訳能力は、ＴＯＥＩＣスコアが７０８点である日本語ネイティブの翻訳能力に相当すると言える。以下、この実施例では、能力均衡点を翻訳システムのＴＯＥＩＣスコア換算点と呼ぶことにする。
【００３４】
ここで、翻訳システムのＴＯＥＩＣスコア換算点は、比較判断者の判断の揺れ、被験者の認定書が示すＴＯＥＩＣスコアと翻訳試験時の英語能力の差、被験者の音声翻訳能力のトピック・ドメインに対する揺れ、被験者集団のサンプリングに起因する誤差およびＴＯＥＩＣスコアの精度による誤差を含んでいる。
【００３５】
したがって、この実施例では、翻訳システムのＴＯＥＩＣスコア換算点の誤差の標準偏差値σｔ　は数２を用いて表すことにする。
【００３６】
【数２】
2004029588.tif 000003
【００３７】
ただし、σは回帰直線Ｌからｙ軸方向の回帰誤差の標準偏差値であり、β２　は回帰直線Ｌの傾きであり、ｎは被験者数（サンプル数）であり、Ｃ０　はＴＯＥＩＣスコア換算点であり、Ｘｉ　は被験者のＴＯＥＩＣスコアであり、Ｘ￣（表記の都合による記載であるが、数２から分かるように、“￣”は“Ｘ”上に記載される。以下、同様である。）は被験者のＴＯＥＩＣスコアの平均値である。
【００３８】
数２の導出方法について詳しく説明する。具体的には、回帰直線Ｌと翻訳一対比較法で求められる修正された優位文（修正優位文）数の差の分散とＴＯＥＩＣスコア換算点の分散との関係を求める。この関係を求めれば、回帰直線Ｌから得られた修正優位文数の誤差がＴＯＥＩＣスコア換算点に与える影響が分かる。被験者ｉのＴＯＥＩＣスコアをＸｉ　，それに対する修正優位文数をＹｉ　，誤差項をεｉ　とし、母集団が数３で示される母回帰方程式に従うものと仮定する。
【００３９】
【数３】
Ｙｉ　＝β１　＋β２　Ｘｉ　＋εｉ　　（ｉ＝１，２，…，ｎ）
ここで、β１　，β２　は母回帰係数である。また、誤差項εｉ　は、次の（ａ）〜（ｃ）の条件を満たすものとする。
【００４０】
（ａ）期待値は０：Ｅ（εｉ　）＝０
（ｂ）分散は一定でσ２　：Ｖ（εｉ　２　）＝σ，ｉ＝１，２，…，ｎ
（ｃ）異なった誤差値は無相関：
ｉ≠ｊならばＣｏｖ（εｉ　，εｊ　）＝Ｅ（εｉ　εｊ　）＝０
最小２乗法によれば、標本回帰直線（数３）の回帰係数β１　，β２　は数４〜数６で与えられる。
【００４１】
【数４】
2004029588.tif 000004
【００４２】
【数５】
2004029588.tif 000005
【００４３】
【数６】
2004029588.tif 000006
【００４４】
数３に基づいてＹｉ　の平均Ｙ￣を求めると、数７のように示される。
【００４５】
【数７】
2004029588.tif 000007
【００４６】
ここで、数３および数７を数５に代入すると、数８が得られる。
【００４７】
【数８】
2004029588.tif 000008
【００４８】
また、数７および数８を数６に代入すると、数９が得られる。
【００４９】
【数９】
2004029588.tif 000009
【００５０】
数４から修正優位文が翻訳システムと被験者とで等しくなる文の数ｍに対応するＴＯＥＩＣスコアは数１０で表すことができる。
【００５１】
【数１０】
2004029588.tif 000010
【００５２】
この数１０に数８および数９を代入すると、数１１が得られる。
【００５３】
【数１１】
2004029588.tif 000011
【００５４】
ここで、Ａｉ　およびＢｉ　を数１２および数１３に示すように定義する。
【００５５】
【数１２】
2004029588.tif 000012
【００５６】
【数１３】
2004029588.tif 000013
【００５７】
【数１４】
2004029588.tif 000014
【００５８】
【数１５】
2004029588.tif 000015
【００５９】
【数１６】
2004029588.tif 000016
【００６０】
ｉ≠ｊのときＥ（εｉ　εｊ　）＝０であるため、数１７が成立する。
【００６１】
【数１７】
2004029588.tif 000017
【００６２】
この数１７の右辺の要素について着目し、Ａｉ　（数１３）およびＢｉ　（数１２）を代入すると、各要素は数１８および数１９のようにそれぞれ示される。
【００６３】
【数１８】
2004029588.tif 000018
【００６４】
【数１９】
2004029588.tif 000019
【００６５】
これによって、ＴＯＥＩＣスコア換算点の誤差の標準偏差値σｔ　は数２で示したように導出される。
【００６６】
なお、数２の平方根内に着目すると、被験者数が同一の条件で、被験者のＴＯＥＩＣスコア平均値がＴＯＥＩＣスコア換算点の初期値（７０８点）に等しいときにＴＯＥＩＣスコア換算点の誤差の準偏差値σｔ　は数２０に示すように最小となる。
【００６７】
【数２０】
2004029588.tif 000020
【００６８】
したがって、被験者集団を決定する際には、評価対象の翻訳システムのＴＯＥＩＣスコア換算点が被験者集団のＴＯＥＩＣスコアの平均値に一致するようにすれば、ＴＯＥＩＣスコア換算点の分散が少なくなり、信頼度が高くなると言える。
【００６９】
図１に戻って、削減装置１０は上述した数２を用いて、テストセットに含まれる翻訳評価文の削減処理を実行する。具体的には、削減装置１０のＣＰＵ１２が図４に示すフロー図を処理する。ただし、削減装置１０のＨＤＤ１６には、翻訳システムおよび被験者の翻訳結果を一対比較法によりその優劣等を判断した結果等すなわち判断結果、システム勝率のデータ、テストセットおよび被験者のＴＯＥＩＣスコアのデータが記憶され、これが削除処理に利用される。
【００７０】
なお、これらのデータ等は、外部記憶媒体や通信回線を介して接続される他のコンピュータ或いはインターネット等から読み出して、利用するようにしてもよい。
【００７１】
図４は翻訳評価文の削減処理を示すフロー図であって、この図４を参照して、削減処理が開始されると、ステップＳ１でＨＤＤ１６からテストセットを読み出し、ＲＡＭ１８のメモリ領域に書き込む。続くステップＳ３では、標準偏差値の最小値および削除候補の翻訳評価文（削除候補文）を初期化する。すなわち、ＲＡＭ１８のメモリ領域を用いて、標準偏差値の最小値を初期値に設定し、削除候補文を１番目（１問目）の翻訳評価文に設定する。次のステップＳ５では、繰り返し回数を設定する。この実施例では、テストセット（全翻訳評価文）の数（３３０）が設定される。
【００７２】
なお、この実施例では、標準偏差値の最小値の初期値は、後述する実験結果に基づいて（図６および図８参照）、“２５”に設定される。
【００７３】
続いて、ステップＳ７では、繰り返し回数をすべて終了したかどうかを判断する。すなわち、すべての翻訳評価文についての削減処理を終了したかどうかを判断する。ステップＳ７で“ＹＥＳ”であれば、つまりすべての翻訳評価文についての削減処理が終了したと判断し、削減処理を終了する。
【００７４】
一方、ステップＳ７で“ＮＯ”であれば、つまりすべての翻訳評価文についての削減処理が終了していないと判断し、ステップＳ９で削除候補文を選択する。この実施例では、最初に１番目（１問目）の翻訳評価文が選択される。続くステップＳ１１では、削除候補文を除いた残りの翻訳評価文について、数２を用いて標準偏差値を算出する。
【００７５】
そして、ステップＳ１３では、今回算出した標準偏差値が最小かどうかを判断する。ステップＳ１３で“ＮＯ”であれば、つまり今回算出した標準偏差値が最小でなければ、そのままステップＳ１７に進む。一方、ステップＳ１３で“ＹＥＳ”であれば、つまり今回算出した標準偏差値が最小であれば、ステップＳ１５で今回選択した削除候補文に更新してからステップＳ１７に進む。
【００７６】
ステップＳ１７では、現在ＲＡＭ１８に記録されるすべての翻訳評価文を１文ずつ順に削除候補文に設定して標準偏差値の算出を実行したかどうかを判断する。ステップＳ１７で“ＮＯ”であれば、つまり現在ＲＡＭ１８に記録されるすべての翻訳評価文を１文ずつ順に削除候補文に設定して標準偏差値の算出を実行していなければ、ステップＳ１９で次の削除候補文を選択する。つまり、ステップＳ１１からステップＳ１９の処理を繰り返すことにより、たとえば番号の小さい方から順に翻訳評価文が削除候補文として選択され、標準偏差値が最小となるときの削除候補文を決定するのである。
【００７７】
一方、ステップＳ１７で“ＹＥＳ”であれば、つまり現在ＲＡＭ１８に記録されるすべての翻訳評価文を１文ずつ順に削除候補文に設定して標準偏差値の算出を実行すれば、ステップＳ２１で標準偏差値が最小値となる場合の削除候補文すなわち翻訳評価文をテストセットから削除し、ステップＳ２３で繰り返し回数を１減算して、ステップＳ７に戻る。つまり、ＲＡＭ１８に記録される翻訳評価文が１文削除される。
【００７８】
ただし、図示は省略するが、この実施例では、翻訳評価文が１文削除される毎に、ステップＳ２３では、残りの翻訳評価文についてのシステム勝率の標本点を用いて回帰直線を算出し直すようにしてある。つまり、回帰直線は固定的に決定されるものではない。しかし、上述した数２からも分かるように、回帰直線の傾きβ２　の変動が大きい場合には、σｔ　が安定せず、特に傾きβ２　が小さくなる場合には、σｔ　が大きくなる方向に変動してしまう。つまり、翻訳評価文を削除する毎に回帰直線Ｌのずれが大きくなり、所望でない結果が得られてしまう。このため、この実施例では、σｔ　が小さくなる方向に変動するように、主としてσの変動に着目するようにしてある。
【００７９】
このようにして、テストセットから１つずつ翻訳評価文が削除されるのである。また、図５は、上述した削減処理を実行した結果すなわち繰り返し回数の変化に従ったＴＯＥＩＣスコア換算点Ｃ０　の変化を示した図であり、この図５を参照して、この実施例の翻訳システムを使用した場合には、削除処理において、ＴＯＥＩＣスコア換算点Ｃ０　は、繰り返し回数が２００付近まではＴＯＥＩＣスコア換算点Ｃ０　の初期値との振れが少ない。この結果から、必要でないと考えられる（意味のない）２００文の翻訳評価文をテストセットから削減して、１３０文の翻訳評価文を含むテストセットを生成できる。これにより、３３０文のテストセットを用いる場合に比べて、翻訳能力の評価に係る時間およびコストを約６０％削減できる。
【００８０】
なお、図面においては、上述の削減処理前のテストセットと削減処理後の（最適化された）テストセットとを区別するため、削除処理後のテストセットに関するパラメータや数値には、“ｏｐｔ（ｏｐｔｉｍｉｚｅ）”の接尾辞を付して示してある。以下、同様である。
【００８１】
また、ｔ分布を用いると、翻訳システムのＴＯＥＩＣスコア換算点Ｃ０　の信頼区間（ｃｏｎｆｉｄｅｎｃｅ　ｉｎｔｅｒｖａｌ：ＣＩ）および信頼係数１−αは、数２１によって表すことができる。ただし、この実施例では、α＝０．０１である。
【００８２】
【数２１】
ＣＩ＝［Ｃ０　−Ｉ，Ｃ０　＋Ｉ］
Ｉ＝σｔ　×ｔ（α／２；ｎ−２）
このように算出された信頼区間ＣＩについても図５のグラフ上に記載される。図５から分かるように、繰り返し回数が０から約２００まで増加すると、信頼区間ＣＩが収束する（狭くなる）のが分かる。つまり、約２００文の翻訳評価文を削減できるだけでなく、翻訳能力の評価の信頼度も高くなると言える。
【００８３】
ただし、繰り返し回数が２００を超えると、ＴＯＥＩＣスコア換算点Ｃ０　の振れが大きくなるとともに、信頼区間ＣＩも発散する傾向にある。
【００８４】
図６には、繰り返し回数に応じた標準偏差値σｔ　の変化が示される。上述の実施例で得られた結果は、二重線で示され、繰り返し回数が１５０回〜２００回付近で最小となる。また、その結果を評価するために、他の実験条件についても示してある。太線で示される標準偏差値σｔ　は、３０人の被験者を半数に分けて、一方の被験者集団によってテストセットの最適化をし、他方の被験者集団により最適化の効果をσｔで評価した場合の結果を示す。このように、テストセットの最適化の効果を評価するために、テストセットを最適化する被験者データと、評価するための被験者データとを分離して評価する方法をオープンテストと呼ぶ。一方、分離しない評価方法をクローズドテストと呼ぶ。また、点線で示される標準偏差値σｔ　は、最適化前のテストセットからランダムに選択した翻訳評価文を削除した場合の結果を示す。ただし、ランダムに選択した翻訳評価文を削除した場合の実験結果は、１０回行った結果を平均したものである。
【００８５】
この図６に示す実験結果から分かるように、上述の実施例のように、クローズドな環境下で実験した結果が一番優れている。しかし、被験者集団を分けた場合のように、オープンな環境下の実験であってもランダムで翻訳評価文を削除する場合に比べて良い結果が得られると言える。また、上述したように、クローズドな環境下では、繰り返し回数が２００付近で標準偏差値が最小となっているため、３３０文の翻訳評価文を含むテストセットよりも、２００文削減して最適化したテストセットを用いた方が、短時間（低コスト）で信頼度の高い評価結果が得られると考えられる。
【００８６】
さらに、図７は繰り返し回数に従うＴＯＥＩＣスコア換算点Ｃ０　の変化を示すグラフであり、この図７を参照して、上述の実施例のようなクローズドな環境下では、ＴＯＥＩＣスコア換算点Ｃ０　は、繰り返し回数に拘わらずほとんど変動することがなく、ＴＯＥＩＣスコア換算点Ｃ０　の初期値から振れることがない。しかし、オープンな環境下のＴＯＥＩＣスコア換算点Ｃ０　は、繰り返し回数が１５０を超えた辺りから、次第にＴＯＥＩＣスコア換算点Ｃ０　の初期値から遠ざかるのが分かる。つまり、クローズドな環境下の方が、テストセットに含まれる翻訳評価文の数をより多く削減できると言える。一方、ランダムに翻訳評価文を削除した場合には、クローズドな環境下と同様のＴＯＥＩＣスコア換算点Ｃ０　の変化を示している。ただし、図７中の上下に延びる点線で示すように、誤差の幅があり、ランダムな選択により最適な翻訳評価文が残るとは限らず、この方法により最適化されたテストセットでは翻訳能力の評価が正しく行えるとは言い難い。
【００８７】
続いて、本願発明者等は、上述の実施例において最適化されたテストセットが他の翻訳システムの翻訳能力を評価するために使用可能かどうかを検証するために、次の実験を行った。この実験においては、上述の実施例で述べた音声認識機能（ＳＰＲＥＣ）と翻訳機能（ＴＤＭＴ）とを有するＡＴＲ−ＭＡＴＲＩＸを用いた。
【００８８】
図８には、上述の実施例で使用した３３０文の翻訳評価文を含むテストセットを用いて、上述したようなクローズドな環境下においてＡＴＲ−ＭＡＴＲＩＸにより翻訳評価文の削減処理を実行した場合、上述したようなオープンな環境下においてＴＤＭＴにより翻訳評価文の削減処理を実行した場合およびランダムに選択した翻訳評価文を削除した場合のそれぞれにおける繰り返し回数に対する標準偏差値σｔ　の変化を示してある。この図８において、ＡＴＲ−ＭＡＴＲＩＸについて着目すると、繰り返し回数が２００〜２５０で最小となり、ＴＤＭＴのみを用いた場合（図６）とほぼ同様の結果が得られると言える。
【００８９】
また、図９は、その場合の繰り返し回数に従うＴＯＥＩＣスコア換算点Ｃ０　の変化を示したグラフである。この図９に示すように、実験に用いたＡＴＲ−ＭＡＴＲＩＸでは、ＳＰＲＥＣの性能により、ＴＯＥＩＣスコア換算点Ｃ０　の初期値は５４８点であり、ＴＤＭＴのみの場合よりも低い値となっている。ただし、ＡＴＲ−ＭＡＴＲＩＸを用いた場合であっても、繰り返し回数が２００回までは、ＴＯＥＩＣスコア換算点Ｃ０　は、その基準値からほとんど変動がない。つまり、ＴＤＭＴのみを用いた場合（図７）と比べても何ら遜色がないと言える。
【００９０】
なお、図９においては、ランダムに選択した翻訳評価文を削除した場合については省略してある。
【００９１】
このように、ＡＴＲ−ＭＡＴＲＩＸを用いた場合であっても、上述の削減処理により、テストセットに含まれる翻訳評価文の削減が可能であることが分かる。
【００９２】
この実施例によれば、標準偏差値が最小となる場合の削除候補文を削除するようにしたので、翻訳能力の評価の質を落とすことなく翻訳評価文の数を削減することができる。つまり、短時間かつ低コストで同等以上の翻訳能力を評価できるテストセットを作成することができる。
【００９３】
なお、上述の実施例では、翻訳システムと被験者との翻訳結果を英語ネイティブの外国人が一対比較（相対評価）することにより、システム勝率を算出し、その結果を用いてテストセットの翻訳評価文数を削減するようにしたが、翻訳システムや被験者のそれぞれの翻訳結果を絶対評価した結果を用いてテストセットの翻訳評価文数を削減するようにしてもよい。この場合には、たとえば、絶対評価を５段階の数値で標本化した標本点についての回帰直線を決定するようにすればよい。
【００９４】
また、上述の実施例によって最適化されたテストセットを、インターネットのサイト或いはＣＤ−ＲＯＭのような外部記憶媒体によって一般のユーザに提供すれば、当該ユーザは自身の翻訳能力を簡単に知ることができる。
【００９５】
さらに、上述の実施例では、被験者の翻訳結果と翻訳システムの翻訳結果との比較判断により、ＴＯＥＩＣスコア換算点の初期値を基準に翻訳評価文を削除するようにしたが、ＴＯＥＩＣスコア換算点の初期値を変更して、翻訳評価文を削除するようにすれば、その変更したＴＯＥＩＣスコア換算点の初期値すなわち能力に応じた翻訳評価文のテストセットを作成することができる。たとえば、図３に示した回帰直線Ｌをｙ軸方向に平行移動させることにより、ＴＯＥＩＣスコア換算点の初期値をずらすことができる。
【００９６】
さらにまた、上述の実施例では、ＴＯＥＩＣスコアを有する被験者との比較判断を行ったため、最適化されたテストセットを用いることにより、翻訳能力をＴＯＥＩＣのスコアで知ることができるが、英語検定の点数，等級を有する被験者と比較する場合には、英語検定の点数，等級を簡単に知ることができるテストセットを作成できる。
【００９７】
また、上述の実施例では、日本語から英語へ翻訳する場合の翻訳能力を評価可能なテストセットの翻訳評価文数を削減する方法についてのみ説明したが、これら以外の言語についても適用可能なことは言うまでもない。
【００９８】
さらに、上述の実施例と異なる削減方法も考えられる。たとえば、図１０に示すように、被験者の翻訳結果と翻訳システムの翻訳結果の優劣等を翻訳評価文毎に判断した結果を、翻訳評価文毎に文字（或いは、図形、記号、色付け）でマトリクス状の表に現しておき、テクスチャに基づいて削除する翻訳評価文を決定するようにしてもよい。たとえば、図１０の表において、３×３（９　つ）のブロックの集まり（クラスタ）が同じテクスチャであれば、いずれか１つの（たとえば、真ん中の）ブロックに対応する翻訳評価文以外を削除するようなことも考えられる。
【図面の簡単な説明】
【図１】この発明の一実施例の構成を示す図解図である。
【図２】ＴＯＥＩＣスコアを有する被験者と翻訳システムとの翻訳結果を比較判断した結果を示す棒グラフである。
【図３】ＴＯＥＩＣスコアを有する被験者と翻訳システムとの翻訳結果に基づいて算出したシステム勝率の分布およびその回帰直線を示すグラフである。
【図４】図１実施例に示すＣＰＵの翻訳評価文の削減処理を示すフロー図である。
【図５】図４に示す削減処理を実行した場合の繰り返し回数に対するＴＯＥＩＣスコアの変化および信頼区間の変化を示すグラフである。
【図６】図４に示す削減処理を実行した場合の繰り返し回数に対する標準偏差値の変化を示すグラフである。
【図７】図４に示す削除処理をした場合の繰り返し回数に対するＴＯＥＩＣスコアの変化を示すグラフである。
【図８】他の翻訳システムを用いた検証実験において、図４に示した削減処理を実行した場合の繰り返し回数に対する標準偏差値の変化を示すグラフである。
【図９】他の翻訳システムを用いた検証実験において、図４に示した削減処理を実行した場合の繰り返し回数に対するＴＯＥＩＣスコアの変化を示すグラフである。
【図１０】各被験者の翻訳結果と翻訳システムの翻訳結果とを一対比較法により比較判断した場合における優劣等を翻訳評価文毎に記述した図表である。
【符号の説明】
１０　…削減装置
１２　…ＣＰＵ
１６　…ＨＤＤ
１８　…ＲＡＭ
２０　…Ｉ／Ｆ
【図１】
2004029588.tif 000021
【図２】
2004029588.tif 000022
【図３】
2004029588.tif 000023
【図４】
2004029588.tif 000024
【図５】
2004029588.tif 000025
【図６】
2004029588.tif 000026
【図７】
2004029588.tif 000027
【図８】
2004029588.tif 000028
【図９】
2004029588.tif 000029
【図１０】
2004029588.tif 000030