(57)【要約】    【構成】  翻訳能力推定装置１０はＣＰＵ１２を含み、ＣＰＵ１２は翻訳能力の推定処理を開始すると、予め測定した複数の被験者の翻訳能力値と相関の高い順に、翻訳評価文を１文ずつユーザに提示する。ユーザの翻訳結果を評価して算出した自動評価値についての１文目から現文目までの平均値を算出し、複数の被験者についての翻訳能力値を用いた回帰分析により推定されるユーザの翻訳能力値についての推定誤差を算出する。そして、算出した推定誤差が所望の誤差未満になったかどうか、または推定誤差の最小値を検出したかどうかを判断する。所望の誤差未満になった時点または検出した最小値についての推定誤差に対応する翻訳能力値を、当該ユーザの翻訳能力値として推定する。    【効果】  相関の高い順に翻訳評価文を提示し、推定誤差が所望の誤差未満になった時点または推定誤差の最小値を検出した時点で、翻訳能力値を推定するので、すべての翻訳評価文を用いることなく、ほぼ正確な翻訳能力を判断することができる。【選択図】  図１
2005258121.tif 000002
【特許請求の範囲】
【請求項１】
複数の翻訳評価文を順次ユーザに提示し、当該ユーザの翻訳能力を推定する翻訳能力推定装置であって、
複数の翻訳評価文の各々と予め測定された複数の被験者についての第１翻訳能力値との相関の高い順に、前記翻訳評価文を１文ずつユーザに提示する翻訳評価文提示手段、
ユーザによる前記翻訳評価文の翻訳文と正解訳との一致度を評価する評価手段、
前記評価手段による評価結果の平均値を算出する平均値算出手段、
前記平均値算出手段によって算出された平均値に基づいて、前記複数の被験者についての第１翻訳能力値を用いた回帰分析により推定される第２翻訳能力値についての推定誤差を算出する推定誤差算出手段、
前記推定誤差算出手段によって算出された推定誤差が所望の誤差未満であるかどうかを判断する誤差量判断手段、および
前記誤差量判断手段によって所望の誤差未満であると判断されたとき、前記第２翻訳能力値を当該ユーザの翻訳能力値として推定する翻訳能力推定手段を備える、翻訳能力推定装置。
【請求項２】
推定誤差の最小値を検出する最小値検出手段をさらに備え、
前記翻訳能力推定手段は、前記最小値検出手段によって最小値が検出されると、前記誤差量判断手段の判断結果に拘わらず、当該最小値に対応する前記第２翻訳能力値を当該ユーザの翻訳能力値として推定する、請求項１記載の翻訳能力推定装置。
【請求項３】
複数の翻訳評価文を順次ユーザに提示し、当該ユーザの翻訳能力を推定する翻訳能力推定方法であって、
(a)複数の翻訳評価文の各々と予め測定された複数の被験者についての第１翻訳能力値との相関の高い順に、前記翻訳評価文を１文ずつユーザに提示し、
(b)ユーザによる前記翻訳評価文の翻訳文と正解訳との一致度を評価し、
(c)前記ステップ(b)による評価結果の平均値を算出し、
(d)前記ステップ(c)によって算出された平均値に基づいて、前記複数の被験者についての第１翻訳能力値を用いた回帰分析により推定される第２翻訳能力値についての推定誤差を算出し、
(e)前記ステップ(d)によって算出された推定誤差が所望の誤差未満であるかどうかを判断し、そして
(f)前記ステップ(e)によって所望の誤差未満であると判断されたとき、前記第２翻訳能力値を当該ユーザの翻訳能力値として推定する、翻訳能力推定方法。
【請求項４】
(g)推定誤差の最小値を検出し、
前記ステップ(f)は、前記ステップ(g)によって最小値が検出されると、前記ステップ(e)の判断結果に拘わらず、当該最小値に対応する前記第２翻訳能力値を当該ユーザの翻訳能力値として推定する、請求項３記載の翻訳能力推定方法。
【請求項５】
複数の翻訳評価文を順次ユーザに提示し、当該ユーザの翻訳能力を推定する翻訳能力推定プログラムであって、
コンピュータのプロセサに、
複数の翻訳評価文の各々と予め測定された複数の被験者についての第１翻訳能力値との相関の高い順に、前記翻訳評価文を１文ずつユーザに提示する翻訳評価文提示ステップ、
ユーザによる前記翻訳評価文の翻訳文と正解訳との一致度を評価する評価ステップ、
前記評価手段による評価結果の平均値を算出する平均値算出ステップ、
前記平均値算出ステップによって算出された平均値に基づいて、前記複数の被験者についての第１翻訳能力値を用いた回帰分析により推定される第２翻訳能力値についての推定誤差を算出する推定誤差算出ステップ、
前記推定誤差算出ステップによって算出された推定誤差が所望の誤差未満であるかどうかを判断する誤差量判断ステップ、および
前記誤差量判断ステップによって所望の誤差未満であると判断されたとき、前記第２翻訳能力値を当該ユーザの翻訳能力値として推定する翻訳能力推定ステップを実行させる、翻訳能力推定プログラム。
【請求項６】
推定誤差の最小値を検出する最小値検出ステップをさらに実行させ、
前記翻訳能力推定ステップは、前記最小値検出ステップによって最小値が検出されると、前記誤差量判断ステップの判断結果に拘わらず、当該最小値に対応する前記第２翻訳能力値を当該ユーザの翻訳能力値として推定する、請求項５記載の翻訳能力推定プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は翻訳能力推定装置、翻訳能力推定方法および翻訳能力推定プログラムに関し、特にたとえば、複数の翻訳評価文の集合を順次ユーザに提示し、当該ユーザの翻訳能力を推定する、翻訳能力推定装置、翻訳能力推定方法および翻訳能力推定プログラムに関する。
【背景技術】
【０００２】
この種の従来の翻訳能力推定装置の一例が非特許文献１に開示される。この非特許文献１に開示されるテストシステムは、音声認識システムを利用し、英語のネイティブとノンネイティブとの発話内容を分析するものである。
【０００３】
また、この種の翻訳能力推定装置に近似する従来技術の例が特許文献１に開示される。この特許文献１に開示される翻訳評価文の削減方法では、前処理として、或る翻訳システムと所定数の被験者（人間）とが翻訳評価文を翻訳した翻訳結果について、英語ネイティブの外国人が翻訳システムの翻訳の方が優れていると判断した割合（システム勝率）を算出してある。この削除方法では、複数の翻訳評価文から１文を削除候補文として選択し、選択した１文を除いた翻訳評価文のそれぞれについて、システム勝率の標本点によって決定される回帰直線との誤差の標準偏差値を算出する。このような標準偏差値は削除候補を順次選択する毎に計算され、標準偏差値が最小となる場合の削除候補文が集合から削除される。つまり、削除しても標本値に影響の出ない翻訳評価文が削除される。１文が削除されると残りの翻訳評価文についての標本点を用いて回帰直線を算出し直し、算出し直した回帰直線を用いて、上述したように、次の１文が削除される。このような処理を繰り返して、１文ずつ翻訳評価文を削除して行き、複数の翻訳評価文の集合をそれよりも少ない新しい集合にしていた。
【非特許文献１】ＵＲＬ：ｈｔｔｐ：／／ｗｗｗ．ｐｈｏｎｅｐａｓｓｊａｐａｎ．ｃｏｍ
【特許文献１】特開２００４−２９５８８号
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、前者の場合には、単に発音の評価をするシステムであり、文生成能力すなわち英訳能力を評価するものではなかった。
【０００５】
また、後者の場合には、翻訳評価文を削減することにより、翻訳能力の評価を短時間で行うことができるが、或る翻訳システムを用いて翻訳評価文を削減するようにしてあるため、削減後の翻訳評価文の新たな集合が任意の人物の翻訳能力を評価するのに適しているとは必ずしも言えなかった。
【０００６】
それゆえに、この発明の主たる目的は、任意の人物の翻訳能力を適切に評価することができる、翻訳能力推定装置、翻訳能力推定方法および翻訳能力推定プログラムを提供することである。
【課題を解決するための手段】
【０００７】
請求項１の発明は、複数の翻訳評価文を順次ユーザに提示し、当該ユーザの翻訳能力を推定する翻訳能力推定装置であって、複数の翻訳評価文の各々と予め測定された複数の被験者についての第１翻訳能力値との相関の高い順に、翻訳評価文を１文ずつユーザに提示する翻訳評価文提示手段、ユーザによる翻訳評価文の翻訳文と正解訳との一致度を評価する評価手段、評価手段による評価結果の平均値を算出する平均値算出手段、平均値算出手段によって算出された平均値に基づいて、複数の被験者についての第１翻訳能力値を用いた回帰分析により推定される第２翻訳能力値についての推定誤差を算出する推定誤差算出手段、推定誤差算出手段によって算出された推定誤差が所望の誤差未満であるかどうかを判断する誤差量判断手段、および誤差量判断手段によって所望の誤差未満であると判断されたとき、第２翻訳能力値を当該ユーザの翻訳能力値として推定する翻訳能力推定手段を備える、翻訳能力推定装置である。
【０００８】
請求項１の発明では、翻訳能力推定装置は、複数の翻訳評価文を順次ユーザに提示し、当該ユーザの翻訳能力を推定する。翻訳評価文提示手段は、複数の翻訳評価文の各々と予め測定された複数の被験者についての第１翻訳能力値（後述する実施例におけるＴＯＥＩＣスコア）との相関の高い順に、翻訳評価文を１文ずつユーザに提示する。ここで、相関とは、当該翻訳能力の推定に適している度合いをいう。翻訳評価文が提示されると、これに応じて、ユーザは当該翻訳評価文を翻訳（英訳）する。評価手段は、ユーザによる翻訳評価文の翻訳文と正解訳との一致度を評価する。平均値算出手段は、評価手段による評価結果の平均値を算出する。推定誤差算出手段は、平均値算出手段によって算出された平均値に基づいて、複数の被験者についての第１翻訳能力値を用いた回帰分析により推定される第２翻訳能力値についての推定誤差を算出する。誤差量判断手段は、推定誤差算出手段によって算出された推定誤差が所望の誤差未満であるかどうかを判断する。翻訳能力推定手段は、誤差量判断手段によって所望の誤差未満であると判断されたとき、第２翻訳能力値を当該ユーザの翻訳能力値として推定（判定）する。
【０００９】
請求項１の発明によれば、推定誤差が所望の誤差未満になったときに、翻訳能力値を推定するので、被験者の能力に応じた翻訳能力の推定を行うことができる。また、相関の高い順に翻訳評価文を提示するので、すべての翻訳評価文を用いる必要がなく、短時間に評価することができる。
【００１０】
請求項２の発明は請求項１に従属し、推定誤差の最小値を検出する最小値検出手段をさらに備え、翻訳能力推定手段は、最小値検出手段によって最小値が検出されると、誤差量判断手段の判断結果に拘わらず、当該最小値に対応する第２翻訳能力値を当該ユーザの翻訳能力値として推定する。
【００１１】
請求項２の発明では、最小値検出手段は、推定誤差の最小値を検出する。推定誤差の最小値が検出されると、翻訳能力推定手段は、誤差量判断手段によって所望の誤差未満であることが判断されなくても、当該最小値に対応する第２翻訳能力値を当該ユーザの翻訳能力値として推定する。
【００１２】
請求項２の発明によれば、推定誤差の最小値に対応する第２翻訳能力値をユーザの翻訳能力値として推定するので、より正確な翻訳能力値を推定することができる。
【発明の効果】
【００１３】
この発明によれば、推定誤差が所望の誤差未満になったときに、翻訳能力値を推定するので、被験者の能力に応じた翻訳能力の推定を行うことができる。また、相関の高い順に翻訳評価文を提示するので、すべての翻訳評価文を用いる必要がなく、短時間に評価することができる。
【００１４】
この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
【発明を実施するための最良の形態】
【００１５】
図１を参照して、この実施例の翻訳能力推定装置１０は、たとえばＰＣやワークステーションのようなコンピュータであり、ＣＰＵ１２を含む。このＣＰＵ１２は、内部バス１４を介してハードディスクドライブ（ＨＤＤ）１６、ＲＡＭ１８およびインターフェイス（Ｉ／Ｆ）２０に接続される。
【００１６】
ＨＤＤ１６には、少なくとも、後で説明する翻訳能力の推定処理（図７および図８参照）を実行するためのプログラムが記憶（インストール）される。また、ＯＳや他のプログラム等がインストールされ、翻訳評価文のデータを含む文書データ、画像データ等の各種データも記憶される。この実施例では、翻訳評価文とは、日本語から英語への翻訳能力を評価するための日本語で記述された問題文をいう。
【００１７】
ＲＡＭ１８は、ＣＰＵ１２のワーキングメモリとして使用され、またバッファメモリとしても使用される。また、Ｉ／Ｆ２０は、有線または無線による通信回線（図示せず）を介して他のコンピュータ（図示せず）やインターネットと接続するために設けられる。したがって、Ｉ／Ｆ２０および通信回線を介して他のコンピュータやインターネットに接続した場合には、当該他のコンピュータ等から取得したデータ等を翻訳能力推定装置１０に取り込むことができ、そのとき、取り込んだデータ等はＲＡＭ１８に一旦記録される。
【００１８】
また、翻訳能力推定装置１０すなわちコンピュータには、図示しないドライバ（インターフェイス）等を介して入出力装置２２が接続される。この入出力装置２２は、たとえば、キーボードやコンピュータマウスのような入力装置およびＣＲＴやＬＣＤのような表示装置（出力装置）である。
【００１９】
なお、図示等は省略するが、翻訳能力推定装置１０には、さらに、フロッピー（登録商標）ディスク、ＣＤ、ＤＶＤ或いはＭＯのような外部記憶媒体を装着可能なドライブが設けられる。つまり、上述したような各種データは、ＨＤＤ１６に記憶しておく必要はなく、インターネット上のサイト（ホームページ）や外部記憶媒体等から取得することも可能である。
【００２０】
このような構成により、任意のユーザの翻訳能力を推定（判定）するが、その推定方法を説明する前に、推定方法を導出するための課程を説明することにする。
【００２１】
上述したように、この実施例では、翻訳評価文は日本語の問題文であり、たとえば、任意のカテゴリに属する日本語の文が複数用意される。この実施例では、本願出願人により、独自に収集整理されたバイリンガル旅行対話データベースから取得した２３対話（３３０文）からなる翻訳評価文の集合（以下、「テストセット」と呼ぶことにする。）を用いることができる。
【００２２】
まず、このようなテストセットを用いて、被験者に対して翻訳試験を行う。この実施例では、被験者は２９人の日本語ネイティブの日本人であり、ＴＯＥＩＣ(Test Of English International Communication) スコアが３００点〜８００点の間でほぼ均等に分布するように、採用される。また、テストセットに含まれる翻訳評価文の正解訳は、５人の英語ネイティブのバイリンガル（ここでは、英語と日本語との二ヶ国語を話せる者をいう。）によって用意される。
【００２３】
翻訳試験では、テストセットに含まれる翻訳評価文のテキストデータが、被験者が使用するＰＣ等の端末（図示せず）のそれぞれに提示され、被験者は自身の端末を用いて翻訳評価文の英訳を入力する。また、同様に、翻訳評価文のテキストデータが、英語ネイティブのバイリンガルが使用するＰＣ等の端末（図示せず）のそれぞれに提示され、バイリンガルは自身の端末を用いて翻訳評価文の英訳を入力する。ただし、この実施例では、１つの翻訳評価文に対して、３つの英訳を入力させた。これは、被験者の翻訳が正しいかどうかを正確に判断するためである。被験者およびバイリンガルによって入力された英訳のテキストデータは、たとえば、図１に示した翻訳能力推定装置１０のＨＤＤ１６に記憶される。また、正解訳としては、予め翻訳評価文のそれぞれに対応して用意された対訳のテキストデータも記憶される。つまり、正解訳は、１つの翻訳評価文に対して１６文用意されるのである。
【００２４】
なお、この実施例では、後述する翻訳結果の自動評価を簡便に行うため、ＰＣ等の端末を用いて、電子的に処理するようにしてあるが、被験者の翻訳結果の自動評価を行う場合には、翻訳評価文を音声や紙（ハードコピー）によって、被験者およびバイリンガルに提示して、英訳を解答用紙に記載させるようにしてもよい。ただし、かかる場合には、解答用紙をＯＣＲにより読み取って識別装置１０に入力したり、解答用紙の英訳を人手により識別装置１０に入力したりする必要があるため、得策とは言えない。
【００２５】
次に、翻訳能力推定装置１０（ＣＰＵ１２）は、ＨＤＤ１６に記憶された被験者の翻訳をバイリンガルの翻訳との対比により、その一致度すなわち被験者の翻訳の適切さを評価（自動評価）する。この実施例では、自動評価はＤＰマッチング法に基づいて行い、その値（自動評価値）は数１に従って求められる。
【００２６】
【数１】
2005258121.tif 000003
【００２７】
ここで、Ｗａはバイリンガルによる英訳の文であり、Ｗｂは被験者による英訳の文である。また、Ｔは文Ｗａの総単語数であり、Ｓは文Ｗａと文Ｗｂを比較した場合における置換語数であり、Ｉは文Ｗａと文Ｗｂを比較した場合における挿入語数であり、Ｄは文Ｗａと文Ｗｂを比較した場合における脱落語数である。
【００２８】
たとえば、“そのレストランは私どもの向かい側です。”という翻訳評価文に対して、バイリンガルが“Ｔｈｅ  ｒｅｓｔａｕｒａｎｔ  ｌｉｅｓ  ａｃｒｏｓｓ  ｕｓ．”と英訳し、被験者が“Ｔｈｅ  ｒｅｓｔａｕｒａｎｔ  ｌｉｅｓ  ｉｎ  ｆｒｏｎｔ  ｏｆ  ｕｓ．”と英訳したと仮定する。この場合、図２に示すように、バイリンガルの英訳の総単語数は５（Ｔ＝５）であり、バイリンガルの英訳と被験者の英訳とでは“ａｃｒｏｓｓ”と“ｉｎ”とが異なる（置換されている）ため、置換語数は１（Ｓ＝１）である。また、被験者の英訳では、“ｆｒｏｎｔ  ｏｆ”が挿入されているため、挿入語数は２（Ｉ＝２）であり、被験者の英訳で脱落した単語はないため、脱落語数は０（Ｄ＝０）である。したがって、数１に各数値を代入すると、自動評価値ＳＤＰ（Ｗａ，Ｗｂ）＝２／５が求められる。
【００２９】
このようにして、被験者毎に正解訳との間で自動評価が行われるが、上述したように、１つの翻訳評価文に対して正解訳が１６文存在するため、被験者の英訳に対する自動評価値も１つの翻訳文に対して１６個存在することになる。そこで、数２に従って、自動評価値の最大値を代表値として抽出するようにしてある。
【００３０】
【数２】
2005258121.tif 000004
【００３１】
ただし、Ｗｓｕｂ（ｉ）（ｊ）は、被験者ｉの翻訳評価文ｊに対する英訳であり、Ｓｉ（ｊ）は自動評価値の最大値（以下、「代表値」という。）であり、Ｗｒeｆ（ｋ）（ｊ）は翻訳評価文ｊに対するｋ番目の正解訳を示し、ｎは自動評価に用いる正解訳の数（この実施例では、ｎ＝１６である。）を示す。また、数２の最終項により、自動評価値ＳＤＰがマイナスになる場合であっても、強制的に０に補正するようにしてある。
【００３２】
被験者の全てについて、各翻訳評価文に対する代表値Ｓｉ（ｊ）が算出されると、各被験者についての代表値Ｓｉ（ｊ）の平均値Ｓｉが数３に従って算出される。
【００３３】
【数３】
2005258121.tif 000005
【００３４】
ただし、Ｎはテストセットに含まれる翻訳評価文の数（この実施例では、３３０）である。
【００３５】
この実施例では、各被験者のＴＯＥＩＣスコアと数３に従って算出された平均値Ｓｉとで回帰分析を行い能力が未知であるユーザの翻訳能力を推定する。図３は、各被験者のＴＯＥＩＣスコアに対する平均値Ｓｉをドット（標本点）で示したグラフである。また、標本点に基づく回帰直線Ｌは最小２乗法により算出され、この回帰直線Ｌも図３のグラフ上に記述される。つまり、回帰直線Ｌを求めることにより、全被験者についての平均値Ｓｉを直線的な変化（１次関数）で表してある。この回帰直線Ｌを用いて、任意のユーザについてのＴＯＥＩＣスコアを推定するのである。
【００３６】
また、数２の算出結果を用いて、被験者の能力値すなわちＴＯＥＩＣスコアと代表値Ｓｉ（ｊ）との相関が翻訳評価文毎に算出される。図４は、相関の値（相関値）が高い順に翻訳評価文を並べた場合の相関値の変化を示すグラフである。この図４から分かるように、最も高い相関値は０．７程度であり、最も低い相関値は−０．５程度である。このことから、相関が低くなる翻訳評価文は、翻訳能力の測定能力が低いのみならず、上述した数１および数２に従った自動評価に適していないと言える。つまり、相関の高い方から選んだ翻訳評価文についてのテストセットを用いる方が適切な翻訳能力を推定できると言える。
【００３７】
さらに、図５は、Ｌｅａｖｅ−ｏｎｅ−ｏｕｔ  ｃｒｏｓｓ  ｖａｌｉｄａｔｉｏｎ法により、被験者のＴＯＥＩＣスコアとテストセット用いて自動評価により推定したＴＯＥＩＣスコアとを比較した結果（標準誤差）である。ここで、Ｌｅａｖｅ−ｏｎｅ−ｏｕｔ  ｃｒｏｓｓ  ｖａｌｉｄａｔｉｏｎ法とは、全サンプルから１つのサンプルを除き、残りのサンプルでモデル作成したときに、予め抜き出しておいたサンプルを正確に予測することができるかどうかを検定する方法をいう。具体的には、全被験者から任意の１の被験者を抜き出した場合に、当該１の被験者のＴＯＥＩＣスコアを正確に推定できるかどうかを検定する。
【００３８】
図５に示したグラフの縦軸は数４に従って算出される標準誤差σＥであり、横軸はテストセットのサイズを示す。ここで、テストセットのサイズは、翻訳評価文を相関値の高い方から順に用いた場合の翻訳評価文の数（総数）で決定される。たとえば、サイズが「９０」であれば、図４に示した相関値が最も高い翻訳評価文から相関値が９０番目までの翻訳評価文を含むテストセットである。
【００３９】
【数４】
2005258121.tif 000006
【００４０】
ただし、ｎｓｕｂは被験者の数（ここでは、２９）を示し、Ｔｉは被験者ｉの実際のＴＯＥＩＣスコアを示し、Ａｉは自動能力測定により得られる被験者ｉのＴＯＥＩＣスコアの推定値（数３の結果）である。
【００４１】
図５から分かるように、テストセットのサイズが２０文未満であれば、標準誤差σＥが非常に大きくなってしまう。また、テストセットのサイズが３０〜６０文程度であれば、標準誤差σＥは最小となっている。さらに、テストセットのサイズが６０文以上であれば、相関値が低い翻訳評価文を含むことになってしまい、標準誤差σＥが増加してしまう。
【００４２】
このことから、標準誤差σＥを最小にできるテストセットのサイズで任意のユーザについての翻訳能力を推定すれば、当該ユーザについての翻訳能力をほぼ正確に判定でき、しかも、元のテストセットを用いた翻訳能力の評価よりも優れた結果が得られる場合もあると言える。つまり、少ない翻訳評価文で精度の高い翻訳能力の推定が可能である。
【００４３】
ただし、図５は、この実施例のテストセットを用いた場合の結果であるため、任意のテストセットを用いた場合には、必ずしも標準誤差σＥが１００前後となり、テストセットのサイズが３０〜６０文になるとは限らない。このことは、図５に示す標準誤差の変化は被験者２９人についての平均したものであり、各被験者の翻訳能力が異なるためでもある。
【００４４】
上述したように、回帰分析により翻訳能力すなわちＴＯＥＩＣスコアを推定するのであるが、具体的には、任意のユーザについての数３の結果から回帰直線Ｌに従って得られる（推定される）ＴＯＥＩＣスコア（以下、「ＴＯＥＩＣスコア換算点」という。）は、回帰直線Ｌを決定した際の被験者についての認定書が示すＴＯＥＩＣスコアと翻訳試験時の英語能力の差、被験者集団のサンプリングに起因する誤差およびＴＯＥＩＣスコアの精度による誤差等を含んでいる。
【００４５】
したがって、或るユーザのＴＯＥＩＣスコア換算点についての誤差の標準偏差値σｔは数５を用いて表すことにした。
【００４６】
【数５】
2005258121.tif 000007
【００４７】
ただし、σは回帰直線Ｌからｙ軸方向の回帰誤差の標準偏差値であり、β２は回帰直線Ｌの傾きであり、ｎは被験者数（サンプル数）であり、Ｃ０はＴＯＥＩＣスコア換算点であり、Ｘｉは被験者についての既知のＴＯＥＩＣスコアであり、Ｘ￣（表記の都合による記載であるが、数５から分かるように、“￣”は“Ｘ”上に記載される。以下、同様である。）は被験者のＴＯＥＩＣスコアの平均値である。
【００４８】
数５の導出方法およびその内容について詳しく説明する。具体的には、回帰直線Ｌと数３に従って算出される平均値Ｓｉの差の分散とＴＯＥＩＣスコア換算点Ｃ０の分散との関係を求める。この関係を求めれば、回帰直線Ｌから得られる平均値Ｓｉの誤差がＴＯＥＩＣスコア換算点Ｃ０に与える影響が分かる。被験者ｉのＴＯＥＩＣスコアをＸｉ、これに対する平均値（数３の結果）をＹｉ，誤差項をεｉとし、母集団が数６で示される母回帰方程式に従うものと仮定する。
【００４９】
【数６】
2005258121.tif 000008
【００５０】
ここで、β１，β２は母回帰係数である。また、誤差項εｉは、次の（ａ）〜（ｃ）の条件を満たすものとする。
【００５１】
（ａ）各誤差項εｉの期待値は０：Ｅ（εｉ）＝０
（ｂ）各誤差項εｉの分散は一定でσ２：Ｖ（εｉ）＝σ２，ｉ＝１，２，…，ｎｓｕｂ
（ｃ）各誤差項εｉは互いに無相関：
ｉ≠ｊならばＣｏｖ（εｉ，εｊ）＝Ｅ（εｉεｊ）＝０
最小２乗法によれば、標本回帰直線（数６）の回帰係数β１，β２は数７〜数９で与えられる。
【００５２】
【数７】
2005258121.tif 000009
【００５３】
【数８】
2005258121.tif 000010
【００５４】
【数９】
2005258121.tif 000011
【００５５】
数６に基づいてＹｉの平均Ｙ￣を求めると、数１０のように示される。
【００５６】
【数１０】
2005258121.tif 000012
【００５７】
ここで、数６および数１０を数８に代入すると、数１１が得られる。
【００５８】
【数１１】
2005258121.tif 000013
【００５９】
また、数１０および数１１を数９に代入すると、数１２が得られる。
【００６０】
【数１２】
2005258121.tif 000014
【００６１】
数７から平均値（数３）に対応するＴＯＥＩＣスコア換算点は数１３で表すことができる。
【００６２】
【数１３】
2005258121.tif 000015
【００６３】
この数１３に数１１および数１２を代入すると、数１４が得られる。
【００６４】
【数１４】
2005258121.tif 000016
【００６５】
ここで、ＡｉおよびＢｉを数１５および数１６に示すように定義する。
【００６６】
【数１５】
2005258121.tif 000017
【００６７】
【数１６】
2005258121.tif 000018
【００６８】
【数１７】
2005258121.tif 000019
【００６９】
【数１８】
2005258121.tif 000020
【００７０】
【数１９】
2005258121.tif 000021
【００７１】
ｉ≠ｊのときＥ（εｉεｊ）＝０であるため、数２０が成立する。
【００７２】
【数２０】
2005258121.tif 000022
【００７３】
この数２０の右辺の要素について着目し、Ａｉ（数１６）およびＢｉ（数１５）を代入すると、各要素は数２１のようにそれぞれ示される。
【００７４】
【数２１】
2005258121.tif 000023
【００７５】
【数２２】
2005258121.tif 000024
【００７６】
これによって、ＴＯＥＩＣスコア換算点Ｃ０の誤差の標準偏差値σｔは数５で示したように導出される。
【００７７】
なお、数５の平方根内に着目すると、被験者数が同一の条件で、被験者のＴＯＥＩＣスコアの平均値がＴＯＥＩＣスコア換算点Ｃ０の初期値に等しいときにＴＯＥＩＣスコア換算点Ｃ０の誤差の標準偏差値σｔは数２３に示すように最小となる。
【００７８】
【数２３】
2005258121.tif 000025
【００７９】
したがって、被験者集団を決定する際には、評価対象のユーザについてのＴＯＥＩＣスコア換算点Ｃ０が被験者集団のＴＯＥＩＣスコアの平均値に一致するようにすれば、ＴＯＥＩＣスコア換算点Ｃ０の分散が少なくなり、信頼度が高くなると言える。ただし、この実施例では、任意のユーザについての翻訳能力を推定するようにするため、このような設定は不可能である。
【００８０】
図６は、翻訳能力文を相関値の高い順にユーザ（ここでは、ＴＯＥＩＣスコアが５６０点の被験者）に提示した場合のＴＯＥＩＣスコア換算点Ｃ０の変化を示す。また、ｔ分布を用いることにより、当該ＴＯＥＩＣスコア換算点Ｃ０の信頼区間（Confidence interval:CI）および信頼係数（１−α）は数２４によって表すことができる。ただし、この実施例では、α＝０．０１であり、ＩはＴＯＥＩＣスコア換算点Ｃ０の信頼区間ＣＩを規定する推定誤差である。この信頼区間ＣＩを規定する推定誤差Ｉの変化も図６のグラフ上に示される。
【００８１】
【数２４】
2005258121.tif 000026
【００８２】
なお、図６では、横軸は翻訳評価文数すなわちテストセットのサイズを示し、左側の縦軸はＴＯＥＩＣスコア換算点Ｃ０の値を示し、右側の縦軸は推定誤差Ｉの値を示す。
【００８３】
この図６から分かるように、ＴＯＥＩＣスコア換算点Ｃ０は、テストセットのサイズが２０文未満では、変動が大きく、３０文〜６０文で比較的安定し、６０文を超えると次第に大きくなっている。また、推定誤差Ｉは、テストセットのサイズが２０文程度まで比較的大きく、３０文〜６０文で最小値となり、６０文を超えると次第に大きくなっている。
【００８４】
このことから、推定誤差が最小となる場合のテストセットのサイズにすれば、翻訳能力を適切に推定することができると言える。つまり、図５に示した標準誤差の変化と同様のことが言える。ただし、上述しように、任意のテストセットを用いて、任意のユーザの翻訳能力値を推定する必要がある。
【００８５】
具体的な翻訳能力の推定処理を図７および図８に示すフロー図を用いて説明することにする。この推定処理は、図１に示したＣＰＵ１２が実行するが、前提として、翻訳能力値を推定するユーザが翻訳能力推定装置１０を操作しているものとする。ただし、ユーザは、ネットワークによって翻訳能力推定装置１０と通信可能に接続された端末を使用していても構わない。また、翻訳能力推定装置１０のＨＤＤ１６には、上述した２９人の被験者についてのＴＯＥＩＣスコアとの相関値が算出されたテストセット（翻訳評価文のテキストデータ）、当該２９人の被験者についてのＴＯＥＩＣスコアのデータ、当該２９人の被験者に対して予め翻訳試験を行うことにより得られた平均値Ｓｉのデータおよび正解訳のテキストデータが記憶され、これらが推定処理に利用される。
【００８６】
なお、これらのデータ等は、外部記憶媒体や通信回線を介して接続される他のコンピュータ或いはインターネット等から読み出して、利用するようにしてもよい。
【００８７】
図７を参照して、ＣＰＵ１２は翻訳能力の推定処理を開始すると、ステップＳ１で、初期化を実行する。ここでは、所望の推定誤差の値（閾値）Ｅｔｈｒｅｓｈｏｌｄを設定し、翻訳評価文数のマージンＸｍａｒｇｉｎを設定し、翻訳評価文数ｍを１に設定し、翻訳評価文数が０文の場合の推定誤差Ｅ０を無限大（∞）に設定し、そして、推定誤差の最小値Ｍｉｎを無限大（∞）に設定する。
【００８８】
なお、閾値ＥｔｈｒｅｓｈｏｌｄおよびマージンＸｍａｒｇｉｎは、当該能力推定装置１０の管理者等が予め設定する値である。また、推定誤差Ｅ０および最小値Ｍｉｎの初期値は、翻訳評価文が０文の場合には、推定誤差を計算することができないため、便宜上、いずれも無限大に設定してある。続くステップＳ３では、テストセットをＨＤＤ１６から読み出し、ＲＡＭ１８に書き込む（ロードする）。そして、ステップＳ５で、テストセットに含まれる翻訳評価文を相関値の高い順に並べ替える（ソートする）。
【００８９】
次のステップＳ７では、翻訳評価文Ｑｍをユーザに提示する。続くステップＳ９では、ユーザの英訳の入力を受けて、数１に従って正解訳との対比による自動評価値ＳＤＰを算出し、さらに、数２に従って代表値Ｓｉ（ｊ）を算出する。続いて、ステップＳ１１では、翻訳評価文Ｑ１〜Ｑｍについての平均値Ｓｉを数３に従って計算する。ただし、数３において、Ｎ＝ｍである。さらに、ステップＳ１３で、ステップＳ１１において計算した平均値Ｓｉを用いて、数２４に示した推定誤差Ｉを算出し、これをその変数Ｅｍに代入する（Ｅｍ＝Ｉ）。
【００９０】
そして、図８に示すステップＳ１５で、変数Ｅｍが最小値Ｍｉｎよりも小さいかどうかを判断する。ステップＳ１５で“ＮＯ”であれば、つまり変数Ｅｍが最小値Ｍｉｎ以上であれば、そのままステップＳ１９に進む。一方、ステップＳ１５で“ＹＥＳ”であれば、つまり変数Ｅｍが最小値Ｍｉｎよりも小さければ、ステップＳ１７で、最小値Ｍｉｎに変数Ｅｍの値を代入するとともに、カウント値Ｘｃｏｕｎｔに０を設定して、ステップＳ１９に進む。
【００９１】
なお、カウント値Ｘｃｏｕｎｔは、図１では省略したが、翻訳能力推定装置１０すなわちコンピュータの内部カウンタによってカウントされる。つまり、ステップＳ１７では、当該内部カウンタがリセットされるのである。
【００９２】
ステップＳ１９では、変数Ｅｍが閾値Ｅｔｈｒｅｓｈｏｌｄよりも小さいかどうかを判断する。ステップＳ１９で“ＹＥＳ”であれば、つまり変数Ｅｍが閾値Ｅｔｈｒｅｓｈｏｌｄよりも小さければ、所望の推定誤差未満になったと判断して、ステップＳ２１で、翻訳評価文Ｑ１〜Ｑｍを用いて英訳させた結果すなわち平均値Ｓｉから翻訳能力値を推定する。つまり、変数Ｅｍが示す推定誤差Ｉが得られたときのＴＯＥＩＣスコアを算出し、ステップＳ２３で、当該ＴＯＥＩＣスコアをユーザに提示して、翻訳能力の推定処理を終了する。たとえば、ステップＳ２３では、算出したＴＯＥＩＣスコアを入出力装置２２に含まれる表示装置にテキスト表示する。
【００９３】
一方、ステップＳ１９で“ＮＯ”であれば、つまり変数Ｅｍが閾値Ｅｔｈｒｅｓｈｏｌｄ以上であれば、ステップＳ２５で、最小値Ｍｉｎが変数Ｅｍよりも小さいかどうかを判断する。ステップＳ２５で“ＮＯ”であれば、つまり最小値Ｍｉｎが変数Ｅｍ以上であれば、そのままステップＳ３１に進む。一方、ステップＳ２５で“ＹＥＳ”であれば、つまり最小値Ｍｉｎが変数Ｅｍよりも小さければ、ステップＳ２７で、内部カウンタをインクリメントして（Ｘｃｏｕｎｔ＝Ｘｃｏｕｎｔ＋１）、ステップＳ２９に進む。
【００９４】
ステップＳ２９では、カウント値ＸｃｏｕｎｔがマージンＸｍａｒｇｉｎよりも大きいかどうかを判断する。ステップＳ２９で“ＮＯ”であれば、つまりカウント値ＸｃｏｕｎｔがマージンＸｍａｒｇｉｎ以下であれば、ステップＳ３１に進む。一方、ステップＳ２９で“ＹＥＳ”であれば、つまりカウント値ＸｃｏｕｎｔがマージンＸｍａｒｇｉｎよりも大きければ、最小値Ｍｉｎを検出したと判断して、ステップＳ２１に進む。この場合には、ステップＳ２１では、最小値Ｍｉｎの示す推定誤差Ｉが得られたときのＴＯＥＩＣスコアが算出される。
【００９５】
ステップＳ３１では、翻訳評価文数ｍが最大値（この実施例では、３３０）であるかどうかを判断する。ステップＳ３１で“ＮＯ”であれば、つまり翻訳評価文数ｍが最大値でなければ、ステップＳ３３で、翻訳評価文数ｍをインクリメント（ｍ＝ｍ＋１）して、図７に示したステップＳ７に戻る。しかし、ステップＳ３１で“ＹＥＳ”であれば、つまり翻訳評価文数ｍが最大値であれば、ステップＳ３５で、警告を発して、翻訳能力の評価処理を終了する。たとえば、ステップＳ３５では、翻訳能力を測定できなかった旨のメッセージを表示したり、警告音を発したり、または、当該メッセージの表示および警告音の出力の両方を実行したりする。これは、設定された閾値Ｅｔｈが適切でなかったり、最小値Ｍｉｎを検出できなかったりしたことを示す。かかる場合には、管理者等が閾値Ｅｔｈを変更したり、マージンＸｍａｒｇｉｎを変更したりして、再度翻訳能力の推定処理を実行すればよい。
【００９６】
このように、マージンＸｍａｒｇｉｎを設定することにより、極小値（ローカルミニマム）を最小値として判断しないようにしてある。したがって、ほぼ確実に推定誤差の最小値を検出することができるのである。
【００９７】
ただし、他の例として、推定誤差にマージンを設定することにより、推定誤差の最小値を検出することもできる。かかる場合の推定処理についてのフロー図の一部が図９に示される。他の部分は、図７に示したフロー図とほぼ同じであるため、図示は省略する。異なる点は、ステップＳ１で初期化処理を実行するときに、マージンＸｍａｒｇｉｎを設定する代わりに、推定誤差のマージンＹｍａｒｇｉｎを管理者等の所望の値に設定することである。以下、図９に示されるフロー図について説明するが、図８に示した処理と同じ処理についての説明は、簡単に説明することにする。また、図９においては、図８に示した処理と同じ処理には同じ参照符号を付してある。
【００９８】
図９を参照して、ステップＳ１５では、変数Ｅｍが最小値Ｍｉｎよりも小さいかどうかを判断する。ステップＳ１５で“ＮＯ”であれば、そのままステップＳ１９に進む。一方、ステップＳ１５で“ＹＥＳ”であれば、ステップＳ１７´で、最小値Ｍｉｎに変数Ｅｍの値を代入するとともに、カウント値Ｙｃｏｕｎｔに０を設定して、ステップＳ１９に進む。
【００９９】
なお、カウント値Ｙｃｏｕｎｔは、上述したカウント値Ｘｃｏｕｎｔとは異なり、翻訳能力推定装置１０すなわちコンピュータに設けられるレジスタ（図示せず）に設定される値である。つまり、ステップＳ１７´では、当該レジスタがリセットされるのである。
【０１００】
ステップＳ１９では、変数Ｅｍが閾値Ｅｔｈｒｅｓｈｏｌｄよりも小さいかどうかを判断する。ステップＳ１９で“ＹＥＳ”であれば、所望の推定誤差未満になったと判断して、ステップＳ２１で、翻訳評価文Ｑ１〜Ｑｍを用いて英訳させた結果を推定する。そして、ステップＳ２３で、当該ＴＯＥＩＣスコアをユーザに提示して、翻訳能力の推定処理を終了する。
【０１０１】
一方、ステップＳ１９で“ＮＯ”であれば、ステップＳ２５で、最小値Ｍｉｎが変数Ｅｍよりも小さいかどうかを判断する。ステップＳ２５で“ＮＯ”であれば、そのままステップＳ３１に進む。一方、ステップＳ２５で“ＹＥＳ”であれば、ステップＳ２７´で、レジスタに変数Ｅｍから最小値を減算した値を代入して（Ｙｃｏｕｎｔ＝Ｅｍ−Ｍｉｎ）、ステップＳ２９´に進む。
【０１０２】
ステップＳ２９´では、カウント値ＹｃｏｕｎｔがマージンＹｍａｒｇｉｎよりも大きいかどうかを判断する。ステップＳ２９´で“ＮＯ”であれば、つまりカウント値ＹｃｏｕｎｔがマージンＹｍａｒｇｉｎ以下であれば、ステップＳ３１に進む。一方、ステップＳ２９´で“ＹＥＳ”であれば、つまりカウント値ＹｃｏｕｎｔがマージンＹｍａｒｇｉｎよりも大きければ、最小値Ｍｉｎを検出したと判断して、ステップＳ２１に進む。この場合には、ステップＳ２１では、最小値Ｍｉｎの示す推定誤差Ｉが得られたときのＴＯＥＩＣスコアが算出される。
【０１０３】
ステップＳ３１では、翻訳評価文数ｍが最大値（この実施例では、３３０）であるかどうかを判断する。ステップＳ３１で“ＮＯ”であれば、ステップＳ３３で、翻訳評価文数ｍをインクリメント（ｍ＝ｍ＋１）して、図７に示したステップＳ７に戻る。しかし、ステップＳ３１で“ＹＥＳ”であれば、ステップＳ３５で、警告を発して、翻訳能力の評価処理を終了する。
【０１０４】
このように、推定誤差にマージンを設定した場合であっても、ほぼ確実に最小値を検出することができ、翻訳能力を正確に判断することができる。
【０１０５】
なお、上述の実施例では、翻訳評価文または推定誤差のいずれか一方にマージンを設けて推定処理を実行する場合について説明したが、それらの両方にマージンを設けて推定処理を実行するようにしてもよい。かかる場合には、図８に示したステップＳ１７の処理に、図９のステップＳ１７´に示したカウント値Ｙｃｏｕｎｔを０に設定する処理が追加される。また、図８に示したステップＳ２７の処理に、図９に示したステップＳ２７´の処理が追加される。さらに、図８に示したステップＳ２９の処理と並列的に図９に示したステップＳ２９´の処理が追加される。
【０１０６】
この実施例によれば、ＴＯＥＩＣスコア換算点の推定誤差が予め設定した閾値未満になる場合や最小となる場合に、翻訳能力値を推定するので、任意のユーザに対して適切な翻訳能力を推定することができる。また、場合によっては、元のテストセットをすべて用いた場合よりも、正確な翻訳能力値を推定できることもある。言い換えると、少ない数の翻訳評価文でより正確な翻訳能力を判定することができる。
【０１０７】
また、元のテストセットよりも少ない翻訳評価文を用いて、翻訳能力を推定することができるので、翻訳能力の推定に要する試験時間を短くすることができる。
【０１０８】
なお、この実施例では、数１に従った自動評価は、ＤＰマッチング法に基づいて、被験者ないしはユーザの英訳と正解訳との一致度を評価するようにしたが、この方法に限定されるべきではない。他の方法としては、ＩＢＭ社が提案する「ＢＬＥＵ法」や米国のＮＩＳＴ(National Institute of Standards and Technology)機関が提案する「ＮＩＳＴ法」を用いることも可能である。
【０１０９】
また、この実施例では、被験者の翻訳試験の結果から相関を求めたり、自動評価の平均値を求めたりする前処理を翻訳能力推定装置で実行するようにしたが、他の端末（コンピュータ）で前処理し、その処理結果のみを翻訳能力推定装置に記憶するようにしてもよい。
【図面の簡単な説明】
【０１１０】
【図１】図１はこの発明の翻訳能力推定装置の構成の一例を示す図解図である。
【図２】図２はＤＰマッチング法に基づく英訳結果の自動評価を説明するための図解図である。
【図３】図３は被験者の翻訳能力の自動評価結果と実際のＴＯＥＩＣスコアとの関係を示すグラフである。
【図４】図４は各翻訳評価文についての自動評価結果とＴＯＥＩＣスコアとの相関値を、相関値の高い順に翻訳評価文を並べた場合のグラフである。
【図５】図５はＬｅａｖｅ−ｏｎｅ−ｏｕｔ  ｃｒｏｓｓ  ｖａｌｉｄａｔｉｏｎ法により、被験者のＴＯＥＩＣスコアとテストセット用いて自動評価により推定したＴＯＥＩＣスコアとを比較した結果（標準誤差）を示すグラフである。
【図６】図６は或る被験者について翻訳能力を推定する場合におけるＴＯＥＩＣスコア換算点の変化およびその推定誤差の変化を示すグラフである。
【図７】図７は図１に示すＣＰＵの翻訳能力の推定処理の一部を示すフロー図である。
【図８】図８は図１に示すＣＰＵの翻訳能力の推定処理の図７に後続する部分を示すフロー図である。
【図９】図９は図１に示すＣＰＵの翻訳能力の推定処理の他の例の図７に後続する部分を示するフロー図である。
【符号の説明】
【０１１１】
１０  …翻訳能力推定装置
１２  …ＣＰＵ
１６  …ＨＤＤ
１８  …ＲＡＭ
２０  …Ｉ／Ｆ
２２  …入出力装置
【図１】
2005258121.tif 000027
【図２】
2005258121.tif 000028
【図３】
2005258121.tif 000029
【図４】
2005258121.tif 000030
【図５】
2005258121.tif 000031
【図６】
2005258121.tif 000032
【図７】
2005258121.tif 000033
【図８】
2005258121.tif 000034
【図９】
2005258121.tif 000035