(57)【要約】【課題】複数の問題を用いてテストを行なう際に、目的とする尺度によって翻訳能力を高い精度で測定でき、かつできるだけ問題の数が少なくできるように問題集合を最適化する。【解決手段】装置１２６は、初期テストセット１２０を整理して、より少ない問題からなる最終テストセット１２８にする装置であり、複数の被験者によって問題集合に含まれる問題を解いた結果１２４と、複数の被験者の評価尺度による評価値１２２との間の相関を反映するように、問題集合中の各問題に割当てられる重みの関数として予め評価関数を定式化し、当該評価関数の値が所定の条件を充足するように、最急降下法により重みの値を最適化するための最適化処理部１４６と、最適化処理部１４６により最適化された重みの値を用いて問題集合に含まれる問題の採用及び棄却を定めることにより、問題集合中の問題数を削減する選択部１４４とを含む。【選択図】      図２
2005309631.tif 000002
【特許請求の範囲】
【請求項１】
複数の問題からなる問題集合を整理して、より少ない問題からなる集合にする問題集合の最適化装置であって、前記問題集合に含まれる問題と同種の問題を解くための被験者の能力を数値化するための評価尺度が予め定められており、
前記装置は、
複数の被験者によって前記問題集合に含まれる問題を解いた結果と、前記複数の被験者の前記評価尺度による評価値との間の相関を反映するように、前記問題集合中の各問題に割当てられる重みの関数として予め評価関数を定式化し、当該評価関数の値が所定の条件を充足するように、最急降下法により前記重みの値を最適化するための最適化手段と、
前記最適化手段により最適化された重みの値を用いて前記問題集合に含まれる問題の採用及び棄却を定めることにより、前記問題集合中の問題数を削減するための問題選択手段とを含む、問題集合の最適化装置。
【請求項２】
前記最適化手段は、前記複数の被験者の前記評価尺度による評価値を、前記複数の被験者によって前記問題集合に含まれる問題を解いた結果に対してプロットして得られる複数の標本点に対する回帰直線の係数と、前記問題集合中の各問題に割当てられる重みとの関数として予め前記評価関数を定式化し、当該評価関数の値が所定の条件を充足するように、最急降下法により前記回帰直線の係数と前記重みの値とを同時に最適化するための手段を含む、請求項１に記載の問題集合の最適化装置。
【請求項３】
前記評価関数は、以下の式Ｌにより定義され、
【数１】
2005309631.tif 000016
ただしｙ＝ａ＊ｘ＋ｂは前記回帰直線を表わす関数、ａ、ｂは当該回帰直線の係数、ｍは前記問題集合に含まれる問題数、ｎは被験者の数、ｙi及びｘiはそれぞれ、
【数２】
2005309631.tif 000017
で表される数、ｗj（ｊ＝１〜ｍ）は各問題の重み、ｕi,j（ｉ＝１〜ｎ、ｊ＝１〜ｍ）はｉ番目の被験者がｊ番目の問題に正答したときに第１の値、誤答したときに前記第１の値より小さな第２の値をとる変数、ｔiはｉ番目の被験者の前記評価尺度による評価値であり、
かつ前記最適化手段は、前記評価関数Ｌの値が最小となるように最急降下法により、前記係数ａ、ｂ、及び前記重みｗj（ｊ＝１〜ｍ）の値を最適化するための手段を含む、請求項２に記載の問題集合の最適化装置。
【請求項４】
前記第１の値は１、前記第２の値は０である、請求項３に記載の問題集合の最適化装置。
【請求項５】
前記最適化手段は、前記複数の被験者の前記評価尺度による評価値と、前記複数の被験者によって前記問題集合に含まれる問題を解いた結果との間の相関値を、前記問題集合中の各問題に割当てられる前記重みの関数として定式化し、当該相関値が最大となるように、前記重みを最急降下法により最適化するための手段を含む、請求項１に記載の問題集合の最適化装置。
【請求項６】
前記相関値は以下の式Ｒによって定義され、
【数３】
2005309631.tif 000018
ただしｍは前記問題集合に含まれる問題数、ｎは被験者の数、ｘiは
【数４】
2005309631.tif 000019
で表される数、ｗj（ｊ＝１〜ｍ）は各問題の重み、ｕi,j（ｉ＝１〜ｎ、ｊ＝１〜ｍ）はｉ番目の被験者がｊ番目の問題に正答したときに第１の値、誤答したときに前記第１の値より小さな第２の値をとる変数、ｔiはｉ番目の被験者の前記評価尺度による評価値、
【数５】
2005309631.tif 000020
であり、
かつ前記最適化手段は、前記評価関数Ｒの値が最大となるように最急降下法により、前記重みｗj（ｊ＝１〜ｍ）の値を最適化するための手段を含む、請求項５に記載の問題集合の最適化装置。
【請求項７】
コンピュータにより実行されると、当該コンピュータを請求項１〜請求項６のいずれかに記載の問題集合の最適化装置として動作させる、コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明はテスト結果に基づいて評価を行なう際のテスト問題を選択するための装置に関し、特に、ある評価尺度が確立されている場合に、与えられた多数のテスト問題の集合において、当該評価尺度による評価を簡易に、かつ正確に行なうのに適したように、テスト問題集合を最適化するための装置に関する。
【背景技術】
【０００２】
英語によるコミュニケーション技術を評価する尺度として、ＴＯＥＩＣ（登録商標）と呼ばれるものが存在している。ＴＯＥＩＣは、「Test  Of  English  for  International  Communication」の省略形である。ＴＯＥＩＣによる評点（以下「ＴＯＥＩＣスコア」と呼ぶ。）は英語によるコミュニケーション能力を表すものとしてよく知られており、例えば留学、就職のために、ＴＯＥＩＣスコアが所定の点数であることが条件として課されることも多くなっている。
【０００３】
ＴＯＥＩＣのように被験者の能力を評価する場合、評価結果を的確なものとするために、いかにしてテスト問題を選択するかが問題となる。一般的には、テスト問題作成者が、過去の経験に基づいて問題を作成している。
【０００４】
一方、最近ではコンピュータを用いた機械翻訳が実用化されている。機械翻訳は、例えば機械翻訳装置として販売される場合もあるし、機械翻訳ソフトウェアとして販売される場合もある。そうした場合に問題となるのは、機械翻訳装置等の性能である。機械翻訳装置等の性能を何らかの基準に従って測定し表示できれば、例えば購入時などの目安となり便利である。
【０００５】
そこで、機械翻訳装置等の性能評価尺度として上記したＴＯＥＩＣスコアを採用することが提案されている。そのための一つの方法は、翻訳一対比較法（非特許文献１を参照されたい。）と呼ばれる方法を用いたものである。その概要は以下のとおりである。
【０００６】
まず、ＴＯＥＩＣスコアが分かっている複数の被験者を集め、所定の複数の日本語の問題文を英語に翻訳させる。次に、同じ問題文を評価対象の機械翻訳装置等により英語に翻訳させる。同じ問題文に対する被験者による翻訳と機械翻訳装置による翻訳とのいずれが好ましい翻訳であるかを、英語のネイティブ話者が判定する。被験者ごとに、機械翻訳装置の方が好ましい翻訳結果を出力した問題文数の、全問題文数に対する割合を算出することができる。これを被験者ごとの機械翻訳装置の「勝率」と呼ぶ。
【０００７】
複数の被験者に対し、上記した勝率を計算することができる。一般的に、被験者のＴＯＥＩＣスコアが高いほど、機械翻訳装置の勝率は低くなり、被験者のＴＯＥＩＣスコアが低いほど、機械翻訳装置の勝率は高くなる。そして両者が拮抗する点があれば、機械翻訳装置の英語能力は、その点での被験者の英語能力とほぼ等しいと思われる。
【０００８】
そこで、次のようにして機械翻訳装置の性能をＴＯＥＩＣスコアにより表す。図９を参照して、機械翻訳装置の勝率を被験者のＴＯＥＩＣスコアに対して点４２４などで示すようにプロットする。その回帰直線４２０を求め、回帰直線４２０上で機械翻訳装置の勝率が５０％となる点４２２の被験者のＴＯＥＩＣスコアを求める。この得点により機械翻訳装置の性能の目安をＴＯＥＩＣスコアで表すことができる。
【０００９】
上記したような方法で機械翻訳装置の性能を測ろうとする場合、被験者の全てと機械翻訳装置とに全ての問題文を翻訳させる必要がある。そのため、機械翻訳装置の性能を測るための期間と費用とが大きくなるという問題がある。
【００１０】
そうした問題を解決するための一つの方策は、試験による性能評価の精度を落とさずに、問題文の数を少なくすることである。そのように問題文の数を削減する方法が、非特許文献２において提案されている。非特許文献２において提案された方法は、予め上記と同様にＴＯＥＩＣスコアが既知の複数の被験者による翻訳結果の評価を得ておき、その結果を用いて、コンピュータによりテストセットから不要な問題文を逐次的に削除していく方法である。
【００１１】
図１０を参照して、非特許文献２に開示された方法では、まずステップ４５０で翻訳の問題文の集合からなるテストセットを外部記憶装置から読出しメモリに格納する。ステップ４５２で、以下の計算で用いる標準偏差値の最小値を所定の値に設定する処理及び削除候補文をテストセット内の先頭文に設定する処理を含む、初期化処理を行なう。
【００１２】
ステップ４５４で、削除候補文を選択する。ステップ４５６で、この削除候補文をテストセットから除いた残りのテストセットの文を用い、それらの文の、回帰直線に対するｙ軸方向の回帰誤差の二乗偏差の和（以下、「二乗偏差値」と呼ぶ。）を算出する。ステップ４５８で、算出された二乗偏差値がこれまで算出された二乗偏差値の中で最小か否かを判定する。最小であればステップ４６０に進み、さもなければステップ４６２に進む。
【００１３】
ステップ４６０では、それまで削除対象となっていたものを削除対象からはずし、現在処理対象となっている削除候補文を新たに削除対象文に設定する。この後ステップ４６２に進む。
【００１４】
ステップ４６２では、テストセット中の全ての文について、それらを削除候補文として上記した処理を完了したか否かを判定する。完了していればステップ４６４に進み、完了していなければステップ４７０に進む。
【００１５】
ステップ４７０では、テストセット中の次の文を削除候補文に選択してステップ４５６に戻る。
【００１６】
一方、テストセット中の全ての文について、それらを削除候補文としてステップ４５４〜ステップ４６２、４７０の処理が終了した場合、ステップ４６４で、今回の繰返し処理で算出された二乗偏差値の最小値が、この前の繰返しで算出された二乗偏差値の最小値と比較して小さくなったか否かを判定する。もし小さくなっていれば、ステップ４６８において、ステップ４６０で設定された削除対象文をテストセットから削除し、ステップ４５４に戻って次の繰返し処理を実行する。もしステップ４６４で二乗偏差値の最小値が減少していないと判定された場合、これ以上の改善が望めないので処理を終了する。このときテストセット中に残っている文が、削減後のテストセットを形成する。
【００１７】
【非特許文献１】菅谷史昭他３名、「音声翻訳システムと人間との比較による音声翻訳能力評価手法の提案の比較実験」、電子情報通信学会論文誌Ｄ−ＩＩ、Ｖｏｌ．Ｊ８４−Ｄ−ＩＩ、Ｎｏ．１１、ｐｐ．２３６２−２３７０、２００１年１１月
【非特許文献２】菅谷史昭他２名、「コーパスベース音声翻訳用評価セット選択方法の提案」、電子情報通信学会論文誌Ｄ−ＩＩ、Ｖｏｌ．Ｊ８６−Ｄ−ＩＩ、Ｎｏ．１１、ｐｐ．１６６８−１６７７、２００３年１１月
【非特許文献３】タケザワ  Ｔ（Takezawa  T.)、「音声翻訳研究のための二言語旅行会話データベースの構築（Building  a  bilingual  travel  conversation  database  for  speech  translation  research)」、オリエンタルＣＯＣＯＳＤＡ  ワークショップ−予稿集、ｐｐ．１７−２０、１９９９年
【非特許文献４】タケザワ、Ｔら（Takezawa  T.  et  al.)「実世界における旅行会話の言語翻訳のための、広範囲のバイリンガルコーパスに向けて（Toward  a  Broad-coverage  Bilingual  Corpus  for  Speech  Translation  of  Travel  Conversations  in  the  Real  World）」ＬＲＥＣ−２００２予稿集、ｐｐ．１４７−１５２、２００２年
【発明の開示】
【発明が解決しようとする課題】
【００１８】
非特許文献２に記載の方法によれば、テストセットの中から順に二乗偏差値を大きくしている（被験者の能力の判別に寄与していない）テスト文を一つずつ選択して取り除いている。つまり、個々の文がどの程度テストセットによる判別能力に寄与しているかを調べながら、逐次的に、一つずつテスト文を削除している。そのため、テストセットを最適化する上で経由していく経路が制限され、例えば複数のテスト文の組合せによる判別能力の変化などについては考慮されていない。従って、非特許文献２に記載の方法で最適化されたテストセットが真に最適化されたものとなるかどうかは疑問である。
【００１９】
従って本発明の目的は，何らかのテストを複数の問題（テストセット）を用いて行なう場合、目的とする尺度による評価を高い精度で行なうことが可能で、かつできるだけ問題の数が少なくなるように最適化されたテストセットを選択するための、問題集合の最適化装置を提供することである。
【課題を解決するための手段】
【００２０】
本発明の第１の局面に係る問題集合の最適化装置は、複数の問題からなる問題集合を整理して、より少ない問題からなる集合にする問題集合の最適化装置である。問題集合に含まれる問題と同種の問題を解くための被験者の能力を数値化するための評価尺度が予め定められている。この装置は、複数の被験者によって問題集合に含まれる問題を解いた結果と、複数の被験者の評価尺度による評価値との間の相関を反映するように、問題集合中の各問題に割当てられる重みの関数として予め評価関数を定式化し、当該評価関数の値が所定の条件を充足するように、最急降下法により重みの値を最適化するための最適化手段と、最適化手段により最適化された重みの値を用いて問題集合に含まれる問題の採用及び棄却を定めることにより、問題集合中の問題数を削減するための問題選択手段とを含む。
【００２１】
最急降下法により、複数の重みを同時に最適化する。そのため、種々の問題の多様な組合せの全体にわたって、そうした組合せにより得られる上記した相関を考慮し、相関を反映した評価関数が所定の条件を充足するような最適な組合せが得られる。
【００２２】
好ましくは、最適化手段は、複数の被験者の評価尺度による評価値を、複数の被験者によって問題集合に含まれる問題を解いた結果に対してプロットして得られる複数の標本点に対する回帰直線の係数と、問題集合中の各問題に割当てられる重みとの関数として予め評価関数を定式化し、当該評価関数の値が所定の条件を充足するように、最急降下法により回帰直線の係数と重みの値とを同時に最適化するための手段を含む。
【００２３】
各問題の重みだけでなく、回帰直線の係数も同時に最適化するため、より好ましい問題の組合せを得ることができる。
【００２４】
さらに好ましくは、評価関数は、以下の式Ｌにより定義される。
【００２５】
【数１】
2005309631.tif 000003
ただしｙ＝ａ＊ｘ＋ｂは回帰直線を表す関数、ａ、ｂは当該回帰直線の係数、ｍは問題集合に含まれる問題数、ｎは被験者の数、ｙi及びｘiはそれぞれ
【００２６】
【数２】
2005309631.tif 000004
で表される数、ｗj（ｊ＝１〜ｍ）は各問題の重み、ｕi,j（ｉ＝１〜ｎ、ｊ＝１〜ｍ）はｉ番目の被験者がｊ番目の問題に正答したときに第１の値（例えば１）、誤答したときに第１の値より小さな第２の値（例えば０）をとる変数、ｔiはｉ番目の被験者の評価尺度による評価値である。また最適化手段は、評価関数Ｌの値が最小となるように最急降下法により、係数ａ、ｂ、及び重みｗj（ｊ＝１〜ｍ）の値を最適化するための手段を含む。
【００２７】
関数Ｌは回帰直線と標本点との間の回帰誤差の二乗偏差値を表す。この値を最小にするように重みを決定することにより、標本点に対する誤差が最小となる好ましい回帰直線とそれに伴う最適な重みとの組合せを得ることができる。
【００２８】
好ましくは、最適化手段は、複数の被験者の評価尺度による評価値と、複数の被験者によって問題集合に含まれる問題を解いた結果との間の相関値を、問題集合中の各問題に割当てられる重みの関数として定式化し、当該相関値が最大となるように、重みを最急降下法により最適化するための手段を含む。
【００２９】
相関を重みの関数として定式化し、相関が最大となるように最急降下法により重みを最適化する。相関が最大となるような重みの組合せを、多様な組合せの中から探索するので、一部のみを探索していく従来技術の方法と比較してより適切な問題の組合せを得ることができる。
【００３０】
さらに好ましくは、相関値は以下の式Ｒによって定義される。
【００３１】
【数３】
2005309631.tif 000005
ただしｍは問題集合に含まれる問題数、ｎは被験者の数、ｘiは
【００３２】
【数４】
2005309631.tif 000006
で表される数、ｗj（ｊ＝１〜ｍ）は各問題の重み、ｕi,j（ｉ＝１〜ｎ、ｊ＝１〜ｍ）はｉ番目の被験者がｊ番目の問題に正答したときに第１の値、誤答したときに第１の値より小さな第２の値をとる変数、ｔiはｉ番目の被験者の評価尺度による評価値、
【００３３】
【数５】
2005309631.tif 000007
であり、かつ最適化手段は、評価関数Ｒの値が最大となるように最急降下法により、重みｗj（ｊ＝１〜ｍ）の値を最適化するための手段を含む。
【００３４】
本発明の第２の局面に係るコンピュータプログラムは、好ましくは、コンピュータにより実行されると、当該コンピュータを上記したいずれかの問題集合の最適化装置として動作させる。
【発明を実施するための最良の形態】
【００３５】
［第１の実施の形態］
−構成−
第１の実施の形態は、機械翻訳装置の性能をＴＯＥＩＣスコア換算値で評価するための問題文セットを最適化するための装置及び方法に関する。本実施の形態では、図１に示すように、複数の被験者によるテストセット中の文の翻訳結果に対する評価に対し、各被験者のＴＯＥＩＣスコアを点１００等で示されるようにプロットし、その回帰直線１０２を求めてその二乗偏差値を最小化するようにテストセット中の文を選択していく。ただし本実施の形態では、最適化には最急降下法を用い、かつ回帰直線の各係数も含めて最適化を行なう。また本実施の形態では、被験者による翻訳結果の評価の尺度として、非特許文献２で用いられた勝率ではなく、テストセットの文中でその被験者が正しい翻訳を行なうことができた文の数（正解文数）を用いる。
【００３６】
図２に、本実施の形態に係るテスト文選択装置１２６の構成をブロック図形式で示す。図２を参照して、このテスト文選択装置１２６は、各被験者のＴＯＥＩＣスコアデータ１２２と、テストセットの翻訳に対する各被験者の正解文数データ１２４とを用いて、初期テストセット１２０から不要なテスト文を除き、最終テストセット１２８を得るものである。
【００３７】
テスト文選択装置１２６は、正解文数データ１２４を用い、初期テストセット１２０の中で明らかに不要なテスト文を削除する処理を行なうための初期削除処理部１４０と、初期削除処理部１４０による初期削除処理が行なわれた後の初期処理後テストセットを記憶するための初期処理後テストセット記憶装置１４２と、ＴＯＥＩＣスコアデータ１２２及び正解文数データ１２４を用い、初期処理後テストセット記憶装置１４２中のテスト文に対し後述するような最急降下法による最適化を行ない、テストセットとして採用する文と棄却する文とを判定するための最適化処理部１４６と、最適化処理部１４６の初期設定を行なうための初期設定部１４８と、最適化処理部１４６による判定に従い、初期処理後テストセット記憶装置１４２中のテスト文の中から最適化されたテスト文の集合を選択し、最終テストセット１２８として出力するためのテスト文選択部１４４とを含む。
【００３８】
初期削除処理部１４０、最適化処理部１４６、初期設定部１４８及びテスト文選択部１４４の機能は、コンピュータハードウェアと、その上で実行されるコンピュータプログラムとにより実現される。従ってこれらの機能については、図３〜図５に示されるフローチャートに従い説明する。
【００３９】
図３は、初期削除処理部１４０、最適化処理部１４６、初期設定部１４８及びテスト文選択部１４４による処理の流れをフローチャート形式で示したものである。図３を参照して、まずステップ１６０で図２に示す初期テストセット１２０からテストセットを読出し、図示しないメモリに格納する。続いてステップ１６２で初期化処理を実行する。ここでの初期化処理では、ＴＯＥＩＣスコアデータ１２２と正解文数データ１２４とから回帰直線を求め、回帰係数の初期値を算出する処理が実行される。その方法については通常の回帰分析の手法と同様である。もちろん、この処理を予め済ませておいてもよい。
【００４０】
ステップ１６４で、テストセットの中から、被験者間の相対的な能力測定という側面から見て明らかに意味のないテスト文を削除する初期削除処理が行なわれる。たとえば全ての被験者が正解したテスト文であるとか、正解できた被験者が一人もいなかったテスト文等が該当する。この処理については図４を参照して後述する。
【００４１】
ステップ１６６以下が最急降下法による最適化処理である。以下で使用する記号について説明する。
【００４２】
（１）ｍはテスト文の総数を表す。
【００４３】
（２）ｎはテスト文の選択において使用される被験者の数を表す。これら被験者は全てＴＯＥＩＣスコアを有し、そのスコアがＴＯＥＩＣスコアデータ１２２に格納されている。
【００４４】
（３）ｔi（ｉ＝１〜ｎ）はｉ番目の被験者のＴＯＥＩＣスコアを表す。
【００４５】
（４）ｕi,j（ｉ＝１〜ｎ、ｊ＝１〜ｍ）は、ｉ番目の被験者がｊ番目のテスト文を正しく翻訳できたか否かを表す値であり、正しく翻訳できたときは１、そうでないときは０の値をとる。
【００４６】
（５）ｗj（ｊ＝１〜ｍ）はｊ番目のテスト文が選択されているときには１、選択されていないときには０の値をそれぞれとる変数である。
【００４７】
本実施の形態では、最急降下法のための定式化として、次のようなものを採用している。すなわち、各被験者のＴＯＥＩＣスコアと回帰直線ｙ＝ａ＊ｘ＋ｂとの間の回帰誤差の二乗偏差値
【００４８】
【数６】
2005309631.tif 000008
を最小とするようなａ、ｂ、及びｗj（ｊ＝１〜ｍ）を求める。ただし各ｉ（ｉ＝１〜ｎ）に対し、ｙi及びｘiはそれぞれ、
【００４９】
【数７】
2005309631.tif 000009
である。
【００５０】
本実施の形態による最適化では、非特許文献２に記載のものと比較し、回帰直線の係数であるａ及びｂも同時に最適化する点で異なっている。なお以下の説明では、ａ(k)、ｂ(k)、ｗj(k)（ｊ＝１〜ｍ）をそれぞれ、最急降下法における繰返し中の、ｋ番目の繰返し処理中の回帰直線の係数ａ及びｂ、並びに各テスト文に対応するｗj（ｊ＝１〜ｍ）を示すものとする。
【００５１】
再び図３を参照して、ステップ１６６では、最急降下法のための初期設定が行なわれる。すなわち、ｗj(0)に１を代入し、ａ(0)及びｂ(0)にｗj(0)（ｊ＝１〜ｍ）に対応する回帰直線の係数を代入し、ｋに０を代入し、λに０．１を代入する。λは最急降下法で「ステップ幅」と呼ばれるパラメータである。
【００５２】
ステップ１６８で、以下の式に従ってｗj(k+1)(ｊ＝１〜ｍ）を算出する。
【００５３】
【数８】
2005309631.tif 000010
さらに、ステップ１７０で、ｗj(k+1)（ｊ＝１〜ｍ）に対応する回帰直線の係数をａ(k+1)及びｂ(k+1)に代入する。
【００５４】
ステップ１７２で、式（１）で表されるＬについて、Ｌ（ａ(k+1)、ｂ(k+1)，ｗ１(k+1)，…，ｗｍ(k+1)）≧Ｌ（ａ(k)、ｂ(k)，ｗ１(k)，…，ｗｍ(k)）か否かを判定する。この不等式が成立していれば、二乗偏差値が増加に転じたということなので、ｋ回目の繰返しで得られたａ、ｂ、ｗj（ｊ＝１〜ｍ）、すなわちａ(k)，ｂ(k)、ｗj(k)（ｊ＝１〜ｍ）を最適解とする。処理はステップ１７６に進む。一方、上記した不等式が成立していなければ、さらに二乗偏差値を減少させることが可能と思われるので、ステップ１７４で繰返し回数を表す変数ｋに１を加算した後ステップ１６８に戻り、次の繰返し処理を実行する。
【００５５】
ステップ１７６では、上記したステップ１６６〜ステップ１７４により得られた最適解を与えるｗj(k)（ｊ＝１〜ｍ）の値に従って、テスト文を選択する処理が実行される。その詳細については図５を参照して後述する。ステップ１７６の処理が終了すると、図２に示す最終テストセット１２８が得られる。
【００５６】
図３に示すステップ１６４の詳細を図４に示す。図４を参照して、初期削除処理では、まずステップ２００で変数ｊに０を代入する。ステップ２０２でｊに１を加算し、その結果ｊの値がテストセット中のテスト文の総数を上回ったか否かをステップ２０４で判定する。判定結果がＹＥＳであれば全てのテスト文に対し処理が終了したということなので、初期削除処理を終了する。
【００５７】
ステップ２０４において、変数ｊの値がテスト文数以下であると判定された場合、ステップ２０６ではｊ番目のテスト文について、全てのｉ（ｉ＝１〜ｎ）に対してｕi,j＝１か否か、すなわち全ての被験者がｊ番目のテスト文について正解の翻訳を行なうことができたか否かを判定する。この判定結果がＹＥＳであれば、ｊ番目の文を被験者の能力判別の尺度とすることはできないので、ステップ２１０に進みこの文を削除する。この後、ステップ２０２に戻る。
【００５８】
ステップ２０６の判定結果がＮＯの場合、ステップ２０８において、ｊ番目のテスト文について、全てのｉ（ｉ＝１〜ｎ）に対してｕi,j＝０か否か、すなわち一人の被験者もｊ番目のテスト文について正解の翻訳を行なうことができなかったか否かを判定する。この判定結果がＹＥＳであれば、ｊ番目の文を被験者の能力判別の尺度とすることはできないので、ステップ２１０に進みこの文を削除する。この後、ステップ２０２に戻る。ステップ２０８の判定結果がＮＯであれば、ステップ２０２に戻る。
【００５９】
以上の処理を実行することにより、初期テストセット１２０中から、上記した最急降下法による最適化を開始するに先立って、被験者の能力判別に明らかに寄与しないものを削除できる。その結果、最急降下法による処理を高速化できる。
【００６０】
図５は、図３のステップ１７６の詳細を示す。図５を参照して、ステップ２５０では、変数ｊに０を代入する。ステップ２５２では、変数ｊに１を加算する。ステップ２５４では、ｊがテスト文の数ｍを超えたか否かを判定する。ここでいうテスト文の数ｍは、ステップ１６４による初期削除処理後のテストセット中に残ったテスト文数をいう。変数ｊの値がテスト文数ｍを超えていれば処理を終了する。さもなければステップ２５６で、ｗj(k)が０．５以上か否かを判定する。上記した最急降下法の過程では、ｗj(k)の値は０〜１の間の任意の値をとり得るので、このステップ２５６の処理により、ｗj(k)に基づいて実際にｊ番目のテスト文をテストセットに含ませるか否かを判定する。ステップ２５６の判定結果がＹＥＳであればステップ２５８に、さもなければステップ２６０に進む。
【００６１】
ステップ２５８ではｊ番目のテスト文を最終テストセット１２８に含ませる文として選択し、ステップ２５２に戻る。一方ステップ２６０では、ｊ番目のテスト文をテストセットから削除し、ステップ２５２に戻る。
【００６２】
以上の処理を実行することにより、テストセットを最適化できる。このとき、同時に回帰直線の係数も最適化される。
【００６３】
−動作−
この第１の実施の形態に係るテスト文選択装置１２６の動作について、図２〜図５を参照して説明する。最初に、初期テストセット１２０、ＴＯＥＩＣスコアデータ１２２、正解文数データ１２４がそれぞれ適当な外部記憶装置に準備される。処理が開始されると、最適化処理部１４６がまず上記した回帰直線ｙ＝ａ＊ｘ＋ｂの係数ａ、ｂの初期値をＴＯＥＩＣスコアデータ１２２と正解文数データ１２４とに基づいて算出する。さらに初期削除処理部１４０が、正解文数データ１２４を参照して、初期テストセット１２０中で被験者の能力判別に寄与しないと思われるテスト文を削除し、初期処理後のテストセットを初期処理後テストセット記憶装置１４２に出力する。
【００６４】
初期設定部１４８によって初期設定された最適化処理部１４６が、図３のステップ１６８〜ステップ１７４に示すような最急降下法による最適化処理を行ない、各文を最終テストセット１２８に含ませるべきか否かを示す値ｗj(k)を算出しテスト文選択部１４４に与える。
【００６５】
テスト文選択部１４４は、初期処理後テストセット記憶装置１４２に含まれるテスト文のうち、対応するｗj(k)が０．５以上のもののみを選択して最終テストセット１２８に出力する。
【００６６】
以上の動作により得られた最終テストセット１２８は、被験者の能力を判別する能力については当初の性能と同等の性能を示しながら、テスト文数が大きく削減された、最適化されたものとなる。
【００６７】
−コンピュータによる実現−
この実施の形態に係るテスト文選択装置１２６は、コンピュータハードウェアと、そのコンピュータハードウェアにより実行されるプログラムと、コンピュータハードウェアに格納されるデータとにより実現される。図６はこのコンピュータシステム３３０の外観を示し、図７はコンピュータシステム３３０の内部構成を示す。
【００６８】
図６を参照して、このコンピュータシステム３３０は、ＦＤ（フレキシブルディスク）ドライブ３５２およびＣＤ−ＲＯＭ（コンパクトディスク読出専用メモリ）ドライブ３５０を有するコンピュータ３４０と、キーボード３４６と、マウス３４８と、モニタ３４２とを含む。
【００６９】
図７を参照して、コンピュータ３４０は、ＦＤドライブ３５２およびＣＤ−ＲＯＭドライブ３５０に加えて、ＣＰＵ（中央処理装置）３５６と、ＣＰＵ３５６、ＦＤドライブ３５２およびＣＤ−ＲＯＭドライブ３５０に接続されたバス３６６と、ブートアッププログラム等を記憶する読出専用メモリ（ＲＯＭ）３５８と、バス３６６に接続され、プログラム命令、システムプログラム、および作業データ等を記憶するランダムアクセスメモリ（ＲＡＭ）３６０とを含む。コンピュータシステム３３０はさらに、プリンタ３４４と、ローカルエリアネットワーク（ＬＡＮ）への接続を提供するネットワークアダプタボード３６８とを含む。
【００７０】
コンピュータシステム３３０にテスト文選択装置１２６の各構成部の機能を実現させるためのコンピュータプログラムは、ＣＤ−ＲＯＭドライブ３５０またはＦＤドライブ３５２に挿入されるＣＤ−ＲＯＭ３６２またはＦＤ３６４に記憶され、さらにハードディスク３５４に転送される。または、プログラムは図示しないネットワークを通じてコンピュータ３４０に送信されハードディスク３５４に記憶されてもよい。プログラムは実行の際にＲＡＭ３６０にロードされる。ＣＤ−ＲＯＭ３６２から、ＦＤ３６４から、またはネットワークを介して、直接にＲＡＭ３６０にプログラムをロードしてもよい。
【００７１】
このプログラムは、コンピュータ３４０にこの実施の形態に係るテスト文選択装置１２６の各構成部の機能を実現するための複数の命令を含む。このために必要な基本的機能のいくつかはコンピュータ３４０上で動作するオペレーティングシステム（ＯＳ）またはサードパーティのプログラム、もしくはコンピュータ３４０にインストールされる各種ツールキットのモジュールにより提供される。従って、このプログラムはこの実施の形態に係るテスト文選択装置１２６を実現するのに必要な機能全てを必ずしも含まなくてよい。このプログラムは、命令のうち、所望の結果が得られるように制御されたやり方で適切な機能または「ツール」を呼出すことにより、上記したテスト文選択装置１２６の各機能を実現するための命令のみを含んでいればよい。コンピュータシステム３３０の動作は周知であるので、ここでは繰返さない。
【００７２】
［第２の実施の形態］
−構成−
本発明の第２の実施の形態に係る装置は、第１の実施の形態に係る装置と同様、機械翻訳装置の性能をＴＯＥＩＣスコア換算値で評価するための問題文セットを最急降下法を用いて最適化するための装置である。本実施の形態では、最急降下法のための定式化として、第１の実施の形態のように二乗偏差値を最小化するのではなく、各被験者のＴＯＥＩＣスコアと正解文数との間の相関が最大となるようにする。すなわち、以下の関数Ｒの値が最大となるようなテストセットを求める。
【００７３】
【数９】
2005309631.tif 000011
ただし、各ｉ（ｉ＝１〜ｎ）に対し、
【００７４】
【数１０】
2005309631.tif 000012
である。
【００７５】
なお、この第２の実施の形態でも、ｍ、ｎ、ｘi、ｔi、ｕi,j、ｗj(k)等の意味は第１の実施の形態で用いたものと同じである。
【００７６】
本実施の形態に係る装置の概略構成も図２に示すものとほぼ同様である。ただし、最適化処理部１４６で実行される最適化処理において、式（１）により表されるＬではなく、式（２）により表されるＲの値を最大化するような定式化がされている点においてこの第２の実施の形態に係るテスト文選択装置は図２に示すものと異なっている。
【００７７】
図８に、この第２の実施の形態に係るテスト文選択装置で実行される処理をフローチャート形式で示す。図８を参照して、まずステップ４００でテストセットの読出が行なわれる。さらにステップ４０４でテスト文セットに対する初期削除処理が実行される。これらは、いずれも図３に示すステップ１６０及び１６４に対応するものであり、ステップ４００及び４０４はそれぞれ図３のステップ１６０及び１６４と同一である。
【００７８】
ステップ４０６では、ｗj(0)（ｊ＝１〜ｍ）に１、変数ｋに０、変数λに０．１が、それぞれ代入される。λの意味は第１の実施の形態で用いたものと同様である。
【００７９】
ステップ４０８において、次の式にしたがった計算を実行する。
【００８０】
【数１１】
2005309631.tif 000013
【００８１】
続くステップ４１０では、式（２）に従って算出されるＲ（ｗ1(k+1)，…，ｗ2(k+1)）がＲ（（ｗ1(k)，…，ｗ2(k)）以下か否かを判定する。判定結果がＹＥＳであればＲの値がこれ以上大きくなることは望めないのでこのときのｋが最適解を与えるものと決定してステップ４１４に進む。さもなければさらにＲの値を大きくすべく、ステップ４１２で変数ｋに１を加算し、ステップ４０８に戻る。
【００８２】
ステップ４１４では、図３に示すステップ１７６と同じ処理が実行される。
【００８３】
この第２の実施の形態に係る装置の動作は、第１の実施の形態に係る装置の動作と同様であり、相違点は最急降下法における定式化の相違によるものに過ぎない。従ってここではそれらについての詳細な説明は省略する。
【００８４】
［実験結果］
上記した第１の実施の形態及び第２の実施の形態に係るテスト文選択装置により選択されたテストセットが、従来の技術に係る装置により選択されたものに対してどの程度優れたものとなっているかを検証するために、以下のような実験を行なった。
【００８５】
実験では、出願人において準備した英日二言語コーパスであるＢＴＥＣ（Basic  Travel  Expression  Corpus）（非特許文献３を参照されたい。）及びＴＲＣ（Travel  Reservation  Corpus）（非特許文献４を参照されたい。）をそれぞれ用い、これらに含まれる日本語文からなるコーパスをそれぞれ初期テストセットとして、上記した３つのテスト文選択装置によるテスト文選択を行なった。ネイティブ英語スピーカとして５人を用意し、各々一つの日本語文に対し３通りの英語訳を作成した。これらに最初から二言語コーパスに含まれていた英語文を加え、結果として一つの日本語文に対して１６通りの参照訳を予め準備した。正解文数データの作成では、複数の被験者に日本語訳を翻訳させ、対応する１６の参照訳のいずれかと一致する翻訳が得られれば正解と判定した。
【００８６】
被験者はいずれもネイティブ日本語話者であり、実験時期の直前６ヶ月以内に取得した、２５５点から７４５点の範囲のＴＯＥＩＣスコアを有している。
【００８７】
実験では、被験者に対し日本語テキストを聞かせ、それに対する英語訳を回答紙上に筆記してもらうようにした。日本語テキストは、１分間に２度、間にポーズを持たせて繰返した。
【００８８】
上記した３つの手法を、リーブ・ワン・アウト法を用いて検証した。この際、リーブ・ワン・アウトの対象となる被験者は、ＴＯＥＩＣスコアが自分より低い被験者よりも正解文数が多かった被験者のみに限定した。そうした被験者であれば、英語の能力を十分正確に反映した結果が得られるものと思われたためである。
【００８９】
次の表１に、各テストセットに含まれるテスト文数、実験に用いた被験者数、リーブ・ワン・アウトの被験者数、及び回帰分析の際のトレーニングに用いた被験者数をそれぞれ示す。
【００９０】
【表１】
2005309631.tif 000014
得られた結果を次の表２に示す。
【００９１】
【表２】
2005309631.tif 000015
【００９２】
表２から分かるように、本願発明によって選択したテスト文からなるテストセットによれば、従来技術によるものと比較して平均すると予測誤差は小さくなっている。最悪ケースの場合でも、ＴＯＥＩＣで許容されている６９点（９５％の信頼度）の誤差範囲内に誤差が収まっている。これに対し非特許文献２による場合には、最悪ケースで誤差が許容範囲からややはずれている。
【００９３】
従って、表２からも明らかなように、本発明の実施の形態によるテストセット選択によって、非特許文献２によるものと比較して好ましい結果が得られる。
【００９４】
以上のように、本発明の実施の形態に係るテスト文選択装置によれば、最急降下法を用いて各文を最終テストセット１２８の要素として選択すべきか否かを示す重み（第１の実施の形態の場合にはさらに回帰直線の係数）をまとめて最適化する。そのため、非特許文献２に示される例のように個々のテスト文が被験者の能力判別に寄与する度合いを判定して削除するか否かを判定する場合と比較して、テスト文の多様な組合せまで含めて最適化の対象とすることができる。その結果、最適化処理そのものが比較的早く完了するだけでなく、最終的に得られるテスト文セットによる被験者の能力判別の精度が高く保たれるという効果がある。
【００９５】
なお、上記実施の形態では、機械翻訳装置の性能をＴＯＥＩＣスコアに換算し表示するためのシステムを想定して説明したが、本発明が適用可能な分野がそのような分野に限定されるわけではない。何らかの評価の基準となるスコアを算出可能な分野の問題の集合の中から、被験者の能力を正確に判別しながら、問題の数を削減して問題集合を最適化することを目的とする応用であれば、どのような分野のものにも適用できる。また、機械翻訳装置等、装置の性能を測定する場合だけでなく、人間の能力を何らかのスコアで測定する場合にも、本実施の形態の装置を用いて問題集合を最適化できる。
【００９６】
今回開示された実施の形態は単に例示であって、本発明が上記した実施の形態のみに制限されるわけではない。本発明の範囲は、発明の詳細な説明の記載を参酌した上で、特許請求の範囲の各請求項によって示され、そこに記載された文言と均等の意味および範囲内でのすべての変更を含む。
【図面の簡単な説明】
【００９７】
【図１】本発明の第１の実施の形態で使用されている回帰直線を説明するための図である。
【図２】本発明の第１の実施の形態に係るテスト文選択装置１２６のブロック図である。
【図３】第１の実施の形態に係るテスト文選択装置を実現するためのコンピュータプログラムのフローチャートである。
【図４】図３のステップ１６４で実行される初期削除処理のフローチャートである。
【図５】図３のステップ１７６で実行されるテスト文選択処理のフローチャートである。
【図６】第１の実施の形態に係るテスト文選択装置１２６を実現するためのコンピュータシステムの外観図である。
【図７】図６に示すコンピュータシステムのブロック図である。
【図８】第２の実施の形態に係るテスト文選択装置を実現するためのコンピュータプログラムのフローチャートである。
【図９】従来技術で採用されている回帰直線を説明するための図である。
【図１０】従来技術に係るテスト文選択装置を実現するためのコンピュータプログラムのフローチャートである。
【符号の説明】
【００９８】
１２０  初期テストセット、１２２  ＴＯＥＩＣスコアデータ、１２４  正解文数データ、１２６  テスト文選択装置、１２８  最終テストセット、１４０  初期削除処理部、１４２  初期処理後テストセット記憶装置、１４４  テスト文選択部、１４６  最適化処理部、１４８  初期設定部
【図１】
2005309631.tif 000021
【図２】
2005309631.tif 000022
【図３】
2005309631.tif 000023
【図４】
2005309631.tif 000024
【図５】
2005309631.tif 000025
【図６】
2005309631.tif 000026
【図７】
2005309631.tif 000027
【図８】
2005309631.tif 000028
【図９】
2005309631.tif 000029
【図１０】
2005309631.tif 000030