(57)【特許請求の範囲】
【請求項１】
問題、問題毎に設定された出題率及び問題毎の問題利用回数を格納する問題格納手段と、アダプティブ試験実施手段と、問題利用回数計算手段と、出題率調整手段とを有する問題利用回数均一化装置において、予め決めた全出題数で問題が利用される回数を均一化するためのアダプティブ試験における問題利用回数均一化方法であって、
前記アダプティブ試験実施手段が、前記問題格納手段に格納された問題毎に設定された出題率に基づいて、出題する問題を選択し、
前記問題利用回数計算手段が、前記選択された問題に対して、前記問題格納手段に格納された問題毎の問題利用回数を計算し、
前記出題率調整手段が、各問題の
前記問題利用回数＋出題率×前記予め決めた全出題数
の分散が最小となるような出題率を、出題率を０以上１以下の間とする制約条件のもとで、最適化問題を解くことで出題率を求め、前記問題格納手段に格納された出題率を前記求めた出題率に更新する
ことからなる問題利用回数調整方法。
【請求項２】
予め決めた全出題数で問題が利用される回数を均一化するためのアダプティブ試験における問題利用回数均一化装置であって、
問題、問題毎に設定された出題率及び問題毎の問題利用回数を格納する問題格納手段と、
前記問題格納手段に格納された問題毎に設定された出題率に基づいて、出題する問題を選択するアダプティブ試験実施手段と、
前記選択された問題に対して、前記問題格納手段に格納された問題毎の問題利用回数を計算する問題利用回数計算手段と、
各問題の
前記問題利用回数＋出題率×前記予め決めた全出題数
の分散が最小となるような出題率を、出題率を０以上１以下の間とする制約条件のもとで、最適化問題を解くことで出題率を求め、前記問題格納手段に格納された出題率を前記求めた出題率に更新する出題率調整手段と、
を有する問題利用回数均一化装置。
【請求項３】
問題、問題毎に設定された出題率及び問題毎の問題利用回数を格納する問題格納手段と、アダプティブ試験実施手段と、問題利用回数計算手段と、出題率調整手段とを有する問題利用回数均一化装置としてのコンピュータに、アダプティブ試験において予め決めた全出題数で問題が利用される回数を均一化する機能を実現させるための問題利用回数均一化プログラムであって、
前記アダプティブ試験実施手段が、前記問題格納手段に格納された問題毎に設定された出題率に基づいて、出題する問題を選択する機能、
前記問題利用回数計算手段が、前記選択された問題に対して、前記問題格納手段に格納された問題毎の問題利用回数を計算する機能、
前記出題率調整手段が、各問題の
前記問題利用回数＋出題率×前記予め決めた全出題数
の分散が最小となるような出題率を、出題率を０以上１以下の間とする制約条件のもとで、最適化問題を解くことで出題率を求め、前記問題格納手段に格納された出題率を前記求めた出題率に更新する機能
を実現させるための問題利用回数均一化プログラム。
【請求項４】
請求項３に記載の問題利用回数均一化プログラムを格納した記憶媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、アダプティブ試験における問題利用回数均一化方法及び装置及び問題利用回数均一化プログラム及び問題利用回数均一化プログラムを格納した記憶媒体に係り、特に、ＷＢＴ（Web Based Testing)やＣＢＴ(Computer BAsed Testing)といった分野においてアダプティブ試験を行う際に問題利用回数を均一化するためのアダプティブ試験における問題利用回数均一化方法及び装置及び問題利用回数均一化プログラム及び問題利用回数均一化プログラムを格納した記憶媒体に関する。
【０００２】
【従来の技術】
アダプティブ試験とは、受験者の問題に対する正誤により、受験者の能力値を推定し、その能力値に見合った問題を逐次選択する試験手法である。受験者が正解した場合、その受験者は能力値が少し高めに修正され、次の問題として若干難しい問題が出題される。逆に不正解であった受験者に対しては、簡単な問題が出題される。
【０００３】
問題の困難度（難易度）は、項目応答理論を元に−３．０〜＋３．０程度の数値により表される。この困難度は、問題の格納手段に予め記述されている。また、困難度と同様に、受験者の能力値も−３．０〜＋３．０程度の数値により表される。いずれについても値が大きいほど困難度、能力値が高いということを表す。
【０００４】
アダプティブ試験においては、前述のように、困難度が問題選択の基準となる。つまり、受験者能力とほぼ一致する困難度の問題を選択し、出題するというのがアダプティブ試験の流れになる。
【０００５】
【発明が解決しようとする課題】
しかしながら、上記従来のアダプティブ試験においては、前節のような流れで試験が進行するため、受験者毎に異なる問題が出題されることになる。それが原因となり、問題格納手段の各問題の利用回数に差が発生する。これは、次のような弊害をもたらす。
【０００６】
・頻出問題は、問題の漏洩、情報交換、実質的困難度の低下につながる。
【０００７】
・稀出問題は、問題格納手段の容量の消費、維持コストの増加等につながる。本発明は、上記の点に鑑みなされたもので、問題格納手段の問題利用回数のばらつきを抑止することが可能なアダプティブ試験における問題利用回数均一化方法及び装置及び問題利用回数均一化プログラム及び問題利用回数均一化プログラムを格納した記憶媒体を提供することを目的とする。
【０００８】
【課題を解決するための手段】
図１は、本発明の原理を説明するための図である。
【０００９】
本発明は、問題、問題毎に設定された出題率及び問題毎の問題利用回数を格納する問題格納手段と、アダプティブ試験実施手段と、問題利用回数計算手段と、出題率調整手段とを有する問題利用回数均一化装置において、予め決めた全出題数で問題が利用される回数を均一化するためのアダプティブ試験における問題利用回数均一化方法であって、
前記アダプティブ試験実施手段が、前記問題格納手段に格納された問題毎に設定された出題率に基づいて、出題する問題を選択し（ステップ１）（ステップ２）、
前記問題利用回数計算手段が、前記選択された問題に対して、前記問題格納手段に格納された問題毎の問題利用回数を計算し（ステップ３）、
前記出題率調整手段が、各問題の
前記問題利用回数＋出題率×前記予め決めた全出題数
の分散が最小となるような出題率を、出題率を０以上１以下の間とする制約条件のもとで、最適化問題を解くことで出題率を求め、前記問題格納手段に格納された出題率を前記求めた出題率に更新する（ステップ４）ことを特徴とする。
図２は、本発明の原理構成図である。
【００１０】
本発明は、予め決めた全出題数で問題が利用される回数を均一化するためのアダプティブ試験における問題利用回数均一化装置であって、
問題、問題毎に設定された出題率及び問題毎の問題利用回数を格納する問題格納手段１０と、
前記問題格納手段に格納された問題毎に設定された出題率に基づいて、出題する問題を選択する出題率判定手段２１及び問題利用情報出力手段２２と、
前記選択された問題に対して、前記問題格納手段に格納された問題毎の問題利用回数を計算する問題利用回数計算手段３０と、
各問題の
前記問題利用回数＋出題率×前記予め決めた全出題数
の分散が最小となるような出題率を、出題率を０以上１以下の間とする制約条件のもとで、最適化問題を解くことで出題率を求め、前記問題格納手段に格納された出題率を前記求めた出題率に更新する出題率調整手段４０とを有することを特徴とする。
【００１１】
本発明は、問題、問題毎に設定された出題率及び問題毎の問題利用回数を格納する問題格納手段と、アダプティブ試験実施手段と、問題利用回数計算手段と、出題率調整手段とを有する問題利用回数均一化装置としてのコンピュータに、アダプティブ試験において予め決めた全出題数で問題が利用される回数を均一化する機能を実現させるための問題利用回数均一化プログラムであって、
前記アダプティブ試験実施手段が、前記問題格納手段に格納された問題毎に設定された出題率に基づいて、出題する問題を選択する機能、
前記問題利用回数計算手段が、前記選択された問題に対して、前記問題格納手段に格納された問題毎の問題利用回数を計算する機能、
前記出題率調整手段が、各問題の
前記問題利用回数＋出題率×前記予め決めた全出題数
の分散が最小となるような出題率を、出題率を０以上１以下の間とする制約条件のもとで、最適化問題を解くことで出題率を求め、前記問題格納手段に格納された出題率を前記求めた出題率に更新する機能
を実現させるための問題利用回数均一化プログラムを提供する。
【００１２】
本発明は、前記の問題利用回数均一化プログラムを格納した記憶媒体を提供する。
【００１３】
上記のように、本発明では、問題格納手段の出題率パラメータの数値を利用し、アダプティブ試験実施機能に追加した出題率判定手段により、問題の利用回数を調整する。
【００１４】
また、出題率調整手段により、頻出問題の出題率を低くし、稀出問題の出題率を高くするといった処理を行う。
【００１５】
このような処理により、問題格納手段内の問題の利用回数を均一化することが可能となる。
【００１６】
【発明の実施の形態】
図３は、本発明の一実施の形態における装置構成を示す。
【００１７】
同図に示す問題利用回数均一化装置は、問題格納部１０、アダプティブ試験実施部２０、問題利用回数計算部３０、出題率調整部４０から構成される。
【００１８】
問題格納部１０は、問題、問題番号、問題名、困難度、及び、問題１問毎に設定される０〜１の範囲の値である出題率パラメータを格納する。出題率は、値が大きい程過去の出題回数は低く、これらを優先して出題してほしいことを示す。よって、問題選択時はなるべく出題率が大きい問題が選択される。当該出題率パラメータは、問題の利用される確率を制御するために用いられる。
【００１９】
アダプティブ試験実施部２０は、出題率判定部２１及び問題利用情報出力部２２から構成される。
【００２０】
出題率判定部２１は、問題格納部１０の出題率パラメータに基づいて、問題の利用回数を調整する。例としては、乱数判定などにより、出題率の高い問題を頻繁に利用する、または、出題率の低い問題を利用対象から除外するといった処理を行う。
【００２１】
問題利用情報出力部２２は、問題格納部１０に含まれる問題が利用されたことを記憶媒体等の何らかの媒体に出力する。例としては、問題が利用された際にその問題を識別するための情報（例：問題番号、問題名）を記入したログを出力する。
【００２２】
問題利用回数計算部３０は、問題利用情報出力部３３により出力された情報に基づいて、各問題の利用回数を計算する。例として、ログに記入された問題番号を元に、問題格納部１０の各問題の利用回数を計算する、または、出力されたログの個数を元に、問題格納部１０の各問題の利用回数を計算する。
【００２３】
出題率調整部４０は、問題利用回数計算部３０により計算された値を元に出題率を適切な値に調整する。例としては、利用回数が多い問題の出題率を下げ、利用回数の少ない問題の出題率を上げるといった処理が考えられる。このための計算手法としては様々なものが考えられる。詳細については後述する。
【００２４】
次に、上記の構成における動作を説明する。
【００２５】
図４は、本発明の一実施の形態における動作のフローチャートである。
【００２６】
ステップ１０１）  出題率判定部２１において、問題格納部１０の出題率パラメータを利用して利用する問題を選択する。
【００２７】
ステップ１０２）  アダプティブ試験実施部２０は、出題率判定部２１により選択された問題を受験者に出題する。
【００２８】
ステップ１０３）  アダプティブ試験実施部２０は、利用された問題についての情報を問題利用情報出力部３０に渡す。
【００２９】
ステップ１０４）  アダプティブ試験実施部２０は、受験者に出題された問題についての情報を、問題利用情報出力部２２により、問題利用情報５０として記録する。
【００３０】
ステップ１０５）  問題利用回数計算部３０は、問題利用情報５０を利用して、各問題の利用回数を計算する。
【００３１】
ステップ１０６）  出題率調整部４０は、問題利用回数計算部３０により計算された問題の利用回数を利用し、最適な出題率を計算する。
【００３２】
ステップ１０７）  出題率調整部４０は、問題格納部１０の出題率を計算された最適な出題率に更新する。
【００３３】
【実施例】
以下、図面と共に本発明の実施例を説明する。
【００３４】
以下の実施例において用いられている計算方法等は、その一例であり、その他にも様々な手法が考えられる。
【００３５】
以下の実施例における処理手順は大きく分けて、
・試験実施；
・利用回数計算；
・出題率調整；
の３点に分けて記述する。
【００３６】
なお、以下の実施例では、問題格納部１０には予め必要なパラメータ（問題番号、問題名、困難度、出題率）等が設定されているものとする。
【００３７】
［第１の実施例］
最初に、アダプティブ試験実施部２０における試験実施について説明する。
【００３８】
▲１▼  アダプティブ試験実施部２０の出題率判定部２１により、０〜１の一様乱数を発生させる。この乱数の値をＸとする。
【００３９】
▲２▼  アダプティブ試験実施部２０の出題率判定部２１により、出題率が乱数Ｘを上回る問題だけを問題格納部１０から抜き出し、問題格納部１０の部分集合を作成する。
【００４０】
▲３▼  問題選択時、アダプティブ試験実施部２０は、出題率判定部２１により作成された問題格納部１０の部分集合の中から受験者の能力値に見合う困難度の問題を選択する。
【００４１】
▲４▼  アダプティブ試験実施部２０は、問題利用出力部２２により、利用された問題の問題名をログなどの記録媒体に記録する。
【００４２】
▲５▼  上記の▲１▼〜▲４▼をアダプティブ試験における出題毎に繰り返す。
【００４３】
次に、問題利用回数計算部３０における利用回数計算について説明する。
【００４４】
アダプティブ試験実施部２０の問題利用情報出力部２２により記録されたログに記入される問題名を利用し、問題利用回数計算部３０により問題格納部１０に含まれる各問題の利用回数を計算する。
【００４５】
問題利用回数計算部３０により、各問題の利用回数は、それぞれ０回、１０回、５０回、１００回と計算される。その例を以下の表に示す。
【００４６】
【表１】
0003812458.tif 000002
次に、出題率調整部４０における出題率の調整について説明する。
【００４７】
この問題格納部１０に対し、出題率調整部４０により以下の処理を行う。
【００４８】
▲１▼  利用回数の平均値を求める。上述の場合、
（０＋１０＋５０＋１００）／４＝４０
となる。
【００４９】
▲２▼  平均利用回数からの差を、各問題について計算すると次のようになる。
【００５０】
【表２】
0003812458.tif 000003
▲３▼  平均からの差が正である問題３、４については、「利用回数が高すぎる」と判定し、出題率に『０』を設定する。前述の試験実施手法を用いる場合、再度出題率を更新するまでは、この問題は一切出題されないことになる。
【００５１】
▲４▼  平均からの差が負の問題１、２について、差の合計の絶対値を求める。この場合、絶対値（−４０＋−３０）＝７０となる。この値をＡとする。
【００５２】
▲５▼  １／Ａを計算する。この場合、０．０１４となる。この値をＢとする。
【００５３】
▲６▼  差が負である問題１、２について、Ｂ×利用回数絶対値を計算し、それを出題率とする。すると、次のような出題率になる。つまり、出現回数が最も少なかった「問題１」の出題率が最も高くなり、「問題２」の出題率がそれに続く。また、平均以上出題されている問題の出題率が『０』になる。
【００５４】
【表３】
0003812458.tif 000004
こうした計算を一定期間（例えば、１日毎）に行うことで、頻出問題の出題率が低く、稀出問題の出題率が高くなるように修正される。そのため問題利用回数が均一化される。
【００５５】
［第２の実施例］
最初に、アダプティブ試験実施部２０における試験実施について説明する。
【００５６】
▲１▼  試験開始時、アダプティブ試験実施部２０の出題率判定部２１により、０〜１の一様乱数を発生させ、この値をＸとする。
【００５７】
▲２▼  出題率判定部２１により、出題率がＸ以上である問題のみを問題格納部１０から抜き出し、問題格納部１０の部分集合を作成する。
【００５８】
▲３▼  問題格納部１０の部分集合を用いて、アダプティブ試験を実施する。問題利用情報出力部２２により、利用された問題の問題番号をログなどに記録する。ここで、第１の実施例との違いは、問題選択毎に出題判定のための乱数を発生さ、毎回問題格納部１０の部分集合を作成するのではなく、試験開始時に１回だけ部分集合を作成するという点である。こちらについても前述の第１の実施例と同様に、出題率の高い問題は出題される機会が増えることになる。
【００５９】
次に、問題利用回数計算部３０におけり利用回数計算について説明する。
【００６０】
試験実施の際、アダプティブ試験実施部２０の問題利用情報出力部２２により記録されたログを元に、問題利用回数計算部３０により問題格納部１０に含まれる各問題の利用回数を計算する。
【００６１】
次に、出題率調整部４０における出題率調整について説明する。
【００６２】
問題の利用頻度にばらつきが生じている状況例として、第１の実施例と同様の状態を考える。
【００６３】
【表４】
0003812458.tif 000005
出題率調整部４０により以下の処理を行う。
【００６４】
▲１▼  問題利用回数の合計を求める。本実施例の場合、
０＋１０＋５０＋１００＝１６０
となる。
【００６５】
▲２▼  出題率の最高値である１．０を・で求めた合計値で割る。本実施例の場合、
１．０÷１６０＝０．００６２５
となる。これを本実施例では按分率と呼ぶ。
【００６６】
▲３▼  最も利用回数の少なかった問題（本実施例では、『問題１』）の出題率として、最も利用回数の多かった問題（本実施例では、『問題４』）の利用回数×按分率を設定する。本実施例の場合、
０．００６２５×１００＝０．６２６
となる。
【００６７】
▲４▼  ２番目に利用回数の少なかった問題（本実施例では、『問題２』）の出題率としては、２番目に利用回数が多かった問題（本実施例では、『問題３』）の“利用回数×按分率”を設定する。本実施例の場合、▲３▼と同様に計算すると、
０．００６２５×５０＝０．３１２５
となる。
【００６８】
▲５▼  以降の問題についても同様に計算を行う。結果は次のようになる。
【００６９】
【表５】
0003812458.tif 000006
［第３の実施例］
最初に、アダプティブ試験実施部２０における試験実施について説明する。
【００７０】
▲１▼  アダプティブ試験実施部２０の出題率判定部２１により、出題率が０．５（なんらかの数値に固定）以上である問題のみを問題格納部１０から抜き出し、問題格納部１０の部分集合を作成する。この０．５という数値はどのような値でもよいが、本実施例ではこの値を用いる。この値を出題率閾値と呼ぶ。
【００７１】
▲２▼  問題格納部１０の部分集合を用いてアダプティブ試験を実施する。問題利用情報出力部２２により、利用された問題の問題番号をログに記録する。
【００７２】
▲３▼  以下に示す利用回数計算及び出題率調整の処理を試験終了時に実行させ、この試験の結果を問題格納部１０の出題率パラメータにリアルタイムに反映する。
【００７３】
第２の実施例との違いは、問題格納部１０の部分集合形成時の出題率閾値（０．５）は一定であるが、試験終了後すぐに試験結果を反映し、出題率を更新する点である。同じ出題率閾値を用いていても、試験結果がすぐに反映されるため、次回以降の試験では異なる問題による問題格納部１０の部分集合が形成されると考えられる。
【００７４】
次に、利用回数計算について説明する。
【００７５】
試験実施の際、アダプティブ試験実施部２０の問題利用情報出力部２２により記録されたログを元に、問題格納部１０に含まれる各問題の利用回数を計算する。
【００７６】
次に、出題率の調整について説明する。
【００７７】
問題の利用頻度にばらつきが生じている状況例として、第１の実施例と同じ状態を考える。
【００７８】
【表６】
0003812458.tif 000007
出題率調整部４０により以下の処理を行う。
【００７９】
▲１▼  出題率を更新する目的は、以降実施される何回かの試験により問題の利用回数を均一化することである。そこで、何回目の試験で均一化させるかの目標となる試験回数（目標回数と呼ぶ）を設定する。本実施例では、“１００”を設定する。
【００８０】
▲２▼  次のような最適化問題を解く。
【００８１】
目的関数：  −分散（ｉ問目の利用回数＋ｉ問目の出題率×１００）（ｉ＝１〜４）；
制約条件：  ０≦ｉ問目の出題率（ｉ＝１〜４）≦１．０；
変数：  ｉ問目の出題率（ｉ＝１〜４）；
まず、最適化問題とは何かについて説明する。
【００８２】
最適化問題とは、制約条件のもと、目的関数を最大化するような変数を求めるものである。例として次のような最適化問題を考える。
【００８３】
目的関数：  ｆ（ｘ）＝−ｘ2
制約条件：  −１≦ｘ≦１
変数：  ｘ
この問題は、『−１以上１以下のｘの中で、目的関数ｆ（ｘ）＝−ｘ2 を最大にする変数ｘの値を求めよ』という意味になる。この場合、明らかにｘ＝０が解である。このような最適化問題の目的関数を最大化するような変数を「最適解」と呼ぶ。
【００８４】
本実施例の場合、最適化問題の目的は、上記の▲１▼で設定した目標回数の試験実施後の、各問題の利用回数の均一化であり、変数は「ｉ問目の出題率」である。出題率をどのような値にすれば、▲１▼で設定した目標回数の試験後に、『利用回数が均一化するか』、を求めたいわけである。
【００８５】
そでは、次に、目的関数について説明する。目的関数ｆの括弧の中身は、
ｉ問目の利用回数＋ｉ問目の出題率×１００
となっている。式中の“１００”という値は、▲１▼で示した目標回数である。つまり、目的関数ｆの括弧の中身は、
現在の利用回数に、出題率×目標回数を足したもの
となり、これは、１００試験後に予測される各問題の利用回数を表す。
【００８６】
目的関数は、４つの問題について、『１００試験後に予測される各問題の利用回数の分散を求める』というものである。分散が大きいということは、４つの問題の利用回数が平均から大きくばらついていることを表す。この分散（ばらつき）を最小化するような出題率を各問題について求めればよいわけである。
【００８７】
しかし、最適化問題は、目的関数を最大化するような形になっている必要がある。そのため、“−”を付けて負の値の変換しているわけである（ｘ2 を最小化するという問題は、−ｘ2 を最大化するという最適化問題と同義であることを考えればよい）。
【００８８】
なお、最適化問題を解くための手法としては、
・線形計画法
・遺伝的アルゴリズム
などといった手法があるが、いずれの手法を用いてもよい。
【００８９】
なお、上記の実施例では、試験実施方法及び出題率調整における計算手順は他にも様々なものが考えられる。
【００９０】
また、第１の実施例の試験実施手法と、第２の実施例の出題率調整手法を組み合わせて他の実施例も考えられる。
【００９１】
なお、上記の図３に示す問題利用回数均一化装置の構成をプログラムとして構築し、問題利用回数均一化装置として利用されるコンピュータにインストールする、または、ネットワークを介して流通されることも可能である。
【００９２】
また、構築されたプログラムを問題利用回数均一化装置として利用されるコンピュータに接続されるハードディスク装置や、フレキシブルディスク、ＣＤ−ＲＯＭ等の可搬記憶媒体に格納しておき、本発明を実施する際にインストールすることにより、容易に本発明を実現できる。
【００９３】
なお、本発明は、上記の実施例に限定されることなく、特許請求の範囲内において、種々変更・応用が可能である。
【００９４】
【発明の効果】
上述のように、本発明によれば、問題格納部内の問題の利用回数を均一化することが可能となり、頻出問題や稀出問題といった問題利用回数のばらつきを抑止することができる。
【図面の簡単な説明】
【図１】本発明の原理を説明するための図である。
【図２】本発明の原理構成図である。
【図３】本発明の一実施の形態における装置構成図である。
【図４】本発明の一実施の形態における処理のフローチャートである。
【符号の説明】
１０  問題格納手段、問題格納部
２０  アダプティブ試験実施部
２１  出題率判定手段、出題率判定部
２２  問題利用情報出力手段、問題利用情報出力部
３０  問題利用回数計算手段、問題利用回数計算部
４０  出題率調整手段、出題率調整部
５０  問題利用情報
【図１】
0003812458.tif 000008
【図２】
0003812458.tif 000009
【図３】
0003812458.tif 000010
【図４】
0003812458.tif 000011