(57)【要約】【課題】テスト受験者の能力に応じて最適なテスト項目を予め選択できるテスト項目選択方法、システム、プログラムおよびその記憶媒体を提供する。【解決手段】多数のテスト項目を記憶するテスト項目サーバ１と、テスト項目サーバ１から複数のテスト項目を選択するテスト項目選択部２とを含み、テスト項目選択部２が、各受験者ｊの能力パラメータ(θj)を設定する能力設定部２１と、テスト項目サーバ１に記憶されている各テスト項目(i)について、その項目パラメータおよび能力パラメータ(θj)とに基づいて、正答確率Pi(θj)を受験者(j)ごとに求める正答確率計算部２２と、正答確率Pi(θj)に基づいて各テスト項目(i)のテスト情報量Ii(θj)を受験者(j)ごとに求め、これをテスト項目(i)別に積算するテスト情報量積算部２３と、テスト情報量の積算値が上位のテスト項目を抽出するテスト項目抽出部２４とを含む。【選択図】図２
2007003883.tif 000002
【特許請求の範囲】
【請求項１】
受験者の能力に応じたテスト項目を多数のテスト項目の中から選択するテスト項目選択システムにおいて、
多数のテスト項目を、各テスト項目の難しさを代表する困難度パラメータを含む少なくとも一つの項目パラメータと関連づけて記憶するテスト項目記憶手段と、
前記テスト項目記憶手段から複数のテスト項目を選択するテスト項目選択手段と、
前記選択されたテスト項目を記憶する選択済テスト項目記憶手段とを含み、
前記テスト項目選択手段が、
各受験者の能力を示す能力パラメータ(θj)を設定する能力設定手段と、
前記テスト項目記憶手段に記憶されている各テスト項目(i)について、その困難度パラメータ(αi)を含む少なくとも一つの項目パラメータおよび各受験者の能力パラメータ(θj)に基づいて、正答確率Pi(θj)を受験者(j)ごとに求める正答確率計算手段と、
前記正答確率Pi(θj)に基づいて各テスト項目(i)のテスト情報量Ii(θj)を受験者(j)ごとに求め、これをテスト項目(i)別に積算するテスト情報量積算手段と、
前記テスト情報量の積算値が上位のテスト項目を前記テスト項目記憶手段から抽出するテスト項目抽出手段とを含むことを特徴とするテスト項目選択システム。
【請求項２】
前記正答確率計算手段は、各テスト項目(i)の正答確率Pi(θj)を、能力パラメータ(θj)が所定の範囲内に属する受験者(j)に関して求め、
前記テスト情報量積算部は、各テスト項目(i)のテスト情報量Ii(θj)を、前記能力パラメータ(θj)が所定の範囲に属する受験者(j)に関して求めることを特徴とする請求項１に記載のテスト項目選択システム。
【請求項３】
前記能力設定手段は、各受験者の能力パラメータ(θj)が正規分布に従って分布していると仮定して能力パラメータ(θj)を利用することを特徴とする請求項１または２に記載のテスト項目選択システム。
【請求項４】
受験者の能力に応じたテスト項目を多数のテスト項目の中から選択するテスト項目選択方法において、各テスト項目(i)に、その困難度パラメータ(αi)を含む少なくとも一つの項目パラメータが設定されており、
各受験者の能力を示す能力パラメータ(θj)を設定する手順と、
各テスト項目(i)について、その困難度パラメータ(αi)を含む少なくとも一つの項目パラメータおよび各受験者の能力パラメータ(θj)に基づいて、正答確率Pi(θj)を受験者(j)ごとに計算する手順と、
前記正答確率Pi(θj)に基づいて、各テスト項目(i)のテスト情報量Ii(θj)を受験者(j)ごとに計算する手順と、
前記テスト情報量Ii(θj)をテスト項目(i)別に積算する手順と、
前記テスト情報量の積算値が上位のテスト項目を選択する手順とを含むことを含むことを特徴とするテスト項目選択方法。
【請求項５】
前記正答確率を計算する手順では、各テスト項目(i)の正答確率Pi(θj)を、能力パラメータ(θj)が所定の範囲に属する受験者(j)に関して求め、
前記テスト情報量を計算する手順では、各テスト項目(i)のテスト情報量Ii(θj)を、前記能力パラメータ(θj)が所定の範囲に属する受験者(j)に関して求めることを特徴とする請求項４に記載のテスト項目選択方法。
【請求項６】
前記各受験者の能力パラメータ(θj)が正規分布に従って分布していると仮定して能力パラメータ(θj)が利用されることを特徴とする請求項４または５に記載のテスト項目選択方法。
【請求項７】
請求項４ないし６のいずれかに記載のテスト項目選択方法をコンピュータに実行させるためのテスト項目選択プログラム。
【請求項８】
請求項７に記載のテスト項目選択プログラムをコンピュータによる読み出し可能に記憶したテスト項目選択プログラムの記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、多数のテスト項目の中から識別性に優れたテスト項目を選択するテスト項目選択方法およびシステム、ならびにテスト項目選択プログラムおよびその記憶媒体に係り、特に、テスト受験者の能力に応じて、その能力識別に最適なテスト項目を予め選択できるテスト項目選択方法およびシステム、ならびにテスト項目選択プログラムおよびその記憶媒体に関する。
【背景技術】
【０００２】
受験者の能力をテストの正答数に基づく得点で推定する古典的テスト理論では、テスト項目が易しければ得点は高く、テスト項目が難しければ得点は低くなるので、異なった項目困難度のテストを受験している受験者同士の能力を正しく比較できない。また、受験者の能力が高ければ得点は高く、受験者の能力が低ければ得点は低くなるので、異なった受験者同士の能力を正しく比較できない。
【０００３】
このような技術課題に対して、受験者の能力やテスト項目の難易度などの特性を回答結果から自動的に評価するIRT（Item Response Theory）が提案されている。また、特許文献１には、このIRTとコンピュータとを組み合わせ、IRT分析によるパラメータを有したデータベースから受験者の応答パターンを逐次計算しながら、受験者の能力推定値にもっとも近いレベルの他のテスト項目を提示するCAT（コンピュータ適応型テストシステム）が開示されている。
【特許文献１】特開２００４−４６２５５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記した従来技術ではテストの最中に受験者のテスト項目への応答を常に監視し、監視結果に応じて次のテスト項目が選択されるので、受験者とデータベースとが常に通信を行う必要がある。したがって、受験者とデータベースとの間でのトラヒック量が増大してしまうという技術課題があった。
【０００５】
本発明の目的は、上記した従来技術の課題を解決し、受験者とデータベースとの間のトラヒック量を低く抑えながら、受験者の能力に応じて、その識別力の高いテスト項目を自動的に選択できるテスト項目選択方法およびシステム、ならびにテスト項目選択プログラムおよびその記憶媒体を提供することにある。
【課題を解決するための手段】
【０００６】
上記した目的を達成するために、本発明は、受験者の能力に応じたテスト項目を多数のテスト項目の中から選択するテスト項目選択システムにおいて、以下のような手段を講じた点に特徴がある。
【０００７】
(1)多数のテスト項目を困難度パラメータを含む少なくとも一つの項目パラメータと関連づけて記憶するテスト項目記憶手段と、前記テスト項目記憶手段から複数のテスト項目を選択するテスト項目選択手段と、前記選択されたテスト項目を記憶する選択済テスト項目記憶手段とを含み、前記テスト項目選択手段が、各受験者の能力パラメータ(θj)を設定する能力設定手段と、前記テスト項目記憶手段に記憶されている各テスト項目(i)について、その項目パラメータおよび各受験者の能力パラメータ(θj)に基づいて正答確率Pi(θj)を受験者(j)ごとに求める正答確率計算手段と、前記正答確率Pi(θj)に基づいて各テスト項目(i)のテスト情報量Ii(θj)を受験者(j)ごとに求め、これをテスト項目(i)別に積算するテスト情報量積算手段と、前記テスト情報量の積算値が上位のテスト項目をテスト項目記憶手段から抽出するテスト項目抽出手段とを含むことを特徴とする。
【０００８】
(2)前記正答確率計算手段は、各テスト項目(i)の正答確率Pi(θj)を、能力パラメータ(θj)が所定の範囲内に属する受験者(j)に関して求め、前記テスト情報量積算部は、各テスト項目(i)のテスト情報量Ii(θj)を、前記能力パラメータ(θj)が所定の範囲に属する受験者(j)に関して求めることを特徴とする。
【０００９】
(3)前記能力設定手段は、各受験者の能力パラメータ(θj)が正規分布に従って分布していると仮定して能力パラメータ(θj)を利用することを特徴とする。
【発明の効果】
【００１０】
本発明によれば、以下のような効果が達成される。
(1)受験者の能力に応じたテスト項目を予め選択しておくことができるので、受験者側の端末と出題者側のサーバとの間でのトラヒック量を大幅に減じることができるようになる。
(2)受験者の能力を予め絞り込み、この範囲の受験者に対して識別性の高いテスト項目を予め選択できるので、精度の高い識別が可能になる。
(3)受験者数が多く、その能力θの分布が正規分布を示すようであれば、受験者の能力θが正規分布することを利用してテスト情報量等を算出できるので、全ての受験者の能力を予め予測・設定しておく必要が無くなる。
【発明を実施するための最良の形態】
【００１１】
以下、図面を参照して本発明の最良の実施の形態について詳細に説明する。図１は、本発明の一実施形態に係るテスト項目選択システムのブロック図であり、多数のテスト項目が予め記憶されているテスト項目サーバ１と、このテスト項目サーバ１から受験者の能力推定値（以下、単に能力と表現する）に応じた所望数のテスト項目を選択するテスト項目選択部２と、前記選択されたテスト項目が蓄積される選択済テスト項目サーバ３と、この選択済テスト項目サーバ３に蓄積されているテスト項目をユーザ端末５へ無線で送信するテスト項目配信部４とを主要な構成としている。
【００１２】
図２は、前記テスト項目選択部２の機能ブロック図であり、受験者能力設定部２１では、各受験者ｊの能力を示す能力パラメータ(θj)が設定される。正答確率計算部２２では、テスト項目サーバ１に記憶されている各テスト項目(i)について、その困難度パラメータ(αi)を含む少なくとも一つの項目パラメータと各受験者の能力パラメータ(θj)とに基づいて、正答確率Pi(θj)が受験者(j)ごとに求められる。
【００１３】
前記テスト項目ｉへの正答の可能性は能力パラメータθが高まるにつれて上昇するので、本実施形態では正答確率Pi(θj)を能力パラメータ(θj)の単純増加関数と考え、次式(1)のロジスティックモデルで代表している。このモデルの他に、(1)式でαiを固定的に「１」とみなしてβiだけをパラメータとする１−パラメータモデルや、パラメータを更に増やした３−パラメータモデルなども知られている。
【００１４】
【数１】
2007003883.tif 000003
【００１５】
なお、パラメータαは(1)式の立ち上がりの程度を示すパラメータであり、テスト項目の識別力の指標となる。αの値が大きいほど曲線の傾きが大きくなり、狭い範囲でθ＝βを挟む前後の受験者の正答率が異なるので、その付近での能力識別性が高いと考えられるからである。パラメータβは(1)式の位置決めに関するパラメータであり、テスト項目の困難度の指標となる。βの値が高いほど能力の高い受験者でなければ正答確率が高まらないからである。本実施形態では、各テスト項目ｉの項目パラメータαi，βiが、テスト項目サーバ１上で各テスト項目iと予め対応付けて記憶されている。
【００１６】
テスト情報量積算部２３では、次式(2)にしたがって、テスト情報量Ii(θj)が各テスト項目(i)の受験者(j)ごとに前記正答確率Pi(θj)に基づいて求められ、さらに次式(3)に基づいてテスト項目(i)別に積算される。
【００１７】
ここで、テスト情報量Ii(θj)とは、能力θの受験者ｊがテスト項目iを受けたときの情報量の関数を表し、その情報量が最大となる能力θは、当該能力θの受験者ｊが前記テスト項目ｉを受けたときに最も識別力を発揮できることを意味している。そして、各受験者ｊのテスト情報量Ii(θj)をテスト項目(i)別に加算して得られる積算値ΣIi(θj)は、各テスト項目が受験者をどの程度正確に識別できるかを評価する指標となる。
【００１８】
【数２】
2007003883.tif 000004
【００１９】
【数３】
2007003883.tif 000005
【００２０】
テスト項目抽出部２４では、前記テスト情報量Ii(θ)の積算値が大きい順に所望数のテスト項目ｉが前記テスト項目サーバ１から抽出され前記選択済テスト項目サーバ３に蓄積される。
【００２１】
次いで、テスト項目選択部２で実行されるテスト項目選択プログラムの第１実施形態の動作を、図３のフローチャートに沿って詳細に説明する。なお、本実施形態では前記テスト項目選択部２がコンピュータで実現され、テスト項目選択プログラムは、コンピュータで読取可能なCR-ROM等の記憶媒体に記録されて前記テスト項目選択部２により読み取られる。
【００２２】
ステップＳ１では所定のイニシャル処理が実行される。このイニシャル処理には、各テスト項目を識別する変数ｉ、および各受験者を識別する変数jに初期値「１」をセットする処理が含まれる。ステップＳ２では、各受験者ｊの能力パラメータθjが設定される。本実施形態では、各受験者ｊが過去に受験した同様の試験の結果や経歴等に基づいて能力θjが設定され、予め受験者能力設定部２１に記憶されている。したがって、当該ステップＳ２では受験者ｊに対応した能力パラメータθjが、正答確率計算部２２によって受験者能力設定部２１から読み出される。
【００２３】
ステップＳ３では、テスト項目サーバ１に記憶されているi番目のテスト項目に関して、その識別性パラメータαiおよび困難性パラメータβi、ならびに各受験者ｊの能力パラメータθjが前記(1)式のロジスティックモデルに代入され、各テスト項目(i)の正答確率Pi(θj)が受験者(j)ごとに計算される。
【００２４】
ステップＳ４では、前記ステップＳ３で求められた正答確率Pi(θj)を前記(2)式に代入して、テスト情報量Ii(θj)が各テスト項目(i)の受験者(j)ごとに求められる。ステップＳ５では、前記(3)式に基づいて各テスト情報量Ii(θj)がテスト項目(i)別に積算されて積算値ΣIi(θj)が計算され、その最大値に対応したテスト項目i_maxが前記テスト項目サーバ１から抽出される。
【００２５】
ステップＳ６では、必要な数のテスト項目を抽出できたか否かが判定される。テスト項目の抽出数が不足していればステップＳ８へ進み、前記テスト項目i_maxを次回以降の選択対象から除外した後にステップＳ５へ戻り、上記した各処理が繰り返される。
【００２６】
その後、前記ステップＳ６において、必要な数のテスト項目を抽出し終えるとステップＳ７へ進み、前記ステップＳ５で選択された全てのテスト項目が選択済テスト項目サーバ３に蓄積される。
【００２７】
本実施形態によれば、各受験者の能力に応じて、その識別に有効なテスト項目を多数のテスト項目の中から予め選択できるので、受験者側の端末と出題者側のサーバとの間でのトラヒック量を低く抑えながら、従来に較べて少ないテスト項目数で同等の識別性を得たり、あるいは従来と同じテスト項目数で、より高い識別性を得られるようになる。
【００２８】
なお、上記した第１実施形態では、各受験者の能力θが予め個々に設定されており、全ての受験者に関して、その能力に応じて全てのテスト項目に関するテスト情報量の積算値を求め、その中から上位のテスト項目を抽出するものとして説明したが、本発明はこれのみに限定されるものではなく、受験者数が多く、その能力θの分布が正規分布を示すようであれば、次式(4)に基づいてテスト情報量の積算値を求めても良い。このようにすれば、全ての受験者の能力を予め予測・設定しておく必要が無くなる。
【００２９】
【数４】
2007003883.tif 000006
【００３０】
図４は、本発明の第２実施形態の動作を示したフローチャートであり、前記と同一の符号を付したステップでは同一または同等の処理が実行される。
【００３１】
上記した第１実施形態では、全てのテスト項目に関して受験者群Ｊの全ての受験者ｊに関してテスト情報量Ii(θj)の積算値ΣΣIi(θj)を求め、その中で上位のテスト項目を抽出するものとして説明したが、本実施形態では、受験者の能力範囲を予め限定することにより、より少ないテスト項目数で第１実施形態と同等の識別性を得る、あるいは第１実施形態と同じテスト項目数で、より高い識別性を得られるようにした点に特徴がある。
【００３２】
本実施形態では、図５に一例を示したように、識別性を高くしたい能力範囲ΔＪsを限定し、当該能力範囲ΔＪsで高い識別性を示すテスト項目が選択されるようにした点に特徴がある。そのために、本実施形態ではステップＳ５において、テスト情報量の積算値を求める範囲を前記能力範囲ΔＪs内の受験者に限定している。これにより、ステップＳ５では能力範囲ΔＪs内の受験者に関する積算値ΣΣIi(θj)が求まるので、当該能力範囲ΔＪs内で高い識別性を備えたテスト項目のみを抽出できるようになる。
【００３３】
本実施形態によれば、所定の識別範囲で高い識別能力を有するテスト項目のみが抽出されるので、より少ないテスト項目数で第１実施形態と同等の識別性を得られるか、あるいは第１実施形態と同じテスト項目数で、より高い識別性を得られるようになる。
【００３４】
なお、この第２実施形態に関しても、受験者の能力分布が正規分布を示すようであれば、次式(5)に基づいて、積分範囲を前記能力範囲ΔＪsに限定してテスト情報量の積算値を求めても良い。
【００３５】
【数５】
2007003883.tif 000007
【図面の簡単な説明】
【００３６】
【図１】本発明の一実施形態に係るテスト項目選択システムのブロック図である。
【図２】テスト項目選択部の機能ブロック図である。
【図３】本発明の第１実施形態の動作を示したフローチャートである。
【図４】本発明の第２実施形態の動作を示したフローチャートである。
【図５】本発明の第２実施形態の動作を模式的に表現した図である。
【符号の説明】
【００３７】
１…テスト項目サーバ，２…テスト項目選択部，３…選択済テスト項目サーバ，４…テスト項目配信部，５…ユーザ端末
【図１】
2007003883.tif 000008
【図２】
2007003883.tif 000009
【図３】
2007003883.tif 000010
【図４】
2007003883.tif 000011
【図５】
2007003883.tif 000012