(57)【特許請求の範囲】
【請求項１】
テストされた被験者のテスト結果に基づいて、動的にテスト問題の難易度をコンピュータに判定させる難易度判定プログラムにおいて、該コンピュータに、
複数のテスト問題と複数の被験者とによるマトリクスによってテスト問題を解答している場合には正解又は不正解とを示すと共に記憶領域に格納されたテスト問題被験者テーブルを参照することによって、該複数のテスト問題から組み合わせた２つのテスト問題とも解答した被験者を対象として正解の度合いを集計する集計手順と、
前記集計手順による正解の度合いの集計結果に基づいて、上記２つのテスト問題の各々で集計した上記正解の度合いを比較する比較手順と、
上記比較手順による比較結果に基づいて、上記２つのテスト問題のうち正解の度合いが高い方のテスト問題を他方のテスト問題より容易とする順に上記テスト問題被験者テーブルにおける上記マトリクスの上記複数のテスト問題の順を並び替えて難易度順を決定する難易度順決定手順とを実行させる難易度判定プログラム。
【請求項２】
請求項１記載の難易度判定プログラムにおいて、上記コンピュータに、
上記２つのテスト問題を受けた被験者の数をカウントする被験者数カウント手順を実行させ、
上記比較手順は、上記被験者の数が所定数を満たさない場合には、上記テスト結果を比較しないようにした難易度判定プログラム。
【請求項３】
請求項１又は２記載の難易度判定プログラムにおいて、上記コンピュータに、
上記複数のテスト問題の全体に対する相対位置に難易度の段階を示すレベルを対応させたレベル分布テーブルを参照することによって、並べ替えられた難易度順での各テスト問題の相対位置に基づいて該レベルを決定するレベル決定手順を実行させるようにした難易度判定プログラム。
【請求項４】
請求項１又は２記載の難易度判定プログラムにおいて、上記コンピュータに、
難易度の段階を示すレベル毎にテスト問題の数をユーザーから取得する取得手順と、
上記難易度順決定手順にて決定されたテスト問題の難易度順に従って、上記レベル毎のテスト問題の数に基づいて、上記レベルを各テスト問題に割り当てるレベル割当手順とを実行させるようにした難易度判定プログラム。
【請求項５】
テストされた被験者のテスト結果に基づいて、動的にテスト問題の難易度を判定する難易度判定装置において、
複数のテスト問題と複数の被験者とによるマトリクスによってテスト問題を解答している場合には正解又は不正解とを示すと共に記憶領域に格納されたテスト問題被験者テーブルを参照することによって、該複数のテスト問題から組み合わせた２つのテスト問題とも解答した被験者を対象として正解の度合いを集計する集計手段と、
前記集計手段による正解の度合いの集計結果に基づいて、上記２つのテスト問題の各々で集計した上記正解の度合いを比較する比較手段と、
上記比較手段による比較結果に基づいて、上記２つのテスト問題のうち正解の度合いが高い方のテスト問題を他方のテスト問題より容易とする順に上記テスト問題被験者テーブルにおける上記マトリクスの上記複数のテスト問題の順を並び替えて難易度順を決定する難易度順決定手段とを有する難易度判定装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、被験者に対するテスト結果に基づいて、動的にテストの難易度を判定する難易度判定プログラムを提供するものである。
【０００２】
【従来の技術】
従来、受験者の能力を判定するために出題される問題は、通常、予め出題者が主観により、或いは、出題者の同僚との検討により、問題の難易度を決定している。又は、事前に受験者に対して試行テストを行なうことにより、難易度を決定していた。
【０００３】
【発明が解決しようとする課題】
しかしながら、上記従来における難易度の決定方法においては、以下に述べる問題点がある。
【０００４】
出題者による主観によって問題の難易度が決定された場合、客観性に欠け、受験者が実際に同じ問題に取り組んだ結果によって示される問題の難易度とにズレが生じてしまう。また、出題者とその同僚との検討結果によって問題の難易度を決定した場合、そもそも出題者とその同僚とは、受験者とはかけ離れたレベルにあるため、やはり、受験者に対する問題の難易度とにズレが生じてしまう。更に、事前に受験者と同程度と思われる対象者に試行テストを行なう場合、時間とコストがかかり、また、対象者の特性等の影響を受けた難易度判断となってしまう。
【０００５】
このような難易度判定のズレによって、能力が高い人であるにもかかわらず確実に正答できるような問題に取り組まなければならない、又は、能力が十分に達成されていない人であるにもかかわらず全く解答がだせないような問題に取り組まなければならない等の問題があった。
【０００６】
つまり、受験生の能力を判定するための問題の難易度判定にズレがあるために、結局、受験生の現状能力を適確に判定することができていなかったのである。
【０００７】
そこで、本発明の課題は、被験者からのテスト結果に基づいて、動的にテストの難易度を判定する難易度判定プログラムを提供することである。
【０００８】
【課題を解決するための手段】
上記課題を解決するため、本発明は、テストされた被験者のテスト結果に基づいて、動的にテスト問題の難易度をコンピュータに判定させる難易度判定プログラムにおいて、該コンピュータに、複数のテスト問題と複数の被験者とによるマトリクスによってテスト問題を解答している場合には正解又は不正解とを示すと共に記憶領域に格納されたテスト問題被験者テーブルを参照することによって、該複数のテスト問題から組み合わせた２つのテスト問題とも解答した被験者を対象として正解の度合いを集計する集計手順と、前記集計手順による正解の度合いの集計結果に基づいて、上記２つのテスト問題の各々で集計した上記正解の度合いを比較する比較手順と、上記比較手順による比較結果に基づいて、上記２つのテスト問題のうち正解の度合いが高い方のテスト問題を他方のテスト問題より容易とする順に上記テスト問題被験者テーブルにおける上記マトリクスの上記複数のテスト問題の順を並び替えて難易度順を決定する難易度順決定手順とを実行させるように構成される。
【０００９】
このような難易度判定プログラムがインストールされたコンピュータシステムでは、２つのテストを受けた被験者によるテスト結果の総和に基づいて、難易度順が決定される。
【００１０】
従って、試行テストを行なわずに、より正確な難易度判定が可能となるため、経費を削減することができる。また、解答者群の能力特性によるバイアスがかかりにくく、より正確な難易度判定が行える。
【００１１】
上記課題を解決するための手段として、本発明は、上記難易度判定プログラムを実行する難易度判定装置とすることもできる。また、上記難易度判定プログラムを記憶した記憶媒体とすることもできる。更に、上記難易度判定プログラムによって実行される難易度判定方法とすることもできる。
【００１２】
【発明の実施の形態】
以下、本発明の実施の形態を図面に基づいて説明する。
【００１３】
本発明の実施の一形態に係るプログラムがインストールされたサーバコンピュータは、例えば、図１に示すように構成される。
【００１４】
図１は、試験サーバの構成例を示す図である。図１において、試験サーバ１００は、サーバコンピュータであって、ネットワーク３５を介して接続される解答者が利用する解答者端末２１〜２４（以下、代表して解答者端末２０とする）へ問題を提供し、解答者端末からその問題の解答を受信する。
【００１５】
試験サーバ１００は、通信制御処理部１０１と、インストーラ１０２と、入力制御処理部１０３と、表示制御処理部１０４と、出力制御処理部１０５と、問題／正解テーブル１０７と、出題・解答受付プログラム１０８と、受講生テーブル１０９と、正解判定プログラム１１０と、問題難易度判定処理部１１５とを有する。
【００１６】
通信制御処理部１０１は、ネットワーク３５を介して送受信されるデータを制御する処理部であって、電話回線又はＬＡＮ（Local Area Network）等を介してネットワーク網に接続するための通信ユニットを有する。
【００１７】
インストーラ１０２は、例えば、ＣＤ−ＲＯＭドライブに設定されたＣＤ−ＲＯＭ１２０から本発明に係るプログラムを読み出し、その読み出されたプログラムを、例えば、補助記憶装置等にインストールする。そして、後述される問題難易度判定処理等が起動されると、補助記憶装置にインストールされた当該プログラムに従って、コンピュータ全体を制御するＣＰＵ（中央処理装置）がその処理を開始する。尚、当該プログラムを格納する媒体としてＣＤ−ＲＯＭに限定するものではなく、コンピュータが読み取り可能な媒体であればよい。
【００１８】
入力制御処理部１０３は、マウス、キーボード等の入力ユニットからのデータを制御する処理部であって、試験サーバ１００の管理者が、後述するような問題難易度判定処理等を行なうために入力した必要な各種情報を制御する。
【００１９】
表示制御処理部１０４は、ディスプレイ等の表示ユニットへ表示するデータを制御する処理部であって、ＣＰＵの制御のもとに管理者に必要な各種情報を該表示ユニットへ表示させる。
【００２０】
出力制御処理部１０５は、プリンター等の出力ユニットへ出力するデータを制御する処理部であって、処理結果或いは指定された情報を該出力ユニットへ出力させる。
【００２１】
問題／正解テーブル１０７は、予め登録しておいた問題と、問題毎の正解とを対応させて管理するためのテーブルである。
【００２２】
出題・解答受付プログラム１０８は、ＣＰＵによって起動され、問題／正解テーブル１０７に基づいて、ネットワーク３５を介して、解答者２０へ問題を出題すると共に、解答者２０から出題した問題に対する解答を受け付ける。
【００２３】
受講生テーブル１０９は、受講生として問題を解答する解答者に関する解答者情報を管理するためのテーブルである。
【００２４】
正解判定プログラム１１０は、ＣＰＵによって起動され、問題／正解テーブル１０７を参照して、出題・解答受付プログラム１０８から提供される解答者端末２０からの解答が正答であるか否かを判断する。
【００２５】
問題難易度判定処理部１１５は、更に、問題・解答者正答テーブル１１１と、問題難易度判定プログラム１１２と、問題難易度順序テーブル１１３と、レベル分布テーブル１１４とを有する。
【００２６】
問題・解答者正答テーブル１１１は、正解判定プログラム１１０での判断結果に基づいて、問題毎に解答者の正解又は不正解を管理するためのテーブルである。
【００２７】
問題難易度判定プログラム１１２は、問題・解答者正答テーブル１１１で管理される問題毎の解答者の正解又は不正解を示す情報に基づいて、問題の難易度を決定する。
【００２８】
問題難易度順序テーブル１１３は、問題難易度判定プログラム１１２によって決定された問題の難易度を管理するためのテーブルである。
【００２９】
レベル分布テーブル１１４は、問題難易度判定プログラム１１２によって、難易度のレベルを更新する際に参照されるテーブルであって、全問題数に対する相対位置に対応してレベルが決定される。
【００３０】
次に、問題難易度判定プログラム１１２による処理について図２、図３、及び、図４から図９で説明する。
【００３１】
図２及び図３は、問題難易度判定プログラムを説明するためのフローチャート図である。また、図４から図９は、問題難易度判定プログラムにおける処理過程を説明するための問題・解答者正答テーブルの例を示す図である。
【００３２】
図２において、問題難易度判定プログラム１１２は、問題・解答者正答テーブル１１１での起点ポインタｉｎｏに「１」を設定して（ステップＳ１５）、起点ポインタｉｎｏが「１」を減算した問題数より大きいか否かを判断する（ステップＳ１６）。大きい場合、ステップＳ３４へ進む。
【００３３】
一方、起点ポインタｉｎｏが「１」を減算した問題数より大きくない場合、被比較ポインタｊｎｏに、「１」を加算した起点ポインタｉｎｏを設定して（ステップＳ１７）、被比較ポインタｊｎｏが問題数より大きいか否かを判断する（ステップＳ１８）。大きい場合、起点ポインタｉｎｏを「１」増加して、ステップＳ１６へ戻り、起点ポインタｉｎｏが「１」を減算した問題数より大きいか否かを判断する。以後、上記同様の処理を行なう。
【００３４】
一方、被比較ポインタｊｎｏが問題数より大きくない場合、共通解答者数ｎｏ＿ｃｏｍ＿ａｎｓ、起点ポインタｉｎｏで示される問題の得点ｉｐｏｉｎｔ、及び、被比較ポインタｊｎｏで示される問題の得点ｊｐｏｉｎｔに「０」を設定する（ステップＳ１０）。更に、解答者ポインタｉｄｐを「１」に設定し、解答者ポインタｉｄｐが解答者数より大きいか否かを判断する（ステップＳ２１）。解答者数より大きい場合、ステップＳ２８へ進む。
【００３５】
一方、解答者ポインタｉｄｐが解答者数より大きくない場合、解答者ｉｄｐが問題ｉｎｏに解答しているか否かを判断する（ステップＳ２２）。解答していない場合、ステップＳ２３へ進む。一方、解答している場合、更に、同一解答者ｉｄｐが問題ｊｎｏに解答しているか否かを判断する（ステップＳ２４）。解答していない場合、ステップＳ２３へ進む。
【００３６】
一方、解答している場合、共通解答者数ｎｏ＿ｃｏｍ＿ａｎｓを「１」増加する（ステップＳ２５）。また、問題ｉｎｏの得点ｉｐｏｉｎｔに解答者ｉｄｐの得点を加算する（ステップＳ２６）。更に、問題ｊｎｏの得点ｊｐｏｉｎｔに解答者ｉｄｐの得点を加算して（ステップＳ２７）、ステップＳ２３へ進む。
【００３７】
ステップＳ２３において、解答者ポインタｉｄｐを「１」増加して、ステップＳ２１へ戻り、次の解答者について問題ｉｎｏ及び問題ｊｎｏに解答しているか否かの判断を繰り返す。
【００３８】
ステップＳ２１〜Ｓ２３及びＳ２４〜Ｓ２７の処理の繰り返しによって、ステップＳ２１において、解答者ｉｄｐが解答者数より大きくなった場合、共通解答者数ｎｏ＿ｃｏｍ＿ａｎｓが「３」以上であるか否か、つまり、問題ｉｎｏ及び問題ｊｎｏの両方に３人以上が解答したか否かを判断する（ステップＳ２８）。３人以上が解答しなかった場合、問題ｊｎｏを「１」増加させて（ステップＳ２９）、図２のステップＳ１８へ戻る。つまり、上記同様に、同じ問題ｉｎｏと次の問題ｊｎｏとを比較する処理を繰り返す。
【００３９】
一方、３人以上が解答した場合、問題ｊｎｏの得点ｊｐｏｉｎｔが問題ｉｎｏの得点ｉｐｏｉｎｔより高いか否かを判断する（ステップＳ２８）。高くない場合、問題ｊｎｏを「１」増加させて（ステップＳ２９）、図２のステップＳ１８へ戻り、同じ問題ｉｎｏと次の問題ｊｎｏとを比較する処理を繰り返す。
【００４０】
一方、高い場合、問題・解答者正答テーブル１１１において、問題ｊｎｏをｉｎｏ番目に移動し、問題ｉｎｏ以降を１つづつシフトする（ステップＳ３１）。そして、ｊｎｏにｉｎｏを設定する、つまり、問題ｊｎｏを起点ポインタ（問題ｉｎｏ）として設定する（ステップＳ３２）。更に、問題ｊｎｏを「１」増加させて（ステップＳ２９）、図２のステップＳ１８へ戻り、問題ｉｎｏと次の問題ｊｎｏとを比較する処理を繰り返す。
【００４１】
図１のステップ１８にてｊｎｏが問題数より大きいと判断され、更に、「１」を増加したｉｎｏが「１」を減算した問題数より大きいと判断されると（ステップＳ３３及びＳ１６）、ステップＳ３４が実行される。ステップＳ３４からＳ３６までの処理にて、問題の難易度が更新される。
【００４２】
ステップＳ３４において、ｉｎｏに「１」を設定し、ｉｎｏを「１」増加させる毎に、以下、ステップＳ３５及びＳ３６を、ｉｎｏが問題数となるまで繰り返し処理する。ｉｎｏを問題数で割った値を相対位置として設定し（ステップＳ３５）、相対位置レベル分布テーブル１１４を引き、得られたレベルを各問のレベル位置に設定する（ステップＳ３６）。ステップＳ３４において、ｉｎｏが問題数を超えたと判断した場合、問題難易度判定プログラムでの処理を終了する。
【００４３】
ステップＳ２８にて、共通解答者数ｎｏ＿ｃｏｍ＿ａｎｓが「３」以上であるか否かが判断されるが、正答率を適確に判断できる程度の所定人数の組み合わせであればよく、精度を上げたい場合には、該所定人数として「３」より大きい自然数を指定できるようにしても良い。
【００４４】
ステップＳ３６にて参照されるレベル分布テーブル１１４の構成は、例えば、５段階のレベルで難易度を示す場合、レベル分布テーブルの例１１４１のように、ステップＳ３５にて得られた相対位置が「０．０〜０．４未満」の範囲内であればレベル１に対応し、相対位置が「０．４〜０．７未満」の範囲内であればレベル２に対応し、相対位置が「０．７〜１．０未満」の範囲内であればレベル３に対応する。
【００４５】
レベル分布テーブル１１４は、レベル数に対応させた複数のテーブルがあっても良い。また、例えば、試験サーバ１００の管理者によって設定された、レベル数とレベル毎の問題数とが示されるテーブルであっても良い。
【００４６】
次に、問題・解答者正答テーブル１１１の例にて、問題難易度判定プログラムでの処理過程について詳述する。問題・解答者正答テーブル１１１が、例えば、図４に示すような内容であったとする。
【００４７】
図４において、問題・解答者正答テーブル１１１は、問題の難易度をレベルで示すｌｅｖｅｌと、問題を特定する問題番号を示すＰｒｏｂｎｏと、問題を解答した解答者を示す解答者名リストと、問題の解答数と、正解した解答者の数を示す正解数と、問題の正解率を示す正解率とを有する。また、図４の例で示される問題・解答者正答テーブル１１１において、９問の問題は、レベル１〜３に分類され、レベル１としてＰｒｏｂｎｏ「１１」、「１２」及び「１３」が分類され、レベル２としてＰｒｏｂｎｏ「２１」、「２２」及び「２３」が分類され、レベル３としてＰｒｏｂｎｏ「３１」、「３２」及び「３３」が分類される。
【００４８】
解答者名リストは、上記Ｐｒｏｂｎｏで示される問題のうち、少なくとも１問を解答した解答者がリストされる。この場合、「富士通一郎」から「富士七郎」までの解答者がリストされる。解答した問題が正解した場合には「１」が記録され、不正解の場合には「０」が記録される。
【００４９】
解答数は、解答者名リストのうち、対応する問題に解答した人数を示し（つまり、「０」及び「１」の総和）、正解数は、解答者のうち正解となった人数を示す（つまり、「１」の総和）。そして、正解率は、正解数÷解答数で示される。
【００５０】
問題難易度判定プログラム１１２が起動されると、図２のステップＳ１５にて起点ポインタｉｎｏは、Ｐｒｏｂｎｏ「１１」を指し、ステップＳ１７にて、被比較ポインタｊｎｏは、Ｐｒｏｂｎｏ「１２」を指す。また、ステップＳ２０にて、解答者ポインタｉｄｐは、解答者名リストの先頭に示される「富士通一郎」を指す。図３のステップＳ２２及びＳ２４にて、解答者ポインタｉｄｐが指す「富士通一郎」がＰｒｏｂｎｏの「１１」及び「１２」の両方に解答していないと判断し、ステップＳ２３にて、解答者ポインタｉｄｐは、次の解答者「富士通二郎」を指す。
【００５１】
この場合、ステップＳ２２及びＳ２４にて、解答者ポインタｉｄｐが指す「富士通二郎」がＰｒｏｂｎｏの「１１」及び「１２」の両方に解答していると判断し、両方の問題に解答した人数として、共通解答者数ｎｏ＿ｃｏｍ＿ａｎｓの値を「１」増加する（ステップＳ２５）。更に、「富士通二郎」の問題ｉｎｏ（＝Ｐｒｏｂｎｏ「１１」）の得点を、問題ｉｎｏの得点ｉｐｏｉｎｔに累積する。この場合、「１」が累積される。また、「富士通二郎」の問題ｊｎｏ（＝Ｐｒｏｂｎｏ「１２」）の得点を、問題ｊｎｏの得点ｊｐｏｉｎｔに累積する。この場合、「１」が累積される。
【００５２】
図３のステップＳ２３にて、解答者ポインタｉｄｐを解答者を一人づつずらし、ステップＳ２１からＳ２７での処理を繰り返すことによって、Ｐｒｏｂｎｏ「１１」及び「１２」の両方に解答している場合に、共通解答者数ｎｏ＿ｃｏｍ＿ａｎｓ、問題ｉｎｏの得点ｉｐｏｉｎｔ（Ｐｒｏｂｎｏ「１１」の得点）及び問題ｊｎｏの得点ｊｐｏｉｎｔ（Ｐｒｏｂｎｏ「１２」の得点）が累積されるが、解答者名リストの全ての解答者に対して処理を終え、ステップＳ２８及びＳ３０にて、両方に解答している解答者の人数が３人以上で、問題ｊｎｏの得点ｊｐｏｉｎｔが問題ｉｎｏの得点ｉｐｏｉｎｔより高い場合、問題ｊｎｏを問題ｉｎｏの位置に移動する（ステップＳ３１及びＳ３２）。この場合、解答者名リストの「富士通二郎」、「富士通五郎」、「富士通七郎」、「富士通九郎」及び「富士通十郎」が、Ｐｒｏｂｎｏ「１１」及びＰｒｏｂｎｏ「１２」の両方に解答しており、累積された問題ｉｎｏの得点ｉｐｏｉｎｔは「６」、累積された問題ｊｎｏの得点ｊｐｏｉｎｔは「７」となる。よって、Ｐｒｏｂｎｏ「１２」の正解率が高いため、問題・解答者正答テーブル１１１において、Ｐｒｏｂｎｏ「１１」の位置にＰｒｏｂｎｏ「１２」が移動し、Ｐｒｏｂｎｏ「１１」以降、１つづつ右にずれ、図５に示すように、問題・解答者正答テーブル１１１が構成される。
【００５３】
図５より、上記同様の処理を行なうことによって、Ｐｒｏｂｎｏ「１２」とＰｒｏｂｎｏ「１３」との比較において、解答者名リストの「富士通七郎」、「富士通九郎」、「富士通十郎」、「富士二郎」、「富士三郎」及び「富士七郎」の６人が両方の問題に解答しており、累積された問題ｉｎｏの得点ｉｐｏｉｎｔは「５」、累積された問題ｊｎｏの得点ｊｐｏｉｎｔは「４」であるため、Ｐｒｏｂｎｏ「１３」の移動を行なわない。
【００５４】
Ｐｒｏｂｎｏ「１２」とＰｒｏｂｎｏ「２１」との比較において、解答者名リストの「富士通五郎」、「富士通七郎」、「富士通九郎」、「富士二郎」、「富士三郎」及び「富士七郎」の６人が両方の問題に解答しており、累積された問題ｉｎｏの得点ｉｐｏｉｎｔは「５」、累積された問題ｊｎｏの得点ｊｐｏｉｎｔは「４」であるため（図３のステップＳ３０での判断により「Ｎｏ」へ分岐）、Ｐｒｏｂｎｏ「２１」の移動を行なわない。
【００５５】
Ｐｒｏｂｎｏ「１２」とＰｒｏｂｎｏ「２２」との比較において、両方の問題に解答しているのは、解答者名リストの「富士通二郎」及び「富士通五郎」の２人のみのため（図３のステップＳ２８での判断により「Ｎｏ」へ分岐）、Ｐｒｏｂｎｏ「２２」の移動を行なわない。
【００５６】
Ｐｒｏｂｎｏ「１２」とＰｒｏｂｎｏ「２３」との比較において、解答者名リストの「富士通二郎」、「富士通五郎」、「富士通九郎」及び「富士三郎」の４人が両方の問題に解答しており、累積された問題ｉｎｏの得点ｉｐｏｉｎｔは「４」、累積された問題ｊｎｏの得点ｊｐｏｉｎｔは「３」であるため（図３のステップＳ３０での判断により「Ｎｏ」へ分岐）、Ｐｒｏｂｎｏ「２３」の移動を行なわない。
【００５７】
Ｐｒｏｂｎｏ「１２」とＰｒｏｂｎｏ「３１」との比較において、解答者名リストの「富士通二郎」、「富士通七郎」、「富士通十郎」、「富士二郎」、「富士三郎」及び「富士七郎」の６人が両方の問題に解答しており、累積された問題ｉｎｏの得点ｉｐｏｉｎｔは「５」、累積された問題ｊｎｏの得点ｊｐｏｉｎｔは「６」であるため（図３のステップＳ３０での判断により「Ｙｅｓ」へ分岐）、Ｐｒｏｂｎｏ「１２」の位置にＰｒｏｂｎｏ「３１」を移動し、Ｐｒｏｂｎｏ「１２」以降、１つづつ右にずれ、図６に示すように、問題・解答者正答テーブル１１１が構成される。
【００５８】
更に、Ｐｒｏｂｎｏ「３１」を起点ポインタｉｎｏとして上記同様の処理を続けると、各Ｐｒｏｂｎｏ「１２」、「１３」、「１１」、「２１」、「２２」、「２３」、「３２」及び「３３」との比較において、図３のステップＳ２８又はステップＳ３０での判断により「Ｎｏ」へ分岐するため、Ｐｒｏｂｎｏの移動が行なわれない。起点ポインタｉｎｏに「１」増加させて（図２のステップＳ３３）、Ｐｒｏｂｎｏ「１２」に設定して上記同様の処理を続ける。
【００５９】
このように、先頭から８番目の問題を起点ポインタｉｎｏとした比較が終了するまで続けると、図７に示すように、問題・解答者正答テーブル１１１が構成される。
【００６０】
図７より、問題・解答者正答テーブル１１１において、問題が難易度順に、例えば、Ｐｒｏｂｎｏ「３１」、Ｐｒｏｂｎｏ「１２」、Ｐｒｏｂｎｏ「２２」、Ｐｒｏｂｎｏ「２３」、Ｐｒｏｂｎｏ「１３」、Ｐｒｏｂｎｏ「１１」、Ｐｒｏｂｎｏ「２１」、Ｐｒｏｂｎｏ「３２」及びＰｒｏｂｎｏ「３３」の順に並べ替えられる。
【００６１】
図２のステップＳ３４からＳ３６での処理によって、レベルが更新され、図８のように難易度が設定される。図８において、難易度を示すｌｅｖｅｌ「３」であったＰｒｏｂｎｏ「３１」がｌｅｖｅｌ「１」へ、ｌｅｖｅｌ「２」であったＰｒｏｂｎｏ「２２」がｌｅｖｅｌ「１」へ、ｌｅｖｅｌ「１」であったＰｒｏｂｎｏ「１３」がｌｅｖｅｌ「２」へ、ｌｅｖｅｌ「１」であったＰｒｏｂｎｏ「１１」がｌｅｖｅｌ「２」へ、ｌｅｖｅｌ「２」であったＰｒｏｂｎｏ「２１」がｌｅｖｅｌ「３」へ更新され、問題難易度順序テーブル１１３に格納される。
【００６２】
また、図８から判るように、更新されたレベルにおいて、必ずしも、高い正解率がより容易な問題で、低い正解率がより難しい問題であるとは限らない。例えば、ｌｅｖｅｌ「２」にはＰｒｏｂｎｏ「２３」、「１３」及び「１１」が含まれ、夫々正解率は「８５．７１」、「６２．５０」、「６６．６７」であるが、ｌｖｅｌ「３」にはＰｒｏｂｎｏ「２１」、「３２」及び「３３」が含まれ、夫々正解率は「５５．５６」、「５０．００」、「７３．３３」である。ｌｖｅｌ「３」にｌｖｅｌ「２」に含まれるＰｒｏｂｎｏ「１３」及び「１１」より高い正解率を示すＰｒｏｂｎｏ「３３」が含まれている。
【００６３】
上記より、問題難易度判定プログラム１１２を有する問題難易度判定処理部１１５を、例えば、所定間隔毎に起動させることによって、動的に難易度を更新することが可能となる。また、実際の解答に基づいて難易度が判定されるため、試行テストを行なう必要がない。従って、出題者等の主観的な難易度判定ではないため、客観的に問題の難易度を判定することができる。
【００６４】
次に、試験サーバ１００の管理者によって、問題難易度判定処理部１１５を起動させる方法について、図９から図１１で説明する。
【００６５】
図９は、テスト問題レベルの設定画面例を示す図である。図９において、テスト問題レベルの設定画面例２００は、スキル番号を入力するスキル番号入力域２０１と、難易度が設定された前回の設定日を示す設定日表示域２０２と、問題難易度判定プログラム１１２を実行させるための難易度計算ボタン２０３と、レベル別に問題数を自動的に設定するための自動設定ボタン２０４と、レベル別に問題数を管理者が手動で設定するための手動設定ボタン２０５と、レベル別に問題数を設定するためのレベル別入力域２０６と、テスト結果を表示するテスト結果表示域２０９とを有する。
【００６６】
試験サーバ１００の管理者が問題の難易度の判定を行ないたいスキル番号をスキル番号入力域２０１に入力すると、問題難易度判定処理部１１５は、問題・解答者正答テーブル１１１から入力されたスキル番号に対応する問題に解答した解答者とその成績を示すテスト結果一覧をテスト結果表示域２０９に表示させる。例えば、管理者がスキル番号入力域２０１に「１２４５」を入力した場合、スキル番号「１２４５」に対応する問題に解答した解答者とその成績を示すテスト結果一覧がテスト結果表示域２０９に表示される。テスト結果表示域２０９に表示されるテスト結果一覧は、図４に示される問題・解答者正答テーブル１１１と同様のデータ構成である。
【００６７】
また、問題難易度判定処理部１１５は、問題難易度順序テーブル１１３から該スキル番号に対応する問題の難易度を更新した前回の設定日を取得して、設定日表示域２０２に表示させる。
【００６８】
管理者は、テスト結果表示域２０９に表示されたテスト結果一覧を参照し、レベルの割り当てを変える場合、自動設定ボタン２０４又は手動設定ボタン２０５のいずれか一方を選択する。レベル別に問題数を自動で設定する場合、自動設定ボタン２０４をクリックして、難易度計算ボタン２０３をクリックすることによって、問題難易度判定プログラム１１２が起動する。一方、レベル別に問題数を手動で設定する場合、手動設定ボタン２０５をクリックする。そして、上段にレベルが示され下段に問題数を入力するレベル別入力域２０６に、レベル別に問題数を割り当てる。図９より、例えば、レベル１から３に問題数「３」問づつとし、レベル４から５に問題数「０」問と設定することによって、レベル１から３への割り当てとなる。管理者は、レベル別入力域２０６にレベル別に問題数を入力して、難易度計算ボタン２０３をクリックすることによって、問題難易度判定処理部１１５は、レベル別入力域２０６の設定情報をレベル分布テーブル１１４として補助記憶装置等に格納し、問題難易度判定プログラム１１２を実行する。
【００６９】
問題難易度判定プログラム１１２の実行による難易度判定結果は、例えば、図１０の画面例のように示される。
【００７０】
図１０は、テスト問題レベルの更新指示画面例を示す図である。図１０において、テスト問題レベルの更新指示画面例２１０は、スキル番号を表示するスキル番号表示域２１１と、難易度が設定された前回の設定日を示す設定日表示域２１２と、計算したレベルで難易度を設定するための更新指示ボタン２１３と、更新されたレベルを示すテスト結果を表示するテスト結果表示域２１９とを有する。
【００７１】
試験サーバ１００の管理者は、更新指示画面例２１０にて、スキル番号表示域２１１に示されるスキル番号「１２４５」に対応する問題の更新したレベルが示される結果表示域２１９を参照し、更新レベル（ｕｐｄａｔｅ−ｌｅｖｅｌ）に示されるレベルを更新前のレベル（ｏｒｉｇｉｎ−ｌｅｖｅｌ）として設定する場合、更新指示ボタン２１３をクリックする。ｏｒｉｇｉｎ−ｌｅｖｅｌは、設定日表示域２１２に示される前回の設定日に更新されたレベルを示す。
【００７２】
試験サーバ１００の管理者が更新指示ボタン２１３をクリックすることによって、レベルが更新された結果を、例えば、図１１の画面例のように示される。
【００７３】
図１１は、テスト問題レベルの更新完了画面例を示す図である。図１１において、テスト問題レベルの更新完了画面例２２０は、スキル番号を表示するスキル番号表示域２２１と、難易度を更新した設定日を示す設定日表示域２２２と、更新したレベルに設定されたテスト結果一覧を表示するテスト結果表示域２２９とを有する。
【００７４】
試験サーバ１００の管理者は、更新指示画面例２２０にて、更新完了表示域２２９を参照して、スキル番号表示域２２１に示されるスキル番号「１２４５」に対応する問題の更新したレベルに設定されたテスト結果一覧を確認する。設定日表示域２２２には、現在の日付が表示される。
【００７５】
上述より、インターネットを介して問題が解答者端末２０へ提供（出題）されるような試験サーバ１００は、時間を特定せずにランダムに問題が出題される状況において、動的に問題の難易度を逐次更新することができる。また、解答者の参加の増加に伴い、問題の難易度判定の精度が向上していく。よって、より正確な問題の難易度判定が行なえるため、結果として、解答者の能力を正確に把握することが可能となる。
【００７６】
また、精度の高い難易度判定が行なえることで、解答者の能力に応じた適切な出題を行なうことができる。つまり、従来の難易度判定のズレによって引き起こされた、能力が高い人であるにもかかわらず確実に正答できるような問題に取り組まなければならない、又は、能力が十分に達成されていない人であるにもかかわらず全く解答がだせないような問題に取り組まなければならない等の問題を回避することができる。
【００７７】
なお、上記例において、図３に示すステップＳ２２からＳ３０までの処理が比較手順に対応し、図３に示すステップＳ３１及びＳ３２での処理が難易度順決定手順に対応する。
【００７８】
付記する。
（付記１）  テストされた被験者のテスト結果に基づいて、動的にテスト問題の難易度を判定する難易度判定プログラムにおいて、
複数のテストのうち２つのテストの組み合わせにおいて、共通する２つのテスト問題を受けた被験者を対象として集計した該共通する２つのテスト問題の各々のテスト結果を比較する比較手順と、
上記比較手順による比較結果に基づいて、上記２つのテスト問題間の難易度順を決定する難易度順決定手順とを有する難易度判定プログラム。
（付記２）  付記１記載の難易度判定プログラムにおいて、
上記比較手順は、上記２つのテストを受けた被験者の数が所定数を満たさない場合には、上記テスト結果を比較しないようにした難易度判定プログラム。
（付記３）  付記１又は２記載の難易度判定プログラムにおいて、
上記難易度順決定手順は、上記比較手順による比較結果に基づいて、正解の割合が高い方のテスト問題を他方のテスト問題より容易とする難易度順に決定するようにした難易度判定プログラム。
（付記４）  付記１乃至３のいずれか一項記載の難易度判定プログラムにおいて、
上記難易度順決定手順にて決定されたテスト問題の難易度順に基づいて、難易度の段階を示すレベルに割り当てるレベル割当手順を有するようにした難易度判定プログラム。
（付記５）  付記１乃至５のいずれか一項記載の難易度判定プログラムにおいて、
上記レベル割当手順は、レベル毎に該レベルへの割り当て基準を管理するレベル基準管理テーブルに基づいて、上記テスト問題の割り当てを行なうようにした難易度判定プログラム。
（付記６）  付記１乃至５のいずれか一項記載の難易度判定プログラムにおいて、
上記比較手順は、テスト問題と被験者とによるマトリクスによってテスト結果を管理するテスト結果テーブルから上記組み合わせによる該２つのテスト問題を受けた被験者のテスト結果を取得して総和を算出する総和算出手順を有するようにした難易度判定プログラム。
（付記７）  付記１乃至６のいずれか一項記載の難易度判定プログラムにおいて、
ネットワークを介して上記被験者から送信されたテスト問題に対する解答に基づいて判断されたテスト結果を上記テスト結果テーブルで管理する結果管理手順を有するようにした難易度判定プログラム。
（付記８）  テストされた被験者のテスト結果に基づいて、動的にテスト問題の難易度を判定する難易度判定装置において、
複数のテストのうち２つのテストの組み合わせにおいて、共通する２つのテスト問題を受けた被験者を対象として集計した該共通する２つのテスト問題の各々のテスト結果を比較する比較手段と、
上記比較手段による比較結果に基づいて、上記２つのテスト間の難易度順を決定する難易度順決定手段とを有する難易度判定装置。
（付記９）  テストされた被験者のテスト結果に基づいて、動的にテスト問題の難易度を判定する難易度判定装置での処理をコンピュータに行なわせるためのプログラムを格納した記憶媒体において、
複数のテストのうち２つのテストの組み合わせにおいて、共通する２つのテスト問題を受けた被験者を対象として集計した該共通する２つのテスト問題の各々のテスト結果を比較する比較手順と、
上記比較手順による比較結果に基づいて、上記２つのテスト間の難易度順を決定する難易度順決定手順とを有するプログラムを格納した記憶媒体。
（付記１０）  テストされた被験者のテスト結果に基づいて、動的にテスト問題の難易度を判定する難易度判定方法において、
複数のテストのうち２つのテストの組み合わせにおいて、共通する２つのテスト問題を受けた被験者を対象として集計した該共通する２つのテスト問題の各々のテスト結果を比較する比較手順と、
上記比較手順による比較結果に基づいて、上記２つのテスト間の難易度順を決定する難易度順決定手順とを有する難易度判定方法。
【００７９】
【発明の効果】
以上、説明してきたように、本願発明によれば、試行テストを行なわずに、より正確な難易度判定が可能となるため、経費を削減することができる。また、二つの同じ問題に解答してきた所定人数以上の受験者の組み合わせによる順序比較を行うので、解答者群の能力特性によるバイアスがかかりにくく、より正確な難易度判定が行える。さらに、受験生が増えるごとに、この比較を実施することにより問題群の難易度判定結果は逐次精度が高くなってゆく。すなわち、受験生の数が増えれば増えるほど、難易度判定の精度が向上していく。
【００８０】
また、問題をランダムに出題できるというインターネット時代に適合した問題難易度判定を実現することができる。
【００８１】
【図面の簡単な説明】
【図１】図１は、試験サーバの構成例を示す図である。
【図２】図２は、問題難易度判定プログラムを説明するためのフローチャート図である。
【図３】図３は、問題難易度判定プログラムを説明するためのフローチャート図である。
【図４】問題難易度判定プログラムでの処理過程の例を示す図である。
【図５】問題難易度判定プログラムでの処理過程の例を示す図である。
【図６】問題難易度判定プログラムでの処理過程の例を示す図である。
【図７】問題難易度判定プログラムでの処理過程の例を示す図である。
【図８】問題難易度判定プログラムでの処理過程の例を示す図である。
【図９】図９は、テスト問題レベルの設定画面例を示す図である。
【図１０】図１０は、テスト問題レベルの更新指示画面例を示す図である。
【図１１】図１１は、テスト問題レベルの更新完了画面例を示す図である。
【符号の説明】
２０          解答者端末
３５          ネットワーク
１００        試験サーバ
１０１        通信制御処理部
１０２        インストーラ
１０３        入力制御処理部
１０４        表示制御処理部
１０５        出力制御処理部
１０７        問題／正解テーブル
１０８        出願・解答受付プログラム
１０９        受験生テーブル
１１０        正解判定プログラム
１１１        問題・解答者正答テーブル
１１２        問題難易度判定プログラム
１１３        問題難易度順序テーブル
１１４        レベル分布テーブル
１１５        問題難易度判定処理部
１２０          ＣＤ−ＲＯＭ
【図１】
0003819256.tif 000002
【図２】
0003819256.tif 000003
【図３】
0003819256.tif 000004
【図４】
0003819256.tif 000005
【図５】
0003819256.tif 000006
【図６】
0003819256.tif 000007
【図７】
0003819256.tif 000008
【図８】
0003819256.tif 000009
【図９】
0003819256.tif 000010
【図１０】
0003819256.tif 000011
【図１１】
0003819256.tif 000012