(57)【要約】【課題】解答毎確信度記入フォームを利用して試験を行った際に、各受験者の合否を自動的に判定できるシステムを提供する。【解決手段】受験者毎に全問題の正答率と全問題の得点指数とを記録した解答ファイルを備えると共に、設定された合否判定閾値を記憶し、得点指数が問題への解答と当該解答への確信度との組み合わせによって決定されるシステムにおいて、正答率と得点指数とを２軸とする２次元座標を仮定した場合の正答率の最大値と得点指数の最大値との交点座標から合否判定閾値の座標までの距離Ｒ２を算出する。また、正答率と得点指数とを２軸とする２次元座標を仮定した場合の正答率の最大値と得点指数の最大値との交点座標から各受験者の正答率と得点指数との交点座標までの距離ｒ２を算出する。そして、距離Ｒ２よりも距離ｒ２が長い受験者を不合格と判定する。【選択図】  図１０
2005031386.tif 000002
【特許請求の範囲】
【請求項１】
問題毎に全受験者の正答率と全受験者の得点指数とを記録した問題評価ファイルを備えると共に、設定された問題妥当性閾値を記憶し、前記得点指数が前記問題への解答と当該解答への確信度との組み合わせによって決定されるシステムにおいて、
コンピュータに、
前記各問題の正答率と得点指数とを前記問題評価ファイルから読み出すステップと、
前記問題妥当性閾値を読み出すステップと、
前記正答率と得点指数とを２軸とする２次元座標を仮定した場合の前記正答率の最大値と前記得点指数の最大値との交点座標から前記問題妥当性閾値の座標までの距離Ｒ１を算出するステップと、
前記正答率と得点指数とを２軸とする２次元座標を仮定した場合の前記正答率の最大値と前記得点指数の最大値との交点座標から前記各問題の正答率と得点指数との交点座標までの距離ｒ１を算出するステップと、
前記距離Ｒ１よりも距離ｒ１が長い問題を不適当問題と判定するステップと、を実行させることを特徴とした不適当問題判定プログラム。
【請求項２】
受験者毎に全問題の正答率と全問題の得点指数とを記録した解答ファイルを備えると共に、設定された合否判定閾値を記憶し、前記得点指数が前記問題への解答と当該解答への確信度との組み合わせによって決定されるシステムにおいて、
コンピュータに、
前記各受験者の正答率と得点指数とを前記解答ファイルから読み出すステップと、
前記合否判定閾値を読み出すステップと、
前記正答率と得点指数とを２軸とする２次元座標を仮定した場合の前記正答率の最大値と前記得点指数の最大値との交点座標から前記合否判定閾値の座標までの距離Ｒ２を算出するステップと、
前記正答率と得点指数とを２軸とする２次元座標を仮定した場合の前記正答率の最大値と前記得点指数の最大値との交点座標から前記各受験者の正答率と得点指数との交点座標までの距離ｒ２を算出するステップと、
前記距離Ｒ２よりも距離ｒ２が長い受験者を不合格と判定するステップと、を実行させることを特徴とした合否判定プログラム。
【請求項３】
請求項２記載の合否判定プログラムにおいて、
前記コンピュータに、
請求項１記載の不適当問題判定プログラムを実行するステップと、
この不適当問題判定の結果、不適当問題と判定された問題を出題から除いた残りの問題を前記全問題として請求項２記載の合否判定プログラムを実行するステップと、を実行させることを特徴とした合否判定プログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、所定の解答フォームへの記入に基づいて合否を判定する合否判定システムに関する。
【０００２】
【従来の技術】
従来、各出題に対して、解答と、その解答についての確信度（自信の程度）とを一組にして解答するフォーム（以下、解答毎確信度記入フォームという）が提案されている（例えば、特許文献１）。
【０００３】
【特許文献１】
特開平７−１７２０８１号公報
【０００４】
【発明が解決しようとする課題】
本願発明は、従来の解答毎確信度記入フォームを利用して試験を行った際に、各受験者の合否を自動的に判定できるシステムを提供することを目的とする。また、各出題の妥当性を反映した合否判定を自動的に行うことを目的とする。
【０００５】
【課題を解決するための手段】
上記目的を達成するため、請求項１記載の発明では、以下の構成を採っている。まず、前提のシステムは、問題毎に全受験者の正答率と全受験者の得点指数とを記録した問題評価ファイルを備えると共に、設定された問題妥当性閾値を記憶し、得点指数が問題への解答と当該解答への確信度との組み合わせによって決定されるものとする。このシステムにおいて、コンピュータに、以下の処理を実行させる。即ち、各問題の正答率と得点指数とを前記問題評価ファイルから読み出すステップと、問題妥当性閾値を読み出すステップとを実行させる。また、正答率と得点指数とを２軸とする２次元座標を仮定した場合の正答率の最大値と得点指数の最大値との交点座標から問題妥当性閾値の座標までの距離Ｒ１を算出するステップと、正答率と得点指数とを２軸とする２次元座標を仮定した場合の正答率の最大値と得点指数の最大値との交点座標から各問題の正答率と得点指数との交点座標までの距離ｒ１を算出するステップとを実行させる。そして、距離Ｒ１よりも距離ｒ１が長い問題を不適当問題と判定する。
ここで、「得点指数」とは、得点の高低を表す数値であり、得点そのものや当該得点の平均等が該当する。また、「閾値」は、単一の数値により設定されてもよいし、複数の数値により設定されてもよい。例えば、２次元座標において、閾値を座標で特定する場合は２つの数値により閾値が特定されるが、当該座標までの距離により閾値を特定する場合は単一の数値により閾値が特定される。また、「２次元座標を仮定」するとは、コンピュータ処理において、上記距離の演算を実行できるようなデータの持ち方がされていれば足り、必ずしも、２次元座標が画像メモリ上に展開されることを必要とするものではない。以上の解釈は、以下の発明についても適用される。
【０００６】
また、請求項２記載の発明では、以下の構成を採っている。まず、前提のシステムは、受験者毎に全問題の正答率と全問題の得点指数とを記録した解答ファイルを備えると共に、設定された合否判定閾値を記憶し、得点指数が前記問題への解答と当該解答への確信度との組み合わせによって決定されるものとする。このシステムにおいて、コンピュータに、以下の処理を実行させる。即ち、各受験者の正答率と得点指数とを解答ファイルから読み出すステップと、合否判定閾値を読み出すステップとを実行させる。また、正答率と得点指数とを２軸とする２次元座標を仮定した場合の正答率の最大値と得点指数の最大値との交点座標から合否判定閾値の座標までの距離Ｒ２を算出するステップと、正答率と得点指数とを２軸とする２次元座標を仮定した場合の正答率の最大値と得点指数の最大値との交点座標から各受験者の正答率と得点指数との交点座標までの距離ｒ２を算出するステップとを実行させる。そして、距離Ｒ２よりも距離ｒ２が長い受験者を不合格と判定する。
【０００７】
また、請求項３記載の発明では、請求項２記載の合否判定プログラムにおいて、コンピュータに、請求項１記載の不適当問題判定プログラムを実行するステップと、この不適当問題判定の結果、不適当問題と判定された問題を出題から除いた残りの問題を全問題として請求項２記載の合否判定プログラムを実行するステップとを実行させる。
【０００８】
これにより、前述した目的を達成しようとするものである。
【０００９】
【発明の実施の形態】
以下、本発明の一実施形態を図１乃至図１０に基づいて説明する。
【００１０】
図１は、合否判定プログラム及び不適当問題判定プログラムを実行するコンピュータのブロック図である。本実施形態において、このコンピュータは、パーソナルコンピュータであり、キーボード、マウス及びスキャナ等の入力装置１と、コンピュータディスプレイ及びプリンタ等の出力装置２と、ハードディスクドライブ等の記憶装置３と、ＣＰＵ等の処理装置４とをバスに接続した一般的な構成をとっている。もっとも、複数のコンピュータをＬＡＮ等のコンピュータネットワークに接続し、分散処理を行うことによって、同等の構成を成すシステムであってもよい。
【００１１】
記憶装置３には、図２に示すデータが格納されている。即ち、記憶装置３には、受験者に出題した問題の数を表す問題数１１と、その中から不適当問題を除いた残りの問題の数を表す有効問題数１２と、今回の受験者数１３とが格納されている。また、記憶装置３には、出題した問題毎に予め正解を関連付けた正解ファイル１４が格納されている。本実施形態において、この正解ファイル１４では、問題毎に、各問題の受験者の正答率と、各問題の受験者の得点平均と、各問題が不適当問題であるか否かを示す妥当性フラグも一緒に管理されるようになっている。この正解ファイルは、請求項に記載した「問題評価ファイル」を兼ねている。ここで、妥当性フラグは、最初はすべてリセットされており、不適当問題は存在しない、という状態が初期状態となっている。
【００１２】
また、符号１５は、採点テーブルである。この採点テーブルの説明をする前に、まず本願が前提としている解答用紙の構造に言及しておく。図３は、本願が前提とする解答用紙（マークシート用紙）の一例を示している。その特徴は、問題毎に、解答だけでなく、その解答について受験者自身が判断した確信度を記入する点にある。例えば、ある問題の解答を記入したが、その解答が正解かどうか全く自信が無ければ、「全く自信なし」をマークし、自分の解答にまあまあ自信がある場合は「まあまあ自信あり」をマークし、自分の解答が確実に正解であるという自信を持っている場合は「確実」をマークする。これにより、各問題毎に解答とその解答に対する確信度とが一組として記録される。
【００１３】
さて、このような特徴的な解答用紙を用いた試験について、採点を行う際に、図２に示した採点テーブルを用いるのである。採点は、解答が正答の場合と、誤答の場合とで得点が異なるだけでなく、更に、その解答に対する確信度によっても異なる得点が与えられる。まず、得点は、誤答の場合よりも正答の場合の方が高くなる。本実施形態では、正答の場合はプラスの得点が与えられ、一方、誤答の場合はマイナスの得点が与えられるようになっている。更に、正答の場合は、確信度が高いほど高い得点が与えられるようになっており、逆に、誤答の場合は、確信度が高いほど低い得点が与えられるようになっている。これはつまり、自信を持って答えて、それが正答であったときに最も高い得点が与えられ、逆に、自信をもって答えたのに誤答であったときに最も低い得点が与えられることになる。これにより、単に正答か誤答かで得点を与える従来の試験とは異なり、受験者の理解度を反映した採点が可能となっている。
【００１４】
続いて、符号１６は、各受験者毎に、各問題への解答と、各問題への解答の確信度とを記録する解答ファイルである。この解答ファイル１６では、各問題への解答が正答が誤答かを示す正誤フラグと、各問題の得点と、各受験者の得点の合計点も関連付けて管理されるようになっている。
【００１５】
また、符号１７は、問題妥当性閾値であり、後で不適当問題を判定する際に用いられる閾値である。この閾値は、入力装置１の操作に応じて自在に設定できるようになっている。また、符号１８は、合否判定閾値であり、後で合否判定をする際に用いられる閾値である。この閾値も、入力装置１の操作に応じて自在に設定できるようになっている。
【００１６】
本実施形態では、これらのデータを用いることによって、試験における自動的な合否判定を行う。そのためのコンピュータ処理を図４乃至図８のフローチャートを参照しつつ説明する。
【００１７】
図４は、解答の取り込みから合否判定までの動作全体の順序を表している。まず、入力装置１としてのスキャナーにより、図３に示した解答用紙をスキャンし、図２の解答ファイル１６に各受験者の各問題に対する解答および確信度を取り込む（Ｓ１）。続いて、この取り込んだ解答および確信度に基づく採点処理を行う（Ｓ２）。次に、この採点結果に応じて、今回の出題のうち出題が不適当であった問題を判定し、採点対象から除外する（Ｓ３）。そして、不適当問題を除外した上で再度の採点処理を行い（Ｓ４）、この最終的な採点結果に応じて、各受験者の合否判定処理を行い（Ｓ５）、判定結果を出力装置に出力する（Ｓ６）。これらのコンピュータの動作は、処理装置４が予め準備されたプログラムを逐次実行することによって実現される。
【００１８】
それでは、Ｓ２の採点処理から順に詳細を説明してゆく。図５は、採点処理Ｓ２のフローチャートである。採点処理Ｓ２の実行段になると、処理装置１４は、予め決められた規則に則って、ある受験者を選択する。例えば、受験者識別子の昇順に受験者を選択する（Ｓ２１）。また、処理装置４は、予め決められた規則に則って、ある問題を選択する。例えば、問題識別子の昇順に問題を選択する（Ｓ２２）。続いて、処理装置４は、選択中の受験者について、選択中の問題の解答を読み出す（Ｓ２３）。解答は、記憶装置３に格納された解答ファイル１６から読み出す。また、処理装置４は、選択中の問題について正解を読み出す（Ｓ２４）。正解は正解ファイル１４から読み出す。続いて、処置装置４は、読み出した解答と正解との一致不一致に応じて、選択中の受験者の選択中の問題について正誤フラグを設定する（Ｓ２５）。正誤フラグの設定は、解答ファイル１６に対して行う。続いて、処理装置４は、選択中の受験者について、選択中の問題についての確信度を読み出す（Ｓ２６）。確信度は解答ファイル１６から読み出す。続いて、処理装置４は、採点テーブル１５を参照し、選択中の問題についての正誤フラグと確信度とに基づき、選択中の問題についての得点を決定する（Ｓ２７）。本実施形態では、解答の正誤と確信度との組み合わせに応じて、−１点以上１点以下の得点が選択中の問題についての得点として与えられる。処理装置４は、決定した得点を解答ファイル１６の該当する問題の得点として記録する。そして、処理装置４は、以上のＳ２２からＳ２８までの処理をすべての問題について処理するまで繰り返す（Ｓ２８）。そして、選択中の受験者について、すべての問題の処理が終了すると、選択中の受験者について、すべての問題の得点を加算した合計点を算出する（Ｓ２９）。合計点は、選択中の受験者に関連付けて解答ファイル１６に格納する。こうして、選択中の受験者についてＳ２２からＳ２９までの処理が終了すると、処理装置４は、Ｓ２１からＳ２９までの処理をすべての受験者について処理するまで繰り返す（Ｓ３０）。これにより、すべての受験者について、すべての問題の正誤フラグと、すべての問題の得点と、合計点とが、解答ファイル１６に記録される。以上で採点処理が完了する。
【００１９】
続いて、Ｓ３の不適当問題判定処理の詳細を説明する。図６は、不適当問題判定処理Ｓ３のフローチャートである。不適当問題判定処理の実行段になると、処理装置４は、まず、ある問題を選択する（Ｓ３１）。例えば、問題識別子の昇順に問題を選択する。続いて、選択中の問題について、全受験者の得点の平均を算出する（Ｓ３２）。このため処理装置４は、選択中の問題について、解答ファイル１６から全受験者の得点を読み出し、それらを加算するとともに、記憶装置３から受験者数のデータを読み出し、得点の加算結果を受験者数で割ることによって、選択中の問題についての全受験者の得点の平均を算出する。続いて、処理装置４は、選択中の問題について、全受験者の正答率を算出する（Ｓ３３）。このため、処理装置４は、選択中の問題について、解答ファイル１６から各受験者の正誤フラグを読み出し、正答している受験者の人数を集計すると共に、記憶装置３から受験者数のデータを読み出し、当該正答者の人数を受験者数で割ることによって、選択中の問題についての正答率を算出する。処理装置４は、上記算出した得点平均および正答率を正解ファイル１４の該当する問題のレコードに記録する。そして、処理装置４は、上記Ｓ３１からＳ３３までの処理をすべての問題について処理するまで繰り返す（Ｓ３４）。すべての問題について、得点平均と正答率の算出を終えると、処理装置４は、各問題の得点平均および正答率を正解ファイル１４から読み出し、当該正答率と得点平均とを２軸とした２次元座標に各問題をプロット表示する。表示は、出力装置２としての表示装置に対して行う。
【００２０】
この表示例を図９に示す。この表示例では、横軸に正答率、縦軸に平均得点をとり、各問題をプロットしている。続いて、処理装置４は、問題妥当性閾値１７として、正答率の閾値と、得点平均の閾値とを入力装置１から受け付ける。本システムの利用者は、入力装置１を操作し、正答率の閾値と得点平均の閾値とを入力する。この入力を受けた処理装置４は、正答率の最大値と得点平均の最大値の交点座標Ａから正答率の閾値と得点平均の閾値との交点座標Ｂまでの距離Ｒ１を算出する（Ｓ３７）。ここで、正答率の最大値は１００％であり、得点平均の最大値は、本実施形態の採点テーブル１５より１点である。その後、処理装置４は、正答率の閾値を表すラインと、得点平均の閾値を表すラインと、上記交点ＡとＢとを結ぶ線分を半径とする円弧とを先の各問題のプロットに重ねて表示する。表示状態は図９に示すようになる。また、処理装置４は、演算した距離Ｒ１を半径とする円弧の外側に位置する問題を不適当問題と判定し、表示状態を他の問題のプロットと視覚的に異ならせる。この判定のための演算は、各問題の正答率および得点平均の値を用いて、各問題毎に上記交点Ａからの距離ｒ１を出し、この距離を上記閾値までの距離Ｒ１と比較することによって行うことができる。このとき、不適当問題の数を表示装置に表示するようにしてもよい。
【００２１】
処理装置４は、本システムの利用者が閾値の最終決定操作を行うまで、上記Ｓ３６からＳ３８までの処理を繰り返す（Ｓ３９）。そして、閾値の最終決定操作を受け付けた場合、処理装置４は、その時点で不適当問題と判定されている問題について、正解ファイル１４の妥当性フラグを「不適当問題」を表す設定に変更する。また、処理装置４は、正解ファイル１４に設定した妥当性フラグをカウントすることにより、全問題数から不適当問題の数を除いた有効問題数を求め、記憶装置に格納する。以上で不適当問題判定処理Ｓ３が完了する。
【００２２】
本システムの横軸である正答率は問題の難易度を示す指標であり、正答率の低い（難易度の高い）問題は不適当問題と判定する。縦軸の平均得点は解答者全体としての解答に対する自信の程度を示しており、回答者の解答行動が現れている。すなわち当該問題に対して多くの解答者が自信を持って正答しているか、自信を持って誤答しているかなどを知ることが可能である。多くの解答者が自信を持って誤答している問題では、その問題で測定される内容が評価の目標にマッチしていないことを示しており、妥当性がないといえる。このことから、縦軸の平均得点は当該問題の「適切さ（Ｒｅｌｅｖａｎｃｅ）」をあらわしているといえ、この数値の低い問題は不適当問題と判定すべきである。これらの不適当問題を判定するための二つの因子を２軸に用いた前記不適当問題判定処理はテストの質を管理する手段として重要な意味を持つ。
【００２３】
続いて、Ｓ４の再採点処理の詳細を説明する。図７は、再採点処理Ｓ４のフローチャートである。再採点処理の実行段になると、処理装置４は、まず、ある受験者を選択する（Ｓ４１）。例えば、受験者識別子の昇順に選択する。続いて、処理装置４は、選択中の受験者４について、不適当問題となった問題の得点の合計を算出する（Ｓ４２）。この処理は、正解ファイル１４の妥当性フラグを参照することにより、不適当問題を特定し、特定した各不適当問題の得点を選択中の受験者について解答ファイル１６から読み出し、読み出した得点を加算することにより行うことができる。続いて、処理装置４は、先の採点処理Ｓ２で得た合計点（選択中の受験者の合計点）から不適当問題の得点の合計（Ｓ４２での算出値）を減算し、この演算結果を選択中の受験者の得点の合計点として補正する（Ｓ４３）。この処理は、選択中の受験者の合計点を解答ファイル１６から読み出し、この値からＳ４２の算出値を減算し、この演算結果を解答ファイル１６の選択中の受験者の合計点に更新することによって行うことができる。処理装置４は、上記Ｓ４１からＳ４３までの処理を、すべての受験者を処理するまで繰り返す（Ｓ４４）。これにより、再採点処理Ｓ４が完了する。
【００２４】
続いて、Ｓ５の合否判定処理の詳細を説明する。図８は、合否判定処理Ｓ５のフローチャートである。合否判定処理の実行段になると、処理装置４は、まず、ある受験者を選択する（Ｓ５１）。例えば、受験者識別子の昇順に受験者を選択する。続いて、選択中の受験者について、不適当問題を除く全問題の得点の平均を算出する（Ｓ５２）。このため処理装置４は、選択中の受験者について、解答ファイル１６から合計点を読み出すと共に、記憶装置３から有効問題数を読み出し、当該合計点を有効問題数で割ることにより、不適当問題を除く全問題の得点の平均を算出する。続いて、処理装置４は、選択中の受験者について、不適当問題を除く全問題の正答率を算出する（Ｓ５３）。このため、処理装置４は、選択中の受験者について、解答ファイル１６から不適当問題を除く各問題の正誤フラグを読み出し、正答している問題の数を集計すると共に、記憶装置３から有効問題数を読み出し、当該正答している問題数を有効問題数で割ることによって、選択中の受験者についての正答率を算出する。処理装置４は、上記算出した得点平均および正答率を解答ファイル１６の該当する受験者のシートに記録する。そして、処理装置４は、上記Ｓ５１からＳ５３までの処理をすべての受験者について処理するまで繰り返す（Ｓ５４）。すべての受験者について、得点平均と正答率の算出を終えると、処理装置４は、各受験者の得点平均および正答率を解答ファイル１６から読み出し、当該正答率と得点平均とを２軸とした２次元座標に各受験者をプロット表示する。表示は、出力装置２としての表示装置に対して行う。
【００２５】
この表示例を図１０に示す。この表示例では、横軸に正答率、縦軸に平均得点をとり、各受験者をプロットしている。続いて、処理装置４は、合否判定閾値１８として、正答率の閾値と、得点平均の閾値とを入力装置１から受け付ける。本システムの利用者は、入力装置１を操作し、正答率の閾値と得点平均の閾値とを入力する。この入力を受けた処理装置４は、正答率の最大値と得点平均の最大値の交点座標Ｃから正答率の閾値と得点平均の閾値との交点座標Ｄまでの距離Ｒ２を算出する（Ｓ５７）。ここで、正答率の最大値は１００％であり、得点平均の最大値は、本実施形態の採点テーブル１５より１点である。その後、処理装置４は、正答率の閾値を表すラインと、得点平均の閾値を表すラインと、上記交点ＣとＤとを結ぶ線分を半径とする円弧とを先の各受験者のプロットに重ねて表示する。表示状態は図１０に示すようになる。また、処理装置４は、演算した距離Ｒ２を半径とする円弧の外側に位置する問題を不合格者と判定し、表示状態を他の受験者のプロットと視覚的に異ならせる。この判定のための演算は、各受験者の正答率および得点平均の値を用いて、各受験者毎に上記交点Ｃからの距離ｒ２を出し、この距離を上記閾値までの距離Ｒ２と比較することによって行うことができる。このとき、不合格者の数を表示装置に表示するようにしてもよい。
【００２６】
処理装置４は、本システムの利用者が閾値の最終決定操作を行うまで、上記Ｓ５６からＳ５８までの処理を繰り返す（Ｓ５９）。そして、閾値の最終決定操作を受け付けた場合、処理装置４は、その時点で不合格者と判定されている受験者を出力装置２に対し出力する。以上で合否判定処理Ｓ５が完了する。
【００２７】
従来の客観試験の合否判定は横軸の正答率のみで行われてきた。しかし、この客観試験では当て推量でも正答になることがあり、その解答に対する確信の度合いは不明である。つまり、不確実な知識で正答しても確実な知識をもって正答したと判定される。本システムの縦軸の得点平均は、テスト問題を解答する際の解答者の確信の度合いが全体として示されており、当該テストで問うべき知識の把握の度合いをより正確に表現している。従って、横軸に正答率を縦軸に得点平均を用いた２次元座標では、正答率が高くても知識把握の度合いの低い解答者を、また、逆に正答率が低くても知識把握の度合いの高い解答者などを識別できる。本システムでは正答率と知識把握の度合いの２因子からより妥当性の高い合否判定が可能となる。
【００２８】
ここで、本願発明は、以上に説明した実施の形態に限られるものではない。実施上のハードウェア構成、データベース構造及びプログラム処理の順序は、既知の技術により種々の変更が可能である。
【００２９】
【発明の効果】
本発明は、以上のように構成され機能するので、これによると、従来の解答毎確信度記入フォームを利用して試験を行った際に、各受験者の合否を自動的に判定できる。また、各出題の妥当性を反映した合否判定を自動的に行うことができる。
【図面の簡単な説明】
【図１】本発明の一実施形態において合否判定プログラム及び不適当問題判定プログラムを実行するコンピュータの構成図である。
【図２】図１の記憶装置に格納されるデータの構造図である。
【図３】図１の実施形態で用いられる解答毎確信度記入フォームの構成図である。
【図４】図１の処理装置が実行する合否判定プログラムのフローチャートである。
【図５】図４に示す採点処理のフローチャートである。
【図６】図４に示す不適当問題判定処理のフローチャートである。
【図７】図４に示す再採点処理のフローチャートである。
【図８】図４に示す合否判定処理のフローチャートである。
【図９】図６に示す不適当問題判定処理を説明するための説明図である。
【図１０】図８に示す合否判定処理を説明するための説明図である。
【符号の説明】
１  入力装置
２  出力装置
３  記憶装置
４  処理装置
１１  問題数
１２  有効問題数
１３  受験者数
１４  正解ファイル
１５  採点テーブル
１６  解答ファイル
１７  問題妥当性閾値
１８  合否判定閾値
２１  解答毎確信度記入フォーム
【図１】
2005031386.tif 000003
【図２】
2005031386.tif 000004
【図３】
2005031386.tif 000005
【図４】
2005031386.tif 000006
【図５】
2005031386.tif 000007
【図６】
2005031386.tif 000008
【図７】
2005031386.tif 000009
【図８】
2005031386.tif 000010
【図９】
2005031386.tif 000011
【図１０】
2005031386.tif 000012
【手続補正書】
【提出日】平成15年12月5日(2003.12.5)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】特許請求の範囲
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
問題毎に全受験者の正答率と全受験者の得点指数とを記録した問題評価ファイルを記憶装置に備えると共に、設定された問題妥当性閾値を記憶装置に記憶し、前記得点指数が前記問題への解答と当該解答への確信度との組み合わせによって決定されるシステムにおいて、
コンピュータに、
前記各問題の正答率と得点指数とを前記記憶装置の問題評価ファイルから読み出すステップと、
前記問題妥当性閾値を前記記憶装置から読み出すステップと、
前記正答率と得点指数とを２軸とする２次元座標を仮定した場合の前記正答率の最大値と前記得点指数の最大値との交点座標から前記読み出した問題妥当性閾値の座標までの距離Ｒ１を算出するステップと、
前記正答率と得点指数とを２軸とする２次元座標を仮定した場合の前記正答率の最大値と前記得点指数の最大値との交点座標から前記読み出した各問題の正答率と得点指数との交点座標までの距離ｒ１を算出するステップと、
前記距離Ｒ１よりも距離ｒ１が長い問題を不適当問題と判定するステップと、
を実行させることを特徴とした不適当問題判定プログラム。
【請求項２】
受験者毎に全問題の正答率と全問題の得点指数とを記録した解答ファイルを記憶装置に備えると共に、設定された合否判定閾値を記憶装置に記憶し、前記得点指数が前記問題への解答と当該解答への確信度との組み合わせによって決定されるシステムにおいて、
コンピュータに、
前記各受験者の正答率と得点指数とを前記記憶装置の解答ファイルから読み出すステップと、
前記合否判定閾値を前記記憶装置から読み出すステップと、
前記正答率と得点指数とを２軸とする２次元座標を仮定した場合の前記正答率の最大値と前記得点指数の最大値との交点座標から前記読み出した合否判定閾値の座標までの距離Ｒ２を算出するステップと、
前記正答率と得点指数とを２軸とする２次元座標を仮定した場合の前記正答率の最大値と前記得点指数の最大値との交点座標から前記読み出した各受験者の正答率と得点指数との交点座標までの距離ｒ２を算出するステップと、
前記距離Ｒ２よりも距離ｒ２が長い受験者を不合格と判定するステップと、
を実行させることを特徴とした合否判定プログラム。
【請求項３】
請求項２記載の合否判定プログラムにおいて、
前記コンピュータに、
請求項１記載の不適当問題判定プログラムを実行するステップと、
この不適当問題判定の結果、不適当問題と判定された問題を出題から除いた残りの問題を前記全問題として請求項２記載の合否判定プログラムを実行するステップと、
を実行させることを特徴とした合否判定プログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００５
【補正方法】変更
【補正の内容】
【０００５】
【課題を解決するための手段】
上記目的を達成するため、請求項１記載の発明では、以下の構成を採っている。まず、前提のシステムは、問題毎に全受験者の正答率と全受験者の得点指数とを記録した問題評価ファイルを記憶装置に備えると共に、設定された問題妥当性閾値を記憶装置に記憶し、得点指数が問題への解答と当該解答への確信度との組み合わせによって決定されるものとする。このシステムにおいて、コンピュータに、以下の処理を実行させる。即ち、各問題の正答率と得点指数とを前記記憶装置の問題評価ファイルから読み出すステップと、問題妥当性閾値を前記記憶装置から読み出すステップとを実行させる。また、正答率と得点指数とを２軸とする２次元座標を仮定した場合の正答率の最大値と得点指数の最大値との交点座標から読み出した問題妥当性閾値の座標までの距離Ｒ１を算出するステップと、正答率と得点指数とを２軸とする２次元座標を仮定した場合の正答率の最大値と得点指数の最大値との交点座標から読み出した各問題の正答率と得点指数との交点座標までの距離ｒ１を算出するステップとを実行させる。そして、距離Ｒ１よりも距離ｒ１が長い問題を不適当問題と判定する。
ここで、「得点指数」とは、得点の高低を表す数値であり、得点そのものや当該得点の平均等が該当する。また、「閾値」は、単一の数値により設定されてもよいし、複数の数値により設定されてもよい。例えば、２次元座標において、閾値を座標で特定する場合は２つの数値により閾値が特定されるが、当該座標までの距離により閾値を特定する場合は単一の数値により閾値が特定される。また、「２次元座標を仮定」するとは、コンピュータ処理において、上記距離の演算を実行できるようなデータの持ち方がされていれば足り、必ずしも、２次元座標が画像メモリ上に展開されることを必要とするものではない。以上の解釈は、以下の発明についても適用される。


【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００６
【補正方法】変更
【補正の内容】
【０００６】
また、請求項２記載の発明では、以下の構成を採っている。まず、前提のシステムは、受験者毎に全問題の正答率と全問題の得点指数とを記録した解答ファイルを記憶装置に備えると共に、設定された合否判定閾値を記憶装置に記憶し、得点指数が前記問題への解答と当該解答への確信度との組み合わせによって決定されるものとする。このシステムにおいて、コンピュータに、以下の処理を実行させる。即ち、各受験者の正答率と得点指数とを記憶装置の解答ファイルから読み出すステップと、合否判定閾値を記憶装置から読み出すステップとを実行させる。また、正答率と得点指数とを２軸とする２次元座標を仮定した場合の正答率の最大値と得点指数の最大値との交点座標から読み出した合否判定閾値の座標までの距離Ｒ２を算出するステップと、正答率と得点指数とを２軸とする２次元座標を仮定した場合の正答率の最大値と得点指数の最大値との交点座標から読み出した各受験者の正答率と得点指数との交点座標までの距離ｒ２を算出するステップとを実行させる。そして、距離Ｒ２よりも距離ｒ２が長い受験者を不合格と判定する。


【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１４
【補正方法】変更
【補正の内容】
【００１４】
続いて、符号１６は、各受験者毎に、各問題への解答と、各問題への解答の確信度とを記録する上記記憶装置に格納された解答ファイルである。この解答ファイル１６では、各問題への解答が正答が誤答かを示す正誤フラグと、各問題の得点と、各受験者の得点の合計点も関連付けて管理されるようになっている。


【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００１５
【補正方法】変更
【補正の内容】
【００１５】
また、符号１７は、上記記憶装置に格納された問題妥当性閾値であり、後で不適当問題を判定する際に用いられる閾値である。この閾値は、入力装置１の操作に応じて自在に設定できるようになっている。また、符号１８は、上記記憶装置に格納された合否判定閾値であり、後で合否判定をする際に用いられる閾値である。この閾値も、入力装置１の操作に応じて自在に設定できるようになっている。