(57)【要約】  【課題】  記述式試験の採点者を評価するために、採点者が採点すべき複数の答案の中に評価が予め定まっている答案を混入する既評価答案混入方法、既評価答案混入装置、及びコンピュータプログラムを提供する。  【解決手段】  既評価答案混入装置１は、試験問題として用いられる可能性のある複数の設問について予め正答または誤答の評価が定まっている既評価答案を既評価答案ＤＢ１４ａ記憶しておき、実際の試験問題に含まれる各設問についての既評価答案を抽出して問題別既評価答案ＤＢ１４ｅに記憶し、受験者が解答して未だ採点がされていない複数の未評価答案を採点者に採点させるために採点端末３に出力する際に、複数の未評価答案の順番の中に問題別既評価答案ＤＢ１４ｅから選択した既評価答案を混入して出力する。採点者は既評価答案も同時に採点することになり、採点者の採点能力を評価することが可能となる。【選択図】        図１
2005196281.tif 000002
【特許請求の範囲】
【請求項１】
記憶部、演算部及び出力部を備えるコンピュータを用いて、試験問題が含む複数の設問の夫々に対する複数の未評価答案の中に、評価が既に定まっている既評価答案を混入する方法であって、
複数の設問の夫々に関連づけて当該設問に対する複数の既評価答案を前記記憶部で記憶し、
前記試験問題が含む複数の設問の夫々に関連づけて前記記憶手段で記憶している前記複数の既評価答案の中から任意数の既評価答案を前記演算部で抽出し、
前記演算部で抽出した前記任意数の既評価答案を前記試験問題が含む複数の設問の夫々に関連づけて前記記憶部で記憶し、
前記試験問題が含む複数の設問中の一の設問に対する前記複数の未評価答案と、前記一の設問に関連づけて前記記憶部で記憶している前記任意数の既評価答案の中から取り出した所定数の既評価答案とを前記出力部で出力する
ことを特徴とする既評価答案混入方法。
【請求項２】
記憶部及び演算部を備えるコンピュータを用いて、試験問題が含む複数の設問の夫々に対する複数の未評価答案の予め定まっている順番の中に、評価が既に定まっている既評価答案を混入する方法であって、
複数の設問の夫々に関連づけて当該設問に対する複数の既評価答案を前記記憶部で記憶し、
前記試験問題が含む複数の設問の夫々に関連づけて前記記憶手段で記憶している前記複数の既評価答案の中から任意数の既評価答案を前記演算部で抽出し、
前記演算部で抽出した前記任意数の既評価答案を前記試験問題が含む複数の設問の夫々に関連づけて前記記憶部で記憶し、
所定数の既評価答案を前記複数の未評価答案の順番の中に混入させるための前記所定数の混入位置を前記演算部で決定し、
前記演算部で決定した各混入位置を指定する混入位置指定情報を含む、前記複数の未評価答案及び前記所定数の既評価答案の夫々の順番を指定する順番指定情報を前記記憶部で記憶する
ことを特徴とする既評価答案混入方法。
【請求項３】
前記コンピュータは出力部を更に備えており、
前記試験問題が含む複数の設問の中から一の設問を前記演算部で選択し、
前記演算部で選択した前記一の設問に関連づけて前記記憶部で記憶している前記任意数の既評価答案の中から、前記順番指定情報が含む前記混入位置指定情報が指定する前記所定数の混入位置の夫々に混入すべき既評価答案の夫々を前記演算部で選択し、
前記一の設問に対する前記複数の未評価答案及び前記演算部で選択した前記所定数の既評価答案の夫々を前記順番指定情報が指定する順番に従って順に前記出力部で出力する
ことを特徴とする請求項２に記載の既評価答案混入方法。
【請求項４】
前記コンピュータは、採点者の識別情報を受け付ける受付部を更に備えており、
採点者の識別情報を採点者のランクに関連づけて前記記憶部で記憶し、
既評価答案の夫々に関連づけて当該既評価答案の難易度を前記記憶部で記憶し、
前記所定数の既評価答案を前記演算部で選択する際には、前記受付部が受け付けた識別情報に関連づけられた前記ランクに応じた難易度に関連づけられた既評価答案を選択する
ことを特徴とする請求項３に記載の既評価答案混入方法。
【請求項５】
試験問題が含む複数の設問の夫々に対する複数の未評価答案の予め定まっている順番の中に、評価が既に定まっている既評価答案を混入する装置であって、
複数の設問の夫々に関連づけて当該設問に対する複数の既評価答案を記憶する第１記憶手段と、
前記試験問題が含む複数の設問の夫々に関連づけて前記第１記憶手段が記憶している前記複数の既評価答案の中から任意数の既評価答案を抽出する手段と、
該手段が抽出した前記任意数の既評価答案を前記試験問題が含む複数の設問の夫々に関連づけて記憶する第２記憶手段と、
所定数の既評価答案を前記複数の未評価答案の順番の中に混入させるための前記所定数の混入位置を決定する手段と、
該手段が決定した各混入位置を指定する混入位置指定情報を含む、前記複数の未評価答案及び前記所定数の既評価答案の夫々の順番を指定する順番指定情報を記憶する手段と
を備えることを特徴とする既評価答案混入装置。
【請求項６】
前記試験問題が含む複数の設問の中から一の設問を選択する手段と、
該手段が選択した前記一の設問に関連づけて前記第２記憶手段が記憶している前記任意数の既評価答案の中から、前記順番指定情報が含む前記混入位置指定情報が指定する前記所定数の混入位置の夫々に混入すべき既評価答案の夫々を選択する既評価答案選択手段と、
前記一の設問に対する前記複数の未評価答案及び前記既評価答案選択手段が選択した前記所定数の既評価答案の夫々を前記順番指定情報が指定する順番に従って順に出力する出力手段と
を更に備えることを特徴とする請求項５に記載の既評価答案混入装置。
【請求項７】
採点者の識別情報を採点者のランクに関連づけて記憶する識別情報記憶手段と、
前記識別情報を受け付ける識別情報受付手段とを更に備え、
前記第２記憶手段は、既評価答案の夫々に関連づけて当該既評価答案の難易度を記憶すべくなしてあり、
前記既評価答案選択手段は、前記識別情報受付手段が受け付けた識別情報に関連づけられた前記ランクに応じた難易度に関連づけられた既評価答案を選択すべくなしてある
ことを特徴とする請求項６に記載の既評価答案混入装置。
【請求項８】
試験問題が含む複数の設問の夫々に関連づけて、当該設問に対する、評価が既に定まっている複数の既評価答案を記憶するコンピュータに、複数の設問の夫々に対する複数の未評価答案の予め定まっている順番の中に既評価答案を混入させるコンピュータプログラムであって、
コンピュータに、前記試験問題が含む複数の設問の夫々に関連づけられた前記複数の既評価答案の中から任意数の既評価答案を抽出させる手順と、
コンピュータに、前記任意数の既評価答案を前記試験問題が含む複数の設問の夫々に関連づけて記憶させる手順と、
コンピュータに、所定数の既評価答案を複数の未評価答案の順番の中に混入させるための前記所定数の混入位置を決定させる手順と、
コンピュータに、各混入位置を指定する混入位置指定情報を含む、前記複数の未評価答案及び前記所定数の既評価答案の夫々の順番を指定する順番指定情報を記憶させる手順と
を含むことを特徴とするコンピュータプログラム。
【請求項９】
コンピュータに、前記試験問題が含む複数の設問の中から一の設問を選択させる手順と、
コンピュータに、選択した前記一の設問に関連づけて記憶している前記任意数の既評価答案の中から、前記順番指定情報が含む前記混入位置指定情報が指定する前記所定数の混入位置の夫々に混入すべき既評価答案の夫々を選択させる手順と、
コンピュータに、前記一の設問に対する前記複数の未評価答案及び選択した前記所定数の既評価答案の夫々を前記順番指定情報が指定する順番に従って順に出力させる手順と
を更に含むことを特徴とする請求項８に記載のコンピュータプログラム。
【請求項１０】
採点者の識別情報を採点者のランクに関連づけて記憶し、既評価答案の夫々に関連づけて当該既評価答案の難易度を記憶するコンピュータに、受け付けた識別情報に関連づけられた前記ランクに応じた難易度に関連づけられた既評価答案を出力すべき既評価答案として選択させる手順を更に含むことを特徴とする請求項９に記載のコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、記述式試験の採点者を評価するための技術に関し、採点者が採点すべき複数の答案の中に評価が予め定まっている答案を混入する既評価答案混入方法、既評価答案混入装置、及びコンピュータプログラムに関する。
【背景技術】
【０００２】
記述式の試験においては、試験答案の採点は人手で行う必要がある。資格試験などの多くの受験者が受験する試験では、予め定められた時間内に膨大な量の答案の採点を行うので、多人数の採点者で効率良く採点を行う必要がある。特許文献１では、出題された複数の設問のうち一の設問についての複数の答案をコンピュータの表示装置に表示し、表示された一の設問についての複数の答案の夫々を採点者が採点する技術が開示されている。この技術を用いることにより、採点者は同一の設問についての採点を繰り返し行えば良いので、採点の作業が単純化されて効率良く採点を行うことができる。
【０００３】
また、試験答案の採点では正確な採点が求められる。そこで、特許文献１に開示された技術は、採点者が採点すべき複数の答案（以下、未評価答案という）の中に正誤または優良可不可などの評価が予め定まっている答案（以下、既評価答案という）を混入しておき、採点者が既評価答案に対して下す評価と予め定まっている評価とが一致する度合いを求める機能を備えている。この技術を用いることにより、採点者の採点能力を客観的に判定することができるので、判定結果を指標として採点者の能力向上を図ることが可能となる。これによって、試験答案の採点をより正確に行うことができるようになる。
【特許文献１】特開２０００−１２２５１７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
特許文献１に開示された技術を用いて採点者の能力を客観的に判定するためには、既評価答案が適切に混入された複数の未評価答案を用意する必要がある。しかし、特許文献１では、複数の未評価答案の中に既評価答案を混入する方法は開示されていない。
【０００５】
本発明は、斯かる事情に鑑みてなされたものであって、その目的とするところは、個々の設問についての複数の既評価答案を予め蓄積しておき、試験問題に含まれる設問の夫々についての複数の既評価答案を抽出し、抽出した既評価答案を表示装置に表示される複数の未評価答案に割り込ませて表示させることにより、採点者の採点能力の判定を実現させることができる既評価答案混入方法、既評価答案混入装置、及びコンピュータを既評価答案混入装置として実現させるためのコンピュータプログラムを提供することにある。
【課題を解決するための手段】
【０００６】
第１発明に係る既評価答案混入方法は、記憶部、演算部及び出力部を備えるコンピュータを用いて、試験問題が含む複数の設問の夫々に対する複数の未評価答案の中に、評価が既に定まっている既評価答案を混入する方法であって、複数の設問の夫々に関連づけて当該設問に対する複数の既評価答案を前記記憶部で記憶し、前記試験問題が含む複数の設問の夫々に関連づけて前記記憶手段で記憶している前記複数の既評価答案の中から任意数の既評価答案を前記演算部で抽出し、前記演算部で抽出した前記任意数の既評価答案を前記試験問題が含む複数の設問の夫々に関連づけて前記記憶部で記憶し、前記試験問題が含む複数の設問中の一の設問に対する前記複数の未評価答案と、前記一の設問に関連づけて前記記憶部で記憶している前記任意数の既評価答案の中から取り出した所定数の既評価答案とを前記出力部で出力することを特徴とする。
【０００７】
第２発明に係る既評価答案混入方法は、記憶部及び演算部を備えるコンピュータを用いて、試験問題が含む複数の設問の夫々に対する複数の未評価答案の予め定まっている順番の中に、評価が既に定まっている既評価答案を混入する方法であって、複数の設問の夫々に関連づけて当該設問に対する複数の既評価答案を前記記憶部で記憶し、前記試験問題が含む複数の設問の夫々に関連づけて前記記憶手段で記憶している前記複数の既評価答案の中から任意数の既評価答案を前記演算部で抽出し、前記演算部で抽出した前記任意数の既評価答案を前記試験問題が含む複数の設問の夫々に関連づけて前記記憶部で記憶し、所定数の既評価答案を前記複数の未評価答案の順番の中に混入させるための前記所定数の混入位置を前記演算部で決定し、前記演算部で決定した各混入位置を指定する混入位置指定情報を含む、前記複数の未評価答案及び前記所定数の既評価答案の夫々の順番を指定する順番指定情報を前記記憶部で記憶することを特徴とする。
【０００８】
第３発明に係る既評価答案混入方法は、前記コンピュータは出力部を更に備えており、前記試験問題が含む複数の設問の中から一の設問を前記演算部で選択し、前記演算部で選択した前記一の設問に関連づけて前記記憶部で記憶している前記任意数の既評価答案の中から、前記順番指定情報が含む前記混入位置指定情報が指定する前記所定数の混入位置の夫々に混入すべき既評価答案の夫々を前記演算部で選択し、前記一の設問に対する前記複数の未評価答案及び前記演算部で選択した前記所定数の既評価答案の夫々を前記順番指定情報が指定する順番に従って順に前記出力部で出力することを特徴とする。
【０００９】
第４発明に係る既評価答案混入方法は、前記コンピュータは、採点者の識別情報を受け付ける受付部を更に備えており、採点者の識別情報を採点者のランクに関連づけて前記記憶部で記憶し、既評価答案の夫々に関連づけて当該既評価答案の難易度を前記記憶部で記憶し、前記所定数の既評価答案を前記演算部で選択する際には、前記受付部が受け付けた識別情報に関連づけられた前記ランクに応じた難易度に関連づけられた既評価答案を選択することを特徴とする。
【００１０】
第５発明に係る既評価答案混入装置は、試験問題が含む複数の設問の夫々に対する複数の未評価答案の予め定まっている順番の中に、評価が既に定まっている既評価答案を混入する装置であって、複数の設問の夫々に関連づけて当該設問に対する複数の既評価答案を記憶する第１記憶手段と、前記試験問題が含む複数の設問の夫々に関連づけて前記第１記憶手段が記憶している前記複数の既評価答案の中から任意数の既評価答案を抽出する手段と、該手段が抽出した前記任意数の既評価答案を前記試験問題が含む複数の設問の夫々に関連づけて記憶する第２記憶手段と、所定数の既評価答案を前記複数の未評価答案の順番の中に混入させるための前記所定数の混入位置を決定する手段と、該手段が決定した各混入位置を指定する混入位置指定情報を含む、前記複数の未評価答案及び前記所定数の既評価答案の夫々の順番を指定する順番指定情報を記憶する手段とを備えることを特徴とする。
【００１１】
第６発明に係る既評価答案混入装置は、前記試験問題が含む複数の設問の中から一の設問を選択する手段と、該手段が選択した前記一の設問に関連づけて前記第２記憶手段が記憶している前記任意数の既評価答案の中から、前記順番指定情報が含む前記混入位置指定情報が指定する前記所定数の混入位置の夫々に混入すべき既評価答案の夫々を選択する既評価答案選択手段と、前記一の設問に対する前記複数の未評価答案及び前記既評価答案選択手段が選択した前記所定数の既評価答案の夫々を前記順番指定情報が指定する順番に従って順に出力する出力手段とを更に備えることを特徴とする。
【００１２】
第７発明に係る既評価答案混入装置は、採点者の識別情報を採点者のランクに関連づけて記憶する識別情報記憶手段と、前記識別情報を受け付ける識別情報受付手段とを更に備え、前記第２記憶手段は、既評価答案の夫々に関連づけて当該既評価答案の難易度を記憶すべくなしてあり、前記既評価答案選択手段は、前記識別情報受付手段が受け付けた識別情報に関連づけられた前記ランクに応じた難易度に関連づけられた既評価答案を選択すべくなしてあることを特徴とする。
【００１３】
第８発明に係るコンピュータプログラムは、試験問題が含む複数の設問の夫々に関連づけて、当該設問に対する、評価が既に定まっている複数の既評価答案を記憶するコンピュータに、複数の設問の夫々に対する複数の未評価答案の予め定まっている順番の中に既評価答案を混入させるコンピュータプログラムであって、コンピュータに、前記試験問題が含む複数の設問の夫々に関連づけられた前記複数の既評価答案の中から任意数の既評価答案を抽出させる手順と、コンピュータに、前記任意数の既評価答案を前記試験問題が含む複数の設問の夫々に関連づけて記憶させる手順と、コンピュータに、所定数の既評価答案を複数の未評価答案の順番の中に混入させるための前記所定数の混入位置を決定させる手順と、コンピュータに、各混入位置を指定する混入位置指定情報を含む、前記複数の未評価答案及び前記所定数の既評価答案の夫々の順番を指定する順番指定情報を記憶させる手順とを含むことを特徴とする。
【００１４】
第９発明に係るコンピュータプログラムは、コンピュータに、前記試験問題が含む複数の設問の中から一の設問を選択させる手順と、コンピュータに、選択した前記一の設問に関連づけて記憶している前記任意数の既評価答案の中から、前記順番指定情報が含む前記混入位置指定情報が指定する前記所定数の混入位置の夫々に混入すべき既評価答案の夫々を選択させる手順と、コンピュータに、前記一の設問に対する前記複数の未評価答案及び選択した前記所定数の既評価答案の夫々を前記順番指定情報が指定する順番に従って順に出力させる手順とを更に含むことを特徴とする。
【００１５】
第１０発明に係るコンピュータプログラムは、採点者の識別情報を採点者のランクに関連づけて記憶し、既評価答案の夫々に関連づけて当該既評価答案の難易度を記憶するコンピュータに、受け付けた識別情報に関連づけられた前記ランクに応じた難易度に関連づけられた既評価答案を出力すべき既評価答案として選択させる手順を更に含むことを特徴とする。
【００１６】
第１発明においては、未だ採点が行われていない試験問題の複数の未評価答案の中に評価が既に定まっている既評価答案を混入するために、試験問題として用いられる可能性のある個々の設問についての複数の既評価答案を記憶しておき、試験問題に含まれる夫々の設問についての複数の既評価答案を抽出して記憶し、一の設問に対する未評価答案及び既評価答案を出力する。この既評価答案の出力の際には、当該設問に関連づけて抽出して記憶している複数の既評価答案の中から所定数の既評価答案を取り出して出力する。
【００１７】
第２、第５及び第８発明においては、未だ採点が行われていない試験問題の複数の未評価答案の中に評価が既に定まっている既評価答案を混入するために、試験問題として用いられる可能性のある個々の設問についての複数の既評価答案を記憶しておき、試験問題に含まれる夫々の設問についての複数の既評価答案を抽出して記憶し、受験番号の順などで予め定められた未評価答案の順番の中に所定数の既評価答案を混入させるための混入位置を決定し、複数の未評価答案及び所定数の既評価答案の順番を指定する順番指定情報を記憶する。
【００１８】
第３、第６及び第９発明においては、採点のために答案を出力すべき一の設問を選択し、当該設問に関連づけて抽出して記憶している複数の既評価答案の中から、未評価答案に混入させるべき所定数の既評価答案を選択し、順番指定情報が指定する順番に従って一の設問に対する未評価答案または既評価答案を順に出力する。
【００１９】
第４、第７及び第１０発明においては、採点者の能力を示すランクと既評価答案を正当に評価する難解さを示す難易度とを記憶しておき、出力すべき所定数の既評価答案を選択する際には、採点者のランクに応じた難易度の既評価答案を選択する。
【発明の効果】
【００２０】
第１、第２、第５及び第８発明にあっては、試験問題として用いられる可能性のある複数の設問について予め評価が定まっている既評価答案を記憶しておき、実際の試験問題に含まれる各設問についての既評価答案を抽出し、受験者が解答して未だ採点がされていない複数の未評価答案の順番の中に混入することにより、採点者が未評価答案を採点する際に既評価答案も同時に採点させることができるようになり、既評価答案に対して採点者が下した評価と予め定まっている評価とを比較することにより、採点者の能力を客観的に判定することができる。また、採点者の能力を客観的に判定することができるので、判定結果を指標として採点者の能力向上を図ることが可能となり、試験答案の採点をより正確に行うことができるようになる。
【００２１】
第３、第６及び第９発明にあっては、未評価答案の中にどの既評価答案を混入するかを固定せず未評価答案の中に既評価答案が混入される混入位置を定めておき、採点者が答案を採点する際に、混入位置に既評価答案を割り込ませて採点させることにより、設問の種類または採点者に応じて混入すべき既評価答案を選択することが容易になり、的確に採点者の能力を判定することができる。
【００２２】
第４、第７及び第１０発明にあっては、各採点者にランクを定め、各既評価答案に採点の難易度を定めておき、未評価答案に既評価答案を混入して採点させる際には、採点者のランクに応じた難易度の既評価答案を混入することにより、以前に採点能力が高いと判定された高ランクの採点者には高難易度の既評価答案を採点させ、低ランクの採点者には低難易度の既評価答案を採点させるなど、採点者の能力に応じた適切な既評価答案を採点させることが可能となり、採点者の能力に応じてその能力をより詳細に判定することができる等、本発明は優れた効果を奏する。
【発明を実施するための最良の形態】
【００２３】
以下本発明をその実施の形態を示す図面に基づき具体的に説明する。
本発明は、記述式の試験において採点者が答案を採点する作業を補助すると同時に採点者の採点能力を判定するための技術である。具体的には、採点者が採点すべき未評価答案の中に既評価答案を混入しておいて採点者に採点させることにより、採点者の採点能力を判定する。以下の記述では「日本漢字能力検定試験」等の漢字試験の採点に本発明を適用した場合を例として本発明を説明する。
【００２４】
図１は、本発明の既評価答案混入装置１の内部構成を示すブロック図である。既評価答案混入装置１は、パーソナルコンピュータ又はサーバ装置などの汎用コンピュータを用いて構成されている。既評価答案混入装置１は、演算を行うＣＰＵ（演算部）１１と、演算に伴って発生する一時的な情報を記憶するＲＡＭ１２と、ＣＤ−ＲＯＭドライブ等の外部記憶装置１３と、ハードディスク等の内部記憶装置（記憶部）１４とを備えている。ＣＰＵ１１は、ＣＤ−ＲＯＭ等の記録媒体２から本発明のコンピュータプログラム２０を外部記憶装置１３にて読み取り、読み取ったコンピュータプログラム２０を内部記憶装置１４に記憶させる。コンピュータプログラム２０は必要に応じて内部記憶装置１４からＲＡＭ１２へロードされ、ロードされたコンピュータプログラム２０に基づいてＣＰＵ１１は既評価答案混入装置１に必要な処理を実行する。既評価答案混入装置１は、キーボード、マウス又はタブレット等の入力装置１５と、液晶ディスプレイ又はＣＲＴディスプレイ等の出力装置１６とを備えており、データの入力を初めとするオペレータからの操作を受け付ける構成となっている。
【００２５】
また、ＣＰＵ１１には、インタフェース部１７が接続されている。インタフェース部１７には、キーボード、マウス又はタブレット等の入力部と、液晶ディスプレイ又はＣＲＴディスプレイ等の出力部とを備えた採点端末３が接続されている。採点端末３は、採点者が採点すべき答案を出力部に出力し、採点者が入力部を操作することにより答案に対する採点の入力を受け付ける構成となっている。採点端末３は、本発明に係る出力部及び出力手段として機能する。
【００２６】
内部記憶装置１４は、試験問題として出題される可能性がある個々の設問についての既評価答案を記憶している既評価答案ＤＢ（第１記憶手段）１４ａを備えている。図２は、既評価答案ＤＢ１４ａの記憶内容の例を示す概念図である。何の漢字についての問題であるかを示す問題の情報、及び漢字についての何を問うているのかを示す問題区分の情報に関連づけて、手書きの文字を電子的に取り込んだイメージデータが記憶されている。問題の情報及び問題区分の情報によって個々の設問が規定される。図中の例では、「奈」という漢字の問題で問題区分がこの漢字を書かせる「漢字」である設問に関連づけて、４個のイメージデータが既評価答案ＤＢ１４ａに記憶されている。また、夫々のイメージデータに関連づけて、このイメージデータが設問の答案として正答であるか又は誤答であるかの評価を示す正誤区分の情報と、このイメージデータを答案として採点するときの難易度を示す難易度の情報とが記憶されている。図中の例では、問題が「奈」で問題区分が「漢字」である設問には、正答のイメージデータが１個と誤答のイメージデータが３個とが記憶されており、正確な採点の難しさを示す難易度が夫々に関連づけられて記憶されている。難易度は、難易度の値が小さいほどこの既評価答案の正確な採点が難しいことを示している。同様にして、問題と問題区分との情報で規定される個々の設問について、正誤区分と難易度との情報が関連づけられたイメージデータが既評価答案ＤＢ１４ａに記憶されている。
【００２７】
また内部記憶装置１４は、採点を行うべき試験問題の内容を示す試験問題データ１４ｂを記憶している。図３は、試験問題データ１４ｂの内容の例を示す概念図である。試験問題データ１４ｂには、どの年度の何回目の何級での試験であるかを示す情報が記録されており、更に、試験における大問Ｎｏ．と小問Ｎｏ．とに関連づけて、問題及び問題区分の情報が記録されている。このようにして試験問題に含まれる複数の設問が指定されている。
【００２８】
また内部記憶装置１４は、試験問題に対する未評価答案に混入すべき既評価答案を既評価答案ＤＢ１４ａから抽出するときの条件を示す抽出条件データ１４ｃを記憶している。図４は、抽出条件データ１４ｃの内容の例を示す概念図である。抽出条件データ１４ｃには、試験問題データ１４ｂに記録されたものと同様の問題と問題区分とで規定された各設問に関連づけて、正答抽出数と誤答抽出数とが記録されている。また、抽出条件データ１４ｃには、既評価答案として同音異義語のイメージデータを抽出するか否かをＹＥＳ又はＮＯで示した同音異義語区分の情報が記録されている。更に、同音異義語区分がＹＥＳである設問について、同音異義語抽出数が記録されている。なお、試験問題データ１４ｂと抽出条件データ１４ｃとは、別々ではなくひとつにまとめられたデータであってもよい。
【００２９】
また、内部記憶装置１４は、同音異義語を有する問題を示す同音異義語データ１４ｄを記憶している。図５は、同音異義語データ１４ｄの内容の例を示す概念図である。同音異義語データ１４ｄには、問題の情報と、問題になっている漢字の読みの情報とが互いに関連づけられて記録されており、互いに同音異義語となる複数の問題がおなじ読みについて互いに関連づけられて記録されている。更に、内部記憶装置１４は、試験問題データ１４ｂに含まれる個々の設問に対する既評価答案を記憶する問題別既評価答案ＤＢ（第２記憶手段）１４ｅを備えている。
【００３０】
コンピュータプログラム２０は、既評価答案ＤＢ１４ａから試験問題に対する既評価答案を抽出して問題別既評価答案ＤＢ１４ｅに記録する既評価答案抽出処理と、試験問題に対する未評価答案の中に既評価答案を混入する位置を決定する混入処理と、既評価答案が混入した未評価答案を採点者に採点させる採点処理と、採点者を評価する評価処理とを行うためのプログラムを含んでいる。
【００３１】
図６は、本発明の既評価答案混入装置１が行う既評価答案抽出処理の手順を示すフローチャートである。ＣＰＵ１１は、ＲＡＭ１２にロードしたコンピュータプログラム２０に従って以下の処理を実行する。ＣＰＵ１１は、内部記憶装置１４が記憶している試験問題データ１４ｂ及び抽出条件データ１４ｃをＲＡＭ１２に読み込む（Ｓ１０１）。ＣＰＵ１１は、次に、試験問題データ１４ｂに記録されている複数の設問の中から一の設問を選択し（Ｓ１０２）、選択した設問の問題と問題区分との情報に基づいてこの設問に対する既評価答案を既評価答案ＤＢ１４ａから検索し、この設問について抽出条件データ１４ｃに記録された正答抽出数の情報に従った数の正答の既評価答案と、誤答抽出数の情報に従った数の誤答の既評価答案とを既評価答案ＤＢ１４ａから抽出する（Ｓ１０３）。このとき抽出された既評価答案は、イメージデータ、正答区分の情報、及び難易度の情報を含んでいる。またこのときは、正答抽出数及び誤答抽出数の情報に従うように、同じ既評価答案を重複して抽出してもよい。
【００３２】
ＣＰＵ１１は、次に、選択している設問について抽出条件データ１４ｃが記録している同音異義語区分の情報はＹＥＳであるか否かを判定する（Ｓ１０４）。同音異義語区分の情報がＹＥＳであった場合は（Ｓ１０４：ＹＥＳ）、ＣＰＵ１１は、選択している設問と同じ読みの問題を同音異義語データ１４ｄから検索し、検索された問題の情報及び選択している設問と同じ問題区分の情報を有している既評価答案を抽出条件データ１４ｃに記録された同音異義語抽出数の情報に従った数だけ既評価答案ＤＢ１４ａから抽出する（Ｓ１０５）。このとき抽出された同音異義語の既評価答案は、既評価答案ＤＢ１４ａには正誤区分の情報が正答と記録されている既評価答案であっても、当該設問に対する誤答であるので、正誤区分は誤答であるとしてＲＡＭ１２が記憶する。
【００３３】
ステップＳ１０４にて同音異義語区分の情報がＮＯであった場合（Ｓ１０４：ＮＯ）、又はステップＳ１０５が終了した場合は、ＣＰＵ１１は、試験問題データ１４ｂに記録されている全ての設問について既評価答案を抽出したか否かを判定する（Ｓ１０６）。既評価答案をまだ抽出していない設問がある場合は（Ｓ１０６：ＮＯ）、ＣＰＵ１１は、処理をステップＳ１０２へ戻し、既評価答案をまだ抽出していない次の設問を選択する。全ての設問について既評価答案を抽出している場合は（Ｓ１０６：ＹＥＳ）、ＣＰＵ１１は、既評価答案を抽出した設問の一覧を出力装置１６へ出力する（Ｓ１０７）。
【００３４】
図７は、既評価答案混入装置１が出力装置１６へ出力した、既評価答案を抽出した設問の一覧の画面例を示す模式図である。試験問題データ１４ｂに記録されているのと同様の各設問について、複数の既評価答案が抽出されていることがわかる。オペレータは、出力装置１６の画面上で既評価答案の一覧を確認し、入力装置１５を操作していずれかの設問を選択することができる。
【００３５】
ＣＰＵ１１は、オペレータが入力装置１５を操作することによるいずれかの設問の選択の受付を監視し（Ｓ１０８）、設問の選択を受け付けた場合は（Ｓ１０８：ＹＥＳ）、選択された設問について抽出した既評価答案を出力装置１６へ出力する（Ｓ１０９）。
【００３６】
図８は、既評価答案混入装置１が出力装置１６へ出力した一の設問についての既評価答案の画面例を示す模式図である。図中には、問題が「会う」で問題区分が「漢字」である設問について抽出した既評価答案を示しており、抽出した複数の既評価答案のイメージデータが出力される。オペレータは、出力装置１６の画面上で夫々のイメージデータを確認し、入力装置１５を操作して、イメージデータの削除、イメージデータの修正、又は新規のイメージデータの入力などの既評価答案の変更の指示を入力することができる。
【００３７】
ＣＰＵ１１は、オペレータが入力装置１５を操作することによる既評価答案の変更の指示の受付を監視し（Ｓ１１０）、変更の指示の受け付けがない場合は（Ｓ１１０：ＮＯ）、処理をステップＳ１０７へ戻す。既評価答案の変更の指示を受け付けた場合は（Ｓ１１０：ＹＥＳ）、ＣＰＵ１１は、オペレータが入力装置１５を操作することによる既評価答案のイメージデータの変更を受け付ける（Ｓ１１１）。このときＣＰＵ１１は、変更の指示が削除であった場合は、削除を指定された既評価答案を削除し、また変更の指示がイメージデータの修正であった場合は、タブレット等の入力装置１５を用いた画面上でのイメージデータの修正を受け付ける。また、変更の指示が新規のイメージデータの入力である場合は、ＣＰＵ１１は、タブレット等の入力装置１５を用いた画面上での新たなイメージデータの入力を受け付け、更に、正誤区分または難易度などの既評価答案に必要な情報を受け付ける。
【００３８】
ステップＳ１１１が終了した後は、ＣＰＵ１１は、処理をステップＳ１０９へ戻す。ステップＳ１０８にて設問の選択の受け付けがない場合は（Ｓ１０８：ＮＯ）、ＣＰＵ１１は、オペレータが入力装置１５を操作して図７に示す如き既評価答案を抽出した設問の一覧の画面上で登録のボタンを押下することによる、登録指示の受付を監視する（Ｓ１１２）。登録指示を受け付けない場合は（Ｓ１１２：ＮＯ）、ＣＰＵ１１は処理をステップＳ１０８へ戻す。登録指示を受け付けた場合は（Ｓ１１２：ＹＥＳ）、ＣＰＵ１１は、試験問題に含まれる複数の設問の夫々に対する既評価答案を問題別既評価答案ＤＢ１４ｅに記録し（Ｓ１１３）、既評価答案抽出処理を終了する。
【００３９】
図９は、問題別既評価答案ＤＢ１４ｅの記憶内容の例を示す概念図である。年度、回、級、大問Ｎｏ．、及び小問Ｎｏ．の設問を指定する情報に関連づけてイメージデータが記録され、また正誤区分と難易度との情報が記録されている。更に、各設問に関連づけられた複数の既評価答案の夫々を区別するための混入連番が記録されている。
【００４０】
内部記憶装置１４は、また、試験問題データ１４ｂが内容を示す試験問題を用いて実施された試験の答案である未評価答案を記録する未評価答案ＤＢ１４ｆを備えている。未評価答案は、紙に記載された答案をスキャナで取り込むか、又は試験の際に受験者がタブレット等の入力装置を操作することによりコンピュータが電子データとして答案を受け付ける等の方法により作成されたデータである。未評価答案ＤＢ１４ｆは、試験問題に含まれる各設問と受験者とを指定する情報に関連づけて、受験者による答案のイメージデータを記録しており、試験問題に含まれる複数の設問の夫々についての未評価答案が受験者を識別する受験者コード順に記録されている。内部記憶装置１４は、また、未評価答案の中に既評価答案を混入する混入位置を示す情報を付加した未評価答案を記録する混入用未評価答案ＤＢ１４ｇを備えている。
【００４１】
図１０は、本発明の既評価答案混入装置１が行う混入処理の手順を示すフローチャートである。ＣＰＵ１１は、ＲＡＭ１２にロードしたコンピュータプログラム２０に従って以下の処理を実行する。ＣＰＵ１１は、採点すべき受験者に係る未評価答案を未評価答案ＤＢ１４ｆからＲＡＭ１２へ読み込み（Ｓ２１）、読み込んだ未評価答案に対応する受験者の数に予め定められている混入率を乗じて、既評価答案の混入数を決定する（Ｓ２２）。なお、混入率はオペレータの操作により入力装置１５が受け付ける処理を行ってもよい。ＣＰＵ１１は、次に、受験者番号に従った未評価答案の順番の中に混入数の既評価答案を混入させるための混入位置を決定する（Ｓ２３）。このとき、ＣＰＵ１１は乱数を用いてランダムに混入位置を決定しても良く、また所定の規則に従って混入位置を決定しても良い。ＣＰＵ１１は、次に、採点すべき未評価答案に対して、決定した混入位置に既評価答案の混入位置であることを示す混入位置情報を付加し（Ｓ２４）、混入位置情報を付加した混入用未評価答案（順番指定情報）を混入用未評価答案ＤＢ１４ｇに記憶させ（Ｓ２５）、処理を終了する。
【００４２】
図１１は、混入用未評価答案ＤＢ１４ｇの記憶内容の例を示す概念図である。採点時に出力される出力順の番号に関連づけて、受験者コードで識別される各受験者の未評価答案が記録されている。更に、混入位置に対応する出力順の番号に関連づけて、末尾が９９９９である等の特殊なコードが混入位置情報として記録されている。
【００４３】
内部記憶装置１４は、また、採点者を識別する採点者コード（識別情報）を記録した採点者データ１４ｈと、採点者と既評価答案の難易度とを対応させるための情報を記録した難易度対応データ１４ｉとを記憶している。
【００４４】
図１２は、採点者データ１４ｈの内容の例を示す概念図である。採点者の夫々を識別する採点者コードに関連づけて、採点者の氏名と採点者のランクを示す情報とが記録されている。採点者のランクは、数字が小さいほど採点者の能力が高いことを示している。図１３は、難易度対応データ１４ｉの内容の例を示す概念図である。採点者のランクに関連づけて、採点時に未評価答案の中に混入される既評価答案の難易度の上限及び下限が記録されている。採点者データ１４ｈ及び難易度対応データ１４ｉに基づいて、各採点者の能力を判定する際の既評価答案の難易度が決定される。
【００４５】
また、内部記憶装置１４は、採点者の採点結果を記録した採点結果ＤＢ１４ｊを備えている。
【００４６】
図１４は、本発明の既評価答案混入装置１が行う採点処理の手順を示すフローチャートである。ＣＰＵ１１は、ＲＡＭ１２にロードしたコンピュータプログラム２０に従って以下の処理を実行する。ＣＰＵ１１は、採点者が採点端末３を操作して採点者コードを入力することによる採点者コードの受付を監視し（Ｓ３０１）、採点者コードの受け付けがない場合は（Ｓ３０１：ＮＯ）、採点者コードの受付の監視を続行する。採点者コードを受け付けた場合は（Ｓ３０１：ＹＥＳ）、ＣＰＵ１１は、受け付けた採点者コードが採点者データ１４ｈに記録された正当な採点者コードであるか否かを判定し（Ｓ３０２）、正当な採点者コードではなかった場合は（Ｓ３０２：ＮＯ）、処理をステップＳ３０１へ戻す。受け付けた採点者コードが正当な採点者コードである場合は（Ｓ３０２：ＹＥＳ）、ＣＰＵ１１は、採点者コードに関連づけて採点者データ１４ｈに記録されている採点者のランクに応じて、難易度対応データ１４ｉに記録されている通りに既評価答案の難易度の上限及び下限を決定する（Ｓ３０３）。
【００４７】
ＣＰＵ１１は、次に、試験問題が含む設問を最初から検索して他の採点者によって未だ採点されていない設問を選択するか、採点者コードに対応して予め定められている設問を選択するか、採点者のランクに対応した設問を選択するか、又は採点者が採点すべき設問を指定する等により、採点者が採点すべき設問を決定する（Ｓ３０４）。以後の処理では、例えば大問５の小問１等の一の設問に対しての複数の答案を採点端末３へ出力する処理を行い、採点者は、当該設問に対する複数の答案の採点を行う。
【００４８】
ＣＰＵ１１は、次に、混入用未評価答案ＤＢ１４ｇに記録してある出力順に従って答案を選択し（Ｓ３０５）、混入用未評価答案ＤＢ１４ｇの選択した答案の位置に混入位置情報が記録されているか否かを判定する（Ｓ３０６）。
【００４９】
混入位置情報が記録されていた場合は（Ｓ３０６：ＹＥＳ）、ＣＰＵ１１は、当該設問に関連づけて問題別既評価答案ＤＢ１４ｅに記録されている複数の既評価答案の中から、難易度がステップＳ３０３で決定した上限及び下限の範囲内である既評価答案を選択する（Ｓ３０７）。ＣＰＵ１１は、次に、出力して採点者に採点させるための答案のデータを記録する出力用データ１４ｍを作成し、出力用データ１４ｍに選択した既評価答案を記録する（Ｓ３０８）。既評価答案を選択する際には、難易度が対応する既評価答案の中からランダムに選択しても良く、難易度が対応する既評価答案の中から混入連番の順に選択しても良い。
【００５０】
ステップＳ３０６にて混入位置情報が記録されておらず未評価答案が記録されていた場合は（Ｓ３０６：ＮＯ）、ＣＰＵ１１は、混入用未評価答案ＤＢ１４ｇの選択した答案の位置に記録されている未評価答案を出力用データ１４ｍに記録する（Ｓ３０９）。
【００５１】
ステップＳ３０８又はステップＳ３０９にて既評価答案または未評価答案を出力用データ１４ｍに記録した後、ＣＰＵ１１は、採点のために出力すべき答案を全て出力用データ１４ｍに記録したか否かを判定する（Ｓ３１０）。出力用データ１４ｍに記録していない答案がある場合は（Ｓ３１０：ＮＯ）、ＣＰＵ１１は、処理をステップＳ３０５へ戻し、出力すべき次の答案を出力用データ１４ｍに記録する処理を行う。採点のために出力すべき答案を全て出力用データ１４ｍに記録している場合は（Ｓ３１０：ＹＥＳ）、ＣＰＵ１１は、出力用データ１４ｍを内部記憶装置１４に記憶させる（Ｓ３１１）。
【００５２】
図１５は、出力用データ１４ｍの内容の例を示す概念図である。採点時に出力される出力順の番号に関連づけて、受験者コードで識別される各受験者の未評価答案が記録されている。更に、混入位置に対応する出力順の番号に関連づけて、選択された既評価答案が記録されている。
【００５３】
ＣＰＵ１１は、次に、出力用データ１４ｍに記録されている未評価答案及び既評価答案を出力順に採点端末３へ所定数だけ出力する（Ｓ３１２）。このとき、ＣＲＴディスプレイ等の採点端末３の出力部に採点者が採点すべき所定数の答案が出力される。ＣＰＵ１１は、次に、採点者が採点端末３の入力部を操作することによる、採点端末３の出力部に出力されている答案に対する採点の受付を監視する（Ｓ３１３）。
【００５４】
図１６は、採点端末３が所定数の答案を出力した出力例を示す模式図である。選択された設問に対する答案が、採点端末３の出力部の出力画面の大きさに応じた所定数だけ出力される。採点者は、採点端末３の入力部を操作して夫々の答案についての採点結果を入力する。
【００５５】
ＣＰＵ１１は、答案に対する採点の受付がない場合は（Ｓ３１３：ＮＯ）、採点の受付の監視を続行し、出力された答案に対する採点を受け付けた場合は（Ｓ３１３：ＹＥＳ）、採点者が担当する当該設問についての採点が完了したか否かを判定する（Ｓ３１４）。採点が完了しておらずに採点すべき答案が未だ残っている場合には（Ｓ３１４：ＮＯ）、ＣＰＵ１１は、処理をステップＳ３１２へ戻して採点者が採点すべき所定数の答案を採点端末３へ出力し、採点の処理を続行する。採点が完了している場合は（Ｓ３１４：ＹＥＳ）、ＣＰＵ１１は、採点者の採点結果を採点結果ＤＢ１４ｊに記録し（Ｓ３１５）、処理を終了する。なお、以上の採点処理では、出力用データ１４ｍを一旦作成してから答案を採点端末３へ出力する処理を行っているが、これに限るものではなく、混入用未評価答案ＤＢ１４ｇから未評価答案を直接に読み出して出力し、答案の位置に混入位置情報が記録されている場合には、その都度難易度に基づいて問題別既評価答案ＤＢ１４ｅから既評価答案を選択して出力する処理を行う形態であってもよい。
【００５６】
図１７は、採点結果ＤＢ１４ｊの記憶内容の例を示す概念図である。各受験者についての未評価答案の各設問に関連づけて正答または誤答の採点結果が記録されており、当該設問の採点を行った採点者の採点者コードが記録されている。また、混入された既評価答案に関連づけて、正誤区分と難易度との情報が更に記録されている。
【００５７】
図１８は、本発明の既評価答案混入装置１が行う評価処理の手順を示すフローチャートである。ＣＰＵ１１は、ＲＡＭ１２にロードしたコンピュータプログラム２０に従って以下の処理を実行する。ＣＰＵ１１は、採点結果ＤＢ１４ｊから既評価答案の採点を抽出し（Ｓ４１）、評価すべき採点者を選択する（Ｓ４２）。ＣＰＵ１１は、次に、選択した採点者についての既評価答案の採点に対して、既評価答案の正答区分の情報と採点結果の情報とを比較して、採点者の採点が既評価答案の既に定まっている評価に対して正解している割合を示す正解率を既評価答案の難易度別に計算する（Ｓ４３）。ＣＰＵ１１は、次に、計算した正解率に応じた採点者の評価を示す評価情報を生成する（Ｓ４４）。このときは、例えば、採点者のランクと同じ数値の難易度の正解率が９０％以上で一つ上の難易度の正解率が５０％以上である場合には採点者の評価を優とし、採点者のランクと同じ数字の難易度の正解率が５０％以下である場合には採点者の評価を不可とする。
【００５８】
ＣＰＵ１１は、次に、全ての採点者について評価が完了したか否かを判定し（Ｓ４５）、評価が完了しておらずに未だ評価されていない採点者がいる場合には（Ｓ４５：ＮＯ）、処理をステップＳ４２へ戻して評価すべき採点者を選択する。全ての採点者について評価が完了している場合は（Ｓ４５：ＹＥＳ）、ＣＰＵ１１は、各採点者についての評価情報を記録した評価データ１４ｋを内部記憶装置１４に記憶させ（Ｓ４６）、処理を終了する。このとき更に、採点者のランクと同じ数値の難易度の正解率が９０％以上で一つ上の難易度の正解率が５０％以上である場合には、採点者データ１４ｈに記録されている採点者のランクをアップし、採点者のランクと同じ数字の難易度の正解率が５０％以下である場合には採点者のランクをダウンする等、評価データ１４ｋに基づいて採点者データ１４ｈを更新する処理を行ってもよい。評価データ１４ｋの内容に基づいて採点者の採点能力が判定され、採点者への指導などが行われる。
【００５９】
以上詳述した如く、本発明においては、試験問題として用いられる可能性のある複数の設問について予め正答または誤答の評価が定まっている既評価答案を記憶しておき、実際の試験問題に含まれる各設問についての既評価答案を抽出し、受験者が解答して未だ採点がされていない複数の未評価答案の順番の中に混入する。これにより、採点者が未評価答案を採点する際に既評価答案も同時に採点させることができるようになり、既評価答案に対して採点者が下した正答または誤答の評価と予め定まっている評価とを比較することにより、採点者の能力を客観的に判定することができる。
【００６０】
また、本発明においては、未評価答案の中にどの既評価答案を混入するかを固定せずに未評価答案の中に既評価答案が混入される混入位置を定めておき、採点者が答案を採点する際に、混入位置に既評価答案を割り込ませて採点させる。これにより、設問の種類または採点者に応じて混入すべき既評価答案を選択することが容易になり、的確に採点者の能力を判定することができる。
【００６１】
更に、本発明においては、各採点者にランクを定め、各既評価答案に採点の難易度を定めておき、未評価答案に既評価答案を混入して採点させる際には、採点者のランクに応じた難易度の既評価答案を混入する。これにより、以前に採点能力が高いと判定された高ランクの採点者には高難易度の既評価答案を採点させ、低ランクの採点者には低難易度の既評価答案を採点させるなど、採点者の能力に応じた適切な既評価答案を採点させることが可能となり、採点者の能力に応じてその能力をより詳細に判定することができる。
【００６２】
以上の如く本発明を用いることにより、試験問題の答案を採点者が採点する際に採点者の能力を客観的に判定することができるので、判定結果を指標として採点者の能力向上を図ることが可能となり、試験答案の採点をより正確に行うことができるようになる。
【００６３】
なお、本実施の形態においては、混入処理において混入位置情報を付加した混入用の未評価答案を作成して混入用未評価答案ＤＢ１４ｇに記憶させる処理を行う形態を示したが、これに限るものではなく、本発明に係る順番指定情報として受験者コードに従った未評価答案の順番及び混入位置を示す情報を作成して内部記憶装置１４に記憶させ、採点処理においてはこの順番指定情報に従って未評価答案及び既評価答案を読み出す処理を行う形態であってもよい。
【００６４】
また、本実施の形態においては、難易度に応じて出力すべき既評価答案を選択する処理を行う形態を示したが、これに限るものではなく、難易度の情報を用いずにどの採点者に対しても同様な方法で出力すべき既評価答案を選択する処理を行う形態であってもよい。また、既評価答案の夫々について難易度を定める形態を示しているが、他と間違えやすい漢字、又は答案の正誤が判定しがたい漢字の設問などのように設問自体に採点の難易度が存在する場合もあるので、設問に関連づけて難易度の情報を記憶しておき、採点者のランクと設問の難易度とに応じて採点者が採点すべき設問を選択する処理を行う形態であってもよい。
【００６５】
また、本実施の形態では漢字試験の採点に本発明を適用した場合を例として本発明を説明しているが、本発明の適用範囲は漢字試験に限るものではなく、その他の試験についても適用することが可能である。
【図面の簡単な説明】
【００６６】
【図１】本発明の既評価答案混入装置の内部構成を示すブロック図である。
【図２】既評価答案ＤＢの記憶内容の例を示す概念図である。
【図３】試験問題データの内容の例を示す概念図である。
【図４】抽出条件データの内容の例を示す概念図である。
【図５】同音異義語データの内容の例を示す概念図である。
【図６】本発明の既評価答案混入装置が行う既評価答案抽出処理の手順を示すフローチャートである。
【図７】既評価答案混入装置が出力装置へ出力した、既評価答案を抽出した設問の一覧の画面例を示す模式図である。
【図８】既評価答案混入装置が出力装置へ出力した一の設問についての既評価答案の画面例を示す模式図である。
【図９】問題別既評価答案ＤＢの記憶内容の例を示す概念図である。
【図１０】本発明の既評価答案混入装置が行う混入処理の手順を示すフローチャートである。
【図１１】混入用未評価答案ＤＢの記憶内容の例を示す概念図である。
【図１２】採点者データの内容の例を示す概念図である。
【図１３】難易度対応データの内容の例を示す概念図である。
【図１４】本発明の既評価答案混入装置が行う採点処理の手順を示すフローチャートである。
【図１５】出力用データの内容の例を示す概念図である。
【図１６】採点端末が所定数の答案を出力した出力例を示す模式図である。
【図１７】採点結果ＤＢの記憶内容の例を示す概念図である。
【図１８】本発明の既評価答案混入装置が行う評価処理の手順を示すフローチャートである。
【符号の説明】
【００６７】
１  既評価答案混入装置
１１  ＣＰＵ（演算部）
１４  内部記憶装置（記憶部）
１４ａ  既評価答案ＤＢ（第１記憶手段）
１４ｅ  問題別既評価答案ＤＢ（第２記憶手段）
２  記録媒体
２０  コンピュータプログラム
３  採点端末（出力手段）
【図１】
2005196281.tif 000003
【図２】
2005196281.tif 000004
【図３】
2005196281.tif 000005
【図４】
2005196281.tif 000006
【図５】
2005196281.tif 000007
【図６】
2005196281.tif 000008
【図７】
2005196281.tif 000009
【図８】
2005196281.tif 000010
【図９】
2005196281.tif 000011
【図１０】
2005196281.tif 000012
【図１１】
2005196281.tif 000013
【図１２】
2005196281.tif 000014
【図１３】
2005196281.tif 000015
【図１４】
2005196281.tif 000016
【図１５】
2005196281.tif 000017
【図１６】
2005196281.tif 000018
【図１７】
2005196281.tif 000019
【図１８】
2005196281.tif 000020