(57)【要約】【課題】採点者の評価を行うことができる採点者評価装置、採点者評価方法及びコンピュータプログラムを提供する。【解決手段】既評価答案混入装置（採点者評価装置）１は、予め正誤の評価が定まっており夫々に難易度が定められている既評価答案を既評価答案ＤＢ１４ａで記憶しておき、採点差のランクに応じた難易度の既評価答案を抽出し、抽出した既評価答案を複数の未評価答案に混入した答案集を採点者に採点させる。また既評価答案混入装置１は、採点結果から既評価答案に対する採点結果を抽出し、抽出した採点結果の正答率を既評価答案の難易度別に求め、求めた難易度別の正解率に応じて採点者に対する評価を判定する。【選択図】図１
2010102730.tif 000002
【特許請求の範囲】
【請求項１】
試験問題の答案を採点する採点者に対する評価を判定する装置において、
正誤の評価が未だ行われていない複数の未評価答案、及び正誤の評価が既に定められており夫々に難易度が定められた複数の既評価答案からなる答案集に含まれる各答案に対する採点者による採点結果を記憶する採点結果記憶手段と、
記憶する採点結果から、既評価答案に対する採点結果を抽出する手段と、
各採点者について、抽出した採点結果が既評価答案の既に定まった評価に対して正解している割合を示す正解率を、既評価答案の難易度別に求める手段と、
求めた難易度別の正解率に応じて、各採点者に対する評価を判定する判定手段と
を備えることを特徴とする採点者評価装置。
【請求項２】
各採点者のランクを、各採点者の識別情報に関連付けて記憶する手段と、
試験問題が含む設問に対する複数の未評価答案を記憶する手段と、
試験問題が含む設問に対する複数の既評価答案、及び各既評価答案の難易度を互いに関連付けて記憶する手段と、
採点者の識別情報を受け付ける手段と、
記憶してある複数の既評価答案から、受け付けた識別情報に関連づけられたランクに応じた難易度が関連付けられた既評価答案を抽出する抽出手段と、
抽出した既評価答案を複数の未評価答案の中に混入した答案集を生成する手段と、
生成した答案集を出力する手段と、
出力した答案集に含まれる各答案に対する採点者からの採点を受け付ける手段とを更に備え、
前記採点結果記憶手段は、受け付けた採点結果を、採点者の識別情報に関連付けて記憶するように構成してあること
を特徴とする請求項１に記載の採点者評価装置。
【請求項３】
採点者のランクと既評価答案の難易度の範囲との対応関係を記憶する手段を更に備え、
前記抽出手段は、複数の既評価答案の内、受け付けた識別情報に関連づけられたランクに対応する範囲に含まれる難易度が関連付けられた既評価答案を抽出する手段を有し、
前記判定手段は、一の採点者について求めた難易度別の正解率が夫々に所定の正解率以上である場合に、前記採点者を優秀であると判定する手段を有すること
を特徴とする請求項２に記載の採点者評価装置。
【請求項４】
求めた難易度別の正解率に応じて、各採点者のランクを更新する手段を更に備えることを特徴とする請求項２又は３に記載の採点者評価装置。
【請求項５】
記憶部及び演算部を備えるコンピュータを用いて、試験問題の答案を採点する採点者に対する評価を判定する方法において、
正誤の評価が未だ行われていない複数の未評価答案、及び正誤の評価が既に定められており夫々に難易度が定められた複数の既評価答案からなる答案集に含まれる各答案に対する採点者による採点結果を前記記憶部で記憶し、
記憶する採点結果から、既評価答案に対する採点結果を前記演算部で抽出し、
各採点者について、抽出した採点結果が既評価答案の既に定まった評価に対して正解している割合を示す正解率を、既評価答案の難易度別に前記演算部で求め、
求めた難易度別の正解率に応じて、各採点者に対する評価を前記演算部で判定すること
を特徴とする採点者評価方法。
【請求項６】
コンピュータは、受付部及び出力部を更に備えており、
各採点者のランクを、各採点者の識別情報に関連付けて前記記憶部で記憶し、
試験問題が含む設問に対する複数の未評価答案を前記記憶部で記憶し、
試験問題が含む設問に対する複数の既評価答案、及び各既評価答案の難易度を互いに関連付けて前記記憶部で記憶し、
採点者の識別情報を前記受付部で受け付け、
記憶してある複数の既評価答案から、受け付けた識別情報に関連づけられたランクに応じた難易度が関連付けられた既評価答案を前記演算部で抽出し、
抽出した既評価答案を複数の未評価答案の中に混入した答案集を前記演算部で生成し、
生成した答案集を前記出力部で出力し、
出力した答案集に含まれる各答案に対する採点者からの採点を前記受付部で受け付け、
受け付けた採点結果を、採点者の識別情報に関連付けて前記記憶部で記憶すること
を特徴とする請求項５に記載の採点者評価方法。
【請求項７】
正誤の評価が未だ行われていない複数の未評価答案、及び正誤の評価が既に定められており夫々に難易度が定められた複数の既評価答案からなる答案集に含まれる各答案に対する採点者による採点結果を記憶するコンピュータに、試験問題の答案を採点する採点者に対する評価を判定させるコンピュータプログラムであって、
記憶する採点結果から、既評価答案に対する採点結果を抽出するステップと、
各採点者について、抽出した採点結果が既評価答案の既に定まった評価に対して正解している割合を示す正解率を、既評価答案の難易度別に求めるステップと、
求めた難易度別の正解率に応じて、各採点者に対する評価を判定するステップと
を含む処理をコンピュータに実行させることを特徴とするコンピュータプログラム。
【請求項８】
各採点者のランクを、各採点者の識別情報に関連付けて記憶し、試験問題が含む設問に対する複数の未評価答案を記憶し、試験問題が含む設問に対する複数の既評価答案、及び各既評価答案の難易度を互いに関連付けて記憶するコンピュータに、
採点者の識別情報を受け付けた場合に、記憶してある複数の既評価答案から、受け付けた識別情報に関連づけられたランクに応じた難易度が関連付けられた既評価答案を抽出するステップと、
抽出した既評価答案を複数の未評価答案の中に混入した答案集を生成するステップと
を含む処理を更に実行させることを特徴とする請求項７に記載のコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、記述式試験の採点者を評価するための採点者評価装置、採点者評価方法及びコンピュータプログラムに関する。
【背景技術】
【０００２】
記述式の試験においては、試験答案の採点は人手で行う必要がある。資格試験などの多くの受験者が受験する試験では、予め定められた時間内に膨大な量の答案の採点を行うので、多人数の採点者で効率良く採点を行う必要がある。特許文献１では、出題された複数の設問のうち一の設問についての複数の答案をコンピュータの表示装置に表示し、表示された一の設問についての複数の答案の夫々を採点者が採点する技術が開示されている。この技術を用いることにより、採点者は同一の設問についての採点を繰り返し行えば良いので、採点の作業が単純化されて効率良く採点を行うことができる。
【０００３】
また、試験答案の採点では正確な採点が求められる。そこで、特許文献１に開示された技術は、採点者が採点すべき複数の答案（以下、未評価答案という）の中に正誤または優良可不可などの評価が予め定まっている答案（以下、既評価答案という）を混入しておき、採点者が既評価答案に対して下す評価と予め定まっている評価とが一致する度合いを求める機能を備えている。この技術を用いることにより、採点者の採点能力を客観的に判定することができるので、判定結果を指標として採点者の能力向上を図ることが可能となる。これによって、試験答案の採点をより正確に行うことができるようになる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０００−１２２５１７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１に開示された技術を用いて採点者の能力を客観的に判定するためには、既評価答案が適切に混入された複数の未評価答案を用意する必要がある。しかし、特許文献１では、複数の未評価答案の中に既評価答案を混入する方法は開示されていない。
【０００６】
本発明は、斯かる事情に鑑みてなされたものであって、その目的とするところは、個々の設問についての複数の既評価答案を予め蓄積しておき、試験問題に含まれる設問の夫々についての複数の既評価答案を抽出し、抽出した既評価答案を複数の未評価答案に混入した答案を採点者に採点させることにより、採点者の評価を判定することができる採点者評価装置、採点者評価方法及びコンピュータプログラムを提供することにある。
【課題を解決するための手段】
【０００７】
本発明に係る採点者評価装置は、試験問題の答案を採点する採点者に対する評価を判定する装置において、正誤の評価が未だ行われていない複数の未評価答案、及び正誤の評価が既に定められており夫々に難易度が定められた複数の既評価答案からなる答案集に含まれる各答案に対する採点者による採点結果を記憶する採点結果記憶手段と、記憶する採点結果から、既評価答案に対する採点結果を抽出する手段と、各採点者について、抽出した採点結果が既評価答案の既に定まった評価に対して正解している割合を示す正解率を、既評価答案の難易度別に求める手段と、求めた難易度別の正解率に応じて、各採点者に対する評価を判定する判定手段とを備えることを特徴とする。
【０００８】
本発明に係る採点者評価装置は、各採点者のランクを、各採点者の識別情報に関連付けて記憶する手段と、試験問題が含む設問に対する複数の未評価答案を記憶する手段と、試験問題が含む設問に対する複数の既評価答案、及び各既評価答案の難易度を互いに関連付けて記憶する手段と、採点者の識別情報を受け付ける手段と、記憶してある複数の既評価答案から、受け付けた識別情報に関連づけられたランクに応じた難易度が関連付けられた既評価答案を抽出する抽出手段と、抽出した既評価答案を複数の未評価答案の中に混入した答案集を生成する手段と、生成した答案集を出力する手段と、出力した答案集に含まれる各答案に対する採点者からの採点を受け付ける手段とを更に備え、前記採点結果記憶手段は、受け付けた採点結果を、採点者の識別情報に関連付けて記憶するように構成してあることを特徴とする。
【０００９】
本発明に係る採点者評価装置は、採点者のランクと既評価答案の難易度の範囲との対応関係を記憶する手段を更に備え、前記抽出手段は、複数の既評価答案の内、受け付けた識別情報に関連づけられたランクに対応する範囲に含まれる難易度が関連付けられた既評価答案を抽出する手段を有し、前記判定手段は、一の採点者について求めた難易度別の正解率が夫々に所定の正解率以上である場合に、前記採点者を優秀であると判定する手段を有することを特徴とする。
【００１０】
本発明に係る採点者評価装置は、求めた難易度別の正解率に応じて、各採点者のランクを更新する手段を更に備えることを特徴とする。
【００１１】
本発明に係る採点者評価方法は、記憶部及び演算部を備えるコンピュータを用いて、試験問題の答案を採点する採点者に対する評価を判定する方法において、正誤の評価が未だ行われていない複数の未評価答案、及び正誤の評価が既に定められており夫々に難易度が定められた複数の既評価答案からなる答案集に含まれる各答案に対する採点者による採点結果を前記記憶部で記憶し、記憶する採点結果から、既評価答案に対する採点結果を前記演算部で抽出し、各採点者について、抽出した採点結果が既評価答案の既に定まった評価に対して正解している割合を示す正解率を、既評価答案の難易度別に前記演算部で求め、求めた難易度別の正解率に応じて、各採点者に対する評価を前記演算部で判定することを特徴とする。
【００１２】
本発明に係る採点者評価方法は、コンピュータは、受付部及び出力部を更に備えており、各採点者のランクを、各採点者の識別情報に関連付けて前記記憶部で記憶し、試験問題が含む設問に対する複数の未評価答案を前記記憶部で記憶し、試験問題が含む設問に対する複数の既評価答案、及び各既評価答案の難易度を互いに関連付けて前記記憶部で記憶し、採点者の識別情報を前記受付部で受け付け、記憶してある複数の既評価答案から、受け付けた識別情報に関連づけられたランクに応じた難易度が関連付けられた既評価答案を前記演算部で抽出し、抽出した既評価答案を複数の未評価答案の中に混入した答案集を前記演算部で生成し、生成した答案集を前記出力部で出力し、出力した答案集に含まれる各答案に対する採点者からの採点を前記受付部で受け付け、受け付けた採点結果を、採点者の識別情報に関連付けて前記記憶部で記憶することを特徴とする。
【００１３】
本発明に係るコンピュータプログラムは、正誤の評価が未だ行われていない複数の未評価答案、及び正誤の評価が既に定められており夫々に難易度が定められた複数の既評価答案からなる答案集に含まれる各答案に対する採点者による採点結果を記憶するコンピュータに、試験問題の答案を採点する採点者に対する評価を判定させるコンピュータプログラムであって、記憶する採点結果から、既評価答案に対する採点結果を抽出するステップと、各採点者について、抽出した採点結果が既評価答案の既に定まった評価に対して正解している割合を示す正解率を、既評価答案の難易度別に求めるステップと、求めた難易度別の正解率に応じて、各採点者に対する評価を判定するステップとを含む処理をコンピュータに実行させることを特徴とする。
【００１４】
本発明に係るコンピュータプログラムは、各採点者のランクを、各採点者の識別情報に関連付けて記憶し、試験問題が含む設問に対する複数の未評価答案を記憶し、試験問題が含む設問に対する複数の既評価答案、及び各既評価答案の難易度を互いに関連付けて記憶するコンピュータに、採点者の識別情報を受け付けた場合に、記憶してある複数の既評価答案から、受け付けた識別情報に関連づけられたランクに応じた難易度が関連付けられた既評価答案を抽出するステップと、抽出した既評価答案を複数の未評価答案の中に混入した答案集を生成するステップとを含む処理を更に実行させることを特徴とする。
【００１５】
本発明においては、複数の未評価答案、及び夫々に難易度が定められた複数の既評価答案からなる答案集に含まれる各答案に対する採点者による採点結果から、既評価答案に対する採点結果を抽出し、抽出した採点結果の正解率を既評価答案の難易度別に求め、難易度別の正解率に応じて採点者の評価を定める。
【００１６】
また本発明においては、採点者のランクに応じた難易度の既評価答案を複数の既評価答案から抽出し、抽出した既評価答案を複数の未評価答案の中に混入した答案集を生成し、生成した答案集に対する採点者からの採点を受け付ける。
【００１７】
また本発明においては、採点者のランクと既評価答案の難易度の範囲とを対応づけておき、既評価答案を抽出する際に採点者のランクに対応する範囲に難易度が含まれる既評価答案を抽出し、難易度別に正解率が所定の正解率以上である場合に採点者を優秀であると評価する。また難易度別の正解率に応じて、採点者のランクを更新する。
【発明の効果】
【００１８】
本発明にあっては、各採点者にランクを定め、各既評価答案に採点の難易度を定めておき、採点者のランクに応じた難易度の既評価答案を混入した答案集を採点者に採点させ、難易度別の採点結果の正解率に応じて採点者を評価することにより、採点者の能力に応じてその能力を詳細に評価することができる。また評価の結果を指標として採点者の能力向上を図ることが可能となり、試験答案の採点をより正確に行うことができるようになる等、本発明は優れた効果を奏する。
【図面の簡単な説明】
【００１９】
【図１】本発明の既評価答案混入装置の内部構成を示すブロック図である。
【図２】既評価答案ＤＢの記憶内容の例を示す概念図である。
【図３】試験問題データの内容の例を示す概念図である。
【図４】抽出条件データの内容の例を示す概念図である。
【図５】同音異義語データの内容の例を示す概念図である。
【図６】本発明の既評価答案混入装置が行う既評価答案抽出処理の手順を示すフローチャートである。
【図７】既評価答案混入装置が出力装置へ出力した、既評価答案を抽出した設問の一覧の画面例を示す模式図である。
【図８】既評価答案混入装置が出力装置へ出力した一の設問についての既評価答案の画面例を示す模式図である。
【図９】問題別既評価答案ＤＢの記憶内容の例を示す概念図である。
【図１０】本発明の既評価答案混入装置が行う混入処理の手順を示すフローチャートである。
【図１１】混入用未評価答案ＤＢの記憶内容の例を示す概念図である。
【図１２】採点者データの内容の例を示す概念図である。
【図１３】難易度対応データの内容の例を示す概念図である。
【図１４】本発明の既評価答案混入装置が行う採点処理の手順を示すフローチャートである。
【図１５】出力用データの内容の例を示す概念図である。
【図１６】採点端末が所定数の答案を出力した出力例を示す模式図である。
【図１７】採点結果ＤＢの記憶内容の例を示す概念図である。
【図１８】本発明の既評価答案混入装置が行う評価処理の手順を示すフローチャートである。
【発明を実施するための形態】
【００２０】
以下本発明をその実施の形態を示す図面に基づき具体的に説明する。
本発明は、記述式の試験において採点者が答案を採点する作業を補助すると同時に採点者の採点能力を判定するための技術である。具体的には、採点者が採点すべき未評価答案の中に既評価答案を混入しておいて採点者に採点させることにより、採点者の採点能力を判定する。以下の記述では「日本漢字能力検定試験」等の漢字試験の採点に本発明を適用した場合を例として本発明を説明する。
【００２１】
図１は、本発明の既評価答案混入装置（採点者評価装置）１の内部構成を示すブロック図である。既評価答案混入装置１は、パーソナルコンピュータ又はサーバ装置などの汎用コンピュータを用いて構成されている。既評価答案混入装置１は、演算を行うＣＰＵ（演算部）１１と、演算に伴って発生する一時的な情報を記憶するＲＡＭ１２と、ＣＤ−ＲＯＭドライブ等の外部記憶装置１３と、ハードディスク等の内部記憶装置（記憶部）１４とを備えている。ＣＰＵ１１は、ＣＤ−ＲＯＭ等の記録媒体２から本発明のコンピュータプログラム２０を外部記憶装置１３にて読み取り、読み取ったコンピュータプログラム２０を内部記憶装置１４に記憶させる。コンピュータプログラム２０は必要に応じて内部記憶装置１４からＲＡＭ１２へロードされ、ロードされたコンピュータプログラム２０に基づいてＣＰＵ１１は既評価答案混入装置１に必要な処理を実行する。既評価答案混入装置１は、キーボード、マウス又はタブレット等の入力装置１５と、液晶ディスプレイ又はＣＲＴディスプレイ等の出力装置１６とを備えており、データの入力を初めとするオペレータからの操作を受け付ける構成となっている。
【００２２】
また、ＣＰＵ１１には、インタフェース部１７が接続されている。インタフェース部１７には、キーボード、マウス又はタブレット等の入力部と、液晶ディスプレイ又はＣＲＴディスプレイ等の出力部とを備えた採点端末３が接続されている。採点端末３は、採点者が採点すべき答案を出力部に出力し、採点者が入力部を操作することにより答案に対する採点の入力を受け付ける構成となっている。採点端末３は、本発明に係る出力部及び出力手段として機能する。
【００２３】
内部記憶装置１４は、試験問題として出題される可能性がある個々の設問についての既評価答案を記憶している既評価答案ＤＢ（第１記憶手段）１４ａを備えている。図２は、既評価答案ＤＢ１４ａの記憶内容の例を示す概念図である。何の漢字についての問題であるかを示す問題の情報、及び漢字についての何を問うているのかを示す問題区分の情報に関連づけて、手書きの文字を電子的に取り込んだイメージデータが記憶されている。問題の情報及び問題区分の情報によって個々の設問が規定される。図中の例では、「奈」という漢字の問題で問題区分がこの漢字を書かせる「漢字」である設問に関連づけて、４個のイメージデータが既評価答案ＤＢ１４ａに記憶されている。また、夫々のイメージデータに関連づけて、このイメージデータが設問の答案として正答であるか又は誤答であるかの評価を示す正誤区分の情報と、このイメージデータを答案として採点するときの難易度を示す難易度の情報とが記憶されている。図中の例では、問題が「奈」で問題区分が「漢字」である設問には、正答のイメージデータが１個と誤答のイメージデータが３個とが記憶されており、正確な採点の難しさを示す難易度が夫々に関連づけられて記憶されている。難易度は、難易度の値が小さいほどこの既評価答案の正確な採点が難しいことを示している。同様にして、問題と問題区分との情報で規定される個々の設問について、正誤区分と難易度との情報が関連づけられたイメージデータが既評価答案ＤＢ１４ａに記憶されている。
【００２４】
また内部記憶装置１４は、採点を行うべき試験問題の内容を示す試験問題データ１４ｂを記憶している。図３は、試験問題データ１４ｂの内容の例を示す概念図である。試験問題データ１４ｂには、どの年度の何回目の何級での試験であるかを示す情報が記録されており、更に、試験における大問Ｎｏ．と小問Ｎｏ．とに関連づけて、問題及び問題区分の情報が記録されている。このようにして試験問題に含まれる複数の設問が指定されている。
【００２５】
また内部記憶装置１４は、試験問題に対する未評価答案に混入すべき既評価答案を既評価答案ＤＢ１４ａから抽出するときの条件を示す抽出条件データ１４ｃを記憶している。図４は、抽出条件データ１４ｃの内容の例を示す概念図である。抽出条件データ１４ｃには、試験問題データ１４ｂに記録されたものと同様の問題と問題区分とで規定された各設問に関連づけて、正答抽出数と誤答抽出数とが記録されている。また、抽出条件データ１４ｃには、既評価答案として同音異義語のイメージデータを抽出するか否かをＹＥＳ又はＮＯで示した同音異義語区分の情報が記録されている。更に、同音異義語区分がＹＥＳである設問について、同音異義語抽出数が記録されている。なお、試験問題データ１４ｂと抽出条件データ１４ｃとは、別々ではなくひとつにまとめられたデータであってもよい。
【００２６】
また、内部記憶装置１４は、同音異義語を有する問題を示す同音異義語データ１４ｄを記憶している。図５は、同音異義語データ１４ｄの内容の例を示す概念図である。同音異義語データ１４ｄには、問題の情報と、問題になっている漢字の読みの情報とが互いに関連づけられて記録されており、互いに同音異義語となる複数の問題がおなじ読みについて互いに関連づけられて記録されている。更に、内部記憶装置１４は、試験問題データ１４ｂに含まれる個々の設問に対する既評価答案を記憶する問題別既評価答案ＤＢ（第２記憶手段）１４ｅを備えている。
【００２７】
コンピュータプログラム２０は、既評価答案ＤＢ１４ａから試験問題に対する既評価答案を抽出して問題別既評価答案ＤＢ１４ｅに記録する既評価答案抽出処理と、試験問題に対する未評価答案の中に既評価答案を混入する位置を決定する混入処理と、既評価答案が混入した未評価答案を採点者に採点させる採点処理と、採点者を評価する評価処理とを行うためのプログラムを含んでいる。
【００２８】
図６は、本発明の既評価答案混入装置１が行う既評価答案抽出処理の手順を示すフローチャートである。ＣＰＵ１１は、ＲＡＭ１２にロードしたコンピュータプログラム２０に従って以下の処理を実行する。ＣＰＵ１１は、内部記憶装置１４が記憶している試験問題データ１４ｂ及び抽出条件データ１４ｃをＲＡＭ１２に読み込む（Ｓ１０１）。ＣＰＵ１１は、次に、試験問題データ１４ｂに記録されている複数の設問の中から一の設問を選択し（Ｓ１０２）、選択した設問の問題と問題区分との情報に基づいてこの設問に対する既評価答案を既評価答案ＤＢ１４ａから検索し、この設問について抽出条件データ１４ｃに記録された正答抽出数の情報に従った数の正答の既評価答案と、誤答抽出数の情報に従った数の誤答の既評価答案とを既評価答案ＤＢ１４ａから抽出する（Ｓ１０３）。このとき抽出された既評価答案は、イメージデータ、正答区分の情報、及び難易度の情報を含んでいる。またこのときは、正答抽出数及び誤答抽出数の情報に従うように、同じ既評価答案を重複して抽出してもよい。
【００２９】
ＣＰＵ１１は、次に、選択している設問について抽出条件データ１４ｃが記録している同音異義語区分の情報はＹＥＳであるか否かを判定する（Ｓ１０４）。同音異義語区分の情報がＹＥＳであった場合は（Ｓ１０４：ＹＥＳ）、ＣＰＵ１１は、選択している設問と同じ読みの問題を同音異義語データ１４ｄから検索し、検索された問題の情報及び選択している設問と同じ問題区分の情報を有している既評価答案を抽出条件データ１４ｃに記録された同音異義語抽出数の情報に従った数だけ既評価答案ＤＢ１４ａから抽出する（Ｓ１０５）。このとき抽出された同音異義語の既評価答案は、既評価答案ＤＢ１４ａには正誤区分の情報が正答と記録されている既評価答案であっても、当該設問に対する誤答であるので、正誤区分は誤答であるとしてＲＡＭ１２が記憶する。
【００３０】
ステップＳ１０４にて同音異義語区分の情報がＮＯであった場合（Ｓ１０４：ＮＯ）、又はステップＳ１０５が終了した場合は、ＣＰＵ１１は、試験問題データ１４ｂに記録されている全ての設問について既評価答案を抽出したか否かを判定する（Ｓ１０６）。既評価答案をまだ抽出していない設問がある場合は（Ｓ１０６：ＮＯ）、ＣＰＵ１１は、処理をステップＳ１０２へ戻し、既評価答案をまだ抽出していない次の設問を選択する。全ての設問について既評価答案を抽出している場合は（Ｓ１０６：ＹＥＳ）、ＣＰＵ１１は、既評価答案を抽出した設問の一覧を出力装置１６へ出力する（Ｓ１０７）。
【００３１】
図７は、既評価答案混入装置１が出力装置１６へ出力した、既評価答案を抽出した設問の一覧の画面例を示す模式図である。試験問題データ１４ｂに記録されているのと同様の各設問について、複数の既評価答案が抽出されていることがわかる。オペレータは、出力装置１６の画面上で既評価答案の一覧を確認し、入力装置１５を操作していずれかの設問を選択することができる。
【００３２】
ＣＰＵ１１は、オペレータが入力装置１５を操作することによるいずれかの設問の選択の受付を監視し（Ｓ１０８）、設問の選択を受け付けた場合は（Ｓ１０８：ＹＥＳ）、選択された設問について抽出した既評価答案を出力装置１６へ出力する（Ｓ１０９）。
【００３３】
図８は、既評価答案混入装置１が出力装置１６へ出力した一の設問についての既評価答案の画面例を示す模式図である。図中には、問題が「会う」で問題区分が「漢字」である設問について抽出した既評価答案を示しており、抽出した複数の既評価答案のイメージデータが出力される。オペレータは、出力装置１６の画面上で夫々のイメージデータを確認し、入力装置１５を操作して、イメージデータの削除、イメージデータの修正、又は新規のイメージデータの入力などの既評価答案の変更の指示を入力することができる。
【００３４】
ＣＰＵ１１は、オペレータが入力装置１５を操作することによる既評価答案の変更の指示の受付を監視し（Ｓ１１０）、変更の指示の受け付けがない場合は（Ｓ１１０：ＮＯ）、処理をステップＳ１０７へ戻す。既評価答案の変更の指示を受け付けた場合は（Ｓ１１０：ＹＥＳ）、ＣＰＵ１１は、オペレータが入力装置１５を操作することによる既評価答案のイメージデータの変更を受け付ける（Ｓ１１１）。このときＣＰＵ１１は、変更の指示が削除であった場合は、削除を指定された既評価答案を削除し、また変更の指示がイメージデータの修正であった場合は、タブレット等の入力装置１５を用いた画面上でのイメージデータの修正を受け付ける。また、変更の指示が新規のイメージデータの入力である場合は、ＣＰＵ１１は、タブレット等の入力装置１５を用いた画面上での新たなイメージデータの入力を受け付け、更に、正誤区分または難易度などの既評価答案に必要な情報を受け付ける。
【００３５】
ステップＳ１１１が終了した後は、ＣＰＵ１１は、処理をステップＳ１０９へ戻す。ステップＳ１０８にて設問の選択の受け付けがない場合は（Ｓ１０８：ＮＯ）、ＣＰＵ１１は、オペレータが入力装置１５を操作して図７に示す如き既評価答案を抽出した設問の一覧の画面上で登録のボタンを押下することによる、登録指示の受付を監視する（Ｓ１１２）。登録指示を受け付けない場合は（Ｓ１１２：ＮＯ）、ＣＰＵ１１は処理をステップＳ１０８へ戻す。登録指示を受け付けた場合は（Ｓ１１２：ＹＥＳ）、ＣＰＵ１１は、試験問題に含まれる複数の設問の夫々に対する既評価答案を問題別既評価答案ＤＢ１４ｅに記録し（Ｓ１１３）、既評価答案抽出処理を終了する。
【００３６】
図９は、問題別既評価答案ＤＢ１４ｅの記憶内容の例を示す概念図である。年度、回、級、大問Ｎｏ．、及び小問Ｎｏ．の設問を指定する情報に関連づけてイメージデータが記録され、また正誤区分と難易度との情報が記録されている。更に、各設問に関連づけられた複数の既評価答案の夫々を区別するための混入連番が記録されている。
【００３７】
内部記憶装置１４は、また、試験問題データ１４ｂが内容を示す試験問題を用いて実施された試験の答案である未評価答案を記録する未評価答案ＤＢ１４ｆを備えている。未評価答案は、紙に記載された答案をスキャナで取り込むか、又は試験の際に受験者がタブレット等の入力装置を操作することによりコンピュータが電子データとして答案を受け付ける等の方法により作成されたデータである。未評価答案ＤＢ１４ｆは、試験問題に含まれる各設問と受験者とを指定する情報に関連づけて、受験者による答案のイメージデータを記録しており、試験問題に含まれる複数の設問の夫々についての未評価答案が受験者を識別する受験者コード順に記録されている。内部記憶装置１４は、また、未評価答案の中に既評価答案を混入する混入位置を示す情報を付加した未評価答案を記録する混入用未評価答案ＤＢ１４ｇを備えている。
【００３８】
図１０は、本発明の既評価答案混入装置１が行う混入処理の手順を示すフローチャートである。ＣＰＵ１１は、ＲＡＭ１２にロードしたコンピュータプログラム２０に従って以下の処理を実行する。ＣＰＵ１１は、採点すべき受験者に係る未評価答案を未評価答案ＤＢ１４ｆからＲＡＭ１２へ読み込み（Ｓ２１）、読み込んだ未評価答案に対応する受験者の数に予め定められている混入率を乗じて、既評価答案の混入数を決定する（Ｓ２２）。なお、混入率はオペレータの操作により入力装置１５が受け付ける処理を行ってもよい。ＣＰＵ１１は、次に、受験者番号に従った未評価答案の順番の中に混入数の既評価答案を混入させるための混入位置を決定する（Ｓ２３）。このとき、ＣＰＵ１１は乱数を用いてランダムに混入位置を決定しても良く、また所定の規則に従って混入位置を決定しても良い。ＣＰＵ１１は、次に、採点すべき未評価答案に対して、決定した混入位置に既評価答案の混入位置であることを示す混入位置情報を付加し（Ｓ２４）、混入位置情報を付加した混入用未評価答案（順番指定情報）を混入用未評価答案ＤＢ１４ｇに記憶させ（Ｓ２５）、処理を終了する。
【００３９】
図１１は、混入用未評価答案ＤＢ１４ｇの記憶内容の例を示す概念図である。採点時に出力される出力順の番号に関連づけて、受験者コードで識別される各受験者の未評価答案が記録されている。更に、混入位置に対応する出力順の番号に関連づけて、末尾が９９９９である等の特殊なコードが混入位置情報として記録されている。
【００４０】
内部記憶装置１４は、また、採点者を識別する採点者コード（識別情報）を記録した採点者データ１４ｈと、採点者と既評価答案の難易度とを対応させるための情報を記録した難易度対応データ１４ｉとを記憶している。
【００４１】
図１２は、採点者データ１４ｈの内容の例を示す概念図である。採点者の夫々を識別する採点者コードに関連づけて、採点者の氏名と採点者のランクを示す情報とが記録されている。採点者のランクは、数字が小さいほど採点者の能力が高いことを示している。図１３は、難易度対応データ１４ｉの内容の例を示す概念図である。採点者のランクに関連づけて、採点時に未評価答案の中に混入される既評価答案の難易度の上限及び下限が記録されている。採点者データ１４ｈ及び難易度対応データ１４ｉに基づいて、各採点者の能力を判定する際の既評価答案の難易度が決定される。
【００４２】
また、内部記憶装置１４は、採点者の採点結果を記録した採点結果ＤＢ１４ｊを備えている。
【００４３】
図１４は、本発明の既評価答案混入装置１が行う採点処理の手順を示すフローチャートである。ＣＰＵ１１は、ＲＡＭ１２にロードしたコンピュータプログラム２０に従って以下の処理を実行する。ＣＰＵ１１は、採点者が採点端末３を操作して採点者コードを入力することによる採点者コードの受付を監視し（Ｓ３０１）、採点者コードの受け付けがない場合は（Ｓ３０１：ＮＯ）、採点者コードの受付の監視を続行する。採点者コードを受け付けた場合は（Ｓ３０１：ＹＥＳ）、ＣＰＵ１１は、受け付けた採点者コードが採点者データ１４ｈに記録された正当な採点者コードであるか否かを判定し（Ｓ３０２）、正当な採点者コードではなかった場合は（Ｓ３０２：ＮＯ）、処理をステップＳ３０１へ戻す。受け付けた採点者コードが正当な採点者コードである場合は（Ｓ３０２：ＹＥＳ）、ＣＰＵ１１は、採点者コードに関連づけて採点者データ１４ｈに記録されている採点者のランクに応じて、難易度対応データ１４ｉに記録されている通りに既評価答案の難易度の上限及び下限を決定する（Ｓ３０３）。
【００４４】
ＣＰＵ１１は、次に、試験問題が含む設問を最初から検索して他の採点者によって未だ採点されていない設問を選択するか、採点者コードに対応して予め定められている設問を選択するか、採点者のランクに対応した設問を選択するか、又は採点者が採点すべき設問を指定する等により、採点者が採点すべき設問を決定する（Ｓ３０４）。以後の処理では、例えば大問５の小問１等の一の設問に対しての複数の答案を採点端末３へ出力する処理を行い、採点者は、当該設問に対する複数の答案の採点を行う。
【００４５】
ＣＰＵ１１は、次に、混入用未評価答案ＤＢ１４ｇに記録してある出力順に従って答案を選択し（Ｓ３０５）、混入用未評価答案ＤＢ１４ｇの選択した答案の位置に混入位置情報が記録されているか否かを判定する（Ｓ３０６）。
【００４６】
混入位置情報が記録されていた場合は（Ｓ３０６：ＹＥＳ）、ＣＰＵ１１は、当該設問に関連づけて問題別既評価答案ＤＢ１４ｅに記録されている複数の既評価答案の中から、難易度がステップＳ３０３で決定した上限及び下限の範囲内である既評価答案を選択する（Ｓ３０７）。ＣＰＵ１１は、次に、出力して採点者に採点させるための答案のデータを記録する出力用データ１４ｍを作成し、出力用データ１４ｍに選択した既評価答案を記録する（Ｓ３０８）。既評価答案を選択する際には、難易度が対応する既評価答案の中からランダムに選択しても良く、難易度が対応する既評価答案の中から混入連番の順に選択しても良い。
【００４７】
ステップＳ３０６にて混入位置情報が記録されておらず未評価答案が記録されていた場合は（Ｓ３０６：ＮＯ）、ＣＰＵ１１は、混入用未評価答案ＤＢ１４ｇの選択した答案の位置に記録されている未評価答案を出力用データ１４ｍに記録する（Ｓ３０９）。
【００４８】
ステップＳ３０８又はステップＳ３０９にて既評価答案または未評価答案を出力用データ１４ｍに記録した後、ＣＰＵ１１は、採点のために出力すべき答案を全て出力用データ１４ｍに記録したか否かを判定する（Ｓ３１０）。出力用データ１４ｍに記録していない答案がある場合は（Ｓ３１０：ＮＯ）、ＣＰＵ１１は、処理をステップＳ３０５へ戻し、出力すべき次の答案を出力用データ１４ｍに記録する処理を行う。採点のために出力すべき答案を全て出力用データ１４ｍに記録している場合は（Ｓ３１０：ＹＥＳ）、ＣＰＵ１１は、出力用データ１４ｍを内部記憶装置１４に記憶させる（Ｓ３１１）。
【００４９】
図１５は、出力用データ１４ｍの内容の例を示す概念図である。採点時に出力される出力順の番号に関連づけて、受験者コードで識別される各受験者の未評価答案が記録されている。更に、混入位置に対応する出力順の番号に関連づけて、選択された既評価答案が記録されている。
【００５０】
ＣＰＵ１１は、次に、出力用データ１４ｍに記録されている未評価答案及び既評価答案を出力順に採点端末３へ所定数だけ出力する（Ｓ３１２）。このとき、ＣＲＴディスプレイ等の採点端末３の出力部に採点者が採点すべき所定数の答案が出力される。ＣＰＵ１１は、次に、採点者が採点端末３の入力部を操作することによる、採点端末３の出力部に出力されている答案に対する採点の受付を監視する（Ｓ３１３）。
【００５１】
図１６は、採点端末３が所定数の答案を出力した出力例を示す模式図である。選択された設問に対する答案が、採点端末３の出力部の出力画面の大きさに応じた所定数だけ出力される。採点者は、採点端末３の入力部を操作して夫々の答案についての採点結果を入力する。
【００５２】
ＣＰＵ１１は、答案に対する採点の受付がない場合は（Ｓ３１３：ＮＯ）、採点の受付の監視を続行し、出力された答案に対する採点を受け付けた場合は（Ｓ３１３：ＹＥＳ）、採点者が担当する当該設問についての採点が完了したか否かを判定する（Ｓ３１４）。採点が完了しておらずに採点すべき答案が未だ残っている場合には（Ｓ３１４：ＮＯ）、ＣＰＵ１１は、処理をステップＳ３１２へ戻して採点者が採点すべき所定数の答案を採点端末３へ出力し、採点の処理を続行する。採点が完了している場合は（Ｓ３１４：ＹＥＳ）、ＣＰＵ１１は、採点者の採点結果を採点結果ＤＢ１４ｊに記録し（Ｓ３１５）、処理を終了する。なお、以上の採点処理では、出力用データ１４ｍを一旦作成してから答案を採点端末３へ出力する処理を行っているが、これに限るものではなく、混入用未評価答案ＤＢ１４ｇから未評価答案を直接に読み出して出力し、答案の位置に混入位置情報が記録されている場合には、その都度難易度に基づいて問題別既評価答案ＤＢ１４ｅから既評価答案を選択して出力する処理を行う形態であってもよい。
【００５３】
図１７は、採点結果ＤＢ１４ｊの記憶内容の例を示す概念図である。各受験者についての未評価答案の各設問に関連づけて正答または誤答の採点結果が記録されており、当該設問の採点を行った採点者の採点者コードが記録されている。また、混入された既評価答案に関連づけて、正誤区分と難易度との情報が更に記録されている。
【００５４】
図１８は、本発明の既評価答案混入装置１が行う評価処理の手順を示すフローチャートである。ＣＰＵ１１は、ＲＡＭ１２にロードしたコンピュータプログラム２０に従って以下の処理を実行する。ＣＰＵ１１は、採点結果ＤＢ１４ｊから既評価答案の採点を抽出し（Ｓ４１）、評価すべき採点者を選択する（Ｓ４２）。ＣＰＵ１１は、次に、選択した採点者についての既評価答案の採点に対して、既評価答案の正答区分の情報と採点結果の情報とを比較して、採点者の採点が既評価答案の既に定まっている評価に対して正解している割合を示す正解率を既評価答案の難易度別に計算する（Ｓ４３）。ＣＰＵ１１は、次に、計算した正解率に応じた採点者の評価を示す評価情報を生成する（Ｓ４４）。このときは、例えば、採点者のランクと同じ数値の難易度の正解率が９０％以上で一つ上の難易度の正解率が５０％以上である場合には採点者の評価を優とし、採点者のランクと同じ数字の難易度の正解率が５０％以下である場合には採点者の評価を不可とする。
【００５５】
ＣＰＵ１１は、次に、全ての採点者について評価が完了したか否かを判定し（Ｓ４５）、評価が完了しておらずに未だ評価されていない採点者がいる場合には（Ｓ４５：ＮＯ）、処理をステップＳ４２へ戻して評価すべき採点者を選択する。全ての採点者について評価が完了している場合は（Ｓ４５：ＹＥＳ）、ＣＰＵ１１は、各採点者についての評価情報を記録した評価データ１４ｋを内部記憶装置１４に記憶させ（Ｓ４６）、処理を終了する。このとき更に、採点者のランクと同じ数値の難易度の正解率が９０％以上で一つ上の難易度の正解率が５０％以上である場合には、採点者データ１４ｈに記録されている採点者のランクをアップし、採点者のランクと同じ数字の難易度の正解率が５０％以下である場合には採点者のランクをダウンする等、評価データ１４ｋに基づいて採点者データ１４ｈを更新する処理を行ってもよい。評価データ１４ｋの内容に基づいて採点者の採点能力が判定され、採点者への指導などが行われる。
【００５６】
以上詳述した如く、本発明においては、試験問題として用いられる可能性のある複数の設問について予め正答または誤答の評価が定まっている既評価答案を記憶しておき、実際の試験問題に含まれる各設問についての既評価答案を抽出し、受験者が解答して未だ採点がされていない複数の未評価答案の順番の中に混入する。これにより、採点者が未評価答案を採点する際に既評価答案も同時に採点させることができるようになり、既評価答案に対して採点者が下した正答または誤答の評価と予め定まっている評価とを比較することにより、採点者の能力を客観的に判定することができる。
【００５７】
また、本発明においては、未評価答案の中にどの既評価答案を混入するかを固定せずに未評価答案の中に既評価答案が混入される混入位置を定めておき、採点者が答案を採点する際に、混入位置に既評価答案を割り込ませて採点させる。これにより、設問の種類または採点者に応じて混入すべき既評価答案を選択することが容易になり、的確に採点者の能力を判定することができる。
【００５８】
更に、本発明においては、各採点者にランクを定め、各既評価答案に採点の難易度を定めておき、未評価答案に既評価答案を混入して採点させる際には、採点者のランクに応じた難易度の既評価答案を混入する。これにより、以前に採点能力が高いと判定された高ランクの採点者には高難易度の既評価答案を採点させ、低ランクの採点者には低難易度の既評価答案を採点させるなど、採点者の能力に応じた適切な既評価答案を採点させることが可能となり、採点者の能力に応じてその能力をより詳細に判定することができる。
【００５９】
以上の如く本発明を用いることにより、試験問題の答案を採点者が採点する際に採点者の能力を客観的に判定することができるので、判定結果を指標として採点者の能力向上を図ることが可能となり、試験答案の採点をより正確に行うことができるようになる。
【００６０】
なお、本実施の形態においては、混入処理において混入位置情報を付加した混入用の未評価答案を作成して混入用未評価答案ＤＢ１４ｇに記憶させる処理を行う形態を示したが、これに限るものではなく、本発明に係る順番指定情報として受験者コードに従った未評価答案の順番及び混入位置を示す情報を作成して内部記憶装置１４に記憶させ、採点処理においてはこの順番指定情報に従って未評価答案及び既評価答案を読み出す処理を行う形態であってもよい。
【００６１】
また、本実施の形態においては、難易度に応じて出力すべき既評価答案を選択する処理を行う形態を示したが、これに限るものではなく、難易度の情報を用いずにどの採点者に対しても同様な方法で出力すべき既評価答案を選択する処理を行う形態であってもよい。また、既評価答案の夫々について難易度を定める形態を示しているが、他と間違えやすい漢字、又は答案の正誤が判定しがたい漢字の設問などのように設問自体に採点の難易度が存在する場合もあるので、設問に関連づけて難易度の情報を記憶しておき、採点者のランクと設問の難易度とに応じて採点者が採点すべき設問を選択する処理を行う形態であってもよい。
【００６２】
また、本実施の形態では漢字試験の採点に本発明を適用した場合を例として本発明を説明しているが、本発明の適用範囲は漢字試験に限るものではなく、その他の試験についても適用することが可能である。
【符号の説明】
【００６３】
１  既評価答案混入装置
１１  ＣＰＵ（演算部）
１４  内部記憶装置（記憶部）
１４ａ  既評価答案ＤＢ（第１記憶手段）
１４ｅ  問題別既評価答案ＤＢ（第２記憶手段）
２  記録媒体
２０  コンピュータプログラム
３  採点端末（出力手段）
【図１】
2010102730.tif 000003
【図２】
2010102730.tif 000004
【図３】
2010102730.tif 000005
【図４】
2010102730.tif 000006
【図５】
2010102730.tif 000007
【図６】
2010102730.tif 000008
【図７】
2010102730.tif 000009
【図８】
2010102730.tif 000010
【図９】
2010102730.tif 000011
【図１０】
2010102730.tif 000012
【図１１】
2010102730.tif 000013
【図１２】
2010102730.tif 000014
【図１３】
2010102730.tif 000015
【図１４】
2010102730.tif 000016
【図１５】
2010102730.tif 000017
【図１６】
2010102730.tif 000018
【図１７】
2010102730.tif 000019
【図１８】
2010102730.tif 000020