(57)【要約】【課題】記述式問題に対して作成された多数の答案を採点者の複数で採点するにあたり客観性を担保しつつも効率的に採点を行い得る答案採点方法の提供。【解決手段】選択された答案情報をホストコンピュータからクライアントコンピュータに送信しこの答案情報に対応して採点者の入力した採点情報の返信を受けて各答案に対する点数結果を収集し信頼性の高い点数結果を採用する答案採点方法である。採点情報は、答案情報のうちの１つである特定答案情報を識別する個別情報と、特定答案情報に対して、点数測定による点数結果である答案点数情報、及びこれを入力した採点者を識別する採点者情報、からなる採点セット情報と、特定答案情報に対して、肯定又は否定の二択質問文の複数からなる質問群についての回答パターンからなる答案形式情報と、を含み、採点セット情報を答案形式情報でフィルタリングして点数結果を採用していく採用ステップを含むことを特徴とする。【選択図】図３
2018142249.tif 000002
【特許請求の範囲】
【請求項１】
選択された答案情報をホストコンピュータからクライアントコンピュータに送信しこの答案情報に対応して採点者の入力した採点情報の返信を受けて各答案に対する点数結果を収集しこのうちから信頼性の高い該点数結果を採用していく答案採点方法であって、
前記採点情報は、
前記答案情報のうちの１つである特定答案情報を識別する個別情報と、
前記特定答案情報に対して、配点に基づいた点数測定による前記点数結果である答案点数情報、及びこれを入力した前記採点者を識別する採点者情報、からなる採点セット情報と、
前記特定答案情報に対して、肯定又は否定の二択質問文の複数からなる質問群についての回答パターンからなる答案形式情報と、を含み、
前記採点セット情報を前記答案形式情報でフィルタリングして前記点数結果を採用していく採用ステップを含むことを特徴とする答案採点方法。
【請求項２】
前記採点者が前記点数結果を与えることを許可する前記回答パターンを決定する採点許可ステップを含み、
前記採用ステップは、前記採点者とこれに許可された前記回答パターンの組み合わせに基づいてフィルタリングを行うことを特徴とする請求項１記載の答案採点方法。
【請求項３】
前記答案情報のうちの１に対応して複数の採点者の入力を許容することで、前記採点情報が１の前記個別情報に対して前記採点セット情報を複数含み得ることを特徴とする請求項２記載の答案採点方法。
【請求項４】
前記採点情報において、前記個別情報及び前記答案形式情報をあらかじめ用意しておくことを特徴とする請求項２記載の答案採点方法。
【請求項５】
前記答案情報についてこれに対応する前記答案形式情報の前記回答パターンに対して許可された前記採点者に向けて送信するステップを含むことを特徴とする請求項４記載の答案採点方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、記述式問題に対して作成された多数の答案を採点者の複数で採点するにあたってその客観性を担保しつつも効率的に採点を行い得る答案採点方法に関する。
【背景技術】
【０００２】
記述式問題では、問題の問いに対する一定量の自由な記述による答案の作成（解答）を答案作成者（受験者）に求めることになる。採点者においては、答案の記述を解釈し、その正誤だけでなくどの程度正解に近づいているかなどを、例えば、部分点の付与の如きによって、多段階的に評価することになる。その一方でこの多段階評価、すなわち部分点の付与における客観性を確保することも必要となる。
【０００３】
ここで問題の作成の仕方次第では、答案の記述のバリエーションを一定範囲に限定することもでき得て多段階評価の客観性を高め得る。しかしながら、あらかじめ答案の記述のバリエーションを提示しておいてこの中から答案作成者（受験者）に選択をさせる選択式問題との差異が失われてしまう。そこで、記述式問題を採用する以上、答案の記述のバリエーションの多様さを一定程度、許容すべきことになる。また、一国内の同一学年の受験者を対象とするような大規模且つ受験者のバックグランドを様々とするような試験では、問題の作成者の意図通りに答案の記述のバリエーションを一定範囲に限定できないことも良く知られているところである。更に、大規模な試験では、所定の期間内に大量の答案の採点の集計を終えることを求められるため、複数の採点者で採点をすることになり、採点者間の判断差における客観性の確保も必要となる。
【０００４】
例えば、特許文献１では、ネットワークを通じて接続された複数の端末入力装置から記述式問題に対して作成された多数の答案を複数の採点者で採点するシステムにおいて、１の採点者の採点結果を他の採点者の採点根拠を参照しながら再評価して修正でき、複数の採点者間の判断差における客観性を確保しようとする答案採点支援システムを開示している。採点結果が一致せず、採点結果の客観性に疑問がある場合には、他の採点者の採点根拠を参照しながら採点結果を再検討し、一度登録した採点結果を修正できるとしている。
【０００５】
ここで、同じ答案を２人の採点者が評価したときに、どちらの採点者の評価がより正しいかは明確でない。更に、大量の答案の採点を迅速に行おうとすると同じ答案を複数の採点者で評価することになり作業効率に欠ける。また、採点による影響の理解関係などから、質の高い採点者を多く確保することは非常に難しいとの現状もある。そこで、採点者の採点方法自体を変更しようとする提案がなされている。
【０００６】
例えば、特許文献２では、答案作成者側における答案の記述のバリエーションを制限するのではなく、採点者の判断を集約させるようにあらかじめ定めた択一的な質問に採点者が回答していく、いわば採点者側の「選択式問題」が用意される採点方法を提案している。かかる方法では、採点者側の採点のバリエーションを制限することにはなるが、質問毎に設定された得点を積み上げる従来の直列的な部分採点方式とは異なり、採点者の回答をパターン化して集計することで答案を分類分けし並列的に採点することができるのである。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００６−２７７０８６号公報
【特許文献２】特開２０１２−２２１８５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
採点対象をマーク式以外の答案としこれを機械ではなく人（採点者）が採点するとき、その採点結果の正誤判断も人が行わねばならず、これを効率よく処理することは簡単ではない。ここで、採点者の傾向に合わせて適切な答案の採点を担当させることで、個々の答案の採点結果の正誤の検証を殊更に慎重に行う必要はなくなり、全体の処理効率を大幅に高め得る。
【０００９】
本発明はかかる状況に鑑みてなされたものであって、その目的とするところは、記述式問題に対して作成された多数の答案を採点者の複数で採点するにあたってその客観性を担保しつつも効率的に採点を行い得る答案採点方法を提供することにある。
【課題を解決するための手段】
【００１０】
本発明による答案採点方法は、選択された答案情報をホストコンピュータからクライアントコンピュータに送信しこの答案情報に対応して採点者の入力した採点情報の返信を受けて各答案に対する点数結果を収集しこのうちから信頼性の高い該点数結果を採用していく答案採点方法であって、前記採点情報は、前記答案情報のうちの１つである特定答案情報を識別する個別情報と、前記特定答案情報に対して、配点に基づいた点数測定による前記点数結果である答案点数情報、及びこれを入力した前記採点者を識別する採点者情報、からなる採点セット情報と、前記特定答案情報に対して、肯定又は否定の二択質問文の複数からなる質問群についての回答パターンからなる答案形式情報と、を含み、前記採点セット情報を前記答案形式情報でフィルタリングして前記点数結果を採用していく採用ステップを含むことを特徴とする。
【００１１】
かかる発明によれば、答案形式情報によるフィルタリングで採点者情報に基づく特定の答案形式情報に対応する信頼性の高い点数結果だけを採用できて、多数の答案を採点者の複数で採点する場合にあっても客観性を担保しつつも効率的に採点を行い得る。
【００１２】
上記した発明において、前記採点者が前記点数結果を与えることを許可する前記回答パターンを決定する採点許可ステップを含み、前記採用ステップは、前記採点者とこれに許可された前記回答パターンの組み合わせに基づいてフィルタリングを行うことを特徴としてもよい。かかる発明によれば、回答パターンに基づいて許可された採点者による点数結果だけを採用できて、客観性を担保しつつも効率的に採点を行い得る。
【００１３】
上記した発明において、前記答案情報のうちの１に対応して複数の採点者の入力を許容することで、前記採点情報が１の前記個別情報に対して前記採点セット情報を複数含み得ることを特徴としてもよい。かかる発明によれば、１の個別情報に対して複数の採点セット情報から許可された採点者による点数結果を抽出できる。
【００１４】
上記した発明において、前記採点情報において、前記個別情報及び前記答案形式情報をあらかじめ用意しておくことを特徴としてもよい。かかる発明によれば、答案形式情報に基づいて答案情報の処理を決定できる。
【００１５】
上記した発明において、前記答案情報についてこれに対応する前記答案形式情報の前記回答パターンに対して許可された前記採点者に向けて送信するステップを含むことを特徴としてもよい。かかる発明によれば、回答パターンに基づいて許可された採点者による点数結果だけを収集して採用できる。
【図面の簡単な説明】
【００１６】
【図１】本発明による実施例としての答案採点方法に用いられる答案採点システムのブロック図である。
【図２】採点システムの要部のブロック図である。
【図３】答案採点方法のフロー図である。
【図４】採点情報の表示例の図である。
【図５】他の答案採点方法のフロー図である。
【発明を実施するための形態】
【００１７】
まず、本発明による答案採点方法に用いられる答案採点システムについて図１を用いて説明する。
【００１８】
［システム構成］
図１に示すように、答案採点システム１は、問題作成者等を含む管理者によって使用されるホストコンピュータ１０と、これにインターネット回線やＬＡＮ等の通信回線２０を介して接続される複数のクライアントコンピュータ２１とを含む。クライアントコンピュータ２１は、モニタ、キーボード及びマウス等の入出力装置を備える。
【００１９】
ホストコンピュータ１０は、ハードディスク装置等の大容量の記憶装置１１、制御部としてのＣＰＵ１２、ＲＯＭ１３やＲＡＭ１４及び図示しない通信インターフェースを備える。また、ホストコンピュータ１０は、ユーザインターフェースとしてモニタ１０ａ、キーボード１０ｂ及び答案の画像データの入力を可能とする図示しないスキャナなどの入出力装置に接続される。
【００２０】
記憶装置１１は、プログラム等記憶領域３０及び各種データを記憶するデータベース（ＤＢ）領域４０を有している。
【００２１】
プログラム等記憶領域３０には、ＣＰＵ１２によって実行されるプログラムとしてのデータ収容手段３１と、答案情報送信手段３２と、採点情報受信手段３３と、採点情報採用手段３４とが記憶されている。
【００２２】
図２を併せて参照すると、データベース領域４０には、少なくとも答案情報記憶領域４１、採点基準情報記憶領域４２、採点情報記憶領域４３、採点許可情報記憶領域４４が設けられている。答案情報記憶領域４１には受験者の作成した答案を画像化した答案画像４１ｂと特定の答案を識別する識別符号などの個別情報４１ａが記憶される。採点基準情報記憶領域４２には、いわゆる採点基準である測定基準４２ａ及び二択質問文の複数からなる質問群４２ｂが記憶される。また、採点情報記憶領域４３には、採点情報５０（図３参照）が記憶される。採点情報５０のそれぞれには、上記した個別情報４１ａ、個別情報４１ａにより識別される答案の類型を示す形式情報４５、その答案を採点した採点者の採点者情報４６ａ及び採点結果のうちの点数結果である点数情報（答案点数情報）４６ｂの組からなるセット情報（採点セット情報）５２（図３参照）が含まれる。さらに、採点許可情報記憶領域４４に記憶される採点許可情報には、上記した採点者情報４６ａとこれに対応する各採点者に採点の許可される答案の類型を示す類型情報４７がそれぞれ含まれる。
【００２３】
このようなシステム構成により、予め複数の受験者に問題文を受験させて答案を収集しておいた上で、答案採点システム１においては、データ収容手段３１によって答案を答案情報として答案情報記憶領域４１に記憶させ、これを答案情報送信手段３２によって複数の採点者の使用するクライアントコンピュータ２１に送信させ、採点情報受信手段３３によって答案情報に対する採点者の採点結果である採点情報５０の返信を受けて採点情報記憶領域４３に記憶させ蓄積することができる。これらの動作の詳細については後述する。
【００２４】
［問題文の作成］
答案採点システム１の使用に先立ち、管理者は、受験者に試験問題として与える問題文を作成しておく。ここで対象とする問題文は、採点者（人）による採点を必要とする問題文であり、例えば受験者に直筆で答案を作成させるテストなど機械によって採点できない問題文である。少なくとも、機械によって採点できるマークシート式の問題文は対象としていない。作成した問題文は、必要に応じてホストコンピュータ１０のキーボードやスキャナなどの入力装置から入力され、記憶装置１１に記憶されて、ホストコンピュータ１０やクライアントコンピュータ２１から、適宜、参照できるようにしてもよい。
【００２５】
［採点基準情報の作成］
管理者は、次いで採点基準情報を作成し、データ収容手段３１によって採点基準情報記憶領域４２に記憶させておく。採点基準情報には、問題文に対する答案の点数測定を一定の判断基準で行うよう採点者に提示する測定基準４２ａと、答案の記載に関する肯定又は否定の二択質問文の複数からなる質問群４２ｂとを含む。
【００２６】
測定基準４２ａは、特定の内容が答案に記述されているか否かを実質的に判断するためのいわゆる採点基準であり、従来と同様である。例えば、正答例や配点を含み、部分点を与えるべき場合には部分点を付与されるべき答案の内容の条件、加点や減点となる部分点などの配点を含む。
【００２７】
質問群４２ｂのうちの二択質問文のそれぞれは、答案に関しての肯定又は否定の二者択一の回答を採点者に選択させる質問文であり、その選択の判断を容易とするような内容である。即ち、二択質問文は、特定の内容が答案に記述されているかを実質的に判断するものではなく、答案の記載を形式的に判断できるものとする。これにより、各採点者の主観差を排した回答を得るのである。また、二択質問文は、１つの問題文に対する答案について複数作成されて質問群４２ｂとされ、質問群４２ｂに対する回答の肯定又は否定の組み合わせ（回答パターン）によって少なくとも答案を複数の類型に分類できるものである。
【００２８】
［実施例１］
次に、答案採点システム１の使用方法を図３に沿って図１、図２及び図４を参照しつつ説明する。
【００２９】
図３に図１及び図２を併せて参照すると、データ収容手段３１は、ホストコンピュータ１０の記憶装置１１に答案情報を記憶させる（Ｓ１）。詳細には、管理者は複数の受験者に作成した問題文を与え、これに対する答案を予め得ておく。答案の記載された答案用紙群は、ホストコンピュータ１０の図示しないスキャナ等の入力装置などによって答案情報となる答案画像４１ｂとして読み込まれる。読み込まれた答案画像４１ｂはデータ収容手段３１によって各受験者の識別符号を付されるなど識別されて答案情報記憶領域４１に記憶される。ここで、受験者の作成した答案は複数の問題文に対するひとまとまりのものであるが、答案情報として問題文毎に分けて答案画像４１ｂとされており、先の識別符号に各問題文の符号等も併せた個別情報４１ａを付して記憶される。なお、実際には、複数の問題文に対する処理を同時並行して行ってもよいが、以下では１つの問題文に対する処理について説明する。
【００３０】
次いで、採点者にどのような類型の答案についての採点を許可するかを定める（Ｓ２）。上記したように、質問群４２ｂに対する回答パターンにより答案を複数の類型に分類できる。詳細は後述するが、多数の採点者による採点を行う場合、採点者の経験や能力によっては誤採点の発生しやすい答案の類型がある。つまり、採点の客観性を担保するために、誤採点の発生しないような採点者の経験や能力に適合した答案の類型を指定し、その点数測定（採点）を許可するのである。そして、データ収容手段３１により、採点者情報４６ａにより識別される採点者に採点の許可された答案の類型を類型情報４７として採点許可情報記憶領域４４に記憶させる。ここで類型情報４７は、質問群４２ｂに対する回答パターンである形式情報４５に対応する。このような答案の類型情報４７に対応する回答パターンは二択質問文による質問群４２ｂによって決まるので、採点許可（Ｓ２）については、質問群４２ｂを作成した時点で行っておいてもよい。
【００３１】
次いで、答案情報送信手段３２は、答案情報記憶領域４１から答案情報を選択し、採点基準情報記憶領域４２の採点基準情報とともにクライアントコンピュータ２１へ送信する（Ｓ３）。各クライアントコンピュータ２１にはこれを使用する複数の採点者がそれぞれ対応しており、各採点者の処理すべき答案を複数ずつ振り分けるように選択し、最終的に全ての答案情報についての採点処理を行わせるのである。この複数の答案情報はまとめて送信されてもよいし、採点処理毎に１つずつ送信されてもよい。なお、１つの答案情報を同時に複数の採点者に振り分けてもよい。
【００３２】
クライアントコンピュータ２１では答案情報を採点基準情報とともに受信する（Ｓ３’）。採点基準情報は、上記したように測定基準４２ａ及び質問群４２ｂを含み、採点者による採点作業に用いられる。１つの問題文に対する答案情報を複数回に分けて受信する場合に、採点基準情報は初回に受信した以降において不要となるので、ホストコンピュータ１０からの送信を省略できる。また、採点基準情報を予め各採点者に配布しておき、答案情報の送信に伴うホストコンピュータ１０からの採点基準情報の送信そのものを省略してもよい。
【００３３】
図４を併せて参照すると、採点者は、クライアントコンピュータ２１において採点基準情報に従い答案情報について採点処理し、各答案情報に対応した採点情報５０を作成し、入力する。採点処理には、点数測定（点数情報４６ｂの作成）と質問群４２ｂに対する回答（形式情報４５の作成）とが含まれる。クライアントコンピュータ２１の画面上に表示される採点情報５０には、形式情報４５、セット情報５２及びこれらに付されて採点対象の答案情報を特定する個別情報４１ａを含む。
【００３４】
まず、採点者は測定基準４２ａに従って点数情報４６ｂを作成する。点数情報４６ｂは、答案についてのいわゆる点数であり一般的な採点によって得られ、例えば、測定基準４２ａに示される部分点などの配点に基づき、これを加算したり減算したりして作成される。点数情報４６ｂを作成する作業をここでは点数測定と称する。
【００３５】
次に、採点者は、二択質問文の複数からなる質問群４２ｂに従って形式情報４５を作成する。二択質問文のそれぞれは、上記したように答案の記載に関して肯定又は否定を選択する判断を容易とするような内容であり、採点処理作業に大きな負担を与えるものではない。採点者は、複数の二択質問文のそれぞれに対する回答を肯定「Ｙ」又は否定「Ｎ」のチェックボックス５１から選択してチェックを入力して回答する。このような作業によって、質問群４２ｂに対する肯定又は否定の回答の組み合わせ（回答パターン）を形式情報４５として作成する。
【００３６】
採点者は点数結果（採点結果）である点数情報４６ｂに自らを識別するＩＤなどの採点者情報４６ａを付してセット情報５２とし、形式情報４５及び採点の対象となった答案を特定する個別情報４１ａとともに採点情報５０としてクライアントコンピュータ２１からホストコンピュータ１０に向けて返信させる（Ｓ４’）。
【００３７】
ホストコンピュータ１０では、採点情報受信手段３３によって受信した採点情報５０を採点情報記憶領域４３に記憶させる（Ｓ４）。ホストコンピュータ１０では、受信した採点情報５０を蓄積し、必要に応じて次の処理に進む。つまり、全ての答案についての採点情報５０返信を得る前に、次の処理を開始してもよい。
【００３８】
そして、ホストコンピュータ１０では、採点情報採用手段３４によって採点情報５０のうちの所定の条件の点数情報４６ｂを採用する（Ｓ５）。ここでは、採点許可情報記憶領域４４を参照し採点許可情報に基づいて、答案に対して適切な採点者による採点結果である点数情報４６ｂを採用することで、採点の客観性を担保することを目的としている。つまり、採点許可情報のうちの採点者情報４６ａ及び類型情報４７と、採点情報５０のうちの採点者情報４６ａ及び形式情報４５とを照合し、類型情報４７に形式情報４５が合致する場合にのみ点数情報４６ｂをその答案の点数として採用するのである。換言すれば、点数情報４６ｂの含まれるセット情報５２を、採点許可情報に基づき形式情報４５でフィルタリングするのである。
【００３９】
採点者による採点（点数測定）では、同じ答案であっても採点者によって採点結果が異なり得る。例えば、多肢選択式で単文字による単純な答案の記載を要求する問題文であっても、受験者毎に異なる書き癖などのために、この判読を伴う採点にはそれなりに誤りが発生する。つまり、このような問題文に対する答案を採点する採点者には受験者の直筆による単文字を判読できる経験や能力が要求される。受験者に一定量の自由な記述を要求するようないわゆる記述式問題であっても、採点には多数の判断を伴うため採点者によって採点結果が異なり得る。つまり、どちらの場合でも、採点者には採点基準（測定基準）に従った客観的な採点のできる経験や能力が要求される。よって、採点の客観性を担保するためにはそのような問題文の種類に対して適切な採点者による採点結果を採用する必要がある。
【００４０】
さらに、同じ問題文であっても、答案のバリエーションによって採点に適切な採点者が変わり得る。例えば、上記したような単文字を判読できる能力を採点者に求められる問題文に対する答案であっても、白紙答案であれば採点者によって採点結果は異なることはほとんどなく、採点者に単文字を判読できる経験や能力は要求されない。つまり、答案の形式的な違いでも、その採点に適切な採点者が異なり得る。さらに、記述式問題の場合は、そのバリエーションがより多岐に亘るため、答案の記載量や、特定の文字列又は数式等の記載の有無などの形式的な違いによってその答案を誤採点せずに採点できる適切な採点者は異なり得る。つまり、上記した問題文の種類に加え、答案の形式的な類型によっても適切な採点者は異なるのである。そして、上記した質問群４２ｂの二択質問文は、このような答案の類型に分類できるような答案の記載についての形式的な差異を問うものであることが好ましい。
【００４１】
そこで、上記したように問題文毎にその問題文に対する答案の類型によってその答案の採点を許可する採点者をその経験や能力に基づいて定めておき、採点許可情報として採点許可情報記憶領域４４に記憶させておくのである。そして、上記したように、セット情報５２を、採点許可情報に基づき形式情報４５でフィルタリングしてその答案の点数結果として採用する点数情報４６ｂを決定することで、採点の客観性を担保できるのである。
【００４２】
このとき、一部の答案について、採用できる点数情報４６ｂのないことがある。この場合、採用できる点数情報４６ｂのなかった答案について再度採点を行うが、返信される点数情報４６ｂを採用できるように採点者を選択する（Ｓ６）。すなわち、採用できる点数情報４６ｂのなかった答案も、各答案の類型を示す形式情報４５が既に明らかになっているので、かかる形式情報４５に基づき採点者を選択するのである。つまり、採点許可情報を照会してその答案の採点を許可されている採点者を採点者情報４６ａから選択する。具体的には、形式情報４５に対応する類型情報４７を含む採点許可情報から採点者情報４６ａを選択すればよい。
【００４３】
そして、選択された採点者に対応するクライアントコンピュータ２１に向けて対応する答案の答案情報がそれぞれ送信される（Ｓ７）。
【００４４】
クライアントコンピュータ２１では答案情報を受信する（Ｓ７’）。採点基準情報を過去に受信していない場合は、ここで受信してもよい。つまり、初回の採点処理に参加していなかった採点者を新たに選択することもできる。
【００４５】
図４を併せて参照すると、選択された採点者は、クライアントコンピュータ２１において採点基準情報に従い答案情報について採点処理し、答案情報に対応した採点情報５０を作成し、入力する。既に、形式情報４５については明らかになっているので、採点者は採点処理として測定基準４２ａに従って点数情報４６ｂを作成する点数測定を行えばよい。そして、採点者は点数結果（採点結果）である点数情報４６ｂに自らを識別するＩＤなどの採点者情報４６ａを付したセット情報５２を個別情報４１ａとともにクライアントコンピュータ２１からホストコンピュータ１０に向けて返信させる（Ｓ８’）。
【００４６】
ホストコンピュータ１０では、採点情報受信手段３３によって受信したセット情報５２（採点者情報４６ａ及び点数情報４６ｂ）を採点情報記憶領域４３の対応する個別情報４１ａを含む採点情報５０に加えて記憶させる（Ｓ８）。これにより、全ての答案に対する採点情報５０の形式情報４５と採点者情報４６ａとが採点許可情報において許可されている組み合わせに合致することになる。つまり、採点情報採用手段３４によって、上記した点数情報の採用（Ｓ５）において採用されなかった残りの点数情報４６ｂを採用でき（Ｓ９）、その結果、全ての点数情報４６ｂを採用できる。ホストコンピュータ１０は、蓄積した採点情報５０を必要に応じて適宜集計するなどしてもよい。
【００４７】
以上のように、答案採点システム１を用いた上記の答案採点方法によれば、全ての答案に対してその形式情報４５に基づいて採点の許可された採点者による点数情報４６ｂを採用することができて、採点の客観性を担保することができる。また、点数情報４６ｂを得る一般的な点数測定（採点）の処理作業に対して、形式的な二択質問文からなる質問群４２ｂに対する回答を追加作業とするだけで答案の形式情報４５を得られ、これに基づき一部の答案についてのみ再度点数測定を行えばよく、採点処理を迅速に行うことができる。つまり、採点者による採点を必要とする問題文に対して作成された多数の答案を複数の採点者で採点する場合であっても、客観性を担保しつつ迅速に採点を行うことができる。
【００４８】
なお、答案情報の送信（Ｓ３）の説明に付記したように、１つの答案情報を同時に複数の採点者に重複するように振り分けてもよい。これによれば、１つの個別情報４１ａにより特定される答案情報についての複数のセット情報５２の中から許可された採点者による点数情報４６ｂを抽出して採用できる。つまり、初回の採点処理（Ｓ３’及びＳ４’の間）の後の採点情報５０において、採用する点数情報４６ｂの存在しない答案の数を少なくできる。よって、二回目の採点処理（Ｓ７’及びＳ８’の間）での点数測定の対象となる答案も少なくなる。そのため、確保できる採点者とその日程に基づき、適宜、初回の答案の重複を含めた振り分けの数を調整し、より迅速に採点を行い得るようにすることもできる。
【００４９】
［実施例２］
さらに、答案採点システム１の他の使用方法を図５に沿って図１、図２及び図４を参照しつつ説明する。本実施例では、先に形式情報４５を得て、これを基に採点者を選択した上で点数情報４６ｂを作成させる。
【００５０】
図５に図１及び図２を併せて参照すると、ホストコンピュータ１０では、まず答案情報の記憶を行う（Ｓ１１）。以下、答案情報の受信（Ｓ１３’）までは、実施例１における答案情報の記憶（Ｓ１）から答案情報の受信（Ｓ３’）までと同様である。但し、ここまでで答案情報とともに送信される採点基準情報は、質問群４２ｂを含んでいればよく、測定基準４２ａを含む必要はない。
【００５１】
図４を併せて参照すると、採点者は、クライアントコンピュータ２１において採点基準情報に従い答案情報について採点処理し、答案情報に対応した採点情報５０を作成し、入力する。クライアントコンピュータ２１の画面上に表示される採点情報５０には、形式情報４５、セット情報５２及びこれらに付される個別情報４１ａを含む。
【００５２】
採点者は、二択質問文の複数からなる質問群４２ｂに従って形式情報４５を作成するが、この時点で点数情報４６ｂを作成する必要はない。つまり、ここでの採点処理には形式情報４５の作成は含まれるが、点数測定を含まない。その結果、セット情報５２は、点数情報４６ｂを含まず採点者情報４６ａが含まれる。そして、採点者は、採点情報５０として、セット情報５２及び答案を特定する個別情報４１ａとともに作成した形式情報４５をクライアントコンピュータ２１からホストコンピュータ１０に向けて返信させる（Ｓ１４’）。
【００５３】
ホストコンピュータ１０では、採点情報受信手段３３によって受信した採点情報５０を採点情報記憶領域４３に記憶させる（Ｓ１４）。ホストコンピュータ１０では、受信した採点情報５０を蓄積し、必要に応じて次の処理に進む。つまり、全ての答案についての採点情報５０返信を得る前に、次の処理を開始してもよい。
【００５４】
受信した採点情報５０は点数情報４６ｂを含まないが、形式情報４５を含んでおり、対応する答案について採点（点数測定）の許可される採点者を選択できる（Ｓ１５）。すなわち、形式情報４５に対応する類型情報４７を含む採点許可情報から採点者情報４６ａを選択する。
【００５５】
そして、実施例１と同様に、選択された採点者に対応するクライアントコンピュータ２１に答案情報をそれぞれ送信し（Ｓ１６）、クライアントコンピュータ２１に答案情報を受信させる（Ｓ１６’）。測定基準４２ａを過去に受信させていない場合は、ここで受信させるとよい。
【００５６】
さらに、実施例１と同様に、選択された採点者は、測定基準４２ａに従って点数情報４６ｂを作成する点数測定を行う。そして、採点者は点数情報４６ｂに採点者情報４６ａを付したセット情報５２をクライアントコンピュータ２１からホストコンピュータ１０に向けて返信させる（Ｓ１７’）。
【００５７】
ホストコンピュータ１０では、採点情報受信手段３３によって受信したセット情報５２（採点者情報４６ａ及び点数情報４６ｂ）を採点情報記憶領域４３の採点情報５０に加えて記憶させる（Ｓ１７）。これにより、全ての答案に対する採点情報５０の形式情報４５と採点者情報４６ａとが採点許可情報において許可されている組み合わせに合致することになり、採点情報採用手段３４によって全ての点数情報４６ｂを一括して採用できる（Ｓ１８）。ホストコンピュータ１０は、蓄積した採点情報５０を必要に応じて適宜集計するなどしてもよい。なお、その他は実施例１と同様である。
【００５８】
以上のように、答案採点システム１を用いた上記の答案採点方法によれば、形式情報４５に基づいて採点の許可された採点者による点数情報４６ｂのみを収集できる。結果的に、実施例１と同様に、全ての答案に対して採点の許可された採点者による点数情報４６ｂを採用することができて、採点の客観性を担保することができる。また、点数情報４６ｂを得る点数測定（採点）の処理作業に対して、あらかじめ形式情報４５を用意しておくために形式的な二択質問文からなる質問群４２ｂに対する回答を追加作業として先に行うだけでよく、採点処理を迅速に行うことができる。つまり、採点者による採点を必要とする問題文に対して作成された多数の答案を複数の採点者で採点する場合であっても、客観性を担保しつつ迅速に採点を行うことができる。
【００５９】
なお、上記した答案採点方法の使用において、答案情報の数や採点者の数は自由であるが、採点者に経験や能力の差のあることを前提として客観性を担保できるのであるから、特に採点者の数の多い場合に好適である。例えば、一つの問題文に対する答案を採点処理する採点者の数は数百人となり、受験者の数で言えば数十万人となることも想定し得る。このような大規模な採点処理を行う場合であっても、客観性を担保しつつ迅速に採点を行うことができる。
【００６０】
ここまで本発明による代表的実施例及びこれに基づく変形例を説明したが、本発明は必ずしもこれらに限定されるものではなく、当業者であれば、添付した特許請求の範囲を逸脱することなく、種々の代替実施例及び改変例を見出すことができる。
【符号の説明】
【００６１】
１    答案採点システム
４０    データベース領域
４１    答案情報記憶領域
４２    採点基準情報記憶領域
４２ｂ  質問群
４３    採点情報記憶領域
４４    採点許可情報
４５    形式情報（答案形式情報）
４６    セット情報（採点セット情報）
４６ａ  採点者情報
４６ｂ  点数情報（答案点数情報）
【図１】
2018142249.tif 000003
【図２】
2018142249.tif 000004
【図３】
2018142249.tif 000005
【図４】
2018142249.tif 000006
【図５】
2018142249.tif 000007