(57)【要約】  本発明は信頼性の高い試験材料を含む教育商品または教材を開発するための多項選択式問題の新規の使用を提示する。方法は、問題の中で推測される所与の事実の集合で開始し、各解答選択肢を調べ、その解答選択肢を「正しい」または「最良の」解答選択肢にするために、推測される事実の集合をどのようにして修正できるのかを尋ねることを必要とする場合がある。所与の解答選択肢がすでに正しい場合には、修正は必要とされない。所与の解答選択肢が正しくない場合には、推測される事実の集合の中の単語または句、あるいは他の記号またはオブジェクトのいくつかを変更することを含む多様な修正戦略を利用できる。問題の中で与えられる間違った解答選択肢から取得可能な情報を破棄する従来の多項選択式試験とは異なり、本発明の方法は指導または綿密な試験のために「間違った」解答選択肢を利用する。
2009526246.tif 000002
【特許請求の範囲】
【請求項１】
（ａ）１つ以上の多項選択式問題を提供するステップであって、各問題がクエリーと、複数の解答選択肢とを備え、前記複数の解答選択肢が１つの正解と、１つ以上の不正解とを備えるステップと、（ｂ）前記１つ以上の不正解の内の少なくとも１つについて、受験生に、前記少なくとも１つの不正解が正解となるフォローアップクエリーを作成するように促すステップとを含む試験方法であって、ステップ（ａ）またはステップ（ｂ）の少なくとも１つがコンピュータを使用して実施される方法。
【請求項２】
前記フォローアップクエリーが前記クエリーの修正クエリーである請求項１の方法。
【請求項３】
前記１つ以上の不正解の内の少なくとも１つが前記不正解の全てである請求項１の方法。
【請求項４】
（ａ）１つ以上の多項選択式問題を提供するステップであって、各問題がクエリーと、複数の解答選択肢とを備え、前記複数の解答選択肢が１つの正解と、１つ以上の不正解とを備えるステップと、（ｂ）受験生に、前記不正解の１つを選択するように促すステップ、および（ｃ）受験生に、前記不正解が正解となるフォローアップクエリーを作成するように促すステップとを含む試験方法。
【請求項５】
前記ステップ（ｃ）が、受験生に、前記フォローアップクエリーを作成する前記クエリーにおいて事実オブジェクトを修正するように促すことを含む請求項４の方法。
【請求項６】
前記ステップ（ｃ）が、受験生に、前記フォローアップクエリーを作成する修正リストから事実オブジェクトを選択するように促すことを含む請求項４の方法。
【請求項７】
さらに、受験生が、前記解答が正解になるまで、異なるフォローアップクエリーを作成するように促されるようなステップ（ｃ）の繰り返し（ｄ）を含む請求項４の方法。
【請求項８】
（ａ）１つ以上の多項選択式問題を提供するステップであって、各問題がクエリーと、複数の解答選択肢とを備え、前記複数の解答選択肢が１つの正解と、１つ以上の不正解とを備えるステップと、（ｂ）前記クエリーに存在する事実オブジェクトのリストを提供するステップと、（ｃ）前記１つ以上の不正解の内の１つが正解になるためには、受験生に、前記クエリーの中で前記リストのどの事実オブジェクトを変更しなければならないのかを特定するように促すステップとを含む、試験方法。
【請求項９】
さらに、受験生が、前記１つ以上の不正解の各々についてのステップ（ｃ）の繰り返し（ｄ）を含む請求項８の方法。
【請求項１０】
（ａ）１つ以上の多項選択式問題を提供するステップであって、各問題がクエリーと、複数の解答選択肢とを備え、前記複数の解答選択肢が１つの正解と、１つ以上の不正解とを備えるステップと、（ｂ）受験生に前記１つ以上の不正解の中から不正解を選ぶように促すステップと、（ｃ）受験生に、フォローアップクエリーを作成するために前記クエリーの中で１つ以上の事実オブジェクトを変更することによって前記クエリーを修正するように促すステップと、（ｄ）前記不正解が前記フォローアップクエリーの正解であるかどうかを判断するステップと、（ｅ）前記不正解が前記フォローアップクエリーの正解ではない場合に、ステップ（ｃ）と（ｄ）を反復するステップとを備える試験方法であって、ステップ（ａ）、ステップ（ｂ）、またはステップ（ｃ）の内の少なくとも１つがコンピュータを使用して実施される方法。
【請求項１１】
ステップ（ｄ）が受験生によって実施される請求項１０の方法。  
【請求項１２】
前記多項選択式問題および前記フォローアップクエリーが教育目的に適した媒体で編纂されるステップ（ｆ）を含む請求項１０の方法。  
【請求項１３】
前記媒体がコンピュータ判読可能である請求項１０の方法。  
【請求項１４】
前記媒体がオーディオグラフィック媒体である請求項１０の方法。  
【請求項１５】
前記媒体がビデオグラフィック媒体である請求項１０の方法。  
【請求項１６】
（ａ）コンピュータ可読ソースを介して１つ以上の多項選択式問題を提供するステップであって、各問題がクエリーと複数の解答選択肢とを備え、前記複数の解答選択肢が１つの正解と、１つ以上の不正解とを備えるステップと、（ｂ）受験生に前記複数の解答選択肢の内の１つを見直すように促すステップと、（ｃ）受験生に前記問題の解答選択肢を選択するように促すステップと、（ｄ）受験生に前記解答選択肢が不正解であるかどうかを判断するように促すステップと、（ｅ）受験生に、フォローアップクエリーを見直し、前記解答選択肢が前記フォローアップクエリーの正解であるかどうかを判断するように促すステップとを含む、試験方法。
【請求項１７】
（ｆ）受験生に別の解答選択肢を選択するように促すステップと、（ｇ）前記別の解答選択肢が不正解である場合に、前記別の解答選択肢が正解であるフォローアップクエリーを生成するステップとをさらに含む、請求項１６に記載の方法。
【請求項１８】
前記コンピュータ可読ソースが通信網である請求項１６の方法。
【請求項１９】
前記通信網がインターネットである請求項１８の方法。
【請求項２０】
実行時に、（ａ）１つ以上の多項選択式問題を提供するステップであって、各問題がクエリーと複数の解答選択肢とを備え、前記複数の解答選択肢が１つの正解と、１つ以上の不正解とを備えるステップと、（ｃ）受験生に前記不正解の内の１つを選択するように促すステップと、（ｄ）フォローアップクエリーを提供するステップと、（ｅ）受験生に前記不正解が前記フォローアップクエリーの正解であるかどうかを判断するように促すステップとを実行する、コンピュータ可読媒体に記憶されるプログラム。
【請求項２１】
前記ステップ（ｃ），（ｄ）および（ｅ）が前記１つ以上の不正解の全てについて繰り返される請求項２０のプログラム。
【請求項２２】
（ａ）１つ以上の多項選択式問題を提供するステップであって、各問題がクエリーと複数の解答選択肢とを備え、前記複数の解答選択肢が１つの正解と、１つ以上の不正解とを備えるステップと、（ｂ）受験生に前記正解を選択するように促すステップと、（ｃ）受験生の前記正解の選択の記録を維持するステップと、（ｄ）事前に設定した式に従って受験生の前記正解の選択に対してクレジットを割り当てるステップと、（ｅ）受験生に前記複数の解答選択肢から別の解答選択肢を選択するように促すステップと、（ｆ）受験生に前記別の解答選択肢が正解であるフォローアップクエリーを提供するように促すステップと、（ｇ）受験生の前記別の解答選択肢の記録を維持するステップと、（ｈ）事前に設定した式に従って受験生の前記別の解答選択肢に対するクレジットを割り当てるステップと、（ｉ）事前に設定した式に従って受験生の割り当てられたクレジットを問題の得点に結合するステップと、（ｊ）事前に設定した基準に比して前記得点を評価するステップとを含む、試験方法。
【請求項２３】
前記方法が、通信網を介して遠隔教育として実施される請求項２２の方法。
【請求項２４】
さらに、前記多項選択式問題および前記フォローアップクエリーが教育目的に適した媒体で編纂されるステップを含む請求項１、４、または２２のいずれかの方法。  
【発明の詳細な説明】
【技術分野】
【０００１】
本国際出願は、出願が２０００年９月１１日に出願された米国仮特許出願第６０／２３２，１１０号の利点を同様に主張した、２００１年９月１２日に出願された米国特許出願第０９／９５１，１３２号の一部継続出願である、２００６年２月７日に出願された米国国内特許出願第１１／３５０，２６６号に優先権を主張する。特許出願第０９／９５１，１３２号は、その後米国特許第７，０３３，１８２号として発行した。
【０００２】
米国特許第７，０３３，１８２号、特許出願第１１／３５０，２６６号及び第０９／９５１，１３２号、ならびに仮出願第６０／２３２，１１０号の全体的な内容が参照されることにより本明細書に組み込まれる。
【０００３】
本発明は一般に多項選択式問題に関し、より詳細には多項選択式問題に基づいて、教育試験材料を含む教材類を作成する方法に関する。
【背景技術】
【０００４】
教育試験業界ではよく認識されている多項選択式の試験形式の欠点にも関わらず、多項選択式問題は多岐に渡る主題分野で学生を試験する一般的な方法であり続けている。この「客観的な」試験形式は、統一採点、電子採点、または機械採点においては適切であり、特に多数の学生が受ける試験で有効である。一般的には、多項選択式試験の代替策は、普通は短い段落または長い段落つまりエッセーの形を取り、一般的には人間の試験官によって採点され、主観的である、問題に対する「オープンフォーマット」回答を必要とする。用語「学生」、「受験者」、及び「受験生」は、以下、教育試験の文脈において同義に使用される。
【０００５】
その最も一般的な形式では、多項選択式問題は、推測されるの事実の集合（例えば、談話、短編小説、詩、式、方程式、または幾何学的図形）を含む部分と、（「論点の問いかけ」としても知られる）疑問文、解答選択肢の集合という３つの特定可能な部分を含む。
【０００６】
多項選択式問題は便宜的に次の２つの部分に分けられてよい。推測される事実の集合と１つの疑問文を含む第１部と、解答選択肢の集合を含む第２部である。第１部は「クエリー」と呼んでもよい（代わりに、用語「クエリー」は疑問文だけを指すことがあるが、本明細書中に使用されるように、用語「クエリー」は特に断りのない限り問題の第１部全体（つまり、推測される事実の集合と疑問文）を指す。）。解答選択肢数は適当な状況では３つより少なくまたは５つより多くで変化してよいが、第２部では通常は３つから５つの間の解答選択肢が提示される（例えば、いわゆる「〇×式問題」では、通常は２つの答え、つまり、「〇」または「×」がある。）。
【０００７】
推測される事実の集合は、単語または句、またはオブジェクトまたは記号の集合、あるいは単語、オブジェクト、及び記号の組み合わせを用いて表現できる。代わりに、推測される事実の集合は、図、写真、または別のグラフィック表示等の他の適切な方法で表現してもよい（例えば、美術史の試験では、推測される事実の集合は１つの美術作品またはその写真となってよい。）。問題は、通常、学生または受験者に「正しい」、つまり「最良の」解答を選び、例えば選択した解答選択肢に丸をつけることによって試験用紙に、あるいは別の解答用紙のどちらかに選択した解答選択肢を示すように要求する。別の解答用紙は、各問題の各解答選択肢に対応する小さい円、楕円形または矩形等の小さな形状を含んでよく、その形状は例えば鉛筆で受験者に塗りつぶされてよい。通常、受験者は問題の他の解答選択肢に対応する形状を空のまま残す一方で、選択した解答に対応する形状を塗りつぶすように要求される。他の解答用紙は現在公知の、または後に開発される他の適切な形状を有してよい。大部分のケースでは、受験者は問題を未回答のまま残してよいが、問題ごとに複数の解答選択肢を選択してはならない。したがって、多項選択式問題は、一般的にはただ１つの有効な解答を有する。複数の有効な解答が存在する他のケースでは、多様な解答が完全なクレジット、または各種部分的なクレジットを与えてよく、本明細書中に開示される方法は再帰的に類似した方法で拡大してよい。
【０００８】
別の解答用紙に解答を示すことは一般に普及しており、解答用紙の自動採点または機械採点に適している。自動採点機または機械採点機は既定の解答用紙を「正しい」解答のテンプレートと比較し、塗りつぶされた形状（例えば）がテンプレートと一致する問題数を数える。したがって「グレード」とも呼ばれることがある受験者の点数は、正解した問題数対不正解の問題数に依存することがある式に基づいて計算できる。多項選択式試験を採点できる低コスト、高速、便利さ及び統一性がその人気の一因になっているのは間違いない。
【発明の開示】
【発明が解決しようとする課題】
【０００９】
多項選択式試験の典型的な採点式で暗示されているのは、主題を習得した受験者が正解を選択するために効率的に作業するのに対し、おもに勘に頼る受験者は無作為に正解にあたる統計上の確率よりうまくいくことはないという仮説である。しかしながら、実際には、多項選択式の形式の偏差のために受験者の点数の違いはまれにしか明確ではない。特に、受験者が１つ以上の間違った解答選択肢を排除し、より小さな予想回答群から「推測」できるならば、試験された題材に精通していない受験者は、少なくとも部分的には勘に頼って高得点への統計的な障害を打ち破ることができる。他方、試験された題材を十分に理解している受験者が、分析または計算での些細な誤りのために、理解しているにも関わらず不注意にも間違った解答を選ぶ可能性がある。このような誤りは、それが間違った解答選択肢の選択につながる場合、どれほど些細であるのかに関係なく、多くの場合問題に対するクレジットを完全に失うことになる。要するに、典型的な多項選択式の試験形式は、最終的な解答において以外、基礎的な分析の健全さまたは計算の正確さを立証する余地をほとんど与えない。
【００１０】
日常的な想定では、クレジットの完全な喪失は、例えば、（受験者が問題を理解していたとしても）問題の中の単一の単語、句、値または事実の違いに基づいて、正しい解答選択肢の代わりに間違った解答選択肢が選択されると起こる可能性がある。例えば、多項選択式問題が受験者に１フィート、２フィート、及び３フィートの辺を有する箱の体積を計算するように求める場合、正解は３つの長さの積、つまり６立方フィートである。問題を理解している受験者が、「２」を「３」と読み違えれば不注意にも間違った解答「９立方フィート」を選ぶ可能性がある。このように、多項選択式問題の解答を選択し、記録するまさに容易さと簡単さとが試験に関する知識と無知の違いを分かりにくくすることがある。
【００１１】
上記のように、一般的には、受験者が主題の把握と理解を立証できるようにする多項選択式試験の代替策は、普通は短い段落または長い段落つまりエッセイの形を取る、問題に対する「オープンフォーマット」の解答を要求する。この形式での解答は、受験者に、知識と理解の証拠として主題に特殊な技術的な言語、及び化学式または数式または方程式、図形、チャート、表、及び他の記号による構成物または表現等の描写を含む自由を与えることができる。
【００１２】
この種の「オープンフォーマット」の試験は受験生が自分たちの主題の運用能力を立証するための十分な余地を提供するが、それは試験官が採点するだけではなく、受験者が受験するにも多大な時間を必要とする。時間的な制約のため、この形式は通常は試験で質問される問題数を少なくすることを必要とするため、一般的には多項選択式の形式で可能となるよりもさらに小さい主題の部分集合が試験されることを必要とする。さらに、オープンフォーマットの試験の採点は多くの場合多項選択式試験の採点よりもさらに費用がかかり、主観的であり、不均一である。これらの不利な点が、特に大規模な国家試験という状況でこのような既存の代替策の使用を「標準化された」多項選択形式の試験に制限することになる。
【００１３】
したがって、教育商品、特に「客観的」または「標準化された」多項選択式試験の自由の幅、統一性、効率性及び採点の容易さを、一般的にはオープンフォーマットの試験に関連する「知識と理解の基準」の確かさと信頼性と組み合わせる教育試験商品に対するニーズが存在する。
【課題を解決するための手段】
【００１４】
本発明に基づいた教育商品、特に試験商品は、多項選択形式の多くの優位点を、現在はオープンフォーマットの問題を通して可能である受験者の主題への知識と把握を試す機会と組み合わせることができる。さらに、本発明のいくつかまたは全ての実施形態はどちらの形式の不利な点にも対処する及び／または不利な点を排除することができる。
【００１５】
本発明の１つ以上の実施形態は、米国特許出願第０９／９５１，１３２号、現在の米国特許第７，０３３，１８２号に紹介され、明示されている「逆多項選択式方法（Ｒｅｖｅｒｓｅ  Ｍｕｌｔｉｐｌｅ−Ｃｈｏｉｃｅ  Ｍｅｔｈｏｄ）」（ＲＭＣＭ）に依存する場合がある。
【００１６】
ＲＭＣＭは多項選択式問題を活用することにより、教育試験商品及び試験教材を含む教育商品または教材を開発する方法である。その名が暗示するように、ＲＭＣＭは通常の多項選択式の手法から観点を逆転することを表している。方法は、推測される事実（前記に注記した「クエリー」の一部）の所与の集合で開始し、人が各解答選択肢を調べ、その解答を「正しい」または「最良の」解答選択肢にするために推測される事実の集合をどのように修正できるのかを尋ねることを必要としてよい。所与の解答選択肢がすでに正しい場合には、修正は必要とされない。所与の解答選択肢が正しくない場合には、推測される事実の集合の中の単語または句、あるいは他の記号またはオブジェクトのいくつかを変更することを含む、クエリーに対する多様な修正を利用できる。
【００１７】
多項選択形式に基づいた現在利用できる教育商品が、推測される事実の集合を「固定されている」と見なし、正解を選ぶために解答選択肢を「可変的に」調べるのに対し、ＲＭＣＭは解答選択肢を仮に正解として「固定し」、その仮定に対処するために問題の事実を「変化させる」。ＲＭＣＭの見方では、多項選択式問題に対する不正解は、軽率な人に対して正解を分かりにくくする単なる代替物の選択肢ではない。むしろ、不正解はそれ自体の正しい資格で重要な役割を担い、受験生に、試験される題材の把握を立証する自由を与える。
【００１８】
問題を分解し、組み立て直すように学生を導くことにより、ＲＭＣＭは鋭い教育ツールとして作用し、事実パターンを綿密に読み取り、解答選択肢をじっくりと評価し、解答選択肢が依存している事実パターンにおける情報の重大な部分を認識する方法を習得する技術に学生を集中させる上で多項選択形式を使用する方法を提供する。他方、逆多項選択式方法に基づく試験は、受験者がこれらの重要な技能をどの程度学習したのかを測る強力なツールを提供できる。
【００１９】
教育的な状況におけるＲＭＣＭの実施形態と、教育試験の状況におけるＲＭＣＭの実施形態の違いは、観点のわずかな変化を表す。教育という状況では、所与の事実パターンにおける情報の重要な部分を発見するように学生を導くことに焦点が向けられるのに対し、試験における焦点は、受験生がこのような情報の重要な部分を認識する技術をどの程度習得したのかを評価することに向けられている。この、所与の事実パターンにおける情報の重要な部分を認識する受験生の能力を一般的に考えうる解答選択肢に対して測定することが、教育試験体制の中心的な目標である。また、それは、標準化された試験での多項選択式問題の正解数よりも、彼らの知識と理解をはるかに確実に予測できる判断材料である。
【００２０】
教育試験のための本発明の１つの例示的な実施形態は、（ａ）１つ以上の多項選択式問題を提供するステップであって、各問題がクエリーと複数の解答選択肢とを備え、前記複数の解答選択肢が１つの正解と、１つ以上の不正解とを備えるステップと、（ｂ）受験者に正解として解答選択肢を選択するように促すステップと、（ｃ）ステップ（ｂ）での受験生の選択の記録を維持するステップと、（ｄ）事前に設定した式に従いステップ（ｂ）の受験生の解答の選択に対してクレジットを割り当てるステップと、（ｅ）受験生に、ステップ（ｂ）で選択されなかった前記複数の解答選択肢の内の少なくとも１つを選択するように促すステップと、（ｆ）受験生に、ステップ（ｅ）で選択された解答選択肢が正解であるフォローアップクエリーを提供するように促すステップと、（ｇ）ステップ（ｅ）の受験者の解答の記録を維持するステップと、（ｈ）事前に設定した式に従いステップ（ｅ）の受験者の解答の選択にクレジットを割り当てるステップと、（ｉ）ステップ（ｄ）及び（ｈ）で発生したクレジットを、事前に設定した式に従って問題の得点に結合するステップと、（ｊ）例えば事前に設定した基準に比して得点を評価するステップとを含む、方法を備える。
【００２１】
このプロセスは、指定数の問題のそれぞれについて繰り返され、発生した全てのクレジットの加重合計が受験者の最終的な得点に組み込まれてよい。次に最終得点を事前に設定した基準に比して評価できる。
【００２２】
本発明の逆多重選択式方法は、多項選択式問題を活用し、問題及び付随する解答選択肢の中で具現化される情報にアクセスし、分析し、提示し、吸収するための新規の方法論に基づいている。また、本発明は、対話機能を用いる、または用いない試験用だけではなく勉強と検討用の関連教材または教育商品の製作を含む。ＲＭＣＭに基づいた試験は客観的且つ機械採点可能であり、したがって大規模な試験に適切であるとして実現できる。しかもこれらの試験はオープンフォーマットの試験と同程度に鋭いが、オープンフォーマットの試験よりも主題の対象範囲を拡大することができる。
【発明を実施するための最良の形態】
【００２３】
上記のように、本発明の逆多項選択式方法は、対話型機能を備えるか、備えないかに関わりなく教育試験向けだけではく、関連教育商品の製作向け、及び勉強と検討用にも活用できる。
【００２４】
さらなる説明のために多項選択式問題を２つの部分に分けることが便利な場合がある。第１部は推測される事実の集合と疑問文を備える。第１部は「クエリー」とも呼ばれることがある。本明細書に使用されるように、用語「第１部」、「Ｆｉｒｓｔ＿Ｐａｒｔ」、及び「クエリー」は、特に断りのない限り同義語とする。問題の第２部は解答選択肢の集合を備える。本明細書に使用されるように、「第２部」及び「Ｓｅｃｏｎｄ＿Ｐａｒｔ」は、特に断りのない限り同義語とする（前記定義に加えて、問題の第１部をその第２部に含まれていない問題の部分を備えると考えることが便利な場合がある）。
【００２５】
正解（または「Ｃｏｒｒｅｃｔ＿Ａｎｓｗｅｒ」）は、所与のクエリーに対する「正しい」または「最良の」解答選択肢として試験で採点される、解答選択肢である。
【００２６】
問題の第１部は、通常、１つ以上の事実オブジェクト（または「Ｆａｃｔ＿Ｏｂｊｅｃｔｓ」）を備える。事実オブジェクトは、任意のオブジェクト、単語、要素、番号、演算子記号、句、あるいは単語、要素、番号、演算子、記号、他のオブジェクトのグループ、あるいは情報を保持できる他の種類のエンティティを含むと定義される。事実オブジェクトは、通常、解答選択肢を解釈するまたは問題の解答選択肢を選ぶときに考慮される可能性のある、多項選択式問題の第１部の中の１つの事実、１つのデータ、または１つの情報を示す。例えば、１フィート、２フィート及び３フィートの辺を有する箱の前述された例では、各辺の長さが事実オブジェクトと見なされてよい。手短に言えば、（１個の単語または単語のグループと見なすことができる）提示されるそれぞれ１個の情報を事実オブジェクトと見なすことができる。美術史試験の問題では、単一の事実オブジェクト（提示される１つの美術品）がある場合があり、疑問文が受験者に「正しい」解答選択肢を選択するために作品またはその作成者に関する解答選択肢を検討するように要求してよい。
【００２７】
事実オブジェクトが句または単語、要素、番号、演算子、記号、または他のオブジェクトまたはエンティティのグループである実施形態においては、このような句またはグループの（全体より少ない部分ではないが）全体が、事実オブジェクトの中に含まれる、あるいは事実オブジェクトによって伝達される特定の事実、データ、または１個の情報を示す。事実オブジェクトの意味は、部分的にまたは主に、特定の多項選択式問題のクエリー（の中のその配置を含む）と解答選択肢の集合から派生してよい。
【００２８】
理想的には、注意深く構築された多項選択式問題では、あらゆる解答選択肢は、所与のクエリーの中の事実オブジェクトの重要な情報内容と解答選択肢の間の文脈上のつながりを活用する。一般的には、小さな変動のある実施形態は学習または検討、あるいは試験のどちらかために使用できる。例えば、学生が並列比較で、問題に対するさまざまな解答選択肢に対応する事実オブジェクトを示される場合があるのに対し、受験生は比較表示の中の異なる解答選択肢に、リストの中の事実オブジェクト（またはその値）を一致させるように要求される可能性がある。
【００２９】
本発明の一実施形態においては、ユーザは関連付けられた解答選択肢を考慮してクエリーを調べ、不正解の解答選択肢が修正されたクエリーの正しい解答選択肢になるようにクエリーを修正するよう要求される（逆多項選択式変動基準）。別の実施形態では、１つ以上の修正されたクエリーが、書籍等の教材を通し、またはコンピュータ画面上でユーザに提示されてよい。さらに別の実施形態では、教師が学生にこのような修正されたクエリーを口頭でまたは黒板上に提示できる。
【００３０】
これらの実施形態のそれぞれは、自明に教育試験状況に拡大適用できる。例えば、受験生は、不正解が、修正されたクエリーの正解になるように、受験生によって間違っているとして拒絶された解答選択肢に対するクエリーを修正するように促されることがある。この質問の仕方は従来の多項選択式の形式に類似した単純な採点技法の影響を受けやすいが、多項選択式の試験での正解の単純な選択を超えた受験生の主題に対する理解の証拠を提供できる。
【００３１】
この実施形態に基づいた試験問題の場合、全ての正しく解答された問題の記録を維持できる。正解の選択に、及び受験生が不正解として選択した解答選択肢に対応するクエリーの修正に適切な重みを与えることができ、重みは試験される主題に依存し、試験作成者により決定されてよい。次に、試験された主題に適切な、事前に設定した式に従って重みが付けられた組み合わせに基づき、問題の数値クレジットを計算できる。そして、最後に全ての試験問題の数値クレジットを単一の得点またはグレードに編纂できる。このようにして取得されるグレードは、オープンフォーマットの問題を導入するよりも統一性と効率性の損失が少ないわりに、現在使用されている多項選択式の試験よりも受験生の主題の習得に対してより高い信頼度を与えることができる。
【００３２】
逆多項選択式方法の好適な実施形態においては、使用される変動基準は逆多項選択式最小基準である。つまり、解答選択肢が修正された問題に対する正解になるように、解答選択肢ごとに、クエリーの修正が事実オブジェクトに対する最小数の変更を含むことが必要とされる。他の実施形態では、この基準を利用する必要はなく、事実オブジェクトに対する変更数は任意の所望される数または未指定の数であってよい。
【００３３】
特定の実施形態を理解するために追加の言葉を紹介することが役に立つ場合がある。特定の解答選択肢が正解である修正されたクエリーは、解答選択肢に対するｑｕｅｒｙ＿ｖａｒｉａｎｔ（つまり「クエリー変形」）と呼ぶことができる。ある特定の解答選択肢が未修正のクエリーに対する正解である場合には、クエリーの事実オブジェクトの変更は必要にならない。それ以外の場合は、一般的にはクエリーの１つ以上の起こりうる修正が存在し、このように修正された各クエリーは、解答選択肢のクエリー変形として選択できる。ある解答選択肢に対応する全ての起こりうるクエリー変形の集合が、解答選択肢に対応するクエリーｖａｒｉａｎｔ＿ｓｅｔ（つまり「変形集合」）を形成する。この集合は有限であってよい、あるいはそれは無限であってよい。ある解答選択肢に対応するクエリー変形の集合は、ある特定の解答選択肢を正解にするクエリーの修正が存在しないとき、且つそのときに限り、空、つまりヌル集合となる。
【００３４】
１つの事実オブジェクトを変更することがクエリー変形を生じさせるために十分である場合もあれば、多くの事実オブジェクトを（おそらくあらゆる事実オブジェクトも）変更しなければならない場合もある。
【００３５】
２つのクエリー変形が、一方のクエリー変形が、他方のクエリー変形と事実オブジェクトの些細な相違によってのみ異なるという意味で同形である可能性がある。本発明の大部分の実施形態においては、２つの同形のクエリー変形が試験での問題に同等なクレジットを提供すると仮定できる。
【００３６】
ある解答選択肢に対応する変形の「完全」集合に対する参照は、該解答選択肢に対して考えられるあらゆるクエリー変形が識別されることを意味する。クエリー変形の「部分的な」集合は、解答選択肢に対するクエリー変形の「完全」集合の適切な部分集合である。最後に、多項選択式問題に対するＲＭＣＭ解答、つまりＲＭＣＭ＿Ａｎｓｗｅｒは、問題の全ての解答選択肢に対するクエリー変形の集合の集合体として定義される。
【００３７】
ＲＭＣＭ＿Ａｎｓｗｅｒは、解答選択肢を区別するニュアンスの比較、キーワード、句、またはそれらの違いが基づく事実に学生の注意を向けることができる。ＲＭＣＭは、学生が問題を分解し、組み立て直すことを要求する場合があり、それが所与の事実の集合をじっくりと調べる上での有望な訓練演習となる場合がある。ＲＭＣＭの構造は、クエリーの中の実際の単語、句、またはオブジェクトの識別と置換に依存しているため、方法は学生と家庭教師または教師の間の具体的なコミュニケーションのための構造、基礎及び／または機会を提供できる。したがって、ＲＭＣＭは、特に学生の成長の綿密な査定と評価のための方法だけではなく、特にコンピュータをベースにした遠隔教育という状況での対話型の個別指導教育プログラムの開発のための前途有望で自然な枠組みも提供できる。
【００３８】
ここで本発明の２つの例示的な実施形態を添付の図を参照して説明する。
【００３９】
図１に示すように、ステップ１０２で多項選択方式問題が受験者に出される。一実施形態においては、問題は口頭でまたは書面で教師または家庭教師によって出されてよい。別の実施形態では、問題はコンピュータによってまたはインターネット等の電気通信網上で出されてよい。さらに他の実施形態では、問題は、書籍を含む教育目的に適した任意の媒体で出されてよい。本発明の目的で出される多項選択式問題は、既存の出典から入手できる従来の多項選択式問題であってよい。あるいは、本発明を念頭にしてそれを作成することができる。本発明は、手段または主題に関わらず、及び問題が現在存在するのか、後に作成されるのかに関わりなく、任意の種類の多項選択式問題に適するまたは関連がある。
【００４０】
ステップ１０４では、受験者は、問題の第２部の中の解答選択肢の１つを不正解として選ぶように促される。ステップ１０６では、試験官または試験コンピュータプログラムが、選ばれた解答が不正解かどうかを判断する。問題のこの部分に対するクレジットは問題の内容に基づいて事前に設定した式に従ってステップＰとステップＱで割り当てられる。問題のこの部分に対するクレジットは、一般的には無事に不正解を選ぶと高くなり、正解を不正解として選択すると低くなる（またはなくなる）。いくつかの実施形態においては、受験者は問題のこの部分に対する解答を選ぶ試行を繰り返すことを許されてよく、したがってステップＰとステップＱが繰り返し実行される。他の実施形態においては、例えば、実施形態が、試験官が（受験者が選択をする必要がないように）受験者に対し不正解を肯定的に指摘し、不正解が修正されたクエリーに対する正解となるように受験者にクエリーを修正するように要求する場合、ステップＰまたはステップＱのどちらか、あるいは両方とも省略されてよい。
【００４１】
ステップＲでは、人間の試験官または自動試験装置が受験生に、選択した（間違った）解答が正解であるフォローアップクエリーを提供するように要求する。ステップＳでは、試験官は、選択された解答がフォローアップクエリーに対する正解であるかどうかを判断する。問題のこの部分について適切なクレジットがステップＵとステップＶで発生する、あるいは問題に対する合計クレジット、つまり合計加重クレジットがステップＴで計算される。ステップＸでさらに多くの問題を尋ねる必要があるかどうかが判断され、制御は新しい問題のあるステップ１０２に、または試験セッションの最後のどちらかに戻される。
【００４２】
他の例示的な実施形態では、受験者は適切なフォローアップクエリーを作成するために事実オブジェクトを変更する、特定する、またはステップＲの所与のリストから検出するように促されてよい。これらの実施形態の論理的な制御は図１の論理的な制御に類似する。受験者が所与のクエリーの中の事実オブジェクトを不正解選択肢の全てに一致させるように要求される、さらに他の実施形態が提供されてよい。受験生の試験された主題の習得についての情報を引き出すために、不正解選択肢と事実オブジェクトの間の関連を同様に活用する試験目的のための本発明のさらに別の実施形態が後に作成されてよい。
【００４３】
図２に示されている実施形態の説明は、多項選択式問題が受験者に出されるステップ２０２で開始する。図１のステップ１０２に関連して述べられた代替の実施形態に対する検討は図２のステップ２０２にも適用する。
【００４４】
上記のように、出される多項選択式問題は、一般的には１つのクエリーと解答選択肢の集合を備える。ステップ２０４では、受験者は問題の正解として解答選択肢を選択するように促される。いくつかの実施形態においては、解答選択肢の選択はコンピュータを介してまたはインターネット等の通信網上で実施されてよい。あるいは、解答選択肢の選択は口頭であってよいか、あるいは現在公知の、または後に開発される通信の他の適切な手段によって達成されてよい。いくつかのケースでは、教師または試験官が問題の正解を選択し、それを実施形態の追加のステップのために受験者に提示できる。これらのケースでは、問題の、数で示される点数の割り当ては適切に修正されてよい。さらに他のケースでは、コンピュータが方法のこのステップで正解として解答選択肢を選択してよい。
【００４５】
ステップＣでは、試験官またはコンピュータが、解答が正しいかどうかを判断する。選択された解答選択肢が正しい場合、問題のこの部分についてクレジットが発生し、ステップＤでクレジットの記録が維持される。回答が間違っている場合、不正解に該当するクレジット（一般的には、何もなしまたは正解に対するクレジットより低い）が発生し、ステップＥで記録が維持されてよい。
【００４６】
次に、ステップＦで、受験者は、受験者が正解として選ばなかった残りの（間違った）解答選択肢から別の解答を選ぶように促される。ステップＧでは、受験者は（間違った解答選択肢が修正されたクエリーの正解になるように変更できる）所与のクエリーの中の事実オブジェクトを特定するように促される。受験者が、変更するために単に事実オブジェトを特定するように促される実施形態もあれば、事実オブジェクトを実際に変更するように、あるいは（ステップＨに描かれているように）修正されたクエリーを作成するように促される他の実施形態もある。この後者のステップＨは任意である。さらに他の実施形態は、提案されているリストから変更のために事実オブジェクトを選択するか、あるいはさまざまな解答選択肢に対応して変更するために事実オブジェクトのリストに適合するように受験者を促してよい。他の実施形態は、２つ以上の不正解に対応する、または提示されている全ての間違った解答選択肢に対応するクエリーまたは事実オブジェクトに対する反復修正を要求してよい、あるいは試験された主題または他の特定適用基準に対する受験生の理解と把握についての情報を取得するために、さまざまな方法で問題の複数の部分に対するクレジットを割り当てる、または結合することを要求してよい。
【００４７】
図２に描かれている実施形態のステップＩで、選択された不正解が修正されたクエリーに対する正解であるかどうかの判断が下される。問題のこの部分に対する適切なクレジットがステップＪとステップＫで発生してよく、ステップＬでは問題について発生した全てのクレジットが結合され、問題の総クレジットについて記録が維持されてよい。図２に描かれている実施形態は、全ての問題について発生したクレジットに基づいて総計数値点数を作成した後に試験が終了するときに試験にそれ以上問題が残らなくなるまで多項選択式問題を出す。現在使用できるまたはこれから開発される他の実施形態は、問題が提示され、各問題に対する正解または不正解のクレジットが発生され、または結合され、あるいは点数が試験のために計算される順序または方法を変更してよい。
【００４８】
決定ブロックＭで一般的に示されるように、多岐に渡る状況に応じて別の問題は出されてよい、または出されなくてよい。例えば、問題の本が完成した場合、別の問題が要求されない可能性があり、プロセスは受験生の最終の点数が試験について計算されるステップＸに、及びステップＺのその最後に進んでよい。あるいは、事前に設定された数の問題がコンピュータ上でまたは対話型実施形態で解答された場合には、プロセスはステップＺに進んでもよい。当業者が容易に理解するように、決定ブロックＭの中の論理と基準はある特定の応用例の状況に応じて変化してよい。
【００４９】
他の実施形態では、決定ブロックＣが存在しない可能性があり、選択された解答選択肢が正しくても、追加の問題が所望されるかを判断せずにプロセスは直接ステップＦに続行してよい。特に、いくつかの実施形態では、選択された第１の解答選択肢が正解であるかどうかに関わりなく、ステップＦ、Ｇ、及びＨにより表されるＲＭＣＭ方法の部分を問題に適用することが望ましい。これは、書籍またはコンピュータ画面に、下記に詳述される特定の情報を提示することによって達成できる、あるいはそれは情報の口頭での説明によって、または他の適切な公知の、または後に開発される手段によって達成できる。
【００５０】
上記のように、ステップＧで、受験者はクエリーの中の事実オブジェクトを特定するように促されてよい。あるいは、事実オブジェクトは、ある実施形態においてはコンピュータプログラムによって、あるいは別の実施形態においては書籍の中で強調表示するまたは太字にすることによって識別できる。事実オブジェクトを識別する他の適切な手段も利用できる。いくつかの実施形態においては、事実オブジェクトは必ずしも明示的に識別される必要はなく、ステップＧは削除されてよい。
【００５１】
ステップＨでは、受験者または受験生は修正されたクエリーを作成するように促される。一実施形態においては、受験者は、例えば選択された解答選択肢に関してクエリーの中の事実オブジェクトを調べることによって修正されたクエリーを作成するように要求されることがある。別の実施形態においては、修正されたクエリーはコンピュータメモリの中に事前に記憶されてよい、あるいは専門家システム等のコンピュータソフトウェアによって生成されてよく、受験者は他の問題を見て、表示される資料に基づいて解答するのを許されてよい。受験者は、いくつかの実施形態では所与の多項選択式問題のどれか、いくつかまたは全て、または表示されている問題に基づいた他の問題に解答するために複数回試すことを許されてよい。
【００５２】
ステップＩとＭで図示されているように、選択された解答選択肢が修正されたクエリーに対する正解であり、別の問題が所望される場合、別の問題が出されてよい。あるいは、選択された解答選択肢が修正されたクエリーに対する正解ではない場合、受験者はステップＫを通して先に進むよりむしろ別の修正されたクエリーを作成するように要求される場合がある。いくつかの実施形態では、新しい問題が出される、あるいはプロセスが完全に終了される前に限られた回数このように試すことが許されてよい。
【００５３】
他の実施形態においては、選択された解答選択肢が修正されたクエリーに対する正解であるとき（ステップ２０４）、別の解答選択肢のためにＣからＭが再び実行されてよい。提供されている解答選択肢のそれぞれが正解である修正クエリーを作成することが望ましい場合がある。他のケースでは、全てより少ない解答選択肢に対応する修正されたクエリーが提供されてよい。ある程度詳しく前述したように、これらの修正されたクエリーは学生または受験生によって生成されてよい、あるいは学生に与えられる書籍または他の教育材料に含むために生成されてよい、あるいはコンピュータプログラムによって、またはインターネット上で提供されてよい。
【００５４】
クエリーの中の１つ以上の事実オブジェクトを変更し、修正されたクエリーを作成できる多くの方法がある。事実オブジェクトが、選択された特定の解答選択肢を考慮して一人のユーザまたは学生によって変更されてよいケースもある。他のケースでは、前述されたように、書籍等の教材の形でユーザまたは学生に提供されてよい修正されたクエリーを生成するために、事実オブジェクトがユーザまたは学生以外の個人によって変更されてよい。さらに他のケースでは、事実オブジェクトは任意の公知の、または後に開発されるコンピュータまたはコンピュータシステムまたはネットワークによって自動化された様式で、または自動化されていない様式で変更されてよい。
【００５５】
学生は、修正されたクエリーと修正されていないクエリーの相違点がなぜ異なる正解を生じさせるのかを究明するための学習補助器具としてこれらの修正されたクエリー、またはそれらの編集物を使用してよい。逆に、試験官は、学生の進歩とカリキュラムでの前進に対する即応能力を監視するためにこれらの資料に関して受験生に質問を出してよい。
【００５６】
ＲＭＣＭを取り入れた多項選択式問題の採点は、方法において、標準的な多項選択式試験の採点に類似しているため、このような資料の部分は多数の学生に対して与えられる標準化された評価試験の中に含めるために作成されてよい。
【００５７】
ＲＭＣＭは、試験問題の難易度の客観的な基準の作成の基礎となるための枠組みも提供できる。相対的に「簡単な」多項選択式問題の典型的な例は、正解に対応するＲＭＣＭ＿Ｖａｒｉａｎｔ＿ＳｅｔがＲＭＣＭ＿Ｖａｒｉａｔｉｏｎ＿Ｉｄｅｎｔｉｔｙからなり、不正解のそれぞれに対応するＲＭＣＭ＿Ｖａｒｉａｎｔ＿Ｓｅｔｓが完全に異なるクエリーの集合からなる問題である。ほぼ正反対なのは、各解答選択肢に対応して、全てのＲＭＣＭ＿Ｖａｒｉａｎｔｓがただ１つの単語または記号分、所与の問題と異なる難しい多項選択式問題であってよい。言い換えると、一般的には、選択された解答が正解となる修正されたクエリーを作成するために変更しなければならない事実オブジェクトの数が多いほど（少ないほど）、問題は易しく（難しく）なる。
【００５８】
両極端の間の問題の難しさのさまざまな基準は、濃度と変動の範囲の検討事項が複雑である解答選択肢の数だけではなく、各不正解に必要となる各ＲＭＣＭ＿Ｖａｒｉａｎｔ＿Ｓｅｔの濃度と変動範囲も含む一連のパラメータに依存することがある。ＲＭＣＭ手法に基づいた難しさのこれらの詳細な基準の作成は、依然として教育測定及び統計測定の許容されている教育学的な原理を取り入れる必要があるが、それらは一般的には統計学的な測定だけでは達成できない試験と評価の信頼できる要素を加えることができる。
【００５９】
一般的には、試験の難しさの統計的な基準、及びこれらの基準に基づいた結果の補正方法は、受験生の人口の比較に依存するが、試験問題の内容には依存しない。それらの比較は、全体的な受験者人口の根本的な仮定が偏っている場合には信頼できる結果を提供できない。例えば、ある試験問題がある年のＣ国の受験者にとって「難しかった」場合、それはＣ国で翌年難しい問題と格付けされる可能性がある。しかしながら、同じ問題が他の年または他の国々の同じ教育水準の学生人口によっては難しいと見なされない可能性があるが、統計上のデータがない場合にはこのような事実を判断する方法はない。さらに、ＲＭＣＭ手法を活用すると、試験される主題にさらに密接に依存し、したがって多様な受験者人口の間のさらに客観的な比較を可能にする教育測定の方法を作成できる可能性がある。
【００６０】
実施例
説明のために、前述した実施形態の１つ以上と一致する教育試験問題の一例の変形を以下に複製する。問題は、マサチューセッツ教育省（Ｍａｓｓａｃｈｕｓｅｔｔｓ  Ｄｅｐａｒｔｍｅｎｔ  ｏｆ  Ｅｄｕｃａｔｉｏｎ）によって公開され、２００１年６月１９日、火曜日にボストングローブ紙（Ｔｈｅ  Ｂｏｓｔｏｎ  Ｇｌｏｂｅ）に報告された（参照することにより本明細書に組み込まれる）第１０学年向けの２００１年ＭＣＡＳ試験の問題４である。
【００６１】
問題４
【００６２】
大学二年生のクラスが、その上に学校名が入ったＴシャツの販売を計画している。各Ｔシャツだけの費用は＄３．５０であり、各シャツの印刷費は＄０．７５である。クラスが印刷された各Ｔシャツを＄１１で販売することを計画すると、ｎ枚の印刷されたＴシャツを販売した場合のクラスの利益を計算するにはどの式を使用できるか。
【００６３】
Ａ．１１．００−（３．５０＋０．７５）ｎ
【００６４】
Ｂ．１１．００ｎ−（３．５０＋０．７５）
【００６５】
Ｃ．１１．００−３．５０−０．７５ｎ
【００６６】
Ｄ．（１１．００−３．５０−０．７５）ｎ
【００６７】
（この問題の正解はＤである。）
【００６８】
問題１
【００６９】
ＲＭＣＭの第１の実施形態に対応する問題４に基づいた試験問題：
【００７０】
問題４の所与の解答選択肢Ａ、Ｂ、ＣまたはＤから、間違っていると考える解答を選んでください。課題は、選ばれた間違った解答が変更された問題の正解になるように問題４を変更することである。
【００７１】
説明：
【００７２】
この問題に応えて作成される予想修正済みクエリーは、受験生によって選ばれる解答に左右される。
【００７３】
選ばれた回答がＡである場合、予想される修正クエリーは以下の通りである。
【００７４】
大学二年生のクラスが、その上に学校名が入ったＴシャツの販売を計画している。各Ｔシャツだけの費用は＄３．５０であり、各シャツの印刷費は＄０．７５である。クラスが印刷されたＴシャツの全てを＄１１で販売することを計画すると、ｎ枚の印刷されたＴシャツを販売した場合のクラスの利益を計算するにはどの式を使用できるか。
【００７５】
選ばれた解答がＢである場合には、予想される修正クエリーは以下の通りである。
【００７６】
大学二年生のクラスが、その上に学校名が入ったＴシャツの販売を計画している。全てのＴシャツだけの費用は＄３．５０であり、全てのＴシャツの印刷費は＄０．７５である。クラスが＄１１で印刷された各Ｔシャツを販売することを計画すると、ｎ枚の印刷されたＴシャツを販売した場合のクラスの利益を計算するにはどの式を利用できるか。
【００７７】
選ばれた解答がＣである場合には、予想される修正クエリーは以下の通りである。
【００７８】
大学二年生のクラスが、その上に学校名が入ったＴシャツの販売を計画している。全てのＴシャツの費用は＄３．５０であり、各シャツの印刷費は＄０．７５である。クラスが全ての印刷されたＴシャツを＄１１で販売することを計画すると、ｎ枚の印刷されたＴシャツを販売した場合のクラスの利益を計算するにはどの式を使用できるか。
【００７９】
選ばれた解答がＤである場合には、それは、学生が試験された題材に対する理解を欠いていることを示している。一般的には、解答Ｄが選択された場合、問題のクレジットが完全に失われることが暗示されてよい。
【００８０】
試験作成者は、ある特定の解答選択肢の選択に応じて、受験生の変更するための事実オブジェクトの選択に応じて、試行された変更の性質に応じて、あるいは修正されたクエリーの構造に応じて問題に部分的なクレジットを割り当てることができる。試験問題を作成する技術の実践者は、所与の主題での他の基準に基づいて問題の部分的なクレジットを割り当てることを選んでよい。
【００８１】
問題２
【００８２】
第２の実施形態に対応する問題４（上記）に適合する試験問題：
【００８３】
問題４の所与解答選択肢Ａ、Ｂ、ＣまたはＤから、間違っていると考える解答を選んでください。課題は、選ばれた不正解が変更された問題の正解になるように、問題４で変更する単語、単語のグループ、句、または値を見つけ出すことである。
【００８４】
説明：
【００８５】
この問題に対して予想される応答は、受験生によって選ばれる解答に依存する。
【００８６】
選ばれた解答がＡである場合、予想される応答は以下の通りである。
【００８７】
「各印刷されたＴシャツの販売」を「印刷されたＴシャツの全ての販売」に変更してください。
【００８８】
選ばれた解答がＢである場合、予想される応答は以下の通りである。
【００８９】
「各Ｔシャツのコスト」を「全てのＴシャツのコスト」に変更し、「各シャツの印刷費」を「全シャツの印刷費」に変更してください。
【００９０】
選ばれた解答がＣである場合、予想される応答は以下の通りである。
【００９１】
「各Ｔシャツのコスト」を「全てのＴシャツのコスト」に変更し、「各印刷されたＴシャツの販売」を「全ての印刷されたＴシャツの販売」に変更してください。
【００９２】
選ばれた解答がＤである場合には、それは、学生が試験された題材に対する理解を欠いていることを示し、問題に対するクレジットを完全に失ったことを暗示する可能性がある。前記例で注記したように、試験作成者は、問題に解答しようとする部分的に正しい試みまたは他の特定の基準に基づいて部分的なクレジットを割り当てることができる。
【００９３】
問題３
【００９４】
第３の実施形態に対応する問題４（前記）に基づいた試験問題
【００９５】
問題４の所与解答選択肢Ａ、Ｂ、ＣまたはＤから、間違っていると考える解答を選んでください。課題は、選ばれた不正解が変更された問題の正解となるように、問題４で変更する単語、単語のグループ、句または値を特定することである。
【００９６】
説明：
【００９７】
この問題に対する予想される応答は、受験生によって選ばれる解答に左右される。
【００９８】
選ばれた解答がＡである場合、予想される応答は以下の通りである。
【００９９】
「印刷された各Ｔシャツの販売」を変更してください。
【０１００】
選ばれた解答がＢである場合、予想される応答は以下の通りである。
【０１０１】
「各Ｔシャツのコスト」を変更し、「各シャツの印刷費」を変更してください。
【０１０２】
選ばれた解答がＣである場合、予想される応答は以下の通りである。
【０１０３】
「各Ｔシャツのコスト」を変更し、「各印刷されたＴシャツの販売」を変更してください。
【０１０４】
選ばれた解答がＤである場合、それは、受験生の主題に対する理解の欠如を示す場合がある。部分的なクレジットに関しては、前記例に類似した配慮が適用する。
【０１０５】
問題４
【０１０６】
第４の実施形態に対応する問題４（前記）に基づいた試験問題：
【０１０７】
問題４の所与解答選択肢Ａ、Ｂ、ＣまたはＤから、間違っていると考える解答を選んでください。課題は、選ばれた不正解が変更された問題の正解になるように、問題４で変更できる単語、単語のグループ、句または値を以下のリストから特定することである。
【０１０８】
リスト「各Ｔシャツのコスト」、「だけ」、「＄３．５０」、「各シャツの印刷費」、「＄０．７５」、「印刷された各Ｔシャツの販売」、「＄１１」、「利益」、「ｎ枚の印刷されたシャツの販売」。
【０１０９】
説明：
【０１１０】
この問題に対する予想される応答は、受験生によって選ばれる解答に左右される。
【０１１１】
選ばれた解答がＡである場合、予想される応答は、「印刷された各Ｔシャツの販売」である。
【０１１２】
選ばれた解答がＢである場合、予想される解答は「各Ｔシャツのコスト」と「各シャツの印刷費」である。
【０１１３】
選ばれた解答がＣである場合、予想される解答は「各Ｔシャツのコスト」と「印刷された各Ｔシャツの販売」である。
【０１１４】
前述したように、選ばれた解答がＤである場合、それは、受験生の主題に対する理解の欠如を示すことがある。また、前記例に類似した部分的なクレジットの配慮が適用する。
【０１１５】
問題５
【０１１６】
第５の実施形態に対応する問題４（前記）に基づいた試験問題：
【０１１７】
唯一の正解を有する問題４の所与の解答選択肢Ａ、Ｂ、ＣまたはＤを検討してください。課題は、それぞれの間違った解答選択肢が変更された問題の正解となるように問題４の中で変更できる単語、単語のグループ、句または値を以下のリストから特定し、このように変更した単語、単語のグループ、句または値を該当する解答選択肢に一致させることである。変更する必要がない、リストの中の項目に対応する空欄は塗りつぶさないこと。
【０１１８】
以下に一覧表示される事実オブジェクトが適切に変更され（他の事実オブジェクトが必要な場合に変更され）る場合、解答選択肢は変更された問題に対する正解になる。
【０１１９】
【表１】
2009526246.tif 000003
【０１２０】
説明：
【０１２１】
この例では、受験生の主題に対する理解を評価するために、ＲＭＣＭで間違った解答選択肢を革新的に使用するとともにとなじみの深い突合せ課題を使用する。正しく塗りつぶされた空欄または誤って塗りつぶされた空欄の数を数えることによって、この課題は、それにも関わらず効率的、客観的、及び一様な方法で受験生の主題についての把握のより深い基準を提供できる。
【０１２２】
これらの例示的な例は、受験生の主題に対する理解を測るために、従来の試験課題がどのようにして他の実施形態におけるＲＭＣＭの型にはまらない、間違った解答選択肢の使用と結合できるのかを示す。これらの例示的な例は、基本的な数学における高校レベルの学力テストにふさわしいが、本発明の類似した技法は他の主題分野での試験問題を作成するために使用されてもよい。試験問題を作成する技術の実践者は、ＲＭＣＭの方法論を取り入れ、多様な主題分野で試験を作成するために適切となる実施形態を開発する方法を認識する。
【０１２３】
ここでいくつかの例示的な実施形態を説明してきたが、前記が単に例示的に過ぎず、限定的ではなく、例によってのみ提示されることが当業者にとって明らかでなければならない。多数の変型及び他の実施形態が当業者の範囲内にあり、本発明の範囲に該当するとして考慮される。
【図面の簡単な説明】
【０１２４】
【図１】教育試験を対象にする本発明の方法の１つの例示的な実施形態を示す高水準フローチャートである。
【図２】教育試験を対象にする本発明の方法の別の例示的な実施形態のための高水準フローチャートである。
【符号の説明】
【０１２５】
１０２…多項選択式問題出題ステップ、  １０４…不正解選択ステップ、  １０６…解答判断ステップ、  Ｒ…フォローアップクエリー提供ステップ。
【図１】
2009526246.tif 000004
【図２】
2009526246.tif 000005
【国際調査報告】
2009526246.tif 000006