(57)【要約】【課題】各々が教育プランを有する１又はそれ以上の生徒の教育アセスメントを実行する。【解決手段】教育アセスメント定義をアセスメントリポジトリに格納し、前記教育アセスメント定義の１つを用いて、教育プランを有する個々の生徒に一意的に対応する教育アセスメントを生成し、前記１つの教育アセスメントに対応するフォームを印刷し、生徒への前記教育アセスメント・フォームの実施に従って、自由形式のマークが前記教育アセスメント・フォームに付加され、前記個々の生徒への前記教育アセスメント・フォームの実施に応じて、前記完了した実施済みの教育アセスメント・フォームを走査し、前記自由形式のマークをキャプチャし、前記キャプチャされた自由形式のマークから教育アセスメント・データを生成し、前記教育アセスメント・データを格納し、前記教育アセスメント・データを評価して、前記個々の生徒の前記教育プランを最適化する。【選択図】図１
2010146560.tif 000002
【特許請求の範囲】
【請求項１】
各々が教育プランを有する１又はそれ以上の生徒の教育アセスメントを実行する方法であって、
Ａ．教育アセスメント定義をアセスメントリポジトリに格納し、
Ｂ．前記教育アセスメント定義の１つを用いて、教育プランを有する個々の生徒に一意的に対応する教育アセスメントを生成し、
Ｃ．前記１つの教育アセスメントに対応するフォームを印刷し、生徒への前記教育アセスメント・フォームの実施に従って、自由形式のマークが前記教育アセスメント・フォームに付加され、
Ｄ．前記個々の生徒への前記教育アセスメント・フォームの実施に応じて、前記完了した実施済みの教育アセスメント・フォームを走査し、前記自由形式のマークをキャプチャし、
Ｅ．前記キャプチャされた自由形式のマークから教育アセスメント・データを生成し、
Ｆ．前記教育アセスメント・データを格納し、
Ｇ．前記教育アセスメント・データを評価して、前記個々の生徒の前記教育プランを最適化する、
ステップを含むことを特徴とする方法。
【請求項２】
前記Ａ乃至Ｇはそれぞれ多機能印刷デバイス上で実行され、
複数の実施済み教育アセスメント・フォームからの教育アセスメント・スコアを相関させ、１つの応答タイプを含む少なくとも１つの生徒のグループを識別する、
ステップをさらに含むことを特徴とする、請求項１に記載の教育アセスメントを実行する方法。
【請求項３】
多数の教育アセスメントが前記多機能デバイス内に格納され、
Ｇ．前記少なくとも１つの教育アセスメント、前記少なくとも１つの他の教育アセスメント・スコア、及び前記共通の応答タイプを含む報告を生成し、
Ｈ．（ａ）前記多数のアセスメントの１つを表示すること、（ｂ）前記多数の教育アセスメントの１つ又はそれ以上を修正すること、及び（ｃ）前記多数の教育アセスメントの１つ又はそれ以上を削除することのうちの１つ又はそれ以上を実行する、
ステップをさらに含むことを特徴とする、請求項１に記載の教育アセスメントを実行する方法。
【請求項４】
教育アセスメント定義を格納するための教育アセスメント・リポジトリ・モジュールと、
前記教育アセスメント定義の１つを用いて、教育プランを有する個々の生徒に一意的に対応する教育アセスメントを生成するための教育アセスメント・モジュールと、
前記１つの教育アセスメントに対応する用紙を生成するためのプリンタであって、前記個々の生徒への前記教育アセスメント・フォームの実施に従って、自由形式のマークが該教育アセスメント・フォームに付加される、プリンタと、
前記個々の生徒に実施された前記教育アセスメント・フォームから前記自由形式のマークをキャプチャするためのスキャナと、
前記キャプチャされた自由形式のマークに対応する教育アセスメント・データを生成し、かつ、前記教育アセスメント・データを評価して、前記個々の生徒の前記教育プランを最適化する、前記教育アセスメント・リポジトリ・モジュールと通信する教育アセスメント分析モジュールと、
を備えることを特徴とする教育アセスメント・システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、生徒に実施された試験又は「アセスメント（ａｓｓｅｓｓｍｅｎｔ）」の結果を作成し、成績をつけ、分析することに向けられ、特に、生徒のアセスメントを生成し、実施し、その結果を評価して教育者が生徒の強みと弱点を個別にも全体としても識別することを可能にし、かつ、学級内の生徒の学習経験をより密接に生徒の個々の必要性に合わせて調整するための、コンピュータにより実施される教育アセスメント・システム及び方法に向けられる。本開示は、学習プロセス中の選択された回数、生徒又は生徒のグループの属性を査定するプロセスに関し、教師が種々の主題における及び特定の学年レベルにおける習熟レベルまで生徒を教育することを必要とする構造化された学級内の生徒の属性又は進歩のアセスメント及び評価に関する。
本出願は、２００８年９月２５日に出願された米国特許出願第１２／２３７，６９２号に基づく利益及び優先権を主張する一部継続出願である。
【背景技術】
【０００２】
従って、相対的に大きいクラス内の生徒についての詳細なアセスメントの結果を自動的に採点し、記録する方法又は手段を提供することが望まれ、これにより、手動で採点し、アセスメントの結果を記録簿又はデータベース内に記入する必要性がなくなり、かつ、合計スコア又は百分率だけの記録の実施につきものの重要データの損失がなくなる。
【０００３】
これまで、教師／教育者が、印刷された文字の名を言う生徒の能力を評価するのを可能にするために、教師により用いられる周知のアセスメントの１つのタイプが、図２１−図２２に示され、そこで、生徒は、図２２に見られるように、アルファベットの種々の文字を含む用意された用紙から文字を読むように求められ、教師は、図２１に見られるように、生徒が文字を読むとき、別個の用紙上に生徒の応答に手動でマークを付ける。図２１に示される例においては、教師は、正しい場合には「ＣＣ」、正しくない応答の場合には「ＩＲ」、及び文字を識別する前に子供が躊躇した場合には「Ｈ」の見出しのついた列の１つに手動でマークを付ける（「／」として示される）。教師の用紙の下部にコメント又はメモを記入するための用意がなされる。次に、教師は、特定の主題に関するその時点における生徒の学習又は進歩の状態の記録を有するために、図２１のアセスメントにおけるマーキングの結果を解釈し、データベース又は採点簿に転記しなければならない。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
図１９及び図２０は、算数に関する生徒の学習／知識の状態を判断するために用いられる従来技術のアセスメントの例を示し、ここで、図１９に見られるように、生徒は、ワークブックにおいて数学の足し算の練習問題を行ない、次に、図２０に見られるように、添付の解答用紙内の対応する丸を塗りつぶすように要求される。この穴埋め式アセスメント・フォームは、機械採点には適しているが、幼い生徒には適していない。さらに、穴埋め式フォーマットでは多くのアセスメントを提示することができない。
【図面の簡単な説明】
【０００５】
【図１】本開示の方法フローの実体図である。
【図２】本開示のシステム・アーキテクチャの一般的構成の図である。
【図３】アセスメント・バッチの形成、印刷、及び手動マーキングに関する、本開示のプロセスの最初の部分のフロー図である。
【図４Ａ】アセスメントの走査及び走査されたアセスメント・バッチの状態の判断に関する、図３からのプロセスの続きの同様のフロー図である。
【図４Ｂ】図４Ａの続きであり、保留から準備完了までの、いずれかのバッチ予備評価状態を更新する選択肢を含む。
【図５】マーキングの自動リフティング及びアセスメント項目の自動評価を含む、図４Ｂのプロセスの続きである。
【図６】教師の訂正、注釈及び検証を含む、図５のプロセスの続きである。
【図７】報告の生成を含む、図６のプロセスの続きである。
【図８】文字及び単語の音に関する生徒の学習又は能力の状態を判断するためのアセスメントの例であり、評価のために画像分析を必要とするタイプのものである。
【図９】算用数字を手書きする生徒の能力を判断するための、評価のために画像分析を必要とする例示的なアセスメント項目である。
【図１０】数学演算を実行する際の生徒の技能を判断するための、評価のために画像分析を必要とするアセスメント項目である。
【図１１】数学的指示について数のカウント及び数字を書く迅速さにおける生徒の能力を判断するための、評価のために画像分析を必要とするアセスメント項目の別の例である。
【図１２】生徒が記号の正しい選択まで線を引かなければならない、評価のために画像分析を必要とするアセスメント項目の別の例である。
【図１３】生徒が正しい記号を丸で囲むことが必要とされ、評価のために画像分析を必要とするアセスメント項目の別の例である。
【図１４】１つより多くの組の記号を丸で囲むように生徒に要求し、評価のための画像分析を必要とする、アセスメントの別の完了の例である。
【図１５】生徒によるマーキングの前の、評価のための画像分析を必要とする図１３に示されるアセスメント項目のタイプの別の例である。
【図１６】生徒が示されたオブジェクトの名前及び文字の共通性を認識しなければならない、評価のための画像分析を必要とするアセスメントの例である。
【図１７】絵を手動で再現する生徒の能力を判断するために本開示において用いられる別の例示的なアセスメントを提示し、評価のための画像分析を必要とする。
【図１８】生徒が、オブジェクトのその生徒の認識、及び、画像に関して尋ねられる質問の理解に基づいて画像を選択し、丸を付けなければならないアセスメントの別の例であり、評価のための画像分析を必要とする。
【図１９】多肢選択式の穴埋め式試験のためのワークブックに関する従来技術のアセスメントから抜粋した例である。
【図２０】図１９のワークブックに対応する従来技術のアセスメントの穴埋め式解答用紙から抜粋した例である。
【図２１】Ｓｅｂａｓｔｉａｎ  Ｗｒｅｎ及びＪｅｎｎｉｆｅｒ  Ｗａｔｔｓによる「初歩の読み方のアセスメント」から抜粋された、査定者が記入し、マーク付けした従来技術のアセスメントの例である。
【図２２】Ｓｅｂａｓｔｉａｎ  Ｗｒｅｎ及びＪｅｎｎｉｆｅｒ  Ｗａｔｔｓによる「初歩の読み方のアセスメント」から抜粋された、図２１のアセスメントの実施に使用するための生徒用プリントアウト用紙である。
【図２３】生徒の好みを判断するための本方法のタイプと共に用いるための例示的なアセスメント項目であり、アセスメントのための画像分析を必要とする。
【図２４】生徒の関心ある領域を判断するためのタイプの例示的なアセスメント項目であり、アセスメントのための画像分析を必要とする。
【図２５】本開示による教育アセスメント・システムの実施形態のブロック図である。
【図２６】本開示によるアセスメント・リポジトリ・デバイスの実施形態のブロック図である。
【図２７】本開示によるアセスメント対応の多機能デバイスの、実施形態のブロック図である。
【図２８】本開示によるアセスメント分析デバイスの実施形態のブロック図である。
【図２９Ａ】本開示によるアセスメント対応の多機能デバイスの別の実施形態のブロック図である。
【図２９Ｂ】本開示によるアセスメント対応の多機能デバイスのさらに別の実施形態のブロック図である。
【図３０】本開示による自動化されたアセスメント・システムの実施形態のデータフロー図である。
【図３１】本開示による自動化されたアセスメント・システムのフロー図である。
【発明を実施するための形態】
【０００６】
図１を参照すると、本開示の方法の機能的動作の概要が示され、そこでは、ステーション１において、教師／教育者が、アセスメント・フォーム（ａｓｓｅｓｓｍｅｎｔ  ｆｏｒｍ）、及び、アセスメント・バッチ（Ａｓｓｅｓｓｍｅｎｔ  Ｂａｔｃｈ）を作成するために所望される生徒又は生徒の数に関して必要とされる情報を入力するための多機能デバイス（ＭＦＤ）が提供され、一旦ＭＦＤのＤＵＩ（デジタル・ユーザ・インターフェース）において教師／教育者によりシステム内にアセスメント・バッチが作成されると、ＭＦＤ又はこれに接続されるいずれの遠隔プリンタにおいてもそのアセスメントを印刷することができる。本実施において、アセスメント・バッチは、教師の名前、バッチ内に含まれる生徒の名前を含む生徒リスト、生徒リスト内の生徒に実施される特定のアセスメント・フォーム、及びアセスメント・バッチの作成日を含む。
【０００７】
全体的に図１の１０で示されるシステムのステーション２において、教師／教育者は、マーク付けされるアセスメントを実施する。アセスメントのタイプに応じて、教師／教育者又は生徒は、アセスメントの性質に従って、印刷された用紙にマークを付けることができる。
【０００８】
ステーション３において、教師／教育者又はそれらの指定された代表者は、ＭＦＤにおいてマーク付けされたアセスメントをシステムに読み取る。ステーション４において、システムは、アセスメント・バッチと関連付けられたアセスメント・フォームと関連する既定の注釈に従って、画像分析を用いてアセスメントを自動的に評価し、教師が、教師のパーソナル・コンピュータ（ＰＣ）のような遠隔ステーションとして示されるステーション５において評価にアクセスするのを可能にする。教師／教育者は、アセスメントを検証し／注釈付けする。検証を受け取ると、システムは、ステーション６において報告を生成し、この報告は、ＭＦＤ、又はＭＦＤから遠く離れた教師のパーソナル・コンピュータ端末のいずれかでアクセスし、閲覧することができる。
【０００９】
図２を参照すると、本方法で用いられるシステムのアーキテクチャ全体が、アプリケーション・サーバ１４を通して、ライン１６に沿って、ローカル・エリア・ネットワーク又は広域ネットワークのいずれかとすることができ、かつ、インターネットへの接続を含むことができるネットワーク１８に接続されたＭＦＤ１２と共に図示される。教師／教育者のアクセス端末のような遠隔端末又はＰＣ２０が、ライン２２に沿って、ネットワーク１８に接続される。システム・サーバ２４もまた、ネットワーク１８に接続され、データベース・アクセスの機能を提供し、ワークフロー・エンジン、メール・ハンドラ、ウェブ・サーバ及び画像処理／採点の役割をする。
【００１０】
データ・ウェアハウス／リポジトリ（Ｄａｔａ  Ｗａｒｅｈｏｕｓｅ／Ｒｅｐｏｓｉｔｏｒｙ）２６もまた、ネットワークに接続され、これは、アセスメント・フォーム及び関連した注釈、ワークフローの定義、アセスメント・バッチの記録、報告、並びに教師／生徒／クラスのデータといった項目を含み、かつ、更新を受信し、ネットワーク１８上でそこから遠く離れて内部に格納されたデータへのアクセスを与えるように動作可能である。
【００１１】
上述のように、本開示のシステム及び方法は、システムにプログラムされた既定の注釈に基づいて生徒に実施されたアセスメントを自動的に評価し、画像分析を使用することによって、教師／教育者を助ける役目をする。本開示のシステム及び方法は、多肢選択式の解答に関して四角又は丸の中にマークを付ける以外に、画像により、マーク付けされたアセスメントを評価する能力を有する。システムは、マーク付けされたアセスメントを走査し、アセスメント・シート上に予め印刷されたマーキングから、アセスメントの実施中になされた手動で付けられたマークをリフトする能力を有する。次に、システム及び方法は、画像分析を用いて、リフトされたマークを識別し、評価する。方法及びシステムは、教師／教育者により用いられる多数のタイプのアセスメント項目を処理することができ、その例が、図８−図２２における本開示に示される。
【００１２】
種々のタイプのアセスメントを生徒に実施することができ、種々のタイプのアセスメントは、総括的、形成的、診断的、関心、選好、及びベンチマーク・アセスメントを含むことができる。
【００１３】
図８を参照すると、アセスメントが示され、そこでは、アセスメントを実施する教師／教育者又は人が、アルファベットの文字と関連付けられた音を口頭で読み上げ、生徒は、セクション１において、発音された音と関連した文字を識別し、その文字をアセスメント・シートに筆記するように要求される。図８のセクション２においては、アセスメントを実施する教師／教育者又は人が、単語を読み上げ、生徒は、発音された単語を書く又は活字体で書くように要求される。図８のセクション２の項目４においては、「ｓａｃｋ（袋）」という単語が、教師により発音された。システムは、画像分析によって、例えば生徒が発音通りの綴り「ｓａｋ」又は「ｓａｃ」との認識で活字体を書く代替物を識別することができ、生徒が音素を正しく識別していることが認められる。図８のセクション２の項目５においては、「ｃｒｉｂ（ベビーベッド）」という単語が発音され、その発音と関連した単語を認識する生徒は、生徒が聞いた発音通りの綴りとして単語「ｋｒｉｂ」を書くことがあり、その場合、生徒は、単語を不正確に綴ったにもかかわらず、その単語を正しく認識していることが認められる。画像分析による本開示のシステムは、発音された単語の発音通りの綴りとして、綴り「ｋｒｉｂ」を識別することができる。
【００１４】
図９を参照すると、付加的なアセスメント項目が示され、ここでは、生徒が所定のスペース内に数字の形を手動で複製するように要求され、次に、システムは、画像分析によってその数字との類似点に関して、生徒により図を認識し識別するように要求される。
【００１５】
図１０は、足し算のような数学演算を行ない、かつ、空欄として与えられる適切な桁のスペース内に正しい数字の答えを書くように、生徒に要求するタイプのアセスメント項目を示す。従って、本開示の方法を用いるシステムは、アセスメント項目を自動的に評価するために、生徒によりもたらされた数字の答えの画像を認識するように機能する。
【００１６】
図１１を参照すると、例示的なアセスメント項目が示され、そこで、生徒は、図に提示される形状の数を認識し、形状のカウントと関連した正しい数字を書く又は筆記するように要求される。次に、本開示のシステムは、画像分析によって、生徒によるマーキングが問題についての正しい数字であるかどうかを判断する。
【００１７】
図１２を参照すると、特定の形状の画像のグループが提示され、生徒は、形状のグループから、絵の中の形状の数のカウントを表す正しい数字まで線を引くように要求される、別の例示的なアセスメント項目が示される。このように、本開示の方法に用いられるシステムは、画像分析によって、アセスメント項目の自動評価の実行において生徒が引いた線の方向及び接続を識別する。
【００１８】
図１３を参照すると、付加的な例示的なアセスメント項目が示され、そこでは、絵の列が提示され、生徒は、一般的には丸で囲むことによって、残りの絵と異なる、列の中の絵をマーク付けするように要求される。次に、システムは、画像分析によって、マーキングの位置を識別し、正しい絵にマーク付けされたかどうかについて判断し、アセスメント項目の評価を自動的に行なう。
【００１９】
図１４を参照すると、アセスメント項目が実行される方法を生徒に示すように正しくマーク付けされた例示的なアセスメント項目が示され、図１４のアセスメント項目は、生徒に、数値的に指定されたグループの画像を含む、１つより多くの、図示されるケースでは３つのグループの絵にマーク付けするように要求する。次に、システムは、画像分析によって、正しい絵のグループが生徒によってマーク付けされたどうかを判断する。
【００２０】
図１５は、図１４に説明されたタイプの別の例示的なアセスメント項目と、アセスメント項目を実施するために生徒に提示されるフォームとを示す。
【００２１】
図１６を参照すると、アセスメント項目の別の例示的な実施形態が示され、ここで、各々がアルファベットの文字列と関連付けられた、動物のような画像のグループが示され、絵の中の動物の単語名を識別し、かつ、適切な動物名の先頭の文字にマークを付けるように生徒に要求する。従って、システムは、画像分析によって、各列のどの文字にマーク付けされたかを判断し、アセスメント項目の評価を自動的に実行する。
【００２２】
図１７を参照すると、付加的な例示的なアセスメントが示され、ここで、線により絵が提示され、生徒は各絵を手動で複製するように要求される。従って、システムは、画像分析によって、アセスメント項目の評価の自動的形成において、生徒によるマーキングが絵を複製する程度を判断する。
【００２３】
図１８は別の例示的な組のアセスメント項目を示し、そこで、オブジェクトの列が提示され、生徒は、一般的には丸で囲むことによって、特に指定された特性を表す所定の列内のオブジェクトにマークを付けるように要求され、その結果、記載される特性の意味を理解し、かつ、指定された基準に対して示されるオブジェクトの各々を判断するための基準として記載された特性を用いることが生徒に要求される。次に、システムは、画像分析によって、生徒のマーキングが正しいオブジェクトに対してなされたかどうかを判断し、アセスメント項目を自動的に評価する。
【００２４】
図２３を参照すると、例示的なアセスメント項目が示され、ここで、種々の生物の絵の列が示され、生徒は、一般的には丸で囲むことによって、生徒が関連又は好みを有する生物を表す指定された数の絵にマークを付けるように求められる。次に、システムは、画像分析によって、絵のどれにマークが付けられたかを判断し、マーキングから生徒の好みを自動的に評価する。
【００２５】
図２４を参照すると、別の例示的な項目が示され、ここで、様々な活動に関与する人の絵の列が示され、生徒は、絵により表された指定された数のこれらの活動にマーク付けするように求められる。次に、システムは、画像分析によって、生徒がマーク付けした絵を識別し、自動的に評価を行なって生徒の関心ある領域を判断する。
【００２６】
図８−図１６に記載されるアセスメント項目は、総括的又は形成的型のアセスメントに対して利用することができ、一方、図２３は選好型のアセスメントを説明し、図２４は関心型のアセスメントを説明する。
【００２７】
図３を参照すると、本開示の方法の動作がブロック図で示され、そこでは、ステップ３０において、教師／教育者が、ＭＦＤ１２のＤＵＩ（デジタル・ユーザ・インターフェース）から、教育アセスメント・サービス（ＥＡＳ）印刷サービスを選択し、続けて、ステップ３２において、認証情報又は個人識別情報を提供するように教師に要求する。認証情報又は個人識別情報は、格納された認証情報又は個人識別情報と比較され、教師／教育者が、ＥＡＳ印刷サービスにアクセスする権限を有することを確認する。実施形態においては、認証情報又は個人識別情報は、認証データベースに格納される。次に、ステップ３４において、システムは、続けて、ＭＦＤ  ＤＵＩ上に、ステップ３２において入力された教師の識別と現在関連付けられている全ての所定のアセスメント・フォームを表示する。
【００２８】
次に、ステップ３６において、教師は、アセスメント・フォームを選択し、教師及び選択されたアセスメント・フォームと関連したアセスメント「バッチ」の形成を開始する。一旦開始されると、「アセスメント・バッチ」は、教師が要求した基本的な評価ユニット又はセルを含むことが理解されるであろう。次に、教師はステップ３８に進み、例えば、７年生のクラス、７年生の数学のクラス、５年生の英語書き方（ｗｒｉｔｉｎｇ）クラス、又は４年生の読み方（ｒｅａｄｉｎｇ）クラス等のような査定するクラスを入力する。次に、システムはステップ４０に進み、教師／教育者が、クラス全体を選択することを望むかどうかについて尋ね、ステップ４０における問合せが肯定された場合には、次に、システムはステップ４２に進み、アセスメント・バッチの生徒リスト上にクラス内の全ての生徒を含む。しかしながら、ステップ４０における問合せが否定された場合には、システムはステップ４４に進み、クラスのリストがＭＦＤ  ＤＵＩ上に表示され、教師は、アセスメント・バッチの生徒リスト上に含まれることになる特定の生徒を選択する。
【００２９】
ステップ４２又はステップ４４から、次に、システムはステップ４６に進み、教師は、ＭＦＤ  ＤＵＩから印刷を選択するよう指示される。次に、システムはステップ４８に進み、データ・ウェアハウス／リポジトリ内に新しいアセスメント・バッチ記録を自動的に作成し、教師の識別、特定のアセスメント・フォーム、生徒リスト、状態データ、作成日、及び特定の学校管理者／システムにより必要とされ得る他のデータを格納する。
【００３０】
次に、システムはステップ５０に進み、生徒リスト上の各生徒についての個別のアセスメント・レイアウトを自動的にフォーマットし、そのレイアウトは、各生徒が正しいアセスメントを受け取ることを保証するために、生徒名と、アセスメント・バッチ及び生徒をコード化するための識別バーコードとを含む。各生徒についてのアセスメント項目の順番／レイアウトは、各生徒について変えることができ、生徒が、ヒントを得るために隣の生徒のアセスメントを見ないようにする。次に、システムはステップ５２に進み、アセスメント・バッチの生徒リスト上の各生徒についての個別のページを印刷する。次に、システムは、全てのページが印刷されたことを確認し、データ・ウェアハウス／リポジトリを更新する。
【００３１】
ステップ５４において、教師／教育者は、個別の印刷されたアセスメント年齢を選び、指定された生徒の各々に対するアセスメントを実施する。教師／査定者又は生徒は、場合に応じて、印刷されたアセスメント・ページ上で、特定のアセスメント・ページ上に示された問題に対する適切な応答に手動でマーク付けすることができる。アセスメントのマーキングが完了すると、次の評価のために、教師／教育者により、マークが付けられたページが集められる。
【００３２】
図４Ａを参照すると、本方法の評価段階が開始され、ここで、ステップ６０において、教師／教育者が、ＭＦＤにおいて、手動でマーク付けされたアセスメント・ページのスタックを走査する。この時点で、走査されるシートのスタック内に、多数のアセスメント・バッチからのアセスメント・ページが存在し得る。次に、システムは、各々のアセスメント・ページ上に見出されるバーコードで識別されるような要求されたＥＡＳプログラム／機能の動作下で、ステップ６２に進み、システムは、スタック内の走査されるアセスメント・ページの各々について、アセスメント・バッチ及び生徒を自動的に識別する。次に、システムはステップ６４に進み、走査されたページの画像をデータ・ウェアハウス／リポジトリに自動的に送り、アセスメント・バッチの生徒リストの走査状態を更新する。次に、システムはステップ６６に進み、続けて取り込まれたページから第１又は最初のアセスメント・バッチを得る。
【００３３】
次に、システムは、分岐点６８と、ページがアセスメント・バッチの生徒リスト上の全ての生徒について走査されたかどうかについての問合せがなされるステップ７０とに進む。ステップ７０においてなされた問合せが肯定された場合には、システムはステップ７２に進み、アセスメント・バッチの走査状態を、全て（Ａｌｌ）に更新する。次に、システムはステップ７４に進み、現在のアセスメント・バッチの予備評価状態を準備完了（Ｒｅａｄｙ）に更新し、次に、ステップ７６に進む。ステップ７０における判断が否定された場合には、システムはステップ７８に進み、現在のアセスメント・バッチの走査状態を部分的（Ｐａｒｔｉａｌ）に更新し、ステップ８０に進み、現在のアセスメント・バッチの予備評価状態を保留（Ｐｅｎｄｉｎｇ）に更新し、ステップ７６に進む。
【００３４】
ステップ７６において、ページからの最後のアセスメント・バッチが取り込まれたかどうかについての問合せがなされる。ステップ７６における問合せが否定された場合には、システムはステップ８２に進み、取り込まれたページから次のアセスメント・バッチを得るように動作し、次に分岐点６８に進む。
【００３５】
しかしながら、ステップ７６における問合せが肯定された場合には、システムは、ＭＦＤ  ＤＵＩにおいて保留の予備評価状態を有する、取り込まれたアセスメント・バッチのリストを表示し、選択するよう指示される、ステップ８４に進む（図４Ｂを参照されたい）。次に、システムはステップ８６に進み、保留の予備評価状態を有するアセスメント・バッチが選択されたかどうかについて尋ねる。ステップ８６における判断が肯定された場合には、システムはステップ８８に進み、選択されたアセスメント・バッチについて、非走査状態の生徒の名前をＭＦＤ  ＤＵＩ上に表示する。次に、システムはステップ９０に進む。
【００３６】
しかしながら、ステップ８６における問合せが否定された場合には、システムはステップ９２に進み、デフォルト時間が経過したかどうかについて尋ねる。ステップ９２における問合せに対する答えが肯定された場合には、システムは分岐点９４に進む。しかしながら、ステップ９２における判断が否定された場合には、システムはステップ９６に進み、手動で出口が選択されたかどうかについて尋ねる。ステップ９６における問合せが肯定された場合には、システムは分岐点９４に進む。しかしながら、ステップ９６における問合せが否定された場合には、システムは分岐点９８に進み、ステップ８４に再循環する。分岐点９４から、システムはステップ１００に進み、保留の予備評価状態を有する走査された全てのアセスメント・バッチについて、関連した教師にＥメールを送る。アセスメントが欠けている生徒の名前が含められ、関連した教師からのさらなる情報又は入力に好適なリンクが提供され、次に、システムはステップ１０２で停止する。
【００３７】
ステップ９０における終了又は問合せが否定された場合には、システムは分岐点１０４、分岐点１０６、そして分岐点９８に進む。
【００３８】
しかしながら、ステップ９０における問合せが肯定された場合には、システムはステップ１０８に進み、教師／教育者に評価を要求する権限が与えられているかどうかについて尋ねる。ステップ１０８における問合せが否定された場合には、システムは分岐点１０４に進む。しかしながら、ステップ１０８における権限付与についての問合せが肯定された場合には、システムはステップ１１０に進み、選択されたアセスメント・バッチの予備評価状態を準備完了に更新し、分岐点１０６に進む。
【００３９】
図５を参照すると、教師／教育者は、ステップ１１２において評価についての問合せを開始し、システムは分岐点１１４に、次にステップ１１６に進み、準備完了の予備評価状態を有するデータ・ウェアハウス／リポジトリ内のアセスメント・バッチがあるかどうかについて尋ねる。ステップ１１６における問合せが否定された場合には、システムは次にステップ１１８で停止する。しかしながら、ステップ１１６における問合せが肯定された場合には、システムはステップ１２０に進み、アセスメント・バッチの第１の走査されたアセスメント・ページの画像を取り出し、次にステップ１２２に進み、位置合わせ基準マークを自動的に使用して、走査された画像をオリジナルのアセスメントレイアウトの対応する適切な画像と「位置合わせ」する。次に、システムはステップ１２４に進み、対応する格納されたオリジナルのアセスメントレイアウト画像から走査された画像を自動的に減算し、各画像について手動で付けられたマークを「リフトする（ｌｉｆｔ）」。
【００４０】
次に、システムはステップ１２６に進み、「リフトされた」マークの各画像についての注釈（アセスメント上の各項目と関連した）を自動的に適用し、アセスメントの結果を表にし、そこで各アセスメント画像のマークを評価する。その際に、システムは、マークの形状、マークの色、又はフィールド内のマークの位置、或いは色、形状及びフィールド内のマークの位置の任意の組み合わせの分析を用いて各マークを自動的にデコードする。ここで、フィールドは走査された及び位置合わせされたアセスメント・ページの画像内に配置された指定された領域である。次に、システムは１２８に進み、アセスメント項目の各々について、評価値（ｒａｔｉｎｇ）を自動的に生成し、注釈が成功裏に項目に適用された信頼性レベルを示す。次に、システムはステップ１３０に進み、アセスメント評価結果をデータ・ウェアハウス／リポジトリに自動的に格納し、ステップ１３２に進む。
【００４１】
ステップ１３２において、システムは、これがアセスメント・バッチの最後の画像であるかどうかについて尋ねる。ステップ１３２における判断が否定された場合には、システムはステップ１３４に進み、続けて次の走査されるアセスメントの画像を取得し、次にステップ１２０に戻る。
【００４２】
しかしながら、ステップ１３２における問合せが肯定された場合には、システムはステップ１３６に進み、アセスメント・バッチの予備評価が完了したというＥメール／通知を教師に送り、簡潔な予備評価の概略報告及び予備アセスメント結果へのリンクを、アセスメント・バッチのためのデータ・ウェアハウス／リポジトリのインターフェースに提供する。次に、システムはステップ１３８に進み、データ・ウェアハウス／リポジトリにおけるアセスメント・バッチの予備評価状態を完了（Ｄｏｎｅ）に更新する。従って、システムは本開示の方法の評価段階を完了した。
【００４３】
図６を参照すると、本方法の検証段階は、教師が、アセスメント・バッチの予備評価が完了し、リンクがデータ・ウェアハウス／リポジトリに与えられたというＥメールをシステムから受信することによって開始される。次に、システムは、教師が、通知内に与えられたリンクを選択することによって、データ・ウェアハウス／リポジトリ内のアセスメント・バッチの検証インターフェースにアクセスする、ステップ１４２に進む。
【００４４】
次に、教師は、ステップ１４４において要求される認証情報を提供し、システムは、続いてステップ１４６においてアセスメント・バッチ内の第１の評価されたアセスメントを列を作って待つ。ステップ１４８において、教師は手動で付けられたマーク、各項目についての適切な「重要な」情報（アセスメントの注釈から得られた）、各項目についての自動評価、及び各項目についての色分けされた信頼性レベルによりアセスメントの画像を見る。ステップ１５０においては、教師は予備評価の検証を実行し、必要に応じて予備評価に対する訂正／更新／修正を入力することができ、システムはステップ１５２に進み、注釈又はメタデータが付加されるかどうかについて尋ねる。ステップ１５２における問合せが教師／教育者により否定された場合には、システムはステップ１５４に進む。しかしながら、ステップ１５２における問合せが肯定された場合には、教師は、ステップ１５６において注釈／メタデータをアセスメント画像に付加し、システムはステップ１５４に進む。
【００４５】
ステップ１５４において、システムは、データ・ウェアハウス／リポジトリを訂正されたアセスメント・データ及び任意のアセスメント画像の注釈／メタデータに自動的に更新する。次に、システムはステップ１５８に進み、データ・ウェアハウス／リポジトリにおいてアセスメントの検証状態を完了に更新し、ステップ１６０に進む。
【００４６】
ステップ１６０において、システムは、別のアセスメントが見られるかどうかを尋ね、ステップ１６０における問合せに対する答えが否定であった場合、システムはステップ１６２に進み、データ・ウェアハウス／リポジトリにおけるアセスメント・バッチの検証状態を完了に更新し、次に停止する。
【００４７】
しかしながら、ステップ１６０における問合せが肯定された場合には、システムはステップ１６４に進み、次のアセスメントを行列を作って待ち、ステップ１４８に戻る。
【００４８】
図７を参照すると、本開示の方法の報告段階がブロック図で示され、そこでは、ステップ１６６において、教師は、完了の検証状態を有するアセスメント・バッチについての報告を要求する。システムはステップ１６８に進み、教師の要求がＭＦＤにおけるものであるかどうかについて尋ね、問合せに対する答えが否定であった場合には、システムはステップ１７０に進み、教師は遠隔でデータ・ウェアハウス／リポジトリにアクセスし、システムはステップ１７２において教師が認証及び識別を与えるように要求し、教師が検証されたアセスメント・バッチを選択するステップ１７４に進む。次に、システムは、教師が、ステップ１７６においてメニューから所定のタイプの報告の周知の集まりの１つを選択することを可能にし、教師が、報告により要求される何らかの関連情報を提供するステップ１７８に進む。次に、システムはステップ１８０に進み、報告は印刷の選択肢と共に遠隔位置に表示され、システムはステップ１８２に進む。
【００４９】
ステップ１６８における問合せが肯定された場合には、教師はステップ１８４において認証情報を提供し、ステップ１８６において、教師は、ＭＦＤ  ＤＵＩにおいて検証されたアセスメント・バッチを選択する。次に、教師は、ステップ１８８において、ＭＦＤ  ＤＵＩにおいて所定のタイプの報告の周知の集まりの１つを選択し、ステップ１９０において、教師は、報告により要求される何らかの関連情報を提供し、システムはステップ１９２に進み、ＭＦＤにおいて報告は印刷され、システムはステップ１８２に進む。
【００５０】
ステップ１８２において、報告がデータ・ウェアハウス／リポジトリ内に格納されるかどうかについての問合せがなされる。ステップ１８２における問合せが否定された場合には、システムは停止する。しかしながら、ステップ１８２における問合せが肯定された場合には、システムはステップ１８４に進み、報告を格納し、次に停止する。
【００５１】
ここで図２５−図３１を参照すると、本開示による教育アセスメント・システム２００の実施形態が、アセスメント対応の多機能デバイス４００と、アセスメント・リポジトリ・デバイス３００と、アセスメント・分析デバイス５００と、アセスメント・アクセス・デバイス６００とを含む。ここで前述したように、アセスメント対応の多機能デバイス４００、アセスメント・リポジトリ・デバイス３００、及びアセスメント分析デバイス５００は、データ・ネットワーク１８によって相互接続される。
【００５２】
アセスメント対応の多機能デバイス４００は、動作可能に通信している、プロセッサ４１０と、走査組立体４３４と、印刷組立体４３２と、記憶装置４３０と、ユーザ・インターフェース４３６と、通信インターフェース４２０とを含む。アセスメント対応の多機能デバイス４００は、ここで開示されるようなＥＡＳサービスにアクセスする方法を実行するための、ソフトウェア、ファームウェア及びハードウェアのうちの少なくとも１つを有するアセスメント・モジュール４４０をさらに含む。１つの実施形態において、アセスメント・モジュール４４０は、ＥＡＳサービスにアクセスするための、多機能デバイス４００の少なくとも１つのプロセッサ４１０により実行するように構成された１組のプログラム可能命令を有するソフトウェア・プログラムを含む。実施形態において、アセスメント・モジュール４４０は、ＥＡＳ印刷サービスを選択すること、ユーザがアセスメント・フォームを選択するのを可能にすること、ユーザがアセスメント・クラス又はその一部分（すなわち、そのアセスメントを印刷する生徒のグループ）を選択するのを可能にすること、アセスメントの組を印刷すること、アセスメントの組を走査すること、アセスメント・リポジトリ・デバイス３００と通信すること、及びアセスメント分析デバイス５００と通信することのうちの１つについての実行可能命令を含む。
【００５３】
実施形態において、アセスメント・モジュール４４０は、例えば、制限なく、Ｘｅｒｏｘ  Ｃｏｒｐｏｒａｔｉｏｎ社により開発されたＥｘｔｅｎｓｉｂｌｅ  Ｉｎｔｅｒｆａｃｅ  Ｐｌａｔｆｏｒｍ（ＥＩＰ）などの、モジュール式アプリケーション・プログラミング・アーキテクチャを実装する１組のアプリケーション・プログラミング・インターフェース（ＡＰＩ）を含むことができる。例えば、ＥＩＰ  ＡＰＩに準拠し、かつ、前述のアセスメント・モジュール機能を実装するように構成されたソフトウェア命令を、多機能デバイス４００によって動的にダウンロードし、及び／又は、実行することができる。実施形態においては、アセスメント・モジュール４４０は、多機能デバイス４００によって実行可能な、及び／又は、多機能デバイス４００上で実行されるウェブベースのアプリケーション（例えば、ウェブ・サーバ又は「ｗｅｂａｐｐ」）とすることができる。アセスメント・モジュール４００を実装するダウンロードされた及び／又は実行可能なソフトウェア命令は、多機能デバイス４００内に予めプログラムすることができ、或いは、例えば、アセスメント・リポジトリ・デバイス３００、アセスメント分析デバイス５００、ＥＩＰアプリケーション・サーバ１４、又はローカル・エリア・ネットワーク若しくは広域ネットワーク上の他のネットワーク・サーバから、動的にダウンロードすることができる。実施形態において、ダウンロードは使用ごとになされ、アクセス料金及び／又はダウンロード料金をエンドユーザ（すなわち、学校／教育者）に負担させることが可能である。
【００５４】
アセスメント・リポジトリ・デバイス３００は、操作可能に通信している、プロセッサ３１０と、記憶装置３３０と、通信インターフェース３２０とを含む。アセスメント・リポジトリ・デバイス３００は、多機能デバイス４００と通信すること、アセスメント分析デバイス５００と通信すること、走査されたアセスメントを格納すること、走査されたアセスメントに関するメタデータを格納すること、及び少なくとも１つのアセスメントデータベース（明確に図示されていない）を維持することの少なくとも１つを実行するための、ソフトウェア、ファームウェア及びハードウェアの少なくとも１つを有するアセスメント・リポジトリ・モジュール３４０をさらに含む。
【００５５】
アセスメント分析デバイス５００は、操作可能に通信している、プロセッサ５１０と、記憶装置５３０と、通信インターフェース５２０とを含む。アセスメント・リポジトリ・デバイス５００は、多機能デバイス４００と通信すること、アセスメント・リポジトリ・デバイス３００と通信すること、アセスメントの走査された画像を取り出すこと、注釈を格納及び／又は取り出すこと、走査された画像を処理して上に手動で付けられたマークを検出すること、アセスメントを評価するために関連したアセスメントの注釈を適用すること、及びアセスメントの評価を格納することの少なくとも１つを実行するための、ソフトウェア、ファームウェア及びハードウェアの少なくとも１つを有するアセスメント分析モジュール５４０をさらに含む。
【００５６】
アセスメント・リポジトリ・モジュール３４０及び／又はアセスメント・モジュール４４０はまた、アンサーキー情報に現在対応する、いずれかの手動で付けられたマークを上に含む、アセスメントの画像をユーザ／教師に提示するため、予備アセスメントの評定結果をユーザ／教師に提示し、その再検討及び修正を容易にするために、ウェブ・サーバ７３０を含むことができる。このように、ユーザ／教師は、例えば、制限なく、ストレイ・マーク、不完全なマーク又は不恰好なマーク、及び／又は、アセスメント・モジュール４４０により誤って解釈される可能性がある手動で付けられたマークから現われ得る訂正をアセスメント評価に入力することができる。
【００５７】
実施形態において、アセスメント・リポジトリ・モジュール３４０、アセスメント・モジュール４４０、及びアセスメント分析モジュール５４０の少なくとも１つは、ｅメール・メッセージ（明確に図示されていない）を伝送するための能力を含むことができる。ｅメール・メッセージは、アセスメント評価結果に関する情報、アセスメント・バッチに関連した要約情報、及び／又は、アセスメント再検討ページへのハイパーテキスト・リンクを含むことができ、ｅメール・メッセージは、例えば、フォーマットして、ウェブ・サーバ７３０によりユーザ／教師に伝送することができ、上述のように、アセスメント・リポジトリ・モジュール３４０、アセスメント・モジュール４４０と共に、又は、独立型サーバ（明確に図示されていない）内に含ませることができる。
【００５８】
ここで図２９Ａを参照すると、本開示によるアセスメント対応の多機能デバイス（ＡＥ−ＭＦＤ）の実施形態が開示され、そこで、多機能デバイス４００Ａは、プロセッサ４１０と操作可能に通信するアセスメント分析モジュール５４０Ａをさらに含む。アセスメント分析モジュール５４０Ａは、アセスメント・モジュール４００、アセスメント・リポジトリ・デバイス３００と通信すること、アセスメントの走査された画像を取り出すこと、注釈を格納及び／又は取り出すこと、走査された画像を処理して上に手動で付けられたマークを検出すること、アセスメントを評価するために関連したアセスメントの注釈を適用すること、及びアセスメント評価を格納することの少なくとも１つを実行するための、ソフトウェア、ファームウェア及びハードウェア少なくとも１つを含む。図２９Ｂにおいて、本開示によるアセスメント対応の多機能デバイス（ＡＥ−ＭＦＤ）が示され、そこで、多機能デバイス４００Ｂは、アセスメント・モジュール４００、及びアセスメント分析デバイス５００、及び／又はアセスメント分析モジュール５４０Ｂと通信すること、走査されたアセスメントを格納すること、走査されたアセスメントに関連するメタデータを格納すること、及び少なくとも１つのアセスメントデータベース７２０を維持することの少なくとも１つを実行するための、ソフトウェア、ファームウェア及びハードウェアの少なくとも１つを有するアセスメント・リポジトリ・モジュール３４０Ｂをさらに含む。
【００５９】
図３０−図３１を参照すると、学問的データベース７１０が、生徒データ集合７１２、クラスデータ集合７１４、教師データ集合７１６、及びスコア・データ集合７１８を含む。アセスメントデータベース７２０は、用紙データ集合７２２及び注釈データ集合７２４を含む。実施形態において、データ集合は、当業者であればよく知っているようなデータベース・テーブルとして編成することができる。アセスメント・リポジトリ・モジュール３４０は、学問的データベース７１０及びアセスメントデータベース７２０と操作可能に通信し、さらに、アセスメント・モジュール４４０、アセスメント分析モジュール５４０、及びアセスメント・アクセス・モジュール６４０操作可能に通信することができる。アセスメント・アクセス・モジュール６４０は、ウェブ・サーバ７３０を介してアセスメント・リポジトリ・モジュール３４０と通信することができる。実施形態において、アセスメント・アクセス・モジュール６４０は、ウェブ・ブラウザを含む。
【００６０】
使用においては、ステップ８１０において、アセスメント定義が、アセスメントデータベース７２０内に格納される。アセスメント定義は、用紙データ集合７２４内に格納することができるアセスメントの物理的レイアウトと、注釈データ集合７２４内に格納することができる関連した注釈（例えば、アンサーキー）とを含むことができる。実施されたアセスメントの走査画像、及び随意的に又は代替的に、それと関連したメタデータを格納するための画像データ集合体７２６を、アセスメントデータベース７２０内に含ませることができる。付加的に又は代替的に、画像データ集合７２６をアセスメント分析デバイス５００の記憶装置５３０内に含ませることもできる。ステップ８１２において、アセスメントは、アセスメントデータベース７２０内に格納されたアセスメント定義と、生徒データベース、クラス・データベース及び教師データベースの少なくとも１つとを用いて生成され、従って、生成されたアセスメントの各々は、個々の生徒に一意的に対応する。次に、ステップ８１４において、多機能デバイス４００、或いは、随意的に又は代替的に、独立型プリンタ、ファックス、又はページをレンダリングすることができる他のレンダリング・デバイスにおいて、アセスメントが印刷される。実施形態において、アセスメントは、ポータブル・ドキュメント・フォーマット（ＰＤＦ）ファイルに印刷することができる。
【００６１】
実施形態において、印刷されたアセスメントは、制限なしに、生徒の名前、生徒の識別番号、教室の識別子、教師の識別子、識別されたアセスメント、日付などのうちの少なくとも１つを含むことができる、バーコードのような機械可読識別子を含むことができる。
【００６２】
ステップ８１６において、印刷されたアセスメントシートが生徒に実施され、そこで、生徒の応答がシート上に記録され、ステップ８１８において、完了したアセスメントが走査され、画像データ集合７２６内に格納され、随意的には、走査されたアセスメントデータは、関連したメタデータと共に格納される。
【００６３】
ステップ８２０において、アセスメント分析モジュール５４０が、走査されたアセスメント・データを評価する。アセスメント分析モジュール５４０は、可能な場合は、バーコード付き機械可読識別子又は人間可読識別子（すなわち、予め印刷された又は手書きのテキスト識別子）のような、アセスメント・シートからの識別子を用いて、アセスメントに対応する生徒、クラス、教師、及び／又はアセスメントＩＤを判断することができる。分析モジュール５４０は、アセスメントに対応する注釈データを用いて、ステップ８２２において、走査されたアセスメントの各々についてのアセスメント・スコアを生成するために用いられる評価データを生成する。ステップ８２２において、アセスメント・スコアは、学問的データベース７１０内に格納される。学問的データベースは、粒状データ、例えば、全ての学年における全ての生徒のための、全てのテストに対応するデータを含むことができる。粒状データは、履歴データ（例えば、あらゆる前年からのデータ）及び／又は地理的データ（例えば、種々の学区、郡などからのデータ）に及ぶことができる。ステップ８２４を随意的に実行することができ、そこでは、個々のアセスメントの応答を相互に関係付けて、一般的な応答のタイプを有する生徒のグループを識別する。例えば、制限なく、応答をグループ化して、同様に正しくないアセスメント応答を提供した生徒を識別する（特定の主題領域において特別の助けを必要とし得る生徒のグループを識別する）ことができる。別の例として、学習障害と合致するような応答に従って、生徒をグループ化することができる（例えば、一貫して反対又は逆の応答は失読症を示すことがある）。
【符号の説明】
【００６４】
１０：システム
１２：ＭＦＤ（多機能デバイス）
１４：ＥＩＰアプリケーション・サーバ
１６、２２：ライン
１８：ネットワーク
２０：遠隔端末又はＰＣ
２４：ＥＡＳサーバ
２６：データ・ウェアハウス／リポジトリ
【図１】
2010146560.tif 000003
【図２】
2010146560.tif 000004
【図３】
2010146560.tif 000005
【図４Ａ】
2010146560.tif 000006
【図４Ｂ】
2010146560.tif 000007
【図５】
2010146560.tif 000008
【図６】
2010146560.tif 000009
【図７】
2010146560.tif 000010
【図８】
2010146560.tif 000011
【図９】
2010146560.tif 000012
【図１０】
2010146560.tif 000013
【図１１】
2010146560.tif 000014
【図１２】
2010146560.tif 000015
【図１３】
2010146560.tif 000016
【図１４】
2010146560.tif 000017
【図１５】
2010146560.tif 000018
【図１６】
2010146560.tif 000019
【図１７】
2010146560.tif 000020
【図１８】
2010146560.tif 000021
【図１９】
2010146560.tif 000022
【図２０】
2010146560.tif 000023
【図２１】
2010146560.tif 000024
【図２２】
2010146560.tif 000025
【図２３】
2010146560.tif 000026
【図２４】
2010146560.tif 000027
【図２５】
2010146560.tif 000028
【図２６】
2010146560.tif 000029
【図２７】
2010146560.tif 000030
【図２８】
2010146560.tif 000031
【図２９Ａ】
2010146560.tif 000032
【図２９Ｂ】
2010146560.tif 000033
【図３０】
2010146560.tif 000034
【図３１】
2010146560.tif 000035