(57)【要約】【課題】生徒の暗示的評価を実行するためのシステムを提供する。【解決手段】システムが、コンテンツ・プロバイダから学習コンテンツを受信し、学習コンテンツは、学習コンテンツの異なる段階においてチェックポイントを有する。システムは、学習コンテンツの各チェックポイントに評価命令を関連付ける。システムは、受信された学習コンテンツを、生徒に対するプレゼンテーションのためにレンダリングし、学習コンテンツのプレゼンテーション中に生徒の行動をキャプチャする。システムは、学習プレゼンテーション中に生徒が遭遇した各チェックポイントにおいてその生徒の評価を実行する。チェックポイントにおける評価は、キャプチャされた行動に基づいてスコアを割り当てるためにチェックポイントに関連付けられた評価命令を使用することを含む。次に、システムは、生徒が遭遇した複数のチェックポイントにおいてそれぞれ実行された評価に基づいて全体的な評価を生成する。【選択図】図８
2020519931.tif 000002
【特許請求の範囲】
【請求項１】
学習コンテンツ・データの異なる段階に埋め込まれたチェックポイントを有する前記学習コンテンツ・データを受信することと、
前記学習コンテンツ・データの前記埋め込まれたチェックポイントのそれぞれに評価命令を関連付けることと、
プロセッサにおいて、前記受信された学習コンテンツ・データを生徒に対するプレゼンテーションのためにレンダリングし、かつ前記学習コンテンツ・データの前記プレゼンテーション中に１つまたは複数のセンサを使用して前記生徒の行動のセットをキャプチャすることと、
前記学習プレゼンテーションの前記レンダリング中に遭遇した前記埋め込まれたチェックポイントのそれぞれにおいて前記生徒の評価を実行することであって、埋め込まれたチェックポイントにおける前記評価は、前記１つまたは複数のセンサによってキャプチャされた行動の前記セットに基づいてスコアを割り当てるべく前記埋め込まれたチェックポイントの関連付けられた評価命令を使用することを備える、実行することと、
前記遭遇した埋め込まれたチェックポイントにおいて実行された前記評価に基づいて全体的な評価を生成することと
を備える、コンピュータによって実施される方法。
【請求項２】
前記学習コンテンツ・データの前記レンダリング中に前記プロセッサによって実行されるように前記学習コンテンツ・データに前記評価命令を注入することをさらに備える、請求項１に記載のコンピュータによって実施される方法。
【請求項３】
それぞれの埋め込まれたチェックポイントが、優先度重みに関連付けられ、かつ
前記全体的な評価を生成することは、前記埋め込まれたチェックポイントの関連付けられた優先度重みにより、それぞれの埋め込まれたチェックポイントの前記割り当てられたスコアに重み付けすることを備える、請求項１に記載のコンピュータによって実施される方法。
【請求項４】
前記学習コンテンツ・データは、少なくとも第１のチェックポイントおよび第２のチェックポイントを埋込み、かつ
前記第１のチェックポイントに関連付けられた優先度重みは、前記第２のチェックポイントに関連付けられた優先度重みより大きい、請求項３に記載のコンピュータによって実施される方法。
【請求項５】
キャプチャされた行動を特徴付け、かつ前記特徴付けられた行動に確信度重みを割り当てることをさらに備えるコンピュータによって実施される方法であって、
前記全体的な評価を生成することは、前記特徴付けられた行動の前記確信度重みに基づいて、埋め込まれたチェックポイントの前記割り当てられたスコアに重み付けすることを備える、請求項１に記載のコンピュータによって実施される方法。
【請求項６】
行動の前記キャプチャされたセットに基づいてスコアを割り当てるべく前記埋め込まれたチェックポイントの関連付けられた評価命令を使用することは、前記生徒の１つまたは複数の特徴に対して正規化された閾値を使用することを備える、請求項１に記載のコンピュータによって実施される方法。
【請求項７】
宣言型言語で書かれたステートメントから前記評価命令を導き出すことをさらに備える、請求項１に記載のコンピュータによって実施される方法。
【請求項８】
前記生徒の行動の前記キャプチャされたセットは、顔の表情、音声、ジェスチャ、視線、タッチ、および前記学習コンテンツ・データの前記プレゼンテーションとの対話を備える、請求項１に記載のコンピュータによって実施される方法。
【請求項９】
埋め込まれたチェックポイントの前記評価命令は、行動の前記キャプチャされたセットを数値として分類するための規則を備え、かつ
前記全体的な評価を生成することは、異なる埋め込まれたチェックポイントの前記数値を集計して全体的な評価値にすることを備える、請求項１に記載のコンピュータによって実施される方法。
【請求項１０】
処理ユニットと、
センサのセットと、
命令のセットを記憶するストレージ・デバイスと
を備えるコンピューティング・デバイスであって、
処理ユニットのセットによる命令の前記セットの実行は、
学習コンテンツ・データの異なる段階に埋め込まれたチェックポイントを有する前記学習コンテンツ・データを受信することと、
前記学習コンテンツ・データのそれぞれの埋め込まれたチェックポイントに評価命令を関連付けることと、
前記受信された学習コンテンツ・データを生徒に対するプレゼンテーションのためにレンダリングし、かつ前記学習コンテンツ・データの前記プレゼンテーション中にセンサの前記セットを使用して前記生徒の行動のセットをキャプチャすることと、
前記学習プレゼンテーションの前記レンダリング中に遭遇したそれぞれの埋め込まれたチェックポイントにおいて前記生徒の評価を実行することであって、埋め込まれたチェックポイントにおける前記評価は、センサの前記セットによってキャプチャされた行動の前記セットに基づいてスコアを割り当てるべく前記埋め込まれたチェックポイントの関連付けられた命令を使用することを備える、実行することと、
前記遭遇した埋め込まれたチェックポイントにおいて実行された前記評価に基づいて全体的な評価を生成することと
を備える動作を実行するようにコンピューティング・デバイスを構成する、コンピューティング・デバイス。
【請求項１１】
命令の前記セットは、前記学習コンテンツ・データの前記レンダリング中に実行されるように前記学習コンテンツ・データに前記評価命令を注入するようにコンピューティング・デバイスをさらに構成する、請求項１０に記載のコンピューティング・デバイス。
【請求項１２】
それぞれの埋め込まれたチェックポイントは、優先度重みに関連付けられ、
前記全体的な評価を生成することは、前記埋め込まれたチェックポイントの関連付けられた優先度重みにより、それぞれの埋め込まれたチェックポイントの前記割り当てられたスコアに重み付けすることを備え、
前記学習コンテンツ・データは、少なくとも第１のチェックポイントおよび第２のチェックポイントを埋込み、かつ
前記第１のチェックポイントに関連付けられた優先度重みは、前記第２のチェックポイントに関連付けられた優先度重みより大きい、請求項１０に記載のコンピューティング・デバイス。
【請求項１３】
命令の前記セットは、キャプチャされた行動を特徴付け、かつ前記特徴付けられた行動に確信度重みを割り当てるように前記コンピューティング・デバイスをさらに構成し、
前記全体的な評価を生成することは、前記特徴付けられた行動の前記確信度重みに基づいて、埋め込まれたチェックポイントの前記割り当てられたスコアに重み付けすることを備える、請求項１０に記載のコンピューティング・デバイス。
【請求項１４】
行動の前記キャプチャされたセットに基づいてスコアを割り当てるべく前記埋め込まれたチェックポイントの関連付けられた評価命令を使用することは、前記生徒の１つまたは複数の特徴に対して正規化された閾値を使用することを備える、請求項１０に記載のコンピューティング・デバイス。
【請求項１５】
前記生徒の行動の前記キャプチャされたセットは、顔の表情、音声、ジェスチャ、視線、タッチ、および前記学習コンテンツ・データの前記プレゼンテーションとの対話を備える、請求項１０に記載のコンピューティング・デバイス。
【請求項１６】
埋め込まれたチェックポイントの前記評価命令は、行動の前記キャプチャされたセットを数値として分類するための規則を備え、かつ
前記全体的な評価を生成することは、異なる埋め込まれたチェックポイントの前記数値を集計して全体的な評価値にすることを備える、請求項１０に記載のコンピューティング・デバイス。
【請求項１７】
学習コンテンツ・データを受信することと、
生徒のセットに対する前記学習コンテンツ・データのプレゼンテーション中にセンサのセットを使用してキャプチャされた行動のセットを受信することと、
生徒のキャプチャされた行動を前記学習コンテンツ・データの段階における評価スコアにそれぞれが結び付ける教師評価のセットを受信することと、
プロセッサにおいて、前記キャプチャされた生徒行動、および前記受信された教師評価を、チェックポイントのセットを識別すべく、かつ評価規則のセットを導き出すべく訓練セットとして使用することであって、各チェックポイントは、前記学習コンテンツ・データの段階に関連付けられ、かつ各評価規則は、前記学習コンテンツ・データのチェックポイントにおける行動のスコア付けを定義する、使用することと
を備える、コンピュータによって実施される方法。
【請求項１８】
前記キャプチャされた生徒行動、および前記受信された教師評価を、各チェックポイントに関する重み付け係数を識別する訓練セットとして使用することをさらに備える、請求項１７に記載のコンピュータによって実施される方法。
【請求項１９】
キャプチャされた行動の前記セットは、前記生徒のビデオ記録およびオーディオ記録から認識された特徴付けられた行動を備える、請求項１７に記載のコンピュータによって実施される方法。
【請求項２０】
評価規則の前記導き出されるセットは、生徒行動を、教師評価の前記受信されたセットによって定義される理解レベルに結び付ける、請求項１７に記載のコンピュータによって実施される方法。
【請求項２１】
コンピュータ上で実行されたとき、請求項１ないし９、または請求項１７ないし２０のいずれか一項に記載の方法を実行するように適応させられたプログラム・コード手段を備えるコンピュータ・プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、一般に、生徒に対する学習材料のプレゼンテーション（提示）を制御するためのシステムおよび方法に関する。
【背景技術】
【０００２】
形式的評価（試験、クイズ、多肢選択問題、その他）は、学生に形式的問題を出すことによって学習コンテンツの学生の理解を評価する。多くの人々は、形式的問題がしばしば認知過負荷およびストレスにつながり、不正確な評価につながり得るため、形式的評価モデルは子供の学習プロセスにおける子供の理解を評価するのに不十分であると信じる。他方、暗示的評価は、明示的問題を出すことなしに学習コンテンツの学生の理解を評価する。暗示的評価は、有効な評価のために一次データ・ソースとしてユーザ行動の観察および分析に依拠する。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
生徒の暗示的評価を実行するためのシステムを提供する。
【課題を解決するための手段】
【０００４】
一態様によれば、学習コンテンツ・データの異なる段階に埋め込まれたチェックポイントを有する学習コンテンツ・データを受信することと、学習コンテンツ・データの埋め込まれたチェックポイントのそれぞれに評価命令を関連付けることと、プロセッサにおいて、受信された学習コンテンツ・データを生徒に対するプレゼンテーションのためにレンダリングし、かつ学習コンテンツ・データのプレゼンテーション中に１つまたは複数のセンサを使用して生徒の行動のセットをキャプチャすることと、学習プレゼンテーションのレンダリング中に遭遇した埋め込まれたチェックポイントのそれぞれにおいて生徒の評価を実行することであって、埋め込まれたチェックポイントにおける評価は、１つまたは複数のセンサによってキャプチャされた行動のセットに基づいてスコアを割り当てるべく埋め込まれたチェックポイントの関連付けられた評価命令を使用することを備える、実行することと、遭遇した埋め込まれたチェックポイントにおいて実行された評価に基づいて全体的な評価を生成することとを備えるコンピュータによって実施される方法が提供される。
【０００５】
別の態様によれば、処理ユニットと、センサのセットと、命令のセットを記憶するストレージ・デバイスとを備えるコンピューティング・デバイスであって、処理ユニットのセットによる命令のセットの実行は、学習コンテンツ・データの異なる段階に埋め込まれたチェックポイントを有する学習コンテンツ・データを受信することと、学習コンテンツ・データのそれぞれの埋め込まれたチェックポイントに評価命令を関連付けることと、受信された学習コンテンツ・データを生徒に対するプレゼンテーションのためにレンダリングし、かつ学習コンテンツ・データのプレゼンテーション中にセンサのセットを使用して生徒の行動のセットをキャプチャすることと、学習プレゼンテーションのレンダリング中に遭遇したそれぞれの埋め込まれたチェックポイントにおいて生徒の評価を実行することであって、埋め込まれたチェックポイントにおける評価は、センサのセットによってキャプチャされた行動のセットに基づいてスコアを割り当てるべく埋め込まれたチェックポイントの関連付けられた命令を使用することを備える、実行することと、遭遇した埋め込まれたチェックポイントにおいて実行された評価に基づいて全体的な評価を生成することとを備える動作を実行するようにコンピューティング・デバイスを構成する、コンピューティング・デバイスが提供される。
【０００６】
別の態様によれば、学習コンテンツ・データを受信することと、生徒のセットに対する学習コンテンツ・データのプレゼンテーション中にセンサのセットを使用してキャプチャされた行動のセットを受信することと、生徒のキャプチャされた行動を学習コンテンツ・データの段階における評価スコアにそれぞれが結び付ける教師評価のセットを受信することと、プロセッサにおいて、キャプチャされた生徒行動、および受信された教師評価を、チェックポイントのセットを識別すべく、かつ評価規則のセットを導き出すべく訓練セットとして使用することであって、各チェックポイントは、学習コンテンツ・データの段階に関連付けられ、かつ各評価規則は、学習コンテンツ・データのチェックポイントにおける行動のスコア付けを定義する、使用することとを備えるコンピュータによって実施される方法が提供される。
【０００７】
本開示の一部の実施形態は、暗示的評価を実行するためのシステムを提供する。具体的には、システムが、コンテンツ・プロバイダから学習コンテンツを受信し、学習コンテンツは、学習コンテンツの異なる段階においてチェックポイントを有する。システムは、学習コンテンツの各チェックポイントに評価命令を関連付ける。システムは、受信された学習コンテンツを、生徒に対するプレゼンテーションのためにレンダリングし、学習コンテンツのプレゼンテーション中に生徒の行動をキャプチャする。システムは、学習プレゼンテーションのレンダリング中に遭遇した各チェックポイントにおいて生徒の評価を実行する。チェックポイントにおける評価は、キャプチャされた行動に基づいてスコアを割り当てるべくチェックポイントの関連付けられた評価命令を使用することを含む。次に、システムは、遭遇したチェックポイントにおいて実行された評価に基づいて全体的な評価を生成する。
【０００８】
本開示の一部の実施形態は、評価命令を作成するため、および学習コンテンツにおけるチェックポイントを識別するための方法を提供する。方法は、学習コンテンツを複数の生徒に提示する。方法は、学習コンテンツのプレゼンテーション中に各生徒の行動をキャプチャする。また、方法は、生徒のキャプチャされた行動を学習コンテンツの段階における評価スコアにそれぞれが結び付ける教師評価のセットを受信する。次に、方法は、キャプチャされた生徒行動、および受信された教師評価を、学習コンテンツにおけるチェックポイントのセットを識別すべく、かつ生徒を評価するための評価規則のセットを導き出すべく訓練セットとして使用する。
【０００９】
前述の概要は、本開示の一部の実施形態に対する簡単な概説の役割をするように意図される。前述の概要は、本明細書において開示される発明のすべての主題の概説であることも、概略であることも意図していない。後段の詳細な説明、および詳細な説明において参照される図面が、概要において説明される実施形態、ならびにその他の実施形態についてさらに説明する。したがって、本明細書において説明されるすべての実施形態を理解すべく、概要、詳細な説明、および図面が提供される。さらに、主張される主題は、主題の思想を逸脱することなく、他の特定の形態で実施され得るため、主張される主題は、概要、詳細な説明、および図面における例示的な詳細によって限定されるものではなく、むしろ、添付の特許請求の範囲によって規定される。
【００１０】
図面は、例示的な実施形態のものである。図面は、すべての実施形態を例示するわけではない。他の実施形態が、さらに、または代わりに使用されてよい。明白または不必要であり得る詳細が、スペースを節約すべく、またはより効果的な例示のために省略され得る。一部の実施形態は、さらなる構成要素もしくはステップを伴って、または例示される構成要素もしくはステップのすべてを伴わずに、あるいはその両方で実施されてよい。異なる図面において同一の番号が出現する場合、その番号は、同一の、または類似した構成要素またはステップを参照する。
【図面の簡単な説明】
【００１１】
【図１】一実施形態による、暗示的評価フレームワークを実装するコンピューティング・デバイスを示す図である。
【図２】一実施形態による、チェックポイントと学習コンテンツとの間の関係を示す概念図である。
【図３】一実施形態による、チェックポイントと学習コンテンツとの間の関係を示す概念図である。
【図４】一実施形態による、学習コンテンツとは別個に保持される命令または規則を実行する暗示的評価フレームワークを示す概念図である。
【図５】一実施形態による、コード・スニペットとして挿入されたチェックポイント命令またはチェックポイント規則を有する学習コンテンツを示す概念図である。
【図６】一実施形態による、暗示的評価のためのフレームワークにおけるデータフローを示す図である。
【図７】一実施形態による、チェックポイント規則の作成を示す概念図である。
【図８】一実施形態による、学習コンテンツのプレゼンテーション中に生徒の観察に基づいて生徒の暗示的評価を実行するためのプロセスを示す概念図である。
【図９】本開示の例示的な実施形態によるデータ処理システムの構成要素を示すブロック図である。
【発明を実施するための形態】
【００１２】
以下の詳細な説明において、多数の特定の詳細が、関係のある教示の徹底的な理解をもたらすべく、例として提示される。しかし、本教示は、そのような詳細なしに実施されてもよいことが明白であろう。その他、よく知られた方法、手続き、構成要素、または回路、あるいはその組合せは、本教示の態様を不必要に不明瞭にするのを回避すべく、詳細なしに、比較的高レベルで説明されている。
【００１３】
形式的評価（試験、クイズ、多肢選択問題、その他）は、学生に形式的問題を出すことによって学習コンテンツの学生の理解を評価する。多くの人々は、形式的評価モデルは、形式的問題が、しばしば、認知過負荷およびストレスにつながり、不正確な評価につながり得るため、子供の学習プロセスにおける子供の理解を評価するのに不十分であると信じる。他方、暗示的評価は、明示的問題を出すことなしに学習コンテンツの学生の理解を評価する。暗示的評価は、有効な評価のために一次データ・ソースとしてユーザ行動の観察および分析に依拠する。
【００１４】
以下が、暗示的評価の例を提供する。特定の学習コンテンツが子供に提示される。子供は、特定の学習コンテンツを見て、タッチまたは音声、あるいはその両方を介して学習コンテンツと対話する。暗示的評価システムが、学習コンテンツのプレゼンテーション中に子供の行動を観察し、かつ子供がほほ笑んだかどうか、およびいつほほ笑んだか、子供がディスプレイ画面に触れたかどうか、およびいつ触れたか、ならびに子供がいつ、どちらの方向を注視したかなどの、観察される行動を分析することによって子供の理解を評価する。
【００１５】
本開示の一部の実施形態は、暗示的評価を実行するためのフレームワークを提供する。フレームワークは、学習コンテンツにおけるチェックポイントを、チェックポイントにおいて観察されるユーザ行動を評価する評価命令に関連付けることによって、学習コンテンツを評価ロジックから切り離す。具体的には、フレームワークは、コンテンツ・プロバイダから学習コンテンツを受信し、学習コンテンツは、学習コンテンツの異なる段階（または異なるタイムスロット、ポーション、もしくは部分）においてチェックポイントを有する。フレームワークは、評価命令（またはチェックポイント規則）を学習コンテンツの各チェックポイントに関連付ける。フレームワークは、受信された学習コンテンツを、生徒に対するプレゼンテーションのためにレンダリングし、かつ学習コンテンツのプレゼンテーション中に生徒の行動をキャプチャする。システムは、学習プレゼンテーションのレンダリング中に遭遇したそれぞれのチェックポイントにおいて生徒の評価を実行する。チェックポイントを有する学習コンテンツの部分がレンダリングされたとき、フレームワークは、チェックポイントの関連付けられた評価命令により、キャプチャされたユーザ行動を評価する。チェックポイントにおける評価は、キャプチャされた行動に基づいてスコアを割り当てるべくチェックポイントの関連付けられた評価命令を使用することを含む。次に、システムは、遭遇したチェックポイントにおいて実行された評価に基づいて全体的な評価を生成する。
【００１６】
図１は、暗示的評価フレームワーク１００（導き出される評価のためのフレームワーク、またはＦＤＡ（framework for derived assessment）としても知られる）を実装するコンピューティング・デバイス１０５を示す。フレームワークは、チェックポイントを有する学習コンテンツを受信し、かつ学習コンテンツのチェックポイントに評価命令を関連付ける。フレームワークは、プレゼンテーションのために学習コンテンツをレンダリングし、プレゼンテーション中に生徒行動をキャプチャし、かつキャプチャされた行動に基づいて生徒の評価を実行すべくチェックポイントにおいて評価命令を実行する。
【００１７】
例示されるとおり、フレームワーク１００は、学習コンテンツ１１０、チェックポイント規則１２０、および学生プロファイル１３０を受信する。また、フレームワークは、評価結果または評価結果１９５を生成する。フレームワークを実装するコンピューティング・デバイス１０５は、プレゼンテーション・デバイス１４０と、ユーザ入力デバイス１５０と、センサ・デバイス１６０とを備える。図示されないものの、コンピューティング・デバイス１０５は、ストレージ・デバイス・インターフェースおよびネットワーク・インターフェースなどの、データを受信するため、および配信するための通信デバイスも備える。
【００１８】
プレゼンテーション・デバイス１４０は、生徒に学習コンテンツを提示することを目的とする。プレゼンテーション・デバイス１４０は、ビデオ出力デバイス、オーディオ出力デバイス、またはその他のタイプの知覚プレゼンテーション・デバイス、あるいはその組合せを含んでよい。キーストロークを受け取るためのキーボード、選択（クリック）を受け取るためのボタン、タッチ・ジェスチャを受け取るためのタッチスクリーン、または他のタイプのユーザ入力を受け取るための他のタイプのユーザ入力デバイスなどのユーザ入力デバイス１５０は、ユーザ入力を受け取ることを目的とする。顔の表情、視線、手のジェスチャをキャプチャするためのカメラ、音をキャプチャするためのマイクロフォン、タッチ・ジェスチャをキャプチャするためのタッチスクリーン、その他などのセンサ・デバイス１６０は、学習コンテンツのプレゼンテーション中にユーザ行動を受け取ること、知覚すること、または観察することを目的とする。
【００１９】
学習コンテンツ１１０は、生徒に提示される材料である。学習コンテンツは、ビデオ、オーディオ、電子書籍、対話型ゲーム、または他のタイプのマルチメディア・プレゼンテーションを含む、異なる多くの可能な形態であり得る。学習コンテンツは、一般に、コンテンツ・プロバイダ（例えば、出版社またはソフトウェア開発業者）によって提供され、フレームワーク１００によっては生成されない。一部の実施形態において、学習コンテンツは、学習コンテンツ・レンダリング・アプリケーション、すなわち、１つまたは複数の処理ユニット（例えば、プロセッサ）において実行されたとき、生徒に対するプレゼンテーションのために学習コンテンツをレンダリングするソフトウェア・プログラムの形態でフレームワーク１００に配信される。一部の実施形態において、フレームワーク１００は、学習コンテンツをレンダリングするためのアプリケーションを含む。
【００２０】
チェックポイント規則１２０は、学習コンテンツのプレゼンテーション中のフレームワークとの生徒の対話、および生徒の行動に基づいて生徒を暗示的に評価するための規則を記憶する。学習コンテンツ１１０は、コンテンツ・プロバイダによってインストールされるチェックポイントをポピュレートされる。各チェックポイントは、学習コンテンツのプレゼンテーションにおける特定の箇所（例えば、段階、状態、タイムスロット、または遷移）に関連付けられる。一部の実施形態において、各チェックポイントは、学習コンテンツ・データの対応する部分に埋め込まれる。チェックポイントを有する学習コンテンツの部分がレンダリングされ、提示されるとき（すなわち、チェックポイントに遭遇したとき）、フレームワーク１００は、そのチェックポイントに関連付けられた規則または命令に基づいて、アクションのセットを実行する。言い換えると、フレームワークは、各チェックポイントを、学習コンテンツの対応する部分がレンダリングされるときに実行されるべきチェックポイント規則のセットを備えるように構成する。
【００２１】
学生プロファイル１３０は、生徒ユーザについての特徴を記憶する。一部の実施形態において、フレームワーク１００は、学習コンテンツの理解の生徒のレベルを評価すべくチェックポイント規則１２０を使用するとき、生徒のプロファイルにおける生徒の特徴を考慮に入れる。
【００２２】
図２〜図３は、チェックポイントと学習コンテンツとの間の関係を概念的に示す。図２は、学習コンテンツ１１０の例示的なタイムライン２１０を示す。タイムライン２１０によれば、学習コンテンツ・レンダリング・アプリケーション（またはフレームワーク１００）が、学習コンテンツのプレゼンテーション中にチェックポイントＴ１、Ｔ２、Ｔ３、およびＴ４に遭遇する。学習コンテンツのプレゼンテーションは、チェックポイントＴ１〜Ｔ４のそれぞれが学習コンテンツの特定のタイムスロットに関連付けられるように直線的（映画のように）であってよい。例示的なタイムライン２１０によれば、チェックポイントＴ１は、時刻４０に関連付けられ、チェックポイントＴ２は、時刻１４０に関連付けられ、チェックポイントＴ３は、時刻２８０に関連付けられ、かつチェックポイントＴ４は、時刻３３５に関連付けられる。レンダリング・アプリケーションは、アプリケーションが、チェックポイントに関連付けられた学習コンテンツにおけるタイムスロットをレンダリングするとき、チェックポイントに遭遇する。例えば、レンダリング・アプリケーションは、アプリケーションが、再生時刻４０における学習コンテンツをレンダリングしているとき、チェックポイントＴ１に遭遇する。
【００２３】
学習コンテンツ１１０のプレゼンテーションは、対話型であってよく、かつユーザ入力に基づいて、状態またはシナリオの異なるシーケンスを通ってよい。このタイプの学習コンテンツに関するチェックポイントは、特定の再生時刻ではなく、状態または状態遷移に関連付けられてよい。図３は、学習コンテンツの簡略化された状態図２２０を示す。状態図によれば、学習コンテンツは、状態Ａ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆ、およびＧの間で遷移する。チェックポイントＴ１は、状態Ａに関連付けられ、チェックポイントＴ２は、状態Ａから状態Ｃへの遷移に関連付けられ、チェックポイントＴ３は、状態Ｄと状態Ｆとの間の遷移に関連付けられ、チェックポイントＴ４は、状態Ｅに関連付けられる。レンダリング・アプリケーションは、アプリケーションが、チェックポイントに関連付けられた学習コンテンツにおける状態または状態遷移をレンダリングするとき、チェックポイントに遭遇する。例えば、レンダリング・アプリケーションは、実際の再生時刻にかかわらず、学習コンテンツの状態Ａをレンダリングするとき、チェックポイントＴ１に遭遇し、状態Ａから状態Ｃへの遷移をレンダリングするとき、チェックポイントＴ２に遭遇する。
【００２４】
図１に戻ると、チェックポイント規則１２０が、学習コンテンツ１１０のチェックポイントに関連付けられた規則または命令を提供する。一部の実施形態において、フレームワーク１００は、学習コンテンツとは別個に保持されるチェックポイント規則またはチェックポイント命令、あるいはその両方を保持し、かつフレームワークは、対応する学習コンテンツ段階のレンダリング中に対応するチェックポイントに遭遇したとき、チェックポイント規則またはチェックポイント命令、あるいはその両方を実行する。一部の実施形態において、チェックポイント規則またはチェックポイント命令、あるいはその両方のうちのいくつかは、対応するチェックポイントにおいて学習コンテンツにコード・スニペットとして挿入され、かつ挿入されたスニペットは、学習コンテンツ・レンダリング・アプリケーションによって学習コンテンツの一部であるものとして実行される。
【００２５】
図４は、学習コンテンツとは別個に保持される命令または規則を実行する暗示的評価フレームワークを概念的に示す。図示されるとおり、フレームワーク１００は、プレゼンテーションのために学習コンテンツ１１０をレンダリングする学習コンテンツ・レンダリング・アプリケーション１１５を実行している。レンダリングされている学習コンテンツは、内部にチェックポイントがインストールされており、レンダリング・アプリケーションは、遭遇したチェックポイントをフレームワーク１００に報告する。次いで、フレームワーク１００は、遭遇したチェックポイントに関連付けられた命令を実行のためにチェックポイント規則ストレージ１２０からフェッチする。
【００２６】
図５は、コード・スニペットとして挿入されたチェックポイント命令またはチェックポイント規則を有する学習コンテンツを概念的に示す。図示されるとおり、学習コンテンツ１１０は、少なくとも段階１ないし４を含む（各段階は、学習コンテンツのタイムスロット、再生時刻、または状態に対応してよい）。学習コンテンツ１１０の段階１は、チェックポイントＴ１を有し、かつチェックポイントＴ１のための挿入されたコード・スニペット４１１を含む。学習コンテンツ１１０の段階２は、チェックポイントＴ２を有し、かつチェックポイントＴ２のための挿入されたコード・スニペット４１２を含む。学習コンテンツ１１０の段階３は、チェックポイントＴ３を有し、かつチェックポイントＴ３のための挿入されたコード・スニペット４１３を含む。以下同様である。このため、例えば、学習コンテンツ・レンダリング・アプリケーション１１５が、学習コンテンツの段階２をレンダリングするとき、アプリケーション１１５は、コード・スニペット４１２にインストールされたチェックポイントＴ２の命令を実行することもする。（図示されないものの、学習コンテンツのいくつかの段階は、挿入されたコード・スニペットを有さないようにチェックポイントを有さなくてよい。）
【００２７】
チェックポイントに関連付けられたチェックポイント規則は、生徒行動対話を、そのチェックポイントにおいてレンダリングされる学習コンテンツと関係付ける。具体的には、チェックポイント規則は、センサ・デバイス１６０を介して、またはユーザ入力デバイス１５０を介して観察される生徒行動対話（例えば、顔の表情、手のジェスチャ、タッチ対話、視線、音声、および情動パラメータ）を様々なレベルの理解（例えば、習得した、平均、または劣悪）にマップする。チェックポイント規則の一部の例は、以下を含む。すなわち、
生徒がコンテンツを習得している場合、生徒は、５秒未満で応答ボタンをクリックする。
生徒がコンテンツを理解している場合、生徒は、時刻Ｔ２においてほほ笑む。
生徒がコンテンツを理解しない場合、生徒は、応答しない、または長い遅延の後に応答する。
【００２８】
一部の実施形態において、チェックポイント規則のうちの少なくともいくつかは、宣言型言語（宣言型言語ベースの規則表現）で書かれる。宣言型言語で書かれたプログラムは、実行されるべきコマンドもステップも明示的にリストアップすることなしに、プログラムの所望される結果を記述する。一部の実施形態において、フレームワークは、宣言型言語で書かれたチェックポイント規則を解釈して、生徒の行動および対話を分析することによって生徒の評価を実行する命令にする。前段にリストアップされる例示的なチェックポイント規則は、宣言型言語で書かれている。一部の実施形態において、フレームワーク１００は、宣言型言語で書かれたチェックポイント規則を、コンピューティング・デバイス１０５の物理的ハードウェアによって実行されるべき実際の計算操作に変換するインタープリタまたはコンパイラを提供する。
【００２９】
前述したとおり、チェックポイント規則は、学習コンテンツがレンダリングされる間に実行される命令を含む。一部の実施形態において、生徒行動が（ユーザ入力デバイス１５０およびセンサ・デバイス１６０から）、メタデータとして継続的にキャプチャされ、かつ計測ライブラリに記憶される一方で、チェックポイント規則は、対応するチェックポイントに遭遇したときにはいつでも、評価結果を生成するように実行される。すべての生徒対話および生徒行動が常時、利用可能であるわけではないので、チェックポイント規則は、可能なすべての対話と、より早期にキャプチャされ、かつ計測ライブラリに記憶されているキャプチャされた行動の組合せとして定義される。フレームワークは、ライブラリに記憶された利用可能なデータに基づいてスコアを導き出すべくチェックポイントにおける規則を日和見的に実行する。言い換えると、各チェックポイントにおいて、フレームワークは、チェックポイントに遭遇した時点までに行われている生徒の観察（すなわち、キャプチャされた行動およびユーザ対話）に基づいて評価操作を実行する。
【００３０】
例えば、「生徒がコンテンツを理解している場合、生徒は、時刻Ｔ２においてほほ笑む」という規則を解釈するとき、フレームワークは、時刻Ｔ２における生徒によるほほ笑みを示すキャプチャされた顔の表情がないか計測ライブラリを調べることによって、生徒が学習コンテンツを理解したかどうかを評価する。同様に、「生徒がコンテンツを習得している場合、生徒は、５秒未満で応答ボタンをクリックする」という規則を解釈するとき、フレームワークは、応答ボタンのプレゼンテーションから５秒内のボタン・クリックの記録がないか計測ライブラリを調べることによって、生徒が学習コンテンツを理解したかどうかを評価する。
【００３１】
図６は、暗示的評価のためのフレームワークにおけるデータフローを示す。具体的には、この図は、生徒の行動をキャプチャするため、およびキャプチャされた行動に基づいて生徒の理解を評価するためのフレームワーク１００におけるデータフローを示す。図示されるとおり、フレームワーク１００は、学習コンテンツ１１０と、学習コンテンツ・レンダリング・アプリケーション１１５と、チェックポイント規則１２０と、行動キャプチャ・モジュール１２５と、計測ライブラリ１３５と、評価モジュール１９０とを含む。一部の実施形態において、モジュール１１０、１１５、１２０、１２５、１３５、および１９０は、電子装置（例えば、コンピューティング・デバイス１０５）の１つまたは複数の集積回路（ＩＣ）によって実装されるハードウェア回路のモジュールである。モジュール１１０、１１５、１２０、１２５、１３５、および１９０は、別々のモジュールであるものとして図示されるものの、モジュールのいくつかは、組み合わされて単一のモジュールにされ得る。例えば、計測ライブラリ１３５の機能は、評価モジュール１９０にマージされ得る。
【００３２】
図示されるとおり、フレームワーク１００は、学習コンテンツ・レンダリング・アプリケーション１１５を動作させている。レンダリング・アプリケーション１１５は、学習コンテンツ１１０をレンダリングし、かつレンダリングされたコンテンツを、プレゼンテーション・デバイス１４０を介して生徒に提示する。行動キャプチャ・モジュール１２５は、ユーザ入力デバイス１５０およびセンサ・デバイス１６０を介して、学習コンテンツとの生徒の対話、および生徒の行動をキャプチャする。キャプチャされた行動のメタデータは、計測ライブラリ１３５に記憶される。一部の実施形態において、行動キャプチャ・モジュール１２５は、センサ・デバイス１６０およびユーザ入力デバイス１５０によってキャプチャされる入力を特定の行動として特徴付ける（例えば、ビデオ、オーディオ、またはその他のユーザ入力、あるいはその組合せに対して画像認識、音声認識、またはパターン認識、あるいはその組合せを実行することによって）。次いで、特徴付けられた行動は、メタデータとして計測ライブラリ１３５に記憶される。一部の実施形態において、計測ライブラリは、レンダリングされている学習コンテンツの段階または再生時刻を示すためのメタデータを記憶することもする。
【００３３】
評価モジュール１９０は、レンダリング・アプリケーションからの入力、または計測ライブラリに記憶されたメタデータ、あるいはその両方に基づいて生徒の評価を実行する。評価モジュール１９０によって実行される評価は、１３０に記憶された生徒のプロファイルにさらに基づく。学習コンテンツは、チェックポイントＴ１、Ｔ２、Ｔ３、およびＴ４において生徒を評価するための挿入されたコード・スニペット（チェックポイント規則１２０から導き出された）を有してよい。これらの場合において、レンダリング・アプリケーション１１５は、アプリケーション１１５がチェックポイントＴ１〜Ｔ４に遭遇したとき、コード・スニペットを実行する。実行されるコード・スニペットは、レンダリング・アプリケーション１１５に、計測ライブラリ１３５に記憶されたメタデータに基づいて評価を実行させる。評価の結果は、評価モジュール１９０に転送される。代替として、評価モジュール１９０が、キャプチャされた行動メタデータを計測ライブラリ１３５から取り出し、かつチェックポイントＴ１〜Ｔ４のチェックポイント規則に基づいて評価を実行する。
【００３４】
暗示的評価フレームワーク１００は、各チェックポイントに関連付けられた規則に基づいて計測ライブラリ１３５に記憶されたメタデータを読み取ることによって、各チェックポイントにおけるキャプチャされた行動の評価スコアを生成する（評価モジュール１９０において）。一部の実施形態において、遭遇した各チェックポイントのチェックポイント規則は、キャプチャされた行動を数値評価スコアに分類する。次に、フレームワーク１００は、最終の評価スコアを導き出すべく各チェックポイントからの評価スコアを集計する。具体的には、フレームワークは、全体的な評価スコアを、各チェックポイントからのスコアの重み付けされた算術平均として計算する。
【００３５】
一部の実施形態において、各チェックポイントのスコアは、優先度重みおよび確信度重みにより重み付けされる。チェックポイントの優先度重みは、他のチェックポイントにおいて行われた観察と比較してそのチェックポイントにおいて行われた観察に割り当てられた重みである。言い換えると、第１のチェックポイントにおいて行われた観察に基づく評価スコアは、最終の集計された評価に関して、第２のチェックポイントにおいて行われた観察に基づく評価スコアと比べて、より大きく重み付けされ得る。観察の確信度重みは、チェックポイントに遭遇した時点で観察をキャプチャするシステム（例えば、フレームワーク１００を実装するコンピューティング・デバイス１０５）の能力に基づく。言い換えると、確信度重みは、生徒の行動を特徴付けること、または認識することにおいてシステムがどれだけ確信しているかを意味する。例えば、キャプチャされた生徒行動が、認識された顔の表情を含むことが可能であり、それぞれの認識された顔の表情に確信度重みが割り当てられる。確信度重みは、システムが、生徒の顔の表情をほほ笑んでいる、中立である、苛立っている、その他として分類する、または認識するときにシステムが有する確信のレベルを数値的に表現する。一部の実施形態に関して、確信度重みの値は、０から１までの範囲内にある確率値である。
【００３６】
最終の評価スコア（または全体的な評価スコア）は、以下により計算される。すなわち、
ＯｖｅｒａｌｌＳｃｏｒｅ＝ΣｉＰｒｉｉ＊Ｓｃｏｒｅｉ＊Ｃｏｎｆｉ／ΣｉＷｅｉｇｈｔｉ    （式１）
ここで、「ｉ」は、各チェックポイント（例えば、Ｔ１、Ｔ２、その他）のインデックスであり、
Ｐｒｉｉは、チェックポイント「ｉ」における観察の優先度重みであり、
Ｃｏｎｆｉは、チェックポイント「ｉ」における観察の確信度重みであり、かつ
Ｓｃｏｒｅｉは、チェックポイントの規則に基づくチェックポイント「ｉ」において計算された評価スコアである。
【００３７】
一部の実施形態において、フレームワーク１００は、以下により全体的な確信度スコアを生成することもする。
ΣｉＰｒｉｉ＊Ｃｏｎｆｉ／ΣｉＰｒｉｉ    （式２）
【００３８】
次に、フレームワーク１００は、生徒の理解のレベルを判定すべく生徒の全体的な評価を定義された閾値と比較する。例えば、一部の実施形態において、生徒の全体的な評価スコアが、第１の閾値未満（例えば、０．４未満）である場合、フレームワークは、生徒が学習コンテンツを理解していないことを示す。生徒の全体的な評価スコアが、第１の閾値を超えているが、第２の閾値未満（例えば、０．４を超えているが、０．８未満）である場合、フレームワークは、生徒が学習コンテンツの平均的理解を有することを示す。生徒の全体的な評価スコアが、第２の閾値を超えている（例えば、０．８を超えている）場合、フレームワークは、生徒が学習コンテンツを習得していることを示す。
【００３９】
以下の表１〜表３は、異なる３名の生徒「Ａ」、「Ｂ」、および「Ｃ」に関する暗示的評価の例を示す。評価は、タイムスロットＴ１およびＴ２におけるチェックポイントにおいて、それらのチェックポイントに関連付けられた規則を使用して行われる観察（すなわち、キャプチャされた行動、およびユーザ対話）に基づく。表は、各チェックポイントにおけるスコアの計算、および最終の全体的な評価スコアの計算を示す。
【００４０】
【表１】
2020519931.tif 000003
【００４１】
【表２】
2020519931.tif 000004
【００４２】
【表３】
2020519931.tif 000005
【００４３】
一部の実施形態において、規則において使用される閾値は、生徒の特徴（学生プロファイル１３０によって提供される）に対して正規化される。このことは、異なる生徒が刺激に対して異なる応答を有するためである。例えば、異なる２名の生徒が、同一のシナリオを滑稽であると等しく評価することが可能であるが、一方の生徒が盛大に笑うのに対して、他方の生徒は、かろうじて笑みを浮かべるに過ぎない。表３における生徒「Ｃ」の例において、暗示的評価フレームワークは、笑いに対する生徒の閾値が非常に高いことを観察していることが可能である。このことを正規化すべく、フレームワークは、笑顔に１．０ポイントが与えられるように生徒「Ｃ」に関するチェックポイント規則を変更する。この正規化とともに、生徒「Ｃ」は、ほほ笑むことに関して、生徒「Ａ」がチェックポイントＴ１において笑うことに関して受け取るのと同一のスコアを受け取る。
【００４４】
一部の実施形態において、チェックポイント規則、およびそれらの規則に関連付けられた重みは、訓練プロセスから学習される。一部の実施形態において、コンテンツ・プロバイダが学習コンテンツを開発するとき、学習コンテンツは、様々なユーザ・プロファイルを有する生徒を対象にしてテストされる。学習コンテンツに対する完全なユーザ行動対話が実験室内設定においてキャプチャされる。教育者からの手作業の評価が、生徒の行動と一緒に記録される。これらのデータ（前述の２モデル・フィーチャ）が、ユーザ行動を理解レベルと対応させる様々な規則を、監督されない様態で学習すべく使用される。一部の実施形態において、チェックポイントの重み（すなわち、優先度重み）もやはり、収集されたユーザ行動、および対応する教育者評価に基づく訓練プロセスを使用することによって構成される、または学習される。訓練プロセスを介して学習することに加えて、コンテンツ・プロバイダまたは教育者は、チェックポイント規則、およびそれらの規則に関連付けられた重みを、ヒューリスティクスを介して作成することが可能である。
【００４５】
コンテンツ・プロバイダは、訓練セットを作成すべくデータ収集を行ってよく（例えば、生徒行動、および対応する教育者評価を記録することによって）、かつその訓練セットを使用して各チェックポイントの規則および重みを導き出してよい。また、教育者ユーザが、チェックポイントに関連付けられるべき独自のチェックポイント規則を作成してもよい。
【００４６】
図７は、チェックポイント規則の作成を概念的に示す。この例において、学習コンテンツに関するコンテンツ・プロバイダは、生徒Ｗ、Ｘ、Ｙ、およびＺを含む、数名の生徒を対象にしてテスト・プレゼンテーションを行う。テスト・プレゼンテーション中の生徒の行動、応答、および対話が、対応する教育者評価と一緒に、生徒Ｗ、Ｘ、Ｙ、およびＺそれぞれに関する収集されたデータ６０１〜６０４としてキャプチャされる。
【００４７】
図示されるとおり、生徒に関する収集されたデータのセット（例えば、生徒Ｘに関する収集されたデータ６０２）は、学習コンテンツのテスト・プレゼンテーション中の生徒のオーディオ記録６１１と、学習コンテンツのテスト・プレゼンテーション中の生徒のビデオ記録６１２と、テスト・プレゼンテーション中のユーザ入力のログ６１３とを含んでよい。一部の実施形態において、ビデオ記録またはオーディオ記録、あるいはその両方は、ビデオ記録またはオーディオ記録、あるいはその両方から認識される顔の表情、手のジェスチャ、音声、視線、または他の特徴付けられた行動、あるいはその組合せの記録によって取って代わられてよく、または強化されてよい。
【００４８】
記録およびログには、認識されるすべてのアクションまたは行動が時間参照を有するようにタイムスタンプ６１４、または学習コンテンツに関する時刻もしくは状態の他の標識が付随する。生徒に関する収集されたデータは、いくつかの教師評価に関連付けられもする（またはそれらの評価を含む）。各教師評価は、学習コンテンツの段階またはタイムスロットにおける観察された行動（顔の表情、手のジェスチャ、音声、視線、タッチ、応答するクリック、その他）を評価スコアもしくは理解の評価されるレベルまたはその両方、または重み（優先度重みもしくは確信度重み）、あるいはその両方に結び付けるステートメントである。一部の実施形態において、生徒に関する収集されたデータは、生徒のプロファイルも含む。
【００４９】
様々な生徒の収集されたデータ（生徒Ｗ、Ｘ、Ｙ、およびＺそれぞれに関する収集されたデータ６０１〜６０４を含む）は、収集されたデータを、学習コンテンツにおけるチェックポイントを決定し、かつ各チェックポイントに関する評価規則を合成する訓練セットとして使用するための１つまたは複数の処理ユニット（例えば、プロセッサ）を有する、機械学習システム６５０にサブミットされる。これらの規則は、導き出される評価のためのフレームワーク１００にチェックポイント規則１２０として提供される。管理者またはフレームワーク１００は、チェックポイント規則１２０に対してさらなる編集および追加を行ってよい（「手作業で作成される規則」６２０として図示される）。
【００５０】
図８は、生徒の暗示的評価を、学習コンテンツのプレゼンテーション中の生徒の観察に基づいて実行するためのプロセス７００を概念的に示す。具体的には、学習コンテンツは、生徒のキャプチャされた行動に基づいて生徒を評価するための規則または命令に関連付けられたチェックポイントを有する。一部の実施形態において、導き出される評価のためのフレームワーク１００を実装するコンピューティング・デバイス（例えば、コンピューティング・デバイス１０５）の１つまたは複数の処理ユニット（例えば、プロセッサ）が、プロセス７００を実行する。
【００５１】
プロセス７００は、フレームワークが、コンテンツ・プロバイダから学習コンテンツを受信したときに始まり（７１０において）、学習コンテンツは、学習コンテンツの異なる段階（または部分、タイムスロット、ポーション）においてチェックポイントを有する。次に、フレームワークは、受信された学習コンテンツの各チェックポイントに評価命令（すなわち、チェックポイント規則）を関連付ける（７２０において）。
【００５２】
フレームワークは、受信された学習コンテンツを、生徒に対するプレゼンテーションのためにレンダリングし（７３０において）、かつ学習コンテンツに対する生徒の行動および対話をキャプチャする。一部の実施形態において、キャプチャされた行動および対話のメタデータが、計測ライブラリに記憶される。チェックポイントを有する学習コンテンツのポーションがレンダリングされたとき（すなわち、学習コンテンツ・レンダリング・アプリケーションがチェックポイントに遭遇したとき）、フレームワークは、チェックポイントの関連付けられた評価命令により、キャプチャされたユーザ行動に基づいて生徒の評価を実行する。一部の実施形態において、チェックポイントにおける評価は、チェックポイント・スコアを生成する。前出の表１、表２、および表３が、チェックポイント・スコアを計算することの例を提供する。
【００５３】
フレームワークは、学習コンテンツのプレゼンテーションが完了したかどうかを判定する（７４５において）。学習コンテンツのプレゼンテーションが完了している場合、プロセスは、７５０に進む。完了していない場合、プロセスは、学習コンテンツをさらにレンダリングし、かつ提示すべく７３０に戻る。
【００５４】
７５０において、フレームワークが、チェックポイントの関連付けられた規則に基づいて、遭遇したチェックポイントにおいて実行された評価からのチェックポイント・スコアを集計することによって最終の評価スコアを生成する。一部の実施形態において、最終の評価スコアは、生徒の理解のレベルを分類する。その後、プロセス７００は、終了する。式１および式２、ならびに表１、表２、および表３は、チェックポイント・スコアを集計することによってどのように最終の全体的な評価スコアに到達すべきかを説明する。
【００５５】
例示的な電子システム
この応用例は、任意の可能な技術的詳細の統合レベルにおけるシステム、方法、またはコンピュータ・プログラム製品、あるいはその組合せであってよい。コンピュータ・プログラム製品は、プロセッサに本開示の態様を実行させるためのコンピュータ可読プログラム命令を有する１つの（または複数の）コンピュータ可読記憶媒体を含んでよい。
【００５６】
コンピュータ可読記憶媒体は、命令実行デバイスによって使用されるように命令を保持し、かつ記憶することが可能な有形のデバイスであり得る。コンピュータ可読記憶媒体は、例えば、電子ストレージ・デバイス、磁気ストレージ・デバイス、光ストレージ・デバイス、電磁ストレージ・デバイス、半導体ストレージ・デバイス、または以上の任意の適切な組合せであってよいが、これらには限定されない。コンピュータ可読記憶媒体のより具体的な例の網羅的でないリストは、以下、すなわち、ポータブル・コンピュータ・ディスケット、ハードディスク、ランダム・アクセス・メモリ（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）、消去可能なプログラマブル読取り専用メモリ（ＥＰＲＯＭもしくはフラッシュ・メモリ）、スタティック・ランダム・アクセス・メモリ（ＳＲＡＭ）、ポータブル・コンパクト・ディスク読取り専用メモリ（ＣＤ−ＲＯＭ）、デジタル・バーサタイル・ディスク（ＤＶＤ）、メモリ・スティック、フロッピ・ディスク、パンチカード、もしくは命令が記録されている溝の中の隆起構造などの機械的に符号化されたデバイス、および以上の任意の適切な組合せを含む。本明細書において使用されるコンピュータ可読記憶媒体は、電波もしくは他の自由に伝播する電磁波、導波路もしくは他の伝送媒体を伝播する電磁波（例えば、光ファイバ・ケーブルを通過する光パルス）、または配線を通して伝送される電気信号などの、一過性の信号自体であると解釈されるべきではない。
【００５７】
本明細書において説明されるコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体からそれぞれのコンピューティング／処理デバイスにダウンロードされること、またはネットワーク、例えば、インターネット、ローカル・エリア・ネットワーク、ワイド・エリア・ネットワーク、または無線ネットワーク、あるいはその組合せを介して外部コンピュータもしくは外部ストレージ・デバイスにダウンロードされることが可能である。ネットワークは、銅伝送ケーブル、伝送光ファイバ、無線伝送、ルータ、ファイアウォール、スイッチ、ゲートウェイ・コンピュータ、またはエッジ・サーバ、あるいはその組合せを含み得る。各コンピューティング／処理デバイスにおけるネットワーク・アダプタ・カードまたはネットワーク・インターフェースが、ネットワークからコンピュータ可読プログラム命令を受信し、そのコンピュータ可読プログラム命令を、それぞれのコンピューティング／処理デバイス内のコンピュータ可読記憶媒体に記憶するために転送する。本開示の動作を実行するためのコンピュータ可読プログラム命令は、アセンブラ命令、命令セット・アーキテクチャ（ＩＳＡ）命令、機械命令、機械依存命令、マイクロコード、ファームウェア命令、状態設定データ、集積回路のための構成データ、またはＳｍａｌｌｔａｌｋ（Ｒ）、Ｃ＋＋、もしくは類似したものなどのオブジェクト指向プログラミング言語、および「Ｃ」プログラミング言語もしくは類似したプログラミング言語などの手続き型プログラミング言語を含め、１つまたは複数のプログラミング言語の任意の組合せで書かれたソース・コードもしくはオブジェクト・コードであってよい。コンピュータ可読プログラム命令は、完全にユーザのコンピュータ上で、部分的にユーザのコンピュータ上で、スタンドアロンのソフトウェア・パッケージとして、部分的にユーザのコンピュータ上で、かつ部分的に遠隔コンピュータ上で、または完全に遠隔コンピュータもしくは遠隔サーバの上で実行され得る。完全に遠隔コンピュータもしくは遠隔サーバの上で実行されるシナリオにおいて、遠隔コンピュータは、ローカル・エリア・ネットワーク（ＬＡＮ）もしくはワイド・エリア・ネットワーク（ＷＡＮ）を含む、任意のタイプのネットワークを介してユーザのコンピュータに接続されてよく、または接続は、外部コンピュータに対して行われてよい（例えば、インターネット・サービス・プロバイダを利用してインターネットを介して）。一部の実施形態において、例えば、プログラマブル論理回路、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、またはプログラマブル・ロジック・アレイ（ＰＬＡ）を含む電子回路が、コンピュータ可読プログラム命令の状態情報を利用することによってコンピュータ可読プログラム命令を実行して、本発明の態様を実行するためにその電子回路を個人設定することが可能である。
【００５８】
本発明の態様は、本開示の実施形態による方法、装置（システム）、およびコンピュータ・プログラム製品のフローチャート例示またはブロック図、あるいはその両方を参照して本明細書において説明される。フローチャート例示またはブロック図、あるいはその両方の各ブロック、ならびにフローチャート例示またはブロック図、あるいはその両方におけるブロックの組合せは、コンピュータ可読プログラム命令によって実装され得ることが理解されよう。これらのコンピュータ可読プログラム命令は、コンピュータまたは他のプログラマブル・データ処理装置のプロセッサを介して実行される命令が、フローチャートまたはブロック図、あるいはその両方の１つまたは複数のブロックにおいて指定される機能／動作を実施するための手段を作り出すべく、汎用コンピュータ、専用コンピュータ、または他のプログラマブル・データ処理装置のプロセッサに提供されて機械を作り出すものであってよい。また、これらのコンピュータ可読プログラム命令は、命令を記憶しているコンピュータ可読記憶媒体が、フローチャートまたはブロック図、あるいはその両方の１つまたは複数のブロックにおいて指定される機能／動作の態様を実施する命令を含む製品を備えるべく、コンピュータ可読記憶媒体に記憶されて、コンピュータ、プログラマブル・データ処理装置、または他のデバイス、あるいはその組合せに特定の様態で機能するように指示するものであってもよい。
【００５９】
また、コンピュータ可読プログラム命令は、コンピュータ、他のプログラマブル装置、または他のデバイスの上で実行される命令が、フローチャートまたはブロック図、あるいはその両方の１つまたは複数のブロックにおいて指定される機能／動作を実施するように、コンピュータによって実行されるプロセスを作り出すべく、コンピュータ、他のプログラマブル・データ処理装置、または他のデバイスにロードされて、コンピュータ、他のプログラマブル装置、または他のデバイスの上で一連の動作ステップを実行させるものであってもよい。図（例えば、図８）におけるフローチャートおよびブロック図は、本開示の様々な実施形態によるシステム、方法、およびコンピュータ・プログラム製品の可能な実装形態のアーキテクチャ、機能、および動作を示す。これに関して、フローチャートまたはブロック図における各ブロックは、指定された論理機能を実施するための１つまたは複数の実行可能命令を含む、命令のモジュール、セグメント、または部分を表し得る。一部の代替の実装形態において、ブロックに記載される機能は、図に記載される順序を外れて生じてよい。例えば、連続して示される２つのブロックが、実際には、実質的に同時に実行されてよく、またはそれらのブロックが、関与する機能に依存して、ときとして、逆の順序で実行されてよい。また、ブロック図またはフローチャート例示、あるいはその両方の各ブロック、ならびにブロック図またはフローチャート例示、あるいはその両方におけるブロックの組合せは、指定された機能もしくは動作を実行する、または専用ハードウェア命令とコンピュータ命令の組合せを実行する専用ハードウェア・ベースのシステムによって実装され得ることにも留意されたい。
【００６０】
図９は、本開示の例示的な実施形態による学習コンテンツの生徒の理解のレベルを暗示的に評価するためのシステム（すなわち、導き出される評価のためのフレームワーク１００）を実装するのに使用され得るデータ処理システム８００および８５０の構成要素のブロック図を示す。図９は、一実装形態の例示を提供するに過ぎず、様々な実施形態が実施され得る環境に関して何ら限定を暗示するものではないことを認識されたい。図示される環境の多くの変更が、設計上および実施上の要件に基づいて行われてよい。
【００６１】
データ処理システム８００および８５０は、機械可読プログラム命令を実行することができる任意の電子デバイスを代表する。データ処理システム８００および８５０は、スマートフォン、コンピュータ・システム、ＰＤＡ、または他の電子デバイスを代表してよい。データ処理システム８００および８５０によって表され得るコンピューティング・システム、環境、または構成、あるいはその組合せの例は、パーソナル・コンピュータ・システム、サーバ・コンピュータ・システム、シン・クライアント、シック・クライアント、ハンドヘルド・デバイスもしくはラップトップ・デバイス、マルチプロセッサ・システム、マイクロプロセッサ・ベースのシステム、ネットワークＰＣ、ミニコンピュータ・システム、ならびに前述のシステムもしくはデバイスのいずれかを含む分散型クラウド・コンピューティング環境を含むが、これらには限定されない。
【００６２】
データ処理システム８００および８５０は、図９に示される内部構成要素のセット８００と、外部構成要素のセット８５０とを含み得る。内部構成要素のセット８００は、１つまたは複数のバス８２６上の１つまたは複数のプロセッサ８２０、１つまたは複数のコンピュータ可読ＲＡＭ８２２、および１つまたは複数のコンピュータ可読ＲＯＭ８２４、ならびに１つまたは複数のオペレーティング・システム８２８、および１つまたは複数のコンピュータ可読の有形のストレージ・デバイス８３０を含む。１つまたは複数のオペレーティング・システム８２８、およびプロセス７００を実行するためのプログラムなどのプログラムが、１つまたは複数のＲＡＭ８２２（通常、キャッシュ・メモリを含む）を介して１つまたは複数のプロセッサ８２０によって実行されるように１つまたは複数のコンピュータ可読の有形のストレージ・デバイス８３０上に記憶される。図９に示される実施形態において、コンピュータ可読の有形のストレージ・デバイス８３０のそれぞれは、内部ハード・ドライブの磁気ディスク・ストレージ・デバイスである。代替として、コンピュータ可読の有形のストレージ・デバイス８３０のそれぞれは、ＲＯＭ８２４、ＥＰＲＯＭ、フラッシュ・メモリなどの半導体ストレージ・デバイス、あるいはコンピュータ・プログラムおよびデジタル情報を記憶することができる他の任意のコンピュータ可読の有形のストレージ・デバイスである。
【００６３】
また、内部構成要素のセット８００は、ＣＤ−ＲＯＭ、ＤＶＤ、メモリ・スティック、磁気テープ、磁気ディスク、光ディスク、または半導体ストレージ・デバイスなどの１つまたは複数のポータブルのコンピュータ可読の有形のストレージ・デバイス８８６から読み取ること、および８８６に書き込むことを行うＲ／ＷドライブまたはＲ／Ｗインターフェース８３２も含む。プロセス７００を実行するための命令は、それぞれのポータブルのコンピュータ可読の有形のストレージ・デバイス８８６のうちの１つまたは複数の上に記憶され、それぞれのＲ／ＷドライブまたはＲ／Ｗインターフェース８３２を介して読み取られ、かつそれぞれのハード・ドライブ８３０にロードされることが可能である。
【００６４】
また、内部構成要素のセット８００は、ＴＣＰ／ＩＰアダプタ・カード、無線Ｗｉ−Ｆｉインターフェース・カード、または３Ｇもしくは４Ｇの無線インターフェースなどのネットワーク・アダプタ（もしくはスイッチ・ポート・カード）またはネットワーク・インターフェース８３６、あるいは他の有線通信リンクまたは無線通信リンクも含んでよい。前述したプロセスまたはプログラムの命令は、ネットワーク（例えば、インターネット、ローカル・エリア・ネットワーク、または他のワイド・エリア・ネットワーク）およびそれぞれのネットワーク・アダプタもしくはネットワーク・インターフェース８３６を介して外部コンピュータ（例えば、サーバ）からダウンロードされ得る。ネットワーク・アダプタ（もしくはスイッチ・ポート・アダプタ）またはネットワーク・インターフェース８３６から、前述のプログラムまたはプロセスの命令およびデータは、それぞれのハード・ドライブ８３０にロードされる。ネットワークは、銅線、光ファイバ、無線伝送、ルータ、ファイアウォール、スイッチ、ゲートウェイ・コンピュータ、またはエッジ・サーバ、あるいはその組合せを備えてよい。
【００６５】
外部構成要素のセット８５０は、コンピュータ・ディスプレイ・モニタ８７０と、キーボード８８０と、コンピュータ・マウス８８４とを含み得る。また、外部構成要素のセット８５０は、タッチスクリーンと、仮想キーボードと、タッチパッドと、ポインティング・デバイスと、他のヒューマン・インターフェース・デバイスとを含むことも可能である。内部構成要素のセット８００は、コンピュータ・ディスプレイ・モニタ９７０、キーボード８８０、およびコンピュータ・マウス８８４とインターフェースをとるデバイス・ドライバ８４０も含む。デバイス・ドライバ８４０、Ｒ／ＷドライブもしくはＲ／Ｗインターフェース８３２、およびネットワーク・アダプタもしくはネットワーク・インターフェース８３６は、ハードウェアと、ソフトウェア（ストレージ・デバイス８３０またはＲＯＭ８２４、あるいはその両方に記憶された）とを備える。
【００６６】
本開示の様々な実施形態の説明は、例示の目的で提示されてきたが、網羅的であること、または開示される実施形態に限定されることは意図していない。多くの変更および変形が、説明される実施形態の範囲および思想を逸脱することなく、当業者には明白であろう。本明細書において使用される術語は、実施形態の原理、実際的な応用、または市場で見られる技術に優る技術的改良を最もよく説明するように、または他の当業者が、本明細書において開示される実施形態を理解することを可能にするように選択されている。
【図１】
2020519931.tif 000006
【図２】
2020519931.tif 000007
【図３】
2020519931.tif 000008
【図４】
2020519931.tif 000009
【図５】
2020519931.tif 000010
【図６】
2020519931.tif 000011
【図７】
2020519931.tif 000012
【図８】
2020519931.tif 000013
【図９】
2020519931.tif 000014
【手続補正書】
【提出日】令和2年4月20日(2020.4.20)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
学習コンテンツ・データの異なる段階に埋め込まれたチェックポイントを有する前記学習コンテンツ・データを受信することと、
前記学習コンテンツ・データの前記埋め込まれたチェックポイントのそれぞれに評価命令を関連付けることと、
プロセッサにおいて、前記受信された学習コンテンツ・データを生徒に対するプレゼンテーションのためにレンダリングし、かつ前記学習コンテンツ・データの前記プレゼンテーションの最中に１つまたは複数のセンサを使用して前記生徒の行動のセットをキャプチャすることと、
前記プレゼンテーションの最中に生徒が遭遇した前記埋め込まれたチェックポイントのそれぞれにおいて前記生徒の評価を実行することであって、当該評価は、前記１つまたは複数のセンサによってキャプチャされた前記生徒の行動のセットに基づいてスコアを割り当てるために前記埋め込まれたチェックポイントに関連付けられた評価命令を使用することを備える、実行することと、
前記生徒が遭遇した複数のチェックポイントにおいてそれぞれ実行された前記評価に基づいて全体的な評価を生成することと
を備える、コンピュータによって実施される方法。
【請求項２】
前記学習コンテンツ・データの前記レンダリング中に前記プロセッサによって実行されるように前記学習コンテンツ・データに前記評価命令を注入することをさらに備える、請求項１に記載のコンピュータによって実施される方法。
【請求項３】
それぞれの埋め込まれたチェックポイントが、優先度重みに関連付けられ、かつ
前記全体的な評価を生成することは、前記埋め込まれたチェックポイントの関連付けられた優先度重みにより、それぞれの埋め込まれたチェックポイントの前記割り当てられたスコアに重み付けすることを備える、請求項１に記載のコンピュータによって実施される方法。
【請求項４】
前記学習コンテンツ・データは、少なくとも第１のチェックポイントおよび第２のチェックポイントを埋込み、かつ
前記第１のチェックポイントに関連付けられた優先度重みは、前記第２のチェックポイントに関連付けられた優先度重みより大きい、請求項３に記載のコンピュータによって実施される方法。
【請求項５】
キャプチャされた行動を特徴付け、かつ前記特徴付けられた行動に確信度重みを割り当てることをさらに備えるコンピュータによって実施される方法であって、
前記全体的な評価を生成することは、前記特徴付けられた行動の前記確信度重みに基づいて、埋め込まれたチェックポイントの前記割り当てられたスコアに重み付けすることを備える、請求項１に記載のコンピュータによって実施される方法。
【請求項６】
生徒の行動の前記キャプチャされたセットに基づいてスコアを割り当てるために前記埋め込まれたチェックポイントに関連付けられた評価命令を使用することは、前記生徒の１つまたは複数の特徴に対して正規化された閾値を使用することを備える、請求項１に記載のコンピュータによって実施される方法。
【請求項７】
宣言型言語で書かれたステートメントから前記評価命令を呼び出すことをさらに備える、請求項１に記載のコンピュータによって実施される方法。
【請求項８】
前記生徒の行動の前記キャプチャされたセットは、顔の表情、音声、ジェスチャ、視線、タッチ、および前記学習コンテンツ・データの前記プレゼンテーションとの対話を備える、請求項１に記載のコンピュータによって実施される方法。
【請求項９】
埋め込まれたチェックポイントの前記評価命令は、生徒の行動をキャプチャしたセットを数値として分類するための規則を備え、かつ
前記全体的な評価を生成することは、異なる埋め込まれたチェックポイントの前記数値を集計して全体的な評価値にすることを備える、請求項１に記載のコンピュータによって実施される方法。
【請求項１０】
処理ユニットと、
センサのセットと、
命令セットを記憶するストレージ・デバイスと
を備えるコンピューティング・デバイスであって、
前記命令セットは処理ユニットに、
学習コンテンツ・データの異なる段階に埋め込まれたチェックポイントを有する前記学習コンテンツ・データを受信することと、
前記学習コンテンツ・データの前記埋め込まれたチェックポイントのそれぞれに評価命令を関連付けることと、
前記受信された学習コンテンツ・データを生徒に対するプレゼンテーションのためにレンダリングし、かつ前記学習コンテンツ・データの前記プレゼンテーションの最中に前記センサを使用して前記生徒の行動のセットをキャプチャすることと、
前記プレゼンテーションの最中に生徒が遭遇した前記埋め込まれたチェックポイントのそれぞれにおいて前記生徒の評価を実行することであって、当該評価は、前記センサによってキャプチャされた前記生徒の行動のセットに基づいてスコアを割り当てるために前記埋め込まれたチェックポイントに関連付けられた評価命令を使用することを備える、実行することと、
前記生徒が遭遇した複数のチェックポイントにおいてそれぞれ実行された前記評価に基づいて全体的な評価を生成することと
を実行させる、コンピューティング・デバイス。
【請求項１１】
プロセッサが、
学習コンテンツ・データを受信することと、
生徒に対する前記学習コンテンツ・データのプレゼンテーション中にセンサのセットを使用してキャプチャされた行動のセットを受信することと、
生徒のキャプチャされた行動を前記学習コンテンツ・データの段階における評価スコアにそれぞれが結び付ける教師評価のセットを受信することと、
前記キャプチャされた生徒行動と前記受信された教師評価を、一連のチェックポイントを識別し、かつ一連の評価規則を導き出すための訓練セットとして使用することであって、各チェックポイントは、前記学習コンテンツ・データの段階に関連付けられ、かつ各評価規則は、前記学習コンテンツ・データのチェックポイントにおける行動のスコア付けを定義する、使用することと
を備える、コンピュータによって実施される方法。
【請求項１２】
前記キャプチャされた生徒行動と前記受信された教師評価を、各チェックポイントに関する重み付け係数を識別する訓練セットとして使用することをさらに備える、請求項１１に記載のコンピュータによって実施される方法。
【請求項１３】
キャプチャされた行動の前記セットは、前記生徒のビデオ記録およびオーディオ記録から認識された特徴付けられた行動を備える、請求項１１に記載のコンピュータによって実施される方法。
【請求項１４】
評価規則の前記導き出されるセットは、生徒行動を、教師評価の前記受信されたセットによって定義される理解レベルに結び付ける、請求項１１に記載のコンピュータによって実施される方法。
【請求項１５】
プロセッサに、請求項１ないし９、または請求項１１ないし１４のいずれか一項に記載の方法を実行させるためのコンピュータ・プログラム。
【国際調査報告】
2020519931.tif 000015
2020519931.tif 000016