(57)【要約】【課題】ユーザの学習状況を、ユーザの行動情報や生体情報から判断し、学習に用いられたコンテンツや授業内容を評価する。【解決手段】近赤外光計測装置による時系列の血流量測定結果から学習時の集中力の変遷を判断し、さらに同判断結果とユーザ行動解析（画像認識、音声認識、機器入力操作イベント）結果を統合解析することにより、ユーザのアテンションの遷移を抽出し学習状況を判断する。【効果】受講者の真の学習状況をリアルタイムに把握し、学習コンテンツや授業内容を評価することができ、さらに評価結果を次の授業に反映させ学習効果を高めることを可能にする。【選択図】  図１
2004229948.tif 000002
【特許請求の範囲】
【請求項１】
近赤外光計測装置に接続される情報処理装置で実行される学習状況判断プログラムであって、
上記情報処理装置に学習プログラムを起動するステップと、
情報取得手段を介して前記近赤外光装置からの前記情報処理装置の利用者の脳の血流量の測定情報を取得するステップと、
入力手段を介して上記利用者の前記情報処理装置に対する入力情報及び操作情報を取得するステップと、
上記学習プログラムの進行と上記測定情報及び上記入力情報と上記操作情報を
対応づけて記録手段に記憶するステップと、
上記記憶手段に記憶される情報を接続される外部装置に送出するステップとを有することを特徴とする学習状況判断プログラム。
【請求項２】
上記情報処理装置に接続されるマイク若しくはカメラの少なくとも何れかを介して上記端末利用者の音声若しくは映像情報を取得するステップをさらに有し、上記記録するステップは上記音声若しくは映像情報も記録することを特徴とする請求項１記載の学習状況判断プログラム。
【請求項３】
入力手段を介して、接続される端末で実行されたコンテンツ情報と、該端末利用者の脳の血流量情報と該利用者の該端末に対する操作情報及び入力情報を取得するステップと、
上記血流量からヘモグロビン濃度変化率を解析するステップと、
上記イベント情報と上記解析された濃度変化率から上記端末利用者の集中度を判定するステップと、
上記集中度の情報を上記コンテンツと対応づけて記憶するステップとを有することを特徴とする学習状況判断プログラム。
【請求項４】
上記集中度の情報を表示手段に表示させるステップを更に有することを特徴とする請求項３記載の学習状況判断プログラム。
【請求項５】
上記端末に接続されるマイク若しくはカメラの少なくとも何れかを介して取得された上記端末利用者の音声若しくは映像情報を取得するステップをさらに有し、
上記集中度判定ステップは、上記音声若しくは映像情報も用いることを特徴とする請求項３又は４に記載の学習状況判断プログラム。
【請求項６】
上記集中度判定ステップの結果に基づいて上記端末利用者に通知をするステップをさらに有することを特徴とする請求項３乃至５の何れかに記載の学習状況判断プログラム。
【請求項７】
上記入力情報が上記学習コンテンツに含まれる問題に対して正解か判断する解答判定手段をさらに有し、
上記判定手段は上記解答判定結果も該判定に用いることを特徴とする請求項４乃至６の何れかに記載の学習状況判断プログラム。
【請求項８】
表示手段に、上記学習コンテンツに含まれる問題ごとに、集中度の情報と上記解答判定手段の判定結果から得られる正答率情報を表示させるステップをさらに有することを特徴とする請求項７記載の学習状況判断プログラム。
【請求項９】
近赤外光計測装置と該近赤外光計測装置に接続される端末と、該端末とネットワークを介して接続されるサーバとを備えたシステムであって、
上記サーバはコンテンツ情報を記録する記録手段と、
上記端末は、
上記近赤外光計測装置からの情報を取得する手段と、
上記サーバから受け取った上記コンテンツ情報を表示する表示手段と、
上記表示される情報に対しての入力指示及び操作指示を受ける入力手段とを有し、
上記サーバは、さらに、
上記入力手段からの入力と上記近赤外光計測装置からの情報と上記表示されるコンテンツ情報を対応づけて記憶する記憶手段と、
上記を記憶手段に記憶される情報を用いて端末利用者の上記コンテンツに対する取り組み状況を判定する手段とを有することを特徴とするユーザ状況判断システム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、教室型教育や遠隔型教育等において、学習者の学習状況をリアルタイムに判断し、判断された学習状況から学習コンテンツや授業の質を判断する情報処理装置に関する。
【０００２】
【従来の技術】
従来、教育現場において、各学習カリキュラムによる教育効果の有無を測定するには、ペーパーテストや質問による方法が主であった。これらの方法では、最終的な教育効果の有無を判断することはできるが、教育効果が小さかった場合に、それが受講者側の原因であるのか教材や教師側の原因であるのかを判断することが困難であった。したがって、ユーザの学習状況を判断することによって、最終的に得られた評価結果の原因を推定する必要がある。また、学習効果が低かった場合の原因を見極めるためには、ユーザが学習を行っている間の行動を蓄積し、分析することが必要である。蓄積するべきユーザの行動は、例えば、パソコンを用いて学習している場合には、ユーザの入力デバイスからの情報やテスト結果などがある。これらはユーザが能動的に発する情報であり、これらの情報からユーザの意図を判断する手段が必要である。またこれらとは別にユーザが無意識に発する情報を獲得することによってさらにユーザ学習状況を正確に判断する手段が必要である。
【０００３】
ユーザ状況を判断するための情報として、従来、システム側が提示した問題に対してユーザが意識的に入力する情報、例えば、マウスやキーボードから得られるイベント情報を用いるものがある。又、ユーザが無意識に出力或いは表現する情報として、カメラ等で取り込まれる顔情報や動作情報、また脳計測などによって測定できる生体情報を計測する方法としては、脳波を計測する方法がある。例えば、ユーザが現在睡眠状況である場合には学習プログラムを制御して学習プログラムを停止するといった手段や（例えば、特許文献１参照）、また、脳波計測結果から学習課程における各章ごとの集中度を判断する方法もある（例えば、特許文献２参照）。
【０００４】
一方、集中度は、前頭葉の活性化と正の相関があり、脳波から得られるデータとしては、前頭葉に優勢に出現するシータ律動であるＦｍθ波が集中度と正の相関があるという結果が得られている（例えば、非特許文献１参照）。
【０００５】
脳機能を計測する方法としては、近赤外光計測方法がある（例えば、特許文献３参照）。本方法は、近赤外光を用いてヘモグロビン濃度変化率を抽出することにより脳内の局所血流量計測する方法である。本方法を用いることにより、脳のいずれの領域が活性化しているかを精度高く計測することができる。本方法によって集中度を測定する場合には、前頭葉領域におけるヘモグロビン濃度変化率を計測し、脳全体における前頭葉領域の活性化状況を判断する。
【特許文献１】
特開平６−２８９７６５号公報
【特許文献２】
特開平５−４６０６６号公報
【特許文献３】
特開平９−１４９８９４号公報
【非特許文献１】
河野他：「子供における課題集中時脳波の経年変化」（Ｊｏｕｒｎａｌ  ｏｆ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｓｏｃｉｅｔｙ  ｏｆ  Ｌｉｆｅ  Ｉｎｆｏｒｍａｔｉｏｎ  Ｓｃｉｅｎｃｅ  （ＩＳＬＩＳ）  Ｖｏｌ．２０，Ｎｏ．１，２００２ＩＳＳＮ  １３４１−９２２６，  Ｍａｒｃｈ，  ２００２）
【０００６】
【発明が解決しようとする課題】
無意識の情報を脳機能計測により抽出する方法として、上記従来技術で示したように脳波による計測方法がある。しかしながら、脳波は、生体中での誘電率が不均一であるために信号の発生場所が不明確となり、空間分解能が低い。また、ユーザが動くことによって筋電位が信号に大きく反映し、これにより脳波検出に悪影響を及ぼすため、測定時にはユーザを拘束しなければならないという制約条件もあり、日常生活におけるユーザの脳状態を計測するには実用性に欠けている場合もある。
【０００７】
本発明の目的は、ユーザの身体的自由度を高く保ち、かつ精度高く無意識情報を抽出し、さらに抽出した無意識情報とユーザが学習課程において入力する意識的情報とを統合利用し、ユーザの学習状況を判断することを可能にすることである。
【０００８】
【課題を解決するための手段】
上記課題を達成するための本発明では、ユーザから得られるマウスやキーボードからの意識的な情報とユーザが無意識のうちに記録される映像情報や脳からの情報、特に近赤外光計測装置からの脳の血流量の情報を統合利用し、ユーザが講義や課題に対して集中して取り組んでいるか否かを判断し、教材や授業の有効性、汎用性を判断する。本願で説明する代表的な発明を挙げれば以下の通りである。
【０００９】
情報処理装置に学習プログラムを起動するステップと、近赤外光装置からの前記情報処理装置の利用者の脳の血流量の測定情報を取得するステップと、入力手段を介して上記利用者の前記情報処理装置に対する入力情報及び操作情報を取得するステップと、上記学習プログラムの進行と上記測定情報及び上記入力情報と上記操作情報を対応づけて記録手段に記憶するステップと、上記記憶手段に記憶される情報を接続される外部装置に送出するステップとを有することを特徴とする学習状況判断プログラム。及び、入力手段を介して、接続される端末で実行されたコンテンツ情報と、該端末利用者の脳の血流量情報と該利用者の該端末に対する操作情報及び入力情報を取得するステップと、上記血流量からヘモグロビン濃度変化率を解析するステップと、上記イベント情報と上記解析された濃度変化率から上記端末利用者の集中度を判定するステップと、上記集中度の情報を上記コンテンツと対応づけて記憶するステップとを有することを特徴とする学習状況判断プログラム。及び上記プログラムによって実現されるユーザ状況判断システム。
【００１０】
【発明の実施の形態】
本システムは、教育情報を主に取り扱うシステムであり、学習者であるユーザが学習を行っている時の学習状況を判断し、さらに判断結果をユーザや教師に対して表示するシステムである。
【００１１】
判断手法は以下の通りである。
（１）  空間分解能が高く、かつユーザの身体的自由度が高い状態で計測可能な生体計測方法である近赤外光計測装置による時系列の血流量測定結果から学習時の集中力の変遷を判断し、さらにユーザ行動解析（画像認識、音声認識、機器入力操作イベント）結果によりユーザのアテンションの遷移を抽出して生徒の学習状況を判断する。
（２）  ペーパーテストの結果と上記（１）の結果から得られたアテンション情報や集中力情報とを統合的分析し、授業の効果を総合的に判断する。
（３）  教師や生徒に対して、判断結果を音や画像で表示する。
（４）  複数人の判断結果から教材や授業の有効性、汎用性を評価する。
以下、本発明の一実施形態について図面を参照しながら説明する。まず、図１を用いて、本発明の実施の形態を説明する。図１は、本発明のシステム構成を示す図である。１０１は、学習関連情報を蓄積し、かつ蓄積された情報を分析するための教育情報管理サーバである。１０２は教師が教育を行う時に利用するＰＣ、１０３は学習を行うユーザ用のＰＣである。教師用ＰＣには、学習ユーザの学習状況を知らせるためのスピーカ１０２０１が搭載されている。学習ユーザ用ＰＣ１０３には、脳の血流量を脳の各部位毎に計測する近赤外光計測装置（脳トポグラフィ）１０３０１、学習ユーザの学習時映像を撮影・記録するカメラ１０３０２、学習ユーザの画面からの入力を可能にするタッチパネル１０３０３、学習状況を知らせるためのスピーカー１０３０４、学習ユーザが発する音声等を取得し記録するためのマイク１０３０５が搭載されている。学習者用ＰＣはサーバに対して複数台の接続が可能である。システムの動作全体としては、ユーザが  学習者用ＰＣを用いて教育情報管理サーバ１０１から送信された教材コンテンツにしたがって学習を行うと、学習ユーザが学習を行っている状況を学習者用ＰＣにより記録し、さらに記録したデータを教育情報管理サーバに送信する。送信された記録データから学習ユーザの学習状況を抽出し、抽出したデータを教師用ＰＣや学習ユーザＰＣに送信する。以下に詳細を説明する。
【００１２】
まず始めに、教育情報管理サーバ１０１に関して図２を参照しながら説明する。１０１１は起動されたプログラムに応じて処理を行なうＣＰＵ、１０１２は起動したプログラム等を格納するメモリ、１０１３はメモリデータ等を記憶するハードディスクである。アクセスするデータは、必要に応じてメモリ１０１２上に読み込まれ、ＣＰＵ１０１１によって本発明に基づくデータ処理がなされる。ハードディスク１０１３には、ユーザから発せられるイベントであるユーザ発生イベントデータ１０１３０１、各種イベント解析用データ１０１３０２、複数イベント統合データ１０１３０３、学習用コンテンツデータ１０１３０４、そして学習状況―判断結果対応データ１０１３０５が格納されている。また、メモリ１０１２には、サーバが起動されることにより、システム全体を制御するシステムプログラム１０１２０１をはじめとして、各種データ蓄積モジュール１０１２０２、各種イベント解析モジュール１０１２０３、血流量時系列解析モジュール１０１２０４、イベント解析によるアテンション情報解析モジュール１０１２０５、集中力判断モジュール１０１２０６、学習履歴、アテンション情報及び集中力情報を用いた学習状況総合判断モジュール１０１２０７、授業／教材評価モジュール１０１２０８、判断結果の音／画像による表示モジュール１０１２０９が格納される。
【００１３】
次に本装置における処理を図１０〜１５の図面を用いながら記述する。まず、教育情報管理サーバ１０１を起動する（Ｓ１００１）。本サーバ１０１は常に稼動していることを前提とする。さらに教師用ＰＣ１０２を起動する（Ｓ１００２）。教師用ＰＣの構成を図３に示す。教師用ＰＣ１０２にはメモリ１０２１が備えられており、必要に応じてスピーカ１０２０１が搭載されている。同ＰＣを起動すると、動作管理するシステムモジュール１０２１０１、教育コンテンツを利用する場合に用いる教育コンテンツ利用モジュール１０２１０２、学習者へのコンテンツ送信モジュール１０２１０３、学習者の学習状況を表示する学習状況表示モジュール１０２０１４、教師が学習者にチュータリングを行う場合に機能するチュータリングモジュール１０２１０５がメモリに格納される。次に、学習者ＰＣを各学習ユーザ毎に起動する（Ｓ１００３）。本例においては、すでに起動されている単数或いは複数の学習ユーザ用ＰＣに対して教師用ＰＣから学習者へのコンテンツ送信モジュール１０２１０３によってサーバ１０１へ学習コンテンツ送信開始トリガデータが送信されると（Ｓ１００４）、サーバ１０１から学習コンテンツが学習者用ＰＣに対して配信されるとする（Ｓ１００５）。次に学習ユーザが用いる学習者用ＰＣの構成を図４に示す。本ＰＣにはメモリ１０３１が搭載され、本メモリにはＰＣを起動し管理するシステムモジュール１０３１０１、学習者が学習コンテンツを利用する場合に機能する学習者用学習コンテンツ利用モジュール１０３１０２、ユーザが発生したイベントを一時格納するためのイベントデータ格納モジュール１０３１０３がロードされている。学習者は学習者用学習コンテンツ利用モジュールを立ち上げて学習コンテンツが送信されてくるのを待って学習プログラムを起動する。また、学習コンテンツが既に学習者のＰＣに格納されており、同コンテンツを起動する許可シグナルのみを受け取る場合もある。
【００１４】
サーバから送信される学習コンテンツとして、例えば、「文書作成システム「ＸＹＺ」学習コンテンツ」」が学習ユーザＰＣに送信されたとする。同コンテンツが学習者用ＰＣに送信されると、学習ユーザ用ＰＣに図５に示すような画面が表示される。画面左側の「文書作成システム「ＸＹＺ」学習コンテンツ」」に例えば文書作成の問題が表示され、本問題を右側に表示されている「文書作成システム「ＸＹＺ」」にて入力編集する。図５の「問題１」に示されている問題を解くとする。この時、教師用ＰＣにも同様の学習者用コンテンツが表示される。学習ユーザは、学習コンテンツが送信された時点で、本問題に指示されているとおりに「ＸＹＺ」上にて学習を開始する（Ｓ１００６）。
学習ユーザは、本問題の場合、マウス１０３０６やキーボード１０３０７によって文書作成・編集を行う。この時、ユーザからマウスやキーボードを介して意識的に入力されるマウスイベント、キーボードイベント等の操作情報及び音声情報やテキスト入力等の入力情報と、ユーザが無意識に発しやすい情報である発声情報、ユーザの映像、さらに情報取得手段を介して取得した脳の血流量情報を記録する（Ｓ１００７）。
【００１５】
具体的には、マウス１０３０６、キーボード１０３０７、マイク１０３０５、カメラ１０３０３、近赤外光計測装置１０３０１から入力された情報を蓄積する。尚、ここに挙げるもの以外にも装置に指示入力を行う手段からの情報、及び、ユーザの学習状況判断に利用することのできる情報であれば用いることができる。入力された情報はハードディスク１０３２上のイベントデータ領域１０３２０１に格納する（Ｓ１００８、Ｓ１００９）。イベントデータ領域１０３２０１に一旦格納された情報は、サーバ１０１に送信され（Ｓ１０１０）、各種データ蓄積モジュール１０１２０２により、ハードディスク１０１３上のユーザ発生イベントデータ領域１０１３０１に格納される（Ｓ１１０１）。さらに、各種データ解析モジュール１０１２０３により、蓄積されたイベントデータを解析する（Ｓ１１０２）。各種データ解析モジュールには、サブモジュールとして、マウスイベント解析モジュール、キーボードイベント解析モジュール、音声認識モジュール、映像認識モジュール及び近赤外光データ解析モジュールがある。例えば格納された音声情報は音声認識サブモジュールにより、テキスト情報に変換され、また蓄積された映像情報からは、映像認識サブモジュールによって顔表情情報や頭部動作情報が抽出される。近赤外光装置により記録されたヘモグロビン濃度については、血流量時系列情報解析モジュール１０１２０４により、ヘモグロビン濃度変化率が抽出される。音声情報、映像情報、近赤外光データ情報の認識方法に関する詳細は後述する。
【００１６】
イベントデータ領域に蓄積された情報は各種イベント解析用データ領域１０１３０２に、イベント発生時刻、イベント終了時刻、イベント内容のデータセットとして各イベント毎に格納される（Ｓ１１０３）。ここでいうイベントとは、端末の利用者の端末に対する操作情報である。例えば、マウスからの入力情報ではマウスのプッシュ動作やリリース動作、ドラッグ動作を示す。プッシュ動作の場合のイベントデータは、イベント発生時刻としてプッシュした時刻及びプッシュした画面位置情報、ドラッグ動作の場合はイベント発生時刻としてドラッグを始めた時刻及び表示コンテンツにおけるマウスポインタ位置情報、イベント終了時刻としてドラッグを終了した時刻及び表示コンテンツ上のマウスポインタ位置情報が記録される。音声情報の場合は、音声の開始時刻を開始イベント、音声の終了時刻を終了イベント、イベント内容を音声情報とする。映像情報の場合は録画される全ての情報がイベントであるため、録画情報からユーザの顔表情情報、頭部動作情報を抽出した結果をイベント内容情報として格納する。イベントの開始及び終了時刻は、抽出されたイベントの発生時刻と終了時刻に対応する。
脳の血流量情報は映像情報と同様に、計測される全ての情報がイベントであるため、計測されるヘモグロビン濃度変化率を例えば１０ｓ毎にイベントとして記録する。
【００１７】
またこの時、各データセットには学習ユーザを識別することができる個人ＩＤがタグ付けされている。学習者の個人ＩＤは、初めて学習を行うときに、サーバに登録されている。図７に各種イベント解析用データの構造の一例を示す。
一方、学習コンテンツデータ１０１３１４には表示されている学習コンテンツのボタン表示領域、メニュー表示領域、情報入力領域を示す座標が格納されている。さらにこれらの座標値と複数動作イベントとの組み合わせ情報、正解時の動作イベントの時系列発生順序情報が登録されている。例えば、「ファイル」ボタンを押すイベントを考えると、ボタンダウンイベントとボタンアップイベントが「ファイル」ボタン表示領域内において時系列で連続して起こった場合として、「ファイル」ボタンが押されたという情報が得られるとし、複数動作イベントとの組み合わせ情報として格納されている。また正解時の動作イベント時系列情報としては、例えば問題１の（１）を行う場合を考えると、正解が導かれるために必要なイベント系列として、マウスポインタのテキスト入力領域内プッシュイベント、キー入力イベント「こうえんしゃぼしゅう」、リターンキー入力イベントが時系列に格納されており、さらに正解テキストデータ「講演者募集」が格納されている。
【００１８】
学習コンテンツデータと、各種イベント解析用データ中のマウスイベントデータとキーボードイベントデータとの照合を、イベント解析によるアテンション情報解析モジュール１０１２０５を用いて行い、ユーザが正答イベントを発生した時刻及び発生したイベントをデータ照合結果領域に回答イベントデータとして格納する。また正答イベントが発生するべきコンテンツ学習段階で出た不正解イベントもまた回答イベントデータとしてイベント発生時刻と回答イベント内容を格納する（Ｓ１１０４）。
【００１９】
次に、近赤外光データ、画像データ及び音声データの認識方法について述べる。近赤外光データに関しては、血流量時系列情報解析モジュール１０１２０４により、個人別照合用データ１０１３０６に格納されている各個人における覚醒時における通常血流量よりも例えば１５０％高いヘモグロビン値が３０ｓｅｃ以上継続するといったヘモグロビン濃度変化率が得られた場合には、集中度が高くなっていると判断する。また画像データに関しては、各種データ解析モジュール１０１２０３中の画像認識モジュールによって学習者の顔情報及び頭部動作情報を認識する。例えば「動的顔画像からのリアルタイム表情認識システムの試作」（ヒューマンインタフェース学会論文誌Ｖｏｌ．１，Ｎｏ．２，  １９９９  下田他、８頁、１９９９年５月）のようにオプティカルフローによる表情認識を行う手法により、顔情報を認識する。顔情報のテンプレートとして例えば「正面映像」「側面映像」「頭部」をあらかじめ用意し、個人別照合用データ１０１３０６に格納されているものとする。カメラは画面前に学習者がいる／いないの判別、及び頭の向きの判別及び表情の判別を行う。認識結果として、学習者の顔画像が認識されている時間帯及び顔画像の向き（正面（ａ）、側面（ｂ）、頭部（ｃ））及び表情タグをデータセットとしてメモリ上のイベントデータ照合結果領域に格納する。音声情報については、各種データ解析モジュール中の音声認識モジュールによって音声波形を認識し、テキスト情報を抽出する。テキスト情報は、テキスト情報のスタート時刻と終了時刻とのデータセットとして各種イベント解析用データ領域に格納される。
【００２０】
上記の手段によって得られたデータをさらに統合分析することにより学習者の学習状況を判断する。アテンション情報解析モジュール１０１２０５を起動し（Ｓ１２０１）、ユーザ操作情報と画像データ情報からアテンション情報を抽出する。例えば、マウスイベントやキーボードイベント等のユーザ操作情報のイベントが学習コンテンツのウインドウ内で発生している場合には、アテンションは学習コンテンツに向いていると判断する。本データの構造を図８に示す。また同イベントが学習コンテンツのウインドウ以外で発生している場合には、アテンションが学習コンテンツ以外に向いていると判断する。さらに集中力判断モジュールを起動し（Ｓ１２０２）、、高ヘモグロビン値データのスタート時刻と終了時刻が顔画像データ（ａ）のスタート時刻と終了時刻の時間帯に含まれている場合には、該時間帯において集中度が高いと判断する。さらに、該時間帯においてユーザ操作情報が学習コンテンツ表示領域内で発生している場合には、ユーザが与えられている学習コンテンツに集中していると判断する。これ以外の状況となっている場合、例えば、高ヘモグロビン値は観測されているが、観測されている時間帯にユーザの顔画像が認識されていない場合や頭部画像が認識されている場合、または高ヘモグロビン値が観測されているが、ユーザ操作情報が学習コンテンツ表示外で発生している場合においては、学習以外の事柄に集中していると判断される。また、音声情報を認識した結果として得られたテキスト情報中の単語が学習コンテンツ内で用いられている単語と同様である場合、或いはテキスト情報に含まれるセンテンスが、一般的な疑問文たとえば「何だろう」「これは何？」或いは「解らない」などと同一であった場合でかつ高ヘモグロビン値が観測されている場合には学習コンテンツにアテンションが向いていると判断する（Ｓ１２０３）。学習コンテンツにアテンションが向いていてかつ集中度が高いと判断された時間帯を、コンテンツ集中時間帯データとして、学習状況データ格納領域に格納する（Ｓ１２０４）。
【００２１】
次に、回答イベントデータとコンテンツ集中時間帯データとの対応付けを行う（Ｓ１２０５）。照合特徴量として回答イベント発生時刻とコンテンツ集中時間帯データとを対応付ける。例えば、回答イベント発生時刻Ａと回答イベント発生時刻Ｂとの間にコンテンツ集中時間帯が対応付けられた場合には回答イベント発生時刻Ｂに対応する課題コンテンツに対してユーザが集中してアテンションを向けていたと判断される。コンテンツ学習位置と集中時間帯との対応付けデータを学習位置集中度データとして格納する（Ｓ１２０６）。
【００２２】
次に、上記のような方法で抽出された学習状況の判断結果を教師用ＰＣに表示する方法の一実施例を示す。教師がリアルタイムで授業を行っている場合には、図９に示すように教師用ＰＣの画面上に学習者の映像と学習者の集中度データを表示する（Ｓ１３０１）。集中度データは、集中度が高ければＡ、集中度が低ければ、Ｂ、Ｃが表示される。集中度が低い場合には、集中度が低いと測定された時間帯及び該当するコンテンツ学習位置を表示することもできる。また、学習者に対して集中度が落ちていることを知らせるために、集中度がＢ，Ｃと判断された場合には、学習者ＰＣのスピーカから例えば録音音声等によって「集中度が低下しています。」等の警告音声を出力する。各個人について集中度の分布についての統計をとることも可能である。
また、本学習コンテンツによる教育を受けた学習位置集中度データを各課題毎に集計し（Ｓ１４０１）、各課題における集中度平均データを算出する（Ｓ１４０２）。さらに、回答イベントデータから各課題の正答率を算出し、評価データとして表示する（Ｓ１４０３）。集中度平均データと正答率から、課題に集中できているが正答率が低い課題、課題に集中できていてかつ正答率が高い課題といった教材の評価が可能になる。
【００２３】
さらに、本発明を教材以外にも適応し、各種コンテンツ、例えば映像コンテンツを見ている状況を判断し、発声情報（例えば笑い声）やユーザの映像データ、近赤外光データによる集中度によって映像コンテンツの表示箇所毎に対する集中度、アテンション度を算出し（Ｓ１５０１）、表示することが可能であり（Ｓ１５０２）、コンテンツの人気度等を推測するための特徴量データとして利用することができる。
【００２４】
以上の様に本願は、適用範囲としては、
（１）  遠隔同時教育中の集中度管理に利用
（２）  学習過程における達成度判断に利用
（３）  授業及び学習時に利用した教材の良否の判断に利用
（４）  言語に依存しない情報を用いていることにより、利用する言語に関わらず利用可能
（５）  教師生徒間が海外等遠隔にあっても生徒の状況を把握することが可能になり、タイムリーな対応が可能
である。
尚、学習プログラムに限らずとも、端末にプログラムに応じた入力や操作を要求するシステム、例えばアンケート収集プログラム等であっても本願の構成が適用できる。
【００２５】
【発明の効果】
受講者の集中度等も含めた真の学習状況をリアルタイムに把握することができ、さらに分析された学習状況を次の授業に反映させ、学習効果を高めることを可能にする。また、学習コンテンツに限らず各種コンテンツの評価方法としての利用も可能であり、ユーザのいる場所を問わずにコンテンツ利用状況を判断可能となる。
【図面の簡単な説明】
【図１】装置の構成の一例を示す図。
【図２】サーバ内の構成一例を示す図。
【図３】教師用ＰＣ１０２の構成一例を示す図。
【図４】学習者用ＰＣ１０３の構成一例を示す図。
【図５】文書作成システム「ＸＹＺ」学習コンテンツ利用画面の一例を示す図。
【図６】近赤外光計測装置によるヘモグロビン濃度計測データ一例を示す図。
【図７】ユーザ発生イベントデータ構造一例を示す図。
【図８】各種イベント解析用データ１０１３０２の一例を示す図。
【図９】教師用ＰＣにおける結果表示方法一例を示す図。
【図１０】本発明の処理フローの一例を示す図。
【図１１】本発明の処理フローの一例を示す図。
【図１２】本発明の処理フローの一例を示す図。
【図１３】本発明の処理フローの一例を示す図。
【図１４】本発明の処理フローの一例を示す図。
【図１５】本発明の処理フローの一例を示す図。
【符号の説明】
１０１：教育情報管理サーバ  、１０２：教師用ＰＣ  、１０３：学習ユーザ用ＰＣ。
【図１】
2004229948.tif 000003
【図２】
2004229948.tif 000004
【図３】
2004229948.tif 000005
【図４】
2004229948.tif 000006
【図５】
2004229948.tif 000007
【図６】
2004229948.tif 000008
【図７】
2004229948.tif 000009
【図８】
2004229948.tif 000010
【図９】
2004229948.tif 000011
【図１０】
2004229948.tif 000012
【図１１】
2004229948.tif 000013
【図１２】
2004229948.tif 000014
【図１３】
2004229948.tif 000015
【図１４】
2004229948.tif 000016
【図１５】
2004229948.tif 000017