(57)【要約】【課題】講義の場面に応じて講師が必要とする受講生の情報を提供可能とする。【解決手段】受講者の画像を取得するビデオカメラ１００と、取得された画像に基づいて受講者を特定し、特定された受講者の講義に関する情報を取得する情報処理装置２００と、情報処理装置２００から情報を取得して受講者の情報を表示装置に表示する端末装置３００とを備える。端末装置３００は、教室における受講者の位置の情報を表示する全体情報表示画面、および、受講者の講義に関する情報を表示する情報提示画面を、教室における講師の位置や向きに応じて切り替えて、表示装置に表示させる。【選択図】図１
2018060375.tif 000002
【特許請求の範囲】
【請求項１】
講義における受講者の画像を取得する画像取得手段と、
前記画像取得手段により取得された画像に基づいて受講者を特定する特定手段と、
前記特定手段により特定された受講者の前記講義に関する情報を取得する情報取得手段と、
前記講義が行われる部屋における受講者の位置の情報を表示する第１の画面、および、前記特定手段により特定された受講者に関して前記情報取得手段により取得された講義の情報を含む当該受講者の情報を表示する第２の画面を表示する表示手段と、
前記表示手段に前記第１の画面と前記第２の画面との表示の切り替えを実行させる操作が行われる操作手段と、
を備えることを特徴とする、情報処理システム。
【請求項２】
前記表示手段は、前記受講者の位置の情報と前記受講者の情報とをともに表示する第３の画面をさらに表示可能であり、
前記操作手段は、前記第１の画面および前記第２の画面と前記第３の画面との表示の切り替えを実行させる操作がさらに行われることを特徴とする、請求項１に記載の情報処理システム。
【請求項３】
前記講義における講師に関して当該講義が行われる部屋における位置を含む情報を取得する講師情報取得手段をさらに備え、
前記表示手段は、前記講師情報取得手段により取得された前記講師の位置の情報に応じて、前記第１の画面と前記第２の画面とを切り替えて表示することを特徴とする、請求項１または請求項２に記載の情報処理システム。
【請求項４】
前記表示手段は、前記講師情報取得手段により取得された前記講師の位置の情報に基づき、講師が演壇の位置にいる場合に、前記第１の画面を表示し、講師が受講者から一定の範囲にいる場合に、当該範囲内の受講者の情報が表示された前記第２の画面を表示することを特徴とする、請求項３に記載の情報処理システム。
【請求項５】
前記講義における講師に関して当該講義が行われる部屋における位置を含む情報を取得する講師情報取得手段をさらに備え、
前記表示手段は、前記講師情報取得手段により取得された前記講師の位置の情報に基づき、講師が演壇の位置にいる場合に、前記第１の画面または前記第３の画面を表示することを特徴とする、請求項２に記載の情報処理システム。
【請求項６】
前記講師情報取得手段は、講師の向きの情報をさらに取得し、
前記表示手段は、前記講師情報取得手段により取得された前記講師の位置の情報および向きの情報に応じて、表示対象の受講者を切り替えて前記第２の画面を表示することを特徴とする、請求項３に記載の情報処理システム。
【請求項７】
前記表示手段は、前記講師情報取得手段により取得された前記講師の位置の情報および向きの情報に応じて、講師が向いている方向に位置する受講者に関して、位置の情報および講義に関する情報を含む当該受講者の情報が表示された前記第２の画面を表示することを特徴とする、請求項６に記載の情報処理システム。
【請求項８】
前記画像取得手段は、前記講義における講師の画像をさらに取得し、
前記講師情報取得手段は、前記画像取得手段により取得された画像を解析して、前記講師の情報を取得することを特徴とする、請求項３または請求項６に記載の情報処理システム。
【請求項９】
前記特定手段は、少なくとも講義中の予め定められた時間において、受講者を特定する処理を繰り返し実行することを特徴とする、請求項１または請求項２に記載の情報処理システム。
【請求項１０】
前記特定手段は、一度特定した受講者に対しても、受講者を特定する処理を繰り返し実行することを特徴とする、請求項９に記載の情報処理システム。
【請求項１１】
講義における受講者を特定する情報および当該受講者の当該講義に関する情報、並びに、当該講義が行われる部屋における講師の位置の情報を取得する情報取得手段と、
前記講義が行われる部屋における受講者の位置の情報を表示する第１の画面、および、前記情報取得手段により取得された情報に基づいて受講者を特定する情報および当該受講者の当該講義に関する情報を表示する第２の画面を表示する表示手段と、を備え、
前記表示手段は、前記情報取得手段により取得された前記講師の位置の情報に応じて、前記第１の画面と前記第２の画面とを切り替えて表示することを特徴とする、情報処理装置。
【請求項１２】
前記表示手段は、前記受講者の位置の情報と前記受講者の情報とをともに表示する第３の画面をさらに表示可能であり、前記第１の画面、前記第２の画面および当該第３の画面を切り替えて表示することを特徴とする、請求項１１に記載の情報処理装置。
【請求項１３】
前記情報取得手段が取得する情報には、前記講師の向きの情報をさらに含み、
前記表示手段は、前記情報取得手段により取得された前記講師の位置の情報および向きの情報に応じて、表示対象の受講者を切り替えて前記第２の画面を表示することを特徴とする、請求項１１または請求項１２に記載の情報処理装置。
【請求項１４】
前記表示手段は、前記情報取得手段により取得された前記講師の位置の情報および向きの情報に応じて、講師が向いている方向に位置する受講者に関して、位置の情報および講義に関する情報を含む当該受講者の情報が表示された前記第２の画面を表示することを特徴とする、請求項１３に記載の情報処理装置。
【請求項１５】
コンピュータを、
講義における受講者を特定する情報および当該受講者の当該講義に関する情報、並びに、当該講義が行われる部屋における講師の位置の情報を取得する情報取得手段と、
前記講義が行われる部屋における受講者の位置の情報を表示する第１の画面、および、前記情報取得手段により取得された情報に基づいて受講者を特定する情報および当該受講者の当該講義に関する情報を表示する第２の画面を、当該情報取得手段により取得された前記講師の位置の情報に応じて切り替えて、表示装置に表示させる表示制御手段として、
機能させることを特徴とする、プログラム。
【請求項１６】
前記表示制御手段の機能として、前記受講者の位置の情報と前記受講者の情報とをともに表示する第３の画面をさらに表示可能とし、前記第１の画面、前記第２の画面および当該第３の画面を表示装置に切り替えて表示する機能を前記コンピュータに実現させることを特徴とする、請求項１５に記載のプログラム。
【請求項１７】
前記情報取得手段において取得する情報には、前記講師の向きの情報をさらに含み、
前記表示制御手段の機能として、前記情報取得手段により取得された前記講師の位置の情報および向きの情報に応じて、前記表示装置に前記第２の画面における表示対象の受講者を切り替える機能を、前記コンピュータに実現させることを特徴とする、請求項１５または請求項１６に記載のプログラム。
【請求項１８】
前記表示制御手段の機能として、前記情報取得手段により取得された前記講師の位置の情報および向きの情報に応じて、講師が向いている方向に位置する受講者に関して、位置の情報および講義に関する情報を含む当該受講者の情報が表示された前記第２の画面を表示する機能を前記コンピュータに実現させることを特徴とする、請求項１７に記載のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理システム、情報処理装置およびプログラムに関する。
【背景技術】
【０００２】
講義の受講者を撮影して得られた画像を用いて受講者の状態を分析することが行われている。特許文献１には、授業等を受講する複数の受講者の受講風景を撮影して得た画像から、複数の受講者の顔画像を抽出する抽出手段と、抽出された顔画像に基づいて受講者の状態を判定する判定手段と、抽出手段が抽出した受講者の顔画像に判定手段が判定した状態を示す指標を付して一覧表示するための一覧画像を生成する画像生成手段とを備えた受講状態判別装置が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−３３０４６４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
講義において受講者の情報を講師に報知する場合、講義の場面に応じて講師が必要とする情報が変化する場合がある。受講者の画像に基づいて受講者の状態を分析するだけでは、講師が必要とする情報を提供できない場合がある。
【０００５】
本発明は、講義の場面に応じて講師が必要とする受講生の情報を提供可能とすることを目的とする。
【課題を解決するための手段】
【０００６】
本発明の請求項１に係る情報処理システムは、
講義における受講者の画像を取得する画像取得手段と、
前記画像取得手段により取得された画像に基づいて受講者を特定する特定手段と、
前記特定手段により特定された受講者の前記講義に関する情報を取得する情報取得手段と、
前記講義が行われる部屋における受講者の位置の情報を表示する第１の画面、および、前記特定手段により特定された受講者に関して前記情報取得手段により取得された講義の情報を含む当該受講者の情報を表示する第２の画面を表示する表示手段と、
前記表示手段に前記第１の画面と前記第２の画面との表示の切り替えを実行させる操作が行われる操作手段と、
を備えることを特徴とする、情報処理システムである。
本発明の請求項２に係る情報処理システムは、
前記表示手段は、前記受講者の位置の情報と前記受講者の情報とをともに表示する第３の画面をさらに表示可能であり、
前記操作手段は、前記第１の画面および前記第２の画面と前記第３の画面との表示の切り替えを実行させる操作がさらに行われることを特徴とする、請求項１に記載の情報処理システムである。
本発明の請求項３に係る情報処理システムは、
前記講義における講師に関して当該講義が行われる部屋における位置を含む情報を取得する講師情報取得手段をさらに備え、
前記表示手段は、前記講師情報取得手段により取得された前記講師の位置の情報に応じて、前記第１の画面と前記第２の画面とを切り替えて表示することを特徴とする、請求項１または請求項２に記載の情報処理システムである。
本発明の請求項４に係る情報処理システムは、
前記表示手段は、前記講師情報取得手段により取得された前記講師の位置の情報に基づき、講師が演壇の位置にいる場合に、前記第１の画面を表示し、講師が受講者から一定の範囲にいる場合に、当該範囲内の受講者の情報が表示された前記第２の画面を表示することを特徴とする、請求項３に記載の情報処理システムである。
本発明の請求項５に係る情報処理システムは、
前記講義における講師に関して当該講義が行われる部屋における位置を含む情報を取得する講師情報取得手段をさらに備え、
前記表示手段は、前記講師情報取得手段により取得された前記講師の位置の情報に基づき、講師が演壇の位置にいる場合に、前記第１の画面または前記第３の画面を表示することを特徴とする、請求項２に記載の情報処理システムである。
本発明の請求項６に係る情報処理システムは、
前記講師情報取得手段は、講師の向きの情報をさらに取得し、
前記表示手段は、前記講師情報取得手段により取得された前記講師の位置の情報および向きの情報に応じて、表示対象の受講者を切り替えて前記第２の画面を表示することを特徴とする、請求項３に記載の情報処理システムである。
本発明の請求項７に係る情報処理システムは、
前記表示手段は、前記講師情報取得手段により取得された前記講師の位置の情報および向きの情報に応じて、講師が向いている方向に位置する受講者に関して、位置の情報および講義に関する情報を含む当該受講者の情報が表示された前記第２の画面を表示することを特徴とする、請求項６に記載の情報処理システムである。
本発明の請求項８に係る情報処理システムは、
前記画像取得手段は、前記講義における講師の画像をさらに取得し、
前記講師情報取得手段は、前記画像取得手段により取得された画像を解析して、前記講師の情報を取得することを特徴とする、請求項３または請求項６に記載の情報処理システムである。
本発明の請求項９に係る情報処理システムは、
前記特定手段は、少なくとも講義中の予め定められた時間において、受講者を特定する処理を繰り返し実行することを特徴とする、請求項１または請求項２に記載の情報処理システムである。
本発明の請求項１０に係る情報処理システムは、
前記特定手段は、一度特定した受講者に対しても、受講者を特定する処理を繰り返し実行することを特徴とする、請求項９に記載の情報処理システムである。
本発明の請求項１１に係る情報処理装置は、
講義における受講者を特定する情報および当該受講者の当該講義に関する情報、並びに、当該講義が行われる部屋における講師の位置の情報を取得する情報取得手段と、
前記講義が行われる部屋における受講者の位置の情報を表示する第１の画面、および、前記情報取得手段により取得された情報に基づいて受講者を特定する情報および当該受講者の当該講義に関する情報を表示する第２の画面を表示する表示手段と、を備え、
前記表示手段は、前記情報取得手段により取得された前記講師の位置の情報に応じて、前記第１の画面と前記第２の画面とを切り替えて表示することを特徴とする、情報処理装置である。
本発明の請求項１２に係る情報処理装置は、
前記表示手段は、前記受講者の位置の情報と前記受講者の情報とをともに表示する第３の画面をさらに表示可能であり、前記第１の画面、前記第２の画面および当該第３の画面を切り替えて表示することを特徴とする、請求項１１に記載の情報処理装置である。
本発明の請求項１３に係る情報処理装置は、
前記情報取得手段が取得する情報には、前記講師の向きの情報をさらに含み、
前記表示手段は、前記情報取得手段により取得された前記講師の位置の情報および向きの情報に応じて、表示対象の受講者を切り替えて前記第２の画面を表示することを特徴とする、請求項１１または請求項１２に記載の情報処理装置である。
本発明の請求項１４に係る情報処理装置は、
前記表示手段は、前記情報取得手段により取得された前記講師の位置の情報および向きの情報に応じて、講師が向いている方向に位置する受講者に関して、位置の情報および講義に関する情報を含む当該受講者の情報が表示された前記第２の画面を表示することを特徴とする、請求項１３に記載の情報処理装置である。
本発明の請求項１５に係るプログラムは、
コンピュータを、
講義における受講者を特定する情報および当該受講者の当該講義に関する情報、並びに、当該講義が行われる部屋における講師の位置の情報を取得する情報取得手段と、
前記講義が行われる部屋における受講者の位置の情報を表示する第１の画面、および、前記情報取得手段により取得された情報に基づいて受講者を特定する情報および当該受講者の当該講義に関する情報を表示する第２の画面を、当該情報取得手段により取得された前記講師の位置の情報に応じて切り替えて、表示装置に表示させる表示制御手段として、
機能させることを特徴とする、プログラムである。
本発明の請求項１６に係る情報処理装置は、
前記表示制御手段の機能として、前記受講者の位置の情報と前記受講者の情報とをともに表示する第３の画面をさらに表示可能とし、前記第１の画面、前記第２の画面および当該第３の画面を表示装置に切り替えて表示する機能を前記コンピュータに実現させることを特徴とする、請求項１５に記載のプログラムである。
本発明の請求項１７に係るプログラムは、
前記情報取得手段において取得する情報には、前記講師の向きの情報をさらに含み、
前記表示制御手段の機能として、前記情報取得手段により取得された前記講師の位置の情報および向きの情報に応じて、前記表示装置に前記第２の画面における表示対象の受講者を切り替える機能を、前記コンピュータに実現させることを特徴とする、請求項１５または請求項１６に記載のプログラムである。
本発明の請求項１８に係る情報処理装置は、
前記表示制御手段の機能として、前記情報取得手段により取得された前記講師の位置の情報および向きの情報に応じて、講師が向いている方向に位置する受講者に関して、位置の情報および講義に関する情報を含む当該受講者の情報が表示された前記第２の画面を表示する機能を前記コンピュータに実現させることを特徴とする、請求項１７に記載のプログラムである。
【発明の効果】
【０００７】
請求項１の発明によれば、受講者の画像に基づいて受講者の状態を分析する構成と比較して、講師が必要とする各受講者の詳細な情報を得ることができる。
請求項２の発明によれば、各受講者の詳細な情報を、受講者の位置の情報と共に得ることができる。
請求項３の発明によれば、講師の状態を参酌することなく受講者の情報を出力する構成と比較して、講師の位置に応じて、講師が必要とする受講者の詳細な情報を得ることができる。
請求項４の発明によれば、講師に対して一定の範囲内にいる受講者の詳細な情報を得ることができる。
請求項５の発明によれば、講師が教壇にいる際に、各受講者の詳細な情報を、受講者の位置の情報と共に得ることができる。
請求項６の発明によれば、講師の状態を参酌することなく受講者の情報を出力する構成と比較して、講師の位置および向きに応じて、講師が必要とする受講者の詳細な情報を得ることができる。
請求項７の発明によれば、講師の位置および向きから想定される、講師が必要とする各受講者の詳細な情報を、受講者の位置の情報と共に得ることができる。
請求項８の発明によれば、受講者の画像に基づいて受講者の状態を分析する構成と比較して、講師の画像から講師の状態を特定し、講師が必要とする情報を得ることができる。
請求項９の発明によれば、受講者を特定する処理を繰り返し実行することにより、講義への途中参加を含む受講者の詳細な情報を得ることができる。
請求項１０の発明によれば、受講者を特定する処理を繰り返し実行することにより、講義の途中退席を含む受講者の詳細な情報を得ることができる。
請求項１１の発明によれば、講師の状態を参酌することなく受講者の情報を出力する構成と比較して、講師の位置に応じて、講師が必要とする受講者の詳細な情報を得ることができる。
請求項１２の発明によれば、各受講者の詳細な情報を、受講者の位置の情報と共に得ることができる。
請求項１３の発明によれば、講師の状態を参酌することなく受講者の情報を出力する構成と比較して、講師の位置および向きに応じて、講師が必要とする受講者の詳細な情報を得ることができる。
請求項１４の発明によれば、講師の位置および向きから想定される、講師が必要とする各受講者の詳細な情報を、受講者の位置の情報と共に得ることができる。
請求項１５の発明によれば、講師の状態を参酌することなく受講者の情報を出力する構成と比較して、本発明のプログラムを実行するコンピュータにおいて、講師の位置に応じて、講師が必要とする受講者の詳細な情報を得ることができる。
請求項１６の発明によれば、本発明のプログラムを実行するコンピュータにおいて、各受講者の詳細な情報を、受講者の位置の情報と共に得ることができる。
請求項１７の発明によれば、講師の状態を参酌することなく受講者の情報を出力する構成と比較して、本発明のプログラムを実行するコンピュータにおいて、講師の位置および向きに応じて、講師が必要とする受講者の詳細な情報を得ることができる。
請求項１８の発明によれば、本発明のプログラムを実行するコンピュータにおいて、講師の位置および向きから想定される、講師が必要とする各受講者の詳細な情報を、受講者の位置の情報と共に得ることができる。
【図面の簡単な説明】
【０００８】
【図１】本実施形態が適用される非言語情報評価システムの構成例を示す図である。
【図２】情報処理装置のハードウェア構成例を示す図である。
【図３】情報処理装置の機能構成を示す図である。
【図４】端末装置のハードウェア構成例を示す図である。
【図５】端末装置の機能構成を示す図である。
【図６】フレーム間特徴量を用いて人体に関わる領域を特定する手法を説明する図であり、図６（Ａ）は、動画の１フレームにおいて、人物が横を向いて椅子に座っている様子を示す図、図６（Ｂ）は、動画の別の１フレームにおいて、同じ人物が前方へ乗り出した様子を示す図である。
【図７】情報処理装置から受講者の情報および評価結果を取得した端末装置の表示出力の例であり、教室の全体情報を表示する第１の画面の例を示す図である。
【図８】情報処理装置から受講者の情報および評価結果を取得した端末装置の表示出力の例であり、受講者の情報を提示する第２の画面の例を示す図である。
【図９】ビデオカメラの配置の例を示す図である。
【図１０】全体情報表示画面の例を示す図である。
【発明を実施するための形態】
【０００９】
＜本実施形態が適用される非言語情報評価システムの構成＞
図１は、本実施形態が適用される非言語情報評価システムの構成例を示す図である。図１に示すように、本実施形態による非言語情報評価システム１０は、動画取得装置としてのビデオカメラ１００と、動画解析装置としての情報処理装置２００と、情報処理装置２００による解析結果を出力する出力装置としての端末装置３００と、学習管理データを格納した学習管理サーバ４００と、個人情報データベース（ＤＢ）５００とを備える。ビデオカメラ１００、情報処理装置２００、端末装置３００、学習管理サーバ４００および個人情報ＤＢ５００は、それぞれネットワーク２０を介して接続されている。
【００１０】
ネットワーク２０は、ビデオカメラ１００、情報処理装置２００、端末装置３００、学習管理サーバ４００および個人情報ＤＢ５００の間で情報通信を行えるものであれば特に限定されず、例えばインターネットやＬＡＮ（Local Area Network）等としてよい。情報通信に用いられる通信回線は、有線であっても無線であっても良い。ビデオカメラ１００と情報処理装置２００とを接続するネットワーク２０と、情報処理装置２００と端末装置３００と学習管理サーバ４００および個人情報ＤＢ５００とを接続するネットワーク２０とは、共通のネットワークであってもよいし、異なるネットワークであってもよい。また、特に図示しないが、ネットワーク２０にはネットワークや通信回線を接続するためのゲートウェイやハブ等の中継装置が適宜設けられる。
【００１１】
本実施形態の非言語情報評価システム１０は、評価対象である人物または評価対象を構成する人物の動画を解析して、その人物の動作や顔の表情といった非言語情報を抽出し、抽出された非言語情報に基づき評価対象を評価する。本実施形態の非言語情報評価システム１０は、例えば、授業、講演、催事、娯楽施設、その他の多くの人が集まる場所や場面において参加者の様子を評価したり、面接のような対象となる個人が固定される場面において個人の様子を評価したりする。評価対象、評価項目、評価内容などは、非言語情報評価システム１０の適用対象や適用場面等に応じて設定される。例えば、評価対象は、個々の人物とされる場合もあるし、複数の人物の集合（グループ、チーム等）とされる場合もある。評価項目は、例えば評価対象である人物や人物の集合が何かに集中しているか、活発に活動しているか等が設定され、評価内容としては、例えばそのような評価項目に適合する程度（度合）等が判断される。以下、本実施形態においては、本システムを教室において講義（授業）を受ける受講者（参加者）を評価するのに用いる場合を例として説明する。この評価については、後で具体的な適用例を挙げて説明する。
【００１２】
図１に示すシステムにおいて、ビデオカメラ１００は、画像取得手段の一例であり、本実施形態による評価の適用対象である受講者を撮影範囲に捉える位置および向きに設置され、受講者を撮影する。本実施形態では、ビデオカメラ１００により撮影された受講者の動画を解析し、動作や顔の表情といった非言語情報が抽出される。したがって、評価対象の構成（個人か集合か等）、設置場所や撮影範囲の広さ等に応じて、受講者の動作や表情が識別できるように、ビデオカメラ１００の種類や設置台数が設定される。例えば広い場所で個人を撮影するには望遠カメラが用いられ、広い範囲に存在する複数の人物を撮影するには広角カメラが用いられる。また、受講者の身体の様々な部位を撮影するために、複数台のカメラを様々な向きで設置してもよい。また、高解像度のカメラを用いて広範囲を撮影することにより、複数人の画像を取得するとともに、得られた画像を拡大して個人の画像を解析対象とするようにしてもよい。また、本実施形態において、ビデオカメラ１００は、撮影した動画をデジタル・データとして、ネットワーク２０を介して情報処理装置２００へ送信する機能を備える。
【００１３】
学習管理サーバ４００は、講義の学習管理データを管理するコンピュータ（サーバ）である。学習管理データには、例えば、講義の進捗を管理するための学習計画情報、講義における受講者の情報、受講者ごとの学習進度および成績、グループワークが行われる場合等における各受講者が所属するグループの情報などが含まれる。学習管理サーバ４００は、単体のコンピュータにより構成してもよいし、ネットワーク２０に接続された複数のコンピュータにより構成してもよい。後者の場合、学習管理サーバ４００としての機能は、複数のコンピュータによる分散処理にて実現される。
【００１４】
個人情報ＤＢ５００は、受講者の個人情報が格納されたデータベース・サーバである。個人情報ＤＢ５００に格納される個人情報には、氏名や学籍番号などの識別情報、顔認証用のイメージデータ、受講している講義の情報などが含まれる。個人情報ＤＢ５００を構成するサーバは、単体のコンピュータにより構成してもよいし、ネットワーク２０に接続された複数のコンピュータにより構成してもよい。後者の場合、受講者の情報は、複数のコンピュータに分散して格納される。
【００１５】
情報処理装置２００は、行動評価手段の一例であり、ビデオカメラ１００により撮影された動画を解析して受講者に関する非言語情報を抽出し、評価するコンピュータ（サーバ）である。情報処理装置２００は、単体のコンピュータにより構成してもよいし、ネットワーク２０に接続された複数のコンピュータにより構成してもよい。後者の場合、後述する本実施形態の情報処理装置２００としての機能は、複数のコンピュータによる分散処理にて実現される。
【００１６】
図２は、情報処理装置２００のハードウェア構成例を示す図である。図２に示すように、情報処理装置２００は、制御手段および演算手段であるＣＰＵ（Central Processing Unit）２０１と、ＲＡＭ２０２およびＲＯＭ２０３と、外部記憶装置２０４と、ネットワーク・インターフェイス２０５とを備える。ＣＰＵ２０１は、ＲＯＭ２０３に格納されているプログラムを実行することにより、各種の制御および演算処理を行う。ＲＡＭ２０２は、ＣＰＵ２０１による制御や演算処理において作業メモリとして用いられる。ＲＯＭ２０３は、ＣＰＵ２０１が実行するプログラムや制御において用いられる各種のデータを格納している。外部記憶装置２０４は、例えば磁気ディスク装置や、データの読み書きが可能で不揮発性の半導体メモリで実現され、ＲＡＭ２０２に展開されてＣＰＵ２０１により実行されるプログラムや、ＣＰＵ２０１による演算処理の結果を格納する。ネットワーク・インターフェイス２０５は、ネットワーク２０に接続して、ビデオカメラ１００や端末装置３００との間でデータの送受信を行う。なお、図２に示す構成例は、情報処理装置２００をコンピュータで実現するハードウェア構成の一例に過ぎない。情報処理装置２００の具体的構成は、以下に説明する機能を実現し得るものであれば、図２に示す構成例に限定されない。
【００１７】
図３は、情報処理装置２００の機能構成を示す図である。図３に示すように、情報処理装置２００は、動画データ取得部２１０と、顔検出部２１１と、受講者特定部２１２と、学習情報取得部２１３と、領域識別部２２０と、動作検出部２３０と、非言語情報抽出部２４０と、反応評価部２５０と、出力部２６０とを備える。
【００１８】
動画データ取得部２１０は、例えば図２に示すコンピュータにおいて、ＣＰＵ２０１がプログラムを実行し、ネットワーク・インターフェイス２０５を制御することにより実現される。動画データ取得部２１０は、ネットワーク２０を介してビデオカメラ１００から動画データを受信する。受信した動画データは、例えば図２に示すＲＡＭ２０２や外部記憶装置２０４に格納される。
【００１９】
顔検出部２１１は、例えば図２に示すコンピュータにおいて、ＣＰＵ２０１がプログラムを実行することにより実現される。顔検出部２１１は、動画データ取得部２１０により取得された動画を解析し、顔が映っている部分を検出する。顔を検出する手法としては、例えばデジタルカメラ等で実現されている既存の識別手法を用いてよい。
【００２０】
受講者特定部２１２は、例えば図２に示すコンピュータにおいて、ＣＰＵ２０１がプログラムを実行することにより実現される。受講者特定部２１２は、ネットワーク・インターフェイス２０５を介して個人情報ＤＢ５００に接続する。そして、顔検出部２１１により検出された顔画像と、個人情報ＤＢ５００に格納されている顔認証用のイメージデータとを用いて認証処理を行い、動画に映っている受講者を特定する。
【００２１】
学習情報取得部２１３は、例えば図２に示すコンピュータにおいて、ＣＰＵ２０１がプログラムを実行することにより実現される。学習情報取得部２１３は、ネットワーク・インターフェイス２０５を介して学習管理サーバ４００に接続する。そして、受講者特定部２１２により特定された受講者の情報と、学習管理サーバ４００に格納されている学習管理データとを用い、特定された受講者ごとの講義に関する情報（講義情報）を取得する。
【００２２】
領域識別部２２０は、例えば図２に示すコンピュータにおいて、ＣＰＵ２０１がプログラムを実行することにより実現される。領域識別部２２０は、動画データ取得部２１０により取得された動画を解析し、後段の非言語情報抽出部２４０により非言語情報として抽出される受講者の部位が映っている領域を識別する。具体的には、人体（全体）が映っている領域、人体の頭部、体部、腕部、手部、指などが映っている領域、頭部の顔、目、口、鼻、耳などが映っている領域、上半身、下半身が映っている領域、その他身体の各特徴点が映っている領域等を識別する（以下、人体の全体や一部分を特に区別せず、部位、身体の部位などと呼ぶ）。識別対象の部位としては、予め定められた部位を全て識別してもよいし、後段の非言語情報抽出部２４０による抽出や反応評価部２５０による評価の内容に基づき、これらの処理に用いられる部位のみを識別してもよい。
【００２３】
動作検出部２３０は、例えば図２に示すコンピュータにおいて、ＣＰＵ２０１がプログラムを実行することにより実現される。動作検出部２３０は、領域識別部２２０の識別結果に基づき、各領域に映っている身体の部位を特定し、特定した部位ごとの動作を検出する。具体的には、頭の動き、顔の向き、顔の構成部位（目、口など）の動き、腕や脚の動き、身体の向き、身体の移動（歩きまわる等）等の動作を検出する。検出対象の動作としては、予め定められた部位についての予め定められた動作を全て対象として検出してもよいし、後段の非言語情報抽出部２４０による抽出や反応評価部２５０による評価の内容に基づき、これらの処理に用いられる部位の動作のみを検出してもよい。
【００２４】
非言語情報抽出部２４０は、例えば図２に示すコンピュータにおいて、ＣＰＵ２０１がプログラムを実行することにより実現される。非言語情報抽出部２４０は、動作検出部２３０により検出された部位の動きに基づき、受講者の行動のうち、反応評価部２５０の評価項目ごとの評価に用いられるもの（非言語情報）を抽出する。言い換えれば、非言語情報抽出部２４０は、受講者の発する非言語情報として定義された行動を抽出する行動抽出部である。具体的には、例えば、うなずく動作、顔を特定の方向に向けたり顔の向きを変えたりする動作、表情の変化、口を動かして発言する動作、欠伸（あくび）をする動作、居眠りしているときの動き、目くばせをする動作、挙手、筆記動作、キーボードを打つ動作、振り向く動作、貧乏ゆすりなどを抽出する。
【００２５】
出力部２６０は、例えば図２に示すコンピュータにおいて、ＣＰＵ２０１がプログラムを実行し、ネットワーク・インターフェイス２０５を制御することにより実現される。出力部２６０は、ネットワーク２０を介して、反応評価部２５０による評価結果の情報を端末装置３００に送信する。
【００２６】
端末装置３００は、出力手段の一例であり、情報処理装置２００による評価結果を出力する情報端末（クライアント）である。端末装置３００としては、例えばパーソナルコンピュータ、タブレット端末、スマートフォン等の出力手段として画像表示手段を備えた装置が用いられる。
【００２７】
図４は、端末装置３００のハードウェア構成例を示す図である。図４に示すように、端末装置３００は、ＣＰＵ３０１と、ＲＡＭ３０２およびＲＯＭ３０３と、表示装置３０４と、入力装置３０５と、ネットワーク・インターフェイス３０６とを備える。ＣＰＵ３０１は、ＲＯＭ３０３に格納されているプログラムを実行することにより、各種の制御および演算処理を行う。ＲＡＭ３０２は、ＣＰＵ３０１による制御や演算処理において作業メモリとして用いられる。ＲＯＭ３０３は、ＣＰＵ３０１が実行するプログラムや制御において用いられる各種のデータを格納している。表示装置３０４は、例えば液晶ディスプレイにより構成され、表示手段として、ＣＰＵ３０１の制御により画像を表示する。入力装置３０５は、例えばキーボードやマウス、タッチセンサ等の入力デバイスで実現され、操作手段として、操作者により操作される。一例として、端末装置３００がタブレット端末やスマートフォン等である場合は、液晶ディスプレイとタッチセンサとが組み合わされたタッチパネルが表示手段（表示装置３０４）および操作手段（入力装置３０５）として機能する。ネットワーク・インターフェイス３０６は、ネットワーク２０に接続して、ビデオカメラ１００や端末装置３００との間でデータの送受信を行う。なお、図４に示す構成例は、端末装置３００をコンピュータで実現するハードウェア構成の一例に過ぎない。端末装置３００の具体的構成は、以下に説明する機能を実現し得るものであれば、図４に示す構成例に限定されない。
【００２８】
図５は、端末装置３００の機能構成を示す図である。図５に示すように、本実施形態の端末装置３００は、処理結果取得部３１０と、表示画像生成部３２０と、表示制御部３３０と、操作受け付け部３４０とを備える。
【００２９】
処理結果取得部３１０は、例えば図４に示すコンピュータにおいて、ＣＰＵ３０１がプログラムを実行し、ネットワーク・インターフェイス３０６を制御することにより実現される。処理結果取得部３１０は、情報取得手段の一例であり、ネットワーク２０を介して情報処理装置２００から受講者の情報（位置の情報と講義情報）および評価結果のデータを受信する。また、後述するように、処理結果取得部３１０は、ビデオカメラ１００により撮影された画像から抽出される講師の位置および向きの情報を示すデータを受信する。受信したデータは、例えば図４のＲＡＭ３０２に格納される。
【００３０】
表示画像生成部３２０は、例えば図４に示すコンピュータにおいて、ＣＰＵ３０１がプログラムを実行することにより実現される。表示画像生成部３２０は、処理結果取得部３１０により取得された評価結果のデータに基づき、評価結果を示す出力画像を生成する。生成される出力画像の構成や表示態様は、評価項目や評価内容等に応じて設定し得る。出力画像の詳細については後述する。
【００３１】
表示制御部３３０は、例えば図４に示すコンピュータにおいて、ＣＰＵ３０１がプログラムを実行することにより実現される。表示制御部３３０は、表示画像生成部３２０により生成された出力画像を、例えば図４に示すコンピュータにおける表示装置３０４に表示させる。また、表示制御部３３０は、表示装置３０４への表示に関する命令を受け付け、受け付けた命令に基づいて表示の切り替え等の制御を行う。
【００３２】
操作受け付け部３４０は、例えば図４に示すコンピュータにおいて、ＣＰＵ３０１がプログラムを実行することにより実現される。操作受け付け部３４０は、操作者が入力装置３０５により行った入力操作を受け付ける。そして、操作受け付け部３４０により受け付けた操作にしたがって、表示制御部３３０が表示装置３０４への出力画像等の表示制御を行う。
【００３３】
＜領域識別部の処理＞
情報処理装置２００の領域識別部２２０による処理について説明する。領域識別部２２０は、ビデオカメラ１００により撮影された動画から、その動画に映っている人物の動作に係る部位を識別する。この部位の識別には、既存の種々の画像解析技術を適用してよい。例えば、顔や笑顔の識別は、デジタルカメラ等で実現されている既存の識別手法を用いてよい。また、動画に映されている特定の形状の部分（領域）やそのような複数の部分の配置等に基づいて、身体の部位が映っている領域を特定し得る。さらに一例として、フレーム間特徴量に基づく識別を行ってもよい。具体的には、動画データの連続する２枚以上のフレームの差分に基づき、フレーム間特徴量を求める。ここで、フレーム間特徴量としては、例えば、色の境界（エッジ）、色の変化量、これらによって特定される領域の移動方向や移動量などが用いられる。予め設定された時間分のフレーム間特徴量を累積し、フレームごとのフレーム間特徴量の距離や類似度に基づいて、フレーム間特徴量を分類、統合する。これにより、動画において連携して変化する領域が特定され、身体の部位が映っている領域が識別される。
【００３４】
図６は、フレーム間特徴量を用いて人体に関わる領域を特定する手法を説明する図である。図６（Ａ）は、動画の１フレームにおいて、人物が横を向いて椅子に座っている様子を示し、図６（Ｂ）は、動画の別の１フレームにおいて、同じ人物が前方へ乗り出した様子を示している。図６に示す例において、領域識別部２２０は、図６（Ａ）に映っている色の境界や変化量に基づき、近似する色が映っている範囲を特定する。そして、領域識別部２２０は、図６（Ａ）のフレームと図６（Ｂ）のフレームとを対比し、対応する色の範囲の移動方向および移動量に基づき、画像中の破線の枠で囲まれた領域２２１において、複数個の色の範囲が連携して動いていることを認識し、この領域２２１を人体の上半身が映っている領域として識別する。図６（Ａ）、（Ｂ）を参照すると、人体（上半身）を構成する色の範囲の動きに応じて、領域２２１の位置や大きさが変化している。なお、ここでは図６（Ａ）、（Ｂ）の２つのフレームを対比したが、３つ以上のフレームを対比して色の範囲の変化等のフレーム間特徴量を累積した結果に基づいて人体が映っている領域を識別するようにしてもよい。
【００３５】
＜動作検出部の処理＞
動作検出部２３０による処理について説明する。動作検出部２３０は、領域識別部２２０により識別された身体の部位が映っている領域を解析して、具体的にどの部位が映っているかを特定し、特定した部位ごとの動きを検出する。この動きの検出には、既存の種々の画像解析技術を適用してよい。検出される動きは、特定された部位ごとに身体動作として起こり得る動きである。例えば、目を閉じたり口を開けたりする動き、視線の変化、顔の向きを上下や左右に変える動き、肘の曲げ伸ばしや腕を振る動き、手指の曲げ伸ばしや手を開いたり閉じたりする動き、腰の曲げ伸ばしや体を捻じる動き、膝の曲げ伸ばしや脚を振る動き、歩行等による身体の移動などが検出される。なお、これらの動きは例示に過ぎず、本実施形態の非言語情報評価システム１０で検出し得る動きは、上記に提示した動きに限定されない。本実施形態では、動作検出部２３０は、領域識別部２２０で領域として識別された全ての部位の動きを検出してもよいし、後段の非言語情報抽出部２４０で抽出される動作を特定するための動き等に限定して検出してもよい。例えば、非言語情報抽出部２４０でうなずく動作のみを抽出するのであれば、顔の向きを上下に変えるような頭の動きを検出すればよい。
【００３６】
＜非言語情報抽出部の処理＞
非言語情報抽出部２４０による処理について説明する。非言語情報抽出部２４０は、動作検出部２３０により検出された部位の動きに基づいて、受講者が意識的にまたは無意識的に行った意味のある行動を非言語情報として抽出する。例えば、顔の向きを上下に変える動きからうなずくという動作を抽出したり、口を動かす動きから発話や欠伸という動作を抽出したり、腕を上げる動きから挙手という動作を抽出したりする。非言語情報の抽出は、単に動作検出部２３０により検出された部位の動きのみに基づいて行われるのではなく、例えば、検出された動きの前後における該当部位の動き、周囲の部位や他の人物の動き、動きが検出された場面や文脈（背景）等の情報も参酌して行われる。具体例を挙げると、顔の向きを上下に連続的に変える動きが特定の時間内で行われたとき、この動きは、うなずきの動作として抽出される。一方、顔の向きが上を向き、ある程度の時間が経過した後に下方向へ動いてもとに戻ったとき、この動きは、思考するために上方を見上げた動作として抽出される。また、顔の向きが下を向き、ある程度の時間が経過したとき、この動作は、居眠りしていることを示す動作として抽出される。なお、これらの動作や参酌情報は例示に過ぎず、本実施形態の非言語情報評価システム１０で非言語情報として抽出し得る動作や参酌情報は、上記に提示した動作や情報に限定されない。
【００３７】
＜反応評価部の処理＞
反応評価部２５０による処理について説明する。反応評価部２５０は、非言語情報抽出部２４０により抽出された非言語情報に基づき、非言語情報評価システム１０が適用される場面に応じた受講者の反応を評価する。例えば、講義における受講者の反応を評価するのであれば、講義に対する集中の度合い等が評価項目となる。また、参加型の授業であれば、各生徒の集中の度合いや積極性、授業全体の活性度等が評価項目となる。また、単純に、非言語情報評価システム１０が適用される場面の目的に対して肯定的（ポジティブ）な反応か否定的（ネガティブ）な反応かを評価するようにしてもよい。評価結果は、評価項目や評価の目的等に応じて様々な形式で決定し得る。例えば、授業中に発言したか否かというような二値的な評価を行ってもよいし、集中度や積極性などの評価項目の達成度（評価の程度）を段階的に特定する多値的な評価を行ってもよい。また、反応評価部２５０は、講義や授業が行われる一定時間にわたって継続的に評価を行い、時間の経過に伴って変化する時系列の評価情報を生成してもよい。
【００３８】
多値的な評価を行う場合、反応評価部２５０において評価される評価項目に応じて、その評価に用いられる非言語情報として定義された（抽出される）行動（以下、反応行動）の種類および反応行動の出現態様が設定される。言い換えると、同じ反応行動であっても、その出現態様に応じて異なる評価となる。例えば、非言語情報として抽出される特定の反応行動が１回行われた場合と、複数回繰り返されたり、一定時間以上継続したりした場合とでは評価が異なる。
【００３９】
さらに、多値的な評価を行う場合、例えば、その評価項目における反応行動の種類、出現頻度、継続時間などに基づいて、評価の程度を特定してもよい。一例として、集中度を評価するための評価対象の反応行動として、うなずく動作と筆記する動作とが定義されている場合を考える。そして、うなずく動作は筆記する動作よりも高い集中度を表すものとする。この場合、反応行動の種類として、うなずく動作が出現したときは、筆記する動作が出現したときよりも集中度が高い（評価の程度が高い）と評価する。また、反応行動の出現頻度として、一定時間内にうなずく動作が多いほうが少ないよりも集中度が高い（評価の程度が高い）と評価する。また、一定時間内に筆記する動作の継続時間が長いほうが短いよりも集中度が高い（評価の程度が高い）と評価する。なお、これらの評価項目や評価方法は例示に過ぎず、本実施形態の非言語情報評価システム１０でとり得る評価項目や評価方法は、上記に提示した評価項目や評価方法に限定されない。
【００４０】
＜非言語情報の評価の他の例＞
上記のように、評価対象としての受講者の具体的な動作に基づく非言語情報としての反応行動の詳細な評価を行う他、反応評価部２５０による評価として、受講者の動きの活性度を簡易に評価する構成としてもよい。具体的には、例えば、動作検出部２３０により受講者の身体を表す領域として検出された領域が動いている場合には、その動きが身体のどの部位によるどのような動作を表すかに関わらず、その動きの大きさや速さのみに基づいて活性度を評価する。また、詳しくは後述するが、複数の受講者によりグループが構成される場合、グループを構成する受講者のいずれかが動いていれば、その動きによる活性度をグループの活性度として評価したり、動いている受講者が多いほど活性度が高いと評価したりしてもよい。
【００４１】
＜端末装置における表示例＞
図７および図８は、情報処理装置２００から受講者の情報および評価結果を取得した端末装置３００の表示出力の例を示す図である。図７は、教室（部屋）の全体情報を表示する第１の画面（以下、全体情報表示画面）の例を示す。図７に示す例では、教室の座席を模式的に示した画面が、端末装置３００の表示装置３０４に表示されている。図示の画面において、座席は４人ずつ４列に並んで設けられており、各座席には座席番号１〜１６が付されている。また、受講者が着席している座席には丸印「○」が表示されている（図７の例では、座席番号１〜３、６、８、９、１１〜１６の各座席）。これにより、受講者の位置が特定される。図７に示す例において、教室における座席の配置は、例えば、学習管理サーバ４００に格納された学習計画情報に、講義が行われる教室の情報として登録しておき、講義が行われる際に学習管理サーバ４００から取得すればよい。この情報は、情報処理装置２００を経由して取得してもよいし、端末装置３００から学習管理サーバ４００へ直接アクセスして取得してもよい。受講者が着席している座席の情報は、情報処理装置２００の受講者特定部２１２において受講者を特定する際に座席を特定し、受講者の情報として情報処理装置２００から端末装置３００へ送るようにしてもよい。また、座席に受講者が着席したことを感知するセンサを設け、端末装置３００がセンサから直接、情報を取得するようにしてもよい。端末装置３００において教室の情報および座席の情報が取得されると、表示画像生成部３２０が画面を生成し、生成した画面を表示制御部３３０が表示装置３０４に表示する（図５参照）。なお、図７に示す例では、全体情報表示画面を、教室の座席を模式的に示す画面としたが、全体情報表示画面の構成は、図示の例に限定されない。例えば、ビデオカメラ１００で撮影した教室全体を映す画像を端末装置３００の表示装置３０４に表示し、各座席の位置に、座席番号や着席の有無を示す表示等を重畳して表示するように、全体情報表示画面を構成してもよい。
【００４２】
図８は、受講者の情報を提示する第２の画面（以下、情報提示画面）の例を示す図である。情報提示画面は、例えば、図７に示した画面上で、いずれかの座席が選択されると、選択された座席に着席している受講者の情報を含む画面として生成され、表示される。座席の選択は、例えば、操作者がタッチパネル等の入力装置３０５（図４参照）を操作して任意の座席を指定することにより行われる。端末装置３００の操作受け付け部３４０（図５参照）がこの操作を受け付けると、表示画像生成部３２０が、選択された座席に着席している受講者の情報に基づいて情報提示画面を生成する。
【００４３】
図８に示す例では、座席番号１〜３に着席している受講者の情報が表示されている。そして、各受講者に関して、氏名、学籍番号（Ｎｏ．）、出席率、成績が表示されている。これらの情報のうち、氏名および学籍番号は、例えば、個人情報ＤＢ５００から得られる。また、出席率および成績は、例えば、学習管理サーバ４００から得られる。図８に示す例において、座席番号３の受講者に関しては、氏名が「該当者なし」となっており、その他の情報も全て表示されていない。これは、情報処理装置２００の受講者特定部２１２が、座席番号３の座席に着席している受講者の認証に失敗したことを意味する。なお、図８に示す例では、情報提示画面を、数人の受講者の情報を座席番号順に並べて示す画面としたが、情報提示画面の構成は、図示の例に限定されない。例えば、ビデオカメラ１００で撮影した画像の中から該当する座席番号の座席が映っている部分を抽出して端末装置３００の表示装置３０４に表示し、各座席の位置に、座席番号および受講者の表示等を重畳して表示するように、全体情報表示画面を構成してもよい。
【００４４】
本実施形態では、情報処理装置２００の受講者特定部２１２は、定期的にまたは予め定められたタイミングで、教室内の各受講者に対する認証処理を繰り返し実行する。認証処理は、例えば講義が行われている間は、認証に成功したか否かに関わらず、全ての受講者に対して繰り返し実行される。したがって、図８に示す座席番号３の受講者のように「該当者なし」とされた受講者についても、その後の認証処理において認証されれば各情報が表示される。受講者特定部２１２が認証処理を繰り返し実行することにより、講義に遅刻した受講者がいても、これを検知し得る。また、受講者特定部２１２は、受講者の認証に成功した後も、繰り返し、認証処理を実行する。これにより、講義中に退席した受講者や席を移動した受講者がいた場合には、これを検知し得る。なお、認証処理の繰り返しは、必ずしも講義が行われている間の全てにわたって実行しなくてもよく、少なくとも講義中の予め定められた時間（例えば、講義開始から一定時間および講義終了前の一定時間等）において実行するように設定してもよい。
【００４５】
なお、本実施形態では、個人情報ＤＢ５００に格納されているイメージデータを用いて顔認証を行うため、図８に示した座席番号３の受講者のように「該当者なし」と表示される受講者は、ビデオカメラ１００によって顔認証可能な顔画像を撮影できていないか、または個人情報ＤＢ５００に登録されていない人物であることを意味する。講義の受講資格を有しない者が座席に着いた場合、その人物が個人情報ＤＢ５００に登録されている人物であれば、受講者特定部２１２の認証処理により、受講資格のない者であることが特定される。
【００４６】
上記の例では、全体情報表示画面から受講者を選択して情報提示画面へ移行する例を示したが、端末装置３００と受講者との位置関係に応じて、自動的に受講者が選択されて情報提示画面を表示するように構成してもよい。例えば、端末装置３００をタブレット型端末等の持ち運びが容易な機器とする。そして、講師（端末装置３００の操作者）が演壇（教壇）にいるときには教室全体の情報を示す画面を表示する。一方、講師が端末装置３００を持ちながら教室内を歩き回るときは、講師の位置および向きに応じて、講師が向いている方向の受講者の情報が端末装置３００に表示されるように切り替え制御する。講師の位置および向きは、例えば、ビデオカメラ１００により撮影された講師の画像に基づいて特定される。講師は、受講者の近くを歩くので、受講者を撮影するためのビデオカメラ１００により講師も撮影されることになる。したがって、講師を撮影するためのビデオカメラ１００を特に用意する必要はない。
【００４７】
図９は、ビデオカメラ１００の配置の例を示す図である。図９に示す例では、受講者は、教室に配置された数台のテーブルの各々に数名ずつ着席している。また、教室の一方の側に講師３０が立っている。図９に示す例では、ビデオカメラ１００として、２台の広域撮影用カメラ１００ａ（第１取得手段）と、１台の拡大撮影用カメラ１００ｂ（第２取得手段）とが設けられている。２台の広域撮影用カメラ１００ａの一つは、教室の一方（講師３０のいる方）から教室内を撮影するように配置されている。他の一つは、教室の反対側から教室内を撮影するように配置されている。このように配置することで、一つの広域撮影用カメラ１００ａから見て受講者の顔が他の受講者やテーブルの陰になっている場合でも、他の広域撮影用カメラ１００ａによってその受講者の顔の画像が取得される。
【００４８】
拡大撮影用カメラ１００ｂは、拡大率が可変であり、撮影方向を変更可能な可動式の架台に設置されている。拡大率および撮影方向は、例えば、外部装置からの制御信号により制御される。また、人感センサ等を用い、講師３０を自動追尾したり、受講者を順に捉えるように自動制御してもよい。図示の例では、１台の拡大撮影用カメラ１００ｂが示されているが、複数台の拡大撮影用カメラ１００ｂを設けてもよい。また、拡大撮影用カメラ１００ｂを移動可能な架台に設置して、異なる位置から講師３０および受講者を撮影できるようにしてもよい。この場合、拡大撮影用カメラ１００ｂの移動は、例えば、外部からの制御信号により制御してもよいし、決まった軌道上を適当な時間をかけて自律的に移動する構成としてもよい。このような構成とすることで、講師３０や特定の受講者が撮影できない状態になることを減少させることができる。
【００４９】
情報処理装置２００の動作検出部２３０は、検出した動作のうち、講師の動作を特定する。講師は受講者と異なり、受講者の近くを歩き回る等の特殊な動作をするので、そのような特殊な動作に基づいて講師と受講者とを識別してもよい。また、動作検出部２３０は、特定した講師の動作に基づいて、教室における講師の位置と向きを特定する。すなわち、本構成において、動作検出部２３０は、講師の情報を取得する講師情報取得手段として機能する。教室内の位置情報は、例えば学習管理サーバ４００に登録しておき、座席の情報等と共に学習管理サーバ４００から取得すればよい。講師の位置と向きが特定されると、座席の情報から、講師に近い位置（予め定められた一定の範囲内）で講師が向いている方向の座席が特定されるので、情報処理装置２００は、特定された座席に着席している受講者の情報を端末装置３００へ送る。端末装置３００は、受信した受講者の情報に基づき、情報提示画面を生成して表示する。
【００５０】
また、講師が演壇を降りて受講者の近くにいるときであっても、端末装置３００において特定の操作が行われることにより、表示装置３０４に表示される画面を情報提示画面から全体情報表示画面に切り替える。例えば、端末装置３００の入力装置３０５が表示装置３０４と組み合わされたタッチパネルである場合、情報提示画面の適当な位置に画面切り替え用のボタン・オブジェクトを表示させておき、講師がこのボタンオブジェクトにタッチすることにより画面が切り替わるようにしてもよい。
【００５１】
本実施形態の端末装置３００による表示出力の他の例を説明する。図７に示したような全体情報表示画面において、受講者や受講者のグループに対する情報処理装置２００の評価結果を表示しても良い。例えば、動画において特定された受講者の画像が活発に動いている場合、活性度が高いと評価し、端末装置３００の表示装置３０４に、活性度の度合いを視覚的に表現した表示を行う。
【００５２】
図１０は、全体情報表示画面の例を示す図である。図１０に示す例では、図７に示した例とは異なり、図９に示したように受講者が数名ずつのグループを構成しており、例えば参加型の授業等のように、グループごとに議論や活動が行われるものとする。図示の例において、受講者は、４つのグループ（グループＡ〜Ｄ）に分けられており、各グループは、表示装置３０４に表示された画面において太線を描画することにより、視認できるように表現されている。
【００５３】
図示の例において、受講者の活性度は、活性度の低い方から順に、値「１」から値「５」の５段階の数値で評価されるものとする。各受講者の活性度の評価値は、表示装置３０４に表示された画面において、各受講者の上に重ねて表示されている。また、各グループの活性度の評価値は、グループに属する受講者の評価値の合計値としており、グループ名に添えて表示されている。図示の例では、グループＡの活性度の評価値は「１８」、グループＢの活性度の評価値は「１５」、グループＣの活性度の評価値は「１４」、グループＤの活性度の評価値は「１５」となっている。なお、図示の例では、受講者やグループの活性度を評価値（数値）で表したが、活性度の段階を表す色を予め設定しておき、図１０に示す各受講者の画像に、評価された受講者の活性度に対応する色のマークを表示したり、グループを表す枠線を、評価されたグループの活性度に対応する色で表示したりしてもよい。
【００５４】
講師は、端末装置３００の表示装置３０４に表示された、図１０のように構成された画面を参照することにより、各受講者や各グループの活性度を定量的に認識することができる。そして、活性度の高いグループに注目してどのような議論や活動が行われているかを観察したり、活性度の低いグループのところへ行って活性度が高まるようにアドバイスを行ったりすることができる。
【００５５】
図１０に示した例では、受講者をテーブルごとにグループ分けしたが、テーブルのような基準となる物がない場合、各受講者の動作に基づいてグループ分けを行ってもよい。例えば、同じグループの受講者は、動作が同期したり連動したりすることが多いと考えられる。そこで、情報処理装置２００の動作検出部２３０がビデオカメラ１００により取得した動画を解析する際に、人体に対応する領域のうち、同期して動いていたり連動して動いている領域をまとめてグループを設定してもよい。このようにグループ分けを行った場合、実際のグループとは異なる誤ったグループ分けを行ってしまうこともあり得る。そのような場合、端末装置３００の操作者が、表示装置３０４の画面上に描画されているグループ分けの太線を修正し、正しいグループ分けを行うようにしてもよい。このような操作が行われた場合、端末装置３００から情報処理装置２００へ、修正されたグループ分けの情報が送られる。情報処理装置２００では、この修正情報を受信すると、動作検出部２３０が、取得した修正情報に基づいてグループ領域を特定し直す。そして、反応評価部２５０が、修正されたグループ分けに基づいてグループの活性度を評価し、出力部２６０により端末装置３００へ送信する。
【００５６】
なお、上記の実施形態では、座席の位置（受講者の位置）の情報を含む教室の全体情報を表示する全体情報表示画面と、講義情報を含む受講者の情報を表示する情報提示画面とを、端末装置３００の表示装置３０４に切り替えて表示する例について説明した。しかしながら、端末装置３００の表示装置３０４に表示する画面は、上記の例に限定されない。例えば、第３の画面として、全体情報表示画面に各受講者の講義情報を重畳して表示し、各受講者の位置の情報と講義情報とを同時に表現する画面を構成してもよい。
【００５７】
＜他の構成例等＞
以上、本実施形態による非言語情報評価システム１０について説明したが、本実施形態の具体的構成は上記のものに限定されない。例えば、上記の構成では、ビデオカメラ１００で取得した動画を情報処理装置２００が処理し、得られた評価結果を出力手段としての端末装置３００が表示出力するとした。これに対し、受講者を認証し、受講者の情報を端末装置３００に表示させる処理においては、動画ではなく静止画を用いてもよい。また、情報処理装置２００と端末装置３００とを分けず、情報処理装置２００が出力手段を兼ねる構成としてもよい。例えば、情報処理装置２００自身が液晶ディスプレイ等の表示装置を備える構成とし、評価結果の表示出力を行うようにしてもよい。また、上記の実施形態では、情報処理装置２００が、ビデオカメラ１００により取得された画像を処理して受講者を特定し、特定した受講者の講義情報を取得し、受講者（およびグループ）の状態を評価することとした。すなわち、上記の実施形態において、情報処理装置２００は、受講者を特定する特定手段、受講者ごとの講義情報を取得する情報取得手段、および、受講者の状態を評価する評価手段として機能する。これに対し、各機能を別個の情報処理装置により実現してもよい。また、上記の実施形態では、ビデオカメラ１００で撮影することにより受講者の画像を取得したが、別途用意された画像データを情報処理装置２００が解析し、評価しても良い。例えば、別途撮影し、磁気ディスク装置等の記憶装置に蓄積された画像データを読み込んで評価しても良い。また、上記の実施形態では、教室内の全体の情報を表示した全体情報表示画面において、単に座席に受講者がいるか否かのみを表示したが（図７の丸印「○」参照）、座席ごとの受講者を特定し得る程度の情報（例えば、氏名、学籍番号など）を表示するようにしてもよい。
【符号の説明】
【００５８】
１０…非言語情報評価システム、２０…ネットワーク、１００…ビデオカメラ、２００…情報処理装置、２０１…ＣＰＵ、２０２…ＲＡＭ、２０３…ＲＯＭ、２０４…外部記憶装置、２０５…ネットワーク・インターフェイス、２１０…動画データ取得部、２１１…顔検出部、２１２…受講者特定部、２１３…学習情報取得部、２２０…領域識別部、２３０…動作検出部、２４０…非言語情報抽出部、２５０…反応評価部、２６０…出力部、３００…端末装置、３０１…ＣＰＵ、３０２…ＲＡＭ、３０３…ＲＯＭ、３０４…表示装置、３０５…入力装置、３０６…ネットワーク・インターフェイス、３１０…処理結果取得部、３２０…表示画像生成部、３３０…表示制御部、３４０…操作受け付け部
【図１】
2018060375.tif 000003
【図２】
2018060375.tif 000004
【図３】
2018060375.tif 000005
【図４】
2018060375.tif 000006
【図５】
2018060375.tif 000007
【図６】
2018060375.tif 000008
【図７】
2018060375.tif 000009
【図８】
2018060375.tif 000010
【図９】
2018060375.tif 000011
【図１０】
2018060375.tif 000012