(57)【要約】【課題】  利用者が視線を向けた人物により、その利用者の心理状態を推定して出力する情報処理装置を提供する。【解決手段】  利用者Ｗの視線Ｅに関する視線情報を視野測定用カメラ１００により取得する視線取得手段と、利用者Ｗの位置に関する位置情報を位置センサー２００により取得する位置取得手段と、第１の表示装置３００Ａ、３００Ｂの表示画像から、利用者Ｗの対話対象となる人物３００ａ、３００ｂの領域に関する領域情報を取得する領域取得手段と、位置情報を基準とした視線情報の第１の表示装置３００Ａ、３００Ｂ内における座標が領域情報内に含まれる場合に、利用者Ｗの心理に関する心理情報を第２の表示装置６００に出力する出力制御手段と、を有することを特徴としている。【選択図】  図１
2008245168.tif 000002
【特許請求の範囲】
【請求項１】
利用者の視線に関する視線情報を測定する視線測定用手段と、
前記利用者の位置に関する位置情報を検出する位置検出用手段と、
前記利用者の対話対象となる人物を出力する画像出力手段と、
前記位置情報を基準とした前記視線情報が前記人物の領域内に関する情報に含まれた場合に、利用者の心理に関する心理情報を出力手段に出力する情報処理手段と、
を有することを特徴とする情報処理システム。
【請求項２】
利用者の視線に関する視線情報を視線測定用手段により取得する視線取得手段と、
前記利用者の位置に関する位置情報を位置検出用手段により取得する位置取得手段と、
画像出力手段の出力画像から、前記利用者の対話対象となる人物の領域に関する領域情報を取得する領域取得手段と、
前記位置情報を基準とした前記視線情報の前記画像出力手段内における座標が前記領域情報内に含まれる場合に、前記利用者の心理に関する心理情報を出力手段に出力する出力制御手段と、
を有することを特徴とする情報処理装置。
【請求項３】
前記領域取得手段は、前記画像出力手段に代えて、前記人物を撮像する撮像手段の撮像画像から前記領域情報を取得することを特徴とする請求項２に記載の情報処理装置。
【請求項４】
前記出力制御手段は、前記視線情報が前記領域情報に含まれた時間に応じて、心理情報を変えて出力することを特徴とする請求項２又は３に記載の情報処理装置。
【請求項５】
前記出力制御手段は、前記視線情報が前記領域情報に含まれた回数、及び／又は、前記人物の人数に応じて、心理情報を変えて出力することを特徴とする請求項２から４のいずれか１項に記載の情報処理装置。
【請求項６】
前記出力制御手段は、前記位置情報と、前記利用者と前記人物との距離に関する距離情報に応じて、心理情報を変えて出力することを特徴とする２から４のいずれか１項に記載の情報処理装置。
【請求項７】
コンピュータを
利用者の視線に関する視線情報を視線測定用手段により取得する視線取得手段と、
前記利用者の位置に関する位置情報を位置検出用手段により取得する位置取得手段と、
画像出力手段の出力画像から、前記利用者の対話対象となる人物の領域に関する領域情報を取得する領域取得手段と、
前記位置情報を基準とした前記視線情報の前記画像出力手段内における座標が前記領域情報内に含まれる場合に、前記利用者の心理に関する心理情報を出力する出力制御手段として機能させることを特徴とする情報処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理技術に関し、特に、対話における被験者の心理状態を把握する技術に関する。
【背景技術】
【０００２】
会議や打合せ等の場における人物の心理状態を情報として提供する技術が知られている。例えば、特許文献１では被験者（以下、利用者という。）の視線等から心理状態を推定することが開示されており、特許文献２ではこのような視線を検出する種々の発明が開示されている。
【０００３】
また、上述した会議が例えばテレビ会議システム等である場合には、利用者の対話対象となる人物が遠隔地側の撮像装置で撮像されて、その撮像画像が利用者側の表示装置に表示される。特許文献３ではこのような撮像画像内の人物を検出する発明が開示されている。
【特許文献１】特開２００４−１１２５１８号公報
【特許文献２】特開２００１−８１９７号公報
【特許文献３】特開２００５−１２８８１５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ところで、上述した特許文献１に開示される発明は、会議等の場における利用者の心理状態を情報として提供しているものの、その心理状態を引き起こした原因までは開示されていない。例えば地震等の自然現象による心理状態を情報として提供する可能性もある。
【０００５】
また、特許文献２に開示される発明では、予め設定された空間地図に対する視線を分析することで当該空間内における視線の検出が可能となるが、対話対象を人物とした場合には当該人物がいる空間は流動的となるため、このような場合には適用できない。さらに、特許文献３には撮像画像内の人物を検出する発明が開示されているものの、利用者との関連付けまでは開示されていない。
【０００６】
本発明は、このような事情に鑑みてなされたものであり、利用者が視線を向けた人物により、その利用者の心理状態を推定して出力する情報処理システム、情報処理装置及び情報処理プログラムを提供する。
【課題を解決するための手段】
【０００７】
請求項１に記載の発明は、利用者の視線に関する視線情報を測定する視線測定用手段と、利用者の位置に関する位置情報を検出する位置検出用手段と、利用者の対話対象となる人物を出力する画像出力手段と、位置情報を基準とした視線情報が人物の領域内に関する情報に含まれた場合に、利用者の心理に関する心理情報を出力手段に出力する情報処理手段と、を有することを特徴とする情報処理システムである。
【０００８】
請求項２に記載の発明は、利用者の視線に関する視線情報を視線測定用手段により取得する視線取得手段と、利用者の位置に関する位置情報を位置検出用手段により取得する位置取得手段と、画像出力手段の出力画像から、利用者の対話対象となる人物の領域に関する領域情報を取得する領域取得手段と、位置情報を基準とした視線情報の画像出力手段内における座標が領域情報内に含まれる場合に、利用者の心理に関する心理情報を出力手段に出力する出力制御手段と、を有することを特徴とする情報処理装置である。
【０００９】
請求項３に記載の発明は、請求項２に記載の発明において、領域取得手段が、画像出力手段に代えて、人物を撮像する撮像手段の撮像画像から領域情報を取得することを特徴としている。
【００１０】
請求項４に記載の発明は、請求項２又は３に記載の発明において、出力制御手段が、視線情報が領域情報に含まれた時間に応じて、心理情報を変えて出力することを特徴としている。
【００１１】
請求項５に記載の発明は、請求項２から４のいずれか１項に記載の発明において、出力制御手段が、視線情報が領域情報に含まれた回数、及び／又は、人物の人数に応じて、心理情報を変えて出力することを特徴としている。
【００１２】
請求項６に記載の発明は、請求項２から４のいずれか１項に記載の発明において、出力制御手段が、位置情報と、利用者と人物との距離に関する距離情報に応じて、心理情報を変えて出力することを特徴としている。
【００１３】
請求項７に記載の発明は、コンピュータを、利用者の視線に関する視線情報を視線測定用手段により取得する視線取得手段と、利用者の位置に関する位置情報を位置検出用手段により取得する位置取得手段と、画像出力手段の出力画像から、利用者の対話対象となる人物の領域に関する領域情報を取得する領域取得手段と、位置情報を基準とした視線情報の画像出力手段内における座標が領域情報内に含まれる場合に、利用者の心理に関する心理情報を出力する出力制御手段として機能させることを特徴とする情報処理プログラムである。
【発明の効果】
【００１４】
請求項１によれば、利用者が視線を向けた画像出力手段内の人物により心理状態を推定して出力することができる。
【００１５】
請求項２によれば、利用者が視線を向けた画像出力手段内の人物により心理状態を推定して出力することができる。
【００１６】
請求項３によれば、画像出力手段に出力される人物の画像に代えて、撮像手段による撮像画像内の人物により心理状態を推定して出力できる。
【００１７】
請求項４によれば、利用者の視線が人物に向けられた時間に応じて、心理状態を変えて出力することができ、利用者の心理状態を詳細に把握できる。
【００１８】
請求項５によれば、利用者の視線が人物に向けられた回数、及び／又は、人物の人数に応じて、心理状態を変えて出力することができ、利用者の心理状態を詳細に把握できる。
【００１９】
請求項６によれば、利用者の位置と人物との距離に応じて、心理状態を変えて出力することができ、利用者の心理状態を詳細に把握できる。
【００２０】
請求項７によれば、利用者が視線を向けた画像出力手段内の人物により心理状態を推定して出力することができる。
【発明を実施するための最良の形態】
【００２１】
（第１実施形態）
以下、本発明の第１実施形態について、図面を参照して具体的に説明する。
図１は本発明の第１実施形態に係る情報処理装置を適用した情報処理システムの構成図、図２はサーバのハードウェア構成を示す機能ブロック図である。
【００２２】
この情報処理システムは、図１に示すように、視野測定用カメラ１００、位置センサー２００、第１の表示装置３００Ａ，３００Ｂ、サーバ４００等から構成される。これらの機器は、例えば例えば公衆通信網や専用線、ケーブルやネットワーク機器等で構成されるネットワーク５００で接続される。
【００２３】
視野測定用カメラ１００は、本発明の視線測定用手段の一例であって、例えばビデオカメラ、監視カメラ、ＣＣＤ（Charge Coupled Device）カメラ等で構成される。視野測定用カメラ１００は撮像画像から利用者Ｗの視線Ｅを既知の手法により推定して測定する。当該手法としては、特許文献１に開示されるように、顔領域が楕円に近いことを利用してその主軸の傾きから顔の向きを推定する手法や、目、鼻、口のような顔面上の特徴点の位置関係の見かけの形状変化をもとに視線方向を推定する手法等がある。尚、視野測定用カメラ１００は、利用者Ｗがどの方向を向いていても、視線Ｅが測定できるように複数配置されていることが望ましい。利用者Ｗが片目又は両目の眼球を上下左右斜め等に動かすと、視野測定用カメラ１００は、これらの動きを所定秒（例えば１／３０秒）毎に測定して撮像画像とする。さらに、当該画像から眼球の動いた方向及び角度を推定して視線情報として保持する。視野測定用カメラ１００は、サーバ４００からの視線情報の取得要求に応じて当該情報の送信処理を行う。
【００２４】
位置センサー２００は、本発明の位置検出用手段の一例であって、例えば監視カメラ、赤外線センサー、受信センサー、圧力センサー等で構成され、体温、無線や超音波等を用いて、利用者Ｗがどの位置に存在するかを検出する。例えば超音波を用いた場合であれば、利用者Ｗに超音波を発信する図示しない小型の発信機を携帯させ、発信機から発信された超音波を天井や壁等に設置された一又は複数の位置センサー２００が受信する。発信機からの超音波の到達時間をそれぞれの位置センサーで検出し、三角測量等によって利用者Ｗの位置を検出する。位置センサー２００は、利用者Ｗの位置を検出すると、例えば３次元座標などの位置情報として保持する。尚、利用者Ｗが携帯する発信機は例えば利用者Ｗの頭部、額、鼻、頬、耳、眉間等が好ましく、利用者の目の位置に近ければ近いほうが望ましい。これにより、上述した利用者Ｗの視線Ｅの基準が目の位置の近傍となる。
【００２５】
第１の表示装置３００Ａ、３００Ｂは、本発明の画像出力手段の一例であって、例えば、液晶ディスプレイ、ＣＲＴディスプレイ等で構成される。第１の表示装置３００Ａ、３００Ｂには、それぞれ、遠隔地側等からビデオカメラ等の撮像装置によって撮像された、利用者Ｗとの対話を行う撮像画像としての対話対象人物３００ａ、３００ｂが表示される。また、第１の表示装置３００Ａ、３００Ｂには、上述した視線情報に基づく利用者Ｗの視線Ｅの軌跡ＴＲを表示させてもよく、例えば、図１に示す第１の表示装置３００Ａでは、対話対象人物３００ａを交差するように、視線Ｅの軌跡ＴＲが表示される。尚、液晶ディスプレイ等に代わり、液晶プロジェクタ等であってもよい。また、遠隔地側と利用者側との距離は特に限定されるものでなく、事業所や建物の異なるフロアや同じ階の異なる部屋等であってもよい。
【００２６】
サーバ４００は、本発明の情報処理装置又は情報処理手段の一例であって、コンピュータ、すなわち、図２に示すように、ＣＰＵ４００ａ等の処理装置、ＳＲＡＭ(Static Random Access Memory)、ＤＲＡＭ(Dynamic RAM)やＳＤＲＡＭ（Synchronous DRAM）、ＮＶＲＡＭ（Non Volatile RAM）等のＲＡＭ４００ｂ、フラッシュメモリ等のＲＯＭ(Read Only Memory)４００ｃ、視野測定用カメラ１００や第１の表示装置３００Ａ、３００Ｂ等との外部装置との入出力を行うＩ／Ｆ（インタフェース）４００ｄ、図示しないハードディスク等の磁気ディスク等がバス４００ｅにより接続されたハードウェア構成により実現される。
【００２７】
したがって、ＣＰＵ４００ａがＲＯＭ４００ｃやハードディスクに格納された所要のプログラムを読み込み、当該プログラムに従った演算を行うことにより、サーバ４００内の各機能が実現される。尚、心理状態に関する情報を出力するために、必要に応じて、本発明の出力手段の一例となる第２の表示装置６００や後述するスピーカ８００、図示しないプリンターや液晶プロジェクタ、ファクシミリ装置等を接続してもよい。
【００２８】
ここで、上述したサーバ４００について図３及び図４を参照してさらに詳しく説明する。
図３はサーバ４００の要部構成を示す機能ブロック図、図４は心理情報テーブルの一例である。
サーバ４００は、図３に示すように、視線情報取得部４０１、位置情報取得部４０２、領域情報第１取得部４０３、心理情報出力制御部４０４、心理情報記憶部４０５等から構成される。
【００２９】
視線情報取得部４０１は、本発明の視線取得手段の一例であって、上述した視野測定用カメラ１００が保持する視線情報を取得する。取得形態としては、例えば、所定秒ごとに視野測定用カメラ１００に対して取得要求を送信する。視線情報取得部４０１は、視線情報を受信すると、心理情報出力制御部４０５に送信する。
【００３０】
位置情報取得部４０２は、本発明の位置取得手段の一例であって、上述した位置センサー２００が保持する位置情報を取得する。取得形態としては、例えば、所定秒ごとに位置センサー２００に対して取得要求を送信する。位置情報取得部４０２は、位置情報を受信すると、心理情報出力制御部４０５に送信する。
【００３１】
領域情報第１取得部４０３は、本発明の領域取得手段の一例であって、上述した第１の表示装置３００Ａ、３００Ｂに表示される表示画像を取得する。そして、取得した表示画像から人物が表示されている領域に関する領域情報を座標等で生成する。当該領域情報は、表示される人数に応じて一又は複数の情報として生成される。領域情報の生成は、一例として、まず、取得した一の撮像画像を保持しておき、所定秒経過後に取得した撮像画像をさらに保持し、両撮像画像を画素単位で比較して、差分画像を抽出する。そして、当該差分画像の画素を所定の閾値と比較し、当該閾値を超えたか否かによって、撮像画像中の輝度変化領域を抽出する。この結果、例えば、輝度変化領域があったと判断できた画素があれば、当該画素は動きがあったことから人物が表示されている領域の一部であると推定でき、このような処理を全画素について行うことにより、人物が表示されている領域に関する表示領域情報を生成することとなる。尚、このような手法以外にも、既知の手法により人物の領域に関する領域情報を生成してもよい。
【００３２】
心理情報出力制御部４０４は、本発明の出力制御手段の一例であって、上述した視線情報、位置情報及び領域情報等を関連付けて、これらの情報に応じた利用者Ｗの心理状態に関する心理情報を出力する。より詳しくは、心理情報出力制御部４０４は、位置情報を視線情報の始点の基準とし、当該視線情報の延長線上に存在する第１の表示装置３００Ａ等との交点座標に関する情報を生成する。これにより、図１に示すように、利用者Ｗの視線がどの表示装置に向けられているか判断可能となり、利用者Ｗの眼球が動くと、その動きに従って交点座標が移動する。当該移動を視認し易くするために、第１の表示装置３００Ａや第１の表示装置３００Ｂの画面上で軌跡を残すようにしてもよい。
【００３３】
次いで、生成された交点座標に関する情報のうち、領域情報に含まれる情報を抽出して、当該情報が、上述した領域情報内に停留した時間を計測する。当該時間は眼球の動きの速さを考慮すると秒単位であること望ましい。また、領域情報の数から対話対象人物３００ａ等の人数を判断するとともに、各人物へ視線が向けられた回数についてもそれぞれ計数する。例えば領域情報から対話対象人物３００ａが１人であると判断された場合に、回数の計数は、図４に示すように、その１人に対して１０秒以上停留した時間が何回存在したか等により計数する。心理状態の検査時間が３００秒（５分）程度である場合には、視線が最初の１５秒程度、一の対話対象人物に停留した後、当該人物から視線が外れ、その後、再度当該人物に対し視線が１０秒以上停留したときには、当該人物へ向けられた回数は２回となる。さらに、領域情報から対話対象人物３００ａが３人であると判断された場合には、それぞれの人物に対して何秒停留したかによって判断する。
【００３４】
このように、心理情報出力制御部４０４は、上述した対話対象となる人物に対する視線の停留時間、対話対象人物の人数及び対話対象人物へ向けられた回数とを関連づけて、これらの内容に応じた利用者Ｗの心理状態に関する情報を心理情報記憶部４０５から抽出して出力する。
【００３５】
ここで、図４に示す各心理状態について簡単に説明する。心理状態は、図４に示すように、「状況確認」、「対話の調節」、「関心の表明」、「選択の迷い」及び「親密さの表出」で構成される。例えば「状況確認」であれば、利用者が対話の対象となる人物に向ける視線は２秒未満である。すなわち、利用者が当該人物に向ける視線は、当該人物に関心があるとして向ける視線というより、むしろ、当該人物やその周辺環境等の状況を確認するにすぎないということを示す視線であることを示している。逆に、「親密さの表出」であれば、利用者の視線は、かなりの頻度で対話対象となる人物に向けられる。したがって、利用者は当該人物と親密な関係にある、または、親密になることを希望する心理状態であることが推定される。
【００３６】
また、「対話の調節」であれば、利用者と対話対象となる人物との対話の中で、例えば話しを切り替える場合等に利用者が視線を当該人物からそらすことがある。このような視線の場合には、利用者は当該人物との対話を続ける上で一時的に対話を調節しているものと心理状態を推定する。尚、心理状態は、第１実施形態や後述する第２実施形態に記載するものだけに限られず、認知心理学において知られている種々の心理状態を設定することが可能である。
【００３７】
心理状態に関する情報は予めサーバ４００を管理する管理者等によって心理情報記憶部４０５に記憶される。また、図４に示す利用者の心理状態は例えば「選択の迷い／関心の表明／対話の調節」というようにスラッシュで区切られているが、この３つの心理状態を１つの情報として出力してもよいし、対話対象人物へ向けられた回数をさらに細かく区分して、区分された回数にそれぞれの心理状態を関連づけて出力するようにしてもよい。
【００３８】
続いて、上述したサーバ４００の動作について図５を参照して説明する。
図５はサーバの動作の一例を示すフローチャートである。
サーバ４００は、利用者Ｗの視線情報を視野測定用カメラ１００から取得し（ステップＳ１）、次いで、利用者Ｗの位置情報を位置センサー２００から取得する（ステップＳ２）。さらに、サーバ４００は、第１の表示装置３００Ａ等から表示画像を取得して、当該画像内に表示された人物に関する領域情報を取得する（ステップＳ３）。
【００３９】
サーバ４００は、ここで、取得したこれらの情報から、位置情報を基準とした視線情報のうち領域情報に含まれる視線情報があるか否かを判定する（ステップＳ４）。そして、領域情報内に含まれる、位置情報を基準とした視線情報があると判定した場合には、領域情報内に含まれた時間・回数等に応じた心理情報を出力し（ステップＳ５）、領域情報内に含まれる、位置情報を基準とした視線情報がないと判定した場合には、処理を終了する。
【００４０】
（第２実施形態）
続いて、本発明の第２実施形態について、図面を参照して具体的に説明する。
図６は本発明の第２実施形態に係る情報処理装置を適用した情報処理システムの構成図である。尚、図１に示される情報処理システムの各部と同様の構成には同一符号を付し、その説明を省略する。
この情報処理システムは、図６に示すように、アイカメラ１５０、位置センサー２００、サーバ４００、ＣＣＤカメラ７００等から構成される。
【００４１】
アイカメラ１５０は、本発明の視線測定用手段の一例であって、利用者Ｗの視線に関する視線情報を測定する。より詳しくは、アイカメラ１５０は、赤外線を照射する照射装置と、当該赤外線の眼球に対する反射光を撮像するビデオカメラ等で構成される。利用者Ｗが眼球を上下左右斜め等に動かすと、これらの方向及び角度を視線情報として測定する。アイカメラ１５０は、当該視線情報を保持し、サーバ４００からの視線情報の取得要求に応じて視線情報の送信処理を行う。
【００４２】
ＣＣＤカメラ７００は、本発明の撮像手段の一例であって、利用者Ｍの対話対象となる対話対象人物３００ａ、３００ｂを撮像する。ＣＣＤカメラ７００は、図７に示すように、アイカメラ１５０を具備するメガネやゴーグル等の眉間近傍に一体となって形成される。したがって、ＣＣＤカメラ７００は、利用者Ｍの視線と同程度の撮像画像を得ることとなる。ＣＣＤカメラ７００は、当該撮像画像を保持し、サーバ４００からの撮像画像の取得要求に応じて撮像画像の送信処理を行う。
【００４３】
次に、図６に示すサーバ４００について図８を参照してさらに詳しく説明する。
図８は図６に示すサーバ４００の要部構成を示す機能ブロック図、図９は心理情報テーブルの他の一例である。
【００４４】
サーバ４００は、図８に示すように、視線情報取得部４０１、位置情報取得部４０２、心理情報出力制御部４０４、心理情報記憶部４０５、領域情報第２取得部４０６等から構成される。尚、図３に示されるサーバ４００の各部と同様の構成には同一符号を付し、その説明を省略する。
【００４５】
領域情報第２取得部４０６は、本発明の領域取得手段の一例であって、上述したＣＣＤカメラ７００による撮像画像を取得する。そして、取得した撮像画像から人物が表示されている領域に関する領域情報を座標等で生成する。領域情報の生成は、第１実施形態で説明した表示画像から人物を検出する手法と同様の手法を用いることができる。
【００４６】
したがって、心理情報出力制御部４０４は、上述した視線情報、位置情報及び領域情報等を関連付けて、これらの情報に応じた利用者Ｗの心理情報を出力する。より詳しくは、心理情報出力部４０４は、位置情報を視線情報の始点の基準とし、当該視線情報の延長線と撮像画像との交点座標に関する情報を生成する。交点座標に関する情報が、撮像領域情報内に含まれていれば、利用者Ｍの視線が対話対象人物に向けられていると判断可能となる。
【００４７】
また、心理情報出力制御部４０４は、撮像画像上の対話対象人物３００ａ等の大きさと利用者Ｗの位置情報とに基づいて、利用者Ｍと対話対象人物３００ａ等との距離を示す距離情報を生成する。例えば、撮像画像上の対話対象人物３００ａ等の大きさが撮像画像の大部分を占める場合には、利用者Ｍと対話対象人物３００ａ等との近いと判断し、その逆の場合には、利用者Ｍと対話対象人物３００ａ等との遠いと判断する。さらに、対話対象人物３００ａ等の顔や被服等に特徴点を設けておき、当該特徴点が撮像画像上において、どの程度拡大しているか、又は、縮小しているかを計測することにより、利用者Ｍと対話対象人物３００ａ等との精密な距離情報を生成するようにしてもよい。
【００４８】
次いで、生成された交点座標に関する情報が、上述した撮像領域情報内に停留する時間を計測する。当該時間についても、第１実施形態と同様に、眼球の動きの速さを考慮すると秒単位であること望ましい。
【００４９】
このように、心理情報出力制御部４０４は、上述した人物に対する視線の停留時間、利用者Ｍと対話対象人物３００ａ等との距離情報に基づいて、これらの内容に応じた利用者Ｍの心理情報を心理情報記憶部４０５から抽出して出力する。また、図９に示す利用者の心理状態は例えば「状況の確認／対話の調節／関心の表明」というようにスラッシュで区切られているが、この３つの心理状態を１つの情報として出力してもよいし、対話対象人物との距離情報をさらに細かく区分して、区分された回数にそれぞれの心理状態を関連づけて出力するようにしてもよい。
【００５０】
続いて、上述したサーバ４００の動作について図１０を参照して説明する。
図１０は第２実施形態に係るサーバ４００の動作の一例を示すフローチャートである。
サーバ４００は、利用者Ｍの視線情報をアイカメラ１５０から取得し（ステップＳ１１）、次いで、対話対象人物３００ａ等が撮像された撮像画像を利用者ＭのＣＣＤカメラ７００から取得する（ステップＳ１２）。尚、視線情報には、対話対象人物に対する視線だけでなく、その周囲に対する視線も含まれる。さらに、サーバ４００は、利用者Ｍの位置を位置センサー２００から取得して（ステップＳ１３）、撮像画像内における対話対象人物の領域情報を生成する（ステップＳ１４）。
【００５１】
サーバ４００は、次いで、対話対象人物に対する視線情報を、ステップＳ１１の処理で取得した視線情報から抽出する（ステップＳ１５）。これにより、利用者Ｍの対話対象人物３００ａ等に対する視線が、これらの向けられていない視線から区別される。さらに、生成された領域情報と位置センサー２００による利用者Ｍの位置情報とから利用者Ｍと対話対象人物３００ａとの距離情報を生成する（ステップＳ１６）。
【００５２】
サーバ４００は、ここで、視線情報が抽出できたか否かを判定する（ステップＳ１７）。すなわち、視線情報が抽出できなかった場合には、利用者Ｍの視線は対話対象人物３００ａ等に向けられていないと判断でき、処理を終了する。一方で、視線情報が抽出できた場合には、利用者Ｍの視線は少なくとも対話対象人物３００ａ等に向けられていたと判断でき、生成された距離情報と第２の視線情報が連続して領域情報に含まれた時間とを関連付けて、その関連付けに応じた心理情報を出力する（ステップＳ１８）。
【００５３】
なお、本発明は、上述した実施の形態に限定されるものではなく、その要旨を逸脱しない範囲内で種々変形して実施することが可能である。例えば、本発明のプログラムを通信手段により提供することはもちろん、ＣＤ−ＲＯＭ等の記録媒体に格納して提供することも可能である。
【００５４】
また、上述した第１実施形態及び第２実施形態では、視線情報や位置情報を、これらを取得したそれぞれの機器に保持しておき、サーバ４００からの要求があった場合にこれらの情報の送信を行うようにしたが、視線情報等を取得する度に逐次送信してもよい。また、サーバ４００を機能させる各構成要素をサーバ４００単体に形成したが、各構成要素の少なくとも一部を別体としてそれぞれを接続して機能させるようにしてもよい。また、視線情報が領域情報に含まれない場合に、利用者が対話対象人物に対して無関心である旨の心理情報を出力するようにしてもよい。
【産業上の利用可能性】
【００５５】
以上説明したように、本発明によれば、利用者が視線を向けた人物により心理状態を推定して出力することができ、例えば、警察における取調べにおいて対話対象となる人物の心理を把握できる等、産業上の利用可能性が高い。
【図面の簡単な説明】
【００５６】
【図１】第１実施形態に係る情報処理システムの構成図である。
【図２】サーバのハードウェア構成を示す機能ブロック図である。
【図３】サーバの要部構成を示す機能ブロック図である。
【図４】心理情報テーブルの一例である。
【図５】サーバの動作の一例を示すフローチャートである。
【図６】第２実施形態に係る情報処理システムの構成図である。
【図７】ＣＣＤカメラ付眼鏡型アイカメラの模式図である。
【図８】サーバの要部構成を示す機能ブロック図である。
【図９】心理情報テーブルの他の一例である。
【図１０】サーバの動作の一例を示すフローチャートである。
【符号の説明】
【００５７】
１００  視野測定用カメラ
１５０  アイカメラ
２００  位置センサー
３００Ａ、３００Ｂ  第１の表示装置
３００ａ、３００ｂ  対話対象人物
４００  サーバ
４００ａ  ＣＰＵ
４００ｂ  ＲＡＭ
４００ｃ  ＲＯＭ
４００ｄ  Ｉ／Ｆ
４００ｅ  バス
４０１  視線情報取得部
４０２  位置情報取得部
４０３  領域情報第１取得部
４０４  心理情報出力制御部
４０５  心理情報記憶部
４０６  領域情報第２取得部
５００  ネットワーク
６００  第２の表示装置
７００  ＣＣＤカメラ
８００  スピーカ
Ｗ、Ｍ  利用者
Ｅ  視線
ＴＲ  軌跡
【図１】
2008245168.tif 000003
【図２】
2008245168.tif 000004
【図３】
2008245168.tif 000005
【図４】
2008245168.tif 000006
【図５】
2008245168.tif 000007
【図６】
2008245168.tif 000008
【図７】
2008245168.tif 000009
【図８】
2008245168.tif 000010
【図９】
2008245168.tif 000011
【図１０】
2008245168.tif 000012