(57)【要約】【課題】観察空間における観察者の挙動として、観察方向を変えるための観察者の頭部の移動を直感的に把握することができ、かつ視野撮像画像における視野の変化やカメラぶれによる観察者の映像酔いを低減することが可能な観察状態表示システムを提供する。【解決手段】本発明の観察状態表示システムは、観察者の状態を表示する観察状態表示システムであり、観察方向の視野の画像を視野撮像画像として取得する視野画像取得部と、観察者の頭部の姿勢である頭部姿勢を検出する頭部姿勢情報取得部と、視野撮像画像が表示される表示枠の位置を頭部姿勢に対応させて、表示画面内で移動させる表示枠表示制御部とを備える。【選択図】図１
2020177066.tif 000002
【特許請求の範囲】
【請求項１】
観察者の状態を表示する観察状態表示システムであり、
前記観察者の観察方向の視野の画像を視野撮像画像として取得する視野画像取得部と、
前記観察者の頭部の姿勢である頭部姿勢を取得する頭部姿勢情報取得部と、
前記視野撮像画像が表示される表示枠の位置を前記頭部姿勢に対応させて、表示画面内で移動させる表示枠表示制御部と
を備えることを特徴とする観察状態表示システム。
【請求項２】
表示枠表示制御部が、
前記表示画面内における前記表示枠の移動角を、頭部姿勢の姿勢角の変化量に対応させて、当該表示枠を移動させる
ことを特徴とする請求項１に記載の観察状態表示システム。
【請求項３】
表示枠表示制御部が、
前記移動角の方向及び大きさの各々に対応させて、前記表示枠及び当該表示枠内の前記視野撮像画像に対する射影変換を行なう
ことを特徴とする請求項２に記載の観察状態表示システム。
【請求項４】
前記観察者の前記視線の方向を計測する視線計測部と、
当該視線の方向に対応した前記注視点の位置を示す注視点マーカーを、前記視野撮像画像に重畳させて表示する注視点マーカー表示部と
をさらに備えることを特徴とする請求項１から請求項３のいずれか一項に記載の観察状態表示システム。
【請求項５】
前記頭部姿勢情報取得部が、
前記観察者の頭部に所定の装具により取り付けられており、前記観察者の頭部姿勢における平行移動及び回転移動の各々を計測する加速度センサーまたは角速度センサーのいずれかまたは両方が設けられている
ことを特徴とする請求項１から請求項４のいずれか一項に記載の観察状態表示システム。
【請求項６】
前記観察者が観察を行なう観察空間に設けられた撮像装置をさらに備え、
前記頭部姿勢情報取得部が、前記撮像装置の撮像する前記観察者の動画像から、当該観察者の頭部姿勢を検出する
ことを特徴とする請求項１から請求項４のいずれか一項に記載の観察状態表示システム。
【請求項７】
前記観察者の頭部に所定の装具により、当該頭部における眼の位置の近傍における、前記観察者の視野が撮像可能な位置に取り付けられ、前記視野撮像画像を撮像する視野撮像装置をさらに備え、
前記視野画像取得部が、前記視野撮像装置から前記視野撮像画像を取得する
ことを特徴とする請求項１から請求項５のいずれか一項に記載の観察状態表示システム。
【請求項８】
観察者の状態を表示する観察状態表示方法であり、
視野画像取得部が、前記観察者の観察方向の視野の画像を視野撮像画像として取得する視野画像取得過程と、
頭部姿勢情報取得部が、前記観察者の頭部の姿勢である頭部姿勢を取得する頭部姿勢検出過程と、
表示枠表示制御部が、前記視野撮像画像が表示される表示枠の位置を前記頭部姿勢に対応させて、表示画面内で移動させる表示枠表示制御過程と
を含むことを特徴とする観察状態表示方法。
【請求項９】
観察者の状態を表示する観察状態表示システムの動作をコンピュータに実行させるプログラムであり、
前記コンピュータを、
前記観察者の観察方向の視野の画像を視野撮像画像として取得する視野画像取得手段、
前記観察者の頭部の姿勢である頭部姿勢を取得する頭部姿勢検出手段、
前記視野撮像画像が表示される表示枠の位置を前記頭部姿勢に対応させて、表示画面内で移動させる表示枠表示制御手段
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、観察者の観察状態を表示する観察状態表示システム、観察状態表示方法及びプログラムに関する。
【背景技術】
【０００２】
様々な観察対象が存在する店舗や展示場の観察する対象物が陳列された陳列空間などの３次元空間（以下、観察空間と称す）の中を、観察者が移動しながら上記対象物を観察する場合にも使用可能な、観察者の視線方向を計測するための装置として、視線方向を検出する視線計測機能と、観察者の観察方向の視野の画像を撮像する視野ビデオカメラとが一体化された装着型の視線計測装置が実用化されている（例えば、特許文献１及び特許文献２参照）。
一般に、観察者の頭部に固定される頭部装着型の視線計測装置（以下、頭部装着計測装置と称す）の場合、上記視線計測機能から得られる視線データは、観察者の頭部に対して固定された頭部座標系での視線方向を示している。
【０００３】
上記視野カメラは、頭部装着計測装置において、両眼の中央の位置に設けられている。観察者の観察方向の視野における視線方向を計測する際、視野カメラにより観察者の観察方向の視野の画像として視野撮像画像を撮像する。
そして、視線方向は、視線計測装置による検出される視点の位置として、視野カメラの頭部装着計測装置における取付位置、画角などの幾何学パラメータに基づき、視野撮像画像上の画素位置と一意に対応付けられる。
【０００４】
これにより、観察者の位置や姿勢の情報を用いることなく、視野撮像画像上における観察者の注視する視点（以下、注視点と称す）の位置として注視点マーカーを重畳させて表示し、実験者に対して観察者の注視点の位置をビジュアルに示すことができる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平０６−１８９９０６号公報
【特許文献２】特開２０１２−１４６１９９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上述したように、装着型視線計測装置を用いることにより、観察者が観察空間の中を、移動しながら対象物を観察する際、観察者の観察空間における観察動作を阻害することがない。
このため、特許文献１及び特許文献２の装着型視線計測装置によって、実験者は、観察空間における観察者の自由な意志による移動による、観察者の観察空間内の注視点を、ビジュアルにかつリアルタイムに求めることができる。
【０００７】
しかし、観察空間において観察方向を変える際、観察者は、自身の興味ある対象物、すなわち注視点の存在する観察方向を向く必要性から、観察位置を移動したり、観察方向の視野における視線を変更するため頭部の姿勢を変化させたりする。
このとき、観察空間に対して固定された座標系（以下、グローバル座標系と示す）と、観察者が観察する視野を撮像する視野カメラの頭部座標系との関係も変化する。
【０００８】
一方、観察者の心理状態を高い精度で解析する場合など、観察方向を変えるための頭部の動き（頭部の姿勢の変化）と、観察方向の視野内における視線との双方の関連性を解析する必要がある。
しかしながら、特許文献１及び特許文献２においては、頭部座標系において計測された注視点をグローバル座標系に変換して、注視点マーカーとしてプロットしており、観察方向、すなわち観察者の頭部の動きを解析することについては全く考慮されていない。  
このため、特許文献１及び特許文献２においては、観察者の視線に対応する注視点について解析する構成のため、対象物に対する視線を求めることができる一方、観察方向を変化させた頭部の姿勢情報をビジュアルに示すことはできない。
【０００９】
観察者の心理状態を観察する際、観察方法を変化させた場合における頭部の姿勢情報を解析する必要があり、頭部座標系での撮像時の視野のままの視野撮像画像に対して直接に注視点マーカーをプロットすることが考えられる。
これにより、観察方向を変化させる度に、視野撮像画像が頭部の動きに合わせて変化し、かつ視線方向が変化すると視野撮像画像における注視点マーカーの位置が変化することで、観察方向と注視点の位置との情報を個々に示すことができる。
【００１０】
上述したように、視野撮像画像が観察方向の変化に対応して視野が移動するため、注視点に対して独立に、視野の移動の方向から頭部の動きを観察することは可能となる。
しかしながら、視野撮像画像における画像の変化から、観察者の視野の移動の方向、すなわち頭部がどちらの方向に変化したかを直感的に把握することは困難である。
また、視野撮像画像は、観察者の頭部の移動及び姿勢の変化に起因するカメラぶれが大きい。そのため、実験者は、視野撮像画像における視野の変化及びカメラぶれ、すなわち不規則に揺れた画像による映像酔いを起し、長時間にわたる観察者の解析が困難となる場合がある。
【００１１】
本発明は、このような状況に鑑みてなされたもので、観察空間における観察者の挙動として、観察方向を変えるための観察者の頭部の移動を直感的に把握することができ、かつ視野撮像画像における視野の変化やカメラぶれによる実験者の映像酔いを低減することが可能な観察状態表示システム、観察状態表示方法及びプログラムを提供する。
【課題を解決するための手段】
【００１２】
上述した課題を解決するために、本発明の観察状態表示システムは、観察者の状態を表示する観察状態表示システムであり、前記観察者の観察方向の視野の画像を視野撮像画像として取得する視野画像取得部と、前記観察者の頭部の姿勢である頭部姿勢を検出する頭部姿勢情報取得部と、前記視野撮像画像が表示される表示枠の位置を前記頭部姿勢に対応させて、表示画面内で移動させる表示枠表示制御部とを備えることを特徴とする。
【００１３】
本発明の観察状態表示システムは、表示枠表示制御部が、前記表示画面内における前記表示枠の移動角を、頭部姿勢の姿勢角の変化量に対応させて、当該表示枠を移動させることを特徴とする。
【００１４】
本発明の観察状態表示システムは、表示枠表示制御部が、前記移動角の方向及び大きさの各々に対応させて、前記表示枠及び当該表示枠内の前記視野撮像画像に対する射影変換を行なうことを特徴とする。
【００１５】
本発明の観察状態表示システムは、前記観察者の前記視線の方向を計測する視線計測部と、当該視線の方向に対応した前記注視点の位置を示す注視点マーカーを、前記視野撮像画像に重畳させて表示する注視点マーカー表示部とをさらに備えることを特徴とする。
【００１６】
本発明の観察状態表示システムは、前記頭部姿勢情報取得部が、前記観察者の頭部に所定の装具により取り付けられており、前記観察者の頭部姿勢における回転移動を計測する加速度センサーまたは角速度センサーのいずれかまたは両方が設けられていることを特徴とする。
【００１７】
本発明の観察状態表示システムは、前記観察者が観察を行なう観察空間に設けられた撮像装置をさらに備え、前記頭部姿勢情報取得部が、前記撮像装置の撮像する前記観察者の動画像から、当該観察者の頭部姿勢を検出することを特徴とする。
【００１８】
本発明の観察状態表示システムは、前記観察者の頭部に所定の装具により、当該頭部における眼の位置の近傍における、前記観察者の視野が撮像可能な位置に取り付けられ、前記視野撮像画像を撮像する視野撮像装置をさらに備え、前記視野画像取得部が、前記視野撮像装置から前記視野撮像画像を取得することを特徴とする。
【００１９】
本発明の観察状態表示方法は、観察者の状態を表示する観察状態表示方法であり、視野画像取得部が、前記観察方向の視野の画像を視野撮像画像として取得する視野画像取得過程と、頭部姿勢情報取得部が、前記観察者の頭部の姿勢である頭部姿勢を検出する頭部姿勢検出過程と、表示枠表示制御部が、前記視野撮像画像が表示される表示枠の位置を前記頭部姿勢に対応させて、表示画面内で移動させる表示枠表示制御過程とを含むことを特徴とする。
【００２０】
本発明のプログラムは、観察者の状態を表示する観察状態表示システムの動作をコンピュータに実行させるプログラムであり、前記コンピュータを、前記観察方向の視野の画像を視野撮像画像として取得する視野画像取得手段、前記観察者の頭部の姿勢である頭部姿勢を検出する頭部姿勢検出手段、前記視野撮像画像が表示される表示枠の位置を前記頭部姿勢に対応させて、表示画面内で移動させる表示枠表示制御手段として機能させるためのプログラムである。
【発明の効果】
【００２１】
以上説明したように、本発明によれば、観察空間における観察者の挙動として、観察方向を変えるための観察者の頭部の移動を直感的に把握することができ、かつ視野撮像画像における視野の変化やカメラぶれによる観察者の映像酔いを低減することが可能な観察状態表示システム、観察状態表示方法及びプログラムを提供することができる。
【図面の簡単な説明】
【００２２】
【図１】本実施形態による観察状態表示システムの構成例を示すブロック図である。
【図２】本実施形態による観察状態表示システム１における観察者情報取得装置２０の構成例を示す概念図である。
【図３】観察空間３１０における観察者の観察方向及び視線の一例を示す概念図である。
【図４】画像表示部１６の表示画面における視野撮像画像が表示される表示枠の表示位置の制御を説明する概念図である。
【図５】観察空間３１０＿１における観察者の観察方向及び視線の一例を示す概念図である。
【図６】画像表示部１６の表示画面における視野撮像画像が表示される表示枠の表示位置の制御を説明する概念図である。
【図７】本実施形態による観察状態表示システム１の視線計測処理の動作例を説明するフローチャートである。
【発明を実施するための形態】
【００２３】
以下、本発明の一実施形態について、図面を参照して説明する。
図１は、本実施形態による観察状態表示システムの構成例を示すブロック図である。図１において、観察状態表示システム１は、観察者の状態を表示するシステムであり、観察状態表示装置１０及び観察者情報取得装置２０の各々を備えている。観察状態表示装置１０及び観察者情報取得装置２０の各々は、所定のネットワーク（不図示）により接続されている。
観察者情報取得装置２０は、観察状態表示装置１０に対して、視線計測情報、画像情報及び頭部姿勢情報の各々を含む観察者の観察する視野に関する情報を、観察状態表示装置１０に対して供給する。
【００２４】
図２は、本実施形態による観察状態表示システム１における観察者情報取得装置２０の構成例を示す概念図である。観察者情報取得装置２０は、頭部取付治具２１０、視線計測部２２０、視野撮像装置２３０及び姿勢情報取得装置２４０の各々を備えている。
頭部取付治具２１０は、例えばヘルメット形状やメガネ形状をした、観察者２００が頭部に対して実装する治具であり、頭部の動きに対して装着時の位置からずれないように固定される構成の装具である。ここで、頭部取付治具２１０としてＨＭＤ（Head Mounted Display）を用いる場合、視野撮像装置２３０により撮像される視野撮像画像に代えて、ＨＭＤに表示される仮想空間の画像を視野撮像画像として用いることが出来る。そして、視線計測部２２０、視野撮像装置２３０及び姿勢情報取得装置２４０の各々をＨＭＤに取り付け（例えば、内蔵する）、上記視野撮像画像を表示する構成とする。
【００２５】
視線計測部２２０は、観察者２００の視線を計測し、この視線に対応した観察方向の視野内における、観察者２００の注視している視点である注視点の位置を示す情報である視線計測情報を求める。
そして、視線計測部２２０は、求めた視線計測情報を観察状態表示装置１０に対して供給する。本実施形態において、視線計測情報は、後述する視野撮像画像の２次元平面における注視点の座標位置を示す情報である。
【００２６】
例えば、矩形上の視野撮像画像の左下の位置座標を（０．０，０．０）とし、右上の位置座標を（１．０，１．０）として、この座標範囲において、注視点の座標位置が示される。ここで、観察者２００の視線方向と視野撮像画像における注視点の座標位置との関係性は、予め頭部取付治具２１０における視線計測部２２０及び視野撮像装置２３０の取り付けられた相対位置を考慮して、観察者毎に予め校正して求めておく。
【００２７】
視野撮像装置２３０は、観察者２００の観察方向における視野の動画像（６０フレーム／秒）を撮像し、撮像画像を上記視野撮像画像（画像情報）として観察状態表示装置１０に供給する。
姿勢情報取得装置２４０は、本実施形態において、例えば、姿勢センサーであり、ジャイロセンサー及び加速度センサーとの各々から構成されている。ここで、ジャイロセンサーは、観察者２００の頭部の回転情報（頭部のパン、チルト及びロールの各々における角度変化量）を取得する。加速度センサーは、重力の方向から観察者２００の頭の回転情報を算出するための加速度を取得する。姿勢情報取得装置２４０は、取得した移動情報及び回転情報の各々を、頭部姿勢情報として観察状態表示装置１０に供給する。頭部姿勢情報における回転情報は、例えば四元数で表された回転角の時系列データ（後述するタイムスタンプに対応）である。
【００２８】
図１に戻り、 観察状態表示装置１０は、視線情報取得部１１、視野画像取得部１２、注視点マーカー重畳部１３、頭部姿勢情報取得部１４、表示枠表示制御部１５、画像表示部１６及び記憶部１７の各々を備えている。
視線情報取得部１１は、視線計測部２２０から供給される、視野撮像画像における注視点の座標位置を示す視線計測情報を、タイムスタンプに対応させて記憶部１７に対して書き込んで記憶させる。このタイムスタンプは、フレーム単位で撮像される視野撮像画像が撮像された順番を時系列に示す情報である。
視野画像取得部１２は、視野撮像装置２３０から供給される、フレーム単位の視野撮像画像を、タイムスタンプに対応させて、記憶部１７に対して書き込んで記憶させる。
【００２９】
注視点マーカー重畳部１３は、記憶部１７から視野撮像画像を読み出し、読み出した視野撮像画像における注視点の座標位置に、注視点マーカーの画像を重畳させる。そして、注視点マーカー重畳部１３は、注視点マーカーを重畳させた視野撮像画像を記憶部１７に対して書き込んで記憶させる（例えば、読み出した視野撮像画像の画像データに上書きする）。
【００３０】
頭部姿勢情報取得部１４は、姿勢情報取得装置２４０から供給される頭部姿勢情報を入力し、表示枠表示制御部１５に対して出力する。
表示枠表示制御部１５は、観察者２００の頭部姿勢情報から、観察方向の変化を検出し、画像表示部１６の表示画面における表示枠の表示位置を制御する。この表示枠は、視野撮像画像が表示されるサブ画面の枠である。
【００３１】
図３は、観察空間３１０における観察者の観察方向及び視線の一例を示す概念図である。図３は、観察空間３１０の上部から見た平面図である。観察空間３１０には、対象物体３４０及び対象物体３５０の各々が配置されている。
観察方向３３０は、姿勢情報取得装置２４０から供給される頭部姿勢情報（第１）に基づいて求められる。視野撮像装置２３０は、観察者２００の観察方向３３０方向の視野の画像を視野撮像画像として撮像する。視線計測部２２０は、観察者２００の視線３６０を計測し、上記視野撮像画像における注視点の位置座標を求め、視線計測情報として出力する。
【００３２】
図４は、画像表示部１６の表示画面における視野撮像画像が表示される表示枠の表示位置の制御を説明する概念図である。
図４（ａ）は、図３における観察方向３３０における視野撮像画像に、注視点マーカー４２０が重畳された視野撮像画像４１０を示している。注視点マーカー４２０は、例えば十字形状のマークであり、対象物体３５０の画像４５０に重畳されている。すなわち、観察者２００の視線は、対象物体３５０の方向に向いている。
【００３３】
図４（ｂ）は、画像表示部１６における表示画面５００内において、頭部姿勢情報に基づく表示位置に表示された表示枠５１０内に、図４（ａ）の視野撮像画像４１０が表示されている状態を示している。
図４（ｂ）においては、観察者が例えば観察空間３１０において正面を向いている、ずなわち観察方向が観察者にとって正面である初期状態であるため、表示枠５１０が表示画面５００内の中央に表示されている。
このとき、表示枠表示制御部１５は、観察者２００が観察している視野の視角と、表示画面５００を観察している実験者が視認する表示枠５１０の視角との各々が同様となるように、それぞれの視角を対応させて表示する。
【００３４】
図５は、観察空間３１０＿１における観察者の観察方向及び視線の一例を示す概念図である。図５は、図３と同様に、観察空間３１０の上部から見た平面図である。観察空間３１０＿１には、図３と同様に、対象物体３４０及び対象物体３５０の各々が配置されている。
観察方向３３０＿１は、姿勢情報取得装置２４０から供給される頭部姿勢情報（第２）に基づいて求められる。視野撮像装置２３０は、観察者２００の観察方向３３０＿１方向の視野の画像を視野撮像画像として撮像する。視線計測部２２０は、観察者２００の視線３６０＿１を計測し、上記視野撮像画像における注視点の位置座標を求め、視線計測情報として出力する。
【００３５】
図６は、画像表示部１６の表示画面における視野撮像画像が表示される表示枠の表示位置の制御を説明する概念図である。
図６（ａ）は、図３における観察方向３３０＿１における視野撮像画像に、注視点マーカー４２０＿１が重畳された視野撮像画像４１０＿１を示している。注視点マーカー４２０＿１は、例えば十字形状のマークであり、対象物体３５０の画像４５０に重畳されている。すなわち、観察者２００の視線は、図４（ａ）と同様に、対象物体３５０の方向に向いている。
【００３６】
図６（ｂ）は、画像表示部１６における表示画面５００内において、頭部姿勢情報に基づく表示位置に表示された表示枠５１０＿１内に、図６（ａ）の視野撮像画像４１０＿１が表示されている状態を示している。
図６（ｂ）においては、図３の初期状態の位置（及び姿勢）に対して、所定の角度変化量でパン方向（例えば、図５において左方向）に、観察者２００が頭部を回転させた頭部の姿勢変化後の状態を示している。
【００３７】
このとき、表示枠表示制御部１５は、図４（ｂ）の場合と同様に、観察者２００が観察している視野の視角と、表示画面５００を観察している実験者が視認する表示枠５１０＿１の視角との各々が同様となるように、それぞれの視角を対応させて表示する。また、表示枠表示制御部１５は、頭部姿勢情報の示す観察者２００の頭の動き（平行移動、回転移動）、すなわち頭部姿勢情報の示す観察方向の変化に対応させ、表示画面５００内における表示枠５１０＿１の表示位置を制御する。
【００３８】
例えば、図６（ｂ）の場合、観察者２００が頭をパン方向において左方向に所定の角度変化量で回転したことで、観察者２００の観察方向が左方向に変化するため、表示枠表示制御部１５は、角度変化量に対応させて、表示画面５００における表示枠５１０＿１の表示位置を左方向に移動させる。この際、表示枠表示制御部１５は、観察者の頭の回転における角度変化量と、表示画面において表示枠５１０＿１を視認する際の実験者の頭の回転における角度変化量とが同等となる表示位置に、表示画面５００における表示枠５１０＿１を移動させる。また、観察者２００が頭をパン方向において右方向に所定の角度変化量で回転させた場合、観察者２００の観察方向が右方向に変化するため、表示枠表示制御部１５は、角度変化量に対応させて、表示画面５００における表示枠５１０＿１の表示位置を右方向に移動させる。
【００３９】
同様に、観察者２００が頭をチルト方向において上方向に所定の角度変化量で回転させた場合、観察者２００の観察方向が上方向に変化するため、表示枠表示制御部１５は、角度変化量に対応させて、表示画面５００における表示枠５１０＿１の表示位置を上方向に移動させる。また、観察者２００が頭をチルト方向において下方向に所定の角度変化量で回転させた場合、観察者２００の観察方向が下方向に変化するため、表示枠表示制御部１５は、角度変化量に対応させて、表示画面５００における表示枠５１０＿１の表示位置を下方向に移動させる。
【００４０】
また、同様に、観察者２００が頭をロール方向において時計回り方向に所定の角度変化量で回転させた場合、観察者２００の観察視野が時計回りに変化するため、表示枠表示制御部１５は、角度変化量に対応させて、表示画面５００における表示枠５１０＿１の表示角度を時計回りに回転させる。また、観察者２００が頭をロール方向において反時計周り方向に所定の角度変化量で回転させた場合、観察者２００の観察視野が反時計回りに変化するため、表示枠表示制御部１５は、角度変化量に対応させて、表示画面５００における表示枠５１０＿１の表示角度を反時計回りに回転させる。
これにより、観察者の頭部の回転における角度変換量と、実験者２００が表示画面５００で視認する移動角度とを対応させることができる。このため、表示枠５１０（図４（ｂ））の表示位置が表示枠５１０＿１（図６（ｂ））の表示位置に変化した際、表示枠内における視野撮像画像が静止しているように、実験者に対して感じさせることができる。
【００４１】
また、表示枠表示制御部１５は、角度変化量に対応させて、この表示枠５１０＿１（図６（ｂ））を表示する座標位置を、予め設定されている座標変換条件により、表示枠５１０（図４（ｂ））の座標位置から座標変換を行なう。
これにより、観察空間内の視野における観察者の観察するオブジェクトの視角と同様の視角として、表示画面５００において実験者が観察する視野撮像画像におけるオブジェクトの視角とを、同様の視角として実験者に視認させ、観察者の観察する視野と直感的に同様の視野として、実験者に対して視野撮像画像を視認させることができる。
【００４２】
また、表示枠表示制御部１５は、表示画面５００における表示枠５１０＿１の表示位置を移動させる際、角度変化量に対応させて、図６（ｂ）に示すように、表示枠５１０＿１の中央から遠い方の辺の長さを長くし、近い方の辺の長さを短くする（言い換えると、表示画面５００の各辺と対向する辺における近いほうの辺の長さを長くし、遠い方の辺の長さを短くする）ために、表示枠５１０＿１に対する台形補正などの射影変換を行なっても良い。
【００４３】
この射影変換によって、表示画面５００を観察する実験者に対して、表示枠５１０＿１内のオブジェクトの形状を一定に保つことができ、かつ表示画面５００における観察者２００の視野に対応する表示枠５１０＿１の遠近感を、表示画面５００において実験者に対して与えることができる。
【００４４】
すなわち、表示画面５００において移動した表示枠５１０＿１内のオブジェクトの見かけ上の形状を、実験者に対して正面で観察した際と同様の形状として視認させたい場合、表示枠５１０＿１における表示画面５００の中央から離れている辺ほど長くする射影変換を行なう必要がある。上述した射影変換を行なわないと  表示枠５１０＿１内の視野撮像画像におけるオブジェクトが同じ形状として実験者に視認されない。
このため、表示枠表示制御部１５は、図６（ｂ）に示すように、表示枠５１０＿１における対向する辺において、表示画面５００の中央から遠い方の辺を、近い方の辺に比較して長くする射影変換を行なう。
【００４５】
表示枠表示制御部１５は、観察者２００が所定の時間を超えて、頭部の移動及び姿勢を変化、すなわち観察方向を変化させない場合、予め設定した移動速度により、表示枠５１０を表示画面５００の中心に徐々に戻し、表示画面５００の表示枠５１０の観察空間における視野撮像画像を、観察者２００の頭部の頭部姿勢情報の初期値における観察方向の視野とするリセット処理（移動量及び角度変化量を０とする処理）を行なう。
これにより、制限された表示画面５００における表示枠５１０の配置位置の移動範囲を実質的に広げ、観察空間内における観察者２００の観察方向の変化を、実験者が制限された表示画面５００内において、表示枠５１０が表示画面５００からはみ出すことを防止し、有効に観察者の観察方向及び視野の観察を行なうことができる。
【００４６】
また、表示枠表示制御部１５は、観察者２００の頭部の角度変化量と、表示画面５００における表示枠５１０の配置位置の移動角とを同様とせずに、表示画面５００における実験者による表示枠５１０の視角、及び表示画面５００を観察する実験者の表示枠５１０の視認性などを考慮し、所定の比率で任意に増減する構成としても良い。
【００４７】
図７は、本実施形態による観察状態表示システム１の視線計測処理の動作例を説明するフローチャートである。
ステップＳ１０１：
視野画像取得部１２は、視野撮像装置２３０から所定の周期で供給される視野撮像画像データを入力する。そして、視野画像取得部１２は、入力した視野撮像画像データにタイムスタンプを付与して、記憶部１７に書き込んで記憶させる。
【００４８】
ステップＳ１０２：
頭部姿勢情報取得部１４は、視野画像取得部１２が視野撮像画像データを入力したタイミングにおいて、姿勢情報取得装置２４０から供給される、観察者の頭部の動きを計測した頭部姿勢情報を入力する。そして、頭部姿勢情報取得部１４は、入力した頭部姿勢情報を上記タイムスタンプに対応させ、記憶部１７に書き込んで記憶させる。
【００４９】
ステップＳ１０３：
視線情報取得部１１は、視野画像取得部１２が視野撮像画像データを入力したタイミングにおいて、視線計測部２２０から供給される視線計測情報を入力する。そして、視線情報取得部１１は、入力した視線計測情報を上記タイムスタンプに対応させ、記憶部１７に書き込んで記憶させる。
【００５０】
ステップＳ１０４：
頭部姿勢情報取得部１４は、新たに入力された頭部姿勢情報が、上述したタイムスタンプにおいて直前に入力した頭部姿勢情報に比較して移動量及び角度変化量の各々が変化したか否かの判定を行う。
このとき、頭部姿勢情報取得部１４は、入力された頭部姿勢情報が、直前に入力した頭部姿勢情報に比較して移動量及び角度変化量の各々が変化した場合、処理をステップＳ１０４へ進める。一方、頭部姿勢情報取得部１４は、入力された頭部姿勢情報が、直前に入力した頭部姿勢情報に比較して移動量及び角度変化量の各々が変化していない場合、処理をステップＳ１０６へ進める。
【００５１】
ステップＳ１０５：
表示枠表示制御部１５は、新たな移動量及び角度変化量の各々に対応して、表示枠５１０の表示画面５００内における表示位置を求め、当該表示位置に対応させて表示枠５１０の形状の射影変換を行なう。
【００５２】
ステップＳ１０６：
注視点マーカー重畳部１３は、記憶部１７から最新のタイムスタンプの視野撮像画像データを読み出し、視線計測データに対応した座標位置に、観察者の注視点を示す注視点マーカーを重畳させる（例えば、図４（ａ）及び図６（ａ））。
そして、注視点マーカー重畳部１３は、注視点マーカーを重畳した視野撮像画像データを、タイムスタンプに対応させて、記憶部１７に書き込んで記憶させる。
【００５３】
ステップＳ１０７：
表示枠表示制御部１５は、注視点マーカーが重畳された視野撮像画像データを記憶部１７から読み出し、表示枠５１０と同様な射影変換を行い、表示枠５１０に包含された形状に変換する。
そして、表示枠表示制御部１５は、視野撮像画像データが嵌め込まれた表示枠５１０を、表示画面５００における、すでに求めた表示位置に表示させる（例えば、図４（ｂ）及び図６（ｂ））。このとき、表示枠表示制御部１５は、表示枠５１０が表示された表示画面５００の表示画像データを、最新のタイムスタンプに対応させて記憶部１７に書き込んで記憶させる。
【００５４】
ステップＳ１０８：
観察状態表示装置１０は、実験者が計測処理を終了する入力を、不図示の入力手段から行ったか否かの検出を行う。このとき、観察状態表示装置１０は、計測処理を終了する入力が行われた場合、処理を終了し、一方、計測処理を終了する入力が行われていない場合、処理をステップＳ１０１へ戻す。
【００５５】
上述したように、本実施形態は、実験者が観察者の観察空間における対象物体に対する興味を解析する際、対象物を観察する観察者の挙動において、表示枠５１０が表示画面５００内で観察者の頭部の動き（観察方向の変化）に対応して変化するため、表示画面５００を観察している実験者が、観察方向を変えるための観察者の頭部の移動及び姿勢の変化（対象物を観察する観察者の状態）を直感的に把握することができる。
【００５６】
これにより、本実施形態によれば、従来においては対象物に対する観察者の視線方向の表示しか行えないのに比較し、本実施形態によれば、観察者が興味を持った対象物を観察するとき、観察者がその対象物に対して視線を先に向けた後に頭部をその対象物の方向（観察方向）に向けるか、観察者がその対象物に対して頭部の方向（観察方向）を先に向けた後に視線をその対象物に向けるかなどの観察方向と視線との詳細な関連を解析するための情報をビジュアルに直感的に取得することができる。
【００５７】
また、本実施形態は、実験者が、観察者の観察方向の変化に対応した表示枠５１０の動きを観察、すなわち観察者の観察している視野と同様の視野撮像画像をビジュアルに観察し、実験者が自身の頭部を動かしている感覚を得ることができる。
このため、本実施形態によれば、従来のように、観察者の観察方向によらずに視野撮像画像が表示される表示枠が固定されて、表示枠のなかの画像が大きく変化することによる映像酔いを抑制することができ、実験者による観察者の頭部の動き及び注視点の変化の観察を容易とすることができる。
【００５８】
また、上述した実施形態に置いては、観察者の頭部の移動及び角度変化量を加速度センサーやジャイロセンサーにより取得する構成として姿勢情報取得装置２４０を説明したが、観察者を撮像した動画像の撮像画像データから観察者の頭部の動きを解析して、頭部の移動量及び角度変化量を求める構成としても良い。
このとき、頭部姿勢情報は、観察空間において、観察者を観察するために設けられた撮像装置から、観察者を撮像した動画像のデータとして観察状態表示装置１０に供給される。そして、頭部姿勢情報取得部１４は、上記撮像装置から供給される観察者が撮像された動画像から、観察者の頭部の画像を画像処理により抽出し、この頭部の画像を動きを解析することにより、観察者の頭部の移動量及び角度変化量を検出する。
【００５９】
また、視線計測部２２０は、観察空間において、観察者の眼を観察するために複数配置された近赤外線照明及び撮像装置により得られた画像から、観察者の視線の変化を検出して、視野撮像画像と対応させた視線計測情報を取得する構成としても良い。さらに、観察空間において、観察者の眼を観察するために複数配置された撮像装置から得られる画像から、観察者の視線の検知に重要な目頭や目尻、瞳など目の周囲の特徴を抽出し、観察方向の視野における視線の角度を算出し、視線を求める構成としても良い。
【００６０】
また、頭部姿勢情報取得部１４の他の構成として、姿勢情報取得装置２４０にデプスカメラ等を用い、デプスカメラから供給されるデプスマップにより観察者の頭部の３次元形状を抽出し、この頭部の３次元形状の変化を解析して、観察者の頭部の移動量及び角度変化量を検出する構成を用いても良い。
上述したように、観察者の頭部の変化を検出することができる構成であれば、頭部姿勢情報を得るための姿勢情報取得装置２４０として用いても良い。同様に、観察空間における観察者の視線の方向の変化を検出することができる構成であれば、眼電位計測装置などを視線計測情報を得るための視線計測部２２０として用いても良い。
【００６１】
また、観察状態表示システム１の他の構成として、観察者情報取得装置２０を、観察状態表示装置１０の内部または外部の記憶装置に置き換えても良い。この場合、当該記憶装置には予め観察者の視線、頭部姿勢及び視野画像それぞれの時系列情報が記憶されており、視線情報取得部１１が視線の時系列情報を、頭部姿勢情報取得部が頭部姿勢の時系列情報を、視野画像取得部が視野画像の時系列情報を、それぞれ当該記憶装置から同期して逐次読み出す。これにより、観察者情報取得装置２０を用いた場合と同様に観察者の状態が画像表示部１６に表示される。
また、当該記憶装置が観察状態表示装置１０の内部にある場合、当該記憶装置は記憶部１７であっても良い。
また、当該記憶装置が観察状態表示装置１０の外部にある場合、当該記憶装置はインターネット等のネットワークを介して観察状態表示装置１０と接続されていても良い。    
【００６２】
また、本実施形態においては、観察者の観察対象となる観察空間を実空間として説明したが、ＨＭＤを装着することにより観察する、ＣＧ（Computer Graphics）やＶＲ（Virtual Reality）などの仮想空間において、この仮想空間内における観察者の観察方向及び注視点の解析を行なう構成としても用いることができる。この場合、表示画面５００に仮想空間の画像が表示され、観察者の観察方向における視野撮像画像を包含する位置に表示枠５１０が表示される。
【００６３】
さらに、本実施形態においては、実験者が観察者の観察方向及び注視点の各々を解析するために観察する表示画面５００を２次元平面（図４（ｂ）及び図６（ｂ）など）として説明したが、表示枠５１０の移動範囲を拡大するため、表示枠５１０を重畳して配置する表示画面として、２次元平面形状ではなく、円筒形や球体形などの曲面形状を有する表示画面を用いても良い。
【００６４】
なお、本発明における観察状態表示装置１０の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより観察状態表示における観察者の観察方向及び注視点の計測処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。
【００６５】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【符号の説明】
【００６６】
１…観察状態表示システム
１０…観察状態表示装置
１１…視線情報取得部
１２…視野画像取得部
１３…注視点マーカー重畳部
１４…頭部姿勢情報取得部
１５…表示枠表示制御部
１６…画像表示部
１７…記憶部
２０…観察者情報取得装置
２１０…頭部取付治具
２２０…視線計測部
２３０…視野撮像装置
２４０…姿勢情報取得装置
【図１】
2020177066.tif 000003
【図２】
2020177066.tif 000004
【図３】
2020177066.tif 000005
【図４】
2020177066.tif 000006
【図５】
2020177066.tif 000007
【図６】
2020177066.tif 000008
【図７】
2020177066.tif 000009