(57)【要約】      （修正有）【課題】観測者が表示手段を介して透過して視認している被観測者を特定して、被観測者に対応づけられた表示すべき情報を表示する。【解決手段】各ユーザが移動する物理的空間に存在する特徴点情報を管理するデータベースを備えるサーバ装置と情報端末を含むシステムにおいて、物理的空間で位置が推定されていないユーザが撮像した撮像データと当該ユーザの動作に応じて変化する物理量とを用いて当該撮像データから検出される人物画像までの相対距離を算出し、算出される相対距離と、推定されている物理空間で存在すべき各ユーザの位置とから、物理的空間で位置が推定されていないユーザが視ているユーザを特定する。さらに、特定されたユーザに対応づけて表示すべき情報を前記物理的空間で位置が推定されていないユーザに対応づけられた情報端末に出力する。【選択図】図１３
2014164374.tif 000002
【特許請求の範囲】
【請求項１】
サーバ装置と、物理空間上を移動する複数の情報端末とが通信する情報表示システムであって、
各情報端末は、
ユーザの視界に入る対象を撮像する撮像手段と、
前記対象を透過可能な状態で情報を表示する表示手段と、
前記物理空間上を移動するユーザの動作に対応付けられて変化する物理量を検出する検出手段と、
各ユーザが存在する物理空間を撮影して得られる撮像データまたは検出した変化する物理量をそれぞれのユーザ情報に対応づけて前記サーバ装置に送信する送信手段と、
前記表示手段を透過して視認している他のユーザに対応づけられた表示すべき情報を前記サーバ装置から受信して前記表示手段に表示する制御手段と、
を備え、
前記サーバ装置は、
各ユーザが移動する物理的空間に存在する特徴点情報を管理するデータベースと、
各情報端末の前記検出手段が検出した変化する物理量および前記撮像手段が撮像した撮像データを取得する取得手段と、
各情報端末から取得する撮像データから検出される物理空間の特徴点と前記データベースで管理される特徴点とから各ユーザが物理空間で存在すべき位置を推定する位置推定手段と、
物理的空間で位置が推定されていないユーザに対応づけられた情報端末から取得する撮像データから人物画像を検出する検出手段と、
物理的空間で位置が推定されていないユーザが撮像した撮像データと当該ユーザの動作に応じて変化する物理量とを用いて当該撮像データから検出される人物画像までの相対距離を算出する算出手段と、
算出される相対距離と、推定されている物理空間で存在すべき各ユーザの位置とから、物理的空間で位置が推定されていないユーザが視ているユーザを特定する特定手段と、
特定されたユーザに対応づけて表示すべき情報を前記物理的空間で位置が推定されていないユーザに対応づけられた情報端末に出力する出力手段と、
を備えることを特徴とする情報表示システム。
【請求項２】
前記ユーザの動作に対応付けられて変化する物理量は、方位、加速度、傾きを含むことを特徴とする請求項１記載の情報表示システム。
【請求項３】
ユーザ情報と、物理的空間上に存在する特徴情報を管理するサーバ装置と通信する情報端末であって、
ユーザの視界に入る対象を撮像する撮像手段と、
前記対象を透過可能な状態で情報を表示する表示手段と、
物理空間上を移動するユーザの動作に対応付けられて変化する物理量を検出する検出手段と、
各ユーザが存在する物理空間を撮影して得られる撮像データまたは検出した変化する物理量をそれぞれのユーザ情報に対応づけて前記サーバ装置に送信する送信手段と、
前記表示手段を透過して視認している他のユーザに対応づけられた表示すべき情報を前記サーバ装置から受信して前記表示手段に表示する制御手段と、
を備えことを特徴とする情報端末。
【請求項４】
前記ユーザの動作に対応付けられて変化する物理量は、方位、加速度、傾きを含むことを特徴とする請求項３記載の情報端末。
【請求項５】
前記情報端末は、ユーザの視認位置に合わせて位置決めするヘッドマウントディスプレイであることを特徴とする請求項４記載の情報端末。
【請求項６】
物理空間上を移動する複数の情報端末と通信するサーバ装置であって、
各ユーザが移動する物理的空間に存在する特徴点情報を管理するデータベースと、
各情報端末が検出した変化する物理量および撮像した撮像データを取得する取得手段と、
各情報端末から取得する撮像データから検出される物理空間の特徴点と前記データベースで管理される特徴点とから各ユーザが物理空間で存在すべき位置を推定する位置推定手段と、
物理的空間で位置が推定されていないユーザに対応づけられた情報端末から取得する撮像データから人物画像を検出する検出手段と、
物理的空間で位置が推定されていないユーザが撮像した撮像データと当該ユーザの動作に応じて変化する物理量とを用いて当該撮像データから検出される人物画像までの相対距離を算出する算出手段と、
算出される相対距離と、推定されている物理空間で存在すべき各ユーザの位置とから、物理的空間で位置が推定されていないユーザが視ているユーザを特定する特定手段と、
特定されたユーザに対応づけて表示すべき情報を前記物理的空間で位置が推定されていないユーザに対応づけられた情報端末に出力する出力手段と、
を備えることを特徴とするサーバ装置。
【請求項７】
ユーザ情報と、物理的空間上に存在する特徴情報を管理するサーバ装置と通信する情報端末の制御方法であって、
ユーザの視界に入る対象を撮像する撮像工程と、
前記対象を透過可能な状態で情報を表示手段に表示する表示工程と、
物理空間上を移動するユーザの動作に対応付けられて変化する物理量を検出する検出工程と、
各ユーザが存在する物理空間を撮影して得られる撮像データまたは検出した変化する物理量をそれぞれのユーザ情報に対応づけて前記サーバ装置に送信する送信工程と、
前記表示手段を透過して視認している他のユーザに対応づけられた表示すべき情報を前記サーバ装置から受信して前記表示手段に表示する制御工程と、
を備えることを特徴とする情報端末の制御方法。
【請求項８】
物理空間上を移動する複数の情報端末と通信するサーバ装置の制御方法であって、
各ユーザが移動する物理的空間に存在する特徴点情報を管理するデータベースを備え、、
各情報端末が検出した変化する物理量および撮像した撮像データを取得する取得工程と、
各情報端末から取得する撮像データから検出される物理空間の特徴点と前記データベースで管理される特徴点とから各ユーザが物理空間で存在すべき位置を推定する位置推定工程と、
物理的空間で位置が推定されていないユーザに対応づけられた情報端末から取得する撮像データから人物画像を検出する検出工程と、
物理的空間で位置が推定されていないユーザが撮像した撮像データと当該ユーザの動作に応じて変化する物理量とを用いて当該撮像データから検出される人物画像までの相対距離を算出する算出工程と、
算出される相対距離と、推定されている物理空間で存在すべき各ユーザの位置とから、物理的空間で位置が推定されていないユーザが視ているユーザを特定する特定工程と、
特定されたユーザに対応づけて表示すべき情報を前記物理的空間で位置が推定されていないユーザに対応づけられた情報端末に出力する出力工程と、
を備えることを特徴とするサーバ装置の制御方法。
【請求項９】
請求項７に記載の情報端末の制御方法をコンピュータに実行させることを特徴とするプログラム。
【請求項１０】
請求項８に記載のサーバ装置の制御方法をコンピュータに実行させることを特徴とするプログラム。  
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像される画像情報を処理して人物を特定して対応する情報を表示する情報表示システム、情報端末、サーバ装置、情報端末の制御方法、サーバ装置の制御方法、及びプログラムに関するものである。
【背景技術】
【０００２】
物理空間内における人物の自己位置を推定することを目的とした情報表示システムがある。特許文献１の開示する情報表示システムは、移動量検出手段で人物Ｘのおおよその自己位置を推定し、予め物体の位置を記憶させた地図情報から、その位置から人物Ｘの持つカメラで撮影した撮像に含まれるだろう物体のマーカーを算出する。
【０００３】
そして、実際の撮像から抽出したマーカーと比較することで人物Ｘの自己位置を推定する。この自己位置推定を各人物に適用することで、物理空間に存在するすべての人物の自己位置を推定できる。
【０００４】
特許文献１と、例えば地磁気センサなど人物Ｘの有するカメラの向きを把握する技術を組み合わせることで、システムは、人物Ｘの有するカメラの撮像に含まれる人物が誰であるかに応じて、適切な内容のコンテンツを生成することが可能となる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平２−２５９９１２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１では、システムが、ユーザＡに関し、地図情報から導き出したマーカーと実際の撮像から導き出したマーカーの比較に失敗した場合、システムはユーザＡの位置を正確に推定できない。これにより、システムは、ユーザＡの有するカメラの撮像に含まれる人物が誰であるかがわからず、適切な内容のコンテンツを生成することができなくなる。ここで、本システムにおいて、顔認証による人物の推定などの併用も考えられるが、相手が自分に対して背中を向けて立っている場合などは適用できない。
本発明は、上記の課題を解決するためになされたもので、本発明の目的は、情報表示システムが共有する物理的空間上で、特定の人物の物理空間上の正確な位置を推定できない場合でも、観測者が表示手段を介して透過して視認している被観測者を特定して、被観測者に対応づけられた表示すべき情報を表示できる仕組みを提供することである。
【課題を解決するための手段】
【０００７】
上記目的を達成する本発明の情報表示システムは以下に示す構成を備える。
サーバ装置と、物理空間上を移動する複数の情報端末とが通信する情報表示システムであって、各情報端末は、ユーザの視界に入る対象を撮像する撮像手段と、前記対象を透過可能な状態で情報を表示する表示手段と、前記物理空間上を移動するユーザの動作に対応付けられて変化する物理量を検出する検出手段と、各ユーザが存在する物理空間を撮影して得られる撮像データまたは検出した変化する物理量をそれぞれのユーザ情報に対応づけて前記サーバ装置に送信する送信手段と、前記表示手段を透過して視認している他のユーザに対応づけられた表示すべき情報を前記サーバ装置から受信して前記表示手段に表示する制御手段と、を備え、前記サーバ装置は、各ユーザが移動する物理的空間に存在する特徴点情報を管理するデータベースと、各情報端末の前記検出手段が検出した変化する物理量および前記撮像手段が撮像した撮像データを取得する取得手段と、各情報端末から取得する撮像データから検出される物理空間の特徴点と前記データベースで管理される特徴点とから各ユーザが物理空間で存在すべき位置を推定する位置推定手段と、物理的空間で位置が推定されていないユーザに対応づけられた情報端末から取得する撮像データから人物画像を検出する検出手段と、物理的空間で位置が推定されていないユーザが撮像した撮像データと当該ユーザの動作に応じて変化する物理量とを用いて当該撮像データから検出される人物画像までの相対距離を算出する算出手段と、算出される相対距離と、推定されている物理空間で存在すべき各ユーザの位置とから、物理的空間で位置が推定されていないユーザが視ているユーザを特定する特定手段と、特定されたユーザに対応づけて表示すべき情報を前記物理的空間で位置が推定されていないユーザに対応づけられた情報端末に出力する出力手段と、を備えることを特徴とする。
【発明の効果】
【０００８】
本発明によれば、情報表示システムが共有する物理的空間上で、特定の人物の物理空間上の正確な位置を推定できない場合でも、観測者が表示手段を介して透過して視認している被観測者を特定して、被観測者に対応づけられた表示すべき情報を表示できる。
【図面の簡単な説明】
【０００９】
【図１】情報表示システムで使用するＨＭＤの外観を示す図である。
【図２】ＨＭＤのハードウェアの構成を示すブロック図である。
【図３】処理サーバのハードウェアの構成を示すブロック図である。
【図４】情報表示システムの構成を示す図である。
【図５】ディスプレイに表示される画面の一例を示す図である。
【図６】人物固有情報の表示位置をどのように算出するかを説明する図である。
【図７】情報表示システムの制御方法を説明するフローチャートである。
【図８】物理空間上の人の移動と人物の存在位置候補の概念を示す図である。
【図９】処理サーバが管理するデータベースの一例を示す図である。
【図１０】情報表示システムの制御方法を説明するフローチャートである。
【図１１】ＨＭＤの内蔵されるカメラで撮像される人物を示す図である。
【図１２】観察者と被観察者の距離と角度の関係を示す図である。
【図１３】情報表示システムの制御方法を説明するフローチャートである。
【図１４】特定人物の存在位置候補の概念を示す図である。
【図１５】物理空間のマップ情報の例を示す図である。
【図１６】図１５に示したマップ上に特定人物の存在位置候補を重畳させた図である。
【図１７】被観測者が移動する様子を示した図である。
【図１８】情報表示システムの制御方法を説明するフローチャートである。
【発明を実施するための形態】
【００１０】
次に本発明を実施するための最良の形態について図面を参照して説明する。
＜システム構成の説明＞
〔第１実施形態〕
＜ヘッドマウントディスプレイ（ＨＭＤ）＞
図１は、本実施形態を示す情報表示システムで使用するヘッドマウントディスプレイ（ＨＭＤ）１００の外観を示す図である。本実施形態では、ユーザの視認位置に合わせて位置決めする情報端末の一例として、ＨＭＤを使用する例であって、サーバ装置は、複数の情報端末と通信可能に構成されている。
【００１１】
図１において、ＨＭＤ１００は、市販されているものと同様のものであり、フレーム２０１で頭部に装着するようになっている。又、片目若しくは両目に透過型のディスプレイ１０１が取り付けられた構造になっており、ユーザはディスプレイ１０１に表示された人工像（表示画像）と、ディスプレイ１０１の先にある実像を同時に見ることが出来る。ＨＭＤ１００にはカメラ１０２も取り付けられており、ユーザの目に近い視点で撮影することが可能である。
【００１２】
図２は、図１に示したＨＭＤ１００のハードウェアの構成を示すブロック図である。なお、ＨＭＤ１００は、コントローラ１２０、透過型のディスプレイ１０１、カメラ１０２を有する。ここで、カメラ１０２はユーザの視界に入る対象を撮像している。また、ディスプレイ１０１は、視界に入る対象を透過可能な状態で、サーバ装置から出力される表示すべき情報を表示可能に構成されている。以下、ＨＭＤ１００のコントローラ１２０の構成についてさらに説明する。
【００１３】
図２において、内部バス１１２は、メモリコントローラ１０７、Ｉ／Ｏコントローラ１０９間で情報の伝達が出来るよう、電気信号を送受信する。メモリコントローラ１０７は、メインメモリ１０８に対するメモリアクセス全般を統括する。Ｉ／Ｏコントローラ１０９は、ＲＯＭ１１０、ＬＡＮポート１０３、透過型ディスプレイ１０１、ＭＥＭＳセンサ１１１、内部バス１１２を介して接続している処理部との情報の送受信を行う。ＬＡＮポート１０３は、アクセスポイント４００（図４）および／またはネットワーク９０００を介して接続されている処理サーバ３００などの他の機器と、Ｉ／Ｏコントローラ１０９との情報の送受信を行う。
【００１４】
ＲＯＭ１１０にはブートローダプログラム及びＨＭＤ制御プログラムが格納されている。メインメモリ１０８は揮発性メモリであり、高速アクセスが可能であるので、ＲＯＭ１１０に記憶されている情報や一時的に使用する情報はここに格納される。ＨＭＤ１００の電源投入時には、ＣＰＵ１０４がブートローダプログラムを読み出して実行し、ＲＯＭ１１０に格納されているＨＭＤ制御プログラムを取り出し、メインメモリ１０８に格納する。そして、ＣＰＵ１０４がメインメモリ１０８に格納されているＨＭＤ制御プログラムを実行し、ＨＭＤ１００の有する各機能を実行する。また、ＣＰＵ１０４がこのＨＭＤ制御プログラムを実行することで、処理サーバ３００とのデータ通信や透過型ディスプレイ１０１への情報表示等のＨＭＤ１００の行う処理が実行される。
以上がコントローラ１２０の構成についての説明である。
【００１５】
ＨＭＤ１００は、情報を表示する透過型ディスプレイ１０１を備える。グラフィックコントローラ１０６は、透過型ディスプレイ１０１への表示を制御する。ＨＭＤ１００は、ユーザに情報を提示する際には透過型ディスプレイ１０１に情報を表示する。ＨＭＤ１００は、カメラ１０２を備えている。カメラ１０２は撮影した撮像画像をデジタル変換する。カメラ１０２は、Ｉ／Ｏコントローラ１０９との情報の送受信を行う。ＨＭＤ１００は、ＭＥＭＳセンサ１１１を備えている。
ＭＥＭＳセンサ１１１は、物理的空間上を移動するユーザの動作に対応づけられて変化する変化量を検出する。具体的には、ＭＥＭＳセンサ１１１は、東西南北の方角と、三次元方向の傾き、加速度を計測することが可能であり、計測した情報をデジタル情報に変換する。ＭＥＭＳセンサ１１１は、Ｉ／Ｏコントローラ１０９との情報の送受信を行う。Ｉ／Ｏコントローラ１０９は、ＬＡＮポート１０３を介してネットワーク上の処理サーバ３００に対して、ＨＭＤ１００を装着したユーザが存在する物理空間を撮影して得られる撮像データまたはＭＥＭＳセンサ１１１が検出した変化する物理量をそれぞれユーザ情報に対応付けて送信する。なお、Ｉ／Ｏコントローラ１０９による当該送信処理を所定の間隔で実行される。
ＭＥＭＳセンサ１１１により、ＨＭＤ１００を装着しているユーザが、物理空間上でどの方向に顔を向けているのかが把握可能である。バッテリ１０５は、電力をＨＭＤ１００全体に供給する。
＜処理サーバ＞
図３は、本実施形態を示す情報表示システムで用いる処理サーバのハードウェアの構成を示すブロック図である。なお、処理サーバは、ユーザ情報と物理的空間上に存在する特徴情報を管理するデータベースを備え、ＨＭＤ１００が撮像している撮像データの解析結果と特徴情報を比較することで、ユーザの物理的空間の位置を特定する処理を行う。ここで、特徴情報とは、ユーザが移動する居室の構造上の特徴を示す情報や、付属物の配置情報等の特徴を示す情報が含まれる。
【００１６】
図３において、３００は処理サーバである。処理サーバ３００はコントローラ３２０、ディスプレイ３０１、キーボード３０２、マウス３０３を有する。以下、コントローラ３２０の構成についてさらに説明する。
内部バス３１１は、メモリコントローラ３０７、Ｉ／Ｏコントローラ３０９間で情報の伝達が出来るよう、電気信号を送受信する。
【００１７】
メモリコントローラ３０７は、メインメモリ３０８に対するメモリアクセス全般を統括する。Ｉ／Ｏコントローラ３０９は、ＨＤＤ３１０、ＬＡＮポート３０４、キーボード３０２、マウス３０３、内部バス３１１を介して接続している処理部との情報の送受信を行う。ＬＡＮポート３０４は、ネットワーク９０００やワイヤレスアクセスポイント４００を介して接続されている他の機器、Ｉ／Ｏコントローラ３０９との情報の送受信を行う。
【００１８】
ＨＤＤ３１０にはブートローダプログラム及び処理サーバ制御プログラムが格納されている。メインメモリ３０８は揮発性メモリであり、高速アクセスが可能であるので、ＨＤＤ３１０に記憶されている情報や一時的に使用する情報はここに格納される。処理サーバ３００の電源投入時には、ＣＰＵ３０５がブートローダプログラムを読み出して実行し、ＨＤＤ３１０に格納されている処理サーバ制御プログラムを取り出し、メインメモリ３０８に格納する。そして、ＣＰＵ３０５がメインメモリ３０８に格納されている処理サーバ制御プログラムを実行し、処理サーバの有する各機能を実行する。また、ＣＰＵ３
０５がこの処理サーバ制御プログラムを実行することで、図７、図１０、図１３、図１８に示される処理サーバの行う処理が実行される。以上がコントローラ３２０の構成についての説明である。
処理サーバ３００は、情報を表示するディスプレイ３０１を備える。グラフィックコントローラ３０６は、ディスプレイ３０１への表示を制御する。
【００１９】
処理サーバ３００は、ユーザに情報を提示する際にはディスプレイ３０１に情報を表示し、ユーザは、キーボード３０２又はマウス３０３に対する操作で処理サーバ３００への情報入力が可能である。
＜システム構成＞
【００２０】
図４は、本実施形態を示す情報表示システムの構成を示す図である。本例の情報表示システムでは、ユーザＡとユーザＢとユーザＣの３名が装着するＨＭＤ（Ｈｅａｄ  Ｍｏｕｎｔｅｄ  Ｄｉｓｐｌａｙ）１００と、ワイヤレスアクセスポイント４００、処理サーバ３００、ネットワーク９０００を有する。各ＨＭＤ１００とワイヤレスアクセスポイント４００は無線で接続されており、処理サーバ３００とワイヤレスアクセスポイント４００はネットワーク９０００で接続されている。
【００２１】
本情報表示システムでは、各ユーザの装着するＨＭＤに内蔵されているカメラによる撮像とＭＥＭＳセンサによる方位、加速度、傾き情報が、ワイヤレスアクセスポイント４００とネットワーク９０００を経由して逐一処理サーバ３００に送信される。処理サーバ３００はその情報を元に、各ユーザの物理空間上の存在位置を推定する。カメラの撮像からの位置推定技術に関してはＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓｌｙ  Ｌｏｃａｌｉｚａｔｉｏｎ  ａｎｄ  Ｍａｐｐｉｎｇ）に代表される既存技術がある。また、ＭＥＭＳセンサからの位置推定技術に関してはＰＤＲ（Ｐｅｄｅｓｔｒｉａｎ  Ｄｅａｄ  Ｒｅｃｋｏｎｉｎｇ）に代表される既存技術があり、本提案の核となる部分ではないため、説明を割愛する。各ユーザの存在位置情報とＭＥＭＳセンサの方位情報から、各ユーザのＨＭＤに内蔵されるカメラ内に映る人物が誰であるかを特定することが可能となる。
【００２２】
ＨＭＤに内蔵されるカメラとＨＭＤのディスプレイの向きが固定的に決まっていれば、ユーザの視野のどの向きに誰がいるかを特定することが可能となる。ＨＭＤ１００が、ネットワーク９０００とワイヤレスアクセスポイント４００経由で処理サーバ３００から各ユーザの物理空間上の存在位置情報を取得する。その位置情報に基づき、ＨＭＤ１００が、ユーザの視野内にいる人物に関し、その人物固有の情報をＨＭＤの半透過ディスプレイに表示することで、ユーザは人物の実像にその人物固有の情報が紐づけられた映像を見ることが出来る。
【００２３】
図５は、図３に示したディスプレイ３０１に表示される画面の一例を示す図である。本例は、ユーザがＨＭＤの半透過ディスプレイ越しに他者を見たときに得られる映像の例を示す。例えば、図４のＡさんがＨＭＤの半透過ディスプレイ越しにＢさんを見た場合には、Ａさんは図５の（ａ）に示すような映像を見ることとなる。また、図４のＡさんがＣさんをＨＭＤの半透過ディスプレイ越しに見た場合には、Ａさんは図５の（ｂ）に示すような映像をみることとなる。
＜ＨＭＤにおける人物固有情報の表示位置＞
【００２４】
図６は、図３に示した処理サーバ３００がＨＭＤにおける人物固有情報の表示位置をどのように算出するかを説明する図である。以下、図６を参照して、ＨＭＤ装着者が視野内の人物の実像にその人物固有の情報が紐づけられた映像を見られるようにする構成を説明する。
【００２５】
図６において、処理サーバ３００のコントローラ３２０は、先に説明したとおり、ＨＭＤを装着している全ての人物の物理位置情報、向いている方位情報を把握している。例えば、ＨＭＤを装着した観察者と被観察者の２人がいる場合を考える。
前記物理位置情報は、物理空間の特定の場所を原点とした場合、観測者の位置座標は（Ｘｏ，  Ｙｏ）、被観察者の位置座標は（Ｘｔ，  Ｙｔ）となる。また、観測者の向いている方位（以下ではＨＭＤ１００の法線６０１と表記する）はθとなる。なおここでθはｒａｄｉａｎ単位とするが、ｄｉｒｅｃｔｉｏｎ情報はｄｅｇｒｅｅ単位であり、相互に変換可能である。これらの情報を元に、コントローラ３２０は、図６に示すようなマップを内部生成する。図６のマップは観察者と被観察者との位置関係を上から見た状態である。
【００２６】
次に、処理サーバ３００のコントローラ３２０は、図６に示される角度γを求める。角度γは、観測者の装着するＨＭＤ１００の法線０６０１に対する非観測者の位置する方向の角度となる。γは以下の式で求める。
【００２７】
【数１】
2014164374.tif 000003
【００２８】
そして、コントローラ３２０は、ＨＭＤ１００の透過型ディスプレイ１０１のカバーする視野角αと角度γを比較することで、被観測者が観測者の視野内にいるかどうかを判定する。ここでいう被観測者とは、観測者の装着するＨＭＤ１００の透過型ディスプレイ１０１越しに見える人物のことである。コントローラ３２０は、｜γ｜＜α／２であれば被観測者が観測者の視野内にいると判定する。また、｜γ｜＜α／２でないとコントローラ３２０が判定した場合は、被観測者は観測者の視野外にいると判定する。
＜人物の絶対位置推定処理フロー＞
【００２９】
図７は、本実施形態を示す情報表示システムの制御方法を説明するフローチャートである。本例は、図３に示した処理サーバ３００による人物の絶対位置推定処理例である。物理空間の存在する人物全員に対して本処理が定期的に実行される。各ユーザの装着するＨＭＤ１００からワイヤレスアクセスポイント４００とネットワーク９０００を経由して送信されてきたカメラの撮像とＭＥＭＳセンサによる方位、加速度、傾き情報を元に、処理サーバ３００が、各ユーザの物理空間上の存在位置を推定する。なお、各Ｓ１３０１からＳ１３１０の処理は、全て処理サーバ３００のコントローラ３２０のＣＰＵ３０５が制御プログラムを実行することで実現される。
【００３０】
Ｓ１３０１で、ＣＰＵ３０５がＭＥＭＳセンサによる方位、加速度、傾き情報を元に、ＨＭＤを装着している人物の移動方向、移動量を算出する。その際、人物の移動方向、移動量の測定誤差は避けられない。この測定誤差は経験的にどの程度になるかを把握することが可能である。Ｓ１３０２では、ＣＰＵ３０５が時間とともに蓄積される誤差の蓄積量を計算する。Ｓ１３０３で、ＣＰＵ３０５が前記移動方向と移動量からＨＭＤを装着している人物の存在位置を算出すると共に、測定誤差の蓄積量を考慮した人物の存在位置候補となる領域を算出する。以下、前記存在位置候補となる領域に関して図８を用いて説明する。
【００３１】
図８は、物理空間上の人の移動とシステムが把握する人物の存在位置候補の概念を示す図である。なお、ＭＥＭＳセンサ情報を元に人物の存在位置を算出する方法は、人物が前にいた場所に対する存在位置の算出となる。従って、時間とともに測定誤差が積み上がっていくこととなる。
図８の（ａ）の矢印に示す軌跡に従って人が移動すると、システムが算出した人物の存在位置には、図８の（ｂ）の灰色に塗られた円の領域に示すような誤差が生じることとなる。時間とともに測定誤差が積み上がっていくということは、この領域は時間とともに大きくなるということである。ある程度以上誤差が積み上がると、システムは、人物間の位置関係を正確に算出できないので、観察者の視野内に映る人物が誰であるかを判断することが出来なくなる。このような事態を防ぐために、システムは定期的に誤差を払拭する必要がある。
【００３２】
そこで、図７に示すＳ１３０４で、ＣＰＵ３０５がＨＭＤ１００内蔵のカメラ撮像を分析し、物理空間の特徴点を検出する。物理空間の特徴点の検出に関してはＳＩＦＴ（Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ  Ｆｅａｔｕｒｅ  Ｔｒａｎｓｆｏｒｍ）などの技術があるが、本実施形態の説明に直接関係しないため説明を割愛する。
Ｓ１３０５で、ＣＰＵ３０５が物理空間の特徴点が検出できたかどうかを判断し、ＴＲＵＥであるとＣＰＵ３０５が判断した場合はＳ１３０６に進み、ＦＡＬＳＥであるとＣＰＵ３０５が判断した場合はＳ１３０９に進む。
【００３３】
Ｓ１３０６で、ＣＰＵ３０５が物理空間の特徴点情報を元に、人物の存在位置を算出する。特徴点情報を元に存在位置を算出する方法に関してはＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ  Ｌｏｃａｌｉｚａｔｉｏｎ  ａｎｄ  Ｍａｐｐｉｎｇ）などの自己位置推定技術があるが、本実施形態に直接関係しないため説明を割愛する。
このように、物理空間の特徴点情報を元に算出した存在位置情報を定期的に適用することで、ＭＥＭＳ情報を元に算出した存在位置で積み上がった誤差を払拭することが出来る。従って、Ｓ１３０７で、測定誤差の蓄積量をリセットする。
次に、Ｓ１３０８で、ＣＰＵ３０５がシステムが該人物の存在位置を正確に把握できているかどうかを示すロストフラグをＦＡＬＳＥにし、Ｓ１３０１へ進む。
【００３４】
Ｓ１３０９では、ＣＰＵ３０５が物理空間の特徴点が検出できない場合に通る処理である。これは即ち、物理空間の特徴点情報を元に、人物の存在位置を算出できないということである。つまり、カメラの撮像から何かしらの要因により特徴点を取れない状態が続くと、ＭＥＭＳセンサの情報を元に算出した人物の存在位置の測定誤差をリセットできず、測定誤差が時間とともに積み上がることとなる。
そこで、Ｓ１３０９で、ＣＰＵ３０５が測定誤差の蓄積量が閾値以上かどうかを判断し、閾値以上であるとＣＰＵ３０５が判断した場合はＳ１３１０に進み、閾値以下であるとＣＰＵ３０５が判断した場合はＳ１３０１に進む。
【００３５】
Ｓ１３１０では測定誤差の蓄積量が大きくなり、システムが、人物間の位置関係を正確に算出できない状況を示している。この時、観察者の視野内に映る人物が誰であるかを判断することも出来ない。Ｓ１３１０で、ＣＰＵ３０５が該人物のロストフラグをＴＲＵＥにし、Ｓ１３０１に進む。人物毎の存在位置情報、ＭＥＭＳセンサの情報、ロストフラグ情報、測定誤差蓄積量情報は、処理サーバ３００が、図９に示すようなデータベース上で管理する。
【００３６】
（人物Ｘを推定する方法１）
本実施形態を示す情報表示システムが、人物間の位置関係を正確に算出できず、観察者の視野内に映る人物Ｘが誰であるかを判断することも出来ない状況において、人物Ｘを推定する方法を説明する。
本実施形態の処理は、図７に示した人物の絶対位置推定処理フローで、ロストフラグがＴＲＵＥになった人物に対して行われる。本実施例ではＡさんのロストフラグがＴＲＵＥになったものとする。
【００３７】
図１０は、本実施形態を示す情報表示システムの制御方法を説明するフローチャートである。本例は、図３に示した処理サーバ３００による人物間の相対位置推定処理例である。本処理は、図７に示した人物の絶対位置推定処理と並行して実行される。各ユーザの装着するＨＭＤ１００からワイヤレスアクセスポイント４００とネットワーク９０００を経由して送信されてきたカメラの撮像とＭＥＭＳセンサによる方位、加速度、傾き情報を元に、処理サーバ３００が、観察者と被観察者の相対位置を推定する。また、各Ｓ１４０１からＳ１４０５の処理は、全て処理サーバ３００が備えるコントローラ３２０のＣＰＵ３０５が制御プログラムを実行することで実現される。
【００３８】
Ｓ１４０１で、ＣＰＵ３０５は、ＨＭＤ１００内蔵のカメラ１０２の撮像を取得して分析し、撮像内に含まれる人体を検出する。ＨＭＤ１００内蔵のカメラの撮像に含まれる人体の像は、図１１に示すようなものである。撮像内の人体を検出する方法に関しては、ＨＯＧ（Ｈｉｓｔｏｇｒａｍｓ  ｏｆ  Ｏｒｉｅｎｔｅｄ  Ｇｒａｄｉｅｎｔｓ）特徴量を元に統計的学習手法を用いた検出器による検出手法などが一般的に用いられているが、本実施形態に直接関係しないため説明を割愛する。
Ｓ１４０２で、ＣＰＵ３０５は、ＨＭＤを装着している人物（観察者）の顔の向き、つまり、ＨＭＤの法線６０１に対する、カメラ撮像中の人体の足元までの角度を算出する。以下、図１２を用いてより具体的に角度算出処理について説明する。
【００３９】
図１２は、観察者と被観察者の距離と角度の関係を示す図である。
図１２において、ｈは観測者のＨＭＤの地面からの高さであり、この値は予めシステムに静的な情報として登録してあっても良い。Ｌ１はＨＭＤの法線６０１である。Ｌ２はＨＭＤ高さ（ｈ）の水平線である。Ｌ３は観測者のＨＭＤと被観測者の足元を結んだ線である。
Ｓ１４０２では、ＣＰＵ３０５は、図１２に示すように、Ｌ１に対するＬ３の角度、即ち、φを算出する。Ｓ１４０３で、ＣＰＵ３０５は、ＨＭＤ１００内蔵のＭＥＭＳセンサによる傾き情報を元にＨＭＤを装着している人物（観測者）の顔の向き、つまり、ＨＭＤの法線６０１の向きを算出する。図１２の例で言えば、Ｌ１とＬ２の為す角度βを算出する。
Ｓ１４０４で、ＣＰＵ３０５は、ＨＭＤ１００を装着している人物（観測者）の身長と、カメラ撮像中の人物との角度情報から、両者の距離を算出する。図１２の例で言えば、観測者の身長ｈと、Ｌ３と地面の為す角α＝φ―βからｄｉｓｔを算出する。
【００４０】
【数２】
2014164374.tif 000004
【００４１】
Ｓ１４０５で、ＣＰＵ３０５は、ＭＥＭＳセンサの方位情報、即ち、ＨＭＤを装着している人物（観測者）の顔の向きと人物間の相対距離ｄｉｓｔから、カメラ撮像中の人体に対するＨＭＤを装着している人物の存在位置を算出する。
これにより、物理空間で被観測者に対し観測者がどの向きにどの距離離れて存在するかがわかる。なお、本実施形態では、両者の距離をカメラ撮像とＭＥＭＳセンサ情報から導出したが、例えば近距離通信による測定など、他の手法で導出しても良い。
【００４２】
図１３は、本実施形態を示す情報表示システムの制御方法を説明するフローチャートである。本例は、カメラ撮像中の人物推定処理例である。本処理は、図１０に示した人物間の相対位置推定処理の後に実行される。処理サーバ３００が、観測者の存在位置を推定する。Ｓ１５０１からＳ１５０９の処理は、全て処理サーバ３００が備えるコントローラ３２０のＣＰＵ３０５が制御プログラムを実行することで実現される。以下、図７に示す処理で物理空間で位置が推定されていないユーザに対応づけられた情報端末から取得する撮像データから人物画像を検出し、位置が推定されていないユーザの情報端末から取得する当該ユーザの動作に応じて変化する変換量を用いて検出された人物画像までの相対距離を算出する処理を説明する。
【００４３】
Ｓ１５０１で、ＣＰＵ３０５は、物理空間の誰かしらの人物Ｘの存在位置情報と、人物間の相対位置推定処理フローで求めたカメラ撮像中の人体に対するＨＭＤを装着している人物（観測者）の存在位置から、ＨＭＤ撮像に映っているのが人物Ｘと仮定した場合のＨＭＤを装着している人物（観測者）の存在位置候補を算出する。
Ｓ１５０２で、ＣＰＵ３０５は、物理空間に存在する人物全員に対してＳ１５０１の処理を実施したかを判断する。ここで、物理空間に存在する人物全員に対してＳ１５０１の処理を実施した（ｔｒｕｅ）と判断した場合はＳ１５０３に進む。
一方、物理空間に存在する人物全員に対してＳ１５０１の処理を実施していない（ｆａｌｓｅ）と判断した場合は、Ｓ１５０１に戻る。以下、図１４を用いてより具体的に説明する。
【００４４】
図１４において、物理空間には、図４に示したとおりＡさん、Ｂさん、Ｃさんの３名がいて、Ａさんが観測者であると仮定する。図１４に示す通り、Ａさんのカメラ撮像中の人物がＢさんであった場合と、Ｃさんであった場合、それぞれに対してＡさんの存在位置候補が導出される。
Ｓ１５０３で、ＣＰＵ３０５は、場所ごとの人の存在可能性情報を含む物理空間のマップ情報をＨＤＤ３１０から読み出す。以下、図１５を用いてより具体的に説明する。
図１５は、場所ごとの人の存在可能性情報を含む物理空間のマップ情報の例を示す図である。例えば、オフィスのフロアマップに、オフィス内の壁や柱、什器（商品やカタログなどを陳列・設置するための器具・器材）のある場所ごとに、人間の存在確率を高、中、低の３段階で割り振り、この存在確率を紐づけたものとなる。なお、図１５の例では、マップの右上に什器があるものとし、什器は基本的に人の存在可能性を低にしているが、什器の縁には人間が腰かける場合などもあるため存在可能性は中としている。該マップ情報は、静的な情報として予め処理サーバ３００のＨＤＤ３１０に登録してある。
Ｓ１５０４で、ＣＰＵ３０５は、ＨＭＤを装着している人物（観測者）の各存在位置候補における存在可能性を算出し、各存在位置候補を導出する基となった各人物（被観測者候補）に前記ＨＭＤを装着している人物（観測者）の存在可能性を割り当てる。図１６を用いてより具体的に説明する。
【００４５】
図１６は、図１５に示したマップ上にＡさんの存在位置候補を重畳させた図である。
図１６において、Ａさんのカメラ撮像中の人物がＢさんであると仮定して導き出されたＡさんの存在位置候補の可能性は低であり、撮像中の人物がＣさんであると仮定した場合のＡさんの存在位置候補の可能性は高であることがわかる。この算出結果を基に、ＢさんにＡさんの存在可能性が低である情報を紐づけ、ＣさんにＡさんの存在可能性が高である情報を紐づける。
Ｓ１５０５で、ＣＰＵ３０５は、被観測者の候補に割り当てられたＨＭＤを装着している人物（観測者）の存在可能性に関し、今までに算出した値の中で最も低い値を採用する。Ｓ１５０６で、ＣＰＵ３０５は、ＨＭＤを装着している人物（観測者）の存在可能性の値が所定値以下となる被観測者候補を候補から外す。こうすることで、時間が経過し人が動き回ることで、被観測者の候補が絞られていくこととなる。
次に、Ｓ１５０７で、ＣＰＵ３０５は、所定時間が経過したかどうかを判断し、所定時間が経過している（ｔｒｕｅ）と判断した場合Ｓ１５０８に進み、所定時間が経過していない（ｆａｌｓｅ）と判断した場合は、Ｓ１５０１に戻る。
Ｓ１５０８で、ＣＰＵ３０５は、ＨＭＤを装着している人物（観測者）の存在可能性の値が最も高い被観測者候補を、ＨＭＤを装着する人物（観測者）のカメラ撮像中の人物と決定して、本処理を終了する。図１６の例では、Ａさんのカメラ撮像中の人物はＣさんであると決定する。
〔第２実施形態〕
【００４６】
本実施形態では、第１実施形態で説明した、ＨＭＤを装着する人物（観測者）のカメラ撮像中の人物を推定する方法の、推定の可能性をより高める方法を説明する。本実施形態は、第１実施形態で実行する処理に加え、図１３に示したカメラ撮像中の人物推定フローと並行して、図１８に示すカメラ撮像中の人物推定補助処理を実行することで実現する。
【００４７】
本実施形態の処理は、第１実施形態同様、図７に示した人物の絶対位置推定処理フローで、ロストフラグがＴＲＵＥになった人物に対して行われる。ＡさんのロストフラグがＴＲＵＥになったものとする。
【００４８】
第１実施形態で説明したとおり、図１３に示したＳ１５０２の処理がＴＲＵＥになった後には、図１４に示すように、Ａさんのカメラ撮像中の人物がＢさんであった場合とＣさんであった場合、それぞれに対してＡさんの存在位置候補が導出される。ここで、Ａさんがその場で静止している場合を考える。人物が静止しているかどうかは、ＨＭＤに内蔵されるＭＥＭＳセンサによる加速度の検知により把握可能である。
【００４９】
図１７は、時間とともに被観測者が移動する様子を示した図である。例えば、ＢさんはＡさんの右手の方向に移動し、Ｃさんはその場を動いていないことを示している。
本情報表示システムでは、ＡさんとＢさん、ＡさんとＣさんの存在位置関係を図１０に示した人物間の相対位置推定処理により把握している。またシステムは、ＢさんとＣさんの物理空間上の存在位置を、図７に示した人物の絶対位置推定処理により把握している。本実施例では、前記、相対位置推定処理と絶対位置推定処理の結果が食い違う被観測者候補を候補から外すことで、ＨＭＤを装着する人物（観測者）のカメラ撮像中の人物の推定の可能性をより高める。
【００５０】
図１８は、本実施形態を示す情報表示システムの制御方法を説明するフローチャートである。本例は、カメラ撮像中の人物推定補助処理例である。本処理は、図１５に示したカメラ撮像中の人物推定フローと並行して実行される。なお、各Ｓ１７０１からＳ１７０３の処理は、全て処理サーバ３００が備えるコントローラ３２０のＣＰＵ３０５が制御プログラムを実行することで実現される。
Ｓ１７０１で、ＣＰＵ３０５は、ＨＭＤ１００を装着している人物の移動量が「０」であるかどうかを判断し、人物の移動量が「０」である（真）と判断した場合はＳ１７０２に進み、人物の移動量が「０」でない（偽）と判断した場合は、本処理を終了する。
Ｓ１７０２で、ＣＰＵ３０５は、ＨＭＤ１００を装着している人物（観測者）の顔の向き、カメラ撮像中における人体の移動方向から、該人体の物理空間内の移動方向を算出する。Ｓ１７０３で、ＣＰＵ３０５は、人物の図７に示した絶対位置推定処理フローで検出した移動方向と合致しない人物を、カメラ撮像中の人物推定フロー処理から除外し、本処理を終了する。
【００５１】
本発明の各工程は、ネットワーク又は各種記憶媒体を介して取得したソフトウエア（プログラム）をパソコン（コンピュータ）等の処理装置（ＣＰＵ、プロセッサ）にて実行することでも実現できる。
【００５２】
本発明は上記実施形態に限定されるものではなく、本発明の趣旨に基づき種々の変形（各実施形態の有機的な組合せを含む）が可能であり、それらを本発明の範囲から除外するものではない。
【符号の説明】
【００５３】
１００  ＨＭＤ
３００  処理サーバ
【図１】
2014164374.tif 000005
【図２】
2014164374.tif 000006
【図３】
2014164374.tif 000007
【図４】
2014164374.tif 000008
【図５】
2014164374.tif 000009
【図６】
2014164374.tif 000010
【図７】
2014164374.tif 000011
【図８】
2014164374.tif 000012
【図９】
2014164374.tif 000013
【図１０】
2014164374.tif 000014
【図１１】
2014164374.tif 000015
【図１２】
2014164374.tif 000016
【図１３】
2014164374.tif 000017
【図１４】
2014164374.tif 000018
【図１５】
2014164374.tif 000019
【図１６】
2014164374.tif 000020
【図１７】
2014164374.tif 000021
【図１８】
2014164374.tif 000022