(57)【要約】【課題】撮像画像から、所定空間内の目印を有する対象物の位置と向きを特定する。【解決手段】  複数の目印を備え、ユーザが装着して映像を視聴する装着具の、所定空間内における位置と姿勢を推定するにあたり、所定空間に含まれる互いに異なる複数の領域それぞれについて、各領域に装着具が存在する場合の事前姿勢データを記憶し、装着具が含まれる所定空間を撮像した撮像画像を受信する受信し、装着具から、装着具の姿勢を示す姿勢情報を受信し、撮像画像と、事前姿勢データとを用いて、複数の領域のうち装着具が存在する可能性のある領域を推定するものであって、逐次送信される撮像画像のうち、第１の撮像画像に続く第２の撮像画像に基づいて装着具の位置と姿勢を推定する場合に、第１の撮像画像における位置と姿勢とから、第１の撮像画像を受信した後に受信した姿勢情報とに基づいて、第２の撮像画像に対して用いる事前姿勢データを絞り込んで、領域を推定する推定システム。【選択図】図１
2018107695.tif 000002
【特許請求の範囲】
【請求項１】
ユーザが装着して映像を視聴する装着具と、所定空間内における前記装着具の位置と姿勢を推定する推定装置と、前記所定空間を撮像する撮像部とを含む推定システムであって、
前記装着具は、
外装表面に複数の目印と、
自機の姿勢を示す姿勢情報を逐次検出する検出部と、
前記姿勢情報を前記推定装置に逐次送信する第１送信部を備え、
前記推定装置は、
前記所定空間に含まれる互いに異なる複数の領域それぞれについて、各領域に前記装着具が存在する場合の事前姿勢データを記憶する記憶部と、
前記姿勢情報を受信する第１受信部と、
前記撮像部から撮像画像を受信する第２受信部と、
前記撮像画像と、前記事前姿勢データとを用いて、前記複数の領域のうち前記装着具が存在する可能性のある領域を推定するものであって、逐次送信される撮像画像のうち、第１の撮像画像に続く第２の撮像画像に基づいて前記装着具の位置と姿勢を推定する場合に、前記第１の撮像画像における位置と姿勢とから、前記第１の撮像画像を受信した後に受信した姿勢情報とに基づいて、前記第２の撮像画像に対して用いる事前姿勢データを絞り込んで、前記領域を推定する推定部とを備える
推定システム。
【請求項２】
前記複数の目印各々には、固有の識別子が割り振られており、
前記推定部は、前記撮像画像に含まれる前記装着具の目印に対して、前記固有の識別子のいずれが該当するかを推定して、前記装着具の位置と姿勢を推定する
ことを特徴とする請求項１に記載の推定システム。
【請求項３】
前記姿勢情報は、３軸に対する基本位置からの向きを示す情報と、各軸に対する回転の状態を示す情報とを含むことを特徴とする請求項１又は２に記載の推定システム。
【請求項４】
前記推定部は、さらに、前記目印各々に対して設定された法線ベクトルの向きを特定し、特定した法線ベクトルに基づいて、前記装着具の位置と姿勢を推定する
ことを特徴とする請求項１〜３のいずれか１項に記載の推定システム。
【請求項５】
前記複数の目印は、ＬＥＤであることを特徴とする請求項１〜４のいずれか１項に記載の推定システム。
【請求項６】
前記推定システムは、さらに、前記推定部が推定した前記装着具の前記所定空間における位置と姿勢とに基づいて、前記装着具に表示する映像を生成して送信する映像送信装置を備えることを特徴とする請求項１〜５のいずれか１項に記載の推定システム。
【請求項７】
前記記憶部は、さらに、受信した姿勢情報を複数記憶し、
前記推定部は、前記領域の推定を実行できなかった場合には、前記記憶部に記憶された姿勢情報を用いて前記推定を行う
ことを特徴とする請求項１〜６のいずれか１項に記載の推定システム。
【請求項８】
前記事前姿勢データは、前記所定空間に含まれる範囲を特定するための情報と、当該範囲に前記装着具が含まれるか否かを判断するための存在確率を算出するための情報とが対応付けられている情報であることを特徴とする請求項１〜７のいずれか１項に記載の推定システム。
【請求項９】
複数の目印を備え、ユーザが装着して映像を視聴する装着具の、所定空間内における位置と姿勢を推定する推定方法であって、
前記所定空間に含まれる互いに異なる複数の領域それぞれについて、各領域に前記装着具が存在する場合の事前姿勢データを記憶する記憶ステップと、
前記装着具が含まれる前記所定空間を撮像した撮像画像を受信する第１受信ステップと、
前記装着具から、前記装着具の姿勢を示す姿勢情報を受信する第２受信ステップと、
前記撮像画像と、前記事前姿勢データとを用いて、前記複数の領域のうち前記装着具が存在する可能性のある領域を推定するものであって、逐次送信される撮像画像のうち、第１の撮像画像に続く第２の撮像画像に基づいて前記装着具の位置と姿勢を推定する場合に、前記第１の撮像画像における位置と姿勢とから、前記第１の撮像画像を受信した後に受信した姿勢情報とに基づいて、前記第２の撮像画像に対して用いる事前姿勢データを絞り込んで、前記領域を推定する推定ステップとを含む推定方法。
【請求項１０】
コンピュータに、複数の目印を備え、ユーザが装着して映像を視聴する装着具の、所定空間内における位置と姿勢を推定させる推定プログラムであって、
前記所定空間に含まれる互いに異なる複数の領域それぞれについて、各領域に前記装着具が存在する場合の事前姿勢データを記憶する記憶機能と、
前記装着具が含まれる前記所定空間を撮像した撮像画像を受信する第１受信機能と、
前記装着具から、前記装着具の姿勢を示す姿勢情報を受信する第２受信機能と、
前記撮像画像と、前記事前姿勢データとを用いて、前記複数の領域のうち前記装着具が存在する可能性のある領域を推定するものであって、逐次送信される撮像画像のうち、第１の撮像画像に続く第２の撮像画像に基づいて前記装着具の位置と姿勢を推定する場合に、前記第１の撮像画像における位置と姿勢とから、前記第１の撮像画像を受信した後に受信した姿勢情報とに基づいて、前記第２の撮像画像に対して用いる事前姿勢データを絞り込んで、前記領域を推定する推定機能とを実現させる推定プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、所定空間内に存在する装着具の位置と姿勢とを所定空間を撮像した撮像画像から推定する推定システム、推定方法及び推定プログラムに関する。
【背景技術】
【０００２】
近年、ヘッドマウントディスプレイを利用したＡＲ（Augmented Reality）技術、ＶＲ（Virtual Reality）技術の発展が目覚ましい。そのようなヘッドマウントディスプレイを利用してユーザに映像を提供するにあたって、ユーザのいる位置を特定し、その位置に応じた映像を提供することも行われている。
【０００３】
特許文献１には、所定空間内にいる人物の姿勢や位置を特定する技術として、人物や物体にマーカーとしてのＬＥＤを付着し、そのＬＥＤの発光色や発光パターンとそれを検出するＬＥＤの発光に同期されたカメラから、どの部位に付着したＬＥＤかを特定して、人物の姿勢や位置を特定する技術がある（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００３−３５５１５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、外部カメラで撮像した撮像画像に基づいて、ヘッドマウントディスプレイを装着したユーザの位置を特定するにあたって、外部カメラとヘッドマウントディスプレイとを接続し、同期をとって、特定することが望ましい。これは、同期を取ることによって、特許文献１にあるような手法で、リアルにその位置と向きに対応する画像を提供するためである。この場合、外部カメラとヘッドマウントディスプレイとは、互いに通信遅延等を考慮すると有線で接続するのが好ましい。しかしながら、ヘッドマウントディスプレイにおいては、各種部品の搭載スペースが限られていたり、ユーザビリティを考慮すると有線接続は往々にしてユーザの邪魔になったりすることから、外部カメラと接続するための接続ポートを設けることは好ましくない。さらに、カメラには同期ケーブルを接続するための加工が必要となる。無線で接続することも考えられるが、この場合、同期処理に問題が生じる可能性があった。
【０００６】
そこで、本発明は上記問題に鑑みて成されたものであり、外部カメラとヘッドマウントディスプレイとの間で同期をとることなく、外部カメラによる撮像映像からヘッドマウントディスプレイの所定空間内での位置及び姿勢を推定する推定システムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明の一態様に係る推定システムは、ユーザが装着して映像を視聴する装着具と、所定空間内における装着具の位置と姿勢を推定する推定装置と、所定空間を撮像する撮像部とを含む推定システムであって、装着具は、外装表面に複数の目印と、自機の姿勢を示す姿勢情報を逐次検出する検出部と、姿勢情報を推定装置に逐次送信する第１送信部を備え、推定装置は、所定空間に含まれる互いに異なる複数の領域それぞれについて、各領域に装着具が存在する場合の事前姿勢データを記憶する記憶部と、姿勢情報を受信する第１受信部と、撮像部から撮像画像を受信する第２受信部と、撮像画像と、事前姿勢データとを用いて、複数の領域のうち装着具が存在する可能性のある領域を推定するものであって、逐次送信される撮像画像のうち、第１の撮像画像に続く第２の撮像画像に基づいて装着具の位置と姿勢を推定する場合に、第１の撮像画像における位置と姿勢とから、第１の撮像画像を受信した後に受信した姿勢情報とに基づいて、第２の撮像画像に対して用いる事前姿勢データを絞り込んで、領域を推定する推定部とを備える。
【０００８】
上記課題を解決するために、本発明の一態様に係る推定方法は、複数の目印を備え、ユーザが装着して映像を視聴する装着具の、所定空間内における位置と姿勢を推定する推定方法であって、所定空間に含まれる互いに異なる複数の領域それぞれについて、各領域に装着具が存在する場合の事前姿勢データを記憶する記憶ステップと、装着具が含まれる所定空間を撮像した撮像画像を受信する第１受信ステップと、装着具から、装着具の姿勢を示す姿勢情報を受信する第２受信ステップと、撮像画像と、事前姿勢データとを用いて、複数の領域のうち装着具が存在する可能性のある領域を推定するものであって、逐次送信される撮像画像のうち、第１の撮像画像に続く第２の撮像画像に基づいて装着具の位置と姿勢を推定する場合に、第１の撮像画像における位置と姿勢とから、第１の撮像画像を受信した後に受信した姿勢情報とに基づいて、第２の撮像画像に対して用いる事前姿勢データを絞り込んで、領域を推定する推定ステップとを含む。
【０００９】
上記課題を解決するために、本発明の一態様に係る推定プログラムは、コンピュータに、複数の目印を備え、ユーザが装着して映像を視聴する装着具の、所定空間内における位置と姿勢を推定させる推定プログラムであって、所定空間に含まれる互いに異なる複数の領域それぞれについて、各領域に装着具が存在する場合の事前姿勢データを記憶する記憶機能と、装着具が含まれる所定空間を撮像した撮像画像を受信する第１受信機能と、装着具から、装着具の姿勢を示す姿勢情報を受信する第２受信機能と、撮像画像と、事前姿勢データとを用いて、複数の領域のうち装着具が存在する可能性のある領域を推定するものであって、逐次送信される撮像画像のうち、第１の撮像画像に続く第２の撮像画像に基づいて装着具の位置と姿勢を推定する場合に、第１の撮像画像における位置と姿勢とから、第１の撮像画像を受信した後に受信した姿勢情報とに基づいて、第２の撮像画像に対して用いる事前姿勢データを絞り込んで、領域を推定する推定機能とを実現させる。
【００１０】
また、上記推定システムにおいて、複数の目印各々には、固有の識別子が割り振られており、推定部は、撮像画像に含まれる装着具の目印に対して、固有の識別子のいずれが該当するかを推定して、装着具の位置と姿勢を推定することとしてもよい。
【００１１】
また、上記推定システムにおいて、姿勢情報は、３軸に対する基本位置からの向きを示す情報と、各軸に対する回転の状態を示す情報とを含むこととしてもよい。
【００１２】
また、上記推定システムにおいて、推定部は、さらに、目印各々に対して設定された法線ベクトルの向きを特定し、特定した法線ベクトルに基づいて、装着具の位置と姿勢を推定することとしてもよい。
【００１３】
また、上記推定システムにおいて、複数の目印は、ＬＥＤであることとしてもよい。
【００１４】
また、上記推定システムにおいて、推定システムは、さらに、推定部が推定した装着具の所定空間における位置と姿勢とに基づいて、装着具に表示する映像を生成して送信する映像送信装置を備えることとしてもよい。
【００１５】
また、上記推定システムにおいて、記憶部は、さらに、受信した姿勢情報を複数記憶し、推定部は、領域の推定を実行できなかった場合には、記憶部に記憶された姿勢情報を用いて推定を行うこととしてもよい。
【００１６】
また、上記推定システムにおいて、事前姿勢データは、所定空間に含まれる範囲を特定するための情報と、当該範囲に装着具が含まれるか否かを判断するための存在確率を算出するための情報とが対応付けられている情報であることとしてもよい。
【発明の効果】
【００１７】
本発明の一態様に係る推定システムは、撮像のフレーム間における装着具を装着したユーザの動きを、装着具の検出部（センサ）からの姿勢情報（センシングデータ）を用いて、推定することにより、撮像画像における装着具の位置を推定するために用いる事前姿勢データを多数存在する中から特定することにより、所定空間における装着具の位置と向きを推定するために必要とする時間を短縮することができる。
【図面の簡単な説明】
【００１８】
【図１】推定システムの概略を示す概略図である。
【図２】推定システムの構成例を示す図である。
【図３】ヘッドマウントディスプレイをユーザが装着した様子を示す外観図である。
【図４】ヘッドマウントディスプレイの画像表示系の概観を模式的に示す斜視図である。
【図５】ヘッドマウントディスプレイの画像表示系の光学構成を模式的に示す図である。
【図６】視線方向の検出のためのキャリブレーションを説明する模式図である。
【図７】ユーザの角膜の位置座標を説明する模式図である。
【図８】事前姿勢データの構成例を示すデータ概念図である。
【図９】推定システムにおけるやりとりを示すシーケンス図である。
【図１０】推定装置の動作を示すフローチャートである。
【図１１】推定システムの構成例を示す図である。
【発明を実施するための形態】
【００１９】
以下、本発明に係る推定システムの一態様について、図面を参照しながら説明する。
【００２０】
＜実施の形態＞
本発明に係る推定システムは、図１に示すように、ユーザが装着して映像を視聴する装着具１００と、所定空間内における前記装着具の位置と姿勢を推定する推定装置２００と、前記所定空間を撮像する撮像部３００とを含む。推定システム１において、推定装置２００は、所定空間内における装着具１００の位置と向き、姿勢を推定する。そのために、撮像部３００は、所定空間１１３全域を収めるように、所定空間を逐次撮像する。また、装着具１００は、自機の状態を逐次検出（センシング）する。そして、推定装置２００は、逐次、撮像部３００から所定空間を撮像した撮像画像を取得するとともに、装着具１００から、装着具１００の状態（基本姿勢からの向きの変化及び傾きの変化）に関する情報を受け付け、それらの状態に基づいて装着具１００の状態を推定する。より具体的には、以下のように機能する。
【００２１】
装着具１００は、ユーザが装着可能であって、映像を視聴可能な器具であり、例えば、ヘッドマウントディスプレイや、ウェアラブルグラス（眼鏡）などの、ユーザに映像を提供可能なウェアラブル端末により実現することができる。
【００２２】
装着具１００は、外装表面に複数の目印１０１ａ、１０１ｂ、１０１ｃ、１０１ｄ、１０１ｅ、１０１ｆ、１０１ｇ、１０１ｈ、１０１ｉ、１０１ｊ（１０１ｉ、１０１ｊについては図２参照）と、自機の姿勢を示す姿勢情報を逐次検出する検出部１２３と、前記姿勢情報を前記推定装置２００に逐次送信する第１送信部１１９を備える。
【００２３】
外装表面の複数の目印は、カメラによる撮像を行った際に、撮像画像内にその目印を検出できるものであればよく、例えば、ＬＥＤにより実現することができる。撮像画像に含まれるこれらの複数の目印に対して、ＩＤ付けを行うことで装着具１００の位置と姿勢を特定することができる。目印のその他の例としては、何らかの撮像画像から目印として特定可能な塗料を用いたりすることもできる。また、目印の個数は、図に示す個数に限るものではなく、いくつであってもよい。
【００２４】
検出部１２３は、装着具１００の向きや傾きを検出するものであり、例えば、ジャイロセンサや加速度センサなどにより実現することができる。検出部１２３は、装着具１００の基本性からの３軸方向の傾き及び各軸の回転の度合を検出し、そのセンシングデータを姿勢情報として出力する。即ち、姿勢情報は、３軸の加速度成分と、各軸の回転情報とを含む。
【００２５】
第１送信部１１９は、検出部１２３が検出した姿勢情報を、推定装置２００に送信するものであり、例えば、通信インターフェースにより実現することができる。
【００２６】
撮像部３００は、上述の所定空間１１３を撮像するカメラである。撮像部３００は、所定空間１１３全域を収めるように撮像することができることが望ましく、そのために、カメラの画角や配置位置を調整することが望ましい。撮像部３００は、所定のフレームレート（例えば、２４ｆｐｓ）で所定空間を撮像し、撮像した映像を、推定装置２００に送信する。撮像部３００が撮像するフレームレートは、装着具１００の検出部１２３が装着具１００の状態をセンシングするレートよりも低い。
【００２７】
推定装置２００は、所定空間内におけるユーザが装着している装着具１００の位置及び姿勢を推定する装置であり、例えば、コンピュータシステムやサーバシステムにより実現することができる。
【００２８】
推定装置２００は、記憶部２３４と、第１受信部２２１と、第２受信部２２２と、推定部２３３とを備える。
【００２９】
記憶部２３４は、所定空間に含まれる互いに異なる複数の領域それぞれについて、各領域に装着具１００が存在する場合の事前姿勢データ８００を記憶するものであり、例えば、ＨＤＤ（Hard Disc Drive）、ＳＳＤ（Solid State Drive）、フラッシュメモリなどの各種の記憶媒体により実現することができる。ここで、事前姿勢データ８００は、各領域に装着具１００が存在した場合に、撮像され得る状態を特定するための情報である。事前姿勢データ８００の詳細については、後述する。
【００３０】
第１受信部２２１は、装着具１００から送信された装着具１００の姿勢を示す姿勢情報を受信するものであり、通信インターフェースにより実現することができる。
【００３１】
第２受信部２２２は、撮像部３００から撮像部３００が撮像した撮像画像を受信するものであり、通信インターフェースにより実現することができる。第１受信部２２１と第２受信部２２２とは、同じ通信インターフェースにより実現されてもよい。
【００３２】
推定部２３３は、撮像部３００が撮像した撮像画像と、記憶部２３４に記憶されている事前姿勢データとを用いて、複数の領域のうち装着具１００が存在する可能性のある領域を推定する。その際に、推定部２３３は、逐次送信される撮像画像のうち、第１の撮像画像に続く第２の撮像画像に基づいて装着具１００の位置と姿勢を推定する場合に、第１の撮像画像における位置と姿勢とから、第１の撮像画像を受信した後に受信した姿勢情報とに基づいて、第２の撮像画像に対して用いる事前姿勢データを絞り込んで、領域を推定する。即ち、撮像部３００が撮像した映像のｎ番目のフレームのときに、推定装置２００が所定空間内で装着具１００がいると特定した位置と姿勢から、装着具１００の検出部１２３が検出した姿勢情報に基づいてユーザ（装着具１００）がどのように動いたかを推定することで、ｎ＋１番目のフレームにおける装着具１００の所定空間における状態（位置と姿勢）を推定する。この推定により、所定空間内における装着具１００の位置と姿勢を撮像画像から推定するために使用する事前姿勢データを絞り込むことができる。
【００３３】
以下、本発明に係る推定システムについて詳細に説明する。
【００３４】
図２は、実施の形態に係る推定システム１の概観を模式的に示す図である。実施の形態に係る推定システム１は、装着具１００の一例として示したヘッドマウントディスプレイ１００と推定装置２００とを含む。以下においては、装着具１００は、ヘッドマウントディスプレイ１００と記載する。図２に示すように、ヘッドマウントディスプレイ１００は、ユーザ３０の頭部に装着して使用される。
【００３５】
推定装置２００は、所定空間内を撮像した撮像画像に含まれるヘッドマウントディスプレイ１００の外面に搭載されている目印のＩＤ付けを行って、ヘッドマウントディスプレイ１００の所定空間における位置と向きを特定する。また、推定装置２００は、ヘッドマウントディスプレイ１００を装着したユーザの右目及び左目の少なくとも一方の視線方向を検出し、ユーザの焦点、すなわち、ユーザがヘッドマウントディスプレイに表示されている三次元画像において注視している箇所を特定する。また、推定装置２００は、ヘッドマウントディスプレイ１００が表示する映像を生成する映像生成装置としても機能する。限定はしないが、一例として、推定装置２００は、据え置き型のゲーム機、携帯ゲーム機、ＰＣ、タブレット、スマートフォン、ファブレット、ビデオプレイヤ、テレビ等の映像を再生可能な装置である。推定装置２００は、ヘッドマウントディスプレイ１００と無線または有線で接続する。図２に示す例では、推定装置２００はヘッドマウントディスプレイ１００と無線で接続している。推定装置２００がヘッドマウントディスプレイ１００と実行する無線接続は、例えば既知のＷｉ−Ｆｉ（登録商標）やＢｌｕｅｔｏｏｔｈ（登録商標）等の無線通信技術を用いて実現できる。限定はしないが、一例として、ヘッドマウントディスプレイ１００と推定装置２００との間における映像の伝送は、Ｍｉｒａｃａｓｔ（登録商標）やＷｉＧｉｇ（登録商標）、ＷＨＤＩ（登録商標）等の規格に則って実行される。
【００３６】
なお、図２は、ヘッドマウントディスプレイ１００と推定装置２００とが異なる装置である場合の例を示している。しかしながら、推定装置２００はヘッドマウントディスプレイ１００に内蔵されてもよい。
【００３７】
ヘッドマウントディスプレイ１００は、筐体１５０、装着具１６０、およびヘッドフォン１７０を備える。筐体１５０は、画像表示素子などユーザ３０に映像を提示するための画像表示系や、図示しないＷｉ−ＦｉモジュールやＢｌｕｅｔｏｏｔｈ（登録商標）モジュール等の無線伝送モジュールを収容する。装着具１６０は、ヘッドマウントディスプレイ１００をユーザ３０の頭部に装着する。装着具１６０は例えば、ベルトや伸縮性の帯等で実現できる。ユーザ３０が装着具１６０を用いてヘッドマウントディスプレイ１００を装着すると、筐体１５０はユーザ３０の眼を覆う位置に配置される。このため、ユーザ３０がヘッドマウントディスプレイ１００を装着すると、ユーザ３０の視界は筐体１５０によって遮られる。
【００３８】
ヘッドフォン１７０は、推定装置２００が再生する映像の音声を出力する。ヘッドフォン１７０はヘッドマウントディスプレイ１００に固定されなくてもよい。ユーザ３０は、装着具１６０を用いてヘッドマウントディスプレイ１００を装着した状態であっても、ヘッドフォン１７０を自由に着脱することができる。
【００３９】
図３は、実施の形態に係るヘッドマウントディスプレイ１００の画像表示系１３０の概観を模式的に示す斜視図である。より具体的に、図３は、実施の形態に係る筐体１５０のうち、ヘッドマウントディスプレイ１００を装着したときにユーザ３０の角膜３０２に対向する領域を示す図である。
【００４０】
図３に示すように、左目用凸レンズ１１４ａは、ユーザ３０がヘッドマウントディスプレイ１００を装着したときに、ユーザ３０の左目の角膜３０２ａと対向する位置となるように配置される。同様に、右目用凸レンズ１１４ｂは、ユーザ３０がヘッドマウントディスプレイ１００を装着したときに、ユーザ３０の右目の角膜３０２ｂと対向する位置となるように配置される。左目用凸レンズ１１４ａと右目用凸レンズ１１４ｂとは、それぞれ左目用レンズ保持部１５２ａと右目用レンズ保持部１５２ｂとに把持されている。
【００４１】
以下本明細書において、左目用凸レンズ１１４ａと右目用凸レンズ１１４ｂとを特に区別する場合を除いて、単に「凸レンズ１１４」と記載する。同様に、ユーザ３０の左目の角膜３０２ａとユーザ３０の右目の角膜３０２ｂとを特に区別する場合を除いて、単に「角膜３０２」と記載する。左目用レンズ保持部１５２ａと右目用レンズ保持部１５２ｂとも、特に区別する場合を除いて「レンズ保持部１５２」と記載する。
【００４２】
レンズ保持部１５２には、複数の赤外光源１０３が備えられている。煩雑となることを避けるために、図３においてはユーザ３０の左目の角膜３０２ａに対して赤外光を照射する赤外光源をまとめて赤外光源１０３ａで示し、ユーザ３０の右目の角膜３０２ｂに対して赤外光を照射する赤外光源をまとめて赤外光源１０３ｂで示す。以下、赤外光源１０３ａと赤外光源１０３ｂとを特に区別する場合を除いて「赤外光源１０３」と記載する。図３に示す例では、左目用レンズ保持部１５２ａには６つの赤外光源１０３ａが備えられている。同様に、右目用レンズ保持部１５２ｂにも６つの赤外光源１０３ｂが備えられている。このように、赤外光源１０３を凸レンズ１１４に直接配置せず、凸レンズ１１４を把持するレンズ保持部１５２に配置することにより、赤外光源１０３の取り付けが容易となる。一般にレンズ保持部１５２は樹脂等で構成されるため、ガラス等から構成される凸レンズ１１４よりも赤外光源１０３を取り付けるための加工が容易だからである。
【００４３】
上述したように、レンズ保持部１５２は凸レンズ１１４を把持する部材である。したがって、レンズ保持部１５２に備えられた赤外光源１０３は、凸レンズ１１４の周囲に配置されることになる。なお、ここでは、それぞれの眼に対して赤外光を照射する赤外光源１０３を６つとしているが、この数はこれに限定されるものではなく、それぞれの眼に対応して少なくとも１つあればよく、２以上配されているのが望ましい。
【００４４】
図４は、実施の形態に係る筐体１５０が収容する画像表示系１３０の光学構成を模式的に示す図であり、図３に示す筐体１５０を左目側の側面から見た場合の図である。画像表示系１３０は、赤外光源１０３、画像表示素子１０８、ホットミラー１１２、凸レンズ１１４、カメラ１１６、および第１通信部１１８を備える。
【００４５】
赤外光源１０３は、近赤外（７００ｎｍ〜２５００ｎｍ程度）の波長帯域の光を照射可能な光源である。近赤外光は、一般に、ユーザ３０の肉眼では観測ができない非可視光の波長帯域の光である。
【００４６】
画像表示素子１０８は、ユーザ３０に提示するための画像を表示する。画像表示素子１０８が表示する画像は、推定装置２００内の映像生成部２３２が生成する。映像生成部２３２については後述する。画像表示素子１０８は、例えば既知のＬＣＤ（Liquid Crystal Display）や有機ＥＬディスプレイ（Organic Electro Luminescence Display）等を用いて実現できる。
【００４７】
ホットミラー１１２は、ユーザ３０がヘッドマウントディスプレイ１００を装着したときに、画像表示素子１０８とユーザ３０の角膜３０２との間に配置される。ホットミラー１１２は、画像表示素子１０８が生成する可視光は透過するが、近赤外光は反射する性質を持つ。
【００４８】
凸レンズ１１４は、ホットミラー１１２に対して、画像表示素子１０８の反対側に配置される。言い換えると、凸レンズ１１４は、ユーザ３０がヘッドマウントディスプレイ１００を装着したときに、ホットミラー１１２とユーザ３０の角膜３０２との間に配置される。すなわち、凸レンズ１１４は、ヘッドマウントディスプレイ１００がユーザ３０に装着されたときに、ユーザ３０の角膜３０２に対向する位置に配置される。
【００４９】
凸レンズ１１４はホットミラー１１２を透過する画像表示光を集光する。このため、凸レンズ１１４は、画像表示素子１０８が生成する画像を拡大してユーザ３０に提示する画像拡大部として機能する。なお、説明の便宜上、図３では凸レンズ１１４をひとつのみ示しているが、凸レンズ１１４は、種々のレンズを組み合わせて構成されるレンズ群であってもよいし、一方が曲率を持ち、他方が平面の片凸レンズであってもよい。
【００５０】
複数の赤外光源１０３は、凸レンズ１１４の周囲に配置されている。赤外光源１０３は、ユーザ３０の角膜３０２に向けて赤外光を照射する。
【００５１】
図示はしないが、実施の形態に係るヘッドマウントディスプレイ１００の画像表示系１３０は画像表示素子１０８を二つ備えており、ユーザ３０の右目に提示するための画像と左目に提示するための画像とを独立に生成することができる。このため、実施の形態に係るヘッドマウントディスプレイ１００は、ユーザ３０の右目と左目とに、それぞれ右目用の視差画像と左目用の視差画像とを提示することができる。これにより、実施の形態に係るヘッドマウントディスプレイ１００は、ユーザ３０に対して奥行き感を持った立体映像を提示することができる。
【００５２】
上述したように、ホットミラー１１２は、可視光を透過し、近赤外光を反射する。したがって、画像表示素子１０８が照射する画像光はホットミラー１１２を透過してユーザ３０の角膜３０２まで到達する。
【００５３】
ユーザ３０の角膜３０２に到達した赤外光は、ユーザ３０の角膜３０２で反射され、再び凸レンズ１１４の方向に向かう。この赤外光は凸レンズ１１４を透過し、ホットミラー１１２で反射される。カメラ１１６は可視光を遮断するフィルタを備えており、ホットミラー１１２で反射された近赤外光を撮像する。すなわち、カメラ１１６は、赤外光源１０３から照射され、ユーザ３０の眼で角膜反射された近赤外光を撮像する近赤外カメラである。
【００５４】
なお、図示はしないが、実施の形態に係るヘッドマウントディスプレイ１００の画像表示系１３０は、カメラ１１６を二つ、すなわち、右目で反射された赤外光を含む画像を撮像する第１撮像部と、左目で反射された赤外光を含む画像を撮像する第２撮像部とを備える。これにより、ユーザ３０の右目及び左目の双方の視線方向を検出するための画像を取得することができる。
【００５５】
第１通信部１１８は、カメラ１１６が撮像した画像を、ユーザ３０の視線方向を検出する推定装置２００に出力する。具体的には、第１通信部１１８は、カメラ１１６が撮像した画像を推定装置２００に送信する。視線検出部２３１の詳細については後述するが、推定装置２００のＣＰＵ（Central Processing Unit）が実行する視線検出プログラムによって実現される。なお、ヘッドマウントディスプレイ１００がＣＰＵやメモリ等の計算リソースを持っている場合には、ヘッドマウントディスプレイ１００のＣＰＵが視線方向検出部を実現するプログラムを実行してもよい。
【００５６】
詳細は後述するが、カメラ１１６が撮像する画像には、ユーザ３０の角膜３０２で反射された近赤外光に起因する輝点と、近赤外の波長帯域で観察されるユーザ３０の角膜３０２を含む眼の画像とが撮像されている。赤外光源からの近赤外光は、ある程度の指向性を有するものの、ある程度の拡散光も照射しており、ユーザ３０の眼の画像は、当該拡散光により撮像される。
【００５７】
以上は、実施の形態に係る画像表示系１３０のうち主にユーザ３０の左目に画像を提示するための構成について説明したが、ユーザ３０の右目に画像を提示するための構成は上記と同様である。
【００５８】
図５は、推定システムの詳細構成を示すブロック図である。図５に示すように、推定システムは、ヘッドマウントディスプレイ１００と、推定装置２００と、撮像部３００とを含む。
【００５９】
図５に示すようにヘッドマウントディスプレイ１００は、第１通信部１１８と、表示部１２１と、赤外光照射部１２２と、検出部１２３と、眼球撮像部１２４とを備える。第１通信部１１８と、表示部１２１と、赤外光照射部１２２と、検出部１２３と、眼球撮像部１２４とは、互いにバスを介して接続される。
【００６０】
第１通信部１１８は、推定装置２００と通信を実行する機能を有する通信インターフェースである。上述したとおり、第１通信部１１８は、有線通信又は無線通信により第２通信部２２０と通信を実行する。使用可能な通信規格の例は上述した通りである。第１通信部１１８は、眼球撮像部１２４から伝送された視線検出に用いる画像データ（撮像画像のデータ）を第２通信部２２０に送信する。また、第１通信部１１８は、検出部１２３が検出したセンシングデータを第２通信部２２０に逐次送信する。また、第１通信部１１８は、推定装置２００から送信された画像データやマーカー画像を表示部１２０に伝達する。画像データは、一例として、仮想空間画像を表示するためのデータであったり、ゲームコンテンツ画像であったりする。また、画像データは、三次元画像を表示するための右目用視差画像と、左目用視差画像とからなる視差画像対であってもよい。第１通信部１１８は、上述の第１送信部１１９を含む。
【００６１】
表示部１２１は、第１通信部１１８から伝達された画像データであって、映像生成部２３２により生成された画像データを画像表示素子１０８に表示する機能を有する。また、表示部１２１は、映像生成部２３２から出力されたマーカー画像を画像表示素子１０８に指定されている座標に表示する。
【００６２】
赤外光照射部１２２は、赤外光源１０３を制御し、ユーザの右目又は左目に近赤外光を照射する。
【００６３】
検出部１２３は、ヘッドマウントディスプレイ１００の状態を検出する機能を有するセンサである。検出部１２３は、例えば、ジャイロセンサや加速度センサなどにより実現される。検出部１２３は、所謂６軸センサであり、水平面に含まれる１軸をＸ軸、そのＸ軸に対して直角なＹ軸、Ｘ軸及びＹ軸が成す面に対して垂直なＺ軸の３軸成分及び各３軸成分の回転に関する情報を検出して出力する。なお、これらの検出値（センシングデータ）は、実際には、基本姿勢からの変化量を示すものであり、姿勢情報として出力される。検出部１２３は、検出したセンシングデータを第１通信部１１８に伝達する。
【００６４】
眼球撮像部１２４は、カメラ１１６を用いて、ユーザ３０のそれぞれの目で反射された近赤外光を含み、ユーザの目を含む画像を撮像する。また、眼球撮像部１２４は、画像表示素子１０８に表示されたマーカー画像を注視するユーザの眼を含む画像を撮像する。眼球撮像部１２４は、撮像して得た画像を、第１通信部１１８に伝達する。なお、ヘッドマウントディスプレイ１００は、画像処理を行う画像処理部を備えて、眼球撮像部１２４が撮像した撮像画像に対して所定の画像処理を施して、第１通信部１１８から第２通信部２２０に送信する構成をとってもよい。
【００６５】
推定装置２００は、第２通信部２２０と、視線検出部２３１と、映像生成部２３２と、推定部２３３と、記憶部２３４とを備える。
【００６６】
第２通信部２２０は、ヘッドマウントディスプレイ１００の第１通信部１１８と通信を実行する機能を有する通信インターフェースである。上述したとおり、第２通信部２２０は、有線通信又は無線通信により第１通信部１１８と通信を実行する。第２通信部２２０は、映像生成部２３２から伝達された１以上の広告を含む仮想空間画像を表示するための画像データや、キャリブレーションのために用いるマーカー画像などをヘッドマウントディスプレイ１００に送信する。また、ヘッドマウントディスプレイ１００から送信された眼球撮像部１２４により撮像されたマーカー画像を注視するユーザの眼を含む画像や、映像生成部２３２が出力した画像データに基づいて表示された画像を見るユーザの眼を撮像した撮像画像を視線検出部２３１に伝達する。また、撮像部３００から送信されたヘッドマウントディスプレイ１００を装着したユーザが存在する所定空間を撮像した撮像画像を推定部２３３に伝達する。
【００６７】
第２通信部２２０は、上述の第１受信部２２１と第２受信部２２２とを含む。第１受信部２２１と、第２受信部２２２は、一つの受信回路で共用されてよく、その場合に、受信したデータのヘッダ等を確認することで受信したデータが何のデータであるかを区別できる。
【００６８】
視線検出部２３１は、第２通信部２２０からユーザの右目の視線検出用の画像データ（撮像画像）を受け付けて、ユーザの右目の視線方向を検出する。同様に、第２通信部２２０からユーザの左目の視線検出用の画像データを受け付けて、ユーザ３０の左目の視線方向を検出する。より具体的には、視線検出部２３１は、後述する視線検出手法により、ユーザが画像表示素子１０８において表示されている画像の注視している箇所を特定する。視線検出部２３１は、ユーザが注視している箇所（画像表示素子１０８における注視座標）を映像生成部２３２に伝達する。視線検出部２３１は、プロセッサにより実現することができる。
【００６９】
映像生成部２３２は、ヘッドマウントディスプレイ１００の表示部１２０に表示させる画像データを生成し、第２通信部２２０に伝達する。また、映像生成部２３２は、視線検出のためのキャリブレーションのためのマーカー画像を生成し、その表示座標位置と共に、第２通信部２２０に伝達して、ヘッドマウントディスプレイ１００に送信させる。また、映像生成部２３２は、視線検出部２３１から出力されたユーザの注視に基づいて映像を生成し、そのデータを第２通信部２２０に伝達する。例えば、映像生成部２３２は、視線検出部２３１が検出した注視位置を含む所定範囲の解像度が当該所定範囲外の解像度よりも高い映像データを生成して、第２通信部２２０に伝達する。また、映像生成部２３２は、推定部２３３から伝達されたヘッドマウントディスプレイ１００の所定空間における位置と向きに応じた映像を生成して、第２通信部２２０に伝達する。映像生成部２３２は、例えば、プロセッサやグラフィックエンジン等により実現することができる。
【００７０】
推定部２３３は、受け付けた撮像画像と、記憶部２３４に記憶されている事前姿勢データ８００とから、ヘッドマウントディスプレイ１００の所定空間内における位置と姿勢とを推定する。推定部２３３は、撮像部３００が所定空間を撮像した撮像画像から、所定空間内に存在するヘッドマウントディスプレイ１００の外面に搭載されている各目印を特定し、撮像画像の目印に予め定められている目印のＩＤの割り振りを行う。即ち、ヘッドマウントディスプレイ１００に搭載されている目印のうち、どの目印が撮像画像の目印に該当するのかを特定する。そして、記憶部２３４に記憶されている複数の事前姿勢データを用いて、ヘッドマウントディスプレイ１００の所定空間内における存在位置と向きとを推定する。
【００７１】
また、推定部２３３は、撮像画像のフレーム間のユーザ（ヘッドマウントディスプレイ１００）の動きを伝達された姿勢情報に基づいて、推定し、ユーザ（ヘッドマウントディスプレイ１００）がどのように動いたかを推定する。そして、推定後の位置と姿勢とに基づいて、ヘッドマウントディスプレイ１００の実際の位置と姿勢を推定するために用いる事前姿勢データを特定する。推定部２３３は、例えば、プロセッサにより実現することができる。
【００７２】
記憶部２３４は、推定装置２００が動作上必要とする各種プログラムやデータを記憶する記録媒体である。記憶部２３４は、例えば、ＨＤＤ（Hard Disc Drive）、ＳＳＤ（Solid State Drive）などにより実現される。記憶部２３４は、視線検出部２３１が視線検出に用いる視線検出プログラムや、推定部２３３が所定空間内においてユーザが装着しているヘッドマウントディスプレイ１００の位置を推定するために用いる推定プログラムや、ヘッドマウントディスプレイ１００から受信した眼球撮像画像（映像）や、検出部１２３が検出したセンシングデータ、撮像部３００から受信した撮像画像などを記憶している。
【００７３】
以上が推定装置２００の構成の説明である。次に、ユーザの注視点の検出について説明する。
【００７４】
図６は、実施の形態に係る視線方向の検出のためのキャリブレーションを説明する模式図である。ユーザ３０の視線方向は、カメラ１１６が撮像し第１通信部１１８が推定装置２００に出力した映像を、推定装置２００内の視線検出部２３１及び視線検出部２３１が解析することにより実現される。
【００７５】
映像生成部２３２は、図６に示すような点Ｑ１〜Ｑ９までの９つの点（マーカー画像）を生成し、ヘッドマウントディスプレイ１００の画像表示素子１０８に表示させる。推定装置２００は、点Ｑ１〜点Ｑ９に到るまで順番にユーザ３０に注視させる。このとき、ユーザ３０は首を動かさずに極力眼球の動きのみで各点を注視するように求められる。カメラ１１６は、ユーザ３０が点Ｑ１〜Ｑ９までの９つの点を注視しているときのユーザ３０の角膜３０２を含む画像を撮像する。
【００７６】
図７は、ユーザ３０の角膜３０２の位置座標を説明する模式図である。推定装置２００内の視線検出部２３１は、カメラ１１６が撮像した画像を解析して赤外光に由来する輝点１０５を検出する。ユーザ３０が眼球の動きのみで各点を注視しているときは、ユーザがいずれの点を注視している場合であっても、輝点１０５の位置は動かないと考えられる。そこで視線検出部２３１は、検出した輝点１０５をもとに、カメラ１１６が撮像した画像中に２次元座標系３０６を設定する。
【００７７】
視線検出部２３１はまた、カメラ１１６が撮像した画像を解析することにより、ユーザ３０の角膜３０２の中心Ｐを検出する。これは例えばハフ変換やエッジ抽出処理等、既知の画像処理を用いることで実現できる。これにより、視線検出部２３１は、設定した２次元座標系３０６におけるユーザ３０の角膜３０２の中心Ｐの座標を取得できる。
【００７８】
図６において、画像表示素子１０８が表示する表示画面に設定された２次元座標系における点Ｑ１〜点Ｑ９の座標をそれぞれＱ１（ｘ１，ｙ１）Ｔ，Ｑ２（ｘ２，ｙ２）Ｔ・・・，Ｑ９（ｘ９，ｘ９）Ｔとする。各座標は、例えば各点の中心に位置する画素の番号となる。また、ユーザ３０が点Ｑ１〜点Ｑ９を注視しているときの、ユーザ３０角膜３０２の中心Ｐを、それぞれ点Ｐ１〜Ｐ９とする。このとき、２次元座標系３０６における点Ｐ１〜Ｐ９の座標をそれぞれＰ１（Ｘ１，Ｙ１）Ｔ，Ｐ２（Ｘ２，Ｙ２）Ｔ，・・・，Ｐ９（Ｘ９，Ｙ９）Ｔとする。なお、Ｔはベクトルまたは行列の転置を表す。
【００７９】
いま、２×２の大きさの行列Ｍを以下の式（１）のように定義する。
【００８０】
【数１】
2018107695.tif 000003
【００８１】
このとき、行列Ｍが以下の式（２）を満たせば、行列Ｍはユーザ３０の視線方向を画像表示素子１０８が表示する画像面に射影する行列となる。
【００８２】
ＱＮ＝ＭＰＮ  （Ｎ＝１，・・・，９）    （２）
【００８３】
上記式（２）を具体的に書き下すと以下の式（３）のようになる。
【００８４】
【数２】
2018107695.tif 000004
【００８５】
式（３）を変形すると以下の式（４）を得る。
【００８６】
【数３】
2018107695.tif 000005
ここで、
【００８７】
【数４】
2018107695.tif 000006
とおくと、以下の式（５）を得る。
ｙ＝Ａｘ    （５）
【００８８】
式（５）において、ベクトルｙの要素は視線検出部２３１が画像表示素子１０８に表示させる点Ｑ１〜Ｑ９の座標であるため既知である。また、行列Ａの要素はユーザ３０の角膜３０２の頂点Ｐの座標であるため取得できる。したがって、視線検出部２３１は、ベクトルｙおよび行列Ａを取得することができる。なお、変換行列Ｍの要素を並べたベクトルであるベクトルｘは未知である。したがって、行列Ｍを推定する問題は、ベクトルｙと行列Ａとが既知であるとき、未知ベクトルｘを求める問題となる。
【００８９】
式（５）は、未知数の数（すなわちベクトルｘの要素数４）よりも式の数（すなわち、視線検出部２３１がキャリブレーション時にユーザ３０に提示した点Ｑの数）が多ければ、優決定問題となる。式（５）に示す例では、式の数は９つであるため、優決定問題である。
【００９０】
ベクトルｙとベクトルＡｘとの誤差ベクトルをベクトルｅとする。すなわち、ｅ＝ｙ−Ａｘである。このとき、ベクトルｅの要素の二乗和を最小にするという意味で最適なベクトルｘｏｐｔは、以下の式（６）で求められる。
【００９１】
ｘｏｐｔ＝（ＡＴＡ）−１ＡＴｙ    （６）
ここで「−１」は逆行列を示す。
【００９２】
視線検出部２３１は、求めたベクトルｘｏｐｔの要素を用いることで、式（１）の行列Ｍを構成する。これにより、視線検出部２３１は、ユーザ３０の角膜３０２の頂点Ｐの座標と行列Ｍとを用いることで、式（２）にしたがい、ユーザ３０の右目が画像表示素子１０８に表示される動画像上のどこを注視しているかを推定できる。ここで、視線検出部２３１は、更に、ユーザの眼と、画像表示素子１０８間の距離情報をヘッドマウントディスプレイ１００から受信し、その距離情報に応じて、推定したユーザが注視している座標値を修正する。なお、ユーザの眼と画像表示素子１０８との間の距離による注視位置の推定のずれは誤差の範囲として無視してもよい。これにより、視線検出部２３１は、画像表示素子１０８上の右目の注視点と、ユーザの右目の角膜の頂点とを結ぶ右目視線ベクトルを算出することができる。同様に、視線検出部２３１は、画像表示素子１０８上の左目の注視点と、ユーザの左目の角膜の頂点とを結ぶ左目視線ベクトルを算出することができる。なお、片目だけの視線ベクトルで２次元平面上でのユーザの注視点を特定することができ、両眼の視線ベクトルを得ることでユーザの注視点の奥行き方向の情報まで算出することができる。推定装置２００はこのようにしてユーザの注視点を特定することができる。なお、ここに示した注視点の特定方法は一例であり、本実施の形態に示した以外の手法を用いて、ユーザの注視点を特定してもよい。
【００９３】
撮像部３００は、所定空間を撮像し、撮像した映像を推定装置２００に送信する機能を有する一般的なカメラである。撮像部３００は、予め定められたフレームレートで撮像した映像を逐次、推定装置２００に送信する。当該フレームレートは、検出部１２３が検出するセンシングレート、そして、そのセンシングされたデータがヘッドマウントディスプレイ１００から推定装置２００に送信されるレートよりも低いレートである。撮像部３００は、推定装置２００と有線、無線のいずれで接続されてもよく、撮像した映像データを転送できるのであれば、どのような通信プロトコルを用いてもよい。
【００９４】
以上が推定システム１の構成である。
【００９５】
＜データ＞
図８は、推定装置２００の記憶部に記憶される事前姿勢データ８００のデータ構成例を示すデータ概念図である。事前姿勢データ８００とは、画像に基づいて所定空間におけるある領域において、対象（ＨＭＤ）が存在する確率を算出するための情報であり、図８はその一例である。
【００９６】
図８に示されるように、事前姿勢データ８００は、所定空間における対応範囲８０１と、その対応範囲における各目印の配置関係としてあり得る位置を示す参照情報８０２とが対応付けられたデータである。言い換えれば、事前姿勢データ８００は、所定空間内において、予め定められた範囲を設定した場合に、その範囲それぞれにおいて、ヘッドマウントディスプレイ１００が存在した場合にヘッドマウントディスプレイ１００が取り得る状態を示す情報である。
【００９７】
対応範囲８０１は、所定空間における座標範囲を示す情報である。ここでは、その範囲の中心となる座標位置で示し、対応範囲は、その座標位置を中心とした所定範囲内であるものとする。図８においては、対応範囲８０１の一例として、その範囲の中心となる座標値（ｘ、ｙ、ｚ）と、各軸（ｘ軸、ｙ軸、ｚ軸）の回転角を示す（rotation x、rotation y、rotation z）との６つの指標を用いる場合を示している。ここで、ｘ軸、ｙ軸は、水平面に含まれる互いに直角な軸であるとし、ｚ軸は、ｘ軸、ｙ軸双方に対して直角な軸であるとしてもよい。
【００９８】
参照情報８０２は、対応する対応範囲８０１にヘッドマウントディスプレイ１００があった場合の、目印と指定の各目印の配置関係を示す情報である。参照情報８０２は、例えば、ヘッドマウントディスプレイ１００が対応する対応範囲に存在する確率を示す共分散行列で表現することができるが、これはその限りではない。参照画像から、ヘッドマウントディスプレイ１００の位置や姿勢を特定できる情報であれば、参照情報８０２は、どのような態様をとってもよい。一例として、参照情報８０２は、位置を示すベクトルをｖ＝（ｘ、ｙ、ｚ）Ｔ  （Ｔは転置を意味する）とし、任意軸の回転を表す回転ベクトルをＲ＝（Ｒｘ、Ｒｙ、Ｒｚ）とすると、図８に示す行列式で表すことができる。当該行列式において、Σｘｘは、共分散値を意味する。共分散値は、所定空間における広がり方（確率）を示す。例えば、ある一定方向に対する確率が変化することを意味する。なお、この図８に示す行列式を対角行列としても推定部によるヘッドマウントディスプレイ１００を装着したユーザの所定空間におけるユーザの位置の推定は実行でき、その場合に、推定の際の演算負荷を軽減することができる。
【００９９】
推定部２３３は、撮像画像内に含まれる目印の位置を特定し、特定した目印の位置と事前姿勢データの参照情報８０２とに基づいて、ヘッドマウントディスプレイ１００が、対応する対応範囲にいると思われる確率を算出する。なお、図８における事前姿勢データ８００は一例であることは前述の通りであり、対応範囲８０１には、例えば、所定空間をグリッド状に分割した各グリッドを用いることとしてもよい。このグリッドは、同心円球状、立方体状にしてもよい。また、あるいは、それらの形状を組み合わせることとしてもよい。また、ここでは、共分散値を用いることしたが、存在確率を算出する手法として、共分散値以外の手法を用いてもよい。
【０１００】
＜動作＞
図９は、推定システム１における各装置間のやり取りを示すシーケンス図である。図９に示すように、撮像部３００は、逐次、撮像した画像（映像）を、推定装置２００に送信する。撮像部３００は、撮像した映像（ここでは、最初のフレームであるとする。）を推定装置２００に送信する（ステップＳ９０１）。
【０１０１】
撮像画像を受信した推定装置２００は、受信した撮像画像と記憶している複数の事前姿勢データを使用して、撮像画像におけるＨＭＤの各目印に対してＩＤ付けを行うことで、所定空間（撮像空間）中におけるヘッドマウントディスプレイ１００の位置と向きとを特定する（ステップＳ９０２）。
【０１０２】
そして、推定装置２００は、特定したヘッドマウントディスプレイ１００の位置と向きに応じた映像を生成して、ヘッドマウントディスプレイ１００に送信する（ステップＳ９０３）。
【０１０３】
映像を受けたヘッドマウントディスプレイ１００は、これを表示して（ステップＳ９０４）、映像をユーザ３０に提供する。
【０１０４】
推定装置２００から映像を受ける一方で、ヘッドマウントディスプレイ１００は、自身の基準位置からの向きの変化や加速度などのセンシングデータ（姿勢情報）を逐次推定装置２００に送信する（ステップＳ９０５）。ヘッドマウントディスプレイ１００に搭載されたセンサによるセンシングレートは、撮像部３００が撮像するフレームレートよりも高いため、撮像部３００が１つのフレームが送信されてから次のフレームを送信するまでの間に複数のセンシングデータが推定装置２００に送信される。例えば、撮像部３００による撮像が２４ｆｐｓであり、センシングレートが、２４０ｐｓであれば、撮像部３００が１つのフレームを送ってから次のフレームを送るまでの間に、ヘッドマウントディスプレイ１００は、およそ１０個のセンシングデータを送信することになる。
【０１０５】
推定装置２００は、逐次送信されてくるセンシングデータ（姿勢情報）に基づいて、ステップＳ９０２において特定したＨＭＤの位置と向きに対して、逐次受信した姿勢情報に基づいて、ヘッドマウントディスプレイ１００の位置と姿勢の変化量を加算することで、ヘッドマウントディスプレイ１００の位置と向きを推定する（ステップＳ９０６）。
【０１０６】
撮像部３００は、推定装置２００に対して、撮像した次のフレームを送信する（ステップＳ９０７）。
【０１０７】
推定装置２００は、推定した位置と姿勢に基づいて、記憶部に記憶されている事前姿勢データのうち、撮像画像に基づいてヘッドマウントディスプレイの位置と姿勢を特定するために用いる事前姿勢データを特定する（ステップＳ９０８）。
【０１０８】
事前姿勢データの特定を行うと、推定装置２００は、絞り込んだ事前姿勢データを用いて、所定空間内におけるヘッドマウントディスプレイ１００の位置と姿勢の特定を行う（ステップＳ９０９）。そして、推定装置２００は、特定した位置と姿勢に応じた映像データを生成し、ヘッドマウントディスプレイ１００に送信する（ステップＳ９１０）。
【０１０９】
撮像画像と事前姿勢データからヘッドマウントディスプレイ１００の位置を特定するためには、従来であれば、事前姿勢データを最初から総当たりで、演算を行う必要があった。しかし、本実施の形態の推定システム１によれば、ヘッドマウントディスプレイ１００が逐次送信する姿勢情報から、ヘッドマウントディスプレイ１００の所定空間内における位置を推定することで、位置と向きの特定に用いる事前姿勢データを絞り込むことができる。
【０１１０】
したがって、装着具１００と推定装置２００とを同期のための有線で接続することなく、撮像画像から、所定空間における位置を特定することができる。
【０１１１】
以下、図９におけるシーケンス図に示すやり取りを実現するための推定装置２００の動作を、図１０に示すフローチャートを用いて説明する。
【０１１２】
図１０は、推定装置２００の動作を示すフローチャートである。
【０１１３】
推定装置２００の第２通信部２２０は、撮像部３００から所定空間を撮像した撮像画像を受信する（ステップ１００１）。第２通信部２２０は、受信した撮像画像を推定部２３３に伝達する。
【０１１４】
推定部２３３は、記憶部２３４に、ヘッドマウントディスプレイ１００の位置と向きを推定した推定情報が記憶されているか否かを判断する（ステップＳ１００２）。
【０１１５】
推定情報が記憶部２３４に記憶されている場合（ステップＳ１００２のＹＥＳ）、即ち、受信した撮像画像が二番目以降のフレームのものである場合、推定部２３３は、記憶部２３４に記憶されている推定情報に対応する事前姿勢データを特定する（ステップＳ１００３）。即ち、推定情報で示される位置に最も近い部分領域中心座標が対応付けられている事前姿勢データを特定する。
【０１１６】
推定部２３３は、撮像画像と、特定した事前姿勢データとに基づいて、撮像画像内に含まれるヘッドマウントディスプレイ１００の位置を特定する。このとき、参照情報８０２と撮像画像とを用いて、算出された確率が所定の閾値を超えている場合に、対応する対応範囲に存在すると推定する。そして、撮像画像中のヘッドマウントディスプレイに搭載された各目印について、撮像画像中の目印に対してどのＩＤの目印かを特定する。そして、目印のＩＤ付けを行って、ヘッドマウントディスプレイ１００の所定空間内における位置と向きとを特定する（ステップＳ１００４）。推定部２３３は、特定した位置と向きとを映像生成部２３２に伝達する。
【０１１７】
映像生成部２３２は、特定した位置と向きに応じた映像を生成する。特定した位置と向きに応じた映像とは、特定した位置に存在しているときに、その向きに見える映像のことをいう。映像生成部２３２は、生成した映像を第１通信部２２０に伝達し、第１通信部２２０は、伝達された映像をヘッドマウントディスプレイ１００に送信する（ステップＳ１００５）。
【０１１８】
一方、ステップＳ１００２において、推定情報がない場合には（ステップＳ１００２のＮＯ）、推定部２３２は、事前姿勢データを順番に、撮像画像を用いて、総当たり的に、その位置にいるのかを推定する（ステップＳ１００５）。即ち、受信した撮像画像内の目印として目印を特定し、それらが所定空間１１３内において、どの対応範囲８０１に位置している可能性が最も高いかを、参照情報８０２の各共分散行列を用いて特定する。各事前姿勢データと撮像画像とを用いて、各事前姿勢データで示される位置に存在する確率を求めていくため、事前姿勢データが絞り込まれていない状態よりも位置の特定に時間を要する。推定部２３３は、特定した位置と向きとを映像生成部２３２に伝達する。
【０１１９】
映像生成部２３２は、特定した位置と向きに応じた映像を生成する。特定した位置と向きに応じた映像とは、特定した位置に存在しているときに、その向きに見える映像のことをいう。映像生成部２３２は、生成した映像を第１通信部２２０に伝達し、第１通信部２２０は、伝達された映像をヘッドマウントディスプレイ１００に送信する（ステップＳ１００７）。
【０１２０】
ステップＳ１００８において、推定装置２００の第１通信部２２０は、ヘッドマウントディスプレイ１００１００からセンシングデータを受信しているか否かを判定する（ステップＳ１００８）。
【０１２１】
センシングデータを受信していた場合には（ステップＳ１００８のＹＥＳ）、推定部２３３は、特定したヘッドマウントディスプレイ１００の位置と向きに対して、センシングデータで示される動きをした場合の移動量と、移動方向を加算することで、ヘッドマウントディスプレイ１００の現在の位置と向きを推定する。推定部２３３は、推定した位置と向きを推定情報として、記憶部２３４に記憶する（ステップＳ１００９）。
【０１２２】
推定装置２００は、ヘッドマウントディスプレイ１００における映像の表示の終了入力を受け付けているか否かを判定する（ステップＳ１０１０）。受け付けていた場合には（ステップＳ１０１０のＹＥＳ）、図１０に示す処理を終了する。
【０１２３】
受け付けていない場合には（ステップＳ１０１０のＮＯ）、推定装置２００は、第１通信部２２０で次の撮像画像（フレーム）を受信しているか否かを判定する（ステップＳ１０１１）。次のフレームを受信していない場合には（ステップＳ１０１１のＮＯ）、ステップＳ１００８に戻り、次のフレームを受信している場合には（ステップＳ１０１１のＹＥＳ）、ステップＳ１００２に戻り、以降の処理を実行する。
【０１２４】
初回時には、検出部１２３が検出したセンシングデータを用いての事前姿勢データの絞り込みはできないため（ステップＳ１００２のＮＯの場合）、総当たりで所定空間内におけるヘッドマウントディスプレイ１００の位置及び姿勢の推定を行うものの、それ以降の位置の特定において、処理速度の向上を見込める。
【０１２５】
なお、撮像画像中に写っている目印を特定するにあたり、複数の目印が候補として特定されることがある。例えば、撮像部３００に対して、ユーザが側面を向けている場合には、撮像画像中の目印として、目印１０１ａであると判断する可能性と、目印１０１ｇであると判断する可能性がある。
【０１２６】
このように、撮像画像中の目印がどの目印であるかを一意に特定できない場合のために、記憶部２３４には、各目印について、それぞれヘッドマウントディスプレイ１００に対して、どの方向に向けて発光するように搭載しているのかの情報を保持している。具体的には、各目印の法線ベクトル情報を保持する。そして、推定部２３３は、撮像画像中の目印について、複数に絞り込めた場合に、ヘッドマウントディスプレイ１００から伝達されたセンシングデータと、予め記憶している各目印の法線ベクトルとから、撮像画像中に移る確度が高い目印を特定することができる。
【０１２７】
＜まとめ＞
本実施の形態に係る推定システムによれば、撮像部が撮像する映像に基づいて、ユーザ（ヘッドマウントディスプレイ）の所定空間内における位置と姿勢を推定するにあたって、ヘッドマウントディスプレイ１００のセンシングデータを用いて、フレーム間の情報を補てんして、次のフレームにおける位置と姿勢を推定することができる。したがって、次のフレームにおけるヘッドマウントディスプレイの位置と推定を特定するために要する処理時間を短縮することができる。
【０１２８】
＜補足＞
上記実施の形態に係る推定システムは、上記実施の形態に限定されるものではなく、他の手法により実現されてもよいことは言うまでもない。以下、各種変形例について説明する。
【０１２９】
（１）  上記実施の形態においては、推定部２３３は常時、装着具１００を装着したユーザの位置を推定できるものとして説明している。しかしながら、何らかの原因、例えば、センサによるセンシングの不備、センサがセンシングしたセンシングデータが通信エラーにより伝達されないといった様々な理由により、必要な入力が得られず、ユーザ（装着具１００）の所定空間における位置及び姿勢の推定を行うことができない場合がある。
【０１３０】
そこで、そのような事態を考慮して、推定システム１の推定装置２００は、以下の構成を備えてもよい。即ち、記憶部２３４は、第１通信部２２０が受信した姿勢情報を適宜、記憶保持する構成を有してもよい。ここで記憶する姿勢情報は、現在時刻に近いものほど優先して記憶される。あるいは、記憶する姿勢情報は、姿勢情報に基づいて推定した装着具１００の位置及び姿勢の推定の確度が高いと目される場合の姿勢情報を記憶してもよい。
【０１３１】
そして、一定時間、推定部２３３が推定を行うために必要とする姿勢情報を第１通信部２２０が受信できなかった場合に、推定部２３３は、記憶部２３４に記憶された直近のものではない姿勢情報に基づいて、推定を行うこととしてもよい。このとき、推定に使用する姿勢情報は、記憶部２３４に記憶されている直近の姿勢情報のみであってもよいし、直近の複数の姿勢情報の平均値を用いてもよい。
【０１３２】
あるいは、直近の複数の姿勢情報に基づいて、装着具の位置と向きの変化を示す関数を生成し、その関数に対して現在時刻を入力して、姿勢情報を推定してもよい。そして、その推定した姿勢情報に基づいて、使用する参照情報を特定して、装着具１００の所定空間１１３における位置と姿勢を推定することとしてもよい。センサからの情報がない場合における姿勢の推定にあたっては、それ以前の情報、または前の前の情報、もしくは推測をやり直すなどの方法やそれらの組み合わせを用いて、ルールに基づいて姿勢の推定を行う。ルールとしては、例えば動きの周期性であったり、人間工学に基づいた姿勢の予測であったり、などの手法を採用することができる。
【０１３３】
（２）  上記実施の形態においては、推定装置において所定空間内の装着具の位置を特定する手法として、推定装置のプロセッサが推定プログラム等を実行することにより、推定することとしているが、これは装置に集積回路（ＩＣ（Integrated Circuit）チップ、ＬＳＩ（Large Scale Integration））等に形成された論理回路（ハードウェア）や専用回路によって実現してもよい。また、これらの回路は、１または複数の集積回路により実現されてよく、上記実施の形態に示した複数の機能部の機能を１つの集積回路により実現されることとしてもよい。ＬＳＩは、集積度の違いにより、ＶＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩなどと呼称されることもある。すなわち、図１１に示すように、推定装置２００は、第１通信回路２２１と視線検出回路２３１と、映像生成回路２３２と、推定回路２３３と、記憶回路２３４とから構成されてよく、それぞれの機能は、上記実施の形態に示した同様の名称を有する各部と同様である。
【０１３４】
また、上記推定プログラムは、プロセッサが読み取り可能な記録媒体に記録されていてよく、記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記推定プログラムは、当該推定プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記プロセッサに供給されてもよい。本発明は、上記推定プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
【０１３５】
なお、上記推定プログラムは、例えば、ActionScript、JavaScript（登録商標）などのスクリプト言語、Objective-C、Java（登録商標）などのオブジェクト指向プログラミング言語、HTML5などのマークアップ言語などを用いて実装できる。
【０１３６】
（３）上記実施の形態に示した構成並びに各（補足）を適宜組み合わせることとしてもよい。
【符号の説明】
【０１３７】
１  推定システム、  １００  装着具（ヘッドマウントディスプレイ）、  １０３ａ  赤外光源、  １０３ｂ  赤外光源、  １０５  輝点、  １０８  画像表示素子、  １１２  ホットミラー、  １１４，１１４ａ，１１４ｂ  凸レンズ、  １１６  カメラ、  １１８  第１通信部、  １１９  第１送信部、  １２１  表示部、１２２  赤外光照射部、  １２３  検出部、  １２４  眼球撮像部、  １３０  画像表示系、  １５０  筐体、  １５２ａ，１５２ｂ  レンズ保持部、  １６０  装着具、  １７０  ヘッドフォン、  ２００  推定装置、  ２２０  第２通信部、  ２２１  第１受信部、  ２２２  第２受信部、  ２３１  視線検出部、  ２３２  映像生成部、    ２３３  推定部、２３４  記憶部。
【図１】
2018107695.tif 000007
【図２】
2018107695.tif 000008
【図３】
2018107695.tif 000009
【図４】
2018107695.tif 000010
【図５】
2018107695.tif 000011
【図６】
2018107695.tif 000012
【図７】
2018107695.tif 000013
【図８】
2018107695.tif 000014
【図９】
2018107695.tif 000015
【図１０】
2018107695.tif 000016
【図１１】
2018107695.tif 000017