(57)【要約】【課題】固定カメラを用いず、装置を装着した観察者の違和感及び不快感を低減する。【解決手段】現実世界を撮像する現実世界撮像部１１と、観察者の視線方向を検出する視線方向検出部１２と、検出された視線方向に追随するように、現実世界撮像部により撮像された現実世界の映像情報を補正する視線追随処理部１３と、検出された視線方向に基づいて、補正された現実世界の映像情報に合成する仮想世界の情報を生成する仮想世界情報生成部１４と、補正された現実世界の映像情報に、生成された仮想世界の情報を合成する情報合成部１５と、合成された映像情報を表示する映像表示部１６とを備えた。【選択図】図１
2015231106.tif 000002
【特許請求の範囲】
【請求項１】
観察者の眼前に装着される没入型のヘッドマウントディスプレイ装置であって、
現実世界を撮像する現実世界撮像部と、
前記観察者の視線方向を検出する視線方向検出部と、
前記視線方向検出部により検出された視線方向に追随するように、前記現実世界撮像部により撮像された現実世界の映像情報を補正する視線追随処理部と、
前記視線方向検出部により検出された視線方向に基づいて、前記視線追随処理部により補正された現実世界の映像情報に合成する仮想世界の情報を生成する仮想世界情報生成部と、
前記視線追随処理部により補正された現実世界の映像情報に、前記仮想世界情報生成部により生成された仮想世界の情報を合成する情報合成部と、
前記情報合成部により合成された映像情報を表示する映像表示部と
を備えたことを特徴とするヘッドマウントディスプレイ装置。
【請求項２】
前記視線追随処理部は、前記現実世界の映像情報を前記視線方向に直交する平面上の映像情報に変換することで補正を行う
ことを特徴とする請求項１記載のヘッドマウントディスプレイ装置。
【請求項３】
現実世界を撮像する現実世界撮像部を有する撮像装置、観察者の眼前に装着される没入型のヘッドマウントディスプレイ装置、及び前記撮像装置及び前記ヘッドマウントディスプレイ装置を接続する伝送路を備えたヘッドマウントディスプレイシステムにおいて、
前記ヘッドマウントディスプレイ装置は、
前記観察者の視線方向を検出する視線方向検出部と、
前記視線方向検出部により検出された視線方向に追随するように、前記現実世界撮像部により撮像された現実世界の映像情報を補正する視線追随処理部と、
前記視線方向検出部により検出された視線方向に基づいて、前記視線追随処理部により補正された現実世界の映像情報に合成する仮想世界の情報を生成する仮想世界情報生成部と、
前記視線追随処理部により補正された現実世界の映像情報に、前記仮想世界情報生成部により生成された仮想世界の情報を合成する情報合成部と、
前記情報合成部により合成された映像情報を表示する映像表示部とを備え、
前記撮像装置は、
前記視線方向検出部により検出された視線方向に基づいて、前記現実世界撮像部の撮像位置及び方向を制御する撮像制御部を備えた
ことを特徴とするヘッドマウントディスプレイシステム。
【請求項４】
前記現実世界撮像部は、撮像した現実世界の映像情報に、自機の撮像位置及び撮像方向を示す情報を付加し、
前記視線追随処理部は、前記現実世界撮像部により付加された情報に基づいて、前記現実世界撮像部により撮像された現実世界の映像情報と前記映像表示部で表示される映像情報との遅延時間を算出し、
前記視線方向検出部は、前記視線追随処理部により算出された遅延時間を考慮して、前記観察者の視線方向を検出する
ことを特徴とする請求項３記載のヘッドマウントディスプレイシステム。
【請求項５】
前記視線追随処理部は、前記現実世界の映像情報を前記視線方向に直交する平面上の映像情報に変換することで補正を行う
ことを特徴とする請求項３記載のヘッドマウントディスプレイシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、観察者の眼前に装着され、現実世界の映像情報に仮想世界の情報を合成して表示する没入型のヘッドマウントディスプレイ装置及びヘッドマウントディスプレイシステムに関するものである。
【背景技術】
【０００２】
近年、現実世界の映像情報に仮想世界の情報を実時間で融合させる技術として複合現実感技術が知られている。この技術を実現するために、眼前に映像情報を表示するヘッドマウントディスプレイ装置を用いたシステムが提案されており、現実世界の映像情報として光学系を介する透過型と、カメラによる映像情報を利用する没入型（非透過型）がある。複合現実感では各種情報を融合させるため、それぞれの情報のずれがシステムの品質を劣化させる要因となっている。
【０００３】
この問題に対して、遅延時間を考慮した位置情報予測値を用いて現実世界の映像情報と仮想世界の情報とのずれを補正する方法が提案されている（例えば特許文献１参照）。これにより、ヘッドマウントディスプレイ装置を装着した観察者の頭部位置を検出する処理や、仮想世界の情報を生成する処理にかかる時間によって生じる、現実世界の映像情報と仮想世界の情報とのずれを補正することができる。
【０００４】
しかしながら、眼前を表示映像で覆う没入型のヘッドマウントディスプレイにおいて、観察者の頭部の動きと表示される映像情報とのずれが問題として残っている。この問題は、没入感や臨場感を低下させ、観察者に違和感や不快感を発生させる大きな要因となる。それに対し、カメラで撮像した映像情報の遅延を少なくする努力はなされているが、広く普及するための低廉化においては、機能のモジュール化など遅延量削減に対する制約も頻繁に発生している。さらに、遠隔操作などへの当該技術の適用においては、遠隔地で取得される現実世界の映像情報を制御し、伝送する際の遅延発生が不可避である。
【０００５】
このような伝送路や制御系による遅延問題に対して、カメラを固定し、広角映像を用いることで観察者の頭部移動への追従性を改善する提案がなされている（例えば特許文献２参照）。なお、頭部位置を検出する技術と共通する、センサを用いた位置姿勢検出及び映像補正技術については、カメラの手ぶれ補正技術として多数提案されている（例えば特許文献３参照）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１０−３９５５６号公報
【特許文献２】特開平８−１９１４１９号公報
【特許文献３】特開２００１−２５１５５２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、上述した従来の没入型のヘッドマウントディスプレイ装置に対し、固定カメラを適用した場合、常に映像情報の一部しか利用できないという課題や、映像情報の歪みが大きくなりやすいという課題があった。
【０００８】
この発明は、上記のような課題を解決するためになされたもので、固定カメラを用いず、装置を装着した観察者の違和感及び不快感を低減することができる没入型のヘッドマウントディスプレイ装置及びヘッドマウントディスプレイシステムを提供することを目的としている。
【課題を解決するための手段】
【０００９】
この発明に係るヘッドマウントディスプレイ装置は、現実世界を撮像する現実世界撮像部と、観察者の視線方向を検出する視線方向検出部と、視線方向検出部により検出された視線方向に追随するように、現実世界撮像部により撮像された現実世界の映像情報を補正する視線追随処理部と、視線方向検出部により検出された視線方向に基づいて、視線追随処理部により補正された現実世界の映像情報に合成する仮想世界の情報を生成する仮想世界情報生成部と、視線追随処理部により補正された現実世界の映像情報に、仮想世界情報生成部により生成された仮想世界の情報を合成する情報合成部と、情報合成部により合成された映像情報を表示する映像表示部とを備えたものである。
【００１０】
また、この発明に係るヘッドマウントディスプレイシステムは、現実世界を撮像する現実世界撮像部を有する撮像装置、観察者の眼前に装着され、撮像装置により撮像された現実世界の映像情報を表示する没入型のヘッドマウントディスプレイ装置、及び撮像装置及びヘッドマウントディスプレイ装置を接続する伝送路を備え、ヘッドマウントディスプレイ装置は、観察者の視線方向を検出する視線方向検出部と、視線方向検出部により検出された視線方向に追随するように、現実世界撮像部により撮像された現実世界の映像情報を補正する視線追随処理部と、視線方向検出部により検出された視線方向に基づいて、視線追随処理部により補正された現実世界の映像情報に合成する仮想世界の情報を生成する仮想世界情報生成部と、視線追随処理部により補正された現実世界の映像情報に、仮想世界情報生成部により生成された仮想世界の情報を合成する情報合成部と、情報合成部により合成された映像情報を表示する映像表示部とを備え、撮像装置は、視線方向検出部により検出された視線方向に基づいて、現実世界撮像部の撮像位置及び方向を制御する撮像制御部を備えたものである。
【発明の効果】
【００１１】
この発明によれば、上記のように構成したので、固定カメラを用いず、装置を装着した観察者の違和感及び不快感を低減することができる。
【図面の簡単な説明】
【００１２】
【図１】この発明の実施の形態１に係るヘッドマウントディスプレイ装置の構成を示すブロック図である。
【図２】この発明の実施の形態１における視線追随処理部による現実世界の映像情報の視線方向に追随した補正を説明する概念図である。
【図３】この発明の実施の形態１に係るヘッドマウントディスプレイ装置による現実世界の映像情報の遅延時間と視線方向との変位量を１軸のみ取り出して示した概念図である。
【図４】この発明の実施の形態１に係るヘッドマウントディスプレイ装置の動作を示すフローチャートである。
【図５】この発明の実施の形態２に係るヘッドマウントディスプレイシステムの構成を示すブロック図である。
【図６】この発明の実施の形態３における視線追随処理部による現実世界の映像情報の視線方向に追随した補正を説明する概念図である。
【発明を実施するための形態】
【００１３】
以下、この発明の実施の形態について図面を参照しながら詳細に説明する。
実施の形態１．
図１はこの発明の実施の形態１に係るヘッドマウントディスプレイ装置１の構成を示すブロック図である。
ヘッドマウントディスプレイ装置１は、観察者の眼前に装着され、現実世界の映像情報に仮想世界の情報を合成して表示する没入型（非透過型）の装置である。このヘッドマウントディスプレイ装置１は、図１に示すように、現実世界撮像部１１、頭部位置姿勢検出部（視線方向検出部）１２、視線追随処理部１３、仮想世界情報生成部１４、情報合成部１５及び映像表示部１６から構成されている。なお、ヘッドマウントディスプレイ装置１の各部は、ソフトウェアに基づくＣＰＵを用いたプログラム処理によって実行される。
【００１４】
現実世界撮像部１１は、現実世界を撮像するものである。この現実世界撮像部１１は、１台又は複数台のカメラを用いて構成される。この現実世界撮像部１１により撮像された現実世界の映像情報は視線追随処理部１３に出力される。
【００１５】
頭部位置姿勢検出部１２は、ヘッドマウントディスプレイ装置１を装着した観察者の頭部の位置及び姿勢を検出することで、当該観察者の視線方向を検出する回路である。この頭部位置姿勢検出部１２は、加速度センサ、角速度センサなどのセンサデバイスを用いて構成される。この頭部位置姿勢検出部１２により検出された視線方向を示す情報（視線方向の相対変位量を示す情報）は視線追随処理部１３及び仮想世界情報生成部１４に出力される。
【００１６】
視線追随処理部１３は、頭部位置姿勢検出部１２により検出された観察者の視線方向に基づいて、現実世界撮像部１１により撮像された現実世界の映像情報に対して当該視線方向に追随させるための補正情報を計算し、当該映像情報を補正する回路である。この視線追随処理部１３により補正された現実世界の映像情報は情報合成部１５に出力される。
【００１７】
仮想世界情報生成部１４は、頭部位置姿勢検出部１２により検出された観察者の視線方向に基づいて、視線追随処理部１３により補正された現実世界の映像情報に合成する仮想世界の情報を生成する回路である。この仮想世界情報生成部１４により生成された仮想世界の情報は情報合成部１５に出力される。
【００１８】
情報合成部１５は、視線追随処理部１３により補正された現実世界の映像情報に、仮想世界情報生成部１４により生成された仮想世界の映像情報を合成する回路である。この情報合成部１５は、画像処理ユニット（ＧＰＵ）、記憶素子を用いて構成される。この情報合成部１５により合成された映像情報は映像表示部１６に出力される。
【００１９】
映像表示部１６は、情報合成部１５により合成された映像情報を表示する表示デバイスである。
【００２０】
図２は視線追随処理部１３による現実世界の映像情報の視線方向に追随した補正を説明する概念図である。
この図２において、ある時点での視線方向１００に対して、現実世界の映像情報（実線）１０１が対応しているとする。そして、この映像情報１０１は、当該映像情報１０１が遅延時間を経て映像表示部１６にて表示可能となったときの視線方向１０２との間にずれが発生する。ここで、視点からの距離Ｌに映像情報１０１の投影面をおき、ずれ量をその面上での座標差異１０３で表す。このとき、映像情報１０１の原点を座標差異１０３だけ移動することで、補正した映像情報（破線）１０４を生成する。
【００２１】
図３は現実世界の映像情報の遅延時間と視線方向の変位量を１軸のみ取り出して示した概念図である。この図３において、横軸は時間（ｔ）を示し、縦軸は位置（ｐ）を示している。
この図３において、実線で表記した現実世界位置２００は、観測者が頭部を動かして観察したい現実世界の視線方向を軸上に投影した位置を示す。また、破線で表記した遅延映像位置２０１は、その時点で映像表示部１６にて表示可能な映像情報の視線方向を軸上に投影した位置を示しており、遅延時間Ｔｄだけ前の情報である。このとき、映像情報のずれ２０３は、時間の関数としてＰｄ（ｔ）で定義される。なお、観察者の頭部が動かず、視線方向が変化しない場合は、現実世界位置２００と遅延映像位置２０１は同じ値をとるので、２次元座標上では重なっている。
【００２２】
次に、上記のように構成されたヘッドマウントディスプレイ装置１の動作について、図４を参照しながら説明する。
このヘッドマウントディスプレイ装置１の動作では、まず、現実世界撮像部１１は、現実世界を撮像する（ステップＳＴ１）。
【００２３】
次いで、頭部位置姿勢検出部１２は、ヘッドマウントディスプレイ装置１を装着した観察者の頭部の位置及び姿勢を検出することで、当該観察者の視線方向を検出する（ステップＳＴ２）。すなわち、観察者の視線方向を検出するために、加速度センサにて左右水平Ｘ、垂直Ｙ、前後Ｚの３軸方向の変位を計測し、各速度センサで３軸まわりの回転角（ピッチ、ヨー、ロール）を計測して、視線方向の相対変位量を演算する。この相対変位量の対象となる視線方向は、図３に示す遅延時間Ｔｄ前の状態である。また、このとき、人間の動作として急激な視線変化を生じやすい首の回転に起因する回転角の変化のみを扱い、視線移動を省略する近似を用いてもよい。
【００２４】
次いで、視線追随処理部１３は、頭部位置姿勢検出部１２により検出された観察者の視線方向に基づいて、現実世界撮像部１１により撮像された現実世界の映像情報に対して当該視線方向に追随させるための補正情報を計算し、当該映像情報を補正する（ステップＳＴ３）。すなわち、まず、頭部位置姿勢検出部１２により検出された視線方向の相対変位量を用いて、視点からの距離Ｌに設定した投影面と視線方向１０２との交点を求め、座標差異１０３を算出する。そして、現実世界撮像部１１により撮像された現実世界の映像情報の原点を座標差異１０３だけ移動させて、補正した映像情報１０４を生成する。これにより、近似的に現実世界での視線移動が行われた状態を発生させる。なお、原点移動は、ＧＰＵにオフセット値として指定することで実現できる場合も多い。また、原点移動に伴い、有効な映像情報枠外を表示する場合も発生するが、外縁部のデータを繰り返す処理や、オーバースキャン領域を予め設定した設計とするなどの対策は一般に知られており、その説明は省略する。
【００２５】
一方、仮想世界情報生成部１４は、視線追随処理部１３により補正された現実世界の映像情報に合成する仮想世界の情報を生成する（ステップＳＴ４）。
次いで、情報合成部１５は、視線追随処理部１３により補正された現実世界の映像情報に、仮想世界情報生成部１４により生成された仮想世界の情報を合成する（ステップＳＴ５）。すなわち、原点を移動した映像情報１０４と、この視線方向に同期して仮想世界情報生成部１４で生成した情報とを合成する。
【００２６】
次いで、映像表示部１６は、情報合成部１５により合成された映像情報を表示する（ステップＳＴ６）。
【００２７】
ここで、遅延時間Ｔｄは、システム固有の値の場合には設計の際に組み込む。また、現実世界撮像部１１の特性が複数存在する、又は入れ替えが可能なシステムの場合には、遅延時間Ｔｄの設定値を変更可能な仕組みを頭部位置姿勢検出部１２に組み込む。また、距離Ｌの値を観察者が調整できるように視線追随処理部１３を構成してもよい。また、頭部位置姿勢検出部１２で姿勢方向の回転角変化のみでの近似を行う場合には、視線追随処理部１３による演算に距離Ｌは不要となる。
【００２８】
以上のように、この実施の形態１によれば、観察者の視線方向に追随して現実世界の映像を補正して表示するように構成したので、固定カメラを用いず、撮像系の遅延による映像情報のずれを減少し、装置を装着した観察者の違和感及び不快感を低減することができる。
【００２９】
実施の形態２．
実施の形態１では、現実世界撮像部１１がヘッドマウントディスプレイ装置１に内蔵され、これを装着した観察者の頭部の動きが直接的に現実世界撮像部１１に作用する場合に視線追従を行う構成について示した。これに対し、実施の形態２では、遠隔監視や遠隔操作を行うような場合に、伝送路３を介して遠隔地に現実世界撮像部２２を配置する場合について示す。
【００３０】
図５はこの発明の実施の形態２に係るヘッドマウントディスプレイシステムの構成を示す図である。
ヘッドマウントディスプレイシステムは、図５に示すように、ヘッドマウントディスプレイ装置１及び撮像装置２から構成されている。ここで、撮像装置２は、遠隔地に配置され、伝送路３を介してヘッドマウントディスプレイ装置１に接続されている。
【００３１】
ヘッドマウントディスプレイ装置１は、頭部位置姿勢検出部（視線方向検出部）１２ｂ、視線追随処理部１３ｂ、仮想世界情報生成部１４、情報合成部１５及び映像表示部１６から構成されている。このヘッドマウントディスプレイ装置１において、頭部位置姿勢検出部１２ｂ及び視線追随処理部１３ｂ以外の構成は、実施の形態１の構成と同様であり、その説明を省略する。
【００３２】
頭部位置姿勢検出部１２ｂは、ヘッドマウントディスプレイ装置１を装着した観察者の頭部の位置及び姿勢を検出することで、当該観察者の視線方向を検出する回路である。この際、頭部位置姿勢検出部１２ｂは、視線追随処理部１３ｂにより算出されたフレーム毎の遅延時間を考慮して、観察者の視線方向を検出する。この頭部位置姿勢検出部１２ｂは、加速度センサ、角速度センサなどのセンサデバイスを用いて構成される。この頭部位置姿勢検出部１２ｂにより検出された視線方向を示す情報（視線方向の相対変位量を示す情報）は視線追随処理部１３ｂ及び仮想世界情報生成部１４に出力される。
また、頭部位置姿勢検出部１２ｂは、フレーム毎に直前のフレームとの差分又はさらに細かい時間単位での視線方向の相対変位量し、この情報を伝送路３を介して撮像制御部２１に出力する。
【００３３】
視線追随処理部１３ｂは、頭部位置姿勢検出部１２ｂにより検出された観察者の視線方向に基づいて、現実世界撮像部２２により撮像された現実世界の映像情報に対して当該視線方向に追随させるための補正情報を計算し、当該映像情報を補正する回路である。この視線追随処理部１３ｂにより補正された映像情報は情報合成部１５に出力される。
また、視線追随処理部１３ｂは、現実世界撮像部２２からの映像情報に付加された情報（フレーム毎の現実世界撮像部２２の撮像位置及び撮像方向を示す情報）に基づいて、フレーム毎に、現実世界撮像部２２により撮像された現実世界の映像情報と映像表示部１６で表示される映像情報との遅延時間を算出する。この視線追随処理部１３ｂにより算出されたフレーム毎の遅延時間を示す情報は頭部位置姿勢検出部１２ｂに出力される。
【００３４】
撮像装置２は、撮像制御部２１及び現実世界撮像部２２から構成されている。
撮像制御部２１は、頭部位置姿勢検出部１２ｂにより検出された視線方向（視線方向の相対変位量を示す情報）に基づいて、現実世界撮像部２２の撮像位置及び撮像方向を制御するものである。
【００３５】
現実世界撮像部２２は、撮像制御部２１による制御に従って動作し、現実世界を撮像するものである。この現実世界撮像部２２は、１台又は複数台のカメラを用いて構成される。また、現実世界撮像部２２は、撮像した現実世界の映像情報に、フレーム毎の自機の撮像位置及び撮像方向を示す情報を付加する。この現実世界撮像部２２により撮像された映像情報は視線追随処理部１３ｂに出力される。
【００３６】
なお、伝送路３は、頭部位置姿勢検出部１２ｂからの情報を撮像制御部２１に伝送し、また、現実世界撮像部２２からの映像情報を視線追随処理部１３ｂに伝送する経路である。この伝送路３で発生する遅延量は変化する場合がある。
【００３７】
次に、上記のように構成されたヘッドマウントディスプレイシステムの動作について説明する。
実施の形態２では、視線方向の移動が現実世界撮像部２２の動きに直結していないため、頭部位置姿勢検出部１２ｂで得られる視線方向の相対変位量を示す情報を、伝送路３を介して遠隔地にある撮像制御部２１に伝送する。このとき、撮像制御部２１に伝送される情報は、視線追随処理部１３ｂに伝えられる情報とは異なり、フレーム毎に直前のフレームとの差分又はさらに細かい時間単位での視線方向の相対変位量を示す情報を用いる。これにより、撮像制御部２１は、現実世界撮像部２２をよりスムーズに制御することが可能となる。
【００３８】
また、伝送路３は、遅延環境が変化する可能性を持つため、現実世界撮像部２２が伝送する映像情報には、フレーム毎の自機の撮像位置及び撮像方向の情報を付加する必要がある。そして、この付加された情報をもとに、視線追随処理部１３ｂでは、フレーム毎に遅延時間Ｔｄを算出し、頭部位置姿勢検出部１２ｂに伝送する。そして、頭部位置姿勢検出部１２ｂでは、この遅延時間Ｔｄを考慮して、対応する視線方向の相対変位量を示す情報を取得する。
【００３９】
以上のように、この実施の形態２によれば、遠隔地での撮像制御と伝送路３の可変遅延量に対応するように構成したので、遠隔監視や遠隔操作を行う際に用いるヘッドマウントディスプレイシステムにおいて、固定カメラを用いず、撮像系の遅延による映像情報のずれを減少し、装置を装着した観察者の違和感及び不快感を低減することができる。
【００４０】
実施の形態３．
実施の形態１，２では、視線追随処理部１３，１３ｂにて視線方向の相対変位量に対応して映像情報を補正するために、現実世界の映像情報を同一平面で変換する場合について示した。それに対し、実施の形態３では、視線追随処理部１３，１３ｂにて、現実世界の映像情報を、視線方向に直交する平面上に投影変換することで映像情報を補正する場合を示す。
【００４１】
図６は視線追随処理部１３，１３ｂによる現実世界の映像情報の視線方向に追随した補正を説明する概念図である。
図６において、平面１０５は、現実世界の映像情報１０１が遅延時間Ｔｄを経て表示可能となったときの視線方向１０２に直交する面である。そして、視線追随処理部１３は、視線方向１０２を中心とした極座標系で平面１０５上に現実世界の映像情報１０１を投影したものを補正した映像情報１０４として用いる。
【００４２】
以上のように、この実施の形態３によれば、視線追随処理部１３，１３ｂにて、現実世界の映像情報を視線方向の直交する平面上に投影変換するように構成したので、実施の形態１，２に対して、観察者の違和感、不快感をより低減することができる。
【００４３】
なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
【符号の説明】
【００４４】
１  ヘッドマウントディスプレイ装置、２  撮像装置、３  伝送路、１１，２２  現実世界撮像部、１２，１２ｂ  頭部位置姿勢検出部（視線方向検出部）、１３，１３ｂ  視線追随処理部、１４  仮想世界情報生成部、１５  情報合成部、１６  映像表示部、２１  撮像制御部。
【図１】
2015231106.tif 000003
【図２】
2015231106.tif 000004
【図３】
2015231106.tif 000005
【図４】
2015231106.tif 000006
【図５】
2015231106.tif 000007
【図６】
2015231106.tif 000008