(57)【要約】【課題】構造及び装着作業が簡素化されると共に、画像表示デバイスと眼との間の位置ずれの発生を可及的に抑止し、視野画像にずれを生じさせなくする。【解決手段】ディスプレイ装置１は、左右一対の画像表示デバイス１３Ｌ，１３Ｒに左右の視点の画像を対応して表示する。一対の画像表示デバイス１３Ｌ，１３Ｒのそれぞれの表示面側に当接部材１０が設けられている。当接部材１０は、装着者の各まぶたを囲繞するようにして顔面に当接可能な枠体１１を有する。ディスプレイ装置１は、当接部材１０によってまぶたの位置を基準にして顔面に装着される。【選択図】図２
2013207710.tif 000002
【特許請求の範囲】
【請求項１】
左右一対の画像表示デバイスに左右の視点の画像を対応して表示するディスプレイ装置において、
前記一対の画像表示デバイスのそれぞれの表示面側に設けられ、各まぶたを囲繞して顔面に当接可能な枠体を有する当接部材を備えてなるディスプレイ装置。
【請求項２】
前記各当接部材は、前記枠体のうち、前記顔面と接する部位に弾性材を有することを特徴とする請求項１記載のディスプレイ装置。
【請求項３】
前記当接部材間を連結する連結部材と、前記各当接部材を顔面に圧接する固定部材とを備えたことを特徴とする請求項１又は２に記載のディスプレイ装置。
【請求項４】
前記当接部材は、前記画像表示デバイスの前記表示面に対向して配置されていることを特徴とする請求項１〜３のいずれかに記載のディスプレイ装置。
【請求項５】
前記各画像表示デバイスの前方側に所定の角度を有して配置された光学系と、前記各光学系の近傍に配置され、前記光学系を通して前記画像表示デバイスの前記表示面の法線と平行な前方に向かう光軸を有する撮像部とを備えることを特徴とする請求項１〜４のいずれかに記載のディスプレイ装置。
【請求項６】
前記各撮像部で撮像された画像情報を対応する方の前記画像表示デバイスに表示する画像処理手段を備えたことを特徴とする請求項５に記載のディスプレイ装置。
【請求項７】
装着中における前記撮像部間の相対的位置姿勢に関するキャリブレーションデータを取得するキャリブレーション処理部と、前記各撮像部の光軸の動きに伴う位置姿勢データを取得する動き検出部とを備えたことを特徴とする請求項５に記載のディスプレイ装置。
【請求項８】
前記各画像表示デバイスに表示される左右の画像データを外部装置から取り込む通信処理部を備え、前記画像処理手段は、前記通信処理部で取得された左右の画像データに、前記キャリブレーション処理部で得られた前記キャリブレーションデータ及び前記外部装置側の対応するキャリブレーションデータと、前記位置姿勢検出部で検出された前記各撮像部の前記位置姿勢データ及び前記外部装置側の対応する位置姿勢データとを用いて補正を施して前記画像表示デバイスに表示させることを特徴とする請求項７に記載のディスプレイ装置。
【請求項９】
前記各撮像部で撮像された画像データと、前記外部装置から前記通信処理部を介して取得された左右の画像データとの前記画像表示デバイスへの表示の形態を設定する表示モード設定部とを備えたことを特徴とする請求項８に記載のディスプレイ装置。
【請求項１０】
前記外部装置は、同一構造を有する他のディスプレイ装置であることを特徴とする請求項８又は９に記載のディスプレイ装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、現実世界と仮想世界とを適宜融合可能にする混合空間体験を提供することのできるディスプレイ装置に関する。
【背景技術】
【０００２】
近年、現実世界と、コンピュータによって作成された仮想世界とを融合（両画像を重畳）した混合空間体験をユーザに提供するＭＲ（Mixed Reality）技術が提案されている。かかるＭＲ技術を実現するものとして、種々のＨＭＤ（Head Mounted Display）が市販されている。例えば特許文献１には、かかるＭＲ技術を実現する一例であるビデオシースルー型ＨＭＤ（Video See-Through Head MountedDisplay）装置が記載されている。このビデオシースルー型ＨＭＤは、特許文献１の図１に示されているように、ユーザの顔面全体を覆うような一つのフレーム（支持手段、特許文献１の図２参照）を備え、このフレームに固定された左右の映像表示手段（ディスプレイ）と、フレームの適所に取り付けられた左右のカメラとを備え、頭部に被って顔面に装着するようにしたものである。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−３８３２１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
従来のＨＭＤは、左右の眼に対応させてディスプレイを固定する際には、ユーザの額部、鼻骨部、耳又は後頭部等の頭部部位にベルト等でフレームを締結固定している。このように、従来のＨＭＤでは、頭部での固定箇所が眼から遠くなり、その距離が遠ければ遠いほど、身体運動による揺れや装着ずれが眼とディスプレイとの位置関係を大きく崩すことになって、視野画像に大きなずれを引き起こすという問題があった。
【０００５】
また、映像を正確にユーザに提示するためには、左右の眼に対してディスプレイが適切な位置姿勢で配置されなければならず、そのためには頭部へのＨＭＤの固定と、ディスプレイの位置姿勢の調整という作業を手動で行う必要があった。ＨＭＤの頭部への固定には、様々な頭部骨格形状に対応するための複数の調整箇所を、ＨＭＤを被った状態で操作するという煩雑で難度の高い作業を強いられる。また、眼に対するディスプレイの位置姿勢の調整も手動で行わなければならず、それには、ステレオグラムや角度計を用いて眼間距離、ディスプレイの向き（角度）などを正確に調整する必要がある。このように装着作業は煩雑かつ困難であるという問題があった。
【０００６】
本発明の目的は、眼瞼（まぶた）を囲繞して顔面に当接可能にし、構造かつ装着作業を簡素化する、ヘッドマウント型を含むディスプレイ装置を提供するものである。
【課題を解決するための手段】
【０００７】
本発明に係るディスプレイ装置は、左右一対の画像表示デバイスに左右の視点の画像を対応して表示するディスプレイ装置において、前記一対の画像表示デバイスのそれぞれの表示面側に設けられ、各まぶたを囲繞して顔面に当接可能な枠体を有する当接部材を備えてなるものである。このディスプレイ装置は、左右一対の眼用の当接部材を有する。各当接部材は、枠体を備え、この枠体はまぶたを囲繞するようにして顔面に当接される。当接部材は画像表示デバイスに設けられており、従って、画像表示デバイスは、まぶたの部位で顔面に位置固定される。従って、従来のような後頭部で締結する構造に比して構造的に簡素化され、また軽量化が図れる。また、従来のような、頭部基準で装着した場合に必要となる装着後の調整作業は殆ど不要となり、装着作業も簡素化される。さらに、身体運動等によっても、画像表示デバイスと眼との間の位置ずれは可及的に抑止され、視野画像にずれは生じない。なお、この構成は、ビデオシースルー型ＨＭＤの他、非透過型ＨＭＤ、光学シースルー（Optical See-Through）型ＨＭＤにも適用可能である。
【０００８】
また、本発明に係るディスプレイ装置において、前記各当接部材は、前記枠体のうち、前記顔面と接する部位に弾性材を有するものとしてもよい。この構成によれば、骨格の違いが吸収されて顔面との密着性が向上し、装着状態がより強固となる。
【０００９】
また、本発明に係るディスプレイ装置において、前記当接部材間を連結する連結部材と、前記各当接部材を顔面に圧接する固定部材とを備えたものとしてもよい。この構成によれば、当接部材の顔面への装着状態がより強固に維持されることとなる。
【００１０】
また、本発明に係るディスプレイ装置において、前記当接部材は、前記画像表示デバイスの前記表示面に対向して配置されていることが好ましい。この構成によれば、簡素なビデオシースルー型ＨＭＤが得られる。
【００１１】
また、本発明に係るディスプレイ装置において、前記各画像表示デバイスの前方側に所定の角度を有して配置された光学系と、前記各光学系の近傍に配置され、前記光学系を通して前記画像表示デバイスの前記表示面の法線と平行な前方に向かう光軸を有する撮像部とを備えることを特徴とする。この構成によれば、撮像部を利用してのキャリブレーション処理が可能となり、また、前記画像表示デバイスの前記表示面の法線と撮像部の光軸とが平行、例えば一致した状態では、自己の眼で見た景色と同様の景色画像が画像表示デバイスに表示可能となる。
【００１２】
また、本発明に係るディスプレイ装置において、前記各撮像部で撮像された画像情報を対応する方の前記画像表示デバイスに表示する画像処理手段を備えたことを特徴とする。この構成によれば、自己の眼で見た景色と同様の景色画像が画像表示デバイスに表示される。
【００１３】
また、本発明に係るディスプレイ装置において、装着中における前記撮像部間の相対的位置姿勢に関するキャリブレーションデータを取得するキャリブレーション処理部と、前記各撮像部の光軸の動きに伴う位置姿勢データを取得する動き検出部とを備えたことを特徴とする。この構成によれば、左右の当接部材を個別に顔面の左右の眼に対応させて装着する構造を備えるＨＭＤにおいて、各撮像部を利用してのキャリブレーション処理が可能となり、装着者の顔面の骨格形状の違いが吸収される。さらに、動き検出部によって、装着者の動作が各撮像部の光軸の動きに伴う位置姿勢データとして取得可能となる。かかるデータは、例えば外部装置である同様のＨＭＤに画像と共に送られて利用されたり、外部装置からの画像を表示したりする場合に利用される。
【００１４】
また、本発明に係るディスプレイ装置において、前記各画像表示デバイスに表示される左右の画像データを外部装置から取り込む通信処理部を備え、前記画像処理手段は、前記通信処理部で取得された左右の画像データに、前記キャリブレーション処理部で得られた前記キャリブレーションデータ及び前記外部装置側の対応するキャリブレーションデータと、前記位置姿勢検出部で検出された前記各撮像部の前記位置姿勢データ及び前記外部装置側の対応する位置姿勢データとを用いて補正を施して前記画像表示デバイスに表示させることを特徴とする。この構成によれば、通信処理部で取得された外部装置からの画像データは、自己の顔面の骨格に合わして変換、すなわち自己側のＨＭＤを基準にして表示される。従って、自己側のＨＭＤで撮像された画像データと外部装置からの画像データとが位置姿勢合わせされて合成表示等することが可能となる。
【００１５】
また、本発明に係るディスプレイ装置において、前記各撮像部で撮像された画像データと、前記外部装置から前記通信処理部を介して取得された左右の画像データとの前記画像表示デバイスへの表示の形態を設定する表示モード設定部とを備えたことを特徴とする。この構成によれば、自己側のＨＭＤで撮像された画像データと外部装置からの画像データとの表示の態様を選択的に設定することが可能となる。表示モードとしては、一方側の画像のみの表示、重畳表示、併記表示等が想定される。
【００１６】
また、本発明に係るディスプレイ装置において、前記外部装置は、同一構造を有する他のディスプレイ装置である。この構成によれば、同一のＨＭＤを離間した位置で使用して、互いに、あるいは他方側のＨＭＤ装着者の動作等を遠隔的に確認しながら、自己の動作を行うことが可能となる。
【発明の効果】
【００１７】
本発明によれば、構造及び装着作業が簡素化されると共に、画像表示デバイスと眼との間の位置ずれの発生を可及的に抑止し、視野画像にずれを生じさせなくできる。
【図面の簡単な説明】
【００１８】
【図１】本発明に係るディスプレイ装置の一実施形態を示す構造を説明する図で、（Ａ）はユーザの頭部に装着された状態を示す概略上面図、（Ｂ）は留め具部分の一部上面図、（Ｃ）は留め具部分の一部背面図、（Ｄ）は他の留め具の構造を示す一部背面図である。
【図２】図１に示すディスプレイ装置の光学系等を説明する図で、（Ａ）は要部拡大斜視図、（Ｂ）は光軸の関係を示す概略上面図である。
【図３】ＨＭＤの機能ブロックの一実施形態を示す構成図である。
【図４】キャリブレーション処理部によって実行される、ＡＲマーカを用いたキャリブレーション処理を説明するフローチャートである。
【図５】キャリブレーション処理における位置、向きの中心を説明するための図である。
【図６】画像表示処理部によって実行される、表示処理を説明するフローチャートである。
【図７】重畳的な合成表示モードの簡易画面図である。
【図８】他の表示モードを示す簡易画面図で、（Ａ）は併記合成表示モード、（Ｂ）は他のＨＭＤからの画像の他機専用表示モード、（Ｃ）は自己のＨＭＤの画像の自己専用表示モードである。
【発明を実施するための形態】
【００１９】
図１は、本発明に係るディスプレイ装置の一実施形態を示す構造を説明する図で、（Ａ）はユーザの頭部に装着された状態を示す概略上面図、（Ｂ）は留め具部分の一部上面図、（Ｃ）は留め具部分の一部背面図、（Ｄ）は他の留め具の構造を示す一部背面図である。図２は、図１に示すディスプレイ装置の光学系等を説明する図で、（Ａ）は要部拡大斜視図、（Ｂ）は光軸の関係を示す概略上面図である。なお、以降の実施形態の説明においては、ヘッドマウント型のディスプレイ装置を例示しているが、本発明はヘッドマウント型に限定されない。
【００２０】
これらの図において、ヘッドマウントディスプレイ装置（以下、ＨＭＤという）１は、人のまぶたが囲繞可能な環状の形状を有する枠体１１及び、必要に応じて、枠体１１の先端側すなわち人の顔面と接する部位を覆うように設けられた樹脂等からなる弾性材１２を有する、左右眼３０１用の一対の当接部材１０を備えている。枠体１１は、例えば顔面と当接する側に向けて拡径する形状、いわゆるアイカップ（eye cup）に類似したものとしてもよい。枠体１１は、所要の肉厚を有し、例えば樹脂材で構成されて顔面と当接固定の機能を果たすもので、機能に対応したある程度の強度を有するものであることが好ましい。弾性材１２は、当接に対してのクッション性の他、所要の機能、例えば装着性、密着性を与えるもので、顔面との間で位置ずれの生じ難い材質のものが好ましい。なお、当接部材１０の顔面と接する端部は、例えば図２（Ａ）に示すように、人のまぶた周辺の一般的な骨格形状に応じて全周でフィットするような環状形状とされ、また同様に、人のまぶた周辺の一般的な骨格の凹凸に応じた形状とされていることが好ましい。特に、周辺部の密着が気密を保つ状態にすることで、装着時に吸盤のように、前記のいわゆるアイカップ内の気圧を下げて、その負圧効果による吸着性を利用することで、密着をより安定化させる効果が期待できる。
【００２１】
当接部材１０は、本実施形態では、その基端側が画像表示デバイス１３に取り付けられ、画像表示デバイス１３の前側には光学系である例えばミラー１４及び撮像手段であるカメラ１５が取り付けられている。画像表示デバイス１３は所要の強度を有する筐体に収容されたものである。
【００２２】
また、一対の当接部材１０は、弾性材からなる、所要長を有する連結部１６によって連結されている。また、一対の当接部材１０は、連結部１６の取り付け箇所とは反対側となる外側部に頭部３００への締め付けを行うための、長尺のベルト１７が取り付けられている。一対の当接部材１０は、ベルト１７とベルト１７を頭部３００に締め付け固定する留め具１８とによって左右のまぶたの位置に圧接される。具体的には、図１（Ｂ），（Ｃ）に示すように、左右のベルト１７の先端部分を、バックル状の留め具１８の複数本の係合柱に表裏が交互となるよう（千鳥状）に這わし、さらに折り返して、一部に切欠のある係合柱に挟み込んで固定するようにしている。
【００２３】
他の部材としては、図１（Ｄ）に示すように、左右のベルト１７の一方の先端に係合用のコネクタ１８１を、他方の先端に嵌合用のピン１８２を設けて、ピン１８２をコネクタ１８１に差し込んで固定するものでもよい。さらに、留め具１８としては、緩みを抑止する公知の種々の係合形状乃至構造のものが採用可能であり、また、構造体に代えて、装着作業がより容易となる面ファスナー等を左右のベルト１７の先端側に設ける態様であってもよい。なお、連結部１６、ベルト１７の取付箇所は当接部材１０の左右側壁部に限らず、画像表示デバイス１３の筐体の左右側壁部でもよく、いずれにしても結果的には顔面が当接部材１０によって好適に圧接して固定されるようにしている。
【００２４】
画像表示デバイス１３は、液晶表示パネル、有機ＥＬ表示パネル又はプラズマディスプレイ等が採用可能である。画像表示デバイス１３の表示面は、環状の枠体１１側に向けられており、枠体１１の内空間１１１（図２（Ａ）参照）を介して表示面の観察が可能にされている。画像表示デバイス１３の表示面は、枠体１１の先端側（装着者の顔面に当接する側）の環状の端面に対して平行にされている。図２（Ａ），（Ｂ）に示す光軸Ｌは、画像表示デバイス１３の表示面の法線方向（すなわち、カメラ１５の光軸）を示している。なお、画像表示デバイス１３の表示面の形状は種々のものが採用可能であるが、ここでは図７から判るように長方形を採用している。画像表示デバイス１３には、後述するように、カメラ１５で撮像した画像が表示され、あるいは外部装置から受信した画像が表示される。画像の表示は後述するように１又は複数の表示モードが設定可能とされている。
【００２５】
ミラー１４は、図１（Ａ）、図２（Ｂ）に示すように、当接部材１０が連結部１６で連結される前の状態で鉛直面となるよう配置され、前面側（図２（Ｂ）中、上側の面）が鏡面とされている。カメラ１５はミラー１４の鏡面の左右側の対向する位置に配置されている。カメラ１５は、その光軸がミラー１４を用いることで光軸Ｌと一致するようになっており、また、ミラー１４との距離を調整することで画像表示デバイス１３と光学的に共役となる位置に配置されている。なお、共役関係を実現するための光学系としては、ミラー１４の他に、プリズムやレンズでもよい。これにより、ＨＭＤ１を装着した人の眼３０１から見えるであろう景色と同一の画像が画像表示デバイス１３に表示される。なお、前記光学的な共役関係は、後述するように、カメラ１５を用いてキャリブレーション処理を行う態様において必要である一方、キャリブレーション処理が他の方法によって実行される態様では、光学的な共役関係は必ずしも必要ではない。また、ミラー１４の鏡面の向きとカメラ１５の配置位置とは本実施例のように左右側に限定されず、ミラー１４の鏡面の向きに合わせればよく、例えば上下側であってもよい。
【００２６】
連結部１６は、水平面上で曲線状に、例えばＵ字状に湾曲されてなり、装着者の眼間距離に対応するべく弾性変形する樹脂材で構成されることが好ましく、また可撓性を有する板状の金属材であってもよい。あるいは伸縮によって眼間距離に対応可能な樹脂であってもよい。
【００２７】
このように構成されたＨＭＤ１は、従来のような左右の画像表示デバイスを一体支持するフレームを採用していないこと、及び後頭部で固定する構造ではないことから、全体として構造の簡素化が図れる。また、このように構成されたＨＭＤ１の装着は、先ず、一対の当接部材１０を左右のまぶたを囲繞するようにして顔面に当接し、この状態でベルト１７を締め付けることで終了する。従って、装着した状態で画像表示デバイスの位置調整をするなどの調整作業が必要でない分、装着作業も従来に比して簡素化される。
【００２８】
図３は、ＨＭＤ１の機能ブロックの一実施形態を示す構成図である。ＨＭＤ１は、装着者の顔面に装着する部位である図１、図２に示す装着部と、この装着部の各要素に所要の動作を行わせるための情報処理を行う処理部２０とを備えている。処理部２０は、その一部がＨＭＤ１の装着部の適所に配置されてもよいし、装着者の適所、例えば上着服に装着可能な構成部としてもよい。あるいは無線式として、適宜な空間位置に配置する態様でもよい。
【００２９】
まず、図３において、動き検出部１９は、図１、図２に示す装着部の適所に取り付けられ、カメラ１５の位置姿勢を継続的に検出するものである。なお、位置姿勢とは、装着者のいる空間上の座標と向き（カメラ１５の視点と視線）をいう。なお、カメラ１５で撮像された画像のみを画像表示デバイス１３に表示する場合にはカメラ１５の位置姿勢データは必要ではないが、撮像された画像内に他の画像を重畳等の合成する場合などには、検出されたカメラ１５の位置姿勢データが利用される。動き検出部１９は、公知のものが採用可能であり、適所に配置された図略の磁気発生器からの３軸の軸毎に対応して発生される磁気信号をそれぞれ検出することで、３次元位置と向きとを検出する。あるいは、３次元の加速度センサを採用してもよいし、さらに装着者を鳥瞰する高所等に監視カメラを配置し、この監視カメラの画像からカメラ１５の位置と向きとを検出するようにしてもよい。
【００３０】
処理部２０は、ＣＰＵ（Central Processing Unit）で構成される制御部２１を備えている。制御部２１には、ＲＯＭ（Read Only Memory）２２、ＲＡＭ（Random Access Memory）２３、操作部２４及び通信部２５が接続されている。ＲＯＭ２２には、ＨＭＤ１の動作を制御する制御プログラム及びこのプログラムを実行する際に必要な各種のデータ類が記憶されている。データ類としては、例えば後述するキャリブレーション用のＡＲマーカの（参照用）形状データが含まれる。ＲＡＭ２３は、処理途中のデータが一時的に記憶されるもので、後述するキャリブレーションデータが記憶されるキャリブレーションデータ記憶部２３１を有する。操作部２４は、各種の指示を行うもので、例えば、処理部２０がパーソナルコンピュータで構成されている態様では、画面上のアイコンやボタン、またキーボードやマウス等が採用可能である。通信部２５は有線の他、無線式であってもよい。
【００３１】
制御部２１は、ＲＯＭ２２に格納されている制御プログラムであって、ＲＡＭ２３に読み出された制御プログラムがＣＰＵによって実行されることによって、カメラ１５（左カメラ１５Ｌ、右カメラ１５Ｒ）で撮像された画像を継続して（動画像として）取り込む画像取込処理部２１１、装着者の左カメラ１５Ｌ、右カメラ１５Ｒ間における相対位置姿勢をキャリブレーションデータとして予め算出するキャリブレーション処理部２１２、通信部２５を介して外部装置とデータの授受を行わせる通信処理部２１３、画像表示デバイス１３（左表示部１３Ｌ、右表示部１３Ｒ）に表示する画像データを作成する画像表示処理部２１４、及び画像表示処理部２１４に対して、設定された表示モードに従った態様で画像の作成を指示する表示モード処理部２１５として機能する。
【００３２】
キャリブレーション処理部２１２は、装着者の顔面骨格の形状に依存する、左カメラ１５Ｌ、右カメラ１５Ｒ間における相対位置姿勢データをキャリブレーションデータとして、予めかつ自動的に算出するためのものである。本実施形態では、一対の当接部材１０の一方に左カメラ１５Ｌが、他方に右カメラ１５Ｒが配置されている。そして、一対の当接部材１０は、顔面の左右のまぶた部位に直接当接して装着される。従って、左カメラ１５Ｌ、右カメラ１５Ｒの位置や向きは、専ら装着者の顔面骨格の形状、眼間距離に依存することとなる。従来のＨＭＤでは左右のカメラは一体のフレームに取り付けられるため、カメラ間の関係を装着者の個人差から求めるものではなかった。
【００３３】
カメラキャリブレーションの方法自体は、例えばＡＲマーカを用いたものが知られており、本実施形態では、この方法を利用している。ＡＲマーカは、周知のように既知のサイズの四角形をなすもので、周囲に黒枠部が設けられ、中央部に必要に応じてパターンが描かれているものである。ＡＲマーカをカメラ１５で撮像し（あるいは作成し）、撮像されたＡＲマーカの画像からＡＲマーカとカメラ１５との間の位置関係、向きの関係を幾何学的な計算アルゴリズムを用いて求め、その結果から最終的に後述のようにしてキャリブレーションデータを算出するものである。本実施形態では、後述するように、さらに左右のカメラ１５Ｌ，１５Ｒ間の相対位置姿勢を得るようにしている。
【００３４】
図４は、キャリブレーション処理部２１２によって実行される、ＡＲマーカを用いたキャリブレーション処理を説明するフローチャートである。図５は、キャリブレーション処理における位置、向きの基準を説明するための図である。
【００３５】
ＡＲマーカは物理的なものでもよいが、本実施形態では、画像として１つのＡＲマーカが図略の画像表示部に表示され、この画像のＡＲマーカが左カメラ１５Ｌ、右カメラ１５Ｒで撮像されるようにしている。装着者はＨＭＤ１を装着した状態で、ＡＲマーカが表示されている方向を向いて、左カメラ１５Ｌ，右カメラ１５Ｒによる撮像動作を開始させる（ステップＳ１）。次いで、ＲＯＭ２２に記憶されている、ＡＲマーカの既知データを用いて、撮像画像中からＡＲマーカが抽出され（ステップＳ３でＹＥＳ）、かつＡＲマーカの画像に対して４つの頂点座標及び大きさの各データが算出される（ステップＳ５）。
【００３６】
さらに、算出されたデータ及びＡＲマーカの既知データを用いて、左カメラ１５Ｌ，右カメラ１５Ｒのそれぞれを原点としたＡＲマーカの位置姿勢情報が取得される（ステップＳ７）。ここに、左カメラ１５Ｌ、右カメラ１５Ｒに対応して取得されたデータをそれぞれ、“Ｌ”、“Ｒ”とすると、これらのデータは、数１のように変換行列の形で表される。
【００３７】
【数１】
2013207710.tif 000003
【００３８】
なお、数１に示す変換行列は、実質的には３行４列でよいが、計算の便宜上、４行４列で処理するようにしている。
【００３９】
次いで、行列データ“Ｌ”、“Ｒ”が、ＡＲマーカを原点とした左カメラ１５Ｌ、右カメラ１５Ｒの位置姿勢情報に変換される（ステップＳ９）。ここに、変換された行列データをそれぞれ、“ｉＬ”、“ｉＲ”とする。続いて、“ｉＬ”、“ｉＲ”の並進成分が加算され、さらに値２で除算されて、得られた位置が中心点Ｍの並進成分とされる（ステップＳ１１）。また、“ｉＬ”、“ｉＲ”の視線ベクトルが加算され、その長さで除算されることで、中心点Mの視線ベクトルが算出される（ステップＳ１３）。そして、“ｉＬ”の並進成分から“ｉＲ”の並進成分が減算され、“ｉＲ”からｉＬ”へ向かうベクトルが算出され、中心点Mの視線ベクトルとこのベクトルとの外積が求められる。得られたベクトルが中心点Ｍの頭頂方向ベクトルとされる（ステップＳ１５）。次いで、頭頂方向ベクトルと視線ベクトルとが外積され、得られたベクトルがＭの左方向ベクトルとされる。以上で中心点の姿勢行列Ｍが決定される（ステップＳ１７）。
【００４０】
そして、中心点Ｍの位置姿勢を基準とした左カメラ１５Ｌ、右カメラ１５Ｒの相対的位置姿勢（差分）が算出され、キャリブレーションデータとしてキャリブレーションデータ記憶部２３１に格納される（ステップＳ１９）。
【００４１】
本実施形態では、キャリブレーション方法として、相対位置姿勢データを左右のカメラ１５（左カメラ１５Ｌ、右カメラ１５Ｒ）の一方を基準にして求める方法に比して、中心点を基準とする方法を採用している。すなわち、左右のカメラ１５（左カメラ１５Ｌ、右カメラ１５Ｒ）の一方を基準にした場合、装着者毎のまぶた周辺の顔面の骨格の向きによって、自己と、画像合成対象となる他者との空間的な配置が相違することとなる場合があるが、一方、中心点を基準とした場合には、まぶた周辺の顔面骨格の向きによらず、他者との空間的な整合性が保たれることになるためである。中心点Ｍを基準としたキャリブレーション方法は、他者と視野を共有する用途や、装着者による空間的な基準位置を一定に保ちたい場合に有効である。従って、空間的な整合性が不要な態様にあっては、左右のカメラの一方を基準としたキャリブレーションデータで対応可能である。
【００４２】
ＨＭＤの適用例は、種々想定できる。一適用例として、２台のＨＭＤ１を互いに通信部２５を介して接続し、一方のＨＭＤ１を指導者が被る指導者側Ａとし、他方のＨＭＤ１を見習者が被る見習者側Ｂとして、指導者側Ａの左右カメラ１５で撮像された画像を見習者側Ｂの画像表示デバイス１３に表示して、指導者の動きに追随する（真似たり、習得したりする）ものが考えられる。このような場合、指導者側ＡのＨＭＤ１は指導者の顔面の骨格形状等が反映されたキャリブレーションデータを得ており、通信部２５を経由して見習者側ＢのＨＭＤ１に送信され、見習者側ＢのＨＭＤ１のキャリブレーションデータ記憶部２３１に格納される。なお、必要に応じて、見習者側ＢのＨＭＤ１は見習者の顔面の骨格形状等が反映されたキャリブレーションデータを得ており、通信部２５を経由して指導者側ＡのＨＭＤ１に送信され、指導者側ＡのＨＭＤ１のキャリブレーションデータ記憶部２３１に格納される。
【００４３】
上記において、自身（例えば見習者側Ｂ）のＨＭＤ１のカメラ１５で撮像された画像を画像表示デバイス１３に導いて表示する場合には、自己のキャリブレーションデータを使用することなく、カメラ１５での撮像画像をそのまま表示すればよい。一方、他人（ここでは指導者側Ａ）のＨＭＤ１で撮像された画像を、見習者側ＢのＨＭＤ１にて画像表示デバイス１３に表示する場合、そのまま表示することはできない。このような場合、指導者側ＡのＨＭＤ１から送信された画像は、指導者側Ａのキャリブレーションデータと見習者側Ｂのキャリブレーションデータとを相乗させて、見習者側ＢのＨＭＤ１の画像表示デバイス１３に導くようにしている。なお、実際には、かかるキャリブレーションデータでの修正処理の他、指導者側Ａ、見習者側Ｂの各動き検出部１９で検出された位置姿勢データを用いて指導者側Ａからの画像が見習者側ＢのＨＭＤ１の画像表示デバイス１３に表示される。なお、指導者側Ａのカメラ１５の向きが急激に大きく移動して見習者側Ｂのカメラ１５の視野外へずれた場合を想定すると、この間、見習者側ＢのＨＭＤ１の画像表示デバイス１３には指導者側Ａからの画像は表示されない。このような場合には、見習者は追従するべき方向を見失うことになる可能性が高い。そこで、指導者側Ａ、見習者側Ｂの各位置姿勢データを利用して、見習者側ＢのＨＭＤ１のカメラ１５の視線方向を基準にした指導者側Ａのカメラ１５の移動方向を示すガイドマーク等を、見習者側ＢのＨＭＤ１の画像表示デバイス１３に表示するようにすることが好ましい。あるいは、指導者側Ａのカメラ１５の向きが大きく素早く変わるような場合には、変化の速度を遅くする等の遅延処理を施すようにして、追従性が確保できるような方法を採用してもよい。
【００４４】
画像表示処理部２１４は、カメラ１５で撮像された画像を表示ＲＡＭ１３１を介して画像表示デバイス１３に表示すると共に、表示モードに対応させて他のＨＭＤ１（例えば前述の指導者側ＡのＨＭＤ１）から送信されてきた画像を表示ＲＡＭ１３１を介して表示するものである。画像表示に際しては、他のＨＭＤ１からの画像を表示する場合には、前述したように、両者のキャリブレーションデータ、両者の位置姿勢データが利用される。
【００４５】
表示モード処理部２１５は、操作部２４からの指示に応じて表示モードが設定され、画像表示処理部２１４に指示を与える。
【００４６】
図６は、画像表示処理部２１４によって実行される、表示処理を説明するフローチャートである。キャリブレーションが終了した後、ＨＭＤ１の動作に先立って、あるいは動作途中で、操作部２４からの表示モードの設定が行われる（ステップＳ２１）。次いで、他のＨＭＤ１からの動画像データが受信され（ステップＳ２３）、自己のＨＭＤ１及び他のＨＭＤ１からの動画像のそれぞれに、設定された表示モードに従った画像処理が施されて画像データが作成され、画像表示デバイス１３に導かれる（ステップＳ２５）。そして、動作が終了するまで（ステップＳ２７でＹＥＳ）、かかる処理が継続される。
【００４７】
図７、図８は、表示モード例を説明するための簡易画面図であるなお、図では、手の動きを示す動画像の一場面の画像を参考に示しているが、これに限定されず、カメラ１５を介して見た種々の画像が対象となる。図７は、重畳的な合成表示モードの簡易画面図である。図８は、他の表示モードを示す簡易画面図で、（Ａ）は併記合成表示モード、（Ｂ）は他のＨＭＤからの画像の他機専用表示モード、（Ｃ）は自己のＨＭＤの画像の自己専用表示モードである。
【００４８】
図７では、指導者側Ａの画像（動画像）が、例えば半透明化処理を施され、一方、自己である見習者側Ｂの画像（動画像）はそのまま、あるいは半透明化処理されて、見習者側ＢのＨＭＤ１の画像表示デバイス１３に重畳的に合成表示されている。なお、両画像を識別容易に表示するべく、指導者側Ａの画像に対して輝度調整、色変更処理等が施されてもよい。図７の合成表示モードでは、両者側Ａ，Ｂの手の画像を重畳して表示するので、指導者側Ａの、模範となる手の動きに追従するように、見習者側Ｂは自己の手を動かすことが直接的に確認でき、模範の動きを効果的に習得することが可能となる。
【００４９】
図８（Ａ）に示す併記合成表示モードは、画像表示デバイス１３に指導者側Ａの画像と見習者側Ｂの画像とをそれぞれの区分領域で併記表示するもので、この併記合成表示モードでは、両画像を個別に観察することができる。図８（Ｂ）に示す他機専用表示モードは、指導者側Ａの動画像のみを表示するもので、これによれば、自己の動作が恰も指導者の動作と同様に行われているように感じて自然に追従性が上がることが期待される。図８（Ｃ）に示す自己専用表示モードは、通常の表示態様である。
【００５０】
なお、本発明は、以下の形態を採用することができる。
【００５１】
（１）枠体１１あるいは弾性材１２として気密性のある材料が採用される態様では、負圧を利用しての吸着を実現することも可能である。この場合、連結部１６、ベルト１７は必ずしも必要ではなく、補助用として利用し得る。また、弾性材１２には粘着性のあるものを採用してもよい。この場合、粘着性を利用することで顔面への装着固定がより容易となり、かつ安定する。
【００５２】
（２）外部装置としての他機は、ＨＭＤに限らず、ビデオレコーダ（録画再生機）でもよい。この場合、ＨＭＤで過去に撮像された、例えば基準となるような動画像をビデオ画像として録画し、必要時に出力可能にすればよい。
【００５３】
（３）合成表示モードの適用例としては、模範乃至は高度な動きを習得したい場合、例えば、緊急医療現場における救急隊員による患者の手当（例えば心臓マッサージ）を、ＨＭＤを装着したベテランがダミーを使用して手当する模範画像を遠隔的に伝送して、救急隊員の装着したＨＭＤに表示させるものが考えられる。
【００５４】
（４）本発明は、ＭＲ（Mixed Reality）の一態様である、現実世界をベースにし、これをコンピュータで生成した電子データで機能拡張するＡＲ（Augmented Reality）にも適用可能である。
【００５５】
（５）当接部材１０によるまぶた位置への装着が充分に確保できる態様（吸着式、粘着式）では、連結部１６、ベルト１７に代えて、耳に掛ける、メガネフレームのような係合用フレームを採用したものでもよい。
【００５６】
（６）本発明は、ビデオシースルー型ＨＭＤの他、非透過型ＨＭＤ、光学シースルー（Optical See-Through）型ＨＭＤも適用可能である。光学シースルー型ＨＭＤとしては、例えば以下の構成が採用可能である。当接部材１０を装着した装着者は前方に光学的に（実際の）景色が見える必要があることから、画像表示デバイス１３は、後述のように当接部材１０の前端部から回避した位置に配置される。当接部材１０の前方にはハーフミラーが、さらにその前方には液晶パネル等によるシャッタが配置される。さらに、ハーフミラーは傾斜して配置されており、ハーフミラーで分離された、すなわち曲げられた光軸の上に画像表示デバイスが配置される。この結果、装着者は、シャッタがオフの状態（画像表示デバイスもオフの状態）では、前方の自然の景色（例えが、自分の手の動き）を見ることができると共に、シャッタがオン状態では、画像表示デバイスを駆動させてハーフミラーを経由した、例えば指導者の模範動作の画像を見ることができる。そして、係る表示動作を交互に切り替えることで、時分割合成表示が可能となる。また、画像表示デバイス１３の輝度調整能力を利用する態様において、シャッタがオフの状態で画像表示デバイス１３を駆動させてハーフミラーを経由した画像を所要の輝度で表示させることで、光学的景色と画像とを合成表示することも可能である。
【符号の説明】
【００５７】
１  ヘッドマウントディスプレイ装置
１０  当接部材
１１枠体
１３  画像表示デバイス
１３Ｌ  左表示部
１３Ｒ  右表示部
１４  ミラー
１５  カメラ（撮像部）
１５Ｌ  左カメラ（撮像部）
１６Ｒ  右カメラ（撮像部）
１６  連結部
１７  ベルト
１９  動き検出部
２０  処理部
２１  制御部
２１１  画像取込処理部
２１２  キャリブレーション処理部
２１３  通信処理部
２１４  画像表示処理部
２１５  表示モード処理部
２３１  キャリブレーションデータ記憶部
【図３】
2013207710.tif 000004
【図４】
2013207710.tif 000005
【図６】
2013207710.tif 000006
【図１】
2013207710.tif 000007
【図２】
2013207710.tif 000008
【図５】
2013207710.tif 000009
【図７】
2013207710.tif 000010
【図８】
2013207710.tif 000011