(57)【要約】【課題】遠方の現実空間を観察しながら近傍のマーカを容易に認識できるようにする。【解決手段】観察者の頭部に装着されて当該観察者に画像を提示する表示装置であって、外界の映像（現実空間）を撮影する第１カメラ２，３と、位置合わせのためのマーカ（仮想画像）を撮影するための第２カメラ４，５と、第１及び第２カメラにより撮像された映像とを合成して表示する表示部とを有し、第１と第２カメラによる撮像の焦点距離が互いに異なっている。【選択図】  図１
2004205711.tif 000002
【特許請求の範囲】
【請求項１】
観察者の頭部に装着されて当該観察者に画像を提示する表示装置であって、
外界の映像を撮影する第１撮像手段と、
位置合わせのためのマーカを撮影するための第２撮像手段と、
前記第１及び第２撮像手段により撮像された映像とを合成して表示する表示手段とを有し、
前記第１と第２の撮像手段による撮像の焦点距離が互いに異なっていることを特徴とする表示装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、外界の映像を取り込んで撮像素子に形成する撮像光学ユニットと液晶などの表示部とを具備した表示装置とそれを使用した技術に関するものである。
【０００２】
【従来の技術】
近年、仮想空間と現実空間の繋ぎ目のない結合を目的とした複合現実感（以下「ＭＲ」（Mixed Reality）と称す）に関する研究が盛んになってきている。このＭＲは、従来、現実空間と切り離された状況でのみ体験可能であったバーチャルリアリティ（以下ＶＲと略す）の世界と現実空間との共存を目的とし、ＶＲを増強する技術として注目されている。このＭＲの応用としては、患者の体内の様子を透視しているように医師に提示する医療補助の用途や、工場において製品の組み立て手順を実物に重ねて表示する作業補助の用途など、今までのＶＲとは質的に全く異なった新たな分野が期待されている。
【０００３】
これらの応用に対して共通に要求されるのは、現実空間と仮想空間の間の"ずれ"をいかにして取り除くかという技術である。この"ずれ"は、位置ずれ、時間ずれ、質的ずれに分類可能であり、この中でも最も基本的な要求といえる位置ずれの解消については、従来から多くの取り組みが行われてきた。
【０００４】
撮像カメラで撮影された映像に仮想物体を重畳してヘッドマウントディスプレイ（ＨＭＤ）に表示するビデオシースルー（Video-See-Through）方式のＭＲの場合、この位置合せの問題は、ＨＭＤに搭載された撮像カメラの現実空間内の３次元位置を正確に求める問題に帰結される。
【０００５】
また、半透過型のＨＭＤを用いる光学シースルー（Optical-See-Through）方式のＭＲの場合における位置合せの問題は、ユーザの視点の現実空間内の３次元位置を求める問題といえる。
従来、このような３次元位置の計測法としては、磁気センサや超音波センサ、ジャイロといった３次元位置方位センサを利用するのが一般的であるが、これらの精度は必ずしも十分とはいえず、その誤差が位置ずれの原因となる。
またビデオシースルー方式の場合には、撮像カメラを用いて現実空間内の映像を取り込んでいるので，このようなセンサを用いずに取り込んだ画像情報を基に画像上での位置合わせを直接行うことも可能である。例えば、空間中に色マーカや幾何学模様のマーカなどを提示し、画像中よりそのマーカ位置を検出し、予め計測しておいたマーカの空間的な位置から現実空間内の３次元位置を算出する手法などがある。
【０００６】
【発明が解決しようとする課題】
このようなマーカを使った手法では、位置ずれを直接取り扱えるため、位置合わせが精度良く行える反面、信頼性の面で依然として問題があった。例えば、視線が移動することによりマーカが視野から外れた場合には、視線方向の計測ができなくなるという問題があった。特に、遠方の現実空間に仮想物体を重畳するような場合には、少しの視線移動でも入力される映像が大きく移動するため、遠方の物体に配置されたマーカは視野から外れる可能性が高くなり、その物体の位置情報が得られなくなる確率が高まることになる。このような場合には、現実空間中に配置するマーカの数を増やし、視線が移動する範囲を網羅する空間内にマーカを配置することで対処可能である。
【０００７】
しかしこのような方法では、遠方の広範囲な領域にマーカを配置する必要が生じるため、マーカの設置場所、マーカ自体の大きさや形状，模様などの面で実用的ではない。即ち、入力映像からマーカを認識するためには、ある程度の大きさのマーカが必要であり、遠方に設置すればするほど、そのマーカの面積を大きくする必要が生じる。
そこで、マーカを視点位置の近傍に配置すれば、マーカを設置する領域を狭くすることができるが、マーカ越しに遠方の現実空間を観察するために、以下のような問題がある。
（１）視界が遮られて現実空間の臨場感が損なわれる。
（２）入力手段である撮像カメラの焦点が遠方に設定された場合に、近接のマーカに焦点が合わずマーカの認識ができない。
【０００８】
本発明は上記従来例に鑑みてなされたもので、遠方の現実空間を観察しながら近傍のマーカを容易に認識できるようにすることを目的とする。
【０００９】
【課題を解決するための手段】
上記目的を達成するために本発明の表示装置は以下のような構成を備える。即ち、
観察者の頭部に装着されて当該観察者に画像を提示する表示装置であって、
外界の映像を撮影する第１撮像手段と、
位置合わせのためのマーカを撮影するための第２撮像手段と、
前記第１及び第２撮像手段により撮像された映像とを合成して表示する表示手段とを有し、
前記第１と第２の撮像手段による撮像の焦点距離が互いに異なっていることを特徴とする。
【００１０】
【発明の実施の形態】
以下、添付図面を参照して本発明の好適な実施の形態を詳細に説明する。
【００１１】
［実施の形態１］
図１は、本発明の実施の形態１に係る頭部搭載型表示装置（ＨＭＤ）の装着状態を示す概略図である。尚、この図１では、電源や入力信号源、ケーブル類などの図示は省略している。
【００１２】
図において、１は後述するＨＭＤの表示光学系を保持している筐体を示している。２，３，４，５はそれぞれ撮像カメラである。尚、本実施の形態に係るＨＭＤに採用できる表示光学系は特に制限はないが、例えば図２、図３及び図４に示すような構成を有する表示光学系を用いることができる。尚、この図１に示す頭部搭載型表示装置（ＨＭＤ）１の構成は、後述する図２２の構成と同じであるため、その説明は後述する。また図２２に示すＨＭＤ２２０１とＰＣ２２０２とが一体に形成されたものであってもよい。
【００１３】
図２は、本実施の形態に係るＨＭＤの光学系の一例を説明する図である。
【００１４】
液晶表示部（ＬＣＤ）１１に表示された画像をレンズ１２（ここでは１枚のレンズで略示している）を用いて拡大表示し、その拡大した画像をユーザ（観察者）へ虚像として表示している。
【００１５】
また図３に示すように、反射鏡１３をハーフミラーなどにすることで、光学シースルータイプのＨＭＤを構成することも可能である。
【００１６】
図３は最も単純な構成を有する、本実施の形態に係るＨＭＤの表示光学系を示し、ＬＣＤ１１に表示された画像をレンズ１２（ここでは１枚のレンズで略示している）を用いて拡大し、それを反射ミラー１３により反射してユーザに見えるようにしている。
【００１７】
図４は、自由曲面プリズムと呼ばれる非回転対称非球面の光学面（自由曲面）をプリズム１４の３面に適用し、図２及び図３に示した光学系のレンズ１２と同等の作用を持たせた構成を示している。このような構成を有する表示光学系が筐体１に保持され、ＨＭＤを装着したユーザに仮想現実空間を提示する。
【００１８】
本実施の形態に係るＨＭＤにおいて、撮像カメラ２，３は表示光学系を通して観察者に提示する現実空間の映像を入力するためのカメラで、撮像カメラ４，５はマーカを映像として入力するためのカメラである。
【００１９】
具体的には、図５において、撮像カメラ２，３は、Ｌ地点の現実空間に存在する観察物体の映像を入力するもので、カメラ２，３の焦点もＬ地点に合うように調整されている。また撮像カメラ４，５は、Ｍ地点のマーカ領域に配置されたマーカを映像として入力するもので、これらカメラ４，５の焦点はＭ地点に合うように調整されている。このときのそれぞれの撮像カメラで入力された映像の例を図６及び図７に示す。尚、ここでは現実空間の撮像領域に応じて、マーカの設置領域５０の画角が設定されている。
【００２０】
図６は、Ｌ地点の現実空間に焦点を合わせた撮像カメラ２、３で入力した映像を示し、図７は、マーカ領域に焦点を合わされた撮像カメラ４，５で入力した映像の一例をそれぞれ示している。
【００２１】
ここで観察者に提示されるのは図６に示す映像であり、焦点が遠方の現実空間に設定されているために、マーカは焦点がぼやけて表示されている。
【００２２】
一方、マーカの位置検出には、図７に示すような映像に基づいてマーカ位置が認識される。このマーカ認識手法については、特に限定されるものではなく、既存技術を使うことで実現可能である。
【００２３】
即ち、本願の実施の形態１に係る表示装置は、現実空間を撮像する少なくとも２台の第１撮像装置と、前記現実空間とは異なる空間でマーカを撮像する少なくとも２台の第２撮像装置とを有する。ここで、前記第１及び第２撮像装置の焦点距離はそれぞれ異なっている。
【００２４】
このように本実施の形態１に係るＨＭＤによれば、マーカを認識して位置計測が容易に行なえるＨＭＤを実現できる。
【００２５】
［実施の形態２］
通常、本実施の形態で説明するようなＨＭＤにおいて、外界の映像を入力する場合には、カメラの画角を現実空間と入力映像との大きさが１：１になるように調整するのが一般的である。上述の実施の形態１では、撮像カメラ２，３（現実空間入力用）と撮像カメラ４，５（マーカ映像入力用）のカメラの画角は同一であるのを前提にしていた。しかし、撮像カメラ４，５（マーカ映像入力用）の画角は、撮像カメラ２，３と同一である必要はない。そこで、なるべく多くのマーカが同一の映像内に入るように、撮像カメラ４，５の画角を広くとることでマーカの検出エラーが減少し、精度良く位置情報の検出が可能となる。
【００２６】
この実施の形態２の原理を表わす図を図８に、この場合の入力映像の図を図９、図１０にそれぞれ示す。
【００２７】
図８は本発明の実施の形態２に係る現実空間とマーカ設置領域との関係を説明する図である。
【００２８】
ここで前述の実施の形態１に係る図５と図８とを比較すると明らかなように、図８では、マーカの設置領域を撮像するカメラ４，５の画角８０が図５の場合の画角５０と比較して大きくなっていることが分かる。
【００２９】
図９は、現実空間用の撮像カメラ２，３で入力した映像例を示す図、図１０は、マーカ用の撮像カメラ４，５で入力した映像例を示す図である。
【００３０】
即ち、本願の実施の形態２に係る表示装置は、現実空間を撮像する少なくとも２台の第１撮像装置と、前記現実空間とは異なる空間でマーカを撮像する少なくとも２台の第２撮像装置とを有し、第２撮像装置の画角を第１撮像装置の画角よりも大きくしている。
【００３１】
このように、マーカ映像入力用の画角８０を広くとることで、マーカによる位置計測の精度を更に向上することが可能となる。
【００３２】
［実施の形態３］
前述の実施の形態１，２においては、可視光によるマーカを前提としていた。即ち、通常の撮像カメラで撮影可能な「色」や「記号」などをマーカとして使うことを前提としていた。可視光によるマーカの場合、観察者にも映像の一部として提示されるため臨場感が損なわれるなどの問題が生じる。そこで、本実施の形態３では、図１における撮像カメラ４，５（マーカ映像入力用）を赤外線カメラとし、マーカを赤外線ランプ或いは赤外線ＬＥＤなどの赤外光発光素子とする。
【００３３】
即ち、本願の実施の形態３に係る表示装置は、現実空間を撮像する少なくとも２台の第１撮像装置と、前記現実空間とは異なる空間でマーカを撮像する少なくとも２台の第２撮像装置とを有し、マーカを赤外線マーカとし、第２撮像装置を赤外線カメラとしている。
【００３４】
このように、マーカを赤外線マーカとし、撮像カメラ４，５を赤外線カメラで構成することにより、観察者においてはマーカが不可視となるため、マーカの存在を気にすることなく現実空間の映像を楽しむことが可能となる。また、マーカの認識時には、赤外光のマーカのみを認識すればよいので認識手段の簡素化が図れるなどの効果がある。
【００３５】
［実施の形態４］
前述の実施の形態３においては、現実空間の入力用の撮像カメラ２，３とマーカ映像入力用赤外線撮像カメラ４，５は各々独立に配置されているが、これら２種類の撮像カメラを同一のカメラで実現することも可能である。
【００３６】
従来の撮像カメラの撮像素子として、ＣＣＤを使ったものが一般的である。このＣＣＤカメラにおいては、ＲＧＢの各色に対応した３枚のＣＣＤ素子を配置している。更には、ＲＢ用各１枚、Ｇ用２枚に対応した４枚のＣＣＤ素子を配置するものも存在する。そこで、本実施の形態４においては、図１１に示すように、この撮像カメラを、ＲＧＢ各色に対応したＣＣＤ１２１，１２２，１２３に加え、赤外光に対応したＣＣＤ１２４を設けて構成する。
【００３７】
これにより、ＣＣＤ１２１，１２２，１２３により現実空間を撮影し、ＣＣＤ１２４により赤外マーカを検出することができる。
【００３８】
図１２は、この実施の形態４に係る表示装置の構成を示す概観図である。
【００３９】
図１２の撮像カメラ１３１，１３２は、それぞれ図１１に示すような構成を有しており、ＲＧＢ用と赤外光用の映像を得ることが出来る。
【００４０】
即ち、本願の実施の形態３に係る表示装置は、撮像装置内にＲＧＢ用の撮像素子と赤外光用の撮像素子を備えることにより、一つの撮像装置で現実空間とマーカとを撮影することができる。
【００４１】
このように、一つのカメラで現実空間とマーカ映像とを入力可能にすることにより、図１２に示すように機器構成を簡易にすることが可能となり、またカメラ位置による視差の影響を少なくすることが可能となる。
【００４２】
［実施の形態５］
実施の形態４においては、撮像カメラ１３１、１３２の位置と実際の観察者の眼球位置にはオフセットが有るために、視差ずれが発生する。そこでＨＭＤの光学系を変形することで、この視差ずれを解消することが可能である。
【００４３】
図１３及び図１４は、視差ずれが存在しない光学シースルＨＭＤの光学系の概略図を示す。
【００４４】
図１４は前述した図３のＨＭＤの光学系を基に、それを変形した構成を示すブロック図で、図３と共通する部分は同じ記号で示している。
【００４５】
ここではＬＣＤ１１の画像を光学系（ここでは１枚のレンズで図示している）１２を用いて拡大表示し観察者へ虚像を表示する。このとき、反射鏡１３をハーフミラーとすることにより、観察者はハーフミラー１３を透過して視認できる外界と、ハーフミラー１３に反射したＬＣＤ１１の仮想空間画像表示を同時に観察できることになり、仮想現実空間観察用のいわゆる光学シースルーＨＭＤを形成する事ができる。
【００４６】
一方、ハーフミラー１３を挟んでＬＣＤ１１に対向して、外界撮影用の撮像カメラ２７（図１３においては光学系１６（簡略化のため１枚のレンズで代表して表す）及びＣＣＤ等の撮像素子１７のみを示す）が設けられている。ここで、撮像カメラ２７の入射瞳１６Ｐは、観察者の眼球の瞳Ｐと光学的に等価な位置になるように構成されている。これにより、外界画像用のカメラ２７の瞳位置と観察者の瞳位置が一致するので、カメラ２７の映像に対する視差ずれの補正処理が不要となる。
【００４７】
また、図１３の構成において、撮像カメラ２７に外界だけでなく、対向するＬＣＤ１１からの画像が写り込むことを防止するために、撮像素子１７とハーフミラー１３の間にＬＣＤ１１の画像光の偏光軸と直交する偏光軸を有する偏光板（不図示）を設けて、写り込みを防止することができる。ＬＣＤ１１の表示画像写り込みを防止する方法としては、例えば光路分離手段としてハーフミラー１３の代りに偏光ビームスプリッタを用いる方法など、偏光板を用いる以外にも種々の方法を用いることが可能であり、任意に採用できる。
【００４８】
図１４は、前述した図４のＨＭＤ光学系をベースとするものであり、自由曲面プリズム１４と呼ばれる非回転対称非球面の光学面（自由曲面）をプリズムの３面に適用しレンズ作用を持たせた光学系をベースとする。
【００４９】
ＬＣＤ１１からの画像光は、レンズ作用を有する自由曲面プリズム１４へ入射し、ハーフミラーが形成された光路分離手段である面１４ａで反射して観察者へ虚像を表示する。この自由曲面プリズム１４にはその光学パワーをキャンセルするような補正用自由曲面プリズム１８が接合されており、外界の画像はこの接合されたプリズム１４，１８を介して観察できる。
【００５０】
一方、面１４ａで反射された外界画像が観察されるプリズム１８の下方には、外界映像撮影用の撮像カメラ２８（図１３と同様にレンズ１９で示される光学系と、撮像素子２０で代表して示す）が設けられている。この構成においては、補正用自由曲面プリズム１８も外界画像撮影用の光学系（撮像光学系）の一部を形成している。
【００５１】
また、図１３に示した構成と同様に、撮像光学系２８の入射瞳１９Ｐは観察者の眼球の瞳Ｐと光学的に等価な位置になるように構成されている。これにより、撮像光学系２８で得られた画像は視差ずれの補正処理を行う必要がなくなる。
【００５２】
本実施の形態５に係る構成においても、ＬＣＤ１１からの画像光がＣＣＤ等の撮像素子２０へ入射することを防止することができ、撮像素子２０とプリズム１８との間にＬＣＤ１１の画像光の偏光軸と直交する偏光軸を有する偏光板（不図示）を設けることができる。
【００５３】
即ち、本願の実施の形態５に係る表示装置は、観察者の視点近傍もしくは光学的に視点位置と撮影位置が実質的に等価な位置に、現実空間入力用（外界画像用のカメラ２７）とマーカ映像入力（仮想空間）用（ＬＣＤ１１、レンズ１２等）の２種類の入力素子を配置することができる。
【００５４】
以上説明したように本実施の形態によれば、観察者頭部に装着するＨＭＤにおいて、観察者の視点近傍もしくは光学的に視点位置と撮影位置が実質的に等価な位置に、現実空間入力用とマーカ映像入力用の２種類の入力素子を配置することにより、位置合わせすることを容易にすることが可能なＨＭＤを実現できる。
【００５５】
［実施の形態６］
本実施の形態６では、撮像カメラを備えた半透過型（シースルー型）のヘッドマウントディスプレイ（ＨＭＤ）を搭載した観察者がマーカ付き囲いに囲まれた観察場所で囲いの外に表示される仮想世界を観察する場合で説明する。
【００５６】
図２１は、本発明の実施の形態６に係る表示システムの流れを説明する図である。
【００５７】
ＨＭＤ２１０１には、入力された画像を表示する画像表示装置２１０３と撮像カメラ２１０４とが備えられている。ＨＭＤ２１０１は、ＰＣ２１０２と接続されている。この構成で、撮像カメラ２１０４で撮影された画像（現実空間画像）は、ＰＣ２１０２のキャプチャ装置２１０５で取り込まれる。このキャプチャ装置２１０５で取り込まれた画像は、マーカ認識部２１０６と画像合成部２１０７に送られる。マーカ認識部２１０６はマーカの位置を検出し、その検出したマーカの位置からＨＭＤ２１０１の位置姿勢を計算する。ＣＧ作成部２１０８では、仮想空間上のオブジェクトが作成され、このオブジェクト画像（仮想空間画像）が画像合成部２１０７に送られる。画像合成部２１０７では、キャプチャ装置２１０５でキャプチャされた現実空間の画像と、ＣＧ作成部８で作成された仮想画像とが合成され、実空間と仮想空間とが融合されたＭＲ空間が作成される。こうして画像合成部２１０７で合成されて作成された画像は、ＨＭＤ２１０１の画像表示装置２１０３に送られて表示される。
【００５８】
図１５は、本実施の形態６に係るマーカ付囲いの一例を示す図である。
【００５９】
この囲いは、透明の円筒を縦に半分に切ったものにマーカ１５００を配置したものである。このＨＭＤ２１０１に装着された撮像カメラ２１０４が撮影した画像はコンピュータ２１０２でキャプチャされる。尚、囲いに付けるマーカは、観察者の観察方向にあればよく、図１５は前方のみを観察する場合を示している。
【００６０】
図１６は、図１５の囲いを、観察者１６００の前に配置したものを正面から見た図である。
【００６１】
観察者１６００は、数十センチメートルから数メートル先にある囲いの先方で、数メートルから数百メートル先に仮想のオブジェクトを見ることになる。マーカ１５００は小さく、またオブジェクトと囲いとの距離があるため、オブジェクトの手前にマーカ１５００が位置していても、観察者はそれほど気にすることなく観察を行える。
【００６２】
この囲いにはもう一つの働きがある。それは観察者の観察位置を限定することである。観察位置が限定されたＭＲシステムでは、この働きも有効である。
【００６３】
図１７は、図１６を横から見た図である。
【００６４】
観察者１６００からは、この図のように、囲いの向こうにオブジェクト１７００が見える。
【００６５】
全周囲を見渡す時は図１８に示すような円筒の全周囲にマーカ１８０１を配置する。又、観察領域が観察者の上部にも及ぶ時には、図１９に示すようなドーム形状の囲いを使用する。
【００６６】
更に、図２０は、他の囲いの一例を示す図で、ここでは細いワイヤー上にマーカが配置されている。
【００６７】
即ち、本願の実施の形態６に係る表示システムでは、透明の部材上に複数のマーカを配置し、その透明部材を通して観察者が現実空間を見るようにすることにより、位置合わせのためのマーカの配置を容易にできるという効果がある。
【００６８】
［実施の形態７］
図２２は、本発明の実施の形態７に係るシステムにマーカ用カメラ２２１１と、そのカメラ２２１１からの映像をキャプチャするキャプチャ装置２２１２とを追加したシステムである。
【００６９】
マーカ用カメラ２２１１は、ＨＭＤ２２０１に組込まれてマーカの読み取り専用として動作する。キャプチャ装置２２１２はＰＣ２２０２に組込まれ、マーカ用カメラ２２１１が撮影した映像をキャプチャする。このキャプチャ装置２２１２からマーカ認識部２２０６にマーカの画像が送られるので、キャプチャ装置２２１２からマーカ認識部２２０６に画像が送られることはない。
【００７０】
このように観察空間を撮影する撮像カメラ２２０４とマーカを撮影するマーカ用カメラ２２１とをそれぞれ別に設けることにより、観察空間を撮影する撮像カメラ２２０４の焦点を遠距離に合わせ、マーカを撮影するマーカ用カメラ２２１１は焦点を近距離に合わせることになる。それによって、観察空間を撮影する映像にはマーカがはっきりと映らないので、観察者が手前のマーカをあまり気にしないで良い。
【００７１】
即ち、本願の実施の形態７に係る表示システムによれば、位置合わせのために用いるマーカを観察者の周囲に立てる囲いに配置し、現実空間を撮影する撮像カメラと、仮想空間を撮影するマーカ用カメラとによりそれぞれ別々に撮影することにより、マーカによる位置合わせと、現実空間の撮影とを容易にできる。
【００７２】
以上説明したように本実施の形態７によれば、位置合わせのために用いられるマーカを観察者の周囲に立てる囲いに配置し、マーカの設置が困難なイベント会場や屋外においても設置することが容易になる。
【００７３】
［その他の実施の形態］
なお本発明は、複数の機器（例えばホストコンピュータ、インタフェイス機器、リーダ、プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置(例えば、複写機、ファクシミリ装置など)に適用しても良い。
【００７４】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵまたはＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても達成されることは言うまでもない。
【００７５】
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００７６】
プログラムコードを供給するための記憶媒体としては、例えば、フロッピィディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることが出来る。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）などが実際の処理の一部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。
【００７７】
更に、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施の形態の機能が実現される場合も含まれる。
【００７８】
以上説明した実施の形態は、以下の実施態様により実現できる。
【００７９】
［実施態様１］  観察者の頭部に装着されて当該観察者に画像を提示する表示装置であって、
外界の映像を撮影する第１撮像手段と、
位置合わせのためのマーカを撮影するための第２撮像手段と、
前記第１及び第２撮像手段により撮像された映像とを合成して表示する表示手段とを有し、
前記第１と第２の撮像手段による撮像の焦点距離が互いに異なっていることを特徴とする表示装置。
【００８０】
［実施態様２］  前記第２撮像手段による撮像画角は、前記第１撮像手段の画角よりも大きいことを特徴とする実施態様１に記載の表示装置。
【００８１】
［実施態様３］  前記第２撮像手段は、赤外光を撮影することを特徴とする実施態様１又は２に記載の表示装置。
【００８２】
［実施態様４］  前記第１撮像手段は、可視光による撮影を行い、前記第２撮像手段は、不可視波長による撮像が可能であることを特徴とする実施態様１乃至３のいずれかに記載の表示装置。
【００８３】
［実施態様５］  前記第１及び第２撮像手段はそれぞれ少なくとも２つのカメラを有し、各カメラは前記観察者の右目及び左目の視点位置と光学的に実質的に等価な位置になるようにそれぞれ配置されることを特徴とする実施態様４に記載の表示装置。
【００８４】
［実施態様６］  前記マーカは前記観察者の周辺に配置された透明部材上に複数配置されており、前記観察者は前記透明部材を通して仮想画像を見ることを特徴とする実施態様１乃至５のいずれかに記載の表示装置。
【００８５】
［実施態様７］  観察者の頭部に装着されて当該観察者に画像を提示する表示装置における撮像方法であって、
外界の映像を撮影する第１カメラと、位置合わせのためのマーカを撮影するための第２カメラにより撮像された映像とを合成して表示する表示工程を有し、前記第１と第２カメラによる撮像の焦点距離が互いに異なっている。
【００８６】
［実施態様８］  前記第２カメラによる撮像画角は、前記第１カメラの画角よりも大きいことを特徴とする実施態様７に記載の表示方法。
【００８７】
［実施態様９］  前記第２カメラは赤外光を撮影することを特徴とする実施態様７又は８に記載の表示方法。
【００８８】
［実施態様１０］  前記第１カメラは可視光による撮影を行い、前記第２カメラは不可視波長による撮像が可能であることを特徴とする実施態様７乃至９のいずれかに記載の表示方法。
【００８９】
［実施態様１１］  前記第１及び第２カメラはそれぞれ少なくとも２つのカメラを有し、各カメラは前記観察者の右目及び左目の視点位置と光学的に実質的に等価な位置になるようにそれぞれ配置されることを特徴とする実施態様１０に記載の表示方法。
【００９０】
［実施態様１２］  前記マーカは前記観察者の周辺に配置された透明部材上に複数配置されており、前記観察者は前記透明部材を通して仮想画像を見ることを特徴とする実施態様７乃至１１のいずれかに記載の表示方法。
【００９１】
【発明の効果】
以上説明したように本発明によれば、遠方の現実空間を観察しながら近傍のマーカを容易に認識できるという効果がある。
【図面の簡単な説明】
【図１】本発明の実施の形態１に係るＨＭＤの外観斜視図である。
【図２】本実施の形態１に係るＨＭＤに採用可能な光学系の概略構成を示す側面図である。
【図３】本実施の形態１に係るＨＭＤに採用可能な別の光学系の概略構成を示す側面図である。
【図４】本実施の形態１に係るＨＭＤに採用可能な更に別の光学系の概略構成を示す側面図である。
【図５】本実施の形態１に係る現実空間の映像とマーカ映像との関係を説明する図である。
【図６】本実施の形態１に係る現実空間の映像例を説明する図である。
【図７】本実施の形態１に係るマーカの映像例を説明する図である。
【図８】本発明の実施の形態２に係る現実空間の映像とマーカの映像との関係を説明する図である。
【図９】実施の形態２に係る現実空間の映像例を説明する図である。
【図１０】実施の形態２に係るマーカの映像例を説明する図である。
【図１１】本発明の実施の形態４に係る撮像素子の構成例を説明する図である。
【図１２】実施の形態４に係るＨＭＤの略外観図である。
【図１３】本発明の実施の形態５に係るＨＭＤに採用可能な光学系の概略構成を示す側面図である。
【図１４】実施の形態５に係るＨＭＤに採用可能な別の光学系の概略構成を示す側面図である。
【図１５】本発明の実施の形態６に係る半円筒形のマーカを備えた透明な囲い例を示す図である。
【図１６】図１５の囲いの中に観察者が立った状態を示す図である。
【図１７】図１６と横から見た図に仮想のオブジェクトを加えて示す図である。
【図１８】実施の形態６に係る円筒形のマーカを備えた透明な囲いの一例を示す図である。
【図１９】実施の形態６に係るドーム形状のマーカを備えた細いワイヤーで形成された囲いの一例を示す図である。
【図２０】実施の形態６に係る半円筒形のマーカを備えた細いワイヤーで形成された囲いの一例を示す図である。
【図２１】実施の形態６に係るＭＲシステムの構成を示すブロック図である。
【図２２】本発明の実施の形態７に係るＭＲシステムの構成を示すブロック図である。
【図１】
2004205711.tif 000003
【図２】
2004205711.tif 000004
【図３】
2004205711.tif 000005
【図４】
2004205711.tif 000006
【図５】
2004205711.tif 000007
【図６】
2004205711.tif 000008
【図７】
2004205711.tif 000009
【図８】
2004205711.tif 000010
【図９】
2004205711.tif 000011
【図１０】
2004205711.tif 000012
【図１１】
2004205711.tif 000013
【図１２】
2004205711.tif 000014
【図１３】
2004205711.tif 000015
【図１４】
2004205711.tif 000016
【図１５】
2004205711.tif 000017
【図１６】
2004205711.tif 000018
【図１７】
2004205711.tif 000019
【図１８】
2004205711.tif 000020
【図１９】
2004205711.tif 000021
【図２０】
2004205711.tif 000022
【図２１】
2004205711.tif 000023
【図２２】
2004205711.tif 000024