1(57)【特許請求の範囲】【請求項１】実空間画像と仮想空間画像とを観察者に同時に提示するために、前記観察者の眼と共役な位置に撮影手段を配置し、前記撮影手段によって撮影した実空間画像と仮想空間情報に基づく仮想空間画像とを表示する方法であって、前記仮想空間画像の画素と同じ位置にある実空間画像の画素に対して、前記撮影手段により撮影される実空間画像に基づいて前記観察者からの距離を求め、それによって得られる前記実空間画像の距離と前記仮想空間情報に 10基づく前記仮想空間画像の距離とを比較し、前記観察者に近い方の画素を選択して表示する、ことを特徴とする実空間画像と仮想空間画像の表示方法。
【請求項２】実空間画像と仮想空間画像とを観察者に同2時に提示するための表示装置であって、前記観察者の眼と共役な位置に配置される撮影手段と、前記観察者の視点を検出する位置検出手段と、前記撮影手段により撮影される実空間画像に基づいて実空間画像の各画素に対応する距離情報である実空間距離画像を生成する実空間距離画像生成手段と、前記位置検出手段により検出される前記視点の位置と予め記憶された仮想空間情報とに基づいて仮想空間画像の各画素に対応する距離情報である仮想空間距離画像を生成する仮想空間距離画像生成手段と、前記実空間距離画像と前記仮想空間距離画像とを画素毎に比較する比較手段と、前記比較手段による比較結果に基づいて、前記実空間画像と前記仮想空間画像とのうち前記視点に近い方の画素の画像情報を選択する選択手段と、(2)3選択された画像情報に基づく合成画像を表示する表示手段と、を有してなることを特徴とする表示装置。
【請求項３】前記実空間距離画像生成手段は、同一の前記撮影手段により撮影される複数の実空間画像に基づいて前記実空間距離画像を生成するものである、請求項２記載の表示装置。
【請求項４】第１の２次元画像を撮影する撮影手段と、前記第１の２次元画像の各画素に対応する第１の距離情報を測定する距離測定手段と、観察者の視点を検出する位置検出手段と、前記位置検出手段の出力と予め記憶された情報とに基づいて、第２の２次元画像と前記第２の２次元画像の各画素に対応する第２の距離情報とを出力する第２情報出力
手段と、前記第１の距離情報と前記第２の距離情報とを画素毎に比較する比較手段と、前記比較手段の出力に基づいて、前記第１の２次元画像と前記第２の２次元画像のうち前記視点に近い方の画素の画像情報を選択する選択手段と、選択された画像情報を前記第１の２次元画像と前記第２の２次元画像との合成画像として表示する表示手段と、を有し、前記撮影手段、前記距離測定手段、及び前記表示手段が、前記観察者の視線と実質的に同一視線上に配置されていることを特徴とする表示装置。
【請求項５】第１の２次元画像を撮影する撮影手段と、前記第１の２次元画像の各画素に対応する第１の距離情報を測定する距離測定手段と、観察者の視点を検出する位置検出手段と、前記位置検出手段の出力と予め記憶された情報とに基づいて、第２の２次元画像と前記第２の２次元画像の各画素に対応する第２の距離情報とを出力する第２情報出力
手段と、前記第１の距離情報と前記第２の距離情報とを画素毎に比較する比較手段と、前記比較手段の出力に基づいて、前記第１の２次元画像と前記第２の２次元画像のうち前記視点に近い方の画素の画像情報を選択する選択手段と、選択された画像情報を前記第１の２次元画像と前記第２の２次元画像との合成画像として表示する表示手段と、を有し、前記距離測定手段は、異なる位置から撮影した複数の前記第１の２次元画像とそれぞれの位置における前記位置検出手段の出力とに基づいて前記第１の距離情報を測定することを特徴とする表示装置。
【発明の詳細な説明】【０００１】【発明の属する技術分野】本発明は、実空間画像と仮想空間画像の表示方法及び表示装置に関し、特に、ＡＲ1020304050

特許３３３８６１８4（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）において視点距離情報を用いて実空間画像と仮想空間画像とを融合させた表示方法及び表示装置に関する。
【０００２】【従来の技術】従来より、コンピュータによってつくられた情報を人間に提示することによって、人間があたかも現実の世界であるかのような認識を与える技術が、ＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）技術として知られている。ＶＲ技術によって、人間が仮想環境内に入り込んで現実と同じような体験をすることができる。ＶＲはまた、Ａｒｔｉｆｉｃｉａｌ Ｒｅａｌｉｔｙと呼称されることがある。
【０００３】ＶＲ技術の一分野に、ＡｕｇｍｅｎｔｅｄＲｅａｌｉｔｙ（以下「ＡＲ」という）技術と呼称される分野がある。ＡＲでは、実空間とコンピュータのつくった仮想空間とが混ぜて人間に提示される。つまり、ＡＲでは実空間が仮想空間により増強される。
【０００４】ＶＲ技術では人間が完全に仮想環境に没入するのに対して、ＡＲ技術では、実環境に対して仮想環境を適切に配置することにより、実環境の質を高めることを目的としている。仮想環境として画像を提示するものが視覚的ＡＲである。以下における「ＡＲ」は「視覚的ＡＲ」を指す。
【０００５】ＡＲ技術の利用例として、患者の脳のＣＴスキャン画像を現実の患者の脳に重畳させながら手術を行うシステム、現実の機械装置の各部品に対しＣＧ（コンピュータグラフィックス）によって注釈を付けて組立て又は修理などの作業を支援するシステム、現実の部屋に付加物を置いた場合にどのような感じに見えるかを評価するシステム、都市の再開発で新しい建物を建てた場合の景観を実物大で実際の場所で評価するシステムなどが考えられる。
【０００６】ＡＲ技術では、実空間と仮想空間とを同時に人間に提示するために、通常、ＳＴＨＭＤ（Ｓｅｅ−Ｔｈｒｏｕｇｈ Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）が用いられる。ＳＴＨＭＤには、光学式によるものとビデオ信号によるものとがある。
【０００７】図７は従来の光学式のＳＴＨＭＤによるＡ
Ｒシステム８０の原理を示す図、図８は従来のビデオ方式のＳＴＨＭＤによるＡＲシステム９０の原理を示す図である。
【０００８】図７に示すＡＲシステム８０では、観察者の眼の前の視線上に配置されたハーフミラー８１を透して実空間画像を見ることができ、投影機８２が投影する仮想空間画像をハーフミラー８１を介して見ることができる。これによって、仮想空間画像が実空間画像とオーバーラップして提示される。なお、観察者の頭部には視点を検出するための位置検出器８３が設けられ、位置検出器８３の出力に基づいて、ワークステーション８４から投影機８２に対して仮想空間画像の信号が送出され(3)5る。
【０００９】図８に示すＡＲシステム９０では、左右の眼と共役な位置に配置された２つのカメラ９３によって、両面ミラー９１に写った実空間画像が撮影される。
撮影された実空間画像と仮想空間画像とがワークステーション９５によって合成され、合成された画像が投影機８２から投影される。その結果、実空間画像と仮想空間画像との合成画像が両面ミラー９１を介して観察者に提示される。
【００１０】【発明が解決しようとする課題】ＡＲの実現のためには、従来から指摘されている位置合わせの問題の他に、遮蔽関係を正しく表現することが必要である。しかし、上述したいずれのＡＲシステム８０，９０においても、観察者に近い空間又は物体によって遠い空間又は物体が遮蔽されるという遮蔽関係を正しく表現することができない。
【００１１】すなわち、前者のＡＲシステム８０においては、仮想空間の物体の後ろに実空間が透けていると決まっており、観察者には仮想空間及び実空間の両方の画像が単に重なって見える。したがって、このシステムでは遮蔽関係を表現することは全くできない。
【００１２】後者のＡＲシステム９０においては、遠近に関係なく仮想空間の物体が常に実空間の物体を覆い隠すようになっており、遮蔽関係を正しく表現できない。
つまり、仮想空間の物体が実空間の物体よりも近い場合には遮蔽関係は正しいが、その反対に実空間の物体が近い位置にある場合であっても、実空間の物体が遠い位置にあるはずの仮想空間の物体によって遮蔽されてしまい、遮蔽関係が逆になってしまう。
【００１３】視覚心理学の知見によると、遮蔽関係が正しく表現されていない状態では、輻輳・視差情報と遮蔽関係との矛盾のために、立体視が阻害されたり予想外の立体視をしてしまうことが報告されている。つまり、遮蔽関係を正しく表現することはＡＲ技術にとって極めて重要である。
【００１４】本発明は、上述の問題に鑑みてなされたもので、ビデオ方式のＡＲにおいて、遮蔽関係を正しく表現することを目的とする。
【００１５】【課題を解決するための手段】請求項１の発明に係る方法は、実空間画像と仮想空間画像とを観察者に同時に提示するために、前記観察者の眼と共役な位置に撮影手段を配置し、前記撮影手段によって撮影した実空間画像と仮想空間情報に基づく仮想空間画像とを表示する方法であって、前記仮想空間画像の画素と同じ位置にある実空間画像の画素に対して、前記撮影手段により撮影される実空間画像に基づいて前記観察者からの距離を求め、それによって得られる前記実空間画像の距離と前記仮想空間情報に基づく前記仮想空間画像の距離とを比較し、前1020304050

特許３３３８６１８6
記観察者に近い方の画素を選択して表示する方法である。
【００１６】請求項２の発明に係る装置は、実空間画像と仮想空間画像とを観察者に同時に提示するための表示装置であって、前記観察者の眼と共役な位置に配置される撮影手段と、前記観察者の視点を検出する位置検出手段と、前記撮影手段により撮影される実空間画像に基づいて実空間画像の各画素に対応する距離情報である実空間距離画像を生成する実空間距離画像生成手段と、前記位置検出手段により検出される前記視点の位置と予め記憶された仮想空間情報とに基づいて仮想空間画像の各画素に対応する距離情報である仮想空間距離画像を生成す
る仮想空間距離画像生成手段と、前記実空間距離画像と前記仮想空間距離画像とを画素毎に比較する比較手段と、前記比較手段による比較結果に基づいて、前記実空間画像と前記仮想空間画像とのうち前記視点に近い方の画素の画像情報を選択する選択手段と、選択された画像情報に基づく合成画像を表示する表示手段と、を有して構成される。
【００１７】請求項３の発明に係る装置において、前記実空間距離画像生成手段は、同一の前記撮影手段により撮影される複数の実空間画像に基づいて前記実空間距離画像を生成するものである。
【００１８】請求項４の発明に係る装置は、第１の２次元画像を撮影する撮影手段と、前記第１の２次元画像の各画素に対応する第１の距離情報を測定する距離測定手段と、観察者の視点を検出する位置検出手段と、前記位置検出手段の出力と予め記憶された情報とに基づいて、第２の２次元画像と前記第２の２次元画像の各画素に対応する第２の距離情報とを出力する第２情報出力手段と、前記第１の距離情報と前記第２の距離情報とを画素毎に比較する比較手段と、前記比較手段の出力に基づいて、前記第１の２次元画像と前記第２の２次元画像のうち前記視点に近い方の画素の画像情報を選択する選択手段と、選択された画像情報を前記第１の２次元画像と前記第２の２次元画像との合成画像として表示する表示手段と、を有し、前記撮影手段、前記距離測定手段、及び前記表示手段が、前記観察者の視線と実質的に同一視線上に配置されて構成される。
【００１９】請求項５の発明に係る装置は、第１の２次元画像を撮影する撮影手段と、前記第１の２次元画像の各画素に対応する第１の距離情報を測定する距離測定手段と、観察者の視点を検出する位置検出手段と、前記位置検出手段の出力と予め記憶された情報とに基づいて、第２の２次元画像と前記第２の２次元画像の各画素に対応する第２の距離情報とを出力する第２情報出力手段と、前記第１の距離情報と前記第２の距離情報とを画素毎に比較する比較手段と、前記比較手段の出力に基づいて、前記第１の２次元画像と前記第２の２次元画像のうち前記視点に近い方の画素の画像情報を選択する選択手

(4)7段と、選択された画像情報を前記第１の２次元画像と前記第２の２次元画像との合成画像として表示する表示手段と、を有し、前記距離測定手段は、異なる位置から撮影した複数の前記第１の２次元画像とそれぞれの位置における前記位置検出手段の出力とに基づいて前記第１の距離情報を測定するように構成される。
【００２０】本発明においては、観察者の眼と共役な位置に撮影手段を配置し、撮影手段によって実空間画像を撮影する。その実空間画像の動きに基づいて観察者の視点から物体までの距離を求め、それによって得られた実空間画像の距離と仮想空間画像の距離とを画素毎に比較し、近い方の画素を選択する。これによって、実空間画像と仮想空間画像とが合成され、合成された画像が表示手段によって観察者に提示される。
【００２１】撮影手段により撮影される実空間画像における動きの要因として、頭及び物体のそれぞれの並進運動及び回転運動の４つがある。頭の動きは位置検出手段によって検出される。頭と視点との位置関係は予め設定され又は適当な手段で検出される。物体が静止している場合に、撮影された実空間画像の動きに基づいて視点から物体までの距離が一意に計算される。計算に当たって、例えば視点の回転運動をキャンセルし、並進運動のみに基づいて距離が計算される。
【００２２】【発明の実施の形態】図１は本発明に係る表示装置１の全体的な構成の概略を示すブロック図、図２は表示装置１の遮蔽画素切替え部１４の構成を示すブロック図である。
【００２３】図１において、表示装置１は、ミラー１１、カメラ１２、表示部１３、遮蔽画素切替え部１４、位置検出センサ１５、及び仮想空間画像出力部１６などから構成されている。なお、ミラー１１、カメラ１２、及び表示部１３は、左右の眼ＥＹにそれぞれ対応して設けられている。
【００２４】ミラー１１は、両面に反射面を有するものであり、観察者ＢＳの左右の眼ＥＹの前方において、その視線方向に対してほぼ４５度の角度を有するように配置されている。
【００２５】カメラ１２は、観察者ＢＳの左右の眼ＥＹと光学的に共役な位置に配置されており、ミラー１１に写る実空間画像ＦＲを撮影するものである。表示部１３
は、遮蔽画素切替え部１４から出力される合成画像ＦＭを表示する。観察者ＢＳは、ミラー１１を介して表示部１３に表示された合成画像ＦＭを観察する。カメラ１２と表示部１３とは、観察者ＢＳの視線と実質的に同一視線上に配置されている。表示部１３として、液晶パネル又はＣＲＴなど、従来から公知の種々の表示デバイスが用いられる。各種のレンズ又はミラーも必要に応じて用いられる。
【００２６】遮蔽画素切替え部１４は、実空間画像ＦＲ

1020304050

特許３３３８６１８8と仮想空間画像ＦＶとを、観察者ＢＳの視点からの距離（奥行き）に応じて画素毎に切り替えて出力する。詳細は後述する。
【００２７】位置検出センサ１５は、その出力信号Ｓ１に基づいて観察者ＢＳの視点を検出するためのものである。位置検出センサ１５及び信号Ｓ１に基づく視点の検出方法は従来より公知である。
【００２８】仮想空間画像出力部１６は、位置検出セン
サ１５の出力する信号Ｓ１と予め記憶された仮想空間情報ＤＶとに基づいて、仮想空間画像ＦＶとその各画素に対応する距離情報である仮想空間距離画像ＦＶｄとを出力する。仮想空間情報ＤＶとして、種々の方法により撮影した画像データ、ＣＧにより作成した画像データ、又はそれらの画像データを生成するためのプログラムなど、種々のものが用いられる。
【００２９】遮蔽画素切替え部１４及び仮想空間画像出力部１６は、適当なハードウエアにより、ワークステーション又はパーソナルコンピュータなどの適当な処理装置にインストールされたプログラムを実行することにより、又はそれらの併用により実現することができる。そのようなプログラムは、ＲＡＭ、ＲＯＭ、ハードディスク装置などに格納され、又はＣＤ−ＲＯＭ装置、光磁気ディスク装置、フロッピィディスク装置などによってそれぞれ対応する記録媒体から読み出され、又は通信回線を介してホストからダウンロードされる。プログラム
は、種々のＯＳ、システム環境、又はプラットホームの下で動作するように供給可能である。
【００３０】表示装置１においては、観察者ＢＳの眼ＥＹと光学的に共役な位置にあるカメラ１１からの実空間画像ＦＲを基にして、後述する手法により視点距離座標を計算し、視点からの距離に応じて実空間画像ＦＲと仮想空間画像ＦＶとを画素毎に切り替えて合成画像ＦＭを生成し、これを観察者ＢＳに提示する点が１つの特徴である。
【００３１】一般に、ＣＧにおいては、遮蔽関係を正しく表現するためにＺバッファ法が用いられている。実空間と仮想空間との間においても同様な手法で遮蔽関係を表現するために、金出らによってＺ−ｋｅｙという考え方が提案された。これはカメラ座標系におけるｚ座標値によって実空間と仮想空間とを切り替えて表示する方法である。遮蔽画素切替え部１４はこのＺ−ｋｅｙの考え方を利用してそれをさらに押し進めたものである。
【００３２】図２において、遮蔽画素切替え部１４は、実空間画像出力部２１、比較部２２、及び選択部２３を備えている。実空間画像出力部２１は、色情報生成部２１１及び奥行き情報生成部２１２を備える。色情報生成部２１１は、カメラ１２で撮影された実空間画像ＦＲに基づいて色情報ＦＲｃを生成する。奥行き情報生成部２１２は、実空間画像ＦＲに基づいて、実空間画像ＦＲの各画素に対応する奥行き情報（距離情報）ＦＲｄを生成(5)

特許３３３８６１８910する。その際に、位置検出センサ１５の信号Ｓ１も用い＊ は、左右の眼と共役な位置にあるカメラ１２で撮影されられる。奥行き情報ＦＲｄは実空間距離画像に相当するた画像から、左右の眼からの距離画像を求める。つまので、奥行き情報ＦＲｄを実空間距離画像ＦＲｄと記載り、左右それぞれについて、１つのカメラ１２で撮影さすることがある。また、色情報ＦＲｃは実空間画像ＦＲれた２枚の実空間画像ＦＲを用いて実空間距離画像ＦＲと同一であることもある。
ｄを求める。
【００３３】なお、図２において、仮想空間画像出力部【００３８】眼の位置にあるカメラ１２により撮影され１６は、仮想空間情報記憶部１６０、色情報生成部１６
る画像の動きの要因として、頭及び物体のそれぞれの並１、及び奥行き情報生成部１６２を備える。仮想空間情進運動及び回転運動の４つがある。一般に、ＨＭＤの実報記憶部１６０には仮想空間情報ＤＶが記憶されてい現に際して頭部の位置をリアルタイムに計測する必要がる。色情報生成部１６１は、信号Ｓ１及び仮想空間情報 10 あり、本実施形態の表示装置１においても従来から用いＤＶに基づいて色情報ＦＶｃを生成する。奥行き情報生られている方法により頭の動きに関する情報を得る。そ成部１６２は、信号Ｓ１及び仮想空間情報ＤＶに基づいのため、物体が静止している場合には、カメラ１２で撮て、色情報ＦＶｃの各画素に対応する奥行き情報（距離影された画像の動きから物体の距離を一意に計算するこ情報）ＦＶｄを生成する。奥行き情報ＦＶｄは仮想空間とが可能である。
距離画像に相当するので、奥行き情報ＦＶｄを仮想空間【００３９】次に、画像の動きから頭の回転運動の効果
距離画像ＦＶｄと記載することがある。また、色情報Ｆを差し引き、頭の並進運動から距離画像を計算する手法
Ｖｃは仮想空間画像ＦＶと同一であることもある。
を説明する。図３は頭の回転運動のキャンセルを説明す【００３４】比較部２２は、実空間距離画像ＦＲｄと仮るための図である。
想空間距離画像ＦＶｄとを画素毎に比較し、比較結果を【００４０】図３において、観察者ＢＳが座標系Ｏ1 か示す信号Ｓ２を出力する。選択部２３は、比較部２１か 20 ら座標系Ｏ2 へ移動した際に、観察者ＢＳの視線方向がらの信号Ｓ２に基づいて、実空間画像ＦＲと仮想空間画ｙ軸を中心として角度αだけ回転したとする。このと像ＦＶとのうち視点に近い方の画素の画像データを選択き、観察者ＢＳが移動前にｚ1 方向と逆の方向を見ていする。したがって、選択部２３からは、実空間画像ＦＲたとした場合には、物体Ｐは画面Π上で横に角度（θ−と仮想空間画像ＦＶとのうち視点に近い方の画素の画像α）だけずれて見えるはずである。このずれの長さＬｈデータの集合である合成画像ＦＭが出力される。
は、画面Π上で次の（１）式のように表される。
【００３５】このように、表示装置１においては、遮蔽【００４１】
画素切替え部１４を用いることにより、実空間と仮想空
Ｌｈ＝−Ｒｔａｎ（θ−α）＋Ｒｔａｎθ
22間との融合の際に実空間の立体構造を推定する必要がな＝−（Ｒ ＋Ｘ ）／Ｒｔａｎα＋Ｘ1……（１）
くなる。すなわち、実空間及び仮想空間の各画像ＦＲ，したがって、（１）式で決まる長さＬｈだけ各画素を平ＦＶを各画素の色情報ＦＲｃ，ＦＶｃと奥行き情報ＦＲ 30 行移動することにより、頭（視点）の回転運動をキャンｄ，ＦＶｄで表現することにより、上述のような単純なセルすることができる。
回路を用いて電気信号レベルで両者を正しく融合できる【００４２】同様にして、ｘ軸を中心とした回転もキャようになる。ＡＲのようなリアルタイム処理が求められンセルすることができる。このような演算処理は奥行きるアプリケーションにとって、こうした特徴は非常に役情報生成部２１２によって行われる。その結果、観察者立つものである。
ＢＳの移動前後において視線方向が不変となるので、観【００３６】さて、ＡＲにＺ−ｋｅｙを適用するために察者ＢＳの移動量と移動にともなう画素の動きとに基づは、リアルタイムに視点座標系からの距離画像を計測すいて、物体Ｐの視点からの奥行きが算出できる。
る必要がある。こうした高速な距離画像の計測手法とし【００４３】図４は頭の移動にともなう奥行きの算出方て、Ｖｉｄｅｏ−Ｒａｔｅ Ｓｔｅｒｅｏ Ｍａｃｈｉ法を説明するための図である。図４において、観察者Ｂｎｅやシリコンレンジファインダといったシステムが提 40 Ｓが（△ｘ，△ｙ，△ｚ）だけ移動したとき、画素（Ｘ案されている。しかしこれらのいずれの手法において1 ，Ｙ1 ）が（Ｘ2 ，Ｙ2 ）へ移動したとすると、座標も、解像度が低過ぎたり規模が大き過ぎたりするため、系Ｏ2 から見た物体Ｐの奥行きｚは次のように計算でき各眼の位置からの距離画像を得るのには向いていない。
る。
【００３７】そこで、本実施形態における表示装置１で＊【００４４】すなわち、
ｘ／Ｘ2 ＝ｚ／Ｒ、（ｘ＋Δｘ）／Ｘ1 ＝（ｚ＋Δｚ）／Ｒ、ｙ／Ｙ2 ＝ｚ／Ｒ、及び、（ｙ＋Δｙ）／Ｙ1 ＝（ｚ＋Δｚ）／Ｒ……（２）であるから、ｚ＝（Ｘ1 Δｚ−ＲΔｘ）／（Ｘ2 −Ｘ1 ） ……（３）(6)特許３３３８６１８1112＝（Ｙ1 Δｚ−ＲΔｙ）／（Ｙ2 −Ｙ1 ） ……（４）1となる。となる。画素Ｉ を上述の式のように変換すれば、回転【００４５】上述の（２）式には、移動の前後で物体Ｐによる画像の変化はキャンセルされる。とその像がＥｐｉｐｏｌａｒ面上に乗っているという条〔並進運動からの奥行き算出〕
222件が暗黙のうちに入っているので、（３）式の値とＩ＝−（ｘ ／ｘ z ）ｆ
1
211（４）式の値とが異なっていれば、その物体Ｐは静止しＩ（Ｉ ）＝−（ｘ／ｘ z）ｆ2
1ていないことがわかる。
ｘ ＝ｔ＋ｘ【００４６】ここでは観察者ＢＳが移動した場合についであるから、
2
121て説明したが、観察者ＢＳが頭を回転させただけの場合
ｘ z （Ｉ−Ｉ ）＝ｆｔ＋ｔz Ｉ
2
1
でも視点は移動するので、奥行きを計算することが可能 10 となる。Ｉ に対応する画素Ｉ分かれば、上述の式である。頭を回転させることによって、眼ＥＹすなわちによって奥行きが計算される。
視点は回転と並進の両方の運動を行うこととなるからで【００５３】上述したように、本実施形態の表示装置１ある。によると、電気信号レベルでの実空間画像ＦＲと仮想空【００４７】なお、頭及び視点又は視線の位置又は方向間画像ＦＶとの融合が可能である。実空間画像ＦＲに基の変化量は、位置検出センサ１５の出力する信号Ｓ１にづいて実空間距離画像ＦＲｄを計算するので、実世界の基づいて求められる。頭と眼ＥＹとの位置関係は既知で３次元構造の推定を行ったりモデルフィッティングを行あり、予め設定されている。
ったりする場合と比較して計算コストが小さい。したが【００４８】上述したアルゴリズムでは、オプティカルって、処理時間が短くなって処理が高速に行え、リアルフローさえ計算できれば単純な四則演算だけで距離画像タイム性において有利である。
を計算できる。また、奥行きの計算には他の画素での計 20 【００５４】また、実空間画像ＦＲの各画素データを元算結果が不要であるので、奥行き計算の不要な画素につにして各画素の奥行き情報ＦＲｄを求めるので、実空間いては計算を省略することが可能である。したがって、画像ＦＲと実空間距離画像ＦＲｄとの位置合わせが不要奥行き計算を高速に行うことができ、この特徴は実空間である。観察者ＢＳの視点からの距離を求めて実空間距
画像ＦＲと仮想空間画像ＦＶとを高速で融合するのに大離画像ＦＲｄ及び仮想空間距離画像ＦＶｄを得るので、きく寄与する。
実空間距離画像ＦＲｄと仮想空間距離画像ＦＶｄとの位【００４９】上述のように、物体Ｐの視点座標系での座置合わせが不要である。１つのカメラ１２で撮影された標値とその像の位置との間には常に一定の関係が成立す２枚の実空間画像ＦＲに基づいて実空間距離画像ＦＲｄる。表示装置１においては、頭の位置を常時検出しておを求めるので、２つのカメラで撮影された２枚の実空間り且つ頭と眼ＥＹとの位置関係も既知であるから、移動画像に基づく場合と比較すると、２つの画像間の対応位の前後での視点座標系の関係も容易に算出される。した 30 置関係を検索する必要がなく検索スピードの点で有利でがって、移動の前後での像の位置の対応関係が分かれある。また、カメラ１２によって実空間画像ＦＲを撮影ば、この２つの条件によって移動後の視点からのある画する周期は３０分の１秒程度であるから、その間におけ素の奥行きを一意に定めることができるのである。
る観察者ＢＳの移動量は通常小さく、したがって２つの【００５０】参考のために上述した式を一般化して示し
画像間隔が小さくなり、画像上の移動ベクトルが小さた場合について説明する。〔運動視差による距離計測〕
い。点のトラッキングによる奥行き計測を行っているの
図５には、視点０1 から視点Ｏ2 へ移動したとき、視点で、対応点検索の際に空間近傍の対応点検索結果だけで０1 ，Ｏ2 での画像と各々の視点座標系間の変換行列Ｔなく、過去の計測結果をも利用し易い。
21 を元にして、視点０2 から見た物体の奥行きを算出す【００５５】また、実空間画像ＦＲ及び実空間距離画像る場合が示されている。
ＦＲｄを得るためのカメラ１２と表示部１３とが、すな【００５１】図６には、カメラの焦点距離をｆとした場 40 わち撮影手段としてのカメラ１２と距離測定手段として合に、物体の像Ｉをその視点座標系での座標値ｘを用いのカメラ１２と表示手段としての表示部１３との合計３て算出する場合が示されている。〔回転キャンセル〕座つの手段が、観察者ＢＳの視線と実質的に同一視線上に標軸を視点座標系Ｏ2 と同じ方向とし、原点を視点座標配置されているので、観察者ＢＳは画像を違和感なく観1系０1 と同じとした視点座標系０1における像Ｉ察することができる。
を計算すればよい。
【００５６】また、位置検出センサ１５が、実空間距離111【００５２】Ｉ＝−（ｘ ／ｘ z ）ｆ
画像ＦＲｄの算出と、仮想空間画像ＦＶ及び仮想空間距
111Ｉ＝−（ｘ／ｘ z）ｆ
離画像ＦＶｄの供給とに兼用されているので、装置を安
1
1ｘ＝Ｒｘ価に且つ軽量に構成することができる。
であるから、【００５７】上述の実施形態において、カメラ１２が本
1
1
1Ｉ＝−〔ＲＩ ／（ＲＩ ）z 〕ｆ
50 発明の撮影手段に、位置検出センサ１５が本発明の位置

(7)

特許３３３８６１８1314
検出手段に、奥行き情報生成部２１２が本発明の実空間＊ なく観察することができる。
距離画像生成手段及び距離測定手段に、仮想空間画像出【００６５】請求項５の発明によると、位置検出手段が力部１６が本発明の第２情報出力手段に、奥行き情報生
実空間距離画像の算出と仮想空間画像及び仮想空間距離成部１６２が本発明の仮想空間距離画像生成手段に、比画像の供給とに兼用されているので、装置を安価に且つ較部２２が本発明の比較手段に、選択部２３が本発明の軽量に構成することができる。
選択手段に、表示部１３が本発明の表示手段に、それぞ【図面の簡単な説明】
れ対応する。
【図１】本発明に係る表示装置の全体的な構成の概略を【００５８】また、実空間画像ＦＲが本発明の第１の２示すブロック図である。
次元画像に、実空間距離画像ＦＲｄが本発明の第１の距【図２】表示装置の遮蔽画素切替え部の構成を示すブロ
離情報に、仮想空間画像ＦＶが本発明の第２の２次元画 10 ック図である。
像に、仮想空間距離画像ＦＶｄが本発明の第２の距離情【図３】頭の回転運動のキャンセルを説明するための図報に、それぞれ対応する。
である。
【００５９】上述の実施形態において、表示装置１の各【図４】頭の移動にともなう奥行きの算出方法を説明す
部又は全体の構成、処理内容、処理順序、処理タイミンるための図である。
グなどは、本発明の主旨に沿って適宜変更することがで【図５】運動視差による距離計測の算出方法を説明する
きる。
図である。
【００６０】【図６】運動視差による距離計測の算出方法を説明する【発明の効果】請求項１乃至請求項５の発明によると、図である。
ビデオ方式のＡＲにおいて、遮蔽関係を正しく表現する【図７】従来の光学式のＳＴＨＭＤによるＡＲシステムことができる。
20 の原理を示す図である。
【００６１】また、実空間画像に基づいて実空間画像の【図８】従来のビデオ方式のＳＴＨＭＤによるＡＲシス画素の距離を求めるので計算コストが小さい。したがっテムの原理を示す図である。て、処理時間が短くなって処理が高速に行え、リアルタ【符号の説明】イム性において有利である。
１ 表示装置【００６２】請求項２乃至請求項５の発明によると、実１２ カメラ（撮影手段）
空間画像の各画素データを元にして各画素の奥行きを求
１３ 表示部（表示手段）
めるので、実空間画像と実空間距離画像との位置合わせ
１５ 位置検出センサ（位置検出手段）が不要である。観察者からの距離を求めて実空間距離画
１６ 仮想空間画像出力部（第２情報出力手段）
像及び仮想空間距離画像を得るので、実空間距離画像と２２ 比較部（比較手段）仮想空間距離画像との位置合わせが不要である。
30 ２３ 選択部（選択手段）【００６３】請求項３乃至請求項５の発明によると、１１６２ 奥行き情報生成部（仮想空間距離画像生成手
つの撮影手段で撮影された複数の実空間画像に基づいて段）
実空間距離画像を求めるので、２つの画像間の対応位置
２１２ 奥行き情報生成部（実空間距離画像生成手段、関係を検索する必要がなく検索スピードの点で有利であ距離測定手段）
る。２つの画像間隔が小さくなり、画像上の移動ベクト
ＦＲ 実空間画像（第１の２次元画像）ルが小さい。
ＲＲｄ 実空間距離画像（第１の距離情報）【００６４】請求項４の発明によると、撮影手段、距離ＦＶ 仮想空間画像（第２の２次元画像）
測定手段、及び表示手段が、観察者の視線と実質的に同ＦＶｄ 仮想空間距離画像（第２の距離情報）
一視線上に配置されているので、観察者は画像を違和感＊
【図４】

【図５】

(8)

【図１】

【図３】

【図２】

【図６】

特許３３３８６１８

(9)

【図７】

特許３３３８６１８【図８】─────────────────────────────────────────────────────
フロントページの続き(56)参考文献

特開 平８−322064（ＪＰ，Ａ)
特開 平８−212379（ＪＰ，Ａ)
7(58)調査した分野(Int.Cl. ，ＤＢ名)
H04N 5/64511
G06T 15/40