(57)【要約】【課題】ビデオ方式のＡＲにおいて、２次元画像の各画
素について正確な距離情報を得ることができ、遮蔽関係を正しく表現することを目的とする。
【解決手段】実空間画像ＦＲを撮影するカラーセンサ５
４、実空間距離画像ＦＲｄを測定するための距離測定手段、仮想空間画像ＦＶ及び仮想空間距離画像ＦＶｄを出力する仮想空間画像出力部、実空間距離画像ＦＲｄと仮想空間距離画像ＦＶｄとを画素毎に比較する比較手段、比較手段の出力に基づいて距離が近い方の画像データを選択する選択手段、選択された画像データ群を合成画像として表示する表示部１３を有し、距離測定手段は、パターン光を投影する投影手段、パターン光の被写体による反射光を受光する計測用センサ５３、及びカラーセン
サ５４に入射する光路中に設けられて計測用センサ５３に反射光を導く赤外反射ミラー５２を有して構成され
る。

(2)
1
【特許請求の範囲】【請求項１】第１の２次元画像を撮影する撮影手段と、
前記第１の２次元画像の各画素に対応する第１の距離情報を測定する距離測定手段と、観察者の視点の位置及び予め記憶された情報に基づいて、第２の２次元画像と前記第２の２次元画像の各点に対応する第２の距離情報とを出力する第２情報出力手段と、
前記第１の距離情報と前記第２の距離情報とを画素毎に比較する比較手段と、
前記比較手段の出力に基づいて、前記第１の２次元画像と前記第２の２次元画像のうち距離が近い方の画像デー
タを選択する選択手段と、選択された画像データ群を合成画像として表示する表示
手段と、
を有し、
前記距離測定手段は、
パターン光を投影する投影手段と、
前記パターン光の被写体による反射光を受光するセンサと、前記撮影手段に入射する光路中に設けられ、前記センサに前記反射光を導くハーフミラーと、を有してなることを特徴とする合成画像の表示装置。
【請求項２】前記撮影手段及び前記センサは、いずれも前記観察者の眼と共役な位置に配置されている、
請求項１記載の合成画像の表示装置。
【請求項３】前記表示手段により表示される合成画像を観察したときの前記観察者の画角と前記撮影手段及びセンサの画角とが実質的に同一となるように設定されている、請求項１又は請求項２記載の合成画像の表示装置。
【発明の詳細な説明】【０００１】本発明は、合成画像の表示装置に関し、特に、ＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）において視点距離情報を用いて実空間画像と仮想空間画像とを融合させた表示装置に関する。
【０００２】【従来の技術】従来より、コンピュータによってつくられた情報を人間に提示することによって、人間があたかも現実の世界であるかのような認識を与える技術が、Ｖ
Ｒ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）技術として知られている。ＶＲ技術によって、人間が仮想環境内に入り込んで現実と同じような体験をすることができる。ＶＲはまた、Ａｒｔｉｆｉｃｉａｌ Ｒｅａｌｉｔｙと呼称されることがある。
【０００３】ＶＲ技術の一分野に、Ａｕｇｍｅｎｔｅｄ
Ｒｅａｌｉｔｙ（以下「ＡＲ」という）技術と呼称される分野がある。ＡＲでは、実空間とコンピュータのつくった仮想空間とが混ぜて人間に提示される。つまり、
ＡＲでは実空間が仮想空間により増強される。

10

20

30

40

50

特開平１０−３２７４３３
2【０００４】ＶＲ技術では人間が完全に仮想環境に没入するのに対して、ＡＲ技術では、実環境に対して仮想環
境を適切に配置することにより、実環境の質を高めることを目的としている。仮想環境として画像を提示するものが視覚的ＡＲである。以下における「ＡＲ」は「視覚的ＡＲ」を指す。
【０００５】ＡＲ技術の利用例として、患者の脳のＣＴ
スキャン画像を現実の患者の脳に重畳させながら手術を行うシステム、現実の機械装置の各部品に対しＣＧ（コンピュータグラフィックス）によって注釈を付けて組立て又は修理などの作業を支援するシステム、現実の部屋に付加物を置いた場合にどのような感じに見えるかを評価するシステム、都市の再開発で新しい建物を建てた場
合の景観を実物大で実際の場所で評価するシステムなどが考えられる。
【０００６】ＡＲ技術では、実空間と仮想空間とを同時に人間に提示するために、通常、ＳＴＨＭＤ（Ｓｅｅ−Ｔｈｒｏｕｇｈ Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）が用いられる。ＳＴＨＭＤには、光学式によるものとビデオ信号によるものとがある。
【０００７】図８は従来の光学式のＳＴＨＭＤによるＡ
Ｒシステム８０の原理を示す図、図９は従来のビデオ方式のＳＴＨＭＤによるＡＲシステム９０の原理を示す図である。
【０００８】図８に示すＡＲシステム８０では、観察者の眼の前の視線上に配置されたハーフミラー８１を透して実空間画像を見ることができ、投影機８２が投影する
仮想空間画像をハーフミラー８１を介して見ることができる。これによって、仮想空間画像が実空間画像とオー
バーラップして提示される。なお、観察者の頭部には視点を検出するための位置検出器８３が設けられ、位置検出器８３の出力に基づいて、ワークステーション８４から投影機８２に対して仮想空間画像の信号が送出される。
【０００９】図９に示すＡＲシステム９０では、左右の眼と共役な位置に配置された２つのカメラ９３によって、両面ミラー９１に写った実空間画像が撮影される。
撮影された実空間画像と仮想空間画像とがワークステー
ション９５によって合成され、合成された画像が投影機
８２から投影される。その結果、実空間画像と仮想空間
画像との合成画像が両面ミラー９１を介して観察者に提示される。
【００１０】【発明が解決しようとする課題】ＡＲの実現のためには、従来から指摘されている位置合わせの問題の他に、遮蔽関係を正しく表現することが必要である。しかし、上述したいずれのＡＲシステム８０，９０においても、観察者に近い空間又は物体によって遠い空間又は物体が遮蔽されるという遮蔽関係を正しく表現することができ
ない。

(3)
3
【００１１】すなわち、前者のＡＲシステム８０においては、仮想空間の物体の後ろに実空間が透けていると決まっており、観察者には仮想空間及び実空間の両方の画像が単に重なって見える。したがって、このシステムでは遮蔽関係を表現することは全くできない。
【００１２】後者のＡＲシステム９０においては、遠近に関係なく仮想空間の物体が常に実空間の物体を覆い隠すようになっており、遮蔽関係を正しく表現できない。
つまり、仮想空間の物体が実空間の物体よりも近い場合には遮蔽関係は正しいが、その反対に実空間の物体が近い位置にある場合であっても、実空間の物体が遠い位置にあるはずの仮想空間の物体によって遮蔽されてしまい、遮蔽関係が逆になってしまう。
【００１３】視覚心理学の知見によると、遮蔽関係が正しく表現されていない状態では、輻輳・視差情報と遮蔽関係との矛盾のために、立体視が阻害されたり予想外の立体視をしてしまうことが報告されている。つまり、遮蔽関係を正しく表現することはＡＲ技術にとって極めて重要である。
【００１４】本出願人は、遮蔽関係を正しく表現することのできる表示装置を特願平８−２６５９３５号として先に提案した。その表示装置においては、仮想空間画像の画素と同じ位置にある実空間画像の画素に対して、実空間画像の距離と仮想空間画像の距離とを比較し、観察者に近い方の画素を選択して表示するように構成されている。
【００１５】したがって、上に述べた表示装置において
は、実空間画像（２次元画像）の各画素についての距離情報が必要である。距離情報を得るために、互いに基線長だけ離れて設置されたカメラにより撮影して得られる２枚の２次元画像に基づいて、ステレオ視方式により算出することが考えられる。ステレオ視方式では、２枚の２次元画像の対応点を相関演算によって求め、その対応点によって三角測距演算を行う。
【００１６】しかし、ステレオ視方式では、被写体にコントラストがない部分では対応点が検出できないし、類似パターンが存在すると誤った部分を対応点として検出してしまって正確な対応点の検出ができず、これらの場
合に正確な距離情報が得られないという間題があった。
【００１７】そこで、距離情報を光切断法などのアクテ
ィブ方式により測定することが考えられる。アクティブ方式では、既知のパターン光を投影するものであるため
上のような問題は生じない。
【００１８】その反面、アクティブ方式では、投影したパターン光の反射光を受光するセンサを別途設ける必要があるので、そのセンサにより検出される距離情報の視点と２次元画像の視点とを一致させるための方策を講じなければならない。視点がずれていると、測定された距
離情報と２次元画像の画素からの実際の距離との間にずれが生じ、遮蔽関係を正確に表現することができない。

10

20

30

40

50

特開平１０−３２７４３３
4【００１９】本発明は、上述の問題に鑑みてなされたもので、ビデオ方式のＡＲにおいて、２次元画像の各画素について正確な距離情報を得ることができ、遮蔽関係を正しく表現することのできる表示装置を提供することを目的とする。
【００２０】さらに請求項３の発明は、２次元画像及び距離情報の測定の視点及び視野を観察者の視点及び視野と一致させることにより、観察者が違和感なく観察する
ことのできる表示装置を提供することを目的とする。
【００２１】【課題を解決するための手段】請求項１の発明に係る装置は、第１の２次元画像を撮影する撮影手段と、前記第１の２次元画像の各画素に対応する第１の距離情報を測定する距離測定手段と、観察者の視点の位置及び予め記憶された情報に基づいて、第２の２次元画像と前記第２の２次元画像の各点に対応する第２の距離情報とを出力する第２情報出力手段と、前記第１の距離情報と前記第２の距離情報とを画素毎に比較する比較手段と、前記比較手段の出力に基づいて、前記第１の２次元画像と前記
第２の２次元画像のうち距離が近い方の画像データを選択する選択手段と、選択された画像データ群を合成画像として表示する表示手段と、を有し、前記距離測定手段
は、パターン光を投影する投影手段と、前記パターン光の被写体による反射光を受光するセンサと、前記撮影手
段に入射する光路中に設けられ、前記センサに前記反射光を導くハーフミラーと、を有して構成される。
【００２２】請求項２の発明に係る装置において、前記撮影手段及び前記センサは、いずれも前記観察者の眼と共役な位置に配置されている。請求項３の発明に係る装置では、前記表示手段により表示される合成画像を観察したときの前記観察者の画角と前記撮影手段及びセンサの画角とが実質的に同一となるように設定されている。
【００２３】本発明においては、観察者の眼と共役な位置に撮影手段が配置され、撮影手段によって第１の２次元画像としての実空間画像が撮影される。アクティブ方式の距離測定手段によって、実空間画像の各画素に対応する距離が測定される。実空間画像の距離と第２の２次元画像としての仮想空間画像の距離とが画素毎に比較され、近い方の画素が選択される。これによって、実空間
画像と仮想空間画像とが合成され、合成された画像が表示手段によって観察者に提示される。
【００２４】距離測定手段において、投影手段により被写体に向かってパターン光が投影され、パターン光の被写体による反射光がセンサで受光される。パターン光として例えばスリット光が用いられる。パターン光の反射
光と実空間画像の光とはハーフミラーにより分離される。ハーフミラーは、例えば波長によって光を分離するものが用いられる。
【００２５】撮影手段及びセンサは、好ましくはいずれも観察者の眼と共役な位置に配置される。また、好まし(4)5
くは、観察者の画角と撮影手段及びセンサの画角とが実質的に同一となるように設定される。
【００２６】【発明の実施の形態】図１は本発明に係る表示装置１の全体的な構成の概略を示すブロック図、図２は表示装置
１の遮蔽画素切替え部１４の構成を示すブロック図である。
【００２７】図１において、表示装置１は、ミラー１
１、撮像部１２、スリット投影部１８、表示部１３、遮蔽画素切替え部１４、位置検出センサ１５、及び仮想空間画像出力部１６などから構成されている。なお、ミラ
ー１１、撮像部１２、スリット投影部１８、及び表示部
１３は、左右の眼ＥＹにそれぞれ対応して設けられている。
【００２８】ミラー１１は、両面に反射面を有するものであり、観察者ＢＳの左右の眼ＥＹの前方において、その視線方向に対してほぼ４５度の角度を有するように配置されている。
【００２９】撮像部１２は、観察者ＢＳの左右の眼ＥＹと光学的に共役な位置に配置されたカラーセンサ５４及び計測用センサ５３を備えている。カラーセンサ５４は、ミラー１１に写る実空間画像ＦＲを撮影するものである。計測用センサ５３は、スリット投影部１８から投影されるスリット光の被写体による反射光を受光し、奥行き情報（距離情報）ＦＲｄを生成するためのものである。カラーセンサ５４と計測用センサ５３との間には、
可視光と赤外光とを分離するための赤外反射ミラー５２が設けられている。詳細は後述する。
【００３０】表示部１３は、遮蔽画素切替え部１４から出力される合成画像ＦＭを表示する。観察者ＢＳは、ミラー１１を介して表示部１３に表示された合成画像ＦＭを観察する。撮像部１２と表示部１３とは、観察者ＢＳの視線と実質的に同一視線上に配置されている。表示部
１３として、液晶パネル又はＣＲＴなど、従来から公知の種々の表示デバイスが用いられる。各種のレンズ又はミラーも必要に応じて用いられる。
【００３１】遮蔽画素切替え部１４は、実空間画像ＦＲと仮想空間画像ＦＶとを、観察者ＢＳの視点からの距離（奥行き）に応じて画素毎に切り替えて出力する。詳細は後述する。
【００３２】位置検出センサ１５は、観察者ＢＳの位置
及び姿勢を検出するものであり、その出力信号Ｓ１に基づいて観察者ＢＳの視点を検出する。位置検出センサ１
５及び信号Ｓ１に基づく視点の検出方法は従来より公知である。
【００３３】仮想空間画像出力部１６は、位置検出セン
サ１５の出力する信号Ｓ１と予め記憶された仮想空間情報ＤＶとに基づいて、仮想空間画像ＦＶとその各画素に対応する距離情報である仮想空間距離画像ＦＶｄとを出力する。仮想空間情報ＤＶとして、種々の方法により撮

10

20

30

40

50

特開平１０−３２７４３３
6
影した画像データ、ＣＧにより作成した画像データ、又はそれらの画像データを生成するためのプログラムなど、種々のものが用いられる。
【００３４】遮蔽画素切替え部１４及び仮想空間画像出力部１６は、適当なハードウエアにより、ワークステー
ション又はパーソナルコンピュータなどの適当な処理装置にインストールされたプログラムを実行することにより、又はそれらの併用により実現することができる。そのようなプログラムは、ＲＡＭ、ＲＯＭ、ハードディス
ク装置などに格納され、又はＣＤ−ＲＯＭ装置、光磁気ディスク装置、フロッピィディスク装置などによってそれぞれ対応する記録媒体から読み出され、又は通信回線を介してホストからダウンロードされる。プログラム
は、種々のＯＳ、システム環境、又はプラットホームの下で動作するように供給可能である。
【００３５】表示装置１においては、観察者ＢＳの眼Ｅ
Ｙと光学的に共役な位置にある撮像部１２からの実空間
画像ＦＲを基にして、後述する手法により視点距離座標を計算し、視点からの距離に応じて実空間画像ＦＲと仮想空間画像ＦＶとを画素毎に切り替えて合成画像ＦＭを生成し、これを観察者ＢＳに提示する点が１つの特徴である。
【００３６】一般に、ＣＧにおいては、遮蔽関係を正しく表現するためにＺバッファ法が用いられている。実空
間と仮想空間との間においても同様な手法で遮蔽関係を表現するために、金出らによってＺ−ｋｅｙという考え方が提案された。これはカメラ座標系におけるｚ座標値
によって実空間と仮想空間とを切り替えて表示する方法である。遮蔽画素切替え部１４はこのＺ−ｋｅｙの考え方を利用してそれをさらに押し進めたものである。
【００３７】図２において、遮蔽画素切替え部１４は、実空間画像出力部２１、比較部２２、及び選択部２３を備えている。実空間画像出力部２１は、色情報生成部２
１１及び奥行き情報生成部２１２を備える。色情報生成
部２１１は、カラーセンサ５４で撮影された実空間画像
ＦＲに基づいて色情報ＦＲｃを生成する。奥行き情報生
成部２１２は、計測用センサ５３から出力される距離情報に基づいて、実空間画像ＦＲの各画素に対応する奥行
き情報ＦＲｄを生成する。奥行き情報ＦＲｄは実空間距
離画像に相当するので、奥行き情報ＦＲｄを実空間距離
画像ＦＲｄと記載することがある。また、色情報ＦＲｃ
は実空間画像ＦＲと同一であることもある。
【００３８】なお、図２において、仮想空間画像出力部
１６は、仮想空間情報記憶部１６０、色情報生成部１６
１、及び奥行き情報生成部１６２を備える。仮想空間情報記憶部１６０には仮想空間情報ＤＶが記憶されている。色情報生成部１６１は、信号Ｓ１及び仮想空間情報
ＤＶに基づいて色情報ＦＶｃを生成する。奥行き情報生
成部１６２は、信号Ｓ１及び仮想空間情報ＤＶに基づいて、色情報ＦＶｃの各画素に対応する奥行き情報（距離(5)7情報）ＦＶｄを生成する。奥行き情報ＦＶｄは仮想空間
距離画像に相当するので、奥行き情報ＦＶｄを仮想空間
距離画像ＦＶｄと記載することがある。また、色情報Ｆ
Ｖｃは仮想空間画像ＦＶと同一であることもある。
【００３９】比較部２２は、実空間距離画像ＦＲｄと仮想空間距離画像ＦＶｄとを画素毎に比較し、比較結果を示す信号Ｓ２を出力する。選択部２３は、比較部２２からの信号Ｓ２に基づいて、実空間画像ＦＲと仮想空間画
像ＦＶとのうち視点に近い方の画素の画像データを選択する。したがって、選択部２３からは、実空間画像ＦＲと仮想空間画像ＦＶとのうち視点に近い方の画素の画像
データの集合である合成画像ＦＭが出力される。
【００４０】このように、表示装置１においては、遮蔽
画素切替え部１４を用いることにより、実空間と仮想空間との融合の際に実空間の立体構造を推定する必要がな
くなる。すなわち、実空間及び仮想空間の各画像ＦＲ，ＦＶを各画素の色情報ＦＲｃ，ＦＶｃと奥行き情報ＦＲ
ｄ，ＦＶｄで表現することにより、上述のような単純な回路を用いて電気信号レベルで両者を正しく融合できるようになる。ＡＲのようなリアルタイム処理が求められるアプリケーションにとって、こうした特徴は非常に役立つものである。
【００４１】さて、ＡＲにＺ−ｋｅｙを適用するためには、リアルタイムで視点座標系からの距離画像を計測する必要がある。次に、本実施形態における距離画像の計測手法を含めて、表示装置１の細部の具体的な例について説明する。
【００４２】図３は表示装置１に用いられるＨＭＤ（ヘッド・マウント・ディスプレイ）３の外観を示す斜視図である。ＨＭＤ３は、観察者ＢＳに虚像を表示するとともに外界の風景及び距離情報を取り込むための表示・撮像ユニットＵＴＡ、及び距離の計測のためのスリット光
Ｕを投影する右眼用のスリット投影機ＵＴＢＲと左眼用のスリット投影機ＵＴＢＬから構成される。
【００４３】２つのスリット投影機ＵＴＢＲ，Ｌは、距
離計測のための基線長が長くなるように、右眼用のスリ
ット投影機ＵＴＢＲが表示・撮像ユニットＵＴＡの左側に、左眼用のスリット投影機ＵＴＢＬが表示・撮像ユニ
ットＵＴＡの右側に、それぞれ配置されている。なお、
上に述べた位置検出センサ１５はＨＭＤ３上に設けられている。
【００４４】図４は表示・撮像ユニットＵＴＡの光学系の構成を示す図、図５は撮像系及び表示系の画角を説明する図である。図４において、図１に示す要素と同一の機能を有する要素には同一の符号を付してある。
【００４５】図４において、表示・撮像ユニットＵＴＡ
は、左右の眼ＥＹに対してそれぞれ撮像部１２及び表示部１３を備える。撮像部１２は、撮影レンズ（撮影レンズ系）５１、赤外反射ミラー５２、計測用センサ５３、及びカラーセンサ５４を備える。外界の風景の像は、ミ

10

20

30

40

50

特開平１０−３２７４３３
8
ラー１１で反射した後、撮影レンズ５１により集光され、赤外反射ミラー５２を透過してカラーセンサ５４上に結像する。左右のスリット投影機ＵＴＢＬ，Ｒによって作られたスリット像は、ミラー１１で反射した後、撮影レンズ５１により集光され、赤外反射ミラー５２で反射して計測用センサ５３上に結像する。
【００４６】表示部１３は、接眼光学系１３１及び表示デバイス１３２を備える。観察者ＢＳは、表示デバイス
１３２に表示された映像を、接眼光学系１３１及びミラー１１を介して、１ｍから無限遠の距離に拡大された虚像として観察する。
【００４７】ここで、カラーセンサ５４の中心点及び撮影レンズ５１の主点を通る軸を撮像系の光軸と定め、カラーセンサ５４の中心点に対応する表示デバイス１３２
上の点及び接眼光学系１３１の主点を通る軸を表示系の光軸と定める。
【００４８】このとき、観察者ＢＳの視線が撮像系の光軸と一致するように、しかも表示系の光軸が撮像系の光軸とほぼ一直線状になるように構成される。また、観察者ＢＳの瞳の位置は表示系の光軸上に位置するように構成される。そして、計測用センサ５３の中心点及び撮影
レンズ５１の主点を通る光軸についても、撮像系の光軸とほぼ一致するように構成され、これによって、カラー
センサ５４から得られる実空間画像ＦＲと計測用センサ
５３から得られる実空間距離画像ＦＲｄとの対応が取り易くなっている。
【００４９】また、観察者ＢＳが観察する画角（視野角）θｏと、撮像部１２により撮影される画角θｃとが実質的に一致するように構成されている。すなわち、図５に示すように、撮影レンズ５１の主点Ｏからカラーセ
ンサ５４の中心点Ｃまでの距離をＳとし、カラーセンサ
５４の撮像面のサイズをＬとする。また、表示デバイス
１３２の表示面のサイズをｍとし、接眼光学系１３１の焦点距離をｆとし、図に示すように表示デバイス１３２の側でテレセントリックになるように観察者ＢＳの眼Ｅ
Ｙを接眼光学系１３１の焦点位置においたとする。このとき、次の式、
Ｌ／Ｓ＝ｍ／ｆを満たすように配置すると、視野角θｏと画角θｃとはほぼ一致する。撮像部１２及び表示部１３はこのように配置されており、観察者ＢＳは違和感を感じることなく
実世界を観察することが可能となっている。
【００５０】図６は測距装置５の機能構成を示すブロック図である。図中の実線矢印は電気信号の流れを示し、破線矢印は光の流れを示している。図６に示す測距装置
５は左右の眼ＥＹに対してそれぞれ設けられている。
【００５１】測距装置５は、撮像部１２及びスリット投影部１８の光学系と実空間画像出力部２１とを含んで構成される。スリット投影部１８に設けられた投光側の光学系において、半導体レーザなどからなるスリット光発

(6)9
生器４１が射出する赤外領域のレーザビームは、投光レ
ンズ系４２を通過することによってスリット光Ｕとなり、走査手段（ガルバノミラー）４３によって偏向される。スリット光発生器４１のドライバ４４、及び投光レ
ンズ系４２と走査手段４３の図示しない駆動系は、シス
テムコントローラ６１によって制御される。
【００５２】撮像部１２に設けられた光学系において、ズームユニットなどの撮影レンズ５１によって集光された光は赤外反射ミラー（又はビームスプリッタ）５２によって分光される。スリット光発生器４１から射出される赤外領域の光は、計測用センサ５３に入射する。可視帯域の光は、モニタ用のカラーセンサ５４に入射する。
計測用センサ５３及びカラーセンサ５４は、どちらもＣ
ＣＤエリアセンサである。
【００５３】計測用センサ５３による撮像情報は、ドラ
イバ５５からのクロックに同期してメモリに格納され、距離演算回路７３に入力される。カラーセンサ５４による撮像情報は、ドライバ５６からのクロックに同期してカラー処理回路へ出力された後、ディジタル画像生成部
６８で量子化されてカラー画像用メモリ６９に格納される。距離演算回路７３は、計測用センサ５３から出力される撮像情報に基づいて、距離情報ＦＲｄを算出し、距
離データ用メモリ６４に出力する。
【００５４】図７は表示装置１の全体的な回路を示すブロック図である。なお、図７において、右眼用には「Ｒ」を、左眼用には「Ｌ」を、それぞれ符号の末尾に付す。表示装置１は、測距装置５Ｒ，Ｌ、距離データ用
メモリ６４Ｒ，Ｌ、カラー画像用メモリ６９Ｒ，Ｌ、位
置検出センサ１５、仮想物体演算回路３１、仮想距離データ用メモリ３２Ｒ，Ｌ、仮想カラー画像用メモリ３３
Ｒ，Ｌ、画像合成・統合回路３４Ｒ，Ｌ、画像用メモリ
３５Ｒ，Ｌ、表示部１３Ｒ，Ｌなどを有している。
【００５５】測距装置５Ｒ，Ｌは、図６において説明したとおりである。仮想物体演算回路３１は、位置検出セ
ンサ１５から出力される信号Ｓ１、及び計測用センサ５３との間における既知の位置関係に基づいて、仮想物体の距離情報ＦＶｄＲ，Ｌ、及び色情報ＦＶｃＲ，Ｌを生成する。生成された距離情報ＦＶｄＲ，Ｌ及び色情報Ｆ
ＶｃＲ，Ｌは、仮想距離データ用メモリ３２Ｒ，Ｌ及び仮想カラー画像用メモリ３３Ｒ，Ｌに格納される。
【００５６】画像合成・統合回路３４Ｒ，Ｌは、各画素について、測定された距離情報ＦＲｄＲ，Ｌと仮想物体の距離情報ＦＶｄＲ，Ｌとを比較し、近い方の色情報（カラー画像）をその画素の統合色情報（合成画像ＦＭ）とする。統合色情報は画像用メモリ３５Ｒ，Ｌに格納された後、表示部１３Ｒ，Ｌにより表示される。
【００５７】図７に示す仮想物体演算回路３１、仮想距
離データ用メモリ３２Ｒ，Ｌ、及び仮想カラー画像用メ
モリ３３Ｒ，Ｌは、図２に示す仮想空間画像出力部１６に相当する。また、画像合成・統合回路３４Ｒ，Ｌは、

10

20

30

40

50

特開平１０−３２７４３３
10
比較部２２及び選択部２３に相当する。
【００５８】上述したように、本実施形態の表示装置１によると、電気信号レベルでの実空間画像ＦＲと仮想空間画像ＦＶとの融合が可能である。実空間画像ＦＲ（２次元画像）の各画素について正確な距離情報ＦＲｄを得ることができ、遮蔽関係を正しく表現することができる。また、実空間画像ＦＲ及び距離情報ＦＲｄの測定の視点及び視野を観察者の視点及び視野と一致させているので、実空間画像ＦＲと距離情報（実空間距離画像）Ｆ
Ｒｄとがよく一致し、しかも観察者ＢＳが違和感を感じることなく合成画像であるＡＲ画像を観察することができる。
【００５９】また、観察者ＢＳの視点からの距離を求めて実空間距離画像ＦＲｄ及び仮想空間距離画像ＦＶｄを得るので、実空間距離画像ＦＲｄと仮想空間距離画像Ｆ
Ｖｄとの位置合わせが不要である。
【００６０】上述の実施形態において、カラーセンサ５４が本発明の撮影手段に、スリット投影部１８及び計測用センサ５３を含む測距装置５が本発明の距離測定手段に、仮想空間画像出力部１６が本発明の第２情報出力手段に、比較部２２が本発明の比較手段に、選択部２３が本発明の選択手段に、表示部１３が本発明の表示手段に、それぞれ対応する。また、スリット投影部１８が本発明の投影手段に、計測用センサ５３が本発明のセンサに、赤外反射ミラー５２が本発明のハーフミラーに、それぞれ対応する。
【００６１】上述の実施形態において、表示装置１の各部又は全体の構成、形状、配置、処理内容、処理順序、処理タイミングなどは、本発明の主旨に沿って適宜変更することができる。
【００６２】【発明の効果】請求項１乃至請求項３の発明によると、ビデオ方式のＡＲにおいて、２次元画像の各画素について正確な距離情報を得ることができ、遮蔽関係を正しく表現することができる。
【００６３】請求項３の発明によると、２次元画像及び距離情報の測定の視点及び視野を観察者の視点及び視野と一致させることにより、合成画像を観察者が違和感なく観察することができる。
【図面の簡単な説明】【図１】本発明に係る表示装置の全体的な構成の概略を示すブロック図である。
【図２】表示装置の遮蔽画素切替え部の構成を示すブロ
ック図である。
【図３】表示装置に用いられるＨＭＤの外観を示す斜視図である。
【図４】表示・撮像ユニットの光学系の構成を示す図である。
【図５】撮像系及び表示系の画角を説明する図である。
【図６】測距装置の機能構成を示すブロック図である。

(7)特開平１０−３２７４３３1112【図７】表示装置の全体的な回路を示すブロック図であ＊ １６ 仮想空間画像出力部（第２情報出力手段）る。
１８ スリット投影部（投影手段）【図８】従来の光学式のＳＴＨＭＤによるＡＲシステム
２２ 比較部（比較手段）の原理を示す図である。
２３ 選択部（選択手段）【図９】従来のビデオ方式のＳＴＨＭＤによるＡＲシス
５２ 赤外反射ミラー（ハーフミラー）
テムの原理を示す図である。
５３ 計測用センサ（センサ）【符号の説明】
５４ カラーセンサ（撮影手段）
１ 表示装置ＦＲ 実空間画像（第１の２次元画像）
５ 測距装置（距離測定手段）
ＲＲｄ 実空間距離画像（第１の距離情報）
１２ 撮像部（撮影手段、センサ）
10 ＦＶ 仮想空間画像（第２の２次元画像）
１３ 表示部（表示手段）＊
ＦＶｄ 仮想空間距離画像（第２の距離情報）
【図１】

【図２】

【図３】
【図４】

(8)

【図５】

特開平１０−３２７４３３

【図６】

【図７】

(9)

【図８】

特開平１０−３２７４３３【図９】─────────────────────────────────────────────────────
フロントページの続き(72)発明者 今井 重晃
大阪府大阪市中央区安土町二丁目３番13号
大阪国際ビル ミノルタ株式会社内(72)発明者 佐藤 彰
大阪府大阪市中央区安土町二丁目３番13号
大阪国際ビル ミノルタ株式会社内(72)発明者 舘 ▲すすむ▼
茨城県つくば市梅園２−31−14