(57)【特許請求の範囲】
【請求項１】
観察者が観察している外界視野内の実オブジェクトと、所望の画像を左右両眼に独立に表示する表示手段により表示された仮想オブジェクトとを重ねて同時に観察可能とするシースルー型の頭部搭載型画像表示装置において、
観察者により観察されている実オブジェクトの、上記観察者からの距離をリアルタイムで検出する距離検出手段と、
該距離検出手段により検出された実オブジェクト距離：Ｄに応じて、実オブジェクトに対する輻輳角：θ０を算出し、表示手段が表示する仮想オブジェクトに対する輻輳角：θが、θ０±４０分以内となるように上記表示手段をリアルタイムで制御する輻輳制御手段と、を有し、
上記距離検出手段が距離センサを有することを特徴とすることを特徴とする頭部搭載型画像表示装置。
【請求項２】
請求項１記載の頭部搭載型画像表示装置において、
輻輳制御手段が、仮想オブジェクトを、実オブジェクトと略等しい距離で、視野内の所定の位置に表示するように、表示手段を制御することを特徴とする頭部搭載型画像表示装置。
【請求項３】
請求項１記載の頭部搭載型画像表示装置において、
輻輳制御手段が、仮想オブジェクトを、実オブジェクトと略等しい距離で、かつ上記実オブジェクトと重なりあう位置とは異なる位置に、実オブジェクトに近接して表示するように表示手段を制御することを特徴とする頭部搭載型画像表示装置。
【請求項４】
請求項１記載の頭部搭載型画像表示装置において、
輻輳制御手段が、仮想オブジェクトを、実オブジェクトと重なりあう位置に表示するように表示手段を制御することを特徴とする頭部搭載型画像表示装置。
【請求項５】
撮像対象物を撮像する撮像手段と、所望の画像を左右両眼に独立に表示する表示手段とを有し、上記撮像手段により撮像された画像を上記表示手段に実オブジェクトとして表示するとともに、所望の仮想オブジェクトを上記実オブジェクトと共に上記表示手段に表示し、上記両オブジェクトを同時に観察可能とする頭部搭載型画像表示装置において、
撮像手段と撮像対象物との距離を、リアルタイムで検出する撮像距離検出手段と、
該撮像距離検出手段により検出された実オブジェクト距離：Ｄに応じて、実オブジェクトに対する輻輳角：θ０を算出し、表示手段が表示する仮想オブジェクトに対する輻輳角：θが、θ０±４０分以内となるように上記表示手段をリアルタイムで制御する輻輳制御手段と、を有し、
上記撮像距離検出手段が距離センサを有することを特徴とすることを特徴とする頭部搭載型画像表示装置。
【請求項６】
請求項５記載の頭部搭載型画像表示装置において、
輻輳制御手段が、仮想オブジェクトを、実オブジェクトと略等しい距離で、視野内の所定の位置に表示するように、表示手段を制御することを特徴とする頭部搭載型画像表示装置。
【請求項７】
請求項５記載の頭部搭載型画像表示装置において、
輻輳制御手段が、仮想オブジェクトを、実オブジェクトと略等しい距離で、かつ上記実オブジェクトと重なりあう位置とは異なる位置に、実オブジェクトに近接して表示するように表示手段を制御することを特徴とする頭部搭載型画像表示装置。
【請求項８】
請求項５記載の頭部搭載型画像表示装置において、
輻輳制御手段が、仮想オブジェクトを、実オブジェクトと重なりあう位置に表示するように表示手段を制御することを特徴とする頭部搭載型画像表示装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、人の頭部に搭載された表示装置の同一視野内で、実オブジェクトと仮想オブジェクトとを同時に観察できる頭部搭載型画像表示装置に関する。
【０００２】
【従来の技術】
例えば、機器操作の教育訓練として、実物の機器を見ている被訓練者に、該機器に重ねあわせて、機器各部の称呼や操作手順等を内容とする画像を仮想的なイメージとして提示し、機器操作の容易な修得を図ることが行われている。
このような訓練では、上記仮想的なイメージを、人の頭部に搭載された表示装置に表示するようにした画像表示装置が用いられる。このような画像表示装置として、特開平７−３３３５５０号公報のものが知られている。
実物の機器等と仮想的なイメージとを同時に観察できるためには、観察者に対して、仮想的なイメージが「実物の機器等と融像する」ように表示されることが必要である。表示された仮想的なイメージと実物の機器との距離が大きく異なると、一方に目の焦点を合わせると、他方の像が「ぼやけ」ることになるので、両者を同時に明瞭に観察できず、観察者の目に大きな負担がかかる。
【０００３】
上記公報開示の発明では、実物の機器と仮想的なイメージとが一致しないときは、観察者において、自らの姿勢や表示装置の位置を調整しなければならない煩わしさがあった。
【０００４】
【発明が解決しようとする課題】
この発明は、頭部搭載型画像表示装置において、観察者が観察するべき実際の観察対象物と仮想的なイメージとを、自動的に観察者から略同じ距離に表示し、観察対象と仮想的なイメージの同時観察を容易ならしむることを課題とする。
「観察対象物」は、現実の対象物であることもあるし、現実の対象物を撮像したイメージであることもある。
【０００５】
【課題を解決するための手段】
請求項１〜４に記載の頭部搭載型画像表示装置は「観察者が観察している外界視野内の実オブジェクトと、所望の画像を左右両眼に独立に表示する表示手段により表示された仮想オブジェクトとを重ねて同時に観察可能とするシースルー型頭部搭載型画像表示装置」である。
即ち「実オブジェクト」は、観察者がその肉眼により直接に観察できるものであり、「観察者の頭部に搭載された表示手段」を通して（即ち、シースルーで）観察される。
これに対して「仮想オブジェクト」は、実オブジェクトの存在する空間には存在しない。仮想オブジェクトは上記表示手段に、左右両眼に対して独立に表示されるイメージである。仮想オブジェクトの表示形態は所望の画像であって、左右両眼に独立に表示されるから、仮想オブジェクトを「３次元的な立体イメージ」とすることもできる。
【０００６】
請求項１記載の頭部搭載型画像表示装置は、距離検出手段と、輻輳制御手段とを有している。
「距離検出手段」は、観察者により観察されている実オブジェクトの、観察者からの距離をリアルタイムで検出する手段であり、距離センサを有する。
「輻輳制御手段」は、距離検出手段により検出された距離に応じて、所望の仮想オブジェクトに対して表示手段の輻輳をリアルタイムで制御する手段である。即ち、輻輳制御手段は、距離検出手段により検出された実オブジェクト距離：Ｄに応じて、実オブジェクトに対する輻輳角：θ０を算出し、表示手段が表示する仮想オブジェクトに対する輻輳角：θが、θ０±４０分以内となるように表示手段をリアルタイムで制御する。
【０００７】
図１２を参照すると、（ａ），（ｂ）は、表示手段による実オブジェクトと仮想オブジェクトの同時観察を説明するための図である。
符号２は「観察者の両眼」を示し、符号１は１対の「表示デバイス」、符号７は１対の「レンズ」を示す。（ａ）に示すように、表示デバイス１、レンズ７は観察者の両目のそれぞれに応じて１系統ずつ配備されている。実際には、（ｂ）に示すように、観察者の両眼２の前方にハーフミラー３が、観察方向に対して４５度をなすように設けられ、１対の表示デバイス１、１対のレンズ７は、ハーフミラー３の上側に配備されている。従って、観察者は、その両眼２によりハーフミラー３を通して「実際の外界」を観察でき、このとき観察者がハーフミラー３を通して観察できる視野が「外界視野」である。そして、外界視野として観察できる実空間内に観察対象４が存在するなら、観察者は観察対象４を上記外界視野内に「実オブジェクト」として観察することができる。
１対の表示デバイス１の個々は、例えば液晶表示装置（以下、液晶パネルという）であって、所望の画像を観察者の両眼に対して独立に表示できるようになっている。右目用の表示デバイスに右目用の画像ＩR を表示すると、観察者は画像ＩR を右目用レンズを介して観察する。同様に、左目用の表示デバイスに左目用の画像ＩLを表示すると、観察者は画像ＩLを左目用レンズを介して観察する。このとき観察者が見るのは、１対のレンズ７による画像ＩR，ＩLの拡大された「虚像」である。
画像ＩR，ＩLは本来「平面画像」であるが、図示の都合上、図１２の（ａ），（ｂ）においては立体形状として描かれている。観察者の左右の目で観察される画像ＩR，ＩLの虚像は、右目の視線と左目の視線とが交わる位置において、合成されて仮想オブジェクト５として観察されることになる。左右両目用の画像ＩR，ＩLとして「立体画像」用の画像が表示されるとき、観察者が観察する仮想オブジェクト５は３次元的な立体像である。観察者が認識する仮想オブジェクトまでの距離：ｄを以下「仮想オブジェクト距離」と称する。
図１２（ａ）に示す、観察者の右目の視線と左目の視線との交わる角：θを仮想オブジェクト５に対する「輻輳角」と呼ぶ。また、観察者が実オブジェクト４を見る時の左右の目の視線の交角：θ0 を実オブジェクト４に対する輻輳角と呼ぶ。観察者と実オブジェクト４との距離：Ｄを「実オブジェクト距離」と呼ぶ。図１２（ａ）から明らかなように、輻輳角：θとθ0 とが十分に近ければ、仮想オブジェクト距離と実オブジェクト距離とが近く、両オブジェクトは観察者にとって略同距離の位置に観察される。
人の両眼で２つの対象を同時観察するとき、これらを「融像して」観察できるためには「両者に対する輻輳角の差」が「パヌームの融像臨界」以下である必要がある。パヌームの融像臨界は、実験的に４０分であるとされている（例えば、電子情報通信学会技術報告  ＥＩＤ８７−４２，ＰＰ１９−２６）。
従って、図１２（ａ）において、実オブジェクト４と仮想オブジェクト５とを観察者が「融像して同時観察できる」ためには、輻輳角：θ，θ0の差が４０分以下である必要がある。
【０００８】
図１２（ｃ）の横軸は、観察者と実オブジェクト４との間の距離：Ｄ（実オブジェクト距離）をｍｍ単位で示し、縦軸は、観察者と仮想オブジェクト５との間の距離：ｄ（仮想オブジェクト距離）をｍｍ単位で表している。この図における曲線：Ａは、横軸に示された任意の実オブジェクト距離において、仮想オブジェクトに対する輻輳角が「θ０−４０分」となったときの仮想オブジェクト距離を示し、曲線：Ｂは、上記任意の実オブジェクト距離において、仮想オブジェクトに対する輻輳角が「θ０＋４０分」となったときの仮想オブジェクト距離を示している。即ち、実オブジェクトを観察している状態において、仮想オブジェクトを「実オブジェクトに融像して同時観察できる」ためには、仮想オブジェクトは、実オブジェクト距離に応じて、曲線Ａ，Ｂで挾まれた領域内の仮想オブジェクト距離に表示されなければならない。例えば、実オブジェクト距離を１０００ｍｍとした場合、実オブジェクトに融像できる仮想オブジェクトの仮想オブジェクト距離は、図１２（ｃ）において符号Ｃで示す領域、即ち、略７００〜１６００ｍｍの領域にある必要がある。
請求項１〜４記載の頭部搭載型画像表示装置は「シースルー型」であるから、実オブジェクト距離は「観察者と実オブジェクトとの距離」である。一方、仮想オブジェクト距離は、図１２（ａ）から明らかなように、輻輳角：θが変化することにより変化する。輻輳角：θを変化させることは、１対の表示デバイス１に表示される「左右の目に表示される画像ＩＲ，ＩＬの間隔：Ｘ’」を異ならせることにより変化させることができる。
実オブジェクト距離：Ｄにおいて、目２と表示デバイス１との距離を無視するものとし、両眼２の間隔を「Ｄｅ」とすれば、「Ｄｅ／２＝Ｄ・ｔａｎ（θ０／２）」であり、Ｄｅは定数であるから、実オブジェクト距離：Ｄを知ることができれば、方程式「Ｄｅ／Ｄ＝２ｔａｎ（θ０／２）」を「θ０」について解く演算を行うことにより、実オブジェクトに対する輻輳角：θ０を知ることができる。
【０００９】
一方、仮想オブジェクトに対する輻輳角：θは、左右の目用の画像ＩR，ＩLの間隔：Ｘ’により一義的に定まるから、予め、θとＸ’との関係を実験的に定めておけば、実オブジェクトの輻輳角：θ0に応じて「仮想オブジェクトの輻輳角：θがθ0±４０分以内となるようなＸ’」を決定することができる。
請求項１記載の発明において、輻輳制御手段が「距離検出手段により検出された距離に応じて、所望の仮想オブジェクトに対して表示手段の輻輳をリアルタイムで制御する」とは、上の説明に即して言えば「距離検出手段により検出される実オブジェクト距離：Ｄに応じて、仮想オブジェクトの輻輳角：θがθ0 ±４０分以内となるようなＸ’を決定し、この決定に基づき、画像ＩR，ＩLの間隔および表示位置をリアルタイムで制御する」ことを意味する。
【００１０】
請求項１記載の頭部搭載型画像表示装置における「距離検出手段」は、リアルタイムでの距離検出に関連して従来から知られた適宜のもの、例えば「超音波のパルス列を実オブジェクトに向けて発振し、実オブジェクトによる反射パルスの戻り時間を計測する音響方式のもの」でもよいし、カメラの自動焦点装置等に関連して知られた光学式のものでもよい。
【００１１】
距離検出を行うものとして「観察者の両眼の視線を検出する視線検出手段と、該視線検出手段により検出された視線の輻輳点座標を演算する視線輻輳点座標演算手段と、該視線輻輳点座標演算手段により演算された輻輳点座標と観察者との距離を、観察者の注視する実オブジェクトと観察者との距離（実オブジェクト距離）として演算する距離演算手段とを有する」構成のものも考えられるが、請求項１記載のものは距離センサを用いる。
「輻輳点座標」は、両眼の視線の実質的な交叉位置の座標である。
【００１２】
上記の如く、請求項１記載の発明においては、実オブジェクト距離に応じて、表示手段の輻輳制御を行い、仮想オブジェクト距離と実オブジェクト距離との差がパヌームの融像限界内となるように仮想オブジェクトを表示するが、外界視野内における仮想オブジェクトの表示位置も輻輳制御手段により決定される。
上記仮想オブジェクトの外界視野内の表示位置は「実オブジェクトと略等しい距離（パヌームの融像臨界内）で、視野内の所定の位置（例えば、外界視野の左上端等）」にしてもよいし（請求項２）、「実オブジェクトと略等しい距離で、かつ輻輳点座標と異なり、実オブジェクトに近接した位置（例えば、実オブジェクトの直ぐ左側等）」にしてもよく（請求項３）、あるいは「輻輳点座標の位置（実オブジェクトと重なりあう位置）」としてもよい（請求項４）。
【００１３】
以下、参考例として、視線検出手段により視線を検出し、視線検出手段により検出された視線の輻輳点座標を視線輻輳点座標演算手段で演算する場合を説明する。輻輳点座標は、左右の視線が交叉する位置の座標であるが、両眼の視線が厳密に一点で交叉することは稀であり、実際上は、視線検出の測定誤差の影響や、観察者の生理学的な条件により、検出された両視線が交わらない場合が多い。
このような場合には、何をもって「輻輳点座標」とするかが問題となる。
このような場合、視線輻輳点座標演算手段により「観察者の右目の視線ベクトルを延長した空間直線と、観察者の左目の視線ベクトルを延長した空間直線とが最近接する部位における両直線の中点位置」を輻輳点座標とする演算を行えばよく、上記中点位置は「右目の視線ベクトルを延長した空間直線上の点と、左目の視線ベクトルを延長した空間直線上の点とを結ぶ線分のうちで最短となる線分上の中点」として演算することができる。
このような場合においても、仮想オブジェクトの表示位置に関しては上記請求項２〜４ようにすることができる。
上の参考例では、両眼の視線を検出して輻輳点座標を演算するが、人の目というものは、空間内の１点を注視しているときでも、眼球自体は注視点によらずに不随意に微動するものである。
このため、両眼の視線により検出される輻輳点座標は上記眼球の微動の影響で微動し、特に、観察者が自身の近くを注視しているときには眼球の微動が視線輻輳点の演算に大きく影響し、演算された輻輳点座標が注視点とはかかわり無く、大きく変動してしまうことがある。
請求項２の発明のように、仮想オブジェクトの表示位置が外界視野内の定位置に定まっている場合には、視点輻輳点座標演算手段が演算した輻輳点座標（上記「中点」を含む）への眼球微動の影響を最小限に抑えるには「観察者の頭部に固定した座標系の、頭部前方に対応する座標軸における対応座標と観察者との距離を演算」するようにすればよい。
【００１４】
請求項５〜８記載の頭部搭載型画像表示装置は「撮像対象物を撮像する撮像手段と、所望の画像を左右両眼に独立に表示する表示手段とを有し、撮像手段により撮像された画像を表示手段に実オブジェクトとして表示するとともに、所望の仮想オブジェクトを実オブジェクトと共に表示手段に表示し、両オブジェクトを同時に観察可能とする頭部搭載型画像表示装置」である。
この頭部搭載型画像表示装置は、例えば、危険物の取扱を学習する場合等に以下のように使用できる。即ち、危険物は学習者から離れた場所におき、学習者は安全な場所にいて、撮像手段が撮像した画像を表示手段により実オブジェクトとして観察しつつ、実オブジェクトと同時に仮想オブジェクト（危険物の名称や取扱を記したテキスト等）を表示する。学習者（観察者）は、両オブジェクトを観察しつつ、あたかも現実且つ直接に危険物を扱うかのような臨場感をもって取扱の学習を行うことできる。
従って、請求項５〜８記載の発明における「頭部搭載型画像表示装置」は、シースルー型である必要はない。観察者が「表示装置を介して観察できる視野空間」を仮に「外界空間」と呼ぶと、実オブジェクトも仮想オブジェクトも外界空間に表示されたイメージであり、実イメージといえども実際にその位置に存在するとは限らない。
請求項５記載の頭部搭載型画像表示装置は、撮像距離検出手段と、輻輳制御手段とを有する。
「撮像距離検出手段」は、撮像手段と撮像対象物との距離（撮像距離）を検出する手段であリ、距離センサを有する。
「輻輳制御手段」は、撮像距離検出手段により検出された距離に応じて、所望の仮想オブジェクトに対して表示手段の輻輳を制御する手段である。
表示手段に表示される実オブジェクトは、撮像手段が撮像した撮像対象物を表示した画像（立体画像であることができる）であるから、表示手段に表示されたときの実オブジェクト距離は、撮像手段と撮像対象物との距離に等しい。
そこで、仮想オブジェクトの表示を、仮想オブジェクト距離の実オブジェクト距離との差が融像限界以内となるように、輻輳制御手段による輻輳制御を行うことにより、実オブジェクトと仮想オブジェクトを融像して観察できるようにするのである。
【００１５】
請求項５記載の発明では、撮像距離検出手段は距離センサを有し、前述の音響式や光学式の公知の距離検出手段を適宜に用いることもできる。参考例として、撮像手段が「観察者の両目間隔に等しい距離をおいて、水平方向に互いに平行に配備された１対のビデオカメラ」を有するように、また、撮像距離検出手段が「観察者の両眼の視線を検出する視線検出手段」と、「視線検出手段により検出された視線の輻輳点座標を演算する視線輻輳点座標演算手段」と、「視線輻輳点座標演算手段により演算された輻輳点座標と観察者との距離を、観察者の注視する実オブジェクトと観察者との知覚距離として演算する知覚距離演算手段」とを有するようにして撮像距離の検出を行う場合を挙げる。
【００１６】
請求項５記載の頭部搭載型画像表示装置において、輻輳制御手段が「仮想オブジェクトを、実オブジェクトと略等しい距離で、視野内の所定の位置に表示する」ように表示手段の輻輳を制御することができる（請求項６）。また、輻輳制御手段が「仮想オブジェクトを、実オブジェクトと略等しい距離で、かつ輻輳点座標（実オブジェクトと重なりあう位置）と異なる位置に、実オブジェクトに近接して表示する」ように表示手段の輻輳を制御することもでき（請求項７）、さらには、輻輳制御手段が「仮想オブジェクトを、実オブジェクトと重なりあう位置に表示する」ように表示手段の輻輳を制御することもできる（請求項８）。
また、上記参考例の視線輻輳点座標演算手段は「観察者の右目の視線ベクトルを延長した空間直線と、観察者の左目の視線ベクトルを延長した空間直線とが最近接する部位における両直線の中点位置を輻輳点座標とする演算」を行うことにより輻輳点座標を決定するようにできる。
また、参考例においては、距離検出手段の距離演算手段が「視点輻輳点座標演算手段が演算した輻輳点座標の、観察者の頭部に固定した座標系の、頭部前方に対応する座標軸における対応座標と観察者との距離を演算する」ようにできる。
【００１７】
請求項１〜８の何れに記載の発明においても、仮想オブジェクトは「所望のもの」即ち、仮想オブジェクトとして表示したい任意の画像でありうる。仮想オブジェクトの画像の種類としては、実オブジェクトの説明書のようなテキストオブジェクトや、実オブジェクトの操作を指示するポインタや補助線のような図形オブジェクトが可能である。
【００１８】
上の説明において「視点輻輳点座標演算手段が演算した輻輳点座標の、観察者の頭部に固定した座標系の、頭部前方に対応する座標軸における対応座標」とは、上記座標系原点から輻輳点座標に向かうベクトルを、頭部前方に対応する座標軸に射影したときの上記ベクトル先端部の射影点の座標、もしくは、上記ベクトルを上記原点を中心として回転させて上記座標軸に合致させたときのベクトル先端の座標を意味する。
【００１９】
【発明の実施の形態】
図１は、請求項１記載の発明の実施の１形態を説明するための図である。繁雑を避けるため、混同の虞れがないと思われるものに就いては、図１以下の図面において同一の符号を用いるものとする。図１において、（ａ）は、観察者８が、東部搭載型画像表示装置におけるヘッドマウント１０を介して実オブジェクト４と仮想スオブジェクト５とを観察する状態を示している。（ｂ）の上の図は、上記観察状態を図１２（ｂ）に倣って描いたものである。
図１においても、図１２と同様、符号２は「観察者８の（間隔：Ｄｅを隔して位置する）両眼」を示し、符号１は１対の「表示デバイス」を、符号７は１対の「レンズ」を示し、表示デバイス１、レンズ７は観察者の両目のそれぞれに応じて１系統ずつ配備されている。（ａ）に示すように、観察者８の両眼２の前方にはハーフミラー３が観察方向に対して４５度をなすように設けられ、１対の表示デバイス１、１対のレンズ７は、ハーフミラー３の上側に配備されている。従って、観察者８はハーフミラー３を通して「外界視野」内の実オブジェクト４を、両眼で観察でき、同時に、表示デバイス１の個々（液晶パネルという）に表示される所望の画像３０を、仮想オブジェクト５として観察することができる。
符号２０で示す距離センサは、（ｃ）に示すように、観察者８の頭部にヘッドマウント１０に一体化されて装着され、超音波のパルスを実オブジェクト４に対して発信し、実オブジェクト４による反射パルスを受信する。ヘッドマウント１０と距離センサ２０との幾何学的な位置関係の調整により、パルスの発・受信は「観察者８の外界視野の中心部」に対して行われるようになっている。符号９はヘッドマウント１０のケーシングを示す。
距離センサ２０は、パルス発信から反射パルス受信までの所要時間を「遅延時間情報」として、リアルタイムで距離演算装置１１に送る。距離演算装置１１は入力された遅延時間情報に基づき、観察者８と実オブジェクト４との距離、即ち、実オブジェクト距離：Ｄをリアルタイムで演算する。
即ち、距離センサ２０と距離演算装置１１とは「距離検出手段」を構成する。
【００２０】
距離演算装置１１は、演算した実オブジェクト距離：Ｄをリアルタイムで輻輳演算装置（左）１２および同（右）１３に向けて出力する。これら輻輳演算装置１２，１３は、入力された実オブジェクト距離：Ｄに基づき、実オブジェクトの輻輳角：θ0を求め、表示すべき仮想オブジェクト５の輻輳角：θが、θ0±４０分となる輻輳角を演算し、その結果を仮想オブジェクト画像生成装置（左）１４と同（右）１５に送る。
これら仮想オブジェクト画像生成装置１４，１５とは、表示すべき仮想オブジェクト５に応じた左右の目用画像３０を、表示デバイス１の各液晶パネルに、上記輻輳角を実現するように表示する。このとき、図１（ｂ）の上の図に示す輻輳角：θは実質的に輻輳角：θ0に等しく、仮想オブジェクト距離：ｄは、実質的に実オブジェクト距離：Ｄに等しい。従って、観察者８は、実オブジェクト４と仮想オブジェクト５とを「視野内で融像して同時に観察する」ことができる。
従って、輻輳演算装置（左）１２および輻輳演算装置（右）１３は「輻輳制御手段」を構成し、仮想オブジェクト画像生成装置（左）１４と仮想オブジェクト画像生成装置（右）１５は、ヘッドマウント１０とともに「表示手段」を構成する。
即ち、図１に示す実施の形態は、観察者８が観察している外界視野内の実オブジェクト４と、所望の画像３０を左右両眼に独立に表示する表示手段１０，１４，１５により表示された仮想オブジェクト５とを重ねて同時に観察可能とするシースルー型の頭部搭載型画像表示装置であって、観察者８により観察されている実オブジェクト４の、観察者８からの距離：Ｄをリアルタイムで検出する距離検出手段１１，２０と、該距離検出手段により検出された距離：Ｄに応じて、所望の仮想オブジェクト５に対して表示手段の輻輳をリアルタイムで制御する輻輳制御手段１２，１３とを有する（請求項１）。
【００２１】
上の説明では、仮想オブジェクト５を表示すべき仮想オブジェクト距離に関して、これが実オブジェクト距離と実質的に同じになるべきことを説明したが、仮想オブジェクト５の表示にはまだ自由度が残っている。即ち、仮想オブジェクト５を表示すべき位置である。仮想オブジェクトの表示位置に関しては「実オブジェクトの観察が妨げられず、仮想オブジェクトが良好に観察できる」という条件が満足される限りにおいて基本的に任意であり、表示位置は、表示を制御するプログラム（輻輳制御手段を制御するプログラム）により適宜に設定することができる。
以下には、図１の実施の形態における仮想オブジェクト５の「表示位置」の３例を、図２および図３を参照して説明する。説明の具体性のため、図３に示すように、実オブジェクト４は「花」で、仮想オブジェクト５は「これは・・の花です。」というような、実オブジェクト４に対する説明等の「付加情報」を表示した「付加情報ウインドウ」であるとする。
図２を参照すると（この図では、図の繁雑をさけるため、レンズ７の図示を省略している。）、仮想オブジェクト５は、輻輳制御手段１２，１３により、実オブジェクト４の輻輳角：θ0 に実質的に等しい輻輳角：θで「実オブジェクト４の左脇の位置」に表示されている。θ＝θ0 であれば、両眼２と「実オブジェクト４の中心と仮想オブジェクト５の中心と」は、同一円周状にあるが、両眼２の間隔（前記「Ｄｅ」）は実オブジェクト距離：Ｄに比して十分に小さいから、輻輳角：θ( ≒θ0)で表示される仮想オブジェクトは、「外界視野」のどの部分に表示されても、その仮想オブジェクト距離：ｄは実オブジェクト距離：Ｄと実質的に等しく、実オブジェクトと融像可能である。
【００２２】
仮想オブジェクト５の輻輳角は、表示パネルの個々に表示される左右の目用の画像３０の間隔で決まり、仮想オブジェクト５の表示位置は、各画像３０の表示デバイス１上の表示位置に応じて定まるから「一方の目用の画像表示位置（表示手段における表示を決定するプログラムで定める）と、両目用の画像の表示間隔（輻輳制御手段が決定する）」とを指定することにより、仮想オブジェクトを所望の表示位置に、実オブジェクト距離に略等しい距離で表示可能である。
図３（ａ）は、仮想オブジェクト５を「視野３０Ａ内の左上端」に表示する場合を示し、同（ｂ）は仮想オブジェクト５を「視野３０Ａの中央部」に表示する場合である。
図１に示した実施の形態では、ヘッドマウント１０と距離センサ２０との幾何学的な位置関係の調整により、パルスの発・受信が、観察者８の外界視野の中心部に対して行われるようになっている。このことは、観察者８が「観察対象である実オブジェクト４が外界視野の中央部に位置するように観察を行う」ことを意味する。従って、実オブジェクト４は常に外界視野中央部即ち、視野内の定位置にあるから、上に説明した図２の場合（仮想オブジェクト５が実オブジェクト４の左脇に表示される）も、図３（ａ）の場合（仮想オブジェクト５が、視野３０Ａの左上端に表示される）も、同（ｂ）の場合（仮想オブジェクト５が視野３０Ａの中央部に実オブジェクト４と重ねて表示される）も、輻輳制御手段により輻輳制御された仮想オブジェクトは「実オブジェクトと略等しい距離で、視野内の
所定の位置」に表示される（請求項２）。
別の見方をすれば、図２の場合の表示は「仮想オブジェクト５を、実オブジェクト４と略等しい距離で、かつ輻輳点座標（実オブジェクト４の位置）と異なる位置（左脇）に、実オブジェクト４に近接して表示する」表示方式でもあり（請求項３）、図３（ｂ）の場合の表示は「仮想オブジェクト５を、輻輳点座標の位置に表示する」表示方式でもある（請求項４）。
もちろん、図２の場合のみならず、図３（ａ），（ｂ）の場合も、仮想オブジェクト５の輻輳角は、実質的に実オブジェクト４の輻輳角：θ０に等しい。
【００２３】
図４には、参考形態を示す。
図１の実施の形態と参考形態の異なる点は、第１に、図４（ａ）に示すように、ヘッドマウント１０’のケーシング９’には、表示デバイス１、１対のレンズ７、ハーフミラー３の他に、ハーフミラー３’と光源４１と撮影カメラ４０とが装備されていることであり、第２に、撮影カメラ４０の出力が、視線演算装置（右）４３および同（左）４２に入力され、これら視線演算装置４２，４３の出力が、視線輻輳点演算装置４４と実オブジェクト距離演算装置４５とを介して仮想オブジェクト輻輳制御装置４６に入力するようになっていることである。また、仮想オブジェクト用の画像３０は、ビデオ信号発生装置（左）１４’および同（右）１５’で生成される。
光源４１および撮像カメラ４０は共に、観察者８の両眼用に１個ずつ独立して設けられている。ハーフミラー３’はハーフミラー３と平行に設けられる。従って、観察者８は２枚のハーフミラー３，３’を介して外界視野内に実オブジェクト４を観察できる。
光源４１は、観察者８の観察を妨げないように、例えば、赤外領域で発光するＬＥＤが用いられる。光源４１の左（右）目用のものからの赤外光はハーフミラー３’，３を介して観察者８の左（右）目を照明する。左（右）目による反射光はハーフミラー３を透過し、ハーフミラー３’により反射されて左（右）目用の撮影カメラ４０に入射し、各撮影カメラ４０は左（右）目を撮影する。撮影カメラ４０は、例えば「ＣＣＤカメラ」である。  撮影カメラ４０からの左（右）目像のデータは、視線演算装置４２，４３に入力する。視線演算装置（左）４２は左目像のデータに基づき、ヘッドマウント１０’に固定的な座標系で左目の視線を「左目直線データ」として演算する。同様に、視線演算装置（右）４３は右目像のデータに基づき、上記座標系で右目の視線を「右目直線データ」として演算する。
【００２４】
このようにして得られた左・右目直線データは、視線輻輳点演算装置４４に送られ、同装置４４は、入力された１対の直線データの交点として「輻輳点座標」を演算で求める。左右の視線の直線が現実の交点を持たない場合（左・右目直線データで表される直線の連立方程式が解を持たない場合）は後述する方法で、これら２直線が再近接する部分での両直線の中点を輻輳点座標として決定する。
このようにして輻輳点座標が決定されたら、実オブジェクト距離演算装置４５が、輻輳点座標に基づき実オブジェクト距離：Ｄを演算する。実オブジェクト距離：Ｄが決定されると、仮想オブジェクト輻輳制御装置４６は、仮想オブジェクト５の輻輳角を「仮想オブジェクト５が実オブジェクト４と実質的に同じ距離の所に表示される」ように定め、その結果を、ビデオ信号発生装置（左）１４’と同（右）１５’に印加する。これらビデオ信号発生装置１４’，１５’はそれぞれ、表示デバイス１に、仮想オブジェクト５に対応する画像３０の右目用および左目用画像を独立に、且つ、上記決定された輻輳角に応じて表示する。これにより、仮想オブジェクト５が実オブジェクト距離：Ｄと実質的に等しい距離の位置に表示され、観察者は、実オブジェクト４と仮想オブジェクト５を融像して同時に観察することができる。
なお、上記輻輳点座標の決定から輻輳角の演算を経て仮想オブジェクトの表示に至る一連の手順は「リアルタイム」で行われるので、仮想オブジェクト５は常に実オブジェクト４と同じ距離に表示されることになる。仮想オブジェクト５の表示位置は、輻輳制御手段を制御するソフトウエアにより決定される。
【００２５】
上の説明から明らかなように、撮影カメラ４０、光源４１、ハーフミラー３’、視線演算装置（左）４２、視線演算装置（右）４３、視線輻輳点演算装置４４および実オブジェクト距離演算装置４５は「距離検出手段」を構成し、仮想オブジェクト輻輳制御装置４６は「輻輳制御手段」を構成する。
また、撮影カメラ４０、光源４１、ハーフミラー３’、視線演算装置（左）４２、視線演算装置（右）４３は「視線検出手段」を構成し、視線輻輳点演算装置４４は「視線輻輳点座標演算手段」を構成し、実オブジェクト距離演算装置４５は「距離演算手段」を構成する。
即ち、図４の参考形態は、観察者８が観察している外界視野内の実オブジェクト４と、所望の画像３０を左右両眼に独立に表示する表示手段１０’，１４’，１５’により表示された仮想オブジェクト５とを重ねて同時に観察可能とするシースルー型の頭部搭載型画像表示装置であって、観察者８により観察されている実オブジェクト４の、観察者からの距離：Ｄをリアルタイムで検出する距離検出手段と、距離検出手段により検出された距離：Ｄに応じて、所望の仮想オブジェクト５に対して表示手段１０’の輻輳をリアルタイムで制御する輻輳制御手段４６とを有し、「距離検出手段」が、観察者８の両眼の視線を検出する視線検出手段４０，４１，３’，４２，４３と、該視線検出手段により検出された視線の輻輳点座標を演算する視線輻輳点座標演算手段４４と、該視線輻輳点座標演算手段４４により演算された輻輳点座標と観察者８との距離を、観察者の注視する実オブジェクト４と観察者との距離として演算する距離演算手段４５とを有する。
【００２６】
前述した図１の実施の形態では、距離検出手段が「観察者の観察視野中央部に位置する実体を実オブジェクトとして距離検出を行う」ものであるので、視野内で実オブジェクトの占めるべき位置は「視野中央部」に限定され、観察者は常に実オブジェクトを視野中央部に位置させねばならなかった。
図４の参考形態では、実オブジェクトの位置を「観察者の両眼の視線の輻輳点座標」として決定できるので、実オブジェクトを視野中央部に位置させなくても、外界に存在する観察対象を「注視」するのみで、その観察対象を実オブジェクトとして特定できる。
例えば、図５に示すように、表示手段の外界視野（四角い外枠）３０Ａ内に、２つの観察対象４，４’（ともに「花」であるとする）が存在する場合、図１の実施の形態においては、これら観察対象４，４’のうち、観察したい方を視野３０Ａの中央部に位置させるようにしたとき、その観察対象が実オブジェクトとなるが、図４の参考形態においては、図５に示すような場合、観察対象４，４’のうちの任意の一方を注視すれば、注視された側の観察対象が実オブジェクトとなる。図５に示す観察対象４，４’が、図６に示すように、観察者（の両眼２）から異なる距離に存在する場合、観察者が「観察対象４を実オブジェクトとして注視する場合」の輻輳角をθ０とすると、このとき仮想オブジェクト５（図５に示すように「これは・・の花です。」というような「付加情報ウインドウ」であるとする。）を表示するときの輻輳角：θは実質的にθ０に等しい。
同様に、観察対象４’を実オブジェクトとして注視する場合の輻輳角をθ０’とすると、このとき仮想オブジェクト５’を表示するときの輻輳角：θ’は実質的にθ０’に等しい。
図５は、付加情報ウインドウである仮想オブジェクトの表示位置を視野内の所定の位置である「視野の左上端」に設定（輻輳制御手段を制御するソフトウエアで行う）したときの表示の様子を示している。図５（ａ）では、観察者は実オブジェクト４の注視部３３を注視しており、このとき実オブジェクト４に関する仮想オブジェクト５は、視野３０Ａ内の左上端に、実オブジェクト４の実オブジェクト距離と実質的に等しい仮想オブジェクト距離で表示される。（ｂ）では、観察者は実オブジェクト４’の注視部３４を注視しており、このとき実オブジェクト４’に関する仮想オブジェクト５’は、視野３０Ａ内の左上端に、実オブジェクト４’の実オブジェクト距離と実質的に等しい仮想オブジェクト距離で表示される。なお、図３および図５において、符号３１で示す位置は、視野３０Ａ内における［仮想オブジェクト表示の基準点］であり、図５の実施の形態においては「視野内の定点」である。
【００２７】
仮想オブジェクトの表示方法としては他に、図７の（ａ），（ｂ）に示すように、対応する実オブジェクトの「すぐ左脇の位置」に表示する方法がある。図７（ａ）では、観察者は実オブジェクト４の注視部３３を注視しており、対応する仮想オブジェクト５は「実オブジェクト４の左脇の部分」に表示される。同様に、（ｂ）では、観察者は実オブジェクト４’の注視部３４を注視しており、対応する仮想オブジェクト５は「実オブジェクト４’の左脇の部分」に表示される。仮想オブジェクト表示の規準位置３１は、この場合、実オブジェクトの注視位置に相対的に定められる。即ち、図７に示す仮想オブジェクト表示方式は「仮想オブジェクトを、実オブジェクトと略等しい距離で、かつ輻輳点座標と異なる位置に、実オブジェクトに近接して表示する」表示方式である。図７における注視部３３，３４の中心部はまた「観察者の実オブジェクト観察における輻輳点座標」であるから、仮想オブジェクトの表示を、輻輳点座標の位置に表示するようにしてもよい。
【００２８】
上記の説明において、仮想オブジェクトの表示位置はソフトウエアにより決定されるが、このソフトウエアは勿論「輻輳制御手段」の制御のためのソフトウエアである。
【００２９】
ここで、観察者の両眼の視線の「輻輳点座標」を求める演算を説明する。
ベクトル演算であるので、ベクトルの表示を以下のように定める。即ち、例えば［Ａ］のように、アルファベットを鉤括弧でかこったものをベクトルとする。上記［Ａ］はベクトルＡである。なお、図面上では通常のベクトル表記にしたがう。
図８において、左目ＥＬからの視線ベクトルを［ＶＬ］、右目ＥＲからの視線ベクトルを［ＶＲ］とする。これらは「単位ベクトル」である。図８において符号ｍ，ｌはそれぞれ、視線ベクトル［ＶＬ］、［ＶＲ］を含む直線である。適当な規準位置（例えば、両目ＥＬ、ＥＲの中点位置）を規準として、左目ＥＬおよび右目ＥＲの位置ベクトルを［ＥＬ］，［ＥＲ］とし、直線：ｌ、ｍ上の位置ベクトルをそれぞれ［ｐ］，［ｑ］とすると、パラメータ：ｔ，ｓを用いて、
［ｐ］＝［ＥＬ］＋ｔ［ＶＬ］                  （１）
［ｑ］＝［ＥＲ］＋ｓ［ＶＲ］                  （２）
と表すことができる。
【００３０】
ベクトル［ｐ］と［ｑ］の先端を結ぶ直線ベクトル：［ｑ］−［ｐ］が、直線：ｌ，ｍと直交する条件は、直線ベクトル：［ｑ］−［ｐ］とベクトル［ＶＬ］、［ＶＲ］とのスカラー積が０になること、即ち、
（［ｑ］−［ｐ］）・［ＶＬ］＝０               （３）
（［ｑ］−［ｐ］）・［ＶＲ］＝０               （４）
である。従って、式（１），（２）を用いると、
ｔ|[ＶＬ]|2−ｓ[ＶＲ]・[ＶＬ]＝([ＥＲ]−[ＥＬ])・[ＶＬ]     （５）
ｔ[ＶＬ]・[ＶＲ]−ｓ|[ＶＲ]|2＝([ＥＲ]−[ＥＬ])・[ＶＲ]     （６）
式（５），（６）をｓ，ｔに対する連立方程式として解くとき、解を「ｓ0」および「ｔ0」とする。
【００３１】
Ｔ１１＝ｔ０，Ｔ２１＝ｓ０を要素とする２行１列の「列マトリックス」を（Ｔ）、Ｓ１１＝([ＥＲ]−[ＥＬ])・[ＶＬ]，Ｓ２１＝([ＥＲ]−[ＥＬ])・[ＶＲ]を要素とする２行１列の「列マトリックス」を（Ｓ）、Ｕ１１＝|[ＶＬ]|２，Ｕ１２＝[ＶＲ]・[ＶＬ]，Ｕ２１＝[ＶＬ]・[ＶＲ]，Ｕ２２＝|[ＶＲ]|２を要素とする２行２列のマトリックスを（Ｕ）とし、その逆マトリックスを（Ｕ）−１で表すと、これらは、マトリックス方程式：
（Ｔ）＝（Ｕ）−１（Ｓ）                          （７）
を満足するので、式（７）の右辺の演算を行うことにより、ｔ０，ｓ０を得ることができる。図８に示すように、直線：ｌ，ｍ上における、方程式（５），（６）を満足する点：ＣＬ、ＣＲの位置ベクトルをそれぞれ、[ＣＬ]，[ＣＲ]とすると、
[ＣＬ]＝［ＥＬ］＋ｔ０「ＶＬ」                    （８）
[ＣＲ]＝［ＥＲ］＋ｓ０［ＶＲ］                    （９）
であるから、位置：ＣＬ、ＣＲの中点：Ｃの位置ベクトル[Ｃ]は、
[Ｃ]＝（[ＣＬ]＋[ＣＲ]）／２
＝（［ＥＬ］＋ｔ０「ＶＬ」＋［ＥＲ］＋ｓ０［ＶＲ］）／２  （１０）
である。このようにして、輻輳点座標として中点：Ｃの座標を演算することができ、これに基づき、観察者の位置（前記計算における規準位置）と輻輳点座標との距離を知ることができる。
図４の参考形態において、上記演算は、視線輻輳点演算装置４４が行い、演算された輻輳点座標に基づく「実オブジェクト距離の演算」は実オブジェクト距離演算装置４５が行う。
【００３２】
前述したように、観察者が外界視野内の定点を注視しているときでも、眼球は注視点によらず不随意に微動することがある。このような眼球の微動が存在する場合に、上記の如き方法で両眼の視線に基づく輻輳点座標として注視点（実オブジェクト位置）を算出すると、算出された注視点位置が変動することになる。特に、観察されている実オブジェクトが観察者から比較的に近い位置にある場合には、上記眼球微動の影響による輻輳点座標の変動は大きい。
【００３３】
このような場合、仮想オブジェクトの表示方式が、図７に示した「実オブジェクトの近傍の位置に仮想オブジェクトを表示する方式」だと、輻輳点座標の変動に伴い、仮想オブジェクトの表示位置も変動してしまう。このような場合、仮想オブジェクトの表示方式としては、図６に即して説明したように、実オブジェクトの位置にかかわり無く、常に視野内の定位置に仮想オブジェクトを表示する表示方式がよい。
この場合、変動する輻輳点座標に応じて、実オブジェクト距離をどのように定めるかが問題となるが、視点輻輳点座標演算手段（図４の実施の形態において、視線輻輳点演算装置４４）が演算した輻輳点座標の「観察者の頭部に固定した座標系の、頭部前方に対応する座標軸における対応座標」と観察者との距離を演算して実オブジェクト距離とするのが妥当である。
勿論、距離演算は、距離演算手段（図４の実施の形態では、実オブジェクト距離演算装置４５）が行う。
図９を参照すると、図９（ａ）、（ｂ）は、上記「輻輳点座標の、観察者の頭部に固定した座標系の、頭部前方に対応する座標軸における対応座標」を定める２方法を示している。
【００３４】
図９（ａ）を参照すると、ＸＹＺ座標は「観察者の頭部に固定した座標系」を表している。Ｘ軸は両眼を結ぶ方向であり、左目ＥＬと右目ＥＲとは原点：０に関してＸ軸の対称位置にある。Ｙ軸は、観察者にとっての上方を正とする方向であり、Ｚ軸が「頭部前方に対応する座標軸」であり、観察者にとっての前方である。
図９（ａ）で、Ｃ点は「視線に基づいて決定された輻輳点座標」である。例えば、実オブジェクトがＺ軸方向にあり、観察者が実オブジェクトを注視していても、眼球微動により、輻輳点座標は図のようにＺ軸からずれてしまうことが考えられる。この場合、仮想オブジェクト表示の規準となる実オブジェクト距離は以下のように定める。即ち、輻輳点座標：Ｃの「Ｚ軸に対応する対応座標」として「輻輳点座標：Ｃの原点：０を基部とする位置ベクトル」のＺ軸への正射影をとり、上記位置ベクトル先端部の射影位置：Ｃｉを前記対応座標とし、原点：０と座標点：Ｃｉの距離（即ち、距離：Ｃｉ）を持って実オブジェクト距離：Ｄとするのである。そして、仮想オブジェクトは、仮想オブジェクト距離：Ｄとして、視野内の定位置（例えば、図５に示すような視野内左上端部）に表示する。
【００３５】
図９（ｂ）においてもＸＹＺ座標は「観察者の頭部に固定した座標系」で、Ｘ軸は「両眼を結ぶ方向」、Ｙ軸は「観察者にとっての上方を正とする方向」であり、Ｚ軸が「頭部前方に対応する座標軸」である。
図９（ｂ）で、Ｃ点は「視線に基づいて決定された輻輳点座標」である。図９（ｂ）の場合においては、実オブジェクト距離を以下のように定める。即ち、輻輳点座標：Ｃの「Ｚ軸に対応する対応座標」として、輻輳点座標：Ｃの原点：０を基部とする位置ベクトルを、原点：０の回りに回転してＺ軸に重ね合わせ、上記位置ベクトル先端部が重なり合う位置：Ｃｉを持って前記対応座標とし、原点：０と座標点：Ｃｉの距離（即ち、距離：Ｃｉ）を持って実オブジェクト距離：Ｄとするのである。仮想オブジェクトは、仮想オブジェクト距離：Ｄとして、視野内の定位置（例えば、図５に示すような視野内左上端部）に表示する。
【００３６】
図１０は、請求項５記載の頭部搭載型画像表示装置の実施の１形態を示している。図の上の（ａ）で示す部分は、観察者８が、頭部搭載型画像表示装置のヘッドマウント１０Ａに表示された「仮想オブジェクト５と実オブジェクト４Ａ」を観察している状態を示している。
【００３７】
ヘッドマウント１０Ａは、図１０（ｂ）に示すように、１対の表示デバイス１と１対のレンズ７を有し、表示デバイス１、レンズ７は観察者の両目のそれぞれに応じて１系統ずつ配備されている。（ａ）に示すように、観察者８の両眼２の前方に１対のレンズ７を介して１対の表示デバイス１が配備され、表示デバイスの個々（液晶パネル）に表示される所望の画像を観察することができる。
ヘッドマウント１０Ａに装備された表示手段は「シースルー型」ではない。
図１０（ｃ）は「撮像手段」の一部である２個のビデオカメラ２１，２２と、「撮像距離検出手段」の一部をなす距離センサ２０とを示している。距離センサ２０は、図１の実施の形態に即して説明したものと同様のもので、超音波のパルスを撮像対象物４に対して発信し、反射パルスを受信する。撮像カメラ２１，２２と距離センサ２０との幾何学的な位置関係の調整により、パルスの発・受信は「ビデオカメラ２１，２２の共通の撮像領域の中心部」に対して行われるようになっている。図１０下の（ｄ）に示すように、距離センサ２０は、パルス発信から反射パルス受信までの所要時間を「遅延時間情報」としてリアルタイムで距離演算装置１１に送る。距離演算装置１１は入力された遅延時間情報に基づき、ビデオカメラ２１，２２と撮像対象物４との距離、即ち撮像距離：Ｄをリアルタイムで演算する。即ち、距離センサ２０と距離演算装置１１とは「撮像距離検出手段」を構成する。
一方、ビデオカメラ２１，２２の出力はカメラ画像（左）２１’およびカメラ画像（右）２２’となり、それぞれビデオ信号合成装置（左）１７と同（右）１８を介して、それぞれ表示デバイス１の左右の液晶パネルに表示される。このように表示された左右の画像は「撮像対象物４の像」として提示され、観察者８は、像４Ａを「実オブジェクト」として観察する。撮像対象物４はビデオカメラ２１，２２から撮像距離：Ｄの位置にあり、表示デバイスは、これを再現するから、観察者８にとって実オブジェクト４Ａの実オブジェクト距離は撮像距離：Ｄに等しい距離として知覚されることになる。即ち、観察者８にとって実オブジェクト距離は「Ｄ」である。
【００３８】
一方、距離演算手段１１は、演算した撮像距離：Ｄをリアルタイムで輻輳演算装置１２’に向けて出力する。輻輳演算装置１２’は、入力された撮像距離：Ｄに基づき実オブジェクトの輻輳角：θ0を求め、表示すべき仮想オブジェクト５の輻輳角が、θ0 ±４０分となる輻輳角を演算し、その結果を仮想オブジェクト画像生成装置（左）１４と同（右）１５に送る。仮想オブジェクト画像生成装置（左）１７と同（右）１８とは、表示すべき仮想オブジェクト５をなす画像３０の左目用および右目用画像を表示デバイス１の各液晶パネルに、上記輻輳角を実現するように表示する。このとき、図１０（ｂ）に示す輻輳角：θは実質的に輻輳角：θ0に等しく、仮想オブジェクト距離：ｄは、実質的に実オブジェクト距離：Ｄに等しい。従って、観察者８は、実オブジェクト４Ａと仮想オブジェクト５とを「視野内で融像して同時に観察する」ことができる。
【００３９】
従って、輻輳演算装置１２’は「輻輳制御手段」を構成し、仮想オブジェクト画像生成装置（左）１４と同（右）１５、ビデオ信号合成装置（左）１７および同（右）１８とヘッドマウント１０Ａとは「表示手段」を構成する。
即ち、図１０に示す実施の形態は「撮像対象物４を撮像する撮像手段２１，２２と、所望の画像を左右両眼に独立に表示する表示手段１４，１５，１７，１８とを有し、撮像手段２１，２２により撮像された画像を、表示手段に実オブジェクト４Ａとして表示するとともに、所望の仮想オブジェクト５を実オブジェクト４Ａと共に表示手段に表示し、両オブジェクトを同時に観察可能とする頭部搭載型画像表示装置」であって、撮像手段と撮像対象物との距離をリアルタイムで検出する撮像距離検出手段２０，１１と、撮像距離検出手段により検出された距離に応じて、所望の仮想オブジェクト５に対して表示手段の輻輳をリアルタイムで制御する輻輳制御手段１２’とを有する（請求項５）。
観察者にとっての実オブジェクト４Ａは、撮像手段により撮像された撮像対象物４Ａを表示手段の表示デバイスに表示された像であるから「常に視野中央部」に位置する。従って、仮想オブジェクト５の表示位置としては、図１に即して説明した実施の形態に関して図２〜図３に示した場合と同様、輻輳制御手段により「仮想オブジェクトを、実オブジェクトの注視部位と略等しい知覚距離で、視野内の所定の位置に表示するように表示手段の輻輳を制御する」ようにでき（請求項６）、この場合において、仮想オブジェクトを「実オブジェクトの注視位置と略等しい知覚距離で、かつ輻輳点座標（実オブジェクトの表示位置）と異なる位置に、実オブジェクトに近接して表示する」ようにしてもよく（請求項７）、さらには、仮想オブジェクトを「輻輳点座標の位置に表示する」ようにしてもよい（請求項８）。これらの場合における実オブジェクトと仮想オブジェクトの位置関係は、例えば、図３（ａ）、図２、図３（ｂ）の場合と同様になる。
【００４０】
図１１は、頭部搭載型画像表示装置の別の参考形態を示している。（ａ）で示す部分は、観察者８が、頭部搭載型画像表示装置のヘッドマウント１０Ａ’に表示された仮想オブジェクト５と実オブジェクト４Ａとを観察している状態を示している。
【００４１】
ヘッドマウント１０Ａ’は、（ｂ）に示すように、１対の表示デバイス１と１対のレンズ７を有し、表示デバイス１、レンズ７は観察者の両目のそれぞれに応じて１系統ずつ配備されている。また（ａ）に示すように、観察者８の両眼２の前方にハーフミラー３’を有し、観察者８はハーフミラー３’と１対のレンズ７を介して、１対の表示デバイス１に表示される画像を観察できるようになっている。また（ａ）に示すように、ハーフミラー３’の上方には、図４の実施の形態におけると同様、光源４１と撮影カメラ４０とが装備されている。
ハーフミラー３’、光源４１および撮像カメラ４０は、図４の実施の形態に即して説明したのと同様のもので、観察者８の左右両眼に就き１系統ずつ配備されている。図１０の実施の形態におけると同様、ヘッドマウント１０Ａ’に装備された表示手段は「シースルー型」ではない。
一方、図１１（ｃ）に示すように、撮像手段の一部をなす２個のビデオカメラ２１，２２が撮像対象物４を撮像するようになっている。
ビデオカメラ２１，２２は、観察者の両目間隔に等しい距離をおいて、水平方向に互いに平行に配備されている。
ビデオカメラ２１，２２の出力は、カメラ画像（左）２１’およびカメラ画像（右）２２’となって、それぞれビデオ信号合成装置（左）１４および同（右）１５を介して、それぞれ表示デバイス１の左右の液晶パネルに表示される。このように表示された左右の画像は撮像対象物４の像として提示され、観察者８は、この像４Ａを「実オブジェクト」として観察する。
【００４２】
ビデオカメラ２１，２２は「観察者の両目間隔に等しい距離をおいて、水平方向に互いに平行に配備されている」から、表示デバイス１に表示された実オブジェクト４’は、観察者８があたかも、ビデオカメラ２１，２２の位置に両眼を有して撮像対象物４を見たかのように表示される。撮像対象物４はビデオカメラ２１，２２から撮像距離：Ｄの位置にあるから、観察者８にとって実オブジェクト４Ａの実オブジェクト距離は、撮像距離：Ｄに等しい距離として知覚されることになる。即ち、観察者８にとって実オブジェクト距離は「Ｄ」である。
【００４３】
図１１（ａ）に示す撮影カメラ４０からの左（右）目像のデータは、視線演算装置４２，４３に入力する。視線演算装置（左）４２は左目像のデータに基づき、ヘッドマウント１０Ａ’に固定的な座標系において、左目の視線を「左目直線データ」として演算する。同様に、視線演算装置（右）４３は右目像のデータに基づき、上記座標系において、右目の視線を「右目直線データ」として演算する。このようにして得られた左・右目直線データは視線輻輳点演算装置４４に送られ、同装置４４は、入力された１対の直線データの交点として「輻輳点座標」を、図８に即して説明した演算で求める。このようにして、輻輳点座標が決定されたら、実オブジェクト距離演算装置４５が、輻輳点座標に基づき、実オブジェクト距離：Ｄを演算する。
実オブジェクト距離：Ｄが決定されると、仮想オブジェクト輻輳制御装置４６は、仮想オブジェクトの輻輳角を「仮想オブジェクトが実オブジェクトと実質的に同じ距離の所に表示される」ように輻輳角を定める。即ち、実オブジェクト距離：Ｄに応じて輻輳角：θ0を求め、表示すべき仮想オブジェクト５の輻輳角が、θ0±４０分となる輻輳角を決定するのである。そして、その結果を、仮想オブジェクト画像生成装置（左）１４および同（右）１５に入力させ、これら装置１４，１５の出力はそれぞれ、ビデオ信号合成装置（左）１７および同（右）１８に入力する。これらビデオ信号合成装置で合成された（各目用の）実オブジェクト用画像と仮想オブジェクト用画像は、それぞれ表示パネル１に右目用画像と左目用画像を独立に、且つ、仮想オブジェクト画像は、上記決定された輻輳角に応じて表示する。これにより、仮想オブジェクト５が実オブジェクト距離：Ｄと実質的に等しい距離の位置に表示され、観察者は実オブジェクト４’と仮想オブジェクト５を融像して同時に観察できる。上記輻輳点座標の決定から輻輳角の演算を経て仮想オブジェクトの表示に至る一連の手順は「リアルタイム」で行われるので、仮想オブジェクトは常に実オブジェクトと同じ距離に表示されることになる。仮想オブジェクト５の表示位置は、輻輳制御手段を制御するソフトウエアにより決定される。
【００４４】
上記のように、撮影カメラ４０、光源４１、ハーフミラー３’、視線演算装置（左）４２、視線演算装置（右）４３、視線輻輳点演算装置４４および実オブジェクト距離演算装置４５は「距離検出手段」を構成し、仮想オブジェクト輻輳制御装置４６は「輻輳制御手段」を構成する。
また、撮影カメラ４０、光源４１、ハーフミラー３’、視線演算装置（左）４２、視線演算装置（右）４３は「視線検出手段」を、視線輻輳点演算装置４４は「視線輻輳点座標演算手段」を構成し、実オブジェクト距離演算装置４５は「知覚距離演算手段」を構成する。
仮想オブジェクト画像生成装置（左）１４および仮想オブジェクト画像生成装置（右）１５、ビデオ信号合成装置（左）１７とビデオ信号合成装置（右）１８とヘッドマウント１０Ａ’とは「表示手段」を構成する。
即ち、図１１に示す実施の形態は「撮像対象物４を撮像する撮像手段と、所望の画像を左右両眼に独立に表示する表示手段１０Ａ’，１４，１５，１７，１８とを有し、撮像手段により撮像された画像を表示手段に実オブジェクト４Ａとして表示するとともに、所望の仮想オブジェクト５を実オブジェクト４Ａと共に表示手段に表示し、両オブジェクトを同時に観察可能とする頭部搭載型画像表示装置」であって、撮像手段と撮像対象物との距離を、リアルタイムで検出する撮像距離検出手段と、撮像距離検出手段により検出された距離に応じて、所望の仮想オブジェクト５に対して表示手段の輻輳をリアルタイムで制御する輻輳制御手段４６とを有する。
そして、上記「撮像手段」は、観察者８の両目間隔に等しい距離をおいて、水平方向に互いに平行に配備された１対のビデオカメラ２１，２２を有し、「撮像距離検出手段」は、観察者８の両眼の視線を検出する視線検出手段３’，４０，４１，４２，４３と、視線検出手段により検出された視線の輻輳点座標を演算する視線輻輳点座標演算手段４４と、該視線輻輳点座標演算手段により演算された輻輳点座標と観察者との距離を、観察者８の注視する実オブジェクト４Ａと観察者との知覚距離として演算する知覚距離演算手段４５とを有する。
【００４５】
この参考形態においては、実オブジェクト距離：Ｄは、検出される視線の輻輳点座標として演算で求められるのであるから、仮想オブジェクトの表示位置としては、図４に即して説明した実施の形態に関して説明した場合と同様、輻輳制御手段により「仮想オブジェクトを、実オブジェクトの注視部位と略等しい知覚距離で、視野内の所定の位置（例えば視野の左上端等）に表示するように表示手段の輻輳を制御する」ようにしてもよいし、仮想オブジェクトを「実オブジェクトの注視位置と略等しい知覚距離で、かつ輻輳点座標（実オブジェクトの表示位置）と異なる位置に、実オブジェクトに近接して表示する」ようにしてもよく、仮想オブジェクトを「輻輳点座標の位置に表示する」ようにしてもよい。
【００４６】
輻輳点座標の演算には、上に説明したように「観察者の、右目の視線ベクトルを延長した空間直線と、左目の視線ベクトルを延長した空間直線とが最近接する部位における両直線の中点位置を輻輳点座標とする演算」により求めることができる。
【００４７】
また、仮想オブジェクトの表示位置が視野内の所定の位置に定められる場合には、図９に即して説明したように、視点輻輳点座標演算手段４４が演算した輻輳点座標の「観察者８の頭部に固定した座標系（ＸＹＺ）の、頭部前方に対応する座標軸：Ｚにおける対応座標：Ｃｉと観察者８との距離：Ｄを演算する」ことにより実オブジェクト距離を決定することができる。
【００４８】
【発明の効果】
以上に説明したように、この発明によれば新規な頭部搭載型画像表示装置を実現できる。この発明の頭部搭載型画像表示装置によれば、上記の如く、表示手段の視野内に観察される実オブジェクトと確実に融像できる位置に仮想オブジェクトを表示できる。
請求項１〜４記載の発明の頭部搭載型画像表示装置はシースルー型で、表示手段を介して観察される実オブジェクトに対し、常に融像できる位置に仮想オブジェクトを表示できる。
請求項５〜８記載の発明の頭部搭載型画像表示装置は、撮像手段により撮像された撮像対象物の像を実オブジェクトとし、この実オブジェクトに常に融像できる位置に仮想オブジェクトを表示できる。
【図面の簡単な説明】
【図１】  請求項１記載の発明の実施の１形態を説明するための図である。
【図２】  上記実施の形態における仮想オブジェクトの表示位置の１例を説明するための図である。
【図３】  上記実施の形態における仮想オブジェクトの表示位置の２例を説明するための図である。
【図４】  参考形態を説明するための図である。
【図５】  図４の参考形態における仮想オブジェクトの表示位置を説明するための図である。
【図６】  図５における仮想オブジェクトの表示を説明するための図である。
【図７】  図４の参考形態における仮想オブジェクトの表示位置の別例を説明するための図である。
【図８】  輻輳点座標の演算を説明するための図である。
【図９】  実オブジェクト距離演算を説明するための図である。
【図１０】  請求項５記載の発明の実施の１形態を説明するための図である。
【図１１】  別の実施形態を説明するための図である。
【図１２】  頭部搭載型画像表示装置とその問題点を説明するための図である。
【符号の説明】
１        表示デバイス
３        ハーフミラー
７        レンズ
４        実オブジェクト
５        仮想オブジェクト
１０      表示手段のヘッドマウント
２０      距離センサ
【図１】
0003717653.tif 000002
【図２】
0003717653.tif 000003
【図３】
0003717653.tif 000004
【図４】
0003717653.tif 000005
【図５】
0003717653.tif 000006
【図６】
0003717653.tif 000007
【図７】
0003717653.tif 000008
【図８】
0003717653.tif 000009
【図９】
0003717653.tif 000010
【図１０】
0003717653.tif 000011
【図１１】
0003717653.tif 000012
【図１２】
0003717653.tif 000013