(57)【要約】【課題】外界に像を重畳して表示する映像表示システムにおいて、像の表示位置に位置ズレが生じにくい映像表示システムの提供。【解決手段】  本発明による映像表示システムは、光源ユニット１と観察者頭部に装着されるＨＭＤ型の表示装置１２とを備えている。光源ユニット１には観察像１１を形成するための基準位置となる基準位置光源２，３が設けられており、それらの発光は制御部１１ａによって制御される。二次元受光素子５上には基準位置光源２，３の像が形成され、その像の位置を検出することにより、表示装置１２から光源２，３間での距離や方向が算出され、その算出結果に基づいて表示像９が形成される。その結果、基準位置光源２，３と重なるように表示像９の虚像１１を観察することができる。【選択図】図１
2007102079.tif 000002
【特許請求の範囲】
【請求項１】
像を外界に重畳して表示する頭部装着型映像表示装置を備えた映像表示システムであって、
前記頭部装着型映像表示装置の外部に設けられ、前記外界における位置の基準となる複数の基準位置光源と、
前記基準位置光源の発光制御を行うことによって前記基準位置光源から出射される光に情報を付加する光源制御装置と、
前記複数の基準位置光源からの光をそれぞれ受光する受光手段と、
前記受光手段の出力に基づいて前記基準位置光源の位置を検出するとともに前記情報を抽出する光源情報処理手段と、
映像情報を前記映像表示装置へと送信する映像生成装置と、
前記映像表示装置に設けられ、前記検出位置および抽出情報と前記映像情報とに基づいて前記像を重畳して表示する重畳手段とを備えたことを特徴とする映像表示システム。
【請求項２】
請求項１に記載の映像表示システムにおいて、
前記複数の基準位置光源を有する光源ユニットを複数組備え、
前記光源制御装置は、前記複数の光源ユニット毎に異なる発光制御を行って前記情報をそれぞれ付加することを特徴とする映像表示システム。
【請求項３】
請求項２に記載の映像表示システムにおいて、
前記光源ユニットの各々は、所定の間隔で水平方向に配設された一対の前記基準位置光源を有することを特徴とする映像表示システム。
【請求項４】
請求項１〜３のいずれか一項に記載の映像表示システムにおいて、
前記光源制御装置により付加される情報には前記基準位置光源に対応付けられた付加映像情報が含まれ、前記光源情報処理手段は検出情報から前記付加映像情報を抽出し、前記重畳手段は抽出された前記付加映像情報に基づいて像を重畳して表示することを特徴とする映像表示システム。
【請求項５】
請求項１〜３のいずれか一項に記載の映像表示システムにおいて、
前記光源制御装置により付加される情報には前記複数の基準位置光源間の相対位置情報が含まれ、
前記光源情報処理手段は、前記基準位置光源間の相対位置情報と前記検出位置とに基づいて、前記基準位置光源に対する観察距離と方向とを算出し、
前記重畳手段は、前記観察距離と方向とに基づいて像を重畳して表示することを特徴とする映像表示システム。
【請求項６】
請求項５に記載の映像表示システムにおいて、
前記光源制御装置により付加される情報には前記像の実空間における大きさに関する情報がさらに含まれ、
前記重畳手段は、前記大きさに関する情報および前記観察距離に応じた大きさの像を重畳して表示することを特徴とする映像表示装置。
【請求項７】
請求項１に記載の映像表示システムにおいて、
前記映像情報を異なる送信方式で送信する映像生成装置を複数備えるとともに、前記光源制御装置により付加される情報には前記通信方法に関する情報が含まれ、
前記映像表示装置は前記送信方法に関する情報に基づいて前記複数の映像生成装置のいずれか一つから送信される映像情報を受信することを特徴とする映像表示システム。
【請求項８】
請求項１に記載の映像表示システムにおいて、
前記映像表示装置を複数備えるとともに、前記映像生成装置は前記複数の映像表示装置とは別体に設けられてそれらに対して共通の映像情報を送信し、
各映像表示装置に設けられた重畳手段は、受信した前記共通の映像情報と前記光源情報処理手段の処理結果に基づいて像を重畳して表示することを特徴とする映像表示システム。
【請求項９】
請求項１に記載の映像表示システムにおいて、
可視領域外の特定波長を有する光を反射するとともに、外界と前記映像表示装置を装着した観察者とを隔てる隔壁に対して、前記基準位置光源から前記特定波長の光を投射し、
前記受光手段は前記隔壁で反射された前記基準位置光源の光を受光し、
前記重畳手段は前記隔壁を通して観察される外界に対して像を重畳して表示することを特徴とする映像表示システム。
【請求項１０】
請求項１に記載の映像表示システムにおいて、
前記基準位置光源と、前記基準位置光源の光出射方向の被写体を撮影する撮影装置とを有する撮影ユニットを複数備えるとともに、前記撮影ユニットの各々には前記撮影装置により撮影された撮影情報の交換を他の撮影ユニットとの間で行う映像制御装置が設けられ、
前記重畳手段は、他の撮影ユニットからの撮影情報と、前記光源情報処理手段６の処理結果とに基づいて像を重畳して表示することを特徴とする映像表示システム。
【請求項１１】
請求項１に記載の映像表示システムにおいて、
環境特性を検出するセンサを備え、
前記光源制御装置は前記情報に前記センサの検出結果である環境特性を付加し、
前記重畳手段は前記環境特性に基づく像を重畳して表示することを特徴とする映像表示システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、外界に重ねて像を表示する映像表示システムに関する。
【背景技術】
【０００２】
従来、頭部装着型ディスプレイ（ＨＭＤ：Head Mounted Display）に搭載されたマーカを外部から検出し、ＨＭＤの方向や姿勢などを検出し、それらの検出結果に基づいてＨＭＤに表示を行うシステムが知られている（例えば、特許文献１参照）。
【０００３】
【特許文献１】特開２００１−２０２０７０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述したシステムでは、ＨＭＤの姿勢から視軸方向を間接的に決定するだけであり、観察している外界の物体とＨＭＤとの位置関係を直接検出しているわけではない。このため、ＨＭＤによる表示像の位置と関連づけされた物体の位置との間に、ズレが生じやすいという問題があった。
【課題を解決するための手段】
【０００５】
請求項１の発明は、像を外界に重畳して表示する頭部装着型映像表示装置を備えた映像表示システムであって、頭部装着型映像表示装置の外部に設けられ、外界における位置の基準となる複数の基準位置光源と、基準位置光源の発光制御を行うことによって基準位置光源から出射される光に情報を付加する光源制御装置と、複数の基準位置光源からの光をそれぞれ受光する受光手段と、受光手段の出力に基づいて基準位置光源の位置を検出するとともに前記情報を抽出する光源情報処理手段と、映像情報を映像表示装置へと送信する映像生成装置と、映像表示装置に設けられ、検出位置および抽出情報と映像情報とに基づいて像を重畳して表示する重畳手段とを備えたことを特徴とする。
なお、光源制御装置により付加される情報としては、基準位置光源に対応付けられた付加映像情報、複数の基準位置光源間の相対位置情報、像の実空間における大きさなどがある。
請求項７の発明は、請求項１に記載の映像表示システムにおいて、映像情報を異なる送信方式で送信する映像生成装置を複数備えるとともに、光源制御装置により付加される情報には通信方法に関する情報が含含まれ、映像表示装置は送信方法に関する情報に基づいて複数の映像生成装置のいずれか一つから送信される映像情報を受信するようにしたものである。
請求項８の発明は、請求項１に記載の映像表示システムにおいて、映像表示装置を複数備えるとともに、映像生成装置は複数の映像表示装置とは別体に設けられてそれらに対して共通の映像情報を送信し、各映像表示装置に設けられた重畳手段は、受信した共通の映像情報と光源情報処理手段の処理結果に基づいて像を重畳して表示するようにしたものである。
請求項９の発明は、請求項１に記載の映像表示システムにおいて、可視領域外の特定波長を有する光を反射するとともに、外界と映像表示装置を装着した観察者とを隔てる隔壁に対して、基準位置光源は室内から特定波長の光を投射し、受光手段は隔壁で反射された基準位置光源の光を受光し、重畳手段は隔壁を通して観察される外界に対して像を重畳して表示するものである。
請求項１０の発明は、請求項１に記載の映像表示システムにおいて、基準位置光源と、基準位置光源の光出射方向の被写体を撮影する撮影装置とを有する撮影ユニットを複数備えるとともに、撮影ユニットの各々には撮影装置により撮影された撮影情報の交換を他の撮影ユニットとの間で行う映像制御装置が設けられ、重畳手段は、他の撮影ユニットからの撮影情報と、光源情報処理手段の処理結果に基づいて像を重畳して表示するようにしたものである。
請求項１１の発明は、請求項１に記載の映像表示システムにおいて、環境特性を検出するセンサを備え、光源制御装置は前記情報にセンサの検出結果である環境特性を付加し、重畳手段は環境特性に基づく像を重畳して表示するようにしたものである。
【発明の効果】
【０００６】
本発明によれば、外界の基準位置光源からの光を検出して基準位置光源の位置を算出し、その算出位置と映像情報とに基づいて像を重畳して表示するようにしたので、像の表示位置に関して位置ズレが生じにくい。
【発明を実施するための最良の形態】
【０００７】
以下、図を参照して本発明を実施するための最良の形態について説明する。図１は本発明による映像表示システムの一実施の形態を示す図であり、映像表示システムの基本構成を示したものである。本発明による映像表示システムは、基準位置光源２，３を備える光源ユニット１と頭部装着型映像表示装置１２とを備えている。
【０００８】
表示装置１２にはハーフミラー等から成る投影光学系１０を備えており、表示装置１２を装着した観察者は投影光学系１０を通して外界を観察することができる。また、表示装置１２内にはＬＣＤなどの表示素子８が設けられており、表示素子８を出射した表示光は投影光学系１０で反射されて観察者の瞳１３へと入射する。その結果、観察者は、投影光学系１０の前方に表示像９の虚像１１を観察像として観察することができる。すなわち、外界に対して虚像１１が重畳して表示され、あたかも外界の現実空間に虚像１１による仮想空間が存在するかのように感じられる。
【０００９】
表示装置１２には二次元受光素子５が設けられており、レンズ４により外界からの光が受光面に結像される。二次元受光素子５には、例えばＰＳＤ（ポジションセンサーダイオード）などが用いられる。図１においては、二次元受光素子５上に基準位置光源２，３の像が結像されており、二次元受光素子５の出力信号は信号処理装置６により信号処理される。信号処理装置６には、映像生成装置７からの映像信号が入力される。映像生成装置７から入力された映像信号は二次元受光装置５からの信号に基づいて加工され、表示素子８上に表示像９として表示される。
【００１０】
図１に示す例では矢印映像が表示像９として表示されているが、映像生成装置７は予め用意されたプログラムにより種々の映像を生成することができる。また、表示像９は、二次元受光素子５の出力信号に基づいて、その虚像１１が外界に存在する基準位置光源２，３と重なるように表示されている。基準位置光源２，３の点消灯は光源ユニット１に設けられた制御部１ａによって制御され、基準位置光源２，３の点滅パターンによって種々の情報を表示装置１２へと伝送することができる。
【００１１】
このように、本発明による映像表示システムでは、光源ユニット１からの情報および基準位置光源２，３の位置に基づいて、外界の現実空間に対して虚像１１により形成される仮想空間が適切な配置となるように表示像９を表示するようにした。その場合、光源ユニッ１に設けられた基準位置光源２，３を検出することにより、外界に設けられた光源ユニット１に対する表示装置１２の位置関係を算出するようにしている。
【００１２】
《位置検出原理の説明》
次に、図２を参照して、仮想空間を形成する際の基準位置となる基準位置光源２，３の位置検出原理を説明する。二次元受光素子５の受光面には、レンズ４により基準位置光源２，３の像２’、３’が結像される。光軸から像２’までの距離、すなわち像高をｈとする。また、レンズ４の焦点距離をｆとし、基準位置光源２と像２’とを結ぶ直線の光軸に対する角度をθとすると、次式（１）が成り立つ。よって、角度θは式（２）によって得られる。そして、光軸と受光面との交点Ｏに対する像２’の方向と角度θとにより、基準位置光源２の方向を特定することができる。
ｈ＝ｆ・tanθ      …（１）
θ＝arctan（ｈ／ｆ）      …（２）
【００１３】
また、像２’に対する像３’のｘ方向距離をd1、ｙ方向距離をd2とすると、像２’，３’間の距離Ｌ’は式（３）のように表され、撮影倍率βはβ＝Ｌ’／Ｌで算出される。ここで、Ｌは実空間での基準位置光源２，３間の距離であり、この距離Ｌは、後述するように基準位置光源２または３の点滅パターン情報として光源ユニット１から表示装置１２へと伝送される。また、次式（４）により撮影距離Ｄが算出される。これらの演算処理は、信号処理装置６によって行われる。
Ｌ’＝（d1２＋d2２）１／２      …（３）
Ｄ＝ｆ／β                  …（４）
【００１４】
図３は光源ユニット１から表示装置１２への情報伝送方法を説明する図であり、二次元受光素子５としてＰＳＤを用いた場合を示す。単一の受光素子で構成されるＰＳＤの場合、２つの基準位置光源２，３の光点（像２’，３’の位置）を同時に検出することはできない。そこで、図３に示すように、基準位置光源２，３の点灯動作を時分割で交互に行わせるようにした。すなわち、時刻ｔ１〜ｔ２、時刻ｔ３〜ｔ４においては基準位置光源２の点灯動作を行い、時刻ｔ２〜ｔ３、時刻ｔ４〜ｔ５では基準位置光源３の点灯動作を行うようにした。
【００１５】
さらに、各点灯動作における基準位置光源２，３の点滅パターンを変えることによって、様々な情報を伝送することができる。基準位置光源２の場合には、時刻ｔ１〜ｔ２、時刻ｔ３〜ｔ４の間において点灯のみを行っているが、基準位置光源３の場合には、点滅を繰り返して点灯を５回行わせている。その結果、像２’、３’の位置から得られる基準位置光源２，３の位置だけでなく、様々な情報を点滅パターン情報として基準位置光源２，３側から表示装置１２側へと送信することができ、それらを表示像９の表示に利用することができる。
【００１６】
ここで伝送される情報としては、例えば、上述した基準位置光源間の距離Ｌや光源配置の傾きなどの他に、表示すべき像を指定する情報、表示像の大きさや位置に関する情報、映像情報そのもの等、様々な情報を伝送することができる。ただし、時分割で点灯動作信号を検出しなければならないので、同時に検出可能な光源数には制約がある。
【００１７】
図４は、二次元受光素子５として、ＣＭＯＳ型やＣＣＤ型の受光素子のような素子分割型の受光素子を用いた場合を示す。この場合、受光面には複数の受光部が例えばマトリクス状に配設されており、基準位置光源２，３の像は異なる受光部に入射する。そのため、基準位置光源２，３の点灯動作を同時に行っても、それぞれ別の信号として検出することができる。このことは、光源の数が３以上であっても同様である。各基準位置光源２，３に関して受信された信号は、それぞれ信号処理装置６によって処理され、伝送された情報が抽出される。
【００１８】
図５は、光源ユニット１４ａの基準位置光源２ａ，３ａと別の光源ユニット１４ｂの基準位置光源２ａ，３ａが、二次元受光素子５によって検出されている場合を示す。ここでは、二次元受光素子５は分割型受光素子であるとして説明する。二次元受光素子５上には、外界における光源ユニット１４ａ，１４ｂの位置および姿勢に応じた像１５ａ，１５ｂが結像される。各像１５ａ，１５ｂに関する受光信号は信号処理装置６に入力され、各光源ユニット１４ａ，１４ｂの位置や傾き、さらには点滅パターンによる情報が検出される。そして、それらの検出情報に基づいて映像生成装置７からの映像信号が処理され、表示素子８上に表示像９ａ，９ｂが表示される。
【００１９】
図５の場合、映像生成装置７に図示のような矢印映像を生成させ、その矢印方向が基準位置光源３ａ，３ｂから基準位置光源２ａ，２ｂ方向に向くように光源ユニット１４ａ，１４ｂに重ねて表示すべきことが、点滅パターン情報に含まれている。さらに、点滅パターン情報には矢印映像の実空間における大きさに関する情報も含まれており、光源ユニット１４ａ，１４ｂまでの距離（算出距離）および光源ユニット１４ａ，１４ｂの傾きに応じて、表示像９ａ，９ｂの大きさおよび傾きが調整される。
【００２０】
実空間における虚像１１ａ，１１ｂの大きさは同一であるが、光源ユニット１４ａは表示装置１２に対して距離が近いので、大きめの表示像９ａが表示素子８に表示され、その虚像１１ａが光源ユニット１４ａに重なるように観察される。一方、より遠い位置に傾いて観察される光源ユニット１４ｂの基準位置光源２ｂ，３ｂの場合には、より小さな傾いた表示像９ｂが表示素子８に表示され、その虚像１１ｂが光源ユニット１４ｂに重なるように観察される。実空間での大きさに関する情報は、下記光源ユニット１４ａ，１４ｂから送出されるが、大きさ情報を用いることにより、形状が同一の観察像に関しては大きさが異なっても同じ映像情報を兼用して利用することができる。
【００２１】
図示の関係上、図５では光源ユニット１４ａと虚像１１ａおよび光源ユニット１４ｂと虚像１１ｂとが重なるように記載されていないが、瞳１３からは虚像１１ａと光源ユニット１４ａおよび虚像１１ｂと光源ユニット１４ｂがそれぞれ同一方向に見える。なお、ここでは虚像１１ａ，１１ｂが光源ユニット１４ａ，１４ｂと重ねて観察されるような表示例について説明したが、一般的には、各虚像１１ａ，１１ｂは各光源ユニット１４ａ，１４ｂに対して所定の位置関係で投影される。その所定の位置関係に関する情報は、点滅パターン情報として光源ユニット１４ａ，１４ｂから表示装置１２へと伝送される。さらに、光源ユニット１４ａ，１４ｂに投影される映像（虚像１１ａ，１１ｂ）は、光源ユニット１４ａ，１４ｂ毎に異なっていても良く、どのような映像を表示するかを指示する情報は上述した点滅パターン情報として表示装置１２に伝送される。
【００２２】
なお、図５のように光源配置が光源ユニット１４ａ，１４ｂ毎に異なると、光源像１５ａ，１５ｂの検出方法が複雑になる。システムをより簡易にするためには、光源配置は水平に限定するなどの制約を設けるのが好ましい。また、光源の点滅パターン情報によって光源配置を表示装置１２に伝送することもできるが、これをより簡易にするためには、光源間距離も表示システム内で一定の値に統一するのが好ましい。このような制約をもうけることで、表示システムを簡略化し、コスト低減を図ることができる。
【００２３】
また、複数設けられた光源ユニットの各々について、それらが行う通信方式を異なるものに設定しておくことにより、同時に複数の光源ユニットを使用しても、混信などの悪影響を防ぐことができる。例えば、各光源ユニットの発光波長を異なるものに設定しておき、二次元受光素子５上のオンチップフィルタや、波長選択ミラーによる光路分割などによって波長毎に信号を分離することで、複数の光源ユニットの同時使用が可能となる。
【００２４】
上述した光源ユニットでは、基準位置光源が２つ設けられていたが、図６に示すように基準位置光源を３つ設けて、これらの光源配置に応じた３次元的な虚像を形成するようにしても良い。図６においては、基準平面２３上に３つの基準位置光源２３ａ〜２３ｃが設けられている。２２は映像生成装置７によって形成される仮想的な観察像（以下では仮想物体と呼ぶことにする）であり、頭部装着型映像表示装置１７，２０を装着した観察者１６，１９には、立体的な仮想物体２２が基準平面２３上に載置されているよう観察される。
【００２５】
なお、図１に示した映像表示システムでは映像生成装置７は表示装置１２側に設けられているが、図６の映像表示システムでは、光源ユニット側の制御部１ａに接続されている。映像生成装置７で生成された映像情報は、無線通信を利用して各表示装置１７，２０に伝送される。各表示装置１７，２０の構成は、図１に示した表示装置１２と同様の構成を有している。
【００２６】
図７は基準位置光源２３ａ〜２３ｃの配置を示す図であり、基準位置光源２３ａおよび基準位置光源２３ｂ間の距離はａ、基準位置光源２３ａおよび基準位置光源２３ｃ間の距離はｂ、基準位置光源２３ｂおよび基準位置光源２３ｃ間の距離はｃである。各基準位置光源２３ａ〜２３ｃは、それぞれ異なる点滅パターンにより情報を送信しており、その情報の中には距離ａ〜ｃも含まれている。
【００２７】
各表示装置１７，２０に設けられた信号処理装置６では、基準位置光源２３ａ〜２３ｃの位置情報（上述した位置ａ〜ｃも含む）に基づいて、各観察者１６，１９がどの位置から基準位置光源２３ａ〜２３ｃを観察しているのかを算出する。この場合も、図２の場合と同様の考え方で位置検出を行えば良い。例えば、距離ａ〜ｃから基準位置光源２３ａ〜２３ｃを頂点とする三角形が与えられるので、その三角形が受光素子５上にどのような形状および大きさに結像されるかにより、各観察位置を算出することができる。
【００２８】
図６に示すように、観察者１６から見た場合、基準位置光源２３ａの左側に基準位置光源２３ｂが観察され、右側に基準位置光源２３ｃが観察される。すなわち、信号処理装置６は、観察者が基準位置光源２３ａ〜２３ｃの受光情報から仮想物体２２の正面方向を観察していると判定する。表示素子８には、基準位置光源２３ａ〜２３ｃに対する映像表示装置１７の観察方向および観察距離と、映像生成装置７から送信される映像情報とに基づいて、仮想物体２２の正面に相当する矩形状の表示像１８が表示される。
【００２９】
一方、観察者１９の場合には、基準位置光源２３ａ〜２３ｃの受光情報から仮想物体２２の左側面方向から観察していると判定されるので、表示素子８には、映像生成装置７から送信される映像情報に基づいて仮想物体２２の左側面に相当する表示像２１が表示される。また、仮想物体２２の斜め方向から観察した場合には、斜視図に相当する表示像が表示素子８に表示される。その結果、観察者には実際に存在する基準平面２３上に立体的な仮想物体２２が観察されることになり、観察者が移動すると、移動中の観察位置に応じた表示像が表示素子８に表示されるので、まるで仮想物体２２が実際に存在するように観察される。
【００３０】
なお、映像生成装置７からは、映像表示装置１７，２０に対して仮想物体２２に関する同一の映像情報が送信される。そして、映像表示装置１７の信号処理装置６は、送信された映像情報から仮想物体２２の正面に相当する情報を選択または加工し、映像表示装置２０の信号処理装置６は、送信された映像情報から仮想物体２２の側面に相当する情報を選択または加工する。図６のように、映像表示装置１７，２０とは別に光源ユニット側に映像生成装置７を設けることにより、映像表示装置１７，２０側の映像生成装置の負担を軽減することができる。特に、図６に示すように３次元の映像情報が必要な場合には、その効果が大きい。
【００３１】
なお、図６に示すような基準位置光源２３ａ〜２３ｃと制御部１ａと映像生成装置７とのセットになったものと、図示に示すような基準位置光源２，３と制御部１ａとから構成される光源ユニットとが混在する場合も想定される。そのような場合には、基準位置光源の点滅パターン情報に、映像生成装置７との通信方式に関する情報、すなわち無線により映像情報を受信するか、表示装置１２に設けられた映像生成装置７（図１参照）から映像上を読み込むかに関する情報を加えるようにする。そして、基準位置光源から伝送された通信方式に関する情報に従って、光源側に設けられた映像生成装置７から映像情報を受け取るか、映像表示装置１２側に設けられた映像生成装置７から映像情報を受け取るかを判断する。
【００３２】
［応用例１］
図８は、本発明による映像表示システムのカーナビゲーションへの応用例を示したものである。表示装置１２の構成は図１に示したもの同一であり、車両のフロントウィンドウ２５の下方に基準位置光源２，３が設けられている。フロントウィンドウ２５には赤外線反射膜が形成されており、車外からの赤外光２４はフロントウィンドウ２５により反射される。基準位置光源２，３からは赤外光がフロントウィンドウ２５に向けて投射され、その反射光がレンズ４を介して二次元受光素子５上に結像される。
【００３３】
この応用例１の場合も、基準位置光源２，３を二次元受光素子５で受光して得られる位置情報に基づいて、表示装置１２を頭部に装着した観察者の観察方向を求め、観察方向に応じた表示像９を表示素子８に表示する。すなわち、投影光学系１０を通して観察される窓外の光景に対して、虚像１１が重畳して表示されることになる。
【００３４】
図９は観察者によって観察される観察像の一例を示したものであり、表示装置１２によって形成されたナビゲーション用表示（虚像１１，２６）が観察されている。フロントウィンドウ２５には基準位置光源２，３の反射光が映り込んでおり、表示装置１２の二次元受光素子５はこのフロントウィンドウ２５に映り込んだ基準位置光源２，３を捉えることになる。なお、基準位置光源２，３の光は赤外光であるので、観察者には見えていない。
【００３５】
すなわち、フロントウィンドウ２５上に映り込んだ基準位置光源２，３を位置基準とすることができるので、観察者の視点位置によらず、窓外の光景にして正確な位置に像を表示することができる。また、表示位置を規制した表示２６のように、光源位置に関わらず常にフロントウィンドウ２５上の所定位置に固定して表示することもできる。また、夜間の場合、赤外カメラで撮影した映像を可視光を用いて窓外の光景に重ね合わせて表示することにより、例えば、暗くて見え難い歩行者をはっきりと観察することができ、安全性の向上が図れる。なお、上述した例では、基準位置光源２，３から赤外光を出射し、フロントウィンドウ２５は赤外光を反射するような構成としたが、運転上問題がなければ赤外光でなくてもかまわない。
【００３６】
一方、液晶表示パネルを用いた従来のカーナビゲーションシステムでは、表示パネル上の表示と実際にフロントウィンドウ２５を通して観察される光景との対応付けを行わなければならず、車両前方と表示パネルとの間で視線移動を行わなければならないという欠点がある。一方、上述した応用例１では、実際にフロントウィンドウ２５を通して観察される光景に必要な表示が重畳して表示されているため、前方から視線を外す必要もなく運転に集中することができる。
【００３７】
［応用例２］
図１０は第２の応用例を説明する図であり、テレビ会議システムに応用した場合を示す。図示左側に示した３名の観察者２７Ｌと右側に示された３名の観察者２７Ｒとは互いに離れた場所にいる。観察者２７Ｌの前方には背景板３４Ｌが設けられていて、その背景板３４Ｌには基準位置光源２Ｌ，３Ｌと２台のカメラ３２Ｌ，３５Ｌが設けられている。同様に、観察者２７Ｒの前方には背景板３４Ｒが設けられていて、その背景板３４Ｒには基準位置光源２Ｒ，３Ｒと２台のカメラ３２Ｒ，３５Ｒが設けられている。背景板３４Ｌ、基準位置光源２Ｌ，３Ｌおよび２台のカメラ３２Ｌ，３５Ｌにより一つの撮影ユニットを形成し、背景板３４Ｒ、基準位置光源２Ｒ，３Ｒおよび２台のカメラ３２Ｒ，３５Ｒにより他の撮影ユニットが形成される。なお、各撮影ユニットに含まれるカメラは２台とは限らない。
【００３８】
３１Ｌは観察者２７Ｌ側に設けられた通信制御装置であり、背景板３４Ｌに設けられた位置基準光源２Ｌ，３Ｌおよびカメラ３２Ｌ，３５Ｌはこの通信制御装置３１Ｌに接続されている。基準位置光源２Ｌ，３Ｌの点灯制御およびカメラ３２Ｌ，３５Ｌの制御は通信制御装置３１Ｌで行われ、カメラ３２Ｌ，３５Ｌにより撮影された映像情報は通信制御装置３１Ｌに送られる。一方、観察者２７Ｒ側にも同様の通信制御装置３１Ｒが設けられており、通信制御装置３１Ｌ，３１Ｒは通信ラインにより互いに接続されている。背景板３４Ｒに設けられた位置基準光源２Ｒ，３Ｒおよびカメラ３２Ｒ，３５Ｒは通信制御装置３１Ｒに接続されている。
【００３９】
各観察者２７Ｌに装着された表示装置２８Ｌは、基準位置光源２Ｌ，３Ｌの光を受光することにより、表示装置２８Ｌを装着した観察者２７Ｌがどの方向および位置から背景板３４Ｌを観察しているかを各々算出する。右側の各観察者２７Ｒに装着された表示装置２８Ｒに関しても、表示装置２８Ｌと同様の動作を行う。また、カメラ３２Ｌ，３５Ｌにより撮影された映像情報は、通信制御装置３１Ｌに送られた後に、通信ラインを介して通信制御装置３１Ｒに送られる。同様に、カメラ３２Ｒ，３５Ｒにより撮影された映像情報は、通信制御装置３１Ｒから通信制御装置３１Ｌへと送られる。
【００４０】
通信制御装置３１Ｒへと送られた映像情報は送信部３０Ｒから送信され、各表示装置２８Ｒの受信部２９Ｒによってそれぞれ受信される。ここでの通信制御装置３１Ｒは図６における映像生成装置７に対応しており、受信部２９Ｒで受信された映像情報は表示装置２８Ｒに設けられている信号処理装置６（図１参照）へと入力される。信号処理装置６は、基準位置光源２Ｒ，３Ｒを受光することにより得られた位置情報に基づいて、基準位置光源２Ｒ，３Ｒを基準として３名の観察者２７Ｌの映像を表示素子８に表示する。
【００４１】
ここでは、図１１に示すようにあたかも窓３６を通して観察者２７Ｌを見ているような映像が表示素子８に表示される。一方、表示装置２８Ｌの表示動作についても全く同様で、窓３６を通して観察者２７Ｒを見ているような映像が表示される。この窓３６は図１０に示した背景板３４Ｌ，３４Ｒに対応するものであり、窓３６と観察者２７Ｌとの位置関係は図１０の背景板３４Ｌと観察者２７Ｌとの位置関係と同一であり、窓３６と観察者２７Ｒとの位置関係は図１０の背景板３４Ｒと観察者２７Ｒとの位置関係と同一である。
【００４２】
例えば、背景板３４Ｒに対して右側よりに位置する観察者２７Ｒには、観察者２７Ｌを斜め右方向から見たような観察像が観察される。なお、各背景板３４Ｌ，３４Ｒに設けられた２台のカメラの撮影範囲をそれぞれ重ねないようにすることで、より広い領域を撮影することができる。逆に、撮影範囲を重ねて、それぞれ観察者の左右の瞳に対して表示することにより、左右視差を有する立体像を観察像ととして形成することもできる。
【００４３】
なお、上述した例では背景板３４Ｌ，３４Ｒを用いて、図１１に示すようにあたかも背景板により形成される窓３６の枠内に人物がいるように映像を表示しているが、背景板３４Ｌ，３４Ｒは必ずしも必要ない。また、一対の通信制御装置３１Ｌ，３１Ｒとの間で映像情報を交換を行ってＴＶ会議を行うようにしたが、３つ以上の通信制御装置の間で映像情報の交換を行い、映像を切り換えることによって３カ所以上の間でＴＶ会議を行うようにしても良い。
【００４４】
［応用例３］
図１２は第３の応用例を説明する図であり、制御部１ａにセンサを接続した場合を示す。図１２に示す例では、制御部１ａに温度センサ３８，光センサ２９および音響センサ４０が接続されており、各センサ３８〜４０の検出データは制御部１ａに入力される。これらの検出結果は、基準位置光源２，３の点滅パターンにより表示装置１２側へと送信され、表示像に反映される。また、３７は可視光を発するマーカ用光源であり、観察者は投影光学系１０を通してマーカ用光源３７を観察することができる。
【００４５】
図１３は観察例を示す図であり、２つの光源ユニット４２，４３が配管装置に設けられている。光源ユニット４２，４３内には上述したセンサ３８〜４０が設けられている。この場合、光源ユニット４２，４３の対応して、情報表示４１，４４が表示装置１２によって形成される。情報表示４１の場合には、配管の種類とセンサ情報の一つである現在温度が表示されている。情報表示４４の場合には、配管の種類と現在温度と経時的な温度変化を示すグラフとが表示されている。なお、情報表示４１，４４に関する映像情報そのものを、基準位置光源２，３の点滅パターン情報に乗せて各光源ユニット４２，４３から観察者に装着されている映像表示装置１２へと送信するようにしても良い。
【００４６】
このように、基準位置光源２，３に基づく位置情報を用いることにより、外界の的確な位置に適切な表示を仮想的に付加することができる。また、可視光による点灯または点滅を行っているマーカ用光源３７を設けたことにより、観察者は基準位置光源がどこにあるかを容易に認識することができる。なお、マーカ用光源３７を設ける代わりに、基準位置光源の光を可視光としても良い。なお、本発明の特徴を損なわない限り、本発明は上記実施の形態に何ら限定されるものではない。
【図面の簡単な説明】
【００４７】
【図１】本発明による映像表示システムの基本構成を示す図である。
【図２】基準位置光源２，３の位置検出原理を説明する図である。
【図３】光源ユニット１から表示装置１２への情報伝送方法を説明する図であり、二次元受光素子５としてＰＳＤを用いた場合を示す。
【図４】二次元受光素子５として、ＣＭＯＳ型やＣＣＤ型の受光素子のような素子分割型の受光素子を用いた場合を示す図である。
【図５】光源ユニット１４ａの基準位置光源２ａ，３ａと別の光源ユニット１４ｂの基準位置光源２ａ，３ａが、２次元受光素子５によって検出されている場合を示す図である。
【図６】仮想物体として３次元的な虚像を形成する場合を説明する図である。
【図７】基準位置光源２３ａ〜２３ｃの配置を示す図である。
【図８】第１の応用例を示す図であり、カーナビゲーションへ適用した場合を示す。
【図９】第１の応用例における観察例を示す図である。
【図１０】第２の応用例を示す図であり、テレビ会議システムへ適用した場合を示す。
【図１１】第２の応用例における観察例を示す図である。
【図１２】第３の応用例を示す図である。
【図１３】第３の応用例における観察例を示す図である。
【符号の説明】
【００４８】
１，１４ａ，１４ｂ，４２，４３：光源ユニット      １ａ：制御部
２，３，２Ｌ，２Ｒ，３Ｌ，３Ｒ，２３ａ〜２３ｃ：基準位置光源
４：レンズ                          ５：二次元受光素子
６：信号処理装置                    ７：映像生成装置
８：表示素子                        １０：投影光学系
１１，１１ａ，１１ｂ：虚像          １２，１７，２０：表示装置
２５：フロントウィンドウ            ３１Ｌ，３１Ｒ：通信制御装置
３２Ｌ，３５Ｌ，３２Ｒ，３５Ｒ：カメラ
３４Ｌ，３４Ｒ：背景板              ３７：マーカ用光源
３８：温度センサ      ３９：光センサ      ４０：音響センサ
【図１】
2007102079.tif 000003
【図２】
2007102079.tif 000004
【図３】
2007102079.tif 000005
【図４】
2007102079.tif 000006
【図５】
2007102079.tif 000007
【図６】
2007102079.tif 000008
【図７】
2007102079.tif 000009
【図８】
2007102079.tif 000010
【図９】
2007102079.tif 000011
【図１０】
2007102079.tif 000012
【図１１】
2007102079.tif 000013
【図１２】
2007102079.tif 000014
【図１３】
2007102079.tif 000015