(57)【特許請求の範囲】
【請求項１】
装着者の眼前に配置された半透過スクリーン及びホットミラーを備えたシースルー型ヘッドマウントディスプレイにおいて、
a)装着者の眼前に配置されたホットミラーによって反射された赤外光を撮影する外部映像撮影手段と、
b)撮影された外部映像に基づき物体からの赤外光の位置を検出するとともに前記赤外光の時間的パターン又は空間的パターンに基づき該物体を特定する検出手段と、
c)前記検出された位置を用いて、上記半透過スクリーン上に前記特定された物体に関する情報を投影する投影手段と、
を備えることを特徴とするヘッドマウントディスプレイ。
【請求項２】
前記半透過スクリーン、前記ホットミラー、前記外部映像撮影手段及び前記投影手段は装着者の左右眼のそれぞれに設けられていることを特徴とする請求項１記載のヘッドマウントディスプレイ。
【請求項３】
さらに、
d)前記ヘッドマウントディスプレイの前面に赤外光を投射する赤外光発光源を有し、
前記外部映像撮影手段によって撮影される前記ホットミラーによって反射された赤外光は、前記赤外発光源から投射された赤外光に対する前記物体からの反射光であることを特徴とする請求項１記載のヘッドマウントディスプレイ。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、航空機や自動車等の操縦訓練・教育機、バーチャルリアリティ（仮想現実）体験機等に用いられるヘッドマウントディスプレイ（ＨＭＤ）に関する。
【０００２】
【従来の技術】
ＨＭＤには、仮想の映像のみを装着者に提供するクローズド型ＨＭＤと、装着者による外部の景色の視認を可能とし、外部景色の映像（現実映像）に仮想映像を重畳表示して提供するシースルー型ＨＭＤとがある。後者の場合に、現実映像と仮想映像との間に位置的な関連付けを行なって重畳表示しようとすると、外部環境の中におけるＨＭＤの向きを正確に検出しなければならない。従来、このための方法として磁気方式や超音波方式が用いられていた。これらはいずれも、ＨＭＤに磁気発生器又は超音波発生器を固定し、ＨＭＤの外部に固定された磁気検出器又は超音波検出器との相互作用によりＨＭＤの位置（向き）を検出するというものである。なお、発生器と検出器は逆に取り付けられる場合もある。
【０００３】
【発明が解決しようとする課題】
上記従来の方法ではいずれも位置検出精度が必ずしも十分でなかった。例えば、磁気方式では近傍に金属物が存在すると検出精度が低下する場合があった。
【０００４】
本発明はこのような課題を解決するために成されたものであり、その目的とするところは、赤外光を用いて物体の位置を検出し、それにより、より正確な現実映像及び仮想映像の重畳表示を行なうことができるＨＭＤを提供することにある。これにより、例えば近傍に金属物が存在する場合でも検出精度が低下しないようにするものである。
【０００５】
上記課題を解決するために成された本発明は、装着者の眼前に配置された半透過スクリーン及びホットミラーを備えたシースルー型ヘッドマウントディスプレイにおいて、
d)装着者の眼前に配置されたホットミラーによって反射された赤外光を撮影する外部映像撮影手段と、
e)撮影された外部映像に基づき物体からの赤外光の位置を検出するとともに該赤外光の時間的パターン又は空間的パターンに基づき該物体を特定する検出手段と、
f)検出された位置を用いて、上記半透過スクリーン上に前記特定された物体に関する情報を投影する投影手段と、
を備えることを特徴としている。
【０００６】
装着者がＨＭＤを装着すると、眼前には半透過スクリーン及びホットミラーが位置する。装着者は半透過スクリーンを通して外部の映像を視認できる。一方、ＨＭＤの外部映像撮影手段はホットミラーによって反射された赤外光による装着者の眼前の外部の映像を撮影し、その映像情報を検出手段に送る。検出手段は、周知の画像処理方法を用いて、物体からの赤外光の位置を検出するとともに該赤外光の時間的パターン又は空間的パターンに基づき該物体を特定する。検出された位置の情報は投影手段に送られ、投影手段は検出された位置を用いて、半透過スクリーン上に、前記特定された物体に関する情報を投影する。物体に関する情報の投影位置を適切に設定することにより、外部の影像とその物体に関する情報とが装着者に分かりやすく重畳表示され、訓練、教育、バーチャルリアリティ等において従来よりも大きな効果を挙げることができるようになる。
【０００７】
本発明に係るＨＭＤでは、撮影した映像から画像処理により物体の位置を検出するとともに赤外光の時間的パターン又は空間的パターンに基づき該物体を特定するため、装着者に物体に関する情報を正確に、且つ、分かりやすく与えることができる。また、従来の磁気又は超音波による検出よりもより正確な位置検出を行なうことができ、ずれの少ない重畳表示を行なうことができる。
【０００８】
【実施例】
本発明の一実施例であるシースルー型ＨＭＤを図１〜図５により説明する。図１及び図２に示す通り、本実施例のＨＭＤ１０は、従来のシースルー型ＨＭＤに外部映像撮影手段が付加されたものとなっている。すなわち、従来のＨＭＤと同様、装着者の頭部に装着される本体部１１、本体部１１を装着したときに装着者の眼前に配置される半透過型のスクリーン１２、スクリーン１２に映像を出力する映像出力部１３等を備え、更に、外部映像撮影手段として、装着者の左右眼前に１対の赤外撮像部１４が設けられている。各赤外撮像部１４は、装着者の眼前に配置されるホットミラー１５と、ホットミラー１５の外側に設けられたカメラレンズ１６及びＣＣＤカメラ１７から成る。ホットミラー１５は、可視光を透過し、赤外光を反射する光学素子であり、装着者の眼前の景色から装着者の目の方に来る光のうち赤外光のみを反射してＣＣＤカメラ１７の方に送る。
【０００９】
本実施例のＨＭＤ１０の機能的構成を図３に示す。映像出力部１３は、半透過スクリーン１２に表示すべき映像を生成する映像生成部２１と、生成された映像をスクリーン１２に投映する投映部２２とから成る。映像生成部２１はコンピュータから成り、予め用意されたプログラムを実行することにより映像生成部２１として機能する。本実施例のＨＭＤ１０ではコンピュータに、この映像生成部２１としての機能に加え、赤外映像処理部２３としての機能をも持たせている。
【００１０】
以上の構成を有する本実施例のＨＭＤ１０の使用方法を次に説明する。まず、予め、これから視認しようとする外部の物体２５に赤外光源２６を取り付ける。赤外光源２６としては、赤外ＬＥＤ（発光ダイオード）が簡便で使用しやすい。なお、視認しようとする外部物体２５は１個でもよいし複数個でもよいが、複数個の場合は各赤外光源２６を識別できるようにしておく。例えば、発光の時間的パターンを変えるとか、空間的パターンをバーコード形式としておく等の方策をとることができる。
【００１１】
次に、ＨＭＤ１０の本体部１１を装着者の頭部に装着し、エアバッグ等により本体部１１を頭部に固定する。頭部に対する本体部１１の位置が固定された後、半透過スクリーン１２に適当な調整用パターンを投映し、装着者がその調整用パターンを所定の位置で視認するように、映像出力部１３の調整を行なう。なお、必要があれば出力映像の焦点調整も行なう。
【００１２】
以上の準備が整った後、使用を開始する。装着者が外部物体２５の方に向くと、外部物体２５に取り付けられた赤外光源２６から発した赤外光は左右のホットミラー１５で反射され、カメラレンズ１６を介してそれぞれの対応ＣＣＤカメラ１７に送られる。ＣＣＤカメラ１７は撮影した映像を表わす映像信号を生成し、赤外映像処理部２３に送る。なお、赤外映像処理部２３における物体認識をより容易にするため、ＣＣＤカメラ１７の前に赤外光フィルタを設け、撮影画像から予め不要な可視光を除去しておいてもよい。
【００１３】
赤外映像処理部２３では、まず、赤外光源２６の像が抜き出せるように、所定の赤外域波長を閾値として映像信号から２値映像を生成する。この２値映像に基づき、周知の画像処理技術により、各赤外光源２６の位置を検出するとともに、時間的パターン又は空間的パターンに基づいて各赤外光源２６の特定を行なう。赤外映像処理部２３は、特定した赤外光源２６に対応して予め記憶されている情報（物体情報）をメモリ（図示せず）から取り出し、赤外光源２６の位置の情報とともに映像生成部２１に送る。映像生成部２１では、物体情報を映像化し、その物体情報映像を赤外光源２６の箇所又はその近傍に配置した投映映像を生成する。投映映像は投映部２２によりスクリーン１２に投映される。
【００１４】
これにより装着者は、スクリーン１２を通過してくる外部の物体２５の映像と、スクリーン１２に投映される映像とを重畳して視認することになる。この重畳映像の一例を図４に示す。この例では、赤外光源２６を付けた物体２５の近傍にその物体２５に関する情報（例えば、その物体２５の名称、属性等）が表示されている。図５は、物体２７の内部構造又は物体２７の内部に含まれる物の映像２８を物体２７と同じ箇所に重畳して表示する例を示したものである。このような重畳表示により、装着者は各物体２５、２７に関する情報をその場で認識することができ、飛行機や自動車の操縦訓練、安全教育等においてより有効な訓練、教育を行なうことができる。また、仮想現実体験等においては、外部に種々の物体を配置すると共に、それに関する情報を予め準備しておくことにより、装着者により多様な仮想現実体験を与えることができるようになる。
【００１５】
なお、上記実施例では装着者の眼前にホットミラー１５を設けることにより、装着者が視認する外部映像に最も近い映像を撮影するようにしていたが、ＨＭＤの左右側部からＣＣＤカメラで直接前方の外部映像を撮影するようにし、赤外映像処理部２３における画像処理の段階で視差を補正するようにしてもよい。
【００１６】
また、上記実施例では、外部物体に赤外光源を取り付ける構成としたが、ＨＭＤに赤外光の発光源を取り付けるようにしてもよい。すなわち、ＨＭＤの前面に赤外光を投射して、その反射光をＣＣＤカメラで撮影することにより赤外光映像を撮影し、それに対して画像処理を施すことにより物体を特定することができる。この方法は、特に物体の外形が特徴を有する場合に有効となる。
【図面の簡単な説明】
【図１】  本発明の一実施例であるＨＭＤの平面図。
【図２】  実施例のＨＭＤの側面図。
【図３】  実施例のＨＭＤの機能ブロック図。
【図４】  実施例のＨＭＤの表示の一例を示す説明図。
【図５】  別の表示の例を示す説明図。
【符号の説明】
１０…ヘッドマウントディスプレイ（ＨＭＤ）
１１…本体部
１２…半透過スクリーン
１３…映像出力部
１４…赤外撮像部
１５…ホットミラー
１６…カメラレンズ
１７…ＣＣＤカメラ
２１…映像生成部
２２…投映部
２３…赤外映像処理部
２５、２７…外部物体
２６…赤外光源
【図１】
0003898816.tif 000002
【図２】
0003898816.tif 000003
【図３】
0003898816.tif 000004
【図４】
0003898816.tif 000005
【図５】
0003898816.tif 000006