(57)【要約】【課題】  外界を撮像する機能及び観察者の瞳位置を検出する機能を盛り込みながらも、小型、軽量である頭部装着型の映像表示装置を実現すること。【解決手段】  撮像カメラと、観察者の瞳位置を検出する機能を有する頭部装着型映像表示装置において、観察者の瞳の像光を撮像カメラに導く第１の光学系と、外界の像光を撮像カメラに導く第２の光学系を有し、瞳の像光は赤外光等、観察者に影響を与えない一定の波長を持つ光ａであり、第１の光学系はその光ａのみを導くよう構成し、第２の光学系は外光像中に含まれる光ａの成分を遮断するように構成する。【選択図】  図１
2005311754.tif 000002
【特許請求の範囲】
【請求項１】
撮像カメラと、観察者の瞳位置を検出する機能を有する頭部装着型映像表示装置において、観察者の瞳の像光を撮像カメラに導く第１の光学系と、外界の像光を前記撮像カメラに導く第２の光学系を有し、瞳の像光は赤外光等、観察者に影響を与えない一定の波長を持つ光ａであり、第１の光学系はその光ａのみを導くよう構成され、第２の光学系は外光像中に含まれる光ａの成分を遮断するように構成されていることを特徴とする頭部装着型映像表示装置。
【請求項２】
前記撮像カメラによって撮像された瞳像と外界像において、互いの像を分離する分離手段を有することを特徴とする請求項１の頭部装着型映像表示装置。
【請求項３】
前記分離された瞳像から観察者の左右の瞳位置を検出し、それに基づき、観察者の左右の眼に対応して設けられた左右の光学ユニットの表示パネル中心と、観察者の眼幅を合わすべく、表示パネル上に指標を提示する指標提示手段を有すると共に、その指標に基づき光学ユニットの表示パネル中心を観察者の眼幅に合わすべく左右の光学ユニットを移動可能にしたことを特徴とする請求項１の頭部装着型映像表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、外界像を撮像するカメラと観察者の瞳位置を検出する機能を有する頭部装着型映像表示装置に関するものである。
【背景技術】
【０００２】
観察者の左右の眼にそれぞれ対応する表示装置及び撮像カメラを備え、撮像カメラで撮像した外界像を表示装置に映じるようにした頭部装着型の表示装置がピデオシースルーヘッドマウントディスプレイとして知られている。この装置に於いて、さらに撮像光学系の光軸と表示光学系の光軸を一致させることにより、撮像カメラを通して見た外界像を、あたかも自分の眼で見たのと同じ視線で見ることができるようにしたものがある。この装置は、例えば、撮像カメラで取り込んだ現実世界の映像にコンピュータグラフィックス等で作成した仮想世界の像を重畳させた、いわゆる現実空間と仮想空間を融合させるという複合現実感に関する研究等に便用される。
【０００３】
一方、こうした装置において、観察者の見た方向を検出し、それを入力手段として使用する視線入力装置というものが知られている（特開平０８−０５０２５６）。これを実現させるためには、観察者の瞳の位置を検出する必要がある。
【０００４】
本来、こうした頭部装着型の映像表示装置は、人の頭部に装着するということから、小型、軽量であることが望ましいが、以上のような機能を盛り込んだ装置は複雑かつ大型化せざるを得ない。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
そこで、本発明は、上記のような外界を撮像する機能及び観察者の瞳位置を検出する機能を盛り込みながらも、小型、軽量である頭部装着型の映像表示装置を実現しようというものである。
【課題を解決するための手段】
【０００６】
本発明は、観察者の左右の眼に対応して設けられた外界像を取り込むための撮像用カメラと観察者の瞳を撮像するカメラを共用することを特徴とする。このために、観察者の瞳の像光を撮像カメラに導く第１の光学系と、外界の像光を撮像カメラに導く第２の光学系を有する。さらに瞳の像光は赤外光等、観察者に影響を与えない一定の波長を持つ光ａとし、第１の光学系はその光ａのみを導くように構成され、第２の光学系は外光像中に含まれる光ａの成分を遮断するように構成されている。また、撮像カメラに導かれた瞳像光と外界像光に対し、瞳像と外界像を分離する分離手段を有する。
【０００７】
さらに分離された瞳像から瞳位置を検出する検出手段を有する。また、検出された瞳位置に基づき、表示光学系の光軸中心すなわち表示パネル中心が観察者の眼幅に一致させるべく指標を表示装置に表示すると共に、その指標に基づき観察者の眼幅と左右の光学系の表示パネル中心が一致させられるよう上記光学系が移動可能に構成されている。
【０００８】
以上のような構成により、外界像を撮像する撮像カメラおよび視線検知機能を有した頭部装着型の映像表示装置において、外界像を撮像するカメラと瞳位置を検出するための観察者の瞳を撮像するカメラを共通化することにより、使用する撮像カメラの数を減らすことができるので小型かつ軽量な装置が実現できる。さらに視線検知用に検出した瞳位置情報により、表示光学系の光軸（表示パネル中心）と観察者の眼幅を一致させることが容易に可能となる。このことは、通常、観察者の眼幅は人それぞれ異なるため、そのバラツキを考慮すると光学設計上観察瞳の径を大きくする必要があり光学系自体が大きくなる。しかし観察者の眼幅に光学系を合わせることで観察瞳径を小さくできるので光学系そのものを小さくできる。すなわち装置の小型、軽量化に寄与できる。
【発明の効果】
【０００９】
以上述べたように、外界像を撮像するカメラと瞳位置検知機能を有する頭部装着型の表示装置において、外界像を撮像するカメラと観察者の瞳を撮像するカメラの共通化により、装置の小型化及び軽量化が可能となり、さらに撮像カメラの個数を減らすことによるコストの削減ができる。また検出された観察者の瞳位置のデータを基に、左右の光学ユニットを観察者の眼幅に合わせるようにすることで、光学系を小さくすることができさらに小型軽量化が計れる。
【発明を実施するための最良の形態】
【００１０】
（第１の実施例）
図１及び図２は本発明の実施形態に係わる頭部装着型映像表示装置（ピデオシースルＨＭＤ）の斜視図である。図中１は表示部で、撮像カメラ用の窓１ａ、１ｂ及び表示された映像を見る観察用の窓１ｃ、１ｄが観察者の左右の眼に対応する位置に設けられている。表示部１の中央部にはアーム部２ａを介して、装着時に装着者の前頭部を押圧するパッド２が設けられている。アーム部２ａの両サイドには円弧状に板バネ３‐Ｒ、３‐Ｌが左右方向に一体的に取り付けられている。さらに板バネ３‐Ｒ、３‐Ｌにはフレーム４‐Ｒ、４‐Ｌが一体的に取り付けられている。フレーム４‐Ｒ、４‐Ｌは、フレーム４‐Ｒ、４‐Ｌ内に一部を収納され、フレーム４‐Ｒ、４‐Ｌの後端部４ａ‐Ｒ、４ａ‐Ｌより後方に伸びている可撓性のバンド８により互いに連結されている。バンド８の中央部には装着した際、装着者の後頭部を押圧する後頭部押さえ５が設けられている。また、バンド８の表示部側端部にはつまみ６‐Ｒ、６‐Ｌが一体的に設けられている。つまみ６‐Ｒ、６‐Ｌはフレーム３‐Ｒ及び３‐Ｌの長手方向に摺動可能に取り付けられ、ラチェット機構（図示せず）により、矢印Ａ方向には自由に動き、矢印Ｂ方向にはロックされるようになっている。このロックはつまみ６‐Ｒ、６‐Ｌに設けられた解除つまみ７‐Ｒ、７‐Ｌを図１において上方向に押すことによりロックが解除されるようになっている。そしてロックが解除された状態ではつまみ６‐Ｒ、６‐Ｌは矢印Ｂ方向に自由に摺動させることが出来る。
【００１１】
以上述べたように、つまみ６‐Ｒ、６‐Ｌを観察者の頭部のサイズに合わせて矢印Ａ、Ｂ方向に摺動させ、前頭部押さえパッド２と後頭部押さえ５でそれぞれ観察者の前頭部と後頭部を押さえることにより表示部１を観察者の頭部に固定する。
【００１２】
図３は本装置を装着した状態を示す。観察者は図３に示すように本装置を頭部に装着し、表示部１に設けられた窓１ａ、１ｂを通して撮像された外界像を、観察窓１ｃ、１ｄを通して観察する。この時、撮像する方向と観察する方向がＬ１に示すように一致するよう、撮像光学系の光軸と表示光学系の光軸は光学的に調整されている。これにより、撮像カメラにより撮像された外界像を観察者は自分の視線で見たのと同じ感覚で見ることができる。
【００１３】
図４は表示部の外装カバーを外した内部を示す斜視図、図５はその側面図である。
【００１４】
図において、１２‐Ｒは表示光学系を構成するプリズムレンズ、１３‐Ｒは外界像を撮像カメラに導くためのプリズム、１４‐Ｒはその導かれた外界像を撮像するＣＣＤ等の後述する撮像素子及び撮像素子に結像させる後述する撮像レンズからなる撮像カメラ、１５‐Ｒは映像を表示させる為の後述する表示パネルを有する表示ユニットで、これらは基台１０‐Ｒ及び１１‐Ｒに一体的に固定されている。この基台１０‐Ｒ、１１‐Ｒに固定されたプリズムレンズ１２‐Ｒ、プリズム１３‐Ｒ、撮像カメラ１４‐Ｒ、表示ユニット１５‐Ｒにより観察者の右眼に対応した光学ユニット２０‐Ｒが構成される。
【００１５】
光学ユニット２０‐Ｒは本体カパーに回転自在に支持された軸１７に、基台１０‐Ｒの突出部１０ａ‐Ｒ及び１１‐Ｒの突出部１１ａ‐Ｒにおいて回転自在に取り付けられている。
【００１６】
ここで、基台１１‐Ｒの突出部１１ａ‐Ｒとそれに対応する軸１７の１７ａ部には互いにネジが設けられネジ嵌合になっている。
【００１７】
同様に観察者の左眼に対応した光学ユニット２０‐Ｌが、プリズムレンズ１２‐Ｌ、プリズム１３‐Ｌ、撮像カメラ１４‐Ｌ、表示ユニット１５‐Ｌとそれらを固定する基台１０‐Ｌ、１１‐Ｌにより構成される。そして光学ユニット２０‐Ｌは、光学ユニット２０‐Ｒと同様、本体カパーに回転自在に支持された軸１７に、基台１０‐Ｌの突出部１Ｏａ‐Ｌ及ぴ１１‐Ｌの突出部１１ａ‐Ｌにおいて回転自在に取り付けられている。また、基台１１‐Ｌの突出部１１ａ‐Ｌとそれに対応する軸１７の１７ｂ部は光学ユニット２０‐Ｒと同様ネジ嵌合になっている。ここで、ネジ部１７ａと１７ｂは互いに逆ネジの関係になっている。したがって、軸１７の中央部に設けられたつまみ１８を外部より回転させることにより、光学ユニット２０‐Ｒと２０‐Ｌは軸１７に沿って矢印Ｄ、Ｃに示すように互いに近づいたり、遠ざかったりする方向に移動可能になっている。なお、１９はつまみ１８を回転させた時、光学ユニット２０‐Ｒ、２０‐Ｌが相対的に回転しないよう表示カバー側に設けられた回転止めである。
【００１８】
図６、図７は上記光学ユニットの光学的な機能を説明する概略図で、図６は右側光学ユニット２０‐Ｒの平面図、図７は光軸Ｌ１に沿った断面Ｅ‐Ｅである。
【００１９】
ここで、上記において左右の光学ユニットを区別するためにＲ、Ｌの符号を付したが、機能的に同じであるため、以後の説明ではＲ、Ｌの符号は省略する。
【００２０】
図６において、外界像光Ｌ３は矢印Ｌ５、Ｌ６に示すようにプリズム１３のハーフミラー面１３ｂで反射し、さらに全反射条件を満たすように角度設定された面１３ａで全反射され、結像レンズ２２によりＣＣＤ等の撮像素子２３面上に結像される。この時、プリズム１３の面１３ａにはホットミラーコーティンクがされており、外界像光に含まれる赤外成分は面１３ａにおいて反射される。したがって、外界像光は可視光成分のみ撮像素子２３面上に結像される。
【００２１】
一方、観察者に影響を与えないように赤外成分のみを有するＬＥＤ２４、２４により照射された観察者の瞳１００の像光Ｌ８は、コールドミラーコーティングされたプリズムレンズ１２の面１２ａを透過し、補正レンズ１６、さらにプリズム１３のハーフミラー面１３ｂを通り、ホットミラーコーティングされたプリズム１３の面１３ａにて反射される。１３ａで反射された瞳像光は、外界像光と同様に、プリズム１３のハーフミラー面１３ｂで反射され、さらに１３ａで全反射され、結像レンズ２２により撮像素子２３曲上に結像される。
【００２２】
一方、液晶表示パネル２０とバックライト２１によって構成される表示部１５に表示された画像光Ｌ９は、矢印Ｌ１０、Ｌ１１で示すようにプリズムレンズ１２の自由曲面形状を有する面１２ｂ及び面１２ａ面において反射され、観察者の瞳１００に拡大投影される。
【００２３】
ここで、可視光成分のみを含む外界像光はプリズムレンズ１３のハーフミラー面１３ｂにおいて一部透過するが、コールドミラーコーティングされたプリズムレンズ１２の１２ａ面にて遮断され、観察者に影響を与えることはない。
【００２４】
図８は画像処理操作を示すブロック図で、図６に示す右側の光学ユニット２０‐Ｒに対応する。左側の光学ユニット２０‐Ｌに対応するブロック図は右側光学ユニットと同じであるので省略する。
【００２５】
上述したように撮像カメラ１４により取り込まれた観察者の瞳像と外界像は、パーソナルコンピュータ等の制御装置の入出力制御部１０１を介して、１画面毎に、順次画像メモリー１、２に取り込まれる。この時、撮像カメラ１４により取り込まれる１画面毎の画像に同期して赤外ＬＥＤ２４が点滅する。したがって赤外ＬＥＤ２４が点灯したタイミングで取り込まれた撮像カメラの像は、図９の（ａ）に示すように、外界像と観察者の瞳像が重なった画像となり、赤外ＬＥＤ２４が消えた状態で取り込まれた時の画像は図９の（ｂ）に示すように外界像のみの画像となる。
【００２６】
そして前者の像は画像メモリー１に、後者の像は画像メモリー２に取り込まれる。メモリー１とメモリー２に取り込まれた画像は画像処理部１０２にて演算され、図９の（ｃ）に示すように瞳像のみが抽出される。そして抽出された瞳像は瞳位置検出部１０３にて瞳の中心位置が求められる。そしてこの瞳の中心位置データは眼幅調整指示指標作成部１０４に送られる。
【００２７】
撮像カメラの撮像中心と表示パネルの中心の位置関係は装置固有の値として既知であるので、瞳位置検出部１０３において求められた観察者の瞳の中心位置データを基に、表示パネルの中心位置を算出できる。
【００２８】
例えば、光学ユニットの表示パネル中心位置と観察者の瞳中心位置が図１０（ａ）に示すようにずれ、結果、光学ユニットを図１０（ａ）において左方向に移動させなければならない場合、光学ユニットを移動させるための指標となる図９に示す矢印Ｆを眼幅調整指示指標作成部１０４において作成する。そして作成された矢印Ｆは画像合成部１０５に送られる。画像合成部１０５には同時にメモリー２に取り込まれた外界像のみの画像及び画像生成部１０６よりコンピュータグラフィックス等で作成された仮想像が送られ、それぞれ重畳され入出力制御部１０１を介して液晶表示パネル２０に送られる。
【００２９】
液晶表示パネル２０に表示された矢印Ｆを基に、観察者はつまみ１８を矢印に対応する方向に回転させ左右の光学ユニット２０‐Ｒ、２０‐Ｌを移動させる。そして観察者の瞳中心と表示パネルの中心が図１０の（ｂ）に示すように一致した時点で矢印Ｆが消える。以上のようにして観察者の眼幅と左右の光学ユニットの表示パネル中心が一致したことを観察者は容易かつ正確に確認することができる。
【００３０】
なお、眼幅の調整に際し、つまみ１８を手で回転させる代わりにモータ等を使用して光学ユニットを移動させ、自動的に眼幅を合わせることももちろん可能である。
【図面の簡単な説明】
【００３１】
【図１】本発明による装置全体を示す斜視図
【図２】本発明による装置全体を示す斜視図
【図３】本発明による装置を装着した状態を示す側面図
【図４】外装カバーを外した状態を示す斜視図
【図５】外装カバーを外した状態を示す側面図
【図６】本発明の光学系の概略を示す平面図
【図７】図６の断面図
【図８】本発明による画像処理を示すブロック図
【図９】画像処理を示す説明図
【図１０】眼幅調整の説明図
【符号の説明】
【００３２】
１  表示部
２  前頭部押さえパッド
３  板バネ
４  フレーム
５  後頭部押さえ
６  つまみ
７  解除つまみ
８  バンド
１０  基台
１１  基台
１２  プリズムレンズ
１３  プリズム
１４  撮像カメラ
１５  表示ユニット
１６  補正レンズ
１８  つまみ
１９  回転止め
２０  液晶表示パネル
２１  バックライト
２４  赤外ＬＥＤ
【図１】
2005311754.tif 000003
【図２】
2005311754.tif 000004
【図３】
2005311754.tif 000005
【図４】
2005311754.tif 000006
【図５】
2005311754.tif 000007
【図６】
2005311754.tif 000008
【図７】
2005311754.tif 000009
【図８】
2005311754.tif 000010
【図９】
2005311754.tif 000011
【図１０】
2005311754.tif 000012