(57)【要約】【課題】撮像部が使用者の視界を遮ることを防止することができる表示装置を提供することである。【解決手段】表示装置は、映像を撮像する少なくとも１つの撮像部（１１ａ，１１ｂ）と、前記撮像部により撮像された映像に基づく映像を表示する２つの表示部（１２ａ，１２ｂ）とを有し、前記撮像部は、前記表示部の外周と使用者の瞳とを結ぶ接線より内側に配置される。【選択図】図２
2019125965.tif 000002
【特許請求の範囲】
【請求項１】
映像を撮像する少なくとも１つの撮像部と、
前記撮像部により撮像された映像に基づく映像を表示する２つの表示部とを有し、
前記撮像部は、前記表示部の外周と使用者の瞳とを結ぶ接線より内側に配置されることを特徴とする表示装置。
【請求項２】
前記撮像部は、
映像を撮像する撮像素子と、
光像を前記撮像素子に結像させる撮像光学部とを有し、
前記表示部の各々は、
映像を表示する表示素子と、
前記表示素子に表示された映像を使用者の眼に結像させる表示光学部とを有することを特徴とする請求項１に記載の表示装置。
【請求項３】
前記表示部は、使用者が前記表示部の映像と視野周辺の実視界とを両眼視で連続的に視認することができるように、映像を表示することを特徴とする請求項１又は２に記載の表示装置。
【請求項４】
使用者が前記表示部の映像と視野周辺の実視界とを両眼視で連続的に視認することができるように、機構的及び光学的に配置及び画角の調整を行うことを特徴とする請求項２に記載の表示装置。
【請求項５】
前記撮像部の撮像画角と前記表示部の表示画角は、略等しいことを特徴とする請求項１〜４のいずれか１項に記載の表示装置。
【請求項６】
前記撮像部により撮像された映像の一部を切り出し、前記切り出した映像の解像度を表示用解像度に変換する解像度変換部と、
前記解像度変換部により変換された映像の表示位置を調整する表示位置調整部とをさらに有し、
前記解像度変換部と前記表示位置調整部は、使用者が前記表示部の映像と視野周辺の実視界とを両眼視で連続的に視認することができるように、処理することを特徴とする請求項１〜５のいずれか１項に記載の表示装置。
【請求項７】
両眼の幅が異なる使用者に対して、使用者が前記表示部の映像と視野周辺の実視界とを両眼視で連続的に視認することができるように、機構的及び光学的に配置及び画角の調整を行うことができることを特徴とする請求項４に記載の表示装置。
【請求項８】
両眼の幅が異なる使用者に対して、前記解像度変換部と前記表示位置調整部は、使用者が前記表示部の映像と視野周辺の実視界とを両眼視で連続的に視認することができるように、処理することができることを特徴とする請求項６に記載の表示装置。
【請求項９】
前記撮像部の撮像画角は、前記表示部の外周と使用者の瞳とを結ぶ接線の角度に対して、同じか大きいことを特徴とする請求項１〜８のいずれか１項に記載の表示装置。
【請求項１０】
前記表示光学部は、前記表示素子の有効表示領域の映像を使用者が観測できるように、前記有効表示領域の映像を使用者の眼に結像させ、
前記表示素子は、前記有効表示領域より広い領域に映像を表示することを特徴とする請求項２に記載の表示装置。
【請求項１１】
前記表示装置は、ヘッドマウントディスプレイであることを特徴とする請求項１〜１０のいずれか１項に記載の表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示装置に関する。
【背景技術】
【０００２】
近年、現実空間と仮想空間をリアルタイムでシームレスに融合させる技術として、複合現実感（ＭＲ：Ｍｉｘｅｄ  Ｒｅａｌｉｔｙ）技術や拡張現実感（ＡＲ：Ａｕｇｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ）技術が知られている。これらの技術の１つとして、ビデオシースルー方式のヘッドマウントディスプレイ（ＨＭＤ）を利用する技術が知られている。ＨＭＤ装着者の瞳位置から観察される被写体と略一致する被写体をビデオカメラなどで撮像し、その撮像画像にコンピュータグラフィック（ＣＧ）を重畳表示した画像をＨＭＤ装着者がＨＭＤ内部パネルを通して観察できる。
【０００３】
このとき、ビデオカメラなどの撮像部が、大きかったり、使用者から見て表示部よりも外側に配置されたりすると、それを包含するための外装はさらに大きくならざるを得ないため、結果として表示部の映像と視野周辺の現実の視界とが隔てられることになる。
【０００４】
さらには、ビデオシースルー映像への没入感を向上させるために、視野周辺を遮蔽するアイカップなどを用いると、使用者からは現実の視界が無くなることになるが、これは近年のＨＭＤの課題である映像酔いを助長することが分かっている。
【０００５】
また、ＨＭＤの中でも光学シースルー方式は実視界が見えているため、視野周辺を開放する構成が多く、一方でフルバーチャルのＨＭＤは実視界が不要なため、視野周辺を遮蔽する構成が多い中、ビデオシースルー方式のＨＭＤで視野周辺を開放する構成は多くない。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特許第５３１１４４０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
特許文献１では、使用者の作業支援を行う目的で、単眼のＨＭＤにおいてビデオシースルー映像と視野周辺の視界を連続的に見えるように構成する技術が開示されている。しかし、特許文献１では、実映像取得用のカメラのみならず、ＨＭＤの位置合わせ用のカメラが存在する場合など、表示部と撮像部が１対１で無い場合に言及しておらず、カメラの光軸も固定されているため、構造の自由度が少ない。さらに、両眼に対応する場合は、単眼を２つ配置するだけでなく、眼の間に存在する鼻による単眼視界のケラレや、眼幅の異なる使用者に適応することを考慮しなければならない。
【０００８】
本発明の目的は、撮像部が使用者の視界を遮ることを防止することができる表示装置を提供することである。
【課題を解決するための手段】
【０００９】
本発明の表示装置は、映像を撮像する少なくとも１つの撮像部と、前記撮像部により撮像された映像に基づく映像を表示する２つの表示部とを有し、前記撮像部は、前記表示部の外周と使用者の瞳とを結ぶ接線より内側に配置される。
【発明の効果】
【００１０】
本発明によれば、撮像部が使用者の視界を遮ることを防止することができる。
【図面の簡単な説明】
【００１１】
【図１】ヘッドマウントディスプレイの使用例を示す図である。
【図２】ヘッドマウントディスプレイの構成例を示す図である。
【図３】表示部を説明するための図である。
【図４】ヘッドマウントディスプレイの構成例を示すブロック図である。
【図５】ヘッドマウントディスプレイの構成例を示すブロック図である。
【図６】電気的に調整された映像を示す図である。
【図７】ヘッドマウントディスプレイの構成例を示す図である。
【図８】ヘッドマウントディスプレイの構成例を示すブロック図である。
【図９】ヘッドマウントディスプレイの構成例を示す図である。
【発明を実施するための形態】
【００１２】
以下、本発明の実施形態を、図面を参照しながら説明する。本発明の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されるわけではない。また、ヘッドマウントディスプレイをＨＭＤと呼称する。
【００１３】
（第１の実施形態）
図１は、本発明の第１の実施形態によるＨＭＤ２を装着した使用者１を後方から観察した状態を示す図である。使用者１は、頭部に、ビデオシースルー方式のＨＭＤ２を装着している。ＨＭＤ２は、図１において左目用のＨＭＤしか見えていないが、使用者１の奥側に右目用のＨＭＤも存在する。使用者１は、奥にある現実物体３を見ている。現実物体３は、ＨＭＤ２のフレームの外側に見えている部分と、ＨＭＤ２のフレームの内側に見えている部分が存在する。ＨＭＤ２のフレームの外側に見えている現実物体３の部分は、使用者の視野周辺で視認可能な実視界の光像となる。一方で、ＨＭＤ２のフレームの内側に見えている現実物体３の部分は、ＨＭＤ２のカメラで撮像した映像をＨＭＤ２内のディスプレイに表示することで、使用者が観察できる撮像表示映像となる。ここで、実視界の光像とＨＭＤ２内の撮像表示映像が連続的に見えることが重要である。
【００１４】
図２は、第１の実施形態によるＨＭＤ２の構成例を示す模式図である。眼１０ａは、使用者の左眼である。眼１０ｂは、使用者の右眼である。ＨＭＤ２は、ビデオシースルー方式のＨＭＤであり、左眼１０ａに対応する撮像部１１ａと、右眼１０ｂに対応する撮像部１１ｂと、左眼１０ａに対応する表示部１２ａと、右眼１０ｂに対応する表示部１２ｂとを有する。撮像部１１ａ及び１１ｂの各々は、撮像光学部１１１と、撮像素子１１２とを有する。表示部１２ａ及び１２ｂの各々は、表示素子１２１と、表示光学部１２２とを有する。
【００１５】
撮像光学部１１１は、外界の光像を撮像素子１１２に結像させる。撮像素子１１２は、撮像光学部１１１により結像された光を電気信号に変換することにより、映像を撮像する。表示素子１２１は、撮像素子１１２で撮像された映像を表示する。表示光学部１２２は、表示素子１２１に表示された映像を使用者の眼１０ａ又は１０ｂに結像させる。
【００１６】
表示素子１２１は、撮像素子１１２で撮像された映像のみならず、ＣＧが重畳された映像を表示してもよい。また、表示素子１２１は、有機ＥＬディスプレイのみならず、液晶ディスプレイやＬＣＯＳなどの外部に光源を必要とするデバイスを使用してもよい。表示光学部１２２は、自由曲面プリズムなどの偏心光学部のみならず、通常の共軸光学部や、後述する調整のためにズーム機構を有する光学部を使用してもよい。
【００１７】
撮像光学部１１１は、単焦点の光学部のみならず、後述する調整のためにズーム機構を有してもよいし、ＨＭＤ２全体の寸法を小さくするために、折り曲げ式の光学部を有してもよいし、レンズより前にミラーやプリズムなどの部品を使用してもよい。撮像素子１１２は、可視光線を電気信号に変換するＣＣＤもしくはＣＭＯＳイメージセンサのみならず、使用者の複合現実体験を拡張するために、赤外線などの可視光線以外を電気信号に変換する素子を使用してもよい。
【００１８】
角度ａ−ａ’は、使用者の左眼１０ａの視野角である。角度ｄ−ｄ’は、使用者の右眼１０ｂの視野角である。角度ａ−ａ’及び角度ｄ−ｄ’は、ヒトの視野角の特性として水平方向に約１５０°である。また、角度ａ−ｄ’は、使用者の両眼１０ａ及び１０ｂの視野角であり、ヒトの視野角の特性として水平方向に約２００°である。また、ヒトは、垂直方向に約１５０°の視野角を持っているが、ここでは水平方向について説明し、垂直方向の説明は割愛する。垂直方向も、水平方向と同様に適用することができる。
【００１９】
角度ｂ−ｂ’は、使用者の左眼１０ａの瞳と表示部１２ａの表示光学部１２２の外周とを結ぶ接線の角度である。角度ｅ−ｅ’は、使用者の右眼１０ｂの瞳と表示部１２ｂの表示光学部１２２の外周とを結ぶ接線の角度である。使用者は、この角度ｂ−ｂ’及び角度ｅ−ｅ’の内側にある物体を直接視認することができない。角度ｂ−ｂ’及び角度ｅ−ｅ’の内側は、使用者の死角となる。そこで、角度ｂ−ｂ’及び角度ｅ−ｅ’の内側に、撮像部１１ａ，１１ｂ及び表示部１２ａ，１２ｂの表示素子１２１を配置する。これにより、使用者の視野周辺を遮らずに、表示映像と実視界との連続性を確保することができる。
【００２０】
角度ｃ−ｃ’は、撮像部１１ａの撮像画角である。角度ｆ−ｆ’は、撮像部１１ｂの撮像画角である。使用者から見て、角度ｂ−ｂ’及び角度ｅ−ｅ’に見える表示映像（ビデオシースルー映像）と、それ以外の実視界を連続的に視認するためには、角度ｂ−ｂ’及び角度ｅ−ｅ’に対して、角度ｃ−ｃ’及び角度ｆ−ｆ’が同じか大きい必要がある。
【００２１】
距離ｇは、使用者の両眼１０ａ及び１０ｂの幅を示しており、日本人の平均値が６３ｍｍである。しかし、各使用者によって距離ｇが異なるため、単眼のＨＭＤの場合と違って、調整することが必要になる。以下、その解決手段を説明する。
【００２２】
まず、角度ｂ−ｂ’が角度ａ−ａ’より狭く、角度ｅ−ｅ’が角度ｄ−ｄ’より狭くなれば、角度ａ’−ｂ’及び角度ｄ−ｅは広くなるが、これは両眼視に悪影響を及ぼすため遮蔽することが望ましい。
【００２３】
距離ｇに合わせて、表示部１２ａ及び１２ｂの相対的位置を移動すると、角度ｂ−ｂ’及び角度ｅ−ｅ’は変わらない。しかし、この場合、表示部１２ａ，１２ｂと鼻との位置関係も含め、眼１０ａ及び１０ｂの瞳からの角度ａ’及びｄが変化する可能性が高いため、それに合わせて角度ａ’−ｂ’および角度ｄ−ｅを遮蔽する必要がある。
【００２４】
また、距離ｇにかかわらず、表示部１２ａ及び１２ｂを固定し、眼１０ａ及び１０ｂの瞳への光学的な結像位置を広くすることで対応すると、眼１０ａ及び１０ｂの瞳からの角度ｂ’及びｅが変わる。そのため、それに合わせて、角度ａ’−ｂ’及び角度ｄ−ｅを遮蔽する必要がある。
【００２５】
前述した通り、距離ｇに合わせて、表示部１２ａ及び１２ｂの相対的位置を移動する場合と固定したままの場合が存在するが、撮像部１１ａ及び１１ｂは、必ずしも表示部１２ａ及び１２ｂの移動に追従する必要はない。
【００２６】
表示部１２ａ及び１２ｂの移動に合わせて、撮像部１１ａ及び１１ｂも移動し、眼１０ａ及び１０ｂの瞳から前方への光軸に揃えると、使用者に対して最も違和感の少ない映像を提示できる。しかし、撮像部１１ａ及び１１ｂがマーカー等を認識してＨＭＤ２の位置合わせ演算を同時に行っている場合は、演算が正しく行えない。逆に、撮像部１１ａ及び１１ｂ間の距離が固定されている場合は、撮像部１１ａ及び１１ｂ間の距離が変わるたびに必要となるキャリブレーションを実施する必要がなく、位置合わせ演算を容易に実現できる。
【００２７】
以上のように、ＨＭＤ２が両眼に対応するためには、使用者の両眼１０ａ及び１０ｂの幅ｇが異なっている場合には、ＨＭＤ２の調整が必要である。ＨＭＤ２は、幅ｇに応じて、両眼視の中央の角度ａ’−ｂ’及び角度ｄ−ｅを遮蔽することと、撮像部１１ａ及び１１ｂ間の距離並びに表示部１２ａ及び１２ｂ間の距離を調整すること、のいずれもが必要となる。
【００２８】
図３は、図２の左眼１０ａの表示部１２ａを説明するための模式図である。図３は、図２と異なり、左眼１０ａを横方向から観察しているため、角度ｈ−ｈ’は垂直方向の死角を示しているが、前述の通り、水平方向の説明をするため、垂直方向の説明を割愛する。
【００２９】
表示素子１２１は、撮像部１１ａで撮像された映像を表示する。使用者は、表示光学部１２２を通して、表示素子１２１の映像を観察することが可能となる。このとき、表示素子１２１に表示される映像は、使用者が観察できる有効表示領域１２３より広い領域に表示される。表示素子１２１に表示される映像が有効表示領域１２３より狭いと、使用者は、表示素子１２１の面又はＨＭＤ２の内部の構造物が見えてしまい、表示映像と視野周辺の実視界との連続性が失われる。
【００３０】
表示光学部１２２は、表示素子１２１の有効表示領域１２３の映像を使用者が観測できるように、有効表示領域１２３の映像を使用者の眼１０ａ，１０ｂに結像させる。表示素子１２１は、有効表示領域１２３より広い領域に映像を表示する。
【００３１】
ＨＭＤ２は、図２の角度ｃ−ｃ’（角度ｆ−ｆ’）が角度ｂ−ｂ’（角度ｅ−ｅ’）に対して同じか大きく、有効表示領域１２３と角度ｃ−ｃ’（角度ｆ−ｆ’）が同じになるよう調整することで、表示映像と視野周辺の実視界が連続して視認可能となる。
【００３２】
次に、表示される撮像映像と視野周辺の実視界を連続的に視認するために、ＨＭＤ２の構成と映像調整の方法及び処理の手順を図４と図５を用いて説明する。図４は、機構的及び光学的に映像を調整するＨＭＤ２の構成例を示すブロック図である。ＨＭＤ２は、左眼用の撮像部２１ａと、左眼用の処理部２２ａと、左眼用の表示部２３ａと、右眼用の撮像部２１ｂと、右眼用の処理部２２ｂと、右眼用の表示部２３ｂとを有する。撮像部２１ａは図２の撮像部１１ａに対応し、撮像部２１ｂは図２の撮像部１１ｂに対応する。表示部２３ａは図２の表示部１２ａに対応し、表示部２３ｂは図２の表示部１２ｂに対応する。
【００３３】
撮像部２１ａ及び２１ｂの各々は、撮像レンズ２１１と、イメージセンサ２１２とを有する。撮像レンズ２１１は、図２の撮像光学部１１１と同じであり、外界の光像をイメージセンサ２１２に結像させる。撮像レンズ２１１は、ズームレンズを用いることも可能であり、表示される映像と視野周辺の実視界を連続的に視認するためには、使用者から見て、表示部２３ａ，２３ｂによる死角に対して、撮像画角が同じかそれより広くなければならない。逆に、撮像レンズ２１１の撮像画角を狭くして顕微鏡のようにＨＭＤ２を使用することも可能である。また、映像中心から周辺方向への連続性を主に説明しているが、映像の連続性という意味では、使用者から奥行き方向への違和感が少ない連続性も必要であり、被写界深度が極端に浅くならないように、ヒトの眼の特徴に合わせた調整が必要である。
【００３４】
イメージセンサ２１２は、図２の撮像素子１１２と同じであり、撮像レンズ２１１により結像された光を電気信号に変換する。イメージセンサ２１２は、可視光を電気信号に変換するＣＣＤ又はＣＭＯＳのイメージセンサの他、赤外光を電気信号に変換するイメージセンサでもよい。
【００３５】
撮像部２１ａ及び２１ｂは、図２の撮像部１１ａ及び１１ｂと同様に、使用者から見て表示部２３ａ及び２３ｂの死角に配置される。撮像部２１ａ及び２１ｂの撮像画角は、表示部２３ａ及び２３ｂの死角より広い。撮像部２１ａ及び２１ｂは、必ずしも使用者と観察物体を結ぶ光軸上に置く必要がない。ここで、ＨＭＤ２が機構的及び光学的に調整するためには、撮像部２１ａ，２１ｂの撮像画角が表示部２３ａ，２３ｂの表示画角に略等しいことと、使用者から前方への光軸に対して両眼の撮像部２１ａ及び２１ｂが水平であること、が要求される。また、撮像部２１ａ，２１ｂが使用者から遠ざかれば遠ざかるほど、観察対象の大きさが実際の大きさとは異なって見える現象が存在するため、できる限り、撮像部２１ａ及び２１ｂを使用者の近くに配置することが重要である。これにより、表示部２３ａ及び２３ｂは、使用者が表示部２３ａ，２３ｂの映像と視野周辺の実視界とを両眼視で連続的に視認することができるように、映像を表示することができる。
【００３６】
処理部２２ａは、左眼用の処理部であり、撮像部２１ａにより撮像された映像を処理する。処理部２２ｂは、右眼用の処理部であり、撮像部２１ｂにより撮像された映像を処理する。処理部２２ａ及び２２ｂの各々は、画像処理部２２１を有する。画像処理部２２１は、撮像映像をヒトの眼で正しく観察できるようにするための色や明るさに関する処理、撮像映像からＨＭＤ２の位置を演算する処理、撮像映像に対してＨＭＤ２の位置から見たＣＧを重畳する処理、表示するために補正する処理などを行う。画像処理部２２１は、ビデオシースルー方式のＨＭＤ２に必要な画像処理を行う。
【００３７】
表示部２３ａは、処理部２２ａにより処理された映像を表示する。表示部２３ｂは、処理部２２ｂにより処理された映像を表示する。表示部２３ａ及び２３ｂの各々は、ディスプレイ２３１と、表示プリズム２３２とを有する。
【００３８】
ディスプレイ２３１は、図２の表示素子１２１と同じであり、映像を表示する。ディスプレイ２３１は、有機ＥＬディスプレイ、液晶ディスプレイ、又はＬＣＯＳや網膜投影型のプロジェクタである。ディスプレイ２３１は、使用者の死角に入るサイズ及び配置である。
【００３９】
表示プリズム２３２は、図２の表示光学部１２２と同じであり、表示映像を使用者の瞳へ結像する。表示プリズム２３２の代わりに、共軸及び偏心光学部を用いた通常のレンズやフレネルレンズ、又はミラーなどの反射光学部を用いてもよい。
【００４０】
表示部２３ａ及び２３ｂは、使用者の両眼１０ａ及び１０ｂの幅ｇに応じて構成される。前述のように、ディスプレイ２３１に表示する映像は、表示プリズム２３２の有効画角よりも広い。機構的及び光学的に調整するためには、表示部２３ａ，２３ｂの表示画角が撮像部２１ａ，２１ｂの撮像画角に略等しいことと、使用者から観察方向に向いた光軸に対して両眼の表示部２３ａ及び２３ｂが水平であること、が要求される。これにより、両眼の幅ｇが異なる使用者に対して、ＨＭＤ２は、使用者が表示部２３ａ，２３ｂの映像と視野周辺の実視界とを両眼視で連続的に視認することができるように、機構的及び光学的に配置及び画角の調整を行うことができる。
【００４１】
ここまで、図４を用いて、機構的及び光学的に調整する方法を述べてきたが、図５及び図６（Ａ）〜（Ｃ）を用いて、電気的に調整する方法を説明する。図５は、電気的に映像を調整するＨＭＤ２の構成例を示すブロック図である。ＨＭＤ２は、撮像部２１ａ，２１ｂと、処理部２４ａ，２４ｂと、表示部２３ａ，２３ｂとを有する。図５のＨＭＤ２は、図４のＨＭＤ２に対して、処理部２２ａ及び２２ｂの代わりに、処理部２４ａ及び２４ｂを設けたものである。図５の撮像部２１ａ及び２１ｂは図４の撮像部２１ａ及び２１ｂと同じであり、図５の表示部２３ａ及び２３ｂは図４の表示部２３ａ及び２３ｂと同じである。
【００４２】
処理部２４ａは、図４の処理部２２ａの代わりに設けられる。処理部２４ｂは、図４の処理部２２ｂの代わりに設けられる。処理部２４ａ及び２４ｂの各々は、画像処理部２２１の他、解像度変換部２４１と表示位置調整部２４２とを有する。
【００４３】
解像度変換部２４１は、撮像レンズ２１１により広画角で撮像した場合、イメージセンサ２１２により撮像された映像の一部を切り出し、その切り出した映像の解像度を表示用解像度に変換することで、表示映像と視野周辺の実視界との連続性を確保する。また、撮像部２１ａ及び２１ｂが有効表示領域よりも少し広めに映像を撮像し、解像度変換部２４１が切り出すことにより、撮像部２１ａ及び２１ｂを組み立てる際に発生する製造工程上の配置ずれなどの誤差を吸収することが可能となる。図６（Ａ）において、撮像部２１ａ及び２１ｂは、少し広めの映像３１を撮像する。解像度変換部２４１は、撮像された映像３１から映像３２を切り出す。
【００４４】
画像処理部２２１は、解像度変換部２４１により変換された映像に対して処理する。表示位置調整部２４２は、画像処理部２２１により処理された映像の表示位置を調整する。前述の通り、表示のないディスプレイ２３１の面や内部構造物を使用者に見せずに、表示映像と視野周辺の実視界との連続性を確保するためには、ディスプレイ２３１に表示する映像は、表示プリズム２３２の有効画角よりも広くする必要がある。一方で、表示部２３ａ及び２３ｂを組み立てる際には、製造工程上の配置ずれなどの誤差が生じるため、これを表示位置調整部２４２で調整し吸収する。図６（Ｂ）において、表示位置調整部２４２は、ディスプレイ２３１の表示可能エリア３３に対して、映像３４の表示位置を調整する。表示部２３ａ及び２３ｂは、表示可能エリア３３に映像３４を表示する。映像３４は、表示プリズム２３２の有効表示領域３５よりも少し広く表示される。
【００４５】
両眼の幅ｇが異なる使用者に対して、処理部２４ａ及び２４ｂは、画角や配置を機構的及び光学的に一意に決定しなくても、使用者が表示部２３ａ，２３ｂの映像と視野周辺の実視界とを両眼視で連続的に視認することができるように、電気的に映像を調整する。図６（Ｃ）において、映像３６は、使用者から見たＨＭＤ２のビデオシースルー映像であり、表示プリズム２３２を介してディスプレイ２３１に表示される映像である。表示映像３６と使用者の実視界３７は、連続的に視認することが可能である。
【００４６】
ＨＭＤ２は、広画角な表示用途以外の撮像映像と、切り出した表示用の映像とを同時に取得するなど、様々な仕様の製品設計が可能となり、製造上の組立誤差を吸収したり、設計余裕を拡大することが可能となる。ＨＭＤ２は、図４では機構的及び光学的に映像を調整し、図５では電気的に映像を調整し、表示映像と視野周辺の実視界との連続性を確保する。ＨＭＤ２は、図４の調整と図５の調整とを複合的に製品設計へ適用してもよい。
【００４７】
（第２の実施形態）
図７は、本発明の第２の実施の形態によるＨＭＤ２構成例を示す図である。図７のＨＭＤ２は、図２のＨＭＤ２に対して、左眼１０ａのための撮像部１３ａ及び右眼１０ｂのための撮像部１３ｂを追加したものである。以下、本実施形態が第１の実施形態と異なる点を説明する。撮像部１３ａ及び１３ｂの各々は、撮像光学部１３１と、撮像素子１３２とを有する。
【００４８】
撮像部１１ａ及び１１ｂは、表示部１２ａ及び１２ｂに表示するための映像を撮像する。これに対し、撮像部１３ａ及び１３ｂは、ＨＭＤ２の位置合わせ演算用の映像を撮像したり、使用者のジェスチャー又は外部環境の情報を取得したり、表示のみに使用される目的ではない映像を撮像する。
【００４９】
撮像光学部１３１は、表示部１２ａ及び１２ｂに表示される表示映像と視野周辺に実視界との連続性を考慮する必要がないため、撮像画角が限定されない。前述の用途においては、撮像光学部１３１は、広画角であることが優先される状況が多い。そのため、撮像部１３ａの撮像画角の角度ｉ−ｉ’は、撮像部１１ａの撮像画角の角度ｃ−ｃ’より大きい。同様に、撮像部１３ｂの撮像画角の角度ｊ−ｊ’は、撮像部１１ｂの撮像画角の角度ｆ−ｆ’より大きい。なお、角度ｉ−ｉ’及び角度ｊ−ｊ’は、それぞれ、角度ｃ−ｃ’及び角度ｆ−ｆ’より小さくてもよい。
【００５０】
撮像素子１３２は、撮像映像の使用用途に応じて、様々な撮像素子を用いることができる。撮像素子１３２は、可視光線領域におけるカラー、モノクロに限らず、赤外光を用いたステレオカメラ方式やＴＯＦ方式の深度センサでもよい。
【００５１】
撮像部１１ａ及び１１ｂと同様に、撮像部１３ａ及び１３ｂも、使用者から見て表示部１２ａ及び１２ｂの死角に配置することが、表示映像と視野周辺の実視界との連続性を確保するために重要である。また、２個の表示部１２ａ及び１２ｂの各々の死角に対して３個以上の撮像部を設けてもよい。
【００５２】
図８は、本実施形態によるＨＭＤ２の構成例を示すブロック図である。図８のＨＭＤ２は、図５のＨＭＤ２に対して、撮像部２５ａ，２５ｂ及び処理部２６ａ，２６ｂを追加したものである。図８の撮像部２１ａ，２１ｂと、表示部２３ａ，２３ｂと、処理部２４ａ，２４ｂは、図５のものと同じである。
【００５３】
撮像部２５ａは図７の撮像部１３ａに対応し、撮像部２５ｂは図７の撮像部１３ｂに対応する。撮像部２５ａ及び２５ｂの各々は、撮像レンズ２５１と、イメージセンサ２５２とを有する。
【００５４】
撮像レンズ２５１は、図７の撮像光学部１３１と同じであり、外界の光像をイメージセンサ２１２に結像させる。撮像レンズ２５１の撮像画角は、撮像映像の使用用途に応じて決定され、ＨＭＤ２の別の構成要素から限定を受けることはない。
【００５５】
イメージセンサ２５２は、図７の撮像素子１３２と同じであり、撮像レンズ２５１により結像された光を電気信号に変換し、映像を撮像する。イメージセンサ２５２は、撮像映像の使用用途に応じて画角が決定され、入力は可視光線に限定されない。
【００５６】
処理部２６ａは、撮像部２５ａにより撮像された映像を処理する。処理部２６ｂは、撮像部２５ｂにより撮像された映像を処理する。処理部２６ａ及び２６ｂの各々は、画像処理部２６１を有する。画像処理部２６１は、ＨＭＤ２の位置合わせの演算やジェスチャーの分析、もしくは外部環境の情報を用いたＨＭＤ２へのフィードバックなど、使用用途に応じた画像処理を行う。画像処理部２２１は、画像処理部２６１が出力する情報を処理し、画像処理部２６１の情報をＨＭＤ２の映像へフィードバックする。
【００５７】
（第３の実施形態）
図９は、本発明の第３の実施の形態によるＨＭＤ２の構成例を示す図である。図９のＨＭＤ２は、図２のＨＭＤ２に対して、両眼の撮像部１１ａ及び１１ｂの代わりに、単眼の撮像部１４を設けたものである。図９の表示部１２ａ及び１２ｂは、図２のものと同じである。以下、本実施形態が第１の実施形態と異なる点を説明する。撮像部１４は、撮像光学部１４１と、撮像素子１４２とを有し、映像を撮像する。撮像光学部１４１は、図２の撮像光学部１１１と同様である。撮像素子１４２は、図２の撮像素子１１２と同様である。
【００５８】
表示部１２ａ及び１２ｂは、撮像部１４により撮像された映像を表示する。そのため、ＨＭＤ２は、立体視は困難だが、両眼用の表示部１２ａ及び１２ｂが存在するビデオシースルー方式のＨＭＤとしては最小の構成となる。
【００５９】
撮像部１４は、角度ｋ−ｋ’の範囲を撮像する。図５の解像度変換部２４１は、前述のように、映像の切り出しを行うことができる。その場合、撮像部１４の撮像画角の角度ｋ−ｋ’は、角度ｂ−ｂ’及び角度ｅ−ｅ’以上であればよい。撮像部１４は、広画角な表示以外の用途に使用する撮像映像と、表示するための撮像映像とを分離してもよい。撮像素子１４２は、第１及び第２の実施形態と同様に、撮像映像の使用用途に応じて様々な撮像素子を用いることができる。撮像部１４を使用者から見て表示部１２の死角に配置することが、表示映像と視野周辺の実視界との連続性を確保するために重要である。本実施形態によるＨＭＤ２の構成と映像調整の処理は、第１の実施形態の図４及び図５と同様である。
【００６０】
第１〜第３の実施形態によれば、ＨＭＤ２は、使用者から見て両眼用の表示部の死角に撮像部を配置し、その死角の外側に大きく構造物が存在しないように外装を構成する。これにより、使用者から見て、視野周辺の実視界及び表示部以外の死角が少ないＨＭＤ２を提供することができる。また、ＨＭＤ２は、図４のように機構的及び光学的に映像を調整し、又は図５のように電気的に映像を調整し、表示部に表示されるビデオシースルー映像と視野周辺の実視界とが連続的に見えるようにする。
【００６１】
ビデオシースルー方式を用いたＨＭＤ３で、撮像部の撮像画角及び表示部の表示画角が狭いことは、使用者の視野そのものが狭いことを意味し、安全上の観点からも製品の仕様としても好ましくない。第１〜第３の実施形態では、画角が狭いことは、表示部が表示する表示映像の領域だけが狭いことになり、使用者の視界は確保されるため、様々な仕様のＨＭＤ２を製品として実現することができる。
【００６２】
また、ＨＭＤ２は、光学シースルー方式の良い点である実視界と表示映像との連続性による複合現実感の向上に加え、光学シースルー方式の課題であるＣＧが透けてしまうことによる複合現実感の低減をビデオシースルー方式で解決できる。そのため、総合的な複合現実感の向上を体験できる。また、没入型のフルバーチャル方式及びビデオシースルー方式のＨＭＤにおいて、課題であった映像酔いも、視野周辺が遮られずに見えることで、大きく改善する。
【００６３】
上記実施形態では、表示装置の一例としてＨＭＤの例を示したが、ＨＨＤ（ハンドヘルドディスプレイ）など、他の形態の表示装置でも構わない。
【００６４】
なお、上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【符号の説明】
【００６５】
１０ａ，１０ｂ  使用者の眼、１１ａ，１１ｂ  撮像部、１２ａ，１２ｂ  表示部
【図１】
2019125965.tif 000003
【図２】
2019125965.tif 000004
【図３】
2019125965.tif 000005
【図４】
2019125965.tif 000006
【図５】
2019125965.tif 000007
【図６】
2019125965.tif 000008
【図７】
2019125965.tif 000009
【図８】
2019125965.tif 000010
【図９】
2019125965.tif 000011