(57)【要約】【課題】拡張現実装置用のヘッドマウントディスプレイにおいて、比較的画素数が少ない撮像素子を用いたとしても、高品質の画像を表示可能とする。【解決手段】撮像表示装置において、第１方向の画像を撮像する第１撮像部と、第２方向の画像を撮像する第２撮像部と、前記第１撮像部により撮像された画像に基づいて生成された第１画像を表示する第１表示部と、前記第２撮像部により撮像された画像に基づいて生成された第２画像を表示する第２表示部と、使用者の視線を検出する視線検出部と、前記視線検出部で検出された前記視線に応じて前記第１撮像部及び前記第２撮像部の向きを調整する駆動部と、を備える構成とする。【選択図】図２
2019004274.tif 000002
【特許請求の範囲】
【請求項１】
第１方向の画像を撮像する第１撮像部と、
第２方向の画像を撮像する第２撮像部と、
前記第１撮像部により撮像された画像に基づいて生成された第１画像を表示する第１表示部と、
前記第２撮像部により撮像された画像に基づいて生成された第２画像を表示する第２表示部と、
使用者の視線を検出する視線検出部と、
前記視線検出部で検出された前記視線に応じて前記第１撮像部及び前記第２撮像部の向きを調整する駆動部と、を備える、
撮像表示装置。
【請求項２】
前記視線検出部は、使用者の眼球の位置を検出することにより視線を検出する、
請求項１に記載の撮像表示装置。
【請求項３】
前記第１方向及び前記第２方向は、使用者の左右の眼球の向きに対応する方向である、
請求項１または請求項２に記載の撮像表示装置。
【請求項４】
前記第１画像は、前記第１撮像部により１秒前より後に撮像された画像に基づいて生成された画像であり、
前記第２画像は、前記第２撮像部により１秒前より後に撮像された画像に基づいて生成された画像である、
請求項１から請求項３のいずれか１項に記載の撮像表示装置。
【請求項５】
前記駆動部は、前記第１撮像部及び前記第２撮像部を一方向に往復移動させる、
請求項１から請求項４のいずれか１項に記載の撮像表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の一態様は、拡張現実装置のための頭部装着型の撮像表示装置等に関する。
【背景技術】
【０００２】
頭部装着型の画像表示装置（ヘッド・マウント・ディスプレイ）については、従来から種々の装置が開発されている。このような画像表示装置では、使用者の視線（眼球の動き）に応じて表示する画像を変化させる構成が採用されることがあった。このような装置については、例えば特許文献１または特許文献２などに開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−１９７７３６号公報
【特許文献２】特開平９−２８４６７６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
一方で近年、撮像した現実の画像に、所定の画像や情報などを組み合わせて使用者の目の前に表示する拡張現実（Ａｒｇｕｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ）装置が開発されている。このような拡張現実装置においては、従来の頭部装着型の画像表示装置のように、使用者の視線に応じて表示する画像を変化させる構成が採用されうる。しかし、従来の仮想現実装置を拡張現実装置にそのまま適用しようとすると、非常に画素数が多い撮像素子と広角レンズを用いる必要があるなどの課題があった。
【課題を解決するための手段】
【０００５】
本発明は、上記の課題などを解決するために次のような手段を採る。なお、以下の説明において、発明の理解を容易にするために図面中の符号等を括弧書きで付記するが、本発明の各構成要素はこれらの付記したものに限定されるものではなく、当業者が技術的に理解しうる範囲にまで広く解釈されるべきものである。
【０００６】
本発明の一の手段は、
第１方向の画像を撮像する第１撮像部（１１）と、
第２方向の画像を撮像する第２撮像部（１２）と、
前記第１撮像部により撮像された画像に基づいて生成された第１画像を表示する第１表示部（１４）と、
前記第２撮像部により撮像された画像に基づいて生成された第２画像を表示する第２表示部（１５）と、
使用者の視線を検出する視線検出部（１６）と、
前記視線検出部で検出された前記視線に応じて前記第１撮像部（１１）及び前記第２撮像部（１２）の向きを調整する駆動部（１３）と、を備える、
撮像表示装置である。
【０００７】
上記構成の撮像表示装置では、例えば、使用者の視線に応じて右目及び左目に対応する撮像部の向きを駆動部で調整しながら撮像するため、広角レンズ及び撮像素子などの構成を用いる構成と比較して、比較的画素数が少ない撮像素子を撮像部として用いた構成にすることなどが可能となる。また、実際の目の動きに合わせた動作となるため、自然な画像を表示することなどができる。
【０００８】
上記撮像表示装置において、好ましくは、
前記視線検出部は、使用者の眼球の位置を検出することにより視線を検出する。
【０００９】
上記構成の撮像表示装置では、使用者の視線を精度良く検出しながら、撮像して表示する画像の向きを調整することができる。
【００１０】
上記撮像表示装置において、好ましくは、
前記第１方向及び前記第２方向は、使用者の左右の眼球の向きに対応する方向である。
【００１１】
上記構成の撮像表示装置では、視差のある２つの画像を表示することで、表示部に表示された画像を使用者が立体的に感じられる構成とすることができる。
【００１２】
上記撮像表示装置において、好ましくは、
前記第１画像は、前記第１撮像部により１秒前より後に撮像された画像に基づいて生成された画像であり、
前記第２画像は、前記第２撮像部により１秒前より後に撮像された画像に基づいて生成された画像である。
【００１３】
上記構成の撮像表示装置では、使用者が略リアルタイムで拡張現実を体験することを可能にする構成にすることができる。
【００１４】
上記撮像表示装置において、好ましくは、
前記駆動部は、前記第１撮像部及び前記第２撮像部を一方向に往復移動させる。
【００１５】
上記構成の撮像表示装置では、第１撮像部及び第２撮像部を一方向にのみ移動させる構成とすることで、比較的簡易な制御が可能で、比較的簡易な構成とすることができる。例えば、眼球の移動範囲が比較的広い横方向にのみ第１撮像部及び第２撮像部を移動させる構成とし、比較的簡易な構成で、眼球の移動に合わせて移動する撮像部を備える構成とすることなどが可能となる。
【図面の簡単な説明】
【００１６】
【図１】図１は、ヘッドマウントディスプレイの外観斜視図である。
【図２】図２は、ヘッドマウントディスプレイの機能ブロック図である。
【図３】図３は、ヘッドマウントディスプレイの動作を示すフローチャートである。
【発明を実施するための形態】
【００１７】
本発明の画像処理装置は、ヘッドマウントディスプレイなどの拡張現実装置であって、表示部で表示する画像の基礎となる周辺画像を撮像する撮像部を、使用者の視線に合わせて移動させる構成としている点を特徴のひとつとしている。
【００１８】
本発明に係る具体的な実施形態について、以下の構成に従って説明する。ただし、以下で説明する実施形態はあくまで本発明の一例にすぎず、本発明の技術的範囲を限定的に解釈させるものではない。なお、各図面において、同一の構成要素には同一の符号を付しており、その説明を省略する場合がある。
１．実施形態
２．変形例
３．補足事項
【００１９】
＜１．実施形態＞
本発明の実施形態について、図面を参照しながら説明する。図１は、本実施形態のヘッドマウントディスプレイの外観斜視図である。図２は、本実施形態のヘッドマウントディスプレイの機能ブロック図である。
【００２０】
図１に示されるように、本実施形態のヘッドマウントディスプレイは、本体部１、及び装着具２１〜２３を含んで構成される。装着具２２及び２３は使用者（ヘッドマウントディスプレイの装着者）の頭部の周囲を囲むように配置され、装着具２１は使用者の額から後頭部に向かって頭頂部を通って伸びるよう配置される。図１及び図２に示されるように、ヘッドマウントディスプレイの本体部１は、制御部１０、第１撮像部１１、第２撮像部１２、駆動部１３、第１表示部１４、第２表示部１５、及び視線検出部１６を含んで構成される。
【００２１】
＜第１撮像部１１、第２撮像部１２＞
第１撮像部１１及び第２撮像部１２は、少なくともレンズ及び撮像素子を含んでおり、それぞれ被写体の画像を取得可能に構成される。図１に示されるように、第１撮像部１１及び第２撮像部１２は、本体部１の外側に向かって配置される。第１撮像部１１及び第２撮像部１２は、それぞれ使用者の右目及び左目に対応した位置に配置される。つまり、第１撮像部１１と第２撮像部１２とは、互いに所定の距離だけ横方向に間隔を空けて配置されることで、第１撮像部１１により撮像された画像と、第２撮像部１２により撮像された画像とが視差を有する画像となる。第１撮像部１１及び第２撮像部１２は、取得した画像を制御部１０に出力する。
【００２２】
＜駆動部１３＞
駆動部１３は、制御部１０の制御により、第１撮像部１１及び第２撮像部１２を横方向及び縦方向に移動させる。駆動部１３は、例えば横方向の回転台と、縦方向の回転台とを組み合わせて構成される。
【００２３】
より具体的には、駆動部１３は、制御部１０の制御により、視線検出部１６で検出された使用者の視線の動きに対応して、第１撮像部１１及び第２撮像部１２の向きを調整する。
【００２４】
＜第１表示部１４、第２表示部１５＞
第１表示部１４及び第２表示部１５は、制御部１０の制御により、それぞれ第１撮像部１１及び第２撮像部１２で撮像された画像に基づいて生成された画像を、使用者が視認できるよう表示する。第１表示部１４及び第２表示部１５は、本体部１において、それぞれ使用者の右目前、及び左目前に配置される。使用者は、右目では第１表示部１４のみを視認でき、左目では第２表示部１５のみを視認でき、もう一方の表示部は視認できないようになっている。第１表示部１４及び第２表示部１５には、視差を有する画像が表示されるため、使用者は第１表示部１４及び第２表示部１５に表示されるこれらの画像を立体的に感じることができる。
【００２５】
＜視線検出部１６＞
視線検出部１６は、従来から知られる使用者の視線を検出する機能を有しており、検出した使用者の視線に関する情報を制御部１０に出力する。例えば、視線検出部１６は、使用者の眼球の位置を連続的に検出することで使用者の視線を検出する。例えば、視線検出部１６は、右目及び左目の前に配置されたカメラ（撮像装置）またはセンサなどを利用し、使用者の右目及び左目の眼球の位置を検出することで使用者の視線を検出する。ヘッドマウントディスプレイを装着することで使用者の目の近傍が暗い場合には、赤外線カメラなどを利用することが好ましい。
【００２６】
なお、本明細書において眼球の位置とは、具体的には眼球における瞳孔または虹彩の位置を指す。また、眼球の中心位置とは、眼球における瞳孔または虹彩の中心部を指す。また、視線とは、球面上の瞳孔または虹彩の中心部の法線方向を指す。
【００２７】
＜制御部１０＞
制御部１０は、例えばＣＰＵなどの演算装置であって、図２に示されるように、第１撮像部１１、第２撮像部１２、駆動部１３、第１表示部１４、第２表示部１５、及び視線検出部１６との間でデータのやり取りを行って、これらの構成の動作を制御する。
【００２８】
制御部１０は、視線検出部１６を制御して、使用者の眼球の位置から、使用者の視線を確認する。制御部１０は、視線検出部１６による視線の検出結果に基づいて駆動部１３を制御し、第１撮像部１１及び第２撮像部１２の向きを、視線の向きに合うように調整する。制御部１０は、第１撮像部１１及び第２撮像部１２で撮像した画像を、メモリ（図示省略）に一時的に記憶させる。制御部１０は、第１表示部１４及び第２表示部１５に表示するために第１撮像部１１及び第２撮像部１２の撮像結果に重畳させる画像情報を生成する。制御部１０は、所定の画像が重畳されるなどの処理が施された、第１撮像部１１及び第２撮像部１２の撮像結果に基づいて加工された画像を、第１表示部１４及び第２表示部１５に表示させる。
【００２９】
制御部１０による各構成の制御の流れについては、以下の動作説明において具体的に説明する。
【００３０】
＜動作＞
次に、本実施形態のヘッドマウントディスプレイの動作について、図３のフローチャートを参照しながら説明する。なお、ここで説明する動作は、ヘッドマウントディスプレイにおける表示画像を、撮像した画像に同期させながら調整する動作のみである。
【００３１】
＜Ｓ１００〜Ｓ１２０＞
使用者がヘッドマウントディスプレイを装着して拡張現実機能を動作させると（Ｓ１００）、制御部１０は、視線検出部１６により連続的に撮像される使用者の左右の目の画像を取得する（Ｓ１１０）。制御部１０は、取得された使用者の左右の目の画像から、使用者の眼球の中心位置を特定することで、使用者の視線を確認する（Ｓ１２０）。なお、これらの視線の検出処理は、制御部１０ではなく視線検出部１６により行われてもよい。
【００３２】
＜Ｓ１３０〜Ｓ１４０＞
次に、制御部１０は、使用者の眼球の中心位置が、直前の状態に対して変化したかどうかを確認する（Ｓ１３０）。使用者の眼球の中心位置が変化していれば（Ｓ１３０でＹ）、制御部１０は駆動部１３を動作させ、第１撮像部１１及び第２撮像部１２を、それぞれ使用者の視線の方向に向くよう移動させて調整する（Ｓ１４０）。一方、使用者の眼球の中心位置が変化していなければ（Ｓ１３０でＮ）、そのままでＳ１４０の処理を行う。
【００３３】
＜Ｓ１５０〜Ｓ１６０＞
次に、Ｓ１３０及びＳ１４０の処理を経て、第１撮像部１１及び第２撮像部１２が使用者の視線に合った方向に向いた状態で、制御部１０は、第１撮像部１１及び第２撮像部１２を動作させて被写体を撮像する（Ｓ１５０）。次に、制御部１０は、第１撮像部１１及び第２撮像部１２で撮像した画像に所定の画像を組み合わせて、第１表示部１４及び第２表示部１５に表示させる（Ｓ１６０）。第１表示部１４及び第２表示部１５に表示される（組み合わされる）画像は、例えば、実際の画像に物体、人物、またはキャラクターなどを立体的になるよう視差を持たせた２枚の画像である。第１表示部１４及び第２表示部１５に画像を表示したら、Ｓ１２０の処理から繰り返す。
【００３４】
なお、Ｓ１１０〜Ｓ１６０の処理は、所定時間（例えば１秒）に表示する静止画（フレーム）数に応じた時間毎に、繰り返し行われる。例えば、１秒間に３０枚の静止画を表示する場合には、Ｓ１１０〜Ｓ１６０の処理は１／３０秒毎に繰り返し行われる。
【００３５】
上記のように、本実施形態の構成を採用したヘッドマウントディスプレイでは、使用者の視線に応じて第１撮像部１１及び第２撮像部１２の向きを駆動部１３で調整し、第１撮像部１１及び第２撮像部１２で撮像した画像に所定の画像を組み合わせて第１表示部１４及び第２表示部１５に表示する構成としている。この構成により、撮像した画像を、使用者の視線に合わせて部分的に切り出して表示する構成と比較すると、表示部に同じ画素数の画像を表示する場合には、本実施形態の構成の方が画素数の少ない撮像素子を撮像部として用いることができる。そのため、本実施形態の構成では比較的安価な構成とすることができる。
【００３６】
一方で、撮像部の撮像素子として同じ画素数の撮像素子を利用する場合には、本実施形態の構成の方が有効画素が多くなるため、高品質で精細な画像を表示することができる。
【００３７】
また、本実施形態の視線検出部１６は、使用者の眼球の位置を検出することで視線を検出し、第１撮像部１１及び第２撮像部１２の向きを調整している。そのため、使用者の視線を精度良く検出しながら、撮像して表示する画像の向きを調整することができる。
【００３８】
また、本実施形態では、第１方向及び第２方向は、それぞれ右目及び左目の眼球の向きに対応する方向であるため、表示部に立体的な画像を表示することが可能となっている。
【００３９】
また、本実施形態では、第１表示部１４及び第２表示部１５で撮像した画像を、リアルタイムで加工して第１表示部１４及び第２表示部１５に表示している。そのため、使用者が略リアルタイムで拡張現実を体験することが可能となっている。なお、リアルタイム性を維持するため、第１表示部１４及び第２表示部１５で撮像してから表示するまでの遅延時間は、１秒以下にすることが好ましい。この遅延時間は、スムーズな表示にするためには、１／１０秒以下にすることがさらに好ましい。
【００４０】
＜２．変形例＞
次に、上記の実施形態の変形例について説明する。本変形例では、上記実施形態の構成のうち、変形可能な部分についての説明とし、上記実施形態と共通の構成及び機能についてはその説明を省略している。
【００４１】
上記実施形態で説明したフローチャートでは、眼球の中心位置が変化したか否かに応じて、制御部１０が第１撮像部１１及び第２撮像部１２の向きを移動させていたが、制御部１０は、眼球の中心位置の変化にかかわらず、検出された眼球の中心位置に応じて第１撮像部１１及び第２撮像部１２の向きを決定してもよい。
【００４２】
また、上記実施形態では、第１撮像部１１及び第２撮像部１２で撮像した画像に所定の画像を組み合わせて第１表示部１４及び第２表示部１５に表示していたが、第１表示部１４及び第２表示部１５に表示される画像は、第１撮像部１１及び第２撮像部１２の撮像結果に所定のフィルタリング処理などを施した画像であってもよい。つまり、第１表示部１４及び第２表示部１５に表示される画像は、第１撮像部１１及び第２撮像部１２の撮像結果に基づいて任意の処理を施された画像であってもよい。
【００４３】
また、上記実施形態では、駆動部１３は、第１撮像部１１及び第２撮像部１２を、横方向の回転台、及び縦方向の回転台によって移動させていたが、駆動部１３は横方向の回転台のみであってもよい。すなわち、人間の目は、縦方向の移動範囲よりも横方向の移動範囲の方が広いため、横方向のみの視線の動きに追従するよう駆動部１３を構成してもよい。この場合、第１撮像部１１及び第２撮像部１２を横方向及び縦方向の双方に動作させる構成と比較して、駆動部１３の構成が簡易になる。また、このような構成において、縦方向の目の動きに対しては、視野に含まれる部分のみを切り出して（抽出して）表示する方法を採用してもよい。
【００４４】
＜３．補足事項＞
以上、本発明の実施形態及び変形例についての具体的な説明を行った。上記説明は、あくまで一実施形態としての説明であって、本発明の範囲はこの一実施形態に留まらず、当業者が把握可能な範囲にまで広く解釈されるものである。
【産業上の利用可能性】
【００４５】
本発明の撮像表示装置は、拡張現実装置用のヘッドマウントディスプレイなどとして好適に利用される。
【符号の説明】
【００４６】
１…本体部
１０…制御部
１１…第１撮像部
１２…第２撮像部
１３…駆動部
１４…第１表示部
１５…第２表示部
１６…視線検出部
２１〜２３…装着具
【図１】
2019004274.tif 000003
【図２】
2019004274.tif 000004
【図３】
2019004274.tif 000005