(57)【要約】  視線検知のための装置の小型化を目的とする。  使用者の眼に非可視光を照射する非可視光照射装置と、非可視光を反射し可視光を透過する非可視光ミラーと、非可視光を透過し可視光を透過しないフィルタと、非可視光による像を撮像できる撮像装置とを備え、非可視光ミラーは、ディスプレイと使用者の眼の間であって、ディスプレイと撮像装置の間の位置に配置され、当該非可視光ミラーの面とディスプレイの表示面との成す角度が０度以上４５度未満で配置され、非可視光照射装置から照射されて使用者の眼に反射した非可視光を反射し、フィルタはディスプレイと撮像装置との間となる位置に配置され、撮像装置は当該撮像装置の撮影範囲がディスプレイの表示面の少なくとも一部を含む方向に配置され、非可視光ミラーによって反射された非可視光による使用者の眼の像を撮像する、ヘッドマウントディスプレイにおいて使用される視線検知のための装置。
2015198502.tif 000002
【特許請求の範囲】
【請求項１】
使用者の頭部に装着して使用され、少なくとも１つのディスプレイを備えるヘッドマウントディスプレイにおいて使用される視線検知のための装置であって、
使用者の眼に非可視光を照射する少なくとも１つの非可視光照射装置と、
非可視光を反射し可視光を透過する少なくとも１つの非可視光ミラーと、
非可視光を透過し可視光を透過しない少なくとも１つのフィルタと、
非可視光による像を撮像できる少なくとも１つの撮像装置と、を備え、
前記少なくとも１つの非可視光ミラーは、
少なくとも１つのディスプレイと使用者の眼の間となる位置であって、かつ、少なくとも１つのディスプレイと少なくとも１つの撮像装置の間となる位置に配置され、
少なくとも１つのディスプレイの表示面と少なくとも１つの非可視光ミラーの面との成す角度であって、少なくとも１つのディスプレイの表示面を含む平面上の直交する２つの軸のうちの一方の軸を中心として前記少なくとも１つの非可視光ミラーの面を回転させる第１の方向の角度、及び、他方の軸を中心として前記少なくとも１つの非可視光ミラーの面を回転させる第２の方向の角度の両角度が０度以上４５度未満で配置され、
前記少なくとも１つの非可視光照射装置から照射されて使用者の眼に反射した非可視光を反射し、
前記少なくとも１つのフィルタは、少なくとも１つのディスプレイと少なくとも１つの撮像装置との間となる位置に配置され、
前記少なくとも１つの撮像装置は、当該少なくとも１つの撮像装置の撮像範囲が前記少なくとも１つのディスプレイの表示面の少なくとも一部を含む方向に配置され、前記少なくとも１つの非可視光ミラーによって反射された非可視光による使用者の眼の像を撮像する、
ことを特徴とする装置。
【請求項２】
前記少なくとも１つの非可視光ミラーは、２つの非可視光ミラーを含み、
前記２つの非可視光ミラーのうちの一方は、前記少なくとも１つのディスプレイと使用者の一方の眼の間となる位置に配置され、当該一方の非可視光ミラーについての前記第１の方向の角度及び前記第２の方向の角度はそれぞれ、当該使用者の一方の眼に反射した非可視光を前記少なくとも１つの撮像装置のうちの１つの撮像装置へ向けて反射する角度に設定され、
前記２つの非可視光ミラーのうちの他方は、前記少なくとも１つのディスプレイと使用者の他方の眼の間となる位置に配置され、当該他方の非可視光ミラーについての前記第１の方向の角度及び前記第２の方向の角度はそれぞれ、当該使用者の他方の眼に反射した非可視光を前記１つの撮像装置へ向けて反射する角度に設定された、
ことを特徴とする請求項１に記載の装置。
【請求項３】
前記少なくとも１つの撮像装置に接続された視線解析装置を更に備え、
前記少なくとも１つの撮像装置は、撮像した使用者の眼の像についての情報を視線解析装置に送信し、
前記視線解析装置は、撮像された使用者の眼の像についての情報に基づいて使用者の視線を検知する、
ことを特徴とする請求項１及び２のいずれか１項に記載の装置。
【請求項４】
前記非可視光は赤外線であり、前記非可視光ミラーはホットミラーである、ことを特徴とする請求項１〜３のいずれか１項に記載の装置。
【請求項５】
前記少なくとも１つのディスプレイと使用者の眼の間となる位置に少なくとも１つのレンズを備える、ことを特徴とする請求項１〜４のいずれか１項に記載の装置。
【請求項６】
前記少なくとも１つのレンズ、前記少なくとも１つのディスプレイ及び使用者の眼の間のそれぞれの距離は、使用者の視力及び使用者の焦点距離に少なくとも基づいて決定されることを特徴とする請求項５に記載の装置。
【請求項７】
前記レンズは前記視線検知のための装置に着脱可能であることを特徴とする請求項１〜６のいずれか１項に記載の装置。
【請求項８】
ヘッドマウントディスプレイに着脱可能であることを特徴とする請求項１〜７のいずれか１項に記載の装置。
【請求項９】
前記少なくとも１つの撮像装置が使用者の眼を下方向から撮像できる位置に配置されている、ことを特徴とする請求項１〜８のいずれか１項に記載の装置。
【請求項１０】
請求項１〜９のいずれか１項に記載の装置を備えることを特徴とするヘッドマウントディスプレイ。
【請求項１１】
請求項１０に記載のヘッドマウントディスプレイを含むシステムであって、
前記ヘッドマウントディスプレイは少なくとも１つのディスプレイを備え、
前記映像制御システムは、前記視線解析装置及び前記少なくとも１つのディスプレイに接続された映像制御装置を備え、
前記視線解析装置は、検知された使用者の視線についての情報を前記映像制御装置に送信し、
前記映像制御装置は前記視線解析装置から受信された使用者の視線についての情報に基づいて、前記少なくとも１つのディスプレイに送信される映像情報を生成し、
前記少なくとも１つのディスプレイは前記映像情報に基づいて映像を表示する、
ことを特徴とするシステム。
【請求項１２】
前記映像制御装置に接続された使用者入力装置を更に備え、
前記使用者入力装置は前記映像制御装置に使用者による入力を送信し、
前記映像制御装置は更に使用者による入力に基づいて、前記ディスプレイに送信する映像情報を生成する、
ことを特徴とする請求項１１に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は視線検知のための装置、特にヘッドマウントディスプレイ（ＨＭＤ）に使用する視線検知のための装置に関する。
【背景技術】
【０００２】
使用者の眼を撮像して使用者の視線を推定する従来の視線検出装置は、図８に示すように、レンズ６１、赤外線照射装置６２、赤外線を反射し可視光を透過するホットミラー６３、カメラ６４、ディスプレイ６５を備える。ホットミラー６３の角度をディスプレイ６５の表示面から垂直に延びる光軸６６に対して約４５度であって、ディスプレイの表示面に対する角度θが４５度となるように傾ける。カメラ６４は光軸６６の下方において光軸６６に対して垂直な方向に向けて配置される。赤外線照射装置６２から放射された赤外線は使用者の眼６０に反射した後、ホットミラー６３に反射して、カメラ６４に到達する。このホットミラー６３を経由するカメラ６４と使用者の眼６０とを結ぶ赤外線の反射光路は直角に設定されていた。かかる構成は例えば特許文献１の図８に示されている。また、特許文献２は光軸に対して４５度傾けたホットミラーを備える医療用のアイカメラを開示する。これに対して、本明細書の図９に示すように、特許文献１に記載の発明は、ホットミラーによる無駄な空間を排除することを目的として、光軸６６に対するダイクロックミラー（ホットミラー）６３の角度γを４５度より大きく、ディスプレイに対する角度θを４５度よりも小さくする構成を開示する。【０００３】
また別の従来技術として、図１０に示すように、使用者の眼６０に対してカメラ６４を向けて、使用者の眼６０を直接撮影して、使用者の眼の視線を検出する方法が知られている。【０００４】
特許文献３は、ハーフミラーを用いた視線入力装置を開示する。特許文献３におけるハーフミラーは特定の方向から入射した光を反射して光路を変えると共に、当該特定の方向以外の方向から入射した光を透過する（特許文献３［００１５］）。使用者の眼に正対する位置にレンズが配置され、使用者の視線方向に対して直交する方向に液晶ディスプレイ（ＬＣＤ）、視線入力装置が配置され、さらに使用者の視線方向に対して４５度の角度でハーフミラーが配置される。ＬＣＤから放射された光はハーフミラーによって反射され、レンズによって再度反射され、ハーフミラーを透過して使用者の眼に到達する。したがって、ＬＣＤに正対する視線入力装置はハーフミラーによって遮断されてＬＣＤからの光を受光しない。【０００５】
ＨＭＤにおいて、使用者の首の運動により映像表示手段による映像を変化させる技術は、先行文献４に記載されている。その他、ＨＭＤ及び視線検知に関連する技術を開示するものとして特許文献５〜７がある。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平０８−９２０５号公報（米国特許６０１８６３０号明細書）
【特許文献２】特開平０５−０７６４９７号公報
【特許文献３】特開２００１−１０８９３３号公報
【特許文献４】特開平８−１７９２３９号公報
【特許文献５】特開平２０１４−２１２７２号公報
【特許文献６】特開２００６−１６３３８３号公報（米国特許２００６／０１０３５９１号公報）
【特許文献７】特開平１１−１５５１５２号（米国特許６６１１２８３号明細書）
【発明の概要】
【発明が解決しようとする課題】
【０００７】
図８に記載された従来技術では、ディスプレイ６５の表示面に対して直交する光軸６６に対してホットミラーを４５度傾けて設置するため、大きな空間を必要とし、ヘッドマウントディスプレイの小型化を阻害する要因となっていた。【０００８】
図９に記載された従来技術は、この問題を解決すべくホットミラーを光軸６６に対して４５度よりも大きく傾けて配置した。しかし、その角度の設定は制限されたものであるため、十分な小型化を図ることはできない。すなわち、使用者の眼６０の像が結像されるカメラ６４の光軸はディスプレイの表示面に対して略水平方向に向けられ、ディスプレイ６５を向かないように構成されている。これはディスプレイ６５からの放射光は、視線検出において使用者の眼の像に対するノイズ成分となるため、ディスプレイ６５からの放射光が入力されない方向にカメラ６４を向ける必要があるからである。このため、ディスプレイ６５に対するホットミラー６３の角度θを４５度より小さい角度となるように配置したとしても、角度θを相当程度大きな角度としなければならならない。このため、レンズとディスプレイとの間の距離は依然として十分に縮まらず、省スペース化を図ることができない。【０００９】
また、装置の小型化のために、小さいサイズのホットミラーを用いると、使用者の眼とディスプレイとの間にホットミラーの切れ目が存在することになり、ホットミラーの切れ目における光の屈折や反射によって意図しない視覚効果が生じてしまい、映像表現に支障をきたしていた。【００１０】
図１０に記載された従来の構成では、カメラ６４が直接使用者の眼を撮影する。これは使用者の視界にカメラ６４が入っていることを意味するから、ヘッドマウントディスプレイによって作り出される仮想現実世界への使用者の没入が妨げられる。【００１１】
特許文献３に記載されたようなハーフミラーを用いる構成においては、使用者の視線方向に対して４５度の角度でハーフミラーを配置しなければならないから、無駄な空間が生じてしまい、ヘッドマウントディスプレイの小型化を図ることができない。【００１２】
そこで、本発明においては、ヘッドマウントディスプレイ（ＨＭＤ）の小型化に適した視線検知のための装置及びこれを用いたＨＭＤ、及びシステムを提供することを目的とする。
【課題を解決するための手段】
【００１３】
本発明は上記の課題に鑑みてなされたものであり、以下のような特徴を有している。すなわち、本発明の視線検知のための装置は、使用者の頭部に装着して使用され、少なくとも１つのディスプレイを備えるヘッドマウントディスプレイにおいて使用される視線検知のための装置であって、使用者の眼に非可視光を照射する少なくとも１つの非可視光照射装置と、非可視光を反射し可視光を透過する少なくとも１つの非可視光ミラーと、非可視光を透過し可視光を透過しない少なくとも１つのフィルタと、非可視光による像を撮像できる少なくとも１つの撮像装置と、を備え、前記少なくとも１つの非可視光ミラーは、少なくとも１つのディスプレイと使用者の眼の間となる位置であって、かつ、少なくとも１つのディスプレイと少なくとも１つの撮像装置の間となる位置に配置され、少なくとも１つのディスプレイの表示面と少なくとも１つの非可視光ミラーの面との成す角度であって、少なくとも１つのディスプレイの表示面を含む平面上の直交する２つの軸のうちの一方の軸を中心として前記少なくとも１つの非可視光ミラーの面を回転させる第１の方向の角度、及び、他方の軸を中心として前記少なくとも１つの非可視光ミラーの面を回転させる第２の方向の角度の両角度が０度以上４５度未満で配置され、前記少なくとも１つの非可視光照射装置から照射されて使用者の眼に反射した非可視光を反射し、前記少なくとも１つのフィルタは、少なくとも１つのディスプレイと少なくとも１つの撮像装置との間となる位置に配置され、前記少なくとも１つの撮像装置は、当該少なくとも１つの撮像装置の撮像範囲が前記少なくとも１つのディスプレイの表示面の少なくとも一部を含む方向に配置され、前記少なくとも１つの非可視光ミラーによって反射された非可視光による使用者の眼の像を撮像する。【００１４】
本発明は、前記少なくとも１つの非可視光ミラーは、２つの非可視光ミラーを含み、前記２つの非可視光ミラーのうちの一方は、前記少なくとも１つのディスプレイと使用者の一方の眼の間となる位置に配置され、当該一方の非可視光ミラーについての前記第１の方向の角度及び前記第２の方向の角度はそれぞれ、当該使用者の一方の眼に反射した非可視光を前記少なくとも１つの撮像装置のうちの１つの撮像装置へ向けて反射する角度に設定され、前記２つの非可視光ミラーのうちの他方は、前記少なくとも１つのディスプレイと使用者の他方の眼の間となる位置に配置され、当該他方の非可視光ミラーについての前記第１の方向の角度及び前記第２の方向の角度はそれぞれ、当該使用者の他方の眼に反射した非可視光を前記１つの撮像装置へ向けて反射する角度に設定されてもよい。【００１５】
また、前記少なくとも１つの撮像装置に接続された視線解析装置を更に備え、前記少なくとも１つの撮像装置は、撮像した使用者の眼の像についての情報を視線解析装置に送信し、前記視線解析装置は、撮像された使用者の眼の像についての情報に基づいて使用者の視線を検知してもよい。【００１６】
さらに、前記非可視光は赤外線であり、前記非可視光ミラーはホットミラーとすることができる。【００１７】
前記少なくとも１つのディスプレイと使用者の眼の間となる位置に少なくとも１つのレンズを備えてもよい。【００１８】
前記少なくとも１つのレンズ、前記少なくとも１つのディスプレイ及び使用者の眼の間のそれぞれの距離は、使用者の視力及び使用者の焦点距離に少なくとも基づいて決定されてもよい。【００１９】
前記レンズは前記装置に着脱可能とすることができる。【００２０】
本発明の視線検知のための装置は、ヘッドマウントディスプレイに着脱可能とすることができる。【００２１】
前記少なくとも１つの撮像装置が使用者の眼を下方向から撮像できる位置に配置されてもよい。【００２２】
本発明のヘッドマウントディスプレイは上述の視線検知のための装置を備える。【００２３】
さらに、本発明のシステムは上述のヘッドマウントディスプレイを含み、前記ヘッドマウントディスプレイは少なくとも１つのディスプレイを備え、前記映像制御システムは、前記視線解析装置及び前記少なくとも１つのディスプレイに接続された映像制御装置を備え、前記視線解析装置は、検知された使用者の視線についての情報を前記映像制御装置に送信し、前記映像制御装置は前記視線解析装置から受信された使用者の視線についての情報に基づいて、前記少なくとも１つのディスプレイに送信される映像情報を生成し、前記少なくとも１つのディスプレイは前記映像情報に基づいて映像を表示する。【００２４】
また、前記映像制御装置に接続された使用者入力装置を更に備え、前記使用者入力装置は前記映像制御装置に使用者による入力を送信し、前記映像制御装置は更に使用者による入力に基づいて、前記ディスプレイに送信する映像情報を生成してもよい。
【発明の効果】
【００２５】
上述の本発明の構成を採用することにより、撮像装置の撮影範囲がディスプレイの表示面の少なくとも一部を含む方向に向けて撮像装置が配置される。このため、非可視光ミラーとディスプレイとの成す角度の設定の自由度が高まるから、ヘッドマウントディスプレイのさらなる小型化が実現される。また、装置の小型化のためにサイズの小さい非可視光ミラーを用いる必要がないため、非可視ミラーの淵が視界に入ることによる映像表現への影響がない。したがって、装置の小型化と正確な映像表現の両立を可能とする。【００２６】
本発明においては、赤外線照射装置によって使用者の眼に赤外線が照射され、この赤外線が使用者の眼に反射し、その後、非可視光ミラーによってさらに反射されて、使用者の視界の外に配置された撮像装置へ到達させることが可能となる。すなわち、このような構成を採用することにより、撮像装置を使用者の視界の外に配置することができるから、撮像装置が使用者の映像の視認を妨げず、ヘッドマウントディスプレイによって作り出される仮想現実世界への使用者の没入を促進することができる。【００２７】
使用者が瞼を少し落とした時は、瞼が眼球の上半分を覆うことになる。眼の上方に設置された撮像装置では、上方向から使用者の眼を撮像するため、使用者の瞼やまつ毛によってカメラによる撮像が妨げられる。使用者の眼を撮像する撮像装置が使用者の眼を下方向から撮像する位置に設置されている場合には、瞼や睫毛の影響を受けずに使用者の眼を確実に撮像できる。【００２８】
本発明における視線検知のための装置をケーシングに格納して、ヘッドマウントディスプレイに着脱可能な構成とすることにより、視線検知のための機能を有しないヘッドマウントディスプレイに視線検知のための機能を追加することが可能となる。また、使用者に適した光学系を備える視線検知のための装置をケーシングに格納することにより、ヘッドマウントディスプレイ全体を使用者ごとに購入する必要がない。また、少なくとも１つのレンズ、少なくとも１つのディスプレイ及び使用者の眼の間のそれぞれの距離を使用者の視力及び使用者の焦点距離に少なくとも基づいて決定することにより、各使用者に適したヘッドマウントディスプレイを提供することができる。
【図面の簡単な説明】
【００２９】
【図１】本発明の第１の実施形態に係るＨＭＤの概略側面図である。
【図２】ＨＭＤのＸ軸及びＹ軸の説明図である。
【図３】本発明の第１の実施形態に係るＨＭＤの概略平面図である。
【図４】本発明の第２の実施形態に係るＨＭＤの概略平面図である。
【図５】本発明の第３の実施形態に係るＨＭＤの概略平面図である。
【図６】本発明の第４の実施形態に係るＨＭＤの概略側面図である。
【図７】本発明の第４の実施形態に係る表示画面の一例である。
【図８】従来の視線検出装置の概略側面図である。
【図９】従来の視線検出装置の概略側面図である。
【図１０】従来の視線検出装置の概略側面図である。
【発明を実施するための形態】
【００３０】
［第１の実施形態］
第１の実施形態におけるヘッドマウントディスプレイの概略側面図を図１に示す。使用者の頭部に装着されるヘッドマウントディスプレイ１はディスプレイ１４を備え、ディスプレイ１４は表示面１６を備える。さらにヘッドマウントディスプレイに設置される視線検知のための装置として、使用者の眼１０に非可視光を照射する非可視光照射装置２０、非可視光を反射し可視光を透過する非可視光ミラー１３と、非可視光による像を撮像できる撮像装置１２と、非可視光を透過し可視光を透過しないフィルタ１５とを備える。さらに、視線検知のための装置は、ディスプレイ１４と使用者の眼１０の間となる位置にレンズ１１を備える。
【００３１】
本実施形態においては非可視光照射装置２０として赤外線照射装置２０−１〜２０−４を用いるが、非可視光を照射するものであればその他の波長の光を照射するものであってもかまわない。また、本実施形態においては非可視光照射装置２０として４つの赤外線照射装置２０−１〜２０−４を図１に記載するようにレンズの上下左右に配置した。しかし、照射された赤外線が使用者の眼１０に反射して撮像装置１２に到達するように配置される限りは、その他の位置に配置されてもよいし、より少ない数、例えば、１つであってもかまわない。また、より多くの赤外線照射装置を設置してもよい。図１において撮像装置１２はヘッドマウントディスプレイ１の下部に配置されているが、上部、側部等その他の場所であってもかまわない。本実施形態において非可視光ミラー１３として赤外線を反射し可視光を透過するホットミラーを用いる。非可視光照射装置２０として赤外線以外の波長の非可視光を照射する装置を用いる場合にはその照射された非可視光を反射する非可視光ミラーを用いる。ホットミラーは、ディスプレイと使用者の眼の間であって、かつ、ディスプレイと撮像装置の間の位置に配置される。本実施形態においてホットミラー１３はディスプレイ１４とレンズ１１との間に配置される。そして、図１に示すようにホットミラーの面とディスプレイ１４の表示面１６（ディスプレイ１４のホットミラー側の面）との成す角度θが０度以上４５度未満、好ましくは０度〜２０度未満で配置される。角度θが小さいほどヘッドマウントディスプレイをより薄型化、軽量化することができる。ホットミラー１３とディスプレイ１４とは、例えばそれらの端部において接触していてもよい。
【００３２】
図２に示すように、ホットミラーの面とディスプレイ１４の表示面１６との成す角度は、Ｘ軸を中心としてホットミラー１３を回転させる方向の、ホットミラー１３の面とディスプレイ１４の表示面１６との成す角度と、Ｙ軸を中心としてホットミラー１３を回転させる方向の角度によって規定できる。ここで、ディスプレイ１４の表示面１６を含む平面上の、ヘッドマウントディスプレイを頭部に装着したときの左右方向に延びる軸をＸ軸、上下方向に延びる軸をＹ軸とする。また、本実施形態においては、Ｚ軸方向に使用者が存在する。図１の角度θは、Ｘ軸を中心としてホットミラー１３を回転させる方向の角度である。本実施形態においては、図３に示すように、ディスプレイ１４のＹ軸を中心としてホットミラー１３を回転させる方向の角度αは０度とする。そして、ホットミラー１３は、赤外線照射装置２０から照射されて使用者の眼１０で反射した赤外線を撮像装置１２に向けて反射する。この角度θ及び角度αの両角度が小さいほど無駄な空間を省くことができるから、ヘッドマウントディスプレイをより小型化できる。
【００３３】
フィルタ１５は、ディスプレイ１４と撮像装置１２との間となる位置に配置される。フィルタ１５として、赤外線を透過し可視光をカットする可視光カットフィルタを用いる。フィルタ１５は非可視光照射装置２０から照射されて使用者の眼で反射した非可視光を透過させ、可視光を透過させないフィルタであればどのようなフィルタであってもかまわない。撮像装置１２は、撮像装置の撮影範囲がディスプレイの表示面１６の少なくとも一部を含む方向に配置され、ホットミラー１３によって反射された赤外線による使用者の眼の像を撮像する。すなわち、撮像装置１２は、ディスプレイ１４の表示面１６から放射された光が直接に入射され、かつ、ホットミラー１３によって反射された赤外線が入射する方向に向けて設置される。
【００３４】
次に、本実施形態の動作を説明する。まず使用者がヘッドマウントディスプレイ１を頭部に装着する。ディスプレイ１４の表示面１６は使用者の眼の方向に向けて設置されており、映像を表示する。映像はコンピュータの映像、ビデオゲームの映像、映画の映像等を含む。ディスプレイ１４の表示面１６は可視光を放射して映像を表示する。この放射された可視光はホットミラー１３を透過し、レンズ１１を介して使用者の眼１０に到達する。レンズ１１はディスプレイ１４に表示された画像を拡大して使用者に視認させる。また、使用者の視力矯正にも寄与することができる。視線検知のための装置においてレンズ１１は必ずしも必要ではない。
【００３５】
赤外線照射装置２０−１〜２０−４は使用者の眼１０に向けて一定の照射角度を持って赤外線を照射する。照射された赤外線は使用者の眼１０に反射し、レンズ１１を介してホットミラー１３に到達する。ホットミラー１３は赤外線を撮像装置１２に向けて反射する。本実施形態のように、使用者の視界内２１においてホットミラー１３はディスプレイ１４の全面を覆うように形成されることが好ましい。これにより視界内２１においてホットミラーの境界を作らずにディスプレイを視認させることができる。ただし、必ずしも、ホットミラー１３がディスプレイ１４の全面を覆う必要はない。撮像装置１２は、使用者の眼１０に反射した赤外線によって形成される使用者の眼の像を撮像する。この撮像された使用者の眼の像に基づいて、使用者の視線を検出することができる。ホットミラー１３によって赤外線を反射させることで、使用者の視界２１の外に配置された撮像装置による使用者の眼の撮像を可能とする。使用者は撮像装置によって邪魔されることなくディスプレイに表示された映像を視認することができる。
【００３６】
本実施形態のように、複数の赤外線照射装置２０−１〜２０−４を用いることにより、使用者の眼１０に反射されて撮像装置１２に到達する赤外線の強度を強めることができる。１つの赤外線照射装置で十分な赤外線の受光強度を得ることもできる。また、１つの赤外線照射装置の赤外線の照射強度を大きくすることにより、撮像装置１２へ到達する反射赤外光を強めてもよい。ただし、その場合、使用者の眼における特定の部分に強い赤外線が照射されるため、使用者の眼を損傷するおそれがある。複数の赤外線照射装置から比較的弱い赤外線を照射することにより、使用者の眼を損傷することなく、撮像装置１２において視線を検出するのに十分な反射赤外光を受光することが可能となる。
【００３７】
撮像装置１２は撮像装置の撮影範囲がディスプレイ１４の表示面の少なくとも一部を含む方向に配置されているから、ディスプレイ１４の表示面１６から放射される可視光はホットミラー１３を透過して撮像装置１２へ向けて放射される。しかし、ディスプレイ１４からの放射光は可視光であるから、ディスプレイ１４と撮像装置１２との間に配置された可視光カットフィルタ１５によってカットされ、撮像装置１２に到達しない。これに対して、ホットミラー１３によって反射された赤外線は可視光カットフィルタ１５を透過して撮像装置に到達する。
【００３８】
従来技術においては、ディスプレイから放射される可視光が撮像装置に入射されると使用者の視線を検出する際のノイズとなるため、撮像装置にディスプレイからの可視光が入射しないようになるべく鉛直方向に撮像装置を向ける必要があった。このため、ディスプレイに対するホットミラーの傾斜角度は大きいものとならざるを得なかった。
【００３９】
これに対して、本発明の構成を採用することにより、撮像装置１２は撮像装置の撮像範囲がディスプレイ１４の表示面の少なくとも一部を含む方向に向けて配置されているにもかかわらず、撮像装置１２においてはディスプレイ１４から放射された可視光がノイズとならずに、受光された赤外線によって使用者の眼を撮像することができる。したがって、撮像装置の配置方向の自由度が高まり、ホットミラー１３とディスプレイ１４との成す角度θの設定の自由度もまた高まる。例えば、角度θを０度とすることもできる。これにより、ヘッドマウントディスプレイの薄型化、小型化が実現される。
【００４０】
また、図１に示すように撮像装置１２は使用者の眼を下方向から撮像できる位置に配置されることが好ましい。使用者の眼を下方向から撮像する場合、瞼や睫毛の影響による妨げを受けずに、使用者の眼の正確な撮像ができるからである。
【００４１】
［第２の実施形態］
図４に第２の実施形態のヘッドマウントディスプレイを上方から見た概略構成図を示す。以下の説明においては、第１の実施形態と同じ構成要素については、説明は適宜省略する。
【００４２】
本実施形態においては、使用者の両方の眼のそれぞれに対して、第１の実施形態において説明された構成と同様の構成を備える。すなわち、ヘッドマウントディスプレイ１は使用者の右眼１０ａに対して、ディスプレイ１４ａ、ディスプレイ１４ａと右眼１０ａの間であって、かつ、ディスプレイ１４ａと撮像装置１２ａの間に配置されたホットミラー１３ａ、ディスプレイ１４ａと使用者の右眼１０ａとの間に配置されたレンズ１１ａ、使用者の右眼１０ａに対して赤外線を照射する赤外線照射装置２０ａ−１〜２０ａ−４、その撮像範囲がディスプレイ１４ａの表示面の少なくとも一部を含む方向に配置された撮像装置１２ａ、及び当該撮像装置１２ａとディスプレイ１４ａとの間に配置された可視光カットフィルタ１５ａを備える。第１の実施形態と同様に、本実施形態においても、図１に示されるとおり、ディスプレイ１４ａの表示面１６ａを含む平面上のＸ軸を中心としてホットミラー１３ａを回転させる方向の、ホットミラー１３ａの面とディスプレイ１４ａの表示面との成す角度θ（本実施形態においてはθ１とする）は０度以上４５度未満、好ましくは０度以上２０度未満である。一方、図４に示すとおり、Ｙ軸を中心としてホットミラー１３ａを回転させる方向の、ホットミラー１３ａの面とディスプレイ１４ａの表示面１６ａとの成す角度αは０度である。
【００４３】
視線検知のための装置は、使用者の左眼１０ｂに対しても同様に、ディスプレイ１４ｂ、ホットミラー１３ｂ、レンズ１１ｂ、赤外線照射装置２０ｂ−１〜２０ｂ−４、可視光カットフィルタ１５ｂ及び撮像装置１２ｂを備える。ディスプレイ１４ｂの表示面１６ｂを含む平面上のＸ軸を中心としてホットミラー１３ｂを回転させる方向の、ホットミラー１３ｂの面とディスプレイ１４ｂの表示面１６ｂとの成す角度θ（本実施形態においてはθ２とする）は０度以上４５度未満、好ましくは０度以上２０度未満であり、Ｙ軸を中心としてホットミラー１３ｂを回転させる方向の、ホットミラー１３ｂの面とディスプレイ１４ｂの表示面１６ｂとの成す角度βは０度である。角度θ１とθ２とは互いに同じである必要はない。
【００４４】
これらは両者がそれぞれ、第１の実施形態において説明されたとおりの動作を実行し、使用者の右眼１０ａ及び左眼１０ｂのそれぞれの赤外線により形成される像を撮像装置１２ａ及び１２ｂのそれぞれが撮像する。
【００４５】
さらに本実施形態においては、ヘッドマウントディスプレイ１の前方側面にディスプレイ１４ｃ及びディスプレイ１４ｄを備える。使用者は使用者に正対する方向に配置されたディスプレイ１４ａ及び１４ｂに加えて側面に配置されたディスプレイ１４ｃ及び１４ｄの映像をも視ることができるため、より現実世界に近い体験を得ることができる。可視光カットフィルタ１５ａ及び１５ｂがこれらの側面のディスプレイ１４ｃ及び１４ｄと撮像装置１２ａ及び１２ｂとの間に配置されることにより、これらのディスプレイから放射される可視光もカットし、適切に使用者の眼の動きを撮像することができる。例えば、撮像装置のレンズを覆うように可視光カットフィルタを設けることができる。また、複数の可視光カットフィルタによって複数のディスプレイからの可視光をカットしてもよい。
【００４６】
同様に、ヘッドマウントディスプレイ１の前方上面及び底面等にディスプレイを配置してもよい。
【００４７】
［第３の実施形態］
図５に本実施形態のヘッドマウントディスプレイを上方から見た概略構成図を示す。第２の実施形態との相違点を中心に説明する。ディスプレイは説明の簡略化のため正面のディスプレイ１４ａ及び１４ｂの２つのみの構成とする。さらに、側面及び底面にディスプレイを追加してもよい。また、ディスプレイ１４ａ及び１４ｂを一体として単一のディスプレイとしてもかまわない。
【００４８】
本実施形態においては、撮像装置１２は左右の眼に共通で単一である。この単一の撮像装置はその撮像範囲がディスプレイ１４ａ及び１４ｂの少なくとも一方の表示面の少なくとも一部を含む方向に向けられる。また、２つのホットミラー１３ａ及び１３ｂが用意され、それぞれが使用者の各眼と２つのディスプレイ１４ａ及び１４ｂの各々の間に配置される。図５に示されたホットミラー１３ａとディスプレイ１４ａの表示面１６ａとの成す角度αは、ディスプレイ１４ａのＹ軸を中心としてホットミラー１３ａを回転させる方向の、ホットミラー１３ａの面とディスプレイ１４ａの表示面１６ａとの成す角度である。
【００４９】
本実施形態の概略側面図は、図１に示したものと同様の構成である。すなわち、ディスプレイ１４ａの表示面を含む平面上のＸ軸を中心としてホットミラー１３ｂを回転させる方向の、ホットミラー１３ａの面とディスプレイ１４ａの表示面１６ａとの成す角度θ（θ３とする）を有する。そして、これらの角度α及びθ３が、当該使用者の右眼に反射した赤外線を単一の撮像装置１２へ向けて反射する角度に設定される。
【００５０】
同様に、他方のホットミラー１３ｂは、ディスプレイ１４ｂと使用者の左目１０ｂの間となる位置に配置される。そして、ホットミラーの面とディスプレイ１４の表示面１６ｂとの成す角度であって、ディスプレイ１４ｂの表示面１６ｂを含む平面上のＹ軸を中心としてホットミラー１３ｂを回転させる方向の角度β及びＸ軸を中心としてホットミラー１３ｂを回転させる方向の角度θ（θ４とする）が、当該使用者の左眼に反射した赤外線を撮像装置１２へ向けて反射する角度に設定される。本実施形態において角度α及びβは０度より大きい所定の角度を有する。角度α、β、θ３及びθ４は互いに同じである必要はない。
【００５１】
撮像装置１２はホットミラー１３ａ及び１３ｂのそれぞれから反射された赤外線を受光し、使用者の左右の眼１０ａ及び１０ｂの両方の像を撮像する。
【００５２】
このように撮像装置をその撮像範囲がディスプレイの表示面の少なくとも一部を含む方向に向けるとともに、ホットミラーをヘッドマウントディスプレイの水平軸を中心として回転する方向の角度だけでなく、垂直軸を中心として回転する方向の角度を持たせて、ホットミラーをディスプレイに対して傾けることにより、１つの撮像装置で両眼の視線を撮像することができる。このため、ヘッドマウントディスプレイをより小型化できるとともに、より安価に製造することが可能となる。
【００５３】
［第４の実施形態］
図６に本実施形態の映像制御システムの構成図を示す。ヘッドマウントディスプレイ１ａについては概略側面図として示した。
【００５４】
本実施形態においては、ヘッドマウントディスプレイ１ａに加えて、映像制御装置２２を備える。ヘッドマウントディスプレイ１ａは第１の実施形態に記載されたヘッドマウントディスプレイ１の変形例である。ヘッドマウントディスプレイ１ａに含まれる視線検知のための装置は、第１の実施形態の視線検知のための装置の構成に加えて撮像装置１２に接続された視線解析装置２１を備える。視線解析装置２１は映像制御装置２２に接続され、映像制御装置２２はディスプレイ１４に接続される。さらに、使用者からの入力を受け付ける使用者入力装置２４が映像制御装置２２に接続される。これらの接続は有線であっても無線であっても構わない。本実施形態において映像制御装置２２はビデオゲームを制御するビデオゲーム機であり、使用者入力装置はビデオゲーム機に接続されたコントローラ２４である。
【００５５】
本実施形態における視線解析装置は、ヘッドマウントディスプレイ１ａに着脱可能なケーシング２３内に格納される。視線検知のための装置をヘッドマウントディスプレイに着脱可能とすることで、既存の視線検知のための装置を備えないヘッドマウントディスプレイに視線検知のための機能を追加することが可能となる。
【００５６】
レンズ１１、ディスプレイ１４、使用者の眼１０のそれぞれの間の距離及びレンズ１１は、使用者の視力及び使用者の焦点距離等に基づいて決定されることが好ましい。視線検知のための装置の光学系は使用者の眼とレンズの位置に基づいて設計される必要があるが、使用者ごとに自己に適したヘッドマウントディスプレイ全体を購入しなければならないとすると、使用者に大きな負担となる。
【００５７】
本実施形態のように視線検知のための装置を着脱可能な構成とし、使用者の視力、焦点距離等に基づいて、レンズ１１、ディスプレイ１４、使用者の眼１０のそれぞれの間の距離及びレンズ１１を決定する構成とすれば、視線検知のための装置のみを使用者ごとに購入して、ヘッドマウントディスプレイに装着して使用することができる。これにより、各使用者に適した視線検知のための装置つきのヘッドマウントディスプレイを安価に使用することが可能となる。
【００５８】
さらに、レンズ１１、ディスプレイ１４、使用者の眼１０のそれぞれの距離を適宜調整することにより、１つの視線検知のための装置で使用者毎に最適な光学系を設定することもできる。調整の手法としては、例えば、レンズとディスプレイの間の距離を固定して、レンズと使用者の眼との距離を変化させることにより調整できる。また、レンズと使用者の眼との距離を固定して、ディスプレイを移動させてもよい。ディスプレイと使用者の眼の距離を固定して、その間のレンズを移動させてもよい。より具体的には、例えば、図６に示すように、レンズ１１を使用者の眼１０とディスプレイ１４との間に配置されたレール２６に取り付け、このレール２６に沿ってレンズを前後にスライド可能なように構成することにより、使用者にあわせてレンズ１１の位置を調整できるようにすることができる。ディスプレイ１４についても同様の構成とすることができる。また、レンズとディスプレイとを同時にスライドさせる構成としてもよい。
【００５９】
ヘッドマウントディスプレイの場合、使用者の頬骨、鼻の形状等の骨格によって、レンズ１１と使用者の眼との距離が使用者毎に大きく異なる。本実施形態のような構成を採用することにより、使用者毎に適したヘッドマウントディスプレイを得ることができる。また、レンズを着脱可能とし、レンズ交換によっても使用者に適した視線検知のための装置を構成することも可能である。
【００６０】
次に、本実施形態においては、映像制御装置２４はヘッドマウントディスプレイの外部装置として説明するが、ヘッドマウントディスプレイに備えられた装置とすることも可能である。また、視線解析装置２２は、視線検知のための装置に含まれる装置として記載されているが、視線検知のための装置ないしヘッドマウントディスプレイの外部の装置とすることも可能である。
【００６１】
撮像装置１２は、撮像した使用者の眼の像についての画像情報を視線解析装置２２に送信し、視線解析装置２２は、かかる画像情報に基づいて使用者の視線、眼球移動頻度、眼球振盪等を解析する。本実施形態において視線解析装置２２は、使用者の視線の方向及び速度を決定し、その視線情報を映像制御装置２４に送信する。映像制御装置２４は、視線解析装置２２から受信された使用者の視線情報に基づいて、ディスプレイ１４に表示される映像情報を生成する。
【００６２】
本実施形態においては、使用者はヘッドマウントディスプレイ１ａを用いてシューティングゲームをプレイする。映像制御装置としてのビデオゲーム機２４は、シューティングゲームの映像をディスプレイ１４の表示面１６に表示する。そして、視線解析装置２１によって解析された使用者の視線情報に基づいて、ディスプレイ１４の表示面上における使用者の視線の位置付近に射撃をする位置を示すカーソルを表示し、視線の移動に伴ってカーソルを移動させる。例えば、図７に示すように、ディスプレイの表示された映像３０において使用者の視線の位置３１を中心とする円形状のカーソル３２を表示し、使用者が視線を右方向へ移動することに伴って、カーソル３２も右方向へ移動する。このカーソルの位置及び移動速度は視線の位置及び移動速度に基づいて計算される。そして、使用者が所望の位置にカーソルを動かした後、コントローラ２５から射撃命令が入力されると、その命令に基づいた映像がビデオゲーム機２４によって生成され、ディスプレイ１４に表示される。また、コントローラ２５を介した使用者の入力に代えて、使用者が所定の期間の間、視線を固定した場合に、例えば、ビデオゲーム機２４が、使用者入力があったものと判定することもできる。
【００６３】
使用者は、ビデオゲーム機に代えて、パーソナルコンピュータを使用し、視線の位置によってマウスのポインタを制御してもよい。この場合使用者入力装置２５はマウスとなる。また、映像制御装置２４は映画等を表示するためのもので、使用者の視線の位置の移動に合わせて、映像をスクロールさせる制御を実行するものであってもよい。この場合、使用者入力装置２５は必ずしも必要ではない。
【００６４】
以上に説明してきた各実施形態は、本発明を説明するための例示であり、本発明はこれらの実施形態に限定されるものではない。本発明は、その要旨を逸脱しない限り、種々の形態で実施することができる。
【符号の説明】
【００６５】
１      ＨＭＤ
１０    使用者の眼
１１    レンズ
１２    撮像装置
１３    非可視光ミラー
１４    ディスプレイ
１５    フィルタ
１６    ディスプレイ表示面
２０    非可視光照射装置
２１    視界
２２    視線解析装置
２３    ケーシング
２４    映像制御装置
２５    使用者入力装置
２６    レール
３０    ディスプレイ表示面
３１    視線位置
３２    カーソル
６０    使用者の眼
６１    レンズ
６２    赤外線照射装置
６３    ホットミラー
６４    カメラ
６５    ディスプレイ
６６    光軸
【図１】
2015198502.tif 000003
【図２】
2015198502.tif 000004
【図３】
2015198502.tif 000005
【図４】
2015198502.tif 000006
【図５】
2015198502.tif 000007
【図６】
2015198502.tif 000008
【図７】
2015198502.tif 000009
【図８】
2015198502.tif 000010
【図９】
2015198502.tif 000011
【図１０】
2015198502.tif 000012
【手続補正書】
【提出日】平成27年11月26日(2015.11.26)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
使用者の頭部に装着して使用され、少なくとも１つのディスプレイを備えるヘッドマウントディスプレイにおいて使用される視線検知のための装置であって、
使用者の眼に非可視光を照射する少なくとも１つの非可視光照射装置と、
非可視光を反射し可視光を透過する少なくとも１つの非可視光ミラーと、
非可視光を透過し可視光を透過しない少なくとも１つのフィルタと、
非可視光による像を撮像できる少なくとも１つの撮像装置と、を備え、
前記少なくとも１つの非可視光ミラーは、
少なくとも１つのディスプレイと使用者の眼の間となる位置であって、かつ、少なくとも１つのディスプレイと少なくとも１つの撮像装置の間となる位置に配置され、
少なくとも１つのディスプレイの表示面と少なくとも１つの非可視光ミラーの面との成す角度であって、少なくとも１つのディスプレイの表示面を含む平面上の直交する２つの軸のうちの一方の軸を中心として前記少なくとも１つの非可視光ミラーの面を回転させる第１の方向の角度、及び、他方の軸を中心として前記少なくとも１つの非可視光ミラーの面を回転させる第２の方向の角度の両角度が０度以上４５度未満で配置され、
前記少なくとも１つの非可視光照射装置から照射されて使用者の眼に反射した非可視光を反射し、
前記少なくとも１つのフィルタは、少なくとも１つのディスプレイと少なくとも１つの撮像装置との間となる位置に配置され、
前記少なくとも１つの撮像装置は、当該少なくとも１つの撮像装置の撮像範囲が前記少なくとも１つのディスプレイの表示面の少なくとも一部を含む方向に配置され、前記少なくとも１つの非可視光ミラーによって反射された非可視光による使用者の眼の像を撮像し、前記使用者が前記ヘッドマウントディスプレイを装着している状態で前記少なくとも１つのディスプレイに直交し前記使用者の角膜頂点を通る眼軸に対して、前記非可視光ミラーにより反射された前記撮像装置からの光軸が交差する角度が０度よりも大きくなるように配置される
ことを特徴とする装置。
【請求項２】
前記少なくとも１つの非可視光ミラーは、２つの非可視光ミラーを含み、
前記２つの非可視光ミラーのうちの一方は、前記少なくとも１つのディスプレイと使用者の一方の眼の間となる位置に配置され、当該一方の非可視光ミラーについての前記第１の方向の角度及び前記第２の方向の角度はそれぞれ、当該使用者の一方の眼に反射した非可視光を前記少なくとも１つの撮像装置のうちの１つの撮像装置へ向けて反射する角度に設定され、
前記２つの非可視光ミラーのうちの他方は、前記少なくとも１つのディスプレイと使用者の他方の眼の間となる位置に配置され、当該他方の非可視光ミラーについての前記第１の方向の角度及び前記第２の方向の角度はそれぞれ、当該使用者の他方の眼に反射した非可視光を前記１つの撮像装置へ向けて反射する角度に設定された、
ことを特徴とする請求項１に記載の装置。
【請求項３】
前記少なくとも１つの撮像装置に接続された視線解析装置を更に備え、
前記少なくとも１つの撮像装置は、撮像した使用者の眼の像についての情報を視線解析装置に送信し、
前記視線解析装置は、撮像された使用者の眼の像についての情報に基づいて使用者の視線を検知する、
ことを特徴とする請求項１及び２のいずれか１項に記載の装置。
【請求項４】
前記非可視光は赤外線であり、前記非可視光ミラーはホットミラーである、ことを特徴とする請求項１〜３のいずれか１項に記載の装置。
【請求項５】
前記少なくとも１つのディスプレイと使用者の眼の間となる位置に少なくとも１つのレンズを備える、ことを特徴とする請求項１〜４のいずれか１項に記載の装置。
【請求項６】
前記少なくとも１つのレンズ、前記少なくとも１つのディスプレイ及び使用者の眼の間のそれぞれの距離は、使用者の視力及び使用者の焦点距離に少なくとも基づいて決定されることを特徴とする請求項５に記載の装置。
【請求項７】
前記レンズは前記視線検知のための装置に着脱可能であることを特徴とする請求項５または６に記載の装置。
【請求項８】
前記レンズの使用者の眼からの距離を調整する調整部を備えることを特徴とする請求項５〜７のいずれか１項に記載の装置。
【請求項９】
ヘッドマウントディスプレイに着脱可能であることを特徴とする請求項１〜８のいずれか１項に記載の装置。
【請求項１０】
前記少なくとも１つの撮像装置が使用者の眼を下方向から撮像できる位置に配置されている、ことを特徴とする請求項１〜９のいずれか１項に記載の装置。
【請求項１１】
前記非可視光照射装置を複数備えることを特徴とする請求項１〜１０のいずれか１項に記載の装置。
【請求項１２】
請求項１〜１１のいずれか１項に記載の装置を備えることを特徴とするヘッドマウントディスプレイ。
【請求項１３】
請求項１２に記載のヘッドマウントディスプレイを含むシステムであって、
前記ヘッドマウントディスプレイは少なくとも１つのディスプレイを備え、
前記映像制御システムは、前記視線解析装置及び前記少なくとも１つのディスプレイに接続された映像制御装置を備え、
前記視線解析装置は、検知された使用者の視線についての情報を前記映像制御装置に送信し、
前記映像制御装置は前記視線解析装置から受信された使用者の視線についての情報に基づいて、前記少なくとも１つのディスプレイに送信される映像情報を生成し、
前記少なくとも１つのディスプレイは前記映像情報に基づいて映像を表示する、
ことを特徴とするシステム。
【請求項１４】
前記映像制御装置に接続された使用者入力装置を更に備え、
前記使用者入力装置は前記映像制御装置に使用者による入力を送信し、
前記映像制御装置は更に使用者による入力に基づいて、前記ディスプレイに送信する映像情報を生成する、
ことを特徴とする請求項１３に記載のシステム。
【国際調査報告】
2015198502.tif 000013
2015198502.tif 000014
2015198502.tif 000015
2015198502.tif 000016