(57)【要約】      （修正有）【課題】軽く、コンパクトなヘッドマウントディスプレイ及びヘッドマウントディスプレイを利用した視線検出システムを提供する。【解決手段】ユーザの頭部に装着して使用されるヘッドマウントディスプレイ１００であって、ユーザの眼に非可視光を照射する照射部１２２と、可視光を透過し、非可視光を反射するディスプレイ用ガラスを備えたユーザに視聴させる画像を表示するモニタと、非可視光による像を撮像できる撮像装置１２４と、撮像装置が撮像した画像を、視線検出用の画像として出力する出力部とを備える。撮像装置は、照射部から照射され、ユーザの眼により反射され、ディスプレイ用ガラスにより反射された非可視光により、ユーザの眼を撮像する。【選択図】図４
2017224942.tif 000002
【特許請求の範囲】
【請求項１】
ユーザの頭部に装着して使用されるヘッドマウントディスプレイであって、
ユーザの眼に非可視光を照射する照射部と、
非可視光を含む光を発光する発光素子を発光させて前記ユーザに視聴させる画像を表示するディスプレイと、
非可視光による像を撮像できる撮像装置と、
前記撮像装置が撮像した画像を、視線検出用の画像として出力する出力部とを備え、
前記ディスプレイは、その表面に、可視光を透過し、非可視光を反射する被覆面を有し、
前記被覆面は、前記ディスプレイから発光する非可視光が前記撮像装置に到達することを抑制し、
前記撮像装置は、前記照射部から照射され、前記ユーザの眼により反射され、前記被覆面により反射された非可視光により、前記ユーザの眼を撮像する
ヘッドマウントディスプレイ。
【請求項２】
前記被覆面は、前記ディスプレイ表面を覆う透明板に、可視光を透過し、非可視光を反射するように、金属膜又は誘電体膜が蒸着されて成ることを特徴とする請求項１に記載のヘッドマウントディスプレイ。
【請求項３】
前記被覆面は、前記ディスプレイの表面に帖着された、可視光を透過し、非可視光を反射する非可視光反射フィルムであることを特徴とする請求項１に記載のヘッドマウントディスプレイ。
【請求項４】
前記撮像装置は、グローバルシャッター方式で撮像する撮像装置であり、
前記照射部は、前記グローバルシャッターが開いているときに前記非可視光を照射し、前記グローバルシャッターが閉じているときに前記非可視光を照射しないことを特徴とする請求項１〜３のいずれか１項に記載のヘッドマウントディスプレイ。
【請求項５】
前記撮像装置は、前記ディスプレイに前記画像を表示するための走査が行われるブランキング区間において撮像を行うことを特徴とする請求項１〜３のいずれか１項に記載のヘッドマウントディスプレイ。
【請求項６】
前記非可視光は、近赤外光であり、
前記ヘッドマウントディスプレイは、さらに、
前記撮像装置が撮像した画像から、前記ディスプレイに表示される画像において、赤色の画素に対応する位置の赤色をフィルタリングした画像を生成する生成部を備え、
前記出力部は、前記生成部が生成した画像を出力する
ことを特徴とする請求項１〜３のいずれか１項に記載のヘッドマウントディスプレイ。
【請求項７】
前記ディスプレイが形成する平面と前記撮像装置の撮像光軸とが成す角度が９０度に近くなるように、前記ディスプレイを前記撮像装置に向けて傾けて配したことを特徴とする請求項１から６のいずれか１項に記載のヘッドマウントディスプレイ。
【請求項８】
ユーザの頭部に装着して使用するヘッドマウントディスプレイと、ユーザの視線を検出する視線検出装置とを含む視線検出システムであって、
前記ヘッドマウントディスプレイは、
ユーザの眼に非可視光を照射する照射部と、
非可視光を含む光を発光する発光素子を発光させて前記ユーザに視聴させる画像を表示するディスプレイと、
非可視光による像を撮像できる撮像装置と、
前記撮像装置が撮像した画像を、視線検出用の画像として出力する出力部とを備え、
前記視線検出装置は、
前記出力部が出力した画像に基づいてユーザの視線方向を検出する視線検出部を備え、
前記ディスプレイは、その表面に、可視光を透過し、非可視光を反射する被覆面を有し、
前記被覆面は、前記ディスプレイから発光する非可視光が前記撮像装置に到達することを抑制し、
前記撮像装置は、前記照射部から照射され、前記ユーザの眼により反射され、前記被覆面により反射された非可視光により、前記ユーザの眼を撮像する
視線検出システム。
【請求項９】
前記被覆面は、前記ディスプレイ表面を覆う透明板に、可視光を透過し、非可視光を反射するように、金属膜又は誘電体膜が蒸着されて成ることを特徴とする請求項８に記載の視線検出システム。
【請求項１０】
前記被覆面は、前記ディスプレイの表面に帖着された、可視光を透過し、非可視光を反射する非可視光反射フィルムであることを特徴とする請求項８に記載の視線検出システム。
【請求項１１】
前記撮像装置は、グローバルシャッター方式で撮像する撮像装置であり、
前記照射部は、前記グローバルシャッターが開いているときに前記非可視光を照射し、前記グローバルシャッターが閉じているときに前記非可視光を照射しないことを特徴とする請求項８〜１０のいずれか１項に記載の視線検出システム。
【請求項１２】
前記撮像装置は、前記ディスプレイに前記画像を表示するための走査が行われるブランキング区間において撮像を行うことを特徴とする請求項８〜１０のいずれか１項に記載の視線検出システム。
【請求項１３】
前記非可視光は、近赤外光であり、
前記視線検出部は、前記出力部から出力された画像に対して、前記ディスプレイに表示される画像において、赤色系の画素に対応する位置の赤色の彩度を抑制するフィルタリングを施して生成される画像に基づいて視線検出を実行する
ことを特徴とする請求項８〜１０のいずれか１項に記載の視線検出システム。
【請求項１４】
前記ディスプレイが形成する平面と前記撮像装置の撮像光軸とが成す角度が９０度に近くなるように、前記ディスプレイを前記撮像装置に向けて傾けて配したことを特徴とする請求項８〜１３のいずれか１項に記載の視線検出システム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、ヘッドマウントディスプレイに関する。
【背景技術】
【０００２】
従来、ヘッドマウントディスプレイに、様々な映像を表示し、ユーザに視聴させることが行われている。例えば、視差画像を表示して、立体映像を視聴させることができる。このようなヘッドマウントディスプレイにおいては、ユーザの視線を検出して、表示された映像のどこを視聴しているのかを特定したり、その特定に基づいて、視線を利用した入力を行ったりすることが行われている。
【０００３】
特許文献１においては、ユーザの眼に、赤外光を照射し、赤外光が照射されているユーザの眼を撮像し、その撮像画像における赤外光とユーザの瞳孔の位置に基づいて、ユーザの視線方向を検出している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開１１−７３２７４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、ヘッドマウントディスプレイは、ユーザの頭部に装着して使用するものであるため、その重量はなるべく軽いものが望ましく、また、できるだけ、コンパクトなサイズであることが望ましい。そのため、上記特許文献１においては、ユーザの視線検出を実現するために、ユーザの眼を撮像するためのカメラを、その撮像方向をモニタ側に向けたうえでユーザ側に配置している。そして、ユーザの眼とモニタとの間に非可視光を反射し、可視光を透過するホットミラーを配することで、ホットミラーにより反射された像を撮像して、ユーザの視線検出を実現している。
【０００６】
ところで、当該ホットミラーを配することにより、ヘッドマウントディスプレイは、その分だけ重量が増加するとともに、ヘッドマウントディスプレイにホットミラーを配するためのスペースを要求することから、ヘッドマウントディスプレイの筐体自体が大きくなるという問題があった。
【０００７】
そこで、本発明は上記問題に鑑みてなされたものであり、従来よりも軽く、コンパクトなヘッドマウントディスプレイ及びヘッドマウントディスプレイを利用した視線検出システムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明のある態様は、ユーザの頭部に装着して使用されるヘッドマウントディスプレイであって、ユーザの眼に非可視光を照射する照射部と、非可視光を含む光を発光する発光素子を発光させてユーザに視聴させる画像を表示するディスプレイと、非可視光による像を撮像できる撮像装置と、撮像装置が撮像した画像を、視線検出用の画像として出力する出力部とを備え、ディスプレイは、その表面に、可視光を透過し、非可視光を反射する被覆面を有し、被覆面は、ディスプレイから発光する非可視光が撮像装置に到達することを抑制し、撮像装置は、照射部から照射され、ユーザの眼により反射され、被覆面により反射された非可視光により、ユーザの眼を撮像する。
【０００９】
また、被覆面は、ディスプレイ表面を覆う透明板に、可視光を透過し、非可視光を反射するように、金属膜又は誘電体膜が蒸着されて成ることとしてもよい。
【００１０】
また、被覆面は、ディスプレイの表面に帖着された、可視光を透過し、非可視光を反射する非可視光反射フィルムであることとしてもよい。
【００１１】
また、撮像装置は、グローバルシャッター方式で撮像する撮像装置であり、照射部は、グローバルシャッターが開いているときに非可視光を照射し、グローバルシャッターが閉じているときに非可視光を照射しないこととしてもよい。
【００１２】
また、撮像装置は、ディスプレイに画像を表示するための走査が行われるブランキング区間において撮像を行うこととしてもよい。
【００１３】
また、非可視光は、近赤外光であり、ヘッドマウントディスプレイは、さらに、撮像装置が撮像した画像から、ディスプレイに表示される画像において、赤色の画素に対応する位置の赤色をフィルタリングした画像を生成する生成部を備え、出力部は、生成部が生成した画像を出力することとしてもよい。
【００１４】
また、ディスプレイが形成する平面と撮像装置の撮像光軸とが成す角度が９０度に近くなるように、ディスプレイを撮像装置に向けて傾けて配することとしてもよい。
【００１５】
また、ユーザの頭部に装着して使用するヘッドマウントディスプレイと、ユーザの視線を検出する視線検出装置とを含む視線検出システムであって、ヘッドマウントディスプレイは、ユーザの眼に非可視光を照射する照射部と、非可視光を含む光を発光する発光素子を発光させてユーザに視聴させる画像を表示するディスプレイと、非可視光による像を撮像できる撮像装置と、撮像装置が撮像した画像を、視線検出用の画像として出力する出力部とを備え、視線検出装置は、出力部が出力した画像に基づいてユーザの視線方向を検出する視線検出部を備え、ディスプレイは、その表面に、可視光を透過し、非可視光を反射する被覆面を有し、被覆面は、ディスプレイから発光する非可視光が撮像装置に到達することを抑制し、撮像装置は、照射部から照射され、ユーザの眼により反射され、被覆面により反射された非可視光により、ユーザの眼を撮像する。
【００１６】
また、非可視光は、近赤外光であり、視線検出部は、出力部から出力された画像に対して、ディスプレイに表示される画像において、赤色系の画素に対応する位置の赤色の彩度を抑制するフィルタリングを施して生成される画像に基づいて視線検出を実行する。
【００１７】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、データ構造、記録媒体などの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【００１８】
本発明によれば、ヘッドマウントディスプレイを装着したユーザの視線方向を検出する技術を提供することができる。
【図面の簡単な説明】
【００１９】
【図１】実施の形態に係るヘッドマウントディスプレイをユーザが装着した様子を示す外観図である。
【図２】実施の形態に係るヘッドマウントディスプレイの画像表示系の概観を模式的に示す斜視図である。
【図３】実施の形態に係るヘッドマウントディスプレイの画像表示系の光学構成を模式的に示す図である。
【図４】実施の形態に係るヘッドマウントディスプレイシステムの構成を示すブロック図である。
【図５】実施の形態に係る視線方向の検出のためのキャリブレーションを説明する模式図である。
【図６】ユーザの角膜の位置座標を説明する模式図である。
【図７】実施の形態に係る映像システム１の動作を示すフローチャートである。
【図８】画像表示素子の被覆面の光の透過率に関する周波数特性を模式的に示すグラフである。
【発明を実施するための形態】
【００２０】
図１は、実施の形態に係る視線検出システム１の概観を模式的に示す図である。実施の形態に係る視線検出システム１は、ヘッドマウントディスプレイ１００と視線検出装置２００とを含む。図１に示すように、ヘッドマウントディスプレイ１００は、ユーザ３００の頭部に装着して使用される。
【００２１】
視線検出装置２００は、ヘッドマウントディスプレイ１００を装着したユーザの右目及び左目の視線方向を検出し、ユーザの焦点、すなわち、ユーザがヘッドマウントディスプレイに表示されている三次元画像において注視している箇所を特定する。また、視線検出装置２００は、ヘッドマウントディスプレイ１００が表示する映像を生成する映像生成装置としても機能する。限定はしないが、一例として、視線検出装置２００は、据え置き型のゲーム機、携帯ゲーム機、ＰＣ、タブレット、スマートフォン、ファブレット、ビデオプレイヤ、テレビ等の映像を再生可能な装置である。視線検出装置２００は、ヘッドマウントディスプレイ１００と無線または有線で接続する。図１に示す例では、視線検出装置２００はヘッドマウントディスプレイ１００と無線で接続している。視線検出装置２００がヘッドマウントディスプレイ１００との無線接続は、例えば既知のＷｉ−Ｆｉ（登録商標）やＢｌｕｅｔｏｏｔｈ（登録商標）等の無線通信技術を用いて実現できる。限定はしないが、一例として、ヘッドマウントディスプレイ１００と視線検出装置２００との間における映像の伝送は、Ｍｉｒａｃａｓｔ（商標）やＷｉＧｉｇ（商標）、ＷＨＤＩ（商標）等の規格に則って実行される。
【００２２】
なお、図１は、ヘッドマウントディスプレイ１００と視線検出装置２００とが異なる装置である場合の例を示している。しかしながら、視線検出装置２００はヘッドマウントディスプレイ１００に内蔵されてもよい。
【００２３】
ヘッドマウントディスプレイ１００は、筐体１５０、装着具１６０、およびヘッドフォン１７０を備える。筐体１５０は、画像表示素子などユーザ３００に映像を提示するための画像表示系や、図示しないＷｉ−ＦｉモジュールやＢｌｕｅｔｏｏｔｈ（登録商標）モジュール等の無線伝送モジュールを収容する。装着具１６０は、ヘッドマウントディスプレイ１００をユーザ３００の頭部に装着する。装着具１６０は例えば、ベルトや伸縮性の帯等で実現できる。ユーザ３００が装着具１６０を用いてヘッドマウントディスプレイ１００を装着すると、筐体１５０はユーザ３００の眼を覆う位置に配置される。このため、ユーザ３００がヘッドマウントディスプレイ１００を装着すると、ユーザ３００の視界は筐体１５０によって遮られる。
【００２４】
ヘッドフォン１７０は、視線検出装置２００が再生する映像の音声を出力する。ヘッドフォン１７０はヘッドマウントディスプレイ１００に固定されなくてもよい。ユーザ３００は、装着具１６０を用いてヘッドマウントディスプレイ１００を装着した状態であっても、ヘッドフォン１７０を自由に着脱することができる。
【００２５】
図２は、実施の形態に係るヘッドマウントディスプレイ１００の画像表示系１３０の概観を模式的に示す斜視図である。より具体的に、図２は、実施の形態に係る筐体１５０のうち、ヘッドマウントディスプレイ１００を装着したときにユーザ３００の角膜３０２に対向する領域を示す図である。
【００２６】
図２に示すように、左目用凸レンズ１１４ａは、ユーザ３００がヘッドマウントディスプレイ１００を装着したときに、ユーザ３００の左目の角膜３０２ａと対向する位置となるように配置される。同様に、右目用凸レンズ１１４ｂは、ユーザ３００がヘッドマウントディスプレイ１００を装着したときに、ユーザ３００の右目の角膜３０２ｂと対向する位置となるように配置される。左目用凸レンズ１１４ａと右目用凸レンズ１１４ｂとは、それぞれ左目用レンズ保持部１５２ａと右目用レンズ保持部１５２ｂとに把持されている。
【００２７】
以下本明細書において、左目用凸レンズ１１４ａと右目用凸レンズ１１４ｂとを特に区別する場合を除いて、単に「凸レンズ１１４」と記載する。同様に、ユーザ３００の左目の角膜３０２ａとユーザ３００の右目の角膜３０２ｂとを特に区別する場合を除いて、単に「角膜３０２」と記載する。左目用レンズ保持部１５２ａと右目用レンズ保持部１５２ｂとも、特に区別する場合を除いて「レンズ保持部１５２」と記載する。
【００２８】
レンズ保持部１５２には、複数の赤外光源１０３が備えられている。煩雑となることを避けるために、図２においてはユーザ３００の左目の角膜３０２ａに対して赤外光を照射する赤外光源をまとめて赤外光源１０３ａで示し、ユーザ３００の右目の角膜３０２ｂに対して赤外光を照射する赤外光源をまとめて赤外光源１０３ｂで示す。以下、赤外光源１０３ａと赤外光源１０３ｂとを特に区別する場合を除いて「赤外光源１０３」と記載する。図２に示す例では、左目用レンズ保持部１５２ａには６つの赤外光源１０３ａが備えられている。同様に、右目用レンズ保持部１５２ｂにも６つの赤外光源１０３ｂが備えられている。このように、赤外光源１０３を凸レンズ１１４に直接配置せず、凸レンズ１１４を把持するレンズ保持部１５２に配置することにより、赤外光源１０３の取り付けが容易となる。一般にレンズ保持部１５２は樹脂等で構成されるため、ガラス等から構成される凸レンズ１１４よりも赤外光源１０３を取り付けるための加工が容易でからである。
【００２９】
上述したように、レンズ保持部１５２は凸レンズ１１４を把持する部材である。したがって、レンズ保持部１５２に備えられた赤外光源１０３は、凸レンズ１１４の周囲に配置されることになる。なお、ここでは、それぞれの眼に対して赤外光を照射する赤外光源１０３を６つとしているが、この数はこれに限定されるものではなく、それぞれの眼に対応して少なくとも１つあればよく、２以上配されているのが望ましい。
【００３０】
図３は、実施の形態に係る筐体１５０が収容する画像表示系１３０の光学構成を模式的に示す図であり、図２に示す筐体１５０を左目側の側面から見た場合の図である。画像表示系１３０は、赤外光源１０３、画像表示素子１０８、凸レンズ１１４、カメラ１１６、および第１通信部１１８を備える。
【００３１】
赤外光源１０３は、近赤外（７００ｎｍ〜２５００ｎｍ程度）の波長帯域の光を照射可能な光源である。近赤外光は、一般に、ユーザ３００の肉眼では観測ができない非可視光の波長帯域の光である。なお、ここで用いる近赤外光は、ユーザに害のない波長帯域のものを用いる。
【００３２】
画像表示素子１０８は、ユーザ３００に提示するための画像を表示する。画像表示素子１０８が表示する画像は、視線検出装置２００内の映像出力部２２２が生成する。映像出力部２２２については後述する。画像表示素子１０８は、例えば既知のＬＣＤ（Liquid Crystal Display）や有機ＥＬディスプレイ（Organic Electro Luminescence Display）を用いて実現できる。画像表示素子１０８は、その表面であって、少なくとも、ユーザの眼の側に被覆面により被覆されたガラスまたは透明樹脂により覆われている。当該被覆面は、可視光を透過し、非可視光を反射させるために形成された面であり、例えば、蒸着された金属膜または誘電体膜（誘電体多層膜）により実現される。金属膜であれば、例えば、アルミニウム（Al）、金（Au）、白金（Pt）、クロム（Cr）、チタン（Ti）、ニッケル（Ni）、モリブデン（Mo）、銅（Cu）、銀（Ag）、あるいはその合金膜である。また、誘電体膜であれば、例えば、酸化チタン（TiO3）、酸化シリコン（SiO2）、ニオブ（Nb2O5）、タンタル（Ta2O5）フッ化マグネシウム（MgF2）のうちの少なくともいずれか一つを用いる。すなわち、画像表示素子１０８の表面には、金属膜コーティングあるいは誘電体膜コーティングが成されており、これにより、可視光を透過し、非可視光を反射する構成を実現する。これによって、カメラ１１６は、ユーザの画像表示素子１０８に表示される画像の視認を妨げずに、赤外光を照射されたユーザの眼の画像を、画像表示素子１０８における反射により撮像することができる。
【００３３】
ところで、画像表示素子１０８は、ユーザ３００に提示するための画像を表示するための複数の画素から成り、各画素は、各色の色を発光する発光素子（例えば、発光ダイオード（ＬＥＤ））から成る。当該発光素子は、基本的には、ユーザ３００が視認可能な可視光を発光するものの、当該発光素子からは非可視光領域の周波数の光成分も含んでいる。したがって、画像表示素子１０８の表面に被覆面がない状態では、発光素子から発行された非可視光（近赤外光）が、カメラ１１６による赤外光源１０３から照射された赤外光に対するノイズになる可能性がある。しかし、本実施の形態に係る画像表示素子１０８は、その表面に可視光を透過し、非可視光を反射する被覆面を備えることにより、画像表示素子１０８から発せられる非可視光を反射することができる。したがって、ヘッドマウントディスプレイ１００は、カメラ１１６に、画像表示素子１０８から発せられる非可視光を抑制する構成を備える。なお、ガラスと樹脂では、樹脂の方がガラスよりも軽量にヘッドマウントディスプレイ１００を構築することができるとともに、その表面の凹凸の加工が容易であり、光の反射特定の調整がしやすいというメリットがある。
【００３４】
また、画像表示素子１０８は、画像表示素子１０８が形成する平面が、カメラ１１６の撮像光軸に対してなるべく９０度に近くなるように傾けて配することが望ましい。ただし、その際には、ユーザが画像表示素子１０８に描画される画像を視認するうえで、ユーザが違和感を覚えない程度に、画像表示素子１０８を傾けることとする。画像表示素子１０８を傾けることにより、カメラ１１６による撮像から得られる画像になるべく歪みを与えないようにすることができる。
【００３５】
凸レンズ１１４は、図３に示すように、ユーザ３００がヘッドマウントディスプレイ１００を装着したときに、画像表示素子１０８とユーザ３００の角膜３０２との間に配置される。すなわち、凸レンズ１１４は、ヘッドマウントディスプレイ１００がユーザ３００に装着されたときに、ユーザ３００の角膜３０２に対向する位置に配置される。
【００３６】
凸レンズ１１４は画像表示素子１０８からの画像表示光を集光する。このため、凸レンズ１１４は、画像表示素子１０８が生成する画像を拡大してユーザ３００に提示する画像拡大部として機能する。なお、説明の便宜上、図２では凸レンズ１１４をひとつのみ示しているが、凸レンズ１１４は、種々のレンズを組み合わせて構成されるレンズ群であってもよし、一方が曲率を持ち、他方が平面の片凸レンズであってもよい。
【００３７】
複数の赤外光源１０３は、凸レンズ１１４の周囲に配置されている。赤外光源１０３は、ユーザ３００の角膜３０２に向けて赤外光を照射する。
【００３８】
図示はしないが、実施の形態に係るヘッドマウントディスプレイ１００の画像表示系１３０は画像表示素子１０８を二つ備えており、ユーザ３００の右目に提示するための画像と左目に提示するための画像とを独立に生成することができる。このため、実施の形態に係るヘッドマウントディスプレイ１００は、ユーザ３００の右目と左目とに、それぞれ右目用の視差画像と左目用の視差画像とを提示することができる。これにより、実施の形態に係るヘッドマウントディスプレイ１００は、ユーザ３００に対して奥行き感を持った立体映像を提示することができる。
【００３９】
上述したように、画像表示素子１０８は、その表面を覆うガラス又は透明樹脂可視光を透過し、近赤外光を反射する。したがって、画像表示素子１０８が照射する画像光はガラス又は透明樹脂を透過してユーザ３００の角膜３０２まで到達する。また赤外光源１０３から照射され、ユーザ３００の角膜３０２に到達する。
【００４０】
ユーザ３００の角膜３０２に到達した赤外光は、ユーザ３００の角膜３０２で反射され、再び凸レンズ１１４の方向に向かう。この赤外光は凸レンズ１１４を透過し、画像表示素子１０８の表面で反射される。カメラ１１６は可視光を遮断するフィルタを備えており、画像表示素子１０８の表面で反射された近赤外光を撮像する。すなわち、図３の一点鎖線に示されるように、カメラ１１６は、赤外光源１０３から照射され、ユーザ３００の眼で角膜反射された近赤外光を撮像する近赤外カメラである。
【００４１】
なお、図示はしないが、実施の形態に係るヘッドマウントディスプレイ１００の画像表示系１３０は、カメラ１１６を二つ、すなわち、右目で反射された赤外光を含む画像を撮像する撮像部と、左目で反射された赤外光を含む画像を撮像する撮像部とを備える。これにより、ユーザ３００の右目及び左目の双方の視線方向を検出するための画像を取得することができる。
【００４２】
第１通信部１１８は、カメラ１１６が撮像した画像を、ユーザ３００の視線方向を検出する視線検出装置２００に出力する。具体的には、第１通信部１１８は、カメラ１１６が撮像した画像を視線検出装置２００に送信する。視線方向検出部として機能する視線検出部２２１の詳細については後述するが、視線検出装置２００のＣＰＵ（Central Processing Unit）が実行する視線検出プログラムによって実現される。なお、ヘッドマウントディスプレイ１００がＣＰＵやメモリ等の計算リソースを持っている場合には、ヘッドマウントディスプレイ１００のＣＰＵが視線方向検出部を実現するプログラムを実行してもよい。
【００４３】
詳細は後述するが、カメラ１１６が撮像する画像には、ユーザ３００の角膜３０２で反射された近赤外光に起因する輝点と、近赤外の波長帯域で観察されるユーザ３００の角膜３０２を含む眼の画像とが撮像されている。
【００４４】
図４は、視線検出システム１に係るヘッドマウントディスプレイ１００と視線検出装置２００とのブロック図である。図４に示すように、また、上述したとおり、視線検出システム１は、互いに通信を実行するヘッドマウントディスプレイ１００と視線検出装置２００とを含む。
【００４５】
図４に示すようにヘッドマウントディスプレイ１００は、第１通信部１１８と、表示部１２１と、赤外光照射部１２２と、画像処理部１２３と、撮像部１２４とを備える。
【００４６】
第１通信部１１８は、視線検出装置２００の第２通信部２２０と通信を実行する機能を有する通信インターフェースである。上述したとおり、第１通信部１１８は、有線通信又は無線通信により第２通信部２２０と通信を実行する。使用可能な通信規格の例は上述した通りである。第１通信部１１８は、撮像部１２４または画像処理部１２３から伝送された視線検出に用いる画像データを第２通信部２２０に送信する。また、第１通信部１１８は、視線検出装置２００から送信された三次元画像データを表示部１２１に伝達する。
【００４７】
表示部１２１は、第１通信部１１８から伝達された二次元画像データ又は三次元画像データに基づく画像を画像表示素子１０８に表示する機能を有する。三次元画像データは、右目用視差画像と左目用視差画像とを含み、それらは視差画像対となっている。
【００４８】
赤外光照射部１２２は、赤外光源１０３を制御し、ユーザの右目又は左目に赤外光を照射する。赤外光照射部１２２は、撮像部１２４から伝達されるカメラ１１６のグローバルシャッターの開閉タイミングに応じて赤外光を照射する。すなわち、カメラ１１６のグローバルシャッターが開くタイミングにおいて赤外光を照射し、カメラ１１６のグローバルシャッターが閉じているタイミングにおいて赤外光の照射を中止する。
【００４９】
画像処理部１２３は、必要に応じて、カメラ１１６が撮像した画像に画像処理を行い、第１通信部１１８に伝達する。
【００５０】
撮像部１２４は、カメラ１１６を用いて、それぞれの目で反射された近赤外光を含む画像を撮像する。撮像部１２４は、撮像して得た画像を、第１通信部１１８又は画像処理部１２３に伝達する。撮像部１２４は、カメラ１１６のグローバルシャッターの開閉タイミングを赤外光照射部１２２に伝達する。
【００５１】
図４に示すように視線検出装置２００は、第２通信部２２０と、視線検出部２２１と、映像出力部２２２と、記憶部２２５とを備える。
【００５２】
第２通信部２２０は、ヘッドマウントディスプレイ１００の第１通信部１１８と通信を実行する機能を有する通信インターフェースである。上述したとおり、第２通信部２２０は、有線通信又は無線通信により第１通信部１１８と通信を実行する。
【００５３】
視線検出部２２１は、第２通信部２２０からユーザの右目の視線検出用の画像データを受け付けて、ユーザの視線方向を検出する。視線検出部２２１は、後述する手法を用いて、ユーザの視線方向を算出する。
【００５４】
映像出力部２２２は、ヘッドマウントディスプレイ１００の表示部１２１により画像表示素子１０８に表示させる三次元画像データを生成し、第２通信部２２０に伝達する。また、映像出力部２２２は、視線検出のためのキャリブレーションに用いるマーカー画像データを生成し、第２通信部２２０に伝達する。映像出力部２２２は、出力する三次元画像の座標系並びに当該座標系において表示されるオブジェクトの三次元の位置座標を示す情報を保持する。
【００５５】
記憶部２２５は、視線検出装置２００が動作上必要とする各種プログラムやデータを記憶する記録媒体である。
次に、実施の形態に係る視線方向の検出について説明する。
【００５６】
図５は、実施の形態に係る視線方向の検出のためのキャリブレーションを説明する模式図である。ユーザ３００の視線方向は、カメラ１１６が撮像し第１通信部１１８が視線検出装置２００に出力した映像を、視線検出装置２００内の視線検出部２２１が解析することにより実現される。
【００５７】
映像出力部２２２は、図５に示すような点Ｑ１〜Ｑ９までの９つの点（マーカー画像）を生成し、ヘッドマウントディスプレイ１００の画像表示素子１０８に表示させる。視線検出装置２００は、点Ｑ１〜点Ｑ９に到るまで順番にユーザ３００に注視させる。このとき、ユーザ３００は首を動かさずに極力眼球の動きのみで各点を注視するように求められる。カメラ１１６は、ユーザ３００が点Ｑ１〜Ｑ９までの９つの点を注視しているときのユーザ３００の角膜３０２を含む画像を撮像する。
【００５８】
図６は、ユーザ３００の角膜３０２の位置座標を説明する模式図である。視線検出装置２００内の視線検出部２２１は、カメラ１１６が撮像した画像を解析して赤外光に由来する輝点１０５を検出する。ユーザ３００が眼球の動きのみで各点を注視しているときは、ユーザがいずれの点を注視している場合であっても、輝点１０５の位置は動かないと考えられる。そこで視線検出部２２１は、検出した輝点１０５をもとに、カメラ１１６が撮像した画像中に２次元座標系３０６を設定する。
【００５９】
視線検出部２２１はまた、カメラ１１６が撮像した画像を解析することにより、ユーザ３００の角膜３０２の中心Ｐを検出する。これは例えばハフ変換やエッジ抽出処理等、既知の画像処理を用いることで実現できる。これにより、視線検出部２２１は、設定した２次元座標系３０６におけるユーザ３００の角膜３０２の中心Ｐの座標を取得できる。
【００６０】
図５において、画像表示素子１０８が表示する表示画面に設定された２次元座標系における点Ｑ１〜点Ｑ９の座標をそれぞれＱ１（ｘ１，ｙ１）Ｔ，Ｑ２（ｘ２，ｙ２）Ｔ・・・，Ｑ９（ｘ９，ｘ９）Ｔとする。各座標は、例えば各点の中心に位置する画素の番号となる。また、ユーザ３００が点Ｑ１〜点Ｑ９を注視しているときの、ユーザ３００角膜３０２の中心Ｐを、それぞれ点Ｐ１〜Ｐ９とする。このとき、２次元座標系３０６における点Ｐ１〜Ｐ９の座標をそれぞれＰ１（Ｘ１，Ｙ１）Ｔ，Ｐ２（Ｘ２，Ｙ２）Ｔ，・・・，Ｐ９（Ｚ９，Ｙ９）Ｔとする。なお、Ｔはベクトルまたは行列の転置を表す。
【００６１】
いま、２×２の大きさの行列Ｍを以下の式（１）のように定義する。
【００６２】
【数１】
2017224942.tif 000003
【００６３】
このとき、行列Ｍが以下の式（２）を満たせば、行列Ｍはユーザ３００の視線方向を画像表示素子１０８が表示する画像面に射影する行列となる。
ＰＮ＝ＭＱＮ  （Ｎ＝１，・・・，９）    （２）
【００６４】
上記式（２）を具体的に書き下すと以下の式（３）のようになる。
【００６５】
【数２】
2017224942.tif 000004
式（３）を変形すると以下の式（４）を得る。
【００６６】
【数３】
2017224942.tif 000005
【００６７】
ここで、
【００６８】
【数４】
2017224942.tif 000006
【００６９】
とおくと、以下の式（５）を得る。
【００７０】
ｙ＝Ａｘ    （５）
【００７１】
式（５）において、ベクトルｙの要素は視線検出部２２１が画像表示素子１０８に表示させる点Ｑ１〜Ｑ９の座標であるため既知である。また、行列Ａの要素はユーザ３００の角膜３０２の頂点Ｐの座標であるため取得できる。したがって、視線検出部２２１は、ベクトルｙおよび行列Ａを取得することができる。なお、変換行列Ｍの要素を並べたベクトルであるベクトルｘは未知である。したがって、行列Ｍを推定する問題は、ベクトルｙと行列Ａとが既知であるとき、未知ベクトルｘを求める問題となる。
【００７２】
式（５）は、未知数の数（すなわちベクトルｘの要素数４）よりも式の数（すなわち、視線検出部２２１がキャリブレーション時にユーザ３００に提示した点Ｑの数）が多ければ、優決定問題となる。式（５）に示す例では、式の数は９つであるため、優決定問題である。
【００７３】
ベクトルｙとベクトルＡｘとの誤差ベクトルをベクトルｅとする。すなわち、ｅ＝ｙ−Ａｘである。このとき、ベクトルｅの要素の二乗和を最小にするという意味で最適なベクトルｘｏｐｔは、以下の式（６）で求められる。
【００７４】
ｘｏｐｔ＝（ＡＴＡ）−１ＡＴｙ    （６）
【００７５】
ここで「−１」は逆行列を示す。
【００７６】
視線検出部２２１は、求めたベクトルｘｏｐｔの要素を用いることで、式（１）の行列Ｍを構成する。これにより、視線検出部２２１は、ユーザ３００の角膜３０２の頂点Ｐの座標と行列Ｍとを用いることで、式（２）にしたがい、ユーザ３００の目が画像表示素子１０８が表示する動画像上のどこを注視しているかを２次元の範囲で推定できる。
【００７７】
このようにして推定された視線方向は、例えば、画像表示素子１０８に対して表示されたオブジェクトに対する入力位置に用いたり、ヘッドマウントディスプレイ１００を装着するユーザのネットワーク上でのアバターの表情に反映させたりすることができる。
【００７８】
＜動作＞
本実施の形態に係る視線検出システム１の動作を、図７を用いて説明する。図７は、本実施の形態に係る視線検出システム１の動作を示すフローチャートである。
【００７９】
図７に示すように、視線検出システム１の撮像部１２４はカメラ１１６のグローバルシャッターを開く（ステップＳ７０１）。
【００８０】
カメラ１１６のグローバルシャッターが開かれると、赤外光照射部１２２は、ユーザ３００の眼に赤外光を照射する（ステップＳ７０２）。
【００８１】
ユーザの眼に赤外光が照射されると、ユーザ３００の角膜により反射され、さらに、モニタである画像表示素子１０８により反射された赤外光を撮像する（ステップＳ７０３）。撮像部１２４は、撮像により得られた画像を画像処理部１２３又は第１通信部１１８に伝達する。第１通信部１１８は、画像処理部１２３により所定の画像処理が施された画像もしくは撮像部１２４により撮像されたそのままの画像を視線検出装置２００に送信する。
【００８２】
第２通信部２２０は、ヘッドマウントディスプレイ１００から送信された画像データを受信し、視線検出部２２１に伝達する。視線検出部２２１は、受信した画像データの中から、カメラ１１６により当該画像データが撮像されたタイミングにおいて、カメラ１１６の撮像方向、画角、画像表示素子１０８との配置関係に基づいて、カメラ１１６の撮像範囲のうち、画像表示素子１０８に表示される画像の画素データから、赤色に発光させている画素位置を特定する。すなわち、受信した画像の中から、画像表示素子１０８において表示される画像によって赤色に発色している箇所を特定する。画像表示素子１０８が表示する画像は映像出力部２２２から出力されるので、視線検出装置２００は、当該箇所を特定することができる。そして、視線検出部２２１は、画像データにおいて特定した箇所に対して赤色をマスク処理する（ステップＳ７０４）。これにより、視線検出部２２１が、画像表示素子１０８による赤色の発色と、近赤外光による発色との混同する可能性を低減することができる。
【００８３】
視線検出部２２１は、マスキング後の画像データに基づいて、ユーザ３００の視線検出処理を実行し、ユーザ３００の視線方向を検出する（ステップＳ７０５）。
【００８４】
ステップＳ７０３における撮像後に、撮像部１２４は、カメラ１１６のグローバルシャッターを閉じる（ステップＳ７０６）。
【００８５】
そして、グローバルシャッターが閉じられると、赤外光照射部１２２は、赤外光の照射を中止し（ステップＳ７０７）、処理を終了する。
【００８６】
＜まとめ＞
上述した処理により、本実施の形態に係るヘッドマウントディスプレイは、従来搭載されていたホットミラーを搭載することなく、可視光を透過しつつ、非可視光（近赤外光）を反射させて、ユーザの眼に照射される赤外光を撮像する構成を実現できる。ホットミラーを搭載していないので、その分だけヘッドマウントディスプレイを軽量化できるとともに、そのスペースをコンパクト化に利することができる。
【００８７】
＜補足＞
本発明に係る視線検出システムは、上記実施の形態に限定されるものではなく、その発明の思想を実現するための他の手法により実現されてもよいことは言うまでもない。
【００８８】
上記実施の形態においては、画像表示素子１０８の表面を覆うガラス又は透明樹脂に銀の微細粒子を封入することで、可視光を透過し、非可視光を反射する構成を実現していたが、これはその限りではない。画像表示素子１０８の表面であって、凸レンズ１１４側に、可視光を透過し、非可視光を反射するフィルムを帖着することで、実現してもよい。このようなフィルムの一種としては、例えば、所謂遮熱フィルムを利用することもできる。このような非可視光反射フィルムとしては、一例として、図８に示すような、光学特性を有するフィルムであればよい。図８に示すグラフは、横軸に周波数、縦軸に透過率をとった非可視光反射フィルムの周波数特性８００を示しており、透過率が高いほど、その周波数の光を透過することを示している。したがって、図８に示す周波数特性８００を有する非可視光反射フィルムの場合、赤外光領域（約７００ｎｍ以上、１２００ｎｍ以下の周波数帯域）の光を透過せず、可視光領域（約３００ｎｍ以上、７００ｎｍ以下の周波数帯域）の光を透過する。
【００８９】
また、上記実施の形態においては、カメラ１１６にはグローバルシャッター方式で撮像するカメラを用いて、グローバルシャッターを開くタイミングにおいて赤外光を照射して撮像することとしたが赤外光の照射タイミングを規定する手法はこの限りではない。例えば、画像表示素子１０８において画像を表示するにあたって、走査におけるいわゆるブランキング区間において赤外光を照射し、カメラ１１６による撮像を行うこととしてもよい。画像表示素子１０８のブランキング区間においてカメラ１１６による撮像を行うということは、即ち、フレームとフレームの間の暗くなる時間においてのみ非可視光（近赤外光）によりカメラ１１６が撮像を行うことを意味する。したがって、画像表示素子１０８に、何の画像も表示されていないタイミングで、ユーザの眼に照射された近赤外光に基づく撮像を行えるので、画像表示素子１０８に画像が表示されていた場合に発光するＬＥＤの赤色による干渉を抑制した撮像を行うことができる。したがって、より鮮明にユーザの眼に照射された非可視光（近赤外光）と、近赤外光に基づいて撮像されたユーザの眼の像を得ることができるので、より視線検出の精度を向上させることができる。
【００９０】
また、上記実施の形態において、ステップＳ７０１の処理とステップＳ７０２の処理との処理順序は逆であってもよく、同時に実行されてもよい。同様に、ステップＳ７０６の処理とステップＳ７０７の処理との処理手順も逆であってもよいし、同時に実行されてもよい。また、ステップＳ７０４とステップＳ７０５の処理と、ステップＳ７０６とステップＳ７０７の処理も並行に実行されてもよい。
【００９１】
また、上記実施の形態においては、視線検出の手法として、視線検出装置２００のプロセッサが視線検出プログラム等を実行することにより、ユーザが注視している箇所を特定することとしているが、これは視線検出装置２００に集積回路（ＩＣ（Integrated Circuit）チップ、ＬＳＩ（Large Scale Integration））等に形成された論理回路（ハードウェア）や専用回路によって実現してもよい。また、これらの回路は、１または複数の集積回路により実現されてよく、上記実施の形態に示した複数の機能部の機能を１つの集積回路により実現されることとしてもよい。ＬＳＩは、集積度の違いにより、ＶＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩなどと呼称されることもある。
【００９２】
また、上記視線検出プログラムは、プロセッサが読み取り可能な記録媒体に記録されていてよく、記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記検索プログラムは、当該検索プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記プロセッサに供給されてもよい。本発明は、上記視線検出プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
【００９３】
なお、上記視線検出プログラムは、例えば、ActionScript、JavaScript（登録商標）などのスクリプト言語、Objective-C、Java（登録商標）などのオブジェクト指向プログラミング言語、HTML5などのマークアップ言語などを用いて実装できる。
【符号の説明】
【００９４】
１  視線検出システム、  １００  ヘッドマウントディスプレイ、  １０３ａ  赤外光源、  １０３ｂ  赤外光源、  １０５  輝点、  １０８  画像表示素子、  １１４，１１４ａ，１１４ｂ  凸レンズ、  １１６  カメラ（第１撮像部、第２撮像部）、  １１８  第１通信部、  １２１  表示部，  １２２  赤外光照射部，  １２３  画像処理部，  １２４  撮像部，  １３０  画像表示系、  １５０  筐体、  １５２ａ，１５２ｂ  レンズ保持部、  １６０  装着具、  １７０  ヘッドフォン、  ２００  視線検出装置、  ２２０  第２通信部、  ２２１  視線検出部、  ２２２  映像出力部、  ２２５  記憶部。
【図１】
2017224942.tif 000007
【図２】
2017224942.tif 000008
【図３】
2017224942.tif 000009
【図４】
2017224942.tif 000010
【図５】
2017224942.tif 000011
【図６】
2017224942.tif 000012
【図７】
2017224942.tif 000013
【図８】
2017224942.tif 000014