(57)【要約】【課題】撮像結果に応じて光源の明滅パターンを動的に変更することが可能にする。【解決手段】眼へ光を照射する複数の光源を構成する光源の各々を制御する光源制御部と、前記光の反射点である輝点を含む眼の撮像画像を取得する画像取得部と、を備え、前記光源制御部は、前記眼の撮像画像に基づいて前記光源の各々の明滅を制御する、情報処理装置を提供する。【選択図】図３
2017211891.tif 000002
【特許請求の範囲】
【請求項１】
眼へ光を照射する複数の光源を構成する光源の各々を制御する光源制御部と、
前記光の反射点である輝点を含む眼の撮像画像を取得する画像取得部と、を備え、
前記光源制御部は、前記眼の撮像画像に基づいて前記光源の各々の明滅を制御する、
情報処理装置。
【請求項２】
前記光源制御部は、撮像される前記輝点と前記光源の各々が対応付けられた情報である輝点光源対応情報および、眼の撮像結果に関する情報である撮像解析情報に基づいて前記光源の各々の明滅を制御する、
請求項１に記載の情報処理装置。
【請求項３】
前記光源制御部は、撮像処理中のフレーム以前の前記輝点光源対応情報および前記撮像解析情報に基づいて、前記フレームの後に撮像処理が行われるフレームにて点灯状態にする光源を決定する、
請求項２に記載の情報処理装置。
【請求項４】
前記光源制御部は、撮像処理中のフレーム以前の前記輝点光源対応情報および前記撮像解析情報に基づいて、前記フレームの次に撮像処理が行われるフレームにて点灯状態にする光源を決定する、
請求項３に記載の情報処理装置。
【請求項５】
前記光源制御部は、前記光源の各々を点灯状態または消灯状態にするパターンが定義された明滅パターンに基づいて点灯状態または消灯状態にする光源を決定し、前記輝点光源対応情報および前記撮像解析情報に基づいて前記明滅パターンを変更する、
請求項２に記載の情報処理装置。
【請求項６】
前記撮像解析情報は、瞳孔に関する位置情報である、
請求項２に記載の情報処理装置。
【請求項７】
前記光源制御部は、前記瞳孔に関する位置情報によって予測される瞳孔または瞳孔中心の位置に基づいて点灯状態にする光源を決定する、
請求項６に記載の情報処理装置。
【請求項８】
前記光源制御部は、前記輝点光源対応情報に含まれる輝点のうち、前記予測される瞳孔または瞳孔中心の位置までの距離が相対的に近い所定の数の輝点に対応付けられる光源を点灯状態にする、
請求項７に記載の情報処理装置。
【請求項９】
前記撮像解析情報は、対応付けられる光源が存在しない輝点の位置情報である、
請求項２に記載の情報処理装置。
【請求項１０】
前記光源制御部は、前記輝点光源対応情報に含まれる輝点のうち、前記対応付けられる光源が存在しない輝点までの距離が所定の範囲内に位置する輝点に対応付けられる光源を消灯状態にする、
請求項９項に記載の情報処理装置。
【請求項１１】
前記撮像解析情報は、撮像された目尻、目頭または瞼の状態に関する情報である眼関連情報である、
請求項２に記載の情報処理装置。
【請求項１２】
前記光源制御部は、前記眼関連情報に基づいて前記輝点が角膜上に生成されないと予測される場合に、前記輝点に対応付けられる光源を消灯状態にする、
請求項１１に記載の情報処理装置。
【請求項１３】
前記光源制御部は、前記眼関連情報に基づいて前記輝点が角膜上に生成されると予測される場合に、前記輝点に対応付けられる光源を点灯状態にする、
請求項１１に記載の情報処理装置。
【請求項１４】
前記光源制御部は、前記輝点光源対応情報の精度に関する統計情報に基づいて点灯状態にする光源を決定する、
請求項２に記載の情報処理装置。
【請求項１５】
前記光源制御部は、前記統計情報に基づいて前記輝点光源対応情報の精度が所定の閾値より高い輝点に対応付けられる光源を点灯状態にする、
請求項１４項に記載の情報処理装置。
【請求項１６】
前記光源制御部は、前記統計情報に基づいて前記輝点光源対応情報の精度が所定の閾値より低い輝点に対応付けられる光源を消灯状態にする、
請求項１４に記載の情報処理装置。
【請求項１７】
眼へ光を照射する複数の光源を構成する光源の各々を制御する光源制御機能と、
前記光の反射点である輝点を含む眼の撮像画像を取得する画像取得機能と、を備え、
前記眼の撮像画像に基づいて前記光源の各々の明滅を制御する機能と、
を実現させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体。
【請求項１８】
眼へ光を照射する複数の光源を構成する光源の各々を制御するステップと、
前記光の反射点である輝点を含む眼の撮像画像を取得するステップと、を有し、
前記眼の撮像画像に基づいて前記光源の各々の明滅を制御する、
情報処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、情報処理装置、情報処理方法および記録媒体に関する。
【背景技術】
【０００２】
近年、視線推定技術の発展に伴い、視線推定の精度を向上させるための研究開発が行われている。例えば、先行文献１には、眼球に対して照射する光の方向を工夫することにより、算出される瞳孔中心点の精度を向上させるという技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平６−１３８３７９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ここで、眼球へ光を照射する光源の明滅パターンは、視線推定の精度に大きな影響を与える。撮像結果に応じて柔軟に光源の明滅パターンを変更できない場合には、視線推定の精度が低下することがある。
【０００５】
そこで本開示は、上記に鑑みてなされたものであり、本開示では、撮像結果に応じて光源の明滅パターンを動的に変更することが可能な、新規かつ改良された情報処理装置を提案する。
【課題を解決するための手段】
【０００６】
本開示によれば、眼へ光を照射する複数の光源を構成する光源の各々を制御する光源制御部と、前記光の反射点である輝点を含む眼の撮像画像を取得する画像取得部と、を備え、前記光源制御部は、前記眼の撮像画像に基づいて前記光源の各々の明滅を制御する、情報処理装置が提供される。
【０００７】
また、本開示によれば、眼へ光を照射する複数の光源を構成する光源の各々を制御する光源制御機能と、前記光の反射点である輝点を含む眼の撮像画像を取得する画像取得機能と、を備え、前記眼の撮像画像に基づいて前記光源の各々の明滅を制御する機能と、を実現させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体が提供される。
【０００８】
また、本開示によれば、眼へ光を照射する複数の光源を構成する光源の各々を制御するステップと、前記光の反射点である輝点を含む眼の撮像画像を取得するステップと、を有し、前記眼の撮像画像に基づいて前記光源の各々の明滅を制御する、情報処理方法が提供される。
【発明の効果】
【０００９】
以上説明したように本開示によれば、撮像結果に応じて光源の明滅パターンを動的に変更することが可能になる。
【００１０】
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
【図面の簡単な説明】
【００１１】
【図１】本開示の一実施形態に係るヘッドマウントディスプレイの概要図である。
【図２】本開示の一実施形態に係るヘッドマウントディスプレイによる視線推定の概要図である。
【図３】本開示の一実施形態に係るヘッドマウントディスプレイの構成を示すブロック図である。
【図４】本開示の一実施形態に係るヘッドマウントディスプレイの動作を示すフローチャートである。
【図５】本開示の一実施形態に係る光源の明滅パターンの変更例を示す概要図である。
【図６】本開示の一実施形態に係る瞳孔中心位置に基づく光源の明滅パターンの変更例を示す概要図である。
【図７】本開示の一実施形態に係る瞳孔中心位置に基づく光源の明滅パターンの変更処理を示すフローチャートである。
【図８】本開示の一実施形態に係る輝点の分散状態に基づく光源の明滅パターンの変更例を示す概要図である。
【図９】本開示の一実施形態に係る輝点の分散状態に基づく光源の明滅パターンの変更処理を示すフローチャートである。
【図１０】本開示の一実施形態に係る眼関連情報に基づく光源の明滅パターンの変更処理を示すフローチャートである。
【図１１】本開示の一実施形態に係る統計情報に基づく光源の明滅パターンの変更処理を示すフローチャートである。
【図１２】本開示の一実施形態に係るヘッドマウントディスプレイのハードウェア構成を示すブロック図である。
【発明を実施するための形態】
【００１２】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１３】
なお、説明は以下の順序で行うものとする。
１．はじめに
２．本開示の一実施形態
２．１．本開示の一実施形態の概要
２．２．ヘッドマウントディスプレイの構成
２．３．ヘッドマウントディスプレイの動作
３．光源の明滅パターンの変更
３．１．光源の明滅パターンの変更の概要
３．２．瞳孔中心位置に基づく光源の明滅パターンの変更
３．３．輝点の分散状態に基づく光源の明滅パターンの変更
３．４．眼関連情報に基づく光源の明滅パターンの変更
３．５．統計情報に基づく光源の明滅パターンの変更
３．６．本開示の一実施形態のまとめ
４．ヘッドマウントディスプレイのハードウェア構成
５．補足
【００１４】
＜１．はじめに＞
はじめに、視線推定技術の概要について説明する。視線推定技術とは、眼球の位置または運動などを含む眼球の状態を検出することにより視線を推定する技術である。視線推定技術は、様々な目的または製品に活用することができる。例えば、小売店の商品棚に陳列されている商品に対するユーザの視線が推定され、商品が見られる頻度または時間が算出されることによって、商品棚のレイアウトの改善を行うことができる。また、屋外広告に対するユーザの視線が推定され、見られる頻度または時間が算出されることによって、屋外広告の効果測定を行うことができる。さらに、例えば、ヘッドマウントディスプレイのディスプレイに対するユーザの視線が推定されることによって、ユーザはポインティングデバイスを用いることなく、操作したい点を指定しヘッドマウントディスプレイを操作することができる。
【００１５】
このような視線推定技術を活用したサービスや製品の普及や、センシングデバイスおよび撮像デバイスの発展などに伴い、様々な手法の視線推定技術が研究開発されている。例えば、以下のような手法の視線推定技術が挙げられる。
・瞳孔角膜反射法：角膜に光が照射され、角膜上の輝点と光源を対応付けることによっ
て角膜曲率中心点が算出され、当該角膜曲率中心点と瞳孔の中心点に基づいて視線が
推定される技術。
・強膜反射法：強膜と角膜の境界に光が照射され、強膜と角膜の反射率の違いに基づい
て視線が推定される技術。
・Ｄｏｕｂｌｅ  Ｐｕｒｋｉｎｊｅ法：角膜表面と水晶体裏面からの二つの反射光の相
対的な関係に基づいて視線が推定される技術。
・画像処理法：眼球の撮像画像に対して何等かの画像処理が行われることによって視線
が推定される技術。
・サーチコイル法：コイルが設けられた特殊なコンタクトレンズが眼球に装着されるこ
とによって、電磁誘導の原理で眼球運動が計測され視線が推定される技術。
・ＥＯＧ（Ｅｌｅｃｔｒｏ  ＯｃｕｌｏＧｒａｐｈｙ）法：眼球の回転による電位の変
化に基づいて視線が推定される技術。
【００１６】
＜２．本開示の一実施形態＞
[２．１．本開示の一実施形態の概要]
本開示の一実施形態においては、上記の視線推定技術のうち、瞳孔角膜反射法を用いることで視線推定が行われるヘッドマウントディスプレイについて説明する。
【００１７】
まず、図１を参照して、本開示の一実施形態におけるヘッドマウントディスプレイ１００の概要を説明する。図１は、本開示の一実施形態に係るヘッドマウントディスプレイ１００の概要図である。図１に示すように、本開示の一実施形態に係るヘッドマウントディスプレイ１００は、ユーザの頭部に装着され、生成された像が眼前のディスプレイに表示される情報処理装置である。図１に示されているのは、装着者の視界全体が覆われる遮蔽型のヘッドマウントディスプレイであるが、瞳孔角膜反射法により視線推定を行うことができるヘッドマウントディスプレイであれば形状は任意である。例えば、本開示の一実施形態に係るヘッドマウントディスプレイ１００は、装着者の視界全体が覆われていない開放型のヘッドマウントディスプレイでもよい。
【００１８】
次いで、図２を参照して、本開示の一実施形態に係るヘッドマウントディスプレイ１００を用いた視線推定技術の概要を説明する。図２は、本開示の一実施形態に係るヘッドマウントディスプレイによる視線推定の概要図である。図２には、ヘッドマウントディスプレイ１００の構成要素の一部である複数の光源１０１、撮像部１０３、表示部１０７および視線推定が行われる眼球１０が示されている。図２には、光源１０１が２個しか示されていないが、光源１０１は複数であれば何個備えられてもよい。また、図２には、撮像部１０３によって撮像された撮像画像１４も模式的に示されている。さらに、図２には、眼球１０の角膜１１、虹彩１２および瞳孔１３も模式的に示されており、眼球１０の形態は、角膜１１部分の球面と眼球１０本体の２つの異なる球面によって近似される。
【００１９】
本開示の一実施形態に係るヘッドマウントディスプレイ１００による視線推定においては、まず、複数の光源１０１から眼球１０に対して光が照射され、撮像部１０３が眼球１０を撮像する。撮像部１０３によって撮像された撮像画像１４には、角膜１１上に当該光の反射点である輝点１５（プルキニエ像（Ｐｕｒｋｉｎｊｅ  Ｉｍａｇｅ）とも呼称される）や瞳孔１３が撮像されている。
【００２０】
続いて、複数の光源１０１と光源１０１から照射された光が角膜上で反射することによって発生した輝点１５の対応付けが行われる。その対応付けに基づいて角膜曲率中心点１７が算出される。角膜曲率中心点１７の算出方法については後述する。また、撮像部１０３に撮像された瞳孔１３が解析されることで、瞳孔中心点１６が算出される。瞳孔中心点１６の算出方法については後述する。そして、算出された角膜曲率中心点１７から瞳孔中心点１６に向かうベクトルである光軸が求められる。次いで、光軸が適宜補正されることで、ユーザの視線である視軸１８が求められる。光軸の補正方法については後述する。次いで、表示部１０７と眼球１０の３次元空間における位置関係に基づいて視軸１８と表示部１０７が交差する視線推定点１９の座標が算出される。視線推定方法の詳細については後述する。
【００２１】
[２．２．ヘッドマウントディスプレイの構成]
以上では、本開示の一実施形態に係るヘッドマウントディスプレイ１００を用いた視線推定技術の概要を説明した。続いて、図３を参照して、本開示の一実施形態におけるヘッドマウントディスプレイ１００の構成を説明する。図３は、本開示の一実施形態に係るヘッドマウントディスプレイの構成を示すブロック図である。ヘッドマウントディスプレイ１００は、光源１０１、光源制御部１０２、撮像部１０３、画像処理部１０４、照合部１０５、視線推定部１０６、表示部１０７、表示制御部１０８、記憶部１０９を備える。照合部１０５は、画像処理部１０４の一モジュールである。光源１０１は、複数個備えられる。
【００２２】
光源１０１は、眼球１０に対して光を照射する。具体的には、光源１０１は、光源制御部１０２に制御されることにより点灯状態または消灯状態となり、点灯状態となった光源１０１は、眼球１０に対して光を照射する。本開示の一実施形態に係るヘッドマウントディスプレイ１００においては、複数の光源１０１が異なった箇所に備えられており、各光源１０１が眼球１０に対して光を照射する。これにより、角膜上に複数の輝点１５が発生する。
【００２３】
撮像部１０３は、画像取得部として機能し、輝点１５またはユーザの眼球１０、目尻、目頭、瞼、まつ毛などを含む眼を撮像し、撮像画像情報を生成する。具体的には、撮像部１０３は、眼の動作および輝点１５などを撮像することが可能な位置に設けられ、撮像された撮像画像に対応する撮像画像情報を生成する。なお、撮像部１０３はユーザの片目または両目を撮像する。そして、撮像部１０３は、当該撮像画像情報を画像処理部１０４へ提供する。
【００２４】
画像処理部１０４は、撮像部１０３から提供された撮像画像情報を解析し、撮像解析情報を生成する。具体的には、画像処理部１０４は、撮像画像情報を解析することで輝点１５または瞳孔１３の検出し、輝点１５の位置に関する情報が含まれる撮像解析情報（以降、「輝点関連情報」と呼称する）および、瞳孔１３の位置に関する情報が含まれる撮像解析情報（以降、「瞳孔関連情報」と呼称する）を生成する。輝点１５または瞳孔１３の検出方法の詳細については後述する。
【００２５】
また、画像処理部１０４は、撮像画像情報を解析することで眼（目尻、目頭、瞼、まつ毛など）に関する情報が含まれる撮像解析情報（以降、「眼関連情報」と呼称する）を生成する。例えば、画像処理部１０４は、目尻、目頭、瞼、まつ毛などの状態を解析し、眼の開閉（まばたきなど）の有無または眼の開閉のスピードなどを含む眼関連情報を生成する。また、画像処理部１０４は、まつ毛などの位置を含む眼関連情報を生成する。これらは眼関連情報の一例であり、眼関連情報は眼の状態に関する情報であれば任意である。
【００２６】
次いで、画像処理部１０４は、上述した輝点関連情報を光源制御部１０２、照合部１０５および視線推定部１０６へ提供する。提供された輝点関連情報は、光源制御部１０２による光源１０１の明滅パターンの変更、照合部１０５による輝点１５と光源１０１の対応付けおよび視線推定部１０６による光軸の推定に使用される。
【００２７】
また、画像処理部１０４は、上述した瞳孔関連情報を光源制御部１０２および視線推定部１０６へ提供する。提供された瞳孔関連情報は、光源制御部１０２による光源１０１の状態（点灯状態または消灯状態のいずれか）の決定および視線推定部１０６による光軸の推定に使用される。
【００２８】
また、画像処理部１０４は、上述した眼関連情報を光源制御部１０２へ提供する。提供された眼関連情報は、光源制御部１０２による光源１０１の状態（点灯状態または消灯状態のいずれか）の決定に使用される。
【００２９】
照合部１０５は、光源１０１と光源１０１から照射された光によって生成された輝点１５の対応付けを行う。具体的には、照合部１０５は、画像処理部１０４から提供された輝点関連情報と光源制御部１０２から提供された複数の光源１０１の明滅パターンに基づいて、光源１０１と輝点１５の対応付けを行う。さらに、照合部１０５は、光源１０１と輝点１５が対応付けられた情報にＩＤなどの識別情報が付与された輝点光源対応情報を生成する。光源１０１と輝点１５を対応付けの方法については後述する。
【００３０】
そして、照合部１０５は、輝点光源対応情報を光源制御部１０２および視線推定部１０６へ提供する。提供された輝点光源対応情報は、光源制御部１０２による光源１０１の状態（点灯状態または消灯状態のいずれか）の決定および視線推定部１０６による光軸の推定に使用される。
【００３１】
視線推定部１０６は、各種情報に基づいて視線を推定する。具体的には、視線推定部１０６は、画像処理部１０４から提供された輝点関連情報、瞳孔関連情報および照合部１０５から提供された輝点光源対応情報に基づいて、光軸を推定する。そして、視線推定部１０６は、光軸を補正することでユーザの視線である視軸１８を推定し、視軸１８に関する情報が含まれる視線推定情報を生成し、表示制御部１０８へ提供する。提供された視線推定情報は、表示制御部１０８が表示部１０７を制御するために使用される。
【００３２】
表示部１０７は、各種情報を表示する。具体的には、表示部１０７は、表示制御部１０８に制御されることによって、各種情報を画像、テキスト、グラフなどの多様な形式で表示することで、ユーザに対して当該情報を視覚的に通知する。当該各種の情報には多様なコンテンツが含まれ得る。また、表示部１０７は、表示制御部１０８に制御されることによって、ユーザの視線推定点１９を表示する。
【００３３】
表示制御部１０８は、表示部１０７を制御する。具体的には、表示制御部１０８は、起動しているアプリケーションの処理に基づいて、表示部１０７に表示させる情報の内容を決定し、当該情報を表示部１０７に表示させる。また、表示制御部１０８は、視線推定部
１０６から提供された視線推定情報に基づいて視軸１８と表示部１０７が交差する視線推定点１９の座標を算出し、表示部１０７に当該座標へポインタを表示させる。
【００３４】
光源制御部１０２は、複数の光源１０１の各々の明滅を制御する。具体的には、光源制御部１０２は、各フレームにおける複数の光源１０１の点灯または消灯の状態に関する情報である明滅パターンに基づいて各フレームにおいて各光源１０１の状態を点灯状態または消灯状態にする。また、光源制御部１０２は、撮像画像に基づいて複数の光源１０１の各々の明滅を制御する。具体的には、光源制御部１０２は、画像処理部１０４から提供された輝点関連情報、瞳孔関連情報、眼関連情報、照合部１０５から提供された輝点光源対応情報に基づいて各光源１０１の状態（点灯状態または消灯状態のいずれか）を決定し、明滅パターンを適宜変更することが可能である。明滅パターンの変更方法については後述する。そして、光源制御部１０２は、明滅パターンを照合部１０５へ提供する。提供された明滅パターンは、照合部１０５による輝点１５と光源１０１の対応付けに使用される。
【００３５】
記憶部１０９は、視線推定、光源制御または表示制御などに用いられる各種情報を記憶する。具体的には、記憶部１０９は、上述した撮像画像情報、輝点関連情報、瞳孔関連情報、眼関連情報、輝点光源対応情報、視線推定情報および明滅パターンを取得し、記憶してもよい。さらに、記憶部１０９は、視線推定で使用される各種パラメータ、表示部１０７へ表示されるコンテンツ情報などを記憶する。
【００３６】
[２．３．ヘッドマウントディスプレイの動作]
上記では、ヘッドマウントディスプレイ１００の構成について説明した。続いて、図４を参照して、ヘッドマウントディスプレイ１００の動作について説明する。図４は、本開示の一実施形態に係るヘッドマウントディスプレイ１００の動作を示すフローチャートである。
【００３７】
まず、光源制御部１０２が予め設定される光源１０１の明滅パターンにしたがって複数の光源１０１を点灯および消灯することで、光源１０１から眼に対して光が照射される（ステップＳ１０００）。これにより、角膜上に複数の輝点１５が発生する。
【００３８】
次いで、撮像部１０３が眼の状態を撮像する（ステップＳ１００４）ことで、角膜上に発生した輝点１５および瞳孔１３などが撮像された撮像画像情報が生成される。撮像部１０３は、当該撮像画像情報を画像処理部１０４へ提供する。
【００３９】
さらに、画像処理部１０４は、撮像部１０３から提供された撮像画像情報を解析し輝点１５および瞳孔１３を検出する（ステップＳ１００８）。輝点１５の検出処理には、機械学習の技術が利用され得る。具体的には、予め構築された機械学習用プログラムが、輝点が撮像された撮像画像を数十〜数万程度読み込み、学習する。そして画像処理部１０４が、当該プログラムを用いて撮像画像に含まれる輝点１５を検出してもよい。
【００４０】
また、輝点１５の検出処理には、機械学習以外の公知の画像認識技術も使用され得る。例えば、画像処理部１０４は、撮像画像に対する各種の画像処理、撮像画像内の輝度分布を取得する処理、当該輝度分布に基づいて周囲の画素との輝度値の差が比較的大きい画素を検出する処理などの一連の処理を行ってもよい。そして、画像処理部１０４は、生成した輝点関連情報を光源制御部１０２、照合部１０５および視線推定部１０６へ提供する。
【００４１】
一方、瞳孔１３の検出処理においても、輝点１５の検出処理と同様に機械学習の技術が利用されてもよく、機械学習以外の公知の画像認識技術が使用されてもよい。例えば、画像処理部１０４は、撮像画像に対する各種の画像処理（例えば歪みや黒レベル、ホワイトバランスなどの調整処理）、撮像画像内の輝度分布を取得する処理、当該輝度分布に基づいて瞳孔１３の輪郭（エッジ）を検出する処理、検出された瞳孔１３の輪郭を円又は楕円などの図形で近似する処理などの一連の処理を行ってもよい。そして、画像処理部１０４は、生成した瞳孔関連情報を光源制御部１０２および視線推定部１０６へ提供する。
【００４２】
次いで、照合部１０５が、輝点１５と光源１０１の対応付けを行う（ステップＳ１０１２）。具体的には、照合部１０５は、画像処理部１０４から輝点関連情報を取得し、光源制御部１０２から光源１０１の明滅パターンを取得する。輝点関連情報には、輝点１５が発生した位置および発生したフレームに関する情報が含まれており、明滅パターンには、各フレームにおける光源１０１の状態（点灯状態または消灯状態のいずれか）に関する情報が含まれている。照合部１０５は、輝点１５と光源１０１の物理的な位置関係に基づいて輝点１５と光源１０１の対応付けを行う。例えば、角膜上に発生している輝点１５のうち、ある光源１０１からの距離が最も近い輝点１５を当該光源１０１に対応する輝点１５とする。ここで、上述の対応付けの方法は一例であり、他の方法によって輝点１５と光源１０１の対応付けが行われてもよい。例えば、照合部１０５は、光源１０１と輝点１５の対応関係を予め学習した機械学習用プログラムを使用することによって、輝点１５と光源１０１の対応付けを行ってもよい。
【００４３】
次いで、視線推定部１０６は、画像処理部１０４から提供された輝点関連情報および照合部１０５から提供された輝点光源対応情報に基づいて角膜曲率中心点１７（角膜を球の一部とみなした場合の当該球の中心）の３次元座標を算出する（ステップＳ１０１６）。具体的には、視線推定部１０６は、撮像部１０３、光源１０１および光源１０１に対応する輝点１５の３次元的な位置関係に基づいて幾何学的計算式を解くことで、角膜の角膜曲率中心点１７の３次元座標を算出する。
【００４４】
次いで、視線推定部１０６は、画像処理部１０４から提供された瞳孔関連情報に基づいて瞳孔中心点１６の３次元座標を算出する（ステップＳ１０２０）。具体的には、視線推定部１０６は、撮像部１０３と眼球１０との位置関係、角膜表面における光の屈折率、角膜の角膜曲率中心点１７と瞳孔中心点１６との距離などのパラメータを用いて、撮像画像における瞳孔１３の輪郭上の複数点の３次元座標を算出し、これらの座標の中心点を求めることにより、瞳孔中心点１６の３次元座標を算出する。
【００４５】
次いで、視線推定部１０６は、ステップＳ１０１６で算出された角膜曲率中心点１７の３次元座標からステップＳ１０２０で算出された瞳孔中心点１６の３次元座標に向かうベクトルを算出することで、光軸（眼球１０が向いている方向）を求める（ステップＳ１０２４）。
【００４６】
ここで、ヒトにおいては、光軸と実際にヒトが視線を向けている方向（以降、視軸と呼称する）とが必ずしも一致しない。これは、眼球１０の形状、大きさ、眼球１０における網膜または視神経の配置などに起因するものであり、個人差を有するものである。このように、光軸と視軸との間には、ユーザ固有の誤差が存在する。
【００４７】
かかる事情を考慮して、本開示による一実施形態においては、視線推定部１０６は、光軸を視軸１８へと補正する処理を行う（ステップＳ１０２８）。例えば、ユーザに対して注視点が提示されることで、注視点と注視点に視線が向けられている時の光軸の相関関係に関する情報が予め取得され、視線推定部１０６は、当該情報に基づいて光軸を補正することで視軸１８を取得することができる。しかし、この補正方法は一例であるため、視線推定部１０６は任意の補正方法をとり得る。
【００４８】
次いで、視線推定部１０６は、視軸１８に基づいてユーザの視線推定点１９を算出する（ステップＳ１０３２）。具体的には、視線推定部１０６は、カメラ座標系における表示部１０７の座標を設定情報（パラメータ等）として把握している。したがって、視線推定部１０６は、カメラ座標系における表示部１０７と視軸１８との交点となる座標を算出することができる。この座標が、ユーザの注視点であると推定される視線推定点１９である。
【００４９】
以上説明した処理が行われることにより、本開示の一実施形態に係るヘッドマウントディスプレイ１００を用いてユーザの視線推定が行われる。
【００５０】
＜３．光源の明滅パターンの変更＞
[３．１．光源の明滅パターンの変更の概要]
以上では、本開示の一実施形態に係るヘッドマウントディスプレイ１００の動作について説明した。続いて、図５を参照して、光源制御部１０２が、画像処理部１０４から提供された撮像解析情報に基づいて光源１０１の明滅パターンを変更する処理について説明する。図５は、本開示の一実施形態に係る光源１０１の明滅パターンの変更例を示す概要図である。なお、以降の説明では、撮像部１０３によって撮像処理が行われているフレームは「現フレーム」と呼称され、現フレームの次に撮像処理が行われるフレームは「次フレーム」と呼称される。
【００５１】
まず、光源制御部１０２は、図５に示されている「変更前の明滅パターン」に基づいて複数の光源１０１の各々の明滅を制御する。そして、光源制御部１０２は、画像処理部１０４によって生成されるフレーム毎の撮像解析情報を取得し、当該撮像解析情報に基づいて次フレーム以降における光源１０１の状態（点灯状態または消灯状態のいずれか）を決定する。仮に、使用されている明滅パターンにて、次フレーム以降における光源１０１の状態が上記で決定された状態と異なる場合、光源制御部１０２は明滅パターンを変更する。
【００５２】
例えば、図５において、光源制御部１０２が、フレーム３以前に得られた撮像解析情報に基づいてフレーム４、５で点灯状態にする光源１０１を光源Ａ、Ｃに決定したとする。変更前の明滅パターンでは、光源Ｂの状態がフレーム４、５において点灯状態となっているため、光源制御部１０２は、フレーム４、５で光源Ｂの状態を消灯状態にする明滅パターンへ変更する。上記の例においては、光源制御部１０２は次フレーム以降の光源１０１の状態を決定しているが、光源制御部１０２は次フレームのみの光源１０１の状態を決定してもよい。
【００５３】
[３．２．瞳孔中心位置に基づく光源の明滅パターンの変更]
続いて、図６を参照して、瞳孔中心位置に基づく光源１０１の明滅パターンの変更についての概要を説明する。図６は、本開示の一実施形態に係る瞳孔中心位置に基づく光源１０１の明滅パターンの変更例を示す概要図である。
【００５４】
この方法は、瞳孔中心位置に相対的に近い位置に輝点１５が発生するように明滅パターンが変更される方法である。瞳孔中心位置とは、二次元の撮像画像において瞳孔が円または楕円に近似された場合の、当該円または楕円の中心位置であるとする。ここで、瞳孔中心位置は、上述した光軸と角膜１１の交点の位置であってもよい。瞳孔中心位置の検出処理については後述する。
【００５５】
まず、図６に示すように、フレームｎにおける瞳孔中心位置が検出される。そして、当該瞳孔中心位置およびフレームｎより前に撮像されたフレームにおける瞳孔中心位置に基づいてフレームｎ＋１における瞳孔中心位置が予測される。そして、フレームｎ＋１にて、予測される瞳孔中心位置に相対的に近い所定の数の輝点１５を発生させるように光源１０１の明滅パターンが変更される。
【００５６】
次に、図７を参照して、瞳孔中心位置に基づく光源１０１の明滅パターンの変更に関する処理フローを説明する。図７は、本開示の一実施形態に係る瞳孔中心位置に基づく光源１０１の明滅パターンの変更処理を示すフローチャートである。
【００５７】
まず、画像処理部１０４が撮像部１０３から提供された撮像画像情報を解析し、瞳孔中心位置を検出する（ステップＳ１１００）。瞳孔中心位置の検出処理は、例えば、撮像画像に対する画像処理（例えば歪みや黒レベル、ホワイトバランスなどの調整処理）、撮像画像内の輝度分布を取得する処理、当該輝度分布に基づいて瞳孔１３の輪郭（エッジ）を検出する処理、検出された瞳孔１３の輪郭を円または楕円などの図形で近似する処理、近似された円または楕円の中心点を算出する処理などの一連の処理であってもよい。
【００５８】
次いで、光源制御部１０２は、画像処理部１０４によって生成された現フレームおよび過去フレームにおける瞳孔中心位置に関する情報が含まれる瞳孔関連情報を取得する（ステップＳ１１０４）。そして、光源制御部１０２は、瞳孔関連情報に基づいて次フレームにおける予測瞳孔中心位置を算出する（ステップＳ１１０８）。例えば、光源制御部１０２は、瞳孔関連情報に含まれる瞳孔中心位置の３次元座標情報を多項式関数に適用することによって、次フレームにおける予測瞳孔中心位置を算出する。
【００５９】
次いで、光源制御部１０２は、照合部１０５から提供された輝点光源対応情報に含まれる輝点１５のうち、次フレームにおける予測瞳孔中心位置に相対的に近い所定の数の輝点１５を特定する（ステップＳ１１１２）。この時、特定される輝点１５の数は何個でもよい。そして、光源制御部１０２は、特定された輝点１５に対応する光源１０１の次フレームにおける状態を点灯状態に決定する（ステップＳ１１１６）。ここで、光源制御部１０２が使用している明滅パターンが、次フレームにおいて当該光源１０１の状態を点灯状態にしない場合には、光源制御部１０２は、明滅パターンを次フレームにおいて当該特定された光源１０１の状態を点灯状態にする明滅パターンへ変更する。
【００６０】
本開示の一実施形態のように、眼球１０の形態が角膜１１部分の球面と眼球１０本体の２つの異なる球面に近似される場合、瞳孔中心位置により近い位置に発生した輝点１５に基づいて行われる視線推定の方がより精度が高い。したがって、上述の方法により、視線推定の精度を向上させることができる。また、点灯状態にされる光源１０１が限定されるため、輝点１５と光源１０１の対応付けが容易となる。したがって、輝点１５と光源１０１の対応付けの誤りを減少させることができるから視線推定の精度を向上させることができる。
【００６１】
[３．３．輝点の分散状態に基づく光源の明滅パターンの変更]
以上では、瞳孔中心位置に基づく光源１０１の明滅パターンの変更について説明した。続いて、図８を参照して、輝点１５の分散状態に基づく光源１０１の明滅パターンの変更について説明する。図８は、本開示の一実施形態に係る輝点１５の分散状態に基づく光源１０１の明滅パターンの変更例を示す概要図である。
【００６２】
この方法は、分散状態である輝点１５を発生させないように明滅パターンを変更する方法である。分散状態とは、光源１０１との対応付けができない輝点１５のことをいう。例えば、図８のフレームｎの撮像画像に示すように、光源１０１と眼球１０の位置関係または瞼やまつ毛などの遮蔽物の影響によって、光源１０１から照射された光が分散し、当該光に対応する輝点１５が複数発生する場合がある。また、環境光などの影響により、外光が輝点１５のように撮像される場合もある。このように、１個の光源１０１に対応して複数の輝点１５が発生すると、光源１０１との対応付けに失敗する。上述のとおり、この方法は、光源１０１との対応付けができない輝点１５を発生させないように明滅パターンを変更する方法である。
【００６３】
具体的には、図８に示すように、フレームｎにおいて輝点１５が検出され、光源１０１と輝点１５の対応付けが行われる。そして、対応する光源１０１が存在しない輝点１５が検出された場合、フレームｎ＋１にて当該輝点１５が発生しないように、フレームｎ＋１において光源１０１の明滅パターンが変更される。
【００６４】
次に、図９を参照して、輝点１５の分散状態に基づく光源１０１の明滅パターンの変更についての処理フローを説明する。図９は、本開示の一実施形態に係る輝点１５の分散状態に基づく光源１０１の明滅パターンの変更処理を示すフローチャートである。以降では、対応する光源１０１が存在する輝点１５は「第１の輝点」と呼称され、対応する光源１０１が存在しない輝点１５は「第２の輝点」と呼称される。
【００６５】
まず、光源制御部１０２は、画像処理部１０４によって生成された現フレームの輝点１５に関する情報が含まれる輝点関連情報を取得する（ステップＳ１２００）。次いで、光源制御部１０２は、当該輝点関連情報および、照合部１０５によって生成された輝点光源対応情報に基づいて第２の輝点の有無を確認する。具体的には、光源制御部１０２は、輝点関連情報に含まれる現フレームにおいて発生している輝点１５のうち、輝点光源対応情報に含まれていない輝点１５の有無を確認する。
【００６６】
現フレームにおいて第２の輝点が存在する場合（ステップＳ１２０４／Ｙｅｓ）、光源制御部１０２は、当該第２の輝点の位置から所定の距離以内に存在する第１の輝点を算出し、次フレームにて、当該算出された第１の輝点に対応する光源１０１の状態を消灯状態に決定する（ステップＳ１２０８）。ここで、光源制御部１０２が使用している明滅パターンが、次フレームにおいて当該第１の輝点に対応する光源１０１の状態を点灯状態にする場合には、光源制御部１０２は、明滅パターンを次フレームにおいて当該第１の輝点に対応する光源１０１の状態を消灯状態にする明滅パターンへ変更する。
【００６７】
上述の「所定の距離」に、第２の輝点と、第２の輝点が分散した第１の輝点との距離が設定されることによって、次フレームにて、第２の輝点が分散した第１の輝点に対応する光源１０１の状態を消灯状態にすることができる。したがって、次フレームにおいて、第２の輝点が発生することを防ぐことができるため、輝点１５と光源１０１の対応付けの精度を向上させることができる。また、第１の輝点に対応する光源１０１のみが点灯状態にされるため、対応付けの候補となる光源１０１が限定され、輝点１５と光源１０１の対応付けが容易となる。
【００６８】
[３．４．眼関連情報に基づく光源の明滅パターンの変更]
以上では、輝点１５の分散状態に基づく光源１０１の明滅パターンの変更について説明した。続いて、図１０を参照して、眼関連情報に基づく光源１０１の明滅パターンの変更についての概要を説明する。図１０は、本開示の一実施形態に係る眼関連情報に基づく光源１０１の明滅パターンの変更処理を示すフローチャートである。
【００６９】
この方法は、眼（目尻、目頭、瞼、まつ毛など）の状態に基づいて、角膜上に輝点１５が発生しないと予測される光源１０１の状態を消灯状態にし、角膜上に輝点１５が発生すると予測される光源１０１の状態を点灯状態にする方法である。
【００７０】
まず、光源制御部１０２は、画像処理部１０４によって生成された現フレームおよび過去フレームにおける眼（目尻、目頭、瞼、まつ毛など）の状態に関する情報が含まれる眼関連情報を取得する（ステップＳ１３００）。そして、光源制御部１０２は、眼関連情報に基づいて次フレームにおける眼の状態を予測する（ステップＳ１３０４）。具体的には、光源制御部１０２は、眼関連情報に含まれる目尻、目頭、瞼、まつ毛などの３次元座標情報を多項式関数に適用することによって、次フレームにおいて角膜１１が露出する領域を予測する。
【００７１】
次いで、光源制御部１０２は、照合部１０５から提供される輝点光源対応情報に含まれる輝点１５のうち、次フレームにおいて角膜１１が露出すると予測された領域に位置しない輝点１５（以降、「第３の輝点」と呼称する）の存在の有無を確認する。第３の輝点が存在する場合（ステップＳ１３０８／Ｙｅｓ）、光源制御部１０２は、次フレームにて、第３の輝点に対応する光源１０１の状態を消灯状態に決定する（ステップＳ１３１２）。ここで、光源制御部１０２が使用している明滅パターンが、次フレームにおいて第３の輝点に対応する光源１０１の状態を点灯状態にする場合には、光源制御部１０２は、明滅パターンを次フレームにおいて第３の輝点に対応する光源１０１の状態を消灯状態にする明滅パターンへ変更する。
【００７２】
次いで、光源制御部１０２は、照合部１０５から提供される輝点光源対応情報に含まれる輝点１５のうち、次フレームにおいて角膜１１が露出すると予測された領域に位置する輝点１５（以降、「第４の輝点」と呼称する）の存在の有無を確認する（Ｓ１３１６）。第４の輝点が存在する場合（ステップＳ１３１６／Ｙｅｓ）、光源制御部１０２は、次フレームにて、第４の輝点に対応する光源１０１の状態を点灯状態に決定する（ステップＳ１３２０）。ここで、光源制御部１０２が使用している明滅パターンが、次フレームにおいて第４の輝点に対応する光源１０１の状態を点灯状態にしない場合には、光源制御部１０２は、明滅パターンを次フレームにおいて第４の輝点に対応する光源１０１の状態を点灯状態にする明滅パターンへ変更する。
【００７３】
上述の方法により、眼が動作することで露出している角膜１１の領域が変化する場合でも、角膜１１上に映らない輝点１５の発生を防ぎ、角膜１１上に映る輝点１５を発生させることができるため、輝点１５と光源１０１の対応付けの精度を向上させることができる。また、角膜１１に映る輝点１５に対応する光源１０１のみが点灯状態にされるため、対応付けの候補となる光源１０１が限定され、輝点１５と光源１０１の対応付けが容易となる。
【００７４】
[３．５．統計情報に基づく光源の明滅パターンの変更]
続いて、統計情報に基づく光源１０１の明滅パターンの変更についての概要を説明する。この方法は、統計情報に基づいて、輝点１５と光源１０１の対応付けの精度がより高い輝点１５を発生させるように明滅パターンを変更する方法である。ここで、統計情報とは、予め実験などによって得られた、撮像結果と輝点光源対応情報の精度の関係を示す情報である。具体的には、統計情報とは、撮像画像１４が解析されることで得られる各種情報（瞳孔位置、輝点位置、眼球中心位置、眼球形状に関する情報）と、当該撮像画像１４を用いて行った輝点１５と光源１０１の対応付けの精度の関係を表す情報である。統計情報により、輝点１５と光源１０１の対応付けの精度が相対的に高い眼（輝点１５を含む）の状態または、輝点１５と光源１０１の対応付けの精度が相対的に低い眼（輝点１５を含む）の状態を把握することができる。
【００７５】
次に、図１１を参照して、統計情報に基づく光源１０１の明滅パターンの変更についての処理フローを説明する。図１１は、本開示の一実施形態に係る統計情報に基づく光源１０１の明滅パターンの変更処理を示すフローチャートである。以降では、統計情報に基づいて統計的に輝点１５と光源１０１の対応付けの精度が所定の閾値より高い輝点１５は「第５の輝点」と呼称される。また、以降では、統計情報に基づいて統計的に輝点１５と光源１０１の対応付けの精度が所定の閾値より低い輝点１５は「第６の輝点」と呼称される。
【００７６】
まず、光源制御部１０２は、現フレームおよび過去フレームの撮像解析情報を取得する（ステップＳ１４００）。過去フレームの撮像解析情報は適宜省略されてもよい。次いで、光源制御部１０２は、第５の輝点の有無を予測する（ステップＳ１４０４）。第５の輝点が生成されると予測できる場合（ステップＳ１４０４／Ｙｅｓ）、光源制御部１０２は、次フレームにて、第５の輝点に対応する光源１０１の状態を点灯状態に決定する（ステップＳ１４０８）。ここで、光源制御部１０２が使用している明滅パターンが、次フレームにおいて第５の輝点に対応する光源１０１の状態を点灯状態にしない場合には、光源制御部１０２は、明滅パターンを次フレームにおいて第５の輝点に対応する光源１０１の状態を点灯状態にする明滅パターンへ変更する。
【００７７】
次いで、光源制御部１０２は、第６の輝点の有無を予測する（ステップＳ１４１２）。第６の輝点が生成されると予測できる場合（ステップＳ１４１２／Ｙｅｓ）、光源制御部１０２は、次フレームにて、第６の輝点に対応する光源１０１の状態を消灯状態に決定する（ステップＳ１４１６）。ここで、光源制御部１０２が使用している明滅パターンが、次フレームにおいて第６の輝点に対応する光源１０１の状態を点灯状態にする場合には、光源制御部１０２は、明滅パターンを次フレームにおいて第６の輝点に対応する光源１０１の状態を消灯状態にする明滅パターンへ変更する。
【００７８】
上述した方法により、撮像画像１４から得られる瞳孔位置、輝点位置、眼球中心位置、眼球形状などに応じて輝点１５と光源１０１の対応付けの精度が統計的に高い輝点１５を発生させ、精度が統計的に低い輝点１５の発生を防ぐことができる。したがって、輝点１５と光源１０１の対応付けの精度を向上させることができる。また、輝点１５と光源１０１の対応付けの精度が所定の閾値より高い輝点１５に対応する光源１０１のみが点灯状態にされるため、対応付けの候補となる光源１０１が限定され、輝点１５と光源１０１の対応付けが容易となる。
【００７９】
[３．６．本開示の一実施形態のまとめ]
以上では、本開示の一実施形態において光源１０１の明滅パターンを変更する例を説明した。以上で説明したように、本開示の一実施形態によって、撮像結果に基づいて動的に光源１０１の明滅パターンを変更することが可能となる。これにより、輝点１５と光源１０１の対応付けの精度を向上させることが可能となるため、視線推定の精度を向上させることができる。さらに、点灯状態にする光源１０１が限定されるため、輝点１５と光源１０１の対応付けを容易にすることが可能となる。
【００８０】
＜４．ヘッドマウントディスプレイのハードウェア構成＞
図１２は、本開示の一実施形態に係るヘッドマウントディスプレイ１００のハードウェア構成を示すブロック図である。ヘッドマウントディスプレイ１００は、例えば、ＭＰＵ９０１と、ＲＯＭ９０２と、ＲＡＭ９０３と、記録媒体９０４と、入出力インタフェース９０５と、操作入力デバイス９０６と、表示デバイス９０７と、通信インタフェース９０８と、撮像デバイス９０９と、ＩＲ  ＬＥＤ（ｉｎｆｒａｒｅｄ  ｓｐｅｃｔｒｏｓｃｏｐｙ  Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）９１０とを備える。また、ヘッドマウントディスプレイ１００は、例えば、データの伝送路としてのバス９１１で各構成要素間を接続する。
【００８１】
ＭＰＵ９０１は、１または２以上のプロセッサまたは各種処理回路などを備え、ヘッドマウントディスプレイ１００に備えられている各構成要素を制御したり処理を行ったりする機能を有する。また、ＭＰＵ９０１は、ヘッドマウントディスプレイ１００において、例えば、光源制御部１０２、画像処理部１０４、照合部１０５、視線推定部１０６、表示制御部１０８の機能を担う。
【００８２】
ＲＯＭ９０２は、記憶部１０９として機能し、ＭＰＵ９０１が使用するプログラムまたは演算パラメータなどの制御用データなどを記憶する。ＲＡＭ９０３は、記憶部１０９として機能し、例えば、ＭＰＵ９０１により実行されるプログラムなどを一時的に記憶する。
【００８３】
記録媒体９０４は、記憶部１０９として機能し、例えば、眼に関する情報などの本実施形態に係る情報処理方法に係るデータ、撮像画像を示す画像データまたはアプリケーションなどの様々なデータを記憶する。
【００８４】
記録媒体９０４としては、例えば、ハードディスクなどの磁気記録媒体またはフラッシュメモリなどの不揮発性メモリなどが挙げられる。また、記録媒体９０４は、ヘッドマウントディスプレイ１００から着脱可能であってもよい。
【００８５】
入出力インタフェース９０５は、操作入力デバイス９０６や、表示デバイス９０７を接続する。操作入力デバイス９０６は、操作部（図示せず）として機能し、また、表示デバイス９０７は、表示部１０７として機能する。ここで、入出力インタフェース９０５としては、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）端子や、ＤＶＩ（Ｄｉｇｉｔａｌ  Ｖｉｓｕａｌ  Ｉｎｔｅｒｆａｃｅ）端子、ＨＤＭＩ（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ  Ｍｕｌｔｉｍｅｄｉａ  Ｉｎｔｅｒｆａｃｅ）（登録商標）端子、各種処理回路などが挙げられる。
【００８６】
操作入力デバイス９０６は、例えば、ヘッドマウントディスプレイ１００上に備えられ、ヘッドマウントディスプレイ１００の内部で入出力インタフェース９０５と接続される。操作入力デバイス９０６としては、例えば、ボタンや、方向キー、ジョグダイヤルなどの回転型セレクター、あるいは、これらの組み合わせなどが挙げられる。
【００８７】
表示デバイス９０７は、例えば、ヘッドマウントディスプレイ１００上に備えられ、ヘッドマウントディスプレイ１００の内部で入出力インタフェース９０５と接続される。表示デバイス９０７としては、例えば、液晶ディスプレイ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）や有機ＥＬディスプレイ（Ｏｒｇａｎｉｃ  Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ  Ｄｉｓｐｌａｙ）または、ＯＬＥＤディスプレイ（Ｏｒｇａｎｉｃ  Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ  Ｄｉｓｐｌａｙ）などが挙げられる。
【００８８】
なお、入出力インタフェース９０５が、ヘッドマウントディスプレイ１００の外部装置としての操作入力デバイス（例えば、キーボードやマウスなど）や表示デバイス、撮像デバイスなどの、外部デバイスと接続することも可能であることは、言うまでもない。また、表示デバイス９０７は、例えばタッチデバイスなど、表示とユーザ操作とが可能なデバイスであってもよい。
【００８９】
通信インタフェース９０８は、ヘッドマウントディスプレイ１００が備える通信手段であり、ネットワークを介して（あるいは、直接的に）、外部の撮像装置や外部の表示装置、外部の本実施形態に係るユーザの頭部に装着されて用いられる装置などの外部装置（または、外部デバイス）と、無線または有線で通信を行うための通信部（図示せず）として機能する。
【００９０】
通信インタフェース９０８としては、例えば、通信アンテナおよびＲＦ（Ｒａｄｉｏ  Ｆｒｅｑｕｅｎｃｙ）回路（無線通信）や、ＩＥＥＥ８０２．１５．１ポートおよび送受信回路（無線通信）、ＩＥＥＥ８０２．１１ポートおよび送受信回路（無線通信）、あるいはＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）端子および送受信回路（有線通信）などが挙げられる。また、通信部（図示せず）は、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）端子および送受信回路など通信を行うことが可能な任意の規格に対応する構成や、ネットワークを介して外部装置と通信可能な任意の構成であってもよい。
【００９１】
また、本実施形態に係るネットワークとしては、例えば、ＬＡＮやＷＡＮ（Ｗｉｄｅ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）などの有線ネットワーク、無線ＬＡＮ（ＷＬＡＮ：Ｗｉｒｅｌｅｓｓ  Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）や基地局を介した無線ＷＡＮ（ＷＷＡＮ：Ｗｉｒｅｌｅｓｓ  Ｗｉｄｅ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）などの無線ネットワーク、あるいは、ＴＣＰ／ＩＰ（Ｔｒａｎｓｍｉｓｓｉｏｎ  Ｃｏｎｔｒｏｌ  ＰｒｏｔｏｃｏｌｓｕｒａｓｓｈｕＩｎｔｅｒｎｅｔ  Ｐｒｏｔｏｃｏｌ）などの通信プロトコルを用いたインターネットなどが挙げられる。
【００９２】
撮像デバイス９０９は、ヘッドマウントディスプレイ１００が備える撮像手段であり、撮像により撮像画像を生成する撮像部１０３として機能する。撮像デバイス９０９は、例えばＣＣＤ（Ｃｈａｒｇｅ−Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）イメージセンサまたはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  ＭＯＳ）イメージセンサなどの撮像素子であり、受光面を構成する画素ごとに受光した光量に応じた強度の信号を出力することにより、当該受光面への入射光に応じた画像（撮像画像）を取得する。また、撮像デバイス９０９は、例えば、ＩＲ  ＬＥＤなどの光源１０１からの光が照射される眼を撮像することが可能な位置に設けられる。
【００９３】
撮像デバイス９０９を備える場合、ヘッドマウントディスプレイ１００では、例えば、撮像デバイス９０９において撮像により生成された撮像画像に基づいて、本実施形態に係る情報処理方法に係る処理を行うことが可能となる。
【００９４】
撮像デバイス９０９は、例えば、レンズまたは撮像素子と信号処理回路とを含んで構成される。レンズまたは撮像素子は、例えば、光学系のレンズと、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  ＭｅｔａｌＯｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの撮像素子を複数用いたイメージセンサとで構成される。
【００９５】
信号処理回路は、例えば、ＡＧＣ（Ａｕｔｏｍａｔｉｃ  Ｇａｉｎ  Ｃｏｎｔｒｏｌ）回路やＡＤＣ（Ａｎａｌｏｇ  ｔｏ  Ｄｉｇｉｔａｌ  Ｃｏｎｖｅｒｔｅｒ）を備え、撮像素子により生成されたアナログ信号をデジタル信号（画像データ）に変換する。また、信号処理回路は、例えばＲＡＷ現像に係る各種処理を行う。さらに、信号処理回路は、例えば、Ｗｈｉｔｅ  Ｂａｌａｎｃｅ補正処理や、色調補正処理、ガンマ補正処理、ＹＣｂＣｒ変換処理、エッジ強調処理など各種信号処理を行ってもよい。
【００９６】
ＩＲ  ＬＥＤ９１０は、ヘッドマウントディスプレイ１００が備える光源１０１であり、複数のＩＲ  ＬＥＤで構成される。ＩＲ  ＬＥＤ９１０は、例えば、光がユーザの眼に照射される位置に設けられる。当該光源１０１がＩＲ  ＬＥＤ９１０のように可視光帯域以外の光を発する装置であることにより、当該光源１０１からユーザの眼球１０に向かって光が照射されたとしても、ユーザの視界が妨げられない。なお、上述したように、ヘッドマウントディスプレイ１００が備える光源１０１はＩＲ  ＬＥＤに限られず、光を発する光学素子であれば各種の光学素子が適用され得る。
【００９７】
ヘッドマウントディスプレイ１００は、例えば図１２に示す構成によって、本実施形態に係る情報処理方法に係る処理を行う。なお、本実施形態に係るヘッドマウントディスプレイ１００のハードウェア構成は、図１２に示す構成に限られない。
【００９８】
例えば、ヘッドマウントディスプレイ１００は、撮像デバイス９０９とＩＲ  ＬＥＤ９１０との一方または双方を備えない構成をとることが可能である。
【００９９】
また、ヘッドマウントディスプレイ１００は、例えば、スタンドアロンで処理を行う構成である場合には、通信インタフェース９０８を備えていなくてもよい。また、ヘッドマウントディスプレイ１００は、記録媒体９０４や、操作入力デバイス９０６、表示デバイス９０７を備えない構成をとることも可能である。
【０１００】
なお、本開示の一実施形態に係るヘッドマウントディスプレイ１００の構成は、図３に示す構成に限られない。
【０１０１】
例えば、本開示の一実施形態に係るヘッドマウントディスプレイ１００の構成の一部は、外部に設けられ得る。
【０１０２】
例えば外部装置において撮像画像情報に対する解析処理が行われ、当該外部装置の処理結果を用いて処理が行われる場合には、ヘッドマウントディスプレイ１００は、画像処理部１０４を備えていなくてもよい。
【０１０３】
また、外部装置において光源１０１と輝点１５の対応付け処理が行われ、当該外部装置の処理結果を用いて処理が行われる場合には、ヘッドマウントディスプレイ１００は、照合部１０５を備えていなくてもよい。
【０１０４】
また、外部装置において視線の推定処理が行われ、当該外部装置の処理結果を用いて処理が行われる場合には、ヘッドマウントディスプレイ１００は、視線推定部１０６を備えていなくてもよい。
【０１０５】
また、外部装置において各種情報の記憶が行われ、当該外部装置に記憶された情報を用いて処理が行われる場合には、ヘッドマウントディスプレイ１００は、記憶部１０９を備えていなくてもよい。
【０１０６】
以上、本開示の一実施形態として、ヘッドマウントディスプレイ１００を挙げて説明したが、本開示の実施形態は、かかる形態に限られない。本開示の実施形態は、例えば、ＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）やサーバなどの情報処理装置、携帯電話やスマートフォンなどの通信装置、タブレット型の装置など、画像を処理することが可能な様々な機器に適用することができる。また、本実施形態は、例えば、上記のような機器に組み込むことが可能な、１または２以上のＩＣ（Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）に適用することもできる。
【０１０７】
また、本開示は、例えばクラウドコンピューティングなどのように、ネットワークへの接続（または各装置間の通信）を前提とした、１または２以上の装置からなるシステムに適用されてもよい。つまり、上述した本開示の一実施形態に係るヘッドマウントディスプレイ１００は、例えば、複数の装置からなる情報処理システムとして実現することも可能である。
【０１０８】
＜５．補足＞
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０１０９】
例えば、光源制御部１０２は、表示部１０７に表示されているアプリケーションにおいて表示部１０７上の視線推定の精度を高めたい領域に対応する光源１０１の状態を点灯状態にするように光源１０１を制御してもよい。例えば、視線推定によって操作されたポインタによってボタンが密集している領域のボタンが選択される場合に、当該領域方向に対応する光源１０１の状態を点灯状態にすることで、当該領域に対する視線推定の精度を、他の領域に対する視線推定の精度よりも相対的に向上させることが可能となる。
【０１１０】
また、光源制御部１０２は、全フレームで、または所定の閾値以上の頻度で、視線推定に十分な所定の数の輝点１５が角膜上に発生するように光源１０１を制御してもよい。
【０１１１】
また、もちろん、光源制御部１０２は、明滅パターンを変更することなく、予め設定された明滅パターンに基づいて光源１０１を制御してもよい。
【０１１２】
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【０１１３】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
眼へ光を照射する複数の光源を構成する光源の各々を制御する光源制御部と、
前記光の反射点である輝点を含む眼の撮像画像を取得する画像取得部と、を備え、
前記光源制御部は、前記眼の撮像画像に基づいて前記光源の各々の明滅を制御する、
情報処理装置。
（２）
前記光源制御部は、撮像される前記輝点と前記光源の各々が対応付けられた情報である輝点光源対応情報および、眼の撮像結果に関する情報である撮像解析情報に基づいて前記光源の各々の明滅を制御する、
前記（１）に記載の情報処理装置。
（３）
前記光源制御部は、撮像処理中のフレーム以前の前記輝点光源対応情報および前記撮像解析情報に基づいて、前記フレームの後に撮像処理が行われるフレームにて点灯状態にする光源を決定する、
前記（２）に記載の情報処理装置。
（４）
前記光源制御部は、撮像処理中のフレーム以前の前記輝点光源対応情報および前記撮像解析情報に基づいて、前記フレームの次に撮像処理が行われるフレームにて点灯状態にする光源を決定する、
前記（３）に記載の情報処理装置。
（５）
前記光源制御部は、前記光源の各々を点灯状態または消灯状態にするパターンが定義された明滅パターンに基づいて点灯状態または消灯状態にする光源を決定し、前記輝点光源対応情報および前記撮像解析情報に基づいて前記明滅パターンを変更する、
前記（２）から（４）のいずれか１項に記載の情報処理装置。
（６）
前記撮像解析情報は、瞳孔に関する位置情報である、
前記（２）から（５）のいずれか１項に記載の情報処理装置。
（７）
前記光源制御部は、前記瞳孔に関する位置情報によって予測される瞳孔または瞳孔中心の位置に基づいて点灯状態にする光源を決定する、
前記（６）に記載の情報処理装置。
（８）
前記光源制御部は、前記輝点光源対応情報に含まれる輝点のうち、前記予測される瞳孔または瞳孔中心の位置までの距離が相対的に近い所定の数の輝点に対応付けられる光源を点灯状態にする、
前記（７）に記載の情報処理装置。
（９）
前記撮像解析情報は、対応付けられる光源が存在しない輝点の位置情報である、
前記（２）から（５）のいずれか１項に記載の情報処理装置。
（１０）
前記光源制御部は、前記輝点光源対応情報に含まれる輝点のうち、前記対応付けられる光源が存在しない輝点までの距離が所定の範囲内に位置する輝点に対応付けられる光源を消灯状態にする、
前記（９）に記載の情報処理装置。
（１１）
前記撮像解析情報は、撮像された目尻、目頭または瞼の状態に関する情報である眼関連情報である、
前記（２）から（５）のいずれか１項に記載の情報処理装置。
（１２）
前記光源制御部は、前記眼関連情報に基づいて前記輝点が角膜上に生成されないと予測される場合に、前記輝点に対応付けられる光源を消灯状態にする、
前記（１１）に記載の情報処理装置。
（１３）
前記光源制御部は、前記眼関連情報に基づいて前記輝点が角膜上に生成されると予測される場合に、前記輝点に対応付けられる光源を点灯状態にする、
前記（１１）または（１２）のいずれか１項に記載の情報処理装置。
（１４）
前記光源制御部は、前記輝点光源対応情報の精度に関する統計情報に基づいて点灯状態にする光源を決定する、
前記（２）から（５）のいずれか１項に記載の情報処理装置。
（１５）
前記光源制御部は、前記統計情報に基づいて前記輝点光源対応情報の精度が所定の閾値より高い輝点に対応付けられる光源を点灯状態にする、
前記（１４）に記載の情報処理装置。
（１６）
前記光源制御部は、前記統計情報に基づいて前記輝点光源対応情報の精度が所定の閾値より低い輝点に対応付けられる光源を消灯状態にする、
前記（１４）または（１５）のいずれか１項に記載の情報処理装置。
（１７）
眼へ光を照射する複数の光源を構成する光源の各々を制御する光源制御機能と、
前記光の反射点である輝点を含む眼の撮像画像を取得する画像取得機能と、を備え、
前記眼の撮像画像に基づいて前記光源の各々の明滅を制御する機能と、
を実現させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体。
（１８）
眼へ光を照射する複数の光源を構成する光源の各々を制御するステップと、
前記光の反射点である輝点を含む眼の撮像画像を取得するステップと、を有し、
前記眼の撮像画像に基づいて前記光源の各々の明滅を制御する、
情報処理方法。
【符号の説明】
【０１１４】
１００    ヘッドマウントディスプレイ
１０１    光源
１０２    光源制御部
１０３    撮像部
１０４    画像処理部
１０５    照合部
１０６    視線推定部
１０７    表示部
１０８    表示制御部
１０９    記憶部
【図１】
2017211891.tif 000003
【図２】
2017211891.tif 000004
【図３】
2017211891.tif 000005
【図４】
2017211891.tif 000006
【図５】
2017211891.tif 000007
【図６】
2017211891.tif 000008
【図７】
2017211891.tif 000009
【図８】
2017211891.tif 000010
【図９】
2017211891.tif 000011
【図１０】
2017211891.tif 000012
【図１１】
2017211891.tif 000013
【図１２】
2017211891.tif 000014