(57)【要約】【課題】ユーザの頭部に装着されて用いられる装置の装着状態に基づき処理を制御することが可能な、情報処理装置、情報処理方法、およびプログラムを提供する。【解決手段】第１の時点において、光源からの光が照射される眼が撮像された撮像画像に基づいて推定されたユーザの視線に対応する光軸ベクトルと、第１の時点よりも前の第２の時点において、時系列の複数の撮像画像に基づいて推定された眼球中心位置との距離に基づいて、ユーザの頭部に装着されて用いられる装置の装着状態を判定する判定部と、判定された装着状態に対応する処理を行わせる処理制御部と、を備える、情報処理装置が提供される。【選択図】図１２
2016149660.tif 000002
【特許請求の範囲】
【請求項１】
第１の時点において、光源からの光が照射される眼が撮像された撮像画像に基づいて推定されたユーザの視線に対応する光軸ベクトルと、前記第１の時点よりも前の第２の時点において、時系列の複数の前記撮像画像に基づいて推定された眼球中心位置との距離に基づいて、前記ユーザの頭部に装着されて用いられる装置の装着状態を判定する判定部と、
判定された前記装着状態に対応する処理を行わせる処理制御部と、
を備える、情報処理装置。
【請求項２】
前記処理制御部は、前記装着状態の変化が検出された場合には、前記ユーザの頭部に装着されて用いられる装置に対応する表示画面における表示位置を、前記光軸ベクトルに対応する表示位置とさせる、請求項１に記載の情報処理装置。
【請求項３】
前記処理制御部は、前記装着状態の変化が検出されたことを通知させる、請求項１に記載の情報処理装置。
【請求項４】
前記処理制御部は、前記装着状態の変化の検出頻度に応じて、前記ユーザの頭部に装着されて用いられる装置に対応する表示画面への表示のさせ方を変えさせる、請求項１に記載の情報処理装置。
【請求項５】
前記処理制御部は、判定された前記装着状態に対応するユーザの視線の検出に係る処理を行わせる、請求項１に記載の情報処理装置。
【請求項６】
前記光軸ベクトルと前記眼球中心位置とを推定する推定部をさらに備え、
前記判定部は、前記推定部において推定された前記光軸ベクトルと前記眼球中心位置との距離に基づいて、前記装着状態を判定する、請求項１に記載の情報処理装置。
【請求項７】
第１の時点において、光源からの光が照射される眼が撮像された撮像画像に基づいて推定されたユーザの視線に対応する光軸ベクトルと、前記第１の時点よりも前の第２の時点において、時系列の複数の前記撮像画像に基づいて推定された眼球中心位置との距離に基づいて、前記ユーザの頭部に装着されて用いられる装置の装着状態を判定するステップと、
判定された前記装着状態に対応する処理を行わせるステップと、
を有する、情報処理装置により実行される情報処理方法。
【請求項８】
第１の時点において、光源からの光が照射される眼が撮像された撮像画像に基づいて推定されたユーザの視線に対応する光軸ベクトルと、前記第１の時点よりも前の第２の時点において、時系列の複数の前記撮像画像に基づいて推定された眼球中心位置との距離に基づいて、前記ユーザの頭部に装着されて用いられる装置の装着状態を判定するステップ、
判定された前記装着状態に対応する処理を行わせるステップ、
をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、情報処理装置、情報処理方法、およびプログラムに関する。
【背景技術】
【０００２】
例えば、ヘッドマウントディスプレイ（Head  Mounted  Display。以下、「ＨＭＤ」と示す場合がある。）や、眼鏡型のウェアラブル装置のようなアイウェア型のウェアラブル装置（以下、単に「アイウェア」と示す場合がある。）のように、ユーザの頭部に装着されて用いられる装置が開発されている。ＨＭＤに関する技術としては、例えば、下記の特許文献１に記載の技術が挙げられる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−２４９９０６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ユーザの頭部に装着されて用いられる装置では、例えば特許文献１に記載のガイド表示画像のように、表示画面に様々な画像が表示される。また、例えば特許文献１の技術が用いられる場合には、ユーザの左眼に画像の内容を入力させる装着状態と、ユーザの右眼に画像の内容を入力させる装着状態とに応じてガイド表示画像の入れ替えが行われる。
【０００５】
ここで、ユーザの頭部に装着されて用いられる装置が用いられる場合には、ユーザの頭部に装着されて用いられる装置の装着位置が物理的にずれることなどによって、ユーザの頭部に装着されて用いられる装置の装着状態（以下、単に「装着状態」と示す場合がある。）が変化することが起こりうる。しかしながら、例えば特許文献１に記載の技術が用いられる場合には、予め定められている装着状態に応じてガイド表示画像の入れ替えが行われるに過ぎない。よって、例えば特許文献１に記載の技術のように、予め定められている装着状態に応じて画像の入れ替えが行われたとしても、上記のような装着状態の変化に対応することは望むべくもない。
【０００６】
本開示では、ユーザの頭部に装着されて用いられる装置の装着状態に基づき処理を制御することが可能な、新規かつ改良された情報処理装置、情報処理方法、およびプログラムを提案する。
【課題を解決するための手段】
【０００７】
本開示によれば、第１の時点において、光源からの光が照射される眼が撮像された撮像画像に基づいて推定されたユーザの視線に対応する光軸ベクトルと、上記第１の時点よりも前の第２の時点において、時系列の複数の上記撮像画像に基づいて推定された眼球中心位置との距離に基づいて、上記ユーザの頭部に装着されて用いられる装置の装着状態を判定する判定部と、判定された上記装着状態に対応する処理を行わせる処理制御部と、を備える、情報処理装置が提供される。
【０００８】
また、本開示によれば、第１の時点において、光源からの光が照射される眼が撮像された撮像画像に基づいて推定されたユーザの視線に対応する光軸ベクトルと、上記第１の時点よりも前の第２の時点において、時系列の複数の上記撮像画像に基づいて推定された眼球中心位置との距離に基づいて、上記ユーザの頭部に装着されて用いられる装置の装着状態を判定するステップと、判定された上記装着状態に対応する処理を行わせるステップと、を有する、情報処理装置により実行される情報処理方法が提供される。
【０００９】
また、本開示によれば、第１の時点において、光源からの光が照射される眼が撮像された撮像画像に基づいて推定されたユーザの視線に対応する光軸ベクトルと、上記第１の時点よりも前の第２の時点において、時系列の複数の上記撮像画像に基づいて推定された眼球中心位置との距離に基づいて、上記ユーザの頭部に装着されて用いられる装置の装着状態を判定するステップ、判定された上記装着状態に対応する処理を行わせるステップ、をコンピュータに実行させるためのプログラムが提供される。
【発明の効果】
【００１０】
本開示によれば、ユーザの頭部に装着されて用いられる装置の装着状態に基づき処理を制御することができる。
【００１１】
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握されうる他の効果が奏されてもよい。
【図面の簡単な説明】
【００１２】
【図１】本実施形態に係る視線の検出に係る処理の一例を示す説明図である。
【図２】本実施形態に係る視線の検出に係る処理の一例を示す説明図である。
【図３】本実施形態に係る視線の検出に係る処理の一例を示す説明図である。
【図４】本実施形態に係る視線の検出に係る処理の一例を示す説明図である。
【図５】本実施形態に係る視線の検出に係る処理の一例を示す説明図である。
【図６】本実施形態に係る視線の検出に係る処理の一例を示す説明図である。
【図７】本実施形態に係る視線の検出に係る処理の一例を示す説明図である。
【図８】本実施形態に係る視線の検出に係る処理の一例を示す説明図である。
【図９】本実施形態に係る情報処理方法に係る処理の一例を示す説明図である。
【図１０】実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。
【図１１】実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。
【図１２】本実施形態に係る情報処理装置の構成の一例を示すブロック図である。
【図１３】本実施形態に係る情報処理装置のハードウェア構成の一例を示す説明図である。
【発明を実施するための形態】
【００１３】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１４】
また、以下では、下記に示す順序で説明を行う。
１．本実施形態に係る情報処理方法
２．本実施形態に係る情報処理装置
３．本実施形態に係るプログラム
【００１５】
（本実施形態に係る情報処理方法）
本実施形態に係る情報処理装置の構成について説明する前に、まず、本実施形態に係る情報処理方法について説明する。以下では、本実施形態に係る情報処理方法に係る処理を、本実施形態に係る情報処理装置が行う場合を例に挙げて、本実施形態に係る情報処理方法について説明する。
【００１６】
上述したように、ユーザの頭部に装着されて用いられる装置が用いられる場合には、ユーザの頭部に装着されて用いられる装置の装着位置が物理的にずれること（いわゆる、掛けズレが生じること。以下、装着位置が物理的にずれることを「掛けズレ」と示す場合がある。）などによって、装着状態が変化することが起こりうる。また、例えば特許文献１に記載の技術のような既存の技術を用いたとしても、上記のような装着状態の変化に対応することはできない。
【００１７】
そこで、本実施形態に係る情報処理装置は、例えば、下記の（１）制御処理、および（２）制御処理を行い、ユーザの頭部に装着されて用いられる装置の装着状態に基づき処理を制御する。本実施形態に係る情報処理装置は、装着状態に基づき処理を制御することによって、上記のような装着状態の変化が生じた場合であっても、装着状態に対応する処理を実現させる。
【００１８】
本実施形態に係るユーザの頭部に装着されて用いられる装置としては、例えば、アイウェア（例えば、眼鏡型（片眼鏡も含む）の装置）や、ＨＭＤなどが挙げられる。本実施形態に係るユーザの頭部に装着されて用いられる装置は、本実施形態に係る情報処理装置であってもよいし、本実施形態に係る情報処理装置の外部装置であってもよい。
【００１９】
（１）判定処理
本実施形態に係る情報処理装置は、光源からの光が照射される眼が撮像された撮像画像（以下、単に「撮像画像」と示す場合がある。）から推定される、ユーザの視線に対応する光軸ベクトルと眼球中心位置とに基づいて、ユーザの頭部に装着されて用いられる装置の装着状態を判定する。
【００２０】
ここで、本実施形態に係る光源としては、例えば、ＩＲ  ＬＥＤ（InfraRed  Light  Emitting  Diode）が挙げられる。なお、本実施形態に係る光源は、ＩＲ  ＬＥＤなどの赤外線の光を出す光源に限られない。例えば、本実施形態に係る光源は、撮像画像から、光源の光が角膜において反射された角膜反射像（「プルキニエ像」とも呼ばれる。）を検出することが可能な任意の波長の光を出す光源であってもよい。角膜反射像は、例えば、ユーザの視線の検出などに用いられる。以下では、本実施形態に係る光源に対応する角膜反射像を、「輝点」と示す場合がある。
【００２１】
また、本実施形態に係る撮像画像としては、例えば、ユーザの頭部に装着されて用いられる装置が備える撮像デバイスより撮像された撮像画像が挙げられる。また、本実施形態に係る撮像画像は、上記ユーザの頭部に装着されて用いられる装置に接続されている外部の撮像デバイスにより撮像された撮像画像であってもよい。
【００２２】
本実施形態に係る光源は、例えば、本実施形態に係るユーザの頭部に装着されて用いられる装置が備える光源であってもよいし、本実施形態に係るユーザの頭部に装着されて用いられる装置に接続されている外部の光源であってもよい。
【００２３】
なお、本実施形態に係る撮像画像は、ユーザの頭部に装着されて用いられる装置が備える撮像デバイス、または、当該ユーザの頭部に装着されて用いられる装置に接続されている外部の撮像デバイスにより撮像された画像に限られない。例えば、本実施形態に係る撮像画像は、光源からの光が照射される眼を撮像することが可能な、任意の撮像デバイスにより撮像された画像であってもよい。また、本実施形態に係る光源は、何らかの装置に備えられる光源であってもよいし、他の装置に依存しない独立の光源であってもよい。本実施形態に係る光源は、例えば、発生させた光がユーザの眼に照射される位置に設けられる。
【００２４】
以下では、本実施形態に係る撮像画像が、ユーザの頭部に装着されて用いられる装置が備える撮像デバイス（または、当該ユーザの頭部に装着されて用いられる装置に接続されている外部の撮像デバイス）により撮像された画像である場合を主に例に挙げる。以下では、撮像デバイスを「カメラ」と示す場合がある。
【００２５】
本実施形態に係る判定処理についてより具体的に説明すると、本実施形態に係る情報処理装置は、第１の時点において撮像画像に基づいて推定されたユーザの視線に対応する光軸ベクトルと、第１の時点よりも前の第２の時点において、時系列の複数の撮像画像に基づいて推定された眼球中心位置との距離に基づいて、装着状態を判定する。
【００２６】
本実施形態に係る光軸ベクトルは、視線に対応するベクトルの一例である。本実施形態に係る光軸ベクトルとしては、例えば、角膜中心位置（角膜中心（角膜曲率中心）の３次元位置）と瞳孔中心位置（瞳孔中心の３次元位置）とを結んだ、眼球の外方向に向かうベクトルが該当する。
【００２７】
ここで、本実施形態に係るユーザの頭部に装着されて用いられる装置の装着状態が変わらない場合には、光軸ベクトルは変化しない。また、ユーザの眼において、角膜中心位置、瞳孔中心位置、および眼球中心位置（眼球中心の３次元位置）は、一直線上に存在する。
【００２８】
そこで、本実施形態に係る情報処理装置は、例えば、時刻ｔ（第１の時点の一例）で推定された光軸ベクトルと、時刻ｔ−１までの任意の時点（第２の時点の一例）で推定された眼球中心位置との距離を算出し、算出された距離と閾値とを比較する。
【００２９】
ここで、本実施形態に係る装着状態の変化の判定に係る閾値は、予め設定されている固定値であってもよいし、ユーザの操作などによって適宜設定することが可能な可変値であってもよい。本実施形態に係る装着状態の変化の判定に係る閾値は、例えば、“ユーザの頭部に装着されて用いられる装置に対応する表示画面における表示位置を、当該装置を装着するユーザが許容できる位置とすることができるか”や、“虹彩認証によりユーザを認証することが可能な位置であるか”という観点で設定される。
【００３０】
また、ユーザの頭部に装着されて用いられる装置に対応する表示画面としては、例えば、“ユーザの頭部に装着されて用いられる装置が備える、装着時にユーザの視線が向く方向に配置されている表示デバイスの表示画面”や、“ユーザの頭部に装着されて用いられる装置に接続されている、装着時にユーザの視線が向く方向に配置されている表示デバイスの表示画面”が挙げられる。
【００３１】
本実施形態に係る情報処理装置は、例えば、算出された距離が設定されている閾値以下の場合（または、当該距離が当該閾値より小さい場合）に、掛けズレが生じていないと判定する。また、本実施形態に係る情報処理装置は、算出された距離が設定されている閾値よりも大きい場合（または、当該距離が当該閾値以上である場合）に、掛けズレが生じていると判定する。
【００３２】
例えば上記のように、算出された距離と閾値とを比較することによって、本実施形態に係る情報処理装置は、ユーザの頭部に装着されて用いられる装置の装着状態を判定することができる。
【００３３】
また、例えば上記のように、ユーザの頭部に装着されて用いられる装置の装着状態を判定することによって、本実施形態に係る情報処理装置は、装着状態の変化を検出することができる。なお、本実施形態に係る情報処理装置は、例えば、設定されている数の複数フレームで連続して装着状態の変化が生じたと判定された場合に、装着状態の変化を検出することも可能である。
【００３４】
ここで、本実施形態に係る判定処理において用いられる光軸ベクトルは、例えば、光源の光が角膜において反射された角膜反射像を用いる角膜反射法を利用してユーザの視線に対応するベクトルを推定する、視線の検出に係る処理の一環として推定することが可能である。なお、本実施形態に係る光軸ベクトルは、上記視線の検出に係る処理とは独立した処理によって推定されてもよいことは、言うまでもない。本実施形態に係る光軸ベクトルの推定に係る処理は、本実施形態に係る情報処理装置が行ってもよいし、本実施形態に係る情報処理装置の外部装置において行われてもよい。
【００３５】
また、本実施形態に係る判定処理において用いられる眼球中心位置は、時系列の複数の撮像画像に基づいて推定される。本実施形態に係る眼球中心位置の推定に係る処理は、本実施形態に係る情報処理装置が行ってもよいし、本実施形態に係る情報処理装置の外部装置において行われてもよい。
【００３６】
以下、本実施形態に係る判定処理において用いられる光軸ベクトルの推定に係る処理の一例と、本実施形態に係る判定処理において用いられる眼球中心位置の推定に係る処理の一例をそれぞれ示す。また、以下では、本実施形態に係る判定処理において用いられる光軸ベクトルが、視線の検出に係る処理により推定される場合を例に挙げる。
【００３７】
［光軸ベクトルの推定に係る処理の一例］
まず、本実施形態に係る判定処理において用いられる光軸ベクトルの推定に係る処理の一例を説明する。以下では、光軸ベクトルの推定に係る処理を、本実施形態に係る情報処理装置が行う場合を例に挙げる。また、以下では、光軸ベクトルの推定に係る処理を含む、視線の検出に係る処理の一例を説明する。
【００３８】
図１は、本実施形態に係る視線の検出に係る処理の一例を示す説明図であり、角膜反射法を利用した視線の検出に係る処理の一例を示している。
【００３９】
ここで、図１のＡは、撮像画像の一例を示している。例えば図１のＡに示すように、撮像画像には、瞳孔や、角膜上の輝点（角膜反射像）、輝点のアウトライヤなどが含まれる。図１のＡでは、４つの光源からの光に対応する４つの輝点が、撮像画像に含まれている例を示している。上記輝点のアウトライヤとは、例えば、撮像画像に含まれうる、角膜反射像を得るための上記光源とは別の光源（例えば照明など）の光の映り込みや、眼に装着されているコンタクトレンズの縁での反射などによって、角膜反射像と似た見え方をするものである。
【００４０】
また、図１のＢ〜図１のＨは、図１のＡに示す撮像画像に対して行われる視線の検出に係る処理の一例を示している。図１では、輝点の検出に係る光源の数が、４つである例を示している。
【００４１】
視線の検出に係る処理は、例えば下記の（ｉ）〜（ｖｉｉ）に示す７ステップからなる。
【００４２】
（ｉ）第１のステップ：画像認識による瞳孔検出（図１のＢ）
本実施形態に係る情報処理装置は、図１のＡに示す撮像画像から瞳孔を検出する。
【００４３】
本実施形態に係る情報処理装置は、例えば、撮像画像を二値化して瞳孔を含む領域を判定することによって、瞳孔を検出する。なお、撮像画像から瞳孔を検出する方法は、上記に示す例に限られない。例えば、本実施形態に係る情報処理装置は、“ピクセル差分特徴量（例えば、画像上に複数設定された２画素の組み合わせそれぞれの画素値（輝度値）の差分値。以下、同様とする。）と、ブースティング技術とを用いる方法”など、画像から瞳孔を検出することが可能な任意の方法を用いることが可能である。
【００４４】
（ｉｉ）第２のステップ：画像認識による角膜反射像の候補の検出（図１のＣ）
本実施形態に係る情報処理装置は、例えば“ピクセル差分特徴量と、ブースティング技術とを用いる方法”を用いて、角膜反射像の候補を検出する。
【００４５】
ここで、上述したように、撮像画像には、角膜反射像と似た見え方をするアウトライヤが存在しうる。そのため、上記のような方法を用いる画像認識によって角膜反射像の候補を検出する場合には、角膜反射像およびアウトレイヤが、角膜反射像の候補として検出されうる。
【００４６】
（ｉｉｉ）第３のステップ：角膜反射像の検出（図１のＤ）
本実施形態に係る情報処理装置は、例えば、撮像画像から特定される瞳孔の位置（以下、「瞳孔の見えの位置」と示す。）に基づいて角膜反射像（輝点）の存在範囲を設定し、当該存在範囲内に存在する角膜反射像の候補の中から、光源の数である４つ以下の数の角膜反射像の候補を選択することによって、角膜反射像を検出する。また、本実施形態に係る情報処理装置は、例えば、機械学習などを用いて構築した角膜反射像検出器のスコアに基づいて、光源の数である４つ以下の数の角膜反射像の候補を選択することによって、角膜反射像を検出することも可能である。
【００４７】
なお、本実施形態に係る角膜反射像の検出方法は、上記に限られない。
【００４８】
例えば、本実施形態に係る角膜反射像は、下記の（ａ）〜（ｄ）に示す処理が行われることによって、検出されてもよい。
【００４９】
（ａ）眼球中心位置の推定
本実施形態に係る情報処理装置は、時系列の複数の撮像画像に基づいて、眼球中心位置を推定する。
【００５０】
本実施形態に係る時系列の複数の撮像画像としては、例えば、動画像を構成するフレーム画像（静止画像）が挙げられる。以下では、フレーム画像を単に「フレーム」と示す場合がある。
【００５１】
角膜反射法が用いられる場合には、角膜反射像と瞳孔の画像上の観測位置から、角膜曲率中心と瞳孔中心の３次元位置が求められるが、角膜反射法では、眼球中心の３次元位置を直接推定することができない。
【００５２】
そこで、本実施形態に係る情報処理装置は、時系列の撮像画像を利用して、複数の撮像画像それぞれに基づき得られる各時点における光軸ベクトルの交点を、眼球中心位置として推定する。
【００５３】
各時点における光軸ベクトルは、例えば図１を参照して示す、後述する処理により推定される。また、例えば、推定された光軸ベクトルのアウトライヤを除くことによって、アウトライヤの影響による眼球中心位置の推定精度の低下を防止することが可能である。
【００５４】
図２は、本実施形態に係る視線の検出に係る処理の一例を示す説明図であり、眼球中心位置の推定に係る処理の概要を示している。
【００５５】
図２に示すように、誤差などの影響により正確には光軸ベクトルは、１点で交わらない。そこで、本実施形態に係る情報処理装置は、複数の光軸ベクトルの最近傍点を眼球中心位置とする。
【００５６】
ここで、本実施形態に係るユーザの頭部に装着されて用いられる装置が、例えば眼鏡型ウェアラブル装置などのアイウェアであり、撮像デバイスが当該ユーザの頭部に装着されて用いられる装置に固定されている場合には、“当該ユーザの頭部に装着されて用いられる装置の掛けズレ（当該ユーザの頭部に装着されて用いられる装置の装着状態の変化の一例）が起きない限り、眼球中心位置は撮像デバイスに対して固定される”と仮定することができる。
【００５７】
図３は、本実施形態に係る視線の検出に係る処理の一例を示す説明図であり、眼球中心位置の推定に係る処理の概要を示している。図３では、撮像デバイスの位置を「カメラ中心」と表しており、当該カメラ中心を原点としている例を示している。以下では、便宜上、ベクトルを“ｘ→”と標記する場合がある。
【００５８】
図３に示すように、角膜中心位置を“ｃ→”、光軸ベクトルを“ｄ→”、求めたい眼球中心位置を“ｐ→”とする。ｉ番目（ｉは、正の整数。）の光軸ベクトル上の点Ｌｉは、例えば下記の数式１で表される。ここで、数式１に示す“ｔｉ”は、補助変数である。
【００５９】
【数１】
2016149660.tif 000003
【００６０】
また、眼球中心位置と光軸ベクトル上の点Ｌｉとの距離は、下記の数式２で表される。
【００６１】
【数２】
2016149660.tif 000004
【００６２】
よって、本実施形態に係る情報処理装置は、例えば全てのｉに対して、点Ｌｉとの距離の二乗和を最小にする点を求め、求められた点を眼球中心位置とする。具体的には、本実施形態に係る情報処理装置は、例えば下記の数式３に示すｎ＋１個（ｎは、正の整数）の連立方程式を解きｐの値を求めることによって、眼球中心位置を推定する。ここで、下記の数式３に示す“Ｆ”は、例えば下記の数式４で表される。
【００６３】
【数３】
2016149660.tif 000005
【００６４】
【数４】
2016149660.tif 000006
【００６５】
（ｂ）角膜中心位置の推定
本実施形態に係る情報処理装置は、上記（ａ）の処理により推定された眼球中心位置に基づいて、角膜中心位置を推定する。
【００６６】
具体的には、本実施形態に係る情報処理装置は、例えば下記の（ｂ−１）および（ｂ−２）の処理を行うことによって、角膜中心位置を推定する。
【００６７】
（ｂ−１）瞳孔中心位置の推定
本実施形態に係る情報処理装置は、上記（ａ）の処理により推定された眼球中心位置に基づいて瞳孔中心位置を推定する。ここで、（ｂ−１）の処理の原理は、後述する（ｖ）に示す第５のステップの処理と同様である。
【００６８】
図４は、本実施形態に係る視線の検出に係る処理の一例を示す説明図であり、瞳孔中心位置の推定に係る処理の概要を示している。
【００６９】
図４のＡは、眼球中心位置を中心とし、半径をｒ＋Ｍとする球を示している。ここで、ｒは、角膜半径であり、Ｍは、眼球中心−角膜中心間の距離である（以下、他の図の説明においても同様とする。）。また、図４に示すＬは、角膜中心−瞳孔中心間の距離である（以下、他の図の説明においても同様とする。）。角膜半径ｒ、眼球中心−角膜中心間の距離Ｍ、および角膜中心−瞳孔中心間の距離Ｌは、それぞれ本実施形態に係る眼に関する情報の一例に該当する。
【００７０】
ここで、角膜半径ｒ、および角膜中心−瞳孔中心間の距離Ｌとしては、例えば、設定された固定値が挙げられる。また、眼球中心−角膜中心間の距離Ｍは、例えば、上記（ａ）の処理により推定された眼球中心位置に基づいて、推定された値であってもよいし、設定された固定値であってもよい。なお、眼球中心−角膜中心間の距離Ｍの推定は、上記（ａ）の処理において眼球中心位置が推定された後の任意のタイミングで行うことが可能である。
【００７１】
本実施形態に係る情報処理装置は、例えば、瞳孔が図４のＡに示す球面上で屈折していると仮定し、スネルの法則を用いて瞳孔中心の３次元位置を算出する。
【００７２】
（ｂ−２）角膜中心位置の推定
本実施形態に係る情報処理装置は、例えば、上記（ａ）の処理により推定された眼球中心位置と、上記（ｂ−１）の処理により推定された瞳孔中心位置を結ぶ線分上の位置を、角膜中心位置として推定する。
【００７３】
図５は、本実施形態に係る視線の検出に係る処理の一例を示す説明図であり、角膜中心位置の推定に係る処理の概要を示している。
【００７４】
本実施形態に係る情報処理装置は、例えば、角膜中心−瞳孔中心間の距離Ｌ（眼に関する情報の一例）、および眼球中心−角膜中心間の距離Ｍ（眼に関する情報の一例）に基づいて、推定された瞳孔中心位置と推定された眼球中心位置とを結ぶ線分を、Ｌ：Ｍに分割する点（ｘ，ｙ，ｚ）を、角膜中心位置として推定する。
【００７５】
（ｃ）角膜反射像の候補位置の推定
本実施形態に係る情報処理装置は、上記（ｂ）の処理により推定された角膜中心位置に基づいて、角膜反射像の候補位置を推定する。以下では、角膜反射像の候補位置を「輝点候補位置」と示す場合がある。
【００７６】
本実施形態に係る情報処理装置は、例えば、推定された角膜中心位置、眼に関する情報、および光源の位置に基づいて、角膜反射像の候補位置を推定する。
【００７７】
図６は、本実施形態に係る視線の検出に係る処理の一例を示す説明図であり、角膜反射像の候補位置の推定に係る処理の概要を示している。
【００７８】
本実施形態に係る情報処理装置は、例えば、推定された角膜中心位置、角膜半径ｒ（眼に関する情報の一例）、および撮像デバイスに対するＩＲ  ＬＥＤの配置を示すデータ（光源の位置を示す情報の一例）に基づき、反射の法則を利用して、光源の光の反射位置（ｘ，ｙ，ｚ）を求める。そして、本実施形態に係る情報処理装置は、求めた反射位置（ｘ，ｙ，ｚ）を、画像平面に投影することによって、角膜反射像の候補位置（例えば、（ｕ，ｖ）座標で表される位置）を推定する。
【００７９】
角膜反射像の候補位置の推定に係る処理について、より具体的に説明する。
【００８０】
図７は、本実施形態に係る視線の検出に係る処理の一例を示す説明図であり、角膜反射像の候補位置の推定に係る処理の概要を示している。図７に示すＯ（０，０）は、カメラ中心を示しており、図７に示すＬは、一のＩＲ  ＬＥＤ（光源の一例）の位置を示している。また、図７に示すＣ（ｃｘ，ｃｙ）は、眼球中心位置を示しており、図７に示すＧ（ｇｘ，ｇｚ）は、輝点の位置を示している。
【００８１】
球面反射の法則により、カメラ中心、輝点、ＩＲ  ＬＥＤ、および眼球中心は同一平面上に存在する。例えば図７に示すように、上記平面上において、カメラ中心と、ＩＲ  ＬＥＤの位置とを通る方向にｘ軸をとり、ｘ軸に直交し、眼球中心位置に近い方向にｚ軸をとる。
【００８２】
ここで、ＩＲ  ＬＥＤの光（光源の光の一例）の入射角と反射角は等しいので、θ＝∠ＯＧＮ＝∠ＬＧＮとなる。また、Ｇ（ｇｘ，ｇｚ）は、眼球中心Ｃ（ｃｘ，ｃｙ）を中心とし、半径ｒ＋Ｍの円周上の点である。
【００８３】
本実施形態に係る情報処理装置は、例えば、下記の数式５に示す非線形連立方程式をｇｘ、ｇｙについて解き、カメラ座標系における輝点（角膜反射像）の方向ベクトルに換算することによって、角膜反射像の候補位置（ｕ，ｖ）を求める。
【００８４】
【数５】
2016149660.tif 000007
【００８５】
（ｄ）角膜反射像の検出
本実施形態に係る情報処理装置は、上記（ｃ）の処理により推定された角膜反射像の候補位置に基づいて、撮像画像から角膜反射像を検出する。
【００８６】
図８は、本実施形態に係る視線の検出に係る処理の一例を示す説明図であり、角膜反射像の検出に係る処理の概要を示している。
【００８７】
本実施形態に係る情報処理装置は、例えば、“上記（ｉｉ）に示す第２のステップに係る処理によって画像認識により検出された角膜反射像の候補位置と、上記（ｃ）の処理により推定された角膜反射像の候補位置との距離”や、“複数のＩＲ  ＬＥＤ間の位置関係に対応する角膜反射像間のｕ方向、ｖ方向の傾き”などを、拘束条件とすることによって、撮像画像から角膜反射像を検出する。
【００８８】
本実施形態に係る情報処理装置は、上記（ｉｉｉ）に示す第３のステップに係る処理において、例えば上記（ａ）〜（ｄ）に示す処理を行うことによって、撮像画像から角膜反射像を検出することも可能である。
【００８９】
ここで、上記（ａ）〜（ｄ）に示す処理が行われることによって、上記（ｉｉｉ）に示す第３のステップに係る処理において示した処理が行われる場合よりも、角膜反射像を検出するための角膜反射像の存在範囲を大幅に縮小することができる。
【００９０】
よって、上記（ｉｉｉ）に示す第３のステップにおいて上記（ａ）〜（ｄ）に示す処理が行われる場合には、上述した（ｉｉｉ）に示す第３のステップに係る処理が行われる場合よりも、撮像画像から角膜反射像をより精度よく検出することができる。
【００９１】
また、上記（ｉｉｉ）に示す第３のステップにおいて上記（ａ）〜（ｄ）に示す処理により検出された角膜反射像を用いて、後述する（ｉｖ）〜（ｖｉｉ）に示す各処理が行われることによって、上述した（ｉｉｉ）に示す第３のステップに係る処理が行われる場合よりも、視線に対応するベクトル（光軸ベクトル、または、光軸ベクトルが補正された視線ベクトル）の推定精度を、より高めることができる。
【００９２】
（ｉｖ）第４のステップ：角膜反射像の位置を利用した角膜中心位置（３次元位置）の推定（図１のＥ）
本実施形態に係る情報処理装置は、例えば、検出された複数の角膜反射像の位置（ｕ,ｖ座標）、光源の位置、および角膜半径（角膜曲率半径）などの眼に関する情報（データ）に基づいて、角膜中心位置を推定する。
【００９３】
ここで、角膜曲率半径や、後述する他の情報（例えば、眼球中心−角膜中心間の距離や、角膜中心−瞳孔中心間の距離などの眼に関連する値を示すデータ）などの本実施形態に係る眼に関する情報が示す値は、例えば、予め設定されている固定値である。本実施形態に係る眼に関する情報が示す値は、ユーザごとに固有の値であってもよいし、複数のユーザの固有の値を用いて標準化された値であってもよい。本実施形態に係る眼に関する情報が示す値がユーザごとに固有の値である場合には、例えば、生体認証やパスワード認証など、ユーザを認証することが可能な任意の方法により特定されたユーザに対応する眼に関する情報が、用いられる。
【００９４】
（ｖ）第５のステップ：瞳孔中心位置（３次元位置）の推定（図１のＦ）
本実施形態に係る情報処理装置は、例えば、上記（ｉｖ）に示す第４のステップにおいて推定された角膜中心位置や、角膜中心−瞳孔中心間の距離Ｌや角膜半径ｒなどの眼に関する情報、および屈折の法則を用いて、瞳孔中心位置を推定する。本実施形態に係る情報処理装置は、例えば上記（ｂ−１）の処理（瞳孔中心位置の推定）と同様の原理を利用して、瞳孔中心位置を推定する。
【００９５】
（ｖｉ）第６のステップ：光軸ベクトルの推定（図１のＧ）
本実施形態に係る情報処理装置は、例えば、上記（ｉｖ）に示す第４のステップにおいて推定された角膜中心位置と、上記（ｖ）に示す第５のステップにおいて推定された瞳孔中心位置を用いて、光軸ベクトル（視線に対応するベクトルの一例）を推定する。
【００９６】
本実施形態に係る情報処理装置は、例えば、角膜中心位置と瞳孔中心位置とを結んだ、眼球の外方向に向かうベクトルを、光軸ベクトルとする。
【００９７】
（ｖｉｉ）第７のステップ：視線ベクトルの推定（図１のＨ）
視線を示すベクトルである視線ベクトル（視線に対応するベクトルの一例）は、眼の中心窩と角膜中心とを結んだベクトルである。また、図１のＨに示すように、視線ベクトルと光軸ベクトルとには、ずれが生じうる。
【００９８】
本実施形態に係る情報処理装置は、例えば、キャリブレーションにより得られたオフセット値を利用して、上記（ｖｉ）に示す第６のステップにおいて推定された光軸ベクトルを補正することによって、視線ベクトルを推定する。なお、本実施形態に係るオフセット値は、例えば、予め設定される固定値であってもよい。
【００９９】
例えば、上記（ｉ）に示す第１ステップに係る処理〜上記（ｖｉｉ）に示す第７ステップに係る処理によって、視線に対応するベクトルである光軸ベクトルおよび視線ベクトルが推定される。
【０１００】
［眼球中心位置の推定に係る処理の一例］
次に、本実施形態に係る判定処理において用いられる眼球中心位置の推定に係る処理の一例を説明する。以下では、眼球中心位置の推定に係る処理を、本実施形態に係る情報処理装置が行う場合を例に挙げる。
【０１０１】
本実施形態に係る情報処理装置は、例えば、上記（ａ）に示す処理（眼球中心位置の推定）によって、眼球中心位置を推定する。
【０１０２】
ここで、上記（ａ）に示す処理（眼球中心位置の推定）は、視線の検出に係る処理の一環として行われてもよいし、視線の検出に係る処理とは独立した処理として行われてもよい。
【０１０３】
本実施形態に係る判定処理において用いられる光軸ベクトルと眼球中心位置とは、例えば上記のような処理によって推定される。
【０１０４】
また、上述したように、本実施形態に係る情報処理装置は、例えば、第１の時点において推定される光軸ベクトル、および第１の時点よりも前の第２の時点において推定された眼球中心位置の距離と、閾値との比較結果に基づいて、装着状態を判定する。
【０１０５】
図９は、本実施形態に係る情報処理方法に係る処理の一例を示す説明図である。図９は、本実施形態に係る情報処理装置が、図１を参照して示したような視線の検出に係る処理と共に、本実施形態に係る判定処理を行う例を示している。ここで、図９に示す“掛けズレ検出”が、本実施形態に係る判定処理の一例に該当する。また、図９では、光軸ベクトル、および視線ベクトルを、総称して「眼軸ベクトル」と示している。
【０１０６】
図９に示す時刻ｔでは、本実施形態に係る情報処理装置は、上記（ｉ）に示す第１ステップに係る処理〜上記（ｖｉｉ）に示す第７ステップに係る処理を行う。ここで、時刻ｔでは、図９に示すように、本実施形態に係る情報処理装置は、本実施形態に係る判定処理を行わない。
【０１０７】
図９に示す時刻ｔ＋１、ｔ＋２では、本実施形態に係る情報処理装置は、基本的に上記（ｉ）に示す第１ステップに係る処理〜上記（ｖｉｉ）に示す第７ステップに係る処理を行うが、上記（ｉｉｉ）に示す第３ステップでは、上記（ａ）に示す処理（眼球中心位置の推定）〜上記（ｄ）に示す処理（角膜反射像の検出）を行う。
【０１０８】
また、図９に示す時刻ｔ＋１、ｔ＋２では、図９において“掛けズレ検出”と示されているように、本実施形態に係る判定処理が行われる。ここで、本実施形態に係る判定処理によって装着状態の変化が検出された場合には、本実施形態に係る情報処理装置は、例えば、図９に示す時刻ｔからの処理を再度行う。
【０１０９】
本実施形態に係る情報処理装置は、例えば、各時刻において図９に示すような処理を行うことによって、ユーザの頭部に装着されて用いられる装置の装着状態を判定する。
【０１１０】
なお、上述したように、本実施形態に係る光軸ベクトルの推定に係る処理、および本実施形態に係る眼球中心位置の推定に係る処理それぞれは、本実施形態に係る情報処理装置が行ってもよいし、本実施形態に係る情報処理装置の外部装置において行われてもよい。本実施形態に係る光軸ベクトルの推定に係る処理、および本実施形態に係る眼球中心位置の推定に係る処理が、外部装置において行われる場合には、本実施形態に係る情報処理装置は、当該外部装置から取得される推定結果を用いて、本実施形態に係る判定処理を行う。
【０１１１】
（２）制御処理
本実施形態に係る情報処理装置は、上記（１）の処理（判定処理）において判定されたユーザの頭部に装着されて用いられる装置の装着状態に対応する処理を、行わせる。本実施形態に係る情報処理装置は、例えば、装着状態に対応する処理を行わせる対象に対して、処理命令や処理命令に対応する処理の処理データなどを含む制御情報（データ）を送信することによって、当該装着状態に対応する処理を行わせる対象に装着状態に対応する処理を行わせる。
【０１１２】
ここで、本実施形態に係る装着状態に対応する処理を行わせる対象としては、ユーザの頭部に装着されて用いられる装置が挙げられる。
【０１１３】
なお、本実施形態に係る情報処理装置が装着状態に対応する処理を行わせる対象は、ユーザの頭部に装着されて用いられる装置に限られない。
【０１１４】
例えば、ユーザの頭部に装着されて用いられる装置を装着しているユーザに対応付けられている装置など、ユーザの頭部に装着されて用いられる装置の外部装置であってもよい。ユーザの頭部に装着されて用いられる装置を装着しているユーザの認証が行われる場合には、本実施形態に係る情報処理装置は、例えば、“ユーザを示す情報（例えば、ユーザＩＤなどのデータ）と、装着状態に対応する処理を行わせる対象の装置に関する情報（例えば、装置ＩＤや、通信を行うためのアドレスなどのデータ）とが対応付けられているテーブル（またはデータベース）”を用いて、認証されたユーザを示す情報に対応する装置を特定する。そして、本実施形態に係る情報処理装置は、特定された装置を、装着状態に対応する処理を行わせる対象とする。
【０１１５】
（２−１）制御処理の第１の例
本実施形態に係る情報処理装置は、ユーザの頭部に装着されて用いられる装置の装着状態の変化が検出された場合に、ユーザの頭部に装着されて用いられる装置に対応する表示画面における表示位置を制御する。
【０１１６】
より具体的には、本実施形態に係る情報処理装置は、例えば、装着状態の変化が検出された場合には、例えば、ユーザの頭部に装着されて用いられる装置に対応する表示画面における表示位置を、光軸ベクトルに対応する表示位置とさせる。
【０１１７】
ここで、ユーザの頭部に装着されて用いられる装置に対応する表示画面としては、例えば、“ユーザの頭部に装着されて用いられる装置が備える、当該装置の装着時にユーザの視線が向く方向に配置されている表示デバイスの表示画面”や、“ユーザの頭部に装着されて用いられる装置に接続されている、当該装置の装着時にユーザの視線が向く方向に配置されている表示デバイスの表示画面”が挙げられる。
【０１１８】
また、本実施形態に係る光軸ベクトルに対応する表示位置としては、例えば、“ユーザの頭部に装着されて用いられる装置に対応する表示画面における、光軸ベクトルが補正された視線ベクトルと当該表示画面との交点の位置を、表示が行われる表示領域の中心位置とする表示位置”が、挙げられる。また、本実施形態に係る光軸ベクトルに対応する表示位置は、例えば、“ユーザの頭部に装着されて用いられる装置に対応する表示画面における、光軸ベクトルと当該表示画面との交点の位置を、表示が行われる表示領域の中心位置とする表示位置”であってもよい。
【０１１９】
図１０、図１１は、本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。図１０に示すＡ、および図１１に示すＡは、掛けズレが生じていない場合を示しており、図１０に示すＢ、および図１１に示すＢは、掛けズレが生じた場合を示している。また、図１０、図１１は、ユーザの頭部に装着されて用いられる装置が、アイウェアである例を示している。
【０１２０】
掛けズレが生じた場合（装着状態の変化の一例）には、図１０のＡ、Ｂに示すように、画像や文字などを表示させることが可能な表示可能領域の位置が、掛けズレによって変化する。そこで、本実施形態に係る情報処理装置は、掛けズレが生じた場合には、図１１のＢに示すように、表示領域を、光軸ベクトルに対応する表示位置に設定させる。
【０１２１】
例えば図１１のＢに示すように、表示領域が光軸ベクトルに対応する表示位置に設定されることによって、掛けズレが生じた場合においても、ユーザの頭部に装着されて用いられる装置を装着しているユーザは、図１１のＡに示す掛けズレが生じていない場合と同様に、表示領域に表示されている内容を見ることができる。
【０１２２】
また、例えば、図１０のＢに示す掛けズレが生じている状態から、図１０のＡに示す掛けズレが生じていない状態に変化した場合（装着状態の変化の一例）には、本実施形態に係る情報処理装置は、図１１のＡに示すように、表示領域を、光軸ベクトルに対応する表示位置に設定させる。よって、上記の場合においても、ユーザの頭部に装着されて用いられる装置を装着しているユーザは、図１１のＢに示す掛けズレが生じていた場合と同様に、表示領域に表示されている内容を見ることができる。
【０１２３】
例えば図１１に示すように、第１の例に係る制御処理が行われることによって、表示位置が自動的に調整される。よって、第１の例に係る制御処理が行われることによって、表示位置の最適化の実現を図ることができ、また、ユーザの頭部に装着されて用いられる装置を装着しているユーザの利便性を向上させることができる。
【０１２４】
（２−２）制御処理の第２の例
本実施形態に係る情報処理装置は、装着状態の変化が検出されたことを通知させる。
【０１２５】
本実施形態に係る情報処理装置は、例えば、文字や画像を表示させることによる視覚的な通知を表示デバイスに行わせることや、音声（音楽も含む。）を出力させることによる聴覚的な通知を音声出力デバイスに行わせることによって、装着状態の変化が検出されたことをユーザに対して通知させる。本実施形態に係る情報処理装置は、例えば、本実施形態に係る情報処理装置が備える通信部（後述する）や外部の通信デバイスに、制御信号や通知に係るデータを、表示デバイスや音声出力デバイスに対して送信させることによって、装着状態の変化が検出されたことをユーザに対して通知させる。
【０１２６】
第２の例に係る制御処理が行われることにより、例えば、“掛けズレが生じることによって、ユーザの頭部に装着されて用いられる装置に対応する表示画面における表示位置を、当該装置を装着するユーザが許容できる位置とすることができなくなった場合”や、“掛けズレが生じることによって、虹彩認証によりユーザを認証することができなくなった場合”などに、ユーザの頭部に装着されて用いられる装置の装着し直しを、ユーザに促すことができる。
【０１２７】
なお、第２の例に係る制御処理に係る通知の内容は、装着状態の変化が検出されたことを通知することに限られず、例えば、ユーザの頭部に装着されて用いられる装置の装着し直しを直接的にユーザに促す通知など、掛けズレに関する他の通知内容が含まれていてもよい。
【０１２８】
（２−３）制御処理の第３の例
本実施形態に係る情報処理装置は、ユーザの頭部に装着されて用いられる装置の装着状態の変化の検出頻度に応じて、ユーザの頭部に装着されて用いられる装置に対応する表示画面における表示位置を制御する。
【０１２９】
より具体的には、本実施形態に係る情報処理装置は、例えば、装着状態の変化の検出頻度に応じて、ユーザの頭部に装着されて用いられる装置に対応する表示画面への表示のさせ方を変えさせる。
【０１３０】
例えば、ユーザの頭部に装着されて用いられる装置を装着しているユーザが、運動をしているときや、乗り物に乗車しているときなどには、頻繁に掛けズレが発生しうる。本実施形態に係る情報処理装置は、例えば、装着状態の変化の検出頻度を示す値（例えば、装着状態の変化の検出回数を示す値）が、設定されている当該頻度に係る閾値以上となったとき（または、当該検出頻度が当該閾値より大きくなったとき）に、頻繁に掛けズレが発生している状況であると判定する。本実施形態に係る装着状態の変化の検出頻度に係る閾値は、予め設定されている固定値であってもよいし、ユーザの操作などによって適宜設定することが可能な可変値であってもよい。
【０１３１】
そして、頻繁に掛けズレが発生している状況であると判定した場合には、本実施形態に係る情報処理装置は、オブジェクトにぴったりと画像や文字などを重畳させるような表示方法ではなく、画像や文字などの表示位置がオブジェクトからずれてもユーザが気にならない表示方法によって、ユーザの頭部に装着されて用いられる装置に対応する表示画面に、画像や文字などを表示させる。ここで、本実施形態に係る画像や文字などの表示位置がオブジェクトからずれてもユーザが気にならない表示方法に係る表示としては、例えば、オブジェクトの上部などに緩やかに位置合わせをして画像や文字を表示させることや、オブジェクトの位置とは連動させずに表示画面の端などに表示させることなどが挙げられる。
【０１３２】
第３の例に係る制御処理が行われる場合には、例えば、頻繁に掛けズレが発生している状況に対応する表示（例えば、当該状況において、ユーザの頭部に装着されて用いられる装置に対応する表示画面へのより環境とのずれがユーザに認識され難い表示方法による表示など）を、実現させることが可能となる。よって、第３の例に係る制御処理が行われることによって、ユーザの利便性の向上を図ることができる。
【０１３３】
（２−４）制御処理の第４の例
本実施形態に係る情報処理装置は、上記（１）の処理（判定処理）において判定された、ユーザの頭部に装着されて用いられる装置の装着状態に対応するユーザの視線の検出に係る処理を行わせる。
【０１３４】
例えば、角膜反射法には、図１を参照して示したような眼の３次元モデルを利用する“３次元モデル利用法”と、“２Ｄ  Ｍａｐｐｉｎｇ法”とが存在する。ここで、“３次元モデル利用法”と“２Ｄ  Ｍａｐｐｉｎｇ法”とを比較すると、“３次元モデル利用法”の方が、掛けズレが発生した場合においてより精度よく視線を推定することが可能である。また、“３次元モデル利用法”と“２Ｄ  Ｍａｐｐｉｎｇ法”とを比較すると、“２Ｄ  Ｍａｐｐｉｎｇ法”の方が処理負荷が小さい。
【０１３５】
そこで、本実施形態に係る情報処理装置は、判定された装着状態に応じて、“３次元モデル利用法”を利用したユーザの視線の検出に係る処理と、“２Ｄ  Ｍａｐｐｉｎｇ法”を利用したユーザの視線の検出に係る処理とを切り替えさせることによって、装着状態に対応するユーザの視線の検出に係る処理を行わせる。例えば、本実施形態に係る情報処理装置は、掛けズレが発生していない場合には、“２Ｄ  Ｍａｐｐｉｎｇ法”を利用したユーザの視線の検出に係る処理を行わせ、掛けズレが発生した場合には、“３次元モデル利用法”を利用したユーザの視線の検出に係る処理を行わせる。
【０１３６】
第４の例に係る制御処理が行われることにより、例えば、ユーザの視線の検出に係る処理に係る処理負荷の低減と視線の検出精度の向上とを図ることが可能となる。
【０１３７】
（２−５）制御処理の第５の例
本実施形態に係る情報処理装置は、上記（２−１）に示す第１の例に係る制御処理〜上記（２−４）に示す第４の例に係る制御処理のうちの２以上を組み合わせた処理を、行うことも可能である。
【０１３８】
本実施形態に係る情報処理装置は、例えば上記（２−１）に示す第１の例に係る制御処理〜上記（２−５）に示す第５の例に係る制御処理を行うことによって、ユーザの頭部に装着されて用いられる装置の装着状態に対応する処理を行わせる。
【０１３９】
本実施形態に係る情報処理装置は、例えば、本実施形態に係る情報処理方法に係る処理として、例えば、上記（１）の処理（判定処理）、および上記（２）の処理（制御処理）を行う。
【０１４０】
なお、本実施形態に係る情報処理方法に係る処理は、上記（１）の処理（判定処理）、および上記（２）の処理（制御処理）に限られない。
【０１４１】
例えば、上述したように、本実施形態に係る情報処理装置は、光軸ベクトルと眼球中心位置とを推定する処理（推定処理）を、さらに行うことも可能である。
【０１４２】
本実施形態に係る情報処理装置が上記推定処理をさらに行う場合には、本実施形態に係る情報処理装置は、例えば、上記（１）の処理（判定処理）において、上記推定処理において推定された光軸ベクトルと眼球中心位置との距離に基づいて、ユーザの頭部に装着されて用いられる装置の装着状態を判定する。なお、本実施形態に係る情報処理装置が上記推定処理をさらに行う場合においても、本実施形態に係る情報処理装置は、外部装置において推定された光軸ベクトルと眼球中心位置との一方または双方を用いて、上記（１）の処理（判定処理）を行うことが可能であることは、言うまでもない。
【０１４３】
なお、“上記（１）の処理（判定処理）、および上記（２）の処理（制御処理）”や、“上記（１）の処理（判定処理）、上記（２）の処理（制御処理）、および上記推定処理”は、便宜上、本実施形態に係る情報処理方法に係る処理を切り分けたものである。よって、本実施形態に係る情報処理方法に係る処理は、例えば、“上記（１）の処理（判定処理）、および上記（２）の処理（制御処理）”や、“上記（１）の処理（判定処理）、上記（２）の処理（制御処理）、および上記推定処理”それぞれを、１つの処理と捉えることが可能である。また、本実施形態に係る情報処理方法に係る処理は、例えば、“上記（１）の処理（判定処理）、および上記（２）の処理（制御処理）”や、“上記（１）の処理（判定処理）、上記（２）の処理（制御処理）、および上記推定処理”それぞれを、（任意の切り分け方によって）２以上の処理と捉えることも可能である。
【０１４４】
（本実施形態に係る情報処理装置）
次に、上述した本実施形態に係る情報処理方法に係る処理を行うことが可能な本実施形態に係る情報処理装置の構成の一例について説明する。
【０１４５】
図１２は、本実施形態に係る情報処理装置１００の構成の一例を示すブロック図である。情報処理装置１００は、例えば、撮像部１０２と、制御部１０４とを備える。
【０１４６】
また、情報処理装置１００は、例えば、ＲＯＭ（Read  Only  Memory。図示せず）や、ＲＡＭ（Random  Access  Memory。図示せず）、記憶部（図示せず）、外部装置と無線または有線で通信を行うための通信部（図示せず）、ユーザが操作可能な操作部（図示せず）、様々な画面を表示画面に表示する表示部（図示せず）などを備えていてもよい。情報処理装置１００は、例えば、データの伝送路としてのバスにより上記各構成要素間を接続する。
【０１４７】
ＲＯＭ（図示せず）は、制御部１０４が使用するプログラムや演算パラメータなどの制御用データを記憶する。ＲＡＭ（図示せず）は、制御部１０４により実行されるプログラムなどを一時的に記憶する。
【０１４８】
記憶部（図示せず）は、情報処理装置１００が備える記憶手段であり、例えば、眼に関する情報などのユーザの視線の検出に係る処理に用いられるデータや、撮像画像を示す画像データ、アプリケーションなど様々なデータを記憶する。記憶部（図示せず）には、例えば、角膜半径や、眼球中心−角膜中心間の距離、角膜中心−瞳孔中心間の距離などの眼に関する情報が、ユーザごとに記憶される。また、記憶部（図示せず）には、例えば、角膜反射像や瞳孔の検出用の辞書データが記憶されていてもよい。
【０１４９】
ここで、記憶部（図示せず）としては、例えば、ハードディスク（Hard  Disk）などの磁気記録媒体や、フラッシュメモリ（flash  memory）などの不揮発性メモリ（nonvolatile  memory）などが挙げられる。また、記憶部（図示せず）は、情報処理装置１００から着脱可能であってもよい。
【０１５０】
通信部（図示せず）としては、例えば後述する通信インタフェースが挙げられる。また、操作部（図示せず）としては、例えば後述する操作入力デバイスが挙げられ、表示部（図示せず）としては、例えば後述する表示デバイスが挙げられる。
【０１５１】
［情報処理装置１００のハードウェア構成例］
図１３は、本実施形態に係る情報処理装置１００のハードウェア構成の一例を示す説明図である。情報処理装置１００は、例えば、ＭＰＵ１５０と、ＲＯＭ１５２と、ＲＡＭ１５４と、記録媒体１５６と、入出力インタフェース１５８と、操作入力デバイス１６０と、表示デバイス１６２と、通信インタフェース１６４と、撮像デバイス１６６と、ＩＲ  ＬＥＤ１６８とを備える。また、情報処理装置１００は、例えば、データの伝送路としてのバス１７０で各構成要素間を接続する。
【０１５２】
ＭＰＵ１５０は、例えば、ＭＰＵ（Micro  Processing  Unit）などの演算回路で構成される、１または２以上のプロセッサや、各種処理回路などで構成され、情報処理装置１００全体を制御する制御部１０４として機能する。また、ＭＰＵ１５０は、情報処理装置１００において、例えば、後述する推定部１１０、判定部１１２、および処理制御部１１４の役目を果たす。
【０１５３】
ＲＯＭ１５２は、ＭＰＵ１５０が使用するプログラムや演算パラメータなどの制御用データなどを記憶する。ＲＡＭ１５４は、例えば、ＭＰＵ１５０により実行されるプログラムなどを一時的に記憶する。
【０１５４】
記録媒体１５６は、記憶部（図示せず）として機能し、例えば、眼に関する情報などのユーザの視線の検出に係る処理に用いられるデータや、撮像画像を示す画像データ、アプリケーションなど様々なデータを記憶する。
【０１５５】
記録媒体１５６としては、例えば、ハードディスクなどの磁気記録媒体や、フラッシュメモリなどの不揮発性メモリなどが挙げられる。また、記録媒体１５６は、情報処理装置１００から着脱可能であってもよい。
【０１５６】
入出力インタフェース１５８は、例えば、操作入力デバイス１６０や、表示デバイス１６２を接続する。操作入力デバイス１６０は、操作部（図示せず）として機能し、また、表示デバイス１６２は、表示部（図示せず）として機能する。ここで、入出力インタフェース１５８としては、例えば、ＵＳＢ（Universal  Serial  Bus）端子や、ＤＶＩ（Digital  Visual  Interface）端子、ＨＤＭＩ（High-Definition  Multimedia  Interface）（登録商標）端子、各種処理回路などが挙げられる。
【０１５７】
操作入力デバイス１６０は、例えば、情報処理装置１００上に備えられ、情報処理装置１００の内部で入出力インタフェース１５８と接続される。操作入力デバイス１６０としては、例えば、ボタンや、方向キー、ジョグダイヤルなどの回転型セレクター、あるいは、これらの組み合わせなどが挙げられる。
【０１５８】
表示デバイス１６２は、例えば、情報処理装置１００上に備えられ、情報処理装置１００の内部で入出力インタフェース１５８と接続される。表示デバイス１６２としては、例えば、液晶ディスプレイ（Liquid  Crystal  Display）や有機ＥＬディスプレイ（Organic  Electro-Luminescence  Display。または、ＯＬＥＤディスプレイ（Organic  Light  Emitting  Diode  Display）ともよばれる。）などが挙げられる。
【０１５９】
なお、入出力インタフェース１５８が、情報処理装置１００の外部装置としての操作入力デバイス（例えば、キーボードやマウスなど）や表示デバイス、撮像デバイスなどの、外部デバイスと接続することも可能であることは、言うまでもない。また、表示デバイス１６２は、例えばタッチデバイスなど、表示とユーザ操作とが可能なデバイスであってもよい。
【０１６０】
通信インタフェース１６４は、情報処理装置１００が備える通信手段であり、ネットワークを介して（あるいは、直接的に）、外部の撮像装置や外部の表示装置、外部の本実施形態に係るユーザの頭部に装着されて用いられる装置などの外部装置（または、外部デバイス）と、無線または有線で通信を行うための通信部（図示せず）として機能する。通信インタフェース１６４としては、例えば、通信アンテナおよびＲＦ（Radio  Frequency）回路（無線通信）や、ＩＥＥＥ８０２．１５．１ポートおよび送受信回路（無線通信）、ＩＥＥＥ８０２．１１ポートおよび送受信回路（無線通信）、あるいはＬＡＮ（Local  Area  Network）端子および送受信回路（有線通信）などが挙げられる。また、通信部（図示せず）は、ＵＳＢ（Universal  Serial  Bus）端子および送受信回路など通信を行うことが可能な任意の規格に対応する構成や、ネットワークを介して外部装置と通信可能な任意の構成であってもよい。
【０１６１】
また、本実施形態に係るネットワークとしては、例えば、ＬＡＮやＷＡＮ（Wide  Area  Network）などの有線ネットワーク、無線ＬＡＮ（ＷＬＡＮ：Wireless  Local  Area  Network）や基地局を介した無線ＷＡＮ（ＷＷＡＮ：Wireless  Wide  Area  Network）などの無線ネットワーク、あるいは、ＴＣＰ／ＩＰ（Transmission  Control  Protocol/Internet  Protocol）などの通信プロトコルを用いたインターネットなどが挙げられる。
【０１６２】
撮像デバイス１６６は、情報処理装置１００が備える撮像手段であり、撮像により画像（撮像画像）を生成する撮像部１０２として機能する。撮像デバイス１６６は、例えば、ユーザの片目ごとに、またはユーザの両目を撮像する、１または２以上の撮像デバイスで構成される。また、撮像デバイス１６６は、例えば、ＩＲ  ＬＥＤなどの光源からの光が照射される眼を撮像することが可能な位置に設けられる。
【０１６３】
撮像デバイス１６６を備える場合、情報処理装置１００では、例えば、撮像デバイス１６６において撮像により生成された撮像画像に基づいて、本実施形態に係る情報処理方法に係る処理を行うことが可能となる。
【０１６４】
撮像デバイス１６６は、例えば、レンズ／撮像素子と信号処理回路とを含んで構成される。レンズ／撮像素子は、例えば、光学系のレンズと、ＣＭＯＳ（Complementary  Metal  Oxide  Semiconductor）などの撮像素子を複数用いたイメージセンサとで構成される。信号処理回路は、例えば、ＡＧＣ（Automatic  Gain  Control）回路やＡＤＣ（Analog  to  Digital  Converter）を備え、撮像素子により生成されたアナログ信号をデジタル信号（画像データ）に変換する。また、信号処理回路は、例えばＲＡＷ現像に係る各種処理を行う。さらに、信号処理回路は、例えば、Ｗｈｉｔｅ  Ｂａｌａｎｃｅ補正処理や、色調補正処理、ガンマ補正処理、ＹＣｂＣｒ変換処理、エッジ強調処理など各種信号処理を行ってもよい。
【０１６５】
ＩＲ  ＬＥＤ１６８は、情報処理装置１００が備える光源であり、複数のＩＲ  ＬＥＤで構成される。ＩＲ  ＬＥＤ１６８は、例えば、光がユーザの眼に照射される位置に設けられる。なお、上述したように、情報処理装置１００が備える光源がＩＲ  ＬＥＤに限られないことは、言うまでもない。
【０１６６】
情報処理装置１００は、例えば図１３に示す構成によって、本実施形態に係る情報処理方法に係る処理を行う。なお、本実施形態に係る情報処理装置１００のハードウェア構成は、図１３に示す構成に限られない。
【０１６７】
例えば、外部の本実施形態に係るユーザの頭部に装着されて用いられる装置から取得された、本実施形態に係る撮像画像を処理する場合などには、情報処理装置１００は、撮像デバイス１６６とＩＲ  ＬＥＤ１６８との一方または双方を備えない構成をとることが可能である。
【０１６８】
また、情報処理装置１００は、例えば、スタンドアロンで処理を行う構成である場合には、通信インタフェース１６４を備えていなくてもよい。また、情報処理装置１００は、記録媒体１５６や、操作入力デバイス１６０、表示デバイス１６２を備えない構成をとることも可能である。
【０１６９】
再度、図１２を参照して、本実施形態に係る情報処理装置１００の構成の一例について説明する。撮像部１０２は、光源からの光が照射される眼が撮像された撮像画像（本実施形態に撮像画像）を生成する。撮像部１０２としては、例えば撮像デバイス１６６が挙げられる。
【０１７０】
制御部１０４は、例えばＭＰＵなどで構成され、情報処理装置１００全体を制御する役目を果たす。また、制御部１０４は、例えば、推定部１１０と、判定部１１２と、処理制御部１１４とを備え、本実施形態に係る情報処理方法に係る処理を主導的に行う役目を果たす。ここで、図１２では、制御部１０４が、上記（１）の処理（判定処理）、上記（２）の処理（制御処理）、および上記推定処理を、本実施形態に係る情報処理方法に係る処理として行う場合の構成の一例を示している。
【０１７１】
推定部１１０は、上記推定処理を主導的に行う役目を果たし、撮像画像に基づいて光軸ベクトルと眼球中心位置とを推定する。推定部１１０は、例えば図１を参照して示した処理によって、光軸ベクトルを推定し、また、上記（ａ）に示す処理（眼球中心位置の推定）によって、眼球中心位置を推定する。
【０１７２】
判定部１１２は、上記（１）の処理（判定処理）を主導的に行う役目を果たし、第１の時点において推定された光軸ベクトルと、第１の時点よりも前の第２の時点において推定された眼球中心位置との距離に基づいて、ユーザの頭部に装着されて用いられる装置の装着状態を判定する。判定部１１２は、例えば、上記光軸ベクトルと眼球中心位置との距離と、設定されている閾値とを用いた閾値処理によって、装着状態を判定する。
【０１７３】
処理制御部１１４は、上記（２）の処理（制御処理）を主導的に行う役目を果たし、判定されたユーザの頭部に装着されて用いられる装置の装着状態に対応する処理を行わせる。処理制御部１１４は、例えば、上記（２−１）に示す第１の例に係る制御処理〜上記（２−５）に示す第５の例に係る制御処理のいずれかの処理を行う。
【０１７４】
制御部１０４は、例えば、推定部１１０、判定部１１２、および処理制御部１１４を備えることによって、本実施形態に係る情報処理方法に係る処理を主導的に行う。
【０１７５】
情報処理装置１００は、例えば図１２に示す構成によって、本実施形態に係る情報処理方法に係る処理（例えば、上記（１）の処理（判定処理）、上記（２）の処理（制御処理）、および上記推定処理）を行う。
【０１７６】
したがって、情報処理装置１００は、例えば図１２に示す構成によって、ユーザの頭部に装着されて用いられる装置の装着状態に基づき処理を制御することができる。
【０１７７】
また、例えば図１２に示す構成によって、情報処理装置１００は、例えば上述したような、本実施形態に係る情報処理方法に係る処理が行われることにより奏される効果を、奏することができる。
【０１７８】
なお、本実施形態に係る情報処理装置の構成は、図１２に示す構成に限られない。
【０１７９】
例えば、本実施形態に係る情報処理装置は、図１２に示す推定部１１０、判定部１１２、および処理制御部１１４のうちの１または２以上を、制御部１０４とは個別に備える（例えば、別の処理回路で実現する）ことができる。
【０１８０】
また、例えば外部装置において上記推定処理が行われ、当該外部装置において推定された光軸ベクトルと眼球中心位置とを用いて、上記（１）の処理（判定処理）を行う場合には、本実施形態に係る情報処理装置は、推定部１１０を有していなくてもよい。
【０１８１】
また、上述したように、“上記（１）の処理（判定処理）、および上記（２）の処理（制御処理）”や、“上記（１）の処理（判定処理）、上記（２）の処理（制御処理）、および上記推定処理”は、便宜上、本実施形態に係る情報処理方法に係る処理を切り分けたものである。よって、本実施形態に係る情報処理方法に係る処理を実現するための構成は、図１２に示す推定部１１０、判定部１１２、および処理制御部１１４に限られず、本実施形態に係る情報処理方法に係る処理の切り分け方に応じた構成をとることが可能である。
【０１８２】
以上、本実施形態として、情報処理装置を挙げて説明したが、本実施形態は、かかる形態に限られない。本実施形態は、例えば、アイウェアやＨＭＤなどのユーザの頭部に装着されて用いられる装置や、ＰＣ（Personal  Computer）やサーバなどのコンピュータ、携帯電話やスマートフォンなどの通信装置、タブレット型の装置など、本実施形態に係る情報処理方法に係る処理を行うことが可能な様々な機器に適用することができる。また、本実施形態は、例えば、上記のような機器に組み込むことが可能な、１または２以上のＩＣ（Integrated  Circuit）に適用することもできる。
【０１８３】
また、本実施形態に係る情報処理装置は、例えばクラウドコンピューティングなどのように、ネットワークへの接続（または各装置間の通信）を前提とした、１または２以上の装置からなるシステムに適用されてもよい。つまり、上述した本実施形態に係る情報処理装置は、例えば、複数の装置からなる情報処理システムとして実現することも可能である。
【０１８４】
（本実施形態に係るプログラム）
コンピュータを、本実施形態に係る情報処理装置として機能させるためのプログラム（例えば、“上記（１）の処理（判定処理）、および上記（２）の処理（制御処理）”や、“上記（１）の処理（判定処理）、上記（２）の処理（制御処理）、および上記推定処理”など、本実施形態に係る情報処理方法に係る処理を実行することが可能なプログラム）が、コンピュータにおいてプロセッサなどにより実行されることによって、ユーザの頭部に装着されて用いられる装置の装着状態に基づき処理を制御することができる。
【０１８５】
また、コンピュータを、本実施形態に係る情報処理装置として機能させるためのプログラムが、コンピュータにおいてプロセッサなどにより実行されることによって、上述した本実施形態に係る情報処理方法に係る処理によって奏される効果を、奏することができる。
【０１８６】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０１８７】
例えば、上記では、コンピュータを、本実施形態に係る情報処理装置として機能させるためのプログラム（コンピュータプログラム）が提供されることを示したが、本実施形態は、さらに、上記プログラムを記憶させた記録媒体も併せて提供することができる。
【０１８８】
上述した構成は、本実施形態の一例を示すものであり、当然に、本開示の技術的範囲に属するものである。
【０１８９】
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【０１９０】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
第１の時点において、光源からの光が照射される眼が撮像された撮像画像に基づいて推定されたユーザの視線に対応する光軸ベクトルと、前記第１の時点よりも前の第２の時点において、時系列の複数の前記撮像画像に基づいて推定された眼球中心位置との距離に基づいて、前記ユーザの頭部に装着されて用いられる装置の装着状態を判定する判定部と、
判定された前記装着状態に対応する処理を行わせる処理制御部と、
を備える、情報処理装置。
（２）
前記処理制御部は、前記装着状態の変化が検出された場合には、前記ユーザの頭部に装着されて用いられる装置に対応する表示画面における表示位置を、前記光軸ベクトルに対応する表示位置とさせる、（１）に記載の情報処理装置。
（３）
前記処理制御部は、前記装着状態の変化が検出されたことを通知させる、（１）、または（２）に記載の情報処理装置。
（４）
前記処理制御部は、前記装着状態の変化の検出頻度に応じて、前記ユーザの頭部に装着されて用いられる装置に対応する表示画面への表示のさせ方を変えさせる、（１）〜（３）のいずれか１つに記載の情報処理装置。
（５）
前記処理制御部は、判定された前記装着状態に対応するユーザの視線の検出に係る処理を行わせる、（１）〜（４）のいずれか１つに記載の情報処理装置。
（６）
前記光軸ベクトルと前記眼球中心位置とを推定する推定部をさらに備え、
前記判定部は、前記推定部において推定された前記光軸ベクトルと前記眼球中心位置との距離に基づいて、前記装着状態を判定する、（１）〜（５）のいずれか１つに記載の情報処理装置。
（７）
第１の時点において、光源からの光が照射される眼が撮像された撮像画像に基づいて推定されたユーザの視線に対応する光軸ベクトルと、前記第１の時点よりも前の第２の時点において、時系列の複数の前記撮像画像に基づいて推定された眼球中心位置との距離に基づいて、前記ユーザの頭部に装着されて用いられる装置の装着状態を判定するステップと、
判定された前記装着状態に対応する処理を行わせるステップと、
を有する、情報処理装置により実行される情報処理方法。
（８）
第１の時点において、光源からの光が照射される眼が撮像された撮像画像に基づいて推定されたユーザの視線に対応する光軸ベクトルと、前記第１の時点よりも前の第２の時点において、時系列の複数の前記撮像画像に基づいて推定された眼球中心位置との距離に基づいて、前記ユーザの頭部に装着されて用いられる装置の装着状態を判定するステップ、
判定された前記装着状態に対応する処理を行わせるステップ、
をコンピュータに実行させるためのプログラム。
【符号の説明】
【０１９１】
１００    情報処理装置
１０２    撮像部
１０４    制御部
１１０    推定部
１１２    判定部
１１４    処理制御部
【図１】
2016149660.tif 000008
【図２】
2016149660.tif 000009
【図３】
2016149660.tif 000010
【図４】
2016149660.tif 000011
【図５】
2016149660.tif 000012
【図６】
2016149660.tif 000013
【図７】
2016149660.tif 000014
【図８】
2016149660.tif 000015
【図９】
2016149660.tif 000016
【図１０】
2016149660.tif 000017
【図１１】
2016149660.tif 000018
【図１２】
2016149660.tif 000019
【図１３】
2016149660.tif 000020