(57)【要約】【課題】撮像画像から角膜反射像を検出することが可能な、情報処理装置、情報処理方法、およびプログラムを提供する。【解決手段】光源からの光が照射される眼が撮像された撮像画像から、角膜において反射された光源からの光に対応する角膜反射像を検出する検出部を備え、検出部は、時系列の複数の撮像画像に基づいて、眼球中心位置を推定し、推定された眼球中心位置に基づいて、角膜中心位置を推定し、推定された角膜中心位置に基づいて、角膜反射像の候補位置を推定し、推定された角膜反射像の候補位置に基づいて、撮像画像から角膜反射像を検出する、情報処理装置が提供される。【選択図】図１０
2016106668.tif 000002
【特許請求の範囲】
【請求項１】
光源からの光が照射される眼が撮像された撮像画像から、角膜において反射された前記光源からの光に対応する角膜反射像を検出する検出部を備え、
前記検出部は、
時系列の複数の前記撮像画像に基づいて、眼球中心位置を推定し、
推定された眼球中心位置に基づいて、角膜中心位置を推定し、
推定された角膜中心位置に基づいて、前記角膜反射像の候補位置を推定し、
推定された前記角膜反射像の候補位置に基づいて、前記撮像画像から前記角膜反射像を検出する、情報処理装置。
【請求項２】
前記検出部は、複数の前記撮像画像それぞれに基づき得られる各時点における光軸ベクトルの交点を、前記眼球中心位置として推定する、請求項１に記載の情報処理装置。
【請求項３】
前記検出部は、
推定された前記眼球中心位置に基づいて瞳孔中心位置を推定し、
前記眼に関する情報に基づき特定される、推定された前記眼球中心位置および推定された前記瞳孔中心位置を結ぶ線分上の位置を、前記角膜中心位置として推定する、請求項１に記載の情報処理装置。
【請求項４】
前記検出部は、推定された前記角膜中心位置、前記眼に関する情報、および光源の位置に基づいて、前記角膜反射像の候補位置を推定する、請求項１に記載の情報処理装置。
【請求項５】
前記検出部は、検出された前記角膜反射像の位置、前記眼に関する情報、および光源の位置に基づいて、光軸ベクトルを検出する、請求項１に記載の情報処理装置。
【請求項６】
前記検出部は、検出された複数の前記角膜反射像の位置、前記眼に関する情報、および光源の位置に基づき特定される角膜中心位置と、特定された前記角膜中心位置、および前記眼に関する情報に基づき特定される瞳孔中心位置と、推定される前記眼球中心位置とのうちの、２以上を用いて、前記光軸ベクトルを検出する、請求項５に記載の情報処理装置。
【請求項７】
前記検出部は、設定されているオフセット値を用いて、前記光軸ベクトルを補正する、請求項５に記載の情報処理装置。
【請求項８】
前記光軸ベクトルを用いた処理を行う処理部をさらに備える、請求項５に記載の情報処理装置。
【請求項９】
前記撮像画像は、ユーザの頭部に装着されて用いられる装置が備える撮像デバイス、または、前記ユーザの頭部に装着されて用いられる装置に接続されている外部の撮像デバイスにより撮像され、
前記処理部は、第１の時点で検出された前記光軸ベクトルと、前記第１の時点よりも前の第２の時点で推定された前記眼球中心位置との距離に基づいて、前記ユーザの頭部に装着されて用いられる装置の装着状態の変化を検出する、請求項８に記載の情報処理装置。
【請求項１０】
前記撮像画像から瞳孔と前記角膜反射像の候補とを認識する画像認識部をさらに備え、
前記検出部は、前記画像認識部の認識結果を用いて前記角膜反射像を検出する、請求項１に記載の情報処理装置。
【請求項１１】
光源からの光が照射される眼が撮像された撮像画像から、角膜において反射された前記光源からの光に対応する角膜反射像を検出するステップを有し、
前記検出するステップでは、
時系列の複数の前記撮像画像に基づいて、眼球中心位置が推定され、
推定された眼球中心位置に基づいて、角膜中心位置が推定され、
推定された角膜中心位置に基づいて、前記角膜反射像の候補位置が推定され、
推定された前記角膜反射像の候補位置に基づいて、前記撮像画像から前記角膜反射像が検出される、情報処理装置により実行される情報処理方法。
【請求項１２】
光源からの光が照射される眼が撮像された撮像画像から、角膜において反射された前記光源からの光に対応する角膜反射像を検出するステップをコンピュータに実行させ、
前記検出するステップでは、
時系列の複数の前記撮像画像に基づいて、眼球中心位置が推定され、
推定された眼球中心位置に基づいて、角膜中心位置が推定され、
推定された角膜中心位置に基づいて、前記角膜反射像の候補位置が推定され、
推定された前記角膜反射像の候補位置に基づいて、前記撮像画像から前記角膜反射像が検出される、プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、情報処理装置、情報処理方法、およびプログラムに関する。
【背景技術】
【０００２】
視線の推定に用いられる手法としては、例えば、光源の光が角膜において反射された角膜反射像（「プルキニエ像」とも呼ばれる。）を用いる角膜反射法を利用する方法がある。角膜反射法を利用して視線を測定する技術としては、例えば、下記の非特許文献１に記載の技術が挙げられる。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】「眼球形状モデルに基づく視線測定法」，大野健彦，武川直樹，吉川厚，第８回画像センシングシンポジウム講演論文集，ｐｐ．３０７−３１２．
【発明の概要】
【発明が解決しようとする課題】
【０００４】
角膜反射法を利用する場合、例えば、点光源が発生させた近赤外線の光などの光源からの光が照射された眼を、撮像デバイスにより撮像し、光源からの光が照射される眼が撮像された撮像画像（以下、単に「撮像画像」と示す場合がある。）に含まれる複数の角膜反射像の位置を特定することによって、角膜中心位置（角膜中心（角膜曲率中心）の３次元位置）を求めることができる。また、角膜中心位置が求まれば、視線に対応するベクトルを求めることが可能である。
【０００５】
しかしながら、撮像画像には、例えば、角膜反射像を得るための上記光源とは別の光源（例えば照明など）の光の映り込みや、眼に装着されているコンタクトレンズの縁での反射など、角膜反射像と似た見え方をするアウトライヤが含まれうる。また、例えば、アウトライヤの位置が角膜反射像の位置であると誤って特定された場合には、視線に対応するベクトルを精度よく求めることは望めない。
【０００６】
本開示では、撮像画像から角膜反射像を検出することが可能な、新規かつ改良された情報処理装置、情報処理方法、およびプログラムを提案する。
【課題を解決するための手段】
【０００７】
本開示によれば、光源からの光が照射される眼が撮像された撮像画像から、角膜において反射された上記光源からの光に対応する角膜反射像を検出する検出部を備え、上記検出部は、時系列の複数の上記撮像画像に基づいて、眼球中心位置を推定し、推定された眼球中心位置に基づいて、角膜中心位置を推定し、推定された角膜中心位置に基づいて、上記角膜反射像の候補位置を推定し、推定された上記角膜反射像の候補位置に基づいて、上記撮像画像から上記角膜反射像を検出する、情報処理装置が提供される。
【０００８】
また、本開示によれば、光源からの光が照射される眼が撮像された撮像画像から、角膜において反射された上記光源からの光に対応する角膜反射像を検出するステップを有し、上記検出するステップでは、時系列の複数の上記撮像画像に基づいて、眼球中心位置が推定され、推定された眼球中心位置に基づいて、角膜中心位置が推定され、推定された角膜中心位置に基づいて、上記角膜反射像の候補位置が推定され、推定された上記角膜反射像の候補位置に基づいて、上記撮像画像から上記角膜反射像が検出される、情報処理装置により実行される情報処理方法が提供される。
【０００９】
また、本開示によれば、光源からの光が照射される眼が撮像された撮像画像から、角膜において反射された上記光源からの光に対応する角膜反射像を検出するステップをコンピュータに実行させ、上記検出するステップでは、時系列の複数の上記撮像画像に基づいて、眼球中心位置が推定され、推定された眼球中心位置に基づいて、角膜中心位置が推定され、推定された角膜中心位置に基づいて、上記角膜反射像の候補位置が推定され、推定された上記角膜反射像の候補位置に基づいて、上記撮像画像から上記角膜反射像が検出される、プログラムが提供される。
【発明の効果】
【００１０】
本開示によれば、撮像画像から角膜反射像を検出することができる。
【００１１】
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握されうる他の効果が奏されてもよい。
【図面の簡単な説明】
【００１２】
【図１】撮像画像から角膜反射像を検出する一の方法を説明するための説明図である。
【図２】本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。
【図３】本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。
【図４】本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。
【図５】本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。
【図６】本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。
【図７】本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。
【図８】本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。
【図９】本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。
【図１０】本実施形態に係る情報処理装置の構成の一例を示すブロック図である。
【図１１】本実施形態に係る情報処理装置のハードウェア構成の一例を示す説明図である。
【発明を実施するための形態】
【００１３】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１４】
また、以下では、下記に示す順序で説明を行う。
１．本実施形態に係る情報処理方法
２．本実施形態に係る情報処理装置
３．本実施形態に係るプログラム
【００１５】
（本実施形態に係る情報処理方法）
本実施形態に係る情報処理装置の構成について説明する前に、まず、本実施形態に係る情報処理方法について説明する。以下では、本実施形態に係る情報処理方法に係る処理を、本実施形態に係る情報処理装置が行う場合を例に挙げて、本実施形態に係る情報処理方法について説明する。
【００１６】
上述したように、光源からの光が照射される眼が撮像された撮像画像には、角膜反射像に加えて、角膜反射像と似た見え方をするアウトライヤが含まれうる。
【００１７】
ここで、本実施形態に係る光源としては、例えば、ＩＲ  ＬＥＤ（InfraRed  Light  Emitting  Diode）が挙げられる。なお、本実施形態に係る光源は、ＩＲ  ＬＥＤなどの赤外線の光を出す光源に限られず、撮像画像から角膜反射像を検出することが可能な任意の波長の光を出す光源であってもよい。以下では、本実施形態に係る光源に対応する角膜反射像を、「輝点」と示す場合がある。
【００１８】
また、本実施形態に係る撮像画像としては、例えば、ユーザの頭部に装着されて用いられる装置が備える撮像デバイスより撮像された撮像画像が挙げられる。また、本実施形態に係る撮像画像は、上記ユーザの頭部に装着されて用いられる装置に接続されている外部の撮像デバイスにより撮像された撮像画像であってもよい。
【００１９】
本実施形態に係るユーザの頭部に装着されて用いられる装置としては、例えば、アイウェア（例えば、眼鏡型（片眼鏡も含む）の装置）や、ＨＭＤ（Head  Mounted  Display）などが挙げられる。また、本実施形態に係る光源は、例えば、本実施形態に係るユーザの頭部に装着されて用いられる装置が備える光源であってもよいし、本実施形態に係るユーザの頭部に装着されて用いられる装置に接続されている外部の光源であってもよい。
【００２０】
なお、本実施形態に係る撮像画像は、ユーザの頭部に装着されて用いられる装置が備える撮像デバイス、または、当該ユーザの頭部に装着されて用いられる装置に接続されている外部の撮像デバイスにより撮像された画像に限られない。例えば、本実施形態に係る撮像画像は、光源からの光が照射される眼を撮像することが可能な、任意の撮像デバイスにより撮像された画像であってもよい。また、本実施形態に係る光源は、何らかの装置に備えられる光源であってもよいし、他の装置に依存しない独立の光源であってもよい。本実施形態に係る光源は、例えば、発生させた光がユーザの眼に照射される位置に設けられる。
【００２１】
以下では、本実施形態に係る撮像画像が、ユーザの頭部に装着されて用いられる装置が備える撮像デバイス（または、当該ユーザの頭部に装着されて用いられる装置に接続されている外部の撮像デバイス）により撮像された画像である場合を主に例に挙げる。以下では、撮像デバイスを「カメラ」と示す場合がある。
【００２２】
［１］角膜反射像の検出方法の一例
ここで、撮像画像から角膜反射像を検出するための一の方法としては、例えば、機械学習などを用いて構築した角膜反射像検出器のスコアや、瞳孔の見えの位置などから存在確率が高いと思われる位置に存在する角膜反射像の候補を、正しい角膜反射像として検出する方法が考えられる。
【００２３】
しかしながら、後述するように、撮像画像から角膜反射像を検出するための上記一の方法では、撮像画像から角膜反射像を正しく検出することができるとは限らない。
【００２４】
図１は、撮像画像から角膜反射像を検出する一の方法を説明するための説明図である。図１では、説明の便宜上、撮像画像から角膜反射像を検出する一の方法を利用して視線に対応するベクトル（後述する光軸ベクトル、および視線ベクトル。以下、「眼軸ベクトル」と示す場合がある。）を推定する一連の処理の一例を示している。
【００２５】
ここで、図１のＡは、撮像画像の一例を示している。例えば図１のＡに示すように、撮像画像には、瞳孔や、角膜上の輝点（角膜反射像）、輝点のアウトライヤなどが含まれる。図１のＡでは、４つの光源からの光に対応する４つの輝点が、撮像画像に含まれている例を示している。
【００２６】
また、図１のＢ〜図１のＨは、図１のＡに示す撮像画像に対して行われる視線に対応するベクトルを推定する一連の処理の一例を示している。
【００２７】
以下、図１に示す視線に対応するベクトルを推定する一連の処理を説明しつつ、撮像画像から角膜反射像を検出するための一の方法を用いる場合に、撮像画像から角膜反射像を正しく検出することができるとは限らない理由を説明する。また、以下では、図１に示す処理を情報処理装置が行う場合を例に挙げる。
【００２８】
視線に対応するベクトルを推定する処理は、例えば下記の（ｉ）〜（ｖｉｉ）に示す７ステップからなる。
【００２９】
（ｉ）第１のステップ：画像認識による瞳孔検出（図１のＢ）
情報処理装置は、図１のＡに示す撮像画像から瞳孔を検出する。
【００３０】
情報処理装置は、例えば、撮像画像を二値化して瞳孔を含む領域を判定することによって、瞳孔を検出する。なお、撮像画像から瞳孔を検出する方法は、上記に示す例に限られない。例えば、情報処理装置は、“ピクセル差分特徴量（例えば、画像上に複数設定された２画素の組み合わせそれぞれの画素値（輝度値）の差分値。以下、同様とする。）と、ブースティング技術とを用いる方法”など、画像から瞳孔を検出することが可能な任意の方法を用いることが可能である。
【００３１】
（ｉｉ）第２のステップ：画像認識による角膜反射像の候補の検出（図１のＣ）
情報処理装置は、例えば“ピクセル差分特徴量と、ブースティング技術とを用いる方法”を用いて、角膜反射像の候補を検出する。
【００３２】
ここで、上述したように、撮像画像には、角膜反射像と似た見え方をするアウトライヤが存在しうる。そのため、上記のような方法を用いる画像認識によって角膜反射像の候補を検出する場合には、角膜反射像およびアウトレイヤが、角膜反射像の候補として検出されうる。
【００３３】
（ｉｉｉ）第３のステップ：角膜反射像の検出（図１のＤ）
情報処理装置は、例えば、撮像画像から特定される瞳孔の位置（以下、「瞳孔の見えの位置」と示す。）に基づいて角膜反射像の存在範囲を設定し、当該存在範囲内に存在する角膜反射像の候補の中から、光源の数である４つ以下の数の角膜反射像の候補を選択することによって、角膜反射像を検出する。また、情報処理装置は、例えば、機械学習などを用いて構築した角膜反射像検出器のスコアに基づいて、光源の数である４つ以下の数の角膜反射像の候補を選択することによって、角膜反射像を検出することも可能である。
【００３４】
ここで、第３のステップにおける上記の処理が、撮像画像から角膜反射像を検出する一の方法に係る処理に該当する。
【００３５】
しかしながら、上記のような撮像画像から角膜反射像を検出する一の方法に係る処理では、大きな外れ値以外のアウトレイヤを除くことが困難である。そのため、上記のような撮像画像から角膜反射像を検出する一の方法に係る処理が行われる場合には、アウトレイヤに該当する角膜反射像の候補が、角膜反射像として検出される恐れがある。
【００３６】
よって、撮像画像から角膜反射像を検出する一の方法を用いる場合には、撮像画像から角膜反射像を正しく検出することができるとは限らない。
【００３７】
また、角膜反射像は、後述するステップにおいて用いられるので、アウトレイヤに該当する角膜反射像の候補が角膜反射像として検出された場合には、視線に対応するベクトルの推定精度を低下させてしまう。
【００３８】
また、撮像画像から角膜反射像を検出する一の方法を用いる場合には、選択された角膜反射像の候補の数が３つ以下のとき、すなわち、検出された角膜反射像の数が光源の数よりも少ないときには、角膜反射像に対して光源のＩＤを対応付けることなどによって、光源と角膜反射像との対応付けを行うことが困難である。ここで、光源と角膜反射像との対応付けに誤りが生じた場合には、視線に対応するベクトルの推定精度を低下させる要因となる。
【００３９】
（ｉｖ）第４のステップ：角膜反射像の位置を利用した角膜中心位置（３次元位置）の推定（図１のＥ）
情報処理装置は、例えば、検出された複数の角膜反射像の位置（ｕ,ｖ座標）、光源の位置、および角膜半径（角膜曲率半径）などの眼に関する情報（データ）に基づいて、角膜中心位置を推定する。
【００４０】
ここで、角膜曲率半径や、後述する他の情報（例えば、眼球中心−角膜中心間の距離や、角膜中心−瞳孔中心間の距離などの眼に関連する値を示すデータ）などの本実施形態に係る眼に関する情報が示す値は、例えば、予め設定されている固定値である。本実施形態に係る眼に関する情報が示す値は、ユーザごとに固有の値であってもよいし、複数のユーザの固有の値を用いて標準化された値であってもよい。本実施形態に係る眼に関する情報が示す値がユーザごとに固有の値である場合には、例えば、生体認証やパスワード認証など、ユーザを認証することが可能な任意の方法により特定されたユーザに対応する眼に関する情報が、用いられる。
【００４１】
（ｖ）第５のステップ：瞳孔中心位置（３次元位置）の推定（図１のＦ）
情報処理装置は、例えば、上記（ｉｖ）に示す第４のステップにおいて推定された角膜中心位置や、角膜中心−瞳孔中心間の距離Ｌや角膜半径ｒなどの眼に関する情報、および屈折の法則を用いて、瞳孔中心位置を推定する。
【００４２】
なお、第５のステップの処理と同様の処理が、後述する本実施形態に係る情報処理方法に係る処理においても行われる。そのため、第５のステップの処理の一例の説明は、省略する。
【００４３】
（ｖｉ）第６のステップ：光軸ベクトルの推定（図１のＧ）
情報処理装置は、例えば、上記（ｉｖ）に示す第４のステップにおいて推定された角膜中心位置と、上記（ｖ）に示す第５のステップにおいて推定された瞳孔中心位置を用いて、光軸ベクトル（視線に対応するベクトルの一例）を推定する。
【００４４】
情報処理装置は、例えば、角膜中心位置と瞳孔中心位置とを結んだ、眼球の外方向に向かうベクトルを、光軸ベクトルとする。なお、光軸ベクトルの検出方法は、上記に示す例に限られない。本実施形態に係る光軸ベクトルの検出方法の他の例については、後述する。
【００４５】
（ｖｉｉ）第７のステップ：視線ベクトルの推定（図１のＨ）
視線を示すベクトルである視線ベクトル（視線に対応するベクトルの一例）は、眼の中心窩と角膜中心とを結んだベクトルである。また、図１のＨに示すように、視線ベクトルと光軸ベクトルとには、ずれが生じうる。
【００４６】
情報処理装置は、例えば、キャリブレーションにより得られたオフセット値を利用して、上記（ｖｉ）に示す第６のステップにおいて推定された光軸ベクトルを補正することによって、視線ベクトルを推定する。なお、本実施形態に係るオフセット値は、例えば、予め設定される固定値であってもよい。
【００４７】
例えば、上記（ｉ）〜上記（ｖｉｉ）に示す７ステップによって、視線に対応するベクトルが推定される。
【００４８】
ここで、上述したように、上記（ｉｉｉ）に示す第３のステップにおいて、撮像画像から角膜反射像を検出する一の方法に係る処理が行われる場合には、撮像画像から角膜反射像を正しく検出することができるとは限らない。
【００４９】
また、上記（ｉｉｉ）に示す第３のステップにおいて推定される角膜反射像は、上記（ｉｖ）〜上記（ｖｉｉ）に示す各処理の結果に影響を及ぼす。よって、上記（ｉｉｉ）に示す第３のステップにおいて、撮像画像から角膜反射像を検出する一の方法に係る処理が行われる場合には、視線に対応するベクトルの推定精度を低下させてしまう。
【００５０】
［２］本実施形態に係る情報処理方法
そこで、本実施形態に係る情報処理装置は、例えば下記の（１）〜（４）に示す処理を行うことによって、撮像画像から角膜反射像を検出する（検出処理）。
【００５１】
（１）眼球中心位置の推定
本実施形態に係る情報処理装置は、時系列の複数の撮像画像に基づいて、眼球中心位置を推定する。
【００５２】
本実施形態に係る時系列の複数の撮像画像としては、例えば、動画像を構成するフレーム画像（静止画像）が挙げられる。以下では、フレーム画像を単に「フレーム」と示す場合がある。
【００５３】
角膜反射法が用いられる場合には、角膜反射像と瞳孔の画像上の観測位置から、角膜曲率中心と瞳孔中心の３次元位置が求められるが、角膜反射法では、眼球中心の３次元位置を直接推定することができない。
【００５４】
そこで、本実施形態に係る情報処理装置は、時系列の撮像画像を利用して、複数の撮像画像それぞれに基づき得られる各時点における光軸ベクトルの交点を、眼球中心位置として推定する。
【００５５】
各時点における光軸ベクトルは、例えば図１を参照して示した処理により推定される。ここで、上記（ｉｉｉ）に示す第３のステップでは、例えば、時系列の撮像画像を用いた処理が行えない場合には上記撮像画像から角膜反射像を検出する一の方法を用い、また、時系列の撮像画像を用いた処理が行える場合には本実施形態に係る情報処理方法とを用いて、光軸ベクトルが推定される。また、例えば、推定された光軸ベクトルのアウトライヤを除くことによって、アウトライヤの影響による眼球中心位置の推定精度の低下を防止することが可能である。
【００５６】
図２は、本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図であり、眼球中心位置の推定に係る処理の概要を示している。
【００５７】
図２に示すように、誤差などの影響により正確には光軸ベクトルは、１点で交わらない。そこで、本実施形態に係る情報処理装置は、複数の光軸ベクトルの最近傍点を眼球中心位置とする。
【００５８】
ここで、本実施形態に係るユーザの頭部に装着されて用いられる装置が、例えば眼鏡型ウェアラブル装置などのアイウェアであり、撮像デバイスが当該ユーザの頭部に装着されて用いられる装置に固定されている場合には、“当該ユーザの頭部に装着されて用いられる装置の掛けズレ（当該ユーザの頭部に装着されて用いられる装置の装着状態の変化の一例）が起きない限り、眼球中心位置は撮像デバイスに対して固定される”と仮定することができる。
【００５９】
図３は、本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図であり、眼球中心位置の推定に係る処理の概要を示している。図３では、撮像デバイスの位置を「カメラ中心」と表しており、当該カメラ中心を原点としている例を示している。以下では、便宜上、ベクトルを“ｘ→”と標記する場合がある。
【００６０】
図３に示すように、角膜中心位置を“ｃ→”、光軸ベクトルを“ｄ→”、求めたい眼球中心位置を“ｐ→”とする。ｉ番目（ｉは、正の整数。）の光軸ベクトル上の点Ｌｉは、例えば下記の数式１で表される。ここで、数式１に示す“ｔｉ”は、補助変数である。
【００６１】
【数１】
2016106668.tif 000003
【００６２】
また、眼球中心位置と光軸ベクトル上の点Ｌｉとの距離は、下記の数式２で表される。
【００６３】
【数２】
2016106668.tif 000004
【００６４】
よって、本実施形態に係る情報処理装置は、例えば全てのｉに対して、点Ｌｉとの距離の二乗和を最小にする点を求め、求められた点を眼球中心位置とする。具体的には、本実施形態に係る情報処理装置は、例えば下記の数式３に示すｎ＋１個（ｎは、正の整数）の連立方程式を解きｐの値を求めることによって、眼球中心位置を推定する。ここで、下記の数式３に示す“Ｆ”は、例えば下記の数式４で表される。
【００６５】
【数３】
2016106668.tif 000005
【００６６】
【数４】
2016106668.tif 000006
【００６７】
（２）角膜中心位置の推定
本実施形態に係る情報処理装置は、上記（１）の処理により推定された眼球中心位置に基づいて、角膜中心位置を推定する。
【００６８】
具体的には、本実施形態に係る情報処理装置は、例えば下記の（２−１）および（２−２）の処理を行うことによって、角膜中心位置を推定する。
【００６９】
（２−１）瞳孔中心位置の推定
本実施形態に係る情報処理装置は、上記（１）の処理により推定された眼球中心位置に基づいて瞳孔中心位置を推定する。ここで、（２−１）の処理の原理は、上記（ｖ）に示す第５のステップの処理と同様である。
【００７０】
図４は、本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図であり、瞳孔中心位置の推定に係る処理の概要を示している。
【００７１】
図４のＡは、眼球中心位置を中心とし、半径をｒ＋Ｍとする球を示している。ここで、ｒは、角膜半径であり、Ｍは、眼球中心−角膜中心間の距離である（以下、他の図の説明においても同様とする。）。また、図４に示すＬは、角膜中心−瞳孔中心間の距離である（以下、他の図の説明においても同様とする。）。角膜半径ｒ、眼球中心−角膜中心間の距離Ｍ、および角膜中心−瞳孔中心間の距離Ｌは、それぞれ本実施形態に係る眼に関する情報の一例に該当する。
【００７２】
ここで、角膜半径ｒ、および角膜中心−瞳孔中心間の距離Ｌとしては、例えば、設定された固定値が挙げられる。また、眼球中心−角膜中心間の距離Ｍは、例えば、上記（１）の処理により推定された眼球中心位置に基づいて、推定された値であってもよいし、設定された固定値であってもよい。なお、眼球中心−角膜中心間の距離Ｍの推定は、上記（１）の処理において眼球中心位置が推定された後の任意のタイミングで行うことが可能である。
【００７３】
本実施形態に係る情報処理装置は、例えば、瞳孔が図４のＡに示す球面上で屈折していると仮定し、スネルの法則を用いて瞳孔中心の３次元位置を算出する。
【００７４】
（２−２）角膜中心位置の推定
本実施形態に係る情報処理装置は、例えば、上記（１）の処理により推定された眼球中心位置と、上記（２−１）の処理により推定された瞳孔中心位置を結ぶ線分上の位置を、角膜中心位置として推定する。
【００７５】
図５は、本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図であり、角膜中心位置の推定に係る処理の概要を示している。
【００７６】
本実施形態に係る情報処理装置は、例えば、角膜中心−瞳孔中心間の距離Ｌ（眼に関する情報の一例）、および眼球中心−角膜中心間の距離Ｍ（眼に関する情報の一例）に基づいて、推定された瞳孔中心位置と推定された眼球中心位置とを結ぶ線分を、Ｌ：Ｍに分割する点（ｘ，ｙ，ｚ）を、角膜中心位置として推定する。
【００７７】
（３）角膜反射像の候補位置の推定
本実施形態に係る情報処理装置は、上記（２）の処理により推定された角膜中心位置に基づいて、角膜反射像の候補位置を推定する。以下では、角膜反射像の候補位置を「輝点候補位置」と示す場合がある。
【００７８】
本実施形態に係る情報処理装置は、例えば、推定された角膜中心位置、眼に関する情報、および光源の位置に基づいて、角膜反射像の候補位置を推定する。
【００７９】
図６は、本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図であり、角膜反射像の候補位置の推定に係る処理の概要を示している。
【００８０】
本実施形態に係る情報処理装置は、例えば、推定された角膜中心位置、角膜半径ｒ（眼に関する情報の一例）、および撮像デバイスに対するＩＲ  ＬＥＤの配置を示すデータ（光源の位置を示す情報の一例）に基づき、反射の法則を利用して、光源の光の反射位置（ｘ，ｙ，ｚ）を求める。そして、本実施形態に係る情報処理装置は、求めた反射位置（ｘ，ｙ，ｚ）を、画像平面に投影することによって、角膜反射像の候補位置（例えば、（ｕ，ｖ）座標で表される位置）を推定する。
【００８１】
角膜反射像の候補位置の推定に係る処理について、より具体的に説明する。
【００８２】
図７は、本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図であり、角膜反射像の候補位置の推定に係る処理の概要を示している。図７に示すＯ（０，０）は、カメラ中心を示しており、図７に示すＬは、一のＩＲ  ＬＥＤ（光源の一例）の位置を示している。また、図７に示すＣ（ｃｘ，ｃｙ）は、眼球中心位置を示しており、図７に示すＧ（ｇｘ，ｇｚ）は、輝点の位置を示している。
【００８３】
球面反射の法則により、カメラ中心、輝点、ＩＲ  ＬＥＤ、および眼球中心は同一平面上に存在する。例えば図７に示すように、上記平面上において、カメラ中心と、ＩＲ  ＬＥＤの位置とを通る方向にｘ軸をとり、ｘ軸に直交し、眼球中心位置に近い方向にｚ軸をとる。
【００８４】
ここで、ＩＲ  ＬＥＤの光（光源の光の一例）の入射角と反射角は等しいので、θ＝∠ＯＧＮ＝∠ＬＧＮとなる。また、Ｇ（ｇｘ，ｇｚ）は、眼球中心Ｃ（ｃｘ，ｃｙ）を中心とし、半径ｒ＋Ｍの円周上の点である。
【００８５】
本実施形態に係る情報処理装置は、例えば、下記の数式５に示す非線形連立方程式をｇｘ、ｇｙについて解き、カメラ座標系における輝点（角膜反射像）の方向ベクトルに換算することによって、角膜反射像の候補位置（ｕ，ｖ）を求める。
【００８６】
【数５】
2016106668.tif 000007
【００８７】
（４）角膜反射像の検出
本実施形態に係る情報処理装置は、上記（３）の処理により推定された角膜反射像の候補位置に基づいて、撮像画像から角膜反射像を検出する。
【００８８】
図８は、本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図であり、角膜反射像の検出に係る処理の概要を示している。
【００８９】
本実施形態に係る情報処理装置は、例えば、“上記（ｉｉ）に示す第２のステップに係る処理によって画像認識により検出された角膜反射像の候補位置と、上記（３）の処理により推定された角膜反射像の候補位置との距離”や、“複数のＩＲ  ＬＥＤ間の位置関係に対応する角膜反射像間のｕ方向、ｖ方向の傾き”などを、拘束条件とすることによって、撮像画像から角膜反射像を検出する。
【００９０】
本実施形態に係る情報処理装置は、本実施形態に係る情報処理方法に係る処理として、例えば上記（１）〜（４）に示す処理を含む検出処理を行う。
【００９１】
本実施形態に係る検出処理が行われることによって、上述した撮像画像から角膜反射像を検出する一の方法が用いられる場合よりも、角膜反射像を検出するための角膜反射像の存在範囲を大幅に縮小することができる。
【００９２】
よって、本実施形態に係る情報処理装置は、本実施形態に係る検出処理を行うことによって、上述した撮像画像から角膜反射像を検出する一の方法が用いられる場合よりも、撮像画像から角膜反射像をより精度よく検出することができる。
【００９３】
また、本実施形態に係る検出処理により検出された角膜反射像を用いて、上記（ｉｖ）〜上記（ｖｉｉ）に示す各処理が行われることによって、上述した撮像画像から角膜反射像を検出する一の方法が用いて角膜反射像を検出する場合よりも、視線に対応するベクトル（光軸ベクトル、または、光軸ベクトルが補正された視線ベクトル）の推定精度を、より高めることができる。
【００９４】
なお、本実施形態に係る情報処理方法に係る処理は、上記検出処理に限られない。例えば、本実施形態に係る情報処理装置は、本実施形態に係る情報処理方法に係る処理として、さらに下記の（Ｉ）の処理〜（ＩＶ）の処理を行うことも可能である。
【００９５】
（Ｉ）視線に対応するベクトルの検出に係る処理
本実施形態に係る情報処理装置は、例えば、上記検出処理において検出された角膜反射像の位置を用いて、上記（ｉｖ）の処理〜上記（ｖｉ）の処理を行い光軸ベクトル（視線に対応するベクトルの一例）を検出する。
【００９６】
本実施形態に係る情報処理装置は、例えば、上記検出処理において検出された角膜反射像の位置、眼に関する情報、および光源の位置に基づいて、光軸ベクトルを検出する。
【００９７】
より具体的には、本実施形態に係る情報処理装置は、例えば、上記（ｉｖ）の処理により特定される角膜中心位置と、上記（ｖ）の処理により特定される瞳孔中心位置と、上記検出処理において推定される眼球中心位置とのうちの、２以上を用いて、光軸ベクトルを検出する。ここで、角膜中心位置、瞳孔中心位置、および眼球中心位置は、一直線上に存在する。よって、本実施形態に係る情報処理装置は、例えば、角膜中心位置、瞳孔中心位置、および眼球中心位置のうちの２点を結ぶ、眼球の外方向に向かうベクトルを、光軸ベクトルとして検出する。
【００９８】
なお、本実施形態に係る視線に対応するベクトルの検出に係る処理は、上記に示す例に限られない。
【００９９】
例えば、本実施形態に係る情報処理装置は、上記検出処理において検出された角膜反射像の位置を用いて、上記（ｉｖ）の処理〜上記（ｖｉｉ）の処理を行い、光軸ベクトルが補正された視線ベクトル（視線に対応するベクトルの一例）を検出してもよい。本実施形態に係る情報処理装置は、例えば、設定されているオフセット値を用いて、上記（ｉｖ）〜上記（ｖｉ）の処理により光軸ベクトルを補正することによって、視線ベクトルを検出する。
【０１００】
（ＩＩ）視線に対応するベクトルを用いた処理
本実施形態に係る情報処理装置は、例えば、上記（Ｉ）の処理において検出された視線に対応するベクトル（光軸ベクトル、または、光軸ベクトルが補正された視線ベクトル。以下、同様とする。）、または、外部装置において上記（Ｉ）の処理と同様の処理により検出された視線に対応するベクトルを用いた処理を行うことも可能である。
【０１０１】
本実施形態に係る視線に対応するベクトルを用いた処理としては、本実施形態に係るユーザの頭部に装着されて用いられる装置の装着状態の変化を検出する処理が挙げられる。以下では、本実施形態に係るユーザの頭部に装着されて用いられる装置の装着状態の変化を検出する処理を、「掛けズレ検出処理」または「掛けズレ検出」と示す場合がある。
【０１０２】
視線に対応するベクトルを用いた処理として掛けズレ検出処理を行う場合、本実施形態に係る情報処理装置は、例えば、時刻ｔ（第１の時点）で検出された光軸ベクトルと、時刻ｔ−１までの任意の時点（第１の時点よりも前の第２の時点）で推定された眼球中心位置との距離に基づいて、装着状態の変化を検出する。
【０１０３】
本実施形態に係るユーザの頭部に装着されて用いられる装置の装着状態が変わらない場合には、光軸ベクトルは変化せず、また、上述したように、角膜中心位置、瞳孔中心位置、および眼球中心位置は、一直線上に存在する。よって、本実施形態に係る情報処理装置は、例えば、時刻ｔで検出された光軸ベクトルと時刻ｔ−１までの任意の時点で推定された眼球中心位置との距離を算出し、算出された距離が設定されている閾値よりも大きい場合（または、当該距離が当該閾値以上である場合）に、装着状態の変化が生じたと判定することによって、装着状態の変化を検出する。
【０１０４】
なお、本実施形態に係る情報処理装置は、例えば、複数フレームで連続して装着状態の変化が生じたと判定された場合に、装着状態の変化を検出することも可能である。
【０１０５】
また、装着状態の変化が検出された場合、本実施形態に係る情報処理装置は、例えば、上記検出処理を再度行い、眼球中心位置などを初期化する。また、本実施形態に係る情報処理装置は、例えば、再度行われた上記検出処理の結果を用いて上記（Ｉ）の処理（視線に対応するベクトルの検出に係る処理）を行ってもよい。
【０１０６】
なお、装着状態の変化が検出された場合における処理は、上記に示す例に限られない。
【０１０７】
例えば、装着状態の変化が検出された場合、本実施形態に係る情報処理装置は、装着状態の変化が検出されたことをユーザに対して通知させてもよい。本実施形態に係る情報処理装置は、例えば、文字や画像を表示させることによる視覚的な通知を表示デバイスに行わせることや、音声（音楽も含む。）を出力させることによる聴覚的な通知を音声出力デバイスに行わせることによって、装着状態の変化が検出されたことをユーザに対して通知させる。本実施形態に係る情報処理装置は、例えば、本実施形態に係る情報処理装置が備える通信部（後述する）や外部の通信デバイスに、制御信号や通知に係るデータを、表示デバイスや音声出力デバイスに対して送信させることによって、装着状態の変化が検出されたことをユーザに対して通知させる。
【０１０８】
また、装着状態の変化が検出された場合、本実施形態に係る情報処理装置は、例えば、視線に対応するベクトルの検出結果の付帯情報である信頼度を、設定されている基準値から下げることや、光軸ベクトルを補正するためのオフセット量（オフセット値）を調整することなど、様々な処理を行うことも可能である。ここで、上記信頼度の基準値は、予め設定されている固定値であってもよいし、視線に対応するベクトルの検出結果に応じて信頼度を設定することが可能な任意の方法で設定される、可変値であってもよい。
【０１０９】
本実施形態に係る情報処理装置は、本実施形態に係る視線に対応するベクトルを用いた処理として、例えば上記のような掛けズレ処理を行う。
【０１１０】
なお、本実施形態に係る視線に対応するベクトルを用いた処理は、上記掛けズレ処理に限られない。
【０１１１】
本実施形態に係る情報処理装置は、例えば、上記（Ｉ）の処理において検出された視線に対応するベクトルを利用して特定される、表示画面上の視線位置に応じたアプリケーションの制御など、視線に対応するベクトルを利用して実現することが可能な任意の処理を行うことが可能である。
【０１１２】
（ＩＩＩ）撮像画像に対する画像認識処理
本実施形態に係る情報処理装置は、例えば、撮像画像に対する画像認識処理を行い、撮像画像から瞳孔と角膜反射像の候補とを認識することも可能である。本実施形態に係る情報処理装置は、例えば、上記（ｉ）の処理、および上記（ｉｉ）の処理を行うことによって、撮像画像から瞳孔と角膜反射像の候補とを認識する。
【０１１３】
また、本実施形態に係る情報処理装置が、撮像画像に対する画像認識処理を行う場合には、本実施形態に係る情報処理装置は、上記検出処理において、撮像画像に対する画像認識処理の認識結果を用いて角膜反射像を検出する。
【０１１４】
（ＩＶ）
本実施形態に係る情報処理装置は、例えば、上記（Ｉ）の処理（視線に対応するベクトルの検出に係る処理）〜上記（ＩＩＩ）の処理（撮像画像に対する画像認識処理）のうちの２以上を、本実施形態に係る情報処理方法に係る処理としてさらに行うことも可能である。
【０１１５】
図９は、本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。図９は、本実施形態に係る情報処理装置が、本実施形態に係る情報処理方法に係る処理として、上記検出処理、上記（Ｉ）の処理（視線に対応するベクトルの検出に係る処理）、上記（ＩＩ）の処理（視線に対応するベクトルを用いた処理）、および上記（ＩＩＩ）の処理（撮像画像に対する画像認識処理）を行う場合における、各時点で行われる処理の一例を示している。
【０１１６】
図９に示す時刻ｔでは、本実施形態に係る情報処理装置は、例えば上述した撮像画像から角膜反射像を検出するための一の方法を用いて処理を行う。また、図９に示す時刻ｔ＋１、ｔ＋２では、本実施形態に係る情報処理装置は、本実施形態に係る情報処理方法を用いて処理を行う。
【０１１７】
よって、例えば図９に示す処理が行われる場合には、時間が経過する程、より高精度に撮像画像から角膜反射像を検出することができる。
【０１１８】
また、図９に示す例では、本実施形態に係る情報処理装置は、上記（ＩＩ）の処理（視線に対応するベクトルを用いた処理）として掛けズレ処理を行っている。図９に示す例では、掛けズレ処理により装着状態の変化が検出された場合には、本実施形態に係る情報処理装置は、例えば、図９に示す時刻ｔからの処理を再度行う。
【０１１９】
本実施形態に係る情報処理装置は、例えば、本実施形態に係る情報処理方法に係る処理として、例えば、“上記検出処理”や、“上記検出処理、および上記（Ｉ）の処理〜（ＩＶ）の処理のいずれかの処理”を行う。
【０１２０】
なお、“上記検出処理”や、“上記検出処理、および上記（Ｉ）の処理〜（ＩＶ）の処理のいずれかの処理”は、便宜上、本実施形態に係る情報処理方法に係る処理を切り分けたものである。よって、本実施形態に係る情報処理方法に係る処理は、例えば、“上記検出処理”を、（任意の切り分け方によって）２以上の処理と捉えることが可能である。また、本実施形態に係る情報処理方法に係る処理は、例えば、“上記検出処理、および上記（Ｉ）の処理〜（ＩＶ）の処理のいずれかの処理”を１つの処理と捉えることが可能であり、上記検出処理、および上記（Ｉ）の処理〜（ＩＶ）の処理のいずれかの処理”を、（任意の切り分け方によって）２以上の処理と捉えることも可能である。
【０１２１】
［３］本実施形態に係る情報処理方法に係る処理が行われることにより奏される効果
本実施形態に係る情報処理装置は、本実施形態に係る情報処理方法に係る処理を行うことによって、例えば下記の（ａ）〜（ｅ）に示すような効果を奏することができる。なお、本実施形態に係る情報処理方法に係る処理が行われることにより奏される効果が、下記に示す例に限られないことは、言うまでもない。
【０１２２】
（ａ）角膜反射像（輝点）のアウトライヤの除去の精度や、ＩＲ  ＬＥＤ（光源の一例）との対応付けの精度を向上させることができる。
（ｂ）上記（ａ）に示す効果に伴う、視線に対応するベクトルの検出精度を向上させることができる。
（ｃ）本実施形態に係る情報処理方法に係る処理の結果（例えば、検出された視線に対応するベクトルや推定した眼球中心位置）を用いて、本実施形態に係るユーザの頭部に装着されて用いられる装置の装着状態の変化を検出することができる。
（ｄ）例えば上記（ｃ）の装着状態の変化の検出結果を利用することなどにより、視線に対応するベクトルの信頼度を設定することができる。
（ｅ）例えば上記（ｃ）の装着状態の変化の検出結果を用いた様々な処理（例えば、通知や、オフセット量の調整など）を行うことができる。
【０１２３】
（本実施形態に係る情報処理装置）
次に、上述した本実施形態に係る情報処理方法に係る処理を行うことが可能な本実施形態に係る情報処理装置の構成の一例について説明する。
【０１２４】
図１０は、本実施形態に係る情報処理装置１００の構成の一例を示すブロック図である。情報処理装置１００は、例えば、撮像部１０２と、制御部１０４とを備える。
【０１２５】
また、情報処理装置１００は、例えば、ＲＯＭ（Read  Only  Memory。図示せず）や、ＲＡＭ（Random  Access  Memory。図示せず）、記憶部（図示せず）、外部装置と無線または有線で通信を行うための通信部（図示せず）、ユーザが操作可能な操作部（図示せず）、様々な画面を表示画面に表示する表示部（図示せず）などを備えていてもよい。情報処理装置１００は、例えば、データの伝送路としてのバスにより上記各構成要素間を接続する。
【０１２６】
ＲＯＭ（図示せず）は、制御部１０４が使用するプログラムや演算パラメータなどの制御用データを記憶する。ＲＡＭ（図示せず）は、制御部１０４により実行されるプログラムなどを一時的に記憶する。
【０１２７】
記憶部（図示せず）は、情報処理装置１００が備える記憶手段であり、例えば、眼に関する情報などの本実施形態に係る情報処理方法に係るデータや、撮像画像を示す画像データ、アプリケーションなど様々なデータを記憶する。記憶部（図示せず）には、例えば、角膜半径や、眼球中心−角膜中心間の距離、角膜中心−瞳孔中心間の距離などの眼に関する情報が、ユーザごとに記憶される。また、記憶部（図示せず）には、例えば、角膜反射像や瞳孔の検出用の辞書データが、本実施形態に係る情報処理方法に係るデータとして記憶されていてもよい。
【０１２８】
ここで、記憶部（図示せず）としては、例えば、ハードディスク（Hard  Disk）などの磁気記録媒体や、フラッシュメモリ（flash  memory）などの不揮発性メモリ（nonvolatile  memory）などが挙げられる。また、記憶部（図示せず）は、情報処理装置１００から着脱可能であってもよい。
【０１２９】
通信部（図示せず）としては、例えば後述する通信インタフェースが挙げられる。また、操作部（図示せず）としては、例えば後述する操作入力デバイスが挙げられ、表示部（図示せず）としては、例えば後述する表示デバイスが挙げられる。
【０１３０】
［情報処理装置１００のハードウェア構成例］
図１１は、本実施形態に係る情報処理装置１００のハードウェア構成の一例を示す説明図である。情報処理装置１００は、例えば、ＭＰＵ１５０と、ＲＯＭ１５２と、ＲＡＭ１５４と、記録媒体１５６と、入出力インタフェース１５８と、操作入力デバイス１６０と、表示デバイス１６２と、通信インタフェース１６４と、撮像デバイス１６６と、ＩＲ  ＬＥＤ１６８とを備える。また、情報処理装置１００は、例えば、データの伝送路としてのバス１７０で各構成要素間を接続する。
【０１３１】
ＭＰＵ１５０は、例えば、ＭＰＵ（Micro  Processing  Unit）などの演算回路で構成される、１または２以上のプロセッサや、各種処理回路などで構成され、情報処理装置１００全体を制御する制御部１０４として機能する。また、ＭＰＵ１５０は、情報処理装置１００において、例えば、後述する画像認識部１１０、検出部１１２、および処理部１１４の役目を果たす。
【０１３２】
ＲＯＭ１５２は、ＭＰＵ１５０が使用するプログラムや演算パラメータなどの制御用データなどを記憶する。ＲＡＭ１５４は、例えば、ＭＰＵ１５０により実行されるプログラムなどを一時的に記憶する。
【０１３３】
記録媒体１５６は、記憶部（図示せず）として機能し、例えば、眼に関する情報などの本実施形態に係る情報処理方法に係るデータや、撮像画像を示す画像データ、アプリケーションなど様々なデータを記憶する。
【０１３４】
記録媒体１５６としては、例えば、ハードディスクなどの磁気記録媒体や、フラッシュメモリなどの不揮発性メモリなどが挙げられる。また、記録媒体１５６は、情報処理装置１００から着脱可能であってもよい。
【０１３５】
入出力インタフェース１５８は、例えば、操作入力デバイス１６０や、表示デバイス１６２を接続する。操作入力デバイス１６０は、操作部（図示せず）として機能し、また、表示デバイス１６２は、表示部（図示せず）として機能する。ここで、入出力インタフェース１５８としては、例えば、ＵＳＢ（Universal  Serial  Bus）端子や、ＤＶＩ（Digital  Visual  Interface）端子、ＨＤＭＩ（High-Definition  Multimedia  Interface）（登録商標）端子、各種処理回路などが挙げられる。
【０１３６】
操作入力デバイス１６０は、例えば、情報処理装置１００上に備えられ、情報処理装置１００の内部で入出力インタフェース１５８と接続される。操作入力デバイス１６０としては、例えば、ボタンや、方向キー、ジョグダイヤルなどの回転型セレクター、あるいは、これらの組み合わせなどが挙げられる。
【０１３７】
表示デバイス１６２は、例えば、情報処理装置１００上に備えられ、情報処理装置１００の内部で入出力インタフェース１５８と接続される。表示デバイス１６２としては、例えば、液晶ディスプレイ（Liquid  Crystal  Display）や有機ＥＬディスプレイ（Organic  Electro-Luminescence  Display。または、ＯＬＥＤディスプレイ（Organic  Light  Emitting  Diode  Display）ともよばれる。）などが挙げられる。
【０１３８】
なお、入出力インタフェース１５８が、情報処理装置１００の外部装置としての操作入力デバイス（例えば、キーボードやマウスなど）や表示デバイス、撮像デバイスなどの、外部デバイスと接続することも可能であることは、言うまでもない。また、表示デバイス１６２は、例えばタッチデバイスなど、表示とユーザ操作とが可能なデバイスであってもよい。
【０１３９】
通信インタフェース１６４は、情報処理装置１００が備える通信手段であり、ネットワークを介して（あるいは、直接的に）、外部の撮像装置や外部の表示装置、外部の本実施形態に係るユーザの頭部に装着されて用いられる装置などの外部装置（または、外部デバイス）と、無線または有線で通信を行うための通信部（図示せず）として機能する。通信インタフェース１６４としては、例えば、通信アンテナおよびＲＦ（Radio  Frequency）回路（無線通信）や、ＩＥＥＥ８０２．１５．１ポートおよび送受信回路（無線通信）、ＩＥＥＥ８０２．１１ポートおよび送受信回路（無線通信）、あるいはＬＡＮ（Local  Area  Network）端子および送受信回路（有線通信）などが挙げられる。また、通信部（図示せず）は、ＵＳＢ（Universal  Serial  Bus）端子および送受信回路など通信を行うことが可能な任意の規格に対応する構成や、ネットワークを介して外部装置と通信可能な任意の構成であってもよい。
【０１４０】
また、本実施形態に係るネットワークとしては、例えば、ＬＡＮやＷＡＮ（Wide  Area  Network）などの有線ネットワーク、無線ＬＡＮ（ＷＬＡＮ：Wireless  Local  Area  Network）や基地局を介した無線ＷＡＮ（ＷＷＡＮ：Wireless  Wide  Area  Network）などの無線ネットワーク、あるいは、ＴＣＰ／ＩＰ（Transmission  Control  Protocol/Internet  Protocol）などの通信プロトコルを用いたインターネットなどが挙げられる。
【０１４１】
撮像デバイス１６６は、情報処理装置１００が備える撮像手段であり、撮像により画像（撮像画像）を生成する撮像部１０２として機能する。撮像デバイス１６６は、例えば、ユーザの片目ごとに、またはユーザの両目を撮像する、１または２以上の撮像デバイスで構成される。また、撮像デバイス１６６は、例えば、ＩＲ  ＬＥＤなどの光源からの光が照射される眼を撮像することが可能な位置に設けられる。
【０１４２】
撮像デバイス１６６を備える場合、情報処理装置１００では、例えば、撮像デバイス１６６において撮像により生成された撮像画像に基づいて、本実施形態に係る情報処理方法に係る処理を行うことが可能となる。
【０１４３】
撮像デバイス１６６は、例えば、レンズ／撮像素子と信号処理回路とを含んで構成される。レンズ／撮像素子は、例えば、光学系のレンズと、ＣＭＯＳ（Complementary  Metal  Oxide  Semiconductor）などの撮像素子を複数用いたイメージセンサとで構成される。信号処理回路は、例えば、ＡＧＣ（Automatic  Gain  Control）回路やＡＤＣ（Analog  to  Digital  Converter）を備え、撮像素子により生成されたアナログ信号をデジタル信号（画像データ）に変換する。また、信号処理回路は、例えばＲＡＷ現像に係る各種処理を行う。さらに、信号処理回路は、例えば、Ｗｈｉｔｅ  Ｂａｌａｎｃｅ補正処理や、色調補正処理、ガンマ補正処理、ＹＣｂＣｒ変換処理、エッジ強調処理など各種信号処理を行ってもよい。
【０１４４】
ＩＲ  ＬＥＤ１６８は、情報処理装置１００が備える光源であり、複数のＩＲ  ＬＥＤで構成される。ＩＲ  ＬＥＤ１６８は、例えば、光がユーザの眼に照射される位置に設けられる。なお、上述したように、情報処理装置１００が備える光源がＩＲ  ＬＥＤに限られないことは、言うまでもない。
【０１４５】
情報処理装置１００は、例えば図１１に示す構成によって、本実施形態に係る情報処理方法に係る処理を行う。なお、本実施形態に係る情報処理装置１００のハードウェア構成は、図１１に示す構成に限られない。
【０１４６】
例えば、外部の本実施形態に係るユーザの頭部に装着されて用いられる装置から取得された、本実施形態に係る撮像画像を処理する場合などには、情報処理装置１００は、撮像デバイス１６６とＩＲ  ＬＥＤ１６８との一方または双方を備えない構成をとることが可能である。
【０１４７】
また、情報処理装置１００は、例えば、スタンドアロンで処理を行う構成である場合には、通信インタフェース１６４を備えていなくてもよい。また、情報処理装置１００は、記録媒体１５６や、操作入力デバイス１６０、表示デバイス１６２を備えない構成をとることも可能である。
【０１４８】
再度、図２を参照して、本実施形態に係る情報処理装置１００の構成の一例について説明する。撮像部１０２は、光源からの光が照射される眼が撮像された撮像画像（本実施形態に撮像画像）を生成する。撮像部１０２としては、例えば撮像デバイス１６６が挙げられる。
【０１４９】
制御部１０４は、例えばＭＰＵなどで構成され、情報処理装置１００全体を制御する役目を果たす。また、制御部１０４は、例えば、画像認識部１１０と、検出部１１２と、処理部１１４とを備え、本実施形態に係る情報処理方法に係る処理を主導的に行う役目を果たす。ここで、図１０では、制御部１０４が、上記検出処理および上記（ＩＶ）の処理を、本実施形態に係る情報処理方法に係る処理として行う場合の構成の一例を示している。
【０１５０】
画像認識部１１０は、上記（ＩＩＩ）の処理（撮像画像に対する画像認識処理）を主導的に行う役目を果たし、撮像画像から瞳孔と角膜反射像の候補とを認識する。画像認識部１１０は、例えば、上記（ｉ）の処理、および上記（ｉｉ）の処理を行うことによって、撮像画像から瞳孔と角膜反射像の候補とを認識する。
【０１５１】
検出部１１２は、上記検出処理を主導的に行う役目を果たし、撮像画像から角膜反射像を検出する。検出部１１２は、例えば、上記（１）の処理（眼球中心位置の推定）〜（４）の処理（角膜反射像の検出）を行うことによって、角膜反射像を検出する。
【０１５２】
また、検出部１１２は、角膜反射像の検出結果を用いて、上記（Ｉ）の処理（視線に対応するベクトルの検出に係る処理）をさらに行ってもよい。
【０１５３】
処理部１１４は、上記（ＩＩ）の処理（視線に対応するベクトルを用いた処理）を主導的に行う役目を果たし、視線に対応するベクトル（光軸ベクトル、または、光軸ベクトルが補正された視線ベクトル）を用いた処理を行う。処理部１１４は、例えば、掛けズレ処理など、視線に対応するベクトルを用いて実現することが可能な任意の処理を行う。
【０１５４】
制御部１０４は、例えば、画像認識部１１０、検出部１１２、および処理部１１４を備えることによって、本実施形態に係る情報処理方法に係る処理を主導的に行う。
【０１５５】
情報処理装置１００は、例えば図１０に示す構成によって、本実施形態に係る情報処理方法に係る処理（例えば、上記検出処理および上記（ＩＶ）の処理）を行う。
【０１５６】
したがって、情報処理装置１００は、例えば図１０に示す構成によって、撮像画像から角膜反射像を検出することができる。
【０１５７】
また、例えば図１０に示す構成によって、情報処理装置１００は、例えば上述したような、本実施形態に係る情報処理方法に係る処理が行われることにより奏される効果を、奏することができる。
【０１５８】
なお、本実施形態に係る情報処理装置の構成は、図１０に示す構成に限られない。
【０１５９】
例えば、本実施形態に係る情報処理装置は、図１０に示す画像認識部１１０、検出部１１２、および処理部１１４のうちの１または２以上を、制御部１０４とは個別に備える（例えば、別の処理回路で実現する）ことができる。
【０１６０】
また、例えば外部装置において上記（ＩＩＩ）の処理（撮像画像に対する画像認識処理）が行われ、当該外部装置の処理結果を用いて処理を行う場合には、本実施形態に係る情報処理装置は、画像認識部１１０を有していなくてもよい。
【０１６１】
また、例えば外部装置において上記（ＩＩ）の処理（視線に対応するベクトルを用いた処理）が行われる場合には、本実施形態に係る情報処理装置は、処理部１１４を有していなくてもよい。
【０１６２】
また、上述したように、“上記検出処理”や、“上記検出処理、および上記（Ｉ）の処理〜（ＩＶ）の処理のいずれかの処理”は、便宜上、本実施形態に係る情報処理方法に係る処理を切り分けたものである。よって、本実施形態に係る情報処理方法に係る処理を実現するための構成は、図１０に示す画像認識部１１０、検出部１１２、および処理部１１４に限られず、本実施形態に係る情報処理方法に係る処理の切り分け方に応じた構成をとることが可能である。
【０１６３】
以上、本実施形態として、情報処理装置を挙げて説明したが、本実施形態は、かかる形態に限られない。本実施形態は、例えば、アイウェアやＨＭＤなどのユーザの頭部に装着されて用いられる装置や、ＰＣ（Personal  Computer）やサーバなどのコンピュータ、携帯電話やスマートフォンなどの通信装置、タブレット型の装置など、画像を処理することが可能な様々な機器に適用することができる。また、本実施形態は、例えば、上記のような機器に組み込むことが可能な、１または２以上のＩＣ（Integrated  Circuit）に適用することもできる。
【０１６４】
また、本実施形態に係る情報処理装置は、例えばクラウドコンピューティングなどのように、ネットワークへの接続（または各装置間の通信）を前提とした、１または２以上の装置からなるシステムに適用されてもよい。つまり、上述した本実施形態に係る情報処理装置は、例えば、複数の装置からなる情報処理システムとして実現することも可能である。
【０１６５】
（本実施形態に係るプログラム）
コンピュータを、本実施形態に係る情報処理装置として機能させるためのプログラム（例えば、“上記検出処理”や、“上記検出処理、および上記（Ｉ）の処理〜（ＩＶ）の処理のいずれかの処理”など、本実施形態に係る情報処理方法に係る処理を実行することが可能なプログラム）が、コンピュータにおいてプロセッサなどにより実行されることによって、撮像画像から角膜反射像を検出することができる。
【０１６６】
また、コンピュータを、本実施形態に係る情報処理装置として機能させるためのプログラムが、コンピュータにおいてプロセッサなどにより実行されることによって、上述した本実施形態に係る情報処理方法に係る処理によって奏される効果を、奏することができる。
【０１６７】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０１６８】
例えば、上記では、コンピュータを、本実施形態に係る情報処理装置として機能させるためのプログラム（コンピュータプログラム）が提供されることを示したが、本実施形態は、さらに、上記プログラムを記憶させた記録媒体も併せて提供することができる。
【０１６９】
上述した構成は、本実施形態の一例を示すものであり、当然に、本開示の技術的範囲に属するものである。
【０１７０】
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【０１７１】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
光源からの光が照射される眼が撮像された撮像画像から、角膜において反射された前記光源からの光に対応する角膜反射像を検出する検出部を備え、
前記検出部は、
時系列の複数の前記撮像画像に基づいて、眼球中心位置を推定し、
推定された眼球中心位置に基づいて、角膜中心位置を推定し、
推定された角膜中心位置に基づいて、前記角膜反射像の候補位置を推定し、
推定された前記角膜反射像の候補位置に基づいて、前記撮像画像から前記角膜反射像を検出する、情報処理装置。
（２）
前記検出部は、複数の前記撮像画像それぞれに基づき得られる各時点における光軸ベクトルの交点を、前記眼球中心位置として推定する、（１）に記載の情報処理装置。
（３）
前記検出部は、
推定された前記眼球中心位置に基づいて瞳孔中心位置を推定し、
前記眼に関する情報に基づき特定される、推定された前記眼球中心位置および推定された前記瞳孔中心位置を結ぶ線分上の位置を、前記角膜中心位置として推定する、（１）、または（２）に記載の情報処理装置。
（４）
前記検出部は、推定された前記角膜中心位置、前記眼に関する情報、および光源の位置に基づいて、前記角膜反射像の候補位置を推定する、（１）〜（３）のいずれか１つに記載の情報処理装置。
（５）
前記検出部は、検出された前記角膜反射像の位置、前記眼に関する情報、および光源の位置に基づいて、光軸ベクトルを検出する、（１）〜（４）のいずれか１つに記載の情報処理装置。
（６）
前記検出部は、検出された複数の前記角膜反射像の位置、前記眼に関する情報、および光源の位置に基づき特定される角膜中心位置と、特定された前記角膜中心位置、および前記眼に関する情報に基づき特定される瞳孔中心位置と、推定される前記眼球中心位置とのうちの、２以上を用いて、前記光軸ベクトルを検出する、（５）に記載の情報処理装置。
（７）
前記検出部は、設定されているオフセット値を用いて、前記光軸ベクトルを補正する、（５）、または（６）に記載の情報処理装置。
（８）
前記光軸ベクトルを用いた処理を行う処理部をさらに備える、（５）〜（７）のいずれか１つに記載の情報処理装置。
（９）
前記撮像画像は、ユーザの頭部に装着されて用いられる装置が備える撮像デバイス、または、前記ユーザの頭部に装着されて用いられる装置に接続されている外部の撮像デバイスにより撮像され、
前記処理部は、第１の時点で検出された前記光軸ベクトルと、前記第１の時点よりも前の第２の時点で推定された前記眼球中心位置との距離に基づいて、前記ユーザの頭部に装着されて用いられる装置の装着状態の変化を検出する、（８）に記載の情報処理装置。
（１０）
前記撮像画像から瞳孔と前記角膜反射像の候補とを認識する画像認識部をさらに備え、
前記検出部は、前記画像認識部の認識結果を用いて前記角膜反射像を検出する、（１）〜（９）のいずれか１つに記載の情報処理装置。
（１１）
光源からの光が照射される眼が撮像された撮像画像から、角膜において反射された前記光源からの光に対応する角膜反射像を検出するステップを有し、
前記検出するステップでは、
時系列の複数の前記撮像画像に基づいて、眼球中心位置が推定され、
推定された眼球中心位置に基づいて、角膜中心位置が推定され、
推定された角膜中心位置に基づいて、前記角膜反射像の候補位置が推定され、
推定された前記角膜反射像の候補位置に基づいて、前記撮像画像から前記角膜反射像が検出される、情報処理装置により実行される情報処理方法。
（１２）
光源からの光が照射される眼が撮像された撮像画像から、角膜において反射された前記光源からの光に対応する角膜反射像を検出するステップをコンピュータに実行させ、
前記検出するステップでは、
時系列の複数の前記撮像画像に基づいて、眼球中心位置が推定され、
推定された眼球中心位置に基づいて、角膜中心位置が推定され、
推定された角膜中心位置に基づいて、前記角膜反射像の候補位置が推定され、
推定された前記角膜反射像の候補位置に基づいて、前記撮像画像から前記角膜反射像が検出される、プログラム。
【符号の説明】
【０１７２】
１００    情報処理装置
１０２    撮像部
１０４    制御部
１１０    画像認識部部
１１２    検出部
１１４    処理部
【図１】
2016106668.tif 000008
【図２】
2016106668.tif 000009
【図３】
2016106668.tif 000010
【図４】
2016106668.tif 000011
【図５】
2016106668.tif 000012
【図６】
2016106668.tif 000013
【図７】
2016106668.tif 000014
【図８】
2016106668.tif 000015
【図９】
2016106668.tif 000016
【図１０】
2016106668.tif 000017
【図１１】
2016106668.tif 000018