(57)【要約】【課題】効率よく瞳孔中心位置の推定を行うことができる技術を提供する。【解決手段】瞳孔推定装置１２は、周囲点検出部と、位置算出部と、第１演算部と、第２演算部と、を備える。周囲点検出部は、Ｓ１１にて、撮影画像から眼の外縁を示す複数の周囲点を検出する。位置算出部は、Ｓ１２にて、複数の周囲点を用いて、基準位置を算出する。第１演算部は、Ｓ１３−Ｓ１８にて、基準位置、及び、撮影画像の所定領域の輝度を用いて、瞳孔中心位置と基準位置との差を表す差分ベクトルを、回帰関数を用いて算出する。第２演算部は、Ｓ１９にて、第１演算部により算出された差分ベクトルを、基準位置に加算することで瞳孔中心位置を算出する。【選択図】図６
2020018474.tif 000002
【特許請求の範囲】
【請求項１】
眼が含まれる撮影画像から瞳孔中心位置を推定する瞳孔推定装置（１２）であって、
前記撮影画像から眼の外縁を示す複数の周囲点を検出するように構成された周囲点検出部（２１、Ｓ１１）と、
前記周囲点検出部により検出された複数の前記周囲点を用いて、基準位置を算出するように構成された位置算出部（２１、Ｓ１２）と、
前記位置算出部にて算出された基準位置、及び、前記撮影画像の所定領域の輝度を用いて、前記瞳孔中心位置と前記基準位置との差を表す差分ベクトルを、回帰関数を用いて算出するように構成された第１演算部（２１、Ｓ１３−Ｓ１８）と、
前記第１演算部により算出された前記差分ベクトルを、前記基準位置に加算することで前記瞳孔中心位置を算出するように構成された第２演算部（２１、Ｓ１９）と、を備える、瞳孔推定装置。
【請求項２】
請求項１に記載の瞳孔推定装置であって、
前記基準位置は、眼の重心位置である、瞳孔推定装置。
【請求項３】
請求項１又は請求項２に記載の瞳孔推定装置であって、
前記第１演算部は、
前記基準位置に前記差分ベクトルを加算して得られた瞳孔中心位置を仮瞳孔中心位置とし、当該仮瞳孔中心位置の周囲における輝度の情報を入力情報として、前記撮影画像面内での移動方向及び移動量を表し前記差分ベクトルの補正に用いられる補正ベクトルを算出するように構成された補正量算出部（２１、Ｓ１５）と、
前記補正量算出部にて算出された補正ベクトルを前記差分ベクトルに加算することにより前記差分ベクトルを更新するように構成された更新部（２１、Ｓ１６）と、
前記更新部にて更新された前記差分ベクトルを用いて、前記補正量算出部による前記補正ベクトルの算出、及び、当該補正ベクトルを用いた前記更新部による前記差分ベクトルの更新を、予め設定された条件を満たすまで繰り返すように構成された演算制御部（２１、Ｓ１８）と、を備える、瞳孔推定装置。
【請求項４】
請求項３に記載の瞳孔推定装置であって、
前記補正量算出部は、回帰木（２１）を用いて前記補正ベクトルを算出するように構成されており、
前記回帰木は、各端点（２３）に前記補正ベクトルが設定されている、瞳孔推定装置。
【請求項５】
請求項４に記載の瞳孔推定装置であって、
前記回帰木は、前記仮瞳孔中心位置を基準として設定される２つのピクセルの輝度差が各ノード（２２）における入力情報として用いられる、瞳孔推定装置。
【請求項６】
請求項５に記載の瞳孔推定装置であって、
標準となる画像である標準画像における眼と、前記撮影画像における眼と、の間のずれ量を小さくするSimilarity行列を取得する行列取得部（２１、Ｓ１３）を備え、
前記２つのピクセルの位置は、前記標準画像に対して予め定められた標準ベクトルに、前記行列取得部により取得された前記Similarity行列による修正を加えた修正ベクトルを、前記仮瞳孔中心位置に加えた位置である、瞳孔推定装置。
【請求項７】
請求項４から請求項６のいずれか１項に記載の瞳孔推定装置であって、
前記回帰木は、Gradient Boostingを用いて構成されている、瞳孔推定装置。
【請求項８】
眼が含まれる撮影画像から瞳孔中心位置を推定する瞳孔推定方法であって、
前記撮影画像から眼の外縁を示す複数の周囲点を検出し、
前記複数の前記周囲点を用いて、基準位置を算出し、
前記基準位置、及び、前記撮影画像の所定領域の輝度を用いて、前記瞳孔中心位置と前記基準位置との差を表す差分ベクトルを、回帰関数を用いて算出し、
算出された前記差分ベクトルを、前記基準位置に加算することで前記瞳孔中心位置を算出する、瞳孔推定方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、撮影された画像から瞳孔の中心の位置を推定する技術に関する。
【背景技術】
【０００２】
画像に含まれる特定オブジェクトを検出する方法が検討されている。下記非特許文献１には、機械学習を用いて実現する方法が開示されている。また下記非特許文献２には、ランダムフォレストやブースティングされた木構造を使う方法が開示されている。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】Paul Viola, and Michael Jones, Rapid object detection using a boosted cascade of simple features, Proc.CVPR,2001, 511-518
【非特許文献２】Nenad Markusら Pattern Recognition Volume 47 Issue 2, February, 2014, 578-587
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、発明者の詳細な検討の結果、上述した文献に開示された方法は、効率的とは言えず、高速かつ高精度に瞳孔検出を行うことが難しいという課題が見出された。なぜならば、上述した文献に開示された方法は、いずれもウインドウ内の特定パターンに反応するように学習された検出器を、スライディングウインドウの方法で画像上の位置や大きさをずらして逐次スキャンしながらマッチングするパターンを発見する構成となっているためである。このような構成では、異なるサイズや位置で切り出されたウインドウを何度も評価する必要があり、また毎回評価すべきウインドウの大部分が前回と重複することもあり効率が悪く、速度やメモリ帯域の面からは多いに改善の余地がある。また、スライディングウインドウ方式では検出すべきオブジェクトの角度にバリエーションがあると、ある程度の角度の範囲ごとに検出器を構成する必要があり、この点でも効率は良いとは言えなかった。
【０００５】
本開示の１つの局面は、効率よく瞳孔中心位置の推定を行うことができる技術を提供する。
【課題を解決するための手段】
【０００６】
本開示の一態様は、眼が含まれる撮影画像から瞳孔中心位置を推定する瞳孔推定装置（１２）であって、周囲点検出部（２１、Ｓ１１）と、位置算出部（２１、Ｓ１２）と、第１演算部（２１、Ｓ１３−Ｓ１８）と、第２演算部（２１、Ｓ１９）と、を備える。周囲点検出部は、撮影画像から眼の外縁を示す複数の周囲点を検出するように構成される。位置算出部は、周囲点検出部により検出された複数の周囲点を用いて、基準位置を算出するように構成される。第１演算部は、位置算出部にて算出された基準位置、及び、撮影画像の所定領域の輝度を用いて、瞳孔中心位置と基準位置との差を表す差分ベクトルを、回帰関数を用いて算出するように構成される。第２演算部は、第１演算部により算出された差分ベクトルを、基準位置に加算することで瞳孔中心位置を算出するように構成される。
【０００７】
このような構成であれば、回帰関数を利用することにより、スライディングウインドウの使用による効率低下を抑制して、効率よく瞳孔中心位置の推定を行うことができる。
本開示の一態様は、眼が含まれる撮影画像から瞳孔中心位置を推定する瞳孔推定方法であって、撮影画像から眼の外縁を示す複数の周囲点を検出する。複数の周囲点を用いて、基準位置を算出する。基準位置、及び、撮影画像の所定領域の輝度を用いて、瞳孔中心位置と基準位置との差を表す差分ベクトルを、回帰関数を用いて算出する。算出された差分ベクトルを、基準位置に加算することで瞳孔中心位置を算出する。
【０００８】
このような構成であれば、回帰関数を利用することにより、スライディングウインドウの使用による効率低下を抑制して、効率よく瞳孔中心位置の推定を行うことができる。
なお、この欄及び特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本開示の技術的範囲を限定するものではない。
【図面の簡単な説明】
【０００９】
【図１】瞳孔位置推定システムの構成を示すブロック図である。
【図２】瞳孔中心の推定方法を説明する図である。
【図３】実施形態の回帰木を説明する図である。
【図４】Similarity行列を用いてピクセルペアの位置を設定する方法を説明する図である。
【図５】学習処理のフローチャートである。
【図６】検出処理のフローチャートである。
【発明を実施するための形態】
【００１０】
以下、図面を参照しながら、本開示の実施形態を説明する。
［１．第１実施形態］
［１−１．構成］
図１に示す瞳孔位置推定システム１は、カメラ１１と、瞳孔推定装置１２と、を含むシステムである。
【００１１】
カメラ１１は、例えば公知のＣＣＤイメージセンサやＣＭＯＳイメージセンサなどを用いることができる。カメラ１１は、撮影画像のデータを瞳孔推定装置１２に出力する。
瞳孔推定装置１２は、ＣＰＵ２１と、例えば、ＲＡＭ又はＲＯＭ等の半導体メモリ（以下、メモリ２２）と、を有するマイクロコンピュータを備える。瞳孔推定装置１２の各機能は、ＣＰＵ２１が非遷移的実体的記録媒体に格納されたプログラムを実行することにより実現される。この例では、メモリ２２が、プログラムを格納した非遷移的実体的記録媒体に該当する。また、このプログラムが実行されることで、プログラムに対応する方法が実行される。なお、瞳孔推定装置１２は、１つのマイクロコンピュータを備えてもよいし、複数のマイクロコンピュータを備えてもよい。
【００１２】
［１−２．推定方法］
眼が含まれる撮影画像から瞳孔中心位置を推定する方法を説明する。瞳孔中心位置とは、眼の瞳孔の中心位置であって、瞳孔を構成する円形領域の中心である。瞳孔推定装置１２は、以下に説明する方法により瞳孔中心位置を推定する。
【００１３】
図２で示すように、瞳孔中心の推定位置は、以下の式（１）を用いて求めることができる。
【００１４】
【数１】
2020018474.tif 000003
Ｘ：瞳孔中心の推定位置ベクトル
ｇ：目の周囲点から決まる重心位置ベクトル
Ｓ：推定された瞳孔中心位置と、重心位置の差分ベクトル
以下に、重心位置ベクトルｇ及び差分ベクトルＳの推定方法を説明する。
【００１５】
（ｉ）重心位置ベクトルｇの算出
図２を用いて重心位置ベクトルｇの推定方法を説明する。重心位置とは、撮影画像において、眼球が表示されている領域である眼領域３１の重心の位置である。重心位置ベクトルｇは、眼領域３１の外縁部分を示す特徴点である複数の目の周囲点Ｑに基づいて求められる。周囲点Ｑを取得する方法は特に限定されず、重心位置ベクトルｇを求めることができる様々な方法にて取得することができる。例えば、Active Shape Modelを用いる方法や、One Millisecond Face Alignment with an Ensemble of Regression Trees（Vahid Kazemi and Josephine Sullivan, The IEEE Conference on CVPR, 2014,1867-1874、以下、参考文献１）に開示されるような特徴点検出により求めることができる。なお図２においては、目尻及び目頭の２点と、それらを結ぶ直線の垂直四等分線と眼領域３１との交点と、の８点の周囲点Ｑを例示しているが、周囲点Ｑの数はこれに限定されない。重心位置は、例えば、複数の目の周囲点Ｑの平均位置である。周囲点Ｑの位置が眼領域３１の外縁において適切に分散していることにより、重心位置ベクトルｇの精度は向上する。
【００１６】
（ｉｉ）差分ベクトルＳの算出
差分ベクトルＳは、以下の式（２）に示される関数で示すことができる。
【００１７】
【数２】
2020018474.tif 000004
また式（２）のfK(S(K))は、以下の式（３）に示される関数で示すことができる。
【００１８】
【数３】
2020018474.tif 000005
式（３）において、gkは回帰関数である。また、Ｋは、回帰関数の加法回数、即ちイテレーションの回数である。Ｋは、例えば数十回以上とすることにより、実用的な精度を出すことができる。
【００１９】
上式（２）、（３）に示されるように、本実施形態の瞳孔推定方法では、差分ベクトルＳは、現在の差分ベクトルS(K)に関数fKを作用させることにより（言い換えると、回帰関数gkを用いて補正を行うことにより）、更新された差分ベクトルS(K+1)を求める。そして、これを繰り返すことにより高精度な差分ベクトルＳを求める。
【００２０】
ここで、fKは回帰関数gkを含む関数であって、上述した参考文献１、及び、Greedy Function Approximation : A gradient boosting machine （Jerome H. Friedman, The Annals of Statistics Volume 29, Number 5 (2001),1189-1232、以下、参考文献２）等に示されるようなGradient Boostingを用いた回帰関数の加法モデルを適用した関数である。以下、式（３）の各要素について説明する。
【００２１】
（ｉｉ−１）初期値f0(S(0))
上式において、初期値f0(S(0))は、学習サンプルとして用いられる複数の画像に基づいて、以下の式（４）、式（５）に示されるように求められる。
【００２２】
【数４】
2020018474.tif 000006
【００２３】
【数５】
2020018474.tif 000007
ここで、パラメータは次の通りである。
N：学習サンプルの画像数
i：学習サンプルのインデックス
Sπ：学習サンプルの正しい瞳孔中心位置を示す教師データ
ν：回帰学習の効きを制御するパラメータであって、０＜ν＜１
S(0)：複数の学習サンプルの平均瞳孔位置
上述したf0(S(0))は、式（４）において右辺が最も小さくなるようなγが入力されたときの値である。
【００２４】
（ｉｉ−２）回帰関数gk(S(k)) 
上記式（３）におけるgk(S(k))は、現在の瞳孔予測位置S(k)をパラメータにとる回帰関数であり、参考文献２に記載されるように、図３に示すような回帰木４１に基づいて取得される。gk(S(k))は、撮影画像面内での移動方向及び移動量を表す相対変位量ベクトルである。このgk(S(k))が、差分ベクトルＳの補正に用いられる補正ベクトルに相当する。
【００２５】
回帰木４１の各ノード４２では、現在の瞳孔予測位置S(k)からの相対座標で定義される２点のピクセルの組み合わせ（以下、ピクセルペア）の輝度差と、予め定められたスレッショルドθと、を比較する。そして、輝度差がスレッショルドよりも高いか低いかに応じて、回帰木４１のたどる左右方向が決定される。回帰木４１の各葉４３には回帰量rkが定義されている。この回帰量rkが、現在の瞳孔予測位置(g+S(k))に対するgk(S(k))の値となる。なお、重心位置に現在の瞳孔予測位置(g+S(k))を加算して得られた位置が、仮瞳孔中心位置に相当する。回帰木４１、即ち、各ノードのピクセルペア及びスレッショルド、また端部（即ち、回帰木４１の葉４３）に設定される回帰量rkは、学習により取得される。なおピクセルペアの位置は、後述するように補正された値が用いられる。
【００２６】
なお、入力情報としてピクセルペアの輝度差を用いる理由は次のとおりである。回帰木４１の各ノード４２は、２つのピクセルの一方が瞳孔部分を構成し、かつ、他方が瞳孔以外の部分を構成しているか否かを判定する。撮影画像において、瞳孔部分は相対的に色が濃く、瞳孔以外の部分は相対的に色が薄い。そのため、入力情報としてピクセルペアの輝度差を用いることで、上述した判定を行いやすくなる。
【００２７】
このように取得されたgk(S(k))を用いて、以下の式（６）により、差分ベクトルS(k)を更新することができる。
【００２８】
【数６】
2020018474.tif 000008
νの値を小さくすることで、過学習となることを抑制し、瞳孔中心位置の多様性に対応する。なお式（６）におけるfk(S(k))が、ｋ−１回目までの更新を経た差分ベクトルであり、νgk(S(k))が、ｋ回目の更新における補正量である。
【００２９】
（ｉｉ−２−１）ピクセルペアの位置
ピクセルペアの位置は、gk(S(k))を取得するための回帰木４１における各ノード４２それぞれに定められている。回帰木４１において参照される各ピクセルペアの撮影画像におけるピクセルの位置は、その時点の仮瞳孔中心位置(g+S(k))からの相対座標で決まる座標位置となる。ここで、相対座標を定めるベクトルは、標準となる画像である標準画像に対して予め定められた標準ベクトルに、標準画像における眼と、撮影画像における眼と、の間のずれ量を小さくするSimilarity行列（以下、変換行列Ｒ）による修正を加えた修正ベクトルである。ここでいう標準画像とは、多数の学習サンプルにより求められた平均的な画像である。
【００３０】
図４を用いて、ピクセルペアの位置特定方法を具体的に説明する。図４の左側の図が、標準画像であり、左側の図が撮影画像である。標準画像に対して定められた標準ベクトルが（dx,dy）である。
【００３１】
事前に、複数の学習サンプルに関するＭ個の眼の周囲点Ｑを取得し、その各点の平均位置として、Ｍ個のQmを学習する。そして、撮影画像から同様に周囲点をＭ個のQm´を算出する。そして、上記QmとQm´との間において、以下の式（７）が最小になる変換行列Ｒを求める。この変換行列Ｒを用いて、ある仮瞳孔中心位置(g+S(k))での相対的に決定されるピクセルの位置は、以下の式（８）により設定する。
【００３２】
【数７】
2020018474.tif 000009
【００３３】
【数８】
2020018474.tif 000010
変換行列Ｒは、複数の学習サンプルに基づく平均値Qmに対して、どのような回転、拡大、縮小を加えれば、対象となる学習サンプルのQm´に最も近似するかを示す行列である。この変換行列Ｒを用いることにより、標準ベクトルを用いてピクセルペアの位置を設定する場合と比較して、標準画像と撮影画像とのズレ分を相殺した修正ベクトルを用いてピクセルペアの位置を設定することができる。なおこの変換行列Ｒを用いることは必須ではないが、変換行列Ｒを使用することで瞳孔中心の検出精度を向上させることができる。
【００３４】
（ｉｉｉ）まとめ
以上のように本実施形態では、回帰木４１の各ノード４２に設定された異なる２点のピクセルペアの輝度差を用いて、差分ベクトルＳを求めるための回帰関数推定をした。また、その回帰木２２（回帰関数gk）を定めるために、Gradient Boostingを行い、輝度差と瞳孔位置の関係を得た。なお回帰木２２へ入力する情報は、ピクセルペアの輝度差でなくてもよい。例えば、ピクセルペアの輝度の絶対値を用いたり、一定範囲の輝度の平均値を求めたりしてもよい。即ち、仮瞳孔中心位置の周囲における輝度に関する様々な情報を入力情報とすることができる。しかしながら、ピクセルペアの輝度差を用いると、その特徴量が大きくなりやすいため都合がよいことに加え、処理負荷の増加を抑制できる。
【００３５】
［１−３．処理］
瞳孔推定装置１２は、事前に学習を行うことにより、回帰木４１、平均画像に基づくピクセルペアの選択、スレッショルドθを取得する。また瞳孔推定装置１２は、カメラ１１により取得される撮影画像である検出対象画像から、学習により取得した回帰木４１、ピクセルペア、スレッショルドθを用いて、効率的に瞳孔位置の推定を行う。なお、事前の学習は必ずしも瞳孔推定装置１２で行う必要は無く、瞳孔推定装置１２は他の装置にて学習により取得された回帰木等の情報を用いることができる。
【００３６】
［１−３−１．学習処理］
瞳孔推定装置１２のＣＰＵ２１が実行する学習処理について、図５のフローチャートを用いて説明する。
【００３７】
まずＳ１では、ＣＰＵ２１は、複数の学習サンプルに対して、各学習サンプルの眼領域の周囲点Ｑを検出する。
Ｓ２では、ＣＰＵ２１は、全ての学習サンプルの周囲点Ｑそれぞれの平均位置Qmを算出する。
【００３８】
Ｓ３では、ＣＰＵ２１は、各学習サンプルに対して、Similarity変換行列Ｒを求める。この変換行列Ｒは、上述したように、式（７）を最小にする変換行列である。
Ｓ４では、ＣＰＵ２１は、回帰関数の初期値f0(S(0) )を、上述した式（４）を用いて求める。
【００３９】
Ｓ５では、ＣＰＵ２１は、瞳孔中心推定に用いる回帰木、即ち各ノードに対するピクセルペアの位置及びスレッショルドなどを、いわゆるgradient boostingを用いた学習により構成する。ここでは、まず、（ａ）回帰木として実現される回帰関数gkを求める。この際の各二分木での分割方法は、例えば、上述した参考文献１“One Millisecond Face Alignment with an Ensemble of Regression Trees”の２．３．２項に記載される方法を用いてもよい。そして、（ｂ）回帰木を各学習サンプルに適用し、現在の瞳孔位置を、上述した式（３）を用いて更新する。更新後、再度上記（ａ）を行い回帰関数gkを求め、その後、上記（ｂ）を行う。これをＫ回繰り返し、回帰木を学習により構成する。
このＳ５の後、この学習処理を修了する。
【００４０】
［１−３−２．検出処理］
次に、瞳孔推定装置１２のＣＰＵ２１が実行する検出処理について、図６のフローチャートを用いて説明する。
【００４１】
まずＳ１１では、ＣＰＵ２１は、検出対象画像の眼領域３１の周囲点Ｑを検出する。このＳ１１が、周囲点検出部の処理に相当する。
Ｓ１２では、ＣＰＵ２１は、Ｓ１１にて取得した周囲点Ｑから重心位置ベクトルｇを算出する。このＳ１２が、位置算出部の処理に相当する。
【００４２】
Ｓ１３では、ＣＰＵ２１は、検出対象画像に対して、Similarity変換行列Ｒを求める。回帰木４１の各ノード４２で用いるピクセルペアのピクセル位置は、事前学習により定められているが、それらはあくまで上述した標準画像を基準とした相対的な位置である。そこで、標準画像を検出対象画像に近似させる変換行列Ｒを用いて、検出対象画像にて対象となるピクセル位置を修正することで、そのピクセル位置が学習により生成した回帰木等により適合するものとなり、瞳孔中心の検出精度が向上する。なお式（７）にて用いるQmは、図５のＳ２にて、学習により得られた値を用いてもよい。このＳ１３が、行列取得部の処理に相当する。
【００４３】
Ｓ１４では、ＣＰＵ２１は、ｋ＝０として、初期化を行う。なお、f0(S(0) )は、例えば、図５のＳ４にて、学習により得られた値を用いてもよい。
Ｓ１５では、ＣＰＵ２１は、学習済みの回帰木をたどることにより、gk(S(k))を取得する。このＳ１５が、補正量算出部の処理に相当する。
【００４４】
Ｓ１６では、ＣＰＵ２１は、Ｓ１５にて取得したgk(S(k))を用い、上述した式（６）に基づいてgk(S(k))をS(k)に加算することで、現在の瞳孔の位置を特定するための差分ベクトルS(k)を更新する。このＳ１６が、更新部の処理に相当する。また、続くＳ１７において、ｋ＝ｋ＋１とする。
【００４５】
Ｓ１８では、ＣＰＵ２１は、ｋ＝Ｋであるか否かを判断する。このＫは、例えば数十程度の値とすることができる。ｋ＝Ｋであれば、即ち、Ｓ１５及びＳ１６による更新を所定回数繰り返していれば、処理がＳ１９に移行する。一方、ｋ＝Ｋでなければ、即ち、Ｓ１５及びＳ１６による更新をＫ回数繰り返していなければ、処理がＳ１５に戻る。このＳ１８が、演算制御部の処理に相当する。またＳ１３−Ｓ１８の処理が、第１演算部の処理に相当する。
【００４６】
Ｓ１９では、ＣＰＵ２１は、最後のＳ１７にて求めたS(K)と、Ｓ１２にて求めた重心位置ベクトルｇと、を用いて、式（１）に従い、検出対象画像上の瞳孔位置を確定する。即ち、Ｓ１９では、最終的な瞳孔中心位置の推定値を算出する。その後、この検出処理を終了する。このＳ１９が、第２演算部の処理に相当する。
【００４７】
［１−４．効果］
以上詳述した実施形態によれば、以下の効果を奏する。
（１ａ）本実施形態では、重心位置と瞳孔位置との差分ベクトルを、回帰関数の手法を用いて関数予測することで、瞳孔中心の位置推定を行う。そのため、例えばスライディングウインドウを繰り返し実行することで瞳孔位置を特定する手法と比較して、効率的に瞳孔中心の位置を推定することができる。
【００４８】
（１ｂ）本実施形態では、回帰木への入力情報として所定のピクセルペアの輝度差を用いているため、他の情報、例えば輝度の絶対値や一定範囲の輝度を用いる場合と比較して、特徴量が大きくなりやすい好適な値を、低い負荷で取得することができる。
【００４９】
（１ｂ）本実施形態では、Similarity行列を用いて、標準ベクトルを修正ベクトルに変換してピクセルペアを特定し、輝度差を求める構成であるため、検出対象画像における眼の大きさや角度の影響を低減した精度の高い瞳孔中心位置の推定を行うことができる。
【００５０】
［２．他の実施形態］
以上、本開示の実施形態について説明したが、本開示は上述の実施形態に限定されることなく、種々変形して実施することができる。
【００５１】
（３ａ）上記実施形態では、複数の周囲点Ｑを用いて重心位置ベクトルｇを算出する構成を例示したが、周囲点Ｑを用いて算出される基準位置は重心位置に限定されるものではない。言い換えると、眼の基準となる位置は重心位置に限定されず、様々な位置を基準とすることができる。例えば、目尻と目頭の中点を基準位置としてもよい。
【００５２】
（３ｂ）上記実施形態では、回帰木を用いて回帰関数gk(S(k))を取得する方法を例示したが、回帰関数を用いる方法であれば、回帰木を用いていなくともよい。また回帰木はGradient Boostingを用いて学習により構成する方法を例示したが、他の手法により回帰木を構成してもよい。
【００５３】
（３ｃ）上記実施形態では、差分ベクトルS(k)を複数回更新して瞳孔中心を求める構成を例示したが、これに限定されるものではなく、差分ベクトルを一度だけ加算して瞳孔中心を求めてもよい。また、差分ベクトルの更新を行う回数、言い換えると更新を終了する条件は上記実施形態の構成に限定されず、予め設定された何らかの条件を満たすまで繰り返すように構成されていてもよい。
【００５４】
（３ｄ）上記実施形態では、Similarity行列を用いて、回帰木への入力となる輝度差を算出するピクセルペアの位置を修正する構成を例示したが、Similarity行列を用いない構成であってもよい。
【００５５】
（３ｅ）上記実施形態における１つの構成要素が有する複数の機能を、複数の構成要素によって実現したり、１つの構成要素が有する１つの機能を、複数の構成要素によって実現したりしてもよい。また、複数の構成要素が有する複数の機能を、１つの構成要素によって実現したり、複数の構成要素によって実現される１つの機能を、１つの構成要素によって実現したりしてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換してもよい。なお、特許請求の範囲に記載した文言から特定される技術思想に含まれるあらゆる態様が本開示の実施形態である。
【００５６】
（３ｆ）上述した瞳孔推定装置１２の他、当該瞳孔推定装置１２を構成要素とするシステム、当該瞳孔推定装置１２としてコンピュータを機能させるためのプログラム、このプログラムを記録した半導体メモリ等の非遷移的実態的記録媒体、瞳孔推定方法など、種々の形態で本開示を実現することもできる。
【符号の説明】
【００５７】
１２…瞳孔推定装置、２１…ＣＰＵ
【図１】
2020018474.tif 000011
【図２】
2020018474.tif 000012
【図３】
2020018474.tif 000013
【図４】
2020018474.tif 000014
【図５】
2020018474.tif 000015
【図６】
2020018474.tif 000016