(57)【要約】ここで記載されるのは視線追跡を実行するシステム及び方法である。ある実施形態は、被験者（１０２）の視線ベクトルを計算する方法（３００）を提供する。この方法（３００）は、ａ）１つ以上の画像化装置（１０４，２０２，２０４）から、被験者の眼（１０８，１１０）のうちの１つ又は両方を含む被験者の顔の時間で分離された画像群のシーケンスをキャプチャすること、ｂ）前記画像を処理することによって、前記画像中の鏡面反射を検出し、検出された鏡面反射の２次元位置を算出すること、ｃ）前記検出された鏡面反射を角膜反射及び非角膜反射に特徴付けること、ｄ）少なくとも１つの角膜反射を検出する場合は、前記少なくとも１つの角膜反射及び少なくとも１つの参照眼特徴の相対位置に基づいて第１視線追跡手続（６００）を実行すること、ｅ）角膜反射を検出しない場合は、被験者の１つ以上の参照顔特徴の３次元位置を求め、前記１つ以上の検出された参照顔特徴の位置からの被験者の頭部姿勢の推定に基づいて、被験者の１つ又は両方の眼に対して第２視線追跡手続（８００）を実行すること、及びｆ）前記第１又は第２視線追跡手続から片眼又は両眼（１０８，１１０）の視線ベクトルを出力することを含む。
2019519859.tif 000002
【特許請求の範囲】
【請求項１】
被験者の視線ベクトルを計算する方法であって、
ａ）１つ以上の画像化装置から、被験者の眼のうちの１つ又は両方を含む被験者の顔の時間で分離された画像群のシーケンスをキャプチャすること、
ｂ）画像を処理することによって、前記画像中の鏡面反射を検出し、検出された鏡面反射の２次元位置を算出すること、
ｃ）前記検出された鏡面反射を角膜反射及び非角膜反射に特徴付けること、
ｄ）少なくとも１つの角膜反射を検出する場合は、前記少なくとも１つの角膜反射及び少なくとも１つの参照眼特徴の相対位置に基づいて第１視線追跡手続を実行すること、
ｅ）角膜反射を検出しない場合は、被験者の１つ以上の参照顔特徴の３次元位置を求め、前記１つ以上の検出された参照顔特徴の位置からの被験者の頭部姿勢の推定に基づいて、被験者の１つ又は両方の眼に対して第２視線追跡手続を実行すること、及び
ｆ）前記第１又は第２視線追跡手続から片眼又は両眼の視線ベクトルを出力すること
を含む方法。
【請求項２】
前記少なくとも１つの参照眼特徴は、瞳孔中心、虹彩中心、瞳孔／虹彩境界、又は虹彩／強膜境界のうちの１つ以上を含む、請求項１に記載の方法。
【請求項３】
前記被験者の前記参照顔特徴は、瞳孔中心、虹彩中心、瞳孔／虹彩境界、又は虹彩／強膜境界、眼瞼、眼の隅、口の隅、外鼻孔、及び耳を含む、請求項１又は請求項２に記載の方法。
【請求項４】
前記検出された鏡面反射を特徴付けることは、前記シーケンス中の鏡面反射の２次元位置をモニタリングすること、及び２つ以上の時間で分離された画像の間の鏡面反射の位置の変化が所定距離以下であるときには、前記検出された鏡面反射を角膜反射として特徴付けることを含む、請求項１−３のいずれか１項に記載の方法。
【請求項５】
前記第１視線追跡手続は、
少なくとも１つの参照眼特徴の２次元位置を求めること、
前記角膜反射及び前記少なくとも１つの参照眼特徴の前記２次元位置を、既知の角膜中心を有する３次元角膜モデルにフィッティングすることによって、前記角膜反射及び虹彩中心の３次元位置を求めること、及び
片眼又は両眼について視線ベクトルを、前記角膜反射及び少なくとも１つの参照眼特徴の前記３次元位置から求めること
を含む、請求項１−４のいずれか１項に記載の方法。
【請求項６】
前記第２視線追跡手続は、
前記１つ以上の参照顔特徴の前記３次元位置を３次元頭部モデルにフィッティングすること、
前記被験者の頭部の３次元位置及び３次元方向を含む前記被験者の頭部姿勢を計算すること、
前記被験者の片眼又は両眼の少なくとも１つの参照眼特徴の２次元位置を求めること、
少なくとも１つの参照眼特徴の前記２次元位置を、前記３次元頭部モデル内で既知の眼中心を有する３次元眼モデルにフィッティングすることによって、前記少なくとも１つの参照眼特徴の３次元位置を求めること、及び
前記眼の１つ又は両方について、前記少なくとも１つの参照眼特徴及び眼中心の３次元位置から視線ベクトルを求めること
を含む、請求項１−５のいずれか１項に記載の方法。
【請求項７】
画像深度情報から前記被験者の頭部サイズを推定し、前記３次元頭部モデルに入力するステップを含む、請求項６に記載の方法。
【請求項８】
前記１つ以上の画像化装置は、２個のカメラのそれぞれが所定の期間の間の同期した時刻において画像をキャプチャする、２個のカメラのステレオスコピックシステムを含む、請求項１−７のいずれか１項に記載の方法。
【請求項９】
前記１つ以上の画像化装置は、飛行時間カメラを含む
請求項１−７のいずれか１項に記載の方法。
【請求項１０】
前記飛行時間カメラは、３次元画像データを出力し、２次元位置データは、前記３次元画像データから直接に得られる、請求項９に記載の方法。
【請求項１１】
前記１つ以上の画像化装置は、画像中の深度を推定できる単一のカメラを含む、
請求項１−７のいずれか１項に記載の方法。
【請求項１２】
前記１つ以上の画像化装置の位置及び方向を較正する初期カメラ較正ステップ、を含む、請求項１−１１のいずれか１項に記載の方法。
【請求項１３】
被験者の中心窩のずれ及び／又は角膜半径を考慮するために、視線ベクトルを較正する初期眼較正ステップを含む、請求項５又は請求項６に記載の方法。
【請求項１４】
前記初期眼較正ステップは、前記被験者が、前記１つ以上の画像化装置に対して既知の３次元位置を有する１つ以上の参照点を見ている間に、被験者の顔の画像をキャプチャすることを含む、請求項１３に記載の方法。
【請求項１５】
前記初期眼較正ステップは、５個より多い参照点を用いて実行される、請求項１４に記載の方法。
【請求項１６】
１つ以上のファクタに基づいて、どの視線追跡手続を使用すべきかを判断するステップを含む、請求項１−１５のいずれか１項に記載の方法。
【請求項１７】
前記ファクタは、前記検出された反射が角膜反射であるという信頼度を示す信頼度値を含む、請求項１６に記載の方法。
【請求項１８】
前記ファクタは、反射点の周りの領域が眼の外観を有するという信頼度を示す信頼度値を含む、請求項１６又は請求項１７に記載の方法。
【請求項１９】
前記ファクタは、前記頭部姿勢の信頼度を示す信頼度値を含む、請求項１６−１８のいずれか１項に記載の方法。
【請求項２０】
前記ファクタは、顔の特徴が顔の外観を有するという信頼度を示す信頼度値を含む、請求項１６−１９のいずれか１項に記載の方法。
【請求項２１】
被験者の視線ベクトルを計算するシステムであって、
被験者の眼のうちの１つ又は両方を含む被験者の顔の時間で分離された画像群のシーケンスをキャプチャするよう構成された１つ以上の画像化装置、及び
プロセッサであって、
前記画像を処理することによって、前記画像中の鏡面反射を検出し、
前記検出された鏡面反射を角膜反射及び非角膜反射に特徴付け、
少なくとも１つの角膜反射を検出する場合は、少なくとも１つの角膜反射の２次元位置、及び被験者の少なくとも１つの参照眼特徴の２次元位置を求め、かつ前記少なくとも１つの角膜反射及び前記少なくとも１つの参照眼特徴の相対位置に基づいて第１視線追跡手続を実行し、
角膜反射を検出しない場合は、被験者の１つ以上の参照顔特徴の３次元位置を求め、前記１つ以上の検出された参照顔特徴の位置からの被験者の頭部姿勢の推定に基づいて、被験者の１つ又は両方の眼に対して第２視線追跡手続を実行し、かつ
前記第１又は第２視線追跡手続から片眼又は両眼の視線ベクトルを出力する
プロセッサ
を備えるシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、視線追跡に関する。具体的には、本発明は、乗り物運転者の眠気及び注意のモニタリングシステムのようなアプリケーションのための異なるアイトラッキングルーチンによって被験者の視線ベクトルを計算するハイブリッドな方法に関する。いくつかの実施形態は、その応用例に具体的に参照してここで開示されるが、本発明は、そのような使用分野には限定されず、広いコンテキストで応用可能であることが理解されよう。
【背景技術】
【０００２】
本明細書を通して背景技術のいかなる議論も、そのような技術が広く知られている、又は当該分野における通常の一般的な知識を成すとの自認として決して考えられてはならない。
【０００３】
視線追跡（Eye gaze tracking）は、スポーツトレーニング、認知及び神経学研究、マーケティングリサーチ、及び乗り物運転者の注意モニタリングシステムを含むさまざまな応用例で重要な測定である。たいていのふつうの視線追跡方法は、１つ以上のカメラが、１つ以上の光源によって照らされた被験者の眼又は両眼の画像をキャプチャし、眼の位置及び視線方向を導出するためにキャプチャされた画像に対して画像処理が実行される、ビデオベースのアイトラッカーシステムを用いて遠隔的に実行される。
【０００４】
あるビデオベースの技術において、視線方向は、画像中の瞳の位置を検出すると共に、光源の角膜での反射（「反射点（glints）」として知られる）の位置を検出することによって計算される。グリント（「第１プルキニエ像（first Purkinje images）」としても知られる）は、眼を照らす光源の虚像であり、角膜前面からの反射によって作られる。角膜の光学特性から、赤外及び近赤外波長では少なくとも部分的には反射し、凸面鏡として機能する。カメラ及び光源の位置を知ることで、これらの検出された点は、眼球の幾何学的モデル上に投影され得て、眼球の方向、及び、オプションとして、もし視線ベクトルが両眼について計算され得るなら、視線の点の推定を導出し得る。しかしグリントが存在しないとき（被験者がカメラから離れて見ているとき、又は細めで見ているときのような）、又は識別するのが困難なとき、この手法は、破綻し得て、又は不正確になり得る。
【０００５】
他のビデオベースの手法では、瞳の位置が被験者の頭の姿勢の推定と組み合わせられて、視線方向を導出し得る。Seeing Machines Pty Ltdに譲渡され、「Facial Image Processing System」と題されたEdwards et al.の米国特許7,043,056（以下「Edwards et al.」）は、そのような視線追跡手法を開示する。頭の姿勢の推定は、キャプチャされた画像から顔の特徴点を抽出し、これらの点をヒトの頭の３次元モデルにフィッティングすることによって得られる。しかしこの手法は、推定された頭の姿勢（モデル中で概算された頭の大きさを含む）の正確性に対して非常にセンシティブであり、この手法は、推定された頭の姿勢がわずかに不正確であっても非常に不正確になる。
【０００６】
Microsoft Corporationに譲渡され、「3D Gaze Tracker」と題されたYahavの米国特許出願公報2012/0147328（以下「Yahav」）は、正確性を改善するために頭の向きを考慮する３次元（３Ｄ）グリント検出ベースの視線追跡システムに関する。この手法は、従来の２次元デジタルカメラ及び３次元カメラの両方を必然的に必要とする。それがグリントに依拠するために、このシステムは、グリントが存在しないか、又は識別が困難な場合には、比較的ふつうに起こる場合でも破綻する。
【０００７】
したがって本発明者らは、さまざまな動作条件の下で効果的に動作する、よりロバストな視線追跡手法が望まれることを見出した。
【発明の概要】
【課題を解決するための手段】
【０００８】
本発明の第１局面によれば、被験者の視線ベクトルを計算する方法が提供され、本方法は、ａ）１つ以上の画像化装置から、被験者の眼のうちの１つ又は両方を含む被験者の顔の時間で分離された画像群のシーケンスをキャプチャすること、ｂ）前記画像を処理することによって、前記画像中の鏡面反射を検出し、検出された鏡面反射の２次元位置を算出すること、ｃ）前記検出された鏡面反射を角膜反射及び非角膜反射に特徴付けること、ｄ）少なくとも１つの角膜反射を検出する場合は、前記少なくとも１つの角膜反射及び少なくとも１つの参照眼特徴の相対位置に基づいて第１視線追跡手続を実行すること、ｅ）角膜反射を検出しない場合は、被験者の１つ以上の参照顔特徴の３次元位置を求め、前記１つ以上の検出された参照顔特徴の位置からの被験者の頭部姿勢の推定に基づいて、被験者の１つ又は両方の眼に対して第２視線追跡手続を実行すること、及びｆ）前記第１又は第２視線追跡手続から片眼又は両眼の視線ベクトルを出力することを含む。
【０００９】
好ましくは、前記少なくとも１つの参照眼特徴は、瞳孔中心、虹彩中心、瞳孔／虹彩境界、又は虹彩／強膜境界のうちの１つ以上を含む。好ましくは、前記被験者の前記参照顔特徴は、瞳孔中心、虹彩中心、瞳孔／虹彩境界、又は虹彩／強膜境界、眼瞼、眼の隅、口の隅、外鼻孔、及び耳を含む。
【００１０】
ある実施形態では、前記検出された鏡面反射を特徴付けるステップは、前記シーケンス中の鏡面反射の２次元位置をモニタリングすること、及び２つ以上の時間で分離された画像の間の鏡面反射の位置の変化が所定距離以下であるときには、前記検出された鏡面反射を角膜反射として特徴付けることを含む。
【００１１】
ある実施形態では、前記第１視線追跡手続は、
少なくとも１つの参照眼特徴の２次元位置を求めること、
前記角膜反射及び前記少なくとも１つの参照眼特徴の前記２次元位置を、既知の角膜中心を有する３次元角膜モデルにフィッティングすることによって、前記角膜反射及び虹彩中心の３次元位置を求めること、及び
片眼又は両眼について視線ベクトルを、前記角膜反射及び少なくとも１つの参照眼特徴の前記３次元位置から求めること
を含む。
【００１２】
ある実施形態では、前記第２視線追跡手続は、
前記１つ以上の参照顔特徴の前記３次元位置を３次元頭部モデルにフィッティングすること、
前記被験者の頭部の３次元位置及び３次元方向を含む前記被験者の頭部姿勢を計算すること、
前記被験者の片眼又は両眼の少なくとも１つの参照眼特徴の２次元位置を求めること、
少なくとも１つの参照眼特徴の前記２次元位置を、前記３次元頭部モデル内で既知の眼中心を有する３次元眼モデルにフィッティングすることによって、前記少なくとも１つの参照眼特徴の３次元位置を求めること、及び
前記眼の１つ又は両方について、前記少なくとも１つの参照眼特徴及び眼中心の３次元位置から視線ベクトルを求めること
を含む。
【００１３】
ある実施形態では、本方法は、画像深度情報から前記被験者の頭部サイズを推定し、前記３次元頭部モデルに入力するステップを含む。
【００１４】
ある実施形態では、前記１つ以上の画像化装置は、２個のカメラのそれぞれが所定の期間の間の同期した時刻において画像をキャプチャする、２個のカメラのステレオスコピックシステムを含む。他の実施形態では、前記１つ以上の画像化装置は、飛行時間カメラを含む。前記飛行時間カメラは、３次元の画像データを出力し、２次元位置データは、前記３次元画像データから直接に得られる。さらなる実施形態では、前記１つ以上の画像化装置は、画像中の深度を推定できる単一のカメラを含む。
【００１５】
ある実施形態では、本方法は、前記１つ以上の画像化装置の位置及び方向を較正する初期カメラ較正ステップ、を含む。
【００１６】
ある実施形態では、被験者の中心窩のずれ及び／又は角膜半径を考慮するために、視線ベクトルを較正する初期眼較正ステップを含む。好ましくは、この初期眼較正ステップは、前記被験者が、前記１つ以上の画像化装置に対して既知の３次元位置を有する１つ以上の参照点を見ている間に、被験者の顔の画像をキャプチャすることを含む。好ましくは、この前記初期眼較正は、５個より多い参照点を用いて実行される。
【００１７】
本方法のある実施形態では、１つ以上のファクタに基づいて、どの視線追跡手続を使用すべきかを判断するステップを含む。ある実施形態では、前記ファクタは、前記検出された反射が角膜反射であるという信頼度を示す信頼度値を含む。他の実施形態では、前記ファクタは、反射点の周りの領域が眼の外観を有するという信頼度を示す信頼度値を含む。さらに他の実施形態では、前記ファクタは、前記頭部姿勢の信頼度を示す信頼度値を含む。さらに他の実施形態では、前記ファクタは、顔の特徴が顔の外観を有するという信頼度を示す信頼度値を含む。
【００１８】
本発明の第１局面によれば、被験者の視線ベクトルを計算するシステムが提供され、このシステムは、被験者の眼のうちの１つ又は両方を含む被験者の顔の時間で分離された画像群のシーケンスをキャプチャするよう構成された１つ以上の画像化装置、及びプロセッサであって、前記画像を処理することによって、前記画像中の鏡面反射を検出し、前記検出された鏡面反射を角膜反射及び非角膜反射に特徴付け、少なくとも１つの角膜反射を検出する場合は、少なくとも１つの角膜反射の２次元位置、及び被験者の少なくとも１つの参照眼特徴の２次元位置を求め、かつ前記少なくとも１つの角膜反射及び前記少なくとも１つの参照眼特徴の相対位置に基づいて第１視線追跡手続を実行し、角膜反射を検出しない場合は、被験者の１つ以上の参照顔特徴の３次元位置を求め、前記１つ以上の検出された参照顔特徴の位置からの被験者の頭部姿勢の推定に基づいて、被験者の１つ又は両方の眼に対して第２視線追跡手続を実行し、かつ前記第１又は第２視線追跡手続から片眼又は両眼の視線ベクトルを出力するプロセッサを備える。
【図面の簡単な説明】
【００１９】
本開示の好ましい実施形態が、例示のためだけに、添付の図面を参照して記載される。
【図１】図１は、本発明の第１実施形態による視線追跡システムの概略平面図である。
【図２】図２は、本発明の第２実施形態による視線追跡システムの概略平面図である。
【図３】図３は、図１又は図２のシステムを用いて被験者の視線を追跡する方法における主要なステップを示すプロセスフロー図である。
【図４】図４は、画像群のシーケンス中で、交互の光源から角膜反射を検出する処理構成の概略図である。
【図５】図５は、角膜反射からの情報を用いて３次元における眼の位置を求める幾何学の概略図である。
【図６】図６は、眼の位置及び視線情報を求めるための、光源の角膜反射を用いる第１視線追跡ルーチンにおける主要なステップを示すプロセスフロー図である。
【図７】図７は、例示的角膜モデル及び視線ベクトルを計算するのに用いられるその関連する幾何学の概略図である。
【図８】図８は、眼の位置及び視線情報を求めるための、頭部姿勢を用いる第２視線追跡ルーチンにおける主要なステップを示すプロセスフロー図である。
【図９】図９は、図８の頭部姿勢ベースの視線追跡ルーチンを用いて視線方向ベクトルを求める幾何学の概略図である。
【発明を実施するための形態】
【００２０】
システムの外観
本発明は、追跡の安定性、信頼性、及び正確さを増すために、異なる条件下において複数の異なる視線追跡ルーチンを利用する視線追跡システムに関する。本発明のある実施形態では、画像中の角膜反射（「グリント」）の検出に依存して、２つの視線追跡アルゴリズムが活用される。
【００２１】
図１をまず参照して、被験者１０２の視線ベクトルを計算するシステム１００が概略的に図示される。
【００２２】
システム１００は、被験者の眼１０８及び１１０のうちの片方又は両方を含む被験者の顔１０６の、時間で分離された画像をキャプチャするよう構成された飛行時間カメラ１０４の形態をとる画像化装置を含む。飛行時間カメラ１０４は、その視野内のシーンの３次元画像をキャプチャする。それぞれのキャプチャされた画像は、３次元を表すデータのマトリクスとして記憶され、この３次元とは、従来の横方向画像平面を表すＸ及びＹ次元と、それぞれの横方向位置におけるシーン内での物体の深度又は距離を表すＺ次元とである。Ｚ次元データは、光の既知の速度における光のパルスを送信し、光がシーン内の物体で反射されるのにかかる時間を測定することによって得られる。カメラに近い物体は、光をより早く反射し、よって反射された光は、より遠くの物体で反射された光よりも、「飛行時間」がより短い。それぞれのカメラの画素についての飛行時間を光の速度によって乗算すれば、カメラ及びシーン中の物体の間の深度つまり距離の推定が１ｃｍのオーダーの正確さで獲得され得る。例として、図１は、被験者の鼻、眼及び耳についての異なる深度距離が水平の破線で示される。もし正確に較正されるなら、飛行時間カメラは、単一の光パルスを用いて３次元シーンの３次元データを記録できる。
【００２３】
システム１００では単一の飛行時間カメラしか用いられていないが、代替の実施形態では、３次元のシーンを画像化するために、他のカメラシステムが用いられることが理解されよう。例として、図２は、それぞれのオーバーラップする視野で単一のシーンを画像化するための２つの従来のデジタルカメラ２０２及び２０４（ステレオスコピック構成である）を利用する代替の視線追跡システム２００を示す。２台のカメラ間での対応する画素の適切な較正及び特定を通して、３次元におけるシーンを画像化するために深度情報が抽出され得る。さらなる代替の実施形態（不図示）では、画像群又はシーンの少なくともサブ領域であるシーンの深度情報を得る機能を有する走査距離カメラ群又は単一のカメラが用いられる。本発明による視線追跡は、異なるカメラの組み合わせを実現するシステムで実行され得ることがさらに理解されよう。例えば、飛行時間カメラは、従来の２次元デジタルカメラよりもより低い解像度をしばしば有するので、ある実施形態は、飛行時間カメラ及び従来のデジタルカメラの両方の使用を利用する。このカメラシステムの全体的な要件は、深度情報が得られることである。
【００２４】
システム１００は、画像のキャプチャの間、被験者１０２を選択的に照射するよう構成された発光ダイオード（ＬＥＤ）１１２及び１１４の形態である２個の光源も含む。ＬＥＤ１１２及び１１４は、被験者の気をそらさないよう可視範囲外である赤外又は近赤外波長範囲における電磁気的放射を好ましくは発する。しかし、可視波長又は他の波長で動作するＬＥＤ又は他のタイプの光源が使用され得ることが理解されよう。図２のシステム２００は、単一の赤外ＬＥＤ２０６しか含まない。
【００２５】
カメラ１０４及びＬＥＤ１１２及び１１４のタイミング及び動作の制御は、コントローラ１１６の形態であるプロセッサによって実行される。システムアーキテクチャ及びアプリケーションに依存して、コントローラ１１６は、マイクロプロセッサ、パーソナルコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、又はスマートフォンを表し得る。コントローラ１１６は、高速画像処理が可能である任意の適切な処理ハードウェアによって実現され得ることが当業者であれば理解できよう。コントローラ１１６は、視線追跡を実行するソフトウェア命令及びアルゴリズムを記憶する非一時的なメモリを含むか、又はそれにアクセスする。これらアルゴリズムは以下に詳述される。
【００２６】
コントローラ１１６は、画像の品質を改善し、後述の有用な角膜反射を生成するために、画像キャプチャの間にＬＥＤ１１２及び１１４のうちの１個又は両方からの光で被験者１０２を同期して照射するよう構成される。システム１００は、異なる角度からの照射を提供するために、カメラ１０４について対称的に配置された２個のＬＥＤ１１２及び１１４を利用する。これは、高いグレアの状況でもシステムを稼働させることを有利に可能にし、また被験者の眼からの複数の角膜反射を生成することを有利に可能にする。他の実施形態では、本発明による視線追跡システムは、単一のＬＥＤしか含まず、又はさまざまな空間的構成で配置された２個より多いＬＥＤを含むことが理解されよう。
【００２７】
システム１００は、図３のフロー図に示される方法３００の機能ステップを実行するよう構成され、システム１００の動作は、この図を参照して記載される。
【００２８】
最初に、ステップ３０１において、システムを較正し、特定の被験者のためにアイトラッキングも較正するために、システム及び眼の較正ルーチンが実行される。このシステム較正ルーチンは、セットアップ後に一度だけ実行されればよいが、位置ずれ（position drifting）又は他の誤差を修正するために、システムを再較正するよう、好ましくは定期的に実行される。それぞれの被験者は、異なる眼球のプロファイルを所有するので、眼較正ルーチンは、被験者の視線について較正する。眼球較正ルーチンは、角膜サイズ及び光軸からの眼窩のズレのような被験者固有の特性を較正する。眼球較正ルーチンは、新しい被験者が追跡されるべきであるたびに少なくとも実行されなければならない。しかし、もしシステムが顔認識を利用するなら、眼球較正データは、データベース中に記憶され、いったん被験者が認識されたらロードされ得る。
【００２９】
システム較正ルーチンは、基準系（frame of reference）を求めること、及びカメラ１０４及びＬＥＤ１１２及び１１４の間の相対位置、及びシステム２００のようなマルチカメラシステムにおける複数のカメラ間の位置及び方向のようなシステムパラメータを求めることを含む。システム較正は、飛行時間カメラの深度較正も含む。これは、較正のために画像化されるべきカメラの視野内に較正オブジェクトを置くことによって典型的には実行される。較正オブジェクトは、寸法が高度に正確に知られている物体である。
【００３０】
システム２００のようなステレオスコピックカメラシステムの場合には、２個のカメラは、互いに対するカメラの相対的な位置及び方向、又はカメラ群の関連付けられた画素についての光線の交点を計算するための参照点を求めることによって、まず較正される必要がある。さらに、あるステレオ画像中に見えているそれぞれの表面点が他のステレオ画像中に位置する場所を特定する必要がある。カメラは、オーバーラップする視野をキャプチャするように配置されなければならない。シーンの較正は、画像化されるべきシーン中に予め定められた較正パターンを有する物体を置くことによって最初に実行され得る。ステレオ画像をキャプチャすると、較正パターンは、カメラの対応する画素を特定し、また、カメラの間の３次元における回転及びシフト、焦点距離、歪等のようなシミュレートされた３Ｄシーンの他のパラメータを特定するのに用いられ得る。これらのパラメータを用いて、物体の３次元座標がシーン内で計算され得る。
【００３１】
眼較正ルーチンは、被験者に自分の視線をカメラに対して既知の位置にある１つ以上の点に固定するよう促すことを伴う。ある例では、被験者は、異なる角度位置に配置され、カメラ１０４が被験者の画像をキャプチャする間に異なる時刻において点滅する参照ＬＥＤ群のセット上を見つめればよい。他の例では、被験者は、ＬＣＤモニタのようなディスプレイスクリーン上の異なる既知の点を見つめればよい。既知の注視点（gaze points）からの視線ベクトルの外挿によって、システム中の未知のパラメータの較正が可能になる。
【００３２】
良好な条件下では、視線追跡システムは、被験者の両眼についての視線方向ベクトル（gaze direction vector）を推定する。どこで注視線（gaze rays）が交わるかを求めることによって、被験者の注視点（point of gaze、ＰＯＧ）は、導出され得る。代替として、もし被験者がコンピュータスクリーンのような平面を見ているとわかっているなら、ＰＯＧは、注視線の、スクリーンの平面との交点として計算され得る。
【００３３】
較正が完了した後で、ステップ３０２において、システムの通常の動作が開始し、時間で分離された一連の画像群がカメラ１０４によってキャプチャされる。キャプチャの間、被験者の眼球は、ＬＥＤ１１２及び１１４によって照らされる。連続するフレームの照射は、交互のやり方で異なる光源によって好ましくは提供される。図４に示されるように、光源０（１１２）は、偶数番号の画像フレームについてはオンであり、光源１（１１４）は、奇数番号の画像フレームについてはオンである。２個より多い光源を用いるシステムでは、照射プロファイルは、フレームごとに少なくとも１個の光源が変わるのが好ましい。例として、３個の光源（Ｌ１，Ｌ２，及びＬ３）を含むシステムでは、時系列における連続する画像フレーム群は、以下の照射シーケンスを用いて照射され得る。
【００３４】
フレーム１：Ｌ１＋Ｌ２
フレーム２：Ｌ１＋Ｌ３
フレーム３：Ｌ２＋Ｌ３
フレーム４：Ｌ１＋Ｌ２＋Ｌ３
フレーム５：Ｌ１＋Ｌ２  …
このシーケンスは、コントローラ１１６によって決定される。照射のタイミングは、画像のシーケンスにおける画像フレームのキャプチャと同期が取られる。鏡面反射とノイズとをよりよく区別するために、時系列の連続するフレーム間では照射プロファイルにおけるなんらかの変化（異なる駆動された光源又は駆動された光源の組み合わせ）が存在することがふつうは好ましい。
【００３５】
ステップ３０３において、コントローラ１１６は、画像中に存在する鏡面反射を検出し、検出された鏡面反射の２次元位置を求めるために、キャプチャされた画像を処理する。３枚のフレームFn, Fn+1及びFn+2（４０１−４０３）が与えられると、２次元反射Gn, Gn+1及びGn+2のセットが画像内の画素の２次元座標として抽出される。反射抽出は、ラプラス演算子の最大のような、当業者には明らかである、よく知られているコンピュータビジョン方法を用いてなされ得る。これら反射点は、画像中の角膜での反射又は任意の他の鏡面反射のいずれかに対応している。画像内で検出された反射点の個数は、画像化された環境及び照明に依存して２，３個から何百に及び得る。複数の反射点検出モジュールを実現するシステムにおいて、反射点抽出プロセスは、並行して実行され得る。画像を持つ反射点のサイズは小さいので、別々のモジュール間の画素のオーバーラップは、大幅に低減され得る。
【００３６】
ステップ３０４において、コントローラ１１６は、検出された鏡面反射を角膜反射及び非角膜反射（被験者の眼鏡からの反射のような）に特徴付ける。ある実施形態では、特徴付けは、モーションモデルを画像データに、又は被験者の眼の周りに位置する画像データのサブセットに適用することによって実行される。例示的モーションモデルは、眼の一定速度モデルである。そのようなモデルは、異なる画像フレームにわたって観測される反射点に対する位置制約に適用される。この位置は、フレーム間の時間差にわたって、反射点は、一定速度に時間差を乗じたものに等しい、所定の距離を移動することしかできないということに基づいて制約を受ける。他の例示的モーションモデルは、眼のモデル化された加速度に基づいて同様の位置の制約が適用される眼の加速モデルである。適用されたモデルに従わない鏡面反射は、非角膜反射であると推定される。
【００３７】
理想的には、一定速度推定フィルタリングのためには最低３個の画像フレームが用いられ、又は一定加速度フィルタリングのためには最低４個用いられる。ここで記載される実施形態は、一定速度モデルに関するが、当業者には、一定加速度又は他のモーションモデルへの拡張が用いられ得ることが理解されよう。このモデルは、キャプチャされた画像データをコントローラ１１６によって実行されるアルゴリズムで処理することによって適用される。それぞれのモデルは、眼の典型的な動きに関する制約を適用する。画像内で他の物体を追跡するときには、他の物体の対応するモーションモデルが適用され得る。
【００３８】
連続するフレーム中の任意の３個の反射点が関連するかを吟味する必要がある。Gn, Gn+1及びGn+2のセット当たり、１個の反射点しか得られなかった場合、これは、同じ角膜上の３個の連続する角膜反射に対応する３個の組（triplets）を特定するよう試みることを伴う。第１カル（cull）は、２つの連続するフレーム上の反射点の位置が所定の閾値距離よりも大きい３個の組を排除するために、この段階で起こり得る。例えば、閾値距離は、３次元空間における角膜の最大速度によって導出される距離に基づき得る。既知の角膜半径Ｒ（ヒト母集団にわたって非常に似ている）を仮定すると、最小化プロセスは、３個の組の反射点（３×２次元位置からの６個の観測値）にフィットする３次元における（一定速度モデルを用いた６自由度）最良の角膜奇跡を求めるために用いられ得る。任意の反復最適化プロセスは、図５に示される幾何学的配置を用いてこの段階で用いられ得て（例えばレーベンバーグ・マーカート法）、これは、眼球５０２内に、眼球回転５０４の中心からずらされて配置された球として角膜５００をモデル化する。図示された実施形態については、最適化問題への具体的な高速解法が用いられ得る。
【００３９】
数学的な観点から、角膜５００の軌跡は、以下を考慮しつつ、図５に示されるようにシステムによってキャプチャされた一連の２次元反射点の位置から計算され得る。
【００４０】
・既知の固有投影パラメータθを持つカメラＩ。典型的にはカメラは、ピンホールの開口及び所定の画像平面に沿って配置されたセンサアレイを有するとしてモデル化される。
【００４１】
・カメラ軸にアラインされ、カメラの投影中心上に中心が合わせられた、参照フレームＦ（画像平面に平行なＸ，Ｙ、カメラの光軸と同一直線上にあるＺ）。
【００４２】
・カメラ参照フレームＦ中の既知の３次元位置Ｌに配置された赤外ＬＥＤ。
【００４３】
・既知の半径Ｒである球形角膜であって、その中心は、一連の画像中で参照フレームＦ中の軌跡Ｃ＝｛Ｃ１，…，Ｃｎ｝をたどる。
【００４４】
・モーションモデルＣｉ＝ｇ（α，ｉ）、ここでαは、軌跡Ｃを記述するモーションパラメータ（例えば一定速度又は一定加速度）。
【００４５】
・カメラによって画像化された、赤外照射器から放射された光の、角膜の表面における反射に対応する一連の２次元反射点位置Ｇ＝｛Ｇ１，…，Ｇｎ｝。
【００４６】
よく知られている球形鏡の反射幾何学及びカメラの投影幾何学を用いて、既知の関数
【００４７】
【数１】
2019519859.tif 000003
【００４８】
が存在し、ここで
【００４９】
【数２】
2019519859.tif 000004
【００５０】
は、鏡面反射Ｇｉの理論上の位置である。角膜軌跡のパラメータは、以下の誤差関数を最小化することによってそれから計算され得る。
【００５１】
【数３】
2019519859.tif 000005
【００５２】
この関数の最小は、よく知られた最適化手法を用いて見つけられ得る。いったんパラメータαｍｉｎが見つかると、角膜の軌跡Ｔは、既知のモーションモデルを用いて計算され得る。
【００５３】
簡単のために、角膜は、既知の半径Ｒの球体であると仮定されることに注意されたい。しかし上述のように、本方法は、反射点の理論上の位置
【００５４】
【数４】
2019519859.tif 000006
【００５５】
が角膜の既知の位置（及びオプションとして方向）から計算され得る限り、角膜の任意の他のパラメトリック形状（例えば楕円体）についても有効である。眼及び角膜のいくつかの異なる幾何学的モデルが視線追跡アルゴリズムの実現のために利用され得る。本発明で実現され得る例示的モデルは、Villanueva, A., Cerrolaza, J.J. and Cabeza, R.の2008年のGeometry Issues of Gaze Estimation. INTECH Open Access Publisher（以下「Villaneuva et al.」）及びHennessey, C., Noureddin, B.及びLawrence, P.の2006年３月のA single camera eye-gaze tracking system with free head motion. In Proceedings of the 2006 symposium on Eye tracking research & applications (pp. 87-94). ACM（以下「Hennessey et al.」）に概説されている。これら文献の内容は、相互参照によってここで援用される。上のプロセスは、角膜上の２つの別個の反射点を画像化するために２個の光源に依拠するが、同等のプロセスは、図２のシステム２００で実行され得て、そこにおいては、単一のＬＥＤ２０６によって発生された単一の反射点がカメラ２０２及び２０４によって角膜上で２つの角度において画像化される。
【００５６】
上のカリング（culling）プロセスは、候補反射点の個数を約３個又は４個にまでしばしば低減する。上述の距離又は軌跡評価をパスする反射点については、反射点の３個の組は、所定の基準に基づいてそれから却下又は受理され得る。例えば、最適化からの残留値についての最大閾値（反射点の観測された２次元位置、及び最適化された３次元角膜軌跡から計算された、それらの最適化された２次元位置の間の誤差）が設定され得る。最適化された角膜軌跡についての他の閾値、例えば複数の画像フレームにわたっての角膜の最小及び最大の深度又は速度のような閾値も設定され得る。
【００５７】
受理基準を全てパスする３個の組は、実際の角膜反射からのものであると考えられ、したがって、眼の２次元位置及び角膜の３次元位置の両方が計算されている。ある実施形態では、２つの連続する反射点３個の組は、偽陽性の検出のためにさらにチェックするために、他のモーションモデル（例えば一定速度又は一定加速度）を用いて４個の組としてそれから評価され得る。
【００５８】
この方法は、角膜の曲率と同様の曲率を持つ任意の反射物体を検出する。この方法は、画像中にノイズ（多数個の鏡面反射）が存在すると、場合によっては偽陽性を作ることもある。そのような場合は、不要な偽陽性を除去するために、機械学習ベースの分類器又は外観ベースの基準のような、さらなる画像分析が採用され得る。このタスクのために用いられ得る分類器には、いくつかの分類が存在する。例えば、勾配のヒストグラム（ＨＯＧ）のような画像特徴を用いるサポートベクトルマシン（ＳＶＭ）又はランダムフォレスト分類器、又は生画像画素値を用いる畳み込みニューラルネットワーク（ＣＮＮ）が用いられ得る。
【００５９】
最後に、角膜反射から求められた眼の位置が出力される。出力データは、カメラ参照フレーム中の角膜中心位置の３次元座標か、又は画像中の２次元投影のいずれかの形態である。これらの座標は、時系列中の画像又は他の画像に眼の位置を投影し直すために後述の視線追跡ルーチンにおいて後で用いられる。
【００６０】
ステップ３０４は、角膜反射を、角膜からの有用な反射点と、その他の非有用な鏡面反射とに特徴付けることを表す。ある実施形態では、角膜反射点又は非角膜反射点への反射点のさらなる特徴付けが、特徴付けの正確性を改善するために実行され得る（さらなるコンピュータ処理という対価を払って）。例として、いったん潜在的な反射点が検出されると、眼瞼及び角膜縁（虹彩の境界）を含む、反射点の周りの眼の輪郭を探そうと試みる「形状回帰（shape regression）」アルゴリズムが開始され得る。出力は、当該反射点が角膜反射に対応するという信頼度を表す信頼度値であり得る。０．７のような閾値信頼度値は、反射点を角膜反射点又は非角膜反射点として分類すべきかをトリガし得る。
【００６１】
教師付き降下法（ＳＤＭ）又は畳み込みニューラルネットワーク（ＣＮＮ）のような形状回帰のいくつかの例が知られている。もし反射点が角膜縁又は眼瞼の外に位置するなら、偽陽性であるとみなされ得る。顔の特徴部の周りの領域が顔の外観を有することの信頼度を推定するために、顔の外観他の顔の特徴を特定するよう、同様の形状回帰アルゴリズムが実行され得る。
【００６２】
もし、ステップ３０５において、ステップ３０４における１つ以上の鏡面反射が角膜反射であると判定されるなら、制御は、ステップ３０６に進み、ここで第１視線追跡手続（ルーチンＡ）が、少なくとも１つの角膜反射及び少なくとも１つの参照眼特徴（reference eye feature）の相対位置に基づいて、被験者の片眼又は両眼に対して実行される。視線追跡ルーチンＡの主要なステップは、図６に示される。ルーチンＡの詳細な説明は、以下に述べられる。
【００６３】
もし、ステップ３０５において、鏡面反射が角膜反射によるものではないと判定されるなら、ステップ３０５において、制御は、ステップ３０７に進み、ここで第２視線追跡手続（ルーチンＢ）が、被験者の頭部の姿勢の推定に基づいて、被験者の片眼又は両眼に対して実行される。視線追跡ルーチンＢの主要なステップは、図８に示される。ルーチンＢの詳細な説明は、以下に述べられる。
【００６４】
最後に、ステップ３０８において、片眼又は両眼の視線ベクトルは、選択された視線追跡手続から出力される。それぞれの視線追跡手続は、所定期間の間の、一連の時間分離された画像群に対して実行される。出力視線ベクトルは、被験者の視野の画像の上にマッピングされることによって、被験者の視線の振る舞いをグラフィカルに示す。視線追跡システムの応用例は、乗り物の運転者モニタリングシステムである。視線追跡システムは、乗り物のダッシュボード内に、又はそれに対してマウントされる、運転者を向くカメラに統合され得る。求められた視線ベクトルは、運転者の視野と共通の部分を有する、前方を向いているカメラにマッピングされ得る。視線の振る舞いは、警告を発するために、運転者の注意力のある状態及び注意力が散漫な状態を示すものとして用いられ得る。
【００６５】
視線追跡ルーチンＡ−角膜反射（「反射点」）の検出を用いて
視線追跡ルーチンＡにおいて、視線方向は、瞳孔の中心、虹彩の中心、瞳孔／虹彩の境界、虹彩／強膜の境界、眼瞼、又は眼の隅のような１つ以上の参照眼特徴（reference eye features）の２次元位置を検出することと共に、光源の角膜反射の３次元位置を検出することによって計算される。理解を容易にするために、以下では、参照眼特徴として虹彩中心を用いて説明がなされる。しかし任意の他の適切な参照眼特徴を用いて同等の方法が実行され得ることが理解されよう。ある実施形態では、１個より多い参照眼特徴の位置が求められることによって、追加の処理リソースという対価を払って誤差を低減できる。典型的には、虹彩境界は、そのより大きいサイズのために、よってより大きい画素範囲のために、瞳孔境界よりも検出するのが簡単である。しかし、虹彩は、しばしば眼瞼によって遮られるので、状況によっては、瞳孔境界を用いて虹彩又は瞳孔中心、又は他の参照眼特徴を推定するのが好ましいか、又は有利である。
【００６６】
ルーチンＡの例示的実施形態方法６００は、図６に示される。
【００６７】
まず、ステップ６０１において、現在の画像が処理のためにロードされる。方法６００は、メモリに記憶されたバッファされた画像のバッチに対して順次、実行され得て、又は、カメラ１０４によってキャプチャされる時に、画像単位で実行され得る。
【００６８】
ステップ３０４における他の鏡面反射から角膜反射を特徴付けるための先行物として、角膜のモデリング及び角膜の３次元位置の算出を含むので、方法６００の処理のうちの一部は既に完了している。しかし、鏡面反射の特徴付けがより簡易であるか、又は角膜反射の位置の算出を必要としない実施形態においては、ステップ６０２が実行され、ここで角膜反射（群）の２次元位置がキャプチャされた画像中で算出され得る。最初は、２つ以上の角膜反射が較正のために必要であるが、アクティブな追跡の間は、瞳孔又は虹彩の中心と併せて、単一の角膜反射しか特定される必要がない。
【００６９】
次に、ステップ６０３において、キャプチャされた画像中で虹彩の２次元位置が求められる。虹彩及び瞳孔の検出は、この技術で知られているいくつかの方法で実行され得て、これには、眼の既知の特徴を検出すること、及び形状認識又はエッジ検出に基づいて瞳孔を特定することが含まれる。瞳孔又は虹彩の検出は、瞳孔又は虹彩の外縁に沿った点を特定するために、虹彩／強膜境界又は瞳孔／虹彩境界の周辺でエッジ検出を実行することを典型的には伴う。虹彩／瞳孔中心は、円形又は楕円の瞳孔／虹彩形状モデルを仮定し、それから推定され得る。瞳孔／虹彩の外縁点を形状モデルにフィッティングすること（例えば円形ハフ変換で）によって、虹彩／瞳孔中心位置が求められる。他の既知の瞳孔及び虹彩検出方法が知られており、本発明の範囲内で用いられ得る。円形ハフ変換処理は、Ioannou, D., Huda, W.及びLaine, A.F.の1999年のCircle recognition through a 2D Hough transform and radius histogramming., Image and vision computing, 17(1), pp.15-26において詳細に説明されている。
【００７０】
ステップ６０４において、角膜反射及び瞳孔位置の２次元位置は、既知の角膜中心及び瞳孔位置を有する３次元角膜モデルにフィッティングされることによって、角膜反射及び瞳孔中心の３次元位置が求められる。特徴付けステップ３０４が角膜モデルを利用している場合、このモデルは、ステップ６０４で用いられ得る。しかし、以下の記載では、図７に再掲されるHennessey et al.に記載されたモデルが用いられる。
【００７１】
図７は、対象となるパラメータｒ（角膜の半径）、ｒｄ（角膜の中心から瞳孔の中心までの距離）、及びｎ（眼房水の屈折率）、及び光軸（ＯＡ）ベクトルＬを計算するのに必要となる点ｐｃ及びｃを持つ簡略化された眼のモデルを示す。ＯＡは、角膜の中心ｃから瞳孔の中心ｐｃへのベクトルとして定義される。ＰＯＧｐは、ＯＡの見られている物体との交点である。もし被験者がコンピュータモニタのような既知の平面を見ていないなら、このＰＯＧは、両眼の注視線（gaze rays）の交点として計算され得る。
【００７２】
ＯＡは、中心窩（網膜の高度に鋭敏な部分）から瞳孔の中心を通って、最終的には真のＰＯＧに至る、被験者の視線（ラインオブサイト、ＬＯＳ）とは異なる。中心窩の位置は、人によって異なり、ＯＡから数度の所に位置し得る。ＯＡ及びＬＯＳの間の差に起因する推定されたＰＯＧ及び真のＰＯＧとの間のずれは、それぞれの被験者について固定され、最初に実行される眼較正ルーチンによって補償される。
【００７３】
特徴付けステップ３０４に関連して上述したように、角膜中心ｃを求めるには、角膜の表面で反射された２個の反射点の２次元画像位置が、眼のモデルにフィッティングされる（すなわち２つ以上の光源から）。光源が、連続する画像に対して点滅するパターンでアクティベートされる場合は、時間的に隣接する画像からの反射点の位置は、組み合わせられ得る。複数の反射点を使用すれば、カメラの基準系において３次元の角膜中心を三角測量で算出することができる。
【００７４】
角膜中心ｃの３次元位置がわかると、虹彩／瞳孔の中心の３次元位置は、カメラセンサから角膜の表面まで瞳孔又は虹彩の境界（ステップ６０３で求められた）の２次元の点をトレースすること、及び眼房水を通る屈折を反映させるためのスネルの法則のようなモデル制約を適用することによって外挿で推定され得る。さらなる制約条件を適用することによって、より多くのパラメータが推定される、より複雑なモデルも用いられ得て、又は、より少ないパラメータが推定される、より簡単なモデルも用いられ得る。
【００７５】
いったん虹彩／瞳孔の中心ｐｃ及び反射点の３次元位置がわかると、視線ベクトルは、現在の画像フレームについてｐｃ及びｃの間のベクトルＬとして計算され得る。片眼又は両眼についての視線ベクトルは、ステップ６０５で出力される。手続は、シーケンス中の後続の画像（又は画像群のうちの選択されたサブセット）についても反復する。ルーチンＡは、それぞれの画像において検出された片眼又は両眼に対して同時にかつ独立して実行され得る。両眼についての注視線が画像中で検出され得る場合、ＰＯＧは、２本の注視線の交点として推定され得る。眼が検出されない場合は、システムは、その画像フレームをスキップするよう構成され得る。
【００７６】
反射点の位置の検出を利用する他の既知の視線追跡ルーチンも、例示的方法６００の代わりに同様に用いられ得る。
【００７７】
視線追跡ルーチンＢ−３Ｄ頭部姿勢を用いて
視線追跡ルーチンＢにおいて、視線追跡は、被験者の３次元頭部姿勢をまず推定し、その後に、頭部姿勢から視線方向を推定する方法を用いて実行される。ステレオスコピックカメラシステムで実行される関連する方法は、Edwards et al.において概説されている。本発明を説明するにおいて、Edwards et al.と同様のプロセスが用いられる。Edwards et al.の主題は、ここで相互参照によって援用される。
【００７８】
ルーチンＢの例示的方法８００は、図８に示される。
【００７９】
まず、ステップ８０１において現在の画像が処理のためにロードされる。方法６００と同様に、方法８００は、メモリに記憶されたバッファされた画像のバッチに対して順次、実行され得て、又は、カメラ１０４によってキャプチャされている時に、画像単位で実行され得る。
【００８０】
ステップ８０２において、画像は、眼の隅、外鼻孔、口の隅、耳、又は顔上の任意の他の小さな認識可能な領域のような参照顔特徴（reference facial features）を特定し、それら特徴の３次元位置を抽出するために処理される。これら特徴は、画像データを記憶された特徴テンプレートと相互相関させることによって好ましくは特定される。記憶されたテンプレートは、例えば、カメラに対して異なる角度でキャプチャされた眼の形状を表し得る。テンプレートは、２次元又は３次元のデータセットであり得る。処理を改善するために、相互相関プロセスは、特徴が存在すると期待される画像の領域に限定され得る。特徴の期待される位置は、過去の画像中のそれらの位置から導かれ得る。
【００８１】
好ましくは、両眼及び１つ以上の他の顔特徴が画像内で特定され得る。いったん適切な個数の顔特徴が特定されると、顔特徴の３次元位置は、ステップ８０３において頭部の３次元モデルにフィッティングされる。頭部モデルは、各個人の異なるプロファイルを反映できるように変形可能であるメッシュ構造で形成される。
【００８２】
特徴は、最小二乗法、線形回帰等のようなベストフィット方法を通して頭部モデル上にフィッティング又はマッピングされる。頭部姿勢は、２つのセットの座標、つまり回転（θ，φ，φ）及び平行移動（ｘ，ｙ，ｚ）の組み合わせとして３次元において求められる。最適な計算された頭部姿勢（回転及び平行移動の成分からなる）は、３次元測定値を用いてどれが最もよく頭部モデルを顔特徴にマッピングするかである。ある実施形態では、それぞれのテンプレートの相関関係の強さは、最小二乗法最小化手続における重みとして用いられる。
【００８３】
頭部モデルの回転Ｒ及び平行移動Ｔは、
【００８４】
【数５】
2019519859.tif 000007
【００８５】
によって定義される誤差Ｅを最小化することによって回収され（recovered）得て、ここでｗｉは、ｉ番目の特徴の信頼度測定値であり、ｘｉは、ｉ番目の特徴の測定された３次元位置であり、かつｍｉは、顔モデルにおけるこの特徴の３次元位置である。
【００８６】
Edwards et al.において、頭部モデルは、所定の平均ヒト頭部サイズから構築される。ヒト頭部サイズは、１０％も変わり得るので、この推定は、頭部姿勢誤差につながり得る。本発明では、飛行時間カメラの使用により、より正確に被験者の頭部サイズを求めるために、顔及び頭部のプロファイル全体についての完全な深度情報を得ることができる。フィッティングプロセスの間にこのスケールサイズを要因として考慮するために、追加の深度情報が変形可能な頭部モデルに与えられてもよい。
【００８７】
いったん頭部姿勢の最適化ルーチンが完了すると、最適な現在の頭部姿勢ベクトルがステップ８０４において出力される。
【００８８】
ステップ８０３の頭部姿勢推定と併せて、画像はステップ８０５において処理されて、被験者の眼のうちの１つ又は両方の瞳孔又は虹彩の２次元位置が算出される。瞳孔／虹彩の検出は、ステップ６０３について上述されたものと同様のやり方で実行され得る。例えば、瞳孔中心位置は、瞳孔／虹彩の外縁に沿った点を特定すること、及びその外縁を円形又は楕円形の瞳孔／虹彩形状モデルにフィッティングすることによって瞳孔中心位置を外挿して推定することによって求められる。
【００８９】
次に、ステップ８０６において、片眼又は両眼の２次元瞳孔位置がそれぞれの３次元眼モデルにフィッティングされる。ある実施形態では、眼は、３次元頭部モデル内で、球形であり、既知の半径ｒ及び回転の中心ｅを有するとして、モデル化される。ステップ８０５から計算された瞳孔位置ｐは、球形の眼の表面上に、回転の中心ｅから距離ｒで存在すると仮定される。よってステップ８０４で求められた頭部姿勢ベクトル（３次元位置及び方向を含む）は、片眼又は両眼の３次元位置を求めるために用いられる。２次元瞳孔位置を眼モデルにフィッティングし、そのモデルの制約条件を適用することによって、３次元瞳孔位置は、以下のように算出され得る。
【００９０】
まず眼球中心（左又は右）の３次元位置ｅが関係ｅ＝Ｒｅｍ＋Ｔを用いて計算され、ここでｅｍは、頭部モデルにおける眼球中心の較正された３次元位置であり、Ｒ及びＴは、ステップ８０４の頭部姿勢から回復された頭部の回転及び平行移動である。
【００９１】
図９を参照して、いったん瞳孔の中心ｐが画像中に配置されると、方向ベクトルｄは、カメラ中心ｃの位置から実際の虹彩／瞳孔の中心ｓに向かうとして計算され得る。視線方向は、ベクトルｅｓの方向によってそれから与えられる。３Ｄ座標ｓは、以下の方程式を解くことによって計算され得る。
【００９２】
【数６】
2019519859.tif 000008
【００９３】
よって、上の方程式を解くことによって、回転ｅの眼中心及び瞳孔／虹彩中心ｓの両方の３次元位置がわかり、それぞれの眼についての視線方向ベクトルｅｓは、ステップ８０７において出力される。方法８００は、それぞれの眼に対して同時にかつ独立して実行され得る。
【００９４】
それぞれの眼の可視性は、頭部姿勢測定を用いて求められる。両眼が可視であるときは、方法８００は、両眼に対して実行され、視線方向は、両眼の平均方向として計算され得る。片眼しか可視でないときは、視線方向は、可視である眼だけを用いて計算される。両眼とも可視ではないときは、視線方向は、被験者の顔の平面に垂直な方向として３次元頭部姿勢測定から計算され得る。
【００９５】
結論
本発明は、キャプチャされた画像中の角膜反射の存在のようなファクタに基づいて、異なる視線追跡ルーチンが実行されるハイブリッドな視線追跡のシステム及び方法を提供する。本発明は、さまざまな照明及び視線条件の下で被験者の眼を追跡するロバストな方法、及び特定の要件（解像度、照明等）に対応できるよう視線追跡を調整するための融通性を提供する。
【００９６】
視線ルーチンＢは、角膜反射には依存しないので、ずっと低い画像解像度において（すなわちキャプチャされた画像をサブサンプリングすること、又はカメラ画像キャプチャ解像度を低下させることによって）画像処理が実行され得る。ルーチンＢは、角膜反射は必要とされないので、ずっと緩い照明条件の下でも実行され得る。よって、本システムは、より低いＬＥＤ電力においても、又はＬＥＤを全く用いないでも動作することができる。
【００９７】
角膜反射点が検出される場合には、両方の視線計算ルーチンＡ及びＢから得られた情報は、視線のよりロバストな推定になる。
【００９８】
解釈
具体的にそうではないと述べない限り、以下の議論から明らかなように、明細書を通して、「処理すること」、「コンピューティングすること」、「計算すること」、「求めること」、「分析すること」等のような語は、例えば電子的な、物理的な量として表されるデータを同様に物理量として表される他のデータに操作及び／又は変換する、コンピュータ又はコンピューティングシステム、又は類似の電子計算装置の動作及び／又は処理を指すことが理解されよう。
【００９９】
同様に、「コントローラ」又は「プロセッサ」という語は、レジスタ及び／又はメモリからの電子データを処理することによって、その電子データを、例えばレジスタ及び／又はメモリに記載され得る他の電子データに変換する、任意の装置又は装置の一部を指し得る。「コンピュータ」又は「コンピューティングマシン」又は「コンピューティングプラットフォーム」は、１つ以上のプロセッサを含み得る。
【０１００】
ここで記載される手法は、ある実施形態では、１つ以上のプロセッサによって実行されたときに、ここで記載された方法のうちの少なくとも１つを実行する一連の命令を含むコンピュータで読み取り可能な（機械読み取り可能なとも呼ばれる）コードを受け入れる、１つ以上のプロセッサによって実行可能である。とられるべき動作を特定する一連の命令（順次の又は他の）を実行できる任意のプロセッサが含まれる。よって、１つの例としては、１つ以上のプロセッサを含む典型的な処理システムがある。それぞれのプロセッサは、１つ以上のＣＰＵ、グラフィックスプロセシングユニット、及びプログラマブルＤＳＰユニットを含み得る。処理システムは、メインＲＡＭ及び／又はスタティックＲＡＭ、及び／又はＲＯＭをさらに含み得る。バスサブシステムは、要素間で通信するために含まれ得る。処理システムは、さらに、ネットワークによって結合されたプロセッサ群を持つ分散化された処理システムであり得る。もしこの処理システムがディスプレイを要求するなら、そのようなディスプレイは、例えば、液晶ディスプレイ（ＬＣＤ）又は陰極線管（ＣＲＴ）ディスプレイを含み得る。もし手動データ入力が必要なら、処理システムは、１つ以上の、キーボードのようなアルファベット数字の入力ユニット、マウスのようなポインティングコントロールデバイス等のような入力デバイスも含む。ここで用いられるメモリユニットという語は、もし文脈から明らかであり、明示的にそうではないと述べられないなら、ディスクドライブユニットのような記憶システムも包含する。ある構成の処理システムは、サウンド出力デバイス及びネットワークインタフェースデバイスを含み得る。メモリサブシステムは、よって、１つ以上のプロセッサによって実行されたときに、ここで記載された１つ以上の方法を実行させる一連の命令を含むコンピュータ読み取り可能なコード（例えばソフトウェア）を担持するコンピュータ読み取り可能な担持媒体を含む。この方法がいくつかの要素、例えば、いくつかのステップを含むとき、具体的に述べられない限り、そのような要素の順番付けは暗示されていない。ソフトウェアは、ハードディスク中に常駐し得て、又は、コンピュータシステムによるその実行の間には、完全に又は少なくとも部分的にはＲＡＭ内に及び／又はプロセッサ内に常駐し得る。よって、メモリ及びプロセッサも、コンピュータ読み取り可能なコードを担持するコンピュータ読み取り可能な担持媒体を構成する。
【０１０１】
本明細書を通して「１つの実施形態」、「いくつかの実施形態」、又は「ある実施形態」という言い方は、実施形態に関連して記載された特定の特徴、構造、又は特性が、本発明の少なくとも１つの実施形態に含まれることを意味する。よって、本明細書を通してさまざまな箇所に「１つの実施形態」、「いくつかの実施形態」、又は「ある実施形態」という文言が現れることは、必ずしも全てが同一の実施形態を指すのではない。さらに、特定の特徴、構造、又は特性は、本開示から当業者には明らかなように、１つ以上の実施形態において任意の適切なやり方で組み合わせられてもよい。
【０１０２】
ここで用いられるように、特にそうではないと述べられない限り、共通の物体を記載するために用いられる順序を表す形容詞「第１」、「第２」、「第３」等は、単に類似の物体の異なる例が参照されることを示すだけであり、そのように記載された物体が、時間的、空間的、序列において、又は任意の他の点において、与えられた順序で存在しなければならないことを示唆するようには意図されていない。
【０１０３】
以下の特許請求の範囲及びここでの説明において、備える、備わった、又は備えられているという語のいずれも開放的な語であり、少なくとも後に続く要素／特徴を含むことを意味するのであって、他のものを排除することを意味しない。よって備えるという語は、特許請求の範囲で用いられるときは、その後に列挙された手段又は要素又はステップに限定されるようには解釈されるべきではない。例えば、Ａ及びＢを備える装置という表現の範囲は、要素Ａ及びＢだけからなる装置に限定されるべきではない。ここで使われているように含むという語のいずれもやはり開放的な語であり、その語の後に続く要素／特徴を少なくとも含むということを意味するが、他の物を排除する意味はない。よって含むは、備えると同義であり、備えるという意味である。
【０１０４】
本開示の例示的実施形態の上の説明において、本開示のさまざまな特徴は、時として、本開示を効率的にし、１つ以上のさまざまな発明の局面の理解を助けるために、単一の実施形態、図、又はその記載においてまとめられている。しかしこの開示方法は、特許請求の範囲がそれぞれの特許請求の範囲において明示的に記載されたよりも多くの特徴を要求するという意図を反映するようには解釈されるべきではない。むしろ、以下の特許請求の範囲が反映するように、本発明の局面は、単一の前述の開示された実施形態の全ての特徴よりも少ない所に存する。よって詳細な説明の後の特許請求の範囲は、ここで明示的にこの詳細な説明に援用され、それぞれの請求項は、本開示の別々の実施形態として、それ自身で有効である。
【０１０５】
さらに、当業者に理解されるように、ここで記載されたいくつかの実施形態は、いくつかの特徴を含むが、他の実施形態中に含まれる他の特徴は含まないが、異なる実施形態の特徴の組み合わせも本開示の範囲内にあると意図され、異なる実施形態を形成するものと意図される。例えば、以下の特許請求の範囲において、請求された実施形態の任意のものは、任意の組み合わせにおいて用いられ得る。
【０１０６】
ここに提供された記載において、多くの具体的な詳細が述べられている。しかし、本開示の実施形態は、これら具体的な詳細なしでも実施され得ることが理解されよう。換言すれば、本記載の理解を不明瞭にさせないために、よく知られた方法、構造、及び技術は詳細には示されていない。
【０１０７】
同様に、結合されるという語は、特許請求の範囲で使われるときには、直接的接続だけに限定されて解釈されるべきではないことに注意されたい。「結合された」及び「接続された」という語が、それらの派生形もあわせて、用いられ得る。これら語は、互いの同義語としては意図されていない。よって装置Ｂに結合された装置Ａという表現の範囲は、装置Ａの出力が直接に装置Ｂの入力に接続されている装置又はシステムに限定されるべきではない。それは、Ａの出力及びＢの入力の間のパスが存在し、これは、他の装置又は手段を含むパスであってもよいということを意味する。「結合された」は、２つ以上の要素が直接的な物理的、電気的、又は光学的接触のいずれかにあること、又は２つ以上の要素が直接的な接触にはないが、依然として互いに協働又は相互作用することを意味し得る。
【０１０８】
よって、本開示の好ましい実施形態であるべきものが記載されてきたが、他のさらなる改変が本開示の精神から逸脱することなくなされ得て、そのような変更及び改変が本開示の範囲内に入るものとして請求されていると意図されていることが当業者にはわかるだろう。例えば、上で与えられた任意の表現は、用いられ得る手続を代表するものに過ぎない。機能が、ブロック図から追加又は削除されてもよく、操作は、機能ブロック間で相互交換されてもよい。本開示の範囲内で、記載された方法に対してステップが追加又は削除されてもよい。
【図１】
2019519859.tif 000009
【図２】
2019519859.tif 000010
【図３】
2019519859.tif 000011
【図４】
2019519859.tif 000012
【図５】
2019519859.tif 000013
【図６】
2019519859.tif 000014
【図７】
2019519859.tif 000015
【図８】
2019519859.tif 000016
【図９】
2019519859.tif 000017
【国際調査報告】
2019519859.tif 000018
2019519859.tif 000019
2019519859.tif 000020