(57)【要約】      （修正有）【課題】簡易な構成で、近似計算を行うことなく、精度よく視線計測を行うことができる視線計測装置を提供する。【解決手段】被観察者の顔を撮像する画像撮像部１２と、前記被観察者の目に対して光を照射する照射部１３と、前記撮像手段によって撮像された前記顔を表す顔画像から、前記顔画像上の前記顔の目の角膜反射像と、前記顔画像上の前記顔の目の瞳孔中心位置と、予め定められた３次元眼球モデルとに基づいて、カメラ座標系における３次元の視線ベクトルを計算する視線ベクトル計算部４６と、を含み、画像撮像部と照射部との位置関係、画像撮像部と目との位置関係、及び画像撮像部に関する焦点距離パラメータが、画像撮像部の撮像方向と照射部の光照射方向とが同軸であるとみなすための予め定められた制約条件を満たす。【選択図】図１
2019000135.tif 000002
【特許請求の範囲】
【請求項１】
被観察者の顔を撮像する撮像手段と、
前記被観察者の目に対して光を照射する光照射手段と、
前記撮像手段によって撮像された前記顔を表す顔画像から、前記顔画像上の前記顔の目の角膜反射像と、前記顔画像上の前記顔の目の瞳孔中心位置と、予め定められた３次元眼球モデルとに基づいて、カメラ座標系における３次元の視線ベクトルを計算する視線ベクトル計算手段と、
を含み、
前記撮像手段と前記光照射手段との位置関係、前記撮像手段と前記目との位置関係、及び前記撮像手段に関するパラメータが、前記撮像手段の撮像方向と前記光照射手段の光照射方向とが同軸であるとみなすための予め定められた制約条件を満たす
視線計測装置。
【請求項２】
前記制約条件は、以下の式で表わされる請求項１記載の視線計測装置。
【数１】
2019000135.tif 000022
ただし、Ｌは、前記撮像手段から角膜曲率中心へ向かう直線と角膜との交点と、前記撮像手段との間の距離、ｒは、角膜曲率半径、ｆは、前記撮像手段のピクセル単位の焦点距離である。
【請求項３】
前記視線ベクトル計算手段は、
前記顔の目の角膜反射像と、前記３次元眼球モデルとに基づいて、前記角膜反射像の３次元位置を推定する角膜反射像位置推定手段と、
前記角膜反射像の３次元位置に基づいて、角膜曲率中心の３次元位置を計算する角膜曲率中心計算手段と、を含み、
前記角膜反射像の３次元位置と、前記角膜曲率中心の３次元位置とに基づいて、前記カメラ座標系における３次元の視線ベクトルを計算する請求項１又は２記載の視線計測装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、視線計測装置に係り、特に、顔を撮像した画像から、視線ベクトルを計測する視線計測装置に関する。
【背景技術】
【０００２】
従来より、３次元眼球モデルを用いた角膜反射像方式の視線計測装置が知られている（非特許文献１、２）。この角膜反射像方式の視線計測装置では、カメラと光源の位置を離して設置している。
【０００３】
非特許文献１では、角膜曲率中心座標を求めるために、カメラと光源との間の距離、角膜曲率中心から角膜までの距離、及びカメラと目との間の距離に応じた近似計算を行っている。
【０００４】
非特許文献２では、複数の光源を用いて角膜反射像を取得している。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】大野健彦, “FreeGaze: A Gaze Tracking System for Everyday Gaze Interaction,” ETRA2002.
【非特許文献２】C. Hennessey, et al., “A Single Camera Eye-Gaze Tracking System with Free Head Motion,” ETRA2006.
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上記非特許文献１に記載の技術では、近似計算を行っているため、近似計算による誤差が生じ、視線計測の精度が低下してしまう。
【０００７】
また、上記非特許文献２に記載の技術では、角膜反射像を得るために、複数の光源が必要となるため、装置コストがかかってしまう。
【０００８】
本発明は、上記の問題点を解決するためになされたもので、簡易な構成で、近似計算を行うことなく、精度よく視線計測を行うことができる視線計測装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記の目的を達成するために本発明に係る視線計測装置は、被観察者の顔を撮像する撮像手段と、前記被観察者の目に対して光を照射する光照射手段と、前記撮像手段によって撮像された前記顔を表す顔画像から、前記顔画像上の前記顔の目の角膜反射像と、前記顔画像上の前記顔の目の瞳孔中心位置と、予め定められた３次元眼球モデルとに基づいて、カメラ座標系における３次元の視線ベクトルを計算する視線ベクトル計算手段と、を含み、前記撮像手段と前記光照射手段との位置関係、前記撮像手段と前記目との位置関係、及び前記撮像手段に関するパラメータが、前記撮像手段の撮像方向と前記光照射手段の光照射方向とが同軸であるとみなすための予め定められた制約条件を満たす。
【００１０】
本発明によれば、前記撮像手段と前記光照射手段との位置関係、前記撮像手段と前記目との位置関係、及び前記撮像手段に関するパラメータが、前記撮像手段の撮像方向と前記光照射手段の光照射方向とが同軸であるとみなすための予め定められた制約条件を満たす。
【００１１】
また、前記被観察者の目に対して光照射手段から光を照射しているときに、撮像手段によって、前記顔を表す顔画像を撮像する。視線ベクトル計算手段によって、顔画像から、顔画像上の前記顔の目の角膜反射像と、前記顔画像上の前記顔の目の瞳孔中心位置と、予め定められた３次元眼球モデルとに基づいて、カメラ座標系における３次元の視線ベクトルを計算する。
【発明の効果】
【００１２】
以上説明したように、本発明の視線計測装置によれば、前記撮像手段の撮像方向と前記光照射手段の光照射方向とが同軸であるとみなすための予め定められた制約条件を満たすことにより、簡易な構成で、近似計算を行うことなく、精度よく視線計測を行うことができる、という効果が得られる。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施の形態に係る視線計測装置の構成を示すブロック図である。
【図２】照射部と画像撮像部と目の位置関係を示す図である。
【図３】瞳孔中心と角膜反射像とを用いた視線計測方法を説明するための図である。
【図４】角膜反射法を用いた視線検出方法を説明するための図である。
【図５】見かけの瞳孔中心の３次元位置を計算する方法を説明するための図である。
【図６】本発明の実施の形態に係る視線計測装置における視線計測処理ルーチンの内容を示すフローチャートである。
【発明を実施するための形態】
【００１４】
以下、図面を参照して本発明の実施の形態を詳細に説明する。なお、本実施の形態では、撮像された顔画像から、視線ベクトルを推定する視線計測装置に本発明を適用した場合を例に説明する。
【００１５】
＜本発明の実施の形態の概要＞
カメラと光源が同軸であれば、角膜曲率中心座標を求めるのに近似計算が不要で精度が向上する。
【００１６】
一方、カメラと光源が同軸でない場合、近似計算を行わずに、厳密計算を行うことができるが、その場合の従来技術では、複数の光源を必要としている。本発明の実施の形態では、光源は１箇所とする。
【００１７】
カメラと光源が同軸でない場合でも、カメラと光源と撮像対象の位置関係、およびカメラのピクセル単位で表わされる焦点距離ｆがある制約条件を満たせば、実用的には同軸として扱える。
【００１８】
そこで、本発明の実施の形態では、光源と撮像部と撮像対象の位置関係が、同軸とみたすための制約条件を満たす光学系を用いる。
【００１９】
＜視線計測装置の構成＞
図１に示すように、本発明の実施の形態に係る視線計測装置１０は、対象とする被験者の顔を含む画像を撮像するＣＣＤカメラ等からなる画像撮像部１２と、被験者の目に対して光を照射する照射部１３と、画像処理を行うコンピュータ１４と、ＣＲＴ等で構成された出力部１６とを備えている。
【００２０】
画像撮像部１２は、１つのカメラであり、照射部１３は、例えば、１つの近赤外ＬＥＤである。本実施の形態では、画像撮像部１２の撮像方向と照射部１３の照射方向とが同軸ではないが、同軸とみなされるように、以下の（１）式に示す制約条件を満たす配置となっている（図２）。
【００２１】
【数１】
2019000135.tif 000003
・・・（１）
【００２２】
ただし、Ｌは、画像撮像部１２から角膜曲率中心へ向かう直線と角膜との交点と、画像撮像部１２との間の距離であり、ｒは、角膜曲率半径であり、ｆは、画像撮像部１２のピクセル単位の焦点距離である。
【００２３】
上記（１）式の導出は、以下の通りである。
【００２４】
図２において、画像撮像部１２の両側に配置した照明Ｓ1とＳ2による２つの角膜反射像中心点Ｐ1とＰ2の距離がカメラ画像で1pixel以下であれば、角膜反射像中心点Ｐ1と角膜反射像中心点Ｐ2は同じ画素上もしくは隣り合う画素上で観測されることになる。これは、角膜表面に映る２つの照明を区別できないということであり、画像撮像部１２からは２つの照明が同じ場所にあるとみなせるということである。従って２つの照明の間にある画像撮像部１２も照明と同じ場所にあるとみなせることになる。まとめると、画像撮像部１２と照明と角膜曲率中心が同軸上にあるとみなせる条件は、角膜反射像中心点Ｐ1とＰ2の画像座標での距離が1pixel以下になることである。
【００２５】
ＣはＳ1Ｓ2の中間にあるものとし、距離ＣＳ1とＣＳ2をそれぞれｘとする。角膜表面を球と仮定したので、Ｐ1における垂線は角膜曲率中心を通るとともに、角ＣＰ1Ｓ1の２等分線になる。従って、以下の式(２)が成立する。
【００２６】
【数２】
2019000135.tif 000004
・・・(２)
【００２７】
角ＣＰ2Ｓ2においても同様のことが言えるため、以下の式(３)を得る。
【００２８】
【数３】
2019000135.tif 000005
・・・(３)
【００２９】
三角形Ｍ1ＡＭ2と三角形Ｐ1ＡＰ2の相似条件から、以下の式(５)が得られる。
【００３０】
【数４】
2019000135.tif 000006
・・・(４)
2019000135.tif 000007
・・・(５)
【００３１】
角膜反射像Ｐ1の三次元ベクトルを
2019000135.tif 000008
、画像座標を
2019000135.tif 000009
とする。角膜反射像Ｐ2についても同様に定義する。ピクセル単位で表される焦点距離をｆとすると、透視投影における
2019000135.tif 000010
の関係式、および
2019000135.tif 000011
の関係式(６)が得られる。
【００３２】
【数５】
2019000135.tif 000012
・・・(６)
【００３３】
2019000135.tif 000013
なので、角膜反射像中心点Ｐ1とＰ2の画像座標での距離は以下の式(７)で表される。
【００３４】
【数６】
2019000135.tif 000014
・・・(７)
【００３５】
式(５)を式(７)に代入し、以下の式(８)を得る。
【００３６】
【数７】
2019000135.tif 000015
・・・(８)
【００３７】
最後に、角膜反射像中心点Ｐ1とＰ2の画像座標での距離が1pixel以下なので以下の式(１０)を得る。
【００３８】
【数８】
2019000135.tif 000016
・・・(９)
2019000135.tif 000017
・・・(１０)
【００３９】
コンピュータ１４は、ＣＰＵ、後述する視線計測処理ルーチンのプログラムを記憶したＲＯＭ、データ等を記憶するＲＡＭ、及びこれらを接続するバスを含んで構成されている。このコンピュータ１４をハードウエアとソフトウエアとに基づいて定まる機能実現手段毎に分割した機能ブロックで説明すると、図１に示すように、コンピュータ１４は、画像撮像部１２から出力される濃淡画像である顔画像を入力する画像入力部２０と、画像入力部２０の出力である顔画像の時系列から、角膜反射法（図３参照）を用いて、カメラ座標系における視線ベクトルを計算する角膜反射法視線検出部２８とを備えている。なお、角膜反射法視線検出部２８が、視線ベクトル計算手段の一例である。
【００４０】
画像入力部２０は、例えば、Ａ／Ｄコンバータや１画面の画像データを記憶する画像メモリ等で構成される。
【００４１】
角膜反射法視線検出部２８は、図１に示すように、眼球モデル記憶部４０と、角膜反射像位置推定部４２と、角膜曲率中心計算部４４と、視線ベクトル計算部４６とを備えている。
【００４２】
眼球モデル記憶部４０には、顔形状モデル座標系における眼球中心座標Ｅと、角膜曲率に応じた球体及び眼球を表す球体の位置関係及びサイズと、瞳孔中心座標と角膜曲率中心座標との距離ｓ、角膜曲率中心座標と眼球中心座標との距離ｔ、角膜反射像中心座標と角膜曲率中心座標との距離ｒとが記憶されている（図４参照）。
【００４３】
角膜反射像位置推定部４２は、顔画像から、顔画像上の角膜反射像中心の２次元座標を計算し、顔画像上の角膜反射像中心の２次元座標と、顔形状モデル座標系における眼球中心座標Ｅとから、カメラ位置Ｃから角膜反射像中心Ｐへ向かう３次元ベクトルｐを推定する。
【００４４】
角膜曲率中心計算部４４は、３次元ベクトルｐと、角膜反射像中心Ｐと角膜曲率中心Ａとの距離ｒとを用いて、以下の式に従って、カメラ位置Ｃから角膜曲率中心Ａへ向かう３次元ベクトルａを推定する。
【００４５】
【数９】
2019000135.tif 000018
【００４６】
視線ベクトル計算部４６は、顔画像から、顔画像上の瞳孔中心（見かけの瞳孔中心）Ｂの２次元座標を計算し、顔画像上の瞳孔中心（見かけの瞳孔中心）Ｂの２次元座標と、３次元ベクトルａと、角膜反射像中心Ｐと角膜曲率中心Ａとの距離ｒと用いて、カメラ位置Ｃから見かけの瞳孔中心Ｂへ向かう３次元ベクトルｂを求める。ここで、図５に示すように、見かけの瞳孔中心Ｂの候補は２か所存在するため、Zがカメラ側になる方(=小さい方)を、見かけの瞳孔中心Ｂとして選べばよい。
【００４７】
そして、視線ベクトル計算部４６は、３次元ベクトルｂと、３次元ベクトルｐとを用いて、角膜反射像中心Ｐと見かけの瞳孔中心Ｂとの距離ｕを計算する。視線ベクトル計算部４６は、３次元ベクトルｐと、３次元ベクトルｂとを用いて、以下の式に従って、３次元ベクトルｐと、３次元ベクトルｂとの角度εを計算する。
【００４８】
【数１０】
2019000135.tif 000019
【００４９】
視線ベクトル計算部４６は、角膜反射像中心Ｐと角膜曲率中心Ａとの距離ｒと、角膜反射像中心Ｐと見かけの瞳孔中心Ｂとの距離ｕ（＝||ｂ−ｐ||）とを用いて、以下の式に従って、３次元ベクトルｐと、見かけの瞳孔中心Ｂから角膜曲率中心Ａへ向かう３次元ベクトルとの角度θを計算する。
【００５０】
【数１１】
2019000135.tif 000020
【００５１】
視線ベクトル計算部４６は、３次元ベクトルｐと３次元ベクトルｂとの角度εの計算結果と、３次元ベクトルｐと見かけの瞳孔中心Ｂから角膜曲率中心Ａへ向かう３次元ベクトルとの角度θの計算結果とを用いて、以下の式に従って、見かけの瞳孔中心Ｂから角膜曲率中心Ａへ向かう３次元ベクトルと、真の瞳孔中心Ｂ´から眼球中心Ｅへ向かう３次元ベクトルとの角度ψを計算する。以下の式で、ｒは角膜曲率半径、ｓはＡＢ’間の距離、ｎ1は、空気の屈折率、ｎ2は角膜の内側にある水晶体の屈折率である。
【００５２】
【数１２】
2019000135.tif 000021
【００５３】
視線ベクトル計算部４６は、３次元ベクトルｐと見かけの瞳孔中心Ｂから角膜曲率中心Ａへ向かう３次元ベクトルとの角度θと、見かけの瞳孔中心Ｂから角膜曲率中心Ａへ向かう３次元ベクトルと真の瞳孔中心Ｂ´から眼球中心Ｅへ向かう３次元ベクトルとの角度ψとの和により、視線ベクトルの角度（＝θ＋ψ）を計算する。
【００５４】
視線ベクトル計算部４６は、視線ベクトルの角度（＝θ＋ψ）と、カメラ位置Ｃから角膜反射像中心Ｐへ向かう３次元ベクトルｐと、カメラ位置Ｃから見かけの瞳孔中心Ｂへ向かう３次元ベクトルｂとに基づいて、視線ベクトルｄを求めて、出力部１６により出力する。ただし、-(θ＋ψ)でも式が成立するため、視線ベクトルｄのｙ成分が３次元ベクトルｐのｙ成分よりも大きくなる方を選ぶか、ｒｄがＢに近い方を選べばよい。
【００５５】
＜視線計測装置の動作＞
次に、視線計測装置１０の動作について説明する。まず、照射部１３により近赤外の光を被験者の目に照射しているときに、画像撮像部１２で被験者の顔画像を連続的に撮像する。
【００５６】
そして、コンピュータ１４において、撮像された顔画像毎に、図６に示す視線計測処理ルーチンを実行する。まず、ステップＳ１１８において、画像撮像部１２で撮像された顔画像を取得する。
【００５７】
そして、ステップＳ１２０において、顔画像から、顔画像上の角膜反射像中心の２次元座標を計算し、顔画像上の角膜反射像中心の２次元座標と、顔形状モデル座標系における仮の眼球中心座標Ｅとから、カメラ位置Ｃから角膜反射像中心Ｐへ向かう３次元ベクトルｐを推定する。
【００５８】
ステップＳ１２２では、上記ステップＳ１２０で推定された３次元ベクトルｐと、角膜反射像中心Ｐと角膜曲率中心Ａとの距離ｒとを用いて、カメラ位置Ｃから角膜曲率中心Ａへ向かう３次元ベクトルａを推定する。
【００５９】
ステップＳ１２４では、顔画像から、顔画像上の瞳孔中心（見かけの瞳孔中心）Ｂの２次元座標を計算する。そして、ステップＳ１２６では、顔画像上の瞳孔中心（見かけの瞳孔中心）Ｂの２次元座標と、上記ステップＳ１２２で推定された３次元ベクトルａと、角膜反射像中心Ｐと眼球中心Ｅとの距離ｒと用いて、カメラ位置Ｃから見かけの瞳孔中心Ｂへ向かう３次元ベクトルｂを求める。
【００６０】
そして、ステップＳ１２８では、上記ステップＳ１２４で求めた３次元ベクトルｂと、上記ステップＳ１２０で推定された３次元ベクトルｐとを用いて、角膜反射像中心Ｐと見かけの瞳孔中心Ｂとの距離ｕを計算する。また、３次元ベクトルｐと、３次元ベクトルｂとを用いて、３次元ベクトルｐと、３次元ベクトルｂとの角度εを計算する。また、角膜反射像中心Ｐと角膜曲率中心Ａとの距離ｒと、角膜反射像中心Ｐと見かけの瞳孔中心Ｂとの距離ｕ（＝||ｂ−ｐ||）とを用いて、３次元ベクトルｐと、見かけの瞳孔中心Ｂから角膜曲率中心Ａへ向かう３次元ベクトルとの角度θを計算する。また、３次元ベクトルｐと３次元ベクトルｂとの角度εの計算結果と、３次元ベクトルｐと見かけの瞳孔中心Ｂから角膜曲率中心Ａへ向かう３次元ベクトルとの角度θの計算結果とを用いて、見かけの瞳孔中心Ｂから角膜曲率中心Ａへ向かう３次元ベクトルと、真の瞳孔中心Ｂ´から眼球中心Ｅへ向かう３次元ベクトルとの角度ψを計算する。
【００６１】
そして、上記で計算された、３次元ベクトルｐと見かけの瞳孔中心Ｂから角膜曲率中心Ａへ向かう３次元ベクトルとの角度θと、見かけの瞳孔中心Ｂから角膜曲率中心Ａへ向かう３次元ベクトルと真の瞳孔中心Ｂ´から眼球中心Ｅへ向かう３次元ベクトルとの角度ψとの和により、視線ベクトルの角度を計算する。
【００６２】
そして、ステップＳ１３０では、上記ステップＳ１２８で計算された、視線ベクトルの角度と、カメラ位置Ｃから角膜反射像中心Ｐへ向かう３次元ベクトルｐと、カメラ位置Ｃから見かけの瞳孔中心Ｂへ向かう３次元ベクトルｂとに基づいて、視線ベクトルｄを求め、出力部１６により出力して、視線計測処理ルーチンを終了する。
【００６３】
以上説明したように、本発明の実施の形態に係る視線計測装置によれば、画像撮像部の撮像方向と照射部の光照射方向とが同軸であるとみなすための予め定められた制約条件を満たすように配置し、角膜反射像を用いて、視線ベクトルを計算することにより、画像撮像部の撮像方向と照射部の光照射方向とが同軸でない場合であっても、簡易な構成で、近似計算を行うことなく、精度よく視線計測を行うことができる。
【００６４】
また、画像撮像部と照射部とが同軸として扱えるため、角膜曲率中心推定計算に近似計算が含まれず、角膜曲率中心の推定精度が向上すると共に、角膜曲率中心推定の計算量を削減することができる。また、１つの光源で視線計算が可能になり装置コストが下げられる。
【符号の説明】
【００６５】
１０   視線計測装置
１２   画像撮像部
１３   照射部
１４   コンピュータ
１６   出力部
２０   画像入力部
２８   角膜反射法視線検出部
４０   眼球モデル記憶部
４２   角膜反射像位置推定部
４４   角膜曲率中心計算部
４６   視線ベクトル計算部
【図１】
2019000135.tif 000023
【図２】
2019000135.tif 000024
【図３】
2019000135.tif 000025
【図４】
2019000135.tif 000026
【図５】
2019000135.tif 000027
【図６】
2019000135.tif 000028