(57)【要約】【課題】簡易な構成で、視線計測のために、顔画像上の角膜反射像の画像座標又は瞳孔中心の画像座標を精度良く求めることができるようにする。【解決手段】カメラ座標系眼球中心座標計算部３０が、顔画像から、カメラ座標系における眼球中心の座標を推定する。見かけの瞳孔中心計算部３２が、顔画像上の目の瞳孔中心位置から、カメラ座標系における見かけの瞳孔中心の座標を推定する。眼球位置姿勢推定部３６が、カメラ座標系における眼球中心の座標と見かけの瞳孔中心の座標とに基づいて、カメラ座標系において、眼球中心から瞳孔中心へ向かう光軸ベクトルを計算する。カメラ座標系角膜反射像計算部４０が、カメラ座標系における眼球中心と、光軸ベクトルと、眼球モデルとに基づいて、カメラ座標系における角膜反射像の座標を求める。角膜反射像画像座標計算部４２が、カメラ座標系における角膜反射像の座標から、角膜反射像の画像座標を推定する。【選択図】図４
2020162759.tif 000002
【特許請求の範囲】
【請求項１】
被観察者の顔を撮像する撮像部と、
前記被観察者の目に対して光を照射する光照射部と、
前記撮像部によって撮像された前記顔を表す顔画像から、カメラ座標系における眼球中心の３次元座標を推定するカメラ座標系眼球中心座標計算部と、
前記顔画像上の目の瞳孔中心位置から、カメラ座標系における見かけの瞳孔中心の３次元座標を推定する瞳孔中心計算部と、
前記カメラ座標系における眼球中心の３次元座標と、前記カメラ座標系における見かけの瞳孔中心の３次元座標とに基づいて、前記カメラ座標系において、前記眼球中心の３次元位置から瞳孔中心の３次元位置へ向かう３次元の光軸ベクトルを計算する眼球位置姿勢推定部と、
前記カメラ座標系における眼球中心の３次元座標と、前記光軸ベクトルと、予め定められた３次元眼球モデルとに基づいて、カメラ座標系における角膜反射像の３次元座標を求める角膜反射像計算部と、
前記カメラ座標系における角膜反射像の３次元座標から、前記顔画像上の角膜反射像の画像座標を推定する画像座標計算部と、
を含む視線計測装置。
【請求項２】
前記撮像部と前記光照射部との位置関係、前記撮像部と前記目との位置関係、及び前記撮像部に関するパラメータが、前記撮像部の撮像方向と前記光照射部の光照射方向とが同軸であるとみなすための予め定められた制約条件を満たす
請求項１記載の視線計測装置。
【請求項３】
前記眼球位置姿勢推定部は、
前記カメラ座標系における見かけの瞳孔中心の３次元座標と前記カメラ座標系における眼球中心の３次元座標とを結んだ線分と、前記カメラ座標系における眼球中心の３次元座標と前記撮像部の３次元座標とを結んだ線分とのなす角を算出し、
前記なす角に対応して予め定められた角度補正量を取得し、
前記カメラ座標系における眼球中心の３次元座標と前記カメラ座標系における見かけの瞳孔中心の３次元座標とを結んだベクトルと、前記取得した前記角度補正量と、前記算出した前記なす角と、前記カメラ座標系における眼球中心の３次元座標とに基づいて、前記カメラ座標系において、前記眼球中心の３次元位置から瞳孔中心の３次元位置へ向かう３次元の光軸ベクトルを計算する請求項２記載の視線計測装置。
【請求項４】
被観察者の顔を撮像する撮像部と、
前記被観察者の目に対して光を照射する光照射部と、
前記撮像部によって撮像された前記顔を表す顔画像から、カメラ座標系における眼球中心の３次元座標を推定するカメラ座標系眼球中心座標計算部と、
前記顔画像上の目の角膜反射像の位置から、カメラ座標系における角膜反射像の３次元座標を推定する角膜反射像計算部と、
前記カメラ座標系における眼球中心の３次元座標と、前記カメラ座標系における角膜反射像の３次元座標とに基づいて、前記カメラ座標系において、前記眼球中心の３次元位置から角膜曲率中心の３次元位置へ向かう３次元の光軸ベクトルを計算する眼球位置姿勢推定部と、
前記カメラ座標系における眼球中心の３次元座標と、前記光軸ベクトルと、予め定められた３次元眼球モデルとに基づいて、カメラ座標系における見かけの瞳孔中心の３次元座標を求める瞳孔中心計算部と、
前記カメラ座標系における見かけの瞳孔中心の３次元座標から、前記顔画像上の瞳孔中心の画像座標を推定する画像座標計算部と、
を含む視線計測装置。
【請求項５】
前記撮像部と前記光照射部との位置関係、前記撮像部と前記目との位置関係、及び前記撮像部に関するパラメータが、前記撮像部の撮像方向と前記光照射部の光照射方向とが同軸であるとみなすための予め定められた制約条件を満たす
請求項４記載の視線計測装置。
【請求項６】
前記瞳孔中心計算部は、
前記光軸ベクトルと、前記カメラ座標系における眼球中心の３次元座標とに基づいて、前記カメラ座標系における眼球中心の３次元座標と前記カメラ座標系の角膜曲率中心の３次元座標とを結んだ線分と、前記カメラ座標系における眼球中心の３次元座標と前記撮像部の３次元座標とを結んだ線分とのなす角を算出し、
前記算出された前記なす角に対応して予め定められた角度補正量を取得し、
前記カメラ座標系における眼球中心の3次元座標と、前記光軸ベクトルと、前記角度補正量とに基づいて、前記カメラ座標系における眼球中心の３次元座標と前記カメラ座標系における見かけの瞳孔中心の３次元座標とを結んだベクトルを算出し、
前記算出されたベクトルと、前記カメラ座標系における眼球中心の３次元座標と、予め定められた３次元眼球モデルとに基づいて、カメラ座標系における見かけの瞳孔中心の３次元座標を求める請求項５記載の視線計測装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、視線計測装置に係り、特に、顔を撮像した画像から、視線を計測する視線計測装置に関する。
【背景技術】
【０００２】
従来より、角膜の曲率中心と眼球の回転中心とが異なるので、眼球運動に伴ってプルキンエ像が平行移動するのをビデオカメラあるいはＣＣＤカメラで撮影し、眼球運動を計算する方法が知られている（非特許文献１）。角膜前面からの反射によって得られる像を利用する方法が角膜反射法である。
【０００３】
角膜反射像に関して複数光源を用いたり、投光パターンを時間変化させることで眼鏡映り込みと区別して検出できるようにする技術が知られている（例えば、特許文献１、２）。
【０００４】
特許文献１では、赤外光パターンを使用し、特許文献２では、複数光源を使用している。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】野城真理、「3章 生体計測と神経心理学」、インターネット＜ＵＲＬ：http://www.ieice-hbkb.org/files/S3/S3gun_10hen_03.pdf＞
【特許文献】
【０００６】
【特許文献１】特開２０１４−１８８３２２号公報
【特許文献２】特開２０１７−１１１７４６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
上記非特許文献１に記載の技術のように、単一光源を用いる方法では、眼鏡への外乱光の映り込みと角膜反射像の区別が難しい。
【０００８】
また、上記特許文献１、２に記載の技術では、角膜反射像を得るために、複数の光源や投光パターンを用いるための装置が必要となるため、装置コストがかかってしまう。
【０００９】
本発明は、上記の問題点を解決するためになされたもので、簡易な構成で、視線計測のために、顔画像上の角膜反射像の画像座標又は瞳孔中心の画像座標を精度良く求めることができる視線計測装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記の目的を達成するために第１の発明に係る視線計測装置は、被観察者の顔を撮像する撮像部と、前記被観察者の目に対して光を照射する光照射部と、前記撮像部によって撮像された前記顔を表す顔画像から、カメラ座標系における眼球中心の３次元座標を推定するカメラ座標系眼球中心座標計算部と、前記顔画像上の目の瞳孔中心位置から、カメラ座標系における見かけの瞳孔中心の３次元座標を推定する瞳孔中心計算部と、前記カメラ座標系における眼球中心の３次元座標と、前記カメラ座標系における見かけの瞳孔中心の３次元座標とに基づいて、前記カメラ座標系において、前記眼球中心の３次元位置から瞳孔中心の３次元位置へ向かう３次元の光軸ベクトルを計算する眼球位置姿勢推定部と、前記カメラ座標系における眼球中心の３次元座標と、前記光軸ベクトルと、予め定められた３次元眼球モデルとに基づいて、カメラ座標系における角膜反射像の３次元座標を求める角膜反射像計算部と、前記カメラ座標系における角膜反射像の３次元座標から、前記顔画像上の角膜反射像の画像座標を推定する画像座標計算部と、を含んで構成されている。
【００１１】
第１の発明によれば、簡易な構成で、顔画像上の目の瞳孔中心位置から、視線計測のために顔画像上の角膜反射像の画像座標を精度良く求めることができる。
【００１２】
上記第１の発明に係る視線計測装置において、前記撮像部と前記光照射部との位置関係、前記撮像部と前記目との位置関係、及び前記撮像部に関するパラメータが、前記撮像部の撮像方向と前記光照射部の光照射方向とが同軸であるとみなすための予め定められた制約条件を満たすようにすることができる。
【００１３】
また、上記第１の発明に係る視線計測装置において、前記眼球位置姿勢推定部は、前記カメラ座標系における見かけの瞳孔中心の３次元座標と前記カメラ座標系における眼球中心の３次元座標とを結んだ線分と、前記カメラ座標系における眼球中心の３次元座標と前記撮像部の３次元座標とを結んだ線分とのなす角を算出し、前記なす角に対応して予め定められた角度補正量を取得し、前記カメラ座標系における眼球中心の３次元座標と前記カメラ座標系における見かけの瞳孔中心の３次元座標とを結んだベクトルと、前記取得した前記角度補正量と、前記算出した前記なす角と、前記カメラ座標系における眼球中心の３次元座標とに基づいて、前記カメラ座標系において、前記眼球中心の３次元位置から瞳孔中心の３次元位置へ向かう３次元の光軸ベクトルを計算するようにすることができる。
【００１４】
第２の発明に係る視線計測装置は、被観察者の顔を撮像する撮像部と、前記被観察者の目に対して光を照射する光照射部と、前記撮像部によって撮像された前記顔を表す顔画像から、カメラ座標系における眼球中心の３次元座標を推定するカメラ座標系眼球中心座標計算部と、前記顔画像上の目の角膜反射像の位置から、カメラ座標系における角膜反射像の３次元座標を推定する角膜反射像計算部と、前記カメラ座標系における眼球中心の３次元座標と、前記カメラ座標系における角膜反射像の３次元座標とに基づいて、前記カメラ座標系において、前記眼球中心の３次元位置から角膜曲率中心の３次元位置へ向かう３次元の光軸ベクトルを計算する眼球位置姿勢推定部と、前記カメラ座標系における眼球中心の３次元座標と、前記光軸ベクトルと、予め定められた３次元眼球モデルとに基づいて、カメラ座標系における見かけの瞳孔中心の３次元座標を求める瞳孔中心計算部と、前記カメラ座標系における見かけの瞳孔中心の３次元座標から、前記顔画像上の瞳孔中心の画像座標を推定する画像座標計算部と、を含んで構成されている。
【００１５】
第２の発明によれば、簡易な構成で、顔画像上の目の角膜反射像の位置から、視線計測のために顔画像上の瞳孔中心の画像座標を精度良く求めることができる。
【００１６】
上記第２の発明に係る視線計測装置において、前記撮像部と前記光照射部との位置関係、前記撮像部と前記目との位置関係、及び前記撮像部に関するパラメータが、前記撮像部の撮像方向と前記光照射部の光照射方向とが同軸であるとみなすための予め定められた制約条件を満たすようにすることができる。
【００１７】
また、上記第２の発明に係る視線計測装置において、前記瞳孔中心計算部は、前記光軸ベクトルと、前記カメラ座標系における眼球中心の３次元座標とに基づいて、前記カメラ座標系における眼球中心の３次元座標と前記カメラ座標系の角膜曲率中心の３次元座標とを結んだ線分と、前記カメラ座標系における眼球中心の３次元座標と前記撮像部の３次元座標とを結んだ線分とのなす角を算出し、前記算出された前記なす角に対応して予め定められた角度補正量を取得し、前記カメラ座標系における眼球中心の3次元座標と、前記光軸ベクトルと、前記角度補正量とに基づいて、前記カメラ座標系における眼球中心の３次元座標と前記カメラ座標系における見かけの瞳孔中心の３次元座標とを結んだベクトルを算出し、前記算出されたベクトルと、前記カメラ座標系における眼球中心の３次元座標と、予め定められた３次元眼球モデルとに基づいて、カメラ座標系における見かけの瞳孔中心の３次元座標を求めるようにすることができる。
【発明の効果】
【００１８】
以上説明したように、本発明の視線計測装置によれば、簡易な構成で、視線計測のために、顔画像上の角膜反射像の画像座標又は瞳孔中心の画像座標を精度良く求めることができる、という効果が得られる。
【図面の簡単な説明】
【００１９】
【図１】本発明の実施の形態に係る視線計測装置の構成を示すブロック図である。
【図２】照射部と画像撮像部の配置を示す図である。
【図３】照射部と画像撮像部と目の位置関係を示す図である。
【図４】本発明の実施の形態に係る視線計測装置の角膜反射像推定部の構成を示すブロック図である。
【図５】各種座標系を説明するための図である。
【図６】三次元眼球モデルと画像撮像部との位置関係を示す図である。
【図７】本発明の実施の形態に係る視線計測装置の瞳孔推定部の構成を示すブロック図である。
【図８】本発明の実施の形態に係る視線計測装置における視線計測処理ルーチンの内容を示すフローチャートである。
【図９】本発明の実施の形態に係る視線計測装置における角膜反射像推定処理ルーチンの内容を示すフローチャートである。
【図１０】本発明の実施の形態に係る視線計測装置における瞳孔推定処理ルーチンの内容を示すフローチャートである。
【図１１】角膜反射法を用いた視線検出方法を説明するための図である。
【図１２】眼球モデルフィッティング法を用いた視線検出方法を説明するための図である。
【図１３】角膜反射法で求めた視線ベクトルと眼球モデルフィッティング法で求めた視線ベクトルの違いを説明するための図である。
【発明を実施するための形態】
【００２０】
以下、図面を参照して本発明の実施の形態を詳細に説明する。なお、本実施の形態では、撮像された顔画像から、視線ベクトルを推定する視線計測装置に本発明を適用した場合を例に説明する。
【００２１】
＜本発明の実施の形態の概要＞
本発明の実施の形態で主に取り扱うのは角膜反射法による視線検出技術であるが、後の説明のため眼球モデルフィッティング法についても概要を述べておく。
【００２２】
角膜反射法は、図１１に示すようにカメラと近赤外ＬＥＤを用い、角膜に映り込んだ近赤外ＬＥＤ（角膜反射像）と瞳孔の位置関係から視線ベクトルを求める手法である。
【００２３】
眼球モデルフィッティング法は、図１２に示すように目尻・目頭の特徴点に対し三次元眼球モデルを当てはめることで眼球中心位置を推定し、眼球中心と瞳孔中心を結ぶベクトルを視線ベクトルとする手法である。必ずしも目尻・目頭の特徴点を用いる必要はなく、何らかの手段で眼球中心を推定する手法を用いれば良い。
【００２４】
図１３は２種類の視線検出法で求める視線の詳細な説明図である。角膜反射法で求める視線ベクトルをｇcrとし、眼球モデルフィッティング法で求める視線ベクトルをｇebとする。角膜反射法では、角膜曲率中心座標を計算で求めることができるため、角膜に関連した情報として角膜反射像と角膜曲率中心および角膜表面上で観測される瞳孔中心（以後、見かけの瞳孔中心と呼ぶ）の３つが得られる。そのため、角膜での光の屈折を計算に組み込むことができ、正しい瞳孔中心と角膜曲率中心を結ぶベクトルとして視線ベクトルを計算できる。それに対して、眼球モデルフィッティング法では、角膜と関連した情報が見かけの瞳孔中心しか得られないために角膜屈折を扱うことができず、視線ベクトルは見かけの瞳孔中心と眼球中心を結ぶベクトルとして計算される。図１３に示すように視線ベクトルｇcrとｇebは厳密には一致しない。また、二つの視線ベクトルの角度差（以後、視線誤差と呼ぶ）ρは一定ではなく、眼球の位置と向きによって変化する。角膜反射法で求める視線ベクトルｇcrが正しいとすると、この視線誤差ρが大きいことは眼球モデルフィッティング法の視線推定精度の劣化を意味する。
【００２５】
そこで、本発明の実施の形態では、カメラと照明が同軸とみなせる画像撮像部と、眼球中心推定技術と、３次元眼球モデルと、光軸ベクトルの補正技術を用いることで、瞳孔中心の観測結果から角膜反射像座標を推定する。また、角膜反射像の観測結果から瞳孔中心座標を推定する。ソフトウェアによる実装であるため、ハードウェアの追加は不要である。
【００２６】
＜視線計測装置の構成＞
図１に示すように、本発明の実施の形態に係る視線計測装置１０は、対象とする被験者の顔を含む画像を撮像するＣＣＤカメラ等からなる画像撮像部１２と、被験者の目に対して光を照射する照射部１３と、画像処理を行うコンピュータ１４と、ＣＲＴ等で構成された出力部１６とを備えている。
【００２７】
画像撮像部１２は、１つのカメラであり、照射部１３は、例えば、１つの近赤外ＬＥＤである。本実施の形態では、画像撮像部１２の撮像方向と照射部１３の照射方向とが同軸ではないが、同軸とみなされるように配置されている（図２）。具体的には、以下の（１）式に示す制約条件を満たす配置となっている（図３）。なお、（１）式を満たした上で、２つの近赤外ＬＥＤをカメラの左右両側に配置してもよい。
【００２８】
【数１】
2020162759.tif 000003
（１）
【００２９】
ただし、Ｌは、画像撮像部１２から角膜曲率中心へ向かう直線と角膜との交点と、画像撮像部１２との間の距離であり、ｒは、角膜曲率半径であり、ｆは、画像撮像部１２のピクセル単位の焦点距離である。
【００３０】
コンピュータ１４は、ＣＰＵ、後述する視線計測処理ルーチンのプログラムを記憶したＲＯＭ、データ等を記憶するＲＡＭ、及びこれらを接続するバスを含んで構成されている。このコンピュータ１４をハードウェアとソフトウェアとに基づいて定まる機能実現手段毎に分割した機能ブロックで説明すると、図１に示すように、コンピュータ１４は、画像撮像部１２から出力される濃淡画像である顔画像を入力する画像入力部２０と、画像入力部２０の出力である顔画像の時系列から、角膜反射像の画像座標の時系列を推定する角膜反射像推定部２２と、画像入力部２０の出力である顔画像の時系列から、瞳孔中心の画像座標の時系列を推定する瞳孔推定部２４と、角膜反射像の画像座標の時系列と、瞳孔中心の画像座標の時系列とから、角膜反射法（図１１参照）を用いて、カメラ座標系における視線ベクトルを計算する角膜反射法視線検出部２８とを備えている。
【００３１】
画像入力部２０は、例えば、Ａ／Ｄコンバータや１画面の画像データを記憶する画像メモリ等で構成される。
【００３２】
角膜反射像推定部２２は、図４に示すように、カメラ座標系眼球中心座標計算部３０と、見かけの瞳孔中心計算部３２と、眼球モデル記憶部３４と、眼球位置姿勢推定部３６と、カメラ座標系角膜反射像計算部４０と、角膜反射像画像座標計算部４２とを備えている。
【００３３】
カメラ座標系眼球中心座標計算部３０は、以下のように、顔画像から、図５に示すカメラ座標系における眼球中心の３次元座標を推定する。
【００３４】
まず、予め、図５に示す顔モデル座標系における眼球中心（点Ｅ）の３次元座標
2020162759.tif 000004
を求めておく（図６参照）。
【００３５】
例えば、顔画像の角膜反射像から計算した角膜曲率中心と瞳孔中心を使って視線を計算し、計算した視線を用いて、眼球モデル座標系における眼球中心の３次元座標を推定する。
【００３６】
そして、カメラ座標系における顔モデル座標系の位置姿勢（回転並進ベクトル）を求める。
【００３７】
例えば、現在の顔画像に顔モデルをフィッティングさせることで、カメラ座標系に対する顔モデル座標系の現在の回転行列Ｒと並進ベクトルｔを求める。
【００３８】
そして、求めた回転並進ベクトルにより、顔モデル座標系における眼球中心の３次元座標をカメラ座標系における眼球中心の３次元座標に変換する。
【００３９】
具体的には、カメラ座標系における現在の眼球中心の3次元座標ｅを、以下の式に従って計算する。
【００４０】
【数２】
2020162759.tif 000005
(2)
【００４１】
見かけの瞳孔中心計算部３２は、以下に説明するように、顔画像上の目の瞳孔中心位置から、カメラ座標系における見かけの瞳孔中心の３次元座標を推定する。
【００４２】
まず、顔画像から、瞳孔中心を検出し、図５に示す画像座標系における瞳孔中心座標を求める。
【００４３】
具体的には、従来既知の技術を用いて、瞳孔中心の検出を行い、画像座標系における瞳孔中心座標
2020162759.tif 000006
を求める。
【００４４】
そして、瞳孔中心の画像座標からカメラ座標系における３次元座標を推定する。
【００４５】
具体的には、カメラ座標系における瞳孔中心のＺ座標を何等かの測距手段で求め、ｄzとする。画像中心の座標を(ｘc，ｙc)とする。カメラ座標系における瞳孔中心の３次元座標
2020162759.tif 000007
は、ピクセル単位で表される焦点距離をｆとすると以下になる。
【００４６】
【数３】
2020162759.tif 000008
(3)
【００４７】
眼球モデル記憶部３４には、２つの球からなる眼球モデルおよびそのパラメータが記憶されている。具体的には、眼球モデル記憶部３４には、角膜曲率半径ｒ、眼球中心Ｅと角膜曲率中心Ａとの距離ｕ、角膜曲率中心Ａと真の瞳孔中心Ｂとの距離ｓ、及び大気の屈折率ｎ1と房水の屈折率ｎ2の比(ｎ1/ｎ2)が記憶されている。なお、角膜曲率中心Ａと真の瞳孔中心Ｂとの距離ｓ、及び大気の屈折率ｎ1と房水の屈折率ｎ2の比(ｎ1/ｎ2)は、角膜反射法視線検出部２８で角膜反射法を用いてカメラ座標系における視線ベクトルを計算する際に用いられるパラメータである。
【００４８】
眼球位置姿勢推定部３６は、以下に説明するように、カメラ座標系における眼球中心の３次元座標と、カメラ座標系における見かけの瞳孔中心の３次元座標とに基づいて、カメラ座標系において、眼球中心の３次元位置から瞳孔中心の３次元位置へ向かう３次元の光軸ベクトルを計算する。
【００４９】
まず、画像撮像部１２の撮像方向と照射部１３の照射方向とが同軸とみなされるように配置されていること、図６に示す角ＣＥＤから、角度補正量を推定する。
【００５０】
具体的には、眼球中心Ｅから見かけの瞳孔中心までのベクトルを
【００５１】
2020162759.tif 000009
【００５２】
とすると、以下の式で表される。
【００５３】
【数４】
2020162759.tif 000010
(4)
【００５４】
カメラ座標系における見かけの瞳孔中心の３次元座標と前記カメラ座標系における眼球中心の３次元座標とを結んだ線分と、カメラ座標系における眼球中心の３次元座標と前記撮像部の３次元座標とを結んだ線分とのなす角ＣＥＤについて
2020162759.tif 000011
とすると、角ＣＥＤの角度ωを、以下の式に従って計算する。
【００５５】
【数５】
2020162759.tif 000012
(5)
【００５６】
そして、角ＣＥＤの角度と、角膜反射法で求める視線ベクトルｇcrと眼球モデルフィッティング法で求める視線ベクトルｇebとの角度差ρとの関係を予め求めておき、当該関係を用いて、角ＣＥＤの角度に対応する角度差ρを、補正量ρとして求める。
【００５７】
そして、カメラ座標系における眼球中心の３次元座標ｅと、眼球中心Ｅから見かけの瞳孔中心までのベクトルｇebと、角度補正量ρとに基づいて、カメラ座標系において、眼球中心の３次元座標から瞳孔中心の３次元座標へ向かう３次元の光軸ベクトルｇを、以下の式で計算する。
【数６】
2020162759.tif 000013
【００５８】
このように、補正量と眼球中心の３次元座標から光軸ベクトルが定まり、眼球中心の３次元座標と合わせれば、眼球モデルの位置姿勢が推定できる。
【００５９】
カメラ座標系角膜反射像計算部４０は、以下に説明するように、カメラ座標系における眼球中心の３次元座標と、光軸ベクトルと、予め定められた３次元眼球モデルとに基づいて、カメラ座標系における角膜反射像の３次元座標を求める。
【００６０】
まず、カメラ座標系における眼球中心の３次元座標ｅと、光軸ベクトルｇと、眼球モデル記憶部３４に記憶されている眼球中心Ｅと角膜曲率中心Ａとの距離ｕとを用いて、以下の式に従って、カメラ座標系における角膜曲率中心Ａの3次元座標ａを推定する。
【００６１】
【数７】
2020162759.tif 000014
(7)
【００６２】
そして、ベクトルＣＡ上で、角膜曲率中心Ａからの距離がｒとなる点を求める。
【００６３】
具体的には、角膜反射像Ｐの3次元ベクトルを
2020162759.tif 000015
とすると、点Ｐは直線ＣＡ上で点Ａから長さｒだけＣ側の点になるので、ｐは以下の式（8)で求められる。
【００６４】
【数８】
2020162759.tif 000016
(8)
【００６５】
角膜反射像画像座標計算部４２は、以下の説明するように、カメラ座標系における角膜反射像の３次元座標から、顔画像上の角膜反射像の画像座標を推定する。
【００６６】
まず、カメラパラメータを用いて、カメラ座標系における角膜反射像の３次元座標を、２次元投影する。
【００６７】
具体的には、ピクセル単位で表される焦点距離をｆ、 画像中心の座標を（ｘc，ｙc）とすると、角膜反射像の画像座標（Ｐx，Ｐy）は以下になる。
【００６８】
【数９】
2020162759.tif 000017
(9)
【００６９】
【数１０】
2020162759.tif 000018
(10)
【００７０】
以上の各部の処理により、瞳孔中心の観測値から角膜反射像の画像座標を推定することができる。
【００７１】
瞳孔推定部２４は、図７に示すように、カメラ座標系眼球中心座標計算部５０と、カメラ座標系角膜反射像計算部５２と、眼球モデル記憶部５４と、眼球位置姿勢推定部５６と、見かけの瞳孔中心計算部６０と、瞳孔中心画像座標計算部６２とを備えている。
【００７２】
カメラ座標系眼球中心座標計算部５０は、カメラ座標系眼球中心座標計算部３０と同様に、顔画像から、カメラ座標系における眼球中心の３次元座標を推定する。
【００７３】
カメラ座標系角膜反射像計算部５２は、前記顔画像上の目の角膜反射像の位置から、カメラ座標系における角膜反射像の３次元座標を推定する。
【００７４】
まず、従来既知の技術を用いて、顔画像から角膜反射像を検出し、画像座標における角膜反射像の座標
2020162759.tif 000019
を求める。
【００７５】
そして、角膜反射像の画像座標からカメラ座標系における角膜反射像の３次元座標を推定する。
【００７６】
具体的には、カメラ座標系における角膜反射像座標のＺ座標を何等かの測距手段で求め、ｐzとする。画像中心の座標を（ｘc，ｙc）とする。カメラ座標系における角膜反射像の３次元座標
2020162759.tif 000020
はピクセル単位で表される焦点距離をｆとすると以下になる。
【００７７】
【数１１】
2020162759.tif 000021
(11)
【００７８】
眼球モデル記憶部５４には、眼球モデル記憶部３４と同様に、角膜曲率半径ｒ、眼球中心Ｅと角膜曲率中心Ａとの距離ｕ、角膜曲率中心Ａと真の瞳孔中心Ｂとの距離ｓ、及び大気の屈折率ｎ1と房水の屈折率ｎ2の比(ｎ1/ｎ2)が記憶されている。なお、角膜曲率中心Ａと真の瞳孔中心Ｂとの距離ｓ、及び大気の屈折率ｎ1と房水の屈折率ｎ2の比(ｎ1/ｎ2)は、角膜反射法視線検出部２８で角膜反射法を用いてカメラ座標系における視線ベクトルを計算する際に用いられるパラメータである。
【００７９】
眼球位置姿勢推定部５６は、以下に説明するように、カメラ座標系における眼球中心の３次元座標と、カメラ座標系における角膜反射像の３次元座標とに基づいて、カメラ座標系において、眼球中心の３次元位置から角膜曲率中心の３次元位置へ向かう３次元の光軸ベクトルを計算する。
【００８０】
まず、画像撮像部１２の撮像方向と照射部１３の照射方向とが同軸とみなされるように配置されていること、カメラ座標系における角膜反射像の３次元座標ｐ、及び角膜曲率半径ｒを用いて、カメラ座標系における角膜曲率中心Ａの3次元座標を推定する。
【００８１】
具体的には、角膜曲率中心Ａの３次元ベクトルをａとすると、ａは直線ＣＰを長さｒだけＰ側に伸ばしたものなので、以下の式で表される。
【００８２】
【数１２】
2020162759.tif 000022
(12)
【００８３】
そして、カメラ座標系における角膜曲率中心Ａの３次元座標と、カメラ座標系における眼球中心の３次元座標とから光軸ベクトルを求める。
【００８４】
具体的には、光軸ベクトルｇは、カメラ座標系における眼球中心Ｅからカメラ座標系における角膜曲率中心Ａに向かうベクトルなので、以下の式に従って計算される。
【００８５】
【数１３】
2020162759.tif 000023
(13)
【００８６】
以上のように、光軸ベクトルが定まり、眼球中心座標の推定値と合わせれば、眼球モデルの位置姿勢が推定できる。
【００８７】
見かけの瞳孔中心計算部６０は、以下に説明するように、カメラ座標系における眼球中心の３次元座標と、光軸ベクトルと、予め定められた３次元眼球モデルとに基づいて、カメラ座標系における見かけの瞳孔中心の３次元座標を求める。
【００８８】
まず、光軸ベクトルｇと、カメラ座標系における眼球中心の３次元座標ｅとに基づいて、カメラ座標系における眼球中心の３次元座標Ｅとカメラ座標系の角膜曲率中心の３次元座標Ａとを結んだ線分ＥＡと、カメラ座標系における眼球中心の３次元座標Ｅと画像撮像部１２の３次元座標Ｃとを結んだ線分ＥＣとのなす角ＣＥＡを算出する。
【００８９】
具体的には、角ＣＥＤの角度をωとし、角ＤＥＡの角度をρとし、角ＣＥＡの角度を
2020162759.tif 000024
とすると、以下の式で表される。
【００９０】
【数１４】
2020162759.tif 000025
(14)
【００９１】
従って、内積計算により、
2020162759.tif 000026
は以下の式で求められる。
【００９２】
【数１５】
2020162759.tif 000027
(15)
【００９３】
そして、算出された角ＣＥＡの角度に対応して予め定められた角度補正量を取得する。
【００９４】
具体的には、角ＣＥＡの角度と、角膜反射法で求める視線ベクトルｇcrと眼球モデルフィッティング法で求める視線ベクトルｇebとの角度差ρとの関係を予め求めておき、当該関係を用いて、角ＣＥＡの角度に対応する角度差ρを、補正量ρとして求める。
【００９５】
そして、カメラ座標系における眼球中心の３次元座標ｅと、光軸ベクトルｇと、角度補正量ρと、に基づいて、カメラ座標系における眼球中心の３次元座標Ｅとカメラ座標系における角膜曲率中心の３次元座標Ａとを結んだベクトルｇebを以下の式で計算する。
【数１６】
2020162759.tif 000028
【００９６】
そして、カメラ座標系における眼球中心の３次元座標Ｅとカメラ座標系における角膜曲率中心の３次元座標Ａとを結んだベクトルｇeb上で、角膜曲率中心Ａからの距離がｒとなる点を求める。
【００９７】
具体的には、ＥとＤの距離をｘとおく。三角形ＥＤＡにおいて、ＡＥ＝ｕ、ＡＤ＝ｒ、角ＤＥＡの角度＝ρなので、余弦定理により以下の式(17)が成り立つ。ｘの二次方程式である式(17)をｘについて解き、大きい方の解をＥとＤの距離ｘとする。
【００９８】
【数１７】
2020162759.tif 000029
(17)
【００９９】
また、瞳孔中心Ｄの3次元ベクトルを
2020162759.tif 000030
とすると、Ｄはベクトルｇeb上でＥから距離ｘにある点なので、ｄは以下の式(18)で求められる。
【０１００】
【数１８】
2020162759.tif 000031
(18)
【０１０１】
瞳孔中心画像座標計算部６２は、カメラ座標系における見かけの瞳孔中心の３次元座標から、顔画像上の瞳孔中心の画像座標を推定する。
【０１０２】
具体的には、カメラパラメータを用いて、カメラ座標系における見かけの瞳孔中心の３次元座標を、２次元投影する。
【０１０３】
例えば、ｆをピクセル単位で表される焦点距離、画像中心座標を（ｘc，ｙc）とすると、瞳孔中心の画像座標（Ｄx，Ｄy）は以下になる。
【０１０４】
【数１９】
2020162759.tif 000032
(19)
【数２０】
2020162759.tif 000033
(20)
【０１０５】
以上説明した各部の処理により、角膜反射像の観測値から瞳孔中心の画像座標を推定することができる。
【０１０６】
角膜反射法視線検出部２８は、角膜反射像の画像座標と、瞳孔中心の画像座標とに基づいて、角膜反射法により、視線ベクトルを求めて、出力部１６により出力する。
【０１０７】
この際、角膜反射像の推定値と検出された角膜反射像の観測値とを比較して、角膜反射像の観測値が正しいかどうか判断すると共に、瞳孔中心の推定値と検出された瞳孔中心の観測値とを比較して、瞳孔中心の観測値が正しいかどうか判断する。そして、正しいと判断された角膜反射像の観測値と瞳孔中心の観測値を用いて、角膜反射法により、視線ベクトルを求める。
【０１０８】
＜視線計測装置の動作＞
次に、視線計測装置１０の動作について説明する。まず、照射部１３により近赤外の光を被験者の目に照射しているときに、画像撮像部１２で被験者の顔画像を連続的に撮像する。
【０１０９】
そして、コンピュータ１４において、撮像された顔画像毎に、図８に示す視線計測処理ルーチンを実行する。
【０１１０】
まず、ステップＳ１００において、画像撮像部１２で撮像された顔画像を取得する。
【０１１１】
そして、ステップＳ１０２において、顔画像から、角膜反射像の画像座標を推定する。
【０１１２】
ステップＳ１０４では、顔画像から、瞳孔中心の画像座標を推定する。
【０１１３】
ステップＳ１０６では、角膜反射像の画像座標と、瞳孔中心の画像座標とに基づいて、角膜反射法により、視線ベクトルを求めて、出力部１６により出力して、視線計測処理ルーチンを終了する。
【０１１４】
上記ステップＳ１０２は、図９に示す角膜反射像推定処理ルーチンにより実現される。
【０１１５】
まず、ステップＳ１１０において、現在の顔画像に顔モデルをフィッティングさせることで、カメラ座標系に対する顔モデル座標系の現在の回転行列Ｒと並進ベクトルｔを求める。
【０１１６】
そして、ステップＳ１１２において、求めた回転並進ベクトルにより、顔モデル座標系における眼球中心の３次元座標をカメラ座標系における眼球中心の３次元座標に変換する。
【０１１７】
ステップＳ１１４では、顔画像から、瞳孔中心を検出し、画像座標系における瞳孔中心座標を求める。
【０１１８】
ステップＳ１１６では、瞳孔中心の画像座標からカメラ座標系における３次元座標を推定する。
【０１１９】
ステップＳ１１８では、画像撮像部１２の撮像方向と照射部１３の照射方向とが同軸とみなされるように配置されていること、カメラ座標系における見かけの瞳孔中心の３次元座標と前記カメラ座標系における眼球中心の３次元座標とを結んだ線分と、前記カメラ座標系における眼球中心の３次元座標と前記撮像部の３次元座標とを結んだ線分とのなす角ＣＥＤの角度から、角度補正量を推定する。
【０１２０】
ステップＳ１２０では、角ＣＥＤの角度ωと、カメラ座標系における眼球中心の３次元座標ｅと、角度補正量とに基づいて、カメラ座標系において、眼球中心の３次元位置から瞳孔中心の３次元位置へ向かう３次元の光軸ベクトルｇを計算する。
【０１２１】
ステップＳ１２２では、カメラ座標系における眼球中心の３次元座標ｅと、光軸ベクトルｇと、眼球モデル記憶部３４に記憶されている眼球中心Ｅと角膜曲率中心Ａとの距離ｕとを用いて、カメラ座標系における角膜曲率中心Ａの３次元座標ａを推定する。
【０１２２】
そして、ステップＳ１２４では、ベクトルＣＡ上で、角膜曲率中心Ａからの距離がｒとなる点を求め、角膜反射像Ｐの3次元ベクトルを推定する。
【０１２３】
ステップＳ１２６では、カメラ座標系における角膜反射像の３次元座標から、顔画像上の角膜反射像の画像座標を推定する。
【０１２４】
上記ステップＳ１０４は、図１０に示す瞳孔中心推定処理ルーチンにより実現される。
【０１２５】
まず、ステップＳ１３０では、現在の顔画像に顔モデルをフィッティングさせることで、カメラ座標系に対する顔モデル座標系の現在の回転行列Ｒと並進ベクトルｔを求める。
【０１２６】
そして、ステップＳ１３２において、求めた回転並進ベクトルにより、顔モデル座標系における眼球中心の３次元座標をカメラ座標系における眼球中心の３次元座標に変換する。
【０１２７】
ステップＳ１３４では、顔画像から角膜反射像を検出し、画像座標における角膜反射像の座標を求める。
【０１２８】
そして、ステップＳ１３６では、角膜反射像の画像座標からカメラ座標系における角膜反射像の３次元座標を推定する。
【０１２９】
ステップＳ１３８では、画像撮像部１２の撮像方向と照射部１３の照射方向とが同軸とみなされるように配置されていること、カメラ座標系における角膜反射像の３次元座標ｐ、及び角膜曲率半径ｒを用いて、カメラ座標系における角膜曲率中心Ａの3次元座標を推定する。
【０１３０】
そして、ステップＳ１４０において、カメラ座標系における角膜曲率中心Ａの３次元座標と、カメラ座標系における眼球中心の３次元座標とから光軸ベクトルを求める。
【０１３１】
ステップＳ１４２では、光軸ベクトルｇと、カメラ座標系における眼球中心の３次元座標ｅとに基づいて、カメラ座標系における眼球中心の３次元座標Ｅとカメラ座標系の角膜曲率中心の３次元座標Ａとを結んだ線分ＥＡと、カメラ座標系における眼球中心の３次元座標Ｅと画像撮像部１２の３次元座標Ｃとを結んだ線分ＥＣとのなす角ＣＥＡを算出し、算出された角ＣＥＡの角度に対応して予め定められた角度補正量を取得する。
【０１３２】
ステップＳ１４４では、カメラ座標系における眼球中心の３次元座標ｅと、光軸ベクトルｇと、角度補正量ρと、に基づいて、カメラ座標系における眼球中心の３次元座標Ｅとカメラ座標系における角膜曲率中心の３次元座標Ａとを結んだベクトルｇebを計算する。
【０１３３】
そして、ステップＳ１４６において、カメラ座標系における眼球中心の３次元座標Ｅとカメラ座標系における角膜曲率中心の３次元座標Ａとを結んだベクトルｇeb上で、角膜曲率中心Ａからの距離がｒとなる点を求め、カメラ座標系における見かけの瞳孔中心の３次元座標とする。
【０１３４】
ステップＳ１４８では、カメラ座標系における見かけの瞳孔中心の３次元座標から、顔画像上の瞳孔中心の画像座標を推定する。
【０１３５】
以上説明したように、本発明の実施の形態に係る視線計測装置によれば、簡易な構成で、顔画像上の目の瞳孔中心位置から、視線計測のために顔画像上の角膜反射像の画像座標を精度良く求めることができる。また、簡易な構成で、顔画像上の目の角膜反射像の位置から、視線計測のために顔画像上の瞳孔中心の画像座標を精度良く求めることができる。
【０１３６】
また、カメラと照明が同軸とみなせる画像撮像部と、眼球中心推定技術と、３次元眼球モデルと、光軸ベクトルの補正技術を用いることで、角膜反射法で用いる２つの観測値（瞳孔中心と角膜反射像）の一方の観測結果から他方の画像座標のモデルベース推定が可能となる。これにより、観測値と推定値との比較で観測結果が正しいかどうか判断可能になり、低コストに観測の信頼性を上げることができる。
【符号の説明】
【０１３７】
１０   視線計測装置
１２   画像撮像部
１３   照射部
１４   コンピュータ
１６   出力部
２０   画像入力部
２２   角膜反射像推定部
２４   瞳孔推定部
２８   角膜反射法視線検出部
３０   カメラ座標系眼球中心座標計算部
３２   見かけの瞳孔中心計算部
３４、５４    眼球モデル記憶部
３６、５６    眼球位置姿勢推定部
４０   カメラ座標系角膜反射像計算部
４２   角膜反射像画像座標計算部
５０   カメラ座標系眼球中心座標計算部
５２   カメラ座標系角膜反射像計算部
６０   見かけの瞳孔中心計算部
６２   瞳孔中心画像座標計算部
【図１】
2020162759.tif 000034
【図２】
2020162759.tif 000035
【図３】
2020162759.tif 000036
【図４】
2020162759.tif 000037
【図５】
2020162759.tif 000038
【図６】
2020162759.tif 000039
【図７】
2020162759.tif 000040
【図８】
2020162759.tif 000041
【図９】
2020162759.tif 000042
【図１０】
2020162759.tif 000043
【図１１】
2020162759.tif 000044
【図１２】
2020162759.tif 000045
【図１３】
2020162759.tif 000046