(57)【要約】      （修正有）【課題】演算処理の負荷を低減して視線方向を推定可能な視線方向推定システム、視線方向推定方法及び視線方向推定プログラムを提供する。【解決手段】視線方向推定システム１は、撮影対象の２次元画像及び距離画像を取得するカメラ１０と視線方向推定装置３０とを備え、視線方向推定装置３０は、顔の２次元画像及び距離画像を利用して座標系を設定する座標系設定部３１と、視線方向推定部３２を備える。視線方向推定部３２は、眼球モデルに基づいた虹彩の３次元的な輪郭を画像平面に投影した虹彩の輪郭を、被撮影対象者の顔の２次元画像から抽出される虹彩の輪郭にフィティングすることによって第１及び第２回転角を算出し、算出された第１及び第２回転角並びに眼球モデルに基づいて決定される被撮影対象者の瞳孔中心と、第３の座標系の原点とから算出される光学軸に基づいて被撮影対象者の視線方向を推定する。【選択図】図４
2016173313.tif 000002
【特許請求の範囲】
【請求項１】
被撮影対象者の視線方向を推定する視線方向推定システムであって、
撮影対象の２次元画像及び前記撮影対象までの距離情報を含む距離画像を取得するカメラと、
前記カメラで撮影された前記被撮影対象者の顔の前記２次元画像及び前記距離画像に基づいて、前記被撮影対象者の視線方向を推定する視線方向推定装置と、
を備え、
前記視線方向推定装置は、
前記顔の前記２次元画像及び前記距離画像から前記カメラの第１の座標系に対する前記被撮影対象者の頭部の姿勢情報を算出して第２の座標系を設定すると共に、前記第２の座標系を並進移動して表される前記被撮影対象者の眼球の中心を原点とする前記眼球の第３の座標系、前記第３の座標系の原点を原点とし、前記第３の座標系に対する水平方向の回転角である第１回転角及び鉛直方向の回転角である第２回転角で表される前記被撮影対象者の虹彩の第４の座標系を設定する座標系設定部と、
眼球モデルに基づいた、前記カメラを介して前記第４の座標系における前記虹彩の３次元的な輪郭を前記第１の座標系における画像平面に投影したとした場合の前記虹彩の輪郭を、前記被撮影対象者の前記顔の前記２次元画像から抽出される前記虹彩の輪郭にフィティングすることによって、前記第１及び第２回転角を算出し、算出された前記第１及び第２回転角並びに前記眼球モデルに基づいて決定される前記被撮影対象者の瞳孔中心と、前記第３の座標系の原点とから算出される光学軸に基づいて前記被撮影対象者の視線方向を推定する視線方向推定部と、
を有する、
視線方向推定システム。
【請求項２】
前記視線方向推定部は、前記フィティングにより対応付けられた、前記第４の座標系における前記虹彩の３次元的な輪郭を前記画像平面に投影した際の各エッジ点と、前記２次元画像における前記虹彩の輪郭中の対応するエッジ点との対応関係を示すと共に前記第１及び第２回転角を未知パラメータとして含む目的関数を解くことによって、前記第１及び第２回転角を算出する、
請求項１に記載の視線方向推定システム。
【請求項３】
前記被撮影対象者が前記カメラの方を向き且つ前記カメラを注視している状態で撮影された前記被撮影対象者の顔の前記２次元画像及び前記距離画像に基づいて、前記第３の座標系の原点を校正する校正部を更に備える、
請求項１又は２に記載の視線方向推定システム。
【請求項４】
被撮影対象者の視線方向を推定する視線方向推定方法であって、
撮影対象の２次元画像及び前記撮影対象までの距離情報を含む距離画像を取得するカメラを用いて、前記被撮影対象者の顔を撮影する撮影工程と、
前記撮影工程で得られた前記顔の前記２次元画像及び前記距離画像から前記カメラの第１の座標系に対する前記被撮影対象者の頭部の姿勢情報を算出して第２の座標系を設定すると共に、前記第２の座標系を並進移動して表される前記被撮影対象者の眼球の中心を原点とする前記眼球の第３の座標系、前記第３の座標系の原点を原点とし、前記第３の座標系に対する水平方向の回転角である第１回転角及び鉛直方向の回転角である第２回転角で表される前記被撮影対象者の虹彩の第４の座標系を設定する座標系設定工程と、
眼球モデルに基づいた、前記カメラを介して前記第４の座標系における前記虹彩の３次元的な輪郭を前記第１の座標系における画像平面に投影したとした場合の前記虹彩の輪郭を、前記被撮影対象者の前記顔の前記２次元画像から抽出される前記虹彩の輪郭にフィティングすることによって、前記第１及び第２回転角を算出し、算出された前記第１及び第２回転角並びに前記眼球モデルに基づいて決定される前記被撮影対象者の瞳孔中心と、前記第３の座標系の原点とから算出される光学軸に基づいて前記被撮影対象者の視線方向を推定する視線方向推定工程と、
を備える、
視線方向推定方法。
【請求項５】
前記視線方向推定工程では、前記フィティングにより対応付けられた、前記第４の座標系における前記虹彩の３次元的な輪郭を前記画像平面に投影した際の各エッジ点と、前記２次元画像における前記虹彩の輪郭中の対応するエッジ点との対応関係を示すと共に前記第１及び第２回転角を未知パラメータとして含む目的関数を解くことによって、前記第１及び第２回転角を算出する、
請求項４に記載の視線方向推定方法。
【請求項６】
前記被撮影対象者の顔の前記２次元画像及び前記距離画像に基づいて、前記第３の座標系の原点を校正する校正工程を更に備え、
前記校正工程を実施する場合、前記撮影工程では、前記被撮影対象者が前記カメラの方を向いて且つ前記カメラを注視している状態で前記被撮影対象者を撮影する、
請求項４又は５に記載の視線方向推定方法。
【請求項７】
被撮影対象者の視線方向を推定する視線方向推定プログラムであって、
コンピュータに、
撮影対象の２次元画像及び前記撮影対象までの距離情報を含む距離画像を取得するカメラを用いて、前記被撮影対象者の顔を撮影して得られた、前記顔の前記２次元画像及び前記距離画像から前記カメラの第１の座標系に対する前記被撮影対象者の頭部の姿勢情報を算出して第２の座標系を設定すると共に、前記第２の座標系を並進移動して表される前記被撮影対象者の眼球の中心を原点とする前記眼球の第３の座標系、前記第３の座標系に対する水平方向の回転角である第１回転角及び鉛直方向の回転角である第２回転角で表される前記被撮影対象者の虹彩の第４の座標系を設定する座標系設定工程と、
眼球モデルに基づいた、前記カメラを介して前記第４の座標系における前記虹彩の３次元的な輪郭を前記第１の座標系における画像平面に投影したとした場合の前記虹彩の輪郭を、前記被撮影対象者の前記顔の前記２次元画像から抽出される前記虹彩の輪郭にフィティングすることによって、前記第１及び第２回転角を算出し、算出された前記第１及び第２回転角並びに前記眼球モデルに基づいて決定される前記被撮影対象者の瞳孔中心と、前記第３の座標系の原点とから算出される光学軸に基づいて前記被撮影対象者の視線方向を推定する視線方向推定工程と、
実行せしめる、視線方向推定プログラム。
【請求項８】
前記視線方向推定工程では、前記フィティングにより対応付けられた、前記第４の座標系における前記虹彩の３次元的な輪郭を前記画像平面に投影した際の各エッジ点と、前記２次元画像における前記虹彩の輪郭中の対応するエッジ点との対応関係を示すと共に前記第１及び第２回転角を未知パラメータとして含む目的関数を解くことによって、前記第１及び第２回転角を算出する、
請求項７に記載の視線方向推定プログラム。
【請求項９】
前記コンピュータに、
前記被撮影対象者が前記カメラの方を向いて且つ前記カメラを注視している状態で前記被撮影対象者を撮影することによって取得された前記被撮影対象者の顔の前記２次元画像及び前記距離画像に基づいて、前記第３の座標系の原点を校正する校正工程を更に実行せしめる、
請求項７又は８に記載の視線方向推定プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、視線方向推定システム、視線方向推定方法及び視線方向推定プログラムに関する。
【背景技術】
【０００２】
人間の視線方向を推定することは、例えば、車の運転手の行動解析、セキュリティモニタリング、人間の行動研究及び人間とコンピュータとのインターフェース等において重要である。視線方向推定の従来技術として、近年、撮影対象の２次元画像と、撮影対象までの距離情報を含む距離画像とを取得可能なＲＧＢ−Ｄカメラが利用されてきている。ＲＧＢ−Ｄカメラの例はマイクロソフト社製のＫｉｎｅｃｔ（登録商標）である。例えば、被特許文献１では、Ｋｉｎｅｃｔからの撮影画像情報と、眼球モデルとを利用して視線方向を推定している。そして、特許文献１では、視線方向の推定誤差が平均約１０°程度と報告されている。更に、特許文献２では、Ｋｉｎｅｃｔからの撮影画像情報及び眼球モデルの組み合わせに、更に学習プロセスを組み合わせることによって、視線方向の推定誤差が平均約３．４°程度と報告されている。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】J. Li, S. Li, “Eye-Model-Based Gaze Estimation by RGB-D Camera,”Computer Vision and Pattern Recognition Workshops, pp. 592-596, 2014
【非特許文献２】K. A. F Mora, J. Odobez, “Geometric Generative Gaze Estimation forRemote RGB-D Cameras,” In Proceedings of IEEE Conference on Computer Vision andPattern Recognition (CVPR 2014), pp. 1773-1780, 2014.
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、例えば、非特許文献２記載の技術では、学習プロセスを含むため演算処理が多くなり、演算処理の負荷が大きくなると考えられる。
【０００５】
そこで、本発明は、視線方向の推定に要する演算処理の負荷を低減可能な手段を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明に係る視線方向推定システムは、被撮影対象者の視線方向を推定する視線方向推定システムであって、撮影対象の２次元画像及び撮影対象までの距離情報を含む距離画像を取得するカメラと、カメラで撮影された被撮影対象者の顔の２次元画像及び距離画像に基づいて、被撮影対象者の視線方向を推定する視線方向推定装置と、を備える。視線方向推定装置は、顔の２次元画像及び距離画像からカメラの第１の座標系に対する被撮影対象者の頭部の姿勢情報を算出して第２の座標系を設定すると共に、第２の座標系を並進移動して表される被撮影対象者の眼球の中心を原点とする眼球の第３の座標系、第３の座標系の原点を原点とし、第３の座標系に対する水平方向の回転角である第１回転角及び鉛直方向の回転角である第２回転角で表される被撮影対象者の虹彩の第４の座標系を設定する座標系設定部と、眼球モデルに基づいた、カメラを介して第４の座標系における虹彩の３次元的な輪郭を第１の座標系における画像平面に投影したとした場合の虹彩の輪郭を、被撮影対象者の顔の２次元画像から抽出される虹彩の輪郭にフィティングすることによって、第１及び第２回転角を算出し、算出された第１及び第２回転角並びに眼球モデルに基づいて決定される被撮影対象者の瞳孔中心と、第３の座標系の原点とから算出される光学軸に基づいて被撮影対象者の視線方向を推定する視線方向推定部と、を有する。
【０００７】
上記構成では、撮影対象としての被撮影対象者の顔をカメラで撮影することにより、被撮影対象者の顔の２次元画像及び顔までの距離画像を得ることができる。そのようにして取得された２次元画像及び距離画像を利用して撮影対象者の頭部の姿勢情報を算出できることから、座標系設定部は、第１の座標系に対して第２の座標系を設定できる。この第２の座標系が設定されると、それを並進移動させた座標系として第３の座標系を設定できる。第３の座標系は、第２の座標系に対して固定されているので、被撮影対象者に対して第２及び第３の座標系の変換を示す並進ベクトルを規定しておけば、第１〜第３の座標系を相互に変換できる。更に、眼の虹彩に対する座標系である第４の座標系は、眼の構造上、第３の座標系に対して上記第１及び第２回転角で表される。視線方向が移動する際、虹彩も移動しているので、第１及び第２回転角は、視線方向を推定する際のパラメータとなるものである。
【０００８】
座標系設定部が上記第１〜第４の座標系を設定すれば、視線方向推定部は、第１〜第４の座標系及び眼球モデルを利用して視線方向を推定する。具体的には、設定された第１〜第４の座標系及び眼球モデルを利用することで、眼球モデルにおける虹彩の輪郭を、カメラの座標系である第１のカメラ座標系での画像平面に投影できる。この投影された輪郭を、実際に撮影された２次元画像から抽出される虹彩の輪郭にフィティングすることによって、第１及び第２回転角を算出できる。これにより、第３の座標系に対して第４の座標系が決定され、眼球モデルにおける虹彩の位置がわかるので、瞳孔中心の位置を算出できる。瞳孔中心と、眼球の中心、すなわち、第３の座標系の原点とを繋ぐ直線で示される軸は、光学軸として知られている。従って、瞳孔中心が上記のように算出されると、瞳孔中心と、第３の座標系の原点とから光学軸を算出できる。視線方向は光学軸に対して所定角度傾いた方向として知られているので、光学軸が算出されることで、視線方向を推定できる。
【０００９】
この場合、被撮影対象者の顔の２次元画像及び顔までの距離画像並びに眼球モデルを利用することで、視線方向を推定するための未知のパラメータは、第１及び第２回転角の２つのみである。そのため、上記視線方向推定システムによれば、演算処理の負荷を低減できる。
【００１０】
上記視線方向推定部は、フィティングにより対応付けられた、第４の座標系における虹彩の３次元的な輪郭を画像平面に投影した際の各エッジ点と、２次元画像における虹彩の輪郭中の対応するエッジ点との対応関係を示すと共に第１及び第２回転角を未知パラメータとして含む目的関数を解くことによって、第１及び第２回転角を算出し得る。
【００１１】
一実施形態において、被撮影対象者がカメラの方を向き且つカメラを注視している状態で撮影された被撮影対象者の顔の２次元画像及び距離画像に基づいて、第３の座標系の原点を校正する校正部を更に備えてもよい。このように、第３の座標系の原点を校正することで、被撮影対象者に応じた眼球位置がわかるので、視線方向をより正確に推定できる。
【００１２】
本発明の他の側面に係る視線方向推定方法は、被撮影対象者の視線方向を推定する視線方向推定方法であって、撮影対象の２次元画像及び撮影対象までの距離情報を含む距離画像を取得するカメラを用いて、被撮影対象者の顔を撮影する撮影工程と、撮影工程で得られた顔の２次元画像及び距離画像からカメラの第１の座標系に対する被撮影対象者の頭部の姿勢情報を算出して第２の座標系を設定すると共に、第２の座標系を並進移動して表される被撮影対象者の眼球の中心を原点とする眼球の第３の座標系、第３の座標系の原点を原点とし、第３の座標系に対する水平方向の回転角である第１回転角及び鉛直方向の回転角である第２回転角で表される被撮影対象者の虹彩の第４の座標系を設定する座標系設定工程と、眼球モデルに基づいた、カメラを介して第４の座標系における虹彩の３次元的な輪郭を第１の座標系における画像平面に投影したとした場合の虹彩の輪郭を、被撮影対象者の顔の２次元画像から抽出される虹彩の輪郭にフィティングすることによって、第１及び第２回転角を算出し、算出された第１及び第２回転角並びに眼球モデルに基づいて決定される被撮影対象者の瞳孔中心と、第３の座標系の原点とから算出される光学軸に基づいて被撮影対象者の視線方向を推定する視線方向推定工程と、を備える。
【００１３】
本発明の更に他の側面に係る視線方向推定プログラムは、被撮影対象者の視線方向を推定する視線方向推定プログラムであって、コンピュータに、撮影対象の２次元画像及び撮影対象までの距離情報を含む距離画像を取得するカメラを用いて、被撮影対象者の顔を撮影して得られた、顔の２次元画像及び距離画像からカメラの第１の座標系に対する被撮影対象者の頭部の姿勢情報を算出して第２の座標系を設定すると共に、第２の座標系を並進移動して表される被撮影対象者の眼球の中心を原点とする眼球の第３の座標系、第３の座標系に対する水平方向の回転角である第１回転角及び鉛直方向の回転角である第２回転角で表される被撮影対象者の虹彩の第４の座標系を設定する座標系設定工程と、眼球モデルに基づいた、カメラを介して第４の座標系における虹彩の３次元的な輪郭を第１の座標系における画像平面に投影したとした場合の虹彩の輪郭を、被撮影対象者の顔の２次元画像から抽出される虹彩の輪郭にフィティングすることによって、第１及び第２回転角を算出し、算出された第１及び第２回転角並びに眼球モデルに基づいて決定される被撮影対象者の瞳孔中心と、第３の座標系の原点とから算出される光学軸に基づいて被撮影対象者の視線方向を推定する視線方向推定工程と、を実行せしめる。
【００１４】
上記カメラで撮影して得られた被撮影対象者の顔の２次元画像及び顔までの距離画像を利用すれば、撮影対象者の頭部の姿勢情報を算出でできる。上記視線方向推定方法及び視線方向推定プログラムでは、被撮影対象者の顔の２次元画像及び顔までの距離画像から算出される上記姿勢情報を利用して、第１の座標系に対する第２の座標系を設定し、第２の座標系に対して一定の関係を有する第３及び第４の座標系を設定する。
【００１５】
これらの第１〜第４の座標系は相互に変換可能であることから、設定された第１〜第４の座標系及び眼球モデルを利用することで、虹彩の輪郭を、カメラの座標系である第１のカメラ座標系での画像平面に投影できる。この投影された輪郭を、実際に撮影された２次元画像から抽出される虹彩の輪郭にフィティングすることによって、第１及び第２回転角を算出できる。これにより、第３の座標系に対して第４の座標系が決定され、眼球モデルにおける虹彩の位置がわかるので、瞳孔中心の位置を算出できる。瞳孔中心と、眼球の中心、すなわち、第３の座標系の原点とを繋ぐ直線で示される軸は、光学軸として知られている。従って、瞳孔中心が上記のように算出されると、瞳孔中心と、第３の座標系の原点とから光学軸を算出できる。視線方向は光学軸に対して所定角度傾いた方向として知られているので、光学軸が算出されることで、視線方向を推定できる。
【００１６】
この場合、被撮影対象者の顔２次元画像及び顔までの距離画像並びに眼球モデルを利用することで、視線方向を推定するための未知のパラメータは、第１及び第２回転角の２つのみである。そのため、上記視線方向推定方法及び視線方向推定プログラムによれば、演算処理の負荷を低減できる。
【００１７】
上記視線方向推定工程では、フィティングにより対応付けられた、第４の座標系における虹彩の３次元的な輪郭を画像平面に投影した際の各エッジ点と、２次元画像における虹彩の輪郭中の対応するエッジ点との対応関係を示すと共に第１及び第２回転角を未知パラメータとして含む目的関数を解くことによって、第１及び第２回転角を算出し得る。
【００１８】
一実施形態に係る視線方向推定方法では、被撮影対象者の顔の２次元画像及び距離画像に基づいて、第３の座標系の原点を校正する校正工程を更に備え、校正工程を実施する場合、撮影工程では、被撮影対象者がカメラの方を向いて且つカメラを注視している状態で前記被撮影対象者を撮影してもよい。
【００１９】
同様に、一実施形態に係る視線方向推定プログラムでは、コンピュータに、被撮影対象者がカメラの方を向いて且つカメラを注視している状態で被撮影対象者を撮影することによって取得された被撮影対象者の顔の２次元画像及び距離画像に基づいて、第３の座標系の原点を校正する校正工程を更に実行せしめてもよい。
【００２０】
このように、校正工程を行う又はコンピュータに実行させることで、被撮影対象者に応じた眼球位置がわかるので、視線方向をより正確に推定できる。
【発明の効果】
【００２１】
本発明によれば、視線方向推定の精度を維持しながら、視線方向の推定に要する処理時間を短縮可能な手段を提供できる。
【図面の簡単な説明】
【００２２】
【図１】一実施形態に係る視線方向推定システムが使用するカメラの模式図出る。
【図２】一実施形態に係る視線方向推定システムで視線方向を推定する際に使用する眼球モデルの模式図である。
【図３】一実施形態に係る視線方向推定システムで視線方向を推定する際に使用する４つの座標系の模式図である。
【図４】一実施形態に係る視線方向推定システムのブロック図である。
【図５】眼球モデルにおける虹彩の輪郭上の点の位置座標を説明するための図面である。
【図６】虹彩のフィッティング実験の実験結果を示す図面である。
【図７】視線方向推定の実験結果を示す図面である。
【図８】視線方向推定の平均誤差を示す図表である。
【発明を実施するための形態】
【００２３】
以下、図面を参照して本発明の実施形態について説明する。以下の説明においては、同一の要素には同一の符号を用いると共に、重複する説明を省略する。
【００２４】
一実施形態に係る視線方向推定システムは、カメラで被撮影対象者を撮影し、撮影された画像及び眼球モデル２０を利用して被撮影対象者の視線方向を推定するためのものである。視線方向推定システムは、人間の視線方向を推定するシステムであり、例えば、運転手の行動解析、セキュリティモニタリング、人間の行動研究及び人間とコンピュータとのインターフェースなどに適用され得る。
【００２５】
視線方向推定システムは、図１に模試的に示したカメラ１０を利用する。カメラ１０は、撮影対象のＲＧＢ画像（２次元画像）と共に、撮影対象までの距離情報を含む距離画像を取得可能な、いわゆるＲＧＧ―Ｄカメラである。カメラ１０の例は、マイクロソフト社製のＫｉｎｅｃｔ（登録商標）である。
【００２６】
カメラ１０は、ＲＧＢカメラ１１と、距離画像取得部１２とを有する。ＲＧＢカメラ１１は、撮影対象の２次元カラー画像を取得する２次元画像取得部である。距離画像取得部１２は、赤外線（ＩＲ）カメラ１２Ａと、所定のパターンを赤外線で投影するＩＲプロジェクタ１２Ｂとを有する。
【００２７】
カメラ１０では、ＲＧＢカメラ１１によって、ＲＧＢ画像を取得する。また、ＩＲプロジェクタ１２ＢによってＩＲ（赤外線）を使用して投影された所定のパターンをＩＲカメラ１２Ａが撮影することによって、所定パターンの歪み状態などに基づいて距離画像を取得する。
【００２８】
図２を利用して視線方向推定システムで利用する眼球モデル２０について説明する。図２には、説明の都合上、カメラ１０を模式的に示している。眼球モデル２０は、大きさの異なる２つの球２１，２２によって人間の眼の構造をモデル化したものである。図２において、球２１が眼球であり、いわゆる白目に対応する部分である。球２２は、球２１の表面近傍に位置しており、いわゆる角膜のモデルであって、黒目に相当する部分である。虹彩及び瞳孔は角膜内にある。
【００２９】
球２１の中心Ｃと、瞳孔（或いは虹彩）中心Ｐｆとを繋いだ仮想線が光学軸ＳＯに対応する。以下では、中心Ｃを眼球中心Ｃとも称す。球２２の中心ＣＰは光学軸ＳＯ上に位置する。本明細書で視線方向ＤＧとは、視軸の方向を意味しており、角膜のモデルである球２２の中心ＣＰと、注視点Ｇとを結ぶ仮想的な直線の方向である。視線方向ＤＧは、光学軸ＳＯと、所定角度θを為している。所定角度θは、個人差はあるが、ほぼ一定の角度と見なせる。以下の説明では、特に断らない限り、角度θは、視線方向ＤＧが推定される被撮影対象者によらず一定とする。
【００３０】
前述したように、虹彩及び瞳孔は角膜の内側に位置するが、カメラ１０では、角膜表面が撮影されることになるので、図２では、光学軸ＳＯと球２２との交点を瞳孔中心Ｐｆと図示している。カメラ１０で被撮影対象者が撮影された場合、図２に示した点ＰｆがＲＧＢ画像上に現れる。球２２と球２１とが交わって形成される曲線Ａを虹彩の輪郭とする。以下では、曲線Ａを輪郭Ａとも称す。
【００３１】
眼球モデル２０において、球２１の中心Ｃと球２２の中心Ｃｐとの間の距離をＫ０とし、中心Ｃと、瞳孔中心Ｐｆとの間の距離をＫとする。Ｋ０及びＫは眼球モデル２０で設定される定数である。Ｋ０及びＫは、実際には個人差はあるが、個人差はほぼ無視できるとして一般的な人間の眼球の多さに基づいた値を設定しておけばよい。例えば、Ｋ＝１３．１ｍｍであり、Ｋ０＝５．３ｍｍである。
【００３２】
次に、図３を利用して視線方向推定システムで使用する座標系について説明する。被撮影対象者の視線方向ＤＧを推定するために、図３に示すように、４つの座標系、すなわち、カメラ座標系（第１の座標系）ＳＣ、頭部座標系（第２の座標系）ＳＨ、眼球座標系（第３の座標系）Ｓｅ及び虹彩（アイリス）座標系（第４の座標系）Ｓｐを使用する。座標系は、右手系及び左手系でもよいが、以下では特に断らない限り、４つの座標系は全て右手系の座標系である。図３に示した眼球モデル２０において、球２２は省略し、球２１のみを図示している。ただし、説明の都合上、虹彩の輪郭Ａを示している。図３において、ハッチングで示す平面Ｑは、輪郭Ａを含む面であり、点ｑは、平面ＱとＺｐ軸との交点である。
【００３３】
カメラ座標系ＳＣは、カメラ１０に設定される３次元座標系（ＯＣ―ＸＣＹＣＺＣ）である。本明細書において、カメラ座標系ＳＣのＺＣ軸は、被撮影対象者側に向いており、ＹＣ軸は、鉛直方向を向いている。以下では、特に断らない限り、カメラ座標系ＳＣは、ＲＧＢカメラ１１の座標系である。一実施形態において、カメラ座標系ＳＣの原点ＯＣはＲＧＢカメラ１１の光学中心として設定できる。ただし、ＲＧＢカメラ１１の座標系とＩＲカメラ１２Ａの座標系は相互に変換できるため、ＩＲカメラ１２Ａの座標系をカメラ座標系ＳＣと設定していてもよい。
【００３４】
頭部座標系ＳＨは、被撮影対象者の頭部に対して設定される３次元座標系（ＯＨ―ＸＨＹＨＺＨ）である。本実施形態では、座標系間の変換を容易にする観点から、カメラ座標系ＳＣに対応させて鉛直方向をＹＨ軸方向とする。また、ＺＨ軸は、後頭部に向いているとする。頭部座標系ＳＨとカメラ座標系ＳＣは相互に変換可能であり、その座標変換は、並進ベクトルＴ及び回転行列Ｒで表される。並進ベクトルＴ及び回転行列Ｒは、頭部のカメラ１０に対する姿勢情報でもある。
【００３５】
眼球座標系Ｓｅは、被撮影対象者の眼球に対して設定される３次元座標系（Ｏｅ−ＸｅＹｅＺｅ）であり、図１に示した眼球モデル２０において、球２１に対して設定される座標系である。よって、原点Ｏｅは、球２１の中心Ｃに対応する。人間の構造上、眼球座標系Ｓｅは、頭部座標系ＳＨを並進移動させたものとして設定できる。従って、眼球座標系Ｓｅと頭部座標系ＳＨとは相互に変換でき、その座標変換は、並進ベクトルＴｅで表される。そのため、眼球座標系ＳｅのＹｅ軸方向は鉛直方向であり、Ｚｅ軸は、後頭部に向いている。
【００３６】
虹彩座標系Ｓｐは、被撮影対象者の虹彩に対して設定される３次元座標系（Ｏｐ−ＸｐＹｐＺｐ）である。虹彩座標系Ｓｐの原点Ｏｐは、眼球座標系Ｓｅの原点Ｏｅと同じとし、Ｚｐ軸は、瞳孔中心Ｐｆを通り、虹彩平面に直交する軸として設定する。虹彩座標系Ｓｐ及び眼球座標系Ｓｅの原点は同じであることから、虹彩座標系Ｓｐと眼球座標系Ｓｅとの間は、ロールα、ヨー（第１回転角）β及びピッチ（第２回転角）γの各回転角を利用して相互変換できる。
【００３７】
ただし、虹彩が眼球上で移動する際、人間の構造上、虹彩は、鉛直方向周りの回転（すなわち、水平方向の動き）と、水平方向周りの回転（すなわち、鉛直方向の動き）だけである。従って、虹彩座標系Ｓｐは、ロールαを０とすることができる。そのため、虹彩座標系Ｓｐ及び眼球座標系Ｓｅ間の変換は２つの回転角度であるヨーβ及びピッチγのみで表される。なお、ヨーβは、眼球座標系ＳｅのＸｅ軸周りに回転角であり、被撮影対象者の顔を見た場合に左右方向の動きを示している。ピッチγは、Ｙｅ軸周りの回転角を示しており、被撮影対象者の顔を見た場合に上下方向の動きを示している。
【００３８】
以上説明したカメラ１０、眼球モデル２０及び４つの座標系を利用して視線方向ＤＧを推定する視線方向推定システム１は、図４に示したブロック図のように、カメラ１０と、視線方向推定装置３０とを備える。図４は、カメラ１０及び視線方向推定装置３０の主な機能を示す機能ブロック図である。カメラ１０については、前述したので説明は省略するが、以下ではカメラ１０は、Ｋｉｎｅｃｔとする。
【００３９】
視線方向推定装置３０は、カメラ１０と配線を介して電気的に接続されており、カメラ１０で取得された画像（具体的には画像データ）は配線を介して視線方向推定装置３０に入力される。カメラ１０からの画像、例えば、無線通信を利用して、視線方向推定装置３０に入力されてもよい。
【００４０】
視線方向推定装置３０は、図２に示した４つの座標系を設定する座標系設定部３１と、視線方向ＤＧを推定する視線方向推定部３２と、眼球座標系Ｓｅの原点Ｏｅ、すなわち、眼球中心の位置を校正する校正部３３と、視線方向推定プログラムを含む各種プログラム及びデータを格納する記憶部３４と、を有する。
【００４１】
視線方向推定装置３０は、ＣＰＵを含む情報処理装置（コンピュータ装置）であって、記憶部３４に格納された相対姿勢情報作成プログラムをＣＰＵが実行することで上記情報処理装置が視線方向推定装置３０として機能する。
【００４２】
視線方向推定装置３０が有する各構成要素（座標系設定部３１、視線方向推定部３２及び校正部３３など）は、バスなどによって接続されて、データなどを通信可能である。視線方向推定装置３０は、記憶部３４に格納された視線方向推定プログラムを実行することによって、座標系設定部３１、視線方向推定部３２及び校正部３３の機能が実現される。視線方向推定装置３０は、通常の情報処理装置が有する他の構成要素、すなわち、データ及び指示（例えばユーザの指示）の入力を受け付ける入力部及びデータを出力するための出力部等を含むが、以下では、視線方向推定装置３０の特徴部分を中心にして説明する。
【００４３】
座標系設定部３１は、カメラ１０のＲＧＢカメラ１１及び距離画像取得部１２で撮影された被撮影対象者の顔のＲＧＢ画像（２次元画像）及び距離画像に基づいて、図３に示した４つの座標系を設定する。
【００４４】
具体的には、カメラ１０から入力された被撮影対象者の顔のＲＧＢ画像及び距離画像に基づいて、被撮影対象者の頭部の姿勢情報、すなわち、回転行列Ｒ及び並進ベクトルＴを算出する。これは例えば頭部が動いた時の画像の変化に基づいて公知の技術で算出され得る。そして、カメラ１０がＫｉｎｅｃｔである場合、Ｋｉｎｅｃｔの機能により自動的に算出される。
【００４５】
算出されたＲ及びＴを利用して、カメラ座標系ＳＣに対する頭部座標系ＳＨを設定する。頭部座標系ＳＨと、並進ベクトルＴｅに基づいて眼球座標系Ｓｅを設定する。更に、眼球座標系Ｓｅに対して、ヨーβ及びピッチγで表される虹彩座標系Ｓｐを設定する。
【００４６】
校正部３３は、被撮影対象者がＲＧＢカメラ１１を注視している場合のＲＧＢ画像及び距離画像に基づいて、眼球中心Ｃを校正する。具体的には、頭部座標系ＳＨと眼球座標系Ｓｅとを変換するための並進ベクトルＴｅを校正する。校正方法は、被撮影対象者がＲＧＢカメラ１１の方向を向いて注視している点以外は、非特許文献１と同様の方法である。
【００４７】
具体的には、図１において、被撮影対象者がＲＧＢカメラ１１を注視している場合、図１における注視点Ｇは、カメラ座標系ＳＣの原点ＯＣに対応する。カメラ座標系ＳＣにそれぞれ変換された眼球中心Ｃ（球２１の中心）の位置ベクトルをＣＣとし、球２２の中心Ｃｐの位置ベクトルをＣｐＣとし、瞳孔中心Ｐｆの位置ベクトルをＰｆＣとする。
【００４８】
そして、ベクトル[ＣｐＣＯＣ]とベクトル[ＣｐＣＰｆＣ]とのなす角度がθであるという関係から以下の式（１）が成立する。なお、[ＣｐＣＯＣ]は、位置ベクトルＣｐＣから位置ベクトルＯＣに向かうベクトルを示しており、[ＣｐＣＰｆＣ]は、位置ベクトルＣｐＣから位置ベクトルＰｆＣに向かうベクトルを示している。
【数１】
2016173313.tif 000003
ここで、位置ベクトルＣｐＣ、位置ベクトルＣＣ及び位置ベクトルＰｆＣの間には、下記式（２）が成立する。
【数２】
2016173313.tif 000004
式（２）において、Ｋ及びＫ０は定数である。また、Ｐｆｃは、非撮影対象者がＲＧＢカメラ１１の方向を向いて注視している場合に撮影されたＲＧＢ画像に基づいて算出され得る。具体的には、以下の参考文献において、Febian Timm and Erhardt Barthらが提案しているように、ＲＧＢ画像から抽出される虹彩のエッジ点の勾配を利用して瞳孔中心としてのＰｆｃが算出される。
参考文献：F. Timm, E. Barth. Accurate eye center localization by means of gradients.In Proceedings of the International Conference on Computer Theory andApplications, volume 1, pp. 125-130, 2011.
【００４９】
従って、被撮影対象者の頭部の位置を複数回変えながら撮影された画像に基づいて得られたＰｆｃを利用しながら、式（１）に示した非線形方程式を、例えば、Levenberg-Marquardt Algorithm(LMA)を利用して解くことにより、眼球中心Ｃを校正できる。これにより、校正された並進ベクトルＴｅが得られる。なお、眼球中心Ｃは、３次元座標で表されるため、３つのパラメータを有する。従って、被撮影対象者の頭部の位置は少なくとも３回変えておけばよい。
【００５０】
視線方向推定部３２は、ＲＧＢカメラ１１を介して、眼球モデル２０に基づいた虹彩座標系Ｓｐにおける虹彩の３次元的な輪郭をカメラ座標系ＳＣにおける画像平面に投影する。そして、視線方向推定部３２は、その投影された虹彩の輪郭を、被撮影対象者の顔のＲＧＢ画像から抽出される虹彩の輪郭にフィティングすることによって、被撮影対象者の瞳孔中心を算出する。視線方向推定部３２は、この算出された瞳孔中心と眼球座標系Ｓｅの原点Ｏｅとから光学軸ＳＯを算出し、視線方向ＤＧは光学軸ＳＯに対して所定角度θの方向であるというであるという視線方向ＤＧと光学軸ＳＯとの関係に基づいて被撮影対象者の視線方向ＤＧを推定する。
【００５１】
視線方向推定部３２における視線推定の原理についてより具体的に説明する。
【００５２】
＜瞳孔中心の初期値算出＞
ＲＧＢ画像を利用して、上述した参考文献記載の方法により、瞳孔中心を算出する。具体的には、ＲＧＢ画像の特徴点に基づいて、ＲＧＢ画像上の眼を抽出する。この眼の抽出は、例えば、カメラ１０がＫｉｎｅｃｔである場合、ＫｉｎｅｃｔのＳＤＫライブラリを利用することで抽出できる。更に、抽出した眼の領域から特徴点に基づいて虹彩を抽出する。この抽出は公知の方向で為されればよい。次に、虹彩の輪郭上のエッジ点の勾配に基づいて虹彩の中心、すなわち、瞳孔中心の位置を算出する。この瞳孔中心の位置を虹彩中心の初期値（或いは、初期位置）とする。
【００５３】
＜虹彩フィティング＞
虹彩は、人間の眼の構造上、その法線方向（図２の光学軸Ｓ０又は図３のＺｐ軸方向）から見た場合の形状は円形であるが、通常画像上では楕円で表される。そこで、３次元空間における虹彩の輪郭を、虹彩の法線方向からみた場合の形状を楕円と近似し、虹彩の輪郭上の点（エッジ点）Ｐｐｉの虹彩座標系Ｓｐにおける座標を、図３に示したように、（ａ・ｃｏｓ（ｔｉ）、ｂ・ｓｉｎ（ｔｉ），Ｌ）と表す（ｉは、１以上の任意の整数であり、エッジ点を区別するためのものである）。
【００５４】
ここで、図３及び図５を利用して点Ｐｐｉの座標表示に用いたＬ，ａ，ｂ及びｔｉについて説明する。図３に示すように、平面ＱとＺｐ軸との交点を点ｑとする。Ｌは、点ｑと原点Ｏｐとの間の距離であり、眼球モデル２０において設定されるものである。Ｌは、個人差はあるものの、ほぼ一定の値をみなせ、Ｌの値は例えば１０．５ｍｍである。輪郭Ａは、平面Ｑに含まれており、Ｚｐ軸と平面Ｑとは直交するため、輪郭Ａ上の点の虹彩座標系ＳｐにおけるＺｐ座標の値は、Ｌとなる。
【００５５】
図５は、Ｚｐ軸方向から見た輪郭Ａの模式図である。図５では、輪郭Ａを楕円として表している。説明のために、点ｑを通りＸｐ軸に平行な軸をｘｐ軸とし、Ｙｐ軸に平行な軸をｙｐ軸とする。上記ａは、ｘｐ軸方向における輪郭Ａ（楕円）の長さの半分であり、輪郭Ａを、Ｚｐ軸方向から見た場合の楕円の横方向半径に対応する。一方、ｂは、ｙｐ軸方向における輪郭Ａ（楕円）の長さの半分であり、輪郭Ａを、Ｚｐ軸方向から見た場合の楕円の縦方向半径に対応する。ｔｉは、点ｑと点Ｐｐｉとを結んだ直線とのなす角度を示す媒介変数（パラメータ）である。ａ＝ｂの場合、輪郭Ａは円形である。この場合、点ＰｐｉのＸｐｉ（ｘｐｉ）座標及びＹｐｉ（ｙｐｉ）座標それぞれは、円の半径をｒとした場合、ｒ・ｃｏｓ（ｔｉ）及びｒ・ｓｉｎ（ｔｉ）と表される。図３及び図５では、輪郭Ａを楕円で近似しているため、Ｘｐｉ（ｘｐｉ）座標を表す際、ｒに変えてａを使用し、Ｙｐｉ（ｙｐｉ）座標を表す際に、ｒに変えてｂを使用していることになる。
【００５６】
点Ｐｐｉの位置ベクトルＰｐｉは、次式により、眼球座標系Ｓｅ上の位置ベクトルＰｅｉに変換され得る。
【数３】
2016173313.tif 000005
【００５７】
ＲＰは、虹彩座標系Ｓｐを眼球座標系Ｓｅに変化するための変換行列であり、ロール(roll)α、ヨーβ及びピッチγで表されるが、前述したように、ロールαは０である。式（３）中の“・”は内積を示している。
【００５８】
次に、眼球座標系Ｓｅにおける位置ベクトルＰｅｉを頭部座標系ＳＨの位置ベクトルＰｈｉに変換する。眼球座標系Ｓｅは、頭部座標系ＳＨに対して並進移動したものに対応することから、位置ベクトルＰｈｉは、次のように表される。
【数４】
2016173313.tif 000006
【００５９】
続いて、位置ベクトルＰｈｉを、カメラ座標系ＳＣの位置ベクトルＰｃｉに変換する。この変換は、次式で表される。式（５）中の“・”は内積を示している。
【数５】
2016173313.tif 000007
【００６０】
位置ベクトルＰｅｉは、カメラ座標系ＳＣにおける虹彩の輪郭上のエッジ点の３次元位置を表す。Ｐｃｉを（ｘｃｉ，ｙｃｉ、ｚｃｉ）と表し、位置ベクトルＰｃｉが、ＲＧＢカメラ１１で投影された画像平面における像点の位置ベクトルをＩＰｉ（ｕｉ，ｖｉ）とすると、ＩＰｉは、次のように表される。
【数６】
2016173313.tif 000008
ここで、Ｍは、カメラ１０（二次元画像部）の内部パラメータを含む投影行列である。これまでの式から、ｕｉ及びｖｉは、関数ｆ，ｇを用いて次のように表される。
【数７】
2016173313.tif 000009
上記の式（７ａ）及び式（７ｂ）より、以下の式が導かれる。
【数８】
2016173313.tif 000010
式（８ａ）及び式（８ｂ）において、関数ｈ及びｋは、式（７ａ）及び式（７ｂ）を解いて得られる関数である。
【００６１】
ｓｉｎ２(ｔi)＋ｃｏｓ２(ｔi)＝１という関係を利用すれば、目的関数Ψは、式（９）で表される。目的関数Ψは、眼球モデル２０に基づいて画像平面に投影された虹彩の輪郭上の点Ｐｐと対応するＲＧＢ画像上の虹彩の輪郭のエッジ点との対応関係を示す関数である。
【数９】
2016173313.tif 000011
式（９）において、Ｒ及びＴは、カメラ１０で取得されたＲＧＢ画像及び距離画像から得られている。Ｍはカメラ１０固有の投影行列であるため既知である。Ｌ，ａ，ｂ，Ｔｅ，ｕｉ，ｖｉは眼球モデル２０において設定するものであるため、既知である。従って、式（９）においては、β及びγの２つが未知パラメータである。
【００６２】
一つのＲＧＢ画像からは一つのエッジ点群が得られる。更に、＜瞳孔中心の初期値算出＞で述べた方法により瞳孔中心の初期値は得られる。よって、初期のβ及びγがわかっていることになる。この状態では、Levenberg-Marquardt Algorithm(LMA)を使用して、式（９）を解くことができる。具体的には、エッジ点群を構成する各エッジ点に対して式（９）が得られるので、上記エッジ点群に対して得られた複数の式（９）において誤差を最小にする最適なβ及びγが算出される。
【００６３】
β及びγが算出されると、カメラ座標系ＳＣにおける瞳孔中心の位置ベクトルＰｆｃは、式（３），（４）及び式（５）と同様の変換を利用して虹彩座標系Ｓｐにおける位置ベクトル（０，０，Ｋ）から算出される。なお、瞳孔中心Ｐｆと、眼球中心Ｃとの間の距離Ｋは、定数と仮定している。
【００６４】
＜視線推定＞
上記の様に瞳孔中心Ｐｆが算出されれば、眼球モデル２０における眼球中心Ｃと、瞳孔中心Ｐｆとから図１に示した光学軸ＳＯが算出されるので、所定角度θを用いて視線方向ＤＧが算出される。
【００６５】
視線方向推定部３２は、上記原理に基づいて、式（９）を利用してβ及びγを算出することで、光学軸ＳＯを特定し、視線方向ＤＧを推定する。カメラ座標系ＳＣにおいて、視線方向ＤＧを、ＸＣＺＣ平面に投影した際の投影線と、ＺＣ軸とのなす角度をδとし、上記投影線と視線方向ＤＧとのなす角度（換言すれば、視線方向ＤＧとＸＣＺＣ平面とのなす角度）をψとする。
【００６６】
次に視線方向推定システム１を利用した被撮影対象者の視線推定方法について説明する。まず、眼球中心Ｃが校正されている状態での視線推定方法について説明する。
【００６７】
カメラ１０で被撮影対象者の顔を撮影し、顔のＲＧＢ画像及び距離画像を取得する（撮影工程）。この際、被撮影対象者の頭部を顔が写るように撮影されていればよい。そのため、被撮影対象者の上半身が撮影されてもよいし、被撮影対象者の全身が撮影されていてもよい。
【００６８】
カメラ１０で撮影された画像を視線方向推定装置３０が受け取ると、視線方向推定装置３０の座標系設定部３１が、図２に示した４つの座標系を設定する（座標系設定工程）。
【００６９】
次に、視線方向推定部３２が、カメラ１０からのＲＧＢ画像及び距離画像を利用して、前述した方法で被撮影対象者の視線方向ＤＧを推定する（視線方向推定工程）。
【００７０】
具体的には、まず、ＲＧＢ画像上の眼に含まれる虹彩の輪郭上のエッジ点を特定し、瞳孔中心Ｐｆの初期値を算出する（初期値算出工程）。
【００７１】
次に、眼球モデル２０における虹彩の輪郭をＲＧＢカメラ１１の画像平面で表されるＲＧＢ画像上に投影したとした場合において、投影された輪郭と、実際に取得されたＲＧＢ画像における虹彩の輪郭に対してフィティングし、虹彩座標系Ｓｐの眼球座標系Ｓｅに対する回転角であるヨーβ及びピッチγを算出する。具体的には、式（９）及び初期値算出工程で算出された初期値を利用してヨーβ及びピッチγを算出する（フィティング工程（又は回転角度算出工程））。
【００７２】
算出されたヨーβ及びピッチγ及び眼球モデル２０に基づいて光学軸ＳＯを決定し、光学軸ＳＯに所定角度θを演算することで、視線方向ＤＧを算出する（視線方向算出工程）。
【００７３】
次に、眼球中心Ｃの校正工程を含む場合について説明する。
【００７４】
眼球中心Ｃを校正する場合、上記撮影工程において、被撮影対象者がカメラ１０の方を向いており、且つ、カメラ１０を注視している状態で、被撮影対象者の顔を撮影する。本実施形態では、ＲＧＢカメラ１１のカメラ座標系を、カメラ１０のカメラ座標系ＳＣと設定しているため、被撮影対象者は、ＲＧＢカメラ１１の方を向き且つＲＧＢカメラ１１を注視していることが好ましい。
【００７５】
校正用の画像が視線方向推定装置３０に入力されると、前述したように、座標系設定工程を実施する。その後、校正部３３が、前述した方法によって、眼球中心Ｃの位置を校正する。具体的には、並進ベクトルＴｅを算出する。算出された並進ベクトルＴｅは、例えば、記憶部３４に保存される。
【００７６】
なお、眼球中心Ｃの校正は、同じ被撮影対象者に対しては一度行っておけばよい。そして、校正工程を実施した後の、視線方向推定では、校正工程で校正された眼球中心Ｃの位置、換言すれば、並進ベクトルＴｅを使用すればよい。視線方向推定装置３０が校正工程を実施するか否かは、例えば、視線方向推定装置３０が有する入力部を介して、校正を実施するモードか否かのモードの切り替えの入力の有無で判断すればよい。また、例えば、視線方向推定装置３０を車の運転支援システムで使用する際、運転手毎に一度校正工程を実施しておけば、その後は、運転手がそれぞれ入力部を介して各自の校正データを使用するように選択すればよい。
【００７７】
上記視線方向推定システム１（視線方向推定プログラム）及び視線方向推定方法では、眼球モデル２０を使用することで、虹彩の輪郭を２つの未知のパラメータβ及びγで表している。通常、楕円を示すパラメータは５つ（長軸を示すパラメータ、短軸を示すパラメータ、傾きを示すパラメータ、楕円の中心を示す２つのパラメータ）であるのに対してパラメータ数が減っているため、視線推定に要する演算処理の負荷が低減している。その結果、スピードを向上できるので、演算処理時間も短縮可能である。
【００７８】
また、被撮影対象者の眼の向き又は瞼の閉じ具合などから虹彩の一部しかＲＧＢ画像上に写っていないこともある。そのため、ＲＧＢ画像上から抽出された虹彩にのみ基づいて瞳孔中心Ｐｆを算出した場合には瞳孔中心Ｐｆの算出誤差が大きくなる。これに対して、本実施形態では、眼球モデル２０に基づいた虹彩をＲＧＢ画像上の虹彩にフィティングすることによって、瞳孔中心Ｐｆを算出している。そのため、瞳孔中心Ｐｆをより正確に求めることができる。従って、視線方向ＤＧを更に正確に算出可能である。
【００７９】
また、校正部３３において、眼球中心Ｃを校正していることから、視線方向ＤＧを更に正確に推定できる。校正部３３で眼球中心Ｃを校正する場合、被撮影対象者がカメラ１０を向き且つカメラ１０を注視している状態で撮影された画像を使用している。そのため、例えば、従来のように、被撮影対象者がカメラ１０とは異なるターゲットを見ている場合のように、ターゲットがカメラ１０と被撮影対象者との間に位置して校正できないということがない。従って、より確実且つ正確に眼球中心Ｃを校正できる。
【００８０】
次に実験結果について説明する。以下の実験１，２では、図２に示すＫ、Ｋ０及びＬをそれぞれ、Ｋ＝１３．１ｍｍ、Ｋ０＝５．３ｍｍ、Ｌ＝１０．５ｍｍとした。また、カメラ１０はＫｉｎｅｃｔを使用した。Ｋｉｎｅｃｔで得られるＲＧＢ画像の画素数は、１２８０×９６０画素であり、距離画像の画素数は、６４０×４８０画素であった。また、被撮影対象者とカメラ１０との間の距離は、約７０ｃｍ（０．７ｍ）とした。
【００８１】
＜実験１＞
実験１では、被撮影対象者の頭部を固定し、眼を種々の方向に向けた状態をカメラ１０で種々撮影し、得られた各ＲＧＢ画像及び距離画像に基づいて、図４に示した視線方向推定装置３０の視線方向推定部３２でヨーβ及びピッチγを算出した。カメラ１０には、Ｋｉｎｅｃｔを使用した。そして、算出されたヨーβ及びピッチγに基づいて虹彩座標系Ｓｐで表される虹彩の輪郭及び瞳孔中心Ｐｆを各ＲＧＢ画像上に投影した。
【００８２】
図６は虹彩のフィッティング結果を示す図面である。図６の（ａ）は、被撮影対象者がカメラ１０の方を向き且つカメラ１０を注視している場合の画像を示す図面であり、図６の（ｂ）〜図６の（ｅ）のそれぞれは、図６の（ａ）の状態から眼が上側、下側、右側（被撮影対象者から見て）及び左側（被撮影対象者から見て）を見ている場合の画像を示す図面である。
【００８３】
図６の（ａ）〜図６の（ｅ）において、白丸は、視線方向推定部３２において眼球モデル２０で算出した瞳孔中心であり、×印は、ＲＧＢ画像にのみ基づいた瞳孔中心であり、前述した説明の初期値である。更に、△印は、ＲＧＢ画像から抽出した虹彩のエッジ点を示している。一方、白い円は、視線方向推定部３２で算出したヨーβ及びピッチγに基づいた虹彩のフィッティング結果である。
【００８４】
図６の（ａ）は、被撮影対象者がカメラ１０の方を向き且つカメラ１０を注視している場合であるため、虹彩の全体がほぼ画像に表れている。そのため、瞳孔中心Ｐｆの位置は、前述した＜瞳孔中心の初期値算出＞において説明した方法で算出した初期値と、式（９）を解いた結果を利用した場合とでほぼ一致している。また、ＲＧＢ画像から抽出した虹彩のエッジ点も、フィッティング結果とほぼ同じである。なお、前述した、眼球中心Ｃの校正用の画像を撮影する場合は、図６の（ａ）の状態で撮影することが好ましい。
【００８５】
図６の（ｂ）〜図６の（ｅ）では、ＲＧＢ画像から抽出した虹彩のエッジ点は、フィッティング結果とほぼ同じである一方、眼が正面を向いておらず、更に瞼などで一部が隠れているため、瞳孔中心Ｐｆを式（９）で計算したβ及びγを利用して計算した場合と、初期値との間に差が生じている。
【００８６】
従って、図４に示した視線方向推定装置３０を利用して瞳孔中心Ｐｆを算出すれば、例えば、虹彩が瞼などで隠れていて一部しか画像に表れていなくても、正確に瞳孔中心Ｐｆを算出できる。その結果、視線方向ＤＧもより正確に推定できることがわかる。
【００８７】
＜実験２＞
次に、被撮影対象者がカメラ１０のＲＧＢカメラ１１を常に注視しながらカメラ１０に対して頭部を動かしている状態で被撮影対象者をカメラ１０で複数回撮影し、各撮影に基づいて被撮影対象者の視線方向ＤＧを、前述した視線方向ＤＧ推定方法で推定した。具体的には、（δ，ψ）を算出した。カメラ１０は、Ｋｉｎｅｃｔを使用した。また、撮影回数は、４８回とした。
【００８８】
図７は、視線方向推定結果を示す図面である。具体的には、図７の（ａ）は、被撮影対象者の左眼に対する実験結果であり、図７の（ｂ）は、被撮影対象者の右眼に対する実験結果である。図７の（ａ）及び（ｂ）において、横軸は、撮影回数であり、縦軸は、角度である。図７の（ａ）及び（ｂ）には、推定値としてのδ及びψを示している。
【００８９】
また、実験中において、被撮影対象者は、常にＲＧＢカメラ１１を注視しているため、各撮影ポイントでの、被撮影対象者の眼の位置と、ＲＧＢカメラ１１とをつなぐ仮想的な直線方向をその撮影ポイントでの視線方向ＤＧの真値とした。図７の（ａ）及び（ｂ）には、この真値としてのδ及びψも比較のために図示している。
【００９０】
図７の（ａ）及び（ｂ）から、若干のブレはあるものの真値に近い視線方向ＤＧが算出できていることがわかる。
【００９１】
上記実験２を異なる被撮影対象者Ｈ１，Ｈ２，Ｈ３に対して行った。その結果において、左眼及び右眼の視線方向推定結果におけるδ及びψの誤差の平均を算出した。算出結果を図８に示す。図８において、被撮影対象者Ｈ１，Ｈ２，Ｈ３それぞれの左眼及び右眼の誤差の平均を更に３人で平均した結果は、３．２５°であった。
【００９２】
実験条件などが異なるため一概に比較できないが、非特許文献２では視線方向の推定誤差の平均は３．４°と報告されていることから、本実施形態で説明した方法では、非特許文献２とほぼ同等の正確さで視線方向を推定できていることになる。一方、本実施形態では前述したように、演算処理が軽減されているので、精度の向上を図りながらより早く視線方向を推定できている。
【００９３】
以上、本発明の種々の実施形態及び実験例等について説明したが、本発明は、上述した種々の実施形態及び実験例等に限定されない。例えば、校正部（校正工程）は、必ずしも備えていなくてもよい。例えば、人間（成人）の一般的な平均値としての眼球中心Ｃ、すなわち、並進ベクトルＴｅを使用しても良い。なお、校正部３３を視線方向推定装置３０が有する形態では、被撮影対象者が同じである場合には校正部３３による校正工程は、一番初めに一度行っていればよい。また、虹彩の初期値は、視線方向推定部３２が算出するとして説明したが、例えば、虹彩の初期値算出部を別途有していても良い。更に、例示した種々の実施形態などは、本発明の趣旨を逸脱しない範囲で適宜組み合わせられ得る。
【符号の説明】
【００９４】
１…視線方向推定システム、１０…カメラ、１１…ＲＧＢカメラ（２次元画像取得部）、１２…距離画像取得部、３０…視線方向推定装置、３１…座標系設定部、３２…視線方向推定部、３３…校正部。
【図１】
2016173313.tif 000012
【図２】
2016173313.tif 000013
【図３】
2016173313.tif 000014
【図４】
2016173313.tif 000015
【図５】
2016173313.tif 000016
【図７】
2016173313.tif 000017
【図８】
2016173313.tif 000018
【図６】
2016173313.tif 000019