(57)【要約】【課題】  視線推定を行う際に用いる眼球中心位置の推定において、個人差が存在する眼球半径を考慮しつつ、高速かつ安定に計算が収束 することを可能とすること。【解決手段】  人物の頭部姿勢を推定する頭部姿勢推定手段１と、頭部座標系にて表現された２点の眼球特徴点座標に基づいて頭部座標系における眼球中心位置の候補を設定する頭部座標系眼球中心位置候補設定手段２と、前記頭部姿勢推定手段１の推定結果である頭部姿勢、前記頭部座標系眼球中心位置候補設定手段２で設定された眼球中心位置候補、および顔画像から検出される瞳孔中心位置を用いてカメラ座標系における眼球中心位置を算出するカメラ座標系眼球中心位置算出手段３と、前記カメラ座標系眼球中心位置算出手段３で設定されたカメラ座標系における眼球中心位置に基づいて頭部座標系における眼球中心位置と眼球半径を推定する眼球パラメータ推定手段４を有する。【選択図】      図１
2008136789.tif 000002
【特許請求の範囲】
【請求項１】
頭部座標系の原点のカメラ座標系における３自由度（ｘ、ｙ、ｚ軸）としての位置データと頭部座標系座標軸のカメラ座標系座標軸に対する３自由度（ｘ、ｙ、ｚ軸）としての回転角度データを、頭部姿勢データとして推定する頭部姿勢推定手段と、
前記頭部座標系であらかじめ設定された眼球上の２つの眼球特徴点の座標に基づいて当該頭部座標系における眼球中心位置データの候補を設定する頭部座標系眼球中心位置候補設定手段と、
前記頭部姿勢推定手段で推定された頭部姿勢データ、前記頭部座標系眼球中心位置候補設定手段で設定された眼球中心位置候補データ、および顔画像から検出される瞳孔中心位置データを用いて前記カメラ座標系における眼球中心位置を算出するカメラ座標系眼球中心位置算出手段と、
前記注視点、瞳孔中心、および眼球中心の位置データと本来の前記３つの位置データを結ぶ直線とのずれが最小となるように、眼球中心位置と眼球半径を推定する眼球パラメータ推定手段
を有することを特徴とする眼球パラメータ推定装置。
【請求項２】
目頭と目尻を前記眼球上の２つの特徴点として用いることを特徴とする請求項１記載の眼球パラメータ推定装置。
【請求項３】
前記注視点として前記画像を取得するカメラのレンズ中心を用いることを特徴とする請求項２記載の眼球パラメータ推定装置。
【請求項４】
前記位置データは顔画像に基づいて人物の頭部座標系の原点のカメラ座標系における位置ベクトルを以下の数１に示される数式によって計算することによって得られ、
【数１】
2008136789.tif 000057
前記回転角度データは前記頭部座標系座標軸のカメラ座標系のｘ、ｙ、ｚ軸に対する回転角度をα、β、γとした時の回転行列Ｒを以下の数２に示される数式によって計算することによって得られる
【数２】
2008136789.tif 000058
ことを特徴とする請求項１記載の眼球パラメータ推定装置。
【請求項５】
頭部座標系眼球中心位置候補設定手段２は、予め定められた頭部座標系における眼球上の２つの特徴点の座標と仮決めした眼球半径（ｒ）を読み込み、当該眼球半径（ｒ）の球を、該２つの特徴点のそれぞれを中心として生成し、当該２つの球の交円上に頭部座標系における眼球中心位置の候補を設定する
ことを特徴とする請求項４記載の眼球パラメータ推定装置。
【請求項６】
前記カメラ座標系眼球中心位置算出手段３は、頭部姿勢を用い、前記頭部座標系での眼球中心位置候補データをカメラ座標系で作成し、あらかじめ指定された注視点を注視している人物の瞳孔中心を前記画像から検出し、前記注視点（Ｏ''）、前記瞳孔中心（ｉ）、および前記眼球中心（Ｏ）の三つの位置が同一直線上に近くなるようにカメラ座標系における眼球中心位置を算出する
ことを特徴とする請求項５記載の眼球パラメータ推定装置。
【請求項７】
前記瞳孔中心の検出は円形の黒領域を検出する画像処理にて行われることを特徴とする請求項６記載の眼球パラメータ推定装置。
【請求項８】
頭部座標系の原点のカメラ座標系における３自由度（ｘ、ｙ、ｚ軸）としての位置データと頭部座標系座標軸のカメラ座標系座標軸に対する３自由度（ｘ、ｙ、ｚ軸）としての回転角度データを、頭部姿勢データとして推定する第１のステップと、
前記頭部座標系であらかじめ設定された眼球上の２つの眼球特徴点の座標に基づいて当該頭部座標系における眼球中心位置データの候補を設定する第２のステップと、
前記推定された頭部姿勢データ、前記設定された眼球中心位置候補データ、および顔画像から検出される瞳孔中心位置データを用いて前記カメラ座標系における眼球中心位置を算出するステップと、
前記注視点、瞳孔中心、および眼球中心の位置データと本来の前記３つの位置データを結ぶ直線とのずれが最小となるように、眼球中心位置と眼球半径を推定するステップ
を有することを特徴とする眼球パラメータ推定方法。
【請求項９】
目頭と目尻を前記眼球上の２つの特徴点として用いることを特徴とする請求項８記載の眼球パラメータ推定方法。
【請求項１０】
前記注視点として前記画像を取得するカメラのレンズ中心を用いることを特徴とする請求項９記載の眼球パラメータ推定方法。
【請求項１１】
前記第１のステップにおいて、前記位置データを顔画像に基づいて人物の頭部座標系の原点のカメラ座標系における位置ベクトルを以下の数３に示される前記数式（１）によって計算し、
【数３】
2008136789.tif 000059
前記回転角度データを得るために前記頭部座標系座標軸のカメラ座標系のｘ、ｙ、ｚ軸に対する回転角度をα、β、γとした時の回転行列Ｒを以下の数４に示される前記数式（２）に従って計算する
【数４】
2008136789.tif 000060
ことを特徴とする請求項８記載の眼球パラメータ推定方法。
【請求項１２】
前記第２のステップにおいて、予め定められた頭部座標系における眼球上の２つの特徴点の座標と仮決めした眼球半径（ｒ）を読み込み、当該眼球半径（ｒ）の球を、該２つの特徴点のそれぞれを中心として生成し、当該２つの球の交円上に頭部座標系における眼球中心位置の候補を設定する
ことを特徴とする請求項１１記載の眼球パラメータ推定方法。
【請求項１３】
前記第３のステップにおいて、頭部姿勢を用い、前記頭部座標系での眼球中心位置候補データをカメラ座標系で作成し、あらかじめ指定された注視点を注視している人物の瞳孔中心を前記画像から検出し、前記注視点（Ｏ''）、前記瞳孔中心（ｉ）、および前記眼球中心（Ｏ）の三つの位置が同一直線上に近くなるようにカメラ座標系における眼球中心位置を算出する
ことを特徴とする請求項１２記載の眼球パラメータ推定方法。
【請求項１４】
前記瞳孔中心の検出は円形の黒領域を検出する画像処理にて行われることを特徴とする請求項１３記載の眼球パラメータ推定方法。
【請求項１５】
前記第２のステップにおいて、眼球半径（ｒ）と眼球における眼球中心の位置を表し、極座標表現した際の位相角（θ）、学習係数（ρ）、学習の終了判定に用いる閾値（Ｔｈ）をそれぞれ初期化し、ｔを転置ベクトルとして以下の数５に示される数式（３）で表される、目頭と目尻を結ぶ単位ベクトルを計算し、
【数５】
2008136789.tif 000061
得られた単位ベクトルの要素から以下の数６〜数９にそれぞれ示される数式（４），（５），（６），（７）に従って三角関数を計算し、
【数６】
2008136789.tif 000062
【数７】
2008136789.tif 000063
【数８】
2008136789.tif 000064
【数９】
2008136789.tif 000065
これらの値を用いて以下の数１０に示される数式（８）で表される回転行列（Ｒ'）を計算し、
【数１０】
2008136789.tif 000066
目頭と目尻の距離を２Ｌとして、前記目尻及び前記目頭をそれぞれ中心とした半径（ｒ）の球の交わり円が、以下の数１１に示される数式（９）で表される半径（ｒ'）で、中心が目尻と目頭の中点Ｍ=(ｓ，ｔ，ｕ)の円となり、
この円を極座標表現した際の位相角をθとして、頭部座標系における眼球中心位置の候補Ｏ=(Ｏｘ,Ｏｙ,Ｏｚ)を以下の数１２に示される数式（１０）の関係を満たすように設定する
【数１１】
2008136789.tif 000067
【数１２】
2008136789.tif 000068
ことを特徴とする請求項８記載の眼球パラメータ推定方法。
【請求項１６】
前記第３のステップにおいて、前記設定された眼球中心位置を外１として、以下の数１３に示される数式（１１）の関係式に基づいて、前記算出した頭部座標系原点のカメラ座標系における位置ベクトル外２と上記回転行列（Ｒ）を用いて、以下の数１４に示される数式（１２）にしたがってカメラ座標系における眼球中心の位置ベクトルを計算する
[外１]
2008136789.tif 000069
【数１３】
2008136789.tif 000070
[外２]
2008136789.tif 000071
【数１４】
2008136789.tif 000072
ことを特徴とする請求項１５記載の眼球パラメータ推定方法。
【請求項１７】
前記第３のステップにおいて、画像中央の座標を(ｖ，ｗ)、焦点距離をｆとすると、カメラ座標系での瞳孔中心座標(Ｉｘ，Ｉｙ，Ｉｚ)は以下の数１５及び数１６にそれぞれ示される数式（１３）及び数式（１４）で表され、カメラ座標系原点（Ｏ''）と眼球中心までの距離（Ｘ）を、以下の数１７に示される数式（１５）にて求め、以下の数１８及び数１９にそれぞれ示される数式（１６）及び数式（１７）を導き
【数１５】
2008136789.tif 000073
【数１６】
2008136789.tif 000074
【数１７】
2008136789.tif 000075
【数１８】
2008136789.tif 000076
【数１９】
2008136789.tif 000077
上記数式(１３)，(１４)，(１７)を用いて、カメラ座標系において瞳孔中心ｉから眼球中心Ｏに向かうベクトルを外３としてカメラ座標系での瞳孔中心座標を以下の数２０に示される数式（１８）で設定し、
【数２０】
2008136789.tif 000078
[外３]
2008136789.tif 000079
前記瞳孔中心（ｉ）から眼球中心（Ｏ）に向かうベクトルを、以下の数２１に示される数式（１９）にて求める
【数２１】
2008136789.tif 000080
ことを特徴とする請求項１６記載の眼球パラメータ推定方法。
【請求項１８】
前記第４のステップにおいて、以下の数２２に示される数式（２０）にて評価関数（Ｊ）を算出し、
【数２２】
2008136789.tif 000081
前記数式(２２)で示される評価関数Ｊを最小とするように第１の眼球パラメータ（ｒ，θ）を推定し、
変数（ｒ'）の前記眼球半径（ｒ）に関する偏微分および頭部座標系における眼球中心座標の、第２の眼球パラメータ（ｒ'，θ）に関する偏微分を、以下の数２３〜数２９にそれぞれ示される数式（２１）〜数式（２７）に従って計算し、
【数２３】
2008136789.tif 000082
【数２４】
2008136789.tif 000083
【数２５】
2008136789.tif 000084
【数２６】
2008136789.tif 000085
【数２７】
2008136789.tif 000086
【数２８】
2008136789.tif 000087
【数２９】
2008136789.tif 000088
外４の眼球中心位置に関する偏微分を、以下の数３０〜数３２にそれぞれ示される数式（２８）〜数式（３０）に従って計算し、
[外４]
2008136789.tif 000089
【数３０】
2008136789.tif 000090
【数３１】
2008136789.tif 000091
【数３２】
2008136789.tif 000092
外５の眼球中心位置に関する偏微分を、以下の数３３に示される数式（３１）に従って計算し、
[外５]
2008136789.tif 000093
【数３３】
2008136789.tif 000094
外６の眼球中心位置に関する偏微分を、上記数式(１３)，(１４)のｋｘ，ｋｙ、上記数式(１７)のｋ２、上記数式(２８)，(２９)，(３０)のＡ，Ｂ，Ｃを用いて、外７がそれぞれ外８のｘ，ｙ，ｚ成分であるとして、以下の数３４〜数３６にそれぞれ示される数式（３２）〜数式（３４）に従って計算し、
[外６]
2008136789.tif 000095
【数３４】
2008136789.tif 000096
【数３５】
2008136789.tif 000097
【数３６】
2008136789.tif 000098
[外７]
2008136789.tif 000099
[外８]
2008136789.tif 000100
外９の眼球中心位置に関する偏微分を、Ｍ＝１／ｋ２Ｘ，Ｐ＝１／ｋ２Ｙとし、上記数式(１３)，(１４)のｋｘ，ｋｙ、上記数式(１７)のｋ２、上記数式(２８)，(２９)，(３０)のＡ，Ｂ，Ｃを用いて、以下の数３７〜数３９にそれぞれ示される数式（３５）〜数式（３７）に従って計算し、
[外９]
2008136789.tif 000101
【数３７】
2008136789.tif 000102
【数３８】
2008136789.tif 000103
【数３９】
2008136789.tif 000104
上記偏微分の結果を用いて、評価関数（Ｊ）の眼球中心位置に関する偏微分を以下の数４０に示される数式（３８）に基づいて計算し、
【数４０】
2008136789.tif 000105
上記数式(２２)〜数式（２７）と、上記数式(３８)と、以下の数４１及び数４２にそれぞれ示される数式（３９）及び数式（４０）に基づいて、評価関数（Ｊ）の眼球パラメータに関する偏微分を計算し、
【数４１】
2008136789.tif 000106
【数４２】
2008136789.tif 000107
前記評価関数（Ｊ）と前記閾値（Ｔｈ）との比較が行われ、前記評価関数（Ｊ）が前記閾値（Ｔｈ）よりも小さくなった場合には眼球パラメータの推定処理を終了し、大きい場合には前記眼球パラメータ推定処理を続行する
ことを特徴とする請求項１７記載の眼球パラメータ推定方法。
【請求項１９】
前記数式(３９)及び数式（４０）を用いて、以下の数４３及び数４４にそれぞれ示される数式（４１）及び数式（４２）に従って、前記眼球パラメータ（ｒ，θ）の更新を行う
【数４３】
2008136789.tif 000108
【数４４】
2008136789.tif 000109
ことを特徴とする請求項１８記載の眼球パラメータ推定方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は眼球パラメータ推定装置及び方法に関し、カメラ画像中の人物の視線を推定するために必要な眼球中心位置と眼球半径を、眼球パラメータとして画像から推定する眼球パラメータ推定装置及び方法に関する。
【背景技術】
【０００２】
人間の感情や行動を、機械を用いて理解・予測する技術は、社会に広範なニーズがある。例えば、人間とよりフレンドリーな応対か可能なロボットを実現するためには相手の感情を理解する必要がある。また行動予測により挙動不審な行動をとる人物か監視カメラから特定できれば、監視作業にあたる人員の削減・省労力化が可能となる。感情理解や行動予測を行う上で重要な手がかりとして、人物の視線が挙げられる。なせなら、人間は外界から取得する情報に基づいて思考を行ったり行動を決定したりするが、これらの情報のうちの大部分が視覚からの情報だからである。
【０００３】
例えば、自動車の運転者に向けて設置したカメラを用いて取得される画像から運転者の視線を推定し、自分の車の左側から接近しているバイクを見ずに左折しようとしていることが分かれば、巻き込み運転という行動を予測することができる。また、広告ディスプレイの視聴者に向けて設置したカメラを用いてディスプレイの前に立つ人の視線を推定し、その注視点が一点に滞留しているようであれば、その視聴者が注視点位置に表示された情報に興味を示しているという情報を得ることができる。
【０００４】
視線は３次元空間における直線であるから、視線を定義するためには３次元空間内で２点を定める必要がある。眼球を水晶体が作る球と角膜部分か作る部分球とが組み合わさった構造物と見なし、角膜部分球の中心と瞳孔中心を、視線を定義する２点とする考え方がある。この手法は一般的に角膜反射法と呼ばれ、眼球に近赤外照明光を照射した際に目領域内に観測される反射光の像(角膜反射像もしくはプルキニエ像)と瞳孔中心と照明の相対位置から、頭部に固定した座標系における眼球の回転角を算出し、何らかの方法で推定した頭部姿勢の世界座標系での表現と眼球回転を組み合わせることで、世界座標系における視線を推定することができる(例えば以下の特許文献１を参照されたい)。
【０００５】
なお、以下では人物を撮像するカメラに付随して決める３次元座標系をカメラ座標系、人物の頭部に付随して決める座標系を頭部座標系と記述する。また前記世界座標系とは、人物、カメラのいずれとも関係なく任意に決める座標系を意味する。眼球は様々な光源からの光を反射することが可能であるため、一般的に照明光源と角膜反射像との対応を求めることは難しい。したがって角膜反射法は、目領域を撮影するカメラと照明光源が人物に非常に近い(例えはヘッドマウントディスプレイに組み込まれている)場合には有効であるが、人物がカメラ等を身につける必要があり煩わしいという問題点がある。
【０００６】
一方、眼球を一つの球と考え、眼球中心と瞳孔中心を視線の定義に用いる２点とする考え方がある。この考え方では、カメラと照明光源が人物に対してどこにあろうとも無関係に視線を推定することができる。なお以下では、眼球中心位置と眼球半径を眼球パラメータと記述する。
【０００７】
瞳孔は眼球表面に現れている特徴点なのでカメラ画像から検出することが可能であるが、眼球中心は人体内部にあるため画像からは直接的に検出することはできない。この眼球中心位置を推定するための技術が、以下の特許文献２、特許文献３に公開されている。
【０００８】
前記特許文献２に記載のシステムでは、眼球中心位置を推定するためのキャリブレーション作業において、座標が既知である注視点を被験者に複数姿勢で注視させ、全ての姿勢で視線が設定した注視点を通る事実を基に眼球中心を推定する。
【０００９】
前記特許文献３に記載のシステムでは、目頭と目尻の中点を通り、頭部姿勢から決まる方向ベクトルを持つ直線上に眼球中心か存在するとしている。
【００１０】
【特許文献１】特開平７−５５９４１号公報
【特許文献２】特表２００４−５０４６８４号公報
【特許文献３】特開２００３−１５８１６号公報
【発明の開示】
【発明が解決しようとする課題】
【００１１】
従来技術の課題は、個人差が存在する眼球半径を考慮しつつ、高速かつ安定に計算が収束する眼球中心の位置推定が実現できない点である。
【００１２】
上記特許文献２では、頭部姿勢、眼球の幾何学的性質および位置から眼球中心位置を推定するとあるが、その具体的記述はない。
【００１３】
上記特許文献３では、頭部姿勢から決まるという方向ベクトルの具体的な記述がない上に、方向ベクトルが決まったとしても眼球半径が分からなければ眼球中心位置を決めることができないが、本来個人差かある眼球半径をどのように推定するかという点について解決法が示されていない。
【００１４】
そこで本発明は、人物に予め指定した注視点を注視させ、眼球を完全な球体であると仮定し、眼球半径も推定すべきパラメータとした上で、眼球上に存在する２点の特徴点の位置関係を利用することで、該人物の眼球中心位置と眼球半径の推定を高速かつ安定に行う眼球パラメータ推定装置及び方法を実現することを目的とする。
【課題を解決するための手段】
【００１５】
上記課題を解決するために、本発明は、以下の特徴を有する課題を解決するための手段を採用する。
【００１６】
本発明の第１の態様に係る眼球パラメータ推定装置は、
頭部座標系の原点のカメラ座標系における３自由度（ｘ、ｙ、ｚ軸）としての位置データと頭部座標系座標軸のカメラ座標系座標軸に対する３自由度（ｘ、ｙ、ｚ軸）としての回転角度データを、頭部姿勢データとして推定する頭部姿勢推定手段と、
前記頭部座標系であらかじめ設定された眼球上の２つの眼球特徴点の座標に基づいて当該頭部座標系における眼球中心位置データの候補を設定する頭部座標系眼球中心位置候補設定手段と、
前記頭部姿勢推定手段で推定された頭部姿勢データ、前記頭部座標系眼球中心位置候補設定手段で設定された眼球中心位置候補データ、および顔画像から検出される瞳孔中心位置データを用いて前記カメラ座標系における眼球中心位置を算出するカメラ座標系眼球中心位置算出手段と、
前記注視点、瞳孔中心、および眼球中心の位置データと本来の前記３つの位置データを結ぶ直線とのずれが最小となるように、眼球中心位置と眼球半径を推定する眼球パラメータ推定手段
を有することを特徴とする。
【００１７】
本発明の第２の態様に係る眼球パラメータ推定方法は、
頭部座標系の原点のカメラ座標系における３自由度（ｘ、ｙ、ｚ軸）としての位置データと頭部座標系座標軸のカメラ座標系座標軸に対する３自由度（ｘ、ｙ、ｚ軸）としての回転角度データを、頭部姿勢データとして推定する第１のステップと、
前記頭部座標系であらかじめ設定された眼球上の２つの眼球特徴点の座標に基づいて当該頭部座標系における眼球中心位置データの候補を設定する第２のステップと、
前記推定された頭部姿勢データ、前記設定された眼球中心位置候補データ、および顔画像から検出される瞳孔中心位置データを用いて前記カメラ座標系における眼球中心位置を算出するステップと、
前記注視点、瞳孔中心、および眼球中心の位置データと本来の前記３つの位置データを結ぶ直線とのずれが最小となるように、眼球中心位置と眼球半径を推定するステップ
を有することを特徴とする。
【発明の効果】
【００１８】
本発明の効果は、眼球上の特徴点に基づいて眼球中心位置の存在範囲を限定し、また頭部座標系での眼球中心位置とカメラ座標系の眼球中心位置を組み合わせることで、眼球中心位置推定が高速かつ安定に行えるようになる。さらに眼球半径も推定すべきパラメータと見なすことにより、眼球半径の個人差も考慮した正確な眼球中心位置の推定が可能となる点である。
【発明を実施するための最良の形態】
【００１９】
以下、本発明の一実施の形態について図面を参照して詳細に説明する。
【００２０】
図１を参照すると、本実施の形態に係る眼球パラメータ推定装置は、車内撮影用カメラで撮影された人物の顔画像から、該人物の頭部姿勢を推定する頭部姿勢推定手段１と、頭部座標系で表現された２点の眼球特徴点座標に基づいて頭部座標系における眼球中心位置の候補を設定する頭部座標系眼球中心位置候補設定手段２と、前記頭部姿勢推定手段１の推定結果である頭部姿勢、前記頭部座標系眼球中心位置候補設定手段２で設定された眼球中心位置候補、および顔画像から検出される瞳孔中心位置を用いてカメラ座標系における眼球中心位置を算出するカメラ座標系眼球中心位置算出手段３と、前記カメラ座標系眼球中心位置算出手段３で設定されたカメラ座標系における眼球中心位置に基づいて頭部座標系における眼球中心位置と眼球半径を推定する眼球パラメータ推定手段４から構成されている。
【００２１】
次に、図面を参照して本実施の形態の全体の動作について説明する。図１に示すように本発明による視線推定方法は、頭部姿勢推定手段１、頭部座標系眼球中心位置候補設定手段２、カメラ座標系眼球中心位置算出手段３、眼球パラメータ推定手段４から構成される。
【００２２】
頭部姿勢推定手段１では、ステレオカメラで頭部の３次元形状復元することで３次元空間における頭部の位置と方向を算出し、あるいは予め用意した頭部の３次元モデルの表面に照明条件を考慮したテクスチャを貼り付けて顔画像の見え方を再現し、入力の顔画像との誤差が最小になるように該顔３次元モデルの３次元空間における位置と方向を調整することで、頭部座標系の原点のカメラ座標系における位置(３自由度)と頭部座標系座標軸のカメラ座標系座標軸に対する回転角度(３自由度)の計６自由度を、頭部 姿勢として推定する。
【００２３】
頭部座標系眼球中心位置候補設定手段２では、予め用意された頭部座標系における眼球上の２つの特徴点(例えば目頭と目尻)の座標と仮決めした眼球半径ｒを読み込む。次に半径ｒの球を該２特徴点のそれぞれを中心として生成し、その２つの球の交円上に頭部座標系における眼球中心位置の候補を設定する。
【００２４】
カメラ座標系眼球中心位置算出手段３では、頭部姿勢を用い、頭部座標系での眼球中心位置候補をカメラ座標系で表現する。次に指定された注視点を注視している人物の瞳孔中心を画像から検出し、注視点、瞳孔中心、および眼球中心の位置関係が同一直線上に近くなるようにカメラ座標系における眼球中心位置を算出する。
【００２５】
眼球パラメータ推定手段４では、注視点、瞳孔中心、および眼球中心の位置関係の直線からのずれが最小となるように、眼球中心位置と眼球半径を学習（推定）する。
【００２６】
瞳孔中心の検出に関しては、テンプレートマッチング、ハフ変換など、円形の黒領域を検出する画像処理であれば何を用いてもよい。
【００２７】
上記した第一の実施の形態の頭部姿勢推定手段において、ステレオカメラ法と顔の見え方のモデルに基づいた頭部姿勢推定方法について説明したが、人体に計測用の装置を装着する必要のない方法であれば、どのような姿勢推定方法を用いてもよい。
【００２８】
第一の実施の形態において、眼球半径が固定値と見なせる場合には、眼球中心位置のみを眼球パラメータとして推定してもよい。
【実施例】
【００２９】
以下、図１と図２を参照して、実施の形態の全体の動作についての実施例を詳細に説明する。なお以下では、注視点として画像を取得するカメラのレンズ中心とする場合について説明するが、注視点のカメラ座標系における位置が既知でありさえすれば、眼球中心、瞳孔中心、注視点が一直線上にある事実を利用して、以下の説明と同じ処理方法で眼球中心位置と眼球半径を推定することができる。
【００３０】
図２は処理の流れ図を表しており、Ｓｔｅｐ１が頭部姿勢推定手段１、Ｓｔｅｐ３〜Ｓｔｅｐ４が頭部座標系眼球中心位置候補設定手段２、Ｓｔｅｐ５〜Ｓｔｅｐ６がカメラ座標系眼球中心位置算出手段３、Ｓｔｅｐ２およびＳｔｅｐ７〜Ｓｔｅｐ１６が眼球パラメータ推定手段４の、それぞれの動作を表している。
【００３１】
Ｓｔｅｐ１では、顔画像に基づいて人物の頭部座標系原点のカメラ座標系における位置ベクトルと、頭部座標系座標軸のカメラ座標系のｘ、ｙ、ｚ軸に対する回転角度をα、β、γとした時の回転行列Ｒが計算される。
【００３２】
上記した位置ベクトルは以下の数１に示される数式（１）で表され、上記した回転行列Ｒは以下の数２に示される数式（２）で表される。
【数１】
2008136789.tif 000003
【数２】
2008136789.tif 000004
【００３３】
Ｓｔｅｐ２では、眼球半径ｒと眼球における眼球中心の位置を表す位相角度θ、学習係数ρ、学習の終了判定に用いる閾値Ｔｈをそれぞれ初期化する。なお、θについてはＳｔｅｐ４で説明する。Ｓｔｅｐ３では、目頭と目尻を結ぶ単位ベクトルが計算される。前記単位ベクトルは以下の数３に示される数式（３）で表される。なお、tは転置ベクトルを表す。
【数３】
2008136789.tif 000005
【００３４】
Ｓｔｅｐ４では、Ｓｔｅｐ３で得られる単位ベクトルの要素から以下の数４〜数７にそれぞれ示される数式（４），（５），（６），（７）に従って三角関数を計算する。
【数４】
2008136789.tif 000006
【数５】
2008136789.tif 000007
【数６】
2008136789.tif 000008
【数７】
2008136789.tif 000009
【００３５】
これらの値を用いて以下の数８に示される数式（８）で表される回転行列Ｒ'が計算される。
【数８】
2008136789.tif 000010
【００３６】
図３に示すように、目頭と目尻の距離が２Ｌである時、目尻と目頭をそれぞれ中心とした半径ｒの球の交わりは、半径ｒ'で、中心が目尻と目頭の中点Ｍ=(ｓ，ｔ，ｕ)の円となる。眼球中心はこの円周上にある。
【００３７】
ここで、半径ｒ'は以下の数９に示される数式（９）で表される。
【数９】
2008136789.tif 000011
【００３８】
Ｓｔｅｐ４では、この円を極座標表現した際の位相角をθとして、頭部座標系における眼球中心位置の候補Ｏ=(Ｏｘ,Ｏｙ,Ｏｚ)が以下の数１０に示される数式（１０）の関係を満たすように設定される。
【数１０】
2008136789.tif 000012
【００３９】
Ｓｔｅｐ５では、Ｓｔｅｐ４で設定した頭部座標系における眼球中心位置を外１として、以下の数１１に示される数式（１１）の関係式にしたがい、Ｓｔｅｐ１で算出した頭部座標系原点のカメラ座標系における位置ベクトル外２と上記回転行列Ｒを用いて、カメラ座標系における眼球中心の位置ベクトルを計算する。ここで、当該眼球中心の位置ベクトルは以下の数１２に示される数式（１２）で表される。
[外１]
2008136789.tif 000013
【数１１】
2008136789.tif 000014
[外２]
2008136789.tif 000015
【数１２】
2008136789.tif 000016
【００４０】
透視変換カメラモデルでは、画像上での瞳孔中心座標を(Ｉ'ｘ，Ｉ'ｙ)とし、以下の数１３及び数１４にそれぞれ示される数式（１３）及び数式（１４）で表される。画像中央の座標を(ｖ，ｗ)、焦点距離ｆとすると、カメラ座標系での瞳孔中心座標(Ｉｘ，Ｉｙ，Ｉｚ)は以下の数１５及び数１６にそれぞれ示される数式（１５）及び数式（１６）で表される。
【００４１】
図４において、カメラ座標系原点Ｏ''と眼球中心までの距離Ｘは、以下の数１７に示される数式（１７）にて求めることができる。とすると、以下の数１８及び数１９にそれぞれ示される数式（１８）及び数式（１９）が導かれる。
【数１３】
2008136789.tif 000017
【数１４】
2008136789.tif 000018
【数１５】
2008136789.tif 000019
【数１６】
2008136789.tif 000020
【数１７】
2008136789.tif 000021
【数１８】
2008136789.tif 000022
【数１９】
2008136789.tif 000023
【００４２】
Ｓｔｅｐ６では、上記数式(１５)，(１６)，(１９)を用いて、カメラ座標系での瞳孔中心座標を以下の数２０に示される数式（２０）で設定する。図４より、カメラ座標系において瞳孔中心ｉから眼球中心Ｏに向かうベクトルを外３とする。
【数２０】
2008136789.tif 000024
[外３]
2008136789.tif 000025
【００４３】
この場合、眼球中心Ｏ、瞳孔中心ｉ、カメラ座標系原点Ｏ''が一直線上にあることから、前記瞳孔中心ｉから眼球中心Ｏに向かうベクトルは、以下の数２１に示される数式（２１）にて求めることができる。
【数２１】
2008136789.tif 000026
【００４４】
ここで、眼球中心の位置ベクトルと瞳孔中心の位置ベクトルの差の絶対値Ｙは以下の数２２に示される数式（２２）のように表される。
【数２２】
2008136789.tif 000027
【００４５】
そこでＳｔｅｐ７では、以下の数２３に示される数式（２３）にて評価関数Ｊを算出する。
【数２３】
2008136789.tif 000028
【００４６】
評価関数Ｊの値は本来ゼロであるが、眼球パラメータの推定誤差や瞳孔中心の検出誤差等で厳密にゼロとならないため、Ｓｔｅｐ４〜Ｓｔｅｐ１６では、前記数式(２３)で示される評価関数Ｊを最小とするように眼球パラメータｒおよびθを学習（推定）する。
【００４７】
Ｓｔｅｐ８では、変数ｒ'の眼球半径ｒに関する偏微分および頭部座標系における眼球中心座標の、パラメータｒ'、θに関する偏微分は、以下の数２４〜数３０にそれぞれ示される数式（２４）〜数式（３０）に従って計算される。
【数２４】
2008136789.tif 000029
【数２５】
2008136789.tif 000030
【数２６】
2008136789.tif 000031
【数２７】
2008136789.tif 000032
【数２８】
2008136789.tif 000033
【数２９】
2008136789.tif 000034
【数３０】
2008136789.tif 000035
【００４８】
Ｓｔｅｐ９では、外４の眼球中心位置に関する偏微分は、以下の数３１〜数３３にそれぞれ示される数式（３１）〜数式（３３）に従って計算される。
[外４]
2008136789.tif 000036
【数３１】
2008136789.tif 000037
【数３２】
2008136789.tif 000038
【数３３】
2008136789.tif 000039
【００４９】
Ｓｔｅｐ１０では、外５の眼球中心位置に関する偏微分は、以下の数３４に示される数式（３４）に従って計算される。
[外５]
2008136789.tif 000040
【数３４】
2008136789.tif 000041
【００５０】
Ｓｔｅｐ１１では、外６の眼球中心位置に関する偏微分は、上記数式(１５)，(１６)のｋｘ，ｋｙ、上記数式(１９)のｋ２、上記数式(３１)，(３２)，(３３)のＡ，Ｂ，Ｃを用いて、以下の数３５〜数３７にそれぞれ示される数式（３５）〜数式（３７）に従って計算される。
[外６]
2008136789.tif 000042
【数３５】
2008136789.tif 000043
【数３６】
2008136789.tif 000044
【数３７】
2008136789.tif 000045
【００５１】
なお、外７はそれぞれ外８のｘ，ｙ，ｚ成分である。
[外７]
2008136789.tif 000046
[外８]
2008136789.tif 000047
【００５２】
Ｓｔｅｐ１２において、外９の眼球中心位置に関する偏微分は、Ｍ＝１／ｋ２Ｘ，Ｐ＝１／ｋ２Ｙとし、上記数式(１５)，(１６)のｋｘ，ｋｙ、上記数式(１９)のｋ２、上記数式(３１)，(３２)，(３３)のＡ，Ｂ，Ｃを用いて、以下の数３８〜数４０にそれぞれ示される数式（３８）〜数式（４０）に従って計算される。
[外９]
2008136789.tif 000048
【数３８】
2008136789.tif 000049
【数３９】
2008136789.tif 000050
【数４０】
2008136789.tif 000051
【００５３】
Ｓｔｅｐ１３では、Ｓｔｅｐ９〜Ｓｔｅｐ１２で得られた偏微分の結果を用い、評価関数Ｊの眼球中心位置に関する偏微分が計算される。具体的には、以下の数４１に示される数式（４１）に従って計算される。
【数４１】
2008136789.tif 000052
【００５４】
Ｓｔｅｐ１４では、Ｓｔｅｐ８の結果である上記数式(２５)〜数式（３０）と、Ｓｔｅｐ１３の結果である上記数式(４１)と、以下の数４２及び数４３にそれぞれ示される数式（４２）及び数式（４３）に基づいて、評価関数Ｊの眼球パラメータに関する偏微分が計算される。
【数４２】
2008136789.tif 000053
【数４３】
2008136789.tif 000054
【００５５】
Ｓｔｅｐ１５では、評価関数Ｊと閾値Ｔｈとの比較が行われ、ＪがＴｈよりも小さくなった場合には眼球パラメータの推定処理を終了し、大きい場合には前記Ｓｔｅｐ４に戻って眼球パラメータ推定処理を続行する。
【００５６】
Ｓｔｅｐ１６では、前記Ｓｔｅｐ１４の結果である数式(４２)及び数式（４３）を用いて、以下の数４４及び数４５にそれぞれ示される数式（４４）及び数式（４５）に従って、眼球パラメータｒおよびθの更新が行われる。
【数４４】
2008136789.tif 000055
【数４５】
2008136789.tif 000056
【００５７】
また、上記した各実施の形態は、本発明を好適に実施した形態の一例に過ぎず、本発明は、その主旨を逸脱しない限り、種々変形して実施することが可能なものである。
【産業上の利用可能性】
【００５８】
本発明によれば、視線推定で用いる眼球中心位置の推定が高速かつ安定に行えるようになり、眼球半径の個人差も考慮した正確な眼球中心位置の推定が可能となる。
【図面の簡単な説明】
【００５９】
【図１】本発明の一実施の形態の構成を示すブロック図である。
【図２】本発明の一実施の形態の実施例を示す流れ図である。
【図３】頭部座標系における眼球中心位置の設定方法を示す図である。
【図４】眼球中心、瞳孔中心、カメラのレンズ中心の位置関係を示す図である。
【符号の説明】
【００６０】
１    頭部姿勢推定手段
２    頭部座標系眼球中心位置候補設定手段
３    カメラ座標系眼球中心位置算出手段
４    眼球パラメータ推定手段
【図１】
2008136789.tif 000110
【図２】
2008136789.tif 000111
【図３】
2008136789.tif 000112
【図４】
2008136789.tif 000113