(57)【要約】【課題】光源の位置が人の眼球に映る特徴に着目し、被験者を拘束することなく、眼球に映る光源情報のみから光源情報を抽出することができる眼球画像からの光源情報の抽出方法及び光源情報の抽出装置を提供する。【解決手段】眼球画像からの光源情報の抽出方法において、眼球２をミラーボールとみなし、光源の位置がそのミラーボールに映されるハイライトピーク３の位置により眼球半径、眼球位置、前記光源の方向を抽出する。【選択図】    図１
2004286636.tif 000002
【特許請求の範囲】
【請求項１】
被験者の眼球をミラーボールとみなし、複数の光源の位置が前記ミラーボールに映されるハイライトピークの位置により眼球半径、眼球位置、光源の方向を抽出することを特徴とする眼球画像からの光源情報の抽出方法。
【請求項２】
請求項１記載の眼球画像からの光源情報の抽出方法において、前記抽出された光源の方向から、顔の各点の法線ベクトルと反射率を抽出し、任意の視点、光源環境下での顔画像を再現することを特徴とする眼球画像からの光源情報の抽出方法。
【請求項３】
（ａ）被験者の眼球を含む部位を撮像するカメラと、
（ｂ）被験者の眼球を含む部位に入射する複数の光源と、
（ｃ）前記眼球をミラーボールとみなし、前記複数の光源の位置が前記ミラーボールに映されるハイライトピークの位置により眼球半径、眼球位置、光源の方向を抽出する手段とを具備することを特徴とする眼球画像からの光源情報の抽出装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、眼球画像からの光源情報の抽出方法及び光源情報の抽出装置に関するものである。
【０００２】
【従来の技術】
近年、コンピュータグラフィックスの分野において、撮影された２次元の顔画像から３次元的な顔画像をリアルに再現する研究が盛んに行われている。現在のところ形状などの３次元情報を復元する手法として、異なる光源方向から撮影された３枚以上の強度画像を用いて、形状データと反射率を推定するホトメトリック・ステレオ（Ｐｈｏｔｏｍｅｔｒｉｃ  Ｓｔｅｒｅｏ）法が注目されている〔下記非特許文献１−１３参照〕。
【０００３】
【非特許文献１】
Ｒ．Ｊ．Ｗｏｏｄｈａｍ：”Ｐｈｏｔｏｍｅｔｒｉｃ  ｍｅｔｈｏｄ  ｆｏｒｄｅｔｅｒｍｉｎｉｎｇ  ｓｕｒｆａｃｅ  ｏｒｉｅｎｔａｔｉｏｎ  ｆｒｏｍ  ｍｕｌｔｉｐｌｅ  ｉｍａｇｅｓ，”，Ｏｐｔｉｃａｌ  Ｅｎｇｉｎｅｅｒｉｎｇ  １９，ｐｐ．１３９−１４４，１９８０．
【非特許文献２】
Ｈ．Ｈａｙａｋａｗａ：”Ｐｈｏｔｏｍｅｔｒｉｃ  ｓｔｅｒｅｏ  ｕｎｄｅｒ  ａ  ｌｉｇｈｔ  ｓｏｕｒｃｅ  ｗｉｔｈ  ａｒｂｉｔｒａｒｙ  ｍｏｔｉｏｎ，”，Ｊｏｕｒｎａｌ  ｏｆ  ｔｈｅ  Ｏｐｔｉｃａｌ  Ｓｏｃｉｅｔｙ  ｏｆ  Ａｍｅｒｉｃａ  Ａ，ｖｏｌ．１１，ｐｐ．３０７９−３０８９，１９９４．
【非特許文献３】
Ｃ．Ｔｏｍａｓｉ  ａｎｄ  Ｔ．Ｋａｎａｄｅ：”Ｓｈａｐｅ  ａｎｄ  ｍｏｔｉｏｎ  ｆｒｏｍ  ｉｍａｇｅ  ｓｔｒｅａｍｓ  ｕｎｄｅｒ  ｏｒｔｈｏｇｒａｐｈｙ：  ａ  ｆａｃｔｏｒｉｚａｔｉｏｎ  ｍｅｔｈｏｄ，”，Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｊｏｕｒｎａｌ  ｏｆ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ
９，ｐｐ．１３７−１５４，１９９２．
【非特許文献４】
Ａ．Ｌ．Ｙｕｉｌｌｅ，Ｄ．Ｓｎｏｗ，Ｒ．Ｅｐｓｔｅｉｎ  ａｎｄ  Ｐ．Ｎ．Ｂｅｌｈｕｍｅｕｒ：”Ｄｅｔｅｒｍｉｎｉｎｇ  Ｇｅｎｅｒａｔｉｖｅ  Ｍｏｄｅｌｓ  ｏｆ  Ｏｂｊｅｃｔｓ  ｕｎｄｅｒ  ｖａｒｙｉｎｇ  ｉｌｌｕｍｉｎａｔｉｏｎ：  Ｓｈａｐｅ  ａｎｄ  ａｌｂｅｄｏ  ｆｒｏｍ  ｍｕｌｔｉｐｌｅ  ｉｍａｇｅｓ  ｕｓｉｎｇ  ＳＶＤ  ａｎｄ  ｉｎｔｅｇｒａｂｉｌｉｔｙ，”，Ｊｕｌｙ  ５，１９９９．
【非特許文献５】
Ｙ．Ｓａｔｏ  ａｎｄ  Ｋ．Ｉｋｅｕｃｈｉ：”Ｔｅｍｐｏｒａｌ−ｃｏｌｏｒ  ｓｐａｃｅ  ａｎａｌｙｓｉｓ  ｏｆ  ｒｅｆｌｅｃｔｉｏｎ，”，ｉｎ  Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ｔｈｅ  ＩＥＥＥ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  ａｎｄ  Ｐａｔｔｅｒｎ  Ｒｅｃｏｇｎｉｔｉｏｎ  （Ｉｎｓｔｉｔｕｔｅ  ｏｆ  Ｅｌｅｃｔｒｉｃａｌ  ａｎｄ  Ｅｌｅｃｔｒｏｎｉｃｓ  Ｅｎｇｉｎｅｅｒｓ，  Ｎｅｗ  Ｙｏｒｋ）  ｐｐ．５７０−５７６，１９９３．
【非特許文献６】
Ｂ．Ｋ．Ｐ．Ｈｏｒｎ  ：”Ｃｌｏｓｅｄ−ｆｏｒｍ  ｓｏｌｕｔｉｏｎ  ｏｆ  ａｂｓｏｌｕｔｅ  ｏｒｉｅｎｔａｔｉｏｎ  ｕｓｉｎｇ  ｕｎｉｔ  ｑｕａｔｅｒｎｉｏｎｓ，”，Ｊｏｕｒｎａｌ  ｏｆ  ｔｈｅ  Ｏｐｔｉｃａｌ  Ｓｏｃｉｅｔｙ  ｏｆ  Ａｍｅｒｉｃａ  Ａ  ４，ｐｐ．６２９−６４２，１９８７．
【非特許文献７】
Ａ．Ｓ．Ｇｅｏｒｇｈｉａｄｅｓ，Ｐ．Ｎ．Ｂｅｌｈｕｍｅｕｒ  ａｎｄ  Ｄ．Ｊ．Ｋｒｉｅｇｍａｎ：”Ｉｌｌｕｍｉｎａｔｉｏｎ−Ｂａｓｅｄ  Ｉｍａｇｅ  Ｓｙｎｔｈｅｓｉｓ：  Ｃｒｅａｔｉｎｇ  ｎｏｖｅｌ  ｉｍａｇｅｓ  ｏｆ  ｈｕｍａｎ  ｆａｃｅｓ  ｕｎｄｅｒ  ｄｉｆｆｅｒｉｎｇ  ｐｏｓｅ  ａｎｄ  ｌｉｇｈｔｉｎｇ，”  Ｔｏ  ａｐｐｅａｒ  ｉｎ  ＩＥＥＥ  Ｗｏｒｋｓｈｏｐ  ｏｎ  Ｍｕｌｔｉ−Ｖｉｅｗ  Ｍｏｄｅｌｉｎｇ  ａｎｄ  Ａｎａｌｙｓｉｓ  ｏｆ  Ｖｉｓｕａｌ  Ｓｃｅｎｅｓ，１９９９．
【非特許文献８】
Ａ．Ｌ．Ｙｕｉｌｌｅ  ａｎｄ  Ｄ．Ｓｎｏｗ：”Ｓｈａｐｅ  ａｎｄ  ａｌｂｅｄｏ  ｆｒｏｍ  ｍｕｌｔｉｐｌｅ  ｉｍａｇｅｓ  ｕｓｉｎｇ  ｉｎｔｅｇｒａｂｉｌｉｔｙ，”，Ｉｎ  Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ｔｈｅ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  ａｎｓ  Ｐａｔｔｅｒｎ  Ｒｅｃｏｇｎｉｔｉｏｎ，１９９７．
【非特許文献９】
Ｐ．Ｎ．Ｂｅｌｈｕｍｅｕｒ  ａｎｄ  Ｄ．Ｊ．Ｋｒｉｅｇｍａｎ：”Ｗｈａｔ  ｉｓ  ｔｈｅ  ｓｅｔ  ｏｆ  ｉｍａｇｅｓ  ｏｆ  ａｎ  ｏｂｊｅｃｔ  ｕｎｄｅｒ  ａｌｌ  ｐｏｓｓｉｂｌｅ  ｌｉｇｈｔｉｎｇ  ｃｏｎｄｉｔｉｏｎｓ，”，ｉｎ  Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ｔｈｅ  ＩＥＥＥ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  ａｎｄ  Ｐａｔｔｅｒｎ  Ｒｅｃｏｇｎｉｔｉｏｎ，ｐｐ．２７０−２７７，１９９６．
【非特許文献１０】
Ｐ．Ｎ．Ｂｅｌｈｕｍｅｕｒ，Ｄ．Ｊ．Ｋｒｉｅｇｍａｎ  ａｎｄ  Ａ．Ｌ．Ｙｕｉｌｌｅ：”Ｔｈｅ  Ｂａｓ−Ｒｅｌｉｅｆ  Ａｍｂｉｇｕｉｔｙ，”，ｉｎ  Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ｔｈｅ  ＩＥＥＥ  Ｃｏｎｆｅｒｅｎｃｅｏｎ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  ａｎｄ  Ｐａｔｔｅｒｎ  Ｒｅｃｏｇｎｉｔｉｏｎ，１９９７．
【非特許文献１１】
Ａ．Ｍａｋｉ，Ｍ．Ｗａｔａｎａｂｅ  ａｎｄ  Ｃ．Ｗｉｌｅｓ：”Ｇｅｏｔｅｎｓｉｔｙ  ｃｏｎｓｔｒａｉｎｔ  ｆｏｒ  ３Ｄ  ｓｕｒｆａｃｅ  ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ，”電子情報通信学会論文誌  Ｄ−ＩＩ  Ｖｏｌ．Ｊ８３−Ｄ−ＩＩ，Ｎｏ．８，ｐｐ．１７４１−１７５２，２０００．
【非特許文献１２】
Ｊ．Ｋｏｅｎｄｅｒｉｎｋ  ａｎｄ  Ａ．Ｖａｎ  Ｄｏｏｒｎ：”Ａｆｆｉｎｅ  ｓｔｒｕｃｔｕｒｅ  ｆｒｏｍ  ｍｏｔｉｏｎ，”Ｊｏｕｒｎａｌ  ｏｆ  ｔｈｅ  Ｏｐｔｉｃａｌ  Ｓｏｃｉｅｔｙ  ｏｆ  Ａｍｅｒｉｃａ  Ａ，ｐｐ．３７７−３８５，１９９１．
【０００４】
【発明が解決しようとする課題】
しかしながら、かかる従来の方法では、顔に対する光源方向を正確に測定できないために実用的ではなかった。つまり、従来方法では実際に復元を行う際には顔の位置を固定した状態で撮影時に予め光源位置を計測していたが、そのため被験者を拘束する必要があり、実用的ではなかった。
【０００５】
本発明は、上記状況に鑑みて、光源の位置が人の眼球に映る特徴に着目し、被験者を拘束することなく、眼球に映る光源情報のみから光源情報を抽出することができる眼球画像からの光源情報の抽出方法及び光源情報の抽出装置を提供することを目的とする。
【０００６】
【課題を解決するための手段】
本発明は、上記目的を達成するために、
〔１〕眼球画像からの光源情報の抽出方法において、被験者の眼球をミラーボールとみなし、複数の光源の位置が前記ミラーボールに映されるハイライトピークの位置により眼球半径、眼球位置、光源の方向を抽出することを特徴とする。
【０００７】
〔２〕上記〔１〕記載の眼球画像からの光源情報の抽出方法において、前記抽出された光源の方向から、顔の各点の法線ベクトルと反射率を抽出し、任意の視点、光源環境下での顔画像を再現することを特徴とする。
【０００８】
〔３〕眼球画像からの光源情報の抽出装置において、被験者の眼球を含む部位を撮像するカメラと、被験者の眼球を含む部位に入射する複数の光源と、前記眼球をミラーボールとみなし、前記複数の光源の位置が前記ミラーボールに映されるハイライトピークの位置により眼球半径、眼球位置、光源の方向を抽出する手段とを具備することを特徴とする。
【０００９】
本発明は、眼球をミラーボールとみなして、光源の位置がミラーボールに反映されるハイライトピークの位置により光源方向を正確に抽出するものである。
【００１０】
この方法により光源方向を求めるためには、カメラ位置からハイライトピークの位置への視線（カメラ）方向とハイライトピークの位置における眼球の法線ベクトルが必要となる。このカメラ方向はカメラの焦点距離により簡単に求められるが、ハイライトピークの位置における眼球の法線ベクトルを求めるのに眼球の中心点の座標値、半径が必要となる。それらの値を求めるのに、本発明では、被験者の負担をなくすために、カメラに対しての顔の位置を測定せず、カメラに対する３つの光源の位置が分かれれば顔に対する光源方向が求められる。
【００１１】
【発明の実施の形態】
以下、本発明の実施の形態について詳細に説明する。
【００１２】
図１は本発明にかかる被験者の眼球に映される光源の位置を示す代用図面となる写真である。
【００１３】
この図において、１は被験者、２はその被験者１の眼球、３は光源（図示なし）により眼球に映されるハイライトピークである。
【００１４】
図２は本発明にかかるミラーボールを用いた光源方向のジオメトリモデルを示す図、図３はその視線方向，法線，光源方向の関係を示す図である。
【００１５】
図２において、１１はカメラ、１２はミラーボール、１３は光源からのパラレルビームである。
【００１６】
ここで、Ｎを光源によって眼球２に映されるハイライトピーク３における眼球表面の法線の単位ベクトル、Ｖをカメラ１１の位置から眼球２への単位ベクトル、Ｌを眼球２中心から光源方向への単位ベクトルとする。入射角と反射角は法線ベクトルＮに対して等しいため、ベクトルＶｒ  はＮに対してＶの反対方向である。入射光を平行光と仮定することによって、ベクトルＶｒ  はミラーボールの中心に対する光源方向Ｌと同じ方向となる。
【００１７】
図２より、ベクトルＶｒと光源方向ベクトルＬが等しいため、視線（カメラ）方向Ｖと法線ベクトルＮの角度は光源方向Ｌと法線ベクトルＮの角度と等しいことが分かる。この関係を図３に示し、下記の式（１）に示す。ここで、Ｔは行列の転置で示す。
【００１８】
ＮＴ  ・Ｌ＝−ＮＴ  ・Ｖ                                          （１）
上記式（１）から、光源方向ベクトルＬは視線（カメラ）方向ベクトルＶと表面（法線）方向ベクトルＮを用いて下記の式（２）のように求められる。
【００１９】
Ｌ＝Ｖ−２（ＮＴ  ・Ｖ）・Ｎ                                    （２）
上記式（２）の証明は下記のように述べる。この式（２）を書き直せば、下記の式（３）になる。
【００２０】
Ｌ−Ｖ＝−２（ＮＴ  ・Ｖ）・Ｎ                                  （３）
図３より、ベクトルの足し算で下記の式（４）を書くことができる。
【００２１】
【数１】
2004286636.tif 000003
【００２２】
また、表面方向ベクトルＮにおける視線方向ベクトルＶの射影により、下記の式（５）が書ける。
2004286636.tif 000004
【００２３】
従って、上記の式（５）により顔に対する光源方向Ｌを推定するために、カメラ方向Ｖとハイライトピークにおける法線方向Ｎを推定する必要がある。
【００２４】
次に、カメラ方向と法線方向の推定について述べる。
【００２５】
まず、カメラ方向の推定について説明する。
【００２６】
本発明では、カメラ方向を推定するために透視投影法を用いた。
【００２７】
図４は実際の３次元空間における物体の２次元画像への透視射影を示す図である。この図において、２１はカメラ、２２はスクリーン、２３はスクリーン２２上の画像（イメージ）、２４は３次元空間における物体（対象物）である。
【００２８】
ここで、実際の３次元空間座標系システムにおける物体２４の座標を（Ｘ，Ｙ，Ｚ）と呼び、２次元座標系システムにおける画像２３の座標を（ｘ，ｙ）と呼ぶ。また、（ｘ０  ，ｙ０  ）は光軸と画像２３の交点であり、つまり画像２３の中心点である。αは焦点距離であり、カメラパラメータと呼ばれる。また、空間的座標系におけるｉ番目のハイライトピークの座標は（Ｘｉ  ，Ｙｉ  ）とし、画像座標系に投影する時、画像座標系におけるハイライトピークの座標を（ｘｉ  ，ｙｉ  ）とする。そうするとカメラ方向の単位ベクトルＶを下記の式（６）で示すことができる。
【００２９】
【数２】
2004286636.tif 000005
【００３０】
スクリーン２２の中心点座標（ｘ０  ，ｙ０  ）とハイライトピークの位置座標（ｘｉ  ，ｙｉ  ）の値はスクリーン２２から読み取ることができるが、カメラパラメータαを推定しなければならない。
【００３１】
以下にカメラパラメータαの推定について述べる。
【００３２】
図４により、座標の比例性によって、下記の式（７）と（８）を書くことができる。
【００３３】
（ｘ−ｘ０  ）／Ｘ＝α／Ｚ                                      （７）
（ｙ−ｙ０  ）／Ｙ＝α／Ｚ                                      （８）
ここで、上記の式（７）、（８）から下記の式（９）、（１０）のように展開する。
【００３４】
αＸ＋ｘ０  Ｚ＝Ｚｘ                                            （９）
αＹ＋ｙ０  Ｚ＝Ｚｙ                                          （１０）
また、Ｚをｓと置けば、上記の式（９）、（１０）を下記の式（１１）のように行列で表すことにより３次元空間から２次元の画面へ透視射影の式を表すことができる。
2004286636.tif 000006
【００３５】
Ｐ［Ｘ  Ｙ  Ｚ  １］Ｔ  ＝ｓ［ｘ  ｙ  １］Ｔ                    （１２）
図５はカメラのパラメータαの測定図を示す。
【００３６】
この図では、ターゲット物体Ａ３１とＢ３２は同じ長さＬであるが、それらに投影射影されたスクリーン２２上の画像２３の長さは違う。物体Ａ３１と物体Ｂ３２のスクリーン２２上での長さをそれぞれｌＡ  とｌＢ  とする。従って、上記の式（１２）によりターゲット物体Ａ３１とＢ３２の透視射影はそれぞれ下記の式（１３）、式（１４）を満たす。ここで、（ｘ０  ，ｙ０  ）は座標系の原点（０，０）を表す。なお、図５において、Ｄはカメラ２１とターゲット物体Ａ３１の距離、ｄはターゲット物体Ａ３１とターゲット物体Ｂ３２の距離である。
【００３７】
【数３】
2004286636.tif 000007
【００３８】
上記の式（１３）と（１４）を展開すると下記の式（１５）と（１６）になる。
【００３９】
α＝ＤｌＡ  ／Ｌ                                              （１５）
α＝〔（Ｄ＋Ｌ）ｌＢ  〕／Ｌ                                  （１６）
上記の式（１５）と（１６）の右辺は等しいため、下記の式（１７）と表すことができる。
【００４０】
ＤｌＡ  ／Ｌ＝（Ｄ＋Ｌ）ｌＢ  ／Ｌ                              （１７）
上記の式（１７）を展開すると下記の式（１８）になる。
【００４１】
ＤｌＡ  ＝（Ｄ＋ｄ）ｌＢ  
⇒Ｄ＝ｄｌＢ  ／（ｌＡ  −ｌＢ  ）                                （１８）
上記の式（１８）を上記式（１６）に代入すると、カメラパラメータαは下記の式（１９）として表すことができる。
【００４２】
α＝ｌＡ  ｌＢ  ｄ／Ｌ（ｌＡ  −ｌＢ  ）                            （１９）
次に、ハイライトピークにおける法線方向の推定について説明する。
【００４３】
空間的な座標系において、ｉ番目の光源位置が眼球に映されるハイライトピークの位置座標を（Ｘｉ  ，Ｙｉ  ，Ｚｉ  ）とすれば、眼球上の点における法線ベクトルは眼球の中心点とその点のベクトルであるため、ハイライトピークにおける表面法線方向Ｎは下記の式（２０）と表される。
【００４４】
【数４】
2004286636.tif 000008
【００４５】
ここで、（Ｘｃ  ，Ｙｃ  ，Ｚｃ  ）は空間的な座標系における眼球の中心点の座標である。また、眼球の半径をＲとすれば、ハイライトピークは眼球の上にあるため、下記の式（２１）のように書くことができる。
【００４６】
（Ｘｉ  −Ｘｃ  ）２  ＋（Ｙｉ  −Ｙｃ  ）２  ＋（Ｚｉ  −Ｚｃ  ）２  ＝Ｒ２    （２１）
従って、上記の式（２０）を下記の式（２２）のように表す。
【００４７】
【数５】
2004286636.tif 000009
【００４８】
ここで、空間的座標系において、光源位置が眼球に映されるハイライトピークの位置（Ｘｉ  ，Ｙｉ  ，Ｚｉ  ）は未知であるが、画像座標系において、ハイライトピークの位置（ｘｉ  ，ｙｉ  ）を画像から読み取ることができる。
【００４９】
図６に眼球に映されたハイライトピーク位置を示す。
【００５０】
また、上記の式（７）、（８）から下記の式（２３）、（２４）と表すことができる。ここで画像座標系における画像の中心点（ｘ０  ，ｙ０  ）を原点とする。
（ｘｃ  ，ｙｃ  ）は画像座標系における眼球の中心点である。
【００５１】
（ｘｉ  −ｘ０  ）／Ｘｉ  ＝α／Ｚｉ  ，
（ｘｃ  −ｘ０  ）／Ｘｃ  ＝α／Ｚｃ                                （２３）
（ｙｉ  −ｙ０  ）／Ｙｉ  ＝α／Ｚｉ  ，
（ｙｃ  −ｙ０  ）／Ｙｃ  ＝α／Ｚｃ                                （２４）
ここで、Ｚｉ  とＺｃ  はそれぞれ空間的座標系において、ｉ番目の光源位置が眼球に映されるハイライトピークと眼球の中心点のＺ成分であるため、近似的に眼球とカメラの距離をＤとすることができる。つまり、眼球がカメラから十分離れている場合、カメラから眼球中心までの距離Ｚｃ  と、カメラから眼球表面Ｚｉ  までの距離は、近似的に、カメラから眼球までの距離（例えば、眼球中心までの距離）Ｄで置き換えることができるものとする。
【００５２】
従って、上記の式（２３）と（２４）は下記の式（２５）と（２６）と表すことができる。
【００５３】
（ｘｉ  −ｘ０  ）／Ｘｉ  ＝（ｘｃ  −ｘ０  ）／Ｘｃ  ＝α／Ｄ
⇒（ｘｉ  −ｘｃ  ）／（Ｘｉ  −Ｘｃ  ）＝α／Ｄ                    （２５）
（ｙｉ  −ｙ０  ）／Ｙｉ  ＝（ｙｃ  −ｙ０  ）／Ｙｃ  ＝α／Ｄ
⇒（ｙｉ  −ｙｃ  ）／（Ｙｉ  −Ｙｃ  ）＝α／Ｄ                    （２６）
また、透視投影により、空間的座標系における眼球の半径Ｒと画像座標系における眼球の半径ｒの関係を下記の式（２７）に示す。
【００５４】
ｒ／Ｒ＝α／Ｄ                                              （２７）
従って、（ｘｉ  −ｘｃ  ），（ｙｉ  −ｙｃ  ），ｒはそれぞれの（Ｘｉ  −Ｘｃ  ），（Ｙｉ  −Ｙｃ  ），Ｒと同じ係数α／Ｄで比例するため、上記の式（２２）により、ハイライトピークにおける法線方向Ｎは下記の式（２８）で表すことができる。
【００５５】
【数６】
2004286636.tif 000010
【００５６】
次に、顔に対する光源方向の推定について説明する。
【００５７】
顔に対するｉ番目の光源方向単位ベクトルＬｉ  は上記の式（２）に示される。
【００５８】
Ｖｉ  とＮｉ  はそれぞれ上記の式（６）と（２８）に示されている。顔に対するｉ番目の光源方向単位ベクトルＬｉ  を眼球の中心座標と半径の関数Ｇｉ  〔下記の式（２９）〕で表すことができる。
【００５９】
【数７】
2004286636.tif 000011
【００６０】
上記の式（２９）により、ハイライトピークにおける法線ベクトルＮを求めるためには、画像座標系における眼球の半径ｒと中心点の座標値（ｘｃ  ，ｙｃ  ）が分からなければならない。しかし、図７に示すように顔画像から直接的に眼球４３の中心点の位置と半径を正確に求めることは困難である。なお、図７において、４１は被験者、４２はその被験者４１の顔、４３はその被験者４１の眼球である。
【００６１】
よって、眼球４３の半径及び中心点の座標を推定する必要がある。ここで、眼球４３の半径と中心点の座標値を求めるために、図８に示されるような、本発明の画像座標系における眼球の中心点座標と半径の抽出システムを提案する。
【００６２】
図８において、５１はカメラ、５２はスクリーン、５３はスクリーン上の画像（イメージ）、５４は３次元空間における対象物、５５，５６，５７は光源である。
【００６３】
まず、画像座標系における眼球の中心点座標と半径の推定について説明する。
【００６４】
図８に示すシステムでは空間的座標系における顔に対する光源ベクトルをカメラ５１と対象物５４（ここでは眼球）との距離の関数で表す。一方、上記の式（２９）のように顔に対するｉ番目の光源方向単位ベクトルＬｉ  を眼球の中心座標と半径の関数で表すことができる。従って、この２つの関数から導かれる関数を最適化することで画像座標系における眼球の中心点座標と半径や空間的座標系におけるカメラ５１と眼球の距離などを推定することができる。
【００６５】
空間的座標系において、光源５５，５６，５７の位置が眼球に映されるハイライトピークの位置はそれぞれＶｅ１，Ｖｅ２，Ｖｅ３とし、３つの光源５５，５６，５７の位置はＬｃ１，Ｌｃ２，Ｌｃ３とする。顔の位置に対する光源方向はＬｆ１，Ｌｆ２，Ｌｆ３とする。図８よりカメラ５１に対する光源方向Ｌｃｉはカメラ５１に対するハイライトピークの値Ｖｅｉと顔に対する光源のベクトルＬｆｉの和であるから、
Ｌｃｉ＝Ｖｅｉ＋Ｌｆｉ，  ｉ＝１，２，３                          （３０）
である。上記の式（３０）により、顔に対する光源方向Ｌｆｉは、下記の式（３１）になる。
【００６６】
Ｌｆｉ＝Ｌｃｉ−Ｖｅｉ，  ｉ＝１，２，３                          （３１）
ここで、ハイライトピークＶｅｉの空間的な座標Ｘｅｉ，Ｙｅｉ，Ｄが未知であるが、物体の透視投影によりＸｅｉ，Ｙｅｉを下記の式（３２）のように表すことができる。ｘｉ  ，ｙｉ  は画像座標系におけるｉ番目のハイライトピークの座標であり、画像から読み取ることができる。
【００６７】
（ｘｉ  −ｘ０  ）／Ｘｅｉ＝α／Ｄ
（ｙｉ  −ｙ０  ）／Ｙｅｉ＝α／Ｄ                                （３２）
よって、Ｘｅｉ，Ｙｅｉを下記の式（３３）のようにＤの関数で表すことができる。
【００６８】
Ｘｅｉ＝（ｘｉ  −ｘ０  ）Ｄ／α
Ｙｅｉ＝（ｙｉ  −ｙ０  ）Ｄ／α                                  （３３）
従って、上記の式（３１）の右辺は下記の式（３４）のように表すことができる。
【００６９】
【数８】
2004286636.tif 000012
【００７０】
Ｌｃｉ，ｉ＝１，２，３を既知とすれば、上記式（３４）の右辺は下記の式（３５）のようにＤの関数で表すことができる。
【００７１】
【数９】
2004286636.tif 000013
【００７２】
また、上記の式（２９）に示されるＬｉ  は上記の式（３５）に示されるＬｆｉの単位ベクトルであるため、下記の式（３６）のように表される。
【００７３】
【数１０】
2004286636.tif 000014
【００７４】
従って、下記の式（３７）となる。
【００７５】
【数１１】
2004286636.tif 000015
【００７６】
従って、関数Ｆｉ  を下記の式（３８）のように定義すれば、
2004286636.tif 000016
【００７７】
以上により、画像座標系における眼球の中心点座標（ｘｃ  ，ｙｃ  ）と半径ｒや空間的座標系におけるカメラ５１と眼球の距離Ｄなどを推定することができたので、次に、空間的座標系における眼球の中心点座標と半径の推定について説明する。
【００７８】
これらの値を用いることで、透視射影により空間的座標系における眼球の中心点座標（Ｘｃ  ，Ｙｃ  ）と半径をそれぞれ下記の式（３９）、（４０）のように推定することができる。
【００７９】
2004286636.tif 000017
次に、実験について説明する。
【００８０】
図９は本発明の撮影システムを示す代用図面に代わる写真である。
【００８１】
異なる光源方向の顔画像が必要となるため、３つの光源〔ライト６１、ライト６２、ライト６３（１００Ｖ、３００Ｗ）〕を準備し、カメラ６４はＮｉｋｏｎＤ１Ｘを用いた。
【００８２】
また、光源方法を推定するためには、異なる３つの光源６１，６２，６３の位置が眼球に映されるハイライトピーク位置が必要なため、それらの方向における表面反射を含む画像が必要であるが、一般の画像がこの条件を満たす。一方、ホトメトリック・ステレオ法により顔の法線ベクトルと反射率を求めるために、完全拡散反射の顔画像が必要となる。ここで、完全拡散反射の画像を取得するために、光源の前に偏光板６５を付けて、カメラ６４の前に偏光フィルタ６６を付けた。
【００８３】
図１０は光源方向を推定するための表面反射を含む画像群を示す。
【００８４】
この実験では、様々な被経者の様々な顔の位置により光源方向の推定誤差、画像座標系における眼球の中心点座標値（ｘｃ  ，ｙｃ  ）と半径ｒ、空間的座標系における推定された距離Ｄｃａｌ  と測定された距離Ｄｒｅａｌなどの推定値の精度を検討する。
【００８５】
まず、様々な被経者による推定結果について説明する。
【００８６】
本発明では、実際には３枚の画像だけで顔の法線ベクトルと反射率が求められる。しかし、ここでは、光源方向の推定関係について述べるので、より多くの光源方向の推定誤差を検討したいために、４方向の光源Ｌ１，Ｌ２，Ｌ３，Ｌ４を用いた。図１１に示す入力画像群を用いたシステムにより、４名の顔についての光源方向の推定結果が表１に示される。
【００８７】
【表１】
2004286636.tif 000018
【００８８】
表１より、この推定誤差平均が２°以下であり、光源方向を正確に推定することが出来たことがわかる。また、コンタクトレンズをしている人としていない人についても実験を行い、コンタクトレンズが推定結果に影響を及ぼさないことも確かめた。
【００８９】
また、推定した眼球の中心点の座標値と半径が正当な値であるかどうかを検討するために、これらの値を用いて、顔画像から目の画像を抽出した。表２は４人の被験者の画像における眼球の中心点座標（ｘｃ  ，ｙｃ  ）と眼球の半径ｒの値を示し、図１２は光源方向Ｌ１における４人の被験者の抽出された目の画像を示す。
【００９０】
【表２】
2004286636.tif 000019
【００９１】
図１２により、顔画像から目の部分を正確に抽出できるため、眼球半径、眼球位置を正確に推定できることが分かる。
【００９２】
カメラと顔の推定された距離Ｄｃａｌ  と測定された距離Ｄｒｅａｌを表３に示す。
【００９３】
【表３】
2004286636.tif 000020
【００９４】
これより、推定された距離Ｄｃａｌ  と測定された距離Ｄｒｅａｌとの誤差はわずかであることが確認できた。
【００９５】
なお、本発明は上記実施例に限定されるものではなく、本発明の趣旨に基づいて種々の変形が可能であり、これらを本発明の範囲から排除するものではない。
【００９６】
【発明の効果】
以上、詳細に説明したように、本発明によれば、以下のような効果を奏することができる。
【００９７】
（Ａ）眼球画像から眼球に入る光源情報を的確に抽出（推定）することができる。
【００９８】
（Ｂ）眼球半径、眼球位置、光源の方向の光源情報に基づいて、抽出された光源方向から、顔の各点の法線ベクトルと反射率を推定し、任意の視点、光源環境下での３次元顔画像を正確に再現することができる。
【図面の簡単な説明】
【図１】本発明にかかる被験者の目に映される光源の位置を示す図である。
【図２】本発明にかかるミラーボールを用いた光源方向のジオメトリモデルを示す図である。
【図３】図２における視線方向，法線，光源方向の関係を示す図である。
【図４】本発明にかかる実際の３次元空間における物体の２次元画面への透視射影を示す図である。
【図５】本発明にかかるカメラのパラメータαを決定する様子を示す図である。
【図６】本発明にかかる眼球に映されたハイライトピーク位置を示す図である。
【図７】本発明にかかる顔画像における眼球を示す図である。
【図８】本発明にかかる画像座標系における眼球の中心点座標と半径の抽出システムの構成図である。
【図９】本発明にかかる画像座標系における眼球の中心点座標と半径の抽出システムを示す代用図面となる写真である。
【図１０】本発明にかかる３つの光源から眼球に反映するハイライトピークの入力画像群を示す図である。
【図１１】本発明にかかる光源方向を推定するための入力画像群を示す図である。
【図１２】本発明にかかる４人の被験者の抽出された目の画像を示す図である。
【符号の説明】
１，４１    被験者
２，４３    被験者の眼球
３    ハイライトピーク
１１，２１，５１，６４    カメラ
１２    ミラーボール（眼球）
１３    パラレルビーム
２２，５２    スクリーン
２３，５３    スクリーン上の画像（イメージ）
２４，５４    ３次元空間における物体（対象物）
３１    ターゲット物体Ａ
３２    ターゲット物体Ｂ
４２    被験者の顔
５５，５６，５７，６１，６２，６３    光源
６５    偏光板
６６    偏光フィルタ
【図１】
2004286636.tif 000021
【図２】
2004286636.tif 000022
【図３】
2004286636.tif 000023
【図４】
2004286636.tif 000024
【図５】
2004286636.tif 000025
【図６】
2004286636.tif 000026
【図７】
2004286636.tif 000027
【図８】
2004286636.tif 000028
【図９】
2004286636.tif 000029
【図１０】
2004286636.tif 000030
【図１１】
2004286636.tif 000031
【図１２】
2004286636.tif 000032