(57)【特許請求の範囲】
【請求項１】
キャプチャされた画像のフレーム内における眼の位置を判断する方法において、
一方のフレームが周囲の照明でキャプチャされ、他方のフレームが補助の照明でキャプチャされるように、光軸を規定する光学レンズを設けたキャプチャ手段によって、画像風景の２つのカラーフレームをキャプチャし、ここで上記補助の照明は、上記光軸にできるだけ近接して位置決めされた照明源により設けられ、上記一方のフレームと上記他方のフレームとは最小の遅延でキャプチャされ、
上記画像風景のフレームを所定のメモリに保存し、
補正されたフレームを取得するために、上記一方のフレーム全体における照明レベルと上記他方のフレーム全体における照明レベルの不均衡さを除去するように上記キャプチャされた２つのカラーフレームのいずれかにおける上記フレーム全体の照明レベルを補正し、
眼の欠点が高輝度画素値に対応した補正された色差画像を取得するために、補正されたフレームが周囲の照明でキャプチャされたフレームに基づくとき、補正されていないフレームが補助の照明でキャプチャされたフレームであるように、かつ補正されたフレームが補助の照明でキャプチャされたフレームに基づくとき、補正されていないフレームが周囲の照明でキャプチャされたフレームであるように、上記補正されたフレームと補正されていないフレームとの間の差異を判断し、
上記補正された色差を有する画像を走査するとともに、少なくとも１つのカラーチャンネルにおける高輝度画素値の領域の組を判断し、
各座標が上記キャプチャされた画像風景内のカラーチャンネルにおける高輝度画素値の各領域の中央部に対応する、画素の組の座標のデータを出力する、
ことを備えたことを特徴とする眼の位置を判断する方法。
【請求項２】
上記判断された高輝度画素値の領域の組が、色，サイズ，形状，構造及び間隔に従って、人間の眼に関し、赤色のチャンネルにおいて処理されることを特徴とする請求項１記載の眼の位置を判断する方法。
【請求項３】
上記判断された高輝度画素値の領域の組が、色，サイズ，形状，構造及び間隔に従って、動物の眼に関し、緑色のチャンネルにおいて処理されることを特徴とする請求項１記載の眼の位置を判断する方法。
【請求項４】
上記判断された高輝度画素値の領域の組が、色，サイズ，形状，構造及び間隔に従って、好ましくは、人間及び動物の眼に関し、赤及び緑のチャンネルにおいて処理されることを特徴とする請求項１記載の眼の位置を判断する方法。
【請求項５】
更に、高輝度画素値の領域の組を判断した後、座標のデータを出力する前に実行されるステップで、可能性のある眼の位置の間隔及び空間的な構造をもっともらしく分析するステップを有し、この分析結果を反映して上記座標のデータの出力が実行されることを特徴とする請求項１記載の眼の位置を判断する方法。
【請求項６】
上記出力ステップが、高輝度画素値の領域の中央部の画素座標を記録するステップを有していることを特徴とする請求項１記載の眼の位置を判断する方法。
【請求項７】
上記画像風景のフレームが、ビデオ画像ストリームの連続的な写真であることを特徴とする請求項１記載の眼の位置を判断する方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、全体として、デジタル画像処理の分野、特にデジタル画像における人間の眼あるいは動物の眼をも検出する技術に関する。より詳しくは、本発明は、人間が装置によりキャプチャされた場合に、赤目効果を利用して迅速で且つ正確に眼を検出する方法及び装置に関する。動物の眼は、フラッシュ光とともにキャプチャされた画像における眼の欠点を利用して検出され得る。動物の眼の場合には、眼の欠点をあらわす画像の領域が、通常、キャプチャされた画像フレームにおける明るい緑又は黄色の点として見える。
更に、本発明は、キャプチャされた画像フレームにおける眼の欠点を迅速に且つ自動的に補正する方法及び装置に関する。
【０００２】
【従来の技術】
多くの適用においてコンピュータの利用が増えるにつれ、人間−機械のインターフェースを向上させることが重視されるようになってきた。種々の適用において、人物をおおまかに識別するために（権利受取人用、国境越えあるいは安定したエリアへの入場確認用に、偏在するピン番号についての置換えとして）、ユーザの顔を位置決めし、それを処理することが要求される。顔の認識用のアルゴリズムは、近年著しく発達し、現在では、多くの適用に際して十分に通用するものである。システムの弱点は、顔の検出及び位置決めのフロントエンドシステムである。識別のほかに、顔の画像形成に関する他の適用、特に、ユーザの表情から反応又は感情を見分けるなどの知覚判断への関心が高まっている。このことは、コンピュータ駆動システムを、人間のように、一層感受性豊かにさせることができるであろう。また、これらのアルゴリズムは、顔の検出及び位置選定における弱点により制限されるであろう。
【０００３】
【発明が解決しようとする課題】
人間の顔を大きく含む画像をキャプチャするに際して、フラッシュの照明が利用される場合、光が網膜の毛細血管により部分的に吸収されるため、人間の瞳孔は時として赤に見える。図１に示されるように、フラッシュ照明源１２からの光線７０は眼のレンズ３を通過して眼２に入射し、網膜４上で、照明源１２の画像１２ａを形成する。キャプチャされた画像における、「赤目効果」として知られる眼の欠点は、大抵、人間の眼の場合に見られる。動物がキャプチャされた場合、眼の欠点は、明るい緑又は黄色を示すことになる。動物の眼は、一般的に、動物の顔の構造，肌色，髪の毛における大きな変化及び眼の構造自体が原因で、パターン認識アルゴリズムにとって検出するのが困難となる。
【０００４】
図２から分かるように、網膜４から反射された光線８０は、レンズ３を介して眼２から出て、最後にカメラのレンズ５に入る。カメラのレンズ５が照明源１２の近くに配置されていれば、赤目効果は非常に大きくあらわれるであろう。換言すれば、観察される赤目又は眼の欠点の度合いは、照明源１２がカメラレンズ５により規定される光軸２２に近づくにつれ増大する（図３参照）。
【０００５】
カメラにおける赤目の軽減に関した一般的な技術は、２つの特質を両用することである。（ａ）例えば、フルの照明で所望の画像をキャプチャする前に、連続した僅かなプレフラッシュを放射することにより、被撮影者の瞳孔の直径を小さくする。また、（ｂ）被撮影者の眼に当る照明が、撮影用レンズを外す角度で反射されるように、フラッシュとレンズとの間隔を大きくする。
多くの米国特許が、この発明に先んじて、上記技術を反映している。それぞれについて説明する。
「人間の顔を認識する回路構成」と付題されたバディーク（Badique）に対する１９９６年１０月２９日付発布の米国特許第５５７０４３４号は、一連のビデオ画像において人間の顔を認識するための回路を説明している。上記回路は、２つの連続的な画像フレームを引き、動作する物体があるかどうかを判断するために、所定領域の差異を用いるステップを有している。差異のマップは、頭及び肩の形の一式が風景のなかに存在するかどうかを判断するために、次の処理を受け、畳込み（convolution）に達する。
【０００６】
「神経回路網聴覚及び視覚言語認識システム用の顔の形の抽出方法及び装置」と付題されたプラサド（Prasad）他に対する１９９７年１０月２１日付発布の米国特許第５６８０４８１号は、顔の形の識別及び抽出に対するまた別の解決方法を説明している。この特許では、ぼやけた正面の顔の画像からのグレースケール色調における変化が、画素値をしきい分けし、３つの領域の重心を見つけることにより、眼や口を位置決めするために用いられる。
【０００７】
他の多くの技術文献では、より詳細に、眼又は注視のトラッキング若しくは虹彩認識方法あるいは顔符合方法が扱われている。
「網膜反射光量を測定するデバイス及びそれを用いた注視検出装置」と付題されたアダチ（Adachi）に対する１９９７年１０月２１日付発布の米国特許第５３２５１３３号は、網膜からの反射光を測定し、ユーザが装置を用いて見ている方向を検出するデバイスを説明している。この装置は、３箇所の異なる位置に配置された３つの赤外放射源を、ユーザの眼に指向させる。そのシステムは、パターン認識により若しくは赤目により（「網膜により反射される光に豊富に含まれるヘモグロビンに対応する周波数成分を検出する」）、瞳孔を位置決めする。その後、ユーザの注視が何処に指向させられているかを決定するために、変位角度に基づき、網膜の反射を処理する。その結果、装置の機能性は、眼を位置決めする代わりに、３次元角度測定から注視角度を計算するように調節される。この技術は、放射源と画像キャプチャデバイスとの間における間隔の問題を述べていない。それは、３つのエミッタ／検出器の組の最小値に関して、放射源と画像ピックアップ源との間の角度の隔たりを測定することへの依存性により、現行の発明からかけ離れた内容を教示するものである。
【０００８】
「眼トラッキング方法及び装置」と付題されたクリーブランド（Cleveland）他に対する１９９３年７月２７日付発布の米国特許第５２３１６７４号は、ある人が見ている点を判断して、若しくは、その人の眼の動作を測定して、その人が注視している方法を判断するためのシステムを説明している。この装置の出力は、眼の瞳孔と虹彩との間におけるエッジ座標などの眼の形の位置、及び、眼の角膜からの光反射の中央座標の位置である。画像輝度の特性図が、（ブライト−アイ（bright-eye）効果を用いて明らかにされ、また、その角膜反射が、眼とカメラとの間の間隔から推定される眼のサイズを知ることから導き出される）眼の虹彩，瞳孔の断面図により得られる。その結果、導き出された特性図は、滑らかになる。滑らかな特性図の中央近傍におけるピーク領域（一組のしきい値により規定される）が、角膜領域として検出される。
【０００９】
典型的には、虹彩及び瞳孔の相対輝度は、画像処理を容易にするのに十分に異なっていない。従って、ブライト−アイ効果が、瞳孔とその周囲の虹彩との間のコントラスト比を増加させるために、この方法及び装置において用いられる。結果的に、カメラの画像における虹彩と明るい瞳孔との間のコントラスト比は、虹彩と暗い瞳孔との間のコントラスト比よりも著しく大きくさせられる。増加したコントラスト比を用いた場合、画像処理アルゴリズムは、特定の眼の注視トラッキングへの適用に際して、瞳孔のエッジ及び中央をより確実に且つ正確に位置決めすることができる。尚、この方法及び装置は、（カメラの光軸上の、また、一定距離における）既知の眼の位置及び眼のサイズを仮定し、また、言語障害を有し物理的にハンディキャップを有する人に関し、眼の注視をトラックするように構成されている。更に、この方法及び装置は、モノクロの画像において、つまり、色情報のない場合に、経時的な変化を利用する。
【００１０】
「フラッシュ照明による色欠点の自動化された検出及び補正」と付題されたベナティ（Benati）他に対する１９９５年７月１１日付発布の米国特許第５４３２８６３号は、スチル画像におけるフラッシュ照明による赤目の欠点を自動的に検出し補正する手段を説明している。この方法は、スチル画像のアーティファクトが、正確には、形状，彩色及び明度に基づく赤目の問題であるかどうかを判断する手段を有している。
【００１１】
そこで、本発明は、キャプチャされた画像フレーム内で眼の位置を判断し、その結果、前述した１つ又は複数の問題を解決する方法を提供することを目的としてなされたものである。
【００１２】
【課題を解決するための手段】
本発明に係る好適な方法の１つは、キャプチャされた画像のフレーム内における眼の位置を判断する方法において、
一方のフレームが周囲の照明でキャプチャされ、他方のフレームが補助の照明でキャプチャされるように、光軸を規定する光学レンズを設けたキャプチャ手段によって、画像風景の２つのカラーフレームをキャプチャし、ここで上記補助の照明は、上記光軸にできるだけ近接して位置決めされた照明源により設けられ、上記一方のフレームと上記他方のフレームとは最小の遅延でキャプチャされ、
上記画像風景のフレームを所定のメモリに保存し、
補正されたフレームを取得するために、上記一方のフレーム全体における照明レベルと上記他方のフレーム全体における照明レベルの不均衡さを除去するように上記キャプチャされた２つのカラーフレームのいずれかにおける上記フレーム全体の照明レベルを補正し、
眼の欠点が高輝度画素値に対応した補正された色差画像を取得するために、補正されたフレームが周囲の照明でキャプチャされたフレームに基づくとき、補正されていないフレームが補助の照明でキャプチャされたフレームであるように、かつ補正されたフレームが補助の照明でキャプチャされたフレームに基づくとき、補正されていないフレームが周囲の照明でキャプチャされたフレームであるように、上記補正されたフレームと補正されていないフレームとの間の差異を判断し、
上記補正された色差を有する画像を走査するとともに、少なくとも１つのカラーチャンネルにおける高輝度画素値の領域の組を判断し、
各座標が上記キャプチャされた画像風景内のカラーチャンネルにおける高輝度画素値の各領域の中央部に対応する、画素の組の座標のデータを出力する、
ステップを有している。
【００１３】
本発明の別の目的は、上記方法の各ステップを実行することができる装置を提供することである。本発明による装置は、
光軸を規定する光学レンズを備えた、画像風景の少なくとも２つのカラーフレームをキャプチャする手段と、
画像風景の少なくとも２つの連続的なキャプチャカラーフレームのデータを保存する手段と、
上記光軸に出来るだけ近接して配置され、上記画像風景のキャプチャカラーフレームのうちの１つを照明する照明源と、
ａ）補正されたフレームを取得するために、上記２つのキャプチャされたフレーム間の全照明変化について、上記フレームを補正し、
ｂ）補正された色差画像を取得するために、上記補正されたフレームと上記２つのキャプチャされたフレームのうちの補正されていないフレームとの間の差異を判断し、
ｃ）上記補正された色差画像を走査し、少なくとも１つのカラーチャンネルにおける高輝度画素値の領域の組を判断し、
ｄ）各座標が上記キャプチャされた画像風景内のカラーチャンネルにおける高輝度画素値各領域の中央部に対応する画素の組の座標のデータを出力する電子的な手段とを有している。
【００１４】
本発明は、もし顔が画像フレームに存在すれば、顧客の顔を画像化し、眼の座標とともに出力ビデオストリームを提供する。この発明は、眼の座標を安価に且つおおまかに伝えるために、従来の技術の珍しい組合せの適用を説明するものである。
しかしながら、赤目効果の物理的な理由を利用し、迅速且つ正確な眼の検出を容易にすべくそれを用いることが、本発明の新しさである。正確な眼の検出は、１つ又は複数の人間の顔を含む画像の向上及び操作を可能とするであろう。例えば、赤目の補正が容易に実行され得る。
【００１５】
本発明のまた別の目的は、キャプチャされた画像における眼の欠点をフレーム内で位置決めし、そして、カメラにおいて眼の欠点を除去するか、若しくは、写真仕上げ段階で眼の欠点の除去を可能とすべく画像フレームにおける眼の欠点の位置を記憶することができるデジタルカメラに用いられる方法を提供することである。本発明の他の方法は、眼の欠点の領域を位置決めすることができるデジタルカメラに用いられる方法であって、該方法は、
デジタルカメラの機能を眼の欠点を除去する写真撮影用に選択し、
一方のフレームが周囲の照明でキャプチャされ、他方のフレームが補助のカメラ生成照明（つまりカメラにより生成される照明）でキャプチャされるように、空間的な位置合せエラーを最小限に抑制すべく、両者間に最小の遅延を備えて、画像風景の２つのカラーフレームをキャプチャし、
上記２つのキャプチャされたフレームをあらわすデータを所定のメモリに保存し、
補正されたフレームを取得するために、上記２つのキャプチャされたフレーム間の全照明変化に関して、上記フレームを補正し、
補正された色差画像を取得するために、上記補正されたフレームと２つのキャプチャされたフレームのうちの補正されていないフレームとの間の差異を判断し、
上記補正された色差画像を走査し、少なくとも１つのカラーチャンネルにおける高輝度画素値の領域の組を判断し、
各座標が各眼の欠点の領域の中央部に対応する画素の組の座標のデータを取得するステップを有している。
【００１６】
この発明の別の目的は、上記各ステップを実行することができるデジタルカメラを提供することである。本発明によるデジタルカメラは、
デジタルカメラの眼の欠点の補正機能をフォーマットするユーザ入力制御手段と、
光軸を規定する光学レンズを備えた、空間的な位置合せエラーを最小限に抑制するために、両者間に最小の遅延を備えて、画像風景の２つのカラーフレームをキャプチャする手段と、
上記光軸に出来るだけ近接して配置される、上記画像風景の２つのフレームのうちの１つを照明する照明源と、
上記画像風景の２つのキャプチャされたフレームのデータを保存する手段と、
ａ）補正されたフレームを取得するために、上記２つのキャプチャされたフレーム間の全照明変化に関して、上記フレームを補正し、
ｂ）補正された色差画像を取得するために、上記補正されたフレームと２つのキャプチャされたフレームのうちの補正されていないフレームとの間の差異を判断し、
ｃ）上記補正された色差画像を走査し、それによって、眼の欠点の領域の組を判断し、更に、上記眼の欠点の空間座標を計算する電子的な手段とを有している。
【００１７】
本発明の付加的な目的は、カメラ内部における写真フィルム上に、検出された目の欠点の位置を記録することができる写真フィルムカメラにおいて実行される方法を提供することである。検出された眼の欠点の除去は、写真仕上げ段階において行われる。この目的は、目の欠点の領域を位置決めすることができる写真フィルムカメラにおいて用いられる方法により実現される。該方法は、
写真フィルムカメラの機能を眼の欠点を除去する写真撮影用に選択し、
カメラ生成照明を帯びる画像風景のフレームで写真フィルムを露光させ、また、同時に、上記カメラ生成照明を帯びるフレームのデータを所定のメモリに保存し、
上記フレームが周囲の照明でキャプチャされる、空間的な位置合せエラーを最小限に抑制すべく、両者間に最小の遅延を備えて、上記画像風景のまた別のフレームをキャプチャし、また、上記フレームをあらわすデータを上記メモリに保存し、
補正されたフレームを取得するために、上記２つのキャプチャされたフレーム間の全照明変化に関して、上記フレームを補正し、
補正された色差画像を取得するために、上記補正されたフレームと２つのキャプチャされたフレームのうちの補正されていないフレームとの間の差異を判断し、
上記補正された色差画像を走査し、少なくとも１つのカラーチャンネルにおける高輝度画素値の領域の組を判断し、
各座標が各眼の欠点の領域の中央部に対応する、高輝度値の領域の組に対応する画素の組の座標のデータを取得するステップを有している。
【００１８】
この発明の別の目的は、上記各ステップを実行することができる写真フィルムカメラを提供することである。本発明による写真フィルムカメラは、
上記フィルムカメラの眼の欠点を除去する機能をフォーマットするユーザ入力制御手段と、
光軸を規定する光学レンズを備えた、空間的な位置合せエラーを最小限に抑制するために、両者間に最小の遅延を備えて、画像風景の２つのフレームをキャプチャする手段と、
上記光軸に出来るだけ近接して配置される、上記画像風景の２つのフレームのうちの１つを照明する照明源と、
上記画像風景の照明された画像をキャプチャする記録層を有する写真フィルムと、
上記照明されたフレームのデータと周囲の照明を帯びる画像風景のフレームのデータを一時的に保存する手段と、
ａ）補正されたフレームを取得するために、上記２つのキャプチャされたフレーム間の全照明変化に関して、上記フレームを補正し、
ｂ）補正された色差画像を取得するために、上記補正されたフレームと２つのキャプチャされたフレームのうちの補正されていないフレームとの間の差異を判断し、
ｃ）上記補正された色差画像を走査し、それによって、眼の欠点の領域の組を判断し、更に、上記眼の欠点の空間座標を計算する電子的な手段と、
上記写真フィルムカメラ内部の写真フィルム上の上記記録層に、眼の欠点の空間座標を書き込む記録層とを有している。
【００１９】
【発明の実施の形態】
以下、本発明の実施の形態について、添付図面を参照しながら説明する。
キャプチャされた画像フレーム内の眼の位置を判断する装置の構成が、図３に示される。このシステムは、ユーザ識別（例えばＡＴＭ用），ユーザ監視（例えば車のドライバの注意の確認用）、及び、ＩＤ写真撮影時におけるポーズの最適化（赤目効果が最大になる場合に、写真撮影システムよりもたらされる音声フィードバック指示を用いた）、様々な適用に際して利用される。特に、眼の位置は、顔認識，モデルをベースとした顔の画像圧縮等に際して、顔の空間的な正規化を実行するために用いられる。加えて、眼の移動や虹彩の動作が、ドライバが油断していないかどうか確認するためにモニタされ得る。上記装置１０は、画像風景の少なくとも２つの画像フレームをキャプチャする手段１４に取り付けられた照明源１２を有している。図３に示される実施の形態では、キャプチャ手段１４がビデオカメラである。駆動回路１６がビデオカメラに取り付けられ、また、フレームグラバ（frame grabber）１８がビデオカメラ内に配置されている。更に、上記ビデオカメラは、光軸２２を規定する光学レンズ２０を備えている。上記ビデオカメラは、電気ケーブル２４により、電子手段２６へ接続されている。
【００２０】
上記電子手段２６は、モニタ２８，コンピュータ３０，キーボード３２，保存手段つまりメモリ３４、及び、プリンタ３６を有している。上記照明源１２は、ランプ又は赤外線放射デバイス，電力供給及びトリガー回路（不図示）を有していてもよい。かかる構成のキーとなる要素は、照明源１２と光学レンズ２０との間で、最も小さな間隔を用いることである。換言すれば、上記照明源１２は、カメラの光軸２２に対して出来るだけ近接して配置される必要がある。これにより、網膜の反射角度が最も狭くなり、その結果、おおまかに瞳孔の位置の特性をもたらすように、眼の欠点が最も強くなるであろう。また、一方、従来のカメラ設計における一般的な実施は、画像中の眼の欠点をもたらす反射を最小限に抑制するために、構成成分間の角度を出来るだけ大きくすることである。
【００２１】
本発明は、画像風景のキャプチャされたフレーム内で、人間の眼の座標を位置決めするための特長として作用する赤目の現象を利用するものである。他方では、動物の目でさえ、画像風景において位置設定され得る。この場合には、眼の欠点が、人間の眼の場合のような赤目効果でなく、その代わりに、緑又は黄色のものである。画像風景における動物の眼を検出するには、上記装置１０は、緑のチャンネルにおける明るい領域について、画像を走査しなければならない。
【００２２】
図６は、図３の装置を用いた眼の座標検出に関する基本的な操作上の機能についての流れを示すフローチャートである。初期の仮定条件は、顔の座標検出があとに続く場合に、上記ビデオカメラ１４が、実況で、画像をキャプチャしていることである。まずスタートＳ２０が要望されると、周囲の照明を用いたビデオのカラーフレームが、保存手段３４へセーブされる（Ｓ２１）。次に、光が放射され、次のカラービデオフレームＳ２２が、補助の照明を用いてキャプチャされるように、上記照明源１２がトリガーされる。キャプチャされたフレームは、補正されたフレームを取得するために、２つのキャプチャされたフレーム間における全照明変化について補正される（Ｓ２２）。補正されたフレームは、補正された色差画像を取得するために、２つのキャプチャされたフレームのうちの補正されていないフレームから引かれる（Ｓ２４）。補正されていないフレームは、周囲の照明を帯びるフレーム若しくは補助の照明を帯びるフレームのいずれであってもよい。補正された色差画像は、詳しくは少なくとも１つのカラーチャンネルにおける、高輝度の画素を有する領域のあらゆる組について走査され（Ｓ２５）、特に、人間の眼の位置が決定された場合に、前述した方法は、特に赤のチャンネルにおける、高輝度の画素値を有する領域の組について走査する。動物の眼がキャプチャされた画像フレームに位置させられる場合には、上記方法は、特に緑のチャンネルにおける、高輝度値の領域について走査する。
【００２３】
高輝度領域の組は、人間の顔における眼の位置をもっともらしく表わすべく、それらが予期された色，サイズ，形状，構造，間隔を有するかどうかを判断するために、更に処理されてもよい（Ｓ２６）。もしこれらの条件が満たされていれば、画像フレーム内の瞳孔領域の中心に対応する高輝度画素値の領域の中心の画素の組の座標は、キャプチャされた画像とともに記録される（Ｓ２７）。もし上記条件が完全に満たされなければ、代わりに、エラーを補正する処置が採られてもよい。補正された色差画像において高輝度領域が全く検出されない場合には、その状態が電子手段２６に指示される（Ｓ２９）。もし上記条件が部分的に満たされていれば、その状態は、コンピュータ３０へ指示される。コンピュータ３０は、他の画像の組をキャプチャし再度テストするために、制御信号を駆動回路構成１６へ送ることになる（Ｓ２８）。
【００２４】
図４から分かるように、眼の欠点を除去する写真撮影の機能は、デジタルカメラ４０の一部であるユーザ入力制御部４２により実現させられ得る。デジタルカメラ４０は、照明源１２と電子手段２６とを有している。該電子手段２６は、中央処理ユニット４４とメモリ４６とを有している。画像風景の個々のフレームをキャプチャするために、上記デジタルカメラ４０は、光軸２２を規定する光学レンズ２０を備えている。上記光学レンズ２０及び画像撮影センサ４８は、光軸２２上に配列されている。
【００２５】
図７に、動作ステップが示されている。工程の開始（Ｓ３０）後、画像風景の２つのカラーフレームが、光学的な位置合せエラーを最小限に抑制するために、両者間において最小の遅延でキャプチャされる。一方のフレームは周囲の照明でキャプチャされ（Ｓ３２）、他方のフレームは、補助のカメラ生成照明でキャプチャされる（Ｓ３１）。
【００２６】
これら２つの画像は、メモリ４６に保存される。このカメラメモリ４６内に存在するソフトウェア又はファームウェアは、中央処理ユニット４４において、輝度補正（Ｓ３３），識別及び確認動作を実行する。補正された色差画像は、補正された画像と補正されていない画像との間の差異を判断する（Ｓ３４）ことにより取得される。補正された色差画像は、少なくとも１つのカラーチャンネルにおける高輝度の画素値の領域について走査される（Ｓ３５）。前述したように、検出される眼の欠点は、人間の眼から知られる赤目効果、若しくは、動物の眼から知られるような黄色の目又は緑色の目の効果であり得る。赤目効果を検出するには、補正された色素画像が、赤のチャンネルにおける高輝度の画素値の領域について走査される必要がある。画像フレーム内で動物の目を位置決めするには、補正された色素画像が、緑のチャンネルにおける高輝度の画素値の領域について走査される必要がある。画素の組の座標のデータが取得され、検出された領域が眼の基準の全てを満足する（Ｓ３６）場合には、デジタルカメラ４０において、眼の欠点の補正が自動的に実行され得る。更に、ユーザは、デジタルカメラのメモリ４６におけるキャプチャされた眼の欠点の画像と合せて、眼の欠点の領域の空間座標を記録する（Ｓ３７）ような選択を行うことができる。眼の欠点についての補正は、写真仕上げラボにおいて実行される。検出された眼の領域が眼の基準の全てを満足していなければ（Ｓ３８）、検出処理が再度開始されることになる。眼の基準が全く検出されない場合には、エラーコードが出力されるようになっている（Ｓ３９）。
【００２７】
図５から分かるように、眼の欠点を除去する写真撮影の機能が、写真フィルムカメラ５０において実行される。ユーザは、ユーザ入力制御部４２により上記機能を実現可能である。上記写真フィルムカメラ５０は、照明源１２を有している。該照明源１２は、１つの態様では、フラッシュ光放射ユニットである。その上、カメラに組み込まれた中央処理ユニット５２，一時的な保存用のメモリ５４及び記録手段５６を有する電子手段２６が設けられている。上記記録手段５６は、カメラ５０内部の写真フィルム５８上に情報を記録するように設計されている。
画像フレームをキャプチャするために、カメラ５０は、光軸２２を規定する光学レンズ２０を備えている。写真フィルム５８及び光学レンズ２０は、光軸２２上で配列されている。写真フィルム５８の前に、該写真フィルム５８の露光を可能とするシャッタ６０が配設されている。加えて、カメラ５０は、光軸２２の片側に配置される内蔵の画像センサ６２を有している。半透明の鏡６４が、画像風景からの光を、写真フィルム５８上及び画像センサ６２上に、同時に指向させるために、上記光軸２２に関して４５°の角度で傾斜している。
【００２８】
また、図７には、写真フィルムカメラ５０の動作ステップが示されている。眼の欠点を除去する写真撮影に関する機能が選択された後、カメラは、画像風景をキャプチャし、それにより、カメラ生成照明を帯びる画像風景のフレームで、写真フィルム５８を露光させることになる。写真フィルム５８の露光と並行して、上記画像センサ６２が、同じフレームで露光させられ、フレームをあらわすデータが、メモリ５４に保存される。画像風景のまた別のフレームが、空間的な位置合せエラーを最小限に抑制するために、両者間において最小の遅延でキャプチャされる。このフレームは、周囲の照明を用いてキャプチャされ、このフレームからの光は、単に画像センサ６２を露光させるために用いられる。上記写真フィルムカメラ５０のメモリ５４に存在するソフトウェア又はファームウェアは、中央処理ユニット５２において、輝度補正，識別及び確認動作を実行する。中央処理ユニット５２において実行される処理の詳細な説明は、デジタルカメラ４０における処理を説明した節に記述されている。
【００２９】
上記写真フィルムカメラ５０における電子手段２６が、少なくとも１つのカラーチャンネルにおける高輝度画素値の領域の組を位置決めし判断した後、各眼の欠点の領域の中央部に対応するデータが、カメラ５０の内部における写真フィルム５８上に記録される。１つの態様では、写真フィルム５８及びカメラ５０は、アドバンスト・フォト・システム（所謂ＡＰＳ）からのフィルム及びカメラである。データの記録は、露光された写真フィルム５８の磁気層における磁気記録である。写真フィルムカメラ５０は、写真フィルム５８の磁気層に記録し得る記録手段５６を装備している。
【００３０】
次の説明は、画像風景のフレームをキャプチャする工程に限定されるものである。第１の写真又は画像フレームは、カメラ生成照明を用いてキャプチャされ、また、第２の写真又は画像フレームは、周囲の照明を用いてキャプチャされる。
それにもかかわらず、第１のキャプチャされた画像フレームが周囲の照明を帯びるという点で、上記工程を実行することが当業者に明らかであるため、上記の説明は限定事項として考慮されない。この方法又は工程は、特に、デジタルカメラ又はフィルムカメラについて便宜が良い。すなわち、（１）識別動作のために、上記空間的な位置合せエラーが最小限に抑制される。（２）カメラのフラッシュユニットが、第２の放射に間に合うように再充電されることはない。（３）必要に応じて、フラッシュのない画像がキャプチャされ記憶される。
【００３１】
0004583527.tif 000002
より詳細には、照明補正ステップＳ２３（図６参照）又はＳ３３（図７参照）が、以下の様式で実行される。以下の説明は、第１の画像が周囲の照明とともにキャプチャされ、第２の画像がカメラ生成照明とともにキャプチャされることを示している。各画像は、数式１を用いて、対数の画像へ変換される。
ここで、Ｉ1（ｘ，ｙ，ｋ）は、（ｘ，ｙ）の座標における画素のｋ番目の色成分の輝度値をあらわし、また、Ｌ1（ｘ，ｙ，ｋ）は、対数変換された輝度値をあらわしている。他の変数をあらわす記号は、類比で規定される。その後、各対数の画像の全体平均が計算される。
0004583527.tif 000003
数式２
ここで、Ｍ1（ｋ）は、Ｌ1のｋ番目の色成分の全体平均をあらわし、Ｚは、画像サイズである。他の変数をあらわす記号は、類比で規定される。
【００３２】
0004583527.tif 000004
数式３
その後、補正された照明なしのフレームと補助の照明を帯びるフレームとの間における差異をとることにより、色差画像が取得される。またも、選択されたシーケンスは、限定事項としてみなされるべきでない。
ここで、Ｄ(ｘ,ｙ,ｋ)は、(ｘ,ｙ)の座標における画素についてのｋ番目の色成分の差異をあらわす。
【００３３】
照明源に関して異なる距離又は角度に複数の人間がいる場合に、照明の変化が、画像にわたり均一でない。この場合、数式３における補正が、対数の画像の「局部的な」平均概算値に基づいて実行される必要がある。
0004583527.tif 000005
数式４
ここで、Ｍ1(ｘ,ｙ,ｋ)は、Ｌ1のｋ番目の色成分の全体平均をあらわし、Ｎ(ｘ,ｙ)は、(ｘ,ｙ)の座標における現行の画素のまわりで中央に置かれたローカルウィンドウをあらわし、また、ＺＮは、該ローカルウィンドウのサイズをあらわしている。
【００３４】
0004583527.tif 000006
瞳孔領域の組を位置決めするために、以下の規定を用いることができる（この規定は、赤目効果として知られる眼の欠点を検出するために利用される）。
元のビデオ計量（metric）に変換し戻された色差画像に関して、この実施の形態では、αが２．０に設定されるとともに、βが５０に設定される。数式５〜７により規定される演算が、また、対数の画像の計量で実行され得る。数式５及び６は、他の色成分に比べて、赤色成分において著しい増加があることを保証する。
数式７は、赤色成分における実際の増加が著しいことを保証する。瞳孔の座標は、それらのサイズとともに、抽出され保存される。もし複数の顔が画像中に存在すれば、複数の瞳孔の組が検出される。赤眼効果以外の他の眼の欠点（例えば動物の「緑色の眼」又は「黄色の眼」）が、検出される若しくは位置決めされる必要のある場合には、数式５〜７が、緑のカラーチャンネルに関して修正されなければならない。原則として、この方法は、１つ又は複数の色成分における、いかなる著しい局部的な変化をも検出するように一般化され得る。
【００３５】
特に、眼の確認ステップＳ２６（図６参照）又はＳ３６（図７参照）は、図８に開示されるような以下のステップを有している。このステップは、主に、間違った実際の検出を制限すべく、眼の存在を保証するために用いられる。各抽出された瞳孔の組について、眼のサイズ及び向きが、組の間隔に基づいて概算される。概算されたサイズが、瞳孔のサイズに関して調べられる（Ｓ４１）。次に、予め規定された眼のテンプレートに関しサイズ及び向きについて調整された後、画像のブロックが切り抜かれる（Ｓ４２）。かかる複数の画像のブロックは、初期の瞳孔位置のまわりで小さな検索ウィンド内に抽出され得る（Ｓ４３）。予め規定されたテンプレートと小さな検索ウィンドウ内で中央に置かれた画像ブロックとの間で、相互相関のスコアが計算される（Ｓ４４）。その後、相互相関のローカルピークが、検索ウィンドウ内に位置決めされる（Ｓ４５）。場合によっては、瞳孔の中央部が、眼の中央部に一致し得ることに注意する必要がある。
【００３６】
以上の結果、各適用に依存して、正確な眼の位置が、相互相関のローカルピークに基づいて取得され得る。赤目の除去に関し、瞳孔の中心部が関心の対象である。これに対して、顔又はポーズの概算の空間的な正規化に関し、眼の中央部は一層望ましいものである。上記ローカルピークが、予め規定されたしきい値より大きな相互相関のスコアを有しない場合、適当なエラーコードが出力される（Ｓ４９）。他の状態では、眼の組が、更に、眼の存在を保証するために、眼の組の基準一式を用いて調べられる。特に、両眼の中央部を通過する輝度の輪郭が抽出され平滑化される。この輪郭は、眼及び眼の間の鼻梁の主な構造に対応する典型的なピーク及び谷に関して調べられる（Ｓ４７）。眼の組の基準が満足させられる場合、眼の位置が確認される（Ｓ４８）。他の状態では、適当なエラーコードが出力される（Ｓ４９）。
【００３７】
照明源１２は、フィルム式又はデジタルカメラへ取り付けられた若しくは内蔵されたフラッシュユニットであっても良い。図３に示されるような装置について、赤外（ＩＲ）照明源が使用され得る。特定のデジタル又はフィルムカメラに関しては、ＩＲ源が自動焦点調節用に使用され、それにより、赤眼生成及び検出用に使用され得る。
【００３８】
なお、本発明は、例示された実施の形態に限定されるものでなく、本発明の要旨を逸脱しない範囲において、種々の改良及び設計上の変更が可能であることは言うまでもない。このことは、デジタル識別可能の技術に関する。
【００３９】
【発明の効果】
以上の説明から分かるように、本発明によれば、安価に且つ簡単な方法で眼の位置を判断することが可能となり、また、眼の欠点を除去する写真撮影が可能になる。
【図面の簡単な説明】
【図１】いかにして照明源からの光線が個々の眼に入り、網膜上に照明源の画像を形成するかを示す説明図である。
【図２】いかにして網膜から反射された光線が、照明源に近接して設けられたカメラのレンズに入るかを示す説明図である。
【図３】眼の検出装置の構成を示す説明図である。
【図４】眼の欠点を除去するデジタルカメラの構成を示す説明図である。
【図５】眼の欠点を除去する写真フィルムカメラの構成を示す説明図である。
【図６】図３の実施態様に開示される装置の動作機能をあらわすブロックフロー図である。
【図７】図４及び５に示される実施態様に係るカメラの動作機能をあらわすブロックフロー図である。
【図８】眼の位置確認動作のブロックフロー図である。
【符号の説明】
２…眼
４…網膜
５…カメラレンズ
１０…装置
１２…照明源
１４…キャプチャ手段
２０…光学レンズ
２２…光軸
２６…電子手段
３０…コンピュータ
４０…デジタルカメラ
４２…ユーザ入力制御部
４４…中央処理ユニット
４６…メモリ
４８…画像撮影センサ
５０…写真フィルムカメラ
５２…中央処理ユニット
５８…写真フィルム
６２…画像センサ
７０…照明源からの光線
８０…網膜で反射された光線
【図１】
0004583527.tif 000007
【図２】
0004583527.tif 000008
【図３】
0004583527.tif 000009
【図４】
0004583527.tif 000010
【図５】
0004583527.tif 000011
【図６】
0004583527.tif 000012
【図７】
0004583527.tif 000013
【図８】
0004583527.tif 000014