(57)【要約】画像ストリーム内の顔を追跡するための画像処理装置は、潜在的に１つ以上の顔領域を含む画像ストリームから、獲得された画像を反復的に受信する。該獲得された画像は、サブサンプル画像を提供するために、指定された解像度でサブサンプリングされる。続いて、当該サブサンプリングされた画像の最小の部分についてインテグラルイメージが計算される。１セットの候補顔領域を提供するために、当該インテグラルイメージの少なくとも１つの部分に固定サイズ顔検出が適用される。産出された候補顔領域のセット及び以前に検出された任意の候補顔領域に応答して、後に獲得された画像の解像度がサブサンプリングに合わせて調節される。【選択図】  図５
2010500836.tif 000002
【特許請求の範囲】
【請求項１】
デジタル画像収集装置を使用して、画像ストリーム内の顔を検出する方法であって、
ａ．１つ以上の顔領域を潜在的に含む前記画像ストリームから獲得された画像を受信する工程；
ｂ．サブサンプルされた画像を提供するために、前記獲得された画像を指定された解像度でサブサンプリングする工程；
ｃ．主に皮膚の色調を含む前記獲得された画像の１つ以上の領域を識別する工程；
ｄ．前記サブサンプリングされた獲得された画像の前記皮膚の色調領域の少なくとも１つのための対応するインテグラルイメージを計算する工程；
ｅ．それぞれが与えられたサイズ及び各々の位置を有している１セットの１つ以上の候補顔領域を提供するために、前記インテグラルイメージの少なくとも１つの部分に顔検出を適用する工程；及び、
ｆ．前記ストリームの中で前の画像に関連した候補顔領域のために、前記獲得された画像の対応する領域の輝度特性のコントラストを強調する工程
を含む方法。
【請求項２】
さらに、前記ａ乃至ｆの工程を繰り返すことを含む請求項１の方法。
【請求項３】
前記識別は、前記サブサンプリングされた画像上で行なわれることを特徴とする請求項１記載の方法。
【請求項４】
前記顔検出は、弛緩された顔検出パラメータで行なわれることを特徴とする請求項１記載の方法。
【請求項５】
前記強調は、前記サブサンプリングされた画像上で行なわれることを特徴とする請求項１記載の方法。
【請求項６】
前記強調は、前記インテグラルイメージの計算中に行なわれることを特徴とする請求項１記載の方法。
【請求項７】
前記デジタル画像収集装置の顔検出モードでは、少なくとも１つの候補顔領域が検出されるまでは、次第に増加された露光パラメータで、各々新たに獲得された画像が得られることを特徴とする請求項１記載の方法。
【請求項８】
画像の候補領域又は前記獲得された画像の１つに品質基準を提供し、
前記強調は、前記品質基準に応答することを特徴とする請求項１記載の方法。
【請求項９】
前記品質基準は、前記候補領域又は前記獲得された画像の輝度、または前記候補領域又は前記獲得された画像の前記輝度の変化、の１つ以上に基づくことを特徴とする請求項８記載の方法。
【請求項１０】
前記強調は、前記候補領域又は前記獲得された画像の輝度の低い値を増加させるために、閾値以下にある前記輝度の極大値に応答することを特徴とする請求項９記載の方法。
【請求項１１】
前記強調は、前記候補領域又は前記獲得された画像の輝度の高い値を減少させるために、閾値以上にある前記輝度の極小値に応答することを特徴とする請求項９記載の方法。
【請求項１２】
前記強調は、前記候補領域又は前記獲得された画像の強調を停止させるために、閾値以上にある前記輝度の変化の値に応答することを特徴とする請求項９記載の方法。
【請求項１３】
前記主に皮膚の色調を含む前記獲得された画像の１つ以上の領域の識別は、主に皮膚の色調を含む前記獲得された画像の前記１つ以上の領域を定義する多くのフィルタ、限定的な皮膚フィルタを含む前記フィルタの少なくとも１つ、及び弛緩された皮膚フィルタを含む前記フィルタの少なくとも１つ、のうちの１つを適用することを含むことを特徴とする請求項９記載の方法。
【請求項１４】
前記画像の候補領域又は前記獲得された画像の１つの品質が悪いことを示す前記品質基準に応じて、前記弛緩された皮膚フィルタを適用することを特徴とする請求項１３記載の方法。
【請求項１５】
１台以上のプロセッサと、画像ストリーム内の顔を検出する反復法を行なうように前記１台以上のプロセッサをプログラムするためにデジタルでエンコードされた命令を埋め込む１つ以上のデジタル記憶媒体と、を含む画像処理装置であって、
前記反復法は、
ａ．１つ以上の顔領域を潜在的に含む画像ストリームから獲得された画像を受信する工程；
ｂ．サブサンプルされた画像を提供するために、前記獲得された画像を指定された解像度でサブサンプリングする工程；
ｃ．主に皮膚の色調を含む前記獲得された画像の１つ以上の領域を識別する工程；
ｄ．前記サブサンプリングされた獲得された画像の前記皮膚の色調領域の少なくとも１つのための対応するインテグラルイメージを計算する工程；
ｅ．それぞれが与えられたサイズ及び各々の位置を有している１セットの候補顔領域を提供するために、前記インテグラルイメージの少なくとも１つの部分に顔検出を適用する工程；及び、
ｆ．前記ストリームの中で前の画像に関連した候補顔領域のために、前記獲得された画像の対応する領域の輝度特性のコントラストを強調する工程
を含む画像処理装置。
【請求項１６】
デジタル画像収集装置を使用して、画像ストリーム内の顔を検出する方法であって、
ａ．１つ以上の顔領域を潜在的に含む前記画像ストリームから獲得された画像を受信する工程；
ｂ．サブサンプルされた画像を提供するために、前記獲得された画像を指定された解像度でサブサンプリングする工程；
ｃ．主に皮膚の色調を含む前記獲得された画像の１つ以上の領域を識別する工程；
ｄ．前記サブサンプリングされた獲得された画像の前記皮膚の色調領域の少なくとも１つのための対応するインテグラルイメージを計算する工程；
ｅ．それぞれが与えられたサイズ及び各々の位置を有している１セットの１つ以上の候補顔領域を提供するために、前記インテグラルイメージの少なくとも１つの部分に顔検出を適用する工程；及び、
ｆ．前記画像に対する少なくとも１つの顔領域を検出できなかったことに応答して、続いて獲得された画像中の前記皮膚色調領域のうちの１つに対応する少なくとも１つの領域についての輝度特性のコントラストを強調する工程
を含む方法。
【請求項１７】
前記主に皮膚の色調を含む前記獲得された画像の１つ以上の領域を識別する工程は、主に皮膚の色調を含む前記獲得された画像の前記１つ以上の領域を定義する多くのフィルタのうちの１つ、限定的な皮膚フィルタを含む前記フィルタの少なくとも１つ、及び弛緩された皮膚フィルタを含む前記フィルタの少なくとも１つを適用する工程を含むことを特徴とする請求項１６記載の方法。
【請求項１８】
前記画像に対する少なくとも１つの顔領域を検出できなかったことに応答して、続いて獲得された画像に前記弛緩された皮膚フィルタを適用する請求項１７記載の方法。
【請求項１９】
６つの連続的に獲得された画像に対する少なくとも１つの顔領域を検出できなかったことに応答して、３つの続いて獲得された画像に前記弛緩された皮膚フィルタを適用する請求項１８記載の方法。
【請求項２０】
１５の連続的に獲得された画像に対する少なくとも１つの顔領域を検出できなかったことに応答して、３つの続いて獲得された画像に、さらに弛緩された皮膚フィルタを適用する請求項１９記載の方法。
【請求項２１】
６つの連続的に獲得された画像に対する少なくとも１つの顔領域を検出できなかったことに応答して、３つの続いて獲得された画像中の前記皮膚色調領域のうちの１つに対応する少なくとも１つの領域用の輝度特性のコントラストを強調する請求項１７記載の方法。
【請求項２２】
前記強調は、以下の数式
Ｔ＊ｐｏｗ（ｉ／Ｔ、ｒ）
に従って、輝度値ｉを閾値Ｔ以下になるように調節し、及び、以下の数式
（Ｌ−１−（Ｌ−１−Ｔ）＊ｐｏｗ（（Ｌ−１−ｉ）／（Ｌ−１−Ｔ），ｒ））
に従って、輝度値Ｉを前記閾値Ｔよりも大きくなるように調節することを特徴とする請求項１７記載の方法。
但し、Ｔ＝１００、ｒ＝０．４、及び、Ｌは輝度のための極大値である。
【請求項２３】
１台以上のプロセッサと、画像ストリーム内の顔を検出する反復法を行なうように前記１台以上のプロセッサをプログラムするためにデジタルでエンコードされた命令を埋め込む１つ以上のデジタル記憶媒体と、を含む画像処理装置であって、
ａ．１つ以上の顔領域を潜在的に含む前記画像ストリームから獲得された画像を受信し；
ｂ．サブサンプルされた画像を提供するために、前記獲得された画像を指定された解像度でサブサンプリングし；
ｃ．主に皮膚の色調を含む前記獲得された画像の１つ以上の領域を識別し；
ｄ．前記サブサンプリングされた獲得された画像の前記皮膚の色調領域の少なくとも１つのための対応するインテグラルイメージを計算し；
ｅ．それぞれが与えられたサイズ及び各々の位置を有している１セットの１つ以上の候補顔領域を提供するために、前記インテグラルイメージの少なくとも１つの部分に顔検出を適用し；及び、
ｆ．前記画像に対する少なくとも１つの顔領域を検出しないことに応答して、続いて獲得された画像中の前記皮膚色調領域のうちの１つに対応する少なくとも１つの領域についての輝度特性のコントラストを強調する
ことを特徴とする装置。
【請求項２４】
デジタル画像収集装置を使用して、画像ストリーム内の顔を検出する方法であって、
ａ．１つ以上の顔領域を潜在的に含む前記画像ストリームから獲得された画像を受信する工程；
ｂ．サブサンプルされた画像を提供するために、前記獲得された画像を指定された解像度でサブサンプリングする工程；
ｃ．主に皮膚の色調を含む前記獲得された画像の前記１つ以上の領域を定義する多くのフィルタのうちの１つ、限定的な皮膚フィルタを含む前記フィルタの少なくとも１つ、及び弛緩された皮膚フィルタを含む前記フィルタの少なくとも１つを適用することによって、主に皮膚の色調を含む前記獲得された画像の１つ以上の領域を識別する工程；
ｄ．前記サブサンプリングされた獲得された画像の前記皮膚の色調領域の少なくとも１つのための対応するインテグラルイメージを計算する工程；
ｅ．それぞれが与えられたサイズ及び各々の位置を有している１セットの１つ以上の候補顔領域を提供するために、前記インテグラルイメージの少なくとも１つの部分に顔検出を適用する工程；
ｆ．画像の候補領域又は前記獲得された画像の１つに品質基準を提供する工程；及び、
ｇ．前記品質基準に応答して、続いて獲得された画像に前記弛緩された皮膚フィルタを適用する工程
を含む方法。
【請求項２５】
１台以上のプロセッサと、画像ストリーム内の顔を検出する反復法を行なうように前記１台以上のプロセッサをプログラムするためにデジタルでエンコードされた命令を埋め込む１つ以上のデジタル記憶媒体と、を含む画像処理装置であって、
ａ．１つ以上の顔領域を潜在的に含む画像ストリームから獲得された画像を受信し；
ｂ．サブサンプルされた画像を提供するために、前記獲得された画像を指定された解像度でサブサンプリングし；
ｃ．主に皮膚の色調を含む前記獲得された画像の前記１つ以上の領域を定義する多くのフィルタのうちの１つ、限定的な皮膚フィルタを含む前記フィルタの少なくとも１つ、及び弛緩された皮膚フィルタを含む前記フィルタの少なくとも１つを適用することによって、主に皮膚の色調を含む前記獲得された画像の１つ以上の領域を識別し；
ｄ．前記サブサンプリングされた獲得された画像の前記皮膚の色調領域の少なくとも１つのための対応するインテグラルイメージを計算し；
ｅ．それぞれが与えられたサイズ及び各々の位置を有している１セットの１つ以上の候補顔領域を提供するために、前記インテグラルイメージの少なくとも１つの部分に顔検出を適用し；
ｆ．画像の候補領域又は前記獲得された画像の１つに品質基準を提供し；及び、
ｇ．前記品質基準に応答して、続いて獲得された画像に前記弛緩された皮膚フィルタを適用する
ことを特徴とする装置。
【発明の詳細な説明】
【技術分野】
【０００１】
（本発明の技術分野）
本発明は、収集装置における画像処理のための改善された方法および装置を提供する。特に、本発明は、デジタル画像収集装置における改善されたリアルタイム顔追跡（face tracking）を提供するものである。
【背景技術】
【０００２】
（関連技術の説明）
デジタル画像収集装置用の顔追跡は、ビデオストリームあるいはカメラ試写のような一連の画像中の人間の顔をマーキングする方法を含んでいる。顔追跡は、写真家に画像中の顔の位置を示すために使用することができ、それによって、獲得パラメータを改善し、或いは顔の位置の知識に基づいた画像の後処理を可能にする。
【０００３】
一般に、顔追跡システムは、２つの原理モジュールを使用する：
（ｉ）  獲得した画像または画像のシーケンスに新たな候補顔領域を位置付けるための検出モジュール；及び、
（ｉｉ）顔領域を追認するための追跡モジュール。
【０００４】
良く知られた高速の顔検出アルゴリズムは、米国特許出願公開第２００２／０１０２０２４号明細書に開示され、以下はビオラ−ジョーンズと呼び、それは参照によって本書に組込まれる。要約すると、ビオラ−ジョーンズは、最初に、獲得された画像（通常、ビデオストリーム中の画像フレーム）からインテグラルイメージ（Integral image）を引き出す。インテグラルイメージのそれぞれの要素は、画像中の点の上側及び左側への全ての点の強度の合計として計算される。その後、副ウィンドウの右下点に対するインテグラルイメージ値から、副ウィンドウの左上点に対するインテグラルイメージ値を減算することによって、画像中の任意の副ウィンドウの強度の合計が引き出されことができる。さらに、副ウィンドウの点からのインテグラルイメージ値の特定の組み合わせを使用して、隣接した副ウィンドウに対する強度が、効率的に比較されることができる。
【０００５】
ビオラ−ジョーンズでは、インテグラルイメージ内の副ウィンドウに分類器を適用することにより、矩形の（かつ次第に整えられた）ハール（Ｈａａｒ）特性に基づいた一続きの３２の分類器（カスケード）が、インテグラルイメージと共に使用される。獲得された画像の全分析のために、この副ウィンドウは、全画像がカバーされるまでは、インテグラルイメージの全域で漸増的にシフトされる。
【０００６】
インテグラルイメージ全体にわたって副ウィンドウが移動することに加えて、さらに、この副ウィンドウは、顔サイズの可能な範囲をカバーするために、上／下に増減する。ビオラ−ジョーンズでは、１．２５の倍率が使用され、典型的には、ＸＶＧＡサイズの画像中の可能な顔サイズをカバーするために、一連の約１０〜１２の異なる尺度（scale）が使用される。
【０００７】
したがって、より大きなサイズの副ウィンドウがインテグラルイメージ内の中間地点をそれらの計算のために使用されることができるので、最も小さなサイズの分類器副ウィンドウ（すなわち、検出されるべき最も小さなサイズの顔）によって、インテグラルイメージの解像度が決定されることが理解されるであろう。
【０００８】
オリジナルのビオラ−ジョーンズ・アルゴリズムの沢山の変形が、文献中で知られている。一般に、これらは、矩形の、Ｈａａｒ特性の分類器を採用し、また、ビオラ−ジョーンズのインテグラルイメージ技術を使用する。
【０００９】
ビオラ−ジョーンズは、従前の顔検出器よりも著しく速いものであるが、依然として膨大な計算を含んでおり、また、ペンティアム級のコンピューターでなければリアルタイム実行を達成することができない。手で保持される画像収集装置（例えばデジタル・カメラ、ハンドヘルド・コンピューター、カメラを装備した携帯電話）のように、資源を制限された埋め込み式システムでは、ビデオのリアルタイムのフレームレートでそのような顔検出器を実行することは、一般に実際的ではない。典型的なデジタル・カメラ内でのテストから、３−４の分類器カスケードを備えた１０−１２の副ウィンドウ尺度の全ての完全な適用を達成することは可能である。これは、達成されるべきあるレベルの初期顔検出を可能とするが、望ましくない高い誤検出率を伴う。
【００１０】
米国特許出願公開第２００５／０１４７２７８号明細書（それは参照によって本書に組込まれる）におけるＲｕｉらにより、多数のキューを使用して、多数の個人の自動検出及び追跡を行うためのシステムが記述される。Ｒｕｉらは、高速顔検出器としてビオラ−ジョーンズを使用することを開示している。しかしながら、Ｒｕｉらは、それよりむしろ、ビオラ−ジョーンズの処理オーバーヘッドを回避するために、動き、音声、及び高速顔検出の組み合わせを使用してビデオシーケンスのフレーム中の新たな顔を検出する自動初期化モジュールを使用することを明示している。システムの残りは、フレームからフレームまで、既存の又は新たに発見された候補顔領域を追跡する有名な顔追跡方法を使用する。さらに、Ｒｕｉらは、完全な顔検出処理を実行するために、落とされている幾つかのビデオフレームを含むことが注目される。
【００１１】
米国特許出願公開第２００６／０００２９２６５号明細書のＫｉｍ、及び米国特許第７１９０８２９号明細書のＺｈａｎｇは、それぞれ、顔検出及び追跡を行なうことが要求される処理を制限するため、顔検出が連続して行なわれる皮膚地図（skin map）を作るために、獲得された画像に皮膚色フィルタを適用することを開示している。
【発明の概要】
【発明が解決しようとする課題】
【００１２】
（発明の要約）
画像ストリームの獲得されたデジタル画像内で、顔を検出すること、追跡すること、認識すること、或いはこれらの組み合わせのための方法が提供される。これらの方法の内のいずれでも行なうために、１つ以上のプロセッサと、かかる１つ以上のプロセッサをプログラムするために、デジタルでエンコードされた命令を埋め込む１つ以上のデジタル記憶媒体と、を含む画像処理装置も提供される。
【課題を解決するための手段】
【００１３】
最初の方法は、デジタル画像収集装置を使用して、画像ストリームの顔を検出するために提供される。獲得された画像は、１以上の顔領域を含む画像ストリームから受信される。獲得された画像は、サブサンプリングされた画像を提供するための指定された解像度でサブサンプリングされる。主に皮膚の色調を含んでいる前記獲得された画像の１つ以上の領域が識別される。対応するインテグラルイメージは、サブサンプリングされた獲得された画像の皮膚色調領域の最小の１つのために計算される。与えられたサイズ及びそれぞれの位置を各々持っている１つ以上の候補顔領域の１セットを提供するために、顔検出は、インテグラルイメージの少なくとも１つの部分に適用される。
【００１４】
主に皮膚色調を含む領域上で顔検出器を単に実行することによって、事実上、これらの皮膚色調領域が顔を含んでいるという、より高い見込みがあるので、より弛緩された顔検出を用いることができる。
【発明の効果】
【００１５】
したがって、より有効に、確実に顔を検出することに関与し、より厳密な顔検出を備えた全体の画像上で顔検出を実行することと同様の品質結果を供給するために、より高速な顔検出が使用されることができる。
【図面の簡単な説明】
【００１６】
（図面の簡潔な記述）
本発明の実施形態は、ここに添付した図面を参照して、例示的に記述される：
【図１】好適な実施形態に従った画像処理装置の基本的構成要素を示すブロック図である；
【図２】図１の画像処理装置の動作を示すフローチャートである；
【図３】（ａ）〜（ｄ）は、好適な実施形態に従った装置によって処理された画像の例を示す；
【図４】（ａ）および（ｂ）は、本発明の実施形態で使用するための皮膚検出機能およびコントラスト強調機能をそれぞれ示す；そして、
【図５】本発明の実施形態で顔を獲得するためのフローチャートを示す。
【発明を実施するための形態】
【００１７】
（好適な実施形態の詳細な説明）
図１は、好適な実施形態に従った顔追跡システムの主要なサブシステムを示す。実線は、画像データの流れを示す；点線は、制御入力あるいはモジュールからの情報出力（例えば検出された顔の位置）を示す。この例において、画像処理装置は、デジタルスチルカメラ（ＤＳＣ）、ビデオカメラ、画像を捕獲する機構を装備した携帯電話機、或いは内部又は外部カメラを装備したハンドヘルプ・コンピューター、あるいはこれらの組み合わせであり得る。
【００１８】
デジタル画像は、画像センサー（ＣＣＤまたはＣＭＯＳ）［１０５］からの未加工のフォーマットで得られ、また、画像サブサンプリング器［１１２］は、メイン画像のより小さなコピーを生成する。殆どのデジタル・カメラは、例えばカメラの表示部に試写画像を供給するために、画像のサブサンプリングを行なう専用ハードウェア・サブシステムを予め含んでいる。典型的には、サブサンプリング化された画像は、ビットマップフォーマット（ＲＧＢまたはＹＣＣ）で提供される。一方、通常の画像獲得連鎖は、典型的に幾らかの輝度及び色バランスを含んでいる原画像［１１０］上で後処理を行なう。特定のデジタル画像システムでは、サブサンプリングは、そのような後処理の後に或いは特定の後処理フィルタが適用された後に、しかし後処理フィルタ連鎖全体が完成する前に発生し得る。
【００１９】
サブサンプリングされた画像は、次に、当該サブサンプリング画像からインテグラルイメージを作成するインテグラルイメージ生成器［１１５］に渡される。このインテグラルイメージは、次に、固定サイズ顔検出器［１２０］に渡される。この顔検出器は、全てのインテグラルイメージに適用されるが、これは主画像の副標本化されたコピーのインテグラルイメージであるため、当該顔検出に含まれる処理は比例して縮小される。サブサンプリング画像がメイン画像の１／４である場合、例えば、ピクセルの数が１／４及び／又は１／４のサイズを有している場合には、その後に含まれる処理時間は、完全な画像用の処理時間のわずか約２５％である。
【００２０】
このアプローチは、固定サイズのＤＭＡウィンドウによってサブサンプリング画像のメモリ空間をスキャンすることができ、このＤＭＡウィンドウにＨａａｒ特性分類連鎖を実装するデジタル論理が適用されることができる場合に、ハードウェアの実施形態に特に適している。分類のいくつかのサイズは、（ソフトウェアの実施形態で）代替的に使用されることができ、あるいは、（ハードウェアの実施形態で）多数の固定サイズの分類器が使用されることができる。利点は、より小さなインテグラルイメージが計算されるということである。
【００２１】
高速顔検出器［２８０］の適用の後に、任意の新たに検出された候補顔領域［１４１］が顔追跡モジュール［１１１］上に渡され、ここでは、前の分析［１４５］から確認された任意の顔領域が、顔追跡器［２９０］への供給［１４２］に先立った新たな候補顔領域と合併（merge）され得る。
【００２２】
顔追跡器［２９０］は、１セットの確認された候補領域［１４３］を追跡モジュール［１１１］に戻すように供給する。追加の画像処理フィルタは、好ましくは、これら確認された領域［１４３］が顔領域であるかを確認するために、或いはこれらが顔追跡器［２９０］によってそのように確認されていない場合、候補として領域を維持するために、追跡モジュール［１１１］によって適用される。顔領域の最終セット［１４５］は、顔追跡の次の反復中で使用されることと同様に、カメラ内で又はオフラインでの後の処理のために、カメラのどこか他のところで使用するために或いは獲得された画像内で又は獲得された画像に関連して格納されるために、モジュール［１１１］によって出力されることができる。
【００２３】
メイン画像の獲得連鎖が完遂された後、メイン画像［１３０］の標準サイズのコピーは、通常、画像収集システムのシステム・メモリ［１４０］内に存在する。これは、顔追跡モジュール［１１１］から得られた候補顔領域データ［１４２］に基づく画像区画（patch）を選択する顔追跡器［２９０］の構成要素である候補領域抽出器［１２５］によってアクセスされることができる。各候補領域のこれらの画像区画は、インテグラルイメージ生成器［１１５］を通過され、このときに生じるインテグラルイメージが、１つの可能な例としてＶＪ検出器である可変サイズの検出器［１２１］へ渡される。該検出器は、その後、各候補領域に対するインテグラルイメージに、異なる尺度（scale）の範囲にわたる分類化連鎖を適用し、好ましくは少なくとも３２の分類化連鎖を適用する。
【００２４】
顔検出器［１２１］によって使用される尺度［１４４］の範囲は、顔追跡モジュール［１１１］によって決定され供給され、一部は現在の候補顔領域［１４２］の履歴に関する統計情報に基づき、また一部は画像収集システム内の他のサブシステムから決定された外部のメタデータに基づく。
【００２５】
前者の例として、候補顔領域が特定数の獲得された画像フレームのための特定のサイズで一貫して残っている場合、顔検出器［１２１］は、この特定の尺度で及び／又はおそらくより高い（すなわち、１．２５倍大きな）１つの尺度、及びより低い（すなわち、１．２５倍小さい）１つの尺度で適用される。
【００２６】
後者の例として、画像収集システムの焦点がほぼ無限大まで移動している場合には、最も小さな尺度が顔検出器［１２１］に適用される。通常は、これらの尺度は、候補顔領域に対して、それを完全にカバーするために、より沢山の回数を適用されるようには使用されないであろう。候補顔領域が、それが減少されるべきでない最小サイズを持つだろうということに注目することは有益である−これは、フレーム間のユーザによるカメラの局所化された移動を考慮に入れるためである。動きセンサーを含む幾つかの画像収集システムでは、そのような局所化された移動は追跡され得る。この情報は、尺度の選択および候補領域のサイズをより一層改善するために使用されることができる。
【００２７】
候補領域追跡器［２９０］は、画像区画の十分な可変サイズの顔検出に基づいた１セットの確認された顔領域［１４３］を、顔追跡モジュール［１１１］に供給する。明白に、他のものが拒絶され得る一方で幾つかの候補領域が確認されるものであり、また、追跡器［２９０］がこれらを明示的に返すことができ、または確認された領域［１４３］と候補領域［１４２］の間の差を分析することにより、追跡モジュール［１１１］によって計算されることができる。いずれの場合も、その後、顔追跡モジュール［１１１］は、追跡の次のサイクルの候補領域［１４２］としてこれらが維持されるか否か、或いはこれらが追跡から本当に取り除かれるべきであるかどうかを決定するために、（下に説明されるように）追跡器［２９０］によって拒絶された候補領域に、代替試験を適用することができる。
【００２８】
確認された候補領域［１４５］のセットが顔追跡モジュール［１１１］によって決定されると、モジュール［１１１］は、次の獲得された画像がいつサブサンプリングされるべきか、そして検出器［２８０］に供給されるかを決定するために、さらには、次の獲得された画像がサブサンプリングされるべきであるところの解像度［１４６］を提供するために、サブサンプリング器［１１２］と通信する。
【００２９】
次の画像が獲得されるときに検出器［２８０］が実行しないところで、抽出器［１２５］に供給される当該次に獲得される画像のための候補領域［１４２］は、最後に獲得された画像からの追跡モジュール［１１１］によって確認された領域［１４５］になるだろう。他方では、顔検出器［２８０］が候補領域の新しいセット［１４１］を顔追跡モジュール［１１１］に供給する場合、これらの候補領域は、次に獲得される画像のための候補領域のセット［１４２］を抽出器［１２５］に供給するために、確認された領域の前のセット［１４５］と好ましく合併される。
【００３０】
２００７年３月５日に申請され（Ｒｅｆ：ＦＮ１８２）、同時継続中の出願６０／８９２８８３号明細書に記述されたように、ビオラ−ジョーンズに示されたような顔検出処理において、検出ウィンドウの分析中に及び／又は該検出ウィンドウの周辺で振動する間に、検出ウィンドウの位置に存在している顔の確率的手法を提供しながら、信頼水準を蓄積できることが認識されるであろう。信頼水準が検出ウィンドウ用のプリセットされた閾値に達する場合、顔は、検出ウィンドウの位置に対して確認される。検出ウィンドウの与えられた位置に対して顔検出プロセスがそのような信頼水準を生成するところでは、当該信頼水準は、たとえ顔が検出されなくても、当該与えられた位置で存在する顔の可能性の指標として捕捉され格納されることができる。
【００３１】
あるいはまた、顔検出プロセスが、各々がブールの「顔」又は「顔が無い」結果を産出するテストのシーケンスを適用するところで、顔検出プロセスがその場所で顔が存在しないと決定する前のシーケンスによって進んだ範囲は、信頼水準と等価なものとして、及び当該与えられた位置で顔が存在する可能性を示すものとみなすことができる。そのように、例えば、分類器のカスケードが３２の分類器２０でウィンドウ位置での顔を検出しなかったところで、この位置は、分類器のカスケードが３２の分類器１０でウィンドウ位置での顔を検出しなかったところよりも、（おそらく異なる尺度で或いはわずかに移動された）顔を含める可能性がありそうだ、とみなすことができる。
【００３２】
したがって、カメラ内のリアルタイム顔追跡を使用する場合、試写ストリームの各フレームにおいて、各顔領域についての現在の見込みは、前のＮ個の試写画像にわたって各顔領域の履歴から決定される累積確率と共に、利用可能になりえる。正常な状況では、累積確率は約７０％＋と比較的高く、また、現在の見込みはエラー要因と同じ約−１０％のオーダーであるだろう。この情報は、顔検出／追跡によって要求される処理オーバーヘッドを最適化するために、より詳細に以下に説明された発明の改良された実施形態中で使用することができる。
【００３３】
ズーム情報は、カメラ・ファームウェアから得ることができる。カメラ・メモリ１４０或いは画像格納部１５０中の画像を分析するソフトウェア技術を使用することで、カメラのパン又は傾斜の程度は、ある画像から別の画像まで決定され得る。
【００３４】
一の実施形態では、収集装置は、ある画像から別の画像までパンの程度及び方向を決定するために、図１で例証されたように、動きセンサー１８０を供給され、ソフトウェア中のカメラ動作の決定を伴う処理を回避する。
【００３５】
デジタルカメラ用のそのような動きセンサーは、加速度計に基づくことができ、また、主として、メイン画像捕獲の間の手ぶれを警告する又は補償する目的のために、カメラ内のジャイロスコープの原理に随意に基づくことができる。ムラコシへの米国特許第４，４４８，５１０号（それは参照によって本書に組み込まれる）は、従来のカメラ用のそのようなシステムを示し、また、モルガードへの米国特許第６７４７６９０号明細書（それも参照によって組込まれる）は、現代のデジタル・カメラ内に適用された加速度計センサーを示す。
【００３６】
動きセンサーがカメラに組み入れられる場合、それは光軸のまわりの小さな動作のために最適化されることができる。加速度計は、経験された加速度に基づいた信号を生成する感知モジュールと、有効に測定できる加速度の範囲を決定する増幅器モジュールと、を組込むことができる。当該加速度計は、感度が調節されることを可能にする増幅段のソフトウェア制御を許容することができる。
【００３７】
動きセンサー１８０は、次世代消費者カメラ及びカメラ付き携帯電話に組み入れられる種類のＭＥＭＳセンサーで、等しく実装されることが可能である。
【００３８】
どのような場合も、カメラが顔追跡モードで操作可能な場合、すなわちメイン画像を得ることとは異なるものとしての一定のビデオ獲得では、画像品質が低いので、手ぶれ補償（shake compensation）は通常使用されなかった。これは、動きセンサー増幅器モジュールを低い利得に設定することによって、大きな動きを感じる動きセンサー１８０を構成する機会を提供する。好ましくは、センサー１８０によって検出された動きの大きさ及び方向は、顔追跡器１１１に供給される。追跡されている顔の近似のサイズは、既に知られており、また、これはカメラからの各顔の距離の評価を可能にする。従って、それらがカメラからの異なる距離にあっても、センサー１８０からの大きな移動の近似のサイズを知ることで、決定される各候補顔領域の近似の置換を可能にする。
【００３９】
したがって、大きな移動が検出される場合、顔追跡器１１１は、移動の方向および大きさの作用として、候補領域の位置を変える。あるいは、追跡アルゴリズムが適用される領域の大きさは、また、移動の方向および大きさの作用として、拡大することができる（また、追跡器の精巧さは、より大きな画像領域を走査することに対する補償のために、減少され得る）。
【００４０】
メイン画像を捕らえるためにカメラが始動される場合、あるいは他の理由でカメラが顔追跡モードを出る場合には、運動センサー１８０の増幅器利得は正常に戻され、標準サイズの画像に対して運動センサー１８０からの情報に基づいた正常な手ぶれ補償アルゴリズムを使用するために、メイン画像獲得の連鎖１０５，１１０を許可する。
【００４１】
顔検出器１２０が適用されることになっている画像の領域を制限する代替的方法は、皮膚の色調を含む画像の領域を識別することを含んでいる。米国特許第６６６１９０７号明細書（それは参照によって本書に組み込まれる）は、皮膚の色調を検出し、その後、優勢な皮膚色を有する領域においてのみ顔検出を適用するための１つの技術を示す。
【００４２】
一の実施形態では、好ましくは、皮膚区分化１９０は、獲得された画像のサブサンプリングされたバージョンに適用される。サブサンプリングされたバージョンの解像度が十分でない場合には、その後、画像格納部１５０に格納された前の画像あるいは次のサブサンプリングされた画像は、当該２つの画像が現在の獲得した画像から内容において大して異ならないものである間は、使用することができる。あるいは、皮膚区分化１９０は、フルサイズのビデオ画像１３０に適用されることができる。
【００４３】
どのような場合も、皮膚の色調を含んでいる領域は、外接矩形により識別される。また、これら外接矩形は、追跡インテグラルイメージ生成器１１５に類似した方法で当該矩形に対応するインテグラルイメージ区画を生成する、インテグラルイメージ生成器１１５に供給される。
【００４４】
獲得された画像が獲得状態において悪い照明又は誤った露光の外部変化によって影響される場合、検出された顔の数は、あるいは、その履歴的な累積確率と比較している場合の与えられた顔の現在の可能性は、シーン（scene）の画像中の顔が検出されないポイントでさえ、著しく下がり得る。例えば、顔は、前方の照明の領域から後方照明あるいは側方照明にさらされる領域へ移動することができ；或いはシーン中の全面的な照明は、（人工照明が切られる、あるいは、シーンが戸外から屋内に移動する、などで）突然に減少される。
【００４５】
検出／追跡され得るシーン中の顔の追跡を失わないようにする試みで、皮膚区分化モジュール１９０が、候補領域１４５が追跡されていないところ又は候補領域１４５の累積的な／現在の可能性が著しく落ちているところのどちらかを検出するところでは、当該モジュール１９０は、皮膚を検出するために適用される基準を調節することができる。
【００４６】
そのようにして、例えば、正常な照明状態において、２００７年１月１８日に申請された米国１１／６２４６８３号明細書（Ｒｅｆ：ＦＮ１８５）に示されたような皮膚区分化基準が使用されることができる。そして、画像情報がＲＧＢフォーマットにおいて利用可能なところでは、Ｌ＞２４０（ここで、Ｌ＝０．３＊Ｒ＋０．５９Ｇ＋０．１１Ｂ）であれば、或いは、Ｒ＞Ｇ＋Ｋ及びＲ＞Ｂ＋Ｋ（ここで、Ｋは画像飽和の関数）であれば、ピクセルは皮膚であると考えられる。ＹＣＣフォーマットでは、Ｙ＞２４０であれば、或いは、Ｃｒ＞１４８．８１６２−０．１６２６＊Ｃｂ＋０．４７２６＊Ｋ及びＣｒ＞１．２６３９＊Ｃｂ−３３．７８０３＋０．７１３３＊Ｋ（ここで、Ｋは画像飽和の関数）であれば、ピクセルは皮膚であると考えられる。
【００４７】
これは、皮膚タイプＡ１として図４（ａ）に示したような最も制限のある皮膚地図（skin map）を作り、したがって、顔検出処理オーバーヘッドを大きく減少させる。
【００４８】
しかしながら、乏しい照明による画像（それらの変形は後により詳細に説明される）では、より弛緩された皮膚の基準が使用される。例えば、ＲＧＢフォーマットでは、Ｒ＞Ｇであれば、ピクセルは皮膚であると考えられる。ＹＣＣフォーマットでは、Ｃｒ＋０．１６２６＊Ｃｂ−１４８．８１６２＞０であれば、ピクセルは皮膚であると考えられる。
【００４９】
これは、任意の潜在的な顔候補を選び出すために、或いは後述されたコントラスト強調の利益と共に、顔検出を可能とするために皮膚タイプＡ２として図４（ａ）で例証されるように、広範囲な皮膚地図を作る。
【００５０】
もちろん、皮膚タイプＡ１及びＡ２の両方のために、ＲＧＢ、ＹＣＣあるいはＬＡＢなどのような他のフォーマットのために、他の基準が使用されることができる。
【００５１】
画像が非常に弱く照明される、余りにも過度に露光される、間違ったホワイトバランスがある、あるいは異常な照明（例えば有色の電球）がある、のいずれかの場合には、皮膚区分化は行なわれず、また、全ての画素は潜在的に皮膚を含むものとみなされる。これは皮膚タイプＡ３と呼ばれ、また、典型的に、顔検出は、何らかの形式のコントラスト強調と関連するような画像に適用される。
【００５２】
顔検出に先立った適切な皮膚区分化の適用は、インテグラルイメージの産出及び顔検出の実行に関連した処理オーバーヘッドを縮小するのみならず、本実施形態では、さらに、顔検出器１２０が外接矩形により弛緩された顔検出を適用することを、これらの皮膚色調領域が実際に顔を含んでいるという、より高い可能性があるときに、可能にする。したがって、ＶＪ検出器１２０については、より短い分類化の連鎖は、確実に顔を検出するのに必要とされる、より長いＶＪ分類器を備えた全体の画像上で顔検出を実行することと同様の品質結果を提供するために、より有効に使用することができる。
【００５３】
検出に対する更なる改良は、また、他の実施形態中で検討される。さらに、顔検出は照明状態に大きく依存し得るという事実、すなわち、照明における小さな変化は、顔検出を失敗させ、また、幾分不安定な検出動作を引き起こさせ得ることに基づいて、他の実施形態では、確認された顔領域１４５は、所望のパラメータに分析される画像の関与の領域にしむけるために、輝度修正［１９５］が行なわれ得る、連続して獲得されたサブサンプリングされた画像の領域を識別するために使用される。そのような修正の一例は、全画像にわたって、あるいは確認された顔領域１４５によって定義されたサブサンプリングされた画像の領域内、のいずれかの輝度コントラストを改善することである。
【００５４】
コントラスト強調は、特に、画像の使用可能なデータが接近しているコントラスト値によって表わされる場合、画像の局所のコントラストを増加させるために使用されてもよい。この調節を通じて、ヒストグラム上で表わされ、そうでなければ緊密に分配されたときの領域のピクセルの強度は、一層良好に分配されることができる。これは、全体的なコントラストに影響を与えずに、より低い局所的なコントラストの領域のために、より高いコントラストを獲得することを可能にする。ヒストグラム平等化は、最も頻出する強度値を有効に広げることにより、これを遂行する。
【００５５】
輝度修正モジュール１９５が、候補領域１４５が追跡されていないこと、或いは候補領域１４５の累積的な／現在の可能性が著しく落ちること、或いは獲得された画像の画像の品質または候補領域が最適ではないこと、のいずれかを検出したところでは、その後、コントラスト強調機能は、全画像または顔検出に先立った候補領域のいずれかに適用することができる。（皮膚区分化が輝度修正に先立って行なわれている場合には、次の輝度修正は、皮膚であると考えられた画像の領域にのみ適用される必要がある。）
【００５６】
コントラスト強調機能は、特定の画像品質状態のために、画像または画像の候補領域に適用される１セットの参照テーブル（ＬＵＴ）として、実装されることができる。一の実装形態では、照明状態は、画像又は候補領域のヒストグラム中の輝度の分析から決定することができる。画像／領域が低照明のものか、逆光又は露光過多であるかどうかの明瞭な表示がある場合には、修正モジュール１９５によって適用される図４（ｂ）の中で示されたようなコントラスト強調機能が選択され、以下のように適用されることができる：
Ｂ．０．−コントラスト強調無し  ｌｕｔ（ｉ）＝ｉ
Ｂ．１．−重度の低照明状態用  ｌｕｔ（ｉ）＝（Ｌ−１）＊ｌｏｇ（１＋ｉ））／ｌｏｇ（Ｌ）
Ｂ．２．−中程度の低照明状態用  ｌｕｔ（ｉ）＝（Ｌ−１）＊ｐｏｗ（ｉ／（Ｌ−１），０．４））
Ｂ．３．−軽度の低照明状態用  ｌｕｔ（ｉ）＝（Ｌ−１）＊ｐｏｗ（ｉ／（Ｌ−１），０．５））
Ｂ．４．−重度の露光過多状態用  ｌｕｔ（ｉ）＝（Ｌ−１）＊（ｅｘｐ（ｉ）−１）／（ｅｘｐ（Ｌ−１）−１）
Ｂ．５．−中程度の露光過多状態用  ｌｕｔ（ｉ）＝（（Ｌ−１）＊ｐｏｗ（ｉ／（Ｌ−１），１．４））
Ｂ．６．−軽度の露光過多状態用  ｌｕｔ（ｉ）＝（（Ｌ−１）＊ｐｏｗ（ｉ／（Ｌ−１），１．６））
Ｂ．７．−逆光画像用（上記カテゴリに入らない、又は極度の低照明／露光過多の事例）：
もしｉ≦Ｔを満たせば  続いて  ｌｕｔ（ｉ）＝（Ｔ＊ｐｏｗ（ｉ／Ｔ，ｒ））
そうでなければ  ｌｕｔ（ｉ）＝（Ｌ−１−（Ｌ−１−Ｔ）＊ｐｏｗ（Ｌ−１−ｉ）／（Ｌ−１−Ｔ），ｒ））
ここで、Ｔ＝１００、ｒ＝０．４；また、
ここで、Ｌは輝度のための極大値（例えば８ビット画像用の２５６）
【００５７】
したがって、Ｂ２，Ｂ３，Ｂ５，Ｂ６の事例において、コントラスト強調用の一般的な公式は、ｌｕｔ（ｉ）＝（Ｌ−１）＊ｐｏｗ（ｉ／（Ｌ−１），ｒ））であり、ここで、低照明ではｒ＜１が使用され、高照明状態ではｒ＞１が使用される、ということが分かる。
【００５８】
上記の事例では、品質の基準は、領域／画像の輝度ヒストグラムからの、画像の候補領域の或いは全くの全ての画像の相対的な照明の評価である。したがって、例えば、上の約３％を辺境サンプルに除外して、領域／画像の最も高いＹの値が３０未満であれば、領域／画像は、”重度の低照明”にさらされたものとして分類することができる。上の約３％を辺境サンプルに除外して、領域／画像の最も高いＹの値が３５未満であれば、領域／画像は、”中程度の低照明”にさらされたものとして分類することができる。下の約３％を辺境サンプルに除外して、領域／画像の最も低いＹの値が２２０よりも上であれば、領域／画像は、”重度の露光過多”にさらされたものとして分類することができる。
【００５９】
別の基準では、品質は、輝度と輝度変化との組合せに基づく。すなわち、追跡された領域が乏しいコントラストを持っている場合、つまり、上記のように、輝度の低い変化と顔が”重度の低照明”にさらされた場合には、コントラスト強調は、Ｂ．１に設定されることができる。追跡された領域が良好なコントラストを持っておらず、顔が露光過多の任意の形態にさらされた場合、コントラスト強調は、Ｂ．４に設定されることができる。顔に関するコントラストが非常に良いすなわち輝度の高い変化である場合、強調は、Ｂ．０に設定されることができる。
【００６０】
もし中間のレベルのコントラストが検出されれば、その後、コントラスト強調の変更が行われない、或いは、最大／最小の輝度値に全面的に基づいてコントラスト強調を変更する決定がされるであろう。
【００６１】
各事例において、皮膚タイプＡ１からＡ２へ、あるいは皮膚タイプＡ１又はＡ２からＡ３へ切り替える皮膚区分モジュール１９０を備えることにより、低い画像品質を考慮に入れたコントラスト強調機能の調節を伴うことができる。
【００６２】
かかる方法は、両方とも明るい或いは両方とも暗い背景及び前景を備えた画像に役立つ。特に、この方法は、露光過多又は露光不足の写真に、より良い細部を導くことが可能となる。
【００６３】
あるいは、この輝度修正は、生成器１１５中の”調整された”インテグラルイメージの計算に含めることができる。
【００６４】
別の改良において、顔検出が使用されている場合に、カメラのアプリケーションは、当該顔検出が顔の上にロックを提供するまでは、（当該シーンを幾分過度に露光するフレームからフレームまで）算出された初期値からより高い値まで露光量を動的に修正するように設定される。
【００６５】
上述されたシステム用に、向上された効率を提供する追加的な実施形態も検討される。例えば、顔検出アルゴリズムは、典型的には、異なる方位（０度，９０度，１８０度，及び２７０度）で写真の顔を検出するための方法或いは分類器を使用する。図１に例示されるように、カメラは、方位センサー１７０を装備することができる。これは、カメラが直立しているか逆さまであるか、或いは時計方向或いは反時計方向に傾けられているかどうかを判定するためのハードウェア・センサーを含むことができる。あるいは、方位センサーは、画像が肖像又は景観モードのいずれで得られたのか、また、カメラが時計方向又は反時計方向のいずれに傾けられたのか、を迅速に判定するために、画像獲得するハードウェア１０５，１１０あるいはカメラ・メモリ１４０、或いは画像格納部１５０のいずれかに接続された、画像解析モジュールを含むことができる。
【００６６】
一旦この判定がなされれば、カメラの方位は、顔検出器１２０，１２１の内の１つあるいは両方に供給されることができる。これら検出器は、当該判定されたカメラの方位を用いて、獲得された画像中の顔の適当な方位によって顔検出を適用することができる。この特徴は、例えば、顔を検出する傾向の低い分類器の利用を回避することにより、顔検出処理オーバーヘッドを著しく縮小することができ、或いは、与えられた方位の顔をより頻繁に検出する可能性の高い分類器を実行することにより、その正確性を増加させることができる。
【００６７】
図２は好ましい実施形態に従った主なワークフローを例証する。図示されたプロセスは、（ｉ）完全な画像のサブサンプリングされたバージョン上で作動する高速顔検出器［２８０］を使用して、新しい候補顔領域［１４１］を見つける検出／初期化過程；（ｉｉ）以前に獲得された１つ以上の画像フレーム中の顔の位置に基づいて決定される、候補領域［１４２］のための抽出された画像区画上で作動する、第２の顔検出処理［２９０］、及び、（ｉｉｉ）確認された顔領域［１４３］の統計履歴を計算し格納する、主追跡処理、に区分される。図２中では、高速顔検出器［２８０］の適用が候補領域追跡器［２９０］の適用に先立って生じるように示されるが、この順序は特に重要なものではなく、また、高速の検出は、全てのフレーム上で必ずしも実行されるとは限らず、或いはある状況では多数のフレームにわたって展開され得る。
【００６８】
したがって、ステップ２０５においてメイン画像が得られ、図１に関して記述されるように、ステップ２１０において当該メイン画像の第１の画像処理が行なわれる。ステップ２１１で、サブサンプリング器［１１２］によって、サブサンプリングされた画像が生成され、また、そこからインテグラルイメージが生成器［１１５］によって生成される。当該インテグラルイメージは固定サイズ顔検出器［１２０］に渡され、また、その固定サイズ・ウィンドウは、当該インテグラルイメージ内の１セットの候補顔領域［１４１］を顔追跡モジュール・ステップ２２０へ供給する。これらの領域のサイズは、サブサンプリング器への顔追跡モジュールによって指定されたサブサンプリング尺度［１４６］によって決定される。また、この尺度は、好ましくは、検出器［２８０］によって以前にサブサンプリングされた／インテグラルのイメージ、及び、おそらくカメラのフォーカスや移動のような他の入力として追跡器［２９０］によって以前に獲得された画像からの区画の分析に基づく。
【００６９】
候補領域［１４１］のセットは、ステップ２４２で、確認された領域［１４５］の既存のセットと合併されて、確認のために供給される候補領域［１４２］の合併されたセットを産出する。
【００７０】
顔追跡モジュール１１１によって指定された候補領域［１４２］に対して、候補領域抽出器［１２５］は、ステップ２２５で、獲得された画像から対応する最大解像度の区画を抽出する。ステップ２３０で、各抽出された区画のためにインテグラルイメージが生成され、また、個々のそのようなインテグラルイメージ区画に対して、顔検出器１２１によって、可変サイズの顔検出（例えば完全なビオラ−ジョーンズの分析）が適用される。これらの結果［１４３］は、ステップ２４０で顔追跡モジュール［１１１］に順次フィード・バックされる。
【００７１】
追跡モジュール［１１１］は、これらの領域［１４３］を、１セットの確認された領域［１４５］が出力されるさらに前に処理する。この点では、追跡器［２９０］によって確認された領域［１４３］のために、又は追跡器２９０によって確認されなかったかもしれない或いは検出器［２８０］によってピックアップされた候補領域［１４２］を保持するために、ステップ２４５で、モジュール１１１によって、追加のフィルタを適用することができる。例えば、もしも獲得された画像のシーケンスに関して顔領域が追跡されており、その後に失われたならば、カメラに面する対象がちょうど向きを変えたかどうかチェックするために、モジュール［１１１］によって、当該領域に皮膚プロトタイプを適用することができるだろう。そうであれば、この候補領域は、次の獲得された画像中で、対象が顔にカメラを戻したかどうかをチェックするために維持されることができる。
【００７２】
どの時間でも維持されている確認された領域らのサイズ及びそれらのサイズの履歴（例えば、それらがより大きくなったか又はより小さくなったか）に依存して、モジュール１１１は、検出器［２８０］によって分析されるべき次の獲得された画像をサブサンプリングするための尺度［１４６］を決定し、またこれをステップ２５０でサブサンプリング器［１１２］に供給する。
【００７３】
高速顔検出器［２８０］は、すべての獲得された画像上で実行される必要があるとは限らない。したがって、例えば、サブサンプリングされた画像の単一のソースだけが利用可能なところでは、カメラが１秒当たり６０フレームを得る場合、１秒当たり１５乃至２５のサブサンプリングされたフレーム（ｆｐｓ）が、ユーザ試写のためのカメラ表示部に供給されるように要求され得る。明白に、これらの画像は、同一の尺度での、かつ、表示部のための十分に高い解像度でサブサンプリングされたものとする必要がある。残る３５乃至４５ｆｐｓのうちの幾つかあるいは全ては、顔を検出し追跡する目的のために追跡モジュール［１１１］によって要求された尺度でサンプリングすることができる。
【００７４】
ストリームから画像が選択されているところの周期性に関する決定は、定数に基づくか、又は、代替的にランタイム変数とすることができる。このような場合、次のサンプリングされた画像に関する決定は、捕らえられた実時間のストリームと顔追跡処理の間の同時発生を維持するために、前の画像のためにとった処理時間上で決定されることができる。したがって、複雑な画像環境では、サンプル・レートは減少し得る。
【００７５】
あるいは、次のサンプルに関する決定も、選択された画像の内容の処理に基づいて行なわれ得る。画像ストリーム中に重要な変更がない場合、十分な顔追跡プロセスは行なわれないかもしれない。そのような場合、サンプリングレートは一定とし得るが、画像は単純な画像比較を経験するであろうし、また、正当な差異があると決定される場合にのみ、顔追跡アルゴリズムが開始されるであろう。
【００７６】
顔検出器［２８０］はまた、等しい時間間隔で実行される必要はない。そのように、カメラ焦点が著しく変更される場合、その後、例えば、サイズが変化しているべき顔を検出しようとするために、顔検出器は、より頻繁に、及び特にサブサンプリングされた画像の異なる尺度により、実行されることができる。或いは、焦点が急速に変わっているところで、検出器［２８０］は、焦点が安定するまで、介在するフレームのためにスキップすることができる。しかしながら、焦点がほぼ無限遠に行く場合、最も高い解像度のインテグラルイメージが生成器［１１５］によって産出されるべきであることが一般的である。
【００７７】
この後の場合では、検出器は、単一のフレーム中の獲得され、サブサンプルされた画像の全エリアをカバーすることができないかもしれない。従って、検出器は、最初のフレーム上の獲得され、サブサンプルされた画像の一部だけを横切って適用され得るし、また、１つ以上の後に続く獲得された画像フレーム上の画像の残りの部分を横切って適用され得る。一の実施形態では、検出器は、その周囲から画像を入力する小さな顔を捕捉するために、最初に獲得された画像フレーム上で、そして、画像のより中央部への後のフレーム上で、獲得された画像の外部の領域に適用される。
【００７８】
別の実施形態では、顔検出器１２０は、画像間で実質的に異なる領域にのみ適用されるだろう。内容の変化に対する２つのサンプリングされた画像を比較するに先立って、ズーム、パンおよび傾斜のようなカメラの動作によって引き起こされるカメラの変化のばらつきを削除するために、画像間の登録の段階が必要とされ得ることが注目される。
【００７９】
代替の実施形態では、カメラ表示部のためのサブサンプリングされた試写画像は、画像サブサンプリング器［１１２］に送られており及びこれから供給された画像よりも、個別のパイプを通って供給することができ、それにより、すべての獲得された画像及びそのサブサンプリングされたコピーは、カメラ表示部と同様に検出器［２８０］の両方で利用可能になりえる。
【００８０】
周期的にビデオストリームからのサンプルを得ることに加えて、当該処理は、さらに、デジタルカメラによって獲得された単一の静止画像に対して適用され得る。この場合、顔追跡のためのストリームは、試写画像のストリームを含むことができ、また、当該シリーズ中の最終画像は、十分な解像度を獲得した画像となり得る。そのような場合では、顔追跡情報は、図２中に示された方法と同様の方法で、最終画像のために確認されることができる。さらに、顔の座標かマスクのような情報が、最終画像で備えられ得る。そのようなデータは、例えば、将来の後処理のために、当該収集装置中で或いは外部装置による後の段階でも、保存された画像のヘッダーにエントリーとして入ることができる。
【００８１】
上述したように、良好に行なうために、顔検出及び追跡は、良好なコントラスト及び鮮明度を備えた画像を要求する。本発明の好ましい実施形態においては、候補顔領域１４５の輝度及びコントラストの修正の代わりに或いは修正に加えて、モジュール１９５は、顔が検出されていないシーンの獲得された画像のコントラストを適応的に変更することができるものであり、すなわち、照明、露光、あるいはホワイトバランスによる悪影響が縮小されるような候補領域１４５はない。
【００８２】
図４（ａ）及び（ｂ）から見ることができるように、１つ以上の顔を自動追跡するために使用することができた皮膚区分化（Ａ１／Ａ２／Ａ３）およびコントラスト強調（Ｂ０／Ｂ１／Ｂ２／Ｂ３／Ｂ４／Ｂ５／Ｂ６／Ｂ７）の多くの可能な置換がある。これらの全てがフレームのシーケンスの全域でチェックされることになっていた場合には、長い探索ループが必要になり得、また、顔を自動追跡するための遅れは、容認しがたいほど長くなり得る。
【００８３】
したがって、一の実施形態では、顔追跡モジュール１１１から供給された前のフレームから候補領域１４５が無い場合には、モジュール１９０および１９５は、図５中に示された、顔領域を検出することを試みるためのステップに従って作動する。
【００８４】
好ましくは、モジュール１９０，１９５は、正常な皮膚写像（Ａ１）及びコントラスト強調無し（Ｂ０）で探索することに向けてバイアスがかけられ、そのため、当該モジュールは、フレーム中に候補領域が見つからないことに応答して、フレームのシーケンスを以下のように処理する：
−  最初の６つの連続するフレームでは、モジュール１９０，１９５は、正常な皮膚区分化及びコントラスト強調の事例（Ａ．１＋Ｂ．０）を使用する；
−  次の３つの連続するフレームでは、当該モジュールは、弛緩された事例（Ａ．２＋Ｂ．７）を使用する；
−  次の６つの連続するフレームでは、当該モジュールは、再び正常な事例（Ａ．１＋Ｂ．０）を使用する；そして、
−  次の３つの連続するフレームでは、当該モジュールは、ループを繰り返す前に、非常に弛緩された事例（Ａ．３＋Ｂ．７）を使用する。
【００８５】
図に示すように、このループでは、わずかな一般的な場合（Ａ．１＋Ｂ．０；  Ａ．２＋Ｂ．７；  Ａ．３＋Ｂ．７）が使用されたに過ぎず、これらの組合せの内の１つが少なくとも１つの候補顔領域を産出する場合には、その後、モジュール１９０、１９５は、探索を止めて、追跡されている候補領域１４５に対する現在の／累積的な確率が、或いは画像品質が変化するまでは、当該成功したＡ／Ｂの設定を使用し続ける。その後、皮膚区分化またはコントラスト強調のいずれかは、分析されているフレームの照明に従って、さらに、関数Ａ１乃至Ａ３あるいはＢ０乃至Ｂ７のうちの任意の１つに変更することができる。それでもなお、画像照明の変化がない状態において、探索から作り出された設定を使用することは、検出された顔に関するより良い自動追跡を提供するものである。
【００８６】
モジュール１９０，１９５が候補領域１４５のための皮膚区分化およびコントラスト強調を調節するにもかかわらず、候補領域１４５のリストが再び空になる場合はいつでも、モジュール１９０，１９５は、図５に従って、適切な皮膚区分化およびコントラスト強調の関数を探索し始める。
【００８７】
例えば、顔が輪郭から正しく戻った場合、当該顔が正常状態（良好な照明、良好なコントラスト）にあることができ、Ａ．２＋Ｂ．７のような弛緩状態で検出されることが注目されるべきである。そのため、一旦、追跡された顔領域用の電流／累積確率が与えられた閾値を越えれば、或いはコントラスト、皮膚パーセンテージおよび顔照明に関して画像の品質が改善すれば、コントラスト強調を標準化すること又は皮膚区分化を厳しくすることは、モジュール１９０，１９５のいずれかにとって常に可能である。
【００８８】
皮膚パーセンテージは、正常なすなわちＡ１の基準を満たす皮膚と見なされた画像中のピクセルの数として、また、弛緩されたすなわちＡ２の基準を満たす皮膚と見なされた数として、計数される。
【００８９】
フレーム中に十分な正常な皮膚がある場合には、皮膚区分化モジュールは、皮膚タイプをＡ１に設定することができるが、一方で、この顔の上に弛緩された皮膚と比較して不十分な正常な皮膚がある場合、皮膚区分化モジュールは、皮膚タイプをＡ２に或いはＡ３にさえ設定することができる。顔が平面の中で又は平面の外でその方向を変更する場合、あるいはカメラの自動のホワイトバランス（ＡＷＢ）が画像のストリームを得る際に色を修正する場合、皮膚区分化のこの動的な変化は必要になり得る。
【００９０】
代案として或いは上記のステップに加えて、顔が図５のステップを通じて検出される場合、最も適切な皮膚区分化が使用されているかどうか決定するチェックは、顔領域を追跡するのに最小の量の顔検出が実行されていることを保証するために、遂行することができる。そのようにして、顔の検出に続く次の２つのフレームに関して、Ａ１−＞Ａ２−＞Ａ３又はＡ３−＞Ａ２−＞Ａ１からの循環により、皮膚区分化は、顔検出が適用され検出された顔を依然として追跡する領域を、できるだけ多くを制限するために変更されることができる。
【００９１】
下記は、顔領域の獲得の間に皮膚区分化およびコントラスト強調の変化を示すいくつかの典型的なシナリオである：
【００９２】
シナリオ１−適切でないホワイトバランス
・・・
=> 最後の検出からフレームを計数 = 1 
=> 正常な事例(A.1+B.0)に設定
・・・
=> 最後の検出からフレームを計数 = 7 
=> 事例(A.2+B.7)に設定
・・・
=> 最後の検出からフレームを計数 = 16 
=> 事例(A.3+B.7)に設定
=> 検出された一の顔
=> 顔領域における皮膚を分析
=> 正常な皮膚の割合は 0%, 弛緩された皮膚の割合は 3% 
=> A.3 を次のフレームに使用... 
=> 顔領域における輝度／コントラストを分析
=> 良好なコントラスト (顔上の変化 > 1500) 
=> 強調 B.0に設定
・・・
【００９３】
シナリオ２−正常な皮膚、良好な照明
・・・
=> 最後の検出からフレームを計数 = 1
=> 正常事例(A.1+B.0)に設定
=> 検出された一の顔
=> 顔領域における皮膚を分析
=> 正常な皮膚の割合は 80%, 弛緩された皮膚の割合は 95% 
=> A.1 を次のフレームに使用...
=> 顔領域における輝度／コントラストを分析
=> 良好なコントラスト (顔上の変化 > 1500) 
=> 強調 B.0に設定
・・・
【００９４】
シナリオ３−中程度の逆光（弛緩された皮膚タイプ、及び中程度のコントラスト強調タイプ）
・・・
=> 最後の検出からフレームを計数 = 7 
=> 事例(A.2+B.7)に設定
=> 検出された一の顔
=> 顔領域における皮膚を分析
=> 正常な皮膚の割合は 30%, 弛緩された皮膚の割合は 80%
=> A.2 を次のフレームに使用... 
=> 顔領域における輝度／コントラストを分析
=> 顔ヒストグラム輝度の最大値 < 50 
=> コントラストを中程度の低照度(B.2)に強調
・・・
【００９５】
シナリオ４−強い低照明
=> 最後の検出からフレームを計数 = 1 
=> 正常事例(A.1+B.0.)に設定 
=> フレームヒストグラム輝度の最大値 < 30
=> コントラストを強い低照度(B.3)に強調し、皮膚区分化(A.3)に設定
・・・
=> 検出された一の顔
=> 顔領域における皮膚を分析
=> 正常な皮膚の割合は 5%, 弛緩された皮膚の割合は 15%
=> コントラスト強調変更なし
=> 皮膚区分化をA.3に設定
=> 顔領域における輝度／コントラストを分析
=> 顔ヒストグラム輝度の最大値 < 30
=> コントラストを強い低照度(B.3)に強調
・・・
=> 最後の検出からフレームを計数 = 0 (なぜなら我々はリスト中に新たに検出された顔を有する) 
=> 何もしない(なぜなら我々はリスト中に新たに検出された顔を有する) 
=> フレームヒストグラム輝度の最大値 < 30
=> コントラストを強い低照度(B.3)に強調し、皮膚区分化(A.3)に設定
=> 再び検出された一の顔
=> 新たに検出された顔なし
=> 顔領域における皮膚を分析
=> 正常な皮膚の割合は 5%, 弛緩された皮膚の割合は 15%
=> コントラスト強調変更なし
=> 皮膚区分化をA.3に設定
=> 顔領域における輝度／コントラストを分析
=> 顔ヒストグラム輝度の最大値 < 30
=> コントラストを強い低照度(B.3)に強調
・・・
【００９６】
図３は、皮膚区分化およびコントラスト強調に依存しないより一般的な動作例による、好ましい実施形態に従った動作を示す。図３（ａ）は、ビデオのフレーム上の検出及び追跡サイクルの終了の結果を、異なる尺度で示されている２つの確認された顔領域［３０１、３０２］と共に表す。この典型的な実施形態では、実用的な理由で、それぞれの顔領域は、矩形の境界枠（bounding box）を有している。矩形の領域に関する計算を行う方が容易ではあるが、異なる形も使用することができる。この情報は、図１の追跡モジュール［１１１］によって、［１４５］として記録され出力される。
【００９７】
顔領域［３０１、３０２］の履歴に基づいて、追跡モジュール［１１１］は、結果として提供され分析されているインテグラルイメージを備えた顔領域［３０１］のサイズの分類化ウィンドウを備えた高速顔追跡を実行することを決定することができる。
【００９８】
図３（ｂ）は、ビデオシーケンスにおける次のフレームが捕えられ、高速顔検出器が新たな画像に適用された後の状況を示す。両方の顔は、［３１１、３１２］に移動され、また、以前の顔領域［３０１、３０２］に関連して示される。３番めの顔領域［３０３］が現われて、高速顔検出器［３０３］によって検出された。さらに、高速顔検出器は、それが高速顔検出器のための正確な尺度にあるので、２つの以前に確認された顔の中で、より小さなもの［３０４］を見い出した。領域［３０３］及び［３０４］は、候補領域［１４１］として追跡モジュール［１１１］に供給される。追跡モジュールは、この新たな候補領域情報［１４１］を、領域［３０１］［３０２］を含む以前に確認された領域情報［１４５］と合併し、領域［３０３］、［３０４］及び［３０２］を含む１セットの候補領域を、候補領域抽出器［２９０］に提供する。追跡モジュール［１１１］は、領域［３０２］が検出器［２８０］によって捕捉されていないことを知っている。これは、その顔が、検出器［２８０］によって検出するには大きすぎる又は小さすぎるサイズで残っていたか、或いは検出器［２８０］で検出することができなかったサイズに変更されたことのいずれかにより、顔が見えなかったからという理由であり得る。したがって、この領域に対しては、モジュール［１１１］は、好ましくは大きな区画［３０５］を指定する。図３（ｃ）を参照すると、この区画［３０５］は、追跡器［２９０］によってチェックされる領域［３０２］の周りにある。新しく検出された顔候補を制限する領域［３０３］だけが追跡器［２９０］によってチェックされることが望ましいが、顔［３０１］が移動しているので、この領域を囲む比較的大きな区画［３０６］が、追跡器［２９０］に特定される。
【００９９】
図３（ｃ）は、候補領域抽出器が当該画像に関して作動した後の状況を示す。新しい領域［３０３］と同様に、以前のビデオフレームから確認された顔領域［３０１、３０２］の両方のまわりで候補領域［３０６、３０５］が、最大解像度の画像［１３０］から抽出される。これらの候補領域のサイズは、部分的には、現在の顔候補の履歴に関する統計情報、および部分的には、画像収集システム内の他のサブシステムから決定された外部のメタデータに基づいて、顔追跡モジュール［１１１］によって計算されたものである。ここで、これらの抽出された候補領域は、尺度の範囲にわたる候補領域にＶＪ顔検出器を適用する可変サイズの顔検出器［１２１］に渡される。その後、任意の確認された顔領域の位置は、顔追跡モジュール［１１１］に渡される。
【０１００】
図３（ｄ）は、顔追跡モジュール［１１１］が高速顔検出器［２８０］および顔追跡器［２９０］の両方からの結果を合併し、当該確認された顔領域に様々な確認フィルタを適用した後の状況を示す。区画［３０５，３０６，３０３］の内部に、図３（ｄ）中に［３０７、３０８、３０９］で示される３つの確認された顔領域が検出された。最も大きい領域［３０７］は、既知であるが、以前のビデオフレームから移動されており、関連したデータがその顔領域の履歴に加えられる。移動された以前に既知の他の領域［３０８］も、二重の確認として役立つ高速顔検出器によって検出され、また、これらのデータはその履歴に加えられる。最後に、新たな顔領域［３０３］は、検出され確認され、また、続いて、この新たに検出された顔のために、新たな顔領域履歴が開始される。これらの３つの顔領域は、次のサイクルに対して１セットの確認された顔領域［１４５］を供給するために使用される。
【０１０１】
顔追跡モジュールによって供給された領域１４５のための多くの可能な応用があることが理解されるだろう。例えば、領域［１４５］の各々のための境界枠は、シーン中の検出された顔（ら）をカメラが自動的に追跡していることを示すために、カメラ・ディスプレイの上に重ね合わせることができる。これは、様々な前捕獲パラメータの改善のために使用することができる。一の例は、顔が良く露出されることを保証する、露光である。別の例は、画像中の顔の最適な表現のために、検出された顔の上で焦点が設定されたこと、あるいは実際に他の捕獲設定を調節することを保証することによる、自動フォーカシングである。
【０１０２】
当該修正は、前処理調節の一部として行われることができる。また、顔追跡の位置は、後処理のために、特に、顔を備えた領域が強調され得る選択的な後処理のために使用されることができる。そのような例は、局所のコントラストを、鋭くすること、強調すること、飽和させること、明るくすること、或いは増加させること、あるいはこれらの組合せを含む。顔の位置を使用して予備的処理をすることは、さらに、顔のない領域上で、それらの視覚的な重要性を縮小するために、例えば、ぼかすこと、不飽和にすること、或いは暗くすることを選択的することにより使用されることができる。
【０１０３】
いくつかの顔領域が追跡されている場合、その後、最も長く在るもの或いは最も大きな顔は、フォーカスのために使用することができ、また、そのようなものとして強調することができる。さらに、領域［１４５］は、エリアを制限するために使用されることができ、例えば、領域上で赤目処理（例えば、米国特許出願公開第２００４／０２２３０６３号明細書、２００５／００３１２２４号明細書、２００５／０１４０８０１号明細書、及び２００４／００４１１２１号明細書、米国特許第６４０７７７７号明細書及び７０４２５０５号明細書（これらは参照によって本書に組込まれる）を参照）が行なわれる。
【０１０４】
軽量の顔検出と共に使用されることができる他の後処理は、顔認識である。このようなアプローチは、特に、より強い顔検出と認識とが結合され、より多くの資源を消費するアルゴリズムを実行するために十分な資源を持っている同一の装置又はオフライン装置上で実行される場合に、有用になりえる。
【０１０５】
この場合、顔追跡モジュール［１１１］は、確認された顔領域［１４５］の位置を、望ましくは確認因子と共に、カメラ内のファームウェアに報告する。
【０１０６】
当該確認因子が領域に対して十分に高い場合には、少なくとも１つの顔が実際に画像フレームの中にあることを示し、当該カメラのファームウェアは、その顔の位置で、軽量の顔認識アルゴリズム［１６０］（例えばＤＣＴに基づいたアルゴリズム）を実行する。顔認識アルゴリズム［１６０］は、好ましくはカメラ上に格納され、個人の識別子およびそれらの関連する顔パラメータを含むデータベース［１６１］を使用する。
【０１０７】
動作において、モジュール［１６０］は、一連のフレームに関する識別子を集める。多くの試写フレームに関して追跡され、検出された顔の識別子が、主に特定の１人である場合には、認識モジュールによって、その人がその画像の中にあるものと認められる。人の識別子、及び顔の最後の既知の位置は、画像（ヘッダー中）又はカメラ記憶部［１５０］に格納された個別のファイルのいずれかに格納される。かかる人のＩＤの格納は、認識モジュール［１６０］が先行する複数のフレームに直ちに失敗した場合であっても、顔領域がモジュール［１１１］によって依然として検出され追跡されているために、発生することができる。
【０１０８】
画像がカメラ記憶部からＰＣ（図示せず）のようなディスプレイまたは永久記録媒体の装置にコピーされる場合、人のＩＤは、当該画像と共にコピーされる。そのような装置は、一般に、より多くの強力な顔検出および認識アルゴリズムを実行することができ、次に、その結果とカメラからの認識結果とを組み合わせることで、（もしあれば）当該強力な顔認識による認識結果に大きな影響力を与える。当該組み合わされた識別結果はユーザに提示され、あるいは、識別が可能でなかった場合には、ユーザは当該発見された人の名前を入力するように要求される。ユーザが識別を拒絶する又は新しい名前が入力される場合には、ＰＣは、その顔印刷データベースを再教育し、当該適切な変更を、容量の軽いデータベース［１６１］の記憶用の取込装置にダウンロードする。
【０１０９】
多数の確認された顔領域［１４５］が検出された場合、認識モジュール［１６０］は、画像中の多数の人を検出し認識することができる。
【０１１０】
人が認識されるまでは、又は人が顔印刷データベース中に存在していないことが明らかになるまでは撮影しないモード、或いは、人が認識された場合に、適切な指標を択一的に表示するモードを、カメラに導入することが可能である。これは、画像内での人の信頼できる識別を可能にする。
【０１１１】
好ましい実施形態に従ったシステムのこの特徴は、単一の画像を顔の検出及び認識に使用し、正確に行なう見込みがより低いアルゴリズムに関する問題を解決する。一例では、認識に関し、顔が特定の厳密な範囲内で整列されていない場合には、正確に人を認識することは非常に困難になる。この方法は、一連の試写フレームをこの目的に使用し、わずかに異なるサンプルのさらに多くの変形が利用可能な場合、信頼できる顔認識を行い得ることが期待されるものである。
【０１１２】
本発明は、上述された実施形態に制限されるものではなく、添付された請求項、及び構造、機能的な等価物で述べられるような本発明の範囲を外れることなく、修正あるいは変形がなされ得るものである。
【０１１３】
好ましい具体化に従ってここに行なわれ得る方法、及び、上述の及び／又は後にクレームされ得る方法では、動作は、選択された活版印刷の順序で記述された。しかしながら、かかる順序は、活版印刷の便宜のために選択され、命じられたものであり、また当該動作を行なうためのいかなる特別の順序も意味するようには意図されない。
【０１１４】
さらに、本発明の背景及び要約欄に加えられ、本明細書で上述し引用された全ての参照文献は、代替の実施形態及び構成要素を示すものとして、好ましい実施形態の詳細な説明内に組み入れられるものである。
【図１】
2010500836.tif 000003
【図２】
2010500836.tif 000004
【図３】
2010500836.tif 000005
【図４】
2010500836.tif 000006
【図５】
2010500836.tif 000007
【国際調査報告】
2010500836.tif 000008
2010500836.tif 000009
2010500836.tif 000010