(57)【要約】【課題】画像捕捉処理に価値を付加して捕捉された画質を改善するため、画像における一以上の人間の顔を検出する。【解決手段】画像データから顔の存在を判定する方法は、第１のアルゴリズムで画像データを予めスクリーニングして一以上の候補となる顔の領域を探すため顔形状モデルを顔の確率と比較し、パターンマッチングにより第２のアルゴリズムを候補となる顔領域に実行してそれぞれの候補となる顔領域を調べて領域における顔の存在を確かめる。第１及び第２のアルゴリズムを組合せて用いることで、個々に用いるよりも検出レベルの観点で性能が高くなる。ディジタルカメラは、アルゴリズムを記憶するメモリ、及びシーンにおける一以上の顔の存在を判定するアルゴリズムで画像データを処理する電子処理部を含む。顔データは、画像捕捉の露光パラメータの制御、カラーバランスを顔の存在に関連付ける処理された画像データの生成に使用されるか、記憶媒体上に画像データと共に記憶される。【選択図】図１
2010045819.tif 000002
【特許請求の範囲】
【請求項１】
画像データから顔の存在を決定する方法であって、
（ａ）顔形状モデルと候補となる顔の領域における画素に割り当てられた顔の確率との比較に基づいて、第１のアルゴリズムにより画像データを前スクリーニングして画像の１つ以上の候補となる顔の領域を発見する段階と、
（ｂ）パターンマッチング技術を用いて第２のアルゴリズムを前記候補となる顔の領域に実行して前記画像のそれぞれの候補となる顔の領域を表現し、前記候補となる顔の領域における顔の存在を確かめる段階とを含み、
前記第１のアルゴリズムと前記第２のアルゴリズムとを組み合わせて用いることにより、前記第１のアルゴリズム又は前記第２のアルゴリズムを個々に用いるよりも検出レベルに関して高い性能が提供される、
ことを特徴とする方法。
【請求項２】
前記第１のアルゴリズムは、前記第２のアルゴリズムよりも高速に実行される、
請求項１記載の方法。
【請求項３】
前記第１のアルゴリズムは、顔を含む可能性のある画像を含むウィンドウをサーチする、
請求項１記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像捕捉の分野に関連し、特にカメラによる画像捕捉の処理を改善し最適化するための画像処理分野に関する。
【背景技術】
【０００２】
撮影者によって収集される大多数の画像は、多くの場合に画像の最も重要な被写体である人物を含む。画像中での人物の存在及び位置、特に人物の顔の存在及び位置を知ることは、画像捕捉処理において多くの有益な改善がなされることを可能とする。その幾つかについては従来技術で提案されている。
【０００３】
例えば、自動式及び半自動式合焦カメラは、最良焦点として調整されるシーンの部分を選ぶことが多い。カメラがシーン中で顔の位置を見つけることができれば、撮影者がその選択をはっきりと無効としないかぎり、焦点は顔について最適化される。米国特許第５，８３５，６１６号では、顔検出システムは、自動写真技術において、合焦された被写体がないために低い質を生じさせうる手動調整問題を除去するために使用される。
【０００４】
更に、シーン中の顔の検出は、主要な被写体の正しい位置についての非常に強い証拠を与える。これに関して、第’６１６号特許に開示される処理は、ディジタルカメラによって撮影されたディジタル化された画像中の人間の顔を自動的に見つけ、顔特徴について調べることによって顔の存在を確かめ、カメラは検出された顔に中心が合わされる。顔の検出は、また顔及び／又は肌の領域について正しいカラーバランスの強い証拠を生じさせる。
【０００５】
例えば、米国特許第５，４３０，８０９号では、ビデオカメラは、自動露出及び自動焦点のために顔対象に測定フレームを設定するため顔目標を自律的に追跡する。更に、一旦測定フレームが設定されると、顔の最適な肌の色を得るために自動白バランスシステムが色を調整する。
【０００６】
結果として、自動白バランスシステムは、自動肌カラーバランスを行なうものであるといえる。また、米国特許第５，６２９，７５２号より、人間の顔を検出し、次に顔に対応する領域が写真印刷装置によって適切に印刷されうるよう、露出量を決定するために顔領域の色及び／又は密度を表わすデータを使用することが知られている。
【０００７】
顔検出は、過去数年に亘り画像理解の主題に関連して研究されてきたが、特に強固な顔検出アルゴリズムが必要とされる場合はかなりの計算が必要となる場合がある。様々な撮像条件に亘ってかなり良い性能を示す多数の方法が考えられてきた。かかる方法は、（ハンドヘルドカメラと比較して）比較的高度な処理能力を有する写真プリンタといった大規模処理機器においてよりうまく実施されうる。
【０００８】
これらの顔検出方法を、限られたメモリ資源を有するカメラで、低い計算費用で良く実施することが困難であった。これがうまく行なわれれば、シーン中での顔の検出は、画像捕捉処理における多数の改善へのきっかけとなるであろう。更に、画像捕捉の後の下流の活動を実施するために顔を検出することが有用であり、例えば顔検出は続く印刷（例えばインデックスプリント）についての上下方向の証拠を与えうる。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】米国特許第５，８３５，６１６号明細書
【特許文献２】米国特許第５，４３０，８０９号明細書
【特許文献３】米国特許第５，６２９，７５２号明細書
【発明の概要】
【発明が解決しようとする課題】
【００１０】
本発明は、画像を捕捉し、画像捕捉処理に対して価値を付加すると共に捕捉された画像の質を改善するために画像に含まれる１つ以上の人間の顔を検出することを目的とする。本発明は、上述の１つ以上の課題を解決することを目的とする。
【課題を解決するための手段】
【００１１】
概説するに、本発明の１つの面によれば、画像データから顔の存在について判定する方法は、２つの別々のアルゴリズム段階を有する顔検出アルゴリズムを含み、即ち、第１の段階では画像の１つ以上の顔候補領域を見つけるために、顔形状モデルと上記領域中の画素に割り当てられた顔確率との比較に基づいて、第１のアルゴリズムにより画像データを予めスクリーニングし、第２の段階では、上記画像の各顔候補領域を表わし、上記領域中の顔の存在を確かめるために、パターンマッチング技術を用いて、第２のアルゴリズムにより顔候補領域に対して演算を行ない、従って検出レベルに関しては、上記第１及び第２のアルゴリズムの組合せは、いずれかのアルゴリズムを個々に用いた場合よりも高い性能を与える。
【００１２】
カメラとしての実施では、ディジタルカメラは上述の第１及び第２のコンポーネントを含むアルゴリズムを記憶するアルゴリズムメモリと、シーン中の１つ以上の顔の存在について判定するためにアルゴリズムと共に画像データを処理する電子処理部とを含む。顔の存在を示す顔データは、例えば画像の捕捉の露出パラメータを制御するため、又は例えばカラーバランスを画像中の顔の存在に関連付ける処理された画像データを生成するために使用されてもよく、又は顔データは記憶媒体上に画像データと共に記憶されうる。
【００１３】
本発明の他の面では、ディジタルカメラは、画像を捕捉し、画像データを生成する捕捉部と、上記シーン中の１つ以上の顔の存在について判定するために上記画像データを処理する電子処理部と、上記処理部に関連付けられ、上記画像中の少なくとも１つの顔の属性に対応する顔データを発生する顔データ手段と、上記画像データを記憶する記憶媒体と、上記処理部に関連付けられ、上記顔データを上記画像データと共に上記記憶媒体上に記録するための記録手段とを含む。かかる顔データは、上記画像中の少なくとも１つの顔についての位置、向き、スケール、又はポーズに対応する。
【００１４】
本発明の更なる面では、ディジタルカメラは、画像データ中の１つ以上の顔の存在について判定する顔検出アルゴリズム及び幾つかの所定の構図原則に基づく構図調整を提案する構図アルゴリズムと、シーン中の１つ以上の顔の存在と、及びそれらと幾つかの所定の構図原則との関係とを決定するアルゴリズムと共に画像データを処理する電子処理部とを含む。次に処理部は、画像中の少なくとも１つの顔の位置、向き、スケール又はポーズに対応する顔データと、所定の構図原則からの顔データのずれに対応する構図案とを発生する。
【００１５】
本発明の更なる面では、電子媒体と磁性層を有するフィルム媒体の両方にシーンの画像を捕捉するためのハイブリッドカメラが開示される。ハイブリッドカメラは、電子媒体と磁性層を有するフィルム媒体の両方にシーンの画像を捕捉するハイブリッドカメラが開示される。ハイブリッドカメラは、画像センサによって画像を捕捉し画像データを生成する画像捕捉部と、上記フィルム媒体上に上記画像を捕捉する手段と、上記シーン中の１つ以上の顔の存在について判定するために上記画像データを処理する電子処理部と、上記電子処理部に関連付けられ、上記画像中の少なくとも１つの顔の位置、スケール、及びポーズのうちの少なくとも１つに対応する顔データを発生する顔データ手段と、上記フィルム媒体の磁性層上に上記顔データを書き込む手段とを含む。
【００１６】
本発明の更なる面では、本発明は、ディジタル画像センサ、マイクロプロセッサといった中央処理装置、顔を検出する手段、及び検出された顔の位置を撮影者に対して表示する手段を組み込んだカメラを含む。
【発明の効果】
【００１７】
本発明の各面によれば、ユーザに対する写真撮影経験を改善するため、及び撮影者がより良く、より満足のいく写真を得るための多数の提案を提供するために、カメラが顔検出機能を使用しうるという利点がある。
【図面の簡単な説明】
【００１８】
【図１】本発明によるカメラ要素の配置を示す顔検出カメラについてのブロック図である。
【図２】図１に示されるカメラの画像捕捉部を示すブロック図である。
【図３】図１に示されるカメラがフレーミング画像モードにあるときの動作に含まれるカメラ動作を示すフローチャートである。
【図４】図１に示されるカメラが最終画像モードにあるときの動作に含まれるカメラ動作を示すフローチャートである。
【図５】構図案を発生させる方法を示すフローチャートである。
【図６】経験則を適用するために格子へ分割される画像領域を示す図である。
【図７Ａ】顔検出アルゴリズムのうちの１つで使用される正面ポーズについての形状モデルの例を示す図である。
【図７Ｂ】顔検出アルゴリズムのうちの１つで使用される正面ポーズについての形状モデルの例を示す図である。
【図７Ｃ】顔検出アルゴリズムのうちの１つで使用される右からの準正面ポーズについての形状モデルの例を示す図である。
【図７Ｄ】顔検出アルゴリズムのうちの１つで使用される右からの準正面ポーズについての形状モデルの例を示す図である。
【図８Ａ】顔検出アルゴリズムのうちの１つで使用される肌についての確率密度を示すグラフ表現である。
【図８Ｂ】顔検出アルゴリズムのうちの１つで使用される肌についての確率密度を示すグラフ表現である。
【図９Ａ】顔検出アルゴリズムのうちの１つで使用される毛髪についての確率密度を示すグラフ表現である。
【図９Ｂ】顔検出アルゴリズムのうちの１つで使用される毛髪についての確率密度を示すグラフ表現である。
【図１０Ａ】元の画像を示す図である。
【図１０Ｂ】顔検出アルゴリズムのうちの１つによる主要成分解析に続く再構成を示す図である。
【図１０Ｃ】顔検出アルゴリズムのうちの１つによる主要成分解析に続く再構成を示す図である。
【発明を実施するための形態】
【００１９】
本発明の上述及び他の目的、面、特徴及び利点は、添付の図面を参照して以下の望ましい実施例についての説明及び請求項により、より明らかに理解され認識されるであろう。
【００２０】
電子及びフィルム捕捉を使用した撮像システムは周知であるため、本願の記載は、特に、本発明によるシステム及び装置の部分をなす、又はより直接的に関連する属性について説明するものとする。本願に特に図示されず記載されないシステムの属性及び構成装置は、技術分野において知られているものから選択されうる。
【００２１】
以下の説明では、顔検出アルゴリズムの望ましい実施例は、通常はソフトウエアプログラムとして実施されうるが、当業者はかかるソフトウエアと同等のものがハードウエア中に構築されうることを容易に認識するであろう。以下記載されるシステム及び方法が与えられれば、本発明を実施するのに必要とされる全てのかかるソフトウエア実施は従来通りであり、かかる技術分野における通常の技術範囲を逸脱するものではない。
【００２２】
本発明の顔検出の面がコンピュータプログラムとして実施される場合、プログラムは従来のコンピュータ読み取り可能な記憶媒体に記憶されえ、これは、例えば磁気ディスク（例えばフロッピーディスク）又は磁気テープといった磁気記憶媒体、光ディスク、光テープ又は機械読み取り可能なバーコードといった光学記憶媒体、ランダムアクセスメモリ（ＲＡＭ）又は読み出し専用メモリ（ＲＯＭ）といったソリッドステート電子記憶装置、又はコンピュータプログラムを記憶するために使用される任意の他の物理的な装置又は媒体でありうる。
【００２３】
ここで図１及び図２のブロック図を参照するに、標準カメラの構成要素として実施される一体型システムとしてカメラ１０が示され、画像捕捉部２０と、プロセッサ又は中央処理装置（ＣＰＵ）３０と、捕捉された画像及び画像に関連する注釈を記憶するディジタルメモリ３２と、捕捉された画像及び／又はカメラの動作に有用な他のデータを表示する表示装置３４とを含む。
【００２４】
捕捉部２０は、従来の電荷結合装置（ＣＣＤ）といったイメージセンサ２３上に画像２２（本願の目的では１つ以上の顔を含む）を合焦するための自動焦点機能を有する光学部２１を含む。露出制御機構２４は、イメージセンサ２３上への画像の露出を調整するためのアパーチャ及びシャッタを含む。
【００２５】
電子捕捉装置の代わりに（又はそれに加えて）、捕捉部は従来の写真フィルムといったアナログ記憶装置２５を含みうる。磁性記録層を含む周知のＡＰＳフィルムの場合、記録装置２６は磁性層上に捕捉された画像に関する注釈データを記録しうる。フラッシュユニット２７もまた、周囲光が十分でないときに画像２２を照明するために設けられる。
【００２６】
ＣＰＵ３０は、システムバス４０を介して、ランダムアクセスメモリ（ＲＡＭ）４２と、読み出し専用メモリ（ＲＯＭ）４４と、（捕捉部２０、ディジタルメモリ３２、記録ユニット２６及びフラッシュ２７をバス４０へ接続するための）入出力（Ｉ／Ｏ）アダプタ４６と、（情報取り扱いシステム又はインターネットといったデータ処理ネットワークへ直接接続するための）通信アダプタ４８と、（顔を追跡する測定フレーム４９ａを生じさせるための）目標追跡段４９と、（シャッタボタン５２、フラッシュ制御５４、プログラムされた露出選択５６、ユーザによって操作されるディスプレイカーソル５８といったユーザインタフェース装置及び／又は他のユーザインタフェース装置をバス４０へ接続するための）ユーザインタフェースアダプタ５０と、（顔検出アルゴリズム９０を含む様々な記憶されたアルゴリズムをバス４０へ接続するための）アルゴリズムインタフェースアダプタ６０と、（バス４０を表示装置３４へ接続するための）表示インタフェース７０とに接続される。ＣＰＵ３０は、十分にパワフルであり、顔検出アルゴリズム９０を実行するのに十分な付加メモリ４２及び４４を有する。
【００２７】
バス４０に接続される学習データベース７２は、顔検出アルゴリズム９０が非常に広い範囲の撮像条件で作動することを可能にするための十分な学習データを含む。望ましい実施例では、以下詳述するように、顔検出アルゴリズムは２つのコンポーネントアルゴリズムを含む。
【００２８】
第１のコンポーネントアルゴリズムは、画像の顔候補領域を顔形状モデルと領域中の画素に割り当てられた顔確率との比較に基づいて推定し、第２のコンポーネントアルゴリズムは画像の各領域を調べるためにパターン解析を用いて顔候補領域に対して動作し、領域中の顔の存在を確認する。この組合せによれば、第１のコンポーネントアルゴリズムは偽の肯定結果が潜在的に存在する可能性があるものの迅速に動作するよう設計されえ、第２のコンポーネントアルゴリズムはより計算集中的な処理を第１のアルゴリズムを通った比較的少ない領域に制限しうるという利点がある。
【００２９】
顔検出の結果は、インタフェースアダプタ６０を通じてデータバス４０に接続されるアルゴリズムに具現化されるカメラの多数の機能を制御するために使用される。顔検出結果は、例えば１つ以上の顔位置の図心を追跡するために測定フレーム４９ａを設定し操作する目標追跡段４９によって追跡される。測定フレームは、ここに参照として組み入れられる米国特許第５，４３０，８０９号に記載されるように使用され、顔領域に対する自動焦点、自動露出、自動色調整、及び自動白バランスのために収集されるデータを制限する。
【００３０】
測定フレームは、小さいスポット状の領域であってもよく、又は１つ以上の顔の境界と略一致する境界を有するよう構成されてもよいが、いずれの場合もアルゴリズムのために収集されるデータを顔データ又はそのサンプルに制限するためのものである。これらのアルゴリズムは、赤目補正アルゴリズム８０、露出制御アルゴリズム８２、フラッシュ制御アルゴリズム８４、焦点制御アルゴリズム８６、カラーバランスアルゴリズム８８、及び構図アルゴリズム９２を含む。
【００３１】
赤目補正アルゴリズム８０は、フラッシュユニット２７によって生ずる赤目条件を除去するための記憶されたディジタル画素値を調整する。露出制御アルゴリズム８２は、顔が正しく露出されるよう、画像捕捉部２０の画像露出制御機構２４のために測定フレーム４９ａからの設定値を決定する。露出制御の決定と共に、フラッシュアルゴリズム８４は、顔画像の最適な捕捉のためにフラッシュを点灯させるべきか否か判定する。
【００３２】
カメラは、最終捕捉画像が顔領域に正しく合焦されるよう、測定フレーム４９ａからの距離データを導出するため、及びフレーミング画像の結果を用いて光学部２１のポイントすることが可能な焦点機構を設定するために焦点アルゴリズム８６を使用する。カラーバランスアルゴリズム８８は、測定フレーム４９ａ中の肌領域の表現を最適化し、それらが肌の色調の予測色範囲と一致するよう、ディジタル画像ファイルに対して適用される。
【００３３】
画像表示装置３４は、撮影者が、捕捉前に画像を予め見る（プレビューする）こと及び／又は最後に捕捉された画像を見ることを可能とする。更に、画像をプレビューするために光学ビューファインダ２８が設けられる。更に、ＣＰＵ３０は、必要であれば見られた画像中の顔をハイライトするために顔検出アルゴリズムを使用しうる。このために、光学ビューファインダ２８中に半透明の液晶ディスプレイ（ＬＣＤ）オーバーレイ２９が設けられてもよい。
【００３４】
ＬＣＤドライバ２９ａは、ＣＰＵ３０からの顔位置データに応じてＬＣＤオーバーレイ２９の１つ以上の顔位置に対応する幾つかの領域を作動させる（かかるＬＣＤマスクは、ここに参照として組み入れられる米国特許第５，１０３，２５４号に開示される）。また、ＣＰＵ３０は、表示装置３４上に示されるビュー領域中の顔の上に例えばボックスを表示するために、表示インタフェース７０を介してパターン発生器７４を駆動することによってハイライトされた又は輪郭をはっきりさせた顔を発生させうる。
【００３５】
更に、顔は、撮影者が表示装置３４のビュー領域上でカーソル５８を動かし、これが例えば顔の上に重なるか又は顔の回りにボックスを描くことによってマーク付けされうる。これは、ＬＣＤドライバ２９ａと光学ビューファインダ２８中のＬＣＤオーバーレイ２９を通じてなされうる。
【００３６】
本発明の他の利点は、画像中の顔の検出に関連するデータが自動的に記録され、画像の注釈と共に、又は注釈として含まれうることである。これは、画像捕捉時又は後の時点に撮影者によって注釈が付けられることを必要とせずに、イベントの写真記録に重要な被写体の自動的に記録することを可能とする。すると、シーン中の顔の検出により、画像捕捉イベントに対して、また続く画像処理に対して、かなりの追加的な改善を行なうことが可能となる。
【００３７】
例えば、顔検出は例えば一人以上の人物を被写体として含む画像を取り出すことによる後の検出のために画像をインデックス付けする便利な手段を提供する。従って、顔検出アルゴリズムを実行することにより、１つ以上の検出された顔の位置、向き、スケール及びポーズといった１つ以上のパラメータに対応する顔データが与えられる。
【００３８】
更に、一旦顔が検出されると、ユーザによってカメラが以前に捕捉し学習データベースに格納された小さい学習顔ギャラリーから顔を識別するために単純な顔認識アルゴリズムが適用されうる。顔の検出及び位置決定の結果は、画像に付された補助データ位置に格納され、これらは共にＲＡＭ４２内のバッファメモリに格納される。画像には、例えば検出された顔の座標、顔の寸法の推定値、目の位置、頭のポーズパラメータの大まかな推定値、及び各個人の識別情報といった注釈が付される。
【００３９】
一旦画像が格納のために選択されると、画像及びその注釈データは、ディジタル画像メモリ３２中に一緒に記憶されるか、又は注釈がアナログ画像メモリ２５の磁性層に記憶されうる（画像は写真乳剤上に従来の潜像として記憶される）。ディジタルカメラについての１つの形態では、捕捉された画像データは、記憶媒体中に、シーン中に特定の数の顔を有する画像に専用のディジタルフォルダ中に記録される。
【００４０】
本発明の更なる実施例は、シーンの画像を、画像センサ２３といった電子媒体とＡＰＳフィルム２５といったフィルム媒体の両方に同時に捕捉するハイブリッドカメラである。この実施例では、ＣＰＵ３０は、シーン中の１つ以上の顔の存在を決定するために画像センサ２３からの画像データを処理し、顔データは、画像中の少なくとも１つの顔の位置、スケール、又はポーズに対応して発生される。
【００４１】
かかる顔データは、捕捉された画像を評価するために、ディスプレイ３４にカメラのユーザに対して表示されうる。顔データ（又は画像）が捕捉された画像についての問題を示す場合、ユーザはフィルム２５の他のフレーム上に画像を再捕捉する機会を有する。更に、記録ユニット２６を作動させることにより、フィルム媒体２５の磁性層上に顔データを書くことができる。
【００４２】
図３及び図４に示されるように、カメラはまずフレーミングモードで動作し、次に最終撮像モードで動作する。各モードで、カメラは撮影者を支援するための多数の自動化特徴を提供する。撮影者はユーザインタフェースアダプタ５０を通じてフレーミングモードを無効とするオプションを有し、それによりフレーミング画像の捕捉を無効とし、最終撮像モードへ直接進む。
【００４３】
［フレーミングモード］  
図３に示されるフレーミングモードでは、カメラ１０は捕捉部２０を作動させることにより、ステップ１００においてフレーミング画像を獲得する。次に、ＣＰＵ３０はステップ１２０において顔検出アルゴリズム９０を実行し、これはフレーミング画像中に全ての顔を検出しようとし、ビューファインダ２８中で又は表示装置３４上でそれらの位置を撮影者に対して示す。更に特定的には、顔検出アルゴリズムは、顔を見つけるために学習データベース７２からの顔学習データを使用する。
【００４４】
決定ブロック１３０において顔が検出されれば、１つ以上のカメラアルゴリズムの続く使用のために、ステップ１４０において顔位置データがＲＡＭ４２中に記憶される。更に、顔位置は表示インタフェース７０によって処理され、例えば、表示装置３４上に生成される顔はボックス又は他の輪郭付け特徴によって輪郭付けされる。顔検出アルゴリズム９０が顔を見つけることが出来なければ、これは決定ブロック１３０の出力に影響を与える。
【００４５】
従って、顔検出の失敗に応じて、即ち顔が見つからない場合、撮影者は、参照番号１３２で示される経路を通じて始まりまで戻り、シーンを僅かな間に亘り再びポーズさせるか、又は、ビューファインダ２８又はディスプレイ３４上の顔の位置を手動で決めるためにカーソル５８を用いてカメラに対する手動検出入力を与える。
【００４６】
例えばタッチ感応スクリーン及びスタイラス（図示せず）といった他の入力技術が使用されうる。次に、顔の存在及びフレーミング画像中についての知識が与えられると、カメラ１０は最終捕捉画像を改善させるために使用されうる撮影者にして価値のあるサービスを提供することが可能である。かかるサービスは、以下説明するようなフォーカス支援、露出及びフラッシュ決定及び構図援助手段を含む。
【００４７】
［フォーカス支援］  
最近の多くのカメラは、ビューファインダ中の合焦目標点を用いて自動フォーカシング及びユーザ指定フォーカシングを提供する。人物は、現れるのであれば、通常は画像中の最も重要な被写体であるため、撮影者によって指定されない限りは人物の顔に対して画像を正しく合焦することが理にかなっている。
【００４８】
現在、多数の焦点検出領域と、入力刺激（例えば音声命令）に応じて１つの領域を選択するステア可能な選択機構とを含むシステムが公知である（例えばここに参照として組み入れられる米国特許第５，７４９，０００号を参照のこと）。或いは、上述の’８０９号特許に示されるように、自動焦点は、顔を含むよう設定された測定フレーム中で実行されうる。
【００４９】
本発明に関連して、フレーミング画像上での顔検出を実行した後、カメラ１０はフォーカス段階１５０において焦点制御アルゴリズム８６に入り、シーン中の多数のシーンについて画像を最適に合焦する特定の焦点検出領域を選択するために光学部２１においてそのステア可能な自動焦点システムを使用する。（或いは、焦点は、主要な被写体を構成すると想定されるシーン中の最も大きい顔に対して最適に設定されうる）。
【００５０】
［露出及びフラッシュ決定］  
カメラ１０は、その露出制御アルゴリズム８２及びフラッシュ制御アルゴリズム８４を通じて自動露出制御及びフラッシュ使用機能を提供する。典型的なマイクロプロセッサ制御された露出制御装置は、ここに参照として組み入れられる米国特許第４，５０３，５０８号に開示され、周囲及びフラッシュ露出の両方に使用される。上記米国特許によって提供される露出制御機能は、上述の’８０９号特許に関連して説明された測定窓４９ａの中に配置される顔領域に制限されるか顔領域に偏らされる。
【００５１】
人間は通常は人間が現れる画像中で最も重要な被写体であるため、撮影者によって指定されない限りは、人間の顔の見かけが最適となるよう露出を選択することが理にかなっている。フレーミング画像上で顔検出を実行した後、ステップ１６０においてカメラは、シーン中の多数の顔に対応する検出領域に対して、画像露出を最適に設定するためにその自動露出アルゴリズム８２を使用する。（或いは、焦点は、主要な被写体を構成すると想定されるシーン中の最も大きい顔に対して最適に設定されうる）。
【００５２】
同様に、露出制御アルゴリズム８２は、シーン中の顔の照明が適切であるかどうかの評価に基づいてフラッシュ２７を点灯させるかどうか判定する。照明が適切でなければ、ステップ１７０においてフラッシュ制御アルゴリズム８４はフラッシュユニット２７を作動させ制御する。
【００５３】
［構図援助手段］  
顔検出カメラ１０は、ステップ１８０において、撮影者に対して構図アドバイスを与える構図支援モードを提供する。多くの消費者写真は、美しさの観点からは画像構図が良くないという欠点がある。正しくない焦点及び露出と共に、劣った構図は消費者画像印画に対する不満を生じさせる。
【００５４】
多数の発見的な「経験則」が、満足のいく画像を生じさせる構図のよい原理として広く受け入れられるようになっている。例えば、小さい主被写体は、しばしば興味深くない印画を与える。また、「経験則」は主被写体が、垂直方向或いは水平方向、又はその両方向に大体画像の３分の１の点に配置されることを必要とする。かかる原理は、Grill,  T.  and  Scanlon,  M.,  Photographic  Composition,  Amphoto  Books,  1990に詳細に説明されている。
【００５５】
顔検出カメラ１０は、フレーミング画像中の顔検出の結果に基づいて、構図アルゴリズム９２がビューファインダ又は表示装置３４に現れる構図案を発生させることを可能とする構図支援モード１８０を提供する。構図アルゴリズムは、図５に示される段階に従うが、他の構図要素（例えば上述のGrill及びScanlonの文献に記載される）について調べうることも理解されるべきである。
【００５６】
１つの援助手段では、検出された最も大きい顔の領域を全体の画像領域と比較する（ステップ１８１）。比較結果が、顔が小さすぎることを示す閾値を超過する場合（ステップ１８２）、ディスプレイ３４はカメラを主被写体に近づけるよう提案する（ステップ１８３）。
【００５７】
第２の援助手段では、顔の図心と経験則を表わす図６に示される格子線、即ち、主な被写体が最も満足のいくようになる位置、とを比較する（ステップ１８４）（これについてはGrill  and  Scanlonの参考文献の第２２頁により詳しく記載されている）。顔が実質的に格子線から外れている場合（ステップ１８５）、ディスプレイ３４はより満足のいく画像を達成するために主被写体を経験則に従って配置することを提案する（ステップ１８６）。
【００５８】
第３の援助手段は、顔を画像の境界を横切るよう配置する（ステップ１８７）。閾値が、顔のかなりの量がカメラアパーチャによって切り取られていることを示す場合（ステップ１８８）、ディスプレイ３４は撮影者に対して警告するよう設定される（ステップ１８９）。
【００５９】
第４の援助手段は、顔の図心を水平な線に関連付ける（ステップ１９０）。顔が共通の水平な線上にあるようである場合（ステップ１９２）、ディスプレイ３４はより興味深い画像を生成するよう、人の集まりの画像中の顔の高さを水平に整列させるよりも変化させることを提案する。図５は、かかるアルゴリズム及びここに参照として組み入れられる上述のGrill  and  Scanlonの参考文献が同様に実施されうることを一般的に示すものである。
【００６０】
［最終画像モード］  
図３に示されるようにフレーミング画像を捕捉し処理した直後、撮影者に対して上述のステップ１５０乃至１８０が与えられていれば、カメラは図４に示されるように最終画像を捕捉する準備ができている。図４に示される初めのステップ２００乃至２４０は、図３に示されるステップ１００乃至１４０と同一であるため、更には詳述しない。更に、図４中、更なる援助手段が最終画像に対して直接的に作用する。
【００６１】
上述のように、撮影者は、第２の支援手段の群のみが所望であれば最終画像でのみ（フレーミング画像を排除して）動作することを選択しうる。或いは、表示装置３４上で見られるフレーミング画像がユーザにとって満足のいくものであると見なされれば、これは永久画像として保存されうる。いずれの場合も、最終画像モードの一部として、以下説明する最適カラーバランス、赤目通知及び補正、向きマーク付け、及び顔ラベル付けを含む幾つかのサービスが提供される。
【００６２】
［最適カラーバランス］  
人間の視覚系は様々なシーン条件に亘って知覚的な恒久性を維持するすばらしい能力を示すが、アナログカメラもディジタルカメラもそれと同じ能力を有するものではない。例えば、人間の目には、対象の色は、対象が太陽光、天空光、又はタングステン光のどれでも同じに見えるが、これらの３つのシーン条件は、単一の種類の写真フィルム上で捕捉された場合は、必ず非常に異なる色を再生することになる。
【００６３】
従って、慣習的に、画像を印刷する前又は他の方法で表示する前に、捕捉された画像に対してカラーバランスアルゴリズム（ＣＢＡ）を適用することが行われている。自動化されたカラーバランスアルゴリズムの現在の技術は、主に最も顕著なシーン光源について補償しようとする。
【００６４】
画像のカラーバランスは、シーン中の対象の性質についての幾らかの理解とそれらの相対的な重要性を考慮に入れることによってより良く行われる。シーン全体が正しく再生されるが、顔の色がかなり誤っている場合、再生された画像は許容可能でない。再生についての認められる不快さの特質は文化によって異なるものの、人間は肌の色調が正しく再生されていないことについては非常に敏感である。
【００６５】
異なる人物及び人種による肌の色調の多様性は、統計的に分類され理解されうる。更に、偶然にも、肌の色の自然の多様性及び肌の色の再生についての不快な誤りは、正しく選択された色空間中の直交方向に存在する傾向がある。肌の色は、青−赤ディメンション上で変化し、許容可能でない再生誤りは主に緑−マゼンタディメンションに関連する。
【００６６】
シーン中の顔の存在及び位置についての知識は、２つの異なる方法によって改善されたカラーバランスを与える。（アナログ画像の光学印刷の場合のように）大局的な画像補正が可能であれば、大局的な照明の推定値は顔の肌の色調を満足いくよう演色するよう調整されうる。顔検出カメラは、アナログフィルム媒体２５の磁性層上の顔の位置及び寸法を記録することにより、顔の肌の色調の正しい再生のために後の光学写真仕上げ装置がカラーバランスを最適化することを可能とする。
【００６７】
他方、ディジタル処理ステップが利用可能であれば、顔領域は照明のより多くの大局的な考察事項とは独立に補正されうる。これは、主要な被写体（人）及び背景領域の両方が満足のいくように再生されうるため、光学手段のみによって得られる最も良い印画を与える最善の可能なシナリオである。
【００６８】
いずれの場合も、カメラ１０は、少なくとも位置を決められた顔に基づいて画像に対する最善のカラーバランスを与えるために、そのカラーバランスアルゴリズム８８を顔優先補正ステップ２６０において使用する。更に特定的には、ＣＰＵ３０は、検出された顔から色データを補正するため、及び次に顔領域についてカラーバランスアルゴリズムを重み付けするために、追跡段４９によって発生される測定フレーム４９ａと相互作用する。
【００６９】
［赤目通知及び補正］  
ここに参照として組み入れられる共通に譲渡される米国特許第５，４３２，８６３号に開示されるアルゴリズムのような赤目検出アルゴリズム８０は、赤目補正ステップ２７０において最終捕捉画像に対して実行される。検出された顔の存在は、赤目検出アルゴリズム８０において偽の肯定結果の誤りを防止することを支援するための追加的な証拠として使用される。
【００７０】
一対の検出された赤目は、顔の存在の証拠を再び強めることによって補強されるべきである。赤目の存在はまた、赤目検出アルゴリズムによって、表示装置３４上で適当な警告を指定しうる表示インタフェース７０へ与えられうる。赤目通知を受けた後、撮影者は他の画像を得ることを選択しうる。或いは、カメラ１０がディジタルカメラであれば、目の中の不快な赤いハイライトを除去するために、自動赤目補正アルゴリズムが呼び出されうる。
【００７１】
［向きマーク付け］  
多くの消費者写真仕上げ注文は、各画像の小さい変形の連続であるインデックスプリントと共に戻される。画像の全てが正しい自然な向きで印刷されていなければ、インデックスプリントの有用性は低下する。画像中の顔の存在は、その正しい向きに関して強力な手がかりを与える。例えば、顔のディメンションは、２つの主な軸へ分割され、最も長い軸が上下軸として扱われることができる。
【００７２】
次に以下説明する顔検出アルゴリズムのうちの１つは毛髪領域を区別し、それにより直立の向きを示す。顔の大多数は、全体的な画像の向きからみて、直立であるか直立に近い。顔検出カメラ１０の顔検出アルゴリズム９０は、向きを検出し、画像記憶装置３２（又は２５）上の各捕捉された画像に対して向き決定ステップ２８０において検出された顔の向きによって提案される正しい向きの注釈を付す。
【００７３】
［顔ラベル付け］  
一旦顔が検出されると、ユーザの操作によってカメラが以前に捕捉しており学習データベース７２に記憶されている小さな学習顔ギャラリーから顔を識別するために、単純な顔認識アルゴリズムが適用されうる。ギャラリーは、例えば家族の一人一人、又は学級の子供たちを含みうる。
【００７４】
カメラによって新しい画像が捕捉されており、顔が検出されると、顔認識アルゴリズムによって確立される各個人の識別情報は、画像と共に、ディジタル記憶装置３２又はフィルム２５の磁性層に記録されうる。かかる顔識別情報は、画像と共に、写真仕上げ段階又は続くコンピュータ処理段階へ渡される。情報は、画像中の人の名前を印画に自動的にラベル付けするために使用されうる。
【００７５】
他の可能な適用は、単一の人物又は顧客によって指定される人物の集まりの画像を含むアルバムを自動的に生成することである。典型的な顔認識アルゴリズムについて、それらのアルゴリズムがより大きいシステムとして埋め込まれることを可能とするソフトウエア開発キットを提供する多数の市販の顔認識製品がある。例えば、Visionics社製の「Face-It」システムは、顔認識アルゴリズムとしての使用に適している。
【００７６】
［顔検出アルゴリズム］  
ディジタルカメラ中で動作する顔検出アルゴリズムは、所与の限られた計算計算及びコンピュータメモリ資源で成功するのに必要な規準を満たさねばならない。即ち、アルゴリズムは高速に（即ち１秒以下）で、真の肯定結果／偽の肯定結果の検出率について十分に高い性能を有さねばならない。
【００７７】
限られた資源について埋め合わせるように、アルゴリズムの結果が人間の操作者へ示されること又は人間の操作者によって使用されることはアルゴリズムの失敗に対してある程度の耐性があることを意味する。この耐性は、本願の発明の特徴を可能とするものである。
【００７８】
本実施例では、組み合わされて使用されることにより検出レベルに関しては個々のアルゴリズムよりも高い性能を与える２つの顔検出アルゴリズムの組合せを使用することを提案する。第１の検出オペレータ、即ちコンポーネントＷは、顔候補についての非常に高速な前スクリーニング部である。
【００７９】
第２の検出オペレータ、即ちコンポーネントＳは、偽の肯定結果の非常の遅い速度によって特徴付けられる洗練されたパターンマッチングアルゴリズムである。コンポーネントＷによってラベル付けされた顔候補は、続いてコンポーネントＳによって検査され、最終検出決定が与えられる。
【００８０】
［コンポーネントＷ］  
Wu等は、ディジタルカメラに組み込まれるのに非常に良く適した顔検出アルゴリズム（以下、変更されたように、コンポーネントＷと称する）について発表した（ここに参照として組み入れられるWu,  H.,  Chen,Q.,  and  Yachida,  M.,  "Face  Detection  from  Color  Images  Using  a  Fuzzy  Pattern  Matching  Method",  IEEE  Trans.  Pattern  Analysis  and  Machine  Intelligence,  21  (6),  557-563,  1999参照）。
【００８１】
アルゴリズムは非常に高速であり、プログラムメモリ及び学習状態の両方について非常に少ない量のみを必要とする。コンポーネントＷは、色特徴に基づいて顔を含む可能性の高い画像窓について探索するある種のアドホックなパターン認識オペレータである。方法は本質的には、色及び形状に基づいて肌を含む可能性が高いと思われる中央部と、やはり色及び形状に基づいて毛髪を含む可能性が高いと思われる周辺領域（肌の上方及び側方の周り）を有する窓を探す。方法は色信号に基づくため、方法が動作する画像は有意味な測色法で符号化されることが必要である。
【００８２】
コンポーネントＷは、学習フェーズと試験フェーズを有する。学習フェーズは、肌及び毛髪の色分布の収集と、適当な学習例から形状モデルを集めることからなる。試験フェーズでは、窓は、画像全体に、スケール及び位置の全ての範囲で走査される。コンポーネントＷは、画像が上向きであることが知られており顔が大まかに画像の向きと整列されていることを暗に仮定している。この仮定は、各可能な画像の向きについて一回、顔全体の探索を数回（カメラは上下には使用されないため望ましくは３回）実行することによって緩められる。試験フェーズでは、アルゴリズムは検査されるべき各画像窓について一回、以下のステップを適用する。
【００８３】
（１）肌及び毛髪の確率マップを計算する。  
ディジタル画像中の各画素を肌及び毛髪の色の所定の確率テーブルと比較し、画素が人間の肌又は毛髪を表わす事後確率を与える。確率テーブルは、オフラインで収集され、カメラ内に格納されねばならない。これらは、同一の分光感度を用いて、ディジタルカメラと同じ撮像センサによって収集される。
【００８４】
（２）非線形オペレータを介して確率を推定領域分数へ変換する。  
顔形状モデルは、やはりオフラインで学習例から構築される。これらのモデルは、標準的な頭のポーズの小さい組の中の空間的に正規化された人間の顔に重ね合わされた矩形のグリッドの各セル中に肌及び毛髪の色が発生する尤度を符号化する。
【００８５】
（３）顔形状モデルを用いてファジーパターンマッチングを実行する。  
画像の各画素位置へ矩形の窓が順番に走査され、窓が顔を含むかどうかについて判定が行われる。様々な寸法の顔に適応するために、走査プロセスはある範囲の寸法に亘って異なる窓を用いて繰り返される。顔が画像の窓の中に存在するかどうかの判定は、所定の顔形状モデルと窓の各セル中の肌及び毛髪の事後確率の実際の分布とを比較することに基づく。ファジー比較は、Wu等の文献に記載されるように、最善の結果を与えるために較正段において調整されたパラメータ化された非線形オペレータを使用する。
【００８６】
以下、顔形状モデルについて説明した後、上述の各ステップについて詳述する。更なる詳細についてはWu外の文献を参照することによって分かることが理解されるべきである。
【００８７】
［形状モデル］
頭部形状モデルは、典型的な顔のポーズにおける肌及び毛髪の空間的な分布の低解像度表現である。各別個のポーズには肌用の１つのモデルと毛髪用の１つのモデルがある。各モデルはｍ×ｎ個のセルからなり（ここでは、ｍ＝１２であり、ｎ＝１０）、各セルは所与のポーズにある典型的な頭部について、（肌モデルについては）肌によって占められるセルの割合、又は（毛髪モデルについては）毛髪によって占められるセルの割合を符号化する。
【００８８】
画像窓は、形状モデル中のセルに対して空間的に対応付けられうる。窓の解像度に依存して、単一の画素又は画素のブロックは、各モデルセルに対応しうる。モデルは、２つの目を標準的な位置に配置するため、アフィン変換が適用された一組の学習画像を用いて構築される。
【００８９】
空間的に正規化された画像は、次に肌領域及び毛髪領域へ手動でセグメント化され、モデルの解像度における割合的なセルの占有度が計算される。図７Ａ乃至７Ｄは、正面ポーズ及び準正面ポーズについての形状モデルの例を示す図である。モデルは、占有度割合のグレーレベル符号化と共に学習データベース７２（図１参照）に格納される。
【００９０】
［毛髪及び肌確率を計算］  
この時点では、学習画像から肌の色及び毛髪の色についての確率分布を獲得することが目的である。目標は、肌をskin、毛髪をhair、色をcolorとしたとき、Ｐ（skin｜color）及びＰ（hair｜color）の形状の確率テーブルを獲得することである。
【００９１】
Wu等の文献ではFarnsworthの知覚的に均一な色空間が用いられるのに対して、本発明では、肌領域及び毛髪領域を区別するために望ましい測色法として（Ｌ，ｓ，ｔ）色空間を使用し、従って、（Ｌ，ｓ，ｔ）測色法で確率学習及び適用を実行し、但し、Ｌ＝ｃ（Ｒ＋Ｇ＋Ｂ）；ｓ＝ａ（Ｒ−ｂ）；ｔ＝ｂ（Ｒ−２Ｇ＋Ｂ）；ａ、ｂ、ｃは定数；Ｒ、Ｇ、Ｂは相対対数シーン露出に比例する画像値である。
【００９２】
この測色法は、画像セグメント化を実行すべき有効な色空間であることが証明された。３つの全てのチャネルが使用されるが、確率ヒストグラム中でルミナンスチャネルは組み合わされたクロミナンスチャネルから分離される。
【００９３】
肌の色の統計値を集めるため、１８００程度の画像を含む注釈の付けられたデータベースが使用され、各画像は１２ビットの相対対数シーン露出ＲＧＢ測色法で記憶される。これらの画像のためには、人間によって判定されるカラーバランス及び白い点の目標と、２つの目が見える場合はデータベース中の全ての顔の目の位置とが利用可能である。人体測定学的に平均的な顔モデルを用いて、データベース中の全ての顔について顔の肌が抽出される。カラーバランス及び白い点の目標もまた、夫々の場合において画像から差し引かれる。
【００９４】
画素値は次に以下のマトリックス計算、
【００９５】
【数１】
2010045819.tif 000003
を用いて（Ｌ，ｓ，ｔ）測色法へ変換され、式中、ハット付きの量は目標値について調整されている。
【００９６】
毛髪の色の統計値を集めるために、各例として頭部について毛髪領域が手動でセグメント化されることを除き、従来同様のプロセスが実行される。肌又は毛髪の各画素は、（Ｌ，ｓ，ｔ）空間中の色の例を与える。毛髪及び肌の両方について別々の確率ヒストグラムが累積される。Ｌヒストグラムは、夫々の場合に２次元のｓ，ｔヒストグラムから別々に作成される。
【００９７】
このように、肌及び毛髪の色及びルミナンスが別々に分布するという暗黙の仮定が取られる。試験時に、画像はまず各画素における色値を用いてその画素に対して肌又は毛髪のいずれかがイメージングされている事後的な尤度を参照するために処理される。ワールド対象中の色の分布が考慮に入れられることを確実とするため、確率分布に対してベイズの定理が適用される。
【００９８】
この計算の結果、図８Ａ及び８Ｂと、図９Ａ及び９Ｂに示されるような肌及び毛髪確率密度の２つのグラフィックな表示が与えられ、各グラフィックな表示は、ルミナンス成分とクロミナンス成分の間で分離された肌画素確率及び毛髪画素確率の夫々の２つの図を表わす。
【００９９】
［肌確率及び毛髪確率を推定された面積割合に対して写像する］  
形状モデルは、顔画像中の色の空間的な分布に関する情報を含み、一方、以前の段階において計算された確率は候補顔領域中の平均の色に依存する。これらは異なるため、２つの情報カテゴリを直接比較することはできない。従って、非線形写像関数を使用して画像窓中の確率値を推定された肌占有割合及び毛髪占有割合へ写像するために中間的な段階が必要とされる。
【０１００】
非線形関数は、調整パラメータａ及びｂを有するＳ字状関数であり、以下の式、
【０１０１】
【数２】
2010045819.tif 000004
によって与えられる。
【０１０２】
Wu等の文献は、最善の顔検出結果を生じさせるために経験的な実験に基づいて肌モデル及び毛髪モデルの夫々に対してパラメータａ及びｂを別々に調整することを記載している。本発明では、写像の非線形オペレータは、肌色及び毛髪色の統計的なサンプリングの欠陥を補償するのに最も有用であることが分かった。このために、パラメータａ及びｂはかなり低く設定される。目標は、コンポーネントＷが殆ど全く顔を見逃さず、コンポーネントＷを通る多くの偽の検出を除去するためにアルゴリズムａによって更なる処理を行なうことである。
【０１０３】
［顔形状モデルを用いてファジーパターンマッチングを実行する］  
各セルについての肌及び面積占有割合を有する形状モデルと、非線形写像から生ずる対応する画像領域の同じ量の推定値とが与えられているとき、画像領域とモデルセルの間の類似性についての判定が行なわれる。
【０１０４】
類似性の尺度は、二項「ファジー関係式」、即ち、
【０１０５】
【数３】
2010045819.tif 000005
を使用し、式中、パラメータａ及びｂ（上記のセクションの非線形写像のパラメータとは異なる）は、比較の形状を決定し、Ｉ及びＭに添え字が付された変数は夫々、画像領域及びモデルセルからの肌確率及び形状確率を夫々表わす。ｂを増加させることにより、形状モデルと画像窓のとの間の差に指数的により急なペナルティを与える。
【０１０６】
本実施例では、幾らかの実験後、値ａ＝２及びｂ＝１が選択された。画像窓全体についての類似性のスコアは、形状モデルの全てのセルに亘る平均類似性スコアとして扱われる。コンポーネントＷによって検出される顔候補を識別するために同様性の尺度に対して閾値が適用されうる。
【０１０７】
［コンポーネントＳ］  
Schneidermanアルゴリズム（以下、コンポーネントＳと称する）についての詳細な説明は、ここに参照として組み入れられるSchneiderman,  H.  and  Kanade.,  "Probabilistic  Modeling  of  Local  Appearance  and  Spatial  Relationships  for  Object  Recognition",  Proc.  CVPR  1998,  45-51に記載されている。方法の主な段階について、独立した説明を与えるため及び参考文献に対する差異及び改善点について強調するために、ここで概説する。
【０１０８】
コンポーネントＳは、faceは顔、imageは画像であるとすると、条件付き確率分布Ｐ（face｜image）を近似する記憶された確率分布を用いて最大の事後的な分類を行なうベイズ分類オペレータを実施する。方法は、画像からの証拠が存在する場合に事前に測定された学習分布Ｐ（image｜face）を事後的な分布へ変換するためにベイズの原理を使用するため、ベイズ法と称される。証拠は、空間的及び強度的に正規化された画像窓中の画素値からなる。
【０１０９】
ベイズの定理の使用は、画像証拠が曖昧であってもよいという観察により義務付けられる。幾つかの場合は、関心となるクラス（例えばこのコンテキストでは顔）にない対象及びシーンは、クラス（＝顔）の対象と間違えられうる画像パターンを生じさせうる。ベイズの原理は、「ワールド」画像として知られる代表的な非クラス画像の集合を必要とする。
【０１１０】
ワールド画像の集合は、アルゴリズムを学習する場合に最も困難且つ重要なプロセスであると分かる。困難性は、ワールドが非常に多様であるという事実に基づく。顔は（少なくともワールドと比較される場合は）多様ではなく、顔の学習例の収集は非常に明白に行われる。この困難性について、以下のセクションにおいて学習について詳細に説明する。
【０１１１】
以下の分布、
Ｐ（face｜image）                              （１）
に対してなされるここに記載される簡単化は、大きな無数の分布を非常に実際的なものへ変化させる。目的は、簡単化された分布Ｐ（face｜distilled-image-feature）を得て、それにより抽出された画像特徴（distilled-image-feature）が計数され、学習中に例えば１００万ｂｉｎへまとめられることである。
【０１１２】
学習分類オペレータの発見的な方法は、ｂｉｎよりも２つのオーダだけ大きい例が必要とされることを示す。従って、１０6のｂｉｎを、統計学的に有意味な方法で、ある場所を占めさせるためには、１０8の例が必要でありうる。特にそれらのうちの幾つかを計算的に発生させることが可能である場合、及び例の「単位」が人間の顔全体よりも小さいものである場合は、多くの例を収集することが可能である。
【０１１３】
簡単化は、以下の順序で適用され、以下のセクションにおいて説明される。  
（１）顔領域寸法を標準化する。  
（２）顔領域を副領域へ分解する。  
（３）副領域間の依存性を無視する。  
（４）ＰＣＡを用いて副領域をより低い次元の表現へ投影する。  
（５）疎係数を用いて投影を符号化する。  
（６）疎係数を量子化する。  
（７）外観及び位置を分解する。  
（８）非共通パターンについての位置を無視する。  
（９）共通のパターンについて位置依存性をベクトル量子化する。  
（１０）解像度間の独立性を想定して（１）乃至（９）を多数の解像度に適用する。
【０１１４】
１．顔領域寸法を標準化する。  
空間的に正規化された顔は、５６×５６画素の窓の中に表わされる。この簡単化により、式（１）は、
Ｐ（face｜region）                                    （２）
に変化し、但し、顔はface、領域はregionとすると、領域はちょうど、５６×５６の画素の画像窓からの画素のラスタ化されたベクトルである。
【０１１５】
２．顔領域を副領域へ分解する。  
各顔領域は、多数の重なり合う１６×１６画素の副領域へ分解される。これらの副領域は、領域中の各画素位置、又はこれらの位置のサブセットに固定されうる。ここでは、副領域を３つ目のライン毎に３つ目の画素に固定する。このように選択することにより、顔領域中には副領域についての１９６個の可能な固定位置があり、従ってこの位置は単一のバイト中へ符号化されうる。
【０１１６】
式（２）の右辺において、「領域」は「｛副領域｝」、即ち副領域の集合によって置き換えられうる。副領域の寸法は、適切に配置された場合は、個々の副領域が顔特徴（例えば目、鼻、又は口）を含むのに十分に大きくなるよう選択される。この寸法は、整合した単位として調べられうる最も大きい画像特徴を制限する。
【０１１７】
３．副領域間の依存性を無視する。  
副領域間の統計的な依存性のモデル化は行なわれない。従って、この簡単化はモデル化されうる対象の属性のタイプを制限する。例えば、単一の副領域は一つの目を捕捉するのに十分の画素を含みうるのに対して、他方の目は異なる副領域にあり、２つの目についての類似性又は非類似性については考慮されない。いかなる理由付けも顔の異なる部分の照明の相対的なレベルに基づくことは出来ない。
【０１１８】
この簡単化を用いて、式（２）は、
【０１１９】
【数４】
2010045819.tif 000006
で置き換えられ、統計的な独立性は多数の副領域についての結合依存性がないことに反映される。
【０１２０】
４．主要成分解析（ＰＣＡ）を用いて副領域をより低い次元の表現へ投影する。  
副領域は、夫々に対して２５６のグレーレベルを有する２５６の画素を含むため、可能な副領域の数は非常に多い。次の簡単化は、副領域の次元性を２５６から１２へ減少させるために線形ＰＣＡの標準的な技術を適用することを含む。（１２の次元の選択はある程度は任意である。
【０１２１】
実際の副領域の分散の９０％以上は１２以下の次元を用いて符号化されうる。）ＰＣＡを実行するために、全ての副領域がデータ解析に関係するよう、顔画像の大きな学習組が処理される。異なる画像解像度及び多数の顔ポーズについて別々の主要な成分が必要とされるか否かを調べるに、幾つかの実験が行なわれた。
【０１２２】
これらの結果に基づき、各解像度に対して主要成分の別々の組が記憶されるが、顔のポーズによって異なる組を保持する必要はないことが決定された。直感的に、異なる解像度において本質的な顔構造はユニークな空間パターンを与え、他方で、僅かに異なる顔のポーズによって生ずる変化は最初の幾つかの主要な変化態様ではあまり重要でないことがわかる。
【０１２３】
投影段階により、各画像副領域は主要成分軸に沿った１２個の投影係数によって表わされる。この表現は、各副領域を１２個の主要な副領域の線形の組合せによって表わすこととなる。
【０１２４】
投影演算は、以下の行列演算、
［proj］＝ＡＴ［subregion］                                （４）
によって実行され、式中、projは投影、subregionは副領域、Ａは学習副領域の固有ベクトル（主要成分）を含む列を有する投影行列である。
【０１２５】
ＰＣＡは顔画像の学習組に対してのみ作用することに留意されたい。結果としての主要成分は可能な顔でない画像の非常に大きい組を統計的に不適当にサンプリングすることによって生ずる幅広い多様性を受ける可能性が高いため、偽（顔でない）例は使用されない。
【０１２６】
この段階の結果、式（３）は、
【０１２７】
【数５】
2010045819.tif 000007
となる。
【０１２８】
５．疎係数を用いて投影を符号化する。  
副領域表現は、１２個全ての投影係数を保持するのではなく、６つの上位の係数のみを保持することによって更に圧縮される。しかしながら、この疎符号化スキームは、少なくとも６つの係数を対としてグループへとグループ化すること、及び保持すべき６つの投影次元を選択する時にそれらの合計の平方値を考慮することによって更に複雑にされる。このようにして、１２個の係数は続く処理のために６つへ減少される。
【０１２９】
６．疎係数を量子化する。  
副領域表現の更なる圧縮は、ロイド・マックス量子化器を用いた９個の係数の別々の量子化を通じて行なわれる。この量子化器は、独立変数のガウス分布の想定の下で平均平方量子化誤差を最小化する。
【０１３０】
多数の量子化値についての共通値については、ｂｉｎ中止点及びロイド・マックス量子化器の再構成レベルは、テーブル化され、これはLim.  J.,  Two-Dimensional  Signal  and  Image  Processing,  Prentice-Hall:  New  Jersey,  1990に記載されている。ガウス分布仮定の有効性を試験するため、学習組の投影係数の実際の分布が収集され、そこからガウス仮定が実際の分布に非常によく一致することが分かった。
【０１３１】
保持される疎係数の数及び各係数に割り当てられる量子化レベルの数の選択は、画像副領域を符号化する可能な量子化値の数を決定する。各次元に対して８つ、４つ又は２つの量子化レベルを選択して、６つの顕著な次元を選択することにより、アルゴリズムは実施されると約１，０００，０００の数のうちの１つによって各副領域を表わしうる。これらの量子化された数は、Schneiderman外の文献においていくらか不可解に「ｑ１」値と称されるものである。可能なｑ１値の数は、その文献において「ｎql」と称されるアルゴリズムサイズ変更パラメータである。
【０１３２】
この量子化スキームの圧縮の利点は、２５６256の可能な副領域パターンが１０6の別々の数へ符号化される場合に明らかとなる。実際、この量子化スキームを画像符号化の形状として考えることが可能である。画像をその符号化物から再構成することは、下の画像のある種の近似を与える。
【０１３３】
図１０は、下の画像と、ＰＣＡ投影の後、及び疎符号化及び量子化の後の再構成を示す図である。更に特定的には、図１０Ａは下の画像を示し、図１０Ｂは１２の次元の主要成分空間への副領域の投影からの再構成を示し、図１０Ｃは図１０Ｂの疎符号化され量子化された変形からの再構成を示す。
【０１３４】
図１０Ｂ及び図１０Ｃの画像は全ての符号化された情報を示すものではないことに留意されたい。これらはむしろ、副領域が５６×５６の顔領域の傾斜格子と整列された符号化からの再構成を示す。同時の符号化は、副領域が領域格子に対してずれるにつれ、更なる画像情報を捕捉する。
【０１３５】
量子化段階に続き、確率の式（５）は、  
【０１３６】
【数６】
2010045819.tif 000008
へ簡単化される。
【０１３７】
７．外観及び位置を分解する。  
確率分布の簡単化の流れのこの点において、式（６）は副領域の画素パターンと顔領域内のその位置の両方を明示的に含むよう拡張される。式（６）は、
【０１３８】
【数７】
2010045819.tif 000009
によって置き換えられ、各副領域はここで量子化値と顔領域中での位置（pos）によって表わされる。式（７）の解釈は、直感的に以下の考えを生じさせる。即ち、目のようなパターンは目を含む可能性の高い副領域中にのみ生ずるはずである。
【０１３９】
８．共通でないパターンについての位置を無視する。  
各副領域に対して１，０００，０００個の量子化レベル及び１９６個の位置が可能であるとき、式（７）に対する更なる簡単化がなされなければならない。この式に対して２つの更なる簡単化がなされる。第一に、最も共通に生ずるｑ１パターンのみの位置的依存性を符号化するための決定が行なわれる。このため、大きなソート段階は、学習組における発生の頻度を減少させることによりｑ１パターンを順序付ける。
【０１４０】
発生閾値以下にソートされる全てのｑ１パターンの位置的な依存性は均一な位置的に分布によって置き換えられる。学習中に明示的に学習されるべき位置的分布を有するｑ１パターンの数は、Schneidermanの文献中「ｎest」と称されるアルゴリズムサイズ変更パラメータである。共通でないパターンについては、式（７）は、
【０１４１】
【数８】
2010045819.tif 000010
となり、式中、ｎｐｏｓ＝１９６は可能な副領域の位置の数である。
【０１４２】
９．共通パターンについての位置的依存性をベクトル量子化する。  
式（７）に対する第二の簡単化は、学習中に学習される位置的分布の数を更に減少させることを含む。本明細書のセクション８では、既に、学習される位置的分布の数がｎq1からｎestへ減少されている。ここで、ｎq1からｎestへの更なる減少は、ｎest生存位置的分布をｎq2へベクトル量子化することによって実行される。この量子化のために、ｑ１パターンの二次元の位置的分布がベクトルへラスタ化される。数ｎq2はアルゴリズムサイズ変更パラメータである。
【０１４３】
ベクトル量子化学習アルゴリズムは、標準的なＬＢＧアルゴリズムではないが、むしろ、入力ベクトルを一回通ることによって実行されるアドホックなカスタムアルゴリズムである。学習アルゴリズムは数万又は数十万のベクトルを量子化する可能性が高く、従って速度に関して考慮に入れねばならないため、この一回通過性質は重要である。
【０１４４】
学習プロセスは、以下のように概説される。  
各ベクトルｘについて、  
最も近い現在のパターンの中心を見つける。  
ｘと最も近い中心との間の距離ｄを計算する。和平方誤差（ＳＳＥ）法が使用される。  
ｄ＜閾値であれば、  
ｘをクラスタに追加し、クラスタ中心を更新する。  
そうでなければ、  
ｘをシードとして新しいクラスタを始める。
【０１４５】
このアルゴリズムが正しく機能するためには、もちろん空のクラスタを扱い、クラスタの最大数ｎq2の位置が正しくないことについても扱わねばならない。クラスタ中心は、クラスタを写像するベクトルの平均として計算される（理想的には、発生計数の加重平均）。距離閾値の選択には問題があり、本質的には異なる値の閾値を使用するときの量子化学習の挙動を経験的に観察することに基づく。この選択の目標は、利用可能な量子化レベルの数をできるだけ利用すると共に、分布ベクトルを出来るだけ均一に広げることである。
【０１４６】
位置的分布のベクトル量子化を適用するとき、式（７）中の位置ｐｏｓは、ｐｏｓ’と示されるＶＱパターン中心のうちの１つへ写像される。次に、式（７）はより共通のパターン、
【０１４７】
【数９】
2010045819.tif 000011
となる。
【０１４８】
１０．解像度間の独立性を仮定して多数の解像度において検出を適用する。  
副領域間の統計的依存性は開発された簡単化された確率モデルの中に捕捉できないため、副領域よりも大きい特徴について考慮することができない。この限界を克服するため、ここで、多数のレベルの画像解像度を導入する。式（２）中の確率推定オペレータの全体の機構は、画像解像度の多数のレベルに対して適用され、
【０１４９】
【数１０】
2010045819.tif 000012
を与える。典型的な例は、画素の解像度のｎｍａｇｓ＝３レベルにおいて捕捉された単一の顔のものである。各解像度において、目は標準的な位置になくてはならない。
［簡単化された確率分布の完全な形成］  
式（８）及び（１０）を合わせ、これらの式中の事後確率に対して学習中に合わされた事前確率に関するベイズの定理を適用することにより、画像領域中の顔の存在の推定される尤度の完全な形式（１１）が生ずる。この式の完全な導出の詳細は、Schneidermanの文献に記載されている。
【０１５０】
【数１１】
2010045819.tif 000013
式中、
【０１５１】
［外１］
2010045819.tif 000014
は、画像領域が顔を含む事後確率又は含まない事後確率を表わす。
【０１５２】
これについての知識がない場合、１／２の均一な事前確率が使用され、上述の式（１）を更に簡単化する。事前確率についてのこの仮定は、顔のパターン認識に使用された場合のアルゴリズムの性能に影響を与えない。むしろ、確率値として出力されるアルゴリズムを解釈するときに考慮されねばならない拡大縮小率の存在を与える。
【０１５３】
［学習段階−フェーズＩ］  
アルゴリズムＳの実際の学習は多数の別個の段階を含み、学習は自然に２つの主なフェーズへ分割される。第一のフェーズの目標は、顔副領域の量子化の特定パラメータを獲得することである。最初の段階は、学習組から共分散行列を捕捉し次に副領域の主要成分を捕捉することである。この段階の一部として、主要成分の抽出に続き、１２個の主要な次元への投影の統計を集めるため、全ての学習副領域を通る第二の通過が行なわれる。
【０１５４】
次に投影データが解析される。投影統計は、ロイド／マックス量子化器の最適な設計を可能とするため、学習プログラムへフィードバックされる。顔パターンの変化は、様々なスケールの解像度に亘って考慮され、主要成分及びこれらの成分に沿った学習データの統計的な分布の抽出は、各画像解像度について繰り返されねばならない。
【０１５５】
［学習段階−フェーズＩＩ］  
学習の第２のフェーズは、学習組を通過し、各顔例の各副領域の量子化を実行することによって開始する。上述のように、学習組は、各学習典型の僅かに乱れた変形を形成することによって拡張されうる。量子化された値が出現する頻度は、大体１，０００，０００ｂｉｎを有するヒストグラム中で計数される。
【０１５６】
同様に、各量子化された値が生ずる副領域位置は累積される。ソート操作により、量子化頻度ヒストグラムは発生計数の降順に配置される。ｎestの最も周波数量子化されたパターンでは、位置的な分布はベクトル量子化アルゴリズムに入る。ベクトル量子化に続き、ｎq2の種の位置的分布が保持され、各ｎestの頻度量子化値は保持される分布によって近似される位置的な分布を有する。
【０１５７】
［顔検出オペレータを適用する］  
学習された顔検出アルゴリズムを試験時に使用することにより、式（１１）の計算は空間的及び強度的な正規化が行なわれた画像領域に対して適用されねばならない。各候補顔領域の三つの異なる解像度の変形が必要とされる。各副領域についての量子化値が計算され、式（１１）中の様々な確率項はアルゴリズム学習中に形成された確率テーブルから抽出される。
【０１５８】
顔検出のために式（１１）を使用するために、確率閾値が選択されねばならない。事後確率が閾値を超過する場合、顔検出が生じている。アルゴリズム学習プロセスが完了した後、顔画像及び顔でない画像の確認組に対して適用された場合のアルゴリズムの分類性能を調べることによって決定される。閾値は、偽の肯定結果の誤りと偽の否定結果の誤りの相対的な重要性を考慮して、確認組に対して最適な性能に設定される。
【０１５９】
［二重スクリーニング顔検出オペレータ−組合せアルゴリズム］  
本発明の望ましい顔検出アルゴリズムでは、コンポーネントＷによって発生された顔候補はコンポーネントＳの顔検出オペレータへの入力となる。２つのアルゴリズムの窓形状は僅かに異なるため、顔候補をフレーミングし、コンポーネントＳのために標準的な位置に目を配置するために、空間アフィン変換が使用される。画像窓中の顔の存在を宣言するために、コンポーネントＳからの出力に対して閾値が適用される。
【０１６０】
コンポーネントＷは画像全体に亘って走査された窓のある範囲のスケールにおいて画像を調べるため、真の顔が一つ以上のスケールで、及び幾つかの近接して離間した窓位置において検出される可能性がある。検出の重なり合いを組み合わせるための幾つかの方法が使用されるべきである。
【０１６１】
二つの異なる方法が試験された。第一の方法は、空間的に重なり合う検出の群から最も強い検出を使用するものである。第二の方法は、重なり合う検出の平均の目の位置を計算することである。平均化技術は、人間の観察者によって目で判断されるようにより正確な目の位置が得られることが経験的に分かった。
【符号の説明】
【０１６２】
１０  ：カメラ
２０  ：画像捕捉部
２１  ：光学部
２２  ：画像
２３  ：画像センサ
２４  ：露出制御機構
２５  ：アナログ記憶装置
２６  ：記録装置
２７  ：フラッシュ
２８  ：光学ビューファインダ
２９  ：ＬＣＤオーバーレイ
２９ａ：ＬＣＤドライバ
３０  ：ＣＰＵ
３２  ：ディジタルメモリ
３４  ：表示装置
４０  ：システムバス
４２  ：ＲＡＭ
４４  ：ＲＯＭ
４６  ：Ｉ／Ｏアダプタ
４８  ：通信アダプタ
４９  ：目標追跡段
４９ａ：測定フレーム
５０  ：ユーザインタフェースアダプタ
５２  ：シャッタボタン
５４  ：フラッシュ制御
５６  ：プログラムされた露出選択
５８  ：ユーザ操作された表示カーソル
６０  ：アルゴリズムインタフェースアダプタ
７０  ：表示インタフェース
７２  ：学習データベース
７４  ：パターン信号発生器
８０  ：赤目補正アルゴリズム
８２  ：露出制御アルゴリズム
８４  ：フラッシュ制御アルゴリズム
８６  ：焦点制御アルゴリズム
８８  ：カラーバランスアルゴリズム
９０  ：顔検出アルゴリズム
９２  ：構図アルゴリズム
【図１】
2010045819.tif 000015
【図２】
2010045819.tif 000016
【図３】
2010045819.tif 000017
【図４】
2010045819.tif 000018
【図５】
2010045819.tif 000019
【図６】
2010045819.tif 000020
【図７Ａ】
2010045819.tif 000021
【図７Ｂ】
2010045819.tif 000022
【図７Ｃ】
2010045819.tif 000023
【図７Ｄ】
2010045819.tif 000024
【図８Ａ】
2010045819.tif 000025
【図８Ｂ】
2010045819.tif 000026
【図９Ａ】
2010045819.tif 000027
【図９Ｂ】
2010045819.tif 000028
【図１０Ａ】
2010045819.tif 000029
【図１０Ｂ】
2010045819.tif 000030
【図１０Ｃ】
2010045819.tif 000031