(57)【要約】  【課題】写真画像中から赤目等の特定領域を高速で検出できる特定領域検出方法および装置、これら実行するプログラムを提供する。  【解決手段】画像中から特定領域候補を検出し、この特定領域候補に対応して顔検出を行って特定領域を特定すると共に、前に検出した顔の顔情報を記憶しておき、次の特定領域候補に対応する顔検出を行う際に、この顔情報を用いて顔検出を行うことにより、前記課題を解決する。【選択図】図３
2005267512.tif 000002
【特許請求の範囲】
【請求項１】
画像中の特定領域候補を検出し、次いで、検出した特定領域候補を含む領域において顔検出を行って、顔が検出できた領域に含まれる特定領域候補を検出対処である特定領域として特定すると共に、
前記特定領域候補を含む領域で顔が検出できた際に、この顔に関する顔情報を記憶しておき、次に顔検出を行う特定領域候補に対応する顔検出の際に、記憶した顔情報を利用して顔検出を行うことを特徴とする特定領域検出方法。
【請求項２】
前記特定領域が赤目である請求項１に記載の特定領域検出方法。
【請求項３】
前記次に顔検出を行う特定領域候補とは、１画像中において次に顔検出を行う特定領域候補、および、次の画像において最初に顔検出を行う特定領域候補の少なくとも一方である請求項１または２に記載の特定領域検出方法。
【請求項４】
前記顔情報が顔の向きの情報であり、次に顔検出を行う特定領域候補における顔検出は、最初の顔検出を前記記憶した顔の向きで行う請求項１〜３のいずれかに記載の特定領域検出方法。
【請求項５】
前記顔検出情報が顔のサイズの情報であり、次に顔検出を行う特定領域候補における顔検出は、最初の顔検出を前記記憶した顔のサイズでの顔検出を最初に行う請求項１〜４のいずれかに記載の特定領域検出方法。
【請求項６】
供給された画像データの画像から特定領域候補を検出する特定領域候補検出手段と、前記特定領域候補検出手段が検出した前記特定領域候補を含む領域において顔検出を行う顔検出手段と、前記顔検出手段によって顔が検出できた領域に含まれる特定領域候補を検出対称である到底領域として特定する特定手段と、前記顔検出手段が特定領域候補を含む領域で顔が検出できた際に、この顔に関する顔情報を記憶する記憶手段とを有し、
かつ、前記顔検出手段は、次に顔検出を行う特定領域候補に対応する顔検出を行う際に、前記記憶手段から顔情報を読み出して、この顔情報を利用して顔検出を行うことを特徴とする特定領域検出装置。
【請求項７】
前記特定領域が赤目である請求項６に記載の特定領域検出装置。
【請求項８】
供給された画像データの画像から特定領域候補を検出する特定領域候補検出手段と、前記特定領域候補検出手段が検出した前記特定領域候補を含む領域において顔検出を行う顔検出手段と、前記顔検出手段によって顔が検出できた領域に含まれる特定領域候補を検出対称である特定領域として特定する特定領域特定手段と、前記顔検出手段が特定領域候補を含む領域で顔が検出できた際に、この顔に関する顔情報を記憶手段に記憶させる記憶手段とを実行させ、
かつ、前記顔検出手段では、次に顔検出を行う特定領域候補に対応する顔検出を行う際に、前記記憶手段から顔情報を読み出して、これを利用して顔検出を行うプログラム。
【請求項９】
前記特定領域が赤目である請求項８に記載のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、写真フィルムに撮影された画像やデジタルカメラで撮影された画像中から赤目等の顔領域に存在する特定領域を画像処理によって検出する特定領域検出の技術分野に属し、詳しくは、画像からの赤目検出等を高速に行うことを可能にする特定領域検出方法、特定領域検出装置、および、これらを実行させるプログラムに関する。
【背景技術】
【０００２】
近年、フィルムに記録された画像を光電的に読み取って、読み取った画像をデジタル信号とした後、種々の画像処理を施して記録用の画像データとし、この画像データに応じて変調した記録光によって感光材料を露光してプリントとして出力するデジタルフォトプリンタが実用化されている。
デジタルフォトプリンタでは、フィルムに撮影された画像を光電的に読み取って、画像をデジタルの画像データとして、画像の処理や感光材料の露光を行う。そのため、フィルムに撮影された画像のみならず、デジタルカメラ等で撮影された画像（画像データ）からも、プリントの作成を行うことができる。
【０００３】
また、近年のパーソナルコンピュータ（ＰＣ）やデジタルカメラ、さらにはインクジェットプリンタなどの安価なカラープリンタの普及に伴い、デジタルカメラで撮影した画像をＰＣに取り込み、画像処理を施してプリンタで出力するユーザも多い。
さらに、近年では、デジタルカメラで撮影した画像を記憶した光磁気記録媒体（ＭＯなど）、小型半導体記憶メディア（スマートメディアＴＭやコンパクトフラッシュＴＭなど）、磁気記録メディア（フレキシブルディスクなど）、光ディスク（ＣＤやＣＤ−Ｒなど）等の記憶媒体から、直接的に画像データを読み取り、所定の画像処理を施して、プリント（ハードコピー）を出力するプリンタも実用化されている。
【０００４】
ところで、ポートレート等の人物を含む画像において、画質を左右する最も重要な要素は人物の仕上りである。従って、撮影時のストロボ発光の影響によって、人物の目（瞳）が赤くなる赤目現象は、重大な問題となる。
従来のフィルムから直接的に露光を行うフォトプリンタでは、赤目の補正は非常に困難である。しかしながら、デジタルフォトプリンタ等のデジタルの画像処理であれば、画像処理（画像解析）によって赤目を検出し、この赤目領域の輝度や彩度を補正することによって、赤目の補正を行うことができる。
【０００５】
このような赤目補正処理を行うに際し、画像中から赤目を検出する方法としては、例えば、画像データの解析によって画像中から顔を検出し、次いで、検出した顔の中から目の検出や赤い丸の検出を行う方法が例示される。また、このような赤目検出に利用される顔検出の方法も各種提案されている。
【０００６】
例えば、特許文献１には、画像から人物の顔に相当すると推定される候補領域を検出し、この候補領域を所定数の小領域に分割して、小領域毎に濃度や輝度の変化の頻度および大きさ関連する特徴量を求め、予め作成した人物の顔に相当する領域を前記所定数に分割した際における各小領域の特徴量の関係を表すパターンと、前記特徴量とを照合することにより、顔候補領域の角度を評価して、顔検出の精度を向上する方法が開示されている。
【０００７】
また、特許文献２には、画像から人物の顔に想到すると推定される候補領域を検出し、この顔候補領域の濃度が所定範囲で有る場合に、この顔候補領域を基準として胴体と推定される領域を設定し、設定した胴体領域と顔候補領域との濃度差が所定値以下の領域の有無に基づいて、もしくは、顔候補領域および胴体候補領域の濃度や彩度のコントラストに基づいて、顔候補領域の検出結果の確度を評価して、顔検出の精度を向上する方法が開示されている。
【０００８】
さらに、特許文献３には、画像から人物の顔に想到すると推定される候補領域を検出し、検出した候補領域の内、画像中で他の候補領域と重複している候補領域について重複度を求め、この重複度が高い領域ほど顔領域である確度を高いと評価することにより、顔検出の精度を向上する方法が開示されている。
【特許文献１】特開２０００−１３７７８８号公報
【特許文献２】特開２０００−１４８９８０号公報
【特許文献３】特開２０００−１４９０１８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
このような顔検出は、精度を要求され、かつ、様々な解析が必要であるため、通常、プリントの出力に用いられる高解像度の画像データ（フィルムを読み取った画像データであれば、いわゆるファインスキャンデータで、デジタルカメラであれば撮影画像データ）で行う必要があり、処理に時間がかかる。
しかも、撮影画像中における顔の向きは、基本的に、撮影時におけるカメラの向き（横位置や縦位置など）によって４方向が有り得る。ここで、顔の向きが異なれば、当然、画面の天地方向や左右方向における目や鼻などの配列方向が異なるため、確実に顔を検出するためには、４つの全ての方向に対応して顔検出を行う必要がある。
また、画像中における顔のサイズ（大きさ）も、撮影距離等に応じて様々であり、画像中における顔のサイズが異なれば、当然、画像中の目や鼻などの位置関係（間隔）が異なるため、確実に顔を検出するためには、やはり、各種の顔のサイズに対応して顔検出を行う必要がある。
【００１０】
そのため赤目補正処理は、赤目検出、特に顔検出が律速となって非常に時間のかかる処理となってしまい、例えば、前述のデジタルフォトプリンタであれば、赤目の無い高画質な画像を安定して出力できる反面、生産性を低下させる大きな要因となっている。
【００１１】
本発明の目的は、前記従来技術の問題点を解決することにあり、赤目や目じりなど、画像中で顔に存在し得る特定領域の検出を高速で行うことができ、例えば、赤目の無い高画質画像を安定して出力することを可能とし、かつ、プリンタの生産性を大幅に向上させることができる特定領域検出方法、この特定領域検出方法を実行する特定領域検出装置、および、これらを実行するためのプログラムを提供することにある。
【課題を解決するための手段】
【００１２】
前記目的を達成するために、本発明の特定領域検出方法は、画像中の特定領域候補を検出し、次いで、検出した特定領域候補を含む領域において顔検出を行って、顔が検出できた領域に含まれる特定領域候補を検出対処である特定領域として特定すると共に、
前記特定領域候補を含む領域で顔が検出できた際に、この顔に関する顔情報を記憶しておき、次に顔検出を行う特定領域候補に対応する顔検出の際に、記憶した顔情報を利用して顔検出を行うことを特徴とする特定領域検出方法を提供する。
【００１３】
また、本発明の特定領域検出装置は、供給された画像データの画像から特定領域候補を検出する特定領域候補検出手段と、前記特定領域候補検出手段が検出した前記特定領域候補を含む領域において顔検出を行う顔検出手段と、前記顔検出手段によって顔が検出できた領域に含まれる特定領域候補を検出対称である到底領域として特定する特定手段と、前記顔検出手段が特定領域候補を含む領域で顔が検出できた際に、この顔に関する顔情報を記憶する記憶手段とを有し、かつ、前記顔検出手段は、次に顔検出を行う特定領域候補に対応する顔検出を行う際に、前記記憶手段から顔情報を読み出して、この顔情報を利用して顔検出を行うことを特徴とする特定領域検出装置を提供する。
【００１４】
さらに、本発明のプログラムは、供給された画像データの画像から特定領域候補を検出する特定領域候補検出手段と、前記特定領域候補検出手段が検出した前記特定領域候補を含む領域において顔検出を行う顔検出手段と、前記顔検出手段によって顔が検出できた領域に含まれる特定領域候補を検出対称である特定領域として特定する特定領域特定手段と、前記顔検出手段が特定領域候補を含む領域で顔が検出できた際に、この顔に関する顔情報を記憶手段に記憶させる記憶手段とを実行させ、かつ、前記顔検出手段では、次に顔検出を行う特定領域候補に対応する顔検出を行う際に、前記記憶手段から顔情報を読み出して、これを利用して顔検出を行うプログラム提供する。
【００１５】
このような本発明の特定領域検出処理方法、特定領域検出装置、およびプログラムにおいて、前記特定領域が赤目であるのが好ましく、また、前記次に顔検出を行う特定領域候補とは、１画像中において次に顔検出を顔検出を行う特定領域候補、および、次の画像において最初に顔検出を行う特定領域候補の少なくとも一方であるのが好ましく、また、前記顔情報が顔の向きの情報であり、次に顔検出を行う特定領域候補における顔検出は、最初の顔検出を前記記憶した顔の向きで行うのが好ましく、さらに、前記顔検出情報が顔のサイズの情報であり、次に顔検出を行う特定領域候補における顔検出は、最初の顔検出を前記記憶した顔のサイズでの顔検出を最初に行うのが好ましい。
【発明の効果】
【００１６】
本発明は、上記構成を有することにより、画像中の赤目や目じりなど、画像の顔領域に存在し得る特定領域を補正のため等に検出するに際し、特定領域の存在しない領域での顔検出を不要とし、かつ、画像面における天地方向および左右方向の全ての顔の向き（頭頂部が画面の天地左右のどの方向に向いているか）に対応する顔検出や、想定される全てのサイズの顔に対応しての顔検出を不要とすることができ、これにより高速での赤目検出等の特定領域の検出を行うことができる。
従って、本発明によれば、例えば、高速で赤目の検出を行うことによる迅速な赤目補正が可能となり、例えば、写真フィルムを光電的に読み取って得られた画像データや、デジタルカメラで撮影された画像データ等から写真プリントを作成するフォトプリンタにおいて、生産性の低下を最小限に押さえて、赤目の無い高画質なプリントを安定して出力することができる。
【発明を実施するための最良の形態】
【００１７】
以下、本発明の特定領域検出方法、特定領域検出装置、およびプログラムについて、添付の図面に示される好適実施例を基に、詳細に説明する。
なお、以下の説明は、画像中の顔領域に存在し得る特定領域として、赤目を検出する場合を例に説明するが、本発明は、これに限定はされない。
【００１８】
図１（Ａ）に、本発明の特定領域検出方法を実施する本発明の特定領域検出装置を赤目検出装置に利用した一例の概念をブロック図で示す。また、本発明のプログラムは、以下に説明する検出処理を実行させるプログラムである。
図１（Ａ）に示す赤目検出装置１０（以下、検出装置１０とする）は、入力された赤目検出を行う画像（その画像データ）から赤目を検出して、赤目補正手段２０に出力するもので、赤目候補検出手段１２と、顔検出手段１４と、赤目特定手段１６とを有して構成される。このような画像検出装置１０は、一例として、パーソナルコンピュータ、ワークステーションなどのコンピュータや、ＤＳＰ（Digital Signal Processor）等を利用して構成される。
なお、検出装置１０と赤目補正手段２０とは、一体的に構成されていてもよく、あるいは、検出装置１０（あるいはさらに、赤目補正手段２０）は、色／濃度補正、階調補正、電子変倍処理、シャープネス処理等の各種の画像処理を行う画像処理装置（手段）に組み込まれるものであってもよい。
【００１９】
本発明の検出装置１０において、赤目検出を行う処理対象画像（以下、対象画像とする）、カラー画像であれば特に限定はなく、例えば、カメラによって写真フィルムに撮影された画像（画像を撮影された写真フィルムを光電的に読み取って得られた画像データ）や、デジタルカメラで撮影された画像（画像データ）であってもよい。また、対象画像は、撮影された画像そのものではなく、必要に応じて各種の画像処理を施された画像（画像データ）であってもよいのは、もちろんである。
【００２０】
対象画像は、まず、赤目候補検出手段１２に供給される。
赤目候補検出手段１２は、対象画像中から、赤目である可能性のある領域すなわち赤目候補を検出し、赤目候補の位置情報（中心の座標位置情報）、領域情報、個数の情報等を、赤目候補の情報として顔検出手段１４および赤目特定手段１６に供給するものである。
一例として、図１（Ｂ）に示すように、背景に３つの赤ランプを有するシーンで人物を撮影し、この人物に赤目現象が生じた画像（シーン）であれば、赤ランプに対応するａ、ｂ、およびｃ、ならびに、赤目に対応するｄおよびｅで示す領域を赤目候補として検出し、顔検出手段１４および赤目特定手段１６に供給する。
【００２１】
赤目候補の検出方法には、特に限定はなく、公知の各種の方法が利用可能である。
一例として、赤色の色相で、かつ、所定画素数以上が集まっている領域を抽出し、多数の赤目の画像サンプルから予め設定した、赤目度（どの程度赤目らしい色か）および円形度（どの程度丸いか）を用いて、赤目である可能性を有する領域を赤目候補として検出する方法が例示される。
【００２２】
赤目候補の検出結果は、顔検出手段１４に送られる。顔検出手段１４は、赤目の検出結果（例えば前記位置情報）を用いて、赤目候補検出手段１２が検出した赤目候補を含む周辺において、顔検出を行い、自身を含む領域で顔が検出できた赤目候補の情報、あるいはさらに顔の検出結果を赤目特定手段１６に供給するものである。
例えば、図１（Ｂ）に示す例であれば、前記ａ、ｂ、ｃ、ｄ、およびｅの各赤目候補に対応して、各赤目候補を含む所定領域において、順次、顔検出を行う。一例として、例えば、最初に赤目候補ａに対応して、この赤目候補ａを含む所定領域において顔検出を行い、次いで、赤目候補ｂに対応して同様に顔検出を行い、次いで、赤目候補ｃに対応して同様に顔検出を行い、赤目候補ｄに対応して同様に顔検出を行い、最後に、赤目候補ｅに対応して同様に顔検出を行う。
従って、この場合には、赤目候補ｄおよびｅに対応する顔検出の際に、顔領域として例えば点線で囲まれた領域が検出され、これに応じて、顔検出手段１４は、赤目候補ｄおよびｅが顔領域に含まれる赤目候補であるとの情報、あるいはさらに、検出した顔領域の情報を赤目特定手段１６に供給する。
【００２３】
前述のように、顔検出は、非常に時間のかかる処理であるが、従来の赤目検出では、顔検出を行った後に、検出された顔領域内で赤目検出を行っているため、赤目の存在しない領域でも顔検出を行っており、その結果となり、顔検出に非常に時間がかかる。
これに対し、本発明においては、このように、赤目候補を検出した後に、この赤目候補を含む所定領域でのみ顔検出を行うことにより、赤目が存在しない領域での無駄な顔検出を無くして、赤目検出において、顔検出にかかる時間を大幅に短縮することができる。
【００２４】
顔検出手段１４による顔検出の方法には、特に限定はなく、多数の顔の画像サンプルから予め作成した平均的な顔画像、いわゆる顔のテンプレート（以下、顔テンプレートとする）を用いて対象画像中から顔領域を検出する方法や、前記特許文献１〜３において、それ以外の顔候補の検出方法として例示されている各方法等、公知の各種の方法が利用可能である。
【００２５】
ここで、検出装置１０においては、顔検出手段１４は記憶部１８を有し、赤目候補に対応して顔が検出できた場合には、その顔の顔情報を記憶部１８に記憶しておき、次に顔検出を行う赤目候補に対応する顔検出（次の赤目候補に対応する顔検出）を行う際には、記憶部１８に記憶した１つ前に検出された顔（すなわち、検出装置１０において最後に検出された顔）の顔情報を用いて顔検出を行う。
なお、本発明において、次の赤目候補に対応する顔検出とは、１画像の中に複数の赤目候補が有る場合において次に行う顔検出はもちろん、１件（１オーダ）において次のコマ（画像）で最初に行う顔検出における顔検出も含むものである。一件とは、通常、フィルム１本や１つの記憶媒体に記録された画像であり、一件の中の次のコマでは、最初の赤目候補に対応する顔検出の際に、前のコマで最後に検出された顔の顔情報を用いる。また、次の件の最初の顔検出に、前の件の最後に検出された顔の顔情報を用いてもよい。
【００２６】
具体的には、赤目候補に対応して顔が検出できた場合には、その顔の顔情報として、検出した顔の向きの情報（撮影画面（＝画像面）において頭頂部がどの方向に向いているか）と、顔のサイズ（大きさ）の情報とを記憶部１８に記憶しておき、次の赤目候補に対応する顔検出の際に、記憶部１８から顔情報を読み出し、この顔の向きで、かつ、この顔サイズでの顔検出を、最初に行う。
これにより、前記赤目候補検出を先に行うことによる処理時間短縮に加え、顔検出時間をさらに短縮することができる。
【００２７】
前述のように、撮影された画像中における顔の向きは、図２の（Ａ）、（Ｂ）、（Ｃ）および（Ｄ）に示すように、撮影時におけるカメラの向き、具体的には、横位置での撮影およびその際のカメラの天地方向や、縦位置での撮影およびその際のカメラの天地方向に応じて、基本的に、４つの方向が有る。
便宜的に、図２（Ａ）を顔の向き０°、図２（Ｂ）を顔の向き９０°、図２（Ｃ）を顔の向き１８０°、図２（Ｄ）を顔のき向き２７０°とし（以下、「顔の向き」は省略）、０°と１８０°とが、いわゆる横位置（横長方向）での撮影で、９０°と２７０°とが、いわゆる縦位置（縦長方向）での撮影とする。
【００２８】
前述のように、顔の向きが異なれば、画面における目、鼻、口等の配列方向が異なる。そのため、全ての顔を適正に検出するためには、全ての顔の向きに応じて顔検出を行う必要がある。
これに対応して、通常の顔検出では、例えば図２（Ａ）の０°の顔テンプレートを作成／記憶しておき、顔テンプレートを回転（あるいは対象画像を回転）して、顔検出の対象領域（顔サイズに対応）において、予め決めておいた顔の向きの順番（例えば、０°→９０°→１８０°→２７０°の順番）で、顔が検出できるまで、順次、顔検出を行っている。すなわち、この場合には、最大で４つの顔の向き（顔の向きが２７０°の場合、および、検出対象領域が顔では無かった場合）に対応して顔検出を行う。
【００２９】
また、画像中における顔のサイズ（大きさ）も、撮影距離等に応じて様々である。顔のサイズが異なれば、当然、目、鼻、口等の間隔等が異なるので、全ての顔を適正に検出するためには、やはり、様々なサイズの顔に対応して顔検出を行う必要がある。
そのため、これに対応して、通常の顔検出では、例えば、図２（Ｅ）に模式的に示す様に、解像度変換を行って予め作成／記憶した前記顔テンプレートを拡大／縮小（あるいは赤目検出の対象画像を拡大／縮小）して、各検出領域において、予め決めておいた顔サイズの順番（例えば、標準サイズ→大サイズ→小サイズの順番）で、顔が検出できるまで、順次、顔検出を行っている。すなわち、この場合には、最大で、３つのサイズ（同前）に対応して顔検出を行う。
従って、顔検出では、最大で、設定した顔の向きと顔のサイズとの全ての組み合わせに対応して顔検出が行われる。図示例であれば、最大で、１２回の顔検出が行われる。
【００３０】
ここで、１つの画像に複数の人物が撮影されている場合、通常、顔の向きは全て一緒である。また、通常の写真撮影であれば、カメラを逆さまにして撮影を行うことは、極めて稀であるので、１件の中では、横位置の顔の向きは、通常、同一である。さらに、１件は同一の撮影者が撮影する場合が多く、かつ、撮影者が同一であれば、縦位置における顔の向きも同一であるのが通常である。
さらに、１つの画像に複数の人物が撮影されている場合、多くの場合は人物の顔のサイズは同じ位である。また、異なるコマ（画像）であっても、１件の中では、複数コマで同様のシーンが連続する場合も多く、すなわち、複数コマにわたって顔サイズが同じ位の画像が連続する可能性も高い。
すなわち、１画像中における人物の顔の向きやサイズは同じ場合が多く、さらに、１件の中では人物の顔の向きやサイズが同様のコマが連続する可能性は高い。
【００３１】
従って、１つ前（最後）に検出された顔の向きおよび顔のサイズを記憶部１８に記憶しておき、次の赤目候補における顔検出において、この顔の向きおよびサイズによる検出を最初に行うことにより、最初の顔検出で顔が検出できる可能性は高く、すなわち、赤目検出における顔検出の時間を大幅に短縮できる。
【００３２】
図３に概念図を示して説明する。
例えば、図３（Ａ）に模式的に示すように、顔の向きが１８０°であるコマが連続する場合には、従来の顔検出方法では、図３（Ｂ）に示すように、先のコマで０°での顔検出を行い、顔が検出できないので次に９０°で顔検出を行い、同様に顔が検出できないので次に１８０°で顔検出を行って顔が検出できる。次のコマでも、同様に、０°、９０°、１８０°で、順次、顔検出を行って、１８０°の顔検出で顔が検出できる。
これに対し、本発明によれば、図３（Ｃ）に示すように、前のコマでは同様に前のコマで０°、９０°、１８０°で、順次、顔検出を行って、１８０°の顔検出で顔が検出できる。ここで、本発明では、顔の向きが１８０°であることを記憶部１８に記憶しておき、次のコマでは、１つ前に検出できた顔の向きが１８０°である情報を用いて、この１８０°での検出を最初に行うので、これのみで顔を検出することができ、すなわち、顔検出の時間を大幅に短縮できる。
【００３３】
本発明においても、赤目候補が赤目では無かった場合には、通常の顔検出と同様に、４つの顔の向きに対応して顔検出を行う必要がある。
ここで、前述のように、一般的な写真撮影では、カメラを逆さまにして撮影することは極めて稀である。従って、本発明においては、１件の中で、１つ前に検出できた顔の向きが横位置である０°（あるいは１８０°）の場合には、１８０°（あるいは０°）での顔検出は省略してもよい。これにより、顔の向きに対しては３方向のみの顔検出を行えばよく、安定的な顔検出の時間短縮を図ることができる。
【００３４】
本発明において、記憶する顔情報は、顔の向きの情報および顔のサイズの情報に限定はされず、いずれか一方のみを記憶するものであってもよく、また、顔検出に関する他の顔情報を用いてもよい。但し、１画像および１件の中で、顔の向きは同一である可能性は高いので、少なくとも顔の向きの情報は記憶するのが好ましい。
顔検出は、通常は、前記９０°刻みの４つの向きに対応して行うが、本発明は、これに限定はされず、より以上に細かく分けた確度に対応して顔検出を行ってもよい。さらに、顔のサイズも前記標準サイズ、小サイズ、大サイズに限定はされず、より細に設定したサイズに対応して顔検出を行ってもよい。検出を細かく行うほど、検出精度は上がる反面、処理時間がかかるので、要求される生産性や精度等の応じて適宜、決定すればよい。
【００３５】
また、以上の例では、顔の向きおよび顔のサイズを記憶しておき、この顔の向きおよびサイズに対応する顔検出を最初に行っているが、本発明はこれに限定はされない。
例えば、顔情報に対応する顔検出を最初に行わなくても、１つ前に検出された顔の向きや顔のサイズに対応する顔検出を優先的に行うようにしてもよく、あるいは、１つ前に検出された顔の向きや顔のサイズで、重みを強くして顔検出を行うようにしてもよい。
【００３６】
また、本発明において、記憶しておくのは、基本的に、１つ前（最後）に検出された顔の顔情報のみでよい。しかしながら、本発明は、これに限定はされず、それよりも前の顔情報も記憶しておき、顔検出に利用してもよい。
例えば、前述のように、カメラを反転して撮影することは極めて稀であるので、１件において先のコマで例えば０°で顔が検出できた場合には、この情報を残しておき、以降のコマでは、１８０°での検出は省略してもよい。
また、１件の画像であれば、同じカメラで、かつ、同一人物が撮影を行った可能性は高い。従って、通常、横位置の際の顔の向きは例えば全て０°のように一致し、また、縦位置の際の顔の向きも例えば全て９０°のように一致するのが通常である。従って、赤目候補が赤目であれば、その赤目候補に対して、１つ前の顔の向きの情報で顔が検出できなかった場合には、次いで、その前に検出された異なる方向の顔の向きで顔検出を行うことにより、顔を検出できる可能性が高く、従って、より顔検出の高速化を図ることができる。あるいは、１件において、最初の画像については、前述のように、赤目候補に対して顔テンプレートの顔の向きおよび顔サイズを変更して顔検出を行い、それ以降の画像については、最初の画像で見つかった顔の向きおよび顔サイズで顔検出行うようにしてもよい。
【００３７】
なお、前述のように、本発明においては、顔検出のために、顔テンプレートを回転／拡縮（拡大若しくは縮小）してもよく、あるいは、回転／拡縮した顔テンプレートを予め用意しておいてもよく、あるいは、対称画像を回転／拡縮してもよい。しかしながら、顔テンプレートおよび対象画像の両者を処理するのは、処理の手間や煩雑性を考えると、有利ではない。従って、本発明においては、顔テンプレートを固定して対称画像を回転／拡縮するか、対象画像を固定して顔テンプレートを回転／拡縮（あるいは、予め作成して持っておく）するのが好ましい。
ここで、一般的には、顔テンプレートの方がデータ量が少ない分、画像処理に係る演算量や時間が少なくて済むので、この点では、対象画像を固定して顔検出を行うのが有利である。
【００３８】
前述のように、赤目候補検出手段１２による赤目候補の検出結果、および、顔検出手段１４による顔が検出できた赤目候補は、赤目特定手段１６に供給される。
赤目特定手段１６は、これらの情報を用いて、周囲に顔が検出できた赤目候補を赤目と特定し、対象画像における赤目の検出結果として、各赤目の位置情報および領域の情報、赤目の個数の情報等を赤目補正手段２０に供給する。
【００３９】
赤目補正手段２０は、赤目特定手段１６から供給された赤目の検出結果に応じて、対象画像の赤目領域の画像処理を行って、対象画像の赤目補正を行う。
赤目補正の方法には、特に限定はなく、公知の方法が各種利用可能である。例えば、赤目や赤目周囲（顔の周囲を含んでもよい）の画像特徴量等に応じて赤目領域の彩度、明度、色相等をコントロールして赤目を補正する補正処理や、単純に赤目領域の色を黒に変換する補正処理等が例示される。
【００４０】
以下、図４のフローチャートを参照して、本発明の赤目検出について、より詳細に説明する。
【００４１】
赤目検出が開始されると、前述のように、赤目候補検出手段１２が対象画像から赤目候補を検出する。
全部でｍ個の赤目候補が検出できたとして、各赤目候補に番号付けを行い、最初（ｎ＝１）の赤目候補（Ａ点）について、顔検出手段１８が、例えば、顔の向き０°、顔サイズが標準サイズで、Ａ点（Ａ点を含む所定領域）での顔検出を行う。
この条件でＡ点で顔が検出できた場合には、顔検出手段１８は、０°および標準サイズを検出した顔の顔情報として記憶部１８に記憶し、さらに、赤目特定手段１６が、この赤目候補を赤目と特定する。
【００４２】
一方、この条件の検出において、Ａ点で顔が検出できなかった場合には、顔検出手段１８は、次いで、顔のサイズを変えて、例えば、大サイズでの顔検出を行う。この条件で顔が検出できた場合には、同様に、顔情報（０°および大サイズ）を記憶して、この赤目候補を赤目と特定する。他方、顔が検出できなかった場合には、再度、顔のサイズを変えて小サイズでの顔検出を行い、顔が検出できたら、同様に、その際の顔情報を記憶して、この赤目候補を赤目と特定する。
【００４３】
全ての顔サイズで顔が検出できなかった場合には（全選択終了）、顔検出手段１４は、次いで、顔の向きを変更し、例えば９０°で顔検出を行う。なお、この際においては、顔のサイズは最初の標準サイズとし、顔のサイズの「全選択終了」はリセットする。
顔検出手段１４は、この条件で顔が検出できた場合には、同様に、顔情報（９０°で標準サイズ）を記憶して、この赤目候補を赤目と特定する。
他方、この条件で顔が検出できなかった場合には、再度、顔のサイズを変えて、前述のように、大サイズで顔検出を行い、この条件の顔検出で顔が検出できた場合には、同様に、この顔情報を記憶して、この赤目候補を赤目と特定し、顔が検出できなかった場合には、顔のサイズを小サイズに変えて、顔検出を行い、顔が検出できたら、同様に、その際の顔情報を記憶して、この赤目候補を赤目と特定する。
【００４４】
顔の向き９０°において、全ての顔のサイズで顔が検出できなかった場合には、顔検出手段１４は、次いで、顔の向きを１８０°に変更し、以下、同様に、顔のサイズを変更して、標準サイズから、順次、Ａ点における顔検出を行い、顔が検出できた場合には顔情報を記憶し、赤目と特定し、顔の向き１８０°で全ての顔サイズで顔が検出できなかった場合には、顔の向きを２７０°にして、標準サイズから、順次、Ａ点における顔検出を行い、顔が検出できた場合には顔情報を記憶し、赤目と特定する。
また、２７０°において、全ての顔サイズで顔が検出できなかった場合（全選択終了）、すなわち、全ての顔の向きと顔サイズとの組み合わせで顔が検出できなかった場合には、Ａ点の周辺は顔以外であると判断する。
【００４５】
Ａ点を赤目と特定した場合（すなわち顔が検出できた場合）、および、Ａ点の周辺を顔以外と判断した場合には、Ａ点をｎ＋１とし、Ａ＞ｍであれば次のＡ点（赤目候補）について、顔検出を行う。
ここで、赤目検出手段１４は、記憶部１８が顔情報を記憶している場合には、顔情報すなわち１つ前に検出した顔の向きおよびサイズの情報を読み出し、これに対応する顔検出を最初におこなう。例えば、一番最初の０°で標準サイズが顔情報として記憶されている場合には、この条件での顔検出を最初に行い、また、０°で大サイズが顔情報として記憶されている場合には、この条件での顔検出を最初に行う。
【００４６】
顔検出手段１４によって、記憶部１８が記憶している顔情報に対応する条件で顔が検出できた場合には、同様に、赤目特定手段１６が、このＡ点を赤目と特定し、かつ、顔検出手段０１４は、この顔情報を、再度、記憶部１８に記憶する（あるいは、記憶部１８の情報を、そのまま維持する）。
他方、記憶部１８が記憶している顔情報に対応する条件で顔が検出できなかった場合には、顔検出手段１４は、先と同様に、顔のサイズを、順次、変更して顔検出を行い、あるいはさらに顔の向きを、順次、変更して顔検出を行う。この顔検出で、顔が検出できた場合には、このＡ点を赤目と特定して、検出できた顔の顔情報（顔の向き、および、顔のサイズ）を記憶する。また、全ての顔の向きおよび顔サイズの組み合わせでも顔が検出できなかった場合には、このＡ点は顔ではないと特定する。
【００４７】
このＡ点を赤目と特定した場合、および、このＡ点を顔では無いと判断した場合には、Ａ点をｎ＋１として、以下同様にして、これ以降の赤目候補における顔検出を、順次、行い、Ａ＞ｍとなった時点、すなわち、全ての赤目候補についての顔検出を終了したら、赤目検出を終了する。
【００４８】
なお、本発明においては、顔情報として、顔の向きおよび顔のサイズの両方を記憶するのに限定されないのは、前述のとおりである。
顔の向きのみを記憶する場合には、例えば、最初の顔検出で顔が検出できなかった場合には、顔の向きはそのままとして、顔のサイズをデフォルトで決定された順番で、順次、変更して、顔が検出できるまで顔検出を行い、記憶した顔の向きにおいて全ての顔サイズで顔が検出ができなかったら、顔の向きを変更して、以下、先の例と同様にして、順次、顔検出を行えばよい。
また、顔のサイズのみを記憶する場合には、例えば、最初の顔検出で顔が検出できなかった場合には、顔のサイズはそのままとして、顔の向きをデフォルトで決定された順番で、順次、変更して、顔が検出できるまで顔検出を行い、記憶した顔のサイズにおいて全ての顔の向きで顔が検出ができなかったさいに、顔のサイズを変更して、以下、先の例と同様にして、順次、顔検出を行えばよい。
【００４９】
以上、本発明の特定領域検出方法、特定領域検出装置、およびプログラムについて詳細に説明したが、本発明は上記実施例に限定はされず、本発明の要旨を逸脱しない範囲において、各種の改良や変更を行ってもよいのは、もちろんである。
【００５０】
例えば、以上の例は、本発明の検出方法を赤目検出に利用した例であるが、本発明は、これに限定はされず、目、目じり、眉毛、口、鼻、眼鏡、ニキビ、ホクロ、しわ等、画像中の顔領域に存在し得る各種の物を特定領域として、画像中から例えばニキビ候補を検出して、その周辺で顔検出を行い、顔が検出できたニキビ候補をニキビと特定してもよい。
この際における特定領域候補の検出方法は、例えば、検出対象となる特定領域に固有の色や形状を有する領域を画像中から検出する方法、検出対象となる特定領域の多数の画像サンプルから学習して作成したテンプレートを用いてマッチングを行う方法等、公知の方法によればよい。
【図面の簡単な説明】
【００５１】
【図１】（Ａ）は、本発明による赤目検出装置の一例を概念的に示すブロック図であり、（Ｂ）は、本発明による赤目検出を説明するための概念図である。
【図２】（Ａ）、（Ｂ）、（Ｃ）、（Ｄ）および（Ｅ）は、顔検出方法を説明するための概念図である。
【図３】（Ａ）、（Ｂ）および（Ｃ）は、従来および本発明による赤目検出を説明するための概念図である。
【図４】本発明による赤目検出の一例のフローチャートである。
【符号の説明】
【００５２】
１０  （赤目）検出装置
１２  赤目候補検出装置
１４  顔検出手段
１６  赤目特定手段
１８  記憶部
２０  赤目補正手段
【図１】
2005267512.tif 000003
【図２】
2005267512.tif 000004
【図３】
2005267512.tif 000005
【図４】
2005267512.tif 000006