(57)【特許請求の範囲】
【請求項１】
対象画像を取得する画像取得手段と、
探索窓のサイズを設定する探索窓サイズ設定手段と、 
上記探索窓の設定されたサイズをしきい値と比較し、上記サイズが上記しきい値以下の場合に上記対象画像において探索範囲を上記対象画像の全域より小さく、上記対象画像の中央付近を含む範囲に設定する探索範囲設定手段と、
設定された上記探索範囲内で設定された上記サイズの上記探索窓を移動させる走査手段と、
各走査位置の上記探索窓の画像から顔領域か否かを判定する顔領域判定手段と、
上記顔領域判定手段の判定結果から得られた上記顔領域の情報を出力する顔情報出力手段と
を備えた画像処理装置。 
【請求項２】
上記探索範囲設定手段は、上記サイズが上記しきい値より大きい場合に上記探索範囲を上記対象画像の全域に設定する請求項１に記載の画像処理装置。 
【請求項３】
対象画像を取得する画像取得ステップと、
探索窓のサイズを設定する探索窓サイズ設定ステップと、
上記探索窓の設定されたサイズをしきい値と比較し、上記サイズが上記しきい値以下の場合に上記対象画像において探索範囲を上記対象画像の全域より小さく、上記対象画像の中央付近を含む範囲に設定する探索範囲設定ステップと、
設定された上記探索範囲内で設定された上記サイズの上記探索窓を移動させる走査ステップと、
各走査位置の上記探索窓の画像から顔領域か否かを判定する顔領域判定ステップと、
上記顔領域判定ステップの判定結果から得られた上記顔領域の情報を出力する顔情報出 力ステップと
を備えた画像処理方法。
【請求項４】
上記探索範囲設定ステップは、上記サイズが上記しきい値より大きい場合に上記探索範囲を上記対象画像の全域に設定する請求項３に記載の画像処理方法。 
【請求項５】
被写体画像を取得するカメラ部と、
上記撮像手段からの撮像信号に対して信号処理を行うカメラ信号処理部と、
上記撮像信号を蓄積する記憶部と、
撮像装置の動作を制御する制御部とを備え、
上記制御部は、探索窓のサイズを設定する探索窓サイズ設定部と、
上記探索窓の設定されたサイズをしきい値と比較し、上記サイズが上記しきい値以下の場合に上記対象画像において探索範囲を上記対象画像の全域より小さく、上記対象画像の中央付近を含む範囲に設定する探索範囲設定部と、
設定された上記探索範囲内で設定された上記サイズの上記探索窓を移動させる走査部と 、
各走査位置の上記探索窓の画像から顔領域か否かを判定する顔領域判定部と、
上記顔領域判定部の判定結果から得られた上記顔領域の情報を出力する顔情報出力部と
を備えた撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、画像中の顔領域を検出する画像処理装置、情報処理方法および撮像装置に関する。
【背景技術】
【０００２】
顔画像検出技術は、例えばディジタルスチルカメラ等で撮影した複数の写真画像を閲覧する時に、各写真から抽出して顔情報をインデックスとして写真の検索等に利用することができる。また、写真の画質の調整時に、抽出した顔領域が最良となるような画質調整がなされる。さらに、撮影中の画像からリアルタイムに顔領域を検出し、顔領域の明るさまたはフォーカスが最良となるようにカメラの調整がなされたり、顔の存在する位置が中央となるように、パン・チルタによって撮影方向が制御される。よりさらに、顔画像認識は、本人確認等のセキリュティの分野でも適用できる。
【０００３】
例えば、下記特許文献１には、探索窓内部分の画像（以下、部分画像と適宜称する）が顔であるか否かを判定するために、部分画像の画素値について学習辞書との比較演算を行うようにした顔画像認識方法が記載されている。
【０００４】
【特許文献１】特開２００５−４４３３０号公報
【０００５】
また、下記特許文献２には、眼鏡の反射光などが光る画像に対しても顔領域の検出を簡単に行うことができる顔検出装置が記載されている。
【０００６】
【特許文献２】特開２００６−４８３２８号公報
【０００７】
特許文献１および特許文献２に記載されているように、リアルタイム画像または蓄積済みの画像データに対して適用される顔画像検出方法は、対象画像を探索窓によってスキャンすることによって各探索窓に対応する部分画像を取得し、部分画像に顔領域が存在するか否かが検出される。顔領域の検出方法としては例えば予め学習によって得られているテンプレートと部分画像との比較処理を行うことによってなされる。これ以外の顔領域の検出方法も使用できる。例えば特許文献２には、部分画像の画素をベクトル化して主成分空間に射影した後に、ベクトルの主成分空間までの距離と主成分空間内での距離とが計算されて部分画像内に顔領域が存在するか否かが判断される方法、並びに予め取得済みの背景画像（人物が映っていない画像）と人物が映っている画像との差分情報から顔領域および目領域の位置を特定する方法が記載されている。
【０００８】
図６は、部分画像を取り出す走査の一例および他の例を示すものである。図６Ａおよび図６Ｂにそれぞれ示す画像は、同一の被写体を撮影したものであるが、顔の大きさが相違している例である。部分画像を取り出すために、四角形例えば正方形の枠で示す探索窓が例えば画像の左上コーナから右下コーナに向かって矢印で示すように走査する。探索窓は、ｍ画素ステップで位置が水平方向および垂直方向に移動される。ｍ画素は、探索窓のサイズにほぼ比例することが好ましく、例えば探索窓の１辺の１／１０程度に設定される。図６Ａに示す比較的大きい顔と、図６Ｂに示す比較的小さい顔の間では、探索窓の適切な大きさも相違し、大きな顔の場合には、探索窓のサイズを大きくされる。
【発明の開示】
【発明が解決しようとする課題】
【０００９】
１枚の画像中の顔の大きさは、種々存在する可能性があるので、部分画像を切り取るための探索窓のサイズを変更する必要があった。数十種類のサイズの探索窓のそれぞれに関して顔検出処理が行われる。上述したように、探索窓のサイズにほぼ比例して移動量を変化させる場合、探索窓が小さい場合には、走査で発生する探索窓の総数が多くなり、顔領域判定のための演算量が増大する。また、処理対象の画像のサイズ（解像度）が大きくなれば、演算量が増大する。このような処理量の増加は、ＣＰＵにとっての負荷の増大となり、処理時間が長くなる問題があった。特に、ディジタルスチルカメラ、携帯電話、携帯情報端末のようなモバイル機器に組み込まれたマイクロコンピュータの処理能力は、それほど高くなく、精度を落とさないで短時間に顔検出を行うことが困難であった。
【００１０】
一方で、実際に人物を撮影したスナップ写真の場合では、被写体として撮影された顔領域の位置にはある程度の傾向や偏りが存在する。写真の主題となる被写体の顔の場合では、撮影画像の中心付近に存在することが多い。しかしながら、顔検出処理は、画像全体に対してなされるので、本来は検出が不要な顔、たまたま撮影されてしまった顔等が検出されてしまう問題があった。顔領域検出の結果に基づいて画像ファイルに対し検索処理を行う等のアプリケーションが可能であるが、上述したような意図しない顔領域が検出されてしまうと、検索結果が誤るような不都合が生じる。
【００１１】
したがって、この発明の目的は、検出精度を下げることなく、顔領域検出のための処理時間を短縮化することが可能な画像処理装置、画像処理方法および撮像装置を提供することにある。
【課題を解決するための手段】
【００１２】
上述した課題を解決するために、この発明は、対象画像を取得する画像取得手段と、探索窓のサイズを設定する探索窓サイズ設定手段と、探索窓の設定されたサイズをしきい値と比較し、サイズがしきい値以下の場合に対象画像において探索範囲を対象画像の全域より小さく、対象画像の中央付近を含む範囲に設定する探索範囲設定手段と、設定された探索範囲内で設定されたサイズの探索窓を移動させる走査手段と、各走査位置の探索窓の画像から顔領域か否かを判定する顔領域判定手段と、顔領域判定手段の判定結果から得られた顔領域の情報を出力する顔情報出力手段とを備えた画像処理装置である。
【００１３】
また、第２の発明は、対象画像を取得する画像取得ステップと、探索窓のサイズを設定する探索窓サイズ設定ステップと、探索窓の設定されたサイズをしきい値と比較し、サイズがしきい値以下の場合に対象画像において探索範囲を対象画像の全域より小さく、対象画像の中央付近を含む範囲に設定する探索範囲設定ステップと、設定された探索範囲内で設定されたサイズの探索窓を移動させる走査ステップと、各走査位置の探索窓の画像から顔領域か否かを判定する顔領域判定ステップと、顔領域判定ステップの判定結果から得られた顔領域の情報を出力する顔情報出力ステップとを備えた画像処理方法である。
【００１４】
この発明は、被写体画像を取得するカメラ部と、撮像手段からの撮像信号に対して信号処理を行うカメラ信号処理部と、撮像信号を蓄積する記憶部と、撮像装置の動作を制御する制御部とを備え、制御部は、探索窓のサイズを設定する探索窓サイズ設定部と、探索窓の設定されたサイズをしきい値と比較し、サイズがしきい値以下の場合に対象画像において探索範囲を対象画像の全域より小さく、対象画像の中央付近を含む範囲に設定する探索範囲設定部と、設定された探索範囲内で設定されたサイズの探索窓を移動させる走査部と、各走査位置の探索窓の画像から顔領域か否かを判定する顔領域判定部と、顔領域判定部の判定結果から得られた顔領域の情報を出力する顔情報出力部とを備えた撮像装置である。
【発明の効果】
【００１５】
この発明によれば、顔領域の探索範囲を対象画像の全域よりも狭い範囲に制限するので、顔領域検出処理に要する演算量を減少し、処理時間を短縮化できる。探索範囲は、探索窓が比較的小さいサイズの場合に制限されるので、写真の主題とされるような大きな顔の検出抜けが生ぜず、検出精度の低下を防止できる。
【発明を実施するための最良の形態】
【００１６】
以下、図面を参照しながらこの発明の一実施の形態について説明する。この一実施の形態は、撮像装置であり、図１に示す構成を有している。撮像装置は、カメラ部１と、カメラＤＳＰ（Digital Signal Processor）２と、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）３と、媒体インターフェース（以下、媒体Ｉ／Ｆという。）４と、制御部５と、操作部６と、ＬＣＤ（Liquid Crystal Display）コントローラ７と、ＬＣＤ８と、外部インターフェース（以下、外部Ｉ／Ｆという。）９からなり、記録媒体１０が着脱可能とされている。
【００１７】
記録媒体１０は、例えば半導体メモリーを用いたいわゆるメモリーカードである。メモリカード以外に、ハード・ディスク装置、記録可能なＤＶＤ（Digital Versatile Disc）や記録可能なＣＤ（Compact Disc）等の光記録媒体、磁気ディスクなどを用いることができる。
【００１８】
カメラ部１は、光学ブロック１１、ＣＣＤ（Charge Coupled Device）１２、前処理回
路１３、光学ブロック用ドライバ１４、ＣＣＤ用ドライバ１５、タイミング生成回路１６とを備えたものである。ここで、光学ブロック１１は、レンズ、フォーカス機構、シャッター機構、絞り（アイリス）機構などを備えている。
【００１９】
制御部５は、ＣＰＵ（Central Processing Unit）５１、ＲＡＭ（Random Access Memory）５２、フラッシュＲＯＭ（Read Only Memory）５３、時計回路５４が、システムバス
５５を通じて接続されて構成されたマイクロコンピュータであり、この一実施の形態の撮像装置の各部を制御する。ＲＡＭ５２は、処理の途中結果を一時記憶するなど主に作業領域として用いられるものである。フラッシュＲＯＭ５３は、ＣＰＵ５１において実行する種々のプログラムや、処理に必要になるデータなどが記憶されたものである。時計回路５４は、現在年月日、現在曜日、現在時刻、撮影日時などを提供する。
【００２０】
撮影時においては、光学ブロック用ドライバ１４は、制御部５からの制御に応じて、光学ブロック１１を動作させるための駆動信号を形成し、駆動信号を光学ブロック１１に供給して、光学ブロック１１を動作させる。光学ブロック１１では、ドライバ１４からの駆動信号に応じて、フォーカス機構、シャッター機構、絞り機構が制御され、被写体像が取り込まれ、被写体像がＣＣＤ１２に対して提供される。
【００２１】
ＣＣＤ１２は、光学ブロック１１からの被写体像を光電変換して出力する。ＣＣＤドライバ１５からの駆動信号に応じてＣＣＤ１２が動作し、被写体像が取り込まれ、制御部５によって制御されるタイミング生成回路１６からのタイミング信号に基づいて、取り込まれた被写体の画像が電気信号として前処理回路１３に供給される。
【００２２】
なお、上述したように、タイミング生成回路１６は、制御部５からの制御に応じて、所定のタイミングを提供するタイミング信号を形成する。また、ＣＣＤドライバ１５は、タイミング生成回路１６からのタイミング信号に基づいて、ＣＣＤ１２に供給する駆動信号を形成する。
【００２３】
前処理回路１３は、供給された撮像信号に対して、ＣＤＳ（Correlated Double Sampling）処理を行って、Ｓ／Ｎ比を良好にし、ＡＧＣ（Automatic Gain Control）処理を行って、利得を制御し、そして、Ａ／Ｄ（Analog/Digital）変換によって、デジタル信号とされた撮像データを形成する。
【００２４】
前処理回路１３からのデジタル撮像データがＤＳＰ２に供給される。ＤＳＰ２は、撮像データに対して、ＡＦ（Auto Focus）、ＡＥ（Auto Exposure）、ＡＷＢ（Auto White Balance）などのカメラ信号処理を施す。カメラ信号処理がなされた画像データが所定の圧
縮方式でデータ圧縮され、システムバス５５、媒体Ｉ／Ｆ４を通じて装填された記録媒体１０に供給され、記録媒体１０に画像ファイルとして記録される。
【００２５】
また、記録媒体１０に記録された画像データは、タッチパネルやコントロールキーなどからなる操作部６を通じて受け付けたユーザーからの操作入力に応じて、目的とする画像データが媒体Ｉ／Ｆ４を通じて記録媒体１０から読み出され、これがＤＳＰ２に供給される。
【００２６】
ＤＳＰ２は、記録媒体１０から読み出され、媒体Ｉ／Ｆ４を通じて供給された圧縮されている画像データに関して、その圧縮の解凍処理（伸張処理）を行い、解凍後の画像データをシステムバス５５を通じて、ＬＣＤコントローラ７に供給する。ＬＣＤコントローラ７は、画像データからＬＣＤ８に供給する表示画像信号を形成し、表示画像信号をＬＣＤ８に供給する。これにより、記録媒体１０に記録されている画像データに応じた画像がＬＣＤ８の画面に表示される。
【００２７】
なお、画像の表示の形態は、ＲＯＭに記録された表示処理プログラムに従う。つまり、この表示処理プログラムは後述するファイルシステムがどのような仕組みで記録されているのか、どのように画像を再生するのかというプログラムである。
【００２８】
また、撮像装置には、外部Ｉ／Ｆ９が設けられている。この外部Ｉ／Ｆ９を通じて、例えば外部のパーソナルコンピュータが接続され、パーソナルコンピュータから画像データの供給を受けて、これを自身に装填された記録媒体に記録したり、また、自身に装填された記録媒体に記録されている画像データを外部のパーソナルコンピュータに供給することが可能とされている。
【００２９】
また、外部Ｉ／Ｆ９に通信モジュールを接続することにより、例えば、インターネットなどのネットワークと接続して、ネットワークを通じて種々の画像データやその他の情報を取得し、自身に装填された記録媒体に記録したり、あるいは、自身に装填された記録媒体に記録されているデータを、ネットワークを通じて目的とする相手先に送信することが可能とされている。
【００３０】
また、外部のパーソナルコンピュータやネットワークを通じて取得し、記録媒体に記録した画像データなどの情報についても、上述したように、読み出して再生し、ＬＣＤ８に表示することが可能とされている。
【００３１】
なお、外部Ｉ／Ｆ９は、ＩＥＥＥ（Institute of Electrical and Electronics Engineers）１３９４、ＵＳＢ（Universal Serial Bus）などの有線用インターフェースとして
設けることも可能であるし、光や電波による無線インターフェースとして設けることも可能である。すなわち、外部Ｉ／Ｆ９は、有線、無線のいずれのインターフェースであってもよい。
【００３２】
上述したように、一実施の形態の撮像装置は、被写体の画像を撮影して、撮影画像を装填された記録媒体に記録することができ、また、記録媒体に記録された画像データを読み出して、画像データを再生し、利用することができる。また、外部のパーソナルコンピュータやネットワークを通じて、画像データの提供を受けて、これを自身に装填された記録媒体に記録したり、また、読み出して再生したりすることもできるものである。
【００３３】
制御部（マイクロコンピュータ）５において顔検出処理がなされる。図２は、制御部５による顔検出処理をブロック図として表現した機能ブロック図を示す。なお、顔検出装置を撮像装置とは別に写真を閲覧するような画像処理装置として構成することもできる。
【００３４】
図２において、参照符号１０１が画像データ読み込み部であり、画像データ読み込み部１０１がストレージ１０２に蓄積されている画像データ中の所定の画像ファイルをメモリ例えば作業用のＲＡＭに読み込む。ストレージ１０２は、例えば記録媒体１０に対応するものである。また、蓄積されている画像ファイルに限らず、図２において破線で示すように、撮像部１０９から現在撮影中の画像のようなリアルタイム画像データの顔検出に対してもこの発明を適用することができる。画像データ読み込み部１０１によって読み込まれた画像データが画像内探索制御部１０３に引き渡される。
【００３５】
画像内探索制御部１０３に対して、探索窓サイズ決定部１０４からの探索窓サイズの指定情報が与えられると共に、探索範囲決定部１０５からの探索範囲の指定情報が与えられる。画像内探索制御部１０３は、これらの指定情報に基づいて指定された探索範囲において、指定されたサイズの探索窓でもって、画像をラスター走査と同様に走査する。すなわち、探索範囲の左上コーナから水平方向に探索窓が所定の移動量で移動され、探索範囲の右端に到達すると、左端に戻ると共に、所定の量、下方に探索窓の位置が変更され、水平方向に走査がなされる。この動作が繰り返され、指定された探索範囲が走査される。水平方向および垂直方向の１ステップ当たりの移動量（ｍ画素）は、探索窓のサイズにほぼ比例することが好ましく、例えば探索窓の１辺の１／１０程度に設定される。
【００３６】
画像内探索制御部１０３によって探索範囲が走査されることで得られる各探索窓部分の画像である各部分画像に顔領域が存在するか否かが顔領域判定部１０６において判定される。顔領域判定方法としては、背景技術の項で述べた既存の方法を使用できる。一つの画像ファイル中に複数の顔領域が存在する場合には、複数の部分画像において、顔領域が検出される。その場合には、その画像ファイルの分類ラベル情報（以下、メタデータと適宜称する）として映っている顔領域の数の情報が記録される。メタデータとは、それぞれの画像ファイルの属性を記述するデータのことであり、画像ファイルと関連付けてメタデータが顔情報データベース１０８に保存される。なお、顔情報データベース１０８にはメタデータのみを記憶しているが、記憶容量の増大が許容されるならば顔領域の画像またはその縮小画像も記憶しても良い。また、顔領域判定によって、顔領域の数以外に下記のものをメタデータとして抽出しても良い。
【００３７】
それぞれの顔領域の画像中での位置
それぞれの顔領域の大きさ
それぞれの顔領域において顔の向いている方向
【００３８】
顔領域判定部１０６において、顔領域が存在すると判定された場合には、メタデータ例えば顔領域の数のデータが画像内探索制御部１０３を通じて顔データベース書き出し部１０７に引き渡される。顔データベース書き出し部１０７は、顔情報データベース１０８に対してメタデータを書き出すものである。顔情報データベース１０８は、顔情報のメタデータのみが蓄積されたデータベースである。メタデータは、対応する画像ファイルと関連付けをもって保持される。顔情報データベース１０８は、ストレージ１０２、または他のメモリ上に構築される。
【００３９】
図２は、顔情報データベース１０８を構築するまでの処理に対応する機能ブロック図である。さらに、図示を省略するが、顔情報データベース１０８に蓄積されている顔情報のメタデータを利用した種々のアプリケーションが可能である。例えばユーザが指定した数の顔領域が存在する画像ファイルを検索することができる。また、顔領域の数に応じて画像ファイルをソートすることも可能である。さらに、撮影中のリアルタイム画像から顔領域を検出し、顔領域にフォーカスが合うようなオートフォーカス動作を行ったり、顔領域の露出が適正となるように自動露光処理を行うこともできる。
【００４０】
従来では、想定しうる全ての顔領域の大きさに関して探索窓をそれぞれ設定し、各探索窓が対象画像の全域を走査するために、顔領域の検出のための処理時間が長くなる問題があった。この発明の一実施の形態では、顔領域を探索する際に、対象画像中の探索範囲を予め求められている顔存在領域内に制限することによって処理の高速化が図られる。顔存在領域とは、画像全域の中で、被写体の顔領域が存在する確率の高い領域を意味する。最大の顔存在領域は、対象画像の全域（全範囲）と一致したものである。
【００４１】
顔存在領域を設定する方法としては、ハードウェアの処理能力等に応じて固定的に設定する方法と、実際に撮影された写真等の画像データに対して統計的処理を施して推定する方法とが可能である。固定的な設定方法は、例えば画像の中央付近を含み、画像全体の面積の１／２程度になるように、顔存在領域が設定される。
【００４２】
なお、以下の説明では、１種類の顔存在領域が設定されるものとしているが、互いに異なるサイズの２種類以上の顔存在領域を設定することもできる。また、撮影時のカメラの向き（縦／横）に応じて顔存在領域を切り替えても良い。さらに、ポートレート撮影モード、風景撮影モード等の撮影モードに応じて顔存在領域を切り替えるようにしても良い。ポートレート撮影モードの時は、中心付近を重視し、風景撮影モードの時は、周辺部にも被写体を顔が存在する可能性が高いことを考慮する必要がある。何れの方法においても、画像のほぼ中心付近が顔存在領域に含まれることが望ましい。
【００４３】
一例として、統計的手法で顔存在領域を推定する方法について説明する。顔存在領域の推定処理は、図２に示す顔検出装置の初期設定処理としてなされたり、顔検出装置とは別の装置例えばパーソナルコンピュータによる別の処理としてなされる。推定の結果得られた顔存在領域が汎用性のあるデータとして顔検出装置に対して適用される。複数枚例えば数百枚程度の画像群を使用して顔存在領域が推定される。画像群のそれぞれの画像で顔が映っている顔領域の中心位置をプロットすることによって画像群内での顔の存在する位置の分布図が得られる。なお、顔領域の検出方法としては、顔検出装置における処理と同様のもの、または、他の方法が使用される。例えば画面を見ながらマウス等の入力装置を操作して中心位置のプロットを行っても良い。
【００４４】
画像群の中の一枚の画像の例（集合写真）を図３示す。顔領域の検出がなされ、検出された各顔領域の中心位置がプロットされる。図４は、例えば８００枚の画像群から得られた顔の分布図の一例である。顔分布図を使用して顔存在領域が推定される。推定方法の一例は、少なくともプロットが存在する範囲を含む分布図を等しい大きさの単位（ブロックと称する）に分割し、各ブロック当たりの顔の存在数をしきい値処理し、しきい値以上の存在数のブロックを顔存在領域とする。図３および図４において、破線で示す矩形領域が推定された顔存在領域を示す。
【００４５】
また、画像内の顔の存在する部分に一定の重み（単純には、＋１）を付け、画像内で全ての顔領域に関して、位置毎に重みを積算してヒストグラムを求め、その中の頻度をしきい値処理して得られたエリアを矩形近似する他の推定方法を使用しても良い。さらに、分布図におけるプロットした各点についてその一定半径内の近傍の他のプロット点が存在した場合にスコアを加算し、そのスコアの分布に対してしきい値処理を施して得られたエリアを矩形近似する方法が可能である。
【００４６】
このように推定された顔存在領域の情報が図２に示す顔検出装置の探索範囲決定部１０５にデータとして保持されている。保持用のメモリとしては、不揮発性メモリが使用される。そして、探索窓のサイズが所定のしきい値より小さい場合には、顔存在領域内でのみ、顔領域の検出処理がなされる。
【００４７】
探索窓のサイズ、すなわち、検出しようとする顔の大きさによって顔存在領域を変更するのは、画像の主題となりうる被写体の顔領域の検出抜けを極力防止するためである。例えば検出しようとする顔の大きさ（探索窓のサイズ）が比較的小さい場合には、顔領域の探索範囲を顔存在領域に制限し、逆に、検出しようとする顔の大きさ（探索窓のサイズ）が比較的大きい場合には、顔領域の探索範囲を顔存在領域に制限しないで、画像全域とする。
【００４８】
写真の場合では、比較的大きな顔で撮影されている人物は、その写真において重要な被写体であることが多い傾向があり、大きい探索窓を設定している場合では、探索範囲を顔存在領域に制限しない方が好ましい。逆に、小さい探索窓が設定され、小さな顔領域を検出する場合には、その被写体の占める重要度が比較的低いので、探索範囲を顔存在領域に制限しても重要な被写体の顔を検出しない可能性が低い。例えば図３に示すような集合写真の場合では、各人の顔領域のサイズが小さくなり、また、顔が画像の周辺部に存在する確率が低くなる。
【００４９】
しかも、顔検出処理において、１枚の画像を処理するのに必要とされる演算量は、探索窓が小さいほど増大するので、探索窓が小さい場合に探索範囲を制限することによる演算量の削減効果は、探索窓が大きい場合に比して大きい。このような観点から探索窓が大きい場合には、画像全体に対して顔領域の検出を行い、探索窓が小さい場合には、顔存在領域においてのみ顔領域の検出を行い、重要な顔領域の検出抜けを防止しつつ、処理に必要な演算量を減少させ、処理時間を短縮化している。
【００５０】
図５は、図２に示す機能ブロック図の構成によって実行される顔領域検出処理の流れを示すフローチャートである。最初のステップＳ１において、探索窓（図５では、単に窓と表記する）のサイズが初期値に設定される。例えば用意されている複数のサイズの中の最小のサイズが初期値として設定される。図２における探索窓サイズ決定部１０４によって探索窓のサイズが設定される。
【００５１】
比較ステップＳ２において、探索窓のサイズが所定サイズ以下か否かが判定される。所定サイズがしきい値である。比較ステップＳ２の判定結果が否定（ＮＯ）であれば、処理がステップＳ４に移る。ステップＳ４では、探索窓の最初の位置が決定される。比較ステップＳ２の判定結果が肯定（ＹＥＳ）であれば、ステップＳ３において探索範囲が顔存在領域に制限される。比較ステップＳ２およびステップＳ３は、探索範囲決定部１０５の処理であり、顔存在領域は、予め求められ、探索範囲決定部１０５に保持されている。
【００５２】
ステップＳ４における探索窓の走査開始位置は、探索範囲が制限されない場合には、画像全域の例えば左上コーナー位置とされ、ステップＳ３において探索範囲が制限される場合には、顔存在領域の例えば左上コーナー位置とされる。開始位置は、これ以外にも任意の位置に設定可能であり、走査の態様も上述したラスター走査に限らず、中心から開始して周囲に向かう方向の走査等が可能である。
【００５３】
ステップＳ５では、探索窓内の部分画像の画素値が取得される。カラー画像の場合、輝度値が画素値として取得される。取得された部分画像の画素値に対して判定ステップＳ６において、顔領域か否かの判定がなされる。顔領域判定部１０６によって判定ステップＳ６の処理がなされる。顔領域と判定されると、ステップＳ７において、顔領域のメタデータが出力される。メタデータは、例えば顔領域の個数であり、その場合には、ステップＳ７において顔領域の個数のカウンタがインクリメントされる。メタデータが画像内探索制御部１０３に保持される。
【００５４】
ステップＳ７の処理後、または判定ステップＳ６の判定結果が否定の場合には、判定ステップＳ８において、画像全体を調べたか否かが判定される。判定ステップＳ８において、画像全体を調べていないと判定されると、処理がステップＳ９に移り、探索窓が次の位置に移動される。そして、処理がステップＳ５（探索窓内の画素値の取得）に戻る。
【００５５】
新たな探索窓に関して、ステップＳ５、ステップＳ６、ステップＳ７、ステップＳ８が繰り返し行われる。そして、ある一つのサイズの探索窓による顔領域検出処理が終了すると、判定ステップＳ８（画像全体を調べたか否かの判定）の結果が肯定となり、処理が判定ステップＳ１０に移る。判定ステップ１０は、全てのサイズの探索窓について顔領域の検出がなされたか否かを判定する。
【００５６】
全てのサイズの探索窓についての判定が終了していない場合には、ステップＳ１１において、探索窓のサイズが次の段階のもの例えばより大きなサイズに変更される。そして、処理が判定ステップＳ２（探索窓のサイズのしきい値判定）に戻る。新たに設定された探索窓のサイズがしきい値より大きい場合には、探索範囲が制限されず、探索窓のサイズがしきい値以下の場合には、探索範囲が顔存在領域に制限される。その後は、新たに設定された探索窓によって、探索範囲において顔領域の検出処理がなされる。
【００５７】
判定ステップＳ１０の判定結果が肯定、すなわち、全てのサイズの探索窓について顔領域検出が終了したものと判定されると、ステップＳ１２において、顔情報（メタデータ）が出力される。図２における画像内探索部１０３から顔データベース書き出し部１０７に対して顔情報が引き渡される。引き渡されたメタデータは、顔情報データベース１０８に蓄積される。
【００５８】
図５のフローチャートにおける判定ステップＳ２、並びに判定結果に応じて選択的になされる探索範囲の制限処理のステップＳ３がこの発明の一実施の形態の特徴とする処理である。探索窓がしきい値以下の場合には、探索範囲が顔存在領域に制限されるので、顔領域の検出のための演算量を減少でき、処理時間を短縮化できる。なお、探索窓を動的に変化させるのに限らず、ユーザが検出する顔の大きさ（探索窓のサイズ）の設定を行った場合に、設定値に応じて探索範囲を制御することも可能である。
【００５９】
以上、この発明の一実施の形態について具体的に説明したが、この発明は、上述した一実施の形態に限定されるものではなく、この発明の技術的思想に基づく各種の変形が可能である。例えばこの発明は、携帯機器に適用して好適であるが、携帯機器に限らず、据え置き型の機器例えば撮影画像を閲覧するためのビューワーにも適用することができる。さらに、この発明は、図５に示すような処理をプログラムとしてパーソナルコンピュータにインストールして顔検出装置を実現することもできる。また、処理内容を記述したプログラムは、磁気記録装置、光ディスク、光磁気ディスク、半導体メモリ等のコンピュータが読み取り可能な記録媒体に記録しておくことができる。
【図面の簡単な説明】
【００６０】
【図１】この発明の一実施の形態における撮影装置の構成の一例を示すブロック図である。
【図２】この発明の一実施の形態における顔検出装置の機能ブロック図である。
【図３】この発明の一実施の形態における顔存在領域の説明に用いる略線図である。
【図４】この発明の一実施の形態における顔分布図の説明に用いる略線図である。
【図５】この発明の一実施の形態における顔検出処理の流れを示すフローチャートである。
【図６】顔検出処理における探索窓の走査を説明するための略線図である。
【符号の説明】
【００６１】
１    カメラ部
２    カメラＤＳＰ
５    制御部
８    ＬＣＤ
１０  記録媒体
１１  光学ブロック
１２  ＣＣＤ
５１  ＣＰＵ
１０１  画像データ読み込み部
１０３  画像内探索制御部
１０４  探索窓サイズ決定部
１０５  探索範囲決定部
１０６  顔領域判定部
１０８  顔情報データベース
【図１】
0004539597.tif 000002
【図２】
0004539597.tif 000003
【図３】
0004539597.tif 000004
【図５】
0004539597.tif 000005
【図６】
0004539597.tif 000006
【図４】
0004539597.tif 000007