(57)【要約】【課題】顔領域が暗い場合や白飛びしている場合、コントラストが弱い場合でも、顔検出が正しく行えるようにすること。【解決手段】探索領域設定部８１により、処理対象画像ＰＩに顔検出処理の対象領域として探索領域ｆｒａｍｅ１を設定し、輝度値の最大値及び最小値算出回路５１Ａにより、上記探索領域の画像信号の特徴を抽出する。そして、階調変換回路５４Ａにより、上記探索領域の画像信号に対して、上記抽出された特徴に応じた階調変換を行い、顔検出回路５６Ａによって、その階調変換を行った画像信号に基づいて顔領域を検出する。【選択図】図１
2008283573.tif 000002
【特許請求の範囲】
【請求項１】
処理対象画像の画像信号に対して顔検出を行う画像処理装置において、
前記処理対象画像に顔検出処理の対象領域を設定する対象領域設定手段と、
前記対象領域設定手段によって設定された対象領域の画像信号の特徴を抽出する特徴抽出手段と、
前記対象領域設定手段によって設定された対象領域の画像信号に対して、前記特徴抽出手段によって抽出された特徴に応じた階調変換を行う階調変換手段と、
前記階調変換手段によって階調変換を行った画像信号に基づいて顔領域を検出する顔検出手段と、
を具備することを特徴とする画像処理装置。
【請求項２】
前記顔検出手段は、前記階調変換手段によって前記階調変換を行った対象領域毎に顔領域を検出することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記対象領域設定手段は、前記対象領域を前記移動設定する対象領域移動手段を有することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記対象領域設定手段は、前記処理対象画像を複数に分割したそれぞれの領域を前記対象領域として設定することを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記処理対象画像の複数の分割は、サイズの異なる対象領域を得る分割であり、
前記対象領域設定手段は、各サイズ毎の分割したそれぞれの領域を前記対象領域として設定することを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記特徴抽出手段は、前記対象領域設定手段によって設定された対象領域の画素の輝度値から最大値及び最小値を算出する算出手段を有し、
前記階調変換手段は、
前記算出手段によって算出された前記対象領域の画素の輝度値の最大値及び最小値の関係に応じて、予め設定された階調変換曲線の中から、階調変換に使用する階調変換曲線を選定する階調変換曲線選定手段と、
前記階調変換曲線選定手段によって選定された階調変換曲線を用いて階調変換処理を行う変換手段と、
を有することを特徴とする請求項１乃至５の何れかに記載の画像処理装置。
【請求項７】
前記階調変換曲線選定手段は、前記対象領域内の輝度値の最大値と最小値の差及び最大値あるいは最小値の値に応じて、予め設定された階調変換曲線を選定することを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記階調変換手段は、前記顔検出手段によって顔が検出されない場合、前記対象領域の画像信号に対して別の階調変換を行い、再度前記顔検出手段に顔検出を行わせることを特徴とする請求項１乃至５に記載の画像処理装置。
【請求項９】
前記階調変換手段は、前記顔検出手段によって顔が検出された時点で、当該対象領域の画像信号に対する階調変換処理を終了とすることを特徴する請求項２または３に記載の画像処理装置。
【請求項１０】
前記顔検出手段は、前記階調変換を行った画像信号に対してさらに分散を正規化する正規化手段を有し、前記正規化した画像信号を用いて前記顔領域を検出することを特徴とする請求項１乃至９の何れかに記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、特に、処理対象画像の画像信号に対して顔検出を行う画像処理装置に関する。
【背景技術】
【０００２】
特許文献１では、デジタルカメラで撮影したデジタル画像に対して人物の顔検出を行い、検出された領域を優先して露出補正や階調補正を行っている。
【０００３】
特許文献２では、顔検出の対象となる判別対象画像に対して、各局所領域について輝度階調変換を行う正規化処理を施すことでコントラストのばらつきを抑制した後、顔検出を行っている。
【０００４】
特許文献３では、顔検出の対象となる領域の画像信号に異なるデジタルゲインをかけて輝度レベルの異なる画像信号を複数枚作成し、上記輝度レベルの異なる画像信号に対して顔検出を行うことで逆光などの撮影シーンの影響による顔検出の精度の低下を軽減している。
【特許文献１】特開２００６−２１７２７７号公報
【特許文献２】特開２００６−３０９７１４号公報
【特許文献３】特開２００６−１２７４８９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
照度不足や逆光などが原因で顔領域が暗い場合や直射日光などが原因で顔領域が白飛びしている場合、また上記のような明るさが原因ではなく顔領域のコントラストが弱い場合などで、顔検出が正しく行われないことがある。
【０００６】
本発明は、上記の点に鑑みてなされたもので、顔領域が暗い場合や白飛びしている場合、コントラストが弱い場合でも、顔検出が正しく行える画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の画像処理装置の一態様は、処理対象画像の画像信号に対して顔検出を行う画像処理装置において、
上記処理対象画像に顔検出処理の対象領域を設定する対象領域設定手段と、
上記対象領域設定手段によって設定された対象領域の画像信号の特徴を抽出する特徴抽出手段と、
上記対象領域設定手段によって設定された対象領域の画像信号に対して、上記特徴抽出手段によって抽出された特徴に応じた階調変換を行う階調変換手段と、
上記階調変換手段によって階調変換を行った画像信号に基づいて顔領域を検出する顔検出手段と、
を具備することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、顔検出を行う前に対象領域の画像信号の特徴を抽出し、その特徴に応じて即ち状況に応じて画像信号の階調変換を行うことにより、顔検出に最適な階調変換を行うことができるので、顔領域が暗い場合や白飛びしている場合、コントラストが弱い場合でも、顔検出が正しく行える画像処理装置を提供することができる。
【発明を実施するための最良の形態】
【０００９】
以下、本発明を実施するための最良の形態を図面を参照して説明する。
【００１０】
［第１実施形態］
図１（Ａ）は、本発明の第１実施形態に係る画像処理装置が適用された撮像装置の処理系の構成を示す図である。
【００１１】
この撮像装置において、撮像部１は、レンズ系１１、絞り１２、ＣＣＤ１３を含む。この撮像部１のＣＣＤ１３で撮影された画像は、Ａ／Ｄ変換器２でデジタル信号に変換される。このＡ／Ｄ変換器２からのデジタル信号に変換された画像信号は、信号処理回路３へ入力されてノイズ低減処理が施された後、メモリ４へ処理対象画像の画像信号として記憶される。このメモリ４に記憶された画像信号は、探索領域の顔検出回路５Ａへ入力される。探索領域の顔検出回路５Ａは、上記メモリ４から入力された画像信号から特徴を抽出し、その抽出した特徴に応じて、上記メモリ４から入力された画像信号に対して階調変換を行い、その階調変換した画像信号から顔検出を行う。この顔検出結果は画像合成回路６に入力される。画像合成回路６には、上記メモリ４から画像信号も入力される。この画像合成回路６は、上記メモリ４から入力された画像信号に、上記探索領域の顔検出回路５Ａから入力された顔検出結果を合成するものであり、例えば顔と検出された位置に枠の画像を合成する。この顔検出結果が合成された画像信号は、メモリーカードや表示素子などの出力部７へ入力される。またＡ／Ｄ変換器２、信号処理回路３、探索領域の顔検出回路５Ａ、画像合成回路６及び出力部７は、ＣＰＵ８で制御される。
【００１２】
なお、ＣＰＵ８は、上記顔検出結果を用いて、顔と検出された位置にピントが合うように撮像部１のレンズ系１１のフォーカス調整を行えることは言うまでもない。
【００１３】
次に、図１（Ｂ）を参照して上記探索領域の顔検出回路５Ａの詳細を説明する。  
探索領域の顔検出回路５Ａは、輝度値の最大値及び最小値算出回路５１Ａ、輝度値の最大値と最小値の差の算出回路５２Ａ、階調変換曲線選定回路５３Ａ、階調変換回路５４Ａ、ＬＵＴ５５Ａ、及び顔検出回路５６Ａから構成されている。
【００１４】
輝度値の最大値及び最小値算出回路５１Ａは、上記メモリ４から処理対象画像における探索領域の画像信号を読み出し、該探索領域の輝度値の最大値及び最小値を算出する。ここで、探索領域は、ＣＰＵ８（探索領域設定部８１）によって設定されるもので、図１（Ｃ）に示すように、処理対象画像ＰＩに対して所定のサイズを有している。探索領域設定部８１は、この探索領域ｆｒａｍｅ１を、処理対象画像ＰＩの左上から右下に向かって順に移動するよう設定する。その移動量は、１画素単位でも良いし、所定画素分だけ重なりを持って移動しても良い。
【００１５】
この輝度値の最大値及び最小値算出回路５１Ａで算出された輝度値の最大値及び最小値は、輝度値の最大値と最小値の差の算出回路５２Ａへ入力されると共に、階調変換曲線選定回路５３Ａへも入力される。輝度値の最大値と最小値の差の算出回路５２Ａは、入力された輝度値の最大値と最小値との差を算出し、その算出した差の値を階調変換曲線選定回路５３Ａに入力する。階調変換曲線選定回路５３Ａは、輝度値の最大値及び最小値算出回路５１Ａから入力された輝度値の最大値及び最小値と、輝度値の最大値と最小値の差の算出回路５２Ａから入力された輝度値の最大値と最小値との差の値とに基づいて、予め設定された階調変換曲線の中から、階調変換に使用する階調変換曲線を選定する。そして、その選定結果を階調変換回路５４Ａに入力する。
【００１６】
ここで、予め複数の階調変換曲線がＬＵＴ５５Ａの形態で提供されており、階調変換回路５４Ａは、上記メモリ４から読み出した処理対象画像ＰＩにおける上記探索領域ｆｒａｍｅ１の画像信号の各画素の階調値を、上記選定された階調変換曲線に相当するＬＵＴ５５Ａに与え、該ＬＵＴ５５Ａからその階調値に対応する変換された階調値を取得する。こうして階調変換された探索領域ｆｒａｍｅ１の画像信号は、顔検出回路５６Ａに入力される。顔検出回路５６Ａでは、その入力された階調変換後の画像信号に対してさらに輝度値の分散を正規化した画像信号から顔検出を行う。
【００１７】
次に、図２（Ａ）を参照して全体処理の流れを説明する。  
この処理は、例えば、図示しない２段式のシャッタボタンの１段目の押下に応じて開始するものである。
【００１８】
即ち、まず、信号処理回路３において、撮像部１で撮影した処理対象画像ＰＩの画像信号に対して、前処理としてノイズ低減処理を行った後（ステップＳ１）、探索領域設定部８１により、上記ノイズ低減処理した画像信号に探索領域ｆｒａｍｅ１を設定する（ステップＳ２）。
【００１９】
次に、探索領域の顔検出回路５Ａにより、探索領域ｆｒａｍｅ１の各画素の輝度値Ｉ（ｘ，ｙ）を抽出する（ステップＳ３）。そして、上記輝度値Ｉ（ｘ，ｙ）に応じて階調変換処理を行った後、顔検出処理を行う（ステップＳ４）。その後、階調変換処理及び顔検出処理が、処理対象画像ＰＩの全画面に対して行われたか否かを判定し（ステップＳ５）、まだ全画面を終了していない場合には上記ステップＳ２に戻り、探索領域ｆｒａｍｅ１を移動設定して、上記の処理を繰り返す。
【００２０】
而して、処理対象画像ＰＩの全画面に対して階調変換処理及び顔検出処理を終了したならば、画像合成回路６によって、顔検出結果を処理対象画像ＰＩに合成して（ステップＳ６）、メモリーカードや表示素子などの出力部７へ出力する。
【００２１】
次に、上記ステップＳ４で実施される階調変換及び顔検出処理の流れを、図２（Ｂ）を参照して説明する。
【００２２】
まず、上記ステップＳ３で抽出された上記探索領域ｆｒａｍｅ１の各画素の輝度値Ｉ（ｘ，ｙ）から、輝度値の最大値及び最小値算出回路５１Ａにより探索領域ｆｒａｍｅ１の輝度値の最大値Ｉｍａｘ及び最小値Ｉｍｉｎを算出する（ステップＳ４１）。次に、輝度値の最大値と最小値の差の算出回路５２Ａにより、上記探索領域ｆｒａｍｅ１の輝度値の最大値Ｉｍａｘと最小値Ｉｍｉｎの差ｄを算出する（ステップＳ４２）。そして、それら算出した、探索領域ｆｒａｍｅ１の最大値Ｉｍａｘと最小値Ｉｍｉｎの差ｄ及び探索領域ｆｒａｍｅ１の輝度値の最小値Ｉｍｉｎの値に応じて、階調変換曲線群を図４Ａ〜４Ｅに示す階調変換曲線群Ａ〜Ｅより選定する（ステップＳ４３）。
【００２３】
その後、階調変換回路５４Ａによって、上記選定された階調変換曲線群の階調変換曲線を用いて上記探索領域ｆｒａｍｅ１の階調変換を行った後（ステップＳ４４）、顔検出回路５６Ａにより、上記探索領域ｆｒａｍｅ１の顔検出処理を行い（ステップＳ４５）、顔があるか否かを判定する（ステップＳ４６）。
【００２４】
ここで、顔がないと判定した場合には、上記ステップＳ４４に戻り、上記選定した階調変換曲線群の別の階調変換曲線を用いて探索領域ｆｒａｍｅ１の階調変換を行う。
【００２５】
而して、上記ステップＳ４６で顔があると判定した場合には、該階調変換処理及び顔検出処理を終了して、上位のルーチンに戻る。
【００２６】
次に、図３（Ａ）を参照して、上記階調変換曲線選定回路５３Ａによる上記ステップＳ４３の階調変換曲線群の選定処理の詳細を説明する。ここでは、Ｔｈａ及びＴｈｂを輝度値の閾値とし、輝度値を０〜２５５の２５６階調として説明する。
【００２７】
即ち、まず、上記探索領域ｆｒａｍｅ１の輝度値の最大値Ｉｍａｘと最小値Ｉｍｉｎの差ｄが閾値Ｔｈａより小さい（ｄ＜Ｔｈａ）か否かを判別する（ステップＳ４３１）。ここで、ｄ＜Ｔｈａであると判別した場合には、更に、探索領域ｆｒａｍｅ１の輝度値の最小値Ｉｍｉｎが閾値Ｔｈａ以下である（Ｉｍｉｎ≦Ｔｈａ）か否かを判別する（ステップＳ４３２）。そして、Ｉｍｉｎ≦Ｔｈａであると判別した場合、つまり、ｄ＜Ｔｈａ且つＩｍｉｎ≦Ｔｈａであれば、図３（Ｂ）の領域Ａに当てはまるとして、図４Ａに示すような階調変換曲線群Ａを選定して（ステップＳ４３３）、上位のルーチンに戻る。
【００２８】
これに対して、上記ステップＳ４３２でＩｍｉｎ≦Ｔｈａではないと判別した場合には、更に、探索領域ｆｒａｍｅ１の輝度値の最小値Ｉｍｉｎが閾値Ｔｈａより大きく且つ閾値Ｔｂ以下である（Ｔｈａ＜Ｉｍｉｎ≦Ｔｈｂ）か否かを判別する（ステップＳ４３４）。ここで、Ｔｈａ＜Ｉｍｉｎ≦Ｔｈｂであると判別した場合、つまり、ｄ＜Ｔｈａ且つＴｈａ＜Ｉｍｉｎ≦Ｔｈｂであれば、図３（Ｂ）の領域Ｂに当てはまるとして、図４Ｂに示すような階調変換曲線群Ｂを選定して（ステップＳ４３５）、上位のルーチンに戻る。また、Ｔｈａ＜Ｉｍｉｎ≦Ｔｈｂではないと判別した場合、つまり、ｄ＜Ｔｈａ且つＴｈｂ＜Ｉｍｉｎ≦２５５であれば、図３（Ｂ）の領域Ｃに当てはまるとして、図４Ｃに示すような階調変換曲線群Ｃを選定して（ステップＳ４３６）、上位のルーチンに戻る。
【００２９】
一方、上記ステップＳ４３１においてｄ＜Ｔｈａでないと判別した場合には、上記探索領域ｆｒａｍｅ１の輝度値の最大値Ｉｍａｘと最小値Ｉｍｉｎの差ｄが閾値Ｔａ以上であり且つ閾値Ｔｂより小さい（Ｔｈａ≦ｄ＜Ｔｈｂ）か否かを判別する（ステップＳ４３７）。そして、Ｔｈａ≦ｄ＜Ｔｈｂであると判別した場合には、更に、探索領域ｆｒａｍｅ１の輝度値の最小値Ｉｍｉｎが閾値Ｔｈａ以下である（Ｉｍｉｎ≦Ｔｈａ）か否かを判別する（ステップＳ４３８）。そして、Ｉｍｉｎ≦Ｔｈａであると判別した場合、つまり、Ｔｈａ≦ｄ＜Ｔｈｂ且つＩｍｉｎ≦Ｔｈａであれば、図３（Ｂ）の領域Ｄに当てはまるとして、図４Ｄに示すような階調変換曲線群Ｄを選定して（ステップＳ４３９）、上位のルーチンに戻る。
【００３０】
これに対して、上記ステップＳ４３８でＩｍｉｎ≦Ｔｈａではないと判別した場合には、更に、探索領域ｆｒａｍｅ１の輝度値の最小値Ｉｍｉｎが閾値Ｔｈａより大きく且つ閾値Ｔｂ以下である（Ｔｈａ＜Ｉｍｉｎ≦Ｔｈｂ）か否かを判別する（ステップＳ４３１０）。ここで、Ｔｈａ＜Ｉｍｉｎ≦Ｔｈｂであると判別した場合、つまり、Ｔｈａ≦ｄ＜Ｔｈｂ且つＴｈａ＜Ｉｍｉｎ≦Ｔｈｂであれば、図３（Ｂ）の領域Ｅに当てはまるとして、図４Ｅに示すような階調変換曲線群Ｅを選定して（ステップＳ４３１１）、上位のルーチンに戻る。
【００３１】
なお、Ｔｈａ＜Ｉｍｉｎ≦Ｔｈｂではないと判別した場合、つまり、上記階調変換曲線選定のどの条件にも当てはまらない場合には、何れの階調変換曲線群も選定せずに上位のルーチンに戻る。
【００３２】
而して、上記ステップＳ４４において、選定された階調変換曲線群の階調変換曲線を用いた階調変換処理が行われるが、何れの階調変換曲線群も選定されなかった場合には、この階調変換処理を行わずに顔検出処理を行うこととなる。
【００３３】
次に、上記選定した階調変換曲線群の階調変換曲線を用いた階調変換処理の流れを図４Ａ〜４Ｅを参照して説明する。なお、各変換曲線の横軸が入力輝度値、縦軸が変換出力輝度値を表す。
【００３４】
階調変換曲線群Ａ〜Ｅの何れを選定した場合も、ステップＳＴ１，ステップＳＴ２，…と順に１ステップずつ階調変換曲線を用いて階調変換を行い、１ステップ階調変換が終了すると顔検出処理を行う。
【００３５】
階調変換曲線群Ａ及び階調変換曲線群Ｃは、ステップＳＴ１〜ステップＳＴ６まで階調変換曲線が設定されており、階調変換曲線群Ｂ、階調変換曲線群Ｄ及び階調変換曲線群ＥはステップＳＴ１とステップＳＴ２の階調変換曲線が設定されている。
【００３６】
また、階調変換曲線群Ａ及び階調変換曲線群Ｃにおいて、ステップＳＴ３では、階調変換曲線Ｔｏｎｅ３を用いて階調変換した後さらに続いて階調変換曲線Ｔｏｎｅ４を用いて階調変換を行い、その後、顔検出処理へと進む。ステップＳＴ４は階調変換曲線Ｔｏｎｅ５，階調変換曲線Ｔｏｎｅ６の順に、ステップＳＴ５は階調変換曲線Ｔｏｎｅ７，階調変換曲線Ｔｏｎｅ８の順に、ステップＳＴ６は階調変換曲線Ｔｏｎｅ９，階調変換曲線Ｔｏｎｅ１０の順に、というようにステップＳＴ４〜ステップＳＴ６においても上記ステップＳＴ３と同様に、２種類の階調変換曲線を続けて用いて階調変換を行う。
【００３７】
ここで、図４Ａ〜４Ｅを図３（Ｂ）と併せて参照し、階調変換曲線群Ａ〜Ｅの特徴を説明する。
【００３８】
図３（Ｂ）に示す領域Ａは、輝度値の最大値Ｉｍａｘ及び最小値Ｉｍｉｎが暗い領域にあり、且つ、輝度値の最大値Ｉｍａｘと最小値Ｉｍｉｎの差ｄが比較的小さいことから、探索領域ｆｒａｍｅ１が全体的に暗く、コントラストが弱いと考えられる。そのため、階調変換曲線群Ａ（図４Ａ）は、まず、探索領域ｆｒａｍｅ１の明るさを全体的に上げ（図４ＡのステップＳＴ１とステップＳＴ２）、それでも顔検出されない場合は、探索領域ｆｒａｍｅ１の明るさを全体的に上げ且つコントラストを強めるような階調変換（図４ＡのステップＳＴ３〜ＳＴ６）を行うことを特徴とする。
【００３９】
図３（Ｂ）に示す領域Ｂは、輝度値の最大値Ｉｍａｘ及び最小値Ｉｍｉｎが中間の領域にあり、且つ、輝度値の最大値Ｉｍａｘと最小値Ｉｍｉｎの差ｄが比較的小さいことから、探索領域ｆｒａｍｅ１が全体的に明るさは顔検出に適しているがコントラストが弱いと考えられる。そのため、階調変換曲線群Ｂ（図４Ｂ）は、探索領域ｆｒａｍｅ１のコントラストを強めるような階調変換を行うことを特徴とする。
【００４０】
図３（Ｂ）に示す領域Ｃは、輝度値の最大値Ｉｍａｘ及び最小値Ｉｍｉｎが明るい領域にあり、且つ、輝度値の最大値Ｉｍａｘと最小値Ｉｍｉｎの差が比較的小さいことから、探索領域ｆｒａｍｅ１が全体的に明るく、コントラストが弱いと考えられる。そのため、階調変換曲線群Ｃ（図４Ｃ）は、探索領域ｆｒａｍｅ１の明るさを全体的に下げ（図４ＣのステップＳＴ１とステップＳＴ２）、それでも顔検出しない場合は、探索領域ｆｒａｍｅ１の明るさを全体的に下げ且つコントラストを強めるような階調変換（図４ＡのステップＳＴ３〜ＳＴ６）を行うことを特徴とする。
【００４１】
図３（Ｂ）に示す領域Ｄは、輝度値の最大値Ｉｍａｘが中間の領域にあり、且つ、最小値Ｉｍｉｎが暗い領域にあるため、探索領域ｆｒａｍｅ１が全体的に比較的暗い領域にあると考えられる。そのため、階調変換曲線群Ｄ（図４Ｄ）は、探索領域ｆｒａｍｅ１の明るさを全体的に上げるような階調変換を行うことを特徴とする。また、上記領域Ａと比較すると、この領域Ｄは輝度値の最大値Ｉｍａｘが明るい領域にあるため、上記階調変換曲線群ＡがステップＳＴ１でカーブが大きい階調変換曲線を用いて、先に探索領域ｆｒａｍｅ１の明るさを大きく上げるのに対し、この階調変換曲線群Ｄは、ステップＳＴ１では比較的カーブの小さい階調変換曲線を用いて、徐々に探索領域ｆｒａｍｅ１の明るさを上げるような階調変換を行うことを特徴とする。
【００４２】
図３（Ｂ）に示す領域Ｅは、輝度値の最大値Ｉｍａｘが明るい領域にあり、且つ、最小値Ｉｍｉｎが中間の領域にあるため、探索領域ｆｒａｍｅ１が全体的に比較的明るい領域にあると考えられる。そのため、階調変換曲線群Ｅ（図４Ｅ）は、探索領域ｆｒａｍｅ１の明るさを全体的に下げるような階調変換を行うことを特徴とする。また、上記領域Ｃと比較すると、この領域Ｅは輝度値の最小値Ｉｍｉｎが暗い領域にあるため、上記階調変換曲線群ＣがステップＳＴ１でカーブの大きい階調変換曲線を用いて、先に探索領域ｆｒａｍｅ１の明るさを大きく下げるのに対し、この階調変換曲線群Ｅは、ステップＳＴ１では比較的カーブの小さい階調変換曲線を用いて、徐々に探索領域ｆｒａｍｅ１の明るさを下げるような階調変換を行うことを特徴とする。
【００４３】
上記顔検出回路５６Ａによる上記ステップＳ４５の顔検出処理では、階調変換回路５４Ａで階調変換を行った信号に対して、顔検出回路５６Ａで顔検出を行う。本実施形態では、顔検出回路５６Ａは、分散の正規化部５６Ａ１と顔検出部５６Ａ２を備える。分散の正規化部５６Ａ１では、階調変換を行った後の信号に対して、輝度値の分散の正規化処理を行う。顔検出部５６Ａ２では、輝度値の分散の正規化処理を行った信号に対して顔検出を行う。分散の正規化処理は、例えば、輝度値の頻度分布（ヒストグラム）を平滑化し、コントラストを正規化するということを行う。これにより照明条件の変化による明るさの変化の影響を最小限にすることが可能である。顔検出は、例えば、P. Viola and M. Jones, "Rapid object detection using a boosted cascade of simple features," Proc. of CVPR, 2001に開示されているような、Viola-Jonesの顔検出方法を用いて顔検出を行う。Viola-Jonesの顔検出方法は、Adaboostの学習によって選択された顔検出に最適な矩形フィルタを顔検出対象画像に照合させ、顔を検出する方法である。上記矩形フィルタをカスケード型に配することで処理を高速化している。
【００４４】
以上のように、本第１実施形態によれば、顔検出を行う前に探索領域ｆｒａｍｅ１の特徴として輝度値の最大値Ｉｍａｘと最小値Ｉｍｉｎの関係をとり、探索領域ｆｒａｍｅ１が暗い場合は明るくコントラストを強めるような階調変換を、また探索領域ｆｒａｍｅ１が白飛びしている場合には探索領域ｆｒａｍｅ１を暗くコントラストを強めるような階調変換を、また上記のような条件に当てはまらない場合は探索領域ｆｒａｍｅ１のコントラストを強めるような階調変換を行い、状況に応じた階調変換を行うようにしているので、顔領域が暗い場合や白飛びしている場合、コントラストが弱い場合でも顔検出を可能にしている。即ち、条件に応じた階調変換を行うことにより、顔検出に最適な階調変換を行っているので、顔検出の検出率の向上が可能となる。
【００４５】
なお、上記のような探索領域ｆｒａｍｅ１の階調変換及び顔検出の処理を、探索領域ｆｒａｍｅ１のサイズを変えて数パターン行えば、更に顔検出の検出率向上が図れることは言うまでもない。
【００４６】
［第２実施形態］
次に、本発明の第２実施形態を説明する。なお、上記第１実施形態と同様の構成については、同一の参照符号を付し、その説明は省略する。
【００４７】
図５（Ａ）は、本発明の第２実施形態に係る画像処理装置が適用された撮像装置の処理系の構成を示す図である。
【００４８】
即ち、本第２実施形態においては、メモリ４に記憶された画像信号が階調変換回路５Ｂへ入力されて、対象領域毎の階調変換が行われ、顔検出回路９においてそれら階調変換された各対象領域の画像信号に対する顔検出を行うようにしている。
【００４９】
対象領域とは、処理対象画像ＰＩの全画面を１６分割や３２分割等の複数に分割した際の分割された領域それぞれを指す。階調変換及び顔検出は対象領域毎に全対象領域に対して行う。即ち、上記第１実施形態では、対象領域を探索領域ｆｒａｍｅ１として処理対象画像ＰＩ上を移動させていくものとしたが、本実施形態は、予め決められたサイズに区切った固定の位置を対象領域として設定したものである。勿論、分割は、処理対象画像ＰＩの全画面を等分割するものであっても良いし、一般に顔が存在する確率の高い画像中央を細かいサイズで分割するというような画像上の位置によって変えたものであっても良い。
【００５０】
上記階調変換回路５Ｂは、図５（Ｂ）に示すように、輝度値の最大値及び最小値算出回路５１Ｂ、輝度値の最大値と最小値の差の算出回路５２Ｂ、階調変換曲線選定回路５３Ｂ、対象領域の階調変換回路５４Ｂ、ＬＵＴ５５Ｂ、及びメモリ５７Ｂから構成されている。
【００５１】
輝度値の最大値及び最小値算出回路５１Ｂは、上記メモリ４から処理対象画像における予め設定された対象領域の一つの画像信号を読み出し、該対象領域の輝度値の最大値及び最小値を算出する。
【００５２】
この輝度値の最大値及び最小値算出回路５１Ｂで算出された対象領域の輝度値の最大値及び最小値は、輝度値の最大値と最小値の差の算出回路５２Ｂへ入力されると共に、階調変換曲線選定回路５３Ｂへも入力される。輝度値の最大値と最小値の差の算出回路５２Ｂは、入力された対象領域の輝度値の最大値と最小値との差を算出し、その算出した差の値を階調変換曲線選定回路５３Ｂに入力する。階調変換曲線選定回路５３Ｂは、輝度値の最大値及び最小値算出回路５１Ｂから入力された対象領域の輝度値の最大値及び最小値と、輝度値の最大値と最小値の差の算出回路５２Ｂから入力された対象領域の輝度値の最大値と最小値との差の値とに基づいて、予め設定された階調変換曲線の中から、当該対象領域に対する階調変換曲線を選定する。そして、その選定結果を階調変換回路５４Ｂに入力する。
【００５３】
本実施形態においても上記第１実施形態と同様に、予め複数の階調変換曲線がＬＵＴ５５Ｂの形態で提供されており、階調変換回路５４Ｂは、上記メモリ４から読み出した処理対象画像ＰＩにおける当該対象領域の画像信号の各画素の階調値を、当該対象領域について上記選定された階調変換曲線に相当するＬＵＴ５５Ｂに与え、該ＬＵＴ５５Ｂからその階調値に対応する変換された階調値を取得する。こうして階調変換された対象領域の画像信号は、メモリ５７Ｂの当該対象領域に対応するエリアに記憶される。
【００５４】
その後、同様に、予め設定された次の一つの対象領域に対して上記処理を行って、当該対象領域の階調変換を行い、その結果をメモリ５７Ｂに記憶する。以下、同様にして、処理対象画像ＰＩの予め設定された全対象領域について階調変換を行い、その結果をメモリ５７Ｂの当該対象領域に対応するエリアに記憶する。
【００５５】
そして、全ての対象領域の階調変換が終了したならば、顔検出回路９では、メモリ５７Ｂに記憶された階調変換後の画像信号に対してさらに輝度値の分散を正規化した画像信号から顔検出を行う。顔検出回路９は分散の正規化部９ａと顔検出部９ｂを備え、分散の正規化部９ａと顔検出部９ｂは、第１実施形態の分散の正規化部５６Ａ１と顔検出部５６Ａ２と同様の処理を行う。
【００５６】
それ以外の点は、上記第１実施形態と同様である。
【００５７】
以上のように、本第２実施形態によれば、顔検出を行う前に対象領域の特徴として輝度値の最大値Ｉｍａｘと最小値Ｉｍｉｎの関係をとり、対象領域が暗い場合は明るくコントラストを強めるような階調変換を、また対象領域が白飛びしている場合には対象領域を暗くコントラストを強めるような階調変換を、また上記のような条件に当てはまらない場合は対象領域のコントラストを強めるような階調変換を行い、状況に応じた階調変換を行うようにしているので、顔領域が暗い場合や白飛びしている場合、コントラストが弱い場合でも顔検出を可能にしている。即ち、条件に応じた階調変換を行うことにより、顔検出に最適な階調変換を行っているので、顔検出の検出率の向上が可能となる。
【００５８】
なお、処理対象画像ＰＩの全画面を、例えば、１６分割，３２分割，６４分割，…のように複数の分割パターンで分割し、分割パターン毎に対象領域を予め設定しておき、それぞれのパターンでの分割領域それぞれについて階調変換を行ってメモリ５７Ｂに記憶し、顔検出回路９では、メモリ５７Ｂに記憶された全ての分割パターンについて顔検出処理を行い、それぞれの分割パターンで得られた顔検出結果を画像合成回路６で元の処理対象画像ＰＩと合成するようにしても良い。
【００５９】
このように、対象領域の階調変換及び顔検出の処理を、対象領域のサイズを変えて数パターン行えば、更に顔検出の検出率向上が図れる。
【００６０】
なお、上記１つの又は複数の分割パターンにおける各対象領域のサイズ、位置については予め決められており、輝度値の最大値及び最小値算出回路５１Ｂ及び対象領域の階調変換回路５４Ｂに予め設定されているが、勿論、ユーザの選択に応じてＣＰＵ８が選択するパターンを切り替えて、使用する対象領域を設定するようにしても良い。
【００６１】
以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。
【００６２】
（付記）
前記の具体的実施形態から、以下のような構成の発明を抽出することができる。
【００６３】
（１）  処理対象画像の画像信号に対して顔検出を行う画像処理装置において、
上記処理対象画像に顔検出処理の対象領域を設定する対象領域設定手段と、
上記対象領域設定手段によって設定された対象領域の画像信号の特徴を抽出する特徴抽出手段と、
上記対象領域設定手段によって設定された対象領域の画像信号に対して、上記特徴抽出手段によって抽出された特徴に応じた階調変換を行う階調変換手段と、
上記階調変換手段によって階調変換を行った画像信号から顔領域を検出する顔検出手段と、
を具備することを特徴とする画像処理装置。
【００６４】
（対応する実施形態）
この（１）に記載の画像処理装置に関する実施形態は、第１及び第２実施形態が対応する。それらの実施形態において、処理対象画像ＰＩが上記処理対象画像に、探索領域ｆｒａｍｅ１，対象領域が上記対象領域に、探索領域設定部８１，ＣＰＵ８が上記対象領域設定手段に、輝度値の最大値及び最小値算出回路５１Ａ，５１Ｂが上記特徴抽出手段に、輝度値の最大値と最小値の差の算出回路５２Ａ，５２Ｂ，階調変換曲線選定回路５３Ａ，５３Ｂ，階調変換回路５４Ａ，対象領域の階調変換回路５４Ｂ，ＬＵＴ５５Ａ，５５Ｂが上記階調変換手段に、顔検出回路５６Ａ，９が上記顔検出手段に、それぞれ対応する。
【００６５】
（作用効果）
この（１）に記載の画像処理装置によれば、顔検出を行う前に対象領域の画像信号の特徴を抽出し、その特徴に応じて即ち状況に応じて画像信号の階調変換を行うことにより、顔検出に最適な階調変換を行うことができるので、顔領域が暗い場合や白飛びしている場合、コントラストが弱い場合でも、顔検出が正しく行える画像処理装置を提供することができる。
【００６６】
（２）  上記顔検出手段は、上記階調変換手段によって上記階調変換を行った対象領域毎に顔領域を検出することを特徴とする（１）に記載の画像処理装置。
【００６７】
（対応する実施形態）
この（２）に記載の画像処理装置に関する実施形態は、第１実施形態が対応する。
【００６８】
（作用効果）
この（２）に記載の画像処理装置によれば、分割された対象領域に対して顔検出を行うので、顔検出を高速に実行できる。
【００６９】
（３）  上記対象領域設定手段は、上記対象領域を上記移動設定する対象領域移動手段を有することを特徴とする（２）に記載の画像処理装置。
【００７０】
（対応する実施形態）
この（３）に記載の画像処理装置に関する実施形態は、第１実施形態が対応する。その実施形態において、探索領域設定部８１が上記対象領域移動手段に対応する。
【００７１】
（作用効果）
この（３）に記載の画像処理装置によれば、対象領域を移動させていくことで処理対象画像全体から顔検出が行える。
【００７２】
（４）  上記対象領域設定手段は、上記処理対象画像を複数に分割したそれぞれの領域を上記対象領域として設定することを特徴とする（１）に記載の画像処理装置。
【００７３】
（対応する実施形態）
この（４）に記載の画像処理装置に関する実施形態は、第２実施形態が対応する。
【００７４】
（作用効果）
この（４）に記載の画像処理装置によれば、対象画像全体に階調変換を行うのではなく、それよりも小さい対象領域を単位に階調変換が行えるので、局所的に特徴が異なっている場合でも、その特徴に応じた階調変換が行え、顔検出の検出率を向上できる。
【００７５】
（５）  上記処理対象画像の複数の分割は、サイズの異なる対象領域を得る分割であり、
上記対象領域設定手段は、各サイズ毎の分割したそれぞれの領域を上記対象領域として設定することを特徴とする（４）に記載の画像処理装置。
【００７６】
（対応する実施形態）
この（５）に記載の画像処理装置に関する実施形態は、第２実施形態が対応する。
【００７７】
（作用効果）
この（５）に記載の画像処理装置によれば、サイズを変えた対象領域で対象画像の同一部分に対して階調変換が行えるので、顔検出の検出率をより向上できる。
【００７８】
（６）  上記特徴抽出手段は、上記対象領域設定手段によって設定された対象領域の画素の輝度値から最大値及び最小値を算出する算出手段を有し、
上記階調変換手段は、
上記算出手段によって算出された上記対象領域の画素の輝度値の最大値及び最小値の関係に応じて、予め設定された階調変換曲線の中から、階調変換に使用する階調変換曲線を選定する階調変換曲線選定手段と、
上記階調変換曲線選定手段によって選定された階調変換曲線を用いて階調変換処理を行う変換手段と、
を有することを特徴とする（１）乃至（５）の何れかに記載の画像処理装置。
【００７９】
（対応する実施形態）
この（６）に記載の画像処理装置に関する実施形態は、第１及び第２実施形態が対応する。それらの実施形態において、輝度値の最大値及び最小値算出回路５１Ａ，５１Ｂが上記算出手段に、輝度値の最大値と最小値の差の算出回路５２Ａ，５２Ｂ，階調変換曲線選定回路５３Ａ，５３Ｂが上記階調変換曲線選定手段に、階調変換回路５４Ａ，対象領域の階調変換回路５４Ｂ，ＬＵＴ５５Ａ，５５Ｂが上記変換手段に、それぞれ対応する。
【００８０】
（作用効果）
この（６）に記載の画像処理装置によれば、特徴として輝度を使用することで、容易に特徴検出が行えると共に、顔領域が暗い場合や白飛びしている場合でも顔検出が可能となる。
【００８１】
（７）  上記階調変換曲線選定手段は、上記対象領域内の輝度値の最大値と最小値の差及び最大値あるいは最小値の値に応じて、予め設定された階調変換曲線を選定することを特徴とする（６）に記載の画像処理装置。
【００８２】
（対応する実施形態）
この（７）に記載の画像処理装置に関する実施形態は、第１及び第２実施形態が対応する。
【００８３】
（作用効果）
この（７）に記載の画像処理装置によれば、対象領域内の輝度値の最大値と最小値の差及び最大値あるいは最小値の値により、対象領域の明るさやコントラストが判別できるので、対象領域が暗い場合は明るくコントラストを強めるような階調変換を、また対象領域が白飛びしている場合には対象領域を暗くコントラストを強めるような階調変換を、また上記のような条件に当てはまらない場合は対象領域のコントラストを強めるような階調変換を行うということが可能になり、顔領域が暗い場合や白飛びしている場合、コントラストが弱い場合でも顔検出が可能となる。
【００８４】
（８）  上記階調変換手段は、上記顔検出手段によって顔が検出されない場合、上記対象領域の画像信号に対して別の階調変換を行い、再度上記顔検出手段に顔検出を行わせることを特徴とする（１）乃至（５）の何れかに記載の画像処理装置。
【００８５】
（対応する実施形態）
この（８）に記載の画像処理装置に関する実施形態は、第１及び第２実施形態が対応する。
【００８６】
（作用効果）
この（８）に記載の画像処理装置によれば、抽出した特徴が合致する条件毎に、複数種類の階調変換を用意しておき、顔が検出されるまでそれらを順次切り替えて使用することで、顔検出の検出率を工場させることができる。
【００８７】
（９）  上記階調変換手段は、上記顔検出手段によって顔が検出された時点で、当該対象領域の画像信号に対する階調変換処理を終了とすることを特徴する（２）または（３）に記載の画像処理装置。
【００８８】
（対応する実施形態）
この（９）に記載の画像処理装置に関する実施形態は、第１実施形態が対応する。
【００８９】
（作用効果）
この（９）に記載の画像処理装置によれば、顔が検出されれば次の対象領域の処理に進むことができるので、高速に対象画像全体から顔検出が行える。
【００９０】
（１０）  上記顔検出手段は、上記階調変換を行った画像信号に対してさらに分散を正規化する正規化手段を有し、上記正規化した画像信号を用いて上記顔領域を検出することを特徴とする（１）乃至（９）の何れかに記載の画像処理装置。
【００９１】
（対応する実施形態）
この（１０）に記載の画像処理装置に関する実施形態は、第１及び第２実施形態が対応する。それらの実施形態において、分散の正規化部５６Ａ１や分散の正規化部９ａが上記正規化手段に対応する。
【００９２】
（作用効果）
この（１０）に記載の画像処理装置によれば、分散の正規化処理を行った信号に対して顔検出を行うため、コントラストのばらつきを抑制し、照明条件の変化による明るさの変化の影響を最小限にして、安定的に顔検出を行うことが可能となる。
【図面の簡単な説明】
【００９３】
【図１】（Ａ）は本発明の第１実施形態に係る画像処理装置が適用された撮像装置の処理系の構成を示す図であり、（Ｂ）は（Ａ）中の探索領域の顔検出回路の詳細構成を示す図であり、（Ｃ）は処理対象画像上の探索領域の移動を説明するための図である。
【図２】（Ａ）は全体処理の流れを説明するためのフローチャートを示す図であり、（Ｂ）は（Ａ）中の階調変換及び顔検出処理の流れを説明するためのフローチャートを示す図である。
【図３】（Ａ）は図２（Ｂ）中の階調変換曲線群の選定処理の詳細を説明するためのフローチャートを示す図であり、（Ｂ）は画素の最大値及び最大値と階調変換曲線群の選定領域との関係を示す図である。
【図４Ａ】階調変換曲線群Ａの階調変換曲線を示す図である。
【図４Ｂ】階調変換曲線群Ｂの階調変換曲線を示す図である。
【図４Ｃ】階調変換曲線群Ｃの階調変換曲線を示す図である。
【図４Ｄ】階調変換曲線群Ｄの階調変換曲線を示す図である。
【図４Ｅ】階調変換曲線群Ｅの階調変換曲線を示す図である。
【図５】（Ａ）は本発明の第２実施形態に係る画像処理装置が適用された撮像装置の処理系の構成を示す図であり、（Ｂ）は（Ａ）中の階調変換出回路の詳細構成を示す図である。
【符号の説明】
【００９４】
１…撮像部、  ２…Ａ／Ｄ変換器、  ３…信号処理回路、  ４，５７Ｂ…メモリ、  ５Ａ…探索領域の顔検出回路、  ５Ｂ…階調変換回路、  ６…画像合成回路、  ７…出力部、  ８…ＣＰＵ、  ９，５６Ａ…顔検出回路、  ９ａ，５６Ａ１…正規化部、  ９ｂ，５６Ａ２…顔検出部、  １１…レンズ系、  １２…絞り、  １３…ＣＣＤ、  ５１Ａ，５１Ｂ…輝度値の最大値及び最小値算出回路、  ５２Ａ，５２Ｂ…輝度値の最大値と最小値の差の算出回路、  ５３Ａ，５３Ｂ…階調変換曲線選定回路、  ５４Ａ…階調変換回路、  ５４Ｂ…対象領域の階調変換回路、  ５５Ａ，５５Ｂ…ＬＵＴ、  ８１…探索領域設定部、  ＰＩ…処理対象画像、  ｆｒａｍｅ１…探索領域。
【図１】
2008283573.tif 000003
【図２】
2008283573.tif 000004
【図３】
2008283573.tif 000005
【図４Ａ】
2008283573.tif 000006
【図４Ｂ】
2008283573.tif 000007
【図４Ｃ】
2008283573.tif 000008
【図４Ｄ】
2008283573.tif 000009
【図４Ｅ】
2008283573.tif 000010
【図５】
2008283573.tif 000011