(57)【要約】【課題】  フォーカス状態が悪い場合においても精度よく被写体パターンを検出する。【解決手段】  撮像手段から出力された画像中から所定の被写体パターンを検出する手段を備えた画像処理装置において、前記撮像手段の合焦距離を検出する焦点検出手段を備え、前記被写体パターン検出手段は被写体パターンを照合する際の参照パターンを前記合焦距離にもとづいて推定されるフォーカス状態に応じて選択的に切り替えて前記被写体パターンの照合を行う。【選択図】  図２
2006174022.tif 000002
【特許請求の範囲】
【請求項１】
撮像手段から出力された画像中から所定の被写体パターンを検出する手段を備えた画像処理装置において、前記撮像手段の合焦距離を検出する焦点検出手段を備え、前記被写体パターン検出手段は被写体パターンを照合する際の参照パターンを前記合焦距離にもとづいて推定されるフォーカス状態に応じて選択的に切り替えて前記被写体パターンの照合を行うことを特徴とする画像処理装置。
【請求項２】
前記被写体パターンは顔であることを特徴とする請求項１の画像処理装置。
【請求項３】
前記撮像手段は焦点制御手段を備え、前記焦点制御手段は前記被写体パターン検出手段の結果に応じて前記撮像手段の焦点制御対象とする画像領域を決定し、前記撮像手段の焦点制御を行うことを特徴とする請求項１または請求項２の画像処理装置。
【請求項４】
画像中から所定の被写体パターンを検出する画像処理方法であって、前記画像の撮影情報を取得する撮影情報取得ステップを備え、前記被写体パターンを照合する際の参照パターンを前記撮影情報に応じて選択的に切り替えて前記被写体パターンの照合を行うことを特徴とする画像処理方法。
【請求項５】
前記撮影情報は前記画像のフォーカス状態を表す情報であることを特徴とする請求項４の画像処理方法。
【請求項６】
前記撮影情報は前記画像を撮影した際の撮像手段の合焦距離を含むことを特徴とする請求項４の画像処理方法。
【請求項７】
前記被写体パターンは顔であることを特徴とする請求項４から請求項６の画像処理方法。
【請求項８】
請求項４から請求項７のいずれかに記載の画像処理方法を実行するプログラムを記録した記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像中から被写体パターンを自動的に検出する画像処理装置および方法に関するものである。
【背景技術】
【０００２】
近年、画像中から特定の被写体パターンを検出する技術をカメラの焦点制御などへ応用してその精度向上を行う提案がなされている。例えば、本出願人は被写体認識機能を搭載したカメラを提案した。（特許文献１）この従来例では、画像中から顔を検出することによりカメラの露出や焦点合わせの精度を向上する提案がなされている。
【０００３】
一方、画像中から顔を検出する技術としては、例えば、に非特許文献１に各種方式が挙げられている。
【０００４】
しかしながら、現状の顔検出の技術は画像中でピントが合っているか合っていないかを表すフォーカスの状態や明るさが適正な顔が撮影されている場合や、正面を向いている場合には精度よく検出ができるものの、撮影条件が悪い場合には検出性能が著しく劣化するものであった。例えば、特許文献１では顔の検出結果を利用してカメラの露出や焦点合わせの精度を向上する提案がなされているものの、そもそも撮影状態の悪い状況で精度よく顔を検出する方法については説明されていない。
【０００５】
また、多点測距データをもとに最短距離から焦点制御を行い、ピントの合った領域に限定して顔を検出する方法も知られている。しかしながら、この従来例では多点測距データを用意する必要がある。また、顔の検出結果をカメラの制御に利用する際にピントの合った顔のみを検出することで問題を回避してはいるが、問題の本質的な解決にはなっていない。
【特許文献１】特開２００１−３３０８８２号公報
【非特許文献１】Yang，”Detecting Faces in Images: A Survey”，IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, VOL.24 , NO.1, JANUARY 2002
【発明の開示】
【発明が解決しようとする課題】
【０００６】
本発明は以上の問題に鑑みて成されたものであり、フォーカス状態が悪い場合においても精度よく被写体パターンを検出することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の以下の目的を達成するために、撮像手段から出力された画像中から所定の被写体パターンを検出する手段を備えた画像処理装置において、前記撮像手段の合焦距離を検出する焦点検出手段を備え、前記被写体パターン検出手段は被写体パターンを照合する際の参照パターンを前記合焦距離にもとづいて推定されるフォーカス状態に応じて選択的に切り替えて前記被写体パターンの照合を行うことを特徴とする。
【発明の効果】
【０００８】
本発明の構成により、フォーカス状態が悪い場合においても精度よく被写体パターンを本発明の構成により、フォーカス状態が悪い場合においても精度よく被写体パターンを検出することができる。
【発明を実施するための最良の形態】
【０００９】
図１に本実施例の概略構成を示す。
【００１０】
１０は撮像手段であり、撮像レンズ、CCD等の撮像素子、撮像素子の出力信号のゲインを調整するゲイン調整回路、ゲイン調整後の撮像素子の出力信号をデジタル信号に変換するＡ/Ｄ変換回路より構成され、撮像素子からの信号をデジタル画像データとして出力する。
【００１１】
２０は画像メモリであり、撮像手段１０から出力された画像データを一時的に記憶する。
【００１２】
３０は焦点制御手段であり、画像データの所定領域のコントラストに基づき、画像データのコントラストが最大になるように撮影レンズの合焦レンズの位置を制御する。
【００１３】
４０は露出制御手段であり、画像データの所定領域の輝度に基づき、画像データが所定の明るさになるように所定のプログラム線図に従いシャッター速度と絞り値を決定し、撮像手段１０の撮像素子の露光時間と撮影レンズの絞りを制御する。
【００１４】
５０は顔検出手段であり、画像メモリ２０に記憶されている画像データから顔のパターンを検出し、その画像中の位置を出力する。
【００１５】
６０は領域設定手段であり、顔検出手段５０の出力に応じて焦点制御手段３０および露出制御手段４０で制御する対象の画像領域を設定する。
【００１６】
７０は焦点検出手段であり、焦点制御手段３０によって制御された撮影レンズの合焦レンズの位置を検出する。
【００１７】
また、以上の各ブロックは不図示のカメラ全体の制御を行う制御手段により動作を制御される。
【００１８】
次に、本実施例の動作を図２に従って説明する。
【００１９】
ユーザが被写体を撮影するために不図示の電源をONにし、撮影準備の状態に入ると、撮像手段１０は画像データを出力し、出力された画像データが画像メモリ２０に記憶される。（S101）すなわち、露出の状態を決める撮像レンズの絞り値、シャッター速度、撮像素子のゲインおよびフォーカス状態を決める撮影レンズの合焦レンズが初期状態にセットされ、撮像素子から出力された信号がデジタル信号に変換されてＡ/Ｄ変換回路から画像データとして出力される。
【００２０】
次に、焦点制御手段３０は画像メモリ２０に記憶された画像データの所定領域のコントラストに基づき、画像データのコントラストが最大になるように撮影レンズの合焦レンズの位置を制御する。（S102）すなわち、撮影レンズの合焦レンズを移動させながら撮像手段１０から出力された画像データの中央部付近の所定領域における輝度コントラストを繰り返し評価し、合焦レンズを移動させた場合の輝度コントラストの変化量をもとに、輝度コントラストの最も高い位置に合焦レンズが来るように合焦レンズの位置を制御する。
【００２１】
次に、露出制御手段４０は画像データの所定領域の輝度に基づき、画像データが所定の明るさになるように所定のプログラム線図に従いシャッター速度と絞り値を決定し、撮像手段１０の撮像素子の露光時間と撮影レンズの絞りを制御する。（S103）
次に、焦点検出手段７０は撮影レンズの合焦レンズの位置を検出する。そして、合焦レンズの位置からピントの最も合ったカメラから被写体までの距離（以下、合焦距離と称す）をフォーカス情報として出力する。また、このとき同時にフォーカス情報として撮影レンズの焦点距離、絞り値が出力される。（S104）なお、合焦レンズの位置と物体距離の関係は予めテーブルとして記憶されており、例えば、撮影レンズが焦点距離可変のズームレンズの場合には焦点距離ごとのテーブルが用意される。
【００２２】
次に、顔検出手段５０はフォーカス情報を利用して画像メモリ２０に記憶されている画像データから顔のパターンを検出し、その画像中の位置を出力する。（S105）図３に顔検出手段５０の構成図、図４に処理の流れを示す。以下、図３および図４に沿って顔検出手段の処理詳細を説明する。
【００２３】
まず、フォーカス情報を入力する。（S501）
次に、画像データから輝度分布生成手段５１において輝度画像データを生成する。（S502）例えば、入力画像データがＲＧＢ画像データの場合には、所定のマトリクス変換によりＹＵＶ画像データとし、Ｙ成分を輝度値として輝度画像データを生成する。ＲＧＢからＹＵＶへの変換は例えば特開２００３−１０２０２５に示されているような方法により行う。
【００２４】
次に、画像データから肌色マスク生成手段５２において肌色マスクを生成する。（S503）例えば、入力画像データがＲＧＢ画像データの場合には、所定のマトリクス変換によりＹＵＶ画像データとし、ＵＶ成分が所定の範囲を満たす場合に肌色画素とし、肌色画素を１、その他の画素を０とした２値画像データを肌色マスクとして出力する。肌色画素の判定を行う範囲はあらかじめ多数の人物画像データの肌領域に対してＹＵＶの座標値の分布を調査しておき、その範囲を肌色画素判定のパラメータとして記憶しておく。
【００２５】
次に、検出サイズ設定手段５３において画像中から検出する顔のサイズを設定する。（S504）画像データには被写体の撮影倍率に依存して様々なサイズの顔が撮影されている可能性があるので、予め定めた所定のサイズの顔を検出するようにここでサイズの設定を行う。後述するが、本実施例では複数サイズの顔を検出するため、検出する顔のサイズの設定と画像中からの設定されたサイズの顔の検出を繰り返し行う。
【００２６】
次に、参照パターン選択手段５９においてフォーカス情報および設定された顔の検出サイズをもとに参照パターン記憶手段５７に記憶されている複数の参照パターンの中から適切な参照パターンを選択する。（S505）カメラで撮影される顔画像のフォーカス状態はカメラから被写体（この場合は顔）までの距離と合焦距離、撮影レンズの焦点距離、絞り値によって一意に定まる。さらに詳細には、撮像素子の１画素の画素サイズによってそのぼけ量が画素単位で定まる。また、検出対象である顔の大きさの範囲はほぼ決まっているので、画像中の検出すべき顔のサイズに対応するぼけ量はフォーカス情報として合焦距離、撮影レンズの焦点距離、絞り値を利用すればおおよそ推定できることになる。本実施例ではこの原理を用いて、フォーカス情報と検出する顔のサイズから適切な参照パターンを選択するようにしている。ここで、本実施例では参照パターンとして輝度分布および肌色分布を用いるが、そのうち輝度分布のパターンにおいてはフォーカス状態の異なるあらかじめ多数の人物画像データの顔に対してその分布を調査しておき、その分布をフォーカス状態ごとに参照パターンとして参照パターン記憶手段５７に記憶されている。なお、参照パターンのサイズはフォーカス状態のよい（すなわちピントの合った）顔に対するパターンほど高周波成分が大きいので大きなサイズのパターンとして記憶している。
【００２７】
次に、探索範囲設定手段５４において顔のサイズに応じて輝度画像データと肌色マスクを用いて画像中の顔を検出する範囲を設定する。（S506）すなわち、所定サイズの顔の検出を行う際、画像のすべての領域から検出するようにしてもよいが検出回数が膨大なものになるため、あらかじめ輝度画像データと肌色マスクを用いて顔が存在しないまたは検出する可能性のない領域を削除するために探索する範囲をマスクとして記憶しておく。ここでは検出するサイズの顔領域での輝度画像データの平均値が所定の領域内にあるかおよび肌色画素の割合が所定の範囲にあるかで探索すべきかどうかを判定するようにする。
【００２８】
次に、顔と照合するパターンを切り出す画像中の位置を設定する。（S507）すなわち、ここでの設定および後段の検出処理の繰り返しにより、検出対象である顔のパターンを照合する位置を画像全域から順次走査していく。なお、このとき探索範囲設定手段５４に記憶された探索範囲の結果に応じて探索すべき位置のみ探索を行うように設定する。
【００２９】
次に、照合パターン抽出手段５５ではS504で設定されたサイズとS507で設定された切り出し位置にもとづき輝度画像データおよび肌色マスクから照合パターンを切り出す。（S508）
次に、照合パターン抽出手段５５はS508で切り出した輝度画像データおよび肌色マスクの照合パターンを参照パターン選択手段５９で選択された参照パターンと同じサイズに正規化する。（S509）また、輝度画像データにおいては参照パターンと同じ平均輝度、輝度分散値になるように輝度分布を正規化する。
【００３０】
次に、パターン照合手段５６において照合パターン抽出手段５５で出力された照合パターンと参照パターン選択手段５９で選択された参照パターンとを照合して類似度を求める。（S510）例えば、照合パターンの輝度分布と参照パターンの輝度分布の差分絶対値の和の逆数を第1の類似度、照合パターンの肌色分布と参照パターンの肌色分布の差分絶対値の和和の逆数を第２の類似度とし、第1および第２の類似度の所定の重み付き和として類似度を求める。なお、S505で参照パターンとしてフォーカス状態のよい顔に対する参照パターンを用いる場合ほど大きい類似度が出力されるように重みを設定する。
【００３１】
次に、照合するパターンの類似度が所定の閾値以上かどうかを判断し、所定の閾値以上のパターンについてはその位置座標と類似度を記憶する。（S511）
次に、S507からS511の処理を探索範囲設定手段５４に記憶された探索範囲に応じて画像の全領域を走査するように繰り返す。また、S504からS511の処理を所定の検出サイズ分だけ繰り返す。
【００３２】
次に、画像全域に対して所定サイズの範囲の顔の探索が終わった段階で顔領域判定手段５８は顔が検出され、その位置座標が記憶された顔の候補領域のうち、領域が重複している候補に対しては類似度の低い顔の候補を削除する。（S512）ここで、S510で参照パターンとしてフォーカス状態のよい顔に対する参照パターンを用いる場合ほど大きい類似度が出力されるように重みが設定されているので、フォーカス状態の異なる顔が重複して検出された場合には、フォーカス状態のよい顔のパターンを優先するように顔候補の削除が行われる。
【００３３】
さらに、顔領域判定手段５８は顔が検出された領域について照合パターン抽出手段５５で抽出された画像の輝度分布をもとに参照パターン選択手段５９に選択された参照パターンを参照し、顔パターンか否かの最終的な判定を行い、偽の顔パターンを削除し、顔検出の最終結果が画像の領域を示す位置座標として出力される。（S511）なお、顔領域判定手段５８では最終的な顔判定を行うためパターン照合手段５６より高い精度の判定が必要であるため、ここで用いる参照パターンはパターン照合手段５６で用いる参照パターンより精度の高いパターンを利用することが望ましい。参照パターンは画像の輝度パターンのようなものでもよいし、例えば、IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, VOL.20 , NO.1, JANUARY 1998に”Neural network-based face detection”と題するRowleyらの方式を用いるような場合には、ニューラルネットワークに適用する重み係数であってもよい。
【００３４】
そして、顔検出手段５０の結果にもとづき、顔が検出された場合には領域設定手段６０は露出および焦点制御の対象領域を変更する。（S106）すなわち、画像中で一つの顔が検出された場合には、検出された顔の領域を制御対象領域とし、焦点制御手段３０および露出制御手段４０に出力する。以下、図１に示すように焦点制御手段３０による焦点制御（S107）、露出制御手段４０による露出制御（S108）、撮像（S109）が行われ、主被写体である人物に制御対象を絞った好適な焦点および露出制御にもとづく撮像が行われる。なお、S107、S108、S109の処理はそれぞれS102、S103、S101と同様の処理であることはいうまでもない。また、画像中で複数の顔が検出された場合には、領域設定手段６０は検出された顔のそれぞれの参照パターンに対する類似度を参考にして最も類似度の高い顔領域を制御対象領域とし、焦点制御手段３０および露出制御手段４０に出力するようにする。以降の処理は一つの顔が検出された場合と同じである。また、このとき、領域設定手段６０は複数の領域を焦点制御手段３０および露出制御手段４０に出力するようにしてもよい。例えば、焦点制御手段３０は複数の顔領域が焦点深度内に入るよう深度優先の焦点制御を行うことができる。また、領域設定手段６０が露出制御手段４０に検出された顔の各領域の類似度を出力するようにすることで露出制御手段４０は類似度にもとづいて各顔領域の重みを決定し、重み付きの評価測光にもとづく露出制御を行うことができる。
【００３５】
また、顔検出手段５０の結果、顔が検出されなかった場合には、撮影した画像中に人物が存在しないと判断し、S102、S103で初期状態で行った通常の画像の所定領域に合わせた焦点制御、露出制御の状態に戻して、撮像を行う。（S110）
以上、本実施例ではフォーカス状態が悪い場合においても精度よく顔を検出し、検出結果にもとづいて焦点制御および露出制御を好適に行うことができる。特に、本実施例では検出対象とする顔のフォーカス状態を予測してフォーカス状態ごとに最適化した顔パターンの照合を行っているので、顔検出の精度の劣化を招くことがない。
【００３６】
本実施例では顔の検出結果にもとづいて焦点制御および露出制御を行うようにしたが、ストロボ制御などの制御にも応用できる。また、検出された顔の領域に処理対象を絞って白バランス処理や色補正、ガンマ補正処理を好適に行うようにしてもよい。
【００３７】
また、本実施例では被写体パターンとして人物の顔を検出するようにしたが、シーンごとに重要とされるその他の被写体のパターンであってもよい。
【００３８】
本実施例ではデジタルスチルカメラの露出制御を利用して特定の被写体パターンの検出精度を向上させ、制御にフィードバックするようにしたが、例えば、ビデオカムコーダーや監視カメラなど露出制御機能を持つ画像入力装置にも本実施例は適用される。
【００３９】
また、本実施例ではデジタルスチルカメラについて説明したが、デジタルスチルカメラで撮影した画像をコンピュータで処理する場合について本実施例を適用してもよい。例えば、デジタルスチルカメラで撮影した画像とともにフォーカス状態を表す合焦距離、撮影レンズの焦点距離、絞り値、撮像素子の１画素の画素サイズの撮影情報を取得するようにしてもよい。
【００４０】
また、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体（または記憶媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行することによって実現してもよい。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになる。
【００４１】
また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能を実現してもよい。
【００４２】
さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能を実現してもよい。
【００４３】
上記記録媒体を用いる場合、その記録媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。
【図面の簡単な説明】
【００４４】
【図１】本実施形態に係るカメラの構成を示すブロック図。
【図２】本実施例の動作を示す図。
【図３】本実施例の顔検出手段の構成を示す図。
【図４】本実施例の顔検出処理の動作を示す図。
【図１】
2006174022.tif 000003
【図２】
2006174022.tif 000004
【図３】
2006174022.tif 000005
【図４】
2006174022.tif 000006