(57)【特許請求の範囲】
【請求項１】
原画像を取得する画像取得部と、
前記画像取得部で取得した前記原画像の解像度を変換して、解像度が異なる複数の縮小画像を生成する解像度変換部と、
前記解像度変換部で生成される前記複数の縮小画像を、テンプレートを用いたテンプレートマッチングにより処理して、前記縮小画像から、前記テンプレートに対応する特定の被写体が撮影された領域を検出する検出部と、
前記検出部による検出結果の処理により、前記原画像上で、前記特定の被写体が撮影された領域を検出する検出結果の処理部と、
各部の動作を制御する制御部と、
を有し、
前記検出部は、
解像度が順次段階的に変化する順序により前記複数の縮小画像を処理して、前記特定の領域が撮影された領域を検出し、
前記制御部は、過去の前記検出部における検出結果に基づいて、前記検出部の処理に係る前記複数の縮小画像の処理の順序を切り換える
ことを特徴とする画像処理装置。
【請求項２】
前記画像取得部が、
撮像結果による前記原画像に係る画像データを取得する撮像部であり、
前記画像処理装置は
前記撮像部で取得した画像データを記録する記録媒体を有する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記画像取得部が、
記録媒体に記録された前記原画像に係る画像データを取得する記録媒体に係る画像取得部である
ことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記画像取得部が、
外部機器との間でデータ通信するデータ通信部である
ことを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記解像度変換部で生成される前記複数の縮小画像を記録して保持する記憶部を有し、
前記検出部は、
前記記憶部に記録された前記複数の縮小画像を順次処理することにより、前記解像度変換部で生成される前記複数の縮小画像を処理する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記検出部の処理に係る前記解像度が順次段階的に変化する順序が、
解像度が順次増大する順序である
ことを特徴とする請求項１に記載画像処理装置。
【請求項７】
前記検出部の処理に係る前記解像度が順次段階的に変化する順序が、
解像度が順次低減する順序である
ことを特徴とする請求項１に記載画像処理装置。
【請求項８】
前記処理部は、
前記原画像に対する縮小画像の大きさにより、前記テンプレートの大きさを前記原画像上における大きさに変換して、前記原画像上で、前記特定の被写体が撮影された領域を検出する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項９】
前記処理部は、
前記検出部で検出される検出の順序により、前記原画像上で、前記特定の被写体が撮影された領域の優先順位を設定する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項１０】
原画像を取得する画像取得部と、
前記画像取得部で取得した前記原画像の解像度を変換して、解像度が異なる複数の縮小画像を生成する解像度変換部と、
前記解像度変換部で生成される前記複数の縮小画像を、テンプレートを用いたテンプレートマッチングにより処理して、前記縮小画像から、前記テンプレートに対応する特定の被写体が撮影された領域を検出する検出部と、
前記検出部による検出結果の処理により、前記原画像上で、前記特定の被写体が撮影された領域を検出する検出結果の処理部と、
各部の動作を制御する制御部と、
を有し、
前記検出部は、
解像度が順次段階的に変化する順序により前記複数の縮小画像を処理して、前記特定の領域が撮影された領域を検出し、
前記画像取得部が、
撮像結果による前記原画像に係る画像データを取得する撮像部であり、
前記画像処理装置は
前記撮像部で取得した画像データを記録する記録媒体を有し、
前記制御部は、
前記撮像部における撮影モードに応じて、前記検出部の処理に係る前記複数の縮小画像の処理の順序を切り換える、画像処理装置。
【請求項１１】
原画像を取得する画像取得部と、
前記画像取得部で取得した前記原画像の解像度を変換して、解像度が異なる複数の縮小画像を生成する解像度変換部と、
前記解像度変換部で生成される前記複数の縮小画像を、テンプレートを用いたテンプレートマッチングにより処理して、前記縮小画像から、前記テンプレートに対応する特定の被写体が撮影された領域を検出する検出部と、
前記検出部による検出結果の処理により、前記原画像上で、前記特定の被写体が撮影された領域を検出する検出結果の処理部と、
各部の動作を制御する制御部と、
を有し、
前記検出部は、
解像度が順次段階的に変化する順序により前記複数の縮小画像を処理して、前記特定の領域が撮影された領域を検出し、
前記制御部は、過去の前記検出部における検出結果に基づいて、前記検出部で処理に供する前記縮小画像を切り換える
ことを特徴とする画像処理装置。
【請求項１２】
原画像を取得する画像取得部と、
前記画像取得部で取得した前記原画像の解像度を変換して、解像度が異なる複数の縮小画像を生成する解像度変換部と、
前記解像度変換部で生成される前記複数の縮小画像を、テンプレートを用いたテンプレートマッチングにより処理して、前記縮小画像から、前記テンプレートに対応する特定の被写体が撮影された領域を検出する検出部と、
前記検出部による検出結果の処理により、前記原画像上で、前記特定の被写体が撮影された領域を検出する検出結果の処理部と、
各部の動作を制御する制御部と、
を有し、
前記検出部は、
解像度が順次段階的に変化する順序により前記複数の縮小画像を処理して、前記特定の領域が撮影された領域を検出し、
前記画像取得部が、
撮像結果による前記原画像に係る画像データを取得する撮像部であり、
前記画像処理装置は
前記撮像部で取得した画像データを記録する記録媒体を有し、
前記制御部は、
前記撮像部における撮影モードに応じて、前記検出部で処理に供する前記縮小画像を切り換える、画像処理装置。
【請求項１３】
原画像を取得する画像取得のステップと、
前記画像取得のステップで取得した前記原画像の解像度を変換して、解像度が異なる複数の縮小画像を生成する解像度変換のステップと、
前記解像度変換のステップで生成される前記複数の縮小画像を、テンプレートを用いたテンプレートマッチングにより処理して、前記縮小画像から、前記テンプレートに対応する特定の被写体が撮影された領域を検出する検出のステップと、
前記検出のステップによる検出結果の処理により、前記原画像上で、前記特定の被写体が撮影された領域を検出する検出結果の処理のステップと、
過去の前記検出のステップの検出結果に基づいて、前記検出ステップで処理に供する前記縮小画像を切り替えるステップと、
を有し、
前記検出のステップは、
解像度が順次段階的に変化する順序により前記複数の縮小画像を処理して、前記特定の領域が撮影された領域を検出する
ことを特徴とする画像処理方法。
【請求項１４】
演算処理手段による実行により画像を処理する画像処理方法のプログラムにおいて、
原画像を取得する画像取得のステップと、
前記画像取得のステップで取得した前記原画像の解像度を変換して、解像度が異なる複数の縮小画像を生成する解像度変換のステップと、
前記解像度変換のステップで生成される前記複数の縮小画像を、テンプレートを用いたテンプレートマッチングにより処理して、前記縮小画像から、前記テンプレートに対応する特定の被写体が撮影された領域を検出する検出のステップと、
前記検出のステップによる検出結果の処理により、前記原画像上で、前記特定の被写体
が撮影された領域を検出する検出結果の処理のステップと、
過去の前記検出のステップの検出結果に基づいて、前記検出ステップで処理に供する前記縮小画像を切り替えるステップと、
を有し、
前記検出のステップは、
解像度が順次段階的に変化する順序により前記複数の縮小画像を処理して、前記特定の領域が撮影された領域を検出する
ことを特徴とする画像処理方法のプログラム。
【請求項１５】
演算処理手段による実行により画像を処理する画像処理方法のプログラムを記録した記録媒体において、
原画像を取得する画像取得のステップと、
前記画像取得のステップで取得した前記原画像の解像度を変換して、解像度が異なる複数の縮小画像を生成する解像度変換のステップと、
前記解像度変換のステップで生成される前記複数の縮小画像を、テンプレートを用いたテンプレートマッチングにより処理して、前記縮小画像から、前記テンプレートに対応する特定の被写体が撮影された領域を検出する検出のステップと、
前記検出のステップによる検出結果の処理により、前記原画像上で、前記特定の被写体が撮影された領域を検出する検出結果の処理のステップと、
過去の前記検出のステップの検出結果に基づいて、前記検出ステップで処理に供する前記縮小画像を切り替えるステップと、
を有し、
前記検出のステップは、
解像度が順次段階的に変化する順序により前記複数の縮小画像を処理して、前記特定の領域が撮影された領域を検出する
ことを特徴とする画像処理方法のプログラムを記録した記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体に関し、例えばディジタルスチルカメラに適用することができる。本発明は、解像度が順次段階的に変化する順序により、縮小画像を順次テンプレートマッチングして特定の被写体が撮影された領域を検出することにより、特定の被写体が撮影された領域を高速度で検出して適切に優先順位を設定することができるようにする。
【背景技術】
【０００２】
従来、デジタルスチルカメラ、ビデオカメラ等の撮像装置では、特定の被写体が撮影された領域を撮像結果から検出し、この領域の撮像結果に基づいて撮像系等を制御する方法等が提案されている。このような方法では、この特定の被写体に、主に人物の顔が適用され、例えば肌色領域の検出、テンプレートを用いたテンプレートマッチング等により、この特定の被写体が撮影された領域を検出している。
【０００３】
このような方法に関して、特開２００４−３０６２９号公報には、テンプレートを用いたテンプレートマッチングにおいて、顔が撮影された領域の検出に係る工夫が提案されている。
【０００４】
ところでこのように撮像結果から特定の被写体が撮影された領域を検出する処理は、撮像装置、被写体の動きに追従することができるように、充分に高速度で実行することが必要になる。また特定の被写体が撮影された領域が複数個所で検出される場合もあり、このような場合には、これら複数個所で検出された領域について、何れの領域を優先して処理するのか、適切に、優先順位を設定することが必要になる。
【特許文献１】特開２００４−３０６２９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
本発明は以上の点を考慮してなされたもので、特定の被写体が撮影された領域を高速度で検出して適切に優先順位を設定することができる画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体を提案しようとするものである。
【課題を解決するための手段】
【０００６】
かかる課題を解決するため請求項１の発明は、画像処理装置に適用して、原画像を取得する画像取得部と、前記画像取得部で取得した前記原画像の解像度を変換して、解像度が異なる複数の縮小画像を生成する解像度変換部と、前記解像度変換部で生成される前記複数の縮小画像を、テンプレートを用いたテンプレートマッチングにより処理して、前記縮小画像から、前記テンプレートに対応する特定の被写体が撮影された領域を検出する検出部と、前記検出部による検出結果の処理により、前記原画像上で、前記特定の被写体が撮影された領域を検出する検出結果の処理部とを有し、前記検出部は、解像度が順次段階的に変化する順序により前記複数の縮小画像を処理して、前記特定の領域が撮影された領域を検出する。
【０００７】
また、本発明の別の観点によれば、画像処理方法に適用して、原画像を取得する画像取得のステップと、前記画像取得のステップで取得した前記原画像の解像度を変換して、解像度が異なる複数の縮小画像を生成する解像度変換のステップと、前記解像度変換のステップで生成される前記複数の縮小画像を、テンプレートを用いたテンプレートマッチングにより処理して、前記縮小画像から、前記テンプレートに対応する特定の被写体が撮影された領域を検出する検出のステップと、前記検出のステップによる検出結果の処理により、前記原画像上で、前記特定の被写体が撮影された領域を検出する検出結果の処理のステップとを有し、前記検出のステップは、解像度が順次段階的に変化する順序により前記複数の縮小画像を処理して、前記特定の領域が撮影された領域を検出する。
【０００８】
また、本発明の別の観点によれば、演算処理手段による実行により画像を処理する画像処理方法のプログラムに適用して、原画像を取得する画像取得のステップと、前記画像取得のステップで取得した前記原画像の解像度を変換して、解像度が異なる複数の縮小画像を生成する解像度変換のステップと、前記解像度変換のステップで生成される前記複数の縮小画像を、テンプレートを用いたテンプレートマッチングにより処理して、前記縮小画像から、前記テンプレートに対応する特定の被写体が撮影された領域を検出する検出のステップと、前記検出のステップによる検出結果の処理により、前記原画像上で、前記特定の被写体が撮影された領域を検出する検出結果の処理のステップとを有し、前記検出のステップは、解像度が順次段階的に変化する順序により前記複数の縮小画像を処理して、前記特定の領域が撮影された領域を検出する。
【０００９】
また、本発明の別の観点によれば、演算処理手段による実行により画像を処理する画像処理方法のプログラムを記録した記録媒体に適用して、原画像を取得する画像取得のステップと、前記画像取得のステップで取得した前記原画像の解像度を変換して、解像度が異なる複数の縮小画像を生成する解像度変換のステップと、前記解像度変換のステップで生成される前記複数の縮小画像を、テンプレートを用いたテンプレートマッチングにより処理して、前記縮小画像から、前記テンプレートに対応する特定の被写体が撮影された領域を検出する検出のステップと、前記検出のステップによる検出結果の処理により、前記原画像上で、前記特定の被写体が撮影された領域を検出する検出結果の処理のステップとを有し、前記検出のステップは、解像度が順次段階的に変化する順序により前記複数の縮小画像を処理して、前記特定の領域が撮影された領域を検出する。
【００１０】
本発明によれば、画像処理装置に適用して、原画像を取得する画像取得部と、前記画像取得部で取得した前記原画像の解像度を変換して、解像度が異なる複数の縮小画像を生成する解像度変換部と、前記解像度変換部で生成される前記複数の縮小画像を、テンプレートを用いたテンプレートマッチングにより処理して、前記縮小画像から、前記テンプレートに対応する特定の被写体が撮影された領域を検出する検出部と、前記検出部による検出結果の処理により、前記原画像上で、前記特定の被写体が撮影された領域を検出する検出結果の処理部とを有し、前記検出部は、解像度が順次段階的に変化する順序により前記複数の縮小画像を処理して、前記特定の領域が撮影された領域を検出すれば、この順次段階的な縮小画像の処理により、大きい順に、又は小さい順に、特定の被写体が撮影された領域を検出して、検出の順序により大きさに係る優先順位を設定することができ、また必要に応じて処理を中断して、短時間で目的の領域を検出することができ、これらにより特定の被写体が撮影された領域を高速度で検出して適切に優先順位を設定することができる。
【００１１】
また、本発明によれば、特定の被写体が撮影された領域を高速度で検出して適切に優先順位を設定することができる画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体を提供することができる。
【発明の効果】
【００１２】
本発明によれば、特定の被写体が撮影された領域を高速度で検出して適切に優先順位を設定することができる。
【発明を実施するための最良の形態】
【００１３】
以下、適宜図面を参照しながら本発明の実施例を詳述する。
【実施例１】
【００１４】
（１）実施例の構成
図２は、本発明の実施例に係る撮像装置を示すブロック図である。この撮像装置１は、ディジタルスチルカメラであり、静止画又は動画により所望の被写体の撮像結果を取得して記録する。
【００１５】
すなわちこの撮像装置１において、レンズ２は、中央処理ユニット（ＣＰＵ）３の制御により、絞り、フォーカス、ズームを可変して入射光を集光し、続くイメージセンサ４の撮像面に被写体の光学像を形成する。
【００１６】
イメージセンサ４は、撮像面に配置された各受光素子の光電変換処理により、レンズ２により撮像面に形成された光学像の撮像結果を動画又は静止画により出力する。
【００１７】
カメラ信号処理部６は、中央処理ユニット３の制御によりイメージセンサ４から出力される撮像結果を入力して、マトリックス演算、ガンマ補正、ホワイトバランス調整等の信号処理を実行し、その処理結果による画像データを画像バスＢＵＳに出力する。
【００１８】
またカメラ信号処理部６は、これらの処理において、画像表示部９におけるモニタ用の画像データ、顔検出部８における顔検出用の原画像データを生成して出力する。なおこの実施例では、原画像データには、モニタ用の画像データが適用され、例えば６４０画素×３８０画素によるＶＧＡ（Video Graphics Array）による画像データ、３２０画素×２４０画素による画像データ等が適用される。これらによりこの実施例において、レンズ２、イメージセンサ４、カメラ信号処理部６は、動画、静止画の撮像結果による原画像に係る画像データを取得する画像取得部を構成する。
【００１９】
画像ＲＡＭ（Random Access Memory）７は、中央処理ユニット３の制御により、画像バスＢＵＳに出力される画像データを一時格納して画像バスＢＵＳに出力する。
【００２０】
顔検出部８は、中央処理ユニット３の制御により、この画像ＲＡＭ７に記録された原画像データを取得し、この原画像データによる画像から特定の被写体が撮影された領域を検出する。この実施例では、この特定の被写体が、人物の顔に設定され、顔検出部８は、検出結果Ｄ１を中央処理ユニット３に通知する。
【００２１】
すなわち図３に示すように、顔検出部８において、解像度変換部８Ａは、コントローラ８Ｂにより指示された倍率αに応じて画像ＲＡＭ７に格納された画像データをフィルタリング処理して解像度を変換し、これにより画像ＲＡＭ７に格納された画像データによる画像を、この倍率αに応じて縮小して出力する。
【００２２】
画像メモリ８Ｃは、コントローラ８Ｂの制御により、この解像度変換部８Ａから出力される画像データを記録して保持し、保持した画像データを画像ＲＡＭ７、顔検出コア８Ｄに格納する。これにより顔検出部８は、画像ＲＡＭ７に格納された原画像を種々の倍率により縮小して画像ＲＡＭ７に格納し、さらにはこの画像ＲＡＭ７に格納した画像を種々の倍率により縮小して画像ＲＡＭ７に格納し、これらにより画像ＲＡＭ７に格納した原画像の解像度を種々に低減した縮小画像を生成して画像ＲＡＭ７に格納する。
【００２３】
顔検出コア８Ｄは、コントローラ８Ｂの制御により、テンプレートを用いたテンプレートマッチングにより、画像メモリ８Ｃから出力される画像データによる画像から顔が撮影された領域を検出する。すなわち顔検出コア８Ｄは、画像メモリ８Ｃから出力される画像データを一時記録して保持し、この保持した画像データを順次選択してテンプレートを構成する画像データとの間で相関値検出処理を実行し、これによりこの画像データによる画像上でテンプレートを走査させて、各走査位置で、この処理対象画像とテンプレートとの類似の程度を示す相関値を検出する。なおこの実施例において、この相関値の検出は、重なり合った画素間で輝度レベルの差分絶対値和を計算して実行されるが、このような処理に代えて、処理対象画像とテンプレートとをそれぞれ２値により表現して論理演算する場合等、種々の手法を適用することができる。
【００２４】
顔検出コア８Ｄは、このようにして検出した相関値を所定のしきい値により判定し、これにより顔が撮影された領域を検出する。顔検出コア８Ｄは、例えば正面から撮影した顔、斜め正面から撮影した顔、丸顔等の、水平方向及び垂直方向が同一のサンプリング数に設定された複数種類のテンプレートをメモリに保持する。またこれら単一の大きさによる複数種類のテンプレートで、相関値検出に係る一連の処理を同時並列的に実行し、これにより種々に被写体が異なる場合でも、顔が撮影された領域を確実に検出する。
【００２５】
また顔検出コア８Ｄは、コントローラ８Ｂの指示により、後述する重力方向センサ１３により検出されるこの撮像装置１の向きに応じて、この撮像装置１の向き、傾きを補正するように、これら複数のテンプレートに対する処理対象画像の向きを補正して相関値検出処理を実行し、これによりユーザーがこの撮像装置１の向きを変化させて縦長の画角により撮影した場合等にあっても、顔が撮影された領域を確実に検出する。
【００２６】
また同様のコントローラ８Ｂの指示により、走査開始位置、走査順序、走査の終了位置を切り換え、これにより短時間かつ充分な精度で顔が撮影された領域を検出する。具体的に、例えばこの撮像装置１における撮影モードが、人物を撮影する撮影モードであるポートレートに設定されている場合、人物の顔は、画面の中央部分で撮影されている場合が多い。これによりこの場合、顔検出コア８Ｄは、コントローラ８Ｂの制御により、画面の中央より走査を開始し、外周方向に向かってらせん状にテンプレートを走査させることにより、顔が撮影された領域を短い時間で検出する。また最外周では走査を中止することにより、顔の検出に要する時間を短くして、実用上充分な精度により顔が撮影された領域を検出する。これに対して集合写真の場合、人物の顔は、画面の各所で顔が検出されることが予測される。これによりこの場合、顔検出コア８Ｄは、例えばラスタ走査の順序により走査して顔が撮影された領域を漏れなく検出する。
【００２７】
顔検出コア８Ｄは、このようにして相関値の判定により検出される顔が撮影された領域の位置を、顔の検出に供したテンプレートの大きさと共に、顔検出の検出結果Ｄ１として中央処理ユニット３に通知する。
【００２８】
コントローラ８Ｂは、中央処理ユニット３の制御により、これら解像度変換部８Ａ、画像メモリ８Ｃ、顔検出コア８Ｄの動作を制御する。
【００２９】
画像表示部９は、例えば液晶表示装置と、この液晶表示装置の周辺部により構成され、中央処理ユニット３の制御により、画像ＲＡＭ７に記録されたモニタ用の画像データによる画像を表示する。またこのとき、中央処理ユニット３の指示により、顔検出部８による検出結果に基づいて、顔を囲む矩形形状による枠を表示する。
【００３０】
これらによりこの撮像装置１では、レンズ２、イメージセンサ４、カメラ信号処理部６から入力された動画、静止画による画像データを画像表示部９によりモニタできるように構成され、このときユーザーによる指示により、顔が撮影された領域を確認できるように構成される。
【００３１】
画像圧縮伸長部１０は、中央処理ユニット３の制御により、この画像ＲＡＭ７に記録された画像データを取得し、この画像データを例えばＪＰＥＧ（Joint Photographic Coding Experts Group ）、ＭＰＥＧ（Moving Picture Experts Group）等の手法によりデータ圧縮し、その処理結果による画像データを画像ファイルにより画像記録媒体１２に記録する。またこれとは逆に、画像記録媒体１２に記録された画像ファイルをデータ伸長し、その処理結果による画像データを画像ＲＡＭ７に記録する。
【００３２】
これによりこの撮像装置１では、動画、静止画による撮像結果を画像記録媒体１２に記録し、またこの画像記録媒体１２に記録された画像データファイルを種々に処理できるように構成される。
【００３３】
ここで画像記録媒体１２は、例えばメモリカード、光ディスク、磁気ディスク、磁気テープ等の各種記録媒体であり、画像圧縮伸長部１０、中央処理ユニット３から出力される各種のデータを記録し、また記録した各種のデータを画像圧縮伸長部１０、中央処理ユニット３に出力する。なお画像記録媒体１２は、着脱可能な形式によるもの、着脱困難な内蔵形式のものの何れか、又は双方を適用することができる。
【００３４】
また画像圧縮伸長部１０は、このような記録媒体に代えて、有線、無線によるデータ通信部を介して外部機器との間で画像データを入出力する。
【００３５】
これらによりこの撮像装置１において、画像圧縮伸長部１０は、記録媒体に記録された原画像に係る画像データを取得する記録媒体に係る画像取得部を構成すると共に、外部機器との間でデータ通信するデータ通信部を構成する。
【００３６】
これらによりこの撮像装置１では、ユーザーが静止画による撮影モードを選択した場合、イメージセンサ４により動画による撮像結果を順次取得してカメラ信号処理部６で信号処理した後、画像ＲＡＭ７に格納すると共に、この画像ＲＡＭ７に格納した動画による撮像結果を画像表示部９で表示し、これにより撮影対象をモニタできるようにする。またこのようにモニタした状態で、ユーザーがトリガスイッチを操作すると、それまでの動画による撮像結果に代えて、静止画による撮像結果を取得して画像ＲＡＭ７に格納すると共に、この画像ＲＡＭ７に格納した静止画による撮像結果を画像表示部９で表示し、これにより撮像結果をモニタできるようにする。またユーザーにより撮像結果の記録が指示されると、画像ＲＡＭ７に格納した静止画による画像データを画像圧縮伸長部１０でデータ圧縮して画像記録媒体１２に記録する。
【００３７】
これに対してユーザーが動画による撮影モードを選択した場合、イメージセンサ４により動画による撮像結果を順次取得してカメラ信号処理部６で信号処理した後、画像ＲＡＭ７に格納すると共に、この画像ＲＡＭ７に格納した動画による撮像結果を画像表示部９で表示し、これによりこの場合も撮影対象をモニタできるようにする。またこの状態でユーザーがトリガスイッチを操作すると、順次、画像ＲＡＭ７に格納される画像データを画像圧縮伸長部１０でデータ圧縮して画像記録媒体１２に記録する。
【００３８】
またユーザーが画像記録媒体１２に記録された静止画、動画による画像ファイルの再生を指示すると、この画像ファイルによる画像データを画像記録媒体１２より取得して画像圧縮伸長部１０によりデータ伸長し、その処理結果による画像データを画像ＲＡＭ７に格納する。またこの画像ＲＡＭ７に格納した画像データよりモニタ用の画像データを生成し、このモニタ用の画像データによる画像を画像表示部９で表示する。
【００３９】
重力方向センサ１３は、各方向への加速度を検出する加速度センサと、この加速度センサによる検出結果を処理して重力加速度の方向を検出する信号処理部とにより構成され、これによりこの撮像装置１の向きを検出して中央処理ユニット３に通知する。
【００４０】
メモリ１４は、不揮発性メモリと揮発性メモリとにより形成され、中央処理ユニット３のプログラム、中央処理ユニット３の処理に必要なデータ等を記録し、また中央処理ユニット３のワークエリア等を形成する。
【００４１】
中央処理ユニット３は、この撮像装置１の動作を制御する制御部であり、メモリ１４に記録されたプログラムの実行により、ユーザーによる操作に応動して各部の動作を制御する。これによりこの実施例において、このプログラムは、この撮像装置１に事前にインストールされて提供されるものの、このような事前のインストールによる提供に代えて、光ディスク、磁気ディスク、メモリカード等の各種記録媒体に記録して提供するようにしてもよく、またインターネット等のネットワークを介したダウンロードにより提供するようにしてもよい。
【００４２】
中央処理ユニット３は、この処理手順の実行により、ユーザーによる指示に応動して動画、静止画による撮像結果を取得して画像表示部９で表示し、またこの撮像結果を画像記録媒体１２に記録する。このとき中央処理ユニット３は、顔検出部８に動作を指示して検出結果Ｄ１を取得し、この検出結果Ｄ１に基づいて、顔が撮影された領域の画像データを取得する。中央処理ユニット３は、この取得した画像データにより、レンズ２の絞り、フォーカスを制御して自動絞り制御、自動フォーカス制御の処理を実行し、またカメラ信号処理部６におけるホワイトバランス調整を制御する。
【００４３】
具体的に、中央処理ユニット３は、この顔が撮影された領域が一定の輝度レベルとなるように、レンズ２の絞りを制御し、これにより自動絞り制御の処理を実行する。なお中央処理ユニット３は、画面全体の平均輝度レベル等を基準にした従来手法による絞り制御の手法との組み合わせにより絞り制御の処理を実行し、これにより例えば風景の撮影により顔を撮影した領域が検出されない場合でも、確実に絞り制御できるようにする。
【００４４】
また中央処理ユニット３は、この顔が撮影された領域の大きさにより、この顔が撮影された人物までの距離を推定し、この距離によりフォーカス制御する。なお中央処理ユニット３は、この場合も、高周波成分の信号レベルが増大する方向に常にフォーカスを可変制御するいわゆる山上り法等による従来手法によるフォーカス制御と組み合わせて、フォーカス制御の処理を実行し、これにより顔を撮影した領域が検出されない場合でも、確実にフォーカス制御できるようにする。
【００４５】
また中央処理ユニット３は、この顔が撮影された領域の色相が一定値である肌色の色相となるように、各色信号の利得を補正してホワイトバランス調整する。またこの場合も、従来手法との組み合わせによりホワイトバランス調整し、これにより顔を撮影した領域が検出されない場合でも、確実にホワイトバランス調整できるようにする。なおこれら従来手法との組み合わせにあっては、例えば、顔が撮影された領域が一定の面積以上の大きさにより検出されない場合に限って従来手法を適用する場合、この顔が撮影された領域の面積等による重み付け係数により、従来手法による制御量との間で制御量を重み付け加算して制御する場合等、種々の組み合わせ手法を広く適用することができる。
【００４６】
またさらにこのような自動絞り制御、自動フォーカス制御、ホワイトバランス調整の基準とする領域の表示がユーザーにより指示されると、顔を囲む枠の表示を画像表示部９に指示する。また中央処理ユニット３は、ユーザーによる事前の動作モードの設定により、この顔検出部８の検出結果Ｄ１を画像付随情報Ｄ２として対応する画像ファイルに添付して、又は対応する画像ファイルと関連付けした別ファイルとして、画像記録媒体１２に記録する。
【００４７】
これに対してユーザーにより画像記録媒体１２に記録された画像ファイルのモニタが指示されると、画像記録媒体１２に記録された画像ファイルの画像表示部９による表示を各部に指示する。このとき顔を囲む枠の表示をユーザーが指示すると、中央処理ユニット３は、この画像ファイルの画像付随情報Ｄ２が画像記録媒体１２に記録されている場合には、この画像記録媒体１２に記録された画像付随情報Ｄ２により、顔を囲む枠の表示を画像表示部９に指示する。
【００４８】
これに対して顔を囲む枠の表示をユーザーが指示して、画像付随情報Ｄ２が画像記録媒体１２に記録されていない場合には、顔検出部８に動作の開始を指示し、画像記録媒体１２から再生されて画像ＲＡＭ７に記録される画像データを顔検出部８により処理して、顔が撮影された領域の検出結果Ｄ１を取得する。またこの取得した検出結果Ｄ１により、顔を囲む枠の表示を画像表示部９に指示する。
【００４９】
またこのようにして画像記録媒体１２に記録された画像ファイルを再生して、ユーザーによる指示により、人物を基準にした画像の補正が指示されると、撮影時における自動絞り制御、ホワイトバランス調整と同様に、顔が撮影された領域を基準にして、画像ＲＡＭ７に格納された画像データの輝度レベル、色相を補正して画像表示部９で表示する。またユーザーによる指示により、このように輝度レベル、色相を補正してなる画像ファイルを画像記録媒体１２に記録する。なおここでこの輝度レベル、色相の補正は、カメラ信号処理部６に画像データを転送してカメラ信号処理部６の処理により実行しても良く、またこれに代えて中央処理ユニット３により画像データを処理して実行してもよい。
【００５０】
これらによりこの撮像装置１では、顔検出部８により検出される特定の被写体を撮影した領域を基準にして、撮像系、信号処理系の動作を種々に制御する。
【００５１】
図４は、この顔検出部８による特定の被写体を撮影した領域を検出する処理に係る中央処理ユニット３の処理手順の説明に供する略線図である。この実施例において、中央処理ユニット３は、単一の大きさによるテンプレートＴＰに対して、処理対象の画像側の大きさを順次段階的に変化させて顔が撮影された領域を検出することにより、特定の被写体が撮影された領域を高速度で検出して適切に優先順位を設定する。
【００５２】
すなわち例えば「ポートレートモード」、自分自身を撮影する撮影モードである「自分撮りモード」等の撮影モードによる撮影の場合、少人数の近景による撮影であり、この場合、主要な被写体の顔程、撮像結果で大きい面積を占める傾向にある。これによりこの図４に示す例では、画像ＲＡＭ７に格納した原画像データによる原画像Ｇ０において、顔Ｋ１が最も大きく写っている人物が主要な人物であり、小さく顔Ｋ２、Ｋ３が写っている人物が優先順位の低い関係者であると判断される。
【００５３】
これによりこの場合、この最も大きな顔Ｋ１を初めに検出し、続いて小さく写った顔Ｋ２、Ｋ３を順次検出するように、処理対象の画像の大きさを順次段階的に変化させてテンプレートと比較すれば、主要な人物から、順次、顔が撮影された領域を検出することができる。またこの場合、主要な人物の顔が検出された後の、一定の段階で処理を終了しても、この撮像装置１における処理に関して実用上充分な範囲で顔が撮影された領域を検出することができる。
【００５４】
すなわちこの図４の例では、原画像データによる原画像Ｇ０の解像度を順次段階的に縮小して縮小画像Ｇ７、Ｇ６、Ｇ５、……、Ｇ１を生成し、テンプレートＴＰを用いたテンプレートマッチングにより、これら縮小画像Ｇ７、Ｇ６、Ｇ５、……、Ｇ１、原画像Ｇ０で顔が撮影された領域を検出すると、それぞれ縮小画像Ｇ６、Ｇ４で顔Ｋ１、Ｋ２が検出され、また原画像Ｇ０で顔Ｋ３が検出される。これによりこの場合、大きく撮影された顔より順次検出することができるように、矢印Ａに示すように、初めに原画像を大きく縮小した縮小画像Ｇ７で顔が撮影された領域を検出し、続いて原画像Ｇ０に大きさが近づくように、順次段階的に処理対象画像の大きさを拡大させて顔が撮影された領域を検出することにより、検出順序の優先順位によりこれら顔が撮影された領域を検出することができる。
【００５５】
これに対して集合写真により多数の人物を撮影している場合には、撮影された人物の数が多ければ多い程、大きく縮小された縮小画像で、無駄にテンプレートマッチングの処理を実行することになる。これによりこのような場合には、矢印Ｂにより示すように、順次、処理対象画像を縮小して顔が撮影された領域を検出するようにして、処理を開始して短時間で顔が撮影された領域を検出することができる。
【００５６】
また「風景モード」等により撮影する場合には、顔を含まない場合もあり、また顔を含む場合であっても、風景を背景とした人物の遠景、通行人等の、顔の撮影された領域の面積が極めて小さい場合が多く、これらの場合でも、画面いっぱいを占めるような大きな顔が存在することは、非常にまれであると予測される。これによりこの場合、小さな面積によるものから順次段階的に面積の大きな顔を検出するようにして、一連の処理の途中で、顔が撮影された領域の検出処理を中止しても、実用上充分な精度により顔が撮影された領域を検出することができる。
【００５７】
これにより中央処理ユニット３は、図１及び図５に示す処理手順を実行することにより、処理対象画像の大きさを順次段階的に変化させて顔が撮影された領域を検出する。すなわち中央処理ユニット３は、この処理手順を開始すると、ステップＳＰ１からステップＳＰ２に移り、カメラ信号処理部６の制御により、原画像Ｇ０の画像データを生成して画像ＲＡＭ７に格納する。また続くステップＳＰ３において、顔検出部８に設けられたコントローラ８Ｂを介して解像度変換部８Ａ、画像メモリ８Ｃの動作を制御することにより、図６に示すように、順次倍率αを切り換えて、画像ＲＡＭ７に格納された原画像Ｇ０による画像データの解像度を変換して画像ＲＡＭ７に格納し、これにより縮小画像Ｇ１〜Ｇ７の画像データを画像ＲＡＭ７に格納する。なおこの場合、図４において矢印Ｂにより示すように、一体の倍率により順次縮小画像を縮小して、これら解像度の異なる複数の縮小画像Ｇ１〜Ｇ７を生成するようにしてもよい。
【００５８】
続いて中央処理ユニット３は、ステップＳＰ４において、大きい順序により顔が撮影された領域を検出するか、小さい順により顔が撮影された領域を検出するかを判定する。ここで中央処理ユニット３は、撮影モード、過去の顔検出コア８Ｄによる検出結果であるそれまでの連続するフレームの処理結果により、このステップＳＰ４における判定の処理を実行する。具体的に、中央処理ユニット３は、「ポートレートモード」「自分撮りモード」等の、少人数の近景による撮影が予測される撮像モードに、この撮像装置１の撮影モードが設定されている場合、大きい順序により顔が撮影された領域を検出するように判定する。またこのような撮影モードにより判定できない場合でも、１人〜数人の顔が、比較的大きな面積で写っている画像が数フレーム続いた場合には、大きい順序により顔が撮影された領域を検出するように判定する。
【００５９】
これに対して「風景モード」等の、多数の顔が比較的小さな面積で写っていることが予測される撮影モードに設定されている場合、小さい順序により顔が撮影された領域を検出するように判定する。またこのような撮影モードにより判定できない場合でも、集合写真等のように、多数の顔が比較的小さな面積で写っている画像が数フレーム続いていた場合、小さい順序により顔が撮影された領域を検出するように判定する。
【００６０】
なお中央処理ユニット３は、このステップＳＰ４において、何れの順序により顔が撮影された領域を検出するか判定できない場合、初期設定に従って何れかの順序により顔検出し、この実施例では、この初期設定が大きい順序による検出に設定される。なおこの初期設定にあっては、この撮像装置１の使用の履歴、ユーザーの設定等により設定してもよい。
【００６１】
これにより中央処理ユニット３は、ステップＳＰ４で、大きい順序により顔が撮影された領域を検出すると判定した場合、ステップＳＰ４からステップＳＰ５に移り、最も小さな縮小画像Ｇ７を処理対象画像に設定するように、画像ＲＡＭ７に格納した縮小画像Ｇ７の画像データを画像メモリ８Ｃにロードして顔検出コア８Ｄに転送し、ここでテンプレートマッチングにより顔が撮影された領域を検出する。しかして図４の例では、この縮小画像Ｇ７では、顔が撮影された領域は検出されないことになる。
【００６２】
続いて中央処理ユニット３は、ステップＳＰ６において、同様にして、この縮小画像Ｇ７より１段階だけ大きな縮小画像Ｇ６を処理対象画像に設定して同様の処理を実行し、図４の例では、ここで顔Ｋ１が検出されることになる。また中央処理ユニット３は、これらの処理を順次繰り返して、各縮小画像Ｇ１〜Ｇ７、原画像Ｇ０を用いたテンプレートマッチングにより顔が撮影された領域を検出する。なおこれらの処理において、中央処理ユニット３は、撮影モード等に応じて顔検出コア８Ｄに走査順序、走査開始位置等を指示する。
【００６３】
これらの各縮小画像Ｇ１〜Ｇ７、原画像Ｇ０を用いて顔検出の処理を順次段階的に実行して、中央処理ユニット３は、所定の処理段階で、処理を中止するか否か判断する。これにより図１の処理において、中央処理ユニット３は、ステップＳＰ７において、縮小画像Ｇ６を処理すると、続くステップＳＰ８において、処理を中止するか否か判断する。なおこの処理を中止するか否かの判断の処理にあっては、各段階毎に実行するようにしてもよく、さらにはユーザーによる設定等に応じた段階で実行するようにしてもよい。
【００６４】
このステップＳＰ８において、中央処理ユニット３は、過去の検出結果、撮影モードに応じて処理を中止するか否か判断する。具体的に、中央処理ユニット３は、それまでの処理で、画像表示部９で表示する顔を囲む枠の分だけ、既に顔が撮影された領域を検出している場合、処理を中止すると判定する。また例えば「ポートレートモード」「自分撮りモード」に設定されている場合、各撮影モードに応じた段階で、処理を中止すると判定する。なおユーザーによる設定に応じて、処理を中止するか否か判断するようにしてもよい。
【００６５】
これによりこの場合、中央処理ユニット３は、ステップＳＰ８からステップＳＰ９に移り、残りの縮小画像Ｇ３〜Ｇ１、原画像Ｇ０を用いたテンプレートマッチングの処理を中止する。これにより中央処理ユニット３は、過去の検出結果に基づいて、さらには撮像部における撮影モードに応じて、テンプレートマッチングの処理に供する縮小画像を切り換える。なおこのような過去の検出結果、撮影モードに応じた処理対象画像の切り換えにあっては、このような処理を終了する縮小画像の切り換えに代えて、又は加えて、処理を開始する縮小画像の切り換えにより実行するようにしてもよい。
【００６６】
中央処理ユニット３は、続くステップＳＰ９において、続くフレームの画像が得られたか否か判断し、ここで続くフレームの画像が得られている場合には、ステップＳＰ２に戻って処理を繰り返すのに対し、続くフレームの画像が得られていない場合、ステップＳＰ９からステップＳＰ１０に移ってこの処理手順を終了する。
【００６７】
これに対してステップＳＰ８で否定結果が得られると、この場合、中央処理ユニット３は、残りの縮小画像Ｇ３〜Ｇ１、原画像Ｇ０を用いて順次テンプレートマッチングの処理を実行した後、ステップＳＰ９に移る。
【００６８】
これに対して小さい順序により検出する場合、中央処理ユニット３は、ステップＳＰ４からステップＳＰ１３に移り、最も大きな原画像Ｇ０を処理対象画像に設定するように、画像ＲＡＭ７に格納した原画像Ｇ０の画像データを画像メモリ８Ｃにロードして顔検出コア８Ｄに転送し、ここでテンプレートマッチングにより顔が撮影された領域を検出する。しかして図４の例では、この原画像Ｇ０では、最も小さな顔Ｋ３が検出されることになる。
【００６９】
続いて中央処理ユニット３は、ステップＳＰ１４において、同様にして、この原画像Ｇ０より１段階だけ小さな縮小画像Ｇ１を処理対象画像に設定して同様の処理を実行し、これらの処理を順次繰り返して、画像が小さい順序により、各縮小画像Ｇ１〜Ｇ７、原画像Ｇ０を用いたテンプレートマッチングにより顔が撮影された領域を検出する。なおこれらの場合にあっても、中央処理ユニット３は、撮影モード等に応じて顔検出コア８Ｄに走査順序、走査開始位置等を指示する。
【００７０】
このように画像の小さい順序により、各縮小画像Ｇ１〜Ｇ７、原画像Ｇ０による顔検出の処理を順次段階的に実行して、中央処理ユニット３は、この場合も、所定の処理段階で、処理を中止するか否か判断する。これにより図５の処理において、中央処理ユニット３は、ステップＳＰ１５において、縮小画像Ｇ４を処理すると、続くステップＳＰ１６において、処理を中止するか否か判断する。なおこの処理を中止するか否かの判断の処理にあっても、各段階毎に実行するようにしてもよく、さらにはユーザーによる設定等に応じた段階で実行するようにしてもよい。
【００７１】
このステップＳＰ１５において、中央処理ユニット３は、過去の検出結果に応じて処理を中止するか否か判断する。具体的に、中央処理ユニット３は、例えばそれまでの段階で顔が撮影された領域が検出された後、何段階か連続して顔が撮影された領域を検出できない場合、さらにはそれまでの連続するフレームにおいて、以降の段階で顔が撮影された領域が検出されていない場合、処理を中止すると判断する。なお例えば風景モードによる場合には、一定の段階以降については処理を中止するようにし、これにより撮影モードに応じて処理を中止するか否か判断するようにしてもよく、またユーザーによる設定に応じて、処理を中止するか否か判断するようにしてもよい。
【００７２】
これによりこの場合、中央処理ユニット３は、ステップＳＰ１６からステップＳＰ９に移り、残りの縮小画像Ｇ５〜Ｇ７を用いたテンプレートマッチングの処理を中止する。またこのステップＳＰ９において、続くフレームの画像が得られたか否か判断し、ここで続くフレームの画像が得られている場合には、ステップＳＰ２に戻って処理を繰り返すのに対し、続くフレームの画像が得られていない場合、ステップＳＰ９からステップＳＰ１０に移ってこの処理手順を終了する。これによりこの場合も、中央処理ユニット３は、過去の検出結果に基づいて、さらには撮像部における撮影モードに応じて、テンプレートマッチングの処理に供する縮小画像を切り換える。なおこの場合も、このような処理を終了する縮小画像の切り換えに代えて、又は加えて、処理を開始する縮小画像の切り換えにより処理対象画像を切り換えるようにしてもよい。
【００７３】
これに対してステップＳＰ１６で否定結果が得られると、この場合、中央処理ユニット３は、残りの縮小画像Ｇ５〜Ｇ７を用いて順次テンプレートマッチングの処理を実行した後、ステップＳＰ９に移る。
【００７４】
なおこのように事前に、大きさの異なる複数種類の縮小画像を作成して画像ＲＡＭ７に格納して各段階のテンプレートマッチング処理を実行する代わりに、各段階のテンプレートマッチング処理を実行する際に、対応する大きさの縮小画像をその都度、作成するようにしてもよい。このようにすれば無駄な縮小画像の作成処理を省略することができ、さらには画像ＲＡＭ７への縮小画像に係る画像データの書き込み処理を省略できることにより、その分、処理に要する時間を短くすることができる。またこの場合に、原画像からの縮小に代えて、直前段階の縮小画像を縮小して処理対象の縮小画像を生成するようにしてもよい。
【００７５】
中央処理ユニット３は、このように順次段階的に顔が撮影された領域を検出するようにして、顔が撮影された領域の位置情報により顔検出コア８Ｄから顔検出結果Ｄ１を取得する。
【００７６】
また図７に示すように、検出に供した縮小画像の倍率αにより、テンプレートＴＰの大きさを割り算することにより、この倍率αの分だけテンプレートＴＰの大きさを拡大し、この拡大した大きさと、顔検出結果Ｄ１による対応する位置情報とにより、原画像上で顔が撮影された領域を計算する。これにより中央処理ユニット３は、単一の大きさによるテンプレートを用いた顔検出結果Ｄ１を補正する。またこの補正した顔検出結果Ｄ１により、画像表示部９に顔を囲む枠の表示を指示する。またこの補正した顔検出結果により画像付随情報Ｄ２を生成する。
【００７７】
またこのようにして補正した顔検出結果により、顔が検出された領域の画像データを取得して絞り制御、フォーカス制御、ホワイトバランス調整の処理を実行する。このとき、中央処理ユニット３は、検出順序により優先順位を設定し、この優先順位に従って、例えば大きい順序により顔が撮影された領域を検出した場合には、最も大きく撮影されている顔を基準にして絞り制御、フォーカス制御、ホワイトバランス調整の処理を実行する。またこのとき他に顔が撮影された領域が検出されている場合には、この領域の輝度レベル、大きさ等を参考にしてこれら絞り制御、フォーカス制御、ホワイトバランス調整の処理を実行する。なおこのような処理にあっては、例えば各領域により求められる制御量を重み付け加算して最終的な制御量を求め、この最終的な制御量により絞り制御等の処理を実行する処理等である。
【００７８】
（２）実施例の動作
以上の構成において、この撮像装置１では（図２）、動画、静止画による撮像結果がイメージセンサ４により取得されてカメラ信号処理部６により種々に補正され、この撮像結果が画像ＲＡＭ７に格納される。またこの画像ＲＡＭ７に格納された撮像結果が画像表示部９によりモニタに供され、ユーザーによる指示により画像圧縮伸長部１０でデータ圧縮されて記録媒体１２に記録される。またこれに代えて入出力端子より外部機器に出力される。
【００７９】
これらの処理において、この撮像装置１では、カメラ信号処理部６における解像度変換処理により、モニタ用の画像データが生成され、このモニタ用の画像データにより画像表示部９で撮像結果がモニタに供される。またこのモニタ用の画像データが顔検出に供する原画像の画像データに設定されて、顔検出部８の解像度変換部８Ａに入力され（図３）、ここで所定値だけ解像度が低減されて縮小画像の画像データが生成される。またこの縮小画像の画像データが画像メモリ８Ｃを介して画像ＲＡＭ７に格納される。この撮像装置１では、この解像度変換部８Ａ、画像メモリ８Ｃによる処理が繰り返されて、原画像に対して解像度を順次段階的に低減した複数の縮小画像による画像データが画像ＲＡＭ７に格納される。
【００８０】
この撮像装置１では、このようにして複数の縮小画像による画像データを事前に生成して画像ＲＡＭ７に格納するようにして、この画像データが順次画像コア８Ｄに転送されてテンプレートを用いたテンプレートマッチングにより処理され、これによりテンプレートに対応する特定の被写体が撮影された領域が縮小画像から検出される。この撮像装置１では、この特定の被写体が人物の顔に設定されて、この画像コア８Ｄにおいて、解像度が順次段階的に変化する順序によりこれら複数の縮小画像が処理され、これにより大きい順により、又は小さい順により、特定の被写体が撮影された領域を検出して、検出の順序に基づいて優先順位を設定することができ、また必要に応じて処理を中止して短時間で目的の領域を検出することができ、これらにより特定の被写体が撮影された領域を高速度で検出して適切に優先順位を設定することができる。
【００８１】
またこのように解像度を順次段階的に変化させてテンプレートマッチングにより縮小画像を処理することにより、単一の大きさによるテンプレートを用いて、顔が撮影された種々の大きさによる領域を検出することができ、その分、撮像装置１にあっては、構成を簡略化することができる。
【００８２】
この撮像装置１では、この処理対象に係る画像データが撮像部であるイメージセンサ４、カメラ信号処理部６により取得された画像データであり、さらにこのようにして検出した顔が撮影された領域を基準にして、絞り制御、フォーカス制御、ホワイトバランス調整の処理が実行され、これによりこのように特定の被写体が撮影された領域を高速度で検出して適切に優先順位を設定することができることにより、ユーザーの所望する被写体に対して的確に絞り制御、フォーカス制御、ホワイトバランス調整の処理を実行しつつ、連続したフレームに係る各画像を短時間で処理して確実にこれらの処理を実行することができる。
【００８３】
また記録媒体１２により得られる画像データ、データ通信部より得られる画像データを処理対象として同様に画像表示部９で表示し、さらには種々に補正することにより、これらの画像データを確実に処理することができる。
【００８４】
また撮影モード、過去の検出結果により、縮小画像を処理する順序が切り換えられ、これによっても無駄な処理を低減して短時間で所定の被写体を撮影した領域を検出することができる。
【００８５】
具体的に、近景に人物が存在すると考えられる場合、大きく撮影された顔より検出するように、順次段階的に、これら解像度の異なる縮小画像を処理することにより、短時間で、所望する被写体である顔が撮影された領域を検出することができる。またこれとは逆に、集合写真等を撮影している場合と考えられる場合等には、小さく撮影された顔より検出するように、順次段階的に、これら解像度の異なる縮小画像を処理することにより、短時間で、所望する被写体である顔が撮影された領域を検出することができる。
【００８６】
またこのようにして順次縮小画像を処理するようにして、撮影モード、過去の検出結果により途中で処理を中止して、さらには処理の開始を変更して、処理に供する縮小画像を切り換えることによっても、不必要な縮小画像の処理を省略することができ、その分、短時間で、所望する被写体である顔が撮影された領域を検出することができる。
【００８７】
しかしてこの撮像装置１では、このように各縮小画像で所望する被写体である顔が撮影された領域を検出するようにして、元の原画像に対する縮小画像の大きさにより、テンプレートの大きさを原画像上における大きさに変換し、この原画像上で特定の被写体が撮影された領域が検出される。またこの原画像上で検出される大きさにより絞り制御等の処理が実行される。
【００８８】
これらの処理においてこの撮像装置１では、検出の順序に従って優先順位が設定されて顔検出の検出結果が処理され、これにより簡易な処理によりフォーカス制御等の処理を確実に実行することができる。
【００８９】
（３）実施例の効果
以上の構成によれば、解像度が順次段階的に変化する順序により、縮小画像を順次テンプレートマッチングして特定の被写体が撮影された領域を検出することにより、特定の被写体が撮影された領域を高速度で検出して適切に優先順位を設定することができる。
【００９０】
またこの処理対象の画像を取得する画像取得部が撮像部であることにより、撮像装置に適用してフォーカス制御、絞り制御、ホワイトバランス調整等に検出結果を有効に利用して使い勝手を向上することができる。
【００９１】
またこの画像取得部が記録媒体に係る画像取得部であることにより、又は外部機器との間のデータ通信に係る構成であることにより、記録媒体に記録した撮像結果のモニタ等において、検出結果を有効に利用して使い勝手を向上することができる。
【００９２】
このとき、この解像度が順次増大する順序により、又は解像度が順次低減する順序により、縮小画像を処理することにより、それぞれ近景、遠景により所望する被写体を撮影している場合に、この所望する被写体が撮影された領域を短い時間により検出することができる。
【００９３】
またこのように各縮小画像で所望する被写体である顔が撮影された領域を検出するようにして、元の原画像に対する縮小画像の大きさにより、テンプレートの大きさを原画像上における大きさに変換し、この原画像上で特定の被写体が撮影された領域を検出することにより、この原画像上で検出される特定の被写体が撮影された領域により種々の制御、処理を実行することができる。
【００９４】
またこのようにして順次段階的に解像度を設定した縮小画像により特定の被写体が撮影された領域を検出するようにして、検出の順序により、特定の被写体が撮影された領域の優先順位を設定することにより、簡易かつ精度良く優先順位を設定して、この優先順位により種々に制御、処理を実行することができる。
【００９５】
また過去の検出結果に基づいて、さらには撮影モードに応じて、この複数の縮小画像の処理の順序を切り換えることにより、処理を開始して短時間で特定の被写体が撮影された領域を検出することができる。
【００９６】
また過去の検出結果に基づいて、さらには撮影モードに応じて、処理に供する縮小画像を切り換えることにより、無駄な縮小画像の処理を省略して、処理に要する時間を一段と短くすることができる。
【実施例２】
【００９７】
図８は、図４及び図６の対比により、本発明の実施例２の撮像装置に係る処理の説明に供する略線図である。この実施例では、倍率を順次段階的に切り換えた原画像の解像度変換処理に代えて、又は倍率を一定に保持した縮小画像の順次段階的な解像度変換処理に代えて、中間処理に係る基準の縮小画像Ｇ４を生成し、この縮小画像Ｇ４より解像度の低い縮小画像Ｇ５〜Ｇ７については、この基準の縮小画像Ｇ４の解像度を変換して生成する。またこの縮小画像より解像度の大きな縮小画像Ｇ１〜Ｇ３については、元の原画像Ｇ０の解像度を変換して生成する。
【００９８】
この実施例によれば、中間処理に係る基準の縮小画像を生成し、この基準の縮小画像と元の原画像とにより縮小画像を生成することにより、これらの縮小画像を記録して保持するメモリのアクセス効率を向上し、さらにはアドレス制御を簡略化することができる。
【実施例３】
【００９９】
図９は、本発明の実施例２に係る記録再生装置を示すブロック図である。この記録再生装置２１は、例えばＤＶＤレコーダ（Digital Versatile Disk）であり、図示しないチューナー等により得られる映像コンテンツを画像処理部２２により処理した後、光ディスクによる記録媒体１２に記録する。なおこの記録再生装置２１において、実施例１について上述した撮像装置１と同一の構成は、対応する符号を付して示し、重複した説明は省略する。
【０１００】
中央処理ユニット２３は、メモリ１４に記録された処理プログラムの実行により、各部の動作を制御してこの記録再生装置の動作を制御する。この一連の制御において、ユーザーにより特定の被写体の検出が指示されると、顔検出部８によりこの特定の被写体の被写体が撮影された領域を検出し、この検出結果を画像表示部９で表示する。なおこのような特定の被写体にあっては、例えばユーザーのお気に入りの俳優等である。
【０１０１】
この実施例のように、記録再生装置に適用して種々の映像コンテンツを処理する場合に適用するようにしても、実施例１と同様の効果を得ることができる。
【実施例４】
【０１０２】
なお上述の実施例１においては、最も優先順位の高い顔が撮影された領域で輝度レベルが所定値となるように、絞り制御する場合、さらには他の顔が撮影された領域との間の重み付け加算による最終的な制御量により絞り制御の処理を実行する場合について述べたが、本発明はこれに限らず、絞りと電荷蓄積時間との制御により、輝度レベルが所定値となるように制御し、これにより併せて被写界深度を制御するようにしてもよい。このようにすれば被写体の距離が種々に異なる場合でも、これら異なる距離の範囲ではデフォーカスしないように、被写界深度を設定して一段と使い勝手を向上することができる。
【０１０３】
また上述の実施例においては、顔が撮影された領域を検出する場合について述べたが、本発明はこれに限らず、種々のテンプレートを適用して、例えば自分の子供が撮影された領域を検出する場合等、種々の被写体が撮影された領域を検出する場合に広く適用することができる。
【０１０４】
また上述の実施例においては、本発明を撮像装置、光ディスクによる記録再生装置に適用する場合について述べたが、本発明はこれに限らず、種々の記録媒体による記録再生装置、プリンタ等の画像処理装置に広く適用することができ、さらにはコンピュータにおける画像処理ソフト等に広く適用することができる。
【産業上の利用可能性】
【０１０５】
本発明は、画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体に関し、例えばディジタルスチルカメラに適用することができる。
【図面の簡単な説明】
【０１０６】
【図１】本発明の実施例に係る撮像装置における中央処理ユニットの処理手順を示すフローチャートである。
【図２】本発明の実施例に係る撮像装置を示すブロック図である。
【図３】図２の撮像装置における顔検出部の詳細構成を示すブロック図である。
【図４】本発明の実施例に係る撮像装置における中央処理ユニットの処理の説明に供する略線図である。
【図５】図１の続きを示すフローチャートである。
【図６】縮小画像の生成処理の説明に供する略線図である。
【図７】検出結果の処理の説明に供する略線図である。
【図８】本発明の実施例に係る撮像装置における縮小画像の生成処理の説明に供する略線図である。
【図９】本発明の実施例２に係る記録再生装置を示すブロック図である。
【符号の説明】
【０１０７】
１……撮像装置、３、２３……中央処理ユニット、４……イメージセンサ、６……カメラ処理部、７……画像ＲＡＭ、８……顔検出部、８Ａ……解像度変換部、８Ｂ……コントローラ、８Ｃ……画像メモリ、８Ｄ……顔検出コア、９……画像表示部、１２……記録媒体、２１……記録再生装置
【図１】
0004626493.tif 000002
【図２】
0004626493.tif 000003
【図３】
0004626493.tif 000004
【図４】
0004626493.tif 000005
【図５】
0004626493.tif 000006
【図６】
0004626493.tif 000007
【図７】
0004626493.tif 000008
【図８】
0004626493.tif 000009
【図９】
0004626493.tif 000010