(57)【要約】【課題】撮像装置において、顔検出処理で発生する顔表示枠のずれを防止するとともに、無駄な処理を減らして検出を高速化する。【解決手段】撮影された被写体の画像データを入力するための撮像手段と、画像データの画角が変化したことを検出する画角変化検出手段と、撮像手段で得られた画像データを用いて、撮影画像から人物の顔を検出する顔検出手段と、を有し、顔検出手段は、顔検出の演算処理中に、画角変化検出手段により画角変化が検出された場合、該演算処理を一度停止し、新規に画像を取得して前記顔検出の演算処理を行う。【選択図】図３
2010283609.tif 000002
【特許請求の範囲】
【請求項１】
撮影された被写体の画像データを入力するための撮像手段と、
前記画像データの画角が変化したことを検出する画角変化検出手段と、
前記撮像手段で得られた画像データを用いて、撮影画像から人物の顔を検出する顔検出手段と、
を有し、
前記顔検出手段は、前記顔検出の演算処理中に、前記画角変化検出手段により画角変化が検出された場合、該演算処理を一度停止し、新規に画像を取得して前記顔検出の演算処理を行うことを特徴とする撮像装置。
【請求項２】
撮像装置自体の姿勢の変化量を検出する姿勢変化量検出手段を有し、
前記画角変化検出手段は、前記姿勢変化量検出手段で検出された変化量に基づいて、前記画像データの画角変化の有無を判断することを特徴とする請求項１に記載の撮像装置。
【請求項３】
撮像装置自体の姿勢の変化量を検出する姿勢変化量検出手段を有し、
前記画角変化検出手段は、前記姿勢変化量検出手段で検出された変化量と所定の閾値とに基づいて、前記画像データの画角変化の有無を判断し、
前記所定の閾値は、撮像装置の焦点距離に応じて異なることを特徴とする請求項１又は２に記載の撮像装置。
【請求項４】
前記画角変化検出手段は、前記撮影画像における分割領域ごとの画素輝度値差分に基づいて、前記画像データの画角変化の有無を判断することを特徴とする請求項１に記載の撮像装置。
【請求項５】
前回の顔検出結果に基づいて少ない演算量で顔を追尾する顔追尾手段を有し、
前記撮影画像における分割領域ごとの画素輝度値差分に基づいて、前記顔検出手段による顔検出処理又は前記顔追尾手段による顔追尾処理が実行されることを特徴とする請求項４に記載の撮像装置。
【請求項６】
前記顔検出手段は、前記画素輝度値差分に基づいて動きがあると判断された分割領域が第１の閾値を超えた場合に、演算中の顔検出処理を中止し、新規に画像を取得して顔検出処理を行い、
前記顔追尾手段は、前記画素輝度値差分に基づいて動きがあると判断された分割領域が、前記第１の閾値以下かつ該閾値よりも小さい第２の閾値を超えた場合に、演算中の顔検出処理を中止し、新規に画像を取得して顔追尾処理を行い、
前記顔検出手段は、前記画素輝度値差分に基づいて動きがあると判断された分割領域が前記第２の閾値以下である場合に、演算中の顔検出処理を継続して行うことを特徴とする請求項５に記載の撮像装置。
【請求項７】
自動焦点調整、自動露出調整、自動ホワイトバランスの少なくとも１つの処理を、前記顔検出手段で得られた顔領域の情報に基づいて実行することを特徴とする請求項１から６のいずれか１項に記載の撮像装置。
【請求項８】
撮影された被写体の画像データを取得する撮像ステップと、
前記画像データの画角が変化したことを検出する画角変化検出ステップと、
前記撮像ステップで得られた画像データを用いて、撮影画像から人物の顔を検出する顔検出ステップと、
を有し、
前記顔検出ステップは、前記顔検出の演算処理中に、前記画角変化検出ステップにより画角変化が検出された場合、該演算処理を一度停止し、新規に画像を取得して前記顔検出の演算処理を行うことを特徴とする顔検出処理方法。
【請求項９】
撮影された被写体の画像データを入力するための撮像手段を有する撮像装置のコンピュータに、
前記画像データの画角が変化したことを検出する画角変化検出機能と、
前記撮像手段で得られた画像データを用いて、撮影画像から人物の顔を検出する顔検出機能と、
を実現させ、
前記顔検出機能は、前記顔検出の演算処理中に、前記画角変化検出機能により画角変化が検出された場合、該演算処理を一度停止し、新規に画像を取得して前記顔検出の演算処理を行うことを特徴とするプログラム。
【請求項１０】
前記撮像装置のコンピュータに、撮像装置自体の姿勢の変化量を検出する姿勢変化量検出機能を実現させ、
前記画角変化検出機能は、前記姿勢変化量検出機能で検出された変化量に基づいて、前記画像データの画角変化の有無を判断することを特徴とする請求項９に記載のプログラム。
【請求項１１】
前記撮像装置のコンピュータに、撮像装置自体の姿勢の変化量を検出する姿勢変化量検出機能を実現させ、
前記画角変化検出機能は、前記姿勢変化量検出機能で検出された変化量と所定の閾値とに基づいて、前記画像データの画角変化の有無を判断し、
前記所定の閾値は、撮像装置の焦点距離に応じて異なることを特徴とする請求項９又は１０に記載のプログラム。
【請求項１２】
前記画角変化検出機能は、前記撮影画像における分割領域ごとの画素輝度値差分に基づいて、前記画像データの画角変化の有無を判断することを特徴とする請求項９に記載のプログラム。
【請求項１３】
前記撮像装置のコンピュータに、前回の顔検出結果に基づいて少ない演算量で顔を追尾する顔追尾機能を実現させ、
前記撮影画像における分割領域ごとの画素輝度値差分に基づいて、前記顔検出機能による顔検出処理又は前記顔追尾機能による顔追尾処理が実行されることを特徴とする請求項１２に記載のプログラム。
【請求項１４】
前記顔検出機能は、前記画素輝度値差分に基づいて動きがあると判断された分割領域が第１の閾値を超えた場合に、演算中の顔検出処理を中止し、新規に画像を取得して顔検出処理を行い、
前記顔追尾機能は、前記画素輝度値差分に基づいて動きがあると判断された分割領域が、前記第１の閾値以下かつ該閾値よりも小さい第２の閾値を超えた場合に、演算中の顔検出処理を中止し、新規に画像を取得して顔追尾処理を行い、
前記顔検出機能は、前記画素輝度値差分に基づいて動きがあると判断された分割領域が前記第２の閾値以下である場合に、演算中の顔検出処理を継続して行うことを特徴とする請求項１３に記載のプログラム。
【請求項１５】
自動焦点調整機能、自動露出調整機能、自動ホワイトバランス機能の少なくとも１つを、前記顔検出機能で得られた顔領域の情報に基づいて、前記撮像装置のコンピュータに実現させることを特徴とする請求項９から１４のいずれか１項に記載のプログラム。
【請求項１６】
請求項９から１５のいずれか１項に記載のプログラムを記録しコンピュータ読み取り可能なことを特徴とする記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、顔検出処理方法、プログラム及び記録媒体に関し、特に、デジタルカメラやデジタルビデオカメラ等の撮像装置における顔検出処理に好ましく適用される技術に関するものである。
【背景技術】
【０００２】
近年、デジタルカメラ等の撮像装置において、撮影画像中から人物の顔を検出し、検出した顔領域にフォーカスや露出等が合うように制御される機能や、検出された顔があらかじめ登録されている顔であるかどうかを認証する機能が実現されている。しかしながら、これらの機能を実現しようとした場合には、処理に時間がかかってしまい、検出中にカメラ自体を動かすか、被写体が動いてしまうと、顔の検出枠が実際の顔の位置と異なる場所に表示されたり、顔の追従にタイムラグが生じてしまったりすることがある。
【０００３】
例えば特許文献１では、角速度センサによって得られたカメラのパン／ティルト量の変化に基づいて顔を検出したフレーム画像からの顔位置動き量を予測し、検出された位置を基準として顔検出枠を表示する位置を補正することにより、顔の検出枠が現在のモニタリング画像の顔の位置とずれてしまうことを防止している。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１による方法では、カメラのパン／ティルト量の変化からの顔位置動き量の予測が実際の動き量とずれてしまった場合に、顔検出枠表示が実際の顔の位置とずれてしまうことになる。
【０００５】
そこで、本発明は、撮像装置において、顔検出処理で発生する顔表示枠のずれを防止するとともに、無駄な処理を減らして検出を高速化することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の一側面である撮像装置は、撮影された被写体の画像データを入力するための撮像手段と、画像データの画角が変化したことを検出する画角変化検出手段と、撮像手段で得られた画像データを用いて、撮影画像から人物の顔を検出する顔検出手段と、を有し、顔検出手段は、顔検出の演算処理中に、画角変化検出手段により画角変化が検出された場合、該演算処理を一度停止し、新規に画像を取得して前記顔検出の演算処理を行う。
【０００７】
本発明の一側面である顔検出処理方法は、撮影された被写体の画像データを取得する撮像ステップと、画像データの画角が変化したことを検出する画角変化検出ステップと、撮像ステップで得られた画像データを用いて、撮影画像から人物の顔を検出する顔検出ステップと、を有し、顔検出ステップは、顔検出の演算処理中に、画角変化検出ステップにより画角変化が検出された場合、該演算処理を一度停止し、新規に画像を取得して前記顔検出の演算処理を行う。
【０００８】
本発明の一側面であるプログラムは、撮影された被写体の画像データを入力するための撮像手段を有する撮像装置のコンピュータに、画像データの画角が変化したことを検出する画角変化検出機能と、撮像手段で得られた画像データを用いて、撮影画像から人物の顔を検出する顔検出機能と、を実現させ、顔検出機能は、顔検出の演算処理中に、画角変化検出機能により画角変化が検出された場合、該演算処理を一度停止し、新規に画像を取得して前記顔検出の演算処理を行う。
【０００９】
本発明の一側面である記録媒体は、上記のプログラムを記録したコンピュータ読み取り可能な記録媒体である。
【発明の効果】
【００１０】
本発明によれば、撮像装置において、顔検出処理で発生する顔表示枠のずれを防止するとともに、無駄な処理を減らして検出を高速化することが可能となる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施形態に係る撮像装置の外観図である。
【図２】本発明の実施形態に係る撮像装置の概略構成を示した機能ブロック図である。
【図３】本発明の実施形態に係る顔検出処理の流れを示したフローチャートである。
【図４】本発明の実施形態に係る顔検出処理を説明するための図である。
【図５】本発明の実施形態に係る顔検出処理を説明するための図である。
【図６】本発明の実施形態に係る顔検出処理の流れを示したフローチャートである。
【図７】本発明の実施形態に係る顔検出処理の流れを示したフローチャートである。
【発明を実施するための形態】
【００１２】
以下、図面を参照しながら本発明の実施形態について説明する。
【００１３】
図１は本実施形態に係わるデジタルスチルカメラの外観図、図２はデジタルスチルカメラ内部のシステム概要図である。最初にデジタルスチルカメラの動作概要を説明する。
【００１４】
図１の撮影／再生切り替えのモードダイアル３を撮影モードに設定し、電源釦１を押すことで、カメラが記録モードで起動する。モードダイアル３および電源釦１は、図２における操作部６０に含まれており、モードダイアル３の状態が撮影モードの状態で電源釦１がＯＮになったことをＣＰＵ４３が検知すると、ＣＰＵ４３はモータドライバ２０を制御して、ズーム／ＡＦレンズ１１、絞りとカラーフィルタ１２、メカシャッタ１３からなる鏡胴ユニットを撮影可能位置に移動させる。さらに撮像センサ３０、ＬＣＤディスプレイ等の各部に電源を投入して動作を開始させる。
【００１５】
各部の電源が投入されると、ファインダモードの動作が開始される。ファインダモードでは、レンズを通して撮像センサ（ＣＣＤ、ＣＭＯＳ）３０に入射した光は、電気に変換されてＡ／Ｄ変換器３２に送られる。Ａ／Ｄ変換器３２では、入力されたアナログ信号を１２ｂｉｔのデジタルデータに変換する。デジタル信号に変換されたそれぞれの信号は、デジタル信号処理ＩＣ４０内のセンサＩ／Ｆ部４１に取り込まれ、ＹＵＶ変換部４４で表示可能な形式であるＹＵＶ信号に変換されて、メモリコントローラ４２によってフレームメモリとしてのＳＤＲＡＭ５０に書き込まれる。このＹＵＶ信号はメモリコントローラ４２に読み出されて、表示出力制御部４６を介してＴＶやＬＣＤモニタへ送られて表示が行われる。この処理が１／３０秒間隔で行われ、１／３０秒ごとに更新されるファインダモードの表示となる。
【００１６】
撮像センサ３０は８００万画素のセンサである。静止画撮影時は全画素を１／３０秒ごとに出力することができる。ファインダモード時は周辺画素を加算と間引きを組み合わせて、１／３０秒ごと例えば６４０×４８０画素に画素数を減らして出力を行う。
【００１７】
デジタル信号処理ＩＣ４０のセンサＩ／Ｆ４１は、ブロック内に取り込まれたデジタルＲＧＢ信号より、画面の合焦度合いを示すＡＦ評価値と、被写体輝度を検出したＡＥ評価値と、被写体色を検出したＡＷＢ評価値が算出する。それらデータは、特徴データとしてＣＰＵ４３に読み出されて、ＡＥ（Automatic Exposure）、ＡＦ（Auto Focus）、ＡＷＢ（Auto White Balance）のそれぞれの処理に利用される。
【００１８】
ＡＦ評価値は、例えば高周波成分抽出フィルタの出力積分値や、近接画素の輝度差の積分値によって作成される。合焦状態にあるときは、被写体のエッジ部分がはっきりとしているため、高周波成分が一番高くなる。これを利用して、ＡＦによる合焦検出動作時は、それぞれのフォーカスレンズ位置におけるＡＦ評価値を取得して、その極大になる点を合焦位置としてＡＦを実行する。
【００１９】
ＡＥ評価値とＡＷＢ評価値は、ＲＧＢのそれぞれの積分値から作成される。例えば画面を２５６エリアに等分割（水平１６分割、垂直１６分割）し、それぞれのエリアのＲＧＢ積算を算出する。ＣＰＵ４３はＲＧＢ積分値を読み出し、ＡＥでは、それぞれのエリアの輝度を算出して、輝度分布から適正な露光時間を決定する。ＡＷＢでは、ＲＧＢの分布から光源の色に合わせたＡＷＢの制御値を決定する。このＡＥとＡＷＢの処理は、ファインダモード中は連続的に行われている。
【００２０】
図１のレリーズシャッタ釦２が操作されると、合焦位置検出であるＡＦ動作と静止画記録処理が行われる。レリーズシャッタ釦２が押されると、図２の操作部２０から静止画撮影開始信号がＣＰＵ４３に取り込まれると、ＣＰＵ４３がフレームレートに同期してモータドライバ２０を介してレンズを駆動することにより山登りＡＦを実行する。ＡＦ対象範囲が無限から至近までの全領域であった場合、フォーカスレンズは至近から無限、または無限から至近までの間の各フォーカス位置移動し、デジタル信号処理ＩＣ４０で作成された各フレーム（＝各フォーカス位置）におけるＡＦ評価値をＣＰＵ４３が読み出す。各フォーカス位置のＡＦ評価値が極大になる点を合焦位置として、フォーカスレンズを合焦位置に移動する。
【００２１】
ＡＦ完了後に撮像センサ３０から出力されたデジタルＲＧＢ信号に変換され、デジタル信号処理ＩＣ４０を介してＳＤＲＡＭ５０に格納される。デジタルＲＧＢ信号は再度デジタル信号処理ＩＣ４０に読み込まれ、ＹＵＶ変換部４４でＹＵＶデータに変換されて、ＳＤＲＡＭ５０に書き戻される。
【００２２】
スチル画像撮像時は、ＹＵＶ変換された画像データがデジタル信号処理ＩＣ４０内の圧縮伸張回路４５に送られる。圧縮伸張回路４５に送られたＹＵＶデータは圧縮され、ＳＤＲＡＭ５０に書き戻される。ＳＤＲＡＭ５０の圧縮データはデジタル信号処理ＩＣ４０を介して読み出され、データ記憶メモリに格納される。
【００２３】
加速度センサ９０はＰＣＢ上に実装され、２軸Ｘ、Ｙと温度Ｔのデータを出力する。そのデータからカメラのロール角、ピッチ角等の傾きを演算し、ＬＣＤモニタ等に表示する。加速度センサの水平に対するロール角θは以下の式で表される。
θ［ｄｅｇ］＝（１８０／π）＊ａｒｃｔａｎ（Ｙ０−Ｇ０／Ｘ０−Ｇ０）
Ｇ０は重力ゼロ時の出力である。
カメラが図１下段の姿勢のときに、カメラのロール角θが０度であるとし、ＬＣＤモニタが時計回り方向に傾いた場合に正の傾き、反時計回りに傾いた場合に負の傾きであるとする。
【００２４】
続いて、顔検出の方法について説明する。被写体像の中から人物像を検出する方法は、多くの手法が公知となっており、本実施形態では、例えば以下の参考文献に示された方法を用いるものとする。以下参考文献では、ＡｄａＢｏｏｓｔ学習により多数の弱識別器をカスケード型に線形結合したものを識別器として作成し、識別器に基づいてＨａａｒ−Ｌｉｋｅ特徴量を計算して顔を検出する方法が記載されている。
【００２５】
（参考文献）
Ｐ．Ｖｉｏｌａ  ａｎｄ  Ｍ．Ｊｏｎｅｓ，  “Ｒａｐｉｄ  Ｏｂｊｅｃｔ  Ｄｅｔｅｃｔｉｏｎ  ｕｓｉｎｇ  ａ  Ｂｏｏｓｔｅｄ  Ｃａｓｃａｄｅ  ｏｆ  Ｓｉｍｐｌｅ  Ｆｅａｔｕｒｅｓ”，  Ｐｒｏｃ．  ＩＥＥＥ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  ａｎｄ  Ｐａｔｔｅｒｎ  Ｒｅｃｇｎｉｔｉｏｎ，  ｖｏｌ．１，  ｐｐ．５１１−５１８，  ２００１
【００２６】
以下、本実施形態では、上記方法における弱識別器を特徴データ、弱識別器をカスケード型に線形結合した識別器を特徴データ群として記述する。なお、前サイクルの顔検出結果に基づいた顔追尾の方法については、前サイクルの顔検出で検出された顔の周りの小範囲に限定して上記顔検出処理を実施することで追尾を実現するものとする。
【００２７】
［第１の実施形態］
次に、本発明の特徴となる動作である顔検出処理について、３つの実施形態に分けて説明する。図３は、第１の実施形態に相当する顔検出処理で、撮像光学系によって撮像された画像に対し、顔検出処理を実施して画像の中から人物の顔を検出する顔検出処理のフローである。
【００２８】
カメラの動作モードが顔検出処理を実施するモードであるとき、顔検出モジュールは、モニタリング画像の中からあるタイミングで一枚の画像をコピーする（ステップＳ１０１）。ＣＰＵ４３は、コピーした画像に対して顔検出処理を実施し、画像内に人物の顔があるか否かを判断する。顔検出処理は、あらかじめメモリ内に保持している人物の顔の特徴データと画像内の対称矩形との類似度を算出していくが、本実施形態ではメモリ内の特徴データは複数階層に分かれて保持されており、階層ごとに特徴データの類似度算出をしていくものとする。
【００２９】
ここで、特徴データとは、例えば図５に示すような対象矩形の中の２つまたは３つの小矩形において、各小矩形の平均輝度値の加重和が閾値以上であるときに類似度がいくつであるか、というデータである。本実施例では各小矩形の平均輝度値の加重和を特徴評価値と呼ぶ。浅い階層における特徴データは、対象矩形が顔であるかどうかを比較的大まかに判断するものであり、例えば図５（ａ）に示すような、対象矩形内の小矩形が大きいものが保持されており、特徴データの数も少ない。階層が深くなるほど顔の細かい特徴を判断するように、図５（ｂ）、図５（ｃ）のような小矩形の小さいものが多くなり、階層内の特徴データの数も多くなっていく。各階層での類似度は、階層内の各特徴データにおける特徴評価値を求めることにより算出していく。特徴評価値が閾値を超える特徴データが多いほど類似度は高くなる。階層ｉでの特徴データｊの特徴評価値をＥｖｊ、Ｅｖｊが閾値Ｔｈｊ以上であるときに類似度がｓｉｍｊであるとすると、階層ｉの類似度Ｓｉｍｉは以下の式で算出される。
【００３０】
【数１】
2010283609.tif 000003
【００３１】
まず、画像の中から最初の対象矩形を決定する（ステップＳ１０２）。ここでは画像の左上の端とする。本実施形態では、図４に示すように、画像の左上の端から右下の端まで順に対象矩形領域を少しずつずらしながらスキャンしていくものとする。
【００３２】
最初は階層Ｌ＝１とし（ステップＳ１０３）、第１階層の特徴データと対象矩形の類似度を算出する（ステップＳ１０４）。ここで、類似度が所定の閾値以上であれば、対象矩形はその階層の特徴データとマッチしたものとする。特徴データとマッチし（ステップＳ１０５／ＹＥＳ）かつその階層が最終階層であれば（ステップＳ１０６／ＹＥＳ）、その矩形領域は顔であると判断して矩形領域の情報をメモリに登録する（ステップＳ１０８）。階層が最終階層でなければ（ステップＳ１０６／ＮＯ）、階層Ｌを１インクリメントして（ステップＳ１０７）、次の階層の特徴データとの類似度を算出する（ステップＳ１０４）。また、ここでその階層内の特徴データとマッチしなければ（ステップＳ１０５／ＮＯ）、その時点で対象矩形領域は顔でないと判断される。
【００３３】
ここで、カメラに動きがあったかどうかを判定する（ステップＳ１０９）。カメラの動き判定は、加速度センサ９０の出力値変化に基づいて判定する。加速度センサ９０の出力値を所定の間隔（ここでは１００ｍｓ間隔とする）でメモリに保存しておき、動き判定の際に前回動き判定時のセンサ出力との差分をチェックする。センサ出力の差分が、所定の閾値（角度）を超えた場合にカメラに動きがあったと判定する。このとき、判定に用いる所定の閾値とは、レンズのズーム位置に応じて異なるものとする。ズーム位置が広角よりのときは角度変化に対するモニタリング画角変化が比較的小さいため、閾値は大きいものとし、ズーム位置が望遠よりの時は画角変化に対するモニタリング画角変化が比較的大きいため、逆に閾値は小さいものとする。カメラに動きがあったと判定された場合（ステップＳ１０９／ＹＥＳ）には、現在処理中のモニタリング画像とは顔の位置が変わっている可能性が高いので、現在の検出結果をクリアし（ステップＳ１１０）、顔検出用のモニタリング画像を再取得し、検出動作を最初からやり直す。
【００３４】
カメラに動きがないと判定された場合（ステップＳ１０９／ＮＯ）には、そのまま顔検出処理を続行する。対象矩形領域が顔であるか否か判断されたら、画像内の顔検出対象領域全体をスキャンしたかどうかを確認する（ステップＳ１１１）。ここでまだスキャンする領域が残っていれば（ステップＳ１１１／ＮＯ）、所定のステップ幅、例えばスキャンしている矩形領域の１０％に相当する画素だけ前回対象矩形領域よりずらして次の矩形領域を決定する（ステップＳ１１２）。
【００３５】
ある対象矩形領域について顔であるか否かの判断がなされたとき、もし顔検出対象領域全体をスキャンし終えていれば（ステップＳ１１１／ＹＥＳ）、当該画像に対する顔検出処理は終了とし、顔検出モードが継続される場合はモニタリングデータから新たに画像をコピーし、その画像に対して同様に顔検出処理を実施する（ステップＳ１１３／ＹＥＳ）。顔検出モードを継続しない場合（ステップＳ１１３／ＮＯ）にはここで処理を終了する。
【００３６】
［第２の実施形態］
図６に、第２の実施形態に相当する顔検出処理のフローを示す。カメラの動作モードが顔検出処理を実施するモードであるとき、顔検出モジュールは、モニタリング画像の中からあるタイミングで１枚の画像をコピーする（ステップＳ２０１）。ＣＰＵ４３は、コピーした画像に対して顔検出処理を実施し、画像内に人物の顔があるか否かを判断する。
【００３７】
顔検出処理は、あらかじめメモリ内に多数保持している人物の顔の特徴データと画像内の対称矩形領域との類似度の総和を対象矩形領域と特徴データの類似度として算出していくものとする。ここで、顔の特徴データと類似度の算出方法については第１の実施形態と同じとする。
【００３８】
まず、画像の中から最初の対象矩形領域を決定する（ステップＳ２０２）。ここでは第１の実施形態と同様に画像の左上の端とする。本実施形態においても、第１の実施形態と同様、図４に示すように、画像の左上の端から右下の端まで順に対象矩形領域を少しずつずらしながらスキャンしていくものとする。
【００３９】
最初にステップＳ２０２で決定した対象矩形領域について、特徴データとの類似度を算出する（ステップＳ２０３）。類似度が所定の閾値以上であれば、対象矩形領域は顔の特徴データとマッチしたものとする。対象矩形領域が特徴データとマッチすれば（ステップＳ２０４／ＹＥＳ）、その対象矩形領域は顔であるとしてメモリに矩形領域の情報を登録する（ステップＳ２０５）。
【００４０】
ここで、モニタリング画像に動きがあるかどうかを判定する（ステップＳ２０６）。画像の動き判定は、モニタリング画像を３２×３２のブロックに分割して、各ブロックの輝度平均値の差分に基づいて判定される。顔検出処理開始時のモニタリング画像における各ブロックの輝度平均と、現在のモニタリング画像の各ブロックの輝度平均の差分をとり、差分が閾値を超えたブロックは動きがあると判定される。このとき、動きがあると判定されたブロック数が所定の閾値を超えると、画像全体として動きがあるものと判定される。動きがあると判定された場合（ステップＳ２０６／ＹＥＳ）には、現在処理中のモニタリング画像とは顔の位置が変わっている可能性が高いので、現在の検出結果をクリアし（ステップＳ２０７）、顔検出用のモニタリング画像を再取得し、検出動作を最初からやり直す。
【００４１】
画像に動きがないと判定された場合（ステップＳ２０６／ＮＯ）には、そのまま顔検出処理を続行する。対象矩形領域が顔であるか否かの判断を終え、画像内の顔検出対象領域でスキャンしていない領域が残っていれば（ステップＳ２０８／ＮＯ）、直前の矩形対象領域における類似度に基づいて次の対象矩形領域を決定するステップ幅を算出する（ステップＳ２０９）。ここでは、顔検出対象矩形領域のサイズの１０％をステップ幅とし、前回の顔検出対象矩形領域よりもステップ幅分ずらした矩形領域を次の検出対象矩形領域として設定する。
【００４２】
ある対象矩形領域について顔であるか否かの判断がなされたとき、もし顔検出対象領域全体をスキャンし終えていれば（ステップステップＳ２０８／ＹＥＳ）、当該画像に対する顔検出処理は終了とし、顔検出モードが継続される場合はモニタリングデータから新たに画像をコピーし、その画像に対して同様に顔検出処理を実施する（ステップＳ２１０／ＹＥＳ）。顔検出モードを継続しない場合（ステップＳ２１０／ＮＯ）にはここで処理を終了する。
【００４３】
［第３の実施形態］
図７に、第３の実施形態に相当する顔検出処理のフローを示す。カメラの動作モードが顔検出処理を実施するモードであるとき、顔検出モジュールは、モニタリング画像の中からあるタイミングで一枚の画像をコピーする（ステップＳ３０１）。ＣＰＵ４３は、コピーした画像に対して顔検出処理を実施し、画像内に人物の顔があるか否かを判断する。
【００４４】
顔検出処理は、あらかじめメモリ内に多数保持している人物の顔の特徴データと画像内の対称矩形領域との類似度の総和を、対象矩形領域と特徴データの類似度として算出していくものとする。ここで、顔の特徴データと類似度の算出方法については、第１の実施形態と同じとする。
【００４５】
まず、画像の中から最初の対象矩形領域を決定する（ステップＳ３０２）。ここでは、第１の実施形態と同様に画像の左上の端とする。本実施形態においても、第１の実施形態と同様、図４に示すように、画像の左上の端から右下の端まで順に対象矩形領域を少しずつずらしながらスキャンしていくものとする。
【００４６】
最初にステップＳ３０２で決定した対象矩形領域について、特徴データとの類似度を算出する（ステップＳ３０３）。類似度が所定の閾値以上であれば、対象矩形領域は顔の特徴データとマッチしたものとする。対象矩形領域が特徴データとマッチすれば、その対象矩形領域は顔であるとしてメモリに矩形領域の情報を登録する（ステップＳ３０５）。
【００４７】
ここで、モニタリング画像に動きがあるかどうかを判定する（ステップＳ３０６、ステップＳ３０８）。画像の動き判定は、モニタリング画像を３２×３２のブロックに分割して、各ブロックの輝度平均値の差分に基づいて判定される。顔検出処理開始時のモニタリング画像における各ブロックの輝度平均と、現在のモニタリング画像の各ブロックの輝度平均の差分をとり、差分が閾値を超えたブロックは動きがあると判定される。このとき、動きがあると判定されたブロック数に応じて、顔検出処理の続行・顔検出処理の再実施・追尾処理への移行のいずれかを行う。動きがあると判定されたブロック数が所定の閾値１（Ｔｈ１）以上である場合（ステップＳ３０６／ＹＥＳ）には、現在処理中のモニタリング画像とは顔の位置が大きく変わっている可能性が高いので、現在の検出結果をクリアし（ステップＳ３０７）、顔検出用のモニタリング画像を再取得し、検出動作を最初からやり直す。
【００４８】
動きがあると判定されたブロック数が所定の閾値１未満であるが、所定の閾値２（Ｔｈ２  （Ｔｈ１＞Ｔｈ２））以上である場合（ステップＳ３０６／ＮＯ、ステップＳ３０８／ＹＥＳ）には、現時処理中のモニタリング画像とは顔の位置が変わっている可能性が高いが処理中のモニタリング画像の顔の位置の近辺に顔がある可能性が高いので、現在実施中の顔検出処理を中断し、モニタリング画像を新たに取得し（ステップＳ３０９）、現在の検出結果に基づいた追尾処理を実施する（ステップＳ３１０）。なお、本実施形態において追尾処理とは、前サイクルでの顔検出結果または顔追尾結果に基づいて、全サイクルでの顔位置の周辺の部分領域に限定して顔検出処理と同様の方法で顔領域を検出する処理とする。
【００４９】
動きがあると判定されたブロック数が所定の閾値２未満であった場合（ステップＳ３０８／ＮＯ）、画像に動きがないと判定され、そのまま顔検出処理を続行する。対象矩形領域が顔であるか否かの判断を終え、画像内の顔検出対象領域でスキャンしていない領域が残っていれば（ステップＳ３１１／ＮＯ）、直前の矩形対象領域における類似度に基づいて次の対象矩形領域を決定するステップ幅を算出する（ステップＳ３１２）。ここでは、顔検出対象矩形領域のサイズの１０％をステップ幅とし、前回の顔検出対象矩形領域よりもステップ幅分ずらした矩形領域を次の検出対象矩形領域として設定する。
【００５０】
ある対象矩形領域について顔であるか否かの判断がなされたとき、もし顔検出対象領域全体をスキャンし終えていれば（ステップＳ３１１／ＹＥＳ）、当該画像に対する顔検出処理は終了とし、顔検出モードが継続される場合はモニタリングデータから新たに画像をコピーし、その画像に対して同様に顔検出処理を実施する（ステップＳ３１３／ＹＥＳ）。顔検出モードを継続しない場合（ステップＳ３１３／ＮＯ）にはここで処理を終了する。
【００５１】
上記の実施形態によれば、カメラの画角が変わったことを判断し、古い画角のモニタリング画像に対する無駄な演算処理を中止するため、顔表示枠が実際の顔の位置とずれることを防止すること、新たな画角の画像に対して無駄時間なく検出することが可能となる。
【００５２】
また、上記の実施形態によれば、撮像装置の姿勢の変化量に応じて最適な演算処理を行うため、顔検出にかかる無駄時間をできるだけ小さくすることが可能となる。
【００５３】
また、上記の実施形態によれば、顔検出の結果に基づいてＡＦ・ＡＥ・ＡＷＢの各処理を行うことで、人物が画像の中央付近にいない場合においても、人物に容易に合焦させたり適正露出にしたりすることが可能となる。
【００５４】
なお、上述する実施形態は、本発明の好適な実施形態であり、上記実施形態のみに本発明の範囲を限定するものではなく、本発明の要旨を逸脱しない範囲において種々の変更を施した形態での実施が可能である。
【００５５】
すなわち、本実施形態の撮像装置で実行されるプログラムは、先に述べた各手段（画角変化検出手段、顔検出手段）を含むモジュール構成となっており、実際のハードウエアを用いて具体的手段を実現する。すなわち、コンピュータ（ＣＰＵ）が所定の記録媒体からプログラムを読み出して実行することにより上記各手段が主記憶装置上にロードされて生成される。
【００５６】
本実施形態におけるクライアントＰＣで実行されるプログラムは、インターネット等のネットワークに接続されたコンピュータ上に格納され、ネットワーク経由でダウンロードさせることにより提供されるように構成してもよい。また、上記プログラムをインターネット等のネットワーク経由で提供あるいは配布するように構成してもよい。
【００５７】
また、上記プログラムは、インストール可能な形式又は実行可能な形式のファイルで、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ、不揮発性のメモリカード等のコンピュータで読み取り可能な記録媒体に記録されて提供されるように構成してもよい。また、上記プログラムは、ＲＯＭ等にあらかじめ組み込んで提供するように構成してもよい。
【００５８】
この場合、上記記録媒体から読み出された又は通信回線を通じてロードし実行されたプログラムコード自体が前述の実施形態の機能を実現することになる。そして、そのプログラムコードを記録した記録媒体は本発明を構成する。
【符号の説明】
【００５９】
１    電源釦
２    レリーズシャッタ釦
３    モードダイアル
４    光学ファインダ
５    ＬＣＤ
６    フラッシュ
７    撮影レンズ
１１    ズーム／ＡＦレンズ
１２    絞りとカラーフィルタ
１３    メカシャッタ
２０    モータドライバ
３０    撮像センサ
３１    受光センサ
３２    Ａ／Ｄ変換器
３３    ＴＧ
４０    デジタル信号処理ＩＣ
４１    センサＩ／Ｆ
４２    メモリコントローラ
４３    ＣＰＵ
４４    ＹＵＶ変換部
４５    圧縮伸張回路
４６    表示出力制御
４７    リサイズ処理
４８    メディアＩ／Ｆ
４９    加速度センサＩ／Ｆ
５０    ＳＤＲＡＭ
６０    操作部
７０    ＲＯＭ
８０    メモリカード
９０    加速度センサ
【先行技術文献】
【特許文献】
【００６０】
【特許文献１】特開２００７−３０６４１６号公報
【図１】
2010283609.tif 000004
【図２】
2010283609.tif 000005
【図３】
2010283609.tif 000006
【図４】
2010283609.tif 000007
【図５】
2010283609.tif 000008
【図６】
2010283609.tif 000009
【図７】
2010283609.tif 000010