(57)【要約】【課題】精度の高い画像検出を高速におこなう。【解決手段】記憶部２５０には、顔についての複数方向に応じて配置された複数種類の参照用データが格納されている。また、識別器２１５の識別動作によって顔が検出されたときに用いられた参照用データと位置情報とを対応づけた履歴情報が画像メモリ２３０に格納される。識別器２１５が参照用データを用いて識別動作をおこなう際、参照データ選択部２１４は、画像メモリ２３０に格納された履歴情報に基づき、複数種類の参照用データのうち、直近の画像における識別動作によって顔が検出されたときに用いられた参照用データと、その周囲に配置された参照用データを、次の画像における識別動作に用いる参照用データとして選択する。そして、識別器２１５は、次の画像での識別動作には、参照データ選択部２１４によって選択された参照用データのみを用いる。【選択図】図５
2009064123.tif 000002
【特許請求の範囲】
【請求項１】
複数種類の参照用データを用いた識別動作によって入力動画像上で検出対象画像を検出する画像処理装置において、
前記複数種類の参照用データを格納する参照用データ格納手段と、
前記入力動画像から処理対象とする画像をフレーム単位で選択する画像選択手段と、
前記画像選択手段が選択した画像上での識別動作に用いる参照用データを前記複数種類の参照用データから選択する参照用データ選択手段と、
前記参照用データ選択手段が選択した参照用データを用いた識別動作を、前記画像選択手段が選択した画像上でおこなうことで検出対象画像を検出する検出手段と、
前記検出手段が前記検出対象画像を検出したときに使用した前記参照用データと、該検出された検出対象画像の位置情報とを対応づけた履歴情報を格納する履歴情報格納手段と、を備え、
前記参照用データ選択手段は、前記履歴情報に基づいて、次の画像で前記識別手段が用いる参照用データを選択する、
ことを特徴とする画像処理装置。
【請求項２】
前記参照用データ格納手段は、一の対象についての複数の特徴に応じて配置された複数種類の参照用データを格納し、
前記参照用データ選択手段は、前記検出対象画像の検出に用いられた参照用データと、当該参照用データの周囲に配置された参照用データを選択する、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記検出手段は、前記画像選択手段が選択した画像を複数サイズに変換し、各サイズの画像上で前記識別動作をおこない、
前記履歴情報格納手段は、前記複数サイズの画像のうち、前記検出手段が前記検出対象画像を検出した画像についての前記履歴情報を格納し、
前記画像選択手段は、前記履歴情報に記録されているサイズの画像を選択する、
ことを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記検出手段は、前記履歴情報が示す位置情報に基づいて、前記識別動作をおこなう範囲を前記画像選択手段が選択した画像上に設定し、該設定した範囲内で前記識別動作をおこなう、
ことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項５】
複数種類の参照用データを用いた識別動作によって、撮像動画像上で検出対象画像を検出する撮像装置において、
前記複数種類の参照用データを格納する参照用データ格納手段と、
前記撮像動画像から処理対象とする画像をフレーム単位で選択する画像選択手段と、
前記画像選択手段が選択した画像上での識別動作に用いる参照用データを前記複数種類の参照用データから選択する参照用データ選択手段と、
前記参照用データ選択手段が選択した参照用データを用いた識別動作を、前記画像選択手段が選択した画像上でおこなうことで検出対象画像を検出する検出手段と、
前記検出手段が前記検出対象画像を検出したときに使用した前記参照用データと、該検出された検出対象画像の位置情報とを対応づけた履歴情報を格納する履歴情報格納手段と、を備え、
前記参照用データ選択手段は、前記履歴情報に基づいて、次の画像で前記識別手段が用いる参照用データを選択する、
ことを特徴とする撮像装置。
【請求項６】
前記参照用データ格納手段は、一の対象についての複数の特徴に応じて配置された複数種類の参照用データを格納し、
前記参照用データ選択手段は、前記検出対象画像の検出に用いられた参照用データと、当該参照用データの周囲に配置された参照用データを選択する、
ことを特徴とする請求項５に記載の撮像装置。
【請求項７】
前記検出手段は、前記画像選択手段が選択した画像を複数サイズに変換し、各サイズの画像上で前記識別動作をおこない、
前記履歴情報格納手段は、前記複数サイズの画像のうち、前記検出手段が前記検出対象画像を検出した画像についての前記履歴情報を格納し、
前記画像選択手段は、前記履歴情報に記録されているサイズの画像を選択する、
ことを特徴とする請求項５または６に記載の撮像装置。
【請求項８】
前記検出手段は、前記履歴情報が示す位置情報に基づいて、前記識別動作をおこなう範囲を前記画像選択手段が選択した画像上に設定し、該設定した範囲内で前記識別動作をおこなう、
ことを特徴とする請求項５乃至７のいずれか１項に記載の撮像装置。
【請求項９】
複数種類の参照用データを用いた識別動作によって、入力動画像上で検出対象画像を検出するための画像処理方法において、
前記入力動画像から処理対象とする画像をフレーム単位で選択する画像選択ステップと、
前記画像選択ステップで選択された画像上での識別動作に用いる参照用データを前記複数種類の参照用データから選択する参照用データ選択ステップと、
前記参照用データ選択ステップで選択された参照用データを用いた識別動作を、前記画像選択ステップで選択された画像上でおこなうことで前記検出対象画像を検出する検出ステップと、
前記検出ステップで前記検出対象画像を検出したときに使用した前記参照用データと、該検出された検出対象画像の位置情報とを対応づけた履歴情報を生成する履歴情報生成ステップと、を含み、
前記参照用データ選択ステップでは、前記履歴情報に基づいて、次の画像での識別動作に用いる参照用データを選択する、
ことを特徴とする画像処理方法。
【請求項１０】
コンピュータに、複数種類の参照用データを用いた識別動作によって、入力動画像上で検出対象画像を検出させるためのプログラムにおいて、
前記コンピュータに、
前記入力動画像から処理対象とする画像をフレーム単位で選択する機能と、
前記選択された画像上での識別動作に用いる参照用データを前記複数種類の参照用データから選択する機能と、
前記選択された参照用データを用いた識別動作を、前記選択された画像上でおこなうことで前記検出対象画像を検出する機能と、
前記検出対象画像を検出したときに使用した前記参照用データと、該検出された検出対象画像の位置情報とを対応づけた履歴情報を生成する機能と、
前記履歴情報に基づいて、次の画像での識別動作に用いる参照用データを選択する機能と、
を実現させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、撮像装置、画像処理方法、および、プログラムに関し、特に、特定の画像部分の検出に好適な画像処理装置、撮像装置、画像処理方法、および、プログラムに関する。
【背景技術】
【０００２】
デジタルスチルカメラなどの撮像装置においては、人物を被写体とした場合に、ファインダ画面上で顔を検出する技術が実現されている（例えば、特許文献１）。
【０００３】
このような顔検出を用いることで、例えば、顔部分に合焦させたり、顔部分に合わせて露出調整やホワイトバランス調整をおこなったりすることができ、人物に最適化した撮影を容易におこなうことができる。
【０００４】
このような顔検出技術においては、例えば、顔の見本画像（テンプレート画像）との類似度に基づいて検出する手法の他、ニューラルネットなどのアルゴリズムを用いた統計的なパターン認識によって検出する手法が用いられている。いずれの場合においても、顔部分を識別するために参照される画像データや特徴データ（参照用データ）を予めもっておく必要がある。顔検出技術がデジタルカメラなどに搭載された当初においては、正面を向いた顔の参照用データのみが用いられていた。
【０００５】
しかしながら、撮像画像に現れる顔の方向は不定であるので、正面の顔に基づく参照用データのみを用いていたのでは、正面以外の顔を検出することができない。よって、このような不都合を解消するため、様々な方向の顔を示す複数種類の参照用データをもっておくことで、正面以外の顔であっても検出することのできる顔検出技術も実現されている。
【特許文献１】特開２００３−３６４３９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
このような複数種類の参照用データを使った顔検出においては、様々な方向の参照用データを用いることで検出精度を高めることができる反面、参照用データの種類が多くなるほど処理に要する時間も長くなってしまう。特に、デジタルカメラなどでの顔検出は、ファインダ画面上でリアルタイムに実施する必要があるので、処理時間の長大化は好ましくない。
【０００７】
このような問題を解消するため、検出可能な顔の個数や大きさ、方向などに制限を設けて処理時間を短縮することがおこなわれている。例えば、１つの識別器で検出可能な角度の幅を大きくすることによって識別器の総数を減らしたり、顔方向の種類を少なくする制限をかけることで、処理時間の短縮を図っている。しかしながら、１つの識別器で検出可能な角度の幅を大きくすると、その識別器における識別性能が低下する問題がある。また、検出可能な顔方向を制限すると、制限されている方向の顔はまったく検出できなくなり用途が限定されてしまう。つまり、従来の手法では、高い検出精度と処理時間の短縮を両立させることは困難であった。
【０００８】
本発明は、上記実状に鑑みてなされたものであり、精度を落とすことなく高速に画像検出をおこなうことのできる画像処理装置、撮像装置、画像処理方法、および、プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するため、本発明の第１の観点に係る画像処理装置は、
複数種類の参照用データを用いた識別動作によって入力動画像上で検出対象画像を検出する画像処理装置において、
前記複数種類の参照用データを格納する参照用データ格納手段と、
前記入力動画像から処理対象とする画像をフレーム単位で選択する画像選択手段と、
前記画像選択手段が選択した画像上での識別動作に用いる参照用データを前記複数種類の参照用データから選択する参照用データ選択手段と、
前記参照用データ選択手段が選択した参照用データを用いた識別動作を、前記画像選択手段が選択した画像上でおこなうことで検出対象画像を検出する検出手段と、
前記検出手段が前記検出対象画像を検出したときに使用した前記参照用データと、該検出された検出対象画像の位置情報とを対応づけた履歴情報を格納する履歴情報格納手段と、を備え、
前記参照用データ選択手段は、前記履歴情報に基づいて、次の画像で前記識別手段が用いる参照用データを選択する、
ことを特徴とする。
【００１０】
上記画像処理装置において、
前記参照用データ格納手段は、一の対象についての複数の特徴に応じて配置された複数種類の参照用データを格納し、
前記参照用データ選択手段は、前記検出対象画像の検出に用いられた参照用データと、当該参照用データの周囲に配置された参照用データを選択することが望ましい。
【００１１】
上記画像処理装置において、
前記検出手段は、前記画像選択手段が選択した画像を複数サイズに変換し、各サイズの画像上で前記識別動作をおこない、
前記履歴情報格納手段は、前記複数サイズの画像のうち、前記検出手段が前記検出対象画像を検出した画像についての前記履歴情報を格納し、
前記画像選択手段は、前記履歴情報に記録されているサイズの画像を選択することが望ましい。
【００１２】
上記画像処理装置において、
前記検出手段は、前記履歴情報が示す位置情報に基づいて、前記識別動作をおこなう範囲を前記画像選択手段が選択した画像上に設定し、該設定した範囲内で前記識別動作をおこなうことが望ましい。
【００１３】
上記目的を達成するため、本発明の第２の観点にかかる撮像装置は、
複数種類の参照用データを用いた識別動作によって、撮像動画像上で検出対象画像を検出する撮像装置において、
前記複数種類の参照用データを格納する参照用データ格納手段と、
前記撮像動画像から処理対象とする画像をフレーム単位で選択する画像選択手段と、
前記画像選択手段が選択した画像上での識別動作に用いる参照用データを前記複数種類の参照用データから選択する参照用データ選択手段と、
前記参照用データ選択手段が選択した参照用データを用いた識別動作を、前記画像選択手段が選択した画像上でおこなうことで検出対象画像を検出する検出手段と、
前記検出手段が前記検出対象画像を検出したときに使用した前記参照用データと、該検出された検出対象画像の位置情報とを対応づけた履歴情報を格納する履歴情報格納手段と、を備え、
前記参照用データ選択手段は、前記履歴情報に基づいて、次の画像で前記識別手段が用いる参照用データを選択する、
ことを特徴とする。
【００１４】
上記撮像装置において、
前記参照用データ格納手段は、一の対象についての複数の特徴に応じて配置された複数種類の参照用データを格納し、
前記参照用データ選択手段は、前記検出対象画像の検出に用いられた参照用データと、当該参照用データの周囲に配置された参照用データを選択することが望ましい。
【００１５】
上記撮像装置において、
前記検出手段は、前記画像選択手段が選択した画像を複数サイズに変換し、各サイズの画像上で前記識別動作をおこない、
前記履歴情報格納手段は、前記複数サイズの画像のうち、前記検出手段が前記検出対象画像を検出した画像についての前記履歴情報を格納し、
前記画像選択手段は、前記履歴情報に記録されているサイズの画像を選択することが望ましい。
【００１６】
上記撮像装置において、
前記検出手段は、前記履歴情報が示す位置情報に基づいて、前記識別動作をおこなう範囲を前記画像選択手段が選択した画像上に設定し、該設定した範囲内で前記識別動作をおこなうことが望ましい。
【００１７】
上記目的を達成するため、本発明の第３の観点にかかる画像処理方法は、
複数種類の参照用データを用いた識別動作によって、入力動画像上で検出対象画像を検出するための画像処理方法において、
前記入力動画像から処理対象とする画像をフレーム単位で選択する画像選択ステップと、
前記画像選択ステップで選択された画像上での識別動作に用いる参照用データを前記複数種類の参照用データから選択する参照用データ選択ステップと、
前記参照用データ選択ステップで選択された参照用データを用いた識別動作を、前記画像選択ステップで選択された画像上でおこなうことで前記検出対象画像を検出する検出ステップと、
前記検出ステップで前記検出対象画像を検出したときに使用した前記参照用データと、該検出された検出対象画像の位置情報とを対応づけた履歴情報を生成する履歴情報生成ステップと、を含み、
前記参照用データ選択ステップでは、前記履歴情報に基づいて、次の画像での識別動作に用いる参照用データを選択する、
ことを特徴とする。
【００１８】
上記目的を達成するため、本発明の第４の観点にかかるプログラムは、
コンピュータに、複数種類の参照用データを用いた識別動作によって、入力動画像上で検出対象画像を検出させるためのプログラムにおいて、
前記コンピュータに、
前記入力動画像から処理対象とする画像をフレーム単位で選択する機能と、
前記選択された画像上での識別動作に用いる参照用データを前記複数種類の参照用データから選択する機能と、
前記選択された参照用データを用いた識別動作を、前記選択された画像上でおこなうことで前記検出対象画像を検出する機能と、
前記検出対象画像を検出したときに使用した前記参照用データと、該検出された検出対象画像の位置情報とを対応づけた履歴情報を生成する機能と、
前記履歴情報に基づいて、次の画像での識別動作に用いる参照用データを選択する機能と、
を実現させることを特徴とする。
【発明の効果】
【００１９】
本発明によれば、精度を落とすことなく高速な画像検出をおこなうことができる。
【発明を実施するための最良の形態】
【００２０】
本発明にかかる実施形態を、図面を参照して以下に説明する。本実施形態では、本発明をデジタルスチルカメラ（以下、デジタルカメラ）によって実現した場合を例示する。本実施形態にかかるデジタルカメラ１は、一般的なデジタルスチルカメラが有する機能に加え、ファインダ画面上で特定の被写体部分を検出し、検出された被写体部分に合わせた撮像設定をおこなう機能を備えているものとする。本実施形態では、ファインダ画面上にある人物の顔を被写体部分として検出するものとする。すなわち、本実施形態にかかるデジタルカメラ１は、いわゆる顔検出機能を備えたデジタルスチルカメラである。
【００２１】
図１は、本発明の実施形態にかかるデジタルカメラ１の構成を示すブロック図である。本実施形態にかかるデジタルカメラ１の概略的構成は、図示するように、撮像部１００、データ処理部２００、インタフェース（Ｉ／Ｆ）部３００、などである。
【００２２】
撮像部１００は、デジタルカメラ１の撮像動作をおこなう部分であり、図示するように、光学装置１１０やイメージセンサ部１２０などから構成されている。
【００２３】
光学装置１１０は、例えば、レンズ、絞り機構、シャッタ機構、などを含み、撮像にかかる光学的動作をおこなう。すなわち、光学装置１１０の動作により、入射光が集光されるとともに、焦点距離、絞り、シャッタスピードなどといった、画角やピント、露出などにかかる光学的要素の調整がなされる。なお、光学装置１１０に含まれるシャッタ機構はいわゆる機械式のシャッタ装置であり、イメージセンサによってシャッタ動作をおこなう場合には、光学装置１１０にシャッタ機構が含まれていなくてもよい。また、光学装置１１０は、後述する制御部２１０による制御によって動作する。
【００２４】
イメージセンサ部１２０は、光学装置１１０によって集光された入射光に応じた電気信号を生成する、例えば、ＣＣＤ（Charge Coupled Device：電荷結合素子）やＣＭＯＳ（Complementally Metal Oxide
Semiconductor：相補型金属酸化物半導体）などのイメージセンサから構成される。イメージセンサ部１２０は、光電変換をおこなうことで、受光に応じた電気信号を発生してデータ処理部２００に出力する。
【００２５】
なお、デジタルカメラ１のビューファインダとして、液晶画面（後述する表示部３１０など）やＥＶＦ（Electronic View Finder）などが用いられる場合、イメージセンサ部１２０が低解像度の画像信号を常時出力することで、いわゆるライブビュー画像（レックスルー画像）がファインダ画面として表示されるものとする。本実施形態では、後述する表示部３１０をファインダ画面として用いるものとし、デジタルカメラ１での撮像動作時には、レックスルー画像を表示部３１０のファインダ画面に表示してライブビュー機能が実現されるものとする。
【００２６】
このようなライブビュー機能で表示されるレックスルー画像は、通常、画質より表示速度が重視されるので、処理負荷が低くなるよう比較的サイズの小さい画像（低解像度画像）を用いる。また、ファインダとして利用するための画像であるので、連続するフレームによって構成された動画像データとして処理される。
【００２７】
データ処理部２００は、撮像部１００による撮像動作によって生成された電気信号を処理し、撮像画像を示すデジタルデータを生成するとともに、撮像画像に対する画像処理などをおこなう。図１に示すように、データ処理部２００は、制御部２１０、画像処理部２２０、画像メモリ２３０、画像出力部２４０、記憶部２５０、外部記憶部２６０、などから構成される。
【００２８】
制御部２１０は、例えば、ＣＰＵ（Central
Processing Unit：中央演算処理装置）などのプロセッサやＲＡＭ（Random Access Memory）などの主記憶装置などから構成され、後述する記憶部２５０などに格納されているプログラムを実行することで、デジタルカメラ１の各部を制御する。また、本実施形態では、所定のプログラムを実行することで、後述する各処理にかかる機能が制御部２１０によって実現される。
【００２９】
画像処理部２２０は、例えば、ＡＤＣ（Analog-Digital
Converter：アナログ−デジタル変換器）、バッファメモリ、画像処理用のプロセッサ（いわゆる、画像処理エンジン）などから構成され、撮像部１００によって生成された電気信号に基づいて、撮像画像を示すデジタルデータを生成する。
【００３０】
すなわち、イメージセンサ部１２０から出力されたアナログ電気信号をＡＤＣがデジタル信号に変換して順次バッファメモリに格納すると、バッファされたデジタルデータに対し、画像処理エンジンがいわゆる現像処理などをおこなうことで、画質の調整やデータ圧縮などをおこなう。
【００３１】
画像メモリ２３０は、例えば、ＲＡＭやフラッシュメモリなどの記憶装置から構成され、画像処理部２２０によって生成された撮像画像データや、制御部２１０によって処理される画像データなどを一時的に格納する。本実施形態では、ファインダ用のライブビュー画像としてイメージセンサ部１２０から出力された画像データを一時的に格納し、格納した画像データを用いて顔検出のための処理がおこなわれるものとする。
【００３２】
画像出力部２４０は、例えば、ＲＧＢ信号の生成回路などから構成され、画像メモリ２３０に展開された画像データをＲＧＢ信号などに変換して表示画面（後述する表示部３１０など）に出力する。
【００３３】
記憶部２５０は、例えば、ＲＯＭ（Read
Only Memory）やフラッシュメモリなどの記憶装置から構成され、デジタルカメラ１の動作に必要なプログラムやデータなどを格納する。本実施形態では、制御部２１０などが実行する動作プログラムなどが記憶部２５０に格納されているものとする。
【００３４】
外部記憶部２６０は、例えば、メモリカードなどといった、デジタルカメラ１に着脱可能な記憶装置から構成され、デジタルカメラ１で撮像した画像データなどを格納する。
【００３５】
インタフェース部３００は、デジタルカメラ１とその使用者あるいは外部装置とのインタフェースにかかる構成であり、図１に示すように、表示部３１０、外部インタフェース（Ｉ／Ｆ）部３２０、操作部３３０、などから構成される。
【００３６】
表示部３１０は、例えば、液晶表示装置などから構成され、デジタルカメラ１を操作するために必要な種々の画面や、撮影時のライブビュー画像、撮像画像、などを表示出力する。本実施形態では、画像出力部２４０からの画像信号（ＲＧＢ信号）などに基づいて撮像画像等の表示出力がおこなわれる。
【００３７】
外部インタフェース部３２０は、例えば、ＵＳＢ（Universal
Serial Bus）コネクタやビデオ出力端子などから構成され、外部のコンピュータ装置への画像データの出力や、外部のモニタ装置への撮像画像の表示出力などをおこなう。
【００３８】
操作部３３０は、デジタルカメラ１の外面上に構成されている各種ボタンなどによって構成され、デジタルカメラ１の使用者による操作に応じた入力信号を生成して制御部２１０に入力する。操作部３３０を構成するボタンとして、例えば、シャッタ動作を指示するためのシャッタボタンや、デジタルカメラ１のもつ動作モードを指定するためのモードボタン、各種設定をおこなうための十字キーや機能ボタン、などが含まれているものとする。
【００３９】
ここで、データ処理部２００の画像メモリ２３０についての詳細を、図２（ａ）を参照して説明する。ここでは、デジタルカメラ１の顔検出機能にかかる処理に必要となる画像メモリ２３０の構成を説明する。つまり、デジタルカメラ１で顔検出機能が実行される場合、本実施形態にかかる画像メモリ２３０には、図２（ａ）に示すような記憶領域が確保される。図示するように、画像メモリ２３０には、入力フレーム格納領域２３０ａ、対象フレーム格納領域２３０ｂ、履歴情報格納領域２３０ｃ、などの記憶領域が用意され、各記憶領域に応じた画像データが格納される。
【００４０】
入力フレーム格納領域２３０ａは、イメージセンサ部１２０から出力されるライブビュー用の動画像データ（レックスルー画像）を順次格納する記憶領域である。上述したように、イメージセンサ部１２０から出力されるレックスルー画像は、連続するフレーム画像から構成された動画像データであるので、入力フレーム格納領域２３０ａには、このような連続するフレーム画像が順次格納される。ここでは、例えば、秒間３０フレーム（３０ｆｐｓ）などといった所定のフレームレートで出力されるフレーム画像を順次格納する。
【００４１】
対象フレーム格納領域２３０ｂは、顔検出機能にかかる顔検出をおこなうフレーム画像を格納する記憶領域である。本実施形態では、入力フレーム格納領域２３０ａに格納した動画像データから処理対象となるフレーム画像のデータを順次取り出し、検出動作に適した輝度画像などに変換したもの（以下、「検出用フレーム画像ＦＲ」とする）が対象フレーム格納領域２３０ｂに格納される。
【００４２】
なお、対象フレーム格納領域２３０ｂに格納されるフレーム画像は、入力フレーム格納領域２３０ａに格納されたすべてのフレーム画像でなくてもよく、例えば、顔検出動作にかかる処理時間などに基づいた一定の間隔でフレーム画像を取り出して格納する。取り出す間隔は、例えば、フレーム数や時間間隔などで決定されるものとする。このようにして対象フレーム格納領域２３０ｂに格納される検出用フレーム画像ＦＲの例を図３に示す。
【００４３】
図示するように、対象フレーム格納領域２３０ｂには、入力フレーム格納領域２３０ａに格納された撮像フレームから取り出された検出用フレーム画像ＦＲが、取得された時系列順に順次格納される。本実施形態では、顔検出動作の開始時に取得された検出用フレーム画像ＦＲを検出用フレーム画像ＦＲ０とし、以後、格納された順、すなわち、撮像の時系列順に、検出用フレーム画像ＦＲ１、検出用フレーム画像ＦＲ２…、検出用フレーム画像ＦＲｎ、と表す。つまり、対象フレーム格納領域２３０ｂに格納された検出用フレーム画像ＦＲには、時系列順にフレーム番号が割り当てられているものとする。
【００４４】
また、本実施形態では、デジタルカメラ１の顔検出機能を用いるものとするので、図３に示すような人物を被写体として撮像動作をおこなっている場合を想定する。ここで、スチルカメラであるデジタルカメラ１においては、シャッタボタンを押下することによってスチル画像の撮像がおこなわれるが、このようなシャッタ操作の前に、動画によるファインダ画面が表示されることで、撮影者は構図や画角などを決める。本実施形態にかかる顔検出動作は、このようなファインダ画面の表示時におこなわれるものであり、このとき、被写体となっている人物が、例えば、図３に示すように顔の向きを変える動きをしている場面を想定する。
【００４５】
なお、本実施形態にかかる顔検出動作においては、従来の顔検出技術と同様、対象となる画像のサイズを順次異ならせた、いわゆる画像ピラミッドを生成して顔検出をおこなうものとする。本実施形態では、対象フレーム格納領域２３０ｂに格納された検出用フレーム画像ＦＲのそれぞれについて画像ピラミッドを生成するものとし、生成された画像ピラミッドについても、対象フレーム格納領域２３０ｂに格納されるものとする。
【００４６】
履歴情報格納領域２３０ｃは、顔検出動作時に記録される履歴情報を格納するための記憶領域である。本実施形態では、複数種類の参照画像（詳細後述）を用いて、検出用フレーム画像ＦＲ内に顔部分があるか識別するが、顔検出動作を実施したフレーム毎に、顔が検出された場合に用いられた参照画像の履歴を記録する。履歴情報格納領域２３０ｃには、このような参照画像の履歴を示す履歴情報が格納される。
【００４７】
次に、データ処理部２００の記憶部２５０についての詳細を、図２（ｂ）を参照して説明する。ここでは、デジタルカメラ１の顔検出機能にかかる処理に必要となる記憶部２５０の構成を説明する。つまり、デジタルカメラ１で顔検出機能を実現するために、本実施形態にかかる記憶部２５０には、図２（ｂ）に示すような記憶領域が確保される。
【００４８】
図示するように、記憶部２５０には、参照データ格納領域２５０ａ、プログラム格納領域２５０ｂ、などの記憶領域が用意され、各記憶領域に応じた画像データが格納される。
【００４９】
参照データ格納領域２５０ａは、顔検出をおこなう際に参照される参照用データを格納する記憶領域である。ここで、本実施形態にかかる顔検出機能は、従来の顔検出技術と同様、予め用意された顔画像などを参照用データとし、検出用画像上に設定したサブウィンドウの画像と参照用データが示す特徴部分とを比較することで、検出用画像上に顔に相当する部分があるか検索する。参照データ格納領域２５０ａは、このときに参照される見本画像や特徴ベクトルを参照用データ（以下、「参照データＲＤ」とする）として予め格納したものである。
【００５０】
本実施形態では、撮像画像中の顔が種々の方向を向いていても検出できるよう、複数の顔の方向に応じた参照データＲＤが用意されているものとする。参照データ格納領域２５０ａに格納されている参照データＲＤの例を図４に示す。図示するように、参照データ格納領域２５０ａには、人物の顔について、上下左右の複数方向に対応した複数の参照データＲＤが格納されている。
【００５１】
ここでは、例えば、正面を向いている顔を基準に、顔の向いている方向を上下左右のそれぞれに１５°単位で異ならせた６５種類の参照データＲＤが用意され、各参照データＲＤには、図示するような１Ａ〜５Ｍといった一意の識別番号が付されているものとする。なお、本実施形態では、理解を容易にするため、上下・左右の２軸方向についての参照データＲＤを用いるものとするが、これに顔の傾き方向を加えた３軸方向についての参照データが用意されていてもよい。
【００５２】
プログラム格納領域２５０ｂは、制御部２１０が実行する動作プログラムを格納する記憶領域である。本実施形態では、プログラム格納領域２５０ｂに格納されている動作プログラムを制御部２１０が実行することで、後述する各処理が実現されるが、この場合に制御部２１０によって実現される機能を、図５を参照して説明する。
【００５３】
図５は、本発明にかかる機能を実行する際に制御部２１０によって実現される機能を示した機能ブロック図である。なお、図５に示す機能は、顔検出機能を実行する際に必要となる機能を示すものである。すなわち、撮像時のファインダ画面（ライブビュー画面）上で顔検出をおこなう際、制御部２１０によって図５に示すような機能が実現される。
【００５４】
この場合、制御部２１０は、画像変換部２１１、対象画像選択部２１２、識別領域設定部２１３、参照データ選択部２１４、識別器２１５、識別結果判定部２１６、出力処理部２１７、などとして機能する。
【００５５】
画像変換部２１１は、イメージセンサ部１２０がライブビュー用に出力した連続するフレーム画像のそれぞれを、顔検出処理で用いる画像に変換する。すなわち、入力フレーム格納領域２３０ａに格納されたフレーム画像を所定間隔で取り出して輝度画像に変換する。そして、変換した輝度画像を検出用フレーム画像ＦＲとして対象フレーム格納領域２３０ｂに格納する。なお、画像変換部２１１による画像変換は、既知の画像変換アルゴリズムなどによってなされるものとする。
【００５６】
また、画像変換部２１１は、顔検出動作において画像ピラミッドを生成する際、検出用フレーム画像ＦＲのサイズを順次変換して対象フレーム格納領域２３０ｂに格納する。本実施形態では、検出用フレーム画像ＦＲ０を、例えば、８０％ずつ順次縮小していくことで画像ピラミッドが生成されるものとする。
【００５７】
対象画像選択部２１２は、顔検出にかかる処理対象となる画像を選択する。すなわち、対象フレーム格納領域２３０ｂに格納された検出用フレーム画像ＦＲのいずれかを処理対象画像として選択する。
【００５８】
識別領域設定部２１３は、対象画像選択部２１２が選択した検出用フレーム画像ＦＲ上で、顔部分を識別するための識別領域（サブウィンドウ）を設定する。本実施形態では、例えば、２０×２０ドットのサブウィンドウが選択された検出用フレーム画像ＦＲ上に設定されるものとする。
【００５９】
参照データ選択部２１４は、参照データ格納領域２５０ａに格納されている複数種類の参照データＲＤのうち、顔検出動作で用いるものを選択する。本実施形態では、検出用フレーム画像ＦＲ１以降の検出用フレーム画像ＦＲで顔検出をおこなう際、直近の検出用フレーム画像ＦＲで顔検出された際に用いられた参照データＲＤに基づいて、使用する参照データＲＤを選択する。
【００６０】
参照データ選択部２１４が選択するのは、直近の検出用フレーム画像ＦＲで顔検出された際に用いられた参照データＲＤと、当該参照データＲＤの周囲に位置する参照データＲＤを含んだ複数の参照データＲＤである。例えば、直近の検出用フレーム画像ＦＲで顔検出された際に用いられた参照データＲＤが、図４に示す「３Ｇ」とすると、参照データ選択部２１４は、２Ｆ、２Ｇ、２Ｈ、３Ｆ、３Ｇ、３Ｈ、４Ｆ、４Ｇ、４Ｈの９個の参照データＲＤを選択する。また、用いられた参照データＲＤが、例えば、「１Ａ」のような上下・左右それぞれの範囲端の場合は、１Ａ、１Ｂ、２Ａ、２Ｂの４個の参照データＲＤが選択される。また、例えば、「３Ａ」のような上下・左右いずれかの範囲端にある参照データＲＤが用いられた場合は、２Ａ、２Ｂ、３Ａ、３Ｂ、４Ａ、４Ｂの６個の参照データＲＤが選択される。
【００６１】
識別器２１５は、識別領域設定部２１３が設定したサブウィンドウの画像と、参照データ選択部２１４が選択した参照データＲＤとを比較し、当該サブウィンドウの画像が顔部分を示すものであるか否かを識別する。
【００６２】
本実施形態にかかる識別器２１５は、既知の顔検出識別器のアルゴリズム（例えば、主成分分析、ニューラルネット（NN）、アダブースト（Adaboost）、サポートベクターマシン（SVM）、など）を用いて顔部分の識別をおこなうものとする。なお、このようなアルゴリズムによって顔検出をおこなう場合において、参照データＲＤとして顔部分以外を示すデータも用いる場合は、必要に応じて参照データ格納領域２５０ａに格納されているものとする。
【００６３】
識別結果判定部２１６は、識別器２１５による識別結果を統合することで、入力されたレックスルー画像上に示されている顔部分の位置を判定する。
【００６４】
出力処理部２１７は、識別結果判定部２１６が判定した顔部分の位置に基づいて、表示部３１０に表示するレックスルー画像（ライブビュー画像）上に、検出された顔部分を明示する表示をおこなう。ここでは、例えば、図６に示すような矩形の枠画像を、検出された顔部分の位置に表示する。
【００６５】
以上が顔検出機能の動作時に制御部２１０によって実現される機能である。なお、本実施形態では、制御部２１０がプログラムを実行することによる論理的処理で上述した各機能が実現されるものとするが、これらの機能を、例えば、ＡＳＩＣ（Application Specific
Integrated Circuit：特定用途向け集積回路）などのハードウェアによって構成してもよい。この場合、図５に示した機能のうち、画像処理にかかる機能については、画像処理部２２０によって実現されてもよい。
【００６６】
以上説明したデジタルカメラ１の構成は、本発明を実現するために必要な構成であり、デジタルカメラとしての基本機能や種々の付加機能に用いられる構成は必要に応じて備えられているものとする。特に、顔検出機能にかかる構成については、本実施形態では、検出された顔部分に枠画像を表示するまでに必要なものを示すが、デジタルカメラ１の顔検出機能には、このように検出された顔位置に合わせた撮像動作なども含まれているものとする。つまり、検出された顔部分にピントや露出を合わせて撮像する動作に必要な構成や処理などは既知の顔検出技術を用いて適宜実現されるものとし、本実施形態ではその説明は省略する。
【００６７】
このような構成のデジタルカメラ１による動作を以下に説明する。ここでは、顔検出機能を用いて撮像する際にデジタルカメラ１で実行される「顔検出処理」を、図７に示すフローチャートを参照して説明する。この顔検出処理は、例えば、デジタルカメラ１の使用者が操作部３３０を操作することで、デジタルカメラ１の顔検出機能を有効にしたことを契機に開始されるものとする。
【００６８】
処理が開始されると、画像変換部２１１が、入力フレーム格納領域２３０ａに格納されたフレーム画像を取り込み（ステップＳ１０１）、輝度画像に変換して、検出用フレーム画像ＦＲとして対象フレーム格納領域２３０ｂに格納する（ステップＳ１０２）。画像変換部２１１は、検出用フレーム画像ＦＲを対象フレーム格納領域２３０ｂに格納すると、対象画像選択部２１２に通知する。
【００６９】
対象画像選択部２１２は、画像変換部２１１からの通知に応じて、対象フレーム格納領域２３０ｂに格納された検出用フレーム画像ＦＲを処理対象画像として選択してＲＡＭなどに展開されるワークエリアに読み出すとともに、顔検出処理で用いるフレーム番号を割り当てる。ここで、本処理を開始して最初に対象フレーム格納領域２３０ｂに格納された検出用フレーム画像ＦＲを検出用フレーム画像ＦＲ０とする。処理対象となる検出用フレーム画像ＦＲを選択すると、当該検出用フレーム画像ＦＲ上で顔識別動作をおこなうための「顔識別処理」を実行する（ステップＳ２００）。この顔識別処理を、図８に示すフローチャートを参照して説明する。
【００７０】
処理が開始されると、対象画像選択部２１２は、現在実行している処理において、顔検出動作が初回であるか否かを判別する（ステップＳ２０１）。ここでは、例えば、処理対象として選択された検出用フレーム画像ＦＲのフレーム番号などに基づいて、顔検出動作が初回であるか否かを判別する。
【００７１】
つまり、処理対象となっている検出用フレーム画像ＦＲが、最初のフレームである検出用フレーム画像ＦＲ０である場合、対象画像選択部２１２は、初回の顔検出動作であると判別し（ステップＳ２０１：Ｙｅｓ）、その旨を参照データ選択部２１４に通知する。顔検出動作が初回である場合、参照データ選択部２１４は、図４に示したような複数の参照データＲＤすべてを選択し（ステップＳ２０２）、その旨を識別領域設定部２１３と識別器２１５に通知する。
【００７２】
参照データ選択部２１４からの通知を受けた識別領域設定部２１３は、ワークエリアにアクセスし、処理対象となっている検出用フレーム画像ＦＲ上に、識別領域（サブウィンドウ）を設定する。
【００７３】
本実施形態では、従来の顔検出技術と同様、対象画像上に、所定の大きさの識別領域を設定し、それを順次移動させながら、顔部分の検出をおこなう。よって、このような識別領域の移動においては、移動経路が予め規定されている。本実施形態では、例えば、図９（ａ）に示すように、画像の左上角部を開始位置とし、そこに設定した識別領域ＳＷを右方向に所定ステップずつ移動させる。識別領域が画像の右端に到達したら下方向に１ステップ分移動させた後に左方向に１ステップずつ移動させる。そして、識別領域ＳＷが画像端部に到達する毎に、１ステップ分下方向に移動してから、逆方向に移動する動作を繰り返すことで、画像の全域に渡って識別領域ＳＷを移動させる。
【００７４】
したがって、本実施形態にかかる識別領域設定部２１３は、上述した識別開始位置（すなわち、画像左上角部）に、例えば、２０×２０ドットの大きさとなる識別領域ＳＷを設定し（ステップＳ２０３）、設定した識別領域ＳＷにおいて検出用フレーム画像ＦＲの切り出しをおこなう（ステップＳ２０４）。
【００７５】
識別領域設定部２１３は、設定した識別領域ＳＷの画像切り出しをおこなうと、切り出した画像を識別器２１５に入力する。上述したように、識別器２１５は、例えば、ニューラルネットなどの顔識別アルゴリズムを用いて、参照データ格納領域２５０ａに格納されている参照データＲＤと入力画像との比較から、当該入力画像が顔部分を示しているか識別する。
【００７６】
したがって、識別器２１５は、図４に示したような参照データＲＤを用いて、検出用フレーム画像ＦＲから切り出された入力画像についての顔識別をおこなう。ここで、例えば、顔識別アルゴリズムとしてニューラルネットを採用した場合、識別器２１５は、顔の場合は１、非顔の場合は−１となるような教師信号を出力する。このような教師信号は、既知のニューラルネット技術に基づくものであり、識別器２１５の学習による重み付けがおこなわれることで、随時設定される。
【００７７】
本実施形態では、図４に示したような様々な顔の方向に応じた複数の参照データＲＤのうち、参照データ選択部２１４が選択した参照データＲＤのみを用いて顔識別をおこなう（ステップＳ２０５）。ここで、処理対象が検出用フレーム画像ＦＲ０である場合、上述したように、参照データ選択部２１４はステップＳ２０２において、すべての参照データＲＤを選択しているので、この場合、識別器２１５は、図４に示した参照データＲＤのすべてを用いて顔識別をおこなう。つまり、ステップＳ２０４で切り出された画像をすべての参照データＲＤと比較することで、切り出された画像が顔を示すものであるか識別する。
【００７８】
このような識別動作において、例えば、ニューラルネットを顔検出アルゴリズムとした場合、ステップＳ２０５の顔識別において、入力画像が顔を示すのであれば１に近い値が出力され、非顔であれば−１に近い値が出力されることになる。識別器２１５は、採用している顔検出アルゴリズムに応じた出力信号を生成し、識別結果判定部２１６に出力する。
【００７９】
識別結果判定部２１６は、識別器２１５からの出力に基づいて、識別領域ＳＷで検出用フレーム画像ＦＲから切り出された画像で顔が検出されたか否かを判別する（ステップＳ２０６）。
【００８０】
顔が検出された場合（ステップＳ２０６：Ｙｅｓ）、識別結果判定部２１６は、当該識別領域ＳＷの位置と使用された参照データＲＤを、例えば、ワークエリア上に記録する（ステップＳ２０７）。ここでは、例えば、検出用フレーム画像ＦＲ０上で、いずれかの参照データＲＤに基づいて顔が検出された識別領域ＳＷの位置が記録される。この場合、例えば、識別領域ＳＷの中心位置を示す検出用フレーム画像ＦＲ０上の座標が、識別領域ＳＷの位置情報として記録される。
【００８１】
一方、識別器２１５の識別結果が、当該識別領域ＳＷは顔ではない場合（ステップＳ２０６：Ｎｏ）、識別結果判定部２１６は、識別領域ＳＷの位置情報や参照データＲＤの記録をおこなわない。
【００８２】
このようにして、識別結果判定部２１６が識別結果の判定をおこなうと、その旨を識別領域設定部２１３に通知する。識別領域設定部２１３は、識別結果判定部２１６からの通知に応じて、検出用フレーム画像ＦＲ０の全域で識別動作がおこなわれたか否かを判別し（ステップＳ２０８）、検出用フレーム画像ＦＲ０の全域で識別動作がおこなわれるまで（ステップＳ２０８：Ｎｏ）、識別領域ＳＷを１ステップずつ移動させる（ステップＳ２０９）。ここで、検出用フレーム画像ＦＲでの顔識別における識別領域ＳＷの移動ステップは、例えば、４ドット分であるものとする。
【００８３】
そして、移動させた識別領域ＳＷに対応する部分を切り出し（ステップＳ２０４）、識別器２１５がすべての参照データＲＤと比較する動作（ステップＳ２０５）を繰り返しおこなうことで、検出用フレーム画像ＦＲ０の全域において、各識別領域ＳＷで切り出した画像と、参照データＲＤとの比較による顔識別動作がおこなわれる。
【００８４】
検出用フレーム画像ＦＲ０の全域で顔識別動作がなされると（ステップＳ２０８：Ｙｅｓ）、識別領域設定部２１３はその旨を画像変換部２１１に通知する。画像変換部２１１は、識別領域設定部２１３からの通知に応じて、現在処理対象となっている検出用フレーム画像ＦＲ０を、例えば、８０％に縮小した検出用フレーム画像ＦＲ０を生成して対象フレーム格納領域２３０ｂに格納する（ステップＳ２１０）。
【００８５】
画像変換部２１１は、このようにして画像を縮小すると、その旨を対象画像選択部２１２に通知する。対象画像選択部２１２は、画像変換部２１１からの通知に応じ、縮小された検出用フレーム画像ＦＲのサイズが、顔識別に用いる識別領域ＳＷのサイズ（すなわち、２０×２０ドット）より大きいか否かを判別する（ステップＳ２１１）。
【００８６】
縮小後の検出用フレーム画像ＦＲのサイズが識別領域ＳＷのサイズより大きければ（ステップＳ２１１：Ｎｏ）、縮小した検出用フレーム画像ＦＲにおいて、上述したステップＳ２０２〜ステップＳ２０７の処理をおこなう。つまり、縮小した検出用フレーム画像ＦＲ上で識別領域ＳＷを移動させながら、すべての参照データＲＤを用いた顔識別をおこなう。
【００８７】
そして、縮小した検出用フレーム画像ＦＲの全域で顔識別動作をおこなう毎に、検出用フレーム画像ＦＲをさらに縮小する（ステップＳ２０８：Ｙｅｓ、ステップＳ２１０）。つまり、縮小した検出用フレーム画像ＦＲのサイズが識別領域ＳＷのサイズとなるまで、検出用フレーム画像ＦＲ０を順次縮小した画像ピラミッドを生成し、それぞれの大きさの検出用フレーム画像ＦＲ０において、すべての参照データＲＤを用いた顔識別動作をおこなう。
【００８８】
このような処理において、検出用フレーム画像ＦＲ０上で識別領域ＳＷを移動させながら顔識別をおこなっているので、検出用フレーム画像ＦＲ０自体が識別領域ＳＷより小さくなってしまうと識別動作をおこなえない。よって、縮小後の検出用フレーム画像ＦＲ０が識別領域ＳＷより小さくなった時点で本処理を終了し、図７に示す顔検出処理のフローに戻る。
【００８９】
このようにして、一のフレームについての画像ピラミッドで顔識別動作をおこない、顔部分が検出されると、その識別領域の位置情報がワークエリアに記録されているので、識別結果判定部２１６は、それらの検出結果に基づいて、当該フレームでの顔部分が現れている位置を特定する（ステップＳ１０３）。
【００９０】
そして、識別結果判定部２１６は、特定した顔位置を示す位置情報を出力処理部２１７に通知する。出力処理部２１７は、識別結果判定部２１６からの通知に応じて画像出力部２４０を制御することで、表示部３１０に、図６に示すような顔検出されたライブビュー画像が表示される（ステップＳ１０４）。
【００９１】
このとき、識別結果判定部２１６は、当該検出用フレーム画像ＦＲでの顔検出結果を示す履歴情報を生成して、履歴情報格納領域２３０ｃに格納する（ステップＳ１０５）。ここでは、顔識別をおこなった検出用フレーム画像ＦＲについて、画像ピラミッドでのサイズ毎に、顔が識別された識別領域ＳＷの位置と、検出した参照データＲＤを示す情報を対応づけた、図９（ｂ）に示すような履歴情報を生成して履歴情報格納領域２３０ｃに格納する。
【００９２】
ここで、例えば、シャッタボタンの押下や撮影モードの終了などといった顔検出動作の終了イベントが発生しなければ（ステップＳ１０６：Ｎｏ）、ステップＳ１０１に戻り、次の検出用フレーム画像ＦＲを処理対象として、上述した各処理が実行される。
【００９３】
ここで、次の対象フレームが取り込まれ、検出用フレーム画像ＦＲ１としてワークエリアに読み出されると（ステップＳ１０１、ステップＳ１０２）、再度顔識別処理が実行される（ステップＳ２００）。検出用フレーム画像ＦＲ１以降の検出用フレーム画像ＦＲにかかる顔識別処理は、上述した検出用フレーム画像ＦＲ０における処理と異なる。図８に示すフローチャートを参照して、この場合の顔識別処理を説明する。
【００９４】
すなわち、顔識別処理では、ステップＳ２０１において、顔識別動作をおこなう初回であるか否かが判別されるが、検出用フレーム画像ＦＲ１以降は初回ではない（ステップＳ２０１：Ｎｏ）ので、対象画像選択部２１２は、履歴情報格納領域２３０ｃの履歴情報を参照し、前回の検出用フレーム画像ＦＲ（ここでは、検出用フレーム画像ＦＲ０）において顔部分が検出されたか否かを判別し（ステップＳ２１２）、判別結果を参照データ選択部２１４に通知する。
【００９５】
ここで、前回のフレームにおいて顔が検出されていない場合（ステップＳ２１２：Ｎｏ）、直近フレームでの顔検出に基づいた絞込ができないので、参照データ選択部２１４は、すべての参照データＲＤを選択することになる（ステップＳ２０２）。この場合、ステップＳ２０３以降の動作により、上述した、検出用フレーム画像ＦＲ０の場合と同様の顔識別動作がおこなわれることになる。
【００９６】
一方、前回の検出用フレーム画像ＦＲで顔の検出があった場合（ステップＳ２１２：Ｙｅｓ）、対象画像選択部２１２は、履歴情報格納領域２３０ｃに格納されている履歴情報を参照し、前回の検出用フレーム画像ＦＲにおいて顔が検出された画像サイズを特定し、特定した画像サイズを画像変換部２１１に通知する。画像変換部２１１は、現在処理対象としている検出用フレーム画像ＦＲを、通知された画像サイズのそれぞれに変換することで、前回顔が検出されたサイズの画像のみから構成される画像ピラミッドを生成し、対象フレーム格納領域２３０ｂに格納する（ステップＳ２１３）。
【００９７】
対象画像選択部２１２は、ステップＳ２１３で生成された画像ピラミッドを構成する複数サイズの検出用フレーム画像ＦＲを順次処理対象として選択することで、各サイズの検出用フレーム画像ＦＲにおいて以下の処理がなされる。
【００９８】
ここでは、識別領域設定部２１３が履歴情報格納領域２３０ｃの履歴情報を参照することで、各サイズに対応した前回の検出用フレーム画像ＦＲにおいて顔が検出された識別領域ＳＷの位置と、そのとき用いられた参照データＲＤを特定する（ステップＳ２１４）。識別領域設定部２１３は、特定した参照データＲＤを参照データ選択部２１４に通知する。
【００９９】
参照データ選択部２１４は、識別領域設定部２１３から通知された参照データＲＤに基づいて、参照データ格納領域２５０ａに格納されている複数の参照データＲＤ（図４参照）を参照し、ステップＳ２１４で特定された参照データＲＤと、その周囲に位置する参照データＲＤを、今回の検出用フレーム画像ＦＲでの顔識別に用いる参照データＲＤとして選択して識別器２１５に通知する（ステップＳ２１５）。
【０１００】
また、識別領域設定部２１３は、前回の検出用フレーム画像ＦＲで顔が検出された識別領域ＳＷの位置に基づいて、今回処理対象としてワークエリアに読み出された検出用フレーム画像ＦＲ上に、絞込検出領域を設定する（ステップＳ２１６）。ここでは、例えば、図９（ｃ）に示すように、前回の検出用フレーム画像ＦＲで顔が検出された識別領域ＳＷ（図９（ｃ）の例では「識別領域ＳＷ０」と示す）の位置を中心に、識別領域ＳＷよりも大きい範囲の領域を絞込検出領域（図９（ｃ）の例では「絞込検出領域ＳＳ」と示す）として設定する。
【０１０１】
このような絞込検出領域ＳＳが、現在処理対象となっている検出用フレーム画像ＦＲの各サイズにおいて設定されると、ステップＳ２０４〜ステップＳ２０９と同様の処理により、それぞれの絞込検出領域ＳＳ内で顔識別動作がおこなわれる（ステップＳ２１７）。つまり、図９（ａ）に示した例と同様の開始位置を絞込検出領域ＳＳに設定し、図９（ｃ）の矢印によって示すような移動経路で１ステップ分ずつ識別領域ＳＷを移動させながら、各位置において画像を切り出し、識別器２１５に入力する。識別器２１５では、参照データ選択部２１４で選択された参照データＲＤと入力画像とを比較することで、識別領域ＳＷの位置に顔が示されているか識別する。
【０１０２】
ここで、選択された参照データＲＤは、前回の検出用フレーム画像ＦＲにおいて顔が検出されたときに用いられた参照データＲＤと、その周囲の参照データＲＤであるので、すべての参照データＲＤよりも少ない。上述したように、本実施形態では、６５種類の参照データＲＤが用意され、そのうち、前回の結果に基づいて選択される参照データＲＤの数は、４個、６個、９個のいずれかになるので、すべてを用いる場合と比べ大幅に使用する数が減少する。
【０１０３】
このようにして、ステップＳ２１３で生成した画像ピラミッド上で顔識別をおこない、その結果を順次記録すると本処理を終了し、図７に示す顔検出処理のフローに戻る。
【０１０４】
顔検出処理においては、直前の顔識別処理で対象とした検出用フレーム画像ＦＲでの検出履歴を履歴情報格納領域２３０ｃに格納する（ステップＳ１０５）。以降、顔検出動作の終了イベントが発生するまで（ステップＳ１０６：Ｎｏ）、上述した処理を繰り返しおこなう。すなわち、直前のフレームでの検出結果に基づいて、識別動作をおこなう範囲と使用する参照データＲＤを絞り込んで顔検出をおこなう。
【０１０５】
そして、シャッタボタンの操作や撮影モードの終了などといった顔検出動作の終了イベントとともに（ステップＳ１０６：Ｙｅｓ）、本処理を終了する。なお、シャッタボタンが押下された場合は、検出された顔部分に合わせた撮像動作や画像処理（例えば、合焦動作、露出調整、ホワイトバランス調整、など）をおこなうための処理が別途実行される。
【０１０６】
以上説明したように、本発明を上記実施形態の如く適用することにより、人物を被写体として撮影した場合などにおいて、直近のフレームでの検出結果に基づいて、使用する参照データを絞り込むので、撮像された顔が種々の方向を向いている場合であっても高速に検出することができる。
【０１０７】
すなわち、図４に示したような、人物の顔方向に応じて配置された複数の参照データＲＤを用いて識別動作をおこなう場合に、撮像の時系列順に順次選択されるフレーム画像で、直近のフレームで顔が検出されたときに用いられた参照データＲＤと、その周囲に配置された参照データＲＤのみを使って次のフレームで識別動作をおこなうので、例えば、図３に示すように、被写体となっている人物が顔の向きを変える動きをしている場合であっても、その被写体の顔を確実に検出し、図６に示すような、検出結果をリアルタイムに表示することができる。
【０１０８】
また、選択されたフレーム画像を順次縮小した画像ピラミッドで識別動作をおこなう際、直前のフレームにおいて顔が検出されたサイズのみを、次のフレームでの画像ピラミッドとするので、撮像画像内に現れている顔部分の大きさが不定である場合であっても、確実かつリアルタイムに検出することができる。
【０１０９】
さらに、直近のフレームで顔部分が検出された位置に基づいて、次のフレームで識別動作をおこなう範囲を絞り込むので、識別動作にかかる処理時間を短縮することができ、確実な検出をリアルタイムにおこなうことができる。
【０１１０】
上記実施形態は一例であり、本発明の適用範囲はこれに限られない。すなわち、種々の応用が可能であり、あらゆる実施の形態が本発明の範囲に含まれる。
【０１１１】
まず、上記実施形態では、デジタルスチルカメラでの撮影時に顔検出する場合を例示したが、検出対象は顔に限られず任意である。すなわち、所望する検出対象に応じた参照用データを用意することで、種々の対象の検出に本発明を適用することができる。
【０１１２】
この場合において、検出対象は撮像時の被写体に限られるものでもない。すなわち、入力画像に対象となる画像が含まれていればよいので、上記実施形態に例示したような、撮像時に検出をおこなうのではなく、撮像された画像を入力画像としてもよい。つまり、上記実施形態で示したデータ処理部２００にかかる構成や機能は、撮像装置に搭載されている必要はなく、画像データを入力することのできる種々の装置として実現されることでもよい。
【０１１３】
したがって、本発明にかかる構成や機能を備えた画像処理装置として実現することができる。このような画像処理装置は、本発明にかかる構成や機能を予め備えた専用装置として実現できることはもとより、例えば、パーソナルコンピュータなどといった汎用のコンピュータ装置によって実現されてもよい。
【０１１４】
この場合、上記実施形態で示した制御部２１０が実行したプログラムと同様のプログラムを汎用のコンピュータ装置に適用し、当該コンピュータ装置がそのプログラムを実行することで、本発明にかかる画像処理装置として機能させることができる。
【０１１５】
また、本発明を上記で例示したデジタルカメラ１のような撮像装置で実現する場合も、本発明にかかる構成や機能を予め備えた撮像装置として提供できる他、プログラムを適用することにより、既存の撮像装置を本発明にかかる撮像装置をして機能させることもできる。
【０１１６】
なお、上記実施形態では、撮像装置の例としてデジタルスチルカメラを示したが、撮像画像をデジタル処理できるものであれば、例えば、デジタルビデオカメラなどといった動画撮像をおこなう撮像装置に本発明を適用してもよい。また、撮像装置の形態は任意であり、単体のデジタルスチルカメラやデジタルビデオカメラで実現可能であることはもとより、これらと同様の撮像機能を備えた種々の電子機器（例えば、携帯電話など）に本発明を適用してもよい。
【０１１７】
このような場合においても、プログラムを適用することで、既存の装置を本発明にかかる撮像装置として機能させることができる。
【０１１８】
このようなプログラムの適用方法は任意であり、例えば、ＣＤ−ＲＯＭやメモリカードなどの記憶媒体に格納して適用できる他、例えば、インターネットなどの通信媒体を介して適用することもできる。
【０１１９】
また、対象画像の検出をおこなう際に採用するアルゴリズムは任意であり、所望する対象を識別することができるのであれば、上記実施形態で示したニューラルネット、アダブースト、サポートベクターマシン、などに限られるものではない。
【図面の簡単な説明】
【０１２０】
【図１】本発明の実施形態にかかるデジタルカメラの構成を示すブロック図である。
【図２】図１に示す画像メモリおよび記憶部を説明するための図であり、（ａ）は画像メモリを構成する記憶領域の例を示し、（ｂ）は記憶部を構成する記憶領域の例を示す。
【図３】図２（ａ）に示す対象フレーム格納領域に格納される検出用フレーム画像の例を示す図である。
【図４】図２（ｂ）に示す参照用データ格納領域に格納される参照用データの例を示す図である。
【図５】図１に示す制御部によって実現される機能を示す機能ブロック図である。
【図６】図１に示す表示部に表示されるライブビュー画像の例を示す図である。
【図７】本発明の実施形態にかかる「顔検出処理」を説明するためのフローチャートである。
【図８】図７に示す顔検出処理で実行される「顔識別処理」を説明するためのフローチャートである。
【図９】図７および図８に示す各処理での動作を説明するための図であり、（ａ）は、識別領域の移動経路の例を示し、（ｂ）は、作成される履歴情報の例を示し、（ｃ）は、設定された絞込検出領域での識別動作の例を示す。
【符号の説明】
【０１２１】
１…デジタルカメラ、１００…撮像部、１１０…光学装置、１２０…イメージセンサ部、２００…データ処理部、２１０…制御部、２１１…画像変換部、２１２…対象画像選択部、２１３…識別領域設定部、２１４…参照データ選択部、２１５…識別器、２１６…識別結果判定部、２１７…出力処理部、２２０…画像処理部、２３０…画像メモリ、２３０ａ…入力フレーム格納領域、２３０ｂ…対象フレーム格納領域、２３０ｃ…履歴情報格納領域、２４０…画像出力部、２５０…記憶部、２５０ａ…参照データ格納領域、２５０ｂ…プログラム格納領域、２６０…外部記憶部、３００…インタフェース部、３１０…表示部、３２０…外部インタフェース部、３３０…操作部、ＦＲ…検出用フレーム画像、ＲＤ…参照データ、ＳＷ…識別領域、ＳＳ…絞込検出領域
【図１】
2009064123.tif 000003
【図２】
2009064123.tif 000004
【図３】
2009064123.tif 000005
【図４】
2009064123.tif 000006
【図５】
2009064123.tif 000007
【図６】
2009064123.tif 000008
【図７】
2009064123.tif 000009
【図８】
2009064123.tif 000010
【図９】
2009064123.tif 000011