(57)【要約】【課題】被写体を素早く、かつ正確に検出する撮像装置を提供する。【解決手段】画像を取得し、画像の中に基づいて低解像度画像を取得し、低解像度画像に対して被写体候補を検出する。そして、低解像度画像が被写体候補である場合に、低解像度画像よりも高解像度の高解像度画像に対して被写体を検出する。【選択図】図１
2011002882.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮像する撮像装置であって、
画像を取得する画像取得部と、
前記画像取得部によって取得した前記画像に基づいて低解像度画像を取得する低解像度画像取得部と、
前記低解像度画像に対して被写体候補を検出する第１検出部と、
前記画像取得部によって取得した前記画像から前記低解像度画像よりも高解像度である高解像度画像を取得する高解像度画像取得部と、
前記第１検出部によって前記低解像度画像に対して前記被写体候補が検出された場合に、前記高解像度画像に対して前記被写体を検出する第２検出部と、を備えることを特徴とする撮像装置。
【請求項２】
前記高解像度画像取得部は、前記第１検出部によって前記低解像度画像に対して前記被写体候補が検出された場合に、前記画像取得部によって取得した前記画像から前記高解像度画像を取得することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記低解像度画像取得部は、前記高解像度画像を縮小して前記低解像度画像を取得することを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記第１検出部によって検出される前記被写体候補の数に対する前記被写体候補の正解率である前記被写体候補の過検出率は、前記第２検出部によって検出される前記被写体の数に対する前記被写体の正解率である前記被写体の過検出率よりも大きいことを特徴とする請求項２または３に記載の撮像装置。
【請求項５】
前記第１検出部は、
前記低解像度画像の特徴量を算出する第１特徴量算出部と、
前記第１特徴量算出部によって算出した前記特徴量に基づいて前記低解像度画像に前記被写体候補が含まれるかどうか判定する第１判定部と、を備え、
前記第１検出部は、前記第１判定部による判定結果に基づいて、前記低解像度画像に対して前記被写体候補を検出することを特徴とする請求項２または３に記載の撮像装置。
【請求項６】
前記第１判定部は、前記被写体候補を含む画像および前記被写体候補画像を含まない画像である複数の第１学習画像を用いて学習することで、前記低解像度画像に前記被写体候補が含まれるかどうか判定することを特徴とする請求項５に記載の撮像装置。
【請求項７】
前記第１特徴量算出部は、前記被写体候補を含む画像および前記被写体候補画像を含まない画像である複数の第１学習画像を用いて学習された第１特徴に基づいて前記低解像度画像の特徴量を算出することを特徴とする請求項５に記載の撮像装置。
【請求項８】
前記第１学習画像は、前記被写体を含む高解像度の画像および前記被写体を含まない高解像度の画像である複数の第２学習画像を縮小した画像であることを特徴とする請求項６または７に記載の撮像装置。
【請求項９】
前記第１特徴は、矩形特徴または高次局所自己相関によって構成されることを特徴とする請求項７に記載の撮像装置。
【請求項１０】
前記第１判定部は、ブースティングによる学習方法で学習することを特徴とする請求項６に記載の撮像装置。
【請求項１１】
前記第１判定部は、サポートベクターマシンによる学習方法で学習することを特徴とする請求項６に記載の撮像装置。
【請求項１２】
前記第２検出部は、
前記高解像度画像の特徴量を算出する第２特徴量算出部と、
前記第２特徴量算出部によって算出した前記特徴量に基づいて前記高解像度画像に前記被写体が含まれるかどうか判定する第２判定部と、を備え、
前記第２検出部は、前記第２判定部による判定結果に基づいて、前記高解像度画像に対して前記被写体を検出することを特徴とする請求項２または３に記載の撮像装置。
【請求項１３】
前記第２判定部は、前記被写体を含む高解像度の画像および前記被写体を含まない高解像度の画像である複数の第２学習画像を用いて学習することで、前記高解像度画像に前記被写体が含まれるかどうか判定することを特徴とする請求項１２に記載の撮像装置。
【請求項１４】
前記第２特徴量算出部は、前記被写体を含む高解像度の画像および前記被写体を含まない高解像度の画像である複数の第２学習画像を用いて学習された第２特徴に基づいて前記高解像度画像の特徴量を算出することを特徴とする請求項１２に記載の撮像装置。
【請求項１５】
前記第２特徴は、矩形特徴または高次局所自己相関で構成されることを特徴とする請求項１４に記載の撮像装置。
【請求項１６】
前記第２判定部は、ブースティングによる学習方法で学習することを特徴とする請求項１３に記載の撮像装置。
【請求項１７】
前記第２判定部は、サポートベクターマシンによる学習方法で学習することを特徴とする請求項１３に記載の撮像装置。
【請求項１８】
前記高解像度画像取得部は、前記第１検出部によって前記被写体候補が検出された前記低解像度画像に対応する位置近傍でのみ、前記画像取得部によって取得した前記画像から前記高解像度画像を取得することを特徴とする請求項２に記載の撮像装置。
【請求項１９】
前記第１検出部は、
前記被写体候補を含む画像および前記被写体候補画像を含まない画像である複数の第１学習画像によって学習された第１特徴に基づいて前記低解像度画像の特徴量を算出する第１特徴量算出部と、
前記第１特徴量算出部によって算出した前記特徴量に基づいて前記低解像度画像に前記被写体候補が含まれるかどうか判定する第１判定部と、を備え
前記第２検出部は、
前記第１学習画像よりも高解像度であり、前記被写体候補を含む画像および前記被写体候補画像を含まない画像である複数の第２学習画像によって学習された第２特徴に基づいて前記高解像度画像の特徴量を算出する第２特徴量算出部と、
前記第２特徴量算出部によって算出した前記特徴量に基づいて前記高解像度画像に前記被写体が含まれるかどうか判定する第２判定部と、を備え、
前記第２特徴量算出部は、前記第２特徴の中で、前記第１特徴と比較して相対的な位置および大きさが一致する第２特徴については、前記高解像度画像の特徴量を算出しないことを特徴とする請求項２または３に記載の撮像装置。
【請求項２０】
前記第１検出部は、
第１特徴に基づいて前記低解像度画像の特徴量を算出する第１特徴量算出部と、
前記第１特徴量算出部によって算出した前記特徴量に基づいて前記低解像度画像に前記被写体候補が含まれるかどうか判定する第１判定部と、を備え、
前記第２検出部は、
第２特徴に基づいて前記高解像度画像の特徴量を算出する第２特徴量算出部と、
前記第２特徴量算出部によって算出した前記特徴量に基づいて前記高解像度画像に前記被写体が含まれるかどうか判定する第２判定部と、を備え、
前記第２特徴は、前記被写体を含む高解像度の画像および前記被写体を含まない高解像度の画像である複数の学習画像によって学習され、
前記第１特徴量算出部は、前記学習画像によって学習された前記第２特徴を前記高解像度画像と前記低解像度画像との大きさの比率に応じて縮小した前記第１特徴に基づいて前記低解像度画像の特徴量を算出することを特徴とする請求項２または３に記載の撮像装置。
【請求項２１】
前記第１特徴および前記第２特徴は、第１の特徴領域と第２の特徴領域とで構成される特徴を備え、
前記縮小する際に、縮小後の前記第１の特徴領域および前記第２の特徴領域の頂点が、隣り合う画素の境界である画素格子の交点に重ならない場合には、前記頂点が前記画素格子の交点に重なるように前記頂点を移動させることを特徴とする請求項２０に記載の撮像装置。
【請求項２２】
前記縮小する際に、縮小後の前記第１の特徴領域と前記第２の特徴領域との面積を調整することで、縮小前における前記第１の特徴領域と前記第２の特徴領域との比率と、前記縮小後における前記第１の特徴領域と前記第２の特徴領域との比率とを等しくすることを特徴とする請求項２１に記載の撮像装置。
【請求項２３】
前記縮小する際に、縮小後の前記第１の特徴領域と前記第２の特徴領域との重みを調整することで、縮小前における前記第１の特徴領域と前記第２の特徴領域との比率と、前記縮小後における前記第１の特徴領域と前記第２の特徴領域との比率とを等しくすることを特徴とする請求項２１に記載の撮像装置。
【請求項２４】
前記第１検出部は、ｍ個（ｍは１以上の整数）の第１判別部を備え、
前記第２検出部は、ｎ個（ｎはｍ＋１以上の整数）の第２判別部を備え、
前記第１検出部と前記第２検出部とは、直列的に連結することを特徴とする請求項３に記載の撮像装置。
【請求項２５】
前記第１検出部によって前記低解像度画像に対して前記被写体候補が検出されると、前記高解像度画像取得部によって取得した前記高解像度画像を保存する保存部を備えることを特徴とする請求項２に記載の撮像装置。
【請求項２６】
前記保存部に保存された前記高解像度画像に対して前記第２検出部によって前記被写体が検出されなかった場合に、前記保存部に保存された前記高解像度画像を削除する制御部を備えることを特徴とする請求項２５に記載の撮像装置。
【請求項２７】
前記保存部に保存された前記高解像度画像に対して前記第２検出部によって前記被写体が検出されなかった場合に、前記保存部に保存された前記高解像度画像を画像削除フォルダに移動させる制御部を備えることを特徴とする請求項２５に記載の撮像装置。
【請求項２８】
前記制御部は、前記高解像度画像を前記画像削除フォルダに移動した後に、前記高解像度画像の削除の許可を求めることを特徴とする請求項２７に記載の撮像装置。
【請求項２９】
前記第２検出部によって前記高解像度画像に対して前記被写体が検出されると、前記被写体を枠で囲んで表示する表示部を備えることを特徴とする請求項２５に記載の撮像装置。
【請求項３０】
請求項１から２９のいずれか一つに記載の撮像装置を備えたことを特徴とする電子機器。
【請求項３１】
撮像した画像をコンピュータで処理するための画像処理プログラムであって、前記コンピュータに、
画像を取得する画像取得手順と、
前記画像取得手順によって取得した前記画像に基づいて低解像度画像を取得する低解像度画像取得手順と、
前記低解像度画像に対して被写体候補を検出する第１検出手順と、
前記第１検出手順によって前記低解像度画像に対して前記被写体候補が検出された場合に、前記画像取得手順によって取得された前記画像から取得され、前記低解像度画像よりも高解像度である高解像度画像に対して前記被写体を検出する第２検出手順と、を実行させる画像処理プログラム。
【請求項３２】
被写体を撮像する撮像方法であって、
画像を取得し、
前記取得した前記画像に基づいて低解像度画像を取得し、
前記低解像度画像に対して被写体候補を検出し、
前記低解像度画像に対して前記被写体候補が検出された場合に、前記取得した前記画像から取得され、前記低解像度画像よりも高解像度である高解像度画像に対して前記被写体を検出することを特徴とする撮像方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は撮像装置、画像処理プログラム、および撮像方法に関するものである。
【背景技術】
【０００２】
低解像度と高解像度のマスター画像パターンを用意し、これらのマスター画像パターンを用いて検査対象物を検出する方法が特許文献１に開示されている。特許文献１では、まず低解像度の全体画像に対して低解像度用のマスター画像パターンを適用し、領域を絞り込む。そして領域を絞り込んだ後に、高解像度の全体画像を取得し、高解像度の全体画像に対して高解像度用のマスター画像パターンを適用して検査対象物を検出している。
【０００３】
特許文献２には、低解像度の全体画像を取得して顔領域を検出し、顔領域を検出した後に、顔領域に対して高解像度の画像を取得して被写体の個人識別を行う技術が開示されている。
【０００４】
特許文献３には、高次局所自己相関を用いて文字認識を行う技術が開示されている。
【０００５】
非特許文献１では、矩形情報を基にした複数の弱識別器の重み付け総和をAdaBoostにより統合して強識別器を作成し、強識別器をカスケード接続させて画像中の注目対象として顔を検出する技術が開示されている。
【０００６】
非特許文献２にはAdaBoostを応用してジェスチャ認識を行う技術が開示されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開平０５−２８８５２０号公報
【特許文献２】特開２００７−３３４８０２号公報
【特許文献３】特公昭５８−０４７０６４号公報
【非特許文献１】P. Viola and M. Jones. "Rapid Object Detection Using a Boosted Cascade of Simple Features," in Proc. of CVPR, vol.1, ppp.511-518, December, 2001
【非特許文献２】Takeshi Mita, Toshimitsu Kaneko, Bjo¨ rn Stenger, and Osamu Hori, "Discriminative Feature Co-Occurrence Selection for Object Detection" in JOURNAL OF LATEX CLASS FILES, VOL.1, NO.8, AUGUST 2002
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかし、上記の特許文献１の発明では、低解像度の全体画像と高解像度の全体画像を取得する必要があり、例えば、検査対象物が無い場合でも、低解像度の全体画像と高解像度の全体画像の２枚の画像を取得し、検査対象物が無い場合でも、それら取得した２枚の画像を用いて検出対象物の検出処理を行う。そのため、検査対象物の検出時間が長くなる、といった問題点がある。また、特許文献２の発明では、低解像度の全体画像に対して顔領域を検出することが出来なければ、個人識別を行うことができない、といった問題点がある。特許文献３の発明は、画像が低解像度画像である場合には、文字を認識する事が出来ない、といった問題点がある。非特許文献１および非特許文献２の技術は、被写体が小さく写っている場合には被写体を認識することができない、といった問題点がある。
【０００９】
本発明はこのような問題点を解決するために発明されたもので、画像中の被写体を素早く、かつ正確に検出することを目的とする。
【課題を解決するための手段】
【００１０】
本発明のある態様に係る撮像装置は、被写体を撮像する撮像装置であって、画像を取得する画像取得部と、画像取得部によって取得した画像に基づいて低解像度画像を取得する低解像度画像取得部と、低解像度画像に対して被写体候補を検出する第１検出部と、画像取得部によって取得した画像から低解像度画像よりも高解像度である高解像度画像を取得する高解像度画像取得部と、第１検出部によって低解像度画像に対して被写体候補が検出された場合に、高解像度画像に対して被写体を検出する第２検出部と、を備える。
【００１１】
本発明の別の態様に係る画像処理プログラムは、撮像した画像をコンピュータで処理するための画像処理プログラムであって、コンピュータに、画像を取得する画像取得手順と、画像取得手順によって取得した画像に基づいて低解像度画像を取得する低解像度画像取得手順と、低解像度画像に対して被写体候補を検出する第１検出手順と、第１検出手順によって低解像度画像に対して被写体候補が検出された場合に、画像取得手順によって取得された画像から取得され、低解像度画像よりも高解像度である高解像度画像に対して被写体を検出する第２検出手順と、を実行させる。
【００１２】
本発明のさらに別の態様に係る撮像方法は、被写体を撮像する撮像方法であって、画像を取得し、取得した画像に基づいて低解像度画像を取得し、低解像度画像に対して被写体候補を検出し、低解像度画像に対して被写体候補が検出された場合に、取得した画像から取得され、低解像度画像よりも高解像度である高解像度画像に対して被写体を検出する。
【００１３】
これら態様によれば、比較的処理速度が速い低解像度画像を用いて被写体候補が画像中にあるかどうか判定する。そして、画像中に被写体候補があると判定された場合にのみ、高解像度画像を用いて被写体の検出を行う。そのため、例えば被写体が画像中に無い場合には、被写体検出処理を素早く終了させることができる。また、被写体が小さく写っている場合でも、低解像度画像を用いることで被写体候補を検出することができる。そして被写体候補が検出された場合には高解像度画像によって被写体検出を行うので、画像中から被写体を正確に検出することができる。
【発明の効果】
【００１４】
本発明によると、画像中の被写体を素早く、かつ正確に検出することができる。
【図面の簡単な説明】
【００１５】
【図１】第１実施形態の撮像装置を示す概略ブロック図である。
【図２】第１実施形態の第１検出部を示す概略ブロック図である。
【図３】矩形特徴を例示する図である。
【図４】第１実施形態の第２検出部を示す概略ブロック図である。
【図５】第１検出部と第２検出部とにおける検出率と過検出率の関係を示す図である。
【図６】教師画像を例示する図である。
【図７】図６の教師画像の矩形特徴を例示する図である。
【図８】第１実施形態の顔検出制御を示すフローチャートである。
【図９】高次局所自己相関の局所パターンを例示する図である。
【図１０】第１抽出フィルタおよび第２抽出フィルタの矩形特徴を説明する図である。
【図１１】第４実施形態の第１検出部を示す概略ブロック図である。
【図１２】第４実施形態の第１抽出フィルタを説明する図である。
【図１３】第５実施形態の撮像装置を示す概略ブロック図である。
【図１４】第５実施形態の検出部を示す概略ブロック図である。
【図１５】第５実施形態の顔検出制御を示すフローチャートである。
【図１６】第６実施形態の撮像装置を示す概略ブロック図である。
【発明を実施するための形態】
【００１６】
本発明の第１実施形態の撮像装置について図１を用いて説明する。図１は第１実施形態の撮像装置の概略ブロック図である。
【００１７】
第１実施形態の撮像装置は、画像取得部１と、第１縮小部２と、低解像度画像取得部３と、第１検出部４と、第２縮小部５と、高解像度画像取得部６と、第２検出部７とを備える。上記の各部（又はこれら全体）を、論理回路から構成してよい。或いは、上記の各部（又はこれら全体）を、データを格納するメモリ、演算プログラムを格納するメモリ、この演算プログラムを実行するＣＰＵ（中央演算処理装置）、入出力インターフェース等から構成してもよい。
【００１８】
画像取得部１は、外部から画像を取得する。
【００１９】
第１縮小部２は、画像取得部１が取得した画像を設定された縮小率で縮小して第１画像を取得する。入力された画像において被写体のサイズは不明である。そのため、第１縮小部２は、複数の縮小率で縮小して第１画像を取得することができる。
【００２０】
被写体は、撮影者が撮影時に注目する対象であり、例えば人間の顔、人間の手、動物の顔などであるが、これに限定されることはない。なお、撮像装置は、比較的小さく撮影される人間の手についても検出することができ、人間のジェスチャを認識することができる。本実施形態では、被写体が人間の顔である場合について説明する。
【００２１】
低解像度画像取得部３は、第１画像から低解解像度画像を取得する。低解像度画像は、第１画像の中で所定の大きさで区切られた領域の画像である。本実施形態では低解像度画像は、１０×１０pixelで区切られた領域の画像である。なお、本実施形態において、低解像度画像は１５×１５pixel以下の画像とし、高解像度画像は１６×１６pixel以上の画像とする。しかし、これに限られることはない。
【００２２】
低解像度画像取得部３は、取得した低解像度画像において、後述する第１検出部４で顔候補判定が行われ、取得した低解像度画像に顔候補が含まれていないと判定されると、第１画像の中から新しく低解像度画像を取得する。低解像度画像は、第１画像中の全領域で順次取得される。低解像度画像取得部３は、第１画像に対して縦横に所定量ずらしながら順次低解像度画像を取得する。低解像度画像取得部３は、低解像度画像を、例えば最初に第１画像中の左上に設定し、その後所定ピクセル、例えば１pixelだけ左側にずらして低解像度画像を取得する。そして、低解像度画像が第１画像中の右端まで来ると、低解像度画像取得部３は、所定ピクセル、例えば１pixelだけ下側にずらして低解像度画像を取得する。
【００２３】
第１検出部４について図２を用いて説明する。図２は第１検出部４の概略ブロック図である。第１検出部４は、第１特徴抽出部（第１特徴量算出部）T1i-j(i=1〜L,j=1〜M)と、第１判定部H1i(i=1〜L)とを備える。第１検出部４は、低解像度画像取得部３によって取得した低解像度画像に対して被写体候補を検出する。
【００２４】
第１特徴抽出部T1i-j(i=1〜L,j=1〜M)は、低解像度画像取得部３によって取得された低解像度画像が顔候補の特徴を含んでいるか判断する識別器である。第１特徴抽出部T1i-j(i=1〜L,j=1〜M)は、例えば図３に示される矩形特徴、または図３に示される矩形特徴を組み合わせた矩形特徴によって構成される第１抽出フィルタ（第１特徴）をそれぞれ備える。第１抽出フィルタは、低解像度画像が顔候補の特徴を有しているかどうかを判定するフィルタである。つまり、第１抽出フィルタは顔候補の特徴を表している。第１抽出フィルタは、低解像度画像と同じ大きさであり、本実施形態では１０×１０pixelである。なお、矩形特徴については、図３に示されるものに限られる事はなく、顔候補を判別可能なものであればよい。
【００２５】
第１特徴抽出部T1i-j(i=1〜L,j=1〜M)は、低解像度画像の特徴量を算出する。第１特徴抽出部T1i-j(i=1〜L,j=1〜M)は、低解像度画像と第１抽出フィルタとを重ね合わせて、第１抽出フィルタの矩形特徴に対応する低解像度画像の画素値に基づいて特徴量を算出する。例えば第１抽出フィルタの矩形特徴が図３（ａ）、（ｂ）、（ｄ）であった場合には、特徴量は、
特徴量＝（低解像度画像の白矩形の画素値の和）−（低解像度画像の黒矩形の画素値の和）
によって算出される。また、例えば第１抽出フィルタの矩形特徴が図３（ｃ）であった場合には、特徴量は、
特徴量＝（低解像度画像の白矩形の画素値の和）−（低解像度画像の黒矩形の画素値の和）×２
によって算出される。
【００２６】
第１特徴抽出部T1i-j(i=1〜L,j=1〜M)は、算出した特徴量と第１閾値とを比較し、特徴量が第１閾値よりも大きい場合には低解像度画像が顔候補の特徴を含んでいることを示す「１」を出力する。一方、特徴量が第１閾値以下の場合には、低解像度画像が顔候補の特徴を含んでいないことを示す「０」を出力する。第１閾値は、第１特徴抽出部T1i-j(i=1〜L,j=1〜M)毎に設定された値である。
【００２７】
第１判定部H1i(i=1〜L)は、１または複数の第１特徴抽出部H1i-j(i=1〜L,j=1〜M)によって構成される識別器である。第１判定部H1i(i=1〜L)は、各第１特徴抽出部T1i-j(i=1〜L,j=1〜M)から出力される値（「１」か「０」）に各第１特徴抽出部T1i-j(i=1〜L,j=1〜M)が有する第１抽出フィルタの重み（信頼度）を掛けて、各第１特徴抽出部T1i-j(i=1〜L,j=1〜M)の評価値を算出する。そして、第１判定部H1i(i=1〜L)は、各第１特徴抽出部T1i-j(i=1〜L,j=1〜M)の評価値を加算した合計評価値を算出する。第１判定部H1i(i=1〜L)は、算出した合計評価値を第２閾値と比較し、合計評価値が第２閾値よりも大きい場合には、低解像度画像を次ぎの第１判定部H1i(i=1〜L)に入力させる。例えば、第１判定部H11は、第１特徴抽出部T11-1〜T11-Mの評価値を加算した合計評価値を算出する。そして、合計評価値が第１判定部H11の第２閾値よりも大きい場合には、次の第１判定部H12に低解像度画像を入力させる。一方、第１判定部H1i(i=1〜L)は、合計評価値が第２閾値以下の場合には、低解像度画像が顔候補を含んでいないと判定し、現在取得している低解像度画像における顔候補検出判定を終了する。第２閾値は、第１判定部H1i(i=1〜L)毎に設定された値である。
【００２８】
第１検出部４は、複数の第１判別部H1i(i=1〜L)がカスケード接続されて構成される。最後の第１判定部H1nによって低解像度画像が顔候補を含んでいると判定すると、最終的に低解像度画像は顔候補を含んだ画像であると判定される。つまり、取得した画像に顔候補が存在していることとなる。このようにして、第１検出部４は低解像度画像から顔候補を検出する。一方、縮小率を変えて取得した第１画像の全範囲で低解像度画像に対して、いずれかの第１判定部H1i(i=1〜L)で合計評価値が第２閾値以下であると判定されると、第１画像からは顔候補が検出されなかったことになる。つまり、取得した画像には顔候補が存在していないこととなる。
【００２９】
第２縮小部５は、画像取得部１が取得した画像から第２画像を取得する。第２画像は、第１縮小部２によって取得される第１画像と比較して高解像度の画像である。第２縮小部５は、例えば入力された画像をそのまま取得し、または第１縮小部２よりも縮小率が小さい縮小率で縮小して第２画像を取得する。第２縮小部５は第１検出部４によって第１画像中に顔候補が検出された場合にのみ第２画像を取得する。
【００３０】
高解像度画像取得部６は、第２画像から高解像度画像を取得する。高解像度画像は、第２画像の中で所定の大きさで区切られた領域の画像である。本実施形態では高解像度画像は、２４×２４pixelで区切られた領域の画像である。高解像度画像取得部６は、取得した高解像度画像において、後述する第２検出部７で顔検出判定が行われると、第２画像の中から新しい高解像度画像を取得する。新しい高解像度画像の取得方法は、低解像度画像取得部３における低解像度画像の取得方法と同じである。
【００３１】
第２検出部７について図４を用いて説明する。図４は第２検出部７の概略ブロック図である。第２検出部７は、第２特徴抽出部（第２特徴量算出部）T2i-j(i=1〜L,j=1〜M)と、第２判定部H2i(i=1〜L)とを備える。第２検出部７は、第２画像の中から顔を検出する。
【００３２】
第２特徴抽出部T2i-j(i=1〜L,j=1〜M)は、高解像度画像取得部６によって取得された高解像度画像が顔の特徴を含んでいるかどうか判断する識別器である。第２特徴抽出部T2i-j(i=1〜L,j=1〜M)は、例えば図３に示される矩形特徴、または図３に示される矩形特徴を組み合わせた矩形特徴によって構成される第２抽出フィルタ（第２特徴）を備える。第２抽出フィルタは、高解像度画像が顔の特徴を有しているかどうかを判定するフィルタである。第２抽出フィルタの矩形特徴は、例えば図３に示すような矩形特徴である。第２抽出フィルタは、高解像度画像と同じ大きさであり、本実施形態では２４×２４pixelである。なお、矩形特徴は、図３に示されるものに限られる事はなく、顔を判別可能なものであればよい。
【００３３】
第２特徴抽出部T2i-j(i=1〜L,j=1〜M)は、高解像度画像の特徴量を算出する。第２特徴抽出部T2i-j(i=1〜L,j=1〜M)における特徴量の算出方法は第１特徴抽出部T1i-j(i=1〜L,j=1〜M)と同じ方法である。
【００３４】
第２特徴抽出部T2i-j(i=1〜L,j=1〜M)は、算出した特徴量と第３閾値とを比較し、算出した特徴量が第３閾値よりも大きい場合には、高解像度画像が顔の特徴を含んでいることを示す「１」を出力する。一方、算出した特徴量が第３閾値以下である場合には、高解像度画像が顔の特徴を含んでいないことを示す「０」を出力する。第３閾値は、第２特徴抽出部T2i-j(i=1〜L,j=1〜M)毎に設定された値である。
【００３５】
第２判定部H2i(i=1〜L)は、１または複数の第２特徴抽出部H2i-j(i=1〜L,j=1〜M)によって構成される識別器である。第２判定部H2i(i=1〜L)は、各第２特徴抽出部T2i-j(i=1〜L,j=1〜M)から出力される値（「１」か「０」）に各第２特徴抽出部T2i-j(i=1〜L,j=1〜M)が有する第２抽出フィルタの重み（信頼度）を掛けて、各第２特徴抽出部T2i-j(i=1〜L,j=1〜M)の評価値を算出する。そして、第２判定部H2i(i=1〜L)は、各第２特徴抽出部T2i-j(i=1〜L,j=1〜M)の評価値を加算した合計評価値を算出する。第２判定部H2i(i=1〜L)は、算出した合計評価値を第４閾値と比較し、合計評価値が第４閾値よりも大きい場合には、高解像度画像を次ぎの第２判定部H2i(i=1〜L)に入力させる。一方、第２判定部H2i(i=1〜L)は、合計評価値が第４閾値以下の場合には、高解像度画像が顔を含んでいないと判断し、現在取得している高解像度画像における顔検出判定を終了する。第４閾値は、第２判定部H2i(i=1〜L)毎に設定された値である。
【００３６】
第２検出部７は、複数の第２判定部H2i(i=1〜L)をカスケード接続することで構成される。最後の第２判定部H2nによって高解像度画像が顔の特徴を含んでいると判定されると、最終的に高解像度画像は顔を含んだ画像であると判定される。このようにして、第２検出部７は高解像度画像から顔を検出する。一方、第２画像の全範囲で取得した高解像度画像に対して、いずれかの第２判定部H2i(i=1〜L)で合計評価値が第４閾値以下であると判定されると、第２画像からは顔が検出されなかったこととなる。つまり、取得した画像に顔が含まれていない事となる。
【００３７】
ここで、第１検出部４と第２検出部７とにおける検出率と過検出率の関係について図５を用いて説明する。図５は第１検出部４および第２検出部７における検出率と過検出率とのＲＯＣ（Receiver Operating Characteristic）曲線である。過検出率とは、第１検出部４または第２検出部７が顔候補または顔であると判定した数に対する実際の顔候補または顔の正解率を示すものである。
【００３８】
第１検出部４および第２検出部７においては検出率が上がると過検出率も上昇する。本実施形態では、第１検出部４における顔候補の過検出率が、第２検出部７における顔の過検出率よりも大きくなるように、第１検出部４と第２検出部７とを設定する。なお、顔の検出率と顔候補検出率とはほぼ同じ検出率であることが望ましい。ただし、第２検出部７と第１検出部４とでは学習で用いる教師画像の解像度が異なるなど、第１検出部４と第２検出部７と間で判定条件が異なるため必ずしも同じ検出率となるわけではない。
【００３９】
本実施形態では、顔候補の過検出率を顔の過検出率よりも大きくすることで、第１検出部４によって顔候補を出来るだけ逃がさずに検出し、顔候補が検出された場合に、画像中に顔があるかどうかを第２検出部７によって正確に判定する。
【００４０】
次に第１判定部H1i(i=1〜L)および第２判定部H2i(i=1〜L)の構築方法について説明する。第１判定部H1i(i=1〜L)および第２判定部H2i(i=1〜L)は、ともに顔を含んだ多数の教師画像（学習画像）と顔を含まない多数の教師画像（学習画像）とを用いたブースティングの学習方法により構築される。本実施形態では、特にAdaBoostの学習方法によって構築されている。AdaBoostの学習方法は、詳しくは非特許文献１に開示されているので詳しい説明は省略するが、AdaBoostを用いた学習は以下の手順によって行われる。（１）教師画像を用意する。（２）学習重みを初期化する。（２）各教師画像の重みを正規化する。（３）（ａ）学習重みを正規化する。（ｂ）各特徴について識別エラーを計算する。（ｃ）識別エラーを最小とする特徴を選択する。（ｄ）学習重みを更新する。（４）最終的な抽出フィルタを構築する。
【００４１】
第２判定部H2i(i=1〜L)は、高解像度の教師画像（第２学習画像）を用いて構築される。本実施形態では、高解像度の教師画像として２４×２４pixelの画像を用いる。また、第１判定部H1i(i=1〜L)は、低解像度の教師画像（第１学習画像）を用いて構築される。本実施形態では、低解像度の教師画像として１０×１０pixelの画像を用いる。低解像度の教師画像は、高解像度の教師画像を縮小して作成される。また、高解像度の教師画像と低解像度の教師画像とをそれぞれ撮影して作成しても良い。
【００４２】
上記する学習によって、第１抽出フィルタおよび第２抽出フィルタも構築される。ここで、第１抽出フィルタと第２抽出フィルタとについて詳しく説明する。上記学習時に、顔を含んだ高解像度の教師画像として、例えば図６（ａ）に示す画像が用いられ、顔を含んだ低解像度の教師画像として、例えば図６（ａ）の画像を縮小した図７（ａ）に示す画像が用いられたものとする。図６（ａ）と図７（ａ）に示した画像を、矩形特徴を用いて表すと、各教師画像の矩形特徴は例えば図６（ｂ）と図７（ｂ）となる。このような場合に、第１抽出フィルタと第２抽出フィルタとは、例えば図６（ｂ）、図７（ｂ）の矩形特徴に基づいて構築される。
【００４３】
低解像度の教師画像は、顔の特徴となる例えば目、鼻、口を示す境界が高解像度の教師画像よりもぼやけるので、高解像度の教師画像と比較して情報量が少なくなる。そのため低解像度の教師画像から得られる矩形特徴は、高解像度の教師画像から得られる矩形特徴よりも少なくなる。つまり、低解像度の教師画像を用いて学習して構築される第１抽出フィルタは、高解像度の教師画像を用いて学習して構築される第２抽出フィルタよりも矩形特徴のバリエーションが少なくなる。
【００４４】
このように、或る顔に対して低解像度画像の矩形特徴は高解像度画像の矩形特徴よりもバリエーションが少ないので、第１検出部４では低解像度画像取得部３によって取得した低解像度画像が顔候補の特徴を含んでいるかどうかを正確に判定することができない。しかし、例えば画像取得部１によって取得した画像において被写体が小さく写り、第１画像に縮小すると正確には顔とは識別が困難となった顔についても、第１判定部H1i(i=1〜L)は顔候補として検出することができる。第１判定部H1i(i=1〜L)は、低解像度の教師画像を用いた学習によって構築されているからである。そして、第１画像に顔候補があると判定されると、第２検出部７によって高解像度画像を用いて顔判定を行うことで、顔を正確に検出することができる。
【００４５】
次に本実施形態の顔検出制御について図８のフローチャートを用いて説明する。
【００４６】
ステップＳ１００では、入力された画像から第１画像を取得する。後述するステップＳ１０４からステップが戻って来た場合には、新たな縮小率で縮小した第１画像を取得する。
【００４７】
ステップＳ１０１では、第１画像から低解像度画像を取得する。後述するステップＳ１０３からステップが戻って来た場合には、新たに低解像度画像を取得する。
【００４８】
ステップＳ１０２では、取得した低解像度画像が顔候補を含むかどうか判定する。つまり、低解像度画像から顔候補が検出されたかどうか判定する。そして、低解像度画像が顔候補を含むと判定されると、ステップＳ１０５へ進む。一方、低解像度画像が顔候補を含んでいないと判定されると、ステップＳ１０３へ進む。
【００４９】
ステップＳ１０３では、第１画像の中で低解像度画像を取得していない箇所があるかどうか判定する。そして、第１画像の中で低解像度画像を取得していない箇所がある場合には、ステップＳ１０１へ戻り、第１画像の中から新たに低解像度画像を取得し、上記制御を繰り返す。一方、第１画像の全範囲において低解像度画像を取得した場合にはステップＳ１０４へ進む。
【００５０】
ステップＳ１０４では、設定された全ての縮小率で第１画像を取得したかどうか判定する。そして、設定された全ての縮小率で第１画像を取得した場合には、入力された画像に顔候補がないと判定して本制御を終了する。一方、設定された縮小率の中で選択されていない縮小率がある場合には、ステップ１００へ戻り、新たな縮小率で縮小した第１画像を取得し、上記制御を繰り返す。
【００５１】
ステップＳ１０５では、入力された画像から第２画像を取得する。後述するステップＳ１０４からステップが戻って来た場合には、新たな縮小率で縮小した第２画像を取得する。なお、ここでは入力された画像を縮小して第２画像を取得する場合について説明するが、入力された画像をそのまま第２画像としても良い。
【００５２】
ステップＳ１０６では、第２画像から高解像度画像を取得する。後述するステップＳ１０８からステップが戻って来た場合には、新たに高解像度画像を取得する。
【００５３】
ステップＳ１０７では、取得した高解像度画像が顔を含んでいるかどうか判定する。つまり、高解像度画像から顔が検出されたかどうか判定する。そして、高解像度画像が顔を含んでいると判定されると、取得した高解像度画像が顔であることを示す信号を出力する。
【００５４】
ステップＳ１０８では、第２画像の中で高解像度画像を取得していない箇所があるかどうか判定する。そして、第２画像の中で高解像度画像を取得していない箇所がある場合には、ステップＳ１０６へ戻り、新たに高解像度画像を取得し、上記制御を繰り返す。一方、第２画像の全範囲において高解像度画像を取得した場合にはステップＳ１０９へ進む。
【００５５】
ステップＳ１０９では、設定された全ての縮小率で第２画像を取得したかどうか判定する。そして、設定された全ての縮小率で第２画像を取得した場合には、本制御を終了する。一方、設定された縮小率の中で選択されていない縮小率がある場合には、ステップＳ１０５へ戻り、新たな縮小率で縮小した第２画像を取得し、上記制御を繰り返す。
【００５６】
なお、本実施形態では、第１画像から顔候補が検出されると、直ぐに第２画像を取得したが、第１画像の全範囲で顔候補を検出しても良い。さらに設定された全ての縮小率で第１画像を取得して顔候補を検出しても良い。そして、第２画像から高解像度画像を取得する際に、第１画像中で顔候補が検出された箇所に対応する箇所近傍でのみ、高解像度画像を取得し、顔検出を行っても良い。顔候補が検出された箇所近傍においてのみ、高解像度画像を取得し、顔検出を行うことで、顔検出制御を素早く行うことができる。
【００５７】
また、第１判定部H1i(i=1〜L)および第２判定部H2i(i=1〜L)は学習方法としてサポートベクターマシンを用いても良い。サポートベクターマシンは、学習データを２クラスに分離する分離平面を構成する。分離平面は、クラス境界近傍に位置する学習データを基準として、学習データと分離平面との距離が最も大きくなるような位置に設定される。サポートベクターマシンによる学習方法は、例えば、David Meyer, a, Friedrich Leischa and Kurt Hornikb. "The support vector machine under test" in Neurocomputing, ]Volume 55, Issues 1-2, September 2003, Pages 169-186に記載されている。
【００５８】
また、本実施形態では、画像取得部１によって取得した画像を縮小することで、第１画像と第２画像とを取得したが、低解像度の画像を取得する画像取得部と、高解像度の画像を取得する画像取得部とを別に設けても良い。
【００５９】
本発明の第１実施形態の効果について説明する。
【００６０】
画像取得部１によって取得した画像に基づいて、低解像度画像を取得し、低解像度画像に対して顔候補を検出する。そして、低解像度画像に対して顔候補が検出されると、画像取得部１によって取得された画像から取得された高解像度画像に対して顔検出を行う。これによって、取得した画像中に顔が含まれている場合に顔検出を正確に行うことができる。また、画像取得部１によって取得された画像に顔候補がない場合には、高解像度画像による顔検出が行われないので、顔検出制御を素早く終了させることができる。
【００６１】
第１検出部４における顔候補の過検出率を第２検出部７における顔の過検出率よりも大きくすることで、第１画像中の顔候補を漏れなく検出することができる。これにより、画像中の顔があるにもかかわらず、第１検出部４によって第１画像中に顔候補がないと判定されることを防止し、顔検出を正確に行うことができる。
【００６２】
低解像度画像の特徴量をそれぞれ算出し、算出した特徴量に基づいて低解像度画像が顔候補であるかどうか判定する。また高解像度画像についても同様に、高解像度画像が顔であるかどうか判定する。これらにより、低解像度画像に対する顔候補検出および高解像度画像に対する顔検出を正確に行うことができる。
【００６３】
低解像度の教師画像によって顔候補を学習することで、第１判定部H1i(i=1〜L)における顔候補検出を正確に行うことができる。また、高解像度の教師画像によって顔を学習することで、第２判定部H2i(i=1〜L)における顔検出を正確に行うことができる。
【００６４】
第１抽出フィルタを低解像度の教師画像によって学習して作成することで、顔候補検出を正確に行うことができる。また、同様に第２抽出フィルタを高解像度の教師画像によって学習して作成することで、顔検出を正確に行うことができる。
【００６５】
高解像度の教師画像を縮小した低解像度の教師画像を用いて第１抽出フィルタを作成することで、画像中に小さく写っている顔についても第１検出部４において正確に顔候補として検出することができる。また、同じ教師画像に基づいて、第１抽出フィルタと第２抽出フィルタを作成することで、第１検出部４における顔候補検出と第２検出部７における顔検出との結果を近づけることができ、顔検出を正確に行うことができる。
【００６６】
第１抽出フィルタおよび第２抽出フィルタを矩形特徴で構成することで、顔検出制御を素早く行うことができる。
【００６７】
第１判定部H1i(i=1〜L)および第２判定部H2i(i=1〜L)をブースティングによる学習方法で学習させることで、顔候補検出および顔検出を素早く、正確に行うことができる。
【００６８】
次に本発明の第２実施形態について説明する。
【００６９】
本実施形態では、第１特徴抽出部T1i-j(i=1〜L,j=1〜M)および第２特徴抽出部T2i-j(i=1〜L,j=1〜M)における特徴量の算出方法が第１実施形態とは異なっている。第１特徴抽出部T1i-j(i=1〜L,j=1〜M)および第２特徴抽出部T2i-j(i=1〜L,j=1〜M)は高次局所自己相関関数を用いて特徴量を算出する。高次局所自己相関関数は自己相関を高次に拡張したものであり、参照点r、対象画像をf(r)とすると、Ｎ次の自己相関関数は、変位（a1,a2,...,aN）に対して次式で定義される。
【００７０】
【数１】
2011002882.tif 000003
【００７１】
このときに変位領域をrの局所に限定したものを高次局所自己相関と呼ぶ。図９は、次数Nを２次に限定し、領域を３×３pixelに限定したときの局所パターンの一例を示したものである。図９（ａ）は、次数Nを０次とした場合の局所パターンであり、図９（ｂ）は次数Nを１次とした場合の局所パターンの一例であり、図９（ｃ）は、次数Nを２次とした場合の局所パターンの一例である。参照点rにおける特徴量は、図９の黒丸の画素値と白丸の画素値とを掛け合わせて算出される。
【００７２】
第１特徴抽出部T1i-j(i=1〜L,j=1〜M)は、第１抽出フィルタを例えば図９に示す局所パターンを有するフィルタで構成する。第１特徴抽出部T1i-j(i=1〜L,j=1〜M)は、第１抽出フィルタと低解像度画像とを重ね合わせて、第１抽出フィルタの局所パターンに対応する低解像度画像の画素値に基づいて特徴量を算出する。第１抽出フィルタが複数の局所パターンによって構成されている場合には、各局所パターンに対応する画素値の積を足し合わせることで特徴量を算出する。
【００７３】
第２特徴抽出部T2i-j(i=1〜L,j=1〜M)は、第１特徴抽出部T1i-j(i=1〜L,j=1〜M)と同様の方法によって特徴量を算出する。
【００７４】
本発明の第２実施形態の効果について説明する。
【００７５】
第１抽出フィルタおよび第２抽出フィルタを高次局所自己相関によって構成することで、顔検出制御を素早く行うことができる。
【００７６】
次に本発明の第３実施形態について説明する。
【００７７】
本実施形態は、第１実施形態と比較して、第２特徴抽出部T2i-j(i=1〜L,j=1〜M)における特徴量の算出を少なくするものである。
【００７８】
本実施形態では、低解像度画像および第１抽出フィルタの大きさを１０×１０pixelとし、高解像度画像および第２抽出フィルタの大きさを２０×２０pixelとする。つまり、高解像度画像および第２抽出フィルタの大きさは、低解像度画像および第１抽出フィルタの大きさの２倍である。
【００７９】
本実施形態の第２抽出フィルタについて説明する。第１抽出フィルタおよび第２抽出フィルタの矩形特徴が図１０に示す特徴であるとする。なお、説明のため第１抽出フィルタおよび第２抽出フィルタは、３つの矩形特徴を備えているものとする。図１０（ａ）は第１抽出フィルタを示し、図１０（ｂ）は第２抽出フィルタを示す。
【００８０】
図１０（ａ）の矩形特徴をα、β、γとし、図１０（ｂ）の矩形特徴をα’、β’、γ’とする。矩形特徴α、β、γの位置と矩形特徴α’、β’、γ’の位置を比較すると、矩形特徴αと矩形特徴α’に関しては各フィルタに対する相対的な位置は一致している。しかし、矩形特徴β、γと矩形特徴β’、γ’に関しては各フィルタに対する相対的な位置は一致していない。
【００８１】
また、矩形特徴α’の大きさは、矩形特徴αの大きさの２倍であり、第１抽出フィルタと第２抽出フィルタとの大きさの比率と一致する。しかし、矩形特徴γと矩形特徴γ’については大きさの比率は第１抽出フィルタと第２抽出フィルタとの大きさの比率と一致していない。
【００８２】
つまり、第１抽出フィルタに対する矩形特徴αの位置、大きさと第２特徴抽出フィルタに対する矩形特徴α’の位置、大きさは、相対的に一致している。
【００８３】
このような場合に、矩形特徴αを有する第１抽出フィルタと矩形特徴α’を有する第２抽出フィルタとは、顔候補検出および顔検出において同じ検出結果を示す。例えば、矩形特徴αを有する第１抽出フィルタを備えた第１特徴抽出部T1i-j(i=1〜L,j=1〜M)が、低解像度画像を顔候補の特徴を含んだ画像であると判定すると、矩形特徴α’を有する第２抽出フィルタを備えた第２特徴抽出部T2i-j(i=1〜L,j=1〜M)もまた高解像度画像を顔の特徴を含んだ画像であると判定する。そのため、第２特徴抽出部T2i-j(i=1〜L,j=1〜M)における判定を省略しても、顔検出の結果に影響を与えない。
【００８４】
本実施形態では、第１抽出フィルタの矩形特徴と相対的な位置、大きさが一致する矩形特徴を有する第２抽出フィルタを備えた第２特徴抽出部T2i-j(i=1〜L,j=1〜M)においては、特徴量の算出を省略する。このような第２特徴抽出部T2i-j(i=1〜L,j=1〜M)は、特徴量を算出することなく、第１特徴抽出部T1i-j(i=1〜L,j=1〜M)における判定結果を代用する。例えば、第１特徴抽出部T1i-j(i=1〜L,j=1〜M)が低解像度画像が顔候補の特徴を含む事を示す「１」を出力すると、第１抽出フィルタの矩形特徴と相対的な位置、大きさが一致する矩形特徴を有する第２抽出フィルタを備えた第２特徴抽出部T2i-j(i=1〜L,j=1〜M)も「１」を出力する。
【００８５】
なお、第１抽出フィルタの矩形特徴と相対的な位置、大きさが一致する矩形特徴を削除して第２抽出フィルタを作成しても良い。
【００８６】
本実施形態では、高解像度画像および第２抽出フィルタの大きさが、低解像度画像および第１抽出フィルタの大きさの２倍である場合について説明したが、これに限られることはない。高解像度画像および第２抽出フィルタの大きさは、低解像度画像および第１抽出フィルタの大きさの整数倍であり、相対的な位置、大きさが一致していればよい。
【００８７】
本発明の第３実施形態の効果について説明する。
【００８８】
第１抽出フィルタの矩形特徴と相対的な位置、大きさが一致する矩形特徴を有する第２抽出フィルタを備えた第２特徴抽出部においては、特徴量の算出を省略することで、顔検出制御を素早く行うことができる。
【００８９】
次に本発明の第４実施形態について図１１を用いて説明する。図１１は、第４実施形態の撮像装置の第１検出部４の概略ブロック図である。
【００９０】
本実施形態の撮像装置は、第１実施形態の撮像装置と比較して、第１検出部１０が異なっている。その他の構成については、第１実施形態と同じ構成なので、ここでの説明は省略する。なお、本実施形態では、高解像度画像は２０×２０pixelで区切られた領域の画像である。
【００９１】
第１特徴抽出部T11i-j(i=1〜L,j=1〜M)は、第２抽出フィルタを縮小したフィルタを第１抽出フィルタとして用いる。つまり、本実施形態では、学習時に高解像度画像の教師画像によって第２抽出フィルタを構築し、この第２抽出フィルタを用いて第１特徴抽出部T11i-j(i=1〜L,j=1〜M)で低解像度画像が顔候補の特徴を含んでいるか判定を行うものである。第１抽出フィルタは１０×１０pixelである。
【００９２】
第２抽出フィルタを第１抽出フィルタとして用いる方法について図１２を用いて説明する。
【００９３】
ここでは、第２抽出フィルタの矩形特徴が例えば図１２（ａ）に示す特徴であるとする。なお、図１２（ａ）には説明のため矩形特徴α、β、γ、θを記載している。
【００９４】
図１２（ａ）の矩形特徴α、β、γを低解像度画像の大きさに合わせて、１／２に縮小した矩形特徴を、α’、β’、γ’とし、図１２（ｂ）、（ｃ）に示す。ここでは、図１２の各図の左下を原点として座標（ｘ、ｙ）を設定して説明する。座標は１pixelを単位とする。そのため隣り合う画素間の境界となる画素格子が座標に対応する。
【００９５】
矩形特徴αの頂点α１〜α６の座標は、α１（４、１０）、α２（８、１０）、α３（１２、１０）、α４（１２、１６）、α５（８、１６）α６（４、１６）となる。そのため矩形特徴αを縮小した場合には、矩形特徴α’の頂点α１’〜α６’は、図１２（ｂ）において、α１'（２、５）、α２'（４、５）、α３'（６、５）、α４'（６、８）、α５'（４、８）、α６'（２、８）となり、頂点α１'〜α６'は画素格子の交点に重なる。
【００９６】
矩形特徴βの頂点β１〜β６の座標は、β１（７、１）、β２（１１、１）、β３（１５、１）、β４（１５、７）、β５（１１、７）、β６（７、７）となる。ここで矩形特徴βを縮小すると、矩形特徴βの頂点β１〜β６に対応する頂点は画素格子の交点に重ならない。この場合、一定のルールに基づいて頂点を移動させる。本実施形態では、画素格子の交点に重ならなかった頂点を右、下、もしくは右下の格子に移動させる。このルールに従うと、矩形特徴β’は、図１２（ｂ）において、β１'（４、０）、β２'（６、０）β３'（８、０）、β４'（８、３）、β５'（６、３）、β６'（４、３）となり、頂点β１'〜β６'は画素格子の交点に重なる。
【００９７】
矩形特徴γの頂点γ１〜γ６の座標は、γ１（１４、１５）、γ２（１７、１５）、γ３（２０、１５）、γ４（２０、１８）、γ５（１７、１８）、γ６（１４、１８）となる。この場合、矩形特徴γの頂点γ１〜γ６に対応する頂点の一部は画素格子の交点に重ならない。これに対して矩形特徴βと同様のルールを適用すると、図１２（ｂ）において、γ１'（７、７）、γ２'（９、７）、γ３'（１０、７）、γ４'（１０、９）、γ５'（９、９）、γ６'（７、９）となる。上記ルールを適用すると、矩形特徴γ’の頂点は、画素格子の交点に重なるが、黒の矩形（第１の特徴領域）との面積と白の矩形（第２の特徴領域）の面積との比率が、縮小する前の矩形特徴γの比率と比較すると異なる比率となる。このような場合には、面積の多い部分を１pixel減らし、γ１''（８、７）、γ６''（８、９）とすることで、図１２（ｃ）に示すように黒の矩形の面積と白の矩形の面積との比率を縮小の前後で同じ比率となるようにする。
【００９８】
また、黒の矩形の面積と白の矩形の面積との比率を縮小の前後で同じ比率とするために、黒の矩形と白の矩形との重みを変えてもよい。これによっても第２抽出フィルタを縮小して第１抽出フィルタとして用いることができる。
【００９９】
なお、図１２（ａ）の矩形特徴θは、縮小すると最小単位である１pixelの黒の矩形と１piｘel白の矩形とで構成することができないので削除される。
【０１００】
本実施形態では、以上の方法によって第２抽出フィルタを縮小した第１抽出フィルタを用いて第１特徴抽出部T11i-j(i=1〜L,j=1〜M)によって低解像度画像の特徴量を算出する。
【０１０１】
第１判定部H11i(i=1〜L)は、各第１特徴抽出部T11i-j(i=1〜L,j=1〜M)から出力される値に基づいて低解像度画像が顔候補を含んでいるかどうか判定する。
【０１０２】
なお、第１抽出フィルタを拡大して第２抽出フィルタとして用いても良い。
【０１０３】
本発明の第４実施形態の効果について説明する。
【０１０４】
第２抽出フィルタを低解像度画像と高解像度画像との大きさの比率に応じて縮小し、第１抽出フィルタとして使用することで、撮像装置に記憶させるデータ量を少なくすることができる。
【０１０５】
第２抽出フィルタを縮小する場合に、縮小した矩形特徴の頂点が画素素子の交点に重なるように縮小することで、第２抽出フィルタを第１抽出フィルタとして用いることができる。
【０１０６】
第２抽出フィルタを縮小する場合に、矩形特徴の黒の矩形の面積と白の矩形の面積との比率が、縮小前の比率と同じ比率となるように、縮小した矩形特徴の頂点を移動させることで、第２抽出フィルタを第１抽出フィルタとして用いることができる。
【０１０７】
次に本発明の第５実施形態の撮像装置について図１３を用いて説明する。図１３は、第５実施形態の撮像装置の概略ブロック図である。
【０１０８】
本実施形態の撮像装置は、画像取得部１と、縮小部２１と、高解像度画像取得部２２と、低解像度画像取得部２３と、検出部２４とを備える。
【０１０９】
縮小部２１は、第１実施形態の第２縮小部５と同様の構成であり、画像取得部２０が取得した画像から第２画像を取得する。
【０１１０】
高解像度画像取得部２２は、縮小部２１で取得した第２画像から高解像度画像を取得する。高解像度画像は、第２画像の中で２０×２０pixelで区切られた領域の画像である。
【０１１１】
低解像度画像取得部２３は、高解像度画像を所定の縮小率で縮小して低解像度画像を取得する。本実施形態では、低解像度画像は、高解像度画像を１／２に縮小した１０×１０pixelの画像である。
【０１１２】
検出部２４について図１４を用いて説明する。図１４は、検出部２４の概略ブロック図である。検出部２４は、複数の判別部Hk（k=1〜n、n:２以上の整数）をカスケード接続することで構成される。また、検出部２４は、第１検出部２５と、第２検出部２６とを備える。
【０１１３】
第１検出部２５は、判別部Hkの中でｍ番目までの判別部Hm（ｍ：１以上の整数、ｍ＜ｎ、以下、この判別部Hkを第１判別部Hmとして説明する）によって構成される。
【０１１４】
第１判別部Hmは、低解像度画像取得部２３によって取得された低解像度画像が顔候補の特徴を含んでいるか判断する識別器である。第１判別部Hmは、第４実施形態の第１特徴抽出部T11i-j(i=1〜L,j=1〜M)と同様に、第２抽出フィルタを縮小したフィルタを第１抽出フィルタとして用いて低解像度画像の特徴量を算出する。そして、第１判別部Hmは、特徴量が第１閾値よりも大きい場合に、低解像度画像が顔候補の特徴を含んでいると判定する。
【０１１５】
第１検出部２５は、ｍ番目の第１判別部Hmによって低解像度画像が顔候補の特徴を含んでいると判定すると、低解像度画像が顔候補を含んだ画像であると判定する。
【０１１６】
第２検出部２６は、判別部Hkの中でｍ＋１からｎ番目の判別部Hn（以下、この判別部を第２判別部Hnとして説明する）によって構成される。
【０１１７】
第２判別部Hnは、高解像度画像取得部２２によって取得された高解像度画像が顔の特徴を含んでいるか判断する識別器である。第２判別部Hnは、第１検出部２５によって低解像度画像が顔候補を含んでいると判定されると、低解像度画像を作成した高解像度画像が有する特徴量を算出する。そして、第２判別部Hnは、特徴量が第２閾値よりも大きい場合に、高解像度画像が顔の特徴を含んでいると判定する。
【０１１８】
第２検出部２６は、ｎ番目の第２判別部Hnによって高解像度画像が顔の特徴を含んでいると判定すると、高解像度画像が顔を含んでいると判定する。
【０１１９】
次に本実施形態の顔検出制御について図１５のフローチャートを用いて説明する。
【０１２０】
ステップＳ２００では、入力された画像から第２画像を取得する。後述するステップＳ２０６からステップが戻って来た場合には、新たな縮小率で縮小した第２画像を取得する。
【０１２１】
ステップＳ２０１では、入力された第２画像から高解像度画像を取得する。後述するステップＳ２０５からステップが戻って来た場合には、新たに高解像度画像を取得する。
【０１２２】
ステップＳ２０２では、取得した高解像度画像を所定の縮小率で縮小し、低解像度画像を取得する。
【０１２３】
ステップＳ２０３では、低解像度画像が顔候補を含んでいるかどうか判定する。そして、低解像度画像が顔候補を含んでいると判定するとステップＳ２０４へ進む。一方、低解像度画像が顔候補を含んでいないと判定するとステップＳ２０５へ進む。
【０１２４】
ステップＳ２０４では、ステップＳ２０１によって取得した高解像度画像が顔を含んでいるかどうか判定する。そして、高解像度画像が顔を含んでいると判定すると、入力された第２画像に顔が含まれていることを示す信号を出力する。
【０１２５】
ステップＳ２０５では、第２画像の中で高解像度画像を取得していない箇所があるかどうか判定する。そして、第２画像の中で高解像度画像を取得していない箇所がある場合には、ステップＳ２０１へ戻り、第２画像の中から新たに高解像度画像を取得し、上記制御を繰り返す。一方、第２画像の全範囲において高解像度画像を取得した場合にはステップＳ２０６へ進む。
【０１２６】
ステップＳ２０６では、設定された全ての縮小率で第２画像を取得したかどうか判定する。そして、設定された全ての縮小率で第２画像を取得した場合には、本制御を終了する。一方、設定された縮小率の中で選択されていない縮小率がある場合には、ステップ２００へ戻り、新たな縮小率で縮小した第２画像を取得する。
【０１２７】
なお、本実施形態では、高解像度画像を縮小することで、低解像度画像を作成したが、低解像度画像を取得し、低解像度画像を拡大することで、高解像度画像を作成しても良い。
【０１２８】
また、第１実施形態と同様に低解像度画像と高解像度画像とを用意し、第１検出部においては低解像度画像を用いて顔候補判定を行い、第２検出部においては高解像度画像を用いて顔判定を行っても良い。
【０１２９】
本発明の第５実施形態の効果について説明する。
【０１３０】
高解像度画像を縮小して低解像度画像を取得し、低解像度画像で顔候補ではないと判定された場合には、高解像度画像による顔検出を行わず、低解像度画像が顔候補であると判定された場合にのみ、高解像度画像による顔検出判定を行う。これにより、処理に時間がかかる高解像度画像による顔検出の頻度を少なくし、顔検出を素早く行うことができる。
【０１３１】
本発明の第６実施形態について図１６を用いて説明する。図１６は第６実施形態の概略ブロック図である。本実施形態では、撮像装置としてデジタルスチルカメラ（以下、カメラとする）を用いたものである。本実施形態では、第１実施形態で説明した顔検出制御を行う。
【０１３２】
カメラは、撮像素子３０と、Ａ／Ｄ変換器３１と、第１縮小部３２と、低解像度画像取得部３３と、第１検出部３４と、第２縮小部３５と、高解像度画像取得部３６と、第２検出部３７と、画像表示部（表示部）３８と、メモリ（保存部）３９と、ＣＰＵ（制御部）４０とを備える。
【０１３３】
撮像素子３０は、光学系４１を通って受光面に入射される光に応じてアナログの信号を所定のタイミングで出力する。撮像素子３０は、例えばＣＣＤ（電荷結合素子）やＣＭＯＳ（相補型金属酸化膜半導体）センサと称される形式、あるいはその他の各種の形式の撮像素子である。
【０１３４】
Ａ／Ｄ変換器３１は、撮像素子によって出力されたアナログの信号を画像データとしてのデジタルの信号に変換する。
【０１３５】
第１縮小部３２は、撮像素子によって得られた画像を縮小して第１画像を取得する。なお、第１画像はスルー画として画像表示部３８に表示される。画像表示部３８に表示されるスルー画は、決められた縮小率で縮小した画像である。低解像度画像取得部３３は、第１画像の中から低解像度画像を取得する。第１検出部３４は、低解像度画像から顔候補を検出する。
【０１３６】
第１検出部３４によって第１画像中に顔候補があると判定されると、実際に撮影を行い、第２縮小部３５は、第２画像を取得する。
【０１３７】
高解像度画像取得部３６は、第２画像から高解像度画像を取得する。取得された高解像度画像は、メモリ３９に保存される。なお、連写によって高解像度画像を取得しても良い。第２検出部３７は、高解像度画像から顔を検出する。第２検出部３７によって顔が検出されなかった場合には、高解像度画像はメモリ３９から削除される。
【０１３８】
なお、高解像度画像をメモリ３９から削除する際には、例えばゴミ箱のような削除候補画像を入れるフォルダを設け、その中に削除する高解像度画像を一旦入れてもよい。また、ユーザーに削除することの確認を求め、ユーザーにより削除することを指示された場合に削除するようにしても良い。これによって、必要な画像が削除されることを防ぐことができる。
【０１３９】
画像表示部３８は、スルー画を表示させる。画像表示部３８は、スルー画の中で、第２検出部７によって検出された顔に対応する箇所を例えば矩形状の枠で囲んで表示させても良い。これによってユーザーに顔が検出されたことを示すことができる。
【０１４０】
ＣＰＵ４０は、カメラ全体を制御する。ＣＰＵ４０は、メモリに格納されたプログラムを実行することで、カメラが有する様々な機能を発揮させる。
【０１４１】
本発明の第６実施形態の効果について説明する。
【０１４２】
低解像度画像によって顔候補が検出された場合に、高解像度画像を取得し、取得した高解像度画像をメモリ３９に保存することで、顔検出を素早く行うことができる。
【０１４３】
高解像度画像によって顔が検出されなかった場合には、メモリ３９に保存した高解像度画像を削除することで、メモリ３９の容量を小さくすることができる。
【０１４４】
なお、上記実施形態に限られる事はなく、上記実施形態の構成を組み合わせることが可能である。
【０１４５】
また、上記撮像装置は、デジタルカメラ、デジタルビデオカメラ、電子内視鏡など、正しく作動するために電流または電磁界に依存する機器である電子機器に搭載することが可能である。
【０１４６】
また、上述した実施形態の説明では、撮像装置が行う処理としてハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、別途ソフトウェアにて処理する構成も可能である。
【０１４７】
この場合、撮像装置は、ＣＰＵ、ＲＡＭ等の主記憶装置、上記処理の全て或いは一部を実現させるためのプログラムが記憶されたコンピュータ読取り可能な記憶媒体を備える。ここでは、このプログラムを画像処理プログラムと呼ぶ。そして、ＣＰＵが上記記憶媒体に記憶されている画像処理プログラムを読み出して、情報の加工・演算処理を実行することにより、上記撮像装置と同様の処理を実現させる。
【０１４８】
ここで、コンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、この画像処理プログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該画像処理プログラムを実行するようにしても良い。
【０１４９】
本発明は上記した実施形態に限定されるものではなく、その技術的思想の範囲内でなしうるさまざまな変更、改良が含まれることは言うまでもない。
【符号の説明】
【０１５０】
１、２０      画像取得部
２、３２      第１縮小部
３、２３、３３      低解像度画像取得部
４、１０、２５、３４      第１検出部
５、３５      第２縮小部
６、２２、３６      高解像度画像取得部
７、２６、３７      第２検出部
２１    縮小部
２４    検出部
３０    撮像素子
３１    Ａ／Ｄ変換器
３８    画像表示部（表示部）
３９    メモリ（保存部）
４０    ＣＰＵ（制御部）
T1i-j,T11i-j    第１特徴抽出部（第１特徴量算出部）
H1i,H11i      第１判定部
Hk      判別部
T2i-j    第２特徴抽出部（第２特徴量算出部）
H2i      第２判定部
【図１】
2011002882.tif 000004
【図２】
2011002882.tif 000005
【図３】
2011002882.tif 000006
【図４】
2011002882.tif 000007
【図５】
2011002882.tif 000008
【図８】
2011002882.tif 000009
【図９】
2011002882.tif 000010
【図１０】
2011002882.tif 000011
【図１１】
2011002882.tif 000012
【図１２】
2011002882.tif 000013
【図１３】
2011002882.tif 000014
【図１４】
2011002882.tif 000015
【図１５】
2011002882.tif 000016
【図１６】
2011002882.tif 000017
【図６】
2011002882.tif 000018
【図７】
2011002882.tif 000019