(57)【要約】【課題】監視カメラなどによる定点撮影または準定点撮影において、動領域の検出結果を有効に利用した露光制御等を実現することが可能な画像処理装置、撮像装置、画像処理方法、およびプログラムを提供する。【解決手段】少なくとも、外部からの制御に基づき画像の入力を行う撮像部１０１と、画像から画面内の動領域を検出し検出情報を出力する検出部１０２と、検出部１０２が出力した過去の検出情報を蓄積する蓄積部１０３と、蓄積部１０３に蓄積された過去の検出情報に基づいて撮像部１０１に所定の制御を施す制御部１０４とを有する。【選択図】図４
2009284270.tif 000002
【特許請求の範囲】
【請求項１】
制御情報に応じた状態で撮像された画像から画面内の動領域を検出し、検出情報を出力する検出部と、
前記検出部が出力した過去の検出情報を蓄積する蓄積部と、
前記蓄積部に蓄積された過去の検出情報に基づいて前記制御情報を生成し、当該制御情報に応じて撮像状態を制御する制御部と
を有する画像処理装置。
【請求項２】
前記制御部は、
前記蓄積部による検出情報履歴により過去に動領域が検出されたか否かを判定し、過去に動領域が検出されていないと判定した場合には、画面全体または画面中央部から評価値を取得し、過去に動領域が検出されていたと判定した場合には、過去に動領域が検出された領域についての前記評価値を取得するように前記制御情報を生成し、
前記評価値に応じた制御情報により撮像条件を変化させる
請求項１記載の画像処理装置。
【請求項３】
前記制御部は、
過去に動領域が検出された領域が画面全体に占める割合が所定以上となるまで画面全体または画面中央部から評価値を取得するように制御する
請求項２記載の画像処理装置。
【請求項４】
前記制御部は、
複数の領域に区分された画面の各領域についての部分評価値を取得し、
前記部分評価値が取得される各領域が、前記蓄積部の検出情報履歴により動領域の検出の頻度が高い領域か否かを判定し、検出頻度が高いと判定した場合、前記部分評価値に相対的に高い重み付けをして前記部分評価値を更新し、検出頻度が低いと判定した場合、相対的に低い重み付けをして前記部分評価値を更新し、更新した部分評価値を加味して画面全体の評価値を得、当該画面全体の評価値に応じた制御情報により撮像条件を変化させる
請求項１記載の画像処理装置。
【請求項５】
前記制御部は、
前記部分評価値を更新するための重み付けの値を動領域の検出頻度に応じて設定する
請求項４記載の画像処理装置。
【請求項６】
前記蓄積部に蓄積されている過去の検出情報の一部または全部を所定の条件において消去する消去部を含む
請求項１から５のいずれか一に記載の画像処理装置。
【請求項７】
前記所定の条件が、
前回の消去から所定時間経過していることである
請求項６記載の画像処理装置。
【請求項８】
前記画像には、
撮影アングルを変更して撮像した画像を含み、
前記消去部は、
アングル情報から撮影アングルの変化を検出すると消去信号を前記蓄積部に出力し、
前記蓄積部は、
前記消去信号を受けて、前記蓄積された過去の検出情報の少なくとも一部を破棄する
請求項６記載の画像処理装置。
【請求項９】
アングル情報に応じて切り替え処理を行う切替部を有し、
前記画像には、
撮影アングルを変更して撮像した画像を含み、
前記蓄積部は、
前記Ｎ種（Ｎは自然数）のアングルに対応する独立したＮ個の蓄積部を含み、
前記切替部は、
前記アングル情報に応じた蓄積部に切り替えて、対応する検出情報の蓄積および検出情報履歴の前記制御部への入力を行わせる
請求項１から５のいずれか一に記載の画像処理装置。
【請求項１０】
前記検出部による検出情報および前記蓄積部の検出情報履歴に基づいて、前記蓄積部に蓄積された過去の検出情報履歴の収束度を取得する収束度取得部と、
前記収束度と検出情報履歴とから動領域の検出の対象とする入力画像の範囲を示す範囲情報を生成する範囲設定部と、を含み、
前記検出部は、
範囲設定部で設定された範囲で動領域の検出を行う
請求項１から９のいずれか一に記載の画像処理装置。
【請求項１１】
前記収束度取得部は、
前記検出部による検出情報を参照し動領域が少なくとも一つ検出されたと認識した場合、前記蓄積部の検出情報履歴から検出された動領域が過去に動領域が検出された領域に包含されているか否かを判定し、包含されていないと判定した場合は収束度を減少させ、包含されていると判定した場合は収束度を増加させて、前記範囲設定部に出力する
請求項１０記載の画像処理装置。
【請求項１２】
前記範囲設定部は、
検出情報履歴の収束後も動領域の検出を所定回数行うごとに画面全体を検出対象となるように範囲を設定する
請求項１０または１１記載の画像処理装置。
【請求項１３】
少なくとも、外部からの制御に基づき画像の撮像を行う撮像部と、
前記撮像部で撮像された画像から画面内の動領域を検出し検出情報を出力する検出部と、
前記検出部が出力した過去の検出情報を蓄積する蓄積部と、
前記蓄積部に蓄積された過去の検出情報履歴に基づいて前記撮像部に所定の制御を施す制御部と
を有する撮像装置。
【請求項１４】
前記撮像部は、
画像の撮像に関する評価値を取得して前記制御部に出力し、前記制御部の制御情報に従って撮像条件を変化させる機能を有し、
前記制御部は、
前記蓄積部による検出情報履歴により過去に動領域が検出されたか否かを判定し、過去に動領域が検出されていないと判定した場合には、画面全体または画面中央部から前記評価値を取得し、過去に動領域が検出されていたと判定した場合には、過去に動領域が検出された領域についての前記評価値を取得するように前記撮像部を制御し、
前記撮像部による評価値に応じた制御情報を前記撮像部に出力して撮像条件を変化させる
請求項１３記載の撮像装置。
【請求項１５】
前記制御部は、
過去に動領域が検出された領域が画面全体に占める割合が所定以上となるまで画面全体または画面中央部から評価値を取得するように制御する
請求項１４記載の撮像装置。
【請求項１６】
前記撮像部は、
画像の撮像に関する評価値を取得して前記制御部に出力し、前記制御部の制御情報に従って撮像条件を変化させる機能を有し、
前記制御部は、
前記撮像部において複数の領域に区分された画面の各領域についての部分評価値を取得するように制御し、
前記部分評価値が取得される各領域が、前記蓄積部の検出情報履歴により動領域の検出の頻度が高い領域か否かを判定し、検出頻度が高いと判定した場合、前記部分評価値に相対的に高い重み付けをして前記部分評価値を更新し、検出頻度が低いと判定した場合、相対的に低い重み付けをして前記部分評価値を更新し、更新した部分評価値を加味して画面全体の評価値を得、当該画面全体の評価値に応じた制御情報を前記撮像部に出力して撮像条件を変化させる
請求項１３記載の撮像装置。
【請求項１７】
前記制御部は、
前記部分評価値を更新するための重み付けの値を動領域の検出頻度に応じて設定する
請求項１６記載の撮像装置。
【請求項１８】
前記蓄積部に蓄積されている過去の検出情報の一部または全部を所定の条件において消去する消去部を含む
請求項１３から１７のいずれか一に記載の撮像装置。
【請求項１９】
前記所定の条件が、
前回の消去から所定時間経過していることである
請求項１８記載の撮像装置。
【請求項２０】
前記撮像部は、
撮影アングルを変更して撮像可能であり、現在のアングル情報を前記消去部に出力し、
前記消去部は、
アングル情報から撮影アングルの変化を検出すると消去信号を前記蓄積部に出力し、
前記蓄積部は、
前記消去信号を受けて、前記蓄積された過去の検出情報の少なくとも一部を破棄する
請求項１８記載の撮像装置。
【請求項２１】
アングル情報に応じて切り替え処理を行う切替部を有し、
前記撮像部は、
撮影アングルを変更して撮像可能であり、現在のアングル情報を前記切替部に出力し、
前記蓄積部は、
前記Ｎ種（Ｎは自然数）のアングルに対応する独立したＮ個の蓄積部を含み、
前記切替部は、
前記アングル情報に応じた蓄積部に切り替えて、対応する検出情報の蓄積および検出情報履歴の前記制御部への入力を行わせる
請求項１３から１７のいずれか一に記載の撮像装置。
【請求項２２】
前記検出部による検出情報および前記蓄積部の検出情報履歴に基づいて、前記蓄積部に蓄積された過去の検出情報履歴の収束度を取得する収束度取得部と、
前記収束度と検出情報履歴とから動領域の検出の対象とする入力画像の範囲を示す範囲情報を生成する範囲設定部と、を含み、
前記検出部は、
範囲設定部で設定された範囲で動領域の検出を行う
請求項１３から２１のいずれか一に記載の撮像装置。
【請求項２３】
前記収束度取得部は、
前記検出部による検出情報を参照し動領域が少なくとも一つ検出されたと認識した場合、前記蓄積部の検出情報履歴から検出された動領域が過去に動領域が検出された領域に包含されているか否かを判定し、包含されていないと判定した場合は収束度を減少させ、包含されていると判定した場合は収束度を増加させて、前記範囲設定部に出力する
請求項２２記載の撮像装置。
【請求項２４】
前記範囲設定部は、
検出情報履歴の収束後も動領域の検出を所定回数行うごとに画面全体を検出対象となるように範囲を設定する
請求項２２または２３記載の撮像装置。
【請求項２５】
制御情報に応じた状態で撮像された画像から画面内の動領域を検出し、検出情報を得る検出ステップと、
前記検出ステップで得られた過去の検出情報を蓄積する蓄積ステップと、
前記蓄積ステップで蓄積された過去の検出情報に基づいて前記制御情報を生成する生成ステップと、
前記制御情報に応じて撮像状態を制御する制御ステップと
を有する画像処理方法。
【請求項２６】
制御情報に応じた状態で撮像された画像から画面内の動領域を検出し、検出情報を得る検出処理と、
前記検出処理で得られた過去の検出情報を蓄積する蓄積処理と、
前記蓄積処理で蓄積された過去の検出情報に基づいて前記制御情報を生成する生成処理と、
前記制御情報に応じて撮像状態を制御する制御処理と
を含む画像処理をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、監視カメラなど適用される画像処理装置、撮像装置、画像処理方法、およびプログラムに関するものである。
【背景技術】
【０００２】
カメラの入力画像から人物の顔を検出し、その検出結果に基づき露光制御、ホワイトバランス制御、フォーカス制御などを行うことで被写体である人物を明瞭に撮影する技術が知られている(たとえば特許文献１，２，３参照)。
【０００３】
特許文献１に記載の技術によれば、入力された画像データの中から予め顔を検出しておき、顔が検出された領域についての測光結果のウェイトを高く評価して露光制御を行うことで、撮影対象となる画像における人物の露光が適正となるようにしている。
【０００４】
また、特許文献２に記載の技術によれば、顔検出を行う画像を保持し、この画像に対してＡＦ、ＡＥ、ＡＷＢ評価値を導出する。
このため、特許文献２に記載の技術によれば、顔検出対象画像と撮影対象画像との時間差によって多少人物が移動するような場合には、特許文献１に記載の技術より正しい制御が期待できる。
【０００５】
一方、特許文献３に記載の技術によれば、ほぼ同一とみなせる被写体について、時間的に近い複数枚の画像に対して顔検出を行うことで、検出結果の確からしさを向上させ、高精度な露光制御を実現する。
【特許文献１】特開２００３-１０７５５５号公報
【特許文献２】特開２００５-３１８５５４号公報
【特許文献３】特開２００７-８２０２６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
上述した技術において共通するのは、顔検出対象画像とその検出結果に基づいて各種制御を行う画像、すなわち、撮影対象画像との時間差が比較的小さく、２つの画像間に大きな差分がないことを前提とする点である。
【０００７】
つまり、上述した技術は、いずれも撮影対象画像そのものに存在する顔領域を検出し、まさにその領域が鮮明となるよう各種制御を行うものである。
換言すれば、これらの技術は、たとえば、被写体自身が撮影されることを意識し、ほぼ静止状態でカメラに向かっている場合など、主に静止画の撮影において有効な技術といえる。
【０００８】
一方で、上述した技術では、監視カメラで動画像撮影する場合など、被写体が基本的に静止していないケースへの適用は難しい。
【０００９】
図１（ａ）はある時刻における入力画像の一例を示す図である。また、図１（ｂ）は図１（ａ）に示す入力画像の時刻から若干の時間が経過した後の入力画像の一例を示す図である。
【００１０】
特許文献１および３に記載の技術は、図１（ａ）において符号Ｆ２１で示す位置に顔が検出された場合、図１（ｂ）においても位置Ｆ２１と同等の位置Ｆ３１に顔が存在し、検出されることを前提としている。
しかしながら、図１（ｂ）において実際に顔が存在する位置は符号Ｆ３２で示す位置であるため、これら技術は有効に機能しない。
【００１１】
また、顔検出対象画像を取得する時点では、顔領域がどこであるかは不明であるため、必ずしも顔が検出できるような露光制御が行われるとは限らない。
たとえば、同じ場所を撮影する場合であっても、昼間の晴天下では顔が検出され、夜間の街灯の下では顔が検出されない、ということは一般に起こりうる。
【００１２】
図２（ａ）は、昼間に撮影された画像の一例を示す図である。また、図２（ｂ）は、図２（ａ）と同一のアングルで夜間に撮影された画像の一例を示す図である。
【００１３】
手法にもよるが、画像から人物の顔を検出するためには、顔領域内に所定のコントラストが必要である。
しかし、図２（ｂ）に示すような画像においては、街灯１の周辺の明るい領域の影響で顔領域のコントラストが低くなるような露光制御がなされることがあり、検出に失敗する可能性がある。
顔検出対象画像に顔領域が存在しても、検出自体が不可能な場合、上記した技術はいずれも利用できない。
【００１４】
また、ある人物が映っている一連の動画像(シーン)を構成する全ての静止画において、必ずしも顔が検出されるとは限らない。すなわち、現状の顔検出技術は、検出率１００％ではない。
このようなケースで上記した技術を用いた場合は、顔が検出された静止画とそうでない静止画とで大きく異なる露光制御が行われる。
その結果、上記技術では、１つのシーンにおいて露光が安定せず、動画像として見た場合、チラツキが発生する問題が起こりうる。
【００１５】
図３（ａ）〜（ｅ）は、人物が登場するシーンの一例を構成するフレーム群を示す図である。
【００１６】
ここでは、図３（ｂ）のフレームＦＬｂと図３（ｄ）のフレームＦＬｄでのみ顔が検出できたと仮定する。
また、図３（ａ）のフレームＦＬａの測光結果を元に図３（ｂ）のフレームＦＬｂの露光制御を行うものとする。
同様に、図３（ｂ）のフレームＦＬｂの測光結果を元に図３（ｃ）のフレームＦＬｃの露光制御を行うものとする。
図３（ｃ）のフレームＦＬｃの測光結果を元に図３（ｄ）のフレームＦＬｄの露光制御を行うものとする。
図３（ｄ）のフレームＦＬｄの測光結果を元に図３（ｅ）のフレームＦＬｅの露光制御を行うものとする。
そして、上記した技術により顔が検出されたときは、顔が検出されなかったときと比べて画像が明るくなるよう露光制御されるものとする。
【００１７】
すると、図３（ａ）〜（ｅ）に示すとおり、フレームＦＬｂ、フレームＦＬｄは相対的に暗く、フレームＦＬｃ、フレームＦＬｅは相対的に明るくなるよう露光制御されるため、１つのシーンにおいて露光が安定しない事態が発生する。
このように撮影された動画像には、チラツキが知覚されることとなることが予測される。もっとも、顔領域における測光結果のウェイトとそれ以外の領域における測光結果のウェイトとの差を小さくすればチラツキは軽減される。
しかし、それでは上記した技術の持つ効果をも損なわれることとなる。
【００１８】
本発明は、監視カメラなどによる定点撮影または準定点撮影において、動領域の検出結果を有効に利用した露光制御等を実現することが可能な画像処理装置、撮像装置、画像処理方法、およびプログラムを提供することにある。
【課題を解決するための手段】
【００１９】
本発明の第１の観点の画像処理装置は、制御情報に応じた状態で撮像された画像から画面内の動領域を検出し、検出情報を出力する検出部と、前記検出部が出力した過去の検出情報を蓄積する蓄積部と、前記蓄積部に蓄積された過去の検出情報に基づいて前記制御情報を生成し、当該制御情報に応じて撮像状態を制御する制御部とを有する。
【００２０】
本発明の第２の観点の撮像装置は、少なくとも、外部からの制御に基づき画像の撮像を行う撮像部と、前記撮像部で撮像された画像から画面内の動領域を検出し検出情報を出力する検出部と、前記検出部が出力した過去の検出情報を蓄積する蓄積部と、前記蓄積部に蓄積された過去の検出情報履歴に基づいて前記撮像部に所定の制御を施す制御部とを有する。
【００２１】
好適には、前記撮像部は、画像の撮像に関する評価値を取得して前記制御部に出力し、前記制御部の制御情報に従って撮像条件を変化させる機能を有し、前記制御部は、前記蓄積部による検出情報履歴により過去に動領域が検出されたか否かを判定し、過去に動領域が検出されていないと判定した場合には、画面全体または画面中央部から前記評価値を取得し、過去に動領域が検出されていたと判定した場合には、過去に動領域が検出された領域についての前記評価値を取得するように前記撮像部を制御し、前記撮像部による評価値に応じた制御情報を前記撮像部に出力して撮像条件を変化させる。
【００２２】
好適には、前記制御部は、過去に動領域が検出された領域が画面全体に占める割合が所定以上となるまで画面全体または画面中央部から評価値を取得するように制御する。
【００２３】
好適には、前記撮像部は、画像の撮像に関する評価値を取得して前記制御部に出力し、前記制御部の制御情報に従って撮像条件を変化させる機能を有し、前記制御部は、前記撮像部において複数の領域に区分された画面の各領域についての部分評価値を取得するように制御し、前記部分評価値が取得される各領域が、前記蓄積部の検出情報履歴により動領域の検出の頻度が高い領域か否かを判定し、検出頻度が高いと判定した場合、前記部分評価値に相対的に高い重み付けをして前記部分評価値を更新し、検出頻度が低いと判定した場合、相対的に低い重み付けをして前記部分評価値を更新し、更新した部分評価値を加味して画面全体の評価値を得、当該画面全体の評価値に応じた制御情報を前記撮像部に出力して撮像条件を変化させる。
【００２４】
好適には、前記制御部は、前記部分評価値を更新するための重み付けの値を動領域の検出頻度に応じて設定する。
【００２５】
好適には、前記蓄積部に蓄積されている過去の検出情報の一部または全部を所定の条件において消去する消去部を含む。
【００２６】
好適には、前記所定の条件が、前回の消去から所定時間経過していることである。
【００２７】
好適には、前記撮像部は、撮影アングルを変更して撮像可能であり、現在のアングル情報を前記消去部に出力し、前記消去部は、アングル情報から撮影アングルの変化を検出すると消去信号を前記蓄積部に出力し、前記蓄積部は、前記消去信号を受けて、前記蓄積された過去の検出情報の少なくとも一部を破棄する。
【００２８】
好適には、アングル情報に応じて切り替え処理を行う切替部を有し、前記撮像部は、撮影アングルを変更して撮像可能であり、現在のアングル情報を前記切替部に出力し、前記蓄積部は、前記Ｎ種（Ｎは自然数）のアングルに対応する独立したＮ個の蓄積部を含み、前記切替部は、前記アングル情報に応じた蓄積部に切り替えて、対応する検出情報の蓄積および検出情報履歴の前記制御部への入力を行わせる。
【００２９】
好適には、前記検出部による検出情報および前記蓄積部の検出情報履歴に基づいて、前記蓄積部に蓄積された過去の検出情報履歴の収束度を取得する収束度取得部と、
前記収束度と検出情報履歴とから動領域の検出の対象とする入力画像の範囲を示す範囲情報を生成する範囲設定部と、を含み、前記検出部は、範囲設定部で設定された範囲で動領域の検出を行う。
【００３０】
好適には、前記収束度取得部は、前記検出部による検出情報を参照し動領域が少なくとも一つ検出されたと認識した場合、前記蓄積部の検出情報履歴から検出された動領域が過去に動領域が検出された領域に包含されているか否かを判定し、包含されていないと判定した場合は収束度を減少させ、包含されていると判定した場合は収束度を増加させて、前記範囲設定部に出力する。
【００３１】
好適には、前記範囲設定部は、検出情報履歴の収束後も動領域の検出を所定回数行うごとに画面全体を検出対象となるように範囲を設定する。
【００３２】
本発明の第３の観点の画像処理方法は、制御情報に応じた状態で撮像された画像から画面内の動領域を検出し、検出情報を得る検出ステップと、前記検出ステップで得られた過去の検出情報を蓄積する蓄積ステップと、前記蓄積ステップで蓄積された過去の検出情報に基づいて前記制御情報を生成する生成ステップと、前記制御情報に応じて撮像状態を制御する制御ステップとを有する。
【００３３】
本発明の第４の観点は、制御情報に応じた状態で撮像された画像から画面内の動領域を検出し、検出情報を得る検出処理と、前記検出処理で得られた過去の検出情報を蓄積する蓄積処理と、前記蓄積処理で蓄積された過去の検出情報に基づいて前記制御情報を生成する生成処理と、前記制御情報に応じて撮像状態を制御する制御処理とを含む画像処理をコンピュータに実行させるプログラムである。
【００３４】
本発明によれば、検出部において、制御情報に応じた状態で撮像された画像から画面内の動領域が検出され、その検出情報が蓄積部に出力される。
蓄積部においては、検出部が出力した過去の検出情報が蓄積される。
そして、制御部において、蓄積部に蓄積された過去の検出情報に基づいて制御情報が生成され、この制御情報に応じて撮像状態が制御される。
【発明の効果】
【００３５】
本発明によれば、監視カメラなどによる定点撮影または準定点撮影において、動領域の検出結果を有効に利用した露光制御等を実現することができる。
【発明を実施するための最良の形態】
【００３６】
以下、本発明の実施形態を図面に関連付けて説明する。
【００３７】
本実施形態においては、監視カメラなどによる定点撮影または準定点撮影において、顔検出結果を有効に利用した露光制御を実現する画像処理装置を有する撮像装置（カメラ装置）について説明する。
【００３８】
本実施形態においては、まず、本発明の背景および概要を説明した後、具体的な構成例について説明する。
【００３９】
監視カメラの監視用途においては、不審人物を明瞭に見たい、というニーズが存在する。
既存の技術では、主に静止画を対象とし、今現在、正に顔が存在する領域が明瞭となるような制御を行っている。
監視カメラなどは、定点撮影、または、プリセットされたアングルを手動あるいは自動で切り替える準定点撮影を行い、その撮影時間は、１日２４時間、１年３６５日、以上連続することが少なくない。
【００４０】
たとえば、屋外で使用する場合、昼夜で被写体の照明条件が変わる。すなわち、夜間の照明条件では顔が検出されない可能性があり、顔が検出されなければ、既存の技術を適用することは困難となる。
監視カメラにおいては、たとえ顔が検出できなくとも、顔が存在しうる領域は明瞭に見えることが望まれる。
【００４１】
また、光と影の具合により、同じ画面内でも検出できる顔とできない顔が存在しうる。
監視カメラにおいては、人が存在しうる領域はすべからく明瞭に見えることが望ましい。そして、監視カメラにおいては、画面内の特定の人物だけが明瞭に見えても、それ以外の人物が不明瞭であっては困る。
【００４２】
一般的に、監視用途では基本的に被写体の人物が撮影されていることは意識されていない。被写体は激しく移動する可能性があるが、既存の技術においては、被写体がほぼ静止していることを前提としている。
つまり、既存の技術をそのまま監視用途に適用することは難しい。
【００４３】
そこで、本発明においては、まず、画面を「人物が存在しうる領域」と「人物が存在することはない領域」に分離する。
その目的のために、本実施形態においては、顔検出を行い、検出結果を蓄積して、人物が存在しうる部分（＝顔が存在しえない部分）を示すマップを生成する。
そして、本実施形態においては、人物の存在位置さえ特定できれば、検出内容は顔でなくとも構わない。同じアングルであれば、昼でも夜でも、人が存在しうる領域はほぼ同じと期待できるケースが多いことから、夜の顔検出が難しい場合には、昼の間に顔検出を行ってマップを生成しておき、そのマップを使って夜の露光制御を行う。
【００４４】
また、本実施形態においては、上述した「人物が存在しうる領域」全体の視認性を上げる方向で制御を行う。
この場合、照明条件の違いにより、たとえ検出できない顔があっても、その部分の視認性も向上する方向で制御される。
長時間撮影後、マップの更新が収束してきたら、たとえば顔が存在しうる場所、しない場所、が安定し、マップの更新が収束してきた場合、顔が存在しうる場所に限って顔検出を行っても、画面全体に対し顔検出を行う場合と等価な結果が得られる。
【００４５】
また、現在の顔位置から制御を行う既存技術と併用する場合であっても、検出にかかる電力消費を抑えることが可能となる。
顔検出の検出速度が遅い、あるいは顔検出の検出率が低い場合であっても、マップの更新収束に時間がかかるだけで、最終的に得られるマップに違いはなく、顔検出にかかる消費電力を抑制することができる。
【００４６】
次に、本発明の具体的な実施形態について説明する。
【００４７】
＜第１実施形態＞
まず、本発明の第１の実施形態について説明する。なお、本第１の実施形態においては、定点撮影、つまり、常に一定のアングルで撮影されることを想定している。
【００４８】
図４は、本発明の第１の実施形態に係る画像処理装置を適用した撮像装置（カメラ装置）の構成の一例を示すブロック図である。
【００４９】
本撮像装置１００は、図４に示すように、撮像部１０１、検出部１０２、蓄積部１０３、および制御部１０４を有する。
これらの構成要素のうち、検出部１０２、蓄積部１０３、および制御部１０４により画像処理装置が形成される。
【００５０】
撮像部１０１は、被写体からの反射光などで構成される光波を入力し、画像に変換し、入力画像ＩＭ、後段の検出部１０２等の処理系に出力する。
撮像部１０１は、画像と同時にたとえば露光制御のための制御評価値（露光評価値）ＥＳＴを得て、制御部１０４に出力する。
撮像部１０１は、外部の制御部１０４からの制御情報ＣＴＬに基づき、出力画像における露光量を変化させる。
【００５１】
検出部１０２は、撮像部１０１による画像ＩＭを入力し、入力画像ＩＭ中から被写体である人物の顔を検出し、検出情報ＤＴＣを蓄積部１０３に出力する。ここでは、顔が画面内の動領域（構造物）に相当する。
ここで、検出情報とは、具体的には顔が検出された位置やサイズなど、画像中における顔領域を特定するための情報である。
なお、検出部１０２に要求される検出速度は、既存技術で要求される速度と比べて遅くても構わない。また、検出率が低くても構わないが、誤検出率は低いことが望ましい。
たとえば、検出部１０２は、各領域について顔らしさを示す評価値を算出し、この評価値が所定の閾値以上であれば顔領域、所定の閾値未満であれば非顔領域とする顔検出手法を適用することができる。この場合は、前記所定の閾値を高く設定することで、誤検出率を低下させることが可能である。
【００５２】
蓄積部１０３は、検出部１０２による検出情報ＤＴＣを入力し、所定の形式に変換して、蓄積する。
なお、以下では、蓄積部１０３に蓄積された過去の検出情報のことを「検出情報履歴」と呼ぶこととする。
【００５３】
制御部１０４は、撮像部１０１による露光評価値ＥＳＴと蓄積部１０３に蓄積された検出情報履歴ＤＴＣＨとを入力し、これらに基づいて撮像部１０１における露光量を制御する機能を有する。
【００５４】
図５は、本実施形態に係る撮像部１０１の詳細な構成の一例を示すブロック図である。
【００５５】
撮像部１０１は、少なくとも、レンズ１０１１、絞り１０１２、ＣＣＤやＣＭＯＳセンサからなる撮像素子１０１３、アナログ‐デジタル（ＡＤ）コンバータ１０１４、および露光評価値算出部１０１５により構成される。
【００５６】
撮像部１０１において、入力された光波は、レンズ１０１１を通して撮像素子１０１３上に被写体を結像する。撮像素子１０１３は、被写体からの光をアナログ電気信号に変換し、ＡＤコンバータ１０１４はさらにアナログ電気信号をデジタル信号に変換し、最終的にデジタルの画像データ（ＩＭ）として出力する。
この過程において、露光評価値算出部１０１５は、出力される画像データについての露光評価値を算出して、制御部１０４に出力する。
【００５７】
また、撮像部１０１は、必要に応じてさらに、絞り１０１２、電子シャッタ・メカニカルシャッタ、可変ゲインアンプなどを内包する。そして、撮像部１０１は、制御部１０４からの制御情報ＣＴＬに基づいて絞り１０１２の開口、シャッタの開放時間、ゲイン量などを変化させることで、出力画像の露光量を適正に調節できるものとする。
【００５８】
図５に示す撮像部１０１では、簡単のため絞り１０１２のみを配している。外部からの制御情報ＣＴＬに基づき、絞り１０１２の開口を大きくしたり、小さくしたりすることで、撮像素子１０１３に照射される光の量、ひいては、露光量を調節できる。
また、別の制御情報により、露光評価値算出部１０１５に対して、撮像素子１０１３上の所定の領域からのみ露光評価値ＥＳＴを取得するよう制御してもよい。
あるいは、露光評価値算出部１０１５において、各領域の部分評価値に領域ごとに独立したウェイトを乗算後、全ての部分評価値を加算したものを露光評価値ＥＳＴとするよう制御してもよい。
【００５９】
図６は、光波を入力し、蓄積部１０３に検出情報履歴を構築するまでの動作フローの一例を示すフローチャートである。
【００６０】
処理開始後、ステップＳＴ１において、撮像部１０１が、入力された光波を画像データＩＭに変換し、検出部１０２に出力する。
次に、ステップＳＴ２において、検出部１０２が、前記画像データにおける顔領域を検出し、検出情報ＤＴＣを蓄積部１０３に出力する。
最後に、ステップＳ３において、検出部１０３による検出情報ＤＴＣにより蓄積部１０３内の検出情報履歴ＤＴＣＨを更新した上で、処理を終了する。
【００６１】
図７（ａ）および（ｂ）は、本実施形態における顔検出の状況および検出情報履歴の形式の一例を示す図である。
【００６２】
図７（ａ）は、一連の画像における顔検出の状況の一例を示す図である。
図７（ａ）において、各画像Ｆ０１〜Ｆ０６は、縦横５ｘ５の領域に分割され、顔が検出された領域にはハッチングが施され、それ以外の領域にはハッチングは施されていないものとする。
【００６３】
図７（ｂ）は、蓄積部１０３内の検出情報履歴の形式の一例を示す図である。
ここで、図７（ｂ）は、図７（ａ）に示す６枚の画像についての検出結果を蓄積している様子を示している。
図７（ｂ）において、顔が検出された画像を特定する情報と、前記画像における顔領域の座標とのセットを１つのエントリとし、過去の一定期間についての検出情報がいわゆるキューの形で保持されている。
図７（ｂ）においては、検出情報ＤＴＣとして、フレームＦ０１の第１の顔領域座標（３，２）、フレームＦ０１の第２の顔領域座標（１，３）、フレームＦ０２の第１の顔領域座標（１，４）、フレームＦ０２の第１の顔領域座標（２，４）が例示されている。
さらに、図７（ｂ）においては、検出情報ＤＴＣとして、フレームＦ０５の第１の顔領域座標（２，３）、フレームＦ０６の第１の顔領域座標（２，２）、フレームＦ０６の第２の顔領域座標（３，３）が例示されている。
なお、キューが一杯になると、基本的に古い検出情報ＤＴＣから順に破棄されるものとする。
【００６４】
図８（ａ）および（ｂ）は、本実施形態における顔検出の状況および検出情報履歴の形式の別の一例を示す図である。
【００６５】
図８（ａ）は、一連の画像における顔検出の状況の別の一例を示す図である。
図８（ａ）において、図７（ａ）と同様に、各画像Ｆ１１〜Ｆ１６は、縦横５ｘ５の領域に分割され、顔が検出された領域はハッチングが施され、それ以外の領域にはハッチングは施されていないものとする。
【００６６】
図８（ｂ）は、蓄積部１０３内の検出情報履歴の形式の別の一例を示す図である。
図８（ｂ）の例では、図７（ｂ）に示す形式とは異なり、過去の検出情報を画像の各領域における顔検出の度数マップの形で保持する。
なお、前記度数の取りうる値には所定の上限が存在し、この上限値を超える度数は、上限値でクリップされるものとする。
たとえば、所定の領域において過去に一度でも顔が検出されたか否かだけ区別できればよいなら、度数の取りうる値は０と１だけであり、既に過去に一度顔が検出された領域（すなわち、度数１の領域）において再び顔が検出された場合でも、度数は１のままとなる。
この場合、蓄積部１０３は、過去の検出情報を、画像の各領域における過去の検出の有無を示す二値情報の形式で蓄積することになる。
また、図８（ｂ）において、検出情報履歴は縦横５ｘ５のマップ形式を採っているが、画面の領域分割方法はこれに限るものではない。
【００６７】
図９（ａ）〜（ｆ）は、図８（ａ）に示す６枚の画像Ｆ１１〜Ｆ１６の検出結果により、蓄積部１０３において図８（ｂ）に示す形式の検出情報履歴が順次更新されていく様子を示す図である。５ｘ５の各領域に書かれた数字は、度数を意味する。
なお、図９（ａ）〜（ｆ）においては、度数の取りうる上限値を３としているため、４回以上顔が検出された領域に対応する度数は３のまま更新されない。
この場合、蓄積部１０３は、過去の検出情報を、画像の各領域における過去の検出頻度を示す多値情報の形式で蓄積することなる。
【００６８】
図１０は、制御部１０４により撮像部１０１を制御する際の動作フローの一例を示すフローチャートである。
【００６９】
処理開始後、制御部１０４は、ステップＳＴ１１において、撮像部１０１が出力する露光評価値を取得する。
そして、制御部１０４は、ステップＳＴ１２において、撮像部１０１による露光評価値ＥＳＴに応じた制御情報ＣＴＬを撮像部１０１に送出し、撮像部１０１を制御する。
次に、制御部１０４は、ステップＳＴ１３において、蓄積部１０３内の検出情報履歴ＤＴＣＨを読み出し、過去に顔が検出されたことがあるか否かを判定する。
制御部１０４は、ステップＳＴ１３において、過去に顔が検出されたことがないと判定した場合、ステップＳ１４の処理に移行し、画面全体または画面中央部から露光評価値を取得するよう撮像部１０１を制御し、処理を終了する。
他方、制御部１０４は、ステップＳＴ１３において、過去に顔が検出されたことがあると判定した場合、ステップＳ１５の処理に移行し、過去に顔が検出された領域についてのみ露光評価値を取得するよう撮像部１０１を制御し、処理を終了する。
【００７０】
図１０に示す動作フローによれば、過去に顔が検出されている領域、つまり、顔が存在する確率が高い領域についてのみ露光評価値を取得するため、顔が存在しうる領域の視認性が向上するような露光制御を行うことが可能となる。
ただし、過去に十分な頻度で顔が検出されていない場合、適切な露光評価値が取得できない可能性がある。
そのようなときは、過去に顔が検出された領域が画面全体に占める割合が所定以上となるまで、画面全体または画面中央部から露光評価値を取得するよう制御することが望ましい。
【００７１】
図１１は、制御部１０４により撮像部１０１を制御する際の動作フローの別の一例を示すフローチャートである。
【００７２】
処理開始後、制御部１０４は、ステップＳＴ２１において、画面全体の露光評価値をゼロで初期化する。
次に、制御部１０４は、以下に示すステップＳＴ２２〜ステップＳＴ２６に示す処理を画面の各領域に対して実行する。
制御部１０４は、ステップＳＴ２２において、撮像部１０１から複数の領域に区分された画面の各領域についての部分評価値を取得し、続くステップＳＴ２３において蓄積部１０３の検出情報履歴ＤＴＣＨにより顔検出の頻度が高い領域か否かを判定する。
制御部１０４は、ステップＳＴ２３において顔検出頻度が高いと判定した場合、ステップＳＴ２４において前記部分評価値に相対的に高いウェイトをかけて（重み付けして）前記部分評価値を更新し、ステップＳＴ２６の処理に移行する。
他方、制御部１０４は、ステップＳＴ２３において、顔検出頻度が低いと判定した場合、ステップＳＴ２５において相対的に低いウェイトをかけて前記部分評価値を更新し、ステップＳＴ２６の処理に移行する。
次に、制御部１０４は、ステップＳＴ２６において、画面全体の露光評価値に前記更新された部分評価値を加算する。
全ての領域について、ステップＳＴ２２〜ステップＳＴ２６の処理を終了の後、制御部１０４は、ステップＳＴ２７において、露光評価値を各領域のウェイトに応じて正規化する。
そして、制御部１０４は、ステップＳＴ２８において最終的に得られた露光評価値に基づいて撮像部１０１を制御し、処理を終了する。
【００７３】
図１１に示す動作フローによれば、過去に顔が一度でも検出されている領域、つまり、顔が存在する確率が高い領域に大きいウェイトをかけて露光評価値を算出するため、顔が存在しうる領域の視認性が向上するような露光制御を行うことが可能となる。
ただし、図１０に示す動作フローとは異なり、過去に顔が存在しなかった領域についても部分評価値を算出するため、検出結果の蓄積時間が十分でない場合であっても、例外的な処理を行う必要がない利点がある。
また、部分評価値を更新するためのウェイトの値を顔の検出頻度に応じて適切に設定することで、顔が存在する確率が高い領域ほど、視認性が高くなるような露光制御が可能となる。
【００７４】
ここで、図２（ａ）および（ｂ）に示す画像と同一のアングルで昼間に長時間撮影する場合を考察する。
【００７５】
図１２（ａ）および（ｂ）は、検出情報履歴の収束状態および露光制御の元に夜間撮影された画像の一例を示す図である。
【００７６】
蓄積部１０３内の検出情報履歴の形式を図８（ｂ）に示すものとし、簡単のため頻度の上限を１とすると、検出情報履歴は、図１２（ａ）に示す状態に収束するものと推察される。
つまり、路上に相当する領域では顔が検出され、それ以外の領域たとえば街灯周辺では顔が検出されないことを示す結果が得られる。
なお、検出部１０２の検出率や検出速度は、検出情報履歴の更新が収束するまでにかかる時間に影響するだけで、収束した検出情報履歴に大きな差分を生じさせるものではない。
この検出情報履歴を用いて、図１１に示す動作フローに従い、頻度が１の領域についての部分評価値のウェイトが高く、頻度が０の領域についての部分評価値のウェイトが低くなるように全体の評価値を算出する。これにより、同一アングルにて夜間撮影を行う場合でも、街灯周辺の明るい領域の影響を受けることなく、露光制御を行うことができるようになる。
また、検出情報履歴の収束までにかかる時間を犠牲にすることで、検出部１０２の回路規模抑制や、消費電力低下を実現することも可能となる。
【００７７】
図１２（ｂ）は、このような露光制御の元に夜間撮影された画像の一例を示している。
図２（ｂ）に示す画像と比べ、街灯１の周辺部が白とびする可能性はあるものの、顔が存在しうる重要な領域のコントラストは保持した画像が得られることが期待できる。また、そのような露光制御が行われることにより、顔検出率自体の向上も期待できる。
【００７８】
また、本実施形態においては、既存の技術とは異なり、ある画像で検出された顔領域のウェイトのみを高くするのではなく、過去に顔検出がなされた領域全てのウェイトを高くする。
つまり、本実施形態によれば、より広い面積についてのウェイトを高くするため、特定の人物の移動など画像中の小領域の変化に対してロバストな制御が可能となる。
加えて、過去に顔検出がなされた領域の総和は、連続する画像間で急激に変化するのではなく、長時間掛けてなだらかに変化（拡大）していくため、人物が移動していくシーンにおいて露光が安定しない状況を回避できるようになる。
【００７９】
なお、本第１の実施形態の説明においては、顔の検出情報により人物の存在する位置、ひいては視認性を高めたい位置を特定していたが、たとえば動きの検出情報により人物の存在する位置を特定し、その部分の視認性を高めるような露光制御を行ってもかまわない。
また、本第１の実施形態を応用し、露光制御の代わりに、フォーカス制御、ホワイトバランス制御を行うようにしても、顔が存在しうる領域の視認性を向上できることは当業者にとって自明である。
【００８０】
＜第２の実施形態＞
本第２の実施形態および後で説明する第３の実施形態においては、準定点撮影、つまり、時間帯などにより異なるアングルで撮影されるケースに対して本発明を応用する場合を例に説明する。
【００８１】
図１３は、本発明の第２の実施形態に係る画像処理装置を適用した撮像装置（カメラ装置）の構成の一例を示すブロック図である。
なお、第２の実施形態において、上述した第１の実施形態の撮像装置（画像処理装置）と同一構成のブロックについては同一符号を付して表し、その詳細な説明を省略する。
【００８２】
本第２の実施形態の撮像装置１００Ａは、図１３に示すように、撮像部１０１Ａ、検出部１０２、蓄積部１０３Ａ、制御部１０４、および消去部１０５を有する。
【００８３】
撮像部１０１Ａは、被写体からの反射光などで構成される光波を入力し、画像に変換して、後段の検出部１０２等の処理系に出力する。
この構成は本発明の第１の実施形態の撮像装置１００における撮像部１０１とほぼ同等である。本第２の実施形態の撮像部１０１Ａは、撮影アングルを変更するための図示しないモータを備え、現在の撮影アングルの情報であるアングル情報ＡＮＧＬを出力する点が、第１の実施形態の撮像部１０１と異なる。
撮像部１０１Ａは、アングル情報ＡＮＧＬを消去部１０５に出力する。
【００８４】
蓄積部１０３Ａは、検出部１０２による検出情報ＤＴＣを入力し、所定の形式に変換して、蓄積する。
この構成は本発明の第１の実施形態の撮像装置１００における蓄積部１０３とほぼ同等である。本第２の実施形態の蓄積部１０３Ａは、外部より消去信号ＥＲＳを受け取ると、検出情報履歴ＤＴＣＨの全部または一部を破棄する点が、第１の実施形態の蓄積部１０３と異なる。
【００８５】
消去部１０５は、撮像部１０１Ａによるアングル情報ＡＮＧＬを入力し、撮影アングルの変化を検出すると、蓄積部１０３Ａに消去信号ＥＲＳを出力する。
【００８６】
図１４（ａ）〜（ｅ）は、本第２の実施形態の応用の一例を説明するための図である。
【００８７】
図１４（ａ）は、内蔵モータにより撮影アングルを変えることができるドーム型監視カメラ２００のイメージ図である。
このドーム型監視カメラ２００は、本第２の実施形態における撮像装置の応用の一例である。
また、図１４（ｂ）は、Ｌ字型の屋内廊下２１０を真上から見たときのイメージ図である。
なお、図中の黒丸部分に相当する位置の天井には、図１４（ａ）に示すドーム型監視カメラ２００が設置されているものとする。
【００８８】
図１４（ｃ−１）は、図１４（ｂ）における右向き矢印ＲＡの方向（アングルＡ）に撮影アングルが設定されているときの撮影画像の一例を示すイメージ図である。
図１４（ｃ−２）は、図１４（ｂ）における上向き矢印ＵＡの方向（アングルＢ）に撮影アングルが設定されているときの撮影画像の一例を示すイメージ図である。
図１４（ｃ−１）および（ｃ−２）に示すように、２つ（以上）の撮影アングルを時間帯などで切り替えて撮影する場合、第１の実施形態の撮像装置を用いると不都合が生じるおそれがある。
【００８９】
図１４（ｄ−１）および（ｄ−２）は、それぞれ、アングルＡ、アングルＢに撮影アングルが固定された状況で、本発明の第１の実施形態の撮像装置１００を用いて長時間撮影を行った場合の検出情報履歴の一例を示す図である。
撮影アングルにより、画面において顔が存在しうる領域はそれぞれ異なる。
【００９０】
図１４（ｅ）は、前記２つの撮影アングルを適宜切り替えて本発明の第１の実施形態の撮像装置１００を用いて長時間撮影を行った場合の検出情報履歴の一例を示す図である。
図１４（ｅ）に示す検出情報履歴は、図１４（ｄ−１）および（ｄ−２）に示す検出情報履歴を合成したものと等価である。
そのため、アングルＡでは顔が存在しえない領域や、逆にアングルＢでは顔が存在しえない領域にも顔が検出されたものとして露光制御が行われてしまう。これは期待する制御ではない。
【００９１】
このような課題を解決すべく、本第２の実施形態においては、第１の実施形態の構成に加えて、さらに消去部１０５を備える。
以下では、消去部１０５の動作を中心に説明を行う。
【００９２】
図１５は、消去部１０５が蓄積部１０３Ａ内の検出情報履歴を破棄する動作フローを示すフローチャートである。
【００９３】
処理開始後、消去部１０５は、ステップＳＴ３１において、撮像部１０１Ａが出力するアングル情報ＡＮＧＬを参照し、前回参照した際の撮影アングルから変化があったか否かを判定する。
消去部１０５は、ステップＳＴ３１において撮影アングルが変化していないと判定した場合、何もせずに処理を終了する。
他方、消去部１０５は、ステップＳＴ３１において撮影アングルが変化したと判定した場合、ステップＳＴ３２において蓄積部１０３Ａ内の検出情報履歴ＤＴＣＨを全て破棄し、処理を終了する。
【００９４】
たとえば、１日２４時間のうち、午前の１２時間はアングルＡに固定し、午後の１２時間はアングルＢに固定して撮影を行うとする。
また、撮影アングルの切り替えが発生しないときは、図１１に示す動作フローで逐次蓄積部１０３Ａ内の検出情報履歴の更新を行うものとする。
すると、アングルの切り替え直後は、消去部１０５により、一旦蓄積部１０３Ａ内の検出情報履歴が破棄される。
アングルの切り替え後、十分な時間が経過すると、蓄積部１０３Ａ内の検出情報履歴は、午前は図１４（ｄ−１）に示すものに、午後は図１４（ｄ−２）に示すものに漸近していくが、図１４（ｅ）に示すものになることはない。
ただし、本第２の実施形態においても、前述した第１の実施形態の説明と同様、検出情報履歴の形式は図８（ｂ）に示す形式を採用するものとする。
つまり、本発明の第１の実施形態に係る撮像装置を応用する場合の課題が解決する。
【００９５】
なお、撮像部１０１Ａの撮影アングルが時間帯によって決まる場合、消去部１０５は、アングル情報の変化ではなく、午前から午後、午後から午前、といった時刻変化をトリガーに検出情報履歴を破棄するよう動作しても、同等の効果が得られる。
また、撮影アングルを完全に固定する場合であっても、時間帯によって人物が存在しうる領域が異なる場合などは、第１の実施形態に係る撮像装置に消去部を追加し、所定の時刻になると蓄積部１０３内の検出情報履歴を破棄するようにしてもよい。
【００９６】
なお、固定アングルでの撮影に応用する場合、消去部１０５は必ずしも検出情報履歴を全て破棄する必要はない。
たとえば、検出情報履歴の形式として図７（ｂ）に示す形式を用いる場合には、消去を行う際、検出情報履歴のうち時間的に古い検出情報だけを破棄する。
これにより、破棄による検出情報履歴の内容の急激な変化を回避し、破棄の前後で画像の明るさが大きく変化することを防ぐことができる。
あるいは、現在から所定時間Ｔ前までについての新しい検出情報履歴は図７（ｂ）に示す形式で、所定時間Ｔより前の古い検出情報履歴は図８（ｂ）に示す形式にて保持しても構わない。
このようなハイブリッド形式にて検出情報履歴を保持することで、蓄積部１０３Ａの容量が限られた状況であっても長時間に亘る検出情報履歴を保持でき、検出情報履歴のうち新しい検出情報は残してそれより古い検出情報は破棄するということが可能となる。
【００９７】
＜第３の実施形態＞
本第３の実施形態に係る撮像装置１００Ｂは、上述した第２の実施形態に係る撮像装置１００Ａと同様、複数の撮影アングルを時間などで切り替えて撮影するケースを想定している。
説明の簡単のため、ここでは、第２の実施形態におけるアングルＡ、アングルＢの２種類の撮影アングルを切り替えて検出情報を蓄積するものとして説明する。
【００９８】
図１６は、本発明の第３の実施形態に係る画像処理装置を適用した撮像装置（カメラ装置）の構成の一例を示すブロック図である。
なお、第３の実施形態において、上述した第１および第２の実施形態に記載の撮像装置（画像処理装置）と同一構成のブロックについては同一符号を付して表し、その詳細な説明を省略する。
【００９９】
本第３の実施形態の撮像装置１００Ｂは、図１６に示すように、撮像部１０１Ａ、検出部１０２、蓄積部１０３Ｂ−１，１０３Ｂ−２、制御部１０４、スイッチ１０６−１，１０６−２、および切替部１０７を有する。
【０１００】
蓄積部１０３Ｂ−１はアングルＡに対応する検出情報ＤＴＣ−Ａを、蓄積部１０３Ｂ−２はアングルＢに対応する検出情報ＤＴＣ−Ｂをそれぞれ蓄積するものとする。
蓄積部１０３Ｂ−１，１０３Ｂ−２は、説明の便宜上異なる符号を付しているが、蓄積部１０３と同一のブロックである。
【０１０１】
スイッチ１０６−１は、検出部１０２が出力する検出情報ＤＴＣを、蓄積部１０３Ｂ−１、蓄積部１０３Ｂ−２のいずれに蓄積するかを、切替部１０７の出力する切替信号ＳＳＷを元に選択する。
スイッチ１０６−１は、端子ａが検出部１０２の検出情報ＤＴＣの出力ラインに接続され、端子ｂが蓄積部１０３Ｂ−１の入力部に接続され、端子ｃが蓄積部１０３Ｂ−２の入力部に接続されている。
スイッチ１０６−１は、切替信号ＳＳＷに応じて端子ａを端子ｂまたは端子ｃと選択的に接続する。
【０１０２】
スイッチ１０６−２は、制御部１０４に入力する検出情報履歴ＤＴＣＨを、蓄積部１０３Ｂ−１または蓄積部１０３Ｂ−２のいずれから取得するかを、切替部１０７の出力する切替信号ＳＳＷを元に選択する。
スイッチ１０６−２は、端子ａが制御部１０４の検出情報履歴の入力部に接続され、端子ｂが蓄積部１０３Ｂ−１の出力部に接続され、端子ｃが蓄積部１０３Ｂ−２の出力部に接続されている。
スイッチ１０６−２は、切替信号ＳＳＷに応じて端子ａを端子ｂまたは端子ｃと選択的に接続する。
【０１０３】
切替部１０７は、撮像部１０１Ａからのアングル情報ＡＮＧＬを入力し、撮影アングルの変化を検出すると、現在の撮影アングルに応じた切替信号ＳＳＷをスイッチ１０６−１，１０６−２に出力する。
【０１０４】
図１７は、切替部１０７がスイッチ１０６−１およびスイッチ１０６−２を切り替える切替信号を出力する動作フローを示すフローチャートである。
【０１０５】
処理開始後、切替部１０７は、ステップＳＴ４１において、撮像部１０１Ａが出力するアングル情報ＡＮＧＬを参照し、現在の撮影アングルが、アングルＡであるか否かを判定する。
切替部１０７は、ステップＳＴ４１においてアングルＡであると判定した場合、ステップＳＴ４２において、アングルＡに対応する蓄積部１０３Ｂ−１に接続すべくスイッチ１０６−１，１０６−２に対し切替信号ＳＳＷを出力し、処理を終了する。
他方、切替部１０７は、ステップＳＴ４１においてアングルＡではないと判定した場合、すなわちアングルＢであると判定した場合、ステップＳＴ４３において、アングルＢに対応する蓄積部１０３Ｂ−２に接続すべくスイッチ１０６−１，１０６−２に対し切替信号ＳＳＷを出力し、処理を終了する。
【０１０６】
第２の実施形態においては、アングルの切り替えを行う際、唯一の蓄積部１０３Ａ内の検出情報履歴を一旦破棄していた。
そのため、アングル切り替えの時間間隔が短いケースでは、検出情報が十分蓄積されず、効果を十分に発揮できないおそれがある。
しかし、本第３の実施形態においては、蓄積部をアングルの数だけ持たせることで、アングルの切り替えの際に蓄積された検出情報の破棄を行わないため、前記課題を解決することができる。
【０１０７】
なお、本第３の実施形態の説明においては、簡単のため、撮影アングルをアングルＡ、アングルＢの２種類に限定したが、蓄積部をアングルの数だけ持たせ、切替部でアングルに対応した蓄積部に切り替えるようスイッチを制御すれば、３種類以上のアングルに対応することも可能であることは言うまでもない。
【０１０８】
＜第４の実施形態＞
第４の実施形態においては、第１の実施形態に係る撮像装置の改良版を提示する。
【０１０９】
図１８は、本発明の第４の実施形態に係る画像処理装置を適用した撮像装置（カメラ装置）の構成の一例を示すブロック図である。
なお、第４の実施形態において、上述した第１の実施形態に記載の撮像装置（画像処理装置）と同一構成のブロックについては同一符号を付して表し、その詳細な説明を省略する。
【０１１０】
本第３の実施形態の撮像装置１００Ｃは、図１８に示すように、撮像部１０１、検出部１０２Ｃ、蓄積部１０３、制御部１０４、収束度取得部１０８、および範囲設定部１０９を有する。
【０１１１】
検出部１０２Ｃは、画像を入力し、この画像中から人物の顔を検出し、検出情報ＤＴＣＶを蓄積部１０３および収束度取得部１０８に出力する。
この構成は本発明の第１の実施形態に記載の撮像装置１００における検出部１０２とほぼ同等である。本第４の実施形態の検出部１０２Ｃは、画像に加えて範囲情報ＲＮＧを入力し、画像中のどの範囲を顔検出の対象とするかを外部から指定することができる点が、第１の実施形態の検出部１０２と異なる。
【０１１２】
収束度取得部１０８は、検出部１０２Ｃによる検出情報ＤＴＣと蓄積部１０３による検出情報履歴ＤＴＣＨとを入力し、履歴収束度を更新する。
収束度取得部１０８は、履歴収束度を範囲設定部１０９に出力する。
所定の撮影アングルに固定して長時間撮影する場合、撮影開始直後は顔が検出される領域が徐々に拡大していくのに対し、時間が経つにつれて新たに顔が検出される領域が発生しないという状況に収束する。
このような状況を、検出情報履歴が収束する、と呼ぶことにする。
履歴収束度とは、検出情報履歴ＤＴＣＨが収束状態にどれだけ近いかを示す数値であり、値が大きいほどより収束状態に近いものとする。
なお、履歴収束度を保持する記憶領域は、図１８に示すブロック図では省略している。また、履歴収束度は、本第４の実施形態に係る撮像装置１００Ｃが動作を開始する前にゼロで初期化されているものとする。
【０１１３】
範囲設定部１０９は、蓄積部１０３による検出情報履歴ＤＴＣＨと収束度取得部１０８による履歴収束度ＨＣＮＶを入力し、顔が検出されることのなかった領域は除外した検出範囲を設定し、設定した範囲情報ＲＮＧを検出部１０２Ｃに出力する。
範囲情報とは、検出部１０２Ｃが入力画像のどの範囲に対して顔検出を行うかを示すための情報である。
【０１１４】
図１９は、収束度取得部１０８が履歴収束度を更新する動作フローを示すフローチャートである。
【０１１５】
処理開始後、収束度取得部１０８は、ステップＳＴ５１において、今回の検出情報を参照し、顔が１つ以上検出されているか否かを判定する。
収束度取得部１０８は、ステップＳＴ５１において顔が全く検出されていなかったと判定した場合、処理を終了する。
他方、収束度取得部１０８は、ステップＳＴ５１において顔が少なくとも１つ検出されていたと判定した場合、次のステップＳＴ５２において、今回検出された顔領域が過去に顔が検出された領域に包含されるか否かを判定する。
なお、収束度取得部１０８は、過去にどの領域で顔が検出されているかは、検出情報履歴ＤＴＣＨを参照することで知ることができる。
収束度取得部１０８は、ステップＳＴ５２において包含されていなかったと判定した場合、ステップＳＴ５３において所定の値だけ収束度を減少させ、処理を終了する。
他方、収束度取得部１０８は、ステップＳＴ５２において包含されていたと判定した場合、ステップ５４において所定の値だけ収束度を増加させ、処理を終了する。
【０１１６】
図２０は、範囲設定部１０９が範囲情報を生成する動作フローを示すフローチャートである。
【０１１７】
処理開始後、範囲設定部１０９は、ステップＳＴ６１において、入力された履歴収束度ＨＣＮＶの値が所定の閾値以上か否かを判定する。
範囲設定部１０９は、ステップＳＴ６１において収束度が所定の閾値未満であると判定した場合、検出情報履歴は収束していないとみなし、ステップＳＴ６２において入力画像全体を範囲情報ＲＮＧとして出力し、処理を終了する。
他方、範囲設定部１０９は、ステップＳＴ６１において収束度が所定の閾値以上であると判定した場合、検出情報履歴は収束しているとみなし、検出情報履歴を参照する。
そして、範囲設定部１０９は、ステップＳＴ６３において少なくとも過去にＮ回（Ｎは正の整数）顔が検出された領域を含むような範囲情報を所定の方法で生成して出力し、処理を終了する。
ここで、検出情報履歴の形式が図８（ｂ）に示すものである場合、前記Ｎのとりうる最大値は頻度の上限値と等価である。
なお、前記所定の方法とは、具体的には、過去に顔が検出された領域そのものを範囲として範囲情報を生成する方法、過去に顔が検出された領域を包含する矩形を範囲として範囲情報を生成する方法などが挙げられる。しかし、その他検出情報履歴を利用する任意の方法であって構わない。
また、本発明の実施形態に記載の目的以外で顔検出を利用しない場合は、検出情報履歴収束後は範囲を固定的にゼロと設定し、事実上顔検出を行わないようにしても良い。
【０１１８】
ここで、仮に、図１９に示すフローチャートのステップＳＴ５３において、収束度をゼロに設定するとした場合、次のように処理される。
新たに顔検出される領域が所定回数連続して過去に顔検出された領域内に収まっていれば、図２０に示すフローチャートのステップＳ６１において検出情報履歴は収束したとみなされ、入力画像の顔検出対象範囲が過去に顔検出された領域に制限されることになる。
【０１１９】
第１の実施形態に係る撮像装置によれば、常に入力画像全体を顔検出の対象としていた。
一方、本第４の実施形態に係る撮像装置においては、検出情報履歴が収束した後は、今まで顔が検出されることのなかった領域は除外して顔検出を行う。顔検出手法にもよるものの、一般に検出対象となる面積が狭い方が顔検出に掛かるコストが低減することは自明である。つまり、顔検出に掛かる消費電力を低下させることができる。
ただし、検出情報履歴の収束を誤判定した場合、実際には顔が存在する領域まで検出の対象外とされてしまう恐れがある。
【０１２０】
図２１は、横軸に顔検出回数、縦軸を過去に顔検出された領域の数としてプロットしたグラフの一例を示す図である。
【０１２１】
なお、図２１に示すグラフは、常に入力画像全体を顔検出対象としているものとする。期間Ｄ０１においては、顔検出を行うたびに新たに領域が増えている状態なので、検出情報履歴は収束とはみなされない。
しかし、期間Ｄ０２においては、顔検出されても全て過去に顔検出された領域に収まっているため、仮に前記所定回数がたとえば５回であるとすれば、期間Ｄ０２中に検出情報履歴は収束したとみなされることとなる。
しかし、実際には、期間Ｄ０３にて再び新たな領域において顔が検出されている。
そのため、もし、期間Ｄ０３において、図２０に示すフローチャートに基づいて、範囲設定部１０９を動作させるとする。すると、顔検出対象となる範囲が、期間Ｄ０２の時点で過去に顔検出されたことがある領域に限定され、期間Ｄ０３にて新たに検出されるはずの領域は顔検出対象から除外された状態で顔検出がなされることになる。その結果、期間Ｄ０３以降において、顔の検出もれが発生してしまうことになる。
【０１２２】
このような状況を回避するため、検出情報履歴の収束後も顔検出を所定回数行うごとに一度の割合で入力画像の全体を検出対象とするような範囲情報を出力するよう、範囲設定部１０９の動作を修正することが望ましい。
【０１２３】
以上説明したように、本実施形態によれば、以下の効果を得ることができる。
定点、または、準定点での動画撮影において、人物の顔が存在する確率が高い領域の視認性を向上することができる。
顔検出率に有利な照明条件下で検出された顔検出情報を、顔検出率に不利な照明条件下での撮影時にも利用することで、顔が存在する確率の高い領域の視認性を向上するとともに、顔検出率向上も期待できる。
従来は検出できなかった顔が検出できるようになることで、顔検出を別目的で使用する場合であっても、その適用可能シーンが広がる。
長時間動作後は、顔が存在しない領域を以降の顔検出対象の範囲から除外することで、あるいは、検出対象範囲をゼロとし、顔検出動作そのものを停止させることで、顔検出に掛かる消費電力を低減できる。
長時間蓄積された検出情報履歴に基づき、露光制御（または、フォーカス制御、ホワイトバランス制御）を行うため、特定の人物の移動など画像中の小領域の短期的な変化に対してロバストな制御を実現でき、動画像におけるチラツキを低減することができる。
【０１２４】
なお、以上詳細に説明した方法は、上記手順に応じたプログラムとして形成し、ＣＰＵ等のコンピュータで実行するように構成することも可能である。
また、このようなプログラムは、半導体メモリ、磁気ディスク、光ディスク、フロッピー（登録商標）ディスク等の記録媒体、この記録媒体をセットしたコンピュータによりアクセスし上記プログラムを実行するように構成可能である。
【図面の簡単な説明】
【０１２５】
【図１】ある時刻およびそれが経過した時刻における入力画像の一例を示す図である。
【図２】同一のアングルで昼間および夜間に撮影された画像の一例を示す図である。
【図３】人物が登場するシーンの一例を構成するフレーム群を示す図である。
【図４】本発明の第１の実施形態に係る画像処理装置を適用した撮像装置（カメラ装置）の構成の一例を示すブロック図である。
【図５】本実施形態に係る撮像部の詳細な構成の一例を示すブロック図である。
【図６】光波を入力し、蓄積部に検出情報履歴を構築するまでの動作フローの一例を示すフローチャートである。
【図７】本実施形態における顔検出の状況および検出情報履歴の形式の一例を示す図である。
【図８】本実施形態における顔検出の状況および検出情報履歴の形式の別の一例を示す図である。
【図９】図８（ａ）に示す６枚の画像の検出結果により、蓄積部において図８（ｂ）に示す形式の検出情報履歴が順次更新されていく様子を示す図である。
【図１０】制御部により撮像部を制御する際の動作フローの一例を示すフローチャートである。
【図１１】制御部により撮像部を制御する際の動作フローの別の一例を示すフローチャートである。
【図１２】検出情報履歴の収束状態および露光制御の元に夜間撮影された画像の一例を示す図である。
【図１３】本発明の第２の実施形態に係る画像処理装置を適用した撮像装置（カメラ装置）の構成の一例を示すブロック図である。
【図１４】本第２の実施形態の応用の一例を説明するための図である。
【図１５】消去部が蓄積部内の検出情報履歴を破棄する動作フローを示すフローチャートである。
【図１６】本発明の第３の実施形態に係る画像処理装置を適用した撮像装置（カメラ装置）の構成の一例を示すブロック図である。
【図１７】切替部が２つのスイッチを切り替える切替信号を出力する動作フローを示すフローチャートである。
【図１８】本発明の第４の実施形態に係る画像処理装置を適用した撮像装置（カメラ装置）の構成の一例を示すブロック図である。
【図１９】収束度取得部が履歴収束度を更新する動作フローを示すフローチャートである。
【図２０】範囲設定部が範囲情報を生成する動作フローを示すフローチャートである。
【図２１】横軸に顔検出回数、縦軸を過去に顔検出された領域の数としてプロットしたグラフの一例を示す図である。
【符号の説明】
【０１２６】
１００，１００Ａ〜１００Ｃ・・・撮像装置（カメラ装置）、１０１，１０１Ａ・・・撮像部、１０１１・・・レンズ、１０１２・・・絞り、１０１３・・・撮像素子、１０１４・・・アナログ‐デジタル（ＡＤ）コンバータ、１０１５・・・露光評価値算出部、１０２・・・検出部、１０３，１０３Ａ，１０３Ｂ−１，１０３Ｂ−２・・・蓄積部、１０４・・・制御部、１０５・・・消去部、１０６−１，１０６−２・・・スイッチ、１０７・・・切替部、１０８・・・収束度取得部、１０９・・・範囲設定部。
【図１】
2009284270.tif 000003
【図２】
2009284270.tif 000004
【図３】
2009284270.tif 000005
【図４】
2009284270.tif 000006
【図５】
2009284270.tif 000007
【図６】
2009284270.tif 000008
【図７】
2009284270.tif 000009
【図８】
2009284270.tif 000010
【図９】
2009284270.tif 000011
【図１０】
2009284270.tif 000012
【図１１】
2009284270.tif 000013
【図１２】
2009284270.tif 000014
【図１３】
2009284270.tif 000015
【図１４】
2009284270.tif 000016
【図１５】
2009284270.tif 000017
【図１６】
2009284270.tif 000018
【図１７】
2009284270.tif 000019
【図１８】
2009284270.tif 000020
【図１９】
2009284270.tif 000021
【図２０】
2009284270.tif 000022
【図２１】
2009284270.tif 000023