(57)【要約】【課題】  数枚の過去の画像に基づいて新しく取得した画像の評価を行う場合に、当該過去の画像の情報を適切に利用できるようにすること。【解決手段】  画像を入力し（Ｓ１１）、該入力した画像を評価し（Ｓ１２）、評価結果を記憶媒体に蓄積する（Ｓ１３、Ｓ１４）。記憶媒体に蓄積された評価結果をリセットするか否かを判断し（Ｓ１３４）、評価結果をリセットすると判断された場合に（Ｓ１３５）、記憶媒体に蓄積された当該評価結果をリセットする（Ｓ１５３）。入力した画像を評価する際には、記憶媒体に蓄積された評価結果に基づいて、評価を行う。【選択図】  図１２
2007067559.tif 000002
【特許請求の範囲】
【請求項１】
画像を入力する入力ステップと、
前記入力した画像を評価する評価ステップと、
前記評価ステップの評価結果を記憶媒体に蓄積する蓄積ステップと、
前記記憶媒体に蓄積された評価結果をリセットするか否かを判断する判断ステップと、
前記判断ステップで前記評価結果をリセットすると判断された場合に、前記記憶媒体に蓄積された当該評価結果をリセットするリセットステップとを有し、
前記評価ステップでは、前記記憶媒体に蓄積された評価結果に基づいて、前記入力ステップで入力した画像を評価することを特徴とする画像処理方法。
【請求項２】
前記判断ステップでは、前記入力ステップで入力した画像が、当該画像の前に入力された画像と比較して所定条件以上変化している場合に、前記評価結果をリセットすると判断することを特徴とする請求項１に記載の画像処理方法。
【請求項３】
前記入力ステップで入力する画像は撮像装置により撮影され、
前記判断ステップでは、前記撮像装置の姿勢が所定条件以上変化している場合に、前記評価結果をリセットすると判断することを特徴とする請求項１に記載の画像処理方法。
【請求項４】
前記入力ステップでは、撮像手段により画像を撮影し、
前記判断ステップでは、前記撮像手段の撮像条件が所定条件以上変化している場合に、前記評価結果をリセットすると判断することを特徴とする請求項１に記載の画像処理方法。
【請求項５】
前記撮像条件は、ズーム倍率、ゲイン、絞り、合焦位置、パン・チルト値の少なくともいずれかを含むことを特徴とする請求項４に記載の画像処理方法。
【請求項６】
前記入力ステップで入力する画像は撮像装置により撮影され、
前記判断ステップでは、前記撮像装置に入力された所定命令を検出し、検出結果に基づいて前記評価結果をリセットするか否かを判断することを特徴とする請求項１に記載の画像処理方法。
【請求項７】
前記所定命令は、電源入命令、撮像指示命令、撮像準備命令、撮像準備指示解除命令の少なくともいずれかであることを特徴とする請求項６に記載の画像処理方法。
【請求項８】
前記リセットステップでは、前記評価結果を消去することを特徴とする請求項１乃至７のいずれかに記載の画像処理方法。
【請求項９】
前記リセットステップでは、前記評価結果を消去後、所定の評価結果をセットすることを特徴とする請求項８に記載の画像処理方法。
【請求項１０】
前記所定の評価結果は、任意の複数画像の前記評価結果の平均であることを特徴とする請求項９に記載の画像処理方法。
【請求項１１】
前記評価ステップでは、前記入力ステップで入力した画像内から特定のパターンを検出し、検出したパターンの状態を評価することを特徴とする請求項１乃至１０のいずれかに記載の画像処理方法。
【請求項１２】
前記パターンの評価結果が予め設定した所定条件を満たしている場合に、前記入力ステップで入力した画像を記録する記録ステップを更に有することを特徴とする請求項１１に記載の画像処理方法。
【請求項１３】
撮像装置の制御方法であって、
請求項１乃至１２のいずれかに記載の画像処理方法により得られた評価結果に基づいて、前記撮像装置のフォーカス、絞り、ゲイン、ズーム倍率、撮影方向、画像の記録動作の少なくともいずれかを制御する制御ステップを有することを特徴とする制御方法。
【請求項１４】
請求項１乃至１２のいずれかに記載の画像処理方法を実現するためのプログラムコードを有することを特徴とする情報処理装置が実行可能なプログラム。
【請求項１５】
請求項１４に記載のプログラムを記憶したことを特徴とする情報処理装置が読み取り可能な記憶媒体。
【請求項１６】
画像を入力する入力手段と、
前記入力した画像を評価する評価手段と、
前記評価手段の評価結果を記憶媒体に蓄積する蓄積手段と、
前記記憶媒体に蓄積された評価結果をリセットするか否かを判断する判断手段と、
前記判断手段で前記評価結果をリセットすると判断された場合に、前記記憶媒体に蓄積された当該評価結果をリセットするリセット手段とを有し、
前記評価手段では、前記記憶媒体に蓄積された評価結果に基づいて、前記入力手段で入力した画像を評価することを特徴とする画像処理装置。
【請求項１７】
前記判断手段では、前記入力手段で入力した画像が、当該画像の前に入力された画像と比較して所定条件以上変化している場合に、前記評価結果をリセットすると判断することを特徴とする請求項１６に記載の画像処理装置。
【請求項１８】
前記入力手段は撮像手段であって、
前記判断手段では、前記撮像手段の姿勢が所定条件以上変化している場合に、前記評価結果をリセットすると判断することを特徴とする請求項１６に記載の画像処理装置。
【請求項１９】
前記入力手段は撮像手段であって、
前記判断手段では、前記撮像手段の撮像条件が所定条件以上変化している場合に、前記評価結果をリセットすると判断することを特徴とする請求項１６に記載の画像処理装置。
【請求項２０】
前記撮像条件は、ズーム倍率、ゲイン、絞り、合焦位置、パン・チルト値の少なくともいずれかを含むことを特徴とする請求項１９に記載の画像処理装置。
【請求項２１】
前記入力手段は撮像手段であって、
前記判断手段では、前記撮像手段に入力された所定命令を検出し、検出結果に基づいて前記評価結果をリセットするか否かを判断することを特徴とする請求項１６に記載の画像処理装置。
【請求項２２】
前記所定命令は、電源入命令、撮像指示命令、撮像準備命令、撮像準備指示解除命令の少なくともいずれかであることを特徴とする請求項２１に記載の画像処理装置。
【請求項２３】
前記リセット手段は、前記評価結果を消去することを特徴とする請求項１６乃至２２のいずれかに記載の画像処理装置。
【請求項２４】
前記リセット手段は、前記評価結果を消去後、所定の評価結果をセットすることを特徴とする請求項２３に記載の画像処理装置。
【請求項２５】
前記所定の評価結果は、任意の複数画像の前記評価結果の平均であることを特徴とする請求項２４に記載の画像処理装置。
【請求項２６】
前記評価手段は、前記入力手段で入力した画像内から特定のパターンを検出し、検出したパターンの状態を評価することを特徴とする請求項１６乃至２５のいずれかに記載の画像処理装置。
【請求項２７】
前記パターンの評価結果が予め設定した所定条件を満たしている場合に、前記入力手段で入力した画像を記録する記録手段を更に有することを特徴とする請求項２６に記載の画像処理装置。
【請求項２８】
前記入力手段は撮像手段であって、
前記評価手段により得られた評価結果に基づいて、前記撮像手段のフォーカス、絞り、ゲイン、ズーム倍率、撮影方向の少なくともいずれかを制御する制御手段を有することを特徴とする請求項１６乃至２７のいずれかに記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像された画像の評価、例えば、画像内の人物や車両等の、特定のパターンの検出や、画像内に存在する人物の表情の状態を判定等の画像処理方法、及び、それを用いた撮像装置に関する。
【背景技術】
【０００２】
カメラ等の撮像装置により画像を入力し、その画像の評価、例えば、その画像内の人物や車両等の特定パターンの検出や、画像内に存在する人物の表情の状態の判定といった、画像の評価を行う画像処理方法として、今までに様々な手法が提案されている。このような手法は、例えば、監視目的のカメラ等で、人物の侵入を検知し、その人物の行動を記録するようなシステムや、主被写体人物が好適な表情であるときに画像を記録できるスチルカメラ等への応用が期待されている。
【０００３】
上記のような監視カメラ等では、一般的に動画像が利用されていることが多い。そこで、その特性を利用して特定のパターンを検出する多くの手法が提案されている。例えば、特許文献１に開示されている動画像処理装置は、１フレーム前に検出された動物体領域を現在の画像中で探索する手段を有する。更に、入力画像と１フレーム前の画像とのフレーム間差分結果から決定された動物体領域の結果と、上記現在の画像中で探索された動物体領域とを統合して、同一物体に対する動領域を一つにまとめて出力する手段を備える。これらの手段により、画面内の動物体を追尾しつづける。
【０００４】
また、特許文献２で開示されている顔部位追跡装置は、まず顔部位を検出し、その位置に基づいて、探索領域と、該探索領域内に更に優先探索領域を設定し、次に、探索領域内で顔部位の候補を探索する。その候補が優先探索領域内にあれば、それを検出対象として追跡を続行し、優先探索領域外であれば、その候補位置の画像を切り出して、検出対象である顔部位であるかどうかを判定する。そして、顔部位であると判定された場合に、それを検出対象として追跡を続行する。
【０００５】
また、人物の表情を判定する画像処理方法としては、例えば、特許文献３に以下の手法が開示されている。まず、顔を含む画像を入力し、その画像から複数の局所特徴を検出し、検出した複数の局所特徴を用いて画像中の顔の領域を特定する。そして、顔の領域中の、夫々の局所特徴の検出結果と、顔の領域中の、夫々の局所特徴について予め基準として求めた検出結果とのずれに基づいて、顔の表情を判別する。
【０００６】
【特許文献１】特許第３２３０５０９号公報
【特許文献２】特開２００４−２５８９０７号公報
【特許文献３】特開２００５−５６３８７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、上述した従来の方法では、シーンの変化等により、追跡対象の連続性が判断できなくなった場合に、どのように当該過去の画像の情報を扱うかについて何ら開示されていなかった。シーンが変化等が生じれば、画像中の検出対象を探し出す処理を初めからやり直す必要がある。そのため、シーン変化等が生ずるより以前に得られた過去の画像の情報は有効ではなく、これらの過去の画像の情報を検出処理に用いてしまうと、検出結果の精度がかえって低下してしまう場合がある。
【０００８】
本発明は上記問題点を鑑みてなされたものであり、複数枚の過去の画像に基づいて新しく取得した画像の評価を行う場合に、当該過去の画像の情報を適切に利用できるようにすることを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、本発明の画像処理方法は、画像を入力する入力ステップと、前記入力した画像を評価する評価ステップと、前記評価ステップの評価結果を記憶媒体に蓄積する蓄積ステップと、前記記憶媒体に蓄積された評価結果をリセットするか否かを判断する判断ステップと、前記判断ステップで前記評価結果をリセットすると判断された場合に、前記記憶媒体に蓄積された当該評価結果をリセットするリセットステップとを有し、前記評価ステップでは、前記記憶媒体に蓄積された評価結果に基づいて、前記入力ステップで入力した画像を評価する。
【００１０】
また、本発明における撮像装置の制御方法は、上記画像処理方法により得られた評価結果に基づいて、前記撮像装置のフォーカス、絞り、ゲイン、ズーム倍率、撮影方向、画像の記録動作の少なくともいずれかを制御する制御ステップを有する。
【００１１】
また、本発明の画像処理装置は、画像を入力する入力手段と、前記入力した画像を評価する評価手段と、前記評価手段の評価結果を記憶媒体に蓄積する蓄積手段と、前記記憶媒体に蓄積された評価結果をリセットするか否かを判断する判断手段と、前記判断手段で前記評価結果をリセットすると判断された場合に、前記記憶媒体に蓄積された当該評価結果をリセットするリセット手段とを有し、前記評価手段では、前記記憶媒体に蓄積された評価結果に基づいて、前記入力手段で入力した画像を評価する。
【発明の効果】
【００１２】
以上説明したように、本発明によれば、数枚の過去の画像に基づいて新しく取得した画像の評価を行う場合に、当該過去の画像の情報を適切に利用することができる。
【発明を実施するための最良の形態】
【００１３】
以下、添付図面を参照して本発明を実施するための最良の形態を詳細に説明する。
【００１４】
＜第１の実施形態＞
本発明の第１の実施形態として、デジタルカメラにより取得された動画像から人物を検出する画像処理装置について説明する。本実施形態では、人物を検出する場合について説明するが、本発明の画像処理装置はこれに限るものではなく、例えば道路を撮影した画像から、道路の混雑状況を判定するといった評価にも適用可能である。
【００１５】
（全体構成及び全体処理）
図１は、本実施形態の画像処理装置の概略構成を示すブロック図である。図１において、１０は時系列に連続した動画像の画像データを順次入力する画像入力部である。画像入力部１０は、ＣＣＤなどを用いた撮像手段や、また、デジタルビデオカメラ等の撮像装置に接続して画像データを入力する接続手段、またはネットワークを介して画像データを入力するためのコネクタなどが考えられる。このように、画像入力部１０としては、動画像の画像データを入力できる構成であればどのようなものであっても良い。１１はシーン変化検出処理部、１２は検出特性設定処理部、１３はパターン検出処理部、１４は属性検出処理部、１５は属性情報保持処理部である。
【００１６】
次に、上記構成を有する画像処理装置における特定パターン検出処理の概略について、図２を参照して説明する。なお、図２に示す各処理の内容については、詳細に後述する。
【００１７】
まず、ステップＳ１１において、画像入力部１０は画像データを１フレーム分入力し、シーン変化検出処理部１１、パターン検出処理部１３、及び属性検出処理部１４に出力する。
【００１８】
次に、ステップＳ１２において、ステップＳ１１で入力した画像データに対し、検出特性設定処理部１２から出力される特性設定信号に基づいて、パターン検出処理部１３によりパターン検出処理を行い、所望の特定パターンを検出する。この所望の特定パターンは、本実施の形態では人物の顔のパターンである。この特定パターンの検出結果は、属性検出処理部１４及び画像処理装置の外部に出力される。
【００１９】
ステップＳ１３において、属性検出処理部１４は、パターン検出処理部１３から入力した検出結果に基づいて、検出された特定パターンの所定の属性を入力画像から検出し、検出した属性の情報（属性情報）を属性情報保持処理部１５に出力する。
【００２０】
ステップＳ１４において、属性情報保持処理部１５は、属性検出処理部１４から送られた特定パターンの属性情報を、属性情報保持処理部１５で保持している過去のパターンの属性情報に時系列に累積的に保持する。なお、属性情報保持処理部１５で累積的に保持している属性情報を、以下、「累積属性情報」と呼ぶ。そして、累積属性情報を検出特性設定処理部１２に出力する。なお、ここで行われる属性情報の累積処理において、シーン変化検出処理部１１が、今回入力した画像と前回入力した画像との間にシーン変化があったと判断した場合には、属性情報保持処理部１５が保持している累積属性情報を一旦全て消去する。そして、新しく属性情報を累積していく。
【００２１】
ステップＳ１５において、検出特性設定処理部１２は、属性情報保持処理部１５から送られた累積属性情報に基づいて特性設定信号を生成し、パターン検出処理部１３に送信する。
【００２２】
このようにしてステップＳ１１で入力された１フレーム分の画像の処理が終了する。ステップＳ１１〜Ｓ１４の処理は、新しく画像が入力される度に繰り返し実行される。なお、ステップＳ１２では、前回のルーチンにおけるステップＳ１５で、検出特性設定処理部１２がパターン検出処理部１３に送信した特性設定信号に基づいて、パターン検出処理が行われる。
【００２３】
（パターン検出処理）
次に、ステップＳ１２で行われるパターン検出処理について、図３及び図４を参照して説明する。図３はパターン検出処理部１３の詳細構成を示すブロック図、図４はその処理を示すフローチャートである。図３に示すように、本実施形態におけるパターン検出処理部１３は、色パターン同定処理部７０と輝度パターン同定処理部７１の２種類のパターン検出処理部を有する。
【００２４】
まず、検出特性設定信号受信部７２は、検出特性設定処理部１２から検出特性設定信号を受信する。そして、受信した検出特性設定信号に基づいて、同定処理に用いるパラメータ、及び、複数のパターン検出処理部による同定処理で得られた同定結果を統合する際の手法を設定する（ステップＳ１０１）。本第１の実施形態では、同定処理で用いるパラメータは色パターン同定処理部７０が用いる色ヒストグラムとし、また、同定結果を統合する際の手法は、色パターン同定処理部７０と輝度パターン同定処理部７１による同定結果を統合する際の重み比率とする。従って、検出特性設定信号は、色ヒストグラムの情報と重み比率とを含み、更に、前回入力した画像データから検出された特定パターン（本実施形態では人物の顔）の位置情報を含む。この位置情報は、検出する特定パターンの重心を特定するもので、検出特性設定信号により設定される色ヒストグラム及び重み比率を用いる領域を規定するために利用する。
【００２５】
次に、画像入力部１０から処理対象となる画像データを１フレーム分入力し、色パターン同定処理部７０と、輝度パターン同定処理部７１にそれぞれ入力する（ステップＳ１０２）。次に、入力された画像をラスタスキャンし、色パターン同定処理部７０及び輝度パターン同定処理部７１が同定を行う領域（同定領域）を選択する（ステップＳ１０３）。
【００２６】
ここでは、図５に示すように、入力画像に対して、（W1×H1）画素の矩形領域（以下、同定領域）を画像左上を起点として順に画像右下まで、適当な画素（例えば２画素）分ずつ右側又は下側にずらしながら順次選択していく。様々な大きさの顔の検出を可能とするために、（W1×H1）画素の同定領域での順次選択を終えると、この同定領域の大きさを（W2×H2）画素に変えて再び順次選択を行う。この処理を同定領域の大きさを変更しながら、繰り返し行う。
【００２７】
なお、設定される同定領域の大きさには、適度な限度を設ける。例としては、入力画像よりもやや小さめに設定されたサイズから、本実施形態では人物を検出するため、顔パターンの検出が可能である最も小さなサイズまでをカバーするように同定領域の大きさを設定するとよい。入力画像よりもやや小さめに設定されたサイズとしたのは、入力画像をすべて覆ってしまうような顔を改めて検出する必要性が乏しいためである。
【００２８】
上記の他に、同定領域のサイズとしては、ズーム倍率や合焦位置情報から判断して、人の顔全体が入る程度の大きさになるように設定したり、先に入力した画像のパターン検出情報に基づいて、適切な大きさとなるようにするようにしても良い。
【００２９】
また、本実施形態では、画像の全領域を順次選択していくものとして説明したが、例えば、肌色等の色情報を用いて、予め顔がありそうな領域だけを選択し、その領域内で同定領域を設定するようにしても構わない。
【００３０】
また、入力した画像データを全て用いて同定処理を行うよりも、画像データを間引いて生成した検出用画像を用いることで、判定に要する時間を短縮することができる。
【００３１】
次に、選択された同定領域から所定範囲内に、検出特性設定信号の位置情報が示す点（前回入力した画像データから検出された特定パターンの重心位置）があるか否かの判定を行う（ステップＳ１０４）。同定領域から所定範囲内に検出特性設定信号の位置情報が示す点がある場合はステップＳ１０５に進む。ステップＳ１０５では、ステップＳ１０１で検出特性設定信号受信部７２において受信した検出特性設定信号に基づいて設定された色ヒストグラムと重み比率を、色パターン同定処理部７０及び同定結果統合処理部７３にそれぞれ送る。一方、所定範囲内に検出特性設定信号の位置情報が示す点が無い場合は、当該検出特性設定信号に基づく色ヒストグラムと重み比率を用いないので、ステップＳ１０７に進む。
【００３２】
選択された同定領域から所定範囲内に検出特性設定信号がある場合は、同定領域近辺に前回入力した画像データから検出された特定パターンと同じ人物の顔があると考えられる。そのため、色パターン同定処理部７０は、検出特性設定信号受信部７２から送られてきた色ヒストグラムと、同定領域の下部の所定領域の色ヒストグラムの比較を行い、その一致度を算出する（ステップＳ１０６）。この処理は、以前に検出された人物の着衣の色成分と、検出対象人物の着衣の色成分のマッチングを行い、その一致度を算出するものである。
【００３３】
この処理を行うために、色パターン同定処理部７０は、まず、同定領域の下部の所定領域内の画素の画素値に基づいて、色ヒストグラムを生成する。色ヒストグラムとしては、例えば、色相ヒストグラムがある。色相ヒストグラムは、各画素の画素値に基づいて、各画素が異なる色相を示す複数のビンのどれに属するかを判断し、各ビンに属する画素数をそれぞれカウントすることで生成することができる。そして、生成した色ヒストグラムが、検出特性設定信号受信部７２から送られた色ヒストグラムと概略一致するかどうかを同定する。
【００３４】
色ヒストグラムの比較では、本実施形態では、まずそれぞれの色相のヒストグラムについて、各ビンの要素数を１次元に並べたベクトルを生成し、そのベクトルの方向と一致する、大きさを１に正規化した、正規化色相ヒストグラムベクトルを生成する。そして、その２つの正規化色相ヒストグラムベクトル内積を一致度として算出する。このように、本実施形態では、上記のような方法を用いて一致度を算出するが、着衣等の色成分の一致度を算出できるようなものであれば、その他の方法でも構わない。
【００３５】
そして、算出した一致度を、この同定領域に顔があるかどうかを判断するための信頼度として、同定結果統合処理部７３に送る。
【００３６】
次に、輝度パターン同定処理部７１は、ステップＳ１０３で選択した同定領域の輝度値の分布パターンが、予め設定された輝度分布パターンであるかどうかを同定する（ステップＳ１０７）。本実施形態では検出対象が人物であるので、予め設定してある平均的な顔の輝度値の分布パターンとの比較を行うことで、この同定すべき位置に顔があるかどうかの信頼度を算出する。例えば、一般的なテンプレートマッチングを用いて、輝度値の分布パターンの比較を行い、その相関度（各テンプレート画像との類似度）を求める。予め設定してあるテンプレート画像としては、様々なサイズ、回転の、顔のテンプレート画像を用意しておき、最も相関度が高かった結果を、その同定すべき位置での信頼度とし、同定結果統合処理部７３に送る。
【００３７】
なお、本実施形態では、輝度値の分布を用いた信頼度の決定方法としてテンプレートマッチングを用いるものとしたが、高い信頼度が得られるようなものであれば、その他の方法でも構わない。そして、取得した信頼度は同定結果統合処理部７３に送る。
【００３８】
次いで、ステップＳ１０８において、同定結果統合処理部７３は、色パターン同定処理部７０及び、または輝度パターン同定処理部７１から出力された信頼度を統合する。ステップＳ１０４の判定で同定領域から所定範囲内に検出特性設定信号の位置情報が示す点があった場合には、同定結果統合処理部７３には検出特性設定信号受信部７２から入力された統合時の重み比率が設定されている。従って、その重み比率を色パターン同定処理部７０及び輝度パターン同定処理部７１から出力された信頼度に乗じて、その和を算出する。この算出した和を、ステップＳ１０３において選択した同定領域における顔の有無に関する信頼度として、その位置（例えば、当該同定領域の中心位置）と共に不図示のメモリに記録する。
【００３９】
一方、ステップＳ１０４の判定で同定領域から所定範囲内に検出特性設定信号の位置情報が示す点が無いと判断された場合には、色パターン同定処理部７０での処理は行われず、色パターン同定処理部７０からの信頼度出力が無い。また、同定結果統合処理部７３には重み比率が設定されていない。従って、輝度パターン同定処理部７１の信頼度をステップＳ１０３において選択した同定領域における顔の有無に関する信頼度とし、その位置（例えば、当該同定領域の中心位置）と共に不図示のメモリに記録する。
【００４０】
次に、ステップＳ１０９において、ステップＳ１０２で入力した画像の全ての領域且つ、全ての大きさの同定領域について上記処理を終了したかどうかを判定する。終了していなければ、ステップＳ１０３に戻って同定領域を移動し、ステップＳ１０４からステップＳ１０８までの処理を繰り返し行う。
【００４１】
画像の全ての領域且つ、全ての大きさの同定領域について信頼度を算出すると（ステップＳ１０９でＹＥＳ）、検出結果出力部７４は、特定パターン領域を決定し、属性検出処理部１４及び画像処理装置の外部に出力する（ステップＳ１１０）。
【００４２】
ここではまず、同定領域の各位置における最終的な信頼度が予め定めた所定の閾値以上である否かの判定を画像全体に対して行う。これは、誤って特定パターンを検出してしまう確率を所望の確率より低くし、また、特定パターンを、特定パターンではないと誤って判定する確率を所望の確率より低くするようにするために行う。そして、所定の閾値以上であった同定領域をグルーピングし、各グループ毎に、信頼度の総和を求める。そして、その信頼度の総和が、誤って特定パターンを検出する確率が、所望の確率より低くなるように、予め設定した信頼度の総和に関する所定の閾値以上であった場合、そのグループ近傍に検出すべき特定パターンが存在すると判定する。そして、各グループ毎に信頼度分布の重心を算出し、それをその特定パターンの存在位置として決定する。検出結果出力部７４は、こうして算出した特定パターンの検出結果（重心位置）を、属性検出処理部１４及び画像処理装置の外部に出力する。なお、上記処理により複数のグループが閾値の条件に適合する場合（例えば、複数人物が画像に写っている場合）、複数のグループそれぞれの信頼度分布の重心位置が特定パターンの検出結果として出力される。
【００４３】
（属性検出処理）
次に、ステップＳ１３で行われる属性検出処理について、図６及び図７を参照して説明する。図６は属性検出処理部１４の詳細構成を示すブロック図、図７はその処理を示すフローチャートである。
【００４４】
まず、検出データ入力部９０に、画像入力部１０から処理対象となる画像を入力し（ステップＳ１１１）、次に、上記処理によりパターン検出処理部１３において求められた、特定パターン検出結果（重心位置）とを入力する（ステップＳ１１２）。
【００４５】
次いで、パターン切り出し処理部９１において、検出データ入力部９０に入力されたパターン検出結果の内、１つのパターン検出結果を選択する。そして、検出データ入力部９０に入力された画像から、選択したパターン検出結果に基づいて所定の領域を切り出す（ステップＳ１１３）。ここで切り出す領域とは、顔の両目が含まれる領域である。パターン検出結果から、顔の概略サイズがわかっていれば、そのサイズに基づいた領域設定で切り出せばよい。顔のサイズがわかっていない場合は、想定される顔のサイズをいくつかの種類に分けて考え、それぞれの大きさに基づいた、所定の領域を設定して切り出すようにする。本実施形態では、人物の顔が特定パターンであるので、想定される人物の両目を含む領域を切り出す。この、切り出された領域を以下、「切出領域」と呼ぶ。もし、入力されたパターン検出結果に特定パターンの概略の大きさに関する情報を付随するようにした場合は、その大きさに基づいた領域を切り出すようにすればよい。ここで切り出された切出領域内の画素データは、切出領域の位置（例えば中心位置）と共に、サイズ検出処理部９２に送られる。
【００４６】
サイズ検出処理部９２では、パターン切り出し処理部９１から送られてきた各サイズの切出領域に対し、そのサイズに応じた目の検出を行う。目の検出には、切出領域の大きさに応じた右目、左目の画像をテンプレート画像としたテンプレートマッチングを用いる。ここでは、それぞれ左右の目のテンプレート画像を切出領域内でスキャンし、最も類似度が高い位置を求める。この最も類似度が高い位置は、すなわち、目が検出された位置を表している。そして、各切出領域に対する目の検出結果において、左右両方の目の、それぞれの目のテンプレートデータとの類似度の和が最大であるものを選択し、その両目間の距離を算出する（ステップＳ１１４）。この両目間の距離は、目のテンプレートデータとの類似度の和が最大であるとして選択された切出領域の中心位置（目の位置）と共に、色ヒストグラム検出処理部９３に送られる。
【００４７】
色ヒストグラム検出処理部９３では、入力された左右の目の距離に基づき、その人物の着衣に相当する領域を色ヒストグラム抽出領域に設定し、その領域の色ヒストグラムを検出する（ステップＳ１１５）。図８は人物１における切出領域及び色ヒストグラム抽出領域の概念を示す概念図である。８０１は切出領域、８０２は切出領域の中心位置、そして、８０３は色ヒストグラム抽出領域である。色ヒストグラム抽出領域８０３は、例えば、左右の目の距離及び位置に基づいて、顔の領域及び向きを推測し、顔の顎側であって顔の領域を外した位置に設定される。そして、その大きさは、例えば、胴体の幅方向に、顔の幅の長さを持ち、胴体の長さ方向に、顔の領域の１〜１．５倍程度の長さを持つ領域として設定される。色ヒストグラム抽出領域にて検出した色ヒストグラムは、切出領域の中心位置（目の位置）を左右の目の距離と共に、属性情報出力部９４に送る。なお、ここで検出する色ヒストグラムは、色パターン同定処理部７０で用いるものであるので、色パターン同定処理部７０で必要とされるものと同じ形式の色ヒストグラムを検出する。本実施形態では、色パターン同定処理部７０において色相のヒストグラムを用いるので、ここでも色相のヒストグラムを生成する。
【００４８】
次に、属性情報出力部９４では、色ヒストグラム検出処理部９３から入力された、切出領域の位置（目の位置）、左右の目の距離、色ヒストグラムを１つにまとめて、一組の切出領域及び色ヒストグラム抽出領域に対応する特定パターンの属性情報を生成し、保持する（ステップＳ１１６）。そして、検出データ入力部９０に入力された特定パターンの検出結果全てに対する属性情報が生成されるまで（ステップＳ１１７でＹＥＳとなるまで）、ステップＳ１１３からＳ１１６を繰り返し実行し、全ての特定パターンの属性情報を生成する。
【００４９】
全ての特定パターンの検出結果に対応する切出領域及び色ヒストグラム抽出領域の属性情報が生成されると、最後にそれらをまとめて、属性情報保持処理部１５に出力する（ステップＳ１１８）。図９は、図８に示すような画像における特定パターンの属性情報の一例を示す図である。図９では左右の目の距離を「サイズ」として示している。図８では２人の人物が写っているので、人物１と人物２についてそれぞれ属性情報が生成される。なお、図９では色ヒストグラムとして「ｈ１」「ｈ２」で示しているが、本実施形態では色相の各ビンの情報、および各ビンに属する画素数を保持する。
【００５０】
このように、属性検出処理部１４では、パターン検出処理部１３において検出された特定パターンそれぞれに対応する切出領域及び色ヒストグラム抽出領域について、切出領域の位置（目の位置）、サイズ（左右の目の距離）、色ヒストグラムを検出する。そして、それを特定パターンの属性情報として属性情報保持処理部１５に出力する。なお、本実施形態では、属性情報として、切出領域の位置（目の位置）、サイズ（左右の目の距離）、色ヒストグラムとしたが、本発明はこれに限るものではなく、例えば切出領域の平均輝度等、その他の情報を用いても構わない。
【００５１】
（属性情報保持処理）
次に、ステップＳ１４で行われる属性情報保持処理について、図１０及び図１１を参照して説明する。図１０は属性情報処理部１５の詳細構成を示すブロック図、図１１はその処理を示すフローチャートである。
【００５２】
属性情報保持処理部１５では、属性検出処理部１４から送られてきた特定パターンの属性情報と、保持されている過去の特定パターンの累積属性情報とに基づいて、位置やサイズ等の連続性から、特定パターン間の関連付けを行う。そして、この関連に基づいて、特定パターンの属性情報を時系列に累積的に保持していく。以下、この処理について詳しく説明する。
【００５３】
属性情報保持処理部１５では、まず、属性情報入力部１１０において、属性検出処理部１４で検出した、例えば図９に示すような各特定パターンの属性情報を入力する（ステップＳ１２１）。
【００５４】
次に、累積属性情報保持メモリ１１２に何らかの累積属性情報が保持されているかどうかを判断し（ステップＳ１２２）、保持されていれば、ステップＳ１２３に進む。
【００５５】
ステップＳ１２３では、対応累積属性情報検索部１１１は、入力した属性情報から１つの特定パターンの属性情報を選択し、ステップＳ１２４において選択した属性情報に対応する１つの特定パターンの累積属性情報を、累積属性情報保持メモリ１１２から検索する。累積属性情報は、現画像より前に処理された画像から検出された、特定パターンに対応する切出領域の位置、検出パターンのサイズ、色ヒストグラムの履歴である。本実施形態では、選択した属性情報が持つ、切出領域の位置と検出パターンのサイズとに基づいて、対応する１つの特定パターンの累積属性情報を検索する。
【００５６】
ここで、具体的な検索方法の一例を説明する。まず選択した属性情報から、対応する特定パターンのサイズ（左右の目の距離）が含まれるようなサイズ許容範囲を設定する。サイズ許容範囲は、例えば、選択した属性情報のサイズ（左右の目の距離）の８０％から１２０％の範囲として設定する。そして、累積属性情報保持メモリ１１２に保持されている複数の累積属性情報のそれぞれから、時間的に最新のサイズに関する情報を取り出し、それが、このサイズ許容範囲内にあるか否かを判定することにより、検索の対象となる累積属性情報の絞込みを行う。この段階で、対象となる累積属性情報が無くなってしまった場合は、対応する累積属性情報無しと判定し、その判定結果を、選択した属性情報と共に、累積属性情報更新処理部１１３に送る。
【００５７】
サイズによる絞込みの実行後、次は選択した属性情報の持つ位置に基づいて、対応する累積属性情報を、サイズにより絞り込まれた検索の対象となる累積属性情報から検索する。ここでは、まず、絞り込まれた累積属性情報の内、１つの累積属性情報を順次選択していく。そして、その選択した１つのパターンに関する累積属性情報が持つ位置の履歴から、当該パターンの、画面上での検出位置の速度ベクトルと加速度ベクトルを算出する。
【００５８】
速度ベクトルの算出では、１つのパターンの累積属性情報が持つ位置の履歴を用い、時間的に隣接する全ての位置情報と、その履歴間の時間から、それぞれの速度ベクトルを求め、それらの平均を求めることにより算出する。位置の履歴が１つしかない場合は、速度ベクトルは０ベクトルとみなす。
【００５９】
加速度ベクトルの算出では、まず、上記求めたそれぞれの速度ベクトルの内、時間的に最新の速度ベクトルと、その直前の速度ベクトルの差分を算出する。そして、その各速度ベクトルを求めた際に用いた、始点と終点に対応する時刻の中間値をそれぞれ求め、その中間値の差で、速度ベクトルの差分を割ることによって、加速度ベクトルを算出する。ここでも、位置の履歴が３つ以上無い場合は、加速度ベクトルを０ベクトルとみなす。
【００６０】
次に、最新変位時間として、現在の時刻と、最新の位置の履歴に対応する時刻の差を求めておく。そして、速度ベクトル、加速度ベクトル、最新変位時間の算出後、予測中心位置を決定する。予測中心位置は、時間的に最新の位置の履歴に、算出した速度ベクトルに最新変位時間を乗じたベクトル分の変位と、加速度ベクトルに定数１／２と、最新変位時間を２乗した値を乗じたベクトル分の変位を与えた位置とする。そして、この予測中心位置を含む所定の範囲を設定し、その範囲内に、選択した１つの切出領域の属性情報が持つ位置が入っているならば、その選択した１つの属性情報が、この累積属性情報に対応すると決定する。
【００６１】
予測中心位置を含む所定の範囲としては、例えば、予測中心位置を中心とし、半径が（速度ベクトルの大きさ）×半径基準正定数＋バイアス正定数といった範囲にすればよい。位置の履歴が１つしかなかったために、速度ベクトルを０ベクトルとみなしたような場合は、この範囲を通常より広げるようにするとよい。入力された属性情報から選択した１つの属性情報に対応する累積属性情報が複数ある場合は、予測中心位置に最も近いものを正しい対象とみなすようにする。この段階で、入力された属性情報から選択した１つの属性情報に対応する累積属性情報が検索できなかった場合は、対応累積属性情報なしと判定し、その判定結果を、選択した属性情報と共に、次の累積属性情報更新処理部１１３に送る。対応する累積属性情報が検索できた場合には、選択した属性情報と、その対応する累積属性情報を、次の累積属性情報更新処理部１１３に送る。
【００６２】
また、累積属性情報保持メモリ１１２に累積属性情報が保持されていなければ検索は行わず、入力された属性情報の全ての特定パターンにおいて、対応累積属性情報なしと判定する。そして、判定結果を、全ての属性情報と共に累積属性情報更新処理部１１３に送るようにする。
【００６３】
このように、関連付けができなかった特定パターンについては、新規の特定パターンであるとして、新たに属性の保持を開始する。また、保持されている過去の特定パターンの累積属性情報がまったく存在しない場合も、検出された特定パターンを新規の特定パターンとして、新たに属性の保持を開始するようにする。
【００６４】
累積属性情報更新処理部１１３では、対応累積属性情報検索部１１１からの入力を受け、累積属性情報保持メモリ１１２の内容を更新する（ステップＳ１２５）。入力される情報の種類としては、対応累積属性情報なしと判定された属性情報と、累積属性情報保持メモリ１１２に保存された累積属性情報の１つに対応する属性情報の２種類である。前者に関しては、新規パターンとみなし、新たに累積属性情報保持メモリ１１２にその属性情報を記録する。後者の場合は、同じ特定パターンと判断された累積属性情報に新たな属性情報として追加して、累積属性情報保持メモリ１１２に上書き記録する。その後、この新たな属性情報に対応する時刻より、予め決めた所定時間以上前（例えば２秒以上前等、特定パターンの通常の属性が、連続性を持っていると考えられる期間）の、累積属性情報保持メモリ１１２に保持されている属性情報を消去する。
【００６５】
１つの特定パターンの属性情報の処理が終了すると、入力した属性情報全てについて処理が終了したかどうかを判断し（ステップＳ１２６）、終了していなければステップＳ１２４に戻り、次の特定パターンの属性情報について上記処理を繰り返す。
【００６６】
入力した全ての特定パターンの属性情報について処理が終了している場合は、累積属性情報出力部１１４は、累積属性情報保持メモリ１１２に保持されている累積属性情報を、検出特性設定処理部１２に出力する（ステップＳ１２７）。ここでは、累積属性情報保持メモリ１１２に保持されている全ての累積属性情報を出力するのではなく、属性情報保持処理部１５が今回処理した画像の属性情報に対応する累積属性情報のみ、つまり、現画像から検出された特定パターンに関する情報のみを出力する。本実施形態では、このように、現画像から検出された特定パターンに関する属性情報のみを出力するが、本発明はこれに限るものではなく、累積属性情報保持メモリ１１２に保持されている全ての累積属性情報を出力するようにしても構わない。
【００６７】
また、上記例においては、属性情報保持処理部１５において、過去の特定パターンの属性情報を、その属性情報の連続性に基づき、関連付けをして保持するようにしているが、本発明はこれに限るものではない。例えば、特に関連性を考慮せずに、過去に検出された特定パターンの属性情報を保持していくようにしても構わない。
【００６８】
なお、この属性情報保持処理部１５は、シーン変化検出処理部１１からシーン変化検出信号を受信する、シーン変化検出信号受信部１１５と属性情報消去処理部１１６とを備えている。図１２は、シーン変化検出処理部１１からシーン変化検出信号を受信した場合に行われる処理を示すフローチャートであり、図１１を参照して上述した基本的な処理とは独立して実行される。
【００６９】
まず、シーン変化検出信号受信部１１５がシーン変化検出処理部１１からシーン変化検出信号を受信すると図１２の処理が開始され、ステップＳ１５１において、現在上述した属性情報保持処理を行っている最中かどうかを判断する。行っている場合には当該処理を中断してから（ステップＳ１５２）、ステップＳ１５３において属性情報消去処理部１１６は累積属性情報保持メモリ１１２に保持されている累積属性情報を全て消去する。
【００７０】
（シーン変化検出処理）
ここで、上記属性情報保持処理部１５で用いるシーン変化信号について説明する。
【００７１】
図１３はシーン変化検出処理部１１の詳細構成を示すブロック図、また、図１４はシーン変化検出処理部１１における処理を示すフローチャートである。
【００７２】
まず、シーン変化検出処理部１１では、画像入力部１０から入力された画像を、セレクタ３０を介してメモリＡ３１か、メモリＢ３２のいずれかに保持する（ステップＳ１３１）。セレクタ３０は、前回のステップでの入力画像が保持されているメモリとは異なるメモリを選択することで、交互に新しい画像を保持させるようにする。メモリＡ３１、メモリＢ３２のどちらにも画像が保持されていない場合は、入力された画像をどちらのメモリに保持しても構わないが、本実施形態では、メモリＡ３１に保持するようにする。
【００７３】
次いで、オプティカルフロー検出部３３では、メモリＡ３１と、メモリＢ３２に保持されている２つの画像を用いて、画面全体からサンプリングされた離散的な点における、それぞれのオプティカルフローの推定結果を算出する（ステップＳ１３２）。算出した結果は、グローバル動きベクトル算出部３４に入力する。
【００７４】
グローバル動きベクトル算出部３４では、入力されたオプティカルフロー推定結果を用いて、画面全体の動きベクトルを算出する（ステップＳ１３３）。ここでは単純に、各点におけるオプティカルフローから、それらの平均を求め、それを画面全体の動きベクトルとし、その結果をシーン変化判定部３５に入力する。
【００７５】
シーン変化判定部３５では、入力された画面全体の動きベクトルの大きさから、シーンが切り替わったか否かを判定する（ステップＳ１３４）。シーン変化があったかどうかの判定は、入力された動きベクトルの大きさが予め定めておいた閾値より大きければ、シーン変化があったと判定するというようにすればよい。
【００７６】
シーン変化がないと判断されると、そのまま処理を終了し、シーン変化があると判定したならば、シーン変化検出信号を属性情報保持処理部１５に出力する（ステップＳ１３５）。シーン変化検出信号受信部１１５がこのシーン変化検出信号を受信すると、属性情報消去処理部１１６は累積属性情報保持メモリ１１２に保持された累積属性情報を全て消去する。
【００７７】
上記のように、本実施形態のシーン変化検出処理部１１では、２枚の画像からオプティカルフローを求め、そこから画面全体の動きベクトルを推定し、それを閾値処理することで、シーン変化を検出した。しかし、例えばもっと単純に、２枚の画像の平均輝度や分散の変化の大きさを用いてシーン変化を検出する等してもよい。
【００７８】
このように、本実施形態では、シーン変化があった場合に累積属性情報保持メモリ１１２に保持された全累積属性情報を消去するため、シーン変化前の属性情報に影響を受けず、安定した特定パターンの検出が可能になる。
【００７９】
（検出特性設定処理）
次に、ステップＳ１５で行われる検出特性設定処理について、図１５及び図１６を参照して説明する。図１５は検出特性設定処理部１２の詳細構成を示すブロック図、図１６はその処理を示すフローチャートである。
【００８０】
検出特性設定処理部１２では、属性情報保持処理部１５で時系列で累積的に保持された累積属性情報を用いて、そのパターンを安定して検出するのに適切な検出特性を決定する。そして、決定した検出特性に対応した検出特性設定信号を、パターン検出処理部１３の検出特性設定信号受信部７２に送信する。
【００８１】
検出特性設定処理部１２では、まず累積属性情報入力部５０に、属性情報保持処理部１５から、上記処理で検出された各特定パターンに対応する累積属性情報を入力する（ステップＳ１４１）。累積属性情報入力部５０は、入力された各特定パターンに対応する累積属性情報を、１つの特定パターンの累積属性情報毎に、次の特性設定信号生成部５１に送る。
【００８２】
次に、特性設定信号生成部５１は、対応特性辞書５２に予め保持されている複数種類の重み比率の中から、入力した累積属性情報に適した重み比率を検出する（ステップＳ１４２）。図１７は、対応特性辞書５２の内容の一例を示す図である。図１７に示すように、対応特性辞書５２は、複数種類の重み比率と、これら重み比率それぞれに対応した累積属性情報の条件とを有している。
【００８３】
対応特性辞書５２に予め保持しておく、複数種類の重み比率、及び、それに対応する累積属性情報の条件の具体例と、その検索方法に関して説明する。
【００８４】
対応特性辞書５２には、各重み比率に対する累積属性情報の条件が保持されており、入力された１つの特定パターンの累積属性情報がその条件を満たす場合、特性設定信号生成部５１がその重み比率に対応した検出特性設定信号を生成する。例えば、顔の大きさが時系列的に小さくなっていて、且つ最新の顔のサイズが予め設定した所定サイズ以下である、といった条件があるとする。なお、所定サイズは、例えば、パターン検出処理部１３が有する、輝度パターン同定処理部における同定処理が、顔が小さすぎるために困難となってしまう程度のサイズを予め計測しておき、それを設定しておく。その場合、入力された１つの特性パターンの累積属性情報が、前記条件を満たすならば、その条件に対応する重み比率検出特性となるようにする。例えば、色パターン同定処理部からの出力を、判断の際に重点を置くように、例えば、統合時の重み比率を、「輝度パターン同定処理部から出力される信頼度の統合時の重みを２、色パターン同定処理部から出力される信頼値の統合時の重みを８」とする。
【００８５】
入力された１つの特定パターンの累積属性情報が、対応特性辞書５２に予め保持されたいずれの条件も満たさないような場合は、初期設定の重み比率検出特性に対応した検出特性設定信号を生成すればよい。若しくは、重み比率検出特性が変わらないようにするために、検出特性設定信号を生成しないようにしてもよい。初期設定の重み比率検出特性に関しても、上記のように、パターン検出処理部１３が有する、各パターン同定処理部の能力傾向を計測し、その結果に応じて決定して入力しておけばよい。本実施形態では、初期設定の段階では、色ヒストグラム情報は設定されず、色パターン同定処理部は用いない。従って、「輝度パターン同定処理部から出力される信頼値の統合時の重みを１０、色パターン同定処理部から出力される信頼値の統合時の重みを０」という設定にしておく。
【００８６】
このような条件と、それに対応する重み比率は、予めパターン検出処理部１３が有する、各パターン同定処理部の能力傾向を計測し、その結果に応じて決定し、予め入力しておく。
【００８７】
次に、ステップＳ１４３において、ステップＳ１４２で検索した比率と、累積属性情報から得られる色ヒストグラムの情報とから、検出特性設定信号を生成する。なお、色ヒストグラムの情報は、累積属性情報入力部５０から入力された１つの特定パターンの累積属性情報が持つ、最新の色ヒストグラム情報を用いるようにする。
【００８８】
このように、検出特性設定信号は、入力された１つの特定パターン毎に生成される。また、検出特性設定信号は、対応特性辞書５２に予め入力され、累積属性情報の条件に応じて決定される複数の信頼度の統合時の重み比率と、切出領域の色ヒストグラム情報と、現画像の切出領域の位置とから構成される。
【００８９】
次に、ステップＳ１４４において、以前までのステップで検出された特定のパターンの処理が全て終了したかどうかを判断する。終了していればステップＳ１４５に、終了していなければステップＳ１４１に戻って、次の特定パターンの累積属性情報について処理を行う。これにより、以前までの画像から検出された特定パターンが、１画面内に複数ある場合には、各特定パターン毎に検出特性設定信号が生成される。全ての特定パターンについての重み比率の検索が終了したならば、生成した検出特性設定信号を、特性設定信号出力部５３に送る。
【００９０】
なお、画面内の特定１つのパターンを検出することを想定している場合は、検出特性設定信号を１つだけ生成するようにしても構わない。
【００９１】
最後に、特性信号出力部５３では、受け取った検出特性設定信号を、図１のパターン検出処理部１３に送信する（ステップＳ１４５）。なお、本実施形態では、以前までに検出された複数の特定パターンに対応する検出特性設定信号をまとめて出力するようにしているが、１つの特定パターン毎に出力するようにしても構わない。
【００９２】
上記例では、本実施形態の検出特性設定処理部１２では、入力された各特定パターンの累積属性情報が予め保持された条件を満たすか否かによって、同パターンを検出するのに適した重み比率を検索し、それに対応した検出特性設定信号を出力する。しかしながら本発明はこれに限るものではない。例えば、いくつかの累積属性情報パターンと、その時に望まれる重み比率を目標データとして、予め学習により構築した神経回路網等に各累積属性情報を入力し、重み比率を取得して、それに対応した検出特性設定信号を出力する等しても構わない。
【００９３】
上記のように、本実施形態では、検出特性設定処理部１２からの検出特性設定信号に基づく重み比率の設定によりパターン検出処理部１３でパターン検出を行う。これにより、同一位置に同程度の人物が存在するという連続性を用いて、同じ特定パターンを再検出するのに適切な検出特性が選択されるため、安定して、特定パターンを検出することが可能になる。
【００９４】
このように、本実施形態のパターン検出処理部１３では、複数のパターン同定処理を行い、その結果を検出特性設定処理部１２から入力された検出特性設定信号に基づいて統合する。従って、以前までに検出された同じ特定パターンを再検出するのに適した検出特性に基づいて検出を実行することができるため、安定した検出結果を得ることができる。
【００９５】
＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。
【００９６】
図１８は、本第２の実施形態にかかる撮像装置の概略構成を示す図である。なお、本第２の実施形態の撮像装置におけるパターン検出処理の概要は図２と同様であるので、説明を省略する。なお、図１８において、図１と同様の構成には同じ参照番号を示し、説明を省略するが、各構成の内部構成及びその処理が第１の実施形態とは異なるため、以下、詳細に説明する。また、図１８に示すように、本第２の実施形態では、パターン検出部１３により検出された検出結果が画像入力部１０に出力され、この検出結果を基にして画像入力部１０が制御される。
【００９７】
（画像入力部）
図１９は、本第２の実施形態における画像入力部１０の詳細構成を示すブロック図である。図１９において、２０２はＣＣＤやＭＯＳ等の光電変換素子を２次元アレイ状に配置した撮像素子（エリアセンサ）、２０１は外部からの光を撮像素子２０２上に結像する光学系である。光学系２０１は、絞り、フォーカスレンズ、ズームレンズなどを含み、それぞれ、露出制御回路２０９、測距制御回路２１０、ズーム制御回路２１１により制御される。
【００９８】
光学系２０１により撮像素子２０２上に結像された光学像は電気信号に変換され、その電気信号はＡ／Ｄ変換器２０３によりデジタル信号に変換されて、メモリ２０４に一旦格納される。なお、撮像素子２０２は所定周期で画像を出力するように制御されており、これにより時系列の画像（動画像）を取得することができる。
【００９９】
２０５は画像処理部であり、パターン検出処理部１３４からのパターン検出結果を受け、メモリ２０４に格納された画像に対して画像の補正処理を行い、補正後の画像を記録部２０６に送る。本第２の実施形態では、検出された特定パターン、つまり、画像内に存在する顔の中で、最も画像の中央に近い顔を中心とする領域を人物の肌色領域であるとみなす。そして、入力画像において、その肌色領域内に含まれる画素の平均的なＲＧＢ値の比が、予め設定した好ましい人物の肌色に対するＲＧＢの比になるように、ＲＧＢの各値に乗じる係数を決定する。そして、ここで決定したＲＧＢの各値に乗じる係数を、入力画像の全ての画素のＲＧＢ値に対して乗じることにより、画像全体のホワイトバランスを調整する。
【０１００】
なお、本発明の補正処理は、上述したホワイトバランスの調整に限るものではなく、例えば、検出された顔が存在する範囲を除く領域に、ガウシアンフィルタをかける等、その他の補正処理を行うようにしても構わない。ここでも、パターン検出結果がどのような場合に、どういった補正処理を行うのかを、予めＬＵＴ等に記録しておき、入力されたパターン検出結果から、行うべき制御を決定すればよい。また、例えば撮像装置がモード切り替えスイッチを有している場合に、そのスイッチの状態によって、上記のＬＵＴの内容を切り替えるというようにしても構わない。
【０１０１】
記録部２０６は、画像処理部２０５から送られてきた補正後の画像をデータ圧縮して、磁気テープ等の記録媒体に保存する。圧縮処理としては、例えば、ＭＰＥＧ４規格の圧縮処理があるが、本発明は圧縮方法により制限されるものではなく、その他の圧縮処理を用いたり、圧縮を行わずに記録するようにしても構わない。
【０１０２】
また、動画を記録する場合について説明しているが、例えば撮像装置が静止画撮像指示スイッチを有し、そのスイッチが押下された場合に、押下直後に記録部２０６に入力された画像のみを、不揮発メモリ等の記録媒体に記録するようにしても構わない。この場合は、圧縮処理部は静止画に適した圧縮処理を行えばよい。
【０１０３】
２０７はカメラパラメータ設定部であり、パターン検出処理部１３からのパターン検出結果を受け、そのパターン検出結果に基づいてフォーカスエリアを決定し、光学系２０１のフォーカスレンズ制御値や、撮像素子２０２のゲインを制御する。ここでは、例えば検出された人物の顔にピントが合うようにフォーカスを調整したり、顔の領域が明瞭に撮影されるようにゲインを調整したりする。
【０１０４】
具体的には、検出された特定パターン、つまり、画像内に存在する顔の中で、最も画像の中央に近い顔を中心とする領域をフォーカスエリアとみなし、その領域の位置、及び広さに対応する画像の領域に合焦するようなフォーカスレンズ制御値を設定する。設定したフォーカスレンズ制御値は測距制御回路２１０に送られ、送られたフォーカスレンズ制御値に基づいてフォーカスレンズが制御されて、焦点調節が行われる。
【０１０５】
また、カメラパラメータ設定部２０７は、上記の最も画像の中央に近い顔のサイズに応じて、絞り調整信号と、ゲイン調整信号を、露出制御回路２０９に送る。具体的には、顔のサイズが所定値より大きい、例えば、画像の１／４程度の面積を占めるような場合は、絞りを絞るようにように指示する絞り調整信号を生成し、同時に、ゲインを上げるように指示するゲイン調整信号を生成して、露出制御回路２０９に送信する。露出制御回路２０９は、送信された絞り調整信号及びゲイン調整信号に基づいて、光学系２０１の絞り、及び、撮像素子２０２のゲインの調整を行う。
【０１０６】
更に、特定パターンの領域が所定範囲の大きさで撮影されるように、ズーム倍率を調整したり、特定パターンの領域が画面の中央に来るように、後述する雲台２１３向けのパン・チルト値を調整する。
【０１０７】
２１３は撮像装置のパン・チルト角を変更する雲台、２１２は雲台２１３のパン・チルト角を制御するパン・チルト制御回路２１２である。２０８は操作部であり、撮影方向を指示することが可能である。操作部２０８の指示は、特定パターンの領域が画面中央に来るようにカメラパラメータ設定部２０７により調整する値に対して優先する。従って、特定パターンの領域に従って調整されたパン・チルト値に関わらず、操作部２０８から指示があった場合には、カメラパラメータ設定部２０７は操作部２０８から入力された撮影方向の画像を撮影できるようにパン・チルト値を調整する。パン・チルト制御回路２１２は、カメラパラメータ設定部２０７から送られるパン・チルト値に基づいて、雲台を制御する。
【０１０８】
このように、パターン検出結果に基づいてカメラパラメータを調整することにより、特定パターンを撮影するのに好ましいカメラパラメータで、特定パターンを撮影することができる。本第２の実施形態では、上記のような、フォーカスレンズ制御値、絞り、ゲイン、ズーム倍率、パン・チルト値といったカメラパラメータ制御を行うが、本発明はこれに限るものではなく、その他のカメラパラメータ制御を行うようにしても構わない。パターン検出結果がどのような場合に、どういったカメラパラメータの制御を行うのかは、予めＬＵＴ等に記録しておき、入力されたパターン検出結果から行うべき制御を決定すればよい。また本第２の実施形態では、上記所定のカメラパラメータ調整を行うが、例えば撮像装置がモード切り替えスイッチを有している場合に、そのスイッチの状態によって、上記のＬＵＴの内容を切り替えるというようにしても構わない。
【０１０９】
（パターン検出処理）
次に、ステップＳ１２で行われる本第２の実施形態におけるパターン検出処理について、図２０及び図２１を参照して説明する。図２０はパターン検出処理部１３の詳細構成を示すブロック図、図２１はその処理を示すフローチャートである。図２０に示すように、本第２の実施形態におけるパターン検出処理部１３は、図３に示す構成と異なり、左向き輝度パターン同定処理部７５、正面向き輝度パターン同定処理部７６及び右向き輝度パターン同定処理部７７の３種類のパターン同定処理部を有する。これらのパターン同定処理部はいずれも、顔があるかどうか同定すべき位置の輝度値の分布と、予め設定してある、平均的な顔の輝度値の分布との比較を行うことで、この同定すべき位置に顔があるかどうかの信頼度を算出する。ただし、予め設定してある、平均的な顔の輝度値の分布が、それぞれ左向き、正面向き、右向きの平均的な顔の輝度値の分布となっている。
【０１１０】
まず、検出特性設定信号受信部７２は、検出特性設定処理部１２から検出特性設定信号を受信し、受信した検出特性設定信号に基づいて、複数のパターン検出処理部による同定処理で得られた同定結果を統合する際の手法を設定する（ステップＳ２０１）。本実施形態では、同定結果を統合する際の手法は、３種類のパターン同定処理部７５〜７７による同定結果の重み比率とする。
【０１１１】
次に、画像入力部１０から処理対象となる画像データを１フレーム分入力し、３種類のパターン同定処理部７５〜７７にそれぞれ入力する（ステップＳ２０２）。次に、入力された画像をラスタスキャンし、３種類のパターン同定処理部７５〜７７により同定を行う領域（同定領域）を選択する（ステップＳ２０３）。なお、同定領域の選択処理は上記第１の実施形態で説明したものと同様であるため、詳細説明は省略する。
【０１１２】
次に、選択された同定領域から所定範囲内に検出特性設定信号の位置情報が示す点（前回入力した画像データから検出された特定パターンの重心位置）があるか否かの判定を行う（ステップＳ２０４）。同定領域から所定範囲内に検出特性設定信号の位置情報が示す点がある場合は、ステップＳ２０５に進み、ステップＳ２０１で検出特性設定信号受信部７２により検出特性設定信号に基づいて設定された重み比率を、同定結果統合処理部７３に送る。無い場合にはステップＳ２０６に進み、デフォルトの重み比率を同定結果統合処理部７３に設定する。この場合、例えば各パターン同定処理部７５〜７７の統合比率を１：１：１とする。
【０１１３】
次に、３種類の輝度パターン同定処理部７５〜７７は、ステップＳ２０３で選択した同定領域の輝度値の分布パターンが、予め設定された輝度分布パターンであるかどうかを同定する（ステップＳ２０７）。本実施形態では検出対象が人物であるので、予め設定してある平均的な顔の輝度値の分布パターンとの比較を行うことで、この同定すべき位置に顔があるかどうかの信頼度を算出する。本第２の実施形態においても、第１の実施形態と同様に、一般的なテンプレートマッチングを用いて輝度値の分布の比較を行い、その相関度を求める。ただし、予め設定してあるテンプレートは、それぞれ左向き、正面向き、右向きの顔に対応したものである。３つの顔の向きのそれぞれに対して、様々なサイズ、回転のテンプレートを用意しておき、最も相関度が高かった結果を、その同定すべき位置での信頼度とし、同定結果統合処理部７３に送る。なお、本実施形態では、輝度値の分布を用いた信頼度の決定方法としてテンプレートマッチングを用いる。しかしながら、人物の顔の輝度値の分布である場合に、高い信頼度が得られるようなものであれば、その他の方法でも構わない。そして、取得した信頼度は同定結果統合処理部７３に送る。
【０１１４】
次いで、ステップＳ２０８において、同定結果統合処理部７３は、３種類の輝度パターン同定処理部７５〜７７から出力された信頼度を統合する。ここでは、ステップＳ２０５またはＳ２０６で同定結果統合処理部７３に設定された重み比率を、３種類の輝度パターン同定処理部７５〜７７から出力された信頼度に乗じ、その和を算出する。この算出した和を、ステップＳ２０３において選択した同定領域における顔の有無に関する信頼度として、その位置（例えば、当該同定領域の中心位置）と共に不図示のメモリに記録する。
【０１１５】
ステップＳ２０９において、ステップＳ２０２で入力した画像の全ての領域且つ、全ての大きさの同定領域について上記処理を終了したかどうかを判定する。終了していなければ、ステップＳ２０３に戻って同定領域を移動し、ステップＳ２０３からステップＳ２０８までの処理を繰り返し行う。
【０１１６】
画像の全ての領域且つ、全ての大きさの同定領域について信頼度を算出すると（ステップＳ２０９でＹＥＳ）、ステップＳ２１０に進み、検出結果出力部７４は、第１の実施形態と同様の方法で特定パターンの重心位置を決定する。
【０１１７】
本第２の実施形態では、属性検出処理部１４での顔向き検出の処理負荷を軽減するために、検出結果出力部７４は、更に顔向きの検出を行い（ステップＳ２１１）、その検出結果も、特定パターンの検出結果と共に出力する。具体的には、特定パターンのグループに含まれる同定領域の位置の内、信頼度が最大であった位置を選択する。そして、その位置において、３つの輝度パターン同定処理部７５〜７７から出力された信頼度値の内、最大値であった輝度パターン同定処理部に対応する顔の向きを、このパターンの顔の向きとして決定する。
【０１１８】
こうして決定した特定パターンの検出結果（重心位置及び顔向き）を、画像入力部１０及び属性検出処理部する（ステップＳ２１２）。
【０１１９】
このように、本第２の実施形態のパターン検出処理部１３では、特定の顔の向きに対応する輝度パターン同定処理を行い、その結果を検出特性設定処理部１２から入力された検出特性設定信号に基づいて統合する。これにより、同一位置に同程度の向きの顔があるという連続性を用い、同パターンを再検出するのに適した検出特性で検出を実行することができ、安定した検出結果を得ることができる。
【０１２０】
（属性検出処理）
次に、ステップＳ１３で行われる本第２の実施形態における属性検出処理について、図２２及び図２３を参照して説明する。図２２は属性検出処理部１４の詳細構成を示すブロック図、図２３はその処理を示すフローチャートである。なお、図２２において、図６と同様の構成には同じ参照番号を付し、説明を省略する。
【０１２１】
まず、検出データ入力部９０に、画像入力部１０から処理対象となる画像を入力し（ステップＳ２２１）、上記処理によりパターン検出処理部１３において求められた、パターン検出結果（重心位置及び顔向き）とを入力する（ステップＳ２２２）。
【０１２２】
次いで、パターン切り出し処理部９１において、検出データ入力部９０に入力されたパターン検出結果から１つのパターン検出結果を選択する。そして、検出データ入力部９０に入力された画像から、選択したパターン検出結果に基づいて所定の領域を切り出す（ステップＳ２２３）。ここで、切り出す領域とは、第１の実施形態と同様に、顔の両目が含まれる領域である。パターン検出結果から、顔の概略サイズがわかっていれば、そのサイズに基づいた領域を設定して切り出せばよいが、顔のサイズがわかっていない場合は、想定される顔のサイズをいくつかの種類に分けて考え、それぞれの大きさに基づいた所定の領域を設定して切り出すようにする。本実施形態でも、人物の顔が特定パターンであるので、想定される人物の両目を含む領域を切り出す。この切り出された領域を以下、「切出領域」と呼ぶ。もし、入力されたパターン検出結果にパターンの概略の大きさに関する情報が付随されている場合は、その大きさに基づいた領域を切り出すようにすればよい。ここで切り出された切出領域内の画素データは、その位置と共に、それぞれサイズ検出処理部９２に送られる。
【０１２３】
サイズ検出処理部９２では、パターン切り出し処理部９１から送られてきた切出領域それぞれに対し、第１の実施形態で説明したようにして、そのサイズに応じた目の検出を行う（ステップＳ２２４）。そして、ここで検出した左右両方の目の、マッチングの相関度の和が最大であった切出領域の位置及び左右の目の距離を、顔向きと共に属性情報出力部９４に送る。
【０１２４】
属性情報出力部９４では、パターン検出結果と共に入力された、各パターンの顔の向き情報と、ここで求めた検出パターンのサイズ（左右の目の距離）及びその位置を１つにまとめて、１つの特定パターンに対する属性情報を生成し、保持する（ステップＳ２２５）。そして、検出データ入力部９０に入力された特定パターンの検出結果の全てに対する属性情報が生成されるまで（ステップＳ２２６でＹＥＳとなるまで）、ステップＳ２２３からＳ２２５を繰り返し実行する。そして、全ての特定パターンの検出結果に対応する属性情報を生成する。
【０１２５】
全ての特定パターンの検出結果に対応する属性情報が生成されたら、最後にそれらをまとめて、属性情報保持処理部１５に出力する（ステップＳ２２７）。
【０１２６】
（属性情報保持処理）
次に、ステップＳ１４で行われる本第２の実施形態における属性情報保持処理について説明する。なお、構成及び処理手順は、図１０及び図１１と同様であるが、一部処理内容が異なるので、図１１を参照しながら処理について説明する。
【０１２７】
本第２の実施形態では、保持されている過去の特定パターンと、検出されたパターンの関連付けを行う。これは、属性検出処理部１４から送られてきた、検出された特定パターンの属性情報と、保持されている過去のパターンの累積属性情報に基づいて、切出領域の位置やサイズ、顔の向き等の連続性に基づいて関連づけを行う。そして、この関連に基づいて、特定パターンの属性情報を、その位置情報と共に、時系列に累積的に保持していく。
【０１２８】
属性情報保持処理部１５では、まず、属性情報入力部１１０において、属性検出処理部１４で検出した各特定パターンの属性情報を入力する（ステップＳ１２１）。
【０１２９】
次に、累積属性情報保持メモリ１１２に累積属性情報が保持されているかどうかを判断し（ステップＳ１２２）、保持されていれば、ステップＳ１２３に進む。
【０１３０】
ステップＳ１２３では、対応累積属性情報検索部１１１は、入力した属性情報から１つの特定パターンの属性情報を選択し、ステップＳ１２４において選択した属性情報に対応する１つの特定パターンの累積属性情報を、累積属性情報保持メモリ１１２から検索する。累積属性情報は、現画像より前に処理された画像から検出された、特定パターンに対応する切出領域の位置、サイズ、顔向きの履歴である。本第２の実施形態では、選択した属性情報が持つ、切出領域の位置とパターンのサイズと顔向きとに基づいて、対応する１つの切出領域の累積属性情報を検索する。
【０１３１】
ここで、具体的な検索方法の一例を説明する。まず選択した属性情報の顔向きの情報に基づいて累積属性情報の絞り込みを行う。顔向きが左向きであれば、累積属性情報の内、時間的に最新の顔向きが右向きであるものは検索対象から外し、逆に、選択した属性情報の顔向きの情報が、右向きであれば、累積属性情報の内、時間的に最新の顔向きが左向きであるものは検索対象から外す。ただし、選択した属性情報の持つ顔向きの情報が正面向きである場合は、時間的に最新の顔向きがいずれの向きであっても、検索対象から外さないようにする。これにより、顔の向きの連続性に基づいた検索処理が可能になる。
【０１３２】
これ以降の、選択した属性情報が持つ位置による、対応する１つの特定パターンに関する累積属性情報の検索や、累積属性情報の更新、出力に関しては、第１の実施形態と同様であるので、説明を省略する。
【０１３３】
なお、本第２の実施形態における属性情報保持処理部１５も、第１の実施形態と同様に、シーン変化検出処理部１１からシーン変化検出信号を受信する、シーン変化検出信号受信部１１５と属性情報消去処理部１１６とを備えている。上述した基本的な処理とは独立して、シーン変化検出信号受信部１１５がシーン変化検出処理部１１からのシーン変化検出信号を受信した場合に、図１２に示す処理を行う。即ち、シーン変化検出信号受信部１１５がシーン変化検出処理部１１からシーン変化検出信号を受信すると図１２の処理が開始され、ステップＳ１５１において、現在上述した属性情報保持処理を行っている最中かどうかを判断する。行っている場合には当該処理を中断してから（ステップＳ１５２）、ステップＳ１５３において属性情報消去処理部１１６は累積属性情報保持メモリ１１２に保持されている累積属性情報を全て消去する。
【０１３４】
このシーン変化検出信号は、シーン変化検出処理部１１を除くその他の処理とは完全に独立なタイミングで発生される。そのため、どのようなタイミングでこの信号を受け取るかはわからない。本第２の実施形態では、通常、この信号を受けた場合は、全累積属性情報を消去するという処理を行うが、上記属性情報保持処理部１５での基本的な処理を実行中である場合は、その処理を中断し、全累積属性情報を消去する処理を行う。これにより、シーン変化があった場合に、以前までの検出結果に影響を受けず、安定した検出が可能になる。
【０１３５】
（シーン変化検出処理）
ここで、本第２の実施形態における属性情報保持処理部１５の構成及びシーン変化信号の発生処理について説明する。
【０１３６】
図２４はシーン変化検出処理部１１の詳細構成を示すブロック図である。
【０１３７】
シーン変化検出処理部１１は、撮像装置の動きを検出するジャイロ３６とシーン変化判定部３７とを有する。
【０１３８】
シーン変化判定部３７は、画像入力部１０から入力される、所定時間以前（例えば、５００ｍｓｅｃ程度等）でのズーム状態と、現在のズーム状態とを比較部３７で比較する。そして、所定の閾値（例えば、ズーム倍率で１．５倍）以上異なる場合には、シーンの変化があると判定して、シーン変化検出信号を、属性情報保持処理部１５に送信する。更に、所定間隔（例えば、１００ｍｓｅｃ程度毎等）にサンプリングしたジャイロ１６からの角速度出力から角速度を求め、入力が所定以上の加速度（例えば、０．２Ｇ以上）を示す場合にも、シーンの変化があると判定して、シーン変化検出信号を、属性情報保持処理部１５に送信する。
【０１３９】
ここでのシーン変化検出の処理は、他の処理系とは独立した処理の流れになっており、他の処理系とは異なるクロックで処理を実行し、シーンの変化を検出した場合は、シーン変化検出信号を、割り込み信号という形で、属性情報保持処理部１５に送信すればよい。
【０１４０】
（検出特性設定処理）
次に、ステップＳ１５で行われる第２の実施形態における検出特性設定処理について説明する。なお、構成及び処理手順は、図１５及び図１６と同様であるが、一部処理内容が異なるので、図１５及び図１６を参照しながら処理について説明する。
【０１４１】
まずステップＳ１４１において、検出特性設定処理部１２では、まず累積属性情報入力部５０に、属性情報保持処理部１５から、各特定パターンに対応する累積属性情報を入力する。本第２の実施形態では、ここで入力される累積属性情報は、それぞれの特定パターンの位置と、大きさ、顔の向きの履歴である。
【０１４２】
次に、特性設定信号生成部５１は、対応特性辞書５２に予め保持されている複数種類の重み比率の中から、入力した累積属性情報に適した重み比率を検出する（ステップＳ１４２）。図２５は、第２の実施形態における対応特性辞書５２の内容を示す図である。図２５に示すように、対応特性辞書５２は、複数種類の重み比率と、これら重み比率それぞれに対応した累積属性情報の条件とを有している。第２の実施形態における対応特性辞書５２に保持されている条件は、顔の向きに関する条件が追加されていることが、第１の実施形態とは異なる。
【０１４３】
対応特性辞書５２に予め保持しておく、複数種類の重み比率、及び、それに対応する累積属性情報の条件の具体例と、その検索方法に関して説明する。
【０１４４】
対応特性辞書５２には、各重み比率に対する累積属性情報の条件が保持されており、入力された１つのパターンの累積属性情報がその条件を満たす場合、特性設定信号生成部５１がその重み比率に対応した検出特性設定信号を生成する。また、本実施形態では、パターン検出処理部１３４が、それぞれ特定の顔の向きに対応する輝度パターン同定手段を複数有しているので、第１の実施形態で示した重み比率とは、多少内容が異なる。例えば、顔の向きが、時系列的に正面向きから右向きになっていて、且つその位置が右方向に移動している、といった条件が存在し、入力された１つのパターンの累積属性情報がこの条件を満たすとする。この場合、その条件に対応する重み比率検出特性、例えば、右向きの輝度パターン同定処理部からの出力を、判断の際に重点を置くように、統合時の重み比率を設定する。「右向きの輝度パターン同定処理部から出力される信頼度の統合時の重みを７、正面向きの輝度パターン同定処理部から出力される信頼度の統合時の重みを２、左向きの輝度パターン同定処理部から出力される信頼度の統合時の重みを１。」とするというような、検出特性設定信号を生成する。
【０１４５】
本第２の実施形態における検出特性設定信号は、入力された１つの特定パターン毎に生成される。また、上記したように各パターン同定処理部から出力される信頼度の統合時の重み比率であり、それが、入力された１つの特定パターンごとに、最新のパターン検出位置と共に信号として生成される。
【０１４６】
このように、本第２の実施形態の検出特性設定処理部１２でも、入力された各特定パターンの累積属性情報が予め保持された条件を満たすか否かによって、次に入力される画像から同パターンを検出するのに適した検出特性を検索する。そして、それに対応した検出特性設定信号を出力する。しかしながら、第１の実施形態と同様に、本発明はこれに限るものではなく、例えば予め学習により構築した神経回路網等に各累積属性情報を入力し、重み比率を取得して、それを用いて生成した検出特性設定信号を出力する等しても構わない。
【０１４７】
上記のように、検出特性設定処理部１３３からの検出特性設定信号に基づく検出特性設定により、パターン検出処理部１３４でのパターン検出を行う。従って、同一位置に同程度の向きの顔があるという連続性を用いて、同パターンを検出するのに適切なパターン検出特性が選択されるため、安定して、特定パターンを検出することが可能になる。、その結果、特定パターンの撮影に適したカメラパラメータの制御や、特定パターン適切な補正処理を行った画像の記録を、安定して行うことができるようになる。
【０１４８】
上記示した構成、及び処理により、検出履歴に基づいた最適な検出特性で、特定パターンの検出を実行できるため、特定パターンの撮像に適したカメラパラメータの制御や、画像の補正を、より安定して実行できるようになる。
【０１４９】
＜第３の実施形態＞
次に、本発明の第３の実施形態について説明する。
【０１５０】
本発明の第３の実施形態では、画角内に存在する人物を検出し、検出した人物の中から、主被写体人物を選択してその主被写体人物の表情を評価し、表情の評価結果が笑顔であると判定された場合に、静止画を記録する撮像装置について説明する。なお、ここでは人物の表情を評価する場合について説明するが、評価する対象及び静止画を記録すると判断させる条件は、任意に設定可能である。
【０１５１】
図２６は、本実施形態における撮像装置の構成を示すブロック図である。また図２７は、図２６に示す構成を有する撮像装置における、基本的な処理の流れを示すフローチャートである。また、図２８は、割り込み信号発生時（図２６の、入力状態変化検出処理部１５０８において、電源ＯＮ信号、全押し状態信号、半押し状態信号、半押し状態解除信号の、何れかの割り込み信号が発生した場合）の処理の流れを示すフローチャートである。以下、本実施形態の撮像装置の構成と、各処理部での処理について、図２６、図２７及び図２８を参照して説明する。
【０１５２】
結像光学系１５００は、外部からの光をエリアセンサ１５０１上に結像する光学系である。エリアセンサ１５０１は、第２の実施形態の撮像素子２０２と同様の、ＣＣＤやＭＯＳ等の光電変換素子を２次元アレイ状に配置したものである。エリアセンサ１５０１は、結像光学系１５００により受光部上に結像された光学像を電気信号に変換し、その電気信号をＡ／Ｄ変換し、デジタル画像信号を出力する。デジタル画像信号は、顔切り出し処理部１５０２及び静止画像保存処理部１５０４に入力される（ステップＳ１６０）。
【０１５３】
顔切り出し処理部１５０２は、エリアセンサ１５０１から送られてきた画像に対してテンプレートマッチング等を用いることにより、画像内の人物の顔を検出する。本第３の実施形態では、顔切り出し処理部１５０２は、第１及び第２の実施形態におけるパターン検出処理部１３で行う処理と同様の処理を行い、得られた信頼度が予め定めた閾値以上である領域を顔として検出する。
【０１５４】
次に、検出された人物の顔の中から、例えば、その顔の画面内の位置や、サイズ大きさに基づいて、主被写体である人物の顔を選択する。例えば、画面中央に対して最も距離が近い顔を主被写体である人物の顔として選択する。そして、その選択された人物の顔の領域を入力画像から切り出して、特徴点検出処理部１５０３に送る（ステップＳ１６１）。なお、画像内に顔が１つも検出されなかった場合は画像の切り出しは行わず、ステップＳ１６０に戻るようにする。
【０１５５】
なお、例えば、撮影者が主被写体の顔が画像中心に配置されるように画角を調整するようなシステムであれば、顔の存在が既知であるので、主被写体である人物の顔を選択する処理は省略可能である。
【０１５６】
特徴点検出処理部１５０３は、顔切り出し処理部１５０２から送られてきた主被写体人物の顔領域の画像に対して、テンプレートマッチング等を用いることにより、目尻、目頭、口唇左右両端点等の、顔の特徴点を検出する。ここでは、各特徴点に対応するテンプレートを用い、その各特徴点が存在し得る領域（例えば、目頭特徴点であれば、切り出した顔領域の中心のやや上方付近の領域）内で、ラスタスキャン的にテンプレートマッチングを行う。そして、最もテンプレート画像との類似度の高い点を、特徴点検出位置として検出する（ステップＳ１６２）。この検出した各特徴点の相対的な位置情報（例えば、切り出した領域の中心を原点とする座標系での位置情報）は、笑顔検出処理部１５０５、及び特徴点情報保持処理部１５０６に送る。
【０１５７】
笑顔検出処理部１５０５は、顔切り出し処理部１５０２において切り出された、主被写体として選択された人物の顔が、笑顔であるかどうかの判定を行う。ここでは、特徴点検出処理部１５０３から送られてきた顔の特徴点位置情報と、特徴点情報保持処理部１５０６が持つ、無表情状態での顔の特徴点位置情報である、平常顔特徴点位置情報を用い、それらの特徴点位置を比較することで判定する。この判定は、例えば、特許文献３に開示されているような方法で行えばよい。
【０１５８】
ここで、笑顔であると判定されなかった場合は（ステップＳ１６３でＮＯ）、ステップＳ１６０に戻る。
【０１５９】
一方、笑顔であると判定された場合は（ステップＳ１６３でＹＥＳ）、静止画像保存処理部１５０４に、笑顔検出信号を送信する。静止画像保存処理部１５０４は、エリアセンサ１５０１から送られてきた入力画像を、不図示のメモリに一時的に保持する。笑顔検出処理部１５０５から笑顔検出信号が送信されてきた場合か、後述の２段スイッチ１５０７から、撮影指示命令が送信されてきた場合にのみ、メモリに保持されている入力画像を、静止画保存処理部１５０４が持つ不揮発メモリに記録する（ステップＳ１６４）。そして、本実施形態の撮像装置における処理を終了する。
【０１６０】
入力画像を一時的に保持したメモリ内のデータは、次の入力画像が入力されるまでは保持しておき、新たな入力画像の入力が完了した時点で、当該メモリに保持しておいたそれ以前の画像を消去する。
【０１６１】
特徴点情報処理保持部１５０６は、ステップＳ１６３で笑顔検出処理部１５０５が判定用いる平常顔特徴点位置情報を保持しており、判定実行時に、その平常顔特徴点情報を笑顔検出処理部１５０５に送信する。
【０１６２】
２段スイッチ１５０７はいわゆるレリーズボタンであり、ボタンを押下していない状態（解放状態）、ボタンを軽く押し、１段押下した状態（半押し状態）と、ボタンを最後まで押下した状態（全押し状態）の３つの状態をとるスイッチである。
【０１６３】
２段スイッチ１５０７では、解放状態から半押し状態にした場合には、撮影準備指示命令が入力状態変化検出処理部１５０８に送られる。また、半押し状態から全押し状態にした場合には、撮影指示命令が静止画像保存処理部１５０４及び入力状態変化検出処理部１５０８に送られる。また、半押し状態から解放状態にした場合には、撮影準備指示解除命令が入力状態変化検出処理部１５０８に送られる。なお、解放状態から全押し状態への直接変化は、途中で半押し状態を通過しなければならないので、実際には存在しない。従って、撮影準備指示命令、撮影指示命令が、この順で入力状態変化検出処理部１５０８に、また撮影指示命令が静止画像保存処理部１５０４に送信されることになる。また、全押し状態になると、上記説明したように、静止画像保存処理部１５０４において不揮発メモリの入力画像が記録され、本実施形態の撮像装置における処理が終了する。そのため、全押し状態から半押し状態、若しくは、半押し状態を経由して解放状態になる場合には、特に何もしない。
【０１６４】
電源スイッチ１５１０は撮像装置の電源を制御するスイッチであり、これを操作することにより、撮像装置が起動及び終了する。電源スイッチ１５１０では、その状態が切から入に変わると装置全体を起動すると共に、電源入命令を入力状態変化検出処理部１５０８に送信する。また、その状態を入から切に変えることにより、装置全体に対して終了処理を行う。
【０１６５】
入力状態変化検出処理部１５０８は、２段スイッチ１５０７からの撮影準備指示命令、撮影指示命令、及び撮影準備指示解除命令と、電源スイッチ１５１０からの電源入命令を受ける。そして、これらの命令に基づいて、４種類の割り込み信号を発生し、それを特徴点情報リセット処理部１５０９に送信する。発生する４種類の割り込み信号は、それぞれ、半押し状態信号、全押し状態信号、半押し状態解除信号、電源ＯＮ信号の４つである。
【０１６６】
電源ＯＮ信号は、入力状態変化検出処理部１５０８が電源スイッチ１５１０からの電源入命令を受けた場合に発生させる。つまり、電源スイッチ１５１０を切から入に操作した際に、この割り込み信号が発生する。
【０１６７】
全押し状態信号は、入力状態変化検出処理部１５０８が、２段スイッチ１５０７からの撮影指示命令を受けた場合に発生させる。つまり、２段スイッチ１５０７のボタンが、最後まで押下された場合に、この割り込み信号が発生する。
【０１６８】
入力状態変化検出処理部１５０８が、２段スイッチ１５０７からの撮影準備指示命令を受け、その後、所定時間（例えば、５００ｍｓｅｃ程度）の間、入力状態変化検出処理部１５０８に、その他の入力が無ければ、半押し状態信号を発生させる。つまり撮影者が、２段スイッチ１５０７のボタンを軽く押し込んで半押し状態にしておくと、この半押し状態信号が割り込み信号として発生する。
【０１６９】
最後の半押し状態解除信号は、入力状態変化検出処理部１５０８が、２段スイッチ１５０７からの撮影準備指示解除命令を受けた場合に発生させる。つまり、２段スイッチ１５０７のボタンが半押し状態であったのを解放状態にすると、この割り込み信号が発生する。
【０１７０】
このように、入力状態変化検出処理部１５０８では、２段スイッチ１５０７や、電源スイッチ１５１０からの入力に基づき、上記４つの割り込み信号を発生させ、それを特徴点情報リセット処理部１５０９に送信する。これらの割り込み信号が発生した場合は、特徴点情報リセット処理部１５０９は、図２８に示す割り込み信号発生時の処理を開始する。
【０１７１】
特徴点情報リセット処理部１５０９は、図２８に示す割り込み信号発生時の処理を実行する処理部であり、入力状態変化検出処理部１５０８から送られてきた割り込み信号に基づいて、特徴点情報保持処理部１５０６に、平常顔特徴点位置情報をセットする。
【０１７２】
図２８に示すように、特徴点情報リセット処理部１５０９は、入力状態変化検出処理部１５０８からの信号の入力を監視する。入力した信号が電源ＯＮ信号の場合（ステップＳ１７１でＹＥＳ）、全押し状態信号の場合（ステップＳ１７２でＹＥＳ）、及び半押し状態解除信号の場合（ステップＳ１７３でＮＯ）には、標準特徴点を設定する（ステップＳ１７４）。ここでは、平均特徴点情報保持メモリ１５１１に保持されている、平均的な無表情の顔の特徴点情報（標準特徴点情報）を、特徴点情報保持処理部１５０６に設定する。
【０１７３】
平均特徴点情報保持メモリ１５１１で保持する標準特徴点情報は、例えば以下のようにして求めることができる。例えば１００人程度の多数の人物の無表情の顔画像に対して、上述した特徴点検出処理部１５０３での処理と同様の特徴点検出処理を行い、それぞれから検出した各特徴点の相対的な位置情報の平均を求める。
【０１７４】
また、入力した信号が半押し状態信号であった場合は（ステップＳ１７３でＹＥＳ）、以下の指令を出す。即ち、特徴点情報保持処理部１５０６に対して、現段階で、特徴点検出処理部１５０３から送られてきた特徴点情報（検出特徴点情報）を、平常顔特徴点位置情報として設定するように指令を出す（ステップＳ１７５）。このように、撮影者が、２段スイッチ１５０７のボタンを軽く押して半押し状態にすると、現在画面内の中央に一番近い人物の顔の特徴点情報が平常顔特徴点位置情報として設定される。つまり、撮影者が、主被写体が画面中央付近に配置されるようにフレーミングし、主被写体が無表情である状態で半押し状態にすることで、主被写体の無表情時の特徴点情報が平常顔特徴点位置情報として特徴点情報保持処理部１５０６に設定される。これにより、笑顔検出処理部１５０５での笑顔検出処理（笑顔であるか否かの判定処理）に適した、被写体個人別の平常顔特徴点位置情報を簡単に設定することができる。
【０１７５】
なお、入力状態変化検出処理部１５０８からの割り込み信号が全押し状態信号であった場合は、上記説明したように、静止画像保存処理部１５０４において、不揮発メモリに入力画像が記録され、撮像処理が終了する。それ以外の場合は、図２７に示した処理を引き続き実行することになる。
【０１７６】
本第３の実施形態では、電源を入れた直後や、半押し状態を解除するという状況を、入力状態の変化として捉え、その際に、予め平均特徴点情報保持メモリ１５１１に保持しておいた標準特徴点情報を、特徴点情報保持処理部１５０６に設定する。これにより、以前に設定した被写体個人別の平常顔特徴点位置情報（ステップＳ１７５により設定される検出特徴点）の影響を受けることなく、平均の特徴点情報を用いることで、精度が低下する可能性はあるが、安定して笑顔の判定を行うことができる。
【０１７７】
上記示した構成及び処理により、撮影者が２段スイッチ１５０７のボタンを軽く押し込んで半押し状態にすると、撮影者が選んだ主被写体の笑顔判定に適した処理が可能る。さらに、電源を入れた直後や、半押し状態を解除するといった入力状態の変化を表す操作により、平均的な無表情時の特徴点情報が、以降の笑顔判定で用いられるため、以前までの検出結果に影響を受けず、安定して笑顔の判定を行うことができるようになる。その結果として、画像内の主被写体と想定される人物の表情が笑顔となった時の静止画像を、記録することができる。
【０１７８】
なお、本発明は、以上の各実施形態、または、それら技術要素を必要に応じて組み合わせるようにしてもよい。
【０１７９】
＜他の実施形態＞
本発明の目的は、以下の様にして達成することも可能である。まず、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給する。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行する。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【０１８０】
また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、以下のようにして達成することも可能である。即ち、読み出したプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合である。ここでプログラムコードを記憶する記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、ＲＯＭ、ＲＡＭ、磁気テープ、不揮発性のメモリカード、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ、光ディスク、光磁気ディスク、ＭＯなどが考えられる。また、ＬＡＮ（ローカル・エリア・ネットワーク）やＷＡＮ（ワイド・エリア・ネットワーク）などのコンピュータネットワークを、プログラムコードを供給するために用いることができる。
【図面の簡単な説明】
【０１８１】
【図１】本発明の第１の実施形態におけるパターン検出装置の概略構成を示すブロック図である。
【図２】本発明の第１の実施形態における特定パターン検出処理の概略を示すフローチャートである。
【図３】本発明の第１の実施形態におけるパターン検出処理部の詳細構成を示すブロック図である。
【図４】本発明の第１の実施形態におけるパターン検出処理を示すフローチャートである。
【図５】本発明の第１の実施形態における同定領域の選択の仕方の概念を示す図である。
【図６】本発明の第１の実施形態における属性検出処理部の詳細構成を示すブロック図である。
【図７】本発明の第１の実施形態における属性検出処理を示すフローチャートである。
【図８】本発明の第１の実施形態における切出領域の概念を示す図である。
【図９】本発明の第１の実施形態における特定パターンの属性情報の一例を示す図である。
【図１０】本発明の第１の実施形態における属性情報保持処理部の詳細構成を示すブロック図である。
【図１１】本発明の第１の実施形態における属性情報保持処理を示すフローチャートである。
【図１２】本発明の第１の実施形態におけるシーン変化信号受信時の累積属性情報の消去処理を示すフローチャートである。
【図１３】本発明の第１の実施形態におけるシーン変化検出処理部の詳細構成を示すブロック図である。
【図１４】本発明の第１の実施形態におけるシーン変化検出処理を示すフローチャートである。
【図１５】本発明の第１の実施形態における検出特性設定処理部の詳細構成を示すブロック図である。
【図１６】本発明の第１の実施形態における検出特性設定処理を示すフローチャートである。
【図１７】本発明の第１の実施形態における対応特性辞書の内容の一例を示す図である。
【図１８】本発明の第２の実施形態におけるパターン検出装置の概略構成を示すブロック図である。
【図１９】本発明の第２の実施形態における画像入力部の詳細構成を示すブロック図である。
【図２０】本発明の第２の実施形態におけるパターン検出処理部の詳細構成を示すブロック図である。
【図２１】本発明の第２の実施形態におけるパターン検出処理を示すフローチャートである。
【図２２】本発明の第２の実施形態における属性検出処理部の詳細構成を示すブロック図である。
【図２３】本発明の第２の実施形態における属性検出処理を示すフローチャートである。
【図２４】本発明の第２の実施形態におけるシーン変化検出処理部の詳細構成を示すブロック図である。
【図２５】本発明の第２の実施形態における対応特性辞書の内容の一例を示す図である。
【図２６】本発明の第３の実施形態における撮像装置の処理部の構成を示すブロック図である。
【図２７】本発明の第３の実施形態における画像記録処理の概略を示すフローチャートである。
【図２８】本発明の第３の実施形態における特徴点情報リセット処理を示すフローチャートである。
【符号の説明】
【０１８２】
１０  画像入力部
１１  シーン変化検出処理部
１２  検出特性設定処理部
１３  パターン検出処理部
１４  属性検出処理部
１５  属性情報保持処理部
【図１】
2007067559.tif 000003
【図２】
2007067559.tif 000004
【図３】
2007067559.tif 000005
【図４】
2007067559.tif 000006
【図５】
2007067559.tif 000007
【図６】
2007067559.tif 000008
【図７】
2007067559.tif 000009
【図８】
2007067559.tif 000010
【図９】
2007067559.tif 000011
【図１０】
2007067559.tif 000012
【図１１】
2007067559.tif 000013
【図１２】
2007067559.tif 000014
【図１３】
2007067559.tif 000015
【図１４】
2007067559.tif 000016
【図１５】
2007067559.tif 000017
【図１６】
2007067559.tif 000018
【図１７】
2007067559.tif 000019
【図１８】
2007067559.tif 000020
【図１９】
2007067559.tif 000021
【図２０】
2007067559.tif 000022
【図２１】
2007067559.tif 000023
【図２２】
2007067559.tif 000024
【図２３】
2007067559.tif 000025
【図２４】
2007067559.tif 000026
【図２５】
2007067559.tif 000027
【図２６】
2007067559.tif 000028
【図２７】
2007067559.tif 000029
【図２８】
2007067559.tif 000030