"入力画像に含まれる被写体の領域を含む画素の加算を行う合成処理を行い、前記入力画像の前記被写体を検出する前記被写体検出部における検出結果に基づいて、前記合成処理を終了する合成処理部を備える画像処理装置。前記被写体のサイズを検出する前記被写体検出部をさらに備え、前記合成処理部は、前記被写体のサイズに基づいて、前記合成処理を終了する請求項1に記載の画像処理装置。前記合成処理部は、前記被写体検出部で検出される前記サイズの最大値を保持し、前記被写体検出部で検出される前記サイズが、保持している前記サイズの最大値の所定の比率になったときを判定して、前記合成処理を終了する請求項2に記載の画像処理装置。前記合成処理部は、前記合成処理として、前記入力画像から求めた前記被写体の差分画像を、前記合成処理を終了するまで逐次加算する加算処理を複数回繰り返す処理を行い、その複数回の前記加算処理のうち、2回目以降の各加算処理においては、最初に前記被写体が検出された前記入力画像から求めた前記差分画像を、それ以前の加算処理における加算結果の画像と加算する請求項3に記載の画像処理装置。前記被写体検出部は、前記入力画像内の前記被写体の位置も検出し、前記合成処理部は、前記被写体の領域の画素を加算するとともに、前記被写体の領域の周辺の画素に対しては、スムージング処理を行う請求項2に記載の画像処理装置。前記合成処理部は、前記入力画像のうちの前記被写体の領域の画素に対して、所定の係数による重み付け加算を行う請求項5に記載の画像処理装置。前記所定の係数は、検出された前記被写体の色を変化させる係数である請求項6に記載の画像処理装置。前記入力画像と、それを前記合成処理部で合成処理した後の画像とを同時に表示するように制御する表示制御部をさらに備える請求項1に記載の画像処理装置。入力画像の少なくとも一部の領域を合成処理する合成処理部を備える画像処理装置が、前記入力画像に含まれる被写体の領域を含む画素の加算を行う合成処理を行い、前記入力画像の前記被写体を検出する前記被写体検出処理における検出結果に基づいて、前記合成処理を終了するステップを含む画像処理方法。コンピュータに、入力画像に含まれる被写体の領域を含む画素の加算を行う合成処理を行い、前記入力画像の前記被写体を検出する前記被写体検出処理における検出結果に基づいて、前記合成処理を終了する処理をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。しかしながら、バルブ撮影機能は、上級者向けの高機能のデジタルカメラなどに限られており、いわゆるコンパクトデジタルカメラで多重露光撮影を行うのは難しい。また、デジタルカメラにバルブ撮影機能があっても、プロカメラマンが撮影するような最適なシャッタタイミングで、ユーザが撮影するのは難しい。シャッタタイミングが適切でないと、例えば、上述した花火の撮影の例では、光跡が途中で切れてしまったり、逆に、途中から光跡が始まったり、あるいは、光跡が点々になったりするような画像になる。画像編集アプリケーションを用いて、パーソナルコンピュータ上で、後処理として、デジタルカメラで短時間に撮影した複数枚の撮影画像を合成する方法もあるが、作業が非常に面倒である。本技術は、このような状況に鑑みてなされたものであり、簡単に、多重露光による画像を得ることができるようにするものである。本技術の一側面の画像処理装置は、入力画像に含まれる被写体の領域を含む画素の加算を行う合成処理を行い、前記入力画像の前記被写体を検出する前記被写体検出部における検出結果に基づいて、前記合成処理を終了する合成処理部を備える。本技術の一側面の画像処理方法は、入力画像の少なくとも一部の領域を合成処理する合成処理部を備える画像処理装置が、前記入力画像に含まれる被写体の領域を含む画素の加算を行う合成処理を行い、前記入力画像の前記被写体を検出する前記被写体検出処理における検出結果に基づいて、前記合成処理を終了するステップを含む。本技術の一側面の記録媒体に記録されたプログラムは、コンピュータに、入力画像に含まれる被写体の領域を含む画素の加算を行う合成処理を行い、前記入力画像の前記被写体を検出する前記被写体検出処理における検出結果に基づいて、前記合成処理を終了する処理を実行させるためのものである。本技術の一側面においては、入力画像に含まれる被写体の領域を含む画素の加算を行う合成処理が行われ、前記入力画像の前記被写体を検出する前記被写体検出処理における検出結果に基づいて、前記合成処理が終了される。画像処理装置は、独立した装置であっても良いし、1つの装置を構成している内部ブロックであっても良い。本技術の一側面によれば、簡単に、多重露光による画像を得ることができる。[画像処理装置の構成例]図1は、本技術を適用した画像処理装置の一実施の形態の構成例を示す図である。図1の画像処理装置11は、被写体を撮影して得られる撮影画像を表示し、記録する通常の撮影機能通常撮影モードの他、連続撮影により得られる複数の撮影画像を合成した多重露光画像を簡単に生成する多重露光機能多重露光撮影モードを備える。この画像処理装置11は、例えば、デジタルビデオカメラや、デジタルスチルカメラなどの撮像装置の一部として組み込まれる。画像処理装置11は、光学系31、イメージャ32、デジタル信号処理部33、表示制御部34、表示部35、エンコード処理部36、記録部37、レンズ駆動部38、制御部39、インタフェース制御部40、およびユーザインタフェース41から構成される。光学系31は、図示せぬ撮像レンズを含む光学系などからなり、光学系31に入射された光は、CCDChargeCoupledDevice等の撮像素子で構成されるイメージャ32に入射される。イメージャ32は、光学系31から入射された光を光電変換することで、被写体を撮像する。撮像により得られたアナログの電気信号撮像信号は、図示せぬADAnalogtoDigital変換部によりデジタルの画像データに変換され、デジタル信号処理部33に供給される。デジタル信号処理部33は、DSPDigitalSignalProcessorなどで構成され、イメージャ32からの画像データに対して所定の信号処理を施す。デジタル信号処理部33は、前処理部51、デモザイク処理部52、解像度変換部53、画像合成部54、およびYC生成部55を少なくとも備えている。前処理部51は、前処理として、イメージャ32からの画像データに対し、RRed,GGreen,BBlueの黒レベルを所定のレベルにクランプするクランプ処理や、R,G,Bの色チャンネル間の補正処理等を施す。デモザイク処理部52は、前処理部51により前処理された画像データに対し、画像データの各画素がR,G,B全ての色成分を有するように、画素の色成分を補完するデモザイク処理を施す。解像度変換部53および画像合成部54は、デモザイク処理後の撮影画像に対して、必要に応じて所定の画像処理を施す。解像度変換部53は、ユーザインタフェース41においてユーザにより設定指定された所定の解像度に変換する解像度変換処理を施す。画像合成部54は、ユーザによって多重露光撮影モードが選択されている場合に、複数の撮影画像を合成多重することにより、多重露光画像を生成する画像合成処理を実行する。YC生成部55は、デモザイク処理部52によりデモザイク処理された、R,G,Bの画像データから、輝度Y信号および色C信号を生成分離するYC生成処理を行う。解像度変換部53や画像合成部54において所定の画像処理が実行された場合には、処理後の画像データに対してYC生成処理を行う。表示制御部34は、デジタル信号処理部33から供給されるデジタルの画像データを、アナログの画像信号にDA変換し、表示部35に表示させる。表示部35は、表示制御部34の制御に従い、表示制御部34から供給された画像などを表示する。表示部35としては、例えば、LCDなどを採用することができる。エンコード処理部36は、デジタル信号処理部33から供給される画像データを所定の符号化形式により符号化し、その結果得られる画像符号化データを記録部37に供給する。記録部37は、例えば、ハードディスクや不揮発性のメモリなどの記録媒体を有し、エンコード処理部36から供給される画像符号化データを記録媒体に記録させる。レンズ駆動部38は、制御部39の制御に基づいて、光学系31内のモータを駆動制御して、撮像レンズを駆動する。制御部39は、インタフェース制御部40から供給される制御信号に応じて、画像処理装置11の各部を制御する。例えば、制御部39は、デジタル信号処理部33に、ユーザが指定した動作モードに対応する処理パラメータ等を供給する。また、制御部39は、光学系31内の撮像レンズを駆動させたり、絞りなどを調節させたりするための制御信号をレンズ駆動部38に供給する。さらに制御部39は、イメージャ32による撮像も制御する。ユーザインタフェース41は、ボタンやスイッチ等の入力装置、マイクロホン等の出力装置などから構成される。ユーザインタフェース41は、ユーザが画像処理装置11に対して、撮像の開始または終了、動作モードの変更、設定値の変更などの指示を入力するときに操作される。なお、表示部35の画面の上に静電式等のタッチパネル等の入力デバイスが構成され、ユーザが指等で表示部35の画面をタッチすることで入力が可能な構成とされている場合には、その入力デバイスもユーザインタフェース41に含まれる。画像処理装置11は以上のように構成される。[画像合成部の構成例]図2は、多重露光撮影モードにおいて、多重露光画像を生成する画像合成部54の機能的構成例を示すブロック図である。画像合成部54は、被写体検出部61、合成処理部62、および、バッファ63により構成される。画像合成部54には、入力画像として、デモザイク処理後の撮影画像が、デモザイク処理部52から供給され、被写体検出部61と合成処理部62に供給される。被写体検出部61は、入力画像としてのデモザイク処理後の撮影画像から被写体を検出し、追尾する被写体追尾処理を実行する。被写体検出部61は、被写体追尾処理の結果得られた、入力画像内の被写体が含まれている領域被写体領域についての領域情報を合成処理部62に出力する。本実施の形態において、被写体検出部61から合成処理部62に出力される被写体の領域情報は、入力画像内で検出された被写体を矩形領域で囲んだときの矩形領域のサイズの情報であるとする。なお、被写体の領域情報としては、その他、例えば、被写体を囲んだ矩形領域の位置重心位置や中心位置をさらに出力してもよい。また、被写体領域の検出方法は、既知の様々な手法を採用することができ、特定の手法に限定されるものではない。被写体領域の検出手法の一例については、図7以降で後述する。合成処理部62は、被写体検出部61からの被写体の領域情報に基づいて、デモザイク処理部52から順次供給される入力画像を合成処理することにより、合成画像を生成する。具体的には、合成処理部62は、デモザイク処理部52から、第pフレームp>0の入力画像Nが供給されたとき、以下の処理を行うことにより、第pフレームの合成画像Gを生成する。1入力画像N-合成画像G=差分画像D2合成画像G差分画像D=合成画像Gここで、第pフレームを示すフレームカウントpは、デモザイク処理部52から画像合成部54の合成処理部62に入力されたフレーム数ではなく、被写体検出部61において最初に被写体が検出されたときを第1フレームとして数えたときの入力画像のフレーム数を意味する。合成処理部62は、初めに、被写体が検出された第pフレームの入力画像Nと第p-1フレームの合成画像Gの、対応する画素どうしの差分を計算した差分画像Dを計算する。次に、合成処理部62は、得られた差分画像Dと第p-1フレームの合成画像Gの、対応する画素どうしを加算し、その結果得られる画像を、第pフレームの合成画像Gとする。合成処理部62により順次生成される合成画像Gは、入力画像Nとともに表示制御部34に出力されるとともに、次に入力される入力画像Nの合成処理のために、バッファ63にも供給される。バッファ63は、第pフレームにおける合成処理の処理結果である合成画像Gを、次のフレームの合成処理のために一時記憶する。なお、バッファ63は、合成処理部62の一部として構成されていてもよい。また、合成処理部62は、入力画像の合成処理を終了する場合、最後に合成処理されて得られた合成画像Gを、保存画像Goutとしてエンコード処理部36に出力する。エンコード処理部36は、合成処理部62から供給される保存画像Goutの画像データを所定の符号化形式で符号化し、記録部37に記録させる。図3を参照して、合成処理部62による合成画像Gの生成についてさらに説明する。被写体検出部61で最初に被写体が検出された撮影画像である第1フレームの入力画像Nが、合成処理部62に供給される。このとき、それ以前の合成画像Gが存在しないので、入力画像Nが、そのまま、差分画像Dとなり、さらにそれが、そのまま合成画像Gとなる。すなわち、第1フレームの入力画像Nにおける合成処理の結果得られる合成画像Gは、第1フレームの入力画像Nに等しい。次に、第2フレームの入力画像Nが合成処理部62に供給されると、合成処理部62は、第2フレームの入力画像Nから、第1フレームまでの合成画像Gを減算し、差分画像Dを算出する。そして、合成処理部62は、第1フレームまでの合成画像Gに、いま算出した差分画像Dを加算し、第2フレームまでの合成画像Gを生成する。第3フレームの入力画像Nが合成処理部62に供給されると、合成処理部62は、第3フレームの入力画像Nから、第2フレームまでの合成画像Gを減算し、差分画像Dを算出する。そして、合成処理部62は、第2フレームまでの合成画像Gに、いま算出した差分画像Dを加算し、第3フレームまでの合成画像Gを生成する。そして、第pフレームの入力画像Nが合成処理部62に供給されると、合成処理部62は、第pフレームの入力画像Nから、第p-1フレームまでの合成画像Gを減算し、差分画像Dを算出する。そして、合成処理部62は、第p-1フレームまでの合成画像Gに、いま算出した差分画像Dを加算し、第pフレームまでの合成画像Gを生成する。合成処理部62は、以上のように、順次入力される入力画像NないしNを用いたフレーム加算処理を行うことにより、合成画像GないしGを生成する。デモザイク処理部52から入力画像が供給されるたびに生成される合成画像GないしGは、表示制御部34に出力され、表示部35に表示される。これにより、ユーザは、多重露光画像の生成過程の画像を表示部35で確認することができる。そして、例えば、第pフレームの入力画像Nにおいて、合成処理を終了する所定の終了条件が満たされた場合、合成処理部62は、第pフレームの入力画像Nによる合成処理結果である合成画像Gを、保存画像Goutとして、エンコード処理部36に出力する。これにより、ユーザの多重露光撮影による撮影結果である多重露光画像が、所定の符号化形式で符号化され、記録部37に保存される。[多重露光撮影処理]次に、図4のフローチャートを参照して、画像処理装置11の多重露光撮影処理について説明する。この処理は、例えば、画像処理装置11において、ユーザが撮影モードを、通常撮影モードから多重露光撮影モードに変更したとき、あるいは、多重露光撮影モードに撮影モードを変更後、撮影開始の操作がユーザによりなされたときに開始される。初めに、ステップS201において、画像合成部54の被写体検出部61は、入力画像としてデモザイク処理部52から供給された、デモザイク処理後の撮影画像に対して、被写体を検出し、追尾する被写体追尾処理を開始する。これ以降、被写体検出部61は、入力画像に対して被写体を検出し、追尾する被写体追尾処理を逐次実行し、被写体の領域情報を合成処理部62に供給する。なお、被写体が検出できない場合には、被写体の領域情報は合成処理部62に供給されない。ステップS202において、合成処理部62は、最初に被写体が検出された入力画像を第1フレームとして、画像合成部54に入力される入力画像を数えるための変数であるフレームカウントpに1をセットする。ステップS203において、合成処理部62は、被写体の領域情報が供給されたかを判定する。上述したように、被写体追尾処理により被写体が検出された場合、検出された被写体を矩形領域で囲んだときの矩形領域のサイズが、被写体の領域情報として、被写体検出部61から、合成処理部62に供給される。したがって、ステップS203では、被写体のサイズが、被写体検出部61から供給されたか否かが判定され、被写体のサイズが供給されるまで、ステップS203の処理が繰り返される。そして、ステップS203で、被写体の領域情報が供給されたと判定された場合、すなわち、被写体検出部61から被写体のサイズが供給された場合、処理はステップS204に進む。ステップS204において、合成処理部62は、第pフレームの入力画像Nで検出された被写体のサイズが、1つ前の第p-1フレームの入力画像Nまでで検出された被写体サイズの最大値SIZEMAXより大きいかを判定する。なお、被写体サイズの最大値SIZEMAXは、次のステップS205の処理で保持される、これまでに検出された被写体サイズの最大値を記憶する変数である。フレームカウントpが1である場合、すなわち、第1フレームの入力画像Nにおいて、1つ前のフレームの入力画像で検出された被写体が存在しない場合は、ステップS204では大きいと判定される。ステップS204で、第pフレームの入力画像Nで検出された被写体のサイズが、1つ前の第p-1フレームの入力画像Nまでで検出された被写体サイズの最大値SIZEMAXより大きいと判定された場合、処理はステップS205に進む。ステップS205において、合成処理部62は、被写体サイズの最大値SIZEMAXを、第pフレームの入力画像Nで検出された被写体のサイズで更新し、バッファ63に保持する。ステップS206において、合成処理部62は、第pフレームの差分画像Dと第p-1フレームまでの合成画像Gから、第pフレームにおける合成画像Gを生成する。具体的には、合成処理部62は、初めに、第pフレームの入力画像Nと第p-1フレームの合成画像Gとから、差分画像Dを算出する。次に、合成処理部62は、算出された差分画像Dと、第p-1フレームまでの合成画像Gをフレーム加算することで、第pフレームの合成画像Gを生成する。ステップS207において、合成処理部62は、生成した第pフレームの合成画像Gを、第pフレームの入力画像Nとともに表示制御部34に出力する。その結果、表示制御部34により、第pフレームの合成画像Gと、第pフレームの入力画像Nが、表示部35において、例えば、同サイズで横方向に並んで同時に表示される。これにより、ユーザは、撮影中のスルー画像である入力画像Nと、多重露光撮影による画像である合成画像Gの両方を同時に見ることができる。ステップS207の後、処理はステップS208に進み、フレームカウントpが1だけインクリメントされた後、処理がステップS203に戻される。一方、上述したステップS204で、第pフレームの入力画像Nで検出された被写体のサイズが、1つ前の第p-1フレームの入力画像Nまでで検出された被写体サイズの最大値SIZEMAX以下であると判定された場合、処理はステップS209に進む。ステップS209において、合成処理部62は、第pフレームの入力画像Nで検出された被写体サイズが、保持している被写体サイズの最大値SIZEMAXの所定比率以下のサイズであるかを判定する。すなわち、ステップS209では、順次、検出される被写体のサイズが、最大値SIZEMAXよりも所定の比率だけ小さくなったか否かが判定される。ここで、検出される被写体のサイズが小さくなったか否かを判定する比率は、例えば、0.880、換言すれば、最大値SIZEMAXからの被写体サイズの減少率が20以上などとすることができる。ステップS209で、第pフレームの入力画像Nで検出された被写体サイズが、保持している最大値SIZEMAXの所定比率以下のサイズではないと判定された場合、処理は、上述したステップS206に進む。一方、ステップS209で、第pフレームの入力画像Nで検出された被写体サイズが、保持している最大値SIZEMAXの所定比率以下のサイズであると判定された場合、処理はステップS210に進む。ステップS210において、合成処理部62は、第pフレームの合成画像Gと入力画像Nを、表示制御部34に出力するとともに、第pフレームの合成画像Gを、保存画像Goutとしてエンコード処理部36に出力する。これにより、第pフレームの合成画像Gと入力画像Nが表示部35に表示されるとともに、多重露光撮影の撮影結果としての保存画像Goutが、記録部37に保存されて、多重露光撮影処理が終了する。以上の多重露光撮影処理によれば、所定の被写体が検出された第pフレームの入力画像Nと、その1フレーム前までの合成画像Gとの差分画像Dを算出して、加算する処理合成処理が繰り返される。そして、検出される被写体サイズが、それまでに検出された被写体サイズの最大値SIZEMAXの所定比率以下のサイズになったときを、入力画像において被写体が検出できなくなったと判定して、差分画像Dの加算処理が終了される。この多重露光撮影処理によれば、ユーザは、撮影モードを多重露光撮影モードに変更し、撮影を開始させるだけで、合成処理部62が、被写体検出部61の検出結果に基づいて、入力画像の合成処理の開始および終了を判定し、実行する。したがって、ユーザ自身がシャッタタイミングを決定、指示する必要がなく、適切なシャッタタイミングによる、多重露光画像を得ることができる。また、従来の多重露光撮影では必要とされていた暗幕やレリーズケーブルなどの道具を使用することなく撮影することも可能である。すなわち、画像合成部54の多重露光撮影処理によれば、簡単に、多重露光による画像を得ることができる。[多重露光撮影処理のその他の例]多重露光機能は、花火の撮影で利用されることが多い。花火の撮影では、連続して打ち上げられた複数の花火を1枚の画像として得たい場合もある。そのため、画像処理装置11の多重露光撮影モードでは、連続して打ち上げられる複数の花火を1枚の画像として撮影することもできる。図5を参照して、連続して打ち上げられる複数の花火を1枚の画像として得る、連発撮影の多重露光撮影処理について説明する。撮影する複数の花火のうち、第1発目の花火を撮影する処理は、図3を参照して説明した単発撮影の多重露光撮影処理と同様に行われる。ただし、検出対象の被写体である第1発目の花火が検出できなくなったと判定されたときに、第1発目の花火を多重露光した保存画像Goutが、エンコード処理部36に出力されるのではなく、バッファ63に一時保存される。その後、バッファ63に一時記憶されている、被写体サイズの最大値SIZEMAX、フレームカウントp、および、合成画像Gは、合成処理部62によってリセットされる。そして、入力画像から、最初に、第2発目の花火が検出されたとき、すなわち、第2発目の花火の第1フレームの入力画像Nが、合成処理部62に供給されたとき、合成処理部62は、図5に示されるように、入力画像Nを、そのまま、差分画像Dとする。この処理は、第1発目の花火の第1フレームのときと同様である。次に、合成処理部62は、バッファ63に一時記憶されている、第1発目の花火の合成画像である保存画像Goutに、いま算出した差分画像Dを加算し、第2フレームまでの合成画像Gを生成する。すなわち、第2発目の花火を最初に検出した第1フレームでは、合成処理部62は、算出した差分画像Dを、第1発目の花火の保存画像Goutと加算する。第2発目の花火の第2フレーム以降の処理は、上述した単発撮影の多重露光撮影処理と同様である。そして、第2発目の花火の第pフレームにおいて、被写体が検出できなくなったと判定された場合、第pフレームの合成画像Gが保存画像Goutとしてバッファ63に一時保存される。その後、第2発目の合成処理で使用された、被写体サイズの最大値SIZEMAX、フレームカウントp、および、合成画像Gが、再度リセットされる。そして、入力画像から、最初に、第3発目の花火が検出されたとき、すなわち、第3発目の花火の第1フレームの入力画像Nが、合成処理部62に供給されたとき、合成処理部62は、その入力画像Nを、そのまま、差分画像Dとする。この処理は、第1発目の花火の第1フレームのときと同様である。次に、合成処理部62は、バッファ63に一時記憶されている、第2発目までの花火の合成画像である保存画像Goutに、いま算出した差分画像Dを加算し、第2フレームまでの合成画像Gを生成する。すなわち、第2発目の花火を最初に検出した第1フレームでは、合成処理部62は、算出した差分画像Dを、第2発目までの花火の保存画像Goutと加算する。第3発目の花火の第2フレーム以降の処理は、上述した第2発目の処理と同様である。連続して打ち上げられる複数の花火を1枚の画像として得る、連発撮影の多重露光撮影処理は、以上のように行われる。図6のフローチャートを参照して、連発撮影の多重露光撮影処理について説明する。この処理を開始するタイミングは、例えば、図5と同様とすることができる。なお、連発撮影の多重露光撮影処理においては、何発の花火を1枚の画像として多重露光撮影するかを、撮影を開始する前にユーザに指定入力させるようにしてもよい。初めに、ステップS221において、画像合成部54の被写体検出部61は、入力画像としてデモザイク処理部52から供給された、デモザイク処理後の撮影画像に対して、被写体を検出し、追尾する被写体追尾処理を開始する。被写体追尾処理は、多重露光撮影処理が終了するまで継続して実行される。ステップS222において、合成処理部62は、フレームカウントpに1をセットするとともに、連発スタートフラグflgに0をセットする。連発スタートフラグは、第2発目以降の花火であり、かつ、被写体花火が検出された最初のフレーム第1フレームである場合には1、それ以外の場合には0がセットされるフラグである。ステップS222の処理時点では、第1発目の花火を検出する前であるので、連発スタートフラグflgには0がセットされる。ステップS223において、合成処理部62は、上述した単発撮影におけるステップS203と同様に、被写体の領域情報が供給されたか否かを判定し、供給されたと判定されるまで処理を繰り返す。ステップS223で、被写体の領域情報が供給されたと判定された場合、すなわち、被写体検出部61から被写体のサイズが供給された場合、処理はステップS224に進む。ステップS224において、合成処理部62は、第pフレームの入力画像Nで検出された被写体のサイズが、1つ前の第p-1フレームの入力画像Nまでで検出された被写体サイズの最大値SIZEMAXより大きいかを判定する。ステップS224で、第pフレームの入力画像Nで検出された被写体のサイズが、1つ前の第p-1フレームの入力画像Nまでで検出された被写体サイズの最大値SIZEMAXより大きいと判定された場合、処理はステップS225に進む。ステップS225において、合成処理部62は、被写体サイズの最大値SIZEMAXを、第pフレームの入力画像Nで検出された被写体のサイズで更新し、バッファ63に保持する。ステップS226において、合成処理部62は、連発スタートフラグflgが1であるかを判定する。ステップS226で、連発スタートフラグflgが1であると判定された場合については、ステップS234乃至S236の処理の説明後に説明する。1回目のステップS226の処理では、上述したステップS222の処理により連発スタートフラグflgは0にセットされているので、連発スタートフラグflgが1ではないと判定される。ステップS226で、連発スタートフラグflgが1ではないと判定された場合、処理はステップS227に進む。ステップS227では、合成処理部62は、上述した図4のステップS206と同様に、第pフレームの差分画像Dと第p-1フレームまでの合成画像Gから、第pフレームにおける合成画像Gを生成する。そして、ステップS228において、合成処理部62は、生成した第pフレームの合成画像Gを、第pフレームの入力画像Nとともに表示制御部34に出力する。その結果、表示制御部34により、第pフレームの合成画像Gと、第pフレームの入力画像Nが、表示部35において、例えば、同サイズで横方向に並んで表示される。これにより、ユーザは、撮影中のスルー画像である入力画像Nと、多重露光撮影による画像である合成画像Gの両方を同時に見ることができる。ステップS228の後、処理はステップS229に進み、フレームカウントpが1だけインクリメントされた後、処理がステップS223に戻され、それ以降の処理が繰り返される。一方、上述したステップS224で、第pフレームの入力画像Nで検出された被写体のサイズが、1つ前の第p-1フレームの入力画像Nまでで検出された被写体サイズの最大値SIZEMAX以下であると判定された場合、処理はステップS232に進む。ステップS232では、第pフレームの入力画像Nで検出された被写体サイズが、保持している被写体サイズの最大値SIZEMAXの所定比率以下のサイズであるかが判定される。そして、ステップS232で、第pフレームの入力画像Nの被写体サイズが、最大値SIZEMAXの所定比率以下のサイズではないと判定された場合、処理は、上述したステップS226に進む。したがって、連発スタートフラグflgが0のときのステップS221からステップS232までの処理は、ステップS230とS231の処理を除いて、上述した図4のステップS201からステップS209までの処理と同様である。ステップS232で、第pフレームの入力画像Nの被写体サイズが、最大値SIZEMAXの所定比率以下のサイズであると判定された場合、処理はステップS233に進む。ステップS232において、最初に被写体サイズが、最大値SIZEMAXの所定比率以下のサイズであると判定される場合は、第1発目の花火が検出できなくなったときである。ステップS233において、合成処理部62は、多重露光撮影を終了するかを判定する。例えば、何発の花火を多重露光撮影するかが、処理の開始時にユーザによって指定入力されている場合、合成処理部62は、指定された花火の数だけ撮影したか否かにより、多重露光撮影を終了するかを判定する。ステップS233で、多重露光撮影を終了しないと判定された場合、処理はステップS234に進み、合成処理部62は、第pフレームの合成画像Gを保存画像Goutとしてバッファ63に保存する。1回目のステップS234の処理では、保存画像Goutは、1発目の花火の多重露光画像に相当し、2回目のステップS234の処理では、保存画像Goutは、1発目と2発目の花火を多重した多重露光画像に相当する。次に、ステップS235において、合成処理部62は、バッファ63に保持している被写体サイズの最大値SIZEMAXと合成画像Gをリセットする。そして、ステップS236において、合成処理部62は、フレームカウントpに1をセットするとともに、連発スタートフラグflgに1をセットして、処理をステップS223に戻す。ステップS236の処理によれば、例えば、第1発目、第2発目、の花火の合成処理が終了した時点で、連発スタートフラグflgに1がセットされる。処理がステップS223に戻されると、ステップS223において、被写体の領域情報が供給されたかが再び判定される。そして、例えば、第2発目の花火が被写体として検出された場合に、処理がステップS224に進む。ステップS224およびS225の処理の後、ステップS226において、連発スタートフラグflgが1であるかが判定される。連発スタートフラグflgが1となるのは、上述したように、第2発目以降の花火であり、かつ、入力画像が、被写体花火が検出された最初のフレーム第1フレームのときだけである。ステップS226で、連発スタートフラグflgが1であると判定された場合、処理はステップS230に進み、合成処理部62は、第1フレームの差分画像Dと保存画像Goutから、合成画像Gを生成する。例えば、被写体が第2発目の花火である場合には、合成処理部62は、第1発目の花火の合成画像である保存画像Goutと、第2発目の第1フレームの差分画像Dとを加算することで、第2発目の第1フレームまでの合成画像Gを生成する。また例えば、被写体が第3発目の花火である場合には、合成処理部62は、第2発目までの花火の合成画像である保存画像Goutと、第3発目の第1フレームの差分画像Dとを加算することで、第3発目の第1フレームまでの合成画像Gを生成する。そして、ステップS231において、合成処理部62は、第1フレームについての合成処理が終了したので、連発スタートフラグflgに0をセットする。その後、処理はステップS228に進み、上述した処理が繰り返される。以上のように、連続撮影する複数の花火それぞれの最初の1フレームについてのみ、図5を参照して説明した第2発目以降の第1フレームの処理に相当するステップS230とステップS231の処理が実行される。それ以外は、単発撮影の多重露光撮影処理と同様の処理が実行される。連続撮影する複数の花火それぞれについて、ステップS223ないしS233の処理が繰り返された後、ステップS233で、多重露光撮影を終了すると判定されると、処理がステップS237に進む。ステップS237において、合成処理部62は、第pフレームの合成画像Gと入力画像Nを、表示制御部34に出力するとともに、第pフレームの合成画像Gを、保存画像Goutとしてエンコード処理部36に出力する。これにより、第pフレームの合成画像Gと入力画像Nが表示部35に表示されるとともに、連発撮影による多重露光撮影の撮影結果としての保存画像Goutが、記録部37に保存されて、多重露光撮影処理が終了する。以上の連発撮影の多重露光撮影処理では、入力画像から求めた差分画像を、合成対象の所定の被写体が検出されてから検出できなくなるまで逐次加算する加算処理が、複数回繰り返される。そして、合成処理部62は、複数回繰り返される加算処理のうち、2回目以降の加算処理においては、最初に被写体が検出された入力画像から求めた差分画像と、それ以前の加算処理における加算結果である保存画像Goutを加算して、最初の合成画像Gが生成されるようにする。この連発撮影の多重露光撮影処理においても、ユーザは、撮影モードを多重露光撮影モードに変更し、撮影を開始させるだけで、合成処理部62が、被写体検出部61の検出結果に基づいて、入力画像の合成処理の開始および終了を判定し、実行する。したがって、ユーザ自身がシャッタタイミングを決定、指示する必要がなく、適切なシャッタタイミングによる多重露光画像を得ることができる。また、従来の多重露光撮影では必要とされていた暗幕やレリーズケーブルなどの道具を使用することなく撮影することも可能である。すなわち、画像合成部54の多重露光撮影処理によれば、簡単に、多重露光による画像を得ることができる。なお、上述した例では、連発撮影の多重露光撮影処理を、連続して打ち上げられる複数の花火を合成する例で説明したが、合成対象の被写体は花火に限定されるものではない。上述した連続撮影の多重露光撮影処理のステップS233において、多重露光撮影モードから通常撮影モードに撮影モードが変更されたときを、多重露光撮影の終了と判定する場合、まだ被写体検出部61により花火が検出されている状態で、ユーザが撮影モードの変更操作を行うこともあり得る。この場合、画像合成部54は、被写体検出部61により花火が検出されている間は、ステップS223ないしS233の加算処理を継続し、被写体が検出できなくなったときに、その加算処理を終了する。上述した実施の形態においては、被写体検出部61は、検出された所定の被写体のサイズのみを、被写体の領域情報として合成処理部62に出力するようにした。しかし、被写体検出部61は、被写体サイズの他に、被写体を囲んだ矩形領域の位置重心位置や中心位置を、領域情報として出力してもよい。この場合、合成処理部62は、第2フレーム以降の入力画像については、入力される入力画像から求めた差分画像全体を、逐次、フレーム加算するのではなく、被写体検出部61で検出された被写体の領域のみの差分画像を、第1フレームの入力画像に対して逐次加算させることができる。また、被写体の領域のみを加算するようにした場合には、加算した領域と、加算していない領域との境で画素値が急激に変化し、画像に違和感が生じることがある。そこで、被写体の領域のみを加算するようにした場合には、合成処理部62は、加算した領域の周辺領域の画素において、合成比率αを徐々に変更して加算するαブレンディング等の、スムージング処理を行うことができる。また、合成処理部62は、デモザイク処理部52から供給されるR,G,Bの各色成分の第pフレームの入力画像Nから求めた差分画像Dに対して所定の係数ρを乗算することにより、画素値を重み付けした差分画像D’を、1フレーム前までの合成画像Gと加算して、第pフレームの合成画像Gを生成するようにしてもよい。すなわち、合成処理部62は、R,G,Bの各色成分の入力画像Nに対して、以下の処理を実行し、合成画像Gを生成することができる。1入力画像N-合成画像G=差分画像D2差分画像D×エフェクト係数ρ=差分画像D’3合成画像G差分画像D’=合成画像Gここで、エフェクト係数ρは、R,G,Bの色成分ごとに異なり、検出された被写体の色を変化させる係数である。これにより、例えば、検出対象の花火の色を、赤色から青色に変えるようなことができる。[被写体検出部61の構成例]次に、図7を参照して、図2の被写体検出部61の構成例について説明する。図7の被写体検出部61は、被写体マップ生成部71、被写体候補領域矩形化部72、被写体領域選択部73、リファレンスマップ保持部74、マッチング処理部75、および信頼度指標算出部76から構成される。被写体マップ生成部71には、図1のイメージャ32により時間的に連続して撮像され、前処理部51乃至YC生成部55により処理された複数の入力画像が順次供給される。被写体マップ生成部71は、入力画像の各画素が有する輝度や色等の予め定められた特徴毎に、入力画像の各領域における特徴の特徴量を示す特徴量マップを生成し、リファレンスマップ保持部74およびマッチング処理部75に供給する。また、被写体マップ生成部71は、生成した特徴量マップと、信頼度指標算出部76から供給される信頼度指標とに基づいて、入力画像の各領域における被写体らしさを示す被写体マップを生成する。具体的には、被写体マップ生成部71は、互いに異なる複数の帯域空間周波数帯域について、各特徴について生成した特徴量マップから、それらの帯域成分を抽出して帯域特徴量マップを生成し、リファレンスマップ保持部74およびマッチング処理部75に供給する。この帯域特徴量マップは、入力画像の各領域における特徴の特徴量の特定帯域成分を示す特徴量マップである。換言すれば、帯域特徴量マップは、入力画像の特定の帯域成分に含まれる特徴の特徴量を示している。また、被写体マップ生成部71は、生成した特徴毎の各帯域の帯域特徴量マップについて、入力画像の各画素に対応する位置毎に、信頼度指標算出部76から供給される信頼度指標に基づいて、各帯域の帯域特徴量マップのいずれか1つの特徴量を選択する。ここで、以下においては、特徴量マップ帯域特徴量マップ、後述する合成特徴量マップを含むや被写体マップにおいて、入力画像の各画素に対応する領域位置を、単に、画素ということとする。被写体マップ生成部71は、特徴毎の各帯域の帯域特徴量マップから画素毎に選択した特徴量を、特徴量毎に、全画素について合成することにより、合成特徴量マップを生成し、リファレンスマップ保持部74およびマッチング処理部75に供給する。この合成特徴量マップは、各特徴の特徴量から求まる入力画像の各領域における被写体らしさを示す特徴量マップである。なお、ここでいう被写体とは、ユーザが入力画像を一瞥した場合に、ユーザが注目すると推定される入力画像上の物体、つまりユーザが目を向けると推定される物体をいう。したがって、被写体は必ずしも人物に限られる訳ではない。また、被写体マップ生成部71は、特徴毎の合成特徴量マップについて、画素毎に、信頼度指標算出部76から供給される信頼度指標に基づいて、合成特徴量マップのいずれか1つを選択し、全画素について合成することにより、被写体マップを生成する。被写体マップ生成部71は、生成した被写体マップを被写体候補領域矩形化部72に供給する。このようにして得られる被写体マップの各領域画素の情報値は、入力画像の各領域の被写体らしさを示している。なお、信頼度指標算出部76から供給される信頼度指標の詳細については後述する。被写体候補領域矩形化部72は、被写体マップ生成部71からの被写体マップにおいて、被写体の候補となる領域、つまり被写体らしい領域を含む矩形領域以下、被写体候補領域とも称するを求め、その矩形領域の位置を示す座標情報を生成する。また、被写体候補領域矩形化部72は、被写体マップを用いて、各被写体候補領域が有する特定の特徴の特徴量を示す領域情報を生成し、各被写体候補領域の座標情報と領域情報を被写体領域選択部73に供給する。被写体領域選択部73は、被写体候補領域矩形化部72からの座標情報および領域情報を用いて、被写体候補領域のうちの何れかを、追尾対象となる被写体が含まれる領域以下、被写体領域と称するとして選択する。被写体領域選択部73は、被写体領域の位置を示す座標情報を、制御部39およびリファレンスマップ保持部74に供給する。被写体領域選択部73から出力される座標情報により示される被写体領域は、被写体マップにおいて、最も追尾対象の被写体らしい領域である。すなわち、被写体検出部61では、被写体マップ上において、ユーザが注目すると推定される任意の被写体らしい領域が、ユーザにより指定された追尾対象の被写体の領域の候補被写体候補領域とされる。そして、それらの被写体候補領域のなかから、最も追尾対象の被写体らしい領域が、被写体領域として選択され、被写体マップ上の被写体領域と同じ位置にある入力画像の領域が、追尾対象の被写体が含まれる領域として特定される。なお、以下においては、被写体マップ上の被写体領域と同じ位置にある入力画像上の領域を、単に被写体領域とも称することとする。また、追尾対象となる被写体は、ユーザにより指定されたものに限らず、最初のフレームにおいて、被写体候補領域のうち、例えば領域の面積が最大であるなど、最も被写体らしさの評価が高いものが被写体領域とされ、その被写体領域に含まれる被写体が追尾対象とされてもよい。リファレンスマップ保持部74は、メモリ81を備えており、被写体マップ生成部71からの帯域特徴量マップおよび合成特徴量マップと、被写体領域選択部73からの座標情報とを用いてリファレンスマップを生成し、メモリ81に記録させる。具体的には、リファレンスマップ保持部74は、帯域特徴量マップにおける被写体領域と同じ位置の領域を切り出して、切り出された領域を帯域特徴量マップのリファレンスマップとする。同様に、リファレンスマップ保持部74は、合成特徴量マップにおける被写体領域と同じ位置の領域を切り出して、切り出された領域を合成特徴量マップのリファレンスマップとする。なお、以下、帯域特徴量マップおよび合成特徴量マップのリファレンスマップを、それぞれ帯域リファレンスマップ、および合成リファレンスマップとも称する。マッチング処理部75は、メモリ81に記録されたリファレンスマップを用いてマッチング処理を行い、被写体マップ生成部71からの帯域特徴量マップおよび合成特徴量マップから、リファレンスマップと最も相関の高い類似する領域を検索する。すなわち、処理対象の現フレームの帯域特徴量マップにおいて、現フレームの1つ前の前フレームの帯域リファレンスマップと最も類似する領域が検索される。また、現フレームの合成特徴量マップにおいて、前フレームの合成リファレンスマップと最も類似する領域が検索される。ここで、以下においては、現フレームの帯域特徴量マップおよび合成特徴量マップにおいて、前フレームの帯域リファレンスマップおよび合成リファレンスマップとそれぞれ最も類似する領域を、最大類似領域と称する。マッチング処理部75は、帯域特徴量マップおよび合成特徴量マップについてのマッチング処理の結果を信頼度指標算出部76に供給する。信頼度指標算出部76は、マッチング処理部75からのマッチング処理の結果に基づいて、現フレームの帯域特徴量マップおよび合成特徴量マップ上の最大類似領域を含む近傍領域における特徴量の分散の度合を算出する。信頼度指標算出部76は、現フレームの帯域特徴量マップ上の最大類似領域を含む近傍領域における特徴量の分散の度合に基づいて、現フレームの帯域特徴量マップ上の最大類似領域に被写体が含まれることの指標である信頼度指標を計算し、被写体マップ生成部71に供給する。また、信頼度指標算出部76は、現フレームの合成特徴量マップ上の最大類似領域を含む近傍領域における特徴量の分散の度合に基づいて、現フレームの合成特徴量マップ上の最大類似領域に被写体が含まれることの指標である信頼度指標を計算し、被写体マップ生成部71に供給する。なお、以下においては、適宜、現フレームの帯域特徴量マップについての信頼度指標を、帯域信頼度指標と称し、合成特徴量マップについての信頼度指標を、合成信頼度指標と称することとする。[被写体マップ生成部の構成例]次に、図8を参照して、図7の被写体マップ生成部71のより詳細な構成例について説明する。被写体マップ生成部71は、特徴量マップ生成部111、帯域特徴量マップ生成部112、帯域特徴量マップ合成部113、および合成特徴量マップ合成部114から構成される。特徴量マップ生成部111は、入力画像の各領域から、輝度や色などの特徴の特徴量を抽出して、抽出した特徴量を示す特徴量マップを生成し、帯域特徴量マップ生成部112に供給する。帯域特徴量マップ生成部112は、特徴量マップ生成部111からの各特徴量マップについて、特徴量マップから特定の帯域成分を抽出して帯域特徴量マップを生成し、帯域特徴量マップ合成部113、リファレンスマップ保持部74、およびマッチング処理部75に供給する。帯域特徴量マップは、各特徴について、帯域毎に生成される。帯域特徴量マップ合成部113は、帯域特徴量マップ生成部112からの特徴量毎の帯域特徴量マップについて、画素毎に、信頼度指標算出部76からの帯域信頼度指標に基づいて、帯域特徴量マップのいずれか1つの特徴量を選択する。帯域特徴量マップ合成部113は、選択した画素毎の特徴量を、全画素について合成する各画素の特徴量として採用することで、合成特徴量マップを生成する。すなわち、同じ特徴の帯域特徴量マップが、帯域信頼度指標に基づいて合成され、その特徴毎の合成特徴量マップとされる。帯域特徴量マップ合成部113は、特徴毎に生成した合成特徴量マップを、合成特徴量マップ合成部114、リファレンスマップ保持部74、およびマッチング処理部75に供給する。合成特徴量マップ合成部114は、帯域特徴量マップ合成部113からの合成特徴量マップについて、画素毎に、信頼度指標算出部76からの合成信頼度指標に基づいて、合成特徴量マップのいずれか1つの特徴量を選択する。合成特徴量マップ合成部114は、選択した画素毎の特徴量を、全画素について合成する各画素の特徴量として採用することで、被写体マップを生成する。合成特徴量マップ合成部114は、生成した被写体マップを被写体候補領域矩形化部72に供給する。ここで、図9および図10を参照して、図8の帯域特徴量マップ合成部113および合成特徴量マップ合成部114の詳細な構成について説明する。[帯域特徴量マップ合成部の構成例]図8の帯域特徴量マップ合成部113は、より詳細には、図9に示すように構成される。すなわち、帯域特徴量マップ合成部113は、候補マップ決定部121、マップ間最大値選択部122、および合成特徴量マップ生成部123から構成される。候補マップ決定部121は、帯域特徴量マップ生成部112からの特徴量毎の帯域特徴量マップから、信頼度指標算出部76からの帯域信頼度指標に基づいて、合成特徴量マップに合成される候補である候補マップを決定する。候補マップ決定部121は、決定した候補マップ以下、帯域候補マップとも称するを、マップ間最大値選択部122に供給する。マップ間最大値選択部122は、候補マップ決定部121から供給された帯域候補マップについて、画素毎に、帯域候補マップ間の特徴量の最大値を選択し、これを全画素について行う。合成特徴量マップ生成部123は、マップ間最大値選択部122によって選択された、各画素についての帯域候補マップ間の特徴量の最大値を、全画素について合成する各画素の特徴量として採用することで、合成特徴量マップを生成し、合成特徴量マップ合成部114、リファレンスマップ保持部74、およびマッチング処理部75に供給する。[合成特徴量マップ合成部の構成例]図8の合成特徴量マップ合成部114は、より詳細には、図10に示すように構成される。すなわち、合成特徴量マップ合成部114は、候補マップ決定部124、マップ間最大値選択部125、および被写体マップ生成部126から構成される。候補マップ決定部124は、帯域特徴量マップ合成部113からの合成特徴量マップから、信頼度指標算出部76からの合成信頼度指標に基づいて、被写体マップに合成される候補である候補マップを決定する。候補マップ決定部124は、決定した候補マップ以下、合成候補マップとも称するを、マップ間最大値選択部125に供給する。マップ間最大値選択部125は、候補マップ決定部124から供給された合成候補マップについて、画素毎に、合成候補マップ間の特徴量の最大値を選択し、これを全画素について行う。被写体マップ生成部126は、マップ間最大値選択部125によって選択された、各画素についての合成候補マップ間の特徴量の最大値を、全画素について合成する各画素の特徴量として採用することで、被写体マップを生成し、被写体候補領域矩形化部72に供給する。[被写体候補領域矩形化部の構成例]次に、図11を参照して、図7の被写体候補領域矩形化部72のより詳細な構成例について説明する。被写体候補領域矩形化部72は、2値化処理部131、ラベリング処理部132、矩形領域座標算出部133、および領域情報算出部134から構成される。2値化処理部131は、被写体マップ生成部71の合成特徴量マップ合成部114から供給された被写体マップにおける、入力画像の各画素に対応する情報を、所定の閾値に基づいて0または1の何れかの値に2値化し、ラベリング処理部132に供給する。なお、以下においては、被写体マップ、特徴量マップ、帯域特徴量マップ、および合成特徴量マップのそれぞれにおける各領域画素に対応する情報値を、適宜、画素値ということとする。例えば、被写体マップの画素の画素値は、その画素と同じ位置にある入力画像の画素領域の被写体らしさの度合を示している。特に、2値化後の被写体マップにおいては、画素値が1である画素が、被写体らしい領域であり、画素値が0である画素は、被写体ではない領域例えば、背景の領域であるとされる。つまり、2値化後の被写体マップは、入力画像における被写体らしい領域を示している。ラベリング処理部132は、2値化処理部131から供給された、2値化された被写体マップにおいて、互いに隣接する、画素値が1である画素からなる領域を連結領域とし、各連結領域に対してラベリングを行う。連結領域は、被写体領域の候補となる領域であり、例えばラベリングでは、各連結領域に対して、それらの連結領域を特定する番号が付加される。ラベリング処理部132は、ラベリングされた被写体マップを矩形領域座標算出部133に供給する。矩形領域座標算出部133は、ラベリング処理部132からの被写体マップにおいて、連結領域を含む囲む矩形領域を被写体候補領域とし、各被写体候補領域の位置を示す座標情報を領域情報算出部134に供給する。領域情報算出部134は、矩形領域座標算出部133からの座標情報と、合成特徴量マップ合成部114からの被写体マップとを用いて、被写体候補領域ごとに領域情報を生成し、各被写体候補領域の座標情報と領域情報を被写体領域選択部73に供給する。[被写体領域選択部の構成例]次に、図12を参照して、図7の被写体領域選択部73の構成例について説明する。被写体領域選択部73は、領域情報比較部151、被写体領域決定部152、および領域情報記録部153から構成される。領域情報比較部151は、領域情報算出部134から供給された、処理対象の現フレームの各被写体候補領域の領域情報と、領域情報記録部153に記録されている、現フレームの1フレーム前の被写体領域の領域情報とを比較する。また、領域情報比較部151は、各被写体候補領域についての領域情報の比較結果と、領域情報算出部134からの座標情報とを被写体領域決定部152に供給する。被写体領域決定部152は、領域情報比較部151からの比較結果に基づいて、現フレームの被写体候補領域のうち、1フレーム前の被写体領域の領域情報と最も近い領域情報を有する被写体候補領域を、現フレームの被写体領域とする。すなわち、領域情報を指標とした場合に、前フレームの被写体領域と最も相関の高い類似する被写体候補領域が、現フレームの被写体領域とされる。被写体領域決定部152は、決定した現フレームの被写体領域の座標情報を制御部39およびリファレンスマップ保持部74に供給するとともに、現フレームの被写体領域の領域情報を、領域情報記録部153に供給する。領域情報記録部153は、被写体領域決定部152からの領域情報を記録するとともに、記録している領域情報を領域情報比較部151に供給する。[被写体領域選択部の構成例]次に、図13を参照して、図7の信頼度指標算出部76の構成例について説明する。信頼度指標算出部76は、類似度算出部171、最大類似度決定部172、類似度正規化部173、先鋭度算出部174、最大先鋭度決定部175、先鋭度正規化部176、および信頼度指標計算部177から構成される。類似度算出部171は、マッチング処理部75からのマッチング処理の結果に基づいて、現フレームの各特徴量マップ帯域特徴量マップおよび合成特徴量マップ上の最大類似領域と前フレームのリファレンスマップとの類似度を算出し、最大類似度決定部172に供給する。なお、最大類似領域とリファレンスマップとの類似度は、特徴量マップ上の最大類似領域を含む近傍領域における特徴量の分散の度合を表す値の1つであるが、その算出の詳細については、図20を参照して後述する。最大類似度決定部172は、類似度算出部171からの各特徴量マップについての類似度から、最大の類似度となる最大類似度を決定し、各特徴量マップについての類似度とともに、類似度正規化部173に供給する。類似度正規化部173は、最大類似度決定部172からの最大類似度に基づいて、各特徴量マップについての類似度を正規化し、信頼度指標計算部177に供給する。先鋭度算出部174は、マッチング処理部75からのマッチング結果に基づいて、現フレームの各特徴量マップについての先鋭度を算出し、最大先鋭度決定部175に供給する。なお、特徴量マップについての先鋭度は、特徴量マップ上の最大類似領域を含む近傍領域における特徴量の分散の度合を表す値の1つであるが、その算出の詳細については、図20を参照して後述する。最大先鋭度決定部175は、先鋭度算出部174からの各特徴量マップについての先鋭度から、最大の類似度となる最大先鋭度を決定し、各特徴量マップについての先鋭度とともに、先鋭度正規化部176に供給する。先鋭度正規化部176は、最大先鋭度決定部175からの最大先鋭度に基づいて、各特徴量マップについての先鋭度を正規化し、信頼度指標計算部177に供給する。信頼度指標計算部177は、類似度正規化部173からの各特徴量マップについての正規化された類似度、および、先鋭度正規化部176からの各特徴量マップについての正規化された先鋭度に基づいて、各特徴量マップについての信頼度指標を計算し、被写体マップ生成部71に供給する。[被写体追尾処理の説明]ところで、ユーザが画像処理装置11に画像を撮像させようとする場合、ユーザは、ユーザインタフェース41を操作して、画像を撮像する処理の開始を指示する。すると、制御部39は、インタフェース制御部40を介してユーザインタフェース41から供給された制御信号に応じて、画像処理装置11の各部を動作させる。例えば、制御部39は、イメージャ32に入力画像を撮像させるとともに、デジタル信号処理部33に入力画像に対する前処理等の各種の処理を実行させ、デジタル信号処理部33から入力画像を取得する。そして、制御部39は、取得した各フレームの入力画像を、順次、インタフェース制御部40を介してユーザインタフェース41に供給し、表示させる。これにより、ユーザは、いわゆるプレビュー画像として、ユーザインタフェース41に表示された入力画像を見ながら構図を決定し、ユーザインタフェース41を操作して、静止画像等の撮像を指示することができる。このとき、ユーザは、ユーザインタフェース41としてのボタンを操作して、画像処理装置11の動作モードを、追尾すべき被写体を囲む枠が表示される被写体追尾処理モードに遷移させることができる。被写体追尾処理モードへの遷移が指示され、ユーザにより入力画像上の所定の領域が、被写体の領域として指定されると、被写体検出部61は、指定された領域の被写体を追尾する被写体追尾処理を開始し、入力画像の各フレームにおける被写体領域を特定する。そして、制御部39は、被写体検出部61から、被写体領域の位置を示す座標情報の供給を受けると、その座標情報に基づいて、被写体領域を表す枠を、ユーザインタフェース41に供給し、表示させる。これにより、ユーザインタフェース41には、入力画像とともに被写体領域の枠が表示されることになる。次に、図14のフローチャートを参照して、被写体検出部61により行なわれる被写体追尾処理について説明する。ステップS11において、被写体マップ生成部71は、被写体マップ生成処理を行って被写体マップを生成し、被写体候補領域矩形化部72に供給する。ここで、図15乃至図25を参照して、ステップS11の処理に対応する被写体マップ生成処理の詳細について説明する。図15は、被写体マップ生成処理について説明するフローチャートである。図15のステップS31において、被写体マップ生成部71の特徴量マップ生成部111は、処理対象の現フレームの入力画像から、輝度や色等の特徴毎に特徴量マップを生成し、帯域特徴量マップ生成部112に供給する。具体的には、図16に示されるように、入力画像200から、輝度に関する情報を示す輝度の特徴量マップF1、色に関する情報を示す色の特徴量マップF2乃至FK、エッジに関する情報を示すエッジの特徴量マップFK1乃至FMの合計M種類の特徴量マップが生成される。例えば、輝度の特徴量マップF1においては、入力画像の各画素から得られる輝度成分輝度信号Yが、入力画像の画素と同じ位置にある特徴量マップF1の画素の画素値とされる。つまり、輝度の特徴量マップF1は、輝度を特徴とする、入力画像の各領域の輝度値を示す特徴量マップである。また、色の特徴量マップF2乃至FKにおいては、例えば、入力画像の各画素から得られる色成分色信号R,G,Bが、入力画像の画素と同じ位置にある特徴量マップの画素の画素値とされる。この場合、K=4とされ、特徴量マップF2乃至F4のそれぞれは、入力画像の画素のR成分、G成分、およびB成分のそれぞれを特徴とする、入力画像の各領域の各色成分の画素値を示す特徴量マップとされる。さらに、エッジの特徴量マップFK1乃至FMにおいては、例えば、入力画像の各画素における0度、45度、90度、および135度の方向のエッジ強度が、入力画像の画素と同じ位置にある特徴量マップの画素の画素値とされる。この場合、4つのエッジの方向ごとに、その方向のエッジの強さを特徴とする、入力画像の各領域のエッジ強度を示す特徴量マップが生成される。なお、上述した特徴量マップについて、画素のR,G,Bの各成分の値の平均値を特徴量マップF1の特徴量としてもよいし、色差成分Cr,Cbや、Lab色空間におけるa座標成分およびb座標成分を色の特徴量マップF2乃至FKの特徴量としてもよい。また、0度、45度、90度、および135度以外の方向のエッジ強度をエッジの特徴量マップFK1乃至FMの特徴量としてもよい。ステップS32において、帯域特徴量マップ生成部112は、各特徴量マップについて、特徴量マップから特定の帯域成分を抽出して帯域特徴量マップを生成し、帯域特徴量マップ合成部113、リファレンスマップ保持部74、およびマッチング処理部75に供給する。具体的には、図16に示されるように、輝度の特徴量マップF1における輝度情報画素値から、所定の帯域1乃至帯域Nの輝度情報が抽出され、それらの帯域の輝度情報を示す帯域特徴量マップR11乃至R1Nが生成される。また、色の特徴量マップF2乃至FKにおける色情報画素値から、所定の帯域1乃至帯域Nの色情報が抽出され、それらの帯域の色情報を示す帯域特徴量マップR21乃至R2N,...,RK1乃至RKNが生成される。さらに、エッジの特徴量マップFK1乃至FMにおけるエッジ情報画素値から、所定の帯域1乃至帯域Nのエッジ情報が抽出され、それらの帯域のエッジ情報を示す帯域特徴量マップRK11乃至RK1N,...,RM1乃至RMNが生成される。このように、帯域特徴量マップ生成部112は、M×N種類の帯域特徴量マップを生成する。ここで、帯域特徴量マップ生成部112の処理の一例について説明する。例えば、帯域特徴量マップ生成部112は、特徴量マップを用いて、互いに解像度の異なる複数の特徴量マップを生成し、それらの特徴量マップをその特徴量のピラミッド画像とする。例えば、レベルL1乃至レベルL8までの8つの解像度の階層のピラミッド画像が生成され、レベルL1のピラミッド画像が最も解像度が高く、レベルL1からレベルL8まで順番にピラミッド画像の解像度が低くなるものとする。この場合、特徴量マップ生成部111により生成された特徴量マップが、レベルL1のピラミッド画像とされる。また、レベルLi但し、1≦i≦7のピラミッド画像における、互いに隣接する4つの画素の画素値の平均値が、それらの画素と対応するレベルLi1のピラミッド画像の1つの画素の画素値とされる。したがって、レベルLi1のピラミッド画像は、レベルLiのピラミッド画像に対して縦横半分割り切れない場合は切り捨ての画像となる。また、帯域特徴量マップ生成部112は、複数のピラミッド画像のうち、互いに階層の異なる2つのピラミッド画像を選択し、選択したピラミッド画像の差分を求めて各特徴量の差分画像をN枚生成する。なお、各階層のピラミッド画像は、それぞれ大きさ画素数が異なるので、差分画像の生成時には、より小さい方のピラミッド画像が、より大きいピラミッド画像に合わせてアップコンバートされる。例えば、帯域特徴量マップ生成部112は、各階層の特徴量のピラミッド画像のうち、レベルL6およびレベルL3、レベルL7およびレベルL3、レベルL7およびレベルL4、レベルL8およびレベルL4、並びにレベルL8およびレベルL5の各階層の組み合わせのピラミッド画像の差分を求める。これにより、合計5つの特徴量の差分画像が得られる。具体的には、例えば、レベルL6およびレベルL3の組み合わせの差分画像が生成される場合、レベルL6のピラミッド画像が、レベルL3のピラミッド画像の大きさに合わせてアップコンバートされる。つまり、アップコンバート前のレベルL6のピラミッド画像の1つの画素の画素値が、その画素に対応する、アップコンバート後のレベルL6のピラミッド画像の互いに隣接するいくつかの画素の画素値とされる。そして、レベルL6のピラミッド画像の画素の画素値と、その画素と同じ位置にあるレベルL3のピラミッド画像の画素の画素値との差分が求められ、その差分が差分画像の画素の画素値とされる。このようにして得られたN個の差分画像のそれぞれが、さらに必要に応じて入力画像と同じ大きさにアップコンバートされ、帯域1乃至帯域Nの帯域特徴量マップとされる。このように、差分画像を生成することで、特徴量マップにバンドパスフィルタを用いたフィルタ処理を施すように、特徴量マップから特定の帯域成分の特徴量を抽出することができる。このようにして得られた差分画像の画素の画素値は、各レベルのピラミッド画像の画素値の差、つまり入力画像における所定の画素における特徴の特徴量と、その画素の周囲の平均的な特徴量との差分を示している。例えば、特徴が輝度である場合には、差分画像帯域特徴量マップの画素値は、入力画像の所定領域の輝度と、その周囲の領域の平均的な輝度の差を示している。一般的に、画像において周囲との輝度の差分の大きい領域は、その画像を見る人の目を引く領域であるので、その領域は被写体の領域である可能性が高い。したがって、各差分画像帯域特徴量マップにおいて、より画素値の大きい画素が、より被写体の領域である可能性の高い領域であることを示しているということができる。同様に、他の特徴についても、周囲と比べて特徴量の差が大きい領域は、ユーザの目を引く領域であるので、より被写体らしい領域であるといえる。なお、以上の説明において、特徴量マップから抽出される帯域の幅は、差分画像を生成する際のピラミッド画像の各階層の組み合わせによって決まるが、この組み合わせは任意に決定される。また、所定の帯域成分の特徴量の抽出は、上述した差分画像による手法に限らず、他の手法を用いるようにしてもよい。図15のフローチャートの説明に戻り、ステップS33において、マッチング処理部75は、帯域特徴量マップ生成部112から供給された帯域特徴量マップRmn但し、1≦m≦M,1≦n≦Nと、メモリ81に記録されている帯域リファレンスマップとのマッチング処理を行う。例えば、図17に示すように、帯域特徴量マップ生成部112では、M種類の各特徴について、N個の帯域毎に、合計M×N個の帯域特徴量マップRmnが得られる。また、帯域特徴量マップ合成部113では、M種類の各特徴について、帯域特徴量マップが合成されて得られた合成特徴量マップCm但し、1≦m≦Mが得られる。そして、リファレンスマップ保持部74のメモリ81には、各合成特徴量マップCmにおける入力画像上の被写体領域CRと同じ位置の領域が、合成リファレンスマップRFCm但し、1≦m≦Mとして記録されている。また、メモリ81には、各帯域特徴量マップRmnにおける入力画像上の被写体領域CRと同じ位置の領域が、帯域リファレンスマップRFRmn但し、1≦m≦M,1≦n≦Nとして記録されている。ここで、メモリ81に記録されている帯域リファレンスマップおよび合成リファレンスマップは、処理対象の現フレームよりも1つ前のフレームの帯域特徴量マップと合成特徴量マップから得られたものである。マッチング処理部75は、帯域特徴量マップ生成部112から、現フレームの帯域特徴量マップRmnが供給されると、その帯域特徴量マップRmnから、メモリ81から読み出した前フレームの帯域リファレンスマップRFRmnと最も類似する領域を検索する。例えば、図18に示すように、マッチング処理部75は、帯域特徴量マップRmn上の処理対象となる領域ERmn但し、1≦m≦M,1≦n≦Nの位置を図中、左上から右下までずらしながら、各領域ERmnと帯域リファレンスマップRFRmnとのマッチングを行う。具体的には、マッチング処理部75は、領域ERmn内の各画素について、領域ERmnの画素の画素値と、その画素と同じ位置にある帯域リファレンスマップRFRmnの画素の画素値との差分の絶対値を求め、各画素について求めた差分絶対値の総和差分絶対値和を求める。マッチング処理部75は、帯域特徴量マップRmnの各領域ERmnのうち、帯域リファレンスマップとの差分絶対値和が最小となる領域を、最大類似領域MERmn但し、1≦m≦M,1≦n≦Nとする。そして、マッチング処理部75は、最大類似領域MERmnの位置を示す情報と、帯域特徴量マップRmnの各領域ERmnについて求めた差分絶対値和とを、マッチング処理の結果として信頼度指標算出部76に供給する。図19は、マッチング処理の結果としての、帯域特徴量マップRmnの各領域ERmnについて求めた差分絶対値和の例を示している。図19において、x軸とy軸とで構成されるxy座標平面は、帯域特徴量マップ全体の領域を表している。また、図19において、xy座標平面と垂直なz軸は、帯域特徴量マップについての差分絶対値和の大きさを表しており、z軸には0乃至6000の目盛が振られている。つまり、図19のxyz座標空間上に示される図形SADは、帯域特徴量マップRmnの各領域ERmnについて求められた差分絶対値和を示している。なお、以下においては、図形SADを差分絶対値和SADと称する。図19に示されるように、帯域特徴量マップ全体についての差分絶対値和は、約1500乃至約5800の値を示しているが、帯域特徴量マップの縁辺部では4000以上の値を示しており、中心付近では2000以下の値を示している。特に、帯域特徴量マップの中心付近の領域差分絶対値和SADの尖った部分は、差分絶対値和の最小値ピーク値を示している。すなわち、図19の差分絶対値和SADは、帯域特徴量マップの中心付近の領域が最大類似領域であることを示している。このようにして、マッチング処理の結果として、M×N個の帯域特徴量マップRmnについての差分絶対値和が求められ、また、M×N個の帯域特徴量マップRmnについて、それぞれ最大類似領域MERmnが特定される。そして、それぞれの帯域特徴量マップについての差分絶対値和と最大類似領域の位置を示す情報とが、信頼度指標算出部76に供給される。なお、マッチング処理として、差分絶対値和を利用する場合を例として説明したが、その他、差分二乗和等を利用したマッチング処理や、ヒストグラムマッチング、テンプレートマッチングなど、帯域リファレンスマップと最も類似する領域が特定できれば、どのような処理であってもよい。図15のフローチャートの説明に戻り、ステップS34において、信頼度指標算出部76は、信頼度指標算出処理を行って、現フレームの帯域特徴量マップについての信頼度指標帯域信頼度指標を算出し、被写体マップ生成部71に供給する。ここで、図20のフローチャートを参照して、ステップS34の処理に対応する信頼度指標算出処理の詳細について説明する。ステップS51において、類似度算出部171は、マッチング処理部75からのマッチング処理の結果に基づいて、現フレームのM×N個の帯域特徴量マップRmnについての最大類似領域MERmnと前フレームの帯域リファレンスマップRFRmnとの類似度LRmn但し、1≦m≦M,1≦n≦Nを算出し、最大類似度決定部172に供給する。ここで、上述で説明したように、マッチング処理において差分絶対値和を利用した場合、類似度LRmnは、図19で示された差分絶対値和SADにおける最小値ピーク値をSADminとすると、最小値SADminが小さいほど、大きくなるように与えられる。具体的には、例えば、類似度LRmnは、帯域特徴量マップの差分絶対値和の最小値の逆数1/SADminで与えられる。ステップS52において、最大類似度決定部172は、類似度算出部171からの各帯域特徴量マップについての類似度LRmnから、M種類の特徴量毎に、M個の最大類似度MLRm但し、1≦m≦Mを決定し、各帯域特徴量マップについての類似度LRmnとともに、類似度正規化部173に供給する。ステップS53において、類似度正規化部173は、最大類似度決定部172からのM種類の特徴量毎の最大類似度MLRmに基づいて、各帯域特徴量マップについての類似度LRmnを正規化し、信頼度指標計算部177に供給する。具体的には、M種類の特徴量毎に、各帯域特徴量マップについての類似度LRmnを、最大類似度MLRmで割った値LRmn/MLRmが、正規化された類似度SLRmn但し、1≦m≦M,1≦n≦Nとして、信頼度指標計算部177に供給される。なお、正規化された類似度SLRmnは、0<SLRmn≦1の値をとる。例えば、m=1の場合については、輝度の帯域特徴量マップR11乃至R1Nについての類似度LR11乃至LR1Nを、最大類似度MLR1で割った値LR11/MLR1乃至LR1N/MLR1が、N個の正規化された類似度SLR1Nとして得られる。同様の処理が、m=2,...,Mのそれぞれについて行われることで、M×N個の正規化された類似度SLRmnが求められる。なお、各帯域特徴量マップについての類似度LRmnは、最大類似度MLRmによって正規化されるようにしたが、他の代表値によって正規化されるようにしてももちろんよい。ステップS54において、先鋭度算出部174は、マッチング処理部75からのマッチング処理の結果に基づいて、現フレームのM×N個の帯域特徴量マップRmnについての先鋭度TRmn但し、1≦m≦M,1≦n≦Nを算出し、最大先鋭度決定部172に供給する。ここで、上述で説明したように、マッチング処理において差分絶対値和を利用した場合、先鋭度TRmnは、図19で示された差分絶対値和SADにおける最小値SADminと、最大類似領域を含む近傍領域の差分絶対値和の平均値SADaveとの差SADave-SADminで与えられる。この先鋭度TRmnが大きいほど、図19で示された差分絶対値和SADは、最小値をとる領域においてより尖った形状を示し、先鋭度TRmnが小さいほど、鈍った形状を示す。ステップS55において、最大先鋭度決定部172は、先鋭度算出部174からの各帯域特徴量マップについての先鋭度TRmnから、M種類の特徴量毎に、M個の最大先鋭度MTRm但し、1≦m≦Mを決定し、各帯域特徴量マップについての先鋭度TRmnとともに、先鋭度正規化部176に供給する。ステップS56において、先鋭度正規化部176は、最大先鋭度決定部175からのM種類の特徴量毎の最大先鋭度MTRmに基づいて、各帯域特徴量マップについての先鋭度TRmnを正規化し、信頼度指標計算部177に供給する。具体的には、M種類の特徴量毎に、各帯域特徴量マップについての先鋭度TRmnを、最大先鋭度MTRmで割った値TRmn/MTRmが、正規化された先鋭度STRmn但し、1≦m≦M,1≦n≦Nとして、信頼度指標計算部177に供給される。なお、正規化された先鋭度STRmnは、0<STRmn≦1の値をとる。例えば、m=1の場合については、帯域特徴量マップR11乃至R1Nについての先鋭度TR11乃至TR1Nを、最大先鋭度MTR1で割った値TR11/MTR1乃至TR1N/MTR1が、N個の正規化された先鋭度STR1Nとして得られる。同様の処理を、m=2,...,Mのそれぞれについて行うことで、M×N個の正規化された先鋭度STRmnが求められる。なお、各帯域特徴量マップについての先鋭度TRmnは、最大先鋭度MTRmによって正規化されるようにしたが、他の代表値によって正規化されるようにしてももちろんよい。ステップS57において、信頼度指標計算部177は、類似度正規化部173からの正規化された類似度SLRmn、および、先鋭度正規化部176からの正規化された先鋭度STRmnに基づいて、各帯域特徴量マップについての帯域信頼度指標smn但し、1≦m≦M,1≦n≦Nを計算する。帯域信頼度指標smnは、正規化された類似度SLmn、および、正規化された先鋭度STRmnを用いて、以下の式1のように与えられる。smn=fSLmn,TLmn1ここで、式1において、fA,Bは、値A,Bの関数であることを示している。具体的には、例えば、帯域信頼度指標smnは、以下の式2で与えられる。smn=αSLmnβTLmnn2なお、式2において、値α,βは、予め定められた値とする。式2によれば、類似度と先鋭度が大きいほど、帯域信頼度指標smnは大きい値をとる。すなわち、図19で示された差分絶対値和SADにおいて、最小値SADminが小さく、かつ、最小値をとる領域においてより尖った形状をしているほど、帯域信頼度指標smnは大きい値をとる。一方、図21に示される帯域特徴量マップの差分絶対値和SAD’において、最小値は、図19の差分絶対値和の最小値と比較して小さい値を示しているが、最小値をとる領域においては鈍った形状をしている。すなわち、類似度は大きいが、先鋭度は小さいので、帯域信頼度指標smnは小さい値となる。このようにして、M×N個の帯域特徴量マップRmnについての、M×N個の帯域信頼度指標smnが求められ、帯域信頼度指標群SRとして、被写体マップ生成部71の帯域特徴量マップ合成部113に供給される。なお、帯域信頼度指標smnを決定する値αおよびβは、M×N個の帯域特徴量マップRmn毎に同じ値とされてもよいし、特徴毎や帯域毎に異なる値とされてもよい。図15のフローチャートの説明に戻り、ステップS35において、帯域特徴量マップ合成部113は、帯域特徴量マップ合成処理を行って、図16に示されるように、帯域特徴量マップ生成部112からの帯域特徴量マップRmnから、信頼度指標算出部76からの帯域信頼度指標群SRに基づいて、合成特徴量マップCmを生成し、合成特徴量マップ合成部114、リファレンスマップ保持部74、およびマッチング処理部75に供給する。ここで、図22のフローチャートを参照して、ステップS35の処理に対応する帯域特徴量マップ合成処理の詳細について説明する。帯域特徴量マップ合成処理は、M種類の特徴量それぞれについて実行される。ステップS71において、候補マップ決定部121は、帯域特徴量マップ生成部112からの帯域特徴量マップRmnのうち、信頼度指標算出部76からの帯域信頼度指標smnが所定の閾値より大きい帯域特徴量マップを、候補マップ帯域候補マップに決定する。候補マップ決定部121は、決定した帯域候補マップをマップ間最大値選択部122に供給する。具体的には、例えば、図23に示されるように、輝度の帯域特徴量マップR11乃至R1Nのうち、帯域信頼度指標s11乃至s1Nが所定の閾値より大きい帯域特徴量マップR1j,...,R1kが帯域候補マップに決定される。ステップS72において、マップ間最大値選択部122は、候補マップ決定部121からの帯域候補マップについて、画素毎に、帯域候補マップ間の特徴量画素値の最大値を選択し、これを全画素について行う。具体的には、マップ間最大値選択部122は、図23に示された帯域候補マップR1j,...,R1kについて、各帯域候補マップにおける同一位置の画素に注目し、それぞれの画素の中から画素値が最大となる画素を選択し、これを全画素について行う。ステップS73において、合成特徴量マップ生成部123は、マップ間最大値選択部122によって選択された、各画素についての帯域候補マップ間の画素値の最大値に基づいて、合成特徴量マップを生成する。具体的には、図23に示された帯域候補マップR1j,...,R1kの画素毎の画素値の最大値が、全画素について合成される各画素の画素値として採用されることで、合成特徴量マップCmが生成され、合成特徴量マップ合成部114、リファレンスマップ保持部74、およびマッチング処理部75に供給される。このように、帯域特徴量マップ合成部113は、M種類の合成特徴量マップCmを生成する。なお、より詳細には、各合成特徴量マップは、画素の画素値が、例えば0から255までの間の値となるように正規化される。また、1回目の被写体マップ生成処理においては、帯域信頼度指標群SRの各帯域信頼度指標smnは全て1とされ、特徴量毎の各帯域特徴量マップについて、画素毎の最大値が選択される。図15のフローチャートの説明に戻り、ステップS36において、マッチング処理部75は、帯域特徴量マップ合成部113から供給された合成特徴量マップCm但し、1≦m≦Mと、メモリ81に記録されている合成リファレンスマップRFCm但し、1≦m≦Mとのマッチング処理を行う。ここで、合成特徴量マップCmのマッチング処理では、帯域特徴量マップのマッチング処理と同様の処理が行われる。すなわち、例えば、マッチング処理部75は、合成特徴量マップCm上の処理対象となる領域ECm但し、1≦m≦Mの位置をずらしながら、領域ECmと合成リファレンスマップRFCmとの画素の画素値の差分絶対値和を求める。そして、マッチング処理部75は、合成特徴量マップCmの各領域ECmのうち、合成リファレンスマップとの差分絶対値和が最小となる領域を、最大類似領域MECm但し、1≦m≦Mとする。マッチング処理部75は、最大類似領域MECmの位置を示す情報と、合成特徴量マップCmの各領域ECmについて求めた差分絶対値和とを、マッチング処理の結果として信頼度指標算出部76に供給する。ステップS37において、信頼度指標算出部76は、信頼度指標算出処理を行って、現フレームの合成特徴量マップについての信頼度指標合成信頼度指標を算出し、被写体マップ生成部71に供給する。ここで、合成特徴量マップの信頼度指標算出処理は、図20のフローチャートを参照して説明した帯域特徴量マップの信頼度指標算出処理と基本的に同様の処理が行われるので、その詳細な説明は省略する。すなわち、帯域特徴量マップの信頼度指標算出処理においては、まず、マッチング処理部75からのマッチング処理の結果に基づいて、現フレームのM個の合成特徴量マップCmについての最大類似領域MECmと前フレームのリファレンスマップとの類似度LCm但し、1≦m≦Mが算出される。次に、各合成特徴量マップについての類似度LCmから、最大類似度MLCmを決定し、これに基づいて、M個の正規化された類似度SLCmが求められる。一方、マッチング処理部75からのマッチング処理の結果に基づいて、現フレームのM個の合成特徴量マップCmについての先鋭度TCm但し、1≦m≦Mが算出される。次に、各合成特徴量マップについての先鋭度TCmから、最大先鋭度MTCmを決定し、これに基づいて、M個の正規化された先鋭度STCmが求められる。そして、正規化された類似度SLCmおよび正規化された先鋭度STCmに基づいて、各合成特徴量マップについての合成信頼度指標sm但し、1≦m≦Mが求められる。このようにして、M個の合成特徴量マップについての、M個の合成信頼度指標smが求められ、合成信頼度指標群SCとして、被写体マップ生成部71の合成特徴量マップ合成部114に供給される。ステップS38において、合成特徴量マップ合成部114は、合成特徴量マップ合成処理を行って、図16に示されるように、帯域特徴量マップ合成部113からの合成特徴量マップCmから、信頼度指標算出部76からの合成信頼度指標群SCに基づいて、被写体マップ201を生成し、被写体候補領域矩形化部72に供給する。ここで、図24のフローチャートを参照して、ステップS38の処理に対応する合成特徴量マップ合成処理の詳細について説明する。ステップS91において、候補マップ決定部124は、帯域特徴量マップ合成部113からの合成特徴量マップCmのうち、信頼度指標算出部76からの合成信頼度指標smが所定の閾値より大きい合成特徴量マップを、候補マップ合成候補マップに決定する。候補マップ決定部124は、決定した合成候補マップをマップ間最大値選択部125に供給する。具体的には、例えば、図25に示されるように、M個の合成特徴量マップC1乃至CMのうち、合成信頼度指標s1乃至sMが所定の閾値より大きい合成特徴量マップC1,C3,C4,...が合成候補マップに決定される。ステップS92において、マップ間最大値選択部125は、候補マップ決定部124からの合成候補マップについて、画素毎に、合成候補マップ間の特徴量画素値の最大値を選択し、これを全画素について行う。具体的には、マップ間最大値選択部125は、図25に示された合成候補マップC1,C3,C4,...について、各合成候補マップにおける同一位置の画素に注目し、それぞれの画素の中から画素値が最大となる画素を選択し、これを全画素について行う。ステップS93において、被写体マップ生成部126は、マップ間最大値選択部125によって選択された、各画素についての合成候補マップ間の画素値の最大値に基づいて、被写体マップを生成する。具体的には、図25に示された合成候補マップC1,C3,C4,...の画素毎の画素値の最大値が、全画素について合成される各画素の画素値として採用されることで、被写体マップ201が生成され、被写体候補領域矩形化部72に供給される。このようにして求められた被写体マップの各画素の画素値は、例えば0から255までの間の値となるように正規化されて、最終的な被写体マップとされる。なお、1回目の被写体マップ生成処理においては、合成信頼度指標群SCの各合成信頼度指標smは全て1とされ、各合成特徴量マップについて、画素毎の最大値が選択される。被写体マップが生成されると、被写体マップ生成処理は終了し、その後、処理は、図14のステップS12に進む。図14のフローチャートの説明に戻り、ステップS12において、被写体候補領域矩形化部72は、被写体候補領域矩形化処理を行って、被写体マップ生成部71から供給された被写体マップ上の被写体候補領域を決定する。ここで、図26および図27を参照して、被写体候補領域矩形化処理の詳細について説明する。図26は、被写体候補領域矩形化処理について説明するフローチャートであり、図27は、被写体候補領域矩形化処理の具体例を示す図である。図26のフローチャートのステップS151において、被写体候補領域矩形化部72の2値化処理部131は、合成特徴量マップ合成部114から供給された被写体マップの各画素の画素値を閾値処理により2値化し、ラベリング処理部132に供給する。より具体的には、2値化処理部131は、図27に示すように、0から255までの間の値である被写体マップ201の各画素の画素値に対して、例えば、閾値127より小さい値の画素値を0とし、閾値127より大きい値の画素値を1とする。これにより、図27の上から2番目に示される2値化マップ202が得られる。図27で示される2値化マップ202は、2値化された被写体マップであり、2値化マップ202においては、白で示される部分が、画素値が1である画素を示しており、黒で示される部分が、画素値が0である画素を示している。なお、ここでは、閾値を127であるものとしたが、他の値であってもよい。ステップS152において、ラベリング処理部132は、2値化処理部131からの2値化マップ202に対してモルフォロジー演算等を行って、2値化マップ202上の被写体の領域を矩形化し、得られた連結領域に対してラベリングを行う。すなわち、ラベリング処理部132は、2値化マップ2022値化された被写体マップにおいて、互いに隣接する、画素値が1である画素からなる連結領域に対してラベリングを行う。例えば、図27の上から3番目に示されるように、2値化マップ202上の連結領域211にラベル1が付加され、連結領域212にラベル2が付加される。ラベリング処理部132は、ラベリングされた2値化マップ被写体マップを、矩形領域座標算出部133に供給する。ステップS153において、矩形領域座標算出部133は、ラベリング処理部132から供給された2値化マップ202上の各連結領域を囲む矩形領域を被写体候補領域とし、被写体候補領域の位置を示す座標情報を生成する。具体的には、図27の上から4番目に示されるように、2値化マップ202において、ラベル1が付加された連結領域211を外側から囲む矩形枠外接枠221が検出され、被写体候補領域とされる。そして、例えば、その被写体候補領域の図中、左上および右下の頂点の座標が求められ、その座標が座標情報とされる。また、ラベル2が付加された連結領域212を外側から囲む矩形枠222が検出されて被写体候補領域とされ、その被写体候補領域の図中、左上および右下の頂点の座標が座標情報として生成される。矩形領域座標算出部133は、各被写体候補領域の座標情報を生成すると、それらの座標情報を領域情報算出部134に供給する。ステップS154において、領域情報算出部134は、矩形領域座標算出部133からの座標情報と、合成特徴量マップ合成部114からの被写体マップとを用いて、各被写体候補領域の領域情報を算出する。例えば、領域情報算出部134は、被写体候補領域のサイズ大きさや、被写体マップにおける被写体候補領域の中心位置の座標を領域情報として算出する。また、領域情報算出部134は、被写体マップ上の被写体候補領域内の画素の画素値の積分値総和や、被写体マップ上の被写体候補領域内の画素の画素値のピーク値最大値を、領域情報として算出する。領域情報算出部134は、各被写体候補領域について領域情報を算出すると、得られた各被写体候補領域の領域情報と座標情報を被写体領域選択部73に供給し、被写体候補領域矩形化処理は終了する。そして、その後、処理は、図14のステップS13へと進む。図14のフローチャートの説明に戻り、ステップS13において、被写体領域選択部73は、被写体領域選択処理を行って、被写体候補領域のなかから被写体領域とするものを選択する。ここで、図28のフローチャートを参照して、ステップS13の被写体領域選択処理の詳細について説明する。ステップS171において、領域情報比較部151は、領域情報算出部134からの各被写体候補領域の領域情報と、領域情報記録部153に記録されている1フレーム前の被写体領域の領域情報とを比較する。そして、領域情報比較部151は、その比較結果と、領域情報算出部134からの各被写体候補領域の座標情報とを、被写体領域決定部152に供給する。具体的には、例えば、領域情報として、被写体候補領域のサイズが算出された場合、領域情報比較部151は、各被写体候補領域のサイズ、つまり被写体候補領域を囲む矩形枠の大きさと、1フレーム前の被写体領域のサイズとを比較する。この場合、例えば、被写体候補領域のサイズと、被写体領域のサイズの差の絶対値が比較結果として得られる。また、例えば、領域情報として、被写体候補領域の中心位置の座標が求められ、その中心位置の座標と、1フレーム前の被写体領域の中心位置の座標が比較された場合、それらの中心位置間の距離が、比較結果として得られる。さらに、領域情報として、被写体候補領域内の画素の画素値のピーク値や積分値が求められた場合には、それらの被写体候補領域のピーク値や積分値と、1フレーム前の被写体領域のピーク値や積分値との差の絶対値が、比較の結果として得られることになる。ステップS172において、被写体領域決定部152は、領域情報比較部151からの比較結果に基づいて、被写体候補領域の何れかを、処理対象の現フレームにおける被写体領域として選択する。すなわち、特定の特徴、つまり領域情報を指標とした場合に、現フレームの被写体候補領域のうち、前フレームの被写体領域との相関が最も高い被写体候補領域が、現フレームの被写体領域とされる。具体的には、例えば、比較の結果として得られた、被写体領域に対する被写体候補領域のサイズの差、中心位置間の距離、ピーク値の差、積分値の差などの領域情報の差の絶対値が最も小さい被写体候補領域が、被写体領域として選択される。また、被写体領域決定部152は、現フレームの被写体領域を決定すると、決定された被写体領域の領域情報を、合成処理部62に供給する。さらに、被写体領域決定部152は、その被写体領域の領域情報を領域情報記録部153に供給して記録させ、被写体領域選択処理は終了する。そして、その後、処理は図14のステップS14に進む。なお、1回目の被写体領域選択処理においては、領域情報記録部153には、1フレーム前の被写体領域の領域情報は記録されていないので、例えば、被写体追尾処理の開始時にユーザによって選択された初期選択領域に最も近い被写体候補領域が被写体領域とされる。図14のフローチャートの説明に戻り、ステップS14において、リファレンスマップ保持部74は、帯域特徴量マップ生成部112から供給された帯域特徴量マップと、被写体領域決定部152からの被写体領域の座標情報とを用いて、帯域リファレンスマップを生成する。具体的には、リファレンスマップ保持部74は、図17を参照して説明したように、現フレームの帯域特徴量マップRmnにおける入力画像上の被写体領域と同じ領域を切り出して、帯域リファレンスマップRFRmn但し、1≦m≦M,1≦n≦Nとする。リファレンスマップ保持部74は、生成した帯域リファレンスマップをメモリ81に供給し、記録させる。この帯域リファレンスマップは、次フレームの帯域信頼度指標の算出に用いられる。ステップS15において、リファレンスマップ保持部74は、帯域特徴量マップ合成部113から供給された合成特徴量マップと、被写体領域決定部152からの被写体領域の座標情報とを用いて、合成リファレンスマップを生成する。すなわち、帯域リファレンスマップの生成と同様に、リファレンスマップ保持部74は、現フレームの合成特徴量マップCmにおける入力画像上の被写体領域と同じ領域を切り出して、合成リファレンスマップRFCm但し、1≦m≦Mとする。リファレンスマップ保持部74は、生成した合成リファレンスマップをメモリ81に供給し、記録させる。この合成リファレンスマップは、次フレームの合成信頼度指標の算出に用いられる。ステップS15において、合成リファレンスマップが生成されると、その後、処理はステップS11に戻り、上述した処理が繰り返される。すなわち、次のフレームについての被写体追尾処理が実行され、この処理が1フレームごとに繰り返される。以上の処理によれば、フレーム毎に、そのフレームの各特徴量マップについて、それらのマップにおける前フレームの被写体領域と相関の高い領域が検出され、その検出結果に応じて、マップについての信頼度指標が算出され、信頼度指標の大きい特徴量マップの画素毎の最大値から被写体マップが生成される。この被写体マップを用いた被写体の検出では、直前のフレームの被写体領域とより相関の高い領域が、適応的に重要視され続ける。そのため、被写体に照射される光が変化する場合や、被写体の姿勢が変化する場合など、被写体の状態が変動するような環境下でも、最初に指定された領域の特徴量を用いて追尾を行う従来の手法と比べて、被写体をより安定して追尾することができる。しかも、被写体マップは、入力画像から抽出された複数の特徴の特徴量から生成されるため、いくつかの特徴の特徴量が大きく変化しても、他の特徴の特徴量の変化が小さければ、十分な精度で被写体を検出することができ、安定した追尾が可能となる。また、被写体領域は、被写体全体を含むように決定されるので、被写体の一部の領域の状態が変動するような環境下でも、被写体をより安定して追尾することができる。特に、従来の被写体追尾の手法において、被写体領域内の何れかの座標またはその座標を含む一部領域が同定されるような場合では、被写体全体を追尾することができず、AFAutoFocusやAEAutoExposure、ACCAutoColorControlの検波枠を正しく設定することができなかった。また、被写体領域内で特徴量が同一である同一特徴量領域が同定されるような場合では、上述の場合よりは検波枠を設定する精度を上げることができるが、同一特徴量領域は、被写体領域のごく一部に過ぎないことが多く、充分な検波精度は得られなかった。一方、上述の被写体追尾処理によれば、被写体全体を含む被写体領域を同定できるので、検波精度を上げることができ、ひいては、追尾結果を様々なアプリケーションに適用することが可能となる。また、従来の被写体追尾の手法には、例えば、人間の全体像を学習により辞書に登録する等して、人間を検出追尾するものもあるが、辞書に登録された人間以外の被写体を追尾することはできない。さらに、辞書に登録される情報画像の量は膨大な量となるため、装置規模が大きくなってしまう。これに対して、上述の被写体追尾処理によれば、任意の被写体を検出追尾することができる上に、辞書等に膨大な量の情報を登録する必要がないので、装置規模をコンパクトにすることができる。また、例えば、被写体マップ生成処理の帯域特徴量マップ生成処理において生成された特定の帯域の帯域特徴量マップが、単純な線形結合によって合成されるようにした場合、帯域特徴量マップにおいて、元々減衰されやすい被写体の直流付近の成分すなわち、テクスチャの少ない領域の特徴量は、単純な線形結合によってさらに減衰されてしまう。この場合、比較的単純な形状の被写体ほど、その被写体領域の特に中心付近で、特徴量のレベルが出にくい状態に陥りやすく、後段の被写体候補領域矩形化処理の2値化処理において、正確な連結領域が得られなくなるという悪影響を及ぼす恐れがある。しかしながら、この被写体追尾処理では、特徴量マップ間の画素のいずれか1つを選択することで、被写体マップを生成するようにしたので、被写体マップの被写体領域において、何らかの特徴量を得ることができる。したがって、比較的単純な形状の被写体であっても、被写体部分で特徴量が出にくい状態を避けることができるので、2値化処理において、正確な連結領域を特定することができ、ひいては、安定した被写体の追尾が可能となる。さらに、上述の被写体追尾処理においては、特徴量マップにおける前フレームの被写体領域と相関の高い領域最大類似領域を検出し、その検出結果に応じて、特徴量マップについての信頼度指標を求め、この信頼度指標が所定の閾値より大きい特徴量マップ候補マップから被写体マップを生成するようにしたので、信頼度指標が所定の閾値より小さい、すなわち、前フレームの被写体領域と相関の低い特徴量マップを、被写体マップ生成処理から除くことができる。したがって、実際の被写体領域とは異なる領域を被写体領域としてしまう可能性を下げることができ、より正確に被写体を特定することが可能となる。また、帯域特徴量マップ合成処理や合成特徴量マップ合成処理において、各特徴量マップについての信頼度指標に対して閾値処理を行うことで、候補マップを決定するようにしたが、信頼度指標に対する閾値処理を、各特徴量マップの画素単位に行うようにして、合成特徴量マップまたは被写体マップに合成される候補である候補画素を決定するようにしてもよい。この場合、処理対象の画素が、特徴量マップ上の最大類似領域に含まれるか否かによって閾値を変えるようにする。具体的には、最大類似領域に含まれない画素については、閾値を高く設定することで、信頼度指標が比較的高い特徴量マップの画素であっても、その画素は、被写体領域である可能性が低いので、その画素を候補画素から除くことができる。一方、最大類似領域に含まれる画素については、閾値を低く設定することで、信頼度指標が比較的低い特徴量マップの画素であっても、その画素は、被写体領域である可能性が高いので、その画素を候補画素として採用することができる。このようにして、決定された候補画素から、画素毎の最大値が選択され、最大値となる画素に基づいて合成特徴量マップまたは被写体マップが生成される。これにより、実際の被写体領域とは異なる領域を被写体領域としてしまう可能性をより確実に下げることができ、より一層正確に被写体を特定することが可能となる。さらに、帯域特徴量マップ合成処理や合成特徴量マップ合成処理においては、候補マップについて、画素毎に、候補マップ間の特徴量の最大値を選択するようにしたが、最大値に限らず、候補マップ間の画素毎の特徴量において2番目に大きい値や中央値medianなどを選択するようにしてもよい。これにより、被写体領域でないにもかかわらず、外乱により局所的に大きい特徴量を有する画素を除くことができる。なお、上述した説明においては、特徴量として、輝度成分、色成分、およびエッジ強度を用いるものとしたが、これに限らず、例えば、動き情報等を加えるようにしてもよい。また、用いられる特徴量は、例えば、輝度成分と色成分のような、相補的な関係にあるものが好適であり、適宜、選択されるようにしてもよい。また、以上においては、M×N個の帯域特徴量マップ、およびM個の合成特徴量マップのそれぞれについて、信頼度指標を算出するようにしたが、一部のマップ信頼度指標のみを、適宜算出するようにしてもよい。例えば、合成特徴量マップC1乃至CMのM個の合成特徴量マップの合成信頼度指標のみを算出するようにしてもよい。このような場合、画像処理装置11における演算量を抑えることができる。さらに、以上においては、特徴量マップの差分絶対値和から類似度および先鋭度を算出し、これらに基づいて信頼度指標を算出するようにしたが、マッチング処理において差分絶対値和を利用しない場合には、そのマッチング処理の結果に基づいて、所定の統計学的手法を用いることで、処理対象フレームの特徴量マップ上の最大類似領域の近傍における特徴量の分散の度合を求め、分散の度合が小さいほど大きい値の信頼度指標を算出するようにしてもよい。さらに、処理対象の現フレームにおいて、前フレームの被写体領域を含む所定の大きさの領域のみを処理対象領域として、帯域特徴量マップや合成特徴量マップのマッチング処理を行うようにしてもよい。そのような場合、処理対象領域の大きさや位置を、前フレームにおける追尾すべき被写体のサイズ大きさや、被写体の移動速度に応じて変化させれば、より効率よく、かつより確実に相関の高い領域を検出することができる。上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。図29は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。コンピュータにおいて、CPUCentralProcessingUnit301,ROMReadOnlyMemory302,RAMRandomAccessMemory303は、バス304により相互に接続されている。バス304には、さらに、入出力インタフェース305が接続されている。入出力インタフェース305には、キーボード、マウス、マイクロホンなどよりなる入力部306、ディスプレイ、スピーカなどよりなる出力部307、ハードディスクや不揮発性のメモリなどよりなる記録部308、ネットワークインタフェースなどよりなる通信部309、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア311を駆動するドライブ310が接続されている。以上のように構成されるコンピュータでは、CPU301が、例えば、記録部308に記録されているプログラムを、入出力インタフェース305及びバス304を介して、RAM303にロードして実行することにより、上述した一連の処理が行われる。コンピュータCPU301が実行するプログラムは、例えば、磁気ディスクフレキシブルディスクを含む、光ディスクCDROMDVD等、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア311に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。そして、プログラムは、リムーバブルメディア311をドライブ310に装着することにより、入出力インタフェース305を介して、記録部308にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部309で受信し、記録部308にインストールすることができる。その他、プログラムは、ROM302や記録部308に、あらかじめインストールしておくことができる。なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。なお、本技術は以下のような構成も取ることができる。1入力画像に含まれる被写体の領域を含む画素の加算を行う合成処理を行い、前記入力画像の前記被写体を検出する前記被写体検出部における検出結果に基づいて、前記合成処理を終了する合成処理部を備える画像処理装置。2前記被写体のサイズを検出する前記被写体検出部をさらに備え、前記合成処理部は、前記被写体のサイズに基づいて、前記合成処理を終了する前記1に記載の画像処理装置。3前記合成処理部は、前記被写体検出部で検出される前記サイズの最大値を保持し、前記被写体検出部で検出される前記サイズが、保持している前記サイズの最大値の所定の比率になったときを判定して、前記合成処理を終了する前記2に記載の画像処理装置。4前記合成処理部は、前記合成処理として、前記入力画像から求めた前記被写体の差分画像を、前記合成処理を終了するまで逐次加算する加算処理を複数回繰り返す処理を行い、その複数回の前記加算処理のうち、2回目以降の各加算処理においては、最初に前記被写体が検出された前記入力画像から求めた前記差分画像を、それ以前の加算処理における加算結果の画像と加算する前記3に記載の画像処理装置。5前記被写体検出部は、前記入力画像内の前記被写体の位置も検出し、前記合成処理部は、前記被写体の領域の画素を加算するとともに、前記被写体の領域の周辺の画素に対しては、スムージング処理を行う前記2乃至4のいずれかに記載の画像処理装置。6前記合成処理部は、前記入力画像のうちの前記被写体の領域の画素に対して、所定の係数による重み付け加算を行う前記5に記載の画像処理装置。7前記所定の係数は、検出された前記被写体の色を変化させる係数である前記6に記載の画像処理装置。8前記入力画像と、それを前記合成処理部で合成処理した後の画像とを同時に表示するように制御する表示制御部をさらに備える前記1乃至7のいずれかに記載の画像処理装置。9入力画像の少なくとも一部の領域を合成処理する合成処理部を備える画像処理装置が、前記入力画像に含まれる被写体の領域を含む画素の加算を行う合成処理を行い、前記入力画像の前記被写体を検出する前記被写体検出処理における検出結果に基づいて、前記合成処理を終了するステップを含む画像処理方法。10コンピュータに、入力画像に含まれる被写体の領域を含む画素の加算を行う合成処理を行い、前記入力画像の前記被写体を検出する前記被写体検出処理における検出結果に基づいて、前記合成処理を終了する処理をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。"