"画像データ内の追尾対象領域において被写体を追尾する被写体追尾装置であって、第1の画像データ内の追尾対象領域における特徴色を決定する決定手段と、前記第1の画像データにおける追尾対象領域から輝度信号を抽出することにより前記第1の画像データの第1の輝度画像データを生成するとともに、前記第1の画像データの後に撮像された第2の画像データから輝度信号を抽出することにより前記第2の画像データの第1の輝度画像データを生成する第1の生成手段と、前記第1の画像データの第1の輝度画像データに対する前記第2の画像データの第1の輝度画像データの相関量を演算する第1の演算手段と、前記第2の画像データの第1の輝度画像データから所定の条件を満たす相関量を有する領域を抽出する第1の抽出手段と、前記第1の画像データ内の追尾対象領域における前記特徴色に対応する領域に所定の輝度値を設定することにより前記第1の画像データの第2の輝度画像データを生成するとともに、前記第2の画像データにおける前記特徴色に対応する領域に所定の輝度値を設定することにより前記第2の画像データの第2の輝度画像データを生成する第2の生成手段と、前記第1の画像データの第2の輝度画像データに対する前記第2の画像データの第2の輝度画像データの相関量を演算する第2の演算手段と、前記第2の画像データの第2の輝度画像データから所定の条件を満たす相関量を有する領域を抽出する第2の抽出手段と、前記第1の演算手段により演算された相関量と前記第2の演算手段により演算された相関量とに基づいて、前記第1の抽出手段により抽出された領域と前記第2の抽出手段により抽出された領域とのうちの何れか一方を前記第2の画像データにおける追尾対象領域として選択する選択手段とを有することを特徴とする被写体追尾装置。前記決定手段は、前記第1の画像データ内の追尾対象領域における各画素の色情報に基づいて、前記各画素の色相を決定する色相決定手段と、前記色相決定手段により決定された前記各画素の色相に基づいて、前記各画素を所定の分類単位に分類する分類手段と、前記分類手段により前記各画素が分類された結果、所定の条件を満たすようになった分類単位に対応する色相を、前記特徴色として決定する特徴色決定手段とを有することを特徴とする請求項1に記載の被写体追尾装置。前記分類手段により分類された画素の数に基づいて、分類単位毎の特徴度を示すヒストグラムを生成するヒストグラム生成手段を更に有し、前記特徴色決定手段は、前記ヒストグラムで示される特徴度が所定の条件を満たす分類単位に対応する色相を前記特徴色として決定することを特徴とする請求項2に記載の被写体追尾装置。前記ヒストグラム生成手段は、前記第1の画像データ内の追尾対象領域の中心から前記各画素までの距離に基づいて、前記分類単位毎の特徴度を設定することを特徴とする請求項3に記載の被写体追尾装置。前記ヒストグラム生成手段は、前記ヒストグラムを生成した時点に基づいて、前記分類単位毎の特徴度を設定することを特徴とする請求項3又は4に記載の被写体追尾装置。前記ヒストグラム生成手段は、前記第1の演算手段により演算された相関量に基づいて、前記分類単位毎の特徴度を設定することを特徴とする請求項3乃至5の何れか1項に記載の被写体追尾装置。前記ヒストグラム生成手段により生成された複数の前記ヒストグラムを合成する合成手段を更に有し、前記特徴色決定手段は、前記合成手段により合成されたヒストグラムに示される特徴度が所定の条件を満たす分類単位に対応する色相を前記特徴色として決定することを特徴とする請求項3乃至6の何れか1項に記載の被写体追尾装置。前記第2の生成手段は、前記ヒストグラムに設定される前記特徴色の特徴度に基づいて算出される前記所定の輝度値を、前記第2の画像データにおける前記特徴色に対応する領域に設定することを特徴とする請求項3乃至7の何れか1項に記載の被写体追尾装置。前記選択手段は、前記第1の演算手段により演算される相関量が所定の閾値より大きい値である場合、前記第1の抽出手段により抽出された領域を前記第2の画像データにおける追尾対象領域として選択し、前記第1の演算手段により演算される相関量が前記所定の閾値以下である場合、前記第2の抽出手段により抽出された領域を前記第2の画像データにおける追尾対象領域として選択することを特徴とする請求項1乃至8の何れか1項に記載の被写体追尾装置。画像データ内の追尾対象領域において被写体を追尾する被写体追尾装置によって実行させる被写体追尾方法であって、第1の画像データ内の追尾対象領域における特徴色を決定する決定ステップと、前記第1の画像データにおける追尾対象領域から輝度信号を抽出することにより前記第1の画像データの第1の輝度画像データを生成するとともに、前記第1の画像データの後に撮像された第2の画像データから輝度信号を抽出することにより前記第2の画像データの第1の輝度画像データを生成する第1の生成ステップと、前記第1の画像データの第1の輝度画像データに対する前記第2の画像データの第1の輝度画像データの相関量を演算する第1の演算ステップと、前記第2の画像データの第1の輝度画像データから所定の条件を満たす相関量を有する領域を抽出する第1の抽出ステップと、前記第1の画像データ内の追尾対象領域における前記特徴色に対応する領域に所定の輝度値を設定することにより前記第1の画像データの第2の輝度画像データを生成するとともに、前記第2の画像データにおける前記特徴色に対応する領域に所定の輝度値を設定することにより前記第2の画像データの第2の輝度画像データを生成する第2の生成ステップと、前記第1の画像データの第2の輝度画像データに対する前記第2の画像データの第2の輝度画像データの相関量を演算する第2の演算ステップと、前記第2の画像データの第2の輝度画像データから所定の条件を満たす相関量を有する領域を抽出する第2の抽出ステップと、前記第1の演算ステップにより演算された相関量と前記第2の演算ステップにより演算された相関量とに基づいて、前記第1の抽出ステップにより抽出された領域と前記第2の抽出ステップにより抽出された領域とのうちの何れか一方を前記第2の画像データにおける追尾対象領域として選択する選択ステップとを有することを特徴とする被写体追尾方法。画像データ内の追尾対象領域において被写体を追尾する被写体追尾装置によって実行させる被写体追尾方法をコンピュータに実行させるためのプログラムであって、第1の画像データ内の追尾対象領域における特徴色を決定する決定ステップと、前記第1の画像データにおける追尾対象領域から輝度信号を抽出することにより前記第1の画像データの第1の輝度画像データを生成するとともに、前記第1の画像データの後に撮像された第2の画像データから輝度信号を抽出することにより前記第2の画像データの第1の輝度画像データを生成する第1の生成ステップと、前記第1の画像データの第1の輝度画像データに対する前記第2の画像データの第1の輝度画像データの相関量を演算する第1の演算ステップと、前記第2の画像データの第1の輝度画像データから所定の条件を満たす相関量を有する領域を抽出する第1の抽出ステップと、前記第1の画像データ内の追尾対象領域における前記特徴色に対応する領域に所定の輝度値を設定することにより前記第1の画像データの第2の輝度画像データを生成するとともに、前記第2の画像データにおける前記特徴色に対応する領域に所定の輝度値を設定することにより前記第2の画像データの第2の輝度画像データを生成する第2の生成ステップと、前記第1の画像データの第2の輝度画像データに対する前記第2の画像データの第2の輝度画像データの相関量を演算する第2の演算ステップと、前記第2の画像データの第2の輝度画像データから所定の条件を満たす相関量を有する領域を抽出する第2の抽出ステップと、前記第1の演算ステップにより演算された相関量と前記第2の演算ステップにより演算された相関量とに基づいて、前記第1の抽出ステップにより抽出された領域と前記第2の抽出ステップにより抽出された領域とのうちの何れか一方を前記第2の画像データにおける追尾対象領域として選択する選択ステップとをコンピュータに実行させるためのプログラム。特許文献1に開示される技術では、追尾に利用する特徴色を1色のみ抽出し、特徴色に基づいて画像データ中の探索領域を2値化して追尾を行っている。従って、主被写体が複数の色で構成されるシーンでは、特徴色として抽出できる部分が少なくなるため、ノイズや外乱の影響を受けやすくなる。また、2値化したデータを用いてマッチングを行っているため、精度が荒く、加えて階調や色調の変化が小さいシーンにおいて追尾精度を確保することができないといった問題がある。色ではなく輝度を用いる場合にも、特徴的な輝度を利用して2値化を行っているため、同様の問題が発生する。そこで、本発明の目的は、被写体を精度よく追尾することにある。本発明の被写体追尾装置は、画像データ内の追尾対象領域において被写体を追尾する被写体追尾装置であって、第1の画像データ内の追尾対象領域における特徴色を決定する決定手段と、前記第1の画像データにおける追尾対象領域から輝度信号を抽出することにより前記第1の画像データの第1の輝度画像データを生成するとともに、前記第1の画像データの後に撮像された第2の画像データから輝度信号を抽出することにより前記第2の画像データの第1の輝度画像データを生成する第1の生成手段と、前記第1の画像データの第1の輝度画像データに対する前記第2の画像データの第1の輝度画像データの相関量を演算する第1の演算手段と、前記第2の画像データの第1の輝度画像データから所定の条件を満たす相関量を有する領域を抽出する第1の抽出手段と、前記第1の画像データ内の追尾対象領域における前記特徴色に対応する領域に所定の輝度値を設定することにより前記第1の画像データの第2の輝度画像データを生成するとともに、前記第2の画像データにおける前記特徴色に対応する領域に所定の輝度値を設定することにより前記第2の画像データの第2の輝度画像データを生成する第2の生成手段と、前記第1の画像データの第2の輝度画像データに対する前記第2の画像データの第2の輝度画像データの相関量を演算する第2の演算手段と、前記第2の画像データの第2の輝度画像データから所定の条件を満たす相関量を有する領域を抽出する第2の抽出手段と、前記第1の演算手段により演算された相関量と前記第2の演算手段により演算された相関量とに基づいて、前記第1の抽出手段により抽出された領域と前記第2の抽出手段により抽出された領域とのうちの何れか一方を前記第2の画像データにおける追尾対象領域として選択する選択手段とを有することを特徴とする。本発明によれば、被写体を精度よく追尾することが可能となる。以下、本発明を適用した好適な実施形態を、添付図面を参照しながら詳細に説明する。図1は、本発明の実施形態に係る撮像装置の主要構成を示す図である。図1に示すように、撮像装置112は、被写体追尾部100、撮像素子108、撮像光学系操作部109、操作部110及び表示部111を備える。被写体追尾部100は、画像取得部101、画像記憶部102、システム制御部103、画像変換処理部104、相関演算部105及び追尾情報記憶部106を備える。なお、被写体追尾部100は、被写体追尾装置の適用例となる構成である。画像取得部101は、撮像素子108から画像信号を取得し、A/D変換を行った後にYUV形式の画像データに変換し、画像記憶部102に対して出力する。ここで、本実施形態で用いるYUV形式の画像データは、輝度信号であるY信号0~255の値をとると色差信号であるUV信号-128~127の値をとるとを持つ。画像記憶部102は、画像取得部101から出力された画像データを記憶する。システム制御部103は、撮像装置112を統括制御する。画像変換処理部104は、画像記憶部102から画像データを読み出して画像処理を行うことにより2枚の輝度画像データを生成する。相関演算部105は、画像変換処理部104によって生成された2枚の輝度画像データのうち、一方の輝度画像データをテンプレート画像データとし、他方の輝度画像データ内において上記一方の輝度画像データと最も相関量が高い領域を探索する。追尾情報記憶部106は、被写体位置、相関量といった追尾処理用のデータを記憶する。なお、画像取得部101、システム制御部103、画像変換処理部104及び相関演算部105は、マイクロコンピュータがROMに記憶されるコンピュータプログラムを実行することにより実現される機能的な構成である。また、画像記憶部102及び追尾情報記憶部106は、RAMの一部記憶領域に対応する構成である。撮像素子108は、受光面上に結像された像による光信号を、対応する位置の受光画素毎に電気信号に変換する光電変換素子である。撮像光学系操作部109は、絞りの開口径を変化させたり、フォーカスレンズの移動制御を行ったりする。操作部110は、レリーズボタンを有し、ユーザからの操作を受け付ける。表示部111は、撮像装置112の設定状況を表示したり、撮影後に生成されたサムネイル画像データを表示する。なお、本実施形態に係る撮像装置112は、静止画像データ及び動画像データの何れも撮像することができる。以下では、上述した被写体追尾部100において任意の対象物を追尾する処理の一例について説明する。図2は、被写体追尾部100における対象物の追尾処理を示すフローチャートである。なお、図2に示す対象物の追尾処理は、操作部110におけるレリーズボタンが半押しされることにより開始される。対象物の追尾処理が開始されると、ステップS201において、画像取得部101は、撮像素子108から画像信号を取得し、A/D変換を行った後、YUV形式の画像データに変換して画像記憶部102に対して出力し、記憶させる。ステップS202において、システム制御部103は、画像記憶部102からm枚目m=1、2、の画像データを読み出す。そして、システム制御部103は、m枚目の画像データ第1の画像データから追尾対象領域に該当する部分を抽出し、テンプレート画像データを生成する。ここで、追尾開始位置は画像データの中心とし、追尾対象領域の大きさは、追尾情報記憶部106に設定してある数値LTx,LTyとする。追尾対象領域に該当する画像データの抽出が完了すると、システム制御部103は、当該画像データをテンプレート画像データとして追尾情報記憶部106に対して出力し、記憶させる。ステップS203において、システム制御部103は、テンプレート画像データにおける特徴色を決定する。特徴色の決定には、図3に示す色相空間とヒストグラムとが用いられる。図3aに示す色相空間301は、色相環で構成される空間であり、部分色相空間302は、色相空間301を12等分した空間である。部分色相空間302はそれぞれ、Red、Red-Yellow、Yellow、Yellow-Green、Green、Green-Cyan、Cyan、Cyan-Blue、Blue、Blue-Magenta、Magenta、Magenta-Redの色相の領域を持ち、これらが特徴色の候補となる。本実施形態において、部分色相空間302は、色相空間301を12等分したものとしたが、各部分色相空間302の大きさは均等でなくてもよいし、部分色相空間302の数もテンプレート画像データ内の色の分布等によって数を変更してもよい。図3bに示すヒストグラム303は、テンプレート画像データの各画素を色差成分色情報に基づいて、分類単位である部分色相空間302に分類し、横軸を各部分色相空間302、縦軸をそれぞれの部分色相空間302に分類された画素の数に後述する補正値をかけて作成される。ここで、ヒストグラム303の縦軸の数値を、その部分色相空間302に対応する色の特徴度とする。但し、画素の色差成分が閾値以下であれば、無彩色空間MTMonotoneに分類し、部分色相空間302に属さない画素として扱う。なお、ヒストグラム生成処理については図8を用いて詳細に説明する。また、色差成分に基づいて各画素を部分色相空間302に分類する処理は、色相決定手段の処理例である。システム制御部103は、特徴色とヒストグラムとを追尾情報記憶部106に対して出力し、記憶させる。ここで特徴色はヒストグラムの上位3色であり、特徴度の高い順に第1の特徴色~第3の特徴色が決定される。ヒストグラムの上位何色を特徴色とするかについては、上記のような固定値を用いたり、ある所定値以上の特徴度を持つ色相は全て特徴色としたり、特徴度の合計値が所定値に達するまで特徴色を選択するようにしてもよい。このように特徴色を決定する条件は任意である。ステップS204において、システム制御部103は、m1枚目の画像データ第2の画像データが画像記憶部102に記憶されるのを待ち、記憶されると、当該m1枚目の画像データを読み出す。ステップS205において、システム制御部103は、m1枚目の画像データから探索領域に該当する部分を抽出することにより探索領域画像データを生成する。探索領域画像データを生成すると、システム制御部103は、探索領域画像データを追尾情報記憶部106に対して出力し、記憶させる。図4は、図2のステップS202、S205の処理を具体的に示す図である。図4において、401はm枚目の画像データであり、403はm1枚目の画像データである。ステップS202においては、m枚目の画像データ401から追尾対象領域402に該当する部分が抽出されることにより、テンプレート画像データ405が生成される。また、ステップS205においては、m1枚目の画像データから探索領域404に該当する部分が抽出されることにより、探索領域画像データ406が生成される。m枚目の画像データ401及びm1枚目の画像データ403はともにカラー画像データである。図4におけるRY、Y、R、G、C、MTの表記は、それぞれRedとYellowの中間色Red-Yellow、Yellow、Red、Green、Cyan、Monotoneを表しており、対応する模様の部分がその色であることを示している。図4の例では、m枚目の画像データ401の中央付近に位置する人物の胴体付近を追尾対象領域402としている。追尾対象領域402の指定方法は、ユーザがタッチパネル等の操作機器で任意の位置を指定してもよいし、被写体の追尾処理の開始直前にピントを合わせていた画像データ中の位置としてもよい。なお、探索領域404の位置は、m枚目の画像データ401における追尾対象領域402と同心となるように設定され、探索領域404の大きさは、追尾情報記憶部106において設定される数値LSx,LSyとなる。ステップS206において、システム制御部103は、ステップS202又は後述するステップS212で生成したテンプレート画像データ405と、ステップS205で生成した探索領域画像データ406とを追尾情報記憶部106から読み出す。そしてシステム制御部103は、テンプレート画像データ405と探索領域画像データ406とを画像変換処理部104に対して出力する。なお、ステップS206は、第1の生成手段の処理例である。画像変換処理部104は、テンプレート画像データ405及び探索領域画像データ406のそれぞれから各画素の輝度信号Y信号を抽出する。そして画像変換処理部104は、テンプレート画像データ405及び探索領域画像データ406のそれぞれについて、抽出した輝度信号のみで構成される第1の輝度画像データを生成する。図5は、テンプレート画像データ405から第1の輝度画像データ501を生成する処理と、探索領域画像データ406から第1の輝度画像データ502を生成する処理とを示す図である。なお、テンプレート画像データ405及び探索領域画像データ406はYUV形式の画像データである。そのため、第1の輝度画像データ501及び502は、元となるカラー画像データテンプレート画像データ405、探索領域画像データ406の色差信号をカットすることにより生成することができる。画像変換処理部104は、第1の輝度画像データ501及び502を生成すると、相関演算部105に対して出力する。ステップS207において、相関演算部105は、第1の輝度画像データ501及び502に対して輝度値によるマッチングを行うことにより、探索領域画像データ406内においてテンプレート画像データ405と最も相関が高い領域を探索する。なお、ステップS207は、第1の演算手段の処理例である。図6は、図2のステップS207における探索処理を説明するための図である。図6においては、探索領域画像データ406の第1の輝度画像データ602を、左上を原点0,0とし、1画素右へ進むに従ってx軸値を1加算し、1画素下へ進むに従ってy軸値を1加算する2次元座標x,yに見立てている。相関演算部105は、第1の輝度画像データ602に対して、第1の輝度画像データ601を0,0から1画素ずつずらしながらマッチングを行い、それぞれの位置における相関量を計算する。相関量は、領域間の同じ位置にある画素の輝度差の総和を表すSAD値から算出するものとする。第1の輝度画像データ601が第1の輝度画像データ602中の任意の位置i,jにあるときの相関量は次の式1によって計算される。相関量={1-i,jのSAD値/最大SAD値}×100式1ここで、最大SAD値とはSAD値が取り得る最大の数値である。従って、式1により相関量は0~100の数値をとる。相関演算部105は、全ての位置でマッチングが終了すると、最も相関が高かった位置i,jを次の画像データにおける追尾対象の位置とし、追尾対象の位置i,jの相関量とともにシステム制御部103に出力する。システム制御部103は、第1の輝度画像データに基づく追尾結果として、追尾対象の位置i,jと当該追尾対象の位置i,jの相関量とを追尾情報記憶部106に対して出力し、記憶させる。ステップS208において、システム制御部103は、特徴色とヒストグラムとを追尾情報記憶部106から読み出し、ヒストグラムによって示される特徴色の特徴度に基づいて、当該特徴色に対応する第2の輝度画像データの輝度値を計算する。その後、システム制御部103は、計算結果を画像変換処理部104に出力する。ここで、第kの特徴色2≦k≦nに対応する第2の輝度画像データの輝度値は次の式2によって求められる。第kの特徴色に対応する第2の輝度画像データの輝度値=第kの特徴色の特徴度/第1の特徴色の特徴度×最大輝度値式2但し、特徴色として採用されなかった色相に対しては、システム制御部103は輝度値0を設定する。ここで、式2に示す最大輝度値は、本実施形態で扱うYUV形式の画像データが取り得る最大の輝度値であり、その値はY=255である。また、システム制御部103は、ステップS202又はS212において生成したテンプレート画像データ405と、ステップS205において生成した探索領域画像データ406とを追尾情報記憶部106から読み出す。そしてシステム制御部103は、テンプレート画像データ405と探索領域画像データ406とを画像変換処理部104に対して出力する。画像変換処理部104は、テンプレート画像データ405及び探索領域画像データ406のそれぞれから各画素の色差信号UV信号を抽出する。そして画像変換処理部104は、抽出した色差信号に基づいて、特徴色と一致する色差信号を持つ領域に対して式2で求めた輝度値を設定し、テンプレート画像データ405及び探索領域画像データ406のそれぞれから第2の輝度画像データを生成する。その後、画像変換処理部104は、テンプレート画像データ405から生成した第2の輝度画像データと、探索領域画像データ406から生成した第2の輝度画像データとを相関演算部105に対して出力する。図7は、テンプレート画像データ405から第2の輝度画像データ701を生成する処理と、探索領域画像データ406から第2の輝度画像データ702を生成する処理とを示す図である。図7において、第2の輝度画像データ701は、テンプレート画像データ405における特徴色と一致する色差信号を持つ領域を高輝度とし、それ以外の色差信号を持つ領域を輝度値0とすることにより生成されることを示している。また、第2の輝度画像データ702についても同様に、探索領域画像データ406における特徴色と一致する色差信号を持つ領域を高輝度とし、それ以外の色差信号を持つ領域を輝度値0とすることにより生成されることを示している。ステップS209において、相関演算部105は、第2の輝度画像データ701、702に対して、ステップS207と同様にマッチングによる相関演算を行う。そして相関演算部105は、最も相関が高い位置i’,j’と当該位置i’,j’の相関量とをシステム制御部103に対して出力する。システム制御部103は、最も相関が高い位置i’,j’と当該位置i’,j’の相関量とを、追尾対象の位置i’,j’と当該追尾対象の位置i’,j’の相関量として追尾情報記憶部106に出力し、記憶させる。なお、上記の追尾対象の位置i’,j’及び当該追尾対象の位置i’,j’の相関量が、第2の輝度画像データに基づく追尾結果となる。なお、ステップS208は、第2の生成手段の処理例である。ステップS209は、第2の演算手段の処理例である。ステップS210において、システム制御部103は、ステップS207における第1の輝度画像データに基づく追尾結果と、ステップS209における第2の輝度画像データに基づく追尾結果とを追尾情報記憶部106から読み出す。そしてシステム制御部103は、第1の輝度画像データに基づく追尾結果における相関量と、第2の輝度画像データに基づく追尾結果における相関量とから何れかの追尾結果を選択する。次にシステム制御部103は、その追尾結果における追尾対象の位置tx,tyを採用し、追尾情報記憶部106に記憶させる。そしてシステム制御部103は、採用した追尾対象の位置tx,tyを撮像光学系操作部109に対して出力する。但し、第1の輝度画像データに基づく追尾結果における相関量と第2の輝度画像データの追尾結果における相関量との双方が所定値よりも小さい場合、システム制御部103は、追尾対象を見失ったと判断し、追尾対象喪失の信号を出力する。なお、ステップS210の詳細については、図8に示すフローチャートを用いて説明する。ステップS211において、撮像光学系操作部109は、入力した追尾対象の位置tx,tyに基づいて、絞りの開口径を変化させたり、フォーカスレンズの移動制御を行ったりする。但し、撮像光学系操作部109は、追尾対象喪失の信号を受信した場合、絞りの開口径の変化及びフォーカスレンズの移動は行わない。ステップS212において、システム制御部103は、追尾情報記憶部106から追尾対象の位置tx,tyの相関量を読み出し、相関量が予め設定された閾値よりも高いか否かを判定する。相関量が閾値よりも高い場合、システム制御部103は、探索領域画像データ406と追尾対象領域402の大きさの設定値LTx,LTyとを追尾情報記憶部106から読み出す。そしてシステム制御部103は、探索領域画像データ406内の追尾対象の位置tx,tyに該当する大きさLTx,LTyの領域を抽出し、次の画像データm1枚目の画像データにおける追尾処理のためのテンプレート画像データ405として追尾情報記憶部106に対して出力し、記憶させる。一方、上記相関量が予め設定された閾値以下である場合、システム制御部103は、m枚目のテンプレート画像データ405に対応する領域を探索領域画像データ406から抽出し、次の画像データm1枚目の画像データにおけるテンプレート画像データ405として追尾情報記憶部106に対して出力し、記憶させる。なお、ステップS211は、第1の抽出手段、第2の抽出手段、選択手段の処理例である。ステップS213において、システム制御部103は、レリーズボタンが押されたか否かを判定する。レリーズボタンが押されていない場合、システム制御部103は被写体の追尾処理を終了させる。一方、レリーズボタンが半押し又は全押しされた場合、システム制御部103は被写体の追尾処理を継続させる。これにより、処理はステップS203に戻る。ここで、次の画像データm1枚目の画像データにおける追尾対象領域402の位置は、前の画像データm枚目の画像データにおける追尾対象の位置tx,tyとなる。次に、図8に示すフローチャートを参照しながら、図2のステップS203における特徴色決定処理について詳細に説明する。ステップS801において、システム制御部103は、図3aに示すように、色相環で構成される色相空間301を12個に分割し、部分色相空間302を生成する。ステップS802において、システム制御部103は、テンプレート画像データの垂直画素数と同じ回数だけステップS803~S806の処理を繰り返す。このとき、システム制御部103は、yを繰り返し回数のカウント値として定義し、yの値がテンプレート画像データの垂直画素数未満であるうちはステップS803~S806の処理を繰り返す。ステップS803において、システム制御部103は、テンプレート画像データの水平画素数と同じ回数だけステップS804~S806までの処理を繰り返す。このとき、システム制御部103は、xを繰り返し回数のカウント値として定義し、xの値がテンプレート画像データの水平画素数未満であるうちはステップS804~S806の処理を繰り返す。ステップS804において、システム制御部103は、画素x,yからテンプレート画像データの中心点までの距離Distx,yを計算する。ステップS805において、システム制御部103は、Distx,yに基づいて、画素x,yに重要度を設定する。このとき、システム制御部103は、Distx,yの値が小さければ小さいほど、重要度が大きくなるように設定する。ステップS806において、システム制御部103は、画素x,yのUV信号に基づいて、画素x,yが属する部分色相空間302を決定する。図9は、図3aの部分色相空間302と画素x,yのUV信号との対応関係を示す図である。即ち、図9において、縦軸をVの値、横軸をUの値とする2次元座標領域が色相空間301に対応しており、UV信号によってどの部分色相空間302に属するかを表している。ここで、図9中の各領域内の文字はその領域の色を示すものであり、RはRed、RYはRed-Yellow、YはYellow、YGはYellow-Green、GはGreen、GCはGreen-Cyan、CはCyan、CBはCyan-Blue、BはBlue、BMはBlue-Magenta、MはMagenta、MRはMagenta-Redを表す。ステップS807において、システム制御部103は、ステップS806で各画素を分類した各部分色相空間302において、それぞれに分類された各画素の重要度の総和を計算し、総和値を部分色相空間302の特徴度とする。図10は、図3bに示すヒストグラム303の作成において、各部分色相空間302に属する画素にかける補正値について示す図である。ここでは、この補正値を重要度と呼び、重要度はテンプレート画像データ405の中心に近い画素に高い数値が設定され、遠い画素に低い数値が設定されている。これにより、テンプレート画像データ405の中心により近く、またテンプレート画像データ405の中により多く存在する色相の特徴度が高くなる。画素の重要度を設定する利点としては、カメラ撮影時においては、多くの場合、追尾対象を追尾対象領域の中心に捉えるため、追尾対象領域の中心にある追尾対象の色の特徴度が高くなり、追尾対象の色が抽出されやすくなることが挙げられる。ステップS808において、システム制御部103は、各部分色相空間302の特徴度に基づいてヒストグラム図3bの303を作成し、追尾情報記憶部106に対して出力する。この現在の画像データ追尾開始からm枚目の画像データのヒストグラムをHmとする。なお、ステップS808は、ヒストグラム生成手段の処理例である。ステップS809において、システム制御部103は、過去の画像データにおける全てのヒストグラムを参照するため、追尾処理開始からの撮影枚数m枚分、ステップS810~S814を繰り返す。このとき、システム制御部103は、iを繰り返し回数のカウント値として定義し、m-iの値が0以上であるうちはステップS810~S814を繰り返し実行する。ステップS810において、システム制御部103は、現在の画像データm枚目の画像データよりもi枚目前に生成されたヒストグラムHm-iを追尾情報記憶部106から読み出す。ステップS811において、システム制御部103は、ヒストグラムHm-iの各部分色相空間302の特徴度に対してiの数値に基づいた補正をかける。この補正は、iが大きければ大きいほど特徴度を小さくするような補正である。ステップS812において、システム制御部103は、i枚目前の追尾結果における相関量を追尾情報記憶部106から読み出す。ここで読み出した相関量をCORm-iとする。ステップS813において、システム制御部103は、ヒストグラムHm-iの各部分色相空間302の特徴度に対して、相関量CORm-iに基づいた補正値をかける。この補正は、相関量CORm-iが高ければ高いほど特徴度を大きくするような補正である。ステップS814において、システム制御部103は、現在の画像データのヒストグラムHmの各部分色相空間302の特徴度にヒストグラムHm-iの各部分色相空間302の特徴度を加算する。なお、このヒストグラムの各部分色相空間302の特徴度の加算処理は、合成手段の処理例である。図11は、図8のステップS814における処理について説明するための図である。本実施形態では、追尾対象の色の特徴度を高めるために、現在の画像データのヒストグラムに対し、過去の画像データで生成されたヒストグラムとの足し合わせを行う。追尾対象の色の特徴度を高めるためにヒストグラムの足し合わせを行う理由としては、撮像装置を用いて連続撮影を行う場合、時々刻々と移り変わりやすい背景色に対し、追尾対象は各画像データの追尾対象領域内に共通して存在する可能性が高いためである。つまり、ヒストグラムの足し合わせを行った場合、様々な色に変化することで特徴度が分散する背景色よりも、比較的変化の小さい追尾対象の色の方が特徴度が高くなり、追尾対象の抽出精度が向上することを期待できるのである。図11の例では、上段の画像データにおいて、1→2→3はフレーム番号を表しており、フレーム番号の順に時間が経過していることを示している。また、画像データ中の破線の枠はテンプレート画像データの領域を表している。中段のヒストグラムは、それぞれのテンプレート画像データから生成されるヒストグラムである。下段のヒストグラムは、1、2、3の各画像データにおいて、現在の画像データと過去の全ての画像データのヒストグラムとを足し合わせて生成されたヒストグラムを表している。図11より、過去の画像データとの足し合わせを行ったヒストグラムは、現在の画像データで生成されたヒストグラムと比較して追尾対象色であるRedの特徴度が高くなっていることが分かる。ステップS810~S814の処理は、例えばある画像データにおいて追尾対象が小さく、背景の範囲が大きくなった場合の、追尾精度低下を軽減することに貢献する。現在の画像データで生成されるヒストグラムのみを用いて特徴色を決定する場合、テンプレート画像データにおいて背景が支配的となると背景色の特徴度が高くなってしまい、背景を対象として追尾してしまいやすくなる。この対策としては、追尾開始時の最初の画像データの特徴色を使用し続ける方法が考えられるが、この方法では追尾対象の色が変化した場合に追尾対象を見失ってしまう。そこで、過去の画像データとの加重平均により生成したヒストグラムを用いることにより、過去に追尾対象として認識され続けてきた色の特徴度が相対的に大きくなる。また、相対的に新しい画像データのヒストグラムの比重が重くなるため、色の変化にも柔軟に対応することができる。ステップS815において、システム制御部103は、ステップS809~S814において生成されたヒストグラムHmの各部分色相空間302のうち、特徴度の高い上位3色を特徴色として決定する。なお、ステップS815は、特徴色決定手段の処理例である。次に、図12を参照しながら、図2のステップS210における追尾対象の位置の決定処理について詳細に説明する。ステップS1216において、システム制御部103は、ステップS207第1の輝度画像データによる相関演算及びステップS209第2の輝度画像データによる相関演算で計算された追尾対象の位置と相関量とを追尾情報記憶部106から読み出す。そして、システム制御部103は、第1の輝度画像データによる相関演算の相関量と閾値1とを比較し、閾値1より第1の輝度画像データによる相関演算の相関量の方が大きいか否かを判定する。閾値1より第1の輝度画像データによる相関演算の相関量の方が大きい場合、処理はステップS1217に移行する。一方、第1の輝度画像データによる相関演算の相関量が閾値1以下である場合、処理はステップS1218に移行する。ステップS1217において、システム制御部103は、第1の輝度画像データを用いた探索結果を追尾対象の位置として出力する。ステップS1218において、システム制御部103は、第2の輝度画像データによる相関演算の相関量と閾値2とを比較し、閾値2より第2の輝度画像データによる相関演算の相関量の方が大きいか否かを判定する。閾値2より第2の輝度画像データによる相関演算の相関量の方が大きい場合、処理はステップS1219に移行する。一方、第2の輝度画像データによる相関演算の相関量が閾値2以下である場合、処理はステップS1220に移行する。ステップS1219において、システム制御部103は、第2の輝度画像データを用いた探索結果を追尾対象の位置として出力する。ステップS1220において、システム制御部103は、第1の輝度画像データ及び第2の輝度画像データを用いた探索では追尾対象を発見できなかったと判断し、追尾対象喪失を追尾結果として出力する。なお、ステップS1216~S1220は、状況によって適切な追尾結果を得るための選択処理である。このような選択処理を用いる利点を次に示す。先ず、第1の輝度画像データは、m枚目の画像データ及びm1枚目の画像データの輝度信号をそのまま用いているため、第2の輝度画像データと比較して階調が細かくなっている。従って、比較的精度の細かい追尾が可能となるが、輝度の変化やノイズにより追尾精度が低下する。一方、第2の輝度画像データは、m枚目の画像データ及びm1枚目の画像データの色差信号が特徴色と一致する場合に所定の輝度値を設定するものであるため、第1の輝度画像データと比較して階調は荒く、同じ色相に属する領域は全て均一の輝度を持つ。従って、例えば追尾対象が単一色のグラデーションで構成される場合等において追尾精度が荒くなることがあるが、輝度の変化やノイズによる追尾精度の低下は、第1の輝度画像データよりも抑えることができる。以上のように、本実施形態においては、マッチング用の相関演算部105を色と輝度とで兼用して、複数色で構成される被写体や、階調や色調の変化の小さいシーンにおいて、輝度と色とを適切に使い分け、被写体を精度よく追尾することが可能となる。即ち、本実施形態では、精度を重視するために輝度を用いた追尾と、ノイズや外乱に対するロバスト性を重視するために色を用いた追尾とを使い分けることによって、被写体の追尾精度を向上させている。また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェアプログラムを、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータまたはCPUやMPU等がプログラムを読み出して実行する処理である。"