(57)【特許請求の範囲】
【請求項１】
複数の画素を有する撮像素子で撮像される画像において指定された対象物を追尾する追尾装置であって、
前記対象物の特徴色を抽出するための特徴色抽出領域として、前記指定された対象物の位置に対応する画素を含む画素領域を設定し、前記特徴色抽出領域に含まれる画素のそれぞれの色を特徴候補色として設定する設定手段と、
前記設定手段で設定された複数の特徴候補色のそれぞれについて、当該特徴候補色の画素を含んで当該特徴候補色と類似する色の画素が連続する画素グループの第１の面積、前記複数の画素において当該特徴候補色と類似する色の画素の第２の面積、および、前記第２の面積に対する前記第１の面積の比率を算出する算出手段と、
前記第２の面積に対する前記第１の面積の比率が予め定められた基準比率よりも高い特徴候補色のうち、少なくとも前記第１の面積が最も小さい特徴候補色を前記対象物の特徴色として抽出する抽出手段と、
前記抽出手段で抽出した前記特徴色と類似する色の画素に対応する位置を前記対象物として決定する決定手段と、
を有することを特徴とする追尾装置。
【請求項２】
前記算出手段は、前記複数の特徴候補色のうち、前記抽出された特徴色とは別の特徴候補色のそれぞれについて、当該特徴候補色の前記第１の面積に対する前記抽出された特徴候補色の前記第１の面積の比率を特徴度として算出し、
前記抽出手段は、前記別の特徴候補色のうち、前記特徴度が予め定められた基準特徴度よりも高い特徴候補色も前記対象物の特徴色として抽出することを特徴とする請求項１に記載の追尾装置。
【請求項３】
前記算出手段は、前記第１の面積が予め定められた基準面積よりも小さい特徴候補色の中から、前記第２の面積に対する前記第１の面積の比率が予め定められた基準比率よりも高い特徴候補色を求めることを特徴とする請求項１又は２に記載の追尾装置。
【請求項４】
前記基準特徴度は、前記特徴度が高い特徴候補色ほど、前記対象物の特徴色として抽出されるように設定されていることを特徴とする請求項２に記載の追尾装置。
【請求項５】
前記決定手段は、前記抽出手段で抽出した前記特徴色のうち、前記特徴度が高い順に特徴色を選択し、当該選択した前記特徴色と類似する色の画素に対応する位置を前記対象物として決定することを特徴とする請求項２に記載の追尾装置。
【請求項６】
前記基準比率は、前記第２の面積に対する前記第１の面積の比率が高い特徴候補色ほど、前記対象物の特徴色として抽出されるように設定されていることを特徴とする請求項１乃至５のいずれか１項に記載の追尾装置。
【請求項７】
前記抽出手段は、前記画素グループが前記複数の画素のうち端の画素を含む場合には、当該画素グループに対応する特徴候補色を前記対象物の特徴色から除外することを特徴とする請求項１乃至６のいずれか１項に記載の追尾装置。
【請求項８】
前記抽出手段で抽出した前記特徴色を前記対象物の静的特徴色として記憶するための第１の記憶手段と、
前記決定手段で決定した前記対象物の位置に対応する画素の色を前記対象物の動的特徴色として記憶するための第２の記憶手段と、
前記複数の画素において、前記第１の記憶手段で記憶した前記静的特徴色を用いて前記対象物の追尾を行う第１の領域と、前記第１の領域の面積よりも小さい面積を有し、前記第２の記憶手段で記憶した前記動的特徴色を用いて前記対象物の追尾を行う第２の領域とを設定する領域設定手段と、
を更に有し、
前記決定手段は、
前記第１の領域に含まれる画素のそれぞれについて、当該画素の色が前記静的特徴色と類似している度合いを表す第１の類似度を算出し、前記第２の領域に含まれる画素のそれぞれについて、当該画素の色が前記動的特徴色と類似している度合いを表す第２の類似度を算出し、
前記第１の類似度と前記第２の類似度とを合成した類似度が最も高く、且つ、予め定められた基準類似度を満たす画素に対応する位置を前記対象物として決定することを特徴とする請求項１乃至７のいずれか１項に記載の追尾装置。
【請求項９】
前記第２の類似度を算出する際の類似度の基準は、前記第１の類似度を算出する際の類似度の基準よりも高いことを特徴とする請求項８に記載の追尾装置。
【請求項１０】
前記領域設定手段は、前記複数の画素において、前記第１の領域の面積よりも大きい第３の領域を設定し、
前記決定手段は、前記第３の領域における前記対象物の静的特徴色と類似する色の画素の分布度を算出して当該分布度に応じて前記第２の類似度を算出する際の類似度の基準を設定し、前記分布度が高いほど、前記第２の類似度を算出する際の類似度の基準を高くなるように設定することを特徴とする請求項９に記載の追尾装置。
【請求項１１】
前記決定手段は、前記第１の類似度を算出する際の類似度の基準が一定となるように、且つ、前記分布度が高いほど、前記第２の類似度を算出する際の類似度の基準を高くなるように設定することを特徴とする請求項１０に記載の追尾装置。
【請求項１２】
前記第２の記憶手段は、前記決定手段で決定した前記対象物の位置に対応する画素の色と前記静的特徴色との差分が閾値未満である場合に、当該対象物の位置に対応する画素の色を新たな動的特徴色として記憶することを特徴とする請求項８に記載の追尾装置。
【請求項１３】
前記決定手段で前記対象物として決定した位置に対応する画素を基点とし、前記基点からの距離が大きいほど、大きな重み量が設定された重みテーブルを生成する生成手段を更に有し、
前記決定手段は、前記生成手段で生成した前記重みテーブルに設定されている重み量を前記第１の類似度及び前記第２の類似度に与え、前記重み量が重み付けされた前記第１の類似度と前記重み量が重み付けされた前記第２の類似度とを合成した類似度が最も高く、且つ、前記基準類似度を満たす画素に対応する位置を前記対象物として決定することを特徴とする請求項８に記載の追尾装置。
【請求項１４】
前記領域設定手段は、前記複数の画素において、前記第１の領域の面積よりも大きい第３の領域を設定し、
前記決定手段は、前記第３の領域における前記対象物の静的特徴色と類似する色の画素の分布度を算出し、
前記生成手段は、前記分布度が高いほど、前記重み量の前記基点からの距離に応じた変化量が急峻となるように前記重み量が設定された重みテーブルを生成することを特徴とする請求項１３に記載の追尾装置。
【請求項１５】
前記分布度を算出する動作周期は、前記第１の類似度と前記第２の類似度とを合成した類似度が最も高く、且つ、前記基準類似度を満たす画素に対応する位置を前記対象物として決定する動作周期よりも長いことを特徴とする請求項１４に記載の追尾装置。
【請求項１６】
前記生成手段は、前記決定手段で前記対象物として決定した位置に対応する画素の前記類似度が低いほど、前記重み量の前記基点からの距離に応じた変化量が急峻となるように前記重み量が設定された重みテーブルを生成することを特徴とする請求項１３に記載の追尾装置。
【請求項１７】
前記決定手段は、前記重み量が重み付けされた前記第１の類似度と前記重み量が重み付けされた前記第２の類似度とを合成した類似度が最も高い画素の類似度が前記基準類似度を満たすかどうかを判定し、前記類似度が最も高い画素の類似度が前記基準類似度を満たしていない場合には、前記対象物の追尾が不可能であると決定し、
前記生成手段は、前記対象物の追尾が不可能になってからの経過時間が短いほど、前記重み量の前記基点からの距離に応じた変化量が急峻となるように前記重み量が設定された重みテーブルを生成することを特徴とする請求項１３に記載の追尾装置。
【請求項１８】
複数の画素を有する撮像素子で撮像される画像において指定された対象物を追尾する追尾方法であって、
設定手段が、前記対象物の特徴色を抽出するための特徴色抽出領域として、前記指定された対象物の位置に対応する画素を含む画素領域を設定し、前記特徴色抽出領域に含まれる画素のそれぞれの色を特徴候補色として設定する設定ステップと、
算出手段が、前記設定ステップで設定された複数の特徴候補色のそれぞれについて、当該特徴候補色の画素を含んで当該特徴候補色と類似する色の画素が連続する画素グループの第１の面積、前記複数の画素において当該特徴候補色と類似する色の画素の第２の面積、および、前記第２の面積に対する前記第１の面積の比率を算出する算出ステップと、
抽出手段が、前記第２の面積に対する前記第１の面積の比率が予め定められた基準比率よりも高い特徴候補色のうち、少なくとも前記第１の面積が最も小さい特徴候補色を前記対象物の特徴色として抽出する抽出ステップと、
決定手段が、前記抽出ステップで抽出した前記特徴色と類似する色の画素に対応する位置を前記対象物として決定する決定ステップと、
を有することを特徴とする追尾方法。
【請求項１９】
コンピュータを、請求項１に記載の追尾装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、対象物を追尾する追尾装置、追尾方法及びプログラムに関する。
【背景技術】
【０００２】
静止画像や動画像を撮像する撮像装置（デジタルカメラなど）においては、任意の対象物を追尾（探索）する追尾機能を備えている。かかる追尾機能は、例えば、パターンマッチ法、相対差分法、色・輝度一致法などを用いて実現される。パターンマッチ法は、撮像中の画像に対して、記憶部に記憶したテンプレート画像、或いは、追尾時に逐次更新されるテンプレート画像との一致度の高い領域を対象物として探索する方法である。相対差分法は、現フレームと前フレームとの画像差分から対象物を探索する方法である。色・輝度一致法は、撮像中の画像に対して、対象物から抽出された単一又は複数の色、輝度、或いは、ヒストグラムとの一致度の高い領域を対象物として探索する方法である。
【０００３】
パターンマッチ法は、対象物に動きがない場合には、高精度な追尾性能を実現することができるが、対象物に動き（対象物と撮像装置との距離の変化、対象物の回転、撮像装置の姿勢の変化など）がある場合には、十分な追尾性能を実現することができない。相対差分法は、対象物と撮像装置との間を他の物体が通過した場合や対象物が完全にフレームアウトした後に再びフレームインした場合に、対象物を追尾することができなくなる。色・輝度一致法は、対象物の動きに関してはある程度対応することができるが、対象物の色や輝度だけでは対象物を特定する精度が低く、対象物に類似する色や輝度が背景に多く含まれている場合には、十分な追尾性能を実現することができない。
【０００４】
そこで、追尾性能を向上させる技術が提案されている（特許文献１及び２参照）。特許文献１及び２は、対象物の特徴を抽出することに関する技術を開示している。特許文献１の技術では、追尾する対象物を含む領域において、最も多く含まれる色（色信号）を対象物の特徴色としている。また、特許文献２の技術では、追尾する対象物の色の抽出において、対象物を含む領域に多く含まれ、且つ、背景に多く含まれていない色を対象物の特徴色として優先的に選択している。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平５−２８４４１１号公報
【特許文献２】特開２０１０−２８６０８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、対象物を含む領域に多く含まれている色を特徴色とする場合、かかる領域に含まれる背景色を特徴色とする可能性があり、ユーザの意図とは異なる物体を追跡してしまう（即ち、誤追跡が発生する）ことがある。また、対象物を含む領域に含まれる割合が少ない色は、対象物の特徴を表す貴重色である可能性があるにも関わらず、特徴色とはされずに除外されてしまう。但し、対象物を含む領域に含まれる割合が少ない色を単純に特徴色とすると、周囲の環境や対象物の変化などによって特徴色が見え隠れした場合に対象物を追尾できなくなったり、対象物以外に特徴色と同一の色が存在した場合に誤追尾が発生したりしてしまう。
【０００７】
本発明は、このような従来技術の課題に鑑みてなされ、対象物の誤追尾の軽減に有利な技術を提供することを例示的目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、本発明の一側面としての追尾装置は、複数の画素を有する撮像素子で撮像される画像において指定された対象物を追尾する追尾装置であって、前記対象物の特徴色を抽出するための特徴色抽出領域として、前記指定された対象物の位置に対応する画素を含む画素領域を設定し、前記特徴色抽出領域に含まれる画素のそれぞれの色を特徴候補色として設定する設定手段と、前記設定手段で設定された複数の特徴候補色のそれぞれについて、当該特徴候補色の画素を含んで当該特徴候補色と類似する色の画素が連続する画素グループの第１の面積、前記複数の画素において当該特徴候補色と類似する色の画素の第２の面積、および、前記第２の面積に対する前記第１の面積の比率を算出する算出手段と、前記第２の面積に対する前記第１の面積の比率が予め定められた基準比率よりも高い特徴候補色のうち、少なくとも前記第１の面積が最も小さい特徴候補色を前記対象物の特徴色として抽出する抽出手段と、前記抽出手段で抽出した前記特徴色と類似する色の画素に対応する位置を前記対象物として決定する決定手段と、を有することを特徴とする。
【０００９】
本発明の更なる目的又はその他の側面は、以下、添付図面を参照して説明される好ましい実施形態によって明らかにされるであろう。
【発明の効果】
【００１０】
本発明によれば、例えば、対象物の誤追尾の軽減に有利な技術を提供することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の一側面としての追尾装置として機能する撮像装置を示す図である。
【図２】撮像対象のシーンの一例を示す図である。
【図３】対象物の特徴色を抽出するための特徴色抽出領域の設定の一例を示す図である。
【図４】特徴色抽出領域から抽出される特徴候補色の一例を示す図である。
【図５】特徴候補色のそれぞれと類似する色の画素の分布を示す図である。
【図６】基点からの距離に応じて画像を６つの部分領域に分割した場合の例を示す図である。
【図７】部分領域に含まれる特徴候補色と同系色の画素の数をカウントした結果を示す図である。
【図８】特徴候補色と同系色の画素からなる画素グループと、他の色の画素との境界を検出するための境界条件を示す図である。
【図９】特徴候補色と同系色の画素からなる画素グループと、他の色の画素との境界の検出を説明するための図である。
【図１０】特徴候補色のそれぞれと同系色の画素からなる画素グループの画素数と、画像全体に含まれる特徴候補色のそれぞれと同系色の画素の総数とを示す図である。
【図１１】境界内色比率の高い順に特徴候補色をソートした結果、及び、特徴候補色のそれぞれに対して設定される基準比率を示す図である。
【図１２】画素グループの画素数の少ない順に特徴候補色をソートした結果、及び、特徴候補色のそれぞれに対して設定される基準特徴度を示す図である。
【図１３】追尾する対象物の特徴色を表すテーブルの一例を示す図である。
【図１４】追尾する対象物の特徴色と類似する色の画素の画像内における分布を示す図である。
【図１５】類似色分布度に応じた重み下げ係数を示す図である。
【図１６】重みテーブルの生成を概念的に示す図である。
【図１７】重みテーブルの概念を示す図である。
【図１８】重みテーブルに基づいて設定される探索領域の一例を示す図である。
【図１９】処理負荷を軽減するためのタイミングチャートである。
【図２０】画像の上に設定される静的探索領域及び動的探索領域を示す図である。
【図２１】類似色分布度から信号レベルを算出するためのテーブルの概念を示す図である。
【図２２】隣接度を算出するためのテーブルの概念を示す図である。
【図２３】静的探索領域及び動的探索領域のそれぞれに対して評価値を算出した結果を示す図である。
【図２４】対象物の位置に対応する画素を基点とした重み量が重み付けされた評価値マップの生成を説明するための図である。
【図２５】対象物の位置の決定及び動的特徴色の更新を説明するための図である。
【図２６】図１に示す撮像装置の全体的な動作を説明するためのフローチャートである。
【図２７】図２６に示すＳ２６１２の特徴色抽出処理を説明するためのフローチャートである。
【図２８】図２６に示すＳ２６２２の追尾処理を説明するためのフローチャートである。
【図２９】図２８に示すＳ２８０４の類似色分布度算出処理を説明するためのフローチャートである。
【図３０】図２８に示すＳ２８１２の静的評価値の算出を説明するためのフローチャートである。
【図３１】図２８に示すＳ２８２６の動的特徴色更新処理を説明するためのフローチャートである。
【図３２】対象物の動きに応じて設定される静的探索領域の一例を示す図である。
【図３３】評価値に応じた重み下げ係数を示す図である。
【図３４】対象物の動きに応じて設定される静的探索領域の一例を示す図である。
【図３５】対象物を見失ってからの経過時間に応じた重み下げ係数を示す図である。
【発明を実施するための形態】
【００１２】
以下、添付図面を参照して、本発明の好適な実施の形態について説明する。なお、各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。
【００１３】
図１は、撮像装置１を示す図であって、図１（ａ）は、撮像装置１の構成を示す概略ブロック図、図１（ｂ）は、撮像装置１の正面外観図、図１（ｃ）は、撮像装置１の背面外観図である。撮像装置１は、被写体を撮像する撮像装置であって、例えば、デジタルカメラとして具現化される。撮像装置１は、本実施形態では、撮像される画像において指定された対象物を追尾する追尾機能を備えている（即ち、追尾装置として機能する）。
【００１４】
レンズ１０２は、外光（被写体からの光）を集光する。レンズ駆動部１０４は、焦点や画角を調節するために、レンズ１０２を光軸に沿って駆動する。手ブレ補正部１０６は、手ブレ検知部１０８で検知された撮像装置１の手ブレに基づいて、かかる手ブレがキャンセルされるようにレンズ１０２を駆動する（即ち、光学的な手ブレ補正を実現する）。手ブレ検知部１０８は、例えば、ジャイロセンサーを含む。なお、本実施形態では、レンズ１０２を駆動することで手ブレ補正を実現しているが、撮像素子１１８を駆動することで手ブレ補正を実現することも可能である。
【００１５】
絞り１１０は、虹彩絞りや丸絞りなどを含み、レンズ１０２を通過した光（被写体からの光）の光量を調整する。絞り駆動部１１２は、システム制御部１３４からの制御情報に基づいて、絞り１１０を駆動する。例えば、絞り駆動部１１２は、被写体の輝度が高い場合には、被写体からの光の光量を落とすように絞り１１０を駆動し（絞り）、被写体の輝度が低い場合には、被写体からの光を多く取り込むように絞り１１０を駆動する（開放する）。なお、被写体からの光の光路上にＮＤフィルターを挿脱可能に配置し、絞り１１０と協同して、被写体からの光の光量を調整することもできる。
【００１６】
シャッター１１４は、開状態において被写体からの光を通過させ、閉状態において被写体からの光を遮断する。シャッター駆動部１１６は、システム制御部１３４からの制御情報に基づいて、シャッター１１４を開状態又は閉状態に駆動する。画像（静止画像）を撮像する際の露光時間は、シャッター１１４の開閉時間で規定される。
【００１７】
撮像素子１１８は、複数の画素を有し、例えば、ＣＣＤイメージセンサやＣＭＯＳイメージセンサなどで構成される。撮像素子１１８は、レンズ１０２、シャッター１１４及び絞り１１０を介して形成された光学像を電気信号に変換する。撮像素子１１８は、タイミングジェネレータ（ＴＧ）１２０を介して、システム制御部１３４に制御される。撮像素子１１８は、システム制御部１３４からの制御情報に基づいてＴＧ１２０で生成される駆動信号を基準として、電荷のチャージ（露光）と、チャージされた電荷の読み出し（画像信号の読み出し）とを周期的に行う。また、撮像素子１１８でチャージされた電荷のうち特定のラインや特定の領域のみの電荷を読み出すことも可能である。例えば、静止画像を撮像する場合には、高解像度が要求されるため、撮像素子１１８でチャージされた全ての電荷を読み出す。一方、動画像を撮像する場合や電子ファインダーを機能させる場合には、３０ｆｐｓや６０ｆｐｓなどの高いフレームレートが要求されるため、撮像素子１１８でチャージされた電荷のうち特定のラインを間引いて電荷を読み出す。なお、ＴＧ１２０は、撮像素子１１８がチャージした電荷を任意のタイミングで読み出すような駆動信号を生成することで、露光時間を制御することも可能である。
【００１８】
ＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ  Ｄｏｕｂｌｅ  Ｓａｍｐｌｅｒ）回路１２２は、相関二重サンプリング方式を用いて、撮像素子１１８から読み出された画像信号のノイズ成分を除去する。ＰＧＡ（Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｉｎ  Ａｍｐｌｉｆｉｅｒ）回路１２４は、システム制御部１３４からの制御情報に基づいて、画像データのレベルを減衰又は増幅する。通常、絞り１１０で光量を適切に設定すると共に、シャッター１１４で露光時間を適切に設定することで、撮像素子１１８の露出が適正に設定される。但し、ＰＧＡ回路１２４で画像データを減衰又は増幅することで、擬似的に露出を変更することが可能である。これは、撮像時の露出条件の１つとして、感度という概念でユーザに提供される。
【００１９】
Ａ／Ｄ変換部１２６は、撮像素子１１８から出力されるアナログの画像信号（アナログの画像データ）をデジタルの画像信号（デジタルの画像）に変換する。デジタル信号のビット幅は、１０ビット、１２ビット、１４ビットなどを含むため、画像処理回路１２８は、複数の種類のビット幅に対応できるように構成される。画像処理回路１２８は、Ａ／Ｄ変換部１２６からの画像信号に対して、様々な画像処理を施す。本実施形態では、ＴＧ１２０、ＣＤＳ回路１２２、ＰＧＡ回路１２４及びＡ／Ｄ変換部１２６のそれぞれを別のブロックで構成しているが、それらの機能を備えた１つのブロックで構成してもよい。
【００２０】
撮像素子１１８には、一般的には、カラーフィルタが配置され、かかるカラーフィルタを介して画素ごとに特定の色成分が抽出される。Ａ／Ｄ変換部１２６からの画像信号は、撮像素子１１８の画素及びカラーフィルタの配置に対応した形式となるため、輝度成分のみを評価して露出制御を行う自動露出制御（ＡＥ：Ａｕｔｏ  Ｅｘｐｏｓｕｒｅ  Ｃｏｎｔｒｏｌ）処理での使用には適していない。画像処理回路１２８は、画像信号から色情報を排除して輝度情報のみを抽出する機能を有し、Ａ／Ｄ変換部１２６からの画像信号をＡＥでの使用に適した形式に変換することができる。また、画像処理回路１２８は、画像信号から輝度情報を排除して色情報のみを抽出する機能も有し、被写体の光源色を特定して色を適切に調整するホワイトバランス（ＡＷＢ）処理での使用に適した形式に変換することもできる。
【００２１】
更に、画像処理回路１２８は、撮像素子１１８から読み出された画像信号の周波数成分のみを抽出する機能も有し、自動焦点調整制御（ＡＦ：Ａｕｔｏ  Ｆｏｃｕｓ）処理での使用に適した形式に変換することが可能である。画像処理回路１２８は、撮像素子１１８から読み出された画像信号において、どの領域の周波数成分を抽出するのか、及び、領域内をどのように分割するのかを設定することを可能とする機能を備えている。また、ＡＦ処理時には、撮像素子１１８は、測距に適した駆動方式で駆動される。撮像素子１１８を用いたＡＦ処理では、撮像素子１１８の駆動レート（フレームレート）に同期させてフォーカスレンズを駆動する必要があるため、撮像素子１１８の駆動レートが高ければ、フォーカスレンズの駆動速度を速くすることができる。従って、ＡＦ処理を短時間で行いたい場合には、駆動レートが高くなるように撮像素子１１８を駆動すればよい。一方、駆動レートを低くして、撮像素子１１８から多くの画像信号を読み出すことで、画像処理回路１２８で解析可能な周波数成分を増やすことができ、より正確な測距が可能となる。
【００２２】
また、画像処理回路１２８は、Ａ／Ｄ変換部１２６からの画像信号のレベルを増減させる機能や画像の色効果などを操作する機能などを備え、撮像される画像の画質を調整する。画像信号のレベルを増減させる機能は、例えば、画像全体に一律の割合でレベルを増減させる機能、元の画像信号のレベルに応じてレベルを変換するトーンカーブ（ガンマ）機能、画像の領域ごとの周波数成分に応じた割合でレベルを増減させる機能などを含む。
【００２３】
一時記憶メモリ１３０は、Ａ／Ｄ変換部１２６からの画像信号（即ち、画像処理回路１２８に入力される画像信号）を記憶する。一時記憶メモリ１３０に記憶した画像信号は再度読み出すことが可能であり、例えば、システム制御部１３４が画像信号を参照したり、読み出した画像信号を画像処理回路１２８に入力したりすることができる。また、一時記憶メモリ１３０は、画像処理回路１２８で画像処理が施された画像信号やシステム制御部１３４から出力される画像信号を記憶することも可能である。
【００２４】
画像認識回路１３２は、画像処理回路１２８で画像処理が施された画像信号（画像）の明るさ状況、ピント合焦状況、色状況などを認識する。また、画像認識回路１３２は、画像に人物が含まれている場合には、その人物の顔や表情を、画像に文字が含まれている場合には、その文字情報を認識することもできる。また、画像認識回路１３２には、複数の画像信号を入力することができる。例えば、画像認識回路１３２は、入力された２つの画像信号を比較して（即ち、画像の特徴を比較して）、かかる２つの画像信号が同一であるかどうかを判定することが可能である。なお、上述した画像認識処理は、システム制御部１３４でも実現される。例えば、システム制御部１３４は、一時記憶メモリ１３０に記憶した画像信号を読み出し、かかる画像信号を解析してシーンの状況を認識することができる。
【００２５】
システム制御部１３４は、ＣＰＵやメモリなどを含み、撮像装置１の全体の動作を制御する。システム制御部１３４は、メモリに格納されたプログラムを実行して、本実施形態の各処理を実行する。
【００２６】
ＶＲＡＭ１３６は、画像処理回路１２８で画像処理が施された画像信号を展開する。Ｄ／Ａ変換部１３８は、ＶＲＡＭ１３６に展開されたデジタルの画像信号をアナログの画像信号に変換する。表示部１４０は、例えば、やＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）などを含み、Ｄ／Ａ変換部１３８からの画像信号に対応する画像を表示する。表示部１４０において、撮像素子１１８から読み出される画像信号に対応する画像を順次表示することで、電子ファインダーを機能させることができる。なお、ＶＲＡＭ１３６には、表示部１４０での様々な表示形態（１つの画像信号に対応する画像を表示する、或いは、複数の画像信号に対応する複数の画像をマルチ表示する）に対応して、画像信号が展開される。
【００２７】
表示部１４０は、記憶媒体インターフェース（Ｉ／Ｆ）１４３を介して、記憶媒体１４１に記憶された画像データに対応する画像を表示する。なお、記憶媒体１４１に記憶された画像データが圧縮されている場合には、かかる画像データを圧縮伸張部１４５で伸張して、ＶＲＡＭ１３６に展開すればよい。記憶媒体１４１は、例えば、不揮発性メモリで構成され、主に、画像データ（撮像した画像）を記憶する。画像データの記憶に関しては、フォルダ階層を構築したり、撮像順にフォルダ名やファイル名を命名したりすることが可能である。また、各画像データには、絞り値、シャッター速度、感度、撮像時刻などを付加することができる。撮像装置１は、記憶媒体１４１に記憶した画像データの複製、移動、消去なども行うことができる。
【００２８】
表示部１４０は、画像だけではなく、任意の情報を単独又は画像と共に表示することが可能である。任意の情報は、例えば、撮像装置１の状態、文字情報（シャッター速度、絞り値、感度など）、輝度分布などのグラフ、顔認識結果、シーン認識結果などを含む。
【００２９】
表示部１４０は、撮像装置１の背面に配置される（図１（ｃ）参照）。上述したように、表示部１４０は、画像や任意の情報などを表示することが可能であり、ユーザインターフェースとして機能する。表示部１４０を電子ファインダーとして機能させる場合、ＡＥ処理やＡＦ処理における測光領域情報及び測距距離情報をライブ画像に重畳して表示することも可能である。また、表示部１４０は、顔認識結果として、人物の顔に枠を重畳して表示したり、シーン認識結果として、青空、夕陽、逆光などのシーンを表すアイコンを表示したりすることが可能である。
【００３０】
なお、撮像装置１には、表示部１４０による電子ファインダーだけではなく、光学ファインダー１４２も構成することもできる。電子ファインダーは、高い視野率を実現しやすい、被写体を大きく見やすい、撮像される画像とファインダー画像の画角差（パララックス）がない、などの利点があるが、撮像素子１１８や表示部１４０を動作させるための電力（電池の消耗）が必要となる。従って、電池の消耗を避けて多くの画像を撮像したい場合には、電子ファンダーを機能させず、光学ファインダー１４２を用いることが好ましい。
【００３１】
ストロボ部１４４は、例えば、撮像装置１の正面において、レンズ１０２と同一面に配置される（図１（ｂ）参照）。被写体が暗い場合には、ストロボ部１４４が被写体にストロボ光を照射することで十分な光量を得ることが可能となり、速いシャッター速度を維持しながら好適な画像を撮像することができる。なお、ストロボ光を被写体に直接照射することを避けるために、ストロボ光が撮像装置１の上部方向に照射されるようにストロボ部１４４を配置してもよい。
【００３２】
操作部１４６は、ユーザの操作を受け付ける（システム制御部１３４に各種の指示を入力する）機能を有し、例えば、電源スイッチ１４６ａ、モード切替スイッチ１４６ｂ、設定スイッチ１４６ｃ、レリーズボタン１４６ｄなどを含む。なお、表示部１４０にタッチパネルが設けられている場合には、表示部１４０を操作部１４６の一部として機能させることもできる。
【００３３】
電源スイッチ１４６ａは、撮像装置１の電源状態を電源ＯＮの状態又は電源ＯＦＦの状態に切り替えるためのスイッチである。モード切替スイッチ１４６ｂは、撮像装置１の動作モード（静止画像撮像モード、動画像撮像モード、再生モードなど）を切り替えるためのスイッチである。また、モード切替スイッチ１４６ｂは、静止画像撮像モードにおいて、特定のシーンに最適化したモード（例えば、風景撮像モード、人物撮像モードなど）に切り替えるためのスイッチとしても機能する。設定スイッチ１４６ｃは、測距領域や測光モードなどの撮像時の撮像条件、画像再生時のページ送りなどの操作、撮像装置１の動作に関するパラメータ、電子ファインダーを機能させるかどうかなどを設定するためのスイッチである。
【００３４】
レリーズボタン１４６ｄは、被写体の撮像を指示するためのボタンであって、第１のスイッチと、第２のスイッチとを含む。第１のスイッチは、レリーズボタン１４６ｄの操作途中（半押し）でＯＮ状態となり、ＡＥ処理やＡＦ処理などの撮像準備処理が開始される。第２のスイッチは、レリーズボタン１４６ｄの操作完了（全押し）でＯＮ状態となり、露光処理や画像認識処理などの撮像処理が開示される。
【００３５】
以下、主被写体のピントや明るさを好適な条件で撮像するために、撮像装置１に備えられている追尾機能について説明する。なお、かかる追尾機能は、システム制御部１３４が撮像装置１の各部を統括的に制御することによって実現される。
【００３６】
図２は、撮像対象のシーンの一例を示す図である。図２（ａ）は、表示部１４０（画面）の中央に人物が位置し、かかる人物がボールで遊んでいるシーンを示している。図２（ａ）に示すシーンにおいて、主被写体のピントや明るさが好適になるように撮像するためには、例えば、顔認識機能による顔認識結果に基づいて、顔の位置やサイズに応じて測距領域や測光領域を人物の顔の近傍に設定する。そして、このような設定から得られた測距情報や測光情報を用いてＡＦ処理やＡＥ処理を行えばよい。なお、顔認識機能がない場合には、複数の測距領域を設定し、複数の測距領域のそれぞれから得られた測距情報を総合的に解析して、その解析結果に基づいて、例えば、近距離側を優先してＡＦ制御を行うなどすればよい。
【００３７】
また、特定の対象物（又は対象物の部位）に対してピントを合わせ続けたい場合には、指定された対象物を追尾すること（即ち、追尾機能）が必要となる。図２（ａ）では、表示部１４０の中央に追尾する対象物を指定するための追尾対象指定枠ＩＦが表示されている。この状態において、例えば、ユーザが任意のタイミングで設定スイッチ１４６ｃを押下すると、撮像装置１は、追尾する対象物が指定されたものとし、追尾対象指定枠ＩＦの内側又は近傍に位置する物体を追尾する対象物として設定する。また、表示部１４０にタッチパネルが設けられている場合には、ユーザが表示部１４０を押下すると、撮像装置１は、追尾する対象物が指定されたものとし、押下位置ＰＰの近傍に位置する物体を追尾する対象物として設定する。この場合、追尾対象指定枠ＩＦを表示したり、追尾対象指定枠ＩＦと追尾する対象物とを位置合わせしたりする必要がなくなる。
【００３８】
図２（ｂ）は、図２（ａ）に示す画像（に対応する画像信号）に画像処理を施して画像内を均等にブロック分割した状態を示している。本実施形態では、図２（ｂ）に示すようなブロック分割した低解像度の画像を用いて、対象物の追尾を実現する。
【００３９】
まず、図２（ｂ）に示すように、追尾する対象物としてボールが指定されたもとし、ボールの位置ＢＰに対応する画素を含む画素領域を対象物の特徴色を抽出するための特徴色抽出領域ＥＲとして設定する。本実施形態では、ボールの位置ＢＰに対応する画素と、かかる画素の周辺に位置する８つの画素とを含む画素領域を特徴色抽出領域ＥＲとして設定する。詳細には、図３に示すように、表示部１４０に表示された画像を３２×２４ブロックに分割し、ボールの位置ＢＰに対応する画素Ｅと、画素Ｅの周辺に位置する８つの画素Ａ、Ｂ、Ｃ、Ｄ、Ｆ、Ｇ、Ｈ及びＩとを含む画素領域を特徴色抽出領域ＥＲとする。
【００４０】
次に、図４に示すように、特徴色抽出領域ＥＲに含まれる９つの画素Ａ乃至Ｉのそれぞれの色を特徴候補色Ａ乃至Ｉとして抽出（設定）する。本実施形態では、９つの画素Ａ乃至Ｉのそれぞれの信号成分をＲＧＢ形式（８ビット）で表現するものとする。
【００４１】
次いで、特徴候補色と類似する色の画素（即ち、同系色の画素）が、画像内においてどのように分布しているかを求める。この際、以下の式１に示すように、特徴候補色のＲ、Ｇ、Ｂの各成分と対象画素のＲ、Ｇ、Ｂの各成分との差分が予め定められた信号レベルＴｈＲＧＢの範囲内であれば、かかる対象画素の色は特徴候補色に類似しているものと判断する。
（式１）
Σａｂｓ（Ｒ（ｎ）−Ｒ（ｘ、ｙ））≦ＴｈＲＧＢ
Σａｂｓ（Ｇ（ｎ）−Ｇ（ｘ、ｙ））≦ＴｈＲＧＢ
Σａｂｓ（Ｂ（ｎ）−Ｂ（ｘ、ｙ））≦ＴｈＲＧＢ
ＴｈＲＧＢ：３０ＬＳＢ、ｎ：特徴候補色（特徴候補色Ａ乃至Ｉ）、ｘ：水平座標（０〜３１）、ｙ：垂直座標（０〜２３）
なお、本実施形態では、画素の信号成分をＲＧＢ形式で表現し、３つの要素（Ｒ、Ｇ、Ｂ）が所定の範囲内であることを類似判断の基準とした。但し、色の類似判断には、当業界で周知の様々な技術を適用することができる。例えば、画素の信号成分を輝度成分と色成分とに分離し（即ち、ＹＣｒＣｂ形式で表現し）、閾値以上の彩度を有する画素については色相情報を用いて色の類似判断を行い、閾値未満の彩度を有する画素については輝度情報を用いて色の類似判断を行ってもよい。
【００４２】
図５（ａ）乃至図５（ｉ）は、特徴候補色Ａ乃至Ｉ（画素Ａ乃至Ｉの色）のそれぞれと同系色の画素の分布を示す図である。図５（ａ）乃至図５（ｉ）では、特徴候補色Ａ乃至Ｉのそれぞれと同系色の画素を灰色で示している。図５（ａ）乃至図５（ｉ）を参照するに、画素Ｂ、Ｃ及びＥの周囲には特徴候補色（即ち、画素Ｂ、Ｃ及びＥのそれぞれの色）と同系色の画素が分布していないため、画素Ｂ、Ｃ及びＥの色は、対象物であるボールを特徴づける特徴色である可能性が高い。一方、画素Ｇの周囲には特徴候補色（即ち、画素Ｇの色）と同系色の画素が多く分布しているため、画素Ｇの色は、床面の色などを表している可能性が高く、ボールを特徴づける特徴色である可能性は低い。
【００４３】
次いで、追尾対象指定位置に対応する画素（本実施形態では、画素Ｅ）を基点とし、画像を基点からの距離に応じて部分領域に分割して、部分領域ごとに特徴候補色と類似する色の画素の数をカウントする。図６は、基点である画素Ｅからの距離に応じて画像を６つの部分領域に分割した場合の例を示す図である。本実施形態では、図６に示すように、基点である画素Ｅに対して、１ステップ離れた領域を第１の部分領域、２ステップ離れた領域を第２の部分領域、３ステップ離れた領域を第３の部分領域とする。同様に、基点である画素Ｅに対して、４ステップ離れた領域を第４の部分領域、５ステップ離れた領域を第５の部分領域、６ステップ離れた領域を第６の部分領域とする。本実施形態では、基点を中心として、円形状の部分領域に画像を分割しているが、矩形状の部分領域に画像を分割してもよいし、基点から２ステップ離れた領域ごとに画像を分割してもよい。
【００４４】
図７は、第１の部分領域乃至第６の部分領域のそれぞれに含まれる特徴候補色Ａ乃至Ｉのそれぞれと同系色の画素の数をカウントした結果を示す図である。なお、図７には、第１の部分領域乃至第６の部分領域以外の周辺領域に含まれる特徴候補色Ａ乃至Ｉのそれぞれと同系色の画素の数をカウントした結果、及び、画像全体に含まれる特徴候補色Ａ乃至Ｉのそれぞれと同系色の画素の総数Ｓｕｍも示している。図７を参照するに、例えば、特徴候補色Ａと同系色の画素は、第１の部分領域に５つ、第２の部分領域に３つ、第３の部分領域に１つ、周辺領域に３つ含まれていることがわかる。
【００４５】
次に、画素Ａ乃至Ｉのそれぞれについて、特徴候補色Ａ乃至Ｉのそれぞれと類似する色の画素が連続する（即ち、同系色の画素からなる）画素グループとして独立しているかどうかを判断する。例えば、追尾する対象物として背景領域を指定しまった場合、特徴候補色と同系色の画素からなる画素グループは、画像周辺までの広範囲に及ぶことが想定され、このような対象物を追尾することはできない。また、追尾する対象物の特徴色となる色は、小さい面積で、且つ、周辺の色に対して独立した画素グループを形成していると考えられ、このような色を対象物の特徴色とするとよい。換言すれば、同系色の画素からなる画素グループの面積が基準面積よりも小さい特徴候補色を対象物の特徴色として抽出するとよい。なお、基準面積は、画素グループの面積が小さい特徴候補色ほど、対象物の特徴色として抽出されるように設定される。
【００４６】
そこで、本実施形態では、特徴候補色の画素（即ち、画素Ａ乃至Ｉのそれぞれ）を含んで特徴候補色と同系色の画素からなる画素グループと、他の色の画素との境界を検出するために、以下の式２に示す境界条件を特徴候補色の画素ごとに設定する。
（式２）
境界条件＝第１の部分領域に含まれる特徴候補色と同系色の画素の数×（ＴｈＢｏｒｄｅｒＲａｔｉｏ／１００）
ＴｈＢｏｒｄｅｒＲａｔｉｏ：２５％
式２に示すように、第１の部分領域に含まれる特徴候補色と同系色の画素の数に予め定められた割合（ＴｈＢｏｒｄｅｒＲａｔｉｏ）を乗じた値［画素数］を境界条件とする。そして、境界条件を下回る部分領域に、特徴候補色と同系色の画素からなる画素グループと、他の色の画素との境界があるものとする。
【００４７】
図８は、画素Ａ乃至Ｉのそれぞれについて、式２に従って境界条件を算出した結果を示す図である。式２において、ＴｈＢｏｒｄｅｒＲａｔｉｏを２５％とすると、例えば、画素Ａの境界条件は１．２５［画素数］、画素Ｆの境界条件は０．７５［画素数］となる。
【００４８】
図９（ａ）は、画素Ａを含んで特徴候補色Ａと同系色の画素からなる画素グループと、他の色の画素との境界の検出を説明するための図である。図９（ｂ）は、画素Ｇを含んで特徴候補色Ｇと同系色の画素からなる画素グループと、他の色の画素との境界の検出を説明するための図である。図９（ａ）及び図９（ｂ）では、横軸に部分領域を採用し、縦軸に画素数を採用している。また、図９（ａ）及び図９（ｂ）は、第１の部分領域、第２の部分領域、第３の部分領域、第４の部分領域、第５の部分領域、第６の部分領域及び周辺領域のそれぞれに含まれる特徴候補色Ａ及びＧのそれぞれと同系色の画素の数をプロットしたものである。
【００４９】
上述したように、画素Ａの境界条件は１．２５［画素数］であるため、特徴候補色Ａと同系色の画素の数が１．２５を下回る部分領域が境界となる。図９（ａ）を参照するに、特徴候補色Ａと同系色の画素は、第１の部分領域に５つ、第２の部分領域に３つ、第３の部分領域に１つ含まれているため、第３の部分領域に含まれる特徴候補色Ａと同系色の画素の数が１．２５を下回っている。従って、第２の部分領域と第３の部分領域との間が、特徴候補色Ａと同系色の画素からなる画素グループと、他の色の画素との境界として検出される。これにより、画素Ａは、第１の部分領域に含まれる５つの画素と、第２の部分領域に含まれる３つの画素からなる画素グループを構成すると判断される。
【００５０】
一方、画素Ｇの境界条件は、画素Ａの境界条件と同様に、１．２５［画素数］であるため、特徴候補色Ｇと同系色の画素の数が１．２５を下回る部分領域が境界となる。但し、図９（ｂ）を参照するに、特徴候補色Ｇと同系色の画素の数が１．２５を下回る部分領域が存在していない。これは、特徴候補色Ｇと同系色の画素が画像の周辺まで分布していることを意味し、特徴候補色Ｇは背景の色である可能性が高い。
【００５１】
このように、画素Ａ乃至Ｉのそれぞれについて、特徴候補色と同系色の画素かなる画素グループと、他の色の画素との境界を検出し、かかる画素グループの画素数、即ち、画素グループの面積（第１の面積）を求める。図１０は、特徴候補色Ａ乃至Ｉのそれぞれと同系色の画素からなる画素グループの画素数ＡｒｅａＩｎと、画像全体に含まれる特徴候補色Ａ乃至Ｉのそれぞれと同系色の画素の総数（即ち、面積（第２の面積））Ｓｕｍとを示す図である。この際、境界が検出されなかった画素（本実施形態では、画素Ｇ）は、追尾する対象物の特徴色とはならないと判断され、画素Ｇの色である特徴候補色Ｇは、対象物の特徴色の候補から除外される。また、境界が検出されている画素であっても、画素グループの面積が予め定められた基準面積よりも大きい場合や画素グループに画像の端に対応する画素（端の画素）を含む場合には、かかる画素に特徴候補色は、対象物の特徴色の候補色から除外するとよい。
【００５２】
次いで、以下の式３に従って、画像全体に含まれる特徴候補色と同系色の画素の総数（Ｓｕｍ）に対する、その特徴候補色の画素の画素グループの画素数（ＡｒｅａＩｎ）の比率を境界内色比率として算出する。
（式３）
境界内色比率＝（ＡｒｅａＩｎ／Ｓｕｍ）×１００［％］
例えば、画素Ｂについては、ＡｒｅａＩｎが１、Ｓｕｍが１であるため、境界内色比率は１００％となる（図１０参照）。境界内色比率が高いほど、同系色の画素が周囲に存在していないため、追尾する対象物（追尾対象指定位置）の近傍において特徴的な色であるとみなすことができる。
【００５３】
また、画素Ｉについては、ＡｒｅａＩｎが２、Ｓｕｍが１８であるため、境界内色比率は１１％となる（図１０参照）。境界内色比率の低い画素は、境界が検出されていたとしても、同系色の画素が周囲に多く分布している。従って、このような画素の色を用いて対象物を追尾しようとすると、追尾すべき対象物（本来の対象物）ではなく、他の物体（例えば、背景に存在する同系色の画素に対応する物体）を誤追尾してしまう可能性が高くなる。
【００５４】
そこで、本実施形態では、境界内色比率に基づいて、特徴候補色が対象物の特徴色になりえるかどうかを判断する。図１１（ａ）は、境界内色比率の高い順に特徴候補色Ａ乃至Ｉをソートした結果を示す図である。また、図１１（ｂ）は、境界内色比率の高い順にソートされた特徴候補色Ａ乃至Ｉのそれぞれに対して設定される基準比率を示す図である。基準比率は、特徴候補色Ａ乃至Ｉを追跡する対象物の特徴色の候補から除外するための除外条件であって、基準比率を下回る境界内色比率の特徴候補色は、対象物の特徴色の候補から除外される。本実施形態では、基準比率は、図１１（ｂ）に示すように、境界内色比率が低い特徴候補色ほど、対象物の特徴色の候補から除外されるように（換言すれば、境界内色比率が高い特徴候補色ほど、対象物の特徴色として抽出されるように）設定される。図１１（ｂ）を参照するに、特徴候補色Ｈの境界内色比率は２７％であり、基準比率である６０％を下回っている。同様に、特徴候補色Ｉの境界内色比率は１１％であり、基準比率である７０％を下回っている。従って、画素Ｈの色である特徴候補色Ｈ及び画素Ｉの色である特徴候補色Ｉは、対象物の特徴色の候補から除外される。なお、基準比率は、図１１（ｂ）に示す値に限定されず、任意の値を設定することが可能である。
【００５５】
次に、特徴候補色の相対的な特徴度を算出する。同系色の画素かなる画素グループのうち面積の小さい画素グループであるほど、追尾する対象物を特徴づけるユニークな貴重色であると考えられ、このような色を対象物の特徴色として抽出するために、本実施形態では、特徴度を算出する。具体的には、まず、図１２（ａ）に示すように、特徴候補色の画素の画素グループの画素数（ＡｒｅａＩｎ）の少ない順に特徴候補色Ａ乃至Ｉをソートする。本実施形態では、特徴候補色Ｂが画素グループの画素数が最も少ない（即ち、面積が最も小さい）特徴候補色であると特定される。そして、以下の式４に従って、特徴候補色Ａ乃至Ｉのそれぞれについて、画素グループの画素数（ＡｒｅａＩｎ）に対する画素グループの画素数のうち最も少ない画素数（ＡｒｅａＩｎＭｉｎ）の比率を特徴度として算出する。
（式４）
特徴度＝（ＡｒｅａＩｎＭｉｎ／ＡｒｅａＩｎ）×１００［％］
式４を参照するに、本実施形態では、ＡｒｅａＩｎＭｉｎは１（即ち、画素Ｂの画素グループの画素数）となり、ＡｒｅａＩｎは画素Ｂ、Ｃ、Ｅ、Ｆ、Ａ及びＤのそれぞれの画素グループの画素数となる。図１２（ａ）には、式４から算出された特徴度が示されている。図１２（ａ）を参照するに、画素グループの画素数が最も少ない特徴候補色Ｂは、自らの画素数との除算であるため、特徴度が最も高く、１００％となる。
【００５６】
そこで、本実施形態では、特徴度に基づいて、特徴候補色が対象物の特徴色になりえるかどうかを判断する。図１２（ｂ）は、画素グループの画素数の少ない順にソートされた特徴候補色Ａ乃至Ｉのそれぞれに対して設定される基準特徴度を示す図である。基準特徴度は、特徴候補色Ａ乃至Ｉを追跡する対象物の特徴色の候補から除外するための除外条件であって、基準特徴度を下回る特徴度の特徴候補色は、対象物の特徴色の候補から除外される。本実施形態では、基準特徴度は、図１２（ｂ）に示すように、特徴度が低い特徴候補色ほど、対象物の特徴色の候補から除外されるように（換言すれば、特徴度が高い特徴候補色ほど、対象物の特徴色として抽出されるように）設定される。図１２（ｂ）を参照するに、特徴候補色Ｆ、Ａ及びＤのそれぞれの特徴度は２０％、１２％及び７％であり、それぞれの基準特徴度である３０％、４５％及び６０％を下回っている。従って、画素Ｆの色である特徴候補色Ｆ、画素Ａの色である特徴候補色Ａ及び画素Ｄの色である特徴候補色Ｄは、対象物の特徴色の候補から除外される。
【００５７】
このようにして、特徴候補色Ａ乃至Ｉのうち、同系色の画素からなる画素グループの面積が基準面積よりも小さく、境界内色比率が基準比率よりも高く、特徴度が基準特徴度よりも高い特徴候補色Ｂ、Ｃ及びＥが追跡する対象物の特徴色として抽出される。図５を参照するに、特徴候補色Ｂ、Ｃ及びＥは、追尾対象指定位置の近傍に同系色の画素がなく、画素グループの面積が小さいユニークな特徴候補色が対象物の特徴色として抽出されていることがわかる。
【００５８】
画素Ｂ、Ｃ及びＥのそれぞれの特徴候補色Ｂ、Ｃ及びＥは、追跡する対象物の特徴色として、例えば、一時記憶メモリ１３０やシステム制御部１３４のメモリなどに記憶される。なお、本実施形態では、特徴候補色Ｂ、Ｃ及びＥは、図１３（ａ）に示すように、メイン画素として、この際、特徴候補色Ｂ、Ｃ及びＥの特徴度も記憶する。また、図１３（ａ）及び図１３（ｂ）に示すように、画素Ｂ、Ｃ及びＥの上下左右に隣接する画素の色も、サブ画素として、ＲＧＢ形式で記憶される。対象物を追尾する際に、サブ画素の色との一致度も用いることで、対象物を追尾する精度を向上させることができる。本実施形態では、特徴候補色Ｂ、Ｃ及びＥ（即ち、上述した処理により抽出された色）を対象物の静的特徴色として記憶するものとする。かかる静的特徴色は、一度記憶されると更新されない特徴色である。また、本実施形態では、後述するように、対象物の動的特徴色も記憶される。かかる動的特徴色は、対象物の追尾中に逐次更新される特徴色である。対象物を追尾する際に、動的特徴色も用いることで、対象物や環境に変化があっても、対象物の追尾を継続することが可能となる。このように、一時記憶メモリ１３０やシステム制御部１３４のメモリは、静的特徴色を記憶する第１の記憶部や動的特徴色を記憶する第２の記憶部として機能する。
【００５９】
図１３（ａ）に示す静的特徴色及び動的特徴色を用いた対象物の追尾について具体的に説明する。基本的には、画像内において、対象物の特徴色（本実施形態では、特徴候補色Ｂ、Ｃ及びＥ）と類似する色の画素を探索し、特徴色と類似する（即ち、特徴色との類似度が高い）色の画素に対応する位置を対象物（の位置）として決定する。なお、対象物を追尾する際には、上述したように、特徴度やメイン画素の上下左右に隣接するサブ画素の色との一致度も用いる。
【００６０】
対象物の色と同系色の物体が画像（背景）に含まれている場合には、追尾結果のハンチングや誤追尾の発生を低減するために、前回の追尾で決定された対象物の位置に近いほど、類似度が高くなるようにする必要がある。そこで、本実施形態では、重みテーブルを用いる。重みテーブルは、前回の追尾で決定された対象物の位置に対応する画素を基点とし、各画素の位置において基点からの距離に応じて重み量が設定されたテーブルである。なお、基点からの距離に応じた重み量の変化量は、様々な条件に応じて適宜設定することが可能である。
【００６１】
重みテーブルを生成するために、まず、追尾する対象物の特徴色と類似する色の画素が、画像内においてどのように分布しているかを求める。図１４は、追尾する対象物の特徴色と類似する色の画素の画像内における分布を示す図である。図１４において、画素ＰＸ１は、前回の追尾で決定された対象物の位置（即ち、最新の対象物の位置）に対応する画素である。また、画素ＰＸ２、ＰＸ３及びＰＸ４を含む灰色で示される画素は、対象物の特徴色と類似する色の画素（類似画素）である。監視領域（第３の領域）ＯＡは、対象物の特徴色と類似する色の画素を探索する領域であって、画像全体をカバーするように設定（領域設定）される。なお、式１に示したように、対象物の特徴色のＲ、Ｇ、Ｂの各成分と対象画素のＲ、Ｇ、Ｂの各成分との差分が予め定められた信号レベルの範囲内であれば、かかる対象画素の色は対象物の特徴色に類似しているものと判断する。
【００６２】
そして、以下の式５に従って、最新の対象物の位置である画素ＰＸ１の位置（ＴａｒｇｅｔＰｏｓＸ、ＴａｒｇｅｔＰｏｓＹ）と、類似画素の位置（ＦｉｎｄＰｏｓＸ、ＦｉｎｄＰｏｓＹ）との距離の総和（ＤｉｓｔａｎｃｅＳｕｍ）を類似色分布度として算出する。
（式５）
ＤｉｓｔａｎｃｅＳｕｍ＝Σ√（ａｂｓ（ＴａｒｇｅｔＰｏｓＸ−ＦｉｎｄＰｏｓＸ（ｘ））２＋ａｂｓ（ＴａｒｇｅｔＰｏｓＹ−ＦｉｎｄＰｏｓＹ（Ｙ））２）
Ｘ：０〜３１、Ｙ：０〜２３
類似色分布度であるＤｉｓｔａｎｃｅＳｕｍが大きいほど、類似画素が周囲に多く存在していることを意味するため、誤追尾が発生する可能性が高くなる。そこで、類似色分布度に応じて、重み量の変化量を変化させ、前回の追尾で決定された対象物の位置に対応する画素（基点）からの距離が大きいほど、類似度が低くなるような重み量（即ち、大きな重み量）を設定し、誤追尾が発生する可能性を低減する。
【００６３】
図１５は、類似色分布度（ＤｉｓｎｔａｎｃｅＳｕｍ）に応じた重み下げ係数（ＷｅｉｇｈｔＤｏｗｎＲａｔｉｏ）を示す図である。図１５では、横軸に類似色分布度（ＤｉｓｎｔａｎｃｅＳｕｍ）を採用し、縦軸に重み下げ係数（ＷｅｉｇｈｔＤｏｗｎＲａｔｉｏ）を採用している。図１５を参照するに、類似色分布度が大きいほど、重み下げ係数が大きくなるこがわかる。重み下げ係数は、重みテーブルを生成する際に重要なパラメータとなる。
【００６４】
図１６は、重みテーブルの生成を概念的に示す図である。曲線ＣＶは、重みテーブルの変化に相当し、最新の対象物の位置である画素ＰＸ１の位置（ＴａｒｇｅｔＰｏｓＸ、ＴａｒｇｅｔＰｏｓＹ）を基点として、重み量が変化していることを表している。曲線ＣＶは、曲線ＷｅｉｇｈｔＲａｔｉｏＩｎ（Ｘ、Ｙ）、及び、曲線ＷｅｉｇｈｔＲａｔｉｏＯｕｔ（Ｘ、Ｙ）の２つの指数曲線で構成される。曲線ＷｅｉｇｈｔＲａｔｉｏＩｎ（Ｘ、Ｙ）は、位置（ＴａｒｇｅｔＰｏｓＸ、ＴａｒｇｅｔＰｏｓＹ）と、かかる位置から所定の距離だけ離れた重み下げ位置（ＤｉｓｔＤｏｗｎ）とを結ぶ曲線である。曲線ＷｅｉｇｈｔＲａｔｉｏＯｕｔ（Ｘ、Ｙ）は、重み下げ位置（ＤｉｓｔＤｏｗｎ）と画像端位置ＤｉｓｔＺｅｒｏとを結ぶ曲線である。重み下げ位置（ＤｉｓｔＤｏｗｎ）は、図１５に示す重み下げ係数（ＷｅｉｇｔＤｏｗｎＲａｔｉｏ）に応じて重み量増減方向ＤＲ１に上下する。これにより、最新の対象物の位置である画素ＰＸ１の位置（ＴａｒｇｅｔＰｏｓＸ、ＴａｒｇｅｔＰｏｓＹ）の近傍での重み量の変化量の急峻度、及び、画像周辺領域での重み量が動的に生成される。
【００６５】
また、各画素の位置における重み量を算出するための曲線ＷｅｉｇｈｔＲａｔｉｏＩｎ（Ｘ、Ｙ）、及び、曲線ＷｅｉｇｈｔＲａｔｉｏＯｕｔ（Ｘ、Ｙ）のそれぞれは、以下の式６から求められる。なお、Ｄｉｓｔ（Ｘ、ｙ）は、最新の対象物の位置である画素ＰＸ１の位置（ＴａｒｇｅｔＰｏｓＸ、ＴａｒｇｅｔＰｏｓＹ）からの距離である。
（式６）
ＷｅｉｇｈｔＲａｔｉｏＩｎ（Ｘ、Ｙ）＝１００−（Ｄｉｓｔ（Ｘ、ｙ）２／ＤｉｓｔＤｏｗｎ２）×ＷｅｉｇｈｔＤｏｗｎＲａｔｉｏ
ＷｅｉｇｈｔＲａｔｉｏＯｕｔ（Ｘ、Ｙ）＝（Ｄｉｓｔ（Ｘ、Ｙ）２／（ＤｉｓｔＺｅｒｏ−ＤｉｓｔＤｏｗｎ）２）×（１００−ＷｅｉｇｈｔＤｏｗｎＲａｔｉｏ）
Ｘ：０〜３１、Ｙ：０〜２３
重みテーブルは、類似色分布度から決定される重み下げ係数と、前回の追尾で決定された対象物の位置とから動的に生成される。図１７は、重みテーブルの概念を示す図である。例えば、画像の周辺に類似画素がほとんど含まれていない場合には、図１７（ａ）に示すように、重み下げ係数は小さな値に設定され、重み量の変化量は緩く、周辺にもある程度の重み量が与えられるような重みテーブルが生成される。また、画像の周辺に類似画素が多く含まれている場合には、図１７（ｂ）や図１７（ｃ）に示すように、重み下げ係数は大きな値に設定され、重み量の変化量が急峻となり、周辺には小さな重み量が与えられるような重みテーブルが生成される。なお、本実施形態では、指数曲線を用いて重み量の変化を表現したが、単純な線分を用いて重み量の変化を表現してもよい。また、複数の重み下げ位置を設定することで、線分だけで曲線に近い重み量の変化を表現することも可能である。
【００６６】
このようにして生成された重みテーブルに基づいて、追尾する対象物を探索する静的探索領域（第１の領域）ＳＳＡを設定（領域設定）する。なお、静的探索領域ＳＳＡは、対象物の静的特徴色を用いて対象物の追尾を行うための領域であって、本実施形態では、図１７及び図１８に示すように、重み量が所定量以上となる領域が静的探索領域ＳＳＡとして設定される。図１８（ａ）乃至図１８（ｃ）のそれぞれは、図１７（ａ）乃至図１７（ｃ）に示す重みテーブルに基づいて設定される静的探索領域ＳＳＡを示しており、重み量の変化量が急峻であるほど、静的探索領域ＳＳＡが小さくなることがわかる。なお、図１８（ｄ）は、対象物の位置である画素ＰＸ１の位置（ＴａｒｇｅｔＰｏｓＸ、ＴａｒｇｅｔＰｏｓＹ）が画像中央に位置していない場合を示している。
【００６７】
静的探索領域ＳＳＡが小さくなると、追尾する対象物が急に動いた場合や撮像装置１のブレが生じた場合などに、対象物を追尾することができなくなる可能性がある。一方、静的探索領域ＳＳＡが大きくなると、画像に類似画素が多く含まれている場合には、誤追尾が発生する可能性が高くなる。従って、重みテーブルの重み量に応じて静的探索領域ＳＳＡを設定することが有効となる。
【００６８】
また、領域を画像内の全ての領域から類似画素を探索すると、システム的な処理負荷が増加するため、消費電力の増加や高負荷に耐えるシステムを構築するためのコストの増加を招いてしまう。一方、本実施形態では、重み量に応じて静的探索領域ＳＳＡの範囲を制限しているため、システム的な処理負荷が軽減され、消費電力の増加などを抑えることができる。
【００６９】
図１９は、撮像装置１において、処理負荷を軽減するためのタイミングチャートである。図１８（ａ）乃至図１８（ｂ）に示したように、監視領域ＯＡは、画像全体をカバーするように設定され、静的探索領域ＳＳＡは、重み量により変化するものの、監視領域ＯＡよりも小さく設定される。このように、監視領域ＯＡの面積は、静的探索領域ＳＳＡの面積よりも大きい。類似色分布度を算出する動作周期を落とすことで、処理負荷を軽減させることが可能となる。また、対象物を追尾する動作周期を落とすことは、追尾性能に大きく影響するが、類似色分布度を算出する動作周期を落としたとしても、追尾性能にはほとんど影響しない。そこで、図１９に示すように、撮像素子１１８での電荷のチャージ、撮像素子１１８からの電荷の読み出し及び画像の生成は、撮像同期信号ＶＤの周期で行われるように設定する。また、重みテーブルの生成に必要となる類似色分布度の算出（及び重み下げ係数の算出）が、例えば、撮像同期信号ＶＤの４倍の周期で行われるように設定する。更に、対象物の追尾は、撮像同期信号ＶＤの周期で行われるように設定する。このように、類似色分布度の動作周期が対象物の追尾の動作周期よりも長くなるように設定する。なお、ＡＦ処理や画像の表示は、任意の周期で行われるように設定することができる。
【００７０】
図２０（ａ）は、３２×２４ブロックに分割された画像の上に設定された静的探索領域ＳＳＡの一例を示す図である。また、本実施形態では、図２０（ｂ）に示すように、前回の追尾で決定された対象物の位置に対応する画素ＰＸ１を基点として、動的探索領域（第２の領域）ＤＳＡを設定（領域設定）する。動的探索領域ＤＳＡは、対象物の動的特徴色を用いて対象物の追尾を行うための領域である。本実施形態では、動的探索領域ＤＳＡは、画素ＰＸ１を含む５画素×５画素の画素領域で設定されているが、サイズを限定するものではない。また、動的探索領域ＤＳＡは、矩形領域に限定されるものでもなく、例えば、円形領域であってもよい。但し、動的探索領域ＤＳＡは、動的探索領域ＤＳＡの面積が静的探索領域ＳＳＡの面積よりも小さくなるように設定される。これは、動的特徴色を用いた対象物の追尾は、前フレーム画像で記憶された動的特徴色に類似する色を現フレーム画像のその近傍のみから探索するため、動的探索領域ＤＳＡを広げる必要がないからである。
【００７１】
このように設定された静的探索領域ＳＳＡ及び動的探索領域ＤＳＡにおいて、対象物の追尾を行う。まず、対象物の特徴色（静的特徴色及び動的特徴色）と類似する色の画素（類似画素）を探索する。具体的には、図１３に示したように、本実施形態では、対象物の特徴色は、ＲＧＢ形式で記憶されているため、以下の式７に示すように、対象物の特徴色のＲ、Ｇ、Ｂの各成分と対象画素のＲ、Ｇ、Ｂの各成分との差分ΔＲ、ΔＧ、ΔＢを算出する。
（式７）
ΔＲ＝ａｂｓ（Ｒ（Ｎ）−Ｒ（Ｘ、Ｙ））
ΔＧ＝ａｂｓ（Ｇ（Ｎ）−Ｇ（Ｘ、Ｙ））
ΔＢ＝ａｂｓ（Ｂ（Ｎ）−Ｂ（Ｘ、Ｙ））
Ｎ：静的特徴色又は動的特徴色、Ｘ：水平座標、Ｙ：垂直座標
そして、以下の式８に示すように、差分ΔＲ、ΔＧ、ΔＢが予め定められた信号レベルＴｈＲＧＢの範囲内であれば、かかる対象画素の色は特徴色に類似しているものと判断する。
（式８）
ΔＲ≦ＴｈＲＧＢ
ΔＧ≦ＴｈＲＧＢ
ΔＢ≦ＴｈＲＧＢ
式８において、信号レベルＴｈＲＧＢは、静的特徴色を用いて対象物を追尾する場合と動的特徴色を用いて対象物を追尾する場合とで異なる値を設定することができる。また、信号レベルＴｈＲＧＢは、動的特徴色を用いて対象物を追尾する場合には、シーンに応じて適切な値に変更することが可能である。
【００７２】
静的特徴色を用いて対象物を追尾する場合には、信号レベルＴｈＲＧＢを固定値（例えば、３０ＬＳＢ）とすることで、シーンにかかわらず、同一（即ち、一定）の基準で類似画像の判定を行うことができる。一方、動的特徴色を用いて対象物を追尾する場合には、上述した類似色分布度（ＤｉｓｔａｎｃｅＳｕｍ）を用いて、図２１に示す関数（テーブル）から信号レベルＴｈＲＧＢを算出する。図２１では、横軸に類似色分布度を採用し、縦軸に信号レベルＴｈＲＧＢを採用している。図２１を参照するに、類似色分布度が大きいほど、信号レベルＴｈＲＧＢが小さくなる（即ち、類似画素の判定の基準が高くなる）。これは、画像の周辺に類似画素が多く含まれているほど、誤追尾が発生する可能性が高くなるため、類似画素の判定の基準を高くすることで、誤追尾の発生を抑えるためである。
【００７３】
このようにして判定された類似画素のそれぞれについて、以下の式９に従って、対象物の特徴色との類似の度合いを表す色類似度（即ち、静的特徴色との類似の度合いを表す第１の類似度及び動的特徴色との類似の度合いを表す第２の類似度）を算出する。
（式９）
色類似度＝｛（（ＴｈＲＧＢ−ΔＲ）／ＴｈＲＧＢ）＋（（ＴｈＲＧＢ−ΔＧ）／ＴｈＲＧＢ）＋（（ＴｈＲＧＢ−ΔＢ）／ＴｈＲＧＢ）｝×１００［％］
色類似度は、本実施形態では、類似画素のＲ、Ｇ、Ｂの各成分の全てが対象物の特徴色と一致する、即ち、ΔＲ、ΔＧ、ΔＢの全てがゼロになる場合に、１００％となる。また、ΔＲ、ΔＧ、ΔＢが信号レベルＴｈＲＧＢに近いほど、ゼロ％に近くなる。
【００７４】
次に、対象の類似画素の上下左右に隣接する画素の色が、サブ画素の色（図１３（ａ）参照）と類似しているかどうかを判定する。かかる判定（の基準）は、上述した類似画像の判定と同様である。そして、サブ画素の色と類似していると判定された画素の数をカウントし、図２２に示す関数（テーブル）から隣接度を算出する。図２２では、横軸にサブ画素の色と類似していると判定された画素の数を採用し、縦軸に隣接度を採用している。テーブルＴＢ１は、類似画素の上下左右に隣接する４つの画素を隣接度の評価対象とする際に用いるテーブルである。類似画素の上下左右に隣接する４つの画素の全てがサブ画素の色と類似していると判定された場合（即ち、サブ画素の色と類似していると判定された画素の数が４つである場合）、隣接度は１００％となる。また、類似画素の上下左右に隣接する４つの画素の全てがサブ画素の色と類似していないと判定された場合（即ち、サブ画素の色と類似していると判定された画素の数がゼロである場合）、隣接度は５０％となる。なお、本実施形態では、隣接度の評価対象を類似画素の上下左右に隣接する４つの画素としているが、類似画素の斜め方向に隣接する画素を含めた８つの画素を隣接度の評価対象とすることも可能である。この場合には、８つの画素を隣接度の評価対象とする際に用いるテーブルＴＢ２から隣接度を算出すればよい。
【００７５】
次いで、類似画素のそれぞれについて、以下の式１０に従って、色類似度、隣接度及び特徴度を用いた評価値を算出する。なお、評価値は、静的特徴色及び動的特徴色のそれぞれで算出する。
（式１０）
評価値＝ＥＶＡ＿ＢＡＳＥ×（色類似度／１００）×（隣接度／１００）×（特徴度／１００）
本実施形態では、評価値を一般化するために、ＥＶＡ＿ＢＡＳＥを２５５ＬＳＢと定義し、かかる値に対して色類似度、隣接度及び特徴度を掛け合わせたものを評価値として算出する。例えば、色類似度、隣接度及び特徴度の全てが１００％である場合、評価値として最も高い２５５ＬＳＢが算出され、色類似度、隣接度及び特徴度の低下に伴って評価値が低くなっていく。
【００７６】
図２３（ａ）は、静的特徴色を用いて対象物の追尾を行う静的探索領域ＳＳＡに対して評価値（静的評価値）を算出した結果を示す図である。図２３（ｂ）は、動的特徴色を用いて対象物の追尾を行う動的探索領域ＤＳＡに対して評価値（動的評価値）を算出した結果を示す図である。ここで、図２３（ａ）に示す静的評価値と図２３（ｂ）に示す動的評価値とを合成する。
【００７７】
具体的には、まず、図２３（ｂ）に示す動的評価値のうち最も高い評価値を求める。本実施形態では、位置（２０、１２）の画素の動的評価値が最も高い。かかる画素の動的評価値と、同一の位置（２０、１２）の画素の静的評価値とを比較すると、動的評価値が９５ＬＳＢであり、静的評価値が９０ＬＳＢであり、動的評価値が静的評価値よりも大きい。このような場合、図２３（ａ）及び図２３（ｂ）に示すように、静的評価値である９０ＬＳＢを動的評価値である９５ＬＳＢに置換する。これにより、静的評価値をベースとし、そのうちの１つの評価値が動的特徴色との類似度が最も高い画素の動的評価値に置換された評価値マップが生成される。
【００７８】
次に、静的評価値と動的評価値とを合成して生成された評価値に対して、以下の式１１に示すように、重みテーブルの重み量を各画素に掛け合わせる（図２４（ｂ）参照）。
（式１１）
ΣＥｖａ（ｘ、ｙ）×（ＷｉｇｈｔＲａｔｉｏ（ｘ、ｙ））／１００
これにより、前回の追尾で決定された対象物の位置に対応する画素を基点とした重み量が重み付けされ、図２４（ａ）に示すような評価値マップが生成される。このような重み付けによって、追尾する対象物の色と類似する色の物体や背景への誤追尾が軽減される。但し、重み量の変化量が急峻な重みテーブルを生成した場合には、対象物の動きに対応できなくなる可能性もあるため、重み下げ係数を決定するテーブル（図１５参照）を適切に設定する必要がある。
【００７９】
このようにして生成された評価値マップから対象物の位置を決定する。まず、図２５に示すように、静的評価値と動的評価値とを合成して重み量を重み付けした評価値マップから、最も高い評価値の画素の位置（２０、１２）を特定する。そして、かかる画素の位置（２０、１２）を基点とし、評価値がある程度高い画素を含む領域を対象物として決定する。但し、最も高い評価値が、例えば、以下の式１２から求められる基準値よりも低い（即ち、類似度が基準類似度を満たさない）場合には、対象物を追尾できなかったものとする。なお、式１２において、ＥｖａＭａｘは、最大評価値である。
（式１２）
基準値＝ＥｖａＭａｘ×（ＴｈＣｌｉｐＲａｔｉｏ／１００）
ＴｈＣｌｉｐＲａｔｉｏ：４５％
式１２を参照するに、基準値は、最大評価値ＥｖａＭａｘに予め定められた割合ＴｈＣｌｉｐＲａｔｉｏを乗じた値である。図２５に示す評価値マップにおいては、式１２から基準値は４２ＬＳＢとなり、この基準値を上回る評価値の画素（図中では、灰色で示す画素）が抽出される。そして、基準値を上回る評価値の画素を囲むような領域を対象物として決定する。なお、本実施形態では、基準値を上回る評価値の画素を囲む領域を矩形領域としているが、これは、かかる矩形領域をＡＦ処理における測距領域などとして用いるためである。
【００８０】
また、このようにして決定された対象物の位置に対応する画素の色を、動的特徴色として更新する。具体的には、図２５において、最も高い評価値の画素（位置（２０、１２）の画素）のＲ、Ｇ、Ｂの各成分を求める。そして、以下の式１３及び式１４に従って、最も高い評価値の画素のＲ、Ｇ、Ｂの各成分が、静的特徴色（図１３（ａ）参照）と類似しているかどうかを判定する。
（式１３）
ΔＲ＝ａｂｓ（ＥｖａＭａｘＲ−Ｒ（Ｎ））
ΔＧ＝ａｂｓ（ＥｖａＭａｘＧ−Ｇ（Ｎ））
ΔＢ＝ａｂｓ（ＥｖａＭａｘＢ−Ｂ（Ｎ））
Ｎ：静的特徴色
（式１４）
ΔＲ≦ＴｈＲＧＢ
ΔＧ≦ＴｈＲＧＢ
ΔＢ≦ＴｈＲＧＢ
ＴｈＲＧＢ：固定値（４０ＬＳＢ）
最も高い評価値の画素（位置（２０、１２）の画素）のＲ、Ｇ、Ｂの各成分と静的特徴色との差分であるΔＲ、ΔＧ、ΔＢの全てが信号レベルＴｈＲＧＢを下回っている場合には、動的特徴色を更新する。具体的には、最も高い評価値の画素（位置（２０、１２）の画素）の上下左右に隣接する画素のＲ、Ｇ、Ｂの各成分の平均値を動的特徴色として更新（記憶）する。なお、更新された動的特徴色は、次回の対象物の追尾で用いられる。
【００８１】
対象物の追尾を周期的に行う際に、前回の追尾で決定された対象物の位置に対応する画素のテンプレートや色情報を無条件に逐次更新する場合について考える。この場合、対象物の前を他の物体が横切ったり、対象物が変化したりすると、徐々に対象物とは異なる物体を追尾してしまい、誤追尾が発生するという問題がある。一方、本実施形態では、対象物の追尾を開始したときに抽出した静的特徴色から著しく乖離した色は、動的特徴色として更新していないため、誤追尾が発生する可能性を低減させることができる。
【００８２】
以下、撮像装置１の動作について説明する。図２６は、撮像装置１の全体的な動作を説明するためのフローチャートである。Ｓ２６０２では、電源スイッチ１４６ｄの押下により撮像装置１の電源状態が電源ＯＮの状態になると、システム制御部１３４が起動する。Ｓ２６０４では、撮像装置１を構成するデバイス（レンズ１０２、シャッター１１４、絞り１１０、撮像素子１１８、表示部１４０など）が起動する。Ｓ２６０６では、表示部１４０に表示される画像の露出、色、ピントが適切になるように、ＡＥ処理、ＡＷＢ処理、ＡＦ処理を開始する。Ｓ２６０８では、表示部１４０での画像の表示を開始する。
【００８３】
Ｓ２６１０では、追尾する対象物が指定されたかどうかを判定する。追尾する対象物の指定は、上述したように、表示部１４０に表示されている画像に重畳して表示されている追尾対象指定枠を操作したり、表示部１４０に表示されている画像を直接押下したりすることで行われる（図２（ａ）参照）。追尾する対象物が指定されている場合には、Ｓ２６１２に移行して、対象物の特徴色を抽出する特徴色抽出処理を行う。また、追尾する対象物が指定されていない場合には、Ｓ２６１４、Ｓ２６１６、Ｓ２６１８及びＳ２６２０に移行する。
【００８４】
Ｓ２６１４、Ｓ２６１６及びＳ２６１８のそれぞれでは、表示部１４０に表示される画像の露出、色、ピントが適切になるように、ＡＥ処理、ＡＷＢ処理及びＡＦ処理を継続する。Ｓ２６２０では、対象物の追尾を行うかどうかを判定する。対象物の追尾を行う場合には、Ｓ２６２２に移行して、対象物を追尾する追尾処理を行う。また、対象物の追尾を行わない場合には、Ｓ２６２４に移行する。
【００８５】
Ｓ２６２４では、レリーズボタン１４６ｄの操作により第１のスイッチがＯＮ状態になっているかどうかを判定する。第１のスイッチがＯＮ状態になっていない場合には、Ｓ２６１０に移行する。また、第１のスイッチがＯＮ状態になっている場合には、Ｓ２６２６に移行する。
【００８６】
Ｓ２６２６では、撮像される画像の露出が適切になるように、ＡＥ処理を行う。Ｓ２６２８では、撮像される画像のピントが適切になるように、ＡＦ処理を行う。なお、追尾処理が行われている場合には、かかる追尾処理の結果を用いて、ＡＥ処理やＡＦ処理が行われる。
【００８７】
Ｓ２６３０では、対象物の追尾中であるかどうかを判定する。対象物の追尾中である場合には、Ｓ２６３２及びＳ２６３４に移行する。また、対象物の追尾中でない場合には、Ｓ２６３６に移行する。
【００８８】
Ｓ２６３２では、追尾処理の結果を用いて、撮像される画像の露出が適切になるように、ＡＥ処理を行う。Ｓ２６３４では、追尾処理の結果を用いて、撮像される画像のピントが適切になるように、ＡＦ処理を行う。なお、一般には、第１のスイッチがＯＮ状態になると、被写体を撮像する準備が整えられ、第２のスイッチがＯＮ状態になるまで待機することになる。但し、追尾処理が行われている場合には、被写体が動体であることが多いため、本実施形態のように、第１のスイッチがＯＮ状態である間、追尾処理の結果に応じてＡＥ処理及びＡＦ処理を行うことが好ましい。
【００８９】
Ｓ２６３６では、レリーズボタン１４６ｄの操作により第２のスイッチがＯＮ状態になっているかどうかを判定する。第２のスイッチがＯＮ状態になっていない場合には、Ｓ２６３８に移行する。また、第２のスイッチがＯＮ状態になっている場合には、Ｓ２６４０に移行する。
【００９０】
Ｓ２６３８では、第１のスイッチがＯＮ状態になっているかどうかを判定する。第１のスイッチがＯＮ状態になっていない場合には、Ｓ２６１０に移行する。また、第１のスイッチがＯＮ状態になっている場合には、Ｓ２６３０に移行する。
【００９１】
Ｓ２６４０では、ストロボ部１４４によるストロボ光の照射を行うかどうかを判定する。例えば、低照度環境下や逆光シーンなどにおいては、ストロボ光を照射することが必要となる。ストロボ光の照射を行う場合には、Ｓ２６４２に移行して、ストロボ光の光量（は発光量）を決定するための調光処理を行う。ストロボ光の照射を行わない場合には、Ｓ２６４４に移行する。
【００９２】
Ｓ２６４４では、被写体を撮像する撮像処理を行う。この際、ストロボ光の照射を行う場合には、Ｓ２６４２で決定された光量でストロボ光が照射される。Ｓ２６４６では、電源スイッチ１４６ａの操作により撮像装置１の電源状態が電源ＯＦＦの状態になったかどうかを判定する。電源ＯＦＦの状態になっていない（電源ＯＮの状態を維持している）場合には、Ｓ２６３８に移行する。また、電源ＯＦＦの状態になっている場合には、終了処理を行って、動作を終了する。
【００９３】
図２７を参照して、特徴色抽出処理（Ｓ２６１２）について説明する。Ｓ２７０２では、追尾する対象物の特徴色を抽出するための特徴色抽出領域を設定する（図２（ｂ）参照）。Ｓ２７０４では、特徴色抽出領域に含まれる画素のそれぞれの色を特徴候補色として抽出し、特徴候補色と対象画素の色との差分を算出する。
【００９４】
Ｓ２７０６では、対象画素の色が特徴候補色と類似しているかどうかを判定する。具体的には、上述したように、Ｓ２７０４で算出された差分が予め定められた信号レベルの範囲内であれば、かかる対象画素の色は特徴候補色に類似していると判定する。対象画素の色が特徴候補色と類似していない場合には、Ｓ２７１０に移行する。また、対象画素の色が特徴候補色と類似している場合には、Ｓ２７０８に移行し、特徴候補色に類似していると判定された対象画素を部分領域ごとに分類する。なお、部分領域とは、上述したように、追尾対象指定位置に対応する画素を基点とし、かかる基点からの距離に応じて分割された領域である。
【００９５】
Ｓ２７１０では、全ての画素を対象画素としたかどうかを判定する。全ての画素を対象画素としていない場合には、次の画素を対象画素として、Ｓ２７０４に移行する。全ての画素を対象画素とした場合には、Ｓ２７１２に移行する。
【００９６】
Ｓ２７１２では、特徴候補色と類似する色の画素が連続する（即ち、同系色の画素からなる）画素グループを特定し、特徴候補色の画素を含んで特徴候補色と同系色の画素からなる画素グループと、他の色の画素との境界を検出する。
【００９７】
Ｓ２７１４では、境界内色比率を算出する。なお、境界内色比率とは、上述したように、画像全体に含まれる特徴候補色と同系色の画素の総数に対する、その特徴候補色の画素の画素グループの画素数の比率である。
【００９８】
Ｓ２７１６では、全ての特徴候補色に対してＳ２７０４乃至Ｓ２７１４の処理を行ったかどうかを判定する。全ての特徴候補色に対してＳ２７０４乃至Ｓ２７１４の処理を行っていない場合には、次の特徴候補色を選択して、Ｓ２７０４に移行する。また、全ての特徴候補色に対してＳ２７０４乃至Ｓ２７１４の処理を行った場合には、Ｓ２７１８に移行する。
【００９９】
Ｓ２７１８では、Ｓ２７１４で算出した境界内色比率の高い順に特徴候補色をソートする。Ｓ２７２０では、特徴候補色のうち基準比率を下回る境界内色比率の特徴候補色を対象物の特徴色の候補から除外する。なお、基準比率は、上述したように、境界内色比率が低い特徴候補色ほど、対象物の特徴色の候補から除外されるように設定されている。
【０１００】
Ｓ２７２２では、特徴候補色の画素の画素グループの画素数の少ない順に特徴候補色をソートする。Ｓ２７２４では、特徴候補色の相対的な特徴度を算出する。なお、特徴度とは、上述したように、画素グループの画素数に対する、画素グループの画素数のうち最も少ない画素数の比率である。Ｓ２７２６では、特徴候補色のうち基準特徴度を下回る特徴度の特徴候補色を対象物の特徴色の候補から除外する。なお、基準特徴度は、上述したように、特徴度が低い特徴候補色ほど、対象物の特徴色の候補から除外されるように設定されている。
【０１０１】
Ｓ２７２８では、Ｓ２７２０及びＳ２７２６で除外されなかった特徴候補色を、対象物の候補色として抽出する。なお、対象物の候補色として抽出された特徴候補色は、上述したように、静的特徴色として記憶される（図１３（ａ）参照）。
【０１０２】
図２８を参照して、追尾処理（Ｓ２６２２）について説明する。Ｓ２８０２では、類似色分布度を算出する類似色分布度算出処理を行うかどうかを判定する。なお、類似色分布度とは、上述したように、最新の対象物の位置に対応する画素の位置と、対象物の特徴色に類似する画素（類似画素）の位置との距離の総和である。類似色分布度算出処理を行わない場合には、Ｓ２８０６に移行する。また、類似色分布度算出処理を行う場合には、Ｓ２８０４に移行して、類似色分布度算出処理を行う。
【０１０３】
Ｓ２８０６では、Ｓ２８０４で算出した類似色分布度に基づいて、重み下げ係数を算出する（図１５参照）。Ｓ２８０８では、Ｓ２８０６で算出した重み下げ係数に基づいて、重みテーブルを生成する（図１６参照）。
【０１０４】
Ｓ２８１０では、Ｓ２８０８で生成した重みテーブルに基づいて静的探索領域を設定し、静的探索領域において、対象物の静的特徴色と類似する色の画素（類似画素）を探索する。
【０１０５】
Ｓ２８１２では、Ｓ２８１０で探索した類似画素のそれぞれについて、対象物の静的特徴色との類似の度合いを表す色類似度、及び、隣接度を求め、色類似度、隣接度及び特徴度を用いた静的評価値を算出する。
【０１０６】
Ｓ２８１４では、静的探索領域の面積よりも小さい面積を有する動的探索領域を設定し、動的探索領域において、対象物の動的特徴色と類似する色の画素（類似画素）を探索する。
【０１０７】
Ｓ２８１６では、Ｓ２８１４で探索した類似画素のそれぞれについて、対象物の動的特徴色との類似の度合いを表す色類似度、及び、隣接度を求め、色類似度、隣接度及び特徴度を用いた動的評価値を算出する。
【０１０８】
Ｓ２８１８では、Ｓ２８１２で算出した静的評価値とＳ２８１６で算出した動的評価値とを合成する。具体的には、上述したように、静的評価値のうち１つの評価値を動的評価値のうち最も高い評価値で置換する。
【０１０９】
Ｓ２８２０では、静的評価値と動的評価値とを合成して生成された評価値に対して、Ｓ２８０８で生成した重みテーブルの重み量を重み付けし、評価値マップを生成する。
【０１１０】
Ｓ２８２２では、Ｓ２８２０で生成した評価値マップにおいて、最も高い評価値が基準値よりも低いかどうかを判定する。最も高い評価値が基準値よりも低い場合には、対象物を追尾できなかったことを通知して、追尾処理を終了する。また、最も高い評価値が基準値以上である場合には、Ｓ２８２６に移行して、動的特徴色を更新する動的特徴色更新処理を行う。Ｓ２８２８では、最も高い評価値の画素の位置を基点とし、評価値がある程度高い画素を含む領域を対象物の位置として決定する。
【０１１１】
図２９を参照して、類似色分布度算出処理（Ｓ２８０４）について説明する。Ｓ２９０２では、類似色分布度をゼロに初期化する。Ｓ２９０４では、静的特徴色と対象画素の色との差分を算出する。Ｓ２９０６では、対象画素の色が静的特徴色と類似しているかどうかを判定する。対象画素の色が静的特徴色と類似していない場合には、Ｓ２９０８に移行する。また、対象画素の色が静的特徴色と類似している場合には、Ｓ２９１０に移行する。
【０１１２】
Ｓ２９０８では、全ての静的特徴色について、対象画素の色との差分を算出したか（即ち、Ｓ２９０４の処理を行ったか）どうかを判定する。全ての静的特徴色について、対象画素の色との差分を算出していない場合には、次の静的特徴色を選択して、Ｓ２９０４に移行する。また、全ての静的特徴色について、対象画素の色との差分を算出している場合には、Ｓ２９１４に移行する。
【０１１３】
Ｓ２９１０では、最新の対象物の位置に対応する画素とＳ２９０８で静的特徴色に類似していると判定された対象画素との距離を算出する。Ｓ２９１２では、Ｓ２９１０で算出した距離を類似色分布度に加算する。
【０１１４】
Ｓ２９１４では、全ての画素を対象画素としたかどうかを判定する。全ての画素を対象画素としていない場合には、次の画素を対象画素として、Ｓ２９０４に移行する。全ての画素を対象画素とした場合には、類似色分布度算出処理を終了する。
【０１１５】
図３０を参照して、静的評価値の算出（Ｓ２８１２）について説明する。なお、動的評価値の算出（Ｓ２８１６）は、静的評価値の算出と同様であるため、ここでは説明を省略する。
【０１１６】
Ｓ３００２では、静的特徴色と対象画素の色との差分を算出する。Ｓ３００４では、対象画素の色が静的特徴色と類似しているかどうかを判定する。対象画素の色が静的特徴色と類似していない場合には、Ｓ３００６に移行する。また、対象画素の色が静的特徴色と類似している場合には、Ｓ３００８に移行する。
【０１１７】
Ｓ３００６では、全ての静的特徴色について、対象画素の色との差分を算出したか（即ち、Ｓ３００２の処理を行ったか）どうかを判定する。全ての静的特徴色について、対象画素の色との差分を算出していない場合には、次の静的特徴色を選択して、Ｓ３００２に移行する。また、全ての静的特徴色について、対象画素の色との差分を算出している場合には、Ｓ３０２４に移行する。
【０１１８】
Ｓ３００８では、Ｓ３００４で静的特徴色に類似していると判定された対象画素について、対象物の静的特徴色との類似の度合いを表す色類似度を算出する。Ｓ３０１０では、画素の数をカウントするためのカウンタをゼロに初期化する。
【０１１９】
Ｓ３０１２では、Ｓ３００４で静的特徴色に類似していると判定された対象画素の上下左右に隣接する画素（隣接画素）の色とサブ画素の色との差分を算出する。Ｓ３０１４では、Ｓ３００４で静的特徴色に類似していると判定された対象画素の隣接画素の色が、サブ画素の色と類似しているかどうかを判定する。隣接画素の色がサブ画素の色と類似していない場合には、Ｓ３０１８に移行する。また、隣接画素の色がサブ画素の色と類似している場合には、Ｓ３０１６に移行する。
【０１２０】
Ｓ３０１６では、Ｓ３０１４でサブ画素の色と類似していると判定された画素の数をカウントし、その画素の数をカウンタに加算する。
【０１２１】
Ｓ３０１８では、Ｓ３００４で静的特徴色に類似していると判定された対象画素の全てについて、サブ画素の色との差分を算出したか（即ち、Ｓ３０１２の処理を行ったか）どうかを判定する。静的特徴色に類似していると判定された対象画素の全てについて、サブ画素の色との差分を算出していない場合には、次に対象画素を選択して、Ｓ３０１２に移行する。静的特徴色に類似していると判定された対象画素の全てについて、サブ画素の色との差分を算出した場合には、Ｓ３０２０に移行する。
【０１２２】
Ｓ３０２０では、サブ画素の色と類似していると判定された画素の数をカウントした結果に基づいて、隣接度を算出する。Ｓ３０２２では、色類似度、隣接度及び特徴度を用いて、静的評価値を算出する。
【０１２３】
Ｓ３０２４では、静的探索領域に含まれる全ての画素を対象画素としたかどうかを判定する。静的探索領域に含まれる全ての画素を対象画素としていない場合には、次の画素を対象画素として、Ｓ３００２に移行する。静的探索領域に含まれる全ての画素を対象画素とした場合には、静的評価値の算出を終了する。
【０１２４】
図３１を参照して、動的特徴色更新処理（Ｓ２８２６）について説明する。Ｓ３１０２では、Ｓ２８２０で生成した評価値マップにおいて、最も高い評価値の画素の色（Ｒ、Ｇ、Ｂの各成分）を取得する。Ｓ３１０４では、静的特徴色とＳ３１０２で取得した最も高い評価値の画素の色との差分を算出する。Ｓ３１０６では、最も高い評価値の画素の色が静的特徴色と類似しているかどうかを判定する。最も高い評価値の画素の色が静的特徴色と類似している場合には、Ｓ３１０８に移行して、最も高い評価値の画素の色を新たな動的特徴色として記憶する（動的特徴色を更新する）。また、最も高い評価値の画素の色が静的特徴色と類似していない場合には、Ｓ３１１０に移行する。
【０１２５】
Ｓ３１１０では、全ての静的特徴色について、最も高い評価値の画素の色との差分を算出したか（即ち、Ｓ３１０４の処理を行ったか）どうかを判定する。全ての静的特徴色について、最も高い評価値の画素の色との差分を算出していない場合には、次の静的特徴色を選択して、Ｓ３１０４に移行する。また、全ての静的特徴色について、最も高い評価値の画素の色との差分を算出している場合には、動的特徴色更新処理を終了する。
【０１２６】
なお、本実施形態では、追尾する対象物の周辺に類似画素が多く存在する場合での誤追尾の発生を低減させるために、類似色分布度に応じて重み下げ係数を決定し、重みテーブルを生成した（図１４及び図１５参照）。但し、図３２（ａ）に示すように、追尾する対象物ＯＢが表示部１４０の手前側から奥側に遠ざかるような場合もある。このような場合、対象物ＯＢが遠ざかるにつれて、評価値（式１０参照）が徐々に小さくなると予想される。例えば、色類似度に関しては、画像をブロック単位に分割した場合には、追尾する対象物ＯＢが小さくなっていくことによって、１つのブロック内で対象物ＯＢの色と背景色が混ざり、色類似度が低下していくと考えられる。また、隣接度に関しては、対象物ＯＢである犬の胴体での隣接関係を記憶していた場合、犬の胴体が小さくなっていくことによって、隣接関係を維持することができなくなり、隣接度が低下していくと考えられる。このように、評価値が低下していくような場合には、対象物ＯＢの特徴色と類似する色の画素が存在していた場合、その画素を追尾してしまう（即ち、誤追尾が発生する）可能性が高まってくる。このような場合には、図３３に示すように、評価値に応じて重み下げ係数を決定すればよい。図３３では、横軸に評価値を採用し、縦軸に重み下げ係数を採用している。図３３を参照するに、評価値が小さいほど、重み下げ係数が大きくなることがわかる。これにより、評価値が小さいほど、重み量の変化量が急峻となり、周辺の重み量が小さい重みテーブルが生成される。従って、静的探索領域ＳＳＡは、図３２（ｂ）に示すように、対象物ＯＢが手前側に位置している場合には広く設定され、対象物ＯＢが奥側に位置している場合には狭く設定され、誤追尾の発生を軽減することが可能となる。
【０１２７】
また、図３４（ａ）に示すように、追尾する対象物ＯＢが遮蔽物ＢＬの後側に移動し、対象物ＯＢを見失う（追尾が不可能になる）ような場合もある。この場合、対象物ＯＢを見失った直後に、対象物ＯＢの特徴色と類似する色の画素が存在していた場合、その画素を追尾してしまう（即ち、誤追尾が発生する）可能性が高まってくる。そこで、対象物ＯＢを見失ってからの（追尾が不可能になってからの）経過時間に応じて、経過時間が短いほど、重み下げ係数が大きくなるように重み下げ係数を決定する。これにより、静的探索領域ＳＳＡは、図３４（ｂ）に示すように、対象物ＯＢを見失った直後に狭くなり、誤追尾の発生を軽減することが可能となると共に、見失った位置に対象物ＯＢが戻ってきた場合には、対象物ＯＢの追尾を再開することが可能となる。但し、対象物ＯＢが見失った位置に戻ってくる保証はなく、例えば、遮蔽物ＢＬを通過して他の位置に現れる場合もある。そこで、誤追尾のリスクがあるものの、図３４（ｂ）に領域ＳＳＡ’として示すように、対象物ＯＢを見失った位置を中心として静的探索領域ＳＳＡを徐々に広げ、遮蔽物ＢＬを通過した位置に対象物ＯＢが現れた場合にも対応可能にすることもできる。具体的には、図３５に示すように、重み下げ係数を決定すればよい。図３５では、横軸に経過時間を採用し、縦軸に重み下げ係数を採用している。図３５を参照するに、経過時間が短いほど、重み下げ係数が大きくなることがわかる。これにより、対象物ＯＢを見失った直後には重み係数が大きくなり、重み量の変化量が急峻となり、周辺の重み量が小さい重みテーブルが生成される。そして、対象物ＯＢを見失ってからの経過時間に応じて重み下げ係数が徐々に小さくなり、重み量の変化量が緩やかな重みテーブルが生成される。
【０１２８】
なお、対象物ＯＢの追尾を再開することができた場合には、対象物ＯＢを見失ってからの経過時間ではなく、類似色分布度に応じて重み下げ係数を決定するようにする。また、対象物ＯＢの追尾を再開することができなかった場合には、追尾を中止し、その旨をユーザに通知する。
【０１２９】
また、重み下げ係数をどのように決定するのか、即ち、類似色分布度に応じて決定するのか、評価値に応じて決定するのか、或いは、経過時間に応じて決定するのかは、ユーザが適宜選択することができる。また、それらから決定された重み下げ係数のうち最も大きな重み下げ係数を選択するようにしてもよい。
【０１３０】
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。この場合、そのプログラム、及び、かかるプログラムを記憶した記憶媒体は本発明を構成することになる。
【０１３１】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されないことはいうまでもなく、その要旨の範囲内で種々の変形及び変更が可能である。
【図１】
0005744437.tif 000002
【図３】
0005744437.tif 000003
【図４】
0005744437.tif 000004
【図６】
0005744437.tif 000005
【図７】
0005744437.tif 000006
【図８】
0005744437.tif 000007
【図１３】
0005744437.tif 000008
【図１４】
0005744437.tif 000009
【図１５】
0005744437.tif 000010
【図１６】
0005744437.tif 000011
【図１７】
0005744437.tif 000012
【図２１】
0005744437.tif 000013
【図２２】
0005744437.tif 000014
【図２３】
0005744437.tif 000015
【図２４】
0005744437.tif 000016
【図２５】
0005744437.tif 000017
【図２６】
0005744437.tif 000018
【図２７】
0005744437.tif 000019
【図２８】
0005744437.tif 000020
【図２９】
0005744437.tif 000021
【図３０】
0005744437.tif 000022
【図３１】
0005744437.tif 000023
【図３３】
0005744437.tif 000024
【図３５】
0005744437.tif 000025
【図２】
0005744437.tif 000026
【図５】
0005744437.tif 000027
【図９】
0005744437.tif 000028
【図１０】
0005744437.tif 000029
【図１１】
0005744437.tif 000030
【図１２】
0005744437.tif 000031
【図１８】
0005744437.tif 000032
【図１９】
0005744437.tif 000033
【図２０】
0005744437.tif 000034
【図３２】
0005744437.tif 000035
【図３４】
0005744437.tif 000036