(57)【要約】【課題】、背景変化の大きい追尾対象に対しても追尾精度の低下しない動き検出装置および動き検出方法を提供する。【解決手段】撮像素子１０７が時系列に出力する画像データから最新の画像データを評価画像とし（Ｓ１１０）、これより前に出力された画像データを参照画像としてメモリ１５１ｂ、１５１ｃに記録する（Ｓ１０６）更新動作を行い、メモリ１５１ｂ、１５１ｃに記憶された評価画像と参照画像とに基づき、相関値と動き量を算出し（Ｓ１１２）、相関値をメモリに時系列に記憶させ、これらの時系列の相関値に基づき基準値を算出し（Ｓ１１４）、相関値と基準値を比較し（Ｓ１１６）、相関値が基準値未満ならば更新動作を許可し（Ｓ１１７）、相関値が基準値以上ならば更新動作を禁止する（Ｓ１１６→Ｙｅｓ）。【選択図】  図２
2011135427.tif 000002
【特許請求の範囲】
【請求項１】
撮像部と、
メモリと、
上記撮像部が時系列に出力する画像データから最新の画像データを評価画像とし、これより前に出力された画像データを参照画像として上記メモリに記録する更新動作を行う画像データ更新部と、
上記メモリに記憶された上記評価画像と上記参照画像とに基づき、相関値と動き量を算出する相関演算部と、
上記相関演算部が算出した相関値を上記メモリに時系列に記憶させ、これらの時系列の相関値に基づき基準値を算出する基準値算出部と、
上記相関演算部が算出した上記相関値と、上記基準値算出部が算出した上記基準値を比較し、上記相関値が上記基準値未満ならば上記画像データ更新部による更新動作を許可し、上記相関値が上記基準値以上ならば上記画像データ更新部による更新動作を禁止する制御部と、
を有することを特徴とする動き検出装置。
【請求項２】
上記基準値算出部は、上記相関値の記憶用の上記メモリに記憶された時系列の相関値の平均値とのばらつき程度に応じて上記基準値を算出することを特徴とする請求項１に記載の動き検出装置。
【請求項３】
上記基準値算出部は、上記相関値のばらつき程度として相関値の最大値と最小値との差値を求め、この差値に応じた係数を決定し、この係数を上記相関値に乗算することによって上記基準値を算出することを特徴とする請求項２に記載の動き検出装置。
【請求項４】
撮像部が時系列に出力する画像データから最新の画像データを評価画像とし、これより前に出力された画像データを参照画像としてメモリに記録する更新動作を行い、
上記メモリに記憶された上記評価画像と上記参照画像とに基づき、相関値と動き量を算出し、
上記相関値を上記メモリに時系列に記憶させ、これらの時系列の相関値に基づき基準値を算出し、
上記相関値と上記基準値を比較し、上記相関値が上記基準値未満ならば上記更新動作を許可し、上記相関値が上記基準値以上ならば上記更新動作を禁止する、
ことを特徴とする動き検出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動き検出装置に関し、詳しくは、画像マッチングにより動体の動きを検出する動き検出装置および動き検出方法に関する。
【背景技術】
【０００２】
画面内の動体を追尾（追跡）し、目標とする動体が画面内のどこに位置するかを認識する技術は、従来から種々提案されている。例えば、特許文献１には、基準となる参照画像と評価画像の差分が基準値より小さい時に相関ありと判定し、さらに参照画像と継続する評価画像との差分絶対値が基準値より大きい時に相関なしと判定し、参照画像の画像データを更新する画像内動体追尾装置が開示されている。これによって、目標とする被写体が物体の後ろに隠れた場合であっても、類似物体を追尾目標とすることがなくなり、誤判断による識別精度の低下を抑えることができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平９−６５１９３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記特許文献１に開示の画像内動体追尾装置によれば、背景変化の大きい追尾対象における識別精度は向上する。しかし、追尾中に形状が変化する追尾対象に対しては、相関値のばらつきが大きくなるために、適切に相関値を求めることができず、追尾の精度が低下し、追尾エラーを生ずるおそれがある。
【０００５】
本発明は、このような事情を鑑みてなされたものであり、背景変化の大きい追尾対象に対しても追尾精度の低下しない動き検出装置および動き検出方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するため第１の発明に係わる動き検出装置は、撮像部と、メモリと、上記撮像部が時系列に出力する画像データから最新の画像データを評価画像とし、これより前に出力された画像データを参照画像として上記メモリに記録する更新動作を行う画像データ更新部と、上記メモリに記憶された上記評価画像と上記参照画像とに基づき、相関値と動き量を算出する相関演算部と、上記相関演算部が算出した相関値を上記メモリに時系列に記憶させ、これらの時系列の相関値に基づき基準値を算出する基準値算出部と、上記相関演算部が算出した上記相関値と、上記基準値算出部が算出した上記基準値を比較し、上記相関値が上記基準値未満ならば上記画像データ更新部による更新動作を許可し、上記相関値が上記基準値以上ならば上記画像データ更新部による更新動作を禁止する制御部と、を有する。
【０００７】
第２の発明に係わる動き検出装置は、上記第１の発明において、上記基準値算出部は、上記相関値の記憶用の上記メモリに記憶された時系列の相関値の平均値とのばらつき程度に応じて上記基準値を算出する。
第３の発明に係わる動き検出装置は、上記第２の発明において、上記基準値算出部は、上記相関値のばらつき程度として相関値の最大値と最小値との差値を求め、この差値に応じた係数を決定し、この係数を上記相関値に乗算することによって上記基準値を算出する。
【０００８】
第４の発明に係わる動き検出方法は、撮像部が時系列に出力する画像データから最新の画像データを評価画像とし、これより前に出力された画像データを参照画像としてメモリに記録する更新動作を行い、上記メモリに記憶された上記評価画像と上記参照画像とに基づき、相関値と動き量を算出し、上記相関値を上記メモリに時系列に記憶させ、これらの時系列の相関値に基づき基準値を算出し、上記相関値と上記基準値を比較し、上記相関値が上記基準値未満ならば上記更新動作を許可し、上記相関値が上記基準値以上ならば上記更新動作を禁止する、
【発明の効果】
【０００９】
本発明によれば、背景変化の大きい追尾対象に対しても追尾精度の低下しない動き検出装置および動き検出方法を提供することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の一実施形態に係わる電子カメラの主として電気的構成を示すブロック図である。
【図２】本発明の一実施形態に係わる電子カメラにおいて、カメラ動作の制御を示すフローチャートである。
【図３】本発明の一実施形態に係わる電子カメラにおいて、基準値算出の制御を示すフローチャートである。
【図４】本発明の一実施形態に係わる電子カメラにおいて、相関値の算出を説明する図である。
【図５】本発明の一実施形態における電子カメラにおいて、相関値の変化と基準値の関係を示す図である。
【発明を実施するための形態】
【００１１】
以下、図面に従って本発明を適用した電子カメラを用いて好ましい実施形態について説明する。本発明の好ましい一実施形態に係わる電子カメラは、デジタルカメラであり、撮像部を有し、この撮像部によって被写体像を画像データに変換し、この変換された画像データに基づいて、被写体像を本体の背面に配置した表示部にライブビュー表示する。撮影者はライブビュー表示を観察することにより、構図やシャッタチャンスを決定する。レリーズ操作時には、画像データが記録媒体に記録される。記録媒体に記録された画像データは、再生モードを選択すると、表示部に再生表示することができる。
【００１２】
図１は、本実施形態に係わるデジタルカメラ１００の主として電気的構成を示すブロック図である。撮影レンズ１０１の光軸上に、絞り１０３ａ、シャッタ１０５ａおよび撮像素子１０７が配置されている。撮像素子１０７は撮像素子インターフェース回路（以下、撮像素子ＩＦ回路と称す）１０９に接続され、撮像素子ＩＦ回路１０９はシステムコントローラ１１０に接続されている。
【００１３】
撮影レンズ１０１は、被写体光束を撮像素子１０７に集光させ、被写体像を結像させるための光学系である。この撮影レンズ１０１は、システムコントローラ１１０からの指示に応じて動作する焦点調節機構１０２により光軸方向に移動され、焦点状態が変化する。絞り１０３ａは、システムコントローラ１１０からの指示に応じて動作する絞り駆動機構１０３により、開口量が調節され、撮影レンズ１０１を介して撮像素子１０７に入射する被写体光束の入射量を調節する。シャッタ１０５ａは、被写体光束を開閉し、撮像素子１０７上への被写体光束の投射時間を制御する。このシャッタ１０５ａは、システムコントローラ１１０からの指示に応じて動作するシャッタ駆動機構１０５により開閉時間（シャッタ速度）が制御される。
【００１４】
撮像素子１０７は、前面に配置されたベイヤ―配列のカラーフィルタと、このカラーフィルタに対応して配列されたフォトダイオード等の光電変換素子から構成される。各カラーフィルタとこれに対応する各光電変換素子によって各画素が構成される。撮像素子１０７は、撮影レンズ１０１により集光された光を各画素で受光し光電流に変換し、この光電流をコンデンサで蓄積し、アナログ電圧信号（画像信号）として撮像素子ＩＦ回路１０９に出力する。撮像素子ＩＦ回路１０９は、システムコントローラ１１０からの指示に応じて撮像素子１０７の光電流蓄積制御や読出制御を行うとともに、読み出した画像信号をＡＤ変換し、デジタル画像データを出力する。
【００１５】
システムコントローラ１１０は、ＡＳＩＣで構成され、ＣＰＵ１１１、ＡＦ制御回路１１３、ＡＥ制御回路１１５、画像処理回路１１７、顔認識回路１１９、圧縮・伸張回路１２１、相関演算回路１２３、メモリ制御回路１２５を有する。ＣＰＵ１１１は、後述するフラッシュＲＯＭ１３５内に格納されたプログラムコード１３５ａに従って動作し、電子カメラの全体制御を行う。
【００１６】
システムコントローラ１１０内のＡＦ制御回路１１３は、撮像素子ＩＦ回路１０９から出力されるデジタル画像データに基づいて、高周波成分を抽出し、この高周波成分がピークとなるように、焦点調節機構１０２を介して、撮影レンズ１０１の自動焦点調節を行う。なお、このＡＦ制御回路１１３によって自動焦点調節を行う被写体は、後述する顔認識回路１１９によって認識された人物の顔の部分、またはタッチパネル１４５によって撮影者が指示した部分である。これらの被写体が移動すると、相関演算回路１２３によって追跡し、被写体が移動しても、指定された部分に対して自動焦点調節が実行される。
【００１７】
ＡＥ制御回路１１５は、撮像素子ＩＦ回路１０９から出力されるデジタル画像データに基づいて、被写体輝度を検出し、適正露光を得るように、絞り１０３ａやシャッタ１０５ａ等の露出制御値を演算する。そして、この露出制御値に基づいて、絞り駆動機構１０３を介して絞り１０３ａの制御を行い、シャッタ駆動機構１０５を介してシャッタ１０５ａの制御を行う。
【００１８】
画像処理回路１１７は、撮像素子ＩＦ回路１０９から出力されるデジタル画像データのデジタル的増幅（デジタルゲイン調整処理）、ホワイトバランス、色補正、ガンマ（γ）補正、コントラスト補正、ライブビュー表示用画像生成、動画画像生成等の各種の画像処理を行なう。
【００１９】
顔認識回路１１９は、撮像素子ＩＦ回路１０９から出力されるデジタル画像データまたは画像処理回路１１７によって画像処理されたデジタル画像データを用いて、画像中に人物の顔の部分が存在するか否かを判定し、存在する場合には、その位置や大きさを検出する。
【００２０】
圧縮・伸張回路１２１は後述するＳＤＲＡＭ１５１に一時記憶された静止画や動画の画像データをＪＰＥＧやＴＩＦＦ等の圧縮方式により圧縮し、また表示等のために伸張するための回路である。なお、画像圧縮はＪＰＥＧやＴＩＦＦに限らず、他の圧縮方式も適用できる。
【００２１】
相関演算回路１２３は、ＳＤＲＡＭ１５１に一時記憶された評価画像データと参照画像データとから、公知の相関演算を行い、動き量（動きベクトル）と相関値を演算する回路である。メモリ制御回路１２５は、電子カメラ内のメモリ、すなわち、記録メディア１３１、フラッシュＲＯＭ１３５、ＳＤＲＡＭ１５１へのデータの書き込みと読出しを制御する。
【００２２】
システムコントローラ１１０には、記録メディア１３１、フラッシュＲＯＭ１３５、表示素子駆動回路１４１、タッチパネル駆動回路１４７、カメラ操作スイッチ１４９、ＳＤＲＡＭ１５１が接続されている。表示素子駆動回路１４１は、表示素子１４３に接続されており、システムコントローラ１１０から画像データを入力し、表示素子１４３にライブビュー表示、撮影された画像の再生表示、電子カメラの動作モード設定表示等の表示制御を行う。表示素子１４３は、ＬＣＤ表示素子、有機ＥＬ表示素子、またはプラズマ表示素子等の表示素子を有している。
【００２３】
タッチパネル１４５は、表示素子１４３の前面に配置され、または表示素子１４３と一体に構成され、表示素子１４３の表示面を指やスライラスペン等で接触された位置を検知する。タッチパネル１４５は、タッチパネル駆動回路１４７に接続されており、これによって駆動され、検出された接触位置は、システムコントローラ１１０に出力される。カメラ操作スイッチは、電源スイッチ、レリーズスイッチ、モード設定スイッチ等のカメラ操作に必要なスイッチを含み、これらのスイッチの操作状態は、システムコントローラ１１０に出力される。
【００２４】
ＳＤＲＡＭ１５１は、電子カメラの動作に必要なデータを一時的に格納するためのメモリである。ワークエリア１５１ａは、例えば画像処理を実行する際に、一時的に画像データを格納するために使用される。評価画像エリア１５１ｂは、被写体の追尾動作を行う際に、評価画像を格納するために使用される。参照画像エリア１５１ｃは、参照画像を格納するために使用される。相関履歴エリア１５１ｄは、相関演算回路１２３によって演算した過去のデータが格納されている。この過去の相関値データの格納数は、直近の所定数であり、古い相関値データは順次上書きされ消去される。
【００２５】
フラッシュＲＯＭ１３５は、前述したように、システムコントローラ１１０によって実行されるプログラムコード１３５ａと、電子カメラを制御するにあたって必要な制御パラメータ１３５ｂ等が格納されている。また、記録メディア１３１は、不揮発性メモリや小型のＨＤＤ等から構成され、電子カメラから着脱可能である。記録メディア１３１には、撮影された静止画ファイル（ＪＰＥＧ）、動画ファイル（ＭＰＥＧ）等の画像ファイル１３１ａが記録される。
【００２６】
次に、この電子カメラの動作を図２および図３に示すフローチャートに沿って説明する。このフローチャートは、フラッシュＲＯＭ１３５内に格納されているプログラムコード１３５ａに従ってＣＰＵ１１１によって実行される。
【００２７】
電子カメラの電源スイッチがオンとされると、図２に示すフローがスタートする。このフローがスタートすると、まず、ライブビュー動作を開始する（Ｓ１００）。このステップでは、撮像素子ＩＦ回路１０９を制御して、所定のフレームレートで画像データを取得し、表示素子駆動回路１４１に出力する。この動作により、表示素子１４３には、被写体像がリアルタイムで表示され、ユーザは被写体を観察することができる。
【００２８】
続いて、タッチパネル駆動回路１４７および顔認識回路１１９の出力を取得し（Ｓ１０２）、被写体が検出されたか否かの判定を行う（Ｓ１０４）。この２つのステップでは、追尾する被写体の検出を行う。すなわち、撮影者がライブビュー表示を観察し、被写体を指等でタッチした部分、またはライブビュー表示されている画像の中に顔の部分があれば、その部分を追尾対象の被写体となる。顔の部分が検出され、かつ指でタッチされた場合にはあ、タッチされた部分を優先して追尾対象とする。ステップＳ１０４における判定の結果、被写体が検出されない場合には、ステップＳ１００に戻る。
【００２９】
一方、ステップＳ１０４における判定の結果、被写体が検出された場合には、次に、参照画像の領域を設定する（Ｓ１０６）。ここでは、タッチパネル駆動回路１４７によって検出されたタッチ位置が有る場合にはその部分の画像データを、また顔認識回路１１９によって顔を認識した場合にはその部分の画像データを参照画像の領域として設定する。今、図４（ａ）に示すような、Ｎフレーム目の画像データを取得した場合に、Ａの文字の部分が被写体として検出されると、Ａの文字を含む部分が参照画像領域３００として設定される。この参照画像領域３００の画像データは、参照画像エリア１５１ｃに一時記憶される。なお、本実施形態においては、参照画像領域３００のエリアの広さは、図示のように６×６画素の固定領域としているが、エリアの広さは設計値として適宜選択してもよく、また、被写体の大きさに合わせて可変としてもよい。
【００３０】
参照画像の領域を設定すると、次に、追尾被写体の位置を示すターゲットマークの表示を開始する（Ｓ１０８）。このステップでは、ステップＳ１０６で設定された追尾被写体（顔の）の位置と領域（参照画像領域３００）の情報に基づき、表示素子１４３上のライブビュー画像にターゲットマークを重畳して表示する。ターゲットマークは、被写体の移動に応じて画面上を移動し、撮影者に被写体追尾の動作状態を告知する。
【００３１】
ターゲットマークの表示を開始すると、次に、評価画像が取得されたか否かの判定を行う（Ｓ１１０）。撮像素子ＩＦ回路１０９が所定のフレームレートで画像データを出力するので、次の画像データが出力するまで、このステップで待機する。評価画像は、このフレームレートに同期して取得し、取得した評価画像の画像データは、ＳＤＲＡＭ１５１中の評価画像エリア１５１ｂに一時記憶する。図４（ａ）に示すように、Ｎフレーム目で参照画像領域３００の画像データを取得すると、Ｎ＋１フレーム目で、図４（ｂ）に示すように、評価画像領域３０１の画像データを取得する。評価画像領域３０１の画像データと参照画像領域３００の画像データを用いて相関演算を行うために、評価画像領域３０１は参照画像領域３００よりも広い領域となる。なお、評価画像は、相関演算回路１２３の処理能力に応じて、フレームレートを１／２、１／３のレートに同期して取得するようにしてもよい。また、評価画像領域３０１のエリアの広さは、図示のように１７×１３画素の固定領域としているが、エリアの広さは設計値として適宜選択してもよく、また、被写体の大きさに合わせて可変としてもよい。
【００３２】
ステップＳ１１０における判定の結果、評価画像が取得された場合には、次に、評価画像と参照画像とに基づき、動き量（動きベクトル）と相関値を算出する（Ｓ１１２）。ここでは、参照画像エリア１５１ｃに一時記憶されている参照画像の画像データと、評価画像エリア１５１ｂに一時記憶されている評価画像の画像データを用いて、相関演算回路１２３は、動き量（動きベクトル）と相関値を算出する。この算出は、例えば、図４（ｂ）において、評価画像領域３０１の左上隅に参照画像領域３００を重ね、この状態で、各画素について差分値の累積値を求める。以後、評価画像領域３０１上で参照画像３００を１画素ずつ移動させながら、差分値の累積値を求め、一番小さい累積値を相関値とし、またそのときの移動量を動き量（方向も考慮すると動きベクトル）とする。したがって、相関値は小さい程、参照画像との一致度が高いことになり、相関値が０の場合には、参照画像と完全に一致する。
【００３３】
相関値と動き量を求めると、次に、基準値の算出を行う（Ｓ１１４）。後述するステップＳ１１６、Ｓ１１７において、相関値が基準値よりも小さい場合には、すなわち相関度が高い場合には、参照画像の更新を行うが、このステップＳ１１４においては、比較の対象となる基準値を算出する。基準値の算出にあたっては、ＳＤＲＡＭ１１５内の相関値履歴エリア１５１ｄに一時記憶されている複数の相関値に基づいて、基準値（判定値）を算出する。この基準値算出のフローについては、図３を用いて後述する。
【００３４】
基準値の算出を行うと、次に、相関値が基準値よりも大きいか否かの判定を行う（Ｓ１１６）。ここでは、ステップＳ１１２において算出した相関値と、ステップＳ１１４において算出した基準値を比較する。この比較の結果、相関値が基準値よりも小さかった場合には、次に、参照画像の更新を行うとともに、相関値の履歴データを更新する（Ｓ１１７）。すなわち、評価画像領域３０１の中で、参照画像領域３００に対応し、最も相関値が小さかった領域を新たな参照画像領域３００として、そこでの画像データを参照画像エリア１５１ｃに記憶する。また、このとき算出された相関値を相関値履歴エリア１５１ｄに一時記憶する。相関値履歴エリア１５１ｄに一時記憶されている相関値が所定数（例えば、数個から１０個程度）を超えた場合には、一番古いデータを消去して書き込む。一時記憶する相関値の所定数は、数十個あれば精度が向上するが、所定数に達するまで基準値が決定できないことから、本実施形態においては、数個から１０個程度としている。
【００３５】
参照画像の更新および相関値履歴データの更新を行うと、またはステップＳ１１６における判定の結果、相関値が基準値よりも大きかった場合には、次に、被写体位置情報の更新とターゲットマーク表示位置変更を行う（Ｓ１１８）。このステップでは、ステップＳ１１２において算出された動き量に基づいて、被写体位置情報を変更する。また、この被写体位置情報に基づいて、ターゲットマーク表示位置を変更する。
【００３６】
次に、撮影開始の操作がなされたか否かの判定を行う（Ｓ１２０）。ここでは、カメラ操作スイッチ１４９中のレリーズスイッチの状態を検出し判定する。この判定の結果、撮影開始操作が行われていなかった場合には、ステップＳ１１０に戻り、前述した被写体追尾を実行する。
【００３７】
一方、ステップＳ１２０における判定の結果、撮影開始の操作が行われた場合には、次に、撮影準備動作を行う（Ｓ１２２）。ここでは、追尾している被写体位置情報に基づいて、その位置の被写体に対してピント合わせを行い、適正露出となるように露出制御を行う。すなわち、ＡＦ制御回路１１３は、被写体位置情報に基づいた位置の画像データのコントラストが最大となるように撮影レンズ１０１を調節する。また、ＡＥ制御回路１１５は被写体位置情報に基づいて位置の画像データに基づいて被写体輝度を求め、この被写体輝度に対して適正露光となるように、絞り１０３ａおよびシャッタ１０５ａの条件を設定する。なお、自動焦点調節動作と、露出条件の設定動作は、上述のステップＳ１１０からステップＳ１１８において、被写体追尾動作と並行して実行させてもよく、この場合には露光開始までのタイムラグを短くすることができる。
【００３８】
撮影準備動作が終わると、次に、静止画像データの取得を行い、画像ファイルの生成を行う（Ｓ１２４）。ここでは、ステップＳ１２２において求められた露出条件（絞り値とシャッタ秒時）で被写体光束を撮像素子１０７上で受光し光電流蓄積を行い、このときの画像信号を撮像素子ＩＦ回路１０９によって読み出す。読み出された画像信号は、デジタル画像データにＡＤ変換し、画像処理回路１１７によって画像処理を施し、圧縮・伸張回路１２１によってデータ圧縮を行って画像ファイルを生成し、この画像ファイルを記録メディア１３１に記録する。画像ファイルを記録すると、一連の動作を終了し、電源スイッチがオンであれば、ステップＳ１００から再びスタートする。
【００３９】
次に、ステップＳ１１４における基準値算出のフローについて、図３に示すフローチャートを用いて説明する。基準値算出のフローに入ると、まず、相関値履歴データから相関値の平均値を算出する（Ｓ２００）。ここでは、ＳＤＲＡＭ１５１の相関値履歴エリア１５１ｄに一時記憶されている所定数の相関値を読み出し、これらの相関値の平均値を算出する。
【００４０】
相関値の平均値を算出すると、次に、一時記憶されている相関値履歴データから相関値の最大値と最小値を求める（Ｓ２０２）。ここでは、ステップＳ２００において読み出した所定数の相関値の中から最大値と最小値を求める。続いて、最大値と最小値の差分値に応じた補正係数を決定する（Ｓ２０４）。ここでは、ステップＳ２０２において求めた最大値と最小値の差分値を求め、予め作成しておいた補正算出テーブルを元に差分値に応じた補正係数を決定する。例えば、差分値が予め設定された閾値より小さい場合には補正は１とし、差分値が予め設定された閾値よりも大きい場合には補正係数は２とする。
【００４１】
次に、平均値と補正係数から基準値を算出する（Ｓ２０６）。ここでは、ステップＳ２００において算出した平均値に、ステップＳ２０４において決定した補正係数を乗算することにより、算出する。基準値を算出すると、元のフローに戻る。
【００４２】
以上説明したように、本発明の一実施形態においては、参照画像と評価画像に基づいて相関値を求め、この相関値と基準値を比較し、相関値が基準値よりも小さい場合、すなわち相関度が高い場合には、参照画像の更新を行うようにしている。基準値は、相関値を相関値履歴エリア１５１ｄに時系列的に記憶し、この時系列的に記憶した相関値に基づいて決定している。このため、背景が変化し、相関値が変動するような場合であっても、追尾精度が低下することがない。
【００４３】
例えば、相関値が、図５に示すように、時刻ｔ１からｔ２において大きく変動する場合には、基準値を大きくとり、参照画像の更新が頻繁に起こらないようにしている。また、相関値の変動が小さい場合には、参照画像の更新を許可し易くし、追尾対象の被写体の画像の変化に応じている。このため正しい参照画像を維持することができ、追尾精度が低下することがない。
【００４４】
なお、本発明の一実施形態においては、ばらつきを示す値として、相関値の最大値と最小値の差分値を用いて補正係数を決定している。しかし、ばらつきを示す値としては、この差分値に限らず、例えば、分散値を求め、これを用いてもよい。
【００４５】
また、本発明の一実施形態においては、本発明を適用した電子カメラとして、デジタルカメラを用いて説明したが、電子カメラとしては、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話や携帯情報端末（ＰＤＡ：Personal Digital Assist）、ゲーム機器等に内蔵される電子カメラでも構わない。
【００４６】
本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【符号の説明】
【００４７】
１０１・・・撮影レンズ、１０２・・・焦点調節機構、１０３・・・絞り駆動機構、１０３ａ・・・絞り、１０５・・・シャッタ、１０５ａ・・・シャッタ駆動機構、１０７・・・撮像素子、１０９・・・撮像素子ＩＦ回路、１１０・・・システムコントローラ、１１１・・・ＣＰＵ、１１３・・・ＡＦ制御回路、１１５・・・ＡＥ制御回路、１１７・・・画像処理回路、１１９・・・顔認識回路、１２１・・・圧縮・伸張回路、１２３・・・相関演算回路、１２５・・・メモリ制御回路、１３１・・・記録メディア、１３１ａ・・・画像ファイル、１３５・・・フラッシュＲＯＭ、１３５ａ・・・プログラムコード、１３５ｂ・・・制御パラメータ、１４１・・・表示素子駆動回路、１４３・・・表示素子、１４５・・・タッチパネル、１４７・・・タッチパネル駆動回路、１４９・・・カメラ操作スイッチ、１５１・・・ＳＤＲＡＭ、１５１ａ・・・ワークエリア、１５１ｂ・・・評価画像エリア、１５１ｃ・・・参照画像エリア、１５１ｄ・・・相関履歴エリア、３００・・・参照画像領域、３０１・・・評価画像領域
【図１】
2011135427.tif 000003
【図２】
2011135427.tif 000004
【図３】
2011135427.tif 000005
【図４】
2011135427.tif 000006
【図５】
2011135427.tif 000007