(57)【特許請求の範囲】
【請求項１】
結像光学系による像を撮像し、画像情報を繰り返し出力する撮像手段と、
基準とする像に関する基準情報を記憶する記憶手段と、
前記画像情報の一部に対応する複数の部分情報のそれぞれと前記基準情報との差を、前記画像情報ごとに繰り返し検出する検出手段と、
前記複数の部分情報に対して検出される複数の前記差の最小値が所定のしきい値より小さい場合に、前記最小値が得られる前記部分情報を前記基準情報に相当する情報と認識する認識手段と、
繰り返し出力される前記画像情報に対する前記最小値の履歴に基づいて、前記しきい値を設定するしきい値設定手段とを備えることを特徴とする画像認識装置。
【請求項２】
請求項１に記載の画像認識装置において、
前記判定手段により前記最小値が前記しきい値より低いと判定された場合に、前記最小値が得られる前記部分情報に基づいて前記基準情報を更新する更新手段を備えることを特徴とする画像認識装置。
【請求項３】
請求項１または請求項２に記載の画像認識装置において、
前記しきい値設定手段は、前記検出手段により繰り返し検出される前記最小値が所定回数連続して前記しきい値より大きい場合には、前記しきい値を所定値だけ大きくすることを特徴とする画像認識装置。
【請求項４】
請求項１または請求項２に記載の画像認識装置において、
前記しきい値設定手段は、前記検出手段により繰り返し検出される前記最小値が所定回数連続して前記しきい値より小さい場合には、前記しきい値を所定値だけ小さくすることを特徴とする画像認識装置。
【請求項５】
請求項１〜４のいずれか１項に記載の画像認識装置において、
前記しきい値設定手段は、画像認識開始後、最初に前記検出手段で検出された前記最小値を前記しきい値の初期値として設定することを特徴とする画像認識装置。
【請求項６】
請求項１〜４のいずれか１項に記載の画像認識装置において、
前記しきい値設定手段は、画像認識開始後、最初に前記検出手段で検出された前記最小値と、前記最小値の履歴に基づく値とのいずれか大きい方を前記しきい値とすることを特徴とする画像認識装置。
【請求項７】
請求項１〜６のいずれか１項に記載の画像認識装置と、
前記結像光学系による画面内に設定された複数の焦点検出位置における前記結像光学系の焦点調節状態を検出する焦点検出手段と、
前記認識手段による認識結果と前記焦点検出手段による焦点検出結果とに基づいて、前記複数の焦点検出位置の中から少なくとも一つを選択する選択手段と、
前記選択手段により選択された焦点検出位置に対して前記焦点検出手段により検出された焦点調節状態に基づいて、前記結像光学系の焦点調節を行う焦点調節手段とを備えることを特徴とする焦点調節装置。
【請求項８】
請求項７に記載の焦点調節装置を備えることを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像認識装置、焦点調節装置および撮像装置に関する。
【背景技術】
【０００２】
ピントを合わせる対象の画像を基準画像（テンプレート画像）として記憶しておき、繰り返し撮影される画像の中から基準画像に合致する画像をテンプレートマッチング処理により検出し、対象を追尾する画像追尾装置が知られている（例えば、特許文献１参照）。
この装置では、撮影画像の一部が基準画像と合致すると判定された場合に、撮影画像の内の基準画像と合致する画像で基準画像を更新している。
【０００３】
この出願の発明に関連する先行技術文献としては次のものがある。
【特許文献１】特開２００６−０５８４３１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した従来の画像追尾装置では、追尾対象がカメラに近づいて来るシーンを撮影する場合には、追尾対象がカメラに近づくにしたがって追尾対象の画面内の大きさが大きくなり、追尾対象の移動速度が速いと基準画像（テンプレート画像）の更新遅れが発生し、対象を追尾できていても追尾対象の画像が基準画像に合致しないと判定されることがある。
【課題を解決するための手段】
【０００５】
（１）  請求項１の発明は、結像光学系による像を撮像し、画像情報を繰り返し出力する撮像手段と、基準とする像に関する基準情報を記憶する記憶手段と、画像情報の一部に対応する複数の部分情報のそれぞれと基準情報との差を、画像情報ごとに繰り返し検出する検出手段と、複数の部分情報に対して検出される複数の差の最小値が所定のしきい値より小さい場合に、最小値が得られる部分情報を基準情報に相当する情報と認識する認識手段と、繰り返し出力される画像情報に対する最小値の履歴に基づいて、しきい値を設定するしきい値設定手段とを備える。
（２）  請求項２の画像認識装置は、判定手段により最小値がしきい値より低いと判定された場合に、最小値が得られる部分情報に基づいて基準情報を更新する更新手段を備えるようにしたものである。
（３）  請求項３の画像認識装置は、しきい値設定手段によって、検出手段により繰り返し検出される最小値が所定回数連続してしきい値より大きい場合には、しきい値を所定値だけ大きくするようにしたものである。
（４）  請求項４の画像認識装置は、しきい値設定手段によって、検出手段により繰り返し検出される最小値が所定回数連続してしきい値より小さい場合には、しきい値を所定値だけ小さくするようにしたものである。
（５）  請求項５の画像認識装置は、しきい値設定手段によって、画像認識開始後、最初に検出手段で検出された最小値をしきい値の初期値として設定するようにしたものである。
（６）  請求項６の画像認識装置は、しきい値設定手段によって、画像認識開始後、最初に検出手段で検出された最小値と、最小値の履歴に基づく値とのいずれか大きい方をしきい値とするようにしたものである。
（７）  請求項７の発明は、請求項１〜６のいずれか１項に記載の画像認識装置と、結像光学系による画面内に設定された複数の焦点検出位置における結像光学系の焦点調節状態を検出する焦点検出手段と、認識手段による認識結果と焦点検出手段による焦点検出結果とに基づいて、複数の焦点検出位置の中から少なくとも一つを選択する選択手段と、選択手段により選択された焦点検出位置に対して焦点検出手段により検出された焦点調節状態に基づいて、結像光学系の焦点調節を行う焦点調節手段とを備える焦点調節装置である。
（８）  請求項８の発明は、請求項７に記載の焦点調節装置を備える撮像装置である。
【発明の効果】
【０００６】
本発明によれば、撮影シーンに応じた類似判定しきい値を設定することができ、撮像画像と基準画像との類似判定を正確に行うことができる。
【発明を実施するための最良の形態】
【０００７】
撮影画面内に設定された複数の焦点検出エリアにおいて撮影レンズの焦点調節状態（この一実施の形態ではデフォーカス量）を検出し、いずれかのエリアのデフォーカス量に基づいて撮影レンズを合焦駆動する自動焦点調節（ＡＦ）機能と、撮影画像の中の追尾対象の被写体の画像をテンプレート画像（基準画像）として記憶し、繰り返し撮像される画像の中でテンプレート画像と同一または類似した画像の位置を検索しながら（テンプレートマッチング）追尾対象の被写体を追尾する画像追尾機能とを備え、ＡＦ機能と画像追尾機能により撮影レンズを駆動しながら対象を追尾する画像認識装置を備えた撮像装置（一眼レフデジタルスチルカメラ）の一実施の形態を説明する。
【０００８】
図１は、一実施の形態の画像認識装置を備えた撮像装置（一眼レフデジタルスチルカメラ）１の構成を示す。なお、図１では本願発明と直接関係のないカメラの機器および回路についての図示と説明を省略する。一実施の形態のカメラ１は、カメラ本体２に交換レンズ３が交換可能に装着される。カメラ本体２には被写体像を撮像して画像を記録するための第１撮像素子４が設けられる。この第１撮像素子４はＣＣＤやＣＭＯＳなどにより構成することができる。撮影時にはクイックリターンミラー５およびサブミラー６が実線で示す撮影光路外の位置に退避してシャッター７が開放され、撮影レンズ８により第１撮像素子４の受光面に被写体像が結像される。
【０００９】
カメラ本体２の底部には、撮影レンズ８の焦点調節状態を検出するための焦点検出光学系９と測距素子１０が設けられている。この一実施の形態では、瞳分割型位相差検出方式による焦点検出方法を採用した例を示す。焦点検出光学系９は、撮影レンズ８を通過した対の焦点検出用光束を測距素子１０の受光面へ導き、対の光像を結像させる。測距素子１０は例えば対のＣＣＤラインセンサーを備え、対の光像に応じた焦点検出信号を出力する。撮影前にはクイックリターンミラー５およびサブミラー６が破線で示すような撮影光路内の位置に設定されており、撮影レンズ８からの対の焦点検出用光束はクイックリターンミラー５のハーフミラー部を透過し、サブミラー６により反射されて焦点検出光学系９および測距素子１０へ導かれる。
【００１０】
カメラ本体２の上部にはファインダー光学系が設けられている。撮影前にはクイックリターンミラー５およびサブミラー６が破線で示す位置にあり、撮影レンズ８からの被写体光はクイックリターンミラー５に反射されて焦点板１１へ導かれ、焦点板１１上に被写体像が結像する。液晶表示素子１２は、焦点板１１上に結像された被写体像に焦点検出エリアマークなどの情報を重畳表示するとともに、被写体像外の位置に露出値などの種々の撮影情報を表示する。焦点板１１上の被写体像はペンタダハプリズム１３および接眼レンズ１４を介して接眼窓１５へ導かれ、撮影者が被写体像を視認することができる。
【００１１】
また、カメラ本体２上部のファインダー光学系には、被写体追尾や測光のために被写体像を撮像する第２撮像素子１６が設けられる。焦点板１１に結像した被写体像は、ペンタダハプリズム１３、プリズム１７および結像レンズ１８を介して第２撮像素子１６の受光面に再結像される。第２撮像素子１６は被写体像に応じた画像信号を出力する。撮影前に焦点板１１上に結像された被写体像は、ペンタダハプリズム１３、プリズム１７および結像レンズ１８を介して第２撮像素子１６へ導かれ、第２撮像素子１６の受光面に被写体像が再結像される。詳細を後述するが、この第２撮像素子１６により撮像された被写体像に基づいて追尾制御と露出演算が行われる。
【００１２】
カメラ本体２にはまた、ボディ駆動制御装置１９、操作部材２０などが設けられる。ボディ駆動制御装置１９は、詳細を後述するマイクロコンピューターとメモリ、Ａ／Ｄ変換器などの周辺部品から構成され、カメラ１の種々の制御と演算を行う。操作部材２０には、シャッターボタン、焦点検出エリア選択スイッチ、撮影モード選択スイッチなどのカメラ１を操作するためのスイッチやセレクターが含まれる。
【００１３】
交換レンズ３には、ズーミングレンズ８ａ、フォーカシングレンズ８ｂ、絞り２１、レンズ駆動制御装置２２などが設けられる。なお、この一実施の形態では撮影レンズ８をズーミングレンズ８ａ、フォーカシングレンズ８ｂおよび絞り２１で体表的に表すが、撮影レンズ８の構成は図１に示す構成に限定されない。レンズ駆動制御装置２２は図示しないマイクロコンピューターとメモリ、駆動回路、アクチュエーターなどの周辺部品から構成され、レンズ８ａ、８ｂおよび絞り２１の駆動制御とそれらの設定位置検出を行う。レンズ駆動制御装置２２に内蔵されるメモリには、交換レンズ３の焦点距離や開放絞り値などの情報が記憶されている。
【００１４】
ボディ駆動制御装置１９とレンズ駆動制御装置２２はレンズマウント部の接点２３を介して通信を行い、ボディ駆動制御装置１９からレンズ駆動制御装置２２へレンズ駆動量や絞り値などの情報を送信し、レンズ駆動制御装置２２からボディ駆動制御装置１９へレンズ情報や絞り情報を送信する。
【００１５】
図２はボディ駆動制御装置１９の詳細な構成を示す。なお、本願発明と直接関係のない制御機能については図示と説明を省略する。ボディ駆動制御装置１９は素子制御回路１９ａ、Ａ／Ｄ変換器１９ｂ、マイクロコンピューター１９ｃ、メモリ１９ｄなどを備えている。素子制御回路１９ａは第２撮像素子１６の電荷の蓄積と読み出しを制御する。Ａ／Ｄ変換器１９ｂは、第２撮像素子１６から出力されるアナログ画像信号をデジタル画像信号に変換する。マイクロコンピューター１９ｃは、ソフトウエア形態により追尾制御部１９ｅ、露出制御部１９ｆ、焦点検出演算部１９ｇおよびレンズ駆動量演算部１９ｈを構成する。メモリ１９ｄは、画像追尾用のテンプレート画像やデフォーカス量などの情報、あるいは撮影レンズ８の焦点距離、開放Ｆ値、絞り値、像ズレ量からデフォーカス量への変換係数などのレンズ情報を記憶する。
【００１６】
追尾制御部１９ｅは、第２撮像素子１６により撮像した被写体像の内、撮影者が手動で指定した追尾対象位置、あるいはカメラ１が自動で設定した追尾対象位置に対応する画像をテンプレート画像(基準画像）としてメモリ１９ｄに記憶させ、その後に繰り返し撮影される画像の中からテンプレート画像と一致または類似する画像領域を検索することによって対象の位置を認識する。露出演算部１９ｆは、第２撮像素子１６により撮像した画像信号に基づいて露出値を演算する。
【００１７】
焦点検出演算部１９ｇは、測距素子１０から出力される対の光像に応じた焦点検出信号に基づいて撮影レンズ８の焦点調節状態、ここではデフォーカス量を検出する。なお、詳細を後述するが、撮影レンズ８の撮影画面内には複数の焦点検出エリアが設定されており、測距素子１０は焦点検出エリアごとに対の光像に応じた焦点検出信号を出力し、焦点検出演算部１９ｇは焦点検出エリアごとに対の光像に応じた焦点検出信号に基づいてデフォーカス量を検出する。レンズ駆動量演算部１９ｈは検出されたデフォーカス量をレンズ駆動量に変換する。
【００１８】
図３は第２撮像素子１６の詳細な構成を示す正面図である。第２撮像素子１６は、マトリクス状に配列された複数の画素（光電変換素子）２６（ここでは横１６個×縦１２個＝１９２個）を備えている。各画素２６は図４に示すように３個の部分２６ａ、２６ｂ、２６ｃに分割され、これらの部分２６ａ、２６ｂ、２６ｃにはそれぞれ赤Ｒ、緑Ｇ、青Ｂの原色フィルターが設けられている。これにより、各画素２６ごとに被写体像のＲＧＢ信号を出力することができる。
【００１９】
次に、一実施の形態の被写体追尾動作を説明する。図５〜図７は一実施の形態の被写体追尾方法を説明するための図、図８〜図１０は一実施の形態の被写体追尾処理を示すフローチャートである。シャッターボタンを全押しして撮影を行うとき以外は、クイックリターンミラー５が図１に破線で示す撮影光路内に設定されており、撮影レンズ８から入射した被写体光は焦点板１１上に結像される。そして、焦点板１１上の被写体像はペンタダハプリズム１３、プリズム１７および結像レンズ１８を介して第２撮像素子１６へ導かれ、第２撮像素子１６から被写体像信号が繰り返し出力される。
【００２０】
撮影レンズ８の撮影画面には複数の焦点検出エリアが設定されており、液晶表示素子１２により焦点板１１上の被写体像にエリアマークを重畳し、各焦点検出エリアの位置を表示する。この一実施の形態では、図５に示すように、撮影画面内の７カ所に焦点検出エリア４５ａ〜４５ｇが設定された例を示す。また、操作部材２０の焦点検出エリア選択スイッチにより任意のエリアを選択すると、そのエリアのマークが点灯表示される。
【００２１】
図５に示すように操作部材２０の焦点検出エリア選択スイッチにより焦点検出エリア４５ｂが選択され、この状態で操作部材２０のシャッターボタンが半押しされると、焦点検出エリア４５ｂが初回ＡＦエリアとしてメモリ１９ｄに記憶される。これにより、追尾対称の被写体が指定される。なお、ここでは撮影者が初回ＡＦエリアを選択して追尾対象の被写体を手動で指定する例を示したが、例えば自動的に被写体を認識する機能を備えたカメラでは被写体認識結果に基づいて初回ＡＦエリアおよび追尾対象被写体を設定してもよい。
【００２２】
ステップ１において、第２撮像素子１６により追尾初期画像（画像追尾処理を開始して最初に取得する画像）を取得する。この追尾初期画像は画素ごとにＲＧＢ値で表す。
Ｒ[ｘ,ｙ]、Ｇ[ｘ,ｙ]、Ｂ[ｘ,ｙ]  ・・・（１）
この画素ごとのＲＧＢ値に基づいて各画素の色情報ＲＧ、ＢＧ、画像を取得したときの露光時間Ｔ、ゲインＧain、色合成係数Ｋｒ、Ｋｇ、Ｋｂから輝度情報Ｌを算出する。
ＲＧ[ｘ,ｙ]＝Log２（Ｒ[ｘ,ｙ]）−Log２（Ｇ[ｘ,ｙ]），
ＢＧ[ｘ,ｙ]＝Log２（Ｂ[ｘ,ｙ]）−Log２（Ｇ[ｘ,ｙ]），
Ｌ[ｘ,ｙ]＝Log２（Ｋｒ×Ｒ[ｘ,ｙ]＋Ｋｇ×Ｇ[ｘ,ｙ]＋Ｋｂ×Ｂ[ｘ,ｙ]）−Log２（Ｔ）−Log２（Ｇain）  ・・・（２）
【００２３】
続くステップ２では、図９に示す追尾制御初期処理を実行する。図９のステップ１０１において、第２撮像素子１６で取得した追尾初期画像の中の焦点検出エリア４５ｂの位置に対応する位置の画像を、被写体色情報として記憶する。ステップ１０２では、図６(ａ)に示すように、追尾初期画像の中の焦点検出エリア４５ｂ（図５参照）の位置周辺部において被写体色情報と同様な色情報を示す同色情報領域を検出し、続くステップ１０３で同色情報領域を初期の追尾被写体領域４７とする。
【００２４】
なお、ここでは被写体色情報に基づいて追尾被写体領域４７を決定する例を示すが、処理の簡素化を図るために一律に３×３画素のように追尾被写体領域のサイズを統一したり、さらに撮影レンズ８の距離情報に応じて被写体領域のサイズを決定してもよい。
【００２５】
ステップ１０４において、追尾初期画像の中の追尾被写体領域４７の画像を画像追尾処理に用いるテンプレート画像４８（図６(ｂ)参照）としてメモリ１９ｄに記憶する。例えば、追尾被写体領域４７の始点位置が図６(ａ)に示すように(ｘ,ｙ)＝(４,５)の場合には、テンプレート画像４８の色情報は次のように表される。
ＲＧref[ｒｘ,ｒｙ]＝ＲＧ[ｘ,ｙ]、
ＢＧref[ｒｘ,ｒｙ]＝ＢＧ[ｘ,ｙ]、
Ｌref[ｒｘ,ｒｙ]＝Ｌ[ｘ,ｙ]  （ｒｘ,ｒｙ＝１〜３、ｘ＝４〜６、ｙ＝５〜７）  ・・・（３）
【００２６】
次に、ステップ１０５で追尾被写体領域４７を中心に前後左右に所定画素（ここでは２画素とする）づつ拡大した領域を探索領域４９に設定する。図６(ａ)に示す例では、探索領域４９は、ｘ＝２〜８、ｙ＝３〜９の領域になる。
【００２７】
追尾制御の初期処理が終了したら図８のステップ３へ進み、操作部材２０のシャッターボタンが全押しされたか否か、つまりシャッターレリーズ操作が行われたか否かを確認する。シャッターレリーズ操作がない場合はステップ４へ進み、第２撮像素子１６から追尾次画像を取得し、ステップ１の処理と同様に色情報ＲＧ[ｘ,ｙ]、ＢＧ[ｘ,ｙ]および輝度情報Ｌ[ｘ,ｙ]を算出し、メモリ１９ｄに記憶する。同時に、測距素子１０により、各焦点検出エリア４５ａ〜４５ｇごとに焦点検出用の対の光像に応じた焦点検出信号を取得する。
【００２８】
ステップ５で、ステップ４にて取得した焦点検出信号に基づいて各選択焦点検出エリア４５ａ〜４５ｇの撮影レンズ８の焦点調節状態、すなわちデフォーカス量を検出する。ステップ６では、すべての焦点検出エリアのデフォーカス量の中から、前回の焦点調節時に採用した焦点検出エリアのデフォーカス量に類似するデフォーカス量を示す焦点検出エリアを検索する。
【００２９】
次に、ステップ７で、追尾次画像の中の探索領域４９からテンプレート画像４８と同じサイズの領域を順次切り出し、切り出した画像とテンプレート画像４８の対応する画素ごとに色情報の差分Ｄiffを算出する。図７(ａ)に太い破線で示すように、探索領域４９の中で１画素ずつ領域をずらしながらテンプレート画像４８との色情報の差分Ｄiffを算出する。
【００３０】
今、図７(ａ)に示すように探索領域４９の始点位置が(scｘ,scｙ)＝(２,３)であるとすると、差分Ｄiffの演算は次のようにして行う。
Ｄiff[ｄｘ,ｄｙ]＝ΣΣ｛ＡＢＳ（ＲＧ[scｘ＋ｄｘ−１＋ｒｘ，scｙ＋ｄｙ−１＋ｒｙ]−ＲＧref[ｒｘ,ｒｙ]）＋ＡＢＳ（ＢＧ[scｘ＋ｄｘ−１＋ｒｘ，scｙ＋ｄｙ−１＋ｒｙ]−ＢＧref[ｒｘ,ｒｙ]）＋ＡＢＳ（Ｌ[scｘ＋ｄｘ−１＋ｒｘ，scｙ＋ｄｙ−１＋ｒｙ]−Ｌref[ｒｘ,ｒｙ]）｝  ・・・（４）
（４）式において、ｄｘ，ｄｙ＝１〜５、ｒｘ，ｒｙ＝１〜３、scｘ＝２、scｙ＝３、ΣΣはｒｘ＝１〜３およびｒｙ＝１〜３の総和演算である。
【００３１】
次に、（４）式により算出したすべての差分Ｄiffの内、値が最小の差分を最小差分MinＤiffとする。図７(ａ)に示す例では、最小差分MinＤiffとなる位置（minｘ,minｙ）は探索領域４９内の（４,４）である。この最小差分MinＤiffの値が小さいほど、テンプレート画像との類似性が高いことになる。ステップ８において、図１０に示す類似しきい値設定サブルーチンを実行し、類似しきい値Ｄthを設定する。
【００３２】
図１０のステップ２０１において、まず、最小差分MinＤiffを現在の類似しきい値Ｄth（初回は初期値）と比較する。なお、類似しきい値Ｄthの初期値には、通常の撮影シーンにおいて適切に類似判定が可能な値が設定されている。最小差分MinＤiffが類似しきい値Ｄthより小さい場合はステップ２１１へ進み、最小差分MinＤiffが類似しきい値Ｄth以上の場合はステップ２０２へ進む。最初に、最小差分MinＤiffが類似しきい値Ｄth以上の場合の処理を説明する。ステップ２０２で、シャッターレリーズの半押し操作時に繰り返し実行されるこの類似しきい値設定サブルーチンにおいて、連続して最小差分MinＤiffが類似しきい値Ｄth以上と判定された回数をカウントする回数カウンターｎの値を確認し、回数カウンターｎの値が０、すなわちはじめて最小差分MinＤiffが類似しきい値Ｄth以上と判定されたか否かを確認する。
【００３３】
最小差分MinＤiffが類似しきい値Ｄth以上であると今回はじめて判定されたときはステップ２０３へ進み、連続して最小差分MinＤiffが類似しきい値Ｄth以上と判定されているときの最小差分MinＤiffの平均値Ａvr１に、今回の最小差分MinＤiffを設定する。一方、回数カウンターｎの値が０でない、つまり前回に引き続き最小差分MinＤiffが類似しきい値Ｄth以上と判定されたときはステップ２０４へ進み、上述した平均値Ａvr１に今回の最小差分MinＤiffを加算して２で除し、平均値Ａvr１を更新する。
【００３４】
ステップ２０５でカウンターｎの値に１を加算してインクリメントし、続くステップ２０６で回数カウンターｎの値が所定値以上か否かを判別する。連続して所定回数以上最小差分MinＤiffが類似しきい値Ｄth以上と判定された場合はステップ２０７へ進み、平均値Ａvr１が、類似しきい値Ｄthに所定値Ｔhを加算した値よりも大きいか否かを判別する。平均値Ａvr１が（Ｄth＋Ｔh）より大きい場合はステップ２０８へ進み、類似しきい値Ｄthに所定値Ｔhを加算して類似しきい値Ｄthを設定し直す。類似しきい値Ｄthを再設定した後のステップ２０９で、回数カウンターｎと平均値Ａvr１をともに０にリセットし、続くステップ２１０で回数カウンターｍと平均値Ａvr２（詳細後述）をともに０にリセットする。
【００３５】
ステップ２０６で最小差分MinＤiffが類似しきい値Ｄth以上と判定された回数ｎが所定回数に満たないと判定された場合、またはステップ２０７で平均値Ａvr１が（Ｄth＋Ｔh）以下であると判定された場合はステップ２１０へ進み、回数カウンターｍと平均値Ａvr２（詳細後述）をともに０にリセットする。
【００３６】
一方、ステップ２０１で最小差分MinＤiffが類似しきい値Ｄthより小さいと判定された場合は、ステップ２１１で、シャッターレリーズの半押し操作時に繰り返し実行されるこの類似しきい値設定サブルーチンにおいて、連続して最小差分MinＤiffが類似しきい値Ｄthより小さいと判定された回数をカウントする回数カウンターｍの値を確認し、回数カウンターｍの値が０、すなわちはじめて最小差分MinＤiffが類似しきい値Ｄthより小さいと判定されたか否かを確認する。
【００３７】
最小差分MinＤiffが類似しきい値Ｄthより小さいと今回はじめて判定されたときはステップ２１２へ進み、連続して最小差分MinＤiffが類似しきい値Ｄthより小さいと判定されているときの最小差分MinＤiffの平均値Ａvr２に、今回の最小差分MinＤiffを設定する。一方、回数カウンターｍの値が０でない、つまり前回に引き続き最小差分MinＤiffが類似しきい値Ｄthより小さいと判定されたときはステップ２１３へ進み、上述した平均値Ａvr２に今回の最小差分MinＤiffを加算して２で除し、平均値Ａvr２を更新する。
【００３８】
ステップ２１４でカウンターｍの値に１を加算してインクリメントし、続くステップ２１５で回数カウンターｍの値が所定値以上か否かを判別する。連続して所定回数以上最小差分MinＤiffが類似しきい値Ｄthより小さいと判定された場合はステップ２１６へ進み、平均値Ａvr２が、類似しきい値Ｄthから所定値Ｔhを減算した値よりも小さいか否かを判別する。平均値Ａvr２が（Ｄth−Ｔh）より小さい場合はステップ２１７へ進み、類似しきい値Ｄthから所定値Ｔhを減算して類似しきい値Ｄthを設定し直す。類似しきい値Ｄthを再設定した後のステップ２１８で、回数カウンターｍと平均値Ａvr２をともに０にリセットし、続くステップ２１９で上述した回数カウンターｍと平均値Ａvr１をともに０にリセットする。
【００３９】
ステップ２１５で最小差分MinＤiffが類似しきい値Ｄthより小さいと判定された回数ｍが所定回数に満たないと判定された場合、またはステップ２１６で平均値Ａvr２が（Ｄth−Ｔh）以上であると判定された場合はステップ２１９へ進み、回数カウンターｎと平均値Ａvr１をともに０にリセットする。
【００４０】
以上の類似しきい値設定処理を要約すると、最小差分MinＤiffが所定回数以上連続して類似しきい値Ｄthより大きい場合は、類似しきい値Ｄthに所定値Ｔhを加算して類似しきい値Ｄthを大きくする。これにより、追尾対象の画像がテンプレート画像と合致または類似しているか否かの判定処理において、最小差分MinＤiffが類似しきい値Ｄthより小さくなってテンプレート画像と合致または類似していると判定され易くなり、対象の追尾を継続することができる。
【００４１】
一方、最小差分MinＤiffが所定回数以上連続して類似しきい値Ｄthより小さい場合は、類似しきい値Ｄthから所定値Ｔhを減算して類似しきい値Ｄthを小さくする。これにより、追尾対象の画像がテンプレート画像と合致または類似しているか否かの判定処理において、不適切に小さな類似しきい値Ｄthが設定されていて、追尾対象と異なる画像がテンプレート画像と合致または類似していると誤判定されるのを防止でき、適切な類似しきい値Ｄthに設定し直すことができ、画像追尾の信頼性を向上させることができる。
【００４２】
類似しきい値を設定した後の図８のステップ９において、最小差分MinＤiffを新たに設定した類似しきい値Ｄthと比較し、最小差分MinＤiffが類似しきい値Ｄth以下か否かを判別する。最小差分MinＤiffが類似しきい値Ｄth以下の場合はステップ１０へ進み、最小差分MinＤiffを示す切り出し領域を新しい追尾被写体領域４７に決定する。ここでは、図７(ｂ)に示すように、始点位置が(ｘ,ｙ)＝(５,６)の切り出し領域を新しい追尾被写体領域４７とする。
【００４３】
続くステップ１１において、新追尾被写体領域４７の画像情報を用いてテンプレート画像４８の画像情報を更新する。その場合、例えば元のテンプレート画像４８の画像情報８０％に対して新追尾被写体領域４７の画像情報２０％を加えることによって、テンプレート画像の画像情報に対して最新の画像情報が少しずつ更新され、追尾被写体の変化に追従しやすくしてもよい。
【００４４】
具体的には、次のようにして更新の演算を行う。
ＲＧref[ｒｘ,ｒｙ]＝０．８×ＲＧref[ｒｘ,ｒｙ]＋０．２×ＲＧ[ｘ,ｙ]，
ＢＧref[ｒｘ,ｒｙ]＝０．８×ＢＧref[ｒｘ,ｒｙ]＋０．２×ＢＧ[ｘ,ｙ]，
Ｌref[ｒｘ,ｒｙ]＝０．８×Ｌref[ｒｘ,ｒｙ]＋０．２×Ｌ[ｘ,ｙ]，
（ｒｘ，ｒｙ＝１〜３、ｘ＝５〜７、ｙ＝６〜８）  ・・・（５）
なお、テンプレート画像４８を更新する際の今までのテンプレート画像における画像情報と、新追尾被写体領域４７の画像情報との割合は、上述した固定値としてもよいし、最小差分MinＤiffに応じて可変にしてもよい。
【００４５】
ステップ１２において、新しい追尾被写体領域４７を中心に前後左右に所定画素（ここでは２画素とする）づつ拡大した領域を新しい探索領域４９に設定する。ここでは、図７(ｂ)に示すように、ｘ＝３〜９、ｙ＝４〜１０の領域を新しい探索領域４９とする。
【００４６】
ステップ１３において、ステップ１０における画像追尾結果の新追尾被写体領域４７と、ステップ１２におけるＡＦ機能によるエリア検索結果の焦点検出エリアとに基づいて、焦点調節を行うエリアを決定する。この一実施の形態では、画像追尾結果の新追尾被写体領域４７に対応する焦点検出エリアと、ＡＦ機能によるエリア検索結果の焦点検出エリアとを比較し、画像追尾結果とＡＦ機能のエリア探索結果とに共通の焦点検出エリアを焦点調節を行うエリア（以下、焦点調節エリアという）に決定する。
【００４７】
ステップ１４で、焦点調節エリアで検出されたデフォーカス量をレンズ駆動量に変換し、レンズ駆動制御装置２２によりフォーカシングレンズ８ｂを駆動して焦点調節を行う。
【００４８】
ステップ９で最小差分MinＤiffが類似しきい値Ｄthより大きいと判別された場合には、ステップ１０〜１３をスキップする。つまり、この場合にはテンプレート画像４８と合致もしくは類似する追尾被写体の画像が見つからないとして、エリア検索結果の焦点検出エリアを焦点調節エリアとして焦点調節を行ってもよいし、あるいは今回の焦点調節を中止してもよい。焦点調節後のステップ３でレリーズボタンの全押しを確認する。シャッターボタンが半押しされている間、ステップ４〜１４の処理を繰り返し実行し、シャッターボタンが全押しされるとステップ１５へ進み、撮影処理を実行する。
【００４９】
図１１はカメラに近づいてくる被写体を対象にして追尾する場合の様子を示す。図１１(ａ)に示すように、追尾対象５０がカメラから遠くにあるときに追尾被写体領域４７を設定し、追尾被写体領域４７の画像情報をテンプレート画像として追尾を開始した後に、図１１(ｂ)に示すように追尾対象５０がカメラに接近すると、追尾対象５０の画像が大きく拡大されてしまうために、テンプレート画像とのマッチング処理において類似判定が出なくなる。逆に、図１１(ｂ)に示すように、追尾対象５０がカメラに近い位置にあるときに追尾被写体領域４７’を設定し、追尾被写体領域４７’の画像情報をテンプレート画像として追尾を開始した後に、図１１(ａ)に示すように追尾対象５０がカメラから遠ざかると、追尾対象５０の画像が小さく縮小されてしまうために、同様に、テンプレート画像とのマッチング処理において類似判定が出なくなる。
【００５０】
このように、追尾対象とカメラとの相対位置の変化、あるいは撮影対象や撮影シーンの変化に応じて撮影画像とテンプレート画像との相関が変化するため、テンプレート画像との類似判定を行うための類似しきい値を固定値にすると、類似判定が出にくくなって画像追尾を続行できなくなったり、誤判定が増加して画像追尾の信頼性が低下してしまう。
【００５１】
この一実施の形態によれば、撮影レンズ８により結像された画像を撮像するとともに、追尾対象の像をテンプレート画像（基準画像）として記憶し、撮像画像とテンプレート画像（基準画像）とを比較する位置をずらしながら両者の色情報の差分Ｄiffを演算し、演算される差分Ｄiffの内の最小の差分MinＤiffが類似しきい値より低いと判定された場合に、最小の差分MinＤiffを生じる撮像画像上のテンプレート画像の位置を新追尾被写体領域に決定する画像追尾において、最小の差分MinＤiffの履歴に基づいて類似しきい値Ｄthを設定するようにしたので、撮影シーンに応じた類似判定しきい値を設定することができ、撮像画像と基準画像との類似判定を正確に行うことができる。例えば、追尾対象の被写体がカメラに近づいてくるような撮影シーンでも、画像追尾性能を向上させることができる。
【００５２】
また、一実施の形態によれば、演算される差分Ｄiffの内の最小の差分MinＤiffが類似しきい値より低いと判定された場合に、撮像画像上の最小の差分MinＤiffを生じる位置の画像に基づいてテンプレート画像を更新するようにしたので、追尾対象の画像を正確に取得してテンプレート画像を更新することができ、画像追尾性能を向上させることができる。
【００５３】
さらに、一実施の形態によれば、繰り返し演算される最小の差分MinＤiffが所定回数以上連続して類似しきい値Ｄthよい大きい場合に、類似しきい値Ｄthを所定値だけ大きくし、繰り返し演算される最小の差分MinＤiffが所定回数以上連続して類似しきい値Ｄthより小さい場合に、類似しきい値Ｄthを所定値だけ小さくするようにしたので、類似しきい値Ｄthを適切に変更することができ、撮像画像と基準画像との類似判定を正確に行うことができる。
【００５４】
《発明の一実施の形態の変形例》
上述した一実施の形態では、画像追尾処理を開始した直後の類似しきい値Ｄthには、通常の撮影シーンにおいて適切に類似判定が可能な初期値を用いる例を示したが、撮影シーンによっては画像追尾処理を開始した直後の最小差分MinＤiffが類似しきい値Ｄthの初期値から大きく乖離することがある。そのような撮影シーンでは、図１０に示す類似しきい値設定処理が何回も繰り返された後に、類似しきい値Ｄthが最小差分MinＤiffに対して適当な値に収束するから、それまでの間は画像追尾による新追尾被写体領域が決定されず、またテンプレートの更新が行われない。
【００５５】
そこで、この変形例では、図１２に示すように、初回の画像追尾結果、すなわち初回のステップ５におけるテンプレート差分演算結果の最小差分MinＤiffを類似しきい値Ｄthの候補値とし、類似しきい値Ｄthの初期値と比較して大きい方を採用する。なお、図１２に示す変形例の被写体追尾処理は、図８に示す一実施の形態の被写体追尾処理と異なるステップのみを示す。
【００５６】
図１２において、ステップ５でテンプレート差分演算を行った後のステップ３０１で、今回の追尾演算すなわち上記テンプレート差分演算が画像追尾を開始した直後の初回の演算であるか否かを確認する。初回の追尾演算の場合のみステップ３０２へ進み、ステップ５の初回のテンプレート差分演算で求めた最小差分MinＤiffを類似しきい値の候補値Ｄth’としてメモリ１９ｄに記憶する。
【００５７】
続くステップ３０３では図１０に示す類似しきい値設定サブルーチンを実行する。この類似しきい値設定処理では、上述したように、最小差分MinＤiffが所定回数以上連続して類似しきい値Ｄthより大きい場合は、類似しきい値Ｄthに所定値Ｔhを加算して類似しきい値Ｄthを大きくし、最小差分MinＤiffが所定回数以上連続して類似しきい値Ｄthより小さい場合は、類似しきい値Ｄthから所定値Ｔhを減算して類似しきい値Ｄthを小さくする。
【００５８】
ステップ３０４において、初回の追尾演算結果の最小差分MinＤiff、つまり類似しきい値の候補値Ｄth’と、類似しきい値設定処理で求められた類似しきい値Ｄthとを比較し、大きい方を正式な類似しきい値Ｄthとして採用する。続くステップ３０５では、ステップ５のテンプレート差分演算で算出された最小差分MinＤiffが、正式に採用された類似しきい値Ｄth以下か、つまり、類似しきい値の候補値Ｄth’と類似しきい値設定処理で算出した類似しきい値Ｄthの内の大きい方の値以下か否かを判別する。
【００５９】
最小差分MinＤiffが正式に採用された類似しきい値Ｄth以下の場合はステップ８および９へ進み、上述したように新追尾被写体領域を決定するとともにテンプレートを更新する。一方、最小差分MinＤiffが正式に採用された類似しきい値Ｄthよりも大きい場合は、ステップ８および９をスキップし、新追尾被写体領域の決定とテンプレートの更新を行わない。
【００６０】
画像追尾を開始した直後のステップ３０５において、類似しきい値の候補値Ｄth’が類似しきい値設定処理で算出した類似しきい値Ｄthより大きい場合には、最小差分MinＤiffを類似しきい値の候補値Ｄth’としたので、MinＤiff≦Ｄth’の判定が肯定されてステップ８および９へ進み、新追尾被写体領域の決定とテンプレートの更新が行われる。
【００６１】
なお、初回の追尾演算結果の最小差分MinＤiff、つまり類似しきい値の候補値Ｄth’と、類似しきい値設定処理で求められた類似しきい値Ｄthとの差を演算し、この差（Ｄth’−Ｄth）が所定値以上の場合に、図１２の変形例の処理を行うようにしてもよい。
【００６２】
また、図１３に示すように、類似しきい値Ｄthの初期値に代えて、初回の画像追尾結果、すなわち初回のステップ５におけるテンプレート差分演算結果の最小差分MinＤiffを類似しきい値Ｄthとしてもよい。図１３において、図８に示す一実施の形態の被写体追尾処理と異なるステップのみを示す。
【００６３】
図１３のステップ５でテンプレート差分演算を行った後、ステップ３１１で初回の追尾演算か否かを判別し、初回の追尾演算の場合のみステップ３１２へ進み、初回の追尾演算結果の最小差分MinＤiffを類似しきい値Ｄthとする。そして、ステップ６において、初回の追尾演算結果の最小差分MinＤiffを設定した類似しきい値Ｄthに対して上述した類似しきい値設定処理を実行する。
【図面の簡単な説明】
【００６４】
【図１】一実施の形態の画像認識装置を備えた撮像装置の構成を示す図
【図２】ボディ駆動制御装置の詳細な構成を示す図
【図３】第２撮像素子の詳細な構成を示す正面図
【図４】第２撮像素子の画素の詳細図
【図５】撮影画面内の焦点検出エリアの配置を示す図
【図６】一実施の形態の被写体の追尾方法を説明する図
【図７】一実施の形態の被写体の追尾方法を説明する図
【図８】一実施の形態の被写体追尾動作を示すフローチャート
【図９】一実施の形態の追尾制御の初期処理を示すフローチャート
【図１０】一実施の形態の類似しきい値設定処理を示すフローチャート
【図１１】一実施の形態の被写体追尾動作を説明する図
【図１２】一実施の形態の変形例の被写体追尾動作の一部を示すフローチャート
【図１３】一実施の形態の他の変形例の被写体追尾動作の一部を示すフローチャート
【符号の説明】
【００６５】
８  撮影レンズ
１０  測距素子
１６  第２撮像素子
１９  ボディ駆動制御装置
１９ｄ  メモリ
２２  レンズ駆動制御装置
【図１】
0004872834.tif 000002
【図２】
0004872834.tif 000003
【図３】
0004872834.tif 000004
【図４】
0004872834.tif 000005
【図５】
0004872834.tif 000006
【図６】
0004872834.tif 000007
【図７】
0004872834.tif 000008
【図８】
0004872834.tif 000009
【図９】
0004872834.tif 000010
【図１０】
0004872834.tif 000011
【図１１】
0004872834.tif 000012
【図１２】
0004872834.tif 000013
【図１３】
0004872834.tif 000014