(57)【要約】【課題】テンプレートマッチングに要する演算量を低減する【解決手段】撮像装置１は、結像光学系８により結像される被写界の被写界画像を繰り返し撮像する撮像手段１６と、被写界画像に基づいて、所定の第１の解像度における第１評価情報と、第１の解像度よりも高い所定の第２の解像度における第２評価情報とを作成する作成手段１９と、追尾対象の画像に関する基準情報と第１評価情報とに基づいて、被写界画像における追尾対象の候補位置を検出する第１の検出を行い、必要に応じて、基準情報と第２評価情報とに基づいて、被写界画像における追尾対象の位置を検出する第２の検出を行う検出手段１９とを備える。【選択図】図１
2010147694.tif 000002
【特許請求の範囲】
【請求項１】
結像光学系により結像される被写界の被写界画像を繰り返し撮像する撮像手段と、
前記被写界画像に基づいて、所定の第１の解像度における第１評価情報と、前記第１の解像度よりも高い所定の第２の解像度における第２評価情報とを作成する作成手段と、
追尾対象の画像に関する基準情報と前記第１評価情報とに基づいて、前記被写界画像における前記追尾対象の候補位置を検出する第１の検出を行い、必要に応じて、前記基準情報と前記第２評価情報とに基づいて、前記被写界画像における前記追尾対象の位置を検出する第２の検出を行う検出手段とを備えることを特徴とする画像追尾装置。
【請求項２】
請求項１に記載の画像追尾装置において、
前記被写界に第１の探索範囲を設定する第１の設定手段と、
前記被写界に前記第１の探索範囲よりも狭い第２の探索範囲を設定する第２の設定手段とをさらに備え、
前記検出手段は、前記第１評価情報のうち前記第１の探索範囲に対応する部分の評価情報と前記基準情報とに基づいて前記第１の検出を行い、前記第２評価情報のうち前記第２の探索範囲に対応する部分の評価情報と前記基準情報とに基づいて前記第２の検出を行うことを特徴とする画像追尾装置。
【請求項３】
請求項１に記載の画像追尾装置において、
前記被写界に第１の探索範囲を設定する第１の設定手段と、
前記被写界の前記追尾対象の候補位置に対応する範囲を第２の探索範囲として設定する第２の設定手段とをさらに備え、
前記検出手段は、前記第１評価情報のうち前記第１の探索範囲に対応する部分の評価情報と前記基準情報とに基づいて前記第１の検出を行い、前記第２評価情報のうち前記第２の探索範囲に対応する部分の評価情報と前記基準情報とに基づいて前記第２の検出を行うことを特徴とする画像追尾装置。
【請求項４】
請求項１〜３のいずれか一項に記載の画像追尾装置において、
前記第２の検出を行うか否かを判定する判定手段をさらに備え、
前記検出手段は、前記判定手段により前記第２の検出を行わないと判定された場合、前記第１の検出で検出された前記候補位置を前記追尾対象の位置とすることを特徴とする画像追尾装置。
【請求項５】
請求項４に記載の画像追尾装置において、
前記判定手段は、前記第１評価情報のうち前記候補位置に対応する部分の評価情報と前記基準情報との類似度に応じて、前記第２の検出を行うか否かを判定することを特徴とする画像追尾装置。
【請求項６】
請求項４または５に記載の画像追尾装置において、
前記検出手段は、複数の前記候補位置を検出し、
前記判定手段は、前記第１評価情報のうち前記候補位置に対応する各部分の評価情報と前記基準情報との類似度をそれぞれ算出し、算出した類似度が所定のしきい値を超える前記候補位置の数が０または２以上である場合に、前記第２の検出を行うと判定することを特徴とする画像追尾装置。
【請求項７】
請求項６に記載の画像追尾装置において、
前記判定手段は、前記類似度が前記しきい値を超える前記候補位置の数が１であり、かつ前記被写界に予め設定された複数の焦点検出位置のうち前記類似度が前記しきい値を超える前記候補位置に対応する焦点検出位置の数が１である場合に、前記第２の検出を行わないと判定することを特徴とする画像追尾装置。
【請求項８】
請求項１〜７のいずれか一項に記載の画像追尾装置と、
前記検出手段により検出された前記追尾対象の位置について前記結像光学系の焦点調節状態を検出する焦点検出手段と、
前記焦点検出手段により検出された前記焦点調節状態に基づいて前記結像光学系の焦点調節を行う焦点調節手段とを備えることを特徴とする撮像装置。
【請求項９】
結像光学系により結像される被写界の被写界画像を繰り返し撮像し、
前記被写界画像に基づいて、所定の第１の解像度における第１評価情報と、前記第１の解像度よりも高い所定の第２の解像度における第２評価情報とを作成し、
前記被写界に第１の探索範囲を設定し、
前記第１評価情報のうち前記第１の探索範囲に対応する部分の評価情報と追尾対象の画像に関する基準情報とに基づいて、前記被写界に前記第１の探索範囲よりも狭い第２の探索範囲を設定し、
前記第２評価情報のうち前記第２の探索範囲に対応する部分の評価情報と前記基準情報とに基づいて、前記被写界画像における前記追尾対象の位置を検出することを特徴とする画像追尾方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像追尾装置、撮像装置および画像追尾方法に関する。
【背景技術】
【０００２】
移動被写体を撮影する際に、画面内の指定部分の被写体像をテンプレート画像として取得し、繰り返し撮影する画像の中でテンプレート画像と類似した被写体像の位置を検索（テンプレートマッチング）し、画面内を移動する被写体を追尾するようにした画像追尾装置が知られている（例えば、特許文献１参照）。
【特許文献１】特開２００６−０５８４３１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
上述した従来の画像追尾装置において、繰り返し撮影される画像の画素数が少ないと、画面内の小さな被写体を検出することが困難になる上に、被写体の細かい動きにも追従し難くなるため、テンプレートマッチングに用いる画像の画素数は多い方がよい。ところが、画素数が多いほど、テンプレートマッチングに要する演算量が増大するという問題がある。
【課題を解決するための手段】
【０００４】
本発明による画像追尾装置は、結像光学系により結像される被写界の被写界画像を繰り返し撮像する撮像手段と、被写界画像に基づいて、所定の第１の解像度における第１評価情報と、第１の解像度よりも高い所定の第２の解像度における第２評価情報とを作成する作成手段と、追尾対象の画像に関する基準情報と第１評価情報とに基づいて、被写界画像における追尾対象の候補位置を検出する第１の検出を行い、必要に応じて、基準情報と第２評価情報とに基づいて、被写界画像における追尾対象の位置を検出する第２の検出を行う検出手段とを備える。
本発明による撮像装置は、画像追尾装置と、検出手段により検出された追尾対象の位置について結像光学系の焦点調節状態を検出する焦点検出手段と、焦点検出手段により検出された焦点調節状態に基づいて結像光学系の焦点調節を行う焦点調節手段とを備える。
本発明による画像追尾方法は、結像光学系により結像される被写界の被写界画像を繰り返し撮像し、被写界画像に基づいて、所定の第１の解像度における第１評価情報と、第１の解像度よりも高い所定の第２の解像度における第２評価情報とを作成し、被写界に第１の探索範囲を設定し、第１評価情報のうち第１の探索範囲に対応する部分の評価情報と追尾対象の画像に関する基準情報とに基づいて、被写界に第１の探索範囲よりも狭い第２の探索範囲を設定し、第２評価情報のうち第２の探索範囲に対応する部分の評価情報と基準情報とに基づいて、被写界画像における追尾対象の位置を検出する。
【発明の効果】
【０００５】
本発明によれば、テンプレートマッチングに要する演算量を低減することができる。
【発明を実施するための最良の形態】
【０００６】
撮影画面内に設定された複数の焦点検出エリアにおいて撮影レンズの焦点調節状態（この一実施の形態ではデフォーカス量）を検出し、いずれかのエリアのデフォーカス量に基づいて撮影レンズを合焦駆動する自動焦点調節（ＡＦ）機能と、撮影画像の中の追尾対象の被写体の画像をテンプレート画像（基準画像）として記憶し、繰り返し撮像される画像の中でテンプレート画像と同一または類似した画像の位置を検索しながら（テンプレートマッチング）追尾対象の被写体を追尾する画像追尾機能とを備え、ＡＦ機能と画像追尾機能により撮影レンズを駆動しながら追尾対象を追尾する画像追尾装置を備えた撮像装置（一眼レフデジタルスチルカメラ）の一実施の形態を説明する。
【０００７】
図１は、一実施の形態の画像追尾装置を備えた撮像装置（一眼レフデジタルスチルカメラ）１の構成を示す。なお、図１では本願発明と直接関係のないカメラの機器および回路についての図示と説明を省略する。一実施の形態のカメラ１は、カメラ本体２に交換レンズ３が着脱可能に装着される。カメラ本体２には被写界像を撮像して画像を記録するための第１撮像素子４が設けられる。この第１撮像素子４はＣＣＤやＣＭＯＳなどにより構成することができる。撮影時にはクイックリターンミラー５およびサブミラー６が実線で示す撮影光路外の位置に退避してシャッター７が開放され、撮影レンズ８により第１撮像素子４の受光面に被写体像が結像される。
【０００８】
カメラ本体２の底部には、撮影レンズ８の焦点調節状態を検出するための焦点検出光学系９と測距素子１０が設けられている。この一実施の形態では、瞳分割型位相差検出方式による焦点検出方法を採用した例を示す。焦点検出光学系９は、撮影レンズ８を通過した対の焦点検出用光束を測距素子１０の受光面へ導き、対の光像を結像させる。測距素子１０は例えば対のＣＣＤラインセンサーを備え、対の光像に応じた焦点検出信号を出力する。撮影前にはクイックリターンミラー５およびサブミラー６が破線で示すような撮影光路内の位置に設定されており、撮影レンズ８からの対の焦点検出用光束はクイックリターンミラー５のハーフミラー部を透過し、サブミラー６により反射されて焦点検出光学系９および測距素子１０へ導かれる。
【０００９】
カメラ本体２の上部にはファインダー光学系が設けられている。撮影前にはクイックリターンミラー５およびサブミラー６が破線で示す位置にあり、撮影レンズ８からの被写体光の一部はクイックリターンミラー５に反射されて焦点板１１へ導かれ、焦点板１１上に被写体像が結像する。液晶表示素子１２は、焦点板１１上に結像された被写界像に焦点検出エリアマークなどの情報を重畳表示するとともに、被写界像外の位置に露出値などの種々の撮影情報を表示する。焦点板１１上の被写界像はペンタダハプリズム１３および接眼レンズ１４を介して接眼窓１５へ導かれ、撮影者が被写界像を視認することができる。
【００１０】
また、カメラ本体２上部のファインダー光学系には、被写体追尾や測光のために被写界像を撮像する第２撮像素子１６が設けられる。焦点板１１に結像した被写界像は、ペンタダハプリズム１３、プリズム１７および結像レンズ１８を介して第２撮像素子１６の受光面に再結像される。第２撮像素子１６は、マトリクス状に配列された複数の画素（光電変換素子）（この一実施の形態では、横６４０個×縦４８０個の画素が正方配列された一例を示す）を備えている。さらに、各画素は３個の部分に分割され、これらの部分にはそれぞれ赤Ｒ、緑Ｇ、青Ｂの原色フィルターが設けられている。これにより、各画素ごとに被写界画像のＲＧＢ信号を出力することができる。詳細を後述するが、この第２撮像素子１６により撮像された被写界画像に基づいて追尾制御と露出演算が行われる。なお、追尾制御と露出演算は第１撮像素子４により撮像された被写界画像に基づいて行うこととしてもよい。
【００１１】
カメラ本体２にはまた、ボディ駆動制御装置１９、操作部材２０などが設けられる。ボディ駆動制御装置１９は、詳細を後述するマイクロコンピューターとメモリ、Ａ／Ｄ変換器などの周辺部品から構成され、カメラ１の種々の制御と演算を行う。操作部材２０には、レリーズボタン、焦点検出エリア選択スイッチ、撮影モード選択スイッチなどのカメラ１を操作するためのスイッチやセレクターが含まれる。
【００１２】
交換レンズ３には、ズーミングレンズ８ａ、フォーカシングレンズ８ｂ、絞り２１、レンズ駆動制御装置２２などが設けられる。なお、この一実施の形態では撮影レンズ８をズーミングレンズ８ａ、フォーカシングレンズ８ｂおよび絞り２１で代表的に表すが、撮影レンズ８の構成は図１に示す構成に限定されない。レンズ駆動制御装置２２は図示しないマイクロコンピューターとメモリ、駆動回路、アクチュエーターなどの周辺部品から構成され、レンズ８ａ、８ｂおよび絞り２１の駆動制御とそれらの位置検出を行う。レンズ駆動制御装置２２に内蔵されるメモリには、交換レンズ３の焦点距離や開放絞り値などのレンズ情報が記憶されている。
【００１３】
ボディ駆動制御装置１９とレンズ駆動制御装置２２はレンズマウント部の接点２３を介して通信を行い、ボディ駆動制御装置１９からレンズ駆動制御装置２２へレンズ駆動量や絞り値などの情報を送信し、レンズ駆動制御装置２２からボディ駆動制御装置１９へレンズ情報や絞り情報を送信する。
【００１４】
図２はボディ駆動制御装置１９の詳細な構成を示す。なお、本願発明と直接関係のない制御機能については図示と説明を省略する。ボディ駆動制御装置１９は素子制御回路１９ａ、Ａ／Ｄ変換器１９ｂ、マイクロコンピューター１９ｃ、メモリ１９ｄなどを備えている。素子制御回路１９ａは第２撮像素子１６の電荷の蓄積と読み出しを制御する。Ａ／Ｄ変換器１９ｂは、第２撮像素子１６から出力されるアナログ画像信号をデジタル画像信号に変換する。撮影者により操作部材２０のレリーズボタンが半押しされると半押しスイッチ（不図示）がオンし、図１に示すように、撮影レンズ８を通過した被写体光の一部は破線で示すクイックリターンミラー５により反射され、ペンタダハプリズム１３、プリズム１７および結像レンズ１８を介して第２撮像素子１６へ導かれる。レリーズボタンが半押しされている間、第２撮像素子１６により繰り返し周期的に被写界像を撮像することができる。
【００１５】
マイクロコンピューター１９ｃは、ソフトウエア形態により追尾制御部１９ｅ、露出制御部１９ｆ、焦点検出演算部１９ｇおよびレンズ駆動量演算部１９ｈを構成する。メモリ１９ｄは、画像追尾用のテンプレート画像やデフォーカス量などの情報、撮影レンズ８の焦点距離、開放Ｆ値、絞り値、像ズレ量からデフォーカス量への変換係数などのレンズ情報などを記憶する。
【００１６】
追尾制御部１９ｅは、第２撮像素子１６により撮像した被写界像の内、撮影者が手動で指定した追尾対象位置、あるいはカメラ１が自動で設定した追尾対象位置に対応する画像をテンプレート画像(基準画像）としてメモリ１９ｄに記憶させ、その後に繰り返し撮影される画像の中からテンプレート画像と一致または類似する画像領域を検索することによって対象の位置を認識する。露出演算部１９ｆは、第２撮像素子１６により撮像した画像信号に基づいて露出値を演算する。
【００１７】
焦点検出演算部１９ｇは、測距素子１０から出力される対の光像に応じた焦点検出信号に基づいて撮影レンズ８の焦点調節状態、ここではデフォーカス量を検出する。なお、詳細を後述するが、撮影レンズ８により結像される被写界には複数の焦点検出エリアが予め設定されている。測距素子１０は焦点検出エリアごとに対の光像に応じた焦点検出信号を出力し、焦点検出演算部１９ｇは焦点検出エリアごとに対の光像に応じた焦点検出信号に基づいてデフォーカス量を検出する。撮影者により操作部材２０のレリーズボタンが半押しされると半押しスイッチ（不図示）がオンし、図１に示すように、撮影レンズ８を通過した被写体光の一部は破線で示すクイックリターンミラー５のハーフミラー部を通ってサブミラー６および焦点検出光学系９を介して測距素子１０へ導かれ、焦点検出演算部１９ｇにより焦点検出演算が行われる。レンズ駆動量演算部１９ｈは検出されたデフォーカス量をレンズ駆動量に変換する。なお、焦点調節状態の検出は、レリーズボタンが半押しされている間、繰り返し周期的に行われる。
【００１８】
次に、一実施の形態の画像追尾動作を説明する。図３〜図８は一実施の形態の画像追尾動作を説明するための図、図９、図１０は一実施の形態の画像追尾処理を示すフローチャートである。レリーズボタンを全押しして撮影を行うとき以外は、クイックリターンミラー５が図１に破線で示す撮影光路内に設定されており、撮影レンズ８から入射した被写体光の一部は焦点板１１上に結像される。そして、焦点板１１上の被写界像はペンタダハプリズム１３、プリズム１７および結像レンズ１８を介して第２撮像素子１６へ導かれ、第２撮像素子１６により繰り返し撮像される。これにより、第２撮像素子１６から被写界画像信号が繰り返し出力される。
【００１９】
撮影レンズ８の撮影画面内の範囲には複数の焦点検出エリアが設定されており、液晶表示素子１２により焦点板１１上の被写界像にエリアマークを重畳し、各焦点検出エリアの位置を表示する。この一実施の形態では、図３に示すように、撮影画面内の７カ所に焦点検出エリア４５ａ〜４５ｇ（図中にはａ〜ｇと表記）が設定された例を示す。また、操作部材２０の焦点検出エリア選択スイッチにより任意のエリアを選択すると、そのエリアのマークが点灯表示される。
【００２０】
図３に示すように操作部材２０の焦点検出エリア選択スイッチにより焦点検出エリア４５ｂが選択され、この状態で操作部材２０のレリーズボタンが半押しされると、焦点検出エリア４５ｂが初回ＡＦエリアとしてメモリ１９ｄに記憶される。これにより、追尾対象として初回ＡＦエリア内の被写体が指定される。なお、ここでは撮影者が初回ＡＦエリアを選択して追尾対象の被写体を手動で指定する例を示すが、例えば自動的に被写体を認識する機能を備えたカメラでは被写体認識結果に基づいて初回ＡＦエリアおよび追尾対象被写体を設定してもよい。
【００２１】
図９のステップＳ１において、第２撮像素子１６により追尾初期画像（画像追尾処理を開始して最初に取得する画像）を取得する。第２撮像素子１６により撮像された画像情報は、画素ごとにＲＧＢ値で表される。
Ｒ[ｘ,ｙ]、Ｇ[ｘ,ｙ]、Ｂ[ｘ,ｙ]，
ｘ＝１〜６４０、ｙ＝１〜４８０  ・・・（１）
【００２２】
次に、ステップＳ２で図１０に示す追尾制御初期処理を追尾制御部１９ｅにより実行する。図１０のステップＳ１００において、追尾制御部１９ｅは、ステップＳ１で取得した追尾初期画像に基づいて、画像追尾処理に用いるテンプレート画像を得るための評価情報を作成する。ここでは、追尾初期画像から解像度の異なる２種類の画像（評価画像）を作成し、これらを評価情報として用いる。たとえば、図３に示す撮影画面から得られた追尾初期画像の解像度を２段階に下げることで、図４（ａ）に示す評価画像４０ａと、図４（ｂ）に示す評価画像４０ｂとを評価情報として作成する。ここで、評価画像４０ａの方が評価画像４０ｂよりも解像度が高い。たとえば、６４０×４８０画素の追尾初期画像から、６４×４８画素の評価画像４０ａと、３２×２４画素の評価画像４０ｂとを作成する。
【００２３】
なお、ステップＳ１００において評価情報を作成する際に追尾初期画像の解像度を下げる方法には、どのようなものを用いてもよい。たとえば、追尾初期画像において隣接する所定数の画素同士をまとめて１つのブロックとするブロック化を行い、各ブロックごとに当該ブロックに含まれる全画素のＲＧＢ値を平均化または合計することで、追尾初期画像の解像度を下げることができる。このとき、いくつかの画素を間引いてもよい。あるいは、各ブロック内で１つの画素を当該ブロックの代表画素として選択し、その代表画素のＲＧＢ値により評価画像を表してもよい。
【００２４】
ステップＳ１０１において、追尾制御部１９ｅは、図９のステップＳ１で取得した追尾初期画像の中の撮影者が指定した位置（ここでは初回ＡＦエリアである焦点検出エリア４５ｂ）の画像情報（(1)式参照）を被写体色情報として記憶する。このとき使用する色情報は、第２撮像素子１６から得た画像情報を使ってもいいし、評価画像の情報を使ってもよい。ステップＳ１０２において、追尾制御部１９ｅは、図５（ａ）に示すように、追尾初期画像の中の焦点検出エリア４５ｂ（図３参照）の位置周辺部において上記被写体色情報と同様な色情報を示す同色情報領域４６を検出する。続くステップＳ１０３において、追尾制御部１９ｅは、ステップＳ１０２で検出した同色情報領域４６を含む四角形の領域を初期の追尾被写体領域４７とする。
【００２５】
なお、ここでは被写体色情報に基づいて追尾被写体領域４７を決定する例を示すが、処理の簡素化を図るために一律に３×３画素のように追尾被写体領域のサイズを統一したり、あるいは撮影レンズ８の距離情報や被写体の像倍率に応じて追尾被写体領域のサイズを決定してもよい。
【００２６】
ステップＳ１０４において、追尾制御部１９ｅは、ステップＳ１００で作成した評価情報、すなわち解像度の異なる評価画像４０ａ、４０ｂのうち、ステップＳ１０３で決定した追尾初期画像における追尾被写体領域４７にそれぞれ対応する部分の画像情報を、テンプレート画像としてメモリ１９ｄに記憶する。これにより、評価画像４０ａに対しては図５（ｂ）に示すテンプレート画像４８ａがメモリ１９ｄに記憶され、評価画像４０ｂに対しては図５（ｃ）に示すテンプレート画像４８ｂがメモリ１９ｄに記憶される。これらのテンプレート画像は、いずれも追尾対象の画像に関する基準情報を表している。
【００２７】
ステップＳ１０５において、追尾制御部１９ｅは、後で説明する図９のステップＳ６で実行される第１追尾演算における追尾対象の探索範囲（第１探索範囲）を被写界に設定する。ここでは、図５（ａ）に示すように、追尾被写体領域４７を囲む所定の範囲を第１探索範囲４９に設定する。好ましくは追尾被写体領域４７を中心にして第１探索範囲４９を設定する。追尾対象の被写体は今回検出された位置すなわち追尾被写体領域４７を基点にして移動するから、追尾被写体領域４７を中心にして第１探索範囲４９を設定することによって、追尾対象の被写体を早く検出することができ、画像追尾の応答性を向上させることができる。なお、この第１探索範囲４９は縦横それぞれに所定画素ずつ拡大した所定の大きさの領域としてもよいし、追尾結果や追尾被写体の大きさに応じて変えるようにしてもよい。
【００２８】
以上で追尾制御初期処理を終了し、図９のステップＳ３へリターンする。リターン後のステップＳ３において、追尾制御部１９ｅは、操作部材２０のレリーズボタンが全押しされたか否かを判別する。レリーズボタンが全押しされていなければステップＳ４へ進む。ステップＳ４では、第２撮像素子１６により追尾次画像を取得し、ステップＳ１の処理と同様に画像情報Ｒ[ｘ,ｙ]、Ｇ[ｘ,ｙ]、Ｂ[ｘ,ｙ]（ｘ＝１〜６４０、ｙ＝１〜４８０）を取得する。これにより、たとえば図６（ａ）に示す追尾次画像４１が取得される。
【００２９】
続くステップＳ５において、追尾制御部１９ｅは、ステップＳ４で取得した追尾次画像に基づいて、図１０のステップＳ１００と同様に、解像度の異なる２種類の評価情報を作成する。たとえば、図６（ａ）に示す６４０×４８０画素の追尾次画像４１から、図６（ｂ）に示す６４×４８画素の評価画像４１ａと、図６（ｃ）に示す３２×２４画素の評価画像４１ｂとを評価情報として作成する。
【００３０】
ステップＳ６において、追尾制御部１９ｅは、図１０のステップＳ１０４でメモリ１９ｄに記憶されたテンプレート画像のうち解像度が低い方のものと、ステップＳ５で作成した評価情報のうち解像度が低い方のものとに基づいて、１回目の追尾演算（第１追尾演算）を実行する。すなわち、図５（ｃ）のテンプレート画像４８ｂと、図６（ｃ）の評価画像４１ｂとに基づいて、第１追尾演算を実行する。この第１追尾演算の様子を図７に示す。
【００３１】
第１追尾演算では、最初に図７に示すように、評価画像４１ｂのうち図１０のステップＳ１０５で設定した第１探索範囲４９（図５（ａ）参照）に対応する部分における各位置について、テンプレート画像４８ｂと同じ大きさの領域を順次切り出す。次に、切り出した評価画像４１ｂの各領域に対応する画像情報とテンプレート画像４８ｂとの類似度をそれぞれ算出し、その類似度が所定値以上である位置、すなわちテンプレート画像４８ｂとの一致度合いが所定の程度を超える領域の位置を、追尾対象の候補位置として検出する。たとえば、図７において領域４２ａ、４２ｂおよび４２ｃに対応する画像情報とテンプレート画像４８ｂとの類似度がいずれも所定値以上であるとすると、これらの領域４２ａ〜４２ｃの位置を追尾対象の候補位置としてそれぞれ検出する。なお、上記の類似度は、切り出した領域ごとの画像情報とテンプレート画像４８ｂとの各画素についてＲＧＢ値の差分を合計することによって求められる。すなわち、各画素におけるＲＧＢ値の差分の合計値が小さいほど高い類似度を示し、反対にその合計値が大きいほど低い類似度を示す。
【００３２】
さらに、複数の領域について類似度が所定値以上であった場合は、その中で類似度が最も高い領域、すなわちテンプレート画像４８ｂと最も似ている領域を１つ特定し、その領域の位置のみを追尾対象の候補位置として検出してもよい。たとえば上記の領域４２ａ〜４２ｃのうち、領域４２ｂに対応する画像情報とテンプレート画像４８ｂとの類似度が最も高いとすると、この領域４２ｂの位置を追尾対象の候補位置として検出する。
【００３３】
ステップＳ７において、追尾制御部１９ｅは、２回目の追尾演算（第２追尾演算）を実行するか否かを判定する。この判定は、ステップＳ６の第１追尾演算の結果に基づいて行われる。たとえば、前述のように追尾対象の候補位置が複数検出された場合、すなわち類似度が所定値以上である領域の数が２以上である場合や、追尾対象の候補位置が１つも検出されなかった場合、すなわち類似度が所定値以上である領域の数が０である場合には、第２追尾演算によって正しい追尾対象の位置を検出する必要があるとして、ステップＳ７を肯定判定しステップＳ８へ進む。一方、追尾対象の候補位置が１つだけ検出された場合、すなわち類似度が所定値以上である領域の数が１である場合は、第２追尾演算を行う必要がないとして、ステップＳ７を否定判定してステップＳ８、Ｓ９を実行せずにステップＳ１０へ進む。
【００３４】
ただし、ステップＳ６の第１追尾演算において検出された追尾対象の候補位置が１つであっても、図３の焦点検出エリア４５ａ〜４５ｇの中でその候補位置に対応するものが複数存在する場合がある。このような場合は、第２追尾演算によって正確な追尾対象の位置を検出することで、合焦制御を行う対象とする焦点検出エリアを１つに絞り込むために、ステップＳ７を肯定判定しステップＳ８へ進む。すなわち、ステップＳ７では、追尾対象の候補位置が１つだけ検出され、かつ当該候補位置に対応する焦点検出エリアの数が１である場合に、第２追尾演算を行わないと判定する。このようにして、必要に応じて第２追尾演算を実行するようにする。なお、ステップＳ７の判定を省略して常に第２追尾演算を実行するようにしてもよい。
【００３５】
ステップＳ８において、追尾制御部１９ｅは、ステップＳ６の第１追尾演算によって検出された追尾対象の候補位置に基づいて、その候補位置に対応する所定の範囲を第２追尾演算における追尾対象の探索範囲（第２探索範囲）として被写界に設定する。ここでは、たとえば追尾対象の候補位置を中心に、評価画像４１ａの所定画素数分だけ上下左右にそれぞれ拡大した範囲を第２探索範囲として設定する。このように第２探索範囲は、第１探索範囲よりも狭く設定するようにする。さらに、評価画像４１ａのうち追尾対象の候補位置に当たる部分が評価画像４１ｂにおいて対応する被写界の範囲、具体的には、評価画像４１ａの解像度を評価画像４１ｂ相当に落としたときに、追尾対象の候補位置に当たる部分の画像情報（ＲＧＢ値）が評価画像４１ｂにおいて反映される範囲を、第２探索範囲に設定することが好ましい。
【００３６】
ステップＳ９において、追尾制御部１９ｅは、図１０のステップＳ１０４でメモリ１９ｄに記憶されたテンプレート画像のうち解像度が高い方のものと、ステップＳ５で作成した評価情報のうち解像度が高い方のものとに基づいて、第２追尾演算を実行する。すなわち、図５（ｂ）のテンプレート画像４８ａと、図６（ｂ）の評価画像４１ａとに基づいて、第２追尾演算を実行する。この第２追尾演算の様子を図８に示す。
【００３７】
第２追尾演算では、最初に評価画像４１ａのうちステップＳ８で設定した第２探索範囲に対応する部分の各位置について、テンプレート画像４８ａと同じ大きさの領域を順次切り出す。たとえば図８に示すように、第１追尾演算によって得られた追尾対象の候補位置４２ｂを中心に１画素だけ上下左右にそれぞれ拡大した範囲を第２探索範囲５０として設定した場合、候補位置４２ｂに対応する領域４３ａと、この領域４３ａを上下左右にそれぞれ１画素ずつずらした符号４３ｂ〜４３ｉに示す各領域とを切り出す。次に、ステップＳ６の第１追尾演算と同様に、切り出した評価画像４１ａの各領域に対応する画像情報とテンプレート画像４８ａとの類似度をそれぞれ算出し、その類似度が最も高い領域の位置、すなわちテンプレート画像４８ａと最も似ている領域の位置を、追尾対象の位置として検出する。たとえば領域４３ｈに対応する画像情報とテンプレート画像４８ａとの類似度が最も高いとすると、この領域４３ｈの位置を追尾対象の位置として検出する。ここで、第１追尾演算の結果、候補位置が複数ある場合、各候補位置について第２追尾演算を行うこととしてもよい。
【００３８】
ステップＳ１０において、追尾制御部１９ｅは、ステップＳ９の第２追尾演算によって検出された追尾対象の位置に対応する領域を新しい追尾被写体領域４７に決定する。ただし、ステップＳ７で第２追尾演算を実行しないと判定していた場合は、ステップＳ６の第１追尾演算によって検出された追尾対象の候補位置に対応する領域を新しい追尾被写体領域４７とする。これにより、新しい追尾対象の位置が検出される。
【００３９】
上記のようにして新しい追尾被写体領域４７を決定した後は、その追尾被写体領域４７内に含まれる追尾対象に対して、ステップＳ１２の合焦制御を行う。合焦制御は、新しい追尾被写体領域４７内に焦点検出エリア４５ａ〜４５ｇの少なくとも一つが含まれる場合には、焦点検出演算部１９ｇにより新しい追尾被写体領域４７内に含まれる焦点検出エリア４５ａ〜４５ｇにおいて検出されたデフォーカス量のうち最も小さいものを採用する。この採用デフォーカス量に基づいて、レンズ駆動量演算部１９ｈとレンズ駆動制御装置２２により撮影レンズ８の焦点調節を行う。合焦制御は、新しい追尾被写体領域４７内に焦点検出エリア４５ａ〜４５ｇが含まれない場合には、新しい追尾被写体領域４７との距離、または前回の追尾結果で採用された焦点検出エリア４５ａ〜４５ｇとの距離の少なくとも一方に基づいて採用する焦点検出エリア４５ａ〜４５ｇを決定してもよい。ここで、ステップＳ５で作成した図６（ｂ）の評価画像４１ａと図６（ｃ）の評価画像４１ｂのうち新しい追尾被写体領域４７に対応する部分の画像情報に基づいて、テンプレート画像４８ａ，４８ｂを更新してもよい。
【００４０】
テンプレート画像４８ａ，４８ｂを更新する場合には、元のテンプレート画像４８ａ，４８ｂの画像情報の８割に対して新しい追尾被写体領域４７の画像情報の２割を加えるなどして、テンプレート画像４８ａ，４８ｂの元の画像情報に最新の画像情報を少しずつ加え、何らかの原因による追尾被写体の急激な変化の影響を抑制して被写体追尾の信頼性を向上させるようにしてもよい。
【００４１】
また、テンプレート画像４８ａ，４８ｂの更新は、追尾演算のたびに毎回行うのではなく、新しい追尾被写体領域４７として決定した位置において算出された類似度が所定のしきい値より大きい場合のみ、実行するようにしてもよい。
【００４２】
ステップＳ１１において、追尾制御部１９ｅは、新しい追尾被写体領域４７に対して新しい第１探索範囲４９を被写界に設定する。ここでは、ステップＳ１０５と同様に、追尾被写体領域４７を囲む所定の範囲を第１探索範囲４９に設定する。この探索領域４９は縦横それぞれに所定画素ずつ拡大した所定の大きさの領域としてもよいし、追尾結果や追尾被写体の大きさに応じて変えるようにしてもよい。
【００４３】
ステップＳ１１で第１探索領域４９を設定した後は、ステップＳ１２において前述のような合焦制御を行う。ステップＳ１２の合焦制御を行った後はステップＳ３へ戻り、操作部材２０のレリーズボタンが全押しされるまでの間、ステップＳ４〜Ｓ１２の処理を繰り返し実行する。これにより、ステップＳ４において第２撮像素子１６により新たな被写界画像を追尾次画像として繰り返し取得し、その追尾次画像に基づいて、ステップＳ１０において追尾対象の位置を繰り返し検出する。
【００４４】
ステップＳ３において操作部材２０のレリーズボタンの全押し操作が検出されるとステップＳ１３へ進み、ステップＳ１３において撮影制御を実行する。なお、撮像制御に際しては、ステップＳ１０で決定した新追尾被写体領域４７の輝度情報に基づいて露出演算部１９ｆにより露出演算を行い、絞り値とシャッター速度を算出する。これらの露出値にしたがってシャッター７および絞り２１を駆動制御し、第１撮像素子４により撮像を行って得られた撮像画像を記録する。ステップＳ１３の撮影制御を実行したら、図９のフローチャートを終了する。
【００４５】
以上説明した実施の形態によれば、以下のような作用効果を奏する。
【００４６】
（１）撮像装置１は、撮影レンズ８により結像される被写界の被写界画像を追尾次画像として第２撮像素子１６により繰り返し撮像する（ステップＳ４）。この被写界画像に基づいて、追尾制御部１９ｅにより、解像度の異なる評価画像４１ａ，４１ｂを評価情報としてそれぞれ作成する（ステップＳ５）。そして、追尾制御部１９ｅにより、追尾対象の画像に関する基準情報を表すテンプレート画像４８ｂと評価画像４１ｂとに基づいて、被写界画像における追尾対象の候補位置を検出する第１追尾演算を実行する（ステップＳ６）。さらに必要に応じて、テンプレート画像４８ａと評価画像４１ａとに基づいて、被写界画像における追尾対象の位置を検出する第２追尾演算を実行する（ステップＳ９）。このように、元の被写界画像よりも解像度の低い評価画像を用いて追尾演算を行うことにより、追尾演算におけるテンプレートマッチングに要する演算量を低減することができる。
【００４７】
（２）撮像装置１は、追尾制御部１９ｅにより、被写界に第１探索範囲４９を設定する（ステップＳ１１、１０５）と共に、第１探索範囲４９よりも狭い第２探索範囲を設定する（ステップＳ８）。そして、ステップＳ６では、評価画像４１ｂのうち第１探索範囲４９に対応する部分の画像情報とテンプレート画像４８ｂとに基づいて第１追尾演算を行い、またステップＳ９では、評価画像４１ａのうち第２探索範囲に対応する部分の画像情報とテンプレート画像４８ａとに基づいて第２追尾演算を行う。これにより、第２追尾演算を行う範囲を限定して演算量をさらに低減することができる。
【００４８】
（３）なお、ステップＳ８では、第１追尾演算によって検出された追尾対象の候補位置に対応する被写界の範囲を第２探索範囲として設定することが好ましい。このようにすれば、第２探索範囲を適切に設定することができる。
【００４９】
（４）撮像装置１は、追尾制御部１９ｅにより、ステップＳ９の第２追尾演算を行うか否かを判定し（ステップＳ７）、行わないと判定した場合、ステップＳ６の第１追尾演算で検出された追尾対象の候補位置を追尾対象の位置とする（ステップＳ１０）。このようにしたので、第２追尾演算を行う必要がない場合、第２追尾演算を省略して演算量をより一層低減することができる。
【００５０】
（５）追尾制御部１９ｅは、ステップＳ７において、評価画像４１ｂのうち第１探索範囲４９に対応する部分の画像情報とテンプレート画像４８ｂとの類似度に応じて、第２追尾演算を行うか否かを判定する。すなわち、ステップＳ６の第１追尾演算において、複数の追尾対象の候補位置について、評価画像４１ｂのうちその複数の候補位置に対応する各部分の画像情報とテンプレート画像４８ｂとの類似度をそれぞれ算出する。こうして算出した類似度が所定のしきい値を超える候補位置の数が０または２以上である場合に、第２追尾演算を行うと判定する。また、類似度がしきい値を超える候補位置の数が１であり、かつ焦点検出エリア４５ａ〜４５ｇのうち類似度がしきい値を超える候補位置に対応する焦点検出エリアの数が１である場合に、第２追尾演算を行わないと判定する。このような判定を行うことにより、第２追尾演算を行うか否かを適切に判断することができる。
【００５１】
（６）撮像装置１は、ステップＳ１０で追尾対象の位置を検出したら、その位置について合焦制御を行う（ステップＳ１２）。すなわち、焦点検出演算部１９ｇにより撮影レンズ８の焦点調節状態を示すデフォーカス量を検出し、検出したデフォーカス量に基づいて、レンズ駆動量演算部１９ｈとレンズ駆動制御装置２２により撮影レンズ８の焦点調節を行う。これにより、移動する追尾対象に対して常にピントを合わせることができる。
【００５２】
なお、以上説明した実施の形態では、ステップＳ５において、ステップＳ４で取得した追尾次画像に基づいて解像度の異なる２種類の評価画像を評価情報として作成し、この２種類の評価画像を用いて、ステップＳ６とＳ９で２段階の追尾演算を行うこととした。しかし、本発明において作成する評価情報の種類と実行する追尾演算の段数とはこれに限定されるものではない。すなわち、解像度の異なる３種類以上の評価画像を評価情報として作成し、これらの評価画像のうち解像度の低いものから高いものを順次用いて、３段階以上の追尾演算を行ってもよい。また、被写体の像倍率や他の撮影条件等によっていずれの解像度の評価画像を用いるか変更してもよい。
【００５３】
また、ステップＳ９で行う第２追尾演算では、ステップＳ４で取得した追尾次画像の解像度を下げることなく、そのまま評価画像として使用してもよい。この場合、ステップＳ５，Ｓ１００では、取得した追尾初期画像または追尾次画像に基づく評価情報として、その追尾初期画像または追尾次画像と同じ評価画像と、追尾初期画像または追尾次画像の解像度を下げた評価画像とを、解像度の異なる２種類の評価情報として作成する。
【図面の簡単な説明】
【００５４】
【図１】一実施の形態の画像追尾装置を備えた撮像装置の構成を示す横断面図
【図２】一実施の形態の画像追尾装置を備えた撮像装置の構成を示すブロック図
【図３】一実施の形態の画像追尾方法を説明するための図
【図４】一実施の形態の画像追尾方法を説明するための図
【図５】一実施の形態の画像追尾方法を説明するための図
【図６】一実施の形態の画像追尾方法を説明するための図
【図７】一実施の形態の画像追尾方法を説明するための図
【図８】一実施の形態の画像追尾方法を説明するための図
【図９】一実施の形態の画像追尾処理を示すフローチャート
【図１０】追尾制御初期処理を示すフローチャート
【符号の説明】
【００５５】
１；撮像装置、８；撮影レンズ、１６；第２撮像素子、１９；ボディ駆動制御装置、１９ｅ；追尾制御部、１９ｄ；メモリ
【図１】
2010147694.tif 000003
【図２】
2010147694.tif 000004
【図３】
2010147694.tif 000005
【図４】
2010147694.tif 000006
【図５】
2010147694.tif 000007
【図６】
2010147694.tif 000008
【図７】
2010147694.tif 000009
【図８】
2010147694.tif 000010
【図９】
2010147694.tif 000011
【図１０】
2010147694.tif 000012