(57)【要約】【課題】テンプレート内の追尾対象が小さい場合であっても、背景の誤検出に伴うテンプレートの更新精度を維持する。【解決手段】画像追尾装置は、被写界画像を生成する撮像手段と、追尾対象の特徴を示す基準情報を生成する生成手段と、被写界画像内の画像情報が類似する類似領域を抽出する抽出手段と、基準情報に基づいて新たな被写界画像から第１追尾対象候補の位置を検出する第１検出手段と、類似領域に基づいて新たな被写界画像から第２追尾対象候補の位置を検出する第２検出手段と、第１および第２追尾対象候補の位置に基づいて、第１および第２追尾対象候補が同一の追尾対象か否かを判定する判定手段と、判定結果に基づいて、第１および第２追尾対象候補の位置の一方を追尾対象の位置として選択する選択手段と、第１および第２追尾対象候補が異なる場合には、第２追尾対象候補の位置を基準として新たな基準情報を生成する更新手段とを有する。【選択図】図３
2012221289.tif 000002
【特許請求の範囲】
【請求項１】
結像光学系により結像される像を繰り返し撮像して、被写界画像を生成する撮像手段と、
前記被写界画像に含まれる追尾対象の画像の特徴を示す基準情報を生成する生成手段と、
前記被写界画像のうち画像情報が類似する類似領域を抽出する抽出手段と、
前記撮像手段により取得された新たな被写界画像と前記基準情報との相関関係を演算して、前記新たな被写界画像での第１追尾対象候補の位置を検出する第１検出手段と、
前記新たな被写界画像から、前記抽出手段により抽出された前記類似領域と相関度が高い領域を、第２追尾対象候補の位置として検出する第２検出手段と、
前記第１検出手段により検出された前記第１追尾対象候補の位置と、前記第２検出手段により検出された前記第２追尾対象候補の位置とに基づいて、前記第１追尾対象候補と前記第２追尾対象候補とが同一の前記追尾対象であるか否かを判定する判定手段と、
前記判定手段による判定結果に基づいて、前記第１追尾対象候補の位置と、前記第２追尾対象候補の位置との一方を、前記追尾対象の位置として選択する選択手段と、
前記判定手段によって前記第１追尾対象候補と前記第２追尾対象候補とが異なると判定された場合には、前記第２追尾対象候補の位置を基準として、新たな基準情報を生成する更新手段とを有することを特徴とする画像追尾装置。
【請求項２】
請求項１に記載の画像追尾装置において、
前記判定手段は、前記第１追尾対象候補の位置と前記第２追尾対象候補の位置とが所定距離以上離れている場合に、前記第１追尾対象候補と前記第２追尾対象候補とが異なると判定することを特徴とする画像追尾装置。
【請求項３】
請求項１または２に記載の画像追尾装置において、
前記第２検出手段に対して前記第２追尾対象候補の位置の検出を禁止させる禁止手段をさらに備え、
前記選択手段は、前記禁止手段により前記第２検出手段に対する前記第２追尾対象候補の位置の検出が禁止されている場合には、前記第１検出手段により検出された前記第１追尾対象候補の位置を前記追尾対象の位置として選択することを特徴とする画像追尾装置。
【請求項４】
請求項３に記載の画像追尾装置において、
前記禁止手段は、前記第１検出手段が前記第１追尾対象候補の位置を所定の回数検出するごとに、前記第２検出手段に対する前記第２追尾対象候補の位置の検出を一時的に解除することを特徴とする画像追尾装置。
【請求項５】
請求項１乃至４のいずれか一項に記載の画像追尾装置において、
前記生成手段は、前記被写界画像を所定の第１範囲ごとにブロック化した画像情報を用いて前記基準情報を生成し、
前記抽出手段は、前記被写界画像を、前記第１範囲よりも狭い第２範囲ごとにブロック化した画像情報を用いて前記類似領域を抽出することを特徴とする画像追尾装置。
【請求項６】
請求項１乃至５のいずれか一項に記載の画像追尾装置において、
前記更新手段は、前記基準情報の範囲よりも広い範囲を前記新たな基準情報として生成することを特徴とする画像追尾装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像追尾装置に関する。
【背景技術】
【０００２】
従来から、１つの移動物体に対して作成した複数のテンプレートを用いて視野内を移動する移動物体を追跡し、移動物体とのマッチングが高いテンプレートを最新のテンプレートとして更新する装置が知られている（たとえば特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−２５０７７２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、テンプレートに含まれる追尾対象が小さい場合には、テンプレート内の背景の情報に起因して異なる被写体を追尾対象として誤検出することにより、テンプレートの更新精度が低下するという問題がある。
【課題を解決するための手段】
【０００５】
請求項１の発明による画像追尾装置は、結像光学系により結像される像を繰り返し撮像して、被写界画像を生成する撮像手段と、被写界画像に含まれる追尾対象の画像の特徴を示す基準情報を生成する生成手段と、被写界画像のうち画像情報が類似する類似領域を抽出する抽出手段と、撮像手段により取得された新たな被写界画像と基準情報との相関関係を演算して、新たな被写界画像での第１追尾対象候補の位置を検出する第１検出手段と、新たな被写界画像から、抽出手段により抽出された類似領域と相関度が高い領域を、第２追尾対象候補の位置として検出する第２検出手段と、第１検出手段により検出された第１追尾対象候補の位置と、第２検出手段により検出された第２追尾対象候補の位置とに基づいて、第１追尾対象候補と第２追尾対象候補とが同一の追尾対象であるか否かを判定する判定手段と、判定手段による判定結果に基づいて、第１追尾対象候補の位置と、第２追尾対象候補の位置との一方を、追尾対象の位置として選択する選択手段と、判定手段によって第１追尾対象候補と第２追尾対象候補とが異なると判定された場合には、第２追尾対象候補の位置を基準として、新たな基準情報を生成する更新手段とを有することを特徴とする。
【発明の効果】
【０００６】
本発明によれば、第１追尾対象候補と第２追尾対象候補とが異なる場合には、第２追尾対象候補の位置を基準として、新たな基準情報を生成することができる。
【図面の簡単な説明】
【０００７】
【図１】実施の形態の画像追尾装置を備えた撮像装置の構成を示す横断面図
【図２】実施の形態の画像追尾装置を備えた撮像装置の構成を示すブロック図
【図３】実施の形態の追尾制御部が備える機能を示すブロック図
【図４】被写界画像および焦点検出エリアの配置を説明するための図
【図５】テンプレート画像生成処理および類似領域生成処理を説明するための図
【図６】実施の形態の画像追尾処理を説明する図
【図７】実施の形態における撮像装置による画像追尾処理を説明するフローチャート
【図８】変形例における追尾制御部が備える機能を示すブロック図
【図９】変形例におけるテンプレート画像の更新処理を説明する図
【発明を実施するための形態】
【０００８】
撮影画面内に設定された複数の焦点検出エリアにおいて撮影レンズの焦点調節状態（この一実施の形態ではデフォーカス量）を検出し、いずれかのエリアのデフォーカス量に基づいて撮影レンズを合焦駆動する自動焦点調節（ＡＦ）機能と、撮影画像の中の追尾対象の被写体の画像をテンプレート画像（基準画像）として記憶し、繰り返し撮像される画像の中でテンプレート画像と同一または類似した画像の位置を検索しながら（テンプレートマッチング）追尾対象の被写体を追尾する画像追尾機能とを備え、ＡＦ機能と画像追尾機能により撮影レンズを駆動しながら追尾対象を追尾する画像追尾装置を備えた撮像装置（一眼レフデジタルスチルカメラ）の一実施の形態を説明する。
【０００９】
図１は、一実施の形態の画像追尾装置を備えた撮像装置（一眼レフデジタルスチルカメラ）１の構成を示す。なお、図１では画像追尾機能とは直接関係のないカメラの機器および回路についての図示と説明を省略する。一実施の形態のカメラ１では、撮影レンズ８、絞り２１等を有する交換レンズ３がカメラ本体２に着脱可能に装着される。カメラ本体２には被写界像を撮像して画像を記録するための第１撮像素子４が設けられる。この第１撮像素子４はＣＣＤやＣＭＯＳなどにより構成することができる。撮影時にはクイックリターンミラー５およびサブミラー６が実線で示す撮影光路外の位置に退避してシャッター７が開放され、撮影レンズ８により第１撮像素子４の受光面に被写体像が結像される。
【００１０】
カメラ本体２の底部には、撮影レンズ８の焦点調節状態を検出するための焦点検出光学系９と測距素子１０が設けられている。この一実施の形態では、瞳分割型位相差検出方式による焦点検出方法を採用した例を示す。焦点検出光学系９は、撮影レンズ８を通過した対の焦点検出用光束を測距素子１０の受光面へ導き、対の光像を結像させる。測距素子１０は例えば対のＣＣＤラインセンサーを備え、対の光像に応じた焦点検出信号を出力する。撮影前にはクイックリターンミラー５およびサブミラー６が破線で示すような撮影光路内の位置に設定されており、撮影レンズ８からの対の焦点検出用光束はクイックリターンミラー５のハーフミラー部を透過し、サブミラー６により反射されて焦点検出光学系９および測距素子１０へ導かれる。
【００１１】
カメラ本体２の上部にはファインダー光学系が設けられている。撮影前にはクイックリターンミラー５およびサブミラー６が破線で示す位置にあり、撮影レンズ８からの被写体光の一部はクイックリターンミラー５に反射されて焦点板１１へ導かれ、焦点板１１上に被写体像が結像する。液晶表示素子１２は、焦点板１１上に結像された被写界像に焦点検出エリアマークなどの情報を重畳表示するとともに、被写界像外の位置に露出値などの種々の撮影情報を表示する。焦点板１１上の被写界像はペンタダハプリズム１３および接眼レンズ１４を介して、撮影者が被写界像を視認することができる。
【００１２】
また、カメラ本体２上部のファインダー光学系には、被写体追尾や測光のために被写界像を撮像する第２撮像素子１６が設けられる。焦点板１１に結像した被写界像は、ペンタダハプリズム１３および結像レンズ１８を介して第２撮像素子１６の受光面に再結像される。
【００１３】
第２撮像素子１６は、マトリクス状に配列された複数の画素（光電変換素子）４０（たとえば、横６４０個×縦４８０個の画素）を備えている。さらに、各画素にはそれぞれ赤Ｒ、緑Ｇ、青Ｂの原色フィルターが設けられている。これにより、各画素ごとに被写界画像のＲＧＢ信号（被写界画像信号）を後述するボディ駆動制御装置１９（図２）に出力することができる。詳細を後述するが、この第２撮像素子１６により撮像された被写界画像信号に基づいて、ボディ駆動制御装置１９によって追尾制御と露出演算とが行われる。なお、ボディ駆動制御装置１９は、追尾制御と露出演算は第１撮像素子４による撮像により出力された被写界画像信号に基づいて行うこととしてもよい。
【００１４】
カメラ本体２にはまた、ボディ駆動制御装置１９、操作部材２０などが設けられる。ボディ駆動制御装置１９は、詳細を後述するマイクロコンピューターとメモリ、Ａ／Ｄ変換器などの周辺部品から構成され、カメラ１の種々の制御と演算を行う。操作部材２０には、レリーズボタン、焦点検出エリア選択スイッチ、撮影モード選択スイッチなどのカメラ１を操作するためのスイッチやセレクターが含まれる。
【００１５】
交換レンズ３には、ズーミングレンズ８ａ、フォーカシングレンズ８ｂ、絞り２１、レンズ駆動制御装置２２などが設けられる。なお、この一実施の形態では撮影レンズ８をズーミングレンズ８ａ、フォーカシングレンズ８ｂおよび絞り２１で代表的に表すが、撮影レンズ８の構成は図１に示す構成に限定されない。レンズ駆動制御装置２２は図示しないマイクロコンピューターとメモリ、駆動回路、アクチュエーターなどの周辺部品から構成され、レンズ８ａ、８ｂおよび絞り２１の駆動制御とそれらの位置検出を行う。レンズ駆動制御装置２２に内蔵されるメモリには、交換レンズ３の焦点距離や開放絞り値などのレンズ情報が記憶されている。
【００１６】
ボディ駆動制御装置１９とレンズ駆動制御装置２２はレンズマウント部の接点２３を介して通信を行う。この通信によって、ボディ駆動制御装置１９はレンズ駆動制御装置２２へレンズ駆動量や絞り値などの情報を送信し、レンズ駆動制御装置２２はボディ駆動制御装置１９へレンズ情報や絞り情報を送信する。
【００１７】
図２はボディ駆動制御装置１９の詳細な構成を示す。なお、画像追尾機能とは直接関係のない制御機能については図示と説明を省略する。ボディ駆動制御装置１９は素子制御回路１９ａ、Ａ／Ｄ変換器１９ｂ、マイクロコンピューター１９ｃ、メモリ１９ｄなどを備えている。素子制御回路１９ａは第２撮像素子１６の電荷の蓄積と読み出しを制御する。Ａ／Ｄ変換器１９ｂは、第２撮像素子１６から出力されるアナログ画像信号をデジタル画像信号に変換する。撮影者により操作部材２０のレリーズボタンが半押しされると半押しスイッチ（不図示）がオンし、図１に示すように、撮影レンズ８を通過した被写体光の一部は破線で示すクイックリターンミラー５により反射され、ペンタダハプリズム１３、プリズム１７および結像レンズ１８を介して第２撮像素子１６へ導かれる。レリーズボタンが半押しされている間、第２撮像素子１６により繰り返し周期的に被写界画像を撮像することができる。
【００１８】
マイクロコンピューター１９ｃは、ソフトウエア形態により露出制御部１９ｅ、焦点検出演算部１９ｆ、レンズ駆動量演算部１９ｇおよび追尾制御部１９ｈを構成する。メモリ１９ｄは、画像追尾用のテンプレート画像やデフォーカス量などの情報、撮影レンズ８の焦点距離、開放Ｆ値、絞り値、像ズレ量からデフォーカス量への変換係数などのレンズ情報などを記憶する。
【００１９】
露出演算部１９ｅは、第２撮像素子１６により撮像した画像信号に基づいて露出値を演算する。焦点検出演算部１９ｆは、測距素子１０から出力される対の光像に応じた焦点検出信号に基づいて撮影レンズ８の焦点調節状態、ここではデフォーカス量を検出する。なお、詳細を後述するが、撮影レンズ８の撮影画面内には複数の焦点検出エリアが設定されており、測距素子１０は焦点検出エリアごとに対の光像に応じた焦点検出信号を出力し、焦点検出演算部１９ｆは焦点検出エリアごとに対の光像に応じた焦点検出信号に基づいてデフォーカス量を検出する。撮影者により操作部材２０のレリーズボタンが半押しされると半押しスイッチ（不図示）がオンし、図１に示すように、撮影レンズ８を通過した被写体光の一部は破線で示すクイックリターンミラー５のハーフミラー部を通ってサブミラー６および焦点検出光学系９を介して測距素子１０へ導かれ、焦点検出演算部１９ｆにより焦点検出演算が行われる。レンズ駆動量演算部１９ｇは検出されたデフォーカス量をレンズ駆動量に変換する。なお、焦点調節状態の検出は、レリーズボタンが半押しされている間、繰り返し周期的に行われる。
【００２０】
追尾制御部１９ｈは、画像追尾動作（処理）を行う。すなわち、追尾制御部１９ｈは、第２撮像素子１６により撮像した被写界像の内、撮影者が手動で指定した追尾対象とする被写体（以後、追尾対象被写体と呼ぶ）の位置、あるいはカメラ１が自動で設定した追尾対象被写体の位置に対応する画像をテンプレート画像(基準画像）としてメモリ１９ｄに記憶させる。そして、追尾制御部１９ｈは、撮影周期ごとに第２撮像素子１６により繰り返し撮影される被写界画像の中からテンプレート画像と一致または類似する画像領域を検索することによって対象の位置を認識する。
【００２１】
図３に示すように、追尾制御部１９ｈは、画像追尾処理を行うために、生成部１９１、抽出部１９２、第１検出部１９３、第２検出部１９４、判定部１９５、選択部１９６および更新部１９７を機能的に備える。生成部１９１は、第２撮像素子１６から出力された被写界画像信号を用いて第１ブロック画像を生成し、第１ブロック画像内の画像情報に基づいてテンプレート画像を生成してメモリ１９ｄに記憶させる。抽出部１９２は、第２撮像素子１６から出力された被写界画像信号を用いて第２ブロック画像を生成し、第２ブロック画像内の画像情報に基づいて、類似する色に関連する情報を有する領域（類似領域）を抽出する。第１検出部１９３は、撮影周期ごとに繰り返し撮影される被写界画像とテンプレート画像との間で相関関係を演算し、被写界画像に含まれる相関度の高い領域を追尾対象とする被写体追尾対象被写体の候補（追尾対象候補）の位置として検出する。第２検出部１９４は、撮影周期ごとに繰り返し撮影される被写界画像と類似領域との間で相関関係を演算し、被写界画像に含まれる相関度の高い領域を追尾対象候補の位置として検出する。
【００２２】
判定部１９５は、第１検出部１９３により検出された追尾対象候補の位置と、第２検出部１９４により検出された追尾対象候補の位置とが所定量よりも乖離しているか否かを判定する。選択部１９６は、判定部１９５による判定結果に応じて、第１検出部１９３により検出された追尾対象候補の位置と、第２検出部１９４により検出された追尾対象候補の位置との一方を追尾対象被写体の位置として選択する。更新部１９７は、判定部１９５により所定量よりも乖離していると判定された場合には、第２検出部１９４により検出された追尾対象候補の位置に対応する第１ブロック画像の位置を基準として、新たなテンプレート画像を生成する。なお、生成部１９１、抽出部１９２、第１検出部１９３、第２検出部１９４、判定部１９５、選択部１９６および更新部１９７による処理の詳細については、説明を後述する。
【００２３】
次に、本実施の形態のカメラ１の被写体追尾処理を説明する。
ボディ駆動制御装置１９は、第２撮像素子１６により撮像した被写体画像のうち、ユーザが手動で追尾対象被写体を指定するか、あるいはカメラが自動で追尾対象被写体を設定した後、操作部材２０のレリーズボタンを半押しすると、被写体追尾処理を開始する。レリーズボタンを全押しして撮影を行うとき以外は、クイックリターンミラー５が図１に破線で示す撮影光路内に設定されており、撮影レンズ８から入射した被写体光の一部は焦点板１１上に結像される。そして、焦点板１１上の被写界像はペンタダハプリズム１３、プリズム１７および結像レンズ１８を介して第２撮像素子１６へ導かれ、第２撮像素子１６から被写界画像信号が繰り返し出力される。
【００２４】
撮影レンズ８の撮影画面には複数の焦点検出エリアが設定されており、液晶表示素子１２は焦点板１１上の被写界像にエリアマークを重畳して、各焦点検出エリアの位置を表示する。この一実施の形態では、図４に示すように、撮影画面内の７カ所に焦点検出エリア４５ａ〜４５ｇが設定された例を示す。また、操作部材２０の焦点検出エリア選択スイッチにより任意のエリアを選択すると、そのエリアのマークが点灯表示される。
【００２５】
図４に示すように操作部材２０の焦点検出エリア選択スイッチにより焦点検出エリア４５ｃが選択され、この状態で操作部材２０のレリーズボタンが半押しされると、焦点検出エリア４５ｃが初回ＡＦエリアとしてメモリ１９ｄに記憶される。これにより、追尾対象被写体として初回ＡＦエリア内の被写体が指定される。なお、ここでは撮影者が初回ＡＦエリアを選択して追尾対象被写体を手動で指定する例を示すが、例えば自動的に被写体を認識する機能を備えたカメラでは被写体認識結果に基づいて初回ＡＦエリアおよび追尾対象被写体を設定してもよい。
【００２６】
素子制御回路１９ａは第２撮像素子１６に追尾初期画像（画像追尾処理を開始して最初に取得する画像）を取得させる。上述したように、第２撮像素子にはカラーフィルターが設けられているので、第２撮像素子１６により撮像された初期追尾画像の画像情報は、被写界画像信号として画素ごとにＲＧＢ値で表される。生成部１９１は、この被写界画像信号を用いて、生成部１９１はテンプレート画像を生成する。さらに、抽出部１９２はこの被写界画像信号を用いて類似領域を抽出する。以下、テンプレート画像生成処理と類似領域抽出処理とに分けて説明する。
【００２７】
−テンプレート画像生成処理−
生成部１９１は、第２撮像素子１６に含まれる画素のそれぞれの画像情報を、たとえば隣接する８×８個の画素の画像情報をまとめて１つのブロックとするブロック化を行って第１ブロック画像を生成する。この場合、生成部１９１は、隣接する８×８個の画像情報（すなわち色情報（ＲＧＢ値）、輝度情報等）を平均化あるいは合計することにより第１ブロック画像を生成する。その結果、図５（ａ）に示すように、被写界画像の６４０×４８０個の画素のそれぞれの画像情報は、８０×６０個のブロック４１の画像情報として表される。なお、以後の説明においては、上記のブロック化された１つのブロックを第１ブロック画素４１と呼び、各第１ブロック画素４１の画像情報を第１ブロック化画像情報と呼ぶ。
【００２８】
生成部１９１は、第１ブロック画像を生成すると、追尾初期画像の中の撮影者が指定した位置（ここでは初回ＡＦエリアである焦点検出エリア４５ｃ）およびその近傍の第１ブロック化画像情報を用いてテンプレート画像Ｔｐを生成する。この場合、図５（ａ）に示すように、生成部１９１は、焦点検出エリア４５ｃに対応する位置の第１ブロック画素４１を中心（基準）として、たとえば３×３個の第１ブロック画素４１をテンプレート画像Ｔｐとする。そして、生成部１９１は、生成したテンプレート画像Ｔｐをメモリ１９ｄに記憶する。
【００２９】
−類似領域抽出処理−
抽出部１９２は、第２撮像素子１６に含まれる画素のそれぞれの画像情報を、たとえば隣接する４×４個の画素の画像情報をまとめて１つのブロックとするブロック化を行って第２ブロック画像を生成する。この場合、抽出部１９２は、隣接する４×４個の画像情報（すなわち色情報（ＲＧＢ値）、輝度情報等）を平均化あるいは合計することにより第２ブロック画像を生成する。その結果、図５（ｂ）に示すように、被写界画像の６４０×４８０個の画素のそれぞれの画像情報は、１６０×１２０個のブロック４２の画像情報として表される。なお、以後の説明においては、上記のブロック化された１つのブロックを第２ブロック画素４２と呼び、各第２ブロック画素４２の画像情報を第２ブロック化画像情報と呼ぶ。
【００３０】
抽出部１９２は、後述する追尾対象候補の位置検出の精度を確保するために、１つの第２ブロック画素４２のサイズが小さい方が好ましい。しかし、第２ブロック画素４２のサイズが小さくなるほど、抽出部１９２が第２ブロック画像の生成に要する処理負荷が増加する。このため、第２ブロック画素４２のサイズは、追尾対象候補の位置検出の精度と処理負荷とを考慮に入れて決定されることが好ましい。また、第２ブロック画素４２のサイズが第１ブロック画素４１のサイズと同一であってもよい。
【００３１】
抽出部１９２は、第２ブロック画像を生成すると、追尾初期画像の中の撮影者が指定した位置（初回ＡＦエリアである焦点検出エリア４５ｃ）およびその近傍の第２ブロック化画像情報を用いて類似領域Ｒｅを抽出する。この場合、抽出部１９２は、焦点検出エリア４５ｃに対応する第２ブロック画素４２の第２ブロック化画像情報と色情報や輝度情報が類似し、かつ連結している複数の第２ブロック画素４２をグループ化する。抽出部１９２は、たとえば、第２ブロック化画像情報の色情報や輝度情報として色相を所定の閾値で区分することにより、第２ブロック画像に対して公知の２値化処理を行う。そして、抽出部１９２は、２値化された第２ブロック画像内から白画素の纏まりと黒画素の纏まりとをラベリング領域として抽出する（ラベリング処理）。なお、グループ化に際して、第２ブロック化画像情報によって表される色情報や輝度情報に代えて、テクスチャーや周波数等の画像情報を用いてもよい。グループ化の結果、図５（ｂ）に示すように、抽出部１９２は、焦点検出エリア４５ｃに対応する位置の第２ブロック画素４２の近傍に隣接する第２ブロック画素４２を類似領域Ｒｅとして抽出する。そして、抽出部１９２は、抽出した類似領域Ｒｅをメモリ１９ｄに記憶する。
【００３２】
上述のようにテンプレート画像Ｔｐおよび類似領域Ｒｅがメモリ１９ｄに記憶されると、操作部材２０のシャッターボタンが全押しされるまでの間、素子制御回路１９ａは、所定の撮影周期ごとに第２撮像素子１６に対して追尾次画像を取得させる。第１検出部１９３は、追尾次画像とテンプレート画像Ｔｐとの間で相関関係を演算し、被写界画像に含まれる相関度の高い領域を第１の追尾対象候補の位置として検出する（テンプレートマッチング）。第２検出部１９４は、追尾次画像と類似領域Ｒｅとの間で相関関係を演算し、被写界画像に含まれる相関度の高い領域を第２の追尾対象候補の位置として検出する。以下詳細に説明する。
【００３３】
−第１の追尾対象候補の位置検出処理−
第１検出部１９３は、上述した生成部１９１と同様にして、追尾次画像の画像情報を用いて、第１ブロック画像を生成する。第１検出部１９３は、生成した第１ブロック画像からテンプレート画像Ｔｐと同じサイズの領域、すなわち３×３個の第１ブロック画素４１を順次切り出す。そして、第１検出部１９３は、切り出した画像とテンプレート画像Ｔｐとの間で、対応する第１ブロック画素４１ごとに、相関を演算、すなわち第１ブロック化画像情報の差分値を算出する。この場合、図６に示すように、第１検出部１９３は、例えば、追尾次画像の第１ブロック画像からテンプレート画像Ｔｐと同じサイズの領域を１個の第１ブロック画素４１ずつずらしながら画像（図６においては、５０ａ、５０ｂ、５０ｃ）を順次切り出す。そして、第１検出部１９３は、順次切り出した画像５０ａ、５０ｂ、５０ｃと、テンプレート画像Ｔｐとを順次比較して、それぞれの切り出し画像について差分値を算出する。
【００３４】
上記のようにして算出された差分値の内の最小の値を示す切り出し画像がテンプレート画像Ｔｐに最も類似していることになる。したがって、第１検出部１９３は、テンプレート画像Ｔｐと切り出し画像との差分値のうち最も小さい値を検出し、そのときの切り出し画像の座標値を検出する。第１検出部１９３は、検出した座標値をメモリ１９ｄに記憶することによって検出された座標値を第１の追尾対象候補の位置とする。
【００３５】
−第２の追尾対象候補の位置検出処理−
第２検出部１９４は、上述した抽出部１９２と同様にして、追尾次画像の画像情報を用いて、第２ブロック画像を生成する。そして、第２検出部１９４は、生成した第２ブロック画像のうち類似領域Ｒｅと類似する色情報、輝度情報を有する第２ブロック化画像情報を検出する。この場合、第２検出部１９４は、類似領域Ｒｅの第２ブロック化画像情報と、第２ブロック画像の第２ブロック化画像情報との差分を演算する。そして、第２検出部１９４は、差分値が最小となる第２ブロック化画像情報に対応する第２ブロック画素４２を検出する。なお、第２検出部１９４は、差分値が最小となる第２ブロック化画像情報に対応する第２ブロック画素４２を検出するものに代えて、たとえば差分値が所定の閾値以下となる第２ブロック化画像情報に対応する第２ブロック画素４２を検出してもよい。この場合、所定の閾値は、たとえば実験等に基づいて予め設定されているものとする。そして、第２検出部１９４は、抽出部１９２と同様に、検出した第２ブロック画素４２の第２ブロック化画像情報と色情報や輝度情報が類似し、かつ連結している複数の第２ブロック画素４２をグループ化する。第２検出部１９４は、グループ化された複数の第２ブロック画素４２のうちグループの中心付近の第２ブロック画素４２の座標値を第２の追尾対象候補の位置として検出する。
【００３６】
上述したようにして第１および第２の追尾対象候補の位置検出処理が行われると、判定部１９５は、第１の追尾対象候補の位置と、第２の追尾対象候補の位置とが所定量よりも乖離しているか否かを判定する。この場合、判定部１９５は、第１の追尾対象候補の座標値と、第２の追尾対象候補の座標値との差分を算出し、差分の絶対値が所定の閾値以上か否かを判定する。なお、閾値は、第１の追尾対象候補の位置と、第２の追尾対象候補の位置とを同一の位置と見なす場合に最適な値として実験等に基づいて設定され、予め所定のメモリ（不図示）に記憶されているものとする。
【００３７】
以下、判定部１９５により差分の絶対値が閾値以上と判定された場合と、閾値未満と判定された場合とに分けて説明を行う。
（１）差分の絶対値が閾値以上と判定された場合
差分の絶対値が閾値以上の場合は、第１の追尾対象候補の位置と第２の追尾対象候補の位置とが大きく異なる、すなわち両者の位置が所定量よりも乖離している。換言すると、第１の追尾対象候補と、第２の追尾対象候補とが異なる被写体であることを意味する。これは、テンプレート画像Ｔｐ生成時に、指定された追尾対象被写体がカメラ１から遠方にあり被写界画像中で小さな領域であるため、３×３個のテンプレート画像Ｔｐ内で追尾対象被写体とは異なる背景等の情報が多く含まれたことに起因している。その結果、第１検出部１９３は、追尾次画像にてテンプレートマッチングを行った際、背景等を追尾対象被写体として誤検出したことになる。
【００３８】
この場合、選択部１９６は、第２検出部１９４により検出された第２の追尾対象候補の位置（座標値）を追尾対象被写体の位置（座標値）として選択する。さらに、更新部１９７は、テンプレート画像Ｔｐの更新処理を行う。更新部１９７は、追尾次画像を用いて第１検出部１９３により生成された第１ブロック画像のうち、第２検出部１９４により検出された第２の追尾対象候補の座標値に対応する座標値を基準として、３×３個の第１ブロック画素４１を新たなテンプレート画像Ｔｐとして生成する。そして、更新部１９７は、追尾初期画像を用いて生成部１９１により生成されたテンプレート画像Ｔｐとは別に、新たなテンプレート画像Ｔｐをメモリ１９ｄに記憶する。
【００３９】
（２）差分の絶対値が閾値未満と判定された場合
差分の絶対値が閾値未満の場合は、第１の追尾対象候補の位置と第２の追尾対象候補の位置とがほぼ同位置である、すなわち両者の位置が所定量よりも乖離していない。換言すると、第１の追尾対象候補と、第２の追尾対象候補とは同一の被写体であることを意味する。この場合、選択部１９６は、第１検出部１９３により検出された第１の追尾対象候補の位置（座標値）を追尾対象被写体の位置（座標値）として選択する。
【００４０】
追尾対象被写体の座標値が選択されると、焦点検出演算部１９ｆは、選択部１９６により選択された座標値に対応する追尾対象被写体について焦点制御を行う。この場合、焦点検出演算部１９ｆは、焦点検出エリア４５ａ〜４５ｇのうち選択された座標値に最も近い焦点検出エリア４５ａ〜４５ｇで検出されたデフォーカス量に基づいて撮影レンズ８の焦点調節を行う。
【００４１】
図７に示すフローチャートを用いて、本実施の形態によるカメラ１の画像追尾処理について説明する。図７の各処理はボディ駆動制御装置１９でプログラムを実行して行われる。図７の各処理を行なうプログラムはメモリ（不図示）に格納されている。ユーザによるレリーズボタンの半押し操作に応じて操作部材２０から操作信号が入力されるとボディ駆動制御装置１９によりプログラムが起動され、実行される。
【００４２】
ステップＳ１においては、素子制御回路１９ａは第２撮像素子１６に追尾初期画像を取得させてステップＳ２へ進む。ステップＳ２では、生成部１９１は、追尾初期画像の被写界画像信号を用いて第１ブロック画像を生成する。そして、生成部１９１は、生成した第１ブロック画像の第１ブロック化画像情報を用いてテンプレート画像Ｔｐを生成し、生成したテンプレート画像Ｔｐをメモリ１９ｄに記憶してステップＳ３へ進む。
【００４３】
ステップＳ３においては、抽出部１９２は、追尾初期画像の被写界画像信号を用いて第２ブロック画像を生成する。そして、抽出部１９２は、生成した第２ブロック画像の第２ブロック化画像情報を用いて類似領域Ｒｅを抽出し、類似領域Ｒｅをメモリ１９ｄに記憶してステップＳ４へ進む。
【００４４】
ステップＳ４においては、素子制御回路１９ａは第２撮像素子１６に追尾次画像を取得させてステップＳ５へ進む。ステップＳ５では、第１検出部１９３は、追尾次画像の被写界画像信号を用いて第１ブロック画像を生成し、テンプレート画像Ｔｐを用いてテンプレートマッチング処理を行う。そして、第１検出部１９３は、テンプレートマッチング処理の結果に基づいて、第１の追尾対象候補の座標値を検出してステップＳ６へ進む。ステップＳ６においては、第２検出部１９４は、追尾次画像の被写界画像信号を用いて第２ブロック画像を生成し、類似領域Ｒｅを用いて第２の追尾対象候補の座標値を検出してステップＳ７へ進む。
【００４５】
ステップＳ７においては、判定部１９５は、第１の追尾対象候補の座標値と、第２の追尾対象候補の座標値との差分を算出し、差分の絶対値が閾値以上か否かを判定する。差分の絶対値が閾値未満の場合には、ステップＳ７が否定判定されてステップＳ８へ進む。ステップＳ８においては、選択部１９６は、ステップＳ５にて検出された第１の追尾対象候補の座標値を追尾対象被写体の座標値として選択して後述するステップＳ１１へ進む。
【００４６】
差分の絶対値が閾値以上の場合には、ステップＳ７が肯定判定されてステップＳ９へ進む。ステップＳ８においては、更新部１９７は、追尾次画像を用いて生成された第１ブロック画像のうち、ステップＳ６にて検出された第２の追尾対象候補の座標値に対応する座標値を基準として、新たなテンプレート画像Ｔｐとして生成してステップＳ１０へ進む。ステップＳ１０においては、選択部１９６は、ステップＳ６にて検出された第２の追尾対象候補の座標値に対応する座標値を追尾対象被写体の座標値として選択してステップＳ１１へ進む。
【００４７】
ステップＳ１１においては、焦点検出演算部１９ｆは、選択部１９６により選択された座標値に最も近い焦点検出エリア４５ａ〜４５ｇで検出されたデフォーカス量に基づいて撮影レンズ８の焦点調節を行ってステップＳ１２へ進む。ステップＳ１２においては、ボディ駆動制御装置１９は、ユーザによりレリーズ半押し操作が継続されているか否かを判定する。ユーザによるレリーズボタンの半押し操作に応じて操作部材２０から操作信号が入力されている場合には、ステップＳ１２が肯定判定されてステップＳ４へ戻る。ユーザによるレリーズボタンの半押し操作に応じて操作部材２０から操作信号が入力されていない場合には、ステップＳ１２が否定判定されて処理を終了する。
【００４８】
以上で説明した実施の形態によるカメラによれば、以下の作用効果が得られる。
（１）第２撮像素子１６は、撮影レンズ８結像される像を繰り返し撮像して、被写界画像信号を生成して出力する。生成部１９１は、被写界画像に含まれる追尾対象の画像の特徴を示すテンプレート画像Ｔｐを生成する。抽出部１９２は、被写界画像のうち類似する色情報や輝度情報を有する類似領域Ｒｅを抽出する。第１検出部１９３は、テンプレートマッチング処理により新たな被写界画像とテンプレート画像Ｔｐとの相関関係を演算して、新たな被写界画像での第１の追尾対象候補の位置とを検出する。第２検出部１９４は、新たな被写界画像から、抽出部１９２により抽出された類似領域Ｒｅと相関度が高い領域を、第２の追尾対象候補の位置として検出する。判定部１９５は、第１検出部１９３により検出された第１の追尾対象候補の位置と、第２検出部１９４により検出された第２の追尾対象候補の位置とに基づいて、第１の追尾対象候補と第２の追尾対象候補とが同一の追尾対象被写体であるか否かを判定する。選択部１９６は、判定部１９５による判定結果に基づいて、第１の追尾対象候補の位置と、第２の追尾対象候補の位置との一方を、追尾対象被写体の位置として選択する。具体的には、判定部１９５は、第１の追尾対象候補の位置と第２の追尾対象候補の位置とが所定距離以上乖離している場合に、第１の追尾対象候補と第２の追尾対象候補とが異なると判定するようにした。そして、更新部１９７は、第１の追尾対象候補と第２の追尾対象候補とが異なると判定された場合には、第２検出部１９４により検出された第２の追尾対象候補の位置を基準として、新たなテンプレート画像Ｔｐを生成するようにした。
【００４９】
図５（ａ）に示すように、追尾初期画像で指定された追尾対象被写体が遠方に存在するために、テンプレート画像Ｔｐには背景の画像情報が多く含まれることになる。このため、追尾対象被写体がカメラ１に向かって移動している場合、追尾次画像の第１ブロック画像に対してテンプレート画像Ｔｐを用いてテンプレートマッチング処理を行うと、第１検出部１９３は、図６（ａ）に示す様に、背景の画像情報の影響を強く受けて所望の追尾対象被写体とは異なる被写体を第１の追尾対象候補として検出してしまう。これに対して、第２検出部１９４は、追尾次画像の第２ブロック画像に対して類似領域Ｒｅを用いることにより、図６（ｂ）に示すように、所望の追尾対象被写体を第２の追尾対象候補として検出できる。この結果、図６（ｃ）に示すように、第２検出部１９４により検出された第２の追尾対象候補の座標値を基準として、更新部１９７が新たなテンプレート画像Ｔｐを生成することによりテンプレート画像Ｔｐを追尾対象被写体の移動に応じて更新できる。換言すると、処理を繰り返すごとに、図６（ｄ）に示すように、テンプレート画像Ｔｐに含まれる背景の画像情報の量が減少するので、テンプレート画像Ｔｐの更新精度の低下を防止できる。したがって、追尾体対象被写体がカメラ１に遠方から接近してくる場合であっても、テンプレート画像Ｔｐを用いたテンプレートマッチング処理による追尾対象被写体の検出精度を向上させることができる。
【００５０】
（２）生成部１９１は、被写界画像を所定個数（８×８個）の範囲に含まれる画素をブロック化して１つの第１ブロック画素４１を生成し、第１ブロック化画像情報を用いてテンプレート画像Ｔｐを生成する。抽出部１９２は、被写界画像を、第１ブロック画素４１よりも狭い４×４個の範囲に含まれる画素をブロック化して第２ブロック画素４２を生成し、第２ブロック画素４２の第２ブロック化画像情報を用いて類似領域Ｒｅを抽出するようにした。したがって、第１ブロック画像に比べて、第２ブロック画像の方が被写界画像を細かく分割しているので、追尾対象被写体が小さい場合であっても、第２検出部１９４は第２の追尾対象候補を精度よく検出できる。
【００５１】
以上で説明した実施の形態のカメラを、以下のように変形できる。
（１）第２検出部１９４は、追尾次画像が取得されるごとに第２の追尾対象候補を検出しなくてもよい。すなわち、たとえば連写モード等が設定されている場合のようにボディ駆動制御装置１９の演算負荷が高いときには、第２検出部１９４による第２の追尾対象候補の検出を禁止させる。この場合、図８に示すように、追尾制御部１９ｈは、禁止部１９８をさらに機能的に備える。そして、ユーザにより撮影モード選択スイッチが操作され、たとえば連写モードが設定されると、禁止部１９８は第２検出部１９４による処理を禁止させればよい。このとき、第１検出部１９３によるテンプレートマッチング処理により検出された第１の追尾対象候補の位置が、選択部１９６によって追尾対象被写体の位置として選択される。
【００５２】
さらに加えて、所定の回数（たとえば２回）第１検出部１９３が第１の追尾対象候補の位置を検出すると、第２検出部１９４が第２の追尾対象候補の検出をしてもよい。この場合、第１検出部１９３が順次取得された被写界画像を用いて第１の追尾対象候補の検出を２回行うと、禁止部１９８は、第２検出部１９４に対する処理の禁止を一時的に解除する。そして、第２検出部１９４は、類似領域Ｒｅを用いて第２の追尾対象候補の検出を行う。第２検出部１９４による処理が終了すると、禁止部１９８は、再び第２検出部１９４による処理を禁止させる。以後、実施の形態の場合と同様にして、判定部１９５、選択部１９６および更新部１９７の処理が行われる。この結果、実施の形態により得られる作用効果に加えて、演算負荷が高い第２ブロック画像の生成処理の回数が減るので、ボディ駆動制御装置１９の演算負荷を低減し、処理時間を短縮できる。
【００５３】
（２）更新部１９７は、テンプレート画像Ｔｐを更新する際に、大きさを変更してもよい。第２検出部１９４が、図９（ａ）に示すように第２の追尾対象候補を検出し、かつ、判定部１９５により差分の絶対値が閾値以上の場合と判定された場合、更新部１９７は、第２の追尾対象候補のサイズが、テンプレート画像Ｔｐのサイズ（３×３個の第１ブロック画素４１）よりも大きいか否かを判定する。そして、第２の追尾対象候補のサイズの方が大きい場合に、更新部１９７は、第２の追尾対象候補のサイズを包含するサイズとなるように新たなテンプレート画像Ｔｐを生成する。その結果、図９（ｂ）に示すように、元のテンプレート画像Ｔｐのサイズ（３×３個の第１ブロック画素４１）よりも大きい３×４個の第１ブロック画素４１により構成されるテンプレート画像Ｔｐが更新部１９７によって新たに生成される。したがって、追尾体対象被写体がカメラ１に遠方から接近してくる場合に、テンプレート画像Ｔｐを用いたテンプレートマッチング処理による追尾対象被写体の検出精度を向上させることができる。
【００５４】
（３）第２撮像素子１６から出力された被写界画像信号に基づいて追尾制御部１９ｈが画像追尾処理を行うものに代えて、第１撮像素子４から出力された画像信号を用いてもよい。この場合、クイックリターンミラー５に代えてハーフミラーを設けることにより、レリーズボタンが半押し操作されている間であっても、被写体からの光束が第１撮像素子４に導かれるように構成されていればよい。または、測距素子１０が第１撮像素子４の受光面上に配列された構成としてもよい。
【００５５】
また、本発明の特徴を損なわない限り、本発明は上記実施の形態に限定されるものではなく、本発明の技術的思想の範囲内で考えられるその他の形態についても、本発明の範囲内に含まれる。説明に用いた実施の形態および変形例は、それぞれを適宜組合わせて構成しても構わない。
【符号の説明】
【００５６】
１  撮像装置、  ４  第１撮像素子、
１６  第２撮像素子、  １９  ボディ駆動制御装置、
１９ｈ  追尾制御部、  １９１  生成部、
１９２  抽出部、  １９３  第１検出部、
１９４  第２検出部、  １９５  判定部、
１９６  選択部、  １９７  更新部、
１９８  禁止部
【図１】
2012221289.tif 000003
【図２】
2012221289.tif 000004
【図３】
2012221289.tif 000005
【図４】
2012221289.tif 000006
【図５】
2012221289.tif 000007
【図６】
2012221289.tif 000008
【図７】
2012221289.tif 000009
【図８】
2012221289.tif 000010
【図９】
2012221289.tif 000011