(57)【特許請求の範囲】
【請求項１】
被写体を撮像して画像のデータを生成する撮像部と、
主要被写体に関する参照データを１つの前記主要被写体に対して複数記憶するメモリと、
前記画像に含まれる被写体の特徴と前記参照データが示す特徴との相関に基づいて前記主要被写体を認識する被写体認識部と、
前記被写体認識部による前記認識が成功している第１状態と前記認識が失敗している第２状態とを判定する認識状態判定部と、
前記第１状態のときに、前記被写体認識部が認識した前記主要被写体の位置を前記撮影画面内で継続的に指定する被写体追尾部と、を備え、
前記メモリは、前記認識が成功したときに適用された前記参照データを入れ替えて保持する第１記憶領域と、前記主要被写体の位置指定の開始時に生成された初期状態の前記参照データを保持する第３記憶領域とを含み、
前記被写体認識部は、前記第１状態から前記第２状態に移行して前記被写体追尾部による前記指定が中断された後に、前記第１状態のときよりも前記参照データの数を追加して前記主要被写体を再探索し、前記第１状態のときには前記第１記憶領域の前記参照データを適用し、前記再探索の場合には前記第１記憶領域の前記参照データに加えて前記第３記憶領域の前記参照データをさらに適用することを特徴とする撮像装置。
【請求項２】
請求項１に記載の撮像装置において、
前記メモリは、前記画像から認識された前記主要被写体に基づいて所定のタイミングで生成される前記参照データを保持する第２記憶領域をさらに含み、
前記被写体認識部は、前記再探索の場合には前記第１記憶領域の前記参照データに加えて前記第２記憶領域の前記参照データをさらに適用することを特徴とする撮像装置。
【請求項３】
被写体を撮像して画像のデータを生成する撮像部と、
主要被写体に関する参照データを１つの前記主要被写体に対して複数記憶するメモリと、
前記画像に含まれる被写体の特徴と前記参照データが示す特徴との相関に基づいて前記主要被写体を認識する被写体認識部と、
前記被写体認識部による前記認識が成功している第１状態と前記認識が失敗している第２状態とを判定する認識状態判定部と、
前記第１状態のときに、前記被写体認識部が認識した前記主要被写体の位置を前記撮影画面内で継続的に指定する被写体追尾部と、
前記画像に対応するビュー画像を表示するモニタと、を備え、
前記被写体認識部は、前記第１状態から前記第２状態に移行して前記被写体追尾部による前記指定が中断された後に、前記第１状態のときよりも前記参照データの数を追加して前記主要被写体を再探索し、
前記被写体追尾部は、前記主要被写体の位置を示す表示と、前記主要被写体の位置の指定が中断された状態を示す表示と、前記再探索の失敗を示す表示とのいずれかを前記ビュー画像とともに前記モニタに表示させることを特徴とする撮像装置。
【請求項４】
被写体を撮像して画像のデータを生成する撮像部と、
主要被写体に関する参照データを１つの前記主要被写体に対して複数記憶するメモリと、
前記画像に含まれる被写体の特徴と前記参照データが示す特徴との相関に基づいて前記主要被写体を認識する被写体認識部と、
前記被写体認識部による前記認識が成功している第１状態と前記認識が失敗している第２状態とを判定する認識状態判定部と、
前記第１状態のときに、前記被写体認識部が認識した前記主要被写体の位置を前記撮影画面内で継続的に指定する被写体追尾部と、
装置に加わる振動および装置の保持姿勢の少なくとも一方を検出する第２センサと、を備え、
前記被写体認識部は、前記第１状態から前記第２状態に移行して前記被写体追尾部による前記指定が中断された後に、前記第１状態のときよりも前記参照データの数を追加して前記主要被写体を再探索し、
前記認識状態判定部は、前記振動の大きさが閾値を超える場合または前記保持姿勢に変化のある場合に前記第２状態と判定することを特徴とする撮像装置。
【請求項５】
被写体を撮像して画像のデータを生成する撮像部と、
主要被写体に関する参照データを１つの前記主要被写体に対して複数記憶するメモリと、
前記画像に含まれる被写体の特徴と前記参照データが示す特徴との相関に基づいて前記主要被写体を認識する被写体認識部と、
前記被写体認識部による前記認識が成功している第１状態と前記認識が失敗している第２状態とを判定する認識状態判定部と、
前記第１状態のときに、前記被写体認識部が認識した前記主要被写体の位置を前記撮影画面内で継続的に指定する被写体追尾部と、
被写体輝度を検出する測光部と、を備え、
前記被写体認識部は、前記第１状態から前記第２状態に移行して前記被写体追尾部による前記指定が中断された後に、前記第１状態のときよりも前記参照データの数を追加して前記主要被写体を再探索し、
前記認識状態判定部は、前記被写体輝度の変化量が所定の範囲よりも大きい場合に前記第２状態と判定することを特徴とする撮像装置。
【請求項６】
請求項１から請求項５のいずれか１項に記載の撮像装置において、
前記被写体追尾部は、前記第１状態から前記第２状態に移行して前記指定が中断したときには、認識した前記主要被写体の最後の位置が前記撮影画面の中心部と周辺部とのいずれに属するかを判定し、
前記被写体認識部は、前記第１状態から前記第２状態に移行して前記被写体追尾部による前記指定が中断された後に、前記最後の位置が前記中心部に属する第１の場合と前記最後の位置が前記周辺部に属する第２の場合とで、それぞれ異なるアルゴリズムに基づいて前記主要被写体を再探索することを特徴とする撮像装置。
【請求項７】
請求項６に記載の撮像装置において、
前記被写体認識部は、前記画像のうちの探索範囲内から前記主要被写体を探索するとともに、前記第１の場合と前記第２の場合とで、前記再探索のときに前記探索範囲の形状をそれぞれ変化させることを特徴とする撮像装置。
【請求項８】
請求項６に記載の撮像装置において、
前記被写体認識部は、前記第１の場合と前記第２の場合とで前記再探索に適用する前記参照データの数を変化させることを特徴とする撮像装置。
【請求項９】
請求項６に記載の撮像装置において、
前記被写体認識部は、前記第１の場合と前記第２の場合とで前記再探索のときに前記主要被写体の探索時間を変化させることを特徴とする撮像装置。
【請求項１０】
請求項１から請求項９のいずれか１項に記載の撮像装置において、
装置の保持姿勢を検出する第１センサをさらに備え、
前記被写体認識部は、前記保持姿勢に応じて前記参照データの示す特徴の向きを調整することを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置に関する。
【背景技術】
【０００２】
従来から、動きのある主要被写体に追従してフォーカス調整や露光条件の演算などを行うために、被写体追尾機能を備えた撮像装置が種々提案されている。一例として、特許文献１には、複数のテンプレートを用いて入力画像にテンプレートマッチング処理を施して被写体追尾を行う撮像装置が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００１−６０２６９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、従来の撮像装置では、被写体追尾中に主要被写体が認識できなくなると被写体追尾の処理が終了する。そのため、例えばフレームアウトなどで主要被写体を一時的に認識できなくなった場合には主要被写体の追尾を最初からやり直す必要があるので、被写体追尾機能の精度が低いというのが実情であった。
【０００５】
本発明は上記従来技術の課題を解決するためのものである。本発明の目的は、主要被写体を一時的に認識できなくなる状況でも、比較的に高い精度での被写体追尾を可能とする手段を提供することである。
【課題を解決するための手段】
【０００６】
本発明の一態様である撮像装置は、撮像部と、メモリと、被写体認識部と、認識状態判定部と、被写体追尾部とを備える。撮像部は、被写体を撮像して画像のデータを生成する。メモリは、主要被写体に関する参照データを１つの主要被写体に対して複数記憶する。被写体認識部は、画像に含まれる被写体の特徴と参照データが示す特徴との相関に基づいて主要被写体を認識する。認識状態判定部は、被写体認識部による認識が成功している第１状態と認識が失敗している第２状態とを判定する。被写体追尾部は、第１状態のときに、被写体認識部が認識した主要被写体の位置を撮影画面内で継続的に指定する。メモリは、認識が成功したときに適用された参照データを入れ替えて保持する第１記憶領域と、主要被写体の位置指定の開始時に生成された初期状態の参照データを保持する第３記憶領域とを含む。そして、被写体認識部は、第１状態から第２状態に移行して被写体追尾部による指定が中断された後に、第１状態のときよりも参照データの数を追加して主要被写体を再探索する。また、被写体認識部は、第１状態のときには第１記憶領域の参照データを適用し、再探索の場合には第１記憶領域の参照データに加えて第３記憶領域の参照データをさらに適用する。
本発明の別の態様である撮像装置は、撮像部と、メモリと、被写体認識部と、認識状態判定部と、被写体追尾部と、モニタとを備える。撮像部は、被写体を撮像して画像のデータを生成する。メモリは、主要被写体に関する参照データを１つの主要被写体に対して複数記憶する。被写体認識部は、画像に含まれる被写体の特徴と参照データが示す特徴との相関に基づいて主要被写体を認識する。認識状態判定部は、被写体認識部による認識が成功している第１状態と認識が失敗している第２状態とを判定する。被写体追尾部は、第１状態のときに、被写体認識部が認識した主要被写体の位置を撮影画面内で継続的に指定する。モニタは上述の画像に対応するビュー画像を表示する。そして、被写体認識部は、第１状態から第２状態に移行して被写体追尾部による指定が中断された後に、第１状態のときよりも参照データの数を追加して主要被写体を再探索する。また、被写体追尾部は、主要被写体の位置を示す表示と、主要被写体の位置の指定が中断された状態を示す表示と、再探索の失敗を示す表示とのいずれかをビュー画像とともにモニタに表示させる。
本発明の別の態様である撮像装置は、撮像部と、メモリと、被写体認識部と、認識状態判定部と、被写体追尾部と、第２センサとを備える。撮像部は、被写体を撮像して画像のデータを生成する。メモリは、主要被写体に関する参照データを１つの主要被写体に対して複数記憶する。被写体認識部は、画像に含まれる被写体の特徴と参照データが示す特徴との相関に基づいて主要被写体を認識する。認識状態判定部は、被写体認識部による認識が成功している第１状態と認識が失敗している第２状態とを判定する。被写体追尾部は、第１状態のときに、被写体認識部が認識した主要被写体の位置を撮影画面内で継続的に指定する。第２センサは装置に加わる振動および装置の保持姿勢の少なくとも一方を検出する。そして、被写体認識部は、第１状態から第２状態に移行して被写体追尾部による指定が中断された後に、第１状態のときよりも参照データの数を追加して主要被写体を再探索する。また、認識状態判定部は、振動の大きさが閾値を超える場合または保持姿勢に変化のある場合に第２状態と判定する。
本発明の別の態様である撮像装置は、撮像部と、メモリと、被写体認識部と、認識状態判定部と、被写体追尾部と、被写体輝度を検出する測光部とを備える。撮像部は、被写体を撮像して画像のデータを生成する。メモリは、主要被写体に関する参照データを１つの主要被写体に対して複数記憶する。被写体認識部は、画像に含まれる被写体の特徴と参照データが示す特徴との相関に基づいて主要被写体を認識する。認識状態判定部は、被写体認識部による認識が成功している第１状態と認識が失敗している第２状態とを判定する。被写体追尾部は、第１状態のときに、被写体認識部が認識した主要被写体の位置を撮影画面内で継続的に指定する。そして、被写体認識部は、第１状態から第２状態に移行して被写体追尾部による指定が中断された後に、第１状態のときよりも参照データの数を追加して主要被写体を再探索する。また、認識状態判定部は、被写体輝度の変化量が所定の範囲よりも大きい場合に第２状態と判定する。
【発明の効果】
【０００８】
主要被写体を一時的に認識できなくなる状況でも、比較的に高い精度での被写体追尾が可能となる。
【図面の簡単な説明】
【０００９】
【図１】本実施形態の電子カメラの構成を説明するブロック図
【図２】電子カメラの撮影モードでの動作例を説明する流れ図
【図３】電子カメラの撮影モードでの動作例を説明する流れ図
【図４】電子カメラの撮影モードでの動作例を説明する流れ図
【図５】電子カメラの撮影モードでの動作例を説明する流れ図
【図６】本実施形態での主要被写体を示す枠表示の一例を示す図
【図７】（ａ）本実施形態の被写体追尾エリアの初期状態を示した図、（ｂ）主要被写体の動きに伴う被写体追尾エリアのシフトを示す図
【図８】ＯＴ画像を適用した被写体追尾処理のサブルーチンを説明する流れ図
【図９】ＣＴ画像を適用した被写体追尾処理のサブルーチンを説明する流れ図
【図１０】ＮＴ画像を適用した被写体追尾処理のサブルーチンを説明する流れ図
【図１１】主要被写体の最後の位置を判定するときの画面の分割例を示す図
【図１２】ＩＴ画像を適用した被写体追尾処理のサブルーチンを説明する流れ図
【図１３】Ｓ１４９での設定される被写体追尾エリアを説明する図
【発明を実施するための形態】
【００１０】
＜電子カメラの構成の説明＞
図１は、本実施形態の電子カメラの構成を説明するブロック図である。本実施形態の電子カメラは、被写体認識に基づく被写体追尾機能を備えている。
【００１１】
電子カメラは、撮像光学系１１およびレンズ駆動部１２と、撮像素子１３と、ＡＦＥ１４と、画像処理部１５と、第１メモリ１６と、記録Ｉ／Ｆ１７と、モニタ１８と、操作部材１９と、レリーズ釦２０と、第２メモリ２１と、振動センサ２２と、姿勢センサ２３と、ＣＰＵ２４およびバス２５とを有している。ここで、画像処理部１５、第１メモリ１６、記録Ｉ／Ｆ１７、モニタ１８、第２メモリ２１およびＣＰＵ２４は、バス２５を介してそれぞれ接続されている。また、レンズ駆動部１２、操作部材１９、レリーズ釦２０、振動センサ２２および姿勢センサ２３はそれぞれＣＰＵ２４に接続されている。
【００１２】
撮像光学系１１は、ズームレンズやフォーカシングレンズを含む複数のレンズ群で構成されている。撮像光学系１１のフォーカシングレンズのレンズ位置は、レンズ駆動部１２によって光軸方向に調整される。なお、簡単のため、図１では撮像光学系１１を１枚のレンズとして図示する。
【００１３】
撮像素子１３は、撮像光学系１１の像空間側に配置されており、その受光面には受光素子が２次元配列されている。そして、撮像素子１３は、撮像光学系１１を通過した光束による被写体像を光電変換してアナログの画像信号を生成する。なお、撮像素子１３の出力はＡＦＥ１４に接続されている。
【００１４】
ここで、電子カメラの動作モードの一つである撮影モードにおいて、撮像素子１３はレリーズ釦２０の全押し操作に応答して記録画像（本画像）を撮像する。また、撮影モードでの撮像素子１３は、撮影待機時にも所定間隔毎にスルー画像を撮像する。このスルー画像のデータは撮像素子１３から間引き読み出しされて、モニタ１８での画像表示やＣＰＵ２４による各種の演算処理に使用される。
【００１５】
ＡＦＥ１４は、撮像素子１３の出力に対してアナログ信号処理を施すアナログフロントエンド回路である。このＡＦＥ１４は、相関二重サンプリングや、画像信号のゲインの調整や、画像信号のＡ／Ｄ変換を行う。なお、ＡＦＥ１４の出力は画像処理部１５に接続されている。
【００１６】
画像処理部１５は、１フレーム分のデジタル画像信号に対して、各種の画像処理（色補間処理、階調変換処理、輪郭強調処理、ホワイトバランス調整など）を施す。また、画像処理部１５は、画像の解像度変換処理や、本画像のデータの圧縮伸長処理も実行する。なお、画像処理部１５は、撮影モードでの撮影待機時において、スルー画像からモニタ１８表示用のビュー画像を生成して出力する。
【００１７】
第１メモリ１６は、画像処理部１５による画像処理の前工程や後工程で画像のデータを一時的に記憶するバッファメモリである。
【００１８】
記録Ｉ／Ｆ１７には、記憶媒体２６を接続するためのコネクタが形成されている。そして、記録Ｉ／Ｆ１７は、コネクタに接続された記憶媒体２６に対してデータの書き込み／読み込みを実行する。上記の記憶媒体２６は、ハードディスクや、半導体メモリを内蔵したメモリカードなどで構成される。なお、図１では記憶媒体２６の一例としてメモリカードを図示する。
【００１９】
モニタ１８は、ＣＰＵ２４の指示に応じて各種画像を表示する。なお、本実施形態でのモニタ１８は、接眼部を有する電子ファインダや、カメラ筐体の背面などに設けられる液晶表示パネルのいずれで構成されていてもよい。このモニタ１８には、撮影モードでの撮影待機時において、ＣＰＵ２４の制御により上記のビュー画像が動画表示される。このとき、ＣＰＵ２４は、撮影に必要となる各種情報をモニタ１８のビュー画像上にオーバーレイ表示させることもできる。また、ＣＰＵ２４は、モニタ１８に、各種の設定項目の入力が可能なメニュー画面を表示させることもできる。
【００２０】
操作部材１９は、例えば、コマンドダイヤル、十字状のカーソルキー、決定釦などで構成される。そして、操作部材１９は電子カメラの各種入力をユーザーから受け付ける。例えば、操作部材１９は、上記のメニュー画面での入力操作や、電子カメラの動作モードの切替操作などに用いられる。
【００２１】
レリーズ釦２０は、半押し操作による撮影前のオートフォーカス（ＡＦ）動作開始の指示入力と、全押し操作による撮像動作開始の指示入力とをユーザーから受け付ける。なお、本実施形態でのレリーズ釦２０は、主要被写体の登録処理の開始指示をユーザーが行うときにも使用される。
【００２２】
第２メモリ２１は、フラッシュメモリ等の不揮発性の記憶媒体である。この第２メモリ２１には、被写体認識の対象となる主要被写体の特徴を示す参照データや、被写体追尾処理時の各種データが記憶される。なお、本実施形態の電子カメラでは、人間、動物、建築物、乗物などを含むあらゆる物を主要被写体として登録することが可能である。
【００２３】
ここで、本実施形態の参照データは、主要被写体を撮像した画像から生成されたテンプレート画像のデータで構成される。そして、第２メモリ２１には、１つの主要被写体に対して複数の参照データを記憶することが可能である。
【００２４】
一例として、本実施形態の電子カメラでは、１つの主要被写体に対する参照データとして、オールドテンプレート（ＯＴ）画像、カレントテンプレート（ＣＴ）画像、ニューテンプレート（ＮＴ）画像、イニシャルテンプレート（ＩＴ）画像の４種類のデータが被写体認識のときに使用される。
【００２５】
そして、第２メモリ２１には、４つのテンプレート画像（ＯＴ画像、ＣＴ画像、ＮＴ画像、ＩＴ画像）のデータを保持しておくために４つの記憶領域がそれぞれ確保されている。第２メモリ２１においてＯＴ画像用の記憶領域およびＣＴ画像用の記憶領域には、主要被写体の認識が成功したときに適用されたテンプレート画像のデータがそれぞれ保持される。また、第２メモリ２１のＮＴ画像用の記憶領域には、スルー画像から認識された主要被写体に基づいて所定のタイミングで生成されるテンプレート画像のデータが保持される。さらに、第２メモリ２１のＩＴ画像用の記憶領域には、被写体追尾を行うモードで主要被写体を登録したときに、スルー画像から生成された初期状態のテンプレート画像のデータが保持される。
【００２６】
さらに、第２メモリ２１には、被写体追尾処理で適用されたテンプレート画像の種類と、ＯＴ画像の連続適用回数とを示す判定フラグを記憶することもできる。
【００２７】
振動センサ２２は、電子カメラに対する振動を検知する。本実施形態での振動センサ２２は、電子カメラの縦揺れを検出する縦方向角速度センサと、電子カメラの横揺れを検出する横方向角速度センサとを備えている。上記の各々の角速度センサには、例えば回転によるコリオリ力を検出する圧電振動式角速度センサなどが用いられる。
【００２８】
姿勢センサ２３は、電子カメラを正位置（または正位置と上下逆の状態）に構えた横位置の撮影姿勢と、電子カメラの右手側または左手側を上にして構えた縦位置の撮影姿勢とを判別する。この姿勢センサ２３の出力により、ＣＰＵ２４は、撮影姿勢の変化を検出することができる。
【００２９】
ＣＰＵ２４は、電子カメラの動作を統括的に制御するプロセッサである。一例として、ＣＰＵ２４は、撮影モードにおいてスルー画像のデータを用いてコントラスト検出方式によるＡＦを実行する。また、ＣＰＵ２４は、スルー画像のデータを用いて撮影画面内の被写体輝度を求め、この被写体輝度に基づいてＡＥ演算を実行する。なお、本実施形態では、ＣＰＵが上記のテンプレート画像のデータを生成する。
【００３０】
また、ＣＰＵ２４は不図示のＲＯＭに格納されたプログラムの実行により、被写体認識部２７、認識状態判定部２８、被写体追尾部２９として機能する。
【００３１】
被写体認識部２７は、上記の参照データ（テンプレート画像）を用いてスルー画像から主要被写体を認識する。具体的には、被写体認識部２７は、上記のテンプレート画像に基づいてスルー画像内の被写体を解析するマッチング処理を実行する。そして、被写体認識部２７は、上記のマッチング処理の結果に基づいて、スルー画像の被写体とテンプレート画像の主要被写体との類似度を求める。
【００３２】
認識状態判定部２８は、主要被写体の認識が成功している第１状態か、あるいは主要被写体の認識が失敗している第２状態かを判定する。具体的には、認識状態判定部２８は、被写体認識部２７の求めた類似度の値や、振動センサ２２および姿勢センサ２３の出力や、スルー画像による分割測光結果に基づいて上記の判定を行う。
【００３３】
被写体追尾部２９は、主要被写体の認識が成功している第１状態のときに、撮影画面内において主要被写体の対応位置を継続的に指定する。これにより、ＣＰＵ２４は、主要被写体を追尾して合焦制御を行うことや、主要被写体の位置を基準としたスポット測光によるＡＥ演算を行うことが可能となる。また、ＣＰＵ２４は、指定された主要被写体の位置を示すマークをモニタ１８のビュー画像上に重畳表示させることもできる。
【００３４】
また、被写体追尾部２９は、主要被写体がロストした場合（第１状態から第２状態に移行して指定が中断したとき）には、最後に指定された主要被写体の位置が撮影画面の中心部と周辺部とのいずれに属するかの判定処理も行う。
【００３５】
＜電子カメラの動作説明＞
次に、図２から図５の流れ図を参照しつつ、本実施形態における電子カメラの撮影モードでの動作例を説明する。なお、以下の動作例では、被写体追尾機能がオンに設定されている状態を前提として説明を行う。
【００３６】
（ステップＳ１０１）
ＣＰＵ２４は、撮像素子１３を駆動させてスルー画像の撮像を開始する。その後、スルー画像は所定間隔ごとに逐次生成されることとなる。また、ＣＰＵ２４は、スルー画像から生成されたビュー画像をモニタ１８に動画表示させる。したがって、ユーザーは、モニタ１８のビュー画像を参照して、撮影構図を決定するためのフレーミングを行うことができる。
【００３７】
（ステップＳ１０２）
ＣＰＵ２４は、レリーズ釦２０が半押しされたか否かを判定する。レリーズ釦２０が半押しされた場合（ＹＥＳ側）にはＳ１０３に移行する。一方、レリーズ釦２０が半押しされていない場合（ＮＯ側）には、ＣＰＵ２４はレリーズ釦２０の半押しを待機する。
【００３８】
（ステップＳ１０３）
ＣＰＵ２４は、認識対象となる主要被写体の登録処理を開始する。具体的には、ＣＰＵ２４は、主要被写体として登録する範囲を示す矩形の緑色の枠表示をビュー画像に重畳させる（図６参照）。上記の枠表示は、ＣＰＵ２４の制御によってモニタ１８の中央部に点滅状態で表示される。そして、ＣＰＵ２４は、上記の枠表示に対応する範囲のスルー画像からテンプレート画像を生成する。したがって、ユーザーは、上記の枠表示の中に認識対象の被写体を収めるようにフレーミングを行うことで、電子カメラに主要被写体を登録させることができる。
【００３９】
（ステップＳ１０４）
ＣＰＵ２４は、レリーズ釦２０の半押しが解除されたか否かを判定する。レリーズ釦２０の半押しが解除されたとき（ＹＥＳ側）はＳ１０５に移行する。一方、レリーズ釦２０の半押しが継続しているとき（ＮＯ側）にはＳ１０７に移行する。
【００４０】
（ステップＳ１０５）
ＣＰＵ２４は、モニタ１８上での主要被写体の位置を示す枠表示の出力を終了する。
【００４１】
（ステップＳ１０６）
ＣＰＵ２４は、第２メモリ２１に記憶されているテンプレート画像を消去し、その後に一連の処理を終了する。なお、ＣＰＵ２４は、さらに撮影を継続する場合にはＳ１０２に戻って上記動作を繰り返す（流れ図ではこの場合のループの図示を省略する）。
【００４２】
（ステップＳ１０７）
ＣＰＵ２４は、適正なテンプレート画像が生成できないと考えられる所定の撮影条件に該当しないか否かを判定する。上記要件を満たす場合（ＹＥＳ側）にはＳ１１０に移行する。一方、上記要件を満たさない場合（ＮＯ側）にはＳ１０８に移行する。
【００４３】
ここで、Ｓ１０７では、（１）被写界輝度が閾値以下の場合、（２）撮像感度が高くスルー画像の出力にノイズ成分が多い場合、（３）振動センサ２２の検出する振動の大きさが閾値以上である場合、のいずれかに該当する場合には、ＣＰＵ２４は適正なテンプレート画像が生成できない撮影条件である（Ｓ１０７のＮＯ側）と判定する。
【００４４】
（ステップＳ１０８）
ＣＰＵ２４は、主要被写体の登録処理の開始から所定時間が経過したか否かを判定する。所定時間が経過した場合（ＹＥＳ側）にはＳ１０９に移行する。一方、所定時間が経過していない場合（ＮＯ側）にはＳ１０４に戻って、ＣＰＵ２４は上記動作を繰り返す。
【００４５】
（ステップＳ１０９）
ＣＰＵ２４は、テンプレート画像が生成できないことを示すエラー表示をモニタ１８に出力し、その後にＳ１０５に移行する。なお、上記のエラー表示の内容は、文字またはアイコン等のキャラクタ表示や、上記の枠表示の表示色を変更するもの（例えば、緑色から赤色への変更）のいずれでもよい。
【００４６】
（ステップＳ１１０）
ＣＰＵ２４は、ＯＴ画像、ＣＴ画像、ＮＴ画像、ＩＴ画像のデータを生成するとともに、第２メモリ２１の所定の記憶領域に各々のテンプレート画像のデータを記録する。
【００４７】
具体的には、第１に、ＣＰＵ２４は、スルー画像のうちから上記の枠表示に対応する範囲の画像を切り出して初期状態のテンプレート画像を生成する。そして、ＣＰＵ２４は、この初期状態のテンプレート画像を、第２メモリ２１上のＣＴ画像用の記憶領域とＩＴ画像用の記憶領域とにそれぞれ記録する。したがって、主要被写体の登録処理の段階では、初期状態のテンプレート画像がＣＴ画像およびＩＴ画像として第２メモリ２１に登録された状態となる。
【００４８】
第２に、ＣＰＵ２４は、上記の初期状態のテンプレート画像を０．９倍に縮小するとともに、この縮小画像を第２メモリ２１上のＯＴ画像用の記憶領域に記録する。したがって、主要被写体の登録処理の段階では、初期状態のテンプレート画像の縮小画像がＯＴ画像として第２メモリ２１に登録された状態となる。
【００４９】
第３に、ＣＰＵ２４は、上記の初期状態のテンプレート画像を１．１倍に拡大するとともに、この拡大画像を第２メモリ２１上のＮＴ画像用の記憶領域に記録する。したがって、主要被写体の登録処理の段階では、初期状態のテンプレート画像の拡大画像がＮＴ画像として第２メモリ２１に登録された状態となる。
【００５０】
（ステップＳ１１１）
ＣＰＵ２４の被写体認識部２７は、撮影画面内で主要被写体の認識を行う探索範囲（被写体追尾エリア）を指定する。図７（ａ）は、本実施形態の被写体追尾エリアの初期状態を示した図である。Ｓ１１１での被写体認識部２７は、３×３の配列をなすように撮影画面を９つに等分割した部分領域のうちで、画面中央に位置する部分領域を被写体追尾エリアに指定する。
【００５１】
（ステップＳ１１２）
ＣＰＵ２４の被写体追尾部２９は、被写体追尾の実行状態を示す表示（被写体追尾マーク）をモニタ１８に出力する。具体的には、ＣＰＵ２４は、主要被写体の位置を示す緑色の矩形の枠表示（Ｓ１０３）を点滅状態から点灯状態に変更する。これにより、ユーザーは主要被写体の登録処理と、被写体追尾が開始されたこととをモニタ１８で確認できる。
【００５２】
（ステップＳ１１３）
ＣＰＵ２４は、姿勢センサ２３の出力に基づいて、電子カメラの撮影姿勢に変化があったか否かを判定する。撮影姿勢に変化がある場合（ＹＥＳ側）にはＳ１１４に移行する。一方、撮影姿勢に変化がない場合（ＮＯ側）にはＳ１１５に移行する。
【００５３】
（ステップＳ１１４）
ＣＰＵ２４の被写体認識部２７は、変更前後の撮影姿勢に応じて、各々のテンプレート画像の向きを変換する。例えば、電子カメラの撮影姿勢が正位置から縦位置に変化した場合には、被写体認識部２７は、第２メモリ２１の全てのテンプレート画像の向きを右方向または左方向に９０°回転させてマッチング処理に適用する。
【００５４】
（ステップＳ１１５）
ＣＰＵ２４は、スルー画像のうちで被写体認識を行う判定フレームが撮像されたか否かを判定する。判定フレームが撮像された場合（ＹＥＳ側）にはＳ１１６に移行する。一方、判定フレームが撮像されていない場合にはＳ１１３に戻って、ＣＰＵ２４は上記動作を繰り返す。なお、スルー画像から被写体認識処理を行う間隔（判定フレームのフレームレート）は、ユーザーの設定操作などに応じてＣＰＵ２４が適宜調整できる。
【００５５】
（ステップＳ１１６）
ＣＰＵ２４は、判定フレーム（Ｓ１１５）の被写体輝度値を求め、その値を第２メモリ２１に記録する。なお、第２メモリ２１に既に被写体輝度値が記憶されている場合には、ＣＰＵ２４は今回の判定フレームから求めた被写体輝度値を上書きして更新する。
【００５６】
（ステップＳ１１７）
ＣＰＵ２４の被写体認識部２７は、スルー画像の判定フレーム（Ｓ１１５）と、ＯＴ画像とのマッチング処理を行って、最大類似度ＳｉＯを求める。具体的には、ＣＰＵ２４の被写体認識部２７は、Ｓ１１７において以下の（イ）から（ホ）の処理を実行する。
【００５７】
（イ）被写体認識部２７は、判定フレームのうちの被写体追尾エリアに対応する範囲から、ＯＴ画像とマッチング処理を行う対象領域を決定する。この対象領域のサイズは、ＯＴ画像のサイズと同じサイズに設定される。
【００５８】
（ロ）次に、被写体認識部２７は、上記の対象領域の画像とＯＴ画像とでそれぞれ対応位置にある注目画素間の階調差を求めるマッチング処理を行う。そして、被写体認識部２７は、上記の対象領域の画像とＯＴ画像との類似度を以下の式（１）で求める。
【００５９】
【数１】
0005246355.tif 000002
【００６０】
ここで、式（１）において、Ｉ１はテンプレート画像に対応し、Ｉ２は対象領域の画像に対応する。そして、Ｉ１およびＩ２の注目画素は、テンプレート画像および対象領域の画像でそれぞれ対応位置にある画素を示す。また、式（１）では、テンプレート画像およびスルー画像のデータの階調がともに８ｂｉｔ（０〜２５５の階調値）であることを前提とする。なお、上記の類似度の単位は％である。
【００６１】
すなわち、上記の式（１）では、対応画素の階調差の絶対値を合計して類似度を求めている。そして、式（１）では、階調差の絶対値の総和が大きくなるほど類似度の値が小さくなる。なお、被写体認識部２７は、画像がＲＧＢデータのときにＲＧＢの各階調値ごとに類似度を求めてもよく、あるいはＧの階調値のみ類似度を求めてもよい。また、被写体認識部２７は、画像がＹＵＶデータのときにはＹの階調値で類似度を求めるようにしてもよい。
【００６２】
（ハ）被写体認識部２７は、上記の（ロ）の処理で求めた類似度の値を第２メモリ２１に記録する。
【００６３】
（ニ）被写体認識部２７は、対象領域の位置をシフトさせて上記の（ロ）および（ハ）の処理を繰り返す。そして、被写体認識部２７は、被写体追尾エリア内のすべてを対象領域としてマッチング処理を実行し、被写体追尾エリア内の各位置でのＯＴ画像との類似度をそれぞれ求める。
【００６４】
（ホ）被写体認識部２７は、第２メモリ２１に記憶されているＯＴ画像との類似度のうちで最高値を抽出し、抽出された類似度の値を最大類似度ＳｉＯに設定する。また、被写体認識部２７は、最大類似度を示す対象領域の位置を第２メモリ２１に記録する。
【００６５】
（ステップＳ１１８）
ＣＰＵ２４の被写体認識部２７は、スルー画像の判定フレーム（Ｓ１１５）と、ＣＴ画像とのマッチング処理を行って、最大類似度ＳｉＣを求める。なお、Ｓ１１８での処理は、ＯＴ画像の代わりにＣＴ画像を適用する点を除いてはＳ１１７と共通するため、重複説明を省略する。
【００６６】
（ステップＳ１１９）
ＣＰＵ２４の被写体認識部２７は、スルー画像の判定フレーム（Ｓ１１５）と、ＮＴ画像とのマッチング処理を行って、最大類似度ＳｉＮを求める。なお、Ｓ１１９での処理は、ＯＴ画像の代わりにＮＴ画像を適用する点を除いてはＳ１１７と共通するため、重複説明を省略する。
【００６７】
（ステップＳ１２０）
ＣＰＵ２４の認識状態判定部２８は、Ｓ１１７からＳ１１９で求めた最大類似度（ＳｉＯ、ＳｉＣ、ＳｉＮ）の値のいずれかが５０％以上であるか否かを判定する。上記要件を満たす場合（ＹＥＳ側）にはＳ１２１に移行する。一方、上記要件を満たさない場合（ＮＯ側）にはＳ１２８に移行する。
【００６８】
（ステップＳ１２１）
ＣＰＵ２４の認識状態判定部２８は、対応する最大類似度（ＳｉＯ、ＳｉＣ、ＳｉＮ）の値が一番大きなテンプレート画像を選択する。
【００６９】
ＯＴ画像に関する最大類似度ＳｉＯが最も大きい場合（ＣＡＳＥ１）にはＳ１２２に移行する。ＣＴ画像に関する最大類似度ＳｉＣが最も大きい場合（ＣＡＳＥ２）にはＳ１２３に移行する。ＮＴ画像に関する最大類似度ＳｉＮが最も大きい場合（ＣＡＳＥ３）にはＳ１２４に移行する。
【００７０】
（ステップＳ１２２）
ＣＰＵ２４は、ＯＴ画像を適用して被写体追尾処理を実行する。その後、ＣＰＵ２４はＳ１２５に処理を移行する。
【００７１】
ここで、図８を参照しつつ、ＯＴ画像を適用した被写体追尾処理のサブルーチンを説明する。
【００７２】
ステップＳ２０１：ＣＰＵ２４の被写体追尾部２９は、最大類似度ＳｉＯに対応する対象領域の位置を主要被写体の位置として指定する。  
【００７３】
ステップＳ２０２：ＣＰＵ２４は、指定された主要被写体の位置（Ｓ２０１）を焦点検出エリアとしてＡＦを実行するとともに、公知のＡＥ演算を実行する。なお、ＣＰＵ２４は、指定された主要被写体の位置（Ｓ２０１）を基準としてスポット測光によるＡＥ演算を実行してもよい。
【００７４】
ステップＳ２０３：ＣＰＵ２４の被写体追尾部２９は、指定された主要被写体の位置（Ｓ２０１）に基づいて、ビュー画像に重畳される被写体追尾マークを更新する。これにより、モニタ１８上で上記の枠表示の位置が、認識されている主要被写体の位置に合わせてシフトすることとなる。
【００７５】
ステップＳ２０４：ＣＰＵ２４の被写体認識部２７は、指定された主要被写体の位置（Ｓ２０１）に基づいて、サイズを変更することなく被写体追尾エリアの位置を更新する。図７（ｂ）は、主要被写体の動きに伴う被写体追尾エリアのシフトを示す図である。被写体認識部２７は、主要被写体の位置が被写体追尾エリアの中央と重なるように、撮影画面に対して被写体追尾エリアをシフトさせる。これにより、主要被写体の動きに合わせて被写体追尾エリアが移動するため、電子カメラにおいて主要被写体をロストする確率が低減する。
【００７６】
ステップＳ２０５：ＣＰＵ２４は、第２メモリ２１から判定フラグを読み出して、前回の被写体追尾処理でＯＴ画像以外のテンプレート画像が適用されたか否かを判定する。
【００７７】
上記要件を満たす場合（ＹＥＳ側）にはＳ２０６に移行する。なお、この場合（Ｓ２０５のＹＥＳ側）には、被写体追尾処理を初めて行う場合も含まれる。一方、上記要件を満たさない場合（ＮＯ側）にはＳ２０７に移行する。なお、この場合（Ｓ２０５のＮＯ側）は、ＯＴ画像を適用した被写体追尾処理が連続して行われている状態である。
【００７８】
ステップＳ２０６：ＣＰＵ２４は、判定フラグの示すテンプレート画像の種類をＯＴ画像に設定するとともに、判定フラグの連続適用回数の値を「１」に設定する。その後、ＣＰＵ２４はＳ２１０に処理を移行する。
【００７９】
ステップＳ２０７：ＣＰＵ２４は、判定フラグの連続適用回数の値をインクリメントする。
【００８０】
ステップＳ２０８：ＣＰＵ２４は、判定フラグの連続適用回数の値を参照して、ＯＴ画像を適用した被写体追尾処理が３回連続しているか否かを判定する。上記要件を満たす場合（ＹＥＳ側）にはＳ２０９に移行する。一方、上記要件を満たさない場合（ＮＯ側）にはＳ２１０に移行する。
【００８１】
ステップＳ２０９：ＣＰＵ２４は、現在のＯＴ画像を第２メモリ２１のＣＴ画像用の記憶領域に記録するとともに、現在のＣＴ画像を第２メモリ２１のＯＴ画像用の記憶領域に記録する。これにより、第２メモリ２１に保持されたＯＴ画像とＣＴ画像とが相互に入れ替わることとなる。
【００８２】
ステップＳ２１０：ＣＰＵ２４は、最大類似度ＳｉＯに対応する対象領域のスルー画像を切り出してテンプレート画像を新たに生成する。そして、ＣＰＵ２４は、新たに生成されたテンプレート画像を第２メモリ２１のＮＴ画像用の記憶領域に上書きして記録する。これにより、被写体追尾処理のときには、ＣＰＵ２４によって第２メモリ２１のＮＴ画像が更新されることとなる。以上で、図８のサブルーチンの説明を終了する。
【００８３】
（ステップＳ１２３）
ＣＰＵ２４は、ＣＴ画像を適用して被写体追尾処理を実行する。その後、ＣＰＵ２４はＳ１２５に処理を移行する。
【００８４】
ここで、図９を参照しつつ、ＣＴ画像を適用した被写体追尾処理のサブルーチンを説明する。なお、図９のＳ３０１からＳ３０４は、図８のＳ２０１からＳ２０４に対応するので重複説明を一部省略する。
【００８５】
ステップＳ３０１：ＣＰＵ２４の被写体追尾部２９は、最大類似度ＳｉＣに対応する対象領域の位置を主要被写体の位置として指定する。
【００８６】
ステップＳ３０２：ＣＰＵ２４は、指定された主要被写体の位置（Ｓ３０１）を焦点検出エリアとしてＡＦを実行するとともに、公知のＡＥ演算を実行する。
【００８７】
ステップＳ３０３：ＣＰＵ２４の被写体追尾部２９は、指定された主要被写体の位置（Ｓ３０１）に基づいて、ビュー画像に重畳される被写体追尾マークを更新する。
【００８８】
ステップＳ３０４：ＣＰＵ２４の被写体認識部２７は、指定された主要被写体の位置（Ｓ３０１）に基づいて、サイズを変更することなく被写体追尾エリアの位置を更新する。
【００８９】
ステップＳ３０５：ＣＰＵ２４は、最大類似度ＳｉＣに対応する対象領域のスルー画像を切り出してテンプレート画像を新たに生成する。そして、ＣＰＵ２４は、新たに生成されたテンプレート画像を第２メモリ２１のＮＴ画像用の記憶領域に上書きして記録する。これにより、被写体追尾処理のときには、ＣＰＵ２４によって第２メモリ２１のＮＴ画像が更新されることとなる。
【００９０】
ステップＳ３０６：ＣＰＵ２４は、判定フラグの示すテンプレート画像の種類をＣＴ画像に設定するとともに、判定フラグの連続適用回数の値を「０」に変更する。以上で、図９のサブルーチンの説明を終了する。
【００９１】
（ステップＳ１２４）
ＣＰＵ２４は、ＮＴ画像を適用して被写体追尾処理を実行する。その後、ＣＰＵ２４はＳ１２５に処理を移行する。
【００９２】
ここで、図１０を参照しつつ、ＮＴ画像を適用した被写体追尾処理のサブルーチンを説明する。なお、図１０のＳ４０１からＳ４０４は、図８のＳ２０１からＳ２０４に対応するので重複説明を一部省略する。
【００９３】
ステップＳ４０１：ＣＰＵ２４の被写体追尾部２９は、最大類似度ＳｉＮに対応する対象領域の位置を主要被写体の位置として指定する。  
【００９４】
ステップＳ４０２：ＣＰＵ２４は、指定された主要被写体の位置（Ｓ４０１）を焦点検出エリアとしてＡＦを実行するとともに、公知のＡＥ演算を実行する。
【００９５】
ステップＳ４０３：ＣＰＵ２４の被写体追尾部２９は、指定された主要被写体の位置（Ｓ４０１）に基づいて、ビュー画像に重畳される被写体追尾マークを更新する。
【００９６】
ステップＳ４０４：ＣＰＵ２４の被写体認識部２７は、指定された主要被写体の位置（Ｓ４０１）に基づいて、サイズを変更することなく被写体追尾エリアの位置を更新する。
【００９７】
ステップＳ４０５：ＣＰＵ２４は、現在のＮＴ画像を第２メモリ２１のＣＴ画像用の記憶領域に記録するとともに、現在のＣＴ画像を第２メモリ２１のＯＴ画像用の記憶領域に記録する。これにより、今までのＮＴ画像が入れ替わりによってＣＴ画像となる。また今までのＣＴ画像が入れ替わりによってＯＴ画像となる。
【００９８】
ステップＳ４０６：ＣＰＵ２４は、最大類似度ＳｉＮに対応する対象領域のスルー画像を切り出してテンプレート画像を新たに生成する。そして、ＣＰＵ２４は、新たに生成されたテンプレート画像を第２メモリ２１のＮＴ画像用の記憶領域に上書きして記録する。これにより、被写体追尾処理のときには、ＣＰＵ２４によって第２メモリ２１のＮＴ画像が更新されることとなる。
【００９９】
ステップＳ４０７：ＣＰＵ２４は、判定フラグの示すテンプレート画像の種類をＮＴ画像に設定するとともに、判定フラグの連続適用回数の値を「０」に変更する。以上で、図１０のサブルーチンの説明を終了する。
【０１００】
（ステップＳ１２５）
ＣＰＵ２４は、レリーズ釦２０が全押しされたか否かを判定する。レリーズ釦２０が全押しされた場合（ＹＥＳ側）にはＳ１２６に移行する。一方、レリーズ釦２０が全押しされていない場合（ＮＯ側）にはＳ１２７に移行する。
【０１０１】
（ステップＳ１２６）
ＣＰＵ２４は、撮像素子１３を駆動させて本画像の撮像処理を実行する。本画像のデータは、ＡＦＥ１４および画像処理部１５で所定の処理が施された後に、記録Ｉ／Ｆ１７によって記憶媒体２６に記録される。その後、ＣＰＵ２４はＳ１０５に処理を移行する。
【０１０２】
（ステップＳ１２７）
ＣＰＵ２４は、レリーズ釦２０の半押しが解除されたか否かを判定する。レリーズ釦２０の半押しが解除されたとき（ＹＥＳ側）はＳ１０５に移行する。一方、レリーズ釦２０の半押しが継続しているとき（ＮＯ側）にはＳ１１３に戻って、ＣＰＵ２４は上記動作を繰り返す。
【０１０３】
（ステップＳ１２８）
ＣＰＵ２４は、判定フレームより後に撮像されたスルー画像から、現在の被写体輝度値を求める。そして、ＣＰＵ２４は、第２メモリ２１に記憶されている被写体輝度値を読み出して、現在の被写体輝度値と判定フレームの被写体輝度値との差分から被写体輝度の変化量を求める。
【０１０４】
（ステップＳ１２９）
ＣＰＵ２４の認識状態判定部２８は、Ｓ１２８で求めた被写体輝度の変化量が所定の範囲内に収まるか否かを判定する。上記要件を満たす場合（ＹＥＳ側）にはＳ１３０に移行する。一方、上記要件を満たさない場合（ＮＯ側）にはＳ１３２に移行する。なお、この場合（Ｓ１２９のＮＯ側）は被写体輝度の変化が大きく、かつ最大類似度の値がいずれも低い状態に相当する。そのため、認識状態判定部２８は主要被写体の認識が失敗したものとして処理を行う。
【０１０５】
（ステップＳ１３０）
ＣＰＵ２４の認識状態判定部２８は、振動センサ２２によって検出された振動の大きさが閾値以下であるか否かを判定する。上記要件を満たす場合（ＹＥＳ側）にはＳ１３１に移行する。一方、上記要件を満たさない場合（ＮＯ側）にはＳ１３２に移行する。なお、この場合（Ｓ１３０のＮＯ側）は電子カメラに大きな振動が加わって画像に大きなブレが生じている可能性が高い。そのため、認識状態判定部２８は主要被写体の認識が失敗したものとして処理を行う。
【０１０６】
（ステップＳ１３１）
ＣＰＵ２４の認識状態判定部２８は、姿勢センサ２３の出力に基づいて、Ｓ１１３の判定後から判定フレームの取得前までの期間で電子カメラの撮影姿勢が維持されているか否かを判定する。上記要件を満たす場合（ＹＥＳ側）にはＳ１２１に移行する。一方、上記要件を満たさない場合（ＮＯ側）にはＳ１３２に移行する。なお、この場合（Ｓ１３１のＮＯ側）は電子カメラの撮影姿勢が急に変化した状態に相当する。そのため、認識状態判定部２８は主要被写体の認識が失敗したものとして処理を行う。
【０１０７】
（ステップＳ１３２）
ＣＰＵ２４の被写体追尾部２９は、被写体追尾マークの表示を停止するとともに、ロスト表示（主要被写体の認識が失敗してロスト状態にあることを示す表示）をビュー画像に重畳させて出力する。例えば、被写体追尾部２９は、ビュー画像に重畳された上記の枠表示を点灯状態から再び点滅状態に変更にしてロスト表示を行う。これにより、ユーザーは主要被写体がロストした状態にあることをモニタ１８で確認できる。
【０１０８】
（ステップＳ１３３）
ＣＰＵ２４の被写体追尾部２９は、指定された主要被写体の最後の位置が撮影画面の中心部に属するか否かを判定する。
【０１０９】
ここで、図１１に、Ｓ１３３で主要被写体の最後の位置を判定するときの画面の分割例を示す。被写体追尾部２９は、図１１に示すように撮影画面を５分割して、主要被写体中央部の最後の位置が、撮影画面の中央の第１領域と、この第１領域の上下左右を囲むように配置された４つの第２領域とのいずれに属するかを判定する。なお、上記の第１領域は撮影画面の約７０％程度のサイズに設定される。
【０１１０】
そして、被写体追尾部２９は、主要被写体中央部の最後の位置が第１領域（画面中央部）に属する場合（ＹＥＳ側）にはＳ１３４に移行する。一方、被写体追尾部２９は、主要被写体中央部の最後の位置が第２領域に属する場合（ＮＯ側）にはＳ１４９に移行する。
【０１１１】
（ステップＳ１３４）
ＣＰＵ２４の被写体認識部２７は、被写体追尾エリアのサイズを上下左右にそれぞれ１０％ずつ拡大する。これにより、主要被写体の再探索の成功確率がより向上する。
【０１１２】
（ステップＳ１３５）
ＣＰＵ２４は、スルー画像のうちで被写体認識を行う判定フレームが撮像されたか否かを判定する。判定フレームが撮像された場合（ＹＥＳ側）にはＳ１３６に移行する。一方、判定フレームが撮像されていない場合には、ＣＰＵ２４は判定フレームが撮像されるまで待機する。
【０１１３】
（ステップＳ１３６）
ＣＰＵ２４の被写体認識部２７は、スルー画像の判定フレーム（Ｓ１３５）と、ＯＴ画像とのマッチング処理を行って、最大類似度ＳｉＯを求める。なお、Ｓ１３６での処理はＳ１１７と共通するため、重複説明を省略する。
【０１１４】
（ステップＳ１３７）
ＣＰＵ２４の被写体認識部２７は、スルー画像の判定フレーム（Ｓ１３５）と、ＣＴ画像とのマッチング処理を行って、最大類似度ＳｉＣを求める。なお、Ｓ１３７での処理はＳ１１８と共通するため、重複説明を省略する。
【０１１５】
（ステップＳ１３８）
ＣＰＵ２４の被写体認識部２７は、スルー画像の判定フレーム（Ｓ１３５）と、ＮＴ画像とのマッチング処理を行って、最大類似度ＳｉＮを求める。なお、Ｓ１３８での処理はＳ１１９と共通するため、重複説明を省略する。
【０１１６】
（ステップＳ１３９）
ＣＰＵ２４の被写体認識部２７は、スルー画像の判定フレーム（Ｓ１３５）と、ＩＴ画像とのマッチング処理を行って、最大類似度ＳｉＩを求める。なお、Ｓ１３９での処理は、ＯＴ画像の代わりにＩＴ画像を適用する点を除いてはＳ１１７と共通するため、重複説明を省略する。
【０１１７】
（ステップＳ１４０）
ＣＰＵ２４の認識状態判定部２８は、Ｓ１３６からＳ１３９で求めた最大類似度（ＳｉＯ、ＳｉＣ、ＳｉＮ、ＳｉＩ）の値のいずれかが５０％以上であるか否かを判定する。上記要件を満たす場合（ＹＥＳ側）にはＳ１４３に移行する。一方、上記要件を満たさない場合（ＮＯ側）にはＳ１４１に移行する。
【０１１８】
（ステップＳ１４１）
ＣＰＵ２４の被写体認識部２７は、主要被写体の認識に失敗してから所定の探索時間Ｔ１が経過したか否かを判定する。探索時間Ｔ１が経過した場合（ＹＥＳ側）にはＳ１４２に移行する。一方、探索時間Ｔ１が経過していない場合（ＮＯ側）にはＳ１３５に戻って、ＣＰＵ２４は上記動作を繰り返す。
【０１１９】
（ステップＳ１４２）
ＣＰＵ２４の被写体追尾部２９は、主要被写体の再探索に失敗した旨のエラー表示をモニタ１８に出力する。そして、被写体追尾部２９は、モニタ１８へのロスト表示（Ｓ１３２）の出力を停止する。その後、ＣＰＵ２４はＳ１０６に処理を移行する。
【０１２０】
（ステップＳ１４３）
ＣＰＵ２４の認識状態判定部２８は、対応する最大類似度（ＳｉＯ、ＳｉＣ、ＳｉＮ、ＳｉＩ）の値が一番大きなテンプレート画像を選択する。
【０１２１】
ＯＴ画像に関する最大類似度ＳｉＯが最も大きい場合（ＣＡＳＥ１）にはＳ１４４に移行する。ＣＴ画像に関する最大類似度ＳｉＣが最も大きい場合（ＣＡＳＥ２）にはＳ１４５に移行する。ＮＴ画像に関する最大類似度ＳｉＮが最も大きい場合（ＣＡＳＥ３）にはＳ１４６に移行する。ＩＴ画像に関する最大類似度ＳｉＩが最も大きい場合（ＣＡＳＥ４）にはＳ１４７に移行する。
【０１２２】
（ステップＳ１４４）
ＣＰＵ２４は、ＯＴ画像を適用して被写体追尾処理を実行する。その後、ＣＰＵ２４はＳ１４８に処理を移行する。なお、Ｓ１４４での被写体追尾処理の内容は、上記のＳ１２２で説明した図８の被写体追尾処理とほぼ共通するので重複説明は省略する。ただし、Ｓ１４４では、被写体追尾エリアの位置を更新する処理（Ｓ２０４）が省略される。
【０１２３】
（ステップＳ１４５）
ＣＰＵ２４は、ＣＴ画像を適用して被写体追尾処理を実行する。その後、ＣＰＵ２４はＳ１４８に処理を移行する。なお、Ｓ１４５での被写体追尾処理の内容は、上記のＳ１２３で説明した図９の被写体追尾処理とほぼ共通するので重複説明は省略する。ただし、Ｓ１４５では、被写体追尾エリアの位置を更新する処理（Ｓ３０４）が省略される。
【０１２４】
（ステップＳ１４６）
ＣＰＵ２４は、ＮＴ画像を適用して被写体追尾処理を実行する。その後、ＣＰＵ２４はＳ１４８に処理を移行する。なお、Ｓ１４６での被写体追尾処理の内容は、上記のＳ１２４で説明した図１０の被写体追尾処理とほぼ共通するので重複説明は省略する。ただし、Ｓ１４６では、被写体追尾エリアの位置を更新する処理（Ｓ４０４）が省略される。
【０１２５】
（ステップＳ１４７）
ＣＰＵ２４は、ＩＴ画像を適用して被写体追尾処理を実行する。その後、ＣＰＵ２４はＳ１４８に処理を移行する。
【０１２６】
ここで、図１２を参照しつつ、ＩＴ画像を適用した被写体追尾処理のサブルーチンを説明する。なお、図１２のＳ５０１からＳ５０４は、図８のＳ２０１からＳ２０４に対応するので重複説明を一部省略する。
【０１２７】
ステップＳ５０１：ＣＰＵ２４の被写体追尾部２９は、最大類似度ＳｉＩに対応する対象領域の位置を主要被写体の位置として指定する。
【０１２８】
ステップＳ５０２：ＣＰＵ２４は、指定された主要被写体の位置（Ｓ５０１）を焦点検出エリアとしてＡＦを実行するとともに、公知のＡＥ演算を実行する。
【０１２９】
ステップＳ５０３：ＣＰＵ２４の被写体追尾部２９は、指定された主要被写体の位置（Ｓ５０１）に基づいて、ビュー画像に重畳される被写体追尾マークを更新する。
【０１３０】
ステップＳ５０４：ＣＰＵ２４の被写体認識部２７は、指定された主要被写体の位置（Ｓ５０１）に基づいて、サイズを変更することなく被写体追尾エリアの位置を更新する。なお、Ｓ１４７での被写体追尾処理では、このＳ５０４の処理は省略される。
【０１３１】
ステップＳ５０５：ＣＰＵ２４は、ＩＴ画像を第２メモリ２１のＣＴ画像用の記憶領域に記録するとともに、現在のＣＴ画像を第２メモリ２１のＯＴ画像用の記憶領域に記録する。これにより、ＣＴ画像としてＩＴ画像と同じ画像が保持される。また今までのＣＴ画像が入れ替わりによってＯＴ画像となる。
【０１３２】
ステップＳ５０６：ＣＰＵ２４は、最大類似度ＳｉＩに対応する対象領域のスルー画像を切り出してテンプレート画像を新たに生成する。そして、ＣＰＵ２４は、新たに生成されたテンプレート画像を第２メモリ２１のＮＴ画像用の記憶領域に上書きして記録する。これにより、被写体追尾処理のときには、ＣＰＵ２４によって第２メモリ２１のＮＴ画像が更新されることとなる。
【０１３３】
ステップＳ５０７：ＣＰＵ２４は、判定フラグの示すテンプレート画像の種類をＩＴ画像に設定するとともに、判定フラグの連続適用回数の値を「０」に変更する。以上で、図１２のサブルーチンの説明を終了する。
【０１３４】
（ステップＳ１４８）
ＣＰＵ２４の被写体認識部２７は、指定された主要被写体の位置に基づいて、被写体追尾エリアの位置を再設定する。このとき、被写体認識部２７は、被写体追尾エリアのサイズを初期化して撮影画面の１／９のサイズに戻す。そして、被写体認識部２７は、主要被写体の位置が被写体追尾エリアの中央と重なるように、被写体追尾エリアを再設定する。その後、ＣＰＵはＳ１２５に移行する。
【０１３５】
（ステップＳ１４９）
ＣＰＵ２４の被写体認識部２７は、指定された主要被写体の最後の位置に応じて被写体追尾エリアを変更する。
【０１３６】
具体的には、主要被写体の最後の位置が上部の第２領域に属する場合には、被写体認識部２７は撮影画面を水平に３分割したうちの一番上の領域を被写体追尾エリアとする（図１３（ａ）参照）。また、主要被写体の最後の位置が下部の第２領域に属する場合には、被写体認識部２７は撮影画面を水平に３分割したうちの一番下の領域を被写体追尾エリアとする（図１３（ｂ）参照）。また、主要被写体の最後の位置が右部の第２領域に属する場合には、被写体認識部２７は撮影画面を垂直に３分割したうちの一番右の領域を被写体追尾エリアとする（図１３（ｃ）参照）。また、主要被写体の最後の位置が左部の第２領域に属する場合には、被写体認識部２７は撮影画面を垂直に３分割したうちの一番左の領域を被写体追尾エリアとする（図１３（ｄ）参照）。
【０１３７】
ここで、主要被写体の最後の位置が撮影画面の周辺部に属するときは、一般的にフレームアウトで主要被写体が認識できなくなった可能性が高い。そして、この場合には、主要被写体がロストした方向から再びフレームインする可能性が高いと考えられる。そのため、Ｓ１４９での被写体認識部２７は、主要被写体がロストした方向の撮影画面の端部に隣接する領域を含むように被写体追尾エリアを拡大している。これにより、主要被写体の再探索の成功確率がより向上する。
【０１３８】
（ステップＳ１５０）
ＣＰＵ２４は、スルー画像のうちで被写体認識を行う判定フレームが撮像されたか否かを判定する。判定フレームが撮像された場合（ＹＥＳ側）にはＳ１５１に移行する。一方、判定フレームが撮像されていない場合には、ＣＰＵ２４は判定フレームが撮像されるまで待機する。
【０１３９】
（ステップＳ１５１）
ＣＰＵ２４の被写体認識部２７は、スルー画像の判定フレーム（Ｓ１５０）と、ＯＴ画像とのマッチング処理を行って、最大類似度ＳｉＯを求める。なお、Ｓ１５１での処理はＳ１１７と共通するため、重複説明を省略する。
【０１４０】
（ステップＳ１５２）
ＣＰＵ２４の被写体認識部２７は、スルー画像の判定フレーム（Ｓ１５０）と、ＣＴ画像とのマッチング処理を行って、最大類似度ＳｉＣを求める。なお、Ｓ１５２での処理はＳ１１８と共通するため、重複説明を省略する。
【０１４１】
（ステップＳ１５３）
ＣＰＵ２４の被写体認識部２７は、スルー画像の判定フレーム（Ｓ１５０）と、ＮＴ画像とのマッチング処理を行って、最大類似度ＳｉＮを求める。なお、Ｓ１５３での処理はＳ１１９と共通するため、重複説明を省略する。
【０１４２】
（ステップＳ１５４）
ＣＰＵ２４の被写体認識部２７は、スルー画像の判定フレーム（Ｓ１５０）と、ＩＴ画像とのマッチング処理を行って、最大類似度ＳｉＩを求める。なお、Ｓ１５４での処理はＳ１３９と共通するため、重複説明を省略する。
【０１４３】
（ステップＳ１５５）
ＣＰＵ２４の認識状態判定部２８は、Ｓ１５１からＳ１５４で求めた最大類似度（ＳｉＯ、ＳｉＣ、ＳｉＮ、ＳｉＩ）の値のいずれかが５０％以上であるか否かを判定する。上記要件を満たす場合（ＹＥＳ側）にはＳ１４３に移行する。一方、上記要件を満たさない場合（ＮＯ側）にはＳ１５６に移行する。
【０１４４】
（ステップＳ１５６）
ＣＰＵ２４の被写体認識部２７は、主要被写体の認識に失敗してから所定の探索時間Ｔ２が経過したか否かを判定する。探索時間Ｔ２が経過した場合（ＹＥＳ側）にはＳ１４２に移行する。一方、探索時間Ｔ１が経過していない場合（ＮＯ側）にはＳ１５０に戻って、ＣＰＵ２４は上記動作を繰り返す。
【０１４５】
ここで、撮影画面の周辺部で主要被写体がロストする場合は単にフレームアウトした可能性が高い。一方で、撮影画面の中央部で主要被写体がロストする場合は、主要被写体の向きや形状が急激に変わるなど電子カメラの被写体追尾能力を超える事態が原因となることもあり、長時間の探索を行っても実効性が低い場合がある。そのため、本実施形態では、撮影画面の周辺部で主要被写体がロストしたときの探索時間Ｔ２（Ｓ１５６）は、撮影画面の中央部で主要被写体がロストしたときの探索時間Ｔ１（Ｓ１４１）よりも長く設定されている（Ｔ１＜Ｔ２）。以上で、本実施形態における電子カメラの動作例の説明を終了する。
【０１４６】
本実施形態の電子カメラでは、被写体追尾中に主要被写体の認識が失敗したと判定されたときに主要被写体を再探索する。そして、主要被写体を再認識できた場合には被写体追尾を再開する。そのため、被写体追尾の精度をより向上させることができる。
【０１４７】
特に、本実施形態の電子カメラでは、被写体追尾中に主要被写体の認識が失敗したと判定されたときに、被写体追尾エリアのサイズを拡大して主要被写体を再探索する（Ｓ１３４、Ｓ１４９）。また、本実施形態の電子カメラでは、被写体追尾中に主要被写体の認識が失敗したと判定されたときに、テンプレート画像の数を増やして主要被写体を再探索する（Ｓ１３９、Ｓ１５４）。さらに、本実施形態の電子カメラでは、被写体追尾中に主要被写体の認識が失敗したと判定されたときに、認識した主要被写体の最後の位置に応じて異なるアルゴリズムで主要被写体を再探索する（Ｓ１３４、Ｓ１４９、Ｓ１４１、Ｓ１５６）。これらの構成により、本実施形態では主要被写体を再認識できる確率が高まるので上記の効果が一層顕著となる。
【０１４８】
＜実施形態の補足事項＞
（１）上記実施形態では、テンプレート画像を用いて被写体認識を行う例を説明したが、本発明の参照データは画像のデータに限定されない。例えば、参照データとして、画像の輝度成分、色差成分、輪郭成分、コントラスト比などのパターンを示す特徴データを使用して、被写体認識部２７がマッチング処理を実行する構成であってもよい。
【０１４９】
（２）上記実施形態でのテンプレート画像の組み合わせはあくまで一例にすぎない。例えば、通常の被写体追尾のときには、電子カメラはＯＴ画像およびＣＴ画像を適用して被写体認識を行ってもよい。そして、主要被写体をロストしたときには、ＯＴ画像およびＣＴ画像に加えて、ＮＴ画像、ＩＴ画像の少なくとも一方をさらに適用して電子カメラが主要被写体を再探索してもよい。
【０１５０】
また、本発明では、撮影画面の中央部で被写体をロストしたときと、撮影画面の周辺部で被写体をロストしたときとで、再探索時に適用するテンプレート画像の数を変化させてもよい。例えば、撮影画面の周辺部で被写体をロストしたときには、ユーザーがすぐに電子カメラの構図を調整する可能性が高いので、迅速に被写体の再探索を行える方が好ましい。そのため、主要被写体の最後の位置が第１領域に属するときは、ＯＴ画像、ＣＴ画像、ＮＴ画像、ＩＴ画像の全てを適用して電子カメラが主要被写体を再探索する。一方、主要被写体の最後の位置が第２領域に属するときは、ＯＴ画像、ＣＴ画像、ＮＴ画像を適用して電子カメラが主要被写体を再探索するようにしてもよい。
【０１５１】
（３）上記実施形態では、被写体認識部２７、認識状態判定部２８、被写体追尾部２９をプログラムによってソフトウエア的に実現する例を説明したが、これらの構成をＡＳＩＣなどでハードウエア的に実現しても勿論かまわない。
【０１５２】
（４）上記実施形態で主要被写体を再探索する場合には、被写体認識部２７は被写体追尾エリアのサイズを段階的に拡大してもよい。例えば、主要被写体の最後の位置が第１領域に属するとき（Ｓ１３４）には、被写体認識部２７は全てのテンプレート画像で主要被写体の認識が失敗するたびに、被写体追尾エリアのサイズを段階的に拡大することもできる。なお、この場合には、被写体追尾エリアのサイズを拡大した上で、被写体認識部２７は同じ判定フレームに対してマッチング処理を行ってもよい。
【０１５３】
（５）上記実施形態では探索時間Ｔ２を探索時間Ｔ１よりも長く設定した例を説明した。しかし、本発明では、逆に探索時間Ｔ２を探索時間Ｔ１よりも短く設定してもよい。例えば、フレームアウトで主要被写体がロストした場合に、ユーザーが被写体の追尾を断念することも想定できるからである。なお、上記のような事情を考慮して、ＣＰＵ２４はメニュー画面に基づくユーザーの操作部材１９の操作を受け付けて、探索時間Ｔ１と探索時間Ｔ２とを自由に設定できるようにしてもよい。
【０１５４】
（６）上記実施形態のＳ１２０でＮＯ側の場合には、認識状態判定部２８は主要被写体の認識が失敗するものと判定し、Ｓ１２８からＳ１３１の各ステップを省略してもよい。
【０１５５】
（７）上記実施形態でＯＴ画像を適用して被写体追尾処理を実行する場合には、ＯＴ画像およびＣＴ画像のテンプレート画像の入れ替えを行う場合のみ、ＣＰＵ２４がＮＴ画像を生成するようにしてもよい。
【０１５６】
なお、本発明は、その精神またはその主要な特徴から逸脱することなく他の様々な形で実施することができる。そのため、上述した実施形態はあらゆる点で単なる例示に過ぎず、限定的に解釈してはならない。本発明は、特許請求の範囲によって示されるものであって、本発明は明細書本文にはなんら拘束されない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、全て本発明の範囲内である。
【符号の説明】
【０１５７】
１３…撮像素子、１８…モニタ、２１…第２メモリ、２２…振動センサ、２３…姿勢センサ、２４…ＣＰＵ、２７…被写体認識部、２８…認識状態判定部、２９…被写体追尾部
【図１】
0005246355.tif 000003
【図２】
0005246355.tif 000004
【図３】
0005246355.tif 000005
【図４】
0005246355.tif 000006
【図５】
0005246355.tif 000007
【図６】
0005246355.tif 000008
【図７】
0005246355.tif 000009
【図８】
0005246355.tif 000010
【図９】
0005246355.tif 000011
【図１０】
0005246355.tif 000012
【図１１】
0005246355.tif 000013
【図１２】
0005246355.tif 000014
【図１３】
0005246355.tif 000015