(57)【要約】【課題】  撮像光学系の光軸に対して撮像装置の傾きが変化したときにも、追尾対象の被写体を比較的少ない負荷で精度良く追尾できる手段を提供する。【解決手段】  撮像装置は、撮像部と、メモリと、姿勢センサと、制御部と、被写体追尾部とを備える。撮像部は、撮像光学系を介して撮影画面内の被写体像を撮像する。メモリは、追尾対象の特徴を示すテンプレートを記憶する。姿勢センサは、撮像光学系の光軸を回転中心として撮影画面の傾きを検出する。制御部は、撮影画面の傾きの変化の大きさに応じて、撮影画面に対するテンプレートの回転量が大きくなるようにテンプレートの向きを調整する。被写体追尾部は、調整後のテンプレートを用いて、追尾対象の被写体を撮影画面から継続的に検出する。【選択図】  図１
2009225248.tif 000002
【特許請求の範囲】
【請求項１】
撮像光学系を介して撮影画面内の被写体像を撮像する撮像部と、
追尾対象の特徴を示すテンプレートを記憶するメモリと、
前記撮像光学系の光軸を回転中心として前記撮影画面の傾きを検出する姿勢センサと、
前記撮影画面の傾きの変化の大きさに応じて、前記撮影画面に対する前記テンプレートの回転量が大きくなるように前記テンプレートの向きを調整する制御部と、
前記調整後のテンプレートを用いて、前記追尾対象の被写体を前記撮影画面から継続的に検出する被写体追尾部と、
を備えることを特徴とする撮像装置。
【請求項２】
請求項１に記載の撮像装置において、
前記姿勢センサは、重力方向に対する前記撮像光学系の光軸の傾きを検出可能な加速度センサであることを特徴とする撮像装置。
【請求項３】
請求項１または請求項２に記載の撮像装置において、
前記制御部は、前記調整後のテンプレートを用いて前記追尾対象の被写体を検出できたときに、該検出時の前記撮像部の出力に基づいて前記テンプレートを更新することを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体の追尾機能を有する撮像装置に関する。
【背景技術】
【０００２】
従来から、動きのある主要被写体に追従してフォーカス調整や露光条件の演算などを行うために、テンプレートマッチングによる被写体追尾機能を備えた撮像装置が種々提案されている。また、回転移動を伴う２つの画像間の位置合わせのときに、各画像で注目する特徴部分を抽出するとともに、各画像の特徴部分から求めた移動ベクトル量を用いることも提案されている（一例として特許文献１参照）。
【特許文献１】特開１１−１１２８６９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
ところで、従来の撮像装置では、被写体追尾のときに光軸に対する撮像装置の傾きが変化すると、被写体追尾の精度が大きく低下しうる点で改善の余地があった。一方、各々の回転角度が異なる複数のテンプレートを用いて同一箇所でマッチングを複数回行うと、演算負荷の増大によって撮像装置の応答性が大きく損なわれてしまう。
【０００４】
そこで、本発明の目的は、撮像光学系の光軸に対して撮像装置の傾きが変化したときにも、追尾対象の被写体を比較的少ない負荷で精度良く追尾できる手段を提供することにある。
【課題を解決するための手段】
【０００５】
一の態様の撮像装置は、撮像部と、メモリと、姿勢センサと、制御部と、被写体追尾部とを備える。撮像部は、撮像光学系を介して撮影画面内の被写体像を撮像する。メモリは、追尾対象の特徴を示すテンプレートを記憶する。姿勢センサは、撮像光学系の光軸を回転中心として撮影画面の傾きを検出する。制御部は、撮影画面の傾きの変化の大きさに応じて、撮影画面に対するテンプレートの回転量が大きくなるようにテンプレートの向きを調整する。被写体追尾部は、調整後のテンプレートを用いて、追尾対象の被写体を撮影画面から継続的に検出する。
【０００６】
上記の一の態様において、姿勢センサは、重力方向に対する撮像光学系の光軸の傾きを検出可能な加速度センサであってもよい。
【０００７】
上記の一の態様において、制御部は、調整後のテンプレートを用いて追尾対象の被写体を検出できたときに、該検出時の撮像部の出力に基づいてテンプレートを更新するようにしてもよい。
【発明の効果】
【０００８】
一の態様の撮像装置は、姿勢センサが検出した撮影画面の傾きの変化に応じて、撮影画面に対するテンプレートの回転量が大きくなるようにテンプレートの向きを調整する。よって、撮像光学系の光軸に対して撮像装置の傾きが変化したときにも、追尾対象の被写体を比較的少ない負荷で精度良く追尾できる。
【発明を実施するための最良の形態】
【０００９】
＜一の実施形態の説明＞
図１は一の実施形態の電子カメラの概略構成を説明するブロック図である。一の実施形態の電子カメラは、時系列に取得される複数の画像から追尾対象の被写体を継続的に検出する被写体追尾機能を有している。一の実施形態では、任意の撮影モード（例えば子供の撮影に適したキッズモードなど）の一機能として、被写体追尾機能が電子カメラに実装される。
【００１０】
電子カメラは、撮像光学系１１と、レンズ駆動部１２と、撮像素子１３と、ＡＦＥ１４と、姿勢センサ１５と、ＣＰＵ１６と、第１メモリ１７および第２メモリ１８と、記録Ｉ／Ｆ（インターフェース）１９と、モニタ２０と、レリーズ釦２１および操作部材２２とを有している。ここで、上記の各構成部品はそれぞれ筐体２３に格納されている。また、レンズ駆動部１２、ＡＦＥ１４、姿勢センサ１５、第１メモリ１７および第２メモリ１８、記録Ｉ／Ｆ１９、モニタ２０、レリーズ釦２１および操作部材２２は、それぞれＣＰＵ１６に接続されている。
【００１１】
撮像光学系１１は、ズームレンズ、フォーカシングレンズを含む複数のレンズ群で構成されている。また、上記のフォーカシングレンズのレンズ位置は、レンズ駆動部１２によって光軸方向に調整される。なお、簡単のため、図１では撮像光学系１１を１枚のレンズとして図示する。
【００１２】
撮像素子１３は、撮像光学系１１を通過した光束に基づく撮影画面内の被写体像を光電変換してアナログの画像信号を生成する。この撮像素子１３の出力はＡＦＥ１４に接続されている。
【００１３】
ここで、電子カメラの撮影モードにおいて、撮像素子１３はレリーズ釦２１の全押し操作に応答して記録用の静止画像（本画像）を撮像する。また、撮影モードでの撮像素子１３は、撮影待機時にも所定間隔毎に観測用の画像（スルー画像）を連続的に撮像する。ここで、時系列に取得されたスルー画像のデータは、モニタ２０での動画像表示やＣＰＵ１６による各種の演算処理に使用される。
【００１４】
ＡＦＥ１４は、撮像素子１３の出力に対してアナログ信号処理を施すアナログフロントエンド回路である。このＡＦＥ１４は、相関二重サンプリングや、画像信号のゲインの調整や、画像信号のＡ／Ｄ変換を行う。そして、ＡＦＥ１４から出力される画像信号はＣＰＵ１６に入力される。
【００１５】
姿勢センサ１５は、撮像光学系１１の光軸を回転中心として撮影画面の傾きの変化を検出するセンサである。例えば、一の実施形態での姿勢センサ１５は、重力加速度（静的加速度）の計測に対応した公知の３軸加速度センサで構成される。
【００１６】
ここで、図２を参照しつつ、一の実施形態の姿勢センサ１５における３軸の向きの設定例を説明する。図２では、電子カメラが正位置で保持されている状態を前提として、電子カメラの筐体２３と姿勢センサ１５の３軸（ＸＹＺ直交座標系）とが以下の位置関係をなしている。上記の状態において、姿勢センサ１５のＺ軸方向は重力方向と一致するとともに、姿勢センサ１５のＸ軸方向およびＹ軸方向はそれぞれ重力方向に対して直交する。また、上記の状態において、姿勢センサ１５のＹ軸方向は、撮像光学系１１の光軸に対して平行となるように設定される。
【００１７】
また、姿勢センサ１５の各軸の出力は、その軸方向に重力加速度の成分が検出されないときには「０」値を示すようになっている。例えば、電子カメラが正位置で保持されている状態では、姿勢センサ１５のＸ軸、Ｙ軸の出力は「０」値となる一方で、Ｚ軸の出力は「０」以外の値を示す。一方、図２に示す「Ｏ−Ｐ」方向が重力方向に一致するように電子カメラの姿勢を変化させると、姿勢センサ１５の各軸の出力はいずれも「０」以外の値に変化を示す。なお、電子カメラを自由落下させた場合には、姿勢センサ１５の各軸の出力はいずれも「０」値を示す。
【００１８】
図３（ａ）は、Ｙ軸を回転中心として電子カメラを正位置から傾けた状態（ローリングの場合）の姿勢センサ１５の出力例を示す図である。図３（ｂ）は、Ｘ軸を回転中心として電子カメラを正位置から傾けた状態（ピッチングの場合）の姿勢センサ１５の出力例を示す図である。なお、簡単のため、図３では電子カメラの筐体２３の図示はいずれも省略する。
【００１９】
図３（ａ）に示すように、Ｙ軸を回転中心として電子カメラを正位置から傾けると、重力加速度の成分は、その回転量に応じて姿勢センサ１５のＸ軸方向とＺ軸方向とに分離されて現れる。したがって、撮像光学系１１の光軸が重力方向に対して直交する場合、ＣＰＵ１６は、姿勢センサ１５のＸ軸およびＺ軸の各出力に基づいて、撮像光学系１１の光軸を回転中心とする撮影画面の傾きを求めることができる。
【００２０】
一方、図３（ｂ）に示すように、Ｘ軸を回転中心として電子カメラを正位置から傾けると、重力加速度の成分は、その回転量に応じて姿勢センサ１５のＹ軸方向とＺ軸方向とに分離されて現れる。したがって、ＣＰＵ１６は、姿勢センサ１５のＹ軸およびＺ軸の各出力に基づいて、重力方向に対する撮像光学系１１の光軸の傾きを求めることができる。
【００２１】
ところで、実際の撮影時には、電子カメラの撮影姿勢は三次元空間において複雑な挙動で変化する。そのため、撮影画面の傾きを求める場合には、重力方向に対する撮像光学系１１の光軸の傾きを考慮することがより好ましい。
【００２２】
例えば、電子カメラを正位置から上方（または下方）にピッチングさせて、かつ撮像光学系１１の光軸を中心として電子カメラを回転させた場合を考える。上記の場合には重力加速度の成分が姿勢センサ１５のＸＹＺ各軸に分離されて現れる。このとき、姿勢センサ１５のＸ軸およびＺ軸の出力のみに着目して撮影画面の傾きを求めると、ピッチングでＹ軸方向とＺ軸方向とに分離した重力加速度の影響が考慮されないため、撮影画面の傾きの検出精度が低下する。そのため、一の実施形態でのＣＰＵ１６は、姿勢センサ１５のＸＹＺ軸のすべての出力を用いて、撮影画面の傾きを求めている。
【００２３】
一例として、電子カメラに近づくペットなどを高い視点から撮影するシーンでは、ユーザーが被写体の動きに合わせて電子カメラを動かすと、重力方向に対して撮像光学系１１の光軸の傾きが徐々に変化してゆく。しかし、上記の状況においても、ＣＰＵ１６は、姿勢センサ１５のＸＹＺ軸の出力に基づいて、撮影画面の傾きの変化を精度よく検出できる。
【００２４】
ＣＰＵ１６は、電子カメラの動作を統括的に制御するとともに、各種の画像処理を行うプロセッサである。このＣＰＵ１６は、第２メモリ１８に格納されたプログラムの実行によって、画像処理部２４、撮像条件調整部２５、テンプレート管理部２６、被写体追尾部２７として機能する。
【００２５】
画像処理部２４は、デジタルの画像信号に対して各種の画像処理（色補間処理、階調変換処理、輪郭強調処理、ホワイトバランス調整など）を施す。また、画像処理部２４は、画像の解像度変換（画素数変換）を実行する。一例として、撮影モードでの撮影待機時には、画像処理部２４は、スルー画像に解像度変換を施してモニタ表示用のビュー画像を生成する。
【００２６】
撮像条件調整部２５は、スルー画像のデータを用いて、公知のコントラスト検出によるオートフォーカス（ＡＦ）制御や、公知の自動露出（ＡＥ）演算をそれぞれ実行する。
【００２７】
テンプレート管理部２６は、入力された画像から追尾対象の物体を識別するためのテンプレートのデータを生成する。一の実施形態の電子カメラでは、人間、動物、建築物、乗物などを含むあらゆる物体を追尾対象としてテンプレートを生成することが可能である。一例として、テンプレート管理部２６は、撮影画面内に設定されているテンプレート生成範囲のスルー画像を用いてテンプレートのデータを生成する。なお、上記のテンプレートのデータには、例えば、ＹＣｂＣｒの各チャンネルのデータ（被写体の輝度情報、色差情報）が含まれる。
【００２８】
また、テンプレート管理部２６は、姿勢センサ１５の出力に基づいて、撮影画面の傾きの変化に応じてテンプレートの向きを調整する。
【００２９】
被写体追尾部２７は、上記のテンプレートを用いて、撮影画面内における追尾対象の被写体の位置を継続的に検出する。これにより、撮像条件調整部２５では、テンプレートに対応する被写体の動きに追従してＡＦ制御を行うことができる。また、ＣＰＵ１６は、テンプレートに対応する被写体の位置を示すマークをビュー画像上にオーバーレイ表示させることもできる。
【００３０】
第１メモリ１７は、ＣＰＵ１６による画像処理の前工程や後工程で画像のデータを一時的に記憶するバッファメモリである。この第１メモリ１７は揮発性の記憶媒体であるＳＤＲＡＭにより構成される。
【００３１】
第２メモリ１８は、フラッシュメモリ等の不揮発性の記憶媒体で構成される。この第２メモリ１８には、上記のテンプレートのデータや、被写体追尾処理に必要となる各種データ（例えば、追尾対象の検出位置のデータや、撮影画面の傾きのデータなど）が記憶される。なお、第２メモリ１８には、ＣＰＵ１６によって実行されるプログラムも記憶される。このプログラムによる被写体追尾処理の動作例については後述する。
【００３２】
記録Ｉ／Ｆ１９には、不揮発性の記憶媒体２８を接続するためのコネクタが形成されている。そして、記録Ｉ／Ｆ１９は、コネクタに接続された記憶媒体２８に対してデータの書き込み／読み込みを実行する。上記の記憶媒体２８は、ハードディスクや、半導体メモリを内蔵したメモリカードなどで構成される。なお、図１では記憶媒体２８の一例としてメモリカードを図示する。
【００３３】
モニタ２０は、ＣＰＵ１６の指示に応じて各種画像を表示する。例えば、撮影モードでの撮影待機時において、ＣＰＵ１６の制御によりモニタ２０には上記のビュー画像が動画表示される。このとき、ＣＰＵ１６は、撮影に必要となる各種情報をビュー画像にオーバーレイ表示させることもできる。また、ＣＰＵ１６は、各種設定を変更するためのメニュー画面をモニタ２０に表示させることもできる。
【００３４】
レリーズ釦２１は、半押し操作による撮影前のＡＦ動作開始の指示入力と、全押し操作による撮像動作開始の指示入力とをユーザーから受け付ける。
【００３５】
操作部材２２は、例えば、コマンドダイヤル、十字状のカーソルキー、決定釦などで構成される。そして、操作部材２２は電子カメラの各種入力をユーザーから受け付ける。例えば、操作部材２２は、上記のメニュー画面での入力操作や、電子カメラの動作モードの切替操作、後述する被写体追尾指示の操作などに用いられる。
【００３６】
以下、図４の流れ図を参照しつつ、一の実施形態における被写体追尾処理の動作例を説明する。この被写体追尾処理のときの電子カメラの動作は、ＣＰＵ１６が実行するプログラムによって制御される。
【００３７】
ここで、図４に示す被写体追尾処理の起動手順を説明する。まず、ＣＰＵ１６は、被写体追尾が可能である撮影モードの選択操作を受け付けると、撮像素子１３を駆動させてスルー画像の撮像を開始する。その後、スルー画像は所定間隔ごとに逐次生成されることとなる。
【００３８】
そして、ＣＰＵ１６は、スルー画像から生成されたビュー画像をモニタ２０に動画表示させる。このとき、ＣＰＵ１６は、撮影画面内でのテンプレート生成範囲を示すガイドマーク（矩形の枠表示）をビュー画像に重畳させる（図５参照）。上記の枠表示は、ＣＰＵ１６の制御によって撮影画面の中央部に白色で表示される。上記の枠表示の中に追尾対象の被写体を収めた状態でユーザーが被写体追尾指示の操作（例えば、操作部材２２の決定釦の押圧など）を実行すると、ＣＰＵ１６は以下に述べる被写体追尾処理を開始する。
【００３９】
ステップＳ１０１：撮像条件調整部２５は、撮影画面の中央部（上記の枠表示の位置）を焦点検出エリアとしてＡＦ制御を実行する。
【００４０】
なお、Ｓ１０１のＡＦ制御でフォーカスレンズの合焦位置が検出できない場合、ＣＰＵ１６は、テンプレート生成範囲（枠表示に対応する範囲）の被写体が非合焦状態である旨の表示を行うとともに、被写体追尾処理を中止する。非合焦状態の場合には、テンプレート生成範囲のスルー画像から電子カメラが適正なテンプレートを生成できないからである。
【００４１】
ステップＳ１０２：テンプレート管理部２６は、ＡＦ後に撮像されたスルー画像を用いて追尾対象のテンプレートを生成する。
【００４２】
一例として、テンプレート管理部２６は、上記のスルー画像のうちからテンプレート生成範囲の部分画像を切り出す。そして、テンプレート管理部２６は、部分画像の輝度成分を参照して追尾対象の輝度情報（Ｙ）のテンプレートを生成するとともに、部分画像の色差成分を参照して追尾対象の色差情報（Ｃｂ，Ｃｒ）のテンプレートをそれぞれ生成する。なお、上記の各テンプレートのデータは、ＣＰＵ１６によって第２メモリ１８に記録される。
【００４３】
ステップＳ１０３：ＣＰＵ１６は、テンプレートの生成に用いたスルー画像の撮像時点における姿勢センサ１５の出力に基づいて、撮像光学系１１の光軸を回転中心とする撮影画面の傾きθ1を求める。その後、ＣＰＵ１６は、撮影画面の傾きθ1のデータを第２メモリ１８に記録する。
【００４４】
ここで、Ｓ１０３でのＣＰＵ１６は、以下の式（１）によって、姿勢センサ１５のＸ軸の出力値（Ｘ），Ｙ軸の出力値（Ｙ），Ｚ軸の出力値（Ｚ）を用いて撮影画面の傾きθ1を演算する。
【００４５】
【数１】
2009225248.tif 000003
なお、Ｓ１０２およびＳ１０３の処理が終了すると、被写体追尾部２７は上記のテンプレートを用いて被写体追尾処理を開始する。このとき、ＣＰＵ１６は、被写体追尾の実行状態を示す表示（被写体追尾マーク）をモニタ２０に出力する。一例として、ＣＰＵ１６は、図５に示すガイドマークの表示色を白色から黄色に変更する。これにより、ユーザーはテンプレートの生成完了と、被写体追尾が開始されたこととをモニタ２０で確認できる。
【００４６】
ステップＳ１０４：ＣＰＵ１６は、スルー画像のうちで被写体追尾の判定を行う判定フレームが撮像されたか否かを判定する。判定フレームが撮像された場合（ＹＥＳ側）にはＳ１０５に移行する。一方、判定フレームが撮像されていない場合（ＮＯ側）には、ＣＰＵ１６は判定フレームの撮像を待機する。
【００４７】
ステップＳ１０５：ＣＰＵ１６は、判定フレーム（Ｓ１０４）の撮像時点における姿勢センサ１５の出力に基づいて、撮像光学系１１の光軸を回転中心とする撮影画面の傾きθ2を求める。なお、Ｓ１０５でのθ2の演算はＳ１０３と同様であるので重複説明を省略する。
【００４８】
ステップＳ１０６：ＣＰＵ１６は、テンプレート取得時から判定フレームの撮像時までの撮影画面の傾きの変化量Δθを求める。具体的には、ＣＰＵ１６は、Ｓ１０３で求めたθ1とＳ１０５で求めたθ2との差分をとって、撮影画面の傾きの変化量Δθを演算する（Δθ＝θ1−θ2）。
【００４９】
ステップＳ１０７：テンプレート管理部２６は、撮影画面の傾きの変化の大きさに応じて、撮影画面に対するテンプレートの回転量が大きくなるようにテンプレートの向きを調整する。なお、Ｓ１０７でのテンプレート管理部２６は、Ｙ，Ｃｂ，Ｃｒの各テンプレートの向きをいずれも同様に調整する。
【００５０】
例えば、テンプレート管理部２６は、公知の幾何学的変換処理によって、第２メモリ１８から読み出したテンプレートを変化量Δθ（Ｓ１０６）に応じて回転させる。このとき、テンプレート管理部２６は、必要に応じてテンプレートの再標本化処理および補間処理も実行する。これにより、撮影画面の傾きの変化量Δθに応じて回転補正されたテンプレートが生成される（図６参照）。
【００５１】
ステップＳ１０８：被写体追尾部２７は、判定フレーム（Ｓ１０５）に含まれる被写体と、回転補正後のテンプレート（Ｓ１０７）との類似度を求めるマッチング処理を実行する。上記のマッチング処理は、判定フレームのうちの部分領域（探索エリア）に含まれる被写体を対象として行われる。また、上記の探索エリアの位置は、例えば、前回の判定時に撮影画面上で追尾対象を検出できた位置（初回の判定のときは撮影画面の中央部）を中心として設定されるものとする（図５参照）。
【００５２】
そして、Ｓ１０８のマッチング処理では、被写体追尾部２７は、以下の（イ）から（ハ）の処理を実行する。なお、以下の各処理は、各テンプレートごとにそれぞれ行われるものとする。
【００５３】
（イ）被写体追尾部２７は、判定フレームのうちから、テンプレートとのマッチングを行う対象領域を決定する。この対象領域のサイズは、回転補正後のテンプレートと同じサイズに設定される。
【００５４】
（ロ）次に、被写体追尾部２７は、上記（イ）で設定された対象領域の画像と、回転補正後のテンプレートとでそれぞれ対応位置にある注目画素間の階調差を求める。そして、被写体追尾部２７は、上記の対象領域での類似度を以下の式（２）で求める。なお、類似度の値は、被写体追尾部２７によって第２メモリ１８に記録される。
【００５５】
【数２】
2009225248.tif 000004
ここで、式（２）において、Ｉ1はテンプレートに対応し、Ｉ2は対象領域の画像に対応する。そして、Ｉ1およびＩ2の注目画素は、テンプレートおよび対象領域の画像でそれぞれ対応位置にある画素を示す。また、式（２）では、テンプレートおよび判定フレームでの階調がともに８ｂｉｔ（０〜２５５の階調値）であることを前提とする。なお、上記の類似度の単位は％である。すなわち、上記の式（２）では、対応画素の階調差の絶対値を合計して類似度を求めている。そして、式（２）では、階調差の絶対値の総和が大きくなるほど類似度の値が小さくなる。
【００５６】
（ハ）被写体追尾部２７は、対象領域をシフトさせて上記（ロ）の処理を繰り返す。これにより、被写体追尾部２７は、判定フレームの各位置でテンプレートとの類似度をそれぞれ求める。
【００５７】
ステップＳ１０９：被写体追尾部２７は、追尾対象をロストしたか否かを判定する。具体的には、被写体追尾部２７は、マッチング処理（Ｓ１０８）で求めた類似度がいずれもロスト状態を示す判定閾値未満であるか否かを判定する。上記要件を満たす場合（ＹＥＳ側）にはＳ１１８に移行する。なお、この場合（Ｓ１０９のＹＥＳ側）には、ＣＰＵ１６は、追尾対象のロストを示すエラー表示をモニタ２０に出力するようにしてもよい。一方、上記要件を満たさない場合（ＮＯ側）にはＳ１１０に移行する。
【００５８】
ステップＳ１１０：ＣＰＵ１６は、被写体追尾処理の停止操作を受け付けたか否かを判定する。被写体追尾処理の停止操作があった場合（ＹＥＳ側）にはＳ１１８に移行する。一方、被写体追尾処理の停止操作がない場合（ＮＯ側）にはＳ１１１に移行する。
【００５９】
ステップＳ１１１：被写体追尾部２７は、Ｓ１０８で求めた類似度の最大値（最大類似度）を抽出する。そして、被写体追尾部２７は、判定フレーム内で最大類似度を示す対象領域の位置を追尾対象の位置として決定する。
【００６０】
そして、被写体追尾部２７は、この追尾対象の位置に合わせて、ビュー画像に重畳する被写体追尾マークの表示位置を更新する。その結果、モニタ２０上での枠表示の位置は追尾対象の被写体の動きに追従してシフトすることとなる。これにより、ユーザーは追尾対象の検出結果をモニタ２０で確認できる。
【００６１】
また、被写体追尾部２７は、追尾対象の検出位置（Ｓ１１１で決定したもの）を第２メモリ１８に記録する。なお、被写体追尾部２７は、追尾対象の検出を行うごとに、第２メモリ１８に記憶された追尾対象の検出位置のデータを逐次更新してゆく。
【００６２】
ステップＳ１１２：焦点調節部４１は、追尾対象の被写体の位置（Ｓ１１１）を焦点検出エリアに設定してＡＦ制御を実行する。
【００６３】
ステップＳ１１３：ＣＰＵ１６は、レリーズ釦２１が半押しされたか否かを判定する。レリーズ釦２１が半押しされた場合（ＹＥＳ側）にはＳ１１４に移行する。一方、レリーズ釦２１が半押しされていない場合（ＮＯ側）には、ＣＰＵ１６はＳ１０４に戻って上記動作を繰り返す。
【００６４】
ステップＳ１１４：ＣＰＵ１６は、被写体追尾部２７による被写体の追尾を一時停止させる。そして、撮像条件調整部２５は、被写体追尾処理で最後に検出された追尾対象の位置（第２メモリ１８に記憶されている追尾対象の検出位置）を焦点検出エリアとしてＡＦ制御を実行する。その後、撮像条件調整部２５は、本画像の撮像が行われるか、あるいはレリーズ釦２１の半押し操作が解除されるまでＡＦ制御を停止してフォーカスレンズの焦点位置を固定する。
【００６５】
なお、Ｓ１１４での撮像条件調整部２５は、追尾対象の位置を基準としてスポット測光によるＡＥ演算を実行してもよい。
【００６６】
ステップＳ１１５：ＣＰＵ１６は、レリーズ釦２１の半押しが解除されたか否かを判定する。レリーズ釦２１の半押しが解除された場合（ＹＥＳ側）には、ＣＰＵ１６はＳ１０４に戻って被写体の追尾を再開する。一方、レリーズ釦２１の半押しが継続している場合（ＮＯ側）にはＳ１１６に移行する。
【００６７】
ステップＳ１１６：ＣＰＵ１６は、レリーズ釦２１が全押しされたか否かを判定する。レリーズ釦２１が全押しされた場合（ＹＥＳ側）にはＳ１１７に移行する。一方、レリーズ釦２１が全押しされていない場合（ＮＯ側）には、ＣＰＵ１６はＳ１１５に戻って上記動作を繰り返す。
【００６８】
ステップＳ１１７：ＣＰＵ１６は、撮像素子１３を駆動させて本画像の撮像処理を実行する。本画像のデータは、ＡＦＥ１４および画像処理部２４で所定の処理が施された後に、記録Ｉ／Ｆ１９を介して記憶媒体２８に記録される。
【００６９】
ステップＳ１１８：ＣＰＵ１６は、追尾終了の処理を実行する。例えば、ＣＰＵ１６は、第２メモリ１８に記憶されている被写体追尾処理の各種データ（テンプレートのデータ、追尾対象の検出位置のデータおよび撮影画面の傾きのデータ）を初期化する。そして、ＣＰＵ１６は、ビュー画像の被写体追尾マークを消灯して一連の処理を終了する。以上で、図４の流れ図の説明を終了する。
【００７０】
以下、一の実施形態での作用効果を述べる。一の実施形態の電子カメラは、撮影画面の傾きの変化に合わせてテンプレートを回転させるとともに、回転補正後のテンプレートを適用して追尾対象の被写体を検出する（Ｓ１０７、Ｓ１０８）。したがって、図６に示すように、テンプレートの生成時点（図６のＴ１）と判定フレームの撮像時（図６のＴ２）とで撮影画面の傾きが異なる場合でも、撮影画面の傾きの変化に応じてテンプレートの向きが調整されるので、追尾対象を高い精度で検出できる。
【００７１】
＜他の実施形態の説明＞
図７は、他の実施形態における被写体追尾処理の動作例の流れ図である。ここで、図７のＳ２０１からＳ２１２の処理は、図４のＳ１０１からＳ１１２の処理にそれぞれ対応する。また、図７のＳ２１５からＳ２２０の処理は、図４のＳ１１３からＳ１１８の処理にそれぞれ対応する。そのため、他の実施形態では、上記の処理に関する重複説明は省略する。なお、他の実施形態における電子カメラの構成は、図１と共通するので重複説明は省略する。
【００７２】
ステップＳ２１３：テンプレート管理部２６は、判定フレーム（Ｓ２０４）から切り出した追尾対象の検出位置の画像を用いて追尾対象のテンプレートを更新する。このとき、テンプレート管理部２６は、すべてのテンプレート（Ｙ，Ｃｂ，Ｃｒ）を生成する。また、更新後の各テンプレートのデータは、ＣＰＵ１６によってそれぞれ第２メモリ１８に記録される。
【００７３】
ステップＳ２１４：ＣＰＵ１６は、第２メモリ１８に記憶されているθ1の値を、判定フレームの撮像時点のθ2の値（Ｓ２０５で求めたもの）に書き換える。これにより、次の判定フレームでは、テンプレート更新時からの撮影画面の傾きの変化量がＣＰＵ１６によって演算されることとなる。以上で、図７の説明を終了する。
【００７４】
他の実施形態の電子カメラでは、回転補正後のテンプレートを用いて追尾対象の検出に成功したときにテンプレートが順次更新される（Ｓ２１３）。そのため、被写体追尾処理のときに追尾対象の形状や明るさなどが緩やかに変化する場合にも、電子カメラが被写体追尾処理を精度よく行うことが可能となる。
【００７５】
＜実施形態の補足事項＞
（１）本発明の姿勢センサ１５の構成は上記実施形態の例に限定されない。例えば、撮像光学系１１の光軸に対して直交する２軸（図２のＸ軸，Ｚ軸）の出力を検出する２軸加速度センサを適用して、ＣＰＵ１６が撮影画面の傾きを求めるようにしてもよい。
【００７６】
（２）上記の一の実施形態において、電子カメラは、本画像を撮像した後（Ｓ１１７）にＳ１０４に戻って被写体追尾処理を継続してもよい。また、上記の一の実施形態において、電子カメラは、レリーズ釦２１の半押しを解除したとき（Ｓ１１５のＹＥＳ側）に被写体追尾処理を終了させてもよい。
【００７７】
（３）上記実施形態では、追尾対象の輝度情報および色差情報のテンプレートをそれぞれ生成する例を説明した。しかし、上記実施形態はあくまで一例にすぎず、本発明の撮像装置では、上記の輝度情報、色差情報のテンプレートのいずれかを選択的に生成するものでもよい。また、被写体追尾部２７は、例えば、画像のＲＧＢの階調値、画像の輪郭成分または画像のコントラスト比の情報などを用いて、スルー画像から追尾対象を検出してもよい。
【００７８】
（４）上記実施形態では、画像処理部２４、撮像条件調整部２５、テンプレート管理部２６、被写体追尾部２７の各機能をプログラムによってソフトウエア的に実現する例を説明したが、これらの一部または全部の構成をハードウエア的に実現してもよい。
【００７９】
（５）上記実施形態において、テンプレートのデータ、類似度の値のデータ、追尾対象の検出位置のデータ、撮影画面の傾きのデータは、それぞれ第１メモリ１７に記憶される構成であってもよい。
【００８０】
（６）上記実施形態では、コンパクト型の電子カメラでの構成例を説明した。しかし、本発明の撮像装置は、レンズ交換可能な一眼レフレックス型の電子カメラにも適用することが可能である。なお、本発明を一眼レフレックス型の電子カメラに適用する場合には、本画像を撮像する撮像素子１３でスルー画像を撮像してもよく、また、本画像を撮像する撮像素子１３とは別にスルー画像を撮像するための撮像素子を設けてもよい。また、本発明の撮像装置は、例えば、携帯電話などの電子機器に内蔵されるカメラモジュールに適用することも可能である。
【００８１】
（７）上記実施形態および変形例の構成はあくまで一例にすぎない。そのため、本発明の撮像装置を実施するときには、上述の実施形態および補足事項に示す構成やその処理の順序についてあらゆる組み合わせをとることができる。
【００８２】
なお、本発明は、その精神またはその主要な特徴から逸脱することなく他の様々な形で実施することができる。そのため、上述した実施形態はあらゆる点で単なる例示に過ぎず、限定的に解釈してはならない。本発明は、特許請求の範囲によって示されるものであって、本発明は明細書本文にはなんら拘束されない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、全て本発明の範囲内である。
【図面の簡単な説明】
【００８３】
【図１】一の実施形態の電子カメラの概略構成を説明するブロック図
【図２】姿勢センサにおける３軸の向きの設定例を示す図
【図３】（ａ）Ｙ軸を回転中心として電子カメラを正位置から傾けた状態の姿勢センサの出力例を示す模式図、（ｂ）Ｘ軸を回転中心として電子カメラを正位置から傾けた状態の姿勢センサの出力例を示す模式図
【図４】一の実施形態における被写体追尾処理の動作例の流れ図
【図５】ガイドマークの重畳されたビュー画像の表示例を示す図
【図６】撮影画面の傾きの変化とテンプレートの回転との関係を示す模式図
【図７】他の実施形態における被写体追尾処理の動作例の流れ図
【符号の説明】
【００８４】
１１…撮像光学系、１３…撮像素子、１５…姿勢センサ、１６…ＣＰＵ、１８…第２メモリ、２４…画像処理部、２６…テンプレート管理部、２７…被写体追尾部
【図１】
2009225248.tif 000005
【図２】
2009225248.tif 000006
【図３】
2009225248.tif 000007
【図４】
2009225248.tif 000008
【図５】
2009225248.tif 000009
【図６】
2009225248.tif 000010
【図７】
2009225248.tif 000011