(57)【要約】【課題】追尾の精度を上げるために解像度の高い画像情報が得られる撮像素子を用いながらも、被写体を追尾するための処理量が増加するという問題を解決する。【解決手段】被写体追尾装置は、撮像素子１９と、撮像素子１９からの像出力に基づいて参照画像４５を設定する参照画像設定手段３３と、参照画像４５の一部の画像を小参照画像４６として設定する小参照画像設定手段３３と、参照画像４５および小参照画像４６を用いて参照画像４５に対応する対象を追尾する追尾手段３３とを備える。【選択図】図３
2008005110.tif 000002
【特許請求の範囲】
【請求項１】
撮像素子と、
前記撮像素子からの像出力に基づいて参照画像を設定する参照画像設定手段と、
前記参照画像の一部の画像を小参照画像として設定する小参照画像設定手段と、
前記参照画像および前記小参照画像を用いて前記参照画像に対応する対象を追尾する追尾手段とを備えることを特徴とする被写体追尾装置。
【請求項２】
請求項１に記載の被写体追尾装置において、
前記追尾手段は、
前記参照画像を用いた比較におけるサンプリングピッチよりも、前記小参照画像を用いた比較におけるサンプリングピッチを小さくすることを特徴とする被写体追尾装置。
【請求項３】
請求項１または２に記載の被写体追尾装置において、
前記追尾手段は、
前記撮像素子で得られる画像における複数の部分画像と前記参照画像とを比較することによって、対象とする部分画像を選択する選択手段と、
前記対象とする部分画像の一部の画像と前記小参照画像とを比較することによって、最終的に対象とする部分画像を特定する特定手段とを含むことを特徴とする被写体追尾装置。
【請求項４】
請求項１または２に記載の被写体追尾装置において、
前記追尾手段は、
前記撮像素子で得られる画像における複数の部分画像のそれぞれに対して前記参照画像との比較と、前記小参照画像との比較とを行ない、両比較の結果に基づいて、最終的な部分画像を特定する特定手段を含むことを特徴とする被写体追尾装置。
【請求項５】
請求項３または４に記載の被写体追尾装置において、
撮影画面を複数に分割した領域に対応する像出力を分割画像データとして出力する分割手段をさらに備え、
前記追尾手段は、前記分割画像データを前記部分画像とすることを特徴とする被写体追尾装置。
【請求項６】
請求項１乃至５のいずれか一項に記載の被写体追尾装置において、
前記追尾手段は、前記撮像素子から出力される色情報を用いて前記追尾を行なうことを特徴とする被写体追尾装置。
【請求項７】
請求項６に記載の被写体追尾装置において、
前記追尾手段は、第一の色情報に基づいて前記参照画像による比較を行ない、前記第一の色情報とは異なる第二の色情報に基づいて前記小参照領域による比較を行なうことを特徴とする被写体追尾装置。
【請求項８】
請求項１乃至７のいずれか一項に記載の被写体追尾装置を備えることを特徴とするカメラ。
【請求項９】
撮像素子からの像出力に基づいて参照画像を設定し、
前記参照画像の一部の画像を小参照画像として設定し、
前記設定された参照画像および前記小参照画像を用いて前記参照画像に対応する対象を追尾することを特徴とする被写体追尾方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写界内を移動する被写体を自動的に追尾する被写体追尾装置、被写体追尾方法およびカメラに関する。
【背景技術】
【０００２】
移動被写体を撮影する際に自動的に被写体を追尾して、焦点検出や露出演算を行うカメラが知られている。従来のカメラでは、入力画像データと参照画像データとを比較して移動被写体を追尾する（たとえば、下記特許文献１）。
【特許文献１】特開平６−８３９６３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、従来のカメラでは、追尾の精度を上げるために解像度の高い画像情報が得られる撮像素子を用いた場合は情報量が増えるので、被写体を追尾するための処理量が増加するという問題がある。
【課題を解決するための手段】
【０００４】
請求項１の発明による被写体追尾装置は、撮像素子と、撮像素子からの像出力に基づいて参照画像を設定する参照画像設定手段と、参照画像の一部の画像を小参照画像として設定する小参照画像設定手段と、参照画像および小参照画像を用いて参照画像に対応する対象を追尾する追尾手段とを備えることを特徴とする。
請求項２に記載の発明は、請求項１に記載の被写体追尾装置において、追尾手段は、参照画像を用いた比較におけるサンプリングピッチよりも、小参照画像を用いた比較におけるサンプリングピッチを小さくすることを特徴とする。
請求項３に記載の発明は、請求項１または２に記載の被写体追尾装置において、追尾手段は、撮像素子で得られる画像における複数の部分画像と参照画像とを比較することによって、対象とする部分画像を選択する選択手段と、対象とする部分画像の一部の画像と小参照画像とを比較することによって、最終的に対象とする部分画像を特定する特定手段とを含むことを特徴とする。
請求項４に記載の発明は、請求項１または２に記載の被写体追尾装置において、追尾手段は、撮像素子で得られる画像における複数の部分画像のそれぞれに対して参照画像との比較と、小参照画像との比較とを行ない、両比較の結果に基づいて、最終的な部分画像を特定する特定手段を含むことを特徴とする。
請求項５に記載の発明は、請求項３または４に記載の被写体追尾装置において、撮影画面を複数に分割した領域に対応する像出力を分割画像データとして出力する分割手段をさらに備え、追尾手段は、分割画像データを部分画像とすることを特徴とする。
請求項６に記載の発明は、請求項１乃至５のいずれか一項に記載の被写体追尾装置において、追尾手段は、撮像素子から出力される色情報を用いて追尾を行なうことを特徴とする。
請求項７に記載の発明は、請求項６に記載の被写体追尾装置において、追尾手段は、第一の色情報に基づいて参照画像による比較を行ない、第一の色情報とは異なる第二の色情報に基づいて小参照領域による比較を行なうことを特徴とする。
請求項８の発明によるカメラは、請求項１乃至７のいずれか一項に記載の被写体追尾装置を備えることを特徴とする。
請求項９に記載の発明は、請求項１に記載の被写体追尾装置に対応する被写体追尾方法である。
【発明の効果】
【０００５】
本発明によれば、撮像素子からの像出力に基づいて設定された参照画像の一部の画像を小参照画像として用いるので、演算処理の負担を抑制できる。
【発明を実施するための最良の形態】
【０００６】
以下、図面を参照しながら、被写体追尾装置を備える一眼レフデジタルカメラの一実施の形態を説明する。図１に、本発明のデジタルカメラの要部構成を示す。カメラ本体１０には、撮影レンズ２１を備えるレンズ鏡筒２０が交換可能に装着されている。
【０００７】
カメラ本体１０の内部には、被写体を撮像するための第一の撮像素子１２が設けられている。第一の撮像素子１２としてＣＣＤやＣＭＯＳ等が使用される。撮影レンズ２１と第一の撮像素子１２との間には、撮影レンズ２１を通過した被写体光をファインダ光学系へと反射するクイックリターンミラー１１が配設されている。被写体光の一部はクイックリターンミラー１１の半透過領域を透過し、サブミラー１１１にて下方に反射され、位相差式ＡＦセンサモジュール１１２へ入射される。
【０００８】
位相差式ＡＦセンサモジュール１１２は、たとえば、焦点検出光束を一対の焦点検出用光像に分割して結像する焦点検出光学系と、分割された一対の光像が入射し、それに応じた焦点検出信号を出力する一対のＣＣＤラインセンサとを備える。ＣＣＤラインセンサから出力される焦点検出信号は制御部３０に入力され、後述するように、制御部３０は、焦点調節レンズを合焦位置まで駆動させるレンズ駆動信号を出力する。
【０００９】
クイックリターンミラー１１で反射された被写体光は、第一の撮像素子１２と光学的に等価な位置に設けられた焦点板１３上に結像する。焦点板１３上に結像された被写体像は、ペンタプリズム１４と接眼レンズ１５を介して撮影者により観察されるとともに、ペンタプリズム１４からプリズム１７と結像レンズ１８とを通過し、第二の撮像素子１９の受光面上に結像する。なお、不図示のレリーズボタン全押しによって撮影動作が実行される場合は、クイックリターンミラー１１が図の破線で示す位置に回動して、被写体光は第一の撮像素子１２上に結像する。
【００１０】
第二の撮像素子１９は、図２（ａ）に示すように、マトリックス状に配列された複数（図示例では２０×１４）の画素１９１を備えている。各画素１９１は、図２（ｂ）に示すように、さらに３つの細画素１９１ａ〜１９１ｃに分割されている。これら細画素１９１ａ〜１９１ｃのそれぞれに、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の３原色フィルターが設けられることにより、被写体像のＲＧＢ出力が得られる。
【００１１】
第二の撮像素子１９は、ＣＣＤ制御部３１により、撮像面に結像された被写体像に対応する信号電荷の蓄積および蓄積電荷の掃き出しを行う。Ａ／Ｄ変換回路３２は、第二の撮像素子１９から出力されたアナログ撮像信号をデジタル画像信号に変換して、制御部３０へ出力する。制御部３０はＣＰＵ、ＲＯＭ、ＲＡＭおよび各種周辺回路から構成されている。機能的には、第二の撮像素子１９で取得された画像データに基づいて追尾対象の追尾を行う追尾制御部３３と、追尾対象の適正露出を演算する露出演算部３４と、焦点検出演算を行う焦点検出演算部３５と、撮影レンズ２１の駆動量を演算するレンズ駆動量演算部３６と、後述の焦点検出領域４０を表すＡＦエリアマークの点灯／消灯（点消灯）を行う表示部３７１の点消灯制御部３７とを有する。表示部３７１は、焦点板１３近傍に配置された液晶表示板２２によってＡＦエリアマークを表示可能となっている。
【００１２】
焦点検出演算部３５は、撮影者によるエリア選択操作部３５１の操作で選択された焦点検出領域４０に対応する一対のＣＣＤラインセンサから出力される焦点検出信号に基づいて、デフォーカス量などの焦点調節状態の演算を行う。
【００１３】
図３（ａ）に示すようにこの実施の形態のカメラでは、被写界内に、たとえば７つの焦点検出領域４０ａ〜４０ｇが設けられている。この７箇所の焦点検出領域４０ａ〜４０ｇの中から１つがエリア選択操作部３５１によって選択されると、焦点検出演算部３５は選択された焦点検出領域４０に対する焦点調節状態（焦点調節量）の演算を行う。さらに、エリア選択操作部３５１は、７箇所の焦点検出領域４０ａ〜４０ｇの中のどの焦点検出領域が選択されたかを示す選択領域信号を追尾制御部３３へ出力する。焦点検出演算部３５で算出された焦点調節量はレンズ駆動量演算部３６に出力される。レンズ駆動量演算部３６では、入力した焦点調節量に基づきレンズ駆動量を演算して、レンズ駆動モータ３６１に対してレンズ駆動信号を送出する。レンズ駆動モータ３６１は、レンズ駆動信号に応じて撮影レンズ２１を光軸方向へ移動させ、これにより、焦点調節状態が調節される。
【００１４】
追尾制御部３３では、入力された選択領域信号に基づいて、第二の撮像素子１９から入力した画像データの中から追尾領域に相当する画像データを抽出し、この追尾領域の画像データに基づいて被写体追尾演算を行う。この実施の形態では、追尾演算に際して、図３（ｂ）に示すように、第二の撮像素子１９より取得した初期画像４３上において、参照画像４５と、小参照画像４６と、参照画像４５よりも範囲の広い追尾探索領域４７とを設定する。参照画像４５は、選択領域信号により認識した焦点検出領域４０ｂを中心として、たとえば、４×４画素などの所定のサイズで設定される。小参照画像４６は、参照画像４５の中心部分の画素、たとえば２×２画素などのサイズで設定される。追尾探索領域４７は、参照画像４５を中心として上下左右に、たとえば３画素ずつ拡大した範囲で設定される。参照画像４５および小参照画像４６が設定されると、これらの各領域は記憶部３８に記憶される。なお、参照画像４５の大きさはデフォルトで設定されるものとし、撮影者による大きさの設定操作は行わないものとする。
【００１５】
第二の撮像素子１９にて時系列的に続けて取得した次画像４４（図３（ｃ））において、追尾探索領域４７の領域内で参照画像４５と同じ大きさの部分画像４８を作成する。追尾探索領域４７内で部分画像４８を、図３（ｃ）に示すように、たとえば上下左右に１画素ずつずらしながら画像の比較を行なう。すなわち、部分画像４８内の各画素におけるＲ（赤）、Ｇ（緑）、Ｂ（青）の各色と、参照画像４５内の各画素におけるＲ（赤）、Ｇ（緑）、Ｂ（青）の各色との差分をそれぞれ計算する。３つの色の差分の合計値が所定の閾値以下の部分画像４８を、追尾対象が存在する可能性の高い領域として推定し、図４（ａ）に示すように、推定被写体領域４９ａ〜ｃとして設定する。
【００１６】
推定被写体領域４９ａ〜ｃのそれぞれについて、図４（ｂ）に示すように、中心部に存在する小参照画像４６と同じ大きさの小部分画像５０ａ〜ｃを設定する。そして、小参照画像４６の色相と小部分画像５０ａ〜ｃの色相とを画素ごとに比較する。すなわち、各画素についてそれぞれＲ／ＧとＢ／Ｇを算出し、小参照画像４６の各画素のＲ／ＧおよびＢ／Ｇと、小部分画像５０ａ〜ｃにおける各画素のＲ／ＧおよびＢ／Ｇとの差分をそれぞれ計算する。計算の結果、差分の値が最小の小部分画像５０ｂを含む推定被写体領域４９ｂを、図４（ｃ）に示すように、追尾対象が存在する被写体領域５１として特定する。さらに、被写体領域５１を中心として上下左右に、３画素ずつ拡大した範囲で被写体探索領域４７ｂを新たに設定する。
【００１７】
追尾制御部３３は、被写体領域５１の範囲および被写体領域５１の中央位置の座標を焦点検出演算部３５および露出演算部３４へ出力する。焦点検出演算部３５は、入力した被写体領域５１の座標に基づき、図４（ｄ）に示すように、被写体領域５１の中心に最も近い焦点検出領域４０ｃに追尾対象が存在するものとみなし、焦点検出領域４０ｃに対応する一対のＣＣＤラインセンサから出力される焦点検出信号を用いて焦点調節状態を演算する。焦点検出演算部３５は、焦点検出領域４０ｃを示す選択領域信号を追尾制御部３３を介して点消灯制御部３７へ出力する。これにより、表示部３７１は、焦点検出領域４０ｃのＡＦエリアマークを点灯する。
【００１８】
露出演算部３４は、第二の撮像素子１９からの画像データのうち、被写体領域５１の中央部に対応する画像データに基づいて適正露出を演算して、演算結果を絞り駆動部３４１とシャッタ駆動部３４２とへ出力する。すなわち、追尾領域の中央部に対応する領域に主たる重みを置いて露出演算している。
【００１９】
なお、複数の焦点検出領域４０が被写体領域５１の中心から等距離に位置している場合には、それ以前に取得した時系列的な画像における被写体の移動方向、すなわち、移動履歴に基づいて、被写体の移動が予測される方向に位置する焦点検出領域４０を選択する。
【００２０】
以下で、図５に示すフローチャートを用いて、被写体追尾制御動作の各処理について説明する。なお、このフローチャートに示す各処理は、制御部３０によりプログラムを実行して行われる。また、このフローチャートは不図示のレリーズスイッチの半押し操作により開始される。
ステップＳ１では、撮影者により設定された焦点検出領域４０に対して焦点検出演算部３５で演算された焦点検出演算結果に基づいて、撮影レンズ２１を駆動して焦点調節を行い、ステップＳ２へ進む。ステップＳ２では、第二の撮像素子１９からの画像を取得してステップＳ３へ進む。
【００２１】
ステップＳ３においては、ステップＳ１で設定された焦点検出領域４０に基づいて前述のように参照画像４５および小参照画像４６を設定し、ステップＳ４へ進む。ステップＳ４において、ステップＳ３で設定された参照画像４５および小参照画像４６を記憶部３８に記憶して、ステップＳ５へ進む。
【００２２】
ステップＳ５において、ステップＳ３で設定された参照画像４５に基づいて、前述のように追尾探索領域４７を設定して、ステップＳ６へ進む。ステップＳ６においては、焦点検出演算を行った焦点検出領域に対応する画像データに基づいて露出演算を行い、ステップＳ７へ進む。ステップＳ７では、撮影者により不図示のレリーズスイッチが全押しされたか否かを判定する。ステップＳ７が肯定された場合、すなわち、ステップＳ７において、レリーズスイッチが全押しされたと判定された場合は、ステップＳ１６へ進む。ステップＳ７が否定された場合、すなわち、ステップＳ７において、レリーズスイッチが全押しされていないと判定された場合は、ステップＳ８へ進む。
【００２３】
ステップＳ８では、第二の撮像素子１９から次画像（新たな画像）を取得し、ステップＳ９へ進む。ステップＳ９では、前述のように、参照画像４５と部分画像４８との比較を行ないステップＳ１０へ進む。ステップＳ１０において、ステップＳ９における比較結果に基づいて、少なくとも１つの推定被写体領域４９を決定してステップＳ１１へ進む。
【００２４】
ステップＳ１１において、前述のように小参照画像４６と小部分画像５０との比較を行いステップＳ１２へ進む。ステップＳ１２において、ステップＳ１１における比較結果に基づいて被写体領域５１を特定し、その座標位置を焦点検出演算部３５および露出演算部３４へ出力して、ステップＳ１３へ進む。ステップＳ１３において、ステップＳ１２で特定された被写体領域５１を中心として、新たな追尾探索領域４７を設定してステップＳ１４へ進む。
【００２５】
ステップＳ１４では、ステップＳ１１で特定した被写体領域５１の中央に最も近い焦点検出領域４０を示す選択領域信号を焦点検出演算部３５へ出力し、この焦点検出領域に対する焦点調節量の演算を行いステップＳ１５へ進む。ステップＳ１５では、ステップＳ１４で新たに設定された焦点検出領域４０に対応する画像データに基づいて露出演算を行い、ステップＳ７へ戻る。
【００２６】
ステップＳ７においてレリーズスイッチが全押しされたと判定すると、ステップＳ１６へ進んで、前述したように撮影動作を行う。撮影が行われることにより本フローチャートに示す一連の処理が終了する。
【００２７】
以上で説明した実施の形態によるデジタルカメラによれば、以下の作用効果が得られる。
（１）第二の撮像素子１９からの像出力に基づいて、撮影者により選択された焦点検出領域４０に相当する位置を中心とした所定範囲を参照画像４５として設定し、参照画像４５の中心部分である一部の画像を小参照画像４６として設定し、参照画像４５と小参照画像４６とを用いて対象の追尾を行なうようにした。したがって、広い範囲の追尾領域を用いる場合と比べて、追尾対象の背景情報による影響を制限できるので追尾演算の信頼性を向上させることができる。
【００２８】
（２）参照画像４５と部分画像４８とを比較することにより、参照画像４５と類似した画像である推定被写体領域４９を選択し、推定被写体領域４９内の小部分画像５０と小参照画像４６とを比較することにより、最終的に追尾対象とする部分画像を被写体領域５１として特定するようにした。したがって、追尾対象の背景情報による影響を受けず、かつ少ない情報処理量で追尾演算を行なうことができるので、追尾演算の信頼性を維持しつつ、演算処理の負担を抑制することができる。
【００２９】
（３）参照画像４５と部分画像４８との比較は、第二の撮像素子１９から出力されるＲ、Ｇ、Ｂの差分を計算することにより行い、小参照画像４６と小部分画像５０との比較は、色相に基づいて行なうようにした。したがって、参照画像４５による比較に用いる色情報とは異なる色情報を用いて参照画像４６による比較を行なうので、追尾演算の精度を向上させることができる。
【００３０】
以上で説明した実施の形態を以下のように変形することができる。
（１）初期設定画面で設定した参照画像４５に対応する画像データを常に次画像以降の部分画像４８の比較対象としたが、新たに検出した被写体領域５１、すなわち再設定した追尾領域に対応する画像データを次画像に対する参照画像４５として設定し直してもよい。もしくは、初期設定画面で設定した参照画像４５におけるＲ（赤）、Ｇ（緑）、Ｂ（青）の各色の色情報と、被写体領域５１におけるＲ（赤）、Ｇ（緑）、Ｂ（青）の各色の色情報とを合成して、新たな参照画像４５を作成してもよい。ただし、この場合は、初期設定画面で設定した参照画像４５の色情報の割合を多く配分する。たとえば、初期設定画面で設定した参照画像４５の色情報を８０パーセントとし、被写体領域５１の色情報を２０パーセントとした割合で合成する。
【００３１】
（２）参照画像４５と部分画像４８の比較に関して、画素ごとにＲ、Ｇ、Ｂの差分を計算するものに代えて、参照画像４５内の全画素と部分画像４８内の全画素の平均輝度や色相情報を用いて比較するものでもよい。この場合も、小参照画像４６と小部分画像５０との比較は画素ごとに行なう。すなわち、参照画像４５による比較におけるサンプリングピッチよりも、小参照画像４６による比較におけるサンプリングピッチを小さくするものであれば比較する情報は問わない。
【００３２】
（３）参照画像４５と部分画像４８との比較においては第二の撮像素子１９から出力されるＲＧＢの差分を演算し、小参照画像４６と小部分画像５０との比較においては色相に基づいて演算を行なうものとしたが、ＲＧＢの差分や色相に限らず、輝度など第二の撮像素子１９から出力される色情報に基づくものであればいずれを用いてもよい。
【００３３】
（４）参照画像４５と部分画像４８の比較結果に基づいて推定被写体領域４９を設定した後、小参照画像４６と小部分画像５０の比較結果に基づいて被写体領域５１を特定するものとして説明した。しかし、参照画像４５と複数の部分画像４８のそれぞれとの比較結果と、小参照画像４６と複数の部分画像４８内の小部分画像５０のそれぞれとの比較結果とに基づいて、被写体領域５１を特定してもよい。
【００３４】
（５）追尾探索領域４７の範囲において部分画像４８を１画素ずつずらしながら参照画像４５と比較を行なうものとしたが、追尾探索領域４７を予め所定の画素数で分割した分割領域を部分画像４８として参照画像４５と比較してもよい。
【００３５】
（６）第二の撮像素子１９で取得された画像データを所定の画像サイズ（単位）に分割して、この分割された領域からの像出力を１つの画素からの像出力とみなして、上述の追尾処理を行なうようにしてもよい。
【００３６】
（７）撮影者の操作により追尾対象となる被写体を指定するものに代えて、被写体を認識する機能を備えるカメラであれば、被写体の認識結果に基づいて追尾対象となる被写体を設定して上述の追尾処理を開始するようにしてもよい。
【００３７】
（８）撮影レンズが交換可能な一眼レフデジタルカメラとして説明したが、本発明はこれに限定されるものではなく、レンズ一体型カメラやビデオカメラに適用してもよい。
【００３８】
また、本発明の特徴を損なわない限り、本発明は上記実施の形態に限定されるものではなく、本発明の技術的思想の範囲内で考えられるその他の形態についても、本発明の範囲内に含まれる。
【図面の簡単な説明】
【００３９】
【図１】本発明の実施の形態におけるデジタルカメラの要部構成を説明する図である。
【図２】撮像素子の画素構成を説明する図である。
【図３】実施の形態における被写体追尾制御に用いる各種領域を概念的に説明する図である。
【図４】実施の形態における追尾方法を説明する図である。
【図５】実施の形態における被写体追尾処理の動作を説明するフローチャートである。
【符号の説明】
【００４０】
１９  第二の撮像素子          ３３  被写体追尾制御部
４５  参照画像                ４６  小参照画像
４７  追尾探索領域            ４８  部分画像
４９  推定被写体領域          ５０  小部分画像
５１  被写体領域
【図１】
2008005110.tif 000003
【図２】
2008005110.tif 000004
【図３】
2008005110.tif 000005
【図４】
2008005110.tif 000006
【図５】
2008005110.tif 000007