(57)【要約】【課題】撮影画角に左右されることなく、被写体の振る舞いに適した被写体追従処理を行う。【解決手段】撮像装置の移動がなく、被写体推定領域もなければ通常の追従設定を行い（ステップＳ２０３）、被写体推定領域があれば検出範囲を拡大し検出用閾値を低くする追従設定を行う（ステップＳ２０４）。また、撮像装置が移動していて、被写体推定領域がなければ通常の追従設定を行い（ステップＳ２０８）、被写体推定領域があれば、その領域がフロー（動きベクトル）を検出しない領域であるか否かを判別し、フローを検出しない領域であれば、検出範囲を拡大し、検出用閾値を通常にする追従設定を行い（ステップＳ２０７）、フローを検出した領域であれば、検出範囲を拡大し、検出用閾値を低くする追従設定を行う（ステップＳ２０４）。【選択図】図４
2010171815.tif 000002
【特許請求の範囲】
【請求項１】
撮像手段と、
前記撮像手段により撮像された画像内に被写体領域を設定する設定手段と、
前記設定手段によって被写体領域が設定された後、前記撮像手段により順次撮像される画像内で、移動する前記被写体領域を追従する追従手段と、
前記設定手段によって被写体領域が設定された後、前記順次撮像される画像の撮像画角の変化を検出する画角変化検出手段と、
前記被写体領域の移動内容と前記画角変化検出手段による検出結果とに基づいて、前記設定手段を制御する制御手段と、
を備えることを特徴とする撮像装置。
【請求項２】
前記制御手段は、前記被写体領域の移動内容と前記画角変化検出手段による検出結果とに基づいて、前記設定手段が設定すべき被写体領域の範囲を変更する範囲変更手段を含むことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記設定手段は、前記撮像手段により撮像された画像から予め用意された基準画像と所定の閾値以上で一致する画像領域を前記被写体領域と設定し、
前記制御手段は、前記被写体領域の移動内容と前記画角変化検出手段による検出結果とに基づいて、前記所定の閾値の値を変更する閾値変更手段を更に備えることを特徴とする請求項１又は２に記載の撮像装置。
【請求項４】
前記閾値変更手段は、前記被写体領域の移動内容と前記画角変化検出手段による検出結果とに基づいて、前回被写体領域として設定された画像領域の所定の閾値の値を、その他の画像領域の閾値の値よりも低くするように変更することを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記被写体領域の移動内容と前記画角変化検出手段による検出結果とに基づいて、前記追従手段が追従すべき被写体領域を複数検出したか否かを判別する判別手段と、
前記判別手段により追従すべき被写体領域を複数検出したと判別すると、これらの被写体領域のうち、直近に前記追従手段が追従した被写体領域に対応する画像領域を含む所定範囲を追従すべき被写体領域として選択する選択手段と、
を更に備えることを特徴とする請求項１乃至４の何れか１項に記載の撮像装置。
【請求項６】
前記追従手段によって追従している被写体領域が以後撮像手段により順次撮像される画像から検出されたか否かを判別する追従判別手段と、
前記追従判別手段により検出されなかったと判別すると、前記被写体領域の移動内容と前記画角変化検出手段による検出結果とに基づいて、前記撮像手段により撮像された画像内に被写体領域を再設定する再設定手段と、
を更に備えることを特徴とする請求項１乃至５の何れか１項に記載の撮像装置。
【請求項７】
前記撮像手段に対し順次撮像させ、これら撮像された画像間の動きベクトルのベクトル分布を算出する算出手段を更に備え、
前記設定手段は、前記算出手段によって算出されたベクトル分布に基づいて、前記被写体領域を設定することを特徴とする請求項１乃至６の何れか１項に記載の撮像装置。
【請求項８】
前記算出手段は、前記画角変化検出手段によって検出された画角の変化が所定範囲内であるとき、前記検出された画角の変化を加味して前記撮像された画像間の動きベクトルのベクトル分布を算出することを特徴とする請求項７に記載の撮像装置。
【請求項９】
撮像部にて撮像された画像内に被写体領域を設定する設定ステップと、
前記設定ステップにて被写体領域が設定された後、順次撮像される画像内で、移動する前記被写体領域を追従する追従ステップと、
前記設定ステップで被写体領域が設定された後、前記順次撮像される画像の撮像画角の変化を検出する画角変化検出ステップと、
前記被写体領域の移動内容と前記画角変化検出ステップでの検出結果とに基づいて、前記設定ステップでの被写体領域の設定を制御する制御ステップと、
を含むことを特徴とする被写体追従方法。
【請求項１０】
撮像装置が有するコンピュータを、
撮像された画像内に被写体領域を設定する設定手段、
前記設定手段によって被写体領域が設定された後、順次撮像される画像内で、移動する前記被写体領域を追従する追従手段、
前記設定手段によって被写体領域が設定された後、前記順次撮像される画像の撮像画角の変化を検出する画角変化検出手段、
前記被写体領域の移動内容と前記画角変化検出手段による検出結果とに基づいて、前記設定手段を制御する制御手段、
として機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、被写体追従方法、及びプログラムに関する。
【背景技術】
【０００２】
移動する被写体の位置を順次検出する機能を備えた撮像装置が知られている。例えば、テンプレートマッチング（ブロックマッチングともいう）を用いて被写体を追従させる技術がある。
【０００３】
例えば特許文献１に記載の画像監視装置は、前フレーム画像（追従させたい被写体を含む画像）から切り出されたテンプレートに類似する小画像領域を、現フレーム画像の探索範囲から探索することにより、最も類似度の高い小画像領域を検出する。そして、検出された小画像領域内に該被写体が移動したと判別する。また、新たにフレーム画像が撮像されると、該検出した小画像領域をテンプレートとして更新し、上記動作を繰り返すことにより、連続して撮像される各フレーム画像に対して、どの位置に被写体が移動しているのかを順次検出（追従）していく。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００１−０７６１５６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載の技術によれば、被写体の振る舞いに関わらず一律に同じ探索条件でブロックマッチングを行うので、例えば、フレーム画像内における被写体の振る舞いの変化が激しいときは、これに適したブロックマッチングを行うことができないという問題がある。
【０００６】
具体的には、広角撮影等、撮影画角が広い場合で被写体の動きがほとんど無い場合、不必要な演算量が増え、結果的に過剰な処理負荷を与え、望遠撮影等、撮影画角が狭い場合で被写体の動きが激しい場合、被写体が探索すべき範囲から外れる可能性が高く、結果として当該被写体を追従しきれないという問題である。
【０００７】
本発明は、上記問題点に鑑みてなされたものであり、撮影画角に左右されることなく、被写体の振る舞いに適した被写体追従処理を行うことができる撮像装置、被写体追従方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するため、本発明の第１の観点に係る撮像装置は、撮像手段と、前記撮像手段により撮像された画像内に被写体領域を設定する設定手段と、前記設定手段によって被写体領域が設定された後、前記撮像手段により順次撮像される画像内で、移動する前記被写体領域を追従する追従手段と、前記設定手段によって被写体領域が設定された後、前記順次撮像される画像の撮像画角の変化を検出する画角変化検出手段と、前記被写体領域の移動内容と前記画角変化検出手段による検出結果とに基づいて、前記設定手段を制御する制御手段と、を備えることを特徴とする。
【０００９】
また、前記制御手段は、前記被写体領域の移動内容と前記画角変化検出手段による検出結果とに基づいて、前記設定手段が設定すべき被写体領域の範囲を変更する範囲変更手段を含むようにしてもよい。
【００１０】
また、前記設定手段は、前記撮像手段により撮像された画像から予め用意された基準画像と所定の閾値以上で一致する画像領域を前記被写体領域と設定し、前記制御手段は、前記被写体領域の移動内容と前記画角変化検出手段による検出結果とに基づいて、前記所定の閾値の値を変更する閾値変更手段を更に備えるようにしてもよい。
【００１１】
また、前記閾値変更手段は、前記被写体領域の移動内容と前記画角変化検出手段による検出結果とに基づいて、前回被写体領域として設定された画像領域の所定の閾値の値を、その他の画像領域の閾値の値よりも低くするように変更するようにしてもよい。
【００１２】
また、前記被写体領域の移動内容と前記画角変化検出手段による検出結果とに基づいて、前記追従手段が追従すべき被写体領域を複数検出したか否かを判別する判別手段と、前記判別手段により追従すべき被写体領域を複数検出したと判別すると、これらの被写体領域のうち、直近に前記追従手段が追従した被写体領域に対応する画像領域を含む所定範囲を追従すべき被写体領域として選択する選択手段と、を更に備えるようにしてもよい。
【００１３】
また、前記追従手段によって追従している被写体領域が以後撮像手段により順次撮像される画像から検出されたか否かを判別する追従判別手段と、前記追従判別手段により検出されなかったと判別すると、前記被写体領域の移動内容と前記画角変化検出手段による検出結果とに基づいて、前記撮像手段により撮像された画像内に被写体領域を再設定する再設定手段と、を更に備えるようにしてもよい。
【００１４】
また、前記撮像手段に対し順次撮像させ、これら撮像された画像間の動きベクトルのベクトル分布を算出する算出手段を更に備え、前記設定手段は、前記算出手段によって算出されたベクトル分布に基づいて、前記被写体領域を設定するようにしてもよい。
【００１５】
また、前記算出手段は、前記画角変化検出手段によって検出された画角の変化が所定範囲内であるとき、前記検出された画角の変化を加味して前記撮像された画像間の動きベクトルのベクトル分布を算出するようにしてもよい。
【００１６】
本発明の第２の観点に係る被写体追従方法は、撮像部にて撮像された画像内に被写体領域を設定する設定ステップと、前記設定ステップにて被写体領域が設定された後、順次撮像される画像内で、移動する前記被写体領域を追従する追従ステップと、前記設定ステップで被写体領域が設定された後、前記順次撮像される画像の撮像画角の変化を検出する画角変化検出ステップと、前記被写体領域の移動内容と前記画角変化検出ステップでの検出結果とに基づいて、前記設定ステップでの被写体領域の設定を制御する制御ステップと、を含むことを特徴とする。
【００１７】
本発明の第３の観点に係るプログラムは、撮像装置が有するコンピュータを、撮像された画像内に被写体領域を設定する設定手段、前記設定手段によって被写体領域が設定された後、順次撮像される画像内で、移動する前記被写体領域を追従する追従手段、前記設定手段によって被写体領域が設定された後、前記順次撮像される画像の撮像画角の変化を検出する画角変化検出手段、前記被写体領域の移動内容と前記画角変化検出手段による検出結果とに基づいて、前記設定手段を制御する制御手段、として機能させることを特徴とする。
【発明の効果】
【００１８】
本発明によれば、撮影画角に左右されることなく、被写体の振る舞いに適した被写体追従処理を行うことができる。
【図面の簡単な説明】
【００１９】
【図１】本発明の実施形態に係る撮像装置の外観を示す図である。
【図２】撮像装置の概略構成を示すブロック図である。
【図３】被写体追従モードの動作を示すフローチャートである。
【図４】追従設定処理の動作を示すフローチャートである。
【図５】撮像画像の具体例を示す図である。
【図６】図５に対応するオプティカルフローを示す図である。
【図７】撮影状況に対応する追従設定の一覧を示す図である。
【発明を実施するための形態】
【００２０】
本発明の実施形態に係る撮像装置について、図面を参照しながら説明する。図１（Ａ）は、本実施の形態に係る撮像装置１の外観を示す正面図であり、図１（Ｂ）は背面図である。この撮像装置１には、前面に撮像レンズ２が設けられており、上面部にはシャッターキー３が設けられている。このシャッターキー３は、半押し操作と全押し操作とが可能ないわゆるハーフシャッター機能を備えるものである。また、背面には、ファンクションキー４、カーソルキー５、及び、表示部６が設けられている。カーソルキー５は図１（Ｂ）中のａの方向に回転可能なロータリースイッチとして機能する。表示部６は、例えば、１６：９のアスペクト比を備えるＬＣＤ（Liquid Crystal Display）からなる。
【００２１】
図２は、撮像装置１の概略構成を示すブロック図である。撮像装置１は、撮像レンズ２、キー入力部３〜５、表示部６、駆動制御部７、撮像部８、ユニット回路９、画像処理部１０、符号化／復号化処理部１１、プレビューエンジン１２、画像記録部１３、プログラムメモリ１４、ＲＡＭ（Random Access Memory）１５、制御部１６、手ぶれ検出部１７、バスライン１８から構成される。
【００２２】
制御部１６は、撮像装置１の各部を制御するワンチップマイコンである。この実施の形態の撮像装置１は、撮像装置１が撮影する画像中から被写体を検出し、その被写体を追従する。制御部１６は、その動作を実行するため、撮像装置１の各部を制御する。
【００２３】
撮像レンズ２は、詳細には複数のレンズから構成され、ズームレンズやフォーカスレンズ等を備えた光学系部材を実装するレンズユニットである。制御部１６は、撮影者のズーム操作、または、撮影者のシャッターキー３の半押し操作を検出するとＡＦ（オートフォーカス）処理を行い、駆動制御部７に駆動制御部７を制御するための制御信号を送出する。駆動制御部７は、その制御信号に基づいて、撮像レンズ２の位置を移動させる。
【００２４】
キー入力部３〜５は、シャッターキー３、ファンクションキー４、及びカーソルキー５からの操作に応じた操作信号を制御部１６に送出する。
【００２５】
撮像部８は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）等のイメージセンサからなり、上述の撮像レンズ２の光軸上に配置されている。
【００２６】
ユニット回路９は、撮像部８から出力される被写体の光学像に応じたアナログの撮像信号が入力される回路である。ユニット回路９は、入力した撮像信号を保持するＣＤＳ、ＡＥ（自動露出調整）処理等に伴いその撮像信号を増幅するゲイン調整アンプ（ＡＧＣ）、増幅された撮像信号をデジタルの撮像信号に変換するＡ／Ｄ変換器（ＡＤＣ）等から構成されている。画像処理部１０は、ユニット回路９から送出される撮像信号に各種画像処理を施す。
【００２７】
撮像部８から出力される撮像信号は、ユニット回路９を経てデジタル信号として画像処理部１０に送られる。そのデジタル信号（撮像信号）は、画像処理部１０において各種画像処理が施され、さらにプレビューエンジン１２にて縮小加工されて、表示部６に供給される。そして、供給されたデジタル信号（撮像信号）と表示部６が内蔵するドライバを駆動する駆動制御信号とが表示部６に入力されると、表示部６はこのデジタル信号（撮像信号）に基づく画像をライブビュー表示する。
【００２８】
画像記録部１３は、画像ファイルを記録する。画像記録部１３は、撮像装置１に内蔵されるメモリであってもよいし、着脱可能なメモリであってもよい。画像記録時において、画像処理部１０で処理された撮像信号は、符号化／復号化処理部１１で圧縮符号化され、ＪＰＥＧ形式等の所定のファイル形式でファイル化されて画像記録部１３に記録される。一方、画像再生時においては画像記録部１３から読み出された画像ファイルは、符号化／復号化処理部１１で復号化され表示部６に表示される。
【００２９】
プレビューエンジン１２は、上記ライブビュー表示すべき画像の生成の他、画像記録時において画像記録部１３に記録される直前の画像を表示部６に表示させる際に必要な制御を行う。
【００３０】
プログラムメモリ１４は、後述する各種フローチャートに示す処理を実行するためのプログラムを記憶する。ＲＡＭ１５は、連続撮影された画像を一時的に記憶する。手ぶれ検出部１７は、撮影者の手ぶれに起因する振動を検出し、検出結果を制御部１６に送出する。バスライン１８には、撮像装置１の各部を接続し各部間で相互にデータを伝送する。
【００３１】
続いて、撮像装置１の動作について説明する。制御部１６は、ファンクションキー４やカーソルキー５の所定の操作による撮影モードの起動の指示を検出すると、プログラムメモリ１４から図３のフローチャートに示すような被写体追従モードに係るプログラムを読み出して実行する。
【００３２】
被写体追従モードでは、先ず、撮像レンズ２を介して撮像部８に結像された画像に基づいて、所定の周期（フレーム）でユニット回路９にてデジタル信号に変換する。制御部１６は、そのデジタル信号を画像処理部１０にて画像データに加工し、その結果得られた映像（画像）をライブビュー画像として取得し、表示させる（ステップＳ１０１）。以下、このように連続したライブビュー画像を取得する周期のことをフレームといい、現時点で得られた画像を現在のフレーム画像といい、現在のフレーム画像の１フレーム前の画像を前回のフレーム画像という。
【００３３】
ライブビュー画像の表示を開始すると、制御部１６は、被写体追従処理を実行する（ステップＳ１０２）。ここで、被写体追従処理とは、前回のフレーム画像から検出された被写体のテンプレート画像に類似する小画像領域を、現フレーム画像における前回被写体を検出した領域から一定範囲を探索することにより、所定の閾値以上で類似する小画像領域を検出し、検出された小画像領域内に該被写体が移動したと判別する処理のことである。なお、最初に行われる被写体の検出はフレーム画像の全領域に対して行われる。ここで被写体とは、撮影者が撮影対象とするものであり、人物や人物の特定の部分（顔など）、動物、オブジェなど、ライブビュー画像から検出されるあらゆるものである。
【００３４】
続いて、制御部１６は、ステップＳ１０２で前回被写体を検出した領域から一定範囲において、被写体が検出されたか否かを判別する（ステップＳ１０３）。
【００３５】
ステップＳ１０３で、被写体が検出されたと判別した場合は（ステップＳ１０３；Ｙ）、ステップＳ１０８に進む。一方、被写体が検出されなかったと判別した場合は（ステップＳ１０３；N）、制御部１６は、前回のフレーム画像をブロック分割して、現在のフレーム画像から各ブロックのフロー（動きベクトル）の分布を示したオプティカルフローを算出する（ステップＳ１０４）。
【００３６】
そして、制御部１６は、ステップＳ１０４にて算出したオプティカルフローに基づき撮像装置１自体の移動（撮影画角の変化）及び被写体推定領域（被写体が存在する可能性が高い領域）を検出する（ステップＳ１０５）。具体的には、ステップＳ１０４にて算出したオプティカルフローに基づいて撮像装置１自体の移動（画像４隅の移動、背景の移動）や、ズームレンズ等の移動を検出し、更に、検出した撮像装置１のフローとは異なるフローを持った領域を被写体推定領域として検出する。
【００３７】
図４は、ステップＳ１０５における撮像装置及び被写体の移動の検出、及びステップS１０６における追従設定処理の具体的な動作を示すフローチャートである。ここでは先ず、制御部１６は、撮像装置１が移動したか（画像４隅の移動、背景の移動があったか）否かを判別する（ステップＳ２０１）。
【００３８】
撮像装置１の移動がない（画像４隅または背景からフローが検出されなかった）場合（ステップＳ２０１；Ｎｏ）、制御部１６は、被写体推定領域を検出したか否か（フローを持った領域が存在するか否か）を判別する（ステップＳ２０２）。被写体推定領域が検出されなかった場合（フローを持った領域が存在しなかった場合）は（ステップＳ２０２；Ｎｏ）、制御部１６は、通常の追従設定を行い（ステップＳ２０３）、追従設定処理を終える。
【００３９】
また、被写体推定領域が検出された場合（フローを持った領域が存在した場合）は（ステップＳ２０２；Ｙｅｓ）、通常の追従設定よりも検出範囲を拡大し、検出用閾値を低くする追従設定を行い（ステップＳ２０４）、追従設定処理を終える。ここで、検出範囲とは、テンプレート画像を用いたマッチングを行う範囲であり、前回のフレーム画像において被写体領域が検出された位置からの所定の範囲である。また、検出用閾値とは、テンプレート画像とのマッチングを判別するための閾値であり、この値よりマッチングの度合いが高い画像領域を被写体領域として検出する。これら設定値は所定の値が予め定められており、プログラムメモリ１４の所定領域などに格納される。
【００４０】
一方、撮像装置１に移動がある場合も（ステップＳ２０１；Ｙｅｓ）、制御部１６は、被写体推定領域を検出したか否か（撮像装置１の移動とは異なるフロー（動きベクトル）を持った領域、又はフロー（動きベクトル）を持たない領域が検出されたか否か）を判別する（ステップＳ２０５）。
【００４１】
被写体推定領域を検出した場合は（ステップＳ２０５；Ｙｅｓ）、制御部１６は、その被写体推定領域は、フローを持たない領域であるか否かを判別する（ステップＳ２０６）。
【００４２】
そして、検出した被写体推定領域は、フローを持たない領域であると判別された場合は（ステップＳ２０６；Ｙｅｓ）、検出範囲を拡大し、検出用閾値を通常にする追従設定を行い（ステップＳ２０７）、追従設定処理を終える。
【００４３】
一方、検出した被写体推定領域は、撮像装置１の移動とは異なるフローを持った領域であると判別された場合は（ステップＳ２０６；Ｎｏ）、検出範囲を拡大し、検出用閾値を低くする追従設定を行い（ステップＳ２０４）、追従設定処理を終える。
【００４４】
また、被写体推定領域が検出されなかった（異なるフローを持った領域が無かった）場合は（ステップＳ２０５；Ｎｏ）、通常の追従設定を行い（ステップＳ２０８）、追従設定処理を終える。
【００４５】
図５は、撮像画像の具体例を示している。図５（Ａ）は、前回のフレーム画像を示している。図５（Ｂ）〜（Ｆ）は、現在のフレーム画像を示している。また、図６（Ａ）〜（Ｅ）は、それぞれ、図５（Ｂ）〜（Ｆ）に変化したときに算出されるオプティカルフローの具体例を示した図であり、図７は算出されたオプティカルフローに対応する各撮影状況と追従設定の一覧である。
【００４６】
図５（A）から図５（Ｂ）に変化した場合は、被写体５１と木（背景）５２の位置に移動はない。よって、算出されるオプティカルフローは図６（Ａ）のようになる。つまり、撮像装置１の移動がなく、且つ被写体推定領域がない場合であり（ステップＳ２０１；Ｎｏ、ステップＳ２０２；Ｎｏ）、静止している被写体を撮像装置１が固定された状態で撮影している場合であると判別し、通常の追従設定がなされる（ステップＳ２０３）。
【００４７】
図５（A）から図５（Ｃ）に変化した場合は、被写体５１が移動しているが、木（背景）５２の位置に移動はない。よって、算出されるオプティカルフローは図６（Ｂ）のようになる。この場合、撮像装置１の移動は検出されないが、動きベクトルが分布している領域が検出され、この領域が被写体推定領域である。つまり、撮像装置１の移動がなく、且つ被写体推定領域が検出された場合であり（ステップＳ２０１；Ｎｏ、ステップＳ２０２；Ｙｅｓ）、移動している被写体を撮像装置１が固定された状態で撮影していると判別し、被写体の検出をしやすくするために、検出範囲を拡大し、閾値を低くする追従設定がなされる（ステップＳ２０４）。
【００４８】
図５（A）から図５（Ｄ）に変化した場合は、被写体５１の位置に移動はないが、木（背景）５２の位置が移動している。よって、算出されるオプティカルフローは図６（C）のようになる。この場合、撮像装置１の移動は検出されるが、動きベクトルが分布していない領域が検出され、この領域が被写体推定領域である。つまり、撮像装置１の移動があり、且つ移動を検出しない被写体推定領域が検出された場合であり（ステップＳ２０１；Ｙｅｓ、ステップＳ２０５；Ｙｅｓ、ステップＳ２０６；Ｙｅｓ）、一定方向に移動する被写体を追って撮影していると判別し、被写体の位置がずれる可能性があるので検出範囲を拡大し、被写体の向きは変更しないと考えられるため、閾値は通常の閾値が追従設定される（ステップＳ２０７）。
【００４９】
図５（A）から図５（Ｅ）に変化した場合は、被写体５１及び木（背景）５２の位置が同じ方向に、同じ量だけ移動している。よって、算出されるオプティカルフローは図６（D）のようになる。つまり、撮像装置１の移動があり、且つ被写体推定領域がない場合は（ステップＳ２０１；Ｙｅｓ、ステップＳ２０５；Ｎｏ）、静止している被写体を撮像装置１を移動させながら撮影している場合（写真の構図を決めているような場合）であると判別し、通常の追従設定がなされる（ステップＳ２０８）。
【００５０】
図５（A）から図５（Ｆ）に変化した場合は、被写体５１と木（背景）５２とが異なる方向に変化している。よって、算出されるオプティカルフローは図６（E）のようになる。この場合、検出された撮像装置１の移動とは異なる量又は方向の動きベクトルが分布している領域が検出され、この領域が被写体推定領域である。つまり、撮像装置１の移動があり、且つ被写体推定領域が検出された場合であって、被写体推定領域が他の領域と異なるフローで移動している領域の場合は（ステップＳ２０１；Ｙｅｓ、ステップＳ２０５；Ｙｅｓ、ステップＳ２０６；Nｏ）、移動している被写体を追って撮影しているが、不規則に移動する被写体を追いきれていない場合であると判別し、被写体を検出しやすくするために、検出範囲を拡大し、閾値を低くする追従設定がなされる（ステップＳ２０４）。この場合、より被写体を検出しやすくするため、検出範囲を図５（Ｃ）や（Ｄ）の場合の設定より広くしてもよい。
【００５１】
以上のような設定により、好適に被写体を検出し追従することができる。
【００５２】
追従設定処理を終えると、図３に戻り、制御部１６は、該設定された検出範囲及び検出閾値で被写体追従処理を行う（ステップＳ１０７）。
【００５３】
そしてステップＳ１０８では、制御部１６は、ステップＳ１０３又はステップＳ１０７において検出した小画像領域をフォーカスする領域として設定するとともに、この領域についてＡＦ（オートフォーカス）処理、ＡＥ（自動露出調整）処理、及び、ＡＷＢ（オートホワイトバランス）処理を含む撮像前処理を行い、検出した被写体領域に枠を付加して、フレーム画像を表示部６にライブビュー表示させる。また、該検出した被写体領域の画像を新たなテンプレート画像として更新し、上記動作を繰り返すことにより、連続して撮像される各フレーム画像に対して、どの位置に被写体が移動しているのかを順次検出（追従）していく。
【００５４】
以上のように、この実施の形態の撮像装置１によれば、撮像する画像内の被写体、及び／又は、撮像装置１（の向き）の移動を検出することで、撮影状況に適した被写体追従処理を行うことができる。
【００５５】
なお、この発明は上記実施の形態に限定されず、種々の変形及び応用が可能である。
【００５６】
例えば、図３のステップＳ１０５にて被写体推定領域として複数の領域が検出されたときは、前回のフレーム画像で被写体を検出した領域内にある、又は当該領域に近い方の領域を被写体推定領域として決定するようにしてもよい。
【００５７】
また、図３のステップＳ１０７における被写体追従処理で被写体を追従できなかった場合は、Ｓ１０５で検出された被写体推定領域における検出用閾値を低くして、再度、被写体追従処理を行うようにしてもよい。
【００５８】
また、上述したオプティカルフローは、手ぶれに起因する動きベクトルを考慮して算出するようにしてもよい。つまり、算出したオプティカルフローから手ブレ検出部１７から検出された手ぶれに起因する動きベクトルを差し引いたオプティカルフローに基づいて撮像装置の移動を検出するようにしてもよい。
【００５９】
また、撮像装置１の制御部１６が実行するプログラムはプログラムメモリ１４に予め記憶されているものとして説明したが、外部の記憶媒体から取得したものであってもよいし、ネットワークを介して伝送されたものを記憶したものであってもよい。
【符号の説明】
【００６０】
１…撮像装置、２…撮像レンズ、３…シャッターキー、４…ファンクションキー、５…カーソルキー、６…表示部、７…駆動制御部、８…撮像部、９…ユニット回路、１０…画像処理部、１１…符号化／復号化処理部、１２…プレビューエンジン、１３…画像記録部、１４…プログラムメモリ、１５…ＲＡＭ、１６…制御部、１７…手ぶれ検出部、１８…バスライン
【図１】
2010171815.tif 000003
【図２】
2010171815.tif 000004
【図３】
2010171815.tif 000005
【図４】
2010171815.tif 000006
【図５】
2010171815.tif 000007
【図６】
2010171815.tif 000008
【図７】
2010171815.tif 000009