(57)【要約】【課題】  主要被写体領域の抽出を継続的に行う際に、抽出の精度や安定性を維持しつつ処理負荷を軽減すること。【解決手段】  時間的に連続して生成された複数の画像データを順次取得する取得部と、取得部により取得した画像データにより示される画像の特徴量を算出し、特徴量に基づいて被写体領域を検出する領域検出部と、領域検出部により被写体領域を検出すると、検出した被写体領域を追尾対象として、追尾対象を複数の画像から検出する追尾部とを備える。【選択図】    図１
2014232418.tif 000002
【特許請求の範囲】
【請求項１】
時間的に連続して生成された複数の画像データを順次取得する取得部と、
前記取得部により取得した前記画像データにより示される画像の特徴量を算出し、前記特徴量に基づいて被写体領域を検出する領域検出部と、
前記領域検出部により前記被写体領域を検出すると、検出した前記被写体領域を追尾対象として、前記追尾対象を複数の前記画像から検出する追尾部と
を備えることを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記領域検出部は、前記特徴量に基づいてマスク抽出を行うことにより前記被写体領域を検出する
ことを特徴とする画像処理装置。
【請求項３】
請求項１または請求項２に記載の画像処理装置において、
前記追尾部は、前記領域検出部により検出した前記被写体領域に基づいて、マッチング処理を実行することにより、前記追尾対象を検出する
ことを特徴とする画像処理装置。
【請求項４】
請求項１または請求項２に記載の画像処理装置において、
前記追尾部は、前記領域検出部により検出した前記被写体領域に関する動きベクトルを抽出し、抽出した前記動きベクトルに基づいて、前記追尾対象を検出する
ことを特徴とする画像処理装置。
【請求項５】
請求項２に記載の画像処理装置において、
前記追尾部は、前記領域検出部による前記マスク抽出よりも抽出条件の緩い第２マスク抽出処理を行うことにより、前記追尾対象を検出する
ことを特徴とする画像処理装置。
【請求項６】
請求項２に記載の画像処理装置において、
前記追尾部は、前回の追尾時の前記追尾対象を継続的に検出する第１のモードと、前記領域検出部により新たに検出した前記被写体領域を追尾対象として検出する第２のモードとの少なくとも２つの追尾モードを切り替え可能に有する
ことを特徴とする画像処理装置。
【請求項７】
請求項６に記載の画像処理装置において、
前記領域検出部による検出の結果と、前記追尾部による追尾の結果と、前記追尾部による追尾の経過時間との少なくとも１つに基づいて、前記追尾モードを決定する制御部をさらに備える
ことを特徴とする画像処理装置。
【請求項８】
請求項７に記載の画像処理装置において、
前記制御部は、前記第１のモード実行中に、前記追尾部により前記追尾対象を検出できない場合には、前記第２のモードに切り替える
ことを特徴とする画像処理装置。
【請求項９】
請求項７に記載の画像処理装置において、
前記追尾部は、前記領域検出部により検出した前記被写体領域に基づいて、マッチング処理を実行することにより、前記追尾対象を検出し、
前記制御部は、前記第１のモード実行中に、前記マッチング処理における類似度が所定の閾値を下回った場合には、前記第２のモードに切り替える
ことを特徴とする画像処理装置。
【請求項１０】
請求項７に記載の画像処理装置において、
前記制御部は、前記第１のモード実行中に、前記追尾部により検出した前記追尾対象の評価値を算出し、算出した前記評価値と、過去に検出した所定の前記追尾対象の評価値との変化量に基づいて、前記追尾モードを決定する
ことを特徴とする画像処理装置。
【請求項１１】
請求項１０に記載の画像処理装置において、
前記制御部は、前記評価値として、前記追尾部により検出した前記追尾対象の位置を示す値と、前記追尾対象の大きさを示す値と、前記追尾対象の明るさを示す値と、前記追尾対象の色を示す値と、前記追尾対象の形状を示す値との少なくとも１つを算出し、前記評価値の前記変化量が所定の閾値を上回った場合には、前記第２のモードに切り替える
ことを特徴とする画像処理装置。
【請求項１２】
請求項７に記載の画像処理装置において、
前記制御部は、前記追尾部による追尾を、前記第１のモードにより所定回数実行するたびに、前記第２のモードにより少なくとも1回実行する
ことを特徴とする画像処理装置。
【請求項１３】
光学系による像を撮像して画像データを生成する撮像部と、
時間的に連続して生成された複数の画像データを前記撮像部から順次取得する取得部と、
前記取得部により取得した画像データにより示される特徴量を算出し、前記特徴量に基づいて被写体領域を検出する領域検出部と、
前記領域検出部により前記被写体領域を検出すると、検出した前記被写体領域を追尾対象として、前記追尾対象を複数の前記画像から検出する追尾部と
を備えることを特徴とする撮像装置。
【請求項１４】
コンピュータに、
時間的に連続して生成された複数の画像データを順次取得する取得手順と、
前記取得手順において取得した画像データにより示される特徴量を算出し、前記特徴量に基づいて被写体領域を検出する領域検出手順と、
前記領域検出部により前記被写体領域を検出すると、検出した前記被写体領域を追尾対象として、前記追尾対象を複数の前記画像から検出する追尾手順と
を実行させるための画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、撮像装置、および画像処理プログラムに関する。
【背景技術】
【０００２】
従来、被写体抽出に関する様々な技術が考えられている。例えば、特許文献１の発明では、被写体形状の変化量に応じてＡＦ測距枠を変形することにより、被写体がカメラ方向に移動する場合でも、被写体に対して最適に自動焦点調節する撮像装置が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−０６９７４８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１に開示された撮像装置は、被写体形状の変化量に応じてＡＦ測距枠を変形するため、被写体がカメラ方向に移動する場合に良好な効果を得ることができる。しかし、精度に応じて処理負荷も増大するという問題がある。
【０００５】
本発明は、前記の点に鑑みてなされたものであり、主要被写体領域の抽出を継続的に行う際に、抽出の精度や安定性を維持しつつ処理負荷を軽減することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の画像処理装置は、時間的に連続して生成された複数の画像データを順次取得する取得部と、前記取得部により取得した前記画像データにより示される画像の特徴量を算出し、前記特徴量に基づいて被写体領域を検出する領域検出部と、前記領域検出部により前記被写体領域を検出すると、検出した前記被写体領域を追尾対象として、前記追尾対象を複数の前記画像から検出する追尾部とを備える。
【０００７】
なお、前記領域検出部は、前記特徴量に基づいてマスク抽出を行うことにより前記被写体領域を検出しても良い。
【０００８】
また、前記追尾部は、前記領域検出部により検出した前記被写体領域に基づいて、マッチング処理を実行することにより、前記追尾対象を検出しても良い。
【０００９】
また、前記追尾部は、前記領域検出部により検出した前記被写体領域に関する動きベクトルを抽出し、抽出した前記動きベクトルに基づいて、前記追尾対象を検出しても良い。
【００１０】
また、前記追尾部は、前記領域検出部による前記マスク抽出よりも抽出条件の緩い第２マスク抽出処理を行うことにより、前記追尾対象を検出しても良い。
【００１１】
また、前記追尾部は、前回の追尾時の前記追尾対象を継続的に検出する第１のモードと、前記領域検出部により新たに検出した前記被写体領域を追尾対象として検出する第２のモードとの少なくとも２つの追尾モードを切り替え可能に有しても良い。
【００１２】
また、前記領域検出部による検出の結果と、前記追尾部による追尾の結果と、前記追尾部による追尾の経過時間との少なくとも１つに基づいて、前記追尾モードを決定する制御部をさらに備えても良い。
【００１３】
また、前記制御部は、前記第１のモード実行中に、前記追尾部により前記追尾対象を検出できない場合には、前記第２のモードに切り替えても良い。
【００１４】
また、前記追尾部は、前記領域検出部により検出した前記被写体領域に基づいて、マッチング処理を実行することにより、前記追尾対象を検出し、前記制御部は、前記第１のモード実行中に、前記マッチング処理における類似度が所定の閾値を下回った場合には、前記第２のモードに切り替えても良い。
【００１５】
また、前記制御部は、前記第１のモード実行中に、前記追尾部により検出した前記追尾対象の評価値を算出し、算出した前記評価値と、過去に検出した所定の前記追尾対象の評価値との変化量に基づいて、前記追尾モードを決定しても良い。
【００１６】
また、前記制御部は、前記評価値として、前記追尾部により検出した前記追尾対象の位置を示す値と、前記追尾対象の大きさを示す値と、前記追尾対象の明るさを示す値と、前記追尾対象の色を示す値と、前記追尾対象の形状を示す値との少なくとも１つを算出し、前記評価値の前記変化量が所定の閾値を上回った場合には、前記第２のモードに切り替えても良い。
【００１７】
また、前記制御部は、前記追尾部による追尾を、前記第１のモードにより所定回数実行するたびに、前記第２のモードにより少なくとも1回実行しても良い。
【００１８】
本発明の撮像装置は、光学系による像を撮像して画像データを生成する撮像部と、時間的に連続して生成された複数の画像データを前記撮像部から順次取得する取得部と、前記取得部により取得した画像データにより示される特徴量を算出し、前記特徴量に基づいて被写体領域を検出する領域検出部と、前記領域検出部により前記被写体領域を検出すると、検出した前記被写体領域を追尾対象として、前記追尾対象を複数の前記画像から検出する追尾部とを備える。
【００１９】
本発明の画像処理プログラムは、コンピュータに、時間的に連続して生成された複数の画像データを順次取得する取得手順と、前記取得手順において取得した画像データにより示される特徴量を算出し、前記特徴量に基づいて被写体領域を検出する領域検出手順と、前記領域検出部により前記被写体領域を検出すると、検出した前記被写体領域を追尾対象として、前記追尾対象を複数の前記画像から検出する追尾手順とを実行させる。
【発明の効果】
【００２０】
本発明によれば、主要被写体領域の抽出を継続的に行う際に、抽出の精度や安定性を維持しつつ処理負荷を軽減することができる。
【図面の簡単な説明】
【００２１】
【図１】レンズ鏡筒１０と、撮像装置２０と、記憶媒体４０との構成を示すブロック図である。
【図２】自動検出モード実行時のＣＰＵ２６の動作を示すフローチャートである。
【図３】自動検出モード実行時のＣＰＵ２６の動作を示す別のフローチャートである。
【図４】自動検出モード実行時のＣＰＵ２６の動作を示す別のフローチャートである。
【図５】自動検出モード実行時のＣＰＵ２６の動作を示す別のフローチャートである。
【発明を実施するための形態】
【００２２】
＜第１実施形態＞
以下、第１実施形態について図面を参照して詳細に説明する。
【００２３】
第１実施形態では、図１に示すようなレンズ鏡筒１０と、撮像装置２０と、記録媒体４０とからなる装置を例に挙げて説明する。
【００２４】
撮像装置２０は、レンズ鏡筒１０から入射される光学像を撮像する。得られた画像は静止画又は動画の画像として、記憶媒体４０に記憶される。
【００２５】
レンズ鏡筒１０は、焦点調整レンズ（以下、「ＡＦ（Ａｕｔｏ  Ｆｏｃｕｓ）レンズ」と称する）１１と、レンズ駆動部１２と、ＡＦエンコーダ１３と、鏡筒制御部１４とを備える。なお、レンズ鏡筒１０は、撮像装置２０に着脱可能に接続されても良いし、撮像装置２０と一体であっても良い。
【００２６】
撮像装置２０は、撮像部２１と、画像処理装置２２と、表示部２３と、バッファメモリ部２４と、記憶部２５と、ＣＰＵ２６と、操作部２７と、通信部２８とを備える。撮像部２１は、撮像素子２９と、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換部３０とを備える。撮像部２１は、設定された撮像条件（例えば絞り値、露出値等）に従って、ＣＰＵ２６により制御される。
【００２７】
レンズ鏡筒１０において、ＡＦレンズ１１は、レンズ駆動部１２により駆動され、撮像装置２０の撮像素子２９の受光面（光電変換面）に、光学像を導く。ＡＦエンコーダ１３は、ＡＦレンズ１１の移動を検出し、ＡＦレンズ１１の移動量に応じた信号を、鏡筒制御部１４に出力する。ここで、ＡＦレンズ１１の移動量に応じた信号とは、例えば、ＡＦレンズ１１の移動量に応じて位相が変化するサイン（ｓｉｎ）波信号であってもよい。
【００２８】
鏡筒制御部１４は、撮像装置２０のＣＰＵ２６から入力される駆動制御信号に応じて、レンズ駆動部１２を制御する。ここで、駆動制御信号とは、ＡＦレンズ１１を光軸方向に駆動させる制御信号である。鏡筒制御部１４は、駆動制御信号に応じて、例えば、レンズ駆動部１２に出力するパルス電圧のステップ数を変更する。また、鏡筒制御部１４は、ＡＦレンズ１１の移動量に応じた信号に基づいて、レンズ鏡筒１０におけるＡＦレンズ１１の位置（フォーカスポジション）を、撮像装置２０のＣＰＵ２６に出力する。ここで、鏡筒制御部１４は、例えば、ＡＦレンズ１１の移動量に応じた信号を、ＡＦレンズ１１の移動方向に応じて積算することで、レンズ鏡筒１０におけるＡＦレンズ１１の移動量（位置）を算出してもよい。レンズ駆動部１２は、鏡筒制御部１４の制御に応じてＡＦレンズ１１を駆動し、ＡＦレンズ１１をレンズ鏡筒１０内で光軸方向に移動させる。
【００２９】
撮像装置２０において、撮像素子２９は、光電変換面を備え、レンズ鏡筒１０（光学系）により光電変換面に結像された光学像を電気信号に変換して、Ａ／Ｄ変換部３０に出力する。撮像素子２９は、例えば、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの光電変換素子で構成される。また、撮像素子２９は、光電変換面の一部の領域について、光学像を電気信号に変換するようにしてもよい（画像切り出し）。また、撮像素子２９は、操作部２７を介してユーザからの撮影指示を受け付けた際に得られる画像を、Ａ／Ｄ変換部３０および通信部２８を介して記憶媒体４０に出力する。一方、撮像素子２９は、操作部２７を介してユーザからの撮影指示を受け付ける前の状態において、連続的に得られる画像をスルー画像として、バッファメモリ部２４及び表示部２３に、Ａ／Ｄ変換部３０を介して出力する。
【００３０】
Ａ／Ｄ変換部３０は、撮像素子２９によって変換された電気信号をデジタル化して、デジタル信号である画像をバッファメモリ部２４等に出力する。
【００３１】
画像処理装置２２は、記憶部２５に記憶されている画像処理条件に基づいて、バッファメモリ部２４に一時的に記憶されている画像に対する画像処理を行う。そして、画像処理後の画像は、通信部２８を介して記憶媒体４０に記憶される。また、画像処理装置２２は、バッファメモリ部２４に一時的に記憶されている画像に対して、マスク抽出処理を行う（詳細は後述する）。そして、抽出したマスクに関する情報は、ＣＰＵ２６に出力されるとともに、記憶部２５や記憶媒体４０等に記憶される。
【００３２】
表示部２３は、例えば液晶ディスプレイであって、撮像部２１によって生成された画像、及び操作画面等を表示する。バッファメモリ部２４は、撮像部２１によって生成された画像を一時的に記憶する。記憶部２５は、撮像条件や、各種判定の際にＣＰＵ２６によって参照される判定条件などを記憶する。
【００３３】
ＣＰＵ２６は、画像処理部２２や記憶部２５などから適宜必要な情報を取得し、取得した情報に基づいて、撮像装置２０内の各部を統括的に制御する。ＣＰＵ２６による制御には、焦点調整（ＡＦ）の設定、露出調整（ＡＥ）の設定、ホワイトバランス調整（ＡＷＢ）の設定、閃光の発光量の変更の設定、被写体追尾の設定、各種撮影モードの設定、各種画像処理の設定、各種表示の設定、ズーム倍率に連動した明るさの最適化の設定などが含まれる。また、ＣＰＵ２６は、操作部２７の操作状態を監視するとともに、表示部２３への画像データの出力を行う。
【００３４】
操作部２７は、例えば、電源スイッチ、シャッタボタン、マルチセレクタ（十字キー）、又はその他の操作キーを備え、ユーザによって操作されることでユーザの操作入力を受け付け、操作入力に応じた信号をＣＰＵ２６に出力する。
【００３５】
通信部２８は、カードメモリ等の取り外しが可能な記憶媒体４０と接続され、この記憶媒体４０への情報（画像データ、領域の情報など）の書込み、読み出し、あるいは消去を行う。
【００３６】
記憶媒体４０は、撮像装置２０に対して着脱可能に接続される記憶部であって、情報（画像データ、領域の情報など）を記憶する。なお、記憶媒体４０は、撮像装置２０と一体であってもよい。
【００３７】
撮像装置２０は、撮影時に、焦点調節情報に基づいて主要被写体領域を検出する通常モードの他に、自動で主要被写体領域を検出する自動検出モードを備える。自動検出モードは、構図確認用のスルー画像等に基づいて、主要被写体領域を自動で継続的に検出し、検出した主要被写体領域の情報を表示部２３に表示するとともに、バッファメモリ部２４や記憶部２５等に記憶するモードである。この自動検出モードは操作部２７を介したユーザ操作により設定可能であっても良いし、ＣＰＵ２６により自動で設定可能であっても良い。
【００３８】
以下、自動検出モード実行時のＣＰＵ２６の動作について、図２のフローチャートを参照して説明する。
【００３９】
ステップＳ１０１において、ＣＰＵ２６は、撮像部２１を制御して、スルー画像の取得を開始する。取得されたスルー画像の画像情報はバッファメモリ部２４に一時的に記憶される。このスルー画像は、所定の時間間隔で連続して生成される。そして、ＣＰＵ２６によるスルー画像の取得は、時間的に連続して順次行われる。
【００４０】
ステップＳ１０２において、ＣＰＵ２６は、画像処理装置２２を制御して通常の画像処理を行う。通常の画像処理とは、ホワイトバランス調整、補間処理、色調補正処理、階調変換処理などである。各処理の具体的な方法は公知技術と同様であるため説明を省略する。画像処理装置２２は、バッファメモリ部２４から対象となる画像の画像データを取得し、画像処理を施した後に、再びバッファメモリ部２４に出力する。
【００４１】
ステップＳ１０３において、ＣＰＵ２６は、画像処理装置２２を制御してマスク抽出処理を行う。マスク抽出処理とは、画像における特徴量を算出し、特徴量に基づいて主要被写体領域を検出するための一手法である。例えば、画像における特徴量から評価値を求め、同じ評価値の連続領域を求めることによりマスク抽出を行う。マスク抽出の手法はどのような方法であっても良い。また、マスク抽出の具体的な方法は公知技術と同様であるため説明を省略する。なお、ＣＰＵ２６は、マスク抽出処理の結果を、マスク情報としてバッファメモリ部２４や記憶部２５等に記録する。マスク情報には、ステップＳ１０３のマスク抽出処理の抽出条件（色区分やマスク区分など）、マスクの位置、マスクの大きさや形状などの情報が含まれる。
【００４２】
また、ステップＳ１０３の処理の後に、マスク抽出により主要被写体領域を抽出できたか否かを判定する構成としても良い。すなわち、ステップＳ１０３の処理の後に、マスク抽出処理によりマスク抽出が成功したか否かを判定し、例えば、ステップＳ１０３におけるマスク抽出処理において、特徴量が算出できなかったり、評価値が低すぎたりした場合には、マスク抽出が失敗し、主要被写体領域を抽出できないと判定する。このような場合、ＣＰＵ２６は、以降の処理を行わずに、主要被写体領域を抽出できるまで、ステップＳ１０２の通常の画像処理およびステップＳ１０３のマスク抽出処理を繰り返しても良い。この場合、マスク抽出処理によって主要被写体領域が抽出されると、後述する追尾処理が開始される構成とすれば良い。
【００４３】
さらに、ＣＰＵ２６は、表示部２６を制御し、マスク抽出により抽出した主要被写体領域の情報を表示部２３に表示しても良い。例えば、ＣＰＵ２６は、スルー画像に重畳して、主要被写体領域に枠などを表示することにより、主要被写体領域を視認可能に表示することができる。なお、この枠は、主要被写体領域の形状に応じたものであっても良いし、矩形や円形など所定の形状であっても良い。また、線の太さ、濃淡、色などはどのようなものであっても良い。いずれにせよ、このような表示を行うことにより、ユーザは、ＣＰＵ２６によるマスク抽出処理の結果を、容易に把握することができる。
【００４４】
ステップＳ１０４において、ＣＰＵ２６は、ステップＳ１０３のマスク抽出処理の結果に基づいて、テンプレートを設定する。このテンプレートは、後述する追尾処理に用いるテンプレートである。ＣＰＵ２６は、ステップＳ１０３のマスク抽出により抽出したマスクに基づいて主要被写体領域を決定し、例えば、ＲＧＢ各色について追尾対象のテンプレートを設定する。
【００４５】
ステップＳ１０５において、ＣＰＵ２６は、ステップＳ１０４で設定したテンプレートに基づいて、ステップＳ１０１で取得を開始したスルー画像についてテンプレートマッチング処理を行うことにより、追尾処理を開始する。追尾処理とは、追尾対象の位置や領域を、時系列で記憶および更新し、その状態を解析、更新、利用、表示することを含む。追尾処理におけるテンプレートマッチング処理等の具体的な方法は公知技術と同様であるため説明を省略する。ＣＰＵ２６は、ステップＳ１０３で行ったマスク抽出処理により抽出した主要被写体領域を追尾対象として追尾処理を行うことにより、マスク抽出処理よりも負荷の軽い処理で、初期に行ったマスク抽出処理を繰り返す場合を相応の検出結果を得ることができる。
【００４６】
なお、ＣＰＵ２６は、ステップＳ１０３で説明したマスク抽出処理の場合と同様に、表示部２６を制御し、追尾処理により検出した主要被写体領域の情報を表示部２３に表示しても良い。
【００４７】
また、ステップＳ１０４で説明したテンプレートの設定およびステップＳ１０５で説明した追尾処理は一例である。追尾処理の際には、ステップＳ１０３で説明したマスク抽出処理よりも処理負荷の軽い処理であれば、テンプレートマッチング処理以外の手法を用いても良い。例えば、ブロックマッチング処理を用いた追尾処理、動きベクトルを用いた追尾処理、限定的なマスク処理を用いた追尾処理などであっても良い。また、複数の手法を組み合わせて追尾処理を行っても良い。
【００４８】
動きベクトルを用いた追尾処理は、ステップＳ１０３で説明したマスク抽出処理の結果に基づいて、主要被写体領域の動きを示す動きベクトルを求め、動きベクトルの分布をモニタすることにより実行することができる。なお、この動きベクトルは、ＭＰＥＧ形式の動画像生成時に利用される動きベクトルを転用しても良い。
【００４９】
また、限定的なマスク処理を用いた追尾処理は、ステップＳ１０３で説明したマスク抽出処理の抽出条件よりも緩いマスク抽出処理により実行できる。例えば、抽出するマスクの色区分を、ステップＳ１０３で説明したマスク抽出処理よりも限定したり（減らしたり）、マスク抽出処理において２値化画像を作成する際の閾値を、ステップＳ１０３で説明したマスク抽出処理における閾値から変更したりして、限定的なマスク処理を行うことにより、追尾処理を実行しても良い。
【００５０】
ステップＳ１０６において、ＣＰＵ２６は、撮影指示が行われたか否かを判定する。ＣＰＵ２６は、撮影指示が行われるまで待機し、撮影指示が行われたと判定するとステップＳ１０７に進む。なお、撮影指示は、操作部２７のシャッタボタンを介したユーザ操作により行われる。このユーザ操作は、いわゆる半シャッタと全シャッタの何れであっても良い。
【００５１】
ステップＳ１０７において、ＣＰＵ２６は、各部を制御して撮影を実行する。このとき、ＣＰＵ２６は、ステップＳ１０５で開始した追尾処理の結果に基づいて、焦点調整（ＡＦ）の設定処理、露出調整（ＡＥ）の設定処理、ホワイトバランス調整処理（ＡＷＢ）の３Ａ処理を行うとともに、画像処理装置２２における各種画像処理の条件等を決定する。
【００５２】
ステップＳ１０８において、ＣＰＵ２６は、撮像により生成した画像を、通信部２８を介して記憶媒体４０に記録して一連の処理を終了する。
【００５３】
以上説明したように、第１実施形態によれば、時間的に連続して生成された複数の画像データを順次取得し、画像データにより示される画像の特徴量を算出し、特徴量に基づいて主要被写体領域を検出する。そして、主要被写体領域を検出すると、検出した主要被写体領域を追尾対象として、追尾対象を複数の画像から検出する。したがって、上述の構成により、特徴量に基づいて検出した主要被写体領域を追尾対象として、処理負荷のより軽い追尾処理を行うことができるので、主要被写体領域の抽出を継続的に行う際に、抽出の精度や安定性を維持しつつ処理負荷を軽減することができる。そのため、主要被写体領域の抽出の高速化も期待できる。
【００５４】
また、第１実施形態によれば、特徴量に基づいてマスク抽出を行うことにより、主要被写体領域を検出する。したがって、精度良く検出した主要被写体領域を追尾対象とすることができる。
【００５５】
また、第１実施形態によれば、追尾処理を行う際に、ブロックマッチング処理、テンレートマッチング処理、動きベクトルを用いた追尾処理、限定的なマスク処理を用いた追尾処理などを実行する。したがって、処理負荷を軽減することができる。
【００５６】
＜第２実施形態＞
以下、第２実施形態について図面を参照して詳細に説明する。第２実施形態は、第１実施形態の変形例である。したがって、第１実施形態と異なる部分についてのみ説明し、第１実施形態と同様の部分については説明を省略する。
【００５７】
第２実施形態では、第１実施形態の図１に示したレンズ鏡筒１０と、撮像装置２０と、記録媒体４０とからなる装置を例に挙げて説明する。
【００５８】
第１実施形態では、上述したように、マスク抽出処理の結果に基づいて追尾処理を行う基本的な例を説明した。第２実施形態では、マスク抽出処理と追尾処理とを併用して行い、主要被写体領域の抽出の安定性をより向上させる構成について説明する。
【００５９】
以下、自動検出モード実行時のＣＰＵ２６の動作について、図３のフローチャートを参照して説明する。
【００６０】
ステップＳ２０１において、ＣＰＵ２６は、第１実施形態のステップＳ１０１と同様に、撮像部２１を制御して、スルー画像の取得を開始する。
【００６１】
ステップＳ２０２において、ＣＰＵ２６は、第１実施形態のステップＳ１０２と同様に、画像処理装置２２を制御して通常の画像処理を行う。
【００６２】
ステップＳ２０３において、ＣＰＵ２６は、第１実施形態のステップＳ１０３と同様に、画像処理装置２２を制御してマスク抽出処理を行う。
【００６３】
ステップＳ２０４において、ＣＰＵ２６は、第１実施形態のステップＳ１０４と同様に、ステップＳ２０３のマスク抽出処理の結果に基づいて、テンプレートを設定する。
【００６４】
ステップＳ２０５において、ＣＰＵ２６は、第１実施形態のステップＳ１０５と同様に、ステップＳ２０４で設定したテンプレートに基づいて、追尾処理を開始する。
【００６５】
ステップＳ２０６において、ＣＰＵ２６は、ステップＳ２０５で開始した追尾処理をＮフレーム継続したか否かを判定する。ＣＰＵ２６は、ステップＳ２０５で開始した追尾処理をＮフレーム継続していないと判定すると、ステップＳ２０７に進む。一方、ＣＰＵ２６は、ステップＳ２０５で開始した追尾処理をＮフレーム継続したと判定するとステップＳ２０３に戻る。Ｎは予め定められた値（例えば、Ｎ＝５）である。ステップＳ２０５で開始した追尾処理をＮフレーム継続した場合とは、追尾処理がある程度継続され、主要被写体領域に何らかの変化（形状の変化、位置の移動など）が発生している可能性がある場合である。このような場合には、ステップＳ２０３に戻り、再びマスク抽出処理を行うことにより、追尾の経過時間に応じて、継続的な追尾処理とマスク抽出処理に基づく追尾処理とを切り替えることができる。そのため、確実に主要被写体領域をとらえることができる。
【００６６】
ステップＳ２０７において、ＣＰＵ２６は、第１実施形態のステップＳ１０６と略同様に、撮影指示が行われたか否かを判定する。ＣＰＵ２６は、撮影指示が行われたと判定するとステップＳ２０８に進む。一方、撮影指示が行われないと判定すると、ＣＰＵ２６は、ステップＳ２０６に戻り、次のフレームの画像に対してステップＳ２０６以降の処理を行う。
【００６７】
ステップＳ２０８において、ＣＰＵ２６は、第１実施形態のステップＳ１０７と同様に、各部を制御して撮影を実行する。
【００６８】
ステップＳ２０９において、ＣＰＵ２６は、第１実施形態のステップＳ１０８と同様に、撮像により生成した画像を、通信部２８を介して記憶媒体４０に記録して一連の処理を終了する。
【００６９】
以上説明したように、第２実施形態によれば、前回の追尾時の追尾対象を継続的に検出する第１のモードと、マスク抽出処理により新たに検出した主要被写体領域を追尾対象として検出する第２のモードとを切り替えて主要被写体領域の追尾処理を行う。したがって、主要被写体領域に何らかの変化が発生しても、適宜追尾対象を更新し、確実に主要被写体領域の抽出を行うことができる。
【００７０】
また、第２実施形態によれば、追尾処理を、上述した第１のモードにより所定回数実行するたびに、上述した第２のモードにより少なくとも１回実行する。したがって、高速化が可能となる継続的な追尾処理と、精度の良いマスク抽出処理とを、バランス良く併用することができる。
【００７１】
＜第３実施形態＞
以下、第３実施形態について図面を参照して詳細に説明する。第３実施形態は、第２実施形態の変形例である。したがって、第１実施形態および第２実施形態と異なる部分についてのみ説明し、第１実施形態および第２実施形態と同様の部分については説明を省略する。
【００７２】
第３実施形態では、第１実施形態の図１に示したレンズ鏡筒１０と、撮像装置２０と、記録媒体４０とからなる装置を例に挙げて説明する。
【００７３】
第２実施形態では、上述したように、マスク抽出処理と追尾処理とを併用して行う基本的な例を説明した。第３実施形態では、マスク抽出処理と追尾処理とを併用する際に、より適切に切り替えを行う構成について説明する。
【００７４】
以下、自動検出モード実行時のＣＰＵ２６の動作について、図４のフローチャートを参照して説明する。
【００７５】
ステップＳ３０１において、ＣＰＵ２６は、第１実施形態のステップＳ１０１と同様に、撮像部２１を制御して、スルー画像の取得を開始する。
【００７６】
ステップＳ３０２において、ＣＰＵ２６は、第１実施形態のステップＳ１０２と同様に、画像処理装置２２を制御して通常の画像処理を行う。
【００７７】
ステップＳ３０３において、ＣＰＵ２６は、第１実施形態のステップＳ１０３と同様に、画像処理装置２２を制御してマスク抽出処理を行う。ただし、ＣＰＵ２６は、第１実施形態および第２実施形態とは異なり、継続的にマスク抽出処理を行う。なお、マスク抽出処理はすべてのフレームを対象としても良いし、間引きを行った一部のフレームを対象としても良い。
【００７８】
ステップＳ３０４において、ＣＰＵ２６は、テンプレートを設定する。ただし、ＣＰＵ２６は、１回目のステップＳ３０４においては、第１実施形態のステップＳ１０４と同様に、ステップＳ３０３のマスク抽出処理の結果に基づいてテンプレート設定し、２回目以降のステップＳ３０４においては、後述するステップＳ３０８の補正マスク抽出処理の結果に基づいてテンプレートを設定する。
【００７９】
ステップＳ３０５において、ＣＰＵ２６は、第１実施形態のステップＳ１０５と同様に、ステップＳ３０４で設定したテンプレートに基づいて、追尾処理を開始する。つまり、この時点で、ステップＳ３０３で開始されたマスク抽出処理と、追尾処理とが並行して行われることになる。ただし、ステップＳ３０３で説明したマスク抽出処理は、ステップＳ３０５で開始する追尾処理よりも低いフレームレートで実行されても良い。
【００８０】
ステップＳ３０６において、ＣＰＵ２６は、最新のマスク抽出処理の結果と、最新の追尾処理の結果とを比較し、その差異が大きいか否かを判定する。ＣＰＵ２６は、差異が大きいと判定すると、ステップＳ３０７に進み、差異が大きくないと判定すると、後述するステップＳ３０９に進む。
【００８１】
差異は、例えば、最新のマスク抽出処理において抽出したマスクに基づく主要被写体領域（領域Ａ）と、最新の追尾処理において検出した主要被写体領域（領域Ｂ）とに基づいて求めることができる。より具体的には、領域Ａおよび領域Ｂの位置、大きさ、明るさ、色、形状等の差異が考えられる。差異は、どのように求めても良いが、例えば、上述した位置、大きさ、明るさ、色、形状（アスペクト比、充填率など）等を表す評価値を、領域Ａおよび領域Ｂのそれぞれについて求め、求めた評価値の差が所定の閾値より大きい場合に、差異が大きいと判定しても良い。
【００８２】
なお、上述したマスク抽出処理に基づく主要被写体領域（領域Ａ）および追尾処理に基づく主要被写体領域（領域Ｂ）の定め方は一例である。また、差異の求め方についても、どのような方法を用いても良い。
【００８３】
ところで、差異が大きい場合とは、追尾処理がある程度継続された場合など、主要被写体領域に何らかの変化（形状の変化、位置の移動など）が発生している場合である。このような場合には、マスク抽出処理に基づく主要被写体領域（領域Ａ）と、追尾処理に基づく主要被写体領域（領域Ｂ）とが一致しない、あるいは、類似性が低下していると考えられるため、ステップＳ３０７に進み、その原因を解析する。
【００８４】
一方、差異が大きくない（つまり、差異が小さい）場合とは、マスク抽出処理に基づく主要被写体領域（領域Ａ）と、追尾処理に基づく主要被写体領域（領域Ｂ）とが一致している、あるいは、類似性が十分に高い状態が保たれていると考えられるため、現状を維持して、後述するステップＳ３０９に進む。
【００８５】
ステップＳ３０７において、ＣＰＵ２６は、ステップＳ３０３のマスク抽出処理の結果、および、ステップＳ３０５で開始した追尾処理の結果に基づいて、差異が大きくなった原因を解析する。
【００８６】
差異が大きくなった場合には、主要被写体領域に何らかの変化が起こったと考えることができる。原因としては、例えば、被写体自体の位置、大きさ、明るさ、色、形状等が変化することや、撮像装置２０のユーザの動作等に起因して、検出される主要被写体領域が変化することなどがある。ＣＰＵ２６は、ステップＳ３０６で説明した判定の内容に鑑み、差異が大きくなった原因を解析する。
【００８７】
例えば、明るさ、色、形状の類似性はある程度高いが、位置や大きさの類似性が低い場合には、被写体自体の位置が変化したと考えられる。また、例えば、位置や大きさの類似性はある程度高いが、明るさ、色、形状の類似性が低い場合には、被写体自体が間違っている、つまり、マスク抽出処理に基づく主要被写体領域（領域Ａ）と、追尾処理に基づく主要被写体領域（領域Ｂ）とが異なる主要被写体領域である可能性が高い。
【００８８】
原因解析はどのような手法で行われても良い。また、ＣＰＵ２６は、原因解析の結果をバッファメモリ部２４や記憶部２５等に記憶しておき、後述するステップＳ３０８の補正マスク抽出処理以外の処理（例えば、後述するステップＳ３１０の撮影実行処理など）の際にも、その情報を利用しても良い。
【００８９】
ステップＳ３０８において、ＣＰＵ２６は、ステップＳ３０７で行った原因解析の結果に基づいて、ステップＳ３０３において説明したマスク抽出処理に準じた補正マスク抽出処理を行う。ＣＰＵ２６は、補正マスク抽出処理を行うと、ステップＳ３０４に戻り、再びテンプレートの設定を行う。
【００９０】
補正マスク抽出処理とは、ステップＳ３０７で行った原因解析の結果に基づき、追尾処理に用いるテンプレートを再度設定するための新たなマスク抽出処理である。ＣＰＵ２６は、ステップＳ３０６で説明した判定の内容や、ステップＳ３０７で行った原因解析の結果に基づいて抽出条件を最適化して、マスク抽出処理を行う。
【００９１】
この際、補正マスク抽出処理は、ステップＳ３０３で説明したマスク抽出処理の抽出条件よりも緩いマスク抽出処理としても良い。例えば、ステップＳ３０７で行った原因解析の結果等に基づいて、抽出するマスクの色区分をステップＳ３０３で説明したマスク抽出処理よりも限定したり（減らしたり）、マスク抽出処理において２値化画像を作成する際の閾値をステップＳ３０３で説明したマスク抽出処理における閾値から変更したりして、限定的なマスク処理を行っても良い。
【００９２】
また、補正マスク抽出処理を行う代わりに、マスク抽出処理に基づく主要被写体領域（領域Ａ）と、追尾処理に基づく主要被写体領域（領域Ｂ）との何れかを選択する構成としても良い。例えば、差異が大きい場合には、追尾処理の精度が落ちているためリセットする必要があると考え、最新のマスク抽出処理に基づく主要被写体領域（領域Ａ）を選択して、ステップＳ３０４に戻ってテンプレートの設定を行っても良い。また、例えば、位置や大きさに関する差異のみが大きい場合には、被写体自体が間違っている訳ではないと考え、追尾処理に基づく主要被写体領域（領域Ｂ）を選択しても良い。いずれにせよ、マスク抽出処理と追尾処理とを補完的に組み合わせて利用することにより、主要被写体領域の抽出を継続的に行う際に、抽出の精度や安定性を維持しつつ処理負荷を軽減することができる。
【００９３】
ステップＳ３０９において、ＣＰＵ２６は、第１実施形態のステップＳ１０６と略同様に、撮影指示が行われたか否かを判定する。ＣＰＵ２６は、撮影指示が行われたと判定するとステップＳ３１０に進む。一方、撮影指示が行われないと判定すると、ＣＰＵ２６は、ステップＳ３０６に戻り、次のフレームの画像に対してステップＳ３０６以降の処理を行う。つまり、ステップＳ３０６において差異が大きいと判定されるか、ステップＳ３０９で撮影指示が行われたと判定するまで、ステップＳ３０６およびステップＳ３０９の判定を繰り返す。
【００９４】
ステップＳ３１０において、ＣＰＵ２６は、第１実施形態のステップＳ１０７と同様に、各部を制御して撮影を実行する。
【００９５】
ステップＳ３１１において、ＣＰＵ２６は、第１実施形態のステップＳ１０８と同様に、撮像により生成した画像を、通信部２８を介して記憶媒体４０に記録して一連の処理を終了する。
【００９６】
以上説明したように、第３実施形態によれば、追尾の結果に基づいて、前回の追尾時の追尾対象を継続的に検出する第１のモードと、マスク抽出処理により新たに検出した主要被写体領域を追尾対象として検出する第２のモードとを切り替えて主要被写体領域の追尾処理を行う。したがって、追尾が好適に行われている際には、処理負荷の小さい追尾を継続的に行い、主要被写体領域に何らかの変化が発生するなど追尾が好適に行われなくなった場合には、適宜追尾対象と更新し、確実に主要被写体領域の抽出を行うことができる。
【００９７】
また、第３実施形態によれば、追尾処理における類似度が所定の閾値を下回った場合には、第２のモードに切り替える。したがって、追尾が好適に行われなくなった場合に、速やかに精度の良いマスク抽出処理に基づく追尾処理に移行することができる。
【００９８】
また、第３実施形態によれば、追尾処理により検出した追尾対象の評価値を算出し、算出した評価値と、過去に検出した所定の追尾対象の評価値との変化量に基づいて、上述した追尾モードを決定する。したがって、評価値に応じて追尾処理の安定性を監視し、追尾が好適に行われなくなった場合に、速やかに精度の良いマスク抽出処理に基づく追尾処理に移行することができる。
【００９９】
また、第３実施形態によれば、上述した評価値として、追尾対象の位置を示す値、追尾対象の大きさを示す値、追尾対象の明るさを示す値、追尾対象の色を示す値、追尾対象の形状を示す値等を用い、評価値の変化量が所定の閾値を上回った場合には、上述した第２のモードに切り替える。したがって、被写体の変化に応じた評価値を用いることにより、高速化が可能となる継続的な追尾処理と、精度の良いマスク抽出処理に基づく追尾処理とを、バランス良く併用することができる。
【０１００】
＜第４実施形態＞
以下、第４実施形態について図面を参照して詳細に説明する。第４実施形態は、第２実施形態の変形例である。したがって、第１実施形態から第３実施形態と異なる部分についてのみ説明し、第１実施形態から第３実施形態と同様の部分については説明を省略する。
【０１０１】
第４実施形態では、第１実施形態の図１に示したレンズ鏡筒１０と、撮像装置２０と、記録媒体４０とからなる装置を例に挙げて説明する。
【０１０２】
第２実施形態では、上述したように、マスク抽出処理と追尾処理とを併用して行う基本的な例を説明し、第３実施形態では、マスク抽出処理と追尾処理とを併用する際に、より適切に切り替えを行う構成について説明した。第４実施形態では、マスク抽出処理と追尾処理とを併用する際に、より適切に切り替えを行う別の構成について説明する。
【０１０３】
以下、自動検出モード実行時のＣＰＵ２６の動作について、図５のフローチャートを参照して説明する。
【０１０４】
ステップＳ４０１において、ＣＰＵ２６は、第１実施形態のステップＳ１０１と同様に、撮像部２１を制御して、スルー画像の取得を開始する。
【０１０５】
ステップＳ４０２において、ＣＰＵ２６は、第１実施形態のステップＳ１０２と同様に、画像処理装置２２を制御して通常の画像処理を行う。
【０１０６】
ステップＳ４０３において、ＣＰＵ２６は、第１実施形態のステップＳ１０３と同様に、画像処理装置２２を制御してマスク抽出処理を行う。ただし、ＣＰＵ２６は、第３実施形態とは異なり、継続的なマスク抽出処理は行わない。
【０１０７】
ステップＳ４０４において、ＣＰＵ２６は、テンプレートを設定する。ただし、ＣＰＵ２６は、１回目のステップＳ４０４においては、第１実施形態のステップＳ１０４と同様に、ステップＳ４０３のマスク抽出処理の結果に基づいてテンプレート設定し、２回目以降のステップＳ４０４においては、ステップＳ４０３のマスク抽出処理の結果、または、後述するステップＳ４０９の補正マスク抽出処理の結果に基づいてテンプレートを設定する。
【０１０８】
ステップＳ４０５において、ＣＰＵ２６は、第１実施形態のステップＳ１０５と同様に、ステップＳ４０４で設定したテンプレートに基づいて、追尾処理を開始する。
【０１０９】
ステップＳ４０６において、ＣＰＵ２６は、ステップＳ４０５で開始した追尾処理が失敗したか否かを判定する。ＣＰＵ２６は、追尾処理が失敗したと判定すると、ステップＳ４０３に戻り、再びマスク抽出処理を行う。一方、追尾処理が成功した（失敗していない）と判定すると、ステップＳ４０７に進む。
【０１１０】
追尾処理が失敗したと判定される場合とは、追尾処理により主要被写体領域が検出できない場合や、検出された主要被写体領域が明らかに異常である場合などである。追尾処理が失敗したか否かの判定は、公知技術のどのような方法を用いても良い。
【０１１１】
追尾処理が失敗したと判定すると、ＣＰＵ２６は、改めてマスク抽出処理を行って、テンプレートの設定もし直し、再び追尾処理を開始する。一方、追尾処理が成功した（失敗していない）と判定すると、ＣＰＵ２６は、さらなる判定を行う。
【０１１２】
ステップＳ４０７において、ＣＰＵ２６は、所定時間が経過したか否かを判定する。ＣＰＵ２６は、所定時間が経過したと判定すると、ステップＳ４０８に進み、所定時間が経過していないと判定すると、後述するステップＳ４１１に進む。所定時間は、予め定められた時間であり、第２実施形態のステップＳ２０６で説明したＮフレームに相当する時間である。ステップＳ４０５で追尾処理を開始してから所定時間が経過した場合とは、追尾処理がある程度継続され、主要被写体領域に何らかの変化（形状の変化、位置の移動など）が発生している可能性がある場合である。このような場合には、ステップＳ４０８に進み、マスク状態の変化を判定する（詳細は後述する）ことにより、追尾の経過時間に応じて、マスク状態の変化を確認することができる。一方、所定時間が経過していないと判定すると、ＣＰＵ２６は、撮影指示の有無を確認する（詳細は後述する）。
【０１１３】
ステップＳ４０８において、ＣＰＵ２６は、マスク状態が変化したか否かを判定する。ＣＰＵ２６は、マスク状態が変化したと判定すると、ステップＳ４０９に進み、マスク状態が変化していないと判定すると、ステップＳ４０７に戻る。
【０１１４】
マスク状態が変化したか否かの判定は、追尾処理において検出した主要被写体領域の変化に基づいて求めることができる。より具体的には、例えば、追尾処理において検出した主要被写体領域の位置の変化、大きさの変化、明るさの変化、色の変化、形状の変化等に基づいて、マスク状態の変化を求めることができる。上述した各変化は、どのように求めても良いが、例えば、上述した位置、大きさ、明るさ、色、形状（アスペクト比、充填率など）等を表す評価値をそれぞれについて求め、求めた評価値の変化が所定の閾値より大きい場合に、マスク状態が変化したと判定しても良い。
【０１１５】
ＣＰＵ２６は、マスク状態が変化したと判定すると、上述したようにステップＳ４０９に進み、是正処理を行う（詳細は後述する）。一方、マスク状態が変化していないと判定すると、ＣＰＵ２６は、ステップＳ４０７に戻り、所定時間が経過したか否かを再び判定する。なお、ステップＳ４０７に戻った際には、ＣＰＵ２６は、例えば、計測用のタイマをリセットするなどして、所定時間の計測をゼロから行う。
【０１１６】
ステップＳ４０９において、ＣＰＵ２６は、補正マスク抽出処理を行う。
【０１１７】
補正マスク抽出処理は、第３実施形態のステップＳ３０８と略同様の処理であり、ステップＳ４０８で行ったマスク状態の変化判定の結果に基づき、追尾処理に用いるテンプレートを再度設定するための新たなマスク抽出処理である。ＣＰＵ２６は、ステップＳ４０８で行ったマスク状態の変化判定の結果に基づいて抽出条件を最適化して、補正マスク抽出処理を行う。
【０１１８】
この際、補正マスク抽出処理は、第３実施形態のステップＳ３０８と略同様に、ステップＳ４０３で説明したマスク抽出処理の抽出条件よりも緩いマスク抽出処理（限定的なマスク処理）とすると良い。
【０１１９】
ステップＳ４１０において、ＣＰＵ２６は、補正マスク抽出処理が成功したか否かを判定する。ＣＰＵ２６は、ステップＳ４０９で行った補正マスク抽出処理が成功したと判定すると、ステップＳ４０４に戻り、再びテンプレートの設定を行う。一方、補正マスク抽出処理が成功していない（失敗した）と判定すると、ステップＳ４０３に戻り、再びマスク抽出処理を行う。
【０１２０】
つまり、ステップＳ４０８において、マスク状態が変化したと判定されると、テンプレートの再設定を目的として補正マスク抽出処理を行い、補正マスク抽出処理が成功した場合にはテンプレートの再設定を行い、補正マスク抽出処理が失敗した場合にはマスク抽出処理を再び行ってテンプレートとして再設定する。
【０１２１】
ステップＳ４１１において、ＣＰＵ２６は、第１実施形態のステップＳ１０６と略同様に、撮影指示が行われたか否かを判定する。ＣＰＵ２６は、撮影指示が行われたと判定するとステップＳ４１２に進む。一方、撮影指示が行われないと判定すると、ＣＰＵ２６は、ステップＳ４０６に戻り、次のフレームの画像に対してステップＳ４０６以降の処理を行う。
【０１２２】
ステップＳ４１２において、ＣＰＵ２６は、第１実施形態のステップＳ１０７と同様に、各部を制御して撮影を実行する。
【０１２３】
ステップＳ４１３において、ＣＰＵ２６は、第１実施形態のステップＳ１０８と同様に、撮像により生成した画像を、通信部２８を介して記憶媒体４０に記録して一連の処理を終了する。
【０１２４】
以上説明したように、第４実施形態によれば、追尾の結果、追尾の経過時間、マスク抽出処理の結果などに基づいて、前回の追尾時の追尾対象を継続的に検出する第１のモードと、マスク抽出処理により新たに検出した主要被写体領域を追尾対象として検出する第２のモードとを切り替えて主要被写体領域の追尾処理を行う。したがって、追尾やマスク抽出処理の状況に応じて、処理内容を好適に変更することにより、確実に主要被写体領域の抽出を行うことができる。
【０１２５】
なお、第２実施形態では、追尾処理およびマスク抽出処理の２種類の処理を適宜切り替える構成を例示し、第３実施形態および第４実施形態では、追尾処理、マスク抽出処理、補正マスク抽出処理の３種類の処理を適宜切り替える構成を例示した。また、第２実施形態から第４実施形態では、追尾処理を継続したフレーム数、追尾処理の結果とマスク抽出処理の結果との差異、追尾処理の成否、追尾処理を継続した時間、追尾処理に基づくマスクの状態、マスク抽出処理の成否等に基づいて、上述した各処理を適宜切り替える構成を例示した。しかし、各実施形態で説明した処理の組み合わせや、処理を切り替えるトリガーの組み合わせはどのようなものであっても良い。
【０１２６】
トリガーとしては、上述した各例を含めて、以下１）から６）からのようなものが考えられる。
１）追尾処理において検出される主要被写体領域の位置の変化量が、初期の追尾処理を基準として、所定の閾値を超えた場合、あるいは、上述した変化量が、前回（あるいは数回前）の追尾処理を基準として、所定の閾値を超えた場合。マスク抽出処理については、逆に、マスク抽出処理において検出される主要被写体領域の位置の変化量が、初期のマスク抽出処理を基準として、所定の閾値を下回った場合、あるいは、上述した変化量が、前回（あるいは数回前）のマスク抽出処理を基準として、所定の閾値を下回った場合。補正マスク抽出処理については、上述した追尾処理またはマスク抽出処理との相対的な関係において、補正マスク抽出処理において検出される主要被写体領域の位置の変化量が、初期の補正マスク抽出処理を基準として、所定の閾値を超えたか下回った場合、あるいは、上述した変化量が、前回（あるいは数回前）の補正マスク抽出処理を基準として、所定の閾値を超えるか下回った場合。
２）１）の位置の変化量に代えて、追尾処理において検出される主要被写体領域の大きさの変化量。
３）１）の位置の変化量に代えて、追尾処理において検出される主要被写体領域の明るさの変化量が。
４）１）の位置の変化量に代えて、追尾処理において検出される主要被写体領域の色の変化量。
５）１）の位置の変化量に代えて、追尾処理において検出される主要被写体領域の形状（アスペクト比、充填率など）の変化量。
６）追尾処理、マスク抽出処理、補正マスク抽出処理の何れかにおいて、検出に失敗した場合、あるいは、検出の精度が非常に低下した場合。
【０１２７】
また、処理の切り替えとしては、上述した各例を含めて、以下１）および２）のようなものが考えられる。
１）上述した各変化量の度合に応じて、上述した複数種類の処理を適宜切り替える。例えば、追尾処理、マスク抽出処理、補正マスク抽出処理の３種類の処理を切り替える場合、検出精度はマスク抽出処理、補正マスク抽出処理、追尾処理の順で高く、検出負荷は追尾処理、補正マスク処理、マスク処理の順で軽い。
【０１２８】
したがって、例えば、追尾処理を実行中に、上述した変化量を監視し、所定の閾値を超えた場合には精度を重視して補正マスク抽出処理に移行し、補正マスク抽出処理に移行した後に、変化量がさらに所定の閾値を超えた場合にはさらなる精度を重視してマスク抽出処理に移行しても良い。また、追尾処理を実行中に、上述した変化量を監視し、その変化量が中程度に大きい場合には補正マスク抽出処理に移行する一方、変化量が非常に大きい場合には補正マスク抽出処理を経由せずに、追尾処理からマスク抽出処理に移行しても良い。
【０１２９】
逆に、マスク抽出処理を実行中に、上述した変化量を監視し、所定の閾値を下回った場合には負荷の軽減を重視して補正マスク抽出処理に移行し、補正マスク抽出処理に移行した後に、変化量がさらに所定の閾値を下回った場合にはさらなる負荷の軽減を重視して追尾処理に移行しても良い。また、マスク抽出処理を実行中に、上述した変化量を監視し、その変化量が中程度に小さい場合には補正マスク抽出処理に移行する一方、変化量が非常に小さい場合には補正マスク抽出処理を経由せずに、マスク抽出処理から追尾処理に移行しても良い。
２）上述した追尾処理、マスク抽出処理、補正マスク抽出処理の何れかによる検出の成否に応じて、上述した複数種類の処理を適宜切り替える。例えば、追尾処理を実行中に、追尾処理による検出が失敗した場合には精度を重視して補正マスク抽出処理に移行し、補正マスク抽出処理に移行した後に、補正マスク抽出処理による検出が失敗した場合にはさらなる精度を重視してマスク抽出処理に移行しても良い。また、追尾処理を実行中に、追尾処理による検出が失敗した場合に、補正マスク抽出処理を経由せずに、追尾処理からマスク抽出処理に移行しても良い。
【０１３０】
逆に、マスク抽出処理を実行中に、マスク抽出処理による検出が有る程度連続して成功した場合には負荷の軽減を重視して補正マスク抽出処理に移行し、補正マスク抽出処理に移行した後に、補正マスク抽出処理による検出が有る程度連続して成功した場合にはさらなる負荷の軽減を重視して追尾処理に移行しても良い。
【０１３１】
また、上述した各トリガーや処理の切り替え方法を複数備え、画像解析、シーン解析、撮影モードの種類などにより判別し、ケース毎に予め定められたトリガーを用いて処理の切り替えを行う構成としても良い。この場合、ケース毎に適切な閾値や判定条件を定めることが好ましい。
【０１３２】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【０１３３】
上述の各実施形態において、追尾処理、マスク抽出処理、補正マスク抽出処理による検出では、単数の主要被写体領域が検出されても良いし、複数の主要被写体領域が検出されても良い。複数の主要被写体領域が検出される場合は、表示部２３に主要被写体領域の情報を表示する際に、表示内容を工夫することが好ましい。例えば、表示枠の色を変える、線の太さを変える、線の濃淡を変える、線の種類（実線／点線）を変えるなどし、区別可能とするのが好ましい。
【０１３４】
また、複数の主要被写体領域のうち、一部の主要被写体領域のみを対象として以降の各処理を行う場合には、対象外となる主要被写体領域についても一部の処理を行い、情報の記録のみを行っても良い。また、複数の主要被写体領域が検出された場合には、表示部２３等を利用して、エラー表示を行っても良い。
【０１３５】
また、上述の各実施形態において、自動検出モードの中断処理、再開処理を適宜実行しても良い。例えば、上述した自動検出モードにおいて、一定の時間を経過しても主要被写体領域を検出できない場合など、自動検出モードによる検出は困難である場合には、自動検出モードから通常モードなどのモードへ自動で変更する構成としても良い。さらに、自動検出モードからその他のモードへの変更を行った後に、撮像装置２０の動き量や動きセンサの出力に応じて、自動検出モードを再開しても良い。
【０１３６】
また、上記の各実施形態においては、構図確認用のスルー画像に基づいて、一連の処理を行う例を示したが、本発明はこの例に限定されない。例えば、一眼レフカメラなどにおいて生成される構図確認用のライブビュー画像を対象とする場合にも、本発明を同様に適用することができる。また、記録媒体４０等に記録された動画像を対象とする場合にも、本発明を同様に適用することができる。
【０１３７】
また、上記の各実施形態においては、すべてのフレームを対象として一連の処理を行う例を示したが、本発明はこの例に限定されない。例えば、時間的に間欠して生成された複数の画像を対象としても良い。具体的には、適宜フレーム間引きを行った複数の画像を対象としても良い。このような処理を行うことにより、処理負荷を軽減することができる。
【０１３８】
また、コンピュータと画像処理プログラムとからなる「コンピュータシステム」により、上述した各実施形態で説明した画像処理をソフトウェア的に実現しても良い。この場合、各実施形態で説明したフローチャートの処理の一部または全部をコンピュータシステムで実行する構成とすれば良い。例えば、図２のステップＳ１０１からステップＳ１０５の処理の一部または全部をコンピュータで実行しても良い。また、図３のステップＳ２０１からステップＳ２０６の処理の一部または全部をコンピュータで実行しても良い。また、図４のステップＳ３０１からステップＳ３０８の処理の一部または全部をコンピュータで実行しても良い。また、図５のステップＳ４０１からステップＳ４１０の処理の一部または全部をコンピュータで実行しても良い。このような構成とすることにより、上述した各実施形態と同様の処理を実施することが可能になる。
【０１３９】
また、「コンピュータシステム」は、ｗｗｗシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、コンピュータ読み取り可能な記録媒体とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
【０１４０】
さらにコンピュータ読み取り可能な記録媒体とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ））のように、一定時間プログラムを保持しているものも含むものとする。
【０１４１】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
【０１４２】
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。
さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【符号の説明】
【０１４３】
２０…撮像装置、２１…撮像部、２２…画像処理装置、２３‥表示部、２６…ＣＰＵ
【図１】
2014232418.tif 000003
【図２】
2014232418.tif 000004
【図３】
2014232418.tif 000005
【図４】
2014232418.tif 000006
【図５】
2014232418.tif 000007