(57)【要約】【課題】  複数の特定領域が存在する場合に、何れかの特定領域をユーザが容易に選択可能とすること。【解決手段】  処理対象の画像データを取得する取得部と、画像データにより示される画像の特徴量を算出し、特徴量に基づいて特定領域を検出する領域検出部と、領域検出部により検出した特定領域もしくは、特定領域に基づく領域を視認可能に表示する表示部と、領域検出部により複数の特定領域を検出した場合に、表示部に、複数の特定領域のうち少なくとも１つの特定領域を選択するための表示を行う表示制御部とを備える。【選択図】  図１
2018093500.tif 000002
【特許請求の範囲】
【請求項１】
処理対象の画像データを取得する取得部と、
前記画像データにより示される画像の特徴量を算出し、前記特徴量に基づいて特定領域を検出する領域検出部と、
前記領域検出部により検出した前記特定領域もしくは、前記特定領域に基づく領域を視認可能に表示する表示部と、
前記領域検出部により複数の前記特定領域を検出した場合に、前記表示部に、複数の前記特定領域のうち少なくとも１つの特定領域を選択するための表示を行う表示制御部と
を備えることを特徴とする画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、撮像装置、および画像処理プログラムに関する。
【背景技術】
【０００２】
従来、焦点調節に関する様々な技術が考えられている。例えば、特許文献１の発明では、被写体抽出の手法を用いた焦点調節を行う撮像装置が開示されている。特許文献１の発明では、被写体形状の変化量に応じてＡＦ測距枠を変形することにより、被写体がカメラ方向に移動する場合でも、被写体に対して最適に自動焦点調節を行うことを可能としている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−０６９７４８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、被写界内に複数の被写体が存在する場合、上述した被写体抽出の手法により複数の特定領域（例えば、被写体領域や注目領域など）が抽出される。このような場合には、ユーザが撮影対象としている特定領域を判定することは難しく、一般的に、至近側の特定領域をＡＦ対象としている。しかし、一概に至近側の特定領域をＡＦ対象とするのが正しくない場合もある。
【０００５】
本発明は、前記の点に鑑みてなされたものであり、複数の特定領域が存在する場合に、何れかの特定領域をユーザが容易に選択可能とすることを目的とする。
【課題を解決するための手段】
【０００６】
本発明の画像処理装置は、処理対象の画像データを取得する取得部と、前記画像データにより示される画像の特徴量を算出し、前記特徴量に基づいて特定領域を検出する領域検出部と、前記領域検出部により検出した前記特定領域もしくは、前記特定領域に基づく領域を視認可能に表示する表示部と、前記領域検出部により複数の前記特定領域を検出した場合に、前記表示部に、複数の前記特定領域のうち少なくとも１つの特定領域を選択するための表示を行う表示制御部とを備える。
【０００７】
なお、前記取得部は、時間的に連続して生成された複数の画像データを順次取得し、前記領域検出部は、前記取得部により前記画像データを所定の枚数取得する毎に、前記特定領域を検出しても良い。
【０００８】
また、前記表示制御部は、複数の前記特定領域を切り替えて前記表示部に表示しても良い。
【０００９】
また、前記表示制御部は、複数の前記特定領域を切り替える際に、前記特徴量に基づいて表示順を決定しても良い。
【００１０】
また、前記表示制御部は、前記領域検出部による検出結果に基づく所定の条件を満たした場合にのみ、前記表示部への表示を行っても良い。
【００１１】
また、前記表示制御部は、前記領域検出部による検出結果に基づく所定の条件を満たした場合には、前記表示部への表示を禁止しても良い。
【００１２】
また、前記所定の条件は、前記領域検出部による前記特定領域の検出の可否に基づく条件であっても良い。
【００１３】
また、前記所定の条件は、前記表示部による表示に基づいた選択をする際に、選択に適さない前記特定領域が存在するか否かに基づく条件であっても良い。
本発明の撮像装置は、被写体像を撮像して画像を生成する撮像部と、上述した何れかの画像処理装置とを備え、前記撮像部は、構図確認用の前記画像データを連続的に生成し、前記取得部は、前記撮像部から前記画像データを順次取得する。
【００１４】
なお、前記表示部による表示に基づいて選択された少なくとも１つの前記特定領域に基づいて、前記撮像部による本撮影のための準備動作を実行する制御部を備えても良い。
【００１５】
また、前記撮像部は、光学系を介して入射した前記被写体像を撮像して前記画像データを生成し、前記制御部は、前記準備動作として、前記光学系に関する合焦制御を含む動作を実行しても良い。
【００１６】
また、前記表示制御部は、前記領域検出部による検出結果に基づく所定の条件を満たした場合にのみ、前記表示部への表示を行っても良い。
【００１７】
また、前記表示制御部は、前記領域検出部による検出結果に基づく所定の条件を満たした場合には、前記表示部への表示を禁止しても良い。
【００１８】
また、前記表示制御部は、複数の前記特定領域のうち少なくとも１つの特定領域を、前記合焦制御の対象として選択するための表示を前記表示部に行い、前記所定の条件は、前記合焦制御の対象として適した前記特定領域が、前記領域検出部により検出されたか否かに基づく条件であっても良い。
【００１９】
また、前記表示部による表示に基づいて選択された少なくとも１つの前記特定領域を、追尾対象に設定し、前記追尾対象を複数の前記画像から検出する追尾部を備えても良い。
【００２０】
また、前記表示制御部は、前記領域検出部による検出結果に基づく所定の条件を満たした場合にのみ、前記表示部への表示を行っても良い。
【００２１】
また、前記表示制御部は、前記領域検出部による検出結果に基づく所定の条件を満たした場合には、前記表示部への表示を禁止しても良い。
【００２２】
また、前記表示制御部は、複数の前記特定領域のうち少なくとも１つの特定領域を、前記追尾対象として選択するための表示を前記表示部に行い、前記所定の条件は、前記追尾対象として適した前記特定領域が、前記領域検出部により検出されたか否かに基づく条件であっても良い。
【００２３】
また、前記領域検出部は、前記追尾部による追尾が開始される前は、前記取得部により前記画像データをｎ（ただし、ｎは１以上の整数）枚取得する毎に前記特定領域を検出し、前記追尾部による追尾が開始されると、前記取得部により前記画像データをｍ（ただし、ｍは１以上の整数、かつ、ｎ＞ｍ）枚取得する毎に前記特定領域を検出しても良い。
【００２４】
また、前記表示制御部により複数の前記特定領域を切り替えて前記表示部に表示する際に、表示を切り替えるユーザ操作を受け付ける受付部を備えても良い。
【００２５】
また、前記表示部は、複数の前記特定領域のうち少なくとも１つの特定領域を選択するユーザ操作を受け付けるタッチパネル部を備えても良い。
【００２６】
本発明の画像処理プログラムは、コンピュータに、処理対象の画像データを取得する取得手順と、前記画像データにより示される画像の特徴量を算出し、前記特徴量に基づいて特定領域を検出する領域検出手順と、前記領域検出手順により複数の前記特定領域を検出した場合に、表示部に、複数の前記特定領域のうち少なくとも１つの特定領域を選択するための表示を行う表示制御手順とを実行させる。
【発明の効果】
【００２７】
本発明によれば、複数の特定領域が存在する場合に、何れかの特定領域をユーザが容易に選択可能とすることができる。
【図面の簡単な説明】
【００２８】
【図１】レンズ鏡筒１０と、撮像装置２０と、記憶媒体４０との構成を示すブロック図である。
【図２】第１実施形態の自動検出モード実行時のＣＰＵ２６の動作を示すフローチャートである。
【図３】主要被写体変更処理について説明する図である。
【図４】主要被写体選択処理について説明する図である。
【図５】第２実施形態の自動検出モード実行時のＣＰＵ２６の動作を示すフローチャートである。
【図６】第２実施形態の自動検出モード実行時のＣＰＵ２６の動作を示すフローチャート（続き）である。
【図７】追尾に関する設定処理について説明する図である。
【図８】第３実施形態の自動検出モード実行時のＣＰＵ２６の動作を示すフローチャートである。
【発明を実施するための形態】
【００２９】
＜第１実施形態＞
以下、第１実施形態について図面を参照して詳細に説明する。
【００３０】
第１実施形態では、図１に示すようなレンズ鏡筒１０と、撮像装置２０と、記憶媒体４０とからなる装置を例に挙げて説明する。
【００３１】
撮像装置２０は、レンズ鏡筒１０から入射される光学像を撮像する。得られた画像は静止画又は動画の画像として、記憶媒体４０に記憶される。
【００３２】
レンズ鏡筒１０は、焦点調整レンズ（以下、「ＡＦ（Ａｕｔｏ  Ｆｏｃｕｓ）レンズ」と称する）１１と、レンズ駆動部１２と、ＡＦエンコーダ１３と、鏡筒制御部１４とを備える。なお、レンズ鏡筒１０は、撮像装置２０に着脱可能に接続されても良いし、撮像装置２０と一体であっても良い。
【００３３】
撮像装置２０は、撮像部２１と、画像処理装置２２と、表示部２３と、バッファメモリ部２４と、記憶部２５と、ＣＰＵ２６と、操作部２７と、通信部２８とを備える。撮像部２１は、不図示の撮像素子を備え、設定された撮像条件（例えば絞り値、露出値等）に従って、ＣＰＵ２６により制御される。
【００３４】
レンズ鏡筒１０において、ＡＦレンズ１１は、レンズ駆動部１２により駆動され、撮像装置２０の撮像部２１における不図示の撮像素子の受光面（光電変換面）に、光学像を導く。ＡＦエンコーダ１３は、ＡＦレンズ１１の移動を検出し、ＡＦレンズ１１の移動量に応じた信号を、鏡筒制御部１４に出力する。ここで、ＡＦレンズ１１の移動量に応じた信号とは、例えば、ＡＦレンズ１１の移動量に応じて位相が変化するサイン（ｓｉｎ）波信号であってもよい。
【００３５】
鏡筒制御部１４は、撮像装置２０のＣＰＵ２６から入力される駆動制御信号に応じて、レンズ駆動部１２を制御する。ここで、駆動制御信号とは、ＡＦレンズ１１を光軸方向に駆動させる制御信号である。鏡筒制御部１４は、駆動制御信号に応じて、例えば、レンズ駆動部１２に出力するパルス電圧のステップ数を変更する。また、鏡筒制御部１４は、ＡＦレンズ１１の移動量に応じた信号に基づいて、レンズ鏡筒１０におけるＡＦレンズ１１の位置（フォーカスポジション）を、撮像装置２０のＣＰＵ２６に出力する。ここで、鏡筒制御部１４は、例えば、ＡＦレンズ１１の移動量に応じた信号を、ＡＦレンズ１１の移動方向に応じて積算することで、レンズ鏡筒１０におけるＡＦレンズ１１の移動量（レンズの位置）を算出してもよい。レンズ駆動部１２は、鏡筒制御部１４の制御に応じてＡＦレンズ１１を駆動し、ＡＦレンズ１１をレンズ鏡筒１０内で光軸方向に移動させる。
【００３６】
撮像装置２０において、撮像部２１は、例えば、レンズ鏡筒１０（光学系）により光電変換面に結像された光学像を撮像素子内でデジタル信号に変換して出力する撮像素子を備えても良い。また、例えば、撮像部２１は、撮像素子およびＡ／Ｄ変換部を備え、撮像素子はレンズ鏡筒１０（光学系）により光電変換面に結像された光学像を電気信号に変換してＡ／Ｄ変換部に出力し、Ａ／Ｄ変換部は、撮像素子によって変換された電気信号をデジタル化して、デジタル信号として出力する構成としても良い。なお、撮像素子は、例えば、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの光電変換素子で構成される。また、撮像素子は、光電変換面の一部の領域について、光学像を電気信号に変換するようにしてもよい（画像切り出し）。また、撮像部２１は、操作部２７を介してユーザからの撮影指示を受け付けた際に得られる記録用の画像を、通信部２８を介して記憶媒体４０に出力する。一方、撮像部２１は、操作部２７を介してユーザからの撮影指示を受け付ける前の状態において、連続的に得られる画像をスルー画像として、バッファメモリ部２４及び表示部２３に出力する。
【００３７】
画像処理装置２２は、記憶部２５に記憶されている画像処理条件に基づいて、バッファメモリ部２４に一時的に記憶されている画像に対する画像処理を行う。そして、画像処理後の画像は、通信部２８を介して記憶媒体４０に記憶される。また、画像処理装置２２は、バッファメモリ部２４に一時的に記憶されている画像に対して、マスク抽出処理を行う（詳細は後述する）。そして、抽出したマスクに関する情報は、ＣＰＵ２６に出力されるとともに、記憶部２５や記憶媒体４０等に記憶される。
【００３８】
表示部２３は、例えば液晶ディスプレイであって、撮像部２１によって生成された画像、及び操作画面等を表示する。バッファメモリ部２４は、撮像部２１によって生成された画像を一時的に記憶する。記憶部２５は、撮像条件や、各種判定の際にＣＰＵ２６によって参照される判定条件などを記憶する。
【００３９】
ＣＰＵ２６は、領域検出部３１、表示制御部３２、ＡＦ制御部３３、追尾制御部３４の各部を備え、画像処理部２２や記憶部２５などから適宜必要な情報を取得し、取得した情報に基づいて、撮像装置２０内の各部を統括的に制御する。各部の具体的な動作については後述する。ＣＰＵ２６による制御には、焦点調整（ＡＦ）の設定、露出調整（ＡＥ）の設定、ホワイトバランス調整（ＷＢ）の設定、閃光の発光量の変更の設定、被写体追尾の設定、各種撮影モードの設定、各種画像処理の設定、各種表示の設定、ズーム倍率に連動した明るさの最適化の設定などが含まれる。また、ＣＰＵ２６は、操作部２７の操作状態を監視するとともに、表示部２３への画像データの出力を行う。
【００４０】
操作部２７は、例えば、電源スイッチ、シャッタボタン、マルチセレクタ（十字キー）、又はその他の操作キーを備え、ユーザによって操作されることでユーザの操作入力を受け付け、操作入力に応じた信号をＣＰＵ２６に出力する。なお、不図示のシャッタボタンについては、公知の半押し（Ｓ１）および全押し（Ｓ２）の２段階の操作が可能である。また、半押し（Ｓ１）については、通常の押圧操作であるＯＮと、一定時間以上押圧し続ける操作である長押し操作とが可能である。また、不図示のマルチセレクタには、公知のものと同様に、決定操作に用いられるＯＫボタンが設けられる。
【００４１】
通信部２８は、カードメモリ等の取り外しが可能な記憶媒体４０と接続され、この記憶媒体４０への情報（画像データ、領域の情報など）の書込み、読み出し、あるいは消去を行う。
【００４２】
記憶媒体４０は、撮像装置２０に対して着脱可能に接続される記憶部であって、情報（画像データ、領域の情報など）を記憶する。なお、記憶媒体４０は、撮像装置２０と一体であってもよい。
【００４３】
撮像装置２０は、撮影時に、焦点調節情報に基づいて特定領域（例えば、主要被写体領域や注目領域など）を検出する通常モードの他に、自動で特定領域を検出する自動検出モードを備える。自動検出モードは、構図確認用のスルー画像等に基づいて、特定領域を自動で継続的に検出し、検出した特定領域の情報に基づいて、各部を制御するモードである。この自動検出モードは操作部２７を介したユーザ操作により設定可能であっても良いし、ＣＰＵ２６により自動で設定可能であっても良い。
【００４４】
以下、特定領域として主要被写体領域を検出する自動検出モード実行時のＣＰＵ２６の動作について、図２のフローチャートを参照して説明する。
【００４５】
ステップＳ１０１において、ＣＰＵ２６は、撮像部２１を制御して、スルー画像の取得を開始する。取得されたスルー画像の画像情報はバッファメモリ部２４に一時的に記憶される。このスルー画像は、所定の時間間隔で連続して生成される。そして、ＣＰＵ２６によるスルー画像の取得は、時間的に連続して順次行われる。
【００４６】
ステップＳ１０２において、ＣＰＵ２６は、画像処理装置２２を制御して通常の画像処理を行う。通常の画像処理とは、ホワイトバランス調整、補間処理、色調補正処理、階調変換処理などである。各処理の具体的な方法は公知技術と同様であるため説明を省略する。画像処理装置２２は、バッファメモリ部２４から対象となる画像の画像データを取得し、画像処理を施した後に、再びバッファメモリ部２４に出力する。
【００４７】
ステップＳ１０３において、ＣＰＵ２６は、領域検出部３１によりマスク抽出処理を行う。マスク抽出処理とは、画像における特徴量を算出し、特徴量が類似する、または、同一のかたまり（マスク）に基づいて主要被写体領域を検出するための一手法である。例えば、画像における特徴量から評価値を求め、同一、または同一と見なせる評価値の連続領域を求めることによりマスク抽出を行う。マスク抽出の手法はどのような方法であっても良い。また、マスク抽出の具体的な方法は公知技術と同様であるため説明を省略する。なお、このマスク抽出処理は、後述する撮影指示が行われるまで、継続的に行われる。つまり、スルー画像が変化すると、抽出されるマスクも随時更新されることになる。
【００４８】
ステップＳ１０４において、ＣＰＵ２６は、被写体領域を抽出できたか否かを判定する。ＣＰＵ２６は、１つ以上の被写体領域を抽出できたと判定するとステップＳ１０５に進む。一方、被写体領域を１つも抽出できないと判定すると、ＣＰＵ２６は、ステップＳ１０２に戻り、次のフレームの画像に対してステップＳ１０２以降の処理を行う。
【００４９】
ステップＳ１０５において、ＣＰＵ２６は、マスク情報を記録する。ＣＰＵ２６は、ステップＳ１０３で実行したマスク抽出処理の結果についての情報を、マスク情報としてバッファメモリ部２４や記憶部２５等に記録する。マスク情報には、ステップＳ１０３のマスク抽出処理の抽出条件（色区分やマスク区分など）、マスクの位置、マスクの大きさや形状、評価値による各マスクの順位などの情報が含まれる。
【００５０】
ステップＳ１０６において、ＣＰＵ２６は、ｎ回（ｎフレーム）以上連続して同一のマスクを抽出したか否かを判定する。ＣＰＵ２６は、ｎ回以上連続して同一のマスクを抽出したと判定すると後述するステップＳ１０７に進む。一方、ｎ回以上連続して同一のマスクを抽出していないと判定すると、ＣＰＵ２６は、上述したステップＳ１０２に戻り、次のスルー画像を対象としてステップＳ１０２以降の処理を行う。
【００５１】
同一のマスクを抽出する場合とは、複数フレームにおいて、略同色、略同サイズのマスクが、略同じ位置において抽出される場合である。この判定には、ステップＳ１０５で説明したマスク情報等を用いれば良い。何れの場合も、フレーム間の変化量が規定以内である場合に、同一と判定することができる。ステップＳ１０５で説明したマスク情報等に基づいて、過去に行われたマスク抽出の傾向（抽出されたマスクの種類、出現頻度など）を求め、この傾向に応じて上述した変化量が規定以内であるかを判断する閾値を適宜変更可能としても良い。例えば、過去に高い頻度で抽出されたマスクについては、閾値を大きめに変更しても良い。
【００５２】
なお、上述したｎは所定の閾値（例えば、ｎ＝７）であり、撮像部２１による撮像時のフレームレート、レンズ鏡筒１０におけるズーム倍率、操作部２７を介したユーザ操作などに基づいて適宜変更可能としても良い。さらに、ステップＳ１０５で説明したマスク情報等に基づいて、過去に行われたマスク抽出の傾向（抽出されたマスクの種類、出現頻度など）を求め、この傾向に応じて上述したｎの値を適宜変更可能としても良い。例えば、過去に高い頻度で抽出されたマスクについては、ｎの値を小さめに変更しても良い。
【００５３】
また、ステップＳ１０６で行った判定の内容を、ステップＳ１０５で説明したマスク情報に追加して記録しておき、以降のフレームに関する処理時に用いる構成としても良い。
【００５４】
また、上述した以外の方法でマスク抽出処理が安定して行われているか否かを判定する構成としても良い。例えば、前回まで連続して同一のマスクを抽出したか否かを加味して判定を行っても良い。このような構成とすれば、今回のみ一時の未抽出が発生した場合でも、それまでの蓄積を無効にせず、次のフレームにおいて同一のマスクを抽出した場合には、前回までの安定状態が維持されているものと見なすことができる。
【００５５】
ステップＳ１０７において、ＣＰＵ２６は、表示制御部３２により表示部２３を制御して、主要被写体領域を表示部２３に表示する。なお、ステップＳ１０７において、表示制御部３２は、ステップＳ１０３で実行したマスク抽出処理の結果に基づき、評価の高い順から２つのマスクに対応する領域を、それぞれ主要被写体領域とし、主要被写体領域の情報を視認可能に表示する。例えば、表示制御部３２は、図３Ａに例示するように、評価値の順位が第１位のマスクおよび第２位のマスクに対応する主要被写体領域に枠（第１位のマスクに対応する枠Ｆ１、および、第２位のマスクに対応する枠Ｆ２）を表示することにより、撮影対象となるマスクに対応する被写体領域を視認可能に表示する。なお、この枠は、被写体領域の形状に応じたものであっても良いし、矩形や円形など所定の形状であっても良い。また、線の太さ、濃淡、色などはどのようなものであっても良い。いずれにせよ、このような表示を行うことにより、ユーザは、現時点で抽出されたマスク、または、マスクに対応する被写体領域を、容易に把握することができる。なお、本実施形態では、評価の高い上位２つのマスクについて表示を行う例を示すが、適切な数であれば、表示されるマスクは２つでなくても良い。また、表示されるマスクの数は、操作部２７を介したユーザ操作により指定可能であっても良い。
【００５６】
ステップＳ１０８において、ＣＰＵ２６は、Ｓ１が長押しされたか否かを判定する。ＣＰＵ２６は、操作部２７の不図示のシャッタボタンについて、Ｓ１（半押し）が長押しされたと判定するとステップＳ１０９に進む。一方、所定の時間を経過してもＳ１が長押しされないと判定すると、ＣＰＵ２６は、後述するステップＳ１１０に進む。なお、本実施形態においては、ユーザがＳ１を長押しする場合とは、ユーザが、ステップＳ１０７において表示部２３に表示された２つの主要被写体領域を変更する指示を出す場合である。例えば、ステップＳ１０７において表示部２３に表示された２つの主要被写体領域が、ユーザの要望と異なる場合などに、ユーザは、操作部２７の不図示のシャッタボタンのＳ１（半押し）を長押しすることにより、主要被写体領域を変更する指示を出す。
【００５７】
ステップＳ１０９において、ＣＰＵ２６は、表示制御部３２を制御し、主要被写体変更処理を行う。図３Ａに例示したように第１位のマスクに対応する枠Ｆ１、および、第２位のマスクに対応する枠Ｆ２が表示された状態でＳ１が長押しされると、表示制御部３２は、図３Ｂに例示するように、枠Ｆ１および枠Ｆ２に代えて、第３位のマスクおよび第４位のマスクに対応する主要被写体領域に枠（第３位のマスクに対応する枠Ｆ３、および、第４位のマスクに対応する枠Ｆ４）を表示する。さらに、図３Ｂに例示するように第３位のマスクに対応する枠Ｆ３、および、第４位のマスクに対応する枠Ｆ４が表示された状態でＳ１が長押しされると、表示制御部３２は、図３Ｃに例示するように、枠Ｆ３および枠Ｆ４に代えて、第５位のマスクおよび第６位のマスクに対応する主要被写体領域に枠（第５位のマスクに対応する枠Ｆ５、および、第６位のマスクに対応する枠Ｆ６）を表示する。
【００５８】
なお、表示制御部３２は、Ｓ１が長押しされるたびに、評価値の順位にしたがって表示を変更するが、表示するマスクが存在しない場合には、マスク抽出の過程でいわゆる足きり処理の対象となったマスクに対応する枠を表示する構成としても良い。例えば、図３Ｄの例では、マスク抽出処理においては面積が大きすぎてマスクとして不適当と見なされたマスクに対応する枠Ｆ７、および、面積が小さすぎてマスクとして不適当と見なされたマスクに対応する枠Ｆ８を表示する例を示す。
【００５９】
また、上述の例では、評価値の順位にしたがって表示順を決定する例を示したが、他の基準にしたがってマスクの表示順を決定しても良い。例えば、マスク位置を基準とし、画像の中央に近いマスクから遠いマスクへと表示順を決定しても良い。また、例えば、画像の左上に近いマスクから右下に近いマスクへと表示順を決定しても良い。
【００６０】
ステップＳ１１０において、ＣＰＵ２６は、Ｓ１がＯＮされたか否かを判定する。ＣＰＵ２６は、操作部２７の不図示のシャッタボタンについて、Ｓ１（半押し）がＯＮされた（通常の押圧操作された）と判定するとステップＳ１１１に進む。一方、所定の時間を経過してもＳ１がＯＮされないと判定すると、ＣＰＵ２６は、後述するステップＳ１１２に進む。なお、本実施形態においては、ユーザがＳ１をＯＮする場合とは、ユーザが、ステップＳ１０７において表示部２３に表示された２つの主要被写体領域のうち、いずれかの領域を選択する指示を出す場合である。例えば、ステップＳ１０７において表示部２３に表示された２つの主要被写体領域のうち、何らかの理由でいずれかの被写体を選択する場合などに、ユーザは、操作部２７の不図示のシャッタボタンのＳ１（半押し）をＯＮすることにより、主要被写体領域を選択する指示を出す。
【００６１】
ステップＳ１１１において、ＣＰＵ２６は、表示制御部３２を制御し、主要被写体選択処理を行う。図４Ａに例示したように第１位のマスクに対応する枠Ｆ１、および、第２位のマスクに対応する枠Ｆ２が表示された状態でＳ１がＯＮされると、表示制御部３２は、図４Ｂに例示するように、枠Ｆ１および枠Ｆ２のうち、枠Ｆ１を実線とし、枠Ｆ２を点線とし、枠Ｆ１に対応するマスクを選択状態とする。さらに、図４Ｂに例示するように枠Ｆ１を実線とし、枠Ｆ２を点線とし、枠Ｆ１を選択状態とした状態でさらにＳ１がＯＮされると、表示制御部３２は、図４Ｃに例示するように、枠Ｆ１を点線とし、枠Ｆ２を実線とし、枠Ｆ２に対応するマスクを選択状態とする。そして、図４Ｃに例示するように枠Ｆ１を点線とし、枠Ｆ２を実線とし、枠Ｆ２を選択状態とした状態でさらにＳ１がＯＮされると、表示制御部３２は、図４Ｄに例示するように、枠Ｆ１および枠Ｆ２の両方を実線とし、枠Ｆ１および枠Ｆ２の両方に対応する２つのマスクを選択状態とする。なお、図４Ｄに例示するように、枠Ｆ１および枠Ｆ２の両方を実線とし、枠Ｆ１および枠Ｆ２の両方に対応する２つのマスクを選択状態とした状態でさらにＳ１がＯＮされた場合には、例えば、図４Ｂの状態に戻る構成とする。つまり、表示制御部３２は、Ｓ１がＯＮされるたびに、選択状態を変更する。
【００６２】
ステップＳ１１２において、ＣＰＵ２６は、所定の時間が経過したか否かを判定する。ＣＰＵ２６は、所定の時間が経過した場合には、ステップＳ１０９で説明した主要被写体変更処理およびステップＳ１１１で説明した主要被写体選択処理が終了したと判定し、ステップＳ１１３に進む。一方、所定の時間を経過していない場合には、ＣＰＵ２６は、ステップＳ１０９で説明した主要被写体変更処理およびステップＳ１１１で説明した主要被写体選択処理が継続中であると判定し、上述したステップＳ１０８に戻る。
【００６３】
ステップＳ１１３において、ＣＰＵ２６は、ＡＦ制御部３３により主要被写体領域を設定する。ＣＰＵ２６は、ステップＳ１１２において所定の時間を経過したと判定した時点で選択されているマスクに対応する領域を主要被写体領域として設定する。この主要被写体領域は撮影準備動作に用いることができる。
【００６４】
ステップＳ１１４において、ＣＰＵ２６は、Ｓ２がＯＮされたか否かを判定する。ＣＰＵ２６は、操作部２７の不図示のシャッタボタンについて、Ｓ２がＯＮ（全押し）されて撮影指示が行われたと判定するとステップＳ１１５に進む。一方、所定の時間を経過してもＳ２がＯＮされないと判定すると、ＣＰＵ２６は、上述したステップＳ１０２に戻り、次のスルー画像を対象としてステップＳ１０２以降の処理を行う。
【００６５】
ステップＳ１１５において、ＣＰＵ２６は、各部を制御して撮影を実行する。なお、ＡＥ、ＡＦ、ＷＢ等の処理については、ステップＳ１１３で設定した主要被写体領域の情報に基づいて行われる。
【００６６】
ステップＳ１１６において、ＣＰＵ２６は、ステップＳ１１５で実行した撮影により生成した画像の画像データを、通信部２８を介して記憶媒体４０に記録して一連の処理を終了する。
【００６７】
以上説明したように、第１実施形態によれば、取得した画像データにより示される画像の特徴量を算出し、特徴量に基づいて定まる特定領域（例えば、被写体領域や注目領域など）を検出する領域検出部と、領域検出部により検出した特定領域もしくは、特定領域に基づく領域を視認可能に表示する表示部とを備え、領域検出部により複数の特定領域を検出した場合に、表示部に、複数の特定領域のうち少なくとも１つの特定領域を選択するための表示を行う。したがって、上述の構成により、複数の特定領域が存在する場合に、何れかの特定領域をユーザが容易に選択可能とすることができる。
【００６８】
また、本実施形態によれば、領域検出部は、画像データを所定の枚数取得する毎に、特定領域を検出する。したがって、被写体の変化に応じて、表示される特定領域が随時最新のものに更新される。
【００６９】
また、本実施形態によれば、複数の特定領域を切り替えて表示部に表示する。したがって、ユーザによる特定領域選択時の操作性を向上させることができる。
【００７０】
また、本実施形態によれば、複数の特定領域を切り替える際に、特徴量に基づいて表示順を決定する。したがって、ユーザにより選択される可能性が高いと推測される順に、順次特定領域を表示することができる。
【００７１】
また、本実施形態によれば、構図確認用の画像データを連続的に生成し、生成した画像データを順次取得して、上述した処理を行う。したがって、構図確認用のスルー画像に基づいて、効率良く特定領域を検出することができる。
【００７２】
また、本実施形態によれば、表示部による表示に基づいて選択された少なくとも１つの特定領域に基づいて、本撮影のための準備動作（例えば、合焦制御）を実行する。したがって、撮影前に、ユーザにより選択された特定領域に基づいて準備動作を行うことができるので、撮影の確実性を向上させることができる。
【００７３】
なお、第１実施形態では、ユーザが、ステップＳ１０７において表示部２３に表示された２つの主要被写体領域を変更する指示を出す場合に、ユーザがＳ１を長押しし、ユーザが、ステップＳ１０７において表示部２３に表示された２つの主要被写体領域のうち、いずれかの領域を選択する指示を出す場合に、ユーザがＳ１をＯＮする例を示した。このような構成とすれば、ユーザは不図示のファインダを覗いた状態を維持したままで操作を行うことができるという利点がある。しかし、これは一例であり、２種類の操作を区別可能であれば、対応付けられる操作はどのようなものであっても良い。例えば、操作部２７の不図示のマルチセレクタに操作を割り当てても良いし、専用の部材に操作を割り当てても良い。また、表示部２３の表面に、ユーザによる接触に感応するタッチパネル部を備え、タッチパネル部を介して操作を受け付ける構成としても良い。タッチパネル部によれば、ユーザは、ステップＳ１０７において表示部２３に表示された２つの主要被写体領域を変更する際には、変更したい領域またはその近傍を直接触れることにより変更可能である。また、ユーザは、ステップＳ１０７において表示部２３に表示された２つの主要被写体領域のうち、いずれかの領域を選択する場合には、選択したい領域またはその近傍を直接触れることにより選択可能である。
【００７４】
＜第２実施形態＞
以下、第２実施形態について図面を参照して詳細に説明する。第２実施形態は、第１実施形態の変形例である。したがって、第１実施形態と異なる部分についてのみ説明し、第１実施形態と同様の部分については説明を省略する。
【００７５】
第２実施形態では、第１実施形態の図１に示したレンズ鏡筒１０と、撮像装置２０と、記憶媒体４０とからなる装置を例に挙げて説明する。
【００７６】
以下、特定領域として主要被写体領域を検出する自動検出モード実行時のＣＰＵ２６の動作について、図５および図６のフローチャートを参照して説明する。
【００７７】
ステップＳ２０１からステップＳ２０７において、ＣＰＵ２６は、第１実施形態のステップＳ１０１からステップＳ１０７（図２参照）と同様の処理を実行する。
【００７８】
ステップＳ２０８において、ＣＰＵ２６は、Ｓ１がＯＮされたか否かを判定する。ＣＰＵ２６は、操作部２７の不図示のシャッタボタンについて、Ｓ１（半押し）がＯＮされた（通常の押圧操作された）と判定するとステップＳ２０９に進む。一方、所定の時間を経過してもＳ１がＯＮされないと判定すると、ＣＰＵ２６は、上述したステップＳ２０２に戻る。なお、本実施形態においては、ユーザがＳ１をＯＮする場合とは、ユーザが、ステップＳ１０７において表示部２３に表示された２つの主要被写体領域のうち、いずれかの領域を追尾の対象として選択する指示を出す場合である。
【００７９】
ステップＳ２０９において、ＣＰＵ２６は、表示制御部３２を制御し、主要被写体選択処理を行う。主要被写体選択処理については、第１実施形態のステップＳ１１１（図２参照）と同様である。例えば、図７Ａに例示するように第１位のマスクに対応する枠Ｆ１、および、第２位のマスクに対応する枠Ｆ２が表示された状態でＳ１がＯＮされると、表示制御部３２は、図７Ｂに例示するように、枠Ｆ１および枠Ｆ２のうち、枠Ｆ１を実線とし、枠Ｆ２を点線とし、枠Ｆ１に対応するマスクを選択状態とする。以下では、枠Ｆ１に対応するマスクが選択されたものとして、説明を行う。
【００８０】
ステップＳ２１０において、ＣＰＵ２６は、ＡＦ制御部３３により主要被写体領域を設定する。ＣＰＵ２６は、ステップＳ２０９の主要被写体選択処理において選択されたマスクに対応する領域を主要被写体領域として設定する。この主要被写体領域は撮影準備動作に用いることができる。
【００８１】
ステップＳ２１１において、ＣＰＵ２６は、ＯＫボタンがＯＮされたか否かを判定する。ＣＰＵ２６は、操作部２７の不図示のマルチセレクタに設けられたＯＫボタンがＯＮされたと判定するとステップＳ２１２に進む。一方、所定の時間を経過してもＯＫボタンがＯＮされないと判定すると、ＣＰＵ２６は、後述するステップＳ２１９に進む。なお、本実施形態においては、ユーザがＯＫボタンをＯＮする場合とは、ユーザが、ステップＳ２０９の主要被写体選択処理で選択した主要被写体領域を追尾処理の対象として決定し、追尾処理を開始する指示を出す場合である。
【００８２】
ステップＳ２１２において、ＣＰＵ２６は、追尾処理の開始を示す追尾ロックフラグをＯＮにする。
【００８３】
ステップＳ２１３において、ＣＰＵ２６は、ＡＦ制御部３３によりコントラストＡＦを実行する。ＡＦ制御部３３は、鏡筒制御部１４を介してレンズ駆動部１２を制御し、ＡＦレンズ１１を、所定の開始位置から所定の方向に移動しつつ、ステップＳ２１１で開始した追尾処理の対象である主要被写体領域におけるコントラスト評価値を取得する。そして、取得した評価値に基づいて、鏡筒制御部１４を介してレンズ駆動部１２を制御し、コントラストＡＦに基づく合焦制御を行う。
【００８４】
ステップＳ２１４において、ＣＰＵ２６は、撮像部２１から次のスルー画像を取得する。ＣＰＵ２６は、取得したスルー画像の画像情報をバッファメモリ部２４に一時的に記憶してステップＳ２１５に進む。
【００８５】
ステップＳ２１５において、ＣＰＵ２６は、画像処理装置２２を制御して通常の画像処理を行う。通常の画像処理については、第１実施形態のステップＳ１０２（図２参照）と同様である。
【００８６】
ステップＳ２１６において、ＣＰＵ２６は、領域検出部３１によりステップＳ２１２で説明した追尾ロックに基づくマスク抽出処理を行う。領域検出部３１は、追尾処理の対象として設定された主要被写体領域に対応するマスクのみを抽出する。すなわち、第１実施形態のステップＳ１０３（図２参照）および第２実施形態のステップＳ２０３におけるマスク抽出処理とは異なり、限定された条件でマスク抽出処理を行う。そのため、処理負荷は、第１実施形態のステップＳ１０３（図２参照）および第２実施形態のステップＳ２０３におけるマスク抽出処理よりも大幅に軽くなる。また、追尾ロックに基づくマスク抽出処理は、第１実施形態のステップＳ１０３（図２参照）および第２実施形態のステップＳ２０３におけるマスク抽出処理よりも、速いフレームレートで行われる。例えば、追尾が開始される前に行われる第１実施形態のステップＳ１０３（図２参照）および第２実施形態のステップＳ２０３におけるマスク抽出処理は、画像データをｎ（例えば、ｎ＝６）枚取得する毎に行われ、追尾が開始された後の追尾ロックに基づくマスク抽出処理は、画像データをｍ（例えば、ｍ＝３、ただし、ｎ＞ｍ）枚取得する毎に行われる。
【００８７】
ステップＳ２１７において、ＣＰＵ２６は、被写体領域を抽出できたか否かを判定する。ＣＰＵ２６は、１つ以上の被写体領域を抽出できたと判定するとステップＳ２１８に進む。一方、被写体領域を１つも抽出できないと判定すると、ＣＰＵ２６は、ステップＳ２１４に戻り、次のフレームの画像に対してステップＳ２１４以降の処理を行う。
【００８８】
ステップＳ２１８において、ＣＰＵ２６は、表示制御部３２により表示部２３を制御して、追尾枠を表示部２３に表示する。なお、追尾枠は、被写体領域の形状に応じたものであっても良いし、矩形や円形など所定の形状であっても良い。また、線の太さ、濃淡、色などはどのようなものであっても良い。追尾枠を表示することにより、ユーザは、現時点で追尾されているマスク、または、追尾されているマスクに対応する被写体領域を、容易に把握することができる。図７Ｂに例示したように、枠Ｆ１および枠Ｆ２のうち、枠Ｆ１を実線とし、枠Ｆ２を点線とし、枠Ｆ１に対応するマスクを選択状態とした状態で、ステップＳ２１１においてＯＫボタンがＯＮされると、表示制御部３２は、図７Ｃに例示するように、枠Ｆ１を実線とし、枠Ｆ１に対応するマスクが選択状態であることを視認可能に表示する。そして、追尾制御部３４は、図７Ｄに例示するように、枠Ｆ１が画面端などに存在する場合でも、継続的に追尾処理を実行する。
【００８９】
ステップＳ２１８で追尾枠を表示するか、または、ステップＳ２１１において所定の時間を経過してもＯＫボタンがＯＮされないと判定すると、ステップＳ２１９において、ＣＰＵ２６は、Ｓ２がＯＮされたか否かを判定する。ＣＰＵ２６は、操作部２７の不図示のシャッタボタンについて、Ｓ２がＯＮ（全押し）されて撮影指示が行われたと判定すると後述するステップＳ２２１に進む。一方、所定の時間を経過してもＳ２がＯＮされないと判定すると、ＣＰＵ２６は、ステップＳ２２０に進む。
【００９０】
ステップＳ２２０において、ＣＰＵ２６は、追尾ロックフラグがＯＮされているか否かを判定する。ＣＰＵ２６は、ステップＳ２１２で説明した追尾ロックフラグがＯＮされていると判定するとステップＳ２１４に戻り、次のフレームの画像に対してステップＳ２１４以降の処理を行う。つまり、ＣＰＵ２６は、ＡＦ制御部３３により追尾対象として選択された主要被写体領域に対してコンティニュアスＡＦを実行する。一方、追尾ロックフラグがＯＮされていないと判定すると、ＣＰＵ２６は、ステップＳ２０２に戻り、次のフレームの画像に対してステップＳ２０２以降の処理を行う。つまり、ＣＰＵ２６は、領域検出部３１により新たにマスク抽出処理を実行する。
【００９１】
ステップＳ２１９においてＳ２がＯＮされたと判定すると、ステップＳ２２１において、ＣＰＵ２６は、各部を制御して撮影を実行する。なお、ＡＥ、ＡＦ、ＷＢ等の処理については、ステップＳ２１１において所定の時間を経過してもＯＫボタンがＯＮされないと判定した場合には、ステップＳ２１０で設定した主要被写体領域の情報に基づいて行われる。また、ステップＳ２１８で追尾枠を表示した場合には、ステップＳ２１８で表示した追尾枠に対応する主要被写体領域の情報に基づいて、ＡＥ、ＡＦ、ＷＢ等の処理が行われる。
【００９２】
ステップＳ２２２において、ＣＰＵ２６は、ステップＳ２２１で実行した撮影により生成した画像の画像データを、通信部２８を介して記憶媒体４０に記録して一連の処理を終了する。
【００９３】
以上説明したように、第２実施形態によれば、表示部による表示に基づいて選択された少なくとも１つの特定領域（例えば、被写体領域や注目領域など）を追尾対象に設定し、追尾対象を画像から検出する。したがって、追尾対象の選択の操作性を向上させるとともに、撮影の確実性を向上させることができる。
【００９４】
また、第２実施形態によれば、領域検出部は、追尾が開始される前は、画像データをｎ（ただし、ｎは１以上の整数）枚取得する毎に特定領域を検出し、追尾が開始されると、画像データをｍ（ただし、ｍは１以上の整数、かつ、ｎ＞ｍ）枚取得する毎に特定領域を検出する。したがって、追尾開始後の処理の精密性を向上させ、撮影の確実性を向上させることができる。
【００９５】
なお、第２実施形態では、ユーザが、ステップＳ２０７において表示部２３に表示された２つの主要被写体領域のうち、いずれかの領域を選択する指示を出す場合に、ユーザがＳ１をＯＮし、ユーザが、主要被写体領域を追尾処理の対象として決定する指示を出す場合に、ユーザがＯＫボタンをＯＮする例を示した。しかし、これは一例であり、２種類の操作を区別可能であれば、対応付けられる操作はどのようなものであっても良い。例えば、操作部２７の不図示のマルチセレクタに操作を割り当てても良いし、専用の部材に操作を割り当てても良い。また、表示部２３の表面に、ユーザによる接触に感応するタッチパネル部を備え、タッチパネル部を介して操作を受け付ける構成としても良い。タッチパネル部によれば、ユーザは、ステップＳ２０７において表示部２３に表示された２つの主要被写体領域のうち、いずれかの領域を選択する場合には、選択したい領域またはその近傍を直接触れることにより選択可能である。また、ユーザは、主要被写体領域を追尾処理の対象として決定する際には、追尾処理の対象として決定したい領域またはその近傍を直接触れることにより決定可能である。
【００９６】
＜第３実施形態＞
以下、第３実施形態について図面を参照して詳細に説明する。第３実施形態は、第１実施形態および第２実施形態の変形例である。したがって、第１実施形態および第２実施形態と異なる部分についてのみ説明し、第１実施形態および第２実施形態と同様の部分については説明を省略する。
【００９７】
第３実施形態では、第１実施形態の図１に示したレンズ鏡筒１０と、撮像装置２０と、記憶媒体４０とからなる装置を例に挙げて説明する。
【００９８】
第３実施形態は、表示のタイミングに関する変形例である。基本的には、以下の２点にしたがって、表示を行う。
１）マスク抽出処理に基づく特定領域（例えば、被写体領域や注目領域など）の検出結果に基づく所定の条件を満たした場合にのみ、表示を行う。
２）マスク抽出処理に基づく特定領域（例えば、被写体領域や注目領域など）の検出結果に基づく所定の条件を満たした場合には、表示を禁止する。
【００９９】
以下、特定領域として主要被写体領域を検出する自動検出モード実行時のＣＰＵ２６の動作について、図８のフローチャートを参照して説明する。
【０１００】
ステップＳ３０１からステップＳ３０３において、ＣＰＵ２６は、第１実施形態のステップＳ１０１からステップＳ１０３（図２参照）と同様の処理を実行する。
【０１０１】
ステップＳ３０４において、ＣＰＵ２６は、被写体領域を抽出できたか否かを判定する。ＣＰＵ２６は、１つ以上の被写体領域を抽出できたと判定するとステップＳ３０５に進む。一方、被写体領域を１つも抽出できないと判定すると、ＣＰＵ２６は、後述するステップＳ３０７に進む。
【０１０２】
ステップＳ３０５において、ＣＰＵ２６は、マスク情報を記録する。ＣＰＵ２６は、ステップＳ３０３で実行したマスク抽出処理の結果についての情報を、マスク情報としてバッファメモリ部２４や記憶部２５等に記録する。マスク情報には、ステップＳ１０３のマスク抽出処理の抽出条件（色区分やマスク区分など）、マスクの位置、マスクの大きさや形状、評価値による各マスクの順位などの情報が含まれる。
【０１０３】
ステップＳ３０６において、ＣＰＵ２６は、第１実施形態のステップＳ１０６と同様に、ｎ回（ｎフレーム）以上連続して同一のマスクを抽出したか否かを判定する。ＣＰＵ２６は、ｎ回以上連続して同一のマスクを抽出したと判定すると後述するステップＳ３０８に進む。一方、ｎ回以上連続して同一のマスクを抽出していないと判定すると、ＣＰＵ２６は、ステップＳ３０７に進む。
【０１０４】
ステップＳ３０４において被写体領域を１つも抽出できないと判定した場合、または、ステップＳ３０６においてｎ回以上連続して同一のマスクを抽出していないと判定した場合、ステップＳ３０７において、ＣＰＵ２６は、各部を制御して警告処理を行う。警告処理とは、被写体領域を１つも抽出できない、または、ｎ回以上連続して同一のマスクを抽出していないためマスク抽出が不安定であることをユーザに報知するための処理である。ＣＰＵ２６は、例えば、表示制御部３２により表示部２３を制御して、上述した報知内容を示すメッセージを表示部２３に表示する。また、例えば、ＣＰＵ２６は、音声出力やランプなどを用いてユーザに対する報知を行っても良い。そして、警告処理を実行すると、ＣＰＵ２６は、後述するステップＳ３１５に進む。
【０１０５】
さらに、警告処理において、ＣＰＵ２６は、ステップＳ３０４において被写体領域を１つも抽出できない場合、または、ステップＳ３０６においてｎ回以上連続して同一のマスクを抽出していない場合であっても、後述する撮影指示には対応できるように、仮領域の設定を行う。仮領域とは、例えば、予め定められた画像の中央領域である。
【０１０６】
ステップＳ３０６においてｎ回以上連続して同一のマスクを抽出したと判定した場合、ステップＳ３０８において、ＣＰＵ２６は、背景マスクまたは背景が移動したか否かを判定する。ＣＰＵ２６は、背景マスクまたは背景が移動したと判定するとステップＳ３０９に進む。一方、背景マスクまたは背景が移動していないと判定すると、ＣＰＵ２６は、後述するステップＳ３１２に進む。なお、背景マスクまたは背景が移動したか否かは、ステップＳ３０６においてｎ回以上連続して同一のマスクを抽出したと判定した各種マスクについて、複数のスルー画像間での位置変化（経時変化）を求めることにより判定される。位置変化は、ステップＳ３０５で説明した被写体情報に基づいて求めることができ、位置変化を示す値と所定の閾値とを比較することにより、背景マスクまたは背景が移動したか否かを判定することができる。なお、さらに、画像の動き情報を用いても良い。例えば、撮像装置２０自体の動きを、不図示のセンサや生成した画像に基づいて求めることにより画像の動き情報を取得し、取得した画像の動き情報を加味して上述した判定を行う構成としても良い。
【０１０７】
ステップＳ３０９において、ＣＰＵ２６は、表示制御部３２により表示部２３を制御して、追尾候補枠を表示部２３に表示する。なお、追尾候補枠とは、追尾対象として好ましいと考えられるマスクに対応するものである。上述したステップＳ３０８の判定により背景マスクまたは背景が移動している場合には、主要被写体が移動していると考えられるため、主要被写体領域は追尾対象として適していると判断することができる。つまり、ＣＰＵ２６は、追尾対象として適した被写体領域が、マスク抽出処理に基づいて検出されたか否かに基づいて、追尾候補枠の表示を行う。また、追尾候補枠は、被写体領域の形状に応じたものであっても良いし、矩形や円形など所定の形状であっても良い。また、線の太さ、濃淡、色などはどのようなものであっても良い。追尾候補枠を表示することにより、ユーザは、現時点で追尾対象として適すると推定できるマスクを、容易に把握することができる。
【０１０８】
ステップＳ３１０において、ＣＰＵ２６は、ＯＫボタンがＯＮされたか否かを判定する。ＣＰＵ２６は、操作部２７の不図示のマルチセレクタに設けられたＯＫボタンがＯＮされたと判定するとステップＳ３１１に進む。一方、所定の時間を経過してもＯＫボタンがＯＮされないと判定すると、ＣＰＵ２６は、後述するステップＳ３１５に進む。なお、本実施形態においては、ユーザがＯＫボタンをＯＮする場合とは、ユーザが、ステップＳ３０９で表示された追尾候補枠の主要被写体領域を追尾処理の対象として決定し、追尾処理を開始する指示を出す場合である。
【０１０９】
ステップＳ３１１において、ＣＰＵ２６は、追尾処理の開始を示す追尾ロックフラグをＯＮにし、後述するステップＳ３１５に進む。
【０１１０】
ステップＳ３０８において、背景マスクまたは背景が移動していないと判定した場合、ステップＳ３１２において、ＣＰＵ２６は、被写体は複数であるか否かを判定する。ＣＰＵ２６は、被写体が複数であると判定するとステップＳ３１３に進む。一方、被写体が単数であると判定すると、ＣＰＵ２６は、後述するステップＳ３１５に進む。
【０１１１】
ステップＳ３１３において、ＣＰＵ２６は、第１実施形態のステップＳ１０７と同様に、表示制御部３２により表示部２３を制御して、主要被写体領域を表示部２３に表示する。なお、ステップＳ３１２において被写体が複数であると判定される場合とは、第１実施形態および第２実施形態で説明した主要被写体変更処理や主要被写体選択処理などが有用な場合である。
【０１１２】
ステップＳ３１４において、ＣＰＵ２６は、表示制御部３２を制御し、主要被写体選択処理を行う。主要被写体選択処理については、第１実施形態のステップＳ１１１（図２参照）と同様である。
【０１１３】
ステップＳ３０７において警告処理を行った場合（以下、ケース１と称する）、または、ステップＳ３１１において追尾ロックフラグをＯＮにした場合（以下、ケース２と称する）、または、ステップＳ３１２において被写体が単数であると判定した場合（以下、ケース３と称する）、または、ステップＳ３１４において主要被写体選択処理を行った場合（以下、ケース４と称する）、ステップＳ３１５において、ＣＰＵ２６は、ＡＦ制御部３３により主要被写体領域を設定する。ＣＰＵ２６は、ケース毎に以下の領域を主要被写体領域として設定する。この主要被写体領域は撮影準備動作に用いることができる。
・ケース１・・・ステップＳ３０７において説明した仮領域を主要被写体領域として設定する。
・ケース２・・・ステップＳ３１０においてＯＫボタンがＯＮされた際に、追尾処理の対象として設定されたマスクに対応する領域を主要被写体領域として設定する。
・ケース３・・・ステップＳ３０６においてｎ回以上連続して抽出されたと判定されたマスクに対応する領域を主要被写体領域として設定する。
・ケース４・・・ステップＳ３１４の主要被写体選択処理において選択されたマスクに対応する領域を主要被写体領域として設定する。
【０１１４】
ステップＳ３１６において、ＣＰＵ２６は、撮影指示が行われたか否かを判定する。ＣＰＵ２６は、撮影指示が行われたと判定するとステップＳ３１７に進む。一方、所定の時間を経過しても撮影指示が行われないと判定すると、ＣＰＵ２６は、上述したステップＳ３０２に戻り、次のスルー画像を対象としてステップＳ３０２以降の処理を行う。なお、撮影指示は、操作部２７のシャッタボタンを介したユーザ操作により行われる。このユーザ操作は、いわゆるＳ１（半押し）とＳ２（全押し）の何れであっても良い。
【０１１５】
ステップＳ３１６において撮影指示が行われたと判定すると、ステップＳ３１７において、ＣＰＵ２６は、各部を制御して撮影を実行する。なお、ＡＥ、ＡＦ、ＷＢ等の処理については、ステップＳ３１５で設定した主要被写体領域の情報に基づいて行われる。
【０１１６】
ステップＳ３１８において、ＣＰＵ２６は、ステップＳ３１７で実行した撮影により生成した画像の画像データを、通信部２８を介して記憶媒体４０に記録して一連の処理を終了する。
【０１１７】
以上説明したように、第３実施形態によれば、領域検出部による検出結果に基づく所定の条件を満たした場合にのみ、表示部への表示を行う。または、領域検出部による検出結果に基づく所定の条件を満たした場合には、表示部への表示を禁止する。したがって、不要な表示を避け、必要かつ有用な場合にのみ表示を行うことができる。
【０１１８】
また、第３実施形態によれば、上述した所定の条件は、領域検出部による特定領域（例えば、被写体領域や注目領域など）の検出の可否に基づく条件である。したがって、領域検出部による検出結果に応じて、不要な表示を避け、必要かつ有用な場合にのみ表示を行うことができる。
【０１１９】
また、第３実施形態によれば、上述した所定の条件は、表示部による表示に基づいた選択をする際に、選択に適さない特定領域が存在するか否かに基づく条件である。したがって、選択に適さない特定領域が存在するか否かに応じて、不要な表示を避け、必要かつ有用な場合にのみ表示を行うことができる。
【０１２０】
また、第３実施形態によれば、上述した所定の条件は、合焦制御の対象として適した特定領域が、領域検出部により検出されたか否かに基づく条件である。そのため、例えば、合焦制御の対象として適した特定領域が検出された場合にのみ表示を行うか、または、合焦制御の対象として適した特定領域が検出されない場合には、表示を禁止する。したがって、合焦制御の対象として適した特定領域が、領域検出部により検出されたか否かに応じて、不要な表示を避け、必要かつ有用な場合にのみ表示を行うことができる。
【０１２１】
また、第３実施形態によれば、上述した所定の条件は、追尾対象として適した特定領域が、領域検出部により検出されたか否かに基づく条件である。そのため、例えば、追尾対象としてとして適した特定領域が検出された場合にのみ表示を行うか、または、追尾対象としてとして適した特定領域検出されない場合には、表示を禁止する。したがって、追尾対象として適した特定領域が、領域検出部により検出されたか否かに応じて、不要な表示を避け、必要かつ有用な場合にのみ表示を行うことができる。
【０１２２】
なお、第３実施形態で説明した表示を行うタイミング、および、表示を禁止するタイミングは一例であり、本発明はこの例に限定されない。上述したように、マスク抽出処理に基づく特定領域の検出結果に基づく所定の条件を満たした場合にのみ、表示を行っても良いし、マスク抽出処理に基づく特定領域の検出結果に基づく所定の条件を満たした場合には、表示を禁止しても良い。例えば、撮影経験の豊富なユーザなど、不要な表示が迷惑となる場合には、最小限の表示のみ行う。また、例えば、撮影経験の少ない初心者など、不要な表示が混乱を招く場合には、助けとなる表示や、警告表示や、失敗の事前通知の表示のみを行うと良い。
【０１２３】
また、第３実施形態では、主要被写体領域を追尾処理の対象として決定する指示を出す場合に、ユーザがＯＫボタンをＯＮする例を示した。しかし、これは一例であり、対応付けられる操作はどのようなものであっても良い。例えば、操作部２７の不図示のマルチセレクタに操作を割り当てても良いし、専用の部材に操作を割り当てても良い。また、表示部２３の表面に、ユーザによる接触に感応するタッチパネル部を備え、タッチパネル部を介して操作を受け付ける構成としても良い。
【０１２４】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【０１２５】
上記の各実施形態では、ユーザ操作を受け付ける部材として、シャッタボタン、マルチセレクタ、タッチパネル部などを例示したが、本発明はこの例に限定されない。例えば、音声認識、モーションキャプチャ、生体センサなど、どのようなものを用いても良い。
【０１２６】
また、上記の各実施形態においては、構図確認用のスルー画像に基づいて、一連の処理を行う例を示したが、本発明はこの例に限定されない。例えば、一眼レフカメラなどにおいて生成される構図確認用のライブビュー画像を対象とする場合にも、本発明を同様に適用することができる。また、記憶媒体４０等に記録された動画像を対象とする場合にも、本発明を同様に適用することができる。この場合、例えば、動画像を再生して編集する際に、ユーザにより一時停止指示が行われた場合に、自動で上記の各実施形態で説明した処理を開始しても良い。
【０１２７】
上述の各実施形態において説明した各処理の一部または全部を、適宜組み合わせて実行しても良い。
【０１２８】
また、上記の各実施形態においては、すべてのフレームを対象として一連の処理を行う例を示したが、本発明はこの例に限定されない。例えば、時間的に間欠して生成された複数の画像を対象としても良い。具体的には、適宜フレーム間引きを行った複数の画像を対象としても良い。この場合、上記の各実施形態における一連の処理は間引きされた複数の画像を対象として実行しつつ、すべての画像について表示を行っても良い。このような処理を行うことにより、処理負荷を軽減することができる。
【０１２９】
また、コンピュータと画像処理プログラムとからなる「コンピュータシステム」により、上述した各実施形態で説明した画像処理をソフトウェア的に実現しても良い。この場合、各実施形態で説明したフローチャートの処理の一部または全部をコンピュータシステムで実行する構成とすれば良い。例えば、図２のステップＳ１０２からステップＳ１１３の処理の一部または全部をコンピュータで実行しても良い。また、図５のステップＳ２０２から図６のステップＳ２１８の処理の一部または全部をコンピュータで実行しても良い。また、図８のステップＳ３０２からステップＳ３１５の処理の一部または全部をコンピュータで実行しても良い。このような構成とすることにより、上述した各実施形態と同様の処理を実施することが可能になる。
【０１３０】
また、「コンピュータシステム」は、ｗｗｗシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、コンピュータ読み取り可能な記録媒体とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
【０１３１】
さらにコンピュータ読み取り可能な記録媒体とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ））のように、一定時間プログラムを保持しているものも含むものとする。
【０１３２】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
【０１３３】
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【符号の説明】
【０１３４】
２０…撮像装置、２１…撮像部、２２…画像処理装置、２３‥表示部、２６…ＣＰＵ
【図１】
2018093500.tif 000003
【図２】
2018093500.tif 000004
【図３】
2018093500.tif 000005
【図４】
2018093500.tif 000006
【図５】
2018093500.tif 000007
【図６】
2018093500.tif 000008
【図７】
2018093500.tif 000009
【図８】
2018093500.tif 000010