"画像データの複数のフレームについて、それぞれ主要被写体の候補となる候補画像を検出する候補検出部と、上記候補検出部で検出した候補画像について、複数フレームにわたる画像データ内での安定存在度を求め、該安定存在度を用いて、候補画像のうちで主要被写体を判定する主要被写体判定部と、を備えた画像処理装置。上記主要被写体判定部は、候補画像について、画角空間内における位置状態を判定する位置状態判定処理と、上記位置状態判定処理で判定された、各フレームでの候補画像の位置状態から、候補画像についての、複数フレームにわたる画像データ内での安定存在度を求める安定存在度算出処理と、上記安定存在度算出処理で求められた安定存在度を用いて、候補画像のうちで主要被写体を判定する主要被写体判定処理と、を行う請求項1に記載の画像処理装置。上記主要被写体判定部は、上記位置状態として、画角空間内に設定した判定基準点に対する候補画像の距離を判定する請求項2に記載の画像処理装置。上記主要被写体判定部は、上記判定基準点を操作入力に応じて設定する請求項3に記載の画像処理装置。上記主要被写体判定部は、上記位置状態として、画角空間内に設定した判定基準領域に対する候補画像の位置関係を判定する請求項2に記載の画像処理装置。上記主要被写体判定部は、上記判定基準領域を操作入力に応じて設定する請求項5に記載の画像処理装置。上記主要被写体判定部は、上記安定存在度として、上記位置状態が所定条件を満たしている累積時間情報を算出する請求項2に記載の画像処理装置。上記主要被写体判定部は、上記安定存在度として、上記位置状態が継続して所定条件を満たしている継続時間情報を算出する請求項2に記載の画像処理装置。上記主要被写体判定部は、主要被写体判定開始から、上記安定存在度が最も早く所定値に達した候補画像を、主要被写体と判定する請求項1に記載の画像処理装置。上記主要被写体判定部は、主要被写体判定期間に、上記安定存在度の値が最も高い候補画像を、主要被写体と判定する請求項1に記載の画像処理装置。上記主要被写体判定部は、画角空間内での候補画像の位置情報、又は候補画像のサイズ情報を、上記安定存在度の算出処理、又は主要被写体の判定処理に用いる請求項1に記載の画像処理装置。上記主要被写体判定部は、上記安定存在度から、複数の候補画像が主要被写体と判定される場合、画角空間内での候補画像の位置情報又はサイズ情報を用いて、一の候補画像を選択し、選択した当該候補画像を主要被写体とする請求項1に記載の画像処理装置。上記候補検出部は人又は動物の、顔又は身体の画像を、主要被写体の候補となる候補画像として検出する請求項1に記載の画像処理装置。画像データの複数のフレームについて、それぞれ主要被写体の候補となる候補画像を検出し、検出された候補画像について、複数フレームにわたる画像データ内での安定存在度を求め、該安定存在度を用いて、候補画像のうちで主要被写体を判定する画像処理方法。画像データの複数のフレームについて、それぞれ主要被写体の候補として検出された候補画像について、画角空間内における位置状態を判定する位置状態判定処理と、上記位置状態判定処理で判定された、各フレームでの候補画像の位置状態から、候補画像についての、複数フレームにわたる画像データ内での安定存在度を求める安定存在度算出処理と、上記安定存在度算出処理で求められた安定存在度を用いて、候補画像のうちで主要被写体を判定する主要被写体判定処理と、を演算処理装置に実行させるプログラム。ところで、撮像画像内での、追尾やフォーカス合わせの目的となる所望の領域、つまり主要被写体は、現状は各種検出器から得られる複数の候補領域の中から撮像者自身が何らかの方法で一つの候補を選択することで決定される。例えばカメラを所持した状態で、画面表示されたスルー画シャッタ操作時点以外に表示される被写体のモニタリング画像に写されている複数の顔の中からタッチパネルによって任意の顔を選択するというような行為で主要被写体が選定される。あるいはユーザ指定のタイミングシャッタ半押し等で所定の領域内に存在する被写体を主要被写体とするなどである。しかしながら実際のユースケースにおいてはこのユーザインターフェースを考えてみると、撮像者による主要被写体の選択という行為自体が難しいことが多々ある。たとえば動き回る被写体に焦点を合わせ続けたいためにこの機能を使いたいのに、ユーザがカメラを構えて被写体を狙いながら指で選択すること自体が難しい。例を挙げれば、被写体の変化移動に対するユーザの反応速度により、指定が困難なこともある。例えば動き回る被写体を、スルー画の画面上でうまく指定できないような場合である。また、そもそもカメラを手に持って、被写体に向けて被写体を選定しているような状況で、ユーザが画面上で主要被写体を指で選択する行為自体が難しい。またタッチパネルを配した表示画面の解像度によって、ユーザにとって被写体が選択しにくいことがある。また、タッチパネルを配した表示画面上の被写体サイズとユーザの指の大きさ太さによっては、所望の被写体を適切に指定できないこともある。また、カメラシステム上のタイムラグ、例えば実際の光景と撮像画像のスルー画のタイムラグによって、ユーザが適切に被写体を指定しにくいこともある。さらには動画撮像記録中にこの操作を行う場合には、主要被写体の選択行為による画揺れがそのまま記録されることになったり、フレームアウトあるいは一時遮蔽等による追跡消失失敗時に再選択という行為を強いることになっている。これらのように、ハンドヘルドタイプのカメラにおいて、主要被写体を選択する行為自体が、それを必要とする多くのユースケースで難しく、撮像者にストレスを与えてしまうといった問題がある。そこで本開示では、撮像者等のユーザが意図的に被写体を選択する行為を行わなくとも、ユーザの求める対象被写体を判定し、主要被写体とする技術を実現することを目的とする。本開示の画像処理装置は、画像データの複数のフレームについて、それぞれ主要被写体の候補となる候補画像を検出する候補検出部と、上記候補検出部で検出した候補画像について、複数フレームにわたる画像データ内での安定存在度を求め、該安定存在度を用いて、候補画像のうちで主要被写体を判定する主要被写体判定部とを備える。本開示の画像処理方法は、画像データの複数のフレームについて、それぞれ主要被写体の候補となる候補画像を検出し、検出された候補画像について、複数フレームにわたる画像データ内での安定存在度を求め、該安定存在度を用いて、候補画像のうちで主要被写体を判定する画像処理方法である。本開示のプログラムは、画像データの複数のフレームについて、それぞれ主要被写体の候補として検出された候補画像について、画角空間内における位置状態を判定する位置状態判定処理と、上記位置状態判定処理で判定された、各フレームでの候補画像の位置状態から、候補画像についての、複数フレームにわたる画像データ内での安定存在度を求める安定存在度算出処理と、上記安定存在度算出処理で求められた安定存在度を用いて、候補画像のうちで主要被写体を判定する主要被写体判定処理と、を演算処理装置に実行させるプログラムである。これらの本開示の技術によれば、抽出された候補画像の中で、複数のフレームでの安定存在度を求める。安定存在度とは、ある画像が、画角空間内で位置的に所定の状態であることの頻度時間的な存在確度を示す値とする。カメラを構えている撮像者が、ターゲットとして狙っていると思われる確度の高い被写体は、安定存在度が高くなる。つまり撮像者が主として狙っている被写体は、撮像画像内の位置として、撮像者が中心と考える点や領域になるべく入るようにするし、さらに撮像者がその被写体を狙うことで、自然に長時間、撮像画像に入ってくる。従って、位置的に所定の状態が時間的に高い頻度で撮像画像内に存在する被写体安定存在度が高い被写体は、撮像者が狙っている主要被写体と推定できる。本開示によれば、撮像画像内で自動的に主要被写体が判定されるため、撮像者等のユーザが、主要被写体を選択する行為を行う必要は無い。従ってユーザの操作性、利便性を向上できる。例えば本開示の画像処理装置を搭載した撮像装置を手に持って撮像を行う場合の操作性の向上、ユーザストレスの低減、さらには自動的な主要被写体判定に応じた各種機能の実現という製品付加価値向上を実現できる。以下、実施の形態を次の順序で説明する。<1.画像処理装置の構成><2.撮像装置の構成><3.主要被写体決定処理概要>[3-1:処理タイプI][3-2:処理タイプII][3-3:主要被写体判定機会/目的等]<4.具体的処理例>[4-1:処理例1タイプI;判定基準点;先着判定;累積存在][4-2:処理例2タイプI;判定基準点;先着判定;継続存在][4-3:処理例3タイプI;判定基準点;先着判定;累積存在;拡張例][4-4:処理例4タイプI;判定基準点;先着判定;累積存在;条件判定付き][4-5:処理例5タイプI;判定基準点;一定時間判定;累積存在][4-6:処理例6タイプI;判定基準点;一定時間判定;継続存在][4-7:処理例7タイプI;判定基準領域;先着判定;累積/継続存在][4-8:処理例8タイプI;判定基準領域;一定時間判定;累積/継続存在][4-9:処理例9タイプII;判定基準点;平均的存在][4-10:処理例10タイプII;判定基準点;累積存在][4-11:処理例11タイプII;判定基準点;継続存在][4-12:処理例12タイプII;判定基準領域;平均的存在]<5.プログラム及びコンピュータ装置への適用><6.変形例>なお、使用する各用語の意味は次の通りである。画角空間Fieldofviewとは、撮像画像に表れる空間を意味する。主に撮像画像における画面平面としての2次元空間としての意味を有するが、これだけでなく、さらに撮像時のカメラ位置に対する被写体の相対的な距離も含む3次元空間としての意味でも用いる。なお、撮像画像について、撮像時のカメラ位置に対する被写体の相対的な距離のことを述べる場合、被写体距離という言葉を用いる。実施の形態においては画角空間とは、主に画面平面の2次元空間撮像画像におけるx-y座標空間を表す意味で用い、本開示の技術は画角空間は画面平面の2次元空間であるとして適用できるが、特に画面平面に加えて被写体距離を考慮する場合は、画角空間は3次元空間x-y-z座標空間を意味するものとなる。さらにいえば、後に変形例として述べるが、画角空間は、画面平面の横方向位置x座標のみ、又は画面平面の横方向位置y座標のみ、又は被写体距離z座標のみを考えた1次元空間と考えることも可能である。位置状態とは、撮像画像データにおける候補画像の、画角空間内の絶対的又は相対的な位置の状況を総称した言葉とする。位置状態の具体例としては、実施の形態で説明する判定基準点との相対距離実施の形態で説明する判定基準領域に対する相対的位置関係や相対距離撮像画像の二次元平面内での候補画像の位置被写体距離被写体距離と判定基準点又は判定基準領域との相対位置関係などがある。安定存在度とは、画角空間内で或る被写体が位置的に所定の状態にある頻度を示す値とする。例えば時間的に高い確度で画像内において所定の状態にあるか否かを判定できる指標値である。後述する実施の形態に即して言えば、候補画像が、画角空間内の位置状態として、ある所定の位置状態に存在する累積時間や継続時間、或いは平均的存在等を示す値であり、この安定存在度として計算される例えば累積時間や継続時間が高い画像は、撮像者が主として狙っている被写体と推定できるものとしている。<1.画像処理装置の構成>図1に、実施の形態の画像処理装置の構成例を示す。画像処理装置1は、主要被写体判定部2と候補検出部3を有する。候補検出部3は、入力された画像データDgの複数のフレームについて、それぞれ主要被写体の候補となる候補画像を検出し、主要被写体判定部2に候補画像情報を出力する。即ち、時間軸上で連続的に入力される画像データDgのフレーム毎又は間欠的なフレーム毎に、顔画像検出、人体画像検出などを行って、主要被写体の候補となる画像を抽出する。なお、顔検出、人体検出等は、撮像画像データに対しての画像解析におけるパターンマッチングの手法などで可能であるが、パターンマッチングに用いる辞書さえ差し替えれば他の検出器も原理的には実現可能である。例えば特定種の犬顔検出猫顔検出などとして主要被写体の候補画像を抽出してもよい。また例えばフレーム差分による動体検出の手法で、動体を検出し、当該動体を候補画像とすることも考えられるし、セイレンシSaliencyと呼ばれる注視領域抽出の手法を用いてもよい。そして候補検出部3は、抽出した候補画像を示す情報、例えば候補画像の画面内の二次元方向の位置情報x,y座標値や、被写体距離、画像サイズピクセル数などを候補画像情報として出力する。主要被写体判定部2は、候補検出部3から供給された候補画像情報で示される候補画像について、複数フレームにわたる画像データ内での安定存在度を求め、求めた安定存在度を用いて、候補画像のうちで主要被写体を判定する。そして主要被写体情報Dmを出力する。このため主要被写体判定部2は、例えばソフトウエアプログラムにより実現される演算処理機能として、位置状態判定部2a、安定存在度算出部2b、設定処理部2cが設けられる。位置状態判定部2aは、候補画像情報で示される候補画像について、画角空間内における位置状態を判定する。安定存在度算出部2bは、位置状態判定部2aで判定された、各フレームでの候補画像の位置状態から、各候補画像についての、複数フレームにわたる画像データ内での安定存在度を求める。設定処理部2cは、安定存在度算出部2bで求められた安定存在度を用いて、各候補画像の中から主要被写体を判定し、或る候補画像を主要被写体と設定する処理を行う。主要被写体として設定された画像を示す情報が、主要被写体情報Dmとして出力され、他のアプリケーションソフトウエアや処理回路部等に受け渡される。なお、候補検出部3は、画像解析装置として、ビデオ処理DSPDigitalSignalProcessorやCPUCentralProcessingUnitで実現できる。また主要被写体判定部2は演算処理装置としてCPUやDSPで実現できる。また、主要被写体判定部2を構成するCPU等が、候補検出部3としての動作を実行する構成も想定される。つまり、画像解析を行う候補検出部3が、主要被写体判定部2となる演算処理装置内の一機能ブロックとして構成される場合もある。この画像処理装置1による処理の流れは図2Aのようになる。ステップF1000として、画像データDgの入力が開始される。画像データDgは、図示しない撮像装置部、或いは別体の撮像装置から送信された画像データを受信する受信部等により入力されてくる。或いは撮像装置で撮像され、記録媒体に保存された動画像データが、再生されて入力される場合もある。画像処理装置1が主要被写体判定を実行する場合、処理はステップF1001からF1002に進む。ステップF1002では、候補検出部3が、順次入力されてくる画像データDgの各フレームを対象として画像解析やフレーム差分検出、注視領域検出等を行い、所定の候補画像の検出を行う処理を開始する。候補検出部3は、入力される全てのフレームを対象として候補画像抽出を行ってもよいし、1フレームおき、2フレームおきなど、間欠的なフレームを対象として候補画像抽出を行ってもよい。即ち候補検出部3は、主要被写体判定を行う期間は、少なくとも時系列上での複数のフレームに対して、候補画像の抽出処理を行っていけばよい。どのような画像を候補画像とするかは設定により多様であるが、例えば顔画像、人体画像、犬画像、猫画像などが考えられる。そして候補検出部3は、各フレームについてそれぞれ、検出した候補画像を示す候補画像情報を主要被写体判定部2に出力する。ステップF1003では主要被写体判定部2が、主要被写体判定処理を行う。この主要被写体判定処理は図2Bのようになる。ステップF1で、位置状態判定部2aが、順次入力される候補画像情報を取り込み、各候補画像の位置状態を判定する。候補画像は1フレームに付き、1又は複数存在することがあるし、フレーム内に候補画像が存在しないこともある。或るフレームに複数の候補画像が存在する場合、各候補画像について位置状態をそれぞれ判定することとなる。ステップF2では、位置状態判定処理で判定された、各フレームでの候補画像の位置状態から、安定存在度算出部2bが、候補画像についての、複数フレームにわたる画像データ内での安定存在度を算出する。例えば位置状態が画像中心に近い状態である頻度を示す値などとしての安定存在度を算出する。ステップF3では、設定処理部2cが、各候補画像についての安定存在度を用いて、候補画像のうちで主要被写体を判定する。例えば位置状態が画像中心に近い状態である頻度を示す値などとしての安定存在度が最も高い値となった或いは時間的に最も早く所定値に達した候補画像を、主要被写体と判定する。図2AのステップF1003では、主要被写体判定部2が以上のように図2BのステップF1~F3を行って、例えば1つの候補画像を主要被写体として設定する。そして図2AのステップF1004で、主要被写体判定部2は、主要被写体情報Dmをアプリケーションプログラム等に受け渡す。アプリケーションプログラム等では、主要被写体と設定された画像が特定されたことに応じた処理を行う。例えば、フォーカス制御、追尾処理、画像効果処理などである。以上のように画像処理装置1による主要被写体判定処理は、抽出された候補画像の中で、複数のフレームでの安定存在度を求める。つまり時間的に高い頻度で位置的に安定して、画像内に存在するかどうかを判断する指標値を求める。例えばカメラを構えている撮像者が、ターゲットとして狙っていると思われる確度の高い被写体は、安定存在度が高くなる。つまり撮像者が主として狙っている被写体は、撮像画像内の位置として、撮像者が中心と考える点や領域になるべく入るようにするし、さらに撮像者がその被写体を狙うことで、自然に長時間、撮像画像に入ってくる。従って、位置的に安定し、かつ時間的に高い頻度で撮像画像内に存在する被写体安定存在度が高い被写体は、撮像者が狙っている主要被写体と推定できる。このような安定存在度により主要被写体判定を行う。これにより、撮像者等のユーザが特に指定操作することなく、主要被写体が自動判定されることになり、主要被写体設定に応じた動作を行う各種電子機器においてユーザの操作性は格段に向上する。<2.撮像装置の構成>以下では、上記のような画像処理装置を内蔵した撮像装置10を例に挙げ、主要被写体判定動作について詳しく説明する。実施の形態の撮像装置10の構成例を図3に示す。この撮像装置3はいわゆるデジタルスチルカメラ或いはデジタルビデオカメラとされ、静止画や動画の撮像/記録を行う機器であり、請求項でいう画像処理装置を内蔵するものである。また画像処理装置における上述の主要被写体判定部2に相当する構成は、撮像装置10における制御部30においてソフトウエアにより実装される。制御部30は、請求項でいうプログラムに基づく処理を実行することで、請求項でいう画像処理方法としての動作を行う。図1に示すように撮像装置10は、光学系11、イメージャ12、光学系駆動部13、センサ部14、記録部15、通信部16、デジタル信号処理部20、制御部30、ユーザインターフェースコントローラ以下、UIコントローラ32、ユーザインターフェース33を有する。光学系11は、カバーレンズ、ズームレンズ、フォーカスレンズ等のレンズや絞り機構を備える。この光学系11により、被写体からの光がイメージャ12に集光される。イメージャ12は、例えば、CCDChargeCoupledDevice型、CMOSComplementaryMetalOxideSemiconductor型などの撮像素子を有する。このイメージャ12では、撮像素子での光電変換で得た電気信号について、例えばCDS処理、AGC処理などを実行し、さらにA/D変換処理を行う。そしてデジタルデータとしての撮像信号を、後段のデジタル信号処理部20に出力する。光学系駆動部13は、制御部30の制御に基づいて、光学系11におけるフォーカスレンズを駆動し、フォーカス動作を実行する。また光学系駆動部13は、制御部30の制御に基づいて、光学系11における絞り機構を駆動し、露光調整を実行する。さらに光学系駆動部13は、制御部30の制御に基づいて、光学系11におけるズームレンズを駆動し、ズーム動作を実行する。デジタル信号処理部20は、例えばDSP等により画像処理プロセッサとして構成される。このデジタル信号処理部20は、イメージャ12からのデジタル信号撮像画像信号に対して、各種の信号処理を施す。例えばデジタル信号処理部20は、前処理部21、同時化部22、YC生成部23、解像度変換部24、コーデック部25、候補検出部26を備えている。前処理部51は、イメージャ12からの撮像画像信号に対して、R,G,Bの黒レベルを所定のレベルにクランプするクランプ処理や、R,G,Bの色チャンネル間の補正処理等を施す。同時化部22は、各画素についての画像データが、R,G,B全ての色成分を有するようにするデモザイク処理を施す。YC生成部23は、R,G,Bの画像データから、輝度Y信号および色C信号を生成分離する。解像度変換部24は、各種の信号処理が施された画像データに対して、解像度変換処理を実行する。コーデック部25は、解像度変換された画像データについて、例えば記録用や通信用の符号化処理を行う。候補検出部26は、図1で説明した候補検出部3に相当するもので、例えばYC生成部23で得られる撮像画像信号輝度信号/色信号を対象として、各フレーム単位での画像解析処理を行い、候補画像を抽出する。例えば一例としては、顔画像の検出を行い、その顔画像が存在する領域を候補画像枠として抽出する。抽出した候補画像については、その候補画像枠の位置情報画面上でのx,y座標値、被写体距離の情報等や、サイズ情報例えば候補画像枠の幅、高さ、ピクセル数等を、候補画像情報として制御部30の主要被写体判定部31に受け渡す。なお、ここでは、候補画像となる画像領域の枠を示す情報であることから、候補画像情報のことを候補画像枠情報ともいうこととする。また、候補画像枠情報としては、さらに、候補画像の属性情報顔、人体、犬、猫等の種別や、個人個体識別情報、さらには画像データ自体を含むようにしてもよい。候補検出部26は、上述のようにパターンマッチングの手法で候補の対象とする特定の画像を抽出してもよいし、例えばフレーム差分による動体検出の手法で、動体を検出し、当該動体を候補画像とすることなども考えられる。候補画像の抽出、選定の手法は以上に限定されず、多様に考えられる。また、候補検出部26は、画像に平滑化処理、アウトライヤoutlier除去等の処理を行って、候補画像枠情報を生成してもよい。制御部30は、CPU、ROMReadOnlyMemory、RAMRandomAccessMemory、フラッシュメモリなどを備えたマイクロコンピュータ演算処理装置により構成される。CPUがROMやフラッシュメモリ等に記憶されたプログラムを実行することで、この撮像装置10全体を統括的に制御する。RAMは、CPUの各種データ処理の際の作業領域として、データやプログラム等の一時的な格納に用いられる。ROMやフラッシュメモリ不揮発性メモリは、CPUが各部を制御するためのOSOperatingSystemや、画像ファイル等のコンテンツファイルの他、各種動作のためのアプリケーションプログラムや、ファームウエア等の記憶に用いられる。例えば本例において後述する主要被写体判定処理を実行するためのプログラムや、さらに主要被写体判定結果を利用するアプリケーションプログラム等が記憶される。このような制御部30は、デジタル信号処理部20における各種信号処理の指示、ユーザの操作に応じた撮像動作や記録動作、記録した画像ファイルの再生動作、ズーム、フォーカス、露光調整等のカメラ動作、ユーザインターフェース動作等について、必要各部の動作を制御する。さらに本実施の形態の場合、制御部2は、主要被写体判定31としての機能を備え、後述する主要被写体判定処理を実行する。主要被写体判定部31は、図1の主要被写体判定部2に相当する機能であり、上述した位置状態判定部2a、安定存在度算出部2b、設定処理部2cとしての処理を実行する。ユーザインターフェース33は、ユーザに対する表示出力や音声出力を実行し、またユーザの操作入力を受け付ける。このため、表示デバイス、操作デバイス、スピーカデバイス、マイクロホンデバイスなどを有する。ここでは、表示部34,操作部35を示している。表示部34はユーザ撮像者等に対して各種表示を行う表示部であり、例えば撮像装置10の筐体上に形成されるLCDLiquidCrystalDisplayや有機ELElectroLuminescenceディスプレイ等のディスプレイデバイスを有して形成される。なお、いわゆるビューファインダーの形態で、LCDや有機ELディスプレイ等を用いて形成されてもよい。この表示部6は、上記のディスプレイデバイスと、該ディスプレイデバイスに表示を実行させる表示ドライバとから成る。表示ドライバは、制御部30の指示に基づいて、ディスプレイデバイス上に各種表示を実行させる。例えば表示ドライバは、撮像して記録媒体に記録した静止画や動画を再生表示させたり、レリーズシャッタ操作待機中に撮像される各フレームの撮像画像データによる動画としてのスルー画被写体モニタリング画像をディスプレイデバイスの画面上に表示させる。また各種操作メニュー、アイコン、メッセージ等、即ちGUIGraphicalUserInterfaceとしての表示を画面上に実行させる。本実施の形態の場合、例えばスルー画や再生画上で、主要被写体判定による判定結果がユーザにわかるような表示も実行される。操作部35は、ユーザの操作を入力する入力機能を有し、入力された操作に応じた信号を制御部30へ送る。この操作部35としては、例えば撮像装置10の筐体上に設けられた各種操作子や、表示部34に形成されたタッチパネルなどとして実現される。筐体上の操作子としては、再生メニュー起動ボタン、決定ボタン、十字キー、キャンセルボタン、ズームキー、スライドキー、シャッターボタンレリーズボタン等が設けられる。またタッチパネルと表示部34に表示させるアイコンやメニュー等を用いたタッチパネル操作により、各種の操作が可能とされてもよい。ユーザインターフェース33の表示部34等の動作は、制御部30の指示に従ってUIコントローラ32により制御される。また操作部35による操作情報は、UIコントローラ32によって制御部30に伝達される。記録部15は、例えば不揮発性メモリからなり、静止画データや動画データ等の画像ファイルコンテンツファイルや、画像ファイルの属性情報、サムネイル画像等を記憶する記憶領域として機能する。画像ファイルは、例えばJPEGJointPhotographicExpertsGroup、TIFFTaggedImageFileFormat、GIFGraphicsInterchangeFormat等の形式で記憶される。記録部15の実際の形態は多様に考えられる。例えば記録部15は、撮像装置10に内蔵されるフラッシュメモリでもよいし、撮像装置10に着脱できるメモリカード例えば可搬型のフラッシュメモリと該メモリカードに対して記録再生アクセスを行うカード記録再生部による形態でもよい。また撮像装置10に内蔵されている形態としてHDDHardDiskDriveなどとして実現されることもある。また、本例において後述する主要被写体判定処理を実行するためのプログラムは、記録部15に記憶されてもよい。通信部16は、外部機器との間のデータ通信やネットワーク通信を有線又は無線で行う。例えば外部の表示装置、記録装置、再生装置等の間で撮像画像データ静止画ファイルや動画ファイルの通信を行う。また、ネットワーク通信部として、例えばインターネット、ホームネットワーク、LANLocalAreaNetwork等の各種のネットワークによる通信を行い、ネットワーク上のサーバ、端末等との間で各種データ送受信を行うようにしてもよい。センサ部14は各種センサを包括的に示している。例えば手ぶれを検出するためのジャイロセンサ、撮像装置10の姿勢を検出するための加速度センサ等が設けられる。さらに撮像装置10の姿勢や移動を検出する角速度センサや、露光調整等のための外部照度を検出する照度センサ、さらには被写体距離を測定する測距センサが設けられてもよい。センサ部14の各種センサは、それぞれ検出した情報を制御部30に伝達する。制御部30は、センサ部14で検出された情報を用いて各種制御を行うことができる。<3.主要被写体決定処理概要>以上の構成の撮像装置10において、制御部30主要被写体判定部31が実行する主要被写体判定処理について、以下説明していく。後に、具体的な処理例1~12として、各種の主要被写体判定処理例を述べるが、主要被写体判定処理とは、候補画像情報で示される候補画像について、複数フレームにわたる画像データ内での安定存在度を求め、該安定存在度を用いて、候補画像のうちで主要被写体を判定する処理である。このような主要被写体判定処理として、以下に処理タイプI、処理タイプIIを例示する。但し本開示の主要被写体判定処理が2つのタイプのみに限定されるわけではなく、後述する処理例1~12が、大きく分けるとタイプI、タイプIIに分けられるという意味である。処理タイプIは、主要被写体判定を行う期間に、候補画像情報を取り込みながら、判定を実行する処理態様である。一方、処理タイプIIは、或る期間に、候補画像情報の取り込みバッファリングを行う。そして当該期間が経過したら、取り込んだ候補画像情報を用いて主要被写体判定を行う処理態様である。[3-1:処理タイプI]処理タイプIの処理の流れを図4に示す。なお図4では、各ステップF10~F15について、上記図2BのステップF1取り込み/位置状態判定、F2安定存在度算出、F3主要被写体設定に相当する処理の対応関係も示しておく。以下は、制御部30の主要被写体判定部31による処理である。ステップF10で制御部30は、候補検出部26からの、或る1つのフレームについての候補画像枠情報を取り込む。ステップF11で制御部30は、取り込んだ候補画像枠情報で示される1又は複数の各候補画像枠について、それぞれ画角空間内の位置計算を行って位置状態を判定する。この場合、位置状態として、画角空間内に設定した判定基準点に対する候補画像の距離を判定する。又は、位置状態として、画角空間内に設定した判定基準領域に対する候補画像の位置関係を判定する。ステップF12で制御部30は、各候補画像枠について安定存在度を計算する。この場合制御部30は、安定存在度として、位置状態が所定条件を満たしている累積時間情報を算出する。又は、制御部30は、安定存在度として、位置状態が継続して所定条件を満たしている継続時間情報を算出する。なお、安定存在度の算出には、算出の条件として、画角空間内での候補画像の位置情報、又は候補画像のサイズ情報を用いることもある。ステップF13で制御部30は、安定存在度を用いて主要被写体を判定する。ここでステップF13での判定は、主要被写体判定開始から、安定存在度が最も早く所定値に達した候補画像を、主要被写体と判定する処理である。又は、主要被写体判定期間に、安定存在度の値が最も高い候補画像を、主要被写体と判定する処理である。また主要被写体の判定には、安定存在度の値に加えて、画角空間内での候補画像の位置情報、又は候補画像のサイズ情報を用いることもある。安定存在度の値が所定値に達した候補画像が未だ存在しない時点、あるいは所定の主要被写体判定期間を経過しておらずに、当該期間中での安定存在度の値が最も高い候補画像が未だ選定できない時点では、ステップF13の処理では、まだ主要被写体と判定できない。その場合、制御部30はステップF14からF10に戻って、各処理を繰り返す。つまり、候補検出部26で次に処理を行ったフレームの候補画像枠情報を取り込んで、同様の処理を行う。或る時点で安定存在度の値が所定値に達した候補画像が発見された場合、あるいは所定の主要被写体判定期間を経過して、当該期間中での安定存在度の値が最も高い候補画像が選定できた時点では、制御部30はステップF14からF15に進む。そして、ステップF13で判定された候補画像を、主要被写体と設定する。[3-2:処理タイプII]続いて処理タイプIIの処理の流れを図5に示す。図5でも、各ステップF20~F24について、上記図2BのステップF1取り込み/位置状態判定、F2安定存在度算出、F3主要被写体設定に相当する処理の対応関係も示しておく。以下は、制御部30の主要被写体判定部31による処理である。ステップF20で制御部30は、候補検出部26からの、或る1つのフレームについての候補画像枠情報を取り込む。ステップF21で制御部30は、取り込んだ候補画像枠情報で示される1又は複数の各候補画像枠について、それぞれ画角空間内の位置計算を行って位置状態を判定する。例えば位置状態として、画角空間内に設定した判定基準点に対する候補画像の距離を判定する。又は、位置状態として、画角空間内に設定した判定基準領域に対する候補画像の位置関係を判定する。そして制御部30は、算出した位置状態距離や位置関係の情報を内部RAM等に蓄積バッファリングする。ステップF22では、制御部30は、所定期間所定の主要被写体判定期間としての時間長、又はフレーム数での、位置状態の情報の蓄積を完了したか否かを判別し、未だ蓄積完了でなければステップF20に戻る。つまり所定期間が経過したか、又は所定フレーム数分、ステップF20,F21の処理を行ったか否かを判定する。蓄積完了となった時点で制御部30はステップF23に進む。ステップF23で制御部30は、各候補画像枠についてバッファリングしていた例えば所定期間の位置状態の情報を用いて、安定存在度を計算する。この場合制御部30は、安定存在度として、位置状態が所定条件を満たしている累積時間情報、又は、位置状態が継続して所定条件を満たしている継続時間情報を算出する。なお、安定存在度の算出には、算出の条件として、画角空間内での候補画像の位置情報、又は候補画像のサイズ情報を用いることもある。ステップF24で制御部30は、安定存在度を用いて主要被写体を判定する。例えばバッファリングを行った主要被写体判定期間中に、安定存在度の値が最も高い候補画像を、主要被写体と判定し、主要被写体を設定する。なお主要被写体の判定には、安定存在度の値に加えて、画角空間内での候補画像の位置情報、又は候補画像のサイズ情報を用いることもある。なお、この図5の処理タイプIIとしては、例えばステップF21をステップF22で蓄積完了と判断された後に行う例も考えられる。つまり候補画像枠情報を所定期間蓄積していき、期間経過後、各候補画像枠情報について位置状態の情報を求める手法である。[3-3:主要被写体判定機会/目的等]本実施の形態では、以上の処理タイプI、IIによって主要被写体判定が行われるが、撮像装置10において主要被写体判定を行う機会や目的等について説明しておく。まず主要被写体判定結果の利用例を述べる。主要被写体判定は、例えばユーザ撮像者がシャッタタイミングレリーズタイミングを狙っている際に実行されるが、制御部30は主要被写体を自動的に判定した後、次のような処理を行うことができる。追尾処理撮像される各フレームにおいて設定された主要被写体を追尾する。例えばスルー画表示上でユーザに主要被写体を明示して、ユーザの画角調整例えばカメラを手に持っている状態における被写体決めの用に供する。なお、主要被写体の提示としては、表示部34でのスルー画表示上で主要被写体の枠を強調表示することが考えられる。また、強調表示等は、判定直後の一定期間でもよいし、スルー画内に主要被写体が存在する限り実行させてもよい。フォーカス合わせ主要被写体にオートフォーカス制御する。また、追尾処理と合わせて、主要被写体が動き回っていても、フォーカスが、その主要被写体に追尾して調整されるようにする。露光調整主要被写体の明るさ輝度に基づいて自動露光調整を行う。指向性調整撮像例えば動画撮像とともにマイクロホンにより音声収音を行う場合、画角空間内での主要被写体の方向に応じて、指向性調整を行う。また、撮像画像信号に対する各種信号処理にも用いることができる。画像効果処理撮像される各フレームにおいて主要被写体の領域にのみ、画質調整、ノイズリダクション、肌色調整などの画像処理を加える。或いは、主要被写体の領域以外に、画像効果、例えばモザイク処理、ぼかし処理、塗りつぶし処理等を加えることも考えられる。画像編集処理撮像画像、もしくは記録された画像について、フレーミング、クロッピング等の編集処理を加える。例えば主要被写体を含むフレーム内の一部領域の切り出しや、拡大等の処理を行うことができる。また、撮像画像データのうちで、主要被写体が画像の中心に配置されるように画像周辺部のカット等を行い、構図調整を行うことができる。これらは一例に過ぎないが、これら以外にも、アプリケーションプログラムや撮像装置内の自動調整機能が、設定した主要被写体を利用する処理は各種考えられる。次に主要被写体判定処理をどのような時点で実行するかも各種考えられる。例えば撮像装置10が電源オンとされて、撮像を行っているとき表示部34にスルー画を表示している期間は、常時主要被写体判定処理を行っていてもよい。また、主要被写体を判定したら、追尾処理を行う場合、追尾が外れた時点で、再度主要被写体判定処理を行うようにしてもよい。また、ユーザ操作により主要被写体判定処理が開始されるようにしてもよい。またユーザが、判定実行モードを選択しているときに、常時実行されたり、追尾が外れたときに実行されるなどとしてもよい。またユーザ操作にかかわらず、自動的に主要被写体判定処理が起動されることも考えられる。主要被写体判定処理を行うことによる効果としては次のとおりである。先に述べたように、撮像者が撮像装置10をもって被写体を狙っているときには、そもそも主要被写体を指定するような操作は難しい。また何度も指定する行為は面倒である。主要被写体判定を自動的に実行することによれば、このようなことが解消され、ユーザストレスの低減効果が得られる。またユーザが通常使用するデジタルスチルカメラ、携帯電話機内蔵カメラなど、ユーザが携帯して使用する撮像装置10としては、表示部34も小型であり、ユーザが主要被写体を画面上で指定する操作を行ったとしても、正確に行いにくい。本実施の形態のように自動判定することで、誤指定ということもなくなる。また撮像装置10が自動的に主要被写体判定を行うことによれば、ユーザにとっては、被写体を狙って撮像装置10を構えているのみで、主要被写体判定が実行されることとなり、ユーザが装置に感じるインテリジェント感の向上や、付加価値の向上という効果が得られる。また撮像装置10を自然に構えていれば主役を撮れる、という感覚で使用できるため、撮像機会の増加、対応ユースケースの増加ということができ、使いやすいカメラをユーザに提供できることにもなる。以上のことから、ハンドヘルドカメラとして、主要被写体判定を自動的に行う本実施の形態の撮像装置10は特に好適となる。<4.具体的処理例>[4-1:処理例1タイプI;判定基準点;先着判定;累積存在]以下、制御部30が実行する主要被写体判定処理の具体例として処理例1~処理例12を順次説明していく。処理例1は、上述の処理タイプIの具体例である。そして候補画像枠の位置状態としては、設定した判定基準点との距離を求める。また、各候補画像枠について安定存在度としては、位置状態判定基準点との距離が所定の閾値以内という条件を満たしている累積時間情報を算出する。また、主要被写体判定開始から、安定存在度が最も早く所定値に達した候補画像を、主要被写体と判定する。具体的処理の説明に先立って、図6、図7、図8で候補画像枠、判定基準点との距離、安定存在度のそれぞれについて説明する。図6は候補検出部26で行われる候補画像枠の抽出動作を模式的に示したものである。図には、撮像装置10の光学系11,イメージャ12の動作によりデジタル信号処理部20に入力される撮像画像信号の各フレームFR1,FR2,FR3を示している。候補検出部26は、このような順次入力される連続した各フレームのそれぞれ或いは間欠的な各フレームについてに候補画像の検出を行う。例えば図示のように、フレームFR1について、3人の人が存在していた場合、それぞれの顔画像部分を候補画像として抽出し、その候補画像枠E1,E2,E3についての候補画像枠情報を出力する。例えば候補画像枠E1の候補画像枠情報は、例えばこの候補画像枠E1の画像内での位置情報x,y位置情報、被写体距離情報、サイズ情報枠の幅、高さ、ピクセル数、属性情報等である。候補検出部26は、このような候補画像枠情報を、候補画像枠E2,E3についても生成し、制御部30主要被写体判定部31に受け渡す。後続のフレームFR2、FR3についても同様に、候補検出部26は候補画像の抽出を行い、それぞれの候補画像枠について、候補画像枠情報を生成して制御部30に受け渡していく。制御部30は、各フレームの候補画像枠情報を取り込む度に、各候補画像枠について位置状態として、判定基準点との距離を算出する。図7Aに判定基準点SPの例を示している。これは画像中央を判定基準点SPとした例である。判定基準点SPのxy座標値をCx,Cyとする。例えばフレームFR1の時点で、候補画像枠E1,E2,E3のそれぞれの候補画像枠情報が取り込まれた場合、制御部30は、図示する各候補画像枠E1,E2,E3の重心Gから判定基準点SPの距離Diff1、Diff2、Diff3を算出する。なお、判定基準点SPが画面中央とされるのは一例である。例えば図7Bのように、中央よりやや左上方の位置に判定基準点SPを設定してもよい。例えば静止画の構図を考えた場合、このような中央でない位置に主たる被写体を配置するとよい場合が多々考えられるからである。いずれにしても、図7Bのように、各候補画像枠例えばE4,E5と判定基準点SPの距離例えばDiff4、Diff5を算出するようにする。判定基準点SPは、例えば図7A、図7Bのような位置に固定的に設定していてもよいし、ユーザが表示画面上でのタッチ操作などにより任意に指定できるようにしてもよい。また表示部34の画面上でユーザにいくつかの判定基準点の候補点を提示し、ユーザが選択できるようにしてもよい。さらには、画像内容、画像解析結果などに応じて制御部30が構図などを考慮して最適な位置を判定し、自動設定することも考えられる。即ち判定基準点SPについては、画像中央位置、或いは中央よりずれた位置などとして、予め決められた固定的な位置に設定される。ユーザが任意に指定する。いくつかの候補点をユーザに提示し、ユーザが選択することで設定される。制御部30が画像内容に応じて最適位置を判定し、自動的に可変設定する。などが考えられる。候補画像枠Enについての位置状態としての距離Diffnは、各フレームの時点で求めていく。図8は、仮に候補画像枠E1,E2,E3が、ある期間継続してフレームFR1,FR2内に存在し続けたとして、算出される距離Diff1、Diff2、Diff3の変動の様子を示したものである。例えば撮像者が撮像装置10で、ある期間、3人の被写体をとらえていた場合を想定している。3人の各人が、それぞれ動いていたり、或いは撮像者が撮像装置10の被写体方向を動かしていたり、手ぶれがあるなどにより、時間軸上では、算出される各距離Diff1、Diff2、Diff3は変動している。処理例1では、安定存在度とは、判定基準点SPに近い状態の累積時間とする。このため、近い/近くないの判定に、距離閾値Trsdiffを用いる。図8下部には、距離Diff1、Diff2、Diff3の各時点での、距離閾値Trsdiff以内か否かの判定結果を示している。距離Diffnが距離閾値Trsdiff以下であれば、近い=1とされることとする。この判定結果1を各時点で累積加算していったものが処理例1での安定存在度となる。判定開始から判定終了までの期間は処理例によって異なる。処理例1では、距離閾値Trsdiff以下の判定結果1の累積加算値は、その時点までの安定存在の度合いを示す累積時間となるが、その累積時間が所定値に達した候補画像が発見された時点が判定終了のタイミングとなる。例えば図8の例では、候補画像枠E3は、継続して1=判定基準点SPに近いと判定されるが、この累積加算値が或る所定値に達した時点で、判定が終了され、候補画像枠E3が主要被写体と判定されることとなる。なお処理例1では、継続性は問われない。例えば図8における候補画像枠E2の距離Diff2は、時点によって10の判定があるが、あくまでも累積時間であるため、1の状況が多く、他の候補画像枠よりも早く累積時間が所定値に達した場合は、候補画像枠E2が主要被写体と判定されることもあり得る。図9で処理例1としての制御部30の主要被写体判定処理を説明する。制御部30は、主要被写体判定処理を開始すると、まずステップF100で変数TSF=0とし、またカウント値Cntn=0とする。変数TSFとは、主要被写体設定済みか否かを示すフラグである。TSF=0は、主要被写体が未判定の状態を示すこととなる。またカウント値Cntnは、上述の距離Diffの距離閾値Trsdiffとの比較判定結果の値を加算するカウンタの値である。なおnは、自然数1,2,3を表し、カウント値Cntnは、候補画像枠E1,E2,E3のように、検出された候補画像枠Enにそれぞれ対応するカウント値としている。例えば3つの候補画像枠E1,E2,E3が検出される場合、カウント値として、Cnt1、Cnt2、Cnt3が用いられる。フローチャートの説明上、カウント値Cntnについての処理とは、例えばCnt1、Cnt2、Cnt3のそれぞれを対象とする処理を示しているものと理解されたい。また、同様に距離Diffnとは、3つの候補画像枠E1,E2,E3の判定基準点SPからの距離Diff1、Diff2、Diff3を総称して表すものとしており、距離Diffnについての処理とは、例えば距離Diff1、Diff2、Diff3のそれぞれについての処理という意味で用いている。また、候補画像枠Enは候補画像枠E1,E2,E3を表すが、これは複数フレームにわたって、被写体別に区別されることが望ましい。例えば候補検出部26が顔を抽出する例でいうと、人物A、人物B、人物Cが被写体となっている場合、各フレームにおいて共通に、人物Aの顔画像部分が候補画像枠E1、人物Bの顔画像部分が候補画像枠E2、人物Cの顔画像部分が候補画像枠E3というようにされる。もし途中の或るフレームで、人物Dのみが被写体に入っている状態になったとしても、人物Dの顔画像部分は候補画像枠E4とされる。従って候補検出部26は、単に顔を検出するのみでなく、個体個人判別も行うこととするとよい。ステップF101で制御部30は、候補検出部26から或るフレームについての候補画像枠情報を取り込む。例えば各候補画像枠Enについて、位置情報として、画像データの二次元x-y座標値としてのx値、y値や、サイズ情報として候補画像枠の幅w、高さhの情報を取得する。なお、候補画像枠情報には被写体距離上記二次元x-y座標平面に直交するz軸方向の値で表される、カメラ位置に対する被写体の相対的な距離:z値やピクセル数等も含まれていてもよい。ステップF102で制御部30は、各候補画像枠Enについて、重心Gの座標を算出する。例えば候補画像枠情報によっては、候補画像枠のx,y座標値として、方形の候補画像枠の左上頂点の座標値が与えられるとする。このx,y座標値をEx,Eyとする。また図7に示したように、x,y座標は画面平面の左上を原点Ox,y座標値が0,0とする。また候補画像枠Enの幅wをEw、高さhをEhとする。そして候補画像枠Enの重心Gの座標値をEcx,Ecyとすると、重心Gの座標値は、Ecx=EcxEw/2Ecy=EcyEh/2として求められる。ステップF103で制御部30は、各候補画像枠Enの重心Gから、判定基準点SPまでの距離Diffnを算出する。判定基準点SPの座標値Cx,Cyとして、Diffn=√{Ecx-Cx2Ecy-Cy2}で求められる。ステップF104で制御部30は変数TSFを確認する。変数TSF=0であればステップF105に進む。なお、主要被写体判定処理を開始した後、常時、処理を継続する場合、判定不要時変数TSF=1のときには、このステップF104での処理を抜けることとなる。ユーザ操作や自動的な起動判断で、必要時に図9の主要被写体判定処理を実行するようにする場合などではステップF104は不要としてもよい。後述する処理例2以降も同様である。ステップF105、F106,F107では、制御部30は各候補画像枠Enが距離Diffnに関して所定の条件を満たしているか否かを確認する。即ち判定基準点SPまでの距離Diffnが、判定基準点SPに近いか近くないかを、距離閾値Trsdiffを用いて判定する。このため制御部30はステップF105で、各候補画像枠Enの判定基準点SPまでの距離Diffnと距離閾値Trsdiffを比較し、Diffn<TrsdiffであればステップF106でフラグFlgn=1近いとする。またDiffn<TrsdiffでなければステップF107でフラグFlgn=0近くないとする。次にステップF108,F109で制御部30は、各候補画像枠Enの安定存在度を算出する。この場合、ステップF108で、各候補画像枠Enについて、フラグFlgn=1であるか否かを確認し、フラグFlgn=1であれば、ステップF109でカウント値Cntnをインクリメント1加算する。フラグFlgn=0の場合は、カウント値Cntnは変更しない。このカウント値Cntnは、上述した累積加算値としての安定存在度の値となる。つまり、候補画像枠Enが判定基準点SPに近い状態の頻度を表す値となる。次にステップF111,F112,F113で制御部30は、各候補画像枠Enの安定存在度を用いて、主要被写体の判定を行う。制御部30はステップF111で、各候補画像枠Enのカウント値Cntnが、カウント閾値CTthrに達しているか否かを確認する。Cntn≧CTthrでなければ、つまり各候補画像枠Enのカウント値Cntnのいずれもが、カウント閾値CTthrに達していなければ、ステップF113で変数TSF=0のままとし、ステップF114で判定終了とはせず、ステップF101に戻る。この場合、次のフレームについて入力される候補画像枠情報に基づいて、ステップF101以降の処理を上記同様に実行していく。なお、ステップF114は、変数TSF=0であれば、まだ主要被写体の判定は完了していないとして判定処理継続とし、変数TSF=1であれば、主要被写体判定は完了したとする。先に述べたステップF104で変数TSF=1が検出された場合、そのまま判定終了となる。詳しい説明は省略するが、本例の自動的な主要被写体判定とは並行して、例えばユーザが主要被写体を表示部34の画面上のタッチ操作、或いは被写体を画面上に所定位置に合わせてシャッタボタンを半押しするなどの操作として、主要被写体選択ができるようにしてもよい。図9の処理の実行中に、ユーザがこのような指定操作を行った場合、ユーザの操作を優先することが好ましい。そこで、そのようなマニュアル操作として主要被写体設定が行われた場合、変数TSF=1とする。この場合、図9の処理はステップF104,f114の判断により、処理を終了中断終了することとすればよい。安定存在度による主要被写体判定は、或る時間長をもって判定されるため、ある程度の時間フレーム数での候補画像枠情報についての処理を経なければ、上記のようにステップF114で判定終了とはならずにステップF101に戻って処理が繰り返される。ここで、例えば図8で示したように或る候補画像枠E3が、非連続的でもよいが、複数のフレームのうちで高い頻度で、撮像画像上で判定基準点SPに近い位置に存在する状況があったとする。すると時間が進むにつれ、候補画像枠E3のカウント値Cnt1のステップF109でのインクリメントの機会が多く発生し、カウント値Cnt3が、カウント値Cnt1、Cnt2よりも早く進む。すると或る時点で、カウント値Cnt3がカウント閾値CTthrに最初に到達することとなる。このような場合、制御部30は処理をステップF111からF112に進める。ステップF112で制御部30は、カウント値Cntnがカウント閾値CTthrに達した候補画像枠Enを主要被写体と判定し、主要被写体設定を行う。そして変数TSF=1とする。この場合ステップF114で判定終了とされる。即ち例えば候補画像枠E3が主要被写体と設定されるなどして、図9の主要被写体判定処理が完了することとなる。なお、この処理例1は変数TSF=1となるまで続けられることになるが、実際には、所定の制限時間を設けておくことが適切である。即ち図9の処理開始時点から所定時間を経過しても主要被写体が判定できない場合は、主要被写体無しとして、処理を終了するようにする。以上の処理例1によれば、ユーザが主として撮像したい被写体を、なるべく画像中央などの判定基準点SPに近い状態になるように、撮像装置10を構える被写体を追うことによって、当該被写体が主要被写体として自動的に判定されることとなる。特に処理例1は、判定基準点SPに近い状態の累積時間で安定存在度を判定している。動いている状況の被写体、或いは動物等の動きの早い被写体の場合、撮像者はある程度の時間例えば数秒程度でも、主としたい被写体を継続して画像中央に捕らえることは難しい場合がある。また撮像者の撮像技量によっては、手ぶれが激しいなどにより、なかなかとりたい被写体を画像中央に維持できないといったこともある。このような場合であっても、累積時間を用いることで、比較的迅速に主要被写体判定が可能となる。従って動きの速い被写体を対象とする場合や、比較的不慣れなユーザには好適となる。また、主要被写体判定処理は、一定時間を必ず行うものではなく、主要被写体が判定された時点で処理は終了されるため、被写体や撮像者の技量によっては、迅速に主要被写体判定が為されるといった利点もある。[4-2:処理例2タイプI;判定基準点;先着判定;継続存在]続いて、処理例2も、処理タイプIの具体例である。そして候補画像枠の位置状態としては、設定した判定基準点との距離を求める。また、各候補画像枠について安定存在度としては、位置状態判定基準点との距離が所定の閾値以内という条件を継続して満たしている継続時間情報を算出する。また、主要被写体判定開始から、安定存在度が最も早く所定値に達した候補画像を、主要被写体と判定する。処理例1との差異点は、安定存在度が、判定基準点SPに近い状態の継続時間とすることである。あくまで継続して所定時間所定フレーム以上、判定基準点SPに近い状態があった候補画像枠を、主要被写体と判定する。図10に処理例2を示す。図10と同一の処理については、同一のステップ番号を付して重複説明を避ける。なお、後述する処理例3~処理例12でも、各フローチャートにおいて、説明済みの処理については同一のステップ番号を付して説明を省略することとする。この図10は、図9の処理にステップF110が追加された例である。ステップF108,F109,F110で制御部30は、各候補画像枠Enの安定存在度を算出する。この場合、ステップF108で、各候補画像枠Enについて、フラグFlgn=1であるか否かを確認し、フラグFlgn=1であれば、ステップF109でカウント値Cntnをインクリメント1加算する。フラグFlgn=0の場合は、ステップF110に進んで、カウント値Cntnをクリアする。処理例1と同様、カウント値Cntnは安定存在度の値となる。つまり、候補画像枠Enが判定基準点SPに近い状態が検出されることに応じてカウント値が加算されていく。ところがこの処理例2では、ステップF110でカウント値Cntnがクリアされる。これはつまり、一旦、判定基準点SPから遠ざかると、安定存在度の値がゼロに戻されるという意味である。例えば或る候補画像枠が、判定基準点SPに近くなっていたとしても、或るフレームで遠い状態になっていると、対応するカウント値Cntnはリセットされる。従って各候補画像枠Enは、その被写体が、それぞれ継続的に判定基準点SPに近い状態距離閾値Trsdiff内にとらえられている限り、安定存在度の値カウント値Cntnが上昇していく。つまりこの処理例2では、カウント値Cntnは、判定基準点SPに近い状態の継続時間を示すものとなる。そしてステップF111でカウント値Cntnがカウント閾値CTthrに到達する場合とは、或る候補画像枠が、継続して、カウント閾値CTthrに相当するフレーム数時間だけ、判定基準点SPに近いという条件を満たし続けた場合となる。このような場合、制御部30は処理をステップF111からF112に進め、制御部30は、カウント値Cntnがカウント閾値CTthrに達した候補画像枠Enを主要被写体と判定し、主要被写体設定を行う。そして変数TSF=1とする。他の各ステップの処理は図9と同様である。なお、この処理例2も、処理開始時点から所定の制限時間を経過しても主要被写体が判定できない場合は、主要被写体無しとして、処理を終了するようにするとよい。以上の処理例2によれば、ユーザが主として撮像したい被写体を、なるべく画像中央などの判定基準点SPに近い状態になるように撮像装置10を構える被写体を追うことによって、当該被写体が主要被写体として自動的に判定されることとなる。特に処理例2では、継続時間によって安定的な存在かどうかを評価している。この場合、動きの少ない被写体を対象とする場合、容易に画像中央等に継続して対象被写体をとらえることができるため、ユーザの望む主要被写体を正確に設定できる可能性が高い。また撮像者の技量によっては、主としてとりたい被写体を継続して画面中央等判定基準点SPに近い位置に維持できるため、正確に撮像者の希望の被写体を主要被写体と判定できる確率が高い。つまり、撮像技能の上級者や、被写体によっては、よりユーザの望む被写体を主要被写体と判定できる可能性を高くできる。また、主要被写体判定処理は、一定時間を必ず行うものではなく、主要被写体が判定された時点で処理は終了されるため、被写体や撮像者の技量によっては、迅速に主要被写体判定が為される。[4-3:処理例3タイプI;判定基準点;先着判定;累積存在;拡張例]処理例3も上述の処理タイプIの具体例であるが、この処理例3は上記処理例1を発展させた例である。候補画像枠の位置状態としては、設定した判定基準点との距離を求める。各候補画像枠について安定存在度としては、位置状態判定基準点との距離が所定の閾値以内という条件を満たしている累積時間情報を算出する。主要被写体判定開始から、安定存在度が最も早く所定値に達した候補画像を、主要被写体と判定する。以上は処理例1と同様であるが、処理例3は安定存在度の算出に、重み付けを与えることを可能としている。また、同時に複数の候補画像枠について安定存在度が所定値に達した場合、つまり複数の候補画像枠が主要被写体と判定されてしまう場合の対応処理を付加するものである。図11に処理例3を示す。ステップF100~F107は図9と同様である。ステップF108,F121,F122,F123で制御部30は、各候補画像枠Enの安定存在度を算出する。この場合、ステップF108で、各候補画像枠Enについて、フラグFlgn=1であるか否かを確認する。フラグFlgn=1であれば、制御部30はステップF121に進み、カウント変数OFSTに可変設定値Aを代入する。可変設定値Aは、A>0として設定された値である。フラグFlgn=0であれば、制御部30はステップF122に進み、カウント変数OFSTに可変設定値Bを代入する。可変設定値Bは、A≦0として設定された値である。そしていずれの場合も制御部30は、ステップF123で、安定存在度の値となるカウント値Cntnについて、Cntn=CntnOFSTの演算を行う。また各候補画像枠Enについての、平均距離AveDiffnを算出する。可変設定値A>0であるので、ステップF108でフラグFlgn=1であれば安定存在度の値カウント値Cntnが上昇していく。そしてステップF111でカウント値Cntnがカウント閾値CTthrに到達する場合とは、或る候補画像枠が、非連続的でもよいが、複数のフレームのうちで高い頻度で判定基準点SPに近いという条件を満たした場合となる。このような場合、制御部30は処理をステップF111からF112に進め、制御部30は、カウント値Cntnがカウント閾値CTthrに達した候補画像枠Enを主要被写体と判定し、主要被写体設定を行う。そして変数TSF=1とする。ステップF113、F114の処理は図9と同様である。また、この処理例3も、処理開始時点から所定の制限時間を経過しても主要被写体が判定できない場合は、主要被写体無しとして、処理を終了するようにするとよい。上記のステップF108,F121,F122,F123の処理の意味は次のようになる。可変設定値A、Bは、制御部30が固定的に設定してもよいし、ユーザ指示やアプリケーションプログラム等に基づいて設定してもよい。或いは、主要被写体判定を行っている期間中にフレーム数の進行、或いは経過時間に応じて変化させてもよい。つまり可変設定値A、Bの値は、当該主要被写体判定処理からみて外部設定可能とする。以下、各種の可変設定値A、Bの設定例をex1~ex7として説明する。ex1:可変設定値A=1、B=0と固定的に設定する場合このようにすると、図11の処理は、図9の処理と同一となる。つまりステップF108でフラグFlgn=1であればカウント値Cntnがインクリメントされ、フラグFlgn=0であればカウント値Cntnがインクリメントされずにキープされる。ex2:可変設定値A=2又は3以上、B=0と固定的に設定する場合例えば、通常は上記ex1であるが、ユーザ指示やアプリケーションプログラムの指示に応じて、可変設定値Aの値を高くする。この場合、カウント値Cntnがカウント閾値CTthrに到達する時間を早めることができる。従って通常より迅速に主要被写体判定を終了させたい場合や、動きの多い被写体を対象とするため主要被写体判定の反応速度を高めたい場合などに好適な設定となる。ex3:可変設定値A=1、B=-1と固定的に設定する場合インクリメントは通常に行われるが、フラグFlgn=0であればカウント値Cntnをデクリメントさせる例である。つまり或る候補画像枠が、判定基準点SPから離れた場合フラグFlgn=0の場合、安定存在度を減少させるという処理となる。これはなるべく判定基準点SPに近い状態に維持される被写体を重要視するという考え方に基づくもので、上述の処理例2に近い考え方であるが、継続時間に限定することなく、あくまで累積時間で判断するというものとなる。つまり処理例1の安定存在度の考え方を、処理例2の考え方に近づけるものとなる。ex4:可変設定値A=1、B=-2又は-3以下と固定的に設定する場合上記ex3と同様であるが、或る候補画像枠が、判定基準点SPから離れたフラグFlgn=0の場合に、安定存在度が阻害される度合いを大きくする例となる。逆にいえば、判定基準点SPに近いことの主要被写体判定への重要度を高めるものである。ex5:可変設定値A=2又は3以上、B=-2又は-3以下と固定的に設定する場合上記ex2とex4の考え方を複合的に適用する処理例となる。判定基準点SPに近いことの主要被写体判定への重要度を高めるとともに、判定応答性が向上される。ex6:判定期間中に可変設定値Aを変化させる。例えば図11の処理が実行される判定期間を、開始時点から所定時間単位で第1期間、第2期間と分割期間を設定する。そして、第1期間はA=1、第2期間はA=2、第3期間はA=3などのように可変設定値Aを変化させる。これは、後半に行くほど、判定基準点SPに近いことの価値を重くするものである。一般に撮像者が被写体を狙ってカメラを構える場合、最初は主役としたい被写体を画像中央などの所望の位置にとらえられず、撮像者が徐々にカメラの向きを調整していく。このことを考慮すると、最初は、撮像者が主要被写体と念頭においている被写体は、時間が進むにつれ徐々に画像中央にとらえられるようになる。従って、主要被写体判定処理の実行中に、時間が進むほど、判定基準点SPに近いということの価値を重くすることは、撮像者の考えに合致した主要被写体判定ができる可能性を高めることになる。なお、このex6において分割期間の設定や、各分割期間でのA値は多様に考えられる。逆に撮像事情、環境によっては、第1期間はA=3、第2期間はA=2、第3期間はA=1などのように可変設定値Aを徐々に小さくなるように変化させ、判定初期に判定基準点SPに近いことの価値を高めるような例も考えられる。例えば最初は静止している被写体の動きだしのタイミングで主要被写体判定を行うような場合である。また、分割期間の設定や、どのように可変設定値Aを変化させるかは、ユーザが選択できるようにしてもよい。また、このex6の場合の可変設定値Bについては、上記ex1~ex5、又は次に説明するex7のいずれかを組み合わせることができる。ex7:判定期間中に可変設定値Bを変化させる。例えば図11の処理が実行される判定期間を、開始時点から所定時間単位で第1期間、第2期間と分割期間を設定する。そして、第1期間はB=1、第2期間はB=2、第3期間はB=3などのように可変設定値Aを変化させる。これは、後半に行くほど、判定基準点SPから離れていることの重要性非安定存在度を重く見ることになり、考え方としては上記ex6と同様である。つまり撮像者が主要被写体とは考えていない被写体は、判定後期ほど、判定基準点SPから離れることが多いであろうという考え方である。これも撮像者の考えに合致した主要被写体判定ができる可能性を高めることになる。なお、このex7において分割期間の設定や、各分割期間でのB値は多様に考えられる。撮像事情、環境によっては、第1期間はB=3、第2期間はB=2、第3期間はB=1などのように可変設定値Bを徐々に小さくなるように変化させ、判定初期に判定基準点SPに近いことの価値を高めるような例も考えられる。また、分割期間の設定や、どのように可変設定値Bを変化させるかは、ユーザが選択できるようにしてもよい。また、このex7の場合の可変設定値Aについては、上記ex1~ex6のいずれかを組み合わせることができる。以上は例示であるが、これらのように可変設定値A、Bの設定により、目的や状況に応じた主要被写体判定が可能となる。なお、処理例3では、処理例1と同様、判定基準点SPに近い累積時間情報としてのカウント値Cntnを用いて主要被写体判定を行うが、このカウント値Cntnに加減算する値は、可変設定値A、Bによって決まる。このため、カウント値Cntnは累積の時間そのものではなく、条件に合わない時間が減算されたり、分割期間によって条件合致の重みが変化する。このようにカウント値Cntnは、判定基準点SPに近いという条件に合致している時間フレーム数そのものの累積時間を表すことにはならない場合があるが、各実施の形態において、累積時間とは、このように減算や重み付けを加えたうえでの累積の時間又はフレーム数も含む概念として用いている。ところで、可変設定値Aを用いる考え方は、上述の処理例2にも適用できる。即ち上述の図10においてフラグFlgn=1の場合、ステップF109ではカウント値Cntnをインクリメントするが、このときにCntn=Cntn可変設定値Aという演算を行うようにしてもよい。可変設定値Aの設定によっては、上記ex2ex6で述べたような考え方の処理が実現できる。なお、その場合、カウント値Cntnは、判定基準点SPに近いという条件に合致している時間フレーム数そのものの継続時間を直接表すことにはならない場合があるが、継続時間も、このように減算や重み付けを加えたうえでの時間又はフレーム数も含む概念として用いている。次に図11の処理例3において、複数の候補画像枠Enのカウント値Cntnが同時にステップF111でカウント閾値CTthrに到達した場合のステップF112の処理について説明する。或る時点でのステップF111で、複数の候補画像枠Enのカウント値Cntnが同時にカウント閾値CTthrに到達する場合も当然考えられる。この場合に、複数の候補画像枠Enを、共に主要被写体と判定することも考えられるが、ここでは、一の候補画像枠のみを主要被写体と判定する場合の例を述べる。複数の候補画像枠Enの安定存在度カウント値Cntnが同時にカウント閾値CTthrに到達する場合は、次の条件1~条件3で、一の候補画像枠を主要被写体とすることが考えられる。条件1:平均距離AveDiffnが最も小さい候補画像枠を選択する。カウント値Cntnは、距離Diffnが距離閾値Trsdiff以下であるかのステップF105での判定結果フラグFlgn=1フラグFlgn=0に応じてカウントアップ/ダウンされる。従ってカウント値Cntnは、絶対的な距離Diffnを表すものではない。ここで、ステップF123で平均距離AveDiffnを求めるようにすると、複数の候補画像枠Enのうちで、どちらが、より判定基準点SPに近い状態であったかを判定できる。ステップF123においては、平均距離AveDiffnは、AveDiffn=距離Diffnの累積加算値/距離Diffnの加算回数で求めることができる。複数の候補画像枠Enの安定存在度カウント値Cntnが同時にカウント閾値CTthrに到達した場合は、ステップF112において、平均距離AveDiffnが一番小さいものを主要被写体と判定すればよい。なお、平均距離AveDiffnで判定したが、距離Diffnの累積加算値で判定してもよいことは当然である。また、平均距離ではなく、平均的に所定の距離範囲にあったか、或いは平均的に所定の面積範囲にあったか、というような指標を用いて、1つの候補画像枠を選択することも考えられる。また、被写体距離を用いてもよい。例えば各フレームでの候補画像枠Enの被写体距離としての位置z値について、判定基準点SPとしてのz軸方向の位置との差分を求める。そしてその平均値を算出する。この被写体距離差分平均値が最小の候補画像枠を選択する例である。条件2:サイズが所定範囲内の候補画像枠を選択する。各候補画像枠Enは、撮像装置10と被写体の距離や、その被写体自体の大きさによってサイズが異なる。撮像者は、主として写したい被写体に対して、ある程度ズーム調整をしたり、自身の立ち位置を変えたりして、被写体の画像上のサイズを適切に調整することが通常である。従って撮像者が主要被写体と考えている被写体は、画像上である程度の範囲内となっていることが多い。また遠い被写体、撮像者がズーム/フォーカスを合わせていない被写体はかなり小さくなったり、大きすぎる状態となることが多い。そこで、例えば候補画像枠のピクセル数PXに対して、判定上限PXmax、判定下限PXmimを設定し、PXmax≧PXn≧PXmimというサイズ条件を設定する。複数の候補画像枠Enの安定存在度カウント値Cntnが同時にカウント閾値CTthrに到達した場合は、ステップF112においては、このサイズ条件を満たすものを主要被写体と判定すればよい。なお、サイズ条件は、上限のみのPXmax≧PXnでもよいし、下限のみのPXn≧PXmimとしてもよい。またピクセル数PXではなく、候補画像枠Enの幅w、高さhを用いてサイズ判定してもよい。条件3:或る時点での所定の距離範囲内、又は最小距離の候補画像枠を選択する。或る時点において、判定基準点SPに近いと判定された候補画像枠、又は判定基準点SPに最も近い候補画像枠を主要被写体とする。或る時点とは、例えばステップF112に進んだ時点の最後のフレームや、主要被写体判定処理を開始した際の最初のフレーム、或いは中間の或るフレームなどである。例えば、撮像者が主要と考える被写体を狙っていることから、最後の時点ほど、撮像者は主用途考える被写体が、判定基準点SPに近いことが多いと考えられる。上述のex6等の後半重み付けと同様の考え方である。そこで、複数の候補画像枠Enの安定存在度カウント値Cntnが同時にカウント閾値CTthrに到達した場合は、ステップF112では、最後のフレームで、距離Diffnが最小の候補画像枠Enを主要被写体と判定すればよい。なお最後のフレームで、距離Diffnが所定範囲内つまり距離閾値Trsdiff以下となった候補画像枠Enを主要被写体と判定してもよい。但し処理例3の場合、カウント値Cntnが同時にカウント閾値CTthrに到達した場合の判定となるため、複数の候補画像枠Enはいずれもこの条件を満たすため、複数のうちの選択には、この条件は使用できないが、後述する処理例5~処理例12のように、主要被写体判定処理を必ず一定時間実行する処理の場合、この条件で選択することは有効である。また最後のフレームではなく、最初のフレーム、或いは途中のフレームなどで、所定の距離範囲内、又は最小距離の候補画像枠を選択することも、撮像事情や被写体などに応じて適切となる場合がある。また、被写体距離を用いてもよい。例えば最後のフレームなど、特定の時点での候補画像枠Enの被写体距離としての位置z値について、判定基準点SPとしてのz軸方向の位置との差分を求め、その被写体距離差分値が最小の候補画像枠を選択する例である。以上条件1~条件3を例示したが、もちろん1つの条件ではなく、条件1~条件3を組み合わせて、1つの候補画像枠を主要被写体として選択してもよい。また、これら以外の条件を用いて選択を行うことも可能である。以上のように制御部30はステップF112において、安定存在度カウント値Cntnからは複数の候補画像枠Enが主要被写体と判定されるべき状況になった場合、画角空間内での候補画像枠の位置情報又はサイズ情報を用いて、一の候補画像を選択し、選択した当該候補画像を主要被写体とする。これにより、最も適切な主要被写体を一つ設定するということが可能となる。なお、このような複数のうちで1つを主要被写体として選択する手法は、処理例1,2でも適用可能である。以上、図11で説明した処理例3では、処理例1と同様の効果が得られると共に、可変設定値A、Bの設定により、各種の状況に応じた適切な主要被写体判定が可能となる。[4-4:処理例4タイプI;判定基準点;先着判定;累積存在;条件判定付き]続いて処理例4も上述の処理タイプIの具体例であるが、この処理例4は上記処理例3をさらに発展させた例である。候補画像枠の位置状態としては、設定した判定基準点との距離を求める。各候補画像枠について安定存在度としては、位置状態判定基準点との距離が所定の閾値以内という条件を満たしている累積時間情報を算出する。そして主要被写体判定開始から、安定存在度が最も早く所定値に達した候補画像を、主要被写体と判定する。以上は処理例1、処理例3と同様であるが、処理例4は安定存在度の算出について、距離Diffnが距離閾値Trsdiff以下であるかの条件以外にも条件を加える例である。図12に処理例4を示す。ステップF100~F104、F105~F108、F121~F123、F111~F114は図11と同様である。この図12は、図11にステップF130を加えたものである。ステップF130,F105,F106,F107では、フラグFlgnの処理を行う。ここでステップF130では、或る条件を満たしている過否かにより処理を分岐する。そして条件を満たしていればステップF105に進み、距離Diffnが距離閾値Trsdiff以下であるか否かの判定をおこなう。そしてその判定結果でステップF106,F107のいずれかでフラグFlgnを設定する。またステップF130で条件を満たしていないと判定した場合は、ステップF107に進み、フラグFlgn=0とする。つまりステップF130で条件を満たしていないとされた候補画像枠Enについては距離Diffnに関わらずフラグFlgn=0とするものである。ステップF106,F107のフラグFlgnの処理以降は、図11と同様である。ステップF130の条件としては、次の例条件11~条件14が考えられる。条件11:被写体距離が所定範囲内である。候補画像枠Enの被写体距離としての位置z値について、判定基準点SPとしてのz軸方向の位置との差分を求める。この被写体距離差分値が、所定の範囲内であることを条件とする。条件12:サイズが所定範囲内である。各候補画像枠Enは、撮像装置10と被写体の距離や、その被写体自体の大きさによってサイズが異なる。上述の処理例3で述べた条件2と同様の考えで、撮像者は、主として写したい被写体に対して、ある程度ズーム調整をしたり、自身の立ち位置を変えたりして、被写体の画像上のサイズを適切に調整することが通常であるため、サイズが小さすぎたり大きすぎる画像は、撮像者が主要被写体と考えていないことが推定される。そこで、例えば候補画像枠のピクセル数PXに対して、判定上限PXmax、判定下限PXmimを設定し、PXmax≧PXn≧PXmimというサイズ条件を設定する。なお、サイズ条件は、上限のみのPXmax≧PXnでもよいし、下限のみのPXn≧PXmimとしてもよい。またピクセル数PXではなく、候補画像枠Enの幅w、高さhを用いてサイズ判定してもよい。条件13:特定の画像種別である。例えば候補検出部26の候補画像抽出処理での条件設定としても可能であるが、候補検出部26が特に条件を広く候補画像を抽出する場合、ステップF130で候補画像たる条件を絞るようにしてもよい。例えばユーザの指定により、顔、人体、犬、猫等の画像であることを条件とする。犬画像であることを条件とした場合、ステップF130で候補画像枠Enの種別が顔画像、人体画像、猫画像等であれば、条件を満たさないと判定し、カウント値Cntnのインクリメントを行わないようにする。条件14:特定の画像状態である。例えば抽出された画像自体の輝度情報、色情報が、所定の範囲、所定の色であること等を条件に加える。輝度情報であれば、画像自体が暗すぎる又は明るすぎるものは、条件を満たさないとする。またユーザが或る色を指定し、その色の被写体であれば条件を満たすといった判定も可能である。なお、画像状態の判定のために制御部30は、候補画像データ自体、或いは輝度情報、色情報を候補検出部26から受け取るようにすればよい。以上条件11~条件14を例示したが、もちろん1つの条件ではなく、条件1~条件3を組み合わせて、1つの候補画像枠を主要被写体として選択してもよい。これら以外の条件設定も可能である。以上のように制御部30は、画角空間内での候補画像の位置情報、又は候補画像のサイズ情報等を、安定存在度の算出処理に用いるようにしている。これにより、図12で説明した処理例4では、処理例1、3と同様の効果が得られると共に、条件設定により、より安定存在度の算出を適切なものとし、撮像者が主要と考える主要被写体を、より的確に自動判定できるものとなる。なお、ステップF112での最終的な主要被写体判定の際に、上記条件11~条件14を判定してもよい。つまりステップF111で、或る1つの候補画像枠Enのカウント値Cntnがカウント閾値CTthrに到達する場合であっても、当然にそれを主要被写体とするのではなく、条件を満たさなければ主要被写体とは判定しないという処理も考えられる。このように制御部30は、画角空間内での候補画像の位置情報、又は候補画像のサイズ情報等を、ステップF112での主要被写体判定処理に用いるようにしてもよい。また以上のように、ステップF130のように安定存在度の算出に条件設定を加えることや、ステップF112での主要被写体判定に条件設定を加えることは、継続時間としての安定存在度を用いる処理例2でも適用可能である。[4-5:処理例5タイプI;判定基準点;一定時間判定;累積存在]処理例5も処理タイプIの具体例であるが、この処理例5は、これまでの処理例1~処理例4とは異なり、或る一定時間で主要被写体判定を行う例である。即ち制御部30は、或る一定の主要被写体判定期間に、安定存在度の値が最も高い候補画像を、主要被写体と判定する処理例である。候補画像枠の位置状態としては、設定した判定基準点との距離を求める。各候補画像枠について安定存在度としては、位置状態判定基準点との距離が所定の閾値以内という条件を満たしている累積時間情報を算出する。主要被写体判定としては、上記のように一定の主要被写体判定期間において、安定存在度の値が最も高くなった候補画像を選定する。図13に処理例5を示す。制御部30は、主要被写体判定処理を開始すると、まずステップF100Aで初期設定を行う。処理例1~処理例4のステップF100と同様、変数TSF=0とし、またカウント値Cntn=0とする。加えてこの場合、一定の主要被写体判定期間を計数するためにタイマTMをリセット/スタートさせる。ステップF101~F108、F121~F122は図11と同様である。なおステップF123Aは、カウント値Cntnの加減算を行うことは図11のステップF123と同様である。加えてステップF123Aは平均値算出を行う。図11では平均距離AveDiffnの算出としたが、ここでの平均値算出とは、平均距離AveDiffnだけでなく、平均的に所定の距離範囲にあったか否かを示す値の算出や、平均的に所定の面積範囲にあったか否かを示す値の算出でもよいという意味を含めたものである。前述のように、これら平均値は、最終的に複数の候補画像枠Enについて、安定存在度の値カウント値Cntnが最も高いという結果になった場合に、1つの候補画像枠Enを選択するために用いることができる。ステップF140では、制御部30は、タイマTMの計数値が所定時間TMovに達したか否かを確認する。つまり主要被写体判定処理を開始してからの経過時間が、所定の時間一定の主要被写体判定期間となったか否かの判定である。所定時間に達していなければ、ステップF101に戻って処理を継続する。タイマTMの計数値が所定時間TMovに達したら、制御部30はステップF141に進み、主要被写体判定を行う。つまり、その時点での各候補画像枠Enについてのカウント値Cntnを確認し、最大値になっている候補画像枠Enを、主要被写体と設定することとなる。またこれに応じて変数TSF=1とする。そして処理を終える。つまりこの処理例5は、一定時間は安定存在度算出カウント値Cntnの処理を継続する。そして一定時間経過後の時点で、カウント値Cntnが最大の候補画像枠Enを主要被写体とするものである。なお、ステップF141の時点で、複数の候補画像枠Enのカウント値Cntnが同数で最大値となることもある。その場合、上記処理例3で説明した条件1条件2条件3等により1つを選択すればよい。条件1の判定を行う場合はステップF123Aで求めている平均値を用いることができる。以上の処理例5によれば、ユーザが主として撮像したい被写体を、なるべく画像中央などの判定基準点SPに近い状態になるように、撮像装置10を構える被写体を追うことによって、当該被写体が主要被写体として自動的に判定されることとなる。特に処理例5は、判定基準点SPに近い状態の累積時間で安定存在度を判定している。動いている状況の被写体、或いは動物等の動きの早い被写体の場合、撮像者はある程度の時間例えば数秒程度でも、主としたい被写体を継続して画像中央に捕らえることは難しい場合がある。また撮像者の撮像技量によっては、手ぶれが激しいなどにより、なかなかとりたい被写体を画像中央に維持できないといったこともある。このような場合であっても、累積時間を用いることで、比較的迅速に主要被写体判定が可能となる。つまり動きの速い被写体を対象とする場合や、比較的不慣れなユーザには好適となる。また、主要被写体判定処理は、一定時間で安定存在度カウント値Cntnが最も高いものを選択する処理となる。このため、あまりカウント値Cntnのカウントアップが進まないような状況であっても、一定時間で主要被写体判定が為されるといった利点もある。例えば動き回る被写体で、なかなか判定基準点SPの近くに捉えるのが難しいような場合でも、一定時間で主要被写体判定が完了する。但し、どの候補画像枠Enについても、あまりにカウントアップが進まない状況では、無理に主要被写体を選定するよりは、該当なしとの判定を行った方が良い場合もある。そこで、カウント値Cntnについて、主要被写体に該当するために下限値条件をつけてもよい。即ちステップF141において、最大として選ばれたカウント値Cntnを下限値Lthと比較し、Cntn<Lthであったら、主要被写体該当なしとすることも考えられる。これにより、本来主要被写体が存在しないような状況において主要被写体が決定されてしまうということを避けることができる。なお、下限値Lthは、処理例1等におけるカウント閾値CTthrと同程度の値としてもよいが、より低い値としてもよい。即ち主要被写体と設定するには最低限のカウント値安定存在度と考えられる値とすることで、上記の、例えば動き回る被写体で、なかなか判定基準点SPの近くに捉えるのが難しいような場合でも、一定時間で主要被写体判定が完了できるという効果が得られるようにすることができる。[4-6:処理例6タイプI;判定基準点;一定時間判定;継続存在]処理例6も処理タイプIの具体例である。この処理例6では、候補画像枠の位置状態としては、設定した判定基準点との距離を求める。また、各候補画像枠について安定存在度としては、位置状態判定基準点との距離が所定の閾値以内という条件を継続して満たしている継続時間情報を算出する。また、主要被写体判定については、処理例5と同様、一定の主要被写体判定期間において、安定存在度の値が最も高くなった候補画像を、主要被写体と判定する。処理例5との差異点は、安定存在度が、判定基準点SPに近い状態の継続時間とすることである。つまり、一定の主要被写体判定期間内で、最も長く継続して判定基準点SPに近い状態があった候補画像枠を、主要被写体と判定する。図14に処理例6を示す。制御部30は、主要被写体判定処理を開始すると、まずステップF100Bで初期設定を行う。処理例5のステップF100Aと同様、変数TSF=0とし、またカウント値Cntn=0とする。また、一定の主要被写体判定期間を計数するためにタイマTMをリセット/スタートさせる。加えてこの場合、継続時間保持変数CCnを初期化=0する。ステップF101~F107は図13と同様である。ステップF108,F121,F123A,F124~F126では、安定存在度の算出処理としてカウント値Cntnの処理を行う。制御部30はステップF108で、各候補画像枠Enについて、フラグFlgn=1であるか否かを確認し、フラグFlgn=1であれば、ステップF121でカウント変数OFSTに可変設定値A但しA>0を代入する。そして制御部30はステップF123で、安定存在度の値となるカウント値Cntnについて、Cntn=CntnOFSTの演算を行う。つまりカウント値CntnをA値だけカウントアップする。一方、ステップF108でフラグFlgn=0であれば、制御部30はステップF124に進み、その時点のカウント値Cntnを継続時間保持変数CCnと比較する。CCn>Cntnであれば、ステップF126でカウント値Cntnをクリアする。CCn>Cntnでなければ、ステップF125で、その時点のカウント値Cntnを継続時間保持変数CCnに代入したうえで、ステップF126でカウント値Cntnをクリアする。これまでの処理例1~処理例5と同様、カウント値Cntnは安定存在度の値となる。つまり、候補画像枠Enが判定基準点SPに近い状態が検出されることに応じてカウント値が加算されていく。一方、候補画像枠Enが判定基準点SPに近い状態ではないフラグFlgn=0と判定されると、ステップF126でカウント値Cntnがクリアされる。これは処理例2で説明した場合と同様に、一旦、判定基準点SPから遠ざかると、安定存在度の値がゼロに戻されるという意味である。従って各候補画像枠Enは、その被写体が、それぞれ継続的に判定基準点SPに近い状態にとらえられている限り、安定存在度の値カウント値Cntnが上昇していくが、継続状態がなくなれば、カウント値Cntn=0となる。従ってカウント値Cntnは、判定基準点SPに近い状態の継続時間を示すものとなる。この場合に、継続時間保持変数CCnは、一定の主要被写体判定期間内での最大の継続時間を保持するものとなる。このため継続時間が途切れた際に、ステップF124,F125で継続時間保持変数CCが最大値更新される。つまり、継続が途切れた現時点の継続時間であるカウント値Cntnが、継続時間保持変数CCで保持している継続時間より大きければ、カウント値Cntnが継続時間保持変数CCnに代入されて最大値に更新される。ステップF140では、制御部30は、タイマTMの計数値が所定時間TMovに達したか否かを確認する。所定時間に達していなければ、ステップF101に戻って処理を継続する。タイマTMの計数値が所定時間TMovに達したら、制御部30はステップF127でその時点のカウント値Cntnを継続時間保持変数CCnと比較する。CCn>Cntnでなければ、ステップF128で、その時点のカウント値Cntnを継続時間保持変数CCnに代入する。このステップF127,F128は、一定の主要被写体判定期間が終わる時点で、判定基準点SPに近い状態を継続していた場合であって、それが継続時間の最大値となっていた場合、継続時間保持変数CCnを更新する処理である。そして制御部30はステップF141に進み、主要被写体判定を行う。つまり、その時点での各候補画像枠Enについての継続時間保持変数CCnの値を確認し、これが最大値になっている候補画像枠Enを、主要被写体と設定する。またこれに応じて変数TSF=1とする。そして処理を終える。以上のように処理例6は、一定時間は安定存在度算出カウント値Cntnの処理を継続する。そして一定時間経過後の時点で、継続時間保持変数CCnで示される継続時間が最大の候補画像枠Enを主要被写体とするものである。なお、ステップF141の時点で、複数の候補画像枠Enの継続時間保持変数CCnが同数で最大値となることもある。その場合、上記処理例3で説明した条件1条件2条件3等により1つを選択すればよい。またステップF141では、継続時間保持変数CCnの最大値に対し下限値Lthとの比較を行い、CCn<Lthであったら、主要被写体該当なしとすることも考えられる。これにより、本来主要被写体が存在しないような状況において主要被写体が決定されてしまうということを避けることができる。以上の処理例6によれば、ユーザが主として撮像したい被写体を、なるべく画像中央などの判定基準点SPに近い状態になるように、撮像装置10を構える被写体を追うことによって、当該被写体が主要被写体として自動的に判定されることとなる。また、主要被写体判定処理は、一定時間で安定存在度継続時間保持変数CCnが最も高いものを選択する処理となる。このため、処理例5と同様に、あまりカウント値Cntnのカウントアップが進まないような状況であっても、一定時間で主要被写体判定が為されるといった利点もある。さらに処理例6は、継続時間によって安定存在度を評価している。処理例2と同様に、撮像技能の上級者や、被写体によっては、よりユーザの望む被写体を主要被写体と判定できる可能性を高くできる。[4-7:処理例7タイプI;判定基準領域;先着判定;累積/継続存在]処理例7も処理タイプIの具体例である。この処理例7では、候補画像枠の位置状態としては、設定した判定基準領域との位置関係を求める。また、各候補画像枠について安定存在度としては、位置状態判定基準領域との関係が所定の状態という条件を満たしている累積時間情報又は継続時間情報を算出する。また、主要被写体判定については、処理例1~処理例4と同様に、主要被写体判定開始から、安定存在度が最も早く所定値に達した候補画像を選択する。まず判定基準領域の位置関係について図15で説明する。図15は判定基準領域SAの例を示している。図15Aは画像中央の正方形領域を判定基準領域SAとした例である。ここでは、或るフレームの時点で、候補画像枠E1,E2,E3のそれぞれの候補画像枠情報が取り込まれた場合の様子を示している。各候補画像枠Enの判定基準領域SAとの位置関係とは、例えば、重心が判定基準領域SAに入っているか否か全体が判定基準領域SAに入っているか否か少なくとも一部が判定基準領域SAに入っているか否か判定基準領域の外縁との距離が所定以内か否かなどとする。なお、判定基準領域SAが画面中央とされるのは一例である。例えば図15Bのように、中央よりやや左上方の位置に判定基準領域SAを設定してもよい。例えば静止画の構図を考えた場合、このような中央でない位置に主たる被写体を配置するとよい場合が多々考えられるからである。或いは図15Cのように、画像全体フレーム全体を判定基準領域SAとしてもよい。この場合の各候補画像枠Enの判定基準領域SAとの位置関係とは画像内に候補画像が存在するか否かということとなる。また判定基準領域SAの形状は図15Aの正方形に限らず、図15B、図15Cの長方形でもよい。また三角形、五角形以上の多角形、円形、楕円形、長円形、不定形などでもよい。さらにサイズも多様に考えられる。また判定基準領域SAは、例えば図15A、図15Bのような領域に固定的に設定していてもよいし、ユーザが表示画面上でのタッチ操作などにより任意に指定できるようにしてもよい。また表示部34の画面上でユーザにいくつかの判定基準領域SAの候補領域を提示し、ユーザが選択できるようにしてもよい。さらには、画像内容、画像解析結果などに応じて制御部30が構図などを考慮して最適な領域を判定し、自動設定することも考えられる。即ち判定基準点SPについては、画像中央位置、或いは中央よりずれた位置などを中心にして、予め決められた固定的な形状の領域に設定される。ユーザが中心位置、形状、サイズの全部又は一部を任意に指定する。いくつかの候補領域をユーザに提示し、ユーザが選択することで設定される。制御部30が画像内容に応じて最適領域を判定し、自動的に可変設定する。などが考えられる。候補画像枠Enと判定基準領域SAとの位置関係は、各フレームの時点で求めて安定存在度カウント値Cntnのカウントに用いる。例えば各候補画像枠Enの判定基準領域SAとの位置関係として、重心が判定基準領域SAに入っているか否かという判定を行う。図16は、候補画像枠E1,E2,E3についての、各フレームでの位置関係、つまり重心が判定基準領域SAのエリア内かエリア外かの判定結果の変動の様子を示したものである。処理例7では、安定存在度とは、重心が判定基準領域SAに入っている状態の累積時間とする。このため判定基準領域SAのエリア内と判定される回数をカウント値Cntnでカウントしていくこととなる。図17で処理例7としての制御部30の主要被写体判定処理を説明する。なお、図17は、上述の図11の処理例3を、判定基準領域SAを用いた処理に変更した例である。ステップF100~F102、F104は図11と同様である。この図17の場合、図11におけるステップF103に相当する距離Diffnの算出処理は不要となる。ステップF150で制御部30は、各候補画像枠Enの重心Gが、判定基準領域SA内であるか否かを確認する。ここで画面平面のxy座標の原点Oは図15Aのように画像左上頂点とする。そして各候補画像枠Enの重心Gのxy座標値をEcx,Ecyとする。また判定基準領域SAについては例えば方形であるとし、判定基準領域SAの左上頂点のxy座標値をSAx,SAy、幅をSAw、高さをSAhとする。すると、制御部30はステップF150で、各候補画像枠Enの重心Gについて、SAx≦Ecx≦SAxSAwであり、かつ、SAy≦Ecy≦SAySAhであるかを判定することとなる。この条件が満たされれば、候補画像枠Enの重心Gが、判定基準領域SA内であることとなる。制御部30は各候補画像枠Enについて上記判定を行い、重心Gが、判定基準領域SA内であればステップF106でフラグFlgn=1領域内とする。また重心Gが、判定基準領域SAに含まれなければステップF107でフラグFlgn=0領域外とする。ステップF108,F121,F122,F123B,F111,F112,F113,F114は、基本的に図11と同様である。なお、ステップF123Bにおいては、平均距離算出を行わないことが図11のステップF123と異なる。破線で示すステップF110については後述するこのような処理例7によれば、判定基準領域SAとの位置関係に基づいて各候補画像枠Enの安定存在度を算出することになる。安定存在度としては、位置状態判定基準領域との関係が所定の状態という条件を満たしている累積時間となる。そして主要被写体判定開始から、安定存在度累積時間が最も早く所定値に達した候補画像が主要被写体と判定される。従って、処理例1,処理例3と同様の効果が得られる。その上で、判定基準点SPではなく判定基準領域SAを用いることで、主要被写体の判定のための位置が広がり、撮像環境や被写体、ユーザの撮像技量などによっては、主要被写体判定に好適となる場合がある。なお、ステップF108でフラグFlgn=0であった場合は、ステップF122,F123Bを実行せずに、破線で示すようにステップF110でカウント値Cntnをクリアするようにしてもよい。このステップF110でクリアする処理を採用する場合、処理例2で説明したように、カウント値Cntnが、条件図17の場合は判定基準領域SA内に存在という条件を満たす累積時間ではなく、継続時間を示すものとなる。つまりステップF110を採用する場合、図17の処理は、継続時間を安定存在度の指標とし、これに基づいて主要被写体を判定することとなる。この場合、処理例2と同様の効果が得られる。なお図17では、ステップF150で候補画像枠Enの重心が判定基準領域SA内であるか否かという条件判定を行ったが、上述のように、候補画像枠Enの全体もしくは一部が判定基準領域SAに入っているか否かという条件や、候補画像枠Enの重心が判定基準領域の外縁との距離が所定以内か否かという条件をステップF150で判定するようにしてもよい。[4-8:処理例8タイプI;判定基準領域;一定時間判定;累積/継続存在]処理例8も処理タイプIの具体例である。これは処理例5を、判定基準領域SAを用いる例に変形したものといえる。この処理例8では、候補画像枠の位置状態としては、設定した判定基準領域SAとの位置関係を求める。また、各候補画像枠について安定存在度としては、位置状態判定基準領域SAとの関係が所定の状態という条件を満たしている累積時間情報又は継続時間情報を算出する。また、一定の主要被写体判定期間において、安定存在度の値が最も高くなった候補画像を、主要被写体と判定する。図18で処理例8としての制御部30の主要被写体判定処理を説明する。なお、図18は、上述の図13の処理例5を、判定基準領域SAを用いた処理に変更した例である。ステップF100A、F101、F102、F104は図11と同様である。この図18の場合、図13におけるステップF103に相当する距離Diffnの算出処理は不要となる。ステップF150で制御部30は、各候補画像枠Enの重心Gが、判定基準領域SA内であるか否かを確認する。先に図17で述べた処理と同様である。そして制御部30は各候補画像枠Enについて、重心Gが、判定基準領域SA内であればステップF106でフラグFlgn=1領域内とする。また重心Gが、判定基準領域SAに含まれなければステップF107でフラグFlgn=0領域外とする。ステップF108,F121,F122,F123B,F140,F141は図13と同様である。なお、ステップF123Bにおいては、平均値算出を行わないことが図13のステップF123Aと異なる。この処理例8によれば、判定基準領域SAとの位置関係に基づいて各候補画像枠Enの安定存在度を算出することになる。安定存在度としては、位置状態判定基準領域との関係が所定の状態という条件を満たしている累積時間となる。そして主要被写体判定開始から一定時間において、安定存在度累積時間が最大となった候補画像が主要被写体と判定される。従って、処理例5と同様の効果が得られる。その上で、判定基準点SPではなく判定基準領域SAを用いることで、主要被写体の判定のための位置が広がり、撮像環境や被写体、ユーザの撮像技量などによっては、主要被写体判定に好適となる場合がある。なお、処理例8の変形例として、累積時間ではなく継続時間による安定存在度を求める例も考えられる。その場合のフローチャートは省略するが、図14のステップF103を削除し、ステップF105に代えて上述のステップF150の処理を実行する処理とすればよい。その処理によっては、処理例6と同様の効果が得られる。また累積時間を用いる場合、継続時間を用いる場合のいずれの場合でも、ステップF141では、カウント値Cntnの最大値に対し下限値Lthとの比較を行い、Cntn<Lthであったら、主要被写体該当なしとすることも考えられる。これにより、本来主要被写体が存在しないような状況において主要被写体が決定されてしまうということを避けることができる。また図18では、ステップF150で候補画像枠Enの重心が判定基準領域SA内であるか否かという条件判定を行ったが、候補画像枠Enの全体又は一部が判定基準領域SAに入っているか否かという条件や、候補画像枠Enの重心が判定基準領域の外縁との距離が所定以内か否かという条件をステップF150で判定するようにしてもよい。[4-9:処理例9タイプII;判定基準点;平均的存在]処理例9を説明する。処理例9は、処理タイプIIの具体例である。そしてこの処理例9では、候補画像枠の位置状態としては、設定した判定基準点SPとの距離を求める。また、各候補画像枠について安定存在度としては、位置状態判定基準点との距離の平均値平均距離を算出する。平均距離は、時間的にみて高い頻度で判定基準点に近い位置状態にあることを示す指標となる。例えば平均距離の値が小さいということは、上述した各処理例でいう累積時間が長いことと同様の意味となる。そして、平均距離が最も小さく、かつこれが所定の閾値以内という条件を満たしている候補画像枠を主要被写体と判定する。なお、処理タイプIIであるため、主要被写体判定処理は、ユーザ操作等で中断されない限り、候補画像枠情報のバッファリングが完了する一定時間以上は実行される。図19で処理例9としての制御部30の主要被写体判定処理を説明する。制御部30は、主要被写体判定処理を開始すると、まずステップF200で主要被写体設定済みか否かを示すフラグである変数TSF=0とし、またカウント値BfC=0とする。またカウント値BfCは、制御部30が候補検出部26からの候補画像枠情報を取得し、算出した各候補画像枠Enについての距離Diffnのバッファリング回数フレーム数値をカウントする値である。ステップF201で制御部30は、候補検出部26から或るフレームについての候補画像枠情報を取り込む。例えば各候補画像枠Enについて、位置情報として、画像データの二次元x-y座標値としてのx値、y値や、サイズ情報として候補画像枠の幅w、高さhの情報を取得する。なお、候補画像枠情報には被写体距離z値やピクセル数等も含まれていてもよい。ステップF202で制御部30は、各候補画像枠Enについて、重心Gの座標を算出する。図9のステップF102で説明した処理と同様である。ステップF203で制御部30は、各候補画像枠Enの重心Gから、判定基準点SPまでの距離Diffnを算出する。図9のステップF103で説明した処理と同様である。ステップF204で制御部30は、ステップF203で算出した距離Diffnを、例えば内部メモリ領域において、領域DiffBfCに格納バッファリングする。ステップF205で制御部30は、カウント値BfCをインクリメントする。ステップF206で制御部30は、カウント値BfCが、一定時間に相当するカウント閾値THrTMに達したか否かを判定し、達していなければステップF201に戻る。上記のステップF204における領域DiffBfCとは、主要被写体判定処理開始からBfC番目に取り込んだフレームFRBfCにおける候補画像枠Enの情報を格納する領域という意味としている。例えば最初にステップF201でフレームFR0の候補画像枠情報を取り込んだ時点であって、そのフレームFR0において、候補画像枠E1、E2、E3が存在した場合、それぞれの候補画像枠についてステップF203で算出された距離Diff1、Diff2、Diff3が、領域Diff0、Diff0、Diff0に格納される。また次にステップF201で取り込んだフレームFR1において、候補画像枠E1、E2、E3が存在した場合、それぞれの候補画像枠についてステップF203で算出された距離Diff1、Diff2、Diff3が、領域Diff1、Diff1、Diff1に格納される。つまり、ステップF201~F205の処理が一定時間THrTMの間、繰り返されることで、フレームFR0~フレームmのそれぞれについての各候補画像枠Enの距離Diffnが、バッファリングされることになる。一定時間を経過するとバッファリングは終了され、制御部30は処理をステップF206からF207に進む。ステップF207で制御部30は、各候補画像枠Enについて、平均距離AveDiffnを算出する。AveDiffn=バッファリングされた距離Diffnの累積加算値/距離Diffnの加算回数そしてステップF208で制御部30は、各候補画像枠Enの平均距離AveDiffnの中で、最小距離MIN[AveDiffn]を判定する。最も平均距離AveDiffnが小さい候補画像枠Enが求められることになる。最小距離MIN[AveDiffn]を判定したら、制御部30はステップF209で、当該最小距離MIN[AveDiffn]が距離閾値Trsdiff以下であるか否かを判定する。最小距離MIN[AveDiffn]が距離閾値Trsdiff以下であれば、制御部30は処理をステップF210に進め、当該最小距離MIN[AveDiffn]となった候補画像枠Enを主要被写体と判定し、主要被写体設定を行う。そして変数TSF=1とする。最小距離MIN[AveDiffn]が距離閾値Trsdiff以下でなければ、制御部30は処理をステップF211で変数TSF=0とする。この場合、主要被写体は該当無しという結果となる。なお、少なくとも候補画像枠Enが存在したら必ず主要被写体を決めるという処理を実現する場合は、ステップF209を無くし、最小距離MIN[AveDiffn]となった候補画像枠Enをそのまま主要被写体と判定するようにしてもよい。以上の処理例9によれば、ユーザが主として撮像したい被写体を、なるべく画像中央などの判定基準点SPに近い状態になるように、撮像装置10を構える被写体を追うことによって、当該被写体が主要被写体として自動的に判定されることとなる。そして一定時間は候補画像枠情報を取得するものであるため、処理例5と同様の効果が得られる。なお、もちろんこの処理例9でも、複数の候補画像枠が最小距離MIN[AveDiffn]に該当することもある。1つの候補画像枠Enを主要被写体と設定する場合は、処理例3の説明で述べた条件1~条件3等を用いた手法で、主要被写体となる候補画像枠Enを選択すればよい。また、処理タイプIIに関しての図5の説明では、ステップF21をステップF22で蓄積完了と判断された後に行ってもよいと述べた。これに相当する処理を行う場合は、図19のステップF202、F203の処理を、ステップF206からF207に進む際に実行するものとすればよい。つまりステップF204では候補画像枠情報自体をバッファリングしていき、各フレームでの各候補画像枠Enの距離Diffnは、バッファリング完了後に、バッファリングされた候補画像枠情報を用いて算出する例である。[4-10:処理例10タイプII;判定基準点;累積存在]処理例10も処理タイプIIの例であり、また判定基準点を用いる。各候補画像枠について安定存在度としては、位置状態判定基準点との距離が所定の閾値以内という条件を満たしている累積時間情報を算出する。そしてバッファリングを行う期間において、安定存在度の値が最も高くなった候補画像を、主要被写体と判定する。図20に処理例10としての制御部30の主要被写体判定処理を示す。制御部30は、主要被写体判定処理を開始すると、まずステップF200Aで変数TSF=0とし、またカウント値BfC=0とする。またループ制御のための変数L=0と初期化し、さらに安定存在度に相当するカウント値Cntn=0と初期化する。ステップF201~F206は図19と同様であり、一定期間、候補画像枠情報の取り込み、及び各候補画像枠Enの距離Diffnのバッファリングを行う。ステップF206でタイマとしてのカウント値BfCがカウント閾値THrTMに達したら、バッファリングは終了され、制御部30は処理をステップF206からF210に進む。ステップF210で制御部30は、領域DiffLにバッファリングされた距離Diffnを読み出す。最初は変数L=0であるので、最初にステップF201でフレームFR0の候補画像枠情報を取り込んだ時点の、領域Diff0にバッファリングされた各候補画像枠Enの距離Diffnが読み出される。ステップF211,F212,F213では、制御部30は各候補画像枠Enの距離Diffnに関して所定の条件、つまり判定基準点SPに近いか近くないかを、距離閾値Trsdiffを用いて判定する。そしてDiffn<TrsdiffであればステップF212でフラグFlgn=1近いとする。またDiffn<TrsdiffでなければステップF213でフラグFlgn=0近くないとする。これは処理例1のステップF105、F106,F107と同様の処理である。ステップF214,F215,F216,F217では、安定存在度の算出処理としてカウント値Cntnの処理を行う。制御部30はステップF214で、各候補画像枠Enについて、フラグFlgn=1であるか否かを確認し、フラグFlgn=1であれば、ステップF215でカウント変数OFSTに可変設定値A但しA>0を代入する。そして制御部30はステップF217で、安定存在度の値となるカウント値Cntnについて、Cntn=CntnOFSTの演算を行う。つまりカウント値CntnをA値だけカウントアップする。また制御部30はフラグFlgn=0であれば、ステップF216でカウント変数OFSTに可変設定値B但しB≦0を代入する。そして制御部30はステップF217で、安定存在度の値となるカウント値Cntnについて、Cntn=CntnOFSTの演算を行う。つまりカウント値CntnをB値だけカウントダウン又はキープする。またステップF217では平均値算出も行う。以上は図11のステップF108,F121,F123又は図13のF123Aと同様である。ステップF218で制御部30は、変数Lがバッファリングのカウント値BfCに達しているか否かを確認する。達していなければステップF220で変数Lをインクリメントし、ステップF210に戻る。従って次は、ステップF210で、ステップF201でフレームFR1の候補画像枠情報を取り込んだ時点の、領域Diff1にバッファリングされた各候補画像枠Enの距離Diffnが読み出される。そしてステップF211~F217の処理を行う。以上のステップF210~F217が、ステップF218で変数L=BfCとなるまで繰り返される。これによりバッファリングされた距離Diffnに対する処理が実行される。その処理を終えたら、制御部30はステップF219に進み、主要被写体判定を行う。つまり、その時点での各候補画像枠Enについてのカウント値Cntnを確認し、最大値になっている候補画像枠Enを、主要被写体と設定する。またこれに応じて変数TSF=1とする。そして処理を終える。なお、ステップF219の時点で、複数の候補画像枠Enのカウント値Cntnが同数で最大値となったら、上記処理例3で説明した条件1条件2条件3等により1つを選択すればよい。条件1の判定を行う場合はステップF127で求めている平均値を用いることができる。またステップF219では、カウント値Cntnの最大値に対し下限値Lthとの比較を行い、Cntn<Lthであったら、主要被写体該当なしとすることも考えられる。これにより、本来主要被写体が存在しないような状況において主要被写体が決定されてしまうということを避けることができる。以上の処理例10によっても、処理例9と同様の効果が得られる。[4-11:処理例11タイプII;判定基準点;継続存在]処理例11も処理タイプIIの例であり、また判定基準点を用いる。各候補画像枠について安定存在度としては、位置状態判定基準点との距離が所定の閾値以内という条件を満たしている継続時間情報を算出する。そしてバッファリングを行う期間において、安定存在度の値が最も高くなった候補画像を、主要被写体と判定する。図21に処理例11としての制御部30の主要被写体判定処理を示す。制御部30は、主要被写体判定処理を開始すると、まずステップF200Bで変数TSF=0とし、またカウント値BfC=0とする。またループ制御のための変数L=0と初期化し、さらに安定存在度に相当するカウント値Cntn=0と初期化する。さらに継続時間保持変数CCnを初期化=0する。ステップF201~F206は図19と同様であり、一定期間、候補画像枠情報の取り込み、及び各候補画像枠Enの距離Diffnのバッファリングを行う。ステップF206でタイマとしてのカウント値BfCがカウント閾値THrTMに達したら、バッファリングは終了され、制御部30は処理をステップF206からF210に進む。ステップF210~F215、F217、F218、F220は、図20と同様である。一方、ステップF214でフラグFlgn=0であれば、制御部30はステップF224に進み、その時点のカウント値Cntnを継続時間保持変数CCnと比較する。CCn>Cntnであれば、ステップF226でカウント値Cntnをクリアする。CCn>Cntnでなければ、ステップF225で、その時点のカウント値Cntnを継続時間保持変数CCnに代入したうえで、ステップF226でカウント値Cntnをクリアする。このステップF224,F225,F226は、図14のステップF124,F125,F126と同様の意味の処理であり、カウント値Cntnを、継続時間を意味する値とするためのものである。ステップF218で制御部30は、変数Lがバッファリングのカウント値BfCに達しているか否かを確認し、達していればステップF227に進む。ステップF227,F228は、図14のステップF127,F128と同様の処理である。即ち制御部30はステップF227でその時点のカウント値Cntnを継続時間保持変数CCnと比較する。CCn>Cntnでなければ、ステップF228で、その時点のカウント値Cntnを継続時間保持変数CCnに代入する。この処理は、バッファリングを行った期間が終わる時点で、或る候補画像枠Enが判定基準点SPに近い状態を継続していた場合であって、それが継続時間の最大値となっていた場合、継続時間保持変数CCnを更新する処理となる。そして制御部30はステップF219に進み、主要被写体判定を行う。つまり、その時点での各候補画像枠Enについてのカウント値Cntnを確認し、最大値になっている候補画像枠Enを、主要被写体と設定する。またこれに応じて変数TSF=1とする。そして処理を終える。なお、ステップF219の時点で、複数の候補画像枠Enのカウント値Cntnが同数で最大値となったら、上記処理例3で説明した条件1条件2条件3等により1つを選択すればよい。条件1の判定を行う場合はステップF127で求めている平均値を用いることができる。またステップF219では、カウント値Cntnの最大値に対し下限値Lthとの比較を行い、Cntn<Lthであったら、主要被写体該当なしとすることも考えられる。これにより、本来主要被写体が存在しないような状況において主要被写体が決定されてしまうということを避けることができる。以上の処理例10によれば、処理例6と同様の効果が得られる。[4-12:処理例12タイプII;判定基準領域;平均的存在]処理例12は処理タイプIIの例であって、処理例9を、判定基準領域SAを用いる処理に変更した例である。この処理例12では、候補画像枠の位置状態としては、設定した判定基準領域SAとの位置関係を求める。また、各候補画像枠について安定存在度としては、位置状態判定基準領域SAとの関係が所定の状態という条件を満たしている平均時間累積時間を算出する。そしてバッファリングを行う期間において、安定存在度の値が最も高くなった候補画像を、主要被写体と判定する。図22に処理例12を示す。ステップF200~F202は図19と同様である。バッファリング期間において、ステップF230では、各候補画像枠Enの重心Gが、判定基準領域SA内であるか否かを確認する。図17のステップF150と同様の処理である。各候補画像枠Enについて、重心Gが判定基準領域SA内であれば、制御部30はステップF231で条件充足フラグARn=1とする。各候補画像枠Enについて、重心Gが判定基準領域SA内でなければ、制御部30はステップF232で条件充足フラグARn=0とする。ステップF233で制御部30は、条件充足フラグARnを、例えば内部メモリ領域において、領域ARBfCに格納バッファリングする。ステップF205で制御部30は、カウント値BfCをインクリメントする。ステップF206で制御部30は、カウント値BfCが、一定時間に相当するカウント閾値THrTMに達したか否かを判定し、達していなければステップF201に戻る。上記のステップF233における領域ARBfCとは、主要被写体判定処理開始からBfC番目に取り込んだフレームFRBfCにおける候補画像枠Enの情報を格納する領域という意味としている。例えば最初にステップF201でフレームFR0の候補画像枠情報を取り込んだ時点であって、そのフレームFR0において、候補画像枠E1、E2、E3が存在した場合、それぞれの候補画像枠についてステップF230~F232で設定された条件充足フラグAR1,AR2,AR3が、領域AR0、AR0、AR0に格納される。また次にステップF201で取り込んだフレームFR1において、候補画像枠E1、E2、E3が存在した場合、それぞれの候補画像枠についてステップF230~F232で設定された条件充足フラグAR1,AR2,AR3が、領域AR1、AR1、AR1に格納される。つまり、ステップF201~F206の処理が一定時間THrTMの間、繰り返されることで、フレームFR0~フレームmのそれぞれについての各候補画像枠Enの条件充足フラグARn判定基準領域SA内にあるか否かの情報が蓄積されることになる。一定時間を経過するとバッファリングは終了され、制御部30は処理をステップF206からF240に進む。ステップF240で制御部30は、各候補画像枠Enについての判定基準領域SA内の存在確度を算出する。この存在確度は、条件充足フラグARnの平均値AveARとする。平均値存在確度AveARは、AveAR=候補画像枠Enについてバッファリングされた条件充足フラグARnの累積加算値/ARnの加算回数とすればよい。そしてステップF241で制御部30は、各候補画像枠Enの存在確度AveARの中での最大値を最大確度MAX[AveARとする。つまり、最も判定基準領域SA内に存在していた時間が長い候補画像枠Enの存在確度が選択されることとなる。最大確度MAX[AveARを判定したら、制御部30はステップF242で、当該最大確度MAX[AveARが確度閾値TrsAR以上であるか否かを判定する。最大確度MAX[AveARが確度閾値TrsAR以上であれば、制御部30は処理をステップF243に進め、当該最大確度MAX[AveARとなった候補画像枠Enを主要被写体と判定し、主要被写体設定を行う。そして変数TSF=1とする。最大確度MAX[AveARが確度閾値TrsAR以上でなければ、制御部30は処理をステップF244で変数TSF=0とする。この場合、主要被写体は該当無しという結果となる。なお、少なくとも候補画像枠Enが存在したら必ず主要被写体を決めるという処理を実現する場合は、ステップF242を無くし、最大確度MAX[AveARとなった候補画像枠Enをそのまま主要被写体と判定するようにしてもよい。以上の処理例12によれば、ユーザが主として撮像したい被写体を、なるべく画像中央などの判定基準点SPに近い状態になるように、撮像装置10を構える被写体を追うことによって、当該被写体が主要被写体として自動的に判定されることとなる。そして一定時間は候補画像枠情報を取得するものであるため、処理例8と同様の効果が得られる。なお、安定存在度を示す存在確度は判定基準領域SA内に存在する累積時間の平均値としたが、累積時間そのものを用いてもよい。また累積時間ではなく、判定基準領域SA内に存在する継続時間が最大となる候補画像枠を主要被写体としてもよい。その場合は、バッファリングされた条件充足フラグARnが、1となっている連続フレーム数をカウントし、それを存在確度として用いればよい。また、もちろんこの処理例12でも、複数の候補画像枠が最大確度MAX[AveARに該当することもある。1つの候補画像枠Enを主要被写体と設定する場合は、処理例3の説明で述べた条件1~条件3等を用いた手法で、主要被写体となる候補画像枠Enを選択すればよい。また、処理タイプIIに関しての図5の説明では、ステップF21をステップF22で蓄積完了と判断された後に行ってもよいと述べた。これに相当する処理を行う場合は、図22のステップF202~F232の処理を、ステップF206からF240に進む際に実行するものとすればよい。つまりステップF204では候補画像枠情報自体をバッファリングしていき、各フレームでの各候補画像枠Enの条件充足フラグARnの設定は、バッファリング完了後に、バッファリングされた候補画像枠情報を用いて算出する例である。<5.プログラム及びコンピュータ装置への適用>以上、画像処理装置1、撮像装置10の実施の形態を説明してきたが、上述した主要被写体判定処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。実施の形態のプログラムは、上述の主要被写体判定処理を、例えばCPUCentralProcessingUnit、DSPDigitalSignalProcessor等の演算処理装置に実行させるプログラムである。即ちこのプログラムは、画像データの複数のフレームについて、それぞれ主要被写体の候補として検出された候補画像を示す候補画像情報を取得し、上記候補画像情報で示される候補画像について、画角空間内における位置状態を判定する位置状態判定処理を演算処理装置に実行させる。また、位置状態判定処理で判定された、各フレームでの候補画像の位置状態から、候補画像についての、複数フレームにわたる画像データ内での安定存在度を求める安定存在度算出処理を演算処理装置に実行させる。また、安定存在度算出処理で求められた安定存在度を用いて、候補画像のうちで主要被写体を判定する主要被写体判定処理を演算処理装置に実行させる。具体的には、実施の形態のプログラムは、図2,図4,図5で説明した処理、さらには処理例1~処理例12を演算処理装置に実行させるプログラムとすればよい。このようなプログラムにより、上述した主要被写体判定処理を実行する装置を、演算処理装置を用いて実現できる。このようなプログラムはコンピュータ装置等の機器に内蔵されている記録媒体としてのHDDや、CPUを有するマイクロコンピュータ内のROM等に予め記録しておくことができる。あるいはまた、フレキシブルディスク、CD-ROM、MOディスク、DVD、ブルーレイディスク、磁気ディスク、半導体メモリ、メモリカードなどのリムーバブル記録媒体に、一時的あるいは永続的に格納記録しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。また、このようなプログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、LAN、インターネットなどのネットワークを介してダウンロードすることもできる。またこのようなプログラムによれば、実施の形態の画像処理装置の広範な提供に適している。例えばパーソナルコンピュータ、携帯型情報処理装置、携帯電話機、ゲーム機器、ビデオ機器、PDAPersonalDigitalAssistant等にプログラムをダウンロードすることで、当該携帯型情報処理装置等を、主要被写体判定処理を行う本開示の画像処理装置とすることができる。例えば、図23に示されるようなコンピュータ装置において、図1の画像処理装置1や撮像装置10における主要被写体判定処理と同様の処理が実行されるようにすることもできる。図23において、コンピュータ装置70のCPU71は、ROM72に記憶されているプログラム、または記憶部78からRAM73にロードされたプログラムに従って各種の処理を実行する。RAM73にはまた、CPU71が各種の処理を実行する上において必要なデータなども適宜記憶される。CPU71、ROM72、およびRAM73は、バス74を介して相互に接続されている。このバス74にはまた、入出力インターフェース75も接続されている。入出力インターフェース75には、キーボード、マウスなどよりなる入力部76、CRTCathodeRayTubeやLCD、或いは有機ELパネルなどよりなるディスプレイ、並びにスピーカなどよりなる出力部77、ハードディスクなどより構成される記憶部78、モデムなどより構成される通信部79が接続されている。通信部79は、インターネットを含むネットワークを介しての通信処理を行う。入出力インターフェース75にはまた、必要に応じてドライブ80が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア81が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部78にインストールされる。上述した主要被写体判定処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、ネットワークや記録媒体からインストールされる。この記録媒体は、例えば、図23に示されるように、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスクフレキシブルディスクを含む、光ディスクブルーレイディスクBlurayDisc登録商標、CDROMCompactDiscReadOnlyMemory、DVDDigitalVersatileDiscを含む、光磁気ディスクMDMiniDiscを含む、若しくは半導体メモリなどよりなるリムーバブルメディア81により構成される。或いは、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているROM72や、記憶部78に含まれるハードディスクなどでも構成される。このようなコンピュータ装置70は、通信部79による受信動作や、或いはドライブ80リムーバブルメディア81もしくは記録部78での再生動作等により、動画データを入力した際に、CPU71がプログラムに基づいて、上述の候補画像検出部3,26及び主要被写体判定部2,31の機能を実行する。即ち図2,図4,図5、或いは処理例1~処理例12としての処理を実行することで、入力された画像データのうちで主要被写体判定を行うことができる。<6.変形例>上述の実施の形態は、各種の変形例が考えられる。特に具体的な主要被写体判定処理はさらに多様な例が想定される。例えば候補画像枠Enの判定基準点SPとの距離Diffnや、判定基準領域SAとの位置関係に重心Gを用いたが、重心Gでなくてもよい。例えば候補画像枠Enの頂点位置などでもよい。また候補画像枠の形状は、正方形や長方形に限らず円形、楕円形、多角形、不定形状等が考えられる。候補画像枠の形状に応じて、中心位置や端点位置を、距離Diffの算出に用いればよい。また候補画像についての画角空間内における位置状態は、実施の形態では、主に2次元空間としての画角空間における判定基準点SPや判定基準領域SAとの位置関係として説明したが、画面平面の2次元に被写体距離を加味した3次元空間座標空間x-y-z座標空間での判定基準点SPや判定基準領域SAとの位置関係としてもよい。さらに、画角空間を1次元空間と考え、候補画像のx座標値について、判定基準点SPや判定基準領域SAとの位置関係例えば距離を、候補画像についての画角空間内における位置状態としてもよい。もちろん同様に、y座標値のみ、或いはz座標値のみについての判定基準点SPや判定基準領域SAとの位置関係としてもよい。また安定存在度を示す指標としては、条件合致の累積時間や継続時間、平均的存在の値、平均存在確度の他、多様に考えられる。例えば条件合致の継続時間の平均値でもよい。さらには、各フレームでの候補画像枠のサイズピクセル数の変動度合いなどを安定存在度の指標としてもよい。また、主要被写体判定処理の結果については、その後撮像されて記録された静止画データや動画データに、メタデータとして付加してもよい。つまり従容被写体を示す情報を静止画ファイル等に付加する。また、スルー画を表示させ、同時に主要被写体判定処理を行っている間に、撮像者の操作による主要被写体指定操作を可能としてもよい。主要被写体指定の操作が行われた場合、それによって変数TSF=1とし、制御部30による主要被写体判定処理を中断終了させることが好適である。また、実施の形態では、主に静止画撮像を想定して主要被写体を判定する処理を説明したが、動画撮像のためのスタンバイ中や、動画の撮像及び記録の実行中においても、撮像される複数のフレームから主要被写体判定を行う処理として、上記実施の形態の処理を適用できる。なお本技術は以下のような構成も採ることができる。1画像データの複数のフレームについて、それぞれ主要被写体の候補となる候補画像を検出する候補検出部と、上記候補検出部で検出した候補画像について、複数フレームにわたる画像データ内での安定存在度を求め、該安定存在度を用いて、候補画像のうちで主要被写体を判定する主要被写体判定部と、を備えた画像処理装置。2上記主要被写体判定部は、候補画像について、画角空間内における位置状態を判定する位置状態判定処理と、上記位置状態判定処理で判定された、各フレームでの候補画像の位置状態から、候補画像についての、複数フレームにわたる画像データ内での安定存在度を求める安定存在度算出処理と、上記安定存在度算出処理で求められた安定存在度を用いて、候補画像のうちで主要被写体を判定する主要被写体判定処理と、を行う上記1に記載の画像処理装置。3上記主要被写体判定部は、上記位置状態として、画角空間内に設定した判定基準点に対する候補画像の距離を判定する上記2に記載の画像処理装置。4上記主要被写体判定部は、上記判定基準点を操作入力に応じて設定する上記3に記載の画像処理装置。5上記主要被写体判定部は、上記位置状態として、画角空間内に設定した判定基準領域に対する候補画像の位置関係を判定する上記2に記載の画像処理装置。6上記主要被写体判定部は、上記判定基準領域を操作入力に応じて設定する上記5に記載の画像処理装置。7上記主要被写体判定部は、上記安定存在度として、上記位置状態が所定条件を満たしている累積時間情報を算出する上記2乃至6のいずれかに記載の画像処理装置。8上記主要被写体判定部は、上記安定存在度として、上記位置状態が継続して所定条件を満たしている継続時間情報を算出する上記2乃至6のいずれかに記載の画像処理装置。9上記主要被写体判定部は、主要被写体判定開始から、上記安定存在度が最も早く所定値に達した候補画像を、主要被写体と判定する上記1乃至8のいずれかに記載の画像処理装置。10上記主要被写体判定部は、主要被写体判定期間に、上記安定存在度の値が最も高い候補画像を、主要被写体と判定する上記1乃至8のいずれかに記載の画像処理装置。11上記主要被写体判定部は、画角空間内での候補画像の位置情報、又は候補画像のサイズ情報を、上記安定存在度の算出処理、又は主要被写体の判定処理に用いる上記1乃至10のいずれかに記載の画像処理装置。12上記主要被写体判定部は、上記安定存在度から、複数の候補画像が主要被写体と判定される場合、画角空間内での候補画像の位置情報又はサイズ情報を用いて、一の候補画像を選択し、選択した当該候補画像を主要被写体とする上記1乃至11のいずれかに記載の画像処理装置。13上記候補検出部は人又は動物の、顔又は身体の画像を、主要被写体の候補となる候補画像として検出する上記1乃至12のいずれかに記載の画像処理装置。"