"複数のフレーム画像を時系列的に取得する取得部と、前記取得部から取得した一連のフレーム画像の各々に基づいて主要被写体領域を推定する主要被写体推定抽出処理部と、前記一連のフレーム画像に対して主要被写体推定抽出処理を行う時の基準となる初期フレーム画像を、前記一連のフレーム画像を取得する時のフォーカスモードに応じて切り換えるように制御する制御手段と、を備えたことを特徴とする画像処理装置。請求項1に記載の画像処理装置において、前記一連のフレーム画像を順次記憶するメモリ手段を備え、前記制御手段は、前記フォーカスモードに応じて前記初期フレーム画像を、前記メモリ手段に記憶される前記一連のフレーム画像の中で切り換えるように制御することを特徴とする画像処理装置。請求項1又は2に記載の画像処理装置において、前記制御手段は、前記一連のフレーム画像を取得する時のフォーカスモードが、1回のフォーカス指示に応答して継続的に主要被写体に焦点が合うように焦点調節を行うモードである場合、レリーズ操作のタイミングで、又はその直前に取り込んだフレーム画像を前記初期フレーム画像として設定することを特徴とする画像処理装置。請求項1又は2に記載の画像処理装置において、前記制御手段は、前記一連のフレーム画像を取得する時のフォーカスモードが、マニュアルで主要被写体の焦点調節を行うモードである場合、レリーズ操作のタイミング、又はその直前に取り込んだフレーム画像を前記初期フレーム画像として設定することを特徴とする画像処理装置。請求項3、又は4に記載の画像処理装置において、前記制御手段は、レリーズ操作時のタイムラグを考慮して、レリーズ操作のタイミングの直前に取り込んだフレーム画像を前記初期フレーム画像として設定することを特徴とする画像処理装置。請求項1又は2に記載の画像処理装置において、前記制御手段は、前記一連のフレーム画像を取得する時のフォーカスモードが、1回のフォーカス指示に応答して主要被写体に焦点を合わせる焦点調節を1回行うモードである場合、前記焦点調節が完了した後に取り込んだフレーム画像のうちの時間的に一番早く取得したフレーム画像を前記初期フレーム画像として設定することを特徴とする画像処理装置。請求項1又は2に記載の画像処理装置において、前記制御手段は、少なくとも1回の焦点調節が完了する前にレリーズ操作がなされた場合、フォーカス指示に応答して取り込んだフレーム画像のうちの時間的に一番早く取得したフレーム画像を前記初期フレーム画像として設定することを特徴とする画像処理装置。請求項1又は2に記載の画像処理装置において、前記制御手段は、前記一連のフレーム画像を取得する時の焦点距離、及び/又は絞り値に応じて、前記初期フレーム画像を切り換えるように制御することを特徴とする画像処理装置。請求項1又は2に記載の画像処理装置において、前記主要被写体推定抽出処理部は、被写体認識処理、又は色空間上の所定範囲色の抽出処理となっていることを特徴とする画像処理装置。複数のフレーム画像を時系列的に取得する取得部と、前記取得部から取得した一連のフレーム画像の各々に基づいて主要被写体領域を推定する主要被写体推定抽出処理部と、前記一連のフレーム画像に対して主要被写体推定抽出処理を行う時の基準となる初期フレーム画像を、前記一連のフレーム画像を取得する時の撮影条件に応じて切り換えるように制御する制御手段と、を備えたことを特徴とする画像処理装置。被写体を撮像し、フレーム画像を生成する撮像部と、請求項1~10に記載の画像処理装置と、を備え、前記取得部は、被写体を撮像し、フレーム画像を生成する撮像部であることを特徴とする電子カメラ。予め決めた枚数のフレーム画像を時系列的に取得する取得ステップと、前記取得部から取得した一連のフレーム画像の各々に基づいて主要被写体領域を推定する主要被写体推定抽出処理ステップと、前記フレーム画像を予め決めた枚数分取り込むときの基準となる初期フレーム画像を、前記一連のフレーム画像を取得する時のフォーカスモードに応じて切り換えるように制御する制御ステップと、を含むことを特徴とする画像処理方法。請求項12に記載の画像処理方法をコンピュータに実行させるためのプログラム。請求項13に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。しかしながら、特許文献1に記載のデジタルカメラでは、撮像間隔が短くなると、画像相互の間で被写体の変化が少なくなり、主要な被写体の選別が難しくなる。動体の追尾を行なう場合には、撮影者が撮影を意図したレリーズボタンの操作タイミングに基づいて、その時点で撮影された撮影フレーム画像を、主要被写体の推定抽出処理を開始する初期フレームを設定することにより、撮影範囲内に撮影者が撮影したい被写体主要被写体が、撮影範囲内に存在するという点で、主要被写体を適切に捉えることができる可能性は高くなると考えられる。しかしながら、主要被写体の選別が難しいと、主要被写体の推定抽出処理を開始する初期フレームが、必ずしも当該処理において適切な画像であるとは限らない、という問題点があった。本発明は、画像中の主要被写体の推定精度の向上を図ることができる画像処理装置、画像処理方法、及びプログラム、並びに記録媒体を提供することを目的とする。また、第2の目的としては、撮影条件に応じて最適な初期フレーム画像を選択することができる画像処理装置、画像処理方法、及びプログラム、並びに記録媒体を提供することにある。本発明の一態様は、複数のフレーム画像一連のフレーム画像を時系列的に取得する取得部と、取得部から取得した各フレーム画像に基づいて主要被写体領域を推定する主要被写体推定抽出処理部と、一連のフレーム画像に対して主要被写体推定抽出処理を行う時の基準となる初期フレーム画像を、一連のフレーム画像を取得する時のフォーカスモードに応じて切り換えるように制御する制御手段を備えたものである。なお、一連のフレーム画像を順次記憶するメモリ手段を備え、制御手段は、フォーカスモードに応じて初期フレーム画像を、メモリ手段に記憶される一連のフレーム画像の中で切り換えるように制御してもよい。電子カメラ等で本発明を利用する場合には、一連のフレーム画像を取得する時に設定されているフォーカスモードに基づいて、また、パーソナルコンピュータで本発明をソフトとして実行する場合には、例えばEXIFファイル等、フレーム画像を記録するファイルに埋め込んで記録されているフォーカスモードを読み出して利用する。また、制御手段としては、一連のフレーム画像を取得する時のフォーカスモードが、1回のフォーカス指示に応答して継続的に主要被写体に焦点が合うように焦点調節を行うモードAF-Cである場合、又は、マニュアルで主要被写体の焦点調節を行うマニュアルモードである場合、レリーズ操作のタイミング、又はその直前に取り込んだフレーム画像を初期フレーム画像として設定するようにしてもよい。また、この場合、制御手段は、レリーズ操作時のタイムラグを考慮して、レリーズ操作のタイミングの直前に取り込んだフレーム画像を初期フレーム画像として設定するようにしてもよい。さらに、制御手段は、一連のフレーム画像を取得する時のフォーカスモードが、1回のフォーカス指示に応答して主要被写体に焦点を合わせる焦点調節を1回行うモードAF-Sである場合、焦点調節が完了した後に取り込んだフレーム画像データのうちの時間的に一番早く取得したフレーム画像を初期フレーム画像として設定するようにしてもよい。また、前記制御手段は、少なくとも1回の焦点調節が完了する前にレリーズ操作がなされた場合、フォーカス指示に応答して取り込んだフレーム画像データのうちの時間的に一番早く取得したフレーム画像を初期フレーム画像として設定するようにしてもよい。さらにまた、制御手段は、一連のフレーム画像を取得する時の焦点距離、及び/又は絞り値に応じて、初期フレーム画像を切り換えるように制御するようにしてもよい。また、主要被写体推定抽出処理部としては、被写体認識処理、又は色空間上の所定範囲色の抽出処理とするのが好適である。さらに、本発明としては、撮像方法としてもよい。さらに本発明は、撮像方法を実行させるコンピュータが読み取り可能なプログラム、並びにコンピュータが読み取り可能なプログラムを記録した記録媒体の発明としてもよい。本発明によれば、主要被写体を適切に捉えることができる。以下、図面を参照して本発明を実施するための最良の形態について説明する。本発明の一実施形態による撮像装置20は、図1に示すように、撮像素子1、撮影レンズ2、レンズ駆動回路3、制御回路5、操作部7、撮像素子駆動回路8、信号処理回路9、データ処理回路10、圧縮/伸張回路11、モニタ13、表示制御回路14、測光回路15、及び振れ検出センサ16を有し、さらに記録媒体12が設けられている。記録媒体12は、メモリカード、小型ハードディスク、DVDなどの光ディスクなどで構成される。記録媒体12は、撮像装置20に内蔵されるものであっても、着脱可能に装着されるものであってもよい。また、撮像装置20の外部に設けられるものであってもよい。その場合、記録媒体12と撮像装置20とは有線または無線で電気的に接続される。撮影レンズ2は、撮影光学系を構成する複数枚のレンズ群で構成され、撮像素子1の撮像面上に被写体像を結像させる。撮影レンズ2は、不図示のフォーカスレンズを含み、レンズ駆動回路3がフォーカスレンズを光軸方向に進退駆動することにより、撮影レンズ2の焦点調節が行われる。また、撮影レンズ2は、不図示のズームレンズを含み、レンズ駆動回路3がズームレンズを光軸方向に進退駆動することにより、撮影レンズ2の焦点距離の変更ズーム調節が行われる。レンズ駆動回路3は、制御回路5から出力されるレンズ駆動指令に応じてレンズ駆動信号を発生し、発生したレンズ駆動信号でレンズ駆動回路3を駆動することにより、各レンズ群を移動させる。撮像素子1は、静止画像の単写撮像とともに、静止画像の連続撮像、および動画像の撮像が可能である。撮像素子1は、例えばCCD撮像素子あるいはCMOS型撮像素子などによって構成される。撮像素子駆動回路8は、制御回路5から出力される指令に応じて所定タイミングの駆動信号を発生し、発生した駆動信号を撮像素子1へ供給する。撮像素子1は、供給された駆動信号によって電荷蓄積撮像や蓄積電荷の読み出しが制御される。制御回路5は、測光回路15による被写体の測光データを用いて被写界の明るさの情報を求め、この明るさの情報に基づいて撮像素子1の電荷蓄積時間、撮影レンズ2の絞り、および撮像素子1より出力される画像信号の増幅度などを決定する。なお、被写界の明るさの情報は、撮像素子1から出力される信号から求める構成としてもよい。この場合には、撮像素子1が測光回路15の機能を司る。撮像素子1から読み出された画像信号は、信号処理回路9へ入力される。信号処理回路9は、制御回路5からの指令に応じて入力信号に対する増幅、直流再生、A/D変換、ホワイトバランス、画素補間、およびガンマ変換等の信号処理を施し、信号処理後の画像データフレーム画像データをデータ処理回路10へ出力する。データ処理回路10は、制御回路5からの指令に応じて、信号処理回路9より出力された画像データを圧縮/伸張回路11に出力するとともに、モニタ13に再生画像を表示させるために必要な解像度変換画素数変換処理を画像データに施し、解像度変換処理後の画像データを表示制御回路14へ出力する。なお、データ処理回路10は、電子ズーム処理を行う際には、入力される画像データに対して解像度画素数変換処理を施して、圧縮/伸張回路11、および表示制御回路14へそれぞれ出力する。表示制御回路14は、制御回路5からの指令に応じて、データ処理回路10から入力される画像データに所定の信号処理を施して表示画像としてモニタ13へ出力する。表示制御回路14はさらに、上記表示画像に撮影メニュー、カーソルなどのオーバーレイ画像データを重畳する処理を行う。これにより、オーバーレイ画像が重畳された被写体画像がモニタ13に表示される。圧縮/伸張回路11は、制御回路5からの指令に応じて、データ処理回路10から入力される画像データに所定の形式で圧縮処理を施し、圧縮後のデータを記録媒体12へ記録する。撮影時に記録媒体12へ画像データを記録する場合、記録する画像データに対応する再生画像がモニタ13に表示される。なお、操作部7で画像データの非圧縮での記録が指示された場合、圧縮/伸張回路11は圧縮処理を行わず、記録媒体12への記録が行われる。この場合にも、モニタ13には記録する画像データに対応する再生画像が表示される。また、撮像装置20は、記録媒体12に記録されている画像データによる再生画像をモニタ13に表示する再生モードことも可能である。この場合、圧縮/伸張回路11は、制御回路5からの指令に応じて記録媒体12に記録されている画像データを読み出し、読み出しデータに対して復号化処理を施した上で復号化後のデータをデータ処理回路10へ送る。再生画像は、データ処理回路10が復号化データに解像度変換処理を施して表示制御回路14へ出力することにより、モニタ13に表示される。なお、記録媒体12に記録されている非圧縮の画像データが読み出された場合には、圧縮処理の逆処理である復号化処理は行われない。圧縮/伸張回路11は、可逆圧縮いわゆるロスレス符号化を行うことも可能な構成となっている。操作部7は、レリーズ釦、ズーム操作部、フォーカスモード選択操作部、及び撮影モード選択操作部等を含み、操作内容に応じた操作信号を制御回路5へ出力する。制御回路5は、レリーズ釦の半押し操作に基づくフォーカス指示信号が操作部7から入力されると、撮像素子1から読み出される画像信号の中で、撮像画面内に予め設定されているフォーカス検出領域に対応する信号を用いて公知のコントラスト方式のAFオートフォーカス動作を行う。具体的には、制御回路5は、信号処理回路9によって信号処理された画像データのうち、フォーカス検出領域に対応するデータについての高周波数成分の積算値いわゆる焦点評価値を最大にするように、レンズ駆動指令フォーカス調節信号をレンズ駆動回路3へ送る。焦点評価値を最大にするフォーカスレンズの位置は、撮像素子1によって撮像される被写体像のエッジのぼけをなくし、画像のコントラストを最大にする尖鋭度を高める合焦位置である。なお、上記コントラスト方式のAF動作に加えてあるいは代えて、撮像面に、瞳分割方式による位相差AF動作を行うAF画素を埋め込んだ構成としてAF動作を行う構成としてもよい。操作部7は、ズーム操作部も含む。制御回路5は、ズーム操作に基づくズーム操作信号が操作部7から入力されると上述したレンズ駆動指令を発生し、レンズ駆動回路3にズームレンズを進退駆動させる。これにより、撮像素子1の撮像面上に結像される被写体像が拡大もしくは縮小し、光学的にズーム調節される。制御回路5はさらに、ズーム操作に基づくズーム操作信号が操作部7から入力されるとデータ処理回路10へ指令を出力し、画像データに対する解像度変換処理の変換比率を操作信号に応じて変化させる。これにより、モニタ13に表示される画像が拡大もしくは縮小し、電気的にズーム調節される電子ズーム。解像度変換比率は電子ズーム倍率に対応する。データ処理回路10が電子ズーム倍率を高める方向に変換比率を変える場合、再生画像の一部が拡大されてモニタ13に表示される拡大率が上がる反面、再生画像の表示範囲は狭くなる。反対に、データ処理回路10が電子ズーム倍率を低くする方向に変換比率を変える場合、モニタ13に表示される再生画像の拡大率が下がる反面、再生画像の表示範囲は広くなる。撮像素子1による撮影モードに設定されている場合、モニタ13に表示されている画像に対応する撮影画像データを記録媒体12に記録することができる。振れ検出センサ16は、例えば角速度センサ、ジャイロセンサ等で構成され、撮像装置20の筐体内に設けられ、筐体の振れを直交する2方向について検出する。操作部7のレリーズ釦の操作などに基づいて、筐体に振れが発生したときに、振れ検出センサ16は、これを検知し、直交する2方向の振れ量データを制御回路5に出力する。制御回路5は、筐体の振れに伴う撮像素子1の撮像面上に結像される被写体像の移動が打ち消されるように、撮影レンズ2に内蔵される手振れ補正光学系を、レンズ駆動回路3を介して駆動する。これによって所謂手振れ補正が実現される。[画像取り込み動作]上記の撮像装置20は、さらにユーザがレリーズ釦を押し下げる1回のレリーズ操作全押し操作に対して、複数のフレーム画像データを取得する撮影モードを有する。この撮影モードの設定がなされると、制御回路5は、撮像素子駆動回路8により、撮像素子1が連続撮影を行うよう制御する。これにより、時系列に撮影画像映像データフレーム画像が取得される。このようにして取得された時系列のフレーム画像は、データ処理回路10内のFIFOFirstInFirstOutメモリ10aに順次入力される。FIFOメモリ10aは、所定の容量を有しており、順次入力される入力データが所定の容量に達すると、入力された順に撮影画像データが出力される。上記撮影モードでは、レリーズ釦の全押し操作から所定時間が経過するまで、時系列のフレーム画像が、順次FIFOメモリ10aに入力され、この間に、FIFOメモリ10aから出力されたフレーム画像は削除される。レリーズ釦の全押し操作がなされてから所定時間が経過すると、FIFOメモリ10aへの撮影画像データの書き込みが禁止される。これにより、FIFOメモリ10a内には、レリーズ釦の全押し操作の前後に取得された複数の時系列のフレーム画像が保持される。即ち、一度のレリーズ操作に応答して時系列で撮像された複数のフレーム画像を取得することにより、それら複数のフレーム画像から、撮影条件絞り開度、シャッタ速度、撮像素子感度等、撮影タイミング、主要被写体の写り具合等が適するフレーム画像を選択することができる。これにより、撮影の成功率を向上させることができる。[フォーカスモード]フォーカスモード選択操作部は、AF-SシングルAFサーボモード、AF-CコンティニュアスAFサーボモード、及びマニュアルモードとの3つのフォーカスモードを択一的に選択する操作部である。AF-Sモードは、レリーズ釦を半押し操作して一度ピントを合わせると、半押し操作をしている間、ピントを固定しておくフォーカスモードである。このモードの時には制御回路5は、画面上に設定されたAFエリアの被写体に焦点が合うようにレンズ駆動回路3を制御して撮影レンズ2の焦点調節を行い、合焦後に焦点調節を停止する。AF-Cモードは、レリーズ釦の半押し操作に基づいて、画面上に設定されたAFエリアを始点として、画面中の被写体の移動に追尾する形でAFエリアを変更しながら撮影レンズ2の焦点調節を継続するモードである。マニュアルモードは、撮影者が手動、もしくは操作部7のレバー操作でフォーカス状態を変更するモードである。AF-Sモードは、静止した被写体に焦点を合わせ、その後構図を変更して撮影を行う場合に適している。一方、AF-Cモードは、動きのある被写体の撮影を行う場合に適している。[主要被写体推定抽出処理]制御回路5は、主要被写体推定抽出処理部5aを備えている。主要被写体推定抽出処理部5aは、主要被写体の推定抽出処理を開始する最初のフレーム画像初期フレーム画像から顔検出を行い、顔が検出された場合には主要被写体を人物と推定する。一方、顔が検出されなかったら、主要被写体を人物以外の一般被写体と推定する。なお、ここでは、顔検出結果をもとに、主要被写体の種別の設定を行っているが、顔検出結果に代えて、あるいは加えて、他の被写体の検出結果をもとに、主要被写体種別の設定を行う構成としてもよい。主要被写体が顔であると推定した場合、撮影者がレリーズ釦を押し下げる1回の撮影操作全押し操作に対して、予め決めた枚数、例えば20枚のフレーム画像を取得する撮影モード以下連続撮影モードが設定された場合、図2に示すように、レリーズ釦の全押し操作レリーズによって、FIFOメモリ10a内に、T0~T19で示される20枚のフレーム画像が記憶される。制御回路5は、FIFOメモリ10a内に記憶されている所定数のフレーム画像の中のうちの1つのフレーム画像を初期フレーム基準フレームとして設定し、初期フレーム画像内で顔画像検出を行うように制御する。その後、主要被写体推定抽出処理部5aは、初期フレーム画像の各顔画像検出座標を中心座標としたテンプレート画像を設定し、初期フレーム画像に時間的に隣接するフレーム画像に対して順次テンプレートマッチング動作を行い、当該フレーム画像における各顔画像の座標位置を検出する。なお、テンプレート画像を、順次、時間的に隣接するフレーム画像に変更していく構成としてもよい。このような構成とすることにより、FIFOメモリ10a内に記憶される各フレーム画像において、画面内の各顔画像の対応付けを行うことができる。なお、上記構成に代えて、各フレーム画像において個人を検出して、各フレームにおける各顔を対応付ける構成としてもよい。図3は、T0~T19の各フレーム画像における各顔の位置を、1つのフレーム上に重畳して示した図である。特に被写体が移動する場合、撮影者は、写したい被写体主要被写体がフレームアウトしないように被写体位置が画面中央になるように撮像装置20を移動して撮影を行うことが多い。この為、図3に示すように、各フレーム画像で検出された各顔画像Aさん、Bさんのフレーム画像内の位置と各フレーム画像の中心との距離Di_A,Di_Bを算出し、各顔画像に対する距離Di_A,Di_Bを各フレーム画像に亘って累積した値MM_A,M_Bを求め、このMの値が最も少ない顔画像を、FIFOメモリ10aに記憶された一連のフレーム画像における主要被写体であると推定する。このように、予め決めた枚数のフレーム画像を用いて、主要被写体を推定することにより、その推定精度を向上させることができる。主要被写体が人物以外の一般被写体と推定された場合、上記と同様に、制御回路5は、FIFOメモリ10a内に記憶されている所定数のフレーム画像の中から1つのフレーム画像を初期フレーム基準フレーム画像として選択し、選択した初期フレーム画像内で主要被写体を推定する。ここで、初期フレーム画像内で顔画像が検出されなかった場合には、初期フレーム画像におけるAFエリア座標の画像データ値例えば、YCbCrの各値を中心とした色空間内の所定範囲内の画像データ値を有し、かつ座標位置が互いに隣接する画素の領域を初期フレーム画像内で抽出し、当該領域を主要被写体候補領域とする。なお、主要被写体候補領域は、初期フレーム基準フレーム画像内で、複数存在する可能性がある。その後、主要被写体推定抽出処理部5aは、初期フレーム画像で、当該各候補領域の重心位置座標を算出し、初期フレーム画像と時間的に隣接するフレーム画像における当該重心位置座標における画像データ値を中心とした色空間内の所定範囲内の画像データ値を有し、かつ座標位置が互いに隣接する画素の領域を当該フレーム画像内で抽出し、当該各領域を、各フレーム画像における主要被写体候補領域とする。以下、この各領域の重心位置座標を算出し、当該フレーム画像に時間的に隣接し、かつ、まだ領域の抽出が行われていないフレーム画像上の重心座標位置の画像データ値をもとに、主要被写体候補領域を抽出するといった動作を、FIFOメモリ10a内に記憶されている全てのフレーム画像に対して行う。上記の動作により、各フレーム画像における各主要被写体候補領域の対応付けが行われ、前述の図3で説明した手法と同様の手法により、FIFOメモリ10a内に記憶された一連のフレーム画像における主要被写体を推定することができる。このような動作を行うことにより、推定主要被写体が顔以外の一般被写体である場合にも、連続的に撮影されたフレーム画像上で、主要被写体を推定することができる。なお、上記構成においては、色情報をもとに、各フレーム画像における一般被写体の対応付けを行う例について説明したが、これに代えてあるいは加えて、テクスチャやヒストグラムなど、他の特徴量を用いて、各フレーム画像間でマッチングを行う構成としてもよい。上記の[画像取り込み動作で説明したように、主要被写体の推定抽出処理の初期フレーム画像は、レリーズ釦の全押し操作がなされた瞬間に撮影されたフレーム画像とすることが望ましい。この際に、レリーズタイムラグ分だけ時間的に前に撮影されたフレーム画像を、初期フレーム画像を設定すると、より一層好適である。特に、AF-Cモード設定のときには、自動合焦動作が継続して行われており、移動する被写体に対しても常に焦点が合っているものと考えられる。しかしながら、AF-Sモード設定のときには、レリーズ釦の全押し操作がなされた際に撮影された画像において、撮影者が写したい主要被写体に焦点が合っているという保証はない。特に、自動合焦動作が終了してから、レリーズ釦の全押し操作が行われるまでの時間が長い場合、被写体や撮像装置20の光軸方向の移動により、全押し操作がなされたときに取得された画像において、主要被写体が非合焦である確率は大きくなる。この課題を解決する為に、本実施形態においては、焦点調整のモード設定に応じて主要被写体の推定抽出処理を開始する初期フレームを変更する構成とする。より具体的には、図4に示すように、AF-Cモード設定がなされている場合には、レリーズ釦の全押し操作のタイミングをもとに決定されるフレーム画像、すなわちレリーズ釦の全押し操作レリーズによって取得された画像からレリーズタイムラグ分を考慮して、全押し操作よりも時間的前に取得したフレーム画像を、主要被写体推定抽出処理を行う初期フレームとして設定する。AF-Sモードに設定された際には、自動合焦動作は、設定されたAFエリアで合焦と判断された段階で、自動合焦動作を終了する。この場合、被写界内には撮影者が撮影した被写体があまり動かない状態で存在し、自動合焦動作終了後の時間が短いほど、主要被写体推定抽出処理の初期フレームとして適したフレーム画像を得ることができる。従って、AF-Sモード設定がなされた際には、FIFOメモリ10aに記憶されている、処理対象となる所定枚数のフレーム画像のうち、時間的に最初に得られたフレーム画像を初期フレーム画像として設定する[その他の撮影状況時]レリーズ釦の半押し操作によって自動合焦動作が完了する撮影レンズ2が合焦位置に到達する前に全押し操作が行われた場合、すなわち、レリーズ釦の一気押し操作以下、一気押しと称すが行われた場合には、撮影者が、すぐさま撮影を行いたいという状況であることが推察される。この場合、撮影者が撮影を行いたい主要被写体が画面内に確実に存在している。そこで、主要被写体推定抽出処理部5aは、レリーズ釦の全押し操作後に、最初にフレーム画像を取得してから予め決めた枚数のフレーム画像がFIFOメモリ10aに記憶された時点で、その後、新たな操作指示があるまで、新たな画像の撮影が禁止FIFOメモリ10aへの新たなフレーム画像の記憶が禁止される。主要被写体推定抽出処理部5aは、FIFOメモリ10aに処理対象となる1フレーム目の画像が記憶されたことに基づいて、当該フレーム画像を初期フレームとして設定し、主要被写体の推定抽出処理を開始する。このように主要被写体推定抽出処理の開始を早めた構成とすることによって、一連の撮影画像から最適な写りの画像を抽出する処理を早く終了させることができ、次の新たな撮影を迅速に行うことができる。主要被写体推定抽出処理部5aは、AF-Sの場合、前述したように、FIFOメモリ10aに記憶されている画像のうち、時間的に最初に撮影されたフレーム画像を初期フレームとして設定して、主要被写体の推定抽出処理を行う。FIFOメモリ10aに記憶されている画像のうち、時間的に最初に記憶された画像データは、レリーズ釦の全押し操作レリーズがなされた時点で確定される。この場合にも、FIFOメモリ10aにフレーム画像が入力されるたびに、すなわち、合焦よりも時間的に後で、かつレリーズ釦の全押し操作よりも時間的前に取得したフレーム画像が主要被写体推定抽出処理の初期フレームであると仮定して、主要被写体推定抽出処理を行う構成としてもよい。このような主要被写体推定抽出処理の開始を早めた構成とすることによっても、一連の撮影画像から最適な写りの画像を抽出する処理を早く終了させることができ、次の新たな撮影を迅速に行うことができる。主要被写体推定抽出処理部5aは、マニュアルフォーカス設定がなされた場合、FIFOメモリ10aへの撮影画像の連続的な書き込みを開始する。しかしながら、この時、撮影者が撮影した被写体に焦点が合っているとは限らない。従って、この場合には、前述のAF-Cモードの場合と同様に、レリーズ釦の全押し操作が行われた後に、取り込んだフレーム画像を初期フレームとして設定し、主要被写体の推定抽出処理が行われる。この際に、前述と同様に、レリーズタイムラグを考慮して、初期フレームを設定する構成としてもよい。次の上記構成の作用を説明する。撮像装置20は、電源スイッチのオンに応答して撮像を開始する。撮影モードは、連続撮影モードに設定されている。制御回路5は、時系列なフレーム画像をFIFOメモリ10aに順に記憶していく。制御回路5は、FIFOメモリ10aが容量オーバーの場合、時間的に早いフレーム画像から順次削除する。主要被写体推定抽出処理部5aは、図5に示すように、連続撮影モードに設定された時点からフォーカスモードとレリーズ釦の一気押しとを監視するS-1~S-6。主要被写体推定抽出処理部5aは、フォーカスモードに関わらずレリーズ釦の一気押しを行ったことを検出した場合S-4,S-5,S―6の各Y側、図5に記載の○E○Eは、○の中にEを記載した記号、以下同様、図6に示す処理を行う。この処理は、FIFOメモリ10aへの記憶を開始しS-7、一気押しを検出した後に、FIFOメモリ10aに最初に記憶されたフレーム画像から主要被写体推定抽出処理を開始する。そして、これに並行して継続して入力されるフレーム画像が所定枚数、例えば20枚になるまでFIFOメモリ10aへの記憶を継続し、20枚記憶した時点で、その後の新規記憶を禁止し、20枚のフレーム画像の記憶を保持するS-8。FIFOメモリ10aに記憶された一連のフレーム画像における主要被写体を、前述の手法により推定すると共に、各フレーム画像における主要被写体領域を、FIFOメモリ10a内で最初に記憶されたフレーム画像初期フレーム画像の主要被写体の推定抽出処理結果をもとに推定するS-9。その後、各フレーム画像の主要被写体領域のぶれ量、ぼけ量等の特徴量を算出するS-10。その後、算出された特徴量を比較して、FIFOメモリ10a内に記憶されている全フレーム画像を順位付けし、順位を各フレーム画像に関連付けて記憶するS-11。その後、最高順位のフレーム画像をモニタ13に表示すると共に、順位が上位から所定順位までのフレーム画像を記録媒体12にその順位と共に記録するS-12。また、主要被写体推定抽出処理部5aは、半押し操作時に、AF―Sモードで、かつレリーズ釦の一気押しではないことを検出した場合図5のS―6のN側、図5の○B、図7に示す処理を行う。この処理は、まず、FIFOメモリ10aへの記憶を開始するS-13。その後、FIFOメモリ10aに順次記憶されたフレーム画像から主要被写体を推定抽出する処理を開始するS-14。その後、レリーズ釦の全押し操作を待ちS-15、全押し操作に応答して、その後FIFOメモリ10aに入力されるフレーム画像が所定枚数、例えば5枚になるまでFIFOメモリ10aへの新規記憶動作を継続し、5枚分の記憶が終了した後に新規記憶を禁止し、合計で20枚のフレーム画像を保持するS-16。これによって、FIFOメモリ10aに保持される20枚のフレーム画像が確定する。その後、FIFOメモリ10aに記憶されるフレーム画像のうちの時間的に最初に記憶されたフレーム画像初期フレーム画像の主要被写体推定抽出処理の結果、抽出された主要被写体候補について、各フレーム画像で対応付けを行い、図3で説明した手法と同様の手法により、20枚のフレーム画像における主要被写体を推定する。S-17。その後、各フレーム画像の主要被写体領域の特徴量を算出するS-18。その後、算出された特徴量を比較して、FIFOメモリ10a内に記憶されている全フレーム画像を順位付けし、順位を各フレーム画像に関連付けて記憶するS-19。そして、最高順位のフレーム画像をモニタ13に表示すると共に、順位が上位から所定順位までのフレーム画像を記録媒体12にその順位と共に記録するS-20。さらに、主要被写体推定抽出処理部5aは、半押し操作時に、AF―Cモード、又はマニュアルモードで、かつレリーズ釦の一気押しではないことを検出した場合図5のS―5、S-4の各Nの側、図5の○C又は○D、図8に示す処理を行う。この処理は、まず、FIFOメモリ10aへの記憶を開始するS-21。その後、レリーズ釦の全押し操作を待ちS-22、全押し操作のタイミングからレリーズタイムラグに基づいて決定されるフレーム画像を初期フレームとして設定して主要被写体推定抽出処理を開始するS-23。その後、FIFOメモリ10aに記憶されるフレーム画像のうちの初期フレーム画像の主要被写体推定抽出処理の結果、抽出された主要被写体候補について、各フレーム画像で対応付けを行い、図3で説明した手法と同様の手法により、20枚のフレーム画像における主要被写体を推定するS-24。その後、各フレーム画像の主要被写体領域の特徴量を算出するS-25。その後、算出された特徴量を比較して、FIFOメモリ10a内に記憶されている全フレーム画像を順位付けし、順位を各フレーム画像に関連付けて記憶するS-26。そして、最高順位のフレーム画像をモニタ13に表示すると共に、順位が上位から所定順位までのフレーム画像を記録媒体12にその順位と共に記録するS-27。上記各処理の形態において、マニュアルモード、及び一気押し以外は、最初に自動合焦動作を行い、AFエリアの被写体に焦点があった後に、FIFOメモリ10aへのフレーム画像の書き込みが開始される。なお、合焦と同時に書き込みを開始してもよい。マニュアルモードの場合は、レリーズ釦の半押し操作後、FIFOメモリ10aへのフレーム画像の書き込みが開始される。また、一気押しの場合にも、レリーズ釦の半押し操作後、FIFOメモリ10aへのフレーム画像の書き込みが開始される。なお、マニュアルモード、及び一気押しの場合、レリーズ釦の半押し操作と同時にFIFO10aへの書き込みを開始してもよい。前述したように、主要被写体推定抽出処理部5aは、各フレーム画像の主要被写体領域の特徴量を算出する。この特徴量としては、例えば主要被写体の位置、あるいは主要被写体の状態がある。主要被写体の位置に基づいて評価する場合には、構図に基づいて評価する。例えば、画面を縦横1/3に分割して、主要被写体領域の重心位置がこの分割線に近いほど評価を高くする。この時、重心位置の時間変化を算出し、移動方向に広い空間を有する画像の評価を高くするような構成としてもよい。主要被写体が人物である場合、人物の顔、あるいは体の向き情報を抽出し、顔、あるいは体の向き方向に広い空間を有する画像の評価を高くするような構成としてもよい。主要被写体の状態に基づいて評価する場合には、主要被写体領域の高域空間周波数成分を抽出することにより、ぼけ、ぶれ状態を判別し、同成分が一番大きい画像を、ぼけ、ぶれが少ない画像として、評価を高くする構成とする。特に、主要被写体が人物である場合、主要人物の目つぶり状態、笑顔状態を判別し、目を瞑っておらず、笑顔度が大きい画像の評価を高くする構成としてもよい。これら主要被写体の位置、状態の他、主要被写体領域の明るさ等の他の評価値と統合した評価値により、FIFOメモリ10aに記憶されるフレーム画像に対して順位付けが行われる。なお、記録媒体12に記録される画像データには、その順位と各種評価値に加えて、AF-C、AF-S、マニュアルフォーカスなどのフォーカスモードの他、一気押しなどの操作情報も、関連付けて記録される。このような構成とすることにより、1フレームの画像を再生した時に、どのような状況で撮影を行ったかについて、容易に把握することができる。上記実施形態によれば、フォーカスモードや撮影条件に応じて、初期フレーム画像を切り替えるようにしたから、画像中の主要被写体の推定精度の向上を図ることができる。また、主要被写体を適切に捉えることができる。上記実施形態においては、主要被写体推定抽出処理を撮像装置20で行う例について説明したが、当該処理を撮像装置20とは別の画像処理装置で行う構成としてもよい。この場合には、画像データに関連付けられたフォーカスモード、あるいはフォーカスモードと操作情報との両方等に基づいて、主要被写体推定抽出処理を行う初期フレームを切り換える構成とすればよい。上記各実施形態においては、時系列の一連のフレーム画像を取得する時のフォーカスモード等によって、主要被写体推定抽出処理の初期フレームを切り換える例について説明した。一般に、同じレンズ位置のずれであっても、焦点距離が長いほど、ぼけの変化度合いが大きくなる。換言すれば広角で撮影された画像は、望遠で撮影された画像に比較して、同じレンズ位置だけ焦点調整マニュアルの調整の場合を含むがずれた場合の、ぼけの変化量は小さい。従って、前述したフォーカスモードに応じて主要被写体推定抽出処理の初期フレームを切り換えることに代えてあるいは加えて、一連のフレーム画像を取得する時の焦点距離に応じて、主要被写体推定抽出処理の初期フレームを変更する構成としてもよい。例えば、焦点距離が所定値より短い広角で撮影が行われた場合には、FIFOメモリ10aに記憶されるフレーム画像のうち、時間的に最初に撮影されたフレーム画像を主要被写体推定抽出処理の初期フレームとし、焦点距離が所定値より長い望遠で撮影が行われた場合には、FIFOメモリ10aに記憶されるフレーム画像の中の、レリーズ釦の全押し操作タイミングにレリーズタイムラグを考慮して設定されるフレーム画像を、主要被写体推定抽出処理の初期フレームとするレリーズ釦の一気押しの場合も適用できる。また、被写界深度は、撮影レンズ2の絞りによって変化し、絞りを絞り込んだ方が、被写界深度が大きくなる。従って、当該構成に加えてあるいは代えて、フレーム画像撮影時の絞りの状態に応じて、主要被写体推定抽出処理の初期フレームを変更する構成としてもよい。例えば、絞りが所定値より開放で撮影が行われた場合には、FIFOメモリ10aに記憶されるフレーム画像のうち、時間的に最初に撮影されたフレーム画像を主要被写体推定抽出処理の初期フレームとし、絞りを所定値より絞り込んで撮影が行われた場合には、FIFOメモリ10aに記憶されるフレーム画像の中の、レリーズ釦の全押し操作タイミングにレリーズタイムラグを考慮して設定されるフレーム画像を、主要被写体推定抽出処理の初期フレームとする。なお、レリーズ釦の一気押しの場合も適用できる。これらの焦点距離、絞り値は、フレーム画像に関連付けて記憶される構成とすることで、例えば、撮像装置20以外の装置で上記処理を行う場合であっても、主要被写体推定抽出処理を適切に行うことができる。本発明では、これらフォーカスモード、焦点距離、及び絞り等を撮影条件に含む。上記各実施形態では、初期フレーム画像をフォーカスモードに応じて切り替えているが、撮影条件に応じて切り替えてもよい。撮影条件としては、動く子供や動物を撮影するモード等がある。動き回る子供や動物を撮る場合は、コンティニュアスAFモードに設定し、シャッターを半押しにしたまま相手の動きをカメラで追いかけながら構図を調整する。"