(57)【特許請求の範囲】
【請求項１】
被写体像を撮像する撮像部と、
撮像装置本体の姿勢や構えられているときの動きを検出する加速度センサと、
撮影レンズを移動させることにより画角を変更するレンズ制御部と、
前記レンズ制御部よって調整された前記撮影レンズの画角の情報を受け取って画角の変化を判定する画角判定部と、
前記撮像部で動画像を撮像している際に、前記加速度センサにより検出された加速度が予め設定された加速又は減速の値以上の速度の変化となった状態、または、前記画角判定部により画角に大きな変化がありその後に当該画角が安定することが検出された状態、のいずれか一方の状態または両方の状態が検出された際に、動画を撮像しているバックグラウンドで前記撮像部に静止画を撮像させる画像処理制御部と、
を具備し、
前記画像処理制御部は、バックグラウンドで前記撮像部に前記静止画を撮像させた後、再び、前記加速度センサにより撮像装置本体に加えられる加速度に急峻な変化があったことが検出された場合、又は前記画角判定部により被写体像を撮像する画角の変化があったと判定された場合に、バックグラウンドで前記撮像部に静止画を撮像させない動画モードに移行する
ことを特徴とする撮像装置。
【請求項２】
前記画像処理制御部は、動画を撮像しているバックグラウンドで前記撮像部に静止画を撮像させる際、連写モードに移行して複数枚の静止画を撮像させることを特徴とする請求項１記載の撮像装置。
【請求項３】
前記画角判定部は、前記撮像部で撮像されている動画像の中で移動している主要被写体の位置の変化に基づいて画角の変化を判定することを特徴とする請求項１記載の撮像装置。
【請求項４】
前記画像処理制御部は、連写モードで撮像した複数の静止画のボケの程度により画質を評価する画質評価部を有し、当該画質評価部は、ボケに対する評価値がある一定の値以下の静止画を自動的に削除することを特徴とする請求項２記載の撮像装置。
【請求項５】
前記撮像装置の本体に対してユーザが接触していることを検出する接触検出部を更に有し、前記画像処理制御部は、前記接触検出部によって前記撮像装置の本体にユーザが接触したと判定した際に、前記加速度センサにより検出された加速度が予め設定された加速又は減速の値以上の速度の変化となったか否かを判定することを特徴とする請求項１または２記載の撮像装置。
【請求項６】
撮像部と、加速度センサと、レンズ制御部と、画角判定部と、画像処理制御部とを備える撮像装置による撮像方法であって、
前記撮像部により、被写体像を撮像することと、
前記加速度センサにより、撮像装置本体の姿勢や構えられているときの動きを検出することと、
前記レンズ制御部により、撮影レンズを移動させることにより画角を変更することと、
前記画角判定部により、前記レンズ制御部よって調整された前記撮影レンズの画角の情報を受け取って画角の変化を判定することと、
前記画像処理制御部により、前記撮像部で動画像を撮像している際に、前記加速度センサにより検出された加速度が予め設定された加速又は減速の値以上の速度の変化となった状態、または、前記画角判定部により画角に大きな変化がありその後に当該画角が安定することが検出された状態、のいずれか一方の状態または両方の状態が検出された際に、動画を撮像しているバックグラウンドで前記撮像部に静止画を撮像させることと、
バックグラウンドで複数の静止画を撮像した後、再び、前記加速度センサにより撮像装置本体に加えられる加速度に急峻な変化があったことが検出された場合、又は前記画角判定部により被写体像を撮像する画角の変化があったと判定された場合に、バックグラウンドで前記撮像部に静止画を撮像させない動画モードに移行することと
を含む撮像方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば移動する主要被写体に発生する予期しないハプニングを撮像するのに好適な撮像装置及びその撮像方法に関する。
【背景技術】
【０００２】
ユーザが被写体の撮像を行うときには、被写体に予期しないハプニングが発生することがある。例えば、被写体として運動会で子供がかけっこを行っているときに子供が転んだり、又、被写体として自動車等のレースの開催中に自動車がコーナでスピンしたりなどの予期しないハプニングが発生することがある。運動会や自動車等のレースに限らず、野球やサッカー等のスポーツ選手の動き等の被写体にも予期しないハプニングが発生することがある。ユーザとしては、かかる移動する被写体の撮像を行っているときに、被写体に発生する予期しないハプニングも撮像できることの要望がある。
【０００３】
特許文献１は、撮像装置における動画像の撮影時に実行されるズーム操作情報、又は加速度センサによる検出情報によって解析されるパンチルト処理情報、又は、ＧＰＳから入力する位置情報、又はクロック情報に基づいて識別される特定の記念日などの情報、或いは静止画撮影情報などの情報に基づいて重要シーン部を判定し、重要シーン撮影部分を識別可能なハイライトポイント情報を生成して、撮影画像データに対応付けて記録することを開示する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−１３４７７０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１には、移動する被写体に発生する予期しないハプニングを撮像する技術について開示されておらず、移動する被写体に発生する予期しないハプニングにおいて、決定的なシーンを動画ばかりでなく、静止画でも残すことが要望されている。
本発明の目的は、移動する被写体に発生する予期しない決定的なシーンを動画ばかりでなく、決定的瞬間を捉えた静止画でも残すことができる撮像装置及びその撮像方法を提供することにある。
【課題を解決するための手段】
【０００６】
本発明の主要な局面に係る撮像装置は、被写体像を撮像する撮像部と、撮像装置本体の姿勢や構えられているときの動きを検出する加速度センサと、撮影レンズを移動させることにより画角を変更するレンズ制御部と、前記レンズ制御部よって調整された前記撮影レンズの画角の情報を受け取って画角の変化を判定する画角判定部と、前記撮像部で動画像を撮像している際に、前記加速度センサにより検出された加速度が予め設定された加速又は減速の値以上の速度の変化となった状態、または、前記画角判定部により画角に大きな変化がありその後に当該画角が安定することが検出された状態、のいずれか一方の状態または両方の状態が検出された際に、動画を撮像しているバックグラウンドで前記撮像部に静止画を撮像させる画像処理制御部とを具備し、前記画像処理制御部は、バックグラウンドで複数の静止画を撮像した後、再び、前記加速度センサにより撮像装置本体に加えられる加速度に急峻な変化があったことが検出された場合、又は前記画角判定部により被写体像を撮像する画角の変化があったと判定された場合に、バックグラウンドで前記撮像部に静止画を撮像させない動画モードに移行する。
【０００７】
本発明の主要な局面に係る撮像装置の撮像方法は、撮像部と、加速度センサと、レンズ制御部と、画角判定部と、画像処理制御部とを備える撮像装置による撮像方法であって、前記撮像部により、被写体像を撮像することと、前記加速度センサにより、撮像装置本体の姿勢や構えられているときの動きを検出することと、前記レンズ制御部により、撮影レンズを移動させることにより画角を変更することと、前記画角判定部により、前記レンズ制御部よって調整された前記撮影レンズの画角の情報を受け取って画角の変化を判定することと、前記画像処理制御部により、前記撮像部で動画像を撮像している際に、前記加速度センサにより検出された加速度が予め設定された加速又は減速の値以上の速度の変化となった状態、または、前記画角判定部により画角に大きな変化がありその後に当該画角が安定することが検出された状態、のいずれか一方の状態または両方の状態が検出された際に、動画を撮像しているバックグラウンドで前記撮像部に静止画を撮像させることと、バックグラウンドで複数の静止画を撮像した後、再び、前記加速度センサにより撮像装置本体に加えられる加速度に急峻な変化があったことが検出された場合、又は前記画角判定部により被写体像を撮像する画角の変化があったと判定された場合に、バックグラウンドで前記撮像部に静止画を撮像させない動画モードに移行することとを含む。
【発明の効果】
【０００８】
本発明によれば、移動する被写体に発生する予期しない決定的なシーンを動画ばかりでなく、決定的瞬間を捉えた静止画でも残すことができる撮像装置及びその撮像方法を提供できる。
【図面の簡単な説明】
【０００９】
【図１】本発明に係る撮像装置の第１の実施の形態を示す構成図。
【図２】同装置における画像処理制御マイクロコンピュータによる動画静止画連写モードの動作を示す説明図。
【図３】同装置における撮像動作フローチャート。
【図４】同装置において待機状態・省電力モードに移行するときの状態を示す模式図。
【図５】同装置により動画撮像するときのユーザの操作の様子を示す模式図。
【図６】同装置における動画静止画連写モードにおける動作タイミングを示す図。
【図７】同装置における動画静止画連写モードで取得された複数の静止画の表示の一例を示す図。
【図８】本発明に係る撮像装置の第２の実施の形態において撮像装置本体を方位の変化が一定になるように移動したときを示す模式図。
【図９】同装置の本体を横方向のシフトを一定になるように移動したときを示す模式図。
【図１０】同装置本体を保持して主要被写体の動画の撮像を行っている状態を示す図。
【図１１】同装置における主要被写体が予測の結果と異なる動きをしたときの動画静止画連写モードでの撮像状態を示す図。
【図１２】同装置本体の方位の変化の予測を示す図。
【図１３】同装置本体の加速度の変化の予測を示す図。
【図１４】同装置による予測との差異を示す模式図。
【図１５】同装置によるトリミングの動作を示す模式図。
【図１６】同装置における撮像動作フローチャート。
【発明を実施するための形態】
【００１０】
（１）以下、本発明の第１の実施の形態について図面を参照して説明する。  
図１は撮像装置（カメラ）の構成図を示す。この撮像装置１は、例えば自動車等の移動する主要被写体とその背景とを含む被写体の光学像（被写体像）の動画を撮像する動画モードと、被写体像の静止画を撮像する静止画モードとを有する。なお、動画モードと静止画モードとを含めて通常の撮像動作処理モードとする。
【００１１】
この撮像装置１は、画像処理・制御部２と、ズーム（ｚｏｏｍ）レンズ部３と、撮像部４と、メモリ部５と、表示部６と、画像記録部７と、音声処理部８と、操作制御部９と、内蔵メモリ部１０と、ストロボ発光部１１と、加速度検出部（加速度センサ）１２と、姿勢検出部（姿勢センサ）１３と、接触検出部１４と、撮影者状態監視部１５とを有する。
【００１２】
画像処理・制御部２は、ＣＰＵやＲＡＭ、ＲＯＭ等を含むマイクロコンピュータから成る。なお、ＣＰＵは、時間を計測するためにカウント動作を行うタイマー機能を有する。この画像処理・制御部２は、撮像装置１内部の各ブロック、例えばズームレンズ部３と、撮像部４と、ストロボ発光部１１となどを動画モード又は静止画モードの撮像に応じて統括的に動作制御し、かつ撮像部４を介して得られる動画又は静止画の各画像データに対して各種画像処理を行ったり、これら画像データを画像記録部７に記録するための画像圧縮を行う。
【００１３】
ズームレンズ部３は、被写体像のズーム像を撮像するためのもので、撮影レンズ３１と、レンズ制御部３２とを有する。撮影レンズ３１は、被写体像を撮像部４に集光させるための光学系である。この撮影レンズ３１は、光軸ｐ方向に移動可能に設けられている。レンズ制御部３２は、画像処理・制御部２から発せられた指示を受け、この指示に従って撮影レンズ３１を光軸ｐ方向に移動制御する。
【００１４】
この撮影レンズ３１は、画角を調整するためのズームレンズを含む。この撮影レンズ３１は、レンズ制御部３２によってズームレンズを広角側又は望遠側に駆動することで、撮影時の撮影画角を変更する。例えば、ズームレンズが広角側に駆動すると、撮影画角が広くなり、広い範囲の撮影に適した状態になる。一方、ズームレンズが望遠側に駆動すると、撮影画角が狭くなり、遠距離の被写体の撮影に適した状態になる。
【００１５】
撮像部４は、例えば自動車等の主要被写体を含む被写体像を撮像するもので、撮像素子４１と、撮像素子ドライバ４２と、タイミングジェネレータ（ＴＧ）４３と、アナログフロントエンド回路（ＡＦＥ）４４とを有する。  
撮像素子４１は、ＴＧ４３から出力される同期信号に同期して撮像動作を行い、アナログの電気信号（画像信号）を出力するもので、複数の画素を２次元状に配列されてなる撮像面を有し、撮影レンズ３１により集光された光を各画素で受光して光電変換することで、光の量を電気量に変換する。  
撮像素子ドライバ４２は、ＴＧ４３から出力される同期信号に従って撮像素子４１を駆動する。
【００１６】
ＴＧ４３は、画像処理・制御部２からのタイミング信号に従って撮像素子４１を駆動するための同期信号を生成して撮像素子ドライバ４２に出力する。  
ＡＦＥ４４は、撮像素子４１から出力されるアナログの電気信号（画像信号）に対して相関二重サンプリング（ＣＤＳ）処理やゲイン制御処理（ＡＧＣ）等の各種のアナログ処理を施した後、アナログ処理によって得られた画像信号をデジタルの画像信号（以降、画像データという）に変換する。  
メモリ部５は、撮像部４のＡＦＥ４４において得られた画像データや、画像処理・制御部２における画像処理の結果として得られた画像データ等の各種データを一時的に記憶する。このメモリ部５は、例えばＤＲＡＭ（Ｄynamic ＲＡＭ）から構成される。
【００１７】
表示部６は、例えば撮像装置１の本体背面に設けられた液晶ディスプレイ等である。この表示部６は、画像処理・制御部２において画像処理された画像データに基づく画像等の各種の画像を表示する。  
画像記録部７は、例えば撮像装置１に対して着脱可能なメモリであり、画像処理・制御部２において画像処理された画像データを記録する。
【００１８】
音声処理部８は、画像処理・制御部２の制御に従って各種の音声データを発するための処理を行う。  
操作制御部９は、例えば電源ボタン、レリーズボタン、ズームボタン、各種入力キー等の複数の操作部材を有する。この操作制御部９は、ユーザにより何れかの操作部材に対する操作を受けると、この操作指示を画像処理・制御部２に送る。この画像処理・制御部２は、操作部材からの操作指示に応じた各種の処理を実行する。この操作制御部９のうち電源ボタンは、撮像装置１の電源のオンオフ指示を行う。  
この電源ボタンが押されると、画像処理・制御部２は、撮像装置１の電源をオン又はオフにする。レリーズボタンは、撮影実行の指示を行う。このレリーズボタンが押されると、画像処理・制御部２は、静止画撮影又は動画撮影を実行する。ズームボタンは、ズーミングの実行の指示を行う。このズームボタンが押されると、画像処理・制御部２は、撮影レンズ３１のズームレンズを広角側又は望遠側に駆動させるようにレンズ制御部３２に指示を送る。入力キーは、例えば、表示部６において表示されるメニュー画面上で撮影時の撮影条件等を設定する。
【００１９】
ストロボ発光部１１は、自動車等の主要被写体が低輝度の場合や逆光シーンの場合等に、画像処理・制御部２からの発光指示を受けて発光する。このストロボ発光部１１は、例えばキセノン（Ｘｅ）管等の発光管や反射傘を備える。  
加速度検出部１２は、例えばユーザの手によって把持されて撮像装置１の本体が地表に対して水平な方向に移動された際の加速度を検出する。  
姿勢検出部１３は、撮像装置本体の姿勢や当該撮像装置本体が例えばユーザによって構えられているときの動きを検出する。具体的に姿勢検出部１３は、撮影レンズ３１が地表に向いている状態を検出する。この姿勢検出部１３は、撮像装置１の本体に加わる加速度を検出する加速度センサを含む。なお、姿勢検出部１３は、加速度センサに角速度センサを併用しても良い。
【００２０】
接触検出部１４は、撮像装置１の本体に対するユーザの接触、すなわちユーザの手によって撮像装置１の本体が把持されていることを検出する。  
撮影者状態監視部１５は、ユーザが撮像装置１を構えている状態を検出する。この撮影者状態監視部１５は、例えば撮像装置１の背面に設けられ、ユーザ等の撮影者を撮像する。すなわち、ユーザが撮像装置１を構えている状態では、本撮像装置１を構えているユーザの画像が撮影者状態監視部１５を介して得られる。このユーザの画像により、ユーザが撮像装置１を構えていることを検出することが可能である。
【００２１】
上記画像処理・制御部２は、撮像部４の撮像により取得される画像データ中に含む主要被写体と、姿勢検出部１３により検出される撮像装置１の本体の姿勢とのいずれか一方から主要被写体に変化が生じたことを捉えて少なくとも被写体像の静止画を撮像する動画静止画連写モードに移行する。この動画静止画連写モードは、被写体像を動画で撮像し、これと同時に被写体像の静止画を連写で撮像する。従って、静止画連写モード、あるいは一般的なカメラにおける連写モードを伴う動画撮影と表現することが出来る。動画は、静止画の集合であるが、静止画よりも、より画像サイズが小さく、フレームレートが高く、コマ間圧縮を伴うなどの違いがある。  
この場合、画像処理・制御部２は、撮像部４の撮像により取得される画像データ中に含む主要被写体の変化と、姿勢検出部１３により検出される撮像装置１の本体の姿勢から主要被写体に変化が生じたことを捉え、この変化を捉えたときから動画静止画連写モード（既に動画撮影は行われて継続していることから連写モードとも称する）に移行する。  
ここで、主要被写体の位置の変化は、被写体像を撮像する画角の変化を考慮するものとする。撮像装置１の本体の姿勢の変化は、当該撮像装置１の本体に加わる加速度の変化を含む。
【００２２】
具体的に、画像処理・制御部２は、撮像部４により被写体像を動画で撮像している状態に、姿勢検出部１３の加速度センサにより検出される撮像装置１の本体に加わる加速度の変化、又は被写体像を撮像する画角の変化のうちいずれか一方又は両方を検出すると、当該変化を検出したときから動画静止画連写モードに移行する。  
画像処理・制御部２は、姿勢検出部１３の加速度センサにより検出される加速度が例えば予め設定された加速又は減速の値以上の速度の変化（以下、加速度の急峻な変化と称する）を検出した後、被写体像を撮像する画角の変化が予め設定された画角の変化の度合いよりも小さくなると、動画静止画連写モードに移行する。
【００２３】
画像処理・制御部２は、姿勢検出部１３の加速度センサにより検出される加速度の急峻な変化を検出しない状態で、被写体像を撮像する画角の変化が予め設定された画角の変化の度合いよりも小さくなり一定期間安定すると、動画静止画連写モードに移行する。  
画像処理・制御部２は、動画静止画連写モード時に、姿勢検出部１３の加速度センサにより検出される加速度の急峻な変化、又は画角が予め設定された画角の変化の度合いよりも大きく変化のうちいずれか一方又は両方を検出すると、被写体像を動画で撮像する状態に戻る。  
画像処理・制御部２は、撮像装置１の本体に対してユーザが接触したか否かを判定し、ユーザの接触を判定すると、姿勢検出部１３の加速度センサにより検出される加速度センサにより当該加速度が急峻に変化したか否かの判定を行う。
【００２４】
動画静止画連写モードにおいて、動画の撮像では、画像処理・制御部２は、例えば絞りを開放状態とし、撮像素子４１における複数の画素のうち動画撮像のために予め設定された各画素からの各電気信号を用いて動画の画像データを作成する。  
動画静止画連写モードにおいて、静止画の連写の撮像では、画像処理・制御部２は、例えば絞りを開放状態とし、撮像素子４１における全画素からの各電気信号を用い、撮像素子４１に対する電子シャッタによって複数枚の静止画の画像データを逐次作成する。
【００２５】
画像処理・制御部２は、被写体像を撮像する画角を判定する画角判定部２−１を有する。この画角判定部２−１は、レンズ制御部３２による撮影レンズ３１のズームレンズに対する画角の調整の情報を受け取って画角の変化を判定する。例えば、ズームレンズが広角側に駆動すると画角が広くなり、一方、ズームレンズが望遠側に駆動すると画角が狭くなり、ズームレンズが駆動しなければ、画角に変化が殆どないことになる。
【００２６】
例えば、ユーザは、移動する主要被写体として運動会での子供のかけっこや、レースでの自動車の走行、野球やサッカー等のスポーツ選手の動き等を撮像することがあり、これら主要被写体は急に進路を変えるような動きをする必要があり、その不規則な動作や操作によって予期しないハプニングが発生することがあり、この主要被写体に発生する予期しないハプニングを撮像したいとの要望がある。  
ここで、主要被写体としてレースでの自動車の走行の撮像を一例として図２を参照して説明する。自動車レースにおいてユーザが高速で走行する自動車Ｍを動画で撮像する場合、自動車Ｍが高速でカーブするコーナを走行するとき、このコーナにおいて自動車Ｍのハプニングの予期しない決定的なシーンが発生するケースがある。この予期しない決定的なシーンを動画ばかりでなく、高精細な静止画でも残すために、画像処理・制御部２は、上記の通り、動画の撮像と静止画の連写撮像とを行う動画静止画連写モードに移行する。
【００２７】
従って、自動車レースにおいてストレートからカーブするコーナを高速で走行する自動車Ｍをユーザによって動画で撮像する場合、ユーザは、撮像装置１を手に持ち、コースに高速で走行する自動車Ｍを撮像範囲内に入れた状態で自動車Ｍを追うものとなる。レースのコースは、例えばストレートからカーブに到り、かつ遠方からユーザ側に近付くものとする。
【００２８】
このとき、撮像装置１に加わる加速度と被写体像を撮像する主被写体が画面内に占める割合とに着目する。ストレートのコースに自動車Ｍが走行するときには、撮像装置１の動きが自動車Ｍのほぼ一定の高速の走行速度に応じて例えばストレートの方向に移動するものとなり、このときに撮像装置１に加わる加速度の変化も殆どない。又、自動車Ｍは、遠方でストレートの方向に移動しているので、撮像装置１における被写体像を撮像するときの画角の変化も殆どない。  
自動車Ｍがさらに走行し、カーブのコースに自動車Ｍが走行するときには、撮像装置１の動きが自動車Ｍの走行速度の変化、すなわちＵターンする移動方向で、かつ高速の走行速度から減速し、再び高速の走行速度に戻って走行する走行速度に対応して移動するものとなり、このときに撮像装置１に加わる加速度に急峻な変化が生じる。又、自動車Ｍは、遠方から近付いてきて減速しながらカーブを走行するので、撮像装置１における被写体像を撮像するときの自動車Ｍが画面内に占める割合も変化するものとなる。
【００２９】
従って、画像処理・制御部２は、撮像部４により被写体像を動画で撮像している状態に、加速度検出部１２により検出される加速度の情報と、画角判定部２−１により判定される被写体像を撮像する画角の情報とを受け取り、撮像部４の撮像により取得される画像データ中に含む例えば自動車Ｍ等の移動する主要被写体の位置の変化、ここでは主要被写体を撮像するときの画角の変化を含む主要被写体の位置の変化と、姿勢検出部１３により検出される撮像装置１の本体の姿勢の変化、ここでは撮像装置１の本体に加わる加速度の変化を含む姿勢の変化とのいずれか一方を検出したときから被写体像を動画で撮像し、これと同時に被写体像の静止画を連写で撮像する動画静止画連写モードに移行する。  
【００３０】
具体的に、画像処理・制御部２は、撮像部４により被写体像を動画で撮像している状態に、加速度検出部１２により検出される加速度の変化、又は被写体像を撮像する画角の変化のうちいずれか一方又は両方を検出すると、当該変化を検出したときから被写体像を動画で撮像し、これと同時に被写体像の静止画を連写で撮像する動画静止画連写モードに移行する。このときの静止画の撮影は、撮像素子４１に対する電子シャッタにより行われ、撮像素子４１の全画素を用いて撮像が行われる。ここでの主要被写体のストレートな動きから、別な動きに変化した時にはシャッターチャンスが訪れる場合が多い。撮像装置の動きが一定であって、その時の主要被写体がほぼ画面の同じ位置や大きさにあることからストレートな動きは判定することが出来る。そして、上記主要被写体の進路の変化などは、このストレートな動きの判定の条件から外れたかどうかで検出することが出来る。
【００３１】
この場合、画像処理・制御部２は、接触検出部１４の出力信号を入力し、ユーザの手によって撮像装置１の本体に接触して当該撮像装置１の本体を保持しているか否かを判定するとさらに検出の確度を高めることが出来る。  
この判定の結果、ユーザの手によって撮像装置１の本体が保持されていると、画像処理・制御部２は、撮像装置１の本体に対してユーザが接触した後に、加速度検出部１２により検出された加速度が急峻に変化したか否かを判定する。  
この判定の後、画像処理・制御部２は、被写体像を撮像する画角の変化を検出し、加速度の急峻な変化又は被写体像を撮像する画角の変化のうちいずれか一方又は両方を検出すると、当該変化を検出したタイミングに応動して動画静止画連写モードに移行する。前述のように、主要被写体のストレートな動きの条件を満たしたシーンが続いた後、その条件を満たさなくなった状況を判定すると、さらに確度を高めてモード切換が可能となる。  
ここで、加速度の急峻な変化の判定は、例えば、加速度検出部１２により検出された加速度の時間経過に対する変化の度合いを求め、この度合いが一定値以上であれば、加速度が急峻に変化したと判定する。
【００３２】
画像処理・制御部２は、加速度が急峻に変化したことを判定した後、被写体像を撮像する画角の変化、すなわち撮像する画角が小さくなったか否かを判定し、画角の変化が小さくなり安定すると、動画静止画連写モードに移行する。  
ここで、画角の小さな変化は、例えば、画角判定部２−１により判定される画角の変化の度合いを求め、この度合いが一定値以下であれば、画角の小さな変化と判定する。これにより、画角の変化の安定は、画角の変化の大きさが所定の画角内に収まる状態である。
【００３３】
画像処理・制御部２は、加速度の急峻な変化を判定しない状態で、被写体像を撮像する画角の変化が小さくなり安定したときも、動画静止画連写モードに移行する。
画像処理・制御部２は、動画静止画連写モード時に、加速度の急峻な変化、又は画角が大きく変化のうちいずれか一方又は両方を検出すると、被写体像を動画で撮像する状態に戻る。ここで、画角の大きな変化は、例えば、画角判定部２−１により判定される画角の変化の度合いを求め、この度合いが一定値以上であれば、画角の大きな変化と判定する。
【００３４】
画像処理・制御部２は、動画静止画連写モード時、動画の撮像のバックグラウンドで連写により撮像した複数の静止画を例えば画像記録部７に記憶する。  
画像処理・制御部２は、画像記録部７に記憶されている動画静止画連写モードで撮像した複数の静止画を選択し、この選択された静止画を表示部６に表示する。この場合、画像処理・制御部２は、画像記録部７に記憶されている複数の静止画のうち所定枚数の静止画を表示部６に表示し、これら表示された各静止画の中から所望の静止画が選択されると、当該静止画のみを表示部６に表示する。
【００３５】
画像処理・制御部２は、画像記録部７に記憶されている動画静止画連写モードで撮像した複数の静止画に対して保存するか破棄するかを選択し、この選択された静止画を保存又は破棄する。この場合、画像処理・制御部２は、画像記録部７に記憶されている複数の静止画のうち所定枚数の静止画を表示部６に表示し、これら表示された各静止画の中から保存又は破棄する静止画を選択されると、保存に選択された静止画を画像記録部７に記憶し、破棄に選択された静止画を画像記録部７から破棄する。
【００３６】
又、画像処理・制御部２は、画質評価部２−２を有する。この画質評価部２−２は、動画静止画連写モードで撮像した複数の静止画に対する画質を評価し、この評価結果に基づいて不要な静止画を自動的に削除する。静止画の画質は、例えばボケの程度により画質を判定する。この画質評価部２−２は、例えば、ボケに対する評価値がある一定の値以下になると、不要な静止画として当該静止画を自動的に削除する。
【００３７】
次に、上記の如く構成された装置の撮像動作について図３に示す撮像動作フローチャートに従い、上記図２に示すように自動車レースにおいてユーザが高速で走行する自動車Ｍを撮像する場合について説明する。なお、走行する自動車Ｍの撮像について説明するが、運動会での子供のかけっこや、レースでの自動車の走行、野球やサッカー等のスポーツ選手の動き等を撮像する場合も同様である。  
電源スイッチがオン操作されると、画像処理・制御部２は、接触検出部１４から出力される信号を入力し、この信号から撮像装置１の本体に対してユーザの手等が接触し、撮像装置１の本体がユーザの手によって保持されているか否かを判定する。この判定の結果、例えば図４に示すように撮像装置１の本体に対してユーザの手等が接触していない、すなわち撮像装置１の本体がユーザの手によって保持されておらず、ユーザが撮像装置１のファインダを覗いていない状態であれば、画像処理・制御部２は、待機状態とし、省電力モードに移行する。
【００３８】
この待機状態で省電力モードにあるときに、画像処理・制御部２は、ステップＳ２において、動作モードが動画静止画連写モード、又は通常の撮像動作処理モード（動画モードと静止画モードとを含む）のいずれかであるのかを判定する。この判定の結果、通常の撮像動作処理モードであれば、画像処理・制御部２は、通常の撮像動作処理モードである動画モード又は静止画モードに移行する。
【００３９】
一方、動画静止画連写モードであれば、画像処理・制御部２は、ステップＳ３において、先ず、例えば自動車等の移動する主要被写体を含む被写体像の動画を撮像する動画モードに設定する。  
画像処理・制御部２は、ステップＳ４において、上記同様に、接触検出部１４から出力される信号を入力し、撮像装置１の本体がユーザの手によって保持されているか否かを判定する。この判定の結果、例えば図４に示すように撮像装置１の本体に対してユーザの手等が接触せず、撮像装置１の本体がユーザの手によって保持されていなければ、画像処理・制御部２は、ステップＳ１に戻り、待機状態とし、省電力モードに移行する。
【００４０】
撮像装置１の本体に対してユーザの手等が接触し、撮像装置１の本体がユーザの手によって保持されていると、画像処理・制御部２は、ステップＳ５において、加速度検出部１２により検出された撮像装置１の本体に加えられる加速度を入力し、この加速度に急峻な変化があるか否か、すなわち加速度が予め設定された加速度よりも大きく変化したか否かを判定する。
【００４１】
図５（ａ）はユーザが手によって撮像装置１を保持して動画の撮像を行っている様子を示す。例えば、移動する主要被写体の撮像を一例として自動車Ｍ等の主要被写体を追って動画を撮像するとき、ユーザは、撮像装置１の本体を多方向にスイーブしながらズームレンズ部３を動かしながら動画撮像を行う。このような動画撮像では、撮像装置１の本体を多方向にスイーブすることから撮像装置１の本体に加わる加速度に変化が生じると共に、ユーザによってズームレンズ部３を動かすことにより画角に変化が生じる。
【００４２】
例えば、上記図２に示すように自動車Ｍがストレートのコースを走行するとき、自動車Ｍは、同コースを等速で走行するので、撮像装置１に対して加わる加速度に変化がなく、画角にも大きな変化がなく、ユーザが設定した画角に保持される。図５（ｂ）はユーザが手によって撮像装置１を保持して等速で移動しながら動画の撮像を行っている様子を示す。
【００４３】
続いて、上記図２に示すように自動車Ｍがカーブのコースを走行するときには、Ｕターンする移動方向で、かつ高速の走行速度から減速し、再び高速の走行速度に戻って走行するので、この自動車Ｍを追って動画を撮像しているときには、撮像装置１に対して加わる加速度が急峻に変化し、この後に撮像装置１に対して加わる加速度の変化は予め設定された加速度よりも小さくなり、ほぼ一定で安定した状態になる。これと共に、自動車Ｍは、遠方から近付いてきて減速しながらカーブを走行するので、撮像装置１における被写体像を撮像するときの画角もユーザの操作によって大きく変化し、この後に画角の変化は予め設定された画角よりも小さくなり、ほぼ一定で安定した状態になる。
【００４４】
従って、自動車Ｍがストレートのコースを走行するとき、自動車Ｍは、等速で走行し、撮像装置１に対して加わる加速度に変化がなく、画角にも大きな変化がないので、画像処理・制御部２は、動画モードで自動車Ｍを撮像し、図２に示すように動画ファイルＭＦのみを取得する。
【００４５】
続いて、画像処理・制御部２は、上記ステップＳ５において、自動車がカーブのコースを走行するときに、撮像装置１の本体に加えられる加速度に急峻な変化があったことを判定する。  
続いて、画像処理・制御部２は、ステップＳ６において、画角判定部２−１により判定される被写体像を撮像する画角の情報を受け取り、撮像装置１における被写体像を撮像するときの画角がユーザの操作によって大きく変化し、この後に画角の変化が予め設定された画角よりも小さくなり、ほぼ一定で安定した状態になることを判定する。例えば図５（ｃ）はユーザの操作によって画角を小さくしたときの様子を示す。
【００４６】
図６は動画静止画連写モードにおける動作タイミングを示す。同図に示すように撮像装置１の本体に加えられる加速度に急峻な変化があったことを判定し、この後に、画角の変化が予め設定された画角よりも小さくなり、ほぼ一定で安定した状態になることを判定すると、画像処理・制御部２は、ステップＳ７において、時刻ｔ１に動画静止画連写モードに移行する。すなわち、画像処理・制御部２は、加速度の急峻な変化を検出し、続いて被写体像を撮像する画角の変化が小さくなり安定すると、これら加速度の急峻な変化と画角の変化の安定したタイミングに応動して動画静止画連写モードに移行する。
【００４７】
なお、画像処理・制御部２は、上記ステップＳ５において、撮像装置１の本体に加えられる加速度に急峻な変化がないと判定すると、ステップＳ８において、ＣＰＵのタイマー機能によって時間を計測し、予め設定された一定期間に、撮像装置１の本体に加えられる加速度に急峻な変化がないか否かを判定する。この判定の結果、予め設定された一定期間に、撮像装置１の本体に加えられる加速度に急峻な変化があれば、画像処理・制御部２は、上記ステップＳ７に移る。一方、予め設定された一定期間に、撮像装置１の本体に加えられる加速度に急峻な変化がなければ、画像処理・制御部２は、ステップＳ３に戻り、動画モードを続ける。
【００４８】
画像処理・制御部２は、ステップＳ７において、動画静止画連写モードに移行すると、被写体像を動画で撮像し、これと同時に被写体像の静止画を連写で複数枚撮像する。この動画静止画連写モードにおいて、静止画の撮影は、撮像素子４１に対する電子シャッタにより行われ、撮像素子４１の全画素を用いて複数枚連写で撮像が行われる。複数の静止画は、動画モードに比べて高精細な画像を得ることできる。この動画静止画連写モードにおいて画像処理・制御部２は、動画の撮像のバックグラウンドで連写により撮像した複数の静止画を例えば画像記録部７に記憶する。これにより、画像処理・制御部２は、図２に示すように動画ファイルＭＦと複数の静止画ＳＤとを取得する。
【００４９】
画像処理・制御部２は、ステップＳ９において、再び、加速度検出部１２により検出された撮像装置１の本体に加えられる加速度を入力し、この加速度に急峻な変化があるか否かを判定すると共に、画角判定部２−１により判定される被写体像を撮像する画角の情報とを受け取り、撮像装置１の画角がユーザの操作によって変化したか否かを判定する。  
例えば、上記図２に示すように自動車Ｍは、カーブのコースを走行した後、再び、高速の走行速度に戻って走行するので、撮像装置１に対して加わる加速度が急峻に変化し、これと共に、撮像装置１の画角もユーザの操作によって大きく変化する。従って、画像処理・制御部２は、撮像装置１の本体に加わる加速度に急峻な変化があることを判定すると共に、撮像装置１の画角が変化したことを判定する。この判定の結果、画像処理・制御部２は、ステップＳ３に戻り、時刻ｔ２に動画モードに戻る。
【００５０】
撮像装置１の本体に加えられる加速度に急峻な変化がなく、撮像装置１の画角の変化しなければ、画像処理・制御部２は、ステップＳ１０において、例えばユーザが動画撮像を終了する等の操作を判定すると、続くステップＳ１１において、例えば画像記録部７に記憶されている動画静止画連写モード時に取得した複数の静止画を表示部６に表示可能とする。  
この場合、画像処理・制御部２は、動画静止画連写モード時に取得した複数の静止画を表示部６に例えばサムネイル表示し、これら表示された複数の静止画から所望の静止画を選択して表示することを可能とする。図７（ａ）は表示部６に表示された複数の静止画ＳＤのサムエル表示の一例を示す。表示部６に表示する静止画の枚数は、任意に設定可能である。又、図７（ｂ）は表示部６に表示された複数の静止画ＳＤの他の表示例を示し、複数の静止画ＳＤを順次入れ替えながら１枚ずつ静止画ＳＤを表示可能である。
【００５１】
一方、画像処理・制御部２は、上記ステップＳ５、Ｓ６の判定の結果、撮像装置１の本体に加えられる加速度に変化があった後でも、撮像装置１の画角の変化が大きく安定しなければ、動画モードを続ける。  
又、画像処理・制御部２は、上記ステップＳ５の判定の結果、撮像装置１の本体に加えられる加速度に変化がなく、上記ステップＳ８の判定の結果、撮像装置１の画角の変化が一定期間小さく安定すると、上記ステップＳ７に移り、時刻ｔ３に動画静止画連写モードに移行する。
【００５２】
画像処理・制御部２は、ステップＳ１２において、画像記録部７に記憶されている動画静止画連写モードで撮像した複数の静止画を表示部６に例えばサムネイル表示し、これら表示された複数の静止画に対して保存するか破棄するかを選択し、このうち保存を選択された静止画を画像記録部７に記録し、破棄を選択された静止画を画像記録部７から破棄する。
【００５３】
画像処理・制御部２は、ステップＳ１３において、画質評価部２−２を動作させる。この画質評価部２−２は、動画静止画連写モードでの撮像により取得されて画像記録部７に記憶されている複数の静止画に対する画質、例えば複数の静止画のボケの程度を評価する。この画質評価部２−２は、複数の静止画に対する画質の評価結果に基づいて例えばボケの表れている程度が大きくて不要な静止画を自動的に削除する。
【００５４】
このように上記第１の実施の形態によれば、撮像部４により被写体像を動画で撮像している状態に、加速度検出部１２により検出される加速度の変化、又は被写体像を撮像する画角の変化のうちいずれか一方又は両方を検出すると、当該変化を検出した後に被写体像を動画で撮像し、これと同時に被写体像の静止画を連写で撮像する動画静止画連写モードに移行するので、例えば、移動する主要被写体として運動会での子供のかけっこや、レースでの自動車の走行、野球やサッカー等のスポーツ選手の動き等を撮像するときに、これら移動する主要被写体に発生する予期しないハプニングの決定的なシーンを動画ばかりでなく、動画モードに比べて高精細な静止画を複数枚撮影することができる。つまり、しばらく続いた規則的な動画撮影の条件から外れるかどうかでその後の動きが規則性を満たすか否かを予測してハプニングが起こりそうな機会を判定している。
【００５５】
撮像装置１に加わる加速度が急峻に変化したことを判定した後、撮像する画角が小さくなって安定すると、動画静止画連写モードに移行するので、例えば移動する主要被写体が高速で曲がる際、例えば子供がかけっこでコーナを曲がる際や、自動車がカーブを曲がる際等の高速で曲がる際に発生するハプニングを確実に高精細な静止画で複数枚撮影できる。なお、動画静止画連写モードにより複数枚連写するのに限らず、静止画を１枚取得するようにしてもよい。  
又、加速度の急峻な変化を判定しない状態で、主要被写体像を撮像する画角の変化が小さくなり一定期間安定したときも、例えば高速で曲がりながら移動するときの主要被写体を動画静止画連写モードで、動画ばかりでなく、高精細な静止画を複数枚撮影できる。
【００５６】
動画静止画連写モードで撮像した複数の静止画を表示部６に表示して保存するか又は破棄するのかを選択できるので、表示部６に表示されている複数の静止画を確認して、当該静止画を保存するか又は破棄するのかを選択できる。これにより、例えば静止画に写っている自動車等の主要被写体の構図の良くない静止画を破棄でき、ユーザの趣向に合った静止画を保存できる。  
動画静止画連写モードで取得した複数枚静止画の画質を評価するので、複数枚の静止画の中から例えばボケの程度が大きい静止画が存在すれば、当該ボケの程度が大きい静止画を自動的に削除できる。
（２）次に、本発明の第２の実施の形態について図面を参照して説明する。なお、本実施の形態の構成は、図１に示す構成と略同一構成であり、同一部分には同一符号を付して相違する部分について図１に示す撮像装置の構成図を援用して説明する。  
画像処理・制御部２は、撮像部４の撮像により取得される画像データ中に含む自動車Ｍ等の主要被写体の形状変化を予測し、実際の主要被写体の形状変化が予測した主要被写体の形状変化と相違すると、この相違したタイミングに応動して少なくとも被写体像の静止画を撮像するモードに移行する。
【００５７】
具体的に、画像処理・制御部２は、自動車Ｍ等の主要被写体の形状変化として、撮像部４の撮像により取得される画像データ中に含む例えば自動車Ｍ等の主要被写体の位置の変化と、姿勢検出部１３により検出される撮像装置１の本体の姿勢の変化とに基づくタイミングに応動して少なくとも被写体像の静止画を撮像するもので、これら画像データ中に含む主要被写体の位置の変化と、撮像装置１の本体の姿勢の変化とに基づいて主要被写体の動きを予測し、この主要被写体が予測の結果と異なる動きをしたときから少なくとも被写体像の静止画を撮像するモード、例えば動画静止画連写モードに移行する。
【００５８】
ここで、撮像装置１の本体の姿勢は、当該撮像装置１の本体の撮像方向を表す方位と、又は加速度検出部１２により検出される撮像装置１の本体に加わる加速度と、撮像装置１により撮像された画像中の主要被写体の形状の変化のうち少なくとも１つを含む。例えば自動車等の主要被写体の位置の変化は、被写体像を撮像する画角の変化を含む。なお、図８は撮像装置１の本体を方位の変化が一定になるように移動したときを模式的に示す。図９は撮像装置１の本体を横方向のシフトを一定になるように移動したときを模式的に示す。
【００５９】
画像処理・制御部２は、撮像部４の撮像により取得される画像データ中に含む自動車Ｍ等の主要被写体の位置の変化と、撮像装置１の本体の姿勢の変化と、主要被写体の形状の変化とに基づいて主要被写体の動きを予測し、この主要被写体が予測の結果と異なる動きをしたときから少なくとも被写体像の静止画を撮像するモード、例えば動画静止画連写モードに移行する。
【００６０】
図１０は撮像装置１の本体をユーザの手によって保持して例えば自動車Ｍ等の主要被写体の動画の撮像を行っている状態を示す。主要被写体は、上記同様に、運動会での子供のかけっこや、レースでの自動車の走行、野球やサッカー等のスポーツ選手の動き等であってもよい。  
この撮像では、自動車Ｍ等の主要被写体が一定の速度で走行していると、撮像装置１の本体は、例えば図８に示すように方位の変化が一定になるように移動する。この状態で、画像処理・制御部２は、画像データ中に含む主要被写体の位置の変化と、撮像装置１の本体の姿勢の変化と、主要被写体の形状の変化とに基づいて主要被写体の動きを予測する。撮像装置１の表示部６には、主要被写体の動きを予測中である旨を示す「予測」Ｆを表示してもよい。
【００６１】
図１１は自動車Ｍ等の主要被写体が予測の結果と異なる動きをしたときの被写体像の静止画を撮像するモード、例えば動画静止画連写モードでの撮像状態を示す。同図は例えば自動車が高速でコーナを走行したときに、当該コーナにおいて自動車に発生するハプニングの予測の結果と異なる動きをしたときを示す。このとき撮像装置１は、少なくとも１枚の静止画を撮像する、又は例えば動画静止画連写モードで撮像を行う。
【００６２】
図１２は撮像装置１の方位の変化の予測を示す。例えば図８に示すように撮像装置１の方位を一定の速度で変化させると、画像処理・制御部２は、撮像装置１の方位が時間の経過と共に一定の速度で変化することを予測ラインＦＬで予測する。実際の自動車Ｍ等の主要被写体の方位が予測ラインＦＬ上にあれば、実際の自動車Ｍ等の主要被写体が予測通りの方位の変化を示していることを表す。
【００６３】
一方、実際の自動車Ｍ等の主要被写体の方位が予測ラインＦＬ上から大きくずれていれば、実際の自動車Ｍ等の主要被写体が予測と異なる動きをしたことを表す。なお、予測ラインＦＬ上と実際の自動車Ｍ等の主要被写体の方位との差異が予め設定された差異以上のときに、画像処理・制御部２は、実際の自動車Ｍ等の主要被写体が予測と異なる動きをしたと判定する。
【００６４】
図１３は撮像装置１の加速度の変化の予測を示す。例えば高速でストレートのコースからコーナを走行している自動車Ｍ等の主要被写体を撮像するとき、自動車Ｍ等の主要被写体は、高速の走行速度から減速し、再び高速の走行速度に戻って走行するので、撮像装置１に加わる加速度は、急峻な変化が生じ、この後に小さくなり安定する。画像処理・制御部２は、撮像装置１の加速度が時間の経過と共に急峻な変化して小さくなり安定することを予測ラインＧＬで予測する。実際の撮像装置１の加速度が予測ラインＧＬ上にあれば、実際の撮像装置１の加速度が予測通りの加速度の変化を示していることを表す。
【００６５】
一方、実際の撮像装置１の加速度が予測ラインＧＬ上から大きくずれていれば、実際の撮像装置１の加速度が予測と異なる動きをしたことを表す。なお、予測ラインＧＬ上と撮像装置１の加速度との差異が予め設定された差異以上のときに、画像処理・制御部２は、実際の撮像装置１の加速度が予測と異なる動きをしたと判定する。  
すなわち、画像処理・制御部２は、主要被写体の動きの予測、すなわち撮像装置１の方位の予測ラインＦＬと実際の撮像装置１の方位とを対比し、かつ撮像装置１の加速度の予測ラインＧＬと実際の撮像装置１の加速度とを対比し、撮像装置１の方位の予測ラインＦＬと実際の撮像装置１の方位との差異、又は撮像装置１の加速度の予測ラインＧＬと実際の撮像装置１の加速度との差異のいずか一方又は両方が大きいと、少なくとも１枚の静止画を撮像する、又は動画静止画連写モードに移行する。
【００６６】
図１４（ａ）〜（ｄ）は撮像装置１による予測との差異の模式図を示す。同図（ａ）は主要被写体の動きを予測したときの動画中に写っている自動車Ｍ等の主要被写体の１画面の模式図を示す。同図（ｂ）（ｃ）はそれぞれ予測した自動車Ｍ等の主要被写体の動きと実際の自動車Ｍ等の主要被写体の動きとの差異や主要被写体の形状の変化の差異を示す。同図（ｂ）では予測した自動車Ｍ等の主要被写体の動きと実際の自動車Ｍ等の主要被写体の動きとの差異がΔＸ１であり、同図（ｃ）では予測した自動車Ｍ等の主要被写体の動きと実際の自動車Ｍ等の主要被写体の動きとの差異がΔＸ２であり、それぞれ予測との差異が小さいと判定されている。同図（ｄ）では予測した自動車Ｍ等の主要被写体の動きと実際の自動車Ｍ等の主要被写体の動きとの差異、すなわち主要被写体の形状の変化が大きいと判定されている。
【００６７】
画像処理・制御部２は、主要被写体の動きとして予測した方位、加速度又は画角のうち少なくとも１つと、主要被写体の実際の動きの方位、加速度又は画角のうち少なくとも１つとを対比し、これら方位、加速度又は画角の差異が予め設定された値よりも大きければ、動画静止画連写モードに移行する。
【００６８】
画像処理・制御部２は、動画静止画連写モードにおいて取得した静止画中から被写体像に含む主要被写体像をトリミングする。このトリミングは、静止画中から例えば自動車Ｍ等の主要被写体像の特徴点や色から主要被写体像を検索し、この主要被写体像を含むようにトリミング範囲を設定する。なお、このトリミングでは、ユーザの操作によってトリミング範囲を設定可能である。画像処理・制御部２は、トリミングされた画像を表示部６に表示する。
【００６９】
図１５（ａ）（ｂ）（ｃ）はトリミングの動作を示す。同図（ａ）は静止画Ｋ中に含まれる自動車Ｍ等の主要被写体像の模式図を示す。同図（ｂ）は静止画Ｋ中から例えば自動車Ｍ等の主要被写体像の特徴点や色から主要被写体像を検索し、この主要被写体像を含むようにトリミング範囲ＴＭを設定した状態を示す。同図（ｃ）は表示部６に表示されたトリミング範囲ＴＭの画像を示す。
【００７０】
次に、上記の如く構成された装置の撮像動作について図１６に示す撮像動作フローチャートに従って説明する。  
画像処理・制御部２は、ステップＳ１０１において、電源がオン（ＯＮ）されたか否かを判定する。この判定の結果、電源がオン（ＯＮ）されると、画像処理・制御部２は、ステップＳ１０２において、撮影モードに設定されているかを判定する。なお、電源がオン（ＯＮ）されていなければ、画像処理・制御部２は、ステップＳ１０１ａにおいて、スタンバイ状態になる。
【００７１】
画像処理・制御部２は、撮影モードに設定されていると判定すると、ステップＳ１０３において、撮像装置（カメラ）１の移動を判定する。この撮像装置１の移動は、例えば加速度検出部１２により検出される撮像装置１の本体に加わる加速度や、姿勢検出部１３により検出される撮像装置１の本体の姿勢の変化により認識可能である。
【００７２】
画像処理・制御部２は、撮影モードにおいて、静止画を撮像するモード又は動画を撮像するモードのいずれかに設定される。静止画を撮像するモードでは、画像処理・制御部２は、例えば撮像素子４１から出力される電気信号を画像処理し、スルー画像を表示部６に表示する。動画を撮像するモードでは、画像処理・制御部２は、例えば絞りを開放状態とし、撮像素子４１から出力される電気信号を画像処理し、動画を表示部６に表示する。
【００７３】
画像処理・制御部２は、ステップＳ１０４において、例えば表示部６の画面内に表示している画像中から例えば自動車Ｍ等の主要被写体像の形状を認識し、かつ画像中における主要被写体像の存在する位置を認識する。例えば自動車Ｍ等の主要被写体像は、当該主要被写体像の特徴点や色から画像中での位置を認識できる。
【００７４】
画像処理・制御部２は、ステップＳ１０５において、画像中における主要被写体像の動きのパターンの予測、すなわち撮像部４の撮像により取得される画像データ中に含む主要被写体の形状変化を予測し、実際の主要被写体の形状変化が予測した主要被写体の形状変化と相違すると、この相違したタイミングに応動して少なくとも被写体像の静止画を撮像するモードに移行する。
【００７５】
具体的に、画像処理・制御部２は、画像データ中に含む主要被写体の位置の変化と、撮像装置１の本体の姿勢の変化と、主要被写体の形状の変化とに基づいて主要被写体の動きを予測する。  
例えば、画像処理・制御部２は、図１２に示すように撮像装置１の方位が時間の経過と共に一定の速度で変化することを予測ラインＦＬで予測する。実際の自動車Ｍ等の主要被写体の方位が予測ラインＦＬ上にあれば、実際の自動車Ｍ等の主要被写体が予測通りの方位の変化を示していることを表す。これに対して実際の自動車Ｍ等の主要被写体の方位が予測ラインＦＬ上から大きくずれていれば、実際の自動車Ｍ等の主要被写体が予測と異なる動きをしたことを表す。図１２に示す時間Ｔ０は、例えば２、３秒というオーダーであり、撮影者が動画撮影を開始して、被写体を順調に追うことを開始したかどうかを判定するための時間となっている。鑑賞者の目も、被写体が規則的に動いているかどうかは、この程度の継続時間がないと分からない。動画としては、規則性が乱れることを表現できないと面白みがない。
【００７６】
画像処理・制御部２は、図１３に示すように撮像装置１の加速度が時間の経過と共に急峻な変化して小さくなり安定することを予測ラインＧＬで予測する。実際の撮像装置１の加速度が予測ラインＧＬ上にあれば、実際の撮像装置１の加速度が予測通りの加速度の変化を示していることを表す。一方、実際の撮像装置１の加速度が予測ラインＧＬ上から大きくずれていれば、実際の撮像装置１の加速度が予測と異なる動きをしたことを表す。
【００７７】
画像処理・制御部２は、ステップＳ１０６において、図１２に示す撮像装置１の方位の予測と、図１３に示す撮像装置１の加速度の予測と、画像データ中に含む主要被写体の形状変化の予測とを用い、実際の撮像装置１の方位と、実際の撮像装置１の加速度と、実際の主要被写体の形状変化とのうちいずれかが予測よりも相違しているか否かを判定する。つまり、しばらく続いた（例えば、２、３秒以上続いた）規則的な動画撮影の条件から外れるかどうかでその後の動きが規則性を満たすか否かを予測する。  
この判定の結果、画像処理・制御部２は、例えば、図１４（ｂ）に示すように予測した自動車Ｍ等の主要被写体の動きと実際の自動車Ｍ等の主要被写体の動きとの差異がΔＸ１であり、同図（ｃ）では予測した自動車Ｍ等の主要被写体の動きと実際の自動車Ｍ等の主要被写体の動きとの差異がΔＸ２であり、それぞれ予測との差異が小さいと判定する。  
画像処理・制御部２は、図１４（ｄ）に示すように予測した自動車Ｍ等の主要被写体の動きと実際の自動車Ｍ等の主要被写体の動きとの差異、すなわち主要被写体の形状の変化が大きいと判定する。つまり、しばらく続いた（例えば、２、３秒以上続いた）規則的な動画撮影の条件を、ここでは形状変化として予測する。
【００７８】
このような判定の結果、実際の撮像装置１の方位と、実際の撮像装置１の加速度と、実際の主要被写体の形状変化とのうちいずれか１つの変化が予測に対して大きく差異があれば、画像処理・制御部２は、ステップＳ１０７において、静止画の撮影を開始し、ステップＳ１１５において、静止画の撮影を行う。又は、画像処理・制御部２は、同ステップＳ１０７において、動画静止画連写モードに移行し、被写体像を動画で撮像し、これと同時に被写体像の静止画を連写で撮像する。
【００７９】
画像処理・制御部２は、ステップＳ１１６において、トリミングを自動的に行う設定になっていれば、動画静止画連写モードにおいて取得した静止画中から被写体像に含む主要被写体像をトリミングする。このトリミングは、静止画中から例えば自動車Ｍ等の主要被写体像の特徴点や色から主要被写体像を検索し、この主要被写体像を含むようにトリミング範囲を設定する。例えば、画像処理・制御部２は、図１５（ｂ）に示すように静止画Ｋ中から例えば自動車Ｍ等の主要被写体像の特徴点や色から主要被写体像を検索し、この主要被写体像を含むようにトリミング範囲ＴＭを自動的に設定する。画像処理・制御部２は、ステップＳ１１７において、トリミング範囲ＴＭの画像を表示部６に表示する。なお、トリミング範囲ＴＭは、操作制御部９に対するユーザの操作によって手動により設定してもよい。  
このトリミングであれば、例えば自動車等の主要被写体像が静止画中の中央部に写っていなくても、自動車等の主要被写体像を含んでトリミングするので、自動車等の主要被写体像を中央部に写っている静止画を取得できる。
【００８０】
一方、実際の撮像装置１の方位と、実際の撮像装置１の加速度と、実際の主要被写体の形状変化とのうちいずれか１つの変化が予測に対して大きく差異がなければ、画像処理・制御部２は、ステップＳ１１１において、例えばレリーズボタンが押されたか否かを判定する。  
この判定の結果、レリーズボタンが押されていれば、画像処理・制御部２は、ステップＳ１１２において、静止画撮影又は動画撮影を実行し、これら撮像により取得された静止画又は動画を画像記録部７に記憶する。  
画像処理・制御部２は、ステップＳ１１３において、画像記録部７に記憶した静止画又は動画を表示部６に表示する。
【００８１】
上記ステップＳ１０２での判定の結果、撮影モードであれば、画像処理・制御部２は、ステップＳ１０２からステップＳ１２１に移り、再生モードに設定されているか否かを判定する。この判定の結果、再生モードに設定されていれば、画像処理・制御部２は、ステップＳ１２２において、画像記録部７に記憶した静止画又は動画を読み出し、これら静止画又は動画を表示部６に再生表示する。
【００８２】
画像処理・制御部２は、ステップＳ１２３において、表示部６に再生表示している静止画又は動画に対して変更処理、例えば図１５（ａ）（ｂ）（ｃ）に示すようなトリミングを行うか否かを判定する。トリミングを自動的に行う設定になっていれば、画像処理・制御部２は、ステップＳ１２４において、例えば画像処理・制御部２によって静止画Ｋ中から例えば自動車Ｍ等の主要被写体像の特徴点や色から主要被写体像を検索し、この主要被写体像を含むようにトリミング範囲ＴＭを自動的に設定し、このトリミング範囲ＴＭの画像を表示部６に表示する。なお、トリミング範囲ＴＭは、操作制御部９に対するユーザの操作によって手動により設定してもよい。
【００８３】
上記ステップＳ１２１での判定の結果、再生モードに設定されていなければ、画像処理・制御部２は、ステップＳ１２５において、例えば画像記録部７に記憶されている静止画又は動画を読み出し、これら静止画又は動画を送信するために他の機器との間で通信を行う。画像処理・制御部２は、他の機器との間で通信を行い、当該他の機器から静止画又は動画等の各種データを受け取ってもよい。
【００８４】
このように上記第２の実施の形態によれば、撮像部４の撮像により取得される画像データ中に含む自動車Ｍ等の主要被写体の形状変化をしばらく続いた規則的な動画撮影の条件から外れるかどうかで予測し、実際の主要被写体の形状変化が予測した主要被写体の形状変化と相違すると、この相違したときから少なくとも被写体像の静止画を撮像するモードに移行するので、上記第１の実施の形態と同様に、例えば、移動する主要被写体として運動会での子供のかけっこや、レースでの自動車の走行、野球やサッカー等のスポーツ選手の動き等を撮像するときに、これら移動する主要被写体に発生する予期しないハプニングの決定的なシーンを動画ばかりでなく、動画モードに比べて高精細な静止画を複数枚撮影することができる。この静止画は、１枚取得してもよいし、動画静止画連写モードにより複数枚連写で取得してもよい。
【００８５】
予測では、画像データ中に含む自動車Ｍ等の主要被写体の位置の変化と、撮像装置１の本体の姿勢の変化と、主要被写体の形状の変化とに基づいて主要被写体の動きを予測する、具体的に主要被写体の動きとして予測した方位、加速度又は画角のうち少なくとも１つと、主要被写体の実際の動きの方位、加速度又は画角のうち少なくとも１つとを対比するので、これら予測のうちいずれか１つでも予測が大きく異なると、被写体像の静止画を撮像するモード、例えば動画静止画連写モードに移行して静止画を撮像することができ、移動する主要被写体として例えば運動会での子供のかけっこや、レースでの自動車の走行、野球やサッカー等のスポーツ選手の動き等に発生するハプニングを確実に高精細な静止画で複数枚撮影できる。
【００８６】
動画静止画連写モードにおいて取得した静止画中から被写体像に含む主要被写体像をトリミングするので、移動する主要被写体像が静止画中の中央部に写っていなくても、移動する主要被写体像を含んでトリミングすることで、移動する主要被写体像を中央部に写っている静止画として取得できる。
【符号の説明】
【００８７】
１：撮像装置、２：画像処理・制御部、３：ズーム（ｚｏｏｍ）レンズ部、４：撮像部、５：メモリ部、６：表示部、７：画像記録部、８：音声処理部、９：操作制御部、１０：内蔵メモリ部、１１：ストロボ発光部、１２：加速度検出部、１３：姿勢検出部、１４：接触検出部、１５：撮影者状態監視部、３１：撮影レンズ、３２：レンズ制御部、４１：撮像素子、４２：撮像素子ドライバ、４３：タイミングジェネレータ（ＴＧ）、４４：アナログフロントエンド回路（ＡＦＥ）、２−１：画角判定部、２−２：画質評価部。
【図１】
0005945425.tif 000002
【図２】
0005945425.tif 000003
【図３】
0005945425.tif 000004
【図４】
0005945425.tif 000005
【図５】
0005945425.tif 000006
【図６】
0005945425.tif 000007
【図７】
0005945425.tif 000008
【図８】
0005945425.tif 000009
【図９】
0005945425.tif 000010
【図１０】
0005945425.tif 000011
【図１１】
0005945425.tif 000012
【図１２】
0005945425.tif 000013
【図１３】
0005945425.tif 000014
【図１４】
0005945425.tif 000015
【図１５】
0005945425.tif 000016
【図１６】
0005945425.tif 000017