(57)【要約】【課題】被写体等の動きを考慮してフレームから代替フレームを生成すること。【解決手段】画像処理装置は、フレームの撮像に代えて静止画が撮像されたタイミングを撮像期間内に含む動画を取得する画像取得部と、動画に含まれる複数のフレームのうち、静止画の前に撮像されたフレームおよび静止画の後に撮像されたフレームの少なくとも一方のフレームが撮像されたタイミングと、静止画が撮像されたタイミングとの間の被写体の動きを特定する動き特定部と、被写体の動きを用いて少なくとも一方のフレームを補正した補正画像を用いて、静止画を撮像することで撮像されなかったフレームを代替する代替フレームを生成するフレーム生成部と、を備える。【選択図】図２
2013098896.tif 000002
【特許請求の範囲】
【請求項１】
フレームの撮像に代えて静止画が撮像されたタイミングを撮像期間内に含む動画を取得する画像取得部と、
前記動画に含まれる複数のフレームのうち、前記静止画の前に撮像されたフレームおよび前記静止画の後に撮像されたフレームの少なくとも一方のフレームが撮像されたタイミングと、前記静止画が撮像されたタイミングとの間の被写体の動きを特定する動き特定部と、
前記被写体の動きを用いて前記少なくとも一方のフレームを補正した補正画像を用いて、前記静止画を撮像することで撮像されなかったフレームを代替する代替フレームを生成するフレーム生成部と、
を備える画像処理装置。
【請求項２】
前記動き特定部は、前記静止画の次に撮像されたフレームである後フレームを撮像したタイミングと、前記静止画が撮像されたタイミングとの間の被写体の動きを特定し、
前記フレーム生成部は、前記後フレームを補正した前記補正画像と前記静止画とを合成することにより、前記静止画を撮像したときの露光時間より長い露光時間に対応する前記代替フレームを生成する
請求項１に記載の画像処理装置。
【請求項３】
前記フレーム生成部は、前記補正画像と、前記動きを用いて前記静止画を補正した補正静止画とを合成することにより、前記代替フレームを生成する
請求項２に記載の画像処理装置。
【請求項４】
前記フレーム生成部は、前記補正画像と、前記補正静止画と、前記静止画とを合成することにより、前記代替フレームを生成する
請求項３に記載の画像処理装置。
【請求項５】
前記動き特定部は、前記後フレームと前記静止画との間における動きベクトルを特定し、
前記フレーム生成部は、前記後フレーム内のオブジェクトの位置を前記動きベクトルの向きにシフトさせて得られた前記補正画像と、前記静止画内の前記オブジェクトの位置を前記動きベクトルの向きとは逆向きにシフトさせた前記補正静止画と、前記静止画とを合成することにより、前記代替フレームを生成する
請求項４に記載の画像処理装置。
【請求項６】
前記フレーム生成部は、前記動きベクトル、前記静止画が撮像されたタイミングおよび露光時間、および前記フレームを撮像したタイミングおよび露光時間に基づいて、前記静止画を撮像したタイミングでフレームを撮像した場合に画像内で前記オブジェクトが占めるべき範囲を特定し、特定した範囲に前記オブジェクトが位置するようにシフトさせることにより、前記後フレームおよび前記静止画を補正する
請求項５に記載の画像処理装置。
【請求項７】
前記動き特定部は、前記静止画の前に撮像されたフレームである前フレームを撮像したタイミングと、前記静止画の次に撮像されたフレームである後フレームを撮像したタイミングとの間の被写体の動きを特定し、
前記フレーム生成部は、前記後フレームを補正した前記補正画像と、前記前フレームを補正した前記補正画像とを合成することにより、前記代替フレームを生成する
請求項１に記載の画像処理装置。
【請求項８】
前記静止画を撮像したときの撮像条件が、前記動画を撮像したときの撮像条件と異なる場合に、前記後フレームの少なくとも一部の領域の画像から得られた前記補正画像および前記前フレームの少なくとも一部の領域の画像から得られた前記補正画像を合成することにより、前記代替フレームを生成する
請求項７に記載の画像処理装置。
【請求項９】
前記撮像期間内のシーンチェンジを検出するシーンチェンジ検出部
をさらに備え、
前記フレーム生成部は、前記静止画の前に撮像されたフレームである前フレームを撮像したタイミングと前記静止画が撮像されたタイミングとの間で前記シーンチェンジが検出された場合に、前記静止画の後に撮像されたフレームである後フレームから前記補正画像を生成し、前記静止画が撮像されたタイミングと前記後フレームを撮像したタイミングとの間で前記シーンチェンジが検出された場合に、前記前フレームから前記補正画像を生成する
請求項１から８のいずれか一項に記載の画像処理装置。
【請求項１０】
前記動き特定部は、パンニング撮像することにより生じた動きを特定し、
前記フレーム生成部は、前記補正画像と前記静止画とを、前記動きに応じて異なる重みで合成することにより、前記代替フレームを生成する
請求項１から９のいずれか一項に記載の画像処理装置。
【請求項１１】
前記フレーム生成部は、前記動きが予め定められた値より小さい場合に、前記動きが予め定められた値以上である場合よりも、前記補正画像の合成の重みを小さくする
請求項１０に記載の画像処理装置。
【請求項１２】
前記動き特定部は、前記静止画と前記後フレームとの間におけるオブジェクトの大きさの拡大量を特定し、
前記フレーム生成部は、前記拡大量に応じて前記後フレームを縮小させた前記補正画像と、前記静止画と、前記拡大量に応じて前記静止画を拡大させた前記補正静止画とを合成することにより、前記代替フレームを生成する
請求項４に記載の画像処理装置。
【請求項１３】
前記動き特定部は、前記後フレームが撮像されたタイミングと前記静止画が撮像されたタイミングとの間における撮像倍率の増加量をさらに検出し、
をさらに備え、
前記フレーム生成部は、前記撮像倍率の増加量に応じてオブジェクトを縮小させた前記補正画像と、前記静止画と、前記増加に応じて静止画を拡大させた前記補正静止画とを合成することにより、前記代替フレームを生成する
請求項４に記載の画像処理装置。
【請求項１４】
フレームの撮像に代えて静止画が撮像されたタイミングを撮像期間内に含む動画を取得するステップと、
前記動画に含まれる複数のフレームのうち、前記静止画の前に撮像されたフレームおよび前記静止画の後に撮像されたフレームの少なくとも一方のフレームが撮像されたタイミングと、前記静止画が撮像されたタイミングとの間の被写体の動きを特定するステップと、
前記被写体の動きを用いて前記少なくとも一方のフレームを補正した補正画像を用いて、前記静止画を撮像することで撮像されなかったフレームを代替する代替フレームを生成するステップと
をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置およびプログラムに関する。
【背景技術】
【０００２】
静止画と動画の同時記録する画像を取り込む時に固体撮像素子の電子シャッタを通常よりも高速に設定するとともに、電子シャッタの設定に応じて、ＡＧＣゲイン制御とノイズリダクションのノイズ除去レベルを制御する技術が知られている（例えば、特許文献１参照）。
［先行技術文献］
［特許文献］
［特許文献１］特開２００６−５０３０８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００３】
静止画撮像時のシャッタ速度を高速にすることで、被写体のぶれが小さい静止画を撮像することができる。しかし、ぶれが小さい静止画を動画の代替フレームとして使用すると、鑑賞者の目には被写体の滑らかな動きに見えない場合がある。従来、被写体等の動きを考慮して、フレームから代替フレームを生成することができないという課題があった。
【課題を解決するための手段】
【０００４】
本発明の第１の態様においては、画像処理装置は、フレームの撮像に代えて静止画が撮像されたタイミングを撮像期間内に含む動画を取得する画像取得部と、動画に含まれる複数のフレームのうち、静止画の前に撮像されたフレームおよび静止画の後に撮像されたフレームの少なくとも一方のフレームが撮像されたタイミングと、静止画が撮像されたタイミングとの間の被写体の動きを特定する動き特定部と、被写体の動きを用いて少なくとも一方のフレームを補正した補正画像を用いて、静止画を撮像することで撮像されなかったフレームを代替する代替フレームを生成するフレーム生成部と、を備える。
【０００５】
本発明の第２の態様においては、プログラムは、フレームの撮像に代えて静止画が撮像されたタイミングを撮像期間内に含む動画を取得するステップと、動画に含まれる複数のフレームのうち、静止画の前に撮像されたフレームおよび静止画の後に撮像されたフレームの少なくとも一方のフレームが撮像されたタイミングと、静止画が撮像されたタイミングとの間の被写体の動きを特定するステップと、被写体の動きを用いて少なくとも一方のフレームを補正した補正画像を用いて、静止画を撮像することで撮像されなかったフレームを代替する代替フレームを生成するステップと、をコンピュータに実行させる。
【０００６】
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【図面の簡単な説明】
【０００７】
【図１】撮像装置１００のシステム構成図の一例を示す。
【図２】ＡＳＩＣ１３５が有する機能ブロック構成の一例を示す。
【図３】ＡＳＩＣ１３５における処理を模式的に示す。
【図４】ＡＳＩＣ１３５における処理を他の一例を模式的に示す。
【図５】ＡＳＩＣ１３５における処理の更なる他の一例を模式的に示す。
【図６】ＡＳＩＣ１３５における処理の更なる他の一例を模式的に示す。
【図７】撮像装置１００の起動から終了までの処理フローを示す。
【図８】動画撮像における動作フローの一例を示す。
【図９】代替フレームを生成する処理フローの一例を示す。
【発明を実施するための形態】
【０００８】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【０００９】
図１は、撮像装置１００のシステム構成図の一例を示す。撮像装置１００は、交換レンズ１２０およびカメラ本体１３０を備える。交換レンズ１２０は、レンズマウント接点１２１を有するレンズマウントを備え、カメラ本体１３０は、カメラマウント接点１３１を有するカメラマウントを備える。レンズマウントとカメラマウントが係合して交換レンズ１２０とカメラ本体１３０が一体化されると、レンズマウント接点１２１とカメラマウント接点１３１が接続される。撮像装置１００は、交換レンズ１２０とカメラ本体１３０とが一体化した状態で一眼レフカメラとして機能する。
【００１０】
被写体光は、光軸に沿って撮像光学系としてのレンズ群１２２を透過して、撮像部として機能する撮像素子１３２の受光面に結像する。レンズＭＰＵ１２３は、レンズマウント接点１２１およびカメラマウント接点１３１を介してカメラＭＰＵ１３３と接続され、相互に通信を実行しつつ協働して交換レンズ１２０とカメラ本体１３０を制御する。例えば、レンズＭＰＵ１２３は、カメラＭＰＵ１３３と協働して、画角内に設定された少なくとも１つの焦点調節領域の被写体に合焦するようレンズ群１２２の焦点調節を行う。例えば、レンズＭＰＵ１２３は、フォーカスレンズモータを制御して、レンズ群１２２を構成するフォーカスレンズ群を移動させる。これにより、レンズ群１２２の焦点調節が行われる。
【００１１】
メインミラー１５０は、レンズ群１２２を通過した被写体光束を反射する。メインミラー１５０は、レンズ群１２２の光軸を中心とする被写体光束中に斜設される斜設状態と、被写体光束から退避する退避状態を取り得る。メインミラー１５０が斜設状態にある場合、反射された被写体光束は光学ファインダ部１５６に導かれて、ユーザに観察される。ユーザは、光学ファインダ部１５６を通じて撮像の構図等を設定することができる。
【００１２】
斜設状態におけるメインミラー１５０の光軸近傍領域は、ハーフミラーとして形成されており、入射される被写体光束の一部が透過する。透過した被写体光束は、サブミラー１５１で反射されて、合焦センサ１４２へ導かれる。合焦センサ１４２は、被写体光束を受光する複数の光電変換素子列を有する。光電変換素子列は、合焦状態にある場合には位相が一致した信号を出力し、前ピン状態または後ピン状態にある場合には、位相ずれした信号を出力する。位相のずれ量は、焦点状態からのずれ量に対応する。合焦センサ１４２は、光電変換素子列の出力を相関演算することで位相差を検出して、位相差を示す位相差信号をカメラＭＰＵ１３３に出力する。
【００１３】
カメラＭＰＵ１３３等の制御により、合焦センサ１４２からの位相差信号に基づき、レンズ群１２２の焦点状態が調節される。例えば、カメラＭＰＵ１３３によって、位相差信号に基づきフォーカスレンズ群の目標位置が決定され、レンズＭＰＵ１２３の制御により、決定された目標位置に向けてフォーカスレンズの位置が制御される。このように、レンズ群１２２は、位相差検出方式で焦点状態が検出されて焦点調節が行われる。すなわち、メインミラー１５０がダウンし斜設状態にある場合、位相差検出方式で焦点状態を検出して焦点調節する。なお、合焦センサ１４２は、被写体像の特定の領域に対応してそれぞれ設けられ、複数の焦点調整領域のそれぞれにおいて焦点状態を調節することができる。
【００１４】
メインミラー１５０が被写体光束から退避すると、サブミラー１５１はメインミラー１５０に連動して被写体光束から退避する。メインミラー１５０が退避状態にある場合、レンズ群１２２を通過した被写体光束は、撮像素子１３２の受光面に入射する。撮像素子１３２は、レンズ群１２２を通過した被写体光束により被写体を撮像する。撮像素子１３２としては、例えばＣＭＯＳセンサ、ＣＣＤセンサ等の固体撮像素子を例示することができる。撮像素子１３２は、被写体光束を受光する複数の光電変換素子を有し、複数の光電変換素子でそれぞれ生じた蓄積電荷量に応じたアナログ信号を、画素信号としてＡ／Ｄ変換器１３４に順次に出力する。Ａ／Ｄ変換器１３４は、撮像素子１３２から出力されたアナログの画像信号をデジタルの画像信号に変換して画像データとして出力する。撮像素子１３２は、カメラＭＰＵ１３３からの指示を受けた駆動部１４０により駆動される。
【００１５】
Ａ／Ｄ変換器１３４が出力した画像データは、ＳＤＲＡＭ１３６に記憶される。ＳＤＲＡＭ１３６の少なくとも一部のメモリ領域は、撮像により生成された画像データを一時的に記憶するバッファ領域として使用される。撮像素子１３２が被写体光束で連続して撮像した場合、撮像により順次に生成される画像データはバッファ領域に順次に記憶される。例えば、被写体光束で連続して静止画を撮像することにより得られた複数の静止画の画像データが、バッファ領域に順次に記憶される。また、被写体光束で動画を撮像することにより得られた動画を構成する複数の画像の画像データが、バッファ領域に順次に記憶される。なお、動画を構成する画像の画像データを、特にフレームと呼ぶ場合がある。ＳＤＲＡＭ１３６は、動画を処理する場合にフレームを一時的に記憶するフレームメモリとしても機能する。
【００１６】
ＡＳＩＣ１３５は、ＳＤＲＡＭ１３６に記憶された画像データを順次処理する。ＡＳＩＣ１３５は、画像処理機能に関連する回路を一つにまとめた集積回路である。ＡＳＩＣ１３５は、画像処理装置の一部として機能する。ＡＳＩＣ１３５は、ＳＤＲＡＭ１３６の少なくとも一部のメモリ領域を画像処理用のワークエリアとして使用して画像処理を行う。ＡＳＩＣ１３５は、例えば、撮像素子１３２から出力されたベイヤ配列の離散的な画像データから、色補間処理により各画素で各色の色を持つ画像データを生成する。その他、ＡＳＩＣ１３５は、色補正、ガンマ補正、ホワイトバランス補正、輪郭強調処理等、予め定められた画像処理を行う。
【００１７】
また、ＡＳＩＣ１３５は、画像データを、規格化された画像フォーマットの画像データに変換して出力する。例えば、ＡＳＩＣ１３５は、静止画の画像データを、ＪＰＥＧ等の規格に準拠した符号化形式で符号化された静止画データを生成するための画像処理を行う。また、ＡＳＩＣ１３５は、複数のフレームを、Ｈ．２６４、ＭＰＥＧ２、Ｍｏｔｉｏｎ  Ｊｐｅｇ等の規格に準拠した符号化方式で符号化された動画データを生成するための画像処理を行う。カメラＭＰＵ１３３は、ＡＳＩＣ１３５によって生成された静止画データ、動画データ等の画像データを、不揮発性の記録媒体の一例としての外部メモリ１６０に転送して記録させる。外部メモリ１６０としては、例えばフラッシュメモリ等の半導体メモリを例示することができる。なお、カメラＭＰＵ１３３は、動画データ、静止画データ等の画像データを外部メモリ１６０に記録させる他、画像データをネットワーク等の伝送路に出力させてもよい。
【００１８】
ＡＳＩＣ１３５は、撮像時においては記録用の画像データの生成に並行して、表示用の画像データを生成する。ＡＳＩＣ１３５は、再生時においては外部メモリ１６０から画像データを読み出して表示用の画像データを生成する。生成された表示用の画像データは、表示制御部１３７の制御に従って表示画像信号に変換され、液晶ディスプレイ等の表示デバイスとしての表示部１３８に表示される。また、画像の表示と共に、もしくは画像を表示することなく、撮像装置１００の各種設定に関する様々なメニュー項目も、表示制御部１３７の制御により表示部１３８に表示することができる。カメラＭＰＵ１３３は、表示制御部１３７を制御して、メニュー項目を表示部１３８に表示させる。
【００１９】
撮像装置１００は、上記に説明した制御を含めて、カメラＭＰＵ１３３により直接的または間接的に制御される。システムメモリ１３９は、電気的に消去・記憶可能な不揮発性メモリであり、例えばフラッシュＲＯＭ等により構成される。システムメモリ１３９は、撮像装置１００の動作に必要な定数、変数等の制御用のパラメータ、プログラム等を、撮像装置１００の非動作時にも失われないように記憶している。カメラＭＰＵ１３３は、定数、変数、プログラム等をシステムメモリ１３９から適宜ＳＤＲＡＭ１３６に展開して、撮像装置１００の制御に利用する。カメラ本体１３０内の、ＡＳＩＣ１３５、ＳＤＲＡＭ１３６、システムメモリ１３９、表示制御部１３７、カメラＭＰＵ１３３、外部メモリ１６０は、バス等の接続インタフェース１４５により、相互に接続される。
【００２０】
操作入力部１４１は、ユーザ操作を受け付ける。操作入力部１４１は、電源ボタン、レリーズボタン、動画撮像ボタン、各種操作ボタン、表示部１３８に一体に実装されたタッチパネル等の部材を含む。カメラＭＰＵ１３３は、操作入力部１４１が操作されたことを検知して、操作に応じた動作を実行する。例えば、カメラＭＰＵ１３３は、レリーズボタンが操作された場合に、レリーズ動作を実行するよう撮像装置１００の各部を制御する。例えば、カメラＭＰＵ１３３は、撮像モードが連写撮像モードに設定されている場合、連続撮像の一例としての連写撮像を実行するよう撮像装置１００の各部を制御する。また、カメラＭＰＵ１３３は、動画撮像ボタンが操作された場合に、連続撮像の一例としての動画撮像を実行するよう撮像装置１００の各部を制御する。また、カメラＭＰＵ１３３は、表示部１３８に組み込まれたタッチパネルが操作された場合に、表示部１３８に表示されたメニュー項目および操作内容に応じた動作をするよう、撮像装置１００の各部を制御する。
【００２１】
カメラ本体１３０の各要素および外部メモリ１６０は、電源１７０から電力供給を受ける。電源１７０としては、カメラ本体１３０に対して着脱できる例えばリチウムイオン電池等の二次電池、系統電源等からの交流電力を直流電力に変換する電力変換部等を例示することができる。カメラＭＰＵ１３３は、電源の状態を検出して、電源の状態に応じて撮像装置１００の各部を制御する。例えば、カメラＭＰＵ１３３は、電源１７０が二次電池であるか否かを判断する。カメラＭＰＵ１３３は、電源１７０が二次電池であると判断した場合、二次電池の残存容量を検出して、残存容量に応じて撮像装置１００の各部を制御する。また、カメラＭＰＵ１３３は、電源１７０から撮像装置１００の各部への電力供給を制御する。なお、二次電池は電池の一例であり、電池とは、実質的に充電することができない非充電式の電池を含む。
【００２２】
図２は、ＡＳＩＣ１３５が有する機能ブロック構成の一例を示す。ここでは、ＡＳＩＣ１３５が有する機能ブロックのうち、主として画像処理に関する機能ブロックを取り上げて示す。ＡＳＩＣ１３５は、画像取得部２００、画像解析部２３０、フレーム生成部２６０、動画処理部２７０および静止画処理部２８０を有する。画像取得部２００は、フレーム取得部２１０および静止画取得部２２０を含む。画像解析部２３０は、動き特定部２４０およびシーンチェンジ検出部２５０を含む。
【００２３】
画像取得部２００は、フレームの撮像に代えて静止画が撮像されたタイミングを撮像期間内に含む動画を取得する。具体的には、フレーム取得部２１０が、動画に含まれる複数のフレームをＳＤＲＡＭ１３６から読み出す。動き特定部２４０は、動画に含まれる複数のフレームのうち、静止画の前に撮像されたフレームおよび静止画の後に撮像されたフレームの少なくとも一方のフレームが撮像されたタイミングと、静止画が撮像されたタイミングとの間の被写体の動きを特定する。フレーム生成部２６０は、被写体の動きを用いて少なくとも一方のフレームを補正した補正画像を用いて、静止画を撮像することで撮像されなかったフレームを代替する代替フレームを生成する。
【００２４】
例えば、動き特定部２４０は、静止画の次に撮像されたフレームである後フレームを撮像したタイミングと、静止画が撮像されたタイミングとの間の被写体の動きを特定する。具体的には、動き特定部２４０は、後フレームと静止画との間における動きベクトルを特定する。そして、フレーム生成部２６０は、後フレームを補正した補正画像と静止画とを合成することにより、静止画を撮像したときの露光時間より長い露光時間に対応する代替フレームを生成する。具体的には、フレーム生成部２６０は、補正画像と、動きを用いて静止画を補正した補正静止画とを合成することにより、代替フレームを生成する。
【００２５】
シーンチェンジ検出部２５０は、動画撮像期間内のシーンチェンジを検出する。シーンチェンジ検出部２５０は、静止画の前に撮像されたフレームである前フレームと静止画との間の画像の差分量、静止画と後フレームとの間の画像の差分量に基づいて、シーンチェンジを検出してよい。シーンチェンジ検出部２５０は、予め定められた値を超える差分量が検出された場合に、画像間でシーンチェンジが生じた旨を検出してよい。
【００２６】
フレーム生成部２６０は、静止画の前に撮像されたフレームである前フレームを撮像したタイミングと静止画が撮像されたタイミングとの間でシーンチェンジが検出された場合に、後フレームから補正画像を生成し、静止画が撮像されたタイミングと後フレームを撮像したタイミングとの間でシーンチェンジが検出された場合に、前フレームから補正画像を生成する。フレーム生成部２６０は、前フレームを撮像したタイミングと静止画が撮像されたタイミングとの間でシーンチェンジが検出され、静止画が撮像されたタイミングと後フレームを撮像したタイミングとの間でシーンチェンジが検出されなかった場合に、後フレームから補正画像を生成してよい。フレーム生成部２６０は、前フレームを撮像したタイミングと静止画が撮像されたタイミングとの間でシーンチェンジが検出されず、静止画が撮像されたタイミングと後フレームを撮像したタイミングとの間でシーンチェンジが検出された場合に、前フレームから補正画像を生成してよい。
【００２７】
動画処理部２７０は、フレーム取得部２１０が取得したフレームおよびフレーム生成部２６０が生成した代替フレームを、動画として画像処理する。例えば、動画処理部２７０は、フレーム内圧縮、フレーム間圧縮等の圧縮符号化を各フレームに施す。静止画処理部２８０は、静止画取得部２２０が取得した静止画を静止画として画像処理する。例えば、静止画処理部２８０は、ＪＰＥＧ等の圧縮符号化を静止画に施す。
【００２８】
図３は、ＡＳＩＣ１３５における処理を模式的に示す。本例において、フレーム３０１、静止画３０２、フレーム３０３の順で撮像されたとする。ここでは、時刻ｔ１とｔ２との間の時間長さは、時刻ｔ２と時刻ｔ３との間の時間長さに等しいとする。すなわち、時刻ｔ２からフレーム撮像用の露光時間Ｔ１で露光を開始することに替えて、静止画撮像用の露光時間Ｔ２で露光することにより静止画３０２が撮像される。
【００２９】
ここで、フレーム３０１のオブジェクト３１１、静止画３０２内のオブジェクト３１２、および、フレーム３０３のオブジェクト３１３は、撮像装置１００に対して動く被写体の像を示す。静止画撮像用の露光時間Ｔ２はフレーム撮像用の露光時間Ｔ１より短いため、オブジェクト３１２のぶれ幅は、オブジェクト３１１およびオブジェクト３１３のぶれ幅より小さい。したがって、静止画３０２をそのまま動画のフレームとすると、動画として再生した場合に、鑑賞者の目にはギクシャクした動きに見えてしまう。フレーム生成部２６０は、オブジェクト３１３のぶれ幅に近いぶれを持つ代替フレーム３７０を生成することで、動きが滑らかに見える動画を生成する。
【００３０】
本図において、符号３２０は、静止画３０２を撮像したタイミングにおいて、オブジェクトが占めるべき範囲に該当する。フレーム生成部２６０は、時刻ｔ３、露光時間Ｔ１およびフレーム３０３におけるぶれ幅と、時刻ｔ２、露光時間Ｔ２および静止画３０２におけるぶれ幅とに基づいて、オブジェクトが占めるべき範囲を決定してよい。フレーム生成部２６０は、時刻ｔ１およびフレーム３０１におけるぶれ幅をさらに考慮して、オブジェクトが占めるべき範囲を決定してもよい。そして、フレーム生成部２６０は、符号３２０で示したぶれ幅のオブジェクトを含むよう、フレーム３０３および静止画３０２を合成する。
【００３１】
具体的には、動き特定部２４０が、フレーム３０３および静止画３０２の間の動きベクトル３３０を算出する。図において、符号３３２は、オブジェクト３１２に対応する。フレーム生成部２６０は、動きベクトル３３０の方向に、オブジェクト３１３をシフトさせる。一例として、フレーム生成部２６０は、オブジェクト３１３の一部の領域を動きベクトル３３０の方向にシフトさせる。シフトさせる一部の領域は、オブジェクト３１３のぶれ方向の一端から、動きベクトル３３０の向きに沿って選択されてよい。本例では、静止画が撮像されたタイミングのオブジェクトの位置に最も近い左端から、動きベクトル３３０の方向の反対向きに沿って選択される。ここで、オブジェクト３１３から選択する領域の幅に関して、フレーム生成部２６０は、オブジェクト３１２の幅と符号３２０で示す幅との差が大きいほど、より長い幅の領域をオブジェクト３１３から選択してよい。
【００３２】
フレーム生成部２６０は、オブジェクト３１３から選択した一部の領域を、動きベクトル３３０の方向にシフトさせて、オブジェクト３５０を生成する。例えば、フレーム生成部２６０は、オブジェクト３５０の右端が符号３２０で示した右端の位置と一致するようにシフトさせる。また、フレーム生成部２６０は、静止画３０２からのオブジェクト３１２を、動きベクトル３３０の方向と逆向きの方向にシフトさせて、オブジェクト３４０を生成する。
【００３３】
フレーム生成部２６０は、静止画３０２と、オブジェクト３５０と、オブジェクト３４０とを重ね合わせることにより、代替フレーム３７０を生成する。代替フレーム３７０において、オブジェクト３８０は、オブジェクトの動きに対応するぶれを持つ。このため、代替フレーム３７０が生成された後に、動画処理部２７０が、フレーム３０１、代替フレーム３７０、フレーム３０３が順に表示される動画を生成することで、動きが滑らかに見える動画が生成される。
【００３４】
本図に関連して説明したように、フレーム生成部２６０は、後フレームから動きを補正した補正画像と、静止画における動きを補正した補正静止画と、静止画とを合成することにより、代替フレームを生成する。具体的には、フレーム生成部２６０は、後フレーム内のオブジェクトの位置を動きベクトルの向きにシフトさせて得られた補正画像と、静止画内のオブジェクトの位置を動きベクトルの向きとは逆向きにシフトさせた補正静止画と、静止画とを合成することにより、代替フレームを生成する。具体的には、フレーム生成部２６０は、動きベクトル、静止画が撮像されたタイミングおよび露光時間、およびフレームを撮像したタイミングおよび露光時間に基づいて、静止画を撮像したタイミングでフレームを撮像した場合に画像内でオブジェクトが占めるべき範囲を特定し、特定した範囲にオブジェクトが位置するようにシフトさせることにより、後フレームおよび静止画を補正する。
【００３５】
図４は、ＡＳＩＣ１３５における処理を他の一例を模式的に示す。ここでは主として、図３で説明した処理との相違点について説明する。本処理例では、フレーム３０３およびフレーム３０１を用いて代替フレーム４７０を生成する。
【００３６】
具体的には、動き特定部２４０が、フレーム３０３およびフレーム３０１の間の動きベクトル４３０を算出する。図において、符号４３２は、オブジェクト３１１に対応する。フレーム生成部２６０は、動きベクトル４３０の方向に、オブジェクト３１３をシフトさせる。図３に関連して説明した処理と同様に、フレーム生成部２６０は、オブジェクト３１３の一部の領域を動きベクトル４３０の方向にシフトさせる。フレーム生成部２６０は、オブジェクト３１３から選択した一部の領域を、動きベクトル４３０の方向にシフトさせて、オブジェクト４５０を生成する。例えば、フレーム生成部２６０は、オブジェクト４５０の右端が符号３２０で示した右端の位置と一致するようにシフトさせる。
【００３７】
また、フレーム生成部２６０は、フレーム３０１からのオブジェクト３１１から選択した一部の領域を、動きベクトル４３０の方向と逆向きの方向にシフトさせて、オブジェクト４４０を生成する。例えば、フレーム生成部２６０は、オブジェクト４４０の左端が符号３２０で示した左端の位置と一致するようにシフトさせる。
【００３８】
フレーム生成部２６０は、フレーム３０３と、フレーム３０１と、オブジェクト４５０と、オブジェクト４４０とを重ね合わせることにより、代替フレーム４７０を生成する。代替フレーム４７０において、オブジェクト４８０は、オブジェクトの動きに対応するぶれを持つ。このため、代替フレーム４７０が生成された後に、動画処理部２７０が、フレーム３０１、代替フレーム４７０、フレーム３０３が順に表示される動画を生成することで、動きが滑らかに見える動画が生成される。
【００３９】
なお、本例のように、フレーム３０３とフレーム３０１とでオブジェクトの領域が重複しない場合、フレーム生成部２６０は、フレーム３０１のうちオブジェクト３１３を除く領域と、フレーム３０３のうちオブジェクト３１１を除く領域と、オブジェクト４５０と、オブジェクト４４０とを重ね合わせることにより、代替フレーム４７０を生成してよい。これにより、代替フレーム４７０に背景の像を含めることができる。フレーム３０１およびフレーム３０３を、オブジェクトを除くことなく合成してもよい。
【００４０】
本図に関連して説明したように、動き特定部２４０は、静止画の前に撮像されたフレームである前フレームを撮像したタイミングと、静止画の次に撮像されたフレームである後フレームを撮像したタイミングとの間の被写体の動きを特定する。そして、フレーム生成部２６０は、後フレームを補正した補正画像と、前フレームを補正した補正画像とを合成することにより、代替フレームを生成する。
【００４１】
なお、本処理によれば、静止画３０２が撮像された前後のフレームを用いて、代替フレーム４７０を生成するので、静止画３０２の撮像条件が動画の撮像条件と大きく異なる場合でも、動画の撮像条件に適合した代替フレーム４７０を生成することができる。したがって、フレーム生成部２６０は、静止画を撮像したときの撮像条件が、動画を撮像したときの撮像条件と異なる場合に、後フレームの少なくとも一部の領域の画像から得られた補正画像および前フレームの少なくとも一部の領域の画像から得られた補正画像を合成することにより、代替フレームを生成してよい。ここでいう撮像条件には露光時間を含まない。また、撮像条件として、画素数を含まなくてもよい。例えば、ここでいう撮像条件とは、ホワイトバランス等のように、画像内容に顕著な変化をもたらす撮像条件であってよい。
【００４２】
図５は、ＡＳＩＣ１３５における処理の更なる他の一例を模式的に示す。ここでは主として、図３で説明した処理との相違点について説明する。本処理例では、フレーム３０３に替えて、フレーム３０１を用いて代替フレーム５７０を生成する。
【００４３】
具体的には、動き特定部２４０が、フレーム３０１および静止画３０２の間の動きベクトルを算出する。フレーム生成部２６０は、動きベクトルの方向に、オブジェクト３１１をシフトさせる。一例として、フレーム生成部２６０は、オブジェクト３１１の一部の領域を動きベクトルの方向にシフトさせる。図３に関連して説明した処理と同様に、フレーム生成部２６０は、オブジェクト３１１の一部の領域を動きベクトル４３０の方向にシフトさせて、オブジェクト５４０を生成する。なお、オブジェクト５５０の左端がオブジェクト３１２の左端より右側に位置する程度にシフトさせてよい。また、オブジェクト５５０の右端が符号３２０の範囲の右端より左側に位置する程度にシフトさせてよい。
【００４４】
また、フレーム生成部２６０は、静止画３０２からのオブジェクト３１２を、動きベクトルの方向にシフトさせて、オブジェクト５４０を生成する。ここで、オブジェクト５４０の右端が、符号３２０の右端と一致するように、オブジェクト３１２を動きベクトルの方向にシフトさせてよい。
【００４５】
フレーム生成部２６０は、静止画３０２と、オブジェクト５５０と、オブジェクト５４０とを重ね合わせることにより、代替フレーム３７０を生成する。代替フレーム５７０において、オブジェクト５８０は、オブジェクトの動きに対応するぶれを持つ。このため、代替フレーム５７０が生成された後に、動画処理部２７０が、フレーム３０１、代替フレーム５７０、フレーム３０３が順に表示される動画を生成することで、動きが滑らかに見える動画が生成される。
【００４６】
図３から図５に関連して、被写体が動いている場合の処理の一例を説明した。また、補正画像を生成する場合に、動きのあるオブジェクトをシフトさせるとして説明した。しかし、オブジェクトの動きに応じて、画像全体をシフトさせてもよい。また、動きを補正する対象となるオブジェクトとして、人物等の主被写体の像を適用してよい。主被写体は、ユーザが選択することによって特定されてよく、フレーム生成部２６０において人物検出等の画像認識処理に基づき特定されてよい。また、フレーム生成部２６０は、主被写体に対応するオブジェクト部分については、静止画に対するフレームの重みを小さくして合成してよい。合成におけるフレームの重みを低減することで、主被写体のオブジェクトに生じるゴーストを抑制することができる。主被写体が動いている場合、鑑賞者が主被写体のオブジェクトに注目することが予測されるが、合成におけるフレームの重みを低減することでゴーストを抑制することができるので、鑑賞者が感じる違和感を低減することが期待される。
【００４７】
また、被写体が動いている場合だけでなく、撮像装置１００でパンニングしながら動画および静止画を撮像した場合等のように、撮像装置１００が被写体に対して相対的に動いている場合にも、上述した処理を適用できる。なお、パンニングしながら動画および静止画を撮像した場合、画像領域全体を合成の対象としてよい。具体的には、画像領域全体を、上述したオブジェクトの領域として適用してよい。この場合、動き特定部２４０は、パンニング撮像することにより生じた動きを特定する。パンニング撮像により生じた動きは、画像認識により検出してもよいし、撮像装置１００に設けた加速度センサ等の出力に基づき特定してもよい。そして、フレーム生成部２６０は、補正画像と静止画とを、動きに応じて異なる重みで合成することにより、代替フレームを生成してよい。具体的には、フレーム生成部２６０は、動きが予め定められた値より小さい場合に、動きが予め定められた値以上である場合よりも、補正画像の合成の重みを小さくしてよい。例えば高速なパンニング速度で撮像した場合は、鑑賞者にとって画質が顕著に視認されにくいので、静止画とフレームとの重みを１：１で合成しても良い。しかし、比較液に低速なパンニング速度で撮像した場合は、重み１：１で合成するとゴーストが鑑賞者に見えやすくなる。しかし、フレームの重みを小さくすることで、ゴーストを見えにくくすることができる。このように、静止画およびフレームを用いて代替フレームを生成する場合、オブジェクトの動き速度を考慮して、オブジェクトの位置および合成の重みを制御することで、動画を観賞する鑑賞者が感じる違和感を低減することができる。
【００４８】
図６は、ＡＳＩＣ１３５における処理の更なる他の一例を模式的に示す。ここでは、ズーム倍率の変化により大きさが変化したオブジェクトを合成する場合について説明する。本例において、フレーム６０１、静止画６０２、フレーム６０３の順で撮像されたとする。時刻ｔ１〜ｔ３、露光時間Ｔ１および露光時間Ｔ２については図３等と同様であるので、説明を省略する。
【００４９】
ここで、フレーム６０１のオブジェクト６１１、静止画６０２内のオブジェクト６１２、および、フレーム６０３のオブジェクト６１３は、同一の被写体の像を示す。また、本図では、時間順にズーム倍率が増加した場合を例示する。ここではオブジェクトの大きさの変化を補正する処理について主として説明するため、オブジェクトのぶれについての図示を省略した。
【００５０】
ズーム倍率の変化を考慮して合成する場合、動き特定部２４０は、フレーム６０３および静止画６０２の間のオブジェクトの大きさの変化率を算出する。動き特定部２４０は、ズーム倍率の変化率を、オブジェクトの大きさの変化率として算出してよい。フレーム生成部２６０は、変化率に基づきフレーム６０３を縮小することにより、補正フレーム６５０を生成する。また、フレーム生成部２６０は、変化率に基づき静止画６０２の画像領域６２２を拡大することにより、補正静止画６４０を生成する。ここで、フレーム生成部２６０は、オブジェクト６４２の大きさよりオブジェクト６５２の大きさが大きくなるよう、フレーム６０３の縮小率および静止画６０２の拡大率の少なくとも一方を決定する。
【００５１】
フレーム生成部２６０は、静止画６０２、補正静止画６４０および補正フレーム６５０を重ね合わせることで、代替フレーム６７０を生成する。代替フレーム６７０において、オブジェクト６６０は、ズーム倍率の変化に対応するぶれを持つ。このため、代替フレーム６７０が生成された後に、動画処理部２７０が、フレーム６０１、代替フレーム６７０、フレーム６０３が順に表示される動画を生成することで、オブジェクトの大きさが滑らかに変化するように見える動画が生成される。
【００５２】
なお、本図では、ズーム倍率が増加した場合の処理について説明したが、ズーム倍率が減少した場合にも、静止画に対する拡大処理に替えて縮小処理を適用し、後フレームに対する縮小処理に替えて拡大処理を適用することで、同様の処理を適用できる。同様に、前フレームおよび静止画を使用して代替フレームを生成することもできる。また、後フレームおよび前フレームを使用して代替フレームを生成することもできる。
【００５３】
以上に説明したように、ズーム倍率の変化によるオブジェクトの大きさが変化する場合、動き特定部２４０は、後フレームが撮像されたタイミングと静止画が撮像されたタイミングとの間における撮像倍率の増加量を検出する。そして、フレーム生成部２６０は、撮像倍率の増加量に応じてオブジェクトを縮小させた補正画像と、静止画と、増加に応じて静止画を拡大させた補正静止画とを合成することにより、代替フレームを生成する。
【００５４】
本図においては、ズーム倍率の変化によりオブジェクトの大きさが変化するとして説明した。しかし、撮像装置１００による撮像中に、被写体が撮像装置１００に近づく方向の動きをした場合も、オブジェクトの大きさが変化する。この場合でも、本図に関連して説明した処理と同様の処理を適用できる。なお、撮像装置１００に対して被写体が相対的に動く場合は、オブジェクトの背景の画像は変化しない場合がある。このため、本図に関連して説明したフレーム等の拡大処理および縮小処理を、オブジェクトの領域に限定して適用してもよい。
【００５５】
すなわち、オブジェクトの大きさの変化を補正する場合、動き特定部２４０は、静止画と後フレームとの間におけるオブジェクトの大きさの拡大量を特定する。拡大量とは、拡大率だけでなく縮小率を含む概念である。拡大量は、画像間で対応するオブジェクトの大きさの比から算出できる。また、ズーム倍率が変化した場合は、ズーム倍率の値から拡大量を算出できる。そして、フレーム生成部２６０は、拡大量に応じて後フレームを縮小させた補正画像と、静止画と、拡大量に応じて静止画を拡大させた補正静止画とを合成することにより、代替フレームを生成する。
【００５６】
図７は、撮像装置１００の起動から終了までの処理フローを示す。本フローは、例えば操作入力部１４１の一部としての電源ボタンが押し込まれた場合に、開始される。本フローは、カメラＭＰＵ１３３が主体となって撮像装置１００の各部を制御することにより実行される。
【００５７】
ステップＳ７００において、カメラＭＰＵ１３３は、初期設定を開始する。例えば、カメラＭＰＵ１３３は、撮像装置１００を制御するための各種パラメータ等を、システムメモリ１３９からＳＤＲＡＭ１３６に展開する。また、カメラＭＰＵ１３３は、例えば操作入力部１４１の一部としての撮像モードボタン等の状態、および、展開された各種パラメータに基づき、撮像装置１００の各部の動作条件を設定する。例えば、カメラＭＰＵ１３３は、撮像モードボタンの位置に応じて、撮像モードを設定する。撮像モードとしては、人物撮像に適した人物撮像モード、動物撮像に適した動物撮像モード、風景撮像に適した風景撮像モード等を例示することができる。動作条件としては、撮像モードの他、シャッタ速度、撮像感度、ホワイトバランス等の画像処理条件を含む撮像条件、ビットレート等の圧縮条件、記録画素数等の記録条件等を例示することができる。撮像条件とは、動画用の撮像条件と、動画用の撮像条件とは異なる静止画用の撮像条件を含んでよい。
【００５８】
続いて、ステップＳ７０２において、初期設定で設定した動作条件を表示部１３８に表示する。例えば、カメラＭＰＵ１３３は、設定した動作条件を、アイコン表示等の種々の形式で表示部１３８に表示させる。
【００５９】
続いて、ステップＳ７０４において、カメラＭＰＵ１３３は、操作入力部１４１に対するユーザ指示を特定する。ユーザ指示が諸設定を実行する指示である場合、カメラＭＰＵ１３３が主体となって、指示された設定処理を行う（ステップＳ７０６）。設定処理としては、撮像モード、撮像条件、圧縮条件、記録条件を設定する処理等を例示することができる。また、設定処理として、動画用の撮像条件および静止画用の撮像条件を設定する処理を含んでよい。
【００６０】
ステップＳ７０４において、ユーザ指示が撮像実行に関する指示であると判断された場合、撮像実行に関する処理を行う（ステップＳ７１２）。撮像実行に関する指示としては、ライブビューボタン、動画撮像ボタン、レリーズボタンに対する操作等を例示することができる。ステップＳ７０４におけるユーザ指示が画像の再生を実行する指示である場合、再生処理を実行する（ステップＳ７２２）。再生処理としては、外部メモリ１６０に記録された静止画、動画等の画像をサムネイル表示する処理、ユーザにより指示された画像を表示する処理等を例示することができる。
【００６１】
ステップＳ７０４においてユーザ指示がない場合は、環境光を測光する測光処理を行う（ステップＳ７３２）。例えば、環境光の測光結果に基づき適正露出値を決定する。本測光処理は一定の時間間隔で実行され、現在の適正露出値が決定される。ステップＳ７３２で決定した現在の露出値を示す情報は、表示部１３８にリアルタイムに表示され、ユーザに提示される。
【００６２】
ステップＳ７０６、ステップＳ７１２、ステップＳ７２２、ステップＳ７３２の処理が完了すると、ステップＳ７０８に進み、電源をＯＦＦするか否かを判断する。例えば、電源ボタンが再度押し込まれた場合や、撮像装置１００が動作を開始してから予め定められた期間、ユーザ指示が無い状態が継続した場合等に、電源をＯＦＦすると判断する。電源をＯＦＦすると判断した場合は本フローを終了し、電源をＯＦＦしないと判断した場合はステップＳ７０４に処理を移行させる。
【００６３】
図８は、動画撮像における動作フローの一例を示す。本例では、ステップＳ７１２の一部の処理として、動画撮像が指示された場合の動作フローを示す。例えば、本フローは、動画撮像ボタンが押し込まれた場合に、開始される。
【００６４】
本フローが開始すると、動画用の撮像条件を設定し（ステップＳ８０２）、フレームを撮像する（ステップＳ８０４）。続いて、動画処理部２７０は、動画用の撮像条件に従って、撮像したフレームに動画用の画像処理を施す（ステップＳ８０６）。そして、カメラＭＰＵ１３３は、レリーズボタンが押し下げられたか否かを判断する（ステップＳ８０８）。レリーズボタンが押し下げられていない場合は、ステップＳ８０４に処理を移行し、次のフレームの撮像を行う。レリーズボタンが押し下げられた場合は、フレームの撮像に代えた静止画の撮像を行う。
【００６５】
具体的には、静止画用の撮像条件を設定し（ステップＳ８１０）、静止画を撮像する（ステップＳ８１２）。例えば、撮像素子１３２の蓄積電荷のリセットから読み出しまでの時間長さをフレーム撮像時とは異ならせることで、フレーム撮像時とはシャッタ速度を切り替えて静止画を撮像する。撮像された静止画は、ＳＤＲＡＭ１３６に保持される（ステップＳ８１４）。
【００６６】
続いて、ステップＳ８１６において、フレーム生成部２６０は、フレーム変換用の画像処理を静止画に適用して、代替フレームの生成に用いる静止画を生成する（ステップＳ８１６）。本画像処理としては、フレームのシャッタ速度と、静止画のシャッタ速度を考慮した画像処理を例示することができる。例えば、静止画撮像用のシャッタ速度が１／１２０秒であり、フレーム撮像用のシャッタ速度が１／３０秒である場合、４倍のゲインを静止画に適用する。また、ゲインを高めることで生じるノイズを抑制するために、強い強度のノイズ除去処理を静止画に適用する。また、静止画とフレームとで画素数が異なる場合、フレーム変換用の画像処理として、フレームの画素数に変換する画素数変換処理等を含んでよい。
【００６７】
続いて、後フレームの撮像に進む。具体的には、動画用の撮像条件を設定して（ステップＳ８１８）、フレームを撮像し（ステップＳ８２０）、得られたフレームに対して、フレーム用の画像処理を適用する（ステップＳ８２２）。そして、フレーム生成部２６０は、代替フレームを生成する処理を行う（ステップＳ８２４）。本処理の詳細については後述する。
【００６８】
続いて、ステップＳ８２６において、動画の撮像を終了するか否かを判断する。例えば、カメラＭＰＵ１３３は、動画撮影ボタンが再度押し込まれた場合に、動画の撮像を終了すると判断する。動画の撮像を終了しない場合、ステップＳ８０８に処理を移行して、動画または静止画の撮像を続ける。
【００６９】
動画の撮像を終了する場合、静止画処理部２８０は、ＳＤＲＡＭ１３６に保持された静止画に静止画用の画像処理を施して（ステップＳ８２８）、記録用の静止画データを生成する。静止画用の画像処理としては、ＪＰＥＧ符号化等の予め定められた静止画用の符号化処理を含む。また、動画処理部２７０は、撮像されたフレームおよびステップＳ８２４で生成された代替フレーム含む複数のフレームに対して、動画用の画像処理を行い（ステップＳ８３０）、記録用の動画データを生成する。動画用の画像処理としては、ＭＰＥＧ符号化等の動画用の符号化処理を含む。続いて、カメラＭＰＵ１３３は、記録用の静止画データおよび記録用の動画データを、外部メモリ１６０に転送して記録し（ステップＳ８３２）、本フローを終了する。
【００７０】
なお、本図の例では、代替フレームの生成に静止画を使用する場合の撮像フローを例示した。しかし、代替フレームの生成に静止画を使用しない旨が設定されている場合は、静止画の撮像にメカニカルシャッタを用いても良い。この場合、静止画におけるいわゆるローリング歪みを抑制することが出来る。
【００７１】
図９は、代替フレームを生成する処理フローの一例を示す。具体的には、図８のステップＳ８２４の詳細な処理フローである。
【００７２】
本フローが開始すると、ステップＳ９０２において、フレーム生成部２６０は、静止画と後フレームとの間でシーンチェンジが生じたか否かを判断する。具体的には、シーンチェンジ検出部２５０は、静止画と後フレームとの間の画像の差分を算出して、差分量が予め定められた値を超えた場合に、シーンチェンジを検出してよい。
【００７３】
シーンチェンジが生じていないと判断された場合、フレーム生成部２６０は、静止画用の撮像条件と動画用の撮像条件とが大きく異なるか否かを判断する（ステップＳ９０６）。静止画用の撮像条件と動画用の撮像条件とが大きく異なる場合、フレーム生成部２６０は、前フレームおよび後フレームを、代替フレームの生成に用いる画像として選択する。静止画用の撮像条件と動画用の撮像条件とが大きく異ならない場合、フレーム生成部２６０は、後フレームおよび静止画を、代替フレームの生成に用いる画像として選択する。
【００７４】
ステップＳ９０２の判断において、シーンチェンジが生じていると判断された場合、フレーム生成部２６０は、前フレームおよび静止画を、代替フレームの生成に用いる画像として選択する（ステップＳ９０４）。
【００７５】
ステップＳ９０４、ステップＳ９０８またはステップＳ９１０の処理が完了すると、動き特定部２４０は、代替フレームの生成用に選択された画像から、動きベクトルを検出する（ステップＳ９１２）。そして、フレーム生成部２６０は、動きベクトルを用いて動きを補正した補正画像を生成する（ステップＳ９１４）。そしてフレーム生成部２６０は、補正画像を含む代替フレーム生成用の画像を合成することにより、代替フレームを生成する（ステップＳ９１６）。ステップＳ９１４およびステップＳ９１６の処理については、図３から図５等に関連して説明した処理を適用できる。生成された代替フレームがＳＤＲＡＭ１３６に記憶されると（ステップＳ９１８）、本フローを終了する。なお、本フローのステップＳ９１２では、動きベクトルを被写体の動きとして検出するとして説明したが、図６に関連したように、オブジェクトの拡大量を検出してもよい。
【００７６】
以上に説明した撮像装置１００の動作および処理によれば、動画撮像中に撮像した静止画の画質を保持しつつ、静止画と前後のフレームとの間でのシャッタ速度の違いを考慮して、代替フレームを生成することができる。このため、動きが滑らかに見える動画を提供することができ、動画を鑑賞する観賞者の違和感を軽減することができる。
【００７７】
上記の説明において、カメラＭＰＵ１３３の動作として説明した処理は、カメラＭＰＵ１３３がプログラムに従って撮像装置１００が有する各ハードウェアを制御することにより実現される。また、上記の説明においてＡＳＩＣ１３５により実現される処理は、プロセッサによって実現することができる。例えば、ＡＳＩＣ１３５の動作として説明した処理は、プロセッサがプログラムに従って撮像装置１００が有する各ハードウェアを制御することにより実現される。すなわち、本実施形態の撮像装置１００に関連して説明した処理は、プロセッサがプログラムに従って動作して各ハードウェアを制御することにより、プロセッサ、メモリ等を含む各ハードウェアとプログラムとが協働して動作することにより実現することができる。すなわち、当該処理を、いわゆるコンピュータ装置によって実現することができる。コンピュータ装置は、上述した処理の実行を制御するプログラムをロードして、読み込んだプログラムに従って動作して、当該処理を実行してよい。コンピュータ装置は、当該プログラムを記憶しているコンピュータ読取可能な記録媒体から当該プログラムをロードすることができる。
【００７８】
本実施形態において、一眼レフカメラとしての撮像装置１００の機能および動作を説明した。撮像装置としては、一眼レフカメラの他に、ミラーレス一眼カメラ、コンパクトデジタルカメラ、ビデオカメラ、放送用の撮像機器、撮像機能付きの携帯電話機、撮像機能付きの携帯情報端末、撮像機能付きのゲーム機器等の娯楽装置等、撮像機能を有する種々の機器を適用の対象とすることができる。また、出力形態についても、動画、静止画等の画像データを記録媒体に記録するだけでなく、ネットワーク等の種々の伝送路に画像データを出力する機器等を、適用の対象とすることができる。また、撮像装置１００に限らず、パーソナルコンピュータ、放送用の映像機器、テレビジョン装置、映像機器等の、対象となる画像データを取り込んで画像処理を施す電子機器を、適用の対象とすることができる。
【００７９】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【００８０】
特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
【符号の説明】
【００８１】
１００  撮像装置、１２０  交換レンズ、１２１  レンズマウント接点、１２２  レンズ群、１２３  レンズＭＰＵ、１３０  カメラ本体、１３１  カメラマウント接点、１３２  撮像素子、１３３  カメラＭＰＵ、１３４  Ａ／Ｄ変換器、１３５  ＡＳＩＣ、１３６  ＳＤＲＡＭ、１３７  表示制御部、１３８  表示部、１３９  システムメモリ、１４０  駆動部、１４１  操作入力部、１４２  合焦センサ、１４５  接続インタフェース、１５０  メインミラー、１５１  サブミラー、１５６  光学ファインダ部、１６０  外部メモリ、１７０  電源
【図１】
2013098896.tif 000003
【図２】
2013098896.tif 000004
【図３】
2013098896.tif 000005
【図４】
2013098896.tif 000006
【図５】
2013098896.tif 000007
【図６】
2013098896.tif 000008
【図７】
2013098896.tif 000009
【図８】
2013098896.tif 000010
【図９】
2013098896.tif 000011