(57)【要約】【課題】  動画像および静止画像の再生をいずれも好ましい状態で行うことを可能とする手段を提供する。【解決手段】  画像処理装置は、データ読込部と、画像処理部と、表示出力部と、制御部とを備える。データ読込部は、各々が時間軸方向に連続する複数の画像のデータを読み込む。画像処理部は、複数の画像から選択される対象画像に対して時間軸方向に異なる少なくとも１以上の被加算画像を加算して合成画像を生成する。表示出力部は、連写画像および合成画像の少なくとも一方を時系列に沿って表示装置に再生表示させる。制御部は、再生表示での画像の再生方向および画像の再生速度の少なくとも一方に基づいて、再生表示で用いる画像を変化させる。【選択図】  図１
2010021708.tif 000002
【特許請求の範囲】
【請求項１】
各々が時間軸方向に連続する複数の画像のデータを読み込むデータ読込部と、
前記複数の画像から選択される対象画像に対して時間軸方向に異なる少なくとも１以上の被加算画像を加算して合成画像を生成する画像処理部と、
前記画像および前記合成画像の少なくとも一方を時系列に沿って表示装置に再生表示させる表示出力部と、
前記再生表示での画像の再生方向および画像の再生速度の少なくとも一方に基づいて、前記再生表示で用いる画像を変化させる制御部と、
を備えることを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記制御部は、前記再生方向が順方向の場合には前記合成画像を前記再生表示で用いるとともに、前記再生方向が逆方向の場合には前記被加算画像を加算しない画像を前記再生表示で用いることを特徴とする画像処理装置。
【請求項３】
請求項１に記載の画像処理装置において、
前記制御部は、前記再生方向が順方向の場合には、前記対象画像に対して時間軸方向に前の被加算画像を加算した前記合成画像を前記再生表示で用いるとともに、前記再生方向が逆方向の場合には、前記対象画像に対して時間軸方向に後の被加算画像を加算した前記合成画像を前記再生表示で用いることを特徴とする画像処理装置。
【請求項４】
請求項１に記載の画像処理装置において、
前記制御部は、前記再生表示で用いる前記合成画像について、前記再生速度が大きくなるほど、前記対象画像に対する前記被加算画像の加算比率を高く設定することを特徴とする画像処理装置。
【請求項５】
請求項１に記載の画像処理装置において、
前記制御部は、前記再生表示で用いる前記合成画像について、前記再生速度が大きくなるほど、前記被加算画像の加算フレーム数を多く設定することを特徴とする画像処理装置。
【請求項６】
撮影画面内の被写体の画像を撮像して動画像のデータを生成する撮像部と、前記動画像の各フレームにおいて前記撮影画面内の複数位置でのデフォーカス量をそれぞれ取得する焦点検出部と、を備えたカメラに関して、該カメラのデータを処理する画像処理装置であって、
前記動画像のデータと、前記動画像の各フレーム毎における前記デフォーカス量のデータとを読み込むデータ読込部と、
前記動画像の各フレームのうち、複数位置での前記デフォーカス量の大きさが閾値以上となる画像を除外して、前記動画像における代表画像の候補フレームを抽出する画像抽出部と、
を備えることを特徴とする画像処理装置。
【請求項７】
撮影画面内の被写体の画像を撮像して動画像のデータを生成する撮像部と、
前記動画像の各フレームにおいて前記撮影画面内の複数位置でのデフォーカス量をそれぞれ取得する焦点検出部と、
前記動画像の撮影中に静止画像の生成指示を受け付ける操作部と、
複数位置での前記デフォーカス量の大きさが閾値以上となるときに、前記静止画像の生成を禁止する制御部と、
を備えることを特徴とする撮像装置。
【請求項８】
撮影時の鉛直方向を示す姿勢情報が各フレーム毎に対応付けされた動画像のデータを読み込むデータ読込部と、
前記動画像を表示装置に再生表示させる表示出力部と、
前記動画像の再生時に任意のフレームを静止表示させる指示を受け付ける操作部と、
前記動画像の先頭フレームの前記姿勢情報に基づいて前記動画像の再生時における画像の向きを設定するとともに、前記静止表示されるフレームの前記姿勢情報に基づいて前記静止表示における画像の向きを設定する制御部と、
を備えることを特徴とする画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、再生に適した画像を生成するための画像処理技術に関する。
【背景技術】
【０００２】
従来から、動画撮影および静止画撮影の機能を有する撮像装置が知られている。例えば、特許文献１には、動画撮影中に静止画撮影を行う撮像装置の一例が開示されている。
【特許文献１】特開２００１−１１１９３４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
ところで、静止画像および動画像の鑑賞では各々で好ましい画像が相違する。例えば、静止画の鑑賞では像流れのない鮮明な画像が好まれる一方で、動画再生時には像流れのある画像の方が動きに流れが生じるので好ましい。そのため、動画像および静止画像の再生をいずれも好ましい状態で行うことは比較的困難であって、その改善がなお要望されていた。
【０００４】
また、フレーム間で撮影姿勢が変化する動画像では、動画再生時と静止画再生時とでは画像表示の向きが異なる方が好ましい。
【０００５】
さらに、動画の撮影中に静止画を取得する場合や動画像から静止画を抽出する場合には、被写体像が鮮明な静止画を取得できるようにすることが要望されている。
【０００６】
本発明は、上記従来技術のいずれかの課題を解決するものである。本発明の一の目的は、動画像および静止画像の再生をいずれも好ましい状態で行うことを可能とする手段を提供することにある。
【０００７】
また、本発明の他の目的は、動画の撮影中に静止画を取得する場合や動画像から静止画を抽出する場合において、被写体像が鮮明な静止画を取得できる手段を提供することにある。
【課題を解決するための手段】
【０００８】
第１の形態に係る画像処理装置は、データ読込部と、画像処理部と、表示出力部と、制御部とを備える。データ読込部は、各々が時間軸方向に連続する複数の画像のデータを読み込む。画像処理部は、複数の画像から選択される対象画像に対して時間軸方向に異なる少なくとも１以上の被加算画像を加算して合成画像を生成する。表示出力部は、画像および合成画像の少なくとも一方を時系列に沿って表示装置に再生表示させる。制御部は、再生表示での画像の再生方向および画像の再生速度の少なくとも一方に基づいて、再生表示で用いる画像を変化させる。
【０００９】
上記の第１の形態において、制御部は、再生方向が順方向の場合には合成画像を再生表示で用いるとともに、再生方向が逆方向の場合には被加算画像を加算しない画像を再生表示で用いてもよい。
【００１０】
上記の第１の形態において、制御部は、再生方向が順方向の場合には、対象画像に対して時間軸方向に前の被加算画像を加算した合成画像を再生表示で用いるとともに、再生方向が逆方向の場合には、対象画像に対して時間軸方向に後の被加算画像を加算した合成画像を再生表示で用いてもよい。
【００１１】
上記の第１の形態において、制御部は、再生表示で用いる合成画像について、再生速度が大きくなるほど、対象画像に対する被加算画像の加算比率を高く設定してもよい。
【００１２】
上記の第１の形態において、制御部は、再生表示で用いる合成画像について、再生速度が大きくなるほど、被加算画像の加算フレーム数を多く設定してもよい。
【００１３】
第２の形態に係る画像処理装置は、撮影画面内の被写体の画像を撮像して動画像のデータを生成する撮像部と、動画像の各フレームにおいて撮影画面内の複数位置でのデフォーカス量をそれぞれ取得する焦点検出部と、を備えたカメラに関して、該カメラのデータを処理するものである。この画像処理装置は、データ読込部と、画像抽出部とを備える。データ読込部は、動画像のデータと、動画像の各フレーム毎におけるデフォーカス量のデータとを読み込む。画像抽出部は、動画像の各フレームのうち、複数位置でのデフォーカス量の大きさが閾値以上となる画像を除外して、動画像における代表画像の候補フレームを抽出する。
【００１４】
第３の形態に係る撮像装置は、撮像部と、焦点検出部と、操作部と、制御部とを備える。撮像部は、撮影画面内の被写体の画像を撮像して動画像のデータを生成する。焦点検出部は、動画像の各フレームにおいて撮影画面内の複数位置でのデフォーカス量をそれぞれ取得する。操作部は、動画像の撮影中に静止画像の生成指示を受け付ける。制御部は、複数位置でのデフォーカス量の大きさが閾値以上となるときに、静止画像の生成を禁止する。
【００１５】
第４の形態に係る画像処理装置は、データ読込部と、表示出力部と、操作部と、制御部とを備える。データ読込部は、撮影時の鉛直方向を示す姿勢情報が各フレーム毎に対応付けされた動画像のデータを読み込む。表示出力部は、動画像を表示装置に再生表示させる。操作部は、動画像の再生時に任意のフレームを静止表示させる指示を受け付ける。制御部は、動画像の先頭フレームの姿勢情報に基づいて動画像の再生時における画像の向きを設定するとともに、静止表示されるフレームの姿勢情報に基づいて静止表示における画像の向きを設定する。
【発明の効果】
【００１６】
本発明の第１の形態では、時系列に沿って画像を再生表示するときに、画像の再生方向または画像の再生速度に応じて再生表示で用いる画像を変化させることで、好ましい動画再生が可能となる。
【００１７】
本発明の第２の形態および第３の形態では、動画の撮影中に静止画を取得する場合や動画像から静止画を抽出する場合において、デフォーカス量の大きさに基づいて被写体像が鮮明な静止画を取得できる。
【００１８】
本発明の第４の形態では、各フレームの姿勢情報に基づいて動画再生時と静止画再生時とで画像の向きを変化させることで、好ましい状態での画像再生が可能となる。
【発明を実施するための最良の形態】
【００１９】
＜第１実施形態の説明＞
図１は第１実施形態の電子カメラの構成を示すブロック図である。電子カメラは、撮像光学系１１と、レンズ駆動部１２と、撮像素子１３と、撮像素子駆動回路１４と、信号処理回路１５と、データ処理回路１６と、第１メモリ１７と、表示制御回路１８およびモニタ１９と、圧縮／伸長回路２０と、記録Ｉ／Ｆ（インターフェース）２１と、通信Ｉ／Ｆ（インターフェース）２２と、操作部材２３と、レリーズ釦２４と、振動センサ２５と、第２メモリ２６と、制御回路２７およびバス２８とを有している。
【００２０】
ここで、データ処理回路１６、第１メモリ１７、圧縮／伸長回路２０、第２メモリ２６および制御回路２７はそれぞれバス２８を介して相互に接続されている。また、レンズ駆動部１２、撮像素子駆動回路１４、信号処理回路１５、表示制御回路１８、記録Ｉ／Ｆ２１、通信Ｉ／Ｆ２２、操作部材２３、レリーズ釦２４、振動センサ２５は、それぞれ制御回路２７と接続されている（なお、図１では、信号処理回路１５および表示制御回路１８と制御回路２７との間を結ぶ信号線の図示は簡単のため省略する）。
【００２１】
撮像光学系１１は、ズームレンズやフォーカシングレンズを含む複数のレンズ群で構成されており、撮像素子１３の撮像面上に被写体像を結像させる役目を果たす。なお、簡単のため、図１では撮像光学系１１を１枚のレンズとして図示する。
【００２２】
撮像光学系１１の各々のレンズ位置は、レンズ駆動部１２によって光軸方向に調整される。このレンズ駆動部１２はレンズ駆動機構を含み、制御回路２７からのレンズ駆動指令に応じてレンズ位置を調整する。例えば、レンズ駆動部１２がフォーカスレンズを光軸方向に進退駆動することで、撮像光学系１１のフォーカス調整が行われる。また、レンズ駆動部１２がズームレンズを光軸方向に進退駆動することで、撮像光学系１１のズーム調整が行われる。
【００２３】
撮像素子１３は、撮像光学系１１を通過した光束による被写体像を光電変換してアナログの画像信号を生成する。本実施形態での撮像素子１３は、静止画像の単写撮像、静止画像の連写撮像および動画像の撮像が可能である。この撮像素子１３の出力は信号処理回路１５に接続されている。なお、撮像素子１３は、ＣＣＤイメージセンサあるいはＣＭＯＳ型イメージセンサなどで構成される。
【００２４】
ここで、本実施形態における撮像素子１３には、画像のデータを生成するための受光素子とは別に、瞳分割式の位相差ＡＦを行うための測距画素が複数設けられている。この測距画素は、撮像素子１３の撮像面の全面に一定間隔をあけて配置されている。そのため、本実施形態の制御回路２７は、撮像素子１３の測距画素の出力によって、撮影画面上の任意の部分のデフォーカス量（レンズの合焦位置とのズレ方向およびズレ量）を求めることができる。なお、測距画素を有する撮像素子については、例えば、特開２０００−１５６８２３号公報などの公知の構成のものを適用することができる。
【００２５】
撮像素子駆動回路１４は、制御回路２７からの指令に応じて所定タイミングの駆動信号を生成し、この駆動信号を撮像素子１３に供給する。そして、撮像素子駆動回路１４は、上記の駆動信号によって、撮像素子１３の電荷蓄積（撮像）および蓄積電荷の読み出しを制御する。
【００２６】
信号処理回路１５は、撮像素子１３の出力に対して各種の信号処理を施すＡＳＩＣである。具体的には、信号処理回路１５は、相関二重サンプリング、ゲインの調整、直流再生、Ａ／Ｄ変換などを実行する。信号処理回路１５でのゲインの調整などのパラメータは、制御回路２７からの指令に応じて決定される。なお、信号処理回路１５はデータ処理回路１６に接続されており、上記信号処理後のデータはデータ処理回路１６に出力される。
【００２７】
データ処理回路１６は、信号処理回路１５から出力された画像のデータに対してデジタル信号処理を施す回路である。データ処理回路１６では、例えば、色補間処理、階調変換処理、輪郭強調処理、ホワイトバランス調整などの画像処理が実行される。このデータ処理回路１６は、表示制御回路１８および圧縮／伸長回路２０にそれぞれ接続されている。そして、データ処理回路１６は、制御回路２７からの指令に応じて、画像処理後の記録画像のデータを圧縮／伸長回路２０に出力する。
【００２８】
また、データ処理回路１６は、制御回路２７からの指令に応じて、画像の解像度変換（画素数変換）処理を実行する。一例として、モニタ１９に再生画像を表示する場合、データ処理回路１６は、再生表示しようとする画像のデータに対して、モニタ１９の画素数に合わせるための解像度変換（画素数変換）処理を実行する（なお、特に断りのないかぎり、本明細書でモニタ１９に画像を表示するときには、データ処理回路１６で表示画像の画素数調整が行われているものとする）。そして、データ処理回路１６は、解像度変換後の再生画像のデータを表示制御回路１８に出力する。また、電子ズーム処理を行う場合、データ処理回路１６は、入力される画像のデータに対して解像度変換（画素数変換）処理を実行し、解像度変換後の画像のデータを圧縮／伸長回路２０および表示制御回路１８にそれぞれ出力する。
【００２９】
第１メモリ１７は、データ処理回路１６または圧縮／伸長回路２０による処理の前工程や後工程などで画像のデータを一時的に記憶するバッファメモリである。この第１メモリ１７は揮発性の記憶媒体であるＳＤＲＡＭにより構成される。
【００３０】
表示制御回路１８は、制御回路２７からの指令に応じて、データ処理回路１６から入力された画像のデータに所定の信号処理（例えば、モニタ１９の表示特性にあわせた階調特性の変換など）を施してモニタ１９へ出力する。表示制御回路１８は、さらに上記の画像のデータに撮影メニュー、カーソルなどのオーバーレイ画像データを重畳させる処理を行う。このような制御回路２７および表示制御回路１８の制御によって、オーバーレイ画像が重畳された被写体画像をモニタ１９に表示することができる。なお、本実施形態でのモニタ１９は、接眼部を有する電子ファインダや、カメラ筐体の背面などに設けられる液晶表示パネルのいずれで構成されていてもよい。
【００３１】
圧縮／伸長回路２０は、制御回路２７からの指令に応じて、データ処理回路１６から入力される画像のデータに所定の圧縮処理を施す。この圧縮／伸長回路２０は記録Ｉ／Ｆ２１に接続されており、圧縮後の画像のデータは記録Ｉ／Ｆ２１に出力される。また、圧縮／伸長回路２０は、圧縮後の画像のデータに対し、圧縮処理の逆処理である復号化処理を実行する。なお、本実施形態の圧縮／伸長回路２０は、可逆圧縮（いわゆるロスレス符号化）を行うことが可能な構成となっている。
【００３２】
記録Ｉ／Ｆ２１は、記憶媒体２９を接続するためのコネクタが形成されている。そして、記録Ｉ／Ｆ２１は、コネクタに接続された記憶媒体２９に対してデータの書き込み／読み込みを実行する。上記の記憶媒体２９は、小型ハードディスクや、半導体メモリを内蔵したメモリカードや、ＤＶＤなどの光ディスクなどで構成される。図１では記憶媒体２９の一例としてメモリカードを図示する。なお、記憶媒体２９は、電子カメラに内蔵されるものであってもよく、電子カメラに対して着脱可能に装着されるものであってもよい。また、画像のデータを読み書きする記憶媒体として、通信Ｉ／Ｆ２２を介して電気的に接続された外付けの記憶媒体を利用してもよい。
【００３３】
ここで、電子カメラの動作モードの１つである撮影モードにおいて撮像した画像のデータを記録する場合、制御回路２７は、記録画像に対応する再生画像をモニタ１９に表示させる。本明細書での記録画像とは、撮像により得られ、最終的に記憶媒体２９に記録されるべき（あるいは記憶媒体２９に記録された）静止画像データに対応する静止画像を意味するものとする。
【００３４】
なお、操作部材２３によるユーザーの操作によって、記録画像の非圧縮記録が制御回路２７に指示されている場合、圧縮／伸長回路２０は圧縮処理を行なわずに、記録画像のデータを記録Ｉ／Ｆ２１に出力する。上記の非圧縮記録の場合にも、制御回路２７は、記録画像に対応する再生画像をモニタ１９に表示させる。
【００３５】
また、電子カメラの動作モードの１つである再生モードにおいて、制御回路２７は、記憶媒体２９に記憶されている画像のデータによる再生画像をモニタ１９に表示させる。この再生モードでは、記録Ｉ／Ｆ２１が、制御回路２７からの指令に応じて再生対象の画像のデータを記憶媒体２９から読み出す。そして、圧縮／伸長回路２０は、再生対象の画像のデータに対して復号化処理を施した上で、復号化後の画像のデータをデータ処理回路１６に送る。その後、データ処理回路１６および表示制御回路１８が復号化後の画像のデータに対して上述の処理を実行することで、モニタ１９には再生画像が表示される。なお、記憶媒体２９から非圧縮の画像データが読み出された場合には、圧縮／伸長回路２０は復号化処理を行わずに画像のデータをデータ処理回路１６に送る。
【００３６】
通信Ｉ／Ｆ２２は、有線または無線による公知の通信規格の仕様に準拠して、外部装置３０（例えば、パーソナルコンピュータや外付けの記憶媒体）とのデータ送受信を制御する。電子カメラと外部装置３０との通信は、有線または無線の通信回線を介して行われる。
【００３７】
操作部材２３は、例えば、コマンドダイヤル、十字状のカーソルキー、ズーム操作釦、決定釦などで構成される。そして、操作部材２３は電子カメラの各種入力をユーザーから受け付ける。なお、操作部材２３には、後述する補間画像を生成するフレーム数を設定する設定部材を設けるようにしてもよい。
【００３８】
一例として、制御回路２７は、ズーム操作釦からの入力を受け付けるとズームレンズについてのレンズ駆動指令を出力し、レンズ駆動部１２にズームレンズを進退駆動させる。これにより、撮像素子１３の撮像面上に結像される被写体像が拡大もしくは縮小して撮像光学系１１による光学的なズーム調整が行われる。
【００３９】
また、制御回路２７は、ズームレンズが望遠端にある際に、ズーム操作釦からさらに望遠ズームを指示する入力を受け付けるとデータ処理回路１６に指令を出力し、画像のデータに対する解像度変換処理の変換比率をユーザーの操作に応じて変化させる。これにより、モニタ１９に表示される画像が拡大して電子的なズーム調整が行われる（電子ズーム）。上記の解像度変換処理の変換比率は、電子ズーム倍率に対応する。データ処理回路１６が電子ズーム倍率を高める方向に変換比率を変える場合、モニタ１９には再生画像の一部が拡大されて表示される（拡大率が上がる反面、再生画像の表示範囲は狭くなる）。一方、電子ズームによって拡大表示されている際に、データ処理回路１６が電子ズーム倍率を低くする方向に変換比率を変える場合、モニタ１９に表示される再生画像の拡大率は低くなるが、再生画像の表示範囲は広くなる。なお、上記の撮影モードでは、モニタ１９の表示画像に対応する撮像画像のデータを記憶媒体２９に記録することができる。
【００４０】
レリーズ釦２４は、撮影モードにおいて、半押し操作による撮影前のオートフォーカス（ＡＦ）動作開始の指示入力と、全押し操作による撮像動作開始の指示入力とをユーザーから受け付ける。
【００４１】
また、制御回路２７は、レリーズ釦２４の半押し操作に応じて、撮像素子１３の測距画素の出力による位相差ＡＦ動作を実行する。なお、制御回路２７は、レリーズ釦２４の半押し操作に応じて、公知のコントラスト検出方式のＡＦ動作を実行することも可能である。
【００４２】
振動センサ２５は、電子カメラの筐体の振れを直交する２方向について検出する。この振動センサ２５は、例えば角速度センサやジャイロセンサなどで構成され、電子カメラの筐体内に配置される。振動センサ２５は、撮影モードにおいて電子カメラに加わる振れを検知し、直交する２方向の振れ量データを制御回路２７に出力する。制御回路２７は、上記の振れ量データに基づいて手ブレ補正を実行する。例えば、撮像光学系１１にブレ補正レンズがある場合、制御回路２７は、筐体の振れに伴う撮像面上での被写体の移動が打ち消されるように、レンズ駆動部１２を介してブレ補正レンズを駆動させることで手ブレ補正を行う。
【００４３】
第２メモリ２６は、フラッシュメモリ等の不揮発性の記憶媒体である。この第２メモリ２６には、各種の設定データなどが記憶されている。また、第２メモリ２６には、制御回路２７により実行されるプログラムが記憶されている。
【００４４】
制御回路２７は、電子カメラの動作を統括的に制御するプロセッサである。例えば、制御回路２７は、撮像素子１３から出力される信号から被写界の明るさを求める。そして、制御回路２７は、上記の明るさの情報に基づいて公知のＡＥ演算を実行し、撮影モードでの撮像条件（撮像素子１３の電荷蓄積時間、絞り（不図示）の絞り値、画像信号の増幅度）を決定する。
【００４５】
また、制御回路２７は、第２メモリ２６等に記憶されたプログラムを実行することで、補間画像の生成処理や、時間方向の画像加算による合成処理などを実行する（これらの処理については後述する）。
【００４６】
次に、第１実施形態の電子カメラの連写撮影モードの動作例と、再生モードの動作例とをそれぞれ説明する。
【００４７】
（連写撮影モードの動作例の説明）
図２は、第１実施形態における連写撮影モードでの動作を示す流れ図である。ここで、連写撮影モードは上記の撮影モードの１つであって、レリーズ釦２４が押圧されている間、電子カメラが所定の時間間隔で静止画像の撮像動作を連続的に実行するモードである。なお、連写撮影モードでの制御回路２７は、連写撮影される各々の記録画像が静止画としての鑑賞に耐えうるように撮像条件を決定する。例えば、制御回路２７は、絞りを絞って被写界深度を深くする。
【００４８】
ステップＳ１０１：制御回路２７は、レリーズ釦２４の押圧操作を検出すると、上記のＡＦ動作を連続的に実行するとともに、記録画像の連写撮影動作を実行する。
【００４９】
ここで、Ｓ１０１でのＡＦ動作に関し、制御回路２７は画面内を移動する特定被写体を追尾してＡＦ動作を行ってもよい。あるいは、制御回路２７は、所定の撮影距離の物体に常に合焦するようにＡＦ動作を行ってもよい。なお、Ｓ１０１において、制御回路２７は、操作部材２３を介したユーザーのマニュアル操作によって焦点調整を行うようにしてもよい。
【００５０】
また、Ｓ１０１での連写撮影動作に関し、制御回路２７は、撮像素子駆動回路１４に対して、連写撮影動作を実行するための駆動信号の出力を指示する。撮像素子１３は、上記の駆動信号を受けて、例えば１０ｆｐｓのフレームレートで画像信号を出力する。そして、撮像素子１３から出力された各フレームの画像信号は、信号処理回路１５およびデータ処理回路１６で所定の処理が施される。その後、制御回路２７は、各フレームに対応する記録画像のデータを第１メモリ１７に一時的に記憶させる。
【００５１】
なお、連写撮影動作時には、データ処理回路１６は、記録画像のデータに解像度変換処理を施し、モニタ１９の画素数に合わせたビュー画像のデータを生成する。そして、データ処理回路１６は、各フレームのビュー画像のデータを表示制御回路１８を介して順次モニタ１９に供給する。連写撮影動作時には、表示制御回路１８の制御によって、モニタ１９には各々のフレームに対応するビュー画像が順次表示される。これにより、ユーザーは、モニタ１９のビュー画像を目視することで、被写界の状態と記録画像の構図とを確認することができる。
【００５２】
ステップＳ１０２：制御回路２７は、第１メモリ１７に記憶されている各々の記録画像のデータ（Ｓ１０１）に対して、特徴点抽出処理を実行する。具体的には、制御回路２７は、記録画像のデータに対してエッジ成分を抽出し、例えば抽出したエッジの交点（コーナー）の位置を特徴点として求める。そして、制御回路２７は、各々の記録画像のフレームに対応する特徴点の位置を第１メモリ１７または第２メモリ２６に記録する。なお、制御回路２７は、ユーザーがモニタ１９上で指定した点を特徴点として抽出するようにしてもよい。
【００５３】
ステップＳ１０３：制御回路２７は、複数の記録画像のフレームの間を補間する補間画像を生成する。この補間画像の画素数は記録画像と同じ画素数に設定される。また、本実施形態での制御回路２７は、被写体像の変形を伴う幾何学的なモーフィング処理や、被写体像が変形せずに移動するモーフィング処理を行って補間画像を生成する。
【００５４】
具体的には、制御回路２７は、以下の（イ）から（ト）の手順で補間画像を生成する。ここで、２つの記録画像の間に挿入される補間画像のフレーム数は、ユーザーの入力によって制御回路２７が変更する。なお、以下の例では、簡単のため、２つの記録画像の間に２フレーム分の補間画像を挿入する場合について説明する。
【００５５】
（イ）制御回路２７は、時間軸方向に隣接する２つの記録画像のフレームをキーフレームとして指定する。
【００５６】
（ロ）制御回路２７は、上記（イ）で指定された２つのキーフレームにそれぞれ含まれる特徴点の対応付けを行う。例えば、制御回路２７は、２つのキーフレーム間で相互の特徴点のマッチング処理を実行して、各々の特徴点の対応関係を求める。
【００５７】
（ハ）制御回路２７は、上記（ロ）で対応付けした一対の特徴点の位置を空間方向に結ぶ関数（モーフィング動作における特徴点の移動軌跡）を求める。ここで、上記の関数は、一対の特徴点を直線で結ぶものであってもよく、あるいは一対の特徴点をスプライン曲線などで結ぶものであってもよい。なお、制御回路２７は、２つのキーフレーム間で対応付けができた全ての特徴点について上記の関数を求める。
【００５８】
（ニ）制御回路２７は、上記（ハ）で求めた関数によって、補間画像のフレームにおける特徴点の位置を決定する。具体的には、制御回路２７は、補間画像の挿入数に応じて上記の関数と一対の特徴点とで定義された区間を内分し、この内分点の位置を補間フレームの特徴点の位置とする。
【００５９】
図３は、補間画像での特徴点の決定方法の一例を示す説明図である。図３の例では、第１キーフレームの特徴点Ａ，Ｂ，Ｃに対して、第２キーフレームの特徴点Ｄ，Ｅ，Ｆがそれぞれ対応する。そして、第１特徴点Ａ，Ｄを結ぶ一次関数の区間を３つに内分する点（Ｇ，Ｊ）の位置が、各々の補間画像における第１特徴点の位置となる。なお、補間画像における第２特徴点の位置（Ｈ，Ｋ）および第３特徴点の位置（Ｉ，Ｌ）についても、上記の第１特徴点の場合と同様の手順で求めることができる。
【００６０】
（ホ）制御回路２７は、中間画像において特徴点以外の注目画素の位置をそれぞれ求める。具体的には、制御回路２７は、キーフレームにおける注目画素の位置を特徴点を結ぶベクトルで定義する。そして、制御回路２７は、上記のベクトルの定義に基づいて、補間画像上での注目画像の位置を求める。
【００６１】
図４は、補間画像での注目画素の決定方法の一例を示す説明図である。
【００６２】
【数１】
2010021708.tif 000003
【００６３】
したがって、制御回路２７は、上記の方法で補間画像における各々の注目画素の位置を求めることができる。
【００６４】
（ヘ）制御回路２７は、補間画像における各画素の階調値の変化を求める。具体的には、第１に、制御回路２７は、２つのキーフレーム間において対応関係を有する画素（注目画素）の階調値をそれぞれ求める。第２に、制御回路２７は、２つの階調値の区間を補間画像の挿入数に応じて内分し、補間画像における注目画素の階調値を求める。一例として、２つのキーフレームで注目画素の階調値がそれぞれ１３０，１３６であるときに、制御回路２７は、階調値１３０〜１３６の区間を３つに内分する点を求める。そして、制御回路２７は、上記の内分点に対応する階調値（１３２，１３４）を、各々の補間画像での注目画素の階調値とする。なお、制御回路２７は、上記の階調値をＲＧＢまたはＹＣｂＣｒのそれぞれの値について求める。
【００６５】
（ト）制御回路２７は、上記の工程で生成された補間画像を第１メモリ１７または第２メモリ２６に記録する。そして、制御回路２７は、上記（イ）で指定したキーフレームを変更して、上記（ロ）から（へ）までの処理を繰り返す。これにより、制御回路２７は、連写撮影された記録画像のすべてのフレーム間で補間画像をそれぞれ生成する。
【００６６】
ステップＳ１０４：制御回路２７は、時間軸方向に隣接する２つの記録画像のフレームを対象として、フレーム間での被写体の動きベクトルを求める。例えば、制御回路２７は、１６×１６画素のマクロブロック単位でフレーム間の被写体の動きを抽出し、この結果からフレーム間での被写体の動きベクトルを求める。なお、Ｓ１０４での制御回路２７は、連写撮影された記録画像のすべてのフレーム間で上記の動きベクトルをそれぞれ演算する。
【００６７】
ステップＳ１０５：制御回路２７は、各々の記録画像のフレーム間の動きベクトル（Ｓ１０４で求めたもの）のうち、動きベクトルの大きさの最大値Ｚをそれぞれ求める。そして、制御回路２７は、動きベクトルの大きさの最大値Ｚを第１メモリ１７に記録する。
【００６８】
ステップＳ１０６：制御回路２７は、動きベクトルの大きさの最大値Ｚ（Ｓ１０５で求めたもの）がすべてのフレーム間でいずれも「０」値であるか否かを判定する。上記要件を満たす場合（ＹＥＳ側）にはＳ１０８に移行する。一方、上記要件を満たさない場合（ＮＯ側）にはＳ１０７に移行する。なお、Ｓ１０６でＹＥＳ側となるときは、例えば、明るさや色に変化はあるが、動きのない被写体を連写撮影した場合などが相当する。
【００６９】
ステップＳ１０７：圧縮／伸長回路２０は、制御回路２７の指令に応じて、記録画像のデータおよび補間画像のデータを非加算の状態（合成画像を生成しない状態）で、Ｍｏｔｉｏｎ−ＪＰＥＧ形式の圧縮を行って画像ファイルを生成する。かかるＭｏｔｉｏｎ−ＪＰＥＧ形式の圧縮によって、画像データ全体の記録容量を削減できる。そして、制御回路２７は、各々の記録画像のフレームにおける動きベクトルの大きさの最大値Ｚ（Ｓ１０５で求めたもの）を画像ファイル内に対応付けて記録する。さらに、制御回路２７は、動きベクトルの大きさが「０」ではない旨のフラグを画像ファイル内に記録しておく。そして、この画像ファイルは最終的に記憶媒体２９に記録される。その後、制御回路２７は連写撮影モードの処理を終了する。
【００７０】
ステップＳ１０８：圧縮／伸長回路２０は、制御回路２７の指令に応じて、記録画像のデータおよび補間画像のデータを非加算の状態（合成画像を生成しない状態）で、Ｍｏｔｉｏｎ−ＪＰＥＧ形式の圧縮を行って画像ファイルを生成する。また、Ｓ１０８の場合には、制御回路２７は、動きベクトルの大きさが「０」である旨のフラグを画像ファイル内に記録しておく。そして、この画像ファイルは最終的に記憶媒体２９に記録される。以上で、図２の流れ図の説明を終了する。
【００７１】
（再生モードの動作例の説明）
次に、第１実施形態における再生モードでの動作例を説明する。この再生モードでは、上記の連写撮影モードの画像ファイルのうち、動きベクトルの大きさが「０」ではない旨のフラグを有するもの（Ｓ１０７で生成されたもの）を動画再生する場合を前提として説明を行う。
【００７２】
（Ａ）画像ファイルを順方向で動画再生する場合
第１に、上記の画像ファイルを時間軸の順方向で動画再生する場合を説明する。まず、制御回路２７は、再生対象の画像ファイルを記憶媒体２９から読み出す。そして、圧縮／伸長回路２０は、制御回路２７の指令に応じて、画像ファイル内の画像データの復号化処理を実行する。なお、復号化された各々の画像のデータは第１メモリ１７に一時的に記憶される。
【００７３】
次に、制御回路２７は、記録画像のフレームと補間画像のフレームとを含む対象画像群のうちから特定画像を１つ選択する。この特定画像は、後述の合成画像を生成するときに基準となる画像である。より好適には、特定画像は、記録画像と補間画像とを時系列に並べたときに時間的に等間隔となるように対象画像群から選択される。この例では、制御回路２７は記録画像のフレームのうちから特定画像を順次選択するものとする。この選択は、時系列に並ぶ複数の記録画像から途中を飛ばすことなく全て選択されるものとする。
【００７４】
そして、制御回路２７は、各々の特定画像に対して時間軸方向に異なる画像を加算することで、被写体に像流れを生じさせた画像（合成画像）を生成する。なお、制御回路２７は、各々の特定画像について合成画像を生成するとともに、これらの合成画像をモニタ１９に順次再生する。
【００７５】
ここで、順方向で動画再生をする場合、制御回路２７は、特定画像に対して時間軸方向で前（過去）の画像を被加算画像として合成画像を生成する。図５は、順方向で動画再生をする場合において、合成画像を構成する画像と加算比率との例を示している。
【００７６】
図５の例では、制御回路２７は、画像ファイルを順方向で動画再生する場合には、合成画像の生成時に加算するフレーム数を「３」に設定し、特定画像に対して過去２フレーム分の画像を加算する。具体的には、制御回路２７は、特定画像の加算比率を０．７に設定する。また、制御回路２７は、被加算画像のうち、特定画像を基準として１フレーム前の補間画像の加算比率を０．２に設定する。さらに、制御回路２７は、被加算画像のうち特定画像を基準として２フレーム前の補間画像の加算比率を０．１に設定する。すなわち、時間軸方向に表記すると、この場合の合成画像の加算比率は「０．１：０．２：０．７」となる（図５参照）。
【００７７】
図６は、図５の加算比率で生成される合成画像を模式的に示している。図６に示す合成画像は、円形の被写体が右方向に移動する動画の１フレームである。図５，図６の例では、特定画像に対して過去の画像を加算することで、合成画像では移動元の方向（左側）に被写体の像流れが生じることとなる。そのため、連写撮影で得た記録画像を動画像として再生するときには、被写体の動きが滑らかで好ましい動画像をモニタ１９に再生することが可能となる。
【００７８】
さらに、制御回路２７は、早送りでの動画像の再生が指示された場合には、合成画像の像流れが大きくなるように加算比率の設定を変更する。図７は、動画像を順方向に早送り再生する場合において、合成画像を構成する画像と加算比率との例を示している。
【００７９】
図７の例では、制御回路２７は、画像ファイルを順方向に早送りで動画再生する場合には、合成画像の生成時に加算するフレーム数を「５」に設定し、特定画像に対して過去４フレーム分の画像を加算する。具体的には、制御回路２７は、特定画像の加算比率を０．４に設定する。また、制御回路２７は、被加算画像のうち、特定画像を基準として１フレーム前の補間画像と２フレーム前の補間画像との加算比率をそれぞれ０．２に設定する。さらに、制御回路２７は、特定画像を基準として３フレーム前の記録画像と４フレーム前の補間画像との加算比率をそれぞれ０．１に設定する。すなわち、時間軸方向に表記すると、この場合の合成画像の加算比率は「０．１：０．１：０．２：０．２：０．４」となる（図７参照）。
【００８０】
図８は、図７の加算比率で生成される合成画像を模式的に示している。順方向への早送り再生のときには、被加算画像のフレーム数が多くなるともに、特定画像に対する被加算画像の加算比率が高くなる。そのため、図８の合成画像では、図５の合成画像と比べて移動元の方向（左側）により大きな被写体の像流れが生じることとなる。したがって、早送り再生のときには、再生速度に応じてより滑らかな動画像をモニタ１９に再生することが可能となる。
【００８１】
なお、制御回路２７は、動画再生を一時停止して静止画を表示するときには、被加算画像が加算されていない特定画像をモニタ１９に表示する。これにより、動画再生中に１フレームを静止画像として表示するときには、像流れがなく好ましい状態の静止画像をモニタ１９に再生できる。
【００８２】
（Ｂ）画像ファイルを逆方向で動画再生する場合
第２に、上記の画像ファイルを時間軸の逆方向で動画再生する場合を説明する。逆方向で動画再生をする場合、制御回路２７は、特定画像に対して時間軸方向で後（未来）の画像を被加算画像として合成画像を生成する。図９は、逆方向で動画再生をする場合において、合成画像を構成する画像と加算比率との例を示している。
【００８３】
図９の例では、制御回路２７は、画像ファイルを逆方向で動画再生する場合には、合成画像の生成時に加算するフレーム数を「３」に設定し、特定画像に対して未来の２フレーム分の画像を加算する。具体的には、制御回路２７は、特定画像の加算比率を０．７に設定する。また、制御回路２７は、被加算画像のうち、特定画像を基準として１フレーム後の補間画像の加算比率を０．２に設定する。さらに、制御回路２７は、被加算画像のうち特定画像を基準として２フレーム後の補間画像の加算比率を０．１に設定する。すなわち、時間軸方向に表記すると、この場合の合成画像の加算比率は「０．７：０．２：０．１」となる（図９参照）。なお、図９に対応する合成画像は、図６において被写体の移動方向および像流れの方向を反対方向に入れ替えたものに相当する（図示は省略する）。
【００８４】
また、制御回路２７は、早送りでの動画像の再生が指示された場合には、合成画像の像流れが大きくなるように加算比率の設定を変更する。図１０は、動画像を逆方向に早送り再生する場合において、合成画像を構成する画像と加算比率との例を示している。
【００８５】
図１０の例では、制御回路２７は、画像ファイルを順方向に早送りで動画再生する場合には、合成画像の生成時に加算するフレーム数を「５」に設定し、特定画像に対して未来の４フレーム分の画像を加算する。具体的には、制御回路２７は、特定画像の加算比率を０．４に設定する。また、制御回路２７は、被加算画像のうち、特定画像を基準として１フレーム後の補間画像と２フレーム後の補間画像との加算比率をそれぞれ０．２に設定する。さらに、制御回路２７は、特定画像を基準として３フレーム後の記録画像と４フレーム後の補間画像との加算比率をそれぞれ０．１に設定する。すなわち、時間軸方向に表記すると、この場合の合成画像の加算比率は「０．４：０．２：０．２：０．１：０．１」となる（図１０参照）。なお、図１０に対応する合成画像は、図８において被写体の移動方向および像流れの方向を反対方向に入れ替えたものに相当する（図示は省略する）。
【００８６】
この逆方向への再生の場合には特定画像に対して未来の画像を加算することで、再生時に時間軸方向に巻き戻されて移動する被写体についても、移動元の方向に像流れが生じることとなる。そのため、画像ファイルを逆方向で動画再生する場合にも、被写体の動きに流れのある滑らかな動画像をモニタ１９に再生できるようになる。
【００８７】
＜第１実施形態の変形例＞
画像ファイルを逆方向で動画再生する場合には、再生時に画像間での動きの滑らかさが要求されず、むしろ、信号処理の負荷を軽減する観点からは合成画像の生成を省略した方がよい場合も想定される。そのため、制御回路２７は、画像ファイルを逆方向で動画再生する場合には、特定画像に被加算画像を加算することなく、画像ファイルの各フレームを巻き戻して再生するようにしてもよい。同様に、制御回路２７は、順方向または逆方向の早送り再生において、特定画像に被加算画像を加算することなく、画像ファイルの各フレームを再生するようにしてもよい。
【００８８】
また、画像ファイルを順方向または逆方向に早送りで動画再生する場合において、制御回路２７は、通常再生時よりも加算フレーム数を増やすことなく、特定画像に対する被加算画像の加算比率のみを通常再生時より高くしてもよい。この場合にも、早送りでの動画再生で被写体の像流れがより強調されるようになるので、好ましい動画の表現が可能となる。
【００８９】
さらに、制御回路２７は、画像ファイルの動画再生を行うときに、時間軸方向に画像を間引いて再生を行うようにしてもよい。
【００９０】
＜第２実施形態の説明＞
次に、第２実施形態の電子カメラの動画撮影モードの動作と、代表画像の抽出動作とをそれぞれ説明する。ここで、以下の実施形態での電子カメラの構成は、図１に示す第１実施形態の電子カメラといずれも共通するので重複説明は省略する。
【００９１】
（動画撮影モードの説明）
図１１は、第２実施形態における動画撮影モードでの動作例を示す流れ図である。ここで、動画撮影モードは上記の撮影モードの１つであって、電子カメラが動画像のデータを生成する。なお、第２実施形態の電子カメラでは、動画撮影中にユーザーが指示したタイミングで静止画像の撮像を行うこともできる。
【００９２】
ステップＳ２０１：制御回路２７は、動画撮影の開始指示の入力を操作部材２３から受け付けると、撮像素子１３を駆動させて動画撮影を開始する。
【００９３】
動画撮影モードでの撮像素子１３は、例えば３０ｆｐｓのフレームレートで画像信号を出力する。そして、撮像素子１３から出力された各フレームの画像信号は、信号処理回路１５およびデータ処理回路１６で所定の処理が施される。その後、圧縮／伸長回路２０は、制御回路２７の指令に応じて、各フレームのデータに所定の圧縮処理を行って動画像ファイルを生成する。なお、動画像ファイルのデータは、記憶媒体２９に記録される。
【００９４】
また、動画撮影時において、制御回路２７は、撮像素子１３の測距画素から撮影画面内の各位置でのデフォーカス量を取得する。そして、制御回路２７は、上記のデフォーカス量に応じて位相差ＡＦを実行する。なお、第２実施形態での制御回路２７は、撮影画面内でのデフォーカス量の分布を示す合焦データを、動画像ファイルの各フレームにそれぞれ対応付けして記憶媒体２９に記録する。
【００９５】
ステップＳ２０２：制御回路２７は、撮影画面内のデフォーカス量がいずれも閾値以上であるか否かを判定する。上記要件を満たす場合（ＹＥＳ側）にはＳ２０３に移行する。一方、上記要件を満たさない場合（ＮＯ側）にはＳ２０４に移行する。
【００９６】
ステップＳ２０３：制御回路２７は、レリーズ釦２４の入力を不能化して静止画像の取得を禁止する。この場合には、撮影画面の全域の像がぼけた状態にあるため、好ましい静止画を撮影することができないと考えられるからである。また、このＳ２０３の状態では、制御回路２７は、モニタ１９などに静止画像の取得ができない旨の表示を行うようにしてもよい。なお、制御回路２７は、その後にＳ２０６に移行する。
【００９７】
ステップＳ２０４：制御回路２７は、レリーズ釦２４の押圧があったか否かを判定する。上記要件を満たす場合（ＹＥＳ側）にはＳ２０５に移行する。一方、上記要件を満たさない場合（ＮＯ側）にはＳ２０６に移行する。
【００９８】
ステップＳ２０５：制御回路２７は、レリーズ釦２４の押圧されたタイミングで静止画像のデータを取得する。一例として、制御回路２７は、レリーズ釦２４の押圧に応じて、動画撮影を一時中断させるとともに、撮像素子１３を駆動させて静止画像のデータを生成する。なお、この場合には、制御回路２７は、静止画像のデータの取得後に動画撮影を再開する。
【００９９】
あるいは、Ｓ２０５での制御回路２７は、動画撮影を中断することなく、レリーズ釦２４の押圧タイミングに対応する動画像のフレームにマーキングを行ない、動画像ファイルにマーキングされたフレームを示す付帯データを記録してもよい。この場合、制御回路２７は、動画像ファイルからマーキングされたフレームのデータを静止画像のデータとして抽出することができる。
【０１００】
ステップＳ２０６：制御回路２７は、操作部材２３から動画撮影の終了指示の入力を受け付けたか否かを判定する。上記要件を満たす場合（ＹＥＳ側）には、制御回路２７は撮像素子１３による動画撮影を停止させて一連の動作を終了する。一方、上記要件を満たさない場合（ＮＯ側）には、制御回路２７はＳ２０２に戻って動画撮影を継続する。
【０１０１】
第２実施形態における動画撮影モードでは、測距画素から取得したデフォーカス量に基づいて静止画像の取得を制限する。例えば、画像の合焦状態を除々に変化させる映像表現やフェードイン／アウトなどの映像表現が動画像の撮影で用いられるが、本実施形態ではこれらの遷移過程での画像が静止画となる可能性が低減し、ユーザーはより好ましい状態の静止画像を取得できるようになる。
【０１０２】
（代表画像の抽出動作の説明）
図１２は、第２実施形態における代表画像の抽出動作の例を示す流れ図である。図１２に示す代表画像の抽出動作は再生モードの一機能であって、例えば、動画像ファイルの内容を示すインデックス画像（代表画像）を生成するときなどに用いられる。なお、以下の説明では、第２実施形態の動画撮影モードで生成された動画像ファイルを処理対象とすることを前提とする。
【０１０３】
ステップＳ３０１：制御回路２７は、記憶媒体２７から動画像ファイルのデータを読み込む。そして、圧縮／伸長回路２０は、制御回路２７の指令に応じて、動画像ファイルの画像データの復号化処理を実行する。なお、復号化された各々の画像のデータは第１メモリ１７に一時的に記憶される。
【０１０４】
ステップＳ３０２：制御回路２７は、動画像ファイルの各フレームに対応する合焦データ（図１１のＳ２０１）を読み込む。そして、制御回路２７は、撮影画面内のデフォーカス量がいずれも閾値以上であったフレームを代表画像の候補から除外する。
【０１０５】
ステップＳ３０３：制御回路２７は、代表画像の候補となったフレームをモニタ１９に表示する。そして、制御回路２７は、操作部材２３からの選択入力に応じて代表画像の候補となったフレームから代表画像を決定する。なお、制御回路２７は、動画像ファイルのフレームのうち、上記の付帯データに対応するフレーム（静止画像として取得指示されたフレーム）を優先的に代表画像としてもよい。
【０１０６】
ステップＳ３０４：制御回路２７は、代表画像のフレーム（Ｓ３０３で決定されたもの）を示すデータを動画像ファイルに記録する。
【０１０７】
第２実施形態における代表画像の抽出動作では、動画像ファイルに含まれる合焦データに基づいて、制御回路２７が代表画像の候補を絞り込む。これにより、静止画として不鮮明な画像が予め代表画像の候補から除外されるので、ユーザーはより効率的に代表画像の選択を行うことができる。
【０１０８】
＜第３実施形態の説明＞
図１３は、第３実施形態における動画像ファイルの再生動作例を示す流れ図である。ここで、第３実施形態では、動画像ファイルの各フレーム毎に撮影時の鉛直方向を示す姿勢情報が対応付けされていることを前提とする。なお、上記の姿勢情報は、振動センサ２５の出力に基づいて制御回路２７が動画撮影時に生成する。
【０１０９】
ステップＳ４０１：制御回路２７は、記憶媒体２７から動画像ファイルのデータを読み込む。そして、圧縮／伸長回路２０は、制御回路２７の指令に応じて、動画像ファイルの画像データの復号化処理を実行する。なお、復号化された各々の画像のデータは第１メモリ１７に一時的に記憶される。
【０１１０】
ステップＳ４０２：制御回路２７は、動画像ファイルの先頭フレームの姿勢情報に基づいて、動画像を再生するときの画像の向き（正位置、縦位置、逆位置）を設定する。例えば、動画像の先頭フレームが電子カメラの正位置で撮影されている場合、制御回路２７は、動画再生時には各フレームを正位置でモニタ１９に表示する。また、動画像の先頭フレームが電子カメラの縦位置（正位置に対して９０°倒立した状態）で撮影されている場合、制御回路２７は、動画再生時には各フレームを縦位置でモニタ１９に表示する。
【０１１１】
ステップＳ４０３：制御回路２７は、操作部材２３からの動画再生指示に応じて、動画像ファイルのフレームの動画表示を開始する。
【０１１２】
ステップＳ４０４：制御回路２７は、一時停止による静止画再生指示を動画再生中に操作部材２３から受け付けたか否かを判定する。上記要件を満たす場合（ＹＥＳ側）にはＳ４０５に移行する。一方、上記要件を満たさない場合（ＮＯ側）にはＳ４０８に移行する。
【０１１３】
ステップＳ４０５：制御回路２７は、静止画として表示するフレームに対応する姿勢情報を動画像ファイルから読み込む。そして、制御回路２７は、静止画として表示するフレームの画像の向きを、そのフレームの姿勢情報に基づいて決定する。
【０１１４】
ステップＳ４０６：制御回路２７は、静止画再生指示に対応するフレームをモニタ１９に静止画表示する。
【０１１５】
ここで、図１４は、動画像再生時（Ｓ４０３）と静止画表示時（Ｓ４０６）とにおける画像の向きの一例を示している。図１４の例では、Ｔ１からＴ３の区間において、電子カメラの撮影姿勢を変化させつつ、静止状態の被写体（ＸＹＺを頂点とする三角形）を撮影した動画像を説明する。この図１４の例では、動画撮影時において電子カメラの撮影姿勢が光軸を中心として１８０°の位置変化（回転）があるものとする（図１４（ａ）参照）。
【０１１６】
図１４（ｂ）は動画再生時の画像の状態を示している。図１４（ｂ）の例では、先頭フレームＴ１が縦位置で撮影されているため、制御回路２７は、動画像再生時の画像の向きを縦位置に設定する。そして、動画像の再生時には、各フレーム（Ｔ１，Ｔ２，Ｔ３）はいずれも縦位置でモニタ１９に表示されるとともに、撮影姿勢の変化によって被写体の三角形は見かけ上画面内で回転するように表示される。
【０１１７】
一方、図１４（ｃ）は、Ｔ１，Ｔ２，Ｔ３がそれぞれ静止画表示されたときの表示状態を示している。この場合には、制御回路２７は、各フレームの姿勢情報に基づいて、撮影時の鉛直方向が下となるようにモニタ１９に静止画像を表示する。すなわち、Ｓ４０６での静止画表示では、各フレームを独立した静止画としたみたときに、常に上下方向があった状態で画像が表示されることとなる。
【０１１８】
また、図１４では、モニタ１９の向きが正位置のときの画像表示例を説明している。なお、制御回路２７は、動画像ファイルの再生時のモニタ１９の向きに応じて、表示画像のサイズを変換してもよい。なお、Ｓ４０６での静止画像表示のときの画像の向きは正位置、縦位置、逆位置に限定されず、例えば、斜め４５°などの任意の角度で回転した静止画像が表示されるものであってもよい（この場合の図示は省略する）。
【０１１９】
ステップＳ４０７：制御回路２７は、動画再生の再開指示を操作部材２３から受け付けたか否かを判定する。上記要件を満たす場合（ＹＥＳ側）にはＳ４０８に移行する。一方、上記要件を満たさない場合（ＮＯ側）には、制御回路２７はＳ４０６に戻って上記動作を繰り返す。
【０１２０】
ステップＳ４０８：制御回路２７は、動画再生が終了したか否かを判定する。例えば、制御回路２７は、動画像ファイルのフレームを最後まで表示し終えた場合や、動画像ファイルの再生終了指示があった場合に、動画再生が終了したものと判定する。上記要件を満たす場合（ＹＥＳ側）には、制御回路２７は動画再生の一連の動作を終了する。一方、上記要件を満たさない場合（ＮＯ側）にはＳ４０９に移行する。
【０１２１】
ステップＳ４０９：制御回路２７は、動画像の次のフレームをモニタ１９に表示する。その後、制御回路２７はＳ４０４に戻って上記動作を繰り返す。
【０１２２】
上記の第３実施形態では、動画像ファイルに記録された各フレームの姿勢情報に基づいて、静止画表示のときに画像の上下の向きを調整する。そのため、動画再生中に任意のフレームを静止画として表示するときに、上下方向が適切な好ましい状態で画像を表示することが可能となる。
【０１２３】
＜実施形態の補足事項＞
（１）第１実施形態では、連写画像間のフレームを補間した時系列の画像群を用いて合成画像を生成する例を説明した。しかし、第１実施形態において記録画像のみを用いて合成画像を生成するようにしてもよい。
【０１２４】
（２）第２実施形態では、動画撮影モードで取得した動画像ファイルから代表画像の候補を抽出する例を説明したが、連写画像の画像ファイルから代表画像を抽出する場合にも同様に適用することが可能である。
【０１２５】
（３）第３実施形態は、動画像ファイルのフレームをコマ送りで連続再生（動的再生）しつつ、任意のフレームを静止画として表示する場合にも同様に適用することが可能である。
【０１２６】
（４）上記実施形態では電子カメラの制御回路２７が各種の処理を行う例を説明したが、例えば、電子カメラと接続された外部装置３０（パーソナルコンピュータなど）が、上記実施形態の制御回路２７の処理を実行してもよい。また、上記実施形態で電子カメラの制御回路２７が実行する処理の一部を外部装置３０に負担させて、電子カメラと外部装置３０とを協働させて上記の第１実施形態から第３実施形態のいずれかで説明したアルゴリズムを実現してもよい。
【０１２７】
なお、本発明は、その精神またはその主要な特徴から逸脱することなく他の様々な形で実施することができる。そのため、上述した実施形態はあらゆる点で単なる例示に過ぎず、限定的に解釈してはならない。本発明は、特許請求の範囲によって示されるものであって、本発明は明細書本文にはなんら拘束されない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、全て本発明の範囲内である。
【図面の簡単な説明】
【０１２８】
【図１】第１実施形態の電子カメラの構成を示すブロック図
【図２】第１実施形態における連写撮影モードでの動作を示す流れ図
【図３】補間画像での特徴点の決定方法の一例を示す説明図
【図４】補間画像での注目画素の決定方法の一例を示す説明図
【図５】順方向で動画再生をする場合における合成画像の加算比率の例を示す図
【図６】図５の加算比率で生成される合成画像を模式的に示す図
【図７】順方向に早送り再生する場合における合成画像の加算比率の例を示す図
【図８】図７の加算比率で生成される合成画像を模式的に示す図
【図９】逆方向に動画再生をする場合における合成画像の加算比率の例を示す図
【図１０】逆方向に早送り再生する場合における合成画像の加算比率の例を示す図
【図１１】第２実施形態における動画撮影モードでの動作例を示す流れ図
【図１２】第２実施形態における代表画像の抽出動作の例を示す流れ図
【図１３】第３実施形態における動画像ファイルの再生動作例を示す流れ図
【図１４】動画像再生時（Ｓ４０３）と静止画表示時（Ｓ４０６）とにおける画像の向きの一例を示す図
【符号の説明】
【０１２９】
１３…撮像素子、１８…表示制御回路、１９…モニタ、２１…記録Ｉ／Ｆ、２２…通信Ｉ／Ｆ、２３…操作部材、２４…レリーズ釦、２７…制御回路、２９…記憶媒体、３０…外部装置
【図１】
2010021708.tif 000004
【図２】
2010021708.tif 000005
【図３】
2010021708.tif 000006
【図４】
2010021708.tif 000007
【図５】
2010021708.tif 000008
【図６】
2010021708.tif 000009
【図７】
2010021708.tif 000010
【図８】
2010021708.tif 000011
【図９】
2010021708.tif 000012
【図１０】
2010021708.tif 000013
【図１１】
2010021708.tif 000014
【図１２】
2010021708.tif 000015
【図１３】
2010021708.tif 000016
【図１４】
2010021708.tif 000017