(57)【要約】【課題】連続撮影された静止画像を好ましい形態で表示する。【解決手段】電子カメラの制御回路は、連続撮影によって時系列順に取得された複数の静止画像を読み込む（ステップＳ１）。こうして読み込まれた複数の静止画像のいずれかがユーザにより選択されると（ステップＳ３）、選択された静止画像の前及び／又は後に取得された静止画像に基づいて合成対象とする静止画像を決定する（ステップＳ１２、Ｓ１３）。そして、ステップＳ３で選択された静止画像と、ステップＳ１２またはＳ１３で決定した静止画像とを合成して、合成画像を生成し（ステップＳ１４）、この合成画像をモニタに表示させる（ステップＳ１５）。【選択図】図２
2010273268.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置が行う連続撮影によって時系列順に取得された複数の静止画像を読み込む画像読み込み手段と、
前記画像読み込み手段により読み込まれた複数の静止画像のいずれかがユーザにより選択されると、選択された静止画像の前及び／又は後に取得された静止画像に基づいて合成対象とする静止画像を決定し、前記選択された静止画像と前記決定した静止画像とを合成して合成画像を生成する画像合成手段と、
前記画像合成手段により生成された前記合成画像を表示モニタに表示させる表示制御手段とを備えることを特徴とする画像再生装置。
【請求項２】
請求項１に記載の画像再生装置において、
前記複数の静止画像が取得されたシーンを認識するシーン認識手段をさらに備え、
前記画像合成手段は、前記シーン認識手段が認識したシーンに応じて、前記合成対象とする静止画像の決定方法を変更することを特徴とする画像再生装置。
【請求項３】
請求項２に記載の画像再生装置において、
前記画像合成手段は、
前記選択された静止画像の前及び／又は後に取得された静止画像の中から、前記合成対象とする静止画像を抽出する画像抽出処理、および、
前記選択された静止画像の前及び／又は後に取得された静止画像のうち隣接する２つの静止画像の間に、前記合成対象とする静止画像としての補間画像を生成する画像補間処理、の少なくともいずれか一方を行うことにより、前記合成対象とする静止画像を決定することを特徴とする画像再生装置。
【請求項４】
請求項３に記載の画像再生装置において、
前記画像合成手段は、前記画像抽出処理において、前記シーン認識手段が認識したシーンに応じて、前記合成対象とする静止画像を抽出するための抽出期間を、前記選択された静止画像の取得時刻を基準にして異なる方法で設定することにより、前記決定方法を変更することを特徴とする画像再生装置。
【請求項５】
請求項４に記載の画像再生装置において、
前記画像合成手段は、前記シーン認識手段が打ち上げ花火のシーンを認識した場合と、前記シーン認識手段が流し撮りのシーンを認識した場合とで、前記抽出期間の設定方法を変更することを特徴とする画像再生装置。
【請求項６】
請求項５に記載の画像再生装置において、
前記画像合成手段は、
前記シーン認識手段が打ち上げ花火のシーンを認識した場合には、
前記選択された静止画像の取得時刻の前及び／又は後に、前記抽出期間として所定の期間を設定するとともに、前記抽出期間内に取得された複数の静止画像を、前記合成対象とする静止画像として抽出し、
前記シーン認識手段が流し撮りのシーンを認識した場合には、
前記選択された静止画像の取得時刻の前及び／又は後に、連続撮影時の前記撮像装置の動きに応じて前記抽出期間を設定するとともに、前記抽出期間内に取得された複数の静止画像を、前記合成対象とする静止画像として抽出することを特徴とする画像再生装置。
【請求項７】
請求項６に記載の画像再生装置において、
前記画像合成手段は、連続撮影時の前記撮像装置の動き量および焦点距離、または前記画像読み込み手段により読み込まれた複数の静止画像における背景の動き量に基づいて、前記撮像装置の動きを求めることを特徴とする画像再生装置。
【請求項８】
請求項３〜７のいずれか一項に記載の画像再生装置において、
前記画像合成手段は、前記画像補間処理において、前記シーン認識手段が認識したシーンに応じて、前記補間画像を生成するための生成条件を変更することにより、前記決定方法を変更することを特徴とする画像再生装置。
【請求項９】
請求項８に記載の画像再生装置において、
前記画像合成手段は、前記シーン認識手段が打ち上げ花火のシーンを認識した場合と、前記シーン認識手段が流し撮りのシーンを認識した場合とで、前記生成条件を変更することを特徴とする画像再生装置。
【請求項１０】
請求項９に記載の画像再生装置において、
前記画像合成手段は、
前記シーン認識手段が打ち上げ花火のシーンを認識した場合には、
前記２つの静止画像における取得時刻の間隔が所定時間以上であるという前記生成条件を満たすときに、前記補間画像を生成し、
前記シーン認識手段が流し撮りのシーンを認識した場合には、
前記２つの静止画像における背景の変位量が所定量以上であるという前記生成条件を満たすときに、前記補間画像を生成することを特徴とする画像再生装置。
【請求項１１】
請求項１〜１０のいずれか一項に記載の画像再生装置において、
前記選択された静止画像の前後に削除された画像があるか否かを判定する判定手段と、
前記判定手段により前記削除された画像があると判定された場合に、前記削除された画像に対応する補間画像を生成する画像補間手段とをさらに備え、
前記画像合成手段は、前記画像補間手段により生成された前記補間画像を前記合成対象とする静止画像に含めて前記合成画像を生成することを特徴とする画像再生装置。
【請求項１２】
請求項１１に記載の画像再生装置において、
前記判定手段は、前記選択された静止画像の前後に取得された静止画像のうちいずれかの取得時刻と、当該静止画像に隣接する静止画像の取得時刻との間隔が所定時間以上であるときに、前記削除された画像があると判定することを特徴とする画像再生装置。
【請求項１３】
請求項１〜１２のいずれか一項に記載の画像再生装置と、
被写体を連続撮影して時系列順に複数の静止画像を取得する撮像部とを備えることを特徴とする撮像装置。
【請求項１４】
撮像装置が行う連続撮影によって時系列順に取得された複数の静止画像を読み込み、
前記読み込まれた複数の静止画像のいずれかがユーザにより選択されると、選択された静止画像の前及び／又は後に取得された静止画像に基づいて合成対象とする静止画像を決定し、
前記選択された静止画像と前記決定した静止画像とを合成して合成画像を生成し、
前記生成された合成画像を表示モニタに表示させることを特徴とする画像再生方法。
【請求項１５】
表示モニタと操作部材が接続されたコンピュータにおいて実行される画像再生プログラムであって、
撮像装置が行う連続撮影によって時系列順に取得された複数の静止画像を前記コンピュータに読み込ませる画像読み込みステップと、
前記画像読み込みステップにより前記コンピュータに読み込まれた複数の静止画像のいずれかが前記操作部材を操作することでユーザに選択されると、前記コンピュータに対して、選択された静止画像の前及び／又は後に取得された静止画像に基づいて合成対象とする静止画像を決定し、前記選択された静止画像と前記決定した静止画像とを合成して合成画像を生成させる画像合成ステップと、
前記コンピュータに対して、前記画像合成ステップにより生成された前記合成画像を前記表示モニタに表示させる表示制御ステップとを有することを特徴とする画像再生プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、静止画像に基づいて画像を再生する技術に関する。
【背景技術】
【０００２】
従来、被写体を連続撮影できるデジタルカメラが公知である（たとえば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００２−２４７５９０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、連続撮影された静止画像を観賞する場合は、通常の静止画像とは異なる形態で表示することが好ましい場合がある。すなわち、通常の静止画像の鑑賞では像流れのない鮮明な画像が好まれる一方で、連続撮影された静止画像を観賞する場合は、像流れのある画像の方が画像に躍動感が生じるため、撮影時の様子を適切に表現できて好ましいことがある。そのため、連続撮影された静止画像を好ましい形態で表示することが要望されている。
【課題を解決するための手段】
【０００５】
本発明による画像再生装置は、撮像装置が行う連続撮影によって時系列順に取得された複数の静止画像を読み込む画像読み込み手段と、画像読み込み手段により読み込まれた複数の静止画像のいずれかがユーザにより選択されると、選択された静止画像の前及び／又は後に取得された静止画像に基づいて合成対象とする静止画像を決定し、選択された静止画像と決定した静止画像とを合成して合成画像を生成する画像合成手段と、画像合成手段により生成された合成画像を表示モニタに表示させる表示制御手段とを備える。
本発明による撮像装置は、画像再生装置と、被写体を連続撮影して時系列順に複数の静止画像を取得する撮像部とを備える。
本発明による画像再生方法は、撮像装置が行う連続撮影によって時系列順に取得された複数の静止画像を読み込み、読み込まれた複数の静止画像のいずれかがユーザにより選択されると、選択された静止画像の前及び／又は後に取得された静止画像に基づいて合成対象とする静止画像を決定し、選択された静止画像と決定した静止画像とを合成して合成画像を生成し、生成された合成画像を表示モニタに表示させる。
本発明による画像再生プログラムは、表示モニタと操作部材が接続されたコンピュータにおいて実行され、撮像装置が行う連続撮影によって時系列順に取得された複数の静止画像をコンピュータに読み込ませる画像読み込みステップと、画像読み込みステップによりコンピュータに読み込まれた複数の静止画像のいずれかが操作部材を操作することでユーザに選択されると、コンピュータに対して、選択された静止画像の前及び／又は後に取得された静止画像に基づいて合成対象とする静止画像を決定し、選択された静止画像と決定した静止画像とを合成して合成画像を生成させる画像合成ステップと、コンピュータに対して、画像合成ステップにより生成された合成画像を表示モニタに表示させる表示制御ステップとを有する。
【発明の効果】
【０００６】
本発明によれば、連続撮影された静止画像を好ましい形態で表示することができる。
【図面の簡単な説明】
【０００７】
【図１】一実施形態による電子カメラの構成を示すブロック図である。
【図２】一実施形態における再生モードでの動作を示すフローチャートである。
【図３】打ち上げ花火シーン用の合成対象画像決定処理での動作を示すフローチャートである。
【図４】流し撮りシーン用の合成対象画像決定処理での動作を示すフローチャートである。
【図５】補間画像での特徴点の決定方法の一例を示す説明図である。
【図６】補間画像での注目画素の決定方法の一例を示す説明図である。
【図７】（ａ）は選択画像の一例を示す図、（ｂ）は合成画像の一例を示す図である。
【発明を実施するための形態】
【０００８】
図１は本発明の一実施形態による撮像装置としての電子カメラの構成を示すブロック図である。この電子カメラは、撮像光学系１１と、レンズ駆動部１２と、撮像素子１３と、撮像素子駆動回路１４と、信号処理回路１５と、データ処理回路１６と、第１メモリ１７と、表示制御回路１８と、モニタ１９と、圧縮／伸長回路２０と、記録Ｉ／Ｆ（インターフェース）２１と、通信Ｉ／Ｆ（インターフェース）２２と、操作部材２３と、レリーズ釦２４と、振動センサ２５と、第２メモリ２６と、制御回路２７と、バス２８とを有している。
【０００９】
ここで、データ処理回路１６、第１メモリ１７、圧縮／伸長回路２０、第２メモリ２６および制御回路２７はそれぞれバス２８を介して相互に接続されている。また、レンズ駆動部１２、撮像素子駆動回路１４、信号処理回路１５、表示制御回路１８、記録Ｉ／Ｆ２１、通信Ｉ／Ｆ２２、操作部材２３、レリーズ釦２４、振動センサ２５は、それぞれ制御回路２７と接続されている（なお、図１では、信号処理回路１５および表示制御回路１８と制御回路２７との間を結ぶ信号線の図示は簡単のため省略する）。
【００１０】
撮像光学系１１は、ズームレンズやフォーカシングレンズを含む複数のレンズ群で構成されており、撮像素子１３の撮像面上に被写体像を結像させる役目を果たす。なお、簡単のため、図１では撮像光学系１１を１枚のレンズとして図示する。
【００１１】
撮像光学系１１の各々のレンズ位置は、レンズ駆動部１２によって光軸方向に調整される。このレンズ駆動部１２はレンズ駆動機構を含み、制御回路２７からのレンズ駆動指令に応じてレンズ位置を調整する。例えば、レンズ駆動部１２がフォーカスレンズを光軸方向に進退駆動することで、撮像光学系１１のフォーカス調整が行われる。また、レンズ駆動部１２がズームレンズを光軸方向に進退駆動することで、撮像光学系１１のズーム調整が行われる。
【００１２】
撮像素子１３は、撮像光学系１１を通過した光束による被写体像を光電変換してアナログの画像信号を生成する。本実施形態での撮像素子１３は、静止画像の単写撮影に加えて、１回の撮影指示で静止画像を所定の撮影間隔で連続的に撮影する連写撮影を行うことも可能である。この撮像素子１３の出力は信号処理回路１５に接続されている。なお、撮像素子１３は、ＣＣＤイメージセンサあるいはＣＭＯＳ型イメージセンサなどで構成される。
【００１３】
撮像素子駆動回路１４は、制御回路２７からの指令に応じて所定タイミングの駆動信号を生成し、この駆動信号を撮像素子１３に供給する。そして、撮像素子駆動回路１４は、上記の駆動信号によって、撮像素子１３の電荷蓄積（撮像）および蓄積電荷の読み出しを制御する。
【００１４】
信号処理回路１５は、撮像素子１３の出力に対して各種の信号処理を施すＡＳＩＣである。具体的には、信号処理回路１５は、相関二重サンプリング、ゲインの調整、直流再生、Ａ／Ｄ変換などを実行する。信号処理回路１５でのゲインの調整などのパラメータは、制御回路２７からの指令に応じて決定される。なお、信号処理回路１５はデータ処理回路１６に接続されており、上記信号処理後のデータはデータ処理回路１６に出力される。
【００１５】
データ処理回路１６は、信号処理回路１５から出力された画像のデータに対してデジタル信号処理を施す回路である。データ処理回路１６では、例えば、色補間処理、階調変換処理、輪郭強調処理、ホワイトバランス調整などの画像処理が実行される。このデータ処理回路１６は、表示制御回路１８および圧縮／伸長回路２０にそれぞれ接続されている。そして、データ処理回路１６は、制御回路２７からの指令に応じて、画像処理後の記録画像のデータを圧縮／伸長回路２０に出力する。
【００１６】
また、データ処理回路１６は、制御回路２７からの指令に応じて、画像の解像度変換（画素数変換）処理を実行する。一例として、モニタ１９に再生画像を表示する場合、データ処理回路１６は、再生表示しようとする画像のデータに対して、モニタ１９の画素数に合わせるための解像度変換（画素数変換）処理を実行する（なお、特に断りのないかぎり、本明細書でモニタ１９に画像を表示するときには、データ処理回路１６で表示画像の画素数調整が行われているものとする）。そして、データ処理回路１６は、解像度変換後の再生画像のデータを表示制御回路１８に出力する。また、電子ズーム処理を行う場合、データ処理回路１６は、入力される画像のデータに対して解像度変換（画素数変換）処理を実行し、解像度変換後の画像のデータを圧縮／伸長回路２０および表示制御回路１８にそれぞれ出力する。
【００１７】
第１メモリ１７は、データ処理回路１６または圧縮／伸長回路２０による処理の前工程や後工程などで画像のデータを一時的に記憶するバッファメモリである。
【００１８】
表示制御回路１８は、制御回路２７からの指令に応じて、データ処理回路１６から入力された画像のデータに所定の信号処理（例えば、モニタ１９の表示特性にあわせた階調特性の変換など）を施してモニタ１９へ出力する。表示制御回路１８は、さらに上記の画像のデータに撮影メニュー、カーソルなどのオーバーレイ画像データを重畳させる処理を行う。このような制御回路２７および表示制御回路１８の制御によって、オーバーレイ画像が重畳された被写体画像をモニタ１９に表示することができる。なお、本実施形態でのモニタ１９は、接眼部を有する電子ファインダや、カメラ筐体の背面などに設けられる液晶表示パネルのいずれで構成されていてもよい。
【００１９】
圧縮／伸長回路２０は、制御回路２７からの指令に応じて、データ処理回路１６から入力される画像のデータに所定の圧縮処理を施す。この圧縮／伸長回路２０は記録Ｉ／Ｆ２１に接続されており、圧縮後の画像のデータは記録Ｉ／Ｆ２１に出力される。また、圧縮／伸長回路２０は、圧縮後の画像のデータに対し、圧縮処理の逆処理である復号化処理を実行する。なお、本実施形態の圧縮／伸長回路２０は、可逆圧縮（いわゆるロスレス符号化）を行うことが可能な構成となっている。
【００２０】
記録Ｉ／Ｆ２１は、記憶媒体２９を接続するためのコネクタが形成されている。そして、記録Ｉ／Ｆ２１は、コネクタに接続された記憶媒体２９に対してデータの書き込み／読み込みを実行する。上記の記憶媒体２９は、小型ハードディスクや、半導体メモリを内蔵したメモリカードや、ＤＶＤなどの光ディスクなどで構成される。図１では記憶媒体２９の一例としてメモリカードを図示する。なお、記憶媒体２９は、電子カメラに内蔵されるものであってもよく、電子カメラに対して着脱可能に装着されるものであってもよい。また、画像のデータを読み書きする記憶媒体として、通信Ｉ／Ｆ２２を介して電気的に接続された外付けの記憶媒体を利用してもよい。
【００２１】
ここで、電子カメラの動作モードの１つである撮影モードにおいて撮像した画像のデータを記録する場合、制御回路２７は、記録画像に対応する再生画像をモニタ１９に表示させる。本明細書での記録画像とは、撮像により得られ、最終的に記憶媒体２９に記録されるべき（あるいは記憶媒体２９に記録された）静止画像データに対応する静止画像を意味するものとする。
【００２２】
なお、操作部材２３によるユーザの操作によって、記録画像の非圧縮記録が制御回路２７に指示されている場合、圧縮／伸長回路２０は圧縮処理を行なわずに、記録画像のデータを記録Ｉ／Ｆ２１に出力する。上記の非圧縮記録の場合にも、制御回路２７は、記録画像に対応する再生画像をモニタ１９に表示させる。
【００２３】
また、電子カメラの動作モードの１つである再生モードにおいて、制御回路２７は、記憶媒体２９に記憶されている画像のデータによる再生画像をモニタ１９に表示させる。この再生モードでは、記録Ｉ／Ｆ２１が、制御回路２７からの指令に応じて再生対象の画像のデータを記憶媒体２９から読み出す。そして、圧縮／伸長回路２０は、再生対象の画像のデータに対して復号化処理を施した上で、復号化後の画像のデータをデータ処理回路１６に送る。その後、データ処理回路１６および表示制御回路１８が復号化後の画像のデータに対して上述の処理を実行することで、モニタ１９には再生画像が表示される。なお、記憶媒体２９から非圧縮の画像データが読み出された場合には、圧縮／伸長回路２０は復号化処理を行わずに画像のデータをデータ処理回路１６に送る。
【００２４】
通信Ｉ／Ｆ２２は、有線または無線による公知の通信規格の仕様に準拠して、外部装置３０（例えば、パーソナルコンピュータや外付けの記憶媒体）とのデータ送受信を制御する。電子カメラと外部装置３０との通信は、有線または無線の通信回線を介して行われる。
【００２５】
操作部材２３は、例えば、コマンドダイヤル、十字状のカーソルキー、ズーム操作釦、決定釦などで構成される。そして、操作部材２３は電子カメラの各種入力をユーザから受け付ける。なお、操作部材２３には、後述する補間画像を生成するフレーム数を設定する設定部材を設けるようにしてもよい。
【００２６】
一例として、制御回路２７は、ズーム操作釦からの入力を受け付けるとズームレンズについてのレンズ駆動指令を出力し、レンズ駆動部１２にズームレンズを進退駆動させる。これにより、撮像素子１３の撮像面上に結像される被写体像が拡大もしくは縮小して撮像光学系１１による光学的なズーム調整が行われる。
【００２７】
また、制御回路２７は、さらにズーム操作釦からの入力を受け付けるとデータ処理回路１６に指令を出力し、画像のデータに対する解像度変換処理の変換比率をユーザの操作に応じて変化させる。これにより、モニタ１９に表示される画像が拡大もしくは縮小して電子的なズーム調整が行われる（電子ズーム）。上記の解像度変換処理の変換比率は、電子ズーム倍率に対応する。データ処理回路１６が電子ズーム倍率を高める方向に変換比率を変える場合、モニタ１９には再生画像の一部が拡大されて表示される（拡大率が上がる反面、再生画像の表示範囲は狭くなる）。一方、データ処理回路１６が電子ズーム倍率を低くする方向に変換比率を変える場合、モニタ１９に表示される再生画像の拡大率は低くなるが、再生画像の表示範囲は広くなる。なお、上記の撮影モードでは、モニタ１９の表示画像に対応する撮像画像のデータを記憶媒体２９に記録することができる。
【００２８】
レリーズ釦２４は、撮影モードにおいて、半押し操作による撮影前のオートフォーカス（ＡＦ）動作開始の指示入力と、全押し操作による撮像動作開始の指示入力とをユーザから受け付ける。
【００２９】
制御回路２７は、レリーズ釦２４の半押し操作に応じて、公知のコントラスト検出方式のＡＦ動作を実行する。このＡＦでは、撮像素子１３から読み出される画像信号のなかで、撮影画面内に予め設定されているフォーカス検出領域に対応する信号が用いられる。具体的には、信号処理回路１５によって信号処理された画像のデータのうち、フォーカス検出領域に対応するデータについての高周波数成分の積算値（いわゆる焦点評価値）を最大にするように、制御回路２７はフォーカスレンズのレンズ駆動指令をレンズ駆動部１２に送る。焦点評価値を最大にするフォーカスレンズの位置は、撮像素子１３によって撮像される被写体像のエッジのぼけをなくし、画像のコントラストを最大にする（尖鋭度を高める）合焦位置である。
【００３０】
振動センサ２５は、電子カメラの筐体の振れを直交する２方向について検出する。この振動センサ２５は、例えば角速度センサやジャイロセンサなどで構成され、電子カメラの筐体内に配置される。振動センサ２５は、撮影モードにおいて電子カメラに加わる振れを検知し、直交する２方向の振れ量データを制御回路２７に出力する。制御回路２７は、上記の振れ量データに基づいて手ブレ補正を実行する。例えば、撮像光学系１１にブレ補正レンズがある場合、制御回路２７は、筐体の振れに伴う撮像面上での被写体の移動が打ち消されるように、レンズ駆動部１２を介してブレ補正レンズを駆動させることで手ブレ補正を行う。
【００３１】
第２メモリ２６は、フラッシュメモリ等の不揮発性の記憶媒体である。この第２メモリ２６には、各種の設定データなどが記憶されている。
【００３２】
制御回路２７は、電子カメラの動作を統括的に制御するプロセッサである。例えば、制御回路２７は、撮像素子１３から出力される信号から被写界の明るさを求める。そして、制御部は、上記の明るさの情報に基づいて公知のＡＥ演算を実行し、撮影モードでの撮像条件（撮像素子１３の電荷蓄積時間、絞り（不図示）の絞り値、画像信号の増幅度）を決定する。
【００３３】
また、制御回路２７は、第２メモリ２６等に記憶されたプログラムを実行することで、補間画像の生成処理や、時間方向の画像加算による合成処理などを実行する（これらの処理については後述する）。
【００３４】
以下、本実施形態の電子カメラの再生モードにおける動作を説明する。
【００３５】
図２は、本実施形態の電子カメラにおける再生モードでの動作を示すフローチャートである。この再生モードでは、連写撮影された静止画像ファイルが再生対象となる場合を前提として説明を行う。なお、本実施形態の電子カメラは、連写撮影モードを設定することにより連写撮影を行うことができる。連写撮影モードは、撮影モードの１つであって、レリーズ釦２４が押圧されている間、電子カメラが所定の時間間隔で静止画像の撮像動作を連続的に実行するモードである。連写撮影モードでの制御回路２７は、連写撮影される各々の記録画像が静止画としての鑑賞に耐えうるように撮像条件を決定する。例えば、制御回路２７は、絞りを絞って被写界深度を深くする。また、本フローチャートの処理は、ユーザが操作部材２３を操作して画像再生指示が行われることにより開始される。
【００３６】
ステップＳ１において、制御回路２７は、連写撮影された画像ファイルを記憶媒体２９から読み込む。これにより、制御回路２７は、本実施形態の電子カメラが行う連続撮影によって時系列順に取得された複数の静止画像を読み込む。そして、圧縮／伸長回路２０は、制御回路２７の指令に応じて、画像ファイル内の画像データの復号化処理を実行し、データ処理回路１６へ出力する。
【００３７】
ステップＳ２において、制御回路２７は、ステップＳ１で読み込んだ各画像ファイルをモニタ１９においてサムネイル表示する。このとき、制御回路２７の制御に応じて、ステップＳ１で読み込んだ各画像ファイルのサムネイル画像データがデータ処理回路１６から表示制御回路１８へ出力される。
【００３８】
ステップＳ３において、制御回路２７は、ステップＳ１で読み込んだ各画像ファイルのうちいずれかの画像ファイルをユーザの指示に応じて選択する。このときユーザは、操作部材２３の選択操作により、ステップＳ２でサムネイル表示された画像ファイルのいずれかを選択対象の画像ファイルとして指定することができる。
【００３９】
ステップＳ４において、制御回路２７は、ステップＳ３で選択した画像ファイルと、その前後の所定の取得期間以内に取得された画像ファイルとを対象として、これらの各画像ファイルのうち時間軸方向に隣接する２つの画像ファイルにおける画像間での被写体の動きベクトルを求める。例えば、制御回路２７は、１６×１６画素のマクロブロック単位で画像間の被写体の動きを抽出し、この結果から画像間での被写体の動きベクトルを求める。なお、ステップＳ４において動きベクトルの算出対象とする画像ファイルの取得期間は、後述する図３のステップＳ１００または図４のステップＳ２０１において設定する抽出期間よりも長くすることが好ましい。あるいは、ステップＳ１で読み込んだ画像ファイルの全てを対象として動きベクトルを算出してもよい。
【００４０】
ステップＳ５において、制御回路２７は、ステップＳ４で求めた動きベクトルに基づいて、連写撮影で取得された各画像ファイルによって表されるシーン、たとえば撮影された情景や撮影時の状況などを認識するためのシーン認識を行う。このシーン認識では、制御回路２７は、被写界を撮像した際の撮像画面上に所定量以上の動きのある被写体が存在するシーン、すなわちステップＳ４で求めた動きベクトルの大きさが所定量以上であるシーンを、画像合成が必要な特定のシーンとして認識する。反対に、動きベクトルの大きさが所定量未満である場合は、当該動画像において画像合成が必要な特定のシーンが撮影されていないと認識する。これにより、ステップＳ１で読み込んだ各静止画像が取得されたシーンが認識される。
【００４１】
なお、本実施形態のステップＳ５において、制御回路２７は、動きベクトルの大きさに加えて、動きベクトルの向き、記録画像の全体の明るさ、被写体の輝度、被写体の大きさ等を考慮して動画像のシーンを認識してもよい。打ち上げ花火を撮影したときに、当該撮影シーンを特定のシーンとして認識する場合などは、このようなシーン認識の方法が特に有効である。
【００４２】
たとえば、記録画像全体の明るさが夜景に相当する程度の明るさ（暗さ）であり、被写体の輝度が所定値以上であり、被写体の大きさが所定値以下であったとする。さらに、こうした条件を満たす被写体が記録画像中に複数存在し、それぞれの動きベクトルが記録画像中で放射状に配置されていたとする。このような場合、制御回路２７は、撮影されたシーンを打ち上げ花火のシーンとして認識する。なお、この場合の各被写体は打ち上げ花火の各々の輝点ということになる。
【００４３】
また、本実施形態のステップＳ５では、制御回路２７は、動きベクトルに加えて、電子カメラの動きを考慮して動画像のシーンを認識してもよい。流し撮りをしたとき、すなわち電子カメラを上下や左右に動かしながら撮影したときに、当該撮影シーンを特定のシーンとして認識する場合などは、このようなシーン認識の方法が特に有効である。この際の電子カメラの動きは、振動センサ２５により検出された振れの方向と量から判断することができる。
【００４４】
なお、以下の説明において、制御回路２７は、上記の打ち上げ花火のシーンまたは流し撮りのシーンが撮影されているときに、これを特定のシーンとして認識するものとする。しかし、打ち上げ花火や流し撮りのシーンはあくまで一例であって、制御回路２７が特定のシーンとして認識するシーンはこれに限定されない。少なくとも動きベクトルに基づいて認識可能なシーンであれば、どのようなシーンを特定のシーンとして認識してもよい。
【００４５】
あるいは、ステップＳ３で選択した画像ファイルが所定の条件を満たす場合は、画像合成が不要なシーンであると認識してもよい。たとえば、露出などを変化させて連写したオートブラケティング用の撮影画像がステップＳ３で選択された場合は、画像合成が不要なシーンであると認識することができる。
【００４６】
ステップＳ６において、制御回路２７は、ステップＳ５のシーン認識の結果に基づいて、ステップＳ１で読み込んだ各画像ファイルが連写撮影で取得されたシーンが特定のシーンであるか否か、すなわち上記の打ち上げ花火のシーンまたは流し撮りのシーンのいずれかであるか否かを判定する。これにより、特定のシーンであると判定した場合はステップＳ７へ進み、特定のシーンではないと判定した場合はステップＳ８へ進む。
【００４７】
ステップＳ７において、制御回路２７は、ステップＳ１で読み込んだ各画像ファイルを撮影した際の連写間隔情報を取得する。この連写間隔情報は、電子カメラが連写撮影モードにおいて画像ファイルと共に記録したものを読み出すことで取得してもよい。あるいは、電子カメラの型名や、画像ファイルの解像度（画素数）などに応じて、連写間隔を判別してもよい。ステップＳ７を実行したらステップＳ９へ進む。
【００４８】
ステップＳ８において、制御回路２７は、通常の画像再生を行う。すなわち、データ処理回路１６および表示制御回路１８を介して、ステップＳ３で選択した画像ファイルをモニタ１９に再生表示する。ステップＳ８を実行したら、制御回路２７は図２のフローチャートを終了する。これにより、特定シーンでない静止画像が選択された場合は、通常の再生表示を行う。
【００４９】
ステップＳ９において、制御回路２７は、ステップＳ３で選択した画像ファイルの前後に削除画像、すなわち連写撮影後にユーザによって削除された画像ファイルがあるか否かを判定する。この判定は、ステップＳ３で選択した画像ファイルの前後に取得された各画像ファイルのうちいずれかの取得時刻と、当該画像ファイルと時間軸方向に隣接する画像ファイルの取得時刻との間隔が、判定しきい値として予め定めた所定の時間以上であるか否かを判別することによって行われる。すなわち、隣接する画像ファイルとの取得時刻間隔が所定の判定しきい値以上である画像ファイルがある場合は、削除画像があると判定してステップＳ１０へ進む。一方、判定対象の全ての画像ファイルについて、隣接する画像ファイルとの取得時刻間隔が所定の判定しきい値未満である場合は、削除画像がないと判定してステップＳ１１へ進む。なお、この判定しきい値は、ステップＳ７で取得した連写間隔情報に基づいて設定してもよい。
【００５０】
上記ステップＳ９の判定は、ステップＳ１で読み込んだ画像ファイルの全てを判定対象として行ってもよい。あるいは、一部の画像ファイルのみを判定対象としてもよい。たとえば、ステップＳ４において動きベクトルの算出対象とした画像ファイルのみを判定対象としてステップＳ９の判定を行ってもよい。
【００５１】
ステップＳ１０において、制御回路２７は、削除画像に対応する補間画像を生成する。ここで生成された補間画像は、後述するステップＳ１４の画像合成において、合成対象とする画像ファイルの一部として利用することができる。なお、補間画像の画素数は、ステップＳ１で読み込んだ各画像ファイルと同じ画素数に設定される。また、本実施形態での制御回路２７は、被写体像の変形を伴う幾何学的なモーフィング処理や、被写体像が変形せずに移動するモーフィング処理を行って、静止画像としての補間画像を生成する。
【００５２】
具体的には、制御回路２７は、以下の（イ）から（ト）の手順で補間画像を生成する。ここで、ステップＳ９において取得時刻間隔が判定しきい値以上であると判定された隣接する２つの画像ファイルの間に生成される補間画像の数は、当該２つの画像ファイルの取得時刻間隔に応じて制御回路２７が変更する。なお、以下の例では、簡単のため、２つの画像ファイルの間に２つの補間画像を挿入する場合について説明する。
【００５３】
（イ）制御回路２７は、時間軸方向に隣接する２つの画像ファイルを指定する。
【００５４】
（ロ）制御回路２７は、上記（イ）で指定された隣接する２つの画像ファイルにそれぞれ含まれる特徴点を求め、その対応付けを行う。特徴点は、隣接する２つの画像ファイルのデータに対してそれぞれエッジ成分を抽出することで、例えば抽出したエッジの交点（コーナー）の位置として求められる。そして、これらの特徴点のマッチング処理を実行して、各々の特徴点の対応関係を求める。
【００５５】
（ハ）制御回路２７は、上記（ロ）で対応付けした一対の特徴点の位置を空間方向に結ぶ関数（モーフィング動作における特徴点の移動軌跡）を求める。ここで、上記の関数は、一対の特徴点を直線で結ぶものであってもよく、あるいは一対の特徴点をスプライン曲線などで結ぶものであってもよい。なお、制御回路２７は、２つの画像ファイル間で対応付けができた全ての特徴点について上記の関数を求める。
【００５６】
（ニ）制御回路２７は、上記（ハ）で求めた関数によって、補間画像における特徴点の位置を決定する。具体的には、制御回路２７は、補間画像の挿入数に応じて上記の関数と一対の特徴点とで定義された区間を内分し、この内分点の位置を補間画像の特徴点の位置とする。
【００５７】
図５は、補間画像での特徴点の決定方法の一例を示す説明図である。図５の例では、第１画像ファイルの特徴点Ａ，Ｂ，Ｃに対して、第２画像ファイルの特徴点Ｄ，Ｅ，Ｆがそれぞれ対応する。そして、第１特徴点Ａ，Ｄを結ぶ一次関数の区間を３つに内分する点（Ｇ，Ｊ）の位置が、各々の補間画像における第１特徴点の位置となる。なお、補間画像における第２特徴点の位置（Ｈ，Ｋ）および第３特徴点の位置（Ｉ，Ｌ）についても、上記の第１特徴点の場合と同様の手順で求めることができる。
【００５８】
（ホ）制御回路２７は、中間画像において特徴点以外の注目画素の位置をそれぞれ求める。具体的には、制御回路２７は、隣接する２つの画像ファイルにおける注目画素の位置を特徴点を結ぶベクトルで定義する。そして、制御回路２７は、上記のベクトルの定義に基づいて、補間画像上での注目画像の位置を求める。
【００５９】
図６は、補間画像での注目画素の決定方法の一例を示す説明図である。
【００６０】
隣接する２つの画像ファイルにおいて、特徴点Ａ，Ｂ，Ｃと注目画素Ｐとがあるときに、特徴点Ａと注目画素Ｐとを結ぶベクトルＰは、特徴点Ａ，Ｂ間を結ぶベクトルＸと、特徴点Ａ，Ｃ間を結ぶベクトルＹとの関係により、以下の式（１）のように定義できる。
【００６１】
【数１】
2010273268.tif 000003
（１）
ただし、式（１）において、ａ，ｂは係数である。
【００６２】
一方、補間画像において、特徴点Ａ，Ｂ，Ｃとそれぞれ対応関係を有する特徴点Ａ’，Ｂ’，Ｃ’の位置が既知であるときに、補間画像で注目画素Ｐに対応する注目画素Ｐ’の位置は、以下のようにして求めることができる。すなわち、特徴点Ａ’と注目画素Ｐ’とを結ぶベクトルＰ’は、特徴点Ａ’，Ｂ’間を結ぶベクトルＸ’と、特徴点Ａ’，Ｃ’間を結ぶベクトルＹ’との関係により、以下の式（２）で求めることができる。
【００６３】
【数２】
2010273268.tif 000004
（２）
【００６４】
したがって、制御回路２７は、上記の方法で補間画像における各々の注目画素の位置を求めることができる。
【００６５】
（ヘ）制御回路２７は、補間画像における各画素の階調値の変化を求める。具体的には、第１に、制御回路２７は、隣接する２つの画像ファイル間において対応関係を有する画素（注目画素）の階調値をそれぞれ求める。第２に、制御回路２７は、２つの階調値の区間を補間画像の挿入数に応じて内分し、補間画像における注目画素の階調値を求める。一例として、隣接する２つの画像ファイルで注目画素の階調値がそれぞれ１３０，１３６であるときに、制御回路２７は、階調値１３０〜１３６の区間を３つに内分する点を求める。そして、制御回路２７は、上記の内分点に対応する階調値（１３２，１３４）を、各々の補間画像での注目画素の階調値とする。なお、制御回路２７は、上記の階調値をＲＧＢまたはＹＣｂＣｒのそれぞれの値について求める。
【００６６】
（ト）制御回路２７は、上記の工程で生成された補間画像を第１メモリ１７または第２メモリ２６に記録する。そして、制御回路２７は、上記（イ）で指定した隣接する２つの画像ファイルを変更して、上記（ロ）から（へ）までの処理を繰り返す。これにより、制御回路２７は、ステップＳ９において取得時刻間隔が判定しきい値以上であると判定された全ての画像ファイルの組について、その間の削除画像に対応する補間画像をそれぞれ生成する。
【００６７】
なお、以上説明したようにして生成した補間画像のファイルを記憶媒体２９に記録しておき、後で図２の再生モードを実行した場合にも利用できるようにしてもよい。この場合、補間画像のファイルは、他の画像ファイルと区別して記憶媒体２９に記録することが好ましい。これにより、補間画像ファイルを通常の画像再生などの対象から除外して、画像合成の対象にのみ利用することができる。
【００６８】
ステップＳ１１において、制御回路２７は、ステップＳ５のシーン認識の結果に基づいて、ステップＳ６で判定された特定シーンの種類を判定する。すなわち、打ち上げ花火のシーンと流し撮りのシーンのいずれであるかを判定する。打ち上げ花火のシーンである場合はステップＳ１２へ進み、流し撮りのシーンである場合はステップＳ１３へ進む。
【００６９】
ステップＳ１２において、制御回路２７は、打ち上げ花火シーン用の合成対象画像決定処理を行う。この処理の具体的な内容は、後で図３により詳しく説明する。ステップＳ１２を実行したら、制御回路２７はステップＳ１４へ進む。
【００７０】
一方、ステップＳ１３において、制御回路２７は、流し撮りシーン用の合成対象画像決定処理を行う。この処理の具体的な内容は、後で図４により詳しく説明する。ステップＳ１３を実行したら、制御回路２７はステップＳ１４へ進む。
【００７１】
上記のステップＳ１２またはステップＳ１３のいずれかの処理を行うことにより、制御回路２７は、ステップＳ３で選択した画像ファイルの前後に取得された静止画像の画像ファイルに基づいて、合成対象とする静止画像の画像ファイルを決定することができる。
【００７２】
ステップＳ１４において、制御回路２７は、ステップＳ３で選択した画像ファイルと、ステップＳ１２またはＳ１３で決定された合成対象の画像ファイルとを合成して、合成画像を生成する。ここでは、選択画像ファイルと合成対象画像ファイルの各画素値をそれぞれの加算比率に応じて合計することで、合成画像を生成する。なお、ステップＳ１０で生成された補間画像のうちで、後述のステップＳ１００またはＳ２０１において設定される抽出期間内に対応するものがある場合は、その補間画像も合成対象に含めて合成画像を生成するようにする。こうして合成画像を生成することで、特定シーンの静止画像に適した像流れを再現することができる。
【００７３】
なお、ステップＳ１４で合成画像を生成する際は、合成対象の画像ファイルの数に応じて各画像ファイルの加算比率を設定することが好ましい。たとえば、合成対象画像ファイルが選択画像ファイルの前後に１つずつある場合、選択画像ファイルの加算比率を０．５に、合成対象画像ファイルの加算比率を０．２５にそれぞれ設定する。すなわち、時間軸方向に表記すると、各画像ファイルの加算比率を「０．２５：０．５：０．２５」に設定する。一方、合成対象画像ファイルが選択画像ファイルの前後に２つずつある場合、選択画像ファイルの加算比率を０．４に、選択画像ファイルに隣接する合成対象画像ファイルの加算比率を０．２に、その前後の合成対象画像ファイルの加算比率を０．１にそれぞれ設定する。すなわち、時間軸方向に表記すると、各画像ファイルの加算比率を「０．１：０．２：０．４：０．２：０．１」に設定する。なお、ここで挙げた加算比率は一例であるため、他の加算比率を設定してもよい。
【００７４】
ここで、図７（ａ）に選択画像の一例を示す。また、図７（ｂ）では、図７（ａ）の選択画像とその前後に取得された画像とを合成することによって生成された合成画像の一例を示す。この図７（ｂ）の例では、合成対象とする画像ファイルが選択画像ファイルの前後に２つずつあって、上記のように時間軸方向で表記したときの各画像ファイルの加算比率が「０．１：０．２：０．４：０．２：０．１」となる場合の例を示している。合成画像は、表示の核となる選択画像に対して時間軸方向で過去の画像と未来の画像とが加算されるため、画像上に像流れが発生する。そのため、打ち上げ花火や流し撮りのシーンにおける静止画像として観賞したときに好ましい画像となる。
【００７５】
ステップＳ１５において、制御回路２７は、データ処理回路１６および表示制御回路１８を介して、ステップＳ１４で生成した合成画像をモニタ１９に再生表示する。ステップＳ１５を実行したら、制御回路２７は図２のフローチャートを終了する。
【００７６】
次に、ステップＳ１２で実行される打ち上げ花火シーン用の合成対象画像決定処理について説明する。図３は、打ち上げ花火シーン用の合成対象画像決定処理での動作を示すフローチャートである。
【００７７】
ステップＳ１００において、制御回路２７は、図２のステップＳ１で読み込んだ画像ファイルの中から合成対象とする画像ファイルを抽出するための所定の抽出期間を設定する。ここでは、図２のステップＳ３で選択した画像ファイルの取得時刻を基準にして、その前後の所定の期間を抽出期間として設定する。たとえば、選択画像ファイルの取得時刻の前および後の２秒間、合計４秒間の期間を抽出期間として設定する。
【００７８】
ステップＳ１０１において、制御回路２７は、ステップＳ１で読み込んだ画像ファイルの中から、その取得時刻がステップＳ１００で設定した抽出期間内である画像ファイルを抽出する。すなわち、抽出期間として設定した所定の期間内に取得された複数の静止画像を、図２のステップＳ１４での合成対象とする静止画像として抽出する。
【００７９】
ステップＳ１０２において、制御回路２７は、補間画像を生成するための生成条件として、ステップＳ１０１で抽出した各画像ファイルのうち隣接する２つの画像ファイルにおける取得時刻間隔が所定時間以上、たとえば０．５秒以上であるか否かを判定する。この生成条件を満たす場合はステップＳ１０３へ進み、満たさない場合は図３のフローチャートを終了して図２のステップＳ１４へ進む。
【００８０】
ステップＳ１０３において、制御回路２７は、ステップＳ１０２で取得時刻間隔が所定時間以上と判定された２つの画像ファイル間に補間画像を生成する。ここでは、図２のステップＳ１０で説明したのと同様の方法により、静止画像としての補間画像を生成する。生成された補間画像は、ステップＳ１０１で抽出された画像ファイルと同様に、図２のステップＳ１４での合成対象とされる。取得時刻間隔が所定時間以上である全ての画像ファイルの組に対して補間画像を生成したら、図３のフローチャートを終了して図２のステップＳ１４へ進む。
【００８１】
上記のように、ステップＳ１０１において取得時刻が抽出期間内である静止画像ファイルを合成対象として抽出すると共に、ステップＳ１０３において合成対象とする静止画像としての補間画像を生成することにより、打ち上げ花火シーンにおける合成対象画像が決定される。
【００８２】
なお、ステップＳ１００およびＳ１０１の処理と、ステップＳ１０２およびＳ１０３の処理とは、いずれか一方のみを実行するようにしてもよい。たとえば、図２のステップＳ１０で生成した補間画像との重複を避けるために、ステップＳ１０２およびＳ１０３の処理を実行しないようにしてもよい。
【００８３】
次に、図２のステップＳ１３で実行される流し撮りシーン用の合成対象画像決定処理について説明する。図４は、流し撮りシーン用の合成対象画像決定処理での動作を示すフローチャートである。
【００８４】
ステップＳ２００において、制御回路２７は、図２のステップＳ１で読み込んだ画像ファイルを連続撮影した際の電子カメラの動きを算出する。ここでいう電子カメラの動きは、各画像ファイル間の画角移動量に相当するものであって、連写時にどれだけ撮影方向が変化したかを表す。この電子カメラの動きは、連写時の電子カメラの動き量（振れ量）および撮像光学系１１の焦点距離に基づいて求めることができる。なお、これらの情報は、連写時に振動センサ２５により検出された振れ量のデータと撮像光学系１１の焦点距離とを画像ファイルと共に記憶媒体２９に記録しておくことで、画像ファイルの読み込み時に合わせて取得することができる。
【００８５】
あるいは、読み込んだ複数の画像ファイルにおける背景の動き量を算出し、これに基づいて電子カメラの動きを求めることとしてもよい。背景の動き量は、図２のステップＳ４で求めた動きベクトルから算出することができる。すなわち、ステップＳ４で各被写体について求めた動きベクトルのうち、背景に相当する被写体の動きベクトルに基づいて、背景の動き量を決定することができる。このとき、主要被写体の位置を画像間で合わせたときの背景の変位量を求めるために、主要被写体の動きベクトルに基づいて背景の動きベクトルを補正してもよい。
【００８６】
ステップＳ２０１において、制御回路２７は、図２のステップＳ１で読み込んだ画像ファイルの中から合成対象とする画像ファイルを抽出するための所定の抽出期間を設定する。ここでは、図２のステップＳ３で選択した画像ファイルの取得時刻を基準にして、その前後に、ステップＳ２００で算出した電子カメラの動きに応じた期間を抽出期間として設定する。このとき、電子カメラの動きが大きいほど抽出期間を長く設定することが好ましい。たとえば、電子カメラの動きが所定量未満の場合は、選択画像ファイルの取得時刻の前および後の０．５秒間、合計１秒間の期間を抽出期間として設定する一方で、電子カメラの動きが所定量以上の場合は、選択画像ファイルの取得時刻の前および後の１秒間、合計２秒間の期間を抽出期間として設定する
【００８７】
ステップＳ２０２において、制御回路２７は、ステップＳ１で読み込んだ画像ファイルの中から、その取得時刻がステップＳ２０１で設定した抽出期間内である画像ファイルを抽出する。すなわち、連続撮影時の電子カメラの動きに応じて設定した抽出期間内に取得された複数の静止画像を、図２のステップＳ１４での合成対象とする静止画像として抽出する。
【００８８】
ステップＳ２０３において、制御回路２７は、補間画像を生成するための生成条件として、ステップＳ２０２で抽出した各画像ファイルのうち隣接する２つの画像ファイルにおける背景の変位量が所定量以上であるか否かを判定する。ここで、背景の変位量は、前述のステップＳ２００で説明したように、主要被写体の動きベクトルに基づいて背景の動きベクトルを補正することで求めることができる。この生成条件を満たす場合はステップＳ２０４へ進み、満たさない場合は図４のフローチャートを終了して図２のステップＳ１４へ進む。
【００８９】
ステップＳ２０４において、制御回路２７は、ステップＳ２０３で背景の変位量が所定量以上であると判定された２つの画像ファイル間に補間画像を生成する。ここでも図３のステップＳ１０３と同様に、図２のステップＳ１０で説明した方法により、静止画像としての補間画像を生成する。生成された補間画像は、ステップＳ２０２で抽出された画像ファイルと同様に、図２のステップＳ１４での合成対象とされる。背景の変位量が所定量以上である全ての画像ファイルの組に対して補間画像を生成したら、図４のフローチャートを終了して図２のステップＳ１４へ進む。
【００９０】
上記のように、ステップＳ２０２において取得時刻が抽出期間内である静止画像ファイルを合成対象として抽出すると共に、ステップＳ２０４において合成対象とする静止画像としての補間画像を生成することにより、流し撮りシーンにおける合成対象画像が決定される。
【００９１】
なお、ステップＳ２００、Ｓ２０１およびＳ２０２の処理と、ステップＳ２０３およびＳ２０４の処理とは、いずれか一方のみを実行するようにしてもよい。たとえば、図２のステップＳ１０で生成した補間画像との重複を避けるために、ステップＳ２０３およびＳ２０４の処理を実行しないようにしてもよい。
【００９２】
以上説明したように、制御回路２７は、図２のステップＳ５で認識したシーンに応じて、図３に示した打ち上げ花火シーン用の合成対象画像決定処理、または図４に示した流し撮りシーン用の合成対象画像決定処理のいずれかを実行する。すなわち、打ち上げ花火のシーンを認識した場合は、図３のステップＳ１００で説明した方法で抽出期間を設定して、その抽出期間内の画像ファイルをステップＳ１０１で抽出すると共に、ステップＳ１０２で説明した生成条件を満たすときに、ステップＳ１０３で補間画像を生成する。一方、流し撮りのシーンを認識した場合は、図４のステップＳ２０１で説明した方法で抽出期間を設定して、その抽出期間内の画像ファイルをステップＳ２０２で抽出すると共に、ステップＳ２０３で説明した生成条件を満たすときに、ステップＳ２０４で補間画像を生成する。これにより、打ち上げ花火のシーンを認識した場合と、流し撮りのシーンを認識した場合とで、抽出期間の設定方法と、補間画像の生成条件とを変更することができる。すなわち、ステップＳ１４で合成対象とする静止画像の決定方法をシーンに応じて変更することができる。
【００９３】
以上説明した実施の形態によれば、次の作用効果を奏することができる。
（１）電子カメラは、制御回路２７の処理により、連続撮影によって時系列順に取得された複数の静止画像を記憶媒体２９から読み込む（ステップＳ１）。こうして読み込まれた複数の静止画像のいずれかがユーザにより選択されると（ステップＳ３）、選択された静止画像の前後に取得された静止画像に基づいて合成対象とする静止画像を決定する（ステップＳ１２、Ｓ１３）。そして、ステップＳ３で選択された静止画像と、ステップＳ１２またはＳ１３で決定した静止画像とを合成して、合成画像を生成し（ステップＳ１４）、この合成画像をモニタ１９に表示させる（ステップＳ１５）。このようにしたので、連続撮影された静止画像を、その画像にとって好ましい形態で再生表示することができる。
【００９４】
（２）電子カメラは、制御回路２７の処理により、ステップＳ１で読み込んだ複数の静止画像が取得されたシーンを認識する（ステップＳ５）。こうして認識したシーンに応じて、制御回路２７は、ステップＳ１２またはＳ１３のいずれかを実行することで、ステップＳ１４で合成対象とする静止画像の決定方法を変更する。このようにしたので、連続撮影時のシーンや被写体に応じて好ましい合成画像を生成することができる。
【００９５】
（３）制御回路２７は、ステップＳ１２、Ｓ１３において、ステップＳ３で選択された静止画像の前後に取得された静止画像の中から、ステップＳ１４で合成対象とする静止画像を抽出する処理（ステップＳ１０１、Ｓ２０２）、および、ステップＳ３で選択された静止画像の前後に取得された静止画像のうち隣接する２つの静止画像の間に、ステップＳ１４で合成対象とする静止画像としての補間画像を生成する処理（ステップＳ１０３、Ｓ２０４）、の少なくともいずれか一方を行うことにより、ステップＳ１４で合成対象とする静止画像を決定する。このようにしたので、読み込んだ複数の静止画像の中から、合成対象としてふさわしい静止画像を決定することができる。
【００９６】
（４）制御回路２７は、ステップＳ５で認識したシーンに応じて、ステップＳ１０１またはＳ２０２において静止画像を抽出するための抽出期間を、ステップＳ３で選択された静止画像の取得時刻を基準にして異なる方法で設定することにより、ステップＳ１４で合成対象とする静止画像の決定方法を変更する。具体的には、打ち上げ花火のシーンを認識した場合と、流し撮りのシーンを認識した場合とで、抽出期間の設定方法を変更する。すなわち、打ち上げ花火のシーンを認識した場合には、ステップＳ３で選択された静止画像の取得時刻の前後に、抽出期間として所定の期間を設定する（ステップＳ１００）とともに、この抽出期間内に取得された複数の生成画像を、ステップＳ１４で合成対象とする静止画像として抽出する（ステップＳ１０１）。一方、流し撮りのシーンを認識した場合には、ステップＳ３で選択された静止画像の取得時刻の前後に、連続撮影時の電子カメラの動きに応じて抽出期間を設定する（ステップＳ２０１）とともに、この抽出期間内に取得された複数の生成画像を、ステップＳ１４で合成対象とする静止画像として抽出する（ステップＳ２０２）。このようにしたので、連続撮影時のシーンの種類に応じて抽出期間を適切に設定して、その抽出期間内で取得された静止画像を合成対象画像として抽出することができる。
【００９７】
（５）制御回路２７は、連続撮影時の電子カメラの動き量および焦点距離、またはステップＳ１で読み込まれた複数の静止画像における背景の動き量に基づいて、電子カメラの動きを求めることができる（ステップＳ２００）。こうして求めた電子カメラの動きに応じて、ステップＳ２０１において抽出期間を設定することとしたので、連続撮影時の電子カメラの動きを正確に再現して最適な抽出期間を設定することができる。
【００９８】
（６）また制御回路２７は、ステップＳ５で認識したシーンに応じて、ステップＳ１０３またはＳ２０４において補間画像を生成するための生成条件を変更することにより、ステップＳ１４で合成対象とする静止画像の決定方法を変更する。具体的には、打ち上げ花火のシーンを認識した場合と、流し撮りのシーンを認識した場合とで、生成条件を変更する。すなわち、打ち上げ花火のシーンを認識した場合には、前後に隣接する２つの静止画像における取得時刻の間隔が所定時間以上であるという生成条件を満たすか否かを判定し（ステップＳ１０２）、この生成条件を満たすときに補間画像を生成する（ステップＳ１０３）。一方、流し撮りのシーンを認識した場合には、前後に隣接する２つの静止画像における背景の変位量が所定量以上であるという生成条件を満たすか否かを判定し（ステップＳ２０３）、この生成条件を満たすときに補間画像を生成する（ステップＳ２０４）。このようにしたので、連続撮影時のシーンの種類に応じて補間画像を生成するか否かを適切に判断して、補間画像を生成することができる。
【００９９】
（７）電子カメラは、制御回路２７の処理により、ステップＳ３で選択された静止画像の前後に削除された画像があるか否かを判定し（ステップＳ９）、削除された画像があると判定した場合に、その削除された画像に対応する補間画像を生成する（ステップＳ１０）。ステップＳ１４では、こうして生成した補間画像を合成対象とする補間画像に含めて合成画像を生成する。このようにしたので、連続撮影された画像のうちいずれかが削除された場合であっても、その画像に対応する補間画像を生成して適切な合成画像を生成することができる。
【０１００】
（８）制御回路２７は、ステップＳ９において、ステップＳ３で選択された静止画像の前後に取得された静止画像のうちいずれかの取得時刻と、当該静止画像に隣接する静止画像の取得時刻との間が所定時間以上であるときに、削除された画像があると判定する。このようにしたので、削除された画像の有無を簡単な処理で確実に判定することができる。
【０１０１】
（９）電子カメラは、連写撮影モードが設定されると、撮像素子１３により被写体を連続撮影して、時系列順に複数の静止画像を取得し、記憶媒体２９に記録する。こうして記録された複数の静止画像をステップＳ１で記憶媒体２９から読み込むことで、上記のような画像表示を行うことができる。
【０１０２】
なお、以上説明した実施形態の補足事項を以下に説明する。
【０１０３】
（ａ）上記実施形態の電子カメラでは、位相差ＡＦモジュールを撮影光路内に配置し、コントラスト方式のＡＦ動作に加えてさらに公知の瞳分割による位相差ＡＦ動作を行うようにしてもよい。また、上記実施形態では、撮像素子１３の出力に基づいてＡＥ演算を行ってもよいし、撮像素子１３とは別にＡＥ演算用の測光素子を設けてもよい。
【０１０４】
（ｂ）上記実施形態では、連写撮影によって取得されて記憶媒体２９に記録された画像ファイルに基づいて補間画像や合成画像を生成する例を説明した。しかし、上記実施形態において、例えば、連写撮影されて取得された画像ファイルと、モニタ１９の表示サイズ以下に設定されたビュー画像のファイルとがグループ化されて記憶媒体２９に記録されるときに、制御回路２７は、上記のビュー画像ファイルを優先的に選択して、このビュー画像ファイルから補間画像や合成画像を生成するようにしてもよい。
【０１０５】
（ｃ）上記実施形態では記憶媒体２９に記録された２つの画像ファイルの間で動きベクトルを求めたが、記憶媒体２９に記録された画像ファイルと補間画像との間で動きベクトルを求めるようにしてもよい。
【０１０６】
（ｄ）上記実施形態では、連写撮影された画像ファイルの中からいずれかの画像ファイルを選択する例を説明したが、補間画像の中から画像を選択し、この補間画像に対して時間軸方向の前と後の画像を合成対象画像として加算することで合成画像を生成してもよい。あるいは、補間画像を用いず、記憶媒体２９に記録された画像ファイルのみを加算して合成画像を生成してもよい。
【０１０７】
（ｅ）上記実施形態では電子カメラの制御回路２７が合成画像の生成などを行う例を説明したが、例えば、電子カメラと接続された外部装置３０（パーソナルコンピュータなど）が、上記実施形態の制御回路２７の処理を実行してもよい。また、上記実施形態で電子カメラの制御回路２７が実行する処理の一部を外部装置３０に負担させて、電子カメラと外部装置３０とを協働させて上記の実施形態で説明したアルゴリズムを実現してもよい。
【０１０８】
（ｆ）上記実施形態では、選択された画像ファイルに対して時間的に前後する画像ファイルの中からそれぞれ合成対象画像を決定して合成画像を生成する例を説明した。しかし、上記実施形態において、選択された画像ファイルに対して時間的に前の画像ファイルのみ（または時間的に後の画像ファイルのみ）の中から合成対象画像を決定するようにしてもよい。
【０１０９】
（ｇ）上記実施形態では、ステップＳ５により、再生時に連写撮影のシーンを認識する例を説明した。しかし、上記実施形態において、撮影時にシーン認識を行い、その結果を画像ファイルと共に記憶媒体２９に記録してもよい。
【０１１０】
なお、以上説明した実施の形態や各種の変形例はあくまで一例であり、発明の特徴が損なわれない限り、本発明はこれらの内容に限定されるものではない。
【符号の説明】
【０１１１】
１３…撮像素子、１９…モニタ、２１…記録Ｉ／Ｆ、２２…通信Ｉ／Ｆ、２３…操作部材、２７…制御回路、２９…記憶媒体、３０…外部装置
【図１】
2010273268.tif 000005
【図２】
2010273268.tif 000006
【図３】
2010273268.tif 000007
【図４】
2010273268.tif 000008
【図５】
2010273268.tif 000009
【図６】
2010273268.tif 000010
【図７】
2010273268.tif 000011