(57)【要約】      （修正有）【課題】２つの画像間で撮像範囲が移動する場合においても、より違和感の少ない補間画像を生成する。【解決手段】第１ステップでは、第１画像のデータと、第１画像の撮像範囲と一部重複するように撮像範囲を移動させた状態で第１画像の後に撮像された第２画像のデータとを演算部に読み込む。第２ステップでは、演算部が、第１画像，第２画像における撮像範囲の重複部分と非重複部分とをそれぞれ特定する。第３ステップでは、演算部が、第１画像，第２画像の間で被写体の変化を補間する補間画像のうち、重複部分に対応する第１領域の画像を、第１画像，第２画像の重複部分との画像の変化量に基づいて生成する。第４ステップでは、演算部が、補間画像のうち、第１領域に対して撮像範囲の移動先に位置する第２領域の画像を、第２画像の非重複部分を切り出して生成する。第５ステップでは、演算部が、第１領域の画像に第２領域の画像を接続して補間画像を生成する。【選択図】図２
2009044329.tif 000002
【特許請求の範囲】
【請求項１】
画像のデータを読み込むデータ読込部と、演算部とを有するコンピュータに対して、
撮像装置で撮像された第１画像のデータと、前記第１画像の撮像範囲と一部重複するように前記撮像装置の撮像範囲を移動させた状態で前記第１画像の後に撮像された第２画像のデータとを前記データ読込部により前記演算部に読み込む第１ステップと、
前記第１画像および前記第２画像における前記撮像範囲の重複部分と非重複部分とをそれぞれ特定する第２ステップと、
前記第１画像および前記第２画像の間で被写体の変化を補間する補間画像のうち、前記重複部分に対応する第１領域の画像を、前記第１画像の前記重複部分と前記第２画像の前記重複部分との画像の変化量に基づいて生成する第３ステップと、
前記補間画像のうち、前記第１領域に対して前記撮像範囲の移動先に位置する第２領域の画像を、前記第２画像の前記非重複部分を切り出して生成する第４ステップと、
前記第１領域の画像に前記第２領域の画像を接続して前記補間画像を生成する第５ステップと、
を前記演算部に実行させることを特徴とするプログラム。
【請求項２】
請求項１に記載のプログラムにおいて、
前記補間画像のうち、前記第１領域に対して前記撮像範囲の移動元に位置する第３領域の画像を、前記第１画像の前記非重複部分を切り出して生成する第６ステップを前記演算部がさらに実行し、
前記第５ステップにて、前記第１領域の画像に前記第３領域の画像をさらに接続して前記補間画像を生成することを特徴とするプログラム。
【請求項３】
請求項１または請求項２に記載のプログラムにおいて、
前記第１画像および前記第２画像の少なくとも一方に前記重複部分と前記非重複部分とを跨いだ共通被写体があるときに、前記第２領域および前記第３領域の少なくとも一方に含まれる前記共通被写体を、前記第１画像および前記第２画像の各々の前記重複部分から求めた前記共通被写体の変化量に基づいて変形させる第７ステップを前記演算部がさらに実行することを特徴とするプログラム。
【請求項４】
請求項１から請求項３のいずれか１項に記載のプログラムにおいて、
前記第１画像、前記補間画像および前記第２画像を連続的に再生する第８ステップを前記演算部がさらに実行することを特徴とするプログラム。
【請求項５】
少なくとも１以上のコンピュータを用いた画像処理方法であって、
撮像装置で撮像された第１画像のデータと、前記第１画像の撮像範囲と一部重複するように前記撮像装置の撮像範囲を移動させた状態で前記第１画像の後に撮像された第２画像のデータとを前記コンピュータが読み込む第１ステップと、
前記第１画像および前記第２画像における前記撮像範囲の重複部分と非重複部分とを前記コンピュータがそれぞれ特定する第２ステップと、
前記第１画像および前記第２画像の間で被写体の変化を補間する補間画像のうち、前記重複部分に対応する第１領域の画像を、前記第１画像の前記重複部分と前記第２画像の前記重複部分との画像の変化量に基づいて前記コンピュータが生成する第３ステップと、
前記補間画像のうち、前記第１領域に対して前記撮像範囲の移動先に位置する第２領域の画像を、前記第２画像の前記非重複部分を切り出して前記コンピュータが生成する第４ステップと、
前記第１領域の画像に前記第２領域の画像を接続して前記コンピュータが前記補間画像を生成する第５ステップと、
を備えることを特徴とする画像処理方法。
【請求項６】
撮像装置で撮像された第１画像のデータと、前記第１画像の撮像範囲と一部重複するように前記撮像装置の撮像範囲を移動させた状態で前記第１画像の後に撮像された第２画像のデータとを読み込むデータ読込部と、
前記第１画像および前記第２画像における前記撮像範囲の重複部分と非重複部分とをそれぞれ特定する画像解析部と、
前記第１画像および前記第２画像の間で被写体の変化を補間する補間画像のうち、前記重複部分に対応する第１領域の画像を、前記第１画像の前記重複部分と前記第２画像の前記重複部分との画像の変化量に基づいて生成する第１演算部と、
前記補間画像のうち、前記第１領域に対して前記撮像範囲の移動先に位置する第２領域の画像を、前記第２画像の前記非重複部分を切り出して生成する第２演算部と、
前記第１領域の画像に前記第２領域の画像を接続して前記補間画像を生成する画像接続部と、
を備えることを特徴とする画像処理装置。
【請求項７】
画像のデータを読み込むデータ読込部と、演算部とを有するコンピュータに対して、
注目被写体を連続的に撮像した複数フレームの画像データ群を前記データ読込部により前記演算部に読み込む第１ステップと、
撮像時点が隣接する２つのフレームを用いて、前記画像データ群の複数のフレームにおける各フレーム区間毎に前記注目被写体の動きベクトルを求める第２ステップと、
各々が時間的に連続する第１フレーム区間および第２フレーム区間を抽出し、前の前記第１フレーム区間の前記動きベクトルに対して、後の前記第２フレーム区間の前記動きベクトルの方向の変化が閾値未満であるかを判定する第３ステップと、
前記第３ステップで閾値未満の変化と判定されたときに、前記第２フレーム区間の前記動きベクトルを用いた内挿によって、前記第２フレーム区間で前記注目被写体の変化を補間する補間画像を生成する第４ステップと、
前記第３ステップで閾値以上の変化と判定されたときに、前記第２フレーム区間に前後する少なくとも一方の前記フレーム区間の前記動きベクトルを用いた外挿によって、前記第２フレーム区間で前記注目被写体の変化を補間する補間画像を生成する第５ステップと、
を前記演算部に実行させることを特徴とするプログラム。
【請求項８】
請求項７に記載のプログラムにおいて、
前記第２フレーム区間の２つのフレームの間に前記補間画像を挿入して画像を連続的に再生する第６ステップを前記演算部がさらに実行することを特徴とするプログラム。
【請求項９】
少なくとも１以上のコンピュータを用いた画像処理方法であって、
注目被写体を連続的に撮像した複数フレームの画像データ群を前記コンピュータが読み込む第１ステップと、
撮像時点が隣接する２つのフレームを用いて、前記画像データ群の複数のフレームにおける各フレーム区間毎に前記注目被写体の動きベクトルを前記コンピュータが求める第２ステップと、
各々が時間的に連続する第１フレーム区間および第２フレーム区間を抽出し、前の前記第１フレーム区間の前記動きベクトルに対して、後の前記第２フレーム区間の前記動きベクトルの方向の変化が閾値未満であるかを前記コンピュータが判定する第３ステップと、
前記第３ステップで閾値未満の変化と判定されたときに、前記第２フレーム区間の前記動きベクトルを用いた内挿によって、前記第２フレーム区間で前記注目被写体の変化を補間する補間画像を前記コンピュータが生成する第４ステップと、
前記第３ステップで閾値以上の変化と判定されたときに、前記第２フレーム区間に前後する少なくとも一方の前記フレーム区間の前記動きベクトルを用いた外挿によって、前記第２フレーム区間で前記注目被写体の変化を補間する補間画像を前記コンピュータが生成する第５ステップと、
を備えることを特徴とする画像処理方法。
【請求項１０】
注目被写体を連続的に撮像した複数フレームの画像データ群を読み込むデータ読込部と、
撮像時点が隣接する２つのフレームを用いて、前記画像データ群の複数のフレームにおける各フレーム区間毎に前記注目被写体の動きベクトルを求める動きベクトル演算部と、
各々が時間的に連続する第１フレーム区間および第２フレーム区間を抽出し、前の前記第１フレーム区間の前記動きベクトルに対して、後の前記第２フレーム区間の前記動きベクトルの方向の変化が閾値未満であるかを判定する判定部と、
前記注目被写体の変化を補間する補間画像を生成する画像処理部と、を備え、
前記画像処理部は、前記判定部が閾値未満の変化と判定したときに、前記第２フレーム区間の前記動きベクトルを用いた内挿によって、前記第２フレーム区間の前記補間画像を生成し、前記判定部が閾値以上の変化と判定したときに、前記第２フレーム区間に前後する少なくとも一方の前記フレーム区間の前記動きベクトルを用いた外挿によって、前記第２フレーム区間の前記補間画像を生成することを特徴とする画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、離散的に撮像された２つの画像から被写体の動きを補間する補間画像を生成する画像処理技術に関する。
【背景技術】
【０００２】
従来から、離散的に撮像された複数の画像を動画として滑らかに再生するために、キーフレームとなる２つの画像間で被写体の動きを補間する補間画像を生成する技術が公知である。例えば、特許文献１には、上記の補間画像を生成するための画像処理技術の一例が開示されている。
【特許文献１】特開２００３−１５０９７２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかし、従来の技術では、キーフレームとなる２つの画像間で撮像範囲が移動する場合や、キーフレームとなる２つの画像間で被写体の動き方向に大きな変化がある場合には、動画として鑑賞したときに違和感の大きな補間画像が生成されうる点で改善の余地があった。
【０００４】
本発明は上記従来技術の課題を解決するためのものである。本発明の一の目的は、２つの画像間で撮像範囲が移動する場合においても、より違和感の少ない補間画像を生成する手段を提供することである。
【０００５】
また、本発明の他の目的は、２つの画像間で被写体の動き方向に大きな変化がある場合においても、より違和感の少ない補間画像を生成する手段を提供することである。
【課題を解決するための手段】
【０００６】
本発明の第１の形態は、画像のデータを読み込むデータ読込部と、演算部とを有するコンピュータのプログラムである。このプログラムは以下の第１ステップから第４ステップを演算部に実行させる。第１ステップでは、撮像装置で撮像された第１画像のデータと、第１画像の撮像範囲と一部重複するように撮像装置の撮像範囲を移動させた状態で第１画像の後に撮像された第２画像のデータとをデータ読込部により演算部に読み込む。第２ステップでは、演算部が、第１画像および第２画像における撮像範囲の重複部分と非重複部分とをそれぞれ特定する。第３ステップでは、演算部が、第１画像および第２画像の間で被写体の変化を補間する補間画像のうち、重複部分に対応する第１領域の画像を、第１画像の重複部分と第２画像の重複部分との画像の変化量に基づいて生成する。第４ステップでは、演算部が、補間画像のうち、第１領域に対して撮像範囲の移動先に位置する第２領域の画像を、第２画像の非重複部分を切り出して生成する。第５ステップでは、演算部が、第１領域の画像に第２領域の画像を接続して補間画像を生成する。
【０００７】
上記の第１の形態において、以下の第６ステップを演算部がさらに実行してもよい。第６ステップでは、演算部が、補間画像のうち、第１領域に対して撮像範囲の移動元に位置する第３領域の画像を、第１画像の非重複部分を切り出して生成する。そして、第５ステップにて、演算部が、第１領域の画像に第３領域の画像をさらに接続して補間画像を生成してもよい。
【０００８】
上記の第１の形態において、以下の第７ステップを演算部がさらに実行してもよい。第７ステップでは、演算部が、第１画像および第２画像の少なくとも一方に重複部分と非重複部分とを跨いだ共通被写体があるときに、第２領域および第３領域の少なくとも一方に含まれる共通被写体を、第１画像および第２画像の各々の重複部分から求めた共通被写体の変化量に基づいて変形させる。
【０００９】
上記の第１の形態において、第１画像、補間画像および第２画像を連続的に再生する第８ステップを演算部がさらに実行してもよい。
【００１０】
本発明の第２の形態は、画像のデータを読み込むデータ読込部と、演算部とを有するコンピュータのプログラムである。このプログラムは以下の第１ステップから第５ステップを演算部に実行させる。第１ステップでは、注目被写体を連続的に撮像した複数フレームの画像データ群をデータ読込部により演算部に読み込む。第２ステップでは、演算部が、撮像時点が隣接する２つのフレームを用いて、画像データ群の複数のフレームにおける各フレーム区間毎に注目被写体の動きベクトルを求める。第３ステップでは、演算部が、各々が時間的に連続する第１フレーム区間および第２フレーム区間を抽出し、前の第１フレーム区間の動きベクトルに対して、後の第２フレーム区間の動きベクトルの方向の変化が閾値未満であるかを判定する。第４ステップでは、第３ステップで閾値未満の変化と判定されたときに、演算部が、第２フレーム区間の動きベクトルを用いた内挿によって、第２フレーム区間で注目被写体の変化を補間する補間画像を生成する。第５ステップでは、第３ステップで閾値以上の変化と判定されたときに、演算部が、第２フレーム区間に前後する少なくとも一方のフレーム区間の動きベクトルを用いた外挿によって、第２フレーム区間で注目被写体の変化を補間する補間画像を生成する。
【００１１】
上記の第２の形態において、第２フレーム区間の２つのフレームの間に補間画像を挿入して画像を連続的に再生する第６ステップを演算部がさらに実行してもよい。
【００１２】
なお、上記の第１の形態および第２の形態に関する構成を、画像処理方法、画像処理装置、上記のプログラムを記憶した記憶媒体などに変換して表現したものも本発明の具体的態様として有効である。
【発明の効果】
【００１３】
本発明の一の形態では、撮像範囲を移動させて撮像した第１画像および第２画像から補間画像を生成するときに、補間画像の重複部分は第１画像および第２画像の変化量に基づいて生成する一方で、補間画像の一方の非重複部分は第２画像の非重複部分を切り出して生成する。そのため、２つの画像間で撮像範囲が移動する場合において、より違和感の少ない補間画像を生成することができる。
【００１４】
本発明の他の形態では、各フレーム区間毎に求めた動きベクトルの変化が閾値以上であるときに、所定のフレーム区間の補間画像を、そのフレーム区間に前後する他のフレーム区間の動きベクトルを用いた外挿によって生成する。そのため、２つの画像間で被写体の動き方向に大きな変化がある場合において、より違和感の少ない補間画像を生成することができる。
【発明を実施するための最良の形態】
【００１５】
＜第１実施形態の説明＞
図１は第１実施形態の画像処理装置を適用した電子カメラの構成を示すブロック図である。電子カメラは、撮像光学系１１と、レンズ駆動部１２と、撮像素子１３と、撮像素子駆動回路１４と、信号処理回路１５と、データ処理回路１６と、第１メモリ１７と、表示制御回路１８およびモニタ１９と、圧縮／伸長回路２０と、記録Ｉ／Ｆ２１と、通信Ｉ／Ｆ２２と、操作部材２３と、レリーズ釦２４と、振動センサ２５と、第２メモリ２６と、制御回路２７およびバス２８とを有している。
【００１６】
ここで、データ処理回路１６、第１メモリ１７、圧縮／伸長回路２０、第２メモリ２６および制御回路２７はそれぞれバス２８を介して相互に接続されている。また、レンズ駆動部１２、撮像素子駆動回路１４、信号処理回路１５、表示制御回路１８、記録Ｉ／Ｆ２１、通信Ｉ／Ｆ２２、操作部材２３、レリーズ釦２４、振動センサ２５は、それぞれ制御回路２７と接続されている（なお、図１では、信号処理回路１５および表示制御回路１８と制御回路２７との間を結ぶ信号線の図示は簡単のため省略する）。
【００１７】
撮像光学系１１は、ズームレンズやフォーカシングレンズを含む複数のレンズ群で構成されており、撮像素子１３の撮像面上に被写体像を結像させる役目を果たす。なお、簡単のため、図１では撮像光学系１１を１枚のレンズとして図示する。
【００１８】
撮像光学系１１の各々のレンズ位置は、レンズ駆動部１２によって光軸方向に調整される。このレンズ駆動部１２はレンズ駆動機構を含み、制御回路２７からのレンズ駆動指令に応じてレンズ位置を調整する。例えば、レンズ駆動部１２がフォーカスレンズを光軸方向に進退駆動することで、撮像光学系１１のフォーカス調整が行われる。また、レンズ駆動部１２がズームレンズを光軸方向に進退駆動することで、撮像光学系１１のズーム調整が行われる。
【００１９】
撮像素子１３は、撮像光学系１１を通過した光束による被写体像を光電変換してアナログの画像信号を生成する。本実施形態での撮像素子１３は、静止画像の単写撮像、静止画像の連写撮像および動画像の撮像が可能である。この撮像素子１３の出力は信号処理回路１５に接続されている。なお、撮像素子１３は、ＣＣＤイメージセンサあるいはＣＭＯＳ型イメージセンサなどで構成される。
【００２０】
撮像素子駆動回路１４は、制御回路２７からの指令に応じて所定タイミングの駆動信号を生成し、この駆動信号を撮像素子１３に供給する。そして、撮像素子駆動回路１４は、上記の駆動信号によって、撮像素子１３の電荷蓄積（撮像）および蓄積電荷の読み出しを制御する。
【００２１】
信号処理回路１５は、撮像素子１３の出力に対して各種の信号処理を施すＡＳＩＣである。具体的には、信号処理回路１５は、相関二重サンプリング、ゲインの調整、直流再生、Ａ／Ｄ変換などを実行する。信号処理回路１５でのゲインの調整などのパラメータは、制御回路２７からの指令に応じて決定される。なお、信号処理回路１５はデータ処理回路１６に接続されており、上記信号処理後のデータはデータ処理回路１６に出力される。
【００２２】
データ処理回路１６は、信号処理回路１５から出力された画像のデータに対してデジタル信号処理を施す回路である。データ処理回路１６では、例えば、色補間処理、階調変換処理、輪郭強調処理、ホワイトバランス調整などの画像処理が実行される。このデータ処理回路１６は、表示制御回路１８および圧縮／伸長回路２０にそれぞれ接続されている。そして、データ処理回路１６は、制御回路２７からの指令に応じて、画像処理後の記録画像のデータを圧縮／伸長回路２０に出力する。
【００２３】
また、データ処理回路１６は、制御回路２７からの指令に応じて、画像の解像度変換（画素数変換）処理を実行する。一例として、モニタ１９に再生画像を表示する場合、データ処理回路１６は、再生表示しようとする画像のデータに対して、モニタ１９の画素数に合わせるための解像度変換（画素数変換）処理を実行する（なお、特に断りのないかぎり、本明細書でモニタ１９に画像を表示するときには、データ処理回路１６で表示画像の画素数調整が行われているものとする）。そして、データ処理回路１６は、解像度変換後の再生画像のデータを表示制御回路１８に出力する。また、電子ズーム処理を行う場合、データ処理回路１６は、入力される画像のデータに対して解像度変換（画素数変換）処理を実行し、解像度変換後の画像のデータを圧縮／伸長回路２０および表示制御回路１８にそれぞれ出力する。
【００２４】
第１メモリ１７は、データ処理回路１６または圧縮／伸長回路２０による処理の前工程や後工程などで画像のデータを一時的に記憶するバッファメモリである。
【００２５】
表示制御回路１８は、制御回路２７からの指令に応じて、データ処理回路１６から入力された画像のデータに所定の信号処理を施してモニタ１９へ出力する。表示制御回路１８は、さらに上記の画像のデータに撮影メニュー、カーソルなどのオーバーレイ画像データを重畳させる処理を行う。このような制御回路２７および表示制御回路１８の制御によって、オーバーレイ画像が重畳された被写体画像をモニタ１９に表示することができる。なお、本実施形態でのモニタ１９は、接眼部を有する電子ファインダや、カメラ筐体の背面などに設けられる液晶表示パネルのいずれで構成されていてもよい。
【００２６】
圧縮／伸長回路２０は、制御回路２７からの指令に応じて、データ処理回路１６から入力される画像のデータに所定の圧縮処理を施す。この圧縮／伸長回路２０は記録Ｉ／Ｆ２１に接続されており、圧縮後の画像のデータは記録Ｉ／Ｆ２１に出力される。また、圧縮／伸長回路２０は、圧縮後の画像のデータに対し、圧縮処理の逆処理である復号化処理を実行する。なお、本実施形態の圧縮／伸長回路２０は、可逆圧縮（いわゆるロスレス符号化）を行うことが可能な構成となっている。
【００２７】
記録Ｉ／Ｆ２１は、記憶媒体２９を接続するためのコネクタが形成されている。そして、記録Ｉ／Ｆ２１は、コネクタに接続された記憶媒体２９に対してデータの書き込み／読み込みを実行する。上記の記憶媒体２９は、小型ハードディスクや、半導体メモリを内蔵したメモリカードや、ＤＶＤなどの光ディスクなどで構成される。図１では記憶媒体２９の一例としてメモリカードを図示する。なお、記憶媒体２９は、電子カメラに内蔵されるものであってもよく、電子カメラに対して着脱可能に装着されるものであってもよい。また、画像のデータを読み書きする記憶媒体として、通信Ｉ／Ｆ２２を介して電気的に接続された外付けの記憶媒体を利用してもよい。
【００２８】
ここで、電子カメラの動作モードの１つである撮影モードにおいて撮像した画像のデータを記録する場合、制御回路２７は、記録画像に対応する再生画像をモニタ１９に表示させる。本明細書での記録画像とは、撮像により得られ、最終的に記憶媒体２９に記録されるべき（あるいは記憶媒体２９に記録された）静止画像データに対応する静止画像を意味するものとする。なお、操作部材２３によるユーザーの操作によって、記録画像の非圧縮記録が制御回路２７に指示されている場合、圧縮／伸長回路２０は圧縮処理を行なわずに、記録画像のデータを記録Ｉ／Ｆ２１に出力する。上記の非圧縮記録の場合にも、制御回路２７は、記録画像に対応する再生画像をモニタ１９に表示させる。
【００２９】
また、電子カメラの動作モードの１つである再生モードにおいて、制御回路２７は、記憶媒体２９に記憶されている画像のデータによる再生画像をモニタ１９に表示させる。この再生モードでは、記録Ｉ／Ｆ２１が、制御回路２７からの指令に応じて再生対象の画像のデータを記憶媒体２９から読み出す。そして、圧縮／伸長回路２０は、再生対象の画像のデータに対して復号化処理を施した上で、復号化後の画像のデータをデータ処理回路１６に送る。その後、データ処理回路１６および表示制御回路１８が復号化後の画像のデータに対して上述の処理を実行することで、モニタ１９には再生画像が表示される。なお、記憶媒体２９から非圧縮の画像データが読み出された場合には、圧縮／伸長回路２０は復号化処理を行わずに画像のデータをデータ処理回路１６に送る。
【００３０】
通信Ｉ／Ｆ２２は、有線または無線による公知の通信規格の仕様に準拠して、外部装置３０（例えば、パーソナルコンピュータや外付けの記憶媒体）とのデータ送受信を制御する。電子カメラと外部装置３０との通信は、有線または無線の通信回線を介して行われる。
【００３１】
操作部材２３は、例えば、コマンドダイヤル、十字状のカーソルキー、ズーム操作釦、決定釦などで構成される。そして、操作部材２３は電子カメラの各種入力をユーザーから受け付ける。なお、操作部材２３には、後述する補間画像を生成するフレーム数を設定する設定部材を設けるようにしてもよい。
【００３２】
一例として、制御回路２７は、ズーム操作釦からの入力を受け付けるとズームレンズについてのレンズ駆動指令を出力し、レンズ駆動部１２にズームレンズを進退駆動させる。これにより、撮像素子１３の撮像面上に結像される被写体像が拡大もしくは縮小して撮像光学系１１による光学的なズーム調整が行われる。
【００３３】
また、制御回路２７は、さらにズーム操作釦からの入力を受け付けるとデータ処理回路１６に指令を出力し、画像のデータに対する解像度変換処理の変換比率をユーザーの操作に応じて変化させる。これにより、モニタ１９に表示される画像が拡大もしくは縮小して電子的なズーム調整が行われる（電子ズーム）。上記の解像度変換処理の変換比率は、電子ズーム倍率に対応する。データ処理回路１６が電子ズーム倍率を高める方向に変換比率を変える場合、モニタ１９には再生画像の一部が拡大されて表示される（拡大率が上がる反面、再生画像の表示範囲は狭くなる）。一方、データ処理回路１６が電子ズーム倍率を低くする方向に変換比率を変える場合、モニタ１９に表示される再生画像の拡大率は低くなるが、再生画像の表示範囲は広くなる。なお、上記の撮影モードでは、モニタ１９の表示画像に対応する撮像画像のデータを記憶媒体２９に記録することができる。
【００３４】
レリーズ釦２４は、後述する連写撮影モードにおいて、押圧操作によるオートフォーカス（ＡＦ）動作開始の指示入力と、撮像動作開始の指示入力とをユーザーから受け付ける。
【００３５】
制御回路２７は、レリーズ釦２４の押圧操作に応じて、公知のコントラスト検出方式のＡＦ動作を実行する。このＡＦでは、撮像素子１３から読み出される画像信号のなかで、撮影画面内に予め設定されているフォーカス検出領域に対応する信号が用いられる。具体的には、信号処理回路１５によって信号処理された画像のデータのうち、フォーカス検出領域に対応するデータについての高周波数成分の積算値（いわゆる焦点評価値）を最大にするように、制御回路２７はフォーカスレンズのレンズ駆動指令をレンズ駆動部１２に送る。焦点評価値を最大にするフォーカスレンズの位置は、撮像素子１３によって撮像される被写体像のエッジのぼけをなくし、画像のコントラストを最大にする（尖鋭度を高める）合焦位置である。
【００３６】
振動センサ２５は、電子カメラの筐体の振れを直交する２方向について検出する。この振動センサ２５は、例えば角速度センサやジャイロセンサなどで構成され、電子カメラの筐体内に配置される。振動センサ２５は、撮影モードにおいて電子カメラに加わる振れを検知し、直交する２方向の振れ量データ（振れの方向、振れの大きさ（振れの速度または加速度）を含むデータ）を制御回路２７に出力する。制御回路２７は、上記の振れ量データに基づいて手ブレ補正を実行する。例えば、撮像光学系１１にブレ補正レンズがある場合、制御回路２７は、筐体の振れに伴う撮像面上での被写体の移動が打ち消されるように、レンズ駆動部１２を介してブレ補正レンズを駆動させることで手ブレ補正を行う。
【００３７】
第２メモリ２６は、フラッシュメモリ等の不揮発性の記憶媒体である。この第２メモリ２６には、各種の設定データなどが記憶されている。
【００３８】
制御回路２７は、電子カメラの動作を統括的に制御するプロセッサである。例えば、制御回路２７は、撮像素子１３から出力される信号から被写界の明るさを求める。そして、制御部は、上記の明るさの情報に基づいて公知のＡＥ演算を実行し、撮影モードでの撮像条件（撮像素子１３の電荷蓄積時間、絞り（不図示）の絞り値、画像信号の増幅度）を決定する。
【００３９】
また、制御回路２７は、第２メモリ２６等に記憶されたプログラムを実行することで、後述する補間画像の生成処理を実行する。
【００４０】
以下、第１実施形態の電子カメラの連写撮影モードの動作と、再生モードの動作とをそれぞれ説明する。
【００４１】
（連写撮影モードの説明）
連写撮影モードは上記の撮影モードの１つであって、レリーズ釦２４が押圧されている間、電子カメラが所定の時間間隔で静止画像の撮像動作を連続的に実行するモードである。なお、連写撮影モードでの制御回路２７は、連写撮影される各々の記録画像（連写画像）が静止画としての鑑賞に耐えうるように撮像条件を決定する。例えば、制御回路２７は、絞りを絞って被写界深度を深くする。
【００４２】
具体的には、制御回路２７は、レリーズ釦２４の押圧操作を検出すると、上記のＡＦ動作を連続的に実行するとともに、記録画像の連写撮影動作を実行する。
【００４３】
ここで、連写撮影モードでのＡＦ動作に関し、制御回路２７は画面内を移動する特定被写体を追尾してＡＦ動作を行ってもよい。あるいは、制御回路２７は、所定の撮影距離の物体に常に合焦するようにＡＦ動作を行ってもよい。なお、制御回路２７は、操作部材２３を介したユーザーのマニュアル操作によって焦点調整を行うようにしてもよい。
【００４４】
また、連写撮影モードでの連写撮影動作に関し、制御回路２７は、撮像素子駆動回路１４に対して、連写撮影動作を実行するための駆動信号の出力を指示する。撮像素子１３は、上記の駆動信号を受けて、例えば１０ｆｐｓのフレームレートで画像信号を出力する。そして、撮像素子１３から出力された各フレームの画像信号は、信号処理回路１５およびデータ処理回路１６で所定の処理が施される。その後、制御回路２７は、各フレームに対応する記録画像のデータを第１メモリ１７に一時的に記憶させる。
【００４５】
そして、圧縮／伸長回路２０は、制御回路２７の指令に応じて、連写撮影された各々の記録画像のデータを圧縮する。圧縮／伸長回路２０の圧縮率は、操作部材２３の操作に応じて制御回路２７が変更する。なお、操作部材２３の操作によって、非圧縮状態が選択されている状態のときは、制御回路２７の指令に応じて、圧縮／伸長回路２０は上記の圧縮処理を省略する。
【００４６】
その後、記録Ｉ／Ｆ２１は、制御回路２７の指令に応じて、圧縮後の記録画像のデータを記憶媒体２９に記録する。このとき、各々の記録画像のデータには、制御回路２７によって、各々の記録画像の撮像条件（撮像光学系１１の焦点距離、露出条件、振れ量データなど）を示す付帯情報が対応付けされて記録される。一例として、制御回路２７は、Ｅｘｉｆ（Exchangeable Image File Format）に準拠して、上記の付帯情報を含むヘッダと記録画像のデータとをまとめて各記録画像毎に１つずつ画像ファイルを生成し、この画像ファイルを記憶媒体２９に記録する。
【００４７】
なお、連写撮影動作時には、データ処理回路１６は、記録画像のデータに解像度変換処理を施し、モニタ１９の画素数に合わせたビュー画像のデータを生成する。そして、データ処理回路１６は、各フレームのビュー画像のデータを表示制御回路１８を介して順次モニタ１９に供給する。連写撮影動作時には、表示制御回路１８の制御によって、モニタ１９には各々のフレームに対応するビュー画像が順次表示される。これにより、ユーザーは、モニタ１９のビュー画像を目視することで、被写界の状態と記録画像の構図とを確認することができる。
【００４８】
（再生モードの説明）
図２は、第１実施形態における再生モードでの動作を示す流れ図である。図２の例では、上記の連写撮影モードで生成された記録画像の画像ファイルのうち、撮影時間が隣接する２つの画像ファイルを再生対象とする場合を前提として説明を行う。ここで、再生対象の各画像ファイルに含まれる記録画像はそれぞれ同一画素数の画像である。
【００４９】
ステップＳ１０１：制御回路２７は、記録Ｉ／Ｆ２１を介して、記憶媒体２９から再生対象の２つの画像ファイル（記録画像のデータ）をそれぞれ読み込む。なお、以後の説明では、再生対象の記録画像のうち、前に撮像された記録画像を第１画像と称する。また、後に撮像された記録画像を第２画像と称する。
【００５０】
ステップＳ１０２：制御回路２７は、画像ファイルの付帯情報に基づいて、再生対象の記録画像がパンニング撮影（左右方向にカメラを振って撮像範囲をシフトさせる撮影）によるものか否かを判定する。
【００５１】
具体的には、制御回路２７は、第１画像あるいは第２画像に対応する付帯情報の振れ量データを参照する。そして、制御回路２７は、電子カメラに対する振動の周波数特性（振れの周波数の帯域、振れの角度のピークなど）に基づいて、パンニング撮影であるか否かを判定する。
【００５２】
そして、パンニング撮影の場合（ＹＥＳ側）にはＳ１０３に移行する。一方、パンニング撮影ではない場合（ＮＯ側）にはＳ１０７に移行する。
【００５３】
ステップＳ１０３：制御回路２７は、第１画像および第２画像における撮像範囲の重複部分と非重複部分とをそれぞれ特定する。具体的には、制御回路２７は、第１画像および第２画像のマッチング処理を実行する。そして、制御回路２７は、２つの画像間で被写体の相関が閾値以上となる範囲を撮像範囲の重複部分として特定する。なお、以下の説明では、第１画像での撮像範囲の重複部分を第１領域Ｓ１と称する。また、第２画像での撮像範囲の重複部分を第１領域Ｓ２と称する。
【００５４】
そして、制御回路２７は、第１画像および第２画像において、撮像範囲の重複部分（第１領域Ｓ１，Ｓ２）を除いた残りの領域をそれぞれ非重複部分として特定する。なお、以下の説明では、第２画像での撮像範囲の非重複部分を第２領域Ｘと称する。また、第１画像での撮像範囲の非重複部分を第３領域Ｙと称する。
【００５５】
ここで、Ｓ１０３での制御回路２７は、振れ量データの示す振れの方向および大きさに基づいて、マッチング処理を行う範囲を決定してもよい。一例として、制御回路２７は、振れの方向および大きさを所定の換算式で換算することで画像上での被写体移動量を求め、この被写体移動量に基づいてマッチング処理を行う範囲を決定する。
【００５６】
ステップＳ１０４：制御回路２７は、第１画像に含まれる第１領域Ｓ１と、第２画像に含まれる第１領域Ｓ２とに対して、それぞれ特徴点抽出処理を実行する。
【００５７】
具体的には、制御回路２７は、第１画像の第１領域Ｓ１と、第２画像の第１領域Ｓ２とからそれぞれエッジ成分を抽出し、例えば抽出したエッジの交点（コーナー）の位置を特徴点として求める。そして、制御回路２７は、第１画像および第２画像での特徴点の位置を、第１メモリ１７または第２メモリ２６に記録する。なお、制御回路２７は、ユーザーがモニタ１９上で指定した点を特徴点として抽出するようにしてもよい。
【００５８】
ステップＳ１０５：制御回路２７は、第１画像と第２画像との間で被写体の変化を補間する補間画像のうち、第１領域に対応する範囲の補間画像を部分的に生成する。ここで、補間画像の画素数は、第１画像および第２画像と同じ画素数に設定される。また、本実施形態での制御回路２７は、被写体像の変形を伴う幾何学的なモーフィング処理や、被写体像が変形せずに移動するモーフィング処理を行って補間画像を生成する。
【００５９】
具体的には、制御回路２７は、以下の（イ）から（ヘ）の手順で、第１領域に対応する補間画像を生成する。また、第１画像と第２画像との間に挿入される補間画像のフレーム数は、ユーザーの入力によって制御回路２７が変更する。なお、以下の例では、簡単のため、第１画像と第２画像の間に２フレーム分の補間画像を挿入する場合について説明する。
【００６０】
（イ）制御回路２７は、第１画像の第１領域Ｓ１と、第２画像の第１領域Ｓ２とにそれぞれ含まれる特徴点の対応付けを行う。例えば、制御回路２７は、上記２つの画像間で相互の特徴点のマッチング処理を実行して、各々の特徴点の対応関係を求める。
【００６１】
（ロ）制御回路２７は、上記（イ）で対応付けした一対の特徴点の位置を空間方向に結ぶ関数（モーフィング動作における特徴点の移動軌跡）を求める。ここで、上記の関数は、一対の特徴点を直線で結ぶものであってもよく、あるいは一対の特徴点をスプライン曲線などで結ぶものであってもよい。なお、制御回路２７は、第１画像と第２画像との間で対応付けができた全ての特徴点について上記の関数を求める。
【００６２】
（ハ）制御回路２７は、上記（ロ）で求めた関数によって、第１領域に対応する補間画像での特徴点の位置を決定する。具体的には、制御回路２７は、補間画像の挿入数に応じて上記の関数と一対の特徴点とで定義された区間を内分し、この内分点の位置を第１領域に対応する補間画像での特徴点の位置とする。
【００６３】
図３は、第１領域に対応する補間画像での特徴点の決定方法の一例を示す説明図である。図３の例では、第１画像の特徴点Ａ，Ｂ，Ｃに対して、第２画像の特徴点Ｄ，Ｅ，Ｆがそれぞれ対応する。そして、第１特徴点Ａ，Ｄを結ぶ一次関数の区間を３つに内分する点（Ｇ，Ｊ）の位置が、各々の補間画像における第１特徴点の位置となる。なお、補間画像における第２特徴点の位置（Ｈ，Ｋ）および第３特徴点の位置（Ｉ，Ｌ）についても、上記の第１特徴点の場合と同様の手順で求めることができる。
【００６４】
（ニ）制御回路２７は、第１領域に対応する補間画像において、特徴点以外の注目画素の位置をそれぞれ求める。具体的には、制御回路２７は、第１画像（または第２画像）における注目画素の位置を特徴点を結ぶベクトルで定義する。そして、制御回路２７は、上記のベクトルの定義に基づいて、補間画像上での注目画像の位置を求める。
【００６５】
図４は、第１領域に対応する補間画像での注目画素の決定方法の一例を示す説明図である。
【００６６】
【数１】
2009044329.tif 000003
【００６７】
したがって、制御回路２７は、第１領域に対応する補間画像での各々の注目画素の位置を、上記の方法で求めることができる。
【００６８】
（ホ）制御回路２７は、第１領域に対応する補間画像での各画素の階調値の変化を求める。具体的には、第１に、制御回路２７は、第１画像の第１領域Ｓ１と、第２画像の第１領域Ｓ２との間で対応関係を有する画素（注目画素）の階調値をそれぞれ求める。第２に、制御回路２７は、２つの階調値の区間を補間画像の挿入数に応じて内分し、補間画像の第１領域における注目画素の階調値を求める。一例として、第１画像および第２画像で注目画素の階調値がそれぞれ１３０，１３６であるときに、制御回路２７は、階調値１３０〜１３６の区間を３つに内分する点を求める。そして、制御回路２７は、上記の内分点に対応する階調値（１３２，１３４）を、各々の補間画像の第１領域における注目画素の階調値とする。なお、制御回路２７は、上記の階調値をＲＧＢまたはＹＣｂＣｒのそれぞれの値について求める。
【００６９】
（ヘ）制御回路２７は、上記の工程で生成された補間画像の第１領域のデータを、第１メモリ１７または第２メモリ２６にそれぞれ記録する。
【００７０】
ステップＳ１０６：制御回路２７は、各々の補間画像のうち、第１領域に対して撮像範囲の移動先に位置する第２領域の画像と、第１領域に対して撮像範囲の移動元に位置する第３領域の画像とをそれぞれ生成する。なお、Ｓ１０６の処理後には、制御回路２７はＳ１０９に移行する。
【００７１】
以下、図５を参照しつつ、第２領域および第３領域に対応する補間画像の生成方法を説明する。ここで、図５の例では、右方向から左方向にパンニングして連写撮影した場合について説明する。また、図５の例では、Ｓ１０５と同様に、第１画像と第２画像の間には２フレーム分の補間画像を挿入するものとする。
【００７２】
最初に、第２領域に対応する補間画像の生成方法について説明する。制御回路２７は、第２画像の第２領域Ｘを切り出して、第２領域に対応する補間画像を生成する。具体的には、制御回路２７は、第２画像の第２領域Ｘのうち、画像右側から水平方向に１／３までの範囲を切り出して１フレーム目の第２領域の補間画像を生成する。また、制御回路２７は、第２画像の第２領域Ｘのうち、画像右側から水平方向に２／３までの範囲を切り出して２フレーム目の第２領域の補間画像を生成する。
【００７３】
次に、第３領域に対応する補間画像の生成方法について説明する。制御回路２７は、第１画像の第３領域Ｙを切り出して、第３領域に対応する補間画像を生成する。具体的には、制御回路２７は、第１画像の第３領域Ｙのうち、画像左側から水平方向に２／３までの範囲を切り出して１フレーム目の第３領域の補間画像を生成する。また、制御回路２７は、第１画像の第３領域Ｙのうち、画像右側から水平方向に１／３までの範囲を切り出して２フレーム目の第３領域の補間画像を生成する。
【００７４】
そして、制御回路２７は、１フレーム目の第１領域の補間画像の左側に、１フレーム目の第２領域の補間画像（第２領域Ｘの右側１／３の画像）を接続する。また、制御回路２７は、１フレーム目の第１領域の補間画像の右側に、第３領域の補間画像（第３領域Ｙの左側２／３の画像）を接続する。
【００７５】
また、制御回路２７は、２フレーム目の第１領域の補間画像の左側に、２フレーム目の第２領域の補間画像（第２領域Ｘの右側２／３の画像）を接続する。また、制御回路２７は、２フレーム目の第１領域の補間画像の右側に、第３領域の補間画像（第３領域Ｙの左側１／３の画像）を接続する。
【００７６】
以上の方法によって、制御回路２７は、第１画像および第２画像と同じサイズで２フレーム分の補間画像を生成する。図５に示すように、第１画像と、２フレーム分の補間画像と、第２画像とを比べると、第１領域に対応する範囲が左方向に所定量ずつシフトしていくことが分かる。そのため、補間画像を含めた複数の画像を動画として再生すると、撮像範囲が画面の左方向にパンしていく状況が再現されることとなる。
【００７７】
ここで、上記した第２領域および第３領域での画像の切り出し量は、補間画像の挿入数に応じてその比率が変化する。一例として、ｎフレームの補間画像を挿入する場合には、制御回路２７は、第２画像の第２領域Ｘのうち、画像右側から水平方向に１／（ｎ＋１）までの範囲を切り出して１フレーム目の第２領域の補間画像を生成する。また、制御回路２７は、第１画像の第３領域Ｙのうち、画像左側から水平方向にｎ／（ｎ＋１）までの範囲を切り出して１フレーム目の第３領域の補間画像を生成する。
【００７８】
また、Ｓ１０６において、第２画像の第１領域Ｓ２と第２領域Ｘとの境界を跨いだ共通被写体があるときに、制御回路２７は、補間画像の第２領域に含まれる共通被写体を以下のように変形させてもよい。
【００７９】
まず、制御回路２７は、第１画像の第１領域Ｓ１と第２画像の第１領域Ｓ２とから、上記の共通被写体に対応する特徴点を特定する。次に、制御回路２７は、対応する特徴点を結ぶ関数（Ｓ１０５で求めたもの）から、第１画像から第２画像にかけての共通被写体の変化量を求める。そして、制御回路２７は、上記の変化量に基づいて、各々の補間画像で第２領域の共通被写体の大きさを変化させる。
【００８０】
一例として、図５において、第２画像の第１領域Ｓ２と第２領域Ｘとの境界を跨いだ共通被写体Ｚの場合を具体的に説明する。ここで、第１画像の第１領域Ｓ１には、共通被写体Ｚの特徴点ＢＤが含まれている。また、第２画像の第１領域Ｓ２には、共通被写体Ｚの特徴点Ｂ’Ｄ’が含まれている。さらに、第２画像の第２領域Ｘには、共通被写体Ｚの特徴点Ａ’Ｃ’が含まれている。
【００８１】
（１）まず、制御回路２７は、第１画像の特徴点ＢＤの距離と、第２画像の特徴点Ｂ’Ｄ’の距離との変化量を上記の関数を用いて求める。（２）次に、制御回路２７は、第１画像と第２画像との間で全ての特徴点の位置が上記の変化量に応じて変化するとみなして、各々の補間画像で特徴点Ａ’Ｃ’に対応する仮想的な特徴点の位置を推定する。（３）そして、制御回路２７は、上記の特徴点の位置に基づいて、第２領域に対応する補間画像をそれぞれモーフィングによって生成する。（４）その後、制御回路２７は、上記（３）で生成した第２領域の補間画像を所定量切り出して、第１領域の補間画像と接続する。
【００８２】
上記のように共通被写体を変形させた場合には、補間画像の第１領域と第２領域との境界で共通被写体がずれて接続されるおそれが低くなるので、より違和感の少ない補間画像が生成できるようになる。特に、第１画像と第２画像との間で光学的または電子的なズーミングがなされている場合や、連写撮影時にカメラに対して共通被写体が接近または離間する場合などにその効果が大きい。
【００８３】
なお、第１画像の第１領域Ｓ１と第３領域Ｙとの境界を跨いだ共通被写体があるときにも、制御回路２７は、補間画像の第３領域に含まれる共通被写体を上記の要領で変形できることはいうまでもない（この場合の図示は省略する）。
【００８４】
ステップＳ１０７：制御回路２７は、第１画像および第２画像のそれぞれ全領域を対象として特徴点抽出処理を実行する。なお、Ｓ１０７での特徴点抽出処理は、Ｓ１０４のものと共通するため重複説明を省略する。
【００８５】
ステップＳ１０８：制御回路２７は、第１画像と第２画像との間で被写体の変化を補間する補間画像を生成する。なお、Ｓ１０８での補間画像の生成処理は、第１画像および第２画像の全領域を用いる点を除いて、Ｓ１０５のものと共通するため重複説明は省略する。
【００８６】
ステップＳ１０９：制御回路２７は、各々の補間画像のデータ（Ｓ１０６またはＳ１０８で生成されたもの）を第１メモリ１７にバッファリングする。このとき、制御回路２７は、生成した補間画像を記録Ｉ／Ｆ２１を介して記憶媒体２９に記録してもよい。
【００８７】
ステップＳ１１０：制御回路２７は、データ処理回路１６および表示制御回路１８を介して、第１画像と、補間画像と、第２画像とを時系列に沿ってモニタ１９で連続的に再生する。以上で、図２の流れ図の説明を終了する。
【００８８】
以下、第１実施形態の作用効果を述べる。第１実施形態の電子カメラでは、パンニングを伴う連写撮影で生成された第１画像と第２画像とから補間画像を生成するときに、補間画像の重複部分は、第１画像および第２画像の重複部分（Ｓ１，Ｓ２）の変化量に基づいて生成する。一方、補間画像の非重複部分は、第２画像の非重複部分（Ｘ）と、第１画像の非重複部分（Ｙ）とをそれぞれ切り出して生成する。そのため、２つの画像間で特徴点の対応付けが困難な領域では元となる画像を切り出して補間画像を生成するため、より違和感の少ない補間画像を生成できる。
【００８９】
＜第２実施形態の説明＞
図６は、第２実施形態の電子カメラの再生モードの動作を示す流れ図である。なお、第２実施形態での電子カメラの構成は、図１に示す第１実施形態の電子カメラと共通するので重複説明は省略する。
【００９０】
ここで、図６の例では、上記の連写撮影モードで生成された記録画像の画像ファイルのうち、撮影時間が隣接する複数の画像ファイルを再生対象とする場合を前提として説明を行う。また、再生対象の各画像ファイルに含まれる記録画像はそれぞれ同一画素数の画像である。なお、以下の説明では、再生対象の記録画像を時系列の順にｔ０，ｔ１，ｔ２，・・・，ｔｎと表記する。
【００９１】
ステップＳ２０１：制御回路２７は、操作部材２３を介して、画像ファイルの再生指示を受け付けたか否かを判定する。再生指示があった場合（ＹＥＳ側）にはＳ２０２に移行する。一方、再生指示がない場合（ＮＯ側）には、制御回路２７は、再生指示があるまで待機する。
【００９２】
ステップＳ２０２：制御回路２７は、操作部材２３からのユーザーの入力に基づいて、各々の記録画像の間に挿入される補間画像のフレーム数を設定する。なお、以下の例では、２つの記録画像の間に２フレーム分の補間画像を挿入する場合を説明する。
【００９３】
ステップＳ２０３：制御回路２７は、記録Ｉ／Ｆ２１を介して、記憶媒体２９から再生対象の画像ファイル（記録画像のデータ）をそれぞれ読み込む。
【００９４】
ステップＳ２０４：制御回路２７は、時間軸方向に隣接する２つの記録画像のフレームを対象として、２つのフレームの間で被写体の動きベクトルを求める。なお、Ｓ２０４での制御回路２７は、ｔ０〜ｔｎまでの各々のフレーム区間全てでそれぞれ被写体の動きベクトルを求める。
【００９５】
具体的には、まず、制御回路２７は、各々の記録画像（ｔ０〜ｔｎ）の全領域を対象として特徴点抽出処理を実行する。この特徴点抽出処理は、第１実施形態のＳ１０４と共通するため重複説明を省略する。次に、制御回路２７は、時間軸方向に隣接する２つの記録画像について各々の特徴点の対応付けを行なう。そして、制御回路２７は、２つの記録画像のフレーム間における特徴点の動きから、そのフレーム区間での被写体の動きベクトルを求める。なお、上記の動きベクトルの算出処理は、パターンマッチングで求めるものであってもよい。
【００９６】
ステップＳ２０５：制御回路２７は、補間画像を生成するフレーム区間を時間軸に沿って指定する。
【００９７】
ステップＳ２０６：制御回路２７は、指定されたフレーム区間（Ｓ２０５）における注目被写体の動きベクトルの方向と、その直前のフレーム区間における注目被写体の動きベクトルの方向とを比較する。そして、制御回路２７は、両者の動きベクトルの方向に閾値以上の変化が生じているか否かを判定する。なお、本実施形態での上記の閾値は、例えば、動きベクトルの方向に３０°以上の変化がある場合に設定されている。
【００９８】
動きベクトルの方向の変化が閾値以上の場合（ＹＥＳ側）にはＳ２０７に移行する。一方、動きベクトルの方向の変化が閾値未満の場合（ＮＯ側）にはＳ２０９に移行する。なお、指定されたフレーム区間が最初の記録画像ｔ０を含む場合（すなわち、直前のフレーム区間がない場合）には、制御回路２７はＳ２０６でＮＯ側と判定してＳ２０９に処理を移行する。
【００９９】
ステップＳ２０７：制御回路２７は、指定されたフレーム区間（Ｓ２０５）における注目被写体の動きベクトルの方向と、その直後のフレーム区間における注目被写体の動きベクトルの方向とを比較する。そして、制御回路２７は、両者の動きベクトルの方向に閾値以上の変化が生じているか否かを判定する。
【０１００】
動きベクトルの方向の変化が閾値以上の場合（ＹＥＳ側）にはＳ２０８に移行する。一方、動きベクトルの方向の変化が閾値未満の場合（ＮＯ側）にはＳ２０９に移行する。なお、指定されたフレーム区間が最後の記録画像ｔｎを含む場合（すなわち、直後のフレーム区間がない場合）には、制御回路２７はＳ２０７でＮＯ側と判定してＳ２０９に処理を移行する。
【０１０１】
ステップＳ２０８：制御回路２７は、指定されたフレーム区間（Ｓ２０５）で被写体の変化を補間する補間画像を、その前後のフレーム区間の動きベクトルを用いた外挿によって生成する。なお、Ｓ２０８の処理後には、制御回路２７はＳ２１０に移行する。
【０１０２】
図７は、Ｓ２０８での補間画像の生成方法を模式的に示す図である。図７では、注目被写体（ボール）が、指定されたフレーム区間（ｔ２ｔ３）で壁に衝突して跳ね返る例を説明する。なお、図７では、便宜上、各フレームでの注目被写体の空間的な位置変化を１つの画面上で表現している。
【０１０３】
まず、制御回路２７は、指定されたフレーム区間（ｔ２ｔ３）に対して直前のフレーム区間（ｔ１ｔ２）で一対の特徴点の位置を空間方向に結ぶ関数を求める。また、制御回路２７は、指定されたフレーム区間（ｔ２ｔ３）に対して直後のフレーム区間（ｔ３ｔ４）で一対の特徴点の位置を空間方向に結ぶ関数を求める。そして、制御回路２７は、上記２つの関数を用いた外挿によって、指定されたフレーム区間（ｔ２ｔ３）における補間画像の特徴点の位置を決定する。一例として、制御回路２７は、ｔ１ｔ２から求まる関数とｔ３ｔ４から求まる関数との交点を通過してｔ２からｔ３に至る区間を求める。そして制御回路２７は、上記の区間を補間画像の挿入数で内分して各々の補間画像での特徴点の位置を決定する。これにより、フレーム区間ｔ２ｔ３に挿入される補間画像のうち、補間画像ｔ２ａ（フレーム区間ｔ２ｔ３に挿入される１フレーム目の補間画像）は直前のフレーム区間ｔ１ｔ２の動きベクトルにしたがってその位置が決定される。また、補間画像ｔ２ｂ（フレーム区間ｔ２ｔ３に挿入される２フレーム目の補間画像）は直後のフレーム区間ｔ３ｔ４の動きベクトルにしたがってその位置が決定される。
【０１０４】
また、Ｓ２０８での制御回路２７は、補間画像における特徴点以外の注目画素の位置や、各画素の階調値の変化について、第１実施形態のＳ１０５の方法を用いて求める。
【０１０５】
ステップＳ２０９：制御回路２７は、指定されたフレーム区間（Ｓ２０５）で被写体の変化を補間する補間画像を、そのフレーム区間の動きベクトルを用いた内挿によって生成する。なお、Ｓ２０９での補間画像の生成処理は、第１実施形態のＳ１０５とほぼ共通するため重複説明は省略する。
【０１０６】
ステップＳ２１０：制御回路２７は、各々の補間画像のデータ（Ｓ２０８またはＳ２０９で生成されたもの）を第１メモリ１７にバッファリングする。このとき、制御回路２７は、生成した補間画像を記録Ｉ／Ｆ２１を介して記憶媒体２９に記録してもよい。
【０１０７】
ステップＳ２１１：制御回路２７は、指定されたフレーム区間（Ｓ２０５）が最後のフレーム区間であるか否かを判定する。上記要件を満たす場合（ＹＥＳ側）にはＳ２１２に移行する。一方、上記要件を満たさない場合（ＮＯ側）にはＳ２０５に戻って、制御回路２７は上記動作を繰り返す。これにより、各々のフレーム区間で順次補間画像が生成されることとなる。
【０１０８】
ステップＳ２１２：制御回路２７は、データ処理回路１６および表示制御回路１８を介して、記録画像および補間画像を時系列に沿ってモニタ１９で連続的に再生する。以上で、図７の流れ図の説明を終了する。
【０１０９】
以下、第２実施形態の作用効果を述べる。第２実施形態の電子カメラでは、記録画像の間で注目被写体の動きが急激に変化している場合には、その前後のフレームの動きベクトルを用いた外挿で補間画像を生成する。一例として、図７において、フレーム区間ｔ２ｔ３の動きベクトルの内挿によるとボールが壁の手前で急に折り返すような補間画像が生成されるが、本実施形態の補間画像ではボールがｔ２，ｔ３の位置よりも壁に近づくため、注目被写体の挙動がより自然な補間画像を生成することができる。
【０１１０】
（実施形態の補足事項）
（１）上記実施形態の電子カメラでは、位相差ＡＦモジュールを撮像素子１３とは別に設け、コントラスト方式のＡＦ動作に加えてさらに公知の瞳分割による位相差ＡＦ動作を行うようにしてもよい。また、上記実施形態では、撮像素子１３の出力に基づいてＡＥ演算を行う例を説明したが、撮像素子１３とは別にＡＥ演算用の測光素子を設けてもよい。
【０１１１】
（２）上記実施形態では、記録画像のデータから補間画像を生成する例を説明した。しかし、上記実施形態において、例えば、記録画像のデータと、モニタ１９の表示サイズ以下に設定されたビュー画像のデータとがグループ化されて記憶媒体２９に記録されるときに、制御回路２７は、上記のビュー画像のデータを優先的に選択して、このビュー画像のデータから補間画像を生成するようにしてもよい。
【０１１２】
（３）上記の第１実施形態では、パンニングを伴う連写撮影で生成された画像ファイルを用いる例を説明した。しかし、上下方向にカメラを振って撮像範囲をシフトさせるティルト撮影の場合や、カメラを水平移動させて撮像範囲をシフトさせる場合（いわゆるトラック動作の場合）にも、本発明を同様に適用できる。
【０１１３】
（４）上記実施形態では電子カメラの制御回路２７が合成画像の生成などを行う例を説明したが、例えば、電子カメラと接続された外部装置３０（パーソナルコンピュータなど）が、上記実施形態の制御回路２７の処理を実行してもよい。また、上記実施形態で電子カメラの制御回路２７が実行する処理の一部を外部装置３０に負担させて、電子カメラと外部装置３０とを協働させて上記の第１実施形態または第２実施形態で説明したアルゴリズムを実現してもよい。
【０１１４】
なお、本発明は、その精神またはその主要な特徴から逸脱することなく他の様々な形で実施することができる。そのため、上述した実施形態はあらゆる点で単なる例示に過ぎず、限定的に解釈してはならない。本発明は、特許請求の範囲によって示されるものであって、本発明は明細書本文にはなんら拘束されない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、全て本発明の範囲内である。
【図面の簡単な説明】
【０１１５】
【図１】第１実施形態の電子カメラの構成を示すブロック図
【図２】第１実施形態における再生モードでの動作を示す流れ図
【図３】第１領域に対応する補間画像での特徴点の決定方法の一例を示す説明図
【図４】第１領域に対応する補間画像での注目画素の決定方法の一例を示す説明図
【図５】第２領域および第３領域に対応する補間画像の生成方法を模式的に示す図
【図６】第２実施形態の電子カメラの再生モードの動作を示す流れ図
【図７】Ｓ２０８での補間画像の生成方法を模式的に示す図
【符号の説明】
【０１１６】
１９…モニタ、２１…記録Ｉ／Ｆ、２２…通信Ｉ／Ｆ、２３…操作部材、２７…制御回路、２９…記憶媒体、３０…外部装置
【図１】
2009044329.tif 000004
【図２】
2009044329.tif 000005
【図３】
2009044329.tif 000006
【図４】
2009044329.tif 000007
【図５】
2009044329.tif 000008
【図６】
2009044329.tif 000009
【図７】
2009044329.tif 000010