(57)【要約】【課題】パノラマ静止画像の中で移動する対象物の動きを適切に表現すること。【解決手段】画像処理プログラムは、撮影方向を変えながら注目する移動体を時系列に撮影した複数の画像を入力する入力処理と、入力した画像における移動体を識別する移動体識別処理と、入力した画像に基づいて、移動体以外の背景領域の特徴点の位置を合わせるように撮影時刻が異なる複数の画像を合成し、個々の画像の撮影範囲より広範囲のパノラマ背景画像を生成するパノラマ背景画像生成処理と、パノラマ背景画像上で移動体の領域が移動するように表示装置に再生表示させるための画像データを生成する画像データ生成処理と、をコンピュータに実行させる。【選択図】図６
2014168147.tif 000002
【特許請求の範囲】
【請求項１】
撮影方向を変えながら注目する移動体を時系列に撮影した複数の画像を入力する入力処理と、
前記入力した画像における前記移動体を識別する移動体識別処理と、
前記入力した画像に基づいて、前記移動体以外の背景領域の位置を合わせるように撮影時刻が異なる複数の画像を合成し、個々の画像の撮影範囲より広範囲のパノラマ背景画像を生成するパノラマ背景画像生成処理と、
前記パノラマ背景画像上で前記移動体の領域が移動するように表示装置に再生表示させるための画像データを生成する画像データ生成処理と、
をコンピュータに実行させることを特徴とする画像処理プログラム。
【請求項２】
請求項１に記載の画像処理プログラムにおいて、
前記パノラマ背景画像生成処理は、撮影範囲が相互に重なる重複領域を有し、該重複領域に含まれる前記背景領域において、各々少なくとも２つの特徴点を有する複数の画像を合成することを特徴とする画像処理プログラム。
【請求項３】
請求項１または２に記載の画像処理プログラムにおいて、
前記画像データ生成処理は、前記入力した複数の画像から得られる、前記移動体の領域と前記背景領域との相対的位置関係の時間的変化に基づいて、前記パノラマ背景画像上における前記移動体の領域の位置を求めることを特徴とする画像処理プログラム。
【請求項４】
請求項３に記載の画像処理プログラムにおいて、
前記画像データ生成処理は、前記パノラマ背景画像生成処理で用いた画像数より多くの画像に基づいて、前記移動体の領域と前記背景領域との相対的位置関係の時間的変化を求めることを特徴とする画像処理プログラム。
【請求項５】
請求項１〜４のいずれか一項に記載の画像処理プログラムにおいて、
前記画像データ生成処理は、前記移動体および背景の一部を含む領域を前記移動体の領域とすることを特徴とする画像処理プログラム。
【請求項６】
請求項１〜５のいずれか一項に記載の画像処理プログラムを搭載することを特徴とするデジタルカメラ。
【請求項７】
請求項６に記載のデジタルカメラにおいて、
前記画像データ生成処理で生成された画像データを再生表示する再生装置を備えたことを特徴とするデジタルカメラ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理プログラムおよびデジタルカメラに関する。
【背景技術】
【０００２】
静止画像中の一部の動きのみを表現する技術が知られている（特許文献１参照）。同技術は、ノイズが時間的に変化しない、あるいは本来動くべきものが動かない静止画という時間の止まった世界の中で、一部領域だけ時間が進行しているという異質な世界を表現したものであり、最近注目を集めている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−２１２７８１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来技術は、画面内の一部で周期的に動く対象物へ適用するもので、対象物が画面内を移動する場合への適用が困難という問題があった。
【課題を解決するための手段】
【０００５】
本発明による画像処理プログラムは、撮影方向を変えながら注目する移動体を時系列に撮影した複数の画像を入力する入力処理と、入力した画像における移動体を識別する移動体識別処理と、入力した画像に基づいて、移動体以外の背景領域の位置を合わせるように撮影時刻が異なる複数の画像を合成し、個々の画像の撮影範囲より広範囲のパノラマ背景画像を生成するパノラマ背景画像生成処理と、パノラマ背景画像上で移動体の領域が移動するように表示装置に再生表示させるための画像データを生成する画像データ生成処理と、をコンピュータに実行させることを特徴とする。
【発明の効果】
【０００６】
本発明によれば、パノラマ画像の中で移動する対象物の動きを適切に表現し得る。
【図面の簡単な説明】
【０００７】
【図１】本発明の一実施の形態によるデジタルカメラの構成を例示するブロック図である。
【図２】「先撮り撮影モード」における画像の取得タイミングを説明する図である。
【図３】パノラマ画像の生成を説明する図である。
【図４】９枚のフレーム画像における動体領域を説明する図である。
【図５】パノラマ背景画像Ｐへの動体領域の合成を説明する図である。
【図６】ＣＰＵが実行する処理の流れを説明するフローチャートである。
【図７】コンピュータを例示する図である。
【発明を実施するための形態】
【０００８】
以下、図面を参照して本発明を実施するための形態について説明する。図１は、本発明の一実施の形態によるデジタルカメラ１の構成を例示するブロック図である。デジタルカメラ１は、例えば、パンニング撮影など、撮影範囲を移動しながら取得した複数フレームの静止画像に基づいて、個々の静止画像よりも広範囲のパノラマ静止画像を生成し、当該広範囲のパノラマ静止画像の中を、例えば長手方向に移動する対象物を動的に移動させて表現する「動き表現」を行う。なお、以下の説明においては、一例として、撮影方向を水平方向に変化させながら取得した複数フレームの静止画像に基づいて、パノラマ静止画像を生成し、当該パノラマ静止画像の中を、長手方向に移動する対象物を動的に移動させて表現する「動き表現」を行う例について説明する。
【０００９】
以下、デジタルカメラ１の詳細について説明する。図１において、撮影レンズ１１は、撮像素子１２の撮像面に被写体像を結像させる。なお、図１では、撮影レンズ１１がカメラと一体的に形成された（撮影レンズが着脱不能な）デジタルカメラ１を例示したが、カメラボディと、そのカメラボディに着脱可能な交換レンズからなるカメラシステムによって構成してもよい。その場合は、図１の符号１１および２１からなる構成が交換レンズ側に含まれ、その他の符号からなる構成がカメラボディ側に含まれる。
【００１０】
ＣＰＵ１６は、図示しないシャッターボタンの半押し操作に連動して半押しスイッチ２０ａがオンすると、ＡＥ（自動露出）演算およびオートフォーカス（ＡＦ）処理を行わせて、撮影レンズ１１を構成するフォーカシングレンズ（不図示）を光軸方向（図１において矢印方向）に進退移動させる。これにより、撮影レンズ１１の焦点位置が自動調節される。フォーカシングレンズ（不図示）の駆動は、ＣＰＵ１６から指示を受けたレンズ駆動部２１が行う。
【００１１】
撮像素子１２は、ＣＭＯＳイメージセンサなどによって構成される。撮像素子１２は、撮像面上に結像された被写体像を撮像する。撮像素子１２から出力された撮像信号は、Ａ／Ｄ変換部１３においてアナログ信号からデジタル信号に変換される。画像処理部１４は、デジタル画像信号に対して所定の画像処理を行う。
【００１２】
液晶モニタ１５は、撮像素子１２で撮像された画像、後述するバッファメモリ１８、あるいはメモリカード５０に記憶される画像を表示すると共に、ＣＰＵ１６からの指示に応じて、画像やアイコン、操作メニューなどを表示する。液晶モニタ１５の表示面にはタッチ操作部材１５ａが積層されている。タッチ操作部材１５ａは、表示画面上のタッチ位置を示す信号をＣＰＵ１６へ送出する。
【００１３】
フラッシュメモリ１７は、ＣＰＵ１６が実行するプログラムや、実行処理に必要なデータなどを格納する。フラッシュメモリ１７が格納するプログラムやデータの内容は、ＣＰＵ１６からの指示によって追加、変更が可能に構成されている。
【００１４】
ＣＰＵ１６は、例えばバッファメモリ１８を作業領域として制御プログラムを実行し、カメラ各部に対する種々の制御を行う。バッファメモリ１８は、画像データを一時的に記憶する場合にも使用される。本実施形態では、撮影指示（シャッターボタンの全押し操作）前に撮像素子１２によって所定のフレームレートで取得される複数フレームの画像（先撮り画像と呼ぶ）や、撮影指示後に撮像素子１２によって所定のフレームレートで取得される複数フレームの画像（後撮り画像と呼ぶ）を一時的に記憶する場合にも使用される。
【００１５】
画像処理部１４は、デジタル画像信号に対する画像処理以外に、画像信号を格納した所定形式の画像ファイル（例えば Exif ファイル）を生成する。記録再生部１９は、ＣＰＵ１６からの指示に基づいて画像ファイルをメモリカード５０に記録（保存）し、また、メモリカード５０に記録（保存）されている画像ファイルを読み出す。
【００１６】
メモリカード５０は、図示しないカードスロットに着脱自在に取り付けられる記録媒体である。ＣＰＵ１６は、記録再生部１９によってメモリカード５０から読み出された画像ファイル、または撮影後バッファメモリ１８に記憶されている画像データに基づいて、液晶モニタ１５に撮影画像を再生表示させる。
【００１７】
操作部材２０は、上記半押しスイッチ２０ａや、シャッターボタンの全押し操作に伴ってオンする全押しスイッチ２０ｂ、およびモード切替えスイッチなどを含み、各部材の操作に伴う操作信号をＣＰＵ１６へ送出する。
【００１８】
半押しスイッチ２０ａからのオン信号（半押し操作信号）は、シャッターボタンが通常ストロークの半分程度まで押し下げ操作されると出力され、半ストロークの押し下げ操作解除で出力が解除される。全押しスイッチ２０ｂからのオン信号（全押し操作信号）は、シャッターボタンが通常ストロークまで押し下げ操作されると出力され、通常ストロークの押し下げ操作が解除されると出力が解除される。
【００１９】
＜撮影モード＞
上記デジタルカメラ１は、「通常の撮影モード」と、「先撮り撮影モード」とを有する。「通常の撮影モード」は、上記全押し操作信号に応じて１フレームずつ撮影画像を取得してメモリカード５０へ記録する撮影モードである。「先撮り撮影モード」は、静止画像を所定のフレームレート（例えば毎秒１２０フレーム）で取得し、上記全押し操作信号を受けると当該全押し操作信号を受けた時点の前後において取得した複数フレームの画像（上記先撮り画像と後撮り画像）のうち、所定の画像をメモリカード５０へ記録する撮影モードである。各撮影モードは、操作部材２０またはタッチ操作部材１５ａからの操作信号に応じて切替え可能に構成されている。
【００２０】
＜再生モード＞
再生モードのデジタルカメラ１は、「通常の撮影モード」または「先撮り撮影モード」において記録された画像をフレームごとに、あるいは所定数のフレームごとに、液晶モニタ１５に再生表示する。また、「動き表現」する場合は、「先撮り撮影モード」で取得された複数フレームの画像に基づいて、パノラマ静止画像の中を長手方向へ移動する対象物の動きを表現するように、液晶モニタ１５に再生表示を行う。
【００２１】
＜動き表現＞
本実施形態は、上記「動き表現」処理に特徴を有するので、以降はこの点を中心に説明する。「動き表現」処理のオン／オフは、操作部材２０またはタッチ操作部材１５ａからの操作信号に応じて切替え可能に構成されている。
【００２２】
−複数フレーム画像の取得−
ユーザーは、例えばデジタルカメラ１をパンニングしながら、水平方向に移動する被写体（本例では航空機）を追う、いわゆる被写体の移動に合わせたパンニング撮影によって複数フレームの画像を取得する。図２は、「先撮り撮影モード」における画像の取得タイミングを説明する図である。図２において、時刻ｔ０に「先撮り撮影モード」が起動されると、ＣＰＵ１６はレリーズ待機処理を開始させる。レリーズ待機処理では、上記所定のフレームレートで被写体像を撮像して露出演算やフォーカス調節を行うとともに、取得した画像データを逐次バッファメモリ１８へ記憶する。
【００２３】
「先撮り撮影モード」において先撮り画像と後撮り画像の記憶に使用するバッファメモリ１８のメモリ容量は、あらかじめ十分な容量が確保されている。ＣＰＵ１６は、時刻ｔ０以降にバッファメモリ１８内に記憶したフレーム画像のフレーム枚数が所定枚数（例えばＡ枚）に達した場合には、古いフレーム画像から順に上書き消去する。これにより、「先撮り撮影モード」において先撮り画像と後撮り画像の記憶に使用するバッファメモリ１８のメモリ容量を制限できる。
【００２４】
時刻ｔ１に全押し操作信号が入力されると、ＣＰＵ１６はレリーズ処理を開始させる。レリーズ処理では、時刻ｔ１以前に先撮りしたＡ枚のフレーム画像と、時刻ｔ１以降に後撮りされるＢ枚のフレーム画像とを合わせた（Ａ＋Ｂ）枚のフレーム画像をメモリカード５０への記録候補画像とする。図２における黒い帯は、記録候補画像である（Ａ＋Ｂ）枚のフレーム画像が取得される区間を表す。斜線の帯は、バッファメモリ１８に一旦は記憶されたものの、上書き消去されたフレーム画像が取得された区間を表す。
【００２５】
―広範囲の背景画像を生成―
ＣＰＵ１６は、バッファメモリ１８に記憶されている複数フレームの画像に基づいて、１フレームの撮影範囲より広範囲のパノラマ背景静止画像を生成する。具体的には、（Ａ＋Ｂ）枚のフレーム画像の中から所定の画像（例えば、先撮りしたＡ枚のうち先頭フレームｆ１、全押し操作（時刻ｔ１）に応じて取得されたフレームｆ(Ａ＋１)、それ以降に後撮りされたＢ枚のうち末尾フレームｆ(Ａ＋Ｂ)）を選び、この３フレームに基づいて背景静止画像を生成する。なお、フレームｆ１とフレームｆ(Ａ＋１)、およびフレームｆ(Ａ＋１)とフレームｆ(Ａ＋Ｂ)は、それぞれが重複する領域を有するように選ぶ。
【００２６】
ＣＰＵ１６は、時系列に並ぶフレーム画像について、各フレームの移動対象物を除いた背景領域で位置合わせを行った上で、隣接するフレーム間で差分をとることにより、フレーム画像における移動対象物（本例では航空機）を抽出する。具体的には、時間的に隣接する、所定の閾値で２値化された差分画像間で、論理積をとることにより、移動対象物の領域を抽出することができる。このようにして所定フレームにおいて移動対象物の領域が特定できれば、上記の差分演算を行った各フレームで、移動対象物の領域を特定することができる。ここで、フレーム間で所定値以上の差分が生じた領域が対象物に対応し、フレーム間の差分が所定値未満の領域は非対象物（本例では背景）に対応する。
【００２７】
図３は、パノラマ背景静止画像の生成を説明する図である。ＣＰＵ１６は、フレームｆ１、フレームｆ(Ａ＋１)、およびフレームｆ(Ａ＋Ｂ)から、例えばパターンマッチング手法によってそれぞれの動体領域を抽出する。図３の各フレーム画像において、破線で囲んだ領域ｍ１、ｍ(Ａ＋１)、ｍ(Ａ＋Ｂ)は、それぞれの動体領域を表す。動体領域は、背景を含まない移動対象物のみで構成される領域とすることが好ましいが、移動対象物と背景の一部を含む矩形領域とする構成としてもよい。ＣＰＵ１６はさらに、フレームｆ１、フレームｆ(Ａ＋１)、およびフレームｆ(Ａ＋Ｂ)からそれぞれの動体領域を除外した非動体領域（背景領域）において２以上の特徴点を抽出する。図３において、複数の黒点は特徴点を表す。画像間の位置合わせに適した特徴点の抽出は、例えば、Lowe, David G.(1999). 1362011142865_0.790410. Proceedings of the International Conference on Computer Vision. 2. pp.1150-1157.などに開示される公知の技術を用いることができる。
【００２８】
ＣＰＵ１６は、フレームｆ１とフレームｆ（Ａ＋１）間、およびフレームｆ（Ａ＋１）とフレームｆ（Ａ＋Ｂ）間でそれぞれ特徴点の対応付けを行い、対応付けされた特徴点の位置を合わせるようにフレームｆ１、フレームｆ(Ａ＋１)およびフレームｆ(Ａ＋Ｂ)を合成し、１フレームの撮影範囲より広い画像（パノラマ背景静止画像）Ｐを生成する。ここで、フレームｆ１、フレームｆ(Ａ＋１)およびフレームｆ(Ａ＋Ｂ)の合成処理により生成された合成静止画像中の移動対象物の領域のデータは、当該領域が背景である他のフレームより背景画像データを抽出して置き換える。例えば、図３中の移動対象物の領域であるｍ１領域の画像データは、フレームｆ（Ａ＋１）、フレームｆ（Ａ＋Ｂ）、あるいはその他のフレームｆ１以外のフレーム中の、フレームｆ１の移動対象物の領域であるｍ１の領域に対応する背景領域の画像データに置き換える。図３における、フレームｆ（Ａ＋１）中の移動対象物の領域であるｍ（Ａ＋１）、フレームｆ（Ａ＋Ｂ）中の移動対象物の領域であるｍ（Ａ＋Ｂ）についても、同様に、各々、フレームｆ（Ａ＋１）、フレームｆ（Ａ＋Ｂ）以外のフレーム中の、ｍ（Ａ＋１）、ｍ（Ａ＋Ｂ）に対応する背景領域の画像データに置き換えることができる。上記構成においては、所定フレームにおける移動対象物の領域の画像データを、他のフレームの背景領域の画像データと置き換える構成としている。このような処理は、例えば、フレームｆ１の背景領域に複数の特徴点を設け、各特徴点と移動対象物領域ｍ１との位置関係を求めた上で、背景領域の複数の特徴点との位置関係が、フレームｆ１中の背景領域の特徴点と移動対象物領域ｍ１の位置関係と同一となる背景領域を他のフレームで求め、当該他のフレーム中の背景領域の画像データを、フレームｆ１の移動対象物領域の画像データと置き換えることで実現することができる。
【００２９】
パノラマ背景画像Ｐは、時系列に並ぶ（Ａ＋Ｂ）枚の全フレーム画像を重ね合わせて合成してもよいが、本例のように、２以上の特徴点を合わせるための最小限の重なり代（重複する領域）を確保した上で合成に用いるフレーム数を抑えることで、全フレーム画像を１つに合成する場合に比べてパノラマ背景静止画像の生成を迅速に行える。
【００３０】
―背景画像に動体領域を合成―
ＣＰＵ１６は、（Ａ＋Ｂ）枚のフレーム画像の中から所定の画像（例えば上記フレームｆ１、１０枚目のフレームｆ１０、２０枚目のフレームｆ２０、…、８０枚目のフレームｆ８０を選び、これら９フレームに基づいて、動きを表現するための９枚の画像を合成する。なお、フレームｆ８０は末尾フレームであり、上記ｆ(Ａ＋Ｂ)に相当するものとする。
【００３１】
具体的には、時系列に並ぶ上記９枚のフレーム画像から上記パターンマッチング手法によってそれぞれ動体領域（移動対象物領域）を抽出する。このうち、フレームｆ１およびフレームｆ８０（＝ｆ(Ａ＋Ｂ)）については既に抽出済みであるので、既存の情報を使用する。なお、先に説明した様に、フレーム差分画像の論理演算によって、各フレームにおける動体領域を抽出する構成としてもよい。
【００３２】
図４は、９枚のフレーム画像における動体領域を説明する図である。図４の各フレーム画像において、破線で囲んだ領域ｍ１、ｍ１０、ｍ２０、…、ｍ８０は、それぞれ動体領域を表す。ＣＰＵ１６はさらに、各フレーム画像において、動体領域と非動体領域（背景領域）との相対位置関係を示す動体（移動対象物）位置情報をそれぞれ算出する。これにより、動体位置情報の時間的な変化が求まる。
【００３３】
具体的には、各フレーム画像において、動体領域と非動体領域においてそれぞれ特徴点を抽出する。図４の各フレーム画像における複数の黒点は、それぞれ特徴点を表す。離れた領域間の相対位置情報の算出に適した特徴点の抽出は、公知であるので説明を省略する。
【００３４】
図５は、パノラマ背景画像Ｐへの動体領域の合成を説明する図である。ＣＰＵ１６は、各フレーム画像の動体領域ｍ１、ｍ１０、ｍ２０、…、ｍ８０を、パノラマ背景画像Ｐにおいて対応する位置へ、順次、はめ込み合成する。具体的には、先ず、図４の各フレーム画像において抽出した特徴点にそれぞれ対応する特徴点を、パノラマ背景画像Ｐにおいて抽出する。
【００３５】
ＣＰＵ１６は、動体領域ｍ１とパノラマ背景画像Ｐ間で特徴点の対応付けを行い、図４のフレームｆ１から得られた動体位置情報に基づいて、パノラマ背景画像Ｐに対して動体領域ｍ１の位置合わせを行い、動体領域ｍ１を合成する。
【００３６】
次に、ＣＰＵ１６は、動体領域ｍ２とパノラマ背景画像Ｐ間で特徴点の対応付けを行い、図４のフレームｆ１０から得られた動体位置情報に基づいて、パノラマ背景画像Ｐに対して動体領域ｍ１０の位置合わせを行い、動体領域ｍ１０を合成する。
【００３７】
以降同様に、図４のフレームｆ８０の動体領域ｍ８０まで、各フレーム画像から得たそれぞれの動体位置情報に基づいて、パノラマ背景画像Ｐに対して各動体領域の位置合わせを行って合成する。これにより、動体位置情報の時間的な変化に基づいてそれぞれ異なる位置に動体領域ｍ１、ｍ１０、…、ｍ８０を合成した９つのパノラマ画像を得る。
【００３８】
ＣＰＵ１６は、上記９枚のパノラマ画像をメモリカード５０へ記録する。なお、９枚のパノラマ画像をそのまま記録する第１記録方式と、１枚目のパノラマ画像と、１枚目のパノラマ画像と異なる領域（動体領域）を表す差分情報を２枚目以降の画像情報として記録する第２記録方式とが、操作部材２０またはタッチ操作部材１５ａからの操作信号に応じて切替え可能に構成されている。本実施形態では、第１記録方式が選択されているものとする。
【００３９】
図６は、上述した「動き表現」時にＣＰＵ１６が実行する処理の流れを説明するフローチャートである。ＣＰＵ１６は、「先撮り撮影モード」に設定、かつ「動き表現」処理がオンにされると図６による処理を起動する。図６のステップＳ１において、ＣＰＵ１６は先撮り画像の取得（すなわちレリーズ待機処理）を開始させてステップＳ２へ進む。これにより、先撮りされたフレーム画像がバッファメモリ１８に蓄積されるとともに、液晶モニタ１５に逐次表示される。
【００４０】
ステップＳ２において、ＣＰＵ１６は、先撮り画像データに基づいてＡＥ（自動露出）演算およびＡＦ（自動焦点調節）処理を行わせてステップＳ３へ進む。ステップＳ３において、ＣＰＵ１６は、レリーズボタンの全押し操作が行われたか否かを判定する。ＣＰＵ１６は、全押しスイッチ２０ｂからのオン信号が入力された場合にステップＳ３を肯定判定してステップＳ４へ進み、全押しスイッチ２０ｂからのオン信号が入力されない場合には、ステップＳ３を否定判定してステップＳ２へ戻る。ステップＳ２へ戻る場合は、上述した処理を繰り返す。
【００４１】
ステップＳ４において、ＣＰＵ１６は、後撮り画像の取得を開始させてステップＳ５へ進む。後撮り画像は、全押し操作に応じて取得する１枚と、その後に取得する(Ｂ−１)枚である。ステップＳ５において、ＣＰＵ１６は、上述したようにフレーム画像における対象物（本例では航空機）を抽出してステップＳ６へ進む。
【００４２】
ステップＳ６において、ＣＰＵ１６は、バッファメモリ１８に記憶されている複数フレームの画像に基づいて、１フレームの撮影範囲より広範囲のパノラマ背景画像を生成してステップＳ７へ進む。ステップＳ７において、ＣＰＵ１６は、時系列に並ぶ上記９枚のフレーム画像からそれぞれ動体領域（対象物と背景の一部を含む矩形領域）を抽出してステップＳ８へ進む。
【００４３】
ステップＳ８において、ＣＰＵ１６は、上記９枚の各フレーム画像において、動体領域と非動体領域との相対位置関係を示す動体位置情報を算出してステップＳ９へ進む。ステップＳ９において、ＣＰＵ１６は、各フレーム画像から得たそれぞれの動体位置情報に基づいて、パノラマ背景画像Ｐに対して各動体領域の位置合わせを行ってはめ込み合成する。これにより、それぞれ異なる位置に動体領域ｍ１、ｍ１０、…、ｍ８０を合成した９つのパノラマ画像を得る。
【００４４】
ステップＳ１０において、ＣＰＵ１６は、９枚のパノラマ画像をメモリカード５０へ記録してステップＳ１１へ進む。ステップＳ１１において、ＣＰＵ１６は、再生指示が行われたか否かを判定する。ＣＰＵ１６は、操作部材２０またはタッチ操作部材１５ａから再生を指示する操作信号が入力されると、ステップＳ１１を肯定判定してステップＳ１３へ進む。ＣＰＵ１６は、操作部材２０またはタッチ操作部材１５ａから再生を指示する操作信号が入力されない場合は、ステップＳ１１を否定判定してステップＳ１２へ進む。
【００４５】
ステップＳ１２において、ＣＰＵ１６は、終了指示が行われたか否かを判定する。ＣＰＵ１６は、操作部材２０またはタッチ操作部材１５ａから「動き表現」処理をオフする操作信号が入力されると、ステップＳ１２を肯定判定して図６による処理を終了する。ＣＰＵ１６は、操作部材２０またはタッチ操作部材１５ａから「動き表現」処理をオフする操作信号が入力されない場合は、ステップＳ１２を否定判定してステップＳ１へ戻る。ステップＳ１へ戻る場合は、上述した処理を繰り返す。
【００４６】
ステップＳ１３において、ＣＰＵ１６は、合成した９つのパノラマ画像に基づいて、動画再生表示を繰り返し行う。具体的には、上記９つのパノラマ画像を順番に所定のフレームレートで液晶モニタ１５に再生表示する。一般に、パノラマ画像のアスペクト比は液晶モニタ１５の表示エリアのアスペクト比より大きいので、再生表示する画面の上下は、例えば黒または青色で表示する。
【００４７】
合成した９つのパノラマ画像の非動体領域（背景）は共通であるので、再生表示した前フレームと変化しない領域の画像をそのまま残し、前フレームと変化する領域のみを新たに描画するように再生表示することで、パノラマ静止画像の中を長手方向へ移動する対象物（航空機）の動きを表現するように、再生表示できる。
【００４８】
以上説明した実施形態によれば、次の作用効果が得られる。
（１）ＣＰＵ１６は、撮影方向を変えながら注目する移動体（航空機）を時系列に撮影した複数のフレーム画像を入力する入力処理と、入力したフレーム画像における移動体（航空機）を識別する識別処理（Ｓ５）と、入力したフレーム画像に基づいて、移動体（航空機）以外の背景領域の位置を合わせるように撮影時刻が異なる複数のフレーム画像を合成し、個々のフレーム画像の撮影範囲より広範囲のパノラマ背景画像Ｐを生成するパノラマ背景画像生成処理（Ｓ６）と、パノラマ背景画像Ｐ上で移動体の領域（動体領域）が移動するように液晶モニタ１５に再生表示させるための画像データを生成する画像データ生成処理（Ｓ７−Ｓ９）と、を実行する。これにより、パノラマ静止画像の中で移動する移動体の動きを適切に表現し得る。
【００４９】
（２）上記（１）のパノラマ背景画像生成処理（Ｓ６）は、撮影範囲が相互に重なる重複領域を有し、該重複領域に含まれる背景領域において、各々少なくとも２つの特徴点を有する複数のフレーム画像を合成するので、さらに多くの特徴点を有するフレーム画像とフレーム画像とを合成する場合に比べて、パノラマ背景画像Ｐを生成する処理を迅速に行える。また、パノラマ背景画像Ｐ中を移動する移動体領域画像を生成する際に用いられるフレーム数より少ないフレーム数で、パノラマ背景画像Ｐを生成することができる。
【００５０】
（３）上記（１）または（２）に記載の画像データ生成処理は、入力したフレーム画像から得られる移動体の領域（動体領域）と、背景領域との相対的位置関係の時間的変化に基づいて、パノラマ背景画像Ｐ上における移動体の領域の位置を求める（Ｓ７−Ｓ８）ようにしたので、パノラマ静止画像の中で移動する移動体の動きを適切に表現し得る
【００５１】
（４）上記（３）の画像データ生成処理は、パノラマ背景画像生成処理（Ｓ６）で用いた画像数（３フレーム）より多くの画像（９フレーム）に基づいて、移動体の領域（動体領域）と背景領域との相対的位置関係の時間的変化を求めるようにしたので、移動する移動体の動きを滑らかに表現し得る。
【００５２】
（５）上記（１）〜（４）に記載の画像データ生成処理は、移動体および背景の一部を含む領域を移動体の領域とするので、例えば移動体が複雑な外形を有していても、背景の一部を含めた外形を単純な矩形とすることで、生成処理の負担を軽減できる。
【００５３】
（６）上記（１）〜（５）に記載の処理をデジタルカメラ１のＣＰＵ１６に実行させるようにしたので、デジタルカメラ１のＣＰＵ１６が、移動する移動体の動きを滑らかに表現し得る。
【００５４】
（７）上記（６）に記載のデジタルカメラ１において、画像データ生成処理で生成された画像データを再生表示する再生装置を備えたので、デジタルカメラ１の液晶モニタ１５において、パノラマ静止画像の中で移動する移動体の動きを適切に表現できる。
【００５５】
（変形例１）
以上の説明では、「先撮り撮影モード」において取得した時系列に並ぶ複数フレームの画像群に基づいてパノラマ画像を得る例を説明したが、複数の画像群は、必ずしも「先撮り撮影モード」で撮影した画像群でなくてもよい。例えば、カメラをパンニングしながら連写することによって取得した時系列に並ぶ複数フレームの画像群に基づいてパノラマ画像を得るようにしてもよい。
【００５６】
（変形例２）
複数フレームの画像群を取得する際のフレームレートは、上述した毎秒１２０フレームでなくてもよく、毎秒３０フレームや、毎秒５フレームであってもよい。このフレームレートは、移動する被写体（対象物）の移動速度に応じて適宜設定してよい。なお、取得時のフレームレートより再生表示時のフレームレートを低くすると、いわゆるスロー再生を行える。
【００５７】
（変形例３）
上述した実施形態では、パノラマ背景画像Ｐを生成するために３フレーム、（フレームｆ１、フレームｆ(Ａ＋１)、フレームｆ(Ａ＋Ｂ)）を用いて生成する例を説明したが、それぞれが重複する領域を有していれば、さらに多くのフレーム画像を用いて生成してもよい。なお、個々のフレーム画像の撮影範囲より広範囲のパノラマ背景画像Ｐを生成するためには、少なくとも２フレーム以上が必要である。
【００５８】
（変形例４）
また、上記実施形態では、動きを表現するために用いる画像数を９フレームとする例を説明したが、上述した９フレームに限らず、移動する被写体（対象物）の移動速度に応じて画像数を適宜設定してよい。より多くの画像を用いると、移動する被写体（対象物）の動きをより滑らかに表現できる。
【００５９】
（変形例５）
上述した説明では、毎秒１２０フレームのフレームレートで複数フレームの画像群を取得し、この中から間引きすることによって動きを表現するために用いる９枚の画像を得る例を説明した。もし、移動する被写体（対象物）の移動速度に対し、画像群を取得する際のフレームレートが低い場合には、取得した画像群を間引かずに全て用いても、移動する被写体（対象物）の動きを滑らかに表現できないことが想定される。この場合には、実際に取得した画像群の各フレーム間に、補間生成（前後のフレーム画像における動体位置に基づいて動体位置を推定し、この推定位置に動体領域をはめ込んだフレーム画像を生成する）したフレーム画像を挿入するとよい。これにより、移動する被写体（対象物）の動きを滑らかに表現できる。
【００６０】
（変形例６）
以上の説明では、電子機器としてデジタルカメラ１を用いる例を説明したが、多機能携帯電話機やタブレット型コンピュータを用いて構成してもよい。
【００６１】
（変形例７）
上述した実施形態では、時系列に並ぶ複数フレームの画像群に基づいて、デジタルカメラ１で「動き表現」処理を行う例を説明したが、パーソナルコンピュータや、タブレット型コンピュータなどを用いて、事後的に「動き表現」処理を行う画像処理装置を構成してもよい。この場合、デジタルカメラ１で取得した画像データとして、時系列に並ぶ複数フレームの画像群を保存しておく。
【００６２】
そして、図７に示すコンピュータ装置２００に図６に例示したフローチャート（ステップＳ５−Ｓ１３）の処理を行うプログラムを実行させることにより、パノラマ静止画像の中を、例えば長手方向へ移動する被写体（対象物）の動きを表現する画像処理装置を構成する。プログラムをパーソナルコンピュータ２００に取込んで使用する場合には、パーソナルコンピュータ２００のデータストレージ装置にプログラムをローディングした上で、当該プログラムを実行させることによって画像処理装置として使用する。
【００６３】
パーソナルコンピュータ２００に対するプログラムのローディングは、プログラムを格納したＣＤ−ＲＯＭなどの記憶媒体２０４をパーソナルコンピュータ２００にセットして行ってもよいし、ネットワークなどの通信回線２０１を経由する方法でパーソナルコンピュータ２００へローディングしてもよい。通信回線２０１を経由する場合は、通信回線２０１に接続されたサーバー（コンピュータ）２０２のハードディスク装置２０３などにプログラムを格納しておく。プログラムは、記憶媒体２０４や通信回線２０１を介する提供など、種々の形態のコンピュータプログラム製品として供給することができる。
【００６４】
以上の説明はあくまで一例であり、上記の実施形態の構成に何ら限定されるものではない。
【符号の説明】
【００６５】
１…デジタルカメラ
１２…撮像素子
１４…画像処理部
１５…液晶モニタ
１５ａ…タッチ操作部材
１６…ＣＰＵ
１７…フラッシュメモリ
１８…バッファメモリ
１９…記録再生部
２０…操作部材
５０…メモリカード
２００…コンピュータ
２０４…記憶媒体
【図１】
2014168147.tif 000003
【図２】
2014168147.tif 000004
【図３】
2014168147.tif 000005
【図４】
2014168147.tif 000006
【図５】
2014168147.tif 000007
【図６】
2014168147.tif 000008
【図７】
2014168147.tif 000009