(57)【要約】【課題】画像の中で変形、または移動する対象物の動きを適切に表現できる。【解決手段】画像処理装置１は、時系列に撮影された複数の画像から、互いに類似する複数の類似画像、および類似画像と類似画像との間に取得された１つの画像をそれぞれ選択する画像選択手段１６と、時系列の複数の画像間で変化する対象物を検出する検出手段１６と、画像選択手段１６で選択された画像に基づいて、１つの画像上で対象物の領域が変化するように表示装置１５に再生表示させる再生制御手段１６と、を備える。【選択図】図１
2014217008.tif 000002
【特許請求の範囲】
【請求項１】
時系列に撮影された複数の画像から、互いに類似する複数の類似画像、および前記類似画像と類似画像との間に取得された１つの画像をそれぞれ選択する画像選択手段と、
前記時系列の複数の画像間で変化する対象物を検出する検出手段と、
前記画像選択手段で選択された画像に基づいて、前記１つの画像上で前記対象物の領域が変化するように表示装置に再生表示させる再生制御手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記画像選択手段は、画像間の類似度が所定値以上である画像を前記類似画像として選択することを特徴とする画像処理装置。
【請求項３】
請求項２に記載の画像処理装置において、
前記画像選択手段は、前記検出手段で検出された前記対象物の大きさ、形状および位置に基づいて前記類似度を算出することを特徴とする画像処理装置。
【請求項４】
請求項２または３に記載の画像処理装置において、
前記画像選択手段は、前記類似画像間の類似度よりも、前記類似画像と前記１つの画像との間の類似度がそれぞれ小さくなるように前記画像を選択することを特徴とする画像処理装置。
【請求項５】
請求項２〜４のいずれか一項に記載の画像処理装置において、
前記画像選択手段は、前記検出手段で検出された前記対象物以外の領域を基準として前記時系列の複数の画像間の位置合わせ後に、前記類似度を算出することを特徴とする画像処理装置。
【請求項６】
請求項１〜５のいずれか一項に記載の画像処理装置において、
画像の一部を指示する指示手段をさらに備え、
前記画像選択手段は、前記時系列に撮影された複数の画像において前記指示手段で指示された領域を対応付けし、当該領域が時系列に連続して存在する画像の中から前記複数の類似画像および前記１つの画像をそれぞれ選択することを特徴とする画像処理装置。
【請求項７】
請求項１〜６のいずれか一項に記載の画像処理装置において、
前記再生制御手段は、前記画像選択手段で選択された画像を前記時系列順に再生表示する際、前記画像選択手段で選択された前記類似画像のうち、最も古い画像における対象物の位置に該対象物をフェードイン表示し、最も新しい画像における対象物の位置から該対象物をフェードアウトすることを特徴とする画像処理装置。
【請求項８】
請求項１〜６のいずれか一項に記載の画像処理装置において、
前記画像選択手段で選択された前記類似画像のうち、最も古い画像における対象物と最も新しい画像における対象物とに基づいて該対象物の大きさ、形状および位置について補間する画像を生成する補間画像生成手段をさらに備え、
前記再生制御手段は、前記画像選択手段で選択された画像および前記補間画像生成手段で生成された補間画像に基づいて、前記１つの画像上で前記対象物の領域が変化するように再生表示を繰り返すことを特徴とする画像処理装置。
【請求項９】
請求項１〜６のいずれか一項に記載の画像処理装置において、
前記時系列に撮影された複数の画像に基づいて、支点を中心とする対象物の回転運動を検出する回転運動検出手段をさらに備え、
前記画像選択手段は、前記時系列に撮影された複数の画像のうち、前記回転運動検出手段で同一方向の回転が検出されている画像から、互いに類似する複数の類似画像、および前記類似画像と類似画像との間に取得された１つの画像をそれぞれ選択し、
前記再生制御手段は、前記画像選択手段で選択された画像を前記時系列順に再生表示の後、前記画像群を前記時系列と逆順に再生表示する動作を繰り返すことを特徴とする画像処理装置。
【請求項１０】
請求項１〜９のいずれか一項に記載の画像処理装置において、
前記再生制御手段は、前記画像選択手段で選択された画像から前記対象物の領域をそれぞれ抽出し、該抽出領域を前記１つの画像上に前記時系列順にはめ込み合成し、
前記抽出した領域の画像情報と、前記１つの画像情報と、前記抽出領域を前記時系列順にはめ込み合成する際のそれぞれの位置情報と、を動画像ファイルに記録する記録手段をさらに備えることを特徴とする画像処理装置。
【請求項１１】
時系列に複数の画像を撮影する撮影手段と、
前記撮像手段で撮影された複数の画像から、互いに類似する複数の類似画像、および前記類似画像と類似画像との間に取得された１つの画像をそれぞれ選択する画像選択手段と、
前記画像選択手段で選択された画像に基づいて、前記１つの画像の一部が変化するように表示装置に再生表示させる再生制御手段と、
を備えることを特徴とする撮像装置。
【請求項１２】
請求項１１に記載の撮像装置において、
前記時系列の複数の画像間で変化する対象物を検出し、前記対象物の領域の変化周期を検出し、当該変化周期以上に亘って前記複数の画像を撮影するように前記撮像手段を制御する撮影制御手段をさらに備えることを特徴とする撮像装置。
【請求項１３】
時系列に撮影された複数の画像を入力する入力処理と、
前記入力した画像から、互いに類似する複数の類似画像、および前記類似画像と類似画像との間に取得された１つの画像をそれぞれ選択する画像選択処理と、
前記入力した前記時系列の複数の画像間で変化する対象物を検出する検出処理と、
前記画像選択処理で選択した画像に基づいて、前記１つの画像上で前記対象物の領域が変化するように表示装置に再生表示させる再生制御処理と、
をコンピュータに実行させることを特徴とする画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、撮像装置および画像処理プログラムに関する。
【背景技術】
【０００２】
静止画像中の一部において動きを表現する技術が知られている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−２１２７８１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら上述した従来技術では、時系列撮影画像の中から上記の動きを表現する画像群を抽出するのに、ユーザがマニュアルで行わなければならず作業が煩雑であった。
【課題を解決するための手段】
【０００５】
（１）本発明による画像処理装置は、時系列に撮影された複数の画像から、互いに類似する複数の類似画像、および類似画像と類似画像との間に取得された１つの画像をそれぞれ選択する画像選択手段と、時系列の複数の画像間で変化する対象物を検出する検出手段と、画像選択手段で選択された画像に基づいて、１つの画像上で対象物の領域が変化するように表示装置に再生表示させる再生制御手段と、を備えることを特徴とする。
（２）本発明による撮像装置は、時系列に複数の画像を撮影する撮影手段と、撮像手段で撮影された複数の画像から、互いに類似する複数の類似画像、および類似画像と類似画像との間に取得された１つの画像をそれぞれ選択する画像選択手段と、画像選択手段で選択された画像に基づいて、１つの画像の一部が変化するように表示装置に再生表示させる再生制御手段と、を備えることを特徴とする。
【発明の効果】
【０００６】
本発明によれば、ユーザの作業を簡略化できるという効果を奏する。
【図面の簡単な説明】
【０００７】
【図１】本発明の一実施の形態によるデジタルカメラの構成を例示するブロック図である。
【図２】「先撮り撮影モード」における画像の取得タイミングを説明する図である。
【図３】図３(a)は、メモリカードに記録されている複数フレームの画像を表す図である。図３(b)は、フレームＳにおける動体領域と非動体領域を例示する図である。図３(c)は、抽出した動体領域を例示する図である。
【図４】図４(a)は、メモリカードに記録されている複数フレームの画像を表す図である。図４(b)は、フレームＳにおける動体領域と非動体領域を例示する図である。図４(c)は、抽出した動体領域を例示する図である。
【図５】複数フレームの画像を取得する場合にＣＰＵが実行する処理の流れを説明するフローチャートである。
【図６】「動き表現」するＣＰＵが実行する処理の流れを説明するフローチャートである。
【図７】コンピュータを例示する図である。
【発明を実施するための形態】
【０００８】
以下、図面を参照して本発明を実施するための形態について説明する。図１は、本発明の一実施の形態によるデジタルカメラ１の構成を例示するブロック図である。デジタルカメラ１は、複数フレームの静止画像に基づいて、静止画像の一部の対象物の動きを表現する「動き表現」に適したフレームを自動的に選ぶ。「動き表現」は、静止画という時間の止まった世界の中で、一部領域だけ時間が進行しているかのような異質な世界を表現するものである。
【０００９】
以下、デジタルカメラ１の詳細について説明する。図１において、撮影レンズ１１は、撮像素子１２の撮像面に被写体像を結像させる。なお、図１では、撮影レンズ１１がカメラと一体的に形成された（撮影レンズが着脱不能な）デジタルカメラ１を例示したが、カメラボディと、そのカメラボディに着脱可能な交換レンズからなるカメラシステムによって構成してもよい。その場合は、図１の符号１１および２１からなる構成が交換レンズ側に含まれ、その他の符号からなる構成がカメラボディ側に含まれる。
【００１０】
ＣＰＵ１６は、図示しないシャッターボタンの半押し操作に連動して半押しスイッチ２０ａがオンすると、ＡＥ（自動露出）演算およびオートフォーカス（ＡＦ）処理を行わせて、撮影レンズ１１を構成するフォーカシングレンズ（不図示）を光軸方向（図１において矢印方向）に進退移動させる。これにより、撮影レンズ１１の焦点位置が自動調節される。フォーカシングレンズ（不図示）の駆動は、ＣＰＵ１６から指示を受けたレンズ駆動部２１が行う。
【００１１】
撮像素子１２は、ＣＭＯＳイメージセンサなどによって構成される。撮像素子１２は、撮像面上に結像された被写体像を撮像する。撮像素子１２から出力された撮像信号は、Ａ／Ｄ変換部１３においてアナログ信号からデジタル信号に変換される。画像処理部１４は、デジタル画像信号に対して所定の画像処理を行う。
【００１２】
液晶モニタ１５は、撮像素子１２で撮像された画像、後述するバッファメモリ１８、あるいはメモリカード５０に記憶された画像を表示すると共に、ＣＰＵ１６からの指示に応じて、画像やアイコン、操作メニューなどを表示する。液晶モニタ１５の表示面にはタッチ操作部材１５ａが積層されている。タッチ操作部材１５ａは、表示画面上のタッチ位置を示す信号をＣＰＵ１６へ送出する。
【００１３】
フラッシュメモリ１７は、ＣＰＵ１６が実行するプログラムや、実行処理に必要なデータなどを格納する。フラッシュメモリ１７が格納するプログラムやデータの内容は、ＣＰＵ１６からの指示によって追加、変更が可能に構成されている。
【００１４】
ＣＰＵ１６は、例えばバッファメモリ１８を作業領域として制御プログラムを実行し、カメラ各部に対する種々の制御を行う。バッファメモリ１８は、画像データを一時的に記憶する場合にも使用される。さらに、本実施形態でバッファメモリ１８は、撮影指示（シャッターボタンの全押し操作）前に撮像素子１２によって所定のフレームレートで取得される画像（先撮り画像と呼ぶ）や、撮影指示後に撮像素子１２によって所定のフレームレートで取得される画像（後撮り画像と呼ぶ）を一時的に記憶する場合にも使用される。
【００１５】
画像処理部１４は、デジタル画像信号に対する画像処理以外に、画像信号を格納した所定形式の画像ファイル（例えば Exif ファイル）を生成する。記録再生部１９は、ＣＰＵ１６からの指示に基づいて画像ファイルをメモリカード５０に記録（保存）し、また、メモリカード５０に記録（保存）されている画像ファイルを読み出す。
【００１６】
メモリカード５０は、図示しないカードスロットに着脱自在に取り付けられる記録媒体である。ＣＰＵ１６は、記録再生部１９によってメモリカード５０から読み出された画像ファイル、または撮影後バッファメモリ１８に記憶されている画像データに基づいて、液晶モニタ１５に撮影画像を再生表示させる。
【００１７】
操作部材２０は、上記半押しスイッチ２０ａや、シャッターボタンの全押し操作に伴ってオンする全押しスイッチ２０ｂ、およびモード切替えスイッチなどを含み、各部材の操作に伴う操作信号をＣＰＵ１６へ送出する。
【００１８】
半押しスイッチ２０ａからのオン信号（半押し操作信号）は、シャッターボタンが通常ストロークの半分程度まで押し下げ操作されると出力され、半ストロークの押し下げ操作解除で出力が解除される。全押しスイッチ２０ｂからのオン信号（全押し操作信号）は、シャッターボタンが通常ストロークまで押し下げ操作されると出力され、通常ストロークの押し下げ操作が解除されると出力が解除される。
【００１９】
＜撮影モード＞
上記デジタルカメラ１は、「通常の撮影モード」と、「先撮り撮影モード」とを有する。「通常の撮影モード」は、上記全押し操作信号に応じて１フレームずつ撮影画像を取得してメモリカード５０へ記録する撮影モードである。「先撮り撮影モード」は、静止画像を所定のフレームレート（例えば毎秒１２０フレーム）で取得し、上記全押し操作信号を受けると当該全押し操作信号を受けた時点の前後において取得した複数フレームの画像のうち、所定の画像をメモリカード５０へ記録する撮影モードである。各撮影モードは、操作部材２０またはタッチ操作部材１５ａからの操作信号に応じて切替え可能に構成されている。
【００２０】
＜再生モード＞
再生モードのデジタルカメラ１は、「通常の撮影モード」または「先撮り撮影モード」において記録された画像をフレームごとに、あるいは所定数のフレームごとに、液晶モニタ１５に再生表示する。また、「動き表現」する場合は、「先撮り撮影モード」で取得された複数フレームの画像に基づいて、静止画像の一部で動く対象物の動きのみを表現するように、液晶モニタ１５に再生表示を行う。
【００２１】
＜動き表現＞
本実施形態は、上記「動き表現」処理に特徴を有するので、以降はこの点を中心に説明する。「動き表現」処理のオン／オフは、操作部材２０またはタッチ操作部材１５ａからの操作信号に応じて切替え可能に構成されている。再生モードであって、かつ「動き表現」処理がオンされたデジタルカメラ１は、「先撮り撮影モード」で取得された複数フレームの画像に基づいて、「動き表現」に適したフレームを自動的に選び、選んだフレームの画像を用いて液晶モニタ１５に再生表示する。以下、複数フレーム画像の取得、「動き表現」に適したフレームの選択、および「動き表現」による再生表示について順に説明する。
【００２２】
−複数フレーム画像の取得−
ユーザは、例えばデジタルカメラ１を手持ちして、または三脚に固定して、複数フレームの画像を取得する。図２は、「先撮り撮影モード」における画像の取得タイミングを説明する図である。図２において、時刻ｔ０に「先撮り撮影モード」が起動されると、ＣＰＵ１６はレリーズ待機処理を開始させる。レリーズ待機処理では、上記所定のフレームレートで被写体像を撮像して露出演算やフォーカス調節を行うとともに、取得した画像データを逐次バッファメモリ１８へ記憶する。
【００２３】
「先撮り撮影モード」において先撮り画像と後撮り画像の記憶に使用するバッファメモリ１８のメモリ容量は、あらかじめ十分な容量が確保されている。ＣＰＵ１６は、時刻ｔ０以降にバッファメモリ１８内に記憶したフレーム画像のフレーム枚数が所定枚数（例えば後述するＡ＋Ｂ枚）に達した場合には、新しいフレーム画像が入力されるたびに、古いフレーム画像から順に上書き消去する。これにより、「先撮り撮影モード」において先撮り画像と後撮り画像の記憶に使用するバッファメモリ１８のメモリ容量を制限できる。
【００２４】
時刻ｔ１に全押し操作信号が入力されると、ＣＰＵ１６はレリーズ処理を開始させる。レリーズ処理では、時刻ｔ１以前に先撮りしたＡ枚のフレーム画像と、時刻ｔ１以降に後撮りされるＢ枚のフレーム画像とを合わせた（Ａ＋Ｂ）枚のフレーム画像をメモリカード５０への記録候補画像とする。すなわち、レリーズボタンが全押し操作され、全押し操作信号が入力されると、その時点からバッファメモリ１８にＢ枚のフレーム画像を書き込みの後に、バッファメモリ１８への新たなフレーム画像の書き込みが禁止され、この時点でバッファメモリ１８に記憶される（Ａ＋Ｂ）枚のフレーム画像が記録候補画像となる。図２における黒い帯は、記録候補画像である（Ａ＋Ｂ）枚のフレーム画像が取得される区間を表す。斜線の帯は、バッファメモリ１８に一旦は記憶されたものの、上書き消去されたフレーム画像が取得された区間を表す。
【００２５】
例えば、ここでは、ＣＰＵ１６は、設定されている記録方式に基づいて、（Ａ＋Ｂ）枚全ての記録候補画像をメモリカード５０に記録する。
【００２６】
―「動き表現」に適したフレームの選択―
ＣＰＵ１６は、メモリカード５０に記録された複数フレームの画像に基づいて、「動き表現」に適したフレームを選ぶ。具体的には、「動き表現」を行う際のベースとなる静止画像（背景）として用いるフレームＳと、フレームＳより時間的に前に取得されたフレームＰと、フレームＳより時間的に後に取得されたフレームＱとの少なくとも３フレームの画像を（Ａ＋Ｂ）枚のフレーム画像の中から選ぶ。なお、本実施形態では、一例として、レリーズボタンの全押し操作がなされた直後に取得された画像をフレームＳとする例について説明するが、他のフレームをフレームＳとする構成としても構わない。また、フレームＳは、タッチ操作部材１５ａの操作者の操作に基づいて、ＣＰＵ１６が選択するものであっても、ＣＰＵ１６が自動的に選択するものであっても構わない。
【００２７】
上記の（Ａ＋Ｂ）枚のフレーム画像は、各々、フレームＳ中の、動きを表現したい対象物以外の領域（背景領域）を基準に位置合わせされ、（Ａ＋Ｂ）枚の各フレーム中の動きを表現したい対象物の、フレームＳ中における位置が求められる。フレームＰ、フレームＱは、このフレームＳ中の上記対象物の位置間の距離が所定範囲内であり、かつ、対象物の類似度が所定値以上である２つのフレームが選択される。ここで、類似度は、対比する画像間で対象物の大きさ、向き、形状、色、明るさが近いほど高い値となる。このような構成とすることにより、上記の「動き表現」を繰り返し行うループ再生を行う場合に、フレームＱの次にフレームＰを再生するに際して、視聴者が感じる違和感を軽減することができる。
【００２８】
以下、「動き表現」に適したフレーム選択について、２つの具体例を説明する。
１．対象物が移動せずに変形する場合
図３は、人物の目を対象物とし、この目がウィンクする場面を撮影したフレーム画像に基づいて「動き表現」する場合を例示する図である。図３(a)は、メモリカード５０に記録されている複数フレーム、すなわち、フレームｆ１、フレームｆ２、…フレームｆＡ、フレームｆ(Ａ＋１)、フレームｆ(Ａ＋２)…、フレームｆ(Ａ＋Ｂ)の画像を表す。フレームｆ(Ａ＋１)は、全押し操作時に取得された画像に対応するので、本例ではフレームｆ(Ａ＋１)を「動き表現」を行う際のベースとする静止画像（フレームＳ）に用いる。
【００２９】
ＣＰＵ１６は、時系列に並ぶフレーム画像のうち、隣接するフレーム間で差分をとることによってフレーム画像において動く対象物（本例では左目）を検出する。フレーム間で所定値以上の差分が生じた領域が対象物に対応し、フレーム間の差分が所定値未満の領域は非対象物（背景となる静止領域）に対応する。具体的には、時間的に隣接する、所定の閾値で２値化された隣接フレーム差分画像間で、論理積をとることにより、移動対象物の領域を抽出することができる。このようにして所定フレームにおいて移動対象物の領域が特定できれば、上記の差分演算を行った各フレームで、移動対象物の領域を特定することができる。
【００３０】
図３(a)の場合、全押し操作時に取得されたフレームｆ(Ａ＋１)（すなわちフレームＳ）とその前のフレームｆＡとの間、およびｆ(Ａ＋１)（すなわちフレームＳ）とその次のフレームｆ(Ａ＋２)との間において所定値以上の差分が検出され、差分２値画像が生成される。このようにして生成された、時間的に隣接する、差分２値画像の論理積を求めることにより、フレームｆ（Ａ＋１）における変化領域（動きを表現したい対象物の領域）を抽出することができる。
【００３１】
ＣＰＵ１６は、例えばフレームｆ（Ａ＋１）において、差分を検出した領域（対象物）と背景の一部を含む矩形領域を動体領域とする。ここで、動体領域は、背景を含まない移動対象物のみで構成される領域とすることが好ましいが、移動対象物と背景の一部を含む矩形領域とする構成としてもよい。ＣＰＵ１６はさらに、図３(a)の各フレーム画像から、例えばテンプレートマッチング手法によって、各フレームにおける、動きを表現したい対象物の領域（目の領域）を抽出する。図３(a)のｍ１、ｍ２、…ｍＡ、ｍ(Ａ＋１)、…、ｍ(Ａ＋Ｂ)は、各フレームで抽出された動体領域を表す。
【００３２】
なお、上記実施形態においては、フレームｆ（Ａ＋１）においてウィンクしている例について説明したが、対象物の変化を生じるフレームは、他のフレームであっても構わない。具体的には、上記の差分２値画像の論理積を、全ての差分２値画像を対象に行うことで、動体領域を抽出できる。操作者が、（Ａ＋Ｂ）枚のフレーム画像の中の１つのフレームで、動きを表現したい対象物を指定し、上記と同様に、例えばテンプレートマッチングの手法によって、各フレームにおける対象物の領域を抽出する構成としてもよい。
【００３３】
図３(b)は、フレームｆ(Ａ＋１)（すなわちフレームＳ）における動体領域ｍ(Ａ＋１)と非動体領域（すなわち静止領域）を例示する図である。斜線を引いた領域が非動体領域を表す。次にＣＰＵ１６は、図３(a)の各フレーム画像からそれぞれの動体領域を除外した非動体領域において、２以上の特徴点を抽出する。図３において、複数の黒点が特徴点を表す。画像間の位置合わせに適した特徴点の抽出は、例えば、Lowe, David G. (1999). "Object recognition from local scale-invariant features". Proceedings of the International Conference on Computer Vision. 2. pp.1150-1157.などに開示される公知の技術を用いることができる。
【００３４】
ＣＰＵ１６は、フレームｆ１、フレームｆ２、…フレームｆＡ、フレームｆ(Ａ＋１)、フレームｆ(Ａ＋２)…、フレームｆ(Ａ＋Ｂ)間でそれぞれ非動体領域の特徴点の対応付けを行い、例えばフレームＳ（フレームｆ（Ａ＋１））の非動体領域（すなわち静止領域）を基準にして、各フレーム画像の位置合わせを行う。ＣＰＵ１６はさらに、動体領域においても２以上の特徴点を抽出する。そして、各フレームにおける非動体領域の特徴点と動体領域の特徴点との位置関係に基づいて、各フレームにおける動体領域の位置を、フレームｆ(Ａ＋１)（すなわちフレームＳ）における非動体領域（静止領域）を基準に表す。即ち、各フレームにおける動体（対象物）領域が、フレームＳ上で、どの位置に対応するかについて、各フレームにおける特徴点の位置関係をもとに算出する。
【００３５】
図３(a)の場合、静止画像として用いるフレームＳ（フレームｆ(Ａ＋１)に対応）より時間的に前に取得されたフレームと、フレームＳ（フレームｆ(Ａ＋１)に対応）より時間的に後に取得されたフレームとでは、何れのフレームとも、目が開いた状態であり、上述の手法により算出したフレームＳ上の目の位置も変化していない（フレームＳ上の、各フレームに対応する対象物の位置が所定範囲内である）ことから、フレームＰ、フレームＱとして、それぞれフレームＳより時間的に前に取得されたフレーム、フレームＳより時間的に後に取得されたフレームの中から、何れのフレームを選んでも、ループ再生に適したフレーム画像を抽出することができる。即ち、操作者が望む、ループ再生における１回の再生時間（フレーム数）に応じて、フレームＰ、フレームＱを選択することができる。好ましくは、１回の再生時間として４秒（再生のフレームレートを３０フレーム／秒として、フレームＰ、Ｑ間の全てのフレームの対象物の画像を用いて「動き表現」を行うとすると、フレームＰ、フレームＱ間のフレーム数が１２０フレーム）となるように、フレームＰ、フレームＱを選択する。本実施形態では、例えば、できるだけ再生時間が長くなるように、フレームＰ、フレームＱとして、各々、フレームｆ１、フレームｆ（Ａ＋Ｂ）を選択する。
【００３６】
ＣＰＵ１６は、フレームＳと、上記のように選んだ少なくとも、フレームｆ１（即ちフレームＰ）、フレーム（Ａ＋１）（即ちフレームＳ）、およびフレームｆ(Ａ＋Ｂ)（即ちフレームＱ）の画像に基づいて「動き表現」を行う。
【００３７】
２．対象物が画面内を移動する場合
図４は、航空機を対象物とし、この航空機が画面左から右へ移動する場面を撮影したフレーム画像に基づいて「動き表現」する場合を例示する図である。図４(a)は、メモリカード５０に記録されている複数フレーム、すなわち、フレームｆ１、フレームｆ２、…フレームｆＡ、フレームｆ(Ａ＋１)、フレームｆ(Ａ＋２)…、フレームｆ(Ａ＋Ｂ)の画像を表す。フレームｆ(Ａ＋１)は、全押し操作時に取得された画像に対応する。本実施形態では、上述の例と同様に、例えば、フレームｆ(Ａ＋１)を「動き表現」を行う際のベースとする静止画像（フレームＳ）として用いる。
【００３８】
ＣＰＵ１６は、時系列に並ぶフレーム画像のうち、例えば、上述と同様の手法により、隣接するフレーム間で差分をとることによってフレーム画像において動く対象物（本例では航空機）を検出する。フレーム間で所定値以上の差分が生じた領域が対象物に対応し、フレーム間の差分が所定値未満の領域は非対象物（背景となる静止領域）に対応する。図４(a)の場合、各フレームにおいて隣接するフレームとの間で所定値以上の差分が検出される。
【００３９】
ここで、上述のフレーム間差分演算を行う場合には、理想的には、事前に対象物を除いた背景領域で位置合わせを行うことが望ましい。この時点では、まだ対象物が設定されていないが、背景領域の特徴点数が、対象物領域の特徴点数より多いことを仮定し、なるべく多くの特徴点が一致するように、フレーム画像間の位置合わせを行う構成とすれば、差分演算により動く対象物を検出することができる。また、本撮像装置が、三脚に装着されていることを検出した場合には、位置合わせを行うことなく、上記差分演算により、対象物を抽出することができる。なお、対象物は、液晶モニタ１５に表示されたフレーム画像の中から、タッチ操作部材１５ａの操作によって、操作者が指定する構成であっても構わない。
【００４０】
ＣＰＵ１６は、例えばフレームＳにおいて、差分を検出した領域（対象物）と背景の一部を含む矩形領域を動体領域とする。ここで、動体領域は、背景を含まない移動対象物のみで構成される領域とすることが好ましいが、上述のように、移動対象物と背景の一部を含む矩形領域とする構成としてもよい。ＣＰＵ１６はさらに、図４(a)の各フレーム画像から、例えばテンプレートマッチング手法によって動体領域（航空機の領域）を抽出する。図４(a)のｍ１、ｍ２、…ｍＡ、ｍ(Ａ＋１)、…、ｍ(Ａ＋Ｂ)は、各フレームで抽出された動体領域を表す。
【００４１】
図４(b)は、フレームｆ(Ａ＋１)（すなわちフレームＳ）における動体領域ｍ(Ａ＋１)と非動体領域（すなわち静止領域）を例示する図である。斜線を引いた領域が非動体領域を表す。次にＣＰＵ１６は、図４(a)の各フレーム画像からそれぞれの動体領域を除外した非動体領域において、２以上の特徴点を抽出する。図４において、複数の黒点が特徴点を表す。画像間の位置合わせに適した特徴点の抽出は、上述のように、公知であるので説明を省略する。
【００４２】
ＣＰＵ１６は、フレームｆ１、フレームｆ２、…フレームｆＡ、フレームｆ(Ａ＋１)、フレームｆ(Ａ＋２)…、フレームｆ(Ａ＋Ｂ)間でそれぞれ特徴点の対応付けを行い、例えばフレームＳ（フレームｆ（Ａ＋１））の非動体領域（すなわち静止領域）を基準にして、各フレーム画像の位置合わせを行う。ＣＰＵ１６はさらに、動体領域においても２以上の特徴点を抽出する。そして、各フレームにおける非動体領域の特徴点と動体領域の特徴点の位置関係に基づいて、各フレームにおける動体領域の位置を、フレームｆ(Ａ＋１)（すなわちフレームＳ）における非動体領域を基準に表す。
【００４３】
即ち、各フレームにおける動体（対象物）領域が、フレームＳ上で、どの位置に対応するかについて、各フレームにおける特徴点の位置関係をもとに算出する。具体的には、対象物領域、背景領域ともに、各フレームで、各々２以上の特徴点を抽出している。フレームＳと他のフレームの各々について、背景領域の複数の特徴点を結ぶベクトルを定義し、フレームＳと他のフレームとの間で、このベクトルの向き、大きさの差分を求めることで、撮影レンズ１１の光軸に垂直な面内での本撮像装置の傾き変化、撮影倍率の変化を算出することができる。また、対象物領域の複数の特徴点についても、同様に、これらを結ぶベクトルを定義し、フレームＳと他のフレームとの間で、このベクトルの向き、大きさの差分を求めることで、対象物の移動による、対象物の向き、大きさの変化を算出することができる。このようにして算出された、上記の各差分により、フレームＳ上での、各フレームに対応する対象物の位置、大きさ、向き、形状を求めることができる。
【００４４】
図４(a)の場合、各フレームにおいて、動きを表現したい対象物（航空機）と背景領域である山との相対的位置関係が変化している。即ち、上記で算出したフレームｆ（Ａ＋１）（即ち、フレームＳ）上の動きを表現したい対象物の位置は、時間と共に変化することとなる。従って、フレームＰとフレームＱとの間で、対象物の状態が類似しており、かつ、フレームＳ上の、フレームＰ、及びフレームＱに対応する対象物の位置の変化量（距離）が所定範囲内であるように、フレームＰ、フレームＱを選択する。ここで、上記の対象物の状態とは、例えば、対象物の大きさ、向き、形状、色、明るさであり、フレームＰ、フレームＱの各対象物領域間で差分演算などの演算を行って、これに基づいて類似度を算出し、類似度が所定値以上の場合に、両者が類似していると判断する。
【００４５】
上記の距離と類似度に基づいて、例えば、フレームＰとしてフレームｆ２が、フレームＱとしてフレームｆ（Ａ＋３）が選択される。このようにしてフレームＰ、フレームＱとして選択された、フレームｆ２、フレームｆ（Ａ＋３）の間に取得されたフレーム画像は、全て、「動き表現」の為に用いるフレーム画像として用いることができる。例えば、フレームｆ２とフレームｆ（Ａ＋３）との間に取得された、全てのフレーム画像を用いると、１回の再生時間が、操作者の所望する再生時間を超えてしまう場合には、フレーム２、フレームｆ（Ａ＋３）の間に取得されたフレーム画像のうちの一部を間引いて用いることもできる。
【００４６】
―「動き表現」による再生表示―
ＣＰＵ１６は、上述のように選んだフレームの、対象物領域の画像を、順次フレームＳの背景領域に合成して、フレームＳの背景領域上において、動体領域である対象物の動きを表現する。具体的には、フレームＳの一部を構成する動体領域に代えて、他のフレームの動体領域を、フレームＳにおいて対応する位置へ所定時間ごとに順次はめ込み合成する。このためにＣＰＵ１６は、先ず、フレームＳの画像および選んだ複数のフレーム画像からテンプレートマッチング手法によってそれぞれ動体領域を抽出する。図３(c)および図４(c)は、抽出した動体領域を例示する図である。これらの動体領域は、上述した「動き表現」に適したフレーム選択を行う際に抽出済みであるので、この情報を使用できる。
【００４７】
１．対象物が移動せずに変形する場合
ＣＰＵ１６は、所定の時間ごとに、図３(b)に例示したフレームＳ（フレームｆ(Ａ＋１)）における動体領域ｍ(Ａ＋１)に代えて、図３(c)に例示したフレームＰ〜フレームＱにおいて抽出された、フレームＰ〜フレームＱの動体領域ｍ１〜動体領域ｍ(Ａ＋Ｂ)を、フレームＳにおいて対応する位置へ順番にはめ込み合成する。対応する位置は、「動き表現」に適したフレーム選択の際に求めた位置であって、フレームＳにおける非動体領域を基準に表した動体領域の位置である。これにより、静止画像（フレームＳ）上で動体領域の動きを表現するように再生表示できる。なお、動体領域の位置をｍ１→・・・・→ｍ(Ａ＋１)→ｍ(Ａ＋Ｂ)→ｍ１→・・・・→ｍ(Ａ＋１)…へ切替える間隔を短くすると速い「動き表現」になり、切替える間隔を長くすると遅い「動き表現」になる。
【００４８】
２．対象物が画面内を移動する場合
ＣＰＵ１６は、所定の時間ごとに、図４(b)に例示したフレームＳ（フレームｆ(Ａ＋１)）における動体領域ｍ(Ａ＋１)に代えて、図４(c)に例示したフレームＰ〜フレームＱの動体領域ｍ２〜動体領域ｍ(Ａ＋３)を、フレームＳにおいて対応する位置へ順番にはめ込み合成する。対応する位置は、「動き表現」に適したフレーム選択の際に求めた位置であって、フレームＳにおける非動体領域を基準に表した動体領域の位置である。
【００４９】
ここで、対象物が画面内を移動する場合において、フレームＳ（フレームｆ(Ａ＋１)）にはめ込み合成する動体領域の位置が、該フレームＳの動体領域ｍ(Ａ＋１)の位置と異なる場合は、該フレームＳにおいて２箇所ではめ込み合成を行う。１つめは、フレームＳにおいて上記フレームＰ〜フレームＱの動体領域に対応する位置へ、フレームＰ〜フレームＱの動体領域の画像をはめ込み合成する。
【００５０】
２つめは、フレームＳの動体領域ｍ(Ａ＋１)の位置に対して、非動体領域（背景）の画像をはめ込み合成する。例えば、上記フレームＰにもフレームＱにも選ばなかったフレーム（例えばフレームｆ１またはフレームｆ(Ａ＋Ｂ)）の画像から、フレームＳの動体領域ｍ(Ａ＋１)の位置に対応する背景画像を抽出し、抽出した背景画像をフレームＳの動体領域ｍ(Ａ＋１)があった位置へはめ込み合成する。
【００５１】
以上のはめ込み合成を所定時間ごとに行うことにより、静止画像（フレームＳ）上で動体領域の動きを表現するように再生表示できる。なお、動体領域の位置をｍ２→・・・→ｍ(Ａ＋１)→ｍ(Ａ＋２)→ｍ(Ａ＋３)→ｍ２→・・・→ｍ(Ａ＋１)…へ切替える間隔を短くすると速い「動き表現」になり、切替える間隔を長くすると遅い「動き表現」になる。
【００５２】
「動き表現」による再生表示では、フレームＳ、フレームＰおよびフレームＱの非動体領域（背景）は共通であるので、静止画表示したフレームＳから変化しない領域の画像をそのまま残し、フレームＳとの間で変化する領域のみを新たに描画するように液晶モニタ１５に表示することで、静止画像の中の動体領域の動きを表現するように、再生表示できる。
【００５３】
―「動き表現」に必要なデータの記録―
ＣＰＵ１６は、記録指示に応じて「動き表現」に必要なデータをメモリカード５０へ記録する。記録するデータは、例えば、フレームＳ、フレームＰ〜フレームＱの各画像、これらの画像における動体領域の範囲、座標位置、フレームＰおよびフレームＱからフレームＳへ位置合わせするための制御（シフト）値、ループ再生の要否などの情報である。
【００５４】
このように、本実施形態においては、フレームＰ、フレームＳ、フレームＱの少なくとも３フレームが選択される。ここで、上述のように、フレームＰとフレームＱとの間で、対象物の状態が類似しており、かつ、フレームＳ上の、フレームＰ、及びフレームＱに対応する対象物の位置の変化量（距離）が所定範囲内であるように、フレームＰ、フレームＱが選択される。また、フレームＰとフレームＱとの間の少なくとも１フレームと、「フレームＰ及びフレームＱ」との間で、対象物の状態が類似していない（即ち、類似度が所定値未満である）、あるいは、フレームＳ上の、前記少なくとも１フレームに対応するの対象物の位置と、「フレームＰ及びフレームＱ」に対応する対象物の位置との位置の変化量（距離）が所定範囲以上であるように、フレームＰ、フレームＱが選択される。即ち、フレームＰ、フレームＱは、対象物の変化のあるフレームが、フレームＰとフレームＱの間に存在するように選択される。
【００５５】
＜フローチャートの説明＞
複数フレーム画像を取得する場合にＣＰＵ１６が実行する処理の流れについて、図５に例示するフローチャートを参照して説明する。ＣＰＵ１６は、「先撮り撮影モード」に設定されると図５による処理を起動する。図５のステップＳ１において、ＣＰＵ１６は先撮り画像の取得（すなわちレリーズ待機処理）を開始させてステップＳ２へ進む。これにより、先撮りされたフレーム画像がバッファメモリ１８に蓄積されるとともに、液晶モニタ１５に逐次表示される。
【００５６】
ステップＳ２において、ＣＰＵ１６は、先撮り画像データに基づいてＡＥ（自動露出）演算およびＡＦ（自動焦点調節）処理を行わせてステップＳ３へ進む。ステップＳ３において、ＣＰＵ１６は、レリーズボタンの全押し操作が行われたか否かを判定する。ＣＰＵ１６は、全押しスイッチ２０ｂからのオン信号が入力された場合にステップＳ３を肯定判定してステップＳ４へ進み、全押しスイッチ２０ｂからのオン信号が入力されない場合には、ステップＳ３を否定判定してステップＳ２へ戻る。ステップＳ２へ戻る場合は、上述した処理を繰り返す。
【００５７】
ステップＳ４において、ＣＰＵ１６は、後撮り画像の取得を開始させてステップＳ５へ進む。後撮り画像は、全押し操作に応じて取得する１枚と、その後に取得する(Ｂ−１)枚である。ステップＳ５において、ＣＰＵ１６は、バッファメモリ１８に記憶している（Ａ＋Ｂ）枚のフレーム画像をメモリカード５０に記録してステップＳ６へ進む。
【００５８】
ステップＳ６において、ＣＰＵ１６は、終了指示が行われたか否かを判定する。ＣＰＵ１６は、操作部材２０またはタッチ操作部材１５ａから「通常撮影モード」へ切り替える操作信号が入力されると、ステップＳ６を肯定判定して図５による処理を終了する。ＣＰＵ１６は、操作部材２０またはタッチ操作部材１５ａから「通常撮影モード」への切り替え操作信号が入力されない場合は、ステップＳ６を否定判定してステップＳ１へ戻る。ステップＳ１へ戻る場合は、上述した処理を繰り返す。
【００５９】
ＣＰＵ１６が実行する「動き表現」処理の流れについて、図６に例示するフローチャートを参照して説明する。ＣＰＵ１６は、再生モードであって、かつ「動き表現」処理がオンされると図６による処理を起動する。
【００６０】
図６のステップＳ５１において、ＣＰＵ１６は、（Ａ＋Ｂ）枚の時系列フレーム画像の中から静止画用フレーム（フレームＳ）を決めてステップＳ５２へ進む。本実施形態では、例えば、全押し操作時に取得されたフレーム画像ｆ(Ａ＋１)をフレームＳとする。ステップＳ５２において、ＣＰＵ１６は、再生時に静止画像（フレームＳ）上で動かす動体（対象物）領域を決定してステップＳ５３へ進む。ＣＰＵ１６は、例えば、上述したようにフレーム間で差分をとることによって対象物を検出する、あるいは液晶モニタ１５に表示されたフレーム画像上で、タッチ操作部材１５ａを用いて対象物を指定し、対象物と背景の一部を含む矩形領域を動体領域とする。
【００６１】
ステップＳ５３において、ＣＰＵ１６は、各フレーム画像から上記テンプレートマッチング手法によって動体領域を抽出し、ステップＳ５４へ進む。ステップＳ５４において、ＣＰＵ１６は、ステップＳ５１で決定された静止画フレーム（フレームＳ）を基準にして、図３(a)または図４(a)の各フレーム画像の位置合わせを行ってステップＳ５５へ進む。なお、位置合わせは、各フレーム画像から動体領域を除外した非動体領域において抽出した２以上の特徴点の位置に基づいて行う。ステップＳ５５において、ＣＰＵ１６は、静止画像（フレームＳ）における非動体領域（背景）の位置を基準に、各フレームの動体領域の位置を求めてステップＳ５６へ進む。
【００６２】
ステップＳ５６において、ＣＰＵ１６は、静止画像（フレームＳ）より時間的に前に取得されたフレーム画像よりフレームＰ、及び静止画像（フレームＳ）より時間的に後に取得されたフレーム画像よりフレームＱを抽出してステップＳ５８へ進む。
【００６３】
ステップＳ５８において、ＣＰＵ１６は、条件を満たすか否かを判定する。ＣＰＵ１６は、ステップＳ５６で設定されたフレームＰとフレームＱとの間で、対象物の状態が類似しており、かつ、フレームＳ上の、フレームＰ、及びフレームＱに対応する対象物の位置の変化量（距離）が所定範囲内であるか否かを判断する。また、ＣＰＵ１６は、さらに、フレームＰとフレームＱとを除いた、フレームＰとフレームＱとの間の少なくとも１フレームと、「フレームＰ及びフレームＱ」との間で、対象物の状態が類似していない（即ち、類似度が所定値未満である）、あるいは、フレームＳ上の、前記少なくとも１フレームに対応する対象物の位置と、「フレームＰ及びフレームＱ」に対応する対象物の位置との位置の変化量（距離）が所定範囲以上であるか否かを判断する。
【００６４】
ＣＰＵ１６は、『フレームＰとフレームＱとの間で、対象物の状態が類似しており、かつ、フレームＳ上の、フレームＰ、及びフレームＱに対応する対象物の位置の変化量（距離）が所定範囲内』であり、『フレームＰとフレームＱとの間の少なくとも１フレームと、「フレームＰ及びフレームＱ」との間で、対象物の状態が類似していない（即ち、類似度が所定値未満である）、あるいは、フレームＳ上の、前記少なくとも１フレームに対応する対象物の位置と、「フレームＰ及びフレームＱ」に対応する対象物の位置との位置の変化量（距離）が所定範囲以上』である場合に、ステップＳ５８を肯定判定してステップＳ５９へ進む。一方、これら条件が否定された場合には、ステップＳ５６に戻る。
【００６５】
ステップＳ５９において、ＣＰＵ１６は、所定の時間ごとに、フレームＳにおける動体領域に代えて図３(c)または図４(c)に例示した動体領域を、フレームＳにおいて対応する位置へ順次はめ込み合成してステップＳ６０へ進む。
【００６６】
ステップＳ６０において、ＣＰＵ１６は、ループ再生するか否かを判定する。ループ再生は、一連の再生を繰り返すことをいう。ＣＰＵ１６は、ループ再生する場合にステップＳ６０を肯定判定してステップＳ５９へ戻る。ＣＰＵ１６は、ループ再生しない場合には、ステップＳ６０を否定判定してステップＳ６１へ進む。ループ再生するか否かは、操作部材２０またはタッチ操作部材１５ａからの操作信号に応じて切替え可能に構成されている。
【００６７】
ステップＳ６１において、ＣＰＵ１６は、終了指示されたか否かを判定する。ＣＰＵ１６は、終了操作が行われた場合にステップＳ６１を肯定判定して図６による処理を終了する。ＣＰＵ１６は、終了操作が行われない場合には、ステップＳ６１を否定判定してステップＳ５１へ戻る。
【００６８】
以上説明した実施形態によれば、次の作用効果が得られる。
（１）デジタルカメラ１は、時系列に撮影された複数の画像フレームｆ１〜フレームｆ(Ａ＋Ｂ)から、互いに類似する複数の類似画像フレームＰ（フレームｆ１）、フレームＱ（フレームｆ(Ａ＋Ｂ)）、および類似画像フレームＰ（フレームｆ１）と類似画像フレームＱ（フレームｆ(Ａ＋Ｂ)）との間に取得された１つの画像フレームＳ（フレームｆ(Ａ＋１)）をそれぞれ選択するＣＰＵ１６と、時系列の複数の画像フレームＰ（フレームｆ１）〜フレームＱ（フレームｆ(Ａ＋Ｂ)）間で変化する対象物（左目）を検出するＣＰＵ１６と、選択した画像フレームＰ（フレームｆ１）、フレームＳ（フレームｆ(Ａ＋１)）、フレームＱ（フレームｆ(Ａ＋Ｂ)）に基づいて、１つの画像フレームＳ（フレームｆ(Ａ＋１)）上で対象物（左目）の領域が変化するように液晶モニタ１５に再生表示させるＣＰＵ１６と、を備えるようにしたので、画面の中で変形する対象物の動きを適切に表現できる。
【００６９】
（２）上記（１）のデジタルカメラ１において、ＣＰＵ１６は、画像間の類似度が所定値以上である画像を類似画像として選択するようにしたので、再生表示の始めと終わりにおいて、似ている画像を再生表示できる。これにより、例えばループ再生する際に、最後の画像における対象物の形状（または位置）から、最初の画像における対象物の形状（または位置）への移行時の変化が小さいので、ユーザの違和感を抑えられる。
【００７０】
（３）上記（２）のデジタルカメラ１において、ＣＰＵ１６は、検出された対象物（左目）の大きさ、形状および位置に基づいて類似度を算出するので、対象物が変形する場合に限らず、対象物が移動する場合も適切に類似度が求められる。
【００７１】
（４）上記（２）または（３）のデジタルカメラ１において、ＣＰＵ１６は、類似画像フレームＰ（フレームｆ１）およびフレームＱ（フレームｆ(Ａ＋Ｂ)）間の類似度よりも、類似画像フレームＰ（フレームｆ１）、フレームＱ（フレームｆ(Ａ＋Ｂ)）と１つの画像フレームＳ（フレームｆ(Ａ＋１)）との間の類似度がそれぞれ小さくなるように画像を選択するので、再生表示の始めと終わりにおいて、似ている画像を再生表示できるとともに、その間で変化のある画像を再生表示できる。これにより、例えばループ再生する際に、最後の画像における対象物の形状（または位置）から、最初の画像における対象物の形状（または位置）への移行時の変化が小さいので、ユーザの違和感を抑えられる。
【００７２】
（５）上記（２）〜（４）のデジタルカメラ１において、ＣＰＵ１６は、検出した対象物（左目）以外の領域を基準として時系列の複数の画像ｆ１〜ｆ(Ａ＋Ｂ)間の位置合わせ後に類似度を算出するので、例えば、デジタルカメラ１で時系列の画像を取得する際に手ブレ等が生じていたとしても、この影響を抑えられる。
【００７３】
（６）上記（１）のデジタルカメラ１において、画像の一部（対象物）を指示するＣＰＵ１６をさらに備え、画像を選択するＣＰＵ１６は、時系列に撮影された複数の画像ｆ１〜ｆ(Ａ＋Ｂ)において指示された対象物を対応付けし、当該対象物が時系列に連続して存在する画像ｆ１〜ｆ(Ａ＋Ｂ)の中から複数の類似画像フレームＰ（フレームｆ１）、フレームＱ（フレームｆ(Ａ＋Ｂ)）および１つの画像フレームＳ（フレームｆ(Ａ＋１)）をそれぞれ選択するので、例えば画面の外へ外れてしまうような対象物は再生表示の対象から除外できる。
【００７４】
（７）デジタルカメラ１は、時系列に複数の画像を撮影する撮像素子１２、画像処理部１４およびバッファメモリ１８と、撮影された複数の画像ｆ１〜ｆ(Ａ＋Ｂ)から、互いに類似する複数の類似画像フレームＰ（フレームｆ１）、フレームＱ（フレームｆ(Ａ＋Ｂ)）、および類似画像フレームＰ（フレームｆ１）と類似画像フレームＱ（フレームｆ(Ａ＋Ｂ)）との間に取得された１つの画像フレームＳ（フレームｆ(Ａ＋１)）をそれぞれ選択するＣＰＵ１６と、選択した画像フレームＰ（フレームｆ１）、フレームＳ（フレームｆ(Ａ＋１)）、フレームＱ（フレームｆ(Ａ＋Ｂ)）に基づいて、１つの画像フレームＳ（フレームｆ(Ａ＋１)）上で対象物（左目）の領域が変化するように液晶モニタ１５に再生表示させるＣＰＵ１６と、を備えるようにしたので、画面の中で変形する対象物の動きを適切に表現できる。
【００７５】
上記説明においては、時系列に並ぶ複数のうち隣接するフレーム間で差分をとることによって、ＣＰＵ１６が画像において動く対象物（左目）を自動検出する例を説明した。この代わりに、ユーザが液晶モニタ１５による表示画面上で対象物をタッチ操作してもよい。この場合のＣＰＵ１６は、タッチ操作部材１５ａが示す位置に表示中の対象物を複数の画像間で対応付けるように指示する。
【００７６】
（変形例１）
以上の説明では、「先撮り撮影モード」において取得した時系列に並ぶ複数フレームの画像群に基づいて「動き表現」する例を説明したが、複数の画像群は、必ずしも「先撮り撮影モード」で撮影した画像群でなくてもよい。例えば、動画撮影、あるいは連写撮影によって取得した時系列に並ぶ複数フレームの画像群に基づいて「動き表現」してもよい。
【００７７】
（変形例２）
複数フレームの画像群を取得する際のフレームレートは、上述した毎秒１２０フレームでなくてもよく、例えば、毎秒３０フレームや、毎秒５フレームであってもよい。このフレームレートは、移動する被写体（対象物）の移動速度に応じて適宜設定してよい。なお、取得時のフレームレートより再生表示時のフレームレートを低くすると、いわゆるスロー再生を行える。また、実際の対象物の変化速度が一定であっても、フレームＰとフレームＱの間で、時間によって対象物の選択密度をかえて、同一フレームレートで再生することで、対象物の変化速度を変化させた画像を再生表示することもできる。
【００７８】
（変形例３）
上述した「先撮り撮影モード」において先撮り画像の取得を開始した状態で、画面内で変化する対象物の変化周期を計測し、この１周期以上にわたって上記の時系列に並ぶ画像群を取得するように構成してもよい。変化周期の測定は、先撮り画像を取得しながら行い、１周期の変化が終わった時点で画像取得を自動中止する。変形例３の構成とすることで、時系列画像の中に、「動き表現」に適したフレーム（すなわち上述したフレームＰ、およびフレームＱ）を確実に含めることができる。
【００７９】
（変形例４）
対象物の変化に周期性がない場合には、変形例３のように変化周期を計測することは困難である。この場合のＣＰＵ１６は、時系列に並ぶ画像群に基づいて、支点を中心とした対象物の回転運動を検出する。そして、回転運動の回転方向が同一方向である期間の少なくとも一部について、回転運動する対象物を含む時系列画像を抽出し、「動き表現」に適したフレーム（すなわち、上述したフレームＰ、およびフレームＱ）を選択する構成にするとよい。変形例４によれば、対象物の変化に周期性がない場合でも、画面の中を移動する対象物の動きを適切に表現できる。
【００８０】
（変形例５）
上述した説明では、対象物が画面内を移動する場合においてループ再生（繰り返し再生）を行うときに、画面内の動体領域の位置を、ｍ２→・・・→ｍ(Ａ＋１)→ｍ(Ａ＋２)→ｍ(Ａ＋３)→ｍ２→・・・→ｍ(Ａ＋１)…へ移動させる例を説明した。このようなループ再生の代わりに、逆順再生を行ってもよい。逆順再生を行う場合のＣＰＵ１６は、動体領域の位置を、ｍ２→・・・→ｍ(Ａ＋１)→ｍ(Ａ＋２)→ｍ(Ａ＋３)→ｍ(Ａ＋２)→ｍ(Ａ＋１)→・・・→ｍ２→・・・→ｍ(Ａ＋１)→ｍ(Ａ＋２)…へ移動させる。
【００８１】
一般に、対象物が画面内を移動する場合は、一連の再生における最初の動体領域の位置ｍ２と、一連の再生における最後の動体領域の位置ｍ(Ａ＋３)とが離れている。このため、ループ再生する際に最後の動体領域の位置ｍ(Ａ＋３)から最初の動体領域の位置ｍ２へ動体領域の位置が大きく変化し、観察者が違和感をもつ場合がある。そこで、一連の再生後に逆順再生を行うようにすることにより、動体領域の位置が画面内で大きく変化しなくなるので、観察者の違和感を抑えられる。
【００８２】
（変形例６）
変形例５の逆順再生の代わりに、生成した補間画像を加えたループ再生を行うようにしてもよい。ＣＰＵ１６は、一連の再生における最初の動体領域の位置ｍ２と、一連の再生における最後の動体領域の位置ｍ(Ａ＋３)との間に、新たな動体領域を補間生成する。補間位置をｍＸで表す。ＣＰＵ１６は、ループ再生時において、画面内の動体領域の位置を、ｍ２→・・・→ｍ(Ａ＋１)→ｍ(Ａ＋２)→ｍ(Ａ＋３)→ｍＸ→ｍ２→・・・→ｍ(Ａ＋１)…へ移動させる。なお、補間画像は複数フレーム生成するものであっても構わない。
【００８３】
変形例６では、一連の再生における最後の動体領域の位置ｍ(Ａ＋３)と、最初の動体領域の位置ｍ２との間の位置ｍＸに動体領域を補間生成したので、ループ再生時に動体領域が画面内で大きく動くことが緩和され、観察者の違和感を抑えることができる。
【００８４】
（変形例７）
対象物が画面内を移動せずに変形する場合においても、生成した補間画像を加えたループ再生を行うようにしてもよい。例えば、動体領域の形状がイ→形状ロ→形状ハ→形状ニへ変化する場面を考える。変形例７のＣＰＵ１６は、一連の再生における最初の動体領域の形状イと、一連の再生における最後の動体領域の形状ニとの間に、新たな動体領域の形状ホを補間生成する。一般に、対象物が変形する場合は、一連の再生における最初の動体領域の形状イと、一連の再生における最後の動体領域の形状ニとが大きく異なる。このため、ループ再生する際に最後の動体領域の形状ニから最初の動体領域の形状イへ動体領域の形状が大きく変化し、観察者が違和感をもつ場合がある。
【００８５】
変形例７では、一連の再生における最後の動体領域の形状ニと、一連の再生における最初の動体領域の形状イとの間に、中間形状ホを有する動体領域を補間生成する。これにより、ループ再生時に動体領域が画面内で大きく変形することが緩和され、観察者の違和感を抑えることができる。なお、中間形状ホの補間生成には、ある形状から別の形状へ徐々に変化していく様子を表現する際の中間形状を補うために用いられる公知の「モーフィング」技術を用いる。
【００８６】
（変形例８）
上記変形例５による逆順再生、上記変形例６、変形例７による補間を伴うループ再生の代わりに、一連の再生における最初の動体領域をフェードインし、一連の再生における最後の動体領域をフェードアウトする構成としてもよい。変形例８の場合も、ループ再生する際に、最後の画像における対象物の形状（または位置）から、最初の画像における対象物の形状（または位置）への移行時において、ユーザの違和感を抑えられる。
【００８７】
（変形例９）
「動き表現」に必要なデータを、動画ファイルとして記録してもよい。当該動画ファイルの中で、「動き表現」のために合成された映像が繰り返し再生（ループ再生）可能である旨も記録する。具体的には、動画ファイルとして、動体領域の動画圧縮データと、非動体領域（背景となる静止領域）の圧縮画像データと、その他必要なデータ（静止領域にはめ込み合成する動体領域データの座標位置、繰り返し再生の要否）を含める。
【００８８】
（変形例１０）
以上の説明では、電子機器としてデジタルカメラ１を用いる例を説明したが、多機能携帯電話機やタブレット型コンピュータを用いて構成してもよい。
【００８９】
（変形例１１）
上述した実施形態では、時系列に並ぶ複数フレームの画像群に基づいて、デジタルカメラ１で「動き表現」処理を行う例を説明したが、パーソナルコンピュータや、タブレット型コンピュータなどを用いて、事後的に「動き表現」処理を行う画像処理装置を構成してもよい。この場合、デジタルカメラ１で取得した画像データとして、時系列に並ぶ複数フレームの画像群を保存しておく。
【００９０】
そして、図７に示すコンピュータ２００に図６に例示したフローチャートの処理を行うプログラムを実行させることにより、静止画像の中で変化する被写体（対象物）の動きを表現する画像処理装置を構成する。プログラムをコンピュータ２００に取込んで使用する場合には、コンピュータ２００のデータストレージ装置にプログラムをローディングした上で、当該プログラムを実行させることによって画像処理装置として使用する。
【００９１】
コンピュータ２００に対するプログラムのローディングは、プログラムを格納したＣＤ−ＲＯＭなどの記憶媒体２０４をコンピュータ２００にセットして行ってもよいし、ネットワークなどの通信回線２０１を経由する方法でコンピュータ２００へローディングしてもよい。通信回線２０１を経由する場合は、通信回線２０１に接続されたサーバー（コンピュータ）２０２のハードディスク装置２０３などにプログラムを格納しておく。プログラムは、記憶媒体２０４や通信回線２０１を介する提供など、種々の形態のコンピュータプログラム製品として供給することができる。
【００９２】
以上の説明はあくまで一例であり、上記の実施形態の構成に何ら限定されるものではない。
【符号の説明】
【００９３】
１…デジタルカメラ
１２…撮像素子
１４…画像処理部
１５…液晶モニタ
１５ａ…タッチ操作部材
１６…ＣＰＵ
１７…フラッシュメモリ
１８…バッファメモリ
１９…記録再生部
２０…操作部材
５０…メモリカード
２００…コンピュータ
２０４…記憶媒体
【図１】
2014217008.tif 000003
【図２】
2014217008.tif 000004
【図３】
2014217008.tif 000005
【図４】
2014217008.tif 000006
【図５】
2014217008.tif 000007
【図６】
2014217008.tif 000008
【図７】
2014217008.tif 000009