(57)【要約】【課題】ユーザが所望する被写体の位置や状態を反映した合成画像を取得することができる撮像装置、画像処理装置、撮像方法およびプログラムを提供する。【解決手段】連続的に撮像して画像データを順次生成する撮像部２と、撮像部２が生成した複数の画像データを合成して合成画像データを生成する合成部１２５と、合成部１２５が生成した合成画像データに対応する合成画像を表示する表示部６と、表示部６が表示する合成画像に合成された複数の画像データの中から合成画像に残す画像データの取捨選択の操作を受け付ける操作部８と、操作部８による取捨選択の操作に応じて選択された２つ以上の画像データを合成部１２５に合成させて新たな合成画像データを生成させる撮像制御部１２７と、を備える。【選択図】図１
2018148272.tif 000002
【特許請求の範囲】
【請求項１】
連続的に撮像して画像データを順次生成する撮像部と、
前記撮像部が生成した複数の前記画像データを合成して合成画像データを生成する合成部と、
前記合成部が生成した前記合成画像データに対応する合成画像を表示する表示部と、
前記表示部が表示する前記合成画像に合成された複数の前記画像データの中から前記合成画像に残す前記画像データの操作を受け付ける操作部と、
前記操作部による操作に応じて選択された２つ以上の前記画像データを前記合成部に合成させて新たな前記合成画像データを生成させる制御部と、
を備えることを特徴とする撮像装置。
【請求項２】
前記撮像部が前記画像データを生成する毎に、前記撮像部が生成した最新の前記画像データに対応する最新画像を前記合成部が生成した前記合成画像に重畳して前記表示部に表示させる表示制御部をさらに備えることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記表示制御部は、前記合成画像および前記最新画像をスローモーションで前記表示部に表示させることを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記操作部は、前記合成画像に重畳された前記最新画像を前記合成画像に合成させる指示の入力を受け付け可能であり、
前記制御部は、前記操作部が前記指示の入力を受け付けた場合、前記合成部に前記最新画像を前記合成画像に合成させて前記合成画像データを更新させることを特徴とする請求項２または３に記載の撮像装置。
【請求項５】
前記最新画像に含まれる被写体を検出する検出部と、
前記最新画像から前記検出部が検出した前記被写体を抽出して被写体画像データを生成する抽出部と、
をさらに備え、
前記制御部は、前記合成部に前記抽出部によって生成された前記被写体画像データに対応する被写体画像と前記合成画像とを合成させて前記合成画像データを更新させることを特徴とする請求項２〜４のいずれか一つに記載の撮像装置。
【請求項６】
時間的に前後する前記画像データに基づいて、前記検出部によって検出された前記被写体が当該撮像装置から奥行き方向に移動する奥行き成分を有しているか否かを判定する第１判定部と、
をさらに備え、
前記検出部は、前記第１判定部によって前記被写体が前記奥行き成分を有していると判定された場合、前記合成画像から前記被写体を検出し、
前記抽出部は、前記合成画像から前記検出部が検出した前記被写体を抽出して前記被写体画像データを生成し、
前記制御部は、前記合成部に前記撮像部が生成した前記最新画像と前記抽出部が前記合成画像から抽出した前記被写体画像データに対応する被写体画像とを合成させて前記合成画像データを更新させることを特徴とする請求項５に記載の撮像装置。
【請求項７】
時間的に前後する前記画像データに基づいて、前記撮像部の撮像領域が変化しているか否かを判定する第２判定部をさらに備え、
前記制御部は、前記第２判定部によって前記撮像部の撮像領域が変化していると判定された場合、前記合成部に前記最新画像の撮像領域および前記合成画像の撮像領域の位置関係を反映させて合成することによって前記合成画像データを更新させることを特徴とする請求項２〜５のいずれか一つに記載の撮像装置。
【請求項８】
前記制御部は、前記合成部に前記最新画像の撮像領域と前記合成画像の撮像領域との一部が重なるように合成して前記合成画像データを更新させることを特徴とする請求項７に記載の撮像装置。
【請求項９】
前記最新画像の撮像領域と前記合成画像の撮像領域とが重なりを有するか否かを判定する第３判定部と、
前記第３判定部によって前記最新画像の撮像領域と前記合成画像の撮像領域とが重ならないと判定された場合、前記最新画像の撮像領域と前記合成画像の撮像領域との間の領域を補間する補間画像を生成する生成部をさらに備え、
前記制御部は、前記合成部に、前記最新画像、前記合成画像および前記補間画像を合成させて前記合成画像データを更新させることを特徴とする請求項７に記載の撮像装置。
【請求項１０】
前記合成画像に合成された複数の前記画像データそれぞれのフレーム番号を示す複数のフレーム情報を前記合成画像に重畳して前記表示部に表示させる表示制御部をさらに備えたことを特徴とする請求項１に記載の撮像装置。
【請求項１１】
前記操作部は、前記複数のフレーム情報のいずれかを取捨選択可能であり、
前記制御部は、前記操作部による前記複数のフレーム情報の取捨選択に応じて選択された２つ以上の前記画像データを前記合成部に合成させることを特徴とする請求項１０に記載の撮像装置。
【請求項１２】
前記制御部は、前記操作部による前記フレーム情報の選択に応じた順番で前記合成部に複数の前記画像データを合成させて前記合成画像データを生成させることを特徴とする請求項１１に記載の撮像装置。
【請求項１３】
前記撮像部が生成する前記画像データに対応する画像に含まれる被写体を検出する検出部をさらに備え、
前記表示制御部は、前記検出部によって検出された各フレームの前記被写体と前記フレーム情報とを対応付けて前記表示部に表示させることを特徴とする請求項１１に記載の撮像装置。
【請求項１４】
当該撮像装置と前記検出部が検出した各フレームの前記被写体との距離を算出する算出部を備え、
前記表示制御部は、前記被写体と、前記距離と、前記フレーム情報と、を対応付けて前記表示部に表示させることを特徴とする請求項１３に記載の撮像装置。
【請求項１５】
複数の画像データを合成して合成画像データを生成する合成部と、
表示装置が表示する前記合成部によって生成された前記合成画像データに対応する合成画像に合成された複数の前記画像データの中から操作部による操作に応じて選択された２つ以上の前記画像データを前記合成部に合成させて新たな前記合成画像データを生成させる制御部と、
を備えることを特徴とする画像処理装置。
【請求項１６】
連続的に撮像して画像データを順次生成する撮像部と、前記撮像部が生成した複数の前記画像データを合成して合成画像データを生成する合成部と、を備えた撮像装置が実行する撮像方法であって、
前記合成部が生成した前記合成画像データに対応する合成画像を表示する表示ステップと、
前記表示ステップで表示した前記合成画像に合成された複数の前記画像データの中から前記合成画像に残す前記画像データの操作を受け付ける操作ステップと、
前記操作ステップによる操作に応じて選択された２つ以上の前記画像データを前記合成部に合成させて新たな前記合成画像データを生成させる制御ステップと、
を含むことを特徴とする撮像方法。
【請求項１７】
連続的に撮像して画像データを順次生成する撮像部と、前記撮像部が生成した複数の前記画像データを合成して合成画像データを生成する合成部と、を備えた撮像装置に、
前記合成部が生成した前記合成画像データに対応する合成画像を表示する表示ステップと、
前記表示ステップで表示した前記合成画像に合成された複数の前記画像データの中から前記合成画像に残す前記画像データの操作を受け付ける操作ステップと、
前記操作ステップによる操作に応じて選択された２つ以上の前記画像データを前記合成部に合成させて新たな前記合成画像データを生成させる制御ステップと、
を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体を撮像して該被写体の画像データを生成する撮像装置、画像処理装置、撮像方法およびプログラムに関する。
【背景技術】
【０００２】
近年、デジタルカメラ等の撮像装置において、連続撮影された複数の画像の各々から被写体の画像を抽出し、抽出した被写体の画像を時系列順に合成して背景画像に合成することによって、被写体の移動軌跡が写る合成画像を取得する技術が知られている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−５６３５９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した特許文献１では、単に背景画像に被写体の画像を時系列順に合成しているため、ユーザが所望する被写体の位置や状態を反映した合成画像を得ることができないという問題点があった。
【０００５】
本発明は、上記に鑑みてなされたものであって、ユーザが所望する被写体の位置や状態を反映した合成画像を取得することができる撮像装置、画像処理装置、撮像方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上述した課題を解決し、目的を達成するために、本発明に係る撮像装置は、連続的に撮像して画像データを順次生成する撮像部と、前記撮像部が生成した複数の前記画像データを合成して合成画像データを生成する合成部と、前記合成部が生成した前記合成画像データに対応する合成画像を表示する表示部と、前記表示部が表示する前記合成画像に合成された複数の前記画像データの中から前記合成画像に残す前記画像データの操作を受け付ける操作部と、前記操作部による操作に応じて選択された２つ以上の前記画像データを前記合成部に合成させて新たな前記合成画像データを生成させる制御部と、を備えることを特徴とする。
【０００７】
また、本発明に係る画像処理装置は、複数の画像データを合成して合成画像データを生成する合成部と、表示装置が表示する前記合成部によって生成された前記合成画像データに対応する合成画像に合成された複数の前記画像データの中から操作部による操作に応じて選択された２つ以上の前記画像データを前記合成部に合成させて新たな前記合成画像データを生成させる制御部と、を備えることを特徴とする。
【０００８】
また、本発明に係る撮像方法は、連続的に撮像して画像データを順次生成する撮像部と、前記撮像部が生成した複数の前記画像データを合成して合成画像データを生成する合成部と、を備えた撮像装置が実行する撮像方法であって、前記合成部が生成した前記合成画像データに対応する合成画像を表示する表示ステップと、前記表示ステップで表示した前記合成画像に合成された複数の前記画像データの中から前記合成画像に残す前記画像データの操作を受け付ける操作ステップと、前記操作ステップによる操作に応じて選択された２つ以上の前記画像データを前記合成部に合成させて新たな前記合成画像データを生成させる制御ステップと、を含むことを特徴とする。
【０００９】
また、本発明に係るプログラムは、連続的に撮像して画像データを順次生成する撮像部と、前記撮像部が生成した複数の前記画像データを合成して合成画像データを生成する合成部と、を備えた撮像装置に、前記合成部が生成した前記合成画像データに対応する合成画像を表示する表示ステップと、前記表示ステップで表示した前記合成画像に合成された複数の前記画像データの中から前記合成画像に残す前記画像データの操作を受け付ける操作ステップと、前記操作ステップによる操作に応じて選択された２つ以上の前記画像データを前記合成部に合成させて新たな前記合成画像データを生成させる制御ステップと、を実行させる。
【発明の効果】
【００１０】
本発明によれば、ユーザが所望する被写体の位置や状態を反映することができるという効果を奏する。
【図面の簡単な説明】
【００１１】
【図１】図１は、本発明の実施の形態１に係る撮像装置の機能構成を示すブロック図である。
【図２】図２は、本発明の実施の形態１に係る撮像装置が実行する処理の概要を示すフローチャートである。
【図３】図３は、図２の取捨選択モード処理の概要を示すフローチャートである。
【図４】図４は、本発明の実施の形態１に係る撮像装置の撮像部が連続的に順次生成した画像データを示す図である。
【図５】図５は、本発明の実施の形態１に係る撮像装置の表示部が時系列に沿って順次表示する画像の一例を示す図である。
【図６】図６は、本発明の実施の形態１に係る撮像装置の表示部が表示する合成画像の一例を示す図である。
【図７】図７は、図２の再生処理の概要を示すフローチャートである。
【図８】図８は、本発明の実施の形態２に係る撮像装置が実行する取捨選択モード処理の概要を示すフローチャートである。
【図９】図９は、本発明の実施の形態２に係る撮像装置が実行する再生処理の概要を示すフローチャートである。
【図１０】図１０は、図９のスローモーション動画再生処理の概要を示すフローチャートである。
【図１１】図１１は、図９の合成画像再生処理の概要を示すフローチャートである。
【図１２Ａ】図１２Ａは、本発明の実施の形態２に係る撮像装置の表示部が表示する合成画像の一例を示す図である。
【図１２Ｂ】図１２Ｂは、本発明の実施の形態２に係る撮像装置の表示部が表示する合成画像の一例を示す図である。
【図１２Ｃ】図１２Ｃは、本発明の実施の形態２に係る撮像装置の表示部が表示する合成画像の一例を示す図である。
【図１２Ｄ】図１２Ｄは、本発明の実施の形態２に係る撮像装置の表示部が表示する合成画像の一例を示す図である。
【図１２Ｅ】図１２Ｅは、本発明の実施の形態２に係る撮像装置の表示部が表示する合成画像の一例を示す図である。
【図１３Ａ】図１３Ａは、本発明の実施の形態２に係る撮像装置の表示部が表示する別の合成画像の一例を示す図である。
【図１３Ｂ】図１３Ｂは、本発明の実施の形態２に係る撮像装置の表示部が表示する別の合成画像の一例を示す図である。
【図１３Ｃ】図１３Ｃは、本発明の実施の形態２に係る撮像装置の表示部が表示する別の合成画像の一例を示す図である。
【図１３Ｄ】図１３Ｄは、本発明の実施の形態２に係る撮像装置の表示部が表示する別の合成画像の一例を示す図である。
【図１４】図１４は、本発明の実施の形態２の変形例に係る撮像装置の機能構成を示すブロック図である。
【図１５】図１５は、本発明の実施の形態２の変形例に係る撮像装置が実行する合成画像再生処理の概要を示すフローチャートである。
【図１６】図１６は、本発明の実施の形態２の変形例に係る撮像装置を用いて撮影する際の状況下を示す図である。
【図１７Ａ】図１７Ａは、本発明の実施の形態２の変形例に係る撮像装置の表示部が表示する合成画像の一例を示す図である。
【図１７Ｂ】図１７Ｂは、本発明の実施の形態２の変形例に係る撮像装置の表示部が表示する合成画像の一例を示す図である。
【図１７Ｃ】図１７Ｃは、本発明の実施の形態２の変形例に係る撮像装置の表示部が表示する合成画像の一例を示す図である。
【図１７Ｄ】図１７Ｄは、本発明の実施の形態２の変形例に係る撮像装置の表示部が表示する合成画像の一例を示す図である。
【図１７Ｅ】図１７Ｅは、本発明の実施の形態２の変形例に係る撮像装置の表示部が表示する合成画像の一例を示す図である。
【図１８】図１８は、本発明の実施の形態３に係る撮像装置の機能構成を示すブロック図である。
【図１９】図１９は、本発明の実施の形態３に係る撮像装置が実行する取捨選択モード処理の概要を示すフローチャートである。
【図２０】図２０は、ユーザが撮像装置を用いて所定の方向へ移動している被写体を追尾しながら撮影する状況下を示す図である。
【図２１】図２１は、本発明の実施の形態３に係る撮像装置の合成部が合成する合成画像の一例を示す図である。
【図２２】図２２は、本発明の実施の形態３に係る撮像装置の合成部が合成する合成画像の一例を示す図である。
【図２３】図２３は、本発明の実施の形態３に係る撮像装置の合成部が合成する別の合成画像の一例を示す図である。
【図２４】図２４は、本発明の実施の形態３に係る撮像装置の合成部が合成する別の合成画像の一例を示す図である。
【図２５】図２５は、本発明の実施の形態３に係る撮像装置が記録する画像ファイルの一例を模式的に示す図である。
【発明を実施するための形態】
【００１２】
以下、図面を参照して、本発明を実施するための形態（以下、「実施の形態」という）について説明する。なお、以下の実施の形態により本発明が限定されるものではない。さらに、図面の記載において、同一の部分には同一の符号を付して説明する。さらに、以下の説明では、撮像装置として、連続的に画像データを撮影可能なデジタルスチルカメラを例に説明するが、デジタルスチルカメラ以外にも、カムコーダ、デジタルビデオカメラ、撮像機能を有する携帯電話やタブレット型端末、監視カメラ、撮影機能を有するＩＣレコーダ、内視鏡およびビデオマイクロスコープ等の顕微鏡であっても適用することができる。
【００１３】
（実施の形態１）
〔撮像装置の構成〕
図１は、本発明の実施の形態１に係る撮像装置の機能構成を示すブロック図である。図１に示す撮像装置１は、撮像部２と、音声入出力部３と、姿勢検出部４と、時計５と、表示部６と、タッチパネル７と、操作部８と、仮記録部９と、記録部１０と、通信部１１と、制御部１２と、を備える。
【００１４】
撮像部２は、制御部１２の制御のもと、所定の視野領域を撮像して画像データを生成して制御部１２へ出力する。また、撮像部２は、制御部１２の制御のもと、所定の視野領域を連続的に撮像し、時間的に連続する複数の画像データを生成する。また、撮像部２は、制御部１２の制御のもと、所定のフレームレート（例えば２４０ｆｐｓ、１２０ｆｐｓ、６０ｆｐｓ、３０ｆｐｓ、２４ｆｐｓ）に基づいて、所定の視野領域を連続的に撮像し、時間的に連続する動画データを生成する。撮像部２は、所定の視野領域を結像する光学系、光学系が結像した光学像を受光して光電変換を行うことによって画像データを生成するＣＣＤ（Charge  Coupled  Device）やＣＭＯＳ（Complementary  Metal  Oxide  Semiconductor）等の撮像素子、光学系が集光した光の入射量を制御することによって露出の調整を行う絞り、撮像素子の状態を露光状態または遮光状態に切り替えるシャッタ、および撮像素子が生成したアナログの画像データに対してノイズ低減処理やゲインアップ処理等のアナログ処理を施してＡ／Ｄ変換を行う信号処理部等を用いて構成される。
【００１５】
音声入出力部３は、音声データを取得して制御部１２へ出力するとともに、制御部１２から入力された音声データを外部へ出力する。音声入出力部３は、音声データを取得するマイク、マイクが取得した音声データに対してＡ／Ｄ変換を行うＡ／Ｄ変換部、制御部１２から入力されたデジタルの音声データに対してＤ／Ａ変換を行うＤ／Ａ変換部、Ｄ／Ａ変換部が変換したアナログの音声データを外部へ出力するスピーカ等を用いて構成される。
【００１６】
姿勢検出部４は、撮像装置１に関する姿勢や手ブレを検出し、検出した検出結果を制御部１２へ出力する。姿勢検出部４は、撮像装置１に生じる加速度を検出する加速度センサおよび撮像装置１の角度、角速度および角加速度を検出するジャイロセンサ等を用いて構成される。なお、姿勢検出部４の構成にＧＰＳ等による位置検出センサや方位センサ等を追加することによって撮像装置１の位置や撮像方向の方位を含めた姿勢に関する姿勢情報を検出してもよい。
【００１７】
時計５は、計時機能の他、撮像部２において撮影された画像の日時に関する日時情報を生成し、この日時情報を制御部１２へ出力する。
【００１８】
表示部６は、制御部１２の制御のもと、撮像部２が生成した画像データに対応する画像、撮像部２が生成した動画データに対応する動画、または撮像装置１に関する各種の情報を表示する。また、表示部６は、記録部１０が記録する画像データに対応する画像や動画データに対応する動画を再生して表示する。表示部６は、液晶または有機ＥＬ（Electro  Luminescence）等の表示パネルを用いて構成される。
【００１９】
タッチパネル７は、表示部６の表示領域に重畳して設けられ、外部からの物体が接触した接触位置（タッチ位置）に応じた信号の入力を受け付け、この信号を制御部１２等に出力する。
【００２０】
操作部８は、撮像装置１の各種操作に関する信号の入力を受け付け、受け付けた信号を制御部１２等に出力する。操作部８は、少なくとも静止画撮影の準備を指示する１ｓｔレリーズ信号および撮影を指示する２ｎｄレリーズ信号の入力を受け付けるレリーズスイッチ、と、撮像部に動画撮影の開始を指示する開始信号および撮像部に動画撮影の終了を指示する終了信号の入力を受け付ける動画スイッチ、撮像装置１の各種の操作信号の入力を受け付ける十字スイッチと、十字スイッチによって選択された設定等を決定する指示信号の入力を受け付ける決定スイッチ等を用いて構成される。
【００２１】
仮記録部９は、制御部１２を介して撮像部２が生成した画像データや動画データ、および撮像装置１の処理中の各種データを一時的に記録する。仮記録部９は、ＳＤＲＡＭ（Synchronous  Dynamic  Random  Access  Memory）等のメモリを用いて構成される。
【００２２】
記録部１０は、撮像装置１が実行する各種プログラムを記録するプログラム記録部１０１と、撮像部２が生成した画像データや動画データを記録する画像データ記録部１０２と、を有する。記録部１０は、例えばＦｌａｓｈメモリ、撮像装置１に対して着脱自在なメモリカード等の記録媒体を用いて構成される。
【００２３】
通信部１１は、制御部１２の制御のもと、所定の無線通信規格に従って、外部の機器と双方向に通信を行うことによって、画像データや動画データ等の情報を送信するとともに、外部の機器から送信された撮像装置１の各種動作を指示する指示信号を受信して制御部１２へ出力する。ここで、所定の無線通信規格は、ＩＥＥＥ８０２．１１ａ、ＩＥＥＥ８０２．１１ｂ、ＩＥＥＥ８０２．１１ｎ、ＩＥＥＥ８０２．１１ｇ、ＩＥＥＥ８０２．１１ａｃ、Ｂｌｕｅｔｏｏｔｈ（登録商標）および赤外線通信規格等である。なお、本実施の形態１では、いずれの無線通信規格であっても適用可能である。
【００２４】
制御部１２は、撮像装置１を構成する各部を統括的に制御する。また、制御部１２は、撮像部２から入力された画像データまたは動画データに対して、各種の処理を行って表示部６、仮記録部９および記録部１０のいずれかに出力する。制御部１２は、例えばＣＰＵ（Central  Processing  Unit）、ＦＰＧＡ（Field  Programmable  Gate  Array）およびＡＳＩＣ（Application  Specific  Integrated  Circuit）等の汎用プロセッサを用いて構成される。なお、本実施の形態１では、制御部１２が画像処理装置として機能する。
【００２５】
ここで、制御部１２の詳細な構成について説明する。制御部１２は、フレームレート変更部１２１と、検出部１２２と、第１判定部１２３と、抽出部１２４と、合成部１２５と、表示制御部１２６と、撮像制御部１２７と、記録制御部１２８と、を有する。
【００２６】
フレームレート変更部１２１は、撮像部２が撮像する画像データのフレームレートを変更する。例えば、フレームレート変更部１２１は、撮像部２のフレームレートを１２０ｆｐｓから２４０ｆｐｓに変更する。
【００２７】
検出部１２２は、撮像部２が生成した画像データに対応する画像に含まれる被写体を検出する。例えば、検出部１２２は、画像に対して、周知のパターンマッチング技術を用いて、連続する画像や動画内で移動する被写体や被写体を検出する。なお、検出部１２２は、パターンマッチング以外にも、動きベクトルや特徴量に基づいて、画像に含まれる被写体を検出してもよい。
【００２８】
第１判定部１２３は、時間的に前後する画像に基づいて、検出部１２２によって検出された被写体が撮像装置から奥行き方向に移動する奥行き成分を有しているか否かを判断する。ここで、奥行き方向とは、撮像部２の光軸方向である。また、奥行き成分とは、撮像装置から奥行き方向を基準に斜め方向の成分も含むことである。
【００２９】
抽出部１２４は、撮像部２が生成した画像データに対応する画像から検出部１２２が検出した被写体の領域を抽出して被写体画像データを生成する。
【００３０】
合成部１２５は、後述する撮像制御部１２７の制御のもと、撮像部２が生成した複数の画像データを合成して合成画像データを生成する。具体的には、合成部１２５は、所定枚数の画像データを合成する場合、各画像データに対して所定枚数分の１倍の係数を乗じて各画像データを合成する。例えば、合成部１２５は、３枚の画像データを合成する場合、各画像データに１／３を乗じた後に、各画像データを合成することによって合成画像データを生成する。
【００３１】
表示制御部１２６は、表示部６の表示態様を制御する。具体的には、表示制御部１２６は、合成部１２５が生成した合成画像に、撮像部２が生成した画像データに対応する画像を重畳して表示部６に表示させる。また、表示制御部１２６は、仮記録部９に記録された複数の画像データを所定の表示フレームレートで表示部６にスローモーションで表示させる。例えば、表示制御部１２６は、仮記録部９に記録された複数の画像データが１２０ｆｐｓで生成された場合、１５ｆｐｓで表示部６に表示されるように制御する。
【００３２】
撮像制御部１２７は、撮像部２を制御する。また、撮像制御部１２７は、操作部８による取捨選択の操作に応じて選択された２つ以上の画像データを合成部１２５に合成させて新たな合成画像データを生成させる。なお、本実施の形態１では、撮像制御部１２７が制御部として機能する。
【００３３】
記録制御部１２８は、撮像部２が生成した画像データを仮記録部９に記録させるとともに、画像データ記録部１０２に記録させる。
【００３４】
〔撮像装置の処理〕
次に、撮像装置１が実行する処理について説明する。図２は、撮像装置１が実行する処理の概要を示すフローチャートである。
【００３５】
まず、図２に示すように、撮像装置１が撮影モードに設定されている場合（ステップＳ１０１：Ｙｅｓ）、表示制御部１２６は、撮像部２が連続的に生成した画像データに対応するライブビュー画像を表示部６に順次表示される（ステップＳ１０２）。この場合、撮像部２が連続的に生成した画像データは、一定のフレーム数（例えば６０ｆｐｓや３０ｆｐｓ）または所定のデータ容量（例えば１秒間に相当するデータ容量）が仮記録部９に一時的に記録される。
【００３６】
続いて、撮像装置１が取捨選択モードに設定されている場合（ステップＳ１０３：Ｙｅｓ）、撮像装置１は、仮記録部９に記録された複数の画像データを時系列に沿って順に表示部６にスロー表示させて、ユーザの取捨選択操作に応じて被写体の画像を順次合成して被写体の移動の軌跡を把握することができる合成画像データを生成する取捨選択モード処理を実行する（ステップＳ１０４）。なお、取捨選択モード処理の詳細は、後述する。
【００３７】
その後、操作部８から終了を指示する指示信号が入力された場合（ステップＳ１０５：Ｙｅｓ）、撮像装置１は、本処理を終了する。これに対して、操作部８から終了を指示する指示信号が入力されていない場合（ステップＳ１０５：Ｎｏ）、撮像装置１は、上述したステップＳ１０１へ戻る。
【００３８】
ステップＳ１０３において、撮像装置１が取捨選択モードに設定されていない場合（ステップＳ１０３：Ｎｏ）、撮像装置１は、ステップＳ１０６へ移行する。
【００３９】
続いて、撮像制御部１２７は、操作部８から静止画撮影を指示する指示信号が入力されたか否かを判断する（ステップＳ１０６）。具体的には、撮像制御部１２７は、操作部８から静止画撮影を指示する２ｎｄレリーズ信号が入力されたか否かを判断する。なお、制御部１２は、操作部８からの２ｎｄレリーズ信号以外に、タッチパネル７からタッチによる静止画撮影を指示する信号が入力されたか否かを判断してもよい。撮像制御部１２７が操作部８から静止画撮影を指示する指示信号が入力されたと判断した場合（ステップＳ１０６：Ｙｅｓ）、撮像装置１は、後述するステップＳ１０７へ移行する。これに対して、撮像制御部１２７が操作部８から静止画撮影を指示する指示信号が入力されていないと判断した場合（ステップＳ１０６：Ｎｏ）、撮像装置１は、後述するステップＳ１０５へ移行する。
【００４０】
ステップＳ１０７において、撮影制御部１２７は、撮像部２に静止画撮影を実行させる。
【００４１】
続いて、記録制御部１２８は、撮像部２が静止画撮影によって生成した画像データを所定のフォーマットに従って画像データ記録部１０２に記録する（ステップＳ１０８）。この場合、表示制御部１２６は、表示部６に撮像部２が静止画撮影によって生成した画像データに対応する画像を所定の時間（例えば３秒）だけ表示部６に表示させてもよい。ステップＳ１０８の後、撮像装置１は、ステップＳ１０５へ移行する。
【００４２】
ステップＳ１０１において、撮像装置１が撮影モードに設定されていない場合（ステップＳ１０１：Ｎｏ）、撮像装置１は、ステップＳ１０９へ移行する。
【００４３】
続いて、撮像装置１が再生モードに設定されている場合（ステップＳ１０９：Ｙｅｓ）、撮像装置１は、画像データ記録部１０２に記録されている画像データを再生して表示する再生処理を実行する（ステップＳ１１０）。なお、再生処理の詳細は、後述する。ステップＳ１１０の後、撮像装置１は、ステップＳ１０５へ移行する。
【００４４】
ステップＳ１０９において、撮像装置１が再生モードに設定されていない場合（ステップＳ１０９：Ｎｏ）、撮像装置１は、ステップＳ１０５へ移行する。
【００４５】
〔取捨選択モード処理〕
次に、上述した図２のステップＳ１０４の取捨選択モード処理の詳細について説明する。図３は、取捨選択モード処理の詳細を示すフローチャートである。
【００４６】
図３に示すように、まず、撮像制御部１２７は、操作部８から撮影を指示する指示信号が入力されたか否かを判断する（ステップＳ２０１）。具体的には、撮像制御部１２７は、操作部８から撮影準備を指示する１ｓｔレリーズ信号が入力されたか否かを判断する。もちろん、撮像制御部１２７は、１ｓｔレリーズ信号以外にも、操作部８から撮影を指示する指示信号（例えば２ｎｄレリーズ信号）やタッチパネル７から撮影を指示する指示信号が入力されたか否かを判断してもよい。さらに、タッチパネル７に対して単なるタッチ操作のみであってもよい。撮像制御部１２７が操作部８から撮影を指示する指示信号が入力されたと判断した場合（ステップＳ２０１：Ｙｅｓ）、撮像装置１は、後述するステップＳ２０２へ移行する。これに対して、撮像制御部１２７が操作部８から撮影を指示する指示信号が入力されていないと判断した場合（ステップＳ２０１：Ｎｏ）、撮像装置１は、上述した図２のメインルーチンへ戻る。
【００４７】
ステップＳ２０２において、記録制御部１２８は、撮像部２が生成した画像データを仮記録部９に順次記録させる。具体的には、図４に示すように、記録制御部１２８は、撮像部２が連続的に生成した複数の画像データ（例えば図４に示す画像Ｐ１〜Ｐ６）を仮記録部９に順次記録させる。この場合、フレームレート変更部１２１は、撮像部２が画像データを生成するフレームレートを高速のフレームレート（例えば６０ｆｐｓ→１２０ｆｐｓ）に変更してもよい。
【００４８】
続いて、表示制御部１２６は、仮記録部９に順次記録された画像データを時系列に沿って表示部６にスローモーションで表示させる（ステップＳ２０３）。具体的には、表示制御部１２６は、仮記録部９に撮像部２が所定のフレームレートで生成した画像データが所定時間または所定のフレーム数記録されている場合、撮像部２のフレームレートに対して１より大きい整数分の１倍にしたフレームレートで表示されるように表示部６にスローモーションで表示させる。例えば、表示制御部１２６は、仮記録部９に撮像部２が１２０ｆｐｓで生成した画像データが２秒以上記録されている場合、１５ｆｐｓで表示されるように表示部６に表示させる（８倍のスローモーションで表示）。また、表示制御部１２６は、操作部８の操作に応じて、スローモーションで表示させる速度を適宜変更してもよい。この場合、制御部１２は、音声入出力部３が取り込んだ音声データを音声入出力部３からスローモーションで表示させる画像に合わせて音声データをスロー再生させてもよい。
【００４９】
続いて、撮像制御部１２７は、操作部８またはタッチパネル７から表示部６がスローモーションで表示する画像に対して、最初の決定指示があったか否かを判断する（ステップＳ２０４）。具体的には、撮像制御部１２７は、操作部８から撮影を指示する２ｎｄレリーズ信号またはタッチパネル７からタッチ信号が入力されたか否かを判断する。撮像制御部１２７が操作部８またはタッチパネル７から表示部６がスローモーションで表示する画像に対して、最初の決定指示があったと判断した場合（ステップＳ２０４：Ｙｅｓ）、撮像装置１は、後述するステップＳ２０５へ移行する。これに対して、撮像制御部１２７が操作部８またはタッチパネル７から表示部６がスローモーションで表示する画像に対して、最初の決定指示がなかったと判断した場合（ステップＳ２０４：Ｎｏ）、撮像装置１は、上述したステップＳ２０３へ戻る。
【００５０】
ステップＳ２０５において、撮像制御部１２７は、仮記録部９に記録された最初の決定指示があった時点の前または最初の決定指示があった時点に仮記録部９に記録された画像データから背景データを合成部１２５に生成させる。具体的には、図５に示すように、撮像制御部１２７は、表示部６が画像Ｐ１０を表示しているタイミングで操作部８またはタッチパネル７から決定指示があった場合、例えば図４に示す画像Ｐ１よりも前の画像データを背景データとして合成部１２５に生成させる。なお、合成部１２５は、図５に示す最初の決定指示があった時点に仮記録部９に記録された画像データ（例えば図４に示す画像Ｐ１）を背景データとして生成してもよい。
【００５１】
続いて、検出部１２２は、仮記録部９に記録された次のフレームの画像データから被写体を検出する（ステップＳ２０６）。具体的には、検出部１２２は、図４に示す画像Ｐ１から被写体Ｏ１を検出する。この場合、検出部１２２は、時間的に前後する画像データを用いて被写体Ｏ１を検出してもよいし、所定のテンプレートを用いて検出してもよいし、動きベクトルを用いて検出してもよいし、所定の特徴量を有する領域を被写体として検出してもよい。なお、図４においては、検出部１２２は、被写体Ｏ１を１匹の鳥として検出しているが、複数であってもよい。もちろん、検出部１２２は、動きがある動体を被写体として検出してもよいし、予め学習されたモデルを用いて動きがある被写体を検出してもよい。
【００５２】
その後、抽出部１２４は、検出部１２２によって検出された被写体の領域を画像データから抽出することによって、被写体画像データを生成する（ステップＳ２０７）。具体的には、抽出部１２４は、検出部１２２が画像Ｐ１から検出した被写体Ｏ１の領域を抽出することによって、被写体画像データを生成する。
【００５３】
続いて、撮像制御部１２７は、合成部１２５に、ステップＳ２０５で生成した背景データに、抽出部１２４が生成した被写体画像データを合成させて合成画像データを生成させる（ステップＳ２０８）。具体的には、撮像制御部１２７は、合成部１２５に、背景データと、抽出部１２４が生成した被写体画像データとを合成させた合成画像データ（例えば図５に示す合成画像Ｐ１０）を生成させる。
【００５４】
その後、検出部１２２は、仮記録部９に記録された次のフレームの画像データから被写体を検出する（ステップＳ２０９）。具体的には、検出部１２２は、図４に示す画像Ｐ２から被写体Ｏ１を検出する。
【００５５】
続いて、抽出部１２４は、検出部１２２によって検出された被写体の領域を画像データから抽出することによって、被写体画像データを生成する（ステップＳ２１０）。
【００５６】
その後、表示制御部１２６は、合成部１２５が生成した合成画像データに対応する合成画像に、抽出部１２４が生成した被写体画像データに対応する被写体画像を重畳して表示部６にスローモーションで表示させる（ステップＳ２１１）。具体的には、図５に示すように、表示制御部１２６は、合成画像Ｐ１０に被写体画像Ｏ１を重畳した画像Ｐ１１を表示部６にスローモーションで表示させる。この場合、表示制御部１２６は、合成画像Ｐ１０と被写体画像Ｏ１との比率が所定の割合、例えば１：１となるように合成画像Ｐ１０の合成画像データと被写体画像Ｏ１の被写体画像データそれぞれに係数１／２を乗じることによって表示部６に表示させる。もちろん、表示制御部１２６は、合成画像Ｐ１０と被写体画像Ｏ１との比率を適宜変更してもよく、例えば４：６となるように、合成画像Ｐ１０の合成画像データに係数０．４を乗じるとともに、被写体画像Ｏ１の被写体画像データに係数０．６を乗じることによって表示部６に表示させてもよい。
【００５７】
続いて、操作部８またはタッチパネル７から表示部６がスローモーションで表示する動画に対して、決定指示があった場合（ステップＳ２１２：Ｙｅｓ）、撮像装置１は、後述するステップＳ２１３へ移行する。これに対して、操作部８またはタッチパネル７から表示部６がスローモーションで表示する動画に対して、決定指示がない場合（ステップＳ２１２：Ｎｏ）、撮像装置１は、後述するステップＳ２２１へ移行する。
【００５８】
ステップＳ２１３において、第１判定部１２３は、仮記録部９に記録された最新のフレームの画像データに対応する画像内の被写体が撮像装置１から遠ざかっているか否かを判定する。具体的には、第１判定部１２３は、時間的に隣接する前フレームの画像データと最新のフレームの画像データに基づいて、検出部１２２が検出した被写体の領域、被写体の動きベクトルおよび撮像装置１から被写体までの距離のいずれか１つ以上を用いて、被写体が撮像装置１から遠ざかっているか否かを判定する。例えば、第１判定部１２３は、前フレームの被写体の距離より最新のフレームの被写体の距離が大きくなっている場合、被写体が撮像装置１から遠ざかっていると判定する。ここで、被写体が撮像装置１から遠ざかっているとは、被写体が奥行き方向（撮像装置１の光軸方向および斜め方向も含む）へ向けて移動していることである。第１判定部１２３によって被写体が撮像装置１から遠ざかっていると判定された場合（ステップＳ２１３：Ｙｅｓ）、撮像装置１は、後述するステップＳ２１４へ移行する。これに対して、第１判定部１２３によって被写体が撮像装置１から遠ざかっていないと判定された場合（ステップＳ２１３：Ｎｏ）、撮像装置１は、後述するステップＳ２１８へ移行する。
【００５９】
ステップＳ２１４において、検出部１２２は、合成画像から被写体を検出する。具体的には、検出部１２２は、表示部６が表示している合成画像、例えば図５に示す合成画像Ｐ１１から被写体Ｏ１を検出する。
【００６０】
続いて、抽出部１２４は、検出部１２２が合成画像から検出した被写体の領域を抽出することによって、被写体画像データを生成する（ステップＳ２１５）。
【００６１】
その後、撮像制御部１２７は、合成部１２５に、最新の画像データと、抽出部１２４が生成した被写体画像データとを合成させて合成画像データを更新させる（ステップＳ２１６）。これにより、被写体が撮像装置１に対して奥行き方向へ移動した場合であっても、順次合成する背景を最新の画像データを背景データとして更新することができるので、被写体の軌跡を自然な状態とすることができる。このとき、撮像制御部１２７は、合成部１２５に、最新の画像データに乗じる係数が被写体画像データに乗じる係数より高くなるように合成させる。例えば、撮像制御部１２７は、最新の画像データに乗じる係数を０．７とし、被写体画像データに乗じる係数を０．３とすることによって合成部１２５に合成画像データを生成させて更新させる。これにより、撮像装置１から遠い被写体ほど合成画像上でコントラストが強調されるので、奥行き方向へ移動する被写体の軌跡を明確にすることができる。
【００６２】
続いて、表示制御部１２６は、合成部１２５が更新した合成画像データに対応する合成画像をスローモーションで表示部６に表示させる（ステップＳ２１７）。ステップＳ２１７の後、撮像装置１は、後述するステップＳ２２１へ移行する。
【００６３】
ステップＳ２１８において、検出部１２２は、仮記録部９に記録された最新の画像データに対応する最新画像から被写体を検出する。例えば、図４に示す画像Ｐ３から被写体Ｏ１を検出する。
【００６４】
続いて、抽出部１２４は、検出部１２２が最新画像から検出した被写体の領域を抽出することによって、被写体画像データを生成する（ステップＳ２１９）。
【００６５】
その後、撮像制御部１２７は、合成部１２５に、合成画像データと、抽出部１２４が生成した被写体画像データと、を合成させて合成画像データに対応する合成画像を更新させる（ステップＳ２２０）。具体的には、図５に示すように、撮像制御部１２７は、合成部１２５に、合成画像データと、被写体画像データと、を合成させて合成画像Ｐ１２に更新させる。この場合において、図５に示すように、操作部８またはタッチパネル７から決定指示があったとき、ステップＳ２２０の後、撮像装置１は、後述するステップＳ２１７へ移行する。
【００６６】
ステップＳ２２１において、制御部１２は、仮記録部９に記録された画像データの全てが終了したか否かを判断する（ステップＳ２２１）。制御部１２が仮記録部９に記録された画像データの全てが終了したと判断した場合（ステップＳ２２１：Ｙｅｓ）、撮像装置１は、後述するステップＳ２２２へ移行する。これに対して、制御部１２が仮記録部９に記録された画像データの全てが終了していないと判断した場合（ステップＳ２２１：Ｎｏ）、撮像装置１は、上述したステップＳ２０９へ戻る。この場合において、図５に示すように、表示制御部１２６は、図５の合成画像Ｐ１３〜合成画像Ｐ１５に示すように、抽出部１２４が検出部１２２によって画像Ｐ４〜画像Ｐ６の各々から検出した被写体Ｏ１を順次抽出して生成した被写体画像データを合成画像データに合成して表示部６にスローモーションで表示させる。このとき、撮像制御部１２７は、操作部８またはタッチパネル７からの決定指示に応じて、合成部１２５に被写体画像と合成画像とを合成させることによって、図５に示す合成画像Ｐ１３、合成画像Ｐ１５および合成画像Ｐ１６を生成させる。これにより、ユーザは、所望の位置や状態を反映した被写体Ｏ１の軌跡が写る合成画像を得ることができる。なお、制御部１２は、仮記録部９に記録された画像データの全てが終了した以外にも、仮記録部９に画像データを記録させることができる容量に達したか否かを判断することによって、取捨選択モードを終了するか否かを判断してもよい。もちろん、制御部１２は、操作部８またはタッチパネル７の操作に応じて、取捨選択モードを終了するか否かを判断してもよい。
【００６７】
ステップＳ２２２において、表示制御部１２６は、合成部１２５が生成した最新の合成画像データに対応する合成画像を表示部６に表示させる。具体的には、図６に示すように、表示制御部１２６は、合成部１２５が生成した最新の合成画像データに対応する合成画像Ｐ２０を表示部６に表示させる。
【００６８】
続いて、記録制御部１２８は、合成部１２５が生成した最新の合成画像データを画像データ記録部１０２に記録する（ステップＳ２２３）。ステップＳ２２３の後、撮像装置１は、図２のメインルーチンへ戻る。
【００６９】
〔再生処理〕
次に、上述した図２のステップＳ１１０の再生処理の詳細について説明する。図７は、撮像装置１が実行する再生処理の概要を示すフローチャートである。
【００７０】
図７に示すように、まず、表示制御部１２６は、画像データ記録部１０２に記録された複数の画像データに対応する複数のサムネイル画像を表示部６に一覧表示させる（ステップＳ３０１）。
【００７１】
続いて、表示部６が一覧表示した複数のサムネイル画像の中から操作部８またはタッチパネル７を介して画像が選択された場合（ステップＳ３０２：Ｙｅｓ）、表示制御部１２６は、選択された画像の画像データを表示部６で再生して表示させる（ステップＳ３０３）。
【００７２】
その後、操作部８から再生の終了を指示する指示信号が入力された場合（ステップＳ３０４：Ｙｅｓ）、撮像装置１は、図２のメインルーチンへ戻る。これに対して、操作部８から再生の終了を指示する指示信号が入力されていない場合（ステップＳ３０４：Ｎｏ）、撮像装置１は、後述するステップＳ３０５へ移行する。
【００７３】
ステップＳ３０５において、操作部８またはタッチパネル７を介して表示部６が表示する画像の切り替えを指示する指示信号が入力された場合（ステップＳ３０５：Ｙｅｓ）、表示制御部１２６は、表示部６が表示する画像を操作に応じた画像に切り替えて表示部６に表示させる（ステップＳ３０６）。ステップＳ３０６の後、撮像装置１は、上述したステップＳ３０４へ戻る。
【００７４】
ステップＳ３０５において、操作部８またはタッチパネル７を介して表示部６が表示する画像の切り替えを指示する指示信号が入力されていない場合（ステップＳ３０５：Ｎｏ）、撮像装置１は、上述したステップＳ３０４へ戻る。
【００７５】
ステップＳ３０２において、表示部６が一覧表示した複数の画像の中から操作部８またはタッチパネル７を介して画像が選択されていない場合（ステップＳ３０２：Ｎｏ）、撮像装置１は、ステップＳ３０７へ移行する。
【００７６】
続いて、操作部８から再生の終了を指示する指示信号が入力された場合（ステップＳ３０７：Ｙｅｓ）、撮像装置１は、上述した図２のメインルーチンへ戻る。これに対して、操作部８から再生の終了を指示する指示信号が入力されていない場合（ステップＳ３０７：Ｎｏ）、撮像装置１は、上述したステップＳ３０１へ戻る。
【００７７】
以上説明した本発明の実施の形態１によれば、撮像制御部１２７が操作部８による取捨選択の操作に応じて選択された２つ以上の画像データを合成部１２５に合成させて新たな合成画像データを生成させるので、ユーザが所望する被写体の位置や状態を反映した合成画像を取得することができる。
【００７８】
また、本発明の実施の形態１によれば、表示制御部１２６が撮像部２によって画像データが生成される毎に、表示部６が表示する合成画像に重畳する画像を、最新画像に更新して表示部６に表示させるので、ユーザが所望する被写体の位置や状態を直感的に把握させることができる。
【００７９】
また、本発明の実施の形態１によれば、表示制御部１２６が撮像部２のフレームレートに対して１より大きい整数分の１倍にしたフレームレートによって合成画像および最新画像を表示部６にスローモーションで表示させるので、ユーザが所望する位置で被写体を容易に合成画像に合成させることができる。
【００８０】
また、本発明の実施の形態１によれば、撮像制御部１２７が操作部８から指示信号が入力された場合、合成部１２５に撮像部２によって生成された最新の画像データに対応する最新画像を合成画像に合成させて合成画像データを更新させるので、ユーザの意志を合成画像に容易に反映させることができる。
【００８１】
また、本発明の実施の形態１によれば、撮像制御部１２７が合成部１２５に抽出部１２４によって生成された被写体画像データに対応する被写体画像を合成画像に合成させて合成画像データを更新させるので、被写体のみが移動する軌跡の合成画像データを得ることができる。
【００８２】
また、本発明の実施の形態１によれば、第１判定部１２３によって被写体が撮像装置１から奥行きに遠ざかっていると判定された場合、撮像制御部１２７が合成部１２５に最新画像と、抽出部１２４が合成画像から抽出した被写体画像とを合成させて合成画像データを更新させるので、奥行き方向へ移動する被写体であっても、移動する被写体の軌跡が滑らかな合成画像を得ることができる。
【００８３】
（実施の形態２）
次に、本発明の実施の形態２について説明する。本実施の形態２は、上述した実施の形態１に係る撮像装置１と同一の構成を有し、撮像装置が実行する取捨選択モード処理および再生処理が異なる。具体的には、上述した実施の形態１では、撮影中に合成画像に合成する被写体の位置や状態を選択していたが、本実施の形態２では、撮影後に合成画像に合成する被写体の位置や状態を選択する。以下においては、本実施の形態２に係る撮像装置が実行する取捨選択モード処理および再生処理について説明する。なお、上述した実施の形態１に係る撮像装置１と同一の構成には同一の符号を付して説明を省略する。
【００８４】
〔取捨選択モード処理〕
図８は、本実施の形態２に係る撮像装置１が実行する取捨選択モード処理の概要を示すフローチャートである。
【００８５】
図８に示すように、まず、制御部１２は、操作部８またはタッチパネル７から撮影を指示する指示信号が入力されたか否かを判断する（ステップＳ４０１）。制御部１２が操作部８またはタッチパネル７から撮影を指示する指示信号が入力されたと判断した場合（ステップＳ４０１：Ｙｅｓ）、撮像装置１は、後述するステップＳ４０２へ移行する。これに対して、制御部１２が操作部８またはタッチパネル７から撮影を指示する指示信号が入力されていないと判断した場合（ステップＳ４０１：Ｎｏ）、撮像装置１は、上述した図２のメインルーチンへ戻る。
【００８６】
ステップＳ４０２において、記録制御部１２８は、撮像部２が生成した画像データを仮記録部９に順次記録させる。
【００８７】
続いて、制御部１２は、操作部８またはタッチパネル７から決定指示が入力されたか否かを判断する（ステップＳ４０３）。制御部１２が操作部８またはタッチパネル７から決定指示が入力されたと判断した場合（ステップＳ４０３：Ｙｅｓ）、撮像装置１は、後述するステップＳ４０４へ移行する。これに対して、制御部１２が操作部８またはタッチパネル７から決定指示が入力されていないと判断した場合（ステップＳ４０３：Ｎｏ）、撮像装置１は、上述したステップＳ４０２へ移行する。
【００８８】
ステップＳ４０４において、記録制御部１２８は、仮記録部９に記録された所定のフレーム数（例えば３０フレーム）の画像データを記録部１０の画像データ記録部１０２に記録するとともに、撮像部２が生成した画像データを記録部１０に順次記録する。
【００８９】
続いて、制御部１２は、操作部８またはタッチパネル７から撮影を終了する指示信号が入力されたか否かを判断する（ステップＳ４０５）。制御部１２が操作部８またはタッチパネル７から終了を指示する指示信号が入力されたと判断した場合（ステップＳ４０５：Ｙｅｓ）、撮像装置１は、後述するステップＳ４０６へ移行する。これに対して、制御部１２が操作部８またはタッチパネル７から終了を指示する指示信号が入力されていないと判断した場合（ステップＳ４０５：Ｎｏ）、撮像装置１は、上述したステップＳ４０４へ戻る。
【００９０】
ステップＳ４０６において、合成部１２５は、記録部１０の画像データ記録部１０２に記録された複数の画像データに基づいて、スローモーション動画データと、合成画像データとを生成する。具体的には、合成部１２５は、合成画像データを生成する場合、画像データ記録部１０２に記録された複数の画像データに対して、所定の係数（例えば枚数分の１）を乗じた係数を乗じることによって各画像データを順次合成して合成画像データを生成する。例えば、合成部１２５は、画像データの数が１０の場合、各画像データに０．１を乗じることによって合成画像データを生成する。また、合成部１２５は、スローモーション動画データを生成する場合、画像データ記録部１０２に記録された複数の画像データに対して、所定のフレームレート（例えば２４０ｆｐｓ）で表示されるようにフレームレートを変更することによって、スローモーション動画データを生成する。ステップＳ４０６の後、撮像装置１は、上述した図２のメインルーチンへ戻る。
【００９１】
〔再生処理〕
次に、本実施の形態２に係る撮像装置１が実行する再生処理について説明する。図９は、本実施の形態２に係る撮像装置１が実行する再生処理の概要を示すフローチャートである。
【００９２】
図９に示すように、まず、表示制御部１２６は、画像データ記録部１０２に記録された複数の画像データに対応する複数のサムネイル画像および複数の動画データに対応する複数のサムネイル画像を表示部６に一覧表示させる（ステップＳ５０１）。
【００９３】
続いて、表示部６が一覧表示した複数のサムネイル画像の中から操作部８またはタッチパネル７を介してスローモーション動画が選択された場合（ステップＳ５０２：Ｙｅｓ）、撮像装置１は、スローモーション動画を再生しながらユーザの操作に応じて被写体の軌跡が写る合成画像データを生成するスローモーション動画再生処理を実行する（ステップＳ５０３）。なお、スローモーション動画再生処理の詳細は、後述する。この場合、制御部１２は、音声入出力部３が取り込んだ音声データを音声入出力部３からスローモーションで表示させる動画に合わせて音声データをスロー再生させてもよい。ステップＳ５０３の後、撮像装置１は、ステップＳ５０４へ移行する。
【００９４】
続いて、操作部８またはタッチパネル７を介して表示部６が表示する画像を切り替える指示信号が入力された場合（ステップＳ５０４：Ｙｅｓ）、撮像装置１は、上述したステップＳ５０２へ戻る。これに対して、操作部８またはタッチパネル７を介して表示部６が表示する画像を切り替える指示信号が入力されていない場合（ステップＳ５０４：Ｎｏ）、撮像装置１は、後述するステップＳ５０５へ移行する。
【００９５】
ステップＳ５０５において、操作部８から再生の終了を指示する指示信号が入力された場合（ステップＳ５０５：Ｙｅｓ）、撮像装置１は、上述した図２のメインルーチンへ戻る。これに対して、操作部８から再生の終了を指示する指示信号が入力されていない場合（ステップＳ５０５：Ｎｏ）、撮像装置１は、上述したステップＳ５０１へ戻る。
【００９６】
ステップＳ５０２において、表示部６が一覧表示した複数のサムネイル画像の中から操作部８またはタッチパネル７を介してスローモーション動画が選択されていない場合（ステップＳ５０２：Ｎｏ）、撮像装置１は、ステップＳ５０６へ移行する。
【００９７】
続いて、表示部６が一覧表示した複数のサムネイル画像の中から合成画像が選択された場合（ステップＳ５０６：Ｙｅｓ）、撮像装置１は、合成画像データを表示部６で再生しながらユーザの操作に応じて合成画像データに含まれる画像データの位置や削除を行う合成画像再生処理を実行する（ステップＳ５０７）。なお、合成画像再生処理の詳細な内容は、後述する。ステップＳ５０７の後、撮像装置１は、ステップＳ５０４へ移行する。
【００９８】
ステップＳ５０６において、表示部６が一覧表示した複数のサムネイル画像の中から合成画像が選択されていない場合（ステップＳ５０６：Ｎｏ）、撮像装置１は、ステップＳ５０８へ移行する。
【００９９】
続いて、表示部６が一覧表示した複数のサムネイル画像の中から画像が選択された場合（ステップＳ５０８：Ｙｅｓ）、表示制御部１２６は、選択された画像の画像データを表示部６で再生して表示させる（ステップＳ５０９）。ステップＳ５０９の後、撮像装置１は、ステップＳ５０４へ移行する。
【０１００】
ステップＳ５０８において、表示部６が一覧表示した複数のサムネイル画像の中から画像が選択されていない場合（ステップＳ５０８：Ｎｏ）、撮像装置１は、ステップＳ５０５へ移行する。
【０１０１】
〔スローモーション動画再生処理〕
次に、上述した図９のステップＳ５０３で説明したスローモーション動画再生処理の詳細について説明する。図１０は、スローモーション動画再生処理の概要を示すフローチャートである。
【０１０２】
図１０に示すように、まず、表示制御部１２６は、スローモーション動画データに対応するスローモーション動画を表示部６で再生して表示させる（ステップＳ６０１）。
【０１０３】
続いて、タッチパネル７に対してタッチがあった場合（ステップＳ６０２：Ｙｅｓ）、撮像装置１は、後述するステップＳ６０４へ移行する。これに対して、タッチパネル７に対してタッチがなかった場合（ステップＳ６０２：Ｎｏ）、撮像装置１は、後述するステップＳ６０３へ移行する。
【０１０４】
ステップＳ６０３において、スローモーション動画の再生が終了した場合（ステップＳ６０３：Ｙｅｓ）、撮像装置１は、図９の再生処理のサブルーチンへ戻る。これに対して、スローモーション動画の再生が終了していない場合（ステップＳ６０３：Ｎｏ）、撮像装置１は、上述したステップＳ６０２へ戻る。
【０１０５】
ステップＳ６０４〜ステップＳ６１０は、上述した図３のステップＳ２０５〜ステップＳ２１１それぞれに対応する。
【０１０６】
ステップＳ６１１において、タッチパネル７を介して表示部６がスローモーションで表示する動画に対してタッチがあった場合（ステップＳ６１１：Ｙｅｓ）、撮像装置１は、後述するステップＳ６１２へ移行する。これに対して、タッチパネル７を介して表示部６がスローモーションで表示する動画に対してタッチがない場合（ステップＳ６１１：Ｎｏ）、撮像装置１は、後述するステップＳ６２０へ移行する。
【０１０７】
ステップＳ６１２〜ステップＳ６１９は、上述した図３のステップＳ２１３〜ステップ２１７にそれぞれ対応する。ステップＳ６１９の後、撮像装置１は、ステップＳ６１６へ移行する。
【０１０８】
続いて、スローモーション動画が終了した場合（ステップＳ６２０：Ｙｅｓ）、撮像装置１は、後述するステップＳ６２１へ移行する。これに対して、スローモーション動画が終了していない場合（ステップＳ６２０：Ｎｏ）、撮像装置１は、上述したステップＳ６０８へ戻る。
【０１０９】
ステップＳ６２１およびステップＳ６２２は、上述した図３のステップＳ２２２およびステップＳ２２３それぞれに対応する。ステップＳ６２２の後、撮像装置１は、図９の再生処理のサブルーチンへ戻る。
【０１１０】
〔合成画像再生処理〕
次に、上述した図９のステップＳ５０７で説明した合成画像再生処理の詳細について説明する。図１１は、合成画像再生処理の概要を示すフローチャートである。
【０１１１】
図１１に示すように、まず、表示制御部１２６は、合成画像に含まれる各フレームの配置に応じたガイドを表示部６に表示させる（ステップＳ７０１）。具体的には、図１２Ａに示すように、表示制御部１２６は、合成画像Ｐ３０に含まれる各フレームの配置に応じたガイドＧ１〜Ｇ６および合成画像Ｐ３０を表示部６に表示させる。なお、表示制御部１２６は、フレーム情報として機能するガイドＧ１〜Ｇ６を検出部１２２によって検出された被写体の位置に対応する位置に表示部６に表示させる。これにより、ユーザは、直感的に被写体に応じたフレームを把握することができる。
【０１１２】
続いて、制御部１２は、タッチパネル７または操作部８を介して表示部６が表示する複数のガイドのいずれかが選択されたか否かを判断する（ステップＳ７０２）。例えば、図１２Ｂに示すように、制御部１２は、ユーザＵ１がタッチパネル７を介して表示部６が表示する複数のガイドの中からガイドＧ２を選択したか否かを判断する。制御部１２がタッチパネル７または操作部８を介して表示部６が表示する複数のガイドのいずれかが選択されたと判断した場合（ステップＳ７０２：Ｙｅｓ）、撮像装置１は、後述するステップＳ７０３へ移行する。これに対して、タッチパネル７または操作部８を介して表示部６が表示する複数のガイドのいずれかが選択されていないと判断した場合（ステップＳ７０２：Ｎｏ）、撮像装置１は、後述するステップＳ７０９へ移行する。
【０１１３】
ステップＳ７０３において、タッチパネル７または操作部８を介して選択されたガイドに対応するフレームの画像データを削除する場合（ステップＳ７０３：Ｙｅｓ）、合成部１２５は、タッチパネル７または操作部８を介して選択されたガイドに対応するフレームの画像データを削除する（ステップＳ７０４）。具体的には、図１２Ｃ〜図１２Ｅに示すように、合成部１２５は、ユーザＵ１がタッチパネル７を介してガイドＧ２をタッチしながら表示部６の表示領域外へ移動させた場合、ガイドＧ２に対応するフレームの画像データを合成画像データの中から削除することによって合成画像データに対応する合成画像Ｐ３１に更新する。これにより、ユーザは、所望のガイドを選択して操作することによって、所望のフレームの画像データを合成画像データとして生成させることができる。
【０１１４】
続いて、表示制御部１２６は、表示部６が表示する合成画像を更新する（ステップＳ７０５）。ステップＳ７０５の後、撮像装置１は、後述するステップＳ７０９へ移行する。
【０１１５】
ステップＳ７０３において、タッチパネル７または操作部８を介して選択されたガイドに対応するフレームの画像データを削除しない場合（ステップＳ７０３：Ｎｏ）、撮像装置１は、後述するステップＳ７０６へ移行する。
【０１１６】
続いて、タッチパネル７または操作部８を介して選択されたガイドの操作に応じて合成画像におけるフレームの位置を入れ替える場合（ステップＳ７０６：Ｙｅｓ）、合成部１２５は、タッチパネル７または操作部８を介して選択されたガイドの操作に応じてフレームの位置を入れ替える（ステップＳ７０７）。
【０１１７】
その後、表示制御部１２６は、表示部６が表示する合成画像を合成部１２５によってフレームの位置が入れ替えられた合成画像データに対応する合成画像に更新する（ステップＳ７０８）。
【０１１８】
続いて、タッチパネル７または操作部８から合成画像に対する編集作業を終了する指示信号が入力された場合（ステップＳ７０９：Ｙｅｓ）、撮像装置１は、後述するステップＳ７１０へ移行する。これに対して、タッチパネル７または操作部８から合成画像に対する編集作業を終了する指示信号が入力されていない場合（ステップＳ７０９：Ｎｏ）、撮像装置１は、上述したステップＳ７０１へ戻る。
【０１１９】
ステップＳ７１０において、合成画像に変更があった場合（ステップＳ７１０：Ｙｅｓ）、記録制御部１２８は、変更があった合成画像に対応する合成画像データを画像データ記録部１０２に記録する（ステップＳ７１１）。ステップＳ７１１の後、撮像装置１は、上述した図９の再生処理のサブルーチンへ戻る。
【０１２０】
ステップＳ７１０において、合成画像に変更がなかった場合（ステップＳ７１０：Ｎｏ）、撮像装置１は、上述した図９の再生処理のサブルーチンへ戻る。
【０１２１】
ステップＳ７０６において、タッチパネル７または操作部８を介して選択されたガイドの操作に応じてフレームの位置を入れ替えない場合（ステップＳ７０６：Ｎｏ）、撮像装置１は、ステップＳ７０９へ移行する。
【０１２２】
以上説明した本発明の実施の形態２によれば、上述した実施の形態１と同様の効果を有し、ユーザが所望する主被写体の位置や状態を反映した合成画像を取得することができる。
【０１２３】
また、本発明の実施の形態２によれば、表示制御部１２６が合成部１２５によって生成された合成画像に含まれる複数の画像データそれぞれのフレーム番号を示す複数のフレーム情報をガイド情報として合成画像に重畳して表示部６に表示させるので、ユーザは直感的に所望のフレームを把握することができる。
【０１２４】
また、本発明の実施の形態２によれば、撮像制御部１２７が操作部８またはタッチパネル７によるフレーム情報であるガイドの取捨選択に応じて選択された２つ以上の画像データを合成部１２５に合成させて合成画像データを生成させるので、ユーザが所望する主被写体の位置や状態を反映した合成画像を取得することができる。
【０１２５】
なお、本発明の実施の形態２では、表示制御部１２６が合成画像Ｐ３０に含まれる各フレームの配置に応じたガイドＧ１〜Ｇ６および合成画像Ｐ３０を表示部６に表示させていたが、ガイドの表示方法を適宜変更することができる。例えば、図１３Ａに示すように、表示制御部１２６は、合成画像Ｐ４０に含まれる各フレームの被写体とガイドＧ１〜Ｇ６とを対応付けた情報を合成画像Ｐ４０に重畳して表示部６に表示させてもよい。これにより、ユーザＵ１は、所望のガイドをタッチして操作するだけ（図１３Ｂ→図１３Ｃ→図１３Ｄ）、合成画像Ｐ４０から所望の被写体のみを残した合成画像Ｐ４１を生成することができる。
【０１２６】
（実施の形態２の変形例）
次に、本発明の実施の形態２の変形例について説明する。本実施の形態２の変形例は、上述した実施の形態２に係る撮像装置１と構成が異なるうえ、実行する合成画像再生処理が異なる。具体的には、上述した実施の形態２は、合成画像に含まれる各フレームの被写体の位置に応じてガイドを表示していたが、本実施の形態２の変形例では、合成画像に含まれる各フレームの被写体の距離および位置に応じて、ガイドを表示する。以下においては、本実施の形態２の変形例に係る撮像装置の構成を説明後、本実施の形態２の変形例に係る撮像装置が実行する合成画像再生処理の詳細について説明する。なお、上述した実施の形態２に係る撮像装置１と同一の構成には同一の符号を付して説明を省略する。
【０１２７】
〔撮像装置の構成〕
図１４は、本発明の実施の形態２の変形例に係る撮像装置の機能構成を示すブロック図である。図１４に示す撮像装置１ａは、上述した実施の形態２に係る撮像装置１の制御部１２に換えて、制御部１２ａを備える。
【０１２８】
制御部１２ａは、撮像装置１ａを構成する各部を統括的に制御する。制御部１２ａは、ＣＰＵ、ＦＰＧＡおよびＡＳＩＣ等の汎用プロセッサを用いて構成される。制御部１２ａは、上述した実施の形態２に係る制御部１２の構成に加えて、算出部１２９をさらに備える。
【０１２９】
算出部１２９は、撮像装置１ａから検出部１２２が検出した各フレームの被写体までの距離を算出する。具体的には、算出部１２９は、時間的に前後する画像データに基づいて、検出部１２２が検出した被写体の距離を検出する。なお、算出部１２９は、時間的に前後する画像データを用いる以外にも、周知の技術を用いて撮像装置１ａから被写体までの距離を算出してもよい。算出部１２９は、フレーム間差分法等を用いて撮像装置１ａから被写体までの距離を、合成画像に含まれるフレーム毎に算出してもよい。
【０１３０】
〔合成画像再生処理〕
次に、撮像装置１ａが実行する合成画像再生処理について説明する。図１５は、撮像装置１ａが実行する合成画像再生処理の概要を示すフローチャートである。なお、以下においては、図１６に示すように、撮像装置１ａが所定の周路を移動する被写体Ｏ１０を撮像して生成した複数の画像データ（例えば６フレーム）を合成部１２５が合成した合成画像データを生成した場合について説明する。
【０１３１】
図１５に示すように、まず、算出部１２９は、合成部１２５が上述した図１６の状況下で生成した合成画像に含まれる各フレームの被写体の距離を算出する（ステップＳ８０１）。
【０１３２】
続いて、表示制御部１２６は、算出部１２９が算出した各フレームの被写体の距離に応じて、ガイドを表示部６に表示させる（ステップＳ８０２）。具体的には、図１７Ａに示すように、表示制御部１２６は、算出部１２９が算出した各フレームの被写体の距離に応じて、ガイドＧ１〜Ｇ６を合成画像Ｐ５０に重畳して表示部６に表示させる。この場合、表示制御部１２６は、図１６に示すように、算出部１２９によって最初のフレームに含まれる被写体ほど、撮像装置１ａに近い距離と算出されるため、表示部６に、最初の３フレームに対応するガイドＧ１〜Ｇ３を下側の表示領域に表示させ、かつ、後半の３フレームに対応するガイドＧ４〜Ｇ６を上側の表示領域に表示させる。さらに、表示制御部１２６は、各フレームの被写体の位置関係を反映させた状態でガイドＧ１〜Ｇ６を表示部６に表示させる。これにより、ユーザは、合成画像Ｐ５０の各フレームに含まれる被写体の距離および位置関係を直感的に把握することができる。
【０１３３】
ステップＳ８０３〜ステップＳ８０６は、上述した図１１のステップＳ７０２〜ステップＳ７０５それぞれに対応する。
【０１３４】
ステップＳ８０７において、タッチパネル７または操作部８を介して選択されたガイドの操作に応じて合成画像におけるフレームの位置を入れ替える場合（ステップＳ８０７：Ｙｅｓ）、合成部１２５は、タッチパネル７または操作部８を介して選択されたガイドの操作に応じてフレームの位置を入れ替える（ステップＳ８０８）。具体的には、図１７Ｂに示すように、合成部１２５は、ユーザＵ１がタッチパネル７を介してガイドＧ５を選択し、ガイドＧ１とガイドＧ２との間にガイドＧ５を挿入した場合（図１７Ｂ→図１７Ｃ→図１７Ｄ→図１７Ｅ）、合成画像におけるフレームの位置を入れ替える。これにより、ユーザは、所望の位置に被写体を移動させた合成画像Ｐ５１を得ることができる。
【０１３５】
続いて、表示制御部１２６は、表示部６が表示する合成画像を合成部１２５によってフレームの位置が入れ替えられた合成画像データに対応する合成画像に更新する（ステップＳ８０９）。
【０１３６】
ステップＳ８１０〜ステップＳ８１２は、上述したステップＳ７０９〜ステップＳ７１１それぞれに対応する。ステップＳ８１２の後、撮像装置１ａは、上述した図９の再生処理のサブルーチンへ戻る。
【０１３７】
以上説明した本発明の実施の形態２の変形例によれば、上述した実施の形態１と同様の効果を有し、ユーザが所望する主被写体の位置や状態を反映した合成画像を取得することができる。
【０１３８】
また、本発明の実施の形態２の変形例によれば、表示制御部１２６が各フレームの被写体の位置関係を反映させた状態でフレーム情報としてガイドを表示部６に表示させるので、ユーザは、合成画像の各フレームに含まれる被写体の距離および位置関係を直感的に把握することができる。
【０１３９】
（実施の形態３）
次に、本発明の実施の形態３について説明する。本実施の形態３に係る撮像装置は、上述した実施の形態１に係る撮像装置１と構成が異なるうえ、撮像装置が実行する取捨選択モード処理が異なる。具体的には、上述した実施の形態１では、撮像装置１の撮像領域（視野領域）が固定されていたが、本実施の形態３では、被写体の移動に応じてユーザが撮像装置を移動させることによって、被写体に追従するように撮像装置の撮像領域を移動させる。以下においては、本実施の形態３に係る撮像装置の構成を説明後、本実施の形態３に係る撮像装置が実行する取捨選択モード処理について説明する。なお、上述した実施の形態１に係る撮像装置１と同一の構成には同一の符号を付して説明を省略する。
【０１４０】
〔撮像装置の構成〕
図１８は、本発明の実施の形態３に係る撮像装置の機能構成を示すブロック図である。図１８に示す撮像装置１ｂは、上述した実施の形態１に係る撮像装置１の制御部１２に換えて、制御部１２ｂを備える。
【０１４１】
制御部１２ｂは、撮像装置１ｂを構成する各部を統括的に制御する。制御部１２ｂは、ＣＰＵ、ＦＰＧＡおよびＡＳＩＣ等の汎用プロセッサを用いて構成される。制御部１２ｂは、上述した実施の形態１に係る制御部１２の構成に加えて、第２判定部１３０と、第３判定部１３１と、生成部１３２と、をさらに備える。
【０１４２】
第２判定部１３０は、時間的に前後する画像データに基づいて、撮像部２の撮像領域が変化したか否かを判定する。
【０１４３】
第３判定部１３１は、最新画像の撮像領域と合成画像の撮像領域とが重なるか否かを判定する。
【０１４４】
生成部１３２は、第３判定部１３１によって最新画像の撮像領域と合成画像の撮像領域とが重ならないと判定された場合、最新画像の撮像領域と合成画像の撮像領域との間の領域を補間する補間画像を生成する。
【０１４５】
〔取捨選択モード処理〕
次に、撮像装置１ｂが実行する取捨選択モード処理について説明する。図１９は、撮像装置１ｂが実行する取捨選択モード処理の概要を示すフローチャートである。図２０は、ユーザが撮像装置１ｂを用いて所定の方向へ移動している被写体Ｏ１を追尾しながら撮影する状況下を示す図である。なお、以下においては、図２０に示す状況下において撮像装置１ｂが取捨選択モード処理を実行する場合について説明する。
【０１４６】
図１９に示すように、まず、制御部１２ｂは、操作部８またはタッチパネル７から撮影を指示する指示信号が入力されたか否かを判断する（ステップＳ９０１）。制御部１２ｂが操作部８またはタッチパネル７から撮影を指示する指示信号が入力されたと判断した場合（ステップＳ９０１：Ｙｅｓ）、撮像装置１ｂは、後述するステップＳ９０２へ移行する。これに対して、制御部１２ｂが操作部８またはタッチパネル７から撮影を指示する指示信号が入力されていないと判断した場合（ステップＳ９０１：Ｎｏ）、撮像装置１ｂは、上述した図２のメインルーチンへ戻る。
【０１４７】
ステップＳ９０２において、記録制御部１２８は、撮像部２が生成した画像データを仮記録部９に順次記録させる。
【０１４８】
続いて、表示制御部１２６は、仮記録部９に記録された複数の画像データを表示部６にスローモーションで表示させる（ステップＳ９０３）。
【０１４９】
その後、仮記録部９に記録された複数の画像データにおいて合成するフレームがある場合（ステップＳ９０４：Ｙｅｓ）、第２判定部１３０は、時間的に前後する２つのフレームを比較する（ステップＳ９０５）。具体的には、第２判定部１３０は、時間的に前後する２つのフレームを比較することによって、撮像部２の撮像領域が変化しているか否かを判定する。
【０１５０】
続いて、合成部１２５は、第２判定部１３０の判定結果に応じて、時間的に前後する２つのフレームにおいて周辺部同士で一致する部分を重ねて合成画像データを生成する（ステップＳ９０６）。例えば、図２１に示すように、合成部１２５は、時間的に前後する複数のフレームＦ１〜Ｆ３の画像データに対応する画像において周辺部同士で一致する部分を重ねて合成画像データを生成する。この場合において、合成部１２５は、図２２に示すように、所定の大きさを有する画像Ｐ６０の所定位値を原点Ｑ１（０．０）としたとき、各フレームＦ１〜Ｆ３の各々を重ねた部分の座標Ｑ２〜Ｑ３（画素座標）を算出する。なお、図２２においては、画像Ｐ６０の水平方向をＸとし、垂直方向をＹとする。
【０１５１】
その後、記録制御部１２８は、合成部１２５が生成した合成画像データを仮記録部９に仮記録する（ステップＳ９０７）。
【０１５２】
続いて、操作部８またはタッチパネル７を介して撮影を終了する指示信号が入力された場合（ステップＳ９０８：Ｙｅｓ）、撮像装置１ｂは、後述するステップＳ９０９へ移行する。これに対して、操作部８またはタッチパネル７を介して撮影を終了する指示信号が入力されていない場合（ステップＳ９０８：Ｎｏ）、撮像装置１ｂは、上述したステップＳ９０４へ戻る。
【０１５３】
ステップＳ９０９において、表示制御部１２６は、仮記録部９に仮記録された合成画像データに対応する合成画像を表示部６に表示させる。
【０１５４】
その後、操作部８またはタッチパネル７を介して表示部６が表示する合成画像を構成する各フレームの画像データに対して、取捨選択を行う取捨選択操作が行われた場合（ステップＳ９１０：Ｙｅｓ）、合成部１２５は、操作部８またはタッチパネル７を介して行われた取捨選択操作に応じたフレームの画像データを、合成画像から削除する（ステップＳ９１１）。ステップＳ９１０の後、撮像装置１ｂは、後述するステップＳ９１２へ移行する。
【０１５５】
ステップＳ９１０において、操作部８またはタッチパネル７を介して表示部６が表示する合成画像を構成する各フレームの画像データに対して、取捨選択を行う取捨選択操作が行われていない場合（ステップＳ９１０：Ｎｏ）、撮像装置１ｂは、後述するステップＳ９１２へ移行する。
【０１５６】
続いて、操作部８またはタッチパネル７を介して表示部６が表示する合成画像に対して、背景を追加する背景追加撮影を指示する指示信号が入力された場合（ステップＳ９１２：Ｙｅｓ）、撮像制御部１２７は、撮像部２に撮影を実行させる（ステップＳ９１３）。
【０１５７】
その後、合成部１２５は、撮像部２が生成した画像データを、合成画像データに追加して合成する（ステップＳ９１４）。この場合、第３判定部１３１は、撮像部２が生成した最新画像の撮像領域と合成画像の撮像領域とが重なるか否かを判定し、生成部１３２は、第３判定部１３１によって撮像部２が生成した最新画像の撮像領域と合成画像の撮像領域とが重ならないと判定された場合、撮像部２が生成した画像データを用いて最新画像の撮像領域と合成画像の撮像領域との領域を補間する補間画像を生成し、合成部１２５は、生成部１３２が生成した補間画像を用いて最新画像と合成画像の重ならない領域を補間した合成画像データを生成する。例えば、図２３に示すように、合成部１２５は、第３判定部１３１によって合成画像Ｐ６１に含まれるフレームＦ１の画像の撮像領域とフレームＦ３の画像の撮像領域とが重ならないと判定された場合、図２４に示すように、生成部１３２が画像データを用いて生成した補間画像Ｆ１０を合成することによって合成画像Ｐ６２を生成する。これにより、撮像領域が途切れることなく自然な合成画像を得ることができる。
【０１５８】
続いて、表示制御部１２６は、合成部１２５が追加した合成画像データに対応する合成画像を表示部６に表示させる（ステップＳ９１５）。
【０１５９】
その後、操作部８またはタッチパネル７を介して終了する指示信号が入力された場合（ステップＳ９１６：Ｙｅｓ）、記録制御部１２８は、合成部１２５が生成した合成画像データを画像データ記録部１０２に記録する（ステップＳ９１７）。この場合、記録制御部１２８は、図２５に示すように、合成部１２５が生成した合成画像データｄ１と、合成画像データを生成時の撮像装置１ｂの撮影パラメータｄ２、撮像装置１ｂの撮影場所ｄ３、合成画像データを生成時の時間ｄ４および各フレームの画像データを合成した合成位置の座標を含む合成時情報ｄ５を対応付けた画像ファイルＤ１を画像データ記録部１０２に記録する。ステップＳ９１７の後、撮像装置１ｂは、図２のメインルーチンへ戻る。
【０１６０】
ステップＳ９１２において、操作部８またはタッチパネル７を介して表示部６が表示する合成画像に対して、背景を追加する背景追加撮影を指示する指示信号が入力されていない場合（ステップＳ９１２：Ｎｏ）、撮像装置１ｂは、ステップＳ９１５へ移行する。
【０１６１】
ステップＳ９１６において、操作部８またはタッチパネル７を介して終了する指示信号が入力されていない場合（ステップＳ９１６：Ｎｏ）、撮像装置１ｂは、上述したステップＳ９０９へ戻る。
【０１６２】
以上説明した本発明の実施の形態３によれば、ユーザが所望する主被写体の位置や状態を反映した合成画像を取得することができる。
【０１６３】
また、本発明の実施の形態３によれば、合成部１２５が第２判定部１３０の判定結果に応じて、時間的に前後する２つのフレームにおいて周辺部同士で一致する部分を重ねて合成画像データを生成するので、撮像部２の撮影領域を拡大した合成画像を生成することができる。
【０１６４】
また、本発明の実施の形態３によれば、生成部１３２が第３判定部１３１によって撮像部２が生成した最新画像の撮像領域と合成画像の撮像領域とが重ならないと判定された場合、撮像部２が生成した画像データを用いて最新画像の撮像領域と合成画像の撮像領域との領域を補間する補間画像を生成し、合成部１２５が生成部１３２によって生成された補間画像を用いて最新画像と合成画像の重ならない領域を補間した合成画像データを生成するので、撮像領域が途切れることなく自然な合成画像を得ることができる。
【０１６５】
（その他の実施の形態）
また、本発明に係る撮像装置は、デジタルスチルカメラ以外にも、デジタルビデオカメラ、撮像機能を有するタブレット型携帯機器等の電子機器および内視鏡や顕微鏡で撮像された医療用、産業用分野の画像データに対応する画像を表示する表示装置等にも適用することができる。
【０１６６】
また、本発明に係る撮像装置に実行させるプログラムは、インストール可能な形式または実行可能な形式のファイルデータでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital  Versatile  Disk）、ＵＳＢ媒体、フラッシュメモリ等のコンピュータで読み取り可能な記録媒体に記録されて提供される。
【０１６７】
また、本発明に係る撮像装置に実行させるプログラムは、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。さらに、本発明に係る撮像装置に実行させるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。
【０１６８】
なお、本明細書におけるフローチャートの説明では、「まず」、「その後」、「続いて」等の表現を用いてステップ間の処理の前後関係を明示していたが、本発明を実施するために必要な処理の順序は、それらの表現によって一意的に定められるわけではない。即ち、本明細書で記載したフローチャートにおける処理の順序は、矛盾のない範囲で変更することができる。
【０１６９】
このように、本発明は、ここでは記載していない様々な実施の形態を含みうるものであり、請求の範囲によって特定される技術的思想の範囲内で種々の設計変更等を行うことが可能である。
【符号の説明】
【０１７０】
１，１ａ，１ｂ・・・撮像装置；２・・・撮像部；３・・・音声入出力部；４・・・姿勢検出部；５・・・時計；６・・・表示部；７・・・タッチパネル；８・・・操作部；９・・・仮記録部；１０・・・記録部；１１・・・通信部；１２，１２ａ，１２ｂ・・・制御部；１０１・・・プログラム記録部；１０２・・・画像データ記録部；１２１・・・フレームレート変更部；１２２・・・検出部；１２３・・・第１判定部；１２４・・・抽出部；１２５・・・合成部；１２６・・・表示制御部；１２７・・・撮像制御部；１２８・・・記録制御部；１２９・・・算出部；１３０・・・第２判定部；１３１・・・第３判定部；１３２・・・生成部
【図１】
2018148272.tif 000003
【図２】
2018148272.tif 000004
【図３】
2018148272.tif 000005
【図４】
2018148272.tif 000006
【図５】
2018148272.tif 000007
【図６】
2018148272.tif 000008
【図７】
2018148272.tif 000009
【図８】
2018148272.tif 000010
【図９】
2018148272.tif 000011
【図１０】
2018148272.tif 000012
【図１１】
2018148272.tif 000013
【図１２Ａ】
2018148272.tif 000014
【図１２Ｂ】
2018148272.tif 000015
【図１２Ｃ】
2018148272.tif 000016
【図１２Ｄ】
2018148272.tif 000017
【図１２Ｅ】
2018148272.tif 000018
【図１３Ａ】
2018148272.tif 000019
【図１３Ｂ】
2018148272.tif 000020
【図１３Ｃ】
2018148272.tif 000021
【図１３Ｄ】
2018148272.tif 000022
【図１４】
2018148272.tif 000023
【図１５】
2018148272.tif 000024
【図１６】
2018148272.tif 000025
【図１７Ａ】
2018148272.tif 000026
【図１７Ｂ】
2018148272.tif 000027
【図１７Ｃ】
2018148272.tif 000028
【図１７Ｄ】
2018148272.tif 000029
【図１７Ｅ】
2018148272.tif 000030
【図１８】
2018148272.tif 000031
【図１９】
2018148272.tif 000032
【図２０】
2018148272.tif 000033
【図２１】
2018148272.tif 000034
【図２２】
2018148272.tif 000035
【図２３】
2018148272.tif 000036
【図２４】
2018148272.tif 000037
【図２５】
2018148272.tif 000038