(57)【要約】【課題】被写体画像との合成用の背景画像の生成を適正に行う。【解決手段】撮像装置１００であって、背景内に動く被写体が存在する背景生成用画像を連続して撮像する電子撮像部２及び撮像制御部３と、電子撮像部により撮像される画角内で被写体画像の位置を指定する選択決定ボタン１２ｂと、電子撮像部により連続して撮像された複数の背景生成用画像のうち、所定枚数の背景生成用画像に基づいて、背景内から動く被写体を消去して被写体画像との合成用の背景画像を生成する背景生成部８ｄと、を備えている。【選択図】図１
2011041041.tif 000002
【特許請求の範囲】
【請求項１】
背景内に動く被写体が存在する背景用画像を連続して撮像する撮像手段と、
この撮像手段により撮像される画角内で被写体画像の位置を指定する位置指定手段と、
前記撮像手段により連続して撮像された複数の前記背景用画像のうち、所定枚数の背景用画像に基づいて、前記背景内から動く被写体を消去して前記被写体画像との合成用の背景画像を生成する背景生成手段と、
を備えることを特徴とする撮像装置。
【請求項２】
前記背景生成手段により生成された前記背景画像と前記被写体画像とを合成する合成手段を更に備えることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記合成手段は、
前記位置指定手段により指定された位置を基準として、前記背景画像と前記被写体画像を合成することを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記被写体画像の寸法を指定する寸法指定手段を更に備えることを特徴とする請求項１〜３の何れか一項に記載の撮像装置。
【請求項５】
前記撮像手段により撮像された被写体存在画像から被写体が含まれる領域を抽出して前記被写体画像を生成する被写体生成手段を更に備えることを特徴とする請求項１〜４の何れか一項に記載の撮像装置。
【請求項６】
前記背景生成手段は、
前記撮像手段により撮像された三以上の奇数枚の背景用画像に基づいて、前記背景画像を生成することを特徴とする請求項１〜５の何れか一項に記載の撮像装置。
【請求項７】
前記背景生成手段は、
前記三以上の奇数枚の背景用画像における各同一座標の複数の画素値の中央値若しくは平均値に基づいて、前記背景画像を生成することを特徴とする請求項６に記載の撮像装置。
【請求項８】
前記撮像手段による背景用画像の撮像指示を入力する入力手段を更に備え、
前記撮像手段は、
前記入力手段により撮像指示が入力されている間、前記三以上の奇数枚の背景用画像に続けて新たに所定の偶数枚の背景用画像を順次撮像し、
前記背景生成手段は、
前記撮像手段により前記所定の偶数枚の背景用画像が新たに撮像される毎に、当該所定の偶数枚の背景用画像と前記三以上の奇数枚の背景用画像とに基づいて、前記背景画像を順次生成することを特徴とする請求項１〜７の何れか一項に記載の撮像装置。
【請求項９】
前記背景生成手段は、
前記三以上の奇数枚の背景用画像に基づいて背景画像を生成し、且つ、前記撮像手段により前記所定の偶数枚の背景用画像が新たに撮像される毎に、撮像済みの全ての背景用画像に基づいて、新たな背景画像を順次生成することを特徴とする請求項８に記載の撮像装置。
【請求項１０】
前記背景生成手段は、
前記三以上の奇数枚の背景用画像に基づいて背景画像を生成し、且つ、前記撮像手段により前記所定の偶数枚の背景用画像が新たに撮像される毎に、当該所定の偶数枚の背景用画像と生成済みの直近の背景画像とに基づいて、新たな背景画像を順次生成することを特徴とする請求項８に記載の撮像装置。
【請求項１１】
前記背景生成手段は、
前記背景画像の生成に係る前記背景用画像の全枚数が所定枚数に達したか否かを判定し、前記所定枚数に達した後は、全体として奇数枚若しくは偶数枚の前記背景用画像に基づいて、前記背景画像を生成することを特徴とする請求項１〜１０の何れか一項に記載の撮像装置。
【請求項１２】
背景内に動く被写体が存在する背景用画像を連続して撮像する撮像手段を備える撮像装置に、
前記撮像手段により撮像される画角内で被写体画像の位置を指定する位置指定ステップと、
前記撮像手段により連続して撮像された複数の前記背景用画像のうち、所定枚数の背景用画像に基づいて、前記背景内から動く被写体を消去して前記被写体画像との合成用の背景画像を生成する背景生成ステップと、
を実行させることを特徴とする撮像方法。
【請求項１３】
背景内に動く被写体が存在する背景用画像を連続して撮像する撮像手段を備える撮像装置のコンピュータを、
前記撮像手段により撮像される画角内で被写体画像の位置を指定する位置指定手段、
前記撮像手段により連続して撮像された複数の前記背景用画像のうち、所定枚数の背景用画像に基づいて、前記背景内から動く被写体を消去して前記被写体画像との合成用の背景画像を生成する背景生成手段、
として機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、撮像方法及びプログラムに関する。
【背景技術】
【０００２】
従来、連写撮影された画像から動いている被写体を消去して動かない被写体からなる画像を生成する技術が知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−２７８３８６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、上記特許文献１の場合、雑踏の中でも止まっている背景のみの画像を生成することできるが、被写体として人を撮影する場合、その人が連写中に動いてしまうと、動いた部分だけが消えてしまうといった問題があった。
【０００５】
そこで、本発明の課題は、被写体画像との合成用の背景画像の生成を適正に行うことができる撮像装置、撮像方法及びプログラムを提供することである。
【課題を解決するための手段】
【０００６】
上記課題を解決するため、請求項１に記載の発明の撮像装置は、
背景内に動く被写体が存在する背景用画像を連続して撮像する撮像手段と、この撮像手段により撮像される画角内で被写体画像の位置を指定する位置指定手段と、前記撮像手段により連続して撮像された複数の前記背景用画像のうち、所定枚数の背景用画像に基づいて、前記背景内から動く被写体を消去して前記被写体画像との合成用の背景画像を生成する背景生成手段と、を備えることを特徴としている。
【０００７】
請求項２に記載の発明は、請求項１に記載の撮像装置において、
前記背景生成手段により生成された前記背景画像と前記被写体画像とを合成する合成手段を更に備えることを特徴としている。
【０００８】
請求項３に記載の発明は、請求項２に記載の撮像装置において、
前記合成手段は、前記位置指定手段により指定された位置を基準として、前記背景画像と前記被写体画像を合成することを特徴としている。
【０００９】
請求項４に記載の発明は、請求項１〜３の何れか一項に記載の撮像装置において、
前記被写体画像の寸法を指定する寸法指定手段を更に備えることを特徴としている。
【００１０】
請求項５に記載の発明は、請求項１〜４の何れか一項に記載の撮像装置において、
前記撮像手段により撮像された被写体存在画像から被写体が含まれる領域を抽出して前記被写体画像を生成する被写体生成手段を更に備えることを特徴としている。
【００１１】
請求項６に記載の発明は、請求項１〜５の何れか一項に記載の撮像装置において、
前記背景生成手段は、前記撮像手段により撮像された三以上の奇数枚の背景用画像に基づいて、前記背景画像を生成することを特徴としている。
【００１２】
請求項７に記載の発明は、請求項６に記載の撮像装置において、
前記背景生成手段は、前記三以上の奇数枚の背景用画像における各同一座標の複数の画素値の中央値若しくは平均値に基づいて、前記背景画像を生成することを特徴としている。
【００１３】
請求項８に記載の発明は、請求項１〜７の何れか一項に記載の撮像装置において、
前記撮像手段による背景用画像の撮像指示を入力する入力手段を更に備え、前記撮像手段は、前記入力手段により撮像指示が入力されている間、前記三以上の奇数枚の背景用画像に続けて新たに所定の偶数枚の背景用画像を順次撮像し、前記背景生成手段は、前記撮像手段により前記所定の偶数枚の背景用画像が新たに撮像される毎に、当該所定の偶数枚の背景用画像と前記三以上の奇数枚の背景用画像とに基づいて、前記背景画像を順次生成することを特徴としている。
【００１４】
請求項９に記載の発明は、請求項８に記載の撮像装置において、
前記背景生成手段は、前記三以上の奇数枚の背景用画像に基づいて背景画像を生成し、且つ、前記撮像手段により前記所定の偶数枚の背景用画像が新たに撮像される毎に、撮像済みの全ての背景用画像に基づいて、新たな背景画像を順次生成することを特徴としている。
【００１５】
請求項１０に記載の発明は、請求項８に記載の撮像装置において、
前記背景生成手段は、前記三以上の奇数枚の背景用画像に基づいて背景画像を生成し、且つ、前記撮像手段により前記所定の偶数枚の背景用画像が新たに撮像される毎に、当該所定の偶数枚の背景用画像と生成済みの直近の背景画像とに基づいて、新たな背景画像を順次生成することを特徴としている。
【００１６】
請求項１１に記載の発明は、請求項１〜１０の何れか一項に記載の撮像装置において、
前記背景生成手段は、前記背景画像の生成に係る前記背景用画像の全枚数が所定枚数に達したか否かを判定し、前記所定枚数に達した後は、全体として奇数枚若しくは偶数枚の前記背景用画像に基づいて、前記背景画像を生成することを特徴としている。
【００１７】
請求項１２に記載の発明の撮像方法は、
背景内に動く被写体が存在する背景用画像を連続して撮像する撮像手段を備える撮像装置に、前記撮像手段により撮像される画角内で被写体画像の位置を指定する位置指定ステップと、前記撮像手段により連続して撮像された複数の前記背景用画像のうち、所定枚数の背景用画像に基づいて、前記背景内から動く被写体を消去して前記被写体画像との合成用の背景画像を生成する背景生成ステップと、を実行させることを特徴としている。
【００１８】
請求項１３に記載の発明のプログラムは、
背景内に動く被写体が存在する背景用画像を連続して撮像する撮像手段を備える撮像装置のコンピュータを、前記撮像手段により撮像される画角内で被写体画像の位置を指定する位置指定手段、前記撮像手段により連続して撮像された複数の前記背景用画像のうち、所定枚数の背景用画像に基づいて、前記背景内から動く被写体を消去して前記被写体画像との合成用の背景画像を生成する背景生成手段、として機能させることを特徴としている。
【発明の効果】
【００１９】
本発明によれば、背景内から動く被写体が消去された背景画像の生成を適正に行うことができる。
【図面の簡単な説明】
【００２０】
【図１】本発明を適用した実施形態１の撮像装置の概略構成を示すブロック図である。
【図２】図１の撮像装置による被写体切り抜き処理に係る動作の一例を示すフローチャートである。
【図３】図２の被写体切り抜き処理の続きを示すフローチャートである。
【図４】図２の被写体切り抜き処理における領域検出処理に係る動作の一例を示すフローチャートである。
【図５】図２の被写体切り抜き処理を説明するための画像の一例を模式的に示す図である。
【図６】図２の被写体切り抜き処理を説明するための画像の一例を模式的に示す図である。
【図７】図１の撮像装置による第１合成画像生成処理に係る動作の一例を示すフローチャートである。
【図８】図７の第１合成画像生成処理における第１背景生成処理に係る動作の一例を示すフローチャートである。
【図９】図７の第１合成画像生成処理を説明するための画像の一例を模式的に示す図である。
【図１０】本発明を適用した実施形態２の撮像装置による第２合成画像生成処理に係る動作の一例を示すフローチャートである。
【図１１】図１０の第２合成画像生成処理における第２背景生成処理に係る動作の一例を示すフローチャートである。
【図１２】変形例１の第２背景生成処理に係る動作の一例を示すフローチャートである。
【発明を実施するための形態】
【００２１】
以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。
【００２２】
［実施形態１］
実施形態１の撮像装置１００は、背景内に動く被写体が存在する背景生成用画像Ｐ５（図９（ａ）参照）の撮像の際に、背景画像Ｐ６（図９（ｃ）参照）と合成される被写体画像Ａ（図９（ａ）参照）の合成位置を画角内で指定し、連続して撮像された三以上の固定奇数枚の背景生成用画像Ｐ５に基づいて、背景内から動く被写体を消去して背景画像Ｐ６を生成する。
【００２３】
図１は、本発明を適用した実施形態１の撮像装置１００の概略構成を示すブロック図である。
図１に示すように、撮像装置１００は、レンズ部１と、電子撮像部２と、撮像制御部３と、画像データ生成部４と、画像メモリ５と、特徴量演算部６と、ブロックマッチング部７と、画像処理部８と、記録媒体９と、表示制御部１０と、表示部１１と、操作入力部１２と、ＣＰＵ１３とを備えている。
また、撮像制御部３と、特徴量演算部６と、ブロックマッチング部７と、画像処理部８と、ＣＰＵ１３は、例えば、カスタムＬＳＩ１Ａとして設計されている。
【００２４】
レンズ部１は、複数のレンズから構成され、ズームレンズやフォーカスレンズ等を備えている。
また、レンズ部１は、図示は省略するが、被写体Ｓの撮像の際に、ズームレンズを光軸方向に移動させるズーム駆動部、フォーカスレンズを光軸方向に移動させる合焦駆動部等を備えていても良い。
【００２５】
電子撮像部２は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-oxide Semiconductor）等のイメージセンサから構成され、レンズ部１の各種レンズを通過した光学像を二次元の画像信号に変換する。
【００２６】
撮像制御部３は、図示は省略するが、タイミング発生器、ドライバなどを備えている。そして、撮像制御部３は、タイミング発生器、ドライバにより電子撮像部２を走査駆動して、所定周期毎に光学像を電子撮像部２により二次元の画像信号に変換させ、当該電子撮像部２の撮像領域から１画面分ずつ画像フレームを読み出して画像データ生成部４に出力させる。
また、撮影時にライブビュー画像表示を行う場合には、撮像制御部３は、電子撮像部２により被写体Ｓを所定の撮像フレームレートで連続して撮像させて、各画像フレームを電子撮像部２から画像データ生成部４に逐次出力させる。
【００２７】
このように構成されたレンズ部１、電子撮像部２及び撮像制御部３は、第１合成画像生成処理（後述）にて、背景内に動く被写体が存在する背景生成用画像Ｐ５を所定のフレームレートで連続して撮像する撮像手段を構成している。
【００２８】
また、撮像制御部３は、レンズ部１及び電子撮像部２による撮像条件の調整制御を行う。例えば、撮像制御部３は、レンズ部１を光軸方向に移動させて合焦条件を調整するＡＦ（自動合焦処理）や、露出条件（シャッター速度、絞り、増幅率等）を調整するＡＥ（自動露出処理）や、ホワイトバランスを調整するＡＷＢ（自動ホワイトバランス）等を行う。
【００２９】
画像データ生成部４は、電子撮像部２から転送された画像フレームのアナログ値の信号に対してＲＧＢの各色成分毎に適宜ゲイン調整した後に、サンプルホールド回路（図示略）でサンプルホールドしてＡ／Ｄ変換器（図示略）でデジタルデータに変換し、カラープロセス回路（図示略）で画素補間処理及びγ補正処理を含むカラープロセス処理を行った後、デジタル値の輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒ（ＹＵＶデータ）を生成する。
カラープロセス回路から出力される輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒは、図示しないＤＭＡコントローラを介して、バッファメモリとして使用される画像メモリ５にＤＭＡ転送される。
【００３０】
なお、Ａ／Ｄ変換後のデジタルデータを現像するデモザイク部（図示略）が、カスタムＬＳＩ１Ａに実装されていても良い。
【００３１】
画像メモリ５は、例えば、ＤＲＡＭ等により構成され、特徴量演算部６と、ブロックマッチング部７と、画像処理部８と、ＣＰＵ１３等によって処理されるデータ等を一時記憶する。
【００３２】
特徴量演算部６は、被写体非存在画像Ｐ２や背景生成用画像Ｐ５の画像フレームから特徴点を抽出する特徴抽出処理を行う。
具体的には、特徴量演算部６は、被写体非存在画像Ｐ２や背景生成用画像Ｐ５のＹＵＶデータに基づいて、高周波成分の多い特徴の高いブロック領域（例えば、１６×１６画素の正方形）を特徴点として抽出する。
【００３３】
ブロックマッチング部７は、被写体非存在画像Ｐ２と被写体存在画像Ｐ１との位置合わせのためのブロックマッチング処理を行う。
ブロックマッチング部７は、例えば、被写体非存在画像Ｐ２を基準画像とするとともに、被写体存在画像Ｐ１を対象画像として位置合わせを行う。具体的には、ブロックマッチング部７は、特徴抽出処理にて抽出されたテンプレート（例えば、１６×１６画素の正方形）が被写体存在画像Ｐ１内のどこに対応するか、つまり、被写体存在画像Ｐ１内にてテンプレートの画素値が最適にマッチする位置（対応領域）を探索する。そして、画素値の相違度の評価値（例えば、差分二乗和（ＳＳＤ）や差分絶対値和（ＳＡＤ）等）が最も良かった被写体非存在画像Ｐ２と被写体存在画像Ｐ１間の最適なオフセットを当該テンプレートの動きベクトルとして算出する。
【００３４】
また、ブロックマッチング部７は、背景生成用画像Ｐ５どうしの位置合わせのためのブロックマッチング処理を行う。即ち、ブロックマッチング部７は、連写された複数の背景生成用画像Ｐ５のうち、何れか一の背景生成用画像Ｐ５を基準画像とするとともに、当該基準画像とされた背景生成用画像Ｐ５と異なる背景生成用画像Ｐ５を対象画像として位置合わせを行う。
なお、このブロックマッチング処理の具体的な内容は、上記と同様であり、その詳細な説明は省略する。
【００３５】
また、画像処理部８は、被写体存在画像Ｐ１と被写体非存在画像Ｐ２との位置合わせを行う位置合わせ部８ａを具備している。
位置合わせ部８ａは、被写体非存在画像Ｐ２から抽出した特徴点に基づいて、被写体存在画像Ｐ１と被写体非存在画像Ｐ２との位置合わせを行う。即ち、位置合わせ部８ａは、被写体非存在画像Ｐ２から抽出した特徴点に基づいて、被写体非存在画像Ｐ２に対する被写体存在画像Ｐ１の各画素の座標変換式（射影変換行列）を算出し、当該座標変換式に従って被写体存在画像Ｐ１を座標変換して被写体非存在画像Ｐ２と位置合わせを行う。
具体的には、位置合わせ部８ａは、ブロックマッチング部７により算出された複数のテンプレートの動きベクトルを多数決により演算して、統計的に所定％（例えば、５０％）以上となると判断された動きベクトルを全体の動きベクトルとして、当該動きベクトルに係る特徴点対応を用いて被写体存在画像Ｐ１の射影変換行列を算出する。そして、位置合わせ部８ａは、射影変換行列に従って被写体存在画像Ｐ１を座標変換して被写体非存在画像Ｐ２と位置合わせを行う。
【００３６】
また、位置合わせ部８ａは、連写された複数の背景生成用画像Ｐ５どうしの位置合わせを行う。即ち、位置合わせ部８ａは、複数の背景生成用画像Ｐ５のうち、何れか一の背景生成用画像Ｐ５から抽出した特徴点に基づいて、当該背景生成用画像Ｐ５以外の背景生成用画像Ｐ５との位置合わせを行う。
なお、この位置合わせの具体的な内容は、上記と同様であり、その詳細な説明は省略する。
【００３７】
また、画像処理部８は、被写体存在画像Ｐ１から被写体領域を抽出するためのマスク画像Ｍを生成するマスク生成部８ｂを具備している。
マスク生成部８ｂは、被写体非存在画像Ｐ２と被写体存在画像Ｐ１との対応する各画素の相違度Ｄを下記式（１）若しくは（２）に従って算出して相違度マップを生成する。そして、マスク生成部８ｂは、生成した相違度マップを所定の閾値で二値化（０、２５５）してマスク画像Ｍを生成する。
【数１】
2011041041.tif 000003
なお、上記式にあっては、被写体非存在画像Ｐ２のＹＵＶデータを「Y」、「U」、「V」で表し、被写体存在画像Ｐ１のＹＵＶデータを「Yc」、「Uc」、「Vc」で表す。また、Ｇは、色差信号U、Vのゲインを表している。
また、上記した相違度Ｄの算出式（１）、（２）は、一例であってこれらに限られるものではない。
【００３８】
また、マスク生成部８ｂは、細かいノイズを除去するための収縮処理を行って所定値よりも小さい画素集合を除いた後、収縮分を修正するための膨張処理を行い、その後、同じ連結成分を構成する画素集合に同じ番号を付けるラベリング処理により、有効領域の構成画素数における所定の比率以下の領域を有効領域に置き換えることで穴埋めも行う。さらに、マスク生成部８ｂは、領域情報に対して平均化フィルタをかけて領域の縁部に合成階調をつける。
【００３９】
また、画像処理部８は、被写体Ｓの画像を所定の単一色背景画像Ｐ３（図６（ｂ）参照）と合成して被写体切り抜き画像Ｐ４（図６（ｂ）参照）の画像データを生成する切抜画像生成部８ｃを具備している。
切抜画像生成部８ｃは、マスク生成部８ｂにより生成されたマスク画像Ｍを用いて被写体存在画像Ｐ１から被写体領域を切り出して、単一色背景画像Ｐ３と合成して被写体切り抜き画像Ｐ４の画像データを生成する。なお、マスク画像Ｍの縁部分には、合成階調がつけられているため、切り出された被写体領域と単一色背景画像Ｐ３との境界部分がはっきりしていない自然な感じに合成することができる。
ここで、切抜画像生成部８ｃは、被写体非存在画像Ｐ２と被写体存在画像Ｐ１の対応する各画素の差分情報に基づいて、被写体存在画像Ｐ１から被写体Ｓが含まれる領域を抽出して被写体画像Ａを生成する被写体生成手段を構成している。
【００４０】
また、画像処理部８は、連写された三以上の固定奇数枚（例えば、５枚）の背景生成用画像Ｐ５に基づいて、背景内から動く被写体を消去して背景画像Ｐ６を生成する背景生成部８ｄを具備している。
背景生成部８ｄは、三以上の奇数枚の背景生成用画像Ｐ５における各同一座標の複数の画素値の中央値に基づいて、背景画像Ｐ６を生成する。具体的には、背景生成部８ｄは、先ず、処理対象となる座標（x,y）毎に、三以上の固定奇数枚の背景生成用画像（画像フレーム）Ｐ５から同一座標（x,y）の各画素値を取得していき、下記式（３）に従って各画像フレーム毎に格納する。
【数２】
2011041041.tif 000004
なお、上記式において、「n」は自然数であり、「f(n,x,y)」はn番目のフレームの画像の座標(x,y)における画素値であり、「table［n］」はフレームnの画素値を格納する配列である。
【００４１】
次に、背景生成部８ｄは、取得した複数の画像値f（n,x,y）を下記式（４）に従って画素値順に並べ替える。
【数３】
2011041041.tif 000005
なお、上記式において、「sort」はtable［n］のソート関数である。
そして、背景生成部８ｄは、値が複数の画素値の中央となる中央値fb(x,y)を下記式（５）に従って演算して、背景画像Ｐ６の当該画素における画素値として特定する。
【数４】
2011041041.tif 000006
なお、上記式において、「fb(x,y)」は座標(x,y)における全ての画像フレームの画素値の中央値（＝背景座標の画素値）である。
【００４２】
例えば、図９（ａ）、図９（ｂ）に示すように、被写体画像Ａとの合成用の背景画像Ｐ６を静止体である「建物」を含む画像とする場合、当該建物の手前側には、複数の通行人が動く被写体として存在している。この場合、連写された三以上の奇数枚の背景生成用画像Ｐ５において、静止体（例えば、「建物」）と重なる座標上では、静止体画像の画素値の数は、動く被写体である「通行人」の画像の画素値の数よりも多くなる。そこで、三以上の奇数数の背景生成用画像Ｐ５の各座標の画素値f（n,x,y）を昇順（又は、降順）に並べ替えると、並べ替えられた画素値f（n,x,y）の中央値は、静止体画像の画素値となる可能性が高くなる。
背景生成部８ｄは、これらの処理を全ての座標（x,y）の画素について行うことで、背景内から動く被写体「通行人」が消去された静止体からなる背景画像Ｐ６（例えば、「建物」を主要被写体とする画像）を生成する。
なお、背景生成用画像Ｐ５の固定枚数は、例えば、人通りや風景や夜景等の撮影環境や、ズーム倍率やぶれ補正の有無等の撮影条件等に応じて適宜任意に変更することができる。
【００４３】
ここで、背景生成部８ｄは、レンズ部１、電子撮像部２及び撮像制御部３により連続して撮像された複数の背景生成用画像Ｐ５のうち、所定枚数の背景生成用画像Ｐ５に基づいて、背景内から動く被写体を消去して被写体画像Ａとの合成用の背景画像Ｐ６を生成する背景生成手段を構成している。
【００４４】
また、画像処理部８は、背景生成部８ｄにより生成された背景画像Ｐ６と被写体切り抜き画像Ｐ４の被写体画像Ａとを合成する画像合成部８ｅを具備している。
画像合成部８ｅは、ユーザによる選択決定ボタン１２ｂの所定操作に基づいて指定された被写体切り抜き画像Ｐ４の被写体画像Ａの位置を基準として、当該被写体画像Ａと背景画像Ｐ６とを合成する。具体的には、画像合成部８ｅは、指定された被写体画像Ａの位置に応じてマスク画像Ｍをずらして配置した後、背景画像Ｐ６の各画素のうち、マスク画像Ｍの画像データの塗りつぶした部分（被写体Ｓ以外の斜線部分）で覆われる画素については、何もせずに透過させる一方で、被写体Ｓ部分の画素については、被写体切り抜き画像Ｐ４の被写体画像Ａの対応する画素の画素値で上書きする。
なお、被写体画像Ａの合成位置に応じてマスク画像Ｍをずらして配置した状態で、背景画像Ｐ６とマスク画像Ｍとがずれてしまいマスク画像Ｍの画像データの塗りつぶした部分（被写体Ｓ以外の斜線部分）の範囲外となる領域については、塗りつぶした部分を拡大してマスク画像Ｍにより被覆されない領域を生じさせないようにする。
ここで、画像合成部８ｅは、背景生成部８ｄにより生成された背景画像Ｐ６と被写体画像Ａとを合成する合成手段を構成している。
【００４５】
記録媒体９は、例えば、不揮発性メモリ（フラッシュメモリ）等により構成され、画像処理部８のＪＰＥＧ圧縮部（図示略）により符号化された撮像画像の記録用の画像データを記憶する。
また、記録媒体９は、画像処理部８のマスク生成部８ｂにより生成されたマスク画像Ｍと、被写体切り抜き画像Ｐ４の画像データをそれぞれ圧縮した上で対応付けて、当該被写体切り抜き画像Ｐ４の画像データの拡張子を「.jpe」として保存する。
【００４６】
表示制御部１０は、画像メモリ５に一時的に記憶されている表示用画像データを読み出して表示部１１に表示させる制御を行う。
具体的には、表示制御部１０は、ＶＲＡＭ、ＶＲＡＭコントローラ、デジタルビデオエンコーダなどを備えている。そして、デジタルビデオエンコーダは、ＣＰＵ１３の制御下にて画像メモリ５から読み出されてＶＲＡＭ（図示略）に記憶されている輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒを、ＶＲＡＭコントローラを介してＶＲＡＭから定期的に読み出して、これらのデータを元にビデオ信号を発生して表示部１１に出力する。
【００４７】
表示部１１は、例えば、液晶表示装置であり、表示制御部１０からのビデオ信号に基づいて電子撮像部２により撮像された画像などを表示画面に表示する。具体的には、表示部１１は、撮像モードにて、レンズ部１及び電子撮像部２による被写体の撮像により生成された複数の画像フレームに基づいてライブビュー画像を表示したり、本撮像画像として撮像されたレックビュー画像を表示する。
【００４８】
操作入力部１２は、当該撮像装置１００の所定操作を行うためのものである。具体的には、操作入力部１２は、被写体の撮影指示に係るシャッタボタン１２ａ、メニュー画面にて撮像モードや機能等の選択指示に係る選択決定ボタン１２ｂ、ズーム量の調整指示に係るズームボタン（図示略）等を備えている。
そして、ユーザにより操作入力部１２の所定のボタンが操作されると、当該ボタンに対応する制御指示をＣＰＵ１３に出力する。ＣＰＵ１３は、制御指示が入力されると、操作されたボタンに応じて各部を制御する処理を行う。
【００４９】
また、選択決定ボタン１２ｂは、ユーザによる所定操作に基づいて画角内で被写体画像Ａの合成位置が指定されると、当該合成位置の指定指示をＣＰＵ１３に出力する。具体的には、背景生成用画像Ｐ５のライブビュー画像が表示部１１に表示された状態で、ユーザによる選択決定ボタン１２ｂの所定操作に基づいて被写体画像Ａの合成位置（例えば、中心座標）が調整されて指定されると、選択決定ボタン１２ｂは、当該被写体画像Ａの中心座標を合成位置とする指定指示をＣＰＵ１３に出力する。
ＣＰＵ１３は、選択決定ボタン１２ｂから出力された合成位置の指定指示の入力に基づいて、被写体画像Ａの合成位置を指定する。
ここで、選択決定ボタン１２ｂ及びＣＰＵ１３は、画角内で被写体画像Ａの位置を指定する位置指定手段を構成している。
【００５０】
また、選択決定ボタン１２ｂは、寸法指定手段として、ユーザによる所定操作に基づいて被写体画像Ａの大きさ（寸法）が指定されると、当該大きさの指定指示をＣＰＵ１３に出力する。具体的には、背景生成用画像Ｐ５のライブビュー画像が表示部１１に表示された状態で、ユーザによる選択決定ボタン１２ｂの所定操作に基づいて被写体画像Ａの大きさ（例えば、拡大縮小倍率）が調整されて指定されると、選択決定ボタン１２ｂは、当該被写体画像Ａの拡大縮小倍率の指定指示をＣＰＵ１３に出力する。
ＣＰＵ１３は、選択決定ボタン１２ｂから出力された大きさの指定指示の入力に基づいて、被写体画像Ａの大きさを指定する。
ここで、選択決定ボタン１２ｂ及びＣＰＵ１３は、被写体画像Ａの寸法を指定する寸法指定手段を構成している。
【００５１】
ＣＰＵ１３は、撮像装置１００の各部を制御するものである。具体的には、ＣＰＵ１３は、撮像装置１００用の各種処理プログラム（図示略）に従って各種の制御動作を行うものである。
【００５２】
次に、撮像装置１００による被写体切り抜き処理について、図２〜図６を参照して説明する。
図２及び図３は、被写体切り抜き処理に係る動作の一例を示すフローチャートである。
【００５３】
被写体切り抜き処理は、ユーザによる選択決定ボタン１２ｂの所定操作に基づいて、メニュー画面に表示された複数の撮像モードの中から被写体切り抜きモードが選択指示された場合に、ＣＰＵ１３によって制御される当該撮像装置１００の各部により実行される処理である。
図２に示すように、先ず、表示制御部１０は、レンズ部１、電子撮像部２及び撮像制御部３による被写体Ｓの撮像により順次生成された複数の画像フレームに基づいてライブビュー画像を表示部１１の表示画面に表示させるとともに、当該ライブビュー画像に重畳させて、被写体撮像指示メッセージ（例えば、「被写体を撮影して下さい」等）を表示部１１の表示画面に表示させる（ステップＳ１；図５（ａ）参照）。
【００５４】
そして、表示制御部１０は、レンズ部１、電子撮像部２及び撮像制御部３による被写体Ｓの撮像によって順次生成された複数の画像フレームに基づいてライブビュー画像を更新させる制御を行う（ステップＳ２）。
続けて、ＣＰＵ１３は、ユーザによるシャッタボタン１２ａの所定操作に基づいて撮像指示が入力されたか否かを判定する（ステップＳ３）。
ここで、撮像指示が入力されていないと判定されると（ステップＳ３；ＮＯ）、ＣＰＵ１３は、処理をステップＳ２に移行して、それ以降の処理を実行する。
【００５５】
ＣＰＵ１３は、上記の処理を、ステップＳ３にて撮像指示が入力されたと判定されるまで（ステップＳ３；ＹＥＳ）、繰り返す。
そして、ステップＳ３にて、撮像指示が入力されたと判定されると（ステップＳ３；ＹＥＳ）、撮像制御部３は、フォーカスレンズの合焦位置や露出条件（シャッター速度、絞り、増幅率等）やホワイトバランス等の条件を調整して、被写体存在画像Ｐ１（図５（ａ）参照）の光学像を電子撮像部２により撮像させる（ステップＳ４）。画像データ生成部４は、電子撮像部２から転送された被写体存在画像Ｐ１の画像フレームのＹＵＶデータを生成して、画像メモリ５に一時記憶する。
また、撮像制御部３は、当該被写体存在画像Ｐ１の撮像の際の合焦位置や露出条件やホワイトバランス等の条件を固定した状態を維持する。
【００５６】
次に、表示制御部１０は、レンズ部１、電子撮像部２及び撮像制御部３による被写体Ｓの撮像により順次生成された複数の画像フレームに基づいてライブビュー画像を表示部１１の表示画面に表示させるとともに、当該ライブビュー画像に重畳させて、被写体存在画像Ｐ１の半透過の表示態様の画像と被写体非存在画像Ｐ２の撮像指示メッセージ（例えば、「背景を撮影してください」等）を表示部１１の表示画面に表示させる（ステップＳ５；図５（ｂ）参照）。
【００５７】
そして、表示制御部１０は、レンズ部１、電子撮像部２及び撮像制御部３による被写体Ｓの撮像によって順次生成された複数の画像フレームに基づいてライブビュー画像を更新させる制御を行う（ステップＳ６）。
続けて、ＣＰＵ１３は、ユーザによるシャッタボタン１２ａの所定操作に基づいて撮像指示が入力されたか否かを判定する（ステップＳ７）。
ここで、撮像指示が入力されていないと判定されると（ステップＳ７；ＮＯ）、ＣＰＵ１３は、処理をステップＳ６に移行して、それ以降の処理を実行する。
【００５８】
ＣＰＵ１３は、上記の処理を、ステップＳ７にて撮像指示が入力されたと判定されるまで（ステップＳ７；ＹＥＳ）、繰り返す。
そして、ユーザは、被写体Ｓを画角外に移動させるか、或いは被写体Ｓが移動するのを待った後（図５（ｂ）参照）、ユーザにより被写体非存在画像Ｐ２が被写体存在画像Ｐ１の半透過の画像と重なるようにカメラ位置が調整されて、ユーザによるシャッタボタン１２ａの所定操作に基づいて撮像指示が入力されたと判定されると（ステップＳ７；ＹＥＳ）、撮像制御部３は、被写体非存在画像Ｐ２（図５（ｃ）参照）の光学像を被写体存在画像Ｐ１の撮像後に固定された条件で電子撮像部２により撮像させる（ステップＳ８）。画像データ生成部４は、電子撮像部２から転送された被写体非存在画像Ｐ２の画像フレームに基づいて、被写体非存在画像Ｐ２のＹＵＶデータを生成して、画像メモリ５に一時記憶する。
【００５９】
図３に示すように、ＣＰＵ１３は、特徴量演算部６、ブロックマッチング部７及び画像処理部８に、被写体非存在画像Ｐ２のＹＵＶデータを基準として、被写体存在画像Ｐ１のＹＵＶデータと被写体非存在画像Ｐ２のＹＵＶデータとを位置合わせする処理を行わせる（ステップＳ９）。
具体的には、特徴量演算部６は、被写体非存在画像Ｐ２のＹＵＶデータに基づいて、所定数（或いは、所定数以上)の特徴の高いブロック領域（特徴点）を選択して、当該ブロック領域の内容をテンプレートとして抽出する。そして、ブロックマッチング部７は、特徴抽出処理にて抽出されたテンプレートの画素値が最適にマッチする位置を被写体存在画像Ｐ１内にて探索して、画素値の相違度の評価値が最も良かった被写体非存在画像Ｐ２と被写体存在画像Ｐ１間の最適なオフセットを当該テンプレートの動きベクトルとして算出する。
そして、画像処理部８の位置合わせ部８ａは、ブロックマッチング部７により算出された複数のテンプレートの動きベクトルに基づいて全体の動きベクトルを統計的に算出し、当該動きベクトルに係る特徴点対応を用いて被写体存在画像Ｐ１の射影変換行列を算出した後、当該射影変換行例に基づいて被写体存在画像Ｐ１を射影変換することで、被写体存在画像Ｐ１のＹＵＶデータと被写体非存在画像Ｐ２のＹＵＶデータとを位置合わせする処理を行わせる。
【００６０】
次に、画像処理部８は、位置合わせが成功したか否かを判定する（ステップＳ１０）。即ち、画像処理部８は、ステップＳ９にて、複数のテンプレートの動きベクトルから全体の動きベクトルを統計的に算出でき、当該動きベクトルに係る特徴点対応を用いて被写体存在画像Ｐ１の射影変換行列を算出することができたか否かを判定する。
ここで、位置合わせが成功したと判定されると（ステップＳ１０；ＹＥＳ）、画像処理部８は、被写体存在画像Ｐ１から被写体Ｓが含まれる被写体領域を検出する領域検出処理を行う（ステップＳ１１）。
【００６１】
ここで、領域検出処理について図４を参照して詳細に説明する。
図４は、領域検出処理に係る動作の一例を示すフローチャートである。
図４に示すように、画像処理部８のマスク生成部８ｂは、被写体非存在画像Ｐ２と被写体存在画像Ｐ１との対応する各画素の相違度Ｄを下記式（１）若しくは（２）に従って算出し、算出された相違度Ｄに基づいて相違度マップを生成する（ステップＳ２１）。
【数５】
2011041041.tif 000007
【００６２】
次に、マスク生成部８ｂは、生成した相違度マップを所定の閾値で二値化してマスク画像Ｍを生成する（ステップＳ２２）。そして、マスク生成部８ｂは、例えば、背景（二値化；０）の領域が著しく小さいか否か等を判定することで、二値化が成功したか否かを判断する（ステップＳ２３）。
ここで、二値化に成功したと判断されると（ステップＳ２３；ＹＥＳ）、マスク生成部８ｂは、被写体領域の周辺部の残り過ぎを修正したり細かいノイズを除去するため、マスク画像Ｍ（図６（ａ）参照）の画像データに対する収縮処理を行って所定値よりも小さい画素集合を除いた後（ステップＳ２４）、収縮分を修正するための膨張処理を行う（ステップＳ２５）。
【００６３】
続けて、被写体Ｓに背景色と似たような色がある場合、マスク画像Ｍの被写体領域内が欠損するため、マスク生成部８ｂは、同じ連結成分を構成する画素集合に同じ番号を付けるラベリング処理により、マスク画像Ｍの画像データの有効領域の構成画素数における所定の比率以下の領域を有効領域に置き換えることで穴埋めを行う（ステップＳ２６）。
そして、マスク生成部８ｂは、マスク画像Ｍの画像データに対して平均化フィルタをかけて、被写体領域の縁部に合成階調をつけて（ステップＳ２７）、領域検出成功とする（ステップＳ２８）。
【００６４】
一方、ステップＳ２３にて、二値化に成功しなかったと判断されると（ステップＳ２３；ＮＯ）、例えば、背景（二値化；０）の領域が著しく小さい場合などには、マスク生成部８ｂは、二値化に失敗したとみなして領域検出失敗とする（ステップＳ２９）。
これにより、領域検出処理を終了する。
【００６５】
図３に示すように、次に、マスク生成部８ｂは、被写体領域の検出が成功したか否かを判定する（ステップＳ１２）。
ここで、被写体領域の検出が成功したと判定されると（ステップＳ１２；ＹＥＳ）、切抜画像生成部８ｃは、αブレンドを利用して、領域検出処理にて生成されたマスク画像Ｍを用いて被写体存在画像Ｐ１から被写体領域を切り出して、所定の単一色背景画像Ｐ３と合成して被写体切り抜き画像Ｐ４の画像データを生成する（ステップＳ１３）。
具体的には、切抜画像生成部８ｃは、被写体存在画像Ｐ１、単一色背景画像Ｐ３及びマスク画像Ｍの画像データを読み出して画像メモリ５に展開した後、被写体存在画像Ｐ１のうち、マスク画像Ｍの画像データの塗りつぶした部分（被写体Ｓ以外の斜線部分）で覆われる画素については、単一色背景画像Ｐ３の所定の単一色で塗りつぶす一方で、被写体Ｓ部分の画素については、何もせずに所定の単一色に対して透過させないようにする。なお、マスク画像Ｍの縁部分には、合成階調がつけられているため、切り出された被写体領域と単一色背景画像Ｐ３との境界部分がはっきりしていない自然な感じとなる。
その後、表示制御部１０は、切抜画像生成部８ｃにより生成された被写体切り抜き画像Ｐ４の画像データに基づいて、所定の単一色背景画像Ｐ３に被写体Ｓが重畳された被写体切り抜き画像Ｐ４を表示部１１の表示画面に表示させる（図６（ｂ）参照）。
【００６６】
次に、ＣＰＵ１３は、記録媒体９の所定の記憶領域に、マスク生成部８ｂにより生成されたマスク画像Ｍの画像データと被写体切り抜き画像Ｐ４の画像データを対応付けて、当該被写体切り抜き画像Ｐ４の画像データの拡張子を「.jpe」として一ファイルで保存させる（ステップＳ１４）。
これにより、被写体切り抜き処理を終了する。
【００６７】
一方、ステップＳ１２にて、被写体領域の検出が成功しなかったと判定されると（ステップＳ１２；ＮＯ）、表示制御部１０は、被写体Ｓの切り抜きの失敗に係る所定のメッセージ（例えば、「被写体の切り抜きに失敗しました」等）を表示部１１の表示画面に表示させて（ステップＳ１５）、被写体切り抜き処理を終了する。
また、ステップＳ１０にて、背景生成が成功しなかったと判定された場合にも（ステップＳ１０；ＮＯ）、ＣＰＵ１３は、処理をステップＳ１５に移行させて、表示制御部１０は、被写体Ｓの切り抜きの失敗に係る所定のメッセージを表示部１１の表示画面に表示させた後（ステップＳ１５）、被写体切り抜き処理を終了する。
【００６８】
次に、撮像装置１００による画像処理方法に係る第１合成画像生成処理について、図７〜図９を参照して説明する。
図７は、第１合成画像生成処理に係る動作の一例を示すフローチャートである。
【００６９】
第１合成画像生成処理は、ユーザによる選択決定ボタン１２ｂの所定操作に基づいて、メニュー画面に表示された複数の撮像モードの中から画像合成モードが選択指示された場合に実行される処理である。
図７に示すように、ユーザによる操作入力部１２の所定操作に基づいて、記録媒体９に記録されている複数の画像の中で所望の被写体切り抜き画像Ｐ４（図６（ｂ）参照）が選択して指定されると、画像処理部８は、指定された被写体切り抜き画像Ｐ４の画像データを読み出して画像メモリ５に展開する（ステップＳ４１）。
【００７０】
次に、表示制御部１０は、レンズ部１、電子撮像部２及び撮像制御部３による被写体の撮像により順次生成された複数の画像フレームに基づいてライブビュー画像を表示部１１の表示画面に表示させるとともに、当該ライブビュー画像に重畳させて、被写体切り抜き画像Ｐ４の被写体画像Ａの半透過の表示態様の画像を表示部１１の表示画面に表示させる（ステップＳ４２；図９（ａ）参照）。
【００７１】
そして、表示制御部１０は、レンズ部１、電子撮像部２及び撮像制御部３による被写体の撮像によって順次生成された複数の画像フレームに基づいてライブビュー画像を更新させる制御を行う（ステップＳ４３）。
続けて、ライブビュー画像が表示部１１に表示された状態で、ユーザによる選択決定ボタン１２ｂの所定操作に基づいて、被写体画像Ａの合成位置や拡大縮小倍率（大きさ）が調整され、ＣＰＵ１３は、調整された被写体画像Ａの合成位置や拡大縮小倍率を指定する（ステップＳ４４；図９（ａ）参照）。即ち、図９（ａ）、図９（ｂ）に示すように、主要被写体が「建物」である画像を背景画像Ｐ６として被写体画像Ａを合成する場合に、当該被写体画像Ａの半透過の表示態様の画像の合成位置や拡大縮小倍率等が指定される。
【００７２】
その後、ＣＰＵ１３は、ユーザによるシャッタボタン１２ａの所定操作に基づいて撮像指示が入力されたか否かを判定する（ステップＳ４５）。
ここで、撮像指示が入力されていないと判定されると（ステップＳ４５；ＮＯ）、ＣＰＵ１３は、処理をステップＳ４３に移行して、それ以降の処理を実行する。
【００７３】
ＣＰＵ１３は、上記の処理を、ステップＳ４５にて撮像指示が入力されたと判定されるまで（ステップＳ４５；ＹＥＳ）、繰り返す。
そして、ユーザによるシャッタボタン１２ａの所定操作に基づいて撮像指示が入力されたと判定されると（ステップＳ４５；ＹＥＳ）、撮像制御部３は、フォーカスレンズの合焦位置や露出条件（シャッター速度、絞り、増幅率等）やホワイトバランス等の条件を調整して、背景生成用画像Ｐ５（図９（ｂ）参照）の光学像を電子撮像部２により所定の撮像フレームレートで固定奇数枚連続して撮像させる（ステップＳ４６）。画像データ生成部４は、電子撮像部２から順次転送された背景生成用画像Ｐ５の画像フレームのＹＵＶデータを生成する（ステップＳ４６）。これにより、例えば、図９（ｂ）に示すように、「建物」の手前側で複数の「通行人」が動く被写体として存在している固定奇数枚の背景生成用画像Ｐ５の画像フレームが生成される。
【００７４】
次に、ＣＰＵ１３は、特徴量演算部６、ブロックマッチング部７及び画像処理部８に、固定奇数枚の背景生成用画像Ｐ５の画像フレームに基づいて、背景内から動く被写体（例えば、「通行人」）を消去して背景画像Ｐ６を生成する第１背景生成処理を行わせる（ステップＳ４７）。
【００７５】
ここで、第１背景生成処理について図８を参照して詳細に説明する。
図８は、第１背景生成処理に係る動作の一例を示すフローチャートである。
【００７６】
図８に示すように、先ず、ＣＰＵ１３は、特徴量演算部６、ブロックマッチング部７及び画像処理部８に、固定奇数枚の背景生成用画像Ｐ５のうち、何れか一の背景生成用画像（基準画像）Ｐ５から抽出した特徴点に基づいて、当該背景生成用画像Ｐ５以外の背景生成用画像（対象画像）Ｐ５と位置合わせする処理を行わせる（ステップＳ６１）。
具体的には、特徴量演算部６は、何れか一の背景生成用画像（例えば、最初に連写撮影された背景生成用画像）Ｐ５のＹＵＶデータに基づいて、所定数（或いは、所定数以上)の特徴の高いブロック領域（特徴点）を選択して、当該ブロック領域の内容をテンプレートとして抽出する。そして、ブロックマッチング部７は、特徴抽出処理にて抽出されたテンプレートの画素値が最適にマッチする位置を対象画像である背景生成用画像Ｐ５内にて探索して、画素値の相違度の評価値が最も良かった各対象画像（背景生成用画像Ｐ５）に対する最適なオフセットを当該テンプレートの動きベクトルとして算出する。
そして、画像処理部８の位置合わせ部８ａは、ブロックマッチング部７により算出された複数のテンプレートの動きベクトルに基づいて全体の動きベクトルを統計的に算出し、当該動きベクトルに係る特徴点対応を用いて各対象画像（背景生成用画像Ｐ５）の射影変換行列を算出した後、当該射影変換行例に基づいて各対象画像（背景生成用画像Ｐ５）を射影変換することで、基準画像（背景生成用画像Ｐ５）のＹＵＶデータと各対象画像（背景生成用画像Ｐ５）のＹＵＶデータとを位置合わせする処理を行わせる。
【００７７】
次に、画像処理部８の背景生成部８ｄは、処理対象座標（x,y）を初期化し（x=0,Y=0）た後（ステップＳ６２）、固定奇数枚の背景生成用画像Ｐ５の中で処理対象の画像フレームを指定する（ステップＳ６３）。具体的には、背景生成部８ｄは、「n=1」として、固定奇数枚の背景生成用画像Ｐ５の中で最初に連写撮影された背景生成用画像Ｐ５を処理対象の画像フレームとして指定する。
【００７８】
次に、背景生成部８ｄは、処理対象の画像フレーム（背景生成用画像Ｐ５）にて、処理対象となる座標（x,y）の画素値を取得して、下記式（３）に従って各画像フレーム毎に格納する（ステップＳ６４）。
【数６】
2011041041.tif 000008
【００７９】
続けて、背景生成部８ｄは、固定奇数枚の全ての背景生成用画像Ｐ５を処理したか否かを「n=Page」であるか否かに応じて判定する（ステップＳ６５）。
ここで、「n=Page」でないと判定されると（ステップＳ６５；ＮＯ）、背景生成部８ｄは、「n=n+1」として、固定奇数枚の背景生成用画像Ｐ５の中で、次に連写撮影された背景生成用画像Ｐ５を処理対象の画像フレームとして指定する（ステップＳ６６）。その後、背景生成部８ｄは、処理をステップＳ６４に移行して、それ以降の処理を実行する。
背景生成部８ｄは、上記の処理を、ステップＳ６５にて「n=Page」であると判定されるまで、即ち、固定奇数枚の全ての背景生成用画像Ｐ５を処理したと判定されるまで（ステップＳ６５；ＹＥＳ）、繰り返す。
【００８０】
そして、固定奇数枚の全ての背景生成用画像Ｐ５にて、処理対象となる座標（x,y）の画素値が取得されて、ステップＳ６５にて「n=Page」であると判定されると（ステップＳ６５；ＹＥＳ）、背景生成部８ｄは、固定奇数枚の全ての背景生成用画像Ｐ５から取得した処理対象座標の複数の画像値f（n,x,y）を下記式（４）に従って画素値順に並べ替えた後、値が複数の画素値の中央となる中央値fb(x,y)を下記式（５）に従って演算して、合成される背景画像Ｐ６の当該画素における画素値として特定して登録する（ステップＳ６７）。
【数７】
2011041041.tif 000009
【数８】
2011041041.tif 000010
【００８１】
次に、背景生成部８ｄは、背景生成用画像Ｐ５における全ての座標の画素について処理したか否かを判定する（ステップＳ６８）。ここで、全ての座標の画素について処理していないと判定されると（ステップＳ６８；ＮＯ）、背景生成部８ｄは、処理対象として次の座標を指定した後（ステップＳ６９）、処理をステップＳ６３に移行して、それ以降の処理を実行する。
上記の処理を、ステップＳ６８にて全ての座標の画素について処理したと判定されるまで（ステップＳ６８；ＹＥＳ）、繰り返すことで、背景生成部８ｄは、全ての座標の画素値を取得して、これらの画素値からなる背景画像Ｐ６の画像データを生成する。例えば、図９（ｃ）に示すように、主要被写体としての「建物」を含む背景内から動く被写体である「通行人」が消去された背景画像Ｐ６を生成する。
これにより、第１背景生成処理を終了する。
【００８２】
図７に示すように、次に、表示制御部１０は、第１背景生成処理にて生成された背景画像Ｐ６の画像データに基づいて、背景画像Ｐ６を表示部１１の表示画面に表示させる（ステップＳ４８）。
【００８３】
その後、画像処理部８の画像合成部８ｅは、背景画像Ｐ６と被写体切り抜き画像Ｐ４の被写体画像Ａとを合成して被写体合成画像Ｐ７を生成する画像合成処理を行う（ステップＳ４９）。
具体的には、画像合成部８ｅは、背景画像Ｐ６、被写体切り抜き画像Ｐ４及びマスク画像Ｍの画像データを読み出して画像メモリ５に展開する。そして、画像合成部８ｅは、ユーザにより指定された被写体画像Ａの位置に応じてマスク画像Ｍをずらして配置した後、背景画像Ｐ６の各画素のうち、マスク画像Ｍの画像データの塗りつぶした部分（被写体Ｓ以外の斜線部分）で覆われる画素については、何もせずに透過させる一方で、被写体Ｓ部分の画素については、被写体切り抜き画像Ｐ４の被写体画像Ａの対応する画素の画素値で上書きする。なお、被写体画像Ａの合成位置に応じてマスク画像Ｍをずらして配置した状態で、背景画像Ｐ６とマスク画像Ｍとがずれてしまいマスク画像Ｍの画像データの塗りつぶした部分（被写体Ｓ以外の斜線部分）の範囲外となる領域については、塗りつぶした部分を拡大してマスク画像Ｍにより被覆されない領域を生じさせないようにする。また、マスク画像Ｍの縁部分には、合成階調がつけられているため、合成される被写体画像Ａと背景画像Ｐ６との境界部分がはっきりしていない自然な感じとなる。
【００８４】
その後、表示制御部１０は、画像合成部８ｅにより生成された被写体合成画像Ｐ７の画像データに基づいて、動く被写体が消去された背景画像Ｐ６に被写体Ｓが重畳された被写体合成画像Ｐ７を表示部１１の表示画面に表示させる（図９（ｃ）参照）。
これにより、第１合成画像生成処理を終了する。
【００８５】
以上のように、実施形態１の撮像装置１００によれば、背景内に動く被写体が存在する背景生成用画像Ｐ５の撮像の際に、被写体切り抜き処理にて被写体存在画像Ｐ１から抽出された被写体切り抜き画像Ｐ４の被写体画像Ａの位置を画角内で指定するので、背景生成用画像Ｐ５及び当該背景生成用画像Ｐ５に基づいて生成される背景画像Ｐ６の構図の決定を被写体画像Ａの位置を基準として容易に行うことができる。
そして、連写された三以上の固定奇数枚の背景生成用画像Ｐ５に基づいて、当該背景生成用画像Ｐ５の背景内から動く被写体を消去して背景画像Ｐ６を生成する。具体的には、固定奇数枚の背景生成用画像Ｐ５における各同一座標の複数の画素値の中央値を、背景画像Ｐ６の当該座標の画素における画素値とすることにより、静止体を含む背景内から動く被写体が消去された背景画像Ｐ６を生成することができる。
従って、被写体画像Ａとの合成用の、背景内から動く被写体が消去された背景画像Ｐ６の生成を適正に行うことができる。
【００８６】
また、生成された背景画像Ｐ６と被写体切り抜き画像Ｐ４の被写体画像Ａとを合成して被写体合成画像Ｐ７を生成することができる。即ち、被写体画像Ａを背景画像Ｐ６とは別に作成しておくことで、従来のように、連写撮影中に動く部分全てが消去されてしまうといったことがなくなる。さらに、被写体切り抜き画像Ｐ４として動画像を生成しても良く、これにより、不必要な動く被写体が消去された背景画像Ｐ６内で被写体Ｓ（被写体画像Ａ）が動くような被写体合成画像の生成も容易に行うことができる。
また、背景生成用画像Ｐ５の連写の際に画角内で指定された被写体画像Ａの位置を基準として、背景画像Ｐ６と被写体切り抜き画像Ｐ４の被写体画像Ａとを合成するので、静止体を含む背景内から動く被写体が消去された背景画像Ｐ６に所望の被写体画像Ａが所望の位置に重畳された被写体合成画像Ｐ７を適正に生成することができる。
さらに、背景画像Ｐ６に合成される被写体切り抜き画像Ｐ４の被写体画像Ａの寸法を指定することで、背景画像Ｐ６の構図の決定を適正に行うことができるだけでなく、背景画像Ｐ６に所望の大きさの被写体画像Ａが重畳された被写体合成画像Ｐ７を適正に生成することができる。
【００８７】
［実施形態２］
以下に、実施形態２の撮像装置について、図面を参照して説明する。
実施形態２の撮像装置は、シャッタボタン１２ａが操作されている間、背景生成用画像Ｐ５の撮像を継続して行い、撮像済みの全ての背景生成用画像Ｐ５に基づいて背景内から動く被写体を消去して背景画像Ｐ６を生成する。
なお、実施形態２の撮像装置は、以下に説明する以外の点で上記実施形態１の撮像装置１００と略同様の構成をなし、その説明は省略する。
【００８８】
背景生成部８ｄは、三以上の奇数枚（例えば、五枚）の背景生成用画像Ｐ５の撮像に続けて所定の偶数枚（例えば、二枚）の背景生成用画像Ｐ５が新たに撮像される毎に、撮像済みの全ての背景生成用画像Ｐ５に基づいて背景画像Ｐ６を生成する。具体的には、背景生成部８ｄは、三以上の奇数枚の背景生成用画像Ｐ５に基づいて背景画像Ｐ６を生成し、且つ、所定の偶数枚の背景生成用画像Ｐ５が新たに撮像される毎に、撮像済みの全ての背景生成用画像Ｐ５に基づいて新たな背景画像Ｐ６を順次生成していく。
そして、ユーザによるシャッタボタン１２ａの押し込み操作が開放（解除）されて、ＣＰＵ１３から撮像制御部３に対する撮像指示の入力が終了すると、背景生成部８ｄによる背景画像Ｐ６の生成を終了する。
このように、背景生成部８ｄは、所定の偶数枚の背景生成用画像Ｐ５が新たに撮像される毎に、当該所定の偶数枚の背景生成用画像Ｐ５と三以上の奇数枚の背景生成用画像Ｐ５とに基づいて、背景画像Ｐ６を順次生成する。
【００８９】
また、シャッタボタン１２ａは、所定方向に押し込み操作可能に構成され、ユーザにより押し込み操作されている間、当該操作に対応する操作信号をＣＰＵ１３に出力する。
ＣＰＵ１３は、シャッタボタン１２ａから出力された操作信号の入力に基づいて、撮像制御部３にレンズ部１及び電子撮像部２による撮像指示を出力する。
撮像制御部３は、ＣＰＵ１３から出力された撮像指示が入力されている間、レンズ部１を通過した光学像（例えば、背景生成用画像Ｐ５の光学像）を電子撮像部２により所定の撮像フレームレートで順次撮像させる。
ここで、シャッタボタン１２ａ及びＣＰＵ１３は、レンズ部１、電子撮像部２及び撮像制御部３による背景生成用画像Ｐ５の撮像指示を入力する入力手段を構成している。
【００９０】
次に、撮像装置による第２合成画像生成処理について、図１０及び図１１を参照して説明する。
図１０は、第２合成画像生成処理に係る動作の一例を示すフローチャートである。
なお、シャッタボタン１２ａが押し込み操作されている間に行われる処理以外の処理は、第１合成画像生成処理と略同様であり、その詳細な説明を省略する。
【００９１】
図１０に示すように、第１合成画像生成処理と同様に、ＣＰＵ１３は、ステップＳ４１〜Ｓ４５の各処理を行う。即ち、ユーザによる操作入力部１２の所定操作に基づいて、所望の被写体切り抜き画像Ｐ４（図６（ｂ）参照）が選択して指定された後、画像処理部８は、指定された被写体切り抜き画像Ｐ４の画像データを読み出す（ステップＳ４１）。次に、表示制御部１０は、ライブビュー画像を表示部１１の表示画面に表示させるとともに、当該ライブビュー画像に重畳させて、被写体切り抜き画像Ｐ４の被写体画像Ａの半透過の表示態様の画像を表示部１１の表示画面に表示させる（ステップＳ４２；図９（ａ）参照）。
続けて、表示制御部１０は、ライブビュー画像を更新させる制御を行って（ステップＳ４３）、ライブビュー画像が表示部１１に表示された状態で、ＣＰＵ１３は、被写体画像Ａの合成位置や拡大縮小倍率（大きさ）を指定する（ステップＳ４４；図９（ａ）参照）。
【００９２】
その後、ＣＰＵ１３は、ユーザによるシャッタボタン１２ａの押し込み操作に基づいて撮像指示が入力されたか否かを判定する処理を行い（ステップＳ４５）、撮像指示が入力されたと判定されると（ステップＳ４５；ＹＥＳ）、撮像制御部３は、フォーカスレンズの合焦位置や露出条件（シャッター速度、絞り、増幅率等）やホワイトバランス等の条件を調整して、背景生成用画像Ｐ５（図９（ｂ）参照）の光学像を電子撮像部２により所定の撮像フレームレートで３枚連続して撮像させる（ステップＳ２０１）。画像データ生成部４は、電子撮像部２から順次転送された３枚の背景生成用画像Ｐ５の画像フレームのＹＵＶデータを生成する。また、撮像制御部３は、当該背景生成用画像Ｐ５の撮像の際の撮像フレームレートや合焦位置や露出条件やホワイトバランス等の条件を固定した状態を維持する。
続けて、撮像制御部３は、背景生成用画像Ｐ５（図９（ｂ）参照）の光学像を３枚の背景生成用画像Ｐ５の撮像後に固定された条件で電子撮像部２により２枚連続して撮像させる（ステップＳ２０２）。画像データ生成部４は、電子撮像部２から順次転送された２枚の背景生成用画像Ｐ５の画像フレームのＹＵＶデータを生成する。
【００９３】
次に、ＣＰＵ１３は、特徴量演算部６、ブロックマッチング部７及び画像処理部８に、撮像済みの全ての背景生成用画像Ｐ５の画像フレームに基づいて、背景内から動く被写体（例えば、「通行人」）を消去して背景画像Ｐ６を生成する第２背景生成処理を行わせる（ステップＳ２０３）。
【００９４】
ここで、第２背景生成処理について図１１を参照して詳細に説明する。
図１１は、第２背景生成処理に係る動作の一例を示すフローチャートである。
なお、背景生成用画像Ｐ５が２枚ずつ連写される毎に、背景生成に用いられる背景生成用画像Ｐ５の枚数を２枚ずつ増加させる処理以外の処理は、第１背景生成処理と略同様であり、その詳細な説明を省略する。
【００９５】
図１１に示すように、先ず、背景生成部８ｄは、背景画像Ｐ６を生成済みであるか否かを判定する（ステップＳ２２１）。ここで、背景画像Ｐ６を生成済みでないと判定されると（ステップＳ２２１；ＮＯ）、背景生成部８ｄは、「Page=5」として、背景生成に用いられる背景生成用画像Ｐ５の枚数を５枚に指定する（ステップＳ２２２）。
【００９６】
続けて、第１背景生成処理と同様に、ＣＰＵ１３は、ステップＳ６１〜Ｓ６９の各処理を行う。即ち、ＣＰＵ１３は、特徴量演算部６、ブロックマッチング部７及び画像処理部８に、撮像済みの５枚の背景生成用画像Ｐ５のうち、何れか一の背景生成用画像Ｐ５（基準画像）から抽出した特徴点に基づいて、当該背景生成用画像Ｐ５以外の背景生成用画像Ｐ５（対象画像）と位置合わせする処理を行わせる（ステップＳ６１）。次に、画像処理部８の背景生成部８ｄは、５枚の背景生成用画像Ｐ５における各同一座標の複数の画素値の中央値を各座標の画素値として取得して、これらの画素値からなる背景画像Ｐ６の画像データを生成する（ステップＳ６２〜Ｓ６９）。
これにより、第２背景生成処理を終了する。
【００９７】
一方、ステップＳ２２１にて、背景画像Ｐ６を生成済みであると判定されると（ステップＳ２２１；ＹＥＳ）、背景生成部８ｄは、「Page=Page+2」として、背景生成に用いられる背景生成用画像Ｐ５の枚数を２枚増加した値に指定する（ステップＳ２２３）。
【００９８】
続けて、上記と同様に、ＣＰＵ１３は、ステップＳ６１〜Ｓ６９の各処理を行う。即ち、ＣＰＵ１３は、特徴量演算部６、ブロックマッチング部７及び画像処理部８に、撮像済みの全て（例えば、７枚、９枚、…）の背景生成用画像Ｐ５のうち、何れか一の背景生成用画像（基準画像）Ｐ５から抽出した特徴点に基づいて、当該背景生成用画像Ｐ５以外の背景生成用画像（対象画像）Ｐ５と位置合わせする処理を行わせる（ステップＳ６１）。次に、画像処理部８の背景生成部８ｄは、全ての背景生成用画像Ｐ５における各同一座標の複数の画素値の中央値を各座標の画素値として取得して、これらの画素値からなる背景画像Ｐ６の画像データを生成する（ステップＳ６２〜Ｓ６９）。
これにより、第２背景生成処理を終了する。
【００９９】
図１０に示すように、次に、表示制御部１０は、第２背景生成処理にて生成された背景画像Ｐ６の画像データに基づいて、背景画像Ｐ６を表示部１１の表示画面に表示させる（ステップＳ４８）。
【０１００】
続けて、ＣＰＵ１３は、ユーザによるシャッタボタン１２ａの押し込み操作が開放されているか否かをシャッタボタン１２ａからの操作信号の入力の有無に応じて判定する（ステップＳ２０４）。
ここで、シャッタボタン１２ａからの操作信号の入力が継続されており、ユーザによるシャッタボタン１２ａの押し込み操作が開放されていないと判定されると（ステップＳ２０４；ＮＯ）、ＣＰＵ１３は、撮像済みの全ての背景生成用画像Ｐ５の位置合わせ限界に達したか否かを判定する（ステップＳ２０５）。
この位置合わせ限界の判定は、例えば、背景生成用画像Ｐ５の位置合わせ限界枚数や、一時記憶メモリの容量等に応じて判断する。
【０１０１】
そして、ステップＳ２０５にて、背景生成用画像Ｐ５の位置合わせ限界に達していないと判定されると（ステップＳ２０５；ＮＯ）、ＣＰＵ１３は、処理をステップＳ２０２に移行して、それ以降の処理を実行する。
ＣＰＵ１３は、上記の処理を、ステップＳ２０４にてユーザによるシャッタボタン１２ａの押し込み操作が開放されたと判定されるか（ステップＳ２０４；ＹＥＳ）、或いは、ステップＳ２０５にて背景生成用画像Ｐ５の位置合わせ限界に達したと判定されるまで（ステップＳ２０５；ＹＥＳ）、繰り返す。
これにより、背景生成用画像Ｐ５が２枚ずつ連写される毎に、背景生成に用いられる背景生成用画像Ｐ５の枚数を２枚ずつ増加させて、それら全ての背景生成用画像Ｐ５に基づいて背景画像Ｐ６が生成される。
【０１０２】
そして、ステップＳ２０４にてユーザによるシャッタボタン１２ａの押し込み操作が開放されたと判定されるか（ステップＳ２０４；ＹＥＳ）、或いは、ステップＳ２０５にて背景生成用画像Ｐ５の位置合わせ限界に達したと判定されると（ステップＳ２０５；ＹＥＳ）、画像処理部８の画像合成部８ｅは、第１合成画像生成処理と同様に、生成された背景画像Ｐ６と被写体切り抜き画像Ｐ４の被写体画像Ａとを合成して被写体合成画像Ｐ７を生成する画像合成処理を行う（ステップＳ４９）。
【０１０３】
その後、表示制御部１０は、画像合成部８ｅにより生成された被写体合成画像Ｐ７の画像データに基づいて、背景画像Ｐ６に被写体Ｓが重畳された被写体合成画像Ｐ７を表示部１１の表示画面に表示させる（図９（ｃ）参照）。
これにより、第２合成画像生成処理を終了する。
【０１０４】
以上のように、実施形態２の撮像装置によれば、シャッタボタン１２ａが操作されている間、三以上の奇数枚の背景生成用画像Ｐ５に続けて新たに所定の偶数枚の背景生成用画像Ｐ５を順次撮像していき、所定の偶数枚の背景生成用画像Ｐ５が新たに撮像される毎に、当該所定の偶数枚の背景生成用画像Ｐ５と三以上の奇数枚の背景生成用画像Ｐ５とに基づいて、当該背景生成用画像Ｐ５の背景内から動く被写体を消去して背景画像Ｐ６を順次生成する。具体的には、三以上の奇数枚の背景生成用画像Ｐ５に基づいて背景画像Ｐ６を生成した後、シャッタボタン１２ａが操作されている間、所定の偶数枚の背景生成用画像Ｐ５が新たに撮像される毎に、撮像済みの全ての背景生成用画像Ｐ５に基づいて、新たな背景画像Ｐ６を順次生成するので、背景生成用画像Ｐ５の連写撮影枚数をより増加させることで、静止体画像の画素値の数は動く被写体の画像の画素値の数よりも多くなって、静止体を含む背景内からの動く被写体の消去をより適正に行うことができる。これにより、動く被写体が消去された背景画像Ｐ６並びに当該背景画像Ｐ６と所望の被写体画像Ａとが合成された被写体合成画像Ｐ７の生成を適正に行うことができる。
【０１０５】
なお、上記実施形態２にあっては、背景画像Ｐ６の生成にて、連写された全ての背景生成用画像Ｐ５の各画素の画素値をソートして中央値を求めるようにしたが、背景画像Ｐ６の生成方法はこれに限られるものではない。
即ち、背景生成部８ｄは、三以上の奇数枚の背景生成用画像Ｐ５に基づいて背景画像Ｐ６を生成した後、所定の偶数枚の背景生成用画像Ｐ５（例えば、２枚）が新たに撮像される毎に、当該所定の偶数枚の背景生成用画像Ｐ５と生成済みの直近の背景画像Ｐ６とに基づいて、新たな背景画像Ｐ６を順次生成するようにしても良い（図１２参照）。
【０１０６】
以下に、第２背景生成処理の変形例について、図１２を参照して説明する。
なお、背景生成用画像Ｐ５を５枚撮像後、背景生成用画像Ｐ５が２枚ずつ連写される毎に、既に生成済みの直近の背景画像Ｐ６を新たな背景画像Ｐ６の生成用の画像フレームとして追加する処理以外の処理は、実施形態２の第２背景生成処理と略同様であり、その詳細な説明を省略する。
【０１０７】
図１２に示すように、先ず、背景生成部８ｄは、背景画像Ｐ６を生成済みであるか否かを判定する（ステップＳ２２１）。ここで、背景画像Ｐ６を生成済みでないと判定されると（ステップＳ２２１；ＮＯ）、実施形態２の第２背景生成処理と同様に、背景生成部８ｄは、「Page=5」として、背景生成に用いられる背景生成用画像Ｐ５の枚数を５枚に指定する（ステップＳ２２２）。
【０１０８】
続けて、実施形態２の第２背景生成処理と同様に、ＣＰＵ１３は、ステップＳ６１〜Ｓ６９の各処理を行う。これにより、５枚の背景生成用画像Ｐ５における各同一座標の複数の画素値の中央値を各座標の画素値とする背景画像Ｐ６の画像データが生成される。
【０１０９】
一方、ステップＳ２２１にて、背景画像Ｐ６を生成済みであると判定されると（ステップＳ２２１；ＹＥＳ）、背景生成部８ｄは、既に生成済みの直近の背景画像Ｐ６を新たな背景画像Ｐ６の生成用の画像フレームとして処理対象PAGEに含めた後（ステップＳ２３１）、「Page=3」として、背景生成に用いられる背景生成用画像Ｐ５の枚数を３枚に指定する（ステップＳ２３２）。
【０１１０】
続けて、上記と同様に、ＣＰＵ１３は、ステップＳ６１〜Ｓ６９の各処理を行う。これにより、新たに連写された２枚の背景生成用画像Ｐ５及び生成済みの背景画像Ｐ６における各同一座標の複数の画素値の中央値を各座標の画素値とする新たな背景画像Ｐ６の画像データが生成される。
【０１１１】
従って、三以上の奇数枚の背景生成用画像Ｐ５に基づいて背景画像Ｐ６を生成した後、シャッタボタン１２ａが操作されている間、所定の偶数枚の背景生成用画像Ｐ５が新たに撮像される毎に、当該所定の偶数枚の背景生成用画像Ｐ５と生成済みの直近の背景画像Ｐ６とに基づいて新たな背景画像Ｐ６を順次生成するので、背景生成用画像Ｐ５の連写撮影枚数をより増加させることで、静止体を含む背景内からの動く被写体の消去をより適正に行うことができるだけでなく、一の背景画像Ｐ６の生成に実際に用いられる画像フレーム数（単位時間あたりの処理画像フレーム数）を減少させて当該背景画像Ｐ６の生成速度をより高速化することができる。
【０１１２】
なお、本発明は、上記実施形態１、２に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
例えば、背景画像Ｐ６の生成を、三以上の奇数枚の背景生成用画像Ｐ５における各同一座標の複数の画素値の中央値に基づいて行うようにしたが、これに限られるものではなく、複数の画素値の平均値に基づいて行うようにしても良い。即ち、背景生成用画像Ｐ５の連写撮影枚数をより増加させた場合には、静止体画像の画素値の数は、動く被写体の画像の画素値の数よりも多くなることから、複数の画素値の中央値に替えて平均値を適用しても良い。
【０１１３】
また、上記実施形態１、２にあっては、背景画像Ｐ６の生成にて、全体として奇数枚の背景生成用画像Ｐ５に基づいて行うようにしたが、これに限られるものではなく、全体として偶数枚の背景生成用画像Ｐ５に基づいて行うようにしても良い。即ち、背景生成用画像Ｐ５の連写撮影枚数をより増加させた場合には、静止体画像の画素値の数は、動く被写体の画像の画素値の数よりも多くなることから、必ずしも奇数枚の背景生成用画像Ｐ５における各同一座標の複数の画素値の中央値や平均値に基づいて背景画像Ｐ６を生成する必要はない。
具体的には、背景生成部８ｄは、背景生成用画像Ｐ５の全体の撮像枚数が所定枚数に達したか否かを判定し、所定枚数に達した後は、全体として奇数枚若しくは偶数枚の背景生成用画像Ｐ５に基づいて背景画像Ｐ６を生成する。
【０１１４】
さらに、上記実施形態１、２にあっては、背景生成用画像Ｐ５の連写の際に画角内で被写体画像Ａの合成位置を指定するようにしたが、指定される位置は合成位置に限られる必要はなく、構図の決定用の基準となる位置であっても良い。
また、背景生成用画像Ｐ５の連写の際に被写体画像Ａの拡大縮小倍率（寸法）を指定するようにしたが、被写体画像Ａの寸法の指定は必ずしも行う必要はなく、適宜任意に変更することができる。
【０１１５】
また、上記実施形態１、２にあっては、背景画像Ｐ６と合成される被写体画像Ａとして、被写体切り抜き処理にて抽出された被写体切り抜き画像Ｐ４の被写体画像Ａを例示したが、これに限られるものではなく、被写体画像Ａは適宜任意に変更することができる。
【０１１６】
さらに、上記実施形態１、２にあっては、被写体存在画像Ｐ１から被写体領域を抽出するための抽出用情報として、マスク画像Ｍを例示したが、これに限られるものではなく、被写体存在画像Ｐ１内の被写体領域の位置を特定して当該被写体領域を抽出することができるものであれば如何なるものであっても良い。
【０１１７】
また、上記実施形態１、２にあっては、マスク画像Ｍの画像データと被写体切り抜き画像Ｐ４の画像データを対応付けて一ファイルで保存させるようにしたが、マスク画像Ｍの画像データと被写体存在画像Ｐ１の画像データを対応付けて一ファイルで記録媒体（記憶手段）９に保存させるようにしても良い。この場合、当該ファイルの再生には、被写体存在画像Ｐ１を再生させるモードと、再生時にマスク画像Ｍの画像データを適用して被写体切り抜き画像Ｐ４を合成して表示する２モードを用意しておくとよい。
【０１１８】
さらに、撮像装置１００の構成は、上記実施形態１、２に例示したものは一例であり、これに限られるものではない。
【０１１９】
加えて、上記実施形態１、２にあっては、位置指定手段、背景生成手段としての機能を、ＣＰＵ１３と、画像処理部８の背景生成部８ｄとが駆動することにより実現される構成としたが、これに限られるものではなく、ＣＰＵ１３によって所定のプログラム等が実行されることにより実現される構成としても良い。
即ち、プログラムを記憶するプログラムメモリ（図示略）に、位置指定処理ルーチン、背景生成処理ルーチンを含むプログラムを記憶しておく。そして、位置指定処理ルーチンによりＣＰＵ１３を、撮像手段により撮像される画角内で被写体画像Ａの位置を指定する位置指定手段として機能させるようにしても良い。また、背景生成処理ルーチンによりＣＰＵ１３を、撮像手段により連続して撮像された複数の背景生成用画像Ｐ５のうち、所定枚数の背景生成用画像Ｐ５に基づいて、背景内から動く被写体を消去して被写体画像Ａとの合成用の背景画像Ｐ６を生成する背景生成手段として機能させるようにしても良い。
【符号の説明】
【０１２０】
１００  撮像装置
１      レンズ部
２      電子撮像部
３      撮像制御部
６      特徴量演算部
７      ブロックマッチング部
８      画像処理部
８ｂ    マスク生成部
８ｃ    切抜画像生成部
８ｄ    背景生成部
８ｅ    画像合成部
１２ａ  シャッタボタン
１２ｂ  選択決定ボタン
１３    ＣＰＵ
【図１】
2011041041.tif 000011
【図２】
2011041041.tif 000012
【図３】
2011041041.tif 000013
【図４】
2011041041.tif 000014
【図５】
2011041041.tif 000015
【図６】
2011041041.tif 000016
【図７】
2011041041.tif 000017
【図８】
2011041041.tif 000018
【図９】
2011041041.tif 000019
【図１０】
2011041041.tif 000020
【図１１】
2011041041.tif 000021
【図１２】
2011041041.tif 000022