(57)【特許請求の範囲】
【請求項１】
第１画像と合成すべき第２画像を指定する指定手段と、
被写体を撮像することにより、被写体存在画像を取得する撮像手段と、
前記被写体存在画像の背景部分の非平坦度が所定値以下であるか否かを判定する非平坦度判定手段と、
前記非平坦度判定手段により前記非平坦度が所定値以下であると判定された場合に、前記撮像手段により取得された被写体存在画像に対し、前記指定手段によって指定された第２画像が透過した状態の画像を表示手段に表示させる表示制御手段と、
前記表示制御手段により画像が表示されている間に所定の指示を検出すると、前記被写体存在画像から被写体が含まれる被写体領域を前記第１画像として抽出する被写体抽出手段と、
前記被写体抽出手段により抽出された前記第１画像と前記指定手段により指定された前記第２画像とを合成して合成画像を生成する合成手段と、
を備えたことを特徴とする撮像装置。
【請求項２】
前記表示制御手段は、
前記非平坦度判定手段により前記非平坦度が所定値以下であると判定された場合に、前記指定手段により指定された前記第２画像を半透過の表示態様で前記表示手段に表示させることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記指定手段により前記第２画像が指定されたか否かを判定する指定判定手段を更に備え、
前記合成手段は、更に、
前記指定判定手段により前記第２画像が指定されたと判定された場合に、前記第１画像と前記第２画像の合成とを合成した合成画像を生成することを特徴とする請求項１又は２に記載の撮像装置。
【請求項４】
前記合成手段は、更に、
前記撮像手段による前記被写体存在画像の撮像の際の前記被写体の画角内における位置を基準として、前記第１画像と前記第２画像の合成を行うことを特徴とする請求項１〜３の何れか一項に記載の撮像装置。
【請求項５】
前記合成手段は、更に、
前記撮像手段による前記被写体の撮像の際の前記被写体の画角内における大きさを基準として、前記第１画像と前記第２画像の合成を行うことを特徴とする請求項１〜４の何れか一項に記載の撮像装置。
【請求項６】
前記被写体抽出手段により抽出された前記被写体領域と前記合成手段により生成された前記合成画像とを対応づけて記録手段に記録させる記録制御手段を更に備えることを特徴とする請求項１〜５の何れか一項に記載の撮像装置。
【請求項７】
前記撮像手段は、前記被写体を連続して複数回撮像することにより、複数の前記被写体存在画像を取得し、
前記被写体抽出手段は、前記撮像手段により取得された複数の前記被写体存在画像毎に被写体が含まれる被写体領域を抽出し、
前記合成手段は、前記被写体抽出手段によって抽出された被写体領域それぞれを前記第２画像に合成し、複数の合成画像を生成することを特徴とする請求項１〜６の何れか一項に記載の撮像装置。
【請求項８】
背景内に被写体が存在する被写体存在画像を取得する取得手段を備える撮像装置を用いた画像合成方法であって、
第１画像と合成すべき第２画像を指定する処理と、
前記被写体存在画像の背景部分の非平坦度が所定値以下であるか否かを判定する処理と、
前記非平坦度が所定値以下であると判定された場合に、取得された被写体存在画像に対し、指定された第２画像が透過した状態の画像を表示手段に表示させる処理と、
前記表示手段に画像が表示されている間に所定の指示を検出すると、前記被写体存在画像から被写体が含まれる被写体領域を前記第１画像として抽出する処理と、
抽出された前記第１画像と指定された前記第２画像とを合成して合成画像を生成する処理と、
を実行させることを特徴とする画像合成方法。
【請求項９】
背景内に被写体が存在する被写体存在画像を取得する取得手段を備える撮像装置のコンピュータを、
第１画像と合成すべき第２画像を指定する指定手段、
前記被写体存在画像の背景部分の非平坦度が所定値以下であるか否かを判定する非平坦度判定手段、
前記非平坦度判定手段により前記非平坦度が所定値以下であると判定された場合に、前記取得手段により取得された被写体存在画像に対し、前記指定手段によって指定された第２画像が透過した状態の画像を表示手段に表示させる表示制御手段、
前記表示制御手段により画像が表示されている間に所定の指示を検出すると、前記被写体存在画像から被写体が含まれる被写体領域を前記第１画像として抽出する被写体抽出手段、
前記被写体抽出手段により抽出された前記第１画像と前記指定手段により指定された前記第２画像とを合成して合成画像を生成する合成手段、
として機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の画像を合成する撮像装置、画像合成方法及びプログラムに関する。
【背景技術】
【０００２】
従来、被写体画像と背景画像やフレーム画像を合成することにより合成画像を生成する技術が知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−１５９１５８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、合成画像を生成するためには、合成に係る背景画像及び被写体画像の選択や、背景画像に対する被写体画像の合成位置及びサイズ等の指定を行わなければならず、その作業が煩わしいといった問題がある。
【０００５】
そこで、本発明の課題は、合成画像の生成を簡便に行うことができる撮像装置、画像合成方法及びプログラムを提供することである。
【課題を解決するための手段】
【０００６】
上記課題を解決するため、請求項１に記載の発明の撮像装置は、
第１画像と合成すべき第２画像を指定する指定手段と、
被写体を撮像することにより、被写体存在画像を取得する撮像手段と、
前記被写体存在画像の背景部分の非平坦度が所定値以下であるか否かを判定する非平坦度判定手段と、
前記非平坦度判定手段により前記非平坦度が所定値以下であると判定された場合に、前記撮像手段により取得された被写体存在画像に対し、前記指定手段によって指定された第２画像が透過した状態の画像を表示手段に表示させる表示制御手段と、
前記表示制御手段により画像が表示されている間に所定の指示を検出すると、前記被写体存在画像から被写体が含まれる被写体領域を前記第１画像として抽出する被写体抽出手段と、
前記被写体抽出手段により抽出された前記第１画像と前記指定手段により指定された前記第２画像とを合成して合成画像を生成する合成手段と、
を備えたことを特徴としている。
【０００８】
請求項２に記載の発明は、請求項１に記載の撮像装置において、
前記表示制御手段は、前記非平坦度判定手段により前記非平坦度が所定値以下であると判定された場合に、前記指定手段により指定された前記第２画像を半透過の表示態様で前記表示手段に表示させることを特徴としている。
【０００９】
請求項３に記載の発明は、請求項１又は２に記載の撮像装置において、
前記指定手段により前記第２画像が指定されたか否かを判定する指定判定手段を更に備え、前記合成手段は、更に、前記指定判定手段により前記第２画像が指定されたと判定された場合に、前記第１画像と前記第２画像とを合成した合成画像を生成することを特徴としている。
【００１０】
請求項４に記載の発明は、請求項１〜３の何れか一項に記載の撮像装置において、
前記合成手段は、更に、前記撮像手段による前記被写体存在画像の撮像の際の前記被写体の画角内における位置を基準として、前記第１画像と前記第２画像の合成を行うことを特徴としている。
【００１１】
請求項５に記載の発明は、請求項１〜４の何れか一項に記載の撮像装置において、
前記合成手段は、更に、前記撮像手段による前記被写体存在画像の撮像の際の前記被写体の画角内における大きさを基準として、前記第１画像と前記第２画像の合成を行うことを特徴としている。
【００１２】
請求項６に記載の発明は、請求項１〜５の何れか一項に記載の撮像装置において、
前記被写体抽出手段により抽出された前記被写体領域と前記合成手段により生成された前記合成画像とを対応づけて記録手段に記録させる記録制御手段を更に備えることを特徴としている。
【００１３】
請求項７に記載の発明は、請求項１〜６の何れか一項に記載の撮像装置において、
前記撮像手段は、前記被写体を連続して複数回撮像することにより、複数の前記被写体存在画像を取得し、
前記被写体抽出手段は、前記撮像手段により取得された複数の前記被写体存在画像毎に被写体が含まれる被写体領域を抽出し、
前記合成手段は、前記被写体抽出手段によって抽出された被写体領域それぞれを前記第２画像に合成し、複数の合成画像を生成することを特徴としている。
【００１４】
請求項８に記載の発明の画像合成方法は、
背景内に被写体が存在する被写体存在画像を取得する取得手段を備える撮像装置を用いた画像合成方法であって、
第１画像と合成すべき第２画像を指定する処理と、
前記被写体存在画像の背景部分の非平坦度が所定値以下であるか否かを判定する処理と、
前記非平坦度が所定値以下であると判定された場合に、取得された被写体存在画像に対し、指定された第２画像が透過した状態の画像を表示手段に表示させる処理と、
前記表示手段に画像が表示されている間に所定の指示を検出すると、前記被写体存在画像から被写体が含まれる被写体領域を前記第１画像として抽出する処理と、
抽出された前記第１画像と指定された前記第２画像とを合成して合成画像を生成する処理と、
を実行させることを特徴としている。
【００１５】
請求項９に記載の発明のプログラムは、
背景内に被写体が存在する被写体存在画像を取得する取得手段を備える撮像装置のコンピュータを、
第１画像と合成すべき第２画像を指定する指定手段、
前記被写体存在画像の背景部分の非平坦度が所定値以下であるか否かを判定する非平坦度判定手段、
前記非平坦度判定手段により前記非平坦度が所定値以下であると判定された場合に、前記取得手段により取得された被写体存在画像に対し、前記指定手段によって指定された第２画像が透過した状態の画像を表示手段に表示させる表示制御手段、
前記表示制御手段により画像が表示されている間に所定の指示を検出すると、前記被写体存在画像から被写体が含まれる被写体領域を前記第１画像として抽出する被写体抽出手段、
前記被写体抽出手段により抽出された前記第１画像と前記指定手段により指定された前記第２画像とを合成して合成画像を生成する合成手段、
として機能させることを特徴としている。
【発明の効果】
【００１６】
本発明によれば、一回の撮影動作で合成画像の生成を簡便に行うことができる。
【図面の簡単な説明】
【００１７】
【図１】本発明を適用した一実施形態の撮像装置の概略構成を示すブロック図である。
【図２】図１の撮像装置による被写体切り抜き処理に係る動作の一例を示すフローチャートである。
【図３】図２の被写体切り抜き処理の続きを示すフローチャートである。
【図４】図２の被写体切り抜き処理における抽出用背景生成処理に係る動作の一例を示すフローチャートである。
【図５】図２の被写体切り抜き処理における領域検出処理に係る動作の一例を示すフローチャートである。
【図６】図２の被写体切り抜き処理を説明するための画像の一例を模式的に示す図である。
【図７】図２の被写体切り抜き処理を説明するための画像の一例を模式的に示す図である。
【図８】図２の被写体切り抜き処理を説明するための画像の一例を模式的に示す図である。
【図９】変形例１の撮像装置による被写体切り抜き処理に係る動作の一例を示すフローチャートである。
【図１０】図９の被写体切り抜き処理の続きを示すフローチャートである。
【発明を実施するための形態】
【００１８】
以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。
図１は、本発明を適用した一実施形態の撮像装置１００の概略構成を示すブロック図である。
【００１９】
本実施形態の撮像装置１００は、被写体画像Ａ（図７（ｂ）参照）と合成すべき合成用背景画像Ｐ２（図６（ａ）参照）を指定した後、背景内に被写体Ｓが存在する被写体存在画像（例えば、被写体存在画像Ｐ１ａ；図６（ｃ）参照））を撮像し、当該被写体存在画像から被写体Ｓが含まれる領域の被写体画像Ａを抽出して、抽出された被写体画像Ａと指定された合成用背景画像Ｐ２とを合成して被写体合成画像Ｐ６（図７（ｃ）参照）を生成する。
具体的には、図１に示すように、撮像装置１００は、レンズ部１と、電子撮像部２と、撮像制御部３と、画像データ生成部４と、画像メモリ５と、非平坦度演算部６と、ブロックマッチング部７と、画像処理部８と、記録媒体制御部９と、表示制御部１０と、表示部１１と、操作入力部１２と、中央制御部１３とを備えている。
また、撮像制御部３と、非平坦度演算部６と、ブロックマッチング部７と、画像処理部８と、中央制御部１３は、例えば、カスタムＬＳＩ１Ａとして設計されている。
【００２０】
レンズ部１は、複数のレンズから構成され、ズームレンズやフォーカスレンズ等を備えている。
また、レンズ部１は、図示は省略するが、被写体Ｓの撮像の際に、ズームレンズを光軸方向に移動させるズーム駆動部、フォーカスレンズを光軸方向に移動させる合焦駆動部等を備えていても良い。
【００２１】
電子撮像部２は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-oxide Semiconductor）等のイメージセンサから構成され、レンズ部１の各種レンズを通過した光学像を二次元の画像信号に変換する。
【００２２】
撮像制御部３は、図示は省略するが、タイミング発生器、ドライバなどを備えている。そして、撮像制御部３は、タイミング発生器、ドライバにより電子撮像部２を走査駆動して、所定周期毎に光学像を電子撮像部２により二次元の画像信号に変換させ、当該電子撮像部２の撮像領域から１画面分ずつ画像フレームを読み出して画像データ生成部４に出力させる。
また、撮像制御部３は、ＡＦ（自動合焦処理）、ＡＥ（自動露出処理）、ＡＷＢ（自動ホワイトバランス）等の被写体Ｓの撮像条件の調整制御を行う。
【００２３】
また、撮像モードとして被写体切り抜きモード（後述）が設定されている場合に、ユーザによるシャッタボタン１２ａの撮像指示操作に基づいて、撮像制御部３は、レンズ部１を通過した背景内に被写体Ｓが存在する被写体存在画像Ｐ１ａ（図６（ｃ）参照）の光学像を所定の撮像条件で電子撮像部２により二次元の画像信号に変換させ、当該電子撮像部２の撮像領域から被写体存在画像Ｐ１ａに係る画像フレームを読み出させる。
ここで、レンズ部１、電子撮像部２及び撮像制御部３は、背景内に被写体Ｓが存在する被写体存在画像Ｐ１ａを撮像する撮像手段を構成している。
【００２４】
画像データ生成部４は、電子撮像部２から転送された画像フレームのアナログ値の信号に対してＲＧＢの各色成分毎に適宜ゲイン調整した後に、サンプルホールド回路（図示略）でサンプルホールドしてＡ／Ｄ変換器（図示略）でデジタルデータに変換し、カラープロセス回路（図示略）で画素補間処理及びγ補正処理を含むカラープロセス処理を行った後、デジタル値の輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒ（ＹＵＶデータ）を生成する。
カラープロセス回路から出力される輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒは、図示しないＤＭＡコントローラを介して、バッファメモリとして使用される画像メモリ５にＤＭＡ転送される。
【００２５】
なお、Ａ／Ｄ変換後のデジタルデータを現像するデモザイク部（図示略）が、カスタムＬＳＩ１Ａに実装されていても良い。
【００２６】
画像メモリ５は、例えば、ＤＲＡＭ等により構成され、非平坦度演算部６と、ブロックマッチング部７と、画像処理部８と、中央制御部１３等によって処理されるデータ等を一時記憶する。
【００２７】
非平坦度演算部６は、ライブビュー画像表示用の画像フレームとして生成された背景画像Ｐｂや、被写体存在画像Ｐ１ａの非平坦度を演算する。具体的には、非平坦度演算部６は、分割部６ａと、特徴量演算部６ｂと、ばらつき量算出部６ｃとを具備している。
【００２８】
分割部６ａは、抽出用背景生成処理にて、被写体存在画像Ｐ１ａのＹＵＶデータに基づいて、当該被写体存在画像Ｐ１ａの周縁部分（図７（ａ）参照）を複数の画像ブロックＢ、…に分割する。
【００２９】
特徴量演算部６ｂは、背景画像Ｐｂや、被写体存在画像Ｐ１ａから特徴点を抽出する特徴抽出処理を行う。
即ち、特徴量演算部６ｂは、ライブビュー画像表示用の画像フレームとして生成された背景画像ＰｂのＹＵＶデータに基づいて、高周波成分の多い特徴の高いブロック領域（例えば、１６×１６画素の正方形）を特徴点として抽出する。
また、特徴量演算部６ｂは、抽出用背景生成処理にて、分割部６ａにより分割された被写体存在画像Ｐ１ａの各画像ブロックＢの特徴点を抽出する。具体的には、特徴量演算部６ｂは、各画像ブロックＢの高周波成分の多い特徴の高いブロック領域（例えば、１６×１６画素の正方形）を特徴点として抽出する。
【００３０】
また、特徴量演算部６ｂは、被写体存在画像Ｐ１ｂ（図８（ａ）参照）と被写体非存在画像Ｐ３との位置合わせ処理にて、被写体非存在画像Ｐ３を基準として、当該被写体非存在画像Ｐ３から特徴点を抽出する処理を行う。具体的には、特徴量演算部６ｂは、被写体非存在画像Ｐ３のＹＵＶデータに基づいて、多数の候補ブロックから追跡に都合の良い所定数（或いは、所定数以上)の特徴の高いブロック領域（特徴点）を選択して、当該ブロック領域の内容をテンプレート（例えば、１６×１６画素の正方形）として抽出する。
【００３１】
ばらつき量算出部６ｃは、ブロック領域内の画素値のばらつき量を算出する。
即ち、ばらつき量算出部６ｃは、ライブビュー画像表示用の画像フレームとして生成された背景画像Ｐｂの各ブロック領域内のばらつき量として、標準偏差を下記式（１）に従って算出する。
また、ばらつき量算出部６ｃは、抽出用背景生成処理にて、被写体存在画像Ｐ１ａの周縁部分の複数の画像ブロックＢ、…の各々についてのばらつき量として、標準偏差を下記式（１）に従って算出する。
【数１】
0005493839.tif 000002
なお、上記式（１）において、ｂ：各ブロック領域の画素値としては、例えば、輝度値が挙げられる。
【００３２】
このように、特徴量演算部６ｂは、被写体存在画像Ｐ１ａの周縁部分の特徴点や背景画像Ｐｂの特徴点を非平坦度として抽出する。また、ばらつき量算出部６ｃは、被写体存在画像Ｐ１ａの周縁部分の複数の画像ブロックＢ、…内の画素値のばらつき量や、背景画像の複数のブロック領域内のばらつき量を非平坦度として演算する。
【００３３】
ブロックマッチング部７は、被写体非存在画像（基準画像）Ｐ３と被写体存在画像（対象画像）Ｐ１ｂの位置合わせのためのブロックマッチング処理を行う。具体的には、ブロックマッチング部７は、特徴抽出処理にて抽出されたテンプレートが被写体存在画像Ｐ１ｂ内のどこに対応するか、つまり、被写体存在画像Ｐ１ｂ内にてテンプレートの画素値が最適にマッチする位置（対応領域）を探索する。そして、画素値の相違度の評価値（例えば、差分二乗和（ＳＳＤ）や差分絶対値和（ＳＡＤ）等）が最も良かった被写体非存在画像Ｐ３と被写体存在画像Ｐ１ｂ間の最適なオフセットを当該テンプレートの動きベクトルとして算出する。
【００３４】
画像処理部８は、背景指定判定部８ａと、非平坦度判定部８ｂと、抽出用背景生成部８ｃと、位置合わせ部８ｄと、マスク生成部８ｅと、切抜画像生成部８ｆと、画像合成部８ｇとを具備している。
【００３５】
背景指定判定部８ａは、被写体切り抜き処理にて、合成用背景画像Ｐ２が指定されたか否かを判定する。即ち、背景指定判定部８ａは、例えば、ユーザによる操作入力部１２の所定操作に基づいて、記録媒体９ａに記録されている複数の画像の中から所望の合成用背景画像Ｐ２が中央制御部１３により指定されたか否かを判定する。
ここで、背景指定判定部８ａは、中央制御部（指定手段）１３により合成用背景画像Ｐ２が指定されたか否かを判定する指定判定手段を構成している。
【００３６】
非平坦度判定部８ｂは、非平坦度演算処理にて演算された非平坦度が所定値以下であるか否の判定を行う。
具体的には、非平坦度判定部８ｂは、ライブビュー画像表示用の画像フレームとして生成され、被写体存在画像Ｐ１ａの背景部分を構成する背景画像Ｐｂの特徴点（特徴の高いブロック領域）が所定値以下であるか否かを判定する。また、非平坦度判定部８ｂは、背景画像Ｐｂのブロック領域内の画素値のばらつき量が所定値以下であるか否かを判定する。
即ち、背景画像Ｐｂと略等しい画角内に被写体Ｓが配置されることで被写体存在画像Ｐ１ａが構成されるようになっていることから、当該被写体存在画像Ｐ１ａの被写体Ｓと重なっていない背景部分の画素値（例えば、輝度値）は、背景画像Ｐｂの画素値と略等しくなっている。そして、非平坦度判定部８ｂは、背景画像Ｐｂの非平坦度が所定値以下であるか否の判定を行うことにより、被写体存在画像Ｐ１ａの背景部分の非平坦度が所定値以下であるか否かを判定する非平坦度判定手段を構成している。
【００３７】
また、非平坦度判定部８ｂは、抽出用背景生成処理にて、特徴量演算部６ｂによって被写体存在画像Ｐ１ａの周縁部分の複数の画像ブロックＢ、…について抽出された特徴点が所定値以下であるか否か（被写体存在画像Ｐ１ａの周縁部分の特徴量が多いか否か）を判定する。また、非平坦度判定部８ｂは、ばらつき量算出部６ｃにより算出された各画像ブロックＢのばらつき量が所定値以下であるか否かを判定する。
さらに、非平坦度判定部８ｂは、特徴点が所定値以下であり、且つ、ブロック領域内の画素値のばらつき量が所定値以下であると判定された画像ブロックＢを計数して、画像ブロックＢが複数あるか否かを判定する。
【００３８】
なお、非平坦度判定部８ｂは、被写体存在画像Ｐ１ａの背景部分の非平坦度が所定値以下であるか否かの判定にて、上記したように、被写体存在画像Ｐ１ａの周縁部分の複数の画像ブロックＢ、…についての非平坦度の判定手法を適用しても良い。
【００３９】
抽出用背景生成部８ｃは、クロマキー技術を利用して被写体画像Ａを抽出するための抽出用背景画像（図示略）を生成する。
具体的には、抽出用背景生成部８ｃは、非平坦度判定部８ｂによって、被写体存在画像Ｐ１ａの周縁部分の特徴点が所定値以下であり、且つ、ブロック領域内の画素値のばらつき量が所定値以下である画像ブロックＢ、即ち、特徴量の少ない画像ブロックＢが複数あると判定された場合に、当該画像ブロックＢの色と同じ色を背景色とする抽出用背景画像を生成する。例えば、図６（ｂ）に示すように、特徴量の少ない無地の背景をバックに被写体Ｓを撮影した場合には、被写体存在画像Ｐ１ａの周縁部分の特徴量が少なくなり、当該被写体存在画像Ｐ１ａの周縁部分と同じ色の抽出用背景画像を生成する。
なお、クロマキーとは、特定の色背景を用いて一の画像データから被写体Ｓを切り抜く手法である。クロマキーでは、通常、背景に被写体Ｓと補色の関係にある青や緑のスクリーンを用いるようになっており、被写体存在画像Ｐ１ａの周縁部分と同じ色の抽出用背景画像を生成することで、抽出用背景画像と被写体存在画像Ｐ１ａの色情報を基にして背景部分と被写体部分を分離することができる。
【００４０】
位置合わせ部８ｄは、被写体非存在画像Ｐ３から抽出した特徴点に基づいて、被写体存在画像Ｐ１ｂと被写体非存在画像Ｐ３との位置合わせを行う。
即ち、位置合わせ部８ｄは、被写体非存在画像Ｐ３から抽出した特徴点に基づいて、被写体非存在画像Ｐ３に対する被写体存在画像Ｐ１ｂの各画素の座標変換式（射影変換行列）を算出し、当該座標変換式に従って被写体存在画像Ｐ１ｂを座標変換して被写体非存在画像Ｐ３と位置合わせを行う。
具体的には、位置合わせ部８ｄは、ブロックマッチング部７により算出された複数のテンプレートの動きベクトルを多数決により演算して、統計的に所定％（例えば、５０％）以上となると判断された動きベクトルを全体の動きベクトルとして、当該動きベクトルに係る特徴点対応を用いて被写体存在画像Ｐ１ｂの射影変換行列を算出する。そして、位置合わせ部８ｄは、射影変換行列に従って被写体存在画像Ｐ１ｂを座標変換して被写体非存在画像Ｐ３と位置合わせを行う。
【００４１】
マスク生成部８ｅは、被写体存在画像Ｐ１ａ（Ｐ１ｂ）から被写体画像Ａを抽出するためのマスク画像を生成する。
即ち、マスク生成部８ｅは、背景となる画像（抽出用背景画像（図示略）や被写体非存在画像Ｐ３）と被写体存在画像Ｐ１ａ（Ｐ１ｂ）の対応する各画素の相違度Ｄを下記式（２）に従って算出して相違度マップを生成する。
【数２】
0005493839.tif 000003
なお、上記式にあっては、背景となる画像のＹＵＶデータを「Y」、「U」、「V」で表し、被写体存在画像Ｐ１ａのＹＵＶデータを「Yc」、「Uc」、「Vc」で表す。また、Ｇは、色差信号U、Vのゲインを表している。
そして、マスク生成部８ｅは、生成した相違度マップを所定の閾値で二値化（０、２５５）してマスク画像を生成する。
【００４２】
また、マスク生成部８ｅは、細かいノイズを除去するための収縮処理を行って所定値よりも小さい画素集合を除いた後、収縮分を修正するための膨張処理を行い、その後、同じ連結成分を構成する画素集合に同じ番号を付けるラベリング処理により、有効領域の構成画素数における所定の比率以下の領域を有効領域に置き換えることで穴埋めも行う。さらに、マスク生成部８ｅは、領域情報に対して平均化フィルタをかけて領域の縁部に合成階調をつける。
【００４３】
切抜画像生成部８ｆは、被写体Ｓの画像を所定の単一色背景画像Ｐ５と合成して被写体切り抜き画像Ｐ４の画像データを生成する。
即ち、切抜画像生成部８ｆは、クロマキー技術を利用して、マスク生成部８ｅにより生成されたマスク画像を用いて被写体存在画像Ｐ１ａ（Ｐ１ｂ）から被写体画像Ａを切り出して、単一色背景画像Ｐ５と合成して被写体切り抜き画像Ｐ４の画像データを生成する。
なお、マスク画像の縁部分には、合成階調がつけられているため、切り出された被写体画像Ａと単一色背景画像Ｐ５との境界部分がはっきりしていない自然な感じに合成することができる。
ここで、切抜画像生成部８ｆは、被写体存在画像Ｐ１ａ（Ｐ１ｂ）から被写体Ｓが含まれる被写体領域（被写体画像Ａ）を抽出する被写体抽出手段を構成している。
【００４４】
画像合成部８ｇは、被写体切り抜き画像Ｐ４の被写体画像Ａ（第１画像）と合成用背景画像Ｐ２（第２画像）とを合成して被写体合成画像Ｐ６を生成する。
具体的には、画像合成部８ｇは、合成用背景画像Ｐ２の各画素のうち、マスク画像の画像データの被写体Ｓ以外の部分で覆われる画素については、何もせずに透過させる一方で、被写体部分の画素については、被写体切り抜き画像Ｐ４の被写体画像Ａの対応する画素の画素値で上書きする。
【００４５】
また、画像合成部８ｇは、被写体切り抜き処理にて、背景指定判定部８ａにより合成用背景画像Ｐ２が指定されたと判定された場合には、当該指定済みの合成用背景画像Ｐ２と被写体切り抜き画像Ｐ４の被写体画像Ａの合成を行う。このとき、画像合成部８ｇは、被写体存在画像Ｐ１ａの撮像の際の被写体画像Ａの画角内における位置及び大きさを基準として、当該被写体画像Ａと合成用背景画像Ｐ２とを合成する。具体的には、画像合成部８ｇは、例えば、生成される被写体合成画像Ｐ６内の被写体画像Ａの位置（即ち、被写体画像Ａの中心位置）及び大きさ（即ち、被写体合成画像Ｐ６に対する被写体画像Ａの構成画素数の比率）が、被写体存在画像Ｐ１ａの撮像の際の被写体画像Ａの画角内における位置及び大きさと略等しくなるように調整して、当該被写体画像Ａと合成用背景画像Ｐ２とを合成させる。
一方、被写体切り抜き処理にて、合成用背景画像Ｐ２が指定されていないと判定された場合には、画像合成部８ｇは、当該被写体切り抜き処理にて、被写体切り抜き画像Ｐ４の被写体画像Ａと合成用背景画像Ｐ２の合成を行わずに、その後、ユーザ所望のタイミングで実行される画像合成処理にて被写体切り抜き画像Ｐ４と合成用背景画像Ｐ２の合成を行う。
【００４６】
このように、画像合成部８ｇは、切抜画像生成部８ｆにより抽出された被写体切り抜き画像Ｐ４の被写体画像Ａと予め指定されている合成用背景画像Ｐ２とを合成して被写体合成画像Ｐ６を生成する合成手段を構成している。
【００４７】
なお、ユーザによる操作入力部１２の所定操作に基づいて被写体画像Ａの合成位置を変更する場合、画像合成部８ｇは、当該合成位置に応じてマスク画像をずらして配置するようになっている。また、かかる状態で、合成用背景画像Ｐ２とマスク画像とがずれてしまいマスク画像の画像データの塗りつぶした部分（被写体Ｓ以外の部分）の範囲外となる領域については、画像合成部８ｇは、塗りつぶした部分を拡大してマスク画像により被覆されない領域を生じさせないようにする。
【００４８】
記録媒体制御部９は、記録媒体９ａが着脱自在に構成され、装着された記録媒体９ａからのデータの読み出しや記録媒体９ａに対するデータの書き込みを制御する。即ち、記録媒体制御部９は、画像処理部８のＪＰＥＧ圧縮部（図示略）により符号化された撮像画像の記録用の画像データを記録媒体９ａに記録させる。
また、記録媒体制御部９は、画像処理部８のマスク生成部８ｅにより生成されたマスク画像と、切抜画像生成部８ｆにより生成された被写体切り抜き画像Ｐ４の画像データをそれぞれ圧縮した上で対応付けて、当該被写体切り抜き画像Ｐ４の画像データの拡張子を「.jpe」として記録媒体９ａに記録させる。
さらに、記録媒体制御部９は、画像処理部８のマスク生成部８ｅにより生成されたマスク画像と、画像合成部８ｇにより生成された被写体合成画像Ｐ６の画像データとを対応付けて、当該被写体合成画像Ｐ６の画像データの拡張子を「.jpg」として記録媒体９ａに記録させる。
【００４９】
なお、記録媒体９ａは、例えば、不揮発性メモリ（フラッシュメモリ）等により構成されるが、一例であってこれに限られるものではなく、適宜任意に変更可能である。
【００５０】
表示制御部１０は、画像メモリ５に一時的に記憶されている表示用画像データを読み出して表示部１１に表示させる制御を行う。
具体的には、表示制御部１０は、ＶＲＡＭ、ＶＲＡＭコントローラ、デジタルビデオエンコーダなどを備えている。そして、デジタルビデオエンコーダは、中央制御部１３の制御下にて画像メモリ５から読み出されてＶＲＡＭ（図示略）に記憶されている輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒを、ＶＲＡＭコントローラを介してＶＲＡＭから定期的に読み出して、これらのデータを元にビデオ信号を発生して表示部１１に出力する。
表示部１１は、例えば、液晶表示装置であり、表示制御部１０からのビデオ信号に基づいてライブビュー画像やレックビュー画像などを表示画面１１ａに表示する。
即ち、表示制御部１０は、撮像モードにて、レンズ部１、電子撮像部２及び撮像制御部３による被写体Ｓの撮像により生成された複数の画像フレームに基づいてライブビュー画像や、本撮像画像として撮像されたレックビュー画像などを表示部１１の表示画面１１ａに表示させる。
【００５１】
また、表示制御部１０は、被写体存在画像Ｐ１ａの撮像の際に、中央制御部１３によって指定済みの合成用背景画像Ｐ２を半透過の表示態様で表示部１１に表示させる。即ち、表示制御部１０は、非平坦度判定部８ｂによりライブビュー画像Ｐｂの非平坦度（特徴の高いブロック領域や画素値のばらつき量）が所定値以下であると判定された場合に、所定の画像サイズの合成用背景画像Ｐ２の画像データに基づいて当該合成用背景画像Ｐ２を半透過の表示態様（半透過の合成用背景画像Ｐ２´）でライブビュー画像に重ねて表示部１１に表示させる。
ここで、合成用背景画像Ｐ２の画像データとしては、記録用として記録媒体９ａに記録されている高解像度の画像データを用いても良いし、合成用背景画像Ｐ２の撮像の際に画像データ生成部４により水平（ｘ軸）及び垂直（ｙ軸）ともに所定の比率で縮小されることで生成された中間解像度（例えば、ＶＧＡ程度）の縮小画像データを用いても良いが、表示制御部１０の処理負担の軽減や処理速度の高速化を図る上では、縮小画像データを用いる方が好ましい。
なお、合成用背景画像Ｐ２の半透過の表示態様（半透過の合成用背景画像Ｐ２´）とは、合成用背景画像Ｐ２が透明と不透明の中間で表示された状態であり、当該合成用背景画像Ｐ２に重ねて後側に表示されるライブビュー画像の輪郭や色彩や明暗などを透過する程度の表示態様のことである。また、半透過の表示態様の合成用背景画像Ｐ２を所定のタイミングで表示と非表示とを交互に切り替えるようにすることで、通常のライブビュー画像と半透過した合成用背景画像Ｐ２が重ねられたライブビュー画像とを連続的に視認可能としても良い。
【００５２】
このように、表示制御部１０は、レンズ部１、電子撮像部２及び撮像制御部３による被写体存在画像Ｐ１ａの撮像の際に、指定済みの合成用背景画像Ｐ２を半透過の表示態様で表示部（表示手段）１１に表示させる表示制御手段を構成している。
【００５３】
操作入力部１２は、当該撮像装置１００の所定操作を行うためのものである。具体的には、操作入力部１２は、被写体Ｓの撮影指示に係るシャッタボタン１２ａ、メニュー画面にて撮像モードや機能等の選択指示に係る選択決定用ボタン１２ｂ、ズーム量の調整指示に係るズームボタン（図示略）等を備え、これらのボタンの操作に応じて所定の操作信号を中央制御部１３に出力する。
【００５４】
また、操作入力部１２の選択決定用ボタン１２ｂは、ユーザによる所定操作に基づいて、記録媒体９ａに記録されている複数の画像の中から選択された所望の画像の指定指示を中央制御部１３に出力する。
中央制御部１３は、入力された指定指示に対応する画像を被写体画像Ａと合成すべき合成用背景画像Ｐ２として指定する。
ここで、操作入力部１２及び中央制御部１３は、被写体画像Ａと合成すべき合成用背景画像Ｐ２を指定する指定手段を構成している。
【００５５】
なお、合成用背景画像Ｐ２は、ユーザによる操作入力部１２の所定操作に基づいて指定されるようにしたが、合成用背景画像Ｐ２の指定方法はこれに限られるものではない。即ち、中央制御部１３は、例えば、被写体切り抜き処理の実行直前に撮像された画像や、予め登録済みのユーザ所望の画像などを合成用背景画像Ｐ２として自動的に指定するような構成としても良い。
【００５６】
中央制御部１３は、撮像装置１００の各部を制御するものである。具体的には、中央制御部１３は、ＣＰＵ、ＲＡＭ、ＲＯＭ（何れも図示略）を備え、撮像装置１００用の各種処理プログラム（図示略）に従って各種の制御動作を行う。
【００５７】
次に、撮像装置１００による画像合成方法に係る被写体切り抜き処理について、図２〜図８を参照して説明する。
図２及び図３は、被写体切り抜き処理に係る動作の一例を示すフローチャートである。
【００５８】
被写体切り抜き処理は、ユーザによる操作入力部１２の選択決定用ボタン１２ｂの所定操作に基づいて、メニュー画面に表示された複数の撮像モードの中から被写体切り抜きモードが選択指示された場合に実行される処理である。
図２に示すように、先ず、中央制御部１３は、画像メモリ５のフラグテーブル（図示略）に合成用背景画像指定フラグ＝０及び抽出用背景撮影フラグ＝０を書き込む（ステップＳ１）。
次に、画像処理部８の背景指定判定部８ａは、ユーザによる操作入力部１２の所定操作に基づいて、記録媒体９ａに記録されている複数の画像の中から所望の合成用背景画像Ｐ２（図６（ａ）参照）が選択指定されたか否かを判定する（ステップＳ２）。
ここで、合成用背景画像Ｐ２が選択指定されたと判定されると（ステップＳ２；ＹＥＳ）、中央制御部１３は、画像メモリ５のフラグテーブル（図示略）に合成用背景画像指定フラグ＝１を書き込む（ステップＳ３）。
【００５９】
その後、表示制御部１０は、レンズ部１、電子撮像部２及び撮像制御部３による被写体Ｓの撮像により順次生成された画像フレームに基づいてライブビュー画像を表示部１１の表示画面１１ａに表示させるとともに、当該ライブビュー画像に重ねて背景指示メッセージ（例えば、「背景に向けてください」等）を表示部１１の表示画面１１ａに表示させる（ステップＳ４；図６（ｂ）参照）。
また、ステップＳ２にて、合成用背景画像Ｐ２が選択指定されていないと判定された場合には（ステップＳ２；ＮＯ）、中央制御部１３は、ステップＳ３の処理をスキップして、処理をステップＳ４に移行させる、そして、上記と同様に、表示制御部１０は、ライブビュー画像を表示部１１の表示画面１１ａに表示させるとともに、当該ライブビュー画像に重ねて背景指示メッセージを表示部１１の表示画面１１ａに表示させる（ステップＳ４）。
【００６０】
そして、表示制御部１０は、レンズ部１、電子撮像部２及び撮像制御部３による被写体Ｓの撮像により順次生成された画像フレームに基づいてライブビュー画像を更新させる制御を行い（ステップＳ５）、中央制御部１３は、ライブビュー画像表示用の画像フレーム（背景画像Ｐｂ）のＹＵＶデータに基づいて、特徴の高いブロック領域（特徴点）を特徴量演算部６ｂに抽出させるとともに、各ブロック領域内のばらつき量としての標準偏差を式（１）に従ってばらつき量算出部６ｃに算出させる（ステップＳ６）。
【数３】
0005493839.tif 000004
【００６１】
次に、画像処理部８の非平坦度判定部８ｂは、特徴量演算部６ｂにより抽出された特徴の高いブロック領域が所定値以下であるか否か、及びばらつき量算出部６ｃにより算出された背景画像のブロック領域内の画素値のばらつき量が所定値以下であるか否かを判定することで、特徴点及び当該ブロック領域内の画素値のばらつき量がないか否かを判断する（ステップＳ７）。
ここで、特徴点及び当該ブロック領域内の画素値のばらつき量がないと判断されると（ステップＳ７；ＹＥＳ）、即ち、例えば、特徴量の少ない無地の背景をバックに被写体Ｓ（例えば、「犬」等）を撮影する場合（図６（ｂ）参照）、中央制御部１３は、合成用背景画像指定フラグ＝１であるか否かを判定する（ステップＳ８）。
【００６２】
ステップＳ８にて、合成用背景画像指定フラグ＝１であると判定されると（ステップＳ８；ＹＥＳ）、表示制御部１０は、ライブビュー画像に重ねて、合成用背景画像Ｐ２の半透過の表示態様の画像（半透過の合成用背景画像Ｐ２´）及び撮像指示メッセージ（例えば、「被写体を撮影してください」等）を表示部１１の表示画面１１ａに表示させる（ステップＳ９）。
その後、表示制御部１０は、レンズ部１、電子撮像部２及び撮像制御部３による被写体Ｓの撮像により順次生成された画像フレームに基づいてライブビュー画像を更新させる制御を行い（ステップＳ１０）、中央制御部１３は、ユーザにより操作入力部１２のシャッタボタン１２ａが撮像指示操作されたか否かを判定する（ステップＳ１１）。
【００６３】
また、ステップＳ８にて、合成用背景画像指定フラグ＝１でないと判定された場合には（ステップＳ８；ＮＯ）、表示制御部１０は、ライブビュー画像に重ねて撮像指示メッセージ（例えば、「被写体を撮影してください」等）を表示部１１の表示画面１１ａに表示させた後（ステップＳ１２）、中央制御部１３は、処理をステップＳ１０に移行して、それ以降の処理を行う。
【００６４】
ステップＳ１１にて、シャッタボタン１２ａが撮像指示操作されていないと判定されると（ステップＳ１１；ＮＯ）、中央制御部１３は、処理をステップＳ１０に移行させて、それ以降の処理を、ステップＳ１１にてシャッタボタン１２ａが撮像指示操作されたと判定されるまで（ステップＳ１１；ＹＥＳ）、繰り返し実行する。
【００６５】
この後、ユーザは、被写体Ｓを画角内に移動させる、或いは被写体Ｓが移動するのを待った後（図６（ｃ）参照）、ステップＳ１１にて、シャッタボタン１２ａが撮像指示操作されたと判定されると（ステップＳ１１；ＹＥＳ）、撮像制御部３は、被写体存在画像Ｐ１ａの光学像を所定の撮像条件で電子撮像部２により撮像させる（ステップＳ１３）。
そして、画像データ生成部４は、電子撮像部２から転送された被写体存在画像Ｐ１ａの画像フレームに基づいて、被写体存在画像Ｐ１ａのＹＵＶデータを生成した後、当該ＹＵＶデータを画像メモリ５に一時記憶させる。
これにより、特徴量の少ない背景をバックに被写体Ｓ（例えば、「犬」等）が撮影された被写体存在画像Ｐ１ａが生成される。
【００６６】
一方、ステップＳ７にて、特徴点及びブロック領域内の画素値のばらつき量があると判断されると（ステップＳ７；ＹＥＳ）、即ち、例えば、特徴量の多い背景をバックに被写体Ｓを撮影する場合（図８（ａ）参照）、中央制御部１３は、ユーザにより操作入力部１２のシャッタボタン１２ａが撮像指示操作されたか否かを判定する（ステップＳ１４）。
ここで、シャッタボタン１２ａが撮像指示操作されていないと判定されると（ステップＳ１４；ＮＯ）、中央制御部１３は、処理をステップＳ５に移行させ、それ以降の処理を、ステップＳ１４にてシャッタボタン１２ａが撮像指示操作されたと判定されるまで（ステップＳ１４；ＹＥＳ）、繰り返し実行する。
そして、ステップＳ１４にて、シャッタボタン１２ａが撮像指示操作されたと判定されると（ステップＳ１４；ＹＥＳ）、中央制御部１３は、画像メモリ５のフラグテーブル（図示略）に抽出用背景撮影フラグ＝１を書き込んだ後（ステップＳ１５）、処理をステップＳ１３に移行させて、被写体Ｓの撮影を行う。
これにより、特徴量の多い背景をバックに被写体Ｓが撮影された被写体存在画像Ｐ１ｂ（図８（ａ）参照）が生成される。
【００６７】
次に、図３に示すように、中央制御部１３は、抽出用背景撮影フラグ＝０であるか否かを判定する（ステップＳ１６）。
ここで、抽出用背景撮影フラグ＝０であると判定されると（ステップＳ１６；ＹＥＳ）、中央制御部１３は、非平坦度演算部６及び画像処理部８に、被写体存在画像Ｐ１ａから被写体画像Ａを抽出するための抽出用背景画像を生成させる抽出用背景生成処理を行わせる（ステップＳ１７）。
【００６８】
以下に、抽出用背景生成処理について図４を参照して詳細に説明する。
ここで、図４は、抽出用背景生成処理に係る動作の一例を示すフローチャートである。
【００６９】
図４に示すように、非平坦度演算部６の分割部６ａは、被写体存在画像Ｐ１ａのＹＵＶデータに基づいて、当該被写体存在画像Ｐ１ａの周縁部分を複数の画像ブロックＢ、…に分割して（図７（ａ）参照）、各画像ブロックＢの特徴点を抽出する（ステップＳ４１）。
続けて、画像処理部８のばらつき量算出部６ｃは、被写体存在画像Ｐ１ａの周縁部分の複数の画像ブロックＢ、…の各々について画素値のばらつき量としての標準偏差を式（１）に従って算出する（ステップＳ４２）。
【数４】
0005493839.tif 000005
【００７０】
次に、非平坦度判定部８ｂは、被写体存在画像Ｐ１ａの周縁部分の複数の画像ブロックＢ、…について抽出された特徴点が所定値以下であるか否かを判定するとともに、各画像ブロックＢのばらつき量が所定値以下であるか否かを判定し、当該判定の結果、特徴点が所定値以下で、且つ、画像ブロックＢ内の画素値のばらつき量が所定値以下であると判定された画像ブロックＢを計数して、画像ブロックＢが複数あるか否かを判断する。さらに、ばらつきがないとされた画像ブロックＢの内、同じ色の画像ブロックＢを計数する。そして、ばらつきがなく、同じ色の画像ブロックＢの数が所定値（例えば、画像全体のブロック数の半分）以上であるか否かを判定する（ステップＳ４３）。
ここで、ばらつきがなく、同じ色の画像ブロックＢが所定値以上あると判断されると（ステップＳ４３；ＹＥＳ）、抽出用背景生成部８ｃは、当該画像ブロックＢの色と同じ色を背景色とする抽出用背景画像のＹＵＶデータを生成（ステップＳ４４）して、抽出用背景生成成功とする（ステップＳ４５）。
【００７１】
一方、ステップＳ４３にて、ばらつきがなく、同じ色の画像ブロックＢが所定値に満たないと判断されると（ステップＳ４３；ＮＯ）、例えば、ばらつきのない安定した画像ブロックＢがあっても、同じ色のブロックがない場合等には背景が特定できないため、抽出用背景生成部８ｃは、抽出用背景画像を生成せずに、抽出用背景生成失敗とする（ステップＳ４６）。
これにより、抽出用背景生成処理を終了する。
【００７２】
図３に示すように、次に、中央制御部１３は、抽出用背景生成部８ｃに、抽出用背景生成が成功したか否かを判定させる（ステップＳ１８）。
ここで、抽出用背景生成が成功したと判定されると（ステップＳ１８；ＹＥＳ）、中央制御部１３は、画像処理部８に、被写体存在画像Ｐ１ａから被写体Ｓが含まれる被写体領域を検出する領域検出処理を行わせる（ステップＳ１９）。
【００７３】
以下に、領域検出処理について図５を参照して詳細に説明する。
ここで、図５は、領域検出処理に係る動作の一例を示すフローチャートである。
【００７４】
図５に示すように、画像処理部８のマスク生成部８ｅは、抽出用背景画像のＹＵＶデータと被写体存在画像Ｐ１ａのＹＵＶデータとの間で対応する各画素の相違度Ｄを式（２）に従って算出して相違度マップを生成する（ステップＳ５１）。
【数５】
0005493839.tif 000006
【００７５】
次に、マスク生成部８ｅは、生成した相違度マップを所定の閾値で二値化してマスク画像データを生成する（ステップＳ５２）。そして、マスク生成部８ｅは、例えば、背景（二値化；０）の領域が著しく小さいか否か等を判定することで、二値化が成功したか否かを判断する（ステップＳ５３）。
ここで、二値化に成功したと判断されると（ステップＳ５３；ＹＥＳ）、マスク生成部８ｅは、被写体領域の周辺部の残り過ぎを修正したり細かいノイズを除去するため、マスク画像データに対する収縮処理を行って所定値よりも小さい画素集合を除いた後（ステップＳ５４）、収縮分を修正するための膨張処理を行う（ステップＳ５５）。
【００７６】
続けて、被写体Ｓに背景色と似たような色がある場合、マスク画像の被写体領域内が欠損するため、マスク生成部８ｅは、同じ連結成分を構成する画素集合に同じ番号を付けるラベリング処理により、マスク画像データの有効領域の構成画素数における所定の比率以下の領域を有効領域に置き換えることで穴埋めを行う（ステップＳ５６）。
その後、マスク生成部８ｅは、マスク画像データに対して平均化フィルタをかけて、被写体領域の縁部に合成階調をつけて（ステップＳ５７）、領域検出成功とする（ステップＳ５８）。
【００７７】
一方、ステップＳ５３にて、二値化に成功しなかったと判断されると（ステップＳ５３；ＮＯ）、例えば、背景（二値化；０）の領域が著しく小さい場合などには、マスク生成部８ｅは、二値化に失敗したとみなして領域検出失敗とする（ステップＳ５９）。
これにより、領域検出処理を終了する。
【００７８】
図３に示すように、ステップＳ１８にて、抽出用背景生成が成功しなかったと判定されると（ステップＳ１８；ＮＯ）、表示制御部１０は、被写体Ｓの切り抜きの失敗に係る所定のメッセージ（例えば、「被写体の切り抜きに失敗しました」等）を表示部１１の表示画面１１ａに表示させて（ステップＳ２０）、被写体切り抜き処理を終了する。
【００７９】
また、ステップＳ１６にて、抽出用背景撮影フラグ＝０ではないと判定されると（ステップＳ１６；ＮＯ）、即ち、抽出用背景撮影フラグ＝１となっている場合には、表示制御部１０は、ライブビュー画像に重ねて、被写体存在画像Ｐ１ｂの半透過の表示態様の画像と被写体非存在画像Ｐ３（図８（ｂ）参照）の撮像指示メッセージ（例えば、「背景を撮影してください」等）を表示部１１の表示画面１１ａに表示させる（ステップＳ２１）。
【００８０】
その後、表示制御部１０は、レンズ部１、電子撮像部２及び撮像制御部３による被写体Ｓの撮像により順次生成された画像フレームに基づいてライブビュー画像を更新させる制御を行い（ステップＳ２２）、中央制御部１３は、ユーザにより操作入力部１２のシャッタボタン１２ａが撮像指示操作されたか否かを判定する（ステップＳ２３）。
ここで、シャッタボタン１２ａが撮像指示操作されていないと判定されると（ステップＳ２２；ＮＯ）、中央制御部１３は、処理をステップＳ２２に移行させて、それ以降の処理を、ステップＳ２３にてシャッタボタン１２ａが撮像指示操作されたと判定されるまで（ステップＳ２３；ＹＥＳ）、繰り返し実行する。
【００８１】
この後、ユーザは、被写体Ｓを画角外に移動させる、或いは被写体Ｓが移動するのを待った後、ステップＳ２３にて、シャッタボタン１２ａが撮像指示操作されたと判定されると（ステップＳ２３；ＹＥＳ）、撮像制御部３は、被写体非存在画像Ｐ３の光学像を所定の撮像条件で電子撮像部２により撮像させる（ステップＳ２４）。
ここで、被写体非存在画像Ｐ３の合焦位置や露出条件やホワイトバランス等の撮像条件は、被写体存在画像Ｐ１ｂの撮像の際の撮像条件と同じであるのが好ましい。即ち、被写体存在画像Ｐ１ｂの撮像後に、撮像制御部３は、被写体存在画像Ｐ１ｂの撮像の際の合焦位置や露出条件やホワイトバランス等の撮像条件を固定した状態を維持させるようにしても良い。
そして、画像データ生成部４は、電子撮像部２から転送された被写体非存在画像Ｐ３の画像フレームに基づいて、被写体非存在画像Ｐ３のＹＵＶデータを生成した後、当該ＹＵＶデータを画像メモリ５に一時記憶させる。
これにより、被写体Ｓが存在しない特徴量の多い背景が撮影された被写体非存在画像Ｐ３が生成される。
【００８２】
次に、中央制御部１３は、非平坦度演算部６、ブロックマッチング部７及び画像処理部８に、被写体非存在画像Ｐ３のＹＵＶデータを基準として、被写体存在画像Ｐ１ｂのＹＵＶデータと被写体非存在画像Ｐ３のＹＵＶデータとを位置合わせする処理を行わせる（ステップＳ２５）。
具体的には、非平坦度演算部６の特徴量演算部６ｂは、被写体非存在画像Ｐ３のＹＵＶデータに基づいて、所定数（或いは、所定数以上)の特徴の高いブロック領域（特徴点）を選択して、当該ブロックの内容をテンプレートとして抽出する。そして、ブロックマッチング部７は、特徴抽出処理にて抽出されたテンプレートの画素値が最適にマッチする位置を被写体存在画像Ｐ１ｂ内にて探索して、画素値の相違度の評価値が最も良かった被写体非存在画像Ｐ３と被写体存在画像Ｐ１ｂ間の最適なオフセットを当該テンプレートの動きベクトルとして算出する。
そして、画像処理部８の位置合わせ部８ｄは、ブロックマッチング部７により算出された複数のテンプレートの動きベクトルに基づいて全体の動きベクトルを統計的に算出し、当該動きベクトルに係る特徴点対応を用いて被写体存在画像Ｐ１ｂの射影変換行列を算出した後、当該射影変換行例に基づいて被写体存在画像Ｐ１ｂを射影変換することで、被写体存在画像Ｐ１ｂのＹＵＶデータと被写体非存在画像Ｐ３のＹＵＶデータとを位置合わせする処理を行わせる。
【００８３】
次に、中央制御部１３は、画像処理部８に、位置合わせが成功したか否かを判定させる（ステップＳ２６）。即ち、画像処理部８は、ステップＳ２４にて、複数のテンプレートの動きベクトルから全体の動きベクトルを統計的に算出でき、当該動きベクトルに係る特徴点対応を用いて被写体存在画像Ｐ１ｂの射影変換行列を算出することができたか否かを判定する。
【００８４】
ステップＳ２６にて、位置合わせが成功したと判定されると（ステップＳ２５；ＹＥＳ）、中央制御部１３は、処理をステップＳ１９に移行させて、画像処理部８のマスク生成部８ｅに領域検出処理（図５参照）を行わせる（ステップＳ１９）。
ここでの領域検出処理は、抽出用背景画像として被写体非存在画像Ｐ３を用いる以外の点で上述した内容と略同一であり、その詳細な説明は省略する。即ち、マスク生成部８ｅは、背景画像としての被写体非存在画像Ｐ３のＹＵＶデータと被写体存在画像Ｐ１ｂのＹＵＶデータとの間で対応する各画素の相違度Ｄを式（２）に従って算出して相違度マップを生成する（ステップＳ５１）。
【数６】
0005493839.tif 000007
【００８５】
その後、上記したように、マスク生成部８ｅは、相違度マップを二値化してマスク画像データを生成する処理（ステップＳ５２）、二値化が成功したか否かを判断する処理（ステップＳ５３）、マスク画像データに対する収縮処理（ステップＳ５４）、収縮分を修正するための膨張処理（ステップＳ５５）、ラベリングにより、マスク画像データの所定の比率以下の領域を有効領域に置き換える処理（ステップＳ５６）、平均化フィルタをかけて被写体領域の縁部に合成階調をつける処理（ステップＳ５７）等を行う。
【００８６】
一方、ステップＳ２６にて、位置合わせが成功しなかったと判定されると（ステップＳ２６；ＮＯ）、中央制御部１３は、処理をステップＳ１９に移行させて、被写体Ｓの切り抜きの失敗に係る所定のメッセージを表示部１１の表示画面１１ａに表示させた後（ステップＳ２０）、被写体切り抜き処理を終了する。
【００８７】
そして、領域検出処理（ステップＳ１９）の終了後、中央制御部１３は、マスク生成部８ｅに、被写体領域の検出が成功したか否かを判定させる（ステップＳ２７）。
ここで、被写体領域の検出が成功したと判定されると（ステップＳ２７；ＹＥＳ）、中央制御部１３は、画像処理部８の切抜画像生成部８ｆに、クロマキー技術を利用して、領域検出処理にて生成されたマスク画像を用いて被写体存在画像Ｐ１ａ（Ｐ１ｂ）から被写体画像Ａを切り出して、所定の単一色背景画像Ｐ５と合成して被写体切り抜き画像Ｐ４（図７（ｂ）参照）の画像データを生成させる（ステップＳ２８）。
具体的には、切抜画像生成部８ｆは、被写体存在画像Ｐ１ａ（Ｐ１ｂ）、単一色背景画像Ｐ５及びマスク画像の各画像データを読み出して画像メモリ５に展開する。そして、切抜画像生成部８ｆは、被写体存在画像Ｐ１ａ（Ｐ１ｂ）のうち、マスク画像データの塗りつぶした部分（被写体Ｓ以外の部分）で覆われる画素については、単一色背景画像Ｐ５の所定の単一色で塗りつぶす一方で、被写体部分の画素については、何もせずに所定の単一色に対して透過させないようにする。なお、マスク画像の縁部分には、合成階調がつけられているため、切り出された被写体画像Ａと単一色背景画像Ｐ５との境界部分がはっきりしていない自然な感じとなる。
【００８８】
その後、中央制御部１３は、合成用背景画像指定フラグ＝０であるか否かを判定する（ステップＳ２９）。
ここで、合成用背景画像指定フラグ＝０であると判定されると（ステップＳ２９；ＹＥＳ）、中央制御部１３は、画像処理部８の画像合成部８ｇに、被写体切り抜き画像Ｐ４の被写体画像Ａと指定済みの合成用背景画像Ｐ２とを合成して被写体合成画像Ｐ６（図７（ｃ）参照）の画像データを生成させる（ステップＳ３０）。
具体的には、画像合成部８ｇは、合成用背景画像Ｐ２、被写体切り抜き画像Ｐ４及びマスク画像の各画像データを読み出して画像メモリ５に展開する。そして、画像合成部８ｇは、生成される被写体合成画像Ｐ６における被写体画像Ａの位置及び大きさが、被写体存在画像Ｐ１ａの撮像の際の画角内の被写体画像Ａの位置及び大きさと略等しくなるように調整した後、合成用背景画像Ｐ２の各画素のうち、マスク画像の画像データの塗りつぶした部分（被写体Ｓ以外の部分）で覆われる画素については、何もせずに透過させる一方で、被写体部分の画素については、被写体切り抜き画像Ｐ４の被写体画像Ａの対応する画素の画素値で上書きする。なお、マスク画像の縁部分には、合成階調がつけられているため、合成される被写体画像Ａと合成用背景画像Ｐ２との境界部分がはっきりしていない自然な感じとなる。
【００８９】
その後、表示制御部１０は、画像合成部８ｇにより生成された被写体合成画像Ｐ６の画像データに基づいて、合成用背景画像Ｐ２に被写体画像Ａが合成された被写体合成画像Ｐ６を表示部１１の表示画面１１ａに表示させる（ステップＳ３１；図７（ｃ）参照）。
次に、記録媒体制御部９は、記録媒体９ａの所定の記憶領域に、マスク画像データと被写体合成画像Ｐ６の画像データとを対応付けて、当該被写体合成画像Ｐ６の画像データの拡張子を「.jpg」として一ファイルで保存させる（ステップＳ３２）。
これにより、被写体切り抜き処理を終了する。
【００９０】
一方、ステップＳ２９にて、合成用背景画像指定フラグ＝０でないと判定されると（ステップＳ２９；ＮＯ）、表示制御部１０は、切抜画像生成部８ｆにより生成された被写体切り抜き画像Ｐ４の画像データに基づいて、所定の単一色背景画像Ｐ５に被写体画像Ａが合成された被写体切り抜き画像Ｐ４を表示部１１の表示画面１１ａに表示させる（ステップＳ３３）。
その後、記録媒体制御部９は、記録媒体９ａの所定の記憶領域に、マスク画像データと被写体切り抜き画像Ｐ４の画像データとを対応付けて、当該被写体切り抜き画像Ｐ４の画像データの拡張子を「.jpe」として一ファイルで保存させた後（ステップＳ３４）、被写体切り抜き処理を終了する。
【００９１】
また、ステップＳ２７にて、被写体領域の検出が成功しなかったと判定されると（ステップＳ２７；ＮＯ）、中央制御部１３は、処理をステップＳ２０に移行させて、被写体Ｓの切り抜きの失敗に係る所定のメッセージを表示部１１の表示画面１１ａに表示させた後（ステップＳ２０）、被写体切り抜き処理を終了する。
【００９２】
以上のように、本実施形態の撮像装置１００によれば、被写体画像Ａと合成すべき合成用背景画像Ｐ２が指定されたと判定され、当該合成用背景画像Ｐ２が目視可能な状態で背景内に被写体Ｓが存在する被写体存在画像Ｐ１ａを撮像することで、この被写体存在画像Ｐ１ａから被写体Ｓが含まれる領域の被写体画像Ａを抽出して、当該被写体画像Ａと指定済みの合成用背景画像Ｐ２とを合成して被写体合成画像Ｐ６を生成することができる。つまり、被写体存在画像Ｐ１ａの撮像前に予め合成用背景画像Ｐ２を指定しておくだけで、当該合成用背景画像Ｐ２と被写体存在画像Ｐ１ａの被写体画像Ａとを合成することができ、ユーザによる所定操作に基づいて一回の撮影動作で被写体合成画像Ｐ６の生成を簡便に行うことができる。
【００９３】
また、被写体存在画像Ｐ１ａの撮像の際に、指定済みの合成用背景画像Ｐ２の半透過画像Ｐ２´を表示部１１に表示させるので、ユーザに当該半透過の表示態様で表示されている合成用背景画像Ｐ２を視認させた状態で被写体存在画像Ｐ１ａの撮像を行うことができ、これにより、合成用背景画像Ｐ２と被写体Ｓとの位置関係を考慮して被写体合成画像Ｐ６の構図の決定を行うことができる。つまり、被写体存在画像Ｐ１ａの撮像の際に、当該被写体存在画像Ｐ１ａの撮像だけでなく、撮像後に生成される被写体合成画像Ｐ６の構図の決定も行うことができ、当該被写体合成画像Ｐ６の生成をより簡便に行うことができる。
特に、ライブビュー画像として表示される被写体存在画像Ｐ１ａの背景部分の非平坦度が所定値以下であると判定された場合に、指定済みの合成用背景画像Ｐ２を半透過の表示態様で表示部１１に表示させるので、ユーザに当該半透過の表示態様で表示されている合成用背景画像Ｐ２を適正に視認させることができる。即ち、例えば、特徴量の多い背景をバックに被写体Ｓを撮影する場合に、半透過の表示態様であっても合成用背景画像Ｐ２をライブビュー画像に重ねて表示させると、被写体存在画像Ｐ１ａにおける被写体Ｓの背景部分の画素と合成用背景画像Ｐ２の画素とが混在してしまい、当該合成用背景画像Ｐ２を視認し難くなり被写体合成画像Ｐ６の構図の決定が困難となってしまう。一方、例えば、無地で単色の背景のように特徴量の少ない背景をバックにして被写体Ｓを撮像する際に、合成用背景画像Ｐ２を半透過の表示態様でライブビュー画像に重ねて表示させても、被写体存在画像Ｐ１ａにおける被写体Ｓの背景側に表示される合成用背景画像Ｐ２の視認を適正に行うことができ、被写体合成画像Ｐ６の構図の決定を容易に行うことができる。
【００９４】
さらに、被写体存在画像Ｐ１ａの撮像の際の被写体Ｓの画角内における位置を基準として、被写体画像Ａと合成用背景画像Ｐ２の合成を行うので、生成される被写体合成画像Ｐ６内の被写体画像Ａの位置が、被写体存在画像Ｐ１ａの撮像の際の被写体画像Ａの画角内における位置と略等しくなるように調整して当該被写体画像Ａと合成用背景画像Ｐ２とを合成させることができ、被写体合成画像Ｐ６の生成をより簡便に行うことができる。即ち、被写体存在画像Ｐ１ａの撮像の際に被写体Ｓの画角内における位置を調整しておくだけで、合成用背景画像Ｐ２における被写体画像Ａの合成位置を自動的に決定することができ、被写体存在画像Ｐ１ａの撮像後に、合成用背景画像Ｐ２と被写体Ｓとの位置関係を考慮して被写体合成画像Ｐ６の構図の決定を行う必要がなくなる。
【００９５】
また、被写体存在画像Ｐ１ａの撮像の際の被写体Ｓの画角内における大きさを基準として、被写体画像Ａと合成用背景画像Ｐ２の合成を行うので、生成される被写体合成画像Ｐ６内の被写体画像Ａの大きさが、被写体存在画像Ｐ１ａの撮像の際の被写体画像Ａの画角内における大きさと略等しくなるように調整して当該被写体画像Ａと合成用背景画像Ｐ２とを合成させることができ、被写体合成画像Ｐ６の生成をより簡便に行うことができる。即ち、被写体存在画像Ｐ１ａの撮像の際に被写体Ｓの画角内における大きさを調整しておくだけで、合成用背景画像Ｐ２における被写体画像Ａの合成サイズを自動的に決定することができ、被写体存在画像Ｐ１ａの撮像後に、合成用背景画像Ｐ２と被写体Ｓとの大小関係を考慮して被写体合成画像Ｐ６の構図の決定を行う必要がなくなる。
【００９６】
なお、本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
以下に、撮像装置１００の変形例について説明する。
ここで、撮像装置１００の変形例は、以下に詳細に説明する以外の点で上記実施形態の撮像装置１００と略同様の構成を成し、その説明は省略する
【００９７】
＜変形例１＞
変形例１の撮像装置１００は、被写体切り抜き処理にて、被写体存在画像Ｐ１ａの背景部分の非平坦度が所定値以下であるか否かの判定を行わない。即ち、被写体切り抜き処理にあっては、必ずしも被写体存在画像Ｐ１ａの背景部分の非平坦度が所定値以下であるか否かの判定処理を行う必要がないことから、変形例１の撮像装置１００は、撮像モードを予め特徴量の少ない背景をバックに被写体Ｓを撮像するモードに設定しておくことで、被写体切り抜き処理にて、当該被写体存在画像Ｐ１ａの背景部分の非平坦度の判定処理を行わない。
【００９８】
次に、変形例１の撮像装置１００による画像合成方法に係る被写体切り抜き処理について、図９及び図１０を参照して説明する。
図９及び図１０は、被写体切り抜き処理に係る動作の一例を示すフローチャートである。
なお、以下の被写体切り抜き処理にあっては、特徴量の少ない背景をバックに被写体Ｓを撮像する場合について説明する。
【００９９】
図９に示すように、先ず、中央制御部１３は、画像メモリ５のフラグテーブル（図示略）に合成用背景画像指定フラグ＝０を書き込む（ステップＳ１０１）。
次に、画像処理部８の背景指定判定部８ａは、ユーザによる操作入力部１２の所定操作に基づいて、記録媒体９ａに記録されている複数の画像の中から所望の合成用背景画像Ｐ２（図６（ａ）参照）が選択指定されたか否かを判定する（ステップＳ１０２）。
ここで、合成用背景画像Ｐ２が選択指定されたと判定されると（ステップＳ１０２；ＹＥＳ）、中央制御部１３は、画像メモリ５のフラグテーブル（図示略）に合成用背景画像指定フラグ＝１を書き込む（ステップＳ１０３）。
【０１００】
次に、表示制御部１０は、ライブビュー画像に重ねて、合成用背景画像Ｐ２の半透過の表示態様の画像（半透過の合成用背景画像Ｐ２´）及び撮像指示メッセージ（例えば、「被写体を撮影してください」等）を表示部１１の表示画面１１ａに表示させる（ステップＳ１０４）。
その後、表示制御部１０は、レンズ部１、電子撮像部２及び撮像制御部３による被写体Ｓの撮像により順次生成された画像フレームに基づいてライブビュー画像を更新させる制御を行い（ステップＳ１０５）、中央制御部１３は、ユーザにより操作入力部１２のシャッタボタン１２ａが撮像指示操作されたか否かを判定する（ステップＳ１０６）。
【０１０１】
また、ステップＳ１０２にて、合成用背景画像Ｐ２が選択指定されていないと判定された場合には（ステップＳ１０２；ＮＯ）、表示制御部１０は、ライブビュー画像に重ねて撮像指示メッセージ（例えば、「被写体を撮影してください」等）を表示部１１の表示画面１１ａに表示させた後（ステップＳ１０７）、中央制御部１３は、処理をステップＳ１０５に移行して、それ以降の処理を行う。
【０１０２】
ステップＳ１０６にて、シャッタボタン１２ａが撮像指示操作されていないと判定されると（ステップＳ１０６；ＮＯ）、中央制御部１３は、処理をステップＳ１０５に移行させて、それ以降の処理を、ステップＳ１０６にてシャッタボタン１２ａが撮像指示操作されたと判定されるまで（ステップＳ１０６；ＹＥＳ）、繰り返し実行する。
【０１０３】
この後、ステップＳ１０６にて、シャッタボタン１２ａが撮像指示操作されたと判定されると（ステップＳ１０６；ＹＥＳ）、撮像制御部３は、被写体存在画像Ｐ１ａの光学像を所定の撮像条件で電子撮像部２により撮像させる（ステップＳ１０６）。
そして、画像データ生成部４は、電子撮像部２から転送された被写体存在画像Ｐ１ａの画像フレームに基づいて、被写体存在画像Ｐ１ａのＹＵＶデータを生成した後、当該ＹＵＶデータを画像メモリ５に一時記憶させる。
これにより、特徴量の少ない背景をバックに被写体Ｓ（例えば、「犬」等）が撮影された被写体存在画像Ｐ１ａが生成される。
【０１０４】
次に、図１０に示すように、中央制御部１３は、非平坦度演算部６及び画像処理部８に、被写体存在画像Ｐ１ａから被写体画像Ａを抽出するための抽出用背景画像を生成させる抽出用背景生成処理を行わせる（ステップＳ１０９）。
なお、抽出用背景生成処理は、上記実施形態で上述した内容と略同一であり、その詳細な説明は省略する。
【０１０５】
続けて、中央制御部１３は、抽出用背景生成部８ｃに、抽出用背景生成が成功したか否かを判定させる（ステップＳ１１０）。
ここで、抽出用背景生成が成功したと判定されると（ステップＳ１１０；ＹＥＳ）、中央制御部１３は、画像処理部８に、被写体存在画像Ｐ１ａから被写体Ｓが含まれる被写体領域を検出する領域検出処理を行わせる（ステップＳ１１１）。
なお、領域検出処理は、上記実施形態で上述した内容と略同一であり、その詳細な説明は省略する。
【０１０６】
一方、ステップＳ１１０にて、抽出用背景生成が成功しなかったと判定されると（ステップＳ１１０；ＮＯ）、表示制御部１０は、被写体Ｓの切り抜きの失敗に係る所定のメッセージ（例えば、「被写体の切り抜きに失敗しました」等）を表示部１１の表示画面１１ａに表示させて（ステップＳ１１２）、被写体切り抜き処理を終了する。
【０１０７】
そして、領域検出処理（ステップＳ１１１）の終了後、中央制御部１３は、マスク生成部８ｅに、被写体領域の検出が成功したか否かを判定させる（ステップＳ１１３）。
ここで、被写体領域の検出が成功したと判定されると（ステップＳ１１３；ＹＥＳ）、中央制御部１３は、画像処理部８の切抜画像生成部８ｆに、クロマキー技術を利用して、領域検出処理にて生成されたマスク画像を用いて被写体存在画像Ｐ１ａから被写体画像Ａを切り出して、所定の単一色背景画像Ｐ５と合成して被写体切り抜き画像Ｐ４（図７（ｂ）参照）の画像データを生成させる（ステップＳ１１４）。
【０１０８】
その後、中央制御部１３は、合成用背景画像指定フラグ＝０であるか否かを判定する（ステップＳ１１５）。
ここで、合成用背景画像指定フラグ＝０であると判定されると（ステップＳ１１５；ＹＥＳ）、中央制御部１３は、画像処理部８の画像合成部８ｇに、被写体切り抜き画像Ｐ４の被写体画像Ａと指定済みの合成用背景画像Ｐ２とを合成して被写体合成画像Ｐ６（図７（ｃ）参照）の画像データを生成させる（ステップＳ１１６）。
【０１０９】
その後、表示制御部１０は、画像合成部８ｇにより生成された被写体合成画像Ｐ６の画像データに基づいて、合成用背景画像Ｐ２に被写体画像Ａが合成された被写体合成画像Ｐ６を表示部１１の表示画面１１ａに表示させる（ステップＳ１１７；図７（ｃ）参照）。
次に、記録媒体制御部９は、記録媒体９ａの所定の記憶領域に、マスク画像データと被写体合成画像Ｐ６の画像データとを対応付けて、当該被写体合成画像Ｐ６の画像データの拡張子を「.jpg」として一ファイルで保存させる（ステップＳ１１８）。
これにより、被写体切り抜き処理を終了する。
【０１１０】
一方、ステップＳ１１５にて、合成用背景画像指定フラグ＝０でないと判定されると（ステップＳ１１５；ＮＯ）、表示制御部１０は、切抜画像生成部８ｆにより生成された被写体切り抜き画像Ｐ４の画像データに基づいて、所定の単一色背景画像Ｐ５に被写体画像Ａが合成された被写体切り抜き画像Ｐ４を表示部１１の表示画面１１ａに表示させる（ステップＳ１１９）。
その後、記録媒体制御部９は、記録媒体９ａの所定の記憶領域に、マスク画像データと被写体切り抜き画像Ｐ４の画像データとを対応付けて、当該被写体切り抜き画像Ｐ４の画像データの拡張子を「.jpe」として一ファイルで保存させた後（ステップＳ１２０）、被写体切り抜き処理を終了する。
【０１１１】
また、ステップＳ１１３にて、被写体領域の検出が成功しなかったと判定されると（ステップＳ１１３；ＮＯ）、中央制御部１３は、処理をステップＳ１１２に移行させて、被写体Ｓの切り抜きの失敗に係る所定のメッセージを表示部１１の表示画面１１ａに表示させた後（ステップＳ１１２）、被写体切り抜き処理を終了する。
【０１１２】
従って、変形例１の撮像装置１００によれば、被写体切り抜き処理にて、被写体存在画像Ｐ１ａの背景部分の非平坦度が所定値以下であるか否かの判定を行う必要がないので、当該被写体切り抜き処理をより簡略化することができ、当該撮像装置１００の各部に係る処理負担の軽減を図ることができる。
さらに、被写体切り抜き処理の処理速度の高速化を図ることができ、当該被写体切り抜き処理から他の処理に移行するための待機時間などをより短くすることができ、より使い勝手の良い撮像装置１００を提供することができる。
【０１１３】
また、上記実施形態にあっては、記録媒体制御部（記録制御手段）９は、切抜画像生成部８ｆにより生成された被写体切り抜き画像Ｐ４の画像データと画像合成部８ｇにより生成された被写体合成画像Ｐ６の画像データとを対応付けて記録媒体９ａに記録させても良い。
これによって、被写体Ｓを同一とする複数の画像ファイルの管理を容易化することができ、より使い勝手の良い撮像装置１００を提供することができる。
【０１１４】
さらに、上記実施形態にあっては、抽出用背景画像の生成の際に、被写体存在画像Ｐ１ａの周縁部分の複数の画像ブロックＢ、…の非平坦度の判定処理として、各画像ブロックＢの特徴点及びブロック内の画素値のばらつき量の両方について所定値以下であるか否かを判定するようにしたが、これに限られるものではなく、特徴点及びばらつき量の少なくとも一方を判定することで画像ブロックＢの非平坦度の判定を行って、非平坦度が所定値以下であると判定された場合に抽出用背景画像を生成するようにしても良い。
加えて、ライブビュー画像Ｐｂが表示されている際に、ライブビュー画像Ｐｂの画像フレームの特徴点及びブロック内の画素値のばらつき量の両方について所定値以下であるか否かを判定するようにしたが、これに限られるものではなく、特徴点及びばらつき量の少なくとも一方を判定することで背景画像の非平坦度の判定を行って、非平坦度が所定値以下であると判定された場合に背景画像と略同一の背景内に被写体Ｓが存在する被写体存在画像Ｐ１ａを撮像するようにしても良い。
【０１１５】
また、上記実施形態にあっては、マスク画像データと被写体切り抜き画像Ｐ４の画像データを対応付けて一ファイルで保存させるようにしたが、マスク画像データと被写体存在画像Ｐ１ａの画像データを対応付けて一ファイルで記録媒体（記録手段）９ａに保存させるようにしても良い。この場合、当該ファイルの再生には、被写体存在画像Ｐ１ａを再生させるモードと、再生時にマスク画像データを適用して被写体切り抜き画像Ｐ４を合成して表示する２モードを用意しておくとよい。
【０１１６】
なお、上記実施形態にあっては、第１画像として被写体画像を、また、第２画像として合成用背景画像を例示したが、これに限られるものではなく、例えば、第１画像としてフレーム画像を、第２画像として人物の顔画像等を用いても良い。即ち、予め人物の顔画像を指定しておき、所定形状のフレーム画像を切り抜いて生成した後、これら画像どうしを合成するようにしても良い。
【０１１７】
また、上記実施形態にあっては、合成用背景画像Ｐ２が指定されている場合に、ライブビュー画像に重ねて半透過の合成用背景画像Ｐ２を表示するようにしたが、表示方法はこれに限らず、指定された合成用背景画像Ｐ２が目視できればよい。例えば、ライブビュー画像上に合成用背景画像Ｐ２を表示するための枠を表示し、その中に指定された合成用背景画像Ｐ２を表示するようにしても良い。
【０１１８】
また、第１画像は、連続する撮像によって得られた連写画像又は動画像のそれぞれのフレームから被写体領域を抽出した被写体画像あり、それら複数の被写体画像毎に合成用背景画像に合成し、複数の合成画像を生成するようにしても良い。
また、第２画像として動画像を用いても良い。即ち、ライブビュー画像に重ねて動画像を再生表示させて、動画像を構成する少なくとも１つのフレーム画像に被写体画像を合成するようにしても良い。
【０１１９】
さらに、撮像装置１００の構成は、上記実施形態に例示したものは一例であり、これに限られるものではない。
【０１２０】
加えて、上記実施形態にあっては、指定手段、撮像制御手段、被写体抽出手段、合成手段としての機能を、中央制御部１３、撮像制御部３、画像処理部８が駆動することにより実現される構成としたが、これに限られるものではなく、中央制御部１３のＣＰＵによって所定のプログラム等が実行されることにより実現される構成としても良い。
即ち、プログラムを記憶するプログラムメモリ（図示略）に、指定処理ルーチン、撮像制御処理ルーチン、被写体抽出処理ルーチン、合成処理ルーチンを含むプログラムを記憶しておく。そして、指定処理ルーチンにより中央制御部１３のＣＰＵを、第１画像と合成すべき第２画像を指定する指定手段として機能させるようにしても良い。また、撮像制御処理ルーチンにより中央制御部１３のＣＰＵを、第２画像の指定後、当該第２画像が目視可能な状態で被写体存在画像Ｐ１ａを撮像手段により撮像させる撮像制御手段として機能させるようにしても良い。また、被写体抽出処理ルーチンにより中央制御部１３のＣＰＵを、撮像手段により撮像された被写体存在画像Ｐ１ａから被写体Ｓが含まれる被写体領域を第１画像として抽出する被写体抽出手段として機能させるようにしても良い。また、合成指定処理ルーチンにより中央制御部１３のＣＰＵを、被写体抽出手段により抽出された第１画像と指定手段により指定された第２画像とを合成して合成画像を生成する合成手段として機能させるようにしても良い。
【０１２１】
さらに、上記の各処理を実行するためのプログラムを格納したコンピュータ読み取り可能な媒体として、ＲＯＭやハードディスク等の他、フラッシュメモリ等の不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬型記録媒体を適用することも可能である。また、プログラムのデータを所定の通信回線を介して提供する媒体としては、キャリアウェーブ（搬送波）も適用される。
【符号の説明】
【０１２２】
１００  撮像装置
１      レンズ部
２      電子撮像部
３      撮像制御部
８      画像処理部
８ａ    背景指定判定部
８ｂ    非平坦度判定部
８ｆ    切抜画像生成部
８ｇ    画像合成部
９      記録媒体制御部
９ａ    記録媒体
１０    表示制御部
１１    表示部
１３    中央制御部
【図１】
0005493839.tif 000008
【図２】
0005493839.tif 000009
【図３】
0005493839.tif 000010
【図４】
0005493839.tif 000011
【図５】
0005493839.tif 000012
【図６】
0005493839.tif 000013
【図７】
0005493839.tif 000014
【図８】
0005493839.tif 000015
【図９】
0005493839.tif 000016
【図１０】
0005493839.tif 000017