(57)【要約】【課題】以前に撮像された画像との位置合わせ、及び当該位置合わせを行いながらの撮像を簡便なものとする。【解決手段】撮像装置１００であって、被写体非存在画像の撮像の際に、当該被写体非存在画像のライブビュー画像と被写体存在画像とを表示部１０に表示させる表示制御部９と、被写体非存在画像と被写体存在画像との類似度を算出する類似度算出部８ｃと、算出された類似度を報知する表示部１０とを備えている。【選択図】図１
2011182014.tif 000002
【特許請求の範囲】
【請求項１】
撮像手段と、
画像を記憶する記憶手段と、
前記記憶手段に記憶されている第１の画像と、前記撮像手段によって順次撮像されるライブビュー画像とを表示手段に表示する表示制御手段と、
この表示制御手段により前記表示手段に表示されている前記第１の画像と前記ライブビュー画像との類似度を算出する算出手段と、
この算出手段によって算出された類似度を報知する報知手段と、
を備えたことを特徴とする撮像装置。
【請求項２】
前記第１の画像及び前記ライブビュー画像の各々を複数の画像領域に分割する分割手段を更に備え、
前記算出手段は、
前記分割手段により分割された前記第１の画像及び前記ライブビュー画像の対応する各画像領域の差分に基づいて前記類似度を算出することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記算出手段によって算出された類似度が所定値以上であるか否かを判定する判定手段と、
前記判定手段により類似度が所定値以上であると判定された場合に、第２の画像を撮像する第１の撮像制御手段とを更に備えることを特徴とする請求項１又は２に記載の撮像装置。
【請求項４】
前記撮像手段による第２の画像の撮像を指示する指示手段と、
前記指示手段による指示に応じて、前記撮像手段により前記第２の画像を撮像する第２の撮像制御手段と、
前記判定手段により類似度が所定値未満であると判定された場合は、前記第１の画像及び前記第２の画像を記録手段に記録させる記録制御手段とを更に備えることを特徴とする請求項１又は２に記載の撮像装置。
【請求項５】
前記第１の画像から第２の画像との差分領域を切り抜いて切り抜き画像を生成する画像生成手段を更に備えることを特徴とする請求項１〜４の何れか一項に記載の撮像装置。
【請求項６】
前記表示制御手段は、前記第１の画像を前記ライブビュー画像に重ねて表示させることを特徴とする請求項１〜５の何れか一項に記載の撮像装置。
【請求項７】
前記報知手段は、前記類似度を示す情報を前記表示手段に表示させることを特徴とする請求項１〜６の何れか一項に記載の撮像装置。
【請求項８】
撮像手段と、画像を記憶する記憶手段とを備える撮像装置を用いた撮像処理方法であって、
前記記憶手段に記憶されている第１の画像と、前記撮像手段によって順次撮像されるライブビュー画像とを表示手段に表示させる処理と、
前記表示手段に表示されている前記第１の画像と前記ライブビュー画像との類似度を算出する処理と、
算出された類似度を報知する処理と、
を含むことを特徴とする撮像処理方法。
【請求項９】
撮像手段と、画像を記憶する記憶手段とを備える撮像装置のコンピュータを、
前記記憶手段に記憶されている第１の画像と、前記撮像手段によって順次撮像されるライブビュー画像とを表示手段に表示させる表示制御手段、
前記表示手段に表示されている前記第１の画像と前記ライブビュー画像との類似度を算出する算出手段、
この算出手段により算出された類似度を報知手段から報知させる報知制御手段、
として機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、撮像処理方法及びプログラムに関する。
【背景技術】
【０００２】
従来、デジタルカメラなどの撮像装置にて、現に撮像している画像のライブビュー画像に重畳させて以前に撮像した画像を表示することで、これら二つの画像どうしの位置合わせを補助する技術が知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−２６８７４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記特許文献１の技術にあっては、ユーザは以前に撮像した画像と比較しながら撮像を行うことができるものの、画像どうしの位置合わせがどの程度成功しているのかを把握することができなかった。
【０００５】
そこで、本発明の課題は、以前に撮像された画像との位置合わせ、及び当該位置合わせを行いながらの撮像を簡便なものとすることができる撮像装置、撮像処理方法及びプログラムを提供することである。
【課題を解決するための手段】
【０００６】
上記課題を解決するため、請求項１に記載の発明の撮像装置は、
撮像手段と、画像を記憶する記憶手段と、記記憶手段に記憶されている第１の画像と、前記撮像手段によって順次撮像されるライブビュー画像とを表示手段に表示する表示制御手段と、この表示制御手段により前記表示手段に表示されている前記第１の画像と前記ライブビュー画像との類似度を算出する算出手段と、この算出手段によって算出された類似度を報知する報知手段と、を備えたことを特徴としている。
【０００７】
請求項２に記載の発明は、請求項１に記載の発明において、
前記第１の画像及び前記ライブビュー画像の各々を複数の画像領域に分割する分割手段を更に備え、前記算出手段は、前記分割手段により分割された前記第１の画像及び前記ライブビュー画像の対応する各画像領域の差分に基づいて前記類似度を算出することを特徴としている。
【０００８】
請求項３に記載の発明は、請求項１又は２に記載の発明において、
前記算出手段によって算出された類似度が所定値以上であるか否かを判定する判定手段と、前記判定手段により類似度が所定値以上であると判定された場合に、第２の画像を撮像する第１の撮像制御手段とを更に備えることを特徴としている。
【０００９】
請求項４に記載の発明は、請求項１又は２に記載の発明において、
前記撮像手段による第２の画像の撮像を指示する指示手段と、前記指示手段による指示に応じて、前記撮像手段により前記第２の画像を撮像する第２の撮像制御手段と、前記判定手段により類似度が所定値未満であると判定された場合は、前記第１の画像及び前記第２の画像を記録手段に記録させる記録制御手段とを更に備えることを特徴としている。
【００１０】
請求項５に記載の発明は、請求項１〜４の何れか一項に記載の発明において、
前記第１の画像から第２の画像との差分領域を切り抜いて切り抜き画像を生成する画像生成手段を更に備えることを特徴としている。
【００１１】
請求項６に記載の発明は、請求項１〜５の何れか一項に記載の発明において、
前記表示制御手段は、前記第１の画像を前記ライブビュー画像に重ねて表示させることを特徴としている。
【００１２】
請求項７に記載の発明は、請求項１〜６の何れか一項に記載の発明において、
前記報知手段は、前記類似度を示す情報を前記表示手段に表示させることを特徴としている。
【００１３】
請求項８に記載の発明の撮像処理方法は、
撮像手段と、画像を記憶する記憶手段とを備える撮像装置を用いた撮像処理方法であって、前記記憶手段に記憶されている第１の画像と、前記撮像手段によって順次撮像されるライブビュー画像とを表示手段に表示させる処理と、前記表示手段に表示されている前記第１の画像と前記ライブビュー画像との類似度を算出する処理と、算出された類似度を報知する処理と、を含むことを特徴としている。
【００１４】
請求項９に記載の発明のプログラムは、
撮像手段と、画像を記憶する記憶手段とを備える撮像装置のコンピュータを、前記記憶手段に記憶されている第１の画像と、前記撮像手段によって順次撮像されるライブビュー画像とを表示手段に表示させる表示制御手段、前記表示手段に表示されている前記第１の画像と前記ライブビュー画像との類似度を算出する算出手段、この算出手段により算出された類似度を報知手段から報知させる報知制御手段、として機能させることを特徴としている。
【発明の効果】
【００１５】
本発明によれば、以前に撮像された画像との位置合わせを容易にさせることができ、さらに、当該位置合わせを行いながらの撮像を簡便なものとすることができる。
【図面の簡単な説明】
【００１６】
【図１】本発明を適用した一実施形態の撮像装置の概略構成を示すブロック図である。
【図２】図１の撮像装置による被写体切り抜き処理に係る動作の一例を示すフローチャートである。
【図３】図２の被写体切り抜き処理の続きを示す図である。
【図４】図２の被写体切り抜き処理に係る画像の一例を模式的に示す図である。
【図５】図２の被写体切り抜き処理に係る画像の一例を模式的に示す図である。
【図６】図１の撮像装置による背景画像撮像処理に係る動作の一例を示すフローチャートである。
【図７】図１の撮像装置による合成画像生成処理に係る動作の一例を示すフローチャートである。
【図８】合成画像生成処理における画像合成処理に係る動作の一例を示すフローチャートである。
【図９】変形例１の撮像装置の概略構成を示すブロック図である。
【図１０】図９の撮像装置による被写体切り抜き処理に係る動作の一例を示すフローチャートである。
【発明を実施するための形態】
【００１７】
以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。
図１は、本発明を適用した一実施形態の撮像装置１００の概略構成を示すブロック図である。
【００１８】
本実施形態の撮像装置１００は、ライブビュー表示されている背景内に被写体Ｓが存在しない被写体非存在画像Ｐ２（図４（ｃ）参照）と背景内に被写体Ｓが存在する被写体存在画像Ｐ１（図４（ａ）参照）とを表示部１０に表示するとともに、被写体非存在画像Ｐ２と被写体存在画像Ｐ１との類似度を算出して、当該類似度を報知する。
具体的には、図１に示すように、撮像装置１００は、レンズ部１と、電子撮像部２と、撮像制御部３と、画像データ生成部４と、画像メモリ５と、特徴量演算部６と、ブロックマッチング部７と、画像処理部８と、表示制御部９と、表示部１０と、記録媒体制御部１１と、操作入力部１２と、中央制御部１３とを備えている。
また、撮像制御部３と、特徴量演算部６と、ブロックマッチング部７と、画像処理部８と、中央制御部１３は、例えば、カスタムＬＳＩ１Ａとして設計されている。
【００１９】
レンズ部１は、複数のレンズから構成され、ズームレンズやフォーカスレンズ等を備えている。
また、レンズ部１は、図示は省略するが、被写体の撮像の際に、ズームレンズを光軸方向に移動させるズーム駆動部、フォーカスレンズを光軸方向に移動させる合焦駆動部等を備えていても良い。
【００２０】
電子撮像部２は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-oxide Semiconductor）等のイメージセンサから構成され、レンズ部１の各種レンズを通過した光学像を二次元の画像信号に変換する。
【００２１】
撮像制御部３は、図示は省略するが、タイミング発生器、ドライバなどを備えている。そして、撮像制御部３は、タイミング発生器、ドライバにより電子撮像部２を走査駆動して、所定周期毎に光学像を電子撮像部２により二次元の画像信号に変換させ、当該電子撮像部２の撮像領域から１画面分ずつ画像フレームを読み出して画像データ生成部４に出力させる。このように、撮像制御部３及び電子撮像部２は、撮像手段を構成している。
また、撮像制御部３は、ＡＦ（自動合焦処理）、ＡＥ（自動露出処理）、ＡＷＢ（自動ホワイトバランス）等の被写体の撮像条件の調整制御を行う。
【００２２】
画像データ生成部４は、電子撮像部２から転送された画像フレームのアナログ値の信号に対してＲＧＢの各色成分毎に適宜ゲイン調整した後に、サンプルホールド回路（図示略）でサンプルホールドしてＡ／Ｄ変換器（図示略）でデジタルデータに変換し、カラープロセス回路（図示略）で画素補間処理及びγ補正処理を含むカラープロセス処理を行った後、デジタル値の輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒ（ＹＵＶデータ）を生成する。また、画像データ生成部４は、ＹＵＶデータを水平及び垂直ともに所定倍率で縮小処理を行って、ライブビュー表示用の低解像度の縮小画像データを生成する。
カラープロセス回路から出力されるＹＵＶデータは、図示しないＤＭＡコントローラを介して、バッファメモリとして使用される画像メモリ５にＤＭＡ転送される。
【００２３】
画像メモリ５は、例えば、ＤＲＡＭ等により構成され、画像データ生成部４から転送された被写体存在画像Ｐ１や被写体非存在画像Ｐ２のＹＵＶデータを一時的に記憶する。また、画像メモリ５は、特徴量演算部６と、ブロックマッチング部７と、画像処理部８と、中央制御部１３等によって処理されるデータ等を一時的に記憶する。
【００２４】
特徴量演算部６は、背景内に被写体Ｓが存在しない被写体非存在画像Ｐ２を基準として、当該被写体非存在画像Ｐ２から特徴点を抽出する特徴抽出処理を行う。具体的には、特徴量演算部６は、例えば、被写体非存在画像Ｐ２のＹＵＶデータに基づいて、所定数（或いは、所定数以上)の特徴の高いブロック領域（特徴点）を選択して、当該ブロックの内容をテンプレート（例えば、１６×１６画素の正方形）として抽出する。
ここで、特徴抽出処理とは、多数の候補ブロックから追跡に都合の良い特徴性の高いものを選択する処理である。
【００２５】
ブロックマッチング部７は、被写体切り抜き画像Ｐ３を生成する際に、被写体非存在画像Ｐ２と被写体存在画像Ｐ１の位置合わせのためのブロックマッチング処理を行う。具体的には、ブロックマッチング部７は、特徴抽出処理にて抽出されたテンプレートが被写体存在画像Ｐ１内のどこに対応するか、つまり、被写体存在画像Ｐ１内にてテンプレートの画素値が最適にマッチする位置（対応領域）を探索する。そして、画素値の相違度の評価値（例えば、差分二乗和（ＳＳＤ）や差分絶対値和（ＳＡＤ）等）が最も良かった被写体非存在画像Ｐ２と被写体存在画像Ｐ１間の最適なオフセットを当該テンプレートの動きベクトルとして算出する。
【００２６】
画像処理部８は、画像取得部８ａと、分割部８ｂと、類似度算出部８ｃと、切抜画像生成部８ｄと、画像合成部８ｅとを具備している。
【００２７】
画像取得部８ａは、画像メモリ（記憶手段）５に一時的に記憶されている被写体存在画像（第１の画像）Ｐ１のＹＵＶデータを取得する。即ち、画像取得部８ａは、被写体切り抜き処理（後述）にて、電子撮像部２及び撮像制御部３による被写体存在画像Ｐ１（図４（ａ）参照）の撮像後、画像データ生成部４から転送されて画像メモリ５に一時的に記憶された被写体存在画像Ｐ１のＹＵＶデータを取得する。
【００２８】
分割部８ｂは、被写体存在画像Ｐ１及び被写体非存在画像Ｐ２の各々を複数の画像ブロックＢ、…に分割する。
即ち、分割部８ｂは、被写体切り抜き処理にて、画像取得部８ａにより取得された被写体存在画像Ｐ１のＹＵＶデータに基づいて、当該被写体存在画像Ｐ１全体を縦横がそれぞれ所定画素からなる複数の画像ブロックＢ、…に分割する（図４（ｂ）参照）。また、分割部８ｂは、被写体切り抜き処理にて、画像取得部８ａにより取得されたライブビュー表示されている被写体非存在画像Ｐ２のＹＵＶデータに基づいて、当該被写体非存在画像Ｐ２全体を、被写体存在画像Ｐ１と同様に、縦横がそれぞれ所定画素からなる複数の画像ブロックＢ、…に分割する（図４（ｃ）参照）。
なお、分割部８ｂによる処理対象となる被写体存在画像Ｐ１及び被写体非存在画像Ｐ２の画像データは、例えば、記録用として記録媒体１１ａに記録される高解像度の画像データであっても良いし、画像データ生成部４により生成されたライブビュー表示用の低解像度の縮小画像データであっても良いし、後述する類似度の算出用に調整された所定解像度の専用の画像データであっても良い。
このように、分割部８ｂは、被写体存在画像（第１の画像）Ｐ１及び被写体非存在画像（第２の画像）Ｐ２の各々を複数の画像ブロック（画像領域）Ｂ、…に分割する分割手段を構成している。
【００２９】
類似度算出部８ｃは、被写体存在画像Ｐ１と被写体非存在画像Ｐ２との類似度を算出する。
即ち、類似度算出部８ｃは、分割部８ｂにより分割された被写体存在画像Ｐ１と被写体非存在画像Ｐ２との間で対応する各画像ブロックＢの差分情報を生成し、当該差分情報に基づいて類似度を算出する。具体的には、類似度算出部８ｃは、各画像ブロックＢの差分情報として、例えば、各画像ブロックＢの平均色や輝度などの差分（相違度）を算出して、当該算出結果を差分情報とする。そして、類似度算出部８ｃは、差分が所定の閾値以下となる画像ブロックＢの数を計数し、当該画像ブロック数の全体の総画像ブロック数に対する割合を算出して、当該算出結果を類似度とする。つまり、全体の総画像ブロック数に対して差分が所定の閾値以下となる画像ブロック数の割合が高いほど類似度が高くなる。
このように、類似度算出部８ｃは、電子撮像部２及び撮像制御部３により撮像された被写体非存在画像（第２の画像）Ｐ２と、画像取得部８ａにより取得された被写体存在画像（第１の画像）Ｐ１との類似度を算出する算出手段を構成している。
【００３０】
切抜画像生成部８ｄは、被写体切り抜き画像（図５（ｂ）参照）Ｐ３の画像データを生成する。具体的には、切抜画像生成部８ｄは、図示は省略するが、位置合わせ部と、被写体画像抽出部と、位置情報生成部と、画像生成部等を備えている。
位置合わせ部は、被写体非存在画像Ｐ２から抽出した特徴点に基づいて、被写体非存在画像Ｐ２に対する被写体存在画像Ｐ１の各画素の座標変換式（射影変換行列）を算出し、当該座標変換式に従って被写体存在画像Ｐ１を座標変換して被写体非存在画像Ｐ２と位置合わせを行う。
被写体画像抽出部は、位置合わせ部により位置合わせされた被写体存在画像Ｐ１と被写体非存在画像Ｐ２との間で対応する各画素の差分情報を生成し、当該差分情報を基準として差分の大きい又は差分のある領域（差分領域）を被写体Ｓが含まれる領域とし、被写体存在画像Ｐ１からその領域、つまり被写体画像Ｇを抽出する。
位置情報生成部は、被写体存在画像Ｐ１から抽出された被写体画像Ｇの位置を特定して、被写体存在画像Ｐ１における被写体画像Ｇの位置を示す位置情報（例えば、アルファマップ）を生成する。ここで、アルファマップとは、被写体存在画像Ｐ１の各画素について、被写体画像Ｇを所定の背景に対してアルファブレンディングする際の重みをアルファ値（０≦α≦１）として表したものである。
画像生成部は、生成されたアルファマップに基づいて、被写体存在画像Ｐ１の各画素のうち、アルファ値が１の画素を所定の単一色画像（図示略）に対して透過させずに、且つ、アルファ値が０の画素を透過させるように、被写体画像Ｇを所定の単一色画像と合成して被写体切り抜き画像Ｐ３の画像データを生成する。
【００３１】
画像合成部８ｅは、被写体切り抜き画像Ｐ３の被写体画像Ｇと所定の背景画像（図示略）とを合成して被写体合成画像（図示略）を生成する。
即ち、画像合成部８ｅは、ユーザによる操作入力部１２の所定操作に基づいて、記録媒体１１ａから所望の被写体切り抜き画像Ｐ３及び背景画像を取得する。そして、画像合成部８ｅは、当該背景画像の各画素のうち、アルファ値が０の画素は透過させ、アルファ値が１の画素は被写体切り抜き画像Ｐ３の対応する画素の画素値で上書きし、さらに、背景画像の各画素のうち、アルファ値が０＜α＜１の画素は１の補数（１−α）を用いて被写体画像Ｇを切り抜いた画像（背景画像×（１−α））を生成した後、アルファマップにおける１の補数（１−α）を用いて被写体切り抜き画像Ｐ３を生成した際に単一背景色とブレンドした値を計算し、当該値を被写体切り抜き画像Ｐ３から減算し、それを被写体画像Ｇを切り抜いた画像（背景画像×（１−α））と合成する。
【００３２】
表示制御部９は、画像メモリ５に一時的に記憶されている表示用画像データを読み出して表示部１０に表示させる制御を行う。
具体的には、表示制御部９は、ＶＲＡＭ、ＶＲＡＭコントローラ、デジタルビデオエンコーダなどを備えている。そして、デジタルビデオエンコーダは、中央制御部１３の制御下にて画像メモリ５から読み出されてＶＲＡＭ（図示略）に記憶されている輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒを、ＶＲＡＭコントローラを介してＶＲＡＭから定期的に読み出して、これらのデータを元にビデオ信号を発生して表示部１０に出力する。
表示部１０は、例えば、液晶表示装置であり、表示制御部９からのビデオ信号に基づいてライブビュー画像やレックビュー画像などを表示画面１０ａに表示する。
即ち、表示制御部９は、撮像モードにて、電子撮像部２及び撮像制御部３による被写体Ｓの撮像により生成された複数の画像フレームに基づいてライブビュー画像や、本撮像画像として撮像されたレックビュー画像などを表示部１０の表示画面１０ａに表示させる。
【００３３】
また、表示制御部９は、電子撮像部２及び撮像制御部３により撮像された被写体非存在画像Ｐ２のライブビュー画像を表示部１０の表示画面１０ａに表示させる際に、当該ライブビュー画像に重畳させて、被写体存在画像Ｐ１の半透過の表示態様の画像（図中、破線で図示）を表示部１０の表示画面１０ａに表示させる（図５（ａ）参照）。具体的には、表示制御部９は、例えば、被写体存在画像Ｐ１のうち、縁部から所定の画素数分の周縁領域を削除したものを半透過の表示態様として、被写体非存在画像Ｐ２のライブビュー画像に重畳させて表示部１０の表示画面１０ａに表示させる。なお、表示制御部９は、被写体存在画像Ｐ１全体を半透過の表示態様として表示部１０に表示させるようにしても良い。つまり、表示制御部９は、被写体存在画像Ｐ１と被写体非存在画像Ｐ２とを表示部１０の表示画面１０ａに同時に表示させる。
このように、表示制御部９は、電子撮像部２及び撮像制御部３により撮像された被写体非存在画像（第２の画像）Ｐ２と、画像取得部８ａにより取得された被写体存在画像（第１の画像）Ｐ１とを表示部１０に表示させる表示制御手段を構成している。
【００３４】
また、表示制御部９は、類似度算出部８ｃにより算出された被写体存在画像Ｐ１と被写体非存在画像Ｐ２との類似度を表示部１０の表示画面１０ａに表示させる（図５（ａ）参照）。具体的には、表示制御部９は、被写体存在画像Ｐ１と被写体非存在画像Ｐ２との類似度を、例えば、プログレスバー（プログレスメーター）の形式で表示したり、百分率（パーセンテージ）の形式（例えば、「背景撮影一致度は○○％です」等）で数値化して表示する。なお、当該類似度の表示部１０の表示画面１０ａにおける表示位置は、如何なる場所であっても良いが、例えば、図５（ａ）にあっては、表示画面１０ａに向かって左上部を例示している。
このように、表示部１０及び表示制御部９は、類似度算出部８ｃによって算出された被写体存在画像Ｐ１と被写体非存在画像Ｐ２との類似度を報知する報知手段を構成している。
【００３５】
なお、被写体存在画像Ｐ１と被写体非存在画像Ｐ２との類似度の報知の態様として、表示部１０による当該類似度の表示を例示したが、一例であってこれに限られるものではなく、適宜任意に変更可能である。
即ち、類似度の報知の態様は、人の五感、特に、視覚、聴覚、触覚等によって当該類似度を把握、認識させることができる方法であれば如何なる態様であっても良く、例えば、類似度を音（音声など）や振動により報知するようにしても良い。
【００３６】
記録媒体制御部１１は、記録媒体１１ａが着脱自在に構成され、装着された記録媒体１１ａからのデータの読み出しや記録媒体１１ａに対するデータの書き込みを制御する。即ち、記録媒体制御部１１は、画像処理部８のＪＰＥＧ圧縮部（図示略）により符号化された撮像画像の記録用の画像データを記録媒体１１ａに記録させる。
また、記録媒体制御部１１は、切抜画像生成部８ｄにより生成されたアルファマップと被写体切り抜き画像Ｐ３の画像データをそれぞれ圧縮した上で対応付けて、当該被写体切り抜き画像Ｐ３の画像データの拡張子を「.jpe」として記録媒体１１ａに記録させる。
さらに、記録媒体制御部１１は、切抜画像生成部８ｄにより生成されたアルファマップと画像合成部８ｅにより生成された被写体合成画像の画像データをそれぞれ圧縮した上で対応付けて、当該被写体合成画像の画像データの拡張子を「.jpg」として記録媒体１１ａに記録させる。
【００３７】
なお、記録媒体１１ａは、例えば、不揮発性メモリ（フラッシュメモリ）等により構成されるが、一例であってこれに限られるものではなく、適宜任意に変更可能である。
【００３８】
操作入力部１２は、当該撮像装置１００の所定操作を行うためのものである。具体的には、操作入力部１２は、画像の撮像記録指示に係るシャッタボタン１２ａ、撮像モードや機能等の選択指示に係る選択決定用ボタン１２ｂ、ズーム量の調整指示に係るズームボタン（図示略）等を備え、これらのボタンの操作に応じて所定の操作信号を中央制御部１３に出力する。
【００３９】
中央制御部１３は、撮像装置１００の各部を制御するものである。具体的には、中央制御部１３は、ＣＰＵ、ＲＡＭ、ＲＯＭ（何れも図示略）を備え、撮像装置１００用の各種処理プログラム（図示略）に従って各種の制御動作を行う。
【００４０】
次に、撮像装置１００による被写体切り抜き処理について、図２〜図５を参照して説明する。
図２及び図３は、被写体切り抜き処理に係る動作の一例を示すフローチャートである。また、図４（ａ）〜図４（ｃ）並びに図５（ａ）及び図５（ｂ）は、被写体切り抜き処理に係る画像の一例を模式的に示す図である。
【００４１】
被写体切り抜き処理は、ユーザによる操作入力部１２の選択決定用ボタン１２ｂの所定操作に基づいて、メニュー画面に表示された複数の撮像モードの中から被写体切り抜きモードが選択指示された場合に実行される処理である。
図２に示すように、先ず、表示制御部９は、電子撮像部２による被写体の撮像により生成された複数の画像フレームに基づいてライブビュー画像を表示部１０の表示画面１０ａに表示させるとともに、当該ライブビュー画像に重畳させて、被写体存在画像Ｐ１の撮像指示メッセージ（例えば、「切り抜きたい被写体を撮影してください。」等）を表示部１０の表示画面１０ａに表示させる（ステップＳ１）。
【００４２】
次に、中央制御部１３は、ユーザによる操作入力部１２のシャッタボタン１２ａの所定操作に基づいて撮像指示が入力されたか否かを判定する（ステップＳ２）。ここで、撮像指示が入力されたと判定されると（ステップＳ２；ＹＥＳ）、撮像制御部３は、フォーカスレンズの合焦位置や露出条件（シャッター速度、絞り、増幅率等）やホワイトバランス等の撮像条件を調整させて、被写体存在画像Ｐ１（図４（ａ）参照）の光学像を所定の条件で電子撮像部２により撮像させる（ステップＳ３）。
そして、画像データ生成部４は、電子撮像部２から転送された被写体存在画像Ｐ１のＹＵＶデータを生成した後、当該被写体存在画像Ｐ１のＹＵＶデータを画像メモリ５に一時的に記憶させる。
また、撮像制御部３は、当該被写体存在画像Ｐ１の撮像の際の合焦位置や露出条件やホワイトバランス等の撮像条件を固定した状態を維持する。
【００４３】
続けて、画像処理部８の画像取得部８ａは、画像メモリ５に一時的に記憶されている被写体存在画像Ｐ１のＹＵＶデータを取得した後、分割部８ｂは、当該被写体存在画像Ｐ１全体を所定の大きさの複数の画像ブロックＢ、…に分割する（ステップＳ４）。
【００４４】
次に、画像処理部８の画像取得部８ａは、電子撮像部２により撮像され、画像データ生成部４から転送されて画像メモリ５に一時的に記憶されたライブビュー画像に係る複数の画像フレームのＹＵＶデータを順次取得していき、分割部８ｂは、取得されたライブビュー画像の各々について、当該画像全体を被写体存在画像Ｐ１と同様に所定の大きさの複数の画像ブロックＢ、…に分割する（ステップＳ５）。
ここで、被写体存在画像Ｐ１の撮像後、被写体Ｓが画角内から移動するか、或いは、被写体Ｓを画角外に移動させることで、画角内に被写体Ｓが存在しない状態で撮像されるライブビュー画像は、被写体非存在画像Ｐ２を構成する。
【００４５】
続けて、画像処理部８の類似度算出部８ｃは、被写体存在画像Ｐ１とライブビュー表示されている被写体非存在画像Ｐ２との間で対応する各画像ブロックＢの平均色や輝度などの差分（相違度）を算出した後、当該差分が所定の閾値以下となる画像ブロック数の全体の総画像ブロック数に対する割合（例えば、百分率）を類似度として算出する（ステップＳ６）。
そして、表示制御部９は、電子撮像部２により撮像された複数の画像フレームに基づいて、被写体非存在画像Ｐ２のライブビュー画像を表示部１０の表示画面１０ａに表示させるとともに、類似度算出部８ｃにより算出された被写体存在画像Ｐ１と被写体非存在画像Ｐ２との類似度を表示部１０の表示画面１０ａに表示させる（ステップＳ７；図５（ａ）参照）。さらに、表示制御部９は、被写体非存在画像Ｐ２のライブビュー画像に重畳させて、被写体存在画像Ｐ１の半透過の表示態様の画像と被写体非存在画像Ｐ２の撮像指示メッセージ（例えば、「被写体のいない状態で、背景だけを撮影してください。」等）を表示部１０の表示画面１０ａに表示させる。
【００４６】
その後、中央制御部１３は、ユーザによる操作入力部１２のシャッタボタン１２ａの所定操作に基づいて、撮像指示が入力されたか否かを判定する（ステップＳ８）。そして、ユーザにより被写体非存在画像Ｐ２が被写体存在画像Ｐ１の半透過の画像と重なるようにカメラ位置が調整され、操作入力部１２のシャッタボタン１２ａが所定操作されて撮像指示が入力されたと判定されると（ステップＳ８；ＹＥＳ）、撮像制御部３は、被写体非存在画像Ｐ２（図５（ａ）参照）の光学像を被写体存在画像Ｐ１の撮像後に固定された撮像条件で電子撮像部２により撮像させる（ステップＳ９）。
そして、画像データ生成部４は、電子撮像部２から転送された被写体非存在画像Ｐ２のＹＵＶデータを生成した後、当該被写体非存在画像Ｐ２のＹＵＶデータを画像メモリ５に一時的に記憶させる。
【００４７】
図３に示すように、次に、中央制御部１３は、特徴量演算部６、ブロックマッチング部７及び画像処理部８に、画像メモリ５に一時的に記憶されている被写体非存在画像Ｐ２のＹＵＶデータを基準として、被写体存在画像Ｐ１のＹＵＶデータを射影変換させるための射影変換行列を所定の画像変換モデル（例えば、相似変換モデル、或いは合同変換モデル）で算出させる（ステップＳ１０）。
具体的には、特徴量演算部６は、被写体非存在画像Ｐ２のＹＵＶデータに基づいて、所定数（或いは、所定数以上)の特徴の高いブロック領域（特徴点）を選択して、当該ブロックの内容をテンプレートとして抽出する。そして、ブロックマッチング部７は、特徴抽出処理にて抽出されたテンプレートの画素値が最適にマッチする位置を被写体存在画像Ｐ１内にて探索して、画素値の相違度の評価値が最も良かった被写体非存在画像Ｐ２と被写体存在画像Ｐ１間の最適なオフセットを当該テンプレートの動きベクトルとして算出する。そして、切抜画像生成部８ｄの位置合わせ部は、ブロックマッチング部７により算出された複数のテンプレートの動きベクトルに基づいて全体の動きベクトルを統計的に算出し、当該動きベクトルに係る特徴点対応を用いて被写体存在画像Ｐ１の射影変換行列を算出する。
【００４８】
次に、切抜画像生成部８ｄの位置合わせ部は、算出された射影変換行例に基づいて被写体存在画像Ｐ１を射影変換することで、被写体存在画像Ｐ１のＹＵＶデータと被写体非存在画像Ｐ２のＹＵＶデータとを位置合わせする処理を行う（ステップＳ１１）。
【００４９】
そして、切抜画像生成部８ｄの被写体画像抽出部は、被写体存在画像Ｐ１から被写体Ｓが含まれる被写体画像Ｇを抽出する処理を行う（ステップＳ１２）。
具体的には、被写体画像抽出部は、被写体存在画像Ｐ１のＹＵＶデータと被写体非存在画像Ｐ２のＹＵＶデータの各々に対してローパスフィルタをかけて各画像の高周波成分を除去する。その後、被写体画像抽出部は、ローパスフィルタをかけた被写体存在画像Ｐ１と被写体非存在画像Ｐ２との間で対応する各画素について相違度を算出して相違度マップを生成する。続けて、被写体画像抽出部は、各画素に係る相違度マップを所定の閾値で２値化した後、相違度マップから細かいノイズや手ぶれにより相違が生じた領域を除去するために収縮処理を行う。その後、被写体画像抽出部は、ラベリング処理を行って、所定値以下の領域や最大領域以外の領域を除去した後、一番大きな島のパターンを被写体画像Ｇとして特定し、収縮分を修正するための膨張処理を行う。
【００５０】
次に、切抜画像生成部８ｄの位置情報生成部は、抽出された被写体画像Ｇの被写体存在画像Ｐ１内での位置を示すアルファマップを生成する（ステップＳ１３）。
【００５１】
その後、切抜画像生成部８ｄの画像生成部は、被写体画像Ｇを所定の単一色画像と合成した被写体切り抜き画像Ｐ３（図５（ｂ）参照）の画像データを生成する処理を行う（ステップＳ１４）。
具体的には、画像生成部は、被写体存在画像Ｐ１、単一色画像及びアルファマップを読み出して画像メモリ５に展開した後、被写体存在画像Ｐ１の全ての画素について、アルファ値が０の画素については（α＝０）、透過させ、アルファ値が０＜α＜１の画素については（０＜α＜１）、所定の単一色とブレンディングを行い、アルファ値が１の画素については（α＝１）、何もせずに所定の単一色に対して透過させないようにする。
【００５２】
その後、記録媒体制御部１１は、記録媒体１１ａの所定の記録領域に、切抜画像生成部８ｄの位置情報生成部により生成されたアルファマップと被写体切り抜き画像Ｐ３の画像データとを対応付けて一ファイルで記録させる（ステップＳ１５）。
これにより、被写体切り抜き処理を終了する。
【００５３】
次に、撮像装置１００による背景画像撮像処理について、図６を参照して説明する。
図６は、背景画像撮像処理に係る動作の一例を示すフローチャートである。
【００５４】
背景画像撮像処理は、通常の静止画像の撮像処理であり、ユーザによる操作入力部１２の選択決定用ボタン１２ｂの所定操作に基づいて、メニュー画面に表示された複数の撮像モードの中から静止画撮像モードが選択指示された場合に実行される処理である。
図６に示すように、先ず、表示制御部９は、電子撮像部２及び撮像制御部３による背景画像の撮像により生成された複数の画像フレームに基づいてライブビュー画像を表示部１０の表示画面１０ａに表示させる（ステップＳ２１）。
【００５５】
次に、中央制御部１３は、ユーザによる操作入力部１２のシャッタボタン１２ａの所定操作に基づいて撮像指示が入力されたか否かを判定する（ステップＳ２２）。ここで、撮像指示が入力されたと判定されると（ステップＳ２２；ＹＥＳ）、撮像制御部３は、フォーカスレンズの合焦位置や露出条件（シャッター速度、絞り、増幅率等）やホワイトバランス等の条件を調整させて、背景画像の光学像を所定の条件で電子撮像部２により撮像させる（ステップＳ２３）。
そして、画像データ生成部４は、電子撮像部２から転送された背景画像のＹＵＶデータを生成する。
【００５６】
続けて、記録媒体制御部１１は、記録媒体１１ａの所定の記録領域に背景画像のＹＵＶデータを記録させる（ステップＳ２４）。
これにより、背景画像撮像処理を終了する。
【００５７】
次に、撮像装置１００による合成画像生成処理について、図７及び図８を参照して説明する。
図７は、合成画像生成処理に係る動作の一例を示すフローチャートである。また、図８は、合成画像生成処理における画像合成処理に係る動作の一例を示すフローチャートである。
【００５８】
合成画像生成処理は、ユーザによる操作入力部１２の選択決定用ボタン１２ｂの所定操作に基づいて、メニュー画面に表示された複数の動作モードの中から画像合成モードが選択指示された場合に実行される処理である。
図７に示すように、先ず、ユーザによる操作入力部１２の選択決定用ボタン１２ｂの所定操作に基づいて、記録媒体１１ａに記録されている複数の画像の中で所望の背景画像が選択されて指定されると、画像処理部８は、指定された背景画像の画像データを読み出して画像メモリ５に展開する（ステップＳ３１）。
【００５９】
次に、ユーザによる操作入力部１２の選択決定用ボタン１２ｂの所定操作に基づいて、記録媒体１１ａに記録されている複数の画像の中で所望の被写体切り抜き画像Ｐ３（図５（ｂ）参照）が選択されて指定されると、画像処理部８は、指定された被写体切り抜き画像Ｐ３の画像データを読み出して画像メモリ５に展開する（ステップＳ３２）。
【００６０】
なお、背景画像の指定及び当該画像の読み出しを行った後、被写体切り抜き画像Ｐ３の指定及び当該画像の読み出しを行うようにしたが、処理の順序はこれに限られるものではなく、被写体切り抜き画像Ｐ３の指定及び当該画像の読み出しを行った後、背景画像の指定及び当該画像の読み出しを行うようにしても良い。また、背景画像及び被写体切り抜き画像Ｐ３の両方を所定の順序で指定した後、これらの画像を所定の順序で読み出すようにしても良い。
【００６１】
次に、ユーザによる操作入力部１２の選択決定用ボタン１２ｂの所定操作に基づいて、ユーザ所望の被写体切り抜き画像Ｐ３の被写体画像Ｇの合成位置が指定されると（ステップＳ３３）、中央制御部１３は、背景画像と被写体切り抜き画像Ｐ３の被写体画像Ｇを合成する画像合成処理を画像合成部８ｅに行わせる（ステップＳ３４）。
【００６２】
以下に、画像合成処理について図８を参照して詳細に説明する。
図８に示すように、画像合成部８ｅは、先ず、被写体切り抜き画像Ｐ３と対応付けて記録されているアルファマップを読み出して画像メモリ５に展開する（ステップＳ４１）。
なお、背景画像における被写体切り抜き画像Ｐ３の合成位置や合成サイズが決定された際に、背景画像とアルファマップとがずれてしまいアルファマップの範囲外となる領域については、α＝０としてアルファ値が存在しない領域を生じさせないようにする。
【００６３】
次に、画像合成部８ｅは、背景画像の何れか一の画素（例えば、左上隅部の画素）を指定して（ステップＳ４２）、当該画素について、アルファマップのアルファ値に基づいて処理を分岐させる（ステップＳ４３）。具体的には、画像合成部８ｅは、背景画像の何れか一の画素のうち、アルファ値が１の画素については（ステップＳ４３；α＝１）、被写体切り抜き画像Ｐ３の対応する画素の画素値で上書きし（ステップＳ４４）、アルファ値が０＜α＜１の画素については（ステップＳ４３；０＜α＜１）、１の補数（１−α）を用いて被写体画像Ｇを切り抜いた画像（背景画像×（１−α））を生成した後、アルファマップにおける１の補数（１−α）を用いて被写体切り抜き画像Ｐ３を生成した際に単一背景色とブレンドした値を計算し、当該値を被写体切り抜き画像Ｐ３から減算し、それを被写体画像Ｇを切り抜いた画像（背景画像×（１−α））と合成し（ステップＳ４５）、アルファ値が０の画素については（ステップＳ４３；α＝０）、何もせずに背景画像を透過さるようにする。
【００６４】
続けて、画像合成部８ｅは、背景画像の全ての画素について処理したか否かを判定する（ステップＳ４６）。
ここで、全ての画素について処理していないと判定されると（ステップＳ４６；ＮＯ）、画像合成部８ｅは、処理対象として次の画素を指定して当該画素に処理対象を移動させて（ステップＳ４７）、処理をステップＳ４３に移行する。
上記の処理を、ステップＳ４６にて全ての画素について処理したと判定されるまで（ステップＳ４６；ＹＥＳ）、繰り返すことで、画像合成部８ｅは、被写体切り抜き画像Ｐ３と背景画像とを合成した被写体合成画像の画像データを生成させる。
これにより、画像合成処理を終了する。
【００６５】
図７に示すように、次に、表示制御部９は、画像合成部８ｅにより生成された被写体合成画像の画像データに基づいて、背景画像に被写体画像Ｇが重畳された被写体合成画像を表示部１０の表示画面１０ａに表示させる（ステップＳ３５）。
これにより、合成画像生成処理を終了する。
【００６６】
以上のように、本実施形態の撮像装置１００によれば、背景内に被写体Ｓが存在する被写体存在画像Ｐ１の撮像後、ライブビュー表示されている背景内に被写体Ｓが存在しない被写体非存在画像Ｐ２の撮像の際に、当該被写体非存在画像Ｐ２と被写体存在画像Ｐ１とを同一の表示部１０に同時に表示する。このとき、被写体非存在画像Ｐ２と被写体存在画像Ｐ１との類似度を算出、より具体的には、被写体存在画像Ｐ１及び被写体非存在画像Ｐ２の分割された複数の画像ブロックＢ、…の差分に基づいて類似度を算出し、当該類似度を表示部１０に表示して報知することで、被写体非存在画像Ｐ２と被写体存在画像Ｐ１との類似度、即ち、これら画像どうしの位置合わせがどの程度成功しているのか（成功レベル）をユーザに視認させることができる。
従って、被写体非存在画像Ｐ２の撮像に際して、被写体存在画像Ｐ１に対する類似度をユーザに把握させることができ、現に撮像される被写体非存在画像Ｐ２とそれ以前に撮像された被写体存在画像Ｐ１との位置合わせの容易化を図ることができる。この結果、被写体存在画像Ｐ１に対する位置合わせを行いながらの被写体非存在画像Ｐ２の撮像を簡便なものとすることができる。
【００６７】
なお、本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
以下に、撮像装置１００の変形例について説明する。なお、以下の変形例にあっては、上記実施形態と異なる構成のみを説明し、それ以外の構成については、上記実施形態と略同様となっている。
【００６８】
＜変形例１＞
以下に、変形例１の撮像装置１００について図９及び図１０を参照して説明する。
図９は、変形例１の撮像装置１００の概略構成を示すブロック図である。
変形例１の撮像装置１００は、被写体存在画像Ｐ１と被写体非存在画像Ｐ２との類似度が所定値以上であるか否かを判定する。そして、撮像装置１００は、当該類似度が所定値以上であると判定された場合に、被写体非存在画像Ｐ２を自動的に撮像して、この被写体非存在画像Ｐ２及び被写体存在画像Ｐ１から被写体切り抜き画像Ｐ３を生成する一方で、当該類似度が所定値未満であると判定された場合に、被写体切り抜き画像Ｐ３を生成する処理を行わずに、被写体非存在画像Ｐ２及び被写体存在画像Ｐ１を記録媒体１１ａに記録する。
【００６９】
図９に示すように、画像処理部８は、画像取得部８ａと、分割部８ｂと、類似度算出部８ｃと、切抜画像生成部８ｄと、画像合成部８ｅとに加えて、類似度判定部８ｆを具備している。
【００７０】
類似度判定部８ｆは、類似度算出部８ｃによって算出された被写体存在画像Ｐ１と被写体非存在画像Ｐ２との類似度が所定値以上であるか否かを判定する。
ここで、当該類似度の判定に係る所定値（判定値）は、予め設定された所定の固定値であっても良いし、ユーザによる操作入力部１２の所定操作に基づいて手動で、或いは、類似度判定部８ｆや中央制御部１３等が自動的に適宜任意に変更可能としても良い。即ち、例えば、画像処理部８に被写体存在画像Ｐ１から所定の顔検出方法により顔を検出する顔検出部（図示略）を具備しておき、類似度判定部８ｆは、顔検出部により検出された顔や顔検出枠（図示略）の大きさの被写体存在画像Ｐ１全体に対する割合に応じて、当該類似度の判定値を変更するようにしても良い。具体的には、類似度判定部８ｆは、顔や顔検出枠の大きさの被写体存在画像Ｐ１全体に対する割合が大きくなるほど被写体Ｓ以外の領域が狭くなることから、被写体存在画像Ｐ１と被写体非存在画像Ｐ２との差が大きくなるので、当該類似度の判定値（閾値）を下げる（緩くする）。また一方で、類似度判定部８ｆは、顔や顔検出枠の大きさの被写体存在画像Ｐ１全体に対する割合が小さくなるほど被写体Ｓ以外の領域が広くなることから、被写体存在画像Ｐ１と被写体非存在画像Ｐ２との差が小さくなるので、当該類似度の判定値を上げる（厳しくする）。
このように、類似度判定部８ｆは、類似度算出部８ｃによって算出された被写体存在画像（第１の画像）Ｐ１と被写体非存在画像（第２の画像）Ｐ２との類似度が所定値以上であるか否かを判定する判定手段を構成している。
【００７１】
撮像制御部３は、類似度判定部８ｆにより被写体存在画像Ｐ１と被写体非存在画像Ｐ２との類似度が所定値以上であると判定されると、被写体切り抜き画像Ｐ３の生成用の被写体非存在画像Ｐ２として、当該被写体非存在画像Ｐ２の光学像を被写体存在画像Ｐ１の撮像後に固定された撮像条件で電子撮像部２により自動的に撮像させる。
その後、画像メモリ５は、記憶手段として、電子撮像部２から転送されて画像データ生成部４により生成された被写体非存在画像（第２の画像）Ｐ２のＹＵＶデータを一時的に記憶する。
【００７２】
切抜画像生成部８ｄは、類似度判定部８ｆにより被写体存在画像Ｐ１と被写体非存在画像Ｐ２との類似度が所定値以上であると判定されると、画像生成手段として、被写体存在画像Ｐ１から被写体Ｓが存する領域の被写体画像Ｇを切り抜いて被写体切り抜き画像Ｐ３（図５（ｂ）参照）の画像データを自動的に生成する。
その一方で、切抜画像生成部８ｄは、類似度判定部８ｆにより被写体存在画像Ｐ１と被写体非存在画像Ｐ２との類似度が所定値未満であると判定されると、被写体切り抜き画像Ｐ３の画像データを生成する処理を行わない。
なお、切抜画像生成部８ｄによる被写体切り抜き画像Ｐ３の生成に係る処理は、上記実施形態と同様であり、その詳細な説明は省略する。
【００７３】
記録媒体制御部１１は、類似度判定部８ｆにより被写体存在画像Ｐ１と被写体非存在画像Ｐ２との類似度が所定値未満であると判定されると、記録制御手段として、電子撮像部２により撮像された被写体非存在画像（第２の画像）Ｐ２の画像データを記録媒体１１ａに記録させる。具体的には、記録媒体制御部１１は、電子撮像部２により撮像された被写体存在画像Ｐ１及び被写体非存在画像Ｐ２の各々の画像データを画像メモリ５から取得して、記録媒体１１ａの所定の記録領域に記録させる。
【００７４】
次に、撮像装置１００による被写体切り抜き処理について、図１０を参照して説明する。
図１０は、被写体切り抜き処理に係る動作の一例を示すフローチャートである。
なお、被写体存在画像Ｐ１と被写体非存在画像Ｐ２との類似度の判定結果に応じて実行される処理以外の処理は、上記実施形態の被写体切り抜き処理と略同様であり、その詳細な説明は省略する。また、被写体非存在画像Ｐ２の自動的な撮像（ステップＳ５２；後述）後にあっては、上記実施形態の被写体切り抜き処理と同様に、図３のステップＳ１０以降の処理が実行されるため、その詳細な説明は省略する。
【００７５】
図１０に示すように、先ず、上記実施形態の被写体切り抜き処理と同様に、表示制御部９は、被写体Ｓの撮像により生成された複数の画像フレームに基づいてライブビュー画像を表示部１０の表示画面１０ａに表示させるとともに、当該ライブビュー画像に重畳させて、被写体存在画像Ｐ１の撮像指示メッセージを表示部１０の表示画面１０ａに表示させる（ステップＳ１）。
【００７６】
次に、上記実施形態の被写体切り抜き処理と同様に、中央制御部１３は、ユーザによる操作入力部１２のシャッタボタン１２ａの所定操作に基づいて撮像指示が入力されたか否かを判定する（ステップＳ２）。ここで、撮像指示が入力されたと判定されると（ステップＳ２；ＹＥＳ）、撮像制御部３は、各種撮像条件を調整させて、被写体存在画像Ｐ１（図４（ａ）参照）の光学像を所定の条件で電子撮像部２により撮像させる（ステップＳ３）。
そして、画像データ生成部４は、電子撮像部２から転送された被写体存在画像Ｐ１のＹＵＶデータを生成した後、当該被写体存在画像Ｐ１のＹＵＶデータを画像メモリ５に一時的に記憶させる。
【００７７】
続けて、上記実施形態の被写体切り抜き処理と同様に、画像処理部８の画像取得部８ａは、画像メモリ５に一時的に記憶されている被写体存在画像Ｐ１のＹＵＶデータを取得した後、分割部８ｂは、当該被写体存在画像Ｐ１全体を所定の大きさの複数の画像ブロックＢ、…に分割する（ステップＳ４）。
次に、上記実施形態の被写体切り抜き処理と同様に、画像処理部８の画像取得部８ａは、被写体Ｓの撮像により生成され、画像データ生成部４から転送されて画像メモリ５に一時的に記憶されたライブビュー画像に係る複数の画像フレームのＹＵＶデータを順次取得していき、分割部８ｂは、取得されたライブビュー画像の各々について、当該画像全体を被写体存在画像Ｐ１と同様に所定の大きさの複数の画像ブロックＢ、…に分割する（ステップＳ５）。
【００７８】
続けて、上記実施形態の被写体切り抜き処理と同様に、画像処理部８の類似度算出部８ｃは、被写体存在画像Ｐ１とライブビュー表示されている被写体非存在画像Ｐ２との間で対応する各画像ブロックＢの平均色や輝度などの差分（相違度）を算出した後、当該差分が所定の閾値以下となる画像ブロック数の全体の総画像ブロック数に対する割合を類似度として算出する（ステップＳ６）。
そして、上記実施形態の被写体切り抜き処理と同様に、表示制御部９は、電子撮像部２により撮像された複数の画像フレームに基づいて、被写体非存在画像Ｐ２のライブビュー画像を表示部１０の表示画面１０ａに表示させるとともに、類似度算出部８ｃにより算出された被写体存在画像Ｐ１と被写体非存在画像Ｐ２との類似度を表示部１０の表示画面１０ａに表示させる（ステップＳ７；図５（ａ）参照）。さらに、表示制御部９は、被写体非存在画像Ｐ２のライブビュー画像に重畳させて、被写体存在画像Ｐ１の半透過の表示態様の画像と被写体非存在画像Ｐ２の撮像指示メッセージを表示部１０の表示画面１０ａに表示させる。
【００７９】
次に、画像処理部８の類似度判定部８ｆは、類似度算出部８ｃによって算出された被写体存在画像Ｐ１と被写体非存在画像Ｐ２との類似度が所定値以上であるか否かを判定する（ステップＳ５１）。
ここで、被写体存在画像Ｐ１と被写体非存在画像Ｐ２との類似度が所定値以上であると判定されると（ステップＳ５１；ＹＥＳ）、撮像制御部３は、第１の撮像制御手段として、被写体非存在画像（第２の画像）Ｐ２の光学像を被写体存在画像Ｐ１の撮像後に固定された撮像条件で電子撮像部２により自動的に撮像させる（ステップＳ５２）。
そして、画像データ生成部４は、電子撮像部２から転送された被写体非存在画像Ｐ２のＹＵＶデータを生成した後、当該被写体非存在画像Ｐ２のＹＵＶデータを画像メモリ５に一時的に記憶させる。
【００８０】
その後、図３に示すように、上記実施形態の被写体切り抜き処理と同様に、中央制御部１３は、特徴量演算部６、ブロックマッチング部７及び画像処理部８に、画像メモリ５に一時的に記憶されている被写体非存在画像Ｐ２のＹＵＶデータを基準として、被写体存在画像Ｐ１のＹＵＶデータを射影変換させるための射影変換行列を所定の画像変換モデルで算出させる（ステップＳ１０）。
次に、上記実施形態の被写体切り抜き処理と同様に、切抜画像生成部８ｄの位置合わせ部は、算出された射影変換行例に基づいて被写体存在画像Ｐ１を射影変換することで、被写体存在画像Ｐ１のＹＵＶデータと被写体非存在画像Ｐ２のＹＵＶデータとを位置合わせする処理を行う（ステップＳ１１）。
そして、上記実施形態の被写体切り抜き処理と同様に、切抜画像生成部８ｄの被写体画像抽出部は、被写体存在画像Ｐ１から被写体Ｓが含まれる被写体画像Ｇを抽出する処理を行う（ステップＳ１２）。
【００８１】
次に、上記実施形態の被写体切り抜き処理と同様に、切抜画像生成部８ｄの位置情報生成部は、抽出された被写体画像Ｇの被写体存在画像Ｐ１内での位置を示すアルファマップを生成する（ステップＳ１３）。
その後、上記実施形態の被写体切り抜き処理と同様に、切抜画像生成部８ｄの画像生成部は、被写体画像Ｇを所定の単一色画像と合成した被写体切り抜き画像Ｐ３（図５（ｂ）参照）の画像データを生成する処理を行う（ステップＳ１４）。
そして、上記実施形態の被写体切り抜き処理と同様に、記録媒体制御部１１は、記録媒体１１ａの所定の記録領域に、切抜画像生成部８ｄの位置情報生成部により生成されたアルファマップと被写体切り抜き画像Ｐ３の画像データとを対応付けて一ファイルで記録させる（ステップＳ１５）。
これにより、被写体切り抜き処理を終了する。
【００８２】
一方、ステップＳ５１にて、被写体存在画像Ｐ１と被写体非存在画像Ｐ２との類似度が所定値未満であると判定されると（ステップＳ５１；ＮＯ）、上記実施形態の被写体切り抜き処理と同様に、中央制御部１３は、ユーザによる操作入力部１２のシャッタボタン１２ａの所定操作に基づいて、撮像指示が入力されたか否かを判定する（ステップＳ８）。
ここで、撮像指示が入力されていないと判定されると（ステップＳ８；ＮＯ）、中央制御部１３は、処理をステップＳ５に戻し、上記のように、画像処理部８の画像取得部８ａは、画像データ生成部４から転送されて画像メモリ５に一時的に記憶されたライブビュー画像に係る複数の画像フレームのＹＵＶデータを順次取得していき、分割部８ｂは、取得されたライブビュー画像の各々について、当該画像全体を所定の大きさの複数の画像ブロックＢ、…に分割する（ステップＳ５）。なお、ステップＳ５以降の処理は、上記と同様であり、その詳細な説明は省略する。
【００８３】
ステップＳ８にて、ユーザにより操作入力部１２のシャッタボタン１２ａが所定操作されて撮像指示が入力されたと判定されると（ステップＳ８；ＹＥＳ）、撮像制御部３は、第２の撮像制御手段として、被写体非存在画像Ｐ２（図５（ａ）参照）の光学像を所定の撮像条件で電子撮像部２により撮像させる（ステップＳ９）。なお、所定の撮像条件は、被写体存在画像Ｐ１の撮像後に固定された撮像条件であっても良いし、当該被写体非存在画像Ｐ２の撮像タイミングで新たに設定された撮像条件であっても良い。
そして、画像データ生成部４は、電子撮像部２から転送された被写体非存在画像Ｐ２のＹＵＶデータを生成した後、当該被写体非存在画像Ｐ２のＹＵＶデータを画像メモリ５に一時的に記憶させる。
【００８４】
その後、記録媒体制御部１１は、画像メモリ５から被写体存在画像Ｐ１及び被写体非存在画像Ｐ２の各々の画像データを取得して、これらの画像データを記録媒体１１ａの所定の記録領域に記録させる（ステップＳ５３）。
これにより、被写体切り抜き処理を終了する。即ち、被写体存在画像Ｐ１から被写体Ｓが含まれる被写体画像Ｇを切り抜いて被写体切り抜き画像Ｐ３の画像データを生成することなく、被写体切り抜き処理を終了する。
【００８５】
従って、変形例１の撮像装置１００によれば、被写体存在画像Ｐ１と被写体非存在画像Ｐ２との類似度が所定値以上であると判定された場合には、被写体非存在画像Ｐ２を自動的に撮像して、この被写体非存在画像Ｐ２及び被写体存在画像Ｐ１から被写体切り抜き画像Ｐ３を自動的に生成するので、被写体存在画像Ｐ１の撮像を指示する一回の撮像指示動作で被写体切り抜き画像Ｐ３を簡便に生成することができる。
一方、被写体存在画像Ｐ１と被写体非存在画像Ｐ２との類似度が所定値未満であると判定された場合には、被写体切り抜き画像Ｐ３を生成する処理を行わず、ユーザによる操作入力部１２の所定操作に基づいて被写体非存在画像Ｐ２を撮像して記録媒体１１ａに記録する。これにより、被写体切り抜き画像Ｐ３の生成を適正に行うことができず失敗となる虞がある場合に、被写体切り抜き処理を終了させることで、当該撮像装置１００の待機状態への復帰を効率的に行うことができ、それ以降の処理の実行開始タイミングを早めることができるとともに、消費電力の軽減を図ることができる。
また、被写体切り抜き画像Ｐ３の生成を行うことができないものの、被写体非存在画像Ｐ２を記録媒体１１ａに記録するので、所望のシャッタチャンスを逃し難くすることができる。
このように、被写体存在画像Ｐ１と被写体非存在画像Ｐ２との類似度が所定値以上である場合に、自動的に被写体非存在画像Ｐ２を撮像するようにしたので、被写体存在画像Ｐ１に対する類似度をユーザに把握させることができ、以前に撮像された被写体存在画像Ｐ１と容易に位置合わせされた被写体非存在画像Ｐ２を得ることができる。
【００８６】
なお、上記変形例１にあっては、画像処理部８の顔検出部（図示略）により顔が検出された場合には、当該顔や顔検出枠に対応する画像領域を、被写体存在画像Ｐ１と被写体非存在画像Ｐ２との類似度の判定に用いないようにしても良い。即ち、被写体存在画像Ｐ１及び被写体非存在画像Ｐ２における顔や顔検出枠に対応する画像領域を、差分情報の生成に係る画像ブロックＢとして用いないようにしても良い。
さらに、被写体非存在画像Ｐ２に被写体存在画像Ｐ１との差分が所定値よりも大きい一塊の連続する領域があった場合にも、当該領域を被写体存在画像Ｐ１と被写体非存在画像Ｐ２との類似度の判定に用いないようにしても良い。
即ち、例えば、被写体存在画像Ｐ１の撮像の際には、被写体Ｓの後側に隠れている人や物体などは、被写体非存在画像Ｐ２では被写体Ｓが存しないために撮像されることとなり、当該領域の差分が大きくなってしまう。また、被写体存在画像Ｐ１の被写体Ｓ以外の領域についても、高速度で移動する人や物体などは、被写体存在画像Ｐ１若しくは被写体非存在画像Ｐ２の何れか一方にしか写らない場合があり、かかる場合にも当該領域の差分が大きくなってしまう。そこで、被写体非存在画像Ｐ２における被写体存在画像Ｐ１との差分があまりにも大きい領域については、類似度の判定に用いないようにすることで、当該類似度の判定精度を向上させることができる。
【００８７】
また、上記変形例１にあっては、被写体存在画像Ｐ１と被写体非存在画像Ｐ２との類似度が所定値未満であると判定された場合に、被写体存在画像Ｐ１及び被写体非存在画像Ｐ２の各々の画像データを記録媒体１１ａに記録するようにしたが、これに限られるものではなく、例えば、被写体非存在画像Ｐ２の撮像を中止して被写体存在画像Ｐ１の画像データのみを記録しても良いし、被写体切り抜き画像Ｐ３の生成を行うことができないことから画像メモリ５に一時的に記憶されている被写体存在画像Ｐ１の画像データを記録せずに消去するようにしても良い。
【００８８】
さらに、上記実施形態及び変形例１にあっては、被写体存在画像Ｐ１及び被写体非存在画像Ｐ２全体を複数の画像ブロックＢ、…に分割して、類似度の判定領域としたが、これに限られるものではなく、例えば、各画像の縁部から所定の画素数分の周縁領域のみを複数の画像ブロックＢ、…に分割して、当該画像ブロックＢの差分情報から類似度の判定を行うようにしても良い。
また、顔や顔検出枠の大きさの被写体存在画像Ｐ１全体に対する割合に応じて、分割部８ｂにより分割される画像ブロックＢの大きさを可変させるようにしても良い。即ち、顔や顔検出枠の大きさの被写体存在画像Ｐ１全体に対する割合が大きくなるほど被写体Ｓ以外の領域が狭くなることから、画像ブロックＢの大きさが相対的に小さくなるようにすることで、被写体存在画像Ｐ１と被写体非存在画像Ｐ２との類似度の算出や判定をより精度良く行うことができる。
【００８９】
さらに、上記実施形態及び変形例１にあっては、被写体存在画像Ｐ１と被写体非存在画像Ｐ２とを表示部１０の表示画面１０ａに同時に表示させるようにしたが、これらの画像を必ずしも同時に表示させる必要はなく、例えば、被写体存在画像Ｐ１と被写体非存在画像Ｐ２の表示を所定のタイミングで切り替えてこれらの画像を交互に表示させるようにしても良い。また、複数の表示部（図示略）を備え、それぞれの表示部に被写体存在画像Ｐ１と被写体非存在画像Ｐ２を表示させるようにしてもよい。
【００９０】
さらに、上記実施形態及び変形例１にあっては、撮像指示が入力された場合、又は被写体存在画像Ｐ１とライブビュー画像の類似度が所定値以上であった場合に、被写体非存在画像Ｐ２を撮像するようにしたが、必ずしも撮像を行う必要はなく、例えば、そのときに表示されているライブビュー画像を被写体非存在画像Ｐ２として記録するようにしてもよい。
【００９１】
また、上記実施形態の合成画像生成処理にあっては、先ず、被写体画像Ｇを取得し、その後、背景画像を取得するようにしたが、一例であってこれに限られるものではなく、これらの順序が逆となるように適宜任意に変更可能である。
【００９２】
また、撮像装置１００の構成は、上記実施形態に例示したものは一例であり、これに限られるものではない。また、第１の画像として被写体存在画像Ｐ１を例示し、第２の画像として被写体非存在画像Ｐ２を例示して、これらの画像どうしの位置合わせを被写体切り抜き処理に適用するような構成としたが、一例であってこれに限られるものではなく、適宜任意に変更可能である。例えば、第１の画像は、当該撮像装置１００以外の撮像装置にて撮像され記録媒体１１ａや所定の通信回線を介して取得した画像であっても良いし、また、第１の画像と第２の画像との位置合わせは、複数の画像を重ねてダイナックレンジを拡大する処理など被写体切り抜き処理以外の処理に適用しても良い。
【００９３】
加えて、上記実施形態にあっては、表示制御手段、算出手段、報知手段としての機能を、中央制御部１３の制御下にて、類似度算出部８ｃ、表示制御部９、表示部１０が駆動することにより本発明が実現される構成としたが、これに限られるものではなく、中央制御部１３のＣＰＵによって所定のプログラム等が実行されることにより実現される構成としても良い。
即ち、撮像装置１００のプログラムを記憶するプログラムメモリ（図示略）に、表示制御処理ルーチン、算出処理ルーチン及び報知制御処理ルーチンを含むプログラムを記憶しておく。そして、表示制御処理ルーチンにより中央制御部１３のＣＰＵを、記憶手段に記憶されている第１の画像と、撮像手段によって順次撮像されるライブビュー画像とを表示手段に表示する表示制御手段として機能させるようにしても良い。また、算出処理ルーチンにより中央制御部１３のＣＰＵを、表示制御手段により表示部に表示されている第１の画像とライブビュー画像との類似度を算出する算出手段として機能させるようにしても良い。また、報知制御処理ルーチンにより中央制御部１３のＣＰＵを、算出手段により算出された類似度を報知手段から報知させる報知制御手段として機能させるようにしても良い。
【００９４】
同様に、分割手段、判定手段、第１の撮像制御手段、第２の撮像制御手段、記録制御手段、画像生成手段についても、中央制御部１３のＣＰＵによって所定のプログラム等が実行されることにより実現される構成としても良い。
【００９５】
さらに、上記の各処理を実行するためのプログラムを格納したコンピュータ読み取り可能な媒体として、ＲＯＭやハードディスク等の他、フラッシュメモリ等の不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬型画像記録部を適用することも可能である。また、プログラムのデータを所定の通信回線を介して提供する媒体としては、キャリアウェーブ（搬送波）も適用される。
【符号の説明】
【００９６】
１００  撮像装置
２      電子撮像部
３      撮像制御部
８      画像処理部
８ａ    画像取得部
８ｂ    分割部
８ｃ    類似度算出部
８ｄ    切抜画像生成部
８ｆ    類似度判定部
９      表示制御部
１０    表示部
１１    記録媒体制御部
１１ａ  記録媒体
１３    中央制御部
【図１】
2011182014.tif 000003
【図２】
2011182014.tif 000004
【図３】
2011182014.tif 000005
【図４】
2011182014.tif 000006
【図５】
2011182014.tif 000007
【図６】
2011182014.tif 000008
【図７】
2011182014.tif 000009
【図８】
2011182014.tif 000010
【図９】
2011182014.tif 000011
【図１０】
2011182014.tif 000012