(57)【要約】【課題】自然な合成画像を生成する。【解決手段】撮像装置１００であって、背景画像に含まれる主要被写体と撮像装置との距離を示す背景距離情報と、被写体切り抜き画像に含まれる主要被写体と撮像装置との距離を示す被写体距離情報とを比較する距離差算出部８ｄと、当該比較結果に基づいて背景画像及び被写体切り抜き画像の少なくとも一方に所定の画像処理を施す平滑化処理部８ｅと、所定の画像処理が少なくとも一方に施された背景画像と被写体切り抜き画像の被写体画像とを合成する合成部８ｇとを備えている。【選択図】図１
2010278701.tif 000002
【特許請求の範囲】
【請求項１】
背景画像と、当該背景画像に含まれる主要被写体と当該背景画像を撮像した撮像装置との距離を示す第１距離情報とを取得する第１取得手段と、
前景画像と、当該前景画像に含まれる主要被写体と当該前景画像を撮像した撮像装置との距離を示す第２距離情報とを取得する第２取得手段と、
前記第１距離情報と前記第２距離情報とを比較する比較手段と、
この比較手段による比較結果に基づいて、前記背景画像及び前記前景画像の少なくとも一方に所定の画像処理を施す処理手段と、
この処理手段によって前記所定の画像処理が少なくとも一方に施された前記背景画像と前記前景画像とを合成する合成手段と、
を備えたことを特徴とする画像合成装置。
【請求項２】
前記比較手段は、
前記第１距離情報と前記第２距離情報とを比較して、前記背景画像と前記前景画像との距離差を算出する算出手段を備え、
前記処理手段は、前記算出手段により算出された前記距離差に応じて、前記背景画像及び前記前景画像の少なくとも一方に所定の画像処理を施すことを特徴とする請求項１に記載の画像合成装置。
【請求項３】
前記処理手段は、前記算出手段により算出された前記距離差に応じて前記所定の画像処理の処理強度を変更して前記背景画像及び前記前景画像の少なくとも一方に施すことを特徴とする請求項２に記載の画像合成装置。
【請求項４】
前記前景画像は、前記主要被写体を含む領域を抽出したものであることを特徴とする請求項１〜３の何れか一項に記載の画像合成装置。
【請求項５】
前記所定の画像処理は、画像を平滑化する処理、画像のコントラストを調整する処理及び画像の明るさを調整する処理の少なくとも一を含むことを特徴とする請求項１〜４の何れか一項に記載の画像合成装置。
【請求項６】
前記背景画像及び前記前景画像を撮像する撮像手段を更に備えたことを特徴とする請求項１〜５の何れか一項に記載の画像合成装置。
【請求項７】
画像を合成する画像合成装置の画像合成方法であって、
背景画像と、当該背景画像に含まれる主要被写体と当該背景画像を撮像した撮像装置との距離を示す第１距離情報とを取得する第１取得ステップと、
前景画像と、当該前景画像に含まれる主要被写体と当該前景画像を撮像した撮像装置との距離を示す第２距離情報とを取得する第２取得ステップと、
前記第１距離情報と前記第２距離情報とを比較する比較ステップと、
この比較ステップによる比較結果に基づいて、前記背景画像及び前記前景画像の少なくとも一方に所定の画像処理を施す処理ステップと、
この処理ステップによって前記所定の画像処理が少なくとも一方に施された前記背景画像と前記前景画像とを合成する合成ステップと、
を含むことを特徴とする画像合成方法。
【請求項８】
画像合成装置のコンピュータを、
背景画像と、当該背景画像に含まれる主要被写体と当該背景画像を撮像した撮像装置との距離を示す第１距離情報とを取得する第１取得手段、
前景画像と、当該前景画像に含まれる主要被写体と当該前景画像を撮像した撮像装置との距離を示す第２距離情報とを取得する第２取得手段、
前記第１距離情報と前記第２距離情報とを比較する比較手段、
この比較手段による比較結果に基づいて、前記背景画像及び前記前景画像の少なくとも一方に所定の画像処理を施す処理手段、
この処理手段によって前記所定の画像処理が少なくとも一方に施された前記背景画像と前記前景画像とを合成する合成手段、
として機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の画像を合成する画像合成装置、画像合成方法及びプログラムに関する。
【背景技術】
【０００２】
従来、被写体画像と背景画像やフレーム画像を合成することにより合成画像を生成する技術が知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−１５９１５８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、被写体画像と背景画像を合成する場合、これらの画像を単に重ねただけでは表現力の乏しい合成画像しか生成することができなかった。
【０００５】
そこで、本発明の課題は、自然な合成画像を生成することができる画像合成装置、画像合成方法及びプログラムを提供することである。
【課題を解決するための手段】
【０００６】
上記課題を解決するため、請求項１に記載の発明の画像合成装置は、
背景画像と、当該背景画像に含まれる主要被写体と当該背景画像を撮像した撮像装置との距離を示す第１距離情報とを取得する第１取得手段と、前景画像と、当該前景画像に含まれる主要被写体と当該前景画像を撮像した撮像装置との距離を示す第２距離情報とを取得する第２取得手段と、前記第１距離情報と前記第２距離情報とを比較する比較手段と、この比較手段による比較結果に基づいて、前記背景画像及び前記前景画像の少なくとも一方に所定の画像処理を施す処理手段と、この処理手段によって前記所定の画像処理が少なくとも一方に施された前記背景画像と前記前景画像とを合成する合成手段と、を備えたことを特徴としている。
【０００７】
請求項２に記載の発明は、請求項１に記載の画像合成装置において、
前記比較手段は、前記第１距離情報と前記第２距離情報とを比較して、前記背景画像と前記前景画像との距離差を算出する算出手段を備え、前記処理手段は、前記算出手段により算出された前記距離差に応じて、前記背景画像及び前記前景画像の少なくとも一方に所定の画像処理を施すことを特徴としている。
【０００８】
請求項３に記載の発明は、請求項２に記載の画像合成装置において、
前記処理手段は、前記算出手段により算出された前記距離差に応じて前記所定の画像処理の処理強度を変更して前記背景画像及び前記前景画像の少なくとも一方に施すことを特徴としている。
【０００９】
請求項４に記載の発明は、請求項１〜３の何れか一項に記載の画像合成装置において、
前記前景画像は、前記主要被写体を含む領域を抽出したものであることを特徴としている。
【００１０】
請求項５に記載の発明は、請求項１〜４の何れか一項に記載の画像合成装置において、
前記所定の画像処理は、画像を平滑化する処理、画像のコントラストを調整する処理及び画像の明るさを調整する処理の少なくとも一を含むことを特徴としている。
【００１１】
請求項６に記載の発明は、請求項１〜５の何れか一項に記載の画像合成装置において、
前記背景画像及び前記前景画像を撮像する撮像手段を更に備えたことを特徴としている。
【００１２】
請求項７に記載の発明の画像合成方法は、
画像を合成する画像合成装置の画像合成方法であって、背景画像と、当該背景画像に含まれる主要被写体と当該背景画像を撮像した撮像装置との距離を示す第１距離情報とを取得する第１取得ステップと、前景画像と、当該前景画像に含まれる主要被写体と当該前景画像を撮像した撮像装置との距離を示す第２距離情報とを取得する第２取得ステップと、前記第１距離情報と前記第２距離情報とを比較する比較ステップと、この比較ステップによる比較結果に基づいて、前記背景画像及び前記前景画像の少なくとも一方に所定の画像処理を施す処理ステップと、この処理ステップによって前記所定の画像処理が少なくとも一方に施された前記背景画像と前記前景画像とを合成する合成ステップと、を含むことを特徴としている。
【００１３】
請求項８に記載の発明のプログラムは、
画像合成装置のコンピュータを、背景画像と、当該背景画像に含まれる主要被写体と当該背景画像を撮像した撮像装置との距離を示す第１距離情報とを取得する第１取得手段、前景画像と、当該前景画像に含まれる主要被写体と当該前景画像を撮像した撮像装置との距離を示す第２距離情報とを取得する第２取得手段、前記第１距離情報と前記第２距離情報とを比較する比較手段、この比較手段による比較結果に基づいて、前記背景画像及び前記前景画像の少なくとも一方に所定の画像処理を施す処理手段、この処理手段によって前記所定の画像処理が少なくとも一方に施された前記背景画像と前記前景画像とを合成する合成手段、として機能させることを特徴としている。
【発明の効果】
【００１４】
本発明によれば、表現力の豊かな自然な合成画像を生成することができる。
【図面の簡単な説明】
【００１５】
【図１】本発明を適用した一実施形態の撮像装置の概略構成を示すブロック図である。
【図２】図１の撮像装置による合成画像生成処理に係る平均化フィルタの一例を説明するための図である。
【図３】図１の撮像装置による被写体切り抜き処理に係る動作の一例を示すフローチャートである。
【図４】被写体切り抜き処理に係る画像の一例を模式的に示す図である。
【図５】図１の撮像装置による背景画像撮像処理に係る動作の一例を示すフローチャートである。
【図６】図１の撮像装置による合成画像生成処理に係る動作の一例を示すフローチャートである。
【図７】合成画像生成処理における画像合成処理に係る動作の一例を示すフローチャートである。
【図８】合成画像生成処理に係る画像の一例を模式的に示す図である。
【発明を実施するための形態】
【００１６】
以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。
図１は、本発明を適用した一実施形態の撮像装置１００の概略構成を示すブロック図である。
【００１７】
本実施形態の撮像装置１００は、背景画像Ｐ４ａに含まれる被写体までの距離を示す背景距離情報と、主要被写体画像Ｇに含まれる主要被写体までの距離を示す被写体距離情報とを比較して、当該比較結果に基づいて背景画像Ｐ４ａ及び主要被写体画像Ｇの少なくとも一方に所定の画像処理を施した後、所定の画像処理が少なくとも一方に施された背景画像（例えば、背景画像Ｐ４ｂ）と主要被写体画像Ｇとを合成する。
具体的には、図１に示すように、撮像装置１００は、レンズ部１と、電子撮像部２と、撮像制御部３と、画像データ生成部４と、画像メモリ５と、特徴量演算部６と、ブロックマッチング部７と、画像処理部８と、記録媒体９と、表示制御部１０と、表示部１１と、操作入力部１２と、中央制御部１３とを備えている。
また、撮像制御部３と、特徴量演算部６と、ブロックマッチング部７と、画像処理部８と、中央制御部１３は、例えば、カスタムＬＳＩ１Ａとして設計されている。
【００１８】
レンズ部１は、複数のレンズから構成され、ズームレンズやフォーカスレンズ等を備えている。
また、レンズ部１は、図示は省略するが、被写体の撮像の際に、ズームレンズを光軸方向に移動させるズーム駆動部、フォーカスレンズを光軸方向に移動させる合焦駆動部等を備えていても良い。
【００１９】
電子撮像部２は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-oxide Semiconductor）等のイメージセンサから構成され、レンズ部１の各種レンズを通過した光学像を二次元の画像信号に変換する。
【００２０】
撮像制御部３は、図示は省略するが、タイミング発生器、ドライバなどを備えている。そして、撮像制御部３は、タイミング発生器、ドライバにより電子撮像部２を走査駆動して、所定周期毎に光学像を電子撮像部２により二次元の画像信号に変換させ、当該電子撮像部２の撮像領域から１画面分ずつ画像フレームを読み出して画像データ生成部４に出力させる。
【００２１】
また、撮像制御部３は、被写体の撮像条件の調整制御を行う。具体的には、撮像制御部３は、合焦駆動部に所定の制御信号を出力して、レンズ部１のフォーカスレンズを光軸方向に移動させて合焦位置を調整する自動合焦処理を行う合焦制御部３ａを備えている。
さらに、撮像制御部３は、撮像条件の調整制御として、ＡＥ（自動露出処理）やＡＷＢ（自動ホワイトバランス）等を行う。
【００２２】
このように構成されたレンズ部１、電子撮像部２及び撮像制御部３は、撮像手段として、画像合成処理に係る背景画像Ｐ４ａ（図８（ａ）参照）や被写体存在画像Ｐ１（図４（ａ）参照）を撮像する。
また、レンズ部１、電子撮像部２及び撮像制御部３は、被写体存在画像Ｐ１の撮像後、当該被写体存在画像Ｐ１の撮像の際の撮像条件を固定した状態で、被写体切り抜き画像Ｐ３（図４（ｃ）参照）の生成のための被写体非存在画像Ｐ２（図４（ｂ）参照）を撮像する。
【００２３】
画像データ生成部４は、電子撮像部２から転送された画像フレームのアナログ値の信号に対してＲＧＢの各色成分毎に適宜ゲイン調整した後に、サンプルホールド回路（図示略）でサンプルホールドしてＡ／Ｄ変換器（図示略）でデジタルデータに変換し、カラープロセス回路（図示略）で画素補間処理及びγ補正処理を含むカラープロセス処理を行った後、デジタル値の輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒ（ＹＵＶデータ）を生成する。
カラープロセス回路から出力される輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒは、図示しないＤＭＡコントローラを介して、バッファメモリとして使用される画像メモリ５にＤＭＡ転送される。
【００２４】
画像メモリ５は、例えば、ＤＲＡＭ等により構成され、特徴量演算部６と、ブロックマッチング部７と、画像処理部８と、中央制御部１３等によって処理されるデータ等を一時記憶する。
【００２５】
特徴量演算部６は、被写体非存在画像Ｐ２を基準として、当該被写体非存在画像Ｐ２から特徴点を抽出する特徴抽出処理を行う。具体的には、特徴量演算部６は、例えば、被写体非存在画像Ｐ２のＹＵＶデータに基づいて、所定数（或いは、所定数以上)の特徴の高いブロック領域（特徴点）を選択して、当該ブロックの内容をテンプレート（例えば、１６×１６画素の正方形）として抽出する。
ここで、特徴抽出処理とは、多数の候補ブロックから追跡に都合の良い特徴性の高いものを選択する処理である。
【００２６】
ブロックマッチング部７は、被写体切り抜き画像Ｐ３を生成する際に、被写体非存在画像Ｐ２と被写体存在画像Ｐ１の位置合わせのためのブロックマッチング処理を行う。具体的には、ブロックマッチング部７は、特徴抽出処理にて抽出されたテンプレートが被写体存在画像Ｐ１内のどこに対応するか、つまり、被写体存在画像Ｐ１内にてテンプレートの画素値が最適にマッチする位置（対応領域）を探索する。そして、画素値の相違度の評価値（例えば、差分二乗和（ＳＳＤ）や差分絶対値和（ＳＡＤ）等）が最も良かった被写体非存在画像Ｐ２と被写体存在画像Ｐ１間の最適なオフセットを当該テンプレートの動きベクトルとして算出する。
【００２７】
画像処理部８は、被写体切り抜き画像Ｐ３の画像データを生成する切り抜き画像生成部８ａを具備している。具体的には、切り抜き画像生成部８ａは、図示は省略するが、位置合わせ部と、被写体画像抽出部と、位置情報生成部と、画像生成部等を備えている。
位置合わせ部は、被写体非存在画像Ｐ２から抽出した特徴点に基づいて、被写体非存在画像Ｐ２に対する被写体存在画像Ｐ１の各画素の座標変換式（射影変換行列）を算出し、当該座標変換式に従って被写体存在画像Ｐ１を座標変換して被写体非存在画像Ｐ２と位置合わせを行う。
被写体画像抽出部は、位置合わせ部により位置合わせされた被写体存在画像Ｐ１と被写体非存在画像Ｐ２との間で対応する各画素の差分情報を生成し、当該差分情報を基準として被写体存在画像Ｐ１から被写体が含まれる主要被写体画像（前景画像）Ｇを抽出する。
位置情報生成部は、被写体存在画像Ｐ１から抽出された主要被写体画像Ｇの位置を特定して、被写体存在画像Ｐ１における主要被写体画像Ｇの位置を示す位置情報（例えば、アルファマップ）を生成する。ここで、アルファマップとは、被写体存在画像Ｐ１の各画素について、主要被写体画像Ｇを所定の背景に対してアルファブレンディングする際の重みをアルファ値（０≦α≦１）として表したものである。
画像生成部は、生成されたアルファマップに基づいて、被写体存在画像Ｐ１の各画素のうち、アルファ値が１の画素を所定の単一色画像（図示略）に対して透過させずに、且つ、アルファ値が０の画素を透過させるように、被写体の画像を所定の単一色画像と合成して被写体切り抜き画像Ｐ３の画像データを生成する。
【００２８】
このように、切り抜き画像生成部８ａは、被写体存在画像Ｐ１から主要被写体画像（前景画像）Ｇを抽出する抽出手段を構成している。
【００２９】
また、画像処理部８は、レンズ部１、電子撮像部２及び撮像制御部３により撮像された画像中の所定の領域までの距離を算出する距離算出部８ｂを具備している。
距離算出部８ｂは、背景画像Ｐ４ａの撮像の際に、当該背景画像Ｐ４ａ中の草や木などの被写体Ｃまでの距離を算出する。具体的には、距離算出部８ｂは、自動合焦処理にて背景画像Ｐ４ａ中の被写体Ｃに合焦した状態で、フォーカスレンズの光軸方向の位置に係るレンズ位置情報を撮像制御部３の合焦制御部３ａから取得して、当該レンズ位置情報に基づいて被写体Ｃまでの距離を所定の換算手段（例えば、換算プログラムや換算テーブル等）を用いて算出して背景距離情報（第１距離情報）を取得する。
なお、被写体Ｃの特定は、例えば、背景画像Ｐ４ａの画像データの色情報などを用いてコントラスト差を検出したり、画素集合の輪郭線（エッジ部分）を抽出することで行っても良い。
【００３０】
また、距離算出部８ｂは、被写体存在画像Ｐ１の撮像の際に、当該被写体存在画像Ｐ１中の主要被写体までの距離を算出する。具体的には、距離算出部８ｂは、自動合焦処理にて被写体存在画像Ｐ１中の主要被写体に合焦した状態で、フォーカスレンズの光軸方向の位置に係るレンズ位置情報を撮像制御部３の合焦制御部３ａから取得して、当該レンズ位置情報に基づいて主要被写体までの距離を所定の換算手段（例えば、換算プログラムや換算テーブル等）を用いて算出して被写体距離情報（第２距離情報）を取得する。
【００３１】
また、画像処理部８は、記録媒体９に記録されている背景画像Ｐ４ａや被写体切り抜き画像Ｐ３の画像データを取得する取得部８ｃを具備している。
取得部８ｃは、合成画像生成処理にて、ユーザによる操作入力部１２の所定操作に基づいて指定された背景画像Ｐ４ａの画像データを記録媒体９から読み出して取得する。具体的には、取得部８ｃは、Ｅｘｉｆ形式の画像ファイルから構成されている背景画像Ｐ４ａを読み出すことで、画像情報の他にＥｘｉｆ情報として付帯されている背景距離情報（第１距離情報）も取得する。
ここで、取得部８ｃは、背景画像Ｐ４ａと、当該背景画像Ｐ４ａに含まれる草や木などの被写体Ｃと当該背景画像Ｐ４ａを撮像した撮像装置１００との距離を示す背景距離情報（第１距離情報）とを取得する第１取得手段を構成している。
【００３２】
また、取得部８ｃは、合成画像生成処理にて、ユーザによる操作入力部１２の所定操作に基づいて指定された被写体切り抜き画像Ｐ３の画像データを記録媒体９から読み出して取得する。具体的には、取得部８ｃは、Ｅｘｉｆ形式の画像ファイルから構成されている被写体切り抜き画像Ｐ３を読み出すことで、画像情報の他にＥｘｉｆ情報として付帯されている被写体距離情報（第２距離情報）も取得する。
ここで、取得部８ｃは、前景画像としての主要被写体画像Ｇと、当該主要被写体画像Ｇに含まれる主要被写体と当該主要被写体画像Ｇに係る被写体存在画像Ｐ１を撮像した撮像装置１００との距離を示す被写体距離情報（第２距離情報）とを取得する第２取得手段を構成している。
【００３３】
また、画像処理部８は、算出手段として、背景画像Ｐ４ａと被写体存在画像Ｐ１に含まれる主要被写体画像（前景画像）Ｇとの距離差Ａを算出する距離差算出部８ｄを具備している。
距離差算出部８ｄは、合成画像生成処理にて、取得部８ｃにより取得された背景距離情報と被写体距離情報とを比較して、背景画像Ｐ４ａと主要被写体画像Ｇとの距離差Ａを算出する。
ここで、距離差算出部８ｄは、背景距離情報（第１距離情報）と被写体距離情報（第２距離情報）とを比較する比較手段を構成している。
【００３４】
また、画像処理部８は、背景画像Ｐ４ａに対して平滑化処理を施す平滑化処理部８ｅを具備している。
平滑化処理部８ｅは、距離差算出部８ｄにより算出された背景画像Ｐ４ａと主要被写体画像Ｇとの距離差Ａに応じて、背景画像Ｐ４ａに対して平滑化処理を施す。具体的には、平滑化処理部８ｅは、距離差算出部８ｄにより算出された距離差Ａに応じて平滑化処理の処理強度を変更して、背景画像Ｐ４ａに対して当該平滑化処理を施す。即ち、平滑化処理部８ｅは、距離差算出部８ｄにより算出された距離差Ａに応じて、画像処理部８のフィルタ記憶部８ｆに記憶されている複数の平均化フィルタｆ１（図２（ａ）参照）の中から一の平均化フィルタｆ１（例えば、３×３画素からなる平均化フィルタ）を特定する。そして、平滑化処理部８ｅは、特定された平均化フィルタｆ１を用いて背景画像Ｐ４ａに対して平滑化処理を施すことで、当該背景画像Ｐ４ｂの濃淡変化を滑らか（ピンぼけ状態）にする（図８（ｂ）参照）。
平均化フィルタｆ１を用いた平滑化処理において、背景画像Ｐ４ａの所定位置の画素をフィルタリングする場合、当該画素を中心とする近傍点の平均をその画素に入れ直す処理を行う。例えば、３×３画素の平均化フィルタｆ１を用いる場合、中央部（例えば、図２（ｂ）における「○」で示された領域）の周囲の８つの領域に対応する画素の色の平均を算出して、この算出した平均の色を当該中央部に対応する画素の色とする。
このとき、主要被写体画像Ｇと背景画像Ｐ４ａとの距離差Ａに応じて、平均化フィルタｆ１のサイズを変更することで（図２（ａ）参照）、平均化する範囲（平均を算出する近傍点の数）を変更して、背景画像Ｐ４ｂのぼけの大きさを調整する。具体的には、距離差Ａが大きい程、サイズの大きい平均化フィルタｆ１を用いることで、背景画像Ｐ４ｂにより大きいぼけを生じさせる。一方、距離差Ａが小さい程、サイズの小さい平均化フィルタｆ１を用いることで、背景画像Ｐ４ｂにより小さいぼけを生じさせる。
【００３５】
このように、平滑化処理部８ｅは、距離差算出部８ｄによる背景距離情報と被写体距離情報との比較結果に基づいて、背景画像Ｐ４ａに対して所定の画像処理を施す処理手段を構成している。
【００３６】
フィルタ記憶部８ｆは、主要被写体画像Ｇと背景画像Ｐ４ａとの距離差Ａに応じて所定サイズの平均化フィルタｆ１を対応付けて記憶している（図２（ａ）参照）。
具体的には、例えば、主要被写体画像Ｇと背景画像Ｐ４ａとの距離差Ａとしての「1［m］以下」と「３×３画素の平均化フィルタｆ１」とが対応付けられ、また、距離差Ａとしての「1［m］よりも大きく3［m］以下」と「５×５画素の平均化フィルタｆ１」とが対応付けられ、また、距離差Ａとしての「3［m］よりも大きく5［m］以下」と「７×７画素の平均化フィルタｆ１」とが対応付けられ、また、距離差Ａとしての「5［m］よりも大きい」と「５×５画素の平均化フィルタｆ１」とが対応付けられている。
なお、平均化フィルタｆ１のサイズ及び対応付けられている距離差Ａは、一例であって上記したものに限られるものではない。
【００３７】
また、画像処理部８は、合成手段として、背景画像Ｐ４ａと被写体切り抜き画像Ｐ３とを合成する合成部８ｇを具備している。
合成部８ｇは、具体的には、平滑化処理部８ｅによって平滑化処理が施されていない背景画像Ｐ４ａ若しくは平滑化処理が施された背景画像Ｐ４ｂの各画素のうち、アルファ値が０の画素は透過させ、アルファ値が１の画素は被写体切り抜き画像Ｐ３の対応する画素の画素値で上書きし、さらに、背景画像Ｐ４ａ（Ｐ４ｂ）の各画素のうち、アルファ値が０＜α＜１の画素は１の補数（１−α）を用いて主要被写体画像Ｇを切り抜いた画像（背景画像×（１−α））を生成した後、アルファマップにおける１の補数（１−α）を用いて被写体切り抜き画像Ｐ３を生成した際に単一背景色とブレンドした値を計算し、当該値を被写体切り抜き画像Ｐ３から減算し、それを主要被写体画像Ｇを切り抜いた画像（背景画像×（１−α））と合成する。
【００３８】
記録媒体９は、例えば、不揮発性メモリ（フラッシュメモリ）等により構成され、画像処理部８のＪＰＥＧ圧縮部（図示略）により符号化された被写体切り抜き画像Ｐ３や背景画像Ｐ４ａの画像データを記憶する。
【００３９】
被写体切り抜き画像Ｐ３の画像データは、切り抜き画像生成部８ａの位置情報生成部により生成されたアルファマップと対応付けられて、当該被写体切り抜き画像Ｐ３の画像データの拡張子を「.jpe」として記憶されている。また、被写体切り抜き画像Ｐ３の画像データは、被写体存在画像Ｐ１の撮像の際に距離算出部８ｂにより取得された被写体距離情報（第２距離情報）がＥｘｉｆ情報として付帯されたＥｘｉｆ形式の画像ファイルから構成されている。
背景画像Ｐ４ａの画像データは、背景画像Ｐ４ａの撮像の際に距離算出部８ｂにより取得された背景距離情報（第１距離情報）がＥｘｉｆ情報として付帯されたＥｘｉｆ形式の画像ファイルから構成されている。
【００４０】
このように、記録媒体９は、背景画像Ｐ４ａの撮像の際に当該背景画像Ｐ４ａにおける被写体（特徴領域）までの距離を測距した背景距離情報（第１距離情報）と、被写体存在画像Ｐ１の撮像の際に主要被写体までの距離を測距した被写体距離情報（第２距離情報）を記憶する。
【００４１】
表示制御部１０は、画像メモリ５に一時的に記憶されている表示用画像データを読み出して表示部１１に表示させる制御を行う。
具体的には、表示制御部１０は、ＶＲＡＭ、ＶＲＡＭコントローラ、デジタルビデオエンコーダなどを備えている。そして、デジタルビデオエンコーダは、中央制御部１３の制御下にて画像メモリ５から読み出されてＶＲＡＭ（図示略）に記憶されている輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒを、ＶＲＡＭコントローラを介してＶＲＡＭから定期的に読み出して、これらのデータを元にビデオ信号を発生して表示部１１に出力する。
【００４２】
表示部１１は、例えば、液晶表示装置であり、表示制御部１０からのビデオ信号に基づいて電子撮像部２により撮像された画像などを表示画面に表示する。具体的には、表示部１１は、撮像モードにて、レンズ部１、電子撮像部２及び撮像制御部３による被写体の撮像により生成された複数の画像フレームに基づいてライブビュー画像を表示したり、本撮像画像として撮像されたレックビュー画像を表示する。
【００４３】
操作入力部１２は、当該撮像装置１００の所定操作を行うためのものである。具体的には、操作入力部１２は、被写体の撮影指示に係るシャッタボタン１２ａ、撮像モードや機能等の選択指示に係る選択決定ボタン１２ｂ、ズーム量の調整指示に係るズームボタン（図示略）等を備え、これらのボタンの操作に応じて所定の操作信号を中央制御部１３に出力する。
【００４４】
中央制御部１３は、撮像装置１００の各部を制御するものである。具体的には、中央制御部１３は、ＣＰＵ（図示略）を備え、撮像装置１００用の各種処理プログラム（図示略）に従って各種の制御動作を行う。
【００４５】
次に、撮像装置１００による被写体切り抜き処理について、図３及び図４を参照して説明する。
図３は、被写体切り抜き処理に係る動作の一例を示すフローチャートである。また、図４（ａ）〜図４（ｃ）は、被写体切り抜き処理に係る画像の一例を模式的に示す図である。
【００４６】
被写体切り抜き処理は、ユーザによる操作入力部１２の選択決定ボタン１２ｂの所定操作に基づいて、メニュー画面に表示された複数の撮像モードの中から被写体切り抜きモードが選択指示された場合に実行される処理である。
図３に示すように、先ず、中央制御部１３は、表示制御部１０に、レンズ部１、電子撮像部２及び撮像制御部３による被写体の撮像により生成された複数の画像フレームに基づいてライブビュー画像を表示部１１の表示画面に表示させるとともに、当該ライブビュー画像に重畳させて、被写体存在画像Ｐ１の撮像指示メッセージを表示部１１の表示画面に表示させる（ステップＳ１）。
【００４７】
次に、中央制御部１３は、ユーザによる操作入力部１２のシャッタボタン１２ａの所定操作に基づいて撮像指示が入力されたか否かを判定する（ステップＳ２）。ここで、撮像指示が入力されたと判定されると（ステップＳ２；ＹＥＳ）、中央制御部１３は、撮像制御部３に、フォーカスレンズの合焦位置や露出条件（シャッター速度、絞り、増幅率等）やホワイトバランス等の条件を調整させて、被写体存在画像Ｐ１（図４（ａ）参照）の光学像を所定の条件で電子撮像部２により撮像させる。そして、中央制御部１３は、画像データ生成部４に、電子撮像部２から転送された被写体存在画像Ｐ１のＹＵＶデータを生成させる（ステップＳ３）。なお、当該被写体存在画像Ｐ１のＹＵＶデータは、画像メモリ５に一時記憶される。
また、中央制御部１３は、撮像制御部３を制御して、当該被写体存在画像Ｐ１の撮像の際の合焦位置や露出条件やホワイトバランス等の条件を固定した状態を維持する。
【００４８】
そして、中央制御部１３は、画像処理部８の距離算出部８ｂに、被写体存在画像Ｐ１の撮像の際の自動合焦処理にて、被写体存在画像Ｐ１中の主要被写体に合焦した状態のフォーカスレンズの光軸方向の位置に係るレンズ位置情報を撮像制御部３の合焦制御部３ａから取得させる。そして、中央制御部１３は、距離算出部８ｂに、当該レンズ位置情報に基づいて主要被写体までの距離を算出させて被写体距離情報を取得させる（ステップＳ４）。
【００４９】
次に、中央制御部１３は、表示制御部１０に、レンズ部１、電子撮像部２及び撮像制御部３による被写体の撮像により生成された複数の画像フレームに基づいてライブビュー画像を表示部１１の表示画面に表示させるとともに、当該ライブビュー画像に重畳させて、被写体存在画像Ｐ１の半透過の表示態様の画像と被写体非存在画像Ｐ２の撮像指示メッセージを表示部１１の表示画面に表示させる（ステップＳ５）。
この後、中央制御部１３は、ユーザによる操作入力部１２のシャッタボタン１２ａの所定操作に基づいて撮像指示が入力されたか否かを判定する（ステップＳ６）。そして、ユーザは、被写体が移動するのを待つか、或いは、被写体を画角外に移動させた後、ユーザにより被写体非存在画像Ｐ２が被写体存在画像Ｐ１の半透過の画像と重なるようにカメラ位置が調整されて、操作入力部１２のシャッタボタン１２ａが所定操作されて撮像指示が入力されたと判定されると（ステップＳ６；ＹＥＳ）、中央制御部１３は、撮像制御部３に、被写体非存在画像Ｐ２（図４（ｂ）参照）の光学像を被写体存在画像Ｐ１の撮像後に固定された条件で電子撮像部２により撮像させる。そして、中央制御部１３は、画像データ生成部４に、電子撮像部２から転送された被写体非存在画像Ｐ２のＹＵＶデータを生成させる（ステップＳ７）。なお、当該被写体存在画像Ｐ１のＹＵＶデータは、画像メモリ５に一時記憶される。
【００５０】
次に、中央制御部１３は、特徴量演算部６、ブロックマッチング部７及び画像処理部８に、画像メモリ５に一時記憶されている被写体非存在画像Ｐ２のＹＵＶデータを基準として、被写体存在画像Ｐ１のＹＵＶデータを射影変換させるための射影変換行列を所定の画像変換モデル（例えば、相似変換モデル、或いは合同変換モデル）で算出させる（ステップＳ８）。
具体的には、特徴量演算部６は、被写体非存在画像Ｐ２のＹＵＶデータに基づいて、所定数（或いは、所定数以上)の特徴の高いブロック領域（特徴点）を選択して、当該ブロックの内容をテンプレートとして抽出する。そして、ブロックマッチング部７は、特徴抽出処理にて抽出されたテンプレートの画素値が最適にマッチする位置を被写体存在画像Ｐ１内にて探索して、画素値の相違度の評価値が最も良かった被写体非存在画像Ｐ２と被写体存在画像Ｐ１間の最適なオフセットを当該テンプレートの動きベクトルとして算出する。そして、切り抜き画像生成部８ａの位置合わせ部は、ブロックマッチング部７により算出された複数のテンプレートの動きベクトルに基づいて全体の動きベクトルを統計的に算出し、当該動きベクトルに係る特徴点対応を用いて被写体存在画像Ｐ１の射影変換行列を算出する。
【００５１】
次に、中央制御部１３は、切り抜き画像生成部８ａの位置合わせ部に、算出された射影変換行例に基づいて被写体存在画像Ｐ１を射影変換させることで、被写体存在画像Ｐ１のＹＵＶデータと被写体非存在画像Ｐ２のＹＵＶデータとを位置合わせする処理を行わせる（ステップＳ９）。
【００５２】
そして、中央制御部１３は、切り抜き画像生成部８ａの被写体画像抽出部に、被写体存在画像Ｐ１から被写体が含まれる主要被写体画像Ｇを抽出する処理を行わせる（ステップＳ１０）。
具体的には、被写体領域抽出部は、被写体存在画像Ｐ１のＹＵＶデータと被写体非存在画像Ｐ２のＹＵＶデータの各々に対してローパスフィルタをかけて各画像の高周波成分を除去する。その後、被写体領域抽出部は、ローパスフィルタをかけた被写体存在画像Ｐ１と被写体非存在画像Ｐ２との間で対応する各画素について相違度を算出して相違度マップを生成する。続けて、被写体領域抽出部は、各画素に係る相違度マップを所定の閾値で２値化した後、相違度マップから細かいノイズや手ぶれにより相違が生じた領域を除去するために収縮処理を行う。その後、被写体領域抽出部は、ラベリング処理を行って、所定値以下の領域や最大領域以外の領域を除去した後、一番大きな島のパターンを主要被写体画像Ｇとして特定し、収縮分を修正するための膨張処理を行う。
【００５３】
次に、中央制御部１３は、画像処理部８の位置情報生成部に、抽出された主要被写体画像Ｇの被写体存在画像Ｐ１内での位置を示すアルファマップを生成させる（ステップＳ１１）。
【００５４】
その後、中央制御部１３は、画像処理部８の画像生成部に、主要被写体画像Ｇを所定の単一色画像と合成した被写体切り抜き画像Ｐ３（図４（ｃ）参照）の画像データを生成する処理を行わせる（ステップＳ１２）。
具体的には、画像生成部は、被写体存在画像Ｐ１、単一色画像及びアルファマップを読み出して画像メモリ５に展開した後、被写体存在画像Ｐ１の全ての画素について、アルファ値が０の画素については（α＝０）、透過させ、アルファ値が０＜α＜１の画素については（０＜α＜１）、所定の単一色とブレンディングを行い、アルファ値が１の画素については（α＝１）、何もせずに所定の単一色に対して透過させないようにする。
【００５５】
その後、中央制御部１３は、記録媒体９の所定の記憶領域に、画像処理部８の位置情報生成部により生成されたアルファマップと被写体切り抜き画像Ｐ３の画像データと距離算出部８ｂにより取得された被写体距離情報とを対応付けて一ファイルで記憶させる（ステップＳ１３）。
これにより、被写体切り抜き処理を終了する。
【００５６】
次に、撮像装置１００による背景画像撮像処理について、図５を参照して説明する。
図５は、背景画像撮像処理に係る動作の一例を示すフローチャートである。
【００５７】
背景画像撮像処理は、通常の静止画像の撮像処理であり、ユーザによる操作入力部１２の選択決定ボタン１２ｂの所定操作に基づいて、メニュー画面に表示された複数の撮像モードの中から静止画撮像モードが選択指示された場合に実行される処理である。
図５に示すように、先ず、中央制御部１３は、表示制御部１０に、レンズ部１、電子撮像部２及び撮像制御部３による背景画像Ｐ４ａの撮像により生成された複数の画像フレームに基づいてライブビュー画像を表示部１１の表示画面に表示させる（ステップＳ２１）。
【００５８】
次に、中央制御部１３は、ユーザによる操作入力部１２のシャッタボタン１２ａの所定操作に基づいて撮像指示が入力されたか否かを判定する（ステップＳ２２）。ここで、撮像指示が入力されたと判定されると（ステップＳ２２；ＹＥＳ）、中央制御部１３は、撮像制御部３に、フォーカスレンズの合焦位置や露出条件（シャッター速度、絞り、増幅率等）やホワイトバランス等の条件を調整させて、背景画像Ｐ４ａ（図８（ａ）参照）の光学像を所定の条件で電子撮像部２により撮像させる。そして、中央制御部１３は、画像データ生成部４に、電子撮像部２から転送された背景画像Ｐ４ａのＹＵＶデータを生成させる（ステップＳ２３）。
【００５９】
そして、中央制御部１３は、画像処理部８の距離算出部８ｂに、背景画像Ｐ４ａの撮像の際の自動合焦処理にて、背景画像Ｐ４ａ中の特徴のある被写体（例えば、草や木等）Ｃに合焦した状態のフォーカスレンズの光軸方向の位置に係るレンズ位置情報を撮像制御部３の合焦制御部３ａから取得させる。そして、中央制御部１３は、距離算出部８ｂに、当該レンズ位置情報に基づいて被写体Ｃまでの距離を算出させて背景距離情報を取得させる（ステップＳ２４）。
【００６０】
続けて、中央制御部１３は、記録媒体９の所定の記憶領域に、距離算出部８ｂにより取得された背景距離情報と背景画像Ｐ４ａのＹＵＶデータとを対応付けて一ファイルで記憶させる（ステップＳ２５）。
これにより、背景画像生成処理を終了する。
【００６１】
次に、撮像装置１００による合成画像生成処理について、図６〜図８を参照して説明する。
図６は、合成画像生成処理に係る動作の一例を示すフローチャートである。また、図７は、合成画像生成処理における画像合成処理に係る動作の一例を示すフローチャートである。また、図８（ａ）〜図８（ｃ）は、合成画像生成処理に係る画像の一例を模式的に示す図である。
【００６２】
合成画像生成処理は、ユーザによる操作入力部１２の選択決定ボタン１２ｂの所定操作に基づいて、メニュー画面に表示された複数の動作モードの中から画像合成モードが選択指示された場合に実行される処理である。
図６に示すように、先ず、ユーザによる操作入力部１２の選択決定ボタン１２ｂの所定操作に基づいて、記録媒体９に記録されている複数の画像の中で所望の被写体切り抜き画像Ｐ３（図４（ｃ）参照）が選択されて指定されると（ステップＳ３１）、中央制御部１３は、画像処理部８の取得部８ｃに、指定された被写体切り抜き画像Ｐ３の画像データを読み出させて画像メモリ５に展開させる（ステップＳ３２）。具体的には、取得部８ｃは、Ｅｘｉｆ形式の画像ファイルから構成されている被写体切り抜き画像Ｐ３を読み出すことで、画像情報の他にＥｘｉｆ情報として付帯されている被写体距離情報を取得する。
【００６３】
次に、ユーザによる操作入力部１２の選択決定ボタン１２ｂの所定操作に基づいて、記録媒体９に記録されている複数の画像の中で所望の背景画像Ｐ４ａ（図８（ａ）参照）が選択されて指定されると（ステップＳ３３）、中央制御部１３は、画像処理部８の取得部８ｃに、指定された背景画像Ｐ４ａの画像データを読み出させて画像メモリ５に展開させる（ステップＳ３４）。具体的には、取得部８ｃは、Ｅｘｉｆ形式の画像ファイルから構成されている背景画像Ｐ４ａを読み出すことで、画像情報の他にＥｘｉｆ情報として付帯されている背景距離情報を取得する。
【００６４】
続けて、中央制御部１３は、画像処理部８の距離差算出部８ｄに、取得部８ｃにより取得された背景距離情報と被写体距離情報とを比較させて、背景画像Ｐ４ａと主要被写体画像Ｇとの距離差Ａを算出させ、画像処理部８は、算出された距離差Ａが所定値以上であるか否かを判定する（ステップＳ３５）。
ここで、距離差Ａが所定値以上であると判定されると（ステップＳ３５；ＹＥＳ）、中央制御部１３は、画像処理部８の平滑化処理部８ｅに、距離差算出部８ｄにより算出された距離差Ａに応じて、フィルタ記憶部８ｆに記憶されている複数の平均化フィルタｆ１（図２（ａ）参照）の中から一の平均化フィルタｆ１（例えば、３×３画素からなる平均化フィルタ）を特定させる。そして、中央制御部１３は、平滑化処理部８ｅに、特定された平均化フィルタｆ１を用いて背景画像Ｐ４ａに対して平滑化処理を施させる（ステップＳ３６）。これにより、画素の濃淡変化を滑らかな状態、即ち、ピンぼけ状態とされた背景画像Ｐ４ｂ（図８（ｂ）参照）が生成される。
【００６５】
次に、ユーザによる操作入力部１２の選択決定ボタン１２ｂの所定操作に基づいて、ユーザ所望の被写体切り抜き画像Ｐ３の合成位置を指定して決定した後、中央制御部１３は、平滑化処理が施された背景画像Ｐ４ａと被写体切り抜き画像Ｐ３における主要被写体画像Ｇを用いて、画像合成処理を合成部８ｇに行わせる（ステップＳ３７）。
なお、ステップＳ３５にて、距離差Ａが所定値よりも小さいと判定されると（ステップＳ３５；ＮＯ）、中央制御部１３は、処理をステップＳ３７に移行させて、平滑化処理が施されていない背景画像Ｐ４ａを用いて画像合成処理を行わせる。また、背景距離情報が対応付けられていない背景画像や被写体距離情報が対応付けられていない被写体切り抜き画像を用いて画像合成を行う場合にも、背景画像に対する平滑化処理を行わずに画像合成処理を行う。
【００６６】
ここで、画像合成処理について図７を参照して詳細に説明する。
図７は、画像合成処理に係る動作の一例を示すフローチャートである。
合成部８ｇは、被写体切り抜き画像Ｐ３と対応付けて記憶されているアルファマップを読み出して画像メモリ５に展開する（ステップＳ４１）。
なお、背景画像Ｐ４ａにおける被写体切り抜き画像Ｐ３の合成位置が決定された際に、背景画像Ｐ４ａ（Ｐ４ｂ）とアルファマップとがずれてしまいアルファマップの範囲外となる領域については、α＝０としてアルファ値が存在しない領域を生じさせないようにする。
【００６７】
次に、合成部８ｇは、平滑化処理が施された背景画像Ｐ４ｂ若しくは当該処理が施されていない背景画像Ｐ４ａの何れか一の画素（例えば、左上隅部の画素）を指定して（ステップＳ４２）、当該画素について、アルファマップのアルファ値に基づいて処理を分岐させる（ステップＳ４３）。具体的には、合成部８ｇは、背景画像Ｐ４ａ（Ｐ４ｂ）の何れか一の画素のうち、アルファ値が１の画素については（ステップＳ４３；α＝１）、被写体切り抜き画像Ｐ３の対応する画素の画素値で上書きし（ステップＳ４４）、アルファ値が０＜α＜１の画素については（ステップＳ４３；０＜α＜１）、１の補数（１−α）を用いて主要被写体画像Ｇを切り抜いた画像（背景用画像×（１−α））を生成した後、アルファマップにおける１の補数（１−α）を用いて被写体切り抜き画像Ｐ３を生成した際に単一背景色とブレンドした値を計算し、当該値を被写体切り抜き画像Ｐ３から減算し、それを主要被写体画像Ｇを切り抜いた画像（背景用画像×（１−α））と合成し（ステップＳ４５、アルファ値が０の画素については（ステップＳ４３；α＝０）、何もせずに背景画像Ｐ４ａを透過さるようにする。
【００６８】
続けて、合成部８ｇは、背景画像Ｐ４ａの全ての画素について処理したか否かを判定する（ステップＳ４６）。
ここで、全ての画素について処理していないと判定されると（ステップＳ４６；ＮＯ）、合成部８ｇは、処理対象として次の画素を指定して当該画素に処理対象を移動させて（ステップＳ４７）、処理をステップＳ４３に移行させる。
上記の処理を、ステップＳ４６にて全ての画素について処理したと判定されるまで（ステップＳ４６；ＹＥＳ）、繰り返すことで、合成部８ｇは、被写体切り抜き画像Ｐ３と背景画像Ｐ４ａ（Ｐ４ｂ）とを合成した被写体合成画像Ｐ５の画像データを生成させる。
これにより、画像合成処理を終了する。
【００６９】
図６に示すように、その後、中央制御部１３は、表示制御部１０に、合成部８ｇにより生成された被写体合成画像Ｐ５の画像データに基づいて、背景画像Ｐ４ａ（Ｐ４ｂ）に被写体が重畳された被写体合成画像Ｐ５を表示部１１の表示画面に表示させる（ステップＳ３８）。
具体的には、例えば、平滑化処理が施された背景画像Ｐ４ｂを用いて被写体合成画像を生成した場合、主要被写体画像Ｇにはピントが合っているが、背景画像Ｐ４ｂに対してはピントが合っていないような被写体合成画像、即ち、背景画像Ｐ４ｂをぼかした被写体合成画像Ｐ５（図８（ｃ）参照）が表示部１１に表示される。
これにより、合成画像生成処理を終了する。
【００７０】
以上のように、本実施形態の撮像装置１００によれば、背景画像Ｐ４ａに含まれる被写体までの距離を示す背景距離情報と、主要被写体画像Ｇに含まれる主要被写体までの距離を示す被写体距離情報とを比較する。即ち、背景画像Ｐ４ａの撮像の際に、当該背景画像Ｐ４ａにおける特徴のある被写体Ｃまでの距離を測距した背景距離情報と、被写体存在画像Ｐ１の撮像の際に、被写体存在画像Ｐ１の主要被写体までの距離を測距した被写体距離情報とを比較する。そして、当該比較結果に基づいて背景画像Ｐ４ａに平滑化処理を施して当該背景画像Ｐ４ａの濃淡変化を滑らかにした後、平滑化処理が施された背景画像Ｐ４ｂと主要被写体画像Ｇとを合成して被写体合成画像Ｐ５を生成する。
これにより、撮像装置１００に対してより遠い方の画像である背景画像Ｐ４ａのピントは合っていないが、近い方の画像である主要被写体画像Ｇのピントは合っているような遠近感のある被写体合成画像Ｐ５（図８（ｃ）参照）を生成することができ、複数の画像を単に重ねただけでは得られず、且つ、一眼レフカメラで撮影したような表現力の豊かな自然な被写体合成画像Ｐ５を得ることができる。
【００７１】
また、背景画像Ｐ４ａと被写体切り抜き画像Ｐ３の主要被写体画像Ｇとの距離差Ａを算出して、当該距離差Ａに応じて背景画像Ｐ４ａに平滑化処理を施す。具体的には、背景画像Ｐ４ａと主要被写体画像Ｇとの距離差Ａに従って平滑化処理の処理強度を変更して背景画像Ｐ４ａに施すので、距離差Ａに応じて背景画像Ｐ４ｂのぼけの大きさを調整することができ、被写体存在画像の遠近感をより自然に表現することができる。
【００７２】
なお、本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
例えば、上記実施形態にあっては、平滑化処理を背景画像Ｐ４ａ（撮像装置１００に対して遠い方）に施すようにしたが、撮像装置１００に対してより近い方の主要被写体画像Ｇに施しても良い。即ち、撮像装置１００に対してより遠い方の背景画像Ｐ４ａのピントは合っているが、近い方の主要被写体画像Ｇのピントは合っていないような合成画像（主要被写体画像Ｇがピンぼけ状態の被写体合成画像）を生成する場合や、背景画像Ｐ４ａ及び主要被写体画像Ｇの双方のピントが合っていないような被写体合成画像（背景画像Ｐ４ａ及び主要被写体画像Ｇの双方がピンぼけ状態の被写体合成画像）を生成する場合にあっては、主要被写体画像Ｇに対して平滑化処理を施すようにしても良い。
つまり、平滑化処理部８ｅは、処理手段として、背景画像Ｐ４ａ及び主要被写体画像（前景画像）Ｇの少なくとも一方に所定の画像処理を施すように構成しても良い。
【００７３】
また、上記実施形態にあっては、所定の画像処理として、平滑化処理を例示したが、これに限られるものではなく、例えば、背景画像Ｐ４ａや主要被写体画像Ｇのコントラストや明るさを調整する処理であっても良い。即ち、背景画像Ｐ４ａに対して主要被写体画像Ｇのコントラストを強くしたり明るさを明るくすることで、被写体存在画像の遠近感を自然に表現することができ、表現力の豊かな自然な被写体合成画像を得ることができる。
また、上記実施形態と同様に、距離差Ａに応じて背景画像Ｐ４ａや主要被写体画像Ｇのコントラストや明るさを調整することで、被写体存在画像の遠近感をより自然に表現することができる。
【００７４】
さらに、上記実施形態にあっては、背景画像Ｐ４ａにおけるピントがあった位置の情報を記録しておいても良く、例えば、当該位置の情報に基づいて、画像処理の強度を調整しても良い。即ち、ピントがあった位置から離れる程、画像処理の強度を強くするようにすることで、被写体存在画像の遠近感をより自然に表現することができる。
【００７５】
また、上記実施形態にあっては、平滑化処理として、平均化フィルタを用いた手法を例示したが、これに限られるものではなく、画像を平滑化する方法であれば如何なる方法であっても良く、例えば、Irisフィルタなどを用いた手法であっても良い。
【００７６】
さらに、上記実施形態にあっては、被写体切り抜き画像Ｐ３の画像データを、被写体距離情報をＥｘｉｆ情報として付帯したＥｘｉｆ形式の画像ファイルから構成し、背景画像Ｐ４ａの画像データを、背景距離情報をＥｘｉｆ情報として付帯したＥｘｉｆ形式の画像ファイルから構成するようにしたが、被写体切り抜き画像Ｐ３や背景画像Ｐ４ａの画像データ並びに距離情報の記憶方法はこれらに限られるものではない。即ち、被写体切り抜き画像Ｐ３の画像データと被写体距離情報とが対応付けて記憶され、背景画像Ｐ４ａの画像データと背景距離情報とが対応付けて記憶されるような記憶方法であれば如何なる方法であっても良い。
【００７７】
また、上記実施形態にあっては、先ず、主要被写体画像Ｇ及び被写体距離情報を取得し（第２取得ステップ）、その後、背景画像Ｐ４ａと背景距離情報を取得する（第１取得ステップ）ようにしたが、これに限られるものではなく、これらの順序が逆であっても良い。
【００７８】
さらに、撮像装置１００の構成は、上記実施形態に例示したものは一例であり、これに限られるものではない。即ち、画像合成装置として、撮像装置１００を例示したが、これに限られるものではなく、少なくとも第１取得手段、第２取得手段、算出手段、処理手段、合成手段を備える構成であれば適宜任意に変更することができる。例えば、背景画像Ｐ４ａ及び被写体切り抜き画像Ｐ３の撮像並びに当該撮像の際における背景距離情報及び被写体距離情報の取得は、当該撮像装置１００とは異なる撮像装置にて行い、この撮像装置から転送された画像データや背景距離情報や被写体距離情報を記録して、合成画像生成処理のみを実行する画像合成装置であっても良い。
【００７９】
また、第１距離情報として、背景画像Ｐ４ａの撮像の際に当該背景画像Ｐ４ａに合焦した状態で測距された背景距離情報を例示し、また、第２距離情報として、被写体存在画像Ｐ１の撮像の際に主要被写体画像Ｇに合焦した状態で測距された被写体距離情報を例示したが、一例であり、第１距離情報及び第２距離情報はこれらに限られるものではない。即ち、第１距離情報は、背景画像に含まれる被写体と当該背景画像を撮像した撮像装置との距離を示す情報であれば如何なるものであっても良く、また、第２距離情報は、前景画像に含まれる主要被写体と当該前景画像を撮像した撮像装置との距離を示す情報であれば如何なるものであっても良い。
【００８０】
加えて、上記実施形態にあっては、第１取得手段、第２取得手段、比較手段、処理手段、合成手段としての機能を、中央制御部１３の制御下にて、画像処理部８が駆動することにより実現される構成としたが、これに限られるものではなく、中央制御部１３によって所定のプログラム等が実行されることにより実現される構成としても良い。
即ち、プログラムを記憶するプログラムメモリ（図示略）に、第１取得処理ルーチン、第２取得処理ルーチン、比較処理ルーチン、画像処理ルーチン、合成処理ルーチンを含むプログラムを記憶しておく。そして、第１取得処理ルーチンにより中央制御部１３のＣＰＵを、背景画像Ｐ４ａと、背景画像Ｐ４ａに含まれる主要被写体と当該背景画像Ｐ４ａを撮像した撮像装置との距離を示す背景距離情報（第１距離情報）とを取得する第１取得手段として機能させるようにしても良い。また、第２取得処理ルーチンにより中央制御部１３のＣＰＵを、被写体存在画像Ｐ１から抽出された主要被写体画像（前景画像）Ｇと、当該主要被写体画像に含まれる主要被写体と被写体存在画像Ｐ１を撮像した撮像装置との距離を示す被写体距離情報（第２距離情報）とを取得する第２取得手段として機能させるようにしても良い。また、比較処理ルーチンにより中央制御部１３のＣＰＵを、背景距離情報と被写体距離情報とを比較する比較手段として機能させるようにしても良い。また、画像処理ルーチンにより中央制御部１３のＣＰＵを、背景距離情報と被写体距離情報との比較結果に基づいて、背景画像Ｐ４ａ及び主要被写体画像Ｇの少なくとも一方に所定の画像処理を施す処理手段として機能させるようにしても良い。また、合成処理ルーチンにより中央制御部１３のＣＰＵを、所定の画像処理が少なくとも一方に施された背景画像Ｐ４ｂと主要被写体画像Ｇとを合成する合成手段として機能させるようにしても良い。
【符号の説明】
【００８１】
１００  撮像装置
１      レンズ部
２      電子撮像部
３      撮像制御部
８      画像処理部
８ａ    切り抜き画像生成部
８ｂ    距離算出部
８ｃ    取得部
８ｄ    距離差算出部
８ｅ    平滑化処理部
８ｇ    合成部
１３    中央制御部
Ｐ１    被写体存在画像
Ｐ４ａ、Ｐ４ｂ  背景画像
Ｇ      主要被写体画像
【図１】
2010278701.tif 000003
【図２】
2010278701.tif 000004
【図３】
2010278701.tif 000005
【図４】
2010278701.tif 000006
【図５】
2010278701.tif 000007
【図６】
2010278701.tif 000008
【図７】
2010278701.tif 000009
【図８】
2010278701.tif 000010