(57)【特許請求の範囲】
【請求項１】
被写体を含んだ複数の画像を取得する取得手段と、
この取得手段により取得された複数の画像の各々について、各画像に含まれる複数の被写体毎に、各被写体の前に当該被写体以外の物が重なっているか否かを判定する判定手段と、
前記取得手段によって取得された複数の画像の各々について、各画像に含まれる複数の被写体毎に、前記判定手段により各被写体の前に当該被写体以外の物が重なっていないと判定された画像の各々から、当該被写体の被写体領域からなる被写体領域画像をそれぞれ抽出する抽出手段と、
を備えたことを特徴とする画像処理装置。
【請求項２】
前記判定手段により前記各被写体の前に当該被写体以外の物が重なっていると判定された画像を前記抽出手段による前記被写体領域画像の抽出対象から除外する除外手段を更に備えたことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
撮像手段と、
前記撮像手段による撮像指示を入力する入力手段と、を更に備え、
前記取得手段は、前記撮像手段によって複数回の撮像を行うことにより前記複数の画像を取得し、
前記入力手段により撮像指示が入力されている間、前記撮像手段による複数の画像の生成、前記判定手段による当該複数の画像の各々についての前記各被写体の前に当該被写体以外の物が重なっているか否かの判定、前記除外手段による前記各被写体の前に当該被写体以外の物が重なっていると判定された画像の前記被写体領域画像の抽出対象からの除外を繰り返すことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記抽出手段により抽出された前記複数の被写体毎の被写体領域画像を、前記複数の被写体毎にそれぞれ対応付けて記録する記録手段を更に備えたことを特徴とする請求項１〜３の何れか一項に記載の画像処理装置。
【請求項５】
人物の顔画像を複数記録する顔記録手段と、
この顔記録手段に記録された人物の顔画像に基づいて特定の人物の顔を認識する顔認識手段と、を更に備え、
前記判定手段は、
前記顔認識手段により認識された特定の人物の顔の前に当該特定の人物以外の物が重なっているか否かを判定することを特徴とする請求項１〜４の何れか一項に記載の画像処理装置。
【請求項６】
画像処理装置を用いた画像処理方法であって、
被写体を含んだ複数の画像を取得する取得ステップと、
この取得ステップにより取得された複数の画像の各々について、各画像に含まれる複数の被写体毎に、各被写体の前に当該被写体以外の物が重なっているか否かを判定する判定ステップと、
前記取得ステップによって取得された複数の画像の各々について、各画像に含まれる複数の被写体毎に、前記判定ステップにより各被写体の前に当該被写体以外の物が重なっていないと判定された画像の各々から、当該被写体の被写体領域からなる被写体領域画像をそれぞれ抽出する抽出ステップと、
を含むことを特徴とする画像処理方法。
【請求項７】
画像処理装置のコンピュータに、
被写体を含んだ複数の画像を取得する取得機能と、
この取得機能により取得された複数の画像の各々について、各画像に含まれる複数の被写体毎に、各被写体の前に当該被写体以外の物が重なっているか否かを判定する判定機能と、
前記取得機能によって取得された複数の画像の各々について、各画像に含まれる複数の被写体毎に、前記判定機能により各被写体の前に当該被写体以外の物が重なっていないと判定された画像の各々から、当該被写体の被写体領域からなる被写体領域画像をそれぞれ抽出する抽出機能と、
を実現させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法及びプログラムに関する。
【背景技術】
【０００２】
従来、背景内に被写体が存在する被写体画像を撮影し、その後に背景内に被写体が存在しない背景画像を撮影して、当該背景画像と被写体画像から差分情報を生成し、被写体のみを抜き出す画像抽出装置が知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平１０−２１４０８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の技術を連続撮影で行った場合、この連続撮影によって得られた複数の被写体画像と背景画像とから、被写体のみを抜き出した画像を複数抽出すると、複数の被写体画像のうちの何れかに被写体の前に当該被写体以外の物が重なった画像が含まれる可能性がある。そしてこの場合、抜き出すべき被写体の前に当該被写体以外の物が重なると、この被写体以外の物の画像を抜き出し、適切に被写体のみを抜き出した画像に紛れ込んでしまう問題が予期される。
【０００５】
そこで、本発明の課題は、連続的に取得された複数の画像に夫々含まれる切り抜き対象の被写体にこの被写体以外の物が重なった場合でも、切り抜き対象の被写体のみを得ることができる画像処理装置、画像処理方法及びプログラムを提供することである。
【課題を解決するための手段】
【０００６】
上記課題を解決するため、請求項１に記載の画像処理装置は、
被写体を含んだ複数の画像を取得する取得手段と、
この取得手段により取得された複数の画像の各々について、各画像に含まれる複数の被写体毎に、各被写体の前に当該被写体以外の物が重なっているか否かを判定する判定手段と、
前記取得手段によって取得された複数の画像の各々について、各画像に含まれる複数の被写体毎に、前記判定手段により各被写体の前に当該被写体以外の物が重なっていないと判定された画像の各々から、当該被写体の被写体領域からなる被写体領域画像をそれぞれ抽出する抽出手段と、
を備えたことを特徴としている。
【０００７】
請求項２に記載の画像処理装置は、請求項１に記載の画像処理装置において、
前記判定手段により前記各被写体の前に当該被写体以外の物が重なっていると判定された画像を前記抽出手段による前記被写体領域画像の抽出対象から除外する除外手段を更に備えたことを特徴としている。
【０００８】
請求項３に記載の画像処理装置は、請求項２に記載の画像処理装置において、
撮像手段と、
前記撮像手段による撮像指示を入力する入力手段と、を更に備え、
前記取得手段は、前記撮像手段によって複数回の撮像を行うことにより前記複数の画像を取得し、
前記入力手段により撮像指示が入力されている間、前記撮像手段による複数の画像の生成、前記判定手段による当該複数の画像の各々についての前記各被写体の前に当該被写体以外の物が重なっているか否かの判定、前記除外手段による前記各被写体の前に当該被写体以外の物が重なっていると判定された画像の前記被写体領域画像の抽出対象からの除外を繰り返すことを特徴としている。
【００１１】
請求項４に記載の画像処理装置は、請求項１〜３の何れか一項に記載の画像処理装置において、
前記抽出手段により抽出された前記複数の被写体毎の被写体領域画像を、前記複数の被写体毎にそれぞれ対応付けて記録する記録手段を更に備えたことを特徴としている。
【００１３】
請求項５に記載の画像処理装置は、請求項１〜４の何れか一項に記載の画像処理装置において、
人物の顔画像を複数記録する顔記録手段と、この顔記録手段に記録された人物の顔画像に基づいて特定の人物の顔を認識する顔認識手段と、を更に備え、前記判定手段は、前記顔認識手段により認識された特定の人物の顔の前に当該特定の人物以外の物が重なっているか否かを判定することを特徴としている。
【００１４】
請求項６に記載の発明の画像処理方法は、
画像処理装置を用いた画像処理方法であって、
被写体を含んだ複数の画像を取得する取得ステップと、
この取得ステップにより取得された複数の画像の各々について、各画像に含まれる複数の被写体毎に、各被写体の前に当該被写体以外の物が重なっているか否かを判定する判定ステップと、
前記取得ステップによって取得された複数の画像の各々について、各画像に含まれる複数の被写体毎に、前記判定ステップにより各被写体の前に当該被写体以外の物が重なっていないと判定された画像の各々から、当該被写体の被写体領域からなる被写体領域画像をそれぞれ抽出する抽出ステップと、
を含むことを特徴としている。
【００１５】
請求項７に記載の発明のプログラムは、
画像処理装置のコンピュータに、
被写体を含んだ複数の画像を取得する取得機能と、
この取得機能により取得された複数の画像の各々について、各画像に含まれる複数の被写体毎に、各被写体の前に当該被写体以外の物が重なっているか否かを判定する判定機能と、
前記取得機能によって取得された複数の画像の各々について、各画像に含まれる複数の被写体毎に、前記判定機能により各被写体の前に当該被写体以外の物が重なっていないと判定された画像の各々から、当該被写体の被写体領域からなる被写体領域画像をそれぞれ抽出する抽出機能と、
を実現させることを特徴としている。
【発明の効果】
【００１６】
本発明によれば、連続的に取得された複数の画像に夫々含まれる切り抜き対象の被写体にこの被写体以外の物が重なった場合でも、切り抜き対象の被写体のみを得ることができる。
【図面の簡単な説明】
【００１７】
【図１】本発明を適用した実施形態１の撮像装置の概略構成を示すブロック図である。
【図２】実施形態１の撮像装置の個人データベースの一例を模式的に示す図である。
【図３】実施形態１の撮像装置による被写体切り抜き処理に係る動作の一例を示すフローチャートである。
【図４】図３の被写体切り抜き処理の続きを示すフローチャートである。
【図５】図３の被写体切り抜き処理を説明するための画像の一例を模式的に示す図である。
【図６】図３の被写体切り抜き処理を説明するための画像の一例を模式的に示す図である。
【図７】実施形態１の撮像装置による画像合成処理に係る動作の一例を示すフローチャートである。
【図８】図７の画像合成処理を説明するための画像の一例を模式的に示す図である。
【図９】実施形態２の撮像装置による被写体切り抜き処理に係る動作の一例を示すフローチャートである。
【図１０】図９の被写体切り抜き処理の続きを示すフローチャートである。
【図１１】図９の被写体切り抜き処理を説明するための画像の一例を模式的に示す図である。
【図１２】図９の被写体切り抜き処理を説明するための画像の一例を模式的に示す図である。
【図１３】図９の被写体切り抜き処理を説明するための画像の一例を模式的に示す図である。
【図１４】実施形態２の変形例１の撮像装置による被写体切り抜き処理に係る動作の一例を示すフローチャートである。
【図１５】図１４の被写体切り抜き処理の続きを示すフローチャートである。
【図１６】本発明を適用した実施形態３の撮像装置の概略構成を示すブロック図である。
【図１７】実施形態３の撮像装置による被写体切り抜き処理に係る動作の一例を示すフローチャートである。
【図１８】図１７の被写体切り抜き処理の続きを示すフローチャートである。
【図１９】図１７の被写体切り抜き処理を説明するための画像の一例を模式的に示す図である。
【発明を実施するための形態】
【００１８】
以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。
【００１９】
[実施形態１]
図１は、本発明を撮像装置に適用した実施形態１の概略構成を示すブロック図である。
実施形態１の撮像装置１００は、連続して撮像された複数の被写体存在画像Ａ１〜Ａｎ（図５（ａ）〜（ｃ）参照）の各々について、顔認識部８ａにより人物の顔を認識して特定し、判定部８ｃにより当該特定の人物の顔の前に特定の人物以外の物が重なっているか否かの判定を行い、切り抜き画像生成部８ｅにより当該人物以外の物が重なっていないと判定された各抽出用被写体存在画像Ｂ１〜Ｂｍ（ｍ≦ｎ；ｍ、ｎは２以上の自然数）から複数の被写体切り抜き画像Ｄ１〜Ｄｍ（図６参照）を生成する。
具体的には、図１に示すように、撮像装置１００は、レンズ部１と、電子撮像部２と、撮像制御部３と、画像データ生成部４と、画像メモリ５と、特徴量演算部６と、ブロックマッチング部７と、画像処理部８と、記録媒体９と、表示制御部１０と、表示部１１と、操作入力部１２と、ＣＰＵ１３とを備えている。
また、撮像制御部３と、特徴量演算部６と、ブロックマッチング部７と、画像処理部８と、ＣＰＵ１３は、例えば、カスタムＬＳＩ１Ａとして設計されている。
【００２０】
レンズ部１は、複数のレンズから構成され、ズームレンズやフォーカスレンズ等を備えている。
また、レンズ部１は、図示は省略するが、被写体の撮像の際に、ズームレンズを光軸方向に移動させるズーム駆動部、フォーカスレンズを光軸方向に移動させる合焦駆動部等を備えていても良い。
【００２１】
電子撮像部２は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-oxide Semiconductor）等のイメージセンサから構成され、レンズ部１の各種レンズを通過した光学像を二次元の画像信号に変換する。
【００２２】
撮像制御部３は、図示は省略するが、タイミング発生器、ドライバなどを備えている。そして、撮像制御部３は、タイミング発生器、ドライバにより電子撮像部２を走査駆動して、所定周期毎に光学像を電子撮像部２により二次元の画像信号に変換させ、当該電子撮像部２の撮像領域から１画面分ずつ画像フレームを読み出して画像データ生成部４に出力させる。
また、撮影時にライブビュー画像表示を行う場合には、撮像制御部３は、電子撮像部２により被写体を所定の撮像フレームレートで連続して撮像させて、各画像フレームを電子撮像部２から画像データ生成部４に逐次出力させる。
【００２３】
また、撮像制御部３は、ＡＦ（自動合焦処理）、ＡＥ（自動露出処理）、ＡＷＢ（自動ホワイトバランス）等の被写体を撮像する際の条件の調整制御を行う。
【００２４】
このように構成されたレンズ部１、電子撮像部２及び撮像制御部３は、連続撮像により複数の被写体存在画像Ａ１〜Ａｎを生成する撮像手段を構成している。
【００２５】
画像データ生成部４は、電子撮像部２から転送された画像フレームのアナログ値の信号に対してＲＧＢの各色成分毎に適宜ゲイン調整した後に、サンプルホールド回路（図示略）でサンプルホールドしてＡ／Ｄ変換器（図示略）でデジタルデータに変換し、カラープロセス回路（図示略）で画素補間処理及びγ補正処理を含むカラープロセス処理を行った後、デジタル値の輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒ（ＹＵＶデータ）を生成する。
カラープロセス回路から出力される輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒは、図示しないＤＭＡコントローラを介して、バッファメモリとして使用される画像メモリ５にＤＭＡ転送される。
【００２６】
画像メモリ５は、例えば、ＤＲＡＭ等により構成され、特徴量演算部６と、ブロックマッチング部７と、画像処理部８と、ＣＰＵ１３等によって処理されるデータ等を一時記憶する。
【００２７】
特徴量演算部６は、背景内に被写体が存在しない被写体非存在画像Ｈを基準として、当該被写体非存在画像Ｈから特徴点を抽出する特徴抽出処理を行う。具体的には、特徴量演算部６は、被写体非存在画像ＨのＹＵＶデータに基づいて、所定数（或いは、所定数以上)の特徴の高いブロック領域（特徴点）を選択して、当該ブロックの内容をテンプレート（例えば、１６×１６画素の正方形）として抽出する。
ここで、特徴抽出処理とは、多数の候補ブロックから追跡に都合の良い特徴性の高いものを選択する処理である。
【００２８】
ブロックマッチング部７は、複数の被写体存在画像Ａ１〜Ａｎのうち、被写体領域を抽出するための抽出用被写体存在画像Ｂ１〜Ｂｍ（ｍ≦ｎ）の各々と被写体非存在画像Ｈとの位置合わせのためのブロックマッチング処理を行う。具体的には、ブロックマッチング部７は、特徴抽出処理にて抽出されたテンプレートが各抽出用被写体存在画像Ｂ１〜Ｂｍ内のどこに対応するか、つまり、各被写体存在画像Ｂ１〜Ｂｍ内にてテンプレートの画素値が最適にマッチする位置（対応領域）を各抽出用被写体存在画像Ｂ１〜Ｂｍについて探索する。そして、画素値の相違度の評価値（例えば、差分二乗和（ＳＳＤ）や差分絶対値和（ＳＡＤ）等）が最も良かった被写体非存在画像Ｈと各抽出用被写体存在画像Ｂ１〜Ｂｍの最適なオフセットを当該テンプレートの動きベクトルとして算出する。
【００２９】
画像処理部８は、顔認識部８ａと、判定部８ｃと、除外部８ｄと、切り抜き画像生成部８ｅと、画像合成部８ｆとを具備している。
【００３０】
顔認識部８ａは、連続して撮像された複数の被写体存在画像Ａ１〜Ａｎのそれぞれについて人物の顔を認識して特定する。即ち、顔認識部８ａは、例えば、連続して撮像された複数の被写体存在画像Ａ１〜Ａｎについて、１枚目、２枚目、…Ｎ枚目というように被写体存在画像Ａ１〜Ａｎの撮像順に人物の顔を認識して特定する。
具体的には、顔認識部８ａは、連続して撮像された複数の被写体存在画像Ａ１〜Ａｎのうち、１枚目の被写体存在画像Ａ１ついて顔画像探索範囲を画像全体として顔画像探索枠を所定方向に走査して、目、鼻、ロなどに相当する特徴部分（顔パーツ）を特定して、各顔パーツの位置関係から顔であるか否かを判定し、所定の判定値（閾値）よりも大きく顔であると判定されると当該探索枠領域を顔とみなす。次に、顔認識部８ａは、顔とみなされた探索枠領域の画像データを個人データベース８ｂ（図２参照）に記録されている人物の顔に係る顔画像データと照合して、最も一致度の高い顔画像データに対応する人物の顔を認識する。また、顔認識部８ａは、人物の顔が複数認識された場合には、当該複数の人物の顔のうち、優先度が最も高い人物の顔を特定する。例えば、図５（ａ）に示すように、踊っている人が３人いる１枚目の被写体存在画像Ａ１において、顔認識部８ａは、個人データベース８ｂに記録されている人物（例えば、「甲」、「乙」、「丙」、「丁」、「戊」）の顔に係る顔画像データと照合して、被写体存在画像Ａ１の右手前で踊っている人物の顔を「甲」、左手前で踊っている人物の顔を「乙」、中央の奥で踊っている人物の顔を「丙」と認識する。そして、顔認識部８ａは、「甲」、「乙」、「丙」のうち、優先度の最も高い人物の顔「丙」を特定する。
一方、顔認識部８ａは、特徴部分の特定の失敗等により顔を検出できない場合や顔画像データとの照合に基づく一致度が所定値に満たない場合は顔認識不能と判定する。
また、顔認識部８ａは、２枚目以降の被写体存在画像Ａ２…Ａｎについても、上記説明した顔認識処理と略同様の顔認識処理を行う。これにより、全ての被写体存在画像Ａ１〜Ａｎについて顔認識処理を行う。
【００３１】
個人データベース８ｂは、人物（被写体）の名前、顔画像データ、優先度データや、その他、性別データ、年齢データ等を対応付けて記憶している。例えば、図２に示すように、被写体として「甲」を例示して説明すると、「甲」は、顔を正面から撮像した画像データと、正面から見た顔の特徴（例えば、目、鼻、口の位置、形状、大きさ等）と、顔の向きと対応付けられ、複数の人物（例えば、「甲」、「乙」、「丙」、「丁」、「戊」）の中での優先的な処理に係る優先度「１」が対応付けられている。なお、優先度は「１」から「５」の数値で表され、数値が大きいほど優先度が高い。
ここで、顔認識部８ａは、個人データベース８ｂに記録された人物の顔画像データに基づいて特定の人物の顔を認識する顔認識手段として機能する。
【００３２】
判定部８ｃは、顔認識部８ａにより特定の人物の顔が認識された各被写体存在画像Ａ１〜Ａｎについて、当該特定の人物の顔の前に特定の人物以外の物が重なっているか否かを判定する。
具体的には、判定部８ｃは、顔認識部８ａにより特定の人物の顔が認識された各被写体存在画像Ａ１〜Ａｎのうち、１枚目の被写体存在画像Ａ１について、特定の人物の顔であると認識された探索領域枠に目、鼻、口などに相当する特徴部分（顔パーツ）とは異なる特徴部分（例えば、人の腕等）がある場合には当該特定の人物の顔の前に特定の人物以外の物が重なっていると判定する。例えば、図５（ｂ）に示すように、２枚目の被写体存在画像Ａ２について、顔認識部８ａにより認識された特定の人物（例えば、「丙」）の顔の前に「丙」以外の物（例えば、「甲」の腕や、「乙」の腕）が重なっていると判定する。
また、判定部８ｃは、２枚目以降の被写体存在画像Ａ２〜Ａｎのうち、顔認識部８ａにより特定の人物の顔が認識された画像についても、上記説明した判定処理と略同様の判定処理を行う。これにより、顔認識部８ａにより特定の人物の顔が認識された全ての被写体存在画像Ａ１〜Ａｎについて判定処理を行う。
ここで、判定部８ｃは、被写体存在画像Ａ１〜Ａｎの各々について、特定の人物の顔の前に特定の人物以外の物が重なっているか否かを判定する判定手段として機能する。
【００３３】
除外部８ｄは、判定部８ｃにより特定の人物の顔の前に特定の人物以外の物が重なっていると判定された被写体存在画像（例えば、被写体存在画像Ａ２；図５（ｂ）参照）を被写体切り抜き画像Ｄ１〜Ｄｍの生成における被写体領域の抽出対象から除外する。
即ち、除外部８ｄは、判定部８ｃにより特定の人物の顔の前に特定の人物以外の物が重なっていないと判定された抽出用被写体存在画像Ｂ１〜Ｂｍ（ｍ≦ｎ）（図５（ａ）、（ｃ）参照）を特定して画像メモリ５に一時記憶する。
ここで、除外部８ｄは、判定部８ｃにより特定の人物の顔の前に特定の人物以外の物が重なっていると判定された被写体存在画像（例えば、被写体存在画像Ａ２）を被写体切り抜き画像Ｄ１〜Ｄｍの抽出対象から除外する除外手段として機能する。
【００３４】
切り抜き画像生成部８ｅは、具体的には、位置合わせ部と、被写体領域抽出部と、位置情報生成部等（何れも図示略）を備えている。
位置合わせ部は、被写体非存在画像Ｈ（図５（ｄ）参照）から抽出した特徴点に基づいて、被写体非存在画像Ｈに対する被写体領域の抽出対象となる抽出用被写体存在画像Ｂ１〜Ｂｍの各々の各画素の座標変換式（射影変換行列）を算出し、当該座標変換式に従って座標変換して被写体非存在画像Ｈと位置合わせを行う。
被写体領域抽出部は、位置合わせ部により位置合わせされた抽出用被写体存在画像Ｂ１〜Ｂｍの各々と被写体非存在画像Ｈとの間で対応する各画素の差分情報を生成し、当該差分情報を基準として抽出用被写体存在画像Ｂ１〜Ｂｍの各々から被写体が含まれる被写体領域を抽出する。具体的には、被写体領域抽出部は、抽出用被写体存在画像Ｂ１〜ＢｍのＹＵＶデータの各々と被写体非存在画像ＨのＹＵＶデータの各々に対してローパスフィルタをかけて各画像の高周波成分を除去する。その後、被写体領域抽出部は、ローパスフィルタをかけた各抽出用被写体存在画像Ｂ１〜Ｂｍと被写体非存在画像Ｈとの間で対応する各画素について相違度を算出して相違度マップを生成する。続けて、被写体領域抽出部は、各画素に係る相違度マップを所定の閾値で２値化した後、相違度マップから細かいノイズや手ぶれにより相違が生じた領域を除去するために収縮処理を行う。その後、被写体領域抽出部は、ラベリング処理を行って、所定値以下の領域や最大領域以外の領域を除去した後、一番大きな島のパターンを被写体領域として特定し、収縮分を修正するための膨張処理を行う。
位置情報生成部は、各抽出用被写体存在画像Ｂ１〜Ｂｍ内で抽出された被写体領域の位置を特定して、抽出用被写体存在画像Ｂ１〜Ｂｍの各々における被写体領域の位置を示す位置情報を生成する。
ここで、位置情報としては、例えば、アルファマップが挙げられ、アルファマップとは、各抽出用被写体存在画像Ｂ１〜Ｂｍの各画素について、被写体領域の画像を所定の背景に対してアルファブレンディングする際の重みをアルファ値（０≦α≦１）として表したものである。
【００３５】
そして、切り抜き画像生成部８ｅは、位置情報生成部により生成されたアルファマップに基づいて、抽出用被写体存在画像Ｂ１〜Ｂｍそれぞれの各画素のうち、アルファ値が１の画素を所定の単一色画像（図示略）に対して透過させずに、且つ、アルファ値が０の画素を透過させるように、被写体の画像を所定の単一色画像と合成して被写体切り抜き画像Ｄ１〜Ｄｍ各々の画像データを生成する。
ここで、切り抜き画像生成部８ｅは、判定部８ｃにより特定の人物の顔の前に当該特定の人物以外の物が重なっていないと判定された抽出用被写体存在画像Ｂ１〜Ｂｍの各々から被写体領域を含む被写体切り抜き画像Ｄ１〜Ｄｍを抽出する抽出手段として機能する。
【００３６】
画像合成部８ｆは、複数の被写体切り抜き画像Ｄ１〜Ｄｍ（図６参照）の各々と背景画像Ｉ（図８（ａ）参照）とを合成し合成画像Ｍ１〜Ｍｍ（図８（ｂ）参照）を生成する。即ち、画像合成部８ｆは、１枚目、２枚目、…Ｍ枚目の被写体切り抜き画像Ｄｍのそれぞれと背景画像Ｉというように被写体切り抜き画像Ｄ１〜Ｄｍの生成順に各被写体切り抜き画像Ｄ１〜Ｄｍと背景画像Ｉとを合成し合成画像Ｍ１〜Ｍｍを生成する。
具体的には、画像合成部８ｆは、背景画像Ｉの各画素のうち、アルファ値が０の画素は透過させ、アルファ値が１の画素は１枚目の被写体切り抜き画像Ｄ１の対応する画素の画素値で上書きし、さらに、背景画像Ｉの各画素のうち、アルファ値が０＜α＜１の画素は１の補数（１−α）を用いて被写体領域を切り抜いた画像（背景用画像×（１−α））を生成した後、アルファマップにおける１の補数（１−α）を用いて被写体切り抜き画像Ｄ１を生成した際に単一背景色とブレンドした値を計算し、当該値を被写体切り抜き画像Ｄ１から減算し、それを被写体領域を切り抜いた画像（背景用画像×（１−α））と合成する。
また、画像合成部８ｆは、２枚目以降の被写体切り抜き画像Ｄ２…についても、上記説明した合成処理と略同様の合成処理を行う。これにより、全ての被写体切り抜き画像Ｄ１〜Ｄｍについて合成処理を行い、山を背景に人物（例えば、「甲」、「乙」及び「丙」）が踊っている複数の合成画像Ｍ１〜Ｍｍを生成する。
ここで、画像合成部８ｆは、複数の被写体切り抜き画像Ｄ１〜Ｄｍの各々と背景画像Ｉとを合成する合成手段として機能する。
【００３７】
記録媒体９は、例えば、不揮発性メモリ（フラッシュメモリ）等により構成され、画像処理部８の符号化部（図示略）により符号化された撮像画像の記録用の画像データを記録する。
また、記録媒体９は、切り抜き画像生成部８ｅにより生成されたマスク画像と、複数の被写体切り抜き画像Ｄ１〜Ｄｍの画像データをそれぞれ圧縮した上で対応付けて、当該被写体切り抜き画像Ｄ１〜Ｄｍの画像データの拡張子を「.jpe」とし、複数の画像ファイルからなるグループで保存する。
【００３８】
表示制御部１０は、画像メモリ５に一時的に記憶されている表示用の画像データを読み出して表示部１１に表示させる制御を行う。
具体的には、表示制御部１０は、ＶＲＡＭ、ＶＲＡＭコントローラ、デジタルビデオエンコーダなどを備えている。そして、デジタルビデオエンコーダは、ＣＰＵ１３の制御下にて画像メモリ５から読み出されてＶＲＡＭ（図示略）に記憶されている輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒを、ＶＲＡＭコントローラを介してＶＲＡＭから定期的に読み出して、これらのデータを元にビデオ信号を発生して表示部１１に出力する。
【００３９】
表示部１１は、例えば、液晶表示装置であり、表示制御部１０からのビデオ信号に基づいて電子撮像部２により撮像された画像などを表示画面に表示する。具体的には、表示部１１は、撮像モードにて、レンズ部１、電子撮像部２及び撮像制御部３による被写体の撮像により生成された複数の画像フレームに基づいてライブビュー画像を表示したり、本撮像画像として撮像されたレックビュー画像を表示する。
【００４０】
操作入力部１２は、当該撮像装置１００の所定操作を行うためのものである。具体的には、操作入力部１２は、所定方向に押し込み操作可能に構成されたシャッタボタン１２ａを備え、シャッタボタン１２ａは、ユーザにより押し込み操作されている間、当該操作に対応する操作信号をＣＰＵ１３に出力する。
ＣＰＵ１３は、シャッタボタン１２ａから出力された操作信号の入力に基づいて、撮像制御部３にレンズ部１及び電子撮像部２による撮像指示を出力する。
ここで、シャッタボタン１２ａ及びＣＰＵ１３は、レンズ部１、電子撮像部２及び撮像制御部３による撮像指示を入力する入力手段を構成している。
【００４１】
また、操作入力部１２は、撮像モードや機能等の選択指示や複数の被写体切り抜き画像Ｄ１〜Ｄｍの各々における被写体領域の基準合成位置の設定指示等に係る選択決定ボタン１２ｂ、ズーム量の調整指示に係るズームボタン（図示略）等を備えている。
そして、ユーザにより操作入力部１２の選択決定ボタン１２ｂ、ズームボタンが操作されると、当該ボタンに対応する制御指示をＣＰＵ１３に出力する。ＣＰＵ１３は、制御指示が入力されると、操作されたボタンに応じて各部を制御する処理を行う。
【００４２】
ＣＰＵ１３は、撮像装置１００の各部を制御するものである。具体的には、ＣＰＵ１３は、撮像装置１００用の各種処理プログラム（図示略）に従って各種の制御動作を行うものである。
【００４３】
次に、撮像装置１００による被写体切り抜き処理について、図３及び図４を参照して説明する。
被写体切り抜き処理は、ユーザによる操作入力部１２の選択決定ボタン１２ｂの所定操作に基づいて、メニュー画面に表示された複数の撮像モードの中から被写体切り抜きモードが選択指示された場合に実行される処理である。
【００４４】
図３に示すように、先ず、ユーザによる選択決定ボタン１２ｂの所定操作に基づいて、所定の撮像条件（例えば、撮像フレームレート；１０ｆｐｓ）の選択指示があると、ＣＰＵ１３は、撮像制御部３に当該撮像条件の設定処理を行わせる（ステップＳ１）。
【００４５】
そして、ＣＰＵ１３は、表示制御部１０に、レンズ部１、電子撮像部２及び撮像制御部３による被写体の撮像により生成された複数の画像フレームに基づいてライブビュー画像を表示部１１の表示画面に表示させるとともに、当該ライブビュー画像に重畳させて、被写体の撮像指示メッセージを表示部１１の表示画面に表示させる（ステップＳ２）。
【００４６】
次に、ＣＰＵ１３は、ユーザによる操作入力部１２のシャッタボタン１２ａの押し込み操作に基づいて撮像指示が入力されたか否かを判定する（ステップＳ３）。ここで、撮像指示が入力されたと判定されると（ステップＳ３；ＹＥＳ）、ＣＰＵ１３は、撮像制御部３に、フォーカスレンズの合焦位置や露出条件やホワイトバランス等の条件を調整させて、１枚目の被写体存在画像Ａ１の光学像を撮像フレームレート１０ｆｐｓで電子撮像部２により撮像させ、画像データ生成部４に、電子撮像部２から転送された１枚目の被写体存在画像Ａ１のＹＵＶデータを生成させる（ステップＳ４）。なお、１枚目の被写体存在画像Ａ１のＹＵＶデータは、画像メモリ５に一時記憶される。
【００４７】
そして、ＣＰＵ１３は、１枚目の被写体存在画像Ａ１について人物の顔の検出を顔認識部８ａに行わせる（ステップＳ５）。
【００４８】
例えば図５（ａ）、（ｂ）、（ｃ）に示した画像をそれぞれ被写体存在画像Ａ１、Ａ２、Ａｎとし、顔認識部８ａは、１枚目の被写体存在画像Ａ１について複数の人物（例えば、「甲」、「乙」、「丙」）の顔を検出すると（ステップＳ５；ＹＥＳ）、このときはまだ検出された顔を特定していないので（ステップＳ６；ＮＯ）、複数の人物の顔のうち優先度が最も高い人物（例えば、「丙」）の顔を特定して（ステップＳ７；ＹＥＳ）、ＣＰＵ１３は、特定された人物の顔の前に当該人物以外の物が重なっているか否かを判定部８ｃに判定させる（ステップＳ８）。具体的には、判定部８ｃは、特定された人物の顔であると認識された探索領域枠に目、鼻、ロなどに相当する特徴部分（顔パーツ）と異なる特徴部分（例えば、人の腕等）がある場合には当該１枚目の被写体存在画像Ａ１の特定された人物の顔の前に当該人物以外の物が重なり、この特定された人物の顔が隠れて、欠けてしまっていると判定する。
ここで、１枚目の被写体存在画像Ａ１の特定された人物（例えば、「丙」）の顔の前に当該人物以外の物が重なっていない場合（ステップＳ８；ＮＯ）、被写体存在画像Ａ１を抽出用被写体存在画像Ｂ１として画像メモリ５に一時記憶して、ステップＳ１０に移行する。
【００４９】
また、顔認識部８ａにより人物の顔が検出されない場合（ステップＳ５；ＮＯ）、検出された顔を特定できない場合（ステップＳ７；ＮＯ）、特定された人物の顔の前に当該人物以外の物が重なっている場合（ステップＳ８；ＹＥＳ）、除外部８ｄは、今回撮像された被写体存在画像を被写体領域の抽出処理の対象から除外する（ステップＳ９）。具体的には、除外部８ｄは、今回撮像された被写体存在画像を抽出用被写体存在画像として画像メモリ５に記憶しない。
【００５０】
次に、ＣＰＵ１３は、ユーザによるシャッタボタン１２ａの押し込み操作が開放されているか否かをシャッタボタン１２ａからの操作信号の入力の有無に応じて判定する（ステップＳ１０）。ここで、シャッタボタン１２ａからの操作信号の入力が継続されており、ユーザによるシャッタボタン１２ａの押し込み操作が開放されていないと判定されると（ステップＳ１０；ＮＯ）、ステップＳ４に戻り、１枚目と同様に２枚目の被写体存在画像Ａ２について、２枚目の被写体存在画像Ａ２の光学像を撮像フレームレート１０ｆｐｓで電子撮像部２により撮像させ、画像データ生成部４に、電子撮像部２から転送された２枚目の被写体存在画像Ａ２のＹＵＶデータを生成させる（ステップＳ４）。なお、２枚目の被写体存在画像Ａ２のＹＵＶデータも画像メモリ５に一時記憶される。
【００５１】
そして、ＣＰＵ１３は、２枚目の被写体存在画像Ａ２について人物の顔の検出を顔認識部８ａに行わせる（ステップＳ５）。
【００５２】
顔認識部８ａは、２枚目の被写体存在画像Ａ２について複数の人物（例えば、「甲」、「乙」、「丙」）の顔を検出すると、このとき、検出された顔を特定済みなので（ステップＳ６；ＹＥＳ）、ステップＳ７をスキップして、ＣＰＵ１３は、特定されている人物の顔の前に当該人物以外の物が重なっているか否かを判定部８ｃに判定させる（ステップＳ８）。
ここで、２枚目の被写体存在画像Ａ２の特定された人物の顔の前に当該人物以外の物（例えば、「甲」の腕や、「乙」の腕）が重なっているので（ステップＳ８；ＹＥＳ）、除外部８ｄは、２枚目の被写体存在画像Ａ２を被写体領域の抽出処理の対象から除外する（ステップＳ９）。即ち、除外部８ｄは、２枚目の被写体存在画像Ａ２を抽出用被写体存在画像としては特定しない。
【００５３】
次に、ＣＰＵ１３は、ユーザによるシャッタボタン１２ａの押し込み操作が開放されているか否かをシャッタボタン１２ａからの操作信号の入力の有無に応じて判定する（ステップＳ１０）。ここで、シャッタボタン１２ａからの操作信号の入力が継続されており、ユーザによるシャッタボタン１２ａの押し込み操作が開放されていないと判定されると（ステップＳ１０；ＮＯ）、ステップＳ４に戻り、１、２枚目と同様に３枚目以降の被写体存在画像（図示略）、…Ａｎについて、ステップＳ４以降の処理を繰り返し行う。
【００５４】
そして、ユーザによるシャッタボタン１２ａの押し込み操作が開放されたと判定されると（ステップＳ８；ＹＥＳ）、図４に示すように、ＣＰＵ１３は、表示制御部１０に、レンズ部１、電子撮像部２及び撮像制御部３による被写体の撮像により生成された複数の画像フレームに基づいてライブビュー画像を表示部１１の表示画面に表示させるとともに、当該ライブビュー画像に重畳させて、抽出用被写体存在画像Ｂ１の半透過の表示態様の画像と被写体非存在画像Ｈの撮像指示メッセージを表示部１１の表示画面に表示させる（ステップＳ１１）。なお、このとき、ＣＰＵ１３は、撮像制御部３を制御して、複数の被写体存在画像Ａ１〜Ａｎの撮像の際の合焦位置や露出条件やホワイトバランス等の条件を固定した状態を維持する。また、ステップＳ１０において、ユーザによるシャッタボタン１２ａの押し込み操作が開放されていない場合でも、連続して撮像された複数の被写体存在画像Ａ１〜Ａｎの画像メモリ５への一時記憶容量が所定量に達した場合には、ＣＰＵ１３は、シャッタボタン１２ａの押し込み操作が開放されたものとして判断する。
【００５５】
この後、ＣＰＵ１３は、ユーザによるシャッタボタン１２ａの所定操作に基づいて撮像指示が入力されたか否かを判定する（ステップＳ１２）。そして、ユーザは、被写体（例えば、「甲」、「乙」、「丙」）を画角外に移動させるか、或いは被写体が移動するのを待った後、ユーザにより被写体非存在画像Ｈが抽出用被写体存在画像Ｂ１の半透過の画像と重なるようにカメラ位置が調整されて、シャッタボタン１２ａが所定操作されて撮像指示が入力されたと判定されると（ステップＳ１２；ＹＥＳ）、ＣＰＵ１３は、撮像制御部３に、被写体非存在画像Ｈの光学像を複数の被写体存在画像Ａ１〜Ａｎの撮像後に固定された条件で電子撮像部２により撮像させて、画像データ生成部４に、電子撮像部２から転送された被写体非存在画像Ｈの画像フレームに基づいて、被写体非存在画像ＨのＹＵＶデータを生成させる（ステップＳ１３）。なお、当該被写体非存在画像ＨのＹＵＶデータは、画像メモリ５に一時記憶される。
【００５６】
次に、ＣＰＵ１３は、特徴量演算部６、ブロックマッチング部７及び画像処理部８に、画像メモリ５に一時記憶されている被写体非存在画像ＨのＹＵＶデータを基準として、複数の抽出用被写体存在画像Ｂ１〜ＢｍのＹＵＶデータの各々を射影変換させるための射影変換行列を所定の画像変換モデル（例えば、相似変換モデル、或いは合同変換モデル）で算出させる（ステップＳ１４）。
具体的には、特徴量演算部６は、被写体非存在画像ＨのＹＵＶデータに基づいて、所定数（或いは、所定数以上)の特徴の高いブロック領域（特徴点）を選択して、当該ブロックの内容をテンプレートとして抽出する。そして、ブロックマッチング部７は、特徴抽出処理にて抽出されたテンプレートの画素値が最適にマッチする位置を抽出用被写体存在画像Ｂ１〜Ｂｍの各々の各画像フレーム内にて探索して、画素値の相違度の評価値が最も良かった被写体非存在画像Ｈと各抽出用被写体存在画像Ｂ１〜Ｂｍの最適なオフセットを当該テンプレートの動きベクトルとして算出する。そして、切り抜き画像生成部８ｅの位置合わせ部は、ブロックマッチング部７により算出された複数のテンプレートの動きベクトルに基づいて全体の動きベクトルを統計的に算出し、当該動きベクトルに係る特徴点対応を用いて抽出用被写体存在画像Ｂ１〜Ｂｍの各射影変換行列を算出する。
【００５７】
次に、ＣＰＵ１３は、切り抜き画像生成部８ｅの位置合わせ部に、算出された各射影変換行例に基づいて抽出用被写体存在画像Ｂ１〜Ｂｍを射影変換させることで、抽出用被写体存在画像Ｂ１〜ＢｍのＹＵＶデータの各々と被写体非存在画像ＨのＹＵＶデータとを位置合わせする処理を行わせる（ステップＳ１５）。
そして、ＣＰＵ１３は、切り抜き画像生成部８ｅの被写体領域抽出部に、各抽出用被写体存在画像Ｂ１〜Ｂｍから被写体が含まれる被写体領域を抽出する処理を行わせる（ステップＳ１６）。
次に、ＣＰＵ１３は、切り抜き画像生成部８ｅの位置情報生成部に、抽出された被写体領域の各抽出用被写体存在画像Ｂ１〜Ｂｍ内での位置を示すアルファマップをそれぞれ生成させる（ステップＳ１７）。
【００５８】
その後、ＣＰＵ１３は、切り抜き画像生成部８ｅに、被写体の画像を所定の単一色画像と合成した各被写体切り抜き画像Ｄ１〜Ｄｍの画像データを生成する処理を行わせる（ステップＳ１８）。
即ち、切り抜き画像生成部８ｅは、１枚目の抽出用被写体存在画像Ｂ１、２枚目の抽出用被写体存在画像Ｂ２、…Ｍ枚目の抽出用被写体存在画像Ｂｍというように抽出用被写体存在画像Ｂ１〜Ｂｍの画像メモリ５への記憶順に、所定の単一色画像とそれぞれ合成した各被写体切り抜き画像Ｄ１〜Ｄｍの画像データを生成する。
具体的には、切り抜き画像生成部８ｅは、１枚目の抽出用被写体存在画像Ｂ１、単一色画像及び１枚目の抽出用被写体存在画像Ｂ１と対応するアルファマップを読み出して画像メモリ５に展開した後、１枚目の抽出用被写体存在画像Ｂ１の全ての画素について、アルファ値が０の画素については（α＝０）、透過させ、アルファ値が０＜α＜１の画素については（０＜α＜１）、所定の単一色とブレンディングを行い、アルファ値が１の画素については（α＝１）、何もせずに所定の単一色に対して透過させないようにする。
また、切り抜き画像生成部８ｅは、２枚目以降の抽出用被写体存在画像（図示略）、…Ｂｍについても同様の処理を行う。これにより、画像メモリ５に記憶された全ての抽出用被写体存在画像Ｂ１〜Ｂｍについて切抜画像生成処理を行い、複数の被写体切り抜き画像Ｄ１〜Ｄｍを生成する。例えば、画像メモリ５に２０枚の被写体存在画像が一時記憶され、そのうち抽出用被写体存在画像が１８枚ある場合には、１８枚の被写体切り抜き画像が生成されることとなる。
【００５９】
そして、ＣＰＵ１３は、切り抜き画像生成部８ｅにより生成された各アルファマップと被写体切り抜き画像Ｄ１〜Ｄｍの画像データを対応付けて一ファイルとして被写体切り抜き画像Ｄ１〜Ｄｍの画像データを記録媒体９に保存させる（ステップＳ１９）。
これにより、被写体切り抜き処理を終了する。
【００６０】
次に、画像合成処理について図７及び図８を参照して詳細に説明する。
画像合成処理は、ユーザによる操作入力部１２の選択決定ボタン１２ｂの所定操作に基づいて、メニュー画面に表示された複数のモードの中から画像合成モードが選択指示され、背景画像（例えば、背景画像Ｉ；図８（ａ）参照）の選択指示及び当該背景画像と合成する被写体切り抜き画像（例えば、被写体切り抜き画像Ｄ１〜Ｄｍ；図６参照）の選択指示がなされた場合に実行される処理である。
なお、画像合成処理は、１枚目の被写体切り抜き画像Ｄ１、…Ｍ枚目の被写体切り抜き画像Ｄｍというようにそれぞれの画像が生成された順に合成処理が行われるようになっている。
図７に示すように、画像合成部８ｆは、ユーザにより選択指示された被写体切り抜き画像（例えば、被写体切り抜き画像Ｄ１〜Ｄｍ）と同数分の背景画像Ｉを複製する（ステップＳ２０）。
そして、画像合成部８ｆは、被写体切り抜き画像Ｄ１〜Ｄｍの中から１枚目の被写体切り抜き画像Ｄ１と背景画像ＩのＹＵＶデータを指定する（ステップＳ２１）。
【００６１】
次に、画像合成部８ｆは、１枚目の被写体切り抜き画像Ｄ１と対応付けて保存されているアルファマップを読み出して画像メモリ５に展開する（ステップＳ２２）。
【００６２】
次に、画像合成部８ｆは、背景画像Ｉの何れか一の画素（例えば、左上隅部の画素）を指定して（ステップＳ２３）、当該画素について、アルファマップのアルファ値に基づいて処理を分岐させる（ステップＳ２４）。具体的には、画像合成部８ｆは、当該背景画像Ｉの何れか一の画素のうち、アルファ値が１の画素については（ステップＳ２５；α＝１）、１枚目の被写体切り抜き画像Ｄ１の対応する画素の画素値で上書きし（ステップＳ２５）、アルファ値が０＜α＜１の画素については（ステップＳ２６；０＜α＜１）、１の補数（１−α）を用いて被写体領域を切り抜いた画像（背景用画像×（１−α））を生成した後、アルファマップにおける１の補数（１−α）を用いて１枚目の被写体切り抜き画像Ｄ１を生成した際に単一背景色とブレンドした値を計算し、当該値を１枚目の被写体切り抜き画像Ｄ１から減算し、それを被写体領域を切り抜いた画像（背景用画像×（１−α））と合成し（ステップＳ２６）、アルファ値が０の画素については（ステップＳ２４；α＝０）、何もせずに当該背景画像Ｉを透過させるようにする。
【００６３】
続けて、画像合成部８ｆは、背景画像Ｉの全ての画素について処理したか否かを判定する（ステップＳ２７）。
ここで、全ての画素について処理していないと判定されると（ステップＳ２７；ＮＯ）、画像合成部８ｆは、処理対象として次の画素を指定して当該画素に処理対象を移動させて（ステップＳ２８）、処理をステップＳ２４に移行させる。
上記の処理を、ステップＳ２７にて全ての画素について処理したと判定されるまで（ステップＳ２７；ＹＥＳ）繰り返すことで、画像合成部ｆは、１枚目の被写体切り抜き画像Ｄ１と背景画像Ｉとを合成した１枚目の合成画像Ｍ１を生成する。
【００６４】
次に、画像合成部８ｆは、複数の被写体切り抜き画像Ｄ１〜Ｄｍの全ての画像について合成処理したか否かを判定する（ステップＳ２９）。
ここで、全ての画像について合成処理していないと判定されると（ステップＳ２９；ＮＯ）、画像合成部８ｆは、処理対象として次の画像（例えば、２枚目の被写体切り抜き画像と背景画像Ｉ）を指定して当該画像に処理対象を移動させて（ステップＳ３０）、処理をステップＳ２２に移行させる。
上記の処理を、ステップＳ２９にて全ての画像について処理したと判定されるまで（ステップＳ２９；ＹＥＳ）繰り返すことで、画像合成部ｆは、複数の被写体切り抜き画像Ｄ１〜Ｄｍの各々と背景画像Ｉとを合成し合成動画像Ｍ１〜Ｍｍを生成する。
これにより、画像合成処理を終了する。この結果、例えば、図８（ｂ）に示すように、山を背景に「甲」、「乙」、及び「丙」が一緒に踊っている複数の合成画像Ｍ１〜Ｍｍの画像データが生成される。
【００６５】
以上のように、実施形態１の撮像装置１００によれば、電子撮像部２により連続して撮像された複数の被写体存在画像Ａ１〜Ａｎのうち、判定部８ｃにより特定の人物の顔の前に当該人物以外の物が重なっていると判定された被写体存在画像（例えば、被写体存在画像Ａ２）は除外して、判定部８ｃにより特定の人物の顔の前に当該人物以外の物が重なっていないと判定された複数の抽出用被写体存在画像Ｂ１〜Ｂｍの各々から被写体領域を含む複数の被写体切り抜き画像Ｄ１〜Ｄｍを抽出することができるので、特定の人物の顔の前に当該人物以外の物が重なった状態の被写体存在画像からは当該特定の人物を含む被写体切り抜き画像を生成することがなくなり、適切な被写体の前に当該被写体以外の物が重なった不適切な画像の生成を防止することができる。
【００６６】
また、ユーザによるシャッタボタン１２ａの押し込み操作がなされている間に、複数の被写体存在画像Ａ１〜Ａｎを撮像し、判定部８ｃにより特定の人物の顔の前に当該人物以外の物が重なっているか否かを判定し、判定部８ｃにより特定の人物の顔の前に当該人物以外の物が重なっていると判定された被写体存在画像を除外することができるので、ユーザにより任意の枚数の被写体存在画像Ａ１〜Ａｎが連続撮像されている間でも、適切な被写体の前に当該被写体以外の物が重なった不適切な画像の生成を防止することができる。また、複数の被写体存在画像Ａ１〜Ａｎを撮像している間に、被写体切り抜き画像Ｄ１〜Ｄｍの抽出処理に必要な抽出用被写体存在画像Ｂ１〜Ｂｍを準備しておくことができる。そして、当該被写体存在画像Ａ１〜Ａｎの撮像が終了すると直ぐに被写体領域の抽出処理を実行して、被写体切り抜き画像Ｄ１〜Ｄｍを迅速に生成することができる。
【００６７】
[実施形態２]
以下に、実施形態２の撮像装置について、図面を参照して説明する。
実施形態２の撮像装置は、顔認識部８ａにより認識された人物全員について、当該人物毎に判定部８ｃにより人物の顔の前に当該人物以外の物が重なっているか否かの判定を行い、当該人物以外の物が重なっていないと判定された抽出用被写体存在画像Ｂ１〜Ｂｍの各々から当該人物毎に被写体領域を含む被写体切り抜き画像を生成する。
なお、実施形態２の撮像装置は、以下に説明する以外の点で上記実施形態１の撮像装置１００と略同様の構成をなし、その説明は省略する。
【００６８】
顔認識部８ａは、個人データベース８ｂに記録されている人物の顔が複数認識された場合には、各人物の優先度に関係なく、当該複数の人物をそれぞれ指定する。
ここで、人物の指定は、人物の顔が検出された順や、優先度の高い順に行う。
【００６９】
判定部８ｃは、顔認識部８ａにより人物の顔が複数認識された場合には、認識された複数の人物の顔それぞれについて、各人物の顔の前に当該人物以外の物が重なっているか否かの判定を行う。
【００７０】
切り抜き画像生成部８ｅは、画像メモリ５に記憶された各抽出用被写体存在画像Ｂ１〜Ｂｍに基づいて顔認識部８ａにより認識された複数の人物（例えば、「甲」、「乙」、「丙」）それぞれの矩形領域画像Ｖａ、Ｖｂ、Ｖｃ（図１１（ａ）〜（ｃ）参照）を生成する。
即ち、切り抜き画像生成部８ｅは、例えば、画像メモリ５に記憶された全ての抽出用被写体存在画像Ｂ１〜Ｂｍについて、１枚目、２枚目、…Ｍ枚目というようにそれぞれの抽出用被写体存在画像Ｂ１〜Ｂｍの撮像順に顔認識部８ａにより認識された各人物を含む矩形領域画像Ｖａ、Ｖｂ、Ｖｃを生成する。
具体的には、切り抜き画像生成部８ｅは、１枚目の抽出用被写体存在画像Ｂ１について顔認識部８ａにより認識された人物が複数（例えば、「甲」、「乙」、「丙」）いる場合、１枚目の抽出用被写体存在画像Ｂ１を認識された人数に応じて複製する。そして、切り抜き画像生成部８ｅは、個人データベース８ｂに記録された各人物の性別データや年齢データを参照して、当該性別データや年齢データに基づく平均的な体型を算出し、算出された体型と各人物の１枚目の抽出用被写体存在画像Ｂ１での顔の領域との関係から矩形領域の位置・大きさを特定して、人物毎に矩形領域画像Ｖa1、Ｖb1、Ｖc1（図１１（ａ）〜（ｃ）参照）を生成する。なお、人物毎に生成された各矩形領域画像のＹＵＶデータは、１枚目の抽出用被写体存在画像Ｂ１における各矩形領域の位置・大きさに係る位置情報が対応付けられて画像メモリ５に一時記憶される。
また、切り抜き画像生成部８ｅは、２枚目以降の抽出用被写体存在画像Ｂ２…についても、上記説明した生成処理と略同様の生成処理を行う。これにより、画像メモリ５に記憶された全ての抽出用被写体存在画像Ｂ１〜Ｂｍについて、人物毎に各矩形領域画像Ｖa1〜Ｖaj、Ｖb1〜Ｖbk、Ｖc1〜Ｖcl（j、k、l≦ｎ）を生成する。
【００７１】
また、切り抜き画像生成部８ｅは、画像メモリ５に一時記憶された人物毎の各矩形領域画像Ｖaj、Ｖb1〜Ｖbk、Ｖc1〜Ｖclの位置情報に基づき、当該矩形領域画像Ｖaj、Ｖb1〜Ｖbk、Ｖc1〜Ｖclのそれぞれの位置・大きさに対応した各背景矩形領域画像Ｗa1〜Ｗaj、Ｗb1〜Ｗbk、Ｗc1〜Ｗcl（図１２（ａ）〜（ｃ）参照）を被写体非存在画像ＨのＹＵＶデータに基づいて生成する。
即ち、切り抜き画像生成部８ｅは、例えば、画像メモリ５に記憶された人物の各矩形領域画像Ｖaj、Ｖb1〜Ｖbk、Ｖc1〜Ｖclについて、１枚目、２枚目、…というようにそれぞれの矩形領域画像の生成順に背景矩形領域画像を生成する。
具体的には、切り抜き画像生成部８ｅは、例えば、画像メモリ５に記憶された人物（例えば、「乙」）の複数の矩形領域画像Ｖa1〜Ｖajと同数の被写体非存在画像ＨのＹＵＶデータを複製する。そして、切り抜き画像生成部８ｅは、１枚目の矩形領域画像Ｖa1の位置情報に基づき、当該１枚目の矩形領域画像Ｖa1の位置・大きさに対応した背景矩形領域画像Ｗａ１を複製された被写体非存在画像ＨのＹＵＶデータに基づいて生成する。なお、当該背景矩形領域画像Ｗa1のＹＵＶデータは、複製された被写体非存在画像Ｈにおける背景矩形領域の位置・大きさに係る位置情報が対応付けられて画像メモリ５に一時記憶される。
また、切り抜き画像生成部８ｅは、２枚目以降の矩形領域画像Ｖa2…についても、複製された被写体非存在画像ＨのＹＵＶデータに基づいて、上記説明した生成処理と略同様の生成処理を行う。これにより、各矩形領域画像Ｖa1〜Ｖajに対応する背景矩形領域画像Ｗa1〜Ｗaj（図１２（ａ）参照）をそれぞれ生成する。
また、切り抜き画像生成部８ｅは、顔認識部８ａにより認識されたその他の人物（例えば、「甲」、「丙」）についても同様の生成処理を行い、人物全員の各矩形領域画像Ｖaj、Ｖb1〜Ｖbk、Ｖc1〜Ｖclと各背景矩形領域画像Ｗa1〜Ｗaj、Ｗb1〜Ｗbk、Ｗc1〜Ｗclをそれぞれ生成する。
【００７２】
位置合わせ部は、各背景矩形領域画像Ｗａ、Ｗｂ、Ｗｃから抽出した特徴点に基づいて、各背景矩形領域画像Ｗａ、Ｗｂ、Ｗｃに対する被写体領域の抽出対象となる矩形領域画像Ｖａ、Ｖｂ、Ｖｃの各々の各画素の座標変換式（射影変換行列）を算出し、当該座標変換式に従って座標変換して各背景矩形領域画像Ｗａ、Ｗｂ、Ｗｃと位置合わせを行う。
被写体領域抽出部は、位置合わせ部により位置合わせされた矩形領域画像Ｖａ、Ｖｂ、Ｖｃの各々と各背景矩形領域画像Ｗａ、Ｗｂ、Ｗｃとの間で対応する各画素の差分情報を生成し、当該差分情報を基準として矩形領域画像Ｖａ、Ｖｂ、Ｖｃの各々から被写体が含まれる被写体領域を抽出する。
位置情報生成部は、各矩形領域画像Ｖａ、Ｖｂ、Ｖｃ内で抽出された被写体領域の位置を特定して、矩形領域画像Ｖａ、Ｖｂ、Ｖｃの各々における被写体領域の位置を示す位置情報を生成する。
ここで、位置情報としては、例えば、アルファマップが挙げられ、アルファマップとは、各矩形領域画像Ｖａ、Ｖｂ、Ｖｃの各画素について、被写体領域の画像を所定の背景に対してアルファブレンディングする際の重みをアルファ値（０≦α≦１）として表したものである。
【００７３】
そして、切り抜き画像生成部８ｅは、位置情報生成部により生成されたアルファマップに基づいて、矩形領域画像Ｖａ、Ｖｂ、Ｖｃそれぞれの各画素のうち、アルファ値が１の画素を所定の単一色画像（図示略）に対して透過させずに、且つ、アルファ値が０の画素を透過させるように、被写体の画像を所定の単一色画像と合成して被写体切り抜き画像Ｄa1〜Ｄaj、Ｄb1〜Ｄbk、Ｄc1〜Ｄcl（図１３（ａ）〜（ｃ）参照）各々の画像データを生成する。
【００７４】
記録媒体９は、記録手段として、切り抜き画像生成部８ｅにより生成された各人物毎の被写体切り抜き画像Ｄa1〜Ｄaj、Ｄb1〜Ｄbk、Ｄc1〜Ｄclをそれぞれ対応付けて記録する。
【００７５】
次に、実施形態２の撮像装置による被写体切り抜き処理について、図９及び図１０を参照して説明する。
図９に示すように、実施形態１の撮像装置１００と同様に、ＣＰＵ１３は、ステップＳ１〜Ｓ４の各処理を行う。即ち、ＣＰＵ１３は、撮像制御部３に撮像条件の設定処理を行わせ（ステップＳ１）、表示制御部１０に、ライブビュー画像を表示部１１の表示画面に表示させ（ステップＳ２）、ユーザによる操作入力部１２のシャッタボタン１２ａの押し込み操作に基づいて撮像指示が入力されたと判定されると（ステップＳ３；ＹＥＳ）、ＣＰＵ１３は、撮像制御部３に、１枚目の被写体存在画像Ａ１の光学像を撮像フレームレート１０ｆｐｓで電子撮像部２により撮像させ、画像データ生成部４に、電子撮像部２から転送された１枚目の被写体存在画像Ａ１のＹＵＶデータを生成させる（ステップＳ４）。
【００７６】
そして、ＣＰＵ１３は、１枚目の被写体存在画像Ａ１について人物の顔の検出を顔認識部８ａに行わせる（ステップＳ５）。ここで、１枚目の被写体存在画像Ａ１について人物（例えば、「甲」、「乙」、「丙」）の顔が検出されると（ステップＳ５；ＹＥＳ、ステップＳ１０１；ＹＥＳ）、判定部８ｃは、１枚目の被写体存在画像Ａ１について１人目の人物（例えば、「乙」）を指定する(ステップＳ１０２)。そして、判定部８ｃは、指定された人物の顔の前に当該人物以外の物が重なっているか否かを判定する（ステップＳ１０３）。そして、１枚目の被写体存在画像Ａ１について当該人物以外の物が重なっていないと判定されると（ステップＳ１０３；ＮＯ）、切り抜き画像生成部８ｅは、画像メモリ５に一時記憶された１枚目の抽出用被写体存在画像Ｂ１のＹＵＶデータを複製し、判定部８ｃにより特定された当該人物を含む矩形領域画像Ｖa1を生成する（ステップＳ１０４）。
【００７７】
また、判定部８ｃは、指定された人物の顔の前に当該人物以外の物が重なっていると判定すると（ステップＳ１０３；ＹＥＳ）、指定された人物については、矩形領域画像の生成処理の対象から除外する（ステップＳ１０５）。
【００７８】
次に、切り抜き画像生成部８ｅは、１枚目の被写体存在画像Ａ１について認識した全ての人物について矩形領域画像を生成したか否かを判定する（ステップＳ１０６）。
ここで、全ての人物について矩形領域画像を生成していないと判定されると（ステップＳ１０６；ＮＯ）、判定部８ｃは、矩形領域画像の生成対象として次の人物（例えば、優先度が２番目に高い人物）を指定して（ステップＳ１０７）、処理をステップＳ１０３に移行させる。
上記の処理を、ステップＳ１０６にて全ての人物について処理したと判定されるまで（ステップＳ１０６；ＹＥＳ）繰り返すことで、切り抜き画像生成部８ｅは、全ての人物について１枚目の矩形領域画像Ｖa1、Ｖb1、Ｖc1を生成する。
【００７９】
次に、シャッタボタン１２ａの押し込み操作が開放されたと判定されるまで（ステップＳ１０；ＹＥＳ）、ステップＳ４以降の処理を繰り返し行う。また、このとき、上記した１枚目の抽出用被写体存在画像Ｂ１に係る矩形領域画像Ｖa1、Ｖb1、Ｖc1と同様にして、２枚目以降の抽出用被写体存在画像Ｂ２…についても画像メモリ５に一時記憶された各抽出用被写体存在画像Ｂ２…のＹＵＶデータに基づいて矩形領域画像Ｖa2…、Ｖb2…、Ｖc2…がそれぞれ生成される。
【００８０】
そして、シャッタボタン１２ａの押し込み操作が開放されたと判定されると（ステップＳ１０；ＹＥＳ）、ＣＰＵ１３は、表示制御部１０に、ライブビュー画像を表示部１１の表示画面に表示させるとともに、当該ライブビュー画像に重畳させて、抽出用被写体存在画像Ｂ１の半透過の表示態様の画像と被写体非存在画像Ｈの撮像指示メッセージを表示部１１の表示画面に表示させる（ステップＳ１１）。
【００８１】
この後、ＣＰＵ１３は、ユーザによりシャッタボタン１２ａが所定操作されて撮像指示が入力されたと判定されると（ステップＳ１２；ＹＥＳ）、ＣＰＵ１３は、撮像制御部３に、被写体非存在画像Ｈの光学像を被写体存在画像Ａ１〜Ａｎの撮像後に固定された条件で電子撮像部２により撮像させて、画像データ生成部４に、電子撮像部２から転送された被写体非存在画像Ｈの画像フレームに基づいて、被写体非存在画像ＨのＹＵＶデータを生成させる（ステップＳ１３）。
【００８２】
次に、切抜き画像生成部８ｅは、複数の被写体存在画像Ａ１〜Ａｎから顔認識部８ａにより認識された複数の人物のうち、１人目の人物（例えば、「乙」）を指定する（ステップＳ１０８）。そして、切抜き画像生成部８ｅは、指定された人物の矩形領域画像Ｖa1〜Ｖajの枚数と同数の被写体非存在画像Ｈを複製し、画像メモリ５に一時記憶された各矩形領域画像Ｖa1〜Ｖajの位置情報に基づき、当該矩形領域画像Ｖa1〜Ｖajのそれぞれの位置・大きさに対応した各背景矩形領域画像Ｗa1〜Ｗajを複製された各被写体非存在画像ＨのＹＵＶデータに基づいて生成する（ステップＳ１０９）。
【００８３】
次に、ＣＰＵ１３は、特徴量演算部６、ブロックマッチング部７及び画像処理部８に、画像メモリ５に一時記憶されている人物（例えば、「乙」）の各背景矩形領域画像Ｗa1〜ＷajのＹＵＶデータを基準として、各矩形領域画像Ｖa1〜ＶajのＹＵＶデータを射影変換させるための射影変換行列を所定の画像変換モデルで算出させる（ステップＳ１１０）。具体的には、ＣＰＵ１３は、特徴量演算部６、ブロックマッチング部７及び画像処理部８に、１枚目の矩形領域画像Ｖa1は１枚目の矩形領域画像Ｖa1に対応する背景矩形領域画像Ｗa1を、２枚目の矩形領域画像Ｖa2は２枚目の矩形領域画像Ｖa2に対応する背景矩形領域画像Ｗa2を、…Ｊ枚目の矩形領域画像ＶajはＪ枚目のＶajに対応する背景矩形領域画像Ｗajを基準として、射影変換行列を所定の画像変換モデルで算出させる。
【００８４】
次に、ＣＰＵ１３は、切り抜き画像生成部８ｅの位置合わせ部に、算出された各射影変換行例に基づいて各矩形領域画像Ｖa1〜Ｖajを射影変換させることで、各矩形領域画像Ｖa1〜ＶajのＹＵＶデータと各背景矩形領域画像Ｗa1〜ＷajのＹＵＶデータとを位置合わせする処理を行わせる（ステップＳ１１１）。
そして、ＣＰＵ１３は、切り抜き画像生成部８ｅの被写体領域抽出部に、各矩形領域画像Ｖa1〜Ｖajから被写体が含まれる被写体領域を抽出する処理を行わせ（ステップＳ１６）、切り抜き画像生成部８ｅの位置情報生成部に、抽出された被写体領域の各矩形領域画像Ｖa1〜Ｖaj内での位置を示すアルファマップを生成させる（ステップＳ１７）。
【００８５】
その後、ＣＰＵ１３は、切り抜き画像生成部８ｅに、被写体の画像を所定の単一色画像と合成した被写体切り抜き画像Ｄa1〜Ｄajの画像データを生成する処理を行わせる（ステップＳ１８）。
【００８６】
そして、ＣＰＵ１３は、切り抜き画像生成部８ｅにより生成された各アルファマップと被写体切り抜き画像Ｄa1〜Ｄajの画像データを対応付けて一ファイルとして被写体切り抜き画像Ｄa1〜Ｄajの画像データを記録媒体９に保存させる（ステップＳ１９）。
【００８７】
次に、切り抜き画像生成部８ｅは、複数の被写体存在画像Ａ１〜Ａｎから顔認識部８ａにより認識された全ての人物についての被写体切り抜き画像の画像データを記録媒体９に保存したか否かを判定する（ステップＳ１１２）。
ここで、全ての人物についての被写体切り抜き画像の画像データを記録媒体９に保存していないと判定すると（ステップＳ１１２；ＮＯ）、切り抜き画像生成部８ｅは、背形矩形領域画像の生成対象として次の人物（例えば、優先度が２番目に高い人物）を指定して（ステップＳ１１３）、処理をステップＳ１０９に移行させる。
上記の処理を、ステップＳ１１２にて全ての人物について処理したと判定されるまで（ステップＳ１１２；ＹＥＳ）繰り返すことで、切り抜き画像生成部８ｅは、全ての人物について被写体切り抜き画像Ｄa1〜Ｄaj、Ｄb1〜Ｄbk、Ｄc1〜Ｄclの画像データを記録媒体９に保存する。
これにより、被写体切り抜き処理を終了する。
【００８８】
以上のように、実施形態２の撮像装置１００によれば、電子撮像部２により複数の人物（例えば、「甲」、「乙」、「丙」）を含む複数の被写体存在画像Ａ１〜Ａｎが連続して撮像された場合、判定部８ｃにより、当該複数の人物それぞれについて各人物の顔の前に当該人物以外の物が重なっているか否かを判定し、切り抜き画像生成部８ｅにより、複数の人物それぞれについて、判定部８ｃによりそれぞれの人物の顔の前に当該人物以外の物が重なっていないと判定された各抽出用被写体存在画像Ｂ１〜Ｂｍから被写体領域を含む被写体切り抜き画像Ｄa1〜Ｄaj、Ｄb1〜Ｄbk、Ｄc1〜Ｄclをそれぞれ抽出することができるので、複数の人物それぞれについて、被写体切り抜き画像が生成され、当該人物毎に被写体切り抜き画像を合成処理等に利用することができ、使い勝手が良い。
【００８９】
[変形例１]
以下に上記実施形態２における撮像装置の変形例１について説明する。
変形例１の撮像装置は、連続して撮像された複数の被写体存在画像Ａ１〜Ａｎから顔認識部８ａにより認識された複数の人物のうち最も優先度の高い人物についてだけ、当該人物の顔の前に人物以外の物が重なっているか否かを判定して、最も優先度の高い人物についてだけ被写体切り抜き画像を生成する。
なお、変形例１の撮像装置は、以下に説明する以外の点で上記実施形態２の撮像装置と略同様の構成をなし、その説明は省略する。
【００９０】
顔認識部８ａは、人物の顔が複数認識された場合には、認識された複数の人物の顔のうち優先度の最も高い人物の顔を特定する。
【００９１】
次に、変形例１の撮像装置による被写体切り抜き処理について、図１４及び図１５を参照して説明する。
図１４に示すように、実施形態２の撮像装置と同様に、ＣＰＵ１３は、ステップＳ１〜Ｓ４の各処理を行う。
【００９２】
そして、ＣＰＵ１３は、１枚目の被写体存在画像Ａ１について人物の顔の検出を顔認識部８ａに行わせる（ステップＳ５）。ここで、１枚目の被写体存在画像Ａ１について複数の人物（例えば、「甲」、「乙」、「丙」）の顔を検出すると（ステップＳ５；ＹＥＳ）、このときはまだ検出された顔を特定していないので（ステップＳ６；ＮＯ）、複数の人物の顔のうち優先度が最も高い人物（例えば、「丙」）の顔を特定して（ステップＳ７；ＹＥＳ）、ＣＰＵ１３は、特定された人物の顔の前に当該人物以外の物が重なっているか否かを判定部８ｃに判定させる（ステップＳ８）。ここで、１枚目の被写体存在画像Ａ１の特定された人物（例えば、「丙」）の顔の前に当該人物以外の物が重なっていないので（ステップＳ８；ＮＯ）、切り抜き画像生成部８ｅは、画像メモリ５に一時記憶された１枚目の抽出用被写体存在画像Ｂ１のＹＵＶデータから顔認識部８ａにより特定された人物を含む矩形領域画像Ｖb1を生成する（ステップＳ２０１）。
【００９３】
次に、ＣＰＵ１３は、ユーザによるシャッタボタン１２ａの押し込み操作が開放されているか否かをシャッタボタン１２ａからの操作信号の入力の有無に応じて判定する（ステップＳ１０）。ここで、シャッタボタン１２ａからの操作信号の入力が継続されており、ユーザによるシャッタボタン１２ａの押し込み操作が開放されていないと判定されると（ステップＳ１０；ＮＯ）、ステップＳ４に戻り、１枚目と同様に２枚目以降の被写体存在画像Ａ２、…について、ステップＳ４以降の処理を繰り返し行う。
【００９４】
そして、シャッタボタン１２ａの押し込み操作が開放されたと判定されると（ステップＳ１０；ＹＥＳ）、ＣＰＵ１３は、表示制御部１０に、ライブビュー画像を表示部１１の表示画面に表示させるとともに、当該ライブビュー画像に重畳させて、抽出用被写体存在画像Ｂ１の半透過の表示態様の画像と被写体非存在画像Ｈの撮像指示メッセージを表示部１１の表示画面に表示させる（ステップＳ１１）。
【００９５】
この後、ＣＰＵ１３は、ユーザによりシャッタボタン１２ａが所定操作されて撮像指示が入力されたと判定されると（ステップＳ１２；ＹＥＳ）、ＣＰＵ１３は、撮像制御部３に、被写体非存在画像Ｈの光学像を複数の被写体存在画像Ａ１〜Ａｎの撮像後に固定された条件で電子撮像部２により撮像させて、画像データ生成部４に、電子撮像部２から転送された被写体非存在画像Ｈの画像フレームに基づいて、被写体非存在画像ＨのＹＵＶデータを生成させる（ステップＳ１３）。
【００９６】
次いで、切抜き画像生成部８ｅは、特定された人物の矩形領域画像Ｖb1〜Ｖbkの枚数と同数の被写体非存在画像Ｈを複製し、画像メモリ５に一時記憶された各矩形領域画像Ｖb1〜Ｖbkの位置情報に基づき、当該矩形領域画像Ｖb1〜Ｖbkのそれぞれの位置・大きさに対応した各背景矩形領域画像Ｗb1〜Ｗbkを複製された各被写体非存在画像ＨのＹＵＶデータに基づいて生成する（ステップＳ２０２）。
【００９７】
次に、ＣＰＵ１３は、特徴量演算部６、ブロックマッチング部７及び画像処理部８に、画像メモリ５に一時記憶されている各背景矩形領域画像Ｗb1〜ＷbkのＹＵＶデータを基準として、各矩形領域画像Ｖb1〜ＶbkのＹＵＶデータを射影変換させるための射影変換行列を所定の画像変換モデルで算出させる（ステップＳ２０３）。
【００９８】
次に、ＣＰＵ１３は、切り抜き画像生成部８ｅの位置合わせ部に、算出された各射影変換行例に基づいて各矩形領域画像Ｖb1〜Ｖbkを射影変換させることで、各矩形領域画像Ｖb1〜ＶbkのＹＵＶデータと各背景矩形領域画像Ｗb1〜ＷbkのＹＵＶデータとを位置合わせする処理を行わせる（ステップＳ２０４）。
そして、ＣＰＵ１３は、切り抜き画像生成部８ｅの被写体領域抽出部に、各矩形領域画像Ｖb1〜Ｖbkから被写体が含まれる被写体領域を抽出する処理を行わせ（ステップＳ１６）、切り抜き画像生成部８ｅの位置情報生成部に、抽出された被写体領域の各矩形領域画像Ｖb1〜Ｖbk内での位置を示すアルファマップを生成させる（ステップＳ１７）。
【００９９】
その後、ＣＰＵ１３は、切り抜き画像生成部８ｅに、被写体の画像を所定の単一色画像と合成した被写体切り抜き画像Ｄb1〜Ｄbkの画像データを生成する処理を行わせる（ステップＳ１８）。
【０１００】
そして、ＣＰＵ１３は、切り抜き画像生成部８ｅにより生成された各アルファマップと被写体切り抜き画像Ｄb1〜Ｄbkの画像データを対応付けて一ファイルとして被写体切り抜き画像Ｄb1〜Ｄbkの画像データを記録媒体９に保存させる（ステップＳ１９）。
これにより、被写体切り抜き処理を終了する。
【０１０１】
以上のように、変形例１の撮像装置１００によれば、電子撮像部２により連続して撮像された被写体存在画像Ａ１〜Ａｎから顔認識部８ａにより認識された複数の人物（例えば、「甲」、「乙」、「丙」）のうち最も優先度の高い人物「丙」についてだけ、当該人物の顔の前に人物以外の物が重なっているか否かを判定して被写体切り抜き画像を生成することができるので、顔認識部８ａにより認識された複数の人物のうち、優先度が最も高い人物以外は被写体切り抜き画像が生成されず、ユーザ所望の人物の被写体切り抜き画像だけを適切に生成することができる。
【０１０２】
[実施形態３]
以下に、実施形態３の撮像装置２００について、図面を参照して説明する。
実施形態３の撮像装置２００は、判定部８ｃにより人物の顔の前に当該人物以外の物が重なっていないと判定された際の抽出用被写体存在画像から当該人物を含む特定領域画像Ｒ（図１９（ｂ）参照）を生成して、判定部８ｃにより人物の顔の前に当該人物以外の物が重なっていると判定された被写体存在画像（図１９（ａ）参照）の対応する箇所に当該特定領域画像Ｒを合成して、修正画像（図１９（ｃ）参照）を生成し、当該修正画像から当該人物を含む被写体切り抜き画像を生成する。
なお、実施形態３の撮像装置は、以下に説明する以外の点で上記実施形態１の撮像装置１００と略同様の構成をなし、その説明は省略する。
【０１０３】
修正画像生成部８ｇ（図１６参照）は、判定部８ｃにより人物以外の物が重なっていると判定された被写体存在画像（例えば、被写体存在画像Ａ２）を修正して、人物の顔の前に当該人物以外の物が重なっていない修正画像Ｅを生成する。
具体的には、修正画像生成部８ｇは、判定部８ｃにより人物（例えば、「丙」）の顔の前に当該人物以外の物が重なっていると判定された場合、かかる判定の対象となった被写体存在画像（例えば、被写体存在画像Ａ２；図１９（ａ）参照）の直前の抽出用被写体存在画像（例えば、抽出用被写体存在画像Ｂ１；図１９（ｂ）参照）から当該人物の顔が含まれる特定領域画像Ｒ（図１９（ｂ）参照）を生成し、特定領域画像Ｒと被写体存在画像Ａ２とを合成して当該人物以外の物が重なっていない修正画像Ｅ（図１９（ｃ）参照）を生成する。
ここで、修正画像生成部８ｇは、複数の被写体存在画像Ａ１〜Ａｎのうち、判定部８ｃにより人物以外の物が重なっていないと判定された抽出用被写体存在画像（例えば、抽出用被写体存在画像Ｂ１）に基づいて、判定部８ｃにより人物以外の物が重なっていると判定された被写体存在画像（例えば、被写体存在画像Ａ２）を修正して、人物の顔の前に当該人物以外の物が重なっていない修正画像Ｅを生成する修正手段として機能する。
なお、判定部８ｃにより人物の顔の前に当該人物以外の物が重なっていると判定された被写体存在画像の直前の画像も当該人物以外の物が重なっていると判定された画像である場合には、当該画像の直前の抽出用被写体存在画像を用いる。また、判定部８ｃにより人物の顔の前に当該人物以外の物が重なっていると判定された場合、かかる判定の対象となった被写体存在画像の直後の抽出用被写体存在画像を用いても良い。
【０１０４】
除外部８ｄは、顔認識部８ａにより人物の顔が検出できなかった被写体存在画像や、顔認識部８ａにより人物の顔を検出することができたが当該人物を認識できずに特定することができなかった被写体存在画像を複数の被写体切り抜き画像Ｄ１〜Ｄｍの生成における被写体領域の抽出対象から除外する。
即ち、除外部８ｄは、判定部８ｃにより特定された人物の顔の前に当該人物以外の物が重なっていると判定した場合、かかる判定の対象となった被写体存在画像（例えば、被写体存在画像Ａ２）は、複数の被写体切り抜き画像Ｄ１〜Ｄｍの生成における被写体領域の抽出対象から除外しない。
【０１０５】
次に、実施形態３の撮像装置１００による被写体切り抜き処理について、図１７及び図１８を参照して説明する。
図１７に示すように、ＣＰＵ１３は、実施形態１の撮像装置１００と同様に、ステップＳ１〜Ｓ７の各処理を行う。そして、ステップＳ８において、ＣＰＵ１３は、特定された人物の顔の前に当該人物以外の物が重なっているか否かを判定部８ｃに判定させる（ステップＳ８）。
ここで、例えば、２枚目の被写体存在画像Ａ２の場合、特定された人物（例えば、「丙」）の顔の前に当該人物以外の物（例えば、「甲」の腕や、「乙」の腕）が重なっているので（ステップＳ８；ＹＥＳ）、除外部８ｄは、２枚目の被写体存在画像Ａ２を被写体領域の抽出処理の対象から除外する（ステップＳ９）。即ち、除外部８ｄは、２枚目の被写体存在画像Ａ２を抽出用被写体存在画像としては特定しない。
【０１０６】
次に、ＣＰＵ１３は、ユーザによるシャッタボタン１２ａの押し込み操作が開放されているか否かをシャッタボタン１２ａからの操作信号の入力の有無に応じて判定する（ステップＳ１０）。ここで、シャッタボタン１２ａからの操作信号の入力が継続されており、ユーザによるシャッタボタン１２ａの押し込み操作が開放されていないと判定されると（ステップＳ１０；ＮＯ）、ステップＳ４に戻り、ステップＳ４以降の処理を繰り返し行う。
【０１０７】
そして、ユーザによるシャッタボタン１２ａの押し込み操作が開放されたと判定されると（ステップＳ１０；ＹＥＳ）、図１８に示すように、ＣＰＵ１３は、表示制御部１０に、レンズ部１、電子撮像部２及び撮像制御部３による被写体の撮像により生成された複数の画像フレームに基づいてライブビュー画像を表示部１１の表示画面に表示させるとともに、当該ライブビュー画像に重畳させて、抽出用被写体存在画像Ｂ１の半透過の表示態様の画像と被写体非存在画像Ｈの撮像指示メッセージを表示部１１の表示画面に表示させる（ステップＳ１１）。
【０１０８】
この後、ＣＰＵ１３は、ユーザによるシャッタボタン１２ａの所定操作に基づいて撮像指示が入力されたか否かを判定する（ステップＳ１２）。そして、ユーザは、被写体（例えば、「甲」、「乙」、「丙」）を画角外に移動させるか、或いは被写体が移動するのを待った後、ユーザにより被写体非存在画像Ｈが抽出用被写体存在画像Ｂ１の半透過の画像と重なるようにカメラ位置が調整されて、シャッタボタン１２ａが所定操作されて撮像指示が入力されたと判定されると（ステップＳ１２；ＹＥＳ）、ＣＰＵ１３は、撮像制御部３に、被写体非存在画像Ｈの光学像を複数の被写体存在画像Ａ１〜Ａｎの撮像後に固定された条件で電子撮像部２により撮像させて、画像データ生成部４に、電子撮像部２から転送された被写体非存在画像Ｈの画像フレームに基づいて、被写体非存在画像ＨのＹＵＶデータを生成させる（ステップＳ１３）。
【０１０９】
次に、ＣＰＵ１３は、特徴量演算部６、ブロックマッチング部７及び画像処理部８に、画像メモリ５に一時記憶されている被写体非存在画像ＨのＹＵＶデータを基準として、複数の抽出用被写体存在画像Ｂ１〜Ｂｍ及び修正画像Ｅ（図１９（３）参照）のＹＵＶデータの各々を射影変換させるための射影変換行列を所定の画像変換モデルで算出させる（ステップＳ１４）。
【０１１０】
次に、ＣＰＵ１３は、切り抜き画像生成部８ｅの位置合わせ部に、算出された各射影変換行例に基づいて抽出用被写体存在画像Ｂ１〜Ｂｍ及び修正画像Ｅを射影変換させることで、抽出用被写体存在画像Ｂ１〜Ｂｍ及び修正画像ＥのＹＵＶデータの各々と被写体非存在画像ＨのＹＵＶデータとを位置合わせする処理を行わせる（ステップＳ１５）。
そして、ＣＰＵ１３は、切り抜き画像生成部８ｅの被写体領域抽出部に、各抽出用被写体存在画像Ｂ１〜Ｂｍ及び修正画像Ｅから被写体が含まれる被写体領域を抽出する処理を行わせ（ステップＳ１６）、切り抜き画像生成部８ｅの位置情報生成部に、抽出された被写体領域の各抽出用被写体存在画像Ｂ１〜Ｂｍ及び修正画像Ｅ内での位置を示すアルファマップをそれぞれ生成させる（ステップＳ１７）。
【０１１１】
その後、ＣＰＵ１３は、切り抜き画像生成部８ｅに、被写体の画像を所定の単一色画像と合成した各被写体切り抜き画像Ｄ１〜Ｄｍ及び修正画像Ｅの画像データを生成する処理を行わせる（ステップＳ１８）。
【０１１２】
そして、ＣＰＵ１３は、切り抜き画像生成部８ｅにより生成された各アルファマップと被写体切り抜き画像Ｄ１〜Ｄｍ及び修正画像Ｅの画像データを対応付けて一ファイルとして被写体切り抜き画像Ｄ１〜Ｄｍの画像データを記録媒体９に保存させる（ステップＳ１９）。
これにより、被写体切り抜き処理を終了する。
【０１１３】
以上のように、実施形態３の撮像装置２００によれば、判定部８ｃにより特定された人物の顔の前に当該人物以外の物が重なっていると判定された被写体存在画像（例えば、被写体存在画像Ａ２）を修正した修正画像Ｅを用いて被写体切り抜き画像を生成することができるので、特定された人物の顔の前に当該人物以外の物が重なりやすい状況下でも被写体切り抜き画像の生成に必要な画像を確保して、被写体切り抜き画像を適切に行うことができる。
【０１１４】
なお、本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
例えば、上記実施形態２にあっては、判定部８ｃにより人物の顔の前に当該人物以外の物が重なっているか否かの判定を行った後、切り抜き画像生成部８ｅにより各人物の被写体切り抜き画像を生成するようにしたが、これに限られるものではなく、判定部８ｃにより人物の顔の前に当該人物意外の物が重なっているか否かの判定処理を行わずに、複数の被写体存在画像Ａ１〜Ａｎから人物を含む被写体切り抜き画像を各人物についてそれぞれ生成するようにしても良い。
【０１１５】
また、上記実施形態１〜３にあっては、判定部８ｃは、顔認識部８ａにより認識された人物の顔を判定の対象としたが、これに限られるものではなく、形状を認識することができるものであれば適宜任意に変更しても良い。
【０１１６】
また、上記実施形態１〜３にあっては、除外部８ｄは、判定部８ｃにより人物の顔の前に当該人物以外の物が重なっていると判定された被写体存在画像（例えば、被写体存在画像Ａ２）を切り抜き画像生成部８ｅによる被写体領域の抽出対象から除外するようにしたが、これに限られるものではなく、かかる判定がなされた被写体存在画像を画像メモリ５から削除するようにしても良いし、ライブビュー画像に対して顔認識部８ａによる認識を順次行い、判定部８ｃにより、人物の顔の前に当該人物以外の物が重なっていると判定された場合は、被写体画像の撮像を実行できないようにしても良い。
【０１１７】
また、上記実施形態１〜３にあっては、判定部８ｃの対象となる人物を特定する際に優先度の最も高い人物を特定するようにしたが、これに限らず、人物を特定することができれば適宜任意に変更しても良く、例えば、顔認識部８ａにより認識された複数の人物のうち、笑顔の人物を特定するようにしても良い。
【０１１８】
また、上記実施形態１〜３にあっては、被写体存在画像Ａ１〜Ａｎが撮像される度に顔認識部８ａにより人物の顔を認識することで人物を特定するようにしたが、これに限られず、顔認識部８ａにより一度特定した人物を追尾することにより当該人物を特定するようにしても良い。
これによれば、特定した人物が横や後ろを向いて顔認識部８ａでは特定できないような場合でも、被写体の追尾技術により当該人物を特定することができるので、より確実に被写体を特定して、被写体の前に当該被写体以外の物が重なっていない画像だけをより適切に生成することができる。
【０１１９】
また、個人データベース８ｂは更に、当該個人データベース８ｂに記録された各人物について被写体切り抜き画像を生成しても良いか否かを示す切り抜き画像撮影フラグデータを対応付けて記録しても良い。これにより、例えば、切り抜き画像撮影フラグデータが「ＯＮ」の人物についてのみ被写体切り抜き画像を生成することができる。
さらに、上記実施形態１〜３に例示したものは一例であり、これに限られるものではない。即ち、画像処理装置として、撮像装置を例示したが、これに限られるものではない。例えば、被写体存在画像Ａ１〜Ａｎは、当該撮像装置とは異なる撮像装置（図示略）にて行い、この撮像装置から転送された画像データを記録して合成画像生成処理を実行する画像処理装置であっても良い。
【０１２０】
また、上記実施形態１〜３にあっては、取得手段、判定手段、抽出手段としての機能を、ＣＰＵ１３の制御下にて、画像処理部８が駆動することにより実現される構成としたが、これに限られるものではなく、ＣＰＵ１３によって所定のプログラム等が実行されることにより実現される構成としても良い。
即ち、プログラムを記憶するプログラムメモリ（図示略）に、取得処理ルーチン、判定処理ルーチン、抽出処理ルーチンを含むプログラムを記憶しておく。そして、取得処理ルーチンによりＣＰＵ１３を、被写体を含んだ複数の画像を取得する取得手段として機能させるようにしても良い。また、判定処理ルーチンによりＣＰＵ１３を、取得処理ルーチンにより取得された複数の画像の各々について、被写体の前に当該被写体以外の物が重なっているか否かを判定する判定手段として機能させるようにしても良い。また、抽出処理ルーチンによりＣＰＵ１３を、取得処理ルーチンにより取得された複数の画像のうち、判定処理ルーチンにより被写体以外の物が重なっていないと判定された画像の各々から被写体領域を含む被写体領域画像を抽出する抽出手段として機能させるようにしても良い。
【符号の説明】
【０１２１】
１００    撮像装置
１        レンズ部
２        電子撮像部
３        撮像制御部
８        画像処理部
８ａ      顔認識部
８ｂ      個人データベース
８ｃ      判定部
８ｄ      除外部
８ｅ      切り抜き画像生成部
８ｆ      画像合成部
１２ａ    シャッタボタン
１３      ＣＰＵ
【図１】
0005423296.tif 000002
【図２】
0005423296.tif 000003
【図３】
0005423296.tif 000004
【図４】
0005423296.tif 000005
【図５】
0005423296.tif 000006
【図６】
0005423296.tif 000007
【図７】
0005423296.tif 000008
【図８】
0005423296.tif 000009
【図９】
0005423296.tif 000010
【図１０】
0005423296.tif 000011
【図１１】
0005423296.tif 000012
【図１２】
0005423296.tif 000013
【図１３】
0005423296.tif 000014
【図１４】
0005423296.tif 000015
【図１５】
0005423296.tif 000016
【図１６】
0005423296.tif 000017
【図１７】
0005423296.tif 000018
【図１８】
0005423296.tif 000019
【図１９】
0005423296.tif 000020