【手続補正書】
【提出日】平成22年8月5日(2010.8.5)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】００２３
【補正方法】変更
【補正の内容】
【００２３】
電子撮像部２は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-oxide Semiconductor）等のイメージセンサから構成され、レンズ部１の各種レンズを通過した光学像を二次元の画像を表示するための画像信号に変換する。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００２４
【補正方法】変更
【補正の内容】
【００２４】
撮像制御部３は、図示は省略するが、タイミング発生器、ドライバなどを備えている。そして、撮像制御部３は、タイミング発生器、ドライバにより電子撮像部２を走査駆動して、所定周期毎に光学像を電子撮像部２により二次元の画像を表示するための画像信号に変換させ、当該電子撮像部２の撮像領域から１画面分ずつ画像フレームを読み出して画像データ生成部４に出力させる。
また、撮像制御部３は、ＡＦ（自動合焦処理）、ＡＥ（自動露出処理）、ＡＷＢ（自動ホワイトバランス）等の被写体Ｓの撮像条件の調整制御を行う。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００２６
【補正方法】変更
【補正の内容】
【００２６】
また、撮像モードとして被写体切り抜きモード（後述）が設定されている場合に、ユーザによるシャッタボタン１２ａの撮像指示操作に基づいて、撮像制御部３は、レンズ部１を通過した背景内に被写体Ｓが存在する被写体存在画像Ｐ１ａ（図６（ｃ）参照）の光学像を所定の撮像条件で電子撮像部２により二次元の画像を表示するための画像信号に変換させ、当該電子撮像部２の撮像領域から被写体存在画像Ｐ１ａに係る画像フレームを読み出させる。
ここで、撮像レンズ部１、電子撮像部２及び撮像制御部３は、背景内に被写体Ｓが存在する被写体存在画像Ｐ１ａを撮像する第１撮像手段を構成している。 
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００２７
【補正方法】変更
【補正の内容】
【００２７】
また、ライブビュー画像（背景画像Ｐ２）の非平坦度の判定処理（後述）にて、特徴点やブロック内の画素値のばらつき量が所定値よりも多いと判定された後、被写体存在画像Ｐ１ｂ（図８（ａ）参照）が撮像された場合には、撮像制御部３は、当該被写体存在画像Ｐ１ｂの撮像の際の撮像条件を固定した状態を維持する。そして、ユーザによるシャッタボタン１２ａの撮像指示操作に基づいて、撮像制御部３は、レンズ部１を通過した被写体存在画像Ｐ１ｂの背景と同一の背景内に被写体Ｓの存在しない被写体非存在画像Ｐ３（図８（ｂ）参照）の光学像を、被写体存在画像Ｐ１ｂの撮像後に固定された撮像条件で電子撮像部２により二次元の画像を表示するための画像信号に変換させ、当該電子撮像部２の撮像領域から被写体非存在画像Ｐ３に係る画像フレームを読み出させる。
ここで、撮像レンズ部１、電子撮像部２及び撮像制御部３は、判定処理にて非平坦度が所定値よりも多いと判定された場合に、被写体存在画像Ｐ１ｂの撮像後、当該被写体存在画像Ｐ１ｂの背景と同一の背景内に前記被写体Ｓの存在しない被写体非存在画像Ｐ３を撮像する第２撮像手段を構成している。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００５３
【補正方法】変更
【補正の内容】
【００５３】
一方、ステップＳ５にて、特徴点及び当該ブロック内の画素値のばらつき量があると判断されると（ステップＳ５；ＮＯ）、即ち、例えば、特徴量の多い背景をバックに被写体Ｓを撮影する場合（図８（ａ）参照）、ＣＰＵ１３は、ユーザにより操作入力部１２のシャッタボタン１２ａが撮像指示操作されたか否かを判定する（ステップＳ１０）。
ここで、シャッタボタン１２ａが撮像指示操作されていないと判定されると（ステップＳ１０；ＮＯ）、ＣＰＵ１３は、処理をステップＳ３に移行させる。一方、シャッタボタン１２ａが撮像指示操作されたと判定されると（ステップＳ１０；ＹＥＳ）、ＣＰＵ１３は、画像メモリのフラグテーブル（図示略）に背景撮影フラグ＝１を書き込んだ後（ステップＳ１１）、処理をステップＳ９に移行させて、被写体Ｓの撮影を行う。
これにより、特徴量の多い背景をバックに被写体Ｓが撮影された被写体存在画像Ｐ１ｂが生成される。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００６５
【補正方法】変更
【補正の内容】
【００６５】
その後、ＣＰＵ１３は、表示制御部１０に、撮像レンズ部１、電子撮像部２及び撮像制御部３による被写体Ｓの撮像により順次生成された画像フレームに基づいてライブビュー画像を更新させる制御を行うとともに（ステップＳ１８）、ユーザにより操作入力部１２のシャッタボタン１２ａが撮像指示操作されたか否かを判定する（ステップＳ１９）。
この後、ユーザは、被写体Ｓを画角外に移動させる、或いは被写体Ｓが移動するのを待った後（図８（ｂ）参照）、ステップＳ１９にて、シャッタボタン１２ａが撮像指示操作されたと判定されると（ステップＳ１９；ＹＥＳ）、ＣＰＵ１３は、被写体非存在画像Ｐ３の光学像を所定の撮像条件で電子撮像部２により撮像させ、電子撮像部２から転送された被写体非存在画像Ｐ３の画像フレームに基づいて、被写体非存在画像Ｐ３のＹＵＶデータを画像データ生成部４に生成させて、当該ＹＵＶデータを画像メモリ５に一時記憶させる（ステップＳ２０）。
これにより、被写体Ｓが存在しない特徴量の多い背景が撮影された被写体非存在画像Ｐ３が生成される。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００６６
【補正方法】変更
【補正の内容】
【００６６】
次に、ＣＰＵ１３は、非平坦度演算部６、ブロックマッチング部７及び画像処理部８に、被写体非存在画像Ｐ３のＹＵＶデータを基準として、被写体存在画像Ｐ１ｂのＹＵＶデータと被写体非存在画像Ｐ３のＹＵＶデータとを位置合わせする処理を行わせる（ステップＳ２１）。
具体的には、特徴量演算部６ａは、被写体非存在画像Ｐ３のＹＵＶデータに基づいて、所定数（或いは、所定数以上)の特徴の高いブロック領域（特徴点）を選択して、当該選択されたブロックの内容をテンプレートとして抽出する。そして、ブロックマッチング部７は、特徴抽出処理にて抽出されたテンプレートの画素値が最適にマッチする位置を被写体存在画像Ｐ１ｂ内にて探索して、画素値の相違度の評価値が最も良かった被写体非存在画像Ｐ３と被写体存在画像Ｐ１ｂ間の最適なオフセットを当該テンプレートの動きベクトルとして算出する。
そして、画像処理部８の位置合わせ部８ｃは、ブロックマッチング部７により算出された複数のテンプレートの動きベクトルに基づいて全体の動きベクトルを統計的に算出し、当該全体の動きベクトルに係る特徴点対応を用いて被写体存在画像Ｐ１ｂの射影変換行列を算出した後、当該射影変換行例に基づいて被写体存在画像Ｐ１ｂを射影変換することで、被写体存在画像Ｐ１ｂのＹＵＶデータと被写体非存在画像Ｐ３のＹＵＶデータとを位置合わせする処理を行わせる。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００６７
【補正方法】変更
【補正の内容】
【００６７】
次に、ＣＰＵ１３は、画像処理部８に、位置合わせが成功したか否かを判定させる（ステップＳ２２）。即ち、画像処理部８は、ステップＳ２１にて、複数のテンプレートの動きベクトルから全体の動きベクトルを統計的に算出でき、当該全体の動きベクトルに係る特徴点対応を用いて被写体存在画像Ｐ１ｂの射影変換行列を算出することができたか否かを判定する。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００６９
【補正方法】変更
【補正の内容】
【００６９】
その後、上記したように、マスク生成部８ｄは、相違度マップを二値化してマスク画像データを生成する処理（ステップＳ４２）、二値化が成功したか否かを判断する処理（ステップＳ４３）、マスク画像データに対する収縮処理（ステップＳ４４）、収縮分を修正するための膨張処理（ステップＳ４５）、ラベリングにより、マスク画像データの所定の比率以下の領域を有効領域に置き換える処理（ステップＳ４６）、マスク画像データに平均化フィルタをかけて被写体領域の縁部に合成階調をつける処理（ステップＳ４７）等を行う。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００７４
【補正方法】変更
【補正の内容】
【００７４】
以上のように、本実施形態の撮像装置１００によれば、背景内に被写体Ｓが存在する被写体存在画像Ｐ１ａの周縁部分の非平坦度が所定値以下であるか否かを判定し、非平坦度が所定値以下であると判定された場合に、当該被写体存在画像Ｐ１ａの周縁部分から被写体領域の抽出用の抽出用背景画像を生成して、抽出用背景画像と被写体存在画像Ｐ１ａの対応する各画素の相違度Ｄに基づいて、被写体存在画像Ｐ１ａから被写体領域を抽出して被写体切り抜き画像Ｐ４を生成する。
具体的には、被写体存在画像Ｐ１ａの周縁部分を複数の画像ブロックＢに分割して、複数の画像ブロックＢの各々の特徴点を抽出し、複数の画像ブロックＢの各々について特徴点が所定値以下であるか否かを判定する。また、複数の画像ブロックＢ内の画素値のばらつき量が所定値以下であるか否かを判定する。そして、特徴点が所定値以下であると判定され、且つ、ブロック内の画素値のばらつき量が所定値以下であると判定された画像ブロックＢが複数ある場合に、被写体存在画像Ｐ１ａの周縁部分の色と同じ色の抽出用背景画像を生成する。そして、抽出用背景画像と被写体存在画像Ｐ１ａの対応する各画素の相違度Ｄに基づいてマスク画像を生成して、当該マスク画像を用いて被写体存在画像Ｐ１ａから被写体領域を抽出する。
従って、被写体存在画像Ｐ１ａの撮影を一回行うだけで、背景画像Ｐ２の撮像を別途行わなくとも抽出用背景画像を生成することができ、当該抽出用背景画像を用いて生成されたマスク画像を利用して被写体存在画像Ｐ１ａから被写体領域を簡便に抽出することができる。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００７５
【補正方法】変更
【補正の内容】
【００７５】
また、被写体存在画像Ｐ１ａの周縁部分を複数の画像ブロックＢに分割して、画像ブロックＢ毎に、被写体存在画像Ｐ１ａの周縁部分に同じ色の画像ブロックＢが複数あるか否かやブロック内の画素値のばらつきがあるか否かを判定することで、背景画像が抽出用背景画像の生成に好適な無地で単色の背景であるか否かの判定を適正に行うことができる。