(57)【要約】【課題】合成した結果として違和感の少ない画像を生成することができるようにする。【解決手段】撮像装置１００であって、画像データ生成部４により順次生成される複数の画像フレームから、被写体抽出部６１により、被写体存在画像Ｐから抽出した被写体画像Ｏと、記録媒体７に記録されている背景用画像とを合成する画像合成部６３とを備えている。ＣＰＵ１１は、操作入力部１０の操作に応じて、被写体画像Ｏの大きさを変更し、画像合成部６３に大きさ変更した被写体画像Ｏと背景用画像Ｂとを合成させる。【選択図】      図１
2010287983.tif 000002
【特許請求の範囲】
【請求項１】
撮像手段と、
この撮像手段により撮像された画像から被写体領域を抽出した被写体画像を取得する抽出手段と、
背景用画像を取得する取得手段と、
前記抽出手段によって取得された被写体画像と前記取得手段によって取得された背景用画像とを合成する際の、前記被写体画像の大きさを指定する第１の指定手段と、
前記第１の指定手段によって指定された大きさの被写体画像を前記背景画像に合成する合成手段と
を備えることを特徴とする撮像装置。
【請求項２】
前記合成手段によって前記被写体画像を前記背景画像に合成する位置を指定する第２の指定手段を更に備えることを特徴とする請求項１記載の撮像装置。
【請求項３】
前記撮像手段に連続した撮像を行わせる撮像制御手段と、
前記抽出手段は、前記撮像制御手段による連続した撮像によって得られた複数の画像それぞれから被写体画像を取得し、
前記合成手段は、前記抽出手段によって取得された複数の被写体画像のそれぞれを前記背景画像に合成して複数の合成画像を生成することを特徴とする請求項１又は２に記載の撮像装置。
【請求項４】
前記抽出手段によって抽出された複数の被写体画像のうち、少なくとも１つの被写体画像について前記第１の指定手段による指定を行い、
前記合成手段は、前記指定手段による指定結果に基づき、前記抽出手段によって得られた他の被写体画像のそれぞれを合成した複数の合成画像を生成することを特徴とする請求項３記載の撮像装置。
【請求項５】
前記合成手段による合成前に、合成した結果を再現表示する再現表示手段を更に備えたことを特徴とする請求項３又は４記載の撮像装置。
【請求項６】
前記取得手段は、当該装置に接続された外部機器から前記背景用画像を取得することを特徴とする請求項１から５の何れか一項に記載の撮像装置。
【請求項７】
前景画像を記録する前景画像記録手段を更に備え、
前記合成手段は更に、前記取得手段によって取得された背景用画像に、前記画像記録手段に記録された前記前景画像を合成することを特徴とする請求項１から６の何れかに記載の撮像装置。
【請求項８】
撮像された画像から被写体領域を抽出した被写体画像を取得する抽出ステップと、
前記抽出ステップにて取得された被写体画像と背景用画像とを合成する際の、前記被写体画像の大きさを指定する指定ステップと、
前記指定ステップにて指定された大きさの被写体画像を前記背景画像に合成する合成ステップと
を含むことを特徴とする画像処理方法。
【請求項９】
撮像装置が有するコンピュータを
撮像された画像から被写体領域を抽出した被写体画像を取得する抽出手段、
前記抽出手段によって取得された被写体画像と背景用画像とを合成する際の、前記被写体画像の大きさの指定を検出する指定検出手段、
前記指定検出手段によって指定が検出された大きさの被写体画像を前記背景画像に合成する合成手段
として機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体を撮像する撮像装置、画像処理方法及びプログラムに関する。
【背景技術】
【０００２】
従来、撮像装置を用いて、背景内に被写体が存在する画像と被写体が存在しない背景画像を撮影して、背景画像と被写体が存在する画像とから差分情報を生成し、被写体のみを抜き出す技術が知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平１０−２１４０８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記技術で抜き出した被写体画像の大きさが、その画像を合成したい背景画像に対して不自然な大きさだった場合、合成を行うと現実味に乏しい合成画像が生成されてしまう問題があった。
【０００５】
そこで本発明の課題は、合成した結果として違和感の少ない画像を生成することができるようにすることである。
【課題を解決するための手段】
【０００６】
上記課題を解決するため、請求項１に記載の発明の撮像装置は、撮像手段と、この撮像手段により撮像された画像から被写体領域を抽出した被写体画像を取得する抽出手段と、背景用画像を取得する取得手段と、前記抽出手段によって取得された被写体画像と前記取得手段によって取得された背景用画像とを合成する際の、前記被写体画像の大きさを指定する第１の指定手段と、前記第１の指定手段によって指定された大きさの被写体画像を前記背景画像に合成する合成手段とを備えることを特徴としている。
【０００７】
請求項２に記載の発明は、請求項１に記載の撮像装置において、
前記合成手段によって前記被写体画像を前記背景画像に合成する位置を指定する第２の指定手段を更に備えることを特徴としている。
【０００８】
請求項３に記載の発明は、請求項１又は２に記載の撮像装置において、前記撮像手段に連続した撮像を行わせる撮像制御手段と、前記抽出手段は、前記撮像制御手段による連続した撮像によって得られた複数の画像それぞれから被写体画像を取得し、前記合成手段は、前記抽出手段によって取得された複数の被写体画像のそれぞれを前記背景画像に合成して複数の合成画像を生成することを特徴としている。
【０００９】
請求項４に記載の発明は、請求項３に記載の撮像装置において、前記抽出手段によって抽出された複数の被写体画像のうち、少なくとも１つの被写体画像について前記第１の指定手段による指定を行い、前記合成手段は、前記指定手段による指定結果に基づき、前記抽出手段によって得られた他の被写体画像のそれぞれを合成した複数の合成画像を生成することを特徴としている。
【００１０】
請求項５に記載の発明は、請求項３又は４に記載の撮像装置において、前記合成手段による合成前に、合成した結果を再現表示する再現表示手段を更に備えたことを特徴としている。
【００１１】
請求項６に記載の発明は、請求項１から５の何れか一項に記載の撮像装置において、前記取得手段は、当該装置に接続された外部機器から前記背景用画像を取得することを特徴としている。
【００１２】
請求項７に記載の発明は、請求項１から６の何れか一項に記載の撮像装置において、前景画像を記録する前景画像記録手段を更に備え、前記合成手段は更に、前記取得手段によって取得された背景用画像に、前記画像記録手段に記録された前記前景画像を合成することを特徴としている。
【００１３】
請求項８に記載の発明の画像処理方法は、撮像された画像から被写体領域を抽出した被写体画像を取得する抽出ステップと、前記抽出ステップにて取得された被写体画像と背景用画像とを合成する際の、前記被写体画像の大きさを指定する指定ステップと、前記指定ステップにて指定された大きさの被写体画像を前記背景画像に合成する合成ステップとを含むことを特徴とする画像処理方法としている。
【００１４】
請求項９に記載の発明のプログラムは、撮像装置が有するコンピュータを撮像された画像から被写体領域を抽出した被写体画像を取得する抽出手段、前記抽出手段によって取得された被写体画像と背景用画像とを合成する際の、前記被写体画像の大きさの指定を検出する指定検出手段、前記指定検出手段によって指定が検出された大きさの被写体画像を前記背景画像に合成する合成手段として機能させることを特徴としている。
【発明の効果】
【００１５】
本発明によれば、合成した結果として違和感の少ない画像を生成することができるようにする。
【図面の簡単な説明】
【００１６】
【図１】本発明を適用した実施形態１の撮像装置の概略構成を示すブロック図である。
【図２】図１の撮像装置による被写体切り抜き処理に係る動作の一例を示すフローチャートである。
【図３】被写体存在画像Ｐを説明するための画像の一例を模式的に示す図である。
【図４】切り抜き動画データＭを説明するための画像の一例を模式的に示す図である。
【図５】図１の撮像装置による合成画像生成処理に係る動作の一例を示すフローチャートである。
【図６】背景用画像Ｂと被写体画像Ｏ１の拡大縮小表示を説明するための画像の一例を模式的に示す図である。
【図７】図１の撮像装置による画像合成処理に係る動作の一例を示すフローチャートである。
【図８】本発明を適用した変形例の撮像装置とパーソナルコンピュータの概念図である。
【発明を実施するための形態】
【００１７】
以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、本実施形態の説明及び図に限定されない。
【００１８】
［実施形態１］
図１は、本発明を適用した実施形態１の撮像装置１００の概略構成を示すブロック図である。
実施形態１の撮像装置１００は、電子撮像部２によって撮像された複数の画像フレームｆ０〜ｆｎの間で対応する各画素の差分情報に基づいて、各画像フレームから被写体が含まれる被写体領域Ｓを抽出する。
具体的には、図１に示すように、撮像装置１００は、レンズ部１と、電子撮像部２と、撮像制御部３と、画像データ生成部４と、画像メモリ５と、画像処理部６と、記録媒体７と、表示制御部８と、表示部９と、記録制御部７と、操作入力部１０と、ＣＰＵ１１と、レンズモータ１２と、外部インターフェイス１３とを備えている。
【００１９】
レンズ部１は、複数のレンズから構成され、ズームレンズやフォーカスレンズ等を備えている。
また、レンズ部１は、レンズモータ１３の駆動に基づいて、ズームレンズ、フォーカスレンズが移動する。
【００２０】
電子撮像部２は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-oxide Semiconductor）等のイメージセンサから構成され、レンズ部１の各種レンズを通過した光学像を二次元の画像信号に変換する。
【００２１】
撮像制御部３は、図示は省略するが、タイミング発生器、ドライバなどを備えている。そして、撮像制御部３は、タイミング発生器、ドライバにより電子撮像部２を走査駆動して、所定周期毎に光学像を電子撮像部２により二次元の画像信号に変換させ、当該電子撮像部２の撮像領域から１画面分ずつ画像フレームを読み出して画像データ生成部４に出力させる。
また、撮像制御部３は、ＡＥ（自動露出処理）、ＡＦ（自動合焦処理）、ＡＷＢ（自動ホワイトバランス）等の撮像条件の調整制御を行う。
【００２２】
このように構成されたレンズ部１、電子撮像部２及び撮像制御部３は、被写体存在画像Ｐを撮像する。
【００２３】
画像データ生成部４は、電子撮像部２から転送された画像フレームのアナログ値の信号に対してＲＧＢの各色成分毎に適宜ゲイン調整した後に、サンプルホールド回路（図示略）でサンプルホールドしてＡ／Ｄ変換器（図示略）でデジタルデータに変換し、カラープロセス回路（図示略）で画素補間処理及びγ補正処理を含むカラープロセス処理を行った後、デジタル値の輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒ（ＹＵＶデータ）を生成する。
カラープロセス回路から出力される輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒは、図示しないＤＭＡコントローラを介して、バッファメモリとして使用される画像メモリ５にＤＭＡ転送される。
【００２４】
画像メモリ５は、例えば、ＤＲＡＭ等により構成され、画像処理部６やＣＰＵ１１等によって処理されるデータ等を一時記憶する。
また、画像メモリ５は、例えば、２０フレーム分の画像フレームを一時記憶することができるリングバッファを備え、画像データ生成部４により生成された複数の画像フレームを循環記憶する。
【００２５】
画像処理部６は、被写体存在画像Ｐの複数の画像フレームｆ１〜ｆｎ間で対応する各画素の差分情報を生成し、当該差分情報を基準として各画像フレームｆ１〜ｆｎから被写体画像Ｏ１〜Ｏｎを抽出する被写体抽出部６１を備えている。
また、画像処理部６は、各画像フレームｆ１〜ｆｎ内から抽出された被写体画像Ｏ１〜Ｏｎの位置を特定して、各画像フレームｆ１〜ｆｎにおける被写体画像Ｏ１〜Ｏｎの位置を示す位置情報を生成する位置情報生成部６２を備えている。
ここで、位置情報としては、例えば、アルファマップが挙げられ、アルファマップとは、被写体存在画像Ｐの各画素について、被写体画像Ｏの画像を所定の背景に対してアルファブレンディングする際の重みをアルファ値（０≦α≦１）として表したものである。
【００２６】
また、画像処理部６は、生成されたアルファマップに基づいて、被写体存在画像Ｐの各画素のうち、アルファ値が１の画素を所定の単一色画像（図示略）に対して透過させずに、且つ、アルファ値が０の画素を透過させるように、被写体画像Ｏを所定の単一色画像と合成して生成した複数の画像データからなる切り抜き動画データＭを生成する画像合成部６３を具備している。
また、この画像合成部６３は、被写体画像Ｏと背景用画像Ｂとを合成して合成画像を生成する。具体的には、画像合成部６３は、記録媒体７からユーザ所望の背景用画像Ｂを取得して、当該背景用画像Ｂの各画素のうち、アルファ値が０の画素は透過させ、アルファ値が１の画素は被写体切り抜き画像Ｃの対応する画素の画素値で上書きし、さらに、背景用画像Ｂの各画素のうち、アルファ値が０＜α＜１の画素は１の補数（１−α）を用いて被写体画像Ｏを切り抜いた画像（背景用画像×（１−α））を生成した後、アルファマップにおける１の補数（１−α）を用いて被写体切り抜き画像Ｃを生成した際に単一背景色とブレンドした値を計算し、当該値を被写体切り抜き画像Ｃから減算し、それを被写体画像Ｏを切り抜いた画像（背景用画像×（１−α））と合成する。
また、画像処理部６はキャラクタメモリ６４を備えており、このキャラクタメモリ６４には、切り抜き動画データＭとして使用可能なＣＧ（コンピュータグラフィック）等からなる前景画像データＭ´が予め記録されている。
【００２７】
記録媒体７は、例えば、不揮発性メモリ（フラッシュメモリ）等により構成され、画像処理部６のＪＰＥＧ圧縮部（図示略）により符号化された画像データ等を記憶する。
また、記録媒体７は、撮像レンズ部１、電子撮像部２及び撮像制御部３による撮像により生成された複数の画像フレームの各々を画像処理部６の符号化部（図示略）により所定の圧縮形式、例えば、Ｍｏｔｉｏｎ−ＪＰＥＧ形式で符号化された切り抜き動画データＭを記録する。
また、切り抜き動画データＭは、当該被写体切り抜き動画データＭを構成する各画像フレームＣ０〜Ｃｎと画像処理部６の位置情報生成部６２により生成された各アルファマップとを対応付けて一つのファイルとして保存されている。
【００２８】
表示制御部８は、画像メモリ５に一時的に記憶されている画像データを読み出して表示部９に表示させる制御を行う。
具体的には、表示制御部８は、ＶＲＡＭ、ＶＲＡＭコントローラ、デジタルビデオエンコーダなどを備えている。そして、デジタルビデオエンコーダは、ＣＰＵ１１の制御下にて画像メモリ５から読み出されてＶＲＡＭ（図示略）に記憶されている輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒを、ＶＲＡＭコントローラを介してＶＲＡＭから定期的に読み出して、これらのデータを元にビデオ信号を発生して表示部９に出力する。
【００２９】
表示部９は、例えば、液晶表示装置であり、表示制御部８からのビデオ信号に基づいて、撮像された画像などを表示画面に表示する。具体的には、表示部９は、撮像モードにて、レンズ部１、電子撮像部２及び撮像制御部３による撮像によって生成された複数の画像フレームに基づいてライブビュー画像を表示したり、本撮像画像として撮像されたレックビュー画像を表示する。
【００３０】
操作入力部１０は、当該撮像装置１００の所定操作を行うためのものである。具体的には、操作入力部１０は、被写体の撮影指示に係るシャッタボタン１０１、撮像モードや機能等の選択指示やズーム量の調整指示に係る選択決定ボタン１０２等を備え、これらのボタンの操作に応じて所定の操作信号をＣＰＵ１１に出力する。
【００３１】
ＣＰＵ１１は、撮像装置１００の各部を制御するものである。具体的には、ＣＰＵ１１は、撮像装置１００用の各種処理プログラム（図示略）に従って各種の制御動作を行うものである。
【００３２】
レンズモータ１２は、撮像制御部３からの制御信号に基づいてレンズ部１のズームレンズ、フォーカスレンズを駆動させる。
【００３３】
外部インターフェイス１３は、たとえば、ＵＳＢやＩＥＥＥ１３９４などの汎用プロトコルに対応したデータ入出力部であり、この外部インターフェイス１３を介し、パーソナルコンピュータ等の外部機器（不図示）から送信される制御信号や、操作入力部１０からの操作を検出することにより、撮像された画像データの転送（記録媒体７に記録されている画像データを外部機器等に転送する）や読み込み（外部機器等から記録媒体に画像データを読み込む）を行うことができるものである。
尚、本実施形態では、外部インターフェイス１３はケーブル接続により外部機器に接続、画像データ送受を行うようにしているがこれに限るものではなく、非接触通信や無線通信用のモジュールを含み、無線により外部機器と画像データを送受するようにしても良い。
【００３４】
次に、撮像装置１００の画像処理方法に係る被写体切り抜き処理について、図２及び図３を参照して説明する。
図２は、被写体切り抜き処理に係る動作の一例を示すフローチャートである。
【００３５】
被写体切り抜き処理は、ユーザによる選択決定ボタン１０２の所定操作に基づいて、メニュー画面に表示された複数の撮像モードの中から被写体切り抜きモードが選択指示された場合に実行される処理である。
図２に示すように、先ず、ＣＰＵ１１は、表示制御部８に、レンズ部１、電子撮像部２及び撮像制御部３による被写体の撮像により生成された複数の画像フレームに基づいてライブビュー画像を表示部９の表示画面に表示させるとともに、当該ライブビュー画像に重畳させて、被写体存在画像Ｐの撮像指示メッセージを表示部９の表示画面に表示させる（ステップＳ１）。
【００３６】
そして、ＣＰＵ１１は、撮像制御部３によってレンズモータ１２を駆動させ、フォーカスレンズの合焦位置を調整させて、ユーザによる操作入力部１１のシャッタボタン１０１が撮像指示操作されるまでライブビュー画像を更新しながら待機し、撮像指示操作がされると（ステップＳ２でＹＥＳ）、指示されたタイミングで被写体存在画像Ｐの光学像を所定の撮像条件で電子撮像部２による所定回数（ｎ回）の連続撮像を開始させることで複数の画像フレームｆ１〜ｆｎを取得する（ステップＳ３）。なお、画像データ生成部４により生成された被写体存在画像Ｐの各画像フレームのＹＵＶデータは、画像メモリ５に一時記憶される。
なお図３は、ステップＳ３において得られた被写体画像Ｏ１〜Ｏｎを含んだ複数の画像フレームｆ１〜ｆｎからなる被写体存在画像Ｐを示す図である。
【００３７】
そして、被写体抽出部６１は、ステップＳ３において取得された被写体存在画像Ｐの各画像フレームｆ１〜ｆｎから被写体が含まれる被写体画像Ｏ１〜Ｏｎをそれぞれ抽出する（ステップＳ４）。
具体的には、被写体抽出部６１は、被写体存在画像Ｐの各画像フレームｆ１〜ｆｎにおけるＹＵＶデータの各々に対してローパスフィルタをかけて各画像の高周波成分を除去する。その後、被写体抽出部６１は、ローパスフィルタをかけた、被写体存在画像Ｐの各画像フレームｆ１〜ｆｎの間で対応する各画素について相違度を算出して相違度マップを生成する。続けて、被写体抽出部６１は、各画素に係る相違度マップを所定の閾値で２値化した後、相違度マップから細かいノイズや手ぶれにより相違が生じた領域を除去するために収縮処理を行う。その後、被写体抽出部６１は、ラベリング処理を行って、所定値以下の領域や最大領域以外の領域を除去した後、一番大きな島のパターンを被写体画像Ｏとして特定する。
【００３８】
次に、ＣＰＵ１１は、位置情報生成部６２に、各画像フレームｆ１〜ｆｎ毎に抽出された被写体画像Ｏ１〜Ｏｎの対応する各画像フレームｆ１〜ｆｎ内での位置を示すアルファマップを生成させる（ステップＳ５）。
【００３９】
その後、ＣＰＵ１１は、画像合成部６３に、各画像フレームｆ１〜ｆｎにおける被写体画像Ｏを所定の単一色画像と合成した複数の被写体切り抜き画像Ｃ１〜Ｃｎからなる切り抜き動画像データＭを生成させる（ステップＳ６）。
具体的には、ＣＰＵ１１は、画像合成部６３に、各画像フレームｆ１〜ｆｎにおける被写体画像Ｏ１〜Ｏｎ、及び、単一色画像及び各画像フレームｆ１〜ｆｎに対応したアルファマップを読み出させて画像メモリ５に展開した後、各画像フレームｆ１〜ｆｎにおける被写体画像Ｏ１〜Ｏｎの全ての画素について、アルファ値が０の画素については（α＝０）、透過させ、アルファ値が０＜α＜１の画素については（０＜α＜１）、所定の単一色とブレンディングを行い、アルファ値が１の画素については（α＝１）、何もせずに所定の単一色に対して透過させないようにする。
その後、ＣＰＵ１１は、表示制御部８に、画像合成部６３により生成された被写体切り抜き画像の各画像フレームＣ１〜Ｃｎ（図４参照）からなる切り抜き動画データＭを表示部９の表示画面に再生表示させる。
【００４０】
次に、ＣＰＵ１１は、記録媒体７の所定の記憶領域に、被写体切り抜き画像の各画像フレームＣ１〜Ｃｎ毎に、位置情報生成部６２により生成されたアルファマップと画像フレームの画像データとを対応付けて一ファイルとして切り抜き動画像データＭを保存させる（ステップＳ７）。
これにより、被写体切り抜き処理を終了する。
【００４１】
次に、撮像装置１００による合成画像生成処理について、図５及び図６を参照して説明する。
図５は、合成画像生成処理に係る動作の一例を示すフローチャートである。
合成画像生成処理は、画像処理部６の画像合成部６３を用いて、背景用画像Ｂと切り抜き動画像データＭの各画像フレームＣ１〜Ｃｎとを合成して被写体合成画像を生成させる処理である。
【００４２】
図５に示すように、先ず、ユーザによる操作入力部１０の所定操作に基づいて、記録媒体７に記録されている複数の画像の中で所望の背景用画像Ｂ（図６（ａ））が選択されると、画像合成部６３は、指定された背景用画像Ｂの画像データを読み出して画像メモリ５に展開させる（ステップＳ１１）。なお、この背景用画像Ｂは、当該撮像装置１００によって撮像した画像でなくてもよい。例えば、パーソナルコンピュータから外部インターフェイス１３を介して記録媒体７に転送された画像であってもよい。
【００４３】
次に、ユーザによる操作入力部１０からの指示操作に基づいて、記録媒体７に記録されている複数の画像の中で所望の切り抜き動画像データＭが選択されると（ステップＳ３１）、画像処理部６は、選択された切り抜き動画像データＭの各画像フレームＣ１〜Ｃｎを読み出して画像メモリ５に展開する（ステップＳ１２）。また、このとき表示制御部８は、画像メモリ５に展開された背景用画像Ｂ上の所定の位置に、同じく画像メモリ５に展開された切り抜き動画データＭの画像フレームＣ１における被写体画像Ｏ１を重ねて表示部９に表示させる制御を行う（ステップＳ１３）。
【００４４】
続けてＣＰＵ１１は、ユーザによる操作入力部１０の所定の操作に基づいて、被写体画像Ｏの拡大縮小指示がなされたか否かを判定する（ステップＳ１４）。ここで拡大縮小指示がなされかった場合は（ステップＳ１４でＮＯ）、ステップＳ１６の処理に移る。
【００４５】
一方、拡大縮小指示がなされたと判定すると（ステップＳ１４でＹＥＳ）、ＣＰＵ１１は、図６の（ｂ）〜（ｄ）に示したように、操作入力部１０による操作に応じて、表示制御部８によって背景用画像Ｂ上に重ねて表示部９に表示している被写体画像Ｏ１を拡大縮小させる制御を行う（ステップＳ１５）。尚、この拡大縮小表示の際、切り抜き動画像データＭの各画像フレームＣ１〜Ｃｎの範囲を示す枠を背景用画像Ｂに重畳表示するようにしても良い。
【００４６】
次に、ユーザによる操作入力部１０の所定操作に基づいて、ユーザ所望の被写体画像Ｏ１の合成位置の指定がなされたか否かを判定する（ステップＳ１６）。
【００４７】
ここで、拡大縮小指示及び合成位置の指示がされない場合は（ステップＳ１６でＮＯ）、所定時間以上（例えば２秒以上）ユーザによる操作入力部１０の操作がないか否かを判定し（ステップＳ１７）、操作がないと判定されると（ステップＳ１７でＹＥＳ）、現在背景用画像Ｂ上に表示された被写体画像Ｏ１の大きさ、位置を基準として、背景用画像Ｂに切り抜き動画像データＭの各画像フレームＣ１〜Ｃｎをそれぞれ合成した被写体合成画像を順次再生表示することで被写体合成動画を再現表示させる。
【００４８】
一方、ステップＳ１６にて合成位置の指定がされたと判定すると（ステップＳ１６でＹＥＳ）、ＣＰＵ１１は、処理をステップＳ１９に移行させて、画像メモリ５に展開した背景用画像Ｂと切り抜き動画像データＭの各画像フレームＣ１〜Ｃｎとを合成する画像合成処理を行う（ステップＳ１９）。
【００４９】
ここで、画像合成処理について図７を参照して詳細に説明する。
図７は、画像合成処理に係る動作の一例を示すフローチャートである。
図７に示すように、画像合成部６３は、「.jpe」で保存されているアルファマップを読み出し、読み出したアルファマップをステップＳ１５において拡大縮小表示させた被写体画像Ｏ１の大きさに対応させて画像メモリ５に展開する（ステップＳ３１）。
【００５０】
次に、画像合成部６３は、画像メモリ５に展開した各画像フレームのうち、最初のフレームを指定し（ステップＳ３２）、続けて、背景用画像Ｂの何れか一の画素（例えば、左上隅部の画素）を指定する（ステップＳ３３）。当該画素について、アルファマップのアルファ値に基づいて処理を分岐させる（ステップＳ３４）。具体的には、合成部８ｆは、背景用画像Ｂの何れか一の画素のうち、アルファ値が１の画素については（ステップＳ３４；α＝１）、被写体切り抜き画像Ｃの対応する画素の画素値で上書きし（ステップＳ３５）、アルファ値が０＜α＜１の画素については（ステップＳ３４；０＜α＜１）、１の補数（１−α）を用いて被写体画像Ｏを切り抜いた画像（背景用画像×（１−α））を生成した後、アルファマップにおける１の補数（１−α）を用いて被写体切り抜き画像Ｃを生成した際に単一背景色とブレンドした値を計算し、当該値を被写体切り抜き画像Ｃから減算し、それを被写体画像Ｏを切り抜いた画像（背景用画像×（１−α））と合成し（ステップＳ３６、アルファ値が０の画素については（ステップＳ３４；α＝０）、何もせずに背景用画像Ｂを透過させるようにする。
【００５１】
続けて、画像合成部６３は、背景用画像Ｂの全ての画素について処理したか否かを判定する（ステップＳ３７）。
ここで、全ての画素について処理していないと判定されると（ステップＳ３７；ＮＯ）、画像合成部６３は、処理対象を次の画素に移動させて（ステップＳ３８）、処理をステップＳ３４に移行させる。
また上記の処理を、切り抜き動画像データＭを構成する画像フレームＣ１〜Ｃｎの全てについて処理したかを判定し（ステップＳ３９）、処理していないと判定した場合は、処理対象を次の画像フレームに変更して（ステップＳ４０）、処理をステップＳ３３に移行させる。これにより、所望の基準合成位置及び大きさで被写体画像Ｏ１を合成し、且つ、基準画像フレーム以外の各画像フレームにおいては、位置情報生成部６２が生成した隣合う画像フレーム間（例えば、画像フレームｆ３に対する画像フレームｆ２）の被写体画像Ｏの位置情報に基づいて、基準画像フレーム以外の各画像フレームにおける被写体切り抜き画像Ｃの合成位置及び大きさを設定して、基準画像フレームに合成された被写体切り抜き画像Ｃ１に対し切り抜き動画データＭの動きに合わせて変位させるように被写体切り抜き画像Ｃ２〜Ｏｎを合成して複数の合成画像フレームを生成する。
一方、全ての画像フレームについて処理したと判定すると（ステップＳ３９；ＹＥＳ）、画像合成処理を終了する。
【００５２】
以上のように、本実施形態の撮像装置１００によれば、背景用画像Ｂに被写体画像Ｏを合成する際に、合成する被写体画像Ｏの大きさを任意に指定できるようにした。これにより、ユーザは背景用画像に合成する被写体画像Ｏの大きさを任意に変更させることができるので、合成した結果として違和感の少ない画像を生成することができる。
また、切り抜き動画データＭにおける被写体画像Ｏ１〜Ｏｎを背景用画像Ｂに合成する場合は、最初の被写体切り抜き画像フレームＣ１における被写体画像Ｏ１の背景用画像Ｂに対する合成位置及び、大きさを指定し、その指定結果を基準として以降のフレームＣ２〜Ｃｎにおける被写体画像Ｏ２〜Ｏｎを合成することで、切り抜き動画像データＭにおける被写体の動きに合わせて所望の大きさに変更した被写体画像Ｏを所定動作させることができ、興趣性の高い合成動画を生成することができる。
さらにまた、本実施形態によれば、切り抜き動画データＭ´を前景画像として予め記憶しているので、要領良く切り抜き動画データＭが生成できない場合であっても、簡単に合成画像を生成することができる。
【００５３】
また、上記実施形態に例示したものは一例であり、これに限られるものではない。例えば、被写体画像Ｏは、撮像によって取得された被写体存在画像Ｐの各画像フレームｆ０〜ｆｎから、被写体抽出部６１によって抽出するものとしたが、予めキャラクタメモリ６４に記録されている前景画像データＭ´の各フレームにおけるキャラクタ画像を被写体画像Ｏとして用いてもよい。
【００５４】
さらに、上記実施形態にあっては、背景用画像Ｂは、記録媒体７に記録された画像から選択するようにしたが、図８に示したように、外部インターフェイス１３を介してパーソナルコンピュータ２００と当該撮像装置１００を接続し、パーソナルコンピュータ２００のＨＤＤ（ハードディスクドライブ）２０１に保存されている画像を記録媒体７に取り込めるようにしてもよい。
このようにすることにより、外部機器を介して所望の静止画像を背景画像として取得することができるので、実際に撮影されたものでない画像を背景画像とした合成画像を生成することができる。
【００５５】
さらにまた、上記実施形態にあっては、本発明をデジタルカメラに適用した場合を例示したが、デジタルカメラに限ることなく、コンピュータソフトウェアや、ネットワークサーバシステム等、様々なハードウェア、システム、ソフトウェアに適用可能である。
【符号の説明】
【００５６】
２      電子撮像部
３      撮像制御部
４      画像データ生成部
５      画像メモリ
６      画像処理部
７      記録媒体
１０    操作入力部
１１    ＣＰＵ
１３    外部インターフェイス
６１    被写体抽出部
６２    位置情報生成部
６３    画像合成部
６４    キャラクタメモリ
１００  撮像装置
１０１  シャッタボタン
１０２  選択決定ボタン
２００  パーソナルコンピュータ
２０１  ＨＤＤ（ハードディスクドライブ）
【図１】
2010287983.tif 000003
【図２】
2010287983.tif 000004
【図３】
2010287983.tif 000005
【図４】
2010287983.tif 000006
【図５】
2010287983.tif 000007
【図６】
2010287983.tif 000008
【図７】
2010287983.tif 000009
【図８】
2010287983.tif 000010