(57)【要約】【課題】より自然で現実味のある合成動画を作成すること。【解決手段】フィルタ係数演算部８１は、初期αマップ内の注目座標ｐを含む複数の座標の範囲をフィルタウィンドウとして、フィルタウィンドウ内の注目座標ｐに対応する原画像の座標の画素値Ｉｐと、フィルタウィンドウ内の座標ｑに対応する原画像の座標の画素値Ｉｑとを用いて、座標ｑにおけるフィルタ係数Ｋｑを、フィルタウィンドウ内の各座標毎に演算する。即ち、フィルタウィンドウ内の各座標毎のフィルタ係数からなるフィルタ係数セットが生成される。加重平均フィルタ化部８３は、フィルタ係数セットを用いて、フィルタウィンドウ内の各画素値に対して加重平均フィルタを施す。【選択図】図２
2012014658.tif 000002
【特許請求の範囲】
【請求項１】
原画像の各座標の画素値から構成されるデータを加工して、その結果得られる各座標の画素値から構成されるデータを、加工画像のデータとして生成する加工手段と、
前記加工手段によりデータとして生成された前記加工画像の各座標の各々を、処理の対象として注目すべき注目座標とし、前記注目座標を含む複数の座標の範囲をフィルタウィンドウとして、前記フィルタウィンドウのデータに対して加重平均フィルタを施すことで、前記注目座標の画素値を変換するフィルタ手段と、
を備え、
前記フィルタ手段は、
前記フィルタウィンドウ内の前記注目座標に対応する前記原画像の第１座標の第１画素値と、前記フィルタウィンドウ内の所定座標に対応する前記原画像の第２座標の第２画素値とを用いて、前記所定座標におけるフィルタ係数を演算する処理を、前記フィルタウィンドウ内の各座標毎に実行するフィルタ係数演算手段と、
前記フィルタ係数演算手段により演算された前記フィルタウィンドウ内の各座標毎の前記フィルタ係数を用いて、前記フィルタウィンドウのデータに対して加重平均フィルタを施す加重平均フィルタ手段と、
を備える画像処理装置。
【請求項２】
前記フィルタ係数演算手段は、前記原画像の前記第１画素値と前記第２画素値との差分を求め、当該差分が小さいほど、前記所定座標における前記フィルタ係数を大きな値にするように、前記フィルタ係数を演算する、
請求項１に記載の画像処理装置。
【請求項３】
前記フィルタ係数演算手段は、
前記原画像の前記第１画素値と前記第２画素値との前記差分として、Ｙ，Ｃｂ，Ｃｒ成分のベクトル差を算出し、
前記ベクトル差のノルム若しくはノルム二乗をとるノルム演算を実行し、
前記ノルム演算の実行結果と所定の閾値とを比較して、比較の結果が大きい場合には「０」となり小さい場合には「１」となる仮重み値を、前記所定座標における前記フィルタ係数として与え、
前記仮重み値に基づいて、前記所定座標における前記フィルタ係数を演算する、
請求項２に記載の画像処理装置。
【請求項４】
前記フィルタ係数演算手段は、
前記原画像の前記第１座標と前記第２座標との差分を入力パラメータとする、空間座標に関するガウス関数の出力値と、
前記原画像の前記第１画素値と前記第２画素値との前記差分を入力パラメータとする、色成分に関するガウス関数の出力値と、
を乗算し、
その乗算結果に基づいて、前記所定座標における前記フィルタ係数を演算する、
請求項２に記載の画像処理装置。
【請求項５】
前記フィルタ係数演算手段は、前記フィルタウィンドウ内のデータのうち、前記原画像内の被写体の領域と、前記原画像内の背景の領域とで非対象になるように、前記フィルタ係数を演算する、
請求項２に記載の画像処理装置。
【請求項６】
前記加工手段は、前記原画像の各座標の画素値を二値化する加工を行うことにより、前記加工画像のデータとして、初期αマップを生成し、
前記加重平均フィルタ手段は、前記初期αマップのデータに対して前記加重平均フィルタを施し、その結果得られるデータをフィルタ後αマップのデータとして生成する、
請求項１乃至５の何れかに記載の画像処理装置。
【請求項７】
被写体が含まれる画像のデータを、前記原画像のデータとして取得して、前記被写体が前景物体として貼り付けられる対象の画像のデータを、合成用背景画像のデータとして取得する画像取得手段と、
前記画像取得手段に取得された前記原画像のデータと、前記加重平均フィルタ手段により生成された前記フィルタ後αマップのデータとを用いて、前記被写体を含む合成用前景画像のデータを生成する合成用前景画像生成手段と、
前記合成用前景画像生成手段により生成された前記合成用前景画像のデータと、前記画像取得手段に取得された前記合成用背景画像のデータとを合成する合成手段と、
を備える請求項６に記載の画像処理装置。
【請求項８】
原画像のデータに対して画像処理を施す画像処理装置が実行する画像処理方法において、
原画像の各座標の画素値から構成されるデータを加工して、その結果得られる各座標の画素値から構成されるデータを、加工画像のデータとして生成する加工ステップと、
前記加工ステップの処理によりデータとして生成された前記加工画像の各座標の各々を、処理の対象として注目すべき注目座標とし、前記注目座標を含む複数の座標の範囲をフィルタウィンドウとして、前記フィルタウィンドウのデータに対して加重平均フィルタを施すことで、前記注目座標の画素値を変換するフィルタステップと、
を含み、
前記フィルタステップは、
前記フィルタウィンドウ内の前記注目座標に対応する前記原画像の座標の画素値と、前記フィルタウィンドウ内の所定座標に対応する前記原画像の座標の画素値とを用いて、前記所定座標におけるフィルタ係数を演算する処理を、前記フィルタウィンドウ内の各座標毎に実行するフィルタ係数演算ステップと、
前記フィルタ係数演算ステップの処理により演算された前記フィルタウィンドウ内の各座標毎の前記フィルタ係数を用いて、前記フィルタウィンドウのデータに対して加重平均フィルタを施す加重平均フィルタステップと、
を含む画像処理方法。
【請求項９】
原画像のデータに対して画像処理を施す画像処理装置を制御するコンピュータに、
原画像の各座標の画素値から構成されるデータを加工して、その結果得られる各座標の画素値から構成されるデータを、加工画像のデータとして生成する加工機能と、
前記加工機能の実現によりデータとして生成された前記加工画像の各座標の各々を、処理の対象として注目すべき注目座標とし、前記注目座標を含む複数の座標の範囲をフィルタウィンドウとして、前記フィルタウィンドウのデータに対して加重平均フィルタを施すことで、前記注目座標の画素値を変換するフィルタ機能と、
を実現させ、
前記フィルタ機能として、
前記フィルタウィンドウ内の前記注目座標に対応する前記原画像の座標の画素値と、前記フィルタウィンドウ内の所定座標に対応する前記原画像の座標の画素値とを用いて、前記所定座標におけるフィルタ係数を演算する処理を、前記フィルタウィンドウ内の各座標毎に実行するフィルタ係数演算機能と、
前記フィルタ係数演算機能の実現により得られた前記フィルタウィンドウ内の各座標毎の前記フィルタ係数を用いて、前記フィルタウィンドウのデータに対して加重平均フィルタを施加重平均フィルタ機能と、
を実現させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及び方法、並びにプログラムに関し、特に、原画像とその２値化画像の各データを用いて、原画像から被写体を切り出して別の画像の上に合成する合成処理を簡便な処理で実現し、当該合成処理の結果として、より自然で現実味のある合成画像を提供することを可能にする技術に関する。
【背景技術】
【０００２】
従来より、所定の被写体が含まれている画像のデータを原画像のデータとして用いて、原画像から被写体を切り出して、当該被写体を別の画像の上に合成する技術が存在する（例えば特許文献１，２参照）。このような技術は、「ダイナミックフォト（登録商標）」とも呼ばれている。
【０００３】
ダイナミックフォトでは、原画像から、被写体を含む領域が注目領域として検出されると、当該注目領域を白色として、それ以外の領域を黒色とするように２値ラベル化された画像のデータが生成される。
このようなデータ、即ち、白色の画素値「０」又は黒色の画素値「１」により構成されるデータを、以下、「αマップのデータ」と呼ぶ。また、αマップを構成する各画素値を、以下「α値」と適宜呼ぶ。
ダイナミックフォトでは、このαマップのデータに基づいて、原画像から被写体であると判断される領域が切り出されて（以下、このような領域を「切出領域」と呼ぶ）、切出領域が別の画像の上に合成される。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平１１−３３１６９３号公報
【特許文献２】特開２００５−６１９１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、このαマップのデータをそのまま用いると、切出領域のエッジにおいては、原画像の背景が混入したり、逆に被写体の一部が欠けてしまう場合がある。このような切出領域が別の画像の上に合成されると、被写体がいかにも切り貼りされたような不自然で現実味のない合成画像となってしまう。
【０００６】
そこで、このような不自然さを緩和することを目的とした従来の手法として、αマップのデータに平均化フィルタをかけるといった手法が存在する。ここで、平均化フィルタとは、ガウシアンフィルタやそれに近い単純なローパスフィルタをいう。
しかしながら、このような従来の手法を単に適用しただけでは、被写体のエッジがぼやけた合成画像となってしまう。このような合成画像も、結果として、不自然で現実味のない画像である。
【０００７】
また、αマップのデータをそのまま用いた場合に得られる合成画像の不自然さを緩和することを目的とした従来の別の手法として、「マッティング」と呼ばれる手法が存在する。
即ち、αマップのデータをそのまま用いた場合に得られる合成画像が不自然で現実味がなくなっている理由として、注目領域の検出時の検出誤差により境界や被写体（物体）の判定が間違っている画素があるという理由に加え、エッジに混合画素が含まれているという理由も存在する。ここで、混合画素とは、背景と被写体（物体）の両方の色が混じっている画素をいう。
マッティングとは、このようなエッジにおける混合画素の領域及びその画素値を、背景成分と物体成分（被写体成分）に分離するためのエッジ精細化の手法である。
しかしながら、マッティングを適用する場合には、次のような第１の問題点と第２の問題点が存在する。
第１の問題点とは、マッティングは、複雑な処理を伴うため、計算量、作業メモリ量、及び回路規模が大きくなることである。
第２の問題点とは、正確なトライマップ（ｔｒｉｍａｐ）を与えなければ、美しい画像が得られないことである。トライマップとは、補助的な三値データであって、画素位置（画素の座標）毎に、物体（被写体）、背景、未定の中間領域の３値のラベルを振ることによって得られるデータである。このような３値のラベリングは、人手の作業により行われることが一般的である。３値のラベリングの自動処理も不可能ではないが、この場合、正確なトライマップを与えるのは非常に困難になる。
【０００８】
従って、原画像とαマップの各データを用いて、原画像から被写体を切り出して別の画像の上に合成する合成処理を簡便な処理で実現し、当該合成処理の結果として、より自然で現実味のある合成画像を提供することが要望されている。
しかしながら、このような要望に充分に応えることが可能な手法は、見受けられない状況である。
【０００９】
本発明は、このような状況に鑑みてなされたものであり、原画像とαマップの各データを用いて、原画像から被写体を切り出して別の画像の上に合成する合成処理を簡便な処理で実現し、当該合成処理の結果として、より自然で現実味のある合成画像を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明の一態様によると、
原画像の各座標の画素値から構成されるデータを加工して、その結果得られる各座標の画素値から構成されるデータを、加工画像のデータとして生成する加工手段と、
前記加工手段によりデータとして生成された前記加工画像の各座標の各々を、処理の対象として注目すべき注目座標とし、前記注目座標を含む複数の座標の範囲をフィルタウィンドウとして、前記フィルタウィンドウのデータに対して加重平均フィルタを施すことで、前記注目座標の画素値を変換するフィルタ手段と、
を備え、
前記フィルタ手段は、
前記フィルタウィンドウ内の前記注目座標に対応する前記原画像の座標の第１画素値と、前記フィルタウィンドウ内の所定座標に対応する前記原画像の座標の第２画素値とを用いて、前記所定座標におけるフィルタ係数を演算する処理を、前記フィルタウィンドウ内の各座標毎に実行するフィルタ係数演算手段と、
前記フィルタ係数演算手段により演算された前記フィルタウィンドウ内の各座標毎の前記フィルタ係数を用いて、前記フィルタウィンドウのデータに対して加重平均フィルタを施す加重平均フィルタ手段と、
を備える画像処理装置を提供する。
【００１１】
本発明の他の態様によると、上述した本発明の一態様に係る画像処理装置に対応する方法及びプログラムを提供する。
【発明の効果】
【００１２】
本発明によれば、原画像とαマップの各データを用いて、原画像から被写体を切り出して別の画像の上に合成する合成処理を簡便な処理で実現し、当該合成処理の結果として、より自然で現実味のある合成画像を提供することができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の画像処理装置の一実施形態に係るデジタルカメラのハードウェアの構成を示すブロック図である。
【図２】図１のデジタルカメラのデータ処理部の機能的構成を示す機能ブロック図である。
【図３】図２のデータ処理部が実行する合成処理の流れの一例を示すフローチャートである。
【図４】図３の合成処理を実行する際に用いられる画像のデータの一例を示している。
【図５】図２のデータ処理部の適応的フィルタ部において採用されている加重平均フィルタの概略を説明する図である。
【図６】図２のデータ処理部の適応的フィルタ部において採用されている加重平均フィルタの演算手法を説明する図である。
【図７】図２のデータ処理部の適応的フィルタ部による適応的フィルタ処理、即ち図３のステップＳ４の処理を具体的に説明する図である。
【図８】初期αマップのデータをそのまま用いた場合における、合成処理の実行結果の一例を示す図である。
【図９】初期αマップのデータに対して従来の平均化フィルタをかけた結果得られるαマップのデータを用いた場合における、合成処理の実行結果の一例を示している。
【図１０】図２のデータ処理部の適応的フィルタ部７２が適応的フィルタ処理を実行した結果得られるフィルタ後αマップを用いた場合における、合成処理の実行結果の一例を示す図である。
【図１１】図２のデータ処理部の適応的フィルタ部７２が適応的フィルタ処理を実行した結果得られるフィルタ後αマップを用いた場合における、合成処理の実行結果の一例であって、図１０の例とは異なる例を示す図である。
【図１２】縮小サイズの初期αマップのデータに対して従来の平均化フィルタをかけた結果得られるαマップのデータを用いた場合における、合成処理の実行結果の一例を示す図である。
【図１３】縮小サイズの初期αマップのデータに対して、図２のデータ処理部の適応的フィルタ部７２が適応的フィルタ処理を実行した結果得られるフィルタ後αマップを用いた場合における、合成処理の実行結果の一例であって、図１０や図１１の例とは異なる例を示す図である。
【発明を実施するための形態】
【００１４】
以下、本発明の一実施形態を図面に基づいて説明する。
【００１５】
図１は、本発明の画像処理装置の一実施形態に係るデジタルカメラ１のハードウェアの構成を示す図である。
【００１６】
デジタルカメラ１は、撮像部１１と、データ処理部１２と、ユーザインタフェース部１３と、を備える。
【００１７】
撮像部１１は、光学レンズ部２１と、イメージセンサ２２と、を備える。
【００１８】
光学レンズ部２１は、規定された画角（以下、「正規の画角」と呼ぶ）に含まれる被写体を撮影するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。
フォーカスレンズは、イメージセンサ２２の受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
光学レンズ部２１にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。
【００１９】
イメージセンサ２２は、光電変換素子や、ＡＦＥ（Ａｎａｌｏｇ  Ｆｒｏｎｔ  Ｅｎｄ）等から構成される。
光電変換素子は、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型の光電変換素子等から構成される。
光電変換素子には、光学レンズ部２１からシャッタ部（図示せず）を介して被写体像が入射される。そこで、光電変換素子は、一定時間毎に被写体像を光電変換（撮影）して画像信号を蓄積し、蓄積した画像信号をアナログ信号としてＡＦＥに順次供給する。
ＡＦＥは、このアナログの画像信号に対して、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換処理等の各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、イメージセンサ２２の出力信号として出力される。
なお、以下、画像信号のディジタル信号を、「画像のデータ」と呼ぶ。
【００２０】
データ処理部１２は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）３１と、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）３２と、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）３３と、メモリ３４と、出力制御部３５と、画像処理部３６と、を備えている。
【００２１】
ＣＰＵ３１は、ＲＯＭ３２に記録されているプログラムに従って各種の処理を実行する。ＲＡＭ３３には、ＣＰＵ３１が各種の処理を実行する上において必要なデータ等が適宜記憶される。
【００２２】
本実施の形態では、後述する図２の画像取得部６１及び合成処理部６３の各機能を実現するプログラムが、ＲＯＭ３２に記憶されている。従って、ＣＰＵ３１が、このプログラムに従った処理を実行することで、画像取得部６１及び合成処理部６３の各機能を実現することができる。
【００２３】
メモリ３４は、ＤＲＡＭ（Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）等で構成され、イメージセンサ２２から出力された画像のデータを一時記憶する。本実施の形態では、メモリ３４の一領域として、後述する図２の画像記憶部６２が構成され、後述する各種画像のデータが画像記憶部６２に記憶される。
また、メモリ３４は、各種画像処理に必要な各種データ、例えば、画像のデータ、各種フラグの値、閾値等のデータも記憶する。
また、メモリ３４には、画像表示用のデータ（以下、「表示画像データ」と呼ぶ）の保存と読み出しを行うための表示メモリ領域も含まれている。
【００２４】
出力制御部３５は、メモリ３４の表示メモリ領域に格納された表示画像データを読み出し、その表示画像データにより表現される画像（以下、「表示画像」と呼ぶ）を、ユーザインタフェース部１３の表示部４１に表示させる。
【００２５】
画像処理部３６は、ＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）等で構成され、メモリ３４に記憶された画像データに対して、ホワイトバランス補正処理やγ補正処理等の各種画像処理を実行する。
本実施形態では、後述する図２の画像取得部６１及び合成処理部６３が実行する各種画像処理のうち少なくとも一部が、画像処理部３６において実行され、残りの一部がＣＰＵ３１において実行される。即ち、本実施形態では、後述する図２の画像取得部６１及び合成処理部６３は、ＣＰＵ３１及び画像処理部３６というハードウェアと、ＲＯＭ３２に記憶されたプログラム（ソフトウェア）との組み合わせとして構成されている。
【００２６】
ユーザインタフェース部１３は、液晶ディスプレイ等で構成される表示部４１と、ユーザの指示操作を受け付ける操作部４２と、外部機器との間での通信を制御する通信部４３と、リムーバブル記録媒体５１に対するデータの読み書きを行うドライブ４４と、を備えている。
【００２７】
このような構成を有するデジタルカメラ１は、上述のダイナミックフォトの機能を有している。
従って、デジタルカメラ１は、原画像から切り出された被写体を前景物体として含む画像（以下、「合成用前景画像」と呼ぶ）のデータと、当該前景物体が貼り付けられる背景となる画像（以下、「合成用背景画像」と呼ぶ）のデータとを合成することによって、合成画像のデータを生成することができる。
なお、このようなデジタルカメラ１の一連の処理を、以下、「合成処理」と呼ぶ。
【００２８】
図２は、このような合成処理を実行するためのデータ処理部１２の機能的構成を示す機能ブロック図である。
【００２９】
データ処理部１２は、画像取得部６１と、画像記憶部６２と、合成処理部６３と、を備えている。
【００３０】
画像取得部６１は、合成用前景画像の元になる原画像のデータ、又は、合成用背景画像のデータを取得し、画像記憶部６２に記憶させる。
【００３１】
画像記憶部６２は、原画像記憶部９１と、αマップ記憶部９２と、合成用前景画像記憶部９３と、合成用背景画像記憶部９４と、合成画像記憶部９５と、を備えている。
なお、画像記憶部６２の各構成要素の記憶内容の具体例については、後述する図３のフローチャートを参照した合成処理の流れの説明の際に適宜説明する。
【００３２】
合成処理部６３は、合成処理の主要な処理、即ち、原画像のデータから合成用前景画像のデータを生成し、合成用前景画像と合成用背景画像との両データを合成することによって合成画像のデータを生成するまでの一連の処理を実行する。
合成処理部６３は、このような一連の処理を実行すべく、初期αマップ生成部７１と、適応的フィルタ部７２と、合成用前景画像生成部７３と、合成画像生成部７４と、を備えている。
適応的フィルタ部７２は、フィルタ係数演算部８１と、フィルタ係数記憶部８２と、加重平均フィルタ化部８３と、を備えている。
なお、合成処理部６３の各要素の機能等については、後述する図３のフローチャートを参照した合成処理の流れの説明の際に適宜説明する。
【００３３】
次に、図３のフローチャートを参照して、このような機能的構成を有する図２のデータ処理部１２が実行する合成処理について説明する。
図３は、合成処理の流れの一例を示すフローチャートである。
【００３４】
ステップＳ１において、画像取得部６１は、合成用背景画像のデータを取得し、合成用背景画像記憶部９４に記憶させる。
例えば、後述する図４（Ｃ）の合成用背景画像１０２等のデータが取得されて、合成用背景画像記憶部９４に記憶される。
【００３５】
ステップＳ２において、画像取得部６１は、合成用前景画像の元になる原画像のデータを取得し、原画像記憶部９１に記憶させる。
例えば、後述する図４（Ａ）の原画像１００等のデータが取得されて、原画像記憶部９１に記憶される。
【００３６】
なお、このようなステップＳ２の処理で取得される原画像のデータ、及び、上述したステップＳ１の処理で取得される合成用背景画像のデータの種類は、特に限定されない。
例えば、図１において、撮像部１１からの撮像画像のデータ、図示せぬ外部の装置から送信されて通信部４３に受信された画像のデータ、及び、ドライブ４４によってリムーバブル記録媒体５１から読み出された画像のデータは何れも、原画像のデータ、又は、合成用背景画像のデータとして画像取得部６１によって取得され得る。
【００３７】
ステップＳ３において、初期αマップ生成部７１は、原画像のデータに基づいて、αマップのデータを生成し、αマップ記憶部９２に記憶させる。
ここで、後述する適応的フィルタ部７２による適応的フィルタ処理が施されたαマップのデータと区別すべく、適応的フィルタ処理が施される前のαマップのデータを、図３の記載にあわせて、「初期αマップのデータ」と呼ぶ。
例えば、後述する図４（Ｄ）の初期αマップ１０３等のデータが生成されて、αマップ記憶部９２に記憶される。
具体的には例えば、初期αマップのデータを生成するための二値化の最も単純な手法として、背景画像のデータを用いる手法が存在する。
背景画像とは、原画像（後述する図４（Ａ）の原画像１０１等）のうち、合成画像の前景物体となる被写体（後述する図４の例ではカブトムシ）を除外した画像であって、例えば後述する図４（Ｂ）の画像１０１等をいう。
ここで、背景画像と、合成画像用背景画像とは異なる点に注意が必要である。また、後述するように、背景画像のデータは、合成処理にとって必須なデータではない点に注意が必要である。
この場合、初期αマップ生成部７１は、原画像記憶部９１に記憶された原画像のデータと、背景画像のデータの差分を二値化することによって、初期αマップを生成することができる。
なお、初期αマップを生成するための二値化の手法は、特にこれに限定されず、原画像の各座標の画素値を二値化する手法であれば足り、その他の手法として、例えば次のような手法を採用してもよい。
即ち、初期αマップ生成部７１は、原画像のデータを原画像記憶部９１から読み出して、当該原画像から、被写体を含む領域を注目領域として検出する。ここで、原画像に含まれる被写体は、例えば後述する図４（Ｄ）の初期αマップ１０３ではカブトムシであり、後述する合成画像の前景物体になる。
そして、初期αマップ生成部７１は、当該注目領域を白色として、それ以外の領域を黒色とした２値化画像のデータ、即ち、白色の画素値「０」又は黒色の画素値「１」により構成されるデータを、初期αマップのデータとして生成してαマップ記憶部９２に記憶させる。
なお、注目領域の検出手法は、特に限定されず、公知又は今後開発される任意の手法を採用することができる。
【００３８】
ステップＳ４において、適応的フィルタ部７２は、初期αマップのデータをαマップ記憶部９２から読み出し、当該初期αマップのデータに対して適応的フィルタ処理を施す。
適応的フィルタ処理とは、加重平均フィルタをかける処理であって、当該加重平均フィルタに用いられる係数（以下、「フィルタ係数」と呼ぶ）が、原画像の特性に応じて適応的に変化する処理をいう。
また、初期αマップのデータに対して適応的フィルタ処理が施された後のデータを、以下、「フィルタ後αマップのデータ」と呼ぶ。
なお、フィルタ後αマップのデータは、「０」と「１」の画素値（α値）のみならず、０乃至１の間の中間値の画素値（α値）も有する。即ち、フィルタ後αマップにおいては、画素値（α値）が「１」の画素は、完全に被写体（合成画像の前景物体）となる領域に含まれていることを意味する。また、画素値（α値）が「０」の画素は、完全に背景領域に含まれていることを意味する。一方、エッジ領域に含まれる各画素の画素値（α値）は、被写体（合成画像の前景物体）の成分が占める量が多くなるほど「１」に近づいていくような、０乃至１の間の多値となっている。
【００３９】
ここで、適応的フィルタ部７２は、初期αマップを構成する各画素の各々を、処理の対象として注目すべき画素（以下、「注目画素」と呼ぶ）に順次設定し、注目画素毎に適応的フィルタ処理を順次実行する。
【００４０】
具体的には、フィルタ係数演算部８１は、初期αマップの注目画素に対して適用するフィルタ係数（以下、「注目画素用フィルタ係数」と呼ぶ）を演算する。
この場合、フィルタ係数演算部８１は、原画像記憶部９１に記憶された原画像のデータ（各画素値）のうち、注目画素と同一座標の画素（以下、「対応画素」と呼ぶ）のデータ（対応画素の画素値）を用いて、フィルタ係数を演算する。
ここで、このようにして演算された注目画素用フィルタ係数は、注目画素として設定された画素に対してのみ適用されるフィルタ係数である。換言すると、注目画素は順次変更されるので、初期αマップを構成する画素毎に、原画像の対応画素の特性に基づいて適応的に変化したフィルタ係数が順次演算される。
【００４１】
フィルタ係数記憶部８２は、フィルタ係数演算部８１により演算された注目画素用フィルタ係数を記憶する。換言すると、注目画素は順次変更されるので、初期αマップを構成する画素毎のフィルタ係数の各々がフィルタ係数記憶部８２に記憶される。
【００４２】
加重平均フィルタ化部８３は、フィルタ係数記憶部８２に記憶された注目画素用フィルタ係数を用いて、初期αマップの注目画素を含む複数の画素からなるブロック（以下、「フィルタウィンドウ」と呼ぶ）のデータに対して、加重平均フィルタをかける。これにより、注目画素の画素値（α値）は更新される。
即ち、初期αマップを構成する各画素の各々が注目画素に順次設定されて、加重平均フィルタ化部８３による処理が繰り返されることで、初期αマップの各画素値（α値）の各々が更新される。その結果、更新後の各画素値（α値）の集合体が、フィルタ後αマップのデータとして得られることになる。
換言すると、注目画素は順次変更されるので、初期αマップを構成する画素毎に、原画像の対応画素の特性に基づいて適応的に変化したフィルタ係数が用いられて、加重平均フィルタがかけられることになる。
なお、適応的フィルタ部７２のさらなる詳細については、図４以降の図面を参照して後述する。
【００４３】
このようにしてステップＳ４の処理により生成されたフィルタ後αマップのデータは、αマップ記憶部９２に記憶される。すると、合成用前景画像生成部７３は、当該フィルタ後αマップのデータをαマップ記憶部９２から読み出すと共に、原画像のデータを原画像記憶部９１から読み出す。これにより、処理はステップＳ５に進む。
【００４４】
ステップＳ５において、合成用前景画像生成部７３は、原画像やフィルタ後αマップ等の各データを用いて、合成用前景画像のデータを生成し、合成用前景画像記憶部９３に記憶させる。
なお、合成用前景画像のデータの生成手法については、図４以降の図面を参照して後述する。
【００４５】
このようにステップＳ５の処理により合成用前景画像のデータが生成されて、合成用前景画像記憶部９３に記憶されると、合成画像生成部７４は、当該合成用前景画像のデータを合成用前景画像記憶部９３から読み出すと共に、合成用背景画像のデータを合成用背景画像記憶部９４から読み出す。これにより、処理はステップＳ６に進む。
【００４６】
ステップＳ６において、合成画像生成部７４は、合成用背景画像のデータと、合成用前景画像のデータとをフィルタ後αマップに応じて合成することによって、合成画像のデータを生成して合成画像記憶部９５に記憶させる。
【００４７】
これにより、合成処理は終了となる。
その後の合成画像の再生時には、合成画像記憶部９５に記憶された合成画像のデータが、図１のメモリ３４の表示メモリ領域に表示画像データとして格納される。すると、出力制御部３５は、当該表示画像データを読み出し、その表示画像データにより表現される画像、即ち、合成画像を表示部４１に表示させる。
【００４８】
さらに以下、図４乃至図８を参照して、適応的フィルタ部７２による適応的フィルタ処理（図３のステップＳ４の処理）の詳細について説明する。
【００４９】
図４は、合成処理を実行する際に用いられる画像のデータの一例を示している。
【００５０】
図４（Ａ）は、原画像１００のデータの一例を示している。
図４（Ｂ）は、原画像１００に対して、合成画像の前景物体となる被写体（図３の例ではカブトムシ）を除外した画像１０１、即ち、原画像１００の背景画像１０１のデータの一例を示している。
図４（Ｃ）は、合成用背景画像１０２のデータの一例を示している。
図４（Ｄ）は、初期αマップ１０３のデータの一例を示している。
図４（Ｄ）に示すように、合成画像の前景物体になる被写体（図３の例ではカブトムシ）を含む領域（注目領域）が白色とされ、それ以外の領域が黒色とされた２値化画像のデータが、初期αマップ１０３のデータである。
【００５１】
図５は、適応的フィルタ部７２において採用されている加重平均フィルタの概略を説明する図である。
【００５２】
図５の左方に示す画像１０４のデータが、加重平均フィルタがかけられる前のデータであり、図５の右方に示す画像１０５のデータが、加重平均フィルタがかけられた後のデータである。
そこで、加重平均フィルタがかけられる前の画像１０４を、以下「フィルタ前画像１０４」と呼ぶ。図２の適応的フィルタ部７２にとっては、図４（Ｄ）の初期αマップ１０３等がフィルタ前画像１０４となる。
一方、加重平均フィルタがかけられた後の画像１０５を、以下、「フィルタ後画像１０５」と呼ぶ。図２の適応的フィルタ部７２にとっては、フィルタ後αマップがフィルタ後画像１０５となる。
【００５３】
ここで、水平方向にＮ画素（Ｎは任意の整数値）が配置され、垂直方向にＭ画素（ＭはＮとは独立した任意の整数値）が配置されて構成される画像を、以下、「Ｎ×Ｍの画像」と表現する。また、図５の例では、１つの正方形が１つの画素を示しており、その正方形内の値は画素値（初期αマップならばα値）を示している。
この場合、図５の例では、フィルタ前画像１０４及びフィルタ後画像１０５は、同一解像度の６×６の画像が採用されている。なお、当然ながら、加重平均フィルタがかけられる対象の画像の総画素数は、図５の例に限定されず、任意の数でよい。
【００５４】
図５の例では、３×３の加重平均フィルタが用いられており、画素値Ｐ５を有する画素１１１が注目画素に設定されている。
この場合、図５に示すように、注目画素１１１を含む３×３のブロック１１２がフィルタウィンドウとして設定される。
このようなフィルタウィンドウ１１２のデータに対して加重平均フィルタが施されることによって、注目画素１１１においては、画素値Ｐ５が画素値ＰＮに変換される。
【００５５】
図６は、適応的フィルタ部７２において採用されている加重平均フィルタの演算手法を説明する図である。
【００５６】
図６において、画素値（初期αマップならばα値）が記載された１つの正方形が、１つの画素を示している。このような画素の集合体として、図５のフィルタ前画像１０４のうち、注目画素１１１を含むフィルタウィンドウ１１２のみが図示されている。
また、三角は、入力値に所定の重み値を乗算する重み付け部を示しており、三角内に示される重み値がフィルタ係数である。
このように、加重平均フィルタでは、フィルタウィンドウ１１２の画素値Ｐ１乃至Ｐ９の各々に対して、重み値としてのフィルタ係数Ｋ１乃至Ｋ９の各々が設定されている。
また、Σが記載されたブロックが、総加算部を示している。
【００５７】
図６の例では、フィルタウィンドウ１１２の画素値Ｐ１乃至Ｐ９の各々に対して、フィルタ係数Ｋ１乃至Ｋ９の各々が乗算され、それらの乗算値が総加算された値が、注目画素１１１の更新後の画素値ＰＮになる。
即ち、図５の例では、次の式（１）が演算されることが、注目画素１１１を含むフィルタウィンドウ１１２に対して加重平均フィルタがかけられたことと等価になる。
【数１】
2012014658.tif 000003
【００５８】
より一般的に表現すると、次の式（２）が演算されることが、注目画素を含むフィルタウィンドウに対して加重平均フィルタがかけられたことと等価になる。
【数２】
2012014658.tif 000004
式（２）において、注目画素の座標、即ち、フィルタウィンドウの中央の座標がｐとされており、ｐの近傍領域Ω（Ωはここではフィルタウィンドウ内の領域）の座標がｑとされている。具体的には、座標ｑは、注目画素の座標ｐも含めて、フィルタウィンドウ内の各画素のうちの何れかの座標となる。Ａｑは、フィルタウィンドウのうち、座標ｑにおける画素値（初期αマップならばα値）を示している。例えば、Ａｐは、加重平均フィルタがかけられる前の注目画素の画素値を示すことになる。一方、右辺のＡｐ’は、加重平均フィルタがかけられた後の注目画素の画素値（フィルタ後αマップならばα値）を示している。また、Ｋｑは、座標ｑの画素に対するフィルタ係数を示している。
【００５９】
従来においては、フィルタ係数Ｋｑとしては、固定値が採用されていた。
これに対して、本実施形態の図２に示す適応的フィルタ部７２の加重平均フィルタ化部８３が用いるフィルタ係数Ｋｑは、初期αマップの各画素毎に、原画像内の対応画素の特性に基づいて適応的に変化する。換言すると、適応的フィルタ部７２のフィルタ係数演算部８１が、そのように適応的に変化するように、フィルタ係数Ｋｑを初期αマップの各画素毎に演算する。
【００６０】
図７は、このような適応的フィルタ部７２による適応的フィルタ処理（図３のステップＳ４の処理）を具体的に説明する図である。
【００６１】
図７において、画素値が記載された１つの正方形が、１つの画素を示している。このような画素の集合体として、原画像内のブロック１２２が、フィルタ係数演算部８１内に示されている。このブロック１２２は、初期αマップの注目画素１１１と同一座標の原画像内の画素１２１、即ち対応画素１２１を中心に含む３×３のブロックである。即ち、ブロック１２２は、フィルタウィンドウ１１２の配置位置に対応する原画像内の位置に存在している。そこで、このようなブロック１２２を、以下、「原画像対応ブロック１２２」と呼ぶ。
また、ｆが記載されたブロックが、所定の関数ｆを用いた演算を行う演算部であり、フィルタ係数演算部８１内に示されている。
フィルタ係数演算部８１は、原画像対応ブロック１２２の各画素値Ｉ１乃至Ｉ９の各々を入力値として用いて、それぞれ関数ｆを用いた所定の演算を行うことで、フィルタ係数Ｋ１乃至Ｋ９の各々を演算する。
このように、本実施形態では、初期αマップの注目画素１１１と同一座標の原画像内の画素１２１、即ち対応画素１２１を中心に含む原画像対応ブロック１２２が用いられて、フィルタ係数Ｋ１乃至Ｋ９の各々が演算される。
ここで、図５のフィルタ前画像１０４、即ち図４の初期αマップ１０３等を構成する各画素の各々が注目画素１１１に順次設定されるため、その対応画素１２１を中心に含む原画像対応ブロック１２２も順次変更されていく。即ち、フィルタ係数Ｋ１乃至Ｋ９の各々を求めるための原画像の画素値Ｉ１乃至Ｉ９の各々も、図５の初期αマップ１０３等を構成する各画素毎に異なってくる。
従って、フィルタ係数Ｋ１乃至Ｋ９の各々は、図５の初期αマップ１０３等を構成する各画素毎に適応的に変化する。
【００６２】
ここで、フィルタ係数Ｋ１乃至Ｋ９のように、加重平均フィルタに用いられるフィルタ係数の集合体を、以下、「フィルタ係数セット」と呼ぶ。即ち、図７の例では、フィルタ係数Ｋ１乃至Ｋ９からなるフィルタ係数セット１３１が、初期αマップ１０３等を構成する各画素毎に別々に、フィルタ係数演算部８１により生成されて、フィルタ係数記憶部８２にそれぞれ記憶される。
即ち、フィルタ係数記憶部８２には、１つのフィルタ係数セット１３１が記憶されているように図７には図示されているが、実際には、図４の初期αマップ１０３等を構成する各画素毎に別々のフィルタ係数セット１３１がそれぞれ記憶されている。
【００６３】
加重平均フィルタ化部８３内には、図６と同様の図が図示されている。即ち、加重平均フィルタ化部８３は、図５を用いて説明した処理と同様の処理を実行することで、注目画素１１１を含むフィルタウィンドウ１１２に対して加重平均フィルタを施す。これにより、注目画素１１１の画素値（α値）は（全画素位置のフィルタ処理終了後に）値Ｐ５から値ＰＮに変更される。
ただし、フィルタ係数Ｋ１乃至Ｋ９は、従来のように固定のものが利用されるのではなく、図４の初期αマップ１０３等を構成する各画素毎に適応的に変化するフィルタ係数セット１３１が利用される。このため、注目画素１１１の変更後の画素値（α値）である値ＰＮは、従来のように固定のフィルタ係数Ｋ１乃至Ｋ９が用いられた場合と比較して、より適切な値になる。
【００６４】
なお、図７は、本実施形態の理解を容易なものとすべく、図５や図６の例にあわせただけの例示にすぎず、フィルタウィンドウのサイズ（画素の総数）等は、特に図７の例に限定されず、任意でよい。
この場合、加重平均フィルタ化部８３は、上述の式（２）に従って、座標ｐにおける注目画素の変更後の画素値（α値）として、値Ａｐ’を演算する。
ただし、フィルタ係数Ｋｑは、従来のように固定ではなく、図４の初期αマップ１０３等を構成する各画素毎に適応的に変化する。このため、座標ｐにおける注目画素の変更後の画素値（α値）として演算された値Ａｐ’は、従来のように固定のフィルタ係数Ｋｑが用いられた場合と比較して、より適切な値になる。
【００６５】
ここで、座標ｑにおけるフィルタ係数Ｋｑの演算手法は、原画像の座標ｐ（初期αマップの注目画素の座標ｐと同一座標）の画素値Ｉｐと、原画像の座標ｐ（初期αマップの注目画素の座標ｐと同一座標）の画素値Ｉｑとを用いる手法であれば、特に限定されない。
ただし、原画像のエッジを考慮して、エッジをまたぐ画素同士があまり平均化されないように考慮した演算を行うことが可能な演算手法を採用すると好適である。
ここで、エッジをまたぐ画素同士とは、原画像内の第１の領域（例えば前景物体となり得る物体の領域）と第２の領域（例えば背景画像に対応する領域）との間のエッジが存在する場合において、第１の領域内の座標ｐに位置する画素（初期αマップの注目画素の対応画素）と、第２の領域内の座標ｑに位置する画素とをいう。
従って、エッジをまたぐ画素同士があまり平均化されないように考慮した演算とは、原画像の第２の領域内の座標ｑの画素値Ｉｑの影響を弱めるように、当該座標ｑにおけるフィルタ係数Ｋｑの値を小さくするように演算することをいう。
このような手法を適用することで、原画像のエッジを考慮して、エッジをまたぐ画素同士があまり平均化されないように、初期αマップのデータに対して加重平均フィルタを施すことができるからである。即ち、これにより、シャープなエッジを保ちながらも、アンチエイリアス効果が得られ、初期αマップと比較して原画像のエッジに対して整合的に訂正されたフィルタ後αマップが得られるからである。そして、このようなフィルタ後αマップを用いることで、結果として、原画像の背景の混入が目立たない上、シャープな合成画像のデータを得ることが可能になるからである。
【００６６】
本実施形態では、原画像のエッジを考慮して、エッジをまたぐ画素同士があまり平均化されないように考慮した演算を行うフィルタ係数Ｋｑの演算手法として、次のような演算手法が採用されている。
即ち、原画像における座標ｐの画素値Ｉｐと座標ｑの画素値Ｉｑとの差分を求め、当該差分が小さいほど、座標ｑにおけるフィルタ係数Ｋｑを大きな値にする、といった演算手法が採用されている。
なお、原画像における座標ｐとは、フィルタウィンドウの中央の座標ｐ、即ち、図４の初期αマップ１０３等における注目画素の座標ｐと同一座標を意味している。
当該演算手法を、上述の例を用いて具体的に説明する。即ち、原画像内の第１の領域（例えば前景物体となり得る物体の領域）と第２の領域（例えば背景画像に対応する領域）との間のエッジが存在し、初期αマップの注目画素の原画像内の対応画素の座標ｐが、第１の領域内に存在する場合を例に用いて、当該演算手法を説明する。
この場合、フィルタ係数Ｋｑの演算対象となる画素の座標ｑが第１の領域内に存在するときは、原画像における座標ｐの画素値Ｉｐと座標ｑの画素値Ｉｑとは、何れも第１の領域内の画素値であるため、近い値であることが多い。従って、このようなときには、原画像における座標ｐの画素値Ｉｐと座標ｑの画素値Ｉｑとの差分は小さくなる。そして、このようなときには、原画像における座標ｐの画素値Ｉｐの影響を高めるべく、座標ｑにおけるフィルタ係数Ｋｑは、大きな値になるように演算される。
これに対して、フィルタ係数Ｋｑの演算対象となる画素の座標ｑが第２の領域内に存在するときは、原画像における座標ｐの画素値Ｉｐは第１の領域の画素値であるのに対して、原画像における座標ｑの画素値Ｉｑは第２の領域内の画素値となるため、離れた値であることが多い。従って、このようなときには、原画像における座標ｐの画素値Ｉｐと座標ｑの画素値Ｉｑとの差分は大きくなる。そして、このようなときには、原画像における座標ｐの画素値Ｉｐの影響を低めるべく、座標ｑにおけるフィルタ係数Ｋｑは、小さな値になるように演算される。
なお、フィルタ係数Ｋｑの演算対象となる画素の座標ｑが第２の領域内に存在するときであっても、原画像における座標ｐの画素値Ｉｐと座標ｑの画素値Ｉｑとの差分が小さくなるときがある。このようなときとは、確かにエッジをまたぐ画素同士であるが、同じような輝度値や色身を持った画素同士であることを意味している。従って、このようなときには、座標ｑにおけるフィルタ係数Ｋｑが大きな値になったとしても、何ら問題とならない。
【００６７】
具体的には例えば、次のような、フィルタ係数Ｋｑの第１の演算手法又は第２の演算手法が、図２のフィルタ係数演算部８１に適用されている。
【００６８】
フィルタ係数Ｋｑの第１の演算手法とは、次のような一連の処理が実行可能な手法をいう。
即ち、フィルタ係数演算部８１は、原画像における座標ｐの画素値Ｉｐと座標ｑの画素値Ｉｑとの差分として、Ｙ，Ｃｂ，Ｃｒ成分のベクトル差を算出する。
フィルタ係数演算部８１は、これらのベクトル差のノルムやノルム二乗をとる演算（以下、「ノルム演算」と呼ぶ）を実行する。この場合、フィルタ係数演算部８１は、ベクトルの成分に重みをつけてから、ノルム演算を実行してもよい。
次に、フィルタ係数演算部８１は、ノルム演算の実行結果と所定の閾値とを比較して、大きければ「０」となり小さければ「１」となる仮重み値を、フィルタ係数Ｋｑとして与える。
フィルタ係数演算部８１は、このような一連の処理を、フィルタウィンドウに対応する原画像対応ブロック内の各画素毎に実行する。
フィルタ係数演算部８１は、原画像対応ブロック全体の処理が終了した段階で、重み値の総和が１になるように、座標ｑにおけるフィルタ係数Ｋｑとして、仮重み値に対して、原画像対応ブロック内の仮重み値の総和で除算した値を与える。
或いはまた、ここで、フィルタ係数演算部８１は、「０」になる仮重み値については、その分を、座標ｐの中央画素（注目画素の対応画素）の仮重み値に加えることで、重み値の総和が一定となるようにして、最後の適応的な除算を省略してもよい。
なお、このような演算は、ε−フィルタと同様の考え方である。ε−フィルタについては、公知の技術であるので、ここではその説明は省略する。
【００６９】
このようなフィルタ係数Ｋｑの第１の演算手法に対して、フィルタ係数Ｋｑの第２の演算手法とは、次のような一連の処理が実行可能な手法をいう。
即ち、ジョイント（クロス）バイラテラルフィルタの枠組を用いると、上述した式（２）は次の式（３）のように変更することが可能である。
【数３】
2012014658.tif 000005
式（３）において、ｇｄは、空間座標に関するガウス関数を示し、ｇｒは、色成分に関するガウス関数を示し、それぞれのガウス関数は、ガウス関数パラメータ（正規分布の分散）を持っており、所定の値に設定されている。
ここで、ガウス関数とは、式（４）に示すように、スカラー倍定数を無視した形をいっており、σを分散パラメータといっている。
【数４】
2012014658.tif 000006
また、ｋｐは、次の式（５）のように示される。
【数５】
2012014658.tif 000007
従って、座標ｑにおけるフィルタ係数Ｋｑは、次の式（６）のように示される。即ち、フィルタ係数演算部８１は、式（６）に従って、座標ｑにおけるフィルタ係数Ｋｑを演算する。
【数６】
2012014658.tif 000008
この場合、座標ｑにおけるフィルタ係数Ｋｑは、座標ｑと中心画素（注目画素の対応画素）の座標ｐとの間の空間距離によっても変化し、当該空間距離が近いものほど大きくなるが、それは通常のガウシアンフィルタと同様のものである。
この場合、加重平均フィルタ化部８３は、上述の式（２）の代わりに式（３）に従って、座標ｐにおける注目画素の変更後の画素値（α値）として、値Ａｐ’を演算することができる。
【００７０】
以上、適応的フィルタ部７２による適応的フィルタ処理の詳細について説明した。
このような適応的フィルタ部７２による適応的フィルタ処理は、上述したように、図３のステップＳ４の処理として実行される。ステップＳ４の処理が実行されると、フィルタ後αマップのデータが生成されて、αマップ記憶部９２に記憶される。
【００７１】
この場合、合成用前景画像生成部７３は、ステップＳ５の処理として、例えば次のような処理を実行することで、合成用前景画像のデータを生成することができる。
即ち、フィルタ後αマップのデータを「Ａ」と記述し、原画像（図４（Ａ）の例では原画像１００）のデータを「Ｉ」と記述し、背景画像（図４（Ｂ）の例では背景画像１０１）のデータを「Ｂ」と記述し、合成用前景画像のデータを「Ｆ」と記述すると、次の式（７）が成立する。
【数７】
2012014658.tif 000009
図４（Ｂ）の背景画像１０１等のように、背景画像のデータＢが別途撮像されて既知であるか又は推定されているとすれば、合成用前景画像のデータＦは、フィルタ後αマップのデータＡが０より大きい領域では、次の式（８）のように推定することが可能である。
【数８】
2012014658.tif 000010
即ち、合成用前景画像生成部７３は、式（８）に従って、合成用前景画像のデータＦを生成することができる。
なお、式（７）及び式（８）において、乗算×、加算＋、減算−、除算／は、各画素毎の演算を指し、１は全画素の画素値が１であることを意味する。また、背景画像のデータＢが得られていなかったり、その適当な推定手法が存在しないときには、式（８）におけるＢの項を単純にＩに置換しても、ある程度の効果は得られる。
【００７２】
この場合、合成画像生成部７４は、図３のステップＳ６の処理として、例えば次の式（９）に従った演算処理を実行することで、合成画像のデータを生成することができる。
【数９】
2012014658.tif 000011
式（９）において、Ｎは、合成用背景画像（図３（Ｃ）の例では合成用背景画像１０２）のデータを示し、Ｚは、合成画像のデータを示している。なお、式（９）においても、乗算×、加算＋、減算−、除算／は、各画素毎の演算を指し、１は全画素の画素値が１であることを意味する。
【００７３】
以上説明したように、本実施形態に係るデジタルカメラ１は、適応的フィルタ部７２を備えている。
適応的フィルタ部７２は、初期αマップを構成する各画素の各々を注目画素に設定する。ここで、注目画素の座標ｐを、以下、「注目座標ｐ」と呼ぶ。この場合、適応的フィルタ部７２は、注目座標ｐを含む複数の座標の範囲をフィルタウィンドウとして、フィルタウィンドウのデータに対して加重平均フィルタを施すことで、注目座標ｐの画素値を変換する。
具体的には、適応的フィルタ部７２は、フィルタ係数演算部８１と、加重平均フィルタ化部８３と、を備える。
フィルタ係数演算部８１は、フィルタウィンドウ内の注目座標ｐに対応する原画像の座標の画素値Ｉｐ（対応画素の画素値Ｉｐ）と、フィルタウィンドウ内の座標ｑに対応する原画像の座標の画素値Ｉｑとを用いて、座標ｑにおけるフィルタ係数Ｋｑを、フィルタウィンドウ内の各座標毎に演算する。即ち、フィルタウィンドウ内の各座標毎のフィルタ係数からなるフィルタ係数セットが生成される。
加重平均フィルタ化部８３は、フィルタ係数セットを用いて、フィルタウィンドウ内の各画素値に対して加重平均フィルタを施す。
【００７４】
このように、適応的フィルタ部７２は、原画像のエッジを考慮して、平滑化効果がエッジをあまりまたがないように、初期αマップのデータに対して加重平均フィルタを施すことができる。
これにより、シャープなエッジを保ちながらも、アンチエイリアス効果が得られ、初期αマップと比較して原画像のエッジに対して整合的に訂正されたフィルタ後αマップが得られる。このようなフィルタ後αマップを用いることで、結果として、エッジをぼけさせることなく、ジャギーや混合画素の影響を緩和し、原画像の背景の混入が少ない美しい合成画像を提供することが可能になる。
さらに、このような適応的フィルタ部７２による適応的フィルタ処理は、マッティングによる処理と比較して、単純な処理であり、トライマップも不要な処理である。
即ち、原画像とαマップの各データを用いて、原画像から被写体を切り出して別の画像の上に合成する合成処理を簡便な処理で実現し、当該合成処理の結果として、より自然で現実味のある合成画像を生成することが可能になる。
このような効果は、図８乃至図１０を比較することで明確にわかる。
【００７５】
図８は、初期αマップのデータをそのまま用いた場合における、合成処理の実行結果の一例を示している。
図８（Ａ）は、図４（Ａ）の原画像１００のデータから生成された初期αマップ（図４（Ｄ）の初期αマップ１０３と同一）のデータの一例を示している。
図８（Ｂ）は、図８（Ａ）の初期αマップのデータを用いて生成された合成用前景画像のデータの一例を示している。
図８（Ｃ）は、図８（Ｂ）の合成用前景画像のデータと、図４（Ｃ）の合成用背景画像１０２のデータとを合成した結果得られる合成画像のデータの一例を示している。
【００７６】
図９は、初期αマップのデータに対して従来の平均化フィルタをかけた結果得られるαマップのデータを用いた場合における、合成処理の実行結果の一例を示している。
図９（Ａ）は、図８（Ａ）の初期αマップのデータに対して従来の平均化フィルタをかけた結果得られるαマップの一例を示している。
図９（Ｂ）は、図９（Ａ）のαマップのデータを用いて生成された合成用前景画像のデータの一例を示している。
図９（Ｃ）は、図９（Ｂ）の合成用前景画像のデータと、図４（Ｃ）の合成用背景画像１０２のデータとを合成した結果得られる合成画像のデータの一例を示している。
【００７７】
図１０は、適応的フィルタ部７２が上述の式（３）に従った適応的フィルタ処理を実行した結果得られるフィルタ後αマップを用いた場合における、合成処理の実行結果の一例を示している。
図１０（Ａ）は、図８（Ａ）の初期αマップのデータに対して、上述の式（３）に従った適応的フィルタ処理が施された結果得られるフィルタ後αマップの一例を示している。
図１０（Ｂ）は、図１０（Ａ）のフィルタ後αマップのデータを用いて生成された合成用前景画像のデータの一例を示している。
図１０（Ｃ）は、図１０（Ｂ）の合成用前景画像のデータと、図４（Ｃ）の合成用背景画像１０２のデータとを合成した結果得られる合成画像のデータの一例を示している。
【００７８】
なお、本発明は前記実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
【００７９】
例えば、上述した実施形態では、適応的フィルタ部７２は、上述した式（３）に従って適応的フィルタ処理を実行していた。しかしながら、原画像の座標ｐ（初期αマップの注目画素の座標ｐ）の画素値Ｉｐと、原画像の座標ｑの画素値Ｉｑとを用いて、座標ｑにおけるフィルタ係数Ｋｑを適応的に変化させることが可能であれば、式（３）に特に限定されない。
【００８０】
以下、式（３）以外を用いた適応的フィルタ処理の具体例について説明する。
【００８１】
例えば、前景物体の領域の成分がエッジ内に過剰に残っている場合、原画像の背景の成分（式（７）乃至式（９）の背景画像のデータＢの成分）が、前景物体の切り出し結果である合成用前景画像のデータＦや、前景物体の貼り付け結果である合成画像のデータＺに残る場合がある。このような場合には、前景物体が縁取りされたような不自然な合成画像のデータＺが得られてしまい、合成用背景画像Ｎとの違いによっては、前景物体の領域の成分がエッジ内に過剰に残っている部分がわずかであったとしても、当該部分がユーザの目には目立って映ってしまう。
逆に、前景物体の領域の成分がエッジ内から過剰に取り除かれた場合には、その取り除かれた部分がわずかであれば、当該部分がユーザの目には目立たないことが多い。
【００８２】
このことを利用することで、適応的フィルタ部７２は、次の式（１０）に従った適応的フィルタ処理を実行することができる。
【数１０】
2012014658.tif 000012
ただし、ｋｐは、次の式（１１）のように示される。
【数１１】
2012014658.tif 000013
即ち、式（１０）及び式（１１）においては、上述の式（３）で用いた近傍領域Ωが、入力αマップの画素値（α値）が０．５未満（０，１の２値の場合は０に等しい場合）の画素の集合Ω−と、入力αマップの画素値（α値）が０．５以上（０，１の２値の場合は１に等しい場合）の画素の集合Ω＋に分割されている。
この場合、色成分に関するガウス関数ｇｒとしては、集合Ω−に適用されるガウス関数ｇｒ−と、集合Ω＋に適用されるガウス関数ｇｒ＋とが別々に用意される。
例えば、ガウス関数ｇｒ−として、ガウス関数ｇｒ＋と同じガウス関数の形であって、ガウス関数ｇｒ＋に対してＱ倍（Ｑは１より大きい定数）したものを用意すると好適である。初期αマップの画素値（α値）の小さい背景側の成分が強く反映され、エッジが小さめになるからである。
【００８３】
或いはまた、適応的フィルタ部７２は、次の式（１２）に従った適応的フィルタ処理を実行することができる。
【数１２】
2012014658.tif 000014
式（１２）は、初期αマップの注目画素（フィルタウィンドウの中央画素）の画素値（α値）Ａｐが０．５以上のときには、２行目の関数Ｃｐが呼び出され、画素値（α値）Ａｐが０．５未満のときには、３行目の関数Ｃｐが呼び出されることを示している。
この場合、背景側に属す時のガウスｇｒ−の分散パラメータを、前景物体側に属す時のガウスｇｒ＋の分散パラメータより小さく設定すると好適である。前景物体側ではエッジを少しまたいで平滑化が行われるため、前景物体領域が減るからである。また、背景側ではエッジを相対的にまたがないので、背景側はほとんど増えていかないからである。
【００８４】
このように、適応的フィルタ部７２が、上述の式（１０）又は式（１２）に従った適応的フィルタ処理を実行することとは、加重平均フィルタの重み（フィルタ係数）が背景側と前景物体（原画像の被写体）側で非対称になるように拡張することを意味する。
これにより、切出領域から背景成分を強力に減らしながら、切出領域が背景成分を増やすことを相対的に抑制し、さらに原背景混入の目立たない合成画像を得ることができる。ここで、切出領域とは、上述したように、背景画像から切り出される被写体（合成画像の前景物体）の領域をいう。また、原背景混入とは、上述したように、切出領域に原画像の背景が混入してしまうことをいう。
このような効果は、図１１を比較することで明確にわかる。
【００８５】
図１１は、適応的フィルタ部７２が上述の式（１０）に従った適応的フィルタ処理を実行した結果得られるフィルタ後αマップを用いた場合における、合成処理の実行結果の一例を示している。
図１１（Ａ）は、図８（Ａ）の初期αマップのデータに対して、上述の式（１０）に従った適応的フィルタ処理が施された結果得られるフィルタ後αマップの一例を示している。
図１１（Ｂ）は、図１１（Ａ）のフィルタ後αマップのデータを用いて生成された合成用前景画像のデータの一例を示している。
図１１（Ｃ）は、図１１（Ｂ）の合成用前景画像のデータと、図４（Ｃ）の合成用背景画像１０２のデータとを合成した結果得られる合成画像のデータの一例を示している。
【００８６】
また、例えば、上述した実施形態では、初期αマップ生成部７１は、原画像と同一サイズ（同一解像度であり、以下「原寸」と呼ぶ）の初期αマップのデータを生成した。ただし、初期αマップのデータのサイズは、特に原寸に限定されず、計算量や作業メモリ量の削減のために、縮小サイズ（例えば縦横１／２サイズ）としてもよい。
この場合、適応的フィルタ部７２は、例えば、縮小サイズの初期αマップのデータに対して適応的フィルタ処理を施して、その結果得られる縮小サイズのフィルタ後αマップのデータを原寸にアップスケール（例えば縦横２倍の線形補間）をしてもよい。
或いはまた、適応的フィルタ部７２は、例えば、縮小サイズの初期αマップのデータを原寸のデータにアップスケール（例えば縦横２倍の線形補間）をした後に、適応的フィルタ処理を施してもよい。
なお、この場合、縮小サイズの初期αマップのデータは、「０」と「１」の画素値（α値）のみならず、アップスケールの手法により、０乃至１の間の中間値の画素値（α値）も有することもあるが、このことは、上述の処理を実行する際に特に影響を及ぼさない。
このように、縮小サイズの初期αマップのデータに対して、適応的フィルタ部７２による適応的フィルタ処理を施すことによって、図８乃至図１１を用いて説明した上述の効果がより顕著なものとなる。
このように効果がより顕著なものとなることは、図１２と図１３とを比較することで明確にわかる。
【００８７】
図１２は、縮小サイズの初期αマップのデータに対して従来の平均化フィルタをかけた結果得られるαマップのデータを用いた場合における、合成処理の実行結果の一例を示している。
図１２（Ａ）は、図８の例と同じ原画像を縮小した画像から得られた縮小サイズの初期αマップのデータをアップサンプルした原寸のαマップに対して従来の平均化フィルタをかけた結果得られるαマップの一例を示している。
図１２（Ｂ）は、図１２（Ａ）のαマップのデータを用いて生成された合成用前景画像のデータの一例を示している。
図１２（Ｃ）は、図１２（Ｂ）の合成用前景画像のデータと、図４（Ｃ）の合成用背景画像１０２のデータとを合成した結果得られる合成画像のデータの一例を示している。
【００８８】
図１３は、縮小サイズの初期αマップのデータに対して、適応的フィルタ部７２が上述の式（１０）に従った適応的フィルタ処理を実行した結果得られるフィルタ後αマップを用いた場合における、合成処理の実行結果の一例を示している。
図１３（Ａ）は、図８の例と同じ原画像を縮小した画像から得られた縮小サイズの初期αマップのデータをアップサンプルした原寸のαマップに対して、上述の式（１０）に従った適応的フィルタ処理が施された結果得られるフィルタ後αマップの一例を示している。
図１３（Ｂ）は、図１３（Ａ）のフィルタ後αマップのデータを用いて生成された合成用前景画像のデータの一例を示している。
図１３（Ｃ）は、図１３（Ｂ）の合成用前景画像のデータと、図４（Ｃ）の合成用背景画像１０２のデータとを合成した結果得られる合成画像のデータの一例を示している。
【００８９】
また例えば、上述した実施形態では、適応的フィルタ部７２は、初期αマップのデータに対して、適応的フィルタ処理を施した。
しかしながら、適応的フィルタ処理の対象は、特にこれに限定されない。即ち、原画像のデータに対して所定の加工がなされた加工画像のデータであれば、適応的フィルタ処理を施すことが可能になる。
【００９０】
また例えば、上述した実施形態では、本発明が適用される画像処理装置は、デジタルカメラとして構成される例として説明した。
しかしながら、本発明は、特にこれに限定されず、画像処理機能を有する電子機器一般に適用することができ、例えば、本発明は、デジタルフォトフレーム、パーソナルコンピュータ、携帯型ナビゲーション装置、ポータブルゲーム機等に幅広く適用可能である。
【００９１】
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
【００９２】
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。
【００９３】
このようなプログラムを含む記録媒体は、図示はしないが、ユーザにプログラムを提供するために装置本体とは別に配布されるリムーバブルメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディアは、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｋ−Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図１のＲＯＭ３２や、図示せぬハードディスク等で構成される。
【００９４】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。
【符号の説明】
【００９５】
１・・・デジタルカメラ、１１・・・撮像部、１２・・・データ処理部、１３・・・ユーザインタフェース部、２１・・・光学レンズ部、２２・・・イメージセンサ、３１・・・ＣＰＵ、３２・・・ＲＯＭ、３３・・・ＲＡＭ、３４・・・メモリ、３５・・・出力制御部、３６・・・画像処理部、６１・・・画像取得部、６２・・・画像記憶部、６３・・・合成処理部、７１・・・初期αマップ生成部、７２・・・適応的フィルタ部、７３・・・合成用前景画像生成部、７４・・・合成画像生成部、８１・・・フィルタ係数演算部、８２・・・フィルタ係数記憶部、８３・・・加重平均フィルタ化部、９１・・・原画像記憶部、９２・・・αマップ記憶部、９３・・・合成用前景画像記憶部、９４・・・合成用背景画像記憶部、９５・・・合成画像記憶部
【図１】
2012014658.tif 000015
【図２】
2012014658.tif 000016
【図３】
2012014658.tif 000017
【図５】
2012014658.tif 000018
【図６】
2012014658.tif 000019
【図７】
2012014658.tif 000020
【図４】
2012014658.tif 000021
【図８】
2012014658.tif 000022
【図９】
2012014658.tif 000023
【図１０】
2012014658.tif 000024
【図１１】
2012014658.tif 000025
【図１２】
2012014658.tif 000026
【図１３】
2012014658.tif 000027