(57)【要約】【課題】  画像中の主被写体と背景とを高い精度で分離するための境界を表わす画像を生成する。【解決手段】  レンズ駆動部１５はレンズ１０を駆動して、異なる視点位置の２つの画像を撮像素子１２で撮像する。位置ズレ補正部３０は、２つの画像中の基準画像の主被写体の位置に、他方の比較対象画像の主被写体を合わせるべく、移動させる。エッジ抽出部４０は、基準画像と位置合せと行った比較対象画像それぞれからエッジ画像を生成する。最大値選択部は、２つのエッジ画像の画素値のうち大きい方を選択することで、主被写体と背景のエッジ画像を生成する。また、差分演算部６０は２つのエッジ画像の画素値の差分絶対値を算出する。抽出部７０は、最大値選択部で得られた画像から、差分演算部６０で得られた画像を減じることで、主被写体のエッジ画像を得る。【選択図】  図１
2014167762.tif 000002
【特許請求の範囲】
【請求項１】
画像中の主被写体と非主被写体とを分離するための、前記主被写体の境界を示すエッジ画像を抽出する画像処理装置であって、
撮像位置が異なる、少なくとも２枚の画像を入力する入力手段と、
入力した画像の１つを基準画像、当該基準画像以外の他の画像を比較対象画像としたとき、前記比較対象画像における予め設定された小領域毎に、前記基準画像に対するズレ量を示すベクトルを求め、当該ベクトルに基づき前記比較対象画像における主被写体の位置を前記基準画像における主被写体に合わせる位置合せ手段と、
前記基準画像における画素についてのエッジの度合を値として持つ第１のエッジ画像、及び、前記位置合せ手段による位置合せ後の比較対象画像における画素についてのエッジの度合を値として持つ第２のエッジ画像を抽出するエッジ抽出手段と、
前記第１のエッジ画像、前記第２のエッジ画像のそれぞれの画素値を比較し、大きい値を持つ画素で構成される画像を生成する第１の画像生成手段と、
前記第１のエッジ画像と前記第２のエッジ画像のそれぞれの画素値の差を画素値とする画像を生成する第２の画像生成手段と、
前記第１の画像生成手段で生成された画像の画素値と、前記第２の画像生成手段で生成された画像の画素値との差分値を画素値とする第３の画像を生成する第３の画像生成手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記入力手段は、３枚以上の画像を入力し、
前記第３の画像生成手段は、前記第１の画像生成手段で生成された画像から、前記第２の画像生成手段で生成された各画像を減じることで、複数のエッジ画像を生成し、
当該複数のエッジ画像のそれぞれの画素値を比較し、小さい値を持つ画素で構成される画像を、前記主被写体の境界を示すエッジ画像として生成する第４の画像生成手段を更に有することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記エッジ抽出手段は、抽出したエッジ画像について、予め設定された画素ブロック内の最大値を出力するフィルタ手段を含むことを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記入力手段が入力する対象となる画像を撮像する撮像手段と、
撮像する被写体と前記撮像手段との距離を計測する距離計測手段と、
該距離計測手段で計測して得られた距離に応じて、前記位置合せ手段による、合焦している被写体のエッジを判定するための閾値を決定する決定手段と
を更に有することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項５】
前記撮像手段における撮像レンズをずらすことで、前記入力手段が入力することになる、撮像位置が異なる少なくとも２枚の画像を撮像する制御手段を更に有することを特徴とする請求項４に記載の画像処理装置。
【請求項６】
画像中の主被写体と非主被写体とを分離するための、前記主被写体の境界を示すエッジ画像を抽出する画像処理装置の制御方法であって、
入力手段が、撮像位置が異なる、少なくとも２枚の画像を入力する入力工程と、
位置合せ手段が、入力した画像の１つを基準画像、当該基準画像以外の他の画像を比較対象画像としたとき、前記比較対象画像における予め設定された小領域毎に、前記基準画像に対するズレ量を示すベクトルを求め、当該ベクトルに基づき前記比較対象画像における主被写体の位置を前記基準画像における主被写体に合わせる位置合せ工程と、
エッジ抽出手段が、前記基準画像における画素についてのエッジの度合を値として持つ第１のエッジ画像、及び、前記位置合せ工程による位置合せ後の比較対象画像における画素についてのエッジの度合を値として持つ第２のエッジ画像を抽出するエッジ抽出工程と、
第１の画像生成手段が、前記第１のエッジ画像、前記第２のエッジ画像のそれぞれの画素値を比較し、大きい値を持つ画素で構成される画像を生成する第１の画像生成工程と、
第２の画像生成手段が、前記第１のエッジ画像と前記第２のエッジ画像のそれぞれの画素値の差を画素値とする画像を生成する第２の画像生成工程と、
第３の画像生成手段が、前記第１の画像生成工程で生成された画像の画素値と、前記第２の画像生成工程で生成された画像の画素値との差分値を画素値とする第３の画像を生成する第３の画像生成工程と、
を有することを特徴とする画像処理装置の制御方法。
【請求項７】
コンピュータに読み込ませ実行させることで、前記コンピュータに、請求項６に記載の各工程を実行させるためのプログラム。
【請求項８】
請求項７に記載のプログラムを格納したことを特徴とするコンピュータが読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像中の被写体と背景とを分離する技術、特に、複数枚の連続する画像における被写体と背景を分離する技術に関するものである。
【背景技術】
【０００２】
画像中の主とする被写体と背景のそれぞれに対して適切な画像処理を行うため等、画像中の被写体と背景とを分離する技術がある。
【０００３】
例えば、特許文献１では山と空の境界線や人物と背景画像との境界線エッジの両側のテクスチャは異なる場合が多いことを利用して被写体と背景を分離する方法が開示されている。具体的には、色毎の偏りを調べることでテクスチャ分布を求める。テクスチャが一様に分布していれば、全ての色の重心位置が領域の中心近傍に存在することを利用して被写体と背景を分離するものである。
【０００４】
特許文献２では合焦位置を変化させながら撮像された複数の画像を使用して被写体と背景を分離する方法が開示されている。具体的には、ユーザーが画像表示部に表示された撮影された画像の輪郭の一部を選択し、その点を始点にして輪郭抽出を行う。特許文献２では、合焦位置を変化させながら複数の画像を撮影している。従って、画像エッジに奥行きがある対象物でも、複数の画像の中からエッジをより正確に抽出できる画像を選択することで、被写体のエッジを正確に検出して画像を切り出すことが可能になっている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−０７７４６０号公報
【特許文献２】特開２００７−２９３７５７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上述の特許文献１に開示された従来技術では、合焦した被写体と背景が同じようなテクスチャだった場合には、被写体と背景を分離できない。
【０００７】
また、上述の特許文献２に開示された従来技術では、ユーザーが抽出したい被写体の輪郭を選択する必要がある。
【０００８】
本発明は係る問題に鑑みなされたものであり、画像中の主被写体と背景とを高い精度で分離するための境界を表わす画像を生成する技術を提供しようとするものである。
【課題を解決するための手段】
【０００９】
この課題を解決するため、例えば本発明の画像処理装置は以下の構成を備える。すなわち、
画像中の主被写体と非主被写体とを分離するための、前記主被写体の境界を示すエッジ画像を抽出する画像処理装置であって、
撮像位置が異なる、少なくとも２枚の画像を入力する入力手段と、
入力した画像の１つを基準画像、当該基準画像以外の他の画像を比較対象画像としたとき、前記比較対象画像における予め設定された小領域毎に、前記基準画像に対するズレ量を示すベクトルを求め、当該ベクトルに基づき前記比較対象画像における主被写体の位置を前記基準画像における主被写体に合わせる位置合せ手段と、
前記基準画像における画素についてのエッジの度合を値として持つ第１のエッジ画像、及び、前記位置合せ手段による位置合せ後の比較対象画像における画素についてのエッジの度合を値として持つ第２のエッジ画像を抽出するエッジ抽出手段と、
前記第１のエッジ画像、前記第２のエッジ画像のそれぞれの画素値を比較し、大きい値を持つ画素で構成される画像を生成する第１の画像生成手段と、
前記第１のエッジ画像と前記第２のエッジ画像のそれぞれの画素値の差を画素値とする画像を生成する第２の画像生成手段と、
前記第１の画像生成手段で生成された画像の各画素値から、前記第２の画像生成手段で生成された画像の画素値を減じた値を画素値とする第３の画像を生成する第３の画像生成手段とを有する。
【発明の効果】
【００１０】
本発明に、画像中の主被写体と背景とを高い精度で分離するための境界を表わす画像を生成することが可能になる。
【図面の簡単な説明】
【００１１】
【図１】第１の実施形態の画像処理装置を構成するブロック図。
【図２】第１の実施形態の処理手順を示すフローチャート。
【図３】第２の実施形態の処理手順を示すフローチャート。
【図４】第１の実施形態における２枚の撮影画像の例を示す図。
【図５】第１の実施形態の位置合わせ後の画像の例を示す図。
【図６】第１の実施形態で抽出されたエッジ画像の例を示す図。
【図７】第１の実施形態で抽出された被写体と背景のエッジ画像を示す図。
【図８】第１の実施形態で抽出された背景のエッジ画像を示す図。
【図９】第１の実施形態で抽出された被写体のエッジ画像を示す図。
【図１０】第１の実施形態で抽出された被写体領域画像を示す図。
【図１１】第２の実施形態における３枚の画像を示す図。
【図１２】第２の実施形態で抽出されたエッジ画像を示す図。
【図１３】第２の実施形態で抽出された背景のエッジ画像を示す図。
【図１４】第２の実施形態で抽出された被写体のエッジ画像を示す図。
【図１５】第２の実施形態で抽出された被写体のエッジ画像を示す図。
【図１６】第２の実施形態で抽出された被写体領域画像を示す図。
【図１７】第２の実施形態の画像処理装置を構成するブロック図。
【図１８】第１の実施形態で撮影されたＲ画像、Ｇ画像、Ｂ画像を示す図。
【図１９】図２０のＲ，Ｇ，Ｂ画像のそれれのエッジ画像を示す図。
【図２０】図２１から生成された被写体のエッジ画像を示す図。
【図２１】エッジ画像にＭＡＸフィルタを適用した例を示す図。
【発明を実施するための形態】
【００１２】
以下、添付図面に従って本発明に係る実施形態を詳細に説明する。
【００１３】
［第１の実施形態］
図１は、実施形態における画像処理装置（デジタルカメラ等に代表される撮像装置）のブロック図である。
【００１４】
同図において、撮像レンズ１０は、撮影像を光学的に撮像素子１２上に結像させる。撮像素子１２は、その撮影像をアナログの電気信号に変換する。Ａ／Ｄ変換器１４は、この撮像素子１２から出力されるアナログ信号をデジタル信号に変換する。
【００１５】
レンズ駆動部１６は、撮像レンズ１０を水平垂直方向にシフト駆動させたり、ピッチ方向やヨー方向に駆動させたり、ワイド端方向またはテレ端方向に駆動する。
【００１６】
メモリ１８は、撮影した画像データを一時的に格納するための揮発性のメモリである。制御回路２０は、Ａ／Ｄ変換機１４、メモリ１８、位置ずれ補正部３０、エッジ抽出部４０、最大値選択部５０、差分演算部６０、抽出部７０の間のデータの流れの制御と、レンズ駆動部１６の制御を行う。
【００１７】
距離計測部２２は、画像処理装置１００と被写体の距離を計測する。位置ずれ補正回路３０は、撮影された２枚の画像を入力として、一方の画像の主被写体を位置合わせの基準としたときの他方の主被写体の位置ずれ量を検出して、他方の画像の位置ずれを補正した画像を出力する。
【００１８】
エッジ抽出部４０は、撮影された画像中のエッジを抽出する。最大値選択部５０は、第１の画像生成手段として機能するものであり、画素毎に、２枚の画像のうち画素値（輝度）が大きい方の値を選択して出力する。差分演算部６０は、第２の画像生成手段として機能するものであり、画素毎に、２枚の画像の差分絶対値演算を行った画像を出力する。抽出部７０は第３の画像生成手段として機能するもので、最大値選択部５０から出力された画像と、差分演算部６０から出力された画像から、主被写体のエッジを抽出した画像を出力する。
【００１９】
図２は、本発明の主被写体と背景の分離方法を説明するフローチャートである。
【００２０】
まずステップＳ２０２で、撮影位置（撮像位置）をずらして２枚の画像を撮影する。このとき撮影される２枚の画像は例えば図４の画像４ａ，４ｂである。撮影位置をずらす方法は、画像処理装置１００を撮影者が手で持って撮影することで自然に発生する位置ずれを利用してもよいし、レンズ駆動部１６を用いて撮像レンズ１０を駆動することで人工的に発生させてもよいし、両者を組み合わせて使用してもよい。
【００２１】
また、後述するように本実施形態では、主被写体の位置ずれ量と背景（非主被写体）の位置ずれ量の差を利用して、主被写体と背景との境界を示すエッジ画像（画素毎のエッジの度合を示す画像）を生成する。そのため、レンズ駆動部１６を用いて撮像レンズ１０を駆動する場合、画像処理装置１００と主被写体と背景との距離関係や画像上の位置に応じて上記要求を満たすように撮像レンズ１０の駆動方法を変更してもよい。
【００２２】
例えば、画像処理装置１００と主被写体の距離に対して画像処理装置１００と背景の距離が遠い場合には、レンズ駆動部１６で撮像レンズ１０を水平垂直方向にシフト駆動することで、主被写体の位置ずれ量と背景の位置ずれ量に差をつくることができる。また、主被写体が画面中央付近に存在する場合には、レンズ駆動部１６で撮像レンズ１０をピッチ方向やヨー方向に駆動することで、主被写体の位置ずれ量と背景の位置ずれ量に差をつくることができる。
【００２３】
次にステップＳ２０３では、位置ずれ補正部３０で、主被写体の位置が合うように、撮影した２枚の画像を位置合わせを行う。主被写体の画像上の大まかな位置は、撮影時に焦点を合わせた画像上の位置を使用したり、画面中央付近に被写体がいると仮定したりすることで決定する。位置合わせの基準とする画像は、撮影した２枚の画像のどちらを選択してもよい。本実施形態では、１枚目の画像４ａを基準画像として、後続して撮像される２枚目の画像４ｂを位置合わせ対象とする。ステップＳ２０３の処理の結果、出力される画像は図５の画像５ｂである。ただし、画像処理装置１００と被写体の距離によって位置ずれの大きさは異なるので、主被写体に位置合わせした場合には１枚目の画像４ａと位置合わせ後の２枚目の画像５ｂを重ね合わせても背景の位置は一致しない。
【００２４】
位置合わせの方法としては、例えば下記方法を用いる。
【００２５】
位置合わせの基準画像４ａと位置合わせをする比較画像４ｂを複数の小領域に分割し、前記小領域毎に、基準画像と比較画像間のズレ量を求める。ズレ量の算出方法としては、基準画像の小領域を比較画像の小領域内で移動させながら相関値を求め、相関値が最も小さい位置までの動きベクトルをその領域のズレ量とする。相関値としては、例えば差分絶対値和（ＳＡＤ）などを使用する。
【００２６】
検出した各領域におけるズレ量を基に、被写体像の変形を示すアフィン変換のパラメータを算出する。算出したアフィンパラメータに基づいて、比較画像にアフィン変換を施す。アフィン変換によって、比較画像は、基準画像と重なるような形に位置合わせされる。
【００２７】
また、上記以外としては、求めた各領域のズレ量の分布を解析する手法がある。すなわち、水平軸をズレ量、垂直軸を度数のヒストグラムを求める。撮像装置の位置を変えて２枚の画像（基準画像と比較画像）を撮像したとき、その中の前景と背景とを比較すると、撮像装置に近い「前景」の方が画像内での移動距離（ズレ量）が大きい。従って、ヒストグラムを生成した際、予め設定した閾値以上のズレ量のうち、大きい方の山のピーク値を、主被写体（近景）のズレ量として決定する。そして、比較画像を、決定したズレ量だけ移動することで、基準画像に対す比較画像の主被写体の位置合せを行う。
【００２８】
なお、上記の２枚の画像の位置合せ法は、これに限定されるわけではない。
【００２９】
図２の説明に戻る。ステップＳ２０４では、エッジ抽出部４０を用いて、ステップＳ２０３で位置合わせした画像４ａと５ｂに対応する２枚のエッジ画像（第１のエッジ画像、第２のエッジ画像）を抽出する。ステップＳ２０４の処理の結果、撮影された１枚目のエッジ画像（図６の符号６ａ）と、位置合せ後の２枚目の画像のエッジ画像（図６の符号６ｂ）が出力される。
【００３０】
エッジ抽出部４０は、画像の輝度値に対して１種類のフィルタ処理で得られた結果からエッジを抽出してもよい。しかし、これに限定されるわけではなく、例えば画像のＲＧＢ信号値毎、色差信号に対して複数の帯域のバンドパスフィルタでエッジを抽出して、その中から抽出されたエッジの値が最も大きいものを画素毎に選択してエッジ画像を出力してもよい。この方法について図１８、図１９、図２０を用いて説明する。
【００３１】
１枚目の画像４ａのＲ信号、Ｇ信号、Ｂ信号の画像をそれぞれ画像１８ａ，画像１８ｂ，画像１８ｃとし、それぞれの画像についてエッジ抽出した結果を図１９に示す画像１９ａ、１９ｂ、１９ｃとする。Ｒ信号画像、Ｇ信号画像、Ｂ信号画像それぞれにおいてエッジを十分に抽出できている領域と、抽出できていない領域がある。そこで、画素ごとに、画像１９ａ、１９ｂと１９ｃの最大値をとり、これらを合成して図２０に示す画像を生成することでエッジを抽出してもよい。
【００３２】
また、画素ごとに色相角を求めて、隣接画素との色相角の差分をエッジとして抽出してもよい。
【００３３】
また、エッジが十分に抽出できなかった場合には、以下の方法でエッジ画素を補ってもよい。図２１の画像２１ａはエッジ画像のなかでエッジを含む一部分を拡大した画像であり、１つの四角が１つの画素を表し、白で塗りつぶされた四角は抽出されたエッジ画素を表している。画像２１ａでは画像の中央付近でエッジが十分に検出できずにエッジが切れている。この画像に３×３の大きさのＭＡＸフィルタ（３×３画素の画素ブロック内の最大値（最大輝度）を、中央の着目画素位置の画素値とするフィルタ）を掛けて、抽出できなかったエッジ画素を補った画像２１ｂをエッジ画像として出力してもよい。
【００３４】
なお、エッジ抽出部４０で正確にエッジを抽出する方法であれば、上記方法に限定されるわけではない。
【００３５】
ステップＳ２１０では、最大値選択部５０を用いて、ステップＳ２０４で生成した２枚のエッジ画像６ａと６ｂを画素毎に比較して、画素値の大きい方を選択して出力する。ステップＳ２１０の処理の結果、被写体と背景のエッジを含む画像が出力される（図７）。ステップＳ２０３の説明で述べたように画像４ａと５ｂの背景の位置は一致しないので、図７の画像の背景エッジは２重に見える。また、画素毎に画素値の大きい方を選択して出力する代わりに、抽出された２枚のエッジ画像（画像６ａと６ｂ）に対して、画像をそれぞれ２値化した後に２枚の画像を画素毎に、論理和演算を実行して被写体エッジと背景エッジを出力してもよい。
【００３６】
ステップＳ２１１では、差分演算部６０を用いて、ステップＳ２０４で生成した２枚のエッジ画像６ａと６ｂを画素毎に差分絶対値演算を行い出力する。ここで、２枚のエッジ画像６ａと６ｂの主被写体エッジの位置は一致しているので、ステップＳ２１１の処理の結果、背景のエッジだけを含む画像が出力される（図８）。
【００３７】
ステップＳ２１３では、抽出部７０を用いて、ステップＳ２１０の計算結果である図７で示された画像と、ステップＳ２１１の計算結果である図８で示された画像の差分値を画素毎に計算して出力する。図７で示された画像は主被写体のエッジと背景のエッジを含み、図８は背景のエッジだけを含むので、画素ごとに、２つの画像の差分値を取ると主被写体のエッジだけが残る（図９）。ただし、エッジにはノイズ成分も含まれているので、さらに画素ごとに、予め定めた閾値よりもエッジ量が大きいときに、その画素は主被写体のエッジと判定して、主被写体のエッジ画像を出力してもよい。
【００３８】
また、主被写体のエッジと判定する閾値を画像で１つ定めるのではなく、距離測定部２２で測定された画像処理装置１００と画面内の領域との距離に応じて、主被写体のエッジであるとみなす閾値を変更してもよい。例えば、主被写体に奥行きがあって、主被写体全体に合焦していない場合でも、エッジと判定する閾値を小さくすることで主被写体のエッジを抽出するようにしてもよい。
【００３９】
ステップＳ２２０では、ステップＳ２１３で生成した主被写体のエッジ画像から主被写体領域を抽出する。主被写体のエッジ画像から被写体領域を抽出する方法としては、例えばエッジ画像上の左上の画素からラスタ順にスキャンする。そして、エッジ画素が検出されたらその画素から時計回り方向にエッジ画素を追跡し、最初に検出されたエッジ画素まで戻ってきたときに囲まれた領域を被写体領域とする方法を用いればよい。ただし、エッジから領域を抽出できる方法であれば上記方法に限定されるわけではない。
【００４０】
ステップＳ２２０の処理の結果、主被写体と背景を画素単位で分離した画像が出力される（図１０）。
【００４１】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【００４２】
［第２の実施形態］
以下、図１７を参照して、本発明の第２の実施形態による、合焦している被写体（以後、主被写体と表記する）と背景の分離方法について説明する。
【００４３】
上記第１の実施形態では背景のエッジの周辺に似たような方向のエッジが存在すると、主被写体のエッジ画像（図９）に背景エッジが残ってしまうことがある。本第２の実施形態では３枚以上の画像を撮像した際、その１枚を基準画像とし、基準画像以外の画像（本第２の実施形態では２枚の画像）を比較対象画像とし入力して、主被写体のエッジを抽出する。これにより、より精度よく主被写体のエッジを抽出して、主被写体と背景を分離する。第１の実施形態と同じ符号を与えている構成については説明を省略する。
【００４４】
図１７において、最小値選択部８０は第４の画像生成手段として機能するものであって、与えられた２枚の画像のうち、画素単位に画素値（輝度値）が小さい方の値を選択して出力する。
【００４５】
図３は、本発明の第２の実施形態による主被写体と背景の分離方法を説明するフローチャートである。なお、第１の実施形態と同じ処理を行う場合には、同じ符号を与えているので詳細説明は省略する。
【００４６】
まず、ステップＳ３０２で、撮影位置をずらしてｎ枚の画像を撮影する。ただし、本第２の実施形態ではｎは３以上の整数であるが、簡単のため以下では、ｎ＝３として説明を行う。図１１は、このときの３つの画像を示している。時系列に、１枚目の画像は画像１１ａ、２枚目は画像１１ｂ、３枚目は画像１１ｃとする。
【００４７】
次にステップＳ２０３では、位置ずれ補正部３０で、撮影した２枚の画像を、主被写体を基準に位置合わせを行う。主被写体の画像上の大まかな位置は、撮影時に焦点を合わせた画像上の位置を使用したり、画面中央付近に被写体がいると仮定したりすることで決定する。位置合わせの基準とする画像は、撮影した画像の中から１枚を選択する。本第２の実施形態では、１枚目の画像１１ａを位置合わせの基準とする画像として選択し、残りの２枚目の画像１１ｂと３枚目の画像１１ｃを位置合わせ対象とし、第１の実施形態と同様にして位置合せを行う。
【００４８】
ステップＳ２０４では、エッジ抽出部４０を用いて、ステップＳ２０３で位置合わせした３枚の画像１１ａ、１１ｂ、１１ｃのエッジを抽出する。ステップＳ２０４の処理の結果、図１２に示すように、撮影された１枚目のエッジ画像１２ａと、位置合せ後の２枚目の画像のエッジ画像１２ｂと、３枚目の画像のエッジ画像１２ｃが出力される。
【００４９】
ステップＳ２１０、ステップＳ２１１、ステップＳ２１３は、第１の実施形態と同じ処理を行うので処理内容の詳細説明は省略する。ただし、ステップＳ２１１とステップＳ２１３の結果は、第１の実施形態の結果と異なるところがあるので説明を以下に追加する。
【００５０】
ステップＳ２１１で、位置合わせの基準とする画像のエッジ画像１２ａと、位置合わせした２枚目の画像のエッジ画像１２ｂの差分絶対演算を行い、背景エッジ画像を生成する。ただし、位置合わせの基準とする画像のエッジ画像１２ａの背景エッジの一部が位置合わせした２枚目の画像のエッジ画像１２ｂの別の背景エッジに重なったため、エッジが重なった部分の背景エッジが出力されていない（図１３の画像１３ｂ）。位置合わせした３枚目の画像のエッジ画像１２ｃについても同様である（図１３の画像１３ｃ）。
【００５１】
ステップＳ２１３においても、主被写体のエッジだけでなく、２枚の画像間でエッジが重なった部分の背景エッジも画像に出力される（図１４の画像１４ｂ、１４ｃ）。
【００５２】
ステップＳ３１４では、撮影した全ての画像についてステップＳ２１０、ステップＳ２１１、ステップＳ２１３の処理を実施している場合には（Ｓ３１４でＹＥＳ）、ステップＳ３１５へと遷移する。
【００５３】
ステップＳ３１５では、ステップＳ３１４までの処理で生成された主被写体のエッジ画像１４ｂ、１４ｃに含まれてしまった背景エッジを除去する。このため、最小値選択部８０は、これらエッジ画像１４ｂ，１４ｃを入力し、画素毎に最小値を選択して出力する（図１５）。
【００５４】
ステップＳ２２０の処理は、第１の実施形態と同じなので説明を省略する。ステップＳ２２０の処理の結果、被写体と背景を画素単位で分離した画像が出力される（図１６）。
【００５５】
以上説明したように本第２の実施形態によれば、第１の実施形態と比較し、より高い精度で主被写体と背景を分離することが可能になる。
【００５６】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【００５７】
［その他の実施例］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【図１】
2014167762.tif 000003
【図２】
2014167762.tif 000004
【図３】
2014167762.tif 000005
【図４】
2014167762.tif 000006
【図５】
2014167762.tif 000007
【図６】
2014167762.tif 000008
【図７】
2014167762.tif 000009
【図８】
2014167762.tif 000010
【図９】
2014167762.tif 000011
【図１０】
2014167762.tif 000012
【図１１】
2014167762.tif 000013
【図１２】
2014167762.tif 000014
【図１３】
2014167762.tif 000015
【図１４】
2014167762.tif 000016
【図１５】
2014167762.tif 000017
【図１６】
2014167762.tif 000018
【図１７】
2014167762.tif 000019
【図１９】
2014167762.tif 000020
【図２０】
2014167762.tif 000021
【図２１】
2014167762.tif 000022
【図１８】
2014167762.tif 000023