(57)【特許請求の範囲】
【請求項１】
画像の各画素に対する視点からの距離情報を入力する距離情報入力手段と、
前記画像に含まれる各画素に対応する距離情報に基づいて該画像を２以上の距離レイヤに分離する分離手段と、
前記距離レイヤ毎に、前記画像に含まれる画素のうち、前記距離情報が距離レイヤ毎に設定された所定の距離範囲内にある画素を選択する画素選択手段と、
前記距離レイヤ毎に、前記画素選択手段により選択された画素の全てを内包する第１の領域を対象として、各画素位置での画像の変化度合いを示す値である注目度を算出する注目度計算手段と、
前記距離レイヤ毎に、前記注目度計算手段により算出された注目度が所定閾値以上の画素の全てを内包する第２の領域を、被写体領域を内包する領域として決定する決定手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記注目度計算手段は、前記第１の領域に対し互いに異なる２以上のガウシアンフィルタを適用し、該２以上のガウシアンフィルタそれぞれによるフィルタ結果の差分として前記注目度を算出する
ことを特徴とする請求項１に記載の画像処理装置。 
【請求項３】
前記注目度計算手段は、前記第１の領域に含まれる画素の個数に基づいて前記２以上のガウシアンフィルタそれぞれのスケールを決定するスケール決定手段を含む
ことを特徴とする請求項２に記載の画像処理装置。 
【請求項４】
前記決定手段は、前記第２の領域を矩形領域として決定するように構成され、
前記画像処理装置は、前記第２の領域から前記被写体領域を抽出する抽出手段を更に備える
ことを特徴とする請求項１乃至３の何れか一項に記載の画像処理装置。 
【請求項５】
距離情報入力手段が、画像の各画素に対する視点からの距離情報を入力する距離情報入力工程と、
分離手段が、前記画像に含まれる各画素に対応する距離情報に基づいて該画像を２以上の距離レイヤに分離する分離工程と、
画素選択手段が、前記距離レイヤ毎に、前記画像に含まれる画素のうち、前記距離情報が距離レイヤ毎に設定された所定の距離範囲内にある画素を選択する画素選択工程と、
注目度計算手段が、前記距離レイヤ毎に、前記画素選択工程により選択された画素の全てを内包する第１の領域を対象として、各画素位置での画像の変化度合いを示す値である注目度を算出する注目度計算工程と、
決定手段が、前記距離レイヤ毎に、前記注目度計算工程により算出された注目度が所定閾値以上の画素の全てを内包する第２の領域を、被写体領域を内包する領域として決定する決定工程と、
を含むことを特徴とする画像処理方法。
【請求項６】
コンピュータを、請求項１乃至４の何れか一項に記載の画像処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理技術に関するものであり、特に、入力画像から被写体領域をより好適に抽出する技術に関するものである。
【背景技術】
【０００２】
従来から、画像から所定の領域（被写体対象領域）を抽出する技術（セグメンテーション技術とも呼ばれる）が研究されており、映像編集における画像合成や特定領域のリフォーカス等の目的で応用されている。対象領域抽出において、画像の色情報に基づく手法として、背景差分法やクロマキー法が良く知られている。背景差分法は、対象領域を含まない背景のみの画像を予め撮影しておき、対象領域を含む画像と背景のみの画像とを比較して、その差分を計算することにより対象領域を抽出する手法である。
【０００３】
クロマキー法は映画業界で標準的に用いられている手法であり、背景領域を一定の色にして、対象領域の色に背景色が含まれないことを仮定して対象領域を抽出する手法である。ただし、背景差分法やクロマキー法は背景の制御が容易な環境のみで使われる。一方、特定の背景を必要としない方法として、グラフ理論に基づき任意の背景を有する画像から対象領域を分離する方法、即ち、グラフカット及びグラブカットという手法が提案されている（非特許文献１，非特許文献２）。
【０００４】
グラフカットでは、まず、ユーザが予め対象領域にある画素、背景領域にある画素をマウスでクリックすることにより指定する、或いは、対象領域の一部及び背景領域の一部に対しそれぞれ曲線をマウスでドラッグすることにより指定する。そして、指定された画素又は曲線を正解情報として、当該正解情報に基づきグラフに係るエネルギー関数のパラメータを生成し、当該グラフのエネルギー関数の最小化問題を解くことで対象領域と背景領域を分離している。さらに、対象領域の抽出精度を高めるため、得られた抽出結果に更にユーザ指定を加え、上記処理を繰り返すことも可能である。
【０００５】
また、グラブカットでは、上述のグラフカットをより簡単に実現する手法であり、ユーザ指定は対象領域が含まれる矩形領域を指定するだけでよい。そして、グラブカットでは、当該矩形領域に含まれる対象領域内外をそれぞれ色クラスタリングし、各画素及び各クラスタの色情報に基づき、グラフ用のパラメータを計算し、グラフのエネルギー関数の最小化をグローバルに解くことにより対象領域を抽出する。
【０００６】
一方、物体追跡、オブジェクト認識のため、人間の視覚性に基づき物体の存在する注目領域を抽出する技術も研究されている。当該技術では、基本的に色、輝度、テクスチャ等の特徴に基づき、画素がどれだけ人間の注目を引くかを示す注目度という指標を特徴毎に計算し、特徴毎の注目度を重み付けで画素の注目度を求め、物体のある注目領域を抽出する（特許文献１，非特許文献３）。さらに、近年、単眼カメラに距離画像センサを搭載することにより、画像の各画素に対する距離情報（深度情報）の推定が可能になり、色情報以外の有用な情報として距離情報を対象領域抽出に用いる技術が提案されている（非特許文献４）。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２０１０−２５７４２３号公報
【非特許文献】
【０００８】
【非特許文献１】Boykov, Y.Y. and Jolly, M.-P., Interactive graph cuts for optimal boundary & region segmentation of objects in N-D images, In Proc. IEEE Int. Conf. on Computer Vision 2001, vol.1,  pp. 105-112
【非特許文献２】Rother et al., Grabcut: Interactive Foreground Extraction Using Iterated Graph Cuts, ACM Trans. Graph., vol. 23, No. 3, 2004, pp. 309-314
【非特許文献３】Itti, L., Koch, C. and Niebur, E., A model of saliency-based visual attention for rapid scene analysis, IEEE Transactions on Pattern Analysis and Machine Intelligence, vol.20, Issue 11, pp. 1254-1259, 1998
【非特許文献４】Ouerhani, N. and Hugli, H., Computing visual attention from scene depth, In Proc. 15th International Conference on Pattern Recognition 2000, vol.1, pp. 375-378
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、上述のグラフカット及びグラブカットの手法においては、対象領域及び背景領域のユーザ指定が必要であり、ユーザにとって煩雑であるという問題がある。図１は、領域抽出におけるユーザによる手動指定を例示的に示す図である。画像１００ａは、対象領域に存在する前景画素及び背景領域に存在する背景画素を画素単位で指定する例を示している。ここでは、前景画素として指定した画素を白色で示される×印で、背景画素として指定した画素を黒色で示される×印で示している。一方、画像１００ｂは、自由曲線により前景画素及び背景画素を指定する例を示している。ここでは、前景画素として指定した画素を白色で示される曲線で、背景画素として指定した画素を黒色で示される曲線で示している。このようにしてユーザが指定した前景画素及び背景画素は正解画素として取り扱われるため、ユーザが誤指定してしまった場合には対象領域の抽出精度への影響が生じるという問題がある。
【００１０】
更に、入力画像の背景に変化の大きい目立った領域が存在する場合に誤判定するという問題がある。図２は、被写体のある注目領域の抽出技術における誤判定を例示的に示す図である。画像２００ａには、対象領域は均一な色特徴を持ち、背景領域に色差の変化が大きい部分が存在している。このような画像を対象として対象領域の抽出処理を行った場合、色差の変化が大きい部分を取り囲む矩形領域が注目領域として判定されてしまうことになる。
【００１１】
本発明は上述の問題点に鑑みなされたものであり、入力画像から被写体領域をより好適に決定し抽出可能とする技術を提供することを目的とする。
【課題を解決するための手段】
【００１２】
上述の１以上の問題点を解決するため、本発明の画像処理装置は以下の構成を備える。すなわち、画像の各画素に対する視点からの距離情報を入力する距離情報入力手段と、前記画像に含まれる各画素に対応する距離情報に基づいて該画像を２以上の距離レイヤに分離する分離手段と、前記距離レイヤ毎に、前記画像に含まれる画素のうち、前記距離情報が距離レイヤ毎に設定された所定の距離範囲内にある画素を選択する画素選択手段と、前記距離レイヤ毎に、前記画素選択手段により選択された画素の全てを内包する第１の領域を対象として、各画素位置での画像の変化度合いを示す値である注目度を算出する注目度計算手段と、前記距離レイヤ毎に、前記注目度計算手段により計算された注目度が所定閾値以上の画素の全てを内包する第２の領域を、被写体領域を内包する領域として決定する決定手段と、を備える。
【発明の効果】
【００１３】
本発明によれば、入力画像から被写体領域をより好適に決定し抽出可能とする技術を提供することができる。
【図面の簡単な説明】
【００１４】
【図１】領域抽出におけるユーザによる手動指定の一例を示す図である。
【図２】注目領域の誤判定の一例を示す図である。
【図３】第１実施形態に係る画像処理装置を含む撮影装置の全体ブロック図である。
【図４】第１実施形態に係る画像処理部の機能ブロック図である。
【図５】第１実施形態に係る画像処理の全体フローチャートである。
【図６】色画像及び距離画像の一例を示す図である。
【図７】被写体領域の候補画素の選定処理を示すフローチャートである。
【図８】注目度計算処理を示すフローチャートである。
【図９】被写体領域抽出処理を示すフローチャートである。
【図１０】各処理による処理結果画像の例を示す図である。
【図１１】第２実施形態に係る画像処理装置の機能ブロック図である。
【図１２】第２実施形態に係る画像処理の全体フローチャートである。
【図１３】重み設定処理を示すフローチャートである。
【図１４】注目度計算処理を示すフローチャートである。
【図１５】第３実施形態に係る画像処理装置の機能ブロック図である。
【図１６】第３実施形態に係る画像処理の全体フローチャートである。
【図１７】入力画像を複数の距離レイヤに分ける例を示す図である。
【発明を実施するための形態】
【００１５】
以下に、図面を参照して、この発明の好適な実施の形態を詳しく説明する。なお、以下の実施の形態はあくまで例示であり、本発明の範囲を限定する趣旨のものではない。
【００１６】
（第１実施形態）
本発明に係る画像処理装置の第１実施形態として、撮影装置を例に挙げて以下に説明する。特に、画像内の各画素に対する距離情報に基づいて被写体領域の候補画素を選択し、当該候補画素に対して注目度を算出し被写体領域の決定に使用する例について説明する。
【００１７】
＜装置構成＞
図３は、第１実施形態に係る画像処理装置を実現した一実施形態である撮影装置の主要部構成を示すブロック図である。中央処理装置（ＣＰＵ）１１０１は、以下に述べる各部を統括的に制御する。
【００１８】
撮影部１１０２は、画像の色情報、距離情報を取得する。ここでは、一般の、カラー画像として色情報を入力すると共に、視点からの距離の値が各画素に割り当てられた距離画像として距離情報を入力することを想定する。
【００１９】
表示部１１０４は撮影画像や文字の表示を行い、例えば、液晶ディスプレイが用いられる。表示部１１０４はタッチスクリーン機能を有していても良い。表示制御部１１０５は、表示部１１０４に表示される撮影画像や文字の表示制御を行う。操作部１１０６はユーザの指示を受け付け、ボタンや撮影モードダイヤルなどが含まれる。この操作による設定内容はＣＰＵを介して所定の処理を制御する。例えば、後述の領域の手動指定は、表示制御部１１０５と操作部１１０６を使うことにより容易に実現できる。
【００２０】
撮影制御部１１０７は、フォーカスを合わせる、シャッターを開く・閉じる、絞りを調節するなどの、ＣＰＵ１２０１からの指示に基づいた撮像系の制御を行う。
【００２１】
信号処理部１１０８は、バス１１０３を介して受け取ったデジタルデータに対し、ホワイトバランス処理、ガンマ処理、ノイズ低減処理などの各種処理を行う。画像処理部１１０９は、撮影部１１０２で取得された画像、或いは、信号処理部１１０８から出力される画像から出力されるデジタル画像、或いは、操作部１１０６からユーザの指定に応じて画像処理を行う。圧縮／伸長部１１１０は、デジタルデータ、或いは、画像処理の結果をＪＰＥＧやＭＰＥＧやベクトル化などのファイルフォーマットへの変換、或いは、符号化制御を行う。
【００２２】
バス１１０３は、各種データの転送経路でなる。例えば、撮影部１１０２によって取得されたデジタルデータはこのバス１１０３を介して所定の処理部に送られる。内部メモリ１１１１は、ＣＰＵ１１０１の主メモリ、ワークエリア等として機能するほか、ＣＰＵ１０１で実行される制御プラグラム等を格納する。外部メモリ制御部１１１２は、ＰＣやその他のメディア（例えば、ハードディスク、メモリカード、ＣＦカード、ＳＤカード、ＵＳＢメモリ）に繋ぐためのインターフェースである。
【００２３】
図４は、第１実施形態に係る撮影装置の画像処理部の内部構成を示す機能ブロック図である。画像処理部１１０９は、撮影部１１０２により取得された画像データ、或いは、内部メモリ１１１１、外部メモリに蓄積された画像データを処理対象とし、ＣＰＵ１１０１による制御で被写体領域抽出を行う。また、画像処理部１１０９により処理された画像は、例えば、圧縮／伸長部１１１０に送信され圧縮符号化される、或いは、内部メモリ１１１１、外部メモリに保存される。
【００２４】
画像処理部１１０９は、画素選定部１１０、注目度計算部１２０、注目領域判定部１３０、対象領域抽出部１４０を備えており、入力された画像の色情報及び距離情報に基づき、画像に含まれる被写体領域を抽出する。ここで、画像の色情報とは、例えば、各画素の３原色（ＲＧＢ）の画素値を示し、距離情報とは、各画素の視点からの距離（深度）に対応する情報である。
【００２５】
図６は、入力する色画像および距離画像を例示的に示す図である。画像６００ａは処理対象画像の一例である。この例では、玩具が置き台に置かれて、背景領域に色特徴のある部分がある。画像６００ｂは距離画像の一例である。距離の遠近は明度で表されており、ここでは、明度が高い程、撮影機器までの距離が近いことを示している。特に、画像６００ｂでは、距離情報の特徴を分かりやすく説明するために、被写体領域部分、被写体領域と背景の境界部分、背景部分をそれぞれ均一な距離値で表し、背景の一部である置き台をグラデーション状の距離で表している。なお、黒色で示される領域は、距離推定が出来ておらず距離情報が欠落していることを例示的に示している。
【００２６】
なお、距離情報は、センサなどにより測定されたものでも良いし、複数の視点から撮影した画像から推定されたものでも良い。また、ユーザが画像データの各領域に対して距離を指定することにより生成しても良いし、背景技術で述べた推定を行うことにより生成しても良い。推定により得られた距離画像の場合、一般にノイズ（つまり、周囲とは異なる距離値を示す画素）も含まれうる。
【００２７】
画素選定部１１０は、入力された距離画像により示される距離値が所定距離範囲内にある、色画像上の対応する画素を処理対象の画素として選定する。ここでは、説明を簡単にするため、所定の距離閾値より小さい距離情報を有する画素を被写体の候補画素として選定する。一方、当該所定の距離閾値以上の距離情報を有する画素については背景画素であると判定する。
【００２８】
注目度計算部１２０は、色画像に含まれる各画素の、各画素位置での画像の変化度合いを示す値である注目度を求める。特に、第１実施形態においては、画素選定部１１０により選定された候補画素を対象として、２以上のガウシアンフィルタを適用しフィルタ結果の差分を取ることにより各画素の注目度を求める。
【００２９】
注目領域判定部１３０は、注目度計算部１２０により算出された各画素の注目度のうち所定の距離範囲にある画素を包含する色画像内の領域を注目領域として判定する。例えば、所定の距離範囲にある画素の全てを内包する矩形領域を当該注目領域として判定する。
【００３０】
対象領域抽出部１４０は、注目領域判定部１３０により判定された注目領域を対象として、エネルギー関数のパラメータを設定し、エネルギー関数の最小化問題を解く。これにより、当該注目領域に含まれる被写体領域と背景領域とを分離し、例えば、被写体領域のみを抽出する。すなわち、当該注目領域の外側領域は、背景領域と確定し、予め抽出処理の対象から除外されている。
【００３１】
なお、第１実施形態においては本発明の画像処理装置（画像処理部１１０９）が撮像装置の構成要素であるものとして説明しているが、当該画像処理装置を撮像装置とは別体の装置として構成しても良い。例えば、パーソナルコンピュータ（ＰＣ）が、画像処理ソフトウェアプログラムを実行し上述の各部として機能させる形態としても実現可能である。
【００３２】
図４の画像処理装置は、図３の撮影装置における撮影部１１０２からの撮影画像データ、或いは、内部メモリ１１１１、外部メモリに蓄積した画像データを処理対象とし、ＣＰＵ１１０１による制御で被写体の存在する領域を判定し、被写体領域を抽出する。また、図４の画像処理装置の画像処理結果は、図３の撮影装置における圧縮／伸長部１１１０に符号化する、或いは、内部メモリ１１１１、外部メモリに保存する、或いは、他の画像処理に用いる。
【００３３】
＜装置の動作＞
図５は、第１実施形態に係る画像処理の全体フローチャートである。
【００３４】
ステップＳ１１０では、画像処理装置が、処理対象の画像の色情報及び、当該画像に含まれる各画素に対する距離情報を、それぞれ、色画像データ及び距離画像データとして入力する（距離情報入力手段）。
【００３５】
ステップＳ１２０では、画素選定部１１０（画素選択手段）が、入力された色画像データ及び距離画像データに基づいて、所定の距離範囲内にある画素をより被写体領域の候補画素を選定する。そして、選定された画素の集合領域（第１の領域）を決定する。つまり、選定されたかった画素は背景領域の画素として確定される。この処理により、背景画素の少なくとも一部を予め除外することが出来、後述する処理の処理負荷の低減及び後述する注目領域の判定精度の向上を狙う。ステップＳ１２０の処理の詳細については図７を参照して後述する。
【００３６】
ステップＳ１３０では、注目度計算部１２０が、選定された候補画素の各々に対して注目度を計算する。つまり、候補画素の集合の中には、被写体領域の画素に加え、被写体と同程度の距離にある背景の画素がまだ含まれた状態にある。そのため、候補画素の各々の特徴量を算出し、候補画素に含まれる背景画素を区別する。この処理の詳細については図８を参照して後述する。
【００３７】
ステップＳ１４０では、注目領域判定部１３０が、候補画素の内、所定閾値以上の注目度を有する画素を包含する領域を注目領域（第２の領域）として判定する。この処理により、候補画素に含まれる背景画素の少なくとも一部を除外することが出来、後述する抽出処理の処理負荷の低減が可能になる。
【００３８】
ステップＳ１５０では、対象領域抽出部１４０が、ステップＳ１４０で注目領域と判定された領域の内部を対象として、各画素が被写体領域の画素か背景領域の画素かを判定し、被写体領域を抽出する。この処理の詳細については図９を参照して後述する。
【００３９】
＜距離情報による候補画素の選定処理（ステップＳ１２０）＞
図７は、第１実施形態における被写体領域の候補画素の選定処理を示すフローチャートである。
【００４０】
ステップＳ１２０１では、画素選定処理のための距離値Ｔを設定し、ステップＳ１２０２では、画素の距離値が設定値Ｔ以下であるかどうかを判断する。そして、画素の距離値が設定値Ｔ以下であればステップＳ１２０３に進み、画素の距離値が設定値Ｔより大きい場合はステップＳ１２０４に進む。
【００４１】
すなわち、一般的には、被写体はユーザが意図をもって撮影するものであるため、撮影装置からの距離が近い。一方、背景部分は撮影機器からの距離が遠い。したがって、処理対象の距離範囲を背景よりも近い所定の距離範囲に設定すれば、当該距離範囲に入る画素を候補画素として選定することができる。
【００４２】
ステップＳ１２０３では、着目画素を候補画素として選定し、ステップＳ１２０４では、着目画素を背景画素として決定する。
【００４３】
ステップＳ１２０５では、入力された色画像に含まれる全ての画素が判定済みであるかどうかを判断する。未処理の画素が残っていれば、新しい画素を着目画素としてステップＳ１２０２からステップＳ１２０４までの処理を行う。一方、未処理の画素が残っていなければ選定処理を終える。
【００４４】
＜候補画素の注目度計算処理（ステップＳ１３０）＞
図８は、第１実施形態における注目度計算処理を示すフローチャートである。特に、ここでは、上述の非特許文献３に示される中心−周囲差分（center-surround）法をより効率的に実行する例について述べる。
【００４５】
ステップＳ１３０１では、２以上のガウシアンフィルタのスケールを決める（スケール決定手段）。特に、ここでは、候補画素として選定された画素の個数を計数し、当該個数に基づいて２個以上のガウシアンフィルタの標準偏差（σ）を決定する。ここでは例として２個の標準偏差σ１、及び当該σ１と異なるσ２を決める。候補画素として選定された画素の個数に基づいてスケールを決定することにより、より少数のスケールのみが決定されることになる。
【００４６】
ステップＳ１３０２では、候補画素に対応する領域の色画像に対し、決定したスケールに基づくガウシアンフィルタをそれぞれ適用する。ここでは、ステップＳ１３０１において決定したσ１、σ２をそれぞれ有するガウシアンフィルタを適用する。
【００４７】
ステップＳ１３０３では、ステップＳ１３０２で得られた２以上のガウシアンフィルタの処理結果に基づいて、中心−周囲差分法により画素の注目度を計算する。ここでは、σ１のガウシアンフィルタによる処理結果画像と、σ２のガウシアンフィルタによる処理結果画像との差分画像を導出する。そして当該差分画像の各画素の値を注目度として導出する。
【００４８】
このように、第１実施形態においては、注目度計算処理の効率を向上するため、候補画素に対してのみ、かつ、少数のガウシアンフィルタに限定することにより処理負荷を低減する。また、ここでは、中心−周囲差分法を利用して注目度を計算する例について説明したが、本質的には、後述する画像１０００ｂに示されるような注目度を導出するものであれば他の方法を利用可能である。例えば、各種のエッジ検出フィルタが利用可能である。
【００４９】
＜被写体領域の抽出処理（ステップＳ１５０）＞
図９は、第１実施形態における被写体領域抽出処理を示すフローチャートである。なお、前景背景分離については、背景技術で説明したグラフカット及びグラブカット及びその変形手法が利用可能である。
【００５０】
ステップＳ１５０１では、被写体領域抽出処理の初期設定を行う。ここで、注目領域枠外の領域を背景領域として設定し、注目領域枠内の領域を未確定領域に設定する。そして、以下では、当該未確定領域に対して、背景領域の画素か被写体領域の画素かの判定が行われる。なお、上述の画素の注目度に基づき、被写体領域抽出に使用する初期値を制御するよう構成しても良い。
【００５１】
ステップＳ１５０２では、背景領域と未確定領域の色情報を解析する。この処理では、クラスタリング処理により、背景領域を複数の色特性の違う複数の背景クラスタに分け、同様に、未確定領域も複数の色特性の違う複数の被写体候補クラスタに分ける。このクラスタリング処理は、公知の混合ガウス分布の推定手法を利用することが可能である。
【００５２】
ステップＳ１５０３では、色画像の処理結果によりエネルギー関数のパラメータを計算する。具体的には、ある注目画素と該注目画素の近傍画素とに関するそれぞれの色情報及び距離情報に基づいて、当該注目画素に対するパラメータを導出する。具体的には、エネルギー関数のパラメータを計算する。例えば、パラメータとして、
類似度：注目画素の近傍画素との類似度
背景尤度：注目画素がどれぐらい背景に近いかを示す度合い
前景尤度：注目画素がどれぐらい前景に近いかを示す度合い
が導出される。
【００５３】
ステップＳ１５０４では、ステップＳ１５０３により計算されたパラメータに基づき、エネルギー関数の最小化問題を解き、前景領域と背景領域をカットする。このエネルギー関数の最小化は、グラフ理論でのネットワークフロー問題で、公知のフォード・ファルカーソンのアルゴリズムなどを利用することが可能である。
【００５４】
ステップＳ１５０５では、エネルギー関数の流量が小さくなるか、あるいは、指定する反復回数になるかを判断する。上記の条件の何れかを満たす場合、ステップＳ１５０６に進み、前景背景分離結果を出力する。一方、上記の条件の何れも満たさない場合、ステップＳ１５０７に進み、カットされた前景領域、背景領域をそれぞれ新たな未確定領域、確定背景領域として設定し、ステップＳ１５０２に戻りステップＳ１５０４までの処理を繰り返す。
【００５５】
＜処理結果例＞
図１０は、第１実施形態の画像処理における各処理段階での結果の例を示す図である。
【００５６】
画像１０００ａは、色画像である画像６００ａ及び距離画像である画像６００ｂに対し、上述の選定処理（ステップＳ１２０）により得られた候補画素群の一例を示している。この例では、除外された背景候補画素は黒色で表され、選定された候補画素は色画像における色で表されている。ただし、画像１０００ａに示されるように、背景である”置き台”も被写体と同程度の距離に位置していることから、当該置き台も候補画素として選定されている。
【００５７】
画像１０００ｂは、注目度の計算結果例である。画像１０００ｂは、各画素の注目度を明度で表したものであり、明度が高い程、視覚的に注目されやすいことを示している。なお、この例では、注目度の傾向を分かりやすく説明するために、被写体と背景の境界部分、置き台の区切り部分、それ以外の背景部分をそれぞれ均一な注目値で表している。
【００５８】
画像１０００ｃは、所定値より大きい注目度を有する画素を包含する矩形領域として注目領域を決定した例を示している。ここでは、画像１０００ａで含まれていた”置き台”の大部分が背景として除外されていることが分かる。
【００５９】
画像１０００ｄは、画像１０００ｃに示される注目領域を対象として被写体領域の抽出処理を行うことにより、被写体が好適に抽出されている例を示している。すなわち、画像６００ａに示される背景の特徴部分を、被写体として誤って抽出することを防止することに成功している。
【００６０】
以上説明したように、第１実施形態によれば、入力画像の各画素に対応する距離情報を利用することにより、背景であると確定できる画像領域を予め抽出対象から除外する。これにより、図２の画像２００ｂに示されるような誤判定を未然に防ぐことができる。その結果、複雑な画像であっても、被写体領域の抽出をより正確に実行することを可能としている。また、第１実施形態においては、処理負荷が比較的大きいエネルギー関数の最小化問題を解く処理（ステップＳ１５０４）は、入力画像の一部領域（注目領域）に対してのみ実行されるため、処理負荷を大幅に低減することが可能になる。
【００６１】
また、上述したように、第１実施形態では、距離情報により選定された候補画素の個数に基づいてガウシアンフィルタのスケール（標準偏差）を決定した。これにより、従来より少ない個数のガウシアンフィルタにより効率的に注目度画像を生成することが可能となっている。なお、上述の説明では、注目度の計算に色情報のみを使用した。しかし、色情報の他、輝度、テクスチャなどをさらに使用しても良い。その場合、各特徴から計算される注目度を重み付けることになる。
【００６２】
（第２実施形態）
第２実施形態では、距離情報に基づいて候補画素に対し注目度の重みを設定し、重み付けされた注目度により注目領域を決定する形態について説明する。
【００６３】
＜装置構成＞
図１１は、第２実施形態に係る画像処理装置の機能ブロック図である。画像処理装置は、重み設定部２１０、注目度計算部２２０、注目領域判定部２３０、対象領域抽出部２４０を備えている。そして、第１実施形態と同様、入力された画像の色情報及び距離情報に基づき、画像に含まれる被写体領域を抽出する。つまり、画素選定部１１０の代わりに重み設定部２１０を備えている部分が第１実施形態と異なる。他の機能部は第１実施形態の対応する機能部と同様であるため説明は省略する。
【００６４】
重み設定部２１０では、各画素の距離値が所定距離範囲内であるか否かに基づいて、注目度計算部２２０で算出する注目度に対する重みを設定する。ここでは、距離値が所定距離範囲内である画素に対しては重みを高く設定し、所定距離範囲外の画素に対しては重みを低く設定する。
【００６５】
＜装置の動作＞
図１２は、第２実施形態に係る画像処理の全体フローチャートである。ステップＳ２２０において、注目度に対する重みを設定し、ステップＳ２３０において、設定された重みに基づく注目度を算出する点が第１実施形態と異なる。なお、この処理の詳細については図１３及び図１４を参照して後述する。
【００６６】
＜距離情報による注目度重みの設定処理（ステップＳ２２０）＞
図１３は、重み設定処理を示すフローチャートである。
【００６７】
ステップＳ２２０１では、画素選定処理のための距離値Ｔを設定し、ステップＳ２２０２では、画素の距離値が設定値Ｔ以下であるかどうかを判断する。そして、画素の距離値が設定値Ｔ以下であればステップＳ２２０３に進み、画素の距離値が設定値Ｔより大きい場合はステップＳ２２０４に進む。
【００６８】
ステップＳ２２０３では、着目画素に対する重みを高い値（例えば１より大きい値）に設定し、ステップＳ２２０４では、着目画素に対する重みを低い値（例えば１より小さい値）に設定する。
【００６９】
ステップＳ２２０５では、入力された色画像に含まれる全ての画素が判定済みであるかどうかを判断する。未処理の画素が残っていれば、新しい画素を着目画素としてステップＳ２２０２からステップＳ２２０４までの処理を行う。一方、未処理の画素が残っていなければ重み設定処理を終える。
【００７０】
＜画素の注目度計算処理（ステップＳ２３０）＞
図１４は、第２実施形態における注目度計算処理を示すフローチャートである。
図８は、第１実施形態における注目度計算処理を示すフローチャートである。第１実施形態と同様、非特許文献３に示される中心−周囲差分（center-surround）法をベースとした例について述べる。
【００７１】
ステップＳ２３０１では、入力された色画像全体を対象として互いに異なるスケール（標準偏差σ）が設定された複数個のガウシアンフィルタを適用する。
【００７２】
ステップＳ２３０２では、ステップＳ２３０１で得られた複数のガウシアンフィルタの処理結果に基づいて、中心−周囲差分法により画素の注目度を計算する。
【００７３】
ステップＳ２３０３では、ステップ２３０２により算出された各画素の注目度に対し、重みの設定処理（ステップＳ２２０）で設定した重みにより注目度の重み付けを行う。
【００７４】
このように、第２実施形態においては、距離情報に基づいて候補画素に対し注目度の重み付けを行うことにより、第１実施形態と同様、好適に背景領域を除外した注目領域を設定することが可能となる。なお、上述の説明では、第１実施形態における、画素選定部１１０は利用しない場合について説明したが、画素選定部１１０を併せて利用するよう構成することも可能である。
【００７５】
（第３実施形態）
第３実施形態では、入力画像内に抽出対象となる被写体領域が複数存在する場合に、より好適に当該複数の被写体領域を自動抽出可能とする形態について説明する。
【００７６】
＜装置構成＞
図１５は、第３実施形態に係る画像処理装置の機能ブロック図である。画像処理装置は、距離レイヤ化部３１０、注目領域判定部３２０、対象領域抽出部３３０を備えている。そして、第１実施形態や第２実施形態と同様、入力された画像の色情報及び距離情報に基づき、画像に含まれる被写体領域を抽出する。
【００７７】
距離レイヤ化部３１０では、入力距離画像により距離範囲を２以上の範囲に分割し、各距離範囲に含まれる画素をそれぞれ選定する。注目領域判定部３２０では、各距離レイヤに含まれる画素を処理対象とし、注目度を算出し、注目度の高い領域を判定する。対象領域抽出部３３０では、各距離レイヤにおける注目領域から、各レイヤにおける被写体領域を抽出する。
【００７８】
＜装置の動作＞
図１６は、第３実施形態に係る画像処理の全体フローチャートである。
【００７９】
ステップＳ３０１では、画像処理装置が、処理対象の画像の色情報及び、当該画像に含まれる各画素に対する距離情報を、それぞれ、色画像データ及び距離画像データとして入力する。
【００８０】
ステップＳ３０２では、距離レイヤ化部３１０が、入力された距離画像に基づいて、色画像をレイヤ化する。具体的には、入力された距離画像から導出される各画素の距離情報に基づいて、色画像に含まれる画素のクラスタリング処理を行い、色画像に含まれる画素を複数の画素グループに分離する。すなわち、各画素グループは、互いに類似の距離値を持つ複数の画素の集合として設定され、以下では距離レイヤとも呼ぶ。
【００８１】
ステップＳ３０３では、距離レイヤ化部３１０が、距離のクラスタリングの結果に基づいて、各距離レイヤにおいて後述する処理対象画素を選定するための距離範囲を設定する。以降、ステップＳ３０４からステップＳ３０８までは、各距離レイヤについて、注目領域判定部３２０による注目領域の判定、及び、対象領域抽出部３３０による被写体領域の抽出がそれぞれ個別に処理される。
【００８２】
ステップＳ３０４では、注目領域判定部３２０が、着目距離レイヤにおいて、画素の距離値が、当該着目距離レイヤに対して設定された距離範囲内であるか否かを判定する。画素の距離値が距離範囲の設定値以内であればステップＳ３０５に進み、当該画素を処理対象画素とする。一方、画素の距離値は距離範囲外であればステップＳ３０６に進み、当該画素を非処理対象画素とする。この処理は着目距離レイヤに含まれる全ての画素に対して実行される。
【００８３】
ステップＳ３０７では、注目領域判定部３２０が、処理対象画素を対象として注目領域を判定する。なお、注目領域の判定処理は、上述の第１実施形態及び第２実施形態における注目度計算処理及び判定処理（ステップＳ１３０及びＳ１４０）と同様であるため説明は省略する。
【００８４】
ステップＳ３０８では、対象領域抽出部３３０が、注目領域と判定された領域の内部を対象として、各画素が被写体領域の画素か否かを判定し、被写体領域を抽出する。なお、抽出処理は、上述の第１実施形態及び第２実施形態における抽出処理（ステップＳ１５０）と同様であるため説明は省略する。
【００８５】
ステップＳ３０９では、画像処理装置が、すべての距離レイヤに対し処理済みであるかどうかを判断する。未処理の距離レイヤが残っていれば、新しい距離レイヤを着目距離レイヤとしてステップＳ３０４からステップＳ３０８までの処理を行う。一方、未処理の距離レイヤが残っていなければ処理を終える。
【００８６】
＜距離レイヤの画像例＞
図１７は、入力画像を複数の距離レイヤに分ける例を示す図である。画像１７００ａでは、”花”及び、”蝶”という２つの被写体（対象領域）が存在する。更に、対象領域である花の近くに”背景の特徴部”がある。そして、各領域に対する距離値が、画像１７００ｂにより示されている。図６の画像６００ｂと同様、距離の遠近は明度で表されており、ここでは、明度が高い程、撮影機器までの距離が近いことを示している。この場合、画像１７００ａは、被写体である”花”、被写体である”蝶”及び”背景の特徴部”の３つの距離レイヤとして設定される。
【００８７】
このように、距離範囲に応じてレイヤ化し、それぞれのレイヤで対象領域抽出処理を行うことにより、被写体（ここでは、”花”及び”蝶”）の抽出漏れを防ぎつつ、背景に含まれる特徴部も併せて抽出することが可能となる。
【００８８】
（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【図３】
0005914046.tif 000002
【図４】
0005914046.tif 000003
【図５】
0005914046.tif 000004
【図７】
0005914046.tif 000005
【図８】
0005914046.tif 000006
【図９】
0005914046.tif 000007
【図１１】
0005914046.tif 000008
【図１２】
0005914046.tif 000009
【図１３】
0005914046.tif 000010
【図１４】
0005914046.tif 000011
【図１５】
0005914046.tif 000012
【図１６】
0005914046.tif 000013
【図１】
0005914046.tif 000014
【図２】
0005914046.tif 000015
【図６】
0005914046.tif 000016
【図１０】
0005914046.tif 000017
【図１７】
0005914046.tif 000018