(57)【要約】【課題】色滲みなく前景オブジェクト画像を抽出できるようにする。【解決手段】確定値マップ生成部１３は、入力画像Ｉに対応するアルファマスク画像Ａについて、α値が最大値、または最小値の近傍の値の場合、画素を前景オブジェクト画像、または、背景画像に確定した画素とみなして１に設定し、α値がそれ以外の場合、画素を未確定領域画素とみなして０に設定した確定値マップ画像Ｓを生成する。推定前景色画像生成部１５は、確定値マップ画像Ｓにおける未確定領域画素とみなされて０に設定された各画素の画素値を、確定領域とみなされて１に設定された画素のうち、アルファマスク画像Ａにおける各画素のα値の微分値の変化量Δαの積算値からなる距離が最短距離となる画素に対応する、入力画像Ｉの画素の画素値に設定することで、入力画像Ｉに対応する推定前景色画像Ｆ＾を生成する。本発明は、画像処理装置に適用することができる。【選択図】図１
2010066803.tif 000002
【特許請求の範囲】
【請求項１】
各画素の画素値が、入力画像における前景画像領域の画素値の割合を示す第１の値よりなる、前記入力画像に対応した割合画像の画素について、前記第１の値が最大値近傍の値、または最小値近傍の値である場合、前記画素を確定領域画素とみなして所定の第２の値に設定し、前記第１の値が、前記最大値近傍の値、および前記最小値近傍の値のいずれでもない場合、前記画素を未確定領域画素とみなして所定の第３の値に設定することで、前記割合画像に対応する確定２値画像を生成する確定２値画像生成手段と、
前記確定２値画像における未確定領域画素とみなされて前記所定の第３の値に設定された各画素の画素値を、前記確定領域とみなされて前記所定の第２の値に設定された画素のうち、連続性情報の変化量の積算値からなる距離が最短距離となる画素に対応する、前記入力画像の画素の画素値に設定することで、前記入力画像に対応する推定前景色画像を生成する推定前景色画像生成手段と
を含む画像処理装置。
【請求項２】
前記推定前景色画像生成手段は、
前記割合画像の各画素について前記第１の値を微分処理する微分処理手段と、
前記割合画像の各画素から、前記確定領域とみなされて前記所定の第２の値に設定された画素までを経由する、前記割合画像の各画素の前記微分処理手段の微分処理結果の積算値を、前記連続性情報の変化量の積算値からなる距離として算出する距離算出手段とを含む
請求項１に記載の画像処理装置。
【請求項３】
前記推定前景色画像生成手段は、
前記確定２値画像における未確定領域画素とみなされて前記所定の第３の値に設定された各画素の画素値を、前記確定領域とみなされて前記所定の第２の値に設定された画素のうち、前記連続性情報の変化量の積算値からなる距離が最短距離となる画素に対応する、前記入力画像の画素の近傍であって、前記未確定領域と前記確定領域との境界付近の複数の前記入力画像の画素の画素値を、所定の重みを付して平均化し、平均化した画素値に設定することで、前記入力画像に対応する推定前景色画像を生成する
請求項１に記載の画像処理装置。
【請求項４】
前記所定の重みは、前記確定領域とみなされて前記所定の第２の値に設定された画素のうち、前記連続性情報の変化量の積算値からなる距離が最短距離となる画素からの距離に応じて設定される
請求項３に記載の画像処理装置。
【請求項５】
前記連続性情報の変化量の積算値からなる距離は、前記割合画像の各画素から、前記確定領域とみなされて前記所定の第２の値に設定された画素までを経由する、前記割合画像の各画素の、前記前景画像領域の画素の集合位置と前記背景画像領域の画素の集合位置とから統計的に求められる前景尤度値の変化量の絶対値を積分した値である
請求項１に記載の画像処理装置。
【請求項６】
前記連続性情報の変化量の積算値からなる距離は、前記割合画像の各画素から、前記確定領域とみなされて前記所定の第２の値に設定された画素までを経由する、前記割合画像の各画素の、エッジタンジェントフローベクトルの変化量の絶対値を積分した値である
請求項１に記載の画像処理装置。
【請求項７】
前記連続性情報の変化量の積算値からなる距離は、前記割合画像の各画素から、前記確定領域とみなされて前記所定の第２の値に設定された画素までを経由する、前記入力画像の各画素の、エッジタンジェントフローベクトルの変化量の絶対値を積分した値である
請求項１に記載の画像処理装置。
【請求項８】
前記確定２値画像より、前記未確定領域画素とみなされて前記第３の値が設定されている領域における画素のそれぞれに重みを設定し、前記確定２値画像に対応する重み画像を生成する重み画像生成手段と、
前記割合画像の各画素がグラフ構造化された経路の情報に基づいて、ラプラシアン行列を生成する行列生成手段と、
前記重み画像、前記ラプラシアン行列、および前記推定前景色画像から、前景色画像をパラメータとするエネルギー関数を生成する関数生成手段と、
前記エネルギー関数を最小にする前景色画像として算出する前景色画像算出手段と
を含む
請求項１に記載の画像処理装置。
【請求項９】
前記重み画像で設定される重みは、前記エネルギー関数における前記推定前景色画像を前記前景色画像に近付ける拘束力を制御する
請求項８に記載の画像処理装置。
【請求項１０】
前記重み画像で設定される重みは、前記割合画像における各画素に設定された第１の値である
請求項８に記載の画像処理装置。
【請求項１１】
各画素の画素値が、入力画像における前景画像領域の画素値の割合を示す第１の値よりなる、前記入力画像に対応した割合画像の画素について、前記第１の値が最大値近傍の値、または最小値近傍の値である場合、前記画素を確定領域画素とみなして所定の第２の値に設定し、前記第１の値が、前記最大値近傍の値、および前記最小値近傍の値のいずれでもない場合、前記画素を未確定領域画素とみなして所定の第３の値に設定することで、前記割合画像に対応する確定２値画像を生成する確定２値画像生成手段と、
前記確定２値画像における未確定領域画素とみなされて前記所定の第３の値に設定された各画素の画素値を、前記確定領域とみなされて前記所定の第２の値に設定された画素のうち、連続性情報の変化量の積算値からなる距離が最短距離となる画素に対応する、前記入力画像の画素の画素値に設定することで、前記入力画像に対応する推定前景色画像を生成する推定前景色画像生成手段と
を含む画像処理装置の画像処理方法において、
前記確定２値画像生成手段による、前記各画素の画素値が、前記入力画像における前景画像領域の画素値の割合を示す第１の値よりなる、前記入力画像に対応した割合画像の画素について、前記第１の値が最大値近傍の値、または最小値近傍の値である場合、前記画素を確定領域画素とみなして所定の第２の値に設定し、前記第１の値が、前記最大値近傍の値、および前記最小値近傍の値のいずれでもない場合、前記画素を未確定領域画素とみなして所定の第３の値に設定することで、前記割合画像に対応する確定２値画像を生成する確定２値画像生成ステップと、
前記推定前景色画像生成による、前記確定２値画像における未確定領域画素とみなされて前記所定の第３の値に設定された各画素の画素値を、前記確定領域とみなされて前記所定の第２の値に設定された画素のうち、連続性情報の変化量の積算値からなる距離が最短距離となる画素に対応する、前記入力画像の画素の画素値に設定することで、前記入力画像に対応する推定前景色画像を生成する推定前景色画像生成ステップと
を含む画像処理方法。
【請求項１２】
各画素の画素値が、入力画像における前景画像領域の画素値の割合を示す第１の値よりなる、前記入力画像に対応した割合画像の画素について、前記第１の値が最大値近傍の値、または最小値近傍の値である場合、前記画素を確定領域画素とみなして所定の第２の値に設定し、前記第１の値が、前記最大値近傍の値、および前記最小値近傍の値のいずれでもない場合、前記画素を未確定領域画素とみなして所定の第３の値に設定することで、前記割合画像に対応する確定２値画像を生成する確定２値画像生成手段と、
前記確定２値画像における未確定領域画素とみなされて前記所定の第３の値に設定された各画素の画素値を、前記確定領域とみなされて前記所定の第２の値に設定された画素のうち、連続性情報の変化量の積算値からなる距離が最短距離となる画素に対応する、前記入力画像の画素の画素値に設定することで、前記入力画像に対応する推定前景色画像を生成する推定前景色画像生成手段と
を含む画像処理装置を制御するコンピュータに、
前記確定２値画像生成手段による、前記各画素の画素値が、前記入力画像における前景画像領域の画素値の割合を示す第１の値よりなる、前記入力画像に対応した割合画像の画素について、前記第１の値が最大値近傍の値、または最小値近傍の値である場合、前記画素を確定領域画素とみなして所定の第２の値に設定し、前記第１の値が、前記最大値近傍の値、および前記最小値近傍の値のいずれでもない場合、前記画素を未確定領域画素とみなして所定の第３の値に設定することで、前記割合画像に対応する確定２値画像を生成する確定２値画像生成ステップと、
前記推定前景色画像生成による、前記確定２値画像における未確定領域画素とみなされて前記所定の第３の値に設定された各画素の画素値を、前記確定領域とみなされて前記所定の第２の値に設定された画素のうち、連続性情報の変化量の積算値からなる距離が最短距離となる画素に対応する、前記入力画像の画素の画素値に設定することで、前記入力画像に対応する推定前景色画像を生成する推定前景色画像生成ステップと
を含む処理を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置および方法、並びにプログラムに関し、特に、入力画像と２値マスク画像（２値画像）より、色滲みなく前景オブジェクト画像を抽出できるようにした画像処理装置および方法、並びにプログラムに関する。
【背景技術】
【０００２】
一般に写真などのデジタル画像内から前景オブジェクト画像として一部の領域を切り出す手段の一つとして、アルファマッティング手法がある。
【０００３】
アルファマッティング手法によって生成されたアルファマスク画像と入力画像を乗算することによって前景オブジェクト画像が切り抜かれ、新たな背景画像と合成するといった用途が考えられる。
【０００４】
ここで、アルファマスク画像とは、前景オブジェクト画像の画素単位の透明度αを示す値（以下、α値とも称する）からなる画像であり、換言すれば、前景オブジェクト画像の透明度の割合を示す画素からなる割合画像である。前景オブジェクト画像を構成する配色が、例えば、１００％となる画素の透明度をα＝１とし、例えば、０％をα＝０とし、さらに、例えば、５０％となる中間色の透明度をα＝０．５とすることにより、その透明度αにより表現される値を画素値とする画像である。このため、前景オブジェクト画像の画素値に、対応するアルファマスク画像の各画素の透明度αを乗じることにより設定される画像が、前景オブジェクト画像として抽出される画像となる。
【０００５】
ところが、このとき前景オブジェクト画像の輪郭付近の画素に、入力画像の背景画像における色が残る場合がある。
【０００６】
これは元々の入力画像において前景オブジェクト画像の輪郭に前景オブジェクト画像の色と背景画像の色が混ざった部分があり、それが新たな背景画像との合成時に色滲みとして顕在化することによって起きる。このため、切り抜いた前景オブジェクト画像を、より自然に合成するためには、アルファマスク画像だけでなく前景オブジェクト画像の真の色を計算して前景オブジェクト画像を求め、この前景オブジェクト画像とアルファマスク画像をと乗算して合成に用いる必要がある。
【０００７】
このようなアルファマッティング手法における前景色推定の方法には次のような方法が知られている。
【０００８】
第１の手法は、アルファマッティング手法によるアルファマスク画像とその入力画像から、入力画像の画素値と推定前景画像、推定背景画像、アルファマスク画像から求められる画素値に関する画素値の差、および１次微分差を最小にする方法である（非特許文献１参照）。この手法では、画素値の変化が大きな画素位置では、アルファ値か前景・背景色の変化が大きいという予測に基づいており、スムースな前景画像が得られる
【０００９】
また、第２の手法は、アルファマッティング手法によって求めたアルファマスク画像とその入力画像から、α値の差分を拘束にした連立一次方程式を作って入力画像の画素値を補完して、前景色を推測する方法である（非特許文献２参照）。この方法は拘束にアルファ差分値だけを用いており効率的である
【００１０】
さらに、第３の手法は、アルファマッティング手法によってアルファマスク画像を計算する際に、中間的に得られる仮の前景色を推定前景色として採用する方法である（非特許文献３参照）。この方法では求めたい位置の画素の周辺から、前景カラーと背景カラーの候補を多数サンプリングしてアルファ値を計算している。
【００１１】
また、第４の手法は、アルファマッティング手法によって求めたアルファマスク画像とその入力画像について、画像処理ソフトウェアを使って手動で色滲みを除去する方法で「フリンジ削除機能」として搭載されている（非特許文献４参照）。
【００１２】
【非特許文献１】A Closed Form Solution to Natural Image Matting A. Levin, D. Lischinski, Y. Weiss 2006 Conference on Computer Vision and Pattern Recognition (CVPR 2006), June 2006, pp. 61-68.
【非特許文献２】Soft Scissors: An Interactive Tool for Realtime High Quality Matting Jue Wang, Maneesh Agrawala, Michael F. Cohen ACM Transactions on Graphics, 26(3), July 2007, pp. 9:1-9:6.
【非特許文献３】A Bayesian Approach to Digital Matting Yung-Yu Chuang, Brian Curless, David H. Salesin, and Richard Szeliski. In Proceedings of IEEE Computer Vision and Pattern Recognition (CVPR 2001), Vol. II, 264-271, December 2001
【非特許文献４】http://help.adobe.com/ja_JP/Photoshop/10.0/help.html?content=WSfd1234e1c4b69f30ea53e41001031ab64-76de.html
【発明の開示】
【発明が解決しようとする課題】
【００１３】
しかしながら、非特許文献１の手法では、計算過程において一時的に作成する連立一次方程式が巨大であるためメモリの制約が生じてしまう恐れがあった。
【００１４】
また、非特許文献２の手法では、拘束にアルファ差分値だけを用いており効率的であるが、前景色の分布が単純でなく複雑に混ざっているような場合、正しい結果が得られないことがあった。
【００１５】
さらに、非特許文献３の手法では、推定される前景カラー間の空間的な拘束がないため、そのまま前景色として採用すると、非連続な前景画像しか得られないことがあった。また、良いサンプリングが得られない場合、適切でない色が採用されてしまうことがあった。
【００１６】
また、非特許文献４の手法では、除去すべき背景色や空間的な位置、適用する幅などを手動で設定する必要があり、操作が煩雑なものとなっていた。
【００１７】
本発明はこのような状況に鑑みてなされたものであり、特に、前景色推定においてはメモリを節約できるようにし、かつ前景色が空間的にスムースな連続性を持っていて、かつ前景輪郭に複雑な色分布があるようなものでも、色滲みなく前景オブジェクト画像を抽出できるようにするものである。
【課題を解決するための手段】
【００１８】
本発明の一側面の画像処理装置は、各画素の画素値が、入力画像における前景画像領域の画素値の割合を示す第１の値よりなる、前記入力画像に対応した割合画像の画素について、前記第１の値が最大値近傍の値、または最小値近傍の値である場合、前記画素を確定領域画素とみなして所定の第２の値に設定し、前記第１の値が、前記最大値近傍の値、および前記最小値近傍の値のいずれでもない場合、前記画素を未確定領域画素とみなして所定の第３の値に設定することで、前記割合画像に対応する確定２値画像を生成する確定２値画像生成手段と、前記確定２値画像における未確定領域画素とみなされて前記所定の第３の値に設定された各画素の画素値を、前記確定領域とみなされて前記所定の第２の値に設定された画素のうち、連続性情報の変化量の積算値からなる距離が最短距離となる画素に対応する、前記入力画像の画素の画素値に設定することで、前記入力画像に対応する推定前景色画像を生成する推定前景色画像生成手段とを含む。
【００１９】
前記推定前景色画像生成手段には、前記割合画像の各画素について前記第１の値を微分処理する微分処理手段と、前記割合画像の各画素から、前記確定領域とみなされて前記所定の第２の値に設定された画素までを経由する、前記割合画像の各画素の前記微分処理手段の微分処理結果の積算値を、前記連続性情報の変化量の積算値からなる距離として算出する距離算出手段とを含ませるようにすることができる。
【００２０】
前記推定前景色画像生成手段には、前記確定２値画像における未確定領域画素とみなされて前記所定の第３の値に設定された各画素の画素値を、前記確定領域とみなされて前記所定の第２の値に設定された画素のうち、前記連続性情報の変化量の積算値からなる距離が最短距離となる画素に対応する、前記入力画像の画素の近傍であって、前記未確定領域と前記確定領域との境界付近の複数の前記入力画像の画素の画素値を、所定の重みを付して平均化し、平均化した画素値に設定することで、前記入力画像に対応する推定前景色画像を生成させるようにすることができる。
【００２１】
前記所定の重みは、前記確定領域とみなされて前記所定の第２の値に設定された画素のうち、前記連続性情報の変化量の積算値からなる距離が最短距離となる画素からの距離に応じて設定されるようにすることができる。
【００２２】
前記連続性情報の変化量の積算値からなる距離は、前記割合画像の各画素から、前記確定領域とみなされて前記所定の第２の値に設定された画素までを経由する、前記割合画像の各画素の、前記前景画像領域の画素の集合位置と前記背景画像領域の画素の集合位置とから統計的に求められる前景尤度値の変化量の絶対値を積分した値とすることができる。
【００２３】
前記連続性情報の変化量の積算値からなる距離は、前記割合画像の各画素から、前記確定領域とみなされて前記所定の第２の値に設定された画素までを経由する、前記割合画像の各画素の、エッジタンジェントフローベクトルの変化量の絶対値を積分した値とすることができる。
【００２４】
前記連続性情報の変化量の積算値からなる距離は、前記割合画像の各画素から、前記確定領域とみなされて前記所定の第２の値に設定された画素までを経由する、前記入力画像の各画素の、エッジタンジェントフローベクトルの変化量の絶対値を積分した値とすることができる。
【００２５】
前記確定２値画像より、前記未確定領域画素とみなされて前記第３の値が設定されている領域における画素のそれぞれに重みを設定し、前記確定２値画像に対応する重み画像を生成する重み画像生成手段と、前記割合画像の各画素から、前記確定領域とみなされて前記所定の第２の値に設定された画素までを経由する経路がグラフ構造化された経路の情報に基づいて、ラプラシアン行列を生成する行列生成手段と、前記重み画像、前記ラプラシアン行列、および前記推定前景色画像から、前景色画像をパラメータとするエネルギー関数を生成する関数生成手段と、前記エネルギー関数を最小にする前景色画像として算出する前景色画像算出手段とを含ませるようにすることができる。
【００２６】
前記重み画像で設定される重みには、前記エネルギー関数における前記推定前景色画像を前記前景色画像に近付ける拘束力を制御させるようにすることができる。
【００２７】
前記重み画像で設定される重みは、前記割合画像における各画素に設定された第１の値とすることができる。
【００２８】
本発明の一側面の画像処理方法は、各画素の画素値が、入力画像における前景画像領域の画素値の割合を示す第１の値よりなる、前記入力画像に対応した割合画像の画素について、前記第１の値が最大値近傍の値、または最小値近傍の値である場合、前記画素を確定領域画素とみなして所定の第２の値に設定し、前記第１の値が、前記最大値近傍の値、および前記最小値近傍の値のいずれでもない場合、前記画素を未確定領域画素とみなして所定の第３の値に設定することで、前記割合画像に対応する確定２値画像を生成する確定２値画像生成手段と、前記確定２値画像における未確定領域画素とみなされて前記所定の第３の値に設定された各画素の画素値を、前記確定領域とみなされて前記所定の第２の値に設定された画素のうち、連続性情報の変化量の積算値からなる距離が最短距離となる画素に対応する、前記入力画像の画素の画素値に設定することで、前記入力画像に対応する推定前景色画像を生成する推定前景色画像生成手段とを含む画像処理装置の画像処理方法において、前記確定２値画像生成手段による、前記各画素の画素値が、前記入力画像における前景画像領域の画素値の割合を示す第１の値よりなる、前記入力画像に対応した割合画像の画素について、前記第１の値が最大値近傍の値、または最小値近傍の値である場合、前記画素を確定領域画素とみなして所定の第２の値に設定し、前記第１の値が、前記最大値近傍の値、および前記最小値近傍の値のいずれでもない場合、前記画素を未確定領域画素とみなして所定の第３の値に設定することで、前記割合画像に対応する確定２値画像を生成する確定２値画像生成ステップと、前記推定前景色画像生成による、前記確定２値画像における未確定領域画素とみなされて前記所定の第３の値に設定された各画素の画素値を、前記確定領域とみなされて前記所定の第２の値に設定された画素のうち、連続性情報の変化量の積算値からなる距離が最短距離となる画素に対応する、前記入力画像の画素の画素値に設定することで、前記入力画像に対応する推定前景色画像を生成する推定前景色画像生成ステップとを含む。
【００２９】
本発明の一側面のプログラムは、各画素の画素値が、入力画像における前景画像領域の画素値の割合を示す第１の値よりなる、前記入力画像に対応した割合画像の画素について、前記第１の値が最大値近傍の値、または最小値近傍の値である場合、前記画素を確定領域画素とみなして所定の第２の値に設定し、前記第１の値が、前記最大値近傍の値、および前記最小値近傍の値のいずれでもない場合、前記画素を未確定領域画素とみなして所定の第３の値に設定することで、前記割合画像に対応する確定２値画像を生成する確定２値画像生成手段と、前記確定２値画像における未確定領域画素とみなされて前記所定の第３の値に設定された各画素の画素値を、前記確定領域とみなされて前記所定の第２の値に設定された画素のうち、連続性情報の変化量の積算値からなる距離が最短距離となる画素に対応する、前記入力画像の画素の画素値に設定することで、前記入力画像に対応する推定前景色画像を生成する推定前景色画像生成手段とを含む画像処理装置を制御するコンピュータに、前記確定２値画像生成手段による、前記各画素の画素値が、前記入力画像における前景画像領域の画素値の割合を示す第１の値よりなる、前記入力画像に対応した割合画像の画素について、前記第１の値が最大値近傍の値、または最小値近傍の値である場合、前記画素を確定領域画素とみなして所定の第２の値に設定し、前記第１の値が、前記最大値近傍の値、および前記最小値近傍の値のいずれでもない場合、前記画素を未確定領域画素とみなして所定の第３の値に設定することで、前記割合画像に対応する確定２値画像を生成する確定２値画像生成ステップと、前記推定前景色画像生成による、前記確定２値画像における未確定領域画素とみなされて前記所定の第３の値に設定された各画素の画素値を、前記確定領域とみなされて前記所定の第２の値に設定された画素のうち、連続性情報の変化量の積算値からなる距離が最短距離となる画素に対応する、前記入力画像の画素の画素値に設定することで、前記入力画像に対応する推定前景色画像を生成する推定前景色画像生成ステップとを含む処理を実行させる。
【００３０】
本発明の画像処理装置は、独立した装置であっても良いし、画像処理を行うブロックであっても良い。
【発明の効果】
【００３１】
本発明の一側面によれば、省メモリでロバストな前景色の推定が可能となり、背景色の色滲みを軽減して、新しい背景との合成など画像加工結果の画質を向上させることが可能となる。
【発明を実施するための最良の形態】
【００３２】
［画像処理装置の構成例］
図１は、本発明を適用した一実施の形態の構成例を示す画像処理装置である。
【００３３】
図１の画像処理装置１は、入力画像Ｉより、アルファマスク画像（前景オブジェクト画像の透明度の割合を示す割合画像）Ａに基づいて、前景オブジェクト画像Ｆを色滲みなく抽出できるようにするものである。
【００３４】
画像処理装置１は、入力画像取得部１１、アルファマスク画像取得部１２、確定値マップ生成部１３、画素重みマップ生成部１４、推定前景色画像生成部１５、ラプラシアン行列生成部１６、エネルギー関数生成部１７、および前景色画像生成部１８から構成される。
【００３５】
入力画像取得部１１は、抽出しようとする前景オブジェクト画像を含む入力画像Ｉを取得し、確定値マップ生成部１３、および推定前景色画像生成部１５に供給する。
【００３６】
アルファマスク画像取得部１２は、入力されてくる前景オブジェクト画像の画素単位の透明度αを示す値（以下、α値とも称する）からなるアルファマスク画像（前景オブジェクト画像の透明度の割合を示す画素からなる割合画像）Ａを取得する。そして、アルファマスク画像取得部１２は、取得したアルファマスク画像Ａを確定値マップ生成部１３、画素重みマップ生成部１４、推定前景色画像生成部１５、およびラプラシアン行列生成部１６に供給する。尚、推定前景色画像生成部１５の詳細な構成については、図２を参照して後述する。
【００３７】
確定値マップ生成部１３は、アルファマスク画像Ａ、および入力画像Ｉより前景オブジェクト画像、または背景画像として確定している第１の画素値の画素と、そのいずれにも属しない第２の画素値からなる画素とからなる確定値マップ画像Ｓを生成する。そして、確定値マップ生成部１３は、生成した確定値マップ画像Ｓを画素重みマップ生成部１４、および推定前景色画像生成部１５に供給する。ここで、前景オブジェクト画像、または背景画像のいずれにも属していない画素は、前景オブジェクト画像における色と背景画像における色とが混合していると思われる画素である。また、確定値マップ画像Ｓにおける第１の画素値には、例えば、１が設定され、第２の画素値には、例えば、０が設定される。さらに、確定値マップ生成部１３は、確定値マップ画像Ｓの確定画素については、前景オブジェクト画像に属する画素であるか、または、背景画像に属するものであるかを識別する情報を付加する。
【００３８】
画素重みマップ生成部１４は、確定値マップ画像Ｓと、アルファマスク画像Ａとに基づいて、画素重みマップ画像Ｄｓを生成し、エネルギー関数生成部１７に供給する。より詳細には、画素重みマップ生成部１４は、確定値マップ画像Ｓのうち、未確定領域の画素に対応するアルファマスク画像Ａの画素値、すなわち、透明度αを画素の重みとして設定し、画素重みマップ画像Ｄｓを生成する。
【００３９】
推定前景色画像生成部１５は、入力画像Ｉ、アルファマスク画像Ａ、および確定値マップ画像Ｓより推定前景色画像Ｆ＾を生成し、エネルギー行列生成部１７に供給する。より詳細には、推定前景色画像生成部１５は、確定値マップ画像Ｓにおける未確定領域の各画素に対応するアルファマスク画像Ａの画素について、Sobelフィルタにより微分値を求める。そして、推定前景色画像生成部１５は、各未確定画素から確定領域の境界の画素までの経路上に存在する未確定画素の微分値の積算値を距離としたとき、その距離が最小となる確定画素を、各未確定画素の画素値に設定する。これにより、未確定画素に対応する、上述した微分値の積算値を距離としたとき最短となる前景オブジェクト画像の画素位置の画素値からなる画像が、推定前景色画像Ｆ＾として求められる。
【００４０】
ラプラシアン行列生成部１６は、アルファマスク画像Ａより、例えば、注目画素位置の周辺の画素の平均と分散から、局所的な領域の前景オブジェクト画像と背景画像の画素値の線形モデルを仮定し、周辺画素の寄与度を計算してラプラシアン行列Ｌを生成する。ラプラシアン行列Ｌは、行および列数がアルファマスク画像Ａの全画素数に対応した、正定値対称疎行列である。
【００４１】
ラプラシアン行列Ｌの各成分は、例えば、非特許文献１の例の場合、隣接画素との重みが入っており、３画素×３画素の小領域では前景オブジェクト画像の色、および背景画像の色はほぼ一定でα値のみ変化する線形モデルが仮定されている。ラプラシアン行列Ｌの各成分は、中心ピクセルの周りの３画素×３画素の小領域の平均や共分散から計算されている。この成分により隣接画素と中心画素のα値がどの程度類似しているべきかが定義される。尚、ラプラシアン行列Ｌについての詳細は、例えば、非特許文献１を参照されたい。
【００４２】
エネルギー関数生成部１７は、画素重みマップ画像Ｄｓ、ラプラシアン行列Ｌ、および推定前景色画像Ｆ＾に基づいて、前景色画像ＦのＲＧＢの色画像Ｆｃを構成するベクトルｘをパラメータとしたエネルギー関数Ｅを生成し、前景色画像生成部１８に供給する。
【００４３】
前景色画像生成部１８は、エネルギー関数Ｅが最小となるＲＧＢの色画像Ｆｃのベクトルｘを求め、各色のベクトルｘから前景色画像Ｆを求め、入力画像Ｉのうち、アルファマスク画像Ａにより定義される前景オブジェクト画像として出力する。前景色画像Ｆは、最終的に抽出されるアルファマスク画像Ａに基づいて、入力画像Ｉより抽出される前景オブジェクト画像そのものである。
【００４４】
［推定前傾画像生成部の構成例］
次に、図２を参照して、推定前景色画像生成部１５の詳細な構成例について説明する。
【００４５】
推定前景色画像生成部１５は、微分画像生成部３１、最近傍前景画素マップ生成部３２、および推定前景色画素生成部３３より構成される。
【００４６】
微分画像生成部３１は、アルファマスク画像Ａの各画素におけるα値を、例えば、Sobelフィルタにより微分処理し、微分結果からなる微分画像Ａ’を最近傍前景画素マップ生成部３２に供給する。尚、微分画像生成部３１は、値を微分処理することができるものであればよいので、Sobelフィルタのみならず、他のフィルタであってもよい。
【００４７】
最近傍前景画素マップ生成部３２は、確定値マップ画像Ｓにおける未確定領域の各画素について、確定領域まで最短距離となる確定領域の画素を探索する。この際、最近傍前景画素マップ生成部３２は、各未確領域の画素から確定領域の画素までの経路上に存在する未確定画素の微分値の積算値を経路の距離として求め、最短距離となる確定領域の画素を探索する。そして、最近傍前景画素マップ生成部３２は、探索された確定領域の画素の画素位置の情報を各画素に対応付けた最近傍前景画素マップ画像Ｎを生成し、推定前景色画素生成部３３に供給する。
【００４８】
推定前景色画素生成部３３は、最近傍前景画素マップ画像Ｎで設定されている画素位置に対応する入力画像Ｉの画素値を設定することにより、推定前景色画像Ｆ＾を生成し、出力する。
【００４９】
［前景色画像生成処理］
次に、図３のフローチャートを参照して、前景色画像生成処理について説明する。
【００５０】
ステップＳ１において、入力画像取得部１１およびアルファマスク画像取得部１２は、それぞれ入力画像Ｉ、およびアルファマスク画像Ａが供給されてきたか否かを判定し、入力画像Ｉ、およびアルファマスク画像Ａが供給されてくるまで、同様の処理を繰り返す。ステップＳ１において、例えば、図４，図５で示されるような、入力画像Ｉ、およびアルファマスク画像Ａが入力されてきた場合、処理は、ステップＳ２に進む。図４，図５は、人物の顔画像の一部を撮像した入力画像Ｉおよびアルファマスク画像Ａの画像例を示す図である。尚、図５のアルファマスク画像Ａは、図４の入力画像Ｉに対応したものであり、透明度α＝１に白色を、透明度α＝０に黒色を設定した画像である。また、以降においては、入力画像Ｉのうち、この髪の毛の画像を含む顔画像領域を前景オブジェクト画像とし、それ以外を背景画像として扱うものとする。
【００５１】
ステップＳ２において、入力画像取得部１１は、入力された入力画像Ｉを確定値マップ生成部１３、および推定前景色画像生成部１５に供給する。また、アルファマスク画像取得部１２は、入力されたアルファマスク画像Ａを確定値マップ生成部１３、画素重みマップ生成部１４、推定前景色画像生成部１５、およびラプラシアン行列生成部１６に供給する。
【００５２】
さらに、確定値マップ生成部１３は、アルファマスク画像Ａより前景オブジェクト画像、または背景画像として確定している所定の第１の画素値の画素と、いずれにも属しない所定の第２の画素値からなる画素とからなる確定値マップ画像Ｓを生成する。
【００５３】
より詳細には、確定値マップ生成部１３は、透明度αが、α＝１またはα＝０に設定された画素については、前景オブジェクト画像の色が確定した確定画素として、例えば、画素値を１に設定し、それ以外の未確定画素を０に設定し、確定値マップ画像Ｓを生成する。また、確定値マップ生成部１３は、確定画素として設定された画素のうち、透明度αがα＞０．５ならば前景確定画素、α＜０．５なら背景確定画素として設定する。例えば、確定値マップ生成部１３が、図５で示されるようなアルファマスク画像Ａに対して、確定値マップ画像Ｓを生成すると、図６で示されるような画像となる。図６においては、白色の領域Ｚ１が前景オブジェクト画像を構成する確定画素からなる確定領域を示し、黒色で示される領域Ｚ２が未確定画素からなる未確定領域を示し、領域Ｚ２を挟んで領域Ｚ１と反対側の白色の領域Ｚ３が、背景画像の確定領域を示している。
【００５４】
また確定画素は、α＝１またはα＝０に限るものに限らず、例えば、適当な敷居値を設定して定義しても良く、例えば、α＞０．９８かつα＜０．０２としてもよい。また、未確定画素からなる未確定領域は、後段の処理の精度を向上させるため、例えば、１画素乃至数画素程度、確定領域に対して拡張するようにしてもよい。このような処理により、例えば、入力画像Ｉがアップサンプリングされた画像などであったために、確定画素と未確定画素が補間された色として計算されても色滲みのない前景オブジェクト画像の色を精度よく計算することが可能となる。
【００５５】
ステップＳ３において、画素重みマップ生成部１４は、確定値マップ画像Ｓと、アルファマスク画像Ａとに基づいて、画素重みマップ画像Ｄｓを生成し、エネルギー関数生成部１７に供給する。より詳細には、画素重みマップ生成部１４は、確定値マップ画像Ｓのうち、未確定領域の画素に対応するアルファマスク画像Ａの画素値、すなわち、透明度αを画素の重みとして設定し、画素重みマップ画像Ｄｓを生成する。この画素重みマップ画像Ｄｓの各画素に対応する値の調整により、後述するエネルギー関数Ｅの特性が変化する。例えば、画素重みマップ画像Ｄｓの各画素に対応する値が大きいほど推定前景色画像に近い前景色画像が得られ易くエネルギー関数Ｅが設定される。逆に、画素重みマップ画像Ｄｓの各画素に対応する値が小さいほど、隣接する前景オブジェクト画像の画素値から補完される値に近くなり、滑らかな連続性を持つ前景オブジェクト画像の画素値が得られる。
【００５６】
尚、ここでは、画素重みマップ画像Ｄｓの各画素に対応する重みは、各画素の透明度α（０≦α≦１）を用いるものとしているが、重みとして設定される値は、他の値であっても良いものである。
【００５７】
ステップＳ４において、推定前景色画像生成部１５は、推定前景色画像処理生成処理を実行し、入力画像Ｉ、アルファマスク画像Ａ、および確定値マップ画像Ｓより推定前景色画像Ｆ＾を生成し、エネルギー行列生成部１７に供給する。
【００５８】
［推定前景色画像処理生成処理］
ここで、図７のフローチャートを参照して、推定前景色画像処理生成処理について説明する。
【００５９】
ステップＳ３１において、微分画像生成部３１は、アルファマスク画像Ａの各画素におけるα値をSobelフィルタにより微分処理し、微分値Δαからなる微分画像Ａ’を最近傍前景画素マップ生成部３２に供給する。
【００６０】
ステップＳ３２において、最近傍前景画素マップ生成部３２は、微分画像Ａ’に基づき、確定値マップ画像Ｓの未確定領域の各画素について、確定領域との境界上の前景オブジェクト画像の全確定画素に至る全経路上の画素の微分値Δαを積算する。そして、最近傍前景画素マップ生成部３２は、各画素について、この微分値Δαの積算値が最も小さな経路を、確定画素までの最短経路とみなし、その経路を介して到達している確定画素の画素位置を読み出す。
【００６１】
すなわち、図８で示されるように、最近傍前景画素マップ生成部３２は、未確定領域の画素Ｐｄから境界上の複数の確定画素Ｐｕまでの全経路ＰＡＴＨ上の画素の微分値Δαを積算し、以下の式（１）で示される演算により最小値をとる確定画素Ｐｕを探索する。
【００６２】
【数１】
2010066803.tif 000003
（１）
【００６３】
ここで、ｄ（Ｐｄ，Ｐｕ）は、未確定領域の画素Ｐｄから確定領域との境界上に存在する確定画素Ｐｕまでの経路ＰＡＴＨ上に存在する全ての画素の微分値Δαの絶対値の積算値のうち、積算値が最小となる確定画素Ｐｕのものであることを示している。この経路毎の、微分値Δαの積算値で定義される距離は、一般にＧｅｏｄｅｓｉｃ  Ｄｉｓｔａｎｃｅと呼ばれる測地距離である。また、各経路ＰＡＴＨは、図９で示されるような、８近傍隣接関係の隣接画素間をつなぐノードとして順次結合することで設定されるものとする。すなわち、図９で示されるように、画素ＴＰが次の経路として設定可能な隣接画素は、画素Ｐ１乃至Ｐ８までの８方向となる。
【００６４】
尚、図８においては、領域Ｚ１１が未確定画素からなる未確定領域であり、領域Ｚ１２，Ｚ１３は、いずれも前景オブジェクト画像の確定画素からなる確定領域である。また、境界Ｂは、未画定領域と確定領域との境界であり、白色の画素ＳＦＰ１乃至ＳＦＰ８、および、黒色の画素Ｐｄは、境界Ｂ上の確定画素を示している。
【００６５】
また、最短経路として求められた最も近傍の確定画素までの距離（Ｇｅｏｄｅｓｉｃ  Ｄｉｓｔａｎｃｅ）を画素値として設定した距離マップ画像Ｍは、例えば、図１０で示されるような画像となる。図１０の距離マップ画像Ｍにおいては、確定画素については黒色を設定し、距離に応じて明るい色が設定されており、最も遠い画素については、白色に設定されている。
【００６６】
ステップＳ３３において、最近傍前景画素マップ生成部３２は、未確定画素のそれぞれについて、最短経路として探索された画素位置の情報を対応付けて最近傍前景画素マップ画像Ｎを生成し、推定前景色画素生成部３３に供給する。
【００６７】
ステップＳ３４において、推定前景色画素生成部３３は、最近傍前景画素マップ画像Ｎに基づき、未確定画素の画素毎に設定された画素位置の入力画像Ｉにおける確定画素の画素値を読み出し、未確定画素の画素値として設定することで、推定前景色画像Ｆ＾を生成する。すなわち、例えば、図８で示されるように、推定前景色画素生成部３３は、未確定画素Ｐｕの画素値を、最短経路として探索された、最近傍前景画素である画素Ｐｄの画素位置に対応する入力画像Ｉの画素値に設定する。
【００６８】
尚、この際、最近傍前景画素マップ画像Ｎに設定された最短経路として選択される画素は、必ずしも適切な画素でない恐れがある。そこで、推定前景色画素生成部３３は、最短経路として選択された画素周辺であって境界上の複数の確定画素に所定の重みを付したの平均値を、未確定画素の画素値とするようにしても良い。
【００６９】
すなわち、図８で示されるように、画素Ｐｕに対応する未確定画素について、最短経路として設定された画素Ｐｄと、その近傍であって、境界上の確定画素ＳＦＰ１乃至ＳＦＰ８との平均値を求めて、未確定画素Ｐｕの画素値として設定するようにしてもよい。
【００７０】
さらに、この画素Ｐｕの近傍の画素については、例えば、Jue Wang Cohen, M.F. Optimized Color Sampling for Robust Matting.Computer Vision and Pattern Recognition, 2007.を参照されたい。
【００７１】
以上の処理により、未確定画素について、微分値の積算値が最小となる経路により最短で到達する前景オブジェクト画像の画素に置き換えることにより、前景オブジェクト画像における自然な色を再現することが可能となる。このため、前景オブジェクト画像と背景画像との境界近傍において、前景オブジェクト画像における背景画像の色の滲みを抑制することが可能となる。
【００７２】
ここで、図３のフローチャートの説明に戻る。
【００７３】
ステップＳ５において、ラプラシアン行列生成部１６は、アルファマスク画像Ａよりラプラシアン行列Ｌを生成し、エネルギー関数生成部１７に供給する。より詳細には、ラプラシアン行列生成部１６は、行数、列数が同じ正方行列で、画素間の関係を示すグラフ構造を、全画素数（ノード数）×全画素数の正方行列からなるラプラシアン行列を生成する。より詳細には、ラプラシアン行列生成部１６は、各行の対角成分が、同じ行の対角成分以外の成分を総和して、符号を反転して、つまり、各行はそれぞれ全部足すと０になるラプラシアン行列Ｌを生成する。
【００７４】
例えば、図１１で示されるように画素Ｐ１乃至Ｐ６が接続され、図中の線分により接続された画素間が隣接関係に有るものとする。図１１で示されるような関係が有る場合、ラプラシアン行列生成部１６は、例えば、以下の式（２）で示されるようなラプラシアン行列Ｌを生成する。
【００７５】
【数２】
2010066803.tif 000004
（２）
【００７６】
すなわち、図１１で示されるように、画素Ｐ１には、画素Ｐ２，Ｐ５が接続されている。このため、ラプラシアン行列生成部１６は、式（２）のラプラシアン行列Ｌで示されるように、１行目は、画素Ｐ２，Ｐ５に対応する２，５列目に「−１」を設定し、１列目を「２」（＝｜−１｜×２）とする。
【００７７】
また、同様に、図１１で示されるように、画素Ｐ２には、画素Ｐ１，Ｐ３，Ｐ５が接続されている。このため、ラプラシアン行列生成部１６は、式（２）のラプラシアン行列Ｌで示されるように、２行目は、画素Ｐ１，Ｐ３，Ｐ５に対応する１，３，５列目に「−１」を設定し、２列目を「３」（＝｜−１｜×３）とする。
【００７８】
さらに、同様に、図１１で示されるように、画素Ｐ３には、画素Ｐ２，Ｐ４が接続されている。このため、ラプラシアン行列生成部１６は、式（２）のラプラシアン行列Ｌで示されるように、３行目は、画素Ｐ２，Ｐ４に対応する２，４列目に「−１」を設定し、３列目を「２」（＝｜−１｜×２）とする。
【００７９】
また、同様に、図１１で示されるように、画素Ｐ４には、画素Ｐ３，Ｐ５，Ｐ６が接続されている。このため、ラプラシアン行列生成部１６は、式（２）のラプラシアン行列Ｌで示されるように、４行目は、画素Ｐ３，Ｐ５，Ｐ６に対応する１，３，５列目に「−１」を設定し、４列目を「３」（＝｜−１｜×３）とする。
【００８０】
さらに、同様に、図１１で示されるように、画素Ｐ５には、画素Ｐ１，Ｐ２，Ｐ４が接続されている。このため、ラプラシアン行列生成部１６は、式（２）のラプラシアン行列Ｌで示されるように、５行目は、画素Ｐ１，Ｐ２，Ｐ４に対応する１，２，４列目に「−１」を設定し、５列目を「３」（＝｜−１｜×３）とする。
【００８１】
また、同様に、図１１で示されるように、画素Ｐ６には、画素Ｐ４のみが接続されている。このため、ラプラシアン行列生成部１６は、式（２）のラプラシアン行列Ｌで示されるように、６行目は、画素Ｐ４に対応する４列目に「−１」を設定し、４列目を「１」（＝｜−１｜×１）とする。
【００８２】
ステップＳ６において、エネルギー関数生成部１７は、画素重みマップ画像Ｄｓ、ラプラシアン行列Ｌ、および推定前景色画像Ｆ＾に基づき、以下の式（３）で示される前景色画像Ｆをパラメータとしたエネルギー関数Ｅを生成し、前景色画像生成部１８に供給する。
【００８３】
ｘ＝arg min（ｘTＬｘ＋λ（ｘ−Ｆ＾）TＤｓ（ｘ−Ｆ＾））
（３）
【００８４】
ここで、arg min（Ｑ）、は数学記号で、関数Ｑの値が最小になるようにパラメータxの値を決定させることを示す関数である。また、ｘは生成されるべき前景色画像Ｆを構成する色画像Ｆｃにおける画素数分のベクトルである。このため、式（３）は、エネルギー関数Ｅが最小となるベクトルｘの組み合わせが求められることになる。また、ｘT，（ｘ−Ｆ＾）Tはそれぞれベクトルｘ，（ｘ−Ｆ＾）の転置を示し、Ｌはラプラシアン行列、λは正の値からなる係数を、Ｄｓは画素重みマップ画像をそれぞれ示している。
【００８５】
式（３）においては、「ｘTＬｘ」は、平滑化項であり、「λ（ｘ−Ｆ＾）TＤｓ（ｘ−Ｆ＾）」はデータ項である。
【００８６】
平滑化項は隣接する画素の値同士が滑らか（同じ）になるようにベクトルｘを決めるように作用する項である。また、データ項はベクトルｘと推定前景色画像Ｆ＾とが０となるようにすることで推定前景色画像Ｆ＾にベクトルxを近づけように作用する項である。
【００８７】
平滑化項とデータ項とは、相互にトレードオフの関係にあり、いずれか一方の値を優先して０（最小）にしようとすると、他方の値が大きくなる。よって、式（３）は、両者の値がバランスよく、かつ、合計が最小になるように計算される。前景色画像生成部１８は、実際の計算では、式（３）を共役勾配法やＬＵ分解により計算し最小化する。
【００８８】
また、係数λは、データ項の平滑化項に対する相対的な強さを調整する。また、画素重みマップ画像Ｄｓは、データ項の各行の相対的な重要度、すなわち、前景オブジェクト画像を構成する画素の画素値への影響力の大きさを設定する。すなわち、画素重みマップ画像Ｄｓに、１．０の項が存在すれば、係数λだけ拘束力が大きくなり、λが小さくなるほど拘束力が小さくなる。そして、画素重みマップ画像Ｄｓまたは係数λにより拘束力が０になると、データ項の重要度はゼロとなり、エネルギー関数Ｅは、平滑化項のみにより決定されることになる。尚、画素重みマップ画像Ｄｓは、正の値で一般には０．０乃至１．０であるが、それに限定されるものではない。
【００８９】
また、平滑化項やデータ項が２次式とされている(ベクトルｘを2回乗算している）のは、数学的に最小解を求めるためであり、例えば、以下の式（４）で示されるように、微分式とすることにより最小値を求めることができる。
【００９０】
（Ｌ＋λＤｓ）ｘ＝λＦ＾
（４）
【００９１】
ステップＳ７において、前景色画像生成部１８は、例えば、上述した式（４）を演算することにより、ベクトルｘを解いて、前景色画像Ｆを構成する色画像Ｆｃを求める。
【００９２】
ステップＳ８において、前景色画像生成部１８は、ＲＧＢ（Red Green Blue）の全色分の色画像Ｆｃが求められたか否かを判定し、全色の処理が終了していない場合、ステップＳ７に戻り、未処理の色について処理を実行する。すなわち、全ての色の色画像Ｆｃが求められるまで、ステップＳ７，Ｓ８の処理が繰り返される。
【００９３】
そして、ステップＳ８において、全色分の色画像Ｆｃがもつめられ、処理が終了したと判定された場合、ステップＳ９において、前景色画像生成部１８は、全色分の色画像Ｆｃより前景色画像Ｆを構成し、入力画像Ｉにおけるアルファマスク画像Ａで設定された、例えば、図１２で示されるような前景オブジェクト画像Ｆとして出力する。
【００９４】
以上の処理により、エネルギー関数Ｅが最小となるように、各色の前景色画像の画素値からなるベクトルｘが求められ、このベクトルｘからなる各色の色画像Ｆｃから前景色画像Ｆが求められ、前景色画像Ｆが前景オブジェクト画像Ｆとして構成される。結果として、前景オブジェクト画像と背景画像との境界付近で、前景オブジェクト画像に生じる背景画像の色の滲みを抑制することが可能となる。
【００９５】
尚、ステップＳ４の処理で計算した推定前景色画像Ｆ＾は入力画像として与えるようにしても良い。すなわち、Jue Wang Cohen, M.F. Optimized Color Sampling for Robust Matting.Computer Vision and Pattern Recognition, 2007.でも示されているが、推定前景色画像Ｆ＾はアルファマスク画像生成時の副産物として生成されるものである。そこで、本発明のステップＳ４の処理で再利用することで処理の高速化やメモリの節約を実現するようにしてもよい。
【００９６】
また、ステップＳ４の処理で計算した推定前景色画像Ｆ＾は、前景尤度値を前景オブジェクト画像の画素集合（α＝１）と背景画像の画素集合（α＝０）から統計的に求めて、最小距離を前景オブジェクト画像の画素集合を起点とした前景尤度値変化量の絶対値を積分した距離を使って求めるようにしてもよい。
【００９７】
さらに、ステップＳ４の処理で計算した推定前景色画像Ｆ＾は、最小距離を前景画素集合を起点としたアルファマスク画像Ａのエッジタンジェントフロー（ベクトル）の変化量の絶対値を積算した距離を使って求めても良い。エッジタンジェントフローベクトルは、たとえば、H. Kang, S. Lee, C. Chui. Coherent Line Drawing.Proc. ACM Symposium on Non-photorealistic Animation and Rendering, 2007に紹介されている手法により求めるようにしてもよい。エッジタンジェントフローベクトルの変化量ｗは、たとえば、以下の式（５）で示されるように現在の位置ｘのエッジタンジェントフローベクトルｔｉ（ｘ）と隣接する位置のエッジタンジェントフローベクトルｔｊ（ｘ）とによって求めることができる。
【００９８】
ｗ＝１−｜ｔｉ（ｘ）×ｔｊ（ｘ）｜
（５）
【００９９】
また、ステップＳ４の処理で計算した推定前景色画像Ｆ＾は、その最小距離を前景オブジェクト画像の画素集合を起点とした入力画像Ｉのエッジタンジェントフロー（ベクトル）の絶対値からなる変化量を積分した距離を使って求めるようにしても良い。
【０１００】
さらに、ステップＳ５で計算したラプラシアン行列Ｌは、入力画像ＩのＲＧＢ値から求めてもよい。
【０１０１】
また、ステップ５で計算したラプラシアン行列Ｌは、前景尤度値を上記入力画像の前景画素集合と背景画素集合から統計的に求めて、その前景尤度値を用いて計算しても良い。前景尤度値は、例えば、式（６）で示されるように正規化前景尤度Ｐｂ（ｘ）を計算することで構築する。式（６）においてｘは対象画素、ｐ（Ｃx｜θGF）は前景色尤度、ｐ（Ｃx｜θGB）は背景色尤度である。上記尤度ｐ（）は、例えば、Ｇａｕｓｓｉａｎ  Ｍｉｘｔｕｒｅ  Ｍｏｄｅｌによって計算される。
【０１０２】
Ｐｂ（ｘ）＝ｐ（Ｃx｜θGF）／（ｐ（Ｃx｜θGF）＋ｐ（Ｃx｜θGB））
（６）
【０１０３】
また前景色画像Ｆの質よりも計算時間を優先させたいような場合、ステップＳ４の処理において、推定前景色画像Ｆ＾の計算を省略して利用しないようにしてもよい。このとき、確定領域の画素位置の推定前景色画像Ｆ＾の各画素を０にし、また前景オブジェクト画像領域の画素位置以外の画素重みマップ画像Ｄｓを０にする。これにより前景画素位置のみを拘束として前景色画像を計算するので高速に処理することができる。
【０１０４】
また、ステップＳ５の処理において、エネルギー関数Ｅの定義は入力画像Ｉの色成分のうち１つをＦｃとして取り出して行っているが、省メモリよりも処理速度を優先したい場合は３色を同時に含んだエネルギー関数Ｅを定義してもよい。
【０１０５】
以上の如く、本発明によれば、前景オブジェクト画像と背景画像との境界付近で、前景オブジェクト画像に生じる背景画像の色の滲みを抑制することが可能となる。
【０１０６】
ところで、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
【０１０７】
図１３は、汎用のパーソナルコンピュータの構成例を示している。このパーソナルコンピュータは、CPU(Central Processing Unit)１００１を内蔵している。CPU１００１にはバス１００４を介して、入出力インタフェース１００５が接続されている。バス１００４には、ROM(Read Only Memory)１００２およびRAM(Random Access Memory)１００３が接続されている。
【０１０８】
入出力インタフェース１００５には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部１００６、処理操作画面や処理結果の画像を表示デバイスに出力する出力部１００７、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部１００８、LAN（Local Area Network）アダプタなどよりなり、インターネットに代表されるネットワークを介した通信処理を実行する通信部１００９が接続されている。また、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリなどのリムーバブルメディア１０１１に対してデータを読み書きするドライブ１０１０が接続されている。
【０１０９】
CPU１００１は、ROM１００２に記憶されているプログラム、または磁気ディスク、光ディスク、光磁気ディスク、もしくは半導体メモリ等のリムーバブルメディア１０１１から読み出されて記憶部１００８にインストールされ、記憶部１００８からRAM１００３にロードされたプログラムに従って各種の処理を実行する。RAM１００３にはまた、CPU１００１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０１１０】
尚、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理は、もちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理を含むものである。
【図面の簡単な説明】
【０１１１】
【図１】本発明を適用した画像処理装置の構成例を示すブロック図である。
【図２】推定前景色画像生成部の構成例を示すブロック図である。
【図３】前景画像生成処理を説明するフローチャートである。
【図４】入力画像の画像例を示す図である。
【図５】アルファマスク画像の画像例を示す図である。
【図６】確定値マップ画像の画像例を示す図である。
【図７】推定前景色画像生成処理を説明するフローチャートである。
【図８】最短距離を説明する図である。
【図９】８近傍隣接関係を説明する図である。
【図１０】距離マップを説明する図である。
【図１１】グラフ構造を説明する図である。
【図１２】前景色画像の画像例を示す図である。
【図１３】パーソナルコンピュータの構成例を説明する図である。
【符号の説明】
【０１１２】
１  画像処理装置，  １１  入力画像取得部，  １２  アルファマスク画像取得部，  １３  確定値マップ画像生成部，  １４  画素重みマップ生成部，  １５  推定前景色画像生成部，  １６  ラプラシアン行列生成部，  １７  エネルギー関数生成部，  １８  前景色画像生成部，  ３１  微分画像生成部，  ３２  最近傍前景画素マップ生成部，  ３３  推定前景色画素生成部
【図１】
2010066803.tif 000005
【図２】
2010066803.tif 000006
【図３】
2010066803.tif 000007
【図４】
2010066803.tif 000008
【図５】
2010066803.tif 000009
【図６】
2010066803.tif 000010
【図７】
2010066803.tif 000011
【図８】
2010066803.tif 000012
【図９】
2010066803.tif 000013
【図１０】
2010066803.tif 000014
【図１１】
2010066803.tif 000015
【図１２】
2010066803.tif 000016
【図１３】
2010066803.tif 000017