(57)【要約】      （修正有）【課題】抽出対象の物体の周辺に、抽出対象の物体の色に近い物体がある場合であっても、物体領域の誤検出が発生しにくいシステム等を提供する。【解決手段】物体領域抽出システムは、物体領域、背景領域、指定無し領域を含む入力画像の、位置色空間における物体距離と背景距離との算出時に、前記物体領域内の画素の位置の分布の広がる範囲が、前記背景領域内の画素の位置の分布の広がる範囲よりも小さい（大きい）場合には、物体距離は、色の座標軸上の距離に対する位置の座標軸の距離の比を、背景距離よりも大きく（小さく）算出する局所性比較手段と、物体距離が背景距離より大きい場合には前記注目画素は前記背景領域に、物体距離が背景距離より小さい場合には前記注目画素は前記物体領域に属すと判定して、判定結果を出力する物体領域生成手段と、を備える。【選択図】図１５
2012014535.tif 000002
【特許請求の範囲】
【請求項１】
物体領域、背景領域、指定無し領域を含む入力画像の、各画素の色及び前記入力画像内の位置を座標とする空間（位置色空間）における、前記指定無し領域内の任意の画素（注目画素）と前記物体領域内の所定画素（物体代表点）との距離（物体距離）と、前記注目画素と前記背景領域内の所定画素（背景代表点）との距離（背景距離）との算出時に、
前記物体領域内の画素の位置の分布の広がる範囲が、前記背景領域内の画素の位置の分布の広がる範囲よりも小さい場合には、物体距離は、色の座標軸上の距離に対する位置の座標軸の距離の比を、背景距離よりも大きく算出し、
前記物体領域内の画素の位置の分布の広がる範囲が、前記背景領域内の画素の位置の分布の広がる範囲よりも大きい場合には、物体距離は、色の座標軸上の距離に対する位置の座標軸の距離の比を、背景距離よりも小さく算出する局所性比較手段と、
物体距離が背景距離より大きい場合には前記注目画素は前記背景領域に、物体距離が背景距離より小さい場合には前記注目画素は前記物体領域に属すと判定して、判定結果を出力する物体領域生成手段と、を備える物体領域抽出システム。
【請求項２】
前記局所性比較手段は、物体距離における色の座標軸上の距離に対する位置の座標軸の距離の比を第１のパラメータとし、背景距離における色の座標軸上の距離に対する位置の座標軸の距離の比を第２のパラメータとし、前記第１のパラメータと前記第２のパラメータを、前記物体領域内の画素の位置の分布の広がる範囲と前記背景領域内の画素の位置の分布の広がる範囲との大小関係を保つように定める請求項１に記載の物体領域抽出システム。
【請求項３】
前記入力画像を、色が均一な領域に過分割し、該過分割された領域を前記画素とする領域過分割手段をさらに備える請求項１または２に記載の物体領域抽出システム。
【請求項４】
前記局所性比較手段は、背景領域内の画素の位置の分布の広がる範囲が物体領域内の画素の位置の分布の広がる範囲よりも大きい（小さい）場合であって、複数の物体代表点の位置の分布の広がる範囲が複数の背景代表点の位置の分布の広がる範囲よりも大きい（小さい）場合に、前記第１のパラメータをより大きく（小さく）するか、前記第２のパラメータをより小さく（大きく）するか、またはその両方を実行する請求項１乃至３に記載の物体領域抽出システム。
【請求項５】
入力画像を取得する画像入力手段と、
物体領域と背景領域を指定するマスク画像を入力するマスク入力手段と、
前記入力画像上で前記マスク画像により物体領域の一部として指定された画素または領域から、物体領域の位置と色に基づく物体モデルを構築する物体モデル構築手段と、
前記入力画像上で前記マスク画像により背景領域の一部として指定された画素または領域から、物体領域の位置と色に基づく背景モデルを構築する背景モデル構築手段と、
前記入力画像上の画素と前記物体モデルとの距離に基づき前記入力画像上の画素の物体尤度を求める物体尤度計算手段と、
前記入力画像上の画素と前記背景モデルとの距離に基づき前記入力画像上の画素の背景尤度を求める背景尤度計算手段と、
前記入力画像上で隣接する画素同士または領域同士の連続性を求める連続性尤度計算手段と、
前記入力画像の各画素または領域にノードを対応させて、対応させた各画素または領域に与えられる前記物体尤度と前記背景尤度をノードの値として与え、隣接する画素間のつながりにエッジを対応させて、対応させた画素間または領域間に与えられる前記連続性尤度をエッジの値として与えたグラフを構築するグラフ構築手段と、
前記グラフに対して前記各尤度の和が最大になるように最大流最適化を行い物体領域と背景領域とを分離する最大流最適化手段と、
前記分離された物体領域または背景領域の少なくとも一方を抽出する物体領域生成手段と、
を備える請求項１乃至請求項４に記載の物体領域抽出システム。
【請求項６】
物体領域、背景領域、指定無し領域を含む入力画像の、各画素の色及び前記入力画像内の位置を座標とする空間（位置色空間）における、前記指定無し領域内の任意の画素（注目画素）と前記物体領域内の所定画素（物体代表点）との距離（物体距離）と、前記注目画素と前記背景領域内の所定画素（背景代表点）との距離（背景距離）との算出時に、
前記物体領域内の画素の位置の分布の広がる範囲が、前記背景領域内の画素の位置の分布の広がる範囲よりも小さい場合には、物体距離は、色の座標軸上の距離に対する位置の座標軸の距離の比を、背景距離よりも大きく算出し、
前記物体領域内の画素の位置の分布の広がる範囲が、前記背景領域内の画素の位置の分布の広がる範囲よりも大きい場合には、物体距離は、色の座標軸上の距離に対する位置の座標軸の距離の比を、背景距離よりも小さく算出する局所性比較ステップと、
物体距離が背景距離より大きい場合には前記注目画素は前記背景領域に、物体距離が背景距離より小さい場合には前記注目画素は前記物体領域に属すと判定して、判定結果を出力する物体領域生成ステップと、
をコンピュータに実行させる物体領域抽出プログラム。
【請求項７】
物体距離における色の座標軸上の距離に対する位置の座標軸の距離の比を第１のパラメータとし、背景距離における色の座標軸上の距離に対する位置の座標軸の距離の比を第２のパラメータとし、前記第１のパラメータと前記第２のパラメータを、前記物体領域内の画素の位置の分布の広がる範囲と前記背景領域内の画素の位置の分布の広がる範囲との大小関係を保つように定める前記局所性比較ステップをコンピュータに実行させる請求項６に記載の物体領域抽出プログラム。
【請求項８】
物体領域、背景領域、指定無し領域を含む入力画像の、各画素の色及び前記入力画像内の位置を座標とする空間（位置色空間）における、前記指定無し領域内の任意の画素（注目画素）と前記物体領域内の所定画素（物体代表点）との距離（物体距離）と、前記注目画素と前記背景領域内の所定画素（背景代表点）との距離（背景距離）との算出時に、
前記物体領域内の画素の位置の分布の広がる範囲が、前記背景領域内の画素の位置の分布の広がる範囲よりも小さい場合には、物体距離は、色の座標軸上の距離に対する位置の座標軸の距離の比を、背景距離よりも大きく算出し、
前記物体領域内の画素の位置の分布の広がる範囲が、前記背景領域内の画素の位置の分布の広がる範囲よりも大きい場合には、物体距離は、色の座標軸上の距離に対する位置の座標軸の距離の比を、背景距離よりも小さく算出し、
物体距離が背景距離より大きい場合には前記注目画素は前記背景領域に、物体距離が背景距離より小さい場合には前記注目画素は前記物体領域に属すと判定して、判定結果を出力する物体領域抽出方法。
【請求項９】
物体距離における色の座標軸上の距離に対する位置の座標軸の距離の比を第１のパラメータとし、背景距離における色の座標軸上の距離に対する位置の座標軸の距離の比を第２のパラメータとし、前記第１のパラメータと前記第２のパラメータを、前記物体領域内の画素の位置の分布の広がる範囲と前記背景領域内の画素の位置の分布の広がる範囲との大小関係を保つように定める請求項８に記載の物体領域抽出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は物体領域抽出システム、方法、及び、プログラムに関する。
【背景技術】
【０００２】
物体領域抽出システムの一例が、非特許文献１、特許文献１に記載されている。非特許文献１と特許文献１の手法は、ユーザにより指定された物体領域と背景領域から求められたヒストグラムに基づく各画素が各領域に含まれる確からしさと、各画素が同じ領域に含まれる確からしさとに基づいて、ユーザが興味を持つ物体領域を抽出する手法である。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】米国特許出願公開２００４／０００８８８６
【非特許文献】
【０００４】
【非特許文献１】Y. Boykov et al., "Interactive graph cuts for optimal boundary and region segmentation of objects in N-D images" Proc. Int'l Conf. on Computer Vision, 2001
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上述の文献に記載の技術では、抽出対象の物体の周辺に、抽出対象の物体の色に近い物体がある場合に、物体領域の誤検出が発生しやすいという問題がある。本発明は、このような課題を解決することを目的とする。
【課題を解決するための手段】
【０００６】
かかる目的を達成するため、本発明の一形態は、物体領域抽出システムであって、物体領域、背景領域、指定無し領域を含む入力画像の、各画素の色及び前記入力画像内の位置を座標とする空間（位置色空間）における、前記指定無し領域内の任意の画素（注目画素）と前記物体領域内の所定画素（物体代表点）との距離（物体距離）と、前記注目画素と前記背景領域内の所定画素（背景代表点）との距離（背景距離）との算出時に、前記物体領域内の画素の位置の分布の広がる範囲が、前記背景領域内の画素の位置の分布の広がる範囲よりも小さい場合には、物体距離は、色の座標軸上の距離に対する位置の座標軸の距離の比を、背景距離よりも大きく算出し、前記物体領域内の画素の位置の分布の広がる範囲が、前記背景領域内の画素の位置の分布の広がる範囲よりも大きい場合には、物体距離は、色の座標軸上の距離に対する位置の座標軸の距離の比を、背景距離よりも小さく算出する局所性比較手段と、物体距離が背景距離より大きい場合には前記注目画素は前記背景領域に、物体距離が背景距離より小さい場合には前記注目画素は前記物体領域に属すと判定して、判定結果を出力する物体領域生成手段と、を備える。
【０００７】
また、本発明によれば、物体領域、背景領域、指定無し領域を含む入力画像の、各画素の色及び前記入力画像内の位置を座標とする空間（位置色空間）における、前記指定無し領域内の任意の画素（注目画素）と前記物体領域内の所定画素（物体代表点）との距離（物体距離）と、前記注目画素と前記背景領域内の所定画素（背景代表点）との距離（背景距離）との算出時に、前記物体領域内の画素の位置の分布の広がる範囲が、前記背景領域内の画素の位置の分布の広がる範囲よりも小さい場合には、物体距離は、色の座標軸上の距離に対する位置の座標軸の距離の比を、背景距離よりも大きく算出し、前記物体領域内の画素の位置の分布の広がる範囲が、前記背景領域内の画素の位置の分布の広がる範囲よりも大きい場合には、物体距離は、色の座標軸上の距離に対する位置の座標軸の距離の比を、背景距離よりも小さく算出する局所性比較ステップと、物体距離が背景距離より大きい場合には前記注目画素は前記背景領域に、物体距離が背景距離より小さい場合には前記注目画素は前記物体領域に属すと判定して、判定結果を出力する物体領域生成ステップと、をコンピュータに実行させる物体領域抽出プログラムが提供される。
【０００８】
また、本発明によれば、物体領域、背景領域、指定無し領域を含む入力画像の、各画素の色及び前記入力画像内の位置を座標とする空間（位置色空間）における、前記指定無し領域内の任意の画素（注目画素）と前記物体領域内の所定画素（物体代表点）との距離（物体距離）と、前記注目画素と前記背景領域内の所定画素（背景代表点）との距離（背景距離）との算出時に、前記物体領域内の画素の位置の分布の広がる範囲が、前記背景領域内の画素の位置の分布の広がる範囲よりも小さい場合には、物体距離は、色の座標軸上の距離に対する位置の座標軸の距離の比を、背景距離よりも大きく算出し、前記物体領域内の画素の位置の分布の広がる範囲が、前記背景領域内の画素の位置の分布の広がる範囲よりも大きい場合には、物体距離は、色の座標軸上の距離に対する位置の座標軸の距離の比を、背景距離よりも小さく算出し、物体距離が背景距離より大きい場合には前記注目画素は前記背景領域に、物体距離が背景距離より小さい場合には前記注目画素は前記物体領域に属すと判定して、判定結果を出力する物体領域抽出方法が提供される。
【発明の効果】
【０００９】
本発明によれば、抽出対象の物体の周辺に、抽出対象の物体の色に近い物体がある場合であっても、物体領域の誤検出が発生しにくい物体領域抽出システム、方法、及び、プログラムを提供することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の第１の実施の形態の構成を示すブロック図である。
【図２】マスク画像を説明する図である。
【図３】入力画像とマスク画像から物体/背景モデルを構築する手順を説明する図である。
【図４】物体/背景モデル構築時に、物体と背景とで空間的な広がりの違いを考慮した場合の代表点のカバーする領域の変化について説明する図である。
【図５】物体/背景尤度計算に用いる、注目画素と最近傍代表点との距離について説明する図である。
【図６】物体モデルと背景モデルとで空間的な広がりの違いを考慮した場合に発生する効果の例について説明する図である。
【図７】物体モデルと背景モデルとで空間的な広がりの違いを考慮した場合としない場合との処理結果の例を示す図である。
【図８】本発明の第１の実施の形態の動作を示す流れ図である。
【図９】本発明の第２の実施の形態の構成を示すブロック図である。
【図１０】本発明の第２実施の形態の動作を示す流れ図である。
【図１１】本発明の第２の実施の形態の動作の具体例を示す図である。
【図１２】局所性比較部１０５の機能の一例を説明するための図である。
【図１３】局所性比較部１０５の機能の一例を説明するための図である。
【図１４】局所性比較部１０５の機能の一例を説明するための図である。
【図１５】本発明の第３の実施の形態の構成を示すブロック図である。
【発明を実施するための形態】
【００１１】
次に、発明を実施するための形態について図面を参照して詳細に説明する。
【００１２】
なお、各実施形態の物体領域抽出システム１を構成する各部は、制御部、メモリ、メモリにロードされたプログラム、プログラムを格納するハードディスク等の記憶ユニット、ネットワーク接続用インターフェースなどからなり、ハードウェアとソフトウェアの任意の組合せによって実現される。そして特に断りのない限り、その実現方法、装置は限定されない。
【００１３】
制御部はＣＰＵ（Central Processing Unit）などからなり、オペレーティングシステムを動作させて物体領域抽出システム１の全体を制御するとともに、例えばドライブ装置などに装着された記録媒体からメモリにプログラムやデータを読み出し、これにしたがって各種の処理を実行する。
【００１４】
記録媒体は、例えば光ディスク、フレキシブルディスク、磁気光ディスク、外付けハードディスク、半導体メモリ等であって、コンピュータプログラムをコンピュータ読み取り可能に記録する。また、コンピュータプログラムは、通信網に接続されている図示しない外部コンピュータからダウンロードされても良い。
【００１５】
また、各実施形態の説明において利用するブロック図は、ハードウェア単位の構成ではなく、機能単位のブロックを示している。これらの機能ブロックはハードウェア、ソフトウェアの任意の組み合わせによって実現される。また、これらの図においては、各実施形態の構成部は物理的に結合した一つの装置により実現されるよう記載されている場合もあるが、その実現手段はこれに限定されない。すなわち、二つ以上の物理的に分離した装置を有線または無線で接続し、これら複数の装置により、各実施形態のシステムを実現してもよい。
【００１６】
＜第１の実施の形態＞
図１に本発明の第一の実施の形態にかかる物体領域抽出システム１のブロック図を示す。図１を参照すると、本発明の第１の実施の形態にかかる物体領域抽出システム１は、画像入力部１０１と、マスク入力部１０２と、物体モデル構築部１０３と、背景モデル構築部１０４と、局所性比較部１０５と、物体尤度計算部１０６と、背景尤度計算部１０７と、連続性尤度計算部１０８と、グラフ構築部１０９と、最大流最適化部１１０と、物体領域生成部１１１と、を含む。なお、物体領域抽出システム１は、具体的には、例えば、パーソナルコンピュータなどの情報処理装置を用いて実現される。これらの各部は、それぞれ概略つぎのように動作する。
【００１７】
画像入力部１０１は、論理回路によって実現される専用装置や、プログラムを実行する情報処理装置のＣＰＵなどによって実現される。画像入力部１０１は、ＵＳＢカメラなどの各種カメラなどで撮影された画像や記憶媒体に記憶された画像などの撮像処理対象の画像を入力画像としてシステムに入力する。
【００１８】
マスク入力部１０２は、論理回路によって実現される専用装置や、プログラムを実行する情報処理装置のＣＰＵなどによって実現される。マスク入力部１０２は、前記入力画像上の抽出対象の物体領域と、それ以外の背景領域を指定するマスク画像をシステムに入力する。前記マスク画像は、例えば、抽出対象が人間の上体の場合、図２のように、物体のマスク領域（物体マスク領域）は階調値２５５、背景のマスク領域（背景マスク領域）は階調値０、指定のない領域は階調値１２８などとする画像である。これらの諧調値は、人手により適宜設定変更可能である。物体マスク領域や背景マスク領域は、本来の物体領域や背景領域の一部を示してあれば良い。物体マスク領域や背景マスク領域の位置や形状は、入力画像ごとに人手により設定してもよい。あるいは、物体マスク領域や背景マスク領域の形状は、最初から決まっていてもよい。この際、抽出対象の物体の上に物体マスク領域が重なり、対象物体以外の領域に背景マスク領域が重なるように、物体を撮影するカメラの向きが調整されるようにしてもよい。画像中の顔の位置は、「鈴木ら、“リングフィルタを用いた高速顔検出処理の開発”、電子通信学会大会後援論文集、Vol.2003, pp.213、2003/03」に記載された顔検出の方法などを用いて検出されてもよい。物体領域と背景領域の位置や形状は、検出した画像中の顔の位置からマスク入力部１０２が決定しても良い。ここでは、抽出対象を人間の上体としたが、それ以外の物体であっても同様のアプローチでマスク画像が与えられる。マスク入力部１０２により、入力画像は、物体領域（物体マスク領域）、背景領域（背景マスク領域）、物体領域でも背景領域でもない指定無し領域に分けられる（図２参照）。
【００１９】
物体モデル構築部１０３は、論理回路によって実現される専用装置や、プログラムを実行する情報処理装置のＣＰＵなどによって実現される。物体モデル構築部１０３は、前記マスク画像により物体マスク領域として指定された前記入力画像の画素の階調値と画像上の座標とから物体モデルを構築する。ここでは、画像内における位置座標の横軸をx座標、縦軸をy座標とする。なお、画像は３次元画像でも良く、その場合には、画像内の位置を表す、縦、横、高さの３つの軸を用いてもよい。また、画像上の各画素はR（Red）、G（Green）、B（Blue）の３つの色のチャネルを持つとする。この場合、物体モデル構築部１０３は、図３（ｂ）に示すように、入力画像上で物体マスク領域（白領域）に相当する領域に含まれるn個の画素のx、y座標と、R、G、B値とで構成されるxyRGB空間内の特徴データD0（式（１））を得る。
2012014535.tif 000003
【００２０】
続いて、物体モデル構築部１０３は、変換係数ベクトル
2012014535.tif 000004
を用いて特徴データD0を式（２）のようにD0’に変換する。
2012014535.tif 000005
2012014535.tif 000006
【００２１】
物体モデル構築部１０３は、この特徴データD0’から、例えば、k-平均法を用いて特徴データのk個の代表点（物体代表点）を算出する。本実施の形態では、このxyRGB空間のk個の代表点を物体モデルとする。
【００２２】
背景モデル構築部１０４は、論理回路によって実現される専用装置や、プログラムを実行する情報処理装置のＣＰＵなどによって実現される。背景モデル構築部１０４は、前記マスク画像により背景マスク領域として指定された前記入力画像の画素の階調値と画像上の座標とから背景モデルを構築する。背景モデル構築部１０４は、物体モデル構築時と同様に図３（ｂ）に示す背景マスク領域（黒領域）に基づき、xyRGB空間内に式（３）に示す特徴データDＢを得る。
2012014535.tif 000007
【００２３】
続いて、背景モデル構築部１０４は、変換係数ベクトル
2012014535.tif 000008
を用いて特徴データDＢを式（４）のようにDＢ’に変換する。
2012014535.tif 000009
2012014535.tif 000010
【００２４】
背景モデル構築部１０４は、物体モデルと同様に、この特徴データDＢ’から、k個の代表点（背景代表点）を計算する。本実施の形態では、このxyRGB空間のk個の代表点を背景モデルとする。
【００２５】
なお、この例では、物体モデルも背景モデルも、各画素はRGB色空間の3チャネルを持つとしたが、輝度チャネルだけのモノクロ画像や、輝度信号Yと２つの色差信号（Cb、Cr）を使って表現されるYCbCr色空間、その他、CIELAB色空間など、他の色空間を用いた場合も、同様に物体モデルや背景モデルは構築できる。また、本実施の形態における色とは、RGBのみならず、他の色相、彩度、明度、輝度などで表される値であってもよい。
【００２６】
局所性比較部１０５は、論理回路によって実現される専用装置や、プログラムを実行する情報処理装置のＣＰＵなどによって実現される。局所性比較部１０５は、前記物体モデル構築部１０３と前記背景モデル構築部１０４で物体モデルと背景モデルを構築する際に、画像中の物体領域と背景領域の位置に関する分布の広がりを比較した情報（例えば、物体は背景よりも狭い範囲に固まって存在しているという情報）を例えばマスク入力部１０２から取得し、物体モデル構築部１０３、背景モデル構築部１０４に与える。物体モデル構築部１０３、背景モデル構築部１０４は、例えば、物体領域の特徴データを変換する変換係数ベクトルAの要素a1,,a2と背景領域の特徴データを変換する変換係数ベクトルBの要素b1,b2とが、式（５）を満たすように物体モデル、背景モデルを構築する。
2012014535.tif 000011
【００２７】
以下では、例えば、a1,a2,b1,b2の値のみを変化させ、a3,a4,a5,b3,b4,b5の値を固定する。
【００２８】
仮に、物体領域の方が背景領域よりも狭い範囲に固まっているにも関わらず、k-平均法により得られた物体モデルと背景モデルの位置に関する分布について、物体モデルの方が背景モデルより広い分布になっている場合（例えば、物体モデルの特徴データD０と物体モデルの最近傍の代表点との距離の分散が、背景モデルの特徴データDＢと背景モデルの最近傍の代表点との距離の分散よりも大きい場合）、局所性比較部１０５は、a1とb1、a２とb２の各差を広げてから再度代表点を計算しなおす。そして、局所性比較部１０５は、例えば、物体モデルの分布の広がりが、背景モデルの分布の広がりより小さくなるまで代表点を計算しなおすことができる。または、局所性比較部１０５は、画像中の物体領域と背景領域の分布の広がりに関する情報を予めもっている場合、式（５）を満たす定数を直接指定してもよい。このようにして、局所性比較部１０５は、物体モデルの空間分布が背景モデルの空間分布よりも狭い範囲となるようにする。なお、分布の広がりは、上述のように各モデルの特徴データとその最近傍の背景代表点の距離の分散に基づいて定めても良いし、各モデルの重心から測ったモデルの端点までの距離を基に定めても良い。また、分布の広がりを表す他の任意の尺度をもとに分布の広がりが定められても良く、特段制限されるものではない。
【００２９】
なお、式（５）の拘束条件は、物体が局所的に存在し、背景が大域的に存在するという前提の下で設けられている。画像の条件によっては、物体領域が大域的に存在し、背景領域が局所的に存在する場合もある。この場合は、局所性比較部１０５は、式（５）の等号を逆にすることで上記と同様にして処理が可能である。
【００３０】
変換係数ベクトルA、Bの第１、第２要素は、それぞれx座標、y座標の係数に相当する座標変換係数であり、これらの係数に対して式（５）の拘束を設けることで、各モデルの代表点がカバーする領域（全代表点中、ある代表点を最も近い代表点とする各特徴データの集合を、その代表点がカバーする領域とよぶ。以下同様。）の大きさが変化する。物体領域の方が背景領域よりも狭い範囲に固まっている場合の具体例として、xyRGB空間のうちx座標とRチャネル（R座標）だけをみた場合（xR空間）について図１２、１３、１４、及び、図４を用いて説明する。
【００３１】
位置に関する変換係数が大きい場合（本例ではa1）、元の特徴データ（図１２参照）の変換後には、x座標方向に特徴データが広く分布する。この場合、例えばk-平均法による代表点の抽出を物体モデル構築部１０３が行なうと、x軸方向に対して相対的に多くの代表点が生じる（図１３参照）。これに対し、位置に関する変換係数が小さい場合（本例ではb1）、元の特徴データの変換後には、x座標方向に特徴データが縮まって分布する。この場合、例えばk-平均法による代表点の抽出を背景モデル構築部１０４が行なうと、x軸方向に対してはより少ない代表点が生じ、R軸方向に対して相対的に多くの代表点が生じる（図１４参照）。
【００３２】
この処理をもとのxR空間でみると、図４のように、変換係数が大きい物体モデルは、１つ１つの代表点がカバーする領域のｘ軸上の分布範囲は狭くなり（実線）となり、変換係数が小さい背景モデルは、x軸上の分布範囲が広くなる（点線）。すなわち、入力画像上の物体領域と背景領域との空間位置における分布の広がりの相対差を維持して物体モデルと背景モデルとが構築されるように、局所性比較部１０５は変換係数を調整する。
【００３３】
なお、b1,b2の、どちらか片方を０とした場合、背景モデル構築部１０４は、背景モデル構築時にx軸またはy軸のどちらかを考慮に入れないことになる。また、b1,b2の両方を０とした場合は、背景モデルは位置に依存せず、RGBの階調値にのみ依存するモデルとなる。このように、局所性比較部１０５は、変換係数を調整することで、物体モデル、背景モデルの構築を制御できる。また、a1,a2の、どちらか片方を０とした場合、物体モデル構築部１０３は、物体モデル構築時にx軸またはy軸のどちらかを考慮に入れないことになる。また、a1,a2の両方を０とした場合は、物体モデルは位置に依存せず、RGBの階調値にのみ依存するモデルとなる。このように、局所性比較部１０５は、変換係数を調整することで、物体モデル、背景モデルの構築を制御できる。
【００３４】
物体尤度計算部１０６は、入力画像中の画素と物体モデルの最近傍代表点との距離が近いか否かに基づき、前記入力画像中の画素が物体領域に含まれる可能性を示す指標である物体尤度を求める。具体的には、注目画素の特徴データをvI、物体モデルのi番目の代表点をvOI、背景モデルのi番目の代表点をvBIとし、それぞれ、
2012014535.tif 000012
とする（ｍ：特徴次元数）。このとき、物体尤度lI(O)は、例えば式（６）のように表すことができる。
2012014535.tif 000013
【００３５】
なお、dBは注目画素と背景モデルの最近傍代表点までの距離（背景距離）、doは注目画素と物体モデルの最近傍代表点までの距離（物体距離）であり、例えば式（７）のように表すことができる。
2012014535.tif 000014
式（７）
【００３６】
dBとdoの具体例を図５に示す。図５のように、注目画素と背景モデルの最近傍代表点までの距離がdB、注目画素と物体モデルの最近傍代表点までの距離がdoである。
【００３７】
背景尤度計算部１０７は、入力画像中の画素と背景モデルの最近傍代表点との距離が近いか否かに基づき、前記入力画像中の画素が背景領域に含まれる可能性を示す指標である背景尤度を求める。式（７）を用いると、背景尤度lI(B)は、例えば式（８）のように表すことができる。
2012014535.tif 000015
【００３８】
以上のように、物体領域内の画素と注目画素との色が類似する場合であっても、局所性比較部１０５が物体モデルと背景モデルとで空間位置に関する変換係数の大きさを異ならせることで、注目画素が物体領域として抽出されてしまう誤検出が低下する。
【００３９】
図６に物体モデルと背景モデルとで空間的な広がりの違いを考慮した場合に発生する効果の一例を示す。図６の点A、B、Cが同じ色で、点Aを注目画素と仮定し、点Bを物体モデルの１代表点と仮定し、点Cを背景モデルの１代表点と仮定する。位置情報がない場合、つまりRGB情報のみを用いて物体モデルと背景モデルを構築する場合は、注目画素点Aの物体尤度と背景尤度は同じ値となる。また、位置情報は存在する（モデルがxyRGB空間で記述されている）が、物体領域と背景領域とで空間的な広がりの違いを考慮しない場合（a1,a2,b1,,b2が同じ値の場合）は、注目画素点Aと距離の近い代表点の属するモデルの尤度が高くなる。例えば、図６の場合は、点Aと点Bの距離が点Aと点Cの距離よりも近いため、注目画素点Aでは物体尤度の方が背景尤度よりも高くなる。一方、空間的な広がりを考慮し、背景領域が物体領域よりも広がっているとした場合は、注目画素点Aは、点Bとの距離doよりも位置情報が距離に影響しづらい点Cとの距離dBの方が小さくなり（（式７）参照）、結果として背景尤度の方が物体尤度よりも高くなる。つまり、局所性比較部１０５が変換係数の大きさを調整することにより、注目画素と背景モデルの代表点との距離dBは色の情報が主要素となるのに対し、注目画素と物体モデルの代表点との距離doは、色の情報に加え、位置に関する情報も主要素となり得るため、その分だけdoの方が大きくなる。その結果、物体尤度と背景尤度の大きさが変化する。本実施の形態では、式（５）が満たされるようにしているため、背景尤度は相対的に色の情報によって決定されやすく、物体尤度は相対的に位置の情報によって決定されやすい。
【００４０】
このように、局所性比較部１０５は、doとdBの算出時に、物体領域の分布範囲の広がりと背景領域の分布範囲の広がりとを考慮して、xyRGB空間における色の座標軸（RGB軸など）上の距離に対する位置の座標軸（xy軸など）の距離の比を、背景距離よりも大きく、あるいは、小さく算出するように変換係数を制御することで物体尤度と背景尤度の大きさが変化するため、物体領域抽出システム１は物体の周辺にある物体と類似した背景色領域の誤検出を抑制することができる（図７参照）。
【００４１】
連続性尤度計算部１０８は、プログラムに従って動作する情報処理装置や、情報処理装置のＣＰＵなどによって実現される。連続性尤度計算部１０８は、隣接する２つの画素が同じ領域に含まれるか否かの尤度を求める。この連続性尤度は、仮定により様々な形が考えられる。例えば、連続性尤度計算部１０８は、式（９）の尤度関数を用いることで、画素u、v間の連続性尤度lc(u,v)を得ても良い。
2012014535.tif 000016
【００４２】
グラフ構築部１０９は、論理回路によって実現される専用装置や、プログラムを実行する情報処理装置のＣＰＵなどによって実現される。グラフ構築部１０９は、グラフのノードを画像の画素に対応させ、隣接する画素の関係をノード間のエッジに対応させ、前記物体尤度と前記背景尤度をノードの尤度としてセットし、前記連続性尤度をエッジの重みとしてセットしたグラフを構築する。この結果、構築したグラフは式（１０）のようなエネルギー関数E(L)を持つ。
2012014535.tif 000017
【００４３】
ここで、En(L)、Ee(L)はそれぞれ、以下で表される。
2012014535.tif 000018
【００４４】
ここで、λは正定数、Ｐはノードの集合、eはエッジの集合、Lは各ノードのラベル(物体/背景)である。
【００４５】
最大流最適化部１１０は、論理回路によって実現される専用装置や、プログラムを実行する情報処理装置のＣＰＵなどによって実現される。最大流最適化部１１０は、前記構築したグラフに対して、最大流最適化に基づく最適化を行なう。最大流最適化には、例えば、Y. Boykov et al., "Interactive graph cuts for optimal boundary and region segmentation of objects in N-D images" Proc. Int'l Conf. on Computer Vision, 2001の手法を用いることができる。最大流最適化部１１０は、この手法により最適化を行なうことにより、式（１０）のエネルギー関数を最適化する。この最適化の結果、物体領域と背景領域が得られる。
【００４６】
物体領域生成部１１１は、プログラムに従って動作する情報処理装置や、情報処理装置のＣＰＵなどによって実現される。物体領域生成部１１１は、前記物体領域を画像から抽出し、前記物体領域と単一色、例えば均一な白色背景と合成して、物体領域画像を出力する。
【００４７】
次に、図１及び図８のフローチャートを参照して本実施の形態にかかる物体領域抽出システム１の全体の動作について詳細に説明する。
【００４８】
まず、画像入力部１０１は処理対象の入力画像を読み込む（図８のステップＡ１）。次に、マスク入力部１０２は前記入力画像の物体/背景マスク領域情報が記述されたマスク画像を入力する（ステップＡ２）。前記マスク画像が得られると、物体マスク領域と入力画像に基づいて、物体モデル構築部１０３は物体モデルを構築する（ステップＡ３）。同様に、背景マスク領域と入力画像に基づいて、背景モデル構築部１０４は背景モデルを構築する（ステップＡ４）。局所性比較部１０５は物体モデルと背景モデルが、事前に与えられた条件に適うか否かの判定を行い（ステップＡ５）、条件に適わない場合は位置に関する変換係数（a1,a2,b1,,b2）の調整を行う（ステップＡ６）。そして、再度、物体モデル構築部１０３は物体モデルを構築し（ステップＡ３）、背景モデル構築部１０４は背景モデルを構築する（ステップＡ４）。条件に適う場合は、画素ごとに物体尤度計算部１０６は物体尤度を計算し（ステップＡ７）、同様に背景尤度計算部１０７は画素ごとに背景尤度を計算する（ステップＡ８）。続いて、連続性尤度計算部１０８は、隣接する画素間の連続性尤度を計算する（ステップＡ９）。上記の各尤度を用いて、グラフ構築部１０９は、これらの尤度と画素の隣接関係に基づき、画像の構造をグラフ構造にて表現する（ステップＡ１０）。グラフが得られると、次に最大流最適化部１１０は、最大流最適化を行い（ステップＡ１１）、物体領域と背景領域とを分離する。最後に物体領域生成部１１１は、物体領域を成形して、物体領域として出力して処理を終了する（ステップＡ１２）。
【００４９】
なお、物体領域抽出システム１は、物体モデルの構築と背景モデルの構築を逆順に行なってもよいし、並列に行ってもよい。また、物体領域抽出システム１は、物体尤度計算、背景尤度計算、連続性尤度計算の順序を変えて行なってもよいし、並列に行ってもよい。また、ステップＡ１２では、図示しない背景領域生成部が、背景領域を成形して、背景領域として出力して処理を終了しても良い。
【００５０】
本発明の第１の実施の形態では、上述のように、局所性比較部１０５は、位置に関する変換係数（a1,a2,b1,,b2）のみを操作するように説明した。しかし、色空間内では、物体領域は背景領域に対して局所的に存在しているため、局所性比較部１０５は、位置に関する変換係数に対して行う処理を色チャネルに関する変換係数（色係数、a3,a4,a5,b3,b4,b5）に対して適用することで、本発明の第１の実施の形態と同様の効果を色空間内で得ることができる。
【００５１】
次に、本発明の第１の実施の形態の効果について説明する。
【００５２】
本発明の第１の実施の形態では、物体領域抽出システム１が、物体領域と背景領域の、領域の広がりの違いを考慮したモデル構築を行うよう構成されているため、抽出対象の物体の周辺の背景に物体と類似色を持つ領域がある場合にも、物体領域の誤検出が発生しにくいという効果を奏する。
【００５３】
＜第２の実施の形態＞
次に、本発明の第２の実施の形態について図面を参照して詳細に説明する。図９を参照すると、本発明の第２の実施の形態は、第１の実施の形態の構成に加え、画像入力部１０１の次に領域過分割部１１２が追加されている点が異なる。
【００５４】
領域過分割部１１２は、プログラムに従って動作する情報処理装置や、情報処理装置のＣＰＵなどによって実現される。領域過分割部１１２は、画像入力部１０１で処理対象の入力画像が得られると、前記入力画像を小領域に過分割する。領域過分割部１１２は、例えば、watershed法やP. F. Felzenszwalb et al.,”Efficient Graph-Based Image Segmentation”, International Journal of Computer Vision, Vol.59, No. 2, 2004/02に記載のグラフ記述に基づく領域分割法などを用いることにより本処理を実行することができる。これらの手法による領域の過分割は、画像上の色（色相、彩度、明度、輝度などで表される値）、エッジの有無などに基づき均質な領域を切り出すものであり、抽出対象の物体領域や背景領域よりも遥かに小さな領域に入力画像は分割される。
【００５５】
物体領域抽出システム１は、画像が過分割された後、各過分割領域を画素(Super-pixel)とみなす。この際、画素(Super-pixel)の色は、過分割領域の平均色や中間色、あるいは領域中に存在する複数の色などとする。画素(Super-pixel)の座標は、過分割領域の重心や上限、下限などとする。物体領域抽出システム１は、物体モデルと背景モデル構築時には、過分割領域内のすべての画素(Super-pixel)を利用してもよい。この仮定の下で、以降の処理は、第１の発明を実施するための形態と同様に動作するため、詳細説明を省略する。
【００５６】
次に、図９及び図１０のフローチャートを参照して本実施の形態の全体の動作について詳細に説明する。
【００５７】
まず、画像入力部１０１は処理対象の入力画像を得る（図１０のステップＡ１）。次に、領域過分割部１１２は前記入力画像を過分割する（ステップＢ１）。以降は、過分割した小領域を画素(Super-Pixel)とみなし、第１の発明を実施するための形態の動作と同様に処理がなされる。
【００５８】
なお、図１０では、物体領域抽出システム１は領域過分割を行った後にマスク入力ステップを行うように構成されているが、この順序は変更して構成されてもよい。
【００５９】
次に、本発明の第２の実施の形態の効果について説明する。
【００６０】
本発明の第２の実施の形態では、物体領域抽出システム１が、物体領域と背景領域の、領域の大きさの違いを考慮したモデル構築を行うよう構成されているため、抽出対象の物体の周辺の背景に物体と類似色を持つ領域がある場合にも、物体領域の誤検出が発生しにくいという効果を奏する。
【００６１】
また、本発明の第２の実施の形態では、物体領域抽出システム１が、入力画像を過分割し、過分割した各領域を画素(Super-Pixel)とみなして処理を行う。そのため、入力画像に対してそのまま処理をする場合に比べて、物体領域抽出システム１はグラフのノード数を大幅に削減できる。そのため、第２の実施の形態にかかる物体領域抽出システム１は、第１の実施の形態にかかる物体領域抽出システム１に比べて、高速に物体抽出を行うことができる。
【００６２】
＜実施例＞
次に、図１１を用いて、本発明の第２の実施の形態の具体的な実施例を説明する。
【００６３】
図１１の実施例は、人物を撮影するＵＳＢカメラなどの撮像部２０１と、図１０のフローチャートを実行するコンピュータ２０２と、最終結果を表示するモニターなどの表示部２０３とで構成されている。なお、コンピュータ２０２は、例えばドライブ装置などに装着された記録媒体からメモリに実行ファイルやプログラム、データを読み出し、これにしたがって各種の処理を実行する。また、プログラムは、通信網に接続されている図示しない外部コンピュータからダウンロードされても良い。
【００６４】
図１１の実施例は、処理対象となる画像中の大部分が背景領域であり、画像中の一部領域に抽出対象の人物が存在している例を示している。
【００６５】
コンピュータ２０２は、図１０に記載のフローチャートを実行するように、実行ファイルを読み込む。
【００６６】
この時、コンピュータ２０２は、式（５）が成り立つように、式（１２）を設定する。
2012014535.tif 000019
【００６７】
このような式が設定されると、物体尤度は、物体領域の周辺でのみ高くなる傾向となり、背景尤度は背景に存在する色であれば画像中のどこにあっても高くなる傾向となる。
【００６８】
撮像部２０１は、人物の画像を撮影し、入力画像を取得する（図１０ステップＡ１）。次に、コンピュータ２０２は、例えばwatershed法により画像を色が均質な小領域に入力画像を過分割する（図１０ステップＢ１）。以降、コンピュータ２０２はこの過分割領域を画素(Super-Pixel)とみなし処理を行う。次に、コンピュータ２０２は入力画像に対して顔検出処理を実行し、検出した顔位置から想定される物体/背景マスク領域を設定する（図１０ステップＡ２）。コンピュータ２０２は物体/背景マスク領域に重なる過分割領域の平均色と重心を用いて、xyRGB空間内で、物体/背景の特徴データD0,DBを作成する。コンピュータ２０２は特徴データD0,DBに対して変換係数ベクトルA、Bをかけてから、物体/背景モデルをk-平均法を用いて構築する。ここで、式（１２）の前提があるため、物体モデルはxyRGB空間、背景モデルはRGB空間で記述されることになる（図１０ステップＡ３、Ａ４）。これにより構築した物体モデルと背景モデルとを用いて、コンピュータ２０２は、各過分割領域の物体尤度と背景尤度を、その領域の平均色と重心を用いて算出する（図１０ステップＡ７、Ａ８）。コンピュータ２０２は、連続性尤度についても同様に、過分割領域の平均色の距離を用いて計算する（図１０ステップＡ９）。続いて、コンピュータ２０２は、各過分割領域に対してノードを割り当て、隣接する過分割領域に対応するノード間にエッジを備えたグラフを構築し、ノードとエッジに対してそれぞれ物体/背景尤度と連続性尤度を与える（図１０ステップＡ１０）。コンピュータ２０２は、このグラフに対して、最大流最適化を行うことで、物体領域と背景領域が得られる。（図１０ステップ１１）最後に、コンピュータ２０２は、物体領域と無地の背景を合成して、モニターなどの表示部２０３に表示することで、処理を終了する（図１０ステップＡ１２）。
【００６９】
以上のステップにより、物体領域抽出プログラムは、物体領域と背景領域の領域の広がりの違いを考慮したモデル構築を行うため、抽出対象の物体の周辺の背景に物体と類似色を持つ領域がある場合にも、物体領域の誤検出は発生しにくいという効果を奏する。
【００７０】
また、物体領域抽出プログラムが、入力画像を過分割し、過分割した各領域を画素(Super-Pixel)とみなして、処理を行うため、入力画像に対してそのまま処理するのに比べて、グラフのノード数を大幅に削減できる。そのため、本例における物体領域抽出システム１は、第１の実施の形態にかかる物体領域抽出システム１の構成に比べて、高速に物体抽出を行うことができる。
【００７１】
＜第３の実施の形態＞
次に、本発明の第３の実施の形態について図１５を用いて説明する。
【００７２】
本発明の第３の実施の形態における物体領域抽出システム１は、上述した局所性比較部１０５と、物体領域生成部１１１とを備える。これらの構成、機能については第１の実施の形態で説明した通りであるから詳細説明を省略する。この構成により、物体領域、背景領域、指定無し領域を含む入力画像の、各画素の色及び前記入力画像内の位置を座標とする空間（位置色空間）における、前記指定無し領域内の任意の画素（注目画素）と前記物体領域内の所定画素（物体代表点）との距離（物体距離）と、前記注目画素と前記背景領域内の所定画素（背景代表点）との距離（背景距離）との算出時に、前記物体領域内の画素の位置の分布の広がる範囲が、前記背景領域内の画素の位置の分布の広がる範囲よりも小さい場合には、物体距離は、色の座標軸上の距離に対する位置の座標軸の距離の比を、背景距離よりも大きく算出し、前記物体領域内の画素の位置の分布の広がる範囲が、前記背景領域内の画素の位置の分布の広がる範囲よりも大きい場合には、物体距離は、色の座標軸上の距離に対する位置の座標軸の距離の比を、背景距離よりも小さく算出する局所性比較手段と、物体距離が背景距離より大きい場合には前記注目画素は前記背景領域に、物体距離が背景距離より小さい場合には前記注目画素は前記物体領域に属すと判定して、判定結果を出力する物体領域生成手段と、を備える物体領域抽出システムが提供される。
【００７３】
本実施の形態にかかる物体領域抽出システム１によれば、抽出対象の物体の色に近い物体がある場合であっても、物体領域の誤検出が発生しにくい物体領域抽出システム、方法、及び、プログラムを提供することができる。
【００７４】
以上、実施形態、実施例を参照して本願発明を説明したが、本願発明は上記実施形態、実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解しうる様々な変更をすることができる。
【００７５】
（実施の形態の他の表現）
上記の実施形態、実施例の一部又は全部は以下のようにも記載されうるが、以下には限られない。
【００７６】
（付記１）入力画像を取得する画像入力手段と、物体領域と背景領域を指定するマスク画像を入力するマスク入力手段と、前記入力画像中で前記マスク画像により物体領域の一部として指定された画素または領域から物体領域の位置・色に基づく物体モデルを構築する物体モデル構築手段と、前記入力画像中で前記マスク画像により背景領域の一部として指定された画素または領域から物体領域の位置・色に基づく背景モデルを構築する背景モデル構築手段と、前記物体モデルと前記背景モデルの空間的な広がりの相対差が維持されるように、前記物体モデル構築手段と前記背景モデル構築手段のモデル構築を制御する局所性比較手段と、前記物体モデルに近いか否かに基づき前記入力画像中の画素または領域の物体領域らしさの指標である物体尤度を求める物体尤度計算手段と、前記背景モデルに近いか否かに基づき前記入力画像中の画素または領域の背景領域らしさの指標である背景尤度を求める背景尤度計算手段と、前記入力画像中で隣接する画素同士または領域同士の同一領域らしさの指標である連続性尤度を求める連続性尤度計算手段と、ノードが前記入力画像の各画素または領域に対応し、エッジが画素または領域の隣接関係を記述し、ノードには対応する画素または領域に与えられる前記物体尤度と前記背景尤度が与えられ、エッジには対応する画素間または領域間の前記連続性尤度が与えられたグラフを構築するグラフ構築手段と、前記グラフに対して全体の尤度が最大になるように最大流最適化を行い物体領域と背景領域を分離する最大流最適化手段と、前記分離された物体領域を抽出する物体領域生成手段と、を備えたことを特徴とする物体領域抽出システム。
【００７７】
（付記２）前記入力画像を色や輝度などが均一な領域に過分割する領域過分割手段をさらに備えたことを特徴とする付記１記載の物体領域抽出システム。
【００７８】
（付記３）前記背景モデルと前記物体モデルが位置と色を記述する色・位置空間内で記述されることを特徴とする付記１または２記載の物体領域抽出システム。
【００７９】
（付記４）前記色・位置空間は、画像の横軸と縦軸、そして色・輝度チャネルの各軸で構成されていることを特徴とする付記３記載の物体領域抽出システム。
【００８０】
（付記５）前記局所性比較手段において、物体モデルの位置を記述する軸の係数が、背景モデルの位置を記述する軸の係数よりも大きくなるように、調整することを特徴とする付記１乃至４記載の物体領域抽出システム。
【００８１】
（付記６）前記局所性比較手段において、背景モデルの位置を記述する軸の係数を０にすることを特徴とする付記１乃至５記載の物体領域抽出システム。
【００８２】
（付記７）前記局所性比較手段において、物体モデルの軸の係数が、背景モデルの位置を記述する軸の係数よりも大きくなるように、調整することを特徴とする付記１乃至４記載の物体領域抽出システム。
【００８３】
（付記８）前記局所性比較手段において、物体モデルの軸の係数が、背景モデルの位置を記述する軸の係数よりも小さくなるように、調整することを特徴とする付記１乃至４記載の物体領域抽出システム。
【００８４】
（付記９）前記局所性比較手段において、物体モデルがカバーする領域の範囲が、背景モデルがカバーする領域の範囲よりも大きい場合に、物体モデルの位置を記述する軸の係数をより大きくするか、背景モデルの位置を記述する軸の係数をより小さくするか、またはその両方を実行して再度物体モデル構築手段と背景モデル構築手段を実行することを特徴とする付記１乃至４記載の物体領域抽出システム。
【００８５】
（付記１０）前記マスク入力手段において、顔検出処理の結果から推定される位置に物体マスク領域と背景マスク領域が得られることを特徴とする付記１乃至９記載の物体領域抽出システム。
【００８６】
（付記１１）前記マスク入力手段において、予め決まったパターンの物体マスク領域と背景マスク領域がユーザに対して提示されることを特徴とする付記１乃至９記載の物体領域抽出システム。
【００８７】
（付記１２）物体領域、背景領域、指定無し領域を含む入力画像の、各画素の色及び前記入力画像内の位置を座標とする空間（位置色空間）における、前記指定無し領域内の任意の画素（注目画素）と前記物体領域内の所定画素（物体代表点）との距離（物体距離）と、前記注目画素と前記背景領域内の所定画素（背景代表点）との距離（背景距離）との算出時に、前記物体領域内の画素の位置の分布の広がる範囲が、前記背景領域内の画素の位置の分布の広がる範囲よりも小さい場合には、物体距離は、色の座標軸上の距離に対する位置の座標軸の距離の比を、背景距離よりも大きく算出し、前記物体領域内の画素の位置の分布の広がる範囲が、前記背景領域内の画素の位置の分布の広がる範囲よりも大きい場合には、物体距離は、色の座標軸上の距離に対する位置の座標軸の距離の比を、背景距離よりも小さく算出する局所性比較手段と、物体距離が背景距離より大きい場合には前記注目画素は前記背景領域に、物体距離が背景距離より小さい場合には前記注目画素は前記物体領域に属すと判定して、判定結果を出力する物体領域生成手段と、を備える物体領域抽出システム。
【００８８】
（付記１３）前記局所性比較手段は、物体距離における色の座標軸上の距離に対する位置の座標軸の距離の比を第１のパラメータとし、背景距離における色の座標軸上の距離に対する位置の座標軸の距離の比を第２のパラメータとし、前記第１のパラメータと前記第２のパラメータを、前記物体領域内の画素の位置の分布の広がる範囲と前記背景領域内の画素の位置の分布の広がる範囲との大小関係を保つように定める付記１２に記載の物体領域抽出システム。
【００８９】
（付記１４）前記入力画像を、色が均一な領域に過分割し、該過分割された領域を前記画素とする領域過分割手段をさらに備える付記１２または１３に記載の物体領域抽出システム。
【００９０】
（付記１５）前記局所性比較手段は、背景領域内の画素の位置の分布の広がる範囲が物体領域内の画素の位置の分布の広がる範囲よりも大きい（小さい）場合であって、複数の物体代表点の位置の分布の広がる範囲が複数の背景代表点の位置の分布の広がる範囲よりも大きい（小さい）場合に、前記第１のパラメータをより大きく（小さく）するか、前記第２のパラメータをより小さく（大きく）するか、またはその両方を実行する付記１２乃至１４に記載の物体領域抽出システム。
【００９１】
（付記１６）入力画像を取得する画像入力手段と、物体領域と背景領域を指定するマスク画像を入力するマスク入力手段と、前記入力画像上で前記マスク画像により物体領域の一部として指定された画素または領域から、物体領域の位置と色に基づく物体モデルを構築する物体モデル構築手段と、前記入力画像上で前記マスク画像により背景領域の一部として指定された画素または領域から、物体領域の位置と色に基づく背景モデルを構築する背景モデル構築手段と、前記局所性比較手段と、前記入力画像上の画素と前記物体モデルとの距離に基づき前記入力画像上の画素の物体尤度を求める物体尤度計算手段と、前記入力画像上の画素と前記背景モデルとの距離に基づき前記入力画像上の画素の背景尤度を求める背景尤度計算手段と、前記入力画像上で隣接する画素同士または領域同士の連続性を求める連続性尤度計算手段と、前記入力画像の各画素または領域にノードを対応させて、対応させた各画素または領域に与えられる前記物体尤度と前記背景尤度をノードの値として与え、隣接する画素間のつながりにエッジを対応させて、対応させた画素間または領域間に与えられる前記連続性尤度をエッジの値として与えたグラフを構築するグラフ構築手段と、前記グラフに対して前記各尤度の和が最大になるように最大流最適化を行い物体領域と背景領域とを分離する最大流最適化手段と、前記分離された物体領域または背景領域の少なくとも一方を抽出する物体領域生成手段と、を備える付記１２乃至請求項１５に記載の物体領域抽出システム。
【００９２】
（付記１７）物体領域、背景領域、指定無し領域を含む入力画像の、各画素の色及び前記入力画像内の位置を座標とする空間（位置色空間）における、前記指定無し領域内の任意の画素（注目画素）と前記物体領域内の所定画素（物体代表点）との距離（物体距離）と、前記注目画素と前記背景領域内の所定画素（背景代表点）との距離（背景距離）との算出時に、前記物体領域内の画素の位置の分布の広がる範囲が、前記背景領域内の画素の位置の分布の広がる範囲よりも小さい場合には、物体距離は、色の座標軸上の距離に対する位置の座標軸の距離の比を、背景距離よりも大きく算出し、前記物体領域内の画素の位置の分布の広がる範囲が、前記背景領域内の画素の位置の分布の広がる範囲よりも大きい場合には、物体距離は、色の座標軸上の距離に対する位置の座標軸の距離の比を、背景距離よりも小さく算出する局所性比較ステップと、物体距離が背景距離より大きい場合には前記注目画素は前記背景領域に、物体距離が背景距離より小さい場合には前記注目画素は前記物体領域に属すと判定して、判定結果を出力する物体領域生成ステップと、をコンピュータに実行させる物体領域抽出プログラム。
【００９３】
（付記１８）物体距離における色の座標軸上の距離に対する位置の座標軸の距離の比を第１のパラメータとし、背景距離における色の座標軸上の距離に対する位置の座標軸の距離の比を第２のパラメータとし、前記第１のパラメータと前記第２のパラメータを、前記物体領域内の画素の位置の分布の広がる範囲と前記背景領域内の画素の位置の分布の広がる範囲との大小関係を保つように定める前記局所性ステップをコンピュータに実行させる付記１７に記載の物体領域抽出プログラム。
【００９４】
（付記１９）物体領域、背景領域、指定無し領域を含む入力画像の、各画素の色及び前記入力画像内の位置を座標とする空間（位置色空間）における、前記指定無し領域内の任意の画素（注目画素）と前記物体領域内の所定画素（物体代表点）との距離（物体距離）と、前記注目画素と前記背景領域内の所定画素（背景代表点）との距離（背景距離）との算出時に、前記物体領域内の画素の位置の分布の広がる範囲が、前記背景領域内の画素の位置の分布の広がる範囲よりも小さい場合には、物体距離は、色の座標軸上の距離に対する位置の座標軸の距離の比を、背景距離よりも大きく算出し、前記物体領域内の画素の位置の分布の広がる範囲が、前記背景領域内の画素の位置の分布の広がる範囲よりも大きい場合には、物体距離は、色の座標軸上の距離に対する位置の座標軸の距離の比を、背景距離よりも小さく算出し、物体距離が背景距離より大きい場合には前記注目画素は前記背景領域に、物体距離が背景距離より小さい場合には前記注目画素は前記物体領域に属すと判定して、判定結果を出力する物体領域抽出方法。
【００９５】
（付記２０）物体距離における色の座標軸上の距離に対する位置の座標軸の距離の比を第１のパラメータとし、背景距離における色の座標軸上の距離に対する位置の座標軸の距離の比を第２のパラメータとし、前記第１のパラメータと前記第２のパラメータを、前記物体領域内の画素の位置の分布の広がる範囲と前記背景領域内の画素の位置の分布の広がる範囲との大小関係を保つように定める付記１９に記載の物体領域抽出方法。
【産業上の利用可能性】
【００９６】
本発明は、任意背景における証明写真作成といった用途に適用できる。また、携帯電話に適用することで、携帯電話の背景を任意の画像に差し替えることができ、プライバシー保護機能といった用途にも適用可能である。
【符号の説明】
【００９７】
１      物体領域抽出システム
１０１  画像入力部
１０２  マスク入力部
１０３  物体モデル構築部
１０４  背景モデル構築部
１０５  局所性比較部
１０６  物体尤度計算部
１０７  背景尤度計算部
１０８  連続性尤度計算部
１０９  グラフ構築部
１１０  最大流最適化部
１１１  物体領域生成部
１１２  領域過分割部
２０１  撮像部
２０２  コンピュータ
２０３  表示部
【図１】
2012014535.tif 000020
【図２】
2012014535.tif 000021
【図３】
2012014535.tif 000022
【図４】
2012014535.tif 000023
【図５】
2012014535.tif 000024
【図６】
2012014535.tif 000025
【図７】
2012014535.tif 000026
【図８】
2012014535.tif 000027
【図９】
2012014535.tif 000028
【図１０】
2012014535.tif 000029
【図１１】
2012014535.tif 000030
【図１２】
2012014535.tif 000031
【図１３】
2012014535.tif 000032
【図１４】
2012014535.tif 000033
【図１５】
2012014535.tif 000034