(57)【要約】【課題】精度良く画像の前景物体領域を切り出すことができる。【解決手段】ピクセルグループ化部２４により、ピクセルグループを各々作成し、整列部３４により、ピクセルグループの各々を、画像の中心からの距離が遠い順に整列させ、最大事後確率検証部４０により、整列された順番にピクセルグループの各々について、候補トライマップを作成し、入力トライマップの最大事後確率と、候補トライマップの最大事後確率とを比較し、候補トライマップの最大事後確率が入力トライマップの最大事後確率以上である場合、候補トライマップを出力トライマップとして出力し、候補トライマップの最大事後確率が入力トライマップの最大事後確率より小さい場合、入力トライマップを出力トライマップとして出力することを繰り返し、最終的に出力された出力トライマップを最適化トライマップとして出力する。【選択図】図１
2016009326.tif 000002
【特許請求の範囲】
【請求項１】
入力された画像のピクセルの各々について抽出された特徴量に基づいて、前記特徴量が類似するピクセルの集合から構成されるピクセルグループを各々作成するピクセルグループ化部と、
前記ピクセルグループ化部により作成された前記ピクセルグループの各々を、前記画像の中心からの距離が遠い順に整列させる整列部と、
前記整列部により整列された順番に、前記ピクセルグループの各々について、
前記画像の、前記画像の画像面積よりも小さい面積の予め定められた図形の範囲に入らない、背景に対応する背景ラベルが付されたピクセルの集合と、前記図形の範囲に入る、前景に対応する前景ラベルが付されたピクセルの集合とからなる初期トライマップ、又は前回出力された前記背景ラベルが付されたピクセルの集合と前記前景ラベルが付されたピクセルの集合とからなる出力トライマップを入力トライマップとして、前記入力トライマップの前記ピクセルの集合と、前記ピクセルグループに属するピクセルの集合とに対する集合演算により、前記背景ラベルが付されたピクセルの集合と前記前景ラベルが付されたピクセルの集合とからなる候補トライマップを作成し、
前記入力された画像が与えられたときの前記入力トライマップの最大事後確率と、前記入力された画像が与えられたときの前記候補トライマップの最大事後確率とを比較し、前記候補トライマップの最大事後確率が前記入力トライマップの最大事後確率以上である場合、前記候補トライマップを前記出力トライマップとして出力し、前記候補トライマップの最大事後確率が前記入力トライマップの最大事後確率よりも小さい場合、前記入力トライマップを前記出力トライマップとして出力することを繰り返し、
最終的に出力された前記出力トライマップを最適化トライマップとして出力する最大事後確率検証部と、
を含む、画像分割装置。
【請求項２】
前記最大事後確率検証部は、前記入力トライマップの前記背景ラベルが付された前記ピクセルの集合と、前記ピクセルグループに属するピクセルの集合とに対する和集合を演算して、前記候補トライマップの前記背景ラベルが付された前記ピクセルの集合を求め、前記入力トライマップの前記前景ラベルが付された前記ピクセルの集合から、前記ピクセルグループに属するピクセルの集合を除くことにより、前記候補トライマップの前記前景ラベルが付された前記ピクセルの集合を求めて、前記候補トライマップを作成する請求項１記載の画像分割装置。
【請求項３】
前記ピクセルグループ化部により作成された複数のピクセルグループｃの各々について、前記画像の中心からの距離に応じた値ｒcを以下の式に従って計算する距離計算部を更に含み、
前記整列部は、前記距離計算部により計算された前記ピクセルグループｃの各々の前記画像の中心からの距離に応じた値ｒcに基づいて、前記ピクセルグループの各々を、前記画像の中心からの距離が遠い順に整列させる請求項１又は２記載の画像分割装置。
【数１】
2016009326.tif 000013
【請求項４】
ピクセルグループ化部と、整列部と、最大事後確率検証部と、を含む画像分割装置における、画像分割方法であって、
前記ピクセルグループ化部は、入力された画像のピクセルの各々について抽出された特徴量に基づいて、前記特徴量が類似するピクセルの集合から構成されるピクセルグループを各々作成し、
前記整列部は、前記ピクセルグループ化部により作成された前記ピクセルグループの各々を、前記画像の中心からの距離が遠い順に整列させ、
前記最大事後確率検証部は、前記整列部により整列された順番に、前記ピクセルグループの各々について、
前記画像の、前記画像の画像面積よりも小さい面積の予め定められた図形の範囲に入らない、背景に対応する背景ラベルが付されたピクセルの集合と、前記図形の範囲に入る、前景に対応する前景ラベルが付されたピクセルの集合とからなる初期トライマップ、又は前回出力された前記背景ラベルが付されたピクセルの集合と前記前景ラベルが付されたピクセルの集合とからなる出力トライマップを入力トライマップとして、前記入力トライマップの前記ピクセルの集合と、前記ピクセルグループに属するピクセルの集合とに対する集合演算により、前記背景ラベルが付されたピクセルの集合と前記前景ラベルが付されたピクセルの集合とからなる候補トライマップを作成し、
前記入力された画像が与えられたときの前記入力トライマップの最大事後確率と、前記入力された画像が与えられたときの前記候補トライマップの最大事後確率とを比較し、前記候補トライマップの最大事後確率が前記入力トライマップの最大事後確率以上である場合、前記候補トライマップを前記出力トライマップとして出力し、前記候補トライマップの最大事後確率が前記入力トライマップの最大事後確率より小さい場合、前記入力トライマップを前記出力トライマップとして出力することを繰り返し、
最終的に出力された前記出力トライマップを最適化トライマップとして出力する
画像分割方法。
【請求項５】
コンピュータを、請求項１〜請求項３の何れか１項記載の画像分割装置を構成する各部として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像分割装置、方法、及びプログラムに係り、特に、入力された画像を前景と背景とに分割する画像分割装置、方法、及びプログラムに関する。
【背景技術】
【０００２】
従来、入力画像と事前に作成されるトライマップ（Tri-Map）を入力とし、画像分割問題をMarkov Ramdom Field (MRF)に定式化することにより、前景物体領域を切出す技術が多く提供されている。トライマップとは、入力画像のピクセルを大まかに、「背景」、「前景」、「未知」等のカテゴリに区分できた場合、それぞれのカテゴリに応じたラベルを付けされたピクセルの集合であり、入力画像と同じ大きさを持つ画像といった形式で作成される場合が多い。前記MRFに基づく技術は、トライマップを基に、入力画像の前景色と背景色の見込み値を推定し、それぞれの色に基づいた最大事後確率推定により、より正確な前景物体領域分割を目指す。既存技術の多くは、分割精度がトライマップの正確性に強く依存する為、技術の実用性がトライマップの作成方法に強く依存する。
【０００３】
トライマップの作成方法を、概ね対話型（Interactive）（非特許文献１、非特許文献２）と学習型（Learning-Based）（非特許文献３、非特許文献４）の二種類に分けることができる。対話型方法は、ユーザがペイントツールを利用する応用形式を想定し、手作業からトライマップを作成する。Boykovらは、ユーザに前景と背景の一部をエッジでマークさせ、「前景」、「背景」、「未知」、三つのカテゴリを含むトライマップを作成する（非特許文献１）。前景物体領域分割では、特徴量としてピクセル輝度を、前景色・背景色推定ではヒストグラムを、最大事後確率推定ではグラフカット法を採用する。Rotherらは、ユーザがマークした、前景物体領域を包含する最小境界ボックスを基にトライマップを作成する（非特許文献２）。特徴量としてピクセルのRGB値を採用し、前景色・背景色推定では、Gaussian Mixture Model(GMM)を採用する。一方、学習型方法は、訓練データが利用可能と仮定し、統計的方法によりトライマップを自動的に作成する。Nilsbackらは、手作業により切出した前景物体領域の正解（Ground Truth）画像を基に、前景物体領域が花画像と仮定し、花画像分割技術を提供した（非特許文献３）。Chaiらは、前景物体のカテゴリ情報（ラベル）が利用可能、且つ、同じカテゴリの物体を含む入力画像が多数存在すると仮定し、複数画像から共通する物体領域を大まかに切出し、切出した領域をトライマップに定義する（非特許文献４）。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】Yuri Boykov and Vladimir Kolmogorov. An Experimental Comparison of Min-Cut/Max-Flow Algorithms for Energy Minimization in Vision. IEEE Trans. Pattern Anal. Mach. Intell., Vol. 26, No. 9, pp. 1124-1137, 2004.
【非特許文献２】Carsten Rother, Vladimir Kolmogorov, and Andrew Blake. "GrabCut": interactive foreground extraction using iterated graph cuts. ACM Trans. Graph., Vol. 23, No. 3,pp. 309-314, 2004.
【非特許文献３】Maria-Elena Nilsback and Andrew Zisserman. Delving deeper into the whorl of flower segmentation. Image Vision Comput., Vol. 28, No. 6, pp. 1049-1062, 2010.
【非特許文献４】Yuning Chai, Victor S. Lempitsky, and Andrew Zisserman. BiCoS: A Bi-level co-segmentation method for image classfication. In ICCV, pp. 2579-2586, 2011.
【発明の概要】
【発明が解決しようとする課題】
【０００５】
非特許文献１及び非特許文献２の対話型前景物体領域分割方法は、人手の介入に強く依存する為、処理する画像数が多い場合、非常に高い稼動資源が必要となり、実施が困難であるという問題がある。
【０００６】
また、非特許文献３及び非特許文献４の学習型前景物体領域分割方法は、訓練データの利用に強く依存する為、訓練データが簡単に得られない場合、実施が困難であるという問題がある。例えば、非特許文献３のNilsbackらの方法は、手作業により作成される正解画像を必要とする為、対話型方法と同じく、高い稼動資源を要する。また、花画像専用の分割技術である為、一般性が低い問題もある。非特許文献４のChaiらの方法は、前景物体のカテゴリ情報が得られない、又は、入力画像が一枚しかない場合、只一枚の画像からの学習は、訓練データが足りない為、困難が生じる。その結果、低品質のトライマップを分割に用いた場合、正しく前景色・背景色を推定することができず、正確に前景物体領域を切出すことが難しくなる。
【０００７】
本発明では、上記問題点を解決するために成されたものであり、精度良く画像の前景物体領域を切り出すことができる画像分割装置、方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、第１の発明に係る画像分割装置は、入力された画像のピクセルの各々について抽出された特徴量に基づいて、前記特徴量が類似するピクセルの集合から構成されるピクセルグループを各々作成するピクセルグループ化部と、前記ピクセルグループ化部により作成された前記ピクセルグループの各々を、前記画像の中心からの距離が遠い順に整列させる整列部と、前記整列部により整列された順番に、前記ピクセルグループの各々について、前記画像の、前記画像の画像面積よりも小さい面積の予め定められた図形の範囲に入らない、背景に対応する背景ラベルが付されたピクセルの集合と、前記図形の範囲に入る、前景に対応する前景ラベルが付されたピクセルの集合とからなる初期トライマップ、又は前回出力された前記背景ラベルが付されたピクセルの集合と前記前景ラベルが付されたピクセルの集合とからなる出力トライマップを入力トライマップとして、前記入力トライマップの前記ピクセルの集合と、前記ピクセルグループに属するピクセルの集合とに対する集合演算により、前記背景ラベルが付されたピクセルの集合と前記前景ラベルが付されたピクセルの集合とからなる候補トライマップを作成し、前記入力された画像が与えられたときの前記入力トライマップの最大事後確率と、前記入力された画像が与えられたときの前記候補トライマップの最大事後確率とを比較し、前記候補トライマップの最大事後確率が前記入力トライマップの最大事後確率以上の場合、前記候補トライマップを前記出力トライマップとして出力し、前記候補トライマップの最大事後確率が前記入力トライマップの最大事後確率より小さい場合、前記入力トライマップを前記出力トライマップとして出力することを繰り返し、最終的に出力された前記出力トライマップを最適化トライマップとして出力する最大事後確率検証部と、を含んで構成されている。
【０００９】
第２の発明に係る画像分割方法は、ピクセルグループ化部と、整列部と、最大事後確率検証部と、を含む画像分割装置における、画像分割方法であって、前記ピクセルグループ化部は、入力された画像のピクセルの各々について抽出された特徴量に基づいて、前記特徴量が類似するピクセルの集合から構成されるピクセルグループを各々作成し、前記整列部は、前記ピクセルグループ化部により作成された前記ピクセルグループの各々を、前記画像の中心からの距離が遠い順に整列させ、前記最大事後確率検証部は、前記整列部により整列された順番に、前記ピクセルグループの各々について、前記画像の、前記画像の画像面積よりも小さい面積の予め定められた図形の範囲に入らない、背景に対応する背景ラベルが付されたピクセルの集合と、前記図形の範囲に入る、前景に対応する前景ラベルが付されたピクセルの集合とからなる初期トライマップ、又は前回出力された前記背景ラベルが付されたピクセルの集合と前記前景ラベルが付されたピクセルの集合とからなる出力トライマップを入力トライマップとして、前記入力トライマップの前記ピクセルの集合と、前記ピクセルグループに属するピクセルの集合とに対する集合演算により、前記背景ラベルが付されたピクセルの集合と前記前景ラベルが付されたピクセルの集合とからなる候補トライマップを作成し、前記入力された画像が与えられたときの前記入力トライマップの最大事後確率と、前記入力された画像が与えられたときの前記候補トライマップの最大事後確率とを比較し、前記候補トライマップの最大事後確率が前記入力トライマップの最大事後確率以上の場合、前記候補トライマップを前記出力トライマップとして出力し、前記候補トライマップの最大事後確率が前記入力トライマップの最大事後確率より小さい場合、前記入力トライマップを前記出力トライマップとして出力することを繰り返し、最終的に出力された前記出力トライマップを最適化トライマップとして出力する。
【００１０】
第１及び第２の発明によれば、ピクセルグループ化部により、入力された画像のピクセルの各々について抽出された特徴量に基づいて、特徴量が類似するピクセルの集合から構成されるピクセルグループを各々作成し、整列部により、作成されたピクセルグループの各々を、画像の中心からの距離が遠い順に整列させ、最大事後確率検証部により、整列された順番に、ピクセルグループの各々について、前記画像の、前記画像の画像面積よりも小さい面積の予め定められた図形の範囲に入らない、背景に対応する背景ラベルが付されたピクセルの集合と、図形の範囲に入る、前景に対応する前景ラベルが付されたピクセルの集合とからなる初期トライマップ、又は前回出力された背景ラベルが付されたピクセルの集合と前景ラベルが付されたピクセルの集合とからなる出力トライマップを入力トライマップとして、入力トライマップのピクセルの集合と、ピクセルグループに属するピクセルの集合とに対する集合演算により、背景ラベルが付されたピクセルの集合と前景ラベルが付されたピクセルの集合とからなる候補トライマップを作成し、入力された画像が与えられたときの入力トライマップの最大事後確率と、入力された画像が与えられたときの候補トライマップの最大事後確率とを比較し、候補トライマップの最大事後確率が入力トライマップの最大事後確率以上の場合、候補トライマップを出力トライマップとして出力し、候補トライマップの最大事後確率が入力トライマップの最大事後確率より小さい場合、入力トライマップを出力トライマップとして出力することを繰り返し、最終的に出力された出力トライマップを最適化トライマップとして出力する。
【００１１】
このように、第１及び第２の発明によれば、入力された画像のピクセルの各々について抽出された特徴量に基づいて、特徴量が類似するピクセルの集合から構成されるピクセルグループを各々作成し、作成されたピクセルグループの各々を、画像の中心からの距離が遠い順に整列させ、整列された順番に、ピクセルグループの各々について、入力トライマップのピクセルの集合と、ピクセルグループに属するピクセルの集合とに対する集合演算により、候補トライマップを作成し、候補トライマップの最大事後確率が入力トライマップの最大事後確率以上の場合、候補トライマップを出力トライマップとして出力し、候補トライマップの最大事後確率が入力トライマップの最大事後確率より小さい場合、入力トライマップを出力トライマップとして出力することを繰り返し、最適化トライマップを出力することにより、精度良く画像の前景物体領域を切り出すことができる。
【００１２】
また、第１の発明において、前記最大事後確率検証部は、前記入力トライマップの前記背景ラベルが付された前記ピクセルの集合と、前記ピクセルグループに属するピクセルの集合とに対する和集合を演算して、前記候補トライマップの前記背景ラベルが付された前記ピクセルの集合を求め、前記入力トライマップの前記前景ラベルが付された前記ピクセルの集合から、前記ピクセルグループに属するピクセルの集合を除くことにより、前記候補トライマップの前記前景ラベルが付された前記ピクセルの集合を求めて、前記候補トライマップを作成することができる。
【００１３】
また、本発明のプログラムは、コンピュータを、上記の画像分割装置を構成する各部として機能させるためのプログラムである。
【発明の効果】
【００１４】
以上説明したように、本発明の画像分割装置、方法、及びプログラムによれば、入力された画像のピクセルの各々について抽出された特徴量に基づいて、特徴量が類似するピクセルの集合から構成されるピクセルグループを各々作成し、作成されたピクセルグループの各々を、画像の中心からの距離が遠い順に整列させ、整列された順番に、ピクセルグループの各々について、入力トライマップのピクセルの集合と、ピクセルグループに属するピクセルの集合とに対する集合演算により、候補トライマップを作成し、候補トライマップの最大事後確率が入力トライマップの最大事後確率以上の場合、候補トライマップを出力トライマップとして出力し、候補トライマップの最大事後確率が入力トライマップの最大事後確率よりも小さい場合、入力トライマップを出力トライマップとして出力することを繰り返し、最適化トライマップを出力することにより、精度良く画像の前景物体領域を切り出すことができる。
【図面の簡単な説明】
【００１５】
【図１】本発明の実施の形態に係る画像分割装置の機能的構成を示すブロック図である。
【図２】初期トライマップの一例を示す図である。
【図３】整列されたピクセルグループの一例を示す図である。
【図４】候補トライマップの一例を示す図である。
【図５】前景物体領域の分割の例を示す図である。
【図６】本発明の実施の形態に係る画像分割装置における画像分割処理ルーチンを示すフローチャート図である。
【図７】本発明の実施の形態に係る画像分割装置における画像分割処理ルーチンを示すフローチャート図である。
【発明を実施するための形態】
【００１６】
以下、図面を参照して本発明の実施の形態を詳細に説明する。
【００１７】
＜本発明の実施の形態に係る画像分割装置の構成＞
次に、本発明の実施の形態に係る画像分割装置の構成について説明する。図１に示すように、本発明の実施の形態に係る画像分割装置１００は、ＣＰＵと、ＲＡＭと、後述する画像分割処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。この画像分割装置１００は、機能的には図１に示すように入力部１０と、演算部２０と、出力部９０とを備えている。
【００１８】
入力部１０は、画像と、事前知識に基づいて作成された初期トライマップとを受け付ける。ここで、初期トライマップは、入力部１０において受け付けた画像の画像面積よりも小さい面積の図形の範囲に入らない、背景に対応する背景ラベルが付されたピクセルの集合と、図形の範囲に入る、前景に対応する前景ラベルが付されたピクセルの集合とからなる。本実施の形態においては、例えば、初期トライマップは、画像中心に位置する、画像面積のｒ倍の面積を持つ矩形の図形に基づくものであり、ｒは、（０，１）の範囲にある実数である。本実施の形態においては、初期トライマップは、矩形の図形内のピクセルの各々を「前景」とみなし、図形外のピクセルの各々を「背景」とみなし、それぞれのカテゴリに対応する「背景ラベル」、又は「前景ラベル」が付されたピクセルの集合とする。図２に入力画像と、初期トライマップとの一例を示す。また、初期トライマップをＴ（０）＝｛ＴＢ（０），ＴＦ（０）｝で表し、ＴＢ（０）を、背景ラベルが付されたピクセルの集合とし、ＴＦ（０）を、前景ラベルを付されたピクセルの集合とする。
【００１９】
演算部２０は、特徴量抽出部２２と、ピクセルグループ化部２４と、トライマップ検証部３０と、前景物体領域分割部５０とを含んで構成されている。
【００２０】
特徴量抽出部２２は、入力部１０において受け付けた画像を構成するピクセルの各々について、特徴量としてＲＧＢ値を抽出する。
【００２１】
ピクセルグループ化部２４は、特徴量抽出部２２において抽出された画像を構成するピクセルの各々のＲＧＢ値に基づいて、当該ＲＧＢ値が類似するピクセルの集合から構成されるピクセルグループを各々作成する。具体的には、Bregman Hierarchical Clustering法（非特許文献５：Vincent Garcia and Frank Nielsen. Simplification and hierarchical representations of mixtures of exponential families. Signal Processing, Vol. 90, No. 12, pp. 3197-3212,2010.）を用いて、クラスタ化の最小許容クオリティを表す閾値τを決定し、入力部１０において受け付けた画像を構成するピクセルの各々を、閾値τに応じた数のピクセルグループにクラスタ化し、複数のピクセルグループを作成する。
【００２２】
トライマップ検証部３０は、入力部１０において受け付けた初期トライマップと、ピクセルグループ化部２４において取得したピクセルグループの各々と、に基づいて、最適化トライマップを取得する。また、トライマップ検証部３０は、距離計算部３２と、整列部３４と、最大事後確率検証部４０とを含んで構成されている。
【００２３】
距離計算部３２は、ピクセルグループ化部２４において取得したピクセルグループの各々について、入力部１０において受け付けた初期トライマップと、当該ピクセルグループｃに含まれるピクセルの各々とに基づいて、当該ピクセルグループｃの画像の中心からの距離に応じた値ｒｃを、下記（１）式に従って計算する。なお、画像の中心からの距離に応じた値ｒｃが大きい程、当該ピクセルグループは画像中心に近くなる。
【００２４】
【数１】
2016009326.tif 000003
【００２５】
ここで、
【００２６】
【数２】
2016009326.tif 000004
【００２７】
は、ピクセル数を表す。
【００２８】
整列部３４は、ピクセルグループの各々について、距離計算部３２において取得したピクセルグループの各々の画像の中心からの距離に応じた値ｒｃに基づいて、画像の中心から遠い順にピクセルグループの各々を整列する。具体的は、画像の中心からの距離に応じた値ｒｃが小さいピクセルグループ順に整列する。図３に整列したピクセルグループの例を示す。図３において、図３（ａ）では、ピクセルグループを色によって区別している。図３（ｂ）では、各ピクセルグループに属するピクセルを白にし、それ以外のピクセルを黒としている。画像中の矩形の領域は、初期トライマップにある「前景」領域の輪郭を示す。図３においては、左から右まで、画像の中心からの距離に応じた値ｒｃの小さな順にピクセルグループが並べ替えられている。
【００２９】
最大事後確率検証部４０は、整列部３４において整列されたピクセルグループの順番に、ピクセルグループの各々について、候補トライマップの作成と、候補トライマップ、及び入力トライマップの最大事後確率の計算と、出力トライマップの出力とを繰り返し行うことによって、最適化トライマップを取得する。また、最大事後確率検証部４０は、候補トライマップ作成部４２と、最大事後確率計算部４４と、トライマップ判定部４６と、繰り返し判定部４８とを含んで構成されている。
【００３０】
候補トライマップ作成部４２は、対象となるピクセルグループｃについて、初期トライマップ、又はトライマップ判定部４６において前回出力された出力トライマップを入力トライマップＴ＝｛ＴＢ，ＴＦ｝として、入力トライマップのピクセルの集合と、当該ピクセルグループｃに含まれるピクセルの集合の各々とに対する集合演算により、候補トライマップＴ´＝｛Ｔ´Ｂ，Ｔ´Ｆ｝を作成する。具体的には、当該ピクセルグループについての候補トライマップＴ´の要素Ｔ´Ｂを、Ｔ´Ｂ＝ＴＢ∪ｃとして計算し、当該ピクセルグループについての候補トライマップＴ´の要素Ｔ´Ｆを、
【００３１】
【数３】
2016009326.tif 000005
【００３２】
として計算する。図４に、候補トライマップの一例を示す。なお、Ｔ´Ｂに含まれるピクセルの各々には、背景ラベルを、Ｔ´Ｆに含まれるピクセルの各々には、前景ラベルを付す。
【００３３】
最大事後確率計算部４４は、入力部１０において受け付けた画像が与えられたときの入力トライマップＴの最大事後確率Ｐ（Ｔ｜Ｙ）と、入力部１０において受け付けた画像が与えられたときの、候補トライマップ作成部４２において取得した、対象となるピクセルグループｃの候補トライマップＴ´の最大事後確率Ｐ（Ｔ´｜Ｙ）とを計算する。具体的には、まず、非特許文献２の方法に基づいて、入力部１０において受け付けた画像Ｙと、入力トライマップＴと、特徴量抽出部２２において取得した画像Ｙのピクセルの各々のＲＧＢ値と、画像Ｙから取得されるピクセルの各々の座標値とを基に、Gibbs Energy Ｅ（Ｘ｜Ｙ，Ｔ）を下記（２）式として定義する。
【００３４】
【数４】
2016009326.tif 000006
【００３５】
ここで、Ｘは、入力画像Ｙのピクセルを「背景」又は「前景」とみなした場合、それぞれのカテゴリに対応したラベルの集合であり、ｘｐ∈｛０，１｝は、任意のピクセルｐに付されたラベルである。ｙｐは、ピクセルのＲＧＢ値を示す。α∈｛０，１｝は、「背景ラベル」、又は「前景ラベル」を示し、δ（・，・）は、クロネッカーのデルタである。Ｕｐ（α）は、前景色、背景色を表す確率モデルであり、本実施の形態においては、Gaussian Mixture Model(GMM)を用いて計算する。具体的には、Ｕｐ（０）は、入力トライマップ上の「背景ラベル」が付されたピクセルの各々から計算され、Ｕｐ（１）は、入力トライマップ上の「前景ラベル」が付されたピクセルの各々から計算される。
【００３６】
【数５】
2016009326.tif 000007
【００３７】
は、ピクセルｐとｑにおけるＲＧＢ値のユークリッド距離であり、
【００３８】
【数６】
2016009326.tif 000008
【００３９】
は、入力画像上におけるピクセル座標のユークリッド距離である。また、βは、下記（３）式によって計算される。
【００４０】
【数７】
2016009326.tif 000009
【００４１】
ここで、Ｅ［・］は、入力画像の全ピクセル間における
【００４２】
【数８】
2016009326.tif 000010
【００４３】
の期待値である（非特許文献２）。
【００４４】
次に、グラフカット法（非特許文献１）を用いて、Ｅ（Ｘ｜Ｙ，Ｔ）の最小化を実施し、最小Gibbs Energyを計算する。ここで、最小Gibbs EnergyをＥｍｉｎ（Ｔ｜Ｙ）と表記する。入力トライマップＴの最大事後確率Ｐ（Ｔ｜Ｙ）は、下記（４）式及び（５）式に従って計算する。なお、候補トライマップＴ´の最大事後確率Ｐ（Ｔ´｜Ｙ）については、上述の入力トライマップＴを候補トライマップＴ´に置き換えて、入力トライマップＴの最大事後確率Ｐ（Ｔ｜Ｙ）の計算方法と同様に、最大事後確率Ｐ（Ｔ´｜Ｙ）を計算する。
【００４５】
【数９】
2016009326.tif 000011
【００４６】
ここで、β´とＺ（β´）とは、定数である為、上記（４）式を、下記（５）式のように省略する。
【００４７】
【数１０】
2016009326.tif 000012
【００４８】
トライマップ判定部４６は、最大事後確率計算部４４において取得した入力トライマップＴの最大事後確率Ｐ（Ｔ｜Ｙ）と、候補トライマップＴ´の最大事後確率Ｐ（Ｔ´｜Ｙ）とを比較し、候補トライマップＴ´の最大事後確率Ｐ（Ｔ´｜Ｙ）が、入力トライマップＴの最大事後確率Ｐ（Ｔ｜Ｙ）以上である場合、当該候補トライマップＴ´を、出力トライマップとして出力し、候補トライマップＴ´の最大事後確率Ｐ（Ｔ´｜Ｙ）が、入力トライマップＴの最大事後確率Ｐ（Ｔ｜Ｙ）より小さい場合には、当該入力トライマップを、出力トライマップとして出力する。
【００４９】
繰り返し判定部４８は、整列部３４において整列されたピクセルグループの最後尾まで処理を終了したか判定する。最後尾のピクセルグループまで処理を終了している場合には、当該ピクセルグループについて、トライマップ判定部４６において取得した出力トライマップを最適化トライマップとする。一方、最後尾のピクセルグループまで処理を終了していない場合には、トライマップ判定部４６において取得した出力トライマップを、候補トライマップ作成部４２に出力すると共に、処理対象となるピクセルグループを一つ後方にずらし、候補トライマップ作成部４２の処理から繰り返し判定部４８の処理を繰り返す。
【００５０】
前景物体領域分割部５０は、入力部１０において受け付けた画像と、繰り返し判定部４８において取得した最適化トライマップとに基づいて、Iterated Graph Cut法（非特許文献２）を用いて、前景物体領域を切出し、出力部９０に出力する。図５に前景物体領域を分割した例を示す。図５の各行において、左から右まで、初期トライマップ、初期トライマップを基にした分割結果、最適化トライマップ、最適化トライマップを基にした分割結果を示している。
【００５１】
＜本発明の実施の形態に係る画像分割装置の作用＞
次に、本発明の実施の形態に係る画像分割装置１００の作用について説明する。入力部１０において画像及び初期トライマップを受け付けると、画像分割装置１００は、図６、及び図７に示す画像分割処理ルーチンを実行する。
【００５２】
まず、図６のステップＳ１００では、入力部１０において受け付けた画像を構成するピクセルの各々について、特徴量として、当該ピクセルのＲＧＢ値を抽出する。
【００５３】
次に、ステップＳ１０２では、ステップＳ１００において取得したピクセルの各々のＲＧＢ値に基づいて、複数のピクセルグループを作成する。
【００５４】
次に、ステップＳ１０４では、ステップＳ１０２において取得したピクセルグループの各々について、当該ピクセルグループに属するピクセルの各々と、入力部１０において受け付けた初期トライマップとに基づいて、上記（１）式に従って、当該ピクセルグループの画像の中心との距離に応じた値ｒｃを計算する。
【００５５】
次に、ステップＳ１０６では、ステップＳ１０４において取得したピクセルグループの各々についての画像の中心との距離に応じた値ｒｃに基づいて、画像の中心から遠い位置順にピクセルグループの各々を整列する。
【００５６】
次に、ステップＳ１０８では、ステップＳ１０６において取得した、整列したピクセルグループの一番先頭にあるピクセルグループを処理対象のピクセルグループとして決定する。
【００５７】
次に、ステップＳ１１０では、入力部１０において受け付けた初期トライマップ、若しくは、ステップＳ１１８又はステップＳ１２０における前回の処理において取得した出力トライマップを入力トライマップとし、当該入力トライマップと、ステップＳ１０８又は後述するステップＳ１２４において取得した処理対象となるピクセルグループに含まれるピクセルの各々とに基づいて、集合演算により、候補トライマップＴ´を作成する。
【００５８】
次に、ステップＳ１１２では、入力部１０において受け付けた画像と、当該画像を構成するピクセルの各々の座標値と、ステップＳ１００において取得した画像を構成するピクセルの各々のＲＧＢ値と、ステップＳ１１０において取得した入力トライマップＴとに基づいて、入力トライマップＴの最大事後確率Ｐ（Ｔ｜Ｙ）を、上記（４）式及び（５）式に従って計算する。
【００５９】
次に、ステップＳ１１４では、入力部１０において受け付けた画像と、当該画像を構成するピクセルの各々の座標値と、ステップＳ１００において取得した画像を構成するピクセルの各々のＲＧＢ値と、ステップＳ１１０において取得した候補トライマップＴ´とに基づいて、候補トライマップＴ´の最大事後確率Ｐ（Ｔ´｜Ｙ）を、上記（４）式及び（５）式に従って計算する。
【００６０】
次に、ステップＳ１１６では、ステップＳ１１２において取得した入力トライマップＴの最大事後確率Ｐ（Ｔ｜Ｙ）と、ステップＳ１１４において取得した候補トライマップＴ´の最大事後確率Ｐ（Ｔ´｜Ｙ）とを比較して、候補トライマップＴ´の最大事後確率Ｐ（Ｔ´｜Ｙ）が入力トライマップＴの最大事後確率Ｐ（Ｔ｜Ｙ）よりも小さい場合、ステップＳ１１８へ移行し、候補トライマップＴ´の最大事後確率Ｐ（Ｔ´｜Ｙ）が入力トライマップＴの最大事後確率Ｐ（Ｔ｜Ｙ）以上の場合、ステップＳ１２０へ移行する。
【００６１】
次に、ステップＳ１１８では、入力トライマップＴを、出力トライマップＴとして出力する。
【００６２】
次に、ステップＳ１２０では、ステップＳ１１０において取得した候補トライマップＴ´を、出力トライマップＴとして出力する。
【００６３】
次に、図７のステップＳ１２２では、全てのピクセルグループについて処理を終了したか否かを判定する。全てのピクセルグループについて処理を終了している場合には、ステップＳ１２６へ移行し、全てのピクセルグループについて処理を終了していない場合には、ステップＳ１２４へ移行する。
【００６４】
次に、ステップＳ１２４では、処理対象となるピクセルグループを１つ後方にずらし、処理対象となるピクセルグループを決定し、図６のステップＳ１１０へ移行する。
【００６５】
次に、ステップＳ１２６では、ステップＳ１１８、又はステップＳ１２０において取得した出力トライマップを最適化トライマップとして決定する。
【００６６】
次に、ステップＳ１２８では、入力部１０において受け付けた画像と、ステップＳ１２６において取得した最適化トライマップとに基づいて、前景物体領域の分割を行う。
【００６７】
次に、ステップＳ１３０では、ステップＳ１３０において取得した分割された前景物体領域を出力部９０に出力して、画像分割処理ルーチンを終了する。
【００６８】
以上説明したように、本発明の実施の形態に係る画像分割装置によれば、入力された画像のピクセルの各々について抽出された特徴量に基づいて、特徴量が類似するピクセルの集合から構成されるピクセルグループを各々作成し、作成されたピクセルグループの各々を、画像の中心からの距離が遠い順に整列させ、整列された順番に、ピクセルグループの各々について、入力トライマップのピクセルの集合と、ピクセルグループに属するピクセルの集合とに対する集合演算により、候補トライマップを作成し、候補トライマップの最大事後確率が入力トライマップの最大事後確率以上の場合、候補トライマップを出力トライマップとして出力し、候補トライマップの最大事後確率が入力トライマップの最大事後確率よりも小さい場合、入力トライマップを出力トライマップとして出力することを繰り返し、最適化トライマップを出力することにより、精度良く画像の前景物体領域を切り出すことができる。
【００６９】
また、只一枚の画像から、全自動で、より正確なトライマップを生成することが可能となるため、前景物体領域をより正確に切出すことが可能となる。
【００７０】
また、低品質の初期トライマップに対し、実際に「背景」であるにもかかわらず、「前景」とラベル付けされた領域のラベルを、自動的に訂正することが可能となるため、低品質の初期トライマップを、より前景物体領域分割に適したトライマップに最適化することが可能となり、前景物体領域をより正確に切出すことが可能となる。
【００７１】
また、対話型前景物体領域分割方法（非特許文献１、非特許文献２）と比べて、人手の介入を全く必要とせず、処理する画像数が高い場合でも、効率的に前景物体領域を切出すことができる。
【００７２】
また、学習型前景物体領域分割方法（非特許文献３、非特許文献４）と比べて、訓練データを全く必要とせず、入力画像が一枚しかない場合でも、只一枚の画像から全自動でより正確に前景物体領域を切出すことができる。
【００７３】
また、入力画像を基に構築したＭＲＦにより得られた最大事後確率を基準に、トライマップの正確性を検証し、正確性の最も高いトライマップを最適化トライマップと定義し、前景物体領域分割に用いることができる。
【００７４】
なお、本発明は、上述した実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
【００７５】
例えば、本実施の形態において初期トライマップは、画像中心に位置する矩形の図形に基づくものである場合について説明したが、これに限定されるものではなく、画像中心に位置する楕円等の図形に基づいてもよい。この場合には、初期トライマップは、楕円の図形内のピクセルを前景ラベルが付されたピクセルの集合とし、楕円の図形外のピクセルを背景ラベルが付されたピクセルの集合とする。
【００７６】
また、本実施の形態においてピクセルの特徴量としてＲＧＢ値を用いてピクセルグループを作成する場合について説明したが、これに限定されるものではない。例えば、ＲＧＢ以外のピクセルの視覚に基づく特徴量を用いてピクセルグループを作成してもよい。
【００７７】
また、本実施の形態において画像を構成するピクセルの各々のＲＧＢ値に基づいて、非特許文献５の方法を用いて、当該ＲＧＢ値の類似性に基づく複数のピクセルグループを作成する場合について説明したが、これに限定されるものではない。例えば、画像を構成するピクセルの各々のＲＧＢ値に基づいて、Rate Distortion法（非特許文献６：Catherine A. Sugar and Gareth M. James. Finding the number of clusters in a dataset:An Information-Theoretic approach. Journal of the American Statistical Association,Vol. 98, No. 463, pp. 750-763, 2003.）により定義された基準に従い、Bregman Hierarchical Clustering法（非特許文献５）を用いて、ピクセルグループを作成してもよい。また、gPb-owt-ucm法（非特許文献７：Pablo Arbelaez, Michael Maire, Charless Fowlkes, and Jitendra Malik. Contour detection and hierarchical image segmentation. IEEE Trans. Pattern Anal. Mach. Intell.,Vol. 33, No. 5, pp. 898-916, 2011.）を用いて、入力画像を、複数のセグメントに分割し、分割されたセグメントを、ピクセルグループとしてもよい。
【００７８】
また、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムを、コンピュータ読み取り可能な記録媒体に格納して提供することも可能であるし、ネットワークを介して提供することも可能である。
【符号の説明】
【００７９】
１０   入力部
２０   演算部
２２   特徴量抽出部
２４   ピクセルグループ化部
３０   トライマップ検証部
３２   距離計算部
３４   整列部
４０   最大事後確率検証部
４２   候補トライマップ作成部
４４   最大事後確率計算部
４６   トライマップ判定部
４８   繰り返し判定部
５０   前景物体領域分割部
９０   出力部
１００ 画像分割装置
【図１】
2016009326.tif 000014
【図６】
2016009326.tif 000015
【図７】
2016009326.tif 000016
【図２】
2016009326.tif 000017
【図３】
2016009326.tif 000018
【図４】
2016009326.tif 000019
【図５】
2016009326.tif 000020