(57)【要約】      （修正有）【課題】主要オブジェクトとそれ以外の背景との領域分割の精度を向上させる。【解決手段】領域分割手段２０１は、画像範囲内の各画素に付与する主要オブジェクトまたは背景を示す領域ラベルと各画素の画素値に基づき、主要オブジェクトらしさまたは背景らしさを示すデータ項２０３と、隣接画素間の領域ラベルの滑らかさを示す平滑化項２０４と、データ項２０３または平滑化項２０４の少なくともいずれかに前回の領域分割の結果に応じて算出され各画素の位置に応じた画素位置重み値を付加する画素位置重み関数２０５とを含むエネルギー関数の最小化処理により、画像内で主要オブジェクトと背景を領域分割する。画素位置重み関数更新手段２０２は、領域分割手段２０１により主要オブジェクトの領域が画像範囲内で占める割合が増加するほど、画像範囲の中央から境界部分に向かって画素位置重み値が減少する関数を算出し、画素位置重み関数２０５として更新する。【選択図】図２
2014010682.tif 000002
【特許請求の範囲】
【請求項１】
画像内で指定された画像範囲内の主要オブジェクトと該主要オブジェクト以外の背景を領域分割する装置であって、
前記画像範囲内の各画素に付与する前記主要オブジェクトまたは前記背景を示す領域ラベルを更新しながら、該領域ラベルと前記各画素の画素値に基づき、前記主要オブジェクトらしさまたは背景らしさを示すデータ項と、隣接画素間の前記領域ラベルの滑らかさを示す平滑化項と、前記データ項または前記平滑化項の少なくともいずれかに前回の領域分割の結果に応じて算出され前記各画素の位置に応じた画素位置重み値を付加する画素位置重み関数とを含むエネルギー関数の最小化処理により、前記画像内で前記主要オブジェクトと前記背景を領域分割する領域分割手段と、
前記領域分割手段により前回領域分割された前記主要オブジェクトの領域が前記画像範囲内で占める割合が増加するほど、前記画像範囲の中央から前記画像範囲の境界部分に向かって前記画素位置重み値が減少する関数を算出し、該関数を前記領域分割手段における次回の領域分割のための前記画素位置重み関数として更新する画素位置重み関数更新手段と、
を備え、
前記領域分割手段および前記画素位置重み関数更新手段による処理を繰り返し実行する、
ことを特徴とする画像領域分割装置。
【請求項２】
前記画素位置重み関数は、前記領域分割手段により前回領域分割された前記主要オブジェクトの領域が前記画像範囲内で占める割合が増加するほど減少する特性を有する分散値を有し、前記画像範囲の中央から前記画像範囲の境界部分に向かって前記分散値に従ってガウス関数的に前記画素位置重み値が減少する関数である、
ことを特徴とする請求項１に記載の画像領域分割装置。
【請求項３】
前記画素位置重み関数更新手段は、前記分散値として、前記主要オブジェクトの領域が前記画像範囲の境界部分に接する割合が増加するほど減少する特性を有する分散値を算出する、
ことを特徴とする請求項２に記載の画像領域分割装置。
【請求項４】
前記画素位置重み関数更新手段は、
前記分散値として、前記主要オブジェクトの領域が前記画像範囲の垂直方向の境界部分に接する割合が増加するほど減少する特性を有する第１の分散値と、前記主要オブジェクトの領域が前記画像範囲の水平方向の境界部分に接する割合が増加するほど減少する特性を有する第２の分散値を算出し、
前記画像範囲の中央から前記画像範囲の水平方向の境界部分に向かって前記第１の分散値に従ってガウス関数的に前記画素位置重み値が減少し、前記画像範囲の中央から前記画像範囲の垂直方向の境界部分に向かって前記第２の分散値に従ってガウス関数的に前記画素位置重み値が減少する関数として前記画素位置重み関数を更新する、
ことを特徴とする請求項３に記載の画像領域分割装置。
【請求項５】
前記画素位置重み関数更新手段は、前記分散値として、前記主要オブジェクトの領域が前記画像範囲内で占める面積の割合が増加するほど減少する特性を有する分散値を算出する、
ことを特徴とする請求項２に記載の画像領域分割装置。
【請求項６】
前記領域分割手段は、Ｇｒａｐｈ  Ｃｕｔｓ法により前記エネルギー関数の最小化処理を実行する、
ことを特徴とする請求項１ないし５のいずれかに記載の画像領域分割装置。
【請求項７】
画像内で指定された画像範囲内の主要オブジェクトと該主要オブジェクト以外の背景を領域分割する方法であって、
前記画像範囲内の各画素に付与する前記主要オブジェクトまたは前記背景を示す領域ラベルを更新しながら、該領域ラベルと前記各画素の画素値に基づき、前記主要オブジェクトらしさまたは背景らしさを示すデータ項と、隣接画素間の前記領域ラベルの滑らかさを示す平滑化項と、前記データ項または前記平滑化項の少なくともいずれかに前回の領域分割の結果に応じて算出され前記各画素の位置に応じた画素位置重み値を付加する画素位置重み関数とを含むエネルギー関数の最小化処理により、前記画像内で前記主要オブジェクトと前記背景を領域分割する領域分割ステップと、
前記領域分割ステップにより前回領域分割された前記主要オブジェクトの領域が前記画像範囲内で占める割合が増加するほど、前記画像範囲の中央から前記画像範囲の境界部分に向かって前記画素位置重み値が減少する関数を算出し、該関数を前記領域分割ステップにおける次回の領域分割のための前記画素位置重み関数として更新する画素位置重み関数更新ステップと、
を繰り返し実行することを特徴とする画像領域分割方法。
【請求項８】
画像内で指定された画像範囲内の主要オブジェクトと該主要オブジェクト以外の背景を領域分割する処理を実行するコンピュータに、
前記画像範囲内の各画素に付与する前記主要オブジェクトまたは前記背景を示す領域ラベルを更新しながら、該領域ラベルと前記各画素の画素値に基づき、前記主要オブジェクトらしさまたは背景らしさを示すデータ項と、隣接画素間の前記領域ラベルの滑らかさを示す平滑化項と、前記データ項または前記平滑化項の少なくともいずれかに前回の領域分割の結果に応じて算出され前記各画素の位置に応じた画素位置重み値を付加する画素位置重み関数とを含むエネルギー関数の最小化処理により、前記画像内で前記主要オブジェクトと前記背景を領域分割する領域分割ステップと、
前記領域分割ステップにより前回領域分割された前記主要オブジェクトの領域が前記画像範囲内で占める割合が増加するほど、前記画像範囲の中央から前記画像範囲の境界部分に向かって前記画素位置重み値が減少する関数を算出し、該関数を前記領域分割ステップにおける次回の領域分割のための前記画素位置重み関数として更新する画素位置重み関数更新ステップと、
を繰り返し実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像内の主要オブジェクトとそれ以外の背景を領域分割する装置、方法、およびプログラムに関する。
【背景技術】
【０００２】
野山や道端で見かけた花の名前を知りたくなることがある。そこで、撮影等により得た花のディジタル画像より、クラスタリング法を用いて対象物である花の画像を抽出し、その抽出された花の画像より得られる情報を特徴量とする。単数または複数の特徴量を求め、その求められた特徴量と、あらかじめデータベースに登録してある各種の植物の特徴量とを統計的手法を用いて解析して野草の種類を判別する技術が提案されている（例えば特許文献１に記載の技術）。
【０００３】
また、主要オブジェクトを含む画像をＧｒａｐｈ  Ｃｕｔｓ法を用いて主要オブジェクトと背景とに分割する従来技術が知られている（例えば非特許文献１、特許文献２に記載の技術）。領域分割を行う場合，主要オブジェクトと背景の関係によりその境界が不明確な部分が存在する可能性があり，最適な領域分割を行う必要がある。そこで、この従来技術では、領域分割をエネルギーの最小化問題としてとらえ、その最小化手法を提案している。この従来技術では，領域分割に適合するようにグラフを作成し、そのグラフの最小カットを求めることにより、エネルギー関数の最小化を行う。この最小カットは、最大フローアルゴリズムを用いることにより、効率的な領域分割計算を実現している。
【０００４】
Ｇｒａｐｈ  Ｃｕｔｓ法を用いて主要オブジェクトと背景を分割する手法では、画像内の各画素に付与する主要オブジェクトまたは背景を示す領域ラベルを更新しながら、その領域ラベルと各画素の画素値に基づいて領域分割を行う手法が知られている。この場合例えば、次のようなコスト項を含むエネルギー関数が定義される。まず、主要オブジェクトを示す画像から算出した例えばカラー画素値ごとのヒストグラムの値が大きいほど値が小さくなるコスト項が含まれる。また、背景を示す画像から算出した例えばカラー画素値ごとのヒストグラムの値が大きいほど値が小さくなるコスト項が含まれる。そして、そのエネルギー関数の最小化処理により、画像内で主要オブジェクトと背景が領域分割される（以上、例えば非特許文献１に記載の手法）。
【０００５】
また、Ｇｒａｐｈ  Ｃｕｔｓ法だけでは主要オブジェクトと背景の分割が難しい場合がある。このため、例えばいわゆるスマートフォンなどへの実装では、ユーザが、例えば撮像装置で撮像した画像に対し、認識したい物体（例えば花）が存在するおおよその領域に対して、例えばタッチパネル等の入力装置を用いて矩形枠を指定する機能が実装される。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００２−２０３２４２号公報
【特許文献２】特開２０１１−３５６３６号公報
【非特許文献】
【０００７】
【非特許文献１】Ｙ．Ｂｏｙｋｏｖ  ａｎｄ  Ｇ．Ｆｕｎｋａ−Ｌｅａ：“Ｉｎｔｅｒａｃｔｉｖｅ  Ｇｒａｐｈ  Ｃｕｔｓ  ｆｏｒ  Ｏｐｔｉｍａｌ  Ｂｏｕｎｄａｒｙ  ＆  Ｒｅｇｉｏｎ  Ｓｅｇｍｅｎｔａｔｉｏｎ  ｏｆ  Ｏｂｊｅｃｔｓ  ｉｎ  Ｎ−Ｄ  Ｉｍａｇｅｓ”，Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  “Ｉｎｔｅｒｎａｔｉｏｎ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ”，Ｖａｎｃｏｕｖｅｒ，Ｃａｎａｄａ，ｖｏｌ．Ｉ，ｐ．１０５−１１２，Ｊｕｌｙ  ２００１．
【発明の概要】
【発明が解決しようとする課題】
【０００８】
ここで、花画像などの場合、ユーザが例えば矩形枠の画像範囲を指定するときには、主要オブジェクトとなる花が矩形枠内に適度に収まるように指定するのが通常である。一方、入力画像としては、例えば主要オブジェクトとなる花が他の背景物からきちんと独立している場合もあれば、主要オブジェクトとなる花に近接して葉があったり、背景となる領域にも主要オブジェクトとなる花と同じ花が群生しているような場合もある。これらの各種ケースによって領域分割のアルゴリズムが影響を受け、領域分割によって、主要オブジェクトの領域が矩形枠をはみ出すように算出されてしまったり、逆に主要オブジェクトの領域が矩形枠の中央部分の狭い領域として算出されてしまったりする。
このような場合に、従来は、主要オブジェクトとなる花が矩形枠内に適度に収まるように領域分割処理を修正する手法がなく、最終的に得られる領域分割の精度が低下してしまうという問題点を有していた。
【０００９】
本発明は、誤った領域分割を修正して最終的な領域分割の精度を向上させることを目的とする。
【課題を解決するための手段】
【００１０】
態様の一例では、画像内で指定された画像範囲内の主要オブジェクトとその主要オブジェクト以外の背景を領域分割する装置であって、画像範囲内の各画素に付与する主要オブジェクトまたは背景を示す領域ラベルを更新しながら、その領域ラベルと各画素の画素値に基づき、主要オブジェクトらしさまたは背景らしさを示すデータ項と、隣接画素間の領域ラベルの滑らかさを示す平滑化項と、データ項または平滑化項の少なくともいずれかに前回の領域分割の結果に応じて算出され各画素の位置に応じた画素位置重み値を付加する画素位置重み関数とを含むエネルギー関数の最小化処理により、画像内で主要オブジェクトと背景を領域分割する領域分割手段と、領域分割手段により前回領域分割された主要オブジェクトの領域が画像範囲内で占める割合が増加するほど、画像範囲の中央から画像範囲の境界部分に向かって画素位置重み値が減少する関数を算出し、その関数を領域分割手段における次回の領域分割のための画素位置重み関数として更新する画素位置重み関数更新手段とを備え、領域分割手段および画素位置重み関数更新手段による処理を繰り返し実行する。
【発明の効果】
【００１１】
本発明によれば、誤った領域分割を修正して最終的な領域分割の精度を向上させることが可能となる。
【図面の簡単な説明】
【００１２】
【図１】本発明の一実施形態に係る画像領域分割装置のハードウェア構成例を示すブロック図である。
【図２】図１の画像領域分割装置の機能的構成を示す機能ブロック図である。
【図３】本実施形態の説明図である。
【図４】本実施形態による画像領域分割処理の全体動作を示すフローチャートである。
【図５】重み付き有向グラフの説明図である。
【図６】ヒストグラムθの説明図である。
【図７】ｈuv（Ｘu ,Ｘv ）の特性図である。
【図８】ｔ−ｌｉｎｋとｎ−ｌｉｎｋを有するグラフと、領域ラベルベクトルＸおよびグラフカットとの関係を、模式的に示した図である。
【図９】領域分割処理を示すフローチャートである。
【図１０】画素位置重み関数更新処理を示すフローチャートである。
【図１１】標準偏差の算出処理の説明図である。
【図１２】標準偏差の特性例を示す図である。
【図１３】画素位置重み関数の説明図である。
【発明を実施するための形態】
【００１３】
以下、本発明を実施するための形態について図面を参照しながら詳細に説明する。
【００１４】
図１は、本発明の一実施形態に係る画像領域分割装置１０１のハードウェア構成例を示すブロック図である。
【００１５】
この画像領域分割装置１０１は例えば、いわゆるスマートフォンなどの携帯情報端末であるコンピュータシステム上に実現される。
【００１６】
画像領域分割装置１０１は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ：中央演算処理装置）１０２と、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）１０３と、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）１０４を備える。また、画像領域分割装置１０１は、ソリッド記憶装置等の外部記憶装置１０５と、通信インタフェース１０６と、タッチパネルディスプレイ装置などの入力装置１０７および表示装置１０８を備える。さらに、画像領域分割装置１０１は、マイクロＳＤメモリカードやＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）メモリカードなどの可搬記録媒体１１０をセット可能な可搬記録媒体駆動装置１０９を備える。撮像装置１１２は、静止画像やビデオ画像を撮像することのできるデジタルカメラ機構であり、レンズ、オートフォーカス駆動制御装置、露出制御装置、撮像センサ等を備える。上述の各機器１０２〜１０９および１１２は、バス１１１によって相互に接続される。
【００１７】
ＲＯＭ１０３には、スマートフォン全体の一般的な動作を制御するプログラムのほか、後述する図４、図９、および図１０のフローチャートによって示される画像領域分割処理の制御プログラムが記憶されている。ＣＰＵ１０２は、ＲＯＭ１０３から、この制御プログラムを読み出し、ＲＡＭ１０４をワークメモリとして実行する。これにより、後述する図２の機能ブロックで示される画像領域分割機能が実現され、この結果、例えばユーザが、撮像装置１１２によって花などを撮像し、入力装置１０７で範囲してした画像範囲から、花などの主要オブジェクトをそれ以外の背景から分割する画像領域分割処理が実行される。これにより得られた花などの主要オブジェクト領域の画像データは、ユーザが例えば花の種類を検索するために、通信インタフェース１０６から特には図示しないインターネットを経由してインターネットに接続される画像検索サーバコンピュータに送信される。このコンピュータ上で、送られた主要オブジェクト領域の花画像データに基づいて花のデータベースが検索される。その結果検索がヒットした花の図鑑情報が、その花の画像データとともにインターネットを経由して通信インタフェース１０６にて受信され、表示装置１０８に表示される。
なお、本実施形態による画像領域分割装置１０１は、携帯情報端末上ではなく、上記サーバコンピュータ上などに実現されてもよい。
【００１８】
図２は、図１の画像領域分割装置１０１の機能的構成を示す機能ブロック図である。
本実施形態における画像領域分割装置１０１は、画像内で、例えばユーザにより矩形枠指定された画像範囲内の花などの主要オブジェクトとその主要オブジェクト以外の背景を領域分割する装置として実現される。
【００１９】
領域分割手段２０１は、例えばユーザにより矩形枠として指定された画像範囲内の各画素に付与する主要オブジェクトまたは背景を示す領域ラベルを更新しながら、その領域ラベルと各画素の画素値に基づき、主要オブジェクトらしさまたは背景らしさを示すデータ項２０３と、隣接画素間の領域ラベルの滑らかさを示す平滑化項２０４と、データ項２０３または平滑化項２０４の少なくともいずれかに前回の領域分割の結果に応じて算出され各画素の位置に応じた画素位置重み値を付加する画素位置重み関数２０５とを含むエネルギー関数の最小化処理により、画像内で主要オブジェクトと背景を領域分割する。この領域分割手段２０１は例えば、Ｇｒａｐｈ  Ｃｕｔｓ法によりエネルギー関数の最小化処理を実行する。
【００２０】
画素位置重み関数更新手段２０２は、領域分割手段２０１により前回領域分割された主要オブジェクトの領域が画像範囲内で占める割合が増加するほど、画像範囲の中央から画像範囲の境界部分に向かって画素位置重み値が減少する関数を算出し、その関数を領域分割手段２０１における次回の領域分割のための画素位置重み関数２０５として更新する。この画素位置重み関数は例えば、領域分割手段２０１により前回領域分割された主要オブジェクトの領域が画像範囲内で占める割合が増加するほど減少する特性を有する分散値を有し、画像範囲の中央から画像範囲の境界部分に向かって分散値に従ってガウス関数的に画素位置重み値が減少する関数である。
【００２１】
花画像などの場合、ユーザが例えば矩形枠の画像範囲を指定するときには、主要オブジェクトとなる花が矩形枠内に適度に収まるように指定するのが通常である。一方、入力画像としては、例えば主要オブジェクトとなる花が他の背景物からきちんと独立している場合もあれば、主要オブジェクトとなる花に近接して葉があったり、背景となる領域にも主要オブジェクトとなる花と同じ花が群生しているような場合もある。これらの各種ケースによって領域分割のアルゴリズムが影響を受ける。この結果、領域分割処理によって、例えば図３（ａ）の破線３０１として示されるように、主要オブジェクトの領域が花の中央部分のみしか含まずに矩形枠の中央部分の狭い領域として算出されてしまう場合がある。逆に、例えば図３（ｂ）の破線３０２として示されるように、主要オブジェクトの領域が花の周囲の葉も含んでしまって矩形枠をはみ出すように算出されてしまう場合がある。
【００２２】
本実施形態では、領域分割手段２０１における領域分割の繰返し処理ごとに、画素位置重み関数更新手段２０２において画素位置重み関数２０５が算出されて更新される。そして、領域分割手段２０１での次回の領域分割処理において、データ項２０３または平滑化項２０４の少なくともいずれかに、上記更新された画素位置重み関数２０５によって、画像範囲内での各画素の位置に応じた画素位置重み値が付加される。この画素位置重み関数２０５は、主要オブジェクトの領域が例えば矩形枠である画像範囲内で占める割合が増加するほど、画像範囲の中央から画像範囲の境界部分に向かって画素位置重み値が減少する関数として更新される。例えば、前回領域分割された主要オブジェクトの領域が画像範囲内で占める割合が増加するほど減少する特性を有する分散値を有し、画像範囲の中央から画像範囲の境界部分に向かって分散値に従ってガウス関数的に画素位置重み値が減少する関数である。
【００２３】
この処理により、領域分割手段２０１での前回の領域分割処理により、例えば図３（ａ）の破線３０１として示されるように、主要オブジェクトとなる花の領域が画像範囲の中央部分の狭い領域として算出されてしまう場合には、主要オブジェクトの領域が画像範囲内で占める割合が減少する。このため、画素位置重み関数更新手段２０２が、その減少に逆行するように、画像範囲の中央からその境界付近にまで広範囲に裾が広がった画素位置重み関数２０５を算出する。この結果、領域分割手段２０１での次回の領域分割処理において、画像範囲の中央からその境界付近まで高い値となる画素位置重み値が、エネルギー関数Ｅ（Ｘ）を構成するデータ項２０３または平滑化項２０４に例えば乗算される。これにより、領域分割手段２０１で計算されるエネルギー関数が、画像範囲の中央から境界ぎりぎりの付近までは高めの値となるため、画像範囲内の中央から境界側にかなり寄った部分で主要オブジェクトの領域が領域分割されるように、フィードバック制御がかかり、正しく領域分割が行われるようになる。
【００２４】
逆に、領域分割手段２０１での前回の領域分割処理により、例えば図３（ｂ）の破線３０２として示されるように、主要オブジェクトとなる花の領域が矩形枠いっぱいの領域として算出されてしまう場合には、主要オブジェクトの領域が画像範囲内で占める割合が増加する。このため、画素位置重み関数更新手段２０２が、その増加に逆行するように、画像範囲の中央からの広がりかたが少なく裾が急速に減少するガウス関数である画素位置重み関数２０５を算出する。この結果、領域分割手段２０１での次回の領域分割処理において、画像範囲の中央から急速に減少する画素位置重み値が、エネルギー関数Ｅ（Ｘ）を構成するデータ項２０３または平滑化項２０４に例えば乗算される。これにより、領域分割手段２０１で計算されるエネルギー関数が、画像範囲の中央から少しの範囲で低い値となるため、画像範囲内の中央から少しの範囲をすぎたところで領域分割が行われるように、フィードバック制御がかかり、正しく領域分割が行われるようになる。
【００２５】
画素位置重み関数２０５は例えば、以下のようにして算出できる。まず、現時点で算出されている主要オブジェクトの領域が例えば矩形枠の境界部分に接する割合が増加するほど減少する特性を有する分散値が算出される。具体的には、この分散値としては、現時点で算出されている主要オブジェクトの領域が画像範囲である例えば矩形枠の垂直方向の境界部分に接する割合が増加するほど減少する特性を有する第１の分散値と、主要オブジェクトの領域が矩形枠の水平方向の境界部分に接する割合が増加するほど減少する特性を有する第２の分散値として算出できる。この場合の画素位置重み関数２０５としては、矩形枠の中央から矩形枠の水平方向の境界部分に向かって第１の分散値に従ってガウス関数的に画素位置重み値が減少し、矩形枠の中央から矩形枠の垂直方向の境界部分に向かって第２の分散値に従ってガウス関数的に画素位置重み値が減少する関数として算出、更新できる。あるいは、上述の分散値としては例えば、現時点で算出されている主要オブジェクトの領域が例えば矩形枠内で占める面積の割合が増加するほど減少する特性を有する分散値として算出できる。
【００２６】
以上のようにして、領域分割手段２０１による領域分割処理と画素位置重み関数更新手段２０２による画素位置重み関数２０５の更新処理が繰り返し実行されることにより、主要オブジェクト領域と背景領域がより正確に領域分割されるように収束させることが可能となる。
【００２７】
図４は、本実施形態による画像領域分割処理の全体動作を示すフローチャートである。このフローチャートの処理は、図９および図１０の詳細処理を示すフローチャートの処理とともに、図１のＣＰＵ１０２が、ＲＯＭ１０３に記憶された制御プログラムを、ＲＡＭ１０４をワークメモリとして使用しながら実行する処理として実現される。
【００２８】
まず、矩形枠決定処理が実行される（図４のステップＳ４０１）。この処理では、ユーザが、例えば図１の撮像装置１１２にて撮像した画像に対して、認識したい物体（例えば花）が存在するおおよその領域に対して、例えばタッチパネル等の入力装置１０７を用いて、矩形枠を指定する。例えば、タッチパネル上での、指によるスライド動作である。
【００２９】
次に、画素位置重み関数初期化処理が実行される（図４のステップＳ４０２）。この処理では、領域分割処理においてエネルギー関数のデータ項２０３および平滑化項２０４に乗算される画素位置重み関数の値が、全ての画素位置に関して均等な値（例えば“１”）に設定される。
【００３０】
続いて、画像範囲内の各画素に対して、主要オブジェクトと背景を領域分割する領域分割処理（グラフカット処理）が実行される（図４のステップＳ４０３）。この領域分割処理は、図２の領域分割手段２０１の機能を実現する。この処理の詳細については、図５から図９で後述する。
【００３１】
一度領域分割処理が終了した後、収束判定が行われる（図４のステップＳ４０４）。この収束判定は、以下のいずれかが満たされたときに、ＹＥＳの判定結果となる。
・繰り返し回数が一定以上になった
・前回主要オブジェクトとされた領域面積と今回主要オブジェクトとされた領域面積の差が一定以下
【００３２】
ステップＳ４０４の判定で収束せず、その判定がＮＯであった場合、前回の領域分割の状況に応じて、ユーザが指定した矩形枠内の後述するコスト関数ｇv (Ｘv )が、次のようにして修正されて更新される（図４のステップＳ４０５）。ステップＳ４０３の領域分割処理によって主要オブジェクトと判定された領域のヒストグラムと、事前に用意されている後述するヒストグラムθ（ｃ，０）が、カラー画素値ｃごとに例えば一定割合で混合（加算）される。これにより、新たな主要オブジェクトらしさを示すヒストグラムθ（ｃ，０）が生成され、それに基づいて新たなコスト関数ｇv (Ｘv )が計算される（後述する数６式等を参照）。同様に、ステップＳ４０３の領域分割処理によって背景と判定された領域のヒストグラムと、事前に用意されている後述するヒストグラムθ（ｃ，１）が、カラー画素値ｃごとに例えば一定割合で混合（加算）される。これにより、新たな背景らしさを示すヒストグラムθ（ｃ，１）が生成され、それに基づいて新たなコスト関数ｇv (Ｘv )が計算される（後述する数７式等を参照）。
【００３３】
次に、画素位置重み関数更新処理が実行される（図４のステップＳ４０６）。この処理は、図２の画素位置重み関数更新手段２０２の機能を実現する。この処理の詳細については、図１０から図１３で後述する。その後、図４のステップＳ４０３の領域分割処理が繰り返される。
【００３４】
ステップＳ４０４の判定が収束し、その判定がＹＥＳになると、図４のフローチャートで示される領域分割処理は終了とし、現在得られている主要オブジェクト領域が最終結果として出力される。
【００３５】
以下に、図４のステップＳ４０２の領域分割処理について、説明する。
いま、
【数１】
2014010682.tif 000003
を、要素Ｘv が画像Ｖにおける画素ｖ（１≦ｖ≦Ｖ）に対する領域ラベルを示す領域ラベルベクトルであるとする。この領域ラベルベクトルは、例えば、画素ｖが主要オブジェクト領域内にあれば要素Ｘv ＝０、背景領域内にあれば要素Ｘv ＝１となるバイナリベクトルである。すなわち、
【数２】
2014010682.tif 000004
である。
【００３６】
本実施形態において実行される領域分割処理は、画像Ｖにおいて、次式で定義されるエネルギー関数Ｅ（Ｘ）を最小にするような数１式の領域ラベルベクトルＸを求める処理である。
【数３】
2014010682.tif 000005
エネルギー最小化処理が実行される結果、領域ラベルベクトルＸ上で領域ラベル値Ｘv ＝０となる画素ｖの集合として、主要オブジェクト領域が得られる。本実施形態の例でいえば、矩形枠内の花の領域である。なお、領域ラベルベクトルＸ上で領域ラベル値Ｘv ＝１となる画素ｖの集合が、背景領域（矩形枠外も含む）となる。
【００３７】
数３式のエネルギーを最小化するために、次式および図５で示される重み付き有向グラフ（以下「グラフ」と略す）を定義する。
【数４】
2014010682.tif 000006
ここで、Ｖはノード（ｎｏｄｅ）、Ｅはエッジ（ｅｄｇｅ）である。このグラフが画像の領域分割に適用される場合は、画像の各画素が各ノードＶに対応する。また、画素以外のノードとして、次式および図５中に示される、
【数５】
2014010682.tif 000007
と呼ばれる特殊なターミナルが追加される。このソースｓを主要オブジェクト領域、シンクｔを背景領域に対応付けて考える。また、エッジＥは、ノードＶ間の関係を表現している。周辺の画素との関係を表したエッジＥをｎ−ｌｉｎｋ、各画素とソースｓ（主要オブジェクト領域に対応）またはシンクｔ（背景領域に対応）との関係を表したエッジＥをｔ−ｌｉｎｋと呼ぶ。
【００３８】
いま、ソースｓと各画素に対応するノードとを結ぶ各ｔ−ｌｉｎｋを、各画素がどの程度主要オブジェクト領域らしいかを示す関係ととらえる。そして、その主要オブジェクト領域らしさを示すコスト値を、数３式第１項に対応付けて、
【数６】
2014010682.tif 000008
と定義する。ここで、θ（ｃ、０）は、画像の主要オブジェクトの領域から算出したカラー画素値ｃごとのヒストグラム（出現回数）を示す関数データであり、例えば図６（ａ）に示されるように予め得られている。なお、θ（ｃ、０）の全カラー画素値ｃにわたる総和は１になるように正規化されているものとする。また、Ｉ（ｖ）は、入力画像の各画素ｖにおけるカラー（ＲＧＢ）画素値である。実際には、カラー（ＲＧＢ）画素値を輝度値に変換した値であるが、特に言及の必要がなければ、以下では説明の簡単のために「カラー（ＲＧＢ）画素値」または「カラー画素値」と記載する。数６式において、θ（Ｉ（ｖ）、０）の値が大きいほど、コスト値は小さくなる。これは、予め得られている主要オブジェクト領域のカラー画素値の中で出現回数が多いものほど、数６式で得られるコスト値が小さくなって、画素ｖが主要オブジェクト領域中の画素らしいことを意味し、数３式のエネルギー関数Ｅ（Ｘ）の値を押し下げる結果となる。
【００３９】
次に、シンクｔと各画素に対応するノードとを結ぶ各ｔ−ｌｉｎｋを、各画素がどの程度背景領域らしいかを示す関係ととらえる。そして、その背景領域らしさを示すコスト値を、数３式第１項に対応付けて、
【数７】
2014010682.tif 000009
と定義する。ここで、θ（ｃ、1）は、画像の背景の領域から算出したカラー画素値ｃごとのヒストグラム（出現度数）を示す関数データであり、例えば図６（ｂ）に示されるように予め得られている。なお、θ（ｃ、１）の全カラー画素値ｃにわたる総和は１になるように正規化されているものとする。Ｉ（ｖ）は、数６式の場合と同様に、入力画像の各画素ｖにおけるカラー（ＲＧＢ）画素値である。数６式において、θ（Ｉ（ｖ）、１）の値が大きいほど、コスト値は小さくなる。これは、予め得られている背景領域のカラー画素値の中で出現回数が多いものほど、数７式で得られるコスト値が小さくなって、画素ｖが背景領域中の画素らしいことを意味し、数３式のエネルギー関数Ｅ（Ｘ）の値を押し下げる結果となる。
【００４０】
次に、各画素に対応するノードとその周辺画素との関係を示すｎ−ｌｉｎｋのコスト値を、数３式第２項に対応付けて、
【数８】
2014010682.tif 000010
と定義する。ここで、ｄｉｓｔ（ｕ，ｖ）は、画素ｖとその周辺画素ｕのユークリッド距離を示しており、κは所定の係数である。また、Ｉ（ｕ）およびＩ（ｖ）は、入力画像の各画素ｕおよびｖにおける各カラー（ＲＧＢ）画素値である。実際には前述したように、カラー（ＲＧＢ）画素値を輝度値に変換した値である。画素ｖおよびその周辺画素ｕの各領域ラベル値Ｘu およびＸv が同一（Ｘu ＝Ｘv ）となるように選択された場合における数８式のコスト値は０とされて、エネルギーＥ（Ｘ）の計算には影響しなくなる。一方、画素ｖとその周辺画素ｕの各領域ラベル値Ｘu およびＸv が異なる（Ｘu ≠Ｘv ）ように選択された場合における数８式のコスト値は、例えば図７に示される特性を有する関数特性となる。すなわち、画素ｖおよびその周辺画素ｕの各領域ラベル値Ｘu およびＸv が異なっていて、かつ画素ｖおよびその周辺画素ｕの輝度値の差Ｉ（ｕ）−Ｉ（ｖ）が小さい場合には、数８式で得られるコスト値が大きくなる。この場合には、数３式のエネルギー関数Ｅ（Ｘ）の値が押し上げられる結果となる。言い換えれば、近傍画素間で、輝度値の差が小さい場合には、それらの画素の各領域ラベル値は、互いに異なるようには選択されない。すなわち、その場合には、近傍画素間では領域ラベル値はなるべく同じになって主要オブジェクト領域または背景領域はなるべく変化しないように、制御される。一方、画素ｖおよびその周辺画素ｕの各領域ラベル値Ｘu およびＸv が異なっていて、かつ画素ｖおよびその周辺画素ｕの輝度値の差Ｉ（ｕ）−Ｉ（ｖ）が大きい場合には、数８式で得られるコスト値が小さくなる。この場合には、数３式のエネルギー関数Ｅ（Ｘ）の値が押し下げられる結果となる。言い換えれば、近傍画素間で、輝度値の差が大きい場合には、主要オブジェクト領域と背景領域の境界らしいことを意味し、画素ｖとその周辺画素ｕとで、領域ラベル値が異なる方向に制御される。 
【００４１】
以上の定義を用いて、入力画像の各画素ｖごとに、数６式によって、ソースｓと各画素ｖとを結ぶｔ−ｌｉｎｋのコスト値（主要オブジェクト領域らしさ）が算出される。また、数７式によって、シンクｔと各画素ｖとを結ぶｔ−ｌｉｎｋのコスト値（背景領域らしさ）が算出される。さらに、入力画像の各画素ｖごとに、数８式によって、画素ｖとその周辺例えば８方向の各８画素とを結ぶ８本のｎ−ｌｉｎｋのコスト値（境界らしさ）が算出される。
【００４２】
そして、理論的には、数１式の領域ラベルベクトルＸの全ての領域ラベル値の０または１の組合せごとに、各領域ラベル値に応じて上記数６式、数７式、および数８式の計算結果が選択されながら数３式のエネルギー関数Ｅ（Ｘ）が計算される。そして、全ての組合せの中でエネルギー関数Ｅ（Ｘ）の値が最小となる領域ラベルベクトルＸを選択することにより、領域ラベルベクトルＸ上で領域ラベル値Ｘv ＝０となる画素ｖの集合として、主要オブジェクト領域を得ることができる。
【００４３】
しかし実際には、領域ラベルベクトルＸの全ての領域ラベル値の０または１の組合せ数は、２の画素数乗通りあるため、現実的な時間でエネルギー関数Ｅ（Ｘ）の最小化処理を計算することができない。
【００４４】
そこで、Ｇｒａｐｈ  Ｃｕｔｓ法では、次のようなアルゴリズムを実行することにより、エネルギー関数Ｅ（Ｘ）の最小化処理を現実的な時間で計算することを可能にする。
図８は、上述した数６式、数７式で定義されるｔ−ｌｉｎｋと数８式で定義されるｎ−ｌｉｎｋを有するグラフと、領域ラベルベクトルＸおよびグラフカットとの関係を、模式的に示した図である。図８では、理解の容易化のために、画素ｖは一次元的に示されている。
【００４５】
数３式のエネルギー関数Ｅ（Ｘ）の第１項の計算で、領域ラベルベクトルＸ中の領域ラベル値が０となるべき主要オブジェクト領域中の画素では、数６式と数７式のうち、主要オブジェクト領域中の画素らしい場合により小さな値となる数６式のコスト値のほうが小さくなる。従って、ある画素において、ソースｓ側のｔ−ｌｉｎｋが選択されシンクｔ側のｔ−ｌｉｎｋがカットされて（図８の８０２のケース）、数６式を用いて数３式のＥ（Ｘ）の第１項が計算された場合に、その計算結果が小さくなれば、その画素の領域ラベル値としては０が選択される。そして、そのグラフカット状態が採用される。計算結果が小さくならなければ、そのグラフカット状態は採用されず、他のリンクの探索およびグラフカットが試みられる。
【００４６】
逆に、領域ラベルベクトルＸ中の領域ラベル値が１となるべき背景領域中の画素では、数６式と数７式のうち、背景領域中の画素らしい場合により小さな値となる数７式のコスト値のほうが小さくなる。従って、ある画素において、シンクｔ側のｔ−ｌｉｎｋが選択されソースｓ側のｔ−ｌｉｎｋはカットされて（図８の８０３のケース）、数７式を用いて数３式のＥ（Ｘ）の第１項が計算された場合に、その計算結果が小さくなれば、その画素の領域ラベル値としては１が選択される。そして、そのグラフカット状態が採用される。計算結果が小さくならなければ、そのグラフカット状態は採用されず、他のリンクの探索およびグラフカットが試みられる。
【００４７】
一方、数３式のエネルギー関数Ｅ（Ｘ）の第１項の計算に係る上記領域分割（グラフカット）処理により、領域ラベルベクトルＸ中の領域ラベル値が０または１で連続すべき主要オブジェクト領域内部または背景領域内部の画素間では、数８式のコスト値が０となる。従って、数８式の計算結果は、エネルギー関数Ｅ（Ｘ）の第２項のコスト値の計算には影響しない。また、その画素間のｎ−ｌｉｎｋは、数８式がコスト値０を出力するように、カットされずに維持される。
【００４８】
ところが、エネルギー関数Ｅ（Ｘ）の第１項の計算に係る上記領域分割（グラフカット）処理により、近傍画素間で、領域ラベル値が０と１の間で変化した場合に、それらの画素間の輝度値の差が小さければ、数８式のコスト値が大きくなる。この結果、数３式のエネルギー関数Ｅ（Ｘ）の値が押し上げられる。このようなケースは、同一領域内で第１項の値による領域ラベル値の判定がたまたま反転するような場合に相当する。従って、このようなケースでは、エネルギー関数Ｅ（Ｘ）の値が大きくなって、そのような領域ラベル値の反転は選択されない結果となる。また、この場合には、数８式の計算結果が、上記結果を維持するように、それらの画素間のｎ−ｌｉｎｋは、カットされずに維持される。
【００４９】
これに対して、エネルギー関数Ｅ（Ｘ）の第１項の計算に係る上記領域分割（グラフカット）処理により、近傍画素間で、領域ラベル値が０と１の間で変化した場合に、それらの画素間の輝度値の差が大きければ、数８式のコスト値が小さくなる。この結果、数３式のエネルギー関数Ｅ（Ｘ）の値が押し下げられる。このようなケースは、それらの画素部分が主要オブジェクト領域と背景領域の境界らしいことを意味している。従って、このようなケースでは、これらの画素間で領域ラベル値を異ならせて、主要オブジェクト領域と背景領域の境界を形成する方向に制御される。また、この場合には、境界の形成状態を安定化するために、それらの画素間のｎ−ｌｉｎｋがカットされて、数３式の第２項のコスト値が０にされる（図８の８０４のケース）。
【００５０】
以上の判定制御処理が、ソースｓのノードを起点にして、順次各画素のノードをたどりながら繰り返されることにより、図８の８０１で示されるようなグラフカットが実行され、エネルギー関数Ｅ（Ｘ）の最小化処理が現実的な時間で計算される。この処理の具体的な手法としては、例えば、非特許文献１に記載されている手法を採用することができる。
【００５１】
そして、各画素ごとに、ソースｓ側のｔ−ｌｉｎｋが残っていれば、その画素の領域ラベル値として０、すなわち主要オブジェクト領域の画素を示すラベルが付与される。逆に、シンクｔ側のｔ−ｌｉｎｋが残っていれば、その画素の領域ラベル値として１、すなわち背景領域の画素を示すラベルが付与される。最終的に、領域ラベル値が０となる画素の集合として、主要オブジェクト領域が得られる。
【００５２】
上述した動作原理に基づいて図４のステップＳ４０２の領域分割処理が実行されるが、本実施形態ではさらに、数３式のエネルギー関数Ｅ（Ｘ）の計算において、下記数９式に示されるように、数３式第１項のデータ項（図２の２０３に対応）に、画像範囲内での各画素の位置に応じた画素位置重み関数の値ｗ（ｘ，ｙ）（図２の２０５に対応）が乗算される。
【数９】
2014010682.tif 000011
あるいは、数９式の代わりに、下記数１０式に示されるように、数３式第２項の平滑化項（図２の２０４に対応）に、画像範囲内での各画素の位置とその周辺画素の位置に応じた各画素位置重み値から算出される画素位置重み関数の値ｗuv（図２の２０６に対応）が乗算されてもよい。
【数１０】
2014010682.tif 000012
上述の数９式または数１０式のいずれかが、数３式の代わりに、エネルギー関数Ｅ（Ｘ）の計算に使用される。上述の画素位置重み関数ｗ（ｘ，ｙ）またはｗuvの算出手法については、後述する。
【００５３】
図９は、上述した動作原理に基づく図４のステップＳ４０２の領域分割処理を示すフローチャートである。
【００５４】
まず、画像から、カラー画素値Ｉ（Ｖ）が１つずつ読み込まれる（図９のステップＳ９０１）。
【００５５】
次に、ステップＳ９０１で読み込まれた画素が、ユーザによって指定された矩形枠内の画素であるか否かが判定される（図９のステップＳ９０２）。
【００５６】
ステップＳ９０２の判定がＹＥＳの場合には、前述した数６式、数７式、および数８式に基づいて、主要オブジェクト領域らしさを示すコスト値、背景領域らしさを示すコスト値、および境界らしさを示すコスト値が、それぞれ算出される（図９のステップＳ９０３、Ｓ９０４、およびＳ９０５）。なお、θ（ｃ、０）の初期値は、学習用に用意した複数枚（数百枚程度）の主要オブジェクトの領域から算出される。同様に、θ（ｃ、１）の初期値は、学習用に用意した複数枚（数百枚程度）の背景の領域から算出される。
【００５７】
一方、ステップＳ９０２の判定がＮＯの場合には、矩形の枠外には主要オブジェクト領域はないため、そこが主要オブジェクト領域と判定されないようにするために、主要オブジェクト領域らしさを示すコスト値ｇv (Ｘv )が、次式のように一定の大きな値Ｋとされる。
【数１１】
2014010682.tif 000013
ここで、Ｋは、次式に示されるように、任意のピクセルの平滑化項の総和よりも大きい値を設定しておく（以上、図９のステップＳ９０６）。
【数１２】
2014010682.tif 000014
【００５８】
また、矩形の枠外が必ず背景領域と判定されるようにするために、背景領域らしさを示すコスト値ｇv (Ｘv )が、次式のように０とされる（図９のステップＳ９０７）。
【数１３】
2014010682.tif 000015
【００５９】
さらに、矩形の枠外は全て背景領域であるため、ｈuv（Ｘu ,Ｘv ）の値は０とされる（図９のステップＳ９０８）。
【００６０】
以上の処理の後、画像内に処理すべき画素が残っているか否かが判定される（図９のステップＳ９０９）。
【００６１】
処理すべき画素がありステップＳ９０９の判定がＹＥＳならば、ステップＳ９０１の処理に戻って、上記処理が繰り返される。
【００６２】
処理すべき画素がなくなりステップＳ９０９の判定がＮＯになると、画像内の全ての画素について求まったコスト値を用いて、数９式または数１０式のエネルギー関数Ｅ（Ｘ）が計算されながら、Ｇｒａｐｈ Ｃｕｔｓアルゴリズムが実行され、主要オブジェクトと背景が領域分割される（ステップＳ９１０）。
【００６３】
図１０は、図４のステップＳ４０６の画素位置重み関数更新処理を示すフローチャートである。この処理では、図９のステップＳ９１０において計算される数９式または数１０式のエネルギー関数Ｅ（Ｘ）における画素位置重み関数ｗ（ｘ，ｙ）またはｗuvが算出、更新される。
【００６４】
まず、下記数１４式に従って、ｘ（水平）、ｙ（垂直）方向の標準偏差σx （第１の分散値に対応）、σy （第２の分散値に対応）が算出される（図１０のステップＳ１００１）。
【数１４】
2014010682.tif 000016
【００６５】
図１１は、ステップＳ１００１の標準偏差σx 、σy の算出処理の説明図である。図１１において、Ｌy1、Ｌy2、Ｌy3等（３個に限らない）はそれぞれ、図４のステップＳ４０３の領域分割処理において主要オブジェクトの領域ラベルが付与された画素が、図４のステップＳ４０１でユーザにより指定された矩形枠のｙ（垂直）方向の境界画素と連続的に接する各画素数である。Ｌx1、Ｌx2、Ｌx3等（３個に限らない）はそれぞれ、上記主要オブジェクトの領域ラベルが付与された画素が、上記矩形枠のｘ（水平）方向の境界画素と連続的に接する各画素数である。Ｌwyは矩形枠のｙ方向の左右両辺の一辺あたりの画素数、Ｌwxは矩形枠のｘ方向の上下両辺の一辺あたりの画素数である。
【００６６】
数１４式のｘ方向標準偏差σx の算出式で、「ΣＬyi」は矩形枠のｙ方向の左右両境界辺に対する主要オブジェクトの総接触長を示し、「２Ｌwy」は矩形枠のｙ方向の左右両境界辺の合計長を示している。従って、項「ΣＬyi／２Ｌwy」は、矩形枠のｙ方向の左右両境界辺に対する主要オブジェクトのｙ方向接触比を示している。これに負符号を付けて指数をとり、ｙ方向の境界辺長Ｌwyとｙ方向の調整用係数ｋy を乗算することにより、ｘ方向の標準偏差標準偏差σx が算出される。主要オブジェクト領域が矩形枠のｙ方向の左右両境界辺に多く接していると、主要オブジェクトがｘ方向に矩形枠いっぱいまで広がっていることを示している。この場合には、数１４式で算出されるｘ方向標準偏差σx の値は小さい値となり、主要オブジェクトの広がりを抑える方向にフィードバックをかける値となる。逆に、主要オブジェクト領域が矩形枠のｙ方向の左右両境界辺にあまりまたは全く接していないと、ｘ方向で主要オブジェクトが矩形枠に接することなく矩形枠内の中央付近の範囲で背景と分割されていることを示している。この場合には、数１４式で算出されるｘ方向標準偏差σx の値は大きい値となり、主要オブジェクトの広がりを増やす方向にフィードバックをかける値となる。従って、ｙ方向接触比の標準偏差に基づいて決定される画素位置重み関数２０５を、エネルギー関数Ｅ（Ｘ）に基づいてｘ方向で主要オブジェクトと背景を領域分割するときのコスト値に乗算等することにより、ｘ方向での領域分割のエラーを修正する方向にフィードバック制御をかけることが可能になると期待できる。
【００６７】
同様に、数１４式のｙ方向標準偏差σy の算出式で、「ΣＬxi」は矩形枠のｘ方向の上下両境界辺に対する総接触長を示し、「２Ｌwx」は矩形枠のｘ方向の２つの上下両境界辺の合計長を示している。従って、項「ΣＬxi／２Ｌwx」は、矩形枠のｘ方向の上下両境界辺に対するｘ方向接触比を示している。これに負符号を付けて指数をとり、ｘ方向の境界辺長Ｌwxとｘ方向の調整用係数ｋx を乗算することにより、ｙ方向の標準偏差標準偏差σy が算出される。主要オブジェクト領域が矩形枠のｘ方向の左右両境界辺に多く接していると、主要オブジェクトがｙ方向に矩形枠いっぱいまで広がっていることを示している。この場合には、数１４式で算出されるｙ方向標準偏差σy の値は小さい値となり、主要オブジェクトの広がりを抑える方向にフィードバックをかける値となる。逆に、主要オブジェクト領域が矩形枠のｘ方向の左右両境界辺にあまりまたは全く接していないと、ｙ方向で主要オブジェクトが矩形枠に接することなく矩形枠内の中央付近の範囲で背景と分割されていることを示している。この場合には、数１４式で算出されるｙ方向標準偏差σy の値は大きい値となり、主要オブジェクトの広がりを増やす方向にフィードバックをかける値となる。従って、ｘ方向接触比の標準偏差に基づいて決定される画素位置重み関数２０５を、エネルギー関数Ｅ（Ｘ）に基づいてｙ方向で主要オブジェクトと背景を領域分割するときのコスト値に乗算等することにより、ｙ方向での領域分割のエラーを修正する方向にフィードバック制御をかけることが可能になると期待できる。
【００６８】
図１２は、標準偏差の特性例を示す図であり、例として、ｙ方向の調整用係数ｋy ＝２、ｙ方向の境界辺長Ｌwy＝６０であるときの、ｙ方向接触比ΣＬyi／２Ｌwyに対するｘ方向の標準偏差σx の値を示す特性図である。この特性図から理解されるように、ｙ方向接触比ΣＬyi／２Ｌwyが増加するほどｘ方向の標準偏差σx が減少し、逆に、ΣＬyi／２Ｌwyが減少するほどｘ方向の標準偏差σx が増加する特性を有することがわかる。このような標準偏差に対応する分散値を用いて画素位置重み関数２０５を定義することにより、領域分割のエラーを修正するフィードバック制御が可能となる。
【００６９】
図１０のステップＳ１００１の後、下記数１５式に従って、ｘ（水平）、ｙ（垂直）方向のガウス関数ｆ（ｘ）、ｆ（ｙ）が算出される（図１０のステップＳ１００２）。
【数１５】
2014010682.tif 000017
【００７０】
数１５式におけるガウス関数ｆ（ｘ）は、図１３に示されるように、画像範囲の水平方向中央位置ｘ0 を中心としてｘ方向分散値σx 2 を有する関数であって、ｘ方向の中央位置ｘ0 から画像範囲の水平方向の両端の境界辺にそれぞれ向かって漸近的に減少する関数である。
【００７１】
一方、数１５式におけるガウス関数ｆ（ｙ）は、図１３に示されるように、画像範囲の垂直方向中央位置ｙ0 を中心としてｙ方向分散値σy 2 を有する関数であって、ｙ方向の中央位置ｙ0 から画像範囲の垂直方向の両端の境界辺にそれぞれ向かって漸近的に減少する関数である。
【００７２】
図１０のステップＳ１００２の後、下記数１６式に従って、画素位置重み関数２０５が算出される（図１０のステップＳ１００３）。
【数１６】
2014010682.tif 000018
数１６式で算出される画素位置重み関数２０５＝ｗ（ｘ，ｙ）は、図１３に示されるように、画像範囲の中央座標位置（ｘ0 ，ｙ0 ）から画像範囲の周囲の境界辺に向かって放射状に漸近的に減少する関数曲面となる。
【００７３】
以上のようにして算出された画素位置重み関数２０５に基づいて、図４のステップＳ４０３の領域分割処理中の図９のステップＳ９１０において、前述した数９式に示されるように、エネルギー関数Ｅ（Ｘ）中の第１項のデータ項に、各画素の位置（ｘ，ｙ）に応じた画素位置重み値ｗ（ｘ，ｙ）が乗算される。
【００７４】
あるいは、数９式の代わりに、前述した数１０式に示されるように、エネルギー関数Ｅ（Ｘ）中の第２項の平滑化項に、各画素ｖの位置に応じた画素位置重み値ｗv （ｘ，ｙ）およびその周辺画素ｕの位置に応じた画素位置重み値ｗu （ｘ，ｙ）の平均値として求まる画素位置重み値ｗuvが乗算されてもよい。
【００７５】
図１１の例では、ｘ方向およびｙ方向ともに、この領域分割画像が得られている時点で主要オブジェクトに分割された領域が本来の花の周辺の葉も含んで矩形枠の境界にかなり接している。このような場合には、画素位置重み関数更新手段２０２で算出されるｘ方向分散値σx 2 およびｙ方向分散値σy 2 はともに比較的小さいな値となり、これらから得られる画素位置重み関数２０５、ｗ（ｘ，ｙ）（図１３参照）等は、画像範囲の中央座標位置（ｘ0 ，ｙ0 ）から画像範囲の周囲の境界辺に向かって放射状に比較的急峻に減少する関数となる。この結果、次回の領域分割処理における図９のステップＳ９１０では、矩形枠から同心円状に内側に少し入った画素位置でエネルギー関数Ｅ（Ｘ）のデータ項（数９式の場合）または平滑化項（数１０式の場合）が小さな値となって、本来の主要オブジェクトとなるべき花の境界位置で領域分割が行われることが期待できる。
【００７６】
前述した数１４式のｘ、ｙ方向の標準偏差σx 、σy をさらに細分化し、下記数１７式に示されるように、ｘ方向左側標準偏差σｘLeft、ｘ方向右側標準偏差σｘRight 、ｙ方向上側標準偏差σｙTop 、ｙ方向下側標準偏差σｙBottomが算出され、各画素位置ごとにそれぞれの標準偏差を用いた画素位置重み関数２０５（数１５式に対応）が算出されてもよい。
【数１７】
2014010682.tif 000019
ここで、「ｉ∈LeftSide」は、主要オブジェクトの画素が左境界辺上で接触している連続画素Ｌyiの集合を示す。「ｉ∈RightSide 」は、主要オブジェクトの画素が右境界辺上で接触している連続画素Ｌyiの集合を示す。「ｉ∈TopSide 」は、主要オブジェクトの画素が上境界辺上で接触している連続画素Ｌxiの集合を示す。「ｉ∈BottomSide」は、主要オブジェクトの画素が下境界辺上で接触している連続画素Ｌyiの集合を示す。
【００７７】
前述したｘ、ｙ方向の標準偏差σx 、σy は、数１４式や数１７式の代わりに、下記数１８式によって算出されてもよい。
【数１８】
2014010682.tif 000020
ここで、Ｓf は、現時点で算出されている主要オブジェクトの領域の面積（画素数）である。また、ＳR は、矩形枠の面積（画素数）である。従って、数１８式によって求まる標準偏差σは、現時点で算出されている主要オブジェクトの領域が例えば矩形枠内で占める面積の割合が増加するほど減少する特性を有する。このσにｘ方向の境界辺長Ｌwxとｘ方向の調整用係数ｋx を乗算することにより、ｘ方向の標準偏差標準偏差σx が算出される。また、σにｙ方向の境界辺長Ｌwyとｙ方向の調整用係数ｋy を乗算することにより、ｙ方向の標準偏差標準偏差σy が算出される。
【００７８】
以上説明した実施形態により、領域分割手段２０１における領域分割処理において、背景領域と主要オブジェクト領域とで誤認識をする割合が減少し、領域分割の精度を向上させることが可能となる。
【００７９】
上述の実施形態では、主要オブジェクトが花である場合を例に説明したが、主要オブジェクトとしては、花に限られず、様々なオブジェクトを採用することができる。
【００８０】
また、上述の実施形態では、画素位置重み関数２０５として、主要オブジェクトの領域が画像範囲内で占める割合の増加または減少に逆行して減少または増加する分散値に従って画像範囲の中央から境界部分に向かってガウス関数的に画素位置重み値が減少する関数として実現される。しかしながら、本発明はこれに限られるものではなく、画素位置重み関数２０５は、主要オブジェクトの領域が画像範囲内で占める割合が増加するほど、画像範囲の中央から画像範囲の境界部分に向かって画素位置重み値が減少する関数であれば、どのような関数が採用されてもよい。
【００８１】
以上の実施形態に関して、更に以下の付記を開示する。
(付記１）
画像内で指定された画像範囲内の主要オブジェクトと該主要オブジェクト以外の背景を領域分割する装置であって、
前記画像範囲内の各画素に付与する前記主要オブジェクトまたは前記背景を示す領域ラベルを更新しながら、該領域ラベルと前記各画素の画素値に基づき、前記主要オブジェクトらしさまたは背景らしさを示すデータ項と、隣接画素間の前記領域ラベルの滑らかさを示す平滑化項と、前記データ項または前記平滑化項の少なくともいずれかに前回の領域分割の結果に応じて算出され前記各画素の位置に応じた画素位置重み値を付加する画素位置重み関数とを含むエネルギー関数の最小化処理により、前記画像内で前記主要オブジェクトと前記背景を領域分割する領域分割手段と、
前記領域分割手段により前回領域分割された前記主要オブジェクトの領域が前記画像範囲内で占める割合が増加するほど、前記画像範囲の中央から前記画像範囲の境界部分に向かって前記画素位置重み値が減少する関数を算出し、該関数を前記領域分割手段における次回の領域分割のための前記画素位置重み関数として更新する画素位置重み関数更新手段と、
を備え、
前記領域分割手段および前記画素位置重み関数更新手段による処理を繰り返し実行する、
ことを特徴とする画像領域分割装置。
(付記２）
前記画素位置重み関数は、前記領域分割手段により前回領域分割された前記主要オブジェクトの領域が前記画像範囲内で占める割合が増加するほど減少する特性を有する分散値を有し、前記画像範囲の中央から前記画像範囲の境界部分に向かって前記分散値に従ってガウス関数的に前記画素位置重み値が減少する関数である、
ことを特徴とする付記１に記載の画像領域分割装置。
(付記３）
前記画素位置重み関数更新手段は、前記分散値として、前記主要オブジェクトの領域が前記画像範囲の境界部分に接する割合が増加するほど減少する特性を有する分散値を算出する、
ことを特徴とする付記２に記載の画像領域分割装置。
(付記４）
前記画素位置重み関数更新手段は、
前記分散値として、前記主要オブジェクトの領域が前記画像範囲の垂直方向の境界部分に接する割合が増加するほど減少する特性を有する第１の分散値と、前記主要オブジェクトの領域が前記画像範囲の水平方向の境界部分に接する割合が増加するほど減少する特性を有する第２の分散値を算出し、
前記画像範囲の中央から前記画像範囲の水平方向の境界部分に向かって前記第１の分散値に従ってガウス関数的に前記画素位置重み値が減少し、前記画像範囲の中央から前記画像範囲の垂直方向の境界部分に向かって前記第２の分散値に従ってガウス関数的に前記画素位置重み値が減少する関数として前記画素位置重み関数を更新する、
ことを特徴とする付記３に記載の画像領域分割装置。
(付記５）
前記画素位置重み関数更新手段は、前記分散値として、前記主要オブジェクトの領域が前記画像範囲内で占める面積の割合が増加するほど減少する特性を有する分散値を算出する、
ことを特徴とする付記２に記載の画像領域分割装置。
(付記６）
前記領域分割手段は、Ｇｒａｐｈ  Ｃｕｔｓ法により前記エネルギー関数の最小化処理を実行する、
ことを特徴とする付記１ないし５のいずれかに記載の画像領域分割装置。
(付記７）
画像内で指定された画像範囲内の主要オブジェクトと該主要オブジェクト以外の背景を領域分割する方法であって、
前記画像範囲内の各画素に付与する前記主要オブジェクトまたは前記背景を示す領域ラベルを更新しながら、該領域ラベルと前記各画素の画素値に基づき、前記主要オブジェクトらしさまたは背景らしさを示すデータ項と、隣接画素間の前記領域ラベルの滑らかさを示す平滑化項と、前記データ項または前記平滑化項の少なくともいずれかに前回の領域分割の結果に応じて算出され前記各画素の位置に応じた画素位置重み値を付加する画素位置重み関数とを含むエネルギー関数の最小化処理により、前記画像内で前記主要オブジェクトと前記背景を領域分割する領域分割ステップと、
前記領域分割ステップにより前回領域分割された前記主要オブジェクトの領域が前記画像範囲内で占める割合が増加するほど、前記画像範囲の中央から前記画像範囲の境界部分に向かって前記画素位置重み値が減少する関数を算出し、該関数を前記領域分割ステップにおける次回の領域分割のための前記画素位置重み関数として更新する画素位置重み関数更新ステップと、
を繰り返し実行することを特徴とする画像領域分割方法。
(付記８）
画像内で指定された画像範囲内の主要オブジェクトと該主要オブジェクト以外の背景を領域分割する処理を実行するコンピュータに、
前記画像範囲内の各画素に付与する前記主要オブジェクトまたは前記背景を示す領域ラベルを更新しながら、該領域ラベルと前記各画素の画素値に基づき、前記主要オブジェクトらしさまたは背景らしさを示すデータ項と、隣接画素間の前記領域ラベルの滑らかさを示す平滑化項と、前記データ項または前記平滑化項の少なくともいずれかに前回の領域分割の結果に応じて算出され前記各画素の位置に応じた画素位置重み値を付加する画素位置重み関数とを含むエネルギー関数の最小化処理により、前記画像内で前記主要オブジェクトと前記背景を領域分割する領域分割ステップと、
前記領域分割ステップにより前回領域分割された前記主要オブジェクトの領域が前記画像範囲内で占める割合が増加するほど、前記画像範囲の中央から前記画像範囲の境界部分に向かって前記画素位置重み値が減少する関数を算出し、該関数を前記領域分割ステップにおける次回の領域分割のための前記画素位置重み関数として更新する画素位置重み関数更新ステップと、
を繰り返し実行させるためのプログラム。
【符号の説明】
【００８２】
１０１  画像領域分割装置
１０２  ＣＰＵ
１０３  ＲＯＭ
１０４  ＲＡＭ
１０５  外部記憶装置
１０６  通信インタフェース
１０７  入力装置
１０８  表示装置
１０９  可搬記録媒体駆動装置
１１０  可搬記録媒体
１１１  バス
１１２  撮像装置
２０１  領域分割手段
２０２  画素位置重み関数更新手段
２０３  データ項
２０４  平滑化項
２０５  画素位置重み関数
【図１】
2014010682.tif 000021
【図２】
2014010682.tif 000022
【図４】
2014010682.tif 000023
【図９】
2014010682.tif 000024
【図１０】
2014010682.tif 000025
【図３】
2014010682.tif 000026
【図５】
2014010682.tif 000027
【図６】
2014010682.tif 000028
【図７】
2014010682.tif 000029
【図８】
2014010682.tif 000030
【図１１】
2014010682.tif 000031
【図１２】
2014010682.tif 000032
【図１３】
2014010682.tif 000033