(57)【要約】【課題】事例群の要素数によらず精度よくセグメンテーションを高速化できるようにする。【解決手段】まず、マスク事例演算部２０７は、教師画像及び正マスク例２０１からマスク事例群２１２を求め、マスク事例集約部２０８は、マスク事例群２１２を集約し教師画像毎のマスクモデル２０２を求める。次いで、入力画像適応部２０９は、教師画像ごとのマスクモデル２０２を入力画像２０３に適応させ、前景重み及び背景重み２１３を求め、マスク演算部２１０は、入力画像２０３を前景重み及び背景重み２１３に従ってセグメンテーションし、入力画像２０３のマスク２０４を求める。【選択図】図２
2014203157.tif 000002
【特許請求の範囲】
【請求項１】
物体を映した複数の教師画像と、前記教師画像の前景となるピクセルを真とし背景となるピクセルを偽とした二値の正マスク例とに基づいて、入力画像の物体のマスクを求める画像処理装置であって、
前記複数の教師画像のそれぞれについて、前記教師画像から前記正マスク例と異なる負マスク例及びその重みを求めるマスク事例演算手段と、
前記正マスク例、前記負マスク例、及び前記負マスク例の重みを前記教師画像ごとに集約し、教師画像ごとのマスクモデルを求めるマスク事例集約手段と、
前記マスク事例集約手段によって求められた教師画像ごとのマスクモデルに基づいて前記入力画像の前景重み及び背景重みを求める入力画像適応手段と、
前記入力画像適応手段によって求められた前景重み及び背景重みに基づいて前記入力画像のマスクを求めるマスク演算手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記入力画像適応手段は、前記入力画像のピクセルのそれぞれについて、前記ピクセルがマスクである場合の前記前景重みと、前記ピクセルがマスクでない場合の前記背景重みとを求め、
前記マスク演算手段は、前記入力画像の各ピクセルをノードとした場合の前景を示すソースノードと前記ノードとの間、背景を示すシンクノードと前記ノードとの間、及び隣接するノード間をそれぞれリンクとするグラフと、前記前景重み及び背景重みとを用いて最大フロー最小カットにより前記マスクを求めることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記マスク事例集約手段は、前記教師画像ごとに前記負マスク例の重みによる重み付き総和を求め、前記重み付き総和と前記正マスク例とから前記マスクモデルとして形状モデル及び色モデル重みを求めることを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記入力画像適応手段は、前記入力画像と前記教師画像との間の類似度を求め、前記教師画像ごとのマスクモデルを用いた値の前記類似度による重み付き総和を求めることによって、前記入力画像の前景重み及び背景重みを求めることを特徴とする請求項１〜３の何れか１項に記載の画像処理装置。
【請求項５】
前記入力画像適応手段は、前記入力画像において色が類似して隣接するピクセル同士を統合した小領域のそれぞれについて、前記小領域がマスクである場合の前記前景重みと、前記小領域がマスクでない場合の前記背景重みとを求め、
前記マスク演算手段は、前記入力画像の各小領域をノードとした場合の前景を示すソースノードと前記ノードとの間、背景を示すシンクノードと前記ノードとの間、及び隣接するノード間をそれぞれリンクとするグラフと、前記前景重み及び背景重みとを用いて最大フロー最小カットにより前記マスクを求めることを特徴とする請求項１に記載の画像処理装置。
【請求項６】
物体を映した複数の教師画像と、前記教師画像の前景となるピクセルを真とし背景となるピクセルを偽とした二値の正マスク例とに基づいて、入力画像の物体のマスクを求める画像処理方法であって、
前記複数の教師画像のそれぞれについて、前記教師画像から前記正マスク例と異なる負マスク例及びその重みを求めるマスク事例演算工程と、
前記正マスク例、前記負マスク例、及び前記負マスク例の重みを前記教師画像ごとに集約し、教師画像ごとのマスクモデルを求めるマスク事例集約工程と、
前記マスク事例集約工程において求められた教師画像ごとのマスクモデルに基づいて前記入力画像の前景重み及び背景重みを求める入力画像適応工程と、
前記入力画像適応工程において求められた前景重み及び背景重みに基づいて前記入力画像のマスクを求めるマスク演算工程と、
を備えることを特徴とする画像処理方法。
【請求項７】
物体を映した複数の教師画像と、前記教師画像の前景となるピクセルを真とし背景となるピクセルを偽とした二値の正マスク例とに基づいて、入力画像の物体のマスクを求める画像処理装置を制御するためのプログラムであって、
前記複数の教師画像のそれぞれについて、前記教師画像から前記正マスク例と異なる負マスク例及びその重みを求めるマスク事例演算工程と、
前記正マスク例、前記負マスク例、及び前記負マスク例の重みを前記教師画像ごとに集約し、教師画像ごとのマスクモデルを求めるマスク事例集約工程と、
前記マスク事例集約工程において求められた教師画像ごとのマスクモデルに基づいて前記入力画像の前景重み及び背景重みを求める入力画像適応工程と、
前記入力画像適応工程において求められた前景重み及び背景重みに基づいて前記入力画像のマスクを求めるマスク演算工程と、
をコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、特に、物体を含む画像からその物体の領域を切り出すために用いて好適な画像処理装置、画像処理方法及びプログラムに関する。
【背景技術】
【０００２】
ある物体を含む画像からその物体の領域をピクセル単位で切り出す技術は一般にセグメンテーションまたは前景背景分離と呼ばれており、このセグメンテーションにはグラフカット法が広く用いられている。グラフカット法とは、ノードが画像の各ピクセルに対応する重み付きグラフを作成し、最大フロー最小カット定理に基づきそのグラフのカットを求め、そのカットを前景と背景との境界とする手法である。
【０００３】
特許文献１には、セグメンテーションを高速化するために、上記グラフを作成した後に、機械学習によりリンクの要不要を識別し、不要である場合には削除する手法が開示されている。また、特許文献２には、セグメンテーションを高速化するために、上記グラフをスパニングツリー構造になるまでリンクを削除する手法が開示されている。さらに特許文献３には、セグメンテーションを高速化するために、画像上で隣接かつ類似するピクセル群をスーパーピクセルとして集約し、グラフのノード数及びリンク数を削減する手法が開示されている。
【０００４】
一方、非特許文献１には、ユーザーが任意の矩形を物体の周囲に描くことにより、その矩形上の各ピクセルを背景と想定して色クラスタ頻度ヒストグラムを作成し、この色クラスタ頻度ヒストグラムを背景モデルとする手法が開示されている。非特許文献２には、セグメンテーションを構造化ＳＶＭの問題と捉え、複数の教師画像及びその正マスク例が用意されている場合に、教師画像あたり複数の負マスク例を生成してその重みを学習し、セグメンテーションの精度を向上させる手法が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】国際公開第２００６／１３２１９４号
【特許文献２】特表２００８−５２２２７３号公報
【特許文献３】特開２０１２−８５２３３号公報
【特許文献４】米国特許出願公開第２００７／０２３７３８７号明細書
【非特許文献】
【０００６】
【非特許文献１】ＧｒａｂＣｕｔ−Ｉｎｔｅｒａｃｔｉｖｅ  Ｆｏｒｅｇｒｏｕｎｄ  Ｅｘｔｒａｃｔｉｏｎ  ｕｓｉｎｇ  Ｉｔｅｒａｔｅｄ  Ｇｒａｐｈ  Ｃｕｔｓ，  Ｃａｒｓｔｅｎ  Ｒｏｔｈｅｒ，  Ｖｌａｄｉｍｉｒ  Ｋｏｌｍｏｇｏｒｏｖ，  ａｎｄ  Ａｎｄｒｅｗ  Ｂｌａｋｅ，  ＳＩＧＧＲＡＰＨ  ２００４
【非特許文献２】Ｋｅｒｎｅｌｉｚｅｄ  Ｓｔｒｕｃｔｕｒａｌ  ＳＶＭ  Ｌｅａｒｎｉｎｇ  ｆｏｒ  Ｓｕｐｅｒｖｉｓｅｄ  Ｏｂｊｅｃｔ  Ｓｅｇｍｅｎｔａｔｉｏｎ，  Ｌｕｃａ  Ｂｅｒｔｅｌｌｉ，  Ｔｉａｎｌｉ  Ｙｕ，  Ｄｉｅｍ  Ｖｕ，  Ｓａｌｉｈ  Ｇｏｋｔｕｒｋ  ，  ＣＶＰＲ２０１１
【非特許文献３】Ｊａｃｋ  Ｅｄｍｏｎｄｓ  ａｎｄ  Ｒｉｃｈａｒｄ  Ｍ．  Ｋａｒｐ．  "Ｔｈｅｏｒｅｔｉｃａｌ  ｉｍｐｒｏｖｅｍｅｎｔｓ  ｉｎ  ａｌｇｏｒｉｔｈｍｉｃ  ｅｆｆｉｃｉｅｎｃｙ  ｆｏｒ  ｎｅｔｗｏｒｋ  ｆｌｏｗ  ｐｒｏｂｌｅｍｓ"．  Ｊｏｕｒｎａｌ  ｏｆ  ｔｈｅ  ＡＣＭ  １９  （２）：  ２４８−２６４．
【発明の概要】
【発明が解決しようとする課題】
【０００７】
セグメンテーションを行う場合には、一般に処理が高速であることが望ましい。ところが、ある入力画像のマスクを求める際に、何らかの事例群に基づいてセグメンテーションを行う手法では、その事例群の要素数が多い程セグメンテーションが正確になるが、その演算量は必然的にその事例群の要素数に比例してしまう。例えば非特許文献２に記載の手法では、事例の数は負マスク例の数と等しく、その演算コストは負マスク例数に比例してしまう。
【０００８】
本発明は前述の問題点に鑑み、事例群の要素数によらず精度よくセグメンテーションを高速化できるようにすることを目的としている。
【課題を解決するための手段】
【０００９】
本発明に係る画像処理装置は、物体を映した複数の教師画像と、前記教師画像の前景となるピクセルを真とし背景となるピクセルを偽とした二値の正マスク例とに基づいて、入力画像の物体のマスクを求める画像処理装置であって、前記複数の教師画像のそれぞれについて、前記教師画像から前記正マスク例と異なる負マスク例及びその重みを求めるマスク事例演算手段と、前記正マスク例、前記負マスク例、及び前記負マスク例の重みを前記教師画像ごとに集約し、教師画像ごとのマスクモデルを求めるマスク事例集約手段と、前記マスク事例集約手段によって求められた教師画像ごとのマスクモデルに基づいて前記入力画像の前景重み及び背景重みを求める入力画像適応手段と、前記入力画像適応手段によって求められた前景重み及び背景重みに基づいて前記入力画像のマスクを求めるマスク演算手段と、を備えることを特徴とする。
【発明の効果】
【００１０】
本発明によれば、事例群の要素数によらず精度よくセグメンテーションを高速化することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施形態に係る画像処理装置のハードウェア構成例を示すブロック図である。
【図２】本発明の実施形態に係る画像処理装置の機能構成例を示すブロック図である。
【図３】重み付きグラフの生成方法及び最大フロー最小カットによるセグメンテーションを説明するための図である。
【図４】入力画像及びその画像に対応するマスクの一例を示す図である。
【図５】本発明の実施形態に係る画像処理装置による処理手順の一例を示すフローチャートである。
【図６】教師画像及びその正マスク例から入力画像のマスクを求めるまでの流れを説明するための図である。
【図７】本発明の実施形態において、マスク事例演算部による処理手順の一例を示すフローチャートである。
【図８】本発明の実施形態において、マスク事例集約部による処理手順の一例を示すフローチャートである。
【図９】本発明の実施形態において、入力画像適応部による処理手順の一例を示すフローチャートである。
【図１０】本発明の実施形態において、マスク演算部による処理手順の一例を示すフローチャートである。
【発明を実施するための形態】
【００１２】
以下、本発明の実施形態について図面を参照しながら説明する。
図１は、本実施形態に係る画像処理装置１００のハードウェア構成例を示すブロック図である。
図１において、撮像素子１０１はＣＣＤ、ＣＭＯＳ等で構成され、被写体像を光から電気信号に変換するための撮像手段である。信号処理回路１０２は撮像素子１０１から得られた被写体像に関する時系列信号を処理し、デジタル信号に変換する回路である。
【００１３】
ＣＰＵ１０３は、ＲＯＭ１０４に格納されている制御プログラムを実行することにより、画像処理装置１００全体の制御を行う。ＲＯＭ１０４は、ＣＰＵ１０３が実行する制御プログラムや各種パラメータデータを格納する。制御プログラムは、ＣＰＵ１０３によって実行されることにより、後述するフローチャートに示す各処理を実行するための各種手段として、当該装置を機能させる。ＲＡＭ１０５は、画像や各種情報を記憶する。また、ＲＡＭ１０５は、ＣＰＵ１０３のワークエリアやデータの一時待避領域として機能する。また、ディスプレイ１０６は画像などを表示させるための表示手段である。
【００１４】
なお、本実施形態では、後述するフローチャートの各ステップに対応する処理を、ＣＰＵ１０３を用いてソフトウェアで実現することとするが、その処理の一部または全部を電子回路などのハードウェアで実現するようにしても構わない。また、本実施形態に係る画像処理装置１００は、撮像素子１０１や信号処理回路１０２を省いて汎用のパーソナルコンピュータ（ＰＣ）を用いて実現してもよいし、画像処理専用装置として実現するようにしても構わない。また、ネットワークまたは各種記憶媒体を介して取得したソフトウェア（プログラム）をＰＣタ等の処理装置（ＣＰＵ，プロセッサ）にて実行してもよい。
【００１５】
図２は、本実施形態に係る画像処理装置１００の機能構成例を示すブロック図である。
本実施形態に係る画像処理装置１００は、辞書作成部２０５と、セグメンテーション部２０６とから構成されている。辞書作成部２０５は、複数の教師画像及びその正マスク例２０１の対が与えられた場合に、教師画像ごとのマスクモデル２０２、いわゆる辞書を作成する。セグメンテーション部２０６は、入力画像２０３を入力して、入力画像２０３に対応するマスク２０４を出力する。
【００１６】
ここで、入力画像２０３及び教師画像は、同一の物体を撮影した画像であって、その縦横ピクセル数は全て同一になる様に調整されているものとする。また、マスクとは、対応する画像の各ピクセルについてその物体に属するピクセルか否かを二値で表現した画像である。入力画像及びマスクの例をそれぞれ図４（Ａ）及び図４（Ｂ）に示す。図４（Ｂ）に示すマスクは、図４（Ａ）の入力画像が示す動物の顔領域を前景としている。以降、マスクについて図面で表現する場合に白色を前景と表現し、黒色を背景と表現する。
【００１７】
辞書作成部２０５は、教師画像及び正マスク例２０１が変更されるごとに動作し、セグメンテーション部２０６は、入力画像２０３が入力されるごとに動作する。本実施形態では、入力画像２０３は、教師画像及び正マスク例２０１の変更より高頻度に入力されることを前提とする。また、辞書作成部２０５及びセグメンテーション部２０６は、必ずしも同一環境上で動作する必要はない。例えば、辞書作成部２０５は図１に示すハードウェア構成により動作するのではなく、通信ネットワークを介し別途設けられたＰＣ・サーバ等の上で動作してもよい。
【００１８】
辞書作成部２０５は、マスク事例演算部２０７及びマスク事例集約部２０８から構成されており、セグメンテーション部２０６は、入力画像適応部２０９及びマスク演算部２１０から構成されている。
【００１９】
マスク事例演算部２０７は、教師画像及び正マスク例２０１から、マスク事例群２１２を求める。マスク事例群２１２は、教師画像及び正マスク例２０１のみならず、さらに教師画像のそれぞれについての負マスク例及びその重みを含むものである。負マスク例とは、ある教師画像から生成し得るマスク例であり、かつ正マスク例とは異なるマスクである。負マスク例の重みはその負マスクが正しくセグメンテーションする上でどれだけ重要かを示すものであり、絶対値が大きいほど重要であるものとする。負マスク例及びその重みは構造化ＳＶＭ（サポートベクタマシン）を用いて生成する。教師画像あたりの負マスク例の数が多い程、セグメンテーションの精度は向上する。
【００２０】
マスク事例集約部２０８は、マスク事例群２１２に含まれる教師画像、正マスク例、負マスク例、及びその重みから、教師画像ごとに、正負のマスク形状の傾向や、色クラスタヒストグラム等を集約し、教師画像ごとのマスクモデル２０２を出力する。マスク事例集約部２０８で教師画像ごとにマスク事例を集約しておくことにより、セグメンテーション部２０６による演算量は、負マスク例数に比例せず、教師画像数に比例するようになり、演算量が減少する。
【００２１】
入力画像適応部２０９は、教師画像ごとのマスクモデル２０２について、教師画像ごとに入力画像２０３との類似度を求め、教師画像ごとのマスクモデル２０２の重み付き総和を求めて入力画像２０３に適応させ、前景重み・背景重み２１３を生成する。マスク演算部２１０は、入力画像２０３及び前景重み・背景重み２１３から重み付きグラフを生成し、その重み付きグラフを前景と背景とに分離し、マスク２０４を作成する。この処理は、通常の画像のグラフカット法によるセグメンテーションに相当する。
【００２２】
次に、辞書作成部２０５及びセグメンテーション部２０６の動作をそれぞれ図５（Ａ）及び図５（Ｂ）を用いて説明する。但し、各ステップの詳細についてはそれぞれ後述する。
【００２３】
まず、図５（Ａ）の処理について図６を参照しながら説明する。前述したように辞書作成部２０５は、教師画像及び正マスク例２０１を入力して、教師画像ごとのマスクモデル２０２を出力する。そこで、まず、ステップＳ５０１において、マスク事例演算部２０７は、教師画像及び正マスク例２０１からマスク事例群２１２を求める。例えば、辞書作成部２０５に、図６に示す教師画像６０１及び正マスク例６０２が与えられた場合に、教師画像６０１のそれぞれについて、負マスク例６０３、６０４、及び負マスク例重み６０５、６０６を求め、マスク事例群を求める。次に、ステップＳ５０２において、マスク事例集約部２０８は、マスク事例群２１２を集約し教師画像毎のマスクモデル２０２を求める。図６に示す例の場合、教師画像ごとのマスクモデル６０７を求める。
【００２４】
次に、図５（Ｂ）の処理について図６を参照しながら説明する。前述したようにセグメンテーション部２０６は、入力画像２０３、及び図５（Ａ）に示したフローチャートの処理によって出力された教師画像ごとのマスクモデル２０２を入力する。そして、入力画像２０３に対応するマスク２０４を出力する。まず、ステップＳ５１１において、入力画像適応部２０９は、教師画像ごとのマスクモデル２０２を入力画像２０３に適応させ、前景重み及び背景重み２１３を求める。図６に示す例の場合、入力画像６０８及び教師画像ごとのマスクモデル６０７から、前景重み・背景重み６０９を求める。次に、ステップＳ５１２において、マスク演算部２１０は、入力画像２０３を前景重み及び背景重み２１３に従ってセグメンテーションし、マスク２０４を求める。図６に示す例の場合、入力画像６０８及び前景重み・背景重み６０９から重み付きグラフ６１０を作成し、重み付きグラフ６１０からマスク６１１を作成する。
【００２５】
ここで、図５の各ステップを通して行う演算について説明する。なお、図面では、数式中の下付き添え字を'＿'記号を用いて表現している。
【００２６】
ステップＳ５１２で入力画像ｘからマスクｙを求めるには、いわゆる画像のグラフカットによるセグメンテーションに従い、以下の式（１）に示す値Ｅを最大化するマスクｙを求める。
【００２７】
【数１】
2014203157.tif 000003
【００２８】
ここで、式（１）の値Ｅは重み付きグラフのフローであって、値Ｅの最大化はグラフのノード重みを示すＦ（ｘ，ｙ）及びリンク重みを示すＢ（ｘ，ｙ）で定義される重み付きグラフの最大フロー最小カット問題と等しいものとする。また、ｐは画像ｘ上のあるピクセル及びグラフ上の対応するノードを示し、ｑはｐに隣接するピクセル及びノードを示す。下添え字に示すｐは画像ｘやマスクｙの点ｐにおけるピクセル値ないしマスク値を示す。また、オーバーライン付きのマスクｙはマスクｙの各ピクセルを否定したものを示す。さらにＫFG及びＫBGはそれぞれ入力画像ｘの前景重み、背景重みである。
【００２９】
式（１）に示したＦ（ｘ，ｙ）は、あるノードｐとソースノード、あるノードｐとシンクノードの間のリンクの重みを定義する。前景重みＫFG及び背景重みＫBGは、後述する教師画像ｘtrue及び正マスク例ｙtrueと、入力画像ｘとが与えられた時に、入力画像ｘ上の各ピクセルについて、それぞれ前景もしくは背景と判定される場合の重みを、画像状に並べたものと解釈できる。
【００３０】
式（１）に示すＬｉｎｋＷｅｉｇｈｔ（ｐ，ｑ）は、あるノードｐと、隣接するノードｑとの間のリンクの重みを定義する。リンク重みは一般に画像にグラフカットアルゴリズムを適用する際のスムージング項であって、輪郭の凹凸を抑制したり飛び地の発生を抑えたりする。定数γはスムージングの強さを経験的に定義する。値ｄpqはｐｑ間のユークリッド距離であり、（ｘp−ｘq）を入力画像ｘ上のピクセルｐ及びピクセルｑの色のＲＧＢ空間上に変換したユークリッド距離である。σcolorはＲＧＢ空間上での色のユークリッド距離の分散であり、経験的もしくは統計的に定義する。
【００３１】
次に、重み付きグラフの生成及び最大フロー最小カットによるセグメンテーションについて図３を参照しながら簡単に説明する。入力画像を図３（Ａ）に示すものとし、前景重みＫFG及び背景重みＫBGをそれぞれ図３（Ｂ）及び図３（Ｃ）に示すものとし、さらに生成する重み付きグラフを図３（Ｄ）に示すものとする。また、図３（Ａ）に示す入力画像おいて、同一の模様は同色を示すものとする。さらに、図３（Ｂ）及び図３（Ｃ）において、濃色が高い値を示し、淡色が低い値を示すものとする。
【００３２】
入力画像上のピクセル３０１は重み付きグラフ上のノード３１１に相当し、ピクセル３０１とピクセル３０２との間の隣接関係はノード３１１とノード３１２との間のリンクに相当する。ノード３１１とノード３１２とを結ぶノード間のリンクの重みは、ピクセル３０１、３０２のＲＧＢ値により式（１）に示すＬｉｎｋＷｅｉｇｈｔ（）に従って求められる。
【００３３】
次に、ソースノード３１３を追加し、ソースノード３１３とノード３１１とにリンクを張る。このリンクの重みとして前景重みＫFGのピクセル３０３の値を用いる。同様に、シンクノード３１４とノード３１２とのリンクの重みとして背景重みＫBGのピクセル３０４の値を用いる。
【００３４】
次に、ソースノード３１３からシンクノード３１４への最大フロー最小カットを行う。この重み付きグラフは、ノード数に比してリンク数が少なく、かつ、Ｆ（ｘ，ｙ）の値及びＢ（ｘ，ｙ）の値を明示的に求める必要はないので、この最小カットを求めるには、非特許文献３に記載のエドモンズ・カープのアルゴリズムが適している。
【００３５】
最大フロー最小カットにより、重み付きグラフ上の各ピクセルは、ソースノード側とシンクノード側とに分割される。図３（Ｄ）には、ソースノードに分類されたノードを白抜きの丸印で示し、シンクノードに分類されたノードを黒の丸印で示している。図３（Ｄ）の各ノードの分割結果を改めて画像状に並べた物をマスクｙとし、図３（Ｅ）に示す。シンクノード側に分類されたノード３１１は背景としてピクセル３２１に対応し、ソースノード側に分類されたノード３１２はピクセル３２２に対応する。このように図３（Ｅ）に示すマスクｙがセグメンテーションの結果である。
【００３６】
非特許文献２に記載の方法では、式（１）に示すＦ（ｘ，ｙ）は、以下の式（２）に示す構造化ＳＶＭによる識別を行っていた。この演算はセグメンテーション部内で行われ、その演算量は負マスク例ｙfalseの数に比例していた。
【００３７】
【数２】
2014203157.tif 000004
【００３８】
但し、式（２）において、Ｋ′は構造化ＳＶＭのカーネル、Λは入力画像ｘと教師画像ｘtrueとの類似度、βはサブカーネルΩの重み、Ωはサブカーネルの演算を示す。サブカーネルについては後述する。
【００３９】
本実施形態では、式（１）に示すように、式（２）のＦ′（ｘ，ｙ）のカーネルを前景と背景とで場合分けしてそれぞれ前景重みＫFG及び背景重みＫBGとして置き換えた。さらに以下の式（３）に示すように、前景重みＫFG及び背景重みＫBGの演算に関数Ｉと関数Ｊとを導入している。関数Ｊは、入力画像ｘに依存しない範囲で、正マスク例ｙtrue、負マスク例ｙfalse及びその重みαyfalseを教師画像ｘtrueごとに集約する。関数Ｉは関数Ｊの結果を入力画像ｘに適応させたものである。また、関数Ｊは入力画像ｘに依存しないのでセグメンテーション部２０６内ではなく事前に辞書作成部２０５内で演算することができる。よって、セグメンテーション部２０６によるステップＳ５１１及びステップＳ５１２の演算は、関数Ｉ及び関数Ｋの演算のみとなる。その演算量は、負マスク例ｙfalseの数に対して独立であって、教師画像数ｘtrueの数に比例することから、演算量を減少させることができる。
【００４０】
【数３】
2014203157.tif 000005
【００４１】
式（３）において、ある負マスク例ｙfalseとは、ある教師画像ｘtrueから得られたマスクのうちの正マスク例ｙtrueと異なるマスクとする。また、前景重みＫFG及び背景重みＫBGは、複数のサブカーネル、即ち関数Ｉの重みβによる重み付き総和である。
【００４２】
関数Ｉは、サブカーネルであって、関数Ｊの、入力画像ｘと教師画像ｘtrueとの類似度Λを重みとした重み付け総和を求める関数である。また、入力画像ｘの個々のピクセルについて、前景重みもしくは背景重みを並べた画像状の配列でもある。サブカーネルとは、前景重み・背景重みの尺度であって、構造化ＳＶＭのカーネルとして適する、即ち半正定値性を満たす任意の関数である。Ｉ＊はサブカーネルのそれぞれに応じて変化する項を示す。
【００４３】
Λ（ｘi，ｙj）は入力画像ｘと教師画像ｘtrueとの類似度、即ち重要度を示す。φxは画像間の類似度を導出可能な任意の特徴量である。本実施形態では特許文献４に示すＨＯＧ特徴を用いる。画像間の類似度は半正定値性を満たすべくＲＢＦカーネル距離で定義され、０から１の値域を取る。σHOGはこのＨＯＧ特徴の分散であって、経験的に定められる定数である。
【００４４】
βは関数Ｉの個々のサブカーネルの重みである。本実施形態では、βは、説明の簡略化及び学習を高速化するために、経験的に定義するものとし、それぞれのサブカーネルを通したβの総和は１になるものとする。
【００４５】
関数Ｊは、教師画像ｘtrueごとに、正マスク例ｙtrue、負マスク例ｙfalse及びその重みαyfalseを前景・背景のそれぞれについて集約する。Ｊ＊はサブカーネルのそれぞれに応じて変化する項を示す。
【００４６】
αtrueは、ある教師画像ｘtrueについての負マスク例重みαyfalseの総和である。負マスク例ｙfalse及び負マスク例重みαyfalseは、式（１）のＦ（ｘ，ｙ）を構造化ＳＶＭと見なし、その学習結果であるサポートベクタの重みとして得られる。画像における構造化ＳＶＭとは、入力画像ｘとマスクｙとをそれぞれベクトルとみなし、その２つのベクトルの単純連結を事例のベクトルとして扱うＳＶＭを意味する。この学習は、非特許文献２に記載の方法と同様、以下の式（４）の拘束付き最小二乗問題を逐次的に繰り返すことにより行われる。即ち、全ての教師画像について式（１）に基づきマスクを求め、そのマスクのｄｅｌｔａ項が最大となるマスクを負マスク例ｙfalseとして選択・追加し、式（４）を最小化する負マスク例重みαyfalseを求める。但しｄｅｌｔａ（ｙtrue，ｙfalse）は正マスク例ｙtrueと負マスク例ｙfalseとで異なるピクセル値を持つピクセルの数を示す。ξ及びＣは経験的に設定するパラメータである。
【００４７】
【数４】
2014203157.tif 000006
【００４８】
以下、サブカーネルごとに、関数Ｉ及び関数Ｊについて説明する。前述したように、関数Ｉは関数Ｊの類似度による重み付き総和でなければならない。かつ、関数Ｊは、入力画像ｘに依存してはならず、関数Ｉ及び関数Ｊは、構造化ＳＶＭのカーネルとして適さなければならない。これらを満たす限り、関数Ｉ及び関数Ｊについては、任意の関数が適用可能である。本実施形態では、サブカーネルは、非特許文献２に記載の方法と同様に、マスク形状の類似度、画像内でのマスクによる色の分離性、及び教師画像群との色との一致度の３種とする。また、それぞれ形状重み、ローカル色重み、グローバル色重みと表現し、下添え字としてそれぞれＳｈａｐｅ、ＬＣｏｌｏｒ、ＧＣｏｌｏｒで表記する。
【００４９】
マスク形状の類似度のサブカーネルの定義は、以下の式（５）に示すものとなる。
【００５０】
【数５】
2014203157.tif 000007
【００５１】
但し、ｘ・ｙは画像ｘ，ｙをそれぞれ行列として捉えた場合のｘとｙのドット積を示し、α・ｙはスカラ量αと行列として捉えたｙとの積を示し、オーバーライン付きｙはｙの各ピクセルのマスク値を否定したものを示す。
【００５２】
前景形状モデルＪFGShapeは、ある教師画像について、その個々のピクセルについて、そのピクセルが前景として識別されたときに、その識別がどれだけ正しいか、を並べた画像状の配列となる。同様に背景形状モデルＪBGShapeは、あるピクセルの背景としての識別の確からしさを示す。
【００５３】
前景形状重みＩFGShape及び背景形状重みＩBGShapeは、教師画像毎の類似度を重みとする、前景形状モデルＪFGShape及び背景形状モデルＪBGShapeの重み付き総和をピクセルごとに並べた画像状の配列である。すなわち、入力画像の各ピクセルがどれだけ前景もしくは背景として正しく識別されやすいかを示す。
【００５４】
画像内でのあるマスクによる色の分離性によるサブカーネルの定義を以下の式（６）に示す。
【００５５】
【数６】
2014203157.tif 000008
【００５６】
ここで、ｘpは画像ｘのピクセルｐを示し、ｙpはマスクｙのピクセルｐにおけるマスク値を示す。ｅpは、画像においてピクセルｐのみを１とし、他を０とした行列を意味する。ｈ（ｘp）は画像ｘのピクセルｐの色クラスタベクトルであって、即ち、該当する色クラスタに相当する次元のみを１とし残りを０としたベクトルを示す。色クラスタの導出手法は任意であり、例えばある色がそれぞれ０から２５５の値を取るＲＧＢで表されたものとして、（Ｒ％１６）＊２５６＋（Ｇ％１６）＊１６＋（Ｂ％１６）として計算する。なお、％は除算した商の小数点以下の切り捨てを意味する。
【００５７】
前景ローカル色重みＩFGLColor及び背景ローカル色重みＩBGLColorは、単一画像内でのあるマスクによる色の分離性による重みである。それぞれ、入力画像ｘのピクセルについて、そのピクセルの色が、どれだけ前景に現れるか、あるいは背景に現れるか、を示す画像である、と解釈できる。
【００５８】
ｃｏｌｏｒＨｉｓｔ（ｘ，ｙ）は、画像ｘの重み付き色クラスタ頻度ヒストグラムを示す。色クラスタの導出はｈ（ｘ）と等しく、また、その重みはマスクｙによりピクセルごとに与えられる。ヒストグラムは色クラスタｈ（ｘ）が返すクラスタ数と同じＢＩＮ数を持ち、そのＢＩＮの値は、全てのピクセルについての値の総和で正規化されている。また、色クラスタ頻度ヒストグラム同士の類似度はヒストグラム同士のドット積で求められる。
【００５９】
次に、教師画像群との色との一致度によるサブカーネルの定義を以下の式（７）に示す。
【００６０】
【数７】
2014203157.tif 000009
【００６１】
但し、上付きＴは配列の転置を示す。
【００６２】
前景グローバル色重みＩFGGColor及び背景グローバル色重みＩBGGColorは、入力画像のそれぞれのピクセルｐについて、そのピクセルｐの色が、前景もしくは背景の色クラスタ頻度ヒストグラムにどれだけ近いかを示す画像であると解釈できる。この色クラスタ頻度ヒストグラムは全ての教師画像と正マスク例の対から式（６）に示すｃｏｌｏｒＨｉｓｔ関数によって得られ、色クラスタｈ（ｘ）が返すクラスタ数と同じＢＩＮ数を持つ。また、前景の色クラスタ頻度ヒストグラムをグローバル前景色モデルＦＧGlobal、背景の色クラスタ頻度ヒストグラムをグローバル背景色モデルＢＧGlobalとする。
【００６３】
グローバル色モデル重みＪGColorは、前景グローバル色重みＩFGGColor及び背景グローバル色重みＩBGGColorに共通で教師画像毎に求められる数で、その教師画像の色モデルが教師画像全体から得た色モデルにどれだけ適合するかを示す。あるいはその教師画像でグローバル色モデルによるセグメンテーションがどれだけ有効かを示す。ＧｌｏＣｏｌｏｒＭａｔｃｈ（ｘ，ｙ）は、画像ｘのマスクｙによる前景背景色モデルのグローバル色モデルとの類似度である。
【００６４】
次に、マスク事例演算部２０７による図５（Ａ）のステップＳ５０１のマスク事例群を求める詳細な動作について図７を用いて説明する。この処理では教師画像及び正マスク例２０１を入力し、マスク事例群２１２を出力する。
【００６５】
まず、ステップＳ７０１において、教師画像及び正マスク例から式（７）に示したグローバル前景色モデルＦＧGlobal及びグローバル背景色モデルＢＧGlobalを求める。次に、ステップＳ７０２において、教師画像ごとに、ＨＯＧ特徴を求める。このＨＯＧ特徴は式（３）に示した値φである。ＨＯＧ特徴の導出法については、例えば特許文献４に開示されている方法を用いるものとする。
【００６６】
次に、ステップＳ７０３において、評価値が収束するまで、ステップＳ７０４〜ステップＳ７０７を繰り返す。この評価値は後述するステップＳ７０５で求め、収束条件は例えば前回のループによりステップＳ７０５で求めた重みαfalseの絶対値が一定値以下になることとする。このループは式（４）の負マスク例重みαyfalseの学習と等しい。
【００６７】
まず、ステップＳ７０４において、最も正マスク例と異なるピクセル数が多いセグメンテーション結果を、負マスク例として選択し、新たな負マスク例ｙfalseとして追加する。かつ、選択された負マスク例と対応した教師画像を追加する。ステップＳ７０４のループの初回、及びループ回数が教師画像の数以下の間は、正マスク例を単純に否定したものを負マスク例として選択する。それ以外であれば、最後のステップＳ７０７の実行で求めたセグメンテーション結果のうち、最も正マスク例と異なるピクセル数が多いセグメンテーション結果を選択する。
【００６８】
次に、ステップＳ７０５において、ステップＳ７０４で新たに追加した負マスク例ｙfalseについて、式（４）を満たす負マスク例重みαyfalseを求める。そして、ステップＳ７０６において、教師画像、正マスク例、負マスク例、及び負マスク例重みを教師画像ごとに集約する。なお、この処理はマスク事例集約部２０８が行ってもよく、処理の詳細については後述する。次に、ステップＳ７０７において、全ての教師画像をセグメンテーションし、マスクを求める。このセグメンテーションは、それぞれの教師画像を入力画像とした場合の入力画像適応部２０９、マスク演算部２１０の動作に等しく、詳細な説明は後述する。
【００６９】
ステップＳ７０３のループ条件が満たされた後、グローバル前景色モデルＦＧGlobal、グローバル背景色モデルＢＧGlobal、ＨＯＧ特徴、負マスク例ｙfalse、負マスク例重みαyfalse、及び負マスク例と教師画像との対応が出力される。すなわち、これらのパラメータがマスク事例群として出力される。
【００７０】
次に、マスク事例集約部２０８による図５（Ａ）のステップＳ５０２の教師画像ごとのマスク事例の集約処理の詳細について図８（Ａ）を参照しながら説明する。この処理は、式（５）及び式（７）に示す前景形状モデルＪFGShape、背景形状モデルＪBGShape、グローバル色モデル重みＪGcolorの演算に等しい。図８（Ａ）の処理では、マスク事例群として教師画像ｘtrue、正マスク例ｙtrue、負マスク例ｙfalse、負マスク例重みαyfalse、グローバル前景色モデルＦＧGlobal、及びグローバル背景色モデルＢＧGlobalを入力する。そして、教師画像ごとの前景形状モデルＪFGShape、教師画像ごとの背景形状モデルＪBGShape、及び教師画像ごとのグローバル色モデル重みＪGcolorを教師画像ごとのマスクモデルとして出力する。
【００７１】
まず、ステップＳ８０１において、全ての教師画像ｘtrueについて、ステップＳ８０２〜ステップＳ８０５のループを繰り返す。
【００７２】
そして、ステップＳ８０２において、教師画像ｘtrueに対応する全ての負マスク例重みαyfalseの総和を求め、正マスク例重みαtrueとする。この処理は式（３）のαtrueの演算に相当する。次に、ステップＳ８０３において、前景形状モデルＪFGShape、背景形状モデルＪBGShape、グローバル色モデル重みＪGcolorを初期化する。初期値はそれぞれ正マスク例重みと正マスク例との積、正マスク例重みと正マスク例の各ピクセルを否定したものとの積、教師画像と正マスク例の対のＧｌｏＣｏｌｏｒＭａｔｃｈ関数と正マスク例重みとの積である。なお、ＧｌｏＣｏｌｏｒＭａｔｃｈ関数については後述する。
【００７３】
最後に、ステップＳ８０４〜ステップＳ８０５において、教師画像ｘtrueに対応する全ての負マスク例ｙfalseについて、ステップＳ８０５の処理を繰り返す。ステップＳ８０５においては、前景形状モデルＪFGShape、背景形状モデルＪBGShape、及びグローバル色モデル重みＪGcolorに負マスク例を畳み込む。前景形状モデルＪFGShapeについては、前景形状モデルＪFGShapeから、ステップＳ８０４で着目した負マスク例とその重みとの積を減算する。背景形状モデルＪBGShapeについては、背景形状モデルＪBGShapeから、その負マスク例の否定とその重みとの積を減算する。グローバル色モデル重みＪGcolorについては、グローバル色モデル重みＪGcolorから、教師画像と負マスク例との対のＧｌｏＣｏｌｏｒＭａｔｃｈ関数と負マスク例重みとの積を減算する。ステップＳ８０１のループを終了すると、教師画像ｘtrueごとの前景形状モデルＪFGShape、背景形状モデルＪBGShape、グローバル色モデル重みＪGcolorが教師画像ごとのマスクモデルとして出力される。
【００７４】
次に、ステップＳ８０３及びステップＳ８０５で用いるＧｌｏＣｏｌｏｒＭａｔｃｈ関数について、図８（Ｂ）のフローチャートを用いて説明する。この処理では、画像ｘ及びマスクｙから得られる色モデルの、グローバル色モデルとの類似度を求める。また、この処理では画像ｘ、マスクｙ、グローバル前景色モデルＦＧGlobal、及びグローバル背景色モデルＢＧGlobalを入力し、求めた類似度を出力する。
【００７５】
まず、ステップＳ８１１において、初期設定として類似度をゼロにクリアする。次に、ステップＳ８１２において、画像ｘ上の各ピクセルｐについて、ステップＳ８１３〜ステップＳ８１６の処理を繰り返す。
【００７６】
まず、ステップＳ８１３において、画像ｘ上のピクセルｐの色クラスタｈを求める。色クラスタの導出法は式（６）に示すｈ（ｘ）に記載した通りである。次に、ステップＳ８１４〜ステップＳ８１６では、マスクｙ上のピクセルｐが前景か否かに応じて、グローバル色モデルの色クラスタに相当する要素を類似度に加算する。ステップＳ８１４の判定の結果、前景であれば、ステップＳ８１５においてグローバル前景色モデルＦＧGlobalをグローバル色モデルとして使用する。一方、背景であれば、ステップＳ８１６においてグローバル背景色モデルＢＧGlobalをグローバル色モデルとして使用する。その後に、ステップＳ８１２のループを繰り返す。ステップＳ８１２のループが終了すると、ステップＳ８１５及びステップＳ８１６で演算した類似度が出力される。
【００７７】
次に、入力画像適応部２０９による図５のステップＳ５１１の詳細な動作について図９を用いて説明する。この処理では、入力画像２０３及び教師画像ごとのマスクモデル２０２などを入力し、入力画像２０３の前景重み・背景重み２１３を出力する。教師画像ごとのマスクモデル２０２は、図８に示したフローチャートに従って算出されたものである。具体的には入力画像２０３の他に、図７の処理によって得られたグローバル前景色モデルＦＧGlobal、グローバル背景色モデルＢＧGlobal、及び教師画像ごとのＨＯＧ特徴を入力する。さらに、図８（Ａ）の処理によって得られた教師画像ごとの前景形状モデルＪFGShape、教師画像ごとの背景形状モデルＪBGShape、及び教師画像ごとのグローバル色モデル重みＪGcolorを入力する。
【００７８】
また、図９（Ａ）のステップＳ９０１〜ステップＳ９０８までの動作は、式（５）〜式（７）に示す演算に等しい。即ち前景形状重みＩFGShape、背景形状重みＩBGShape、前景ローカル色重みＩFGLColor、背景ローカル色重みＩBGLColor、前景グローバル色重みＩFGGColor、背景グローバル色重みＩBGGColorを求める演算に等しい。また、ステップＳ９０９〜ステップＳ９１１の動作は、式（３）での前景重みＫFG及び背景重みＫBGを求める演算に等しい。
【００７９】
まず、ステップＳ９０１において、前景形状重みＩFGShape、背景形状重みＩBGShape、前景ローカル色重みＩFGLColor、及び背景ローカル色重みＩBGLColorの各要素を０で初期化する。さらに、前景グローバル色重みＩFGGColor、背景グローバル色重みＩBGGColor、前景重みＫFG、及び背景重みＫBGの各要素を０で初期化する。これらは全て入力画像ｘと同じピクセル数を持つ画像状の配列であって、入力画像ｘの各ピクセルについての何らかの重みを示している。詳細については、前景形状重みＩFGShape及び背景形状重みＩBGShapeは式（５）に示したものであり、前景ローカル色重みＩFGLColor及び背景ローカル色重みＩBGLColorは式（６）に示したものである。また、前景グローバル色重みＩFGGColor及び背景グローバル色重みＩBGGColorは式（７）に示したものであり、前景重みＫFG及び背景重みＫBGは式（１）のＦ（ｘ，ｙ）で説明したものである。
【００８０】
次に、ステップＳ９０２において、全ての教師画像ｘtrueについて、ステップＳ９０３〜ステップＳ９０８の処理をループする。但し、このフローチャート内においては、教師画像そのものは保有する必要はなく、例えばそれぞれの教師画像を代表するＩＤ等を用いて処理を繰り返せばよい。
【００８１】
まず、ステップＳ９０３において、入力画像ｘからＨＯＧ特徴を取得し、ステップＳ９０２で着目した教師画像ｘtrueのＨＯＧ特徴との類似度Λを求める。類似度の導出は、式（３）に示したΛ（ｘi，ｘj）に従うものとする。そして、ステップＳ９０４において、前景形状重みＩFGShapeに、ステップＳ９０２で着目した教師画像ｘtrueに対応する前景形状モデルＪFGShapeと類似度Λとの積を加算する。同様に、背景形状重みＩBGShapeに、ステップＳ９０２で着目した教師画像ｘtrueに対応する背景形状モデルＪBGShapeと類似度Λとの積を加算する。ステップＳ９０３〜ステップＳ９０８のループが終了すると、前景形状重みＩFGShape及び背景形状重みＩBGShapeは、類似度Λとの積が教師画像の数だけ加算され、類似度による重み付き総和となる。
【００８２】
次に、ステップＳ９０５において、入力画像ｘ及び教師画像ｘtrueに対応する前景形状モデルＪFGShapeまたは背景形状モデルＪBGShapeから、それぞれ、入力画像前景色モデル及び入力画像背景色モデルを求める。この入力画像前景色モデル及び入力画像背景色モデルは、式（６）のｃｏｌｏｒＨｉｓｔ（ｘ，ｙ）に相当する。これらの色モデルは式（６）で説明した様に、色クラスタヒストグラムであって、即ち、色クラスタの数だけの次元を持つ配列である。ｃｏｌｏｒＨｉｓｔ関数の動作に関しては後述する。
【００８３】
次に、ステップＳ９０６において、入力画像ｘ上の各ピクセルｐについて、ステップＳ９０７〜ステップＳ９０８の処理を繰り返す。
【００８４】
まず、ステップＳ９０７において、入力画像ｘのピクセルｐの色クラスタｈを求める。色クラスタの求め方は式（６）のｈ（ｘ）に従うものとする。次に、ステップＳ９０８において、前景ローカル色重みＩFGLColor、背景ローカル色重みＩBGLColor、前景グローバル色重みＩFGGColor、及び背景グローバル色重みＩBGGColorを更新する。前景ローカル色重みＩFGLColorについては、そのピクセルｐに相当する場所に、ステップＳ９０５で求めた入力画像前景色モデルの色クラスタｈに相当する値と類似度Λとの積を加算する。背景ローカル色重みＩBGLColorについても入力画像背景色モデルを用いる以外は同様である。前景グローバル色重みＩFGGColorについては、ピクセルｐに相当する場所に、類似度Λと、着目した教師画像に対応するグローバル色モデル重みＪGcolorと、グローバル前景色モデルＦＧGlobalの色クラスタｈに相当する値との積を加算する。背景グローバル色重みＩBGGColorについても、グローバル前景色モデルＦＧGlobalの代わりにグローバル背景色モデルＢＧGlobalを用いる以外は同様である。
【００８５】
ステップＳ９０２及びステップＳ９０６のループが終了すると、前景ローカル色重みＩFGLColor及び背景ローカル色重みＩBGLColorは、類似度Λとの積が教師画像の数×ピクセル数だけ加算され、類似度による重み付き総和となる。また、前景グローバル色重みＩFGGColor及び背景グローバル色重みＩBGGColorについても、類似度Λとの積が教師画像の数×ピクセル数だけ加算され、類似度による重み付き総和となる。
【００８６】
次に、ステップＳ９０９〜ステップＳ９１１では、前景重みＫFG及び背景重みＫBGの全てのピクセルｐについて、式（３）に従って、その値を求める。
【００８７】
まず、ステップＳ９１０において、式（３）に示す通り前景重みＫFGの全てのピクセルについて前景形状重みＩFGShapeと前景ローカル色重みＩFGLColorと前景グローバル色重みＩFGGColorとのピクセルの値の重み付き総和を代入する。背景重みＫBGも同様に背景形状重みＩBGShapeと背景ローカル色重みＩBGLColorと背景グローバル色重みＩBGGColorとの重み付き総和を代入する。また、それぞれの項の重みはβShape、βLColor、βGColorとし、経験的に設定するものとする。
【００８８】
さらに、ステップＳ９１１において、前景重みＫFG及び背景重みＫBGのそれぞれのピクセルについて、教師画像の個数で割り、正規化する。そして、このステップＳ９０９のループで得られた前景重みＫFG及び背景重みＫBGが出力される。
【００８９】
次に、ステップＳ９０５で用いたｃｏｌｏｒＨｉｓｔ（ｘ，ｙ）について、図９（Ｂ）を用いて説明する。この処理では、入力画像ｘ及び重みマスクｙを入力し、その入力画像および重みマスクから生成される色クラスタ頻度ヒストグラムを返す。
【００９０】
まず、ステップＳ９２１において、色クラスタ頻度ヒストグラムｈｉｓｔを０で初期化する。次に、ステップＳ９２２〜Ｓ９２４のループで、入力画像ｘ上の各ピクセルｐについて、入力画像ｘのピクセルｐの色クラスタｈを求め、色クラスタ頻度ヒストグラムｈｉｓｔのｈに対応する要素に、重みマスクｙ上のｐに対応するピクセルの値を加算する。ステップＳ９２２〜ステップＳ９２４のループが終了した後の色クラスタ頻度ヒストグラムｈｉｓｔが返り値となる。
【００９１】
次に、マスク演算部２１０による図５（Ｂ）のステップＳ５１２の動作について、図１０を用いて説明する。この処理では、入力画像２０３、前景重み・背景重み２１３を入力し、入力画像２０３に対応するマスク２０４を求める。式（１）で説明した値Ｅの最大化によるセグメンテーションに相当する。
【００９２】
まず、ステップＳ１００１において、重み付きグラフＧを初期化する。そして、重み付きグラフＧにソースノード及びシンクノードを追加する。次に、ステップＳ１００２〜ステップＳ１００３において、入力画像ｘ上の各ピクセルｐについて、ノードｐを重み付きグラフＧに追加し、ソースノードとノードｐとを結ぶリンク、シンクノードとノードｐとを結ぶリンクを追加する。そして、ソースノードとノードｐとを結ぶリンクの重みとして、前景重みＫFG上のピクセルｐの値を割り当て、シンクノードとノードｐとを結ぶリンクの重みとして背景重みＫBG上のピクセルｐの値を割り当てる。
【００９３】
次に、ステップＳ１００４〜ステップＳ１００５において、入力画像ｘ上で隣接する全てのピクセルｐ，ｑの対について、重み付きグラフＧにノードｐとノードｑとの間のリンクを追加する。さらに、このリンクの重みとして、式（１）に示すＬｉｎｋＷｅｉｇｈｔ（ｐ，ｑ）の演算結果を設定する。
【００９４】
次に、ステップＳ１００６において、作成した重み付きグラフＧに対し、ソースノードからシンクノードへの最大フローを持つ最小カットを求める。そして、ステップＳ１００７において、重み付きグラフＧ上のそれぞれのノードｐについて、そのノードｐが最小カットによりソースノード側に分類される場合は、マスク画像においてピクセルｐをマスクとする。一方、ノードｐがシンクノード側に分類される場合は、マスク画像のピクセルｐをマスクではないものとする。そして、このステップＳ１００７で作成したマスクｙが出力される。
【００９５】
以上のように本実施形態によれば、ある教師画像に対し多くの負マスク例を生成する。これにより、その負マスク例に類似する誤セグメンテーションを防ぐことが期待できる。また、本実施形態によれば、教師画像ごとにその多数の負マスク例を教師画像毎のマスクモデル２０２として集約する。これにより、同一の教師画像で複数の入力画像をセグメンテーションする場合のセグメンテーション部２０６の演算量が負マスク例数から独立となる。すなわち負マスク例数が多い場合にセグメンテーションを高速化できる。
【００９６】
さらに、本実施形態によれば、入力画像が与えられた後に、各ピクセルについて、そのピクセルがマスクの場合とマスクではない場合とのそれぞれについて、その重みを求める。これにより、ある入力画像のマスクを求める場合に、その最大フローを、一度の最大フロー最小カット問題の解決で求めることができる。
【００９７】
（その他の実施形態）
前述した実施形態におけるピクセルの代わりに、特許文献３に記載の手法を適用し、色が類似しかつ隣接するピクセル同士を統合した小領域を用いてもよい。この場合、前述した実施形態における「ピクセル」は適宜「小領域」と読み替えるものとする。また、式（１）に示すＬｉｎｋＷｅｉｇｈｔ（ｐ，ｑ）の値ｄpqにおいて、そのユークリッド距離は、小領域の中心同士の距離に置き換える。
【００９８】
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００９９】
２０５  辞書作成部
２０６  セグメンテーション部
２０７  マスク事例演算部
２０８  マスク事例集約部
２０９  入力画像適応部
２１０  マスク演算部
【図１】
2014203157.tif 000010
【図２】
2014203157.tif 000011
【図３】
2014203157.tif 000012
【図４】
2014203157.tif 000013
【図５】
2014203157.tif 000014
【図６】
2014203157.tif 000015
【図７】
2014203157.tif 000016
【図８】
2014203157.tif 000017
【図９】
2014203157.tif 000018
【図１０】
2014203157.tif 000019