(57)【要約】【課題】簡単かつ高精度に画像を意味のある複数の領域に分類できるようにする。【解決手段】分割したスーパーピクセル内の画素数を取得するとともに、スーパーピクセル同士の隣接情報を取得する。そして、スーパーピクセルのペアがいずれも閾値以上の画素数である場合にはＬＢＰヒストグラムによる結合判定を行い、そうでない場合には色平均による結合判定を行う。そして、それぞれのスーパーピクセルからそれぞれ特徴を抽出し、所定の条件を満たす場合にはスーパーピクセルのペアを結合する。【選択図】図１
2015099563.tif 000002
【特許請求の範囲】
【請求項１】
入力画像を類似画素からなる複数の領域に分割する分割手段と、
前記分割手段によって分割された領域のサイズを取得する取得手段と、
前記分割手段によって分割された領域の特徴を抽出する抽出手段と、
前記取得手段によって取得された領域のサイズと前記抽出手段によって抽出された特徴とに基づいて隣接する領域を結合する方法を決定する決定手段と、
前記決定手段により決定された結合方法により前記隣接する領域を結合する結合手段と、
前記結合手段によって結合された領域の種別を分類する分類手段とを備えることを特徴とする画像処理装置。
【請求項２】
前記抽出手段は、前記取得手段によって取得された領域のサイズに応じて異なる特徴を抽出することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記抽出手段は、前記領域のサイズが所定の閾値以上である場合に、テクスチャ特徴を抽出することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記テクスチャ特徴は、ＬＢＰ特徴、ガボール特徴、及びテクストン特徴のうちの少なくとも１つであることを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記結合手段により結合された領域のサイズが所定値より小さい場合に、
前記取得手段は、前記結合された領域のサイズを取得し、
前記抽出手段は、前記結合された領域の特徴を抽出し、
前記決定手段は、前記結合された領域のサイズ及び特徴に基づいて隣接する領域を結合する方法を決定し、
前記結合手段は、前記決定手段により決定された結合方法により前記結合された領域と前記隣接する領域とを結合することを特徴とする請求項１〜４の何れか１項に記載の画像処理装置。
【請求項６】
前記抽出手段は、前記結合手段により結合された領域から、前記結合された領域の種別を分類するための領域分類特徴を抽出し、
前記分類手段は、前記領域分類特徴に基づいて前記結合された領域の種別を分類することを特徴とする請求項１〜５の何れか１項に記載の画像処理装置。
【請求項７】
入力画像を類似画素からなる複数の領域に分割する分割工程と、
前記分割工程において分割された領域のサイズを取得する取得工程と、
前記分割工程において分割された領域の特徴を抽出する抽出工程と、
前記取得工程において取得された領域のサイズと前記抽出工程において抽出された特徴とに基づいて隣接する領域を結合する方法を決定する決定工程と、
前記決定工程において決定された結合方法により前記隣接する領域を結合する結合工程と、
前記結合工程において結合された領域の種別を分類する分類工程とを備えることを特徴とする画像処理方法。
【請求項８】
入力画像を類似画素からなる複数の領域に分割する分割工程と、
前記分割工程において分割された領域のサイズを取得する取得工程と、
前記分割工程において分割された領域の特徴を抽出する抽出工程と、
前記取得工程において取得された領域のサイズと前記抽出工程において抽出された特徴とに基づいて隣接する領域を結合する方法を決定する決定工程と、
前記決定工程において決定された結合方法により前記隣接する領域を結合する結合工程と、
前記結合工程において結合された領域の種別を分類する分類工程とをコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、特に、画像を複数の領域に分割するために用いて好適な画像処理装置、画像処理方法及びプログラムに関する。
【背景技術】
【０００２】
従来、画像を意味のある複数の領域に分割する研究が行われている。例えば、非特許文献１に記載されているSegmentationタスクに関し、そのような研究がなされている。このような画像を分割する処理においては、まず、スーパーピクセルと呼ばれる隣接した複数の画素からなる小領域に画像を分割し、分割した領域から夫々特徴量を抽出して、抽出した特徴量をもとに領域の統合、分類を行う方法が一般的である。例えば、非特許文献２には、事前に学習したニューラルネットワークによって夫々の領域を空、木、道路、等のクラスに分類している。一方、前処理として用いられているスーパーピクセルを生成する方法としては、クラスタリングやグラフ表現が用いられている（例えば非特許文献３及び４参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−２２７９７３号公報
【非特許文献】
【０００４】
【非特許文献１】M. Everingham, L. Van Gool, C.K.I. Williams, J. Winn, and A. Zisserman. The PASCAL Visual Object Classes (VOC) challenge. International Journal of Computer Vision. vol. 88 (2), 2010
【非特許文献２】Richard Socher, Cliff Lin, Andrew Y. Ng, and Christopher D. Manning. Parsing Natural Scenes and Natural Language with Recursive Neural Networks. ICML 2011
【非特許文献３】Felzenszwalb, P., Huttenlocher, D. Efficient graph-based image segmentation. International Journal of Computer Vision. 2004
【非特許文献４】Radhakrishna Achanta, Appu Shaji, Kevin Smith, Aurelien Lucchi, Pascal Fua, and Sabine Susstrunk. SLIC Superpixels. EPFL Technical Report 149300, June 2010
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、例えば、前記非特許文献３に記載の方法により画像をスーパーピクセルに分割し、分割したスーパーピクセルに対して非特許文献２に記載のクラス分類を行う場合、以下のような問題が生じる。
【０００６】
まず、非特許文献３に記載の方法による領域分割の結果、スーパーピクセルの領域数が非常に多くなることがある。例えば、画像全体に木や草などのテクスチャが存在する場合、エッジ部分が分割されやすく大量の領域を生成することになる。これに対し、クラス分類のために行われる処理は非常に複雑であるため、スーパーピクセルの数が多いと処理に膨大な時間がかかってしまう。
【０００７】
また、領域のサイズに関しても、非特許文献３に記載の方法による領域分割は、前述のとおりテクスチャがある領域において敏感にエッジを分離する。このため、結果として領域数が増えるだけでなく小さな領域を多く生成してしまう。さらには非特許文献２に記載のクラス分類は、サイズの小さな領域に対して判別精度が低下するという問題がある。これは、クラス分類では領域から抽出する様々な特徴量でカテゴリを判別するのだが、小さい領域から抽出する特徴量は安定しないことがあるためである。例えば、画素値にノイズがある場合、サイズの大きい領域ではそのようなノイズの影響を受けないが、小さい領域においては影響を受けやすく、本来抽出したい特徴とは異なる特徴を抽出してしまうことがある。
【０００８】
本発明は前述の問題点に鑑み、簡単かつ高精度に画像を意味のある複数の領域に分類できるようにすることを目的としている。
【課題を解決するための手段】
【０００９】
本発明の画像処理装置は、入力画像を類似画素からなる複数の領域に分割する分割手段と、前記分割手段によって分割された領域のサイズを取得する取得手段と、前記分割手段によって分割された領域の特徴を抽出する抽出手段と、前記取得手段によって取得された領域のサイズと前記抽出手段によって抽出された特徴とに基づいて隣接する領域を結合する方法を決定する決定手段と、前記決定手段により決定された結合方法により前記隣接する領域を結合する結合手段と、前記結合手段によって結合された領域の種別を分類する分類手段とを備えることを特徴とする。
【発明の効果】
【００１０】
本発明によれば、領域の分類に多くの処理時間をかけずに、高精度に画像を意味のある複数の領域に分類することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施形態に係る画像処理装置の機能構成例を示すブロック図である。
【図２】本発明の実施形態において、画像を取得して領域分類する処理手順の一例を示すフローチャートである。
【図３】３層構造のＲＮＮ（Recursive Neural Networks）を説明するための図である。
【図４】本発明の実施形態において、領域分割する処理手順の一例を示すフローチャートである。
【図５】スーパーピクセルを結合して結合領域を得る詳細な処理手順の一例を示すフローチャートである。
【図６】ＬＢＰヒストグラムに基づいて結合判定を行う詳細な処理手順の一例を示すフローチャートである。
【図７】色平均に基づいて結合判定を行う詳細な処理手順の一例を示すフローチャートである。
【図８】スーパーピクセルに分割された画像の一例を示す図である。
【図９】スーパーピクセルごとの画素数を表すテーブルの一例を示す図である。
【図１０】スーパーピクセル同士の隣接関係を表すテーブルの一例を示す図である。
【図１１】ＬＢＰコードの具体的な算出方法の一例を示す図である。
【図１２】ＬＢＰヒストグラムの一例を示す図である。
【図１３】ＬＢＰヒストグラムに基づいて結合した後の領域の一例を示す図である。
【図１４】ＬＢＰヒストグラムに基づいて結合した後の各領域の画素数を表すテーブルの一例を示す図である。
【図１５】ＬＢＰヒストグラムに基づいて結合した後の各領域同士の隣接関係を表すテーブルの一例を示す図である。
【図１６】色平均に基づいて結合した後の領域の一例を示す図である。
【図１７】色平均に基づいて結合した後の各領域の画素数を表すテーブルの一例を示す図である。
【図１８】色平均に基づいて結合した後の各領域同士の隣接関係を表すテーブルの一例を示す図である。
【発明を実施するための形態】
【００１２】
以下、添付図面を参照しながら本発明の好適な実施形態について説明する。本実施形態では、画像を意味のある複数の領域に分割する例を示す。
【００１３】
図１は、本実施形態に係る画像処理装置１００の機能構成例を示すブロック図である。
図１において、画像取得部１０１は、画像データを取得する撮像装置、及び取得した画像データを記憶する画像メモリにより構成されている。領域分割部１０２は、隣接する類似画素からなる複数の領域に画像を分割する。領域サイズ取得部１０３は、領域のサイズに関する情報を取得する。特徴抽出部１０４は、領域内の画像特徴を抽出する。結合方法決定部１０５は、隣接する領域を結合する方法を決定する。結合処理部１０６は、結合対象となる２領域を結合する。領域分類部１０７は、領域が属する種別を判別する。また、本実施形態においては、領域分割部１０２〜領域分類部１０７の構成は汎用のコンピュータにより構成されている。
【００１４】
以下、本実施形態の動作について説明する。本実施形態では、まず非特許文献３に記載の方法によりスーパーピクセルに分割し、次に隣接するスーパーピクセル同士を結合する。さらに非特許文献２に記載の方法により結合領域のクラスを分類する方法について説明する。
【００１５】
図２は、本実施形態に係る画像処理装置１００によって領域分類する処理手順の一例を示すフローチャートである。
まず、ステップＳ２０１において、画像取得部１０１により画像を取得し、取得した画像を画像メモリに記憶する。なお、取得する画像はＲＧＢの３色に基づいたカラー画像のデータとする。
【００１６】
次に、ステップＳ２０２において、ステップＳ２０１で取得した画像を領域分割部１０２にて領域分割し、複数のスーパーピクセルを取得する。本ステップの処理の詳細については後述する。そして、ステップＳ２０３において、ステップＳ２０２で取得したスーパーピクセルのうち、隣接する２つのスーパーピクセルを結合して結合領域を得る。本ステップは、領域分割部１０２によって得られたスーパーピクセルについて、特徴抽出部１０４にて抽出した特徴と、領域サイズ取得部１０３にて取得した情報と、結合方法決定部１０５で決定した結合方法とに基づき、結合処理部１０６にて結合処理を行う。処理の詳細については後述する。
【００１７】
次に、ステップＳ２０４において、特徴抽出部１０４は後述するステップＳ２０５の領域分類で使用するための特徴量である領域分類特徴を、ステップＳ２０３で取得した結合領域から抽出する。本実施形態で抽出する領域分類特徴は、結合領域の色特徴、テクスチャ特徴、幾何特徴、及び位置特徴とする。ここで、各特徴について説明する。
【００１８】
色特徴は、ＲＧＢ夫々の色成分における結合領域内の平均、分散、歪度、尖度である。なお、本実施形態では色空間としてＲＧＢを用いているが、ＹＣｂＣｒ、ＣＩＥＬＡＢなど別の色空間を用いて各色特徴を求めるようにしてもよい。テクスチャ特徴は、輝度画像（前記ＹＣｂＣｒのＹ成分）を複数のスケールおよび方向でガボールフィルタ処理し、処理後の値について領域内で平均、分散、歪度、尖度を計算したものである。この他、複数のスケールでＬＯＧ（Laplacian Of Gaussan）処理を行った画像に対して結合領域内の画素の平均、分散、歪度、尖度を抽出して追加してもよい。
【００１９】
幾何特徴は、領域内の面積（画素数）、周長（領域境界の画素数）、各画素の位置座標を（ｘ，ｙ）で表した場合のｘ座標の二次モーメント、ｙ座標の二次モーメント、ｘｙモーメントである。位置特徴は、結合領域内の画素のｘ座標、ｙ座標夫々の重心、及び重心座標を（ｘg，ｙg）とした場合のｘg2＋ｙg2の値である。これらの抽出した特徴量は一つの結合領域から抽出する特徴量の数をｄとした場合、ｄ次元の特徴ベクトルとして領域毎に不図示のコンピュータのメモリに保持される。
【００２０】
次に、ステップＳ２０５において、領域分類部１０７は、ステップＳ２０４の領域分類特徴を抽出する処理により得た特徴量に基づき、夫々の結合領域が属するクラスを判別する。クラス判別は、図３に示すような３層構造のＲＮＮ（Recursive Neural Networks）により行う。図３において、Ｉ、Ｍ、Ｏは夫々入力層、中間層、出力層のニューロンである。ステップＳ２０４で抽出した特徴量（ｄ次元の特徴ベクトル）をＦrawとすると、入力層Ｉのニューロンはｄ個であり、夫々特徴ベクトルを構成する一つの特徴量を入力し、そのまま中間層Ｍに伝達する。中間層Ｍの数をｄmとし、出力する特徴をＦsemとすると、特徴Ｆsemはｄm次元の特徴ベクトルであり、以下の式（１）により算出される。
Ｆsem＝ｆ（ＷbＦraw）      ・・・（１）
【００２１】
但し、Ｗbは入力層Ｉ及び中間層Ｍの結合係数を表すｄ×ｄmの行列を表し、ｆはシグモイド関数を表す。出力層Ｏでは、ｄ0個の値Ｆout（ｄ0次元の特徴ベクトル）は以下の式（２）により算出され、出力される。
Ｆout＝ＷcＦsem      ・・・（２）
【００２２】
但し、Ｗcは中間層Ｍ及び出力層Ｏの結合係数を表すｄm×ｄ0の行列を表し、ｄ0は判別するクラスの数を表す。ここで、Ｗb、Ｗcは非特許文献２に記載されている方法を用いて事前学習により定められる。領域分類部１０７は、出力層Ｏが出力する特徴量Ｆoutのうち、最も大きい値を返すクラスを判別結果として出力する。
【００２３】
次に、図２のステップＳ２０２の処理の詳細について説明する。本実施形態では、画像の領域分割処理としてグラフ表現を用いた非特許文献３の方法に従った例について説明する。
【００２４】
図４は、領域分割部１０２により非特許文献３に記載の方法に基づいて領域分割する処理手順の一例を示すフローチャートである。
まず、ステップＳ４０１において、入力画像の各画素を頂点とし、各画素と周囲８方向の隣接画素との組合せをエッジとするグラフを作成する。そして、ステップＳ４０２において、ステップＳ４０１で作成したグラフの全エッジの重みを算出し、エッジの重みが小さい順にソートを行う。エッジの重みｗijは以下の式（３）により算出される。
【００２５】
【数１】
2015099563.tif 000003
【００２６】
但し、（Ｒi，Ｇi，Ｂi）、（Ｒj，Ｇj，Ｂj）は、それぞれエッジの頂点ｉ、ｊに対応する画素のＲＧＢ成分を表す。すなわち、ここでは２つの画素のＲＧＢ色空間での距離をエッジ重みとする。
【００２７】
次に、ステップＳ４０３において、ステップＳ４０１で作成したグラフからステップＳ４０２のソート結果を参照して最も小さい重みを持つエッジを選択する。そして、ステップＳ４０４において、ステップＳ４０３で選択したエッジの頂点に対応する夫々の画素について、画素を含む領域を検索し、領域同士の結合の判定を行う。ここで、初期状態においては、領域は画素そのものとする。領域同士の結合の判定は、２つの領域間の特徴量の違いと夫々の領域内の特徴量の違いとの比較に基づいて行い、ステップＳ４０２で算出したエッジ重みを利用する。領域間の違いＤｉｆ（Ｃi，Ｃj）は以下の式（４）により算出される。
Ｄｉｆ（Ｃi，Ｃj）＝ｍｉｎ ｗkl      ・・・（４）
【００２８】
但し、Ｃi、Ｃjは判定する２つの領域を表し、ｍｉｎ ｗklは領域Ｃiに属する頂点（ここでは画素）ｋ及び領域Ｃjに属する頂点（ここでは画素）ｌのエッジのうち、ステップＳ４０２で算出したエッジ重みの最小値を表す。また、領域内の違いＭＩｎｔ（Ｃi，Ｃj）は以下の式（５）により算出される。
【００２９】
【数２】
2015099563.tif 000004
【００３０】
但し、Ｉｎｔ（Ｃ）＝ｍａｘ（ｗkl）であり、領域Ｃに属する２つの頂点（ここでは画素）ｋ及び頂点（ここでは画素）ｌのエッジのうち、ステップＳ４０２で算出したエッジ重みの最大値である。また、τ（Ｃ）＝Ｋｃ／｜Ｃ｜であり、｜Ｃ｜は領域Ｃの面積を表し、Ｋｃは領域同士の結合のし易さを制御するパラメータである。領域間の違いＤｉｆ（Ｃi，Ｃj）が領域内の違いＭＩｎｔ（Ｃi，Ｃj）よりも大きい場合には２つの領域の違いが大きいと判定し、結合は行わない。一方、それ以外の場合には２つの領域が類似していると判定し、領域を結合する。なお、領域を結合する場合は結合後の領域に対してＩｎｔ（Ｃ）を更新しておく。
【００３１】
次に、ステップＳ４０５において、全てのエッジについて処理を行ったかどうかを判定し、未処理のエッジがある場合にはステップＳ４０３に戻り、処理を繰り返す。一方、ステップＳ４０５の判定の結果、全てのエッジについて処理を行った場合には、ステップＳ４０６に処理を移す。そして、ステップＳ４０６において、全ての領域について領域の大きさを求め、所定サイズ以下の領域を周囲の領域と結合する。
【００３２】
次に、本実施形態の特徴である領域サイズに基づいた結合処理方法の選択について、図５に示すフローチャートを用いて詳細を説明する。なお、本実施形態では説明を簡略化するため、図８に示すように入力画像が９つのスーパーピクセルに分割されている場合について、その結合処理の方法を説明する。また、各スーパーピクセルには、Ｒ０１〜Ｒ０９の領域ＩＤが付与されているものとする。
【００３３】
図５は、図２のステップＳ２０３においてスーパーピクセルを結合して結合領域を得る詳細な処理手順の一例を示すフローチャートである。
まず、ステップＳ５０１において、領域サイズ取得部１０３は、各スーパーピクセル内の画素数を取得する。図９には、図８に示した領域ＩＤとこれに対応する画素数との関係を表すテーブルを示す。
【００３４】
次に、ステップＳ５０２において、領域サイズ取得部１０３は、スーパーピクセル同士の隣接情報を取得する。まず、画像の左上から右下へ順番に画素を参照していき、隣接画素（右の画素、右下の画素、下の画素）において異なる領域ＩＤとなった場合に、この異なる領域ＩＤをチェックすることにより隣接情報を取得できる。図１０には、図８に示す画像から得られる隣接情報の一例を示す。例えば、スーパーピクセルＲ０１は、Ｒ０２、Ｒ０４、Ｒ０５と隣接するため、図１０に示すテーブルの対応する部分に、２領域が隣接することを示す情報として"○"を付与する。また、それ以外の領域とは隣接していないものとして"×"を付与する。なお、図１０に示すテーブルは、斜線を挟んで対象であるため、以降のステップでは斜線より上（あるいは下）の部分だけを参照する。
【００３５】
次に、ステップＳ５０３において、結合方法決定部１０５は、隣接する１組のスーパーピクセルのペアを選択する。本実施形態では、図１０に示すテーブルに基づき、領域ＩＤの順にスーパーピクセルのペアを順番に処理していく。具体的には、Ｒ０１とＲ０２、Ｒ０１とＲ０４、Ｒ０１とＲ０５、Ｒ０２とＲ０３、Ｒ０２とＲ０４・・・のように、図１０に示すテーブルの左上から右下に走査して"○"に該当するスーパーピクセルのペアを順番に選択していく。以降の説明では、本ステップで選択するスーパーピクセルのペアをそれぞれＳｐ−Ｇ１、Ｓｐ−Ｇ２と呼ぶことにする。
【００３６】
次に、ステップＳ５０４において、結合方法決定部１０５は、ステップＳ５０３で選択したスーパーピクセルのペアの各領域のサイズ、すなわち画素数に応じて次のステップで行う結合処理を決定するための区分けを行う。小さい領域からテクスチャ特徴を抽出してもノイズ等により安定した特徴量を得られないため、このような領域からは高次元で複雑な計算を要するテクスチャ特徴ではなく、処理が簡単な低次元の特徴量を用いて結合処理を行うようにする。
【００３７】
ステップＳ５０４では、Ｓｐ−Ｇ１の画素数をＳ１とし、Ｓｐ−Ｇ２の画素数をＳ２とし、閾値をＴhsとした場合に、以下の式（６）の条件を満たすか否かを判定する。この判定の結果、式（６）の条件を満たす場合にはステップＳ５０５に進み、そうでない場合にはステップＳ５０６に進む。
Ｓ１＞Ｔhs、かつＳ２＞Ｔhs      ・・・（６）
【００３８】
ステップＳ５０５においては、ステップＳ５０３で選択したスーパーピクセルのペアについて、特徴抽出部１０４にて算出するＬＢＰヒストグラムに基づいて結合判定を行う。以下、図６のフローチャートを用いて処理の詳細を説明する。
【００３９】
図６は、図５のステップＳ５０５において、ＬＢＰヒストグラムに基づいて結合判定を行う詳細な処理手順の一例を示すフローチャートである。
まず、ステップＳ６０１において、特徴抽出部１０４は、スーパーピクセル内の画像特徴としてＬＢＰ（Local Binary Pattern）コードを算出する。まず、注目画素とその隣接画素との画素値の差を調べ、差が負になる場合は"０"を割り当て、正になる場合は"１"を割り当てる。そして、所定の始点から回転するように当該"０，１"の列を取り出して８ビットの列として並べてコード化し、ＬＢＰコードを算出する。
【００４０】
図１１は、ＬＢＰコードの具体的な算出方法の一例を示す図である。図１１（Ａ）には、３×３からなる画素の画素値の一例を示し、図１１（Ｂ）には、注目画素を中央の画素として、隣接画素を注目画素との差に基づいて"０"または"１"に変換した結果を示す。本実施形態では、ＲＧＢ値を以下の式（７）により輝度値Ｙに変換した値を用いてＬＢＰコードを生成する。
Ｙ＝０．２９９×Ｒ＋０．５８７×０．１１４×Ｂ      ・・・（７）
【００４１】
図１１（Ｂ）において、左上の画素を始点としてその下の画素を終点とし、図１１（Ｂ）に示す矢印の方向に０と１との列を取り出す。この結果、"０００１１１００"が図１１（Ａ）に示す画素に対するＬＢＰコードとなる。本ステップでは、ステップＳ５０５で選択した２つのスーパーピクセル内の全ての画素について、上記方法によりＬＢＰコードを算出する。
【００４２】
次に、ステップＳ６０２において、特徴抽出部１０４は、ステップＳ６０１で算出したＬＢＰコードに対応するスーパーピクセル内の画素数をカウントしてヒストグラムを生成する。以降、このヒストグラムをＬＢＰヒストグラムと呼ぶ。
【００４３】
図１２は、本実施形態におけるＬＢＰヒストグラムの一例を示す図である。本実施形態では、ＬＢＰコードとして８桁のバイナリコードを生成するため、ヒストグラムのビン数は２５６個（０から２５５まで）となる。図１２（Ａ）に示すＬＢＰヒストグラム１２０１は、各ビンに対する画素数を集計したものである。なお、以降のステップでは２つのスーパーピクセルのＬＢＰヒストグラムを比較するが、領域内の画素数がスーパーピクセル毎に異なるため、ヒストグラム値を画素数で正規化する必要がある。そこで、さらに図１２（Ｂ）に示す正規化後のＬＢＰヒストグラム１２０２を生成する。
【００４４】
次に、ステップＳ６０３において、結合方法決定部１０５は、ステップＳ６０２で生成した２つのスーパーピクセルのＬＢＰヒストグラムを比較し、これらのスーパーピクセルを結合するか否かを判定する。この判定は、特許文献１で示されるヒストグラムインターセクションを用いた方法で行うことができる。ヒストグラムインターセクションは、比較する２つのヒストグラムの各要素について、小さい方の値を採用し、この値について全ての要素に亘って和を求め、その和が大きければ類似度が高いと評価するものである。ｎ個のビンを含む一組のヒストグラムＩとＭとが与えられた場合のヒストグラムインターセクションに定義される類似度Ｖは次のように定義される。本実施形態では先に示した通りビン数が２５６個であるため、ｎ＝２５６として以下の式（８）を計算する。
【００４５】
【数３】
2015099563.tif 000005
【００４６】
次に、式（８）により算出した２つのスーパーピクセルの類似度Ｖを所定の閾値Ｔhvと比較する。類似度Ｖが閾値Ｔhv以上の場合は、２つのスーパーピクセルは類似するものとして、ステップＳ６０４に進む。一方、類似度Ｖが閾値未満の場合は、２つのスーパーピクセルは類似していないものとして結合処理を行わず、図５のステップＳ５０７に進む。
【００４７】
ステップＳ６０４においては、結合処理部１０６は、２つのスーパーピクセルを結合して新たな領域を生成する。この際、２つのスーパーピクセルの画素数を足し合わせた結果を新たな領域の画素数とする。また、新たな領域の領域ＩＤは前記２つのスーパーピクセルのどちらかを引き継ぐものとし、例えばサイズの大きい方のスーパーピクセルの領域ＩＤを引き継ぐようにする。また、ステップＳ６０１で求めた前記２つのスーパーピクセルに対応するＬＢＰコードに基づき、特徴抽出部１０４は、ステップＳ６０２で行った手順と同様に新たに生成された結合領域におけるＬＢＰヒストグラムを取得する。
【００４８】
図１３には、以上説明した方法により図８のＳｐ−Ｒ０１、Ｓｐ−Ｒ０２を結合処理した結果の例を示す。図１３に示す例では、Ｓｐ−Ｒ０１よりもＳｐ−Ｒ０２の領域のサイズが大きいため、新たに生成される結合領域のＩＤはＲ０２となる。なお、領域サイズ取得部１０３により、図９に示すテーブルは、結合処理により図１４に示すテーブルに更新され、同様に図１０に示すテーブルは、図１５に示すテーブルに更新される。ステップＳ６０４の処理が終わると、図５のステップＳ５０７に進む。
【００４９】
なお、本実施形態では、所定サイズ以上の領域の結合判定に、輝度値を用いたＬＢＰヒストグラムを使用したが、ＲＧＢ値に基づいたＬＢＰヒストグラムを生成するようにしてもよい。また、ＬＢＰ特徴以外に先に説明したガボール特徴や、テクスチャ特徴を表す複数のフィルターを組み合わせたテクストン特徴など、領域内のテクスチャ情報を表現できる特徴量であればどのようなものを用いてもよい。
【００５０】
図５の説明に戻り、ステップＳ５０６においては、ステップＳ５０３で選択した２つのスーパーピクセルのペアについて、色平均に基づいて結合判定を行う。以下、図７に示すフローチャートを用いて詳細を説明する。また、以下の説明では、図８のスーパーピクセルＲ０６、Ｒ０７（以降Ｓｐ−Ｒ０６、Ｓｐ−Ｒ０７と呼ぶ。）を結合判定の対象とする場合について説明する。
【００５１】
図７は、図５のステップＳ５０６において、色平均に基づいて結合判定を行う詳細な処理手順の一例を示すフローチャートである。
まず、ステップＳ７０１において、特徴抽出部１０４は、Ｓｐ−Ｒ０６、Ｓｐ−Ｒ０７における色平均をそれぞれ以下の式（９）により算出する。
【００５２】
【数４】
2015099563.tif 000006
【００５３】
ここで、Ａｒ、Ａｇ、ＡｂはＲ、Ｇ、Ｂ各色の平均値を表し、Ｐは注目するスーパーピクセル内の画素数を表す。また、Ｍは注目するスーパーピクセル内の全画素を表す集合を表し、Ｒｉ，Ｇｉ，Ｂｉは画素ｉのＲ、Ｇ、Ｂのそれぞれの値を表す。以下、Ｓｐ−Ｒ０６の色平均をＡｒ（Ｒ０６），Ａｇ（Ｒ０６），Ａｂ（Ｒ０６）とし、Ｓｐ−Ｒ０７の色平均をＡｒ（Ｒ０７），Ａｇ（Ｒ０７），Ａｂ（Ｒ０７）として説明する。
【００５４】
次に、ステップＳ７０２において、結合方法決定部１０５は、Ｓｐ−Ｒ０６、Ｓｐ−Ｒ０７の色平均の差Ｄｉｆ＿ｃを、以下の式（１０）により算出し、その結果を閾値Ｔhcと比較する。
【００５５】
【数５】
2015099563.tif 000007
【００５６】
この比較の結果、色平均の差Ｄｉｆ＿ｃが閾値Ｔhc未満である場合は、２つのスーパーピクセルは類似するものとしてステップＳ７０３に進む。一方、ステップＳ７０２の比較の結果、色平均の差Ｄｉｆ＿ｃが閾値以上である場合は、２つのスーパーピクセルは類似していないものとして結合処理をせず、図５のステップＳ５０７に進む。
【００５７】
前述の説明では、小さい領域の結合判定に色平均を用いているが、画素数の少ない領域に対して比較的安定した特徴量でかつ低次元のものであれば特に限定されるものではない。例えば、色の分散値や、領域境界のエッジ情報、領域内のエッジ強度平均値、分散値などを用いることができる。
【００５８】
ステップＳ７０３においては、結合処理部１０６は、２つのスーパーピクセルを結合して新たな領域を生成する。本ステップの処理は、ステップＳ６０４におけるＬＢＰヒストグラムを色平均に置き換えた点以外はステップＳ６０４と同様の処理となるため、説明は省略する。図１６には、図１３のＳｐ−Ｒ０６、Ｓｐ−Ｒ０７を結合処理した結果の例を示す。図１６に示す例では、Ｓｐ−Ｒ０７よりもＳｐ−Ｒ０６の領域のサイズの方が大きいため、新たに生成される領域の領域ＩＤはＲ０６となる。なお、領域サイズ取得部１０３により、図１４に示すテーブルは結合処理により図１７に示すテーブルに更新され、同様に図１５に示すテーブルは図１８に示すテーブルに更新される。ステップＳ７０３の処理が終わると、図５のステップＳ５０７に進む。
【００５９】
図５の説明に戻り、次に、ステップＳ５０７において、全てのスーパーピクセルのペアについて結合判定を行ったか否かを判定する。この判定の結果、未処理のスーパーピクセルのペアが残っている場合にはステップＳ５０３に戻り、全てのスーパーピクセルのペアを処理した場合には図２のステップＳ２０４に進む。
【００６０】
本実施形態では、全てのスーパーピクセルについて少なくとも１回の結合処理がなされたら処理を終了するような構成としている。一方、スーパーピクセルの画素数が所定値になるまでステップＳ５０３〜Ｓ５０７までの処理を繰り返すようにしてもよい。すなわち、結合領域に対して、さらに他のスーパーピクセルもしくは他の結合領域とで結合判定を行うようにしてもよい。この場合、処理回数は多くなってしまうが、結合領域として所定サイズ以上のものだけを取得できるため、後段の認識精度をより向上させることが可能となる。
【００６１】
以上のように本実施形態によれば、２つのスーパーピクセルを結合する際に、領域内の画素数に応じて結合処理を制御するようにした。これにより、小さい領域に対しては過剰な処理を行わず、それ以外の領域に対しては精度を重視した結合処理を行うことができる。このため、精度と処理速度とのバランスを保ちながら処理することが可能となり、結果として高精度にかつ簡単に領域の認識処理を行うことができる。
【００６２】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００６３】
１０２  領域分割部
１０３  領域サイズ取得部
１０４  特徴抽出部
１０５  結合方法決定部
１０６  結合処理部
１０７  領域分類部
【図１】
2015099563.tif 000008
【図２】
2015099563.tif 000009
【図３】
2015099563.tif 000010
【図４】
2015099563.tif 000011
【図５】
2015099563.tif 000012
【図６】
2015099563.tif 000013
【図７】
2015099563.tif 000014
【図８】
2015099563.tif 000015
【図９】
2015099563.tif 000016
【図１０】
2015099563.tif 000017
【図１１】
2015099563.tif 000018
【図１２】
2015099563.tif 000019
【図１３】
2015099563.tif 000020
【図１４】
2015099563.tif 000021
【図１５】
2015099563.tif 000022
【図１６】
2015099563.tif 000023
【図１７】
2015099563.tif 000024
【図１８】
2015099563.tif 000025