(57)【要約】【課題】画像に含まれる物体の領域及び境界を抽出する精度を向上させる。【解決手段】物体領域境界推定装置は、画像データ集合に含まれる画像ごとに画像全体を小領域に分割する小領域分割部と、小領域ごとに局所領域特徴ベクトルを抽出する局所領域特徴抽出部と、小領域ごとに大域領域特徴ベクトルを抽出する大域領域特徴抽出部と、隣接する２つの小領域間の境界線ごとに局所境界特徴ベクトルを抽出する局所境界特徴抽出部と、隣接する２つの小領域間の境界線ごとに大域境界特徴ベクトルを抽出する大域境界特徴抽出部と、局所領域特徴ベクトル、大域領域特徴ベクトル、局所境界特徴ベクトル、及び大域境界特徴ベクトルについて離散化して量子化特徴ベクトルを出力する量子化部と、量子化特徴ベクトルを観測変数として領域境界多重特徴モデルの学習をするモデル推定部と、学習結果に基づいて画像における物体の領域及び境界を推定するトピック推定部を具備する。【選択図】図１
2014106565.tif 000002
【特許請求の範囲】
【請求項１】
画像データ集合に含まれる画像ごとに画像全体を小領域に分割する第１の小領域分割部と、
前記小領域ごとに第１の局所領域特徴ベクトルを抽出する第１の局所領域特徴抽出部と、
前記小領域ごとに第１の大域領域特徴ベクトルを抽出する第１の大域領域特徴抽出部と、
隣接する２つの前記小領域間の境界線ごとに第１の局所境界特徴ベクトルを抽出する第１の局所境界特徴抽出部と、
隣接する２つの前記小領域間の境界線ごとに第１の大域境界特徴ベクトルを抽出する第１の大域境界特徴抽出部と、
前記第１の局所領域特徴ベクトル、前記第１の大域領域特徴ベクトル、前記第１の局所境界特徴ベクトル、及び前記第１の大域境界特徴ベクトルについて離散化して第１の量子化特徴ベクトルを出力する第１の量子化部と、
前記第１の量子化特徴ベクトルを観測変数として領域境界多重特徴モデルの学習をする第１のモデル推定部と、
前記第１のモデル推定部の学習結果に基づいて、入力される画像データの画像における物体の領域及び境界を推定するトピック推定部と、
を具備することを特徴とする物体領域境界推定装置。
【請求項２】
請求項１に記載の物体領域境界推定装置であって、
前記トピック推定部は、
入力される画像データの画像全体を小領域に分割する第２の小領域分割部と、
前記第２の小領域分割部により分割された小領域ごとに第２の局所領域特徴ベクトルを抽出する第２の局所領域特徴抽出部と、
前記第２の小領域分割部により分割された小領域ごとに第２の大域領域特徴ベクトルを抽出する第２の大域領域特徴抽出部と、
前記第２の小領域分割部により分割された小領域のうち隣接する２つの小領域間の境界線ごとに第２の局所境界特徴ベクトルを抽出する第２の局所境界特徴抽出部と、
前記第２の小領域分割部により分割された小領域のうち隣接する２つの小領域間の境界線ごとに第２の大域境界特徴ベクトルを抽出する第２の大域境界特徴抽出部と、
前記第２の局所領域特徴ベクトル、前記第２の大域領域特徴ベクトル、前記第２の局所境界特徴ベクトル、前記第２の大域境界特徴ベクトル、及び、前記第１のモデル推定部の学習結果に基づいて、前記第２の小領域分割部により分割された各小領域と各小領域間の境界線とを分類する第２のモデル推定部と、
を備える
ことを特徴とする物体領域境界推定装置。
【請求項３】
請求項１又は請求項２のいずれか一項に記載の物体領域境界推定装置としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像から物体領域を抽出し、領域間の関係性を同時に推定する技術に関して、大量の画像データから物体領域を精度よく抽出するとともに領域間の境界線を分類する物体領域境界推定装置、及びプログラムに関する。
【背景技術】
【０００２】
画像から物体領域を推定する方法は、主に２つに大別することができる。第１の方法は、予め画像に含まれる物体で画像内をカテゴリ分類し、学習により識別器を構成し、その識別器を用いて識別する方法である（例えば、非特許文献１）。第２の方法は、物体領域にラベルがついた画像を大量に学習することによって、確率モデルを構築し、確率的に推定する方法である（例えば、非特許文献２）。
【０００３】
具体的には、第１の方法は、画像から特徴量を抽出し、特徴量を入力としてクラスごとに識別する識別器を構成する。一般的に用いられる特徴量の例としては、Ｂａｇ−ｏｆ−Ｆｅａｔｕｒｅｓなどがある。この場合、複数の画像から抽出された特徴量のクラスタリングによりコードブックを作成し、その出現頻度で画像を表現する。
【０００４】
第１の方法は、画像１枚１枚にラベルが付けられており、１枚の画像が１つの名詞で代表できるような場合に有効である。同じラベルがついた画像から得られる特徴ベクトルの分散が小さい場合には識別器が精度よく構成でき有効であるが、画像に複数の物体が含まれる場合や、同じ物体でも特徴空間でいくつかのクラスタを形成するような場合には適用が難しいという特徴がある。
【０００５】
一方、第２の方法は、物体領域のクラスごとに特徴量を学習するのではなく、ラベルのついた大量の画像集合を学習し、特徴量とラベルの発生確率のモデルを構築する。新たな入力画像に対しモデルのパラメータを推定することで画像のインデキシングを行う。
【０００６】
第２の方法は、画像に複数の物体が含まれる場合や、同じ物体でも特徴空間でいくつかのクラスタを形成するような場合に有効であり、領域分割と領域へのラベルづけを同時に行うことができる。
【先行技術文献】
【非特許文献】
【０００７】
【非特許文献１】前景と背景情報の共起表現を用いたＢａｇ−ｏｆ−ｆｅａｔｕｒｅｓ  による画像分類、永橋  伊原  藤吉、「画像の認識・理解シンポジウム（ＭＩＲＵ２０１０）」
【非特許文献２】一般物体認識の現状と今後、柳井啓司、情報処理学会論文誌  ＣＶＩＭ１９−Ｎｏ．ＳＩＧ  １６，Ｖｏｌ．４８，２００７
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、第２の方法を用いた従来技術では、画像を局所特徴の集合として、それぞれが関係性をもたない局所特徴として扱うか、或いは、画像を小領域の集合として、それぞれが関係性をもたない小領域の集合として扱っていたため、画像の領域間を関係付けることができなかった。すなわち、物体と物体の隣接関係に基づき、領域分割と領域へのラベルづけを同時に行うことができない。
【０００９】
このように、従来技術にあっては、画像内に複数の物体が含まれるような場合に、物体同士の隣接関係に基づき画像の類似性を判定することは困難である。ここで、物体同士の隣接関係とは、物体と物体との空間的な位置関係に関わる画像上の物体と物体の境界の性質（画像内で領域は隣接しているが実空間では接していない、直交する面の凸側の境界である、直交する面の凹側の境界である、など）を指す。
【００１０】
一方、従来技術による第１の方法を適用する場合には、画像内に複数の物体があり、その隣接関係が変化するような場合には、学習することができないという問題がある。また、従来技術による第２の方法を適用する場合には、複数の物体を含めたモデル推定が可能であるものの、物体同士の隣接関係を推定することはできないという問題がある。
【００１１】
本発明は、このような事情に鑑みてなされたもので、画像内において物体の領域及び物体の境界を抽出する精度を向上させることができる物体領域境界推定装置、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１２】
上記問題を解決するために、本発明の物体領域境界推定装置は、画像データ集合に含まれる画像ごとに画像全体を小領域に分割する第１の小領域分割部と、前記小領域ごとに第１の局所領域特徴ベクトルを抽出する第１の局所領域特徴抽出部と、前記小領域ごとに第１の大域領域特徴ベクトルを抽出する第１の大域領域特徴抽出部と、隣接する２つの前記小領域間の境界線ごとに第１の局所境界特徴ベクトルを抽出する第１の局所境界特徴抽出部と、隣接する２つの前記小領域間の境界線ごとに第１の大域境界特徴ベクトルを抽出する第１の大域境界特徴抽出部と、前記第１の局所領域特徴ベクトル、前記第１の大域領域特徴ベクトル、前記第１の局所境界特徴ベクトル、及び前記第１の大域境界特徴ベクトルについて離散化して第１の量子化特徴ベクトルを出力する第１の量子化部と、前記第１の量子化特徴ベクトルを観測変数として領域境界多重特徴モデルの学習をする第１のモデル推定部と、前記第１のモデル推定部の学習結果に基づいて、入力される画像データの画像における物体の領域及び境界を推定するトピック推定部と、を具備することを特徴とする。
【００１３】
また、本発明は、上記に記載の物体領域境界推定装置であって、前記トピック推定部は、入力される画像データの画像全体を小領域に分割する第２の小領域分割部と、前記第２の小領域分割部により分割された小領域ごとに第２の局所領域特徴ベクトルを抽出する第２の局所領域特徴抽出部と、前記第２の小領域分割部により分割された小領域ごとに第２の大域領域特徴ベクトルを抽出する第２の大域領域特徴抽出部と、前記第２の小領域分割部により分割された小領域のうち隣接する２つの小領域間の境界線ごとに第２の局所境界特徴ベクトルを抽出する第２の局所境界特徴抽出部と、前記第２の小領域分割部により分割された小領域のうち隣接する２つの小領域間の境界線ごとに第２の大域境界特徴ベクトルを抽出する第２の大域境界特徴抽出部と、前記第２の局所領域特徴ベクトル、前記第２の大域領域特徴ベクトル、前記第２の局所境界特徴ベクトル、前記第２の大域境界特徴ベクトル、及び、前記第１のモデル推定部の学習結果に基づいて、前記第２の小領域分割部により分割された各小領域と各小領域間の境界線とを分類する第２のモデル推定部と、を備えることを特徴とする。
【００１４】
また、上記問題を解決するために、本発明は、上記に記載の物体領域境界推定装置としてコンピュータを機能させるためのプログラムである。
【発明の効果】
【００１５】
この発明によれば、入力された画像を分割して得られる小領域及び小領域間の境界に対して、大域特徴と局所特徴との２種類を用いたモデルに基づいて学習を行うことにより、画像内において物体の領域及び物体の境界を抽出する精度を向上させることができる。
【図面の簡単な説明】
【００１６】
【図１】本実施形態における物体領域境界推定装置１の構成を示す概略ブロック図である。
【図２】同実施形態において特徴ベクトル抽出部１２０が抽出する各特徴ベクトルの関係を示す図である。
【図３】同実施形態においてモデル推定部１３が用いる領域境界多重特徴モデルの概念を示す図である。
【図４】各要素（各パラメータや各トピック）間の確率的な関係性を示すグラフィカルモデルである。
【図５】同実施形態の物体領域境界推定装置１を複数の馬の画像に対して領域トピック及び境界トピックを推定した適用例を示す図である。
【発明を実施するための形態】
【００１７】
以下、図面を参照して、本発明の一実施形態における物体領域境界推定装置１を説明する。図１は、本実施形態における物体領域境界推定装置１の構成を示す概略ブロック図である。物体領域境界推定装置１は、パラメータ学習部１０、及びトピック推定部２０を具備している。パラメータ学習部１０には、学習の対象である複数の画像を含む画像データ集合が入力される。パラメータ学習部１０は、学習結果として各種モデルパラメータを出力する。トピック推定部２０には、一枚の画像を示す画像データが入力される。トピック推定部２０は、入力された画像内の小領域及び境界線に対応付けたトピックを出力する。
【００１８】
パラメータ学習部１０は、小領域分割部１１、ビジュアルワード生成部１２、及び、モデル推定部１３を備えている。ビジュアルワード生成部１２は、特徴ベクトル抽出部１２０、量子化辞書記憶部１２５、及び量子化部１２６を有している。特徴ベクトル抽出部１２０は、局所領域特徴抽出部１２１、大域領域特徴抽出部１２２、局所境界特徴抽出部１２３、及び、大域境界特徴抽出部１２４を有している。モデル推定部１３は、領域境界多重特徴モデル記憶部１３１を有している。
【００１９】
トピック推定部２０は、小領域分割部２１、ビジュアルワード生成部２２、及び、モデル推定部２３を備えている。ビジュアルワード生成部２２は、パラメータ学習部１０におけるビジュアルワード生成部１２と同じ構成を有している。モデル推定部２３は、領域境界多重特徴モデル記憶部２３１、及びモデルパラメータ記憶部２３２を有している。
【００２０】
図１を参照して、同図に示す物体領域境界推定装置１の動作を説明する。パラメータ学習部１０において、小領域分割部１１は、入力される複数の画像データを含む画像データ集合の画像データごとに、画像データが示す入力画像を多数の小領域に分割する。この小領域は、当該小領域に撮像されている物体が同一物体あることを仮定している。小領域分割部１１は、複数の物体が同じ小領域に含まれることがないように十分に細かく入力画像を分割する。入力画像を小領域に分割する方法として、例えば、Felzenszwalbらの「Graph-based Image Segmentation」や、Liuらの「Entropy Rate Superpixel」などを用いることができる。
【００２１】
ビジュアルワード生成部１２において、特徴ベクトル抽出部１２０は、小領域分割部１１により分割された画像の各小領域に対して、局所領域特徴、大域領域特徴、局所境界特徴、及び、大域境界特徴の４種のビジュアルワードを生成する。局所領域特徴抽出部１２１、大域領域特徴抽出部１２２、局所境界特徴抽出部１２３、及び、大域境界特徴抽出部１２４は、以下に説明するような特徴ベクトルをビジュアルワードとして生成する。各特徴ベクトルの関係を図２に示す。
【００２２】
図２は、同実施形態において特徴ベクトル抽出部１２０が抽出する各特徴ベクトルの関係を示す図である。同図には、一例として、皿の上に置かれている３つのリンゴと皿の外に置かれている１つのリンゴとを含む画像に対して、小領域への分割を行った画像が示されている。また、４つのリンゴのうち、皿の外に置かれているリンゴに対して各特徴を抽出する例が示されている。
【００２３】
局所領域特徴抽出部１２１は、小領域に分割された入力画像から局所領域特徴を示す局所領域特徴ベクトルを抽出する。局所領域特徴とは、分割された小領域中からランダムに得られる特徴点から抽出される局所領域特徴ベクトルを示す。具体的には、局所領域特徴抽出部１２１は、ＳＩＦＴ（Scale Invariant Feature Transform）特徴量や、ＳＵＲＦ（Speeded Up Robust Features）特徴量といった局所勾配を表現する画像特徴量を抽出する。局所領域特徴抽出部１２１は、領域面積について一定の割合でランダムに、抽出する特徴点選択する。
【００２４】
大域領域特徴抽出部１２２は、小領域に分割された領域全体から大域領域特徴を示す大域領域特徴ベクトルを抽出する。大域領域特徴とは、分割された小領域全体の画素分布を示す特徴ベクトルである。大域領域特徴抽出部１２２は、例えば、色ヒストグラムや、重心座標、テクスチャ特徴などを用いて大域領域特徴ベクトルを抽出する。
【００２５】
局所境界特徴抽出部１２３は、分割された小領域間同士の境界線について局所境界特徴を示す局所境界特徴ベクトルを抽出する。局所領域特徴とは、分割された小領域のうち、隣接する小領域間の境界線について、境界線上でランダムに選択した点から抽出される。局所境界特徴抽出部１２３は、境界線上（エッジ上）の局所領域特徴として、例えば、「GeometricBlur」などを用いる。局所境界特徴抽出部１２３は、境界線の長さについて一定の割合でランダムに、局所境界特徴を抽出する特徴点を選択する。
【００２６】
大域境界特徴抽出部１２４は、分割された小領域同士の境界線について大域境界特徴を示す大域境界特徴ベクトルを抽出する。大域境界特徴とは、分割された小領域のうち隣接する小領域間の境界線について、隣接する２つの小領域をつなぐ１本の線全体の勾配分布を示す特徴ベクトルである。大域境界特徴抽出部１２４は、例えば、ＥＯＨ（Edge of Orientation Histograms）特徴量のような勾配ヒストグラムを用いて、大域境界特徴ベクトルを抽出する。なお、大域境界特徴抽出部１２４は、境界線の長さや傾きといった線全体に関する特徴であれば同様に用いて、大域境界特徴ベクトルを抽出することができる。
【００２７】
量子化辞書記憶部１２５には、局所領域特徴、大域領域特徴、局所境界特徴、及び、大域境界特徴それぞれの特徴ベクトルの属するクラスタと、当該クラスタを示すインデックスとが対応付けられた量子化辞書が記憶される。各特徴ベクトルの属するクラスタは、４種それぞれの特徴ベクトルについてクラスタリングを行うことにより構築される。
【００２８】
量子化部１２６は、量子化辞書記憶部１２５に記憶されている量子化辞書を用いて、特徴ベクトル抽出部１２０が抽出した４つの各特徴ベクトルを量子化する。量子化部１２６は、各特徴ベクトルが属するクラスタに対応するインデックスを、量子化されたビジュアルワードとして出力する。クラスタリングの手法として、例えば、Ｋ−ｍｅａｎｓクラスタリング（Ｋ平均法）などを用いることができる。量子化部１２６は、量子化した各特徴ベクトルである量子化ベクトルをビジュアルワードとしてモデル推定部１３に出力する。
【００２９】
モデル推定部１３は、ビジュアルワード生成部１２が出力するビジュアルワードを用いて、各小領域及び境界と、各ビジュアルワードとの確率的な関係性を示すパラメータの学習を行う。また、モデル推定部１３は、画像における物体の領域及び境界モデルを特徴づけるパラメータを学習結果として出力する。モデル推定部１３の学習に用いる領域境界多重特徴モデルの概念を図３に示す。
【００３０】
図３は、同実施形態においてモデル推定部１３が用いる領域境界多重特徴モデルの概念を示す図である。入力画像から複数の小領域が得られており、隣接する小領域間に境界が設定されている。各小領域からは１つの大域領域特徴（ｘ（ｇ））と複数の局所領域特徴（ｘ１（ｌ）,ｘ２（ｌ），ｘ３（ｌ），…）とが抽出される。小領域間の各境界からは１つの大域境界特徴（ｙ（ｇ））と複数の局所境界特徴（ｙ１（ｌ），ｙ２（ｌ），ｙ３（ｌ），…）とが抽出される。領域境界多重特徴モデル記憶部１３１は、抽出された各特徴を示すパラメータや、後述する確率的な関係性を示すパラメータを記憶する。
【００３１】
図４は、各要素（各パラメータや各トピック）間の確率的な関係性を示すグラフィカルモデルである。各小領域境界は全ての隣接領域について定義されるが、同図に示すグラフィカルモデルでは簡単のため１対の隣接小領域についての関係性を抜き出して記載している。
【００３２】
同図において、各小領域の領域トピックがＴで示され、各境界の境界トピックがＵで示されている。観測されたビジュアルワードはグレーの丸で示され、学習のために与えられるパラメータは黒い点で示されている。ビジュアルワード生成部１２が出力したビジュアルワードはそれぞれ、大域領域特徴がｘ（ｇ）、局所領域特徴がｘ（ｌ）、大域境界特徴がｙ（ｇ）、局所境界特徴がｙ（ｌ）で表されている。
【００３３】
トピックと特徴との確率的な関係性を示すパラメータとして、φ（ｇ）、φ（ｌ）、η（ｇ）、η（ｌ）がある。φ（ｇ）は大域領域特徴と領域トピックとの関係を示し、φ（ｌ）は局所領域特徴と領域トピックとの関係を示し、η（ｇ）は大域境界特徴と境界トピックとの関係を示し、η（ｌ）は局所境界特徴と境界トピックとの関係を示す。更に、画像全体の領域トピックの出現頻度を示すベクトルがθで示され、隣接する領域トピックと境界トピックとの関係性がξで示されている。
【００３４】
〜φ（ｇ）、〜φ（ｌ）、〜η（ｇ）、〜η（ｌ）、〜θ、及び〜ξはそれぞれφ（ｇ）、φ（ｌ）、η（ｇ）、η（ｌ）、θ、及びξを生成するディリクレ分布のパラメータ（事前分布）を示す。なお、図４において、θの上に「〜（チルダ）」が付されている文字を明細書においては、「〜θ」と記載する。また、他の文字（φ、ηなど）についても同様に記載する。
【００３５】
また、図４において、枠の右下に記載されたＮＩ、Ｋ、Ｌはそれぞれ画像の枚数、領域トピック数、境界トピック数を示している。ＮＩ、Ｋ、Ｌは枠の内部がその数だけ複数存在していることを意味する。破線で囲まれた領域境界間の関係性も画像内に複数存在している。
【００３６】
こうした確率モデルは生成モデルと呼ばれる。以下、確率モデルにおける生成過程について説明する。まず、パラメータ〜θ、〜φ、〜η、〜ξをもつディリクレ分布θ、φ、η、ξが生成される。θは各小領域がそれぞれのラベルに属する確率を示している。確率θに応じて領域ラベルＴが生成される。次に、パラメータφ（ｇ）、φ（ｌ）は各領域ラベルに応じて各小領域のビジュアルワードが生成される確率を示している。パラメータφ（ｇ）、φ（ｌ）と、領域ラベルとに従って小領域のビジュアルワードｘ（ｇ）、ｘ（ｌ）が生成される。
【００３７】
次に、パラメータξは隣接する領域ラベルの組み合わせに応じた境界ラベルの出現確率である。パラメータξと隣接する領域ラベルの組み合わせとによって境界ラベルが生成される。最後に境界ラベルに応じた境界特徴の出現確率を示すパラメータη（ｇ）、η（ｌ）によって境界のビジュアルワードｙ（ｇ）、ｙ（ｌ）が生成される。
【００３８】
このモデルに従って各変数の事後分布を求め、パラメータφ、η、ξを学習する。各変数の事後分布を求める手法として、John Winnらの提案する「Variational Message Passing」を用いる。「Variational Message Passing」は、変分ベイズ法と呼ばれる推論の枠組みにおいてグラフィカルモデルの各ノードについて隣接ノードに期待値を伝搬させることにより、各ノードの事後分布を更新する手法である。「Variational Message Passing」は、指数型分布属に属する確率分布によって記述される確率モデルに対して汎用的に適用することができる。
【００３９】
「Variational Message Passing」に従うとパラメータ学習部１０のモデルにおける各変数の更新式は以下のようになる。領域トピックｋが出現する頻度を示すθｋの更新は次式（１）に従う。
【００４０】
【数１】
2014106565.tif 000003
【００４１】
式（１）において、＜・＞は変数の期待値を示し、ψ（・）はディガンマ関数を示す。ｔｒｋはｒ番目の領域Ｔｒがトピックｋとなる確率を示しており、Ｎｒは画像内の小領域の数を示している。領域トピックＴは、小領域ｒがトピックｋとなる確率ｔｒｋによって表現され、次式（２）で更新される。
【００４２】
【数２】
2014106565.tif 000004
【００４３】
式（２）において、β（ｒ）は領域ｒ内の局所領域特徴のインデックスを示し、ε（ｒ）は領域ｒに隣接する領域のインデックスを示す。また、（ｒ，ｓ）は領域ｒと領域ｓとの境界を示す。また、ξｋｋ’ｌはトピックｋとトピックｋ’との領域の間の境界がトピックｌとなる確率を示す。
【００４４】
同様に、境界トピックＵは境界ｂがトピックｌとなる確率ｕｂｌによって表現され、次式（３）で更新される。
【００４５】
【数３】
2014106565.tif 000005
【００４６】
ここで、境界ｂは領域ｒ１と領域ｒ２との境界であり、β（ｂ）は境界ｂ内の局所境界特徴のインデックスを示す。φ（ｇ）、φ（ｌ）、η（ｇ）、η（ｌ）は各ビジュアルワードと各トピックの関係から同様の式によって更新されるため、φ（ｇ）の更新式を示してφ（ｌ）、η（ｇ）、η（ｌ）の更新式については記載を省略する。次式（４）は、φ（ｇ）の更新式である。
【００４７】
【数４】
2014106565.tif 000006
【００４８】
式（４）において、δ（ａ，ｂ）はａ＝ｂのときのみ１となるディラックのδ関数を示し、Ｖはビジュアルワードの取り得る最大値を示す。
【００４９】
ξは次式（５）で更新される。ここで、（ｒ，ｓ）は領域ｒと領域ｓとの境界を示し、Ｎｂは画像内の境界数を示す。
【００５０】
【数５】
2014106565.tif 000007
【００５１】
各ノードについて十分な回数の更新を繰り返して行い、得られたφ、η、ξの事後分布をトピック推定部２０において用いるモデルパラメータとする。すなわち、パラメータ学習部１０が算出したパラメータφ、η、ξは、トピック推定部２０が備えるモデルパラメータ記憶部２３２に記憶される。
【００５２】
続いて、トピック推定部２０における動作について説明する。トピック推定部２０には、トピックを算出する対象の画像データが入力される。小領域分割部２１は、パラメータ学習部１０における小領域分割部１１と同様に、入力される画像データが示す画像を多数の小領域に分割する。ビジュアルワード生成部２２は、パラメータ学習部１０におけるビジュアルワード生成部１２と同様に、小領域分割部２１により分割された画像に対して、局所領域特徴、大域領域特徴、局所境界特徴、及び、大域境界特徴の４種のビジュアルワードを生成する。ビジュアルワード生成部２２はビジュアルワード生成部１２と同じ構成を有しているので、ビジュアルワード生成部２２の構成についての説明を省略する。
【００５３】
モデル推定部２３は、ビジュアルワード生成部２２が抽出するビジュアルワードを用いて、各小領域及び境界に対するトピックを出力する。領域境界多重特徴モデル記憶部２３１には、ビジュアルワード生成部２２が抽出した各特徴を示すビジュアルワードをパラメータとして記憶する。モデルパラメータ記憶部２３２は、パラメータ学習部１０が出力するφ、η、ξの事後分布を、事前分布を示す〜φ、〜η、〜ξとして記憶する。すなわち、モデル推定部２３は、パラメータ学習部１０による学習結果（φ、η、ξの事後分布）に基づいて、入力された画像に対する領域トピックＴ及び境界トピックＵを算出する。
【００５４】
また、モデル推定部２３は、パラメータ学習部１０と同様に、「Variational Message Passing」を適用することにより、各変数（φ（ｇ）、φ（ｌ）、η（ｇ）、η（ｌ））の事後分布を算出し、それらの値を最大化することにより領域トピックＴ及び境界トピックＵを算出する。各変数を更新する際に用いる式は、パラメータ学習部１０におけるモデル推定部１３の説明に用いた式と同じである。モデル推定部２３は、各ノードについて十分な回数の更新を繰り返し、最も事後確率の高い値を推定トピックとして出力する。
【００５５】
以上説明したように、パラメータ学習部１０では、小領域分割部１１により分割された小領域に対して、ビジュアルワード生成部１２が局所領域特徴、大域領域特徴、局所境界特徴、及び、大域境界特徴の４種のビジュアルワードを生成する。ビジュアルワードは、画像特徴をクラスタリングによっていくつかの離散的な値に量子化したものである。このビジュアルワードを用いた表現によって離散分布を用いた確率モデルによる画像表現が可能になる。ビジュアルワード生成部１２は領域と境界とに対して２種類ずつ（大域領域特徴と局所領域特徴、及び、大域境界特徴と局所境界特徴）のビジュアルワードを生成する。モデル推定部１３は、それら同一領域及び境界から得られる複数のビジュアルワードに同一のトピックを付与することにより、ビジュアルワードとトピックとの関係において同一物体、同一境界線を同一トピックとして学習することができる。
【００５６】
このように、モデル推定部１３において、境界特徴を大域境界特徴と局所境界特徴とに分け、更に、一つの境界から複数の局所境界特徴を抽出し、それらを同一境界トピックとして学習する。モデル推定部１３は、このような領域境界多重特徴モデルを用いた学習により、物体の輪郭や内部のエッジ、稜線といった同様の意味を有する境界線を精度よく分類することができる。換言すると、モデル推定部１３は、ビジュアルワード生成部１２が出力するビジュアルワード（各特徴ベクトルを量子化した量子化ベクトル）を観測変数として領域境界多重特徴モデルの学習を行う。
【００５７】
また、上述のような特徴を有するモデル推定部１３が学習結果として出力するパラメータであって物体の領域及び境界のモデルを特徴づけるパラメータ（φ、η、ξの事後分布）を用いることにより、トピック推定部２０は入力される画像における領域及び境界を精度よく分類することができる。
【００５８】
図５は、同実施形態の物体領域境界推定装置１を複数の馬の画像に対して領域トピック及び境界トピックを推定した適用例を示す図である。これは、馬の画像３００枚を画像データ集合としてパラメータ学習部１０に入力し、パラメータ学習部１０により得られたパラメータに基づいてトピック推定部２０が推定した領域トピック及び境界トピックを示している。同一の領域トピックを同じ濃淡パターンで示し、同一の境界トピックを同じ濃淡パターンで示している。同図に示すように、２種類の馬の領域と馬の輪郭とが同一トピックとして抽出されていることがわかる。
【００５９】
なお、図１における各処理部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ実行することにより、上述の学習や、領域トピック及び境界トピックの算出を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。更に「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。
【００６０】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、或いは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。更に、前述した機能をコンピュータシステムに既に記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【００６１】
以上、図面を参照して本発明の一実施形態を説明したが、上記の実施形態は本発明の例示に過ぎず、本発明が上記実施形態に限定されるものではないことは明らかである。従って、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行ってもよい。
【００６２】
例えば、図１における小領域分割部１１と小領域分割部２１とは同じ構成であり、ビジュアルワード生成部１２とビジュアルワード生成部２２とは同じ構成である。そこで、物体領域境界推定装置１は、小領域分割部１１、ビジュアルワード生成部１２、モデル推定部１３、及び、モデル推定部２３を具備し、学習の際にはビジュアルワード生成部１２がモデル推定部１３にビジュアルワードを出力し、領域トピック及び境界トピックを算出する際にはビジュアルワード生成部１２がモデル推定部２３にビジュアルワードを出力するようにしてもよい。
【産業上の利用可能性】
【００６３】
画像から物体領域を抽出し領域間の関係性を同時に推定する技術に関して、大量の画像データから物体領域を精度よく抽出するとともに領域間の境界線を分類する画像処理が不可欠な用途にも適用できる。
【符号の説明】
【００６４】
１…物体領域境界推定装置、１０…パラメータ学習部、１１…小領域分割部、１２…ビジュアルワード生成部、１２０…特徴ベクトル抽出部、１２１…局所領域特徴抽出部、１２２…大域領域特徴抽出部、１２３…局所境界特徴抽出部、１２４…大域境界特徴抽出部、１２５…量子化辞書記憶部、１２６…量子化部、１３…モデル推定部、１３１…領域境界多重特徴モデル記憶部、２０…トピック推定部、２１…小領域分割部、２２…ビジュアルワード生成部、２３…モデル推定部、２３１…領域境界多重特徴モデル記憶部、２３２…モデルパラメータ記憶部
【図１】
2014106565.tif 000008
【図３】
2014106565.tif 000009
【図４】
2014106565.tif 000010
【図２】
2014106565.tif 000011
【図５】
2014106565.tif 000012