(57)【要約】【課題】画像中の特徴的な領域を発見することが可能な画像表現を得るための画像辞書を構成することができる。【解決手段】部分領域分割部３０が、入力された画像を部分領域に分割し、分類部３４が、全ての部分領域を同数の２つの集合、Ｄ１、Ｄ２に分割し、Ｄ１の部分領域集合の部分領域の各々をグループに分類し、変換部３６が、部分領域の各々の特徴量に対して２次元フーリエ変換を施すことにより、部分領域の特徴量の各周波数成分を表す変換部分領域を取得し、識別器学習部３８が、グループに分類されたＤ１の変換部分領域が表す周波数成分を正例とし、グループに分類されなかったＤ１の変換部分領域が表す周波数成分を負例として、第１識別器を学習すると共に、各周波数成分に対して学習された第１識別器に対して、２次元逆フーリエ変換を施し、グループの各々について、第２識別器を取得し、画像辞書として出力する。【選択図】図１
2016018325.tif 000002
【特許請求の範囲】
【請求項１】
部分領域分割部と、特徴量抽出部と、分類部と、変換部と、識別器学習部と、を含む画像辞書構成装置における画像辞書構成方法であって、
前記部分領域分割部が、入力された一つ以上の画像の各々を、一つ以上の部分領域に分割するステップと、
前記特徴量抽出部が、前記部分領域分割部によって分割された前記部分領域からなる部分領域の集合に含まれる前記部分領域の各々について、特徴量を抽出するステップと、
前記分類部が、前記特徴量抽出部により抽出した前記部分領域の各々の特徴量に関する類似度に基づいて、前記部分領域の集合の前記部分領域の各々を一つ以上のグループのうちのいずれかのグループに分類するステップと、
前記変換部が、部分領域の集合に含まれる前記部分領域の各々について、前記部分領域の特徴量に対して２次元フーリエ変換を施すことにより、前記部分領域の特徴量の各周波数成分を表す変換部分領域を取得するステップと、
前記識別器学習部が、前記グループの各々について、各周波数成分に対し、前記分類部により前記グループに分類された前記部分領域の各々の前記変換部分領域が表す前記周波数成分を正例とし、前記グループに分類されなかった前記部分領域の各々の前記変換部分領域が表す前記周波数成分を負例として、前記変換部分領域が表す前記周波数成分に基づいて、前記変換部分領域に対応する部分領域が前記グループに属するか否かを識別するための第１識別器を学習すると共に、各周波数成分に対して学習された前記第１識別器に対して、２次元フーリエ逆変換を施し、前記部分領域の特徴量に基づいて、前記部分領域が前記グループに属するか否かを識別するための第２識別器を取得し、前記グループの各々について取得した前記第２識別器を、画像辞書として出力するステップと、
を含む画像辞書構成方法。
【請求項２】
入力された一つ以上の画像の各々を、一つ以上の部分領域に分割する部分領域分割部と、
前記部分領域分割部によって分割された前記部分領域からなる部分領域の集合に含まれる前記部分領域の各々について、特徴量を抽出する特徴量抽出部と、
前記特徴量抽出部により抽出した前記部分領域の各々の特徴量に関する類似度に基づいて、前記部分領域の集合の前記部分領域の各々を一つ以上のグループのうちのいずれかのグループに分類する分類部と、
部分領域の集合に含まれる前記部分領域の各々について、前記部分領域の特徴量に対して２次元フーリエ変換を施すことにより、前記部分領域の特徴量の各周波数成分を表す変換部分領域を取得する変換部と、
前記グループの各々について、各周波数成分に対し、前記分類部により前記グループに分類された前記部分領域の各々の前記変換部分領域が表す前記周波数成分を正例とし、前記グループに分類されなかった前記部分領域の各々の前記変換部分領域が表す前記周波数成分を負例として、前記変換部分領域が表す前記周波数成分に基づいて、前記変換部分領域に対応する部分領域が前記グループに属するか否かを識別するための第１識別器を学習すると共に、各周波数成分に対して学習された前記第１識別器に対して、２次元フーリエ逆変換を施し、前記部分領域の特徴量に基づいて、前記部分領域が前記グループに属するか否かを識別するための第２識別器を取得し、前記グループの各々について取得した前記第２識別器を、画像辞書として出力する識別器学習部と、
を含む画像辞書構成装置。
【請求項３】
コンピュータに、請求項１記載の画像辞書構成方法を構成する各ステップを実行させるためのプログラム。
【請求項４】
部分領域分割部と、特徴量抽出部と、表現部と、を含む画像表現装置における画像表現方法であって、
前記部分領域分割部が、入力された画像を一つ以上の部分領域に分割するステップと、
前記特徴量抽出部が、前記部分領域の各々について、特徴量を抽出するステップと、
前記表現部が、前記特徴量抽出部により抽出した前記部分領域の各々の特徴量と、請求項１記載の画像辞書構成方法によって出力された前記画像辞書とに基づいて、前記部分領域の各々について、前記部分領域が前記グループの各々に帰属する確度を算出し、前記算出された確度に基づいて、前記部分領域が前記グループのいずれかに属するか、又は前記グループのいずれにも属さないかを判定し、前記判定の結果に基づいて、前記グループの各々にについて前記グループに属すると判定された頻度を表すヒストグラムを、前記入力された画像の画像表現として出力するステップと、
を含む画像表現方法。
【請求項５】
入力された画像を一つ以上の部分領域に分割する部分領域分割部と、
前記部分領域の各々について、特徴量を抽出する特徴量抽出部と、
前記特徴量抽出部により抽出した前記部分領域の各々の特徴量と、請求項１記載の画像辞書構成方法によって出力された前記画像辞書とに基づいて、前記部分領域の各々について、前記部分領域が前記グループの各々に帰属する確度を算出し、前記算出された確度に基づいて、前記部分領域が前記グループのいずれかに属するか、又は前記グループのいずれにも属さないかを判定し、前記判定の結果に基づいて、前記グループの各々にについて前記グループに属すると判定された頻度を表すヒストグラムを、前記入力された画像の画像表現として出力する表現部と、
を含む画像表現装置。
【請求項６】
コンピュータに、請求項４記載の画像表現方法を構成する各ステップを実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像辞書構成方法、画像表現方法、装置、及びプログラムに係り、特に、画像の画像表現を得るための画像辞書を構成する画像辞書構成方法、装置、及びプログラム、並びに、画像の画像表現を求める画像表現方法、装置、及びプログラムに関する。
【背景技術】
【０００２】
通信環境やコンピュータ、分散処理基盤技術の高度・高品質化により、ネットワークに流通する画像、映像コンテンツの数は膨大なものとなっている。あるサイトでは、日々３．５億の画像がアップロードされていると報告されており、また、あるサイトでは、１分当たり６４時間分の映像が新規に公開されているとの報告もある。
【０００３】
このような膨大な量のコンテンツは、利用者にとっては豊富な情報源となる一方で、閲覧したいコンテンツに素早くアクセスすることがますます困難になっているという問題ももたらしている。このような流れの中、閲覧・視聴したいコンテンツを効率的に探し出すためのメディア解析技術への要望がますます高まってきている。
【０００４】
以降画像に限って述べるが、映像は、連続する一連の画像によって構成されているため、本明細書に記載の範囲で、映像にもそのまま適用することができることは言うまでもない。
【０００５】
画像解析の最初のステップは、画像表現を得ること、すなわち、画像を数値によって比較可能なベクトルとして記述することである。こうすることで、例えば画像を分類する場合は、画像表現によって生成される空間の内、ある特定の領域にあるものを同じカテゴリに分類することができる。あるいは画像検索の場合、ある画像をクエリとして与えたとき、画像表現によって画像の類似度を評価し、類似画像を検索することができる。そのほか、画像推薦においても利用者がこれまでに閲覧した／閲覧している画像と類似する画像を発見してこれを推薦するし、沢山の画像をより少数の代表画像にまとめるような場合においても、類似した画像を発見して省くような処理を実行する。いずれの場合においても、画像表現が必要となる。
【０００６】
以上利用形態を鑑みるに、画像表現に対する要件として、画像中の被写体やシーンを捉えた表現となっていることが好ましい。また、画像表現を得る上で必要なコストも小さいことが好ましい。
【０００７】
過去、様々な画像表現方法が考案されてきている。特許文献１記載の技術では、画像の輝度や色、テクスチャ（模様）、エッジ等について、画像全域に渡る統計をヒストグラム等として求め、これを画像表現とする方法が開示されている。
【０００８】
また、有効な画像表現を得る上で、事前にモデルとなる辞書を構成しておき、この辞書に基づいて画像表現を求める方法も発明されている。非特許文献１は、一般にＢａｇ−ｏｆ−Ｗｏｒｄｓ、Ｂａｇ−ｏｆ−Ｋｅｙ−Ｐｏｉｎｔｓ等として知られる技術が開示されている。この技術では、画像を微小な領域の集合と見做し、その領域の統計によって画像を表現する。まず、画像中の特にコントラストの強い微小な領域の集合を求め、輝度勾配によって記述した後、これらを量子化（符号化）することによって辞書（コードブック）を得る。画像を表現する際には、画像全域に渡りコントラストの強い微小な領域の輝度勾配を求め、辞書に基づいてこれらを符号化する。この後、各符号の出現頻度を求め、ヒストグラム化することで、これを画像表現とする。非特許文献２には、被写体や風景を特徴的に表すような領域を探し出し、これによって画像を表現する方法が開示されている。この方法では、まず以下（１）〜（７）の手続きによって被写体や風景を特徴的に表すような領域を捉え、こうした領域の集合として辞書を構成する。
【０００９】
入力は画像集合Ｄ、及び、それとは異なる物体やシーンを撮影した画像集合Ｎとする。
【００１０】
（１）Ｄ、Ｎをそれぞれ同枚数半分に分割する。それぞれＤ１、Ｄ２、及び、Ｎ１、Ｎ２と表す。
【００１１】
（２）Ｄ及びＮに含まれる画像それぞれから、複数個（例えば１枚あたり１５０個）の部分領域を抽出する。部分領域のサイズは例えば３２ピクセル×３２ピクセルなどとし、部分領域を抽出する画像内の位置はランダムに決定する。Ｄ１、Ｎ１から抽出された部分領域の集合をそれぞれＳ、Ｍと表す。
【００１２】
（３）Ｓに対して、Ｋ−ｍｅａｎｓクラスタリングを適用する。これにより、見た目の類似する部分領域同士をまとめることができる。得られた部分領域クラスタの集合をＫｉ（ｉ＝１、・・・、Ｋ）と表す。Ｋの値は、例えばＳに含まれる部分領域の総数の１／４などとすればよい。
【００１３】
（４）要素数が３以上となる部分領域クラスタＫｉ（ｉ＝１、・・・、Ｋ）に対して、以下（４−１）から（４−２）の処理を実行する。
【００１４】
（４−１）Ｋｉに含まれる部分領域を正例、Ｍに含まれる部分領域を負例として、Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ（ＳＶＭ）を学習する。これによって、Ｋｉに含まれるような部分領域に対して発火（すなわち、高い正の値を出力）するようなＳＶＭを得ることができる。実際の学習は次の２ステップによって実行される。
【００１５】
（４−１−あ）負例の内、特に識別が困難である識別境界付近に存在するような負例だけを選択する。
【００１６】
（４−１−い）選択された負例と正例をそれぞれ誤りデータ、正解データとしてＳＶＭを学習する。
【００１７】
上記（４−１−あ）と（４−１−い）を一定回数繰り返す（非特許文献２では１２回を推奨している）。繰り返しの後、クラスタＫｉに対して学習されたＳＶＭをＣｉと表す。
【００１８】
（４−２）Ｄ２に含まれる部分領域に対してＣｉ（学習済みＳＶＭ）を適用し、内、最も高い正の値を取るｍ個の部分領域の集合を新たなＫｉとする。ここで、ｍ＝５などとすればよい。
【００１９】
（５）終了条件が満たされていなければＤ１とＤ２、Ｎ１とＮ２を入れ替えて（４）に戻り、そうでなければ（６）に進む。
【００２０】
（６）Ｃｉ（ｉ＝１、・・・、Ｋ）のそれぞれに対して、その良さを表すスコアを求める。ここで、スコアは次の純度スコアと弁別性スコアの積により求める。純度スコアはＣｉがどれだけ類似した部分領域を検出できるかを表し、Ｋｉに含まれる部分領域に対して、Ｃｉによる出力値が大きいもの上位ｒ個の出力値の総和として求める。また、弁別性スコアは、Ｃｉがどれだけ弁別的・排他的な部分領域を検出できるかを表し、Ｄ及びＮに含まれる部分領域対してＣｉを適用し、Ｄに含まれる部分領域の内、正の値を取った部分領域数と、Ｄ及びＮに含まれる部分領域の内、正の値を取った部分領域数との比によって求める。
【００２１】
（７）最後に、スコア上位ｎ個の識別器に対応するクラスタに含まれる部分領域を辞書（コードブック）として出力する。ただし、ｎは予め与える定数であり、例えば１０００等とする。
【００２２】
得られた辞書を用い、新たな画像が入力された際、辞書に登録された部分領域と類似した部分領域が出現する頻度を求め、ヒストグラム化することで画像を表現する。
【先行技術文献】
【特許文献】
【００２３】
【特許文献１】特開２０１４−６７１７４号公報
【非特許文献】
【００２４】
【非特許文献１】J. Sivic and A. Zisserman、「Video Google: A Text Retrieval Approach to Object Matching in Videos」、In Proc. of IEEE International Conference on Computer Vision, 2003年、pp.1470-1477
【非特許文献２】S. Singh、Saurabh Singh、A. Gupta、and Alexei A. Efros、「Unsupervised Discovery of Mid-Level Discriminative Patches」、In Proceedings of the European Conference on Computer Vision、2005年、pp.239-248
【発明の概要】
【発明が解決しようとする課題】
【００２５】
一般に、画像を表現する上では、これに写る被写体やシーンの特徴を明確に捉えたものであることが好ましい。この観点においては、前記先行技術は、以下に示す問題があった。
【００２６】
特許文献１及び非特許文献１記載の技術は、画像全体から抽出されたごく低次の物理量によって表現する。しかしながら、こういった低次の物理量は、必ずしも被写体やシーンのような高次の概念を表現するに適切ではなく、実用的な精度が得られないという問題があった。
【００２７】
非特許文献２記載の技術は、弁別的な部分領域によって構成される辞書を得ることができ、これによって、被写体やシーンを特徴的に表すようなパーツとなる領域の獲得が期待できる点で他の方法よりも有効性が高い。一方で、このような辞書を得る手続きは非常に繁雑であり、特に下記の（Ａ）及び（Ｂ）の点においてコストが掛かる。
【００２８】
（Ａ）入力として、画像集合Ｄの他に、それとは異なる物体やシーンを撮影した画像集合Ｎが必要となる。一般に、画像の収集には人手による多くの時間と手間を要することから、実用上は少ない画像から辞書を獲得できることが好ましい。
【００２９】
（Ｂ）手続き（４−１）において、負例の選択とＳＶＭの学習を繰り返す必要がある。この手続きには膨大な計算時間を要する。
【００３０】
以上のことより、従来の発明は、画像表現に対する要件である、画像中の被写体やシーンを捉えた表現であること、及び、小さいコストで画像表現を得られることの双方を満たすような画像表現技術ではなかった。
【００３１】
本発明は、上記問題点を解決するために成されたものであり、効率よく、画像中の特徴的な領域を発見することが可能な画像表現を得るための画像辞書を構成することができる画像辞書構成方法、装置、及びプログラムを提供することを目的とする。
【００３２】
また、画像中の特徴的な領域を発見することが可能な画像表現を求めることができる画像表現方法、装置、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００３３】
上記目的を達成するために、第１の発明に係る画像辞書構成方法は、部分領域分割部と、特徴量抽出部と、分類部と、変換部と、識別器学習部と、を含む画像辞書構成装置における画像辞書構成方法であって、前記部分領域分割部が、入力された一つ以上の画像の各々を、一つ以上の部分領域に分割するステップと、前記特徴量抽出部が、前記部分領域分割部によって分割された前記部分領域からなる部分領域の集合に含まれる前記部分領域の各々について、特徴量を抽出するステップと、前記分類部が、前記特徴量抽出部により抽出した前記部分領域の各々の特徴量に関する類似度に基づいて、前記部分領域の集合の前記部分領域の各々を一つ以上のグループのうちのいずれかのグループに分類するステップと、前記変換部が、部分領域の集合に含まれる前記部分領域の各々について、前記部分領域の特徴量に対して２次元フーリエ変換を施すことにより、前記部分領域の特徴量の各周波数成分を表す変換部分領域を取得するステップと、前記識別器学習部が、前記グループの各々について、各周波数成分に対し、前記分類部により前記グループに分類された前記部分領域の各々の前記変換部分領域が表す前記周波数成分を正例とし、前記グループに分類されなかった前記部分領域の各々の前記変換部分領域が表す前記周波数成分を負例として、前記変換部分領域が表す前記周波数成分に基づいて、前記変換部分領域に対応する部分領域が前記グループに属するか否かを識別するための第１識別器を学習すると共に、各周波数成分に対して学習された前記第１識別器に対して、２次元フーリエ逆変換を施し、前記部分領域の特徴量に基づいて、前記部分領域が前記グループに属するか否かを識別するための第２識別器を取得し、前記グループの各々について取得した前記第２識別器を、画像辞書として出力するステップと、を含んで実行することを特徴とする。
【００３４】
また、第１の発明に係る画像辞書構成装置は、入力された一つ以上の画像の各々を、一つ以上の部分領域に分割する部分領域分割部と、前記部分領域分割部によって分割された前記部分領域からなる部分領域の集合に含まれる前記部分領域の各々について、特徴量を抽出する特徴量抽出部と、前記特徴量抽出部により抽出した前記部分領域の各々の特徴量に関する類似度に基づいて、前記部分領域の集合の前記部分領域の各々を一つ以上のグループのうちのいずれかのグループに分類する分類部と、部分領域の集合に含まれる前記部分領域の各々について、前記部分領域の特徴量に対して２次元フーリエ変換を施すことにより、前記部分領域の特徴量の各周波数成分を表す変換部分領域を取得する変換部と、前記グループの各々について、各周波数成分に対し、前記分類部により前記グループに分類された前記部分領域の各々の前記変換部分領域が表す前記周波数成分を正例とし、前記グループに分類されなかった前記部分領域の各々の前記変換部分領域が表す前記周波数成分を負例として、前記変換部分領域が表す前記周波数成分に基づいて、前記変換部分領域に対応する部分領域が前記グループに属するか否かを識別するための第１識別器を学習すると共に、各周波数成分に対して学習された前記第１識別器に対して、２次元フーリエ逆変換を施し、前記部分領域の特徴量に基づいて、前記部分領域が前記グループに属するか否かを識別するための第２識別器を取得し、前記グループの各々について取得した前記第２識別器を、画像辞書として出力する識別器学習部と、を含んで構成されている。
【００３５】
また、第１の発明に係るプログラムは、コンピュータに、上記第１の発明に係る画像辞書構成方法を構成する各ステップを実行させるためのプログラムである。
【００３６】
また、第２の発明に係る画像表現方法は、部分領域分割部と、特徴量抽出部と、表現部と、を含む画像表現装置における画像表現方法であって、前記部分領域分割部が、入力された画像を一つ以上の部分領域に分割するステップと、前記特徴量抽出部が、前記部分領域の各々について、特徴量を抽出するステップと、前記表現部が、前記特徴量抽出部により抽出した前記部分領域の各々の特徴量と、請求項１記載の画像辞書構成方法によって出力された前記画像辞書とに基づいて、前記部分領域の各々について、前記部分領域が前記グループの各々に帰属する確度を算出し、前記算出された確度に基づいて、前記部分領域が前記グループのいずれかに属するか、又は前記グループのいずれにも属さないかを判定し、前記判定の結果に基づいて、前記グループの各々にについて前記グループに属すると判定された頻度を表すヒストグラムを、前記入力された画像の画像表現として出力するステップと、を含んで実行することを特徴とする。
【００３７】
また、第２の発明に係る画像表現装置は、入力された画像を一つ以上の部分領域に分割する部分領域分割部と、前記部分領域の各々について、特徴量を抽出する特徴量抽出部と、前記特徴量抽出部により抽出した前記部分領域の各々の特徴量と、請求項１記載の画像辞書構成方法によって出力された前記画像辞書とに基づいて、前記部分領域の各々について、前記部分領域が前記グループの各々に帰属する確度を算出し、前記算出された確度に基づいて、前記部分領域が前記グループのいずれかに属するか、又は前記グループのいずれにも属さないかを判定し、前記判定の結果に基づいて、前記グループの各々にについて前記グループに属すると判定された頻度を表すヒストグラムを、前記入力された画像の画像表現として出力する表現部と、を含んで構成されている。
【００３８】
また、第２の発明に係るプログラムは、コンピュータに、上記第２の発明に係る画像表現方法を構成する各ステップを実行させるためのプログラムである。
【発明の効果】
【００３９】
本発明の画像辞書構成方法、装置、及びプログラムによれば、入力された画像を部分領域に分割し、部分領域集合の部分領域の各々をグループに分類し、部分領域の各々の特徴量に対して２次元フーリエ変換を施すことにより、部分領域の特徴量の各周波数成分を表す変換部分領域を取得し、グループに分類された変換部分領域が表す周波数成分を正例とし、グループに分類されなかった変換部分領域が表す周波数成分を負例として、第１識別器を学習すると共に、各周波数成分に対して学習された第１識別器に対して、２次元逆フーリエ変換を施し、グループの各々について、第２識別器を取得し、画像辞書として出力することで、効率よく、画像中の特徴的な領域を発見することが可能な画像表現を得るための画像辞書を構成することができる、という効果が得られる。
【００４０】
また、本発明の画像表現方法、装置、及びプログラムによれば、入力された画像を部分領域に分割し、部分領域の各々の特徴量と、画像辞書とに基づいて、部分領域の各々について、グループのいずれかに属するか、グループのいずれにも属さないかを判定し、判定の結果に基づいて、グループの各々についてグループに属すると判定された頻度を表すヒストグラムを、入力された画像の画像表現として出力することにより、画像中の特徴的な領域を発見することが可能な画像表現を求めることができる、という効果が得られる。
【図面の簡単な説明】
【００４１】
【図１】本発明の実施の形態に係る画像辞書構成装置の構成を示すブロック図である。
【図２】本発明の実施の形態に係る画像表現装置の構成を示すブロック図である。
【図３】本発明の実施の形態に係る画像辞書構成装置における画像辞書構成処理ルーチンを示すフローチャートである。
【図４】本発明の実施の形態に係る画像表現装置における画像表現処理ルーチンを示すフローチャートである。
【発明を実施するための形態】
【００４２】
以下、図面を参照して本発明の実施の形態を詳細に説明する。
【００４３】
＜本発明の実施の形態に係る画像辞書構成装置の構成＞
【００４４】
まず、本発明の実施の形態に係る画像辞書構成装置の構成について説明する。図１に示すように、本発明の実施の形態に係る画像辞書構成装置１００は、ＣＰＵと、ＲＡＭと、後述する画像辞書構成処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。この画像辞書構成装置１００は、機能的には図１に示すように画像データベース１０と、演算部２０と、画像辞書５０とを備えている。
【００４５】
画像データベース１０には、少なくとも画像自体、あるいは、当該画像ファイルの所在を一意に示すアドレスが格納されているものとする。その他、メタデータとして、例えば画像の内容を表現するもの（画像のタイトル、概要文、キーワード）、画像のフォーマットに関するもの（画像サイズや圧縮形式）などを含んでいてもよい。また、画像データベース１０は、いわゆるＲＤＢＭＳ（Ｒｅｌａｔｉｏｎａｌ Ｄａｔａｂａｓｅ Ｍａｎａｇｅｍｅｎｔ Ｓｙｓｔｅｍ）などで構成されているものとしてもよい。なお、画像データベース１０は、画像辞書構成装置１００の内部にあっても外部にあっても構わず、通信手段は任意の公知ものを用いることができる。さらに、画像辞書構成装置１００が一つ以上の画像を入力として受信できる限り、必ずしもデータベースでなくとも構わない。本実施形態においては、画像データベース１０が外部にあるものとして、通信手段は、インターネット、ＴＣＰ／ＩＰにより通信するよう接続されているものとする。
【００４６】
画像辞書構成装置１００が備える各部及び画像データベース１０は、演算処理装置、記憶装置等を備えたコンピュータやサーバ等により構成して、各部の処理がプログラムによって実行されるものとしてもよい。このプログラムは画像辞書構成装置１００が備える記憶装置に記憶されており、磁気ディスク、光ディスク、半導体メモリ等の記録媒体に記録することも、ネットワークを通して提供することも可能である。もちろん、その他いかなる構成要素についても、単一のコンピュータやサーバによって実現しなければならないものではなく、ネットワークによって接続された複数のコンピュータに分散して実現してもよい。
【００４７】
演算部２０は、部分領域分割部３０と、特徴量抽出部３２と、分類部３４と、変換部３６と、識別器学習部３８とを含んで構成されている。
【００４８】
部分領域分割部３０は、画像データベース１０から入力された一つ以上の画像を読み込み、各画像を一つ以上の部分領域に分割、選定してこれらを特徴量抽出部３２に出力する。
【００４９】
以下、部分領域分割部３０における部分領域抽出処理について詳述する。本処理は、画像データベース１０に格納された画像全てに対して実施されるが、全ての画像に対して同じ処理が実行されるので、ここでは１枚の画像に対する処理のみについて説明する。
【００５０】
部分領域抽出処理では、画像全体の中から、その一部領域だけを切り出して抽出する。具体的には、部分領域数と部分領域サイズを指定し、一定間隔で部分領域を抽出していく。
【００５１】
例えば、元の画像サイズが縦３６０ピクセル×横２４０ピクセルであるとし、部分領域数を１６×１６＝２５６個、部分領域サイズを３２ピクセル×３２ピクセルとした場合の一例を説明する。この場合、縦は（３６０−３２）／１６＝２０ピクセル（少数点以下切すて）シフトごと、横は（２４０−３２）／１６＝１３ピクセルシフトごとに一つ、３２ピクセル×３２ピクセルの部分領域を抽出する。
【００５２】
部分領域数及び部分領域サイズに対しては、任意の正の整数を設定すればよい。また、いくつかの設定を組み合わせて用いるものとしてもよい。
【００５３】
以上の処理を画像全体に対して行うことで、部分領域の集合を得ることができる。こうして得た部分領域集合を特徴量抽出部３２に出力し、処理を終了する。
【００５４】
特徴量抽出部３２は、部分領域分割部３０によって分割された画像の部分領域からなる部分領域の集合に含まれる部分領域の各々について、解析をし、予め定めた特徴量を抽出する。当該特徴量は、分類部３４及び変換部３６に出力される。
【００５５】
以下、特徴量抽出部３２における特徴量の抽出について説明する。本実施の形態では以下に挙げる全ての特徴量について抽出をするが、どのような特徴量を抽出するかは、本発明の実施の形態の要件として重要ではなく、一般に知られた公知の特徴抽出処理を用いてよい。具体的には、画像から抽出された次元を持つ数値データ（スカラー又はベクトル）であれば、あらゆる特徴量及びその組み合わせに対して有効であり、例えば、明るさ特徴、色特徴、テクスチャ特徴、景観特徴、形状特徴などを抽出すればよい。
【００５６】
明るさ特徴は、部分領域内のピクセルに対して、ＨＳＶ色空間におけるＶ値として抽出することができる。この場合、部分領域内の各ブロックはそのサイズと同数の次元を持つベクトルとして表現される。
【００５７】
色特徴は、Ｌ＊ａ＊ｂ＊色空間における各軸（Ｌ＊、ａ＊、ｂ＊）の値として抽出することができる。この場合、部分領域内の各ブロックは、ブロックサイズ×３次元のベクトルとして表現される。
【００５８】
テクスチャ特徴としては、部分領域内から一定間隔で抽出したキーポイントごとに局所特徴量を抽出すればよい。局所特徴としては、例えば下記の参考文献１に記載されるＳＩＦＴ（Ｓｃａｌｅ Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）や、下記の参考文献２に記載されるＳＵＲＦ（Ｓｐｅｅｄｅｄ Ｕｐ Ｒｏｂｕｓｔ Ｆｅａｔｕｒｅｓ）などを用いることができる。
【００５９】
［参考文献１］D.G. Lowe, “Distinctive Image Features from Scale-Invariant Keypoints ", International Journal of Computer Vision, pp.91-110, 2004
【００６０】
［参考文献２］H. Bay, T. Tuytelaars, and L.V. Gool, “SURF: Speeded Up Robust Features", Lecture Notes in Computer Science, vol. 3951, pp.404-417, 2006
【００６１】
これらによって抽出される局所特徴は、例えばキーポイント１点あたり１２８次元の実数値ベクトルとなるため、１２８次元×キーポイント数分の次元を持つ。あるいは、このベクトルを予め学習して生成しておいた符号長を参照して、符号に変換し、部分領域内適当なサイズのブロック内に存在する符号の数を数え上げることでヒストグラムを生成することができる。この場合、ヒストグラムのビンの数は、符号長の符号数と一致する。又は、参考文献３に記載のスパース表現や、参考文献４、５に記載のフィッシャーカーネルに基づく特徴表現などを利用してもよい。
【００６２】
［参考文献３］  Jinjun Wang, Jianchao Yang, Kai Yu, Fengjun Lv, Thomas Huang, and Yihong Gong, “Locality-constrained Linear Coding for Image Classification", IEEE Conference on Computer Vision and Pattern Recognition, pp. 3360-3367, 2010.
【００６３】
［参考文献４］  Florent Perronnin, Jorge Sanchez, Thomas Mensink, “Improving the Fisher Kernel for Large-Scale Image Classification", European Conference on Computer Vision, pp. 143-156, 2010.
【００６４】
［参考文献５］  Herve Jegou, Florent Perronnin, Matthijs Douze, Jorge Sanchez, Patrick Perez, Cordelia Schmid, “Aggregating Local Image Descriptors into Compact Codes", IEEE Trans. Pattern Recognition and Machine Intelligence, Vol. 34, No. 9, pp. 1704-1716, 2012.
【００６５】
結果として生成される特徴量は、いずれの場合にも、符号長の符号数に依存した長さを持つ実数値ベクトルになる。
【００６６】
景観特徴は、画像の風景や場面を表現した特徴量である。例えば参考文献６に記載のＧＩＳＴ記述子を用いることができる。ＧＩＳＴ記述子は部分領域内ブロックごとに一定のオリエンテーションを持つフィルタを掛けたときの係数によって表現されるが、この場合、生成される特徴量は、フィルタの種類（ブロック数×オリエンテーション数）に依存した長さのベクトルとなる。
【００６７】
［参考文献６］A. Oliva and A. Torralba, “Building the gist of a scene: the role of global image features in recognition", Progress in Brain Research, 155, pp.23-36, 2006
【００６８】
形状特徴は、画像に写る物体の形状を表す特徴量である。例えば参考文献７に記載のＨｉｓｔｏｇｒａｍ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔ（ＨＯＧ）特徴量やエッジヒストグラムを用いることができる。
【００６９】
［参考文献７］N. Dalal and B. Triggs, “Histograms of Oriented Gradients for Human Detection", IEEE Conference on Computer Vision and Pattern Recognition, pp.886-893, 2005
【００７０】
以上のように抽出した特徴量の組み合わせは、部分領域内のブロックごとにｄ次元の特徴量で表現されるような形式を持っている。この特性は、後の識別器学習部３８の処理において有用な性質を持つ。
【００７１】
特徴量抽出部３２は、上記処理によって得られた部分領域ごとの各ブロックの特徴量を、分類部３４及び変換部３６に出力し、処理を終了する。
【００７２】
なお、これらの特徴量は、一つあるいは複数を利用してもよいし、その他の公知の特徴量を用いるものとしてもよい。
【００７３】
分類部３４は、特徴量抽出部３２により抽出した部分領域の各々の特徴量に関する類似度に基づいて、部分領域集合の部分領域の各々を一つ以上のグループのうちいずれかのグループに分類し、分類結果を識別器学習部３８に出力する。
【００７４】
分類部３４は、まず始めに、全ての部分領域を同数の２つの集合に分割し、これをＤ１、Ｄ２と表す。本実施の形態では、Ｄ１の部分領域集合の部分領域の各々に対してのみクラスタリング処理による分類を実行する。
【００７５】
特徴量抽出部３２の特徴量の抽出において、部分領域の各々は同一の特徴量ベクトルとして表現されているから、分類は任意のクラスタリング手法を用いることができる。例えば、Ｋ−ｍｅａｎｓ法などを用いることで、任意のグループ数に分類すればよい。グループ数は、例えば部分領域の総数に対してその１／４などと設定すればよい。
【００７６】
そして、分類部３４は、得られた分類結果（部分領域の各々と、部分領域の各々が属するグループ）を識別器学習部３８に出力し、処理を終了する。
【００７７】
変換部３６は、部分領域の集合に含まれる部分領域の各々について、特徴量抽出部３２において抽出した部分領域の特徴量に対して２次元フーリエ変換を施すことにより、部分領域の特徴量の各周波数成分を表す変換部分領域を取得し、識別器学習部３８に出力する。
【００７８】
具体的には、変換部３６は、部分領域のブロックごとの特徴量として得られたｄ次元のベクトルに対して、次元ごとに２次元フーリエ変換を施し、各周波数成分を表すベクトルへと変換する。先に述べた特徴量は、いずれも部分領域内のブロックごとにｄ次元の特徴量で表現されるような形式を持つ。このように表現された部分領域に対する２次元フーリエ変換は、ブロックごとのｄ次元のベクトルの各次元に対応する各周波数成分へと変換できる。つまり、あるブロックのｄ次元のベクトルに対して、次元ごとに、予め定めた帯域ごとの周波数成分を得ることができる。
【００７９】
前述の通り、同一の画像から抽出される部分領域の各ブロックは、ブロック間の周期的な変化によってその傾向を効果的に捉えることができる。したがって、ブロックのｄ次元の特徴量は、ブロック間の特徴量の変化において現れる周期性の変化に対して、（２次元）フーリエ変換を施すことによって部分領域の特性をより明確に捉え、結果として効率的かつ高精度な画像辞書を得ることができる。
【００８０】
変換部３６は、このようにして部分領域の各々について取得した、部分領域の特徴量の各周波数成分を表す変換部分領域を識別器学習部３８に出力し、処理を終了する。
【００８１】
識別器学習部３８は、第１の処理として、グループの各々について、分類部３４により当該グループに分類されたＤ１の部分領域の各々の変換部分領域が表す周波数成分を正例とし、当該グループに分類されなかったＤ１の部分領域の各々の変換部分領域が表す周波数成分を負例として、周波数成分ごとに、変換部分領域が表す周波数成分に基づいて、変換部分領域に対応する部分領域がグループに属するか否かを識別するための第１識別器を学習すると共に、各周波数成分に対して学習された第１識別器に対して、２次元フーリエ逆変換を施し、部分領域の特徴量に基づいて、部分領域がグループに属するかを識別するための第２識別器を取得する。
【００８２】
そして、識別器学習部３８は、第２の処理として、取得した第２識別器をＤ２の部分領域の各々に適用して、部分領域がグループのうちのいずれかのグループに属するか否かを判定し、分類を行い、Ｄ１とＤ２を交互に入れ替えて上記までの識別器学習部３８における処理を繰り返し、所定の条件が満たされた場合に、グループの各々について取得した第２識別器を画像辞書５０として出力する。このように、特定の特徴を持つ部分領域に対して反応する（高い正の値を出力する）ような識別器を得ることができる。なお、本実施の形態では識別器学習部３８は、第１及び第２の処理を実行するが、第１の処理のみを実行して取得した第２識別器を画像辞書５０として出力するようにしてもよい。
【００８３】
以下、識別器学習部３８の第１の処理について詳細に説明する。まず、入力として、変換部３６の処理において、各部分領域の特徴量は２次元フーリエ変換によって変換部分領域に変換されており、また、分類部３４の処理において、Ｄ１に含まれるそれぞれの部分領域は、いずれかのグループに属するように分類されており、又は、後述する第２の処理において、Ｄ１若しくはＤ２に含まれるそれぞれの部分領域は、いずれかのグループに属するか、若しくは、いずれのグループにも属さないか、が判定され、分類がされている。
【００８４】
識別器学習部３８は、まず上記分類部３４の処理において、Ｄ１に含まれるそれぞれの部分領域が属するグループのうち一定数以上、本実施の形態では、３以上の部分領域が属するグループのそれぞれに対して、任意の部分領域がどの程度そのグループに属しているらしいかを識別する第１識別器を学習する。より具体的には、一定数以上の部分領域が属するグループの総数をＶと表すとすると、グループＫｉ（ｉ＝１、・・・、Ｖ）のそれぞれに対して、周波数成分ごとに、グループＫｉに属する部分領域に対応する変換部分領域の周波数成分を正例、当該グループに属さない部分領域に対応する変換部分領域の周波数成分を負例として、第１識別器を学習する。
【００８５】
一般に、正例及び負例が与えられた下で識別器を学習する手法は様々な公知のものが存在する。任意のものを用いてよいが、本実施の形態では［参考文献８］記載のＳｕｐｐｏｒｔ ｖｅｃｔｏｒ ｒｅｇｒｅｓｓｉｏｎ（ＳＶＲ）を用いる。
【００８６】
［参考文献８］A.J. Smola, B. Scholkopf “A Tutorial on Support Vector Regression", Statistics and Computing, Vol. 14, Issue 3, pp.199-222, 2004
【００８７】
［参考文献８］記載の手続きに従い、いずれも変換部分領域として与えられた正例及び負例から、ある変換部分領域の周波数成分がどの程度グループＫｉに帰属するかを表す確度を求めるための第１識別器を周波数成分ごとに得ることができる。
【００８８】
ここで、ＳＶＲは線形識別器、すなわち、ある変換部分領域の周波数成分をｘｆ、グループＫｉに対して学習したＳＶＲのパラメータをａｉと表すと、ｘｆがグループＫｉに帰属する確度ｙｉ（ｘｆ）は以下の（１）式によって求めることができる。
【００８９】
【数１】
2016018325.tif 000003
【００９０】
ここで、次の２つの重要な性質を述べる。
【００９１】
［性質１］は、変換部分領域（の特徴量）は２次元フーリエ逆変換によって元の部分領域（の特徴量）ｘに戻すことができる。同様に、変換部分領域に基づいて学習したＳＶＲのパラメータａｉは、２次元フーリエ逆変換によって元の部分領域に対するＳＶＲパラメータｗｉに変換できる、という性質である。
【００９２】
［性質２］は、［参考文献９］より、部分領域が持つ周期的変化の性質から、周波数成分ごとに分解してＳＶＲを学習しても、分解せずに学習した場合と比較して、学習精度の劣化をごく小さく抑えることができる、という性質である。
【００９３】
［参考文献９］J.F. Henriques, 他3名 “Beyond Hard Negative Mining: Efficient DetectorLearning via Block-Circulant Decomposition", In Proc. IEEE International Conference on Computer Vision, 2013.
【００９４】
ｘｆはｘの２次元フーリエ変換であるから、周波数成分ごとに分離できる。ここで、周波数成分の数は、特徴量を求めた際のブロック数に等しくなる。仮に、ブロック数（＝周波数成分の数）をｓ１×ｓ２と表すと、ｘｆは下記のように表すことができる。
【００９５】
【数２】
2016018325.tif 000004
【００９６】
ここで、［性質２］を用いると、ｘｆ（ｋ，ｌ）、ただしｋ＝１、・・・、ｓ１、ｌ＝１、・・・、ｓ２に対して、それぞれ独立にＳＶＲのパラメータを学習することができる。こうして得られた各周波数成分に対して、パラメータａｉ（ｋ，ｌ）（ｋ＝１、・・・、ｓ１、ｌ＝１、・・・、ｓ２）を得たのち、最終的なＳＶＲのパラメータａｉは、
【００９７】
【数３】
2016018325.tif 000005
【００９８】
と求めることができる。
【００９９】
このように分解して学習できることのメリットは、計算コストの低減にある。一般に、ＳＶＲの学習は学習データのサイズに依存し、通常サイズに対して二乗ないし三乗程度のオーダの時間を要することが知られている。上記分解によって、分解した個々の問題のサイズは有意に小さくなるため、ＳＶＲの学習に掛かる時間を大きく低減させることができるのである。
【０１００】
また、［性質１］を用いると、元の部分領域（の特徴量）に対するＳＶＲの重みｗｉは、ａｉに対して２次元フーリエ逆変換を適用することで直ちに求めることができる。こうすることで、新しい画像を表現する上で、わざわざ２次元フーリエ変換を施すことなく、各グループに帰属する確度を求めることができるのである。
【０１０１】
以上の２次元フーリエ逆変換の処理を、すべてのグループＫｉ（ｉ＝１、・・・、Ｖ）に対して施すことで、各グループに対応する第２識別器を取得する。なお、以上の第１の処理により取得した各グループに対応する第２識別器を、画像辞書５０として出力してもよい。
【０１０２】
次に、識別器学習部３８の第２の処理について詳細に説明する。識別器学習部３８は、第２の処理として、Ｄ２に属する各部分領域の特徴量に対して、グループの各々について取得した第２識別器ｗｉ（ｉ＝１、・・・、Ｖ）を適用し、各部分領域が各グループに属する確度を求める。部分領域をｘとおくと、グループＫｉに帰属する確度ｙｉ（ｘ）は、
【０１０３】
【数４】
2016018325.tif 000006
【０１０４】
と求めることができる。
【０１０５】
次に、求めた確度に基づき、それぞれの部分領域がいずれかの「グループに属する」、または、「いずれのグループにも属さない」のいずれに相当するかを判定する。この判定は、任意の処理によって実行してよいが、例えば、以下のような基準を基に判定することができる。
【０１０６】
［基準１］部分領域ｘに対する全てのグループに属する確度ｙｉ（ｘ）、（ｉ＝１、・・・、Ｖ）を求めた後、最も大きな値を取ったグループに属すると判定する。
【０１０７】
［基準２］部分領域ｘについて、各グループへの帰属確度に差異がみられない場合（例えば、最も大きな値を取ったグループと、最も小さな値を取ったグループとの確度の差が一定の値を下回るような場合）には、「いずれのグループにも属さない」と判定する。
【０１０８】
［基準３］「グループに属する」と判定される部分領域の数に上限を設ける。例えば、グループごとに最大ｂ個までとし、［基準１］による判定を行った後、さらにグループごとに最も大きな確度を持つ部分領域上位ｂ個までをそのグループに属すると判定し、残りは「いずれのグループにも属さない」と判定する。
【０１０９】
これらの基準は任意に組み合わせてもよく、また、ここに述べた基準以外にも、任意の基準を用いてよいことは言うまでもない。
【０１１０】
以上、Ｄ２に含まれる全ての部分領域に対して［基準１］から［基準３］の判定を実行する。
【０１１１】
次に、終了条件の充足を確認する。終了条件としては、例えば「繰り返し回数の上限が一定数に達した時」、や「グループの総数が一定以下になったとき」など、任意の合理的な基準を設定する。
【０１１２】
終了条件を満たしていない場合は、Ｄ１とＤ２を入れ替えて第１の処理に戻り、以降の処理を繰り返す。
【０１１３】
この際、新しいグループＫｉ（ｉ＝１、・・・、Ｖ）として、第２の処理において得た判定結果を用いることとし、各部分領域は判定されたグループに帰属するものとする。
【０１１４】
終了条件を充足していれば、その時点で学習された各グループに対応する第２識別器に対して、その良さを表すスコアを求める。
【０１１５】
ここで、本実施の形態において求めるスコアについては、例えば上述した非特許文献２記載の技術と同様、純度スコアと弁別性スコアの積を用いることができる。前述の通り、純度スコアはグループＫｉの第２識別器Ｃｉがどれだけ類似した部分領域を検出できるかを表し、Ｋｉに含まれる部分領域に対して、Ｃｉによる出力値が大きいもの上位ｒ個の出力値の総和を純度スコアとして求める。また、弁別性スコアは、Ｃｉがどれだけ弁別的・排他的な部分領域を検出できるかを表し、Ｄ１及びＤ２に含まれる部分領域対してＣｉを適用し、Ｄ１に含まれる部分領域の内、正の値を取った部分領域数と、Ｄ１及びＤ２に含まれる部分領域の内、正の値を取った部分領域数との比によって弁別性スコアを求める。更なる詳細は、非特許文献２に開示されている。
【０１１６】
識別器学習部３８は、最終的に、スコア上位ｎ個（例えばｎ＝１０００）の第２識別器を画像辞書として出力し、処理を終了する。
【０１１７】
以上が、画像辞書構成装置の各処理部の処理詳細の一例である。
【０１１８】
＜本発明の実施の形態に係る画像表現装置の構成＞
【０１１９】
次に、本発明の実施の形態に係る画像表現装置の構成について説明する。図２に示すように、本発明の実施の形態に係る画像表現装置２００は、ＣＰＵと、ＲＡＭと、後述する画像表現処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。この画像表現装置２００は、機能的には図２に示すように画像データベース２１０と、演算部２２０とを備えている。
【０１２０】
画像データベース２１０には、少なくとも画像自体、あるいは、当該画像ファイルの所在を一意に示すアドレスが格納されているものとする。その他の構成は、画像辞書構成装置１００の画像データベース１０と同様である。
【０１２１】
演算部２２０は、部分領域分割部２３０と、特徴量抽出部２３２と、表現部２３４と、画像辞書２３６とを含んで構成されている。
【０１２２】
部分領域分割部２３０は、画像データベース２１０から入力された画像を読み込み、各画像を部分領域に分割、選定してこれを特徴量抽出部２３２に出力する。その他の構成は、画像辞書構成装置１００の部分領域分割部３０と同様である。
【０１２３】
特徴量抽出部２３２は、部分領域分割部２３０によって分割された画像の部分領域からなる部分領域の集合に含まれる部分領域の各々について、解析をし、予め定めた特徴量を抽出する。当該特徴量は、表現部２３４に出力される。その他の構成は、画像辞書構成装置１００の特徴量抽出部３２と同様である。
【０１２４】
表現部２３４は、特徴量抽出部２３２によって抽出された部分領域の各々の特徴量と、画像辞書構成装置１００によって出力された画像辞書２３６とに基づいて、部分領域の各々について、当該部分領域がグループの各々に帰属する確度を算出し、算出された確度に基づいて、当該部分領域がグループのいずれかに属するか、又はグループのいずれにも属さないかを判定する。表現部２３４は、判定の結果に基づいて、グループの各々について当該グループに属すると判定された頻度を表すヒストグラムを、入力された画像の画像表現として出力する。
【０１２５】
以下、表現部２３４の処理について詳細に説明する。ここで、入力された画像に対しては、部分領域、及び各部分領域に対する特徴量が抽出されている。この元で、画像辞書構成装置１００により予め学習した画像辞書２３６を用い、この画像に対する画像表現を得る。
【０１２６】
まず、表現部２３４は、画像辞書構成装置１００における分類部３４と同様の処理によって、それぞれの部分領域がいずれかの「グループに属する」、又は、「いずれのグループにも属さない」のいずれに相当するかを判定する。
【０１２７】
最も単純には、グループの各々について、各グループＫｉ（ｉ＝１、・・・、Ｖ）に属すると判定された頻度を求め、Ｖ次元のヒストグラムを構成することでこれを画像表現とすることができる。
【０１２８】
あるいは、［参考文献１０］記載のＳｐａｔｉａｌ Ｐｙｒａｍｉｄ Ｍａｔｃｈｉｎｇ（又はＳｐａｔｉａｌ Ｐｏｏｌｉｎｇ）と呼ばれる処理によって、頻度を計算してもよい。
【０１２９】
［参考文献１０］S. Lazebnik, C. Schmid, J. Ponce, “Beyond Bags of Features: Spatial Pyramid Matching for Recognizing Natural Scene Categories” In Proc. IEEE Conference on Computer Vision and Pattern Recognition. Pp.2169-2178, 2006.
【０１３０】
これ以外にも、一つ以上のグループと、それに属する要素の集合から求めることのできる任意の統計量によって画像表現を得ることができる。
【０１３１】
そして、表現部２３４は、グループの各々について当該グループに属すると判定された頻度を表すヒストグラムを、画像表現として出力し、処理を終了する。
【０１３２】
＜本発明の実施の形態に係る画像辞書構成装置の作用＞
【０１３３】
次に、本発明の実施の形態に係る画像辞書構成装置１００の作用について説明する。画像データベース１０から一つ以上の画像の入力を受け付けると、画像辞書構成装置１００は、図３に示す画像辞書構成処理ルーチンを実行する。
【０１３４】
まず、ステップＳ１００では、画像データベース１０から受け付けた一つ以上の画像の各々を読み込む。
【０１３５】
ステップＳ１０２では、ステップＳ１００で読み込まれた画像の各々を、一つ以上の部分領域の各々に分割する。
【０１３６】
ステップＳ１０４では、ステップＳ１０２で分割された部分領域からなる部分領域集合の部分領域の各々について解析をし、部分領域毎に、各ブロックの特徴量としてｄ次元のベクトルを抽出する。
【０１３７】
ステップＳ１０６では、ステップＳ１０２で分割された全ての部分領域からなる部分領域集合を、同数の２つの集合Ｄ１、Ｄ２に分割し、ステップＳ１０４で抽出した特徴量に関する類似度に基づいて、Ｄ１の部分領域集合の部分領域の各々を、一つ以上のグループのうちのいずれかのグループに分類する。
【０１３８】
ステップＳ１０８では、ステップＳ１０２で分割された部分領域の集合に含まれる部分領域の各々について、ステップＳ１０６で抽出した当該部分領域のブロックごとのｄ次元のベクトルに対して、次元ごとに２次元フーリエ変換を施し、当該部分領域の特徴量の各周波数成分を表す変換部分領域を取得する。
【０１３９】
ステップＳ１１０では、一定数以上の部分領域が属しているグループの各々について、周波数成分毎に、ステップＳ１０６で当該グループに分類されたＤ１の部分領域の各々が表す当該周波数成分を正例とし、当該グループに分類されなかったＤ１の部分領域の各々の変換部分領域が表す当該周波数成分を負例として、当該周波数成分に対する第１識別器のパラメータを学習する。
【０１４０】
ステップＳ１１２では、一定数以上の部分領域が属しているグループの各々について、ステップＳ１１０で各周波数成分に対して学習された第１識別器に対して、２次元フーリエ逆変換を施し、第２識別器を取得する。
【０１４１】
ステップＳ１１４では、ステップＳ１１２でグループの各々について取得した第２識別器を用いて、Ｄ２の部分領域の各々について、上記（４）式に従って、各グループに帰属する確度を算出し、部分領域の各々がグループのうちいずれかのグループに属するか否かを判定し、分類する。
【０１４２】
ステップＳ１１６では、ステップＳ１１０からステップＳ１１４までの処理において、所定の終了条件を充足したかを判定し、終了条件を充足していればステップＳ１２０へ移行し、終了条件を充足していなければステップＳ１１８へ移行する。
【０１４３】
ステップＳ１１８では、Ｄ１とＤ２を入れ替えて、ステップＳ１１０へ戻り、部分領域の各々はステップＳ１１４で分類した新しいグループに帰属するものとして、以降の処理を繰り返す。
【０１４４】
ステップＳ１２０では、ステップＳ１１２において学習された各グループに対応する第２識別器に対して、その良さを表すスコアを求める。
【０１４５】
ステップＳ１２２では、スコア上位ｎ個（例えばｎ＝１０００）の第２識別器を画像辞書として出力し、処理を終了する。
【０１４６】
＜本発明の実施の形態に係る画像表現装置の作用＞
【０１４７】
次に、本発明の実施の形態に係る画像表現装置２００の作用について説明する。画像データベース２１０から画像の入力を受け付けると、画像表現装置２００は、図４に示す画像表現処理ルーチンを実行する。
【０１４８】
まず、ステップＳ２００では、画像データベース１０から受け付けた画像を読み込む。
【０１４９】
ステップＳ２０２では、ステップＳ２００で読み込まれた画像を、一つ以上の部分領域の各々に分割する。
【０１５０】
ステップＳ２０４では、ステップＳ２０２で分割された部分領域からなる部分領域集合の部分領域の各々について解析をし、各ブロックの特徴量としてｄ次元のベクトルを抽出する。
【０１５１】
ステップＳ２０６では、ステップＳ２０４で抽出された部分領域の各々の特徴量と、上記の画像辞書構成処理ルーチンによって出力された画像辞書２３６とに基づいて、部分領域の各々について、上記（４）式に従って、当該部分領域がグループの各々に帰属する確度を算出する。
【０１５２】
ステップＳ２０８では、ステップＳ２０６で算出された部分領域の各々がグループの各々に帰属する確度に基づいて、それぞれの部分領域がグループのいずれかに属するか、又はグループのいずれにも属さないかを判定する。
【０１５３】
ステップＳ２１０では、ステップＳ２０８の判定の結果に基づいて、グループの各々について当該グループに属すると判定された頻度を表すヒストグラムを構成する。
【０１５４】
ステップＳ２１２では、ステップＳ２１２で構成されたヒストグラムを画像表現として出力し、処理を終了する。
【０１５５】
以上説明したように、本発明の実施の形態に係る画像辞書構成装置によれば、入力された画像を部分領域に分割し、全ての部分領域を同数の２つの集合Ｄ１、Ｄ２に分割し、Ｄ１の部分領域集合の部分領域の各々をグループに分類し、部分領域の各々のｄ次元の特徴量に対して２次元フーリエ変換を施すことにより、部分領域の特徴量の各周波数成分を表す変換部分領域を取得し、グループに分類されたＤ１の変換部分領域が表す周波数成分を正例とし、グループに分類されなかったＤ１の変換部分領域が表す周波数成分を負例として、第１識別器を学習すると共に、各周波数成分に対して学習された第１識別器に対して、２次元逆フーリエ変換を施し、グループの各々について、第２識別器を取得し、取得した第２識別器をＤ２の部分領域の各々に適用して、部分領域がグループのうちのいずれかのグループに属するか否かを判定し、分類を行い、Ｄ１とＤ２を交互に入れ替えて上記までの識別器学習部３８における処理を繰り返し、所定の条件が満たされた場合に、グループの各々について取得した第２識別器を画像辞書として出力することで、効率よく、画像中の特徴的な領域を発見することが可能な画像表現を得るための画像辞書を構成することができる。
【０１５６】
また、本発明の実施の形態に係る画像表現装置によれば、入力された画像を部分領域に分割し、部分領域の各々の特徴量と、画像辞書とに基づいて、部分領域の各々について、グループのいずれかに属するか、グループのいずれにも属さないかを判定し、判定の結果に基づいて、グループの各々についてグループに属すると判定された頻度を表すヒストグラムを、入力された画像の画像表現として出力することにより、画像中の特徴的な領域を発見することが可能な画像表現を求めることができる。
【０１５７】
また、本発明の実施の形態に係る画像辞書構成装置は、非特許文献２記載の技術と同様、弁別的な部分領域によって構成される辞書としての識別器を得ることができ、これによって、画像表現装置は、被写体やシーンを特徴的に表すようなパーツとなる部分領域に基づく画像表現を獲得できる。
【０１５８】
また、本発明の実施の形態に係る画像辞書構成装置及び画像表現装置によれば、非特許文献２記載の技術とは異なり、以下の（Ａ）及び（Ｂ）の２点において、低コストに画像辞書及び画像表現を得ることが可能である。
【０１５９】
（Ａ）単一の画像集合のみから画像辞書を構成できる。
【０１６０】
（Ｂ）画像から抽出される部分領域は周期的な変化をしやすいことが知られている。したがって、部分領域に２次元フーリエ変換を施すことによって部分領域の特性を効果的に捉えることができる。結果として非特許文献２のように、負例の選択とＳＶＭの学習を繰り返す膨大な計算時間を必要とすることなく、効率的に有効な辞書を構成することができる。
【０１６１】
なお、本実施形態の主要な特徴を満たす範囲内において、任意の用途と構成を取ることができることは言うまでもない。
【０１６２】
前述した実施形態における画像辞書構成の処理、画像表現の処理をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。
【０１６３】
また、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。
【０１６４】
また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）やＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等のハードウェアを用いて実現されるものであってもよい。
【０１６５】
以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行ってもよい。
【符号の説明】
【０１６６】
１０、２１０  画像データベース
２０、２２０  演算部
３０、２３０  部分領域分割部
３２、２３２  特徴量抽出部
３４   分類部
３６   変換部
３８   識別器学習部
５０、２３６  画像辞書
１００ 画像辞書構成装置
２００ 画像表現装置
２３４ 表現部
【図１】
2016018325.tif 000007
【図２】
2016018325.tif 000008
【図３】
2016018325.tif 000009
【図４】
2016018325.tif 000010