(57)【要約】【課題】  多様な観点の検索や分類を可能とし、クラスタリング時に局所特徴量間での値の大きさの調整を不要とし、適切な画像特徴量を生成する。【解決手段】  本発明は、入力された複数の画像から指定された大きさの複数の領域を切り出す領域取得手段と、切り出された各領域から複数の局所特徴量を計算し、局所特徴量記憶手段に格納する局所特徴量計算手段と、各局所特徴量毎にクラスタ中心（以下、「visual words」と記す）を生成し、クラスタ中心記憶手段に格納するクラスタリング手段と、局所特徴量をvisual wordsに割り当てて、ヒストグラムを作成するヒストグラム作成手段と、作成された複数のヒストグラムを結合して画像の特徴量を出力する画像特徴量出力手段と、を有する。【選択図】  図１
2011210111.tif 000002
【特許請求の範囲】
【請求項１】
分類や検索に使用する画像特徴量を生成するための画像特徴量生成装置であって、
入力された複数の画像から指定された大きさの複数の領域を切り出す領域取得手段と、
前記領域取得手段で切り出された各領域から複数の局所特徴量を計算し、局所特徴量記憶手段に格納する局所特徴量計算手段と、
前記局所特徴量記憶手段から前記局所特徴量を読み出して、各局所特徴量毎にクラスタ中心（以下、「visual words」と記す）を生成し、クラスタ中心記憶手段に格納するクラスタリング手段と、
前記局所特徴量記憶手段の前記局所特徴量を前記クラスタ中心記憶手段のvisual wordsに割り当てて、ヒストグラムを作成するヒストグラム作成手段と、
前記ヒストグラム作成手段で作成された複数のヒストグラムを結合して画像の特徴量を出力する画像特徴量出力手段と、
を有することを特徴とする画像特徴量生成装置。
【請求項２】
前記局所特徴量計算手段は、
２次元Haar wavelet変換を用いて、平均色、明暗の分布、色調の分布を抽出する手段を含む
請求項1記載の画像特徴量生成装置。
【請求項３】
前記ヒストグラム作成手段は、
前記クラスタ中心記憶手段の局所特徴量毎に作成されたvisual wordsを用いて、複数の局所特徴量のvisual wordsの組み合わせに対する頻度からヒストグラムを作成する手段を含む
請求項1記載の画像特徴量生成装置。
【請求項４】
前記ヒストグラム作成手段は、
前記クラスタ中心記憶手段の局所特徴量毎に作成されたvisual wordsを用いて、複数の局所特徴量のvisual wordsの組み合わせに対する頻度からヒストグラムを作成して、出現頻度の低い組み合わせを削除して、画像特徴量の次元を削減する手段を含む
請求項3記載の画像特徴量生成装置。
【請求項５】
分類や検索に使用する画像特徴量を生成するための画像特徴量生成方法であって、
領域取得手段、局所特徴量計算手段、クラスタリング手段、ヒストグラム作成手段、画像特徴量出力手段、局所特徴量記憶手段、クラスタ中心記憶手段を有する装置において、
前記領域取得手段が、入力された複数の画像から指定された大きさの複数の領域を切り出す領域取得ステップと、
前記局所特徴量計算手段が、前記領域取得ステップで切り出された各領域から複数の局所特徴量を計算し、前記局所特徴量記憶手段に格納する局所特徴量計算ステップと、
前記クラスタリング手段が、前記局所特徴量記憶手段から前記局所特徴量を読み出して、各局所特徴量毎にクラスタ中心（以下、「visual words」と記す）を生成し、前記クラスタ中心記憶手段に格納するクラスタリングステップと、
前記ヒストグラム作成手段が、前記局所特徴量記憶手段の前記局所特徴量を前記クラスタ中心記憶手段のvisual wordsに割り当てて、ヒストグラムを作成するヒストグラム作成ステップと、
前記画像特徴量出力手段が、前記ヒストグラム作成ステップで作成された複数のヒストグラムを結合して画像の特徴量を出力する画像特徴量出力ステップと、
を行うことを特徴とする画像特徴量生成方法。
【請求項６】
前記局所特徴量計算ステップにおいて、
２次元Haar wavelet変換を用いて、平均色、明暗の分布、色調の分布を抽出する請求項５記載の画像特徴量生成方法。
【請求項７】
前記ヒストグラム作成ステップにおいて、
前記クラスタ中心記憶手段の局所特徴量毎に作成されたvisual wordsを用いて、複数の局所特徴量のvisual wordsの組み合わせに対する頻度からヒストグラムを作成する
請求項５記載の画像特徴量生成方法。
【請求項８】
前記ヒストグラム作成ステップにおいて、
前記クラスタ中心記憶手段の局所特徴量毎に作成されたvisual wordsを用いて、複数の局所特徴量のvisual wordsの組み合わせに対する頻度からヒストグラムを作成して、出現頻度の低い組み合わせを削除して、画像特徴量の次元を削減する
請求項７記載の画像特徴量生成方法。
【請求項９】
請求項１乃至４のいずれか1項に記載の画像特徴量生成装置を構成する各手段としてコンピュータを機能させるための画像特徴量生成プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像特徴量生成装置及び方法及びプログラムに係り、特に、画像分類及び画像検索に使用する画像特徴量生成装置及び方法及びプログラムに関する。
【背景技術】
【０００２】
従来、画像の特徴量生成を行うには、「bag of visual words」と呼ばれる手法がある（例えば、非特許文献１参照）。この方法としては、図１３（ａ）に示すように、入力された画像から複数の領域を切り出し（ステップ１１）、個々の領域から局所特徴量と呼ばれる情報を計算し（ステップ１２）、局所特徴量をクラスタリングして（ステップ１３）visual words（クラスタ中心）を作成する（ステップ１４）。
【０００３】
さらに、図１３（ｂ）に示すように、各画像の局所特徴量集合をvisual wordsに割り当て（ステップ２３）、visual wordsのヒストグラムを画像特徴量とする（ステップ２４）ものがある。
【０００４】
また、図１４に示すように、多数の画像を用いてvisual wordsを作成しておき、新規の画像が入力されたときは、そのvisual wordsを利用する。
【０００５】
領域の切り出し、及び、局所特徴量について様々なバリエーションがあるが、sliding windowで領域の切り出しを行い、各領域の明度情報に２次元Haar wavelet変換を行って直流成分（平均値）を除いた各バンドのエネルギー、すなわち、係数の絶対値の総和を局所特徴量とし、k-means法でクラスタリングするなどの方法もある。
【０００６】
図１５の画像集合から窓サイズＷ＝８、ずらし幅△＝４で領域を切り出し、Haar waveletエネルギーを計算すると、表１（図１５の明暗分布特徴量）のような値が得られる。
【０００７】
【表１】
2011210111.tif 000003
この例は一様な画像なので、同一画像の領域の局所特徴量はほぼ同一のものが得られるので、一つだけ表示して他は省略した。
【０００８】
クラスタ数Ｋ＝２でクラスタリングすると、式（１）のvisual wordsが得られる。Visual wordsは行ベクトルとして表示してある。
【０００９】
【数１】
2011210111.tif 000004
画像の領域集合をこのvisual wordsに割り当て、その頻度でヒストグラムを作成すると表２（図１５の画像例の明暗ヒストグラム）となる。
【００１０】
【表２】
2011210111.tif 000005
このヒストグラムが画像の特徴量となる。
【００１１】
この例では、ヒストグラムの第１要素が大きいと縦縞、第２要素が大きいと横縞といった分類ができる。
【先行技術文献】
【非特許文献】
【００１２】
【非特許文献１】"A Bayesian Hierarchical Model for Learning Natural Scene Categories,"  L. Fei-Fei and P. Perona, Proc. Of IEEE Computer vision and Image Recognition, pp. 524-531 (2005).
【発明の概要】
【発明が解決しようとする課題】
【００１３】
上述した従来の画像の特徴量生成方法は、領域から１つの局所特徴量を取得することを前提としている。しかし、一般の画像を分類する際には、明暗の分布以外に、領域の平均色、色調の分布等様々な局所特徴量を利用する必要がある。「bag of visual words」で複数の局所特徴量を扱うには、複数の局所特徴量の要素を並べて結合したものを一つの局所特徴量として、クラスタリング、及び、ヒストグラム作成を行うことになる。
【００１４】
複数の局所特徴量を一つの局所特徴量に統合した場合、下記の問題がある。
【００１５】
１．クラスタ数を各局所特徴量のパターン数の積より多く用意しないと適切なvisual wordsが生成されない。
【００１６】
２．検索及び分類に一部の局所特徴量のパターンだけを指定したい場合でも全てのパターンを列挙する必要がある。
【００１７】
３．複数の局所特徴量間で要素の値の大きさを調整しないと適切なvisual wordsが生成されない。
【００１８】
領域の平均色と明暗の分布から局所特徴量を作成するときは、平均色のパターン数を、Ｋμ、明暗の分布のパターン数をＫtextureとすると、これらを分類するためのクラスタ数Ｋは、
【００１９】
【数２】
2011210111.tif 000006
となる。
【００２０】
図１６のような画像からvisual wordsを作成する場合、Ｋμ＝３、Ｋtexture＝４でＫ＝１２個のvisual wordが必要となる。図１６では、（Ａ）は赤、（Ｂ）は緑、（Ｃ）は青の画像例であり、左から細い縦縞、太い縦縞、細い横縞、太い横縞太が並んでいる。
【００２１】
さらに、「細かい縦縞」といった分類を行う場合は、「平均色が赤で細かい縦縞」、「平均色が緑で細かい縦縞」、及び、「平均色が青で細かい縦縞」で分類し、その和集合をとる必要がある。
【００２２】
また、図１５のような画像から領域の平均色、明暗の分布を抽出して、要素の大きさを調整せずに、結合して局所特徴量を作成すると、表３（図１５の画像例の局所特徴量）となる。
【００２３】
【表３】
2011210111.tif 000007
これをＫ＝２でクラスタリングして、visual wordsを作成すると、式（３）となる。
【００２４】
【数３】
2011210111.tif 000008
このvisual wordsからヒストグラムを作成すると表４のようになる。
【００２５】
【表４】
2011210111.tif 000009
この例では、平均色（明度）の差が大きく、第１成分が大きい画像は明るい画像、第２成分が大きい画像は暗い画像に分類されてしまう。縦縞、横縞で分類するためには、要素の大きさを適切に調整する必要がある。
【００２６】
本発明は、上記の点に鑑みなされたもので、多様な観点の検索や分類を可能とし、クラスタリング時に局所特徴量間での値の大きさの調整を不要とし、適切な画像特徴量を生成することが可能な画像特徴量生成装置及び方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００２７】
図１は、本発明の原理構成図である。
【００２８】
本発明（請求項１）は、分類や検索に使用する画像特徴量を生成するための画像特徴量生成装置であって、
入力された複数の画像から指定された大きさの複数の領域を切り出す領域取得手段２０と、
領域取得手段２０で切り出された各領域から複数の局所特徴量を計算し、局所特徴量記憶手段４０に格納する局所特徴量計算手段３０と、
局所特徴量記憶手段４０から局所特徴量を読み出して、各局所特徴量毎にクラスタ中心（以下、「visual words」と記す）を生成し、クラスタ中心記憶手段６０に格納するクラスタリング手段５０と、
局所特徴量記憶手段４０の局所特徴量をクラスタ中心記憶手段６０のvisual wordsに割り当てて、ヒストグラムを作成するヒストグラム作成手段７０と、
ヒストグラム作成手段７０で作成された複数のヒストグラムを結合して画像の特徴量を出力する画像特徴量出力手段８０と、を有する。
【００２９】
また、本発明（請求項２）は、請求項１の局所特徴量計算手段３０において、
２次元Haar wavelet変換を用いて、平均色、明暗の分布、色調の分布を抽出する手段を含む。
【００３０】
また、本発明（請求項３）は、請求項１のヒストグラム作成手段７０において、
クラスタ中心記憶手段の局所特徴量毎に作成されたvisual wordsを用いて、複数の局所特徴量のvisual wordsの組み合わせに対する頻度からヒストグラムを作成する手段を含む。
【００３１】
また、本発明（請求項４）は、請求項３のヒストグラム作成手段７０において、
クラスタ中心記憶手段の局所特徴量毎に作成されたvisual wordsを用いて、複数の局所特徴量のvisual wordsの組み合わせに対する頻度からヒストグラムを作成して、出現頻度の低い組み合わせを削除して、画像特徴量の次元を削減する手段を含む。
【００３２】
図２は、本発明の原理を説明するための図である。
【００３３】
本発明（請求項５）は、分類や検索に使用する画像特徴量を生成するための画像特徴量生成方法であって、
領域取得手段、局所特徴量計算手段、クラスタリング手段、ヒストグラム作成手段、画像特徴量出力手段、局所特徴量記憶手段、クラスタ中心記憶手段を有する装置において、
領域取得手段が、入力された複数の画像から指定された大きさの複数の領域を切り出す領域取得ステップ（ステップ１）と、
局所特徴量計算手段が、領域取得ステップで切り出された各領域から複数の局所特徴量を計算し、局所特徴量記憶手段に格納する局所特徴量計算ステップ（ステップ２）と、
クラスタリング手段が、局所特徴量記憶手段から局所特徴量を読み出して、各局所特徴量毎にクラスタ中心（以下、「visual words」と記す）を生成し、クラスタ中心記憶手段に格納するクラスタリングステップ（ステップ３）と、
ヒストグラム作成手段が、局所特徴量記憶手段の局所特徴量をクラスタ中心記憶手段のvisual wordsに割り当てて、ヒストグラムを作成するヒストグラム作成ステップ（ステップ４）と、
画像特徴量出力手段が、ヒストグラム作成ステップで作成された複数のヒストグラムを結合して画像の特徴量を出力する画像特徴量出力ステップ（ステップ５）と、を行う。
【００３４】
また、本発明（請求項６）は、請求項５の局所特徴量計算ステップにおいて、
２次元Haar wavelet変換を用いて、平均色、明暗の分布、色調の分布を抽出する。
【００３５】
また、本発明（請求項７）は、請求項５のヒストグラム作成ステップにおいて、
クラスタ中心記憶手段の局所特徴量毎に作成されたvisual wordsを用いて、複数の局所特徴量のvisual wordsの組み合わせに対する頻度からヒストグラムを作成する。
【００３６】
また、本発明（請求項８）は、請求項７のヒストグラム作成ステップにおいて、
クラスタ中心記憶手段の局所特徴量毎に作成されたvisual wordsを用いて、複数の局所特徴量のvisual wordsの組み合わせに対する頻度からヒストグラムを作成して、出現頻度の低い組み合わせを削除して、画像特徴量の次元を削減する。
【００３７】
本発明（請求項９）は、請求項１乃至４のいずれか1項に記載の画像特徴量生成装置を構成する各手段としてコンピュータを機能させるための画像特徴量生成プログラムである。
【発明の効果】
【００３８】
本発明によれば、局所特徴量検索手段により、画像の領域から平均色、明暗の分布、色調の分布など複数の局所特徴量を抽出するため、画像を分類するための多様な情報を画像から複数の情報を抽出することにより、多様な観点での検索や分類、例えば、画像を全体的な色合いで検索する、縦縞、横縞等の柄で画像を分類する、色のパターンで検索する等を可能にする。
【００３９】
また、本発明は、クラスタリング手段により、複数の局所特徴量を個別にクラスタリングするため、局所特徴量間での値の大きさの調整が必要ない。また、一括してクラスタリングする際は、個々の局所特徴量での分類数の積だけ必要であったクラスタ数が、個々の局所特徴量での分類数の和で済むため、計算量及び画像の特徴量の次元が個々の局所特徴量での分類数の積から個々の局所特徴量での分類数の和に減少する。
【００４０】
これにより、本発明は、以下の問題を解決できる。
【００４１】
１．クラスタ数を各局所特徴量のパターン数の積より多く用意しないと適切なvisual wordが生成されない。
【００４２】
２．検索や分類に一部の局所特徴量のパターンだけを指定したい場合でも全てのパターンを列挙する必要がある。
【００４３】
３．複数の局所特徴量間で要素の値の大きさを調整しないと適切なvisual wordsが生成されない。
【図面の簡単な説明】
【００４４】
【図１】本発明の原理構成図である。
【図２】本発明の原理を説明するための図である。
【図３】本発明の第1の実施の形態における画像特徴量生成装置の構成図である。
【図４】本発明の第１の実施の形態におけるvisual words作成時のフローチャートである。
【図５】本発明の第1の実施の形態における画像、領域、及び局所特徴量の対応関係を示す図である。
【図６】本発明の第１の実施の形態における「画像の局所特徴量群計算」ルーチンのフローチャートである。
【図７】sliding windowを説明する図である。
【図８】２次元Haar waveletを説明する図である。
【図９】本発明の第1の実施の形態におけるヒストグラム作成時のフローチャートである。
【図１０】本発明の第２の実施の形態のヒストグラムを説明するための図である。
【図１１】本発明の第２の実施の形態におけるヒストグラム作成部の動作のフローチャートである。
【図１２】本発明の第３の実施の形態におけるヒストグラム作成部の動作のフローチャートである。
【図１３】従来の特徴量計算のフローチャートである。
【図１４】従来の特徴量計算のデータの流れを説明するための図である。
【図１５】従来の技術を適用する画像例である。
【図１６】３２×３２サイズの画像例である。
【発明を実施するための形態】
【００４５】
以下図面と共に、本発明の実施の形態を説明する。
【００４６】
［第１の実施の形態］
図３は、本発明の第１の実施の形態における画像特徴量生成装置の構成を示す。
【００４７】
同図に示す画像特徴量生成装置は、画像入力部１０、領域取得部２０、局所特徴量計算部３０、局所特徴量蓄積部４０、クラスタリング部５０、visual words蓄積部６０、ヒストグラム作成部７０、画像特徴量出力部８０から構成される。
【００４８】
図４は、本発明の第１の実施の形態におけるvisual words作成時のフローチャートである。
【００４９】
ステップ１０１）  画像入力部１０は、ファイル、ネットワーク等から画像を入力する。
【００５０】
領域取得部２０は、１つの画像から指定した大きさの領域を少なくとも１つ以上切り出す。
【００５１】
局所特徴量計算部３０は、領域取得部２０で切り出された複数の画像の領域から平均色、明暗の分布、色調の分布など複数の局所特徴量を抽出し、局所特徴量蓄積部４０に格納する。図５に、本発明の第１の実施の形態における画像、領域及び局所特徴量の対応関係を示す。
【００５２】
クラスタリング部５０は、局所特徴量蓄積部４０から局所特徴量集合を取得してクラスタリングしてvisual wordsを作成し、visual words蓄積部６０に格納する。
【００５３】
ヒストグラム作成部７０は、局所特徴量蓄積部４０から読み出した局所特徴量集合に、visual words蓄積部６０に格納されているvisual wordsを割り当ててヒストグラムを作成し、画像特徴量出力部８０に出力する。
【００５４】
画像特徴量出力部８０は、ヒストグラム作成部７０で作成されたヒストグラムを画像特徴量として出力する。
【００５５】
以下に、上記の各構成要素の動作について詳細に説明する。
【００５６】
＜領域取得部２０＞
図６は、本発明の第１の実施の形態における画像の局所特徴量群計算ルーチンのフローチャートである。
【００５７】
ステップ２０１）  領域取得部２０は、入力された画像からsliding windowで矩形領域を切り出す。Sliding windowとは、図７に示すように、窓サイズＷの正方形の領域をずらし幅△だけずらしながら切り出す方法である。
【００５８】
切り出される領域数は、
【００５９】
【数４】
2011210111.tif 000010
ここで、
【００６０】
【数５】
2011210111.tif 000011
は、ｘ以下の最大の整数である。
【００６１】
切り出した矩形領域は局所特徴量計算部３０に渡される。
【００６２】
＜局所特徴量計算部３０＞
ステップ２０２）  局所特徴量計算部３０は、領域取得部２０から取得した領域について、平均色、明暗分布、色調分布等の複数の局所特徴量を計算する。
【００６３】
まず、画像の色空間をRGBからL*a*b*に変換する。
【００６４】
【数６】
2011210111.tif 000012
ここで、
【００６５】
【数７】
2011210111.tif 000013
また、
【００６６】
【数８】
2011210111.tif 000014
次に、L*a*b*の各データを２次元Haar wavelet変換する。２次元Haar wavelet変換は、図８に示すように、二次元データを低周波成分ｓ、水平高周波成分ｈ、垂直高周波成分ｖ、対角高周波成分ｄに分離する。この手順を低周波成分ｓに対して再帰的に繰り返す。
【００６７】
計算式は、それぞれ以下のようになる。
【００６８】
【数９】
2011210111.tif 000015
ここで、
【００６９】
【数１０】
2011210111.tif 000016
次に、２次元Haar waveletの各成分のエネルギー、即ち、係数の絶対値の総和を求める。
【００７０】
【数１１】
2011210111.tif 000017
平均色の局所特徴量ｘμ、明暗分布の局所特徴量ｘtexture、色調分布の局所特徴量ｘtoneは下記のように計算され、局所特徴量蓄積部４０に格納る。
【００７１】
【数１２】
2011210111.tif 000018
＜局所特徴量蓄積部４０＞
局所特徴量蓄積部４０は、上記の局所特徴量計算部３０で計算された平均色、明暗分布、色調分布の局所特徴量を蓄積する。
【００７２】
＜クラスタリング部５０＞
ステップ１０３）  クラスタリング部５０は、局所特徴量蓄積部４０に蓄積された局所特徴量群、すなわち、複数の画像についての平均色、明暗分布、色長分布の局所特徴量をk-means法で各々クラスタリングする。
【００７３】
平均色Ｋμ、明暗分布Ｋtexture、色調分布Ｋtoneのクラスタ数及びクラスタリングの最大の反復回数Ｊは予め指定しておく。
【００７４】
また、Ｎは、データ数（領域数）、
【００７５】
【数１３】
2011210111.tif 000019
はｉ番目のデータ（局所特徴量）、
【００７６】
【数１４】
2011210111.tif 000020
は、ｋ番目のクラスタ中心、ｌiはデータｉが所属するクラスタ番号、（・）はμ、texture、toneのいずれかである。
【００７７】
以下において、
【００７８】
【数１５】
2011210111.tif 000021
はユークリッド距離を示す。
【００７９】
クラスタリング部５０は、局所特徴量計算部３０から局所特徴量を取得すると、まず、以下の初期化処理を行い、ランダムにクラスタ中心
【００８０】
【数１６】
2011210111.tif 000022
を設定すると共に、ｊ＝１とする。
【００８１】
全画像数ｉ（ｉ＝１，…，Ｎ）について以下の処理を繰り返す。
【００８２】
【数１７】
2011210111.tif 000023
得られた局所特徴量数（ｋ＝１，…，Ｋ（・））について、以下の式により、局所特徴量のクラスタリングを行い、各クラスタについてクラスタ中心を更新する。この処理をｊ＞Ｊ（反復回数）となるまで繰り返す。
【００８３】
【数１８】
2011210111.tif 000024
クラスタ中心が前回のものと変化がある場合は、クラスタ中心
【００８４】
【数１９】
2011210111.tif 000025
でvisual words蓄積部６０を更新する。
【００８５】
【数２０】
2011210111.tif 000026
k-means法は、初期値のクラスタ中心によって結果が変わる可能性があるので、何度か繰り返し、下記の歪みが最も小さくなるものを選ぶ。
【００８６】
【数２１】
2011210111.tif 000027
＜visual words蓄積部６０＞
ステップ１０４）  visual words蓄積部６０は、クラスタリング部５０から出力された平均色、明暗分布、色調分布のvisual words(クラスタ中心)、ｃμ、ｃtexture、ｃtoneを蓄積する。
【００８７】
＜ヒストグラム作成部７０＞
ヒストグラム作成部７０は、画像から切り出された領域数Ｒとし、局所特徴量蓄積部４０から局所特徴量群
【００８８】
【数２２】
2011210111.tif 000028
を取得し、これらにvisual words蓄積部６０のvisual wordsを割り当て、ヒストグラムを作成する。
【００８９】
図９は、本発明の第１の実施の形態におけるヒストグラム作成時のフローチャートである。
【００９０】
図３の局所特徴量計算部３０で局所特徴量群の計算が行われ、クラスタリング部５０によりvisual wordsが求められると、ヒストグラム作成部７０は、ヒストグラムｈk（但し、ｋ＝１，…，Ｋ(・)）を０に初期化し、ｒ＝１とし、以下のステップ３０１，３０２の処理を全領域数分ｒ（ｒ＝１，…，Ｒ）回繰り返す。
【００９１】
ステップ３０１）  データｒのvisual wordを以下の式により割り当てる。
【００９２】
【数２３】
2011210111.tif 000029
この処理を領域数ｋ分（ｋ＝１，…，Ｋ）繰り返す。
【００９３】
ステップ３０２）  以下によりヒストグラムを生成する。
【００９４】
【数２４】
2011210111.tif 000030
とする。次に、ヒストグラムを以下のように規格化し、ヒストグラムｈiを出力する。
【００９５】
【数２５】
2011210111.tif 000031
＜特徴量出力部８０＞
特徴量出力部８０は、平均色、明暗分布、色調分布のヒストグラムを結合して、画像の特徴量とする。
【００９６】
【数２６】
2011210111.tif 000032
次に、上記の画像特徴量生成装置の具体的な動作を以下に示す。
【００９７】
以下では図１６に示す３２×３２のサイズの画像集合について処理を行う。
【００９８】
領域取得部２０は、窓サイズＷ＝８、ずらし幅△＝４で領域を切り出し、局所特徴量計算部３０に渡す。これにより、局所特徴量計算部３０は、表５に示すような特徴量を求め、局所特徴量蓄積部４０に格納する。
【００９９】
【表５】
2011210111.tif 000033
次に、クラスタリング部５０は、局所特徴量記憶部４０から局所特徴量を取得して、平均色、明暗分布をクラスタリングして、visual wordsを求める（この例では、色調分布は分類に用いないので省略する）。
【０１００】
【数２７】
2011210111.tif 000034
ヒストグラム作成部７０は、各画像の局所特徴量をvisual wordsに割り当て、表６に示すようなヒストグラムを作成する。
【０１０１】
【表６】
2011210111.tif 000035
画像特徴量出力部８０は、hμとhtextureの要素を結合して画像の特徴量とし出力する。
【０１０２】
この例では、第１要素が大きい画像は『青』、第２要素が大きい画像は『緑』、第３画素が大きい画像は『赤』と分類できる。また、第４要素が大きい画像は細かい横縞、第５要素が大きい画像は荒い縦縞、第６要素が大きい画像は細かい縦縞、第７要素が大きい画像は荒い横縞と分類できる。
【０１０３】
画像特徴量の次元はＫμ＋Ｋtexture＝３＋４＝７となる。
【０１０４】
このように、本実施の形態における画像特徴量は、複数の局所特徴量を結合して、visual wordsを作成した場合に比べ、少ない次元数で画像を分類できる。
【０１０５】
［第２の実施の形態］
本実施の形態の画像特徴量生成装置の構成は第１の実施の形態の図３と同様であるが、ヒストグラム作成部７０の動作が異なる。本実施の形態のヒストグラム作成部７０は、局所特徴量毎に作成されたvisual wordsを用いて、複数の局所特徴量のvisual wordsの組み合わせに対する頻度からヒストグラムを作成するものである。
【０１０６】
以下では、領域取得部２０により画像から切り出された領域数Ｒ、局所特徴量蓄積部４０に格納されている局所特徴量の種類をＭとする。ヒストグラム作成部７０は、図１０に示すように、その局所特徴量群
【０１０７】
【数２８】
2011210111.tif 000036
からヒストグラムを作成する。
【０１０８】
図１１は、本発明の第２の実施の形態におけるヒストグラム作成部の動作のフローチャートである。
【０１０９】
ステップ４０１）  ヒストグラムの初期化として、
【０１１０】
【数２９】
2011210111.tif 000037
を行う。
【０１１１】
ステップ４０２）  全領域数ｒ（ｒ＝１，…，Ｒ）についてステップ４０３〜４０５を繰り返す。
【０１１２】
ステップ４０３）  全局所特徴量の種類ｍ（ｍ＝１，…，Ｍ）についてステップ４０４を繰り返す。
【０１１３】
ステップ４０４）  領域ｒの局所特徴量ｍのvisual wordを以下により計算する。
【０１１４】
【数３０】
2011210111.tif 000038
ステップ４０５）  ヒストグラムを以下のように加算する。
【０１１５】
【数３１】
2011210111.tif 000039
を行う。
【０１１６】
ステップ４０６）  ヒストグラムを以下の式により規格化する。
【０１１７】
【数３２】
2011210111.tif 000040
ステップ４０７）  ヒストグラムを画像特徴量出力部８０に出力する。
【０１１８】
次に、上記のヒストグラム作成部７０の処理を具体的に説明する。
【０１１９】
クラスタリング部５０において、下記のvisual wordsが作成され、visual words蓄積部６０に格納されていたとする。
【０１２０】
【数３３】
2011210111.tif 000041
ここで、「・T」は転置を示す。
【０１２１】
領域取得部２０において、画像から６つの領域が切り出され、クラスタリング部５０で各々表７のようにvisual wordsが割り当てられたとする。
【０１２２】
【表７】
2011210111.tif 000042
ヒストグラム作成部７０は、領域１のvisual wordsが（ｖ1，ｗ2）なので、ヒストグラムを加算（ｈ1,2←h1,2+1）する。
【０１２３】
画像特徴量出力部８０は、６つの領域を集計し、規格化すると表８のヒストグラムが得られる。
【０１２４】
【表８】
2011210111.tif 000043
［第３の実施の形態］
本実施の形態では、ヒストグラム作成部７０が、クラスタリング部５０で各々の局所特徴量毎に作成されたvisual wordsを用いて、複数の局所特徴量のvisual wordsの組み合わせに対する頻度からヒストグラムを作成し、出現度数の低い組み合わせを削除することにより、画像特徴量の次元を削減する場合を説明する。
【０１２５】
本実施の形態における画像特徴量生成装置の構成は、第1の実施の形態における図３の構成と同一であるが、ヒストグラム作成部７０の処理が異なる。その他は第１の実施の形態と同様であるのでその説明を省略する。
【０１２６】
ヒストグラム作成部７０においてヒストグラムh1，…，ｈNから出現度数が所定の閾値Ｔ以下の要素を削除した新しいヒストグラムｇ１，…，ｇNを作成する。
【０１２７】
図１２は、本発明の第３の実施の形態におけるヒストグラム作成部の動作のフローチャートである。
【０１２８】
ステップ５０１）  ヒストグラム作成部７０は、以下により出現度数の初期化を行う。
【０１２９】
【数３４】
2011210111.tif 000044
ステップ５０２）  ｎ（ｎ＝１，…，Ｎ）についてステップ５０３を繰り返す。
【０１３０】
ステップ５０３）  ｎ番目のヒストグラムの出現度数Ｄkを全ての要素を計上する。
【０１３１】
【数３５】
2011210111.tif 000045
ステップ５０４）  出現度数が閾値Ｔより大きいヒストグラムをリストアップする。
【０１３２】
【数３６】
2011210111.tif 000046
ステップ５０５）  ｎ（ｎ＝１，…，Ｎ）についてステップ５０６を繰り返す。
【０１３３】
ステップ５０６）  ｎ番目のヒストグラムから出現度数が低いものを取り除く。
【０１３４】
【数３７】
2011210111.tif 000047
ステップ５０７）  出現頻度の低いものが削除されたヒストグラムのリストｇn（ｎ＝１，…，Ｎ）を出力する。
【０１３５】
次に、上記のヒストグラム作成部７０の処理を具体的に説明する。
【０１３６】
ヒストグラム作成部７０において、３個の画像から表９のヒストグラムが作成されたとする。また、出現度数の閾値Ｔ＝１／３とする。
【０１３７】
【表９】
2011210111.tif 000048
上記から各要素ｋの出現度数Ｄkを求めると、表１０のようになる。
【０１３８】
【表１０】
2011210111.tif 000049
出現度数の閾値Ｔ＝１／３以下の組み合わせは、（v1，w1），（v1，w3）であるので、これらを削除した表１１のようなヒストグラムが得られる。
【０１３９】
【表１１】
2011210111.tif 000050
なお、上記の図３に示す画像特徴量生成装置の各構成要素の第１〜第３の実施の形態に示す動作をプログラムとして構築し、画像特徴量生成装置として利用されるコンピュータにインストールして実行させる、または、ネットワークを介して流通させることが可能である。
【０１４０】
また、構築されたプログラムをハードディスクや、フレキシブルディスク、ＣＤ−ＲＯＭ等の可搬記憶媒体に格納し、コンピュータにインストールする、または、配布することが可能である。
【符号の説明】
【０１４１】
１０  画像入力部
２０  領域取得手段、領域取得部
３０  局所特徴量計算手段、局所特徴量計算部
４０  局所特徴量記憶手段、局所特徴量記憶部
５０  クラスタリング手段、クラスタリング部
６０  クラスタ中心記憶手段、visual words蓄積部
７０  ヒストグラム作成手段、ヒストグラム作成部
８０  画像特徴量出力手段、画像特徴量出力部
【図１】
2011210111.tif 000051
【図２】
2011210111.tif 000052
【図３】
2011210111.tif 000053
【図４】
2011210111.tif 000054
【図５】
2011210111.tif 000055
【図６】
2011210111.tif 000056
【図７】
2011210111.tif 000057
【図８】
2011210111.tif 000058
【図９】
2011210111.tif 000059
【図１０】
2011210111.tif 000060
【図１１】
2011210111.tif 000061
【図１２】
2011210111.tif 000062
【図１３】
2011210111.tif 000063
【図１４】
2011210111.tif 000064
【図１５】
2011210111.tif 000065
【図１６】
2011210111.tif 000066