ヒストグラム特徴量を用いた類似画像検索手法の開発
Similar Image Retrieval Using Histogram Features

画像を的確に検索する技術、すなわち画像内容に基づく画像検索技術（Content-Based Image RetrievalCBIR）は、画像を有効に活用するための重要な技術として近年大きな注目を集めている。CBIR 技術は色合い、形状等低次元特徴（Low-Level Feature）など、画像自体の性質を反映する画像特徴量を用いて、類似性が高い画像を検索する。検索結果は、指定したクエ

陳 キュウ (Qiu CHEN, Ph. D.)

リ画像と似ている順序で返される。例えば、IBM の工学院大学 准教授

QBIC システム、MIT の PHOTOBOOK システムなど(Associate Professor, Kogakuin University)がすでに実験的に開発されているが、特徴量の抽出、米国 IEEE
研究専門分野：画像認識 画像検索

検索精度、検索効率の向上などが課題となっているた
め、まだ実用化に至っていない。
現在行われている一般的な内容に基づく画像検索技
術では、色ヒストグラムを用いた手法は非常に高速なあらまし

大量の画像を蓄積した画像データベースか処理が可能となるが、明るさの変化と入力画像の品質らいかに効率的に画像を検索、管理することが画像処の影響を受けやすく、精度はそれほど高くない。また、理研究分野にて最も解決すべき課題になっている。内固有空間法を代表とする Example based 手法は、学容に基づく画像検索（Content-based Image retrieval）

習サンプルのみから対象に関する知識を獲得、利用し、が最も注目されている技術であるが、特徴量の抽出、一つの画像をまとめ、一つのクラスとし固有空間を形検索精度、検索効率の向上などが課題となっているた

成する。その性能は高いが、処理が複雑で高速検索がめ、まだ実用化に至っていない。本研究では、実空間できない欠点がある。

及び周波数空間におけるロバスト性の高い画像ヒスト

画像を検索する際には画像から特徴量を抽出した後、グラム特徴量を抽出し、組み合わせることにより特徴クエリ画像とデータベース上の画像の特徴量を比較し、ベクトルを生成し、データベースの画像中から、「似て特徴量の一致率により類似画像を検索する。画像の特いる画像」を的確に検索できる画像検索手法を提案し、徴量には、周波数空間から得られる特徴量と実空間（画従来手法より高い検索精度を実現した。

像空間）から得られる特徴量がある。前者の周波数空間の特徴量であるが、多くの手法が MPEG-7[2]に用いられるガボールフィルタ[1]を利用したものや、DFT（離散フーリエ変換）[3]の派生アルゴリズムに依存し１．研究の背景と目的デジタルカメラの普及、記憶媒体の大容量化およびている。後者の実空間から得られる特徴量は画像の色低価格化、インターネットの普及などにつれ、膨大なやテクスチャに基づいた特徴量であり、カラーヒスト量のデジタル画像を取得、保存及び伝送することが容グラム[4]、カラーコレログラム[5]、カラーモーメント易に実現できているが、画像を検索、分類することが[6]等の記述子により表される。

困難になってきている。そのため、類似画像を高速か本研究では周波数空間上の特徴量に 2 次元離散コサつ正確に探し出す画像検索技術が強く求められている。

イン変換（DCT）したあとの周波数域の係数を利用し、Yahoo!や Google 等は画像検索サービスをすでに提供

実空間の特徴量には LBP（Local Binary Pattern）[8]しているが、主としてテキストに基づく検索技術が利を用いた。DCT は圧縮の場合に圧縮率を高めることが用されており、検索精度が不十分である。本当の意味できる特性を持っていることや、ハードウェア化が容での画像検索が実現できているとは言えない。

易な高速化アルゴリズムが存在することなどの理由により、JPEG や MPEG 等の標準フォーマットに用い大量の画像を蓄積した画像データベースから所望の

1

TELECOM FRONTIER No.86 2015 WINTER

ヒストグラム特徴量を用いた類似画像検索手法の開発
Similar Image Retrieval Using Histogram Features

られる変換である。実空間におけるロバスト性が高い
画像特徴として LBP 特徴量[8]が挙げられる。特徴として画像の局所的な特徴を抽出でき、周辺画素との関係性を捉えることができる。また、画像の照明変化の影響を受けにくいなどメリットがある。
本研究では、実空間及び周波数空間におけるロバスト性の高い画像ヒストグラム特徴量を抽出し、組み合わせることにより特徴ベクトルを生成し、高精度な画像検索手法の実現を目標としている。
２．提案手法図 1 のように、本研究で提案されている画像特徴抽出及び画像検索システムの概念図を示している。画像からそれぞれ周波数空間及び実空間からロバスト性の高い画像特徴を抽出し、それらの特徴量を組み合わせ

図１

提案した画像検索手法

ることにより、特徴量間の関連性に着目することができる。登録時には得られた組み合わせた画像特徴量をデータベースに保存し、検索時には画像から得られた周波数空間における画像特徴の抽出を行う際に、画画像特徴量を、あらかじめデータベースに登録されて像全体について DCT を行うのではなく、小ブロックいる画像特徴量と比較し検索を行う。以下は、それぞに分割し、それぞれの画像ブロックを 2 次元離散コサれの画像特徴量の抽出方法について述べる。

イン変換（DCT）したあとの周波数域の係数を利用し、ベクトル量子化 *1 により周波数空間における画像特徴の抽出を行う。図 2 に示すように、それぞれの帯域２.１ 周波数空間における画像特徴の抽出
DCT は周波数空間への変換でよく使われる。画像圧は、縦方向、斜め方向、横方向のそれぞれの周波数成縮等に適用した場合に圧縮率を高めることができる優分に対応しており、1 つのブロック領域を 6 次元の特れた特性を持っていることや、ハードウェア化が容易徴ベクトルで構成する。空間周波数を用いた特徴量抽な高速化アルゴリズムが存在することなどの理由によ出手法であり、特徴点抽出による手法に比べ、領域のり JPEG などの標準的な画像フォーマットにも採用さずれや特徴量の誤差に対してロバストな性能を有してれている。2 次元 DCT 変換は以下の(1)～(3)式のよういる。に表される。
N 1 N 1

C (u, v)   (u ) (v) f ( x, y)  cos(x 0 y 0N 1 N 1f ( x, y )    (u ) (v)C (u, v)  cos(u 0 v 0 1
 N
但し、  ( )  2 N:

for:

for(2 x  1)u
(2 y  1)v) cos() ･････････ (1)2N2N(2 x  1)u
(2 y  1)v) cos() ･････････ (2)
2N2N

0
  1,2,..., N  1

2･････････････････････ (3)TELECOM FRONTIER No.86 2015 WINTER

ヒストグラム特徴量を用いた類似画像検索手法の開発
Similar Image Retrieval Using Histogram Features

上のとき、1 を低周波特徴ベクトルに割り当て、DCT係数が 0 未満のとき、0 を低周波特徴ベクトルに割り当てる。ここでは 6 次元のベクトルを考え、10 進数表
記で表すと 0 から 63 までの値をとり、特徴量算出後に格納するヒストグラムの頻度も同様の値を持つ。生成されたヒストグラム情報は画像の特徴として有効であり、それは DCT 係数の位相情報と考えられる。照明条件などの撮影条件にはロバスト性があると考えられる。
２.２ 実空間における画像特徴の抽出
図２

実空間におけるロバスト性が高い画像特徴として

2 次元離散コサイン変換(DCT)により画像低周波成分の抽出

LBP 特徴量[8]が挙げられる。特徴として画像の局所的な特徴を抽出できる。また、画像の照明変化の影響を受けにくいなどメリットがある。そして、周辺画素ベクトル量子化処理により、入力情報を圧縮してヒとの関係性を捉えることができる。

ストグラム情報を画像の特徴情報として抽出すること

LBP とは、注目する画素の近傍 8 画素について、そが可能になる。この原理に基づいて、簡単かつ高い認の画素との差を取り、正であれば 1 を、ゼロまたは負識率を持つ顔認識技術を開発した[7]。これをベースにであれば 0 を割り当て、8 近傍を 8 ビットの二進数でして、本研究の画像検索への適用を考え出した。

表し特徴を得る手法である[8][9][10]。また、計算コスそれぞれの低周波数域の係数に対して 2 値化ベクトトが少ないこと、派生アルゴリズムで様々な応用が期ル量子化処理を行う。特徴量を計算しヒストグラムを待できることが挙げられる。

作成する一連の流れを図 3 に示す。DCT 係数が 0 以

図３ 周波数空間での画像特徴抽出

3TELECOM FRONTIER No.86 2015 WINTER

ヒストグラム特徴量を用いた類似画像検索手法の開発
Similar Image Retrieval Using Histogram Features

図 4 に LBP の近傍画素を 2 値化する例を示してい

LBP は標本点の数が増加するにつれて LBP のとるる 。Original LBP では 8 ビットの 2 進数の特徴量を値が指数関数的に増加してしまう。この欠点について得ることができ、10 進数へ変換すると、0 から 255 のUniform pattern という方法で解決できる[10]。LBP特徴の値を得る。それで生成されたヒストグラム情報の 2 進数の値において、1 と 0 の推移の注目により特は実空間での画像の特徴として有効で、画像の局所的徴ベクトルの頻度をその特徴の損害無しで縮小するもな特徴を抽出できる。のである。例として 8 つの補間点をとる場合、256 のLBP には上記のような近傍画素を標本点としてと頻度の代わりに 58 の頻度、または残りのパターンが 1つの頻度に蓄積される場合の 59 の頻度を得る。

るのではなく、標本点の数を制限せずに拡張されたLBP が存在する[10]。この手法の LBP では、例としまた、異なる半径を持つオペレーターを組み合わせて図 5 のように 3 つの異なる LBP オペレーターが与ることにより LBP を拡張することができる。それぞえられる。標本点は円形に配置し正確なピクセル位置

れ半径の違う円形の LBP オペレーターを合計したもに当てはまらない為に、この手法では計算の際にバイのが LBP 画像ヒストグラム特徴として生成される。

リニア補間を使用する。

図４LBP 画像特徴量

図５ 半径の違う円形の LBP オペレーター

4TELECOM FRONTIER No.86 2015 WINTER

ヒストグラム特徴量を用いた類似画像検索手法の開発
Similar Image Retrieval Using Histogram Features

３．実験を持つことから、1 枚の画像につき 241 の頻度が次々３.１ 実験方法に計算される。筆者らは算出された特徴量を元に、ク本研究で提案した画像検索手法を、サイズ 384×256

エリ画像とデータベース画像の特徴量の比較を行う。

および 256×384 のコレルの画像からなる Wang デー

クエリ画像 1 枚を入力し全てのデータベース画像の特タベース[11]を用いて評価した。10 のカテゴリーの徴量と比較し距離を算出する。1 枚のクエリ画像につ100 の画像が合計 1,000 の画像セットを構築した。図き 250 回の比較が行われ、クエリ画像は 250 枚あるこ

6 に Wang データベースの例を示す。実験で用いられとから 42,500 回の画像の比較が行われた。データベたカテゴリーにはアフリカの人々、建造物、花、象、ース画像からいくつかの距離の小さい画像を検索し同山が選ばれた。

じカテゴリーであるかどうかを確認する。

最初に実験で使用する画像全ての特徴量の算出を行う。実空間特徴には 8 つの補間点と異なる 3 つの半径３.２ 実験結果を持つ Extended LBP を利用する。それは Takala ら実験の結果を表 1 に示す。評価指標として適合率と[9]の手法と同様であり、比較のために選ばれた。

再現率*2 を使用した。Takala ら[9]の実験では、3 つのUniform pattern によりそれぞれの LBP が持つ頻度半径が異なる補間点が 8 つの LBP オペレーターを使は 59 に縮小され、Extended LBP は 177 の頻度が算用していたことから、比較の為に同じ LBP を用いて出された。また、周波数空間の DCT 特徴は 64 の頻度実験を行った。LBP のみの結果では、3 つのオペレー

図６ 検索実験用画像データベースの画像例

表１

各種検索方法の実験結果の比較（適合率(Precision) / 再現率(Recall)で評価）

検索方法

10 images (%)

25 images (%)

50images (%)

DCT

60.4/12.1

51.3/25.7

41.2/41.2

LBP

61.2/12.2

54.9/27.4

46.6/46.6

LBP

64.0/12.8

56.8/28.4

47.7/47.7

DCT+LBP

66.3/13.3

58.2/29.1

48.1/48.1

68.0/13.6

58.8/29.4

48.4/48.4

DCT+LBPweight5TELECOM FRONTIER No.86 2015 WINTER

ヒストグラム特徴量を用いた類似画像検索手法の開発
Similar Image Retrieval Using Histogram Features

ターの結果が 1 つのオペレーターよりも適合率と再現用語の解説率が高い。さらに 3 つのオペレーターを持つ LBP と*1. ベクトル量子化

DCT を使う検索は、各手法よりも適合率と再現率が高圧縮分野での有名なアルゴリズムの一つであり、い。両特徴量に重みを加えると 10 枚の画像検索では複数の標本値をまとめて量子化することにより、適合率が 68.0％（再現率は 13.6％）であり、他の手法標本値間の冗長度を情報圧縮に利用したものであと比べて明らかに高い。

り、標本値を一つ一つ量子化するスカラ量子化において生じる冗長性を低減することができる。
*2. 適合率と再現率

４．まとめ(1) 適合率（Precision）：検索した結果にどの程度正本研究では、実空間特徴と周波数空間特徴を用いた画像検索を実行し結果を考察した。結果として DCT解が含まれるかを示す指標である。

を従来の LBP を用いた画像検索に組み合わせること

例：25 枚データベースから抜き出して 10 枚正解→ 10/25=0.4

により画像検索の精度を向上させた。実空間特徴と周波数空間特徴の両方を用いることにより、より多く画(2) 再現率（Recall）：正解のうち、どの程度が検索像の特徴が得られることを確認することができた。にヒットするかを示す指標である。

また、画像をブロック化して LBP 特徴と DCT 特徴

例：50 枚正解があるうち 30 枚がヒットされた→ 30/50=0.6

を比較することによってさらなる良い結果が期待できるほか、LBP には拡張された手法があり、それらを取り入れることによって画像検索の精度を高めることができると考えられる。

参考文献[1] B. S. Manjunath, W. Y. Ma, “Texture Features forBrowsing and Retrieval of Image Data”, IEEE

５．今後の展望
デジタル技術の日進月歩により、21 世紀はアナログTransactions on Pattern Analysis and MachineIntelligence, Vol. 18, pp. 837-842, 1996.

社会からデジタル社会に変貌したと言われている。総合マーケティングビジネスの株式会社富士経済の調査[2] B. S. Manjunath, J.-R. Ohm, V. Vasudevan, andによると、デジタルカメラの世界市場は 2010 年にはA. Yamada, “Color and Texture Descriptors”,

約 8,820 万台に達したと見込まれる。こんな膨大な量

IEEE Transactions on Circuits and Systems forのカメラを利用し、得られた画像の量が非常に大規模Video Technology, Vol. 11, pp. 703-715, 2001.
[3]なものと容易に想像できる。デジタルカメラ、インタ

D.-G.

Sim,H.-K.

Kim,

andD.-H.

Oh,ーネット、デジタル放送などにより、人々が扱う画像“Translation, Rotation, and Scale Invariant

データが世の中に溢れており、画像検索技術は社会的Texture Descriptor for Texture-Based Imageニーズが高く、将来極めて大きな市場になると見込ま

Retrieval”, International Conference on Imageれる。そのため、いかに効率的に画像を検索、管理す

Processing, pp.742-745, 2000.
[4] M. Swain, D. Ballard, “Color Indexing”, 3rd

ることが画像処理研究分野にて最も解決すべき課題にInternational Conference on Computer Vision,

なっている。

pp. 11-32, 1990.

今後は、本研究で行った検索処理技術の検証と検索[5] J. Huang, S. R. Kumar, M. Mitra, W.-J. Zhu, and

精度の評価を行い、特徴量の抽出、検索精度、検索効率の向上を図り、高信頼性画像検索システムを実現すR.

る。本研究により、リアルタイムな内容に基づく画像Correlograms”, IEEE Conference on Computer

検索機能が実現でき、これからの情報化社会と産業のVision and Pattern Recognition”, pp. 762-768,発展に大きく貢献できると期待される。

1997.
6Zabih,“ImageIndexing

Using

Color

TELECOM FRONTIER No.86 2015 WINTER

ヒストグラム特徴量を用いた類似画像検索手法の開発
Similar Image Retrieval Using Histogram Features[6] M. Stricker, M. Orengo, “Similarity of ColorImages”, SPIE Conference on Storage andRetrieval for Image and Video Databases, pp.
381-392, 1995.
[7] Q. Chen, K. Kotani, F. Lee, and T. Ohmi,“Combined Histogram-based Features of DCT
Coefficients in Low-frequency Domains for Face
Recognition”,

Proceeding

InternationalConferenceofonthe7thSystemsandNetworks Communications (ICSNC 2012), pp.
108-112, Nov. 2012.
[8] T. Ojala, M. Pietikäinen, and D. Hardwood, “A
Comparative Study of Texture Measures withClassification Based on Feature Distribution”,
Pattern Recognition, Vol. 29, pp. 51-59, 1996.
[9] V. Takala, T. Ahonen, and M. Pietikäinen,“Block-Based Methods for Image Retrieval
Using Local Binary Patterns,” SCIA 2005,
LNCS 3540, pp. 882-891, 2005.
[10] Ojala T., M. Pietikäinen, and T. Mäenpää,“Multiresolution

Gray-ScaleandRotation

Invariant Texture Classification with Local
BinaryPatterns”,

IEEETransactions

onPattern Analysis and Machine Intelligence, Vol.
24, pp. 971-987, 2002.
[11] J. Li and J. Z. Wang, “Real-time Computerized
Annotation of Pictures”, IEEE Transactions on
Pattern Analysis and Machine Intelligence, Vol.
30, No. 6, pp. 985-1002, 2008.

この研究は、平成２１年度ＳＣＡＴ研究助成の対象として採用され、平成２２～２４年度に実施されたものです。

7

TELECOM FRONTIER No.86 2015 WINTER