市町村章データに対する類似画像検索アルゴリズムの性能評価
2008MI099 河原

吉統

指導教員

2008MI118 久野河野真矢

浩之

近年, デジタルカメラや携帯電話の急激な増加と, 容2.2 TBIRTBIR(Text - Based Image Retrieval) は, 画像デー
タにタイトルや製作者, 内容のキーワードをメタデータ量の増加により, インターネット上にある画像が急増しとし, 画像に付加させることでそれを基盤としてユーザており, インターネット上のすべての画像の中からユーの求めるキーワードとのマッチングにより検索を行う

ザの目的の画像を見つけ出すことが困難である. そのた方法である. 検索範囲がタイトルや製作者といった一様

め, 大量の静止画や動画の中からユーザの希望に添うもに統一された分類内容の検索に適しており, 静止画像検のを検索する技術も望まれ, 画像検索技術の研究が進め

索に限らず, 動画像検索においても主流である. しかし,

1 はじめにられており, 画像内容の検索方法の研究が盛んに行われ画像を言葉で表現しようとする場合に, 人と人との個人ている. 現在の特許庁の特許電子図書館（IPDL）では,差が発生するといった問題点もある. また, 言葉では表ウィーン分類を利用した図形商標検索を行っている. こ

現しづらい画像を検索することも難しいといった問題もの手法により図形商標をある程度絞り込んだ検索をすある.

ることができるが, 類似するかどうかの判断ができない.

2.3 CBIR

近年では画像自体を検索キーとして入力し, それに類似した画像を検索する方法が注目されている [3].

CBIR(Content - Based Image Retrieval) は, 画像特徴である形状特徴や色特徴を基に類似する画像を自動そこで本研究では, これらを改善するための類似画像で分類し検索を行う. TBIR では手作業によってあらか検索システムの実装を行う. 具体的には, 市町村章は色じめ全ての画像データにキーワードを付加する必要がが白と黒の二色のモノクロで表現され, その多くが白色あったが，CBIR では検索キーワードを画像に付加するで地を表し, 黒色で市町村マーク表現していて, 色彩か必要がなくなり，個人ごとの検索キーワードの相違がな

らの判別は困難であり, 視覚的パターンが少ないことかくなる. また, 画像をキーワードで表す必要がなくなるら, 本研究では市町村のメタデータを TBIR の手法をので言葉で表現しづらい画像を検索することができる.

使い画像を分類することで, 類似画像検索をするシステ

CBIR には, 2 種類の手法があり, ユーザが作成したクエ

ムと, CBIR の手法を使いエッジ検出による特徴量抽出

リとデータベース内にある画像の類似度を比較して検索をすることで類似画像検索システムを実装する. CBIRを行う手法と, ユーザが直接クエリとなる画像を用意しには OpenCV を用いて Canny 法を使い特徴量を抽出てその画像と類似する画像の検索を行う手法がある.

する. また, 画像管理を行うために CMS を使用する.

現在様々な類似画像検索システムが存在するが, ここCMS は Drupal を使用することにした. そして性能評価をする.

では類似画像検索システムの先行研究として, GazoPa,2 図形商標検索の先行研究
2.1 ウィーン分類

VisualSEEK, MARS, QBIC, WebSEEK, 電子美術館の 6 つについて少しここで示してみる. 表 1 は 6 つの類
似画像検索システムにおける検索方法と特徴量の分析方法を比較した結果である.

ウィーン分類は図形を含む商標の図柄についての国際表1

分類であり, すべての図形要素を大分類, 中分類, 小分

類似画像検索システム類に分けて, 一般から特殊へ細分化を進める階層構成と検索システム

分析手法

検索手法なっている. また, ウィーン分類は 29 の大分類, 144 のGazoPa

Canny 法CBIR

中分類, 1887 の小分類から成り立っている [1]. 小分類

VisualSEEK

Wavelet 変換

CBIRには二種類のものがある. 正小分類と補助小分類である.

MARS

Relevance feedback

CBIR

補助小分類とは正小分類には既に包含されているが, 特QBIC

Wavelet 変換

CBIR

別な観点からグループ分けすることが調査, 検索を容易

WebSEEK

Canny 法CBIR,TBIRにするために有用であると考えられる小分類のことで

特許電子図書館

ウィーン分類TBIRある.

3 類似画像検索システムの提案
3.1 市町村データの特徴
画像特徴量にはカラーヒストグラム, テクスチャ, エッジなどが存在することから, 扱う画像の種類によって抽出方法を選択する必要がある. そこで市町村章データの

図 2 Canny 法 Sobel 法 Laplacian の適応（日進市）

特徴として, 白と黒の二色のモノクロで表現されている．
色などの他要因がないため色彩がなくカラーヒストグラ
ムは必要ない. 雲, 森, 模様などの視覚的パターンが少な

3.4

CMS の種類いため, テクスチャは必要ないと判断した. そこで本研

本研究では汎用 CMS[3] を適用するため, Joomla!，

究では市町村データの特徴よりエッジを用いて特徴量をXOOPS, Drupal，Geeklog の 4 つの汎用 CMS に対して比較を行う. 表 2 はこれら 4 つの CMS の機能である
各々のデータベース，Views との連携性，拡張機能, の抽出することにした.

3.2 エッジ検出
エッジ [2] は物体の輪郭を示す場合が多く, 物体認識

4 項目の比較結果である.

において重要な要素と言える. エッジの検出は, 物体の表 2 汎用 CMS の特徴・機能外縁を現す線であり, 人が画像の特徴を判断するための重要な要素である. エッジ検出とは, 画像の明るさの変CMS

DB

Views

拡張自由度化により物体の輪郭部分の抽出を行うことであり, すべ

JoomlaMySQL○△

高ての画像をモノクロに直してから輪郭部分を抽出するのXOOPS

MySQL

○○

低で画像がカラーであるかどうかといった判断基準がな

DrupalMySQL PostgreSQL○◎高い. エッジの抽出方法として, Wavelet 変換, Canny 法,

Geeklog

MySQL○△

高Sobel 法, Laplacian といった方法が用いられている.
Canny 法は，ガウシアンフィルタと Sobel フィルタ

3.5システムの構造を組み合わせることで細線化されたエッジ検出を行う

図 3 は，実装する類似画像検索システムの構造と，デーフィルタを用いる手法である. Canny 法のアルゴリズタとページの流れを説明したものである. まず Drupal

ムは, 画像の平滑化, エッジ強度と方向の算出, 画像の細上に画像とメタデータを格納する際に，MySQL へ画像線化, ヒステリシス閾処理の順に処理を行う.の他画像に対する類似度と，付加されたメタデータを格3.3 市町村章に用いるエッジ検出
図 2 を見てわかるように, Sobel 法と Laplacian と比納しておく．次に類似画像検索ページから類似画像表示

べ, Canny 法で行った画像は輪郭まで鮮明に表示されてで入力されたメタデータが含まれているのか問い合わせ

おり中央の「進」もよくわかる. これは, Canny 法のガを行いメタデータが含まれているものを選別しさらに，ウシアンフィルタや閾値を適応的に設定することによっ

エッジ検出を行うことで類似度を求め表示するページをページに移動する間に，MySQL に類似画像検索ページて, 強い雑音に対しても極めて効果的に輪郭を抽出する作成する．ページの流れについてことができ, 曲線形状のエッジ抽出において効果が大きは 4.6.3 で説明する.

は 4.5,いといった特徴があるからである. また, その他の画像でも同様の特徴がみられた. よって今回の市町村章にはCanny 法を用いることにした.

図1

元画像（日進市）

図3

システムアーキテクチャ

は 4.3,

4 類似画像検索システムの実装
4.1 実装環境システムの実装環境は以下のような環境で行う.

した. Views にはページを一覧表示させるだけでなく,その他にも条件を指定し追加することがでる. この機能を利用し, キーワードを入力することで市町村画像内の検索ができるようなページを作成する. まず, 4.4 で作・PC のスペック：Ubuntn 8.04

成した画像一覧ページを複製し新たに「キーワード検・メモリ：2GB索」という名前に変更する. 次に「詳細設定ページ」か・CPU のスペック：Intel(R) Core(TM) i3，CPU 530

ら「FILTER CRITERIA」を選択し, 「コンテンツ：ポ@ 2.93GHz 2.93GHz

ジラベル」などの形式を選択していく. そしてそれぞれ・使用するソフト：Drupal 7.8，OpenCV 2.2.

「Expose this」を選択することでキーワードを打ち込む

4.2 使用するデータことで画像一覧ページから対応する画像ページが表示さ

本研究で使用する市町村章データは, インターネット

れる. キーワードとして「地区」, 「市町村」, 県」, 「由上の「ちきぺーじ」から引用した, 愛知県 （54） 岐阜県来」から検索できるようにした. また画像の下の「もっ（42） 三重県 （29）のデータを使用することにする. まと読む」をクリックすることで画像ページに飛ぶことがた, それぞれのデータにメタデータを保存する. 各市町できる.

村章マークには様々な由来や特徴が存在し, これらの特徴からメタデータを考えていく.

4.3 Feeds を用いた画像ページ
市町村章画像とメタデータを組み合わせたページを作成するため Feeds モジュールを使用した. まず, 「サイトの構築」から「コンテンツタイプ」を選択し「コンテンツタイプの追加」をクリックすることで新たなコンテンツタイプを追加する. 名前は「市町村ページ」とした.
そして, 「フィールドの管理」で「市町村」, 「イメージ」, 「県」, 「地区」, 「由来」を追加した. この「イメージ」は画像を格納するためのフィールドである. 次に画像とメタデータの取り込みを行う際に, 一斉にすべての図4

キーワード検索ページデータを取り込む方法を用いた. メタデータはこのまま取り込んでも資料データしかとりこまれず, 画像は取りを作成し，メタデータと組み合わすことができるように

4.6 CBIR を用いた画像検索システム
TBIR を用いた検索システムのほかに CBIR を用いた検索システムを実装することにする. エッジ検出した込むことができない. そこで新たなフィールドの「画像」した，またメタデータの形式を xls 形式から csv 形式に画像同士の類似度を測る為，マッチングを用いることにして取り込んだ. 後は Drupal のサイドバーのナビゲー

した. マッチングは 124 × 124 個の画像の類似度を一度ションにある「インポート」から「import 市町村デーに出せないのでそのため, シェルスクリトを利用しプロタ」ページへ移動し, メタデータが格納されている csvグラムを作成する. 124 個の市町村画像を自動で Canny

ファイルをインポートすることで, メタデータを格納し法を用いたエッジ検出をするプログラム, 124 × 124 のた画像ページが作成される.

計 15376 通りの類似度を自動で算出するプログラムを

4.4 Views を用いた画像一覧ページ作成し, データベースに格納する. そしてその結果をFeeds を用いて作成した画像ページを Views を用いて一覧に表示させる. 「サイト構築」の「Views」から「Add new views」を選んで新しいページを作成する.

Drupal 上で検索することができるシステムを作成することにする.
4.6.1 エッジ検出画像ファイルの作成

ページを「市町村画像」とし, コンテンツタイプを「市Drupal 内の「sichoson」というファイルにある 124 個の市町村画像をすべてエッジ検出し, 新たな「sichoson-町村ページ」とした.

4.5 TBIR を用いた画像検索システム
ここで, TBIR を用いて画像検索システムを実装する.
このシステムが「メタデータの類似から判断するシステム」となる. まず, 画像一覧ページの実装に用いた

Views を利用して画像検索システムを実装することにcanny」というファイルを自動で作成し, 保存されるようなプログラム「base」を作成した.
4.6.2 類似度の算出と DB 格納
124 個の市町村画像の 15376 通りの類似度を自動で算出するプログラム「bash」を作成した. そしてその結果

を「similality.sql」に表示されるようにし, 実行することでデータベース（DB）に格納するようにした.

4.6.3 Drupal 上の類似度検索画面実装
ここで, Drupal 上に類似度を表示するページを作成した. ページの実装には PHP filter モジュールを有効

図5

関市にし PHP コードが使用できるようにした. すべての画像ページに類似度表示ページへリンクできるようなボタン（画像に対する類似度を表示する）を作成し body にテンプレートとして付け加えた.

5 類似画像検索システムの評価
5.1 本システムの評価方法

図6

類似度:関市 0.000000 大治町 0.028959
玉城町 0.05124 飛鳥村 0.055935

本研究では TBIR と CBIR を用いたシステムなので,TBIR 用いることで画像を分類する. また CBIR を用いることでマッチングを行い類似度を算出した結果を比較して行う. マッチングとは, ユーザによって与えられた

6 まとめ

検索キーとデータベースに蓄積されたインデックスとの本研究では, Drupal 上に TBIR を用いたメタデータ間で距離 (類似度) を次々と計算し, 距離が小さい (類似をキーとした検索システムと CBIR を用いた類似度を度が大きい) 順に蓄積画像を出力する処理である.

キーとした検索システム, その両方を組み合わせた検索

5.2 評価比較
評価比較は, まず探したい画像を TBIR により画像を分類し, 分類した画像の中から探している画像を選択す（IPDL）のようにウィーン分類による検索では事前に分る. この選択した画像を画像 A とする. 次に画像 A とが, 本研究のシステムでは TBIR によりある程度画像を市町村画像 124 枚に対してマッチングを行い, 類似度を絞り込み, さらに CBIR で類似度をはかることにより，システムを実装した. その結果, 既存の特許電子図書館類コードを把握する必要があり検索方法が複雑であった算出する. これを Canny 法の手法でエッジ抽出した画容易で正確な検索が可能になった. このシステムを応用像でそれぞれ行う. 図 6 に算出した類似度の結果を示しすれば, 膨大な量のデータにも対応でき, 今後の商標検た. 類似度の値は 0 に近いほど類似性が高い.

索が容易になると考える．反省点としては, キーとなる

5.3 評価結果
まず, TBIR を用いることで, 「丸」というキーワードメタデータの項目が少なく, 膨大な量の画像を扱うには項目を増やさなければならないと感じた. さらに商標ので入力することで, 124 個の画像から 14 個に絞り込めなかには企業のロゴといった色特徴も存在するものも多ることができた. 図 5 で示すような画像 A に類似した

く, 今回使用したエッジ検出以外のアルゴリズムも必要

画像図 6 の類似度を算出した. 同じ関市の画像では 0 がになり, 今後の課題として別のアプローチからのアルゴ表示され, 類似していない画像では 0.05 から 0.1 の値がリズムの改善も必要であると考えた.

算出され, 類似している画像と類似していない画像の区別が出た算出結果となり, エッジ検出が上手く出来ていることが分かる. また, ウィーン分類を使い「丸」というキーワードを使い調べてみたところ，25556 件も出てきてうまく絞り込むことが難しい. ウィーン分類は検索するのが容易でなく，効率が良いとは言えない. しかし本システムでは「地区」, 「市町村」, 「県」「由来」の中から検索でき, 画像も絞り込みやすい. また類似度を表示することができ, どれくらい類似しているかわかり，比較しやすい．そういった点からも本システムは類似画像検索システムとして優れていると言える．

参考文献[1] 工業所有権情報・研修館,
特許電子図書館 - 商標検索,
http://www.ipdl.inpit.go.jp /Syouhyou/syouhyou.htm（accessed2011. 9）[2] 鈴江直人, 吉田真一,状特徴,モノクロ画像検索のための形

高知工科大学情報システム工学科学士学

位論文, 2010．
[3] 山田和彦， 図形商標検索技術の現状と課題,

http://www.japio.or.jp/00yearbook/files/
2008book/08-3-08.pdfsearch=図形商標検索,（accessed 2011. 9）