図形要素に着目した類似図形商標検索システムの構築
Trademark image search system using partial image information
株式会社日立製作所

中央研究所

渡邉裕樹

PROFILE: 平成 18 年、東北大学大学院情報科学研究科修士課程修了。平成 21 年、東北大学大学院博士課程修了。同年、(株 ) 日立製作所入社。
現在、中央研究所に所属し、類似画像検索に関する研究開発に従事。博士（情報科学）。

1

本稿では、まず、図形商標検索における課題を分析し、はじめにそれを解決するための手段について述べる。次に、筆者らの開発したシステムの概要について述べ、基本的な幾類似画像検索とは、色や形状など画像そのものの持つ何図形を用いた性能評価結果を示す。

情報を用いて、クエリ画像と見た目の近い画像をデータベースから検索する技術である（図 1）。類似画像検索の研究において、その応用先の一つとして図形商標検索が古くから取り上げられてきた

2

図形商標検索における課題。

[1-2]

図形商標検索は、主として、新規に図形商標が出願さ

図 2 は、図形の検索における課題を分類したものでれた際に、既存の類似商標が存在しないかの審査や、図あり、上段が検索クエリ、下段が所望の検索結果の例で形分類コードの付与作業の補助として、公的機関や一般ある。

企業の知財管理業務への適用が想定されている。

図形全体の特徴が一致または酷似する場合や、類似す図形商標の出願件数は年々増加傾向であり、作業の効る場合は、従来の類似画像検索技術でも比較的容易に扱率化のために類似画像検索への関心が高まっている [3]。

うことができる。例えば、図 3 に示すような (a) 他のまた、図形商標は複数の文字や図形要素との組み合わせ要素と結合や部分遮蔽、(b) 細部の形状が異なる、(c)からなるため、図形要素に着目した検索（部分検索）がクエリ画像可能な類似画像検索が期待されている。
このようなニーズに対応するために、筆者らは、図形検索結果の例商標から要素を自動抽出し、その特徴量を用いて類似画像検索を行うシステムを開発した [4]。
検索結果

クエリ画像

高次元特徴量ベクトル空間

全体酷似

全体類似STAR
部分酷似

易
画像特徴量（固定長ベクトル）

難図2

図形検索における課題分類

……
…

B

G

色特徴量

・・・

形状特徴量

R

データベースからベクトル間距離の近い画像を探索

図1192

STAR
部分類似

YEAR BOOK 2013

類似画像検索

(a)

(b)

(c)

図3

類似図形の例

(d)

寄稿集

表1

画像検索手法の分類

全体 全体 部分 部分
酷似 類似 酷似 類似

備考

2

○○××

• レコード数＝画像数→高速、省メモリ

オブジェクト検出＋類似画像検索

○

○

○

○

• レコード数＝画像数×１枚あたりのオブジェクト数（1 ～数 10）• 検出精度は辞書 DB に依存• 検出処理のコスト大

局所特徴量照合○×○×• レコード数＝画像数×１枚あたりの局所特徴点数（100 ～数 1000）• 回転、スケール変化、遮蔽に対応可検索の高効率化と精度向上

大域特徴量による類似画像検索

複数の分離した要素から構成、(d) 手書き、などの図形を検索可能である。

検出

一方で、部分的に酷似または類似する図形を検索する

比較STARためには、画像全体の特徴ではなく、要部の特徴を比較

図4

オブジェクト検出を用いた手法可能な検索手法を用いる必要がある。

照合処理

表 1 に画像検索手法の分類を示す。
表 1 の 1 行目の手法が従来の類似画像検索である。
画像全体の概形を表す特徴（大域特徴量）を用いた方法

検出STARSTARであるため、部分酷似／類似する画像を検索することは一致する特徴点が一定数以上であれば検索結果に出力困難である。
要部の特徴量を利用する手法は大きく分けて、オブ

図5

局所特徴量照合を用いた手法

ジェクト検出を用いる手法（表 1 の 2 行目）と、局所特徴量を用いる手法（表 1 の 3 行目）がある。
オブジェクト検出を用いる方法では、図 4 に示すように、入力画像から要部の領域（オブジェクト）を抜き高い。また、単純な図形の場合は、特徴点があまり検出されず、類似性の判定結果が不安定になるという問題もある。

出し、その領域から従来の類似画像検索と同様に抽出し本研究では、部分類似検索を実現するためにオブジェた大域特徴量で比較を行う。検出が適切であれば、従来クト検出を用いる手法を採用した。また、多彩な図形要手法の特性を保ったまま部分領域に着目した検索ができ素を高精度に検出するために、独自に開発したオブジェるが、検出に失敗すると必然的に検索精度が落ちる。汎クト検出技術 [8] を用いた。システム構成の詳細は次章

用のオブジェクト検出器 [5] は、オープンソースの画像にて説明する。

処理ライブラリである OpenCV[6]から利用できるが、

図 3 のように検出対象の見た目のバリエーションが多彩である場合は、有効な検出器の作成が難しいことが知3システム構成られている。
局所特徴量を用いる方法では、図 5 に示すように、図 6 に、開発した類似商標検索システムの構成を示

コーナーなどの画像中の顕著な点（局所特徴点）を検出す。図の上部が検索用データベースを構築するための処し、局所特徴点同士で照合処理を行う。局所特徴点は、理フローであり、下部が検索実行時の処理フローである。

OpenCV を用いて比較的容易に、安定して検出するこ

登録時には、図形商標のデータファイルから、画像全とができ、回転、スケール変化、部分遮蔽などの幾何変体の特徴量を抽出し、書誌情報と共に類似画像検索用の。しかし、本来は同一データベースに登録する。データベースシステムには、の物体を探索する際に適した手法であり、図 3 のよう筆者の属する研究グループで開発した EnraEnra®[9] をに見た目の変化が多様な場合は照合に失敗する可能性が用いた。また、画像特徴量として色ヒストグラム、エッ形にも対応することができる[7]

YEAR BOOK 2O13193

ジパターンヒストグラムを用いた。

特徴量抽出

次に、商標画像に対してオブジェクト検出を行う。図
7 はオブジェクト検出処理の概要を表す図である。オブ
ジェクト検出処理では、あらかじめ登録された事例画像と、入力画像内の部分領域とを特徴量ベースで照合する

オブジェクト検出
図形商標
ファイル

理は、事例データベースに対する近似最近傍探索であり、部分画像領域選択（自動／手動）る。指定方法は、ユーザによる手動操作でも良いし、オブジェクト検出によって領域候補を提示しても良い。選類似画像検索

図 6 図形商標検索システムの構成
入力画像に対して画像特徴量を抽出し、先に登録された図形商標

検索時には、まず、クエリ画像から着目領域を指定す

特徴量抽出

検索結果

ついて、詳細は [8] を参考されたい。検出された各領域の ID と関連付けて、部分画像データベースに登録する。

部分画像
データベース
部分画像

クエリ画像

複数の事例を登録しておくことで同時に複数のカテゴリのオブジェクトを検出可能である。オブジェクト検出にIDによる疎結合

特徴量抽出

事例データ
ベースことで、事例と類似した領域の座標を出力する。照合処

図形商標
データベース

STARS
走査窓の位置、スケール、縦横比を変えて機械的にオブジェクト候補を抽出

オブジェクト候補(数千～数万画像)

事例データベース

RS
RS
ST
TAR最近傍事例との類似度が閾値以上あればオブジェクトと判定

A

図 7 事例ベース一般オブジェクト検出

択された領域から登録時と同様の方法で特徴量が抽出され、図形商標データベースと部分画像データベースの双来の類似画像検索であり、クエリに手書きの星を入力し方に対して、類似画像検索が実行され、類似度の高い画た場合は、画像全体が星の形状をした図形商標が表示さ像が検索結果として出力される。部分画像データベースれる。これに対して、オブジェクト検出によって生成しから検索された画像については、切り出し元の図形商標た部分画像データベースを検索対象に加えることで、図の情報も出力する。

9 のように、部分的に星を含む図形商標が検索できるこ

図 8 と図 9 は、検索画面の構成例である。図 8 は従とがわかる。

図 8 検索結果の一例（従来の類似画像検索）※検索結果の画像は、各社の登録商標である。

194

YEAR BOOK 2013

寄稿集
2

検索の高効率化と精度向上

図 9 検索結果の一例（部分類似検索）※検索結果の画像は、各社の登録商標である。

44.1

性能評価
オブジェクト検出の精度評価2 章で述べたとおり、オブジェクト検出を用いた類
似画像検索の精度は、データベース登録時に実施する検表 2 オブジェクト検出精度（F 値）
提案手法(1 事例の場合 )提案手法(500 事例の場合 )従来手法（OpenCV を使用）

1.12

26.1.326.3.1

26.4.1

0.433

0.579

0.415

0.185

0.538

0.762

0.450

0.430

0.165

0.058

0.116

0.094

出処理の精度に依存する。そこで以下では、図形分類精度を F 値で比較したものである。OpenCV を用いた

コード 1.1.2（一つの星）、26.1.3（円または楕円）、

場合、数百枚規模のデータセットから多様性のあるカテ26.3.1（三角形）、26.4.1（正方形）に該当する図形ゴリに有効な検出器を学習することは難しく、いずれの要素の検出精度を評価する。公開されている図形商標にカテゴリも低い検出精度であった。これに対して、提案は、図形要素の位置までは記録されていないため、人手手法では、少数の事例であっても比較的良好な検出精度による正解付けを行い、各カテゴリ 1000 枚以上のデーが得られた。

タセットを作成した。

図 10 は、500 件の事例データを登録したときの適検出に必要な事例データベースとして、製図ツール

合率と再現率である。部分画像の類似画像検索の前段とで描画した図形 1 枚を用いた場合と、データセットかしてオブジェクト検出を行うことを想定したとき、ユーら無作為に選択した 500 枚の図形を用いた場合で評ザ指定の部分領域をクエリとすれば、誤検出オブジェク価した。また、従来のオブジェクト検出手法として、トが検索の上位に現れることはまれである。したがって、

OpenCV を用いて学習させた図形分類コード毎の専用実運用上は誤検出が少ないよりも、正検出が多いことが検出器を用意した。各条件について、事例（学習データ）重要になる。この観点から、適合率が 0.10 以上におとして選択されなかったデータから 100 枚選び、検出ける再現率を求めると 0.65 ～ 0.92 となり、大部分処理をかけ、検出領域が正解領域と 80% 以上一致しての図形要素が類似画像検索の対象となることが確認できいる場合を正解とし、適合率、再現率、F 値を求めた。

た。

表 2 は、上記 3 種類の評価条件で、図形要素の検出YEAR BOOK 2O131951.00

0.900

26.1.30.80

26.4.1

0.60
0.40
0.20

0.700
0.566

0.600
0.500
0.400
0.300

0.246

0.200

0.00
0.00

0.20

0.40

0.60

0.80

0.100

1.00

0.000

再現率
図 104.20.778

0.800

26.3.1
上位10件の適合率

適合率

1.000

1.1.2

オブジェクト検出精度（再現率と適合率）

類似画像検索図 11を算出した。検索手法としては表 2 に示した 3 種類を用い、それぞれの精度を求めた。なお、局所特徴量照合

0.800

上位100件の適合率

コードが一致する場合に正解とし、上位 N 件の適合率

検索精度（図形分類 1.1.2 のクエリ画像による検索結果上位 10 件の適合率）

0.900

オブジェクト検出によって得られた部分画像データ

形分類コードを用い、クエリ画像のコードと検索結果の0.682

0.700
0.600
0.5000.400
0.258

0.300
0.200

0.136

0.1000.000
類似画像検索に用いた特徴量は、BRISK 特徴量 [10] である。
図 11 はクエリ画像として、図形分類 1.1.2（一つ星）

局所特徴量照合1.000

類似商標検索の精度評価ベースを用いて、検索精度の評価を行った。評価には図オブジェクト検索＋
類似画像検索図 12に属する画像 500 枚を用いた時の検索結果 10 位の平オブジェクト検索＋
類似画像検索

局所特徴量照合

検索精度（図形分類 1.1.2 のクエリ画像による検索結果上位 100 件の適合率）

均適合率である。オブジェクト検出を用いることで適合率は向上し、従来の類似画像検索では見つからなかった商標が検索結果に上がってくることがわかる。また、局

5

おわりに

所特徴量照合は、星型図形のような単純な形状に対しては有効でないという結果が得られた。
図 12 は、検索結果上位 100 件に対して同様の評価

本稿では、オブジェクト検出を用いた部分検索可能な図形商標検索システムについて述べた。

を行った結果である。要部に着目した検索を行うことで、本システムを用いて、4 カテゴリの基本図形の検出精

検索結果を多く取得した場合でも、ノイズが含まれる割度を評価したところ、最大 F 値は 0.53 ～ 0.76、適合合は少なくなることがわかる。

率が 0.10 以上における再現率は 0.65 ～ 0.92 となった。また、上位 100 位内の検索結果適合率は、従来の4.3処理速度の評価

登録時のオブジェクト検出処理時間は、4 カテゴリ各善された。

500 枚、計 2000 枚の事例を用いた場合、429ms/本稿では、比較的形状のはっきりした図形分類カテゴ画像だった。また、図形商標 12 万件に対して最大 10リを用いて評価したが、今後はその他のカテゴリに対し枚、計 97 万枚の部分画像をデータベース登録した場合、ても有効であるかを評価する。また、図形分類コードは検索時間は 10ms 程度であり、過検出を許して大量に小分類で 1500 以上存在するが、これら全てのカテゴ登録しても十分に実用可能な速度であった。測定環境は、リに対して事例を収集することが困難なことから、事例

Intel Core ™ i7-3930K 2.93 GHz、 メ モ リ 64GBデータベースを自動構築する方法についても検討する。

である。

196

類似画像検索の 0.258 に対して、0.682 と大幅に改YEAR BOOK 2013

[1] 加藤俊一 , 下垣弘行 , 藤村是明 . 画像対話型商標・（http://www.ipdl.inpit.go.jp/homepg.ipdl） が意 匠 デ ー タ ベ ー ス trademark. 電 子 情 報 通 信 学

一般公開している図形商標データを研究目的で入手

会 誌 D-II, Vol. J72-D-II, No. 4, pp. 535–544,したものである。

2

検索の高効率化と精度向上※本研究で使用したデータセットは、特許電子図書館

寄稿集

参考文献

1989.
[2] 長嶋秀世 , 土方洋一 . 人間の主観を重視した類似商標図形の検索の基礎検討 . 電子情報通信学会誌 D-II,Vol. J74-D-II, No. 3, pp. 311-320, 1991.
[3] 半田正人 . 商標検索における商標解析の現状と課
題 . Japio YEAR BOOK 2009, pp. 216-219,2009.
[4] 渡邉裕樹，栗原恒弥，廣池敦．事例ベース一般オブ
ジェクト検出を用いた部分検索可能な類似商標検索システム．第 16 回画像の認識・理解シンポジウム（MIRU2013），2013．
[5] P . V i o l a a n d M . J o n e s . R a p i d o b j e c t
detection using a boosted cascade ofsimple features. In IEEE Computer Society
Conference on Computer Vision and Pattern
Recognition, Vol. 1. 2001.
[6] OpenCV: Open Computer Vision Library.
http://sourceforge.net/projects/opencvlibrary/[7] 藤吉弘亘 , 安倍満 . 局所勾配特徴抽出技術 : SIFT
以降のアプローチ ( 特集画像技術の最前線 ) . 精密工学会誌 , Vol. 77, No. 12, pp. 1109–1116,2011.
[8] 渡邉裕樹 , 永吉洋登 , 廣池敦 . 類似画像検索に基づく事例ベース一般オブジェクト検出 . 信学技報 ,Vol. 111, No. 353 (PRMU), pp. 101-106,
2011.
[9] 廣池敦 , 小林秀幹 . 類似画像検索のこれまでとこれから～ Web 画像検索サービス「GazoPa」の経験を踏まえて～ . 信学技報 , Vol. 111, No. 222(PRMU), pp. 21-23, 2011.
[10] Stefan Leutenegger, Margarita Chli, andR.Y. Siegwart. BRISK: Binary robust invariant
scalable keypoints. In Proceedings of IEEE
International Conference on Computer
Vision, pp. 2548–2555, 2011.

YEAR BOOK 2O13197