意匠検索システムにおける畳み込み
ニューラルネットワーク技術の使用
Application of Convolutional Neural Network Technology in Design Patent Search System

知識産権出版社有限責任公司

韓月紅

北京理工大学コンピュータ科学・技術学部卒業、工学修士。かねてよりソフトウェア開発に従事。2012 年 4 月に知識産権出版社有限責任公司に入社、主な職務内容は意匠画像検索システムの研究と開発。

1

前書き

度を計算し、類似度でソートすることにより、画像から画像を検索する機能を実現するものである。畳み込み

中国では、特許が発明、実用新案、意匠の 3 つに分

ニューラルネットワークに基づく意匠画像検索システム

けられる。そのうち意匠とは、物品の形状、模様、色彩は、検索効率と検索効果のどちらも従来の検索システム又はその結合において行われる、美感を起こし工業上のより優れている。

利用に向いている新たなデザインのことである。意匠が登録要件に適合するかどうかを判断するために、類似性検索を行う必要がある。
画像の内容に基づく従来の意匠検索システムでは、機械学習のアルゴリズムを用いて、画像からユーザーが関

2

従来の意匠検索方法

意匠検索方法の発展は、主に 2 つの段階に分けられる。

心を持つ特徴として、色彩、テクスチャー、形状、構造などの視覚的特徴を抽出することにより、画像から画像2.1

テキスト検索を検索する機能を実現する。画像の品質、特徴認識など

当初、画像技術がまだまだ未熟であるため、意匠検索が抽出特徴の正確さに影響があり、最終的には検索効果とは主に書誌的事項に基づくテキスト検索であった。審に影響を与える。また、従来の検索方法は画像特徴が高査官が対象項目を 1 つずつチェックしなければならず、次元で、計算コストが高いため、検索効率が低かった。

手間隙がかかっていた。

近年、深層学習は日ごとに成熟してきており、強力な学習能力が与えられる。深層学習はサンプルデータの内2562.2

内容に基づく画像検索的なルールと階層構造を学習するプロセスで、マシンが画像処理技術が発展するにつれて、画像の内容に基づ人間のように分析・学習能力を持って、テキスト、画像、く検索システムが出現した。当該システムでは、従来の音声などのデータを認識できるようにするのは最終的な画像処理アルゴリズムを用いて、画像の特徴として色彩、目標である。畳み込みニューラルネットワーク（CNN）

テクスチャー、構造などを 1 つずつ抽出して、画像のは深層学習の代表的なアルゴリズムの 1 つであり、画特徴ベクトルを生成し、対象画像との相関度でソートし、像処理と認識においては固有の利点を有し、大きな実績価値のない設計を取り除くものであった。

を上げている。本稿では、畳み込みニューラルネットワー

数年前に、我々は従来の画像処理技術と機械学習を組クに基づく新たな意匠画像検索システムを紹介する。当み合わせて意匠検索システムを実現していた。当該シス

該システムは、畳み込みニューラルネットワークを利用

テムは、意匠画像の特徴に基づいて、形状、構造、テクして画像から特徴ベクトルを抽出し、対象画像との類似スチャー、出力基本要素、色彩の 5 種類の画像特徴を選択して、画像の特徴ベクトルを構築し、その上で類似度でのソートを実現するものである。

画像

数年間使用しているうちに、画像の品質、特徴認識などが抽出特徴の正確さに影響があり、最終的には検索効果に影響を与えるということが判明した。従来の検索方法は画像特徴が高次元で、計算コストが高いため、検索トレーニング後の vgg16 ネットワークモデルが画像を特徴行列に変換する効率が低かった。

平坦化又はグローバルプーリング処理で、特徴行列を一次元化する

近年、深層学習は日ごとに成熟してきており、畳み込みニューラルネットワーク（CNN）が、深層学習の代表的なアルゴリズムの 1 つとして、画像処理において従来の画像処理方法より明らかな利点を示している。畳み込みニューラルネットワークとは、生物の大脳皮質の構造をかたどって特別に設計した複数の隠れ層を含む人特徴ベクトルを出力する
図1

工ニューラルネットワークである。畳み込み層、プーリング層、活性化関数は畳み込みニューラルネットワーク

例えば、次の画像が入力される。の重要な構成要素である。畳み込みニューラルネット
ワークは、局所受容野、重み共有、ダウンサンプリングの 3 種の技術により、ネットワークモデルの複雑さを低減させるだけでなく、平行移動、回転、拡大縮小などには高度な不変性を有している。
畳み込みニューラルネットワーク（CNN）はすでにコンピュータビジョンにおいて幅広く利用されている。
畳み込みニューラルネットワークは二次元画像を直接処理することができ、元の画像を入力として、大量のサンプルから効果的に所定の特徴を学習できるため、複雑な特徴抽出プロセスが避けられる。我々は、畳み込みニューラルネットワーク技術の進歩を踏まえ、従来の意匠検索システムに畳み込みニューラルネットワーク技術を導入して、その改良とアップグレードを行っている。
Simonyan と Zisserman 両 氏 が、 文 献「VeryDeep Convolutional Networks for Large Scale

図2

転移学習後の vgg16 モデルを利用して特徴ベクトルを得、視覚化した後に、次の画像が表示される。

Image Recognition」において vgg という畳み込みニューラルネットワークモデルを提案した。我々は大量の古典的な意匠グラフィックデータを通じて、意匠画像の処理に向け vgg16 モデルの転移学習を実現していた。トレーニングした vgg16 ネットワーク構造で画像特徴を抽出する処理プロセスは次のとおりである。

YEAR BOOK 2O22 257

2
特許情報の高度な活用

畳み込みニューラルネットワーク3 （ＣＮＮ）に基づく意匠検索方法

平行移動、回転、拡大縮小又は他の変形を含む画像には、高度な不変性を有する。
画像の破損、欠損などには、ノイズ耐性を有する。
特徴抽出と比較では少ない人力を交えるだけで済む。
特徴検出はトレーニングデータを通じて学習することで、明示的な特徴抽出が避けられる。
直接元の画像を入力とするのは、画像情報の損失が避けられる。

4

畳み込みニューラルネットワークに基づく検索方法の使用例

平面図、斜視図についてそれぞれ検索例を挙げる。

図3

畳み込みニューラルネットワーク（CNN）技術の導4.1

入で、次のいくつかの効果を得ている。

258

図4

入力画像

図5

検索結果

平面的な物品の場合の検索

4.2

立体的な物品の場合の検索

図6

入力画像

2
特許情報の高度な活用

図7

検索結果

5 ２つの画像検索方法の比較
内容に基づく画像検索方法と畳み込みニューラルネットワークに基づく画像検索方法を比較し、そのうち検索条件と検索結果の比較は次のとおりである。

5.1

検索条件

ロカルノ分類表示：05-05
物品の名称：図案布
対象頁：ページ１

図8

入力画像

YEAR BOOK 2O22 259

5.2

内容に基づく画像検索の効果

図95.3

畳み込みニューラルネットワーク（CNN）に基づく意匠検索の効果

図 10

上記の比較結果から明らかなように、畳み込みニューラルネットワークに基づく意匠検索システムは、内容に基づく意匠画像検索システムより検索効果が優れてい260

る。検索実施者の作業効率と作業効果の大幅な向上が期待できると思われる。

6終わりに

本稿では、従来の意匠検索方法の改良として、意匠画像そのものの特徴を踏まえ、畳み込みニューラルネットワーク（CNN）技術に基づく新規な意匠検索方法を実現することを紹介し、さらに、具体的な事例において当該検索方法の使用を紹介している。畳み込みニューラ
ルネットワークの使用で、検索実施者の作業が簡素化さ

2
特許情報の高度な活用れ、作業効率が大幅に向上することが期待できると思われる。

YEAR BOOK 2O22 261