機械学習コンペティションで養うトレンド技術の活用スキル- 商標画像検索 事例 プラットフォーム開発部

穴井 晃太
Font：LINE Seed JP © LINE Corp.

目次•

自己紹介

•

機械学習コンペティションとは•類似商標画像検索 事例•

コンペティションと業務の共存※ 資料中の商標画像は、削除して公開しています

2 / 17

自己紹介
・名前：穴井 晃太
・所属：プラットフォーム開発部 AI・データサイエンス技術室

・：あにゃい (@rikunchu_28)

・機械学習を活用した分析業務に従事

・一児のパパ

3 / 17

機械学習コンペティションとは？
企業などから提供されたデータ・タスクをもとにAIモデルを作成し、予測精度を競争

予測結果
・コード
企業・研究機関

モデル作成

データ・タスク（+賞金）

プラットフォーム

・医療・自然保護
・企業課題…

・Kaggle・SIGNATE
・Nishika
…

参加者
予測精度

4 / 17

類似商標画像検索 事例
AI×商標：イメージサーチコンペティション• 開催元：特許庁• ニーズ：商標画像審査の効率化• タスク：画像検索ツール作成
約80万件のデータベースから、審査対象と類似する画像２０件抽出• データセット：類似画像ペア 2311件• 実行環境や処理時間に制約がある、実務目線のコンペ設計（優勝チームのツールは実際に特許庁で使用）

画像検索ツール イメージ
審査対象
商標画像

画像検索ツール

類似画像
類似画像
類似類似画像商標画像

20件

DataBase
約80万件

5 / 17

類似商標画像検索 事例
順位表

本コンペティションで2位になった経験をもとに、次ページ以降で取り組みを紹介
6 / 17

類似商標画像検索 事例
類似画像検索 基本構成
① 画像をベクトル化② コサイン類似度などに基づいて、類似したベクトル（画像）を検索①
Query
Images②
NearestNeighbors
SearchImage Encoder

Search Result
・Index A
・Index B…

Embedding
Data Base

7 / 17

類似商標画像検索 事例
類似画像検索 基本構成
① 画像をベクトル化② コサイン類似度などに基づいて、類似したベクトル（画像）を検索①QueryImages②
NearestNeighbors
SearchImage Encoder

Search Result
・Index A
・Index B…

Embedding
Data Base

Deep Learning

MetricLearning
8 / 17

類似商標画像検索 事例
Metric Learning (距離学習)
・検索に適したベクトルを学習させる手法- 類似サンプル同士はベクトルが近く、非類似サンプル同士はベクトルを遠ざけるよう学習
・学習方式によりClassification Loss、Embedding Lossに大別 [1]- 今回はEmbedding Lossを使用
Classification Loss

Embedding Loss

Positive Pair
（近づける）
分類タスク＋マージン拡張

種別に応じた検索結果を求めたい場合に使用
例：商品検索など

Negative Pair
（遠ざける）

明確な種別の定義が難しい or 種別が多い場合に使用⇒ 商標画像に適切[1] A Metric Learning Reality Check [Musgrave+, ECCV 2020]

9 / 17

類似商標画像検索 事例商標画像検索 特有のポイント

・文字よりも絵柄の類似性 が重要

・絵柄はシンプル～複雑まで様々

10 / 17

類似商標画像検索 事例
商標画像検索 特有のポイント

・文字よりも絵柄の類似性 が重要

Data Augmentationの工夫- 文字をランダムに追加し、絵柄を学ばせる

・絵柄はシンプル～複雑まで様々

画像のベクトル化に複数Backboneを使用- ベクトルの多様化
Transformer

CNN

11 / 17

類似商標画像検索 事例
作成した検索ツール構成
Training

複数Backbone

512

512

文字をランダムに追加

Backbone

L2
BN

Augmentation

FC

Query
ImagesTargetImages

Metric Learning

Embeddings

Image Encoder

ContrastiveLoss
withCrossBatchMemory(1024)

CrossBatchMemory … 学習安定化

Swin Transformer
Large

or
ConvNext
BaseInference

512

Concat1024

Transform

Nearest Neighbors
Search512

QueryImages

Image EncoderRAPIDS
Nearest Neighbors

12 / 17

類似商標画像検索 事例
作成した検索ツール構成
Training
Embeddings

Image Encoder

複数Backbone

512

512

文字をランダムに追加

Backbone

L2
BN

Augmentation

FC

QueryImages

TargetImages

Metric Learning
ContrastiveLoss
withCrossBatchMemory(1024)

CrossBatchMemory … 学習安定化

Swin Transformer
Large

or
ConvNext
Base・Swin Transformer[Liu+, ICCV 2021]

・ConvNext[Liu+, CVPR 2022]

・CrossBatchMemory[Wang+, CVPR 2020]

コンペで試行を重ね トレンド技術をキャッチアップ
13 / 17

コンペティションと業務の共存
コンペティションと業務を共存し、技術力の向上を促進
技術情報・ノウハウ（ビジネスへの応用）- 類似データ検索- 画像向けモデルコンペティション

技術力の向上

業務- 製品検索- 特許分析

チャレンジ・育成（失敗出来る環境）14 / 17

コンペティションと業務の共存
教育の一環で、社内コンペも開催
初学者～中級者まで楽しみながらスキルアップできる仕組みづくり

会社全体のスキル底上げ

・第1回コンペ：ゲームソフト売り上げ予測
2week開催し、22人参加・提出 375回
最終日まで活発な優勝争い→コンペ後は取組み内容を共有しあい、ノウハウを成熟

15 / 17

Appendix
商標画像検索の参考情報
・著書(共著)：『特許調査へのＡＩ導入と業務効率化 および 特許情報の有効活用方法』 (株)情報機構
・サンプルコード：TTDC-keisoku/trademark-image-retrieval-sample-code
その他
・Twitter：＠TTDC_keisoku

16 / 17

Appendix
Loss Function
コンペティション1位チームは MultiSimilarityLoss [Wang+, CVPR 2019]を使用。

追加実験の結果、 ContrastiveLossよりもMultiSimilarityLossが良好。
・ContrastiveLoss：全サンプルで一様に作用・MultiSimilarityLoss：Hardサンプルを重視⇒類似データの多い本コンペに適していたと想定

MultiSimilarityLoss (PyTorch Metric Learning)
類似度が・max(Negative)+εよりも小さいPositive・min(Positive)-εよりも大きいNegativeを重みづけしてLoss計算

17
Font：LINE Seed JP © LINE Corp.

17 / 17