機械学習を用いた効率的な特許調査方法―ニューラルネットワークの特許調査への適用に関する基礎検討―
Effective patent search methods using Machine Learning
花王株式会社

知的財産部／アジア特許情報研究会

安藤俊幸

1985 年現花王株式会社入社、研究開発に従事
1999 年研究所の特許調査担当（新規プロジェクト）、2009 年より現職
2011 年よりアジア特許情報研究会所属
情報科学技術協会、人工知能学会、データサイエンティスト協会 各会員

14）（1）ノーフリーランチ定理 1（NFL 定理）

はじめにこの定理は「あらゆる問題で性能の良い汎用最適化戦

近年ニューラルネットワークを用いた機械学習が特

略は理論上不可能であり、ある戦略が他の戦略より性能に画像認識において成功をおさめディープラーニングへがよいのは、現に解こうとしている特定の問題に対してと発展し様々な分野で応用研究がなされている 。特許

特殊化（専門化）されている場合のみである」というこ情報の分野においても「情報の科学と技術」2017 年とを立証している（Ho and Pepyne、2002 年）。

1）

7 月号（67 巻 7 号）で、特許情報と人工知能（AI）の工学者や最適化の専門家にとって、この定理は、問題特集が組まれている 2）。日本特許庁においても人工知能

領域の知識を可能な限り使用して最適化すべきだというが公表ことを示しており、領域を限定して特殊な最適化ルーチ（AI）技術の活用に向けたアクション・プラン

3）

されており各種の実証試験が試行されている。

ンを作成すべきであることを示している。

本稿では特許調査・解析の実務に実際に自分の手を動高度に最適化された特殊アルゴリズム（赤）と汎用ア

かして試して効果を実感できる特許調査の効率化手法を検討した。例題として特許検索競技大会 2016 の化学・医薬分野の問 2（ガスバリア性包装用フィルム）を選択
し機械学習の先行技術調査への適用可能性を検討した。

2 特許調査への機械学習適用の留意点
機械学習で実際のデータを使用して学習モデル構築を始める前に押えておいた方がよいと思われる機械学習使用に当たっての基本的な留意点を述べる。

230

図1
1

ノーフリーランチ定理の概念図

図１．ノーフリーランチ定理の概念図
この定理の名称は、ハインラインのSF 小説『月は無慈悲な
夜の女王』（1966 年）で有名になった格言の There ain’t
no such thing as a free lunch. に由来する。かつて酒場で「飲みに来た客には昼食を無料で振る舞う」という宣伝が行われたが、「無料の昼食」の代金は酒代に含まれていて実際には「無料の昼食」なんてものは有る訳がない、という意味。TANSTAAFL（タンスターフルと発音）というアクロニム（acronym：連なったアルファベットを
通常の単語と同じように発音して読むもの）も同作品で広まった。同作品には自意識を持つ今でいうクラウドコ
ンピュータが登場しストリー展開に重要な役割を果たす。
50 年以上過去に現在でいう仮想現実、CG、音声応用、デー
タサイエンス等が描かれており欧米人の AI 観やコンピュータ史の観点からも興味深い。

ルゴリズム（青）。どちらも平均すれば同程度の性能と出、スクリーニング支援（要査読かノイズの仕分け等 2なることに注意。

値分類、査読の優先順位をレコメンドするスコアリング）

NFL 定理に関係して AI 分野におけるアルゴリズムの等が考えられる。機械学習適用のメインターゲットとし重要性は「最強囲碁 AI アルファ碁 解体新書 深層学習、てスクリーニング支援用に査読の優先順位を推薦するス

5）

モンテカルロ木探索、強化学習から見たその仕組み」

コアリングを想定した。筆者のこれまでの検討で調査対ではアルゴリズムの特徴を生かして組み合わせておりそ

象文書と調査対象集合の各特許公報の各種類似度（スコの考え方が参考になる。

ア）を求めても審査官が実際に新規性で拒絶理由に採用した文献の類似度を比べると乖離が大きいことが課題で（2）醜 いアヒルの子の定理

機械学習の「朱鷺の杜あった。そこで実際の審査過程を考慮して問題が作成され「正解」公報とその先行技術調査プロセスの模範解答

Wiki」が示される特許検索競技大会 7）に着目した。図 2 に特「醜いアヒルの子を含む n 匹のアヒルがいるとする、

許検索競技大会 2016 フィードバックセミナー資料よ

このとき醜いアヒルの子と普通のアヒルの子の類似性

り推奨されている先行技術調査の流れを示す。

は、任意の二匹の普通のアヒルの子の間の類似性と同じになるという定理」
これは，各特徴量を全て同等に扱っていることにより成立する定理である。この定理は，特徴選択や特徴抽出が識別やパターン認識にとって本質的であることを示唆

先行技術調査の流れ（進め方）

特許検索競技大会2016
フィードバックセミナー資料p35

出願したい明細書から構成要素を分析する
明細書を熟読して発明内容を理解し、検索式作成のための構成要素を決定する

予備検索の実行特許分類（FI、Fターム、IPC）、キーワードの検討

している。

海外の場合（IPC,CPC）

醜いアヒルの子（白鳥の雛）と普通のアヒルの雛の本
質的な特徴量の種類を選択するか重み付けの重要さを示している。例えば白鳥の雛は灰色、アヒルの雛は白という特徴量だけを選択すると類似性は異なり容易に識別できるが白鳥の雛の識別とは関係がない特徴量を加えれば検索戦略立案、検索式作成
検索式に使用する特許分類、キーワードの抽出
多観点の検索式の検討
スクリーニング過程を詳細に検討し、機械学習を応用した支援方法（ツール）検討

検索実行、スクリーニング
優先順位を決め、効率的にスクリーニングを行う
スクリーニング結果に応じて、検索戦略を再検討
図２．先行技術調査の流れ加えるほど識別は難しくなる。

図2

先行技術調査の流れ

特許検索競技大会 2016 の化学・医薬分野の問 2（ガ（3）機械学習における過学習

6）

過学習（Overfitting）とは、統計学や機械学習にお7）を例題として選択し各種
スバリア性包装用フィルム）の検討を行いやすいデータセットを作成した。

いて、訓練データに対して学習されているが、未知デー

類似度（スコア）検討のため最初に商用特許データベー

タ（テストデータ）に対しては適合できていない、汎化

9）、スとして日立の特許情報提供サービス「Shareresearch」

できていない状態を指す。汎化能力の不足に起因する。

発明通信社

HYPAT-i210）、NRI サイバーパテントデ

その原因の一つとして、統計モデルへの適合の媒介変数が多すぎる等、訓練データの個数に比べて、モデルが複雑で自由度が高すぎることがある。不合理で誤ったモデ
ルは、入手可能なデータに比較して複雑すぎる場合、完全に適合することがある。

特許検索競技大会2016 化学・医薬分野
出題内容:【間2】問題文概要(2/3)
【特許請求の範囲】【請求項1】
熱可塑性樹脂フィルム基材層(A層)、酸化ケイ素蒸着層(B層)、ポリビ
ニルアルコール系樹脂と粘土鉱物を含む塗膜層(C層)が他の層を介して又は介さずにこの順に積層されてなることを特徴とするガスバリア性包装用フィルム。
(C層)ポリビニルアルコール系樹脂と粘土鉱物を含む塗膜層

3 機械学習検討用データセット作成
機械学習の先行技術調査過程への適用例として調査範囲の確定、検索キー（特許分類、検索キーワード）の抽(B層)酸化ケイ素蒸着層(A層)熱可塑性樹脂フィルム基材層
ガスバリア性包装用フィルム

図3

特許検索競技大会 2016 の化学・医薬分野の問 2

図３．特許検索競技大会2016の化学・医薬分野の問２

YEAR BOOK 2O17 231

3

特許情報の高度な情報処理技術

醜いアヒルの子の定理（ugly duckling theorem）

スク 211）、を使い検索競技大会の問題文（図 3）の請

データセット集合746件の相互関係
4930

求項 1 を入力して概念（類似）検索を行い検索競技大会の正解公報 49 件の出現順位を調べた。概念検索は各16システムのデフォルト条件で行った。

正解
2

図 4 に各商用データベースの概念（類似）検索の再現率比較のグラフ示す。横軸は概念検索結果をスコアのA

高い順に確認した場合の確認数である。確認数 300 の324時の精度、再現率、F 値を図の右下に示す。F 値は精度

34

376

と再現率の調和平均である。正解公報が理想的に確認で

1

C
339
376

図５．データセット集合746件の相互関係

図5

きた場合の理想再現率と理想精度（破線）を示す。次節

データセット集合 746 件の相互関係

以降の検討結果はグラフの見やすさの点から再現率でプ

位 376 件と正解 49 件の和集合 746 件を各種検討用

ロットしているが精度（調査効率）重視の観点からはグのデータセットとした。C は上位 10000 件確認し正ラフの立ち上がりが急峻な方が良い。再現率（網羅性）

解 3 件であった。

重視の観点からはなるべく早く 100％に近づく方が良い。再現率の理想曲線に対して精度を計算してプロット（破線）すると再現率が 100％未満の間は精度 100％

4 類似検索シミュレーション検討

で理想的な場合は 100％で交差して再現率が 100％

前節で作成したデータセットを用いて類似度計算にに到達以降は新公報は全てノイズとなるので精度は横軸影響する要素（アルゴリズムや各種パラメータ等）を実の確認数とともに単調に減少する。次節以降の検討では

験的に検討した。類似度計算に影響する要素として各文

理想再現率と DB：A の再現率を比較のベースラインと書のタイトル、要約、請求項を下記ベクトル化（特許公してプロットする。

報に含まれる単語を基に複数の数値で表す）する手法を

普通、概念（類似）検索だけで調査を行うことは少な検討した。類似度計算方法の評価方法はデータセットにくブーリアン検索等と補完的に組み合わせて使用する。

おけるクエリ文書：本願 P0 に対する各公報の類似度（ス

概念検索を予備検索として検索キー（特許分類、検索キー

コア）を計算して降順にソートし正解公報の順位を求めワード）の抽出用に使用する場合は精度が高いことが望横軸に公報確認数、縦軸に再現率をプロットして評価し

ましい。

た。

特許調査の実務上どこまで確認するか、言い換えるとどこで調査（確認）を打ち切るかは重要なポイントである。調査目的や調査の重要性（どのくらいコストを掛け文書のベクトル化手法検討（類似度計算用）
・BoW（Bag-of-words） モ デ ル： 単 語 の 出 現 頻 度、出願順序を考慮しない
・TF・IDF モデル：TF（Term Frequency、単語の出られるか）によっても異なる。
性格の異なるデータベース A と C の概念検索各々上

現頻度）と IDF（Inverse Document Frequency、
逆文書頻度）の積

再現率

DB:B

DB:C

図４

DB:A

確認数

正解順位
No,
A
B
C
1
10
22
11
2
14
23 1703
41
51 347
4
43
71
5
47
84
6
53 105
7
59 1168
76 117981 14510
95 17711 129 182
12 134 199
13 140 208
14 213 217
15 309 226
16 322 248
17 34218 363
確認数：300 正解数：49
精度
4.7% 5.3% 0.7%
再現率 28.6% 32.7% 4.1%
F値
0.08 0.09 0.01

商用データベースの概念（類似）検索の再現率比較

図４．商用データベースの概念（類似）検索の再現率比較

232

・単語として形態素あるいは専門用語（複合語）を使用
・N-グラム（単語単位ではなく文字単位で分解）
形態素解析器は MeCab、専門用語は自作の PatAnalyzer
を使用して抽出した 12）。類似度は自作の類似度計算プ
ログラム SimCalc1 を使用して計算した 13）。
図 6 に分かち書きと重み付けの再現率への影響を示す。精度重視の観点から重要な確認数が少ない最初の方は DB：A が一番よかった。次は専門用語で分かち書き
した TF・IDF である。詳細に見ると差は出ているが大分かち書き（形態素、専門用語）と重み付け（TF 、 TF・IDF）の再現率への影響
再現率

Nグラムの文字数Nと重み付け（2値、重み TF）の再現率への影響
再現率

理想

理想

専門用語TF・IDF
DB:Ａ

DB:A
N:2 重みTF

確認数

N:2 重み2値

図6

確認数

分かち書きと重み付けの再現率への影響

図６．分かち書きと重み付けの再現率への影響

図 3 の検索競技大会の問題である請求項 1 の分かち

N-グラムの文字数 N と重み付けの影響

Cosine 係数、Dice 係数、Jaccard 係数の再現率への影響は小さかった。

書きを形態素と専門用語で行った場合の結果を図 7、図図 10 の構成要素分析模範解答例と図 8 の専門用語
熱名詞,一般,*,*,*,*,熱,ネツ,ネツ
8 に示す。類似度計算は記号を除いて行っている。専門による分かち書きを比べると形態素解析と専門用語では
可塑
名詞,一般,*,*,*,*,可塑,カソ,カソ
性
名詞,接尾,一般,*,*,*,性,セイ,セイ
用語は名詞の連接部分を抽出している。
専門用語の方がマッチングした場合は類似度が高くなる
樹脂
名詞,一般,*,*,*,*,樹脂,ジュシ,ジュシ
フィルム 名詞,一般,*,*,*,*,フィルム,フィルム,フィルムと考えられる。形態素の場合はマッチングの確率が高く
熱 基 名詞,一般,*,*,*,*,熱,ネツ,ネツ
名詞,一般,*,*,*,*,基,モト,モトなると考えられる。
可塑 材 名詞,一般,*,*,*,*,可塑,カソ,カソ
名詞,接尾,一般,*,*,*,材,ザイ,ザイ
性 層 名詞,接尾,一般,*,*,*,性,セイ,セイ
名詞,接尾,一般,*,*,*,層,ソウ,ソー樹脂 、 名詞,一般,*,*,*,*,樹脂,ジュシ,ジュシ
記号,読点,*,*,*,*,、,、,、
正解例と解説:【間2】(1)構成要素分析
フィルム 名詞,一般,*,*,*,*,フィルム,フィルム,フィルム
基
名詞,一般,*,*,*,*,基,モト,モト(1)調査依頼された請求項1に対して、検索すべき技術の構成要素(概念)を記述しなさい。
材
名詞,接尾,一般,*,*,*,材,ザイ,ザイ
図７．形態素解析（MeCab）による分かち書き（一部）層
名詞,接尾,一般,*,*,*,層,ソウ,ソー
構成要素(概念)記号、
記号,読点,*,*,*,*,、,、,、a 熱可塑性樹脂フィルム基材層図7

形態素解析（MeCab）による分かち書き（一部）

b
c
d
e
f
g

酸化ケイ素蒸着層
ポリビニルアルコール系樹脂を含む塗膜層
塗膜層に粘土鉱物を含む
他の層を介してまたは介さずにこの順に積層
ガスバリア性
包装用フイルム

図７．形態素解析（MeCab）による分かち書き（一部）
熱可塑性樹脂フィルム基材層
酸化ケイ素蒸着層
ポリビニルアルコール系樹脂
粘土鉱物
塗膜層
熱可塑性樹脂フィルム基材層
他
酸化ケイ素蒸着層層
ポリビニルアルコール系樹脂
積層
粘土鉱物
特徴
塗膜層
ガスバリア性包装用フィルム
他
図 8 専門用語による分かち書き
層
積層
図 9 特徴に N-グラムの文字数 N と重み付けの影響を示
ガスバリア性包装用フィルムす。ここでの N-グラムは文字の N グラムである。形態※構成要素の分け方は本例に限定しない

図 10

構成要素分析（検索競技大会の模範解答例）

新規性を考慮した評価関数として図10 の構成要素分
図１０．構成要素分析（検索競技大会の模範解答例）
析例を参考に図 11 の F タームと TF による類似度を加算した評価関数を設計した。図 10 の構成要素に該当する F タームがマッチングした時に重み 1 を加算し更に

図８．専門用語による分かち書き

形態素の TF による類似度を加算した単純な合成関数で素あるいは単語の N-グラムではない。重みを 2 値（0ある。公報確認数を横軸に評価関数を縦軸にプロットしか 1）にした場合より TF（単語頻度）にした場合の方たものが図 11 のグラフである。

図８．専門用語による分かち書き
が良い結果を示している。文字数 N のピークは 3 か 4にありそうだが N＝3 は確認していない。

図 12 の評価関数を用いた再現率への影響の実験結果は確認数の大きい後半では DB：A を上回るが前半ではあまり差は無い。評価関数を用いて更に正解公報を上類似度計算方法として下記を検討した。

位に持ってくるには構成要素によって重みを変える、F・Cosine 係数、Dice 係数、Jaccard 係数

タームと形態素 TF 類似度の寄与率を変える等々いろい・新規性を考慮した評価関数を定義ろ考えられる。実験的あるいは重回帰分析のような手

YEAR BOOK 2O17 233

3

特許情報の高度な情報処理技術

局的に見ると差は意外に少ない結果となった。

図9

図９．N‐グラムの文字数Nと重み付けの影響

Ｆターム利用評価関数

各要素のＦタームの重み：１+ＴＦによる類似度

ランス調査の要求特性に合わせて設計する必要がある。

5 分散表現学習モデル検討
単語の分散表現：Distributed Representation ある
いは単語埋め込み：word embedding と呼ばれる手法
を用いて単語を比較的低次元（50～500）の実数ベクト
ル化して利用する研究は様々な分野で行われている 14-17）。
分散表現に関しては岡崎による一般向け解説 14） と、
専 門 的 な 解 説 15-16） が あ る。 ス タ ン フ ォ ー ド 大 学 のPennington らが GloVe（Global Vectors for Word
公報確認数

図１１．Fタームと形態素TF類似度による評価関数

図 11

F タームと形態素 TF 類似度による評価関数

Representation）21） と呼ばれるモデルを提案し公開さ れ て い る。Facebook の 発 表 し た fastText22） はGoogle の word2vec20）の延長線上にあるもので、より精度が高い表現を、高速に学習できるとされている。

理想

word2vec による類義語抽出は 7 節で後述する。
doc2vec19） は、word2vec18） の 拡 張 で あ り、（ 単語ではなく）任意の長さの文書を数百次元の固定長ベクトルとして表現する手法である。doc2vec と呼ば
評価関数

DB:A

評価関数

DB:A

れているが内部的には 2 つの学習方法が実装されてい る。word2vec と 同 様 に CBOW モ デ ル を 拡 張 した PV-DM（Paragraph Vector with Distributed

図１２．評価関数とフィルターの影響

図 12

234

評価関数とフィルターの影響

Memory）モデルと Skip-gram モデルを拡張した PVDBOW（Paragraph Vector with Distributed Bag

法で重み付けを調整することでチューニングの余地はof Words）モデルの 2 種類のニューラルネットワーあると考える。評価関数をどこまでチューニングできク構造が組み込まれている。PV-DBOW は単語の順

るか興味深い。形態素 TF がベースラインで 4F100 は序を考慮しないシンプルなモデルで計算効率が良く、F テーマコードでフィルターしたものであり、ガスバリ

PV-DM は単語の出現頻度と出現順序を考慮したモデアのラインは要素 f のガスバリアに該当する F ターム

ルで PV-DBOW と比べると少し複雑でより多くのパラ

4F100JD02 でフィルターしたものである。フィル

メータが必要になる。doc2vec の実行には gensim23）

ターとはメールのスパムフィルターのように該当 F ター

（Python 用のトピックモデルライブラリ）を使用した。

ムが付与されていない公報を除いている。フィルターで形態素解析器はインストールと Python からの利用がは公報に構成要素の F タームが付与されていないと除容易な Janome24） を使用した。Janome は形態素解

かれて検索漏れが発生する。実際にガスバリアの再現率

析用の辞書として MeCab25）と同じ IPA 辞書を使って曲線は 100％に達しておらず検索漏れが発生している。

いる。形態素解析速度は MeCab の方が一桁高速である。

本稿では先行技術調査のスクリーニングを主な対象と図 13 に doc2vec よるベクトル化処理の概要を示す。

しているが評価関数はクリアランス（侵害防止）調査向け

3 節で作成したデータセットで再現率曲線を求めて学に設計することも可能である。ただしクリアランス調査

習モデルと学習パラメータの評価を行った。Core i5、向けの評価関数としては生死情報やリーガルステータス

メ モ リ 6GB、Windows7（32bit） の 普 通 の ノ ー トを利用したフィルターあるいはスクリーニングの優先順

PC でこのデータセットでは形態素解析処理：170 秒、位を下げるマイナスのスコアリング等の考え方をクリア

学習時間 2 秒程度、本願 P0 に対する 746 件の類似

doc2vecによる文書のベクトル化処理の概要
・公報番号（タグ）・タイトル、要約、請求項

特許公報

必要に応じて正規表現等によるクレンジング

形態素解析器・MeCab・Janome（Pure Pythonで書かれた辞書内包の形態素解析器）

学習用
データ

学習済
モデル

すると学習モデルが PV-DM になる。他の学習パラメー
タはデフォルトで行った。
図 15 に PV-DM モデルの分散表現ベクトルの次元数（Size）の影響を示す。精度重視の立ち上がりでは200 次元が良い結果を示す。他の学習パラメータの検討も行う予定である。

形態素解析済の単語（名詞、形容詞、
動詞）とタグ（公報番号）を保存

文書の分散表現ベクトルの次元数（Size）の影響
再現率

理想パラメータを調整可能

3

500次元

学習したモデルを保存

200次元

DB:Ａ

必要な文書ベクトルを出力
類似公報
図 13

指定文書と最も類似度が高い文書を表示（件数指定可）

doc2vec による文書のベクトル化処理の概要

図１３．Doc2vwcによる文書のベクトル化処理の概要
図 15

確認数

分散表現ベクトルの次元数（Size）の影響

図１５．分散表現ベクトルの次元数（Size）の影響

度計算 1 秒以下であった。
図 14 に文書の分散表現ベクトルの学習モデルと再現

6 可視化検討率を示す。単語の出現頻度と出現順序を考慮したモデル

図 16 は R 言語の非計量多次元尺度法の関数 isoMDS

PV-DM はリファレンスとしてきた DB：A の再現率曲を用いて各公報間の距離（距離＝1－類似度）からデー線を圧倒している。もちろん DB：A は DB 全体、本検タセットの各公報の 3 次元座標を求め rgl パッケージ

討では非常にスモールサイズのデータセットであり直接を使用して OpenGL（3D グラフィックスライブラリ）

比較の対象ではない。本検討はデータベースの検索は適で 3D 可視化した。各公報間の相互距離は TF・IDF 法

切に行った後のスクリーニング過程を念頭においていによる単語の重み付ベクトルを用いたコサイン類似度かる。PV-DBOW では同じデータで 3 回学習を行いそれら求めた。類似の公報を近くに配置するように類似度かぞれ再現率曲線を求めた。再現率 1～再現率 3 である。
学習のつど結果は異なっている。doc2vec の学習パラ

非計量多次元尺度法 3D
類似度：TF*IDF
本願P0

文書の分散表現ベクトルの学習モデルと再現率
再現率

理想

●正解
●正解DB:A●正解DB:C
●DB:A
●DB:C

PV‐DM
PV‐DBOW
DB:Ａ

確認数
図１６．非計量多次元尺度法による各公報の可視化

図 14

文書の分散表現ベクトルの学習モデルと再現率

図 16

非計量多次元尺度法による各公報の可視化

図１４．文書の分散表現ベクトルの学習モデルと再現率

YEAR BOOK 2O17 235

特許情報の高度な情報処理技術

学習実行

メータ dm＝0 が PV-DBOW であり、dm＝1 を指定

ら各公報間の距離を求めて isoMDS で実際の 2 次元あら離れた位置にマッピングされていることである。これ

るいは 3 次元の座標を求めている。マップの精度を上は本願の入力データが請求項 1 のみであり他の公報とげるには精度のよい類似度算出法が求められる。各公報

比べると非常に短く、他の公報との共通する情報量が少を示す球のカラーマッピングは図 4 データセット集合

ないことが原因と考えられる。その意味では直感的なイの相互関係の色に対応させている。緑球はデータベース

メージと合っているマップと言える。

A 由来の非正解公報、黄色球は DB：A 由来の正解公報、同様に青球は C 由来の非正解、ピンク（マゼンタ）球は C 由来の正解、赤球はデータベースＡと C の両方の

7 word2vec による類似語抽出

類似検索集合に入らなかった正解公報である。本願 P0

word2vec を使用すると単語の分散表現ベクトルがと矢印で示した大きい赤球が検索対象の本願である。本得られる。歴史的には word2vec の方が doc2vec よ願 P0 と正解公報をラインで結んでいる。R 言語の 3D

り先に開発されている。単語の分散表現ベクトルから指表示はマウスでインタラクティブに回転させることで視定した単語の類似語が簡単に得られる。word2vec は点を変えて見ることが可能である。データベース A、Cgensim を用いて Python より実行した。3 節のデーの類似検索結果の性質の違いを表現できている。球のカタセットに図 13 の doc2vwc による文書のベクトル

ラーマッピングは自分で出願人や特定の特許分類、特定化処理の概要に準じて Janome により形態素解析しての専門用語に対して必要に応じて割り当てが可能であ

名詞、形容詞、動詞を抽出し分かち書き後 word2vec

る。

による学習後「粘土」の類似語、類似度の上位 20 位

筆者は公報の位置関係を類似度から求め、引用／被を求め関連しそうなワードを別途確認した。確認として引用関係をネットワーク表示させる手法 12）を検討した

MeCab による形態素解析、PatAnalyzer による専門

ことがある。そのときは近くに配置されるべき引用公報

用語抽出を行い形態素、専門用語の頻度ランキングの出が遠くに配置され類似度計算方法の正確性が課題であっ現順位と頻度を求めた結果を図 18 に示す。図 20 のた。

Wikipedia の主な粘土鉱物と比較すると教師なし機械学

図 17 に doc2vec の分散表現ベクトルによる類似度

習でデータセットを学習しただけで「粘土」に対する具を用いて公報間の位置関係を可視化したマップを示す。

体的な粘土鉱物を「類似」と学習している。word2vec

doc2vec の学習パラメータ dm＝1（PV-DM）、Size

による「粘土」の類似語の順位 1 位のスメクタイトを＝200（次元）で行った。処理時間は前処理の形態素

詳細に見ると形態素としてはデータセット中で頻度 26

解 析 170 秒、 学 習 2 秒、747 件 の 相 互 類 似 度 計 算

で順位は 555 である。図 18 と図 19 の専門用語の14 秒であった。特徴的なのは本願 P0 が他の公報群か各スメクタイトを合計すると 26 になる。Wikipediaの粘土鉱物の項に無い順位 4 のサポナイトとは粘土鉱

非計量多次元尺度法 3D
類似度計算： doc2vec

物の一種モンモリロナイト族の中で Mg に富む種であ●正解●正解DB:A●正解DB:C
●DB:A
●DB:C

る。ただカオリナイトは形態素解析でカオリ（固有名詞）とナイト（名詞）に分解されているが粘土と近い類
似度になっている。同じことがセリサイトでもいえる。
word2vec により「粘土」を含まない文からサポナイト、

本願P0

ヘクトライト、スチーブンサイト、カオリナイト、マイカ、
タルク、セリサイト（の一部）を粘土の類似語として学習できたことになる。ただ形態素解析の分かち書き精度
が word2vec のニューラルネットワークのニューロンの「単語埋め込み」精度に影響している。例えば図 18
図１７．doc2vecの類似度による各公報の可視化

図 17

236

doc2vec の類似度による各公報の可視化の「粘土」の類似語の黄色のセルは形態素解析で正しく形態素として解析できなかったものである。図 18 から

word2vec「粘土」の類似語
word2vec「粘土」の類似語
形態素
専門用語抽出形態素専門用語抽出順位 類似語 順位 類似語
類似度 順位 頻度
類似度
専門用語
順位 頻度 専門用語順位 頻度
順位 頻度
0.774 555 26
0.774
スメクタイト555 26 スメクタイト
1655
7
1655
7
1 ス メクタイト 1 ス メクタイト
4 サポナイト
4 サポナイト
0.646 2101 0.646
4 サポナイト2101
4 サポナイト4655
2
4655
2
5 ヘクト
5 ヘクト
0.637 2099 0.637
2 ヘクトライト
2099
2 ヘクトライト4656
24656
2
word2vec「粘土」の類似語
専門用語抽出
7 スチーブン
7 スチーブン
0.630 2100形態素
0.630
2 スチーブンサイト
2100
2 スチーブンサイト
4703
2
4703
2
順位 類似語 8 ナイト
頻度1448専門用語
8 ナイト
0.615類似度
1448順位
0.615
4 カオリナイト
4 カオリナイト
2669 順位4 頻度2669
4261449
スメクタイト73441
1 ス メクタイト
9 マイカ
9 マイカ
0.614 0.774
1449 555
0.614
4 マイカ
4 マイカ
3441 1655
3
3
4 サポナイト
4 359
サポナイト
2 246 52
11 モンモリロナイト
11 モンモリロナイト
0.599 0.646
359 2101
53
0.599
モンモリロナイト
53 モンモリロナイト
246 4655
52
5 ヘクト 12 カオリ
21635
ヘクトライト22669
12 カオリ
0.597 0.637
1635 2099
0.597
3 カオリナイト
3 カオリナイト
2669 4656
4
4
7 スチーブン
21446
スチーブンサイト
22691
14 タルク14 タルク
0.587 0.630
1446 2100
0.587
4 タルク
4 タルク
2691 4703
4
48 ナイト 16 ゼオライト
41175
カオリナイト
41652
16 ゼオライト
0.561 0.615
1175 1448
0.561
7 ゼオライト7 ゼオライト 1652 2669
7
7
42184
マイカ 4 セリサイト 5112 3441
35112
17 セリ 9 マイカ 17 セリ
0.554 0.614
2184 1449
0.554
4 セリサイト2
2
11 モンモリロナイト 0.599 359 53 モンモリロナイト
246 52
12 カオリ
0.597 1635
3 カオリナイト2669
4
14 タルク
0.587 1446
4 タルク
2691
4
図１８．Word2vecによる「粘土」の類似語抽出
図１８．Word2vecによる「粘土」の類似語抽出
16 ゼオライト
0.561 1175
7 ゼオライト
1652
7
17 セリ
0.554 2184
4 セリサイト
5112
2
図 18

Word2vec による「粘土」の類似語抽出

図１８．Word2vecによる「粘土」の類似語抽出れる。これは粘土鉱物と列記された中に「硫酸バリウム」

教師信号を必要としない教師なし学習に分けられる。明がありそれが形態素解析で「硫酸」と「バリウム」に分
図１９．専門用語抽出（続き確な解答が用意される場合には教師あり学習が、
データ・
図２０．主な粘土鉱物

かち書きされたためと考えられる。形態素解析としてはクラスタリングには教師なし学習が用いられる。中間層

正しいが化学の観点からは「硫酸バリウム」が望ましい

27）にが 2 層以上ある深層学習（ディープラーニング）

場合が多いと考えられる。また形態素解析で「ガス」と「ガおいては、出力に近い最後の中間層を教師あり学習で、スバリア」になる場合があり word2vec の類似語は「ガ

それよりも入力に近い側を教師なし学習で学習する方法

ス」と「ガスバリア」でそれぞれ異なり別物である。

がジェフリー・ヒントンらにより提案されている。結果

従来から単語の共起に基づいて共起ネットワークをとしていずれも次元削減されるため、画像や統計など多描いたり、形態素の名詞の隣接情報により専門用語抽出

次元量のデータで線形分離不困難な問題に対して、比較は可能である 12）。これらと word2vec を組み合わせる

的小さい計算量で良好な解を得られることが多い。 現とクエリ拡張の支援ツールとして更に有効だと考えられ

在では、特徴量に基づく画像認識、市場における顧客デー

る。また word2vec では有名な例で「王－男＋女＝女

タに基づく購入物の類推など、パターン認識、データマ

王」、「パリ－フランス＋日本＝東京」のような演算がでイニング等に応用されている。

き単語の意味関係に基づいて関係を理解する一助にできると報告されている。単語間の類似度（非距離）から単語の相互関係を多次元尺度法等で可視化することも可能である。

自己組織化マップ 28-29）
自 己 組 織 化 マ ッ プ（self-organizing map：SOM）
は教師なし学習を行うニューラルネットワークの 1 種である。SOM は n 次元のベクトルを平面（二次元配列）

8 ニューラルネットワークの応用事例に写像する方法である。

ニューラルネットワーク 26）は、教師信号（正解）のVisual Mining Studio（VMS）に実装されている。

自 己 組 織 化 マ ッ プ は NTT デ ー タ 数 理 シ ス テ ム のYEAR BOOK 2O17 237

3

特許情報の高度な情報処理技術

専門用語抽出（続き）
専門用語抽出（続き） 主な粘土鉱物(Wikipedia)
主な粘土鉱物(Wikipedia)
専門用語
専門用語順位 頻度 カオリナイト（高陵石）
順位 頻度 カオリナイト（高陵石）
水素型スメクタイト
水素型スメクタイト
1657
7 スメクタイト
1657
7 スメクタイト
合成ス メクタイト合成ス メクタイト
1979
6 モンモリロン石（モンモリロナイト）
1979
6 モンモリロン石（モンモリロナイト）
スメクタイト族 スメクタイト族
3864
2 絹雲母（セリサイト）
3864
2 絹雲母（セリサイト）
専門用語抽出（続き）
主な粘土鉱物(Wikipedia)
スメクタイト群粘土鉱物
スメクタイト群粘土鉱物4002
2 イライト4002
2 イライト
専門用語 スメクタイト粘土鉱物
カオリナイト（高陵石）
スメクタイト粘土鉱物
4740 順位2 頻度4740
2 海緑石（グローコナイト）
海緑石（グローコナイト）
77890
スメクタイト合成マ水素型スメクタイト
イカ
合成マ イカ7890 1657
1 緑泥石（クロライト）
1 緑泥石（クロライト）
合成ス メクタイト
67203
モンモリロン石（モンモリロナイト）
1 滑石（タルク）
1 滑石（タルク）
カオリン
カオリン 7203 1979
スメクタイト族
3864 沸石（ゼオライト）
2 絹雲母（セリサイト）
沸石（ゼオライト）
図 19 専門用語抽出（続き）
スメクタイト群粘土鉱物 4002 https://ja.wikipedia.org/wiki/粘土鉱物
2 イライト https://ja.wikipedia.org/wiki/粘土鉱物
スメクタイト粘土鉱物4740
2 海緑石（グローコナイト）
図 20 主な粘土鉱物
合成マ イカ7890
1 緑泥石（クロライト）
カオリン
7203
1 滑石（タルク）
図１９．専門用語抽出（続き
図１９．専門用語抽出（続き
図２０．主な粘土鉱物
図２０．主な粘土鉱物
沸石（ゼオライト）
は化学の常識として除いているが 6 位に「硫酸」が現 https://ja.wikipedia.org/wiki/粘土鉱物
入力によって問題に最適化されていく教師あり学習と、

BayoLink に実装されている。BayoLink ではベイジアンネ

が期待でき

ットワークの確率モデルを作成することができそれぞれの特許公報間技術がどのように影響しあうのかを可視化し、様々な仮定

査に応用可の下での推論を行うことができる。

多次元データの自己組織化マップ による可視化

１０．終わ

筆者は 2

る効率的な

分はその結

ベクトルの

実感してい

本報告は

ングの一環

最後に大

させていた

サポートし

の皆様に感

発明のカテゴリーから、自己組織化マップ（SOM）を生成
図 21

Visual Mining Studio（VMS）の自己組織化マップ

図２１．Visual Mining Studio（VMS）の自己組織化マップ
図 16．BayoLink
によるベイジアンネットワーク
図 22 BayoLink
によるベイジアンネットワーク
９．まとめ

筆者は特許公報の発明のカテゴリーを自己組織化の化学・医薬分野の問２（ガスバリア性包装用フィルム）

マップを使用して文書分類できないか試したことがあり様々な仮定の下での推論を行うことができる。

カテゴリーが同じ公報が SOM 上の近くのセルに集まる率曲線に影響を与える要因を実験的に検討した。後半は教傾向が確認できた。

師なし機械学習を用いて単語の分散表現で固定長ベクトル30）を例題として選択しデータセットを作成して前半では再現

9

まとめ
が得られる
doc2vec の学習モデルを使用して公報の類似度を計算する手法を検討した。その結果単語の出現頻度と出

本稿では先行技術調査を念頭に特許検索競技大会

ベイジアンネットワーク 31）

現順序を考慮したモデル PV-DM を使用すると非常によい

ベイジアンネットワーク（Bayesian network）は、

2016の化学・医薬分野の問 2（ガスバリア性包装用
類似度計算ができることがわかった。公報の類似度計算精

因果関係を確率により記述するグラフィカルモデルの 1度が向上すると特許調査において効率的なスクリーニングフィルム）を例題として選択しデータセットを作成してつで、複雑な因果関係の推論を有向非巡回グラフ構造に

前半ではスクリーニング過程の再現率曲線に影響を与えより表すとともに、個々の変数の関係を条件つき確率でる要因を実験的に検討した。踏み込んだ検討はしていな

表す確率推論のモデルである。ジューディア・パールがいが特徴量選択は本質的に重要である。後半は教師なし
ータ有りの機械学習と組み合わせることで更なる精度向上

1985 年に命名した。ジューディア・パールはこの研

機械学習を用いて単語の分散表現で文書の固定長ベクト究の功績によりチューリング賞を受賞した。人工知能の〔9〕ルが得られる doc2vec の学習モデルを使用して公報の分野では、ベイジアンネットワークを確率推論アルゴリ

類似度を計算する手法を検討した。その結果単語の出現

ズムとして 1980 年頃から研究が進められ、既に長い

頻度と出現順序を考慮したモデル PV-DM を使用する

研究と実用化の歴史がある。

と非常によい類似度計算ができることがわかった。公報

ここでいうネットワークとはグラフ理論

32）

の重み付

けグラフのことである。グラフ理論（graph theory）

238

本稿では先行技術調査を念頭に特許検索競技大会 2016

れぞれの技術がどのように影響しあうのかを可視化し、が可能となる。

本稿で検討した分散表現ベクトルを更に教師データ有りの機械学習の入力データとすることも可能である。教師デの類似度計算精度が向上すると特許調査において効率的なスクリーニングが可能となる。

は、ノード（節点・頂点）の集合とエッジ（枝・辺）の本稿で検討した分散表現ベクトルを更に教師データ有集合で構成されるグラフに関する数学の理論である。ベ

りの機械学習の入力データとすることも可能である。教イジアンネットワークは NTT データ数理システムの師データ有りの機械学習と組み合わせることで更なる精

BayoLink に実装されている。BayoLink ではベイジア

度向上が期待できる。また doc2vec の出力ベクトルを

ンネットワークの確率モデルを作成することができそ

使用して各特許公報間の関係の可視化もできるので精度の高い動向調査に応用可能である。gensim のような機

参考文献

械学習のフリーライブラリを用いると単語の分散表現学

1）「AI 白書 2017～人工知能がもたらす技術の革新

習は非常に簡単であるが特許調査の精度を上げるには前処理の形態素解析が重要になる。知財分野では新語の発と社会の変貌～」，KADOKAWA, 20172）「情報の科学と技術」2017 年 7 月号（67 巻 7 号）．

生頻度も高く形態素解析用辞書の更新や専門用語辞書の特集＝特許情報と人工知能（AI）

活用も重要である。

http://www.infosta.or.jp/journals/201707-ja/
3） 特許庁における人工知能（AI）技術の活用に向けたアクション・プランの公表について

10 終わりにhttps://www.jpo.go.jp/torikumi/t_torikumi/ai_

筆者は 2008 年頃より断続的にテキストマイニング。本

稿の前半部分はその結果のまとめに相当する。後半のaction_plan.htm4） https://ja.wikipedia.org/wiki/ノーフリーランチ定理

doc2vec の出力ベクトルの検討はようやく始めたばか

5） 大槻知史．最強囲碁 AI アルファ碁 解体新書 深層

りだが素性の良さを実感している。今後の検討が楽しみ

学習、モンテカルロ木探索、強化学習から見たそのである。

仕組み，翔泳社，2017
6） 過剰適合（過学習）

本報告は 2017 年度の「アジア特許情報研究会」のワーキングの一環として報告するものである。
最後に大変有用な各種ツールに関して機械学習の初心者である筆者を様々な形でサポートしていただいた
NTT データ数理システムの多くの皆様に感謝申し上げます。

https://ja.wikipedia.org/wiki/過剰適合
7） 特許検索競技大会
https://www.ipcc.or.jp/contest/
8） 特許検索競技大会 2016 フィードバックセミナー，
アドバンスコース
9） 日立

特許情報提供サービス「Shareresearch」

http://www.hitachi.co.jp/Prod/comp/app/
tokkyo/sr/10）発明通信社

HYPAT-i2

https://www.hatsumei.co.jp/hypat_i2/index.
html11）NRI サイバーパテントデスク 2
https://www.patent.ne.jp/service/patent/12）安藤俊幸．テキストマイニングを用いた効率的な特許調査方法http://www.japio.or.jp/00yearbook/files/
2015book/15_2_12.pdf13） 安藤俊幸．テキストマイニングと統計解析言語
R による特許情報の可視化

情 報 管 理 Vol. 52（2009）P 20-31
https://www.jstage.jst.go.jp/article/johokanri/
52/1/52_1_20/_article/-char/ja/
14）岩波データサイエンス vol.2[ 特集 ] 統計的自然言
語処理─ことばを扱う機械
岡崎直観，単語の意味をコンピュータに教える、

YEAR BOOK 2O17 239

3

特許情報の高度な情報処理技術

による効率的な特許調査手法を研究してきた12-13）

https://sites.google.com/site/iwanamidatascience/
vol2/word-embedding15）岡崎直観．言語処理における分散表現学習のフロ
ンティア人工知能 Vol.31No.2p189-201（2016）16）岡崎直観．単語の分散表現と構成性の計算モデル

28）Teuvo Kohonen，“自己組織化マップ”，改訂版，
シュプリンガーフェアラーク東京（2005）29）https://ja.wikipedia.org/wiki/自己組織化写像
30）安藤俊幸ら，アジア特許情報のテキストマイニン
グによる解析—自動テキスト分類への挑戦—の発展

https://www.jstage.jst.go.jp/article/infopro/

https://www.slideshare.net/naoakiokazaki/

2011/0/2011_0_13/_article/-char/ja/

20150530-jsai201517）中村雄太ら．分散表現空間解析モデルに基づく研究トレンドに関する考察
http://db-event.jpn.org/deim2017/papers/
305.pdf

31）ベイジアンネットワーク
https://ja.wikipedia.org/wiki/ベイジアンネット
ワーク32）グラフ理論
https://ja.wikipedia.org/wiki/グラフ理論

18） Tomas Mikolov, Ilya Sutskever, Kai Chen,
Greg S Corrado,and Jeff Dean. Distributed
representations of words andphrases andtheir compositionality. In Advances in neural
information processing systems, pp. 3111–
3119, 2013.
19）Quoc V Le and Tomas Mikolov. Distributed
representations of sentences and documents.
In International Conference on Machine
Learning, Vol. 14, pp. 1188–1196, 2014.
20）word2vec
https://code.google.com/archive/p/word2vec/21）GloVe: Global Vectors for Word Representation
https://nlp.stanford.edu/projects/glove/22）fastText Japanese Tutorial
https://github.com/icoxfog417/fastText
JapaneseTutorial
23）gensim
https://radimrehurek.com/gensim/24）Janome
http://mocobeta.github.io/janome/25）MeCab
http://taku910.github.io/mecab/
26）ニューラルネットワーク
https://ja.wikipedia.org/wiki/ニューラルネット
ワーク27）ディープラーニング
https://ja.wikipedia.org/wiki/ディープラーニン
グ240

上記 URL はいずれも 2017 年 8 月 25 日に確認したものである。

特許情報の高度な情報処理技術

3

YEAR BOOK 2O17 241