一般語彙と専門語彙の Word Embeddingを併用した特許文書検索
Patent document search using both general and field-dependent word embedding model株式会社 NTT データ数理システム

データマイニング部

グループリーダー・主任研究員

岩本圭介

1999 年株式会社数理システム（現：株式会社 NTT データ数理システム）入社。データマイニング及び深層学習関連パッケージ製品の開発リーダーを務める。現職はデータマイニング部グループリーダー・主任研究員。
iwamoto@msi.co.jp

株式会社 NTT データ数理システム

データマイニング部

柿沼

主任研究員

匡志

2012 年株式会社数理システム（現：株式会社 NTT データ数理システム）入社。自然言語処理・テキストマイニン
グに関わるツール・手法開発及び分析業務に従事。現職はデータマイニング部主任研究員。
kakinuma@msi.co.jp

1

はじめにクトルとして表現しそれらの間の類似度を評価すること、またそのようなベクトル表現を学習によって獲得文書どうしがどれくらい似ているか、文書間の類似のするための方法が数多く研究されている。単語のベク

度合いを評価することは、自然言語処理の主要な研究対トル表現を求めるためのニューラルネットワーク手法象のひとつである。人間は文書群を読解し、「この文書word2vec[1] の利用の広がりはまさにそれを象徴するとこの文書は同じようなことを言っている」「この文書出来事である。

とこの文書はあまり関係がない」といった認識を持つことができるが、これは文書間の類似を人間が認識し感じ学習によって得られた単語のベクトル表現には、オー取っているものといえる。このような働きをコンピュープンな情報として公開されているものもあり、技術のさタ上で実現するために、そういった類似の度合いを「類らなる適用 [2][3] に拍車をかけている。Wikipedia 等の似度」として数値化することは広く行われている。特許

大規模データソースをもとに学習を行ったものが知られ文書間に類似度を適切に定義することができれば、興味ており [4][5]、日常的な語彙を十分に含み利用に耐えるもの対象である文書に対し類似度が高い他の文書を類似特のである。

許として提示する、もしくは互いに類似度が高い文書群を抽出しそれらをグループとして自動的にまとめ上げる、といった有益な応用が見込める。

こういった大規模データに基づく単語のベクトル表
現は、世間の一般的な単語の利用状況や出現パターンを反映したものである。しかし、専門性の高い特許文書や文書間の類似度を判断するにあたっては、従来手法技術文書などでは、それとは異なった状況が出現していとしては、両文書間で共通の単語がどれだけ用いられてる、もしくは極めて特殊な単語などは一般的な語彙ではいるか、といった単語のマッチングに基づいた手法が広カバーされないという可能性もある。

く利用されてきたが、近年は、単語や文書そのものをベ252

本稿では、大規模かつ一般的な語彙をもとにして学習る要素はないため類似の内容であると判断されない。

して得られたベクトル表現に加えて、関心の対象である分野に絞った、専門語彙を含むデータから獲得したベク

分子量= {

0.8 , 0.7 , … , 0.1 , 0.2 }トル表現をあわせて用いることで、精度の高い類似度のモル質量= {0.9 , 0.6 , … , 0.2 , 0.2 }算出を実現するための試みについて解説する。以降、2測定
計測= {
= {

0.1 , 0.3 , … , 0.8 , 0.7 }
0.2 , 0.1 , … , 0.8 , 0.9 }章で単語と文章のベクトル表現獲得のための基礎概念を解説し、3 章では一般語彙と専門語彙の併用による類似埋め込み次元数

文書検索手法を提案し、特許文書群に対しての適用例を図2

単語の分散表現示す。最後に、4 章でまとめを行う。

2

単語ならびに文書の分散表現

2.1

分散表現とはモデルを利用した単語のベクトル表現では、互いに類似した単語や文書が空間上の近い点になるよう（図 2）、学習によってこの表現を獲得する。図 1 と 図 2 はどコンピュータが情報処理を行う際は、データを数値ちらもベクトルによる表現であるが、前者は 1 つの次化して論じる必要があり、単語や文書といった情報が対元 がそのまま 1 つの単語 となるようその意味が固定象物であるときもこれは同様である。古典的な考え方でされている（分散していない）。逆に、後者ではベクトは、まず語彙数と同じ次元数を持つベクトルを準備し、ルに埋め込まれた（embedded）数値パターンそのもベクトルの次元にそれぞれの単語を割り当てる。そしのが単語の表現であり、概念や意味がベクトル内に分て、ある単語に対応する次元のみが 1 で他が全て 0 で散した形で表現されているといえる。このベクトルのあるベクトル（one-hot 表現）とこの単語そのものを同次元数は埋め込み次元数と呼ばれ、学習の際に指定す一視する。また、ある文章に含まれる単語の次元のみがるパラメータである。一般に、図 1 の one-hot 表現や1 でその他の次元が全て 0 であるベクトル（Bag of

Bag of Words では次元数は数万～数百万のオーダーWords）とその文章そのものを同一視する（図 1）。になるが、この埋め込み次元にはそれよりはるかに小さい値を指定するため（例として、100 や 200 など）
単語の情報をコンパクトに表現できる利点もある。こa) one-hot表現
分子量モル質量測定のような特性を持ったベクトル表現は、特に 分散表現

計測

分子量

= {

1,0,… ,0,0}

モル質量= {0,1,… ,0,0}

測定
計測

= {
= {00,,00,… ,,… ,10,,01}}（distributed representation） と 呼 ば れ、 単 語 を このようなベクトルに埋め込まれた形で表現する行為をWord Embedding と呼ぶ。

2.2b) Bag of Words

単語の分散表現

分子量を測定した。

= {

1,0,… ,1,0}

単 語 の 分 散 表 現 を 獲 得 す る 手 法 の 一 つ、CBOW

モル質量を計測した。

= {0,1,… ,0,1}（Continuous Bag-of-Words Model）[6] を 紹 介 す る。

図1one-hot 表現 と Bag of Words

CBOW は、周囲の単語群が入力されたときに、その中心となる単語を予測するように学習を行うニュー

この時点で 1 つの単語や文書 がベクトルとして表現ラルネットワークモデルである。単語を w とし、文できたことになるが、図 1 の Bag of Words をもとに書内に単語列 {…,wi-2, wi-1, wi, wi+1, wi+2, …} が あ っ

文章間の類似を考えることは単語間の正確なマッチングたとき、適当なウィンドウ幅 n を事前に決めておき、による判定を行っていることに外ならず、それぞれ「分{wi-n, …, wi-1, wi+1, …, wi+n } が入力されたときに wi が子量」と「モル質量」、「測定」と「計測」は互いに類似出力されるように学習を行う。モデルの概略図を図 3した対象を表しているにも関わらず両文書間でマッチすに示す。

YEAR BOOK 2O19 253

3

特許情報の高度な情報処理技術

一方、近年利用が広まったニューラルネットワーク

文書は一般に複数の単語から構成されるが、SWEM
は構成単語の分散表現ベクトル群に対し、各次元の 最大値（SWEM-max）もしくは 平均値（SWEM-aver）…

を取ったベクトルを文書全体の分散表現として利用する

中間層方法である。

すなわち、文書 D の分散表現を v としたとき、それぞれ…

⃝	SWEM-max : v = MAX-pooling(vw1, vw2,…, vwn)
1⃝	SWEM-aver : v = ─ ∑ni=1 vwin

図3

CBOW モデルの概略

中心単語を予測するモデルではあるが、予測を行うこと表せる。ただし、⃝	D の 構成単語を w とする。すなわち、D の構成単語数を n として D={w1, w2, …, wn}とがこのモデルを利用する際の主眼ではない。実際は、ネットワークには周辺単語 X = {wi-n, …, wi-1, wi+1, …,wi+n } に対する one-hot 表現 {hi-n, …, hi-1, hi+1, …, hi+n}1を入力し、そのとき中間層の値は ─ ∑j∈XWhj とする|X|が、周囲の語が似た単語 は 似た出力を導くようこの Wが学習の過程で調整され、結果として単語 i に対応する

wiwiwi⃝	さらに wi の 分散表現を vwi = {v1 , v2 ,…, vm } とする、ただし m は埋め込み次元数である。埋め込み次元数 m は、Word Embeddingの学習時に決めておくパラメータである。

分散表現 Whi は周囲の語の状況、いわば文脈を考慮したベクトル表現になることが期待できる。

3

一般語彙と専門語彙の併用

2.33.1

Word Embedding を利用した類似文文書の分散表現

2.2 章では 各々の単語 に対しての分散表現を得る手法を解説したが、同様に 各々の文書そのもの を分散表現として表すことが考えられる。文書の分散表現を獲得

書検索
続いて、2 章 で解説した分散表現を利用して 類似文書検索 を行う枠組みについて考える。

するための手法には、主として以下のアプローチが存在
検索対象文書群 D = {Di} に対してクエリ文書 DQ がする。

与えられたとき、Di の分散表現 v i と DQ の 分散表現
⃝	文書の分散表現 そのものを学習によって得る

v Q との類似度を コサイン類似度 similarity(v i, v Q) =⃝	文書を構成する単語それぞれの分散表現 から、文v i・v Q────によって与える。これにより Di と DQ との間|v i||v Q|

書そのものの分散表現を構築するの 類 似 度 を [-1,1] の 範 囲 で 決 定 す る こ と が で き、similarity(v i, v Q) の高い順に Di をリストアップするこ

前 者 の 代 表 的 か つ 著 名 な も の に ParagraphVector[7]がある。後者は、文書の構成単語の分散表現とで類似度に応じて検索対象文書にランキングを付与することができる。

から文書そのものの分散表現を組み上げるものであり、254

シンプルだが検証において良好な成績を示すものとし

ここで、単語 w の分散表現に次の 2 通り を考える。て知られてきた SWEM（Simple Word-Embedding-

手法 A, B の模式図を図 4 に示す。特に、手法 B が一

based Models）[8] を以下紹介する。

般語彙と専門語彙それぞれによる Word Embedding

の結果を併用する、本稿での提案手法である。
１．表 1「対象データ」460 件 から クエリ文書 DQ⃝	手法 A) 一般語彙 で学習した 分散表現v （埋め込み次元数 mG）		 ⃝	手法 B) 一般語彙 で学習した分散表現 と 専門語彙

２．手法 A, 手法 B 双方の手法を用いて、D からクエリ文書 DQ との類似度が高い上位 r 文書を抽出する。

で学習した分散表現 を連結したもの

専門語彙で構築した分散表現を v （埋め込み		 を選出する。検索対象集合 D = {Di} は残りの 459件とする。

w
Gw
F次元数 mF）として、vwG と v wF を連結した (v wG ,v ) を用いる（埋め込み次元数 mG+mF）
w
F

３．上 位 r 文書の中に、DQ の類似文書として妥当なものがどの程度含まれるか評価する。
４．別のクエリ文書 DQ を選出し、すべての文書につい手法A）

検索の妥当性は客観的に評価できる必要があるため、ここでは DQ と類似度上位の r 文書との間で、筆頭 IPC一般語彙による分散表現のクラス・サブクラス・メイングループが一致する文書埋め込み次元数のベクトルで単語・文書を表現が幾つあったかという観点で確認を行った。

手法B）
一般語彙による分散表現

専門語彙による分散表現

評価の結果を表 2 に示す。表の数値は、クエリ文書を変えて 460 回検索を行った結果の中で、クエリ文書埋め込み次元数
埋め込み次元数

図43.2

埋め込み次元数のベクトルで単語・文書を表現と筆頭 IPC の クラス・サブクラス・メイングループ が一致したものの割合である。ただし、一回の検索当たりの上位抽出数は r = 3 とした。

手法 A, B の模式図

特許文書検索への応用

表2

本節では、3.1 章の手法により分散表現を利用した特許検索を試行し、手法 A），B）それぞれの評価を行う。
対象データや Word Embedding の実行条件を 表 1 に示す。

手法 A, B による一致率

評価対象

手法 A

手法 B

SWEM- クラスmax
サブクラス

51.23

53.84

27.90

29.4214.93

17.39

65.72

66.67

40.80

44.06

28.04

30.87

メイングループ
SWEM- クラスaver
サブクラス

表1

対象データと Word Embedding 実行条件

メイングループ

原子力関連分野 の 国内特許公報
要約部分 460 件
一般語彙による分散表現の 分 散 表 現 作 成 手 法 と し て SWEM-aver を 用 い た 方

配布先

が全体的に結果は良好であった。また、SWEM-max,

対象データ埋め込み次元数 v

参考文献w
G[4]を利用50

SWEM-max と SWEM-aver を 比 較 す る と、 文 書

SWEM-aver それぞれ同一条件の中では手法 A よりも専門語彙による分散表現
学習データ

上記「対象データ」460 件

埋め込み次元数 v wF

50

学習過程

ライブラリ gensim を利用提案手法である B の方が高い一致率を示していることがわかる。

検索の結果マッチした IPC の状況の例を表 3 に示す。
表 1 の条件によって得られた 一般語彙による分散表
現vと 専門語彙による分散表現 v

例 1 では類似度上位 3 文書のうち手法 A では 1 文書のを用いて、次のみマッチ、手法 B では 3 文書ともにマッチした例であ

手順で 3.1 章 に示した類似文書検索を実施し評価を行る。例 2 は、手法 A ではマッチせず、手法 B で 2 文書う。

がマッチした例である。

w
Gw
F

YEAR BOOK 2O19 255

3

特許情報の高度な情報処理技術て上記の手順を繰り返す。

表3

検索結果の筆頭 IPC（サブクラス）例

例 1：クエリ DQ の筆頭 IPC（サブクラス）B62D
類似度
順位

手法 A

手法 B

類似度

サブクラス

類似度

サブクラス

10.99

B25J

0.99

B62D

20.99

B25J

0.98

B62D

30.99

B62D

0.98

B62D

例 2：クエリ DQ の筆頭 IPC（サブクラス）G21C
類似度
順位類似度

サブクラス

類似度

サブクラス

10.94

G21D

0.96

G21C

20.94

F03G

0.96

G21D

30.95

B34C

0.96

G21C

4

手法 A

手法 B

まとめ

一般語彙モデルと専門語彙モデルを併用することで、専門性の高い文書群においても、その分野に依存した情報を取り込み更に精度の良い文書検索が行える可能性を示した。

当社株式会社 NTT データ数理システム の取り組みとして、利用者自身が持つテキストデータに対して言語解析処理を行って単語の抽出を行い、またそれらに対してWord Embedding をはじめとする深層学習のアルゴリズムを適用させられるツールを開発・販売している。これらは共通の基盤プラットフォーム上で提供され、ツール間をシームレスに連係させて利用することができる。
自分自身のデータを用いて、独自の Word Embeddingモデルを構築することも可能である。図 5 に、テキス
トマイニングツール Text Mining Studio の解析結果
に対して、深層学習ツール Deep Learner を適用させて Word Embedding モデルの学習を行っている様子を示した。これら分析ツールの組合せによって、多様化するデータに対しての様々な要請に応えることができると当社では考えている。

256

図5

Deep Learner を用いた学習の様子

参考文献

Conference on Machine Learning - Volume[1] T . M i k o l o v , I . S u t s k e v e r , K . C h e n , G .

32, Beijing, China, 2014, pp. II-1188-

S. Corrado, and J. Dean, “DistributedII-1196.
[8] D. Shen et al.,“Baseline Needs More Love:and their Compositionality,”in Advances

On Simple Word-Embedding-Based Models

in Neural Information Processing Systemsand Associated Pooling Mechanisms,”in

26, C. J. C. Burges, L. Bottou, M. Welling,

Proceedings of the 56th Annual Meeting

Z. Ghahramani, and K. Q. Weinberger, Eds.

of t he Associat ion f or Com put at i o n a l

Curran Associates, Inc., 2013, pp. 3111-

Linguistics (Volume 1: Long Papers),

3119.

Melbourne, Australia, 2018, pp. 440-450.

[2] H. Aras, H. Sack, R. Turker, D. Geiss, and M.
Milbradt,“Get Your Hands Dirty: Evaluating
Word2Vec Models for Patent Data,” inProceedings of the Posters and Demos
Track of the 14th International Conferenceon Semantic Systems - SEMANTiCS2018,2018.
[3] 樋口廉，川野邊誠，“ニューラルネットワークを用いた国際的なニューストピックスへの国民感情を踏まえた意見表明 ,”in エンタテインメントコ
ン ピ ュ ー テ ィ ン グ シ ン ポ ジ ウ ム 2018 論 文 集，2018, vol. 2018, pp. 226-229.
[4]“word2vec の学習済み日本語モデルを公開します ,”カメリオ開発者ブログ . [Online]. Available:
http://aial.shiroyagi.co.jp/2017/02/
japanese-word2vec-model-builder/.
[Accessed: 26-Aug-2019].
[5]“ 日 本 語 Wikipedia エ ン テ ィ テ ィ ベ ク ト ル .”[Online]. Available: http://www.cl.ecei.
tohoku.ac.jp/~m-suzuki/jawiki_vector/.
[Accessed: 26-Aug-2019].
[6] T . M i k o l o v , K . C h e n , G . C o r r a d o , a n d
J. Dean, “Efficient Estimation of Word
Representations in Vector Space,”
Proceedings in the International Conference
on Learning Representations (ICLR)
Workshop, 2013.
[7] Q . L e a n d T . M i k o l o v , “ D i s t r i b u t e dRepresentations of Sentences andDocuments,”in Proceedings of the 31st
International Conference on InternationalYEAR BOOK 2O19 257

3

特許情報の高度な情報処理技術

Representations of Words and Phrases