ディープラーニングによる特許文献からの技術用語抽出
Technical term extraction from patent documents by deep learning株式会社 NTT データ数理システム

データマイニング部グループリーダー・主任研究員

岩本圭介

1999 年株式会社数理システム（現：株式会社 NTT データ数理システム）入社。データマイニング・テキストマイニングに関わるツール・手法開発及び分析業務に従事。現職はデータマイニング部グループリーダー・主任研究員。
iwamoto@msi.co.jp

1 はじめに

2.1

ニューラルネットワークの基礎

昨今、ディープラーニング技術が機械学習技術のブレの計算ロジックであり、神経細胞の働きをシミュレートイクスルーとして盛んに注目を浴びており、画像認識、した仮想的な素子であるニューロンから構成される。こ

音声認識、自然言語処理など様々な分野での成果が報告のニューロンの模式図を図 1 に示す。このニューロンされている。本稿では、言語処理の分野に焦点を当てては入力値 x1, x2, …, xn を受け付け、それらの値に結合

ディープラーニング技術の解説を行い、また特許情報の荷重 w1, w2, …, wn を掛けて足し合わせたものからバイデータからディープラーニングにより構築した言語モデ

アスθを減じた値に活性化関数と呼ばれる単調増加関数

ルを用いた技術用語の自動抽出への適用可能性について

f を適用した結果を出力とする。これは、実際の神経細紹介する。以下、2 章で機械学習とディープラーニン胞が、他の神経細胞からの信号が加わることで膜電位がグ、及びディープラーニングの基礎概念であるニューラ上昇し、その電位が閾値を超えると接合部位であるシナルネットワークについて概観し、3 章では自然言語処理

プスを通じて他のニューロンに対して出力される（発火への適用が広く試みられている RNN と呼ばれるモデルする）ことを模したものになっている。

ニューラルネットワークは、神経回路網を模した一種の解説を行う。4 章で実際にこれを技術用語抽出に適用した例を解説し、最後に 5 章でディープラーニングに関わる当社株式会社 NTT データ数理システムの取り組みを紹介する。

2 機械学習とディープラーニング

図1

ニューロンの模式図

デ ィ ー プ ラ ー ニン グ は、 機 械 学 習 の 一 手 法 である

このニューロン 1 つのみでは、入力の重み付き総和ニューラルネットワークをより発展的に利用すべく開発の大小に従って出力値が決まるのみの機構でしかないされた、強力なテクニックの集合体である。ディープラー

が、このニューロンの数を増やし、あるニューロンの出ニングを理解するためには、ニューラルネットワーク及力を他のニューロンが受け付けるというように層状のび機械学習の基本的な概念を押さえておく必要があるた

ネットワークをなすよう連結していったものがニューラ

め、本節ではまずそれらの点について解説する。

ルネットワークである。
ここで、ニューラルネットワークが何らかの目的を達成するように動作させることを考える。例えば、図 2242

くなるよう w の値を修正する。この修正方法としては、

特開 2016-XXXXXX
化学…タンパク質の精製方法…
………………………………
物理
特開 2015-YYYYYY…光学素子及び光学装置…
………………………………

一般的には確率的勾配降下法（Stochastic GradientDecent）と呼ばれる最適化手法を用いる。また、出力層から入力層までの誤差を伝播する方法は、逆誤差伝播（Back Propagation）と呼ばれる。
また、前述の教師あり学習に対して、正解値といった

公開番号… タンパク質

精製方法

光学素子

光学装置

…

カテゴリものが存在せず、入力データのみからモデルを作成する

特開2016-XXXXXX

1100

化学タイプの学習は教師なし学習と呼ばれる。これについて

特開2016-YYYYYY

0011

物理

は、例を 3 章で述べる。

ベクトル表現

図2

文書のカテゴリ分類問題

ディープラーニングの特徴のような文書のカテゴリ分類といった例を考える。文

従来は、ニューラルネットワークの構造として 1 層書のベクトル表現を作成し、カテゴリ「化学」に対応の入力層、1 層以上の中間層、1 層の出力層を持つものするような入力ベクトル x＝｛x1, x2, …, xn｝を与えた場が多く用いられてきたが、これよりも層の数を増やし、合には「化学」に相当する出力層のニューロンが発火

複雑な構成を持つネットワークを用いてモデルを構築すし、「物理」に対応するような入力を与えた場合には「物ることがディープラーニングである。ネットワークが「深理」に相当するニューロンが発火するようにすることで、く」なればそれに応じて調整しなければならない結合荷ニューラルネットワークが分類器として機能するように重 w の個数は飛躍的に増えるため、ネットワークの学なる。この様子を図 3 に示す。

習には非常に時間を要するが、近年の並列計算や GPUといった高速計算環境の発展に伴い様々な場面に適用さ化学 or 物理 ?

れるようになってきた。

出⼒層

また、深い層を持つニューラルネットワークがデータの抽象的な内部構造を発見しているという報告がなされ、注目を浴びている。画像を入力とした、顔認識への中間層…

適用例 [1] を挙げると、入力となるデータそれ自体は濃淡を持つピクセルの集合でしかないが、中間層において、顔の輪郭やパーツといった抽象化した特徴を自ら獲得し⼊⼒層ベクトル{表現ていることが判明した。この抽象化した特徴を自ら発見
1,0図3,0 ,… , 0,1,0}

文書の分類問題することで、認識の精度は従来手法とは比べ物にならないほど向上した。この例では、畳み込みニューラルネッ
トワーク（Convolutional Neural Network, CNN）とこれは、問題としては文書に対してどのカテゴリにプーリング（Pooling）と呼ばれる技法の組み合わせに割り振られるべきかという正解が与えられているようなよって、画像の局所的な領域の特長を次の層に対応付け、性質のものであり、こういった場合の入出力関係を獲得層を経るにしたがってデータの抽象化を高めていく働きするような行為を教師あり学習と呼ぶ。そして、ニューが得られている。

ラルネットワークの場合は、望むべき入出力の対応関係が得られるように各ニューロンの結合荷重 w＝｛w1, w2,…, wn｝及びバイアスθの値を逐次調整していくことが3 RNN と言語モデル

この学習の過程に相当する。実際には、そのとき入力層言語処理の分野で成果を挙げ、注目されているアルから順次情報を伝播させ出力層に得られた予測値と、本ゴリズムが再帰型ニューラルネットワーク（Recurrent

来あるべき正解値との誤差を評価し、この誤差が小さNeural Network, RNN）である [3]。

YEAR BOOK 2O17 243

3

特許情報の高度な情報処理技術

2.2言語モデルとは、一般に単語列の確率分布を表すもの

⼊⼒層である。著名なモデルとして n-gram 言語モデル があaり、これは（n－1）個の単語 w1, w2, …, wn－1 が与えられたときに、次の単語 x が出現する確率 P（x│w1, w2,…, wn－1）を与えるものである。（2 章では文字 w を結合荷重：weight の意味で用いたが、本章以降では単語：word の意味で用いることとする。注意されたい。）
RNN はこの言語モデルを構築することが可能なネッ

ancatalyst
chemicalchemical

reactionreactionspeeds

中間層

再帰的結合the

トワークであり、図 4 のような構造を持つ。

⼊⼒層

出⼒層

up
図5

出⼒層

RNN 言語モデルの学習するようにする。結果、このネットワークは、wi までの単語列…, wi－2, wi－1, wi を順次入力したときに、次の単語 wi＋1 の予測確率 P（wi－1│wi, wi－1, …）が得られるようなものになる。このネットワークそのものが言語モデルを表すといえるが、先の n-gram 言語モデル とは異なり、RNN 言語モデルでは明示的に n の値を決めなくてよい点が特色である。学習に用いた文書中に
図4

RNN の構造⃝catalyst speeds up the reaction …
⃝catalyst speeds up the chemical reaction …

まず、入力層は単語の語彙数に相当する次元をと持というような表現が多く存在していたと仮定すると、つものとし、そのときの単語 wi に相当する成分だけが

図 4 のように catalyst, speeds, up, the といった単1、その他の成分が全て 0 であるようなベクトルとし語を順次入力していった場合、その時点で chemicalて入力を与える。そして、入力データは層間の演算を順や reaction といった「文脈を踏まえたうえで、次に出次受け、入力層よりも低次元な表現 hi を中間層に得る。

現する確率が大きい単語」が大きな出力値を持つようにここで、hi はその直前の層の出力だけではなく、1 つなることが期待できる。

前の単語を与えた時の値 hi－1 も同時に入力することがRNN の特徴である。ここで、hi は入力 wi（を表す各成

この過程では、wi という入力に対して wi＋1 という正分が 1 or 0 のベクトル）の次元を層間の演算を経て圧解を設定はするものの、入力データのみからその内部的縮したものであるといえるが、それを求める際の計算にな構造（言語モデル）を学習するものであるため、教師hi－1 が寄与し、またその hi－1 を求める際には hi－2 が寄なし学習を行っている例にあたる。また、RNN モデル

与し...というように過去の出現単語の影響を再帰的に受の構築時には、実用的には過去の情報をどの程度保持すけている点が特色である。したがって、この低次元表現

るか、もしくは忘れるかといった点も含めて学習を行う

は、過去どういう単語列を経て今 wi が出現しているのLSTM（Long Short-Term Memory）といった仕組みか、言い換えればどんな文脈の中で wi が出現しているをあわせて利用することが多い。

かという情報も折り込まれていることになる。
さらに、ニューラルネットワークの学習方針としては、

244

この hi から次の単語 wi＋1 が得られるように結合荷重を4 特許情報への応用調整していくものとする。今度は、hi から順次出力層に4.1

RNN 言語モデルの応用向かって次元を拡大し、最終的には入力層と同様なベクRNN 言語モデルを作成した場合、その使い道は大きトルの 1 or 0 表現に戻し、wi＋1 に相当する成分が発火

く分けて 2 種類存在する。一つは、次の単語の出現確率を予測するという性質をそのまま使うものである。例

る単語 wi＋1 の確率分布 P（wi＋1│wi, wi－1, …）をネッ

えば、モデルに基づいた文章の自動生成、また学習に用トワーク出力より求める。

いたテキストとは異なるテキストを用いてその文書にお3. 乱数を生成して wi＋1 から 1 つの単語を選択する。

ける単語出現状況の正しさや確からしさを評価する、とwi＋1 が文末でなければネットワークへ再度入力し、いうような適用が考えられる。[2] では文章の自動生成

2.～3. を繰り返す。

や校正といった事例が示されている。
もう一つの使い道は、文章を RNN 言語モデルに入力した際の中間層の表現 h を、文章の次元圧縮表現とし4. 生成された単語列の中から、閾値以上の予測確率が連続した文断片のみを抽出する。
5. 初期単語列を変えて、1.～5. を繰り返す。て用いることである。一般に文章は可変長の単語列 w1,上記のうち、2.～3. が RNN 言語モデルを用いた文の系列を反映させた抽象的な表現を、固定長のベクトル生成の過程であるといえる。1.の適切な初期単語列は、である h に落とし込めるという点でこの手法は特に価学習に用いたデータから適度に乖離したものを与えるこ値がある。単語 w を用いるかわりにこの h を用いて教とが望ましいと考え、原文中のランダムな位置から連師あり学習を行う、となどといった適用が考えられる。

続する 3 単語のみをランダムに抜き出して与えることとした。4.の閾値は 0.99 とした。5.の繰り返し数は

4.2

技術用語の抽出例

2000 とした。

こ こ で は、 次 の 単 語 の 出 現 確 率 を 予 測 す る というRNN 言語モデルの性質をそのまま使った適用を考える。特許文献等、英文の技術情報に対してテキストマイ結果として得られた連語のリストを表 2 に示す。生
成文中に出現した頻度の大きい 20 例を示している。

ニングを行いたいといった場合、1 単語単位での集計

表2

抽出された連語表現や傾向把握のみでは、その語がどのような文脈で用いら

one oraccording toれているかが不明であるためアウトプットから具体的なbased on

actuation of

状況を読み取ることは難しい。一般に、技術用語とみな

associated withmachine learning 222

at least

portion ofinterpretation ofconcept using the configuration

learned function 502

existence of one orsuitabilities ofmetrics based oncomponents ofprediction problem

included inrejected sentences

せる単語は複数の単語の連接からなることが非常に多いが、事前にこういった連語を網羅的に抽出して辞書化しておくことは現実的ではない。
そこで、RNN 言語モデルを用いて、単語間の確率的な結合度合いを評価し、まとまって出現する傾向の強い語群・連語を自動的に抽出することを試みた。学習には、
機械学習分野の PCT 特許 122 件の要約部分を用いた。

利用データ

文章数
延べ単語数

前置詞で終わる定型句が多く抽出されたため、更に、以下のようなストップワード設定を行うことで、表 3

データ諸元を表 1 に示す。
表1

thereof; and a software module snps in496 文章
13,439 語

単語種別数 2,568 種類
このデータを 2 層の LSTM 層を持つ RNN で学習しの結果を得た。こちらに関しても上位 20 例を示している。機械学習分野の技術用語とみなせる連語が抽出できているといえる。

⃝末尾の前置詞は含めない。

た。h の次元数は 100 とした。そして、学習後のネッ⃝先頭の冠詞・be 動詞は含めない。

トワークに対し、次の手順で連語の抽出を試みた。

⃝先頭・末尾の接続詞は含めない。
⃝アルファベット以外の文字が含まれる語は含めない。

1. ネットワークに、適当な初期単語列を与える。
2. それまでの単語列…, wi－2, wi－1, wi から、次に生じ頻度下位のものには、複数の節からなるような、単語YEAR BOOK 2O17 245

3

特許情報の高度な情報処理技術

w2, …, wn といった情報で与えられるが、これらの単語表3

ストップワード設定を施した連語表現

at least

metrics based

machine learningmodeling procedures

prediction problem

rejected sentences

learned functions

threshold charge levelsoftware module

training data

selected modeling procedures computing units
concept using

determined based

existence of one

diagnosis or otherheterogenous set

feature datamagnetic resonance data functional interpretation[1] H. Lee, R. Grosse, R. Ranganath, and A. Y.
Ng :“Unsupervised learning of hierarchicalrepresentations with convolutional deep
belief networks”, Communication of theACM, 54（10）pp.95-103（2011）[2] 高 橋 諒：“Deep Learning で 始 め る 文 書 解 析 入門（終）：LSTM と Residual Learning でも難しい「助詞の検出」精度を改善した探索アルゴリズ
ムとは - ＠ IT”, http://www.atmarkit.co.jp/ait/

数が 10 以上と非常に長い「文章そのまま」とみられる

articles/1611/11/news016.html（2016）

ような連語表現が抽出される現象もみられたが、これは[3] T. Mikolov, M. Karafiat, L. Burget, J. Cernocky,

RNN 言語モデルの内部状態が原文をそのまま与えた状

S. Khudanpur. :“Recurrent neural network

態と近いものになり、原文をほぼそのまま出力するサイ

based language model”, Proceedings ofクルに入ってしまったためと推測する。

Interspeech（2010）

5 当社の取り組みと展望
本 稿 で は、 言 語 処 理 の 分 野 で 広 く 適 用 さ れ ている
ディープラーニングの学習モデルについて解説を行い、構築した言語モデルを用いて技術用語の自動抽出が行える可能性について論じた。
最後に、当社におけるディープラーニングの活用について述べる。当社 NTT データ数理システムは、データ分析や機械学習を実現する分析ツールのディベロッパー・ベンダーであり、また分析受託業務やツールを実際に活用しての分析コンサルティング、システム化への支援を行い顧客の問題解決に実績を挙げてきた。分析受
託業務においては、画像認識などの分野でもディープラーニングが成果を上げている。これを、当社製品群に加えるべく、データマイニングツール Visual Mining
Studio へのディープラーニング機能の搭載に向けた開発が現在進行中である。一般に、世間のディープラーニングのフレームワークを利用するには特殊な環境設定やPython 言語などでのプログラミングを要するものが多いが、現在開発中の機能はツールの GUI からビジュア
ルに、プログラミング不要で利用可能なものになる予定である。

246

参考文献

特許情報の高度な情報処理技術

3

YEAR BOOK 2O17 247