テキスト情報とメタ情報の双方を活用した特許文書分類
Patent document classification using both text and meta information

株式会社 NTT データ数理システム

データマイニング部グループリーダー・主任研究員

岩本圭介

1999 年株式会社数理システム（現：株式会社 NTT データ数理システム）入社。自然言語処理や深層学習に関わるツール・手法開発及び分析業務に従事。現職はデータマイニング部グループリーダー・主任研究員。
iwamoto@msi.co.jp

1

はじめに文書を自動的に定められたカテゴリへと分類すること性がある。先に挙げた２例と紐づけて考えると⃝不具合情報の報告内容テキストに加えて、発生場面は、自然言語処理及び機械学習技術双方の応用分野としや対応人員、機器設置状況といった属性情報もあわて大きな関心が寄せられており、その有用性も極めて高せて事象のカテゴライズに利用するいものになっている。例としては⃝

同 じようなことを述べているがその解釈は個人の背景事情に依存することもあるため、個人のプロ⃝蓄積された不具合情報の内容から、問題が発生したフィール情報も利用して Web 上の意見を分類する

部品・部位の種別や発生事象をカテゴライズし、それらの間の関連を把握する⃝といった拡張が考えられる。

Web から採取した個人の声をポジティブ・ネガティ
ブに分類して、製品やサービスが世の中にどう受け止められているかを知る

本稿では、テキスト情報とメタ情報とを同時に扱って文書の分類を行う手法を紹介し、特許文書のカテゴライズを試みる。以降、２章で手法の解説を行い、３章で実など広い分野における要請があり、特許文書が対象であ験の結果を述べる。最後に、４章で実験に用いたツールる場合でもこれは例外ではない。過去の Japio YEARの解説とまとめを行う。

BOOK においても、機械学習を利用した特許のカテゴリ分類については［1］,［2］で論じられており、また特許検索の効率化のため「正解文書」群を選り分けることについては［3］で言及されている。

2

テキスト情報とメタ情報

2.1

テキスト情報とメタ情報のベクトル化

特許文書において、課題・解決手段・請求項といった246

さらに、文書には、その内容の中心であるいわゆる「文文章で記述情報と、公開日・分類コード・出願人や発明章（テキスト）」の部分の他に、様々な属性情報（メタ情報）者といった書誌情報との間の関係は、そのままテキストが付随していることが多くある。こういった情報もカテ情報とメタ情報との関係にあたる。一般に、従来用いらゴリ分類を行う際の手がかりとすることができれば、テれてきた各種の分析手法に対してこれらの情報を適用さキストだけでは分類性能が思わしくない、メタ情報だけせられるようにするためには、それらを決まった長さ（個では判断がつかない、というようなケースにおいてもそ数）を持つ要素の組、すなわちベクトルで表す必要があれらを相互補完的に利用して精度を向上させられる可能る。メタ情報の方は、いわば一問一答もしくは一問多答

の形式の情報であり、ベクトル形式への変換は図１のよテキスト部分と属性部分とでどうしてもアンバランスがうに比較的自然に考えることができる。

生じる。頻出単語や重要単語のみを利用してベクトル化する、ノイズになりうる単語を省く、など情報量を減ら

公開年

出願人

IPC

2017 B23K 35/30

A社

2016 C22C 19/05|G05B 9/02|G06Q 50/06

B大学

2017 B23K 35/30|G05B 9/02

C研究所

すことも考えられるが、その基準はどうあるべきか、別途その検証が必要になってくる。

分類モデル
構築手法
2016

2017

B23K
35/30

C22C
19/05

G05B
9/02

G06Q
50/06

A社

B大学

C研究
所
01

1000

10001110100

1

10

10001

図１

属性情報のベクトル化

テキスト情報ベクトル

メタ情報ベクトル

3
Word Embedding
SWEM 等一方、テキスト情報のベクトル化については、筆者らも［4］で述べているが、テキスト内の単語の有無に基づいて（0,1）を要素とするベクトルで表現する方法（Bagof Words）や、ある単語の周辺状況を反映させるようテキスト情報
図３

メタ情報

ベクトル化されたテキスト・メタ情報の利用にニューラルネットワーク手法で学習を行い、そこで得られた単語のベクトル表現（分散表現）を利用してテキ

また、テキストのベクトル表現として分散表現を利用ストのベクトル表現を得る方法（word2vec をはじめする場合は、ベクトル次元数はモデル構築者が指定するとする Word Embedding 手法［5］+ SWEM［6］）がため上記で述べたようなアンバランスさが発生する懸念

代表的なものとしてある。（図２）は解消されるが、この分散表現そのものが果たして妥当なものであるのか、またテキスト間の類似度を適切に表

Bag of Words
分子量

モル質量測定現できているものかどうかこちらもまた検証が必要であ計測

分子量を測定した。

= {

1,0,… ,1,0}

モル質量を計測した。

= {0,1,… ,0,1}

る。さらに、この学習による分散表現獲得の過程は「文書を分類する」というタスクとは独立に、無関係に行われるものであることは認識しておきたい。この過程には、必ずしも「文書を分類する」ことにおいてふさわしい分

Word Embedding
分子量= {

0.8 , 0.7 , … , 0.1 , 0.2 }散表現を積極的に得ようとする働きは含まれていないと

モル質量

= {

0.9 , 0.6 , … , 0.2 , 0.2 }いうことである。

測定= {0.1 , 0.3 , … , 0.8 , 0.7 }

計測

= {

0.2 , 0.1 , … , 0.8 , 0.9 }

埋め込み次元数

図２

テキスト情報のベクトル化

2.2 テ キスト情報とメタ情報を同時に扱う
分類モデル構築手法
前節で、メタ情報のベクトルとテキスト情報のベク

このようにして別々に得られたテキスト情報とメタトルとをそれぞれ独立に獲得してそれらを結合する際情報のベクトルを、単に連結してテキスト情報とメタ情の懸念点について述べたが、テキスト情報を扱うに当報とを含めた文書全体のベクトル表現と考えることも可

たってはそれらが１件１件異なる長さを持ち、さらに要能である。この文書全体のベクトル表現を図３のよう素（単語）の並び・順番に意味があるという前提を事前に利用して分類モデルを構築することも可能であるが、に受け入れて学習を行うニューラルネットワークのモ

Bag of Words のように単語の有無に基づいたテキス

デルも広く知られており、筆者が［7］で利用した RNN

トのベクトル化を行う場合、テキスト部分のベクトル次（Recurrent Neural Network）はその１つである。

元数は利用するテキスト内の語彙数に等しくなるため、

YEAR BOOK 2O2O 247

特許情報の高度な情報処理技術01ここで、テキスト由来の情報は RNN で扱い、属性由来のメタ情報は通常のフォードフォワード型ニューラル

表１

原子力関連分野の国内特許公報 500 件
うち注目特許 123 件、非注目特許 377 件

学習データ

データ全体の 80%（400 件）
うち 注目特許 99 件、非注目特許 301 件

検証データ

データ全体の 20%（100 件）
うち 注目特許 24 件、非注目特許 76 件

テキスト情報「要約」部分

メタ情報

テーマコード、
学習データ 400 件内で３件以上の文書に出現したもの（全 56 種類）

教師データ

注目特許か否か、の２値カテゴリ情報ネットワーク（多層パーセプトロン, MLP）で扱い、それらを結合した情報を利用して更に分類を行うようなネットワークをここでは提案する。（図４）

出力層
全結合層
テキスト由来情報

RNN部分

メタ情報由来情報

RNN層

全結合層

：：

RNN層

全結合層

MLP
部分

データ概要と問題設定

対象データ

注目特許か否か、という教師情報は、客観的かつ正解との照合を可能にすることを考え、ここでは特定の IPC分類を含むか否か、によって機械的に与えた。また、2.2

テキスト情報図４

メタ情報

テキスト・メタ情報を同時に扱う分類モデル

章の手法との比較対象のために、メタ情報部分は用いずテキスト部分のみを RNN を用いて分類するモデルを同一の問題設定のもとで別途構築した（図５）。

１ 件 の 文 書 が こ の ネ ッ ト ワ ー ク が 入 力 さ れ る と、

出力層

RNN 部分にはテキストの単語が順繰りに与えられてその内部状態が変化していき、最終的に RNN 部分の出力全結合層情報が得られる。別途、MLP 部分には属性情報が与えテキスト由来情報られ、ニューラルネットワークのフィードフォワード演算を経て出力情報が得られる。この両者の出力情報（ベクトル）を結合し、このテキストと属性とを結合した情

RNN層

RNN
部分：

RNN層

報に対して更に演算を行って出力値が得られるが、この出力値と本来のあるべき予測値（教師データ）との誤差に基づいて、RNN 部分と MLP 部分全体のパラメータを調整していく。その結果、テキスト由来の情報を扱う部分も、メタ情報由来の情報を扱う部分も、正しい分類

テキスト情報図５

メタ情報

比較対象：テキスト情報のみ（RNN のみ）

結果を導き出すという目的のもとで全体が最適化され、以下、結果を示す。「注目特許」クラスに関しての値互いの情報を有効に利用して学習を行えることが期待でであり、「RNN+MLP」が 2.2 章で今回提案した手法、きる。

「RNN のみ」が比較対象であるテキスト部分のみを用いて分類を行う手法である。

3表２

特許文書分類モデルへの応用

本節では、注目すべき特許に人が手動でラベルを付与してその状況を学習し、さらにその他の特許に対して注目に値する特許を自動的に抽出する、という問題設定を想定して 2.2 章の手法を試行する。

注目特許分類 結果 精度情報
F-scoreprecision

recallRNN+MLP

0.800.860.75

RNN のみ0.790.790.79

本 試 行 の 結 果 で は、 予 測 結 果 に 対 す る 正 解 率（precision）は RNN+MLP モデルの方が良好であり、元来の注目特許がどれだけカバーできたか、という指標

データ概要や問題設定を表１に示す。

248（recall）は RNN モデルの方が良好であった。これにより、RNN+MLP モデルの方が若干取りこぼしは多く参考文献なっているものの「より確実」なものを拾い上げている［1］富永泰規：“外国特許文献へ分類付与に関する機といえ、テキスト情報のみでは注目特許の可能性が高い

械 学 習 活 用 可 能 性 調 査 に つ い て ”Japio YEAR

が、メタ情報をあわせて考えると注目特許の可能性が低BOOK 2017 pp.212-217（2017）

くなるようなものが存在していたと推測できる。正解率［2］安藤俊幸：“機械学習を用いた効率的な特許調査法”

を再現率の調和平均である F-score では、若干である

Japio YEAR BOOK 2019 pp.240-251（2019）

が RNN+MLP モデルの方が良好であった。

［3］安藤俊幸：“機械学習を用いた効率的な特許調査法”
Japio YEAR BOOK 2016 pp.150-161（2016）4［4］岩 本 圭 介， 柿 沼 匡 志：“ 一 般 語 彙 と 専 門 語 彙 のまとめ

Word Embedding を併用した特許文書間の類似度

ルを構築することで、双方を活用した文書分類が行える算出”Japio YEAR BOOK 2019 pp.252-257（2019）

可能性を示した。用いる属性情報の拡張などを行い、さ［5］T . M i k o l o v , I . S u t s k e v e r , K . C h e n , G .

らなる試行・実験を通して今後は適用の場面を拡張して

S. Corrado, and J. Dean, “Distributedいきたいと考えている。

Representations of Words and Phrases
and their Compositionality,”in Advances

当社（株）NTT データ数理システムの取り組みとして、in Neural Information Processing Systems

利用者自身が持つテキストデータに対して言語解析処理

26, C. J. C. Burges, L. Bottou, M. Welling,を行って単語の抽出を行い、またそれらに対して RNN

Z. Ghahramani, and K. Q. Weinberger, Eds.

をはじめとする深層学習のアルゴリズムを適用させられCurran Associates, Inc., 2013, pp. 3111-

るツールを開発・販売している。これらは共通の基盤プ

3119.

ラットフォーム上で提供され、ツール間をシームレスに［6］D. Shen et al.,“Baseline Needs More Love:連係させて利用することができる。図６に、テキストマ

On Simple Word-Embedding-Based Models

イニングツール Text Mining Studio の解析結果に対and Associated Pooling Mechanisms,”in

して、深層学習ツール Deep Learner を適用させてテProceedings of the 56th Annual Meeting

キスト情報・メタ情報の双方を利用した分類モデルの学of t he Associat ion f or Com put at i o n a l

習を行っている様子を示した。これら分析ツールの適用

Linguistics （Volume 1: Long Papers）,

により、多様化するデータに対しての様々な要請に応え

Melbourne, Australia, 2018, pp. 440-450.

ることができると当社では考えている。

［7］岩本圭介：“ディープラーニングによる特許文献から の 技 術 用 語 抽 出 ”Japio YEAR BOOK 2017
pp.242-247

図６

Deep Learner の利用

YEAR BOOK 2O2O 249

3

特許情報の高度な情報処理技術

テキスト情報とメタ情報とを同時に利用して分類モデ