ミニ特集

特許庁× AI

特許文献への分類付与と付与根拠の推定
Classifying patent document and Suggesting grounds for assigning the patent classification

特許庁

審査第一部調整課企画調査官

近藤裕之

1999 年入庁。特許審査、審判に従事のほか、情報技術統括室で特許庁情報セキュリティポリシー策定、システム計画などを担当すると共に、内閣官房で政府の政策の総合調整、一般財団法人工業所有権協力センター（IPCC）を経て、2018 年 4 月より現職。

1

はじめにごく一部の記載個所にしか現れない分類や、逆に高頻度で使用されている単語の組合せによって記載されている

平成 26 年に閣議決定された「『日本再興戦略』改訂分類など、用語の使用頻度が一定の範囲にある場合でな2014」及び知的財産戦略本部決定された「知的財産ければ、ノイズとなってしまい、付与精度が低下する原推進計画」において、「世界最速・最高品質の特許審査」因になっていることが挙げられている。そこで、平成の実現を目指すこととされ、その実現のためには内外国

29 年度の調査事業においては、特許分類（F ターム）や、の先行技術文献調査を効率的に実施するための環境整備

その分類に対する明細書中の付与根拠個所（段落単位）が重要である。の推定について検討を行うこととした。

特許庁では、平成 28 年度から、人工知能（AI）技術

なお、本稿は、平成 29 年度に実施した調査事業の結の活用に向けた検討を行い、同年に行った調査研究（「人果を踏まえ、著者らの私見に基づいて記載したものであ工知能技術を活用した特許行政事務の高度化・効率化実り、特許庁としての意見・見解を表明するものではない。

証的研究事業」）の結果を踏まえ、平成 29 年 4 月に、「特許庁における人工知能技術の活用」についてのアクションプラン を公表した。

162

機械学習モデルごとの推定精度検証

このアクションプランに沿って、平成 29 年度は、
「電本調査事業においては、各種の機械学習モデルを用い、話等の質問対応」、「紙出願の電子化」、「特許分類付与（テ

特許文献に付与すべき特許分類（F ターム）や、その分キストに基づく付与）」、「先行技術調査（検索式の用語類に対する明細書中の付与根拠箇所（段落）を機械推定の拡張、ヒット箇所のハイライト表示）」、「先行図形商し、その精度を比較評価した。また、検証手法自体も、［検標の調査」、「指定商品・役務調査」の 6 つで調査事業

証 1］学習データに正解データを用いずに機械学習させを実施しているが、本稿では、「特許分類付与（テキスて構築した機械学習モデルを用い、特許分類（F ターム）トに基づく付与）」の調査事業について紹介する。

に対する付与根拠箇所推定精度を評価する検証、及び［検特許文献への分類付与に関して、特許庁では、平成

証 2］学習データに正解データを用いて機械学習させて28 年度に外国特許文献への分類付与に関する機械学習構築した機械学習モデルを用い、特許分類（F ターム）の活用可能性調査 を実施した。この調査において、特に対する付与根拠箇所推定精度を評価し、さらに F ター許分類を付与するための根拠個所の記載が、特許文献のム自体の付与精度も評価する検証である。

ミニ特 集 特許庁×ＡＩ

本章では、本調査事業で実施した上記 2 つの検証について、用いた機械学習モデル及び推定精度評価結果の概要並びに得られた知見等を紹介する。

2.1 ［検証
1］機械学習モデル作成に正解データを用いない手法
本検証では、人手で作成した付与根拠箇所の正解デー

図1

NAM による付与根拠個所推定の構成

NAM による付与根拠個所推定の構タについては学習に用いずに F タームの付与根拠箇所

図１を推定可能な 4 種類の機械学習モデル（NAM、CNN-成
与された F タームに対する付与根拠個所を教師データ

NAM、mi-SVM、mi-NN）を構築し、各機械学習モデとして使用する必要がない。

ルにおける F タームの付与根拠箇所推定精度を比較評価した。

図５② CNN-NAM（畳み込みニューラルアテンションモデル）（1）機械学習モデルの概要
検証 1 で用いた、4 種類の機械学習モデルの概要について、それぞれ紹介する。

このモデルは、上記①で述べた NAM の隠れ層（RNN）を、CNN（畳み込みニューラルネットワーク）に置き換えたニューラルネットワークであり、NAM と比較し、並列処理によって学習を高速化でき、マシンリソースも①

NAM（ニューラルアテンションモデル）3, 4, 5
文献に現れる各単語の注目度合（Attention）を学習し、分類付与に貢献する単語と、そうでない単語を識別

教師文献削減できる特長がある機械学習モデルである。

図１ NAM による付与根拠個所推定の構
図２
CNN-NAM による付与根拠個所推定
F タームに対する付与根拠個所推定に
CNN-NAM を成適用した場合の構成を図2 に示す。の構成した上で分類を付与するニューラルネットワークであ図６ SV
図５る。NAM は、単語ごとに文脈を考慮した表現を抽出するための「連続的な要素に対するニューラルネットワー
ク（NN）」と、文脈を考慮した表現をもとに、各単語の注目度合を表す値を得るための「注目度合を決定する

テAttention 層」から構成される。
この NAM の特徴は、「（a）類似する文書を検索す
教師文献る」と、「（b）類似する検索による文書である」、という単語の要素（類似、文書、検索という単語で構成）は同じだが、意味が全く異なる両文を区別して学習できる。なお、このような連続的な要素を区別できるニュー

図３ mi-SVM による付与根拠箇所推定の構
CNN-NAM による付与根拠個所推定の構成
図２図 2CNN-NAMによる付与根拠個所推定
成の構成

上記①で述べた NAM の隠れ層で採用している RNN

ラルネットワークとしては、リカレントニューラルネッ（LSTM、GRU 等）の代わりに、CNN の畳み込みを施トワーク（RNN）、畳み込みニューラルネットワーク

すことにより、学習精度を低下させずに学習を高速化さ（CNN）がよく知られる。

せる。

図６

SV

図７

NAM

F タームに対する付与根拠個所推定に NAM を適用した場合の構成を図 1 に示す。
NAM では、どの記載個所に注目すると最終的な Fターム付与精度が向上するのかという情報を元に、注目の仕方を学習する。付与されている F ターム情報に基づいて最適値を自己学習するので、過去の特許文献に付③ mi-SVM（マルチインスタンスサポートベクターマシン）6, 7

図４
このモデルは、複数の段落から構成される特許文献にmi-NN による付与根拠箇所推定の構対して、各段落が付与根拠箇所とみなされるかをF ター
成

図３

mi-SVM による付与根拠箇所推定の構

ムごとに推定し、付与根拠箇所とみなされない段落を除成

YEAR BOOK 2O18

17

図７NAM

ミニ特集

特許庁× AI

図３

mi-SVM による付与根拠箇所推定の構成

外しては再学習するという処理を繰り返すことにより、

図７付与根拠箇所を絞り込んでいく機械学習モデルである。
mi-SVM は、
まず、ある F タームが付与された文献（正例文献）の全段落を、付与根拠箇所である（正例段落）

NAM による付与根拠個所推定の構図１とし、それ以外の文献（負例文献）の全段落を付与根拠

成箇所でない（負例段落）として初期設定する。次に、これらの段落を SVM で初期学習し、学習器を生成する（①4 mi-NNによる付与根拠箇所推定の構成
図４ 図mi-NN
による付与根拠箇所推定の構

SVM の特長（マージン最大化）
成初期学習）。そして、生成された学習器を使用して、教図５

師文献自身に対して、各段落が付与根拠箇所であるかを（2）検証 1 における機械推定精度評価結果推定する（②推定）。その結果、付与根拠箇所でないと

本検証では、12 の技術分野（テーマ）について、一評価文献

推定された段落を正例落から除外し、更新された正例段つの技術分野（テーマ）あたり20 個（合計 240 個）
テーマＸを構成する分類
各分類を付与すべきかを個別に学習

落及び負例段落を使用して再度 SVM で学習し、学習器SVM
SVM
AA01
AA01以外
AA01の F タームを選定し、日本語の特許文献を対象とし、（学習）
（推定）
教師文献
教師文献
学習モデルを生成する（③再学習）。このように、正例段落を更新

SVM
SVM
AA02
AA02
各テーマ
200AA02以外
文献の評価データ（正解データ）に対し（学習）
（推定）
教師文献
教師文献
学習モデル

教師文献

付与すべきとしては学習・推定するという処理を繰り返すことにより、判定された
SVM
SVM
BB01
BB01以外BB01て付与根拠箇所の推定精度評価を行った。推定精度評価
分類を出力
（学習）
（推定）
教師文献
教師文献
学習モデル

付与根拠箇所（正例段落）を絞り込んでいく。
図２ CNN-NAM による付与根拠個所推定

・・ 値を評価・・・ F タームに対するの指標としては、個々のF・・・・・

このモデルを F タームに対する付与根拠個所推定にの構成適用した場合の構成を図 3 に示す。

・・・・・文献ごとに算出し、算出結果を平均する「マクロ平均
F
（学習）
（推定）
教師文献
教師文献
学習モデル
ZZ02

ZZ02以外SVM

ZZ02

SVM値」と、個々の F タームに対する個々の評価文献ごと

図６SVM による F ターム付与方式：One-の結果をマージ（加算）してから F 値を算出する「マvs-rest 方式

イクロ平均 F 値」を用いた。マクロ平均は、正解付与根拠箇所の数が少ない F ターム（または文献）の精度の振る舞いに影響されやすく、一方、マイクロ平均は、正解付与根拠箇所の数が多い F ターム（または文献）の付与精度の振る舞いに影響されやすい指標である。さ図３

図3

mi-SVM による付与根拠箇所推定の構成

mi-SVM による付与根拠箇所推定の構④ mi-NN（マルチインスタンスニューラルネットワー成クモデル）

らに、推定精度評価の指標として、「抽出率」も採用した。抽出率とは、「評価文献を構成する総段落数に占める、付与根拠として機械が推定した段落数の割合」である。人手の正解データと機械推定した付与根拠箇所の抽こ の モ デ ル は、mi-SVM に お い て 使 用 す る SVM

出率とを比較することで、機械がどれだけ付与根拠箇所
図７
NAM+による付与根拠箇所推定及び F タームの代わりに、ニューラルネットワークモデルであるを絞り込めているか（あるいは、過度に絞り込んでいな付与の構成

fastText8, 9を適用した機械学習モデルである。単語のいか）の評価が可能である。

分散表現を事前学習する際に、単語を構成する部分文字

検証 1 において、付与根拠箇所の推定精度は、マイ列の分散表現を加味することにより、表現力の高い単語

ク ロ 平 均 F 値 で は、mi-SVM、NAM、CNN-NAM、分散表現を生成している点、また、fastText は単語のmi-NN の順に高く、一方、マクロ平均 F 値では、NAM、頻度を活用し、不必要な計算を減らしながら学習するた

mi-SVM、CNN-NAM、mi-NN の 順 に 高 い と い う 結

め、他の事前学習手法と比べて学習に要する時間が短い果が得られた。NAM は、マイクロ平均 F 値では mi-点が特長である。

SVM に及ばないが、マクロ平均では上回っていること

図４mi-NN による付与根拠箇所推定の構成

このモデルを F タームに対する付与根拠個所推定に適用した場合の構成を、図４に示す。

から、mi-SVM よりも、比較的安定した出力結果を出せていると考えることができる。
また、付与根拠箇所の抽出率を比較した結果、人手で付与した正解付与根拠箇所の抽出率に対し、mi-SVM、

18NAM+

ミニ特 集 特許庁×ＡＩ

mi-NN の抽出率は比較的近いが、NAM、CNN-NAM
ではかなり高くなっており、付与根拠箇所を適切に絞り込めていないことが分かった。

図１
NAM による付与根拠個所推定の構2.2 ［検証
2］学習データに正解データを用
NAM による付与根拠個所推定の構
成

図１

いた手法

成
本検証では、検証 1 で利用した特許文献のテキストデー

図5

SVM の特長（マージン最大化）

手で付与した付与根拠箇所情報の正解データも学習デー

図５ SVM の特長（マージン最大化）
図５ SVM の特長（マージン最大化）
境界に最も近いノード（文書）から境界までの距離が最タとして利用する 3 種類の機械学習モデル（NAM＋、評価文献
大となるように境界を学習する。この考え方が「マージmi-SVM＋、mt-NAM）を構築し、当該モデルを用い各分類を付与すべきかを個別に学習テーマＸを構成する分類
ン最大化」である。このマージン最大化により、新規文タ、及び、特許文献に付与された F タームに加えて、人評価文献

AA01
AA01以外テーマＸを構成する分類
教師文献
教師文献

SVM
AA01
各分類を付与すべきかを個別に学習
（学習）
学習モデル

SVM
（推定）

た付与根拠箇所推定、及び、F タームを付与した際の付書に対する識別精度を向上させる（汎化性能を高める）
SVM
SVM
AA01
AA01以外
AA01
SVM
SVM
AA02
AA02以外AA02

与精度評価を行った。なお、F ターム付与の精度評価に

AA02
AA02以外ことができる。
BB01
BB01以外教師文献
教師文献

は、ベースラインの機械学習モデルとして SVM を採用
図２ CNN-NAM による付与根拠個所推定
図２ CNN-NAM の構成による付与根拠個所推定した。の構成（1）機械学習モデル
本節では、検証 2 で用いた、4 種類の機械学習モデルの概要について、それぞれ紹介する。

教師文献
教師文献

教師文献
教師文献

教師文献

教師文献
教師文献

（学習）
（学習）

学習モデル
学習モデル

（推定）
（推定）

教師文献

SVM
SVM
（学習）
（学習）

AA02
BB01
学習モデル
学習モデル

SVM
SVM
（推定）
（推定）

付与すべきと判定された分類を出力付与すべきとSVM
SVM
BB01
BB01以外BB01
・・・・・
F ターム付与は、一つの特許文献に一つ以上のF ター
分類を出力
・・・・・（学習）
（推定）
教師文献
教師文献
学習モデル
判定された

・・・・・・・・・・SVM
SVM
ZZ02
ZZ02以外ZZ02・・・・・・・・（学習）（推定）
・・教師文献
教師文献
学習モデル
ムが付与されるマルチラベル分類である。したがって、
ZZ02
教師文献

ZZ02以外
教師文献

SVM
（学習）

ZZ02
学習モデル

SVM
（推定）

マルチラベル分類のタスクに対して、2値分類モデルを
図６ SVM による F ターム付与方式：One図６
SVMによるF
ターム付与方式：One適用することになる。SVM をマルチラベル分類に適用

vs-rest 方式
vs-rest 方式
する方式としては、One-vs-rest、One-vs-oneという2 種類の方式がある。本事業では、学習モデルの作成時間を考慮し、One-vs-rest 方式を採用した。その構成は、①

SVM（サポートベクターマシン）

図 6 に示す。

これは、最も広く適用されている機械学習モデルの一
図３ mi-SVM による付与根拠箇所推定の構つであり、本検証では、F ターム付与精度評価のベース
図３ mi-SVM による付与根拠箇所推定の構成ラインとして採用した。SVM は、基本的には、2 クラ類に着目して、その分類を付与すべきか否かを判定するスを識別する機械学習モデル（2 値分類モデル）であり、判定された分類をすべて出力する方式である。したがっ2 クラスを識別する学習モデルを教師文書から生成し、て、生成される学習モデルは、付与対象とする
F ター
図７ NAM+による付与根拠箇所推定及び F ターム

新規文書に対してどちらのクラスに属するかを識別すムの数だけ生成される。本方式では、あるF タームを付与の構成

る。例えば、受信した電子メールがスパムメールである

付与すべきかを判定する際に、他の分類の影響を受けなか否かという 2 クラスを想定した場合、SVM はスパムい。

成図１

NAM による付与根拠個所推定の構成

One-vs-rest 方式は、図 6 に示すように、個々の分学習モデル（2 値分類モデル）を生成し、付与すべきと
図７

NAM+による付与根拠箇所推定及び F ターム
付与の構成

図５

SVM の特長（マージン最大化）

メールである電子メール群（正例）と、スパムメールで
図４ mi-NN による付与根拠箇所推定の構図４ mi-NN による付与根拠箇所推定の構ない電子メール群（負例）を教師文書として学習し、学評価文献

成成
習モデルを生成する。そして、新規に受信した電子メー
ルに対して、スパムメールであるか否かを識別し、識別テーマＸを構成する分類

教師文献結果を出力する。
SVM の最大の特徴は「マージン最大化」と呼ばれる
図２ CNN-NAM による付与根拠個所推定の構成考え方にある。一般に 2 クラスの境界を学習する場合、

図6

各分類を付与すべきかを個別に学習

AA01
教師文献

AA01以外
教師文献

SVM
（学習）

AA01
学習モデル

SVM
（推定）

AA02
教師文献

AA02以外
教師文献

SVM
（学習）

AA02
学習モデル

SVM
（推定）

BB01
教師文献

BB01以外
教師文献

SVM
（学習）

BB01
学習モデル

SVM
（推定）

・・・・・・・・・・・・・・・

ZZ02
教師文献

ZZ02以外
教師文献

SVM
（学習）

ZZ02
学習モデル

SVM（推定）付与すべきと判定された分類を出力

SVM による F ターム付与方式：One-vs-rest 方式

図5（a）に示すようにいろいろな教会の引き方が存在す

図６

る（図では、理解促進のために、2 次元空間での境界をvs-rest 方式
なお、SVM は、付与根拠箇所を活用せずにF ターム示しているが、実際には n 次元空間での境界となる。）

付与した場合の付与精度を比較検証するためのベースラ

これらの境界のうち、SVM では、図 5（b）に示すように、インモデルである。そのため、付与根拠箇所を推定する

SVM による F ターム付与方式：One-YEAR BOOK 2O1819ミニ特集

特許庁× AI
ことはせずに、F タームのみを付与して出力することとmi-SVM+ では、図 8 に示すように、付与根拠箇所がした。

既知の文献（機械または人手によって特定された付与根拠箇所を持つ文献）を教師文献として使用している。付

②NAM＋（ニューラルアテンションモデル＋）与根拠箇所が既知の文献を学習に使用することにより、このモデルは、検証 1 で述べた NAM を、「付与根拠付与根拠箇所の推定精度及び F タームの付与精度の向箇所推定ネットワーク」及び「推定された付与根拠箇所上が期待できる。2 つ目は、図 8 に示すように、入力を使用した F ターム付与ネットワーク」の 2 つに分割

文献に対して、まず、付与根拠箇所推定用の SVM によっしたモデルである。NAM を二つのネットワークに分けて付与根拠箇所を推定する。そして、出力された付与根ることによって、前者の付与根拠箇所推定ネットワーク

拠箇所に含まれる単語から素性データを抽出し、元の評で付与根拠箇所を教師データとして付与根拠箇所の推定価文献から抽出される素性データに追加（結合）して、方法を学習し、後者の F ターム付与ネットワークで FF ターム付与用の SVM によって F タームを付与する。

タームを教師データとして F タームを付与するかを学推定の構習できるようになる。
付与根拠箇所推定ネットワークは、Attention と同様の方法で付与根拠箇所を推定し、推定した付与根拠箇
図５ SVM の特長（マージン最大化）
所と教師データの付与根拠箇所を突き合わせることで付与根拠箇所の推定方法を学習する。
F ターム付与ネットワークは、推定された付与根拠個
評価文献

テーマＸを構成する分類各分類を付与すべきかを個別に学習所を使って、予測に使うデータを絞り込んだ上で、上記
SVM
SVM
AA01
AA01以外
AA01
教師文献

教師文献

（学習）

教師文献

教師文献

（学習）

学習モデル

（推定）

学習モデル

（推定）

SVMF タームを付与する。
SVM
した NAMAA02と同じ方法で
AA02以外AA02
教師文献

付与すべきと判定された
SVM
SVM で置き換え
BB01
BB01以外BB01
なお、本モデルは、上記した
CNN-NAM
分類を出力
（学習）
（推定）
教師文献
教師文献
学習モデル

8 mi-SVM+ による付与根拠箇所推定及びF タ
図８ 図
mi-SVM+による付与根拠箇所推定及びF ターム付与の構成

ーム付与の構成・・・・・・・・・・ることによって、CNNを使ったモデルとしても実装で・・・・・個所推定きる。

ZZ02
教師文献

ZZ02以外
教師文献

SVM
（学習）

ZZ02
学習モデル

SVM
（推定）

④ mt-NAM（マルチタスクニューラルアテンション

図６
SVM による F ターム付与方式：OneNAM＋を付与根拠箇所推定及びF ターム付与に適用

モデル）

vs-rest
した場合の構成を、図7 方式に示す。

このモデルは、付与根拠箇所推定と F ターム付与という二つのタスクを、同じモデル上で学習するモデルである。
このモデルでは、まず、上記した NAM と同様の手順で注目度合いβによって、F ターム付与の予測値を得る。
そして、教師データの教師信号（付与F ターム）と予
図９ mt-NAM による付与根拠箇所推定及びF ター推定の構測が近くなるようにモデルパラメータを最適化する。

ム付与の構成次に、NAM と同様に、段落単位の注目度合βを学習
図 7 NAM＋による付与根拠箇所推定及び F ターム付与の構成
図７

NAM+による付与根拠箇所推定及び F ターム付与の構成③ mi-SVM＋（マルチインスタンスサポートベクター20出力する。そして、学習データの教師信号と予測が近くなるように追加で学習を行う。この手順は、F ターム付マシン＋）

与に関して学習が完了したネットワークを、付与根拠箇

このモデルは、mi-SVM を拡張した機械学習モデル

所を適切に出力できるように微調整することに相当すである。具体的には、mi-SVM に対して 2 点の拡張を推定の構し、注目度合の高い段落を付与根拠箇所の予測値としてる。

施している。1 つ目は、mi-SVM では、付与根拠箇所

このモデルの特徴は、上記した NAM+ は、付与根拠が未知である文献を教師文献として学習するのに対し、箇所推定、F ターム付与のそれぞれに対して異なるネッ図８

mi-SVM+による付与根拠箇所推定及び F タ

ミニ特 集 特許庁×ＡＩーム付与の構成
付与根拠箇所の抽出率を下回っていることが分かった。

2.3

推定精度向上に向けた考察

本調査事業における検証では、最新の機械学習技術を用い、特許分類（F ターム）に対する明細書中の関連箇所（付与根拠箇所）の推定精度を調査したが、各検証を
図 9 mt-NAM
F ターム付与の構成
図９mt-NAMによる付与根拠箇所推定及びによる付与根拠箇所推定及びF ター

ム付与の構成トワークを持っているのに対し、mt-NAM は、付与根通して、さらなる推定精度向上化のための課題やその対策案等について知見が得られた。本節ではそれら得られた知見について紹介する。

拠箇所推定と F ターム付与という二つのタスクを同じモデル上で学習し、隠れ層及び Attention 層を共有するので、学習の相乗効果により精度が向上する点にある。

（1）複合語の分割
本検証では、形態素解析によって特許文献テキストを単語に分割している。その際、分割された単語（名詞、（2）検証 2 における機械推定精度評価結果動詞）だけでなく、連続する二つの名詞を一つの複合語

本検証では、検証 1 と同一の技術分野（テーマ）、F（例えば「情報」と「検索」を「情報検索」という一単ターム、日本語特許文献を対象とし、各テーマ 200 文語とする）として追加することにより、付与根拠箇所推献の評価データ（正解データ）に対し、人手によって特定精度が向上する可能性がある。

定された付与根拠箇所正解データを各機械学習モデル（NAM＋、mi-SVM＋、mt-NAM）で学習した場合の、（2）機械推定の閾値の適切な設定

F タームの付与根拠箇所推定精度及び F ターム付与精度

検証 1 の NAM 及び CNN-NAM の抽出率は、人手でを比較評価した。各機械学習モデルの付与根拠箇所推定

付与した正解付与根拠箇所の抽出率に対し、大幅に高い精度を比較した結果、マイクロ平均 F 値及びマクロ平値となっていた。これは、付与根拠箇所であるかを判定

均 F 値の両者とも、mt-NAM、NAM＋、mi-SVM＋のする閾値が固定されており、F タームによっては絞り込順で精度が高いことが分かった。また、本検証では、Fみが適切に機能していなかったことに起因すると考えらタームの付与精度についても算出し、各機械学習モデルれる。最良となる閾値を探索することで、抽出率を低く間で比較評価したところ、NAM＋、mt-NAM、SVM、し、より妥当な F 値を得られる可能性がある。

mi-SVM＋の順で精度が高くなる結果が得られた。
上述のとおり、今回検証したモデルのうち、付与根拠（3）特許文献の内容・傾向を考慮した再学習箇所の推定精度が最も高いモデルは mt-NAM であり、同じ分類（F ターム）でも、年代によって技術分野が他方、F ターム付与精度が最も高いモデルは NAM＋で変化してきており、教師文献と最新の特許文献との間にあった。mt-NAM では、まず F ターム付与を学習し、内容の乖離が発生するため、付与精度が低下していく可

次にその学習結果を付与根拠箇所に適用してモデルパラ能性が高い。そのため、付与精度の低下を検知する仕組メータを調整するが、本検証では人手で作成した高精度みを構築し、付与精度が一定以上低下した場合は、再学の付与根拠箇所データを学習に利用したため、この調整習等を検討する等の対応が必要である。

が功を奏して付与根拠箇所推定精度が向上したと考えられる。一方、NAM＋では、付与根拠箇所の学習結果を（4）付与根拠箇所が図面に存在する場合への対応

F ターム付与に適用するため、F ターム付与精度が向上し本検証において、付与根拠箇所は特許文献明細書のテたと考えられる。さらに、付与根拠箇所の抽出率を比較

キスト部分についてのみ解析対象としたが、場合によっした結果、mi-SVM＋、mt-NAM、NAM＋、の順で低くてはテキスト以外の図面に根拠がある場合も想定されなっており、mi-SVM＋、mt-NAM においては、正解る。さらなる精度向上化のためには、テキストに加え、YEAR BOOK 2O18

21

ミニ特集

特許庁× AI
図面も利用できる機械学習モデルを検討する必要があfor Classification of Sentences that Support

る。

Promoting/ Suppressing Relationship. In
ArgMining, 2016, pp. 76-81.

（5）教師文献の少ないテーマ・分類における機械学習

6

今回対象とした 12 テーマは、比較的教師文献が存在への F ターム付与、言語処理学会第 23 回年次大しているテーマ及び分類を対象としているが、中には、テーマ及び分類に対する教師文献が少ないものもある。

会発表論文集、2017．
7

Thomas G. Dietterich, et al.、Solving the

そのようなテーマ及び分類は、分類付与精度及び付与根

multiple instance problem with axis-parallel

拠箇所推定精度が低い可能性がある、そのため、精度向rectangles、Artificial intelligence, 1997, 89

上においては、類似する技術分野の文献を教師データと（1）: 31-71.

して活用し、少ない教師データでも精度が向上すること

8

Piotr Bojanowski, et al. Enriching Word Vectors

が可能な転位学習等を活用した方式を検討する必要があwith Subword Information. In TACL 2017,

る。

vol. 5（0）, pp. 135-146.
93

おわりに

Armand Joulin, et al. Bag of Tricks for Efficient
Text Classification. In EACL, 2017, pp. 427431.

本調査事業の結果から、一定の精度で付与根拠箇所の10 Kazuma Hashimoto, et al., A Joint Many-Task

推定が可能であるという知見を得た。一方で、実際の分

Model: Growing a Neural Network for Multiple

類付与業務への適用には、学習データの収集や、学習方

NLP Tasks. In EMNLP, 2017, pp. 446-456.

法の工夫など、多くの改善点についても知見を得た。引
き続き、付与精度の向上など、今後の活用に向けた検討を進めてまいりたい。

参考文献
1

特許庁における人工知能技術の活用（平成 28 年度の取組と今後のアクションプラン）平成 29 年 4月

特許庁

https://www.jpo.go.jp/torikumi/t_torikumi/
pdf/ai_action_plan/01.pdf
2

富永泰規、外国特許文献への分類付与に関する機械 学 習 活 用 可 能 性 調 査 に つ い て、Japio YEAR
BOOK 2017、2017、p. 212-216

3

Zichao Yang. et al. Hierarchical Attention
Networks for Document Classification, In
NAACL-HLT, 2016, pp. 480-1489

4

柳瀬利彦ほか、Neural Attention Model を用いた観点付き評判分析、The 30th Annual Conferenceof the Japanese Society for Artificial Intelligence、
2016.

522

榊原隆文ほか、付与根拠箇所推定に基づく特許文書

Yuta Koreeda, et al. Neural Attention Modelミニ特 集 特許庁×ＡＩ

YEAR BOOK 2O1823