機械学習による特許分類モデルを「解釈」するための試み
How to Interpret a Patent Classification Model Trained by Machine Learning株式会社 NTT データ数理システム

データマイニング部グループリーダー・主任研究員

岩本圭介

1999 年株式会社数理システム（現：株式会社 NTT データ数理システム）入社。データマイニング・テキストマイ
ニングに関わるツール・手法開発及び分析業務に従事。現職はデータマイニング部グループリーダー・主任研究員。
iwamoto@msi.co.jp

1 はじめにちろん機械学習モデルが下す判断はその背後に存在する文書を自動的に定められたカテゴリへと分類すること断の根拠は存在している。とはいえ、多くの場合それはは、自然言語処理技術と機械学習技術とが交差する応用数式上として表現される複雑な計算結果であって、人間分野として多大な関心が寄せられており、その実用性もにとって理解しやすい形式であるとはいえない。

アルゴリズムの所為であり、そういった意味で確たる判極めて高いものである。文書分類の適用例としては
しかし、機械学習のブラックボックス性は認めつつ・Web から採取した個人の声をポジティブ・ネガティも、学習で得られたモデルがどのような特質を持つものブに分類して、製品やサービスが世の中にどう受け止か、モデルを「解釈」するための手法も開発・提案さめられているかを知る。

れてきており、「解釈可能な機械学習（Interpretable・蓄積された不具合情報の内容から、問題が発生した部Machine Learning）」として近年研究の領域をなして品・部位の種別や発生事象をカテゴライズし、それらいる。文献［4］では、人工知能の適用における透明性をの間の関連を把握する。

確保し、利用の上での説明責任を果たすためにこのよう・コールセンターにおいて、オペレータが手動で付与していた問合せのカテゴリを見直し、分類付与を自動化な機械学習モデルの解釈性についての研究が注目されていることが述べられている。

することで業務効率化と客観性の確保を図る。
本稿では、ある特許分類モデルを構築し、そこで生など幅広い業務において枚挙に暇がなく、特許文書を成されたモデルに対して「解釈可能な機械学習」として扱うに際してもこれは例外ではない。過去の Japio

提唱されている一手法を更に適用させて、文書内でどうYEAR BOOK においても、機械学習による特許分類のいった箇所に着目して分類が行われたのか読み取ること付与については文献［1］,［2］で論じられており、またを試みる。以降、2 章で手法の解説を行い、3 章で実験特許検索の効率化のため「正解文書」群を選り分けるこの結果を述べる。最後に、4 章で実装に用いたツールのとについては 文献［3］で言及されている。

解説とまとめを行う。

した場合、そのブラックボックス性が問題となることが2 「解釈」可能な機械学習ある。なぜ機械学習モデルがそのような判断を下したの

2.1

一方、機械学習による分類を業務に適用させようとか、その直接の理由を明示することは一般に難しい。も250モデルの解釈可能性

数理的な導出を経て判断を下す手法の全てにブラック得られまとめる。また、これらに対し、利用される場面の多い
Neural Network (Deep Learning も含む) や SupportVector Machine といった手法は、ブラックボックス性の高

前者はモデいものであると見做されている。

ック回帰の全体としてボックス性が潜んでいるわけではなく、作成されたモデ表モデル構築手法とそれに対する解釈の例
表11 モデル構築手法とそれに対する解釈の例

る。後者はルがどのようなものであったか、という点の解釈を試み手法

り、K-NN解釈ることできるものもある。一般に、定式化がそれほど複線形回帰係数や統計量から変数毎の影響度合雑ではないものは解釈の余地があり、複雑になればなる

ロジスティック回帰

い・有意性を読み取る

代理モデル

Decision Tree

モデルそのものが等式や不等式で表理モデルでされる階層的なルールであり、それの入力の予がそのままモデルが判断する際のロSurrogateジックである

つのアプロほどその解釈は難しくなっていくであろう。
モデルに対する解釈の一例として、文献［5］で解釈可能（interpretable）な手法の一つとして挙げられていK-NN 法

るロジスティック回帰を挙げる。ロジスティック回帰でモデル全体の性質を簡単に語ることはできないが、ある予測結果がどの

ここでは3は、説明変数群 x1, x2, …, xk に対し、それらとある事は「そのデータに対してこのようなExplanati象が発生する確率 p とを次の式で結びつける。

K 個の近接点が現に存在していたか

図 1a) のよら」というもので明白であるを題材とす

p＝｛1＋exp（α＋β1x1＋β2x2＋…＋βkxk）｝－1

特許情報の高度な情報処理技術ようにして得られたか、という根拠

LIME

元の空間と2.1. Surrogate モデル

して ○,モデルの構築を行った結果、パラメータであるα, β2.2
モデル
2.1 章 Surrogate
冒頭の繰り返しになるが、モデルの定式化が複雑に, β2, …, βk の各量が求まる。β1, β2, …, βk は x1,なるほど解釈は難しくなる傾向にある。しかし、単純なモ
2.1 章 冒頭の繰り返しになるが、モデルの定式化がな場合に○x2, …, xk に乗ずる係数であり、ある xi に対するβi の絶デルでは必要とされる精度が確保できないおそれも多分に複雑になるほど解釈は難しくなる傾向にある。しかし、あり、実用上の要請とモデルの解釈可能性は両立しない面
単純なモデルでは必要とされる精度が確保できないおそがある。こういった点の解消を試みるべく、Surrogate
れも多分にあり、実用上の要請とモデルの解釈可能性はModels という手法が提案されている[6]。これは、最初かという大域1対値が大きいほど xi の変化に対し p の値が鋭敏に変化することが読み取れる。さらに、βi の符号が正の場合は xi の増大は p を上げる方向に寄与し、負の場合は逆であることもわかる。実際は、オッズ比や信頼区間・有意性等の概念を援用して更に厳密な議論を行うが、ロジスティック回帰のモデルパラメータやその結果から算出される統計量を読み解くことで、モデルがどの変数 xiら解釈可能性の高い手法でモデルを作ろうとするのではな両立しない面がある。
こういった点の解消を試みるべく、
く、まずは一般の手法で実用モデルを作成しておき、後かSurrogate Models という手法が提案されている［6］。
らそのモデルの挙動を近似するような代理(surrogate)モデ
これは、最初から解釈可能性の高い手法でモデルを作ろルを解釈可能な手法で作成してそこから情報を読み取ろううとするのではなく、まずは一般の手法で実用モデルをとするものである。の影響を特に重視して扱っているのか、また特に「結果作成しておき、後からそのモデルの挙動を近似するよう
表 1 で示した例には、実は解釈を試みる観点として次の 2な代理（surrogate）モデルを解釈可能な手法で作成しに対して効く」変数はどれなのか、といった点についてつが存在している。てそこから情報を読み取ろうとするものである。の洞察を得ることができる。特に文書を題材とする場合は、各変数 xi を、対応する単語の有無に相当する｛0,1｝の値を取る変数として定式化することが多い（文書〔3〕表 1 で示した例には、実は解釈を試みる観点として次の 2 つが存在している。

-単語ベクトル）。また、このとき文書内での単語の出現順は考慮せず、出現の有無のみを問題にする（Bag ofWords）。

・モデルが、全体としてどの変数のどういった値に特に着目しているのか読み解く・モデルがある予測結果をはじき出したとき、文献［5］で挙げられている解釈可能な手法の一部について、モデルに対しどういった「解釈」が可能であるする。この

その 1 点の予測結果がどこに着目して得られたものか読み解くかを表 1 にまとめる。また、これらに対し、利用される場面の多い Neural Network（Deep Learning も含

前者はモデル全体に対する解釈であり、例えばロジスむ）や Support Vector Machine といった手法は、ブティック回帰の変数から読み取れることは、そのモデルラックボックス性の高いものであると見做されている。

自体が全体としてどの変数を重要視しているか、ということである。後者は、ある 1 点のデータ点の予測に対する解釈であり、K-NN 法の例がこれにあたる。

YEAR BOOK 2O18 251得られたものか読み解く面の多い

Support

ス性の高例

影響度合等式で表り、それる際のロ語ること果がどのいう根拠のようなていたかる

前者はモデル全体に対する解釈であり、例えばロジスティ
ック回帰の変数から読み取れることは、そのモデル自体が代理モデルを作成するにあたっても、実用モデル全全体としてどの変数を重要視しているか、ということであ

ここで観点を変え、図 1a）内の点 P は「○」に分類る。後者は、ある 1 点のデータ点の予測に対する解釈であ体を代理モデルで表現しようとするか、実用モデルに対されているが、これは x1 が重視された結果の「○」でり、K-NN 法の例がこれにあたる。
する特定の入力の予測結果を表現しようとするかで大あるのか、それとも x2 が重視された結果なのか、とい

域 的（Global Surrogate Models）
・ 局 所 的（Local
代理モデルを作成するにあたっても、実用モデル全体を代Surrogate Models）の 2 つのアプローチが存在する。
理モデルで表現しようとするか、実用モデルに対する特定うことを理解することを試みる。ここで、点 P の近傍の入力の予測結果を表現しようとするかで大域的(Global
ここでは、文献6）で示されている局所的アプローSurrogateModels)・局所的(LocalSurrogate
Models) の 2

単純なモも多分にするのが LIME の考え方である。この代理モデルは、点P の付近の情報はある程度正しく反映されたものである

つのアプローチが存在する。
チLIME（Local Interpretable Model-Agnostic

が、点 P から離れた点に対しては全く実用モデルとはExplanations）を取り上げる。まず、実用モデルにおここでは、文献 6) で示されている 局所的アプローチ
いて、図 1a）のような分類の状況が得られたとする。
LIME(LocalInterpretable
Model-Agnostic
実際に文書を題材とする場合、xi は各々の単語に対応すExplanations) を取り上げる。まず、実用モデルにおいて、る非常に多次元の空間となるが、ここでは（x1, x2）の図 1a) のような分類の状況が得られたとする。実際に文書異なる外れた結果を示すであろう。しかし、点 P にお

2
変数 の入力に対して○，×どちらかの分類を予測すを題材とする場合、‫ݔ‬௜ は各々の単語に対応する非常に多次果図 1c）のような境界線が得られたとすると、これはして ○,× どちらかの分類を予測するという問題設定とり、x1 の値がどのような場合に○である、x2 の値がどする。この分類の境界線は複雑であり、‫ݔ‬ଵ の値がどのようのような場合に×である、という大域的な傾向を論じるな場合に○である、‫ݔ‬ଶ の値がどのような場合に×である、ことは一般に難しいであろう。という大域的な傾向を論じることは一般に難しいであろう。

「点 P 付近では x1 の挙動がクリティカルである、特に元の空間となるが、ここではሺ‫ݔ‬ଵ ǡ ‫ݔ‬ଶ ሻの 2 変数 の入力に対るという問題設定とする。この分類の境界線は複雑であが複雑にの点のみを用いて、解釈可能な手法で代理モデルを構築しない面ける状況を理解するにはこれで十分なのである。
点 P の近傍のみを用いて例えば線形回帰を行った結x2 よりも x1 を 2 分割するような形になっているので、効いている」と結論することができる。
この手法は、実用モデルがどういった手法で構築されurrogateたものであるかを問わない（Model-Agnostic である）、最初か点も特色であり、きわめて一般的な場面に適用できるものではなのである。

き、後かate)モデ

3 特許文書分類モデルへの応用

み取ろう

本章では、特許文書の分類モデルに対し 2.2 章の手

3. 特許文書分類モデルへの応用法を適用させ、分類に特に影響している変数（単語）を本章では、特許文書の分類モデルに対し2.2 章の手法を適
3.
3. 特許文書分類モデルへの応用
特許文書分類モデルへの応用
用させ、分類に特に影響している変数(単語)を可視化するこ可視化することを試みる。データ諸元や分類モデルなど
本章では、特許文書の分類モデルに対し本章では、特許文書の分類モデルに対し 2.2
2.2 章の手法を適章の手法を適とを試みる。データ諸元や分類モデルなどの問題設定を 表の問題設定を表2 に示す。
用させ、分類に特に影響している変数(単語)を可視化するこ
用させ、分類に特に影響している変数(単語)を可視化するこ
2 に示す。とを試みる。とを試みる。データ諸元や分類モデルなどの問題設定をデータ諸元や分類モデルなどの問題設定を 表
表て次の 2〔3〕22 に示す。に示す。

表問題設定
表22 問題設定

対象データ

表 2 問題設定

検索条件

表 2 問題設定「パンケーキ」で全文検索した

データ条件

対象データ
対象データ
国内特許公報の要約部分

検索条件
件数
検索条件

「パンケーキ」で全文検索した
1371
件「パンケーキ」で全文検索した

データ条件
期間
データ条件国内特許公報の要約部分
出願日が1996 年～2016 年
国内特許公報の要約部分

件数
件数
期間
説明変数
期間

1371件
1371 実用モデル件
出願日が形態素解析ののち、出現した公報数が出願日が 1996
1996 年～2016年～2016 年
年
多い上位 500
単語(500 次元)を用いて
実用モデル
実用モデル

説明変数
説明変数
図 1 実用モデルと代理モデル
ここで観点を変え、図 1a) 内の 点 P は「○」に分類され

図
図実用モデルと代理モデル
図11
1 実用モデルと代理モデル
実用モデルと代理モデルているが、これは‫ݔ‬ଵ が重視された結果の「○」であるのか、それとも‫ݔ‬ଶ が重視された結果なのか、ということを理解す

ここで観点を変え、図 1a)P1a) 内の内のP点点の近傍の点のみを用いて、P は「○」に分類されは「○」に分類されることを試みる。ここで、点252 ここで観点を変え、図が重視された結果のているが、これは‫ݔ‬ଵ「○」であるのか、であるのか、ているが、これは‫ ݔ‬が重視された結果の「○」ଵ
解釈可能な手法で代理モデルを構築するのがLIME の考

目的変数{0,形態素解析ののち、出現した公報数が1} の 文書-単語ベクトル を作成

形態素解析ののち、出現した公報数が特定のテーマコードを含む/含まないの多い上位 500 単語(500 次元)を用いて多い上位 500 単語(500 次元)を用いて2 {0,値分類1} の 文書-単語ベクトル を作成
手法

目的変数
目的変数
手法
手法

{0, 1} の 文書-単語ベクトル を作成
特定のテーマコードを含む/含まない特定のテーマコードを含む/含まない のの全データのうち 80%を学習に使用
2
値分類
2 値分類
Support Vector Machine

SupportSupport VectorVector Machine
Machine
全データのうち全データのうち 80%を学習に使用80%を学習に使用

実用モデル構築後、次の手順で代理モデルを構築する。
1.

学習に用いなかったデータ(残り 20%)から、正しく予のテーマコードであることを特徴付ける単語が分類の根拠とができる。ことして抽出されることを期待する。の組合せによっ請に応えること

図2

テーマコード“4B032”への分類例

図 2 テーマコード “4B032 “ への分類例
実用モデル構築後、次の手順で代理モデルを構築する。て、確かに特定のテーマコードに関連が深いとみられる原文に対して、代理モデルにおける変数への影響度合いを単語が抽出されていることがわかる。

図示したものを図2 に示す。テーマコード “4B032”、「ベイ1．学習に用いなかったデータ（残り20%）から、正4 まとめしく予測できた例を1 件選択する。
カリー製品及びその製造方法」に正しく分類された公報文
2．その 1 件を「注目データ」とし、注目データのベク章の中で、「食感」「生地」「小麦粉」といった関連が深いとトルの 1 の箇所をランダムに 0 に置き換えたデー

特許情報の高度な情報処理技術

3[1] 富永 泰規 :習活用可能性調

本稿では、一般にブラックボックスであると見做され推測されるキーワードがハイライトされていることが読み
pp.212-217 (201
がちな機械学習のモデルに対して解釈を試みるための手

タ を「 近 傍 デ ー タ 」 と し て 10000 件 作 成する。

取れる。モデルの判断根拠として、確かに特定のテーマコ[2] 近藤 浩之 :法について解説を行い、特許分類のモデルに対してそのランダムの確率は20% とした（単語毎に独立で、手法を適用させた例を示した。
20% の確率で出現しなかったことになる）。
ードに関連が深いとみられる単語が抽出されていることが3．
「近傍データ」10000 件を実用モデルに投入し、わかる。

予測値を得る。

4．説明変数を「近傍データ」10000 件、目的変数を4. まとめ
それらに対する実用モデルの予測値、としてロジ

YEARBOOK 20[3] 安藤 俊幸

本稿の分析は、当社 NTT データ数理システムで開発・Japio YEARBO

販 売 を 行 っ て い る 分 析 ツ ー ル Text Mining Studio,

原 聡 : "機Visual Mining Studio, Visual R Platform を[4]
組 み合わせて実現した。主として日本語の言語処理解析部
スティック回帰による代理モデルを作成する。
号 pp.366-369 (
本稿では、一般にブラックボックスであると見做されがち分をテキストマイニングツール Text Mining Studio
な機械学習のモデルに対して解釈を試みるための手法につ[5] Christoph M

5．代 理モデルの係数を観察し、特に効いている単語の情報を得る。

が、データ整形や実用モデルである Support Vector

いて解説を行い、特許分類のモデルに対してその手法を適- A Guide for M

Machine によるモデル構築をデータマイニングツール用させた例を示した。
実用モデル学習の観点は特定のテーマコードを含む／含まないというものであるため、代理モデルの解釈におhttps://christop
Visual Mining Studio が、ロジスティック回帰による代理モデル構築と評価の部分を統計解析ツール (2018)
VisualR Platform が担当している。これらの分析ツール群は本稿の分析は、当社 NTT データ数理システムで開発・販売[6] Marco Tul

いてそのテーマコードであることを特徴付ける単語が分類の根拠として抽出されることを期待する。

共通の基盤プラットフォーム上で提供され、それらの間Guestrin : "Whを行っている分析ツール Text をシームレスに連係させて利用することができる。このMining Studio, Visual

Predictions ofMining
Studio,を組み合わせて実様子を図 3 に示した。これら分析ツールの組合せによっ
原 文 に 対 し て、代理モデルに お け る 変Visual
数 へ の影響R Platformて、多様化するデータに対しての様々な要請に応えるこ度合いを図示したものを図2 に示す。テーマコード
現した。主として日本語の言語処理解析部分をテキストマ
ACM SIGKDD“4B032”、「ベイカリー製品及びその製造方法」に正しとができると当社では考えている。

イニングツール Text Mining Studio が、データ整形や実く分類された公報文章の中で、「食感」「生地」「小麦粉」Discovery and D用モデルである Support Vector Machine によるモデル構といった関連が深いと推測されるキーワードがハイライ

築をデータマイニングツール Visual Mining Studio が、トされていることが読み取れる。モデルの判断根拠としロジスティック回帰による代理モデル構築と評価の部分を統計解析ツール Visual R Platform が担当している。こ YEAR BOOK 2O18 253

とができる。この様子を図 3 に示した。これら分析ツール類の根拠の組合せによって、多様化するデータに対しての様々な要請に応えることができると当社では考えている。

図3利用イメージ
図3 利用イメージ

度合いを”、「ベイ[1] 富永 泰規 : "外国特許文献へ分類付与に関する機械学
参考文献

た公報文

習活用可能性調査について"
Japio YEARBOOK 2017［1］
富永泰規：“外国特許文献へ分類付与に関する機械pp.212-217 (2017)
学習活用可能性調査について”Japio YEAR BOOK
[2] 近藤 浩之 : "特許分類の自動推定への取り組み" Japio
2017 pp. 212-217（2017）
YEARBOOK 2016 pp.188-191 (2016)［2］
近 藤 俊幸浩 之：
特許分類の自動推定への取り組み”[3] 安藤:“"機械学習を用いた効率的な特許調査法"が深いととが読みテーマコることがYEARBOOK
2016 pp.150-161
JapioJapio
YEAR BOOK
2016 pp. (2016)
188-191（2016）[4] 原聡 : "機械学習における解釈性"
人工知能 33 巻 3
［3］
安藤俊幸：
“機械学習を用いた効率的な特許調査法”
号 pp.366-369 (2018)
Japio YEAR BOOK 2016 pp. 150-161（2016）[5] Christoph Molnar : "Interpretable Machine Learning［4］原聡：“機械学習における解釈性”人工知能 33 巻- A Guide for Making Black Box Models Explainable."
3 号 pp. 366-369（2018）https://christophm.github.io/interpretable-ml-book/

されがち

手法につ手法を適(2018)［5］
Christoph Molnar :“Interpretable Machine[6] Marco
Tulio- A
Ribeiro,Singh Blackand Carlos
Learning
GuideSameer
for Making
Box

発・販売

整形や実

Guestrin : "Why Should I Trust You?: Explaining theModels Explainable.”https://christophm.
Predictions of Any Classifier" Proceedings of the 22nd
github.io/interpretable-ml-book/（2018）
ACM SIGKDD International Conference on Knowledge［6］Marco
Tulio
Singhand Carlos
Discovery
andDataRibeiro,
Mining Sameer
pp. 1135-1144(2016)

モデル構

Guestrin : “Why Should I Trust You?:udio が、Explaining the Predictions of Any Classifier”の部分をProceedings of the 22nd ACM SIGKDD

Visual

わせて実

キストマ

いる。こ

International Conference on Knowledge

ム上で提Discovery and Data Mining pp. 1135-1144

〔5〕

254

（2016）

特許情報の高度な情報処理技術

3

YEAR BOOK 2O18 255