機械学習を用いた効率的な特許調査方法
文書のベクトル化方法と文書分類への応用
Effective patent search methods using Machine Learning

花王株式会社

知的財産部／アジア特許情報研究会

安藤俊幸

1985 年現花王株式会社入社、研究開発に従事
1999 年研究所の特許調査担当（新規プロジェクト）、2009 年より現職
2011 年よりアジア特許情報研究会所属
情報科学技術協会、人工知能学会、データサイエンティスト協会 各会員

1

はじめに

務に活用しているメンバーも少数ながら複数存在している。

最 近 は 知 財 情 報 業 務 へ の 人 工 知 能（AI: Artificial

本稿では事前情報収集、検証実験、実務で活用の各工Intelligence）の適用も身近な存在になってきている。

程で必要な留意点と実際に自分の手を動かして、試して最近の Japio YEAR BOOK でも AI 関連の情報は非常効果を実感できる特許調査の効率化手法を検討した。

に多くなっている。昨年の時点で人工知能を搭載した商用の特許情報調査・分析ツールは 10 システムを超えている 1）。既に事前情報収集の段階は通り過ぎて実際に導入している会社も相当数存在していると思われる。企業

現在の大部分の人工知能を考える上で押さえておくべ

においては事前情報収集中、導入に向けて検証中、既にきポイントとして問題の定式化がある。問題の定式化と導入済で調整中、スケールアップ中、実務で活用中といは解きたい問題をコンピュータが扱えるようにすること

ろいろなステージにあると思われる。ただ上手くいってである。

いる会社だけでなく期待通りの結果が得られず困惑している方々も多いのではないかと思われる。

この問題の定式化と特許調査への応用の概要を図 1に示す。解きたい問題の把握は非常に重要である。情報

筆者が活動しているアジア特許情報研究会 2） は昨年

検索の世界では昔から情報要求として知られている。情設立 10 周年を迎え記念講演会を開催した。研究会で報検索リテラシーの入門としても必須と考える。情報要は研究成果を外部に発表すること重視しており過去の活求の詳細は図２を参照されたい。特許調査に置いても何動の資料も研究会のホームページで公開している。研究を調査したいのか明確になっていないと特許調査そのも会は中国、韓国等の東アジアチーム、アセアン諸国を中のが失敗する可能性が高まる。人工知能をこの情報要求心にした新興国チーム、地域の枠を越えた観点からの知を明確化する工程に、例えば質問応答システムとして組財情報解析チームで活動している。知財情報解析チーム

み込まれるとその後の検索精度の向上が期待できるが、のメンバーはテキストマイニング、機械学習、AI の動

この部分は現状では調査対象分野の経験を積んだサー向等に興味を持って各自の研究テーマを設定しつつメン

チャーのレベルに達するのは次世代の言語 AI に期待す

バー間で積極的に情報交換を行いながら研究を進めていべきと考える。現時点では情報要求を踏まえて解きたいる 。最近では AI の中心技術である各種機械学習のツー問題の定式化を行うのは人の重要な役割である。AI かルがコモディティ（普通の存在）化してきており最新のらの出力である処理結果の解釈・評価も重要な人の役割

ライブラリが Web 上でマニュアルと共にフリーで公開である。商用の特許情報調査・分析ツールの性能評価もされることが増えている。研究会の中には自作 AI を業人の役割として重要である。現状の特許調査関連の AI

3）

240

2

特許調査への機械学習適応時の留意点

ツールは残念ながら、「誰でも」、「何も考えずに」、使え係している。この定理の名前の由来は「無料の昼食は無る魔法のような万能の AI ツールは無いとみるべきであい」というところからきている。酒場の広告で「ドリンる。その根拠として最適化の分野において「万能のアルク注文で昼食無料」というのがあったが実際は「ドリンゴリズムは無い」というノーフリーランチ（NFL）定

クに昼食料金が含まれている」ということでハインライ理がある。NFL 定理については後述する。

ンの SF 小説『月は無慈悲な夜の女王』（1966 年）で有名になった格言に由来している。この定理の数学的な意味も重要であるが名前の由来になった格言の意味も実際の AI 製品の広告やパンフレットを吟味する場合重要である。特に「AI を導入するとなんでも／簡単にできる」

きる＝万能のアルゴリズム」は無い。「簡単にできる＝
無料の昼食」は本当に無料なのか、特に教師あり機械学習において教師データを用意したり、機械学習の出力結果を判定／検証するコストを考慮しているのか要チェッ
クである。
図１

人工知能の一般的な方法論と特許調査への応用（3）フレーム問題
フレーム問題とは、人工知能における重要な難問の一つで、有限の情報処理能力しかないロボットには、現実に起こりうる問題全てに対処することができないことを示すものである。 特許調査や学術文献調査等の検索においてどこまで調査するのか調査範囲を決める外枠と考えると理解しやすい。特許調査においては調査目的に応じてどこまで調べるか調査範囲を決めておくとフレー
ム問題を回避あるいは軽減できる可能性がある。もう少図２

Taylor の情報要求の４レベル

し具体的には発明を特許出願する前に行う先行技術調査
では発明に新規性、進歩性があるか調査するがその発明特許調査への人工知能適用時の留意点として人工知能が属する技術範囲を適切に決めると調査が効率的に行え

分野の原理的な難問から実務上の留意点まで簡単に列記る。調査対象国により IPC、CPC、FI 等を適切に使いする。

分ける、あるいは併用すると良い。日本特許の場合は（1）シンボルグランディング（記号接地）問題

FI、F タームを利用すると調査精度を高めることができシンボルグラウンディング問題とは、記号システム内のシンボルがどのようにして実世界の意味と結びつけらる。
（4）過学習（汎化性能）

れるかという問題。記号接地問題とも言う。現在の「AI」

過 学 習（overtraining） と は、 機 械 学 習 に お い て、は人間と同じように自然言語を理解しているわけではな

訓練データに対して学習されているが、未知データ（テいことに注意する必要がある。

ストデータ）に対しては適合できていない、汎化できて（2）ノーフリーランチ（NFL）定理

いない状態を指す。汎化能力の不足に起因する。

最適化問題であらゆる問題に適用できる性能の良い万（5）特徴量選択（醜いアヒルの子の定理）

能のアルゴリズムは無いという意味である。ある特定の醜いアヒルの子の定理とは、純粋に客観的な立場から問題に焦点を合わせた専用アルゴリズムの方が性能が良

はどんなものを比較しても同程度に似ているとしか言えいということである。現状は汎用の AI（強い AI）は無く、ない、という定理である。特徴量を全て同等に扱ってい特定の問題に強い専用の AI（弱い AI）が多いことと関ることにより成立する定理で特徴量選択の重要性を示し

YEAR BOOK 2O19 2413

特許情報の高度な情報処理技術という意味のフレーズには要注意である。「なんでもでている。もう少し具体的には醜いアヒルの子（白鳥の雛特許調査においてブーリアン演算により作成した集で灰色）、普通のアヒルの子（黄色）の特徴量（灰色、合をどの文献が当たりかわからないので片端から読み込黄色）に着目すれば識別可能だが識別に無関係の特徴量

む場合も特に初心者の場合は多いのではないかと思われを増やすと区別できなくなる。

る。もちろん上級者は構成要件毎の検索集合で優先順位

上記五つの留意点を踏まえて特許調査のプロセスに適を付けて査読したり、ブーリアン演算の集合と類似（概合したアルゴリズムを選択して、組み合わせて、実務を念）検索と組み合わせて類似度の高い順に読み込んだ

想定した各種データで実験し、チューニングすることにりと工夫している人も多数いると思われる。筆者も文より、より良い出力（予測結果）を期待できる。

書単位 4）、文単位 5） の類似度計算を用いた先行技術調査への応用を検討した。2017 年、2018 年の Japio
YEAR BOOK で紹介している 4），5）。
図５に教師データありの機械学習を用いた特許調査の課題の一部をまとめている。特に教師データありの機械学習を特許調査へ適用することはなじみが薄いと思われる。この場合の最初の課題は「教師データの準備をどうするか？」とか「トレーニング（訓練）データとテスト（評価）データをどう分けるか？」とか機械学習によりスコア付け（回帰）あるいはカテゴリー分け（クラス分類）された出力結果を「どのように使うか？」、出力結

図３

先行技術調査の流れ

果の性能評価を「どのようにするのか？」等と思われる。
これらの課題を本稿で明らかにしていきたいと考えてい理想的には図３の全行程に適合したアルゴリズムの実る。

装及びチューニングを行い一気通貫に結果が得られることが望ましいが、コストや開発期間を考えると実験や検証段階では注目している工程に絞って検討するアジャイ
ル開発も選択肢として有効と思われる。

3

特許調査における現状の課題抽出

特許調査における現状の課題としてスクリーニング課
程に関してまとめたものを図４に示す。

図５

4

教師有機械学習を用いた特許調査の課題

文書のベクトル化と文書分類方法

文書のベクトル化と文書分類の概要を図６に示す。
文書データをコンピュータ内部で各種機械学習により扱えるようにするため（図１）、７種類の文書のベクトル化方法を検討した。図６に文書のベクトル化処理と文書分類の概要を示す。① BoW モデル作成には scikit図４

242

スクリーニング課程の現状と理想

learn6） の CountVectorizer を使用した。② TF・IDF

① XGB：XGBoost （eXtreme Gradient
Boosting）は、勾配ブースティング木を使ったアルゴリズムをオープンソースで実装するソフトウェア
で あ る。Boosted trees は Gradient Boosting とRandom Forest のアルゴリズムを組み合わせたアン
サンブル学習を行う 10）。

5

文書のベクトル化と文書分類（多値
分類）検討

図６

文書のベクトル化処理と文書分類の概要

カテゴリーにクラス分類（多値分類）する検討を行った 11）。

モ デ ル 作 成 に は scikit-learn の TfidfVectorizer を

図８に文書ベクトルと文書分類（一部抜粋）の組み合使用した。図６の③～⑦の分散表現ベクトル作成にはわせによる正解率比較のグラフを示す。横軸は正解率、gensim を使用した。SCDV は Sparse Composite

縦軸は各文書ベクトルである。上のグラフでは、文書

Document Vectors using soft clustering over

分類方法が① XGB で、文書ベクトル② TF・IDF、⑤の略である。文書SCDV、⑦ SCDV-fastText が良い。中央のグラフでは、分類方法として８種類の分類アルゴリズムを検討した。

文書分類方法が③ GNB（ナイーブベイズ）で、文書ベ

7）

distributional representations

8）

クトル① BoW、② TF・IDF が良い。ただし各グラフ
で横軸（正解率）が統一されていないことに注目して、

図７

scikit-learn のアルゴリズム早見表

図７に scikit-learn のアルゴリズム早見表を示す。
上部のクラス分類と回帰は教師データありの機械学習ア
ルゴリズムで、下部のクラスタリングと次元圧縮は教師
データなしの機械学習アルゴリズムである。機械学習
アルゴリズムは種類も多く図７は代表的なものである。
scikit-learn にはクラス分類のアルゴリズムだけで 40
種類が実装されている。またアルゴリズムの中身も複雑で何をしているのか分かりにくい。「見て試してわかる
機械学習アルゴリズムの仕組み 機械学習図鑑」9）はわか
りやすい視覚イメージと実際に試すことで理解が進む参考文献である。

図８

文書ベクトル×文書分類（一部抜粋）の正解率比較

YEAR BOOK 2O19 2433

特許情報の高度な情報処理技術

イ ン ク ジ ェ ッ ト イ ン ク 関 係 の 特 許 3098 件 を 12

絶対値で文書分類方法を比べると、ナイーブベイズは従時に訓練時に使用した公報を入力すると訓練時同様に高来のテキストデータのベクトルでは有効であるが最近のい正解率を示すが重要なのは未知のテストデータに対す

分散表現ベクトルには不向きであることが解る。

る分類（識別）能力である（汎化能力）。このデータセッ

下 の グ ラ フ は、 文 書 分 類 方 法 は ⑥ RFg で、 ⑤
SCDV、⑦ SCDV-fastText ベクトルが良い。８分割
交差検証を行い正解率の範囲をプロットしている。交差検証については後述する。

トのテストの分類性能は文書のベクトル化⑤ SCDV ×
文書分類① XGB の組み合わせが良かった。
文書ベクトルと文書分類の組み合わせの処理時間の検討結果を図 10 に示す。分類精度重視の観点からは

図９に文書ベクトルと文書分類の組み合わせによる正XGB が良かった。ただし処理時間がかかる。目的と使解率比較をまとめて示す。横軸は文書分類方法、縦軸は用データにより文書ベクトル方法と文書分類の組み合わ

正解率である。折れ線の種類は文書ベクトル方法である。

せを選択するのが良い。

図９上部のグラフは訓練時、下部はテスト時の結果である。テスト時の結果が重要である。訓練とテストを入試に例えると訓練は問題集や模擬試験の成績である。テス

6

文書のベクトル化と文書分類（２値
分類）－事例１

トは入試本番の点数に相当する。訓練時に使用した公報

分かりやすい事例としてインフレータの査読（サーチ）は、原則テスト時には使用禁止である。SVC（サポー／ノイズの２値分類例を示す。インフレータとはエア

トベクトルマシン）と RFg（ランダムフォレスト）はバッグの一部の構成部品で衝撃でガスを発生させる。イ

訓練時には 100 パーセントの正解率を示している。人ンフレータについて主に記載された公報を査読、それ以の学習に例えると正解を丸暗記した状態である。テスト

外をノイズと人が判定して教師データとした。母集団の全文書数は 635 件、査読 52 件、ノイズ 613 件である。
7 種類の文書ベクトルを t-SNE で２次元に次元圧縮した結果を図 11、図 12 に示す。t-SNE（t-distributed
Stochastic Neighbor Embedding：t 分 布 型 確 率
的近傍埋め込み）は、高次元データの可視化に適している次元圧縮アルゴリズムである。濃い紺色が査読で黄 色 が ノ イ ズ で あ る。 ③ Avg. word2vec と ⑥ Avg.
fastText による文書ベクトルが紺色の査読文献のまとまりが良い。
t-SNE による３次元への次元圧縮例を図 13 に示す。
単語による文書ベクトル② TF・IDF を 1314 次元か

図９

文書ベクトルと文書分類の組み合わせ比較

ら３次元に次元圧縮したデフォルト状態（図 13 左）では青のサーチが裏側に隠れている。回転させて表に出すと右側のようになる。人間は４次元以上の高次元の関係をイメージとして思い描けないが図 13 の３次元の各公報の相互関係を２次元にマッピングした一例が図 11 の
② TF・IDF の散布図である。３次元画像を視点を変えて見ると同じ３次元の散布図データでも大幅に異なって見える。３次元の地球儀と２次元の世界地図の関係に例えることができる。高次元データを扱うときも同様の観点から注意が必要である。
文書分類方法① XGB による 7 種類の文書ベクトル

図 10

244

文書ベクトルと文書分類の組み合わせの処理時間を用いた査読／ノイズの８分割交差検証結果を図 14 上

11、図 12 の次元圧縮による査読／ノイズ公報の位置の分布と図 14 の文書分類結果をよく見比べると、文書分類は直接文書ベクトルの各文書の２次元に圧縮された位置（座標）情報を用いているわけではないが相関はありそうである。特に査読／ノイズの各公報からの教師
データのサンプリングにより分類結果に影響を与えそうであることが示唆される。

図 11

特許情報の高度な情報処理技術

3
単語による文書ベクトルの次元圧縮・可視化

図 14
図 12

単語による文書ベクトルの次元圧縮・可視化① XGB、⑥ RFg の８分割交差検証

機械学習で交差検証（Cross-validation）とは、母集団データを分割し、その一部をまず訓練データとして、分類器を学習させる。残りの部分で分類器のテストを行い、分類器の妥当性の検証・確認に当てる手法を指す。
データの分類（出されたカテゴリーの予測）がどれだけ
本当に母集団に対処できるかを良い近似で検証・確認するための手法である。
８分割交差検証法を図 15 に示す。８分割交差検証では、8 個あるデータブロックのうち、1 個を検証用（テスト）データ、その他を訓練データとして使う。データ
ブロック 1 個ずつ分類器に対して訓練を行い、それを

図 13

t-SNE による３次元への次元圧縮

k-1 = 7 ブロック分行う。訓練の終わりには必ず別にしておいた検証用（テスト）データを用いて検証する。

に示す。平均値では③ Avg. word2vec の正解率が最これを繰り返し、必ず分割されたデータブロックが 1

も良い。① BoW も良い。⑥ Avg. fastText は最大値

回ずつテスト用データとして使われるようにする。

は良いが最小値は下方にあり性能のばらつきが大きい。
図 14 下に文書分類⑥ RFg の 7 種類の文書ベクトル

交差検証において訓練データ、
検証データ、テストデー
タと大きく３種類のデータに分割する場合もある。

の分割交差検証結果を示す。全体的に① XGB より若干

交差検証における訓練データ、
検証データ、テストデー

正解率が低く（スケールに注意）、似た傾向である。図タの使い方を入試に例えると、訓練データ＝過去問、検YEAR BOOK 2O19 245

図 15

８分割交差検証

単語による文書ベクトルを用いた文書分類結果

証データ＝模試、テストデータ＝本番入試というのが近size ＝ 1 である。カテゴリーは各公報に人が付与しい。

たサーチ／ノイズの２値分類結果であり目的変数とし・訓練データて使用する。計算値は各カテゴリーの公報数（サーチ

訓練データは分類器を訓練する場合に使う。学習デー=52、 ノ イ ズ =613） × train_size で、support はタという場合もある。重みやバイアスといったパラメー

実際にテストした件数で（サーチ =7、ノイズ =77）

タの学習に利用する。

である。precision は精度、適合率と呼ばれることも・検証データある。recall は再現率である。F1-score は F 値で精訓練済みの分類器をこれを使って分類器の性能テスト

度と再現率の調和平均である。accuracy はサーチ／に利用する。これで分類器のハイパーパラメータを調整

ノイズ両方合わせた正解率である。個別正解率はサーする場合もある。

チ／ノイズを別々に計算した正解率で再現率と同じに

・テストデータ

なる。正解数はサーチ :4、ノイズ :77 で、それぞれのテスト用である。汎化性能をチェックするためには訓正解件数である。予測件数は分類器が実際にサーチ :4、練、検証に使用していない、分類器にとって未知のデー

ノイズ :80 と予測した件数である。サーチについては

タである必要がる。

予測件数 4 で正解数 4 であるので精度 = 正解数 4/ 予

単語による文書ベクトルを用いた文書分類結果を図16 に示す。文書ベクトル化① BoW ×文書分類⑥ RFg

測件数 4=1.00 である。サーチの再現率は正解数 4 ／support7=0.57 である。

の組み合わせである。テストサイズの影響を、訓練とテF タームによる文書ベクトルの次元圧縮・可視化を図

ストの件数を 1/8=0.125 刻みに振って評価している。

17 に示す。F タームによる文書ベクトルとは各特許公サーチに注目して個別正解率＝再現率をみると訓練サイ報に付与されている F タームを使用して特許公報文書

ズの大きい方が良い傾向である。accuracy はサーチ、をベクトル化したものである。単語による文書ベクトル

ノイズの両方合わせた結果（正解率）である。個別正解との違いは単語は通常公報文書に複数回現れ頻度情報が率はサーチ、ノイズを別々に計算したもの＝再現率と得られる。F タームは公報に付与される場合は各 F ター

同じである。support は実際にテストした件数である。

ム種類ごとに１個である。また F タームは多観点で付

予測件数は分類器が予測した件数、正解数は予測した件与され観点と階層による分類体系が決まっている。

数のうちの正解数である。
冗長であるが理解を助けるために一番上の実際の

246

図 16

F タームが公報に付与されているか否かの２値ではな
く、F タームの付与のされやすさや重み付けを考慮したがある。本稿の F ターム文書ベクトル① BoW

行 デ ー タ を 左 か ら 説 明 す る と train_size（ 訓 練 サ イ

研究ズ ）:0.875 は 比 率 で あ る。test_size（ テ ス ト サ イ

は F タームの有無の２値である。② TF・IDF は F ター

ズ ）:0.125 は 同 様 に 比 率 で あ る。train_size+test_

ムが付与されている場合 TF=1 であり、IDF 項は定義

12）

通りに計算される。

図 20

訓練サイズとサーチの個別正解率の関係

図 17

F タームによる文書ベクトルの次元圧縮・可視化とめを図 19 に示す。
訓練サイズとサーチの個別正解率の関係を図 19 に示③ Avg.word2vec や④ doc2vec 等の分散表現ベク

す。訓練サイズの大きい方がサーチの個別正解率（再現

トルには不向きなデータ構造と考えられる。実際に③率）が高くなる。インフレータの母集団では F ターム

Avg.word2vec、④ doc2vec の次元圧縮結果は特異による文書ベクトルの方が単語による文書ベクトルよりなパターンを示し分類結果も良くない。

全般に分類（識別）性能が良かった。

7

商用特許データベースにおける機械
学習の利用事例

商用特許データベースにおける機械学習の利用事例をQuestel 社 Orbit.com の分析モジュールを用いて紹介する。現状の特許検索から解析における一連の過程で機械学習はいろいろな箇所に既に組み込まれておりあまり意識しないで使用している場合もある。母集団は化粧料
図 18

F タームよる文書ベクトルを用いた文書分類結果

文書分類方法⑥ RFg の① ~ ④の文書ベクトルの８分
割交差検証結果を図 18 に示す。

分野のテーマコード 4C083 の F タームを使用して次の検索式の 2779 件とした。
検索式（4C083CC23 or 4C083CC38）/FTM
AND（JPA）/PN AND 2015-01-01:2019-0630
F ターム：4C083CC23・・・洗浄剤（洗顔料，ボディ洗浄剤）、4C083CC38・・シャンプーである。洗浄剤という観点では技術内容は近いが、CC23 は洗顔あるいはボディ洗浄剤であり、CC38 は毛髪用のシャンプーであり使用部位が異なる。
（1）教師あり－クラス分類
図 21 に教師ありのクラス分類を使用したテクニカ
ルドメインによる技術概要を示す。ヘキサゴン（６角形）は IPC で定義された技術領域である。特許全分野
を５×７＝ 35 個の６角形で表している。化粧品の洗図 19

F タームによる文書ベクトルを用いた文書分類

浄剤、シャンプー関連特許は Organic fine chemistry

YEAR BOOK 2O19 247

特許情報の高度な情報処理技術

F タームよる文書ベクトルを用いた文書分類結果のま3

に 2714 フ ァ ミ リ ー、Basic materials chemistryに 947 ファミリーが一部重複して属している。IPC で
約 6 万分類以上ある全分野の特許が予め定義された 35
分野に振り分けられるので技術分野の粒度が大き過ぎるのが課題である。また自分で定義したユーザー分類が使えると良い。

図 22

コンセプトクラスター（3）教師なし－次元圧縮
教師なし機械学習の次元圧縮とクラスタリングを組み合わせた事例を図 23 に示す。図はテクノロジークラス
ター（ランドスケープマップ）である。このマップは英語のコンセプトを用いて各公報をベクトル化してさらに
図 21

商用特許 DB におけるクラス分類の利用例

次元圧縮して２次元にマッピングしている。各公報の色とラベルの色はクラスタリング結果を基にして決めてい（2）教師なし－クラスタリング
教師なしクラスタリングの事例として図 22 にコンセ
プトクラスターを示す。この図は英語のコンセプト（テると推定される。クラスタリングアルゴリズムを使用しているため図 22 のコンセプトクラスターと同様の注意点を有している。

クニカルターム）を用いて教師なし機械学習であるクラスタリングを行っている。あまりよく知らない分野における気付き（インサイト）やセレンディピティが期待される。このクラスタリングの課題は特許件数が増加ある
いは減少するとクラスタリング結果が場合により大幅に異なる。また各多角形に表示されるラベルのカテゴリーが「物」であったり、「効果」であったり、例えば「シャンプー」と「ヘアシャンプー」が別のクラスターにあったりして一定しないことも課題である。また各多角形がクラスターになっておりクリックすると公報リストを表示するのだがラベルが適切に選ばれているとは言い難く
中身のリストを見ないとクラスターが何を表しているか

図 23

商用特許 DB における次元圧縮とクラスタリング

文書のベクトル化と文書分類（２値
分類）－事例２

分からないことも課題である。注目したクラスターをマ

8

ウスでクリックすると公報リストを表示するのはインタ

５章のインフレータの事例はいわゆる筋が良いデータ

ラクティブ性に優れクラスタリングの性質を理解して使で各文書ベクトルの次元圧縮の散布図や文書分類によるう場合にはメリットも多い。

査読／ノイズの２値分類結果の性能も比較的良く、解りやすい事例であった。本章ではより実務に即した SDI
調査と技術動向調査への機械学習の応用として化粧品の身体用洗浄剤とシャンプーの事例を取り上げる。下記検索式④の 2073 件を母集団とした。①②の両方が付与

248

されている①×②×③の公報数は 626 件である。
① 4C083CC23・・・洗浄剤（洗顔料，ボディ洗浄剤）② 4C083CC38・・シャンプー③公開・公表日：20150101:20190630
検索式④＝（① + ②）×③

図 26

単語による文書ベクトルの８分割交差検証①～④の４種類の文書分類方法の８分割交差検証方法による分類の正解率比較を図 26 に示す。７種類の文書ベクトルを使用して文書分類検討を行った。教師デー
タは F タームを使用して身体洗浄料（4C083CC23）、
シャンプー（4C083CC38）の２値分類とした。縦軸
図 24

t-SNE による各文書ベクトルの２次元可視化－１が７種類の文書ベクトル方法、横軸が正解率である。文
書分類方法は① XGB が良かった。

図 25

t-SNE による各文書ベクトルの２次元可視化－２

７種類の文書ベクトル化方法の t-SNE による次元圧

図 27

F タームによる文書ベクトルの次元圧縮・可視化

縮結果を図 24、
図 25 に示す。t-SNE では近いもの（類似）はより近くに、遠いもの（非類似）はより遠くに強教師データとして F タームを使用して身体洗浄料

調されて表示される。紺色が身体洗浄料、黄色がシャン（4C083CC23）、シャンプー（4C083CC38）の２プーである。身体洗浄料、シャンプーの両方に属する公値分類とした場合と、身体洗浄料、シャンプーの両方付

報は身体洗浄料と見なして２値分類にカテゴリー設定し与されているものを加えた３値分類の次元圧縮結果を図ている。カラーマッピングにはカテゴリーを使用してい27 に示す。F タームベクトルの２値分類と３値分類のる。カテゴリーはユーザー側で例えば出願人、特定の次元圧縮結果を見比べると（それぞれ上下の図で比較）

IPC、FI、F ターム、社内分類等を使用して任意に設定

３値分類の両方の F タームが付与されている公報（黄可能である。

緑色）が身体洗浄料（紺色）、シャンプー（黄色）の境
界にプロットされている件数が多く興味深い。
F タームベクトルを説明変数として使用した① BoW

YEAR BOOK 2O19 249

特許情報の高度な情報処理技術

3

モデルの文書分類結果が２値分類、３値分類ともに①

参考文献

XGB、④ SVC、⑦ AdaBoost の分類モデルが 100 パー1） 野崎篤志，「特許情報をめぐる最新のトレンド」

セントの正解率を示した。化粧品分野のように F ター

http://www.japio.or.jp/00yearbook/

ムが体系的に付与されている分野では機械学習を用いた

files/2018book/18_a_08.pdf

効率的な特許調査に、F タームベクトルは有力な選択肢

2） アジア特許情報研究会
https://sapi.kaisei1992.com/になると思われる。

3） 安藤 俊幸，「機械学習を用いた効率的な特許調査

9

アジア特許情報研究会における研究活動紹介」

まとめ

http://www.tokugikon.jp/gikonshi/291/

本稿では７種類の文書ベクトル化方法と８種類の文書
分類方法の組み合わせを検討した。更にデータソースと291kiko1.pdf
4） 安藤 俊幸，「機械学習を用いた効率的な特許調査方

して単語と F タームによる２種類の文書ベクトルを比法較した。過去の独自分類結果の蓄積を教師データとして関する基礎検討」

利用できる場合は SDI 調査へ応用し新着公報の自動分

http://www.japio.or.jp/00yearbook/類に有望である。教師あり－クラス分類と教師なし－次files/2017book/17_3_04.pdf

元圧縮を組み合わせた分類結果付きの俯瞰可視化マップ
は動向調査に有益である。

5） 安藤 俊幸，「機械学習を用いた効率的な特許調査方
法

分散表現ベクトルは期待される性能をまだ十分に発ニューラルネットワークの特許調査への適用に

ディープラーニングの特許調査への適用に関する基礎検討」

揮していないように思われる。各学習モデルのパラメー

http://www.japio.or.jp/00yearbook/

タチューニングはほとんど行っておらずデフォルト値を

files/2018book/18_3_05.pdf

使用している。パラメータチューニング、教師データの分類体系の設計、特許分類（F ターム等）を入力した
BoW モデルと分散表現ベクトルのモデルの組み合わせ等で改善の余地は大きいと考える。今後の検討が楽しみである。

6） scikit-learn
http://scikit-learn.org/stable/
7） gensim
https://radimrehurek.com/gensim/
8） S C D V : S p a r s e C o m p o s i t e D o c u m e n t
Vectors using soft clustering over
distributional representations

10 終わりにhttps://arxiv.org/pdf/1612.06778.pdf

2018 年の「BERT」

13）

発表後の最近の言語モデルの発展 14）-16）には目を見張るものがある。
今後もこの言語モデルの発展からしばらく目が離せない状況が続くと思われる。
本報告は 2019 年度の「アジア特許情報研究会」のワーキングの一環として報告するものである。
研究会のメンバーの皆様には様々な協力をしていただ
きました。ここに改めて感謝申し上げます。

9） 秋庭伸也ら ,「見て試してわかる機械学習アルゴリ
ズムの仕組み 機械学習図鑑」，翔泳社，2019 年
10）XGBoost の主な特徴と理論の概要
https://qiita.com/yh0sh/items/
1df89b12a8dcd15bd5aa11）安藤俊幸 , 桐山勉 ,「分散表現学習を利用した効率的な特許調査」
https://www.jstage.jst.go.jp/article/
infopro/2019/0/2019_31/_article/-char/ja
発表資料
https://sapi.kaisei1992.com/wp-content/
uploads/2019/07/INFOPRO2019_A31.pdf
12）目黒光司ら ,「F ターム概念ベクトルを用いた特許

250

検索システムの改良」
http://www.lr.pi.titech.ac.jp/~meguro/
NLP_2015_meguro.pdf
13）BERT: Pre-training of Deep Bidirectional
Transformers for Language Understanding
https://arxiv.org/abs/1810.04805
14）ERNIE: Enhanced Representation throughKnowledge Integration

3

https://arxiv.org/abs/1904.09223

特許情報の高度な情報処理技術

15）XLNet: Generalized Autoregressive
Pretraining for Language Understanding
https://arxiv.org/abs/1906.08237
16）RoBERTa: A Robustly Optimized BERT
Pretraining Approachhttps://arxiv.org/abs/1907.11692

上記 URL はいずれも 2019 年 8 月 30 日に確認したものである。

YEAR BOOK 2O19 251