寄稿１

機械学習を用いた効率的な特許調査

アジア特許情報研究会1）における研究活動紹介
花王株式会社 知的財産部

安藤 俊幸

抄録

最近では AI の中心技術である各種機械学習のオープンソースライブラリが容易に入手可能である。特許調査担当者の実務的な観点から機械学習を用いた効率的な特許調査の可能性について述べる。先行技術調査ではdoc2vecによる公報文書単位のスコアで査読の優先順位を付け、文単位で発明の要素毎の類似文抽出検討を行い、13 種類の教師あり分類アルゴリズムで適合判定を検討した。文単位の類似文抽出で記載の根拠箇所特定の可能性が示せた。動向調査では教師あり機械学習の 1 次元 CNN による文書分類と教師なしの次元圧縮による文書の可視化検討を行った。文書分類は SDI 調査の効率化を目指している。調査目的に応じたアルゴリズムと特徴量の選択が重要である。教師あり機械学習には良質な教師データの準備が重要である。

ニ特集：第 4 次産業革命（ その 1 ）AI に関する知財動

1. はじめに向とビジネス上の留意点 」が組まれている 7 ）8 ）。
第 3 次 AI（ Artificial Intelligence ）ブームと騒がれ筆者が所属しているアジア特許情報研究会は 2008

始めてから数年が経過し、新聞、雑誌、Web 等にお年に設立し中国、韓国等の東アジアチーム、アセア

いて AI の話題を見かけない日はないぐらい AI 関係

ン諸国を中心にした新興国チーム、地域の枠を越えの情報で溢れている 。特許庁の「 特許行政年次報

た観点からの知財情報解析チームで活動している。

告書 2018 年版 」3 ）でも「 AI と特許 」としてコラムで特許庁の特許情報室の皆様とアジア特許情報研究会

取り上げられている。また「 特許出願技術動向調査

ではここ数年定期的に情報交換をさせていただいて

等報告 」の平成 26 年度電気・電子分野で「 人工知能

いる。研究会の知財情報解析チームのメンバーはテ

技術 」4 ）としてまとめられている。

キストマイニング、機械学習、AI の動向等に興味を2）

特許情報の分野においても「 情報の科学と技術 」

持って各自の研究テーマを設定しつつメンバー間で誌で昨年に続き 2018 年 7 月号（ 68 巻 7 号 ）でも「 特積極的に情報交換を行いながら研究を進めている。

集：特許情報と人工知能（ AI ）-II 」の特集が組まれこの分野は情報が陳腐化するのが速いこともあり研ている 5 ）6 ）。
「 知財管理 」誌でも 2018 年 8 月号で「 ミ

究成果は学会発表、論文投稿等で旬なうちに発表を

1）アジア特許情報研究会

http://www.geocities.jp/patentsearch2006/asia-research.html

2）「AI 白書 2017〜人工知能がもたらす技術の革新と社会の変貌〜」,KADOKAWA,2017
3）特許庁「特許行政年次報告書 2018 年版」第 2 部 第 1 章、127 ページ（2018 年）
4）特許庁「特許出願技術動向調査等報告」電気・電子、平成 26 年度、「人工知能技術」（2014 年）https://www.jpo.go.jp/shiryou/
pdf/gidou-houkoku/26_21.pdf
5）「情報の科学と技術」2017 年 7 月号（67 巻 7 号）. 特集＝特許情報と人工知能（AI）http://www.infosta.or.jp/journals/201707-ja/
6）「情報の科学と技術」
2018 年 7 月号（68 巻 7 号）. 特集＝特許情報と人工知能（AI）-II https://www.jstage.jst.go.jp/browse/
jkg/68/7/_contents/-char/ja
7）ソフトウェア委員会第 2 小委員会、「AI における知財戦略に関する調査・研究−世界動向と法改正の方向を踏まえた，AI に係る各プレイヤーの留意点−」、知財管理、p1019-1052
8）ソフトウェア委員会第 2 小委員会、「AI 発明のビジネス上の留意点に関する研究」知財管理、p1053-1065

tokugikon

50

2018.11.26. no.291

セージ検索におけるパッセージとは、文書中でユーザーのクエリの内容と強く関連する内容の記載箇所

ツールがコモディティ化してきており最新の種機械のことである。 無効資料調査は先行技術調査と検学習ライブラリが Web 上でマニュアルと共にフリー

索・機械学習の観点からは概ね同様と捉えている。

で公開されることが増えている。その気になれば誰SDI（ Selective Dissemination of Information ）調でも入手可能である。AI や機械学習関係の書籍も査の調査範囲は既に確定（ 検索式有 ）済として、人毎月新しい本が店頭に並び自分の PC で手軽に試しが判定した査読 / ノイズの教師データはそれなりのてみることができる。ただし自分の業務で使いこな

数があるものとして機械学習での 2 値分類（ 査読 / ノ

して有用な結果を得るまでには「 人 」の側で習得すイズ ）での調査効率向上を最初の目的としている。

べき事項も多い。本稿では企業内の特許調査担当者

技術動向調査は機械学習による文書分類（ 自社分の実務的な観点から機械学習を用いた効率的な特許類 ）で調査効率向上を目指す。さらに教師データ無調査の可能性について述べる。まだ検討途中のこと

しの機械学習による次元圧縮で各公報間の関係を俯も多く筆者の私見であることに予めご留意頂きたい。

瞰・可視化する。
クリアランス調査（ 侵害防止調査 ）は網羅性重視が必須のためリスクと調査効率バランスが重要であ

2. 機械学習を用いた効率的な特許調査の概要

る。調査の観点からは調査を実行する調査担当者側
図 1 は最近筆者が考えている特許調査と機械学習の開発製品、技術、リスク評価の正しい理解・把握、の精度（ 調査効率 ）向上への取り組みの全体像の概クリアランス対象製品の市場動向（ 規模 ）、製品が要である。一文に要約すると「 調査目的に合わせたライバル関係にある競合会社の動向等のビジネス情

アルゴリズムとドメインデータの選択と最適化を行報等の非特許情報も含めた調査対象の確定とそれにい学習済モデルを作成・利用する。」となる。ここで対応した特許調査範囲の確定が重要である。海外の調査目的とは特許調査の種類を指している。

クリアランス調査はさらに考慮すべき要因が増える

先行技術調査は第 1 ステップとして新規性についので必要な場合は専門家への相談も考えると良い。

て考慮し進歩性に関しては次の段階で考えることと機械学習の観点からはリスクをどのように見積もるする。 先行技術調査では発明の構成要素毎にパッかが査読の優先順位を付ける上で重要である。クリ

セージ検索を行い該当箇所の抽出を目指す。 パッ

アランス調査は本稿ではこれ以上詳細には扱わない。

調査目的

自然言語文書の分析方法〇先行技術調査（新規性）◎前処理

発明の構成要素毎にパッセージ検索（記載箇所）〇無効資料調査（上記同様）〇SDI 調査
査読 / ノイズ（2 値分類）で調査効率向上

調査目的に合わせたアルゴリズムとドメインデータの選択と最適化を行い学習済モデルを作成・利用する〇技術動向調査・文書分類（自社分類）で調査効率向上・次元圧縮で俯瞰・可視化〇クリアランス調査
網羅性重視が必須のためリスクと調査効率バランス
精度
調査効率

再現率
網羅性（漏れ防止）

図1◎適合判定 査読 / ノイズ（2 値分類）・13 種類のアルゴリズム
R→Python◎文書分類・1 次元 CNN（Convolutional Neural Network）
・キャラクターレベル CNN◎データセット・教師データ有・教師データ無51

・word2vec
・fastText◎文書・文ベクトル化
・One hot ベクトル
（古典的）・doc2vec
・SCDV：（Sparse Composite Document Vectors）
・因子解析
・RNN（Recurrent Neural Network）

特許調査と機械学習の概要

2018.11.26. no.291

クレンジング（不要語除去）分かち書き（形態素解析）◎単語ベクトル化

調査目的
×
アルゴリズム×
ドメインデータ

アルゴリズムtokugikon

支援用辞書
・専門用語
・化学物質名辞書 等

機械学習を用いた効率的な特許調査 アジア特許情報研究会における研究活動紹介

最近では AI の中心技術である各種機械学習の寄稿１

目指して活動している。

図 1 の各調査の種類の下の矢印の向きはそれぞれ

は、現実に起こりうる問題全てに対処することがでの調査が精度（ precision ）重視か再現率（ recall ）重きないことを示すものである。特許調査や学術文献

視か筆者の考える一般的な方向性を示している。

調査等の検索においてどこまで調査するのか調査範

個々の具体的な調査ではケースバイケースでこれと囲を決める外枠と考えると理解しやすい。特許調査

異なる場合も当然あり得る。

において調査目的に応じてどこまで調べるか調査範

図 1 右側の自然言語文書の分析方法の部分は上か

囲 を 決 めることは 非 常 に 重 要 である。 特 許 分 類

ら下に機械学習を行うための特許文書の大まかな処（ IPC,FI,F ターム等 ）を有効利用することは重要ポ

理とその検討対象アルゴリズムを示している。このイントである。

部分は後程詳細に検討する。
図 1 右下のデータセット部分は調査対象のドメイ（2）ノーフリーランチ定理（NFL 定理）9）ンデータであり調査対象母集団とその教師データの最適化問題であらゆる問題に適用できる性能の良

データセットである。図では小さな矩形領域で示さい万能のアルゴリズムは無いという意味である。あれているがこの部分のデータと教師データの質と量る特定の問題に焦点を合わせた専用アルゴリズムので行える機械学習の種類や学習済みモデルの性能が方が性能が良いということである。この定理は数学決まる重要な部分である。支援用辞書は教師データ的に証明されており解こうとする最適化問題に対す作成支援を念頭に置いているが各種調査のキーワー

る学習アルゴリズムに万能なものはないので問題にド関連の支援ツールとしても使用可能である。後程あったアルゴリズムを選択したり設計することの重具体例を示す。

要性を説いている。特許調査に当てはめると調査目的に合った適切な機械学習のアルゴリズムを選択することが重要である。

3. 特許調査における機械学習使用時の留意点
人工知能の分野には昔からいろいろな難問が存在（3）醜いアヒルの子の定理している。これらの難問を知ることで現状の機械学

醜いアヒルの子の定理とは、純粋に客観的な立場

習には原理的な限界が存在することが理解できる。

からはどんなものを比較しても同程度に似ていると

機械学習活用における留意点として以下に重要なもしか言えない、という定理である。
「 醜いアヒルの子のを述べる。

を含む n 匹のアヒルがいるとする。このとき醜いアヒルの子と普通のアヒルの子の類似性は任意の二匹の普通のアヒルの子の間の類似性と同じになる 」と（1）フレーム問題
フレーム問題とは、人工知能における重要な難問いう定理。各特徴量を全て同等に扱っていることにの一つで、有限の情報処理能力しかない人工知能により成立する定理である。より具体的には醜いアヒ①

フレーム問題とは、人工知能における重要な難問の一つで、有限の情報処理能力しかないロボットには、現実に起こりうる問題全てに対処することができないことを示すものである。

要素
A

要素
B

外枠

醜いアヒルの子

9）ノーフリーランチ定理

普通のアヒルの子

体色 背の高さ 横幅 体重 目の開閉 嘴の向き 尾の向き
醜いアヒルの子
灰色
高
細
軽
開
左
右
普通のアヒルの子① 黄色
低
細
軽
開
左
右
普通のアヒルの子② 黄色
低
太
重
開
右
左

検索において調査範囲を決める
外枠と考えると理解しやすい

図2②

特徴量として体色に着目すると類似性は異なる

フレーム問題図3

醜いアヒルの子の定理

https://ja.wikipedia.org/wiki/ ノーフリーランチ定理

tokugikon

52

2018.11.26. no.291

剰適合の過程では、訓練データについての性能は向の特徴量（ 灰色、黄色 ）に着目すれば識別可能だが上するが、それ以外のデータでは逆に結果が悪くな

識別に無関係の特徴量、例えば向いている方向、背

る。

寄稿１

ルの子
（ 白鳥の雛で灰色 ）、普通のアヒルの子（ 黄色 ）の高さ、体重、目を開いている / 閉じている等々の特徴量を増やすと類似性で区別できなくなる。

4. 特許公報（文書）の類似度による先行技術調査

ディープラーニング登場前の機械学習では「 特徴量
先行技術調査への機械学習の応用例として特許検

いて専門家が注意深くチューニングした機械学習が行

索競技大会の問題を例題にして検討を行った。図 4

われていた。ディープラーニング（ 深層学習 ）では従に特許検索競技大会 2016 のフィードバックセミナー

来の専門家による特徴量抽出が自動的に行われる。

資料より先行技術調査の流れを示す。機械学習の先

ただしディープラーニングには大量の学習データと計

行技術調査過程への適用例として調査範囲の確定、算能力が必要となる。計算能力は GPU（ Graphics

検索キー（ 特許分類、検索キーワード ）の抽出、ス

Processing Unit ）の使用で大幅に改善する。

クリーニング支援（ 要査読かノイズの仕分け等 2 値
分類、査読の優先順位をレコメンドするスコアリン（4）過学習10）グ ）等が考えられる。ここでは特許公報（ 文書 ）の各
種の類似度を使用してスクリーニング過程を詳細に

過学習の概念は機械学習において重要である。通検討した。

常、学習アルゴリズムは一連の訓練データを使って訓練される。つまり、典型的な入力データとその際

特許検索競技大会 2016 の化学・医薬分野の問 2の既知の出力結果を与える。学習者はそれによって、（ ガスバリア性包装用フィルム ）を例題として選択

訓練データでは示されなかった他の例についても正し各種の検討を行いやすいデータセットを作成ししい出力を返すことができるようになると期待された。商用特許データベースとして日立の特許情報提る。しかし、学習期間が長すぎたり、訓練データが供サービス「 Shareresearch 」11 ）、NRI サイバーパテ

典型的なものでなかった場合、学習者は訓練データ

ントデスク（ 株 ）の「 CyberPatent Desk 」12 ）、を使いの特定のランダムな（ 本来学習させたい特徴とは無検索競技大会の問題文（ 図 5 ）の請求項 1 を入力して関係な ）特徴にまで適合してしまう。このような過概念（ 類似 ）検索を行い各々上位 376 件と正解公報

先行技術調査の流れ（進め方）

特許検索競技大会 2016

フィードバックセミナー資料 p35

出願したい明細書から構成要素を分析する
明細書を熟読して発明内容を理解し、検索式作成のための構成要素を決定する

予備検索の実行特許分類（FI、F ターム、IPC）、キーワードの検討
海外の場合（IPC,CPC）

検索戦略立案、検索式作成
検索式に使用する特許分類、キーワードの抽出
多観点の検索式の検討
スクリーニング過程を詳細に検討し、機械学習を応用した支援方法（ツール）検討
検索実行、スクリーニング
優先順位を決め、効率的にスクリーニングを行う
スクリーニング結果に応じて、検索戦略を再検討

図410）過剰適合先行技術調査の流れ

https://ja.wikipedia.org/wiki/ 過剰適合

11）日立 特許情報提供サービス「Shareresearch」 http://www.hitachi.co.jp/Prod/comp/app/tokkyo/sr/12）NRI サイバーパテントデスク（株）提供「CyberPatent Desk」 https://s.patent.ne.jp/

2018.11.26. no.291

53

tokugikon

機械学習を用いた効率的な特許調査 アジア特許情報研究会における研究活動紹介

エンジニアリング 」と呼ばれる特徴量の選択手法を用

49 件の和集合 746 件をデータセットとした 13 ）。2017

図 6 に形態素解析（ MeCab ）による分かち書き、図年作成のデータセットをそのまま使用した。

7 に専門用語による分かち書き例を示す。専門用語
は名詞の連接部分を専門用語として抽出している。

特許検索競技大会 2016 化学・医薬分野
出題内容【間:2】問題文概要（2/3）
【特許請求の範囲】【請求項 1】
熱可塑性樹脂フィルム基材層（A 層）、酸化ケイ素蒸着層（B層）、ポリビニルアルコール系樹脂と粘土鉱物を含む塗膜層（C 層）が他の層を介して又は介さずにこの順に積層されてなることを特徴とするガスバリア性包装用フィルム。

名詞 , 一般 ,*,*,*,*, 熱 , ネツ , ネツ

可塑

名詞 , 一般 ,*,*,*,*, 可塑 , カソ , カソ

性

名詞 , 接尾 , 一般 ,*,*,*, 性 , セイ , セイ

樹脂

名詞 , 一般 ,*,*,*,*, 樹脂 , ジュシ , ジュシ

フィルム 名詞 , 一般 ,*,*,*,*,フィルム ,フィルム ,フィルム（C 層）ポリビニルアルコール系樹脂と粘土鉱物を含む塗膜層（B 層）酸化ケイ素蒸着層（A 層）熱可塑性樹脂フィルム基材層
ガスバリア性包装用フィルム

図5

熱

基

名詞 , 一般 ,*,*,*,*, 基 , モト , モト

材

名詞 , 接尾 , 一般 ,*,*,*, 材 , ザイ , ザイ

層

名詞 , 接尾 , 一般 ,*,*,*, 層 , ソウ , ソー、

記号 , 読点 ,*,*,*,*,、,、,、

図6

 許検索競技大会 2016 の化学・医薬分野の
特問２

形態素解析（MeCab）による分かち書き（一部）

熱可塑性樹脂フィルム基材層
酸化ケイ素蒸着層
ポリビニルアルコール系樹脂

作成したデータセットを用いて類似度計算に影響

粘土鉱物する要素（ アルゴリズムや各種パラメータ等 ）を実験

塗膜層的に検討した。類似度計算に影響する要素として各

他

文書のタイトル、要約、請求項を下記ベクトル化（ 特層積層

許公報に含まれる単語を基に複数の数値で表す ）す

特徴る手法を検討した。類似度計算方法の評価方法は

ガスバリア性包装用フィルム

データセットにおけるクエリ文書：本願 P0 に対する

図7

各公報の類似度（ スコア ）を計算して降順にソート

専門用語による分かち書き

し正解公報の順位を求め横軸に公報確認数、縦軸に再現率をプロットして評価した。

図 8 に分かち書きと重み付けの再現率への影響を

文書のベクトル化手法検討（ 類似度計算用 ）示す。横軸は査読時のスコア上位の公報から内容を・B oW（ Bag-of-words ）モデル：単語の出現頻度、確認していく場合の確認数である。縦軸は再現率で出願順序を考慮しないある。再現率は確認数における正解公報（ この例で・TF-IDF モデル：TF（ Term Frequency、単語のはトータル 49 報中の ）出現割合である。精度（ 調査

出現頻度 ）と IDF（ Inverse Document Frequency、効率 ）重視の観点からは再現率曲線の立ち上がりが逆文書頻度 ）の積

急峻な方が良い。正解公報が全て確認数の上位に並・単 語として形態素あるいは専門用語（ 複合語 ）をぶ理想的な場合を「 理想 」として図中にプロットし使用ている。確認数が少ない再現率曲線の出だしは SR

形 態 素 解 析 器 は MeCab、 専 門 用 語 は 自 作 の（ Shareresearch ）が一番よかった。次は専門用語で

PatAnalyzer を使用して抽出した 14 ）。類似度は自作

分かち書きした TF・IDF である。詳細に見ると差の類似度計算プログラム SimCalc1 を使用して計算は出ているが大局的に見ると差は意外に少ない結果したとなった。SR は Shareresearch の略で概念検索（ 類

。

15 ）

13）安藤俊幸，「機械学習を用いた効率的な特許調査方法」，Japio YEAR BOOK 2017，2017，p.230-241.
http://www.japio.or.jp/00yearbook/files/2017book/17_3_04.pdf
14）安藤俊幸 . テキストマイニングを用いた効率的な特許調査方法 http://www.japio.or.jp/00yearbook/files/2015book/15_2_12.pdf
15）安藤俊幸 . テキストマイニングと統計解析言語 R による特許情報の可視化 情報管理 Vol.52（2009）P 20-31

tokugikon

54

2018.11.26. no.291

再現率

理想

SR
確認数

図8

分かち書きと重み付けの再現率への影響

似検索 ）結果をベースラインの比較対象として同時にプロットした（ 以下同様 ）。

doc2vecによる文書のベクトル化処理の概要

5. 単語の分散表現用いた文書のベクトル化検討

・公報番号（タグ）・タイトル、要約、請求項

特許公報

必要に応じて正規表現等によるクレンジング

単語の分散表現：Distributed Representation あ
るいは単語埋め込み：word embedding と呼ばれる手

形態素解析器・MeCab・Janome（Pure Pythonで書かれた辞書内包の形態素解析器）

学習用
データ

形態素解析済の単語（名詞、形容詞、
動詞）とタグ（公報番号）を保存

学習実行

パラメータを調整可能

学習済
モデル

学習したモデルを保存法を用いて単語を比較的低次元（ 50〜300 ）の実数
ベクトル化して利用する研究は様々な分野で行われている 16-19 ）。
図 9 に Doc2Vec よるベクトル化処理の概要を示す。
Doc2Vec21 ）は、Word2Vec20 ）の拡張であり，（ 単語ではなく ）任意の長さの文書を数百次元の固定長ベクトルとして表現する手法である。Doc2vec と呼ばれているが内部的には 2 つの学習方法が実装されている。Word2Vec と同様に CBOW モデルを拡張した

必要な文書ベクトルを出力

類似公報

PV-DM（ Paragraph Vector with Distributed

指定文書と最も類似度が高い文書を表示（件数指定可）

Memory ）モデルと Skip-gram モデルを 拡 張 した
PV-DBOW（ Paragraph Vector with Distributed

図9

Doc2vwc による文書のベクトル化処理の概要

16）岩波データサイエンス vol.2［特集］統計的自然言語処理ーことばを扱う機械
https://sites.google.com/site/iwanamidatascience/vol2/word-embedding

岡崎直観 , 単語の意味をコンピュータに教える、

17）岡崎直観 . 言語処理における分散表現学習のフロンティア人工知能 Vol.31No.2p189-201（2016）18）岡崎直観 . 単語の分散表現と構成性の計算モデルの発展

https://www.slideshare.net/naoakiokazaki/20150530-jsai201519）中村雄太ら . 分散表現空間解析モデルに基づく研究トレンドに関する考察

http://db-event.jpn.org/deim2017/papers/305.pdf

20）Tomas Mikolov, Ilya Sutskever, Kai Chen, Greg S Corrado,and Jeff Dean. Distributed representations of words andphrases and theircompositionality. In Advances in neural information processing systems, pp. 3111-3119, 2013.
21）Quoc V Le and Tomas Mikolov. Distributed representations of sentences and documents. In International Conference on Machine
Learning, Vol. 14, pp. 1188-1196, 2014.

2018.11.26. no.291

55

tokugikon

機械学習を用いた効率的な特許調査 アジア特許情報研究会における研究活動紹介

専門用語TF・IDF

寄稿１

分かち書き（形態素、専門用語）と重み付け（TF 、 TF・IDF）の再現率への影響

Bag of Words ）モデルの 2 種類のニューラルネット

6. 分散表現を用いた「文」単位の類似度計算検討

ワーク構造が組み込まれている。PV-DBOW は単語の順序を考慮しないシンプルなモデルで計算効率が6 章では前章の公報文書のベクトル化に対して改良く、PV-DM は単語の出現頻度と出現順序を考慮

良ポイントとして下記①〜③の検討を行った。

したモデルで PV-DBOW と比べると少し複雑でより改良ポイント多くのパラメータが必要になる。doc2vec の実行に

①公報を「 文 」単位に分解してタグ付け

は gensim （ Python 用のトピックモデルライブラ②実施例追加リ ）を使用した。 形態素解析器はインストールと③クエリ：請求項単位、構成要素単位等

Python からの利用が容易な Janomeを使用した。

① は 公 報 を 文 書（ documents ） 単 位 か ら 文

Janome は形態素解析用の辞書として MeCab24 ）と同（ sentence ）単位でタグ付けしてベクトル化した。②

じ IPA 辞 書 を 使 っ て い る。 形 態 素 解 析 速 度 ははタイトル、要約、請求項に実施例を追加した。③

MeCab の方が一桁高速である。図 10 に文書の分散はクエリとして請求項単位、発明の構成要素単位等

表現ベクトルの学習モデルと再現率を示す。単語の任意のクエリを入力できるようにした。タグ付けの出現頻度と出現順序を考慮したモデル PV-DM はリ

詳細は下記のように公報番号に記載部分の通し文番

ファレンスとしてきた SR の再現率曲線を圧倒して

号とした。

22 ）

23 ）

いる。もちろん SR は DB 全体、本検討では非常にタグ付け詳細スモールサイズのデータセットであり直接比較の対

公報番号 _ 記載部分 : 文番号

象ではない。本検討はデータベースの検索は適切に

例：P2001-123456_C6

行った後のスクリーニング過程を念頭においている。PV-DBOW では同じデータで 3 回学習を行いそ記載部分略号は下記のように決めた。

れぞれ再現率曲線を求めた。再現率 1〜再現率 3 で記載部分略号ある。学習のつど結果は異なっている。Doc2Vec の

T：タイトル

学習パラメータ dm ＝ 0 が PV-DBOW であり、dm ＝

A：要約

1 を指定すると学習モデルが PV-DM になる。他の学

C：請求項

習パラメータはデフォルトで行った。

E：実施例

再現率

理想

PV-DM
PV-DBOW
SR

確認数

図 10
22）gensim

文書の分散表現ベクトルの学習モデルと再現率

https://radimrehurek.com/gensim/

23）Janome

http://mocobeta.github.io/janome/24）MeCab

http://taku910.github.io/mecab/

tokugikon

56

2018.11.26. no.291

計算は発明の構成要素毎に根拠個所を特定したりあクエリも任意の文あるいは句単位で入力可能なようるいは適合判別の可能性が考えられる。

にすることで発明の構成要素単位で根拠個所の抽出が期待できる。

熱可塑性樹脂フィルム基材層、酸化ケイ素蒸着層、ポリビニルアルコール系樹脂と粘土鉱物を含む塗膜層が他の層を介して又は介さずにこの順に積層されてなることを特徴とするガスバリア性包装用フィルム。

図 11 に検索競技大会の模範解答の発明の構成要
素分節例を示す。

正解例と解説【間:2】（1）構成要素分析

図 12に分布仮説に基づいた文脈中の単語の重み学（1）調査依頼された請求項 1 に対して、検索すべき技術の構成要素（概念）を記述しなさい。

習の word2vec の模式図を示す。doc2vecは word2vec
を拡張してタグ付き文書を入力する。固定長ベクトル
よる可視化、別のネットワークの入力に利用できる。
図 13 に「 文 」単位での類似度計算による再現率曲線を示す。確認数が少ない立ち上がり部では「 文単位要素 a-g の平均値 」が最も良い再現率を示してい※構成要素の分け方は本例に限定しないる。確認数の全体を通して「 文書 」単位の類似度計
算結果も良い結果を得ているが「 文 」単位の類似度

分布仮説
・類似する文脈でよく使われる表現は似た意味を持つ・単語の意味はその周辺単語の分布により知ることができる

図 11

同じ重みだと
1/7=14.3%

構成要素分析（検索競技大会の模範解答例）【学習例】熱可塑性樹脂フィルム基材層、酸化ケイ素蒸着層、ポリビニルアルコール系樹脂・・・
１ ２ ３ ４ ５
６７ ８ ９
10
11 ８
12
13 ４
熱/可塑/性/樹脂/フィルム/基/材/層/酸化/ケイ素/蒸着/層/ポリビニルアルコール/系/樹脂
ウィンドウ幅：5①注目単語の前後の周辺単語を学習/予測する②周辺単語から注目単語を学習/予測する

単語ID

単語ID

1

1

2

2

3

3
4 樹脂
・
・
・

樹脂 4
・
・
・

隠れ層の数がベクトルの次元に相当する（数百次元の固定長ベクトル）

図 12 分布仮説に基づいた文脈中の単語の重み学習
再現率

理想
文書単位

文単位全要素MAX（請求項１）
文単位要素a-g平均値
SR
確認数が少ない
立ち上がり部分が重要
確認数

図 13 「文」単位での類似度計算による再現率曲線

2018.11.26. no.291

57

tokugikon

機械学習を用いた効率的な特許調査 アジア特許情報研究会における研究活動紹介

構成要素（概念）記号
重み 1 重み 2a 熱可塑性樹脂フィルム基材層
5%10%b 酸化ケイ素蒸着層
20% 30%c ポリビニルアルコール系樹脂を含む塗膜層
10% 10%d 塗膜層に粘土鉱物を含む
30% 30%e 他の層を介してまたは介さずにこの順に積層 5%
1%
f ガスバリア性
15% 19%g 包装用フイルム
5%10%は単語（ 文書 ）間の距離（ 類似度 ）計算や次元圧縮に分布仮説に基づいた
文脈中の単語の重み学習（word2vec）

寄稿１

上記のように公報を文単位に分解してタグ付けし図14に発明の構成要素の重み付け検討結果を示

けを変えていない曲線である。i100の意味は doc2vec

す。重み付けは図11の重み1、重み 2を使用した。確のハイパーパラメータの一つである学習回数である。

認数の後半で再現率への効果が大きいが重要な確認

図 15、図 16 に文の分節とクエリ拡張の影響を示

数の前半で再現率を若干悪化させる。i100は重み付す。クエリに請求項 1（ P0_C1 ）、主要な構成要素を確認数の後半で再現率への効果が大きい

再現率

確認数の前半で再現率を若干悪化させる
確認数

図 14

発明の構成要素の重み付け検討

PatNo
P0_T1
P0_A1
P0_A2
P0_A3

TACE
ガスバリア性包装用フィルム。
ポリプロピレン、ポリエチレンテレフタレート、ナイロンなどの熱可塑性樹脂からなるフィルムは、透明性、耐熱性を有するため様々な用途に広く用いられている。
しかし酸素や水蒸気バリア性能が求められる用途、例えば鮮度が求められる食品のパッケージ用途には適さない。
そのため、従来から熱可塑性樹脂フィルムとアルミニウム箔とを積層したフィルムが食品用のパッケージとして用いられてきた。
しかしアルミニウム箔を積層したフィルムは、ガスバリア性能は優れる一方で、フィルムの向こう側が視認不能となる上、金属探知機の使用ができなくなるという
P0_A4
問題がある。
これらの問題を解決するフィルムとして、熱可塑性樹脂フィルムに酸化ケイ素等の無機酸化物を蒸着したものが開発されているが、そのガスバリア性能は鮮度が求P0_A5
められる食品の保存用途としては十分でなかった。
そこで、酸化ケイ素蒸着層の上にポリビニルアルコール系樹脂と粘土鉱物を含む塗膜層を設けることで、これらの問題を解決したガスバリア性包装用フィルムの発P0_A6
明に至った。
熱可塑性樹脂フィルム基材層、酸化ケイ素蒸着層、ポリビニルアルコール系樹脂と粘土鉱物を含む塗膜層が他の層を介して又は介さずにこの順に積層されてなるこ
P0_C1とを特徴とするガスバリア性包装用フィルム。
P0_C2 熱可塑性樹脂がポリプロピレン、ポリエチレンテレフタレート、ナイロンから選ばれた請求項１記載のガスバリア性包装用フィルム。
粘土鉱物がカオリナイト、ディッカイト、ナクライト、ハロイサイト、アンチゴライト、クリソタイル、ヘクトライト、パイロフィライト、モンモリロナイト、白雲母、マー
P0_C3
ガライト、タルク、パーミキュライト、金雲母、ザンソフィライト、緑泥石から選ばれた請求項１記載のガスバリア性包装用フィルム。
P0_E1 ポリビニルアルコール水溶液に、モンモリロナイトを加え 60℃で 75 分間撹拌した。
P0_E2 その後、さらに2-プロパノールを添加し、その混合液を室温まで冷却して塗工液を得た。
P0_E3 熱可塑性フィルム基材として厚さ15μmのポリエチレンテレフタレートフィルムを用い、この一方の面上に酸化ケイ素を蒸着した。
P0_E4 蒸着層の上に塗工液をグラビアコート法により形成し、ガスバリア性包装用フィルムを得た。
P0a_C1 熱可塑性樹脂がポリプロピレン、ポリエチレンテレフタレート、ナイロンから選ばれた熱可塑性樹脂フィルム基材層。
記載部分略号
P0b_C1 酸化ケイ素蒸着層。
T：タイトル
P0c_C1 ポリビニルアルコール系樹脂を含む塗膜層。
A：要約
粘土鉱物がカオリナイト、ディッカイト、ナクライト、ハロイサイト、アンチゴライト、クリソタイル、ヘクトライト、パイロフィライト、
P0d_C1
モンモリロナイト、白雲母、マーガライト、タルク、パーミキュライト、金雲母、ザンソフィライト、緑泥石から選ばれた粘土鉱物を含む塗膜層。
C：請求項
P0e_C1 他の層を介してまたは介さずにこの順に積層。
P0f_C1 ガスバリア性。
E：実施例
P0g_C1 包装用フイルム。

図 15
再現率

分の文節とクエリ拡張の影響（クエリ）
理想

SR

確認数

図 16

文の文節とクエリ拡張の影響（結果）tokugikon

58

2018.11.26. no.291

溶液が好ましい。」であり「 塗膜 」と「 無機板状粒子 」を入力した場合が最も良い結果になっている。

が該当する。

図 17 に発明の構成要素毎の根拠個所（ 文 ）抽出結

doc2vec では直接的な記載がなくても文脈中の単果を示す。結果の解釈に関して下記の注意を要する。

語の並びを反映した学習を行い類似の文を提示して①構成要素 a, f,g の順に寄与が大きいが発明の特徴

おり非常に興味深い結果が得られた。

寄稿１含む実施例（ P0_C2, P0_C3 ）、タイトル（ P0_T1 ）量としてはあまりふさわしくない→構成要素の重み付けである程度の改善が見込める

7. ディープラーニングによる先行技術調査の予②適合は人（ 筆者 ）が判定している

備検討→教師あり学習で改善が見込める（ 教師あり学習NTT デ ー タ 数 理 シ ス テ ム の Visual Mining

発明の構成要素 b:「 酸化ケイ素蒸着層 」の該当文

Studio25 ）8.4 の Deep Learning ア ド オ ン（ Deepは「 金属及び／または金属酸化物は特に限定されな

Learner ）26 ）を使用して先行技術調査の予備検討を

いが、アルミニウム、ケイ素、亜鉛、マグネシウム行った。Deep Learner の機能は多層ニューラルネッなどの金属及び／または金属酸化物であることが好

トワークによる教師あり学習・教師なし学習を行う

ましい。」であり、直接「 酸化ケイ素 」の記載はない

機能である。教師あり学習では、カテゴリ値の予測

が「 ケイ素の金属酸化物 」が該当する。同様に発明については判別モデル、数値の予測に対しては回帰の構成要素 d:「 塗膜層に粘土鉱物を含む 」の該当文

モデルを構築する。教師なし学習では、データを次

は「 塗膜の構成成分を含んだ塗剤は、溶媒に無機板

元圧縮し低次元化された表現を得ることができる。

状粒子が均一に分散もしくは膨潤しかつ水溶性また入力するデータは、1 行 1 件のデータである通常のは水分散性ポリマーが均一に溶解もしくは分散したテーブル形式に加え、可変長の時系列データや同社

各構成要素の最大類似度「文」の平均値で順位 2 位 P1998-076325
構成要素 記載部

正解公報

類似度

該当文

適合

a

E94

0.728

さらに、これらの熱可塑性樹脂基材は、透明であることが好ましい。  

〇

b

E99

0.595

金属及び／または金属酸化物は特に限定されないが、アルミニウム、ケイ素、亜鉛、マグネシウムなどの金属及び／または金属酸化物であることが好ましい。

〇

c

E55

0.523

さらに、本発明では塗膜中に架橋剤を含んでいてもよい。

×

d

E125

0.489

塗膜の構成成分を含んだ塗剤は、溶媒に無機板状粒子が均一に分散もしくは膨潤しかつ水溶性または水分散性ポリマーが均一に溶解もしくは分散した溶液が好ましい。

〇

e

E140

0.511

フィルム走行装置を具備した真空蒸着装置内にフィルムをセットし、冷却ドラムを介して走行させる。

×

f

E217

0.714

ガスバリア性に特に優れるフィルムが得られた。

〇

g

T1

0.633

ガスバリアフィルム及び包装材料〇

平均値：0.599
構成要素
a ：熱可塑性樹脂フィルム基材層
b ：酸化ケイ素蒸着層
c ：ポリビニルアルコール系樹脂を含む塗膜層
d ：塗膜層に粘土鉱物を含む
e ：他の層を介してまたは介さずにこの順に積層
f ：ガスバリア性
g ：包装用フイルム

図 1725）Visual Mining Studio

記載部分略号
T：タイトル
A：要約
C：請求項
E：実施例

発明の構成要素毎の根拠個所（文）抽出結果

https://www.msi.co.jp/vmstudio/26）Deep Learning アドオン（Deep Learner） https://www.msi.co.jp/vmstudio/deepLearning.html

2018.11.26. no.291

59

tokugikon

機械学習を用いた効率的な特許調査 アジア特許情報研究会における研究活動紹介

による適合判定については次章で検討する。）

のテキストマイニングツール Text Mining Studio27 ）

文書単位でベクトル化したデータを csv ファイルで読で分かち書きされたテキストデータも扱うことがで込みモデル選択の用途を「 予測 」としてデータ形式をきる。図 18 にデータタイプ別の教師あり、なしの学「 テーブル 」、目的変数を「 正解ラベル（ 整数 ）」、説

習の処理内容と特色を示す。画像データの分類処理

明変数を doc2vec の 200 次元ベクトル（ 実数 ）を設定

は別製品 AutoDLした。ニューラルネットワークのモデルデザインは入

である。

28 ）

力層、中間層を全結合層 1（ 出力次元数 300 ）、全結NTT データ数理システム Deep Learner のデータタイプ・学習別処理内容と特色
テーブル

教師あり学習教師なし学習分類分析・回帰分析

次元圧縮

合層 2（ 出力次元数 2 ）、出力層とデザインした。活性化関数を ReLU、Dropout Ratio を 0.0とした。
Deep Learning アドオンに本願＋正解公報 49 件の計 50 件を含むトータル 754 件のラベル付き（ 教師 ）系列を考慮した
分類分析・回帰分析

可変長の系列データ例）時系列センサーデータ等 から固定長の次元圧
縮表現を獲得テキスト
テキストの分類分析
時系列

特色

図 18

目的変数は数値、カテゴリを問わず複数指定可能  

データ（ doc2vec による 200 次元の固定長ベクトル ）を入力して学習させた。予備検討として全データをDeep Learning 予測を行った。

次元圧縮により得た表現を VMS の他のアイコンで使用可能

Deep Learning アドオンではリアルタイムに誤差例）クラスタリング、可視化等が減っていく様子を確認できる。
図 21 の結果は doc2vec も Deep Learning アドオン

データタイプ・学習別処理内容と特色のニューラルネットワークもハイパーパラメータのチューニングを行っていないが予備検討として精度

図 19 に Deep Learning アドオン（ Deep Learner ）100％という興味深い結果が出ている。ただし検索の設定画面を示す。最初に Iris data set を csv ファイ

漏れ防止（ 再現率 ）の観点からはパラメータチューニ

ルより読込み動作確認を行った。次に doc2vec によりングや他の手法との併用等の検討課題も示している。
Loss計算本願+正解公報＝50公報
doc2vecのベクトル化データ 754公報
200次元

リアルタイムに誤差が減っていく様子を確認できる。途中でstopさせることも可能。

図 19

Deep Learning アドオン（Deep Learner）
正答数

誤答数

正解公報

30

ノイズ公報

704
734

図 21
27）Text Mining Studio28）AutoDL

図 20

Deep Learning アドオン

正答率

精度

再現率

20

60.0%

100.0%

60.0%

0

100.0%

20

97.3%

多層ニューラルネットワークによる教師あり学習

https://www.msi.co.jp/tmstudio/

http://www.msi.co.jp/AutoDL/

tokugikon

60

2018.11.26. no.291

9. 教師データありの文書分類と次元圧縮による可視化

統計解析に強い R 言語を使用して適合判定への応

Apache MXNet30 ）というワシントン大学とカーネ用を目的に 13 種類の分類器のアルゴリズムを予備的

ギーメロン大学によって開発されたディープラーニに比較検討した 29 ）。 データセットは R パッケージ

ングフレームワークを使用して教師データありの文

kernlab の英文メール 4601 通（ スパム 1813、非スパ

書分類を検討した 31 ）。MXNet は Python を始め R、

ム 2788 ）のスパムメール識別のデータセットを使用しScala、Julia、Perl、C ＋＋等多くのプログラミングた。このデータセットは 57 個の特徴項目を備えてい言語に対応している。予備検討として 15 カテゴリーる。図 22 にスパムメール識別の正解率の箱ひげ図をの記事が収録されている「 Wikipedia 日英京都関連示す。正解率が良かった分類器はエイダブースト、

文書対訳コーパス（ Version2.01 ）」32 ）を使用して文

ランダムフォレストであった。DNNet は H2O 社が開

書分類の検討を行った。
「 Wikipedia 日英京都関連文発したオープンソースのディープラーニングプラット

書対訳コーパス 」は、高性能な多言語翻訳、情報抽ホーム H2O で構築された隠れ層（ 250,500,100,50,20 ）出システム等の構築を支援することを目的に作成さ5 層の深層ネットワークである。隠れ層 1 層のニューれた日英対訳コーパスである。国立研究開発法人情

ラルネットワーク aveNNet とあまり差が無い。スパム

報通信研究機構が Wikipedia の日本語記事（ 京都関

メールフィルターに使われているナイーブベイズがあ連 ）を英語に翻訳し、作成したものである。文書分

まり奮わず意外であった。図 17 の発明の構成要素毎

類のアルゴリズムはディープラーニング一種である 1の根拠個所（ 文 ）抽出結果の適合判定に応用してみた

次元 CNN（ Convolutional Neural Network ）33 ）を使いと考えている。

用した。トレーニング文書で教師データ（ 15 カテゴ

適合判定への応用検討
分類器
隠れ層（250,500,100,50,20）h2o

スパムメール識別の正解率の箱ひげ図
Dataset:R パッケージ kernlab
英文メール 4601 通（スパム 1813、非スパム 2788）
57 個の特徴項目（単語、数値、記号）10 フォールド交差確認法

隠れ層 1 層のニューラルネットワーク
ロジスティック判別
ガウシアンカーネル SVM
多項式カーネル SVM
ランダムフォレスト
エイダブーストバギング
決定木 C5.0
CART エントロピー
CART Gini 係数
ナイーブベイズk 近傍法（k=7）

正解率

図 22

スパムメール識別の正解率の箱ひげ図29）金明哲 . テキストアナリティクス , 共立出版 ,2018，p.152-158.
30）Apache MXNet

https://mxnet.apache.org/

31）坂本俊之，「MXNet で作るデータ分析 AI プログラミング入門」，C ＆ R 研究所
32）Wikipedia 日英京都関連文書対訳コーパス

https://alaginrc.nict.go.jp/WikiCorpus/

33）Yoon Kim, Convolutional Neural Networks for Sentence Classification

2018.11.26. no.291

61

https://arxiv.org/abs/1408.5882

tokugikon

機械学習を用いた効率的な特許調査 アジア特許情報研究会における研究活動紹介

比較）

寄稿１

8. 適 合判定への応用検討（分類器アルゴリズム

リー：学校、鉄道（ 交通関連 ）、旧家、建造物、神道、）ある。fastTextはGensim22（
Python 用の自然言語処

人名、地名、伝統文化、道路、仏教、文学、役職・

理ライブラリ）から実行した。15のカテゴリー毎に色称号、歴史、神社仏閣、天皇 ）を学習させ、テスト

付けしている。

文書を各カテゴリーに分類して正解数をカウントすSCDVによる文書のベクトル化散布図

る。 トレーニング文書：9877 記事、 テスト文書：

score = 0.766572

4234 記 事 で 行 っ た。 テ ス ト 文 書 の 分 類 結 果 はAccuracy ＝ 0.799953 であり約 80％正解率であった。
文書のベクトル化、次元圧縮による可視化手法として下記①〜③の 3 種類を検討した。自然言語で書かれた文書をコンピュータ処理しやすいように何らかの方法でベクトル化すると高次元空間上に類似の公報が距離が近くに配置される。高次元空間は人間には直接認識できないので何らかのアルゴリズムで 2 次
元あるいは 3 次元に次元圧縮すると文書の相互関係を可視化できる。テスト文書を各カテゴリーに分類しSCDV:Sparse Composite Document Vectors

たクラス毎にベクトルの標準偏差を計算して全体の図 23

標準偏差で割りscore を計算した。クラス毎のベクト

SCDV と次元圧縮による文書の散布図

ルのばらつきが全体のばらつきに対して小さいのでscore は小さい方がクラス毎に良くまとまっているこ②因子解析による文書のベクトル化とを示す。また 2 次元に次元圧縮して公報の散布図

score ＝ 0.838752

を作成することで可視化できる。次元圧縮は scikit-

文書内に含まれているすべての単語ベクトルから

learnの潜在的意味解析（ Latent semantic analysis:

因子成分を作成しその因子を文書の意味合いを表す

34 ）LSA ） で 使 わ れ る 特 異 値 分 解（ Singular value

ベクトルデータとする。図 24 に散布図を示す。

decomposition: SVD ）を使用した。scikit-learn には
各種の次元圧縮方法が実装されている。①〜③の図

因子解析による文書のベクトル化散布図

23〜図 25 のベクトル化散布図の X（ 横 ）軸、Y（ 縦 ）score = 0.832990

軸は距離（ 非類似度 ）に相当する。同じ色（ カテゴリー ）が近くにまとまっているほど人が分類したカテゴリーを上手く可視化していることを意味する。
① SCDV:Sparse Composite Document Vectors35 ）による文書のベクトル化 score ＝ 0.756449
全ての単語に対する単語ベクトル辞書を作成する（ fastText36 ）。全ての単語ベクトルをMinBatchKMeans
によってクラスタリングする。各クラスターに属する単

文書内に含まれているすべての単語ベクトルから因子成分を作成しその因子を文書の意味合いを表すベクト
ルデータとする語のベクトルを加算して合成して文章ベクトルを生成する。fastTextは Facebookが開発した単語のベクトル化とテキスト分類をサポートした機械学習ライブラリで
34）scikit-learn

図 24 因子解析による文書のベクトル化散布

http://scikit-learn.org/stable/35）SCDV : Sparse Composite Document Vectors using soft clustering over distributional representations
https://dheeraj7596.github.io/SDV/
https://arxiv.org/abs/1612.06778
36）fastText https://fasttext.cc/

tokugikon

62

2018.11.26. no.291

Recurrent Neural Network（ RNN ）により直接文

算時間は CPU4 コアを使用して計算し（ GPU は使用書データをベクトル化した。RNN は、時系列データ

しない ）1 時間以上を要した。ちなみにエポック数 5やテキストデータを扱うことのできるニューラルネッ

で score ＝ 0.935703 であり、 エポック数 10 以 降 はトワークの 1 つである。RNN は過去に計算した中間score の減少は収束傾向にある。エポック数をむやみの状態を記憶しておけるため時系列の処理ができる。

に増やしても計算時間、 過学習の問題を生じる。

ただし計算に時間がかかるためエポック数を 10とし

RNN は学習モデルの作成に時間はかかるがエポックて実行した。エポック数とは、「 一連の訓練データを

数 10 の RNN が検討した 3 種類の文書のベクトル化、

寄稿１

何回繰り返して学習させるか 」の数のことである。計

③ RNN による文書のベクトル化 score ＝ 0.575706

次元圧縮による可視化方法のなかで score（ 各カテゴ
文書のベクトル化と次元圧縮の関係を直感的に理score = 0.575706

解できるように図 26 に地図の図法とその特徴を示す。地球は 3 次元の球状であるが 2 次元平面上の地
図に次元圧縮すると各種図法に特有の歪みが生ずる。各図法の特徴を理解して使用することが重要である。図 23〜図 25 も各文書をベクトル化して高次
元空間上の配置を次元圧縮して 2 次元平面上にマッピングしている。商用のツールでは詳細は非開示のブラックボックスのことが多いが次元圧縮やクラス
タリングアルゴリズムは各種存在する。自分で行う
RNN学習のエポック数：10

図 25

場合は特に使用目的や用途に合わせて特徴を理解して利用することが重要である。

RNN による文書のベクトル化散布図

地球は3次元→2次元の地図に次元圧縮する各種方法とその特徴を理解して使用する
メルカトル図法

円筒投影による図法
地球表面のすべての部分の角度が正しく表される
図上の2点を結ぶ直線は等角航路となる羅針盤による航海に便利
海図に利用される正距方位図法

モルワイデ図法

図の中心から他の１地点を
地球を楕円形にして、結ぶ直線が図の中心からの極地方の形のゆがみを
正しい方位、最短経路を表し、 少なくした図法
図の中心からの距離を正しく分布図に使用される求めることができる
飛行機の最短経路や方位を見るために使われる

地図投影法学習のための地図画像素材集
http://user.numazu-ct.ac.jp/~tsato/tsato/graphics/map̲projection/

図 26

地図の図法とその特徴

2018.11.26. no.291

63

tokugikon

グート図法

世界全体を通して大陸部分の形の歪みができるだけ小さい地図を作るために、サンソン
図法の地図とモルワイデ図法の地図を組み合わせて作成
面積が正しく表されている

機械学習を用いた効率的な特許調査 アジア特許情報研究会における研究活動紹介

リー毎のまとまり）が一番良かった。

RNNによる文書のベクトル化散布図

11. おわりに

10. 特許調査における教師データの利用について
特許調査における教師あり機械学習において教師

本研究では機械学習を用いた効率的な特許調査にデータの利用についていくつかのヒントを示す。教ついてある程度の可能性を示したがさらなる精度向師データとして利用可能なものは各種考えられる。

上・実用化には様々な未検討課題がある。第一の課

公報文書に付与されている各種特許分類（ IPC,FI,F

題はより効果的な分散表現の学習である。第二の課

ターム等 ）は教師データとして使用可能である。海

題は適合判定における特徴量選択である。第三の課

外特許、例えば中国（ CN ）特許には限定的な例外

37 ）題は分散表現学習と適合判定における特徴量選択をを除いて F タームは付与されていないが日本（ JP ）一気通貫に行った場合の分類アルゴリズムの選択、にファミリー特許がある場合はファミリーの JP 特許

各種パラメータチューニングであり実用化に不可欠の F タームを教師データとして利用することも可能である。
本稿の前半では先行技術調査を念頭に doc2vec にである。
特定の商用データベース、 例えば CyberPatent

よる文書／文のベクトル化と発明の要素単位の類似

Desk では PATOLIS（ 2014 年 1 月 31 日にサービス

文抽出検討を行い、後半で動向調査を念頭に教師あ終了 ）フリーキーワードを収録している。Questel 社

り機械学習の 1 次元 CNN による文書分類と次元圧のグローバル特許データベース Orbit.com

では縮による公報の可視化検討を行った。教師あり機械

KEYW：コンセプト（ テキストマイニング手法で抽学習には良質な教師データの準備が重要である。

出した英語の専門用語 ）、MLID：化学物質名の ID

ディープラーニングの機械学習には大量の教師デーが収録されている。

タが準備できるかどうかで学習済モデルの性能が決

38 ）キーワードに関してデータベースに依存しない汎まる。調査目的に応じたアルゴリズムとデータの選用的な方法として特許公報からの専門用語抽出、択が重要である。本稿が効率的な特許調査の一助に

ワードクラウド、注目ワードに対する共起キーワー

なれば幸いである。
本報告は 2018 年度の「 アジア特許情報研究会 」のド、共起キーワードのネットワーク分析による可視化、word2vec による類似キーワード抽出

14 ）ワーキングの一環として報告するものである。

等が

13 ）

ある。
謝辞
特許庁総務部総務課特許情報室の皆様には情報交換の場で大変有益なアドバイスを頂きました。特許
情報室の皆様に感謝申し上げます。

profile安藤 俊幸（あんどう としゆき）
1985 年現花王株式会社入社、研究開発に従事
1999 年研究所の特許調査担当（新規プロジェクト）、2009 年より現職
2011 年よりアジア特許情報研究会所属
情報科学技術協会、人工知能学会、データサイエンティスト協会 各会員

37）中国特許文献の FI・F ターム付与データ提供について
38）Questel 社 Orbit.com https://www.orbit.com/

https://www.jpo.go.jp/shiryou/s_sonota/china_patent.htm

tokugikon

64

2018.11.26. no.291