機械学習を用いた効率的な特許調査方法
─単語・文書のベクトル化方法と特許調査への応用─
Effective patent search methods using Machine Learning

花王株式会社

知的財産部／アジア特許情報研究会

安藤俊幸

1985 年現花王株式会社入社、研究開発に従事
1999 年研究所の特許調査担当（新規プロジェクト）、2009 年より現職
2011 年よりアジア特許情報研究会所属
2020 年 特許情報普及活動功労者表彰 日本特許情報機構理事長賞「技術研究功労者」受賞
情報科学技術協会、人工知能学会、データサイエンティスト協会 各会員
ando.t@kao.com

1

はじめに

AI の利用を謳う商用の特許調査・分析ツールは 10 シ
ステムを超えている 1）。既に事前情報収集の段階は通り

ガートナーの先進テクノロジのハイプ・サイクルを過ぎて実際に導入している会社も相当数存在していると見ると「人工知能」は 2018 年には「過度な期待度の思われる。ただ上手くいっている会社だけでなく期待通ピーク期」を越え、2019 年に、『人工知能』は、幻滅りの結果が得られず困惑している方々も多いのではない

期に位置付けられている。ここで「ピーク期とは最も良かと思われる。実際にエンドユーザーと話をすると AI

い状態」あるいは「幻滅期は悪い状態」という文字通りに過度な期待を抱いている人や、従来の特許調査システの意味ではない。ピーク期は「過度な期待」によって理ムとの違いに苦労されている人も見受けられる。

想と現実にギャップがある状態のことである。幻滅期は本 稿 で は 人 工 知 能 と 人 間 知 能（HI：Human「冷静な判断」を行う時期で、「本物と偽物の区別」が行Intelligence）の役割分担を踏まえて、事前の情報収集、

われるのもこの時期とされている。ハイプ・サイクルの検証実験、トライアル、実務で活用等の各工程で必要な2020 年版を図１に示す。「人工知能」関連技術が 11

留意点と実際に自分の手を動かして、試して効果を実感

技術に細分化されている。

できる特許調査の効率化手法を検討した。

先進テクノロジのハイプ・サイクル：2020年

2

知財分野における AI（人工知能）の整理

知財分野における「AI」の性能を客観的に評価するには下記課題があり何をどう評価したらよいか検討対象をまず整理した。
「AI」の性能を客観的に評価するにあたっての課題①学術的にも定まった「AI：人工知能」の定義が無い 2）②ベンダーが提供している AI 利用ツールの「AI」につ
出典：ガートナー、「先進テクノロジのハイプ・サイクル：2020年」を発表
https://www.gartner.com/jp/newsroom/press-releases/pr-20200819

図１

222

先進テクノロジーのハイプサイクル 2020 年

いても各社各様であり定まった定義が無い③マーケティング目的で「AI」の定義を拡大解釈したものもある

最近では知財情報業務への人工知能（AI: Artificial④エンドユーザーが「空想の AI」を念頭に極端な汎用

Intelligence）の適用も身近な存在になってきている。

AI（強い AI）のイメージを抱き過大な期待を抱いて

いる

より搭載されている。表２に「完全一致」と「最良一致」

一言で AI と言っても何をイメージしているかは人に検索モデルの比較を示す。

より様々である。本稿では便宜的にまず表１のように仕

表２ 「完全一致」⇔「最良一致」検索モデルの比較

分けした。
表１

便宜的に分けた AI の種類

知財分野における「稼働中の AI」ツールの出来ること人工知能（機械）に行わせることを見極める必要がある。種々の検討を行うにあたり漠然と「AI」を対象とし「完全一致」と「最良一致」検索モデルの特徴やメリッても焦点が合い辛いので以降は AI の中心技術である「機トとデメリットを正しく理解して使い分けることが望ま械学習」を中心に検討する。上位概念順に、AI、機械学習、しい。各種 AI 関連ツールを選んだり、使いこなす上でディープラーニングの関係にある。

も非常に重要である。このことはユーザー側だけでなく「研究中の AI」に関しては自然言語処理、特許情報分

ツールのベンダー側にとっても重要である。ツールの間野に影響しそうなものを後述する。「名前だけ AI」は端違った使い方を勧められても、逆に特性上難しいことを的に偽物の AI と呼ぶ専門家もいる。

ツール（検索システム）に求めてもお互いに不幸になるだけである。

3「完全一致」と「最良一致」検索モデ
ル比較

検索モデルとは、情報検索をコンピュータで実現す

4

特許調査への機械学習適応時の留意点

るための仕組みである。既存の検索手法は「完全一致現在の大部分の人工知能を考える上で押さえておくべ（exact match）」と「最良一致（best match）」に大きポイントとして問題の定式化がある。問題の定式化と別される 。完全一致モデルでは、検索クエリで指定さは解きたい問題をコンピュータが扱えるようにすることれた条件に完全に一致する文書集合とそれ以外の文書集

である。

3）

合を区別することが目的であり、検索された文書に順位

この問題の定式化と特許調査への応用の概要を図２を付けることが目的ではない。ただし検索結果を、文書に示す。解きたい問題の把握は非常に重要である。情報

番号、出願日、IPC、出願人等でソートすることはでき

検索の世界では昔から情報要求として知られている。情る。キーワードや特許分類記号を組み合わせた論理式

報検索リテラシーの入門としても必須と考える。情報要で検索クエリを構成するブーリアンモデル（Boolean

求の詳細は図３を参照されたい。特許調査に置いても何model）がある。

を調査したいのか明確になっていないと特許調査そのも最良一致モデルでは、検索クエリは文、あるいは一つのが失敗する可能性が高まる。人工知能をこの情報要求

以上のキーワードであり、論理演算子などでキーワードを明確化する工程に、例えば質問応答システムとして組間の関係は明示しない。検索クエリから抽出された検索み込まれるとその後の検索精度の向上が期待できるが、語をベクトル化して各文書ベクトルとの類似度を計算しこの部分は現状では調査対象分野の経験を積んだサーてスコアとして、スコアの降順に文書を表示する。ベク

チャーのレベルに達するのは次世代の言語 AI に期待す

トル空間モデル（vector space model）、確率的言語

べきと考える。現時点では情報要求を踏まえて解きたいモデル（probabilistic language model）等があり商問題の定式化を行うのは人の重要な役割である。AI か用の特許検索システムに概念検索、類似検索として従来らの出力である処理結果の解釈・評価も重要な人の役割

YEAR BOOK 2O2O 223

特許情報の高度な情報処理技術

3とと、出来ないことを理解して、人間知能で行うべきこである。商用の特許情報調査・分析ツールの性能評価も能のアルゴリズムは無いという意味である。ある特定の人の役割として重要である。現状の特許調査関連の AI問題に焦点を合わせた専用アルゴリズムの方が性能が良

ツールは残念ながら、「誰でも」、「何も考えずに」、使え

いということである。現状は汎用の AI（強い AI）は無く、る魔法のような万能の AI ツールは無いとみるべきであ

特定の問題に強い専用の AI（弱い AI）が多いことと関る。その根拠として最適化の分野において「万能のアル係している。この定理の名前の由来は「無料の昼食は無

ゴリズムは無い」というノーフリーランチ（NFL）定い」というところからきている。酒場の広告で「ドリン理がある。NFL 定理については後述する。

ク注文で昼食無料」というのがあったが実際は「ドリン
クに昼食料金が含まれている」ということでハインライ

人工知能（AI）の一般的な方法論と特許調査への応用

ンの SF 小説『月は無慈悲な夜の女王』（1966 年）で特許調査のタスクを機械学習のタスクに定式化する〇特許調査への応用の一般的な方法論

問題の定式化と解法

入力
定式化

有名になった格言に由来している。この定理の数学的なNFL定理

万能のアルゴリズムは無い！

ノーフリーランチ定理

解きたい問題 （情報要求）
社会（産業、経済、学術）等のあらゆる問題調査目的に応じてパターン化 （定石・フレーム）

外枠

意味も重要であるが名前の由来になった格言の意味も実

要素 要素
A
B

出力
問題の解

際の AI 製品の広告やパンフレットを吟味する場合重要フレーム問題

処理結果の解釈・評価←コンピュータ
内部の世界（AI)

数学的な記述（最適化問題等）
情報・数理的手法（最適化・探索法等）

統計・データサイエンス※現在定式化はほとんど人が行っている

査読/ノイズ

査読/ノイズ確率

有

クラス分類

回帰

無

クラスタリング 次元圧縮

文書データをコンピュータ内部で扱えるようにする→文書ベクトル化である。特に「AI を導入するとなんでも／簡単にできる」という意味のフレーズには要注意である。「なんでもできる＝万能のアルゴリズム」は無い。「簡単にできる＝

教師データ有の場合
定式化→ y = f(X)高次元配列：テンソル結果の解釈・評価も重要な「人」の仕事

図２

機械学習の種類

教師データ

y：目的変数 カテゴリー
X：説明変数 文書ベクトル
f：分類アルゴリズム

目的変数がカテゴリーデータ：クラス分類、実数：回帰3

人工知能の一般的な方法論と特許調査への応用

無料の昼食」は本当に無料なのか、特に教師あり機械学習において教師データを用意したり、機械学習の出力結果を判定／検証するコストを考慮しているのか要チェッ
クである。

人工知能の使用と情報要求
情報要求

情報検索の分野では重要な概念

AI（機械）を使う場合も「人」の役割として常に意識すべき！

情報要求の 4 レベル
R. S. Taylor の 1968 年の論文（Question-negotiation and information seeking in libraries）
において、人間の情報要求（information need）が 4 つのレベルに分類されている。
１．直感的要求（visceral need）
現状に満足していないことは認識しているが、それを具体的に言語化してうまく説明できない状態
２．意識された要求（conscious need）
頭の中では問題を整理できるが、あいまいな表現やまとまりのない表現でしか言語化できない状態（3）フレーム問題
フレーム問題とは、人工知能における重要な難問の一つで、有限の情報処理能力しかないロボットには、現実に起こりうる問題全てに対処することができないことを示すものである。特許調査や学術文献調査等の検索においてどこまで調査するのか調査範囲を決める外枠と考え

３．形式化された要求（formalized need）
問題を具体的な言語表現で言語化できる状態ると理解しやすい。特許調査においては調査目的に応じ４．調整済みの要求（compromised need）
問題を解決するために必要な情報の情報源が同定できるくらい問題が具体化された状態てどこまで調べるか調査範囲を決めておくとフレーム問『言語と計算 - 5 情報検索と言語処理』（徳永健伸）から抜粋

図３

Taylor の情報要求の４レベル

題を回避あるいは軽減できる可能性がある。もう少し具体的には発明を特許出願する前に行う先行技術調査では発明に新規性、進歩性があるか調査するがその発明が属特許調査への人工知能適用時の留意点として人工知能する技術範囲を適切に決めると調査が効率的に行える。

分野の原理的な難問から実務上の留意点まで簡単に列記

調査対象国により IPC、CPC、FI 等を適切に使い分ける、する。

あるいは併用すると良い。日本特許の場合は FI、F ター（1）シンボルグランディング（記号接地）問題

ムを利用すると調査精度を高めることができる。

シンボルグラウンディング問題とは、記号システム内のシンボルがどのようにして実世界の意味と結びつけら

過 学 習（overtraining） と は、 機 械 学 習 に お い て、れるかという問題。記号接地問題とも言う。現在の「AI」

訓練データに対して学習されているが、未知データ（テは人間と同じように自然言語を理解しているわけではな

ストデータ）に対しては適合できていない、汎化できていことに注意する必要がある。

いない状態を指す。汎化能力の不足に起因する。

（2）ノーフリーランチ（NFL）定理（5）特徴量選択（醜いアヒルの子の定理）

最適化問題であらゆる問題に適用できる性能の良い万224（4）過学習（汎化性能）

醜いアヒルの子の定理とは、純粋に客観的な立場か

らはどんなものを比較しても同程度に似ているとしか言

査の失敗を想定した時の影響度とした場合の各種特許調

えない、という定理である。特徴量を全て同等に扱って査の相対的な位置付けを示したものである。実際の調査いることにより成立する定理で特徴量選択の重要性を示案件によりケースバイケースで位置付けは異なると思わしている。もう少し具体的には醜いアヒルの子（白鳥のれるが侵害予防調査系が難易度が高いと考えられる。筆雛で灰色）、普通のアヒルの子（黄色）の特徴量（灰色、者が特許調査担当になり始めて受けた日本知的財産協会

黄色）に着目すれば識別可能だが識別に無関係の特徴量（JIPA）の特許調査の研修で、１件の特許を見逃したのを増やすと区別できなくなる。

が原因で、既に 50 億円の投資を行った事業から撤退せざるを得なくなった事例の新聞記事を教材に講習を受け合したアルゴリズムを選択して、組み合わせて、実務をたことを鮮明に覚えている。影響度により、侵害予防調

想定した各種データで実験し、チューニングすることに査の対象、いわゆる「イ号製品」をどこまで想定して検より、より良い出力（予測結果）を期待できる。

索クエリを作成するかを、考える必要がある。再現率（検索漏れ防止）でむやみに調査件数を増やせばよいという

先行技術調査の流れと機械学習の留意点①出願したい明細書から構成要素を分析する 着目点※醜いアヒルの子の定理
明細書を熟読して発明内容を理解し、検索式作成のための構成要素を決定する※シンボルグラウンディング問題②予備検索の実行

調査範囲の把握： ※フレーム問題

特許分類（FI、Fターム、IPC）、キーワードの検討

外枠

海外の場合（IPC,CPC）

要素 要素
A
B

ものでもない。あまりにも件数が多いとスクリーニング時に見逃す可能性が高まる。海外で事業展開する場合は外国語公報を調べる必要がある。SDI 調査は侵害予防重視か技術動向重視かでポジションは異なる。

調査範囲の決定： ※フレーム問題③検索戦略立案、検索式作成 着目点：※醜いアヒルの子の定理

検索式に使用する特許分類、キーワードの抽出
多観点の検索式の検討
スクリーニング過程を詳細に検討し、機械学習を応用した支援方法（ツール）検討④検索実行、スクリーニング
優先順位を決め、効率的にスクリーニングを行う
スクリーニング結果に応じて、検索戦略を再検討
・特許性（新規性、進歩性）判断を謳うAI ※シンボルグラウンディング問題、NFL定理
・人と機械（AI）の役割分担が重要 ← 本研究のスタンス

図４5

特許調査における現状の課題抽出

特許調査における現状の課題としてスクリーニング課
程に関してまとめたものを図６に示す。

先行技術調査の流れと機械学習の留意点

スクリーニング課程の現状と理想
現状

理想的には図４の全行程に適合したアルゴリズムの実

D2(Y1)

装及びチューニングを行い一気通貫に結果が得られるこD3(Y2)とが望ましいが、コストや開発期間を考えると実験や検証段階では注目している工程に絞って検討するアジャイ
ル開発も選択肢として有効と思われる。

どの文献が当たりか判らないので、片端から読み込む

理想

可能性の高い文献から順番に読みたい
D1(X1)新規性
D2(Y1)進歩性（主）D3(Y2)進歩性（副）各種特許調査の相対的な位置付け

侵害予防調査クリアランス調査
FTO (Freedom to Operate) 調査
無効資料調査再現率（網羅性）

出願前調査（国内）

図６

スクリーニング課程の現状と理想合をどの文献が当たりかわからないので片端から読み込
む場合も特に初心者の場合は多いのではないかと思われる。もちろん上級者は構成要件毎の検索集合で優先順位を付けて査読したり、ブーリアン演算の集合と類似（概技術動向調査影響度 小

図５

機械（AI）がなぜ根拠と判定したか理由が知りたい

特許調査においてブーリアン演算により作成した集

出願前調査（外国）
SDI調査

先行文献にスコアが付いていれば、スコアの高い文献から読むことができる。
発明の構成要素毎に根拠個所を見たい

影響度 大

適合率
（精度・効率）AI技術（機械学習、深層学習、自然言語処理）の活用による効率的な特許調査

D1(X1)

各種特許調査の相対的な位置付け

念）検索と組み合わせて類似度の高い順に読み込んだりと工夫している人も多数いると思われる。筆者も文書単位 4）、文単位 5） の類似度計算を用いた先行技術調

図５は横軸に適合率と再現率をとり、縦軸に特許調査への応用を検討した。2017 年、2018 年の Japio

YEAR BOOK 2O2O 225

3

特許情報の高度な情報処理技術

上記五つの留意点を踏まえて特許調査のプロセスに適YEAR BOOK で紹介している 4）, 5）。
侵害予防調査においては「類似」の順番ではなくリス
クの高い順番にスクリーニングするのが合理的であるのでリスクを予測してソートすることも課題である。
図７に教師データありの機械学習を用いた特許調査の課題の一部をまとめている。特に教師データありの機械学習を特許調査へ適用することはなじみが薄いと思われ

表３

AI 利用特許調査・分析ツールの導入ポイント例

評価項目
使用目的１
使用目的２
使用者
購入方法
事前評価
性能に関する重視ポイント
エンジン
外観
信頼性
コスト
サポート
営業
将来性

自動車
AI調査ツール
自家用、社有車
調査の種類（先行技術、動向・・）
レジャー、通勤独自分類付与、可視化
本人限定、家族研究員、知財部員、サーチャー
追加購入、買い替え 追加契約、置き換え契約
試乗（有償、無償）トライアル
走行性能、燃費
適合率、再現率
ガソリン、ディーゼル 検索モデル、検索エンジン
色、デザイン
ユーザーインターフェイス
故障率
DBの収録率、データ精度
初期、ランニング
初期、ランニング
アフターサービス
ユーザー教育自社製品をユーザー視点で説明できるか
各種開発力
開発スピードる。この場合の最初の課題は「教師データの準備をどうするか？」とか「トレーニング（訓練）データとテストを示す。AI SAMURAI6）、Deskbee7）、xlpat8）、サー（評価）データをどう分けるか？」とか機械学習によりチャーの視点からの解説 9） も「人」の役割に関して特スコア付け（回帰）あるいはカテゴリー分け（クラス分に参考になる。

類）された出力結果を「どのように使うか？」、出力結果の性能評価を「どのようにするのか？」等と思われる。
これらの課題を本稿で明らかにしていきたいと考えてい

商用の AI 利用特許調査・分析ツー
ルの評価方法

特許調査システムの概念図とその評価方法を図８に示る。

教師有機械学習を用いた効率的な特許調査の課題
検索結果
教師データ

トレーニング
データ

文書を形態素解析してベクトル化（テンソル化：高次元配列）
トレーニングデータで査読／ノイズを学習

教師データの準備はどうするの？
テストデータ
２値分類
テストデータの査読／ノイズ確率を計算
回帰
クラス分類

類似度

スコア付け/仕分け
査読

7

先行技術調査/無効資料調査

適合確率の高い文献から順番に査読
ノイズ
SDI（Selective Dissemination of Information）調査 （新着公報の監視）

SDIを査読特許とノイズ特許に仕分け
仕分け／分類性能を知りたい！

図７

教師有機械学習を用いた特許調査の課題

す。中央の長方形内は特許調査システムの概念図である。
一般的に内部はブラックボックスであるが、「完全一致」の検索モデルは入力（検索用クエリ）と出力（検索結果）の関係は理解しやすい。「最良一致」の検索モデルではユーザーが出来ることは限られている。入力に関しては「発明の特徴を表す文章、あるいは一つ以上のキーワー
ド」をクエリとして入力するのが基本である。入力が教師データ有りの場合、出力はクラス分類結果である。入力に対して類似の公報を求める場合の出力はスコア（主に類似度）による順位付きの文書リストである。クラス
分類の評価方法としては混同行列が用いられる。類似度
によるスコアと文書分類の実例は後述する。文書の「類商用の AI 利用特許調査・分析ツー
ルの動向

似度」もコサイン類似度，Jaccard 係数，Dice 係数，

AI 利用特許調査・分析ツールの導入に際しては導入

類似度等、各種の算出方法がありそれぞれ特徴を有して6

目的に照らして「出来ること／出来ないこと」を明確にして、性能、コスト等を考慮して決めると良いと思われる。AI ということで戸惑いがあるかもしれないが身近な高額商品、例えば車を購入するプロセスを想定して評価・確認項目のチェックリストを作成すると良い。表３に簡単な例を示す。性能評価の詳細に関しては後述する。

Simpson 係数、単語の分散表現を用いたテキスト間のいる 10）。

特許調査システムの概念図とその評価方法
入力データ
・検索用クエリ・教師データ・類似（概念）検索

特許公報データ
応答

KWインデックス
特許公報DB無しの場合は
特許公報データも必要

各種スコア
・順位
・類似度
・クラス分類（クラス分類アルゴリズム）
照会

インデクサ

索引抽出

転置ファイル
特許分類インデックス （文書ベクトル化に相当）・転置インデックス
・全文検索
・適合性フィードバック

はベンダーの Web ページより抜粋したものである。

226

出力データ
検索対象公報DB・ブーリアン検索の表にには含まれていないものもあると思われる。概要

最近は各種解説記事や論文も多く出ている。次に一例

検索エンジン
検索アルゴ
・全文検索
リズム

表４に国内で提供されている商用の AI 利用特許調査・分析ツールを示す。網羅的に調べたわけではないのでこ

特許調査システムの概念図

索引の抽出手法
・形態素解析
・ N-Gram

検索結果
正解公報リスト
正解公報リストと検索結果を照合
して答え合わせ

評価方法
・混同行列
・交差検定

専門用語
固有表現
TF・IDF

図８

特許調査システムの概念図とその評価方法

表４

商用の AI 利用特許調査・分析ツール

No

製品名/AI関連機能

概要

ベンダー

①

AI SAMURAI

日米中3カ国対応型 類似文献評価システム

AI SAMURAI https://aisamurai.co.jp/

URL「発明内容」を文章で入力すると、AIによる類似文献評価を行います。
先行技術調査「発明内容」から高速で国際特許分類（IPC）を認定、最も類似する文献5件を抽出し「発明内容」の類似度の高さをA～Dの４段階で評価。５つの類似文献を並べたクレームチャートを自動で生成します。
「発明内容」を入力すると、AIによる検索によって類似度が高い順に抽クリアランス調査

出された500件の特許文献のリストを約1分で生成しCSVデータをダウンロードできます。
無効にしたい特許公報の登録番号もしくは、「発明内容」と調査したい

無効資料調査基準日を入力して検索すると類似特許の抽出を自動的に行い、AIにより無効化可能性の評価をし5つの類似文献を並べたクレームチャートを生成します。
・AIが「発明の内容」からキーワード抽出や類義語展開、重み付けを実AIコラボ検索

施して検索式を自動的に生成します。
・人が検索式を調整
1億2000万件を超える世界中の特許文献をディープラーニングで学習し、ampliﬁed

全特許間における類似性を把握した独自開発のAIが、ユーザーの発明とampliﬁed ai

類似する特許を数秒で発見し提示します。

https://www.ampliﬁed.ai/ja/home

Deep Learner は、ディープラーニング (Deep Learning, 深層学習) のモ
デルを対話的に設計し、実行するためのモジュールです。テキストに紐づく属性情報が存在している場合、その情報もモデルの学習に組み入れることができます。
③

Deep LearnerDocument Embedding アイコン

NTTデータ数 https://www.msi.co.jp/deeplearn

・Word Embedding アイコンで算出した 単語の分散表現を利用して、

理システム

er/

Simple Word Embedding-based Model（SWEM）を用いて文書のベクト
ル表現を作成する・テキストデータ（分かち書き結果）から、頻度ベースの手法（Bag ofWords,tf-idf）を利用して、文書のベクトル表現を作成する。
https://www.msi.co.jp/tmstudio/

Text Mining Studio

簡単な操作で本格的なテキストマイニングが行えるツールです。

Text Mining Studio 類似抽出

文章と文章の類似度を算出し、類似/非類似の分類を行うことができる、

https://www.msi.co.jp/tmstudio/

アドオン

ラベリング支援ツールです。

TMSSimirarTextTool.pdf

Visual Mining Studio

簡単な操作で本格的なデータマイニングが行えるツールです。

④

Derwent Data Analyzer

機械学習による分類の自動化⑤

Deskbee⑥

Innovation Q PlusaboutTMS.html

https://www.msi.co.jp/vmstudio/
functions.html
クラリベイトDeskbeeは、特許調査の短時間化を目的とし、 独自にAI技術を組み合わ アイ・ピー・
せて最も手間のかかるノイズ除去の簡略化を実現しています。

ファイン

世界中の主要国の特許情報を包括的にカバーしているデータベースです。IEEE が発行する文献情報など非特許コンテンツも同時に検索するこ IP.comとが可能です。検索はセマンティックサーチを搭載しています。

https://clarivate.jp/products/der
went-data-analyzer/
http://www.ipﬁne.com/deskbee/
https://ip.com/products/innovati
onq/

Nomolyticsとは、Narrative Orchestration Modeling Analyticsの略で、従来のテキストマイニングにクラスタリング技術のPLSA（確率的潜在意 アナリティク⑦

Nomolytics

味解析）とモデリング技術のベイジアンネットワークという2つの人工知 スデザインラ
能技術を組み合わせたテキストデータの新しい分析技術です（特許登録ボ

http://www.analyticsdlab.co.jp/technology/nomolytics.html

済：特許第6085888号）。
人工知能「KIBIT（キビット）」を活用し、発明の新規性・進歩性を否定⑧

Patent Explorer

する根拠となる可能性がある特許文献を、迅速に発見・抽出することに

FRONTEO

よって、特許調査を効率化する特許調査・分析システムです。
KIBIT
Concept Encoder⑨

せ、FRONTEOが独自開発した日本発の人工知能エンジンです。
「単語と文書のベクトル化」により、解析の対象となる自然文からより

AIセマンティック検索

AIによって関連する技術分野ごとに独自にクラスタリングされている

AI分類予測教師データを使用した2値分類、多値分類、多ラベル分類⑩

Patent Noise Filter

AI を使った特許自動分類サービス⑪

Shareresearch

特許情報提供サービス

AI読解支援オプション

課題を自動で抽出し、特許の内容把握を効率化する

自動分類付与オプション

膨大な特許情報を高精度に分類する

技術マップオプション

特許出願技術の動向を可視化する

xlpat

特許技術とビジネスデータにAIと機械学習を適用します

ディエーションツール

ts/conceptencoder/
Patentﬁeld

https://patentﬁeld.com/

アイ・アー
ル・ディー
日立製作所

xlpat labs

https://www.hitachi.co.jp/New/c
news/month/2019/06/0613.html

https://en.xlpat.com/ja/

新規性を数分で確認します

無効資料調査先行技術を数分で迅速に取得

パットディガー

ポートフォリオ内の数千件の特許をインテリジェントに評価します。

IPランドスケイパー

https://www.fronteo.com/produc

多くの情報量を抽出できます。
AI特許総合検索・分析プラットフォーム

ノベルティチェッカー&アイ

s/patent-explorer/「KIBIT」は人工知能関連技術のLandscapingと行動情報科学を組み合わ

Patentﬁeld⑫

https://kibit.fronteo.com/productテクノロジー・ドメインにおけるIPと市場のトレンドを直感的に視覚化します。

YEAR BOOK 2O2O 227

3

特許情報の高度な情報処理技術②8す。特徴は分かち書き結果の特徴タームが重みと共に表

先行技術調査の事例検討示されユーザーが重みを 1 ～ 1000 の範囲で調整でき

先行技術調査の予備検索工程への応用を目的に答えが分かっており比較検証が可能な特許検索競技大会の過去問

11）

る。Shareresearch の概念検索の対象は、全文、要約、請求項から選択できる。

を使用して事例検討を行った。特許検索競技大会の模範解答は「完全一致」型検索モデルに基づいている。
検討に使用した問題を図９に示す。

先行技術調査の事例検討
特許検索競技大会2016 化学・医薬分野
出題内容:【間2】問題文概要(2/3)

YEARBOOK2017
YEARBOOK2018【特許請求の範囲】【請求項1】
熱可塑性樹脂フィルム基材層(A層)、酸化ケイ素蒸着層(B層)、ポリビ
ニルアルコール系樹脂と粘土鉱物を含む塗膜層(C層)が他の層を介して又は介さずにこの順に積層されてなることを特徴とするガスバリア性包装用フィルム。
(C層)ポリビニルアルコール系樹脂と粘土鉱物を含む塗膜層(B層)酸化ケイ素蒸着層(A層)熱可塑性樹脂フィルム基材層

図 11

ガスバリア性包装用フィルム

図９

特許検索競技大会 2016 の化学・医薬分野の問２

日立 Shareresearch の概念検索画面

図 12 に CyberPatentDesk の概念検索結果と２種

予備検索工程は検索キーである、発明の該当分野の特類の検索クエリを示す。クエリ①請求項１とクエリ②明許分類（FI、F ターム、IPC）と特徴キーワードを求め細書記載部である。検討に用いた特許検索競技大会の過るために行われる。ここでは、商用特許データベースと去問は 49 の正解公報が分かっている。検索結果の表のしてサイバーパテント株式会社 CyberPatent Desk と「含む正解」は概念検索の上位 1000 件に含まれる正解

日立 Shareresearch の概念検索を「最良一致」型検索件数である。「含む正解」の件数はクエリ②が良い傾向モデルとして使用した。CyberPatentDesk の概念検である。

索画面を図 10 に示す。特徴は IPC のセクション（例：B）とメインクラス（例：B32）と２段階で概念検索の対象分野を限定できることである。この場合の概念検索の範囲は要約となる。IPC による分野別に限定しない全分野の場合、要約と請求の範囲が指定できる。図４の機CyberPatentDeskの概念検索結果
検索集合 検索入力 検索対象 分野（IPC）指定
セクション メインクラス 含む正解
G1

クエリ① 請求項

全分野

12

G1b

クエリ① 要約

全分野

G2

クエリ① 要約

B

B全体

26

G3

クエリ① 要約

B

B32

27

G10

クエリ② 請求項

20

全分野

29

G11

クエリ② 要約

B

B全体

34

G12

クエリ② 要約

B

B32

33

械学習の留意点の「フレーム問題」に限定的ながら対応

クエリ①【請求項1】
熱可塑性樹脂フィルム基材層(A層)、酸化ケイ素蒸着層(B層)、ポリビニルアルコール系樹脂と粘土鉱物を含む
塗膜層(C層)が他の層を介して又は介さずにこの順に積層されてなることを特徴とするガスバリア性包装用フィルム。

できる。この効果は後で示す。

クエリ② 明細書記載部

CyberPatentDeskの概念検索画面（A層）熱可塑性樹脂フィルム基材層
熱可塑性樹脂フィルムであれば特に限定はなく、ポリプロピレン、ポリエチレンテレフタレート、ナイロン等のフィルムを使用することができる。また、基材層自体が熱可塑性樹脂フィルムを何層か積層したフィルムであってもよい。
（B層）酸化ケイ素蒸着層
熱可塑性樹脂フィルム基材上に酸化ケイ素蒸着層を形成したものである。酸化ケイ素の蒸着膜は透明性とガスバリア性を兼ね備える。蒸着層の厚さを調整することで、用途に応じてフィルムの透明度とガスバリア性能のバランスを取ることが可能である。
（C層）ポリビニルアルコール系樹脂と粘土鉱物を含む塗膜層
図１は（C層）のガスバリア性能の発現機構を示す図である。ポリビニルアルコール系樹脂／水／粘土鉱物を含む塗工液は、粘土鉱物の層間がへき開して分散し、塗膜を形成するとへき開した粘土鉱物が面状に配向し、高いガスバリア性を発現する。ポリビニルアルコール系樹脂は、ポリビニルアルコールの他、エチレン－ビニルアルコール共重合樹脂等のビニルアルコールを含む共重合体でもよい。
粘土鉱物としては、カオリナイト、ディッカイト、ナクライト、ハロイサイト、アンチゴライト、クリソタイル、ヘクトライト、パイロフィライト、
モンモリロナイト、白雲母、マーガライト、タルク、パーミキュライト、金雲母、ザンソフィライト、緑泥石等が挙げられる。人工の粘土
鉱物でもよい。

図 12

CyberPatentDesk の概念検索結果

図 13 に CyberPatentDesk の概念検索結果

再現率曲線を示す。クエリ②（明細書記載）の方がクエリ①（請求項１）より顕著に良い結果である。IPC で検索分
野を絞ると良い傾向である。
図 10

CyberPatentDesk の概念検索画面

図 11 に日立 Shareresearch の概念検索画面を示

228

CyberPatentDeskの概念検索結果 再現率曲線

み付けする。Ave-word2vec モデルは文書に含まれる

再現率
・クエリ②（明細書記載）の方がクエリ①（請求項１）より良い・IPCで検索分野を絞ると良い傾向

G11

G12
立ち上がり部分が重要

クエリ②
G10
G3
G2
G1
G1b

単語の分散表現ベクトルの平均値を使う。doc2vec モ
デルは word2vec を文書に拡張したものである。AvefastText は、word2vec の代わりに fastText を使用した。文書ベクトル化方法の表の③～⑤が分散表現による文書ベクトルモデルである。word2vec、doc2vec

G2：要約ーIPC:B全体
G3：要約ーIPC:B32
G1：要約ーIPC:全分野

図 13

ルは単語頻度と単語が出現する文書頻度を考慮して重fastText、のベクトルの次元数（サイズ）は 300、分

CyberPatentDesk の概念検索結果

確認数

かち書きした単語を取り込む Window 幅は 5、取り込

再現率曲線

み最小単語数は 1 とした。doc2vec の取り込みモデル

再現率を選択するパラメータ dm=1 で単語の語順を考慮する曲線を示す。クエリ②（明細書記載）の方がクエリ①（請モデルである。公報文書の分散表現ベクトルのデータ

求項１）より良い結果を示している。検索対象は、全文、ソースとしてはタイトル、要約、請求項とした。また文

要約、請求項の順に良い。G5：クエリ①（請求項１）-

書ベクトルのデータソースとして F タームによる文書

全文も立ち上がり部分は良い結果を示している。

ベクトルも検討した。各文書ベクトルを用いて文書分類

Shareresearchの概念検索結果 再現率曲線
再現率立ち上がり部分が重要

集合件数 含む正解 備考

G5

クエリ① 全文

377

クエリ② G7
G8
G17
G10
G15

クエリ① 要約494

クエリ① 請求項

373

4

クエリ② 全文

377

16 重み

G15

クエリ② 全文

360

18 重み

G17

クエリ② 全文

373

20 重み-B32

G5 G10プも検討した。
表 １ の CyberPatent の 概 念 検 索 結 果 の 集 合 G2＋

・クエリ②（明細書記載）の方がクエリ①（請求項１）より良い・検索対象は、全文、要約、請求項の順に良い
・G5:クエリ①（請求項１）-全文も立ち上がり部分は良い検索集合 検索入力 対象

精度への影響、次元圧縮による各文書の俯瞰可視化マッ

168

G3＋G11＋G12 の合計 1064 件（正解公報 38 件）
を母集団として文書ベクトル化、文書分類を検討した。
文書分類方法として８種類の分類アルゴリズムを検討した。

G5-G10は重なっている
G7:要約
G8:請求項

文書のベクトル化処理と文書分類の概要
確認数

図 14

Shareresearch の概念検索結果

再現率曲線

・公報番号（タグ）・タイトル、要約、請求項
・FI、Fターム、MLID、KEYW

特許公報

必要に応じて正規表現等によるクレンジング

形態素解析器9・MeCab・Janome（Pure Pythonで書かれた辞書内包の形態素解析器）

文書のベクトル化と文書分類方法

文書のベクトル化処理と文書分類の概要を図 15 に

学習用
データ

・トークナイズ（分かち書き）済Word
・教師用カテゴリーラベル

学習実行

分散表現学習パラメータを調整可能

方法を検討した。図 15 に文書のベクトル化処理と文書分類の概要を示す。① BoW モデル作成には scikitlearn12）の CountVectorizer を使用した。② TF・IDF

文書ベクトル化方法
略号

モデル名称

① BoW

Bag of Word

② TF・IDF

TF・IDF③ Ave-word2vec

average word2vec④ doc2vec

doc2vec⑤ Ave-fastText

average fastText

分散表現
ベクトル

文書分類方法
略号

分類アルゴリズム
eXtreme Gradient
Boosting
Stochastic Gradient② SGD
Descent
確率的勾配降下法
naive_bayes.GaussianNB③ GNB
ナイーブベイズ
SVC(kernel='linear')④ SVC
サポートベクトルマシン
SVC(kernel='rbf')⑤ SVCrbf
サポートベクトルマシン⑥ RFg
Random Forest（gini）⑦ AdaBoost AdaBoost⑧ MLP
多層パーセプトロン① XGB示す。文書データをコンピュータ内部で各種機械学習により扱えるようにするため、５種類の文書のベクトル化

文書ベクトル化ソース
T：タイトル
特許分類（FI、Fターム等）を
A：要約
ソース（素性）として用いる
C：請求項
ことも可能
（E:実施例）

学習済
モデル

分類用公報

図 15

学習したモデルを保存必要な文書ベクトルを出力
次元圧縮して俯瞰可視化
訓練データで学習し、各テスト
公報毎に判定したカテゴリー
ラベルを出力（ユーザー分類）

18

文書のベクトル化処理と文書分類の概要

モ デ ル 作 成 に は scikit-learn の TfidfVectorizer を 使

図 16 に scikit-learn のアルゴリズム早見表を示す。

用した。図 15 の③～⑤の分散表現ベクトル作成には上部のクラス分類と回帰は教師データありの機械学習アを使用した。文書のベクトル化手法としてルゴリズムで、下部のクラスタリングと次元圧縮は教師

図 15 の表の 5 種類を検討した。BoW モデルは古典的データなしの機械学習アルゴリズムである。機械学習ア

な非常にシンプルなモデルで出現単語に ID を付け文書

ルゴリズムは種類も多く図１6 は代表的なものである。

の各単語の有無だけを集計する。単語の出現順や頻度

scikit-learn にはクラス分類のアルゴリズムだけで 40は考慮しない One hot ベクトルである。TF・IDF モデ

種類が実装されている。またアルゴリズムの中身も複雑

gensim13）

YEAR BOOK 2O2O 2293

特許情報の高度な情報処理技術

図 14 に Shareresearch の概念検索結果

で何をしているのか分かりにくい。「見て試してわかる
機械学習アルゴリズムの仕組み 機械学習図鑑」

14）

はわ

文書ベクトル①～④の次元圧縮による俯瞰表示
集合：CP1064 文書数：1064 正解：38 ノイズ:1026②TF・IDF
ノイズ①BoW
次元数：4423

データソース：テキスト
次元数：4423

かりやすい視覚イメージと実際に試すことで理解が進む
参考文献である。
正解

scikit-learn アルゴリズム早見表③Ave-word2vec 次元数：300

クラス分類④doc2vec

次元数：300

教師あり

回帰

目的変数：
カテゴリー型

教師あり
目的変数：
実数型

応用例：
文書分類

応用例：
査読確率、
ノイズ確率、類似率等の予測
教師なし

CyberPatentの概念検索結果の集合G2+G3+G11+G12の合計1064件（正解公報38件）を母集団

図 17

文書ベクトル①～④の次元圧縮による俯瞰表示

教師なし

文書ベクトル⑤、Fターム①②の次元圧縮による俯瞰表示
クラスタリング・PCA・t-SNE

集合：CP1064 文書数：1064 正解：38 ノイズ:1026⑤Ave-fastText 次元数：300

データソース：テキスト次元圧縮

http://scikit-learn.org/stable/tutorial/machine_learning_map/index.html

図 16scikit-learn のアルゴリズム早見表① XGB：XGBoost（eXtreme Gradient Boosting）①BoW②TF・IDF

データソース：Fターム

は、勾配ブースティング木を使ったアルゴリズムをオー
プンソースで実装するソフトウェアである。Boosted
trees は Gradient Boosting と Random Forest のアルゴリズムを組み合わせたアンサンブル学習を行
う

。

15）

図 18 文 書ベクトル⑤、F ターム①②の次元圧縮による俯瞰
表示

報が得られる。F タームは公報に付与される場合は各 F
CyberPatent の 概 念 検 索 結 果 の 集 合 G2＋G3＋

ターム種類ごとに１個である。また F タームは多観点

G11＋G12 の合計 1064 件（正解公報 38 件）を母で付与され観点と階層による分類体系が決まっている。

集団とする集合：CP1064 の５種類の文書ベクトルをF タームが公報に付与されているか否かの２値ではな

t-SNE で２次元に次元圧縮した結果を図 17、図 18 にく、F タームの付与のされやすさや重み付けを考慮した

示 す。t-SNE（t-distributed Stochastic Neighbor

研究 17） がある。本稿の F ターム文書ベクトル① BoW

Embedding：t 分布型確率的近傍埋め込み）は、高次

は F タームの有無の２値である。② TF・IDF は F ター

元データの可視化に適している次元圧縮アルゴリズムでムが付与されている場合 TF=1 であり、IDF 項は定義ある。濃い紺色が正解公報で黄色がノイズである。どの通りに計算される。

ベクトル化方法の文書の俯瞰マップも紺色の正解公報は５種の文書ベクトル×文書分類①～④の結果

ある程度まとまっているが２～３件の孤立した公報が存在する。図 18 の破線の下の① BoW、② TF・IDF の文書ベクトルはデータソースの素性を F タームとしたものである。
F タームによる文書ベクトルの次元圧縮・可視化を図

②SGD

①XGB

データソース：テキスト

①
②
③
④
⑤

④SVC

③GNB

18 下に示す。F タームによる文書ベクトルとは各特許公報に付与されている F タームを使用して特許公報文
書をベクトル化したものである。単語による文書ベクトルとの違いは単語は通常公報文書に複数回現れ頻度情230

縦軸文書ベクトル①～⑤

図 19

５種文書ベクトル×文書分類①～④の結果

分散表現（単語埋め込み）とは５種の文書ベクトル×文書分類⑤～⑧の結果

固定長、数百次元、密ベクトル(Word Embedding)
分散表現（あるいは単語埋め込み）とは、単語を高次元の実数ベクトルで表現する技術
近い意味の単語を近いベクトルに対応させるのが分散表現の基本
ベクトルの足し算が意味の足し算に対応する「加法構成性」などを中心に、
例：王様－男＋女＝女王 King - Man + Woman = Queen
理論や応用の研究が進んでいる。

データソース：テキスト⑤SVCrbf

⑥RFg

①
②
③

（岩波 データサイエンス vol.2 [特集] 統計的自然言語処理 ー ことばを扱う機械）④

・局所表現（local representation）
各単語（固有ID）に１つの次元→ 単語数（種類数）の高次元ベクトル（one hotベクトル）⑤

スパース（疎）ベクトル
数万次元

・分散表現（distributed representation）
各概念（単語）は複数のニューロンで表現される
各ニューロンは複数の概念の表現に関与する⑧MLP⑦AdaBoostword2vecのニューラルネットワーク

縦軸文書ベクトル①～⑤

図 20

５種文書ベクトル×文書分類⑤～⑧の結果

25

図 22

ベクトル①～⑤（縦軸）の文書分類方法①～⑧の８分割
交差検証結果を示す。

混同行列（ Confusion Matrix） ：クラス分類の結果をまとめた表のこと
AI（機械）の出力結果の予測されたクラス
評価は「人」の役割

Positive

Negative

（査読）

（ノイズ）

Positive

True Positive

False Negative

（査読）

真陽性

偽陰性

False Positive

True Negative

偽陽性

真陰性

Negative（ノイズ）

精度（適合率）の問題
再現率の問題
ノイズが多く非効率、漏れ防止の観点から重要
エンドユーザーから喜ばれない
正解
不正解
評価指標
正解率(Accuracy)=(TP+TN)/(TP+FP+FN+TN) 全予測正答率
適合率(Precision)=TP/(TP+FP) 正予測の正答率
再現率(Recall)=TP/(TP+FN) 正に対する正答率
F値(F-measure)=(2×Precision×Recall)/(Precision+Recall)適合率と再現率の調和平均

図 21

分布仮説に基づいた文脈中の単語の重み学習（word2vec）
分布仮説
・類似する文脈でよく使われる表現は似た意味を持つ・単語の意味はその周辺単語の分布により知ることができる

混同行列による文書分類結果の性能評価方法

実際の
クラス

3

分散表現の概要

混同行列による文書分類結果の性能評価方法

学習例
熱可塑性樹脂フィルム基材層、酸化ケイ素蒸着層、ポリビニルアルコール系樹脂・・・
１

２

３

４

５

６ ７

８ ９

ウィンドウ幅：５を示す。

分散表現を利用した言語モデルの

10 活用

分散表現の概要を word2vec を例にして図 22 に示す。
分布仮説に基づいた文脈中の単語の重み学習（word2vec）を図 23 に示す。

11

８

12

13 ４

単語ID

①注目単語の前後の周辺単語を学習/予測する Skip-gram
CBoW②周辺単語から注目単語を学習/予測する：ニューロン、エッジは間引き表示

単語ID

1

1

2
3

2
3
4 樹脂
・
・
・

樹脂 4
・
・
・

隠れ層の数がベクトルの次元に相当する（数百次元の固定長ベクトル）

図 23

26

文脈中の単語の重み学習（word2vec）

word2vecによる「粘土」の類似語抽出
分散表現ベクトル

図 21 に混同行列による文書分類結果の性能評価方法

10

熱/可塑/性/樹脂/フィルム/基/材/層/酸化/ケイ素/蒸着/層/ポリビニルアルコール/系/樹脂

黄色セルは形態素解析による分かち書きに失敗しているが類似語として上位に存在している

主な粘土鉱物(Wikipedia)
カオリナイト（高陵石）
スメクタイトモンモリロン石（モンモリロナイト）
絹雲母（セリサイト）
イライト
海緑石（グローコナイト）
緑泥石（クロライト）
滑石（タルク）沸石（ゼオライト）https://ja.wikipedia.org/wiki/粘土鉱物

YEARBOOK2017

One hotベクトル

word2vec「粘土」の類似語
形態素
専門用語抽出順位 類似語類似度 順位 頻度 専門用語
0.774 555 26 スメクタイト
1 スメクタイト4 サポナイト
0.646 2101
4 サポナイト
5 ヘクト
0.637 2099
2 ヘクトライト
7 スチーブン
0.630 2100
2 スチーブンサイト
8 ナイト
0.615 1448
4 カオリナイト
9 マイカ
0.614 1449
4 マイカ
11 モンモリロナイト 0.599 359 53 モンモリロナイト
12 カオリ
0.597 1635
3 カオリナイト
14 タルク
0.587 1446
4 タルク
16 ゼオライト
0.561 1175
7 ゼオライト
17 セリ
0.554 2184
4 セリサイト

順位 頻度
1655
7
4655
2
4656
2
4703
2
2669
4
3441
3
246 52
2669
4
2691
4
1652
7
5112
2

専門用語抽出（続き）
専門用語
順位 頻度
水素型スメクタイト
1657
7
合成スメクタイト1979
6
スメクタイト族
3864
2
スメクタイト群粘土鉱物 4002
2
スメクタイト粘土鉱物
4740
2
合成マイカ
7890
1
カオリン
7203
1
※専門用語抽出システムを使用して形態素解析辞書を強化、あるいは「日化辞辞書」の使用が有効

word2vecを使用すると文脈に「粘土」の記載のない文からも具体的な粘土鉱物を学習しており検索クエリの拡張支援ツールとして有用である

図 24

27

Word2vec による「粘土」の類似語抽出

図 24 に Word2vec による「粘土」の類似語抽出結果を形態素、専門用語抽出の結果と比較して示す。一番に失敗しているが類似語として上位に存在している。こ左の列がが Word2vec による「粘土」の類似語の順位

れは分布仮説に基づいた単語の重み学習の性質を良く表である。次の類似語が実際の抽出された類似語である。

している。「完全一致」検索モデルと「最良一致」検索

類似度の降順に抽出されたリストより人手で目視によりモデルの活用の仕方を考える上でのチェックポイントの抜粋している。形態素、専門用語は Excel のシート上一つである。

で Word2vec による類似語を基にサーチ機能で順位を図 25 に word2vec による粘土の類似ワードの主成

確認している。黄色セルは形態素解析による分かち書き

分分析（PCA）により次元圧縮して２次元可視化した

YEAR BOOK 2O2O 231

特許情報の高度な情報処理技術

図 19、図 20 にデータソースをテキストとした文書

表６

word2vecによる粘土の類似100ワードの２次元可視化
次元圧縮：PCA:主成分分析

自然言語処理の代表的なモデルの提案論文

No. モデル名

提案論文①

Word2Vec

Eﬃcient Estimation of Word Representations in Vector Space②

Doc2Vec

https://arxiv.org/abs/1301.3781
Distributed Representations of Sentences and Documents
https://arxiv.org/abs/1405.4053
Neural Machine Translation by Jointly Learning to Align and③

Attention

④

GloVe

⑤

fastText

Translate
https://arxiv.org/abs/1409.0473
GloVe: Global Vectors for Word Representation
https://nlp.stanford.edu/projects/glove/
Enriching Word Vectors with Subword Information
https://arxiv.org/abs/1607.04606
SCDV : Sparse Composite Document Vectors using soft

図 25

word2vec による粘土の類似ワードの２次元可視化

⑥

SCDV

clustering over distributional representations⑦

Transformer Attention Is All You Need

⑧

ELMo

https://arxiv.org/abs/1612.06778
https://arxiv.org/abs/1706.03762
Deep contextualized word representations
https://arxiv.org/abs/1802.05365

結果を示す。
⑨

GPT

Improving Language Understanding by Generative Pre-Training
https://s3-us-west-2.amazonaws.com/openai-assets/researchcovers/language-

11 最近の言語モデルの将来展望

unsupervised/language_understanding_paper.pdf
BERT: Pre-training of Deep Bidirectional Transformers for
⑩

表５

BERT

https://arxiv.org/abs/1810.04805

自然言語処理の代表的なモデル・アルゴリズム

No.

モデル名

モデル・アルゴリズム等①

Word2Vec

CBOW（Continuous Bag-of-Words）モデル

Language Understanding
Multi-Task Deep Neural Networks for Natural Language

提案年
2013

Skip-gramモデル②

Doc2Vec

PV-DM（Distributed Memory version of Paragraph Vector）

2014

③

Attention

特定の部分に注意を向けるよう、学習させていく方法

2014

④

GloVe

Global Vectors for Word Representation

2014

⑤

fastText

Word2Vecの提案者が作成した単語ベクトル獲得モデル

2016

⑥

SCDV

Sparse Composite Document Vectors

2016

⑦

Transformer「Attention is all you need」で提案されたモデル

2017

⑧

ELMo

Embeddings from Language Models

2018

⑨

GPT

Generative Pre-Training

2018

⑩

BERT

Bidirectional Encoder Representations from Transformers

2018

⑪

MT-DNN

Multi-Task Deep Neural Networks

2019

⑫

GPT-2

GPTの後継

2019

⑬

ERNIE

BERTを中国語に特化させたモデル

2019

⑭

XLNet

BERTの事前学習方法を改良したモデル

2019

⑮

RoBERTa

Robustly optimized BERT approach

2019

⑯

ALBERTBERTを改良して軽量化したモデル

2019

⑰

T5

Text-To-Text Transfer Transformer

2019

⑱

Reformer

Reformer: The Eﬃcient Transformer

2020

⑲

GPT-3

GPT2の後継

2020

⑳

LaBSE

Language-agnostic BERT Sentence Embedding

2020

⑪

MT-DNN⑫

GPT-2

https://arxiv.org/abs/1901.11504
Language Models are Unsupervised Multitask Learners
https://openai.com/blog/better-language-models/

PV-DBOW（Distributed Bag of Words version of Paragraph Vector）

表５に Word2vec 以降の自然言語処理の代表的なモUnderstanding

ERNIE: Enhanced Representation through Knowledge
⑬

ERNIE

Integration
https://arxiv.org/abs/1904.09223
XLNet: Generalized Autoregressive Pretraining for Language

⑭

XLNet

⑮

RoBERTa

Understanding
https://arxiv.org/abs/1906.08237
RoBERTa: A Robustly Optimized BERT Pretraining Approachhttps://arxiv.org/abs/1907.11692
ALBERT: A Lite BERT for Self-supervised Learning of Language⑯

ALBERT

Representations
https://arxiv.org/abs/1909.11942
Exploring the Limits of Transfer Learning with a Uniﬁed Text-to-

⑰

T5

⑱

Reformer

⑲

GPT-3

⑳

LaBSE

Text Transformer
https://arxiv.org/abs/1910.10683
Reformer: The Eﬃcient Transformer
https://arxiv.org/abs/2001.04451
Language Models are Few-Shot Learners
https://arxiv.org/abs/2005.14165
Language-agnostic BERT Sentence Embedding
https://arxiv.org/abs/2007.01852

デル・アルゴリズムを示す。BERT 以降の動向に注目している 18）-20）。
表６に自然言語処理の代表的なモデル・アルゴリズムの提案論文を示す。

調査へ応用すると効率的な特許調査に有用である。各学
習モデルのパラメータチューニングはほとんど行っておらずデフォルト値を使用している。パラメータチューニ

12 まとめング、教師データの分類体系の設計、特許分類を入力し本稿では「完全一致」と「最良一致」検索モデルの比せ等で改善の余地は大きいと考える。今後の検討が楽し較を示し、文書の BoW、TF・IDF ベクトル、分散表現

232

た BoW モデルと分散表現ベクトルのモデルの組み合わみである。

ベクトル、F タームベクトルを作成し更に教師データ有

最 近 の 言 語 モ デ ル・ ア ル ゴ リ ズ ム の 進 歩 は 速 く

りの機械学習の入力データとして文書分類を検討した。

様 々 な 応 用 が な さ れ て い る。Amplified は 内 部 で過去の独自分類結果の蓄積がある SDI 調査や技術動向

Transformer を利用していると聞いている。ただしどの商用の AI 利用特許調査・分析ツールも魔法の箱では関する視点の提案」

ない。人間知能 HI（Human Intelligence）と AI の役

https://doi.org/10.18919/jkg.70.7_355

割分担と使い分けが必須である。本稿がその一助となれ
ば幸いである。

10） 難波英嗣，「テキスト間の類似度の測定」

https://doi.org/10.18919/jkg.70.7_373
11） 特許検索競技大会

13 終わりに
本報告は 2020 年度の「アジア特許情報研究会」のワーキングの一環として報告するものである。
研究会のメンバーの皆様には様々な協力をしていただ

https://japio.or.jp/service/service04_05.html
12） scikit-learn
http://scikit-learn.org/stable/
13） gensim
https://radimrehurek.com/gensim/ accessed
2019.03.25
14） 秋庭伸也ら，「見て試してわかる機械学習アルゴ

参考文献

リズムの仕組み 機械学習図鑑」，翔泳社，20191） 野崎篤志，「特許情報をめぐる最新のトレンド」

年

http://www.japio.or.jp/00yearbook/files/
2018book/18_a_08.pdf2） 人工知能学会監修，「人工知能とは」. 近代科学社
3） 奥村学監修，「特許情報処理：言語処理的アプローチ，
コロナ社，p23
4） 安藤

俊幸，「機械学習を用いた効率的な特許調査

15） XGBoost の主な特徴と理論の概要
https://qiita.com/yh0sh/items/
1df89b12a8dcd15bd5aa16） 安藤俊幸，桐山勉，「分散表現学習を利用した効率的な特許調査」
https://www.jstage.jst.go.jp/article/infopro/

方法

2019/0/2019_31/_article/-char/ja

ニューラルネットワークの特許調査への適用に関す

発表資料

る基礎検討」

https://sapi.kaisei1992.com/wp-content/

http://www.japio.or.jp/00yearbook/uploads/2019/07/INFOPRO2019_A31.pdf

files/2017book/17_3_04.pdf
5） 安藤

俊幸，「機械学習を用いた効率的な特許調査

17） 目黒光司ら，「F ターム概念ベクトルを用いた特許検索システムの改良」

方法

http://www.lr.pi.titech.ac.jp/~meguro/NLP_

ディープラーニングの特許調査への適用に関する基

2015_meguro.pdf

礎検討」

18） ついに読解力も人超え 「BERT 革命」の衝撃

http://www.japio.or.jp/00yearbook/files/

https://xtech.nikkei.com/atcl/nxt/mag/nc/

2018book/18_3_05.pdf

18/120400145/120400002/

6） 三上

崇志ら，
「特許検索タスクにおける AI システ

19） 2019 年大学入試センター試験英語筆記科目におム導入の障壁―心理的障壁と組織的障壁―」

いて AI が 185 点を獲得！

https://www.ipsj.or.jp/dp/contents/

https://www.nii.ac.jp/news/release/2019/

publication/43/S1103-S05.html

1118.html

7） 平尾

啓，「知財 AI 活用研究会の研究事例紹介」

https://doi.org/10.18919/jkg.70.7_349
8） 坂元

徹「AI 技術を利用したグローバル特許調査・分析ツール「Xlpat」の活用と可能性」

20） 革命かパンドラの箱か、新 AI ツール GPT-3 の波紋
https://www.itmedia.co.jp/business/articles/
2007/29/news025.html

https://doi.org/10.18919/jkg.68.7_343
9） 酒井

美里「
「AI 系調査ツールとの付き合い方」に

YEAR BOOK 2O2O 233

3

特許情報の高度な情報処理技術

きました。ここに改めて感謝申し上げます。

過去問