最適学習モデル構築技術を搭載したAI特許
自動分類ツール（PatentNoiseFilter）
AI patent automatic classification tool equipped with optimal learning model construction technology“PatentNoiseFilter”.
IRD 国際特許事務所

谷川

所長・弁理士／株式会社アイ・アール・ディー英和

1986 年神戸大学工学部システム工学科卒業。同年、松下電器産業（株）［現パナソニック］に入社し、中央研究所等において、データベース管理システム等の研究開発に従事。1997 年同社知的財産権部門に異動。1999 年弁理士試験合格。
2002 年 1 月、IRD 国際特許事務所を開設。所長、弁理士。2003 ～ 2007 年 3 月京都大学 COE 研究員、2007 年
4 月～京都大学非常勤講師、2011 年 4 月～大阪大学非常勤講師（現招聘教授）2019 年 4 月～関西学院大学非常勤講師、博士（情報学）。弁理士会、日本知財学会、情報処理学会各会員。2007 年度から特許版産業日本語委員会委員。

中央大学理工学部ビジネスデータサイエンス学科教授

難波英嗣

2001 年北陸先端科学技術大学院大学情報科学研究科博士後期課程修了。博士（情報科学）。東京工業大学精密工学研究所助手、広島市立大学大学院情報科学研究科准教授等を経て、2019 年より中央大学理工学部教授。自然言語処理、テキストマイニングの研究に従事。

1

はじめにAI 技術のうちの中心的な技術である機械学習を用いて、特許を自動的に分類するツールが、多数、開発されている。
一般的な特許自動分類ツールは、特許のリストのユーザによる分類結果である教師データを AI に学習させ、図2予測モジュールの概念図学習モデル（学習器等と言っても良い）を構築する学習モジュール（図 1 参照）と、学習モデルを用いて特許データの分類予測を出力する予測モジュール（図 2 参

しかし、一般的な特許自動分類ツールには、以下の 4つの課題がある。

照）とを有する。

（1）自動分類の精度が分からない
教師データの数が不足しているため、分類に与える特許データが不適切であるため、アルゴリズムが分類対象の特許データとミスマッチであるため等の原因により、精度の高い学習モデルが構築できていない場合も多い。
図1

学習モジュールの概念図

一方、ユーザは、特許自動分類ツールの学習処理により構築された学習モデルの精度が分からずに、学習モデルを使用せざるを得ない場合が多く、特許自動分類ツールの使用が促進されていない原因となっている。

280

（2）特許分類の局面により重視する指標が異用が限定的になっている、と考える。

なる
特許分類が必要な局面として、研究プロジェクトの発足時の大規模特許調査、製品開発の開始時の大規模特許調査、特許出願前の先行特許調査、SDI 特許調査、他社特許権を無効にするための先行特許調査等の種々の局面がある。
そして、特許分類の局面により、「再現率」を上げた

2

最適学習モデル構築技術の概要

ユーザが安心して、精度の高い特許自動分類を行うために、最適学習モデル構築技術を開発した。
最適学習モデル構築技術の特徴は、以下の（1）から（3）の 3 点である。

い場合、「適合率」を上げたい場合、「F 値」を上げたい場合、「正解率」を上げたい場合等、上げたい指標が異なる。なお、再現率とは「検索された正しい特許数／本（1）ユーザ指定の指標の評価値を最大にする学習モデル
第一は、再現率、適合率、F 値、正解率の 4 つの指率である、と言える。また、適合率とは「検索された正標のうち、ユーザが指定した指標の値を測定し、その値しい特許数／検索された特許数」であり、誤検出しないが最大となる学習モデルが自動構築できる点である。

確率である、と言える。また、F 値は「（再現率＋適合率）／ 2」である。

（2）複数の各モジュールと複数パターンの異なる各特許データとの多数の組を用いた（3）分類対象の特許データにより使用すべき学習モデルの評価アルゴリズムやモジュールが異なる

第二は、複数の各アルゴリズムに対応する複数の各モ特許分類に利用可能な機械学習には、深層学習、ラジュールに、種々の組み合わせの特許データを与え、モンダムフォレスト、決定木、サポートベクターマシン

ジュールと特許データとの組を、多数、構成し、組ごと（SVM）等の複数のアルゴリズムがあり、各アルゴリズに、ユーザから指定された指標における学習モデルの精ムにおいて、いくつかのモジュールが開発されている。

度を測定する点である 1）。その結果、ユーザから指定さ一方、既存の特許自動分類ツールの多くは、固定の一れた指標の値が最大となるモジュールと特許データとをつのモジュールを用いており、精度の高い学習モデルが用いた学習モデルが自動構築できる。

構成される場合もあるが、精度が上がらない学習モデルが構成される場合もある、と考えられる。

（3）複数の各モジュールと複数パターンの異なる各特許データとの組ごとの論理演算（4）分 類対象の特許により使用すべき特許データが異なる

結果の評価
第三は、使用する特許データのパターンごとに、複数一つの特許データには、特許請求の範囲、明細書、要のモジュールの予測結果の論理演算（AND、OR、多数決）

約書、特許分類コード（例えば、IPC、FI、F ターム）等の結果についても、ユーザから指定された指標におけが含まれる。これらの特許データのうち、どれを使用する学習モデルの精度を測定する点である。その結果、複れば、精度の高い特許自動分類が可能な学習モデルが構数のモジュールの予測結果の論理演算の結果も含めて、築できるかをユーザが判断することは極めて困難である。

ユーザから指定された指標の値が最大となるモジュール

一方、既存の特許自動分類ツールにおいて、ユーザがと特許データとを用いた学習モデルが自動構築できる。

与えた特許データのうち特許自動分類ツールが予定している特許データを固定的に使用する、またはユーザが与えた特許データをすべて使用して学習モデルを構築することが一般的である。
以上の 4 つの課題により、特許自動分類ツールの利（4）最適学習モデル構築技術の成果物
最適学習モデル構築技術において、以上の第一から第三の点を実行し、ユーザから指定された指標の値が最大となるモジュールと特許データとの組または論理演算をYEAR BOOK 2O22 281

3特許情報の高度な情報処理技術

来検索されるべき全ての特許数」であり、見逃さない確決定し、当該情報（学習モデル仕様情報と言う）と対に、ド」または「おまかせ」が選択できる。なお、「おまかせ」最適学習モデルを蓄積する。

を選択した場合、「要約書＋分類コード」「要約書＋特許なお、学習モデル仕様情報とは、ユーザが重視する指請求の範囲＋分類コード」を採用する。また、ユーザは、標の値を最大にする学習モデルの仕様であり、予測処理「要約書＋分類コード」「要約書＋特許請求の範囲＋分類に使用するモジュールおよび特許データを特定する情報コード」「要約書＋解決手段効果表現文＋分類コード」「要である。

約書＋特許請求の範囲＋解決手段効果表現文＋分類コー

予測処理において、学習モデルと対に格納されているド」のすべてを選択しても良い。

学習モデル仕様情報を用いて、使用する特許データと使

なお、解決手段効果表現文とは、明細書から抽出した用するモジュールが決定され、決定した特許データとモ文であり、解決手段と効果の両方が現れた文である 3）4）。

ジュールと学習モデルとを用いて、特許を分類する。

解決手段効果表現文は、例えば、「○○手段により、～できる。」といった文であり、特許分類にとって重要で

3

PatentNoiseFilter®
（PNF）の概要

PNF は、他の特許自動分類ツールと同様、学習処理、および予測処理を行う。

あると考えられる文である。ただし、明細書から解決手段効果表現文を抽出する処理は多大な処理コストがかかるため、「おまかせ」を選択した場合は、解決手段効果表現文の抽出処理を行わないこととした。
次に、手順 6 で、ユーザは、「再現率」「適合率」「F 値」（1）学習処理
最適学習モデル構築技術を搭載した PNF の学習処理の概要について説明する。
PNF は、BERT（Bidirectional Encoder
Representations from Transformers）2） を含む 3「精度（正解率）」から、ユーザが重視する一つの評価指標を選択する。
手順 4 から手順 6 における操作の完了後、ユーザが「学習」ボタンを指示した場合、学習処理が行われ、最適学習モデルが構成される。

種類のディープラーニング系のモジュールとランダムフォレストのモジュールとの合計 4 つの機械学習の学習モジュールと予測モジュールとを備えている。なお、
BERT について、コアモジュールの制約から二値分類にしか対応していない。一方、他の 3 つのモジュールは、多値分類にも対応している。
PNF において、ユーザは、学習モデルの構築のために、手順 1 から手順 3 で、教師データをアップロードし、学習モデルのファイル名を入力する。なお、教師データ
は、人手により特許データを分類した CSV ファイルである。
そして、図 3 に示すように、手順 4 で、ユーザは、4 つのうちのいずれかのモジュールまたは「自動選択」のうちのいずれかを選択する。

図3

PNF の学習処理の操作画面

そして、手順 4 で「自動選択」が選択された場合、ユーザは、手順 5 で学習処理および予測処理に使用する情報を選択する。なお、使用する情報として、ユーザは、「要約書＋分類コード」「要約書＋特許請求の範囲＋分類コード」「要約書＋解決手段効果表現文＋分類コード」「要約書＋特許請求の範囲＋解決手段効果表現文＋分類コー282（2）予測処理
予測処理の手順 1 において、ユーザは、学習モデルの一覧から使用する学習モデルを選択する（図 4）。

また、図 6 において、ユーザが選択した指標である「F値」について、「要約書＋分類コード」を用いた場合の「4 つのアルゴリズムの多数決」が最良の結果「0.809」であり、「要約書＋特許請求の範囲＋分類コード」を用いた場合の「4 つのアルゴリズムの AND」が最悪の結果「0.661」であったことを示す。
また、図 6 において、正解率（精度）は、「0.83」
図4

PNF の予測処理の操作画面（1）～「0.71」までの幅があり、適合率は「0.903」～「0.647」までの幅あり、再現率は「0.977」～「0.523」

図 5 に示すように、手順 2 において、ユーザは、予までの幅があったことを示す。

測対象のファイルを選択する。予測対象のファイルとは、

3

PNF により自動分類する対象の特許データが含まれる

特許情報の高度な情報処理技術特許リストの CSV ファイルである。
また、手順 3 において、ユーザは、予測処理を行った結果を蓄積するファイル名を指定する。
手順 1 から手順 3 の入力の後、ユーザは、「予測」ボタンを指示することにより、予測処理が行われ、特許が自動分類された結果の CSV ファイルが出力される。

図6

PNF の学習処理の第一の処理結果の一部

また、図 7 は、PNF の学習処理の処理結果の第二の出力例である。図 6 は、A,B,C の 3 つのうちのいずれ
図5

PNF の予測処理の操作画面（２）かに分類された特許データのリストである教師データを用いて学習処理を行った場合の出力例である。多値分類

4 ＰＮＦの処理結果（1）学習処理の処理結果
図 6 は、PNF の学習処理の処理結果の第一の出力例である。図 6 は、二値（「1」または「-1」）のうちのいずれかに分類された特許データのリストである教師データを用いて学習処理を行った場合の出力例である。の場合、PNF では、BERT を除く 3 つのアルゴリズムと種々の情報（要約書、特許請求の範囲、分類コード、重要情報等）と統計処理の有無との多数の組み合わせを構成し、各組み合わせごとに各指標の値を算出し、提示できる。
図 7 においても、使用するモジュール、使用する特許データにより正解率（精度）および F 値が異なる。

PNF では、4 つのアルゴリズムと種々の情報（要約書、つまり、図 6、図 7 に示す通り、使用するモジュール、特許請求の範囲、分類コード、重要情報等）と統計処理使用する特許データにより各指標の精度にかなりのばらの有無との多数の組み合わせを構成し、各組み合わせごつきがある。このことは、使用するモジュールや使用すとに各指標の値を算出し、提示できる。

る特許データ等の多数の組み合わせを用いて学習モデル

YEAR BOOK 2O22 283

を構築してみて、評価した結果、最も精度の高いものを最適学習モデルとして自動選択する最適学習モデル構築技術が極めて有用であることを示している、と言える。

図7

PNF の学習処理の第二の処理結果の一部
図8

PNF の予測処理の処理結果の一部（2）予測処理の処理結果
PNF において、学習処理で構築された二値分類の学習モデルを用いて、ユーザが分類したい特許リストを与え、予測処理を行った結果の一部を図 8 に示す。
予測処理の結果は、分類対象の特許データ（ここでは、まとめ最適学習モデル構築技術、および当該技術を採用する特許自動分類ツール（PNF）について紹介した。

出願番号）ごとの分類結果（Class）とスコア（Score）

いわゆる AI（ここでは、機械学習）を用いた特許自とを有する。分類結果は、「1」または「-1」を採り得る。

動分類の精度は 100％になることは考えにくく、かつスコアは「0.5」から「1」を採り得る。

その精度は、評価してみないと分からないという性質、

図 8 において、スコアが「0.5」等の低い特許に対しては、PNF の分類は信用ができないので、ユーザが確認する必要がある。しかし、スコアが「0.9」以上等の284

5

課題が AI にはある、と言える。
その AI の課題を受け入れ、改善するための有力な技術が最適学習モデル構築技術である、と考える。

高い特許は、PNF の分類結果を信用しても良い、と考現在、BERT を含む 4 つの機械学習のモジュールをえる。使用した学習モデルの精度が「0.812」とある採用するが、各モジュールの精度を高めるための工夫、程度高いからである。なお、学習モデルの精度が低い場

さらに精度の高いモジュールの開発を行い、最適学習モ合、人手で確認する必要がある分類対象の特許のスコアデル構築技術を用いた、特許自動分類の精度を高めて行の閾値を下げるべきでる。

きたい。

参考文献
1）Kohavi, Ron（1995）.“A study of crossvalidation and bootstrap for accuracy
estimation and model selection”.
Proceedings of the Fourteenth International
Joint Conference on Artificial Intelligence2（12）: 1137–1143.（Morgan Kaufmann,San Mateo）
2）Jacob Devlin, Ming-Wei Chang, Kenton Lee,
Kristina Toutanova（2018）．“BERT: Pretraining of Deep Bidirectional Transformers

3for Language Understanding”

特許情報の高度な情報処理技術

3）坂地泰紀他：Cross-Bootstrapping: 特許文書からの課題・効果表現対の自動抽出手法 , 電子情報通信学会論文誌 D, Vol. J93-D, No. 6, pp.742–755（2010）
4）邊土名朝飛他：特許構造を考慮したグラフベース教
師なし重要技術語抽出，人工知能学会

全国大会（2020）YEAR BOOK 2O22 285