Few-shot 学習を用いた特許分類
Patent Classification Using Few-shot Learning
中央大学理工学部ビジネスデータサイエンス学科教授

難波英嗣

2001 年北陸先端科学技術大学院大学情報科学研究科博士後期課程修了。博士（情報科学）。東京工業大学精密工学研究所助手。広島市立大学大学院情報科学研究科准教授等を経て、2019 年より中央大学理工学部教授。自然言語処理、テキストマイニングの研究に従事。
nanba@kc.chuo-u.ac.jp

1

はじめに

03-3817-1883

ベルとして使い、「自分たちが求めている特定分野の特許」か「それ以外か」に分類する少量のデータで学習が本研究では、少量の教師データで学習が可能な Few-可能な特許の分類器を作成する。本研究により、大量のshot 学習を用い、特定領域の特許を効率的に収集するデータを必要とせず、少量のデータで特許の分類器を学ための分類器を構築する。一般に特許検索では、まず、習することが可能となり、データの作成コストの問題が検索キーワードと国際特許分類や F タームなどの分類解消される。また、特許調査において、必要となる特許コードを組み合わせて複雑な検索式を構築し、この検索を効率的に調査することも可能となる。

式を用いて目的の特許を検索する。次に、得られた検索結果を一件ずつ人手で確認し、目的の特許を収集する。
ここで、企業が長期間にわたって製品を開発する場合、この一連の検索作業は開発期間中に繰り返し実施する必

194

2

関連研究

2.1 Few-shot 学習

要があるが、最終ステップである検索結果の確認を毎回

Few-shot 学習とは、転移学習 [1] の一種で、少量の人手で行うのには非常にコストがかかるため、この確認学習データでも学習することができる学習手法である。

作業の自動化が求められている。

転移学習とは、ある領域において豊富にある学習データ検索結果の中から必要な特許を見つけ出す作業は、文で学習した知識を、別の領域の学習に転移させる学習手書分類の一種と考えられる。近年では、文書分類を行う法である。Few-shot 学習は、事前学習時と Few-shot際に深層学習が使われるのが一般的であるが、これには時に異なるクラスのデータを使用する問題設定で、事前大量の訓練データが必要となり、データの作成コストな学習時に得たパラメータを初期値として、Few-shot 時どが理由でデータを用意できないことが少なくない。こに少量のデータを使って事前学習時にはなかったクラス

れらの問題に対して本研究では、少量の教師データでもの Few-shot 用のデータの予測を行う。Few-shot 学学習をすることができる Few-shot 学習を使い、特許

習は主に、画像分類などのコンピュータービジョンの分分類器を構築する。

野で使用されてきた。Snell ら [2] は、Few-shot 学習

Few-shot 学習では、事前学習時と fine-tuning 時ににおいて、図 2 のように各クラスのプロトタイプ表現分かれており、大量の訓練データで事前学習をしていれと、クエリとの距離を計算することで、画像などを分類ば、fine-tuning 時とのタスクやデータのドメインが近することができる距離学習を提案している。また Few-い場合、fine-tuning 時に少量の訓練データで学習をす

shot 学習には、メタ学習と呼ばれる学習方法を学習することができる。そこで本研究では、特許のテキストとることを目的としている手法があり、目的のタスクに関F タームと呼ばれる特許に割り当てられる分類体系をラ連するデータから学習方法を学習し、目的のタスクの性能を向上させることを目指している。しかし Chen[3]ただ、事前学習時のデータには特許が含まれているのか

らによる、Few-shot 学習を使った分類タスクの評価が分からないという問題と、GPT-3 の事前学習のデー方法の問題を指摘した比較実験によると、メタ学習 [4]タを変えて特許に特化したモデルにすることができないよりも、最適化された Fine-tuning ベースの Baselineという問題がある。本研究はテキスト情報を扱うが、特による Few-shot 学習が最も精度等が高いと発表して許という専門性に富んだテキストを事前学習し、それをいる。そのため、本研究では、上記で紹介した Fine-分類することを目的としている。

tuning を基にした Few-shot 学習をベースとして利用する。

2.2 文書分類F タームを使った特許分類3

Few-shot 学習を用いた特許分類(1) 検索式を用いて特許検索を行い、(2) 検索結果に文書分類を適用することで目的の特許を収集する、という一連の検索作業の中で、手順 (2) で用いる文書分類器

一般的な SVM をベースに F タームを使った特許分類を構築することが本研究の目的であり、おおよそ 100を提案している。入力データに、特許文書の全ての内容〜 200 件程度の訓練事例が利用できるという状況を想と、F タームの説明文を使用している。それらの文書か定している。この目的を達成するためのデータセットとら、名詞、独立動詞、独立形容詞、未知のいずれかの単Few-shot 学習による分類器の構築について本設で述べ語を特徴語として選択し、それらを tf-idf で特徴ベクトる。

ルを計算、正規化を行い、SVM に入力を行なっている。

Few-shot 学習は、解きたい問題と類似する問題を事

富永ら [6] は、ニューラルアテンションモデルをベース

前学習時に大量に学習させておき、学習済みモデルに解に、付与根拠箇所を利用した特許分類を提案している。

きたい問題のデータを使って Fine-tuning させることこのモデルは、付与根拠箇所推定と F ターム分類の 2で、Few-shot 学習を実現する。今回は、事前学習時のつのモデルが合わさっており、前者では人手による付与似たような問題として「F ターム」を使い、モデルの有根拠箇所データを教師データとして付与根拠箇所を推効性を検証する。

定している。後者は、推定した付与根拠箇所を使い、FF タームとは、日本の特許文献に記載された発明の技タームの分類を行う。本研究と先行研究の異なる点は、術的特徴による分類体系、また分類記号である。特許中

Few-shot 学習を使うかどうかであり、本研究は少量のの技術観点、「目的、用途、構造、材料等」を付した F ターデータで特許分類を行える点である。

ムリストに照らして特許ごとに付与している。F ターム

Few-shot 学習を用いた文書分類の構造は、「テーマ」という技術分野と、その技術分野Few-shot 学習ではドメインに関する問題が発生することが多い。その理由は事前学習時と Few-shot 学習を「観点」と呼ばれる発明の目的や利用分野、材料などで細分化した、9 桁の英数字で表される。

時においてデータの領域が異なったり、クラス同士の関本研究で扱うデータセットは、事前学習用と Few-連性が弱かったりすること原因で、あるタスクでは有益shot 用の 2 つがある。それぞれのデータセットの特許な語彙的特徴が、別のタスクでは重要ではない場合があには重複がなく、また Few-shot 用のデータセットのるからである。Yu ら [7] による研究では、タスク同士特許に付与されている F ターム ( 正例となる F ターム )の関連度を数値化し、関連度の高いタスク動詞をそれぞを含む特許を事前学習用のデータセットから排除していれクラスタに割り当て、各クラスタで学習を行うことでる。また、F タームを使ったデータセットの中で、主に「ラモデルの性能を向上させている。また Brown ら [8] がンダムカテゴリ」と「近接カテゴリ」の 2 種類を Few-開発した GPT-3 による Few-shot 学習を用いた文書分shot 用のデータセットとして扱う。ランダムカテゴリ類もある。GPT-3 は事前学習をした自然言語処理のモとは、正解ラベルにある 1 つのテーマや F タームを決め、デルの 1 つであり、膨大な量のテキストで事前学習し、負例をランダムなテーマや F タームにすることである。

1750 億個のパラーメータを持った言語モデルである。

例えば、ある 1 つの F タームを正解ラベルとし、このYEAR BOOK 2O23 1954特許情報の高度な情報処理技術

SVM を用いた特許分類が行われており、Li ら [5] はF タームが付与されている特許 100 件を正例として抽出して、正解ラベルとしている 1 つの F ターム以外のF タームが付与されている特許から、負例として 100件を抽出する。近接カテゴリとは、図 1 の F タームの「FA01」と「FA08」のように、階層が同じで隣り合うカテゴリのことである。正解ラベルをある 1 つのテーマや F タームにし、不正解ラベルを隣接するテーマや Fタームにする。

表1

事前学習用と Few-shot 用のデータの内訳

年度

特許総数

テーマ数

F ターム数2004 〜 2014
( 事前学習用 )479,952 349

2,664

2018(Few-shot141,093 264用)

2,209

また、Few-shot 用のデータの中から、正解ラベルに対して 100 件の特許、不正解ラベルに対して 100 件の特許を抽出した 200 件のデータ群を 1 つのトピック群としたデータセットを、以下のような 5 つの種類を作成している。
①〜②ランダムカテゴリのデータセット : 正解、不正解ラベルを F ターム、テーマにした、データセット。
③〜⑤近接カテゴリのデータセット : 正解、不正解

図1

隣接する F タームの例

ラベルを階層が同じの近接 F ターム、7 桁 F ターム、
テ ー マ に し た デ ー タ セ ッ ト。2 つ 目 は、 カ テ ゴ リ ー

この 2 種類のデータを扱い、複数の異なる条件のごとの特許を使ったデータセットである。このデータ

データセットを作成する理由としては、実際に解く問題セットに使用するデータは、商用の特許分類サービスが、問題ごとに分類の粒度が異なるためである。そのた

PatentNoiseFilter(http://corp.ird-pat.com/pdf/

め、F タームを使った場合、どの条件でどのくらいのパPamphlet_PNF.pdf) で、機械学習による分類器の構フォーマンスが出るのかを調べる。

築の際に実際に使われたデータである。以下の 5 種類

データセットに使う特許は、日本の特許データである。のデータセットを作成した。

本研究では、特許に記載されている「要約文」と特許に⑥ PatentNoiseFilter デ ー タ セ ッ ト :Patent-付与されている「F ターム」を利用する。そのため、要NoiseFilter データセットとは、発明通信社が提供する約文がない特許に関しては、データセットに含めていな

特許分類システム PatentNoiseFilter (https://www.

い。

hatsumei.co.jp/patentnoisefilter/) において、実際の業務で使用された小規模な特許分類用のデータセット

4

実験である。以下の 3 種類のトピックが存在する。
・使い捨てマスク：正解ラベルとして使い捨てマスク

4.1 実験条件

に関する特許を 150 件、負例にそれ以外の特許を■実験データ

150 件使用した 1 つのトピックに関するデータセッ

実 験 デ ー タ は 大 き く 分 け て 2 つ あ る。1 つ 目 は、トを使用する。

2004 年から 2014 年の特許を事前学習用に、2018

・釣具：リール、ルアー、釣竿、釣具その他に関する特年 の 特 許 を Few-shot 用 に 使 用 し た。 事 前 学 習 用 の許を集め、「①正例をリール、負例をそれ以外」、「②データと Few-shot 用のデータには重複がなく、テー正例をリールとルアー、負例をそれ以外」、「③正例をマと F タームの重複もない。モデルに入力する文書はリールとルアーと釣竿、負例をそれ以外」とした 3特許の要約分を利用している。事前学習は、学習データ種類のデータを、正例 100 件、負例 100 件をデー

287,971 件、検証データ 191,981 件、テストデー

タセットとして作成した。

タ 36,679 件に分けて学習を行なった。

・口につけるマスク：正例に口に付けるマスクに関する特許を 5 件、負例にそれ以外の特許を 5 件抽出し、196

学習・評価・テスト (3:1:1) に分け、10 通り (5C3)のデータセットを作成。
■実験手法
本研究では Few-shot モデルの他に、比較手法として、BERT と SVM（Support Vector Machine）、ランダムフォレスト ( 以降 RF) を分類器として使用する。
BERT は Transformer による双方向のエンコード表現

表3手法

精度

再現率

F1 値

Few-shot

0.932

0.924

0.932

BERT

0.851

0.824

0.851

SVM

0.898

0.899

0.898

RF0.894

0.881

0.894

を持つ大規模コーパスを事前学習データとした事前学習済みモデルで、文書分類などのタスクで高い精度を出しているモデルである。Few-shot モデルは、BERTを特許データで事前学習させたモデルである。また、するデータであるサポートベクターと、直線の距離が最大となる直線を決定し、分類タスクなどを行うアルゴリ

表4

近接 F タームのデータセットの分類結果

手法

精度

再現率

F1 値

Few-shot

0.693

0.680

0.686

BERT

0.601

0.592

0.596

SVM

0.668

0.688

0.678

RF0.672

0.663

0.667

ズムである。RF は、木構造を用いて分類などを行う機

表54特許情報の高度な情報処理技術

SVM は機械学習モデルの一種で、データを直線に分割ランダムテーマのデータセットの分類結果

近接 7 桁 F タームのデータセットの分類結果

械学習の手法である決定木を複数使うアンサンブル学習のアルゴリズムである。本研究では、SVM と RF で用いる文書は、tf-idf を用いて特徴量抽出を行っている。
評価は精度、再現率、F1 値により行う。各ラベルの閾値は 0.5 とする。

手法

精度

再現率

F1 値

Few-shot

0.745

0.737

0.741

BERT

0.665

0.643

0.654

SVM

0.790

0.724

0.756

RF0.763

0.726

0.744

4.2 実験結果

表6

実験結果を表 2 〜表 7 に示す。ランダム F ターム
およびランダムテーマについては、Few-shot が再現率、精度、F1 値において最も高い結果となった。一方、近接データを使った実験では、近接 7 桁 F ターム
および近接 F タームにおいて 1 部、SVM を下回った。
PatentNoiseFilter データセットでは、Few-shot が

手法

精度

再現率

F1 値

Few-shot

0.908

0.905

0.906

BERT

0.781

0.749

0.765

SVM

0.908

0.900

0.904

RF0.847

0.838

0.842

再現率、精度、F1 値において最も高い結果となった。

表2

ランダム F タームのデータセットの分類結果

手法

精度

再現率

F1 値

Few-shot

0.944

0.940

0.942

BERT

0.888

0.860

0.874

SVM

0.914

0.925

0.919

RF0.913

0.910

0.911

近接テーマのデータセットの分類結果

表7

PatentNoiseFilter データセットの分類結果

手法

精度

再現率

F1 値

Few-shot

0.787

0.792

0.783

BERT

0.655

0.715

0.672SVM

0.758

0.680

0.660

RF0.756

0.710

0.716

5

考察

実験結果全体について
表 2,3 のランダムカテゴリのデータセットの場合と
表 4,5,6 の近接カテゴリのデータセットの場合の両方

YEAR BOOK 2O23197

で言えることは、Few-shot の方が BERT より全てのの配合が〇〇以上か未満か」などように分類の粒度が細評価指標が高い結果となっている。これは特許データのかくなり、単語の語順が重要となる。そのため、分類難

事前学習によって特許に関する専門用語のベクトルを上易度が高くなる場合、BERT のように単語の語順を考手く獲得し、特許を分類する際に重要な役割を果たし慮する必要があることが言える。ていると考えられる。一方で事前学習がされていない

カテゴリごとの特許を使ったデータセット

BERT は、特許に関する専門用語のベクトルが上手くSVM は、近接 F ターム、近接 7 桁 F ターム、近獲得できておらず、Few-shot と比べて分類精度等が落接テーマでそれぞれ優れた分類性能が確認された。一方ちていると考えられる。

で、PatentNoiseFilter データセットを使った結果にランダムカテゴリのデータセットについておいて、トピックによって、極端に再現率が低下するこ

表 2,3 より、Few-shot の方が SVM と RF よりも全とが分かった。ユーザの立場からすると、安定性が重要。ての評価指標が高い結果となっている。これは、Few-平均値が高くても、検索課題によって極端に悪くなる場

shot の特許データの事前学習による特許単語のベクト合があると、システムを使用してもらえなくなる可能性

ル獲得と、BERT 特有の文章の文脈理解が精度向上にがある。そこで以下に示す GMAP という評価尺度を用役立っていると考えられる。一方で SVM や RF の場合、

いて PatentNoiseFilter データセットの実験結果を評

単語ベクトル獲得のために、文脈を考慮しない tf-idf を価した。

使っているため、単語ベクトルが上手く獲得できておらず、分類精度が Few-shot と比べて落ちていると考えられる。
近接カテゴリのデータセットについて

これはシステムの頑健性を測るための尺度で、検索課

表 4,5,6 より、近接テーマ、近接 7 桁の F ターム、題ごとの再現率、精度、F1 値の平均を、算術平均では近接 F タームのデータセットの順で、精度等の数値がなく幾何平均で計算する。検索課題ごとの再現率、精度、小さくなっている。これは特許分類の粒度が細かくなる

F1 値を掛け算するので、ひとつでも極端に低い値が含について、カテゴリの区別が難しくなっていくからであまれていると、GMAP の値が急激に下がる。

る。

表 8 PatentNoiseFilter データセットの実験の GMAP による評価結果

表 6 より、Few-shot と SVM、RF の精度等が大きく変わらないが BERT のみ下がっている現象が起きている。SVM と RF で使用している、特徴量ベクトルを抽出する tf-idf は単語の語順を考慮していない。しかしテーマの分類の場合、例えば特許が機械翻訳かそうでは手法

精度

再現率

F1 値Few-shot

0.768

0.779

0.768

BERT

0.600

0.699

0.636

SVM

0.747

0.597

0.626

RF0.742

0.694

0.705

ないかという問題になるため、単語の語順を考慮せずとも、機械翻訳に関する単語があれば分類できる。その

198

評価結果

ため、SVM や RF でもテーマの場合、単語の語順を考

この結果から、Few-shot は表 7 に示す平均値だけ慮しなくても精度等が高くなる。一方で、BERT の場でなく、頑健性の点でも他の手法より優れていることが合、単語の順序を考慮するが、パラメータ数が多いわりわかる。に精度等の数値が高くない。このことから、特許に関すランダムテーマとランダム F タームのデータセットにる事前学習をしない、そしてテーマによる特許分類の場おける、Few-shot と SVM のラベル予測の誤りについ合、単語の語順を考慮しない方が分類結果の向上が見て込めることが言える。ただ、7 桁の F ターム、9 桁の誤りは大きく 2 つのパターンに分けられる。1 つ目

F タームのように分類難易度が高まるにつれて、BERT

は不正解ラベルに対して正解ラベルを予測する時に多くと SVM、RF の精度等が変わらなくなってくる。これは、ある、「不正解を正解とした特許の内容と正解ラベルの隣り合う F タームを分ける分類基準として、「ある成分F タームの特許の内容が似ているため、Few-shot が不正解ラベルを正解ラベルと予測してしまっている」誤り

参考文献である。2 つ目は、正解ラベルに対して不正解ラベルを[1] Pan, S. J. and Yang, Q.: A Survey on Transfer

予測しているパターンに多くあり、「正解ラベルに関すLearning, IEEE Transactions on Knowledge

る単語などが少なく、正解ラベルなのに不正解ラベル予and Data Engineering, Vol. 22, Issue 10, pp.

測をしている」誤り方である。

1345-1359, 2010.

近接 F タームのデータセットにおいて、Few-shot のラベル予測の誤りについて[2] Snell, J., Swersky, K., and Zemel, R.:
Prototypical Networks for Few-shot Learning,

誤りの共通項として、特許の要約文の中に、属する F

Proceedings of the 31st Conference on

タームを特徴づける単語等が見られないことがあったこ

Neural Information Processing Systems,とである。隣り合う F タームの場合、ある部分的な単

2017.
[3] Chen, W., Liu, Y., Kira Z., Wand, Y. F., Huang,

ど似ている。そのため、属する F タームを特徴でづけ

J.: A Closer Look at Few-shot Classification,る単語等がない場合、正しく分類することが難しくなる。

Proceedings of the 7th International

実際に、正解ラベルを正解、不正解ラベルを不正解と予Conference on Learning Representations,

測している事例を見ると、特許の要約文の中には、属す2019.

る F タームを特徴づける単語等が入っていることが多[4] Finn, C., Abbeel, P., and Levine, S.: Model-

く見られた。このことから特許の要約文だけを使うのでAgnostic Meta-Learning for Fast Adaptation

はなく、請求項やその他の情報を使うことによって、情of Deep Networks, Proceedings of the 34th

報量を増やす必要があると考えられる。そうすることにInternational Conference on Machine Learning,

よって、要約文だけでは分類することが難しい特許でも、

pp. 1126-1135, 2017.

正しく分類できる可能性がある。

[5] Li, X., Chen, H., Zhang, Z., and Li, J.:
Automatic Patent Classification using Citation

6

おわりに

本研究では、約 60 万の特許を使ってデータセットを作成し、作成データセットを基に Few-shot 学習を

Network Information: An Experimental Studyin Nanotechnology, Proceedings of the 7thACM/IEEE- CS Joint Conference on DigitalLibraries, pp 419-427, 2007.

用いた特許分類器を構築した。実験の結果、F ターム[6] 富永 泰規 , 久々宇 篤志 : 特許文献への分類付与にを基にした 5 つのデータセットの内、近接 F タームのおける付与根拠箇所推定 , 情報の科学と技術 , 68 巻・データセットの再現率と近接 7 桁 F タームのデータセッ

7 号 , pp. 338-342, 2018.

トの再現率と F1 値以外は、全て提案手法である Few-

[7] Yu, M., Guo, X., Yi, J., Chang, S., Potdar, S.,

shot 学習を基にした特許分類器が最も良い結果となっCheng, Y., Tesauro, G., Wang, H., and Zhuo

た。また、カテゴリごとのデータセットを使用した実験

B.: Diverse Few-Shot Text Classification with

では、マクロ平均、GMAP においては Few-shot が最Multiple Metrics, Proceedings of the 2018

も良い結果となった。

Conference of the North American Chapter ofthe Association for Computational Linguistics:
Human Language Technologies, pp. 12061215, 2018.
[8] Brown T. et al.: Language Models are FewShot Learners, Proceedings of the 34th
Conference on Neural Information ProcessingSystems, 2020.

YEAR BOOK 2O23 199

4
特許情報の高度な情報処理技術

語などだけが異なることが多く、その他の内容はほとん