特許文献のランキングへの機械学習技術の適用
Application of machine learning technology to ranking of patent documents

特許庁

審査第一部調整課

後藤昌夫

2001 年特許庁入庁。特許審査・審判に従事のほか、調整課で特許審査に関するシステムの企画・開発等に携わり、日本貿易振興機構ドバイ事務所駐在を経て、2020 年４月より現職。

特許庁

審査第一部調整課

目黒光司

2007 年特許庁入庁。特許審査に従事のほか、調整課審査企画室、情報技術統括室を経て、2019 年７月より現職。

特許庁

審査第一部調整課

菅家裕輔

2008 年特許庁入庁。特許審査に従事のほか、情報技術統括室で庁内インフラ整備に携わり、人事院行政官短期在外研究員（カナダ知的財産庁）を経て、2019 年７月より現職。

184

はじめには、「特許文献のランキング及び要約生成への機械学習技術の適用」について調査事業を実施した。本稿では、特許庁では、平成 28 年度から、人工知能（AI）技術

平成 31 年度に実施した調査事業における、特許文献のの活用に向けた検討を行い、同年に行った調査研究（「人ランキングへの機械学習技術の適用について紹介する。

工知能技術を活用した特許行政事務の高度化・効率化実特許庁における特許審査業務は、審査対象の発明の証的研究事業」）の結果を踏まえ、平成 29 年４月に、「特技術的特徴を有する先行技術文献を調査する過程を含む許庁における人工知能技術の活用」についてのアクショが、特許審査業務において先行技術調査の占める時間的ンプランを公表した。そして、平成 30 年 11 月及び令な割合は非常に大きい。調査対象となる文献が年々増加

和２年７月に当該アクションプランを改定した。

する中、先行技術調査の長期化が課題となっており、よこのアクションプランに沿って、特許審査に関連して、り効率的な先行技術調査が望まれている。当該課題に対

平成 29 年度には、「F ターム等付与支援システム」及して、検索結果として得られた複数の文献を、審査対象び「先行技術調査支援システム（検索式の用語の拡張、発明に類似する文献順に並び替えて提示できると、よりヒット箇所のハイライト表示）」について、平成 30 年

効率的な先行技術調査につながると考えられる。

度には、「画像検索技術の特許図面への適用」について、一方、昨今の機械学習技術の進展により、検索結果のそれぞれ調査事業を実施した。そして、平成 31 年度にランキング学習が論文等で報告されている。このような機械学習技術の活用により、従来の統計的手法やルールなるすべての文献ペアを作成する。次に、学習データかベース等の非機械学習手法に比べ、より高精度な検索結ら抽出した素性ベクトルに対し、「マージン最大化」と果ランキング及び要約生成の実現が期待される。

いう考え方に基づいて分類の境界を学習し、文献ペアのそこで、平成 31 年度の調査事業においては、機械学どちらを上位にランキングすべきかを識別する。
RankSVM を特許文献集合のランキングに適用するいて検証し、特許審査業務への導入可能性を検証するこ際には、検索結果文献集合を構成する各文献について、ととした。

本願、検索式、検索結果文献のデータを解析・照合する

なお、本稿は、平成 31 年度に実施した調査事業の結ことによって、ランキングの手掛かりとなる素性データ

果を踏まえ、著者らの知見に基づいて記載したものであを抽出し、素性データを要素とする素性ベクトルを生成り、特許庁としての意見・見解を表明するものではない。

し、検索結果文献集合における重要度の異なるすべての1

特許情報施策および事業習技術を用いた特許文献のランキング表示の実用性につ文献ペアの素性ベクトルを抽出し、SVM による学習を

2

特許文献のランキングに用いる機械学習モデルと素性本調査では、ランキングに適用する機械学習モデルとし行う。

（2）Light GBMて、RankSVM（Ranking Support Vector Machine）、LightGBM は、ランク学習のデファクトスタンダー及び、LightGBM（Light Gradient Boosting Machine）

ドのアルゴリズム LambdaMART に高速化の仕組みをの２種類を用いた。また、精度比較のベースラインとして、追加する形で Microsoft 社が開発したモデルである。

標準的な順位付けの手法である BM25 を用いた。

LambdaMART は、 ア ン サ ン ブ ル 学 習 の 一 種 で
あ る 勾 配 ブ ー ス テ ィ ン グ 木（MART）（ 図 ２（a））（1）Rank SVMと、ランキング の 全 体 最 適 化を可能にする目的関数

RankSVM は高速・高精度であり、また、ランキン（LambdaRank）（図２（b））から構成される。MART

グに有用な情報（素性）を特定可能であることを特長とにおいて複数の弱学習器を学習する際に、ランキング上しており、ランキングというタスクとの親和性が高い位の文献を含む文献ペアをより重視した（損失に対してモデルである。図１に示すように、RankSVM はまず、より高い重み付けをした）場合のランキング結果が最適

ランキング学習データから正解文献としての重要度が異になるように学習する。

図１

RankSVM の概要

図２

LightGBM の概要

YEAR BOOK 2O2O

85

「ある素性の値が閾値より大きいか否か」というよう本検証で使用するテーマごとの学習データ、validationな判定を決定木の上位から順に繰り返して、ある文献のデータおよび評価データの数を、表３に示す。これらのすべての素性データから予測スコアを出力する。学習時

データは、本願、検索式、検索結果文献集合の三つ組かには、出力した予測スコアによるランキングが最良となら構成されるものであり、１件の本願が複数の検索式・るように、弱学習器（決定木）を学習する。

検索結果文献集合を持つことがあるため、本願の件数はデータ数よりも少ない。

（3）機械学習で使用する素性
本調査におけるランキングでは、本願データ（テキス

表３

学習データと評価データの件数

ト、書誌情報）、先行技術調査で作成した検索式、及び、テーマ

学習データ

validation データ※

評価データ

2H033

11,180 件

1,628 件

1,445 件

その検索結果文献集合の三つを入力とした。これらの入4C160

8,524 件

1,204 件1,679 件

力データから、表１に示す４種類の観点で、ランキング

4K029

6,104 件

851 件

645 件

5C164

12,936 件

1,689 件897 件

精度の向上に有用と考えられる 24 種類の素性を抽出して、機械学習に使用した。
表１

ランキングで使用する素性を選定する際の観点

観点 No.

観点

観点の意義

観点 1

本願の属性に ・本願の属性（テキスト内容、分類、類似している 出願人等）に類似する文献は、先文献であるか 行技術として重要である

観点 2

検索式との整 ・検索式は、本願の発明内容を圧合性が高い文 縮したものであり、検索式との整献であるか合性が高い文献は、先行技術として重要である・検索式にヒットしたが本願との関連性の低い文献を下位にランキングすることにより、ノイズ文献を除外できる

観点 3

検索結果文献 ・検索結果文献の単語数、請求項数、自体の特性ファミリー文献数、特許登録の有無など検索結果文献自体の特性を判別できる

観点 4

その他（引用・ ・検索結果文献が過去の拒絶理由印刷回数等） 通知書の中で引用実績がある文献であるかを判別できる・検索結果文献が過去の先行技術調査においてしばしば印刷・精読される文献であるかを判別できる

3（※）validation データは、学習データの一部であり、パラメータ調整等を行う際に精度評価用として使用されるデータである。

特許文献のランキングに係る精度検証

本検証で使用する評価データには、表４の４種類があり、各評価データ数は表５のとおりである。
表４

本検証で使用する 4 種類の評価データ

データ名

定義

評価
（条件 1）正解文献 =X 文献のみ
データ 1 （条件 2）検索結果文献集合 >=100 件（条件 3）起案日 =2010/4 ～ 2014/8
評価（条件 1）正解文献 =X 文献のみ
データ 2 （条件 2）検索結果文献集合 >=100 件（条件 3’）起案日 =2010/4 以降
評価（条件 1）正解文献 =X 文献のみ
データ 3 （条件 2’）検索結果文献集合 >=30 件（条件 3）起案日 =2010/4 ～ 2014/8
評価（条件 1’）正解文献 =X 文献または Y 文献
データ 4 （条件 2）検索結果文献集合 >=100 件（条件 3’）起案日 = 制限なし
表５
テーマ

各評価データの件数

評価データ 1 評価データ 2 評価データ 3 評価データ 42H033

58 件

134 件

168 件

1,085 件

4C160

99 件

142 件

168 件

1,270 件

4K029

19 件

45 件

56 件

525 件

5C164

39 件

47 件

81 件

730 件

（1）精度検証の対象技術分野と使用するデータ
本検証では、より幅広い技術分野における精度を検証

なお、学習データおよび validation データは、上記するために、表２のとおり、特許庁の各審査部からそれの評価データのいずれにも含まれないものであり、正解ぞれ１つずつ技術分野（テーマ）を選定した。

文献 =X 文献または Y 文献としている。

表２86

本検証で対象とする技術分野（テーマ）の一覧

審査部

テーマ

テーマ名称

1部

2H033 電子写真における定着

2部

4C160 手術用機器

3部

4K029 物理蒸着

4部

5C164 双方向ＴＶ、動画像配信等（2）精度検証における評価指標
本検証における精度評価指標として、平均精度（MAP）および再現率を用いた。それぞれの概要は、表６のとおりである。

表６が高くなった。LightGBM と RankSVM は、ベースラ

本検証で採用する精度評価指標

評価指標

概要

インで使用している文献テキストの類似度だけでなく、長所・短所再現率

ランキング結果の上位 N 件 ・ 最 も 一 般 的 な 指 標
または上位 M% において、 の一つ正解文献が含まれる割合を ・N 及び M の値の設表す定について検討必要様々なデータを素性として活用して機械学習を適用することにより、ランキング精度が大きく向上している。

1

LightGBM の 方 が RankSVM よ り も 平 均 精 度

特許情報施策および事業正解文献の出力順位におけ ・ ラ ン キ ン グ の 精 度
る適合率（当該順位以上の を相対的に比較する
平均精度 順位の文献集合における正 際に有用（MAP） 解文献の割合）の平均を評 ・ ラ ン キ ン グ の 精 度
価データごとに算出し、全 を絶対的に示す指標評価データで平均した値ではない（MAP）が高くなった原因の一つとしては、例えば素性「本願と検索結果文献のテキスト類似度」においては、「類似度が大きいほど正解文献のランキングが上位になる」という線形の傾向にあるが、素性「出願日の差」におい（3）精度検証の結果と考察ては、一定の値（2 ～ 4 年）においてピークが見られ①るという非線形の傾向にある。RankSVM では、カー

モデル別の精度精度を検証した結果、表７および表８に示すとおり、ネル関数として線形カーネルを採用しているため、「出どのテーマにおいても、概ね LightGBM、RankSVM、願日の差」のような非線形の傾向にある素性を学習結果ベースラインの順で、平均精度（MAP）および再現率に適切に反映できていない可能性が高い。

表７

モデル別の平均精度（MAP）の比較
平均精度（MAP）

テーマ

モデル
ベースライン0.1805

0.12280.22430.1138

2H033

RankSVM

0.2571

0.23750.25740.2255LightGBM

0.32940.27250.3516

0.2632

4C160

4K029

5C164

評価
データ 1

評価
データ 2

評価
データ 3

評価
データ 4

ベースライン

0.12850.17280.17940.1371

RankSVM

0.19130.20970.24730.1953

LightGBM

0.23100.27120.32560.2519ベースライン

0.19890.13350.2512

0.1132

RankSVM

0.18430.10830.37630.2245LightGBM

0.27010.18130.43740.2556

ベースライン

0.12620.1785

0.19870.1198

RankSVM

0.19690.19820.26440.2120LightGBM

0.23650.24300.3540

0.2707表８モデル別の再現率（上位 20%）の比較
再現率（上位 20%）

テーマ

2H033

4C160

4K029

5C164

モデル

評価
データ 1

評価
データ 2

評価
データ 3

評価
データ 4

ベースライン

75.86%

64.93%

58.33%

49.48%

RankSVM

77.59%

76.12%

66.07%

68.76%

LightGBM

91.38%

84.33%

77.38%

77.08%

ベースライン

55.56%

57.97%

57.74%

51.35%

RankSVM

71.72%

73.19%

70.83%

65.81%

LightGBM

80.81%

80.43%

82.74%

72.78%

ベースライン

57.89%

53.33%

62.50%

50.30%

RankSVM

73.68%

60.00%

83.93%

65.75%

LightGBM

84.21%

57.78%

85.71%

70.87%

ベースライン

56.41%

57.45%

50.62%

47.20%

RankSVM

66.67%

63.83%

70.37%

71.41%

LightGBM

61.54%

63.83%

71.60%

77.26%YEAR BOOK 2O2O

87

②

ランキングの順位が向上／悪化した正解文献数の割③

合一定の再現率を実現するために読むべき文数
ここでは、ランキング結果の再現率を固定値（90％）

ベ ー ス ラ イ ン に よ る 正 解 文 献 の 順 位 に 対 し て、とし、この再現率を実現するために必要な上位文献数（絶RankSVM 及び LightGBM による順位が向上／悪化し対値・相対値）を算出し、モデルごとに比較する。読む

た正解文献数の割合を、テーマごと及び評価データごと

べき文献数及び読むべき文献割合 % は、一定の再現率に比較した。

（90％）を実現するために読むことが必要となる文献数

図３に、評価データ４についての比較結果を示す。向の絶対値と相対値を表しており、当該値が少ないほど、上した正解文献数の割合は悪化の割合を概ね大きく上スクリーニングの効率が向上する。評価データ４につい回っている。また、RankSVM よりも LightGBM の方ての比較結果を表９に示す。

が、向上した正解文献数の割合が高くなっている。

表９ 現率（90%）を実現するために読むべき文献数（評価再データ４）
テーマ

2H033

4C160

4K029

5C164

読むべき文献数

読むべき文献割合 %ベースライン

17271%

RankSVM

10449%

モデル

LightGBM

9239%

ベースライン

16270%

RankSVM

12153%

LightGBM

10842%

ベースライン

10563%

RankSVM

8453%

LightGBM

7542%

ベースライン

12071%

RankSVM

7647%

LightGBM

6839%

この比較結果を見ると、RankSVM 及び LightGBM
ベースラインの順位に対して順位が向上／悪化した正解
文献数の割合（2H033, 4K029）

ではベースラインに比べて読むべき文献数が概ね 50%～ 80% 程度に減少している。特に、LightGBM の方が、減少度合が大きい。

④

特許文献のランキングに有用な素性
機械学習した結果に基づいて、特許文献のランキングに有用な素性を分析した。具体的には、RankSVM では、予測時に特定の素性をシャッフルすることによる精度低下の度合から、素性の重要度を分析した。また、LightGBM では、決定木において使用頻度の高い素性が重要であるとして分析を行った。
分 析 し た と こ ろ、 ラ ン キ ン グ に 有 用 な 素 性 は、
RankSVM と LightGBM の 間 で 傾 向 が 異 な っ た。
RankSVM で有用とみなされた素性の 83% は、上記
表１の観点１「本願の属性に類似している特許文献」にベースラインの順位に対して順位が向上／悪化した正解
文献数の割合（4C160,5C164）
図３88

係る素性であった。
これに対して、LightGBM で有用とみなされた素性

には比較的広い観点の素性が含まれていた。具体的には、

Multiple Additive Regression Trees. In Guy

下記の素性が有用であると分析された。

Lebanon and S. V. N. Vishwanathan, editors,
Proceedings of the Eighteenth International:

BM25 による、本願との間の類似度

Conference on Artificial Intelligence and

素性 2

:

本願と検索結果文献のテキスト類似度 1

Statistics, volume 38, pages 489–497, San（本願テキストと検索結果文献テキストの類似度（単語ベクトル））
素性 3:Diego, California, USA, May. PMLR.
［4］Guolin Ke, Qi Meng, Thomas Finley, Taifeng

本願と検索結果文献のテキスト類似度 2

Wang, Wei Chen, Weidong Ma, Qiwei Ye,（本願テキストと検索結果文献テキストの類似度（単語and Tie-Yan Liu. 2017. LightGBM: A Highly分散表現ベクトル））

Efficient Gradient Boosting Decision Tree.

素性 6

In I. Guyon, U. V. Luxburg, S. Bengio, H.

:

付与分類の類似度 1（本願及び検索結果文

献に付与された特許分類ベクトルの類似度）

Wallach, R. Fergus, S. Vishwanathan, and

素性 8

:

出願日の差

R. Garnett, editors, Advances in Neural

素性 10

:

検索キーワードのヒット数 1（検索結果文Information Processing Systems 30, pages

献のテキストにおける検索キーワードのヒット数）
素性 17:

1

特許情報施策および事業

素性 13146–3154. Curran Associates, Inc.

関連出願の数（検索結果文献のファミリー

文献数、公開公報等の優先権主張国数）
素性 20

:

本願における検索結果文献の提示の有無

素性 23:

本願に類似する文献の引用文献

4

おわりに本 検 証 に よ り、 機 械 学 習 モ デ ル の LightGBM、RankSVM を適用することで、ベースラインの標準的な BM25 に比べてランキング精度が大きく向上した。
特に LightGBM では、「ランキングの順位が向上した正解文献の割合」、「再現率 90% を実現するために読むべき文献数」等の精度が大きく向上しており、特許審査業務に導入することで、スクリーニング作業効率の向上等の効果が期待される。

参考文献：［1］特許文献のランキング及び要約生成への機械学習技術の適用に関する実証的研究事業 調査報告書、2020 年 3 月［2］目黒光司、笹野遼平、榊原隆文、菊池悠太、高村大也、奥村学：F ターム概念ベクトルを用いた特許検索システムの改良、言語処理学会第 21 回年次大会
発表論文集、pp.768-771、2015.
［3］Rashmi Korlakai Vinayak and Ran GiladBachrach. 2015. DART: Dropouts meet

YEAR BOOK 2O2O89