特許分類の自動推定に向けた取り組み―特許分類の階層構造を利用した自動推定―
Efforts toward automated classification of patent documents
一般財団法人工業所有権協力センター

研究所総括研究員

小林英司

平成 25 年７月より現職
PROFILE1

はじめに一 般 財 団 法 人 工 業 所 有 権 協 力 セ ン タ ー（IPCC：
Industrial Property Cooperation Center、以下「財2

機械学習による特許分類の自動推定手法

まず一連の研究の基礎となる、特許分類の自動推定手法について紹介する。

団」という。）の研究所では、財団の主たる事業である

本研究では、機械学習技術を自動分類推定に取り入れ特許文献の検索事業、分類付与事業の効率化及び高精度ている。特許文献に付与されている分類情報を正解デー化をめざし、独自データ資産を整備するとともに、それタとして機械が自動学習し分類付与ルールを作成、そしらの一層の活用手法を検討している。て、その分類付与ルールに基づいて、新たな特許文献に特許文献の検索には IPC、FI、Ｆターム等の分類を用対して機械が分類を付与（推定）するというものである。

いるが、分類は技術の発展に追随するために時宜を捉え

ここで、正解データのうち、所定の分類が付与されてて改正を行うことが必須であり、分類改正を行った場合いるものを「正例」、逆に、所定の分類が付与されていには、過去の文献に新たな分類を付与（再解析）する必ないものを「負例」と呼ぶ。

要がある。そして、再解析すべき対象案件が年々増え続けている中、再解析にはより一層の期間及びコストが必要となってきており、新たな分類体系を用いて検索できるのは、何年も先という現状がある。
そのような状況を踏まえ、財団では、分類付与業務の効率化及び高精度化を目的とした、機械学習による自動分類推定に関する調査研究を継続的に行っており、
Japio YEAR BOOK 2013 では、公開公報のテキス
トデータを用いた機械学習による自動分類推定に関する調査研究について紹介した。
本稿では、これまでの自動分類推定に係る調査研究の結果や課題等を踏まえて実施した、特許分類の階層構造を利用した自動分類推定の概要について報告する。
図1200

機械学習による自動分類推定システム

5

自動推定結果の評価手法

特許分類（FI・F ターム）の構造

日本国特許庁では、国際特許分類（IPC）をベースた分類と、（人手で付与した）正解分類とを突き合わせに細展開した「FI（File Index）」と、技術分野（テーて評価した。

マ ） 別 に 様 々 な 観 点 で 細 分 類 し た「F タ ー ム（Fileち、正解分類に存在していた割合。割合が高いと、・Recall（再現率）…正解分類に存在したもののうち、付与すると推定できた分類の割合。割合が高いと、これらの特許分類は、独立行政法人工業所有権情報・のパテントマップガイダンス（PMGS）で参照することができる。
図２及び図３からも分かるように、FI 及び F タームは、漏れが少ないと評価できる。
・F 値（Precision と Recall の調和平均）…下記式
で示される、Precision と Recall との総合評価値。

4Forming Term）」を特許分類として採用している。

研修館（INPIT）が提供している特許電子図書館（IPDL）

ノイズが少ないと評価できる。

F 値＝データによる分析と評価システムによる分類推定の結果は、システムが推定し・Precision（精度）…付与すると推定したもののう

寄稿集３3

ドット「・」で示される上位・下位の階層情報を持った分類構造となっている。

2×Precision×Recall
Precision＋Recall

自動分類推定システムの課題

これまで、所定の分類を付与した根拠箇所（段落）や、公報に記載されている明細書全体を学習データとして用いた機械学習による自動分類推定を実施し、一定の成果が得られている。
表 1 機械学習による推定結果（F ターム）
Ｆ値

図2

Ｆタームテーマ

公報テキスト
データ

付与根拠データ

テーマＡ（光学系）

0.537

0.562

テーマＢ（機械系）

0.520

0.541

テーマＣ（化学系）

0.620

0.397

テーマＤ（電気系）

0.3990.365

FI の参照例（PMGS より）

しかしながら、表１のとおり、テーマによって精度のばらつきがあり、機械が推定した分類を正解分類とみなすレベルには至っておらず、Japio YEAR BOOK
2013 で紹介した「TF・IDF 法」を採用することで推定精度を向上させた場合でも、F 値が 0.5 前後の技術分野があり、とりわけ F 値が低い技術分野におけるさらなる精度向上が、課題となっている。

図3

F タームの参照例（PMGS より）

YEAR BOOK 2O14201

6実施し、下位 F タームが無くなるまで、又は、機階層構造を利用した自動分類推定

械が下位に位置する F ターム全てに対して付与しないと判断するまで繰り返す

個々のタームの推定精度は低い場合であっても、そのタームの上位階層のタームの推定精度が高いことが経験④

最終的に付与すると推定したＦタームを、機械推定の結果とする則上判明していたため、まず上位階層のタームについて機械推定し、付与すべきと推定した場合はさらにその下位階層において機械推定する方式、すなわち、分類の階層構造を考慮した自動分類推定を試みた。

（1）学習
これまでの研究では、あるタームが付与されている明細書（全文テキスト）を正例とし、当該タームが付与されていない明細書を負例として、機械に対する学習を実施していたが、階層構造を考慮するため、あるターム及びそのタームの下位階層に位置するタームが付与されている明細書を正例とし、当該 F タームと兄弟関係にあ

図5

分類階層構造を利用した機械推定の考え方

る F タームが付与されている文献を負例とした。

7

結果付与ルール（分類付与にあたっての取り決め）が特殊でない２テーマを選定し、従来の自動分類推定と、分類階層構造を利用した分類自動推定を実施した。推定結果の正解／不正解は、推定したＦタームが正解Ｆタームと一致するか否かで判断するが、後者には「○○配下」と図4

分類階層構造における正例・負例の考え方（2）推定
推定フェーズにおいても階層構造の考え方を取り入れ、以下の流れで分類推定を実施した。
①いう推定結果となる場合があるため、その場合は、○○配下に正解Ｆタームが存在するか否かで推定結果の正解／不正解を判断した。
個々のＦタームの推定結果と、○○配下と推定した結果を表２、３に示す。なお、○○配下と推定する場合はRecall を評価することができないため、Precision を

この際、ドット０以下には何らかのＦタームが存在求めるとともに、○○配下によって、どれほど F ターすることから、例えば、AA00 及びその下位タームを絞り込めているかを絞込率として算出した（値が小ム（AA00 配下）に付与するかどうか推定するさいほど絞り込めていると評価できる）。

②

ドット０の F タームに対して分類推定を実施。

推定されたドット０の F タームの下位であるドッ

表 2 個々の F タームの推定結果の比較

ト１の F タームについて分類推定を実施。ドット０と同様、下位タームがある場合は○○配下に付与

Ｆ値
Ｆタームテーマ

学習・推定
フェーズに分類
階層構造を利用

分類階層構造を考慮しない（従来）

テーマＥ（機械系）

0.592

0.587

テーマＦ（化学系）

0.531

0.531

するかどうか推定し、下位タームが無い場合は、そのターム自体を付与するかどうか推定する③202

以降同様に、ドット１、２…について分類推定を

寄稿集３

表 3 ○○配下と推定した結果
Ｆタームテーマ

ターム数

Precision

絞込率テーマＥ（機械系）

400

0.475

6.4％

テーマＦ（化学系）

257

0.478

4.5％

データによる分析と評価

絞込率＝○○配下内の F タームの個数
テーマ内の F タームの個数

正例数が少ないため、F 値自体低いが、分類階層構造を利用すると、いずれのテーマも F 値が若干向上していることが分かる。
従来の自動分類推定手法は、分類階層構造を利用したものと学習方法及び推定方法が異なるため、同条件での比較とならないが、この結果から、正例・負例の選択において分類階層構造を取り入れることが有効に機能していると評価できる。
○○配下と推定した結果から、いずれのテーマも絞込率は低い一方で、Precision の値から、ノイズも一定程度存在することが分かる。すなわち、本研究の分類エンジンは、下位層のタームまで推定し、その結果、ノイズが増える傾向にあると言える。

8おわりに

従来は、個々の F タームを機械に推定させる研究を進めてきたが、今回は○○配下という一定範囲まで機械に分類を推定させ、その後、配下にある個々の F タームを人手で判断するという機械と人との協働を想定した自動分類推定を試みた。
７．で示したとおり、個々の F タームに対する推定は従来レベルを担保しているが、○○配下とする推定においては、よく絞り込めているものの（＝人手による分類付与作業負担が少ない）ノイズは少ないとは言えず、実務への活用には課題が残っている。
実用化には、分類エンジンが提示した推定範囲をどのように扱うか検討するとともに、それによる Precisionの値を意識した分類エンジンの閾値の調整等が必要になると考えられる。

YEAR BOOK 2O14203