特許の文書構成と分類情報を用いた類似特許検索方式の精度評価
NTCIR−6特許検索タスクにおける取り組み紹介
株式会社日立製作所

間瀬システム開発研究所

PROFILE久雄

平成2年（株）日立製作所入社、システム開発研究所に配属。以来、特許や新聞記事、Webページ等を対象とした分類自動付与、文書検索、文章要約、テキストマイニング等の日本語処理の研究に従事。

hisao.mase.qw@hitachi.com

1

4特許検索タスク（2003-2004）では、Japioと共同はじめに［3］で参加して好成績を収めている。

本稿では、直近のNTCIR-6特許検索タスク（2006発明を無効化する過去の類似特許を検索する際には、2007）における筆者の取り組みとして、特許明細書文

発明内容を端的に表すキーワードから構成される論理式章と特許分類を入力として類似特許を検索する方式およ（AND/OR/NOT）を作成し、この論理式を満たす特許びその精度評価について述べるを検索するという方法が一般的である。適切な論理式を容を特徴付けるタームの抽出・重み付けにおいて、特許作成して所望の特許を高精度かつ効率良く検索するための文書構成の特性を利用する方式と、検索時に特許分類には、発明内容およびその技術分野に関する知識だけでを用いて類似度スコアをチューニングする方式を提案し、なく、特許の書き方・読み方に関する知識や、検索そのNTCIR特許検索タスクで用意されたテストセットを用ものに関するノウハウが必要不可欠である。しかし、こいてその有効性を評価する。

［5］。すなわち、発明の内れらの知識をすべて持ち合わせた利用者は少ないため、

以下、2章ではNTCIR特許検索タスクの概要と筆者の論理式を試行錯誤的に作成しながら所望の特許を検索す取り組み方針について述べる。3章では提案する類似特ることとなり、検索作業に多大な時間と労力がかかって許検索方式について詳しく述べる。4章では本方式の精いるのが現状である。

度を評価した結果について述べる。

適切な論理式の作成にかかる時間と労力を極力軽減する検索手法として、キーワード論理式の代わりに、発明内容を記述した文章をそのまま検索条件とする「自然言2

特許検索タスクへの取り組み方針

語文検索方式」が普及してきている。本方式は、文章中に出現する重み付きターム集合で発明内容を表現し、タ2.1 NTCIR特許検索タスクの概要

ーム集合間の類似度を定量化することによって、入力文NTCIR特許検索タスクについて簡単に述べる。本タ章と各特許との間の類似性を判定するというものである。

スクの詳細については、オーガナイザによる報告［2］を

このような技術動向を受け、国立情報学研究所（NII）が主催する情報検索システム評価用テストコレクション［1］

構築プロジェクトNTCIR参照されたい。
本タスクでは、特許明細書（公開特許公報）の代表請

では、この自然言語文検索求項（主に請求項1）文章を入力として、そこに記載さ方式によって発明を無効化する過去の特許を検索する技れた発明内容を無効化する過去の特許（1993-2002

術の精度向上を目指す「特許検索タスク」が行われてい年公開特許公報）を検索し、類似度の高い上位1000件［3］［4］［5］る。筆者もこれまでに3回参加しており

166

Japio 2007 YEAR BOOK、NTCIR-を提出することを課題（必須ラン）としている。提出さ2Partれた結果から検索精度を算出し、参加チーム間で比較す（1）どのタームを検索に用いるか（ターム抽出）る。

（2）どのタームを重要視するか（ターム重み付け）

また、本タスクでは必須ランとは別に、代表請求項文章以外の文章を入力として使用することが、オプション寄稿集検索の高効率化と精度向上（3）文書間の類似度をどのように算出するか（類似度計算）

ランとして認められている。2．2節で述べるように、

本稿で提案する「特許の文書構成を踏まえた検索方式」

本稿で述べる方式は特許明細書全文および明細書に付与は、上記（1）（2）の観点に立ったものであり、「特許された特許分類を入力としているため、このオプション分類を用いた検索方式」は、上記（3）の観点に立ったランに相当する。

ものである。

2.2 タスク取り組み方針

3.1 特許の文書構成を踏まえた検索方式

代表請求項文章は、発明内容を端的に記述しているため、本タスクの必須ランにおいて、請求項文章を類似特（1）ターム抽出方式
特許明細書を入力文章として使用する場合、まず課題となるのが、検索に使用するタームを明細書のどの部分許検索の入力とすることは妥当である。
しかし、類似特許検索システムの利用者が実際に置かからどのような基準で抽出するか、である。

れる状況を踏まえると、代表請求項文章以外の情報も入

一般に、特許明細書の中では、要約や請求項が発明内力として利用できるケースが多い。例えば、出願直前に容を最も端的に記述していると言われている。しかし、出願人が公知例調査を行う場合、請求項文章を含む特許要約は発明者／出願人によってその記述精度には差があ明細書全文を入力情報として利用できる。また、特許庁ると言われている。また、請求項は発明内容を敢えてぼにおいて審査官が特許性を判定する場合、特許明細書全かして抽象的に記述することがある。これらの傾向を踏文に加え、これに付与されている特許分類や出願人などまえると、特許明細書のどの記載箇所に着目すべきかをの書誌情報も利用することができる。

固定することは得策ではない。とは言え、要約や請求項

そこで筆者のチームは、入力として利用可能な様々な情報を最大限に活用することによって、現状の検索技術の中に有用なタームが多く含まれているというのも事実である。

によって類似特許検索精度をどこまで向上できるかを見

そこで筆者は、特許明細書を構成する以下の三つの構極めることを目的として、本タスクに取り組んだ。特に、成要素に着目して発明内容を特徴付けるタームを抽出し、特許明細書全文と特許分類を入力とした検索方式につい検索タームとして使用することとした。て検討することとした。

（a）請求項1の中のターム（請求項1ターム）（b）要約の中のターム（要約ターム）

3（c）明細書全文の中で重みの高い上位N個のターム（全類似特許検索方式の提案

文ターム）
ここでタームは、名詞、動詞、形容詞、未知語のみと本稿では、「特許の文書構成を踏まえた検索方式（3．

している。また、上記（c）で、全文タームの数を限定1節）」および「特許分類を用いた検索方式（3．2節）」

しているのは、明細書全文で使われているタームの異なを提案する。

り数が非常に多いので、ノイズタームによる精度低下を一般に、文書中のタームを用いた類似文書検索において、その精度向上を検討する際に重要となる観点として、以下の三つが挙げられる。

極力抑えるためである。
（2）ターム重み付け方式1：全文の頻度を利用
特許明細書を入力文章として使用する場合に、次に課特許の文書構成と分類情報を用いた類似特許検索方式の精度評価
Japio 2007 YEAR BOOK167

題となるのが、検索に使用するタームの重要度（重み）をどのように割り当てるか、である。
本方式では、重み付きタームからなるベクトルによって文書の特徴を表現するベクトル空間モデル［6］と、タームの出現頻度に基づいてタームの重み付けを行うTFIDF法［6］を採用している。TF-IDF法では、タームが一つの文章中に出現する回数（Term Frequency, TF）と、そのタームが特許データベース中の文書に出現する回数

図1

ターム出現共起による重み補正（ 出 現 文 書 数 ） の 逆 数 （ Inverted Document
Frequency, IDF）の積によって、タームの重みを算出する。

3.2 特許分類を用いた検索方式
出願された特許には、特許分類（国際特許分類IPC、TF-IDF法に基づいてタームの重みを算出する場合、FI、テーマ、Fターム）が付与される。特許分類は技術文章がある程度長くないと、TFの大きさとタームの重体系であるため、互いに類似する特許には共通のあるい要度との間に相関がなくなる。しかし、請求項や要約文は近接する特許分類が付与される。本方式では、この特章を入力とする場合、文章が短くなることがしばしばあ許分類の共通性に着目する。

る。

分類を用いて検索範囲を絞り込む機能は珍しくなく、そこで本方式では、特許明細書のどの部分からターム市販されている文書検索システムの多くで提供されていを抽出するかにかかわらず、タームの重みを算出する際る。すなわち、利用者によって指定された分類または入に使用するTFの値は、特許明細書全文を対象として算力文章に付与された分類と同じ分類が付与された特許の出することにより、重みの信頼性を高めている。

みを検索結果として抽出し、それ以外の特許は検索結果（3）ターム重み付け方式2：ターム共起の利用から除外する機能である。

3.1節（1）で述べたように、本方式では請求項1タ

しかし、入力文章の発明内容を無効化する特許が、入ーム、要約ターム、全文タームの3種類のターム集合を力文章と同じ技術分野であるとは限らない。筆者の調査抽出する。ターム別の出現傾向を見ると、これら三つのによれば、過去に審査官によって引用された延べ特許件どの集合にも含まれるタームもあれば、一つの集合にし数の13%は、対応する出願特許と共通するテーマ分類か含まれないタームもある。

が一つも付与されていない、技術分野の異なる特許であ

そこで本方式では、あるタームがどの記載箇所に出現る。単に特許分類が共通するか否かによって検索結果をしているかという観点に着目して、タームの重みを補正フィルタリングしてしまうと、この13%の類似特許はする。すなわち、3種類のターム集合のより多くに共起検索結果から必ず漏れてしまうことになる。

するタームを重要視する。例えば図1に示すように、タ

そこで本方式では、特許分類の共通性に基づいて検索

ーム「検索」は、請求項1ターム、要約ターム、全文タ結果をフィルタリングするのではなく、類似度スコアをームのどれにも含まれるタームであるので重みの値を据チューニングするというアプローチを採用する。すなわ

え置いているが、ターム「実行」は、請求項1タームにち、入力文章と共通の分類を持つ特許の類似度スコアをしか含まれてないので、その重みを強制的に低減させる。

強制的に高くする。本方式では、特許分類のうち、テー出現する箇所が少ない（図1で○の数が少ない）ターム

マ分類（2600分類、1特許あたり平均約2個付与されほど、重みを低く補正している。ている）を使用した。

168

Japio 2007 YEAR BOOK

2

Part

4

寄稿集

検索の高効率化と精度向上（3）評価尺度提案方式の精度評価

情報検索で使われる代表的な評価尺度である「平均精度［6］」と、再現率を表す評価尺度である「検索結果上位N位までに含まれる正解特許件数の割合」の2種類を採

4.1 実験環境
NTCIR特許検索タスクの実験環境で本方式の精度を＊評価した。検索エンジンとして、GETA を用いている。

用する（Nを20および300とした）。
（4）実験パターン
表1に示す7種類の実験パターンによる検索精度を比（1）評価用特許データ較した。実験Xはベースラインであり、入力文章として以下の2種類のデータセットを用いた。

請求項1のみを使用し、請求項1内での出現頻度をもと

・NTCIR-5データ
課題1189件、正解延べ件数2065件。正解は、審査にタームの重みを算出する。実験Aから実験Dでは、3官が拒絶する際に引用した特許（審査官引例）である。

章で提案した検索方式を一つずつ追加適用する。実験E

・NTCIR-6データ

およびFでは、特許分類の活用方法の有効性を比較する。

課題1685件、正解延べ件数9871件。正解は審査官
表1

引例である。ただし、1課題あたりの審査官引例件数が評価実験パターン多い特許を意図的に集めている。

＃（2）検索対象

1 請求項1タームを使用

1993年から2002年の公開特許公報（約350万件）を検索対象とした。ただし、入力特許の出願日以前に公開された特許に検索範囲を絞っている。

2検索方式

実験パターンXABCDEF○ ○ ○ ○ ○ ○ ○請求項1での出現頻度を使用○ − − − − − −全文での出現頻度を使用− ○ ○ ○ ○ ○ ○3 要約タームを追加− − ○ ○ ○ ○ ○4 全文ターム（30語）を追加− − − ○ ○ ○ ○ターム出現共起を利用した重− − − − ○ ○ ○5
み補正＊ GETA（汎用連想計算エンジン）は，独立行政法人情報処理推進機構（IPA）が実施した「独創的情報技術育成事業」の研究成果である．

図2

6

テーマ分類によるフィルタリ− − − − − ○ −ング
テーマ分類によるスコアチ− − − − − − ○ューニング

提案方式の有効性評価（平均精度）

特許の文書構成と分類情報を用いた類似特許検索方式の精度評価
Japio 2007 YEAR BOOK

169

図3

提案方式の有効性評価（検索結果上位N位までに含まれる正解特許件数の割合）

4.2 実験結果

図2に示したように、本方式により平均精度は実験パターン別の平均精度を図2に示す。ベースライ

NTCIR-5データでは31%（0.1503→0.1973）、ン（X）に比べ、提案方式を加えていく（A〜F）につNTCIR-6データでは32%（0.0783→0.1151）改善れて、平均精度の値が向上していくのがわかる。また、された。しかし、絶対数値で見ると0.2にも達していな

実験パターン別の「検索結果上位20位または300位まい。特にNTCIR-6データのように、1件あたりの審査官でに含まれる正解特許件数の割合」を図3に示す。こち

引例の数が多い案件の場合、発明内容の部分的な一致をらも提案方式を加えていくにつれて値が向上しているの認識する必要があるため、NTCIR-5データに比べて検がわかる。

索精度が低くなっている。

さらに、特許分類を用いた実験EとFは、特許分類を一方、図3に示したように、検索結果上位20位まで用いない実験Dに比べて平均精度も正解特許件数の割合に含まれる正解特許件数の割合は、NTCIR-5データでも改善されている。また、正解特許件数の割合

8.3ポイント（26.9%→35.2%）、NTCIR-6データで（N=300）について見ると、類似度スコアをチューニ6.6ポイント（15.6%→22.2%）改善した。すなわち、ングする方式（実験F）の方が、フィルタリングする方

正解の3〜5件に1件は、本方式による検索結果の上位式（実験E）よりも、NTCIR-5データで2ポイント20件から見つかることを意味している。同様に、上位（69.9%→71.9%）向上している。

300位ではそれぞれ、13.7ポイント、14.1ポイント

4.3 結果の考察の向上が見られ、NTCIR-5データでは4件の正解特許の実験の結果、請求項1文章のみを入力とするよりも、うち3件弱が見つかる。この検索精度の現状と、検索条

特許明細書全文と特許分類を入力とする方が、平均精度件を指定しなくても特許明細書を指定するだけで類似特も再現率も大幅に改善されることがわかった。これは、許を検索できるというメリットを踏まえると、本方式は入力として使用できる情報量が増えたことで、より多く技術者が出願前に公知例を検索する状況で特に有効と考の検索タームを抽出でき、その重要度を示す重みも精度える。

良く付与できたことに起因していると考えられる。

170

Japio 2007 YEAR BOOK

2

Part5

寄稿集

検索の高効率化と精度向上

参考文献

おわりに

［1］Kando, N.：Overview of the Sixth NTCIR
Workshop, Proceedings of the Sixth NTCIR

特許明細書文章および特許分類を最大限に活用した類
似特許検索方式について提案し、その有効性を検証した。

Workshop Meeting, pp.i-ix （2007）.
［2］Fujii, A., Iwayama, M. and Kando, N.：

入力の情報量を増やすことにより、請求項1文章のみをOverview of Patent Retrieval Task at NTCIR-

入力とする場合に比べて、検索精度を大幅に向上させる

6, Proceedings of the Sixth NTCIR Workshop

ことができた。

Meeting, pp.359-365 （2007）.

今後は、技術分野の特性を踏まえた検索方式について［3］間瀬久雄，岩山真，松林忠孝，小川祐一，大塩只検討する必要がある。例えば、化学分野では、請求項1

明：文章構造を利用した二段階特許検索方式の提案

タームや要約タームに加え、全文タームが検索精度向上と評価，Japio創立20周年記念誌 （2005）.に有効であるが、物理分野では、全文タームが検索精度［4］Mase, H., Matsubayashi, T., Ogawa, Y., Yayoi,向上に比較的貢献していないという分析結果も出ている。

T., Sato, Y. and Iwayama, M.：NTCIR5 Patent

その技術分野の特許の書き方や読み方を考慮して、ターRetrievalム抽出・重み付けを最適化することにより、検索精度のProceedings of the Fifth NTCIR Workshopさらなる向上が期待できる。また、今回は全自動による

Meeting, pp.318-323 （2005）.

検索を想定したが、実際には利用者とのインタラクショ

Experiments

at

Hitachi,［5］Mase, H. and Iwayama, M.：NTCIR-6 Patent

ンによって、より効率良く検索を行えると考えている。

RetrievalExperiments

at

Hitachi,

どの時点でどのような情報を提示すると効果的な検索がProceedings of the Sixth NTCIR Workshop

できるのかについて検討していく予定である。

Meeting, pp.403-406 （2007）.
［6］徳 永 ： 情 報 検 索 と 言 語 処 理 , 東 京 大 学 出 版 会（1999）.

特許の文書構成と分類情報を用いた類似特許検索方式の精度評価
Japio 2007 YEAR BOOK

171