特許審査業務への適用に向けた
概念検索精度の評価
株式会社日立製作所システム開発研究所

間瀬久雄

PROFILE

平成２年（株）日立製作所入社、システム開発研究所に配属。以来、特許や新聞記事、Ｗｅｂページ等を対象とした、分類自動付与、検索、文章要約、テキストマイニング等の日本語処理の研究に従事。2007 年度から特許版産業日本語委員会委員。

hisao.mase.qw@hitachi.com

1

はじめにる。概念検索の精度評価以外の調査と、他の２項目に関する調査内容については、参考文献 [2] を参照されたい。

上」「世界最高レベルの迅速かつ的確な審査」「業務の2抜本的見直しとシステム経費の削減」の三つを目標とし

本調査研究では、概念検索技術を審査業務に適用するて掲げており、第一段階として運営基盤システム、第二ことによって、審査業務の効率を向上させることが可能段階として新検索システムを構築する予定となっている。

かを見極めることを目的の一つとした。

特許庁においては、平成 16 年より業務・システム最適化計画を推進している。「出願人、代理人の利便性向

世界最高レベルの迅速かつ的確な審査を実現するためには、検索環境の更なる高度化が不可欠である。検索精想定する審査業務

本調査研究で想定した特許審査業務フローを図１に示す。

度の向上に加え、審査済みの文献に関する情報を蓄積して検索時に活用するなどの最新の機能を備えた新検索システムを実現する必要がある。
そこで、新検索システムにおいて実現すべき機能を明確にすることを目的とした調査研究「審査関連情報を活用した次世代検索システム開発に向けた調査」が平成
20 年度に実施された [2]。本調査研究は特許庁の協力のもとで、審査ナレッジの体系的な活用方法の確立に関する以下の３項目の実現性を調査・検討した。
（１）データマイニング技術を用いた基礎調査（２）概念検索技術への審査ナレッジの適用（３）自動分類付与技術への審査ナレッジの適用
本稿では、上記 3 項目のうち、概念検索技術に関する調査研究結果について述べる。ここで言う概念検索とは、文章を入力としてその文章の内容に類似する文献を出力する検索方式である。本稿では特に、審査業務への適用を踏まえた概念検索の精度評価に焦点を絞って述べ186図1

本調査研究で想定する特許審査業務フロー

寄稿集
検索の高効率化と精度向上
以下、各業務の概要と、業務における概念検索の果た

3

ような場合に、本願中の特定の記載箇所などを入力してす役割・意義について述べる。

概念検索を行うことにより、少数の単語の入力による単（１）審査の事前準備（まとめ審査案件の調査）なる全文検索に比べて、本願に類似する文献を検索で出願特許を審査する際には、内容の類似する複数の案き、現行のクラスタ検索を補完できる可能性がある。

件をまとめて審査する「まとめ審査」がしばしば行われ（４）スクリーニング（クラスタ検索結果並べ替え）る。この際、まとめ審査すべき案件を効率良く収集する

クラスタ検索によって絞り込んだ文献集合を読む作業ことが課題となる。概念検索によって類似する案件を検（スクリーニング）には多大な時間を要しており、作業索することにより、まとめ審査の案件を効率良く収集で時間の短縮が課題となる。概念検索によって本願の内容きる可能性がある。に類似する順に文献集合を並べ替えて表示することによ（２）事前検索（類似案件の調査）

り、所望の文献をより早く発見でき、スクリーニング時審査対象となる出願特許（本願）を審査する際には、本願の出願人が過去に出願した類似文献や、本願に類似する過去の文献などを事前に収集する。この収集作業を効率良く行うことが課題となる。概念検索によってこれらの文献を事前に収集することにより、本願理解を促進するとともに、この時点で本願を無効化する先行技術を発見できる可能性がある。

間を短縮できる可能性がある。

3 概念検索技術に係る
調査研究
3.1

概念検索技術の概要

概念検索とは、文章を入力とし、その文章の内容に類（３）検索（先行技術文献の調査）似する文献を検索対象となる文献集合の中から検索し、先行技術文献を検索する際には、本願や本願の類似文類似度の高い順に出力する検索方式である。概念検索を献の内容から検索に用いるキーワードや分類を調査し、用いることにより、複雑な検索式を作成しなくても類似サーチ戦略に則って検索を行う必要がある。しかしなが文献を検索できる可能性がある。

ら審査官が不慣れな技術分野において、適切な検索キー

概念検索では、図 2 に示すように、まず入力された（FI や F タームなど）を思いつかないような場合には、文章または文献（本願）から、発明内容を特徴付ける語適当な単語を入力して全文検索を行うことがある。この（特徴語）を自動抽出し、その重要度に応じた重みを自図2

概念検索の概要187

動付与する。次に、過去の文献から自動抽出した重み付

3.3

プロトタイプシステム

き特徴語を格納したインデクスと照合することにより、本調査研究の実施にあたり、概念検索精度検証用の入力文章と各文献との類似度を算出する。最後に、類似プロトタイプシステムを開発した。検索エンジンとし度の高い順に文献を並べ替えて、検索結果を出力する。て GETA[3] 1 を、特徴語を抽出するための単語切り出しツールとして ChaSen[4] を採用した。

3.2

図 4 にメイン画面の構成を示す。本画面は以下のエ

概念検索精度向上に向けたアプローチ

概念検索を審査業務に適用するためには、検索精度を向上させることが不可欠である。そのためには、以下のリアから構成されている。
（ａ）書誌情報表示エリア（画面左上）
本願に関する書誌情報として、公開番号、出願人、発３点の課題をクリアする必要がある。
（１）発明内容を表す特徴語を高精度に抽出する明の名称を表示する。「本願表示」ボタンを押下すれば、（２）抽出した特徴語に適切な重みを付与する

本願テキストを閲覧できる。

（３）特徴語を柔軟に照合し、文献間の類似度を（ｂ）パラメータ設定エリア（画面左中）
概念検索で使用する検索パラメータを設定する。特徴

適切に算出する
本調査研究では、このうち（1）および（2）に着目語を抽出する記載箇所、スコア補正方法、特徴語重み付して概念検索精度向上の可能性を調査した。具体的にけ方法などを設定できる（パラメータ設定の詳細についは、以下の 3 種類の観点に着目し、これらを技術分野ては参考文献 [2] を参照されたい）。

毎にチューニングすることによって、精度がどの程度向（ｃ）検索条件設定エリア（画面左下）
検索対象文献を絞り込むための検索条件を設定する。

上するかを検証した（図 3）。
（ａ）特徴語を抽出する記載箇所の指定

年範囲や分類（テーマ、FI、F ターム）によって、検索（ｂ）分類・年範囲の指定範囲を絞り込める。また、検索ワードを自然文で入力す（ｃ）分類の共通性によるスコア補正ることにより、本願記載内容を補充できる。

図3

概念検索精度向上に向けた調査観点

1 汎用連想計算エンジン GETA は、独立行政法人情報処理推進機構（IPA）が実施した「独創的情報技術育成事業」の研究成果である

188

寄稿集
検索の高効率化と精度向上（ｄ）検索結果一覧表示エリア（画面右上）
概念検索結果を表示する。入力文章（本願）と類似す3度がどの程度向上するかを評価した。
（２）クラスタ検索結果の並べ替え効果の検証る度合いの高い（スコアの高い）文献から順に、公開番

クラスタ検索によって得られた文献集合を概念検索に号、発明の名称、出願人、概念検索スコアを 10 件ずつ

よって本願に類似する順に並べ替えた時に、正解文献に表示する。ユーザは、出力された文献の書誌情報および辿り着くまでに読む文献数がどの程度少なくなるかにつ本文を閲覧して、本願の審査に有用な文献であるか否かいて評価した。

を判定する。
（ｅ）引用文献順位表示エリア（画面右下）

4.2

評価環境

本願に対する概念検索精度に関するデータを表示す1994 年から 2003 年までの 10 年分の公開特許公る。正解文献が概念検索結果の何位に出力されたかを表報および公表特許公報約 370 万件を検索対象として精示するとともに、概念検索の精度を評価する指標を算出

度評価を行った。対象分野として、以下の３技術分野をして表示する。ユーザは、これらの数値データを確認中心に評価を行った。

し、検索結果の良し悪しを判定する。

（１）機械分野
F16B-F16J( 機械要素 )、B60K( 車両推進装置 )（２）化学分野
A61K( 医療用製剤 )（３）電気分野
G11C( 半導体メモリ )、G06F( コンピュータ一般 )本願全文から抽出した重みの高い特徴語 70 語を使用して概念検索を行った場合の精度を基準（ベースライン）として、検索パラメータチューニング後の検索精度がどの程度向上するかを比較した。

図4

概念検索プロトタイプシステムのメイン画面

4 概念検索精度評価
4.1評価内容

４. ３

評価結果（パラメータチューニング効果）

３技術分野について、特許庁担当審査官が検索パラメータのチューニングを試行錯誤的に行った。具体的には、特徴語を抽出する記載箇所の指定、分類・年範囲の指定、分類の共通性によるスコア補正などを、技術分野の特性に応じて最適になるように設定した。
これらのチューニングによる概念検索精度向上効果を

本調査研究では、概念検索の精度に関する多くの評価

2
図５に示す。チューニングによって、再現率 は 29 〜を行っているが、ここでは以下の 2 項目に関する評価56％となり、技術分野毎に精度差が見られるものの、結果について報告する。

ベースラインの再現率（9 〜 48％）に比べて、8 〜（１）パラメータチューニングによる精度向上効果

19 ポイント向上した。また、再現率の向上に貢献した

現状の概念検索精度を把握するとともに、技術分野のパラメータは、技術分野によって異なった。化学分野

特性や特許明細書の書き方の特性などを踏まえて、概念（医療用製剤）では、実施例に出現する特徴語を重視す

検索パラメータをチューニングすることにより、検索精ることにより、再現率の向上が見られた。一方、機械分

2 再現率は、所望の文献を漏れなく検索する割合を示す評価指標である。本稿でいう「再現率 50%」とは、例えば本願の引用文献が２件ある場合に、検索結果上位 50 件の中に平均１件（1/2=50%）含まれていることを示す。

189

野（機械要素、車両推進装置）や電気分野（半導体メモ件で同等の再現率を達成でき、同じ精度を出すために必リ、コンピュータ一般）では、逆に再現率が低下した。

要となる出力文献数を 10 件程度少なくできることが分

また、電気分野では、本願に付与されたＦＩを持つ文献かった。の検索スコアを高く補正することにより、再現率が大幅に向上した。

4.3

評価結果（クラスタ検索結果の並べ替え効果）

3 技術分野に属する計 41 件の本願（機械 26 件、化学 5 件、電気 10 件）に対するクラスタ検索結果文献集合を担当審査官が作成し、この文献集合を概念検索によって本願に類似する順に並べ替えた。クラスタ検索による出力順序（出願日の新しい順）と概念検索による出力順序を比較し、正解文献が何位に出力されるか、またどちらがより上位に出力されるかを比較した。
正解文献の出力順位の平均値を比較した結果を図７に示す。概念検索によって並べ替えることにより、正解文
図5

検索パラメータのチューニング効果

献の出力順位が上昇しており、正解文献にいち早く辿り着けるようになることが分かる。

上記のチューニング効果が他の技術分野にも当てはまるかを検証した。ランダムに選定した 100 技術分野（テーマ）について、これらの技術分野のいずれかに属する本願（13,812 件）に対する概念検索精度を評価した。
評価結果を図６に示す。このグラフは、100 テーマ全体について、検索出力文献数を増やしていった時の再現率の推移を示している。検索パラメータのチューニン
グにより、再現率が向上しているのが分かる。また、
ベースラインでは、検索結果上位 50 件での再現率が28% であるのに対して、チューニング後では上位 40

図7

正解文献の平均出力順位の比較

また、概念検索による並べ替えにより、クラスタ検索に比べて出力順位が変動した正解文献の割合を図 8 に示す。並べ替えによって順位が上昇する正解文献の方が低下する文献よりも多く、6 割強から 7 割強を占めた。
さらに、概念検索による並べ替えによって変動する出力順位の変動幅の平均値を図９に示す。クラスタ検索の出力順位に比べて出力順位が向上する場合の向上幅は非常に大きく、逆に出力順位が低下する場合の低下幅は非
図6190

出力文献数と概念検索精度常に小さいことが分かる。

寄稿集
検索の高効率化と精度向上

3

果の妥当性を評価するための仕掛けが必要となる。すな
わち、検索スコア（類似度）の示す意味の明確化や、なぜその文献が概念検索結果として上位に出力されたのか（本願とどこが似ているのか）に関する根拠の提示、さらに、上位何件までを見れば所望の文献が見つかる／見図8

並べ替えで順位が変動した正解文献の割合つからないかの見極め支援などである。
今後も、審査業務との親和性のより高い概念検索技術の実現に向けて研究を継続していく。

参考文献[1] 特許庁業務・システム最適化計画
http://www.jpo.go.jp/cgi/link.cgi?url=/torikumi/system/system_kaitei.htm[2] 審査関連情報を活用した次世代検索システム開発に向けた調査報告書
図9

並べ替えによる正解文献の向上幅と低下幅

http://www.jpo.go.jp/shiryou/toushin/chousa/
pdf/kensaku_saitekika/kensaku1_1_2.pdf

5 おわりに[3] 汎用連想計算エンジン GETA
http://geta.ex.nii.ac.jp/geta.html[4] 形態素解析システム ChaSen（茶筌）http://chasen-legacy.sourceforge.jp/

本調査研究によって、審査業務に概念検索を適用することが可能であることが分かった。しかし、審査業務においては、概念検索は現行のクラスタ検索に直ちに置き換わるものではなく、適切に使い分けることによって互いに補完していくものであると考える。
概念検索の適用効果をより高くするためには、いくつかの技術課題を解決する必要がある。
検索精度の観点からは、本願の発明内容にドンピシャの文献（Ｘ文献）はもちろんのこと、本願に部分的に記載された発明内容に類似する文献（Ｙ文献）を高精度に検索する方式の確立が必要である。そのためには、特許明細書に記載された発明の構成要素および発明ポイント（発明の新規性・進歩性を表す概念）が何であるかを正確に解析し、過去の特許文献の発明ポイントと柔軟に照合可能とする技術が必要となる。
また、使い勝手の観点からは、審査官が概念検索結191