多言語に特化した特許検索システム（仮称 atari-kun）の構築
亀谷展

株式会社サン・フレア 自然言語処理技術部〒160-0004 東京都新宿区四谷 4–7 新宿ヒロセビル
E-mail: kameya h@sunflare.co.jp

A Multi-language Patent Retrieval System (Atari-kun)
Hiroshi KAMEYANatural Language Processing Technology, SunFlare Co., Ltd.
Shinjuku Hirose Bldg., 4-7, Yotsuya, Shinjuku-ku, Tokyo 160-0004
E-mail: kameya h@sunflare.co.jp

概要
厳しい景気後退とその後に続く景気停滞を受けた国内企業は、生産活動と販売活動の比重を海外に移しつつある。この流れに従い増加傾向にある海外特許出願には出願先国での先行技術調査が不可欠であり、その手間とコストは無視できないものとなっている。例えば、海外の調査会社や特許事務所に調査を依頼すれば多額の費用がかかる上に、これら依頼先とのやり取りは相手国言語もしくは英語を介して行わなければならず煩雑な作業を強いられる。その上、その調査結果が妥当であるかどうかも調査結果の翻訳と内容の吟味を必要とし、調査結果の有効活用には何らかの支援が必要である。本研究では、効果的な先行技術調査の支援を目的とし、弊社の多言語リソースと自然言語処理技術を組み合わせ、企業内技術者の先行技術調査の支援を行う特許検索システムを構築した。本システムは、日本語←→多言語間を翻訳するモジュールと、明細書から IPC を推定するモジュールと、明細書からその特徴をよく示す重要語を抽出するモジュールと、特許明細書を検索するモジュールと、それらの結果をレイアウトするモジュールとで構成される。世界知的所有権機関のサイトで配布されているテキスト分類コーパス WIPO-alpha により本システムの IPC 推定モジュールを評価したところ、Fall ら [25] の報告と同等かそれ以上の精度を得た。

先国での先行技術調査が不可欠となる。このような

1 はじめに先行技術調査は特許事務所や特許調査会社に依頼し研究開発により新たに生み出された技術やビジネたり自分で調査する方法が考えられるが、いずれにスは、特許権を取得することで独占的に利用するこしても膨大な特許データを言語の壁を越えて検索すとができる。しかしそれらに新規性と進歩性が無けるシステムが必要である。本稿では、こうした背景れば特許として認められず、かけた時間と費用が無から開発中である多言語に特化した特許検索システ駄になってしまう。重複投資や重複研究を避けるたム（仮称 atari-kun）について紹介する。

めには研究開発に先駆けて先行技術を調査することドキュメント集合から希望するドキュメントを取が望ましい。特に、景気後退とその後に続く景気停り出すタスクは情報検索と言われ古くから研究され滞を受けて国内企業が生産活動と販売活動の比重をている [1, 2, 3]。例えば Salton らは SMART（Sys-

海外に移そうとするなら、海外での特許出願と出願

tem for the Mechanical Analysis and Retrieval of56Text）と呼ばれる検索システムを開発した [1, 3]。

野に入れた特許検索システムでは言語の数だけルー

彼らの検索システムは、ドキュメントを構成する単ルを人手で定義しなければならず大きなコストが語集合から不要語（ストップワード）リストに含まかかってしまうので、ドキュメント集合が存在すれれる単語を除いた単語集合でドキュメントを表す多ば数学的な手続きで語の重要度を決定できる RIDF

次元ベクトルを求め、同様に検索質問（クエリ）かは多言語に特化した特許検索システムに適している

らも多次元ベクトル表現を求め、それらのベクトルと思われる。

から類似度を計算することによってドキュメント日本語で書かれたクエリで他言語のドキュメント検索を実現するベクトル空間モデルに基づいてい集合を検索するタスク、すなわち記述言語がクエる。ドキュメントを構成する単語集合からベクトル

リとドキュメントで異なる情報検索タスクは言語表現を求めるとき、各々の単語すべてが同じように横断検索（Cross-Language Information Retrieval;ドキュメントの内容に関係するわけではないので、CLIR）と呼ばれる [9, 10, 11]。言語横断検索シス

単語の持つ重要度に応じて重み付けがなされるこ

テムは次の３つに分類できる [12]。とが多い。例えば、冠詞や助動詞といった機能語が1. ドキュメント集合をクエリの言語に翻訳する。

ほぼ全てのドキュメントに現れるのに対し、名詞な2. クエリをドキュメント集合の言語に翻訳する。

どの内容語はドキュメントの内容に大きく関係し3. クエリとドキュメント集合を別の表現に変換て現れるので、ベクトル表現において内容語は機能する。

語よりも大きな重み付けをした方がドキュメントの内容をより正確に表現することができ検索精度

１では検索に先立って翻訳しておかねばならないも向上する [4, 5]。このように多くのドキュメントため、検索システム開発時に時間的・金銭的コストに現れる語の重みを小さく特定のドキュメントにが多くかかる。そのため人手翻訳ではなく機械翻訳

偏って現れる語の重みを大きくするように単語の頻で済ませたり、検索範囲を特定の範囲に限定してし度（term frequency; TF）とドキュメント頻度の逆まうことが多い。例えば市販で提供されている特数（inverse document frequency; IDF）を用いて許検索システムの多くはこのような方法で日本語ドキュメント内での単語の重要度を計算する方法は以外の特許明細書の検索に対応している。２ではTF-IDF[1, 3] と呼ばれ、ベクトル空間モデルに基検索時に動的にクエリを翻訳する。例えば Fujii とづく情報検索システムにおける基本的な重み付け方

Ishikawa[13] はタスクを２段階に分け第１ステージ法として知られる。IDF は同じドキュメント頻度でクエリを翻訳して検索し、第２ステージで検索でもドキュメント毎の出現頻度が異なる語を区別し結果のドキュメントを翻訳しクラスタリングしてないため、内容語と単なる数字や一般的に現れる語出力することを提案した。Higuchi ら [14] は Fujii（一般語）に異なる重みをつけることができないとと Ishikawa のアイデアに基づくシステムにパテンいう欠点を持つ。これに対して、ポアソン分布が一トファミリーから複合語の対訳を自動抽出するモ般語に対してあてはまりそれ以外の内容語に対してジュールの追加を試みその有効性を示した。３ではあてはまらないという観点から、ドキュメントにおクエリとドキュメント集合をそれらとは独立した表ける単語の出現頻度にポアソン分布をあてはめ推定現に変換する。例えば Salton[15] はシソーラスをしたドキュメント頻度と実測値の差を単語の重要度用いてクエリとドキュメント集合の言語の違いを解とする残差 IDF（residual IDF; RIDF）が Church消することを提案した。また Littman ら [16] はパと Gale により提案された [6, 7]。特許検索に特化

ラレルコーパスから計算した潜在的意味インデッ

した重要語の選択法としては、小西ら [8] が先願特クス（Latent Semantic Indexing）を用いても可能

許検索の検索語を抽出するためのヒューリスティッなことを示した。しかし１と同様にコストの問題クなルールを提案している。しかし多言語対応を視が残る。これらの検索精度について、Oard[17] や57

McCarley[18] は、言語横断検索においては翻訳方を推定するモジュールも含んでいる。

向の違いによる翻訳精度の影響が大きいことを指摘

以下、各モジュールについて説明する。

している。

• 翻訳モジュール

以上を踏まえ、atari-kun では上記２の手法を選翻訳モジュールはルールベース型機械翻訳エンび、クエリをなるべく高精度に翻訳することで検索ジンと IPC のセクション毎に作成された専門精度を高めることを目指した。特許検索用のクエリ用語辞書で構成される。

は特許の特徴を表す技術用語で構成される。つまり• 重要語抽出モジュール

検索精度を高めるにはクエリ内の技術用語を特許の重要語モジュールは IPC の全分野を網羅する内容に応じて適切に訳しわけることが必要であるとように収集した特許コーパスから学習した重要思われる。特許には国際特許分類（IPC）と呼ばれ語判定エンジンにより重要語を抽出する。

る世界 90 ヶ国以上の国で利用されている分類があ• IPC 推定ジュール

る [19]。IPC は特許の技術内容により分類されてい文書に１つ以上のタグを付与するタスクを文書るので、IPC 毎に専門用語辞書を作成しそれらを機分類 [1, 3] と呼ぶ。IPC の推定も活発に研究さ械翻訳に用いることで翻訳の精度を向上させられるれており様々なアルゴリズムが提案されていることが期待できる。
以下、2 節では開発中のシステムについて述べる。

3 節で本システムのモジュールの実験結果を示す。
4 節でまとめと今後の課題について述べる。

[20, 21, 22, 23, 24]。Fall ら [25] は３つの代表的な学習器（k-NN と Naive Bayes と SVM）による実験の結果を報告している。Naive Bayesによる文書分類アルゴリズムは、文書に含まれ2 多言語に特化した特許検索システム
atari-kun の開発

る単語の出現確率が他の単語とは独立であるというシンプルな仮定に基づいており、SVM や非線形分類器による複雑なアルゴリズムに比2.1 システムの構成べて実装が容易で実行時間が少ないというメ

図 1 にシステムの概要を示す。図 1(a) は内外出リットを持つ。そこで IPC 推定モジュールは願（日本から海外への出願）、同図 (b) は外内出願

Naive Bayes を用いてアルゴリズムを構築し（海外から日本への出願）向け検索の処理を図示した。Fall らの Naive Bayes を用いた実験ではている。

ドキュメントベクトルの要素に単語の出現確率

内外出願の場合、特許明細書は日本語で書かれてをスムージングしたものを使用しているが、本いるのでユーザーは自ら重要語を選択することができるし、出願済みであれば IPC も判明している。
従って atari-kun には重要語やドキュメントを翻訳研究では単語の重要度をドキュメントベクトルの要素とした。そして IPC の全分野を網羅するように収集した特許コーパスで学習させた。

するモジュールと IPC と重要語を元に検索するモ• 検索モジュールジュールと検索結果をレイアウトするモジュールが検索モジュールは IPC と重要語から自動的に有れば良い。

生成した検索クエリで特許データベースを検索

一方、外内出願の場合、他国語が分からなければする。

明細書を読むことができないため重要語を選択する• レイアウトモジュールこともできない。IPC も出願時の IPC しか分からレイアウトモジュールはクライアントのカスタず、中身を理解した上で IPC を追加して検索するマイズに対応できるように構成される。ということもできない。そこで、atari-kun は外内出願向け検索のために明細書からその特徴をよく示す重要語を抽出するモジュールと明細書から IPC

58

(a) 内外出願向け検索(b) 外内出願向け検索
図 1 atari-kun のシステム

2.2 システムの機能
ユーザーが atari-kun で検索を行うには、検索条件などを設定した検索ジョブを作成する。検索の結果は atari-kun がレポートにまとめてユーザーに返してくる、という流れになっている。
まず、図 2 に検索ジョブの新規作成画面を示す。

1. 内外出願向け検索
内外出願向け検索を行う場合、ユーザーは画面上部にあるフォームを操作して検索ジョブを atari-kun に登録する。まず検索対象文献を図2指定し、次に検索式を日本語で入力する。次に検索ジョブ作成画面の例

IPC を指定し、Create ボタンをクリックするとジョブの作成が完了する。
を atari-kun に登録する。まず doc または pdf

2. 外内出願向け検索
外内出願向け検索を行う場合、ユーザーは画ファイルを指定するか、他言語で書かれた明細面下部にあるフォームを操作して検索ジョブ

書テキストをテキストボックスにペーストする。次に Create ボタンをクリックするとジョ59ブの作成が完了する。

3 実験

検索ジョブが完了するとユーザーにはメールが届

atari-kun は開発中の段階にあり、多言語対応でき、画面上で検索結果を確認できるようになる。図

は英語・中国語・ドイツ語・ポルトガル語・韓国語

3 に検索ジョブを実行した結果の画面の例を示す。の５言語を始めとして更に対応言語を増やしていく
予定だが、全てのモジュールが十分なレベルで機能するほど完成しているというわけではない。そこで
この節では IPC 推定モジュールの実験結果を示す。
実験には世界知的所有権機関（WIPO）のサイトで配布されているテキスト分類コーパス WIPO-alpha[26] を用いた。WIPO-alpha は英文特許明細書のコーパスで、約 46, 000 件（約 3 億ワード）の訓練セットと、約 29, 000 件（約 2.4 億ワード）のテストセットで構成されている。

IPC 推定モジュールを WIPO-alpha の訓練セットで学習させ、テストセットで分類させた結果を表 1 に示す。分類のレベルはクラスである。表内には、比較として Fall ら [25] の報告から分類用のテキストとして明細書のタイトル・発明人・出願人・(a) 内外出願向け検索の結果の一部アブストラクト・詳細な説明の最初の 300 語を用いて Naive Bayes で分類した場合の結果も示した。
特許明細書には複数の IPC が付与されることもある。そこで推定精度の評価方法としては Fall ら [25]の top prediction、three guesses、all categories を採用した。top prediction では分類器の出力の第１位の IPC が明細書のメイン IPC と一致したときに正解とカウントする。three guesses では分類器の出力の第１位〜第３位のどれかが明細書のメイン IPC と一致したときに正解とカウントする。allcategories では分類器の出力の第１位の IPC が明細書に付与されたどれかの IPC と一致したときに正解とカウントする。

atari-kun に IPC 推定モジュールの推定精度は、どの評価法であっても Fall らのものより優れていることが確認できた。特に three guesses では

86.8% もの高精度で推定できていることから、外内(b) 外内出願向け検索の結果の一部
図3

出願向け検索で IPC 推定モジュールの上位３位までを検索条件に盛り込むことにより検索結果の精度検索結果画面の例向上に繋げられると期待できる。
また、セクションレベルの top prediction では

60表 1 IPC 推定の結果

Top-prediction

Three-guesses

All-categories

Fall ら [25]

55%

79%

63%

atari-kun

62.7%

86.8%

70.4%

手法

73.3% の精度だった。

trieval. Journal of Documentation, vol. 28,
no. 1, pp. 11–21, 1972.

4 おわりに[5] Gerard Salton, Christopher Buckley. Term-

多言語に特化した特許検索システム（仮称 atari-Weighting Approaches in Automatic Textkun）を紹介した。

Retrieval. Information Processing and Man-

まず国内企業の特許を取り巻く状況から多言語に

agement, vol. 24, issue 5, pp. 513–523, 1988.

特化した特許検索システムに必要な要件について考[6] Kenneth W. Church, William A. Gale. Inverse Document Frequency (IDF): A Mea-

察し、それに基づくシステムの概要を示した。
システムは開発途中の状態ではあるが、システ

sure of Deviations from Poisson. In Proced-

ムを構成するモジュールのうち IPC 推定モジュー

dings of the Third Workshop on Very Large

ルを WIPO-alpha にて評価し、Fall らの報告した

Corpora, pp. 121–130, 1995.

精度より高い精度で IPC 推定できたことを確認で[7] Kenneth W. Church, William A. Gale. Poisson Mixtures. Natural Language Engineer-

きた。
今後は、内外出願向け検索ジョブの IPC とクエ

ing, vol. 1, pp. 163–190, 1995.

リを与えたときの翻訳精度と検索精度の検証と、外[8] 小西一也, 北内啓, 高木徹. 発明の特徴に着目

内出願向け検索ジョブの重要語の抽出精度と検索精した検索語抽出による先願特許検索. 第 15 回度の検証を行う予定である。また、多言語対応としデータ工学ワークショップ DEWS2004 3-B-てコーパス作成と辞書構築の完成を急ぎ、多言語に01.
[9] Douglas W. Oard, Bonnie J. Dorr. A Sur-

特化した特許検索システムをできるだけ早く提供すvey of Multilingual Text Retrieval. Techni-ることを目指す。

cal Report UMIACS-TR-96-19, University of参考文献

Maryland, Institute for Advanced Computer[1] Christopher D. Manning, Hinrich Schuetze.

Studies, 1996.

Foundations of Statistical Natural Language[10] Douglas W. Oard. Alternative Approaches

Processing. MIT Press, 1999.

for[2] 北研二, 津田和彦, 獅々堀正幹. 情報検索アルゴ

Cross-Language

TextRetrieval.

In

Proceedings of the AAAI Symposium onリズム. 共立出版, 2002.

Cross-Language Text and Speech Retrieval,[3] Christopher D. Manning, Prabhakar Ragha-pp. 131–139, 1997.

van, Hinrich Schuetze. Introduction to In-[11] 樋口重人, 福井雅敏, 藤井敦, 石川哲也. 特許

formation Retrieval. Cambridge University

情報を対象とした言語横断検索システム. 言語Press, 2008.

処理学会第７回年次大会発表論文集, pp. 445–

[4] Karen S. Jones. A Statistical Interpretation

447, 2001.

of Term Specificity and its Application in Re-[12] Atsushi

61Fujii,

TetsuyaIshikawa.

Japanese/English

Cross-LanguageIn-[19] 高柳隆. 「特許調査」の基礎と応用. 工学図書,

formation Retrieval: Exploration of Query

2006.

Translation and Transliteration. Computers[20] Caspar

J.

Fall,K.

Benzineb.

Litera-and the Humanities, vol. 35, pp. 389–420,

ture survey:

2001.

the Automatic Classification of Patents.

Issues to be Considered in[13] Atsushi Fujii, Tetsuya Ishikawa. Applying

World Intellectual Property Organization,

Machine Translation to Two-Stage Cross-

http://www.wipo.int/classifications/ipc/en/

Language Information Retrieval. In Proceed-

ITsupport/Categorization/wipo-

ings of the 4th Conference of the Associa-

categorizationsurvey.pdf, 2002.

tion for Machine Translation in the Ameri-[21] Shantanu Godbole, Sunita Sarawagi. Dis-cas, pp. 13–24, 2000.

criminative Methods for Multi-Labeled Clas-[14] Shigeto Higuchi, Masatoshi Fukui, Atsushi

sification. In Proceedings of the 8th Pacific-Fujii, Tetsuya Ishikawa. PRIME: A System

Asia Conference on Knowledge Discovery

for Multi-lingual Patent Retrieval. In Pro-and Data Mining, pp. 22–30, 2004.

ceedings of MT Summit VIII, pp. 163–167,[22] Lijuan Cai, Thomas Hofmann. Hierarchi-2001.

cal Document Categorization with Support[15] Gerard Salton. Automatic Processing of For-Vector Machines. In Proceedings of the 13th

eign Language Documents. Journal of theACM International Conference on Informa-American Society for Information Science,tion and Knowledge Management, pp. 78–87,

vol. 21, issue 3, pp. 187–194, 1970.

2004.

[16] Thomas K. Landauer, Michael L. Littman.
AStatisticalMethodfor[23] Juho Rousu, Craig Saunders, Sandor Sze-Language-mak, John Shawe-Taylor. Learning Hier-

Independent Representation of the Topicalarchical Multi-Category Text Classification

Content of Text Segments. In Proceedings ofModels. In Proceedings of the 22nd Interna-

the 11th International Conference on Expert

tional Conference on Machine Learning, pp.

Systems and their Applications, vol. 8,744-751, 2005.

pp. 77–85, 1991.

[24] Akinori Fujino, Hideki Isozaki, Jun Suzuki.

[17] Douglas W. Oard. A Comparative Study ofMulti-label Text Categorization with Model

Query and Document Translation for Cross-Combination based on F1 -score Maximiza-Language Information Retrieval. In Proceed-tion. In Proceedings of the 3rd International

ings of the Third Conference of the Associa-

Joint Conference on Natural Language Por-tion for Machine Translation in the Ameri-cessing, pp. 823-828, 2008.

cans on Machine Translation and the Infor-[25] Caspar J. Fall, A. Törcsvári, K. Benzineb,mation Soup, pp. 472–483, 1998.

G. Karetka. Automated Categorization in the[18] J. Scott McCarley. Should we Translate theInternational Patent Classification. ACM SI-Documents or the Queries in Cross-languageGIR Forum, vol. 32, issue. 1, pp. 10–25,

Information Retrieval?

2003.

In Proceedings ofthe 37th annual meeting of the Association[26] WIPO-alpha. http://www.wipo.int/classifi

for Computational Linguistics on Computa-cations/ipc/en/ITsupport/Categorization/

tional Linguistics, pp. 208–214, 1999.

dataset/index.html

62