「大分け」の精度向上に向けて
IPCC’s trial to improve the precision of “OWAKE”

一般財団法人工業所有権協力センター

研究所総括研究員

櫻井健太

令和元年 10 月より現職

sakurai-kenta@ipcc.or.jp

03-6665-7870

1 「大分け」とは分類記号を付与している。

特許情報の有用性について、本誌では説明するまでもの分野の担当者に案件を割り振るかということが重要とないが、これをより有効に活用していくためには、必要なる。つまり、せっかく明細書を読んだのに、自身の担な情報に迅速にアクセスできること、つまり検索が容易当する分類の範囲には付与すべき分類がないということであることが重要である。そして、特許情報の検索を行になると、全くの無駄読み（空振り）になってしまう。

うにあたり、不可欠なのが特許分類である。

IPCC では、最初に案件を読んだ人が、自身の担当する

ここで、分類付与の業務を効率的に行うためには、ど我 が 国 で 発 行 され る 特 許 公 報 に は、 国 際 特 許分類

分類を付与するとともに、自身の担当する以外の適当な（IPC）、ファイルインデックス（FI）、テーマ、F ター分類があるかどうかを判断し、それがある場合には、そム等の特許分類の記号が掲載されている。特許の分類にの担当者に案件を回すというようなやり方を採用しておついては、計算機による自動付与の研究も活発になされり、このように、技術の専門家の判断により回し先を決ているが、特許公報に掲載されている特許分類の記号は、定するようにすれば、案件の二人目以降の回し先では、基本的には明細書を人が読んで理解することで、付与さ「空振り」が発生しにくくなるが、案件の最初の回し先れている（ただし、IPC とテーマは、人手で付与されたをどのように決定するかが、残る課題となる。この最初FI に基づいて、対応するものが機械的に導出される。）。の回し先の決定を「大分け」と呼び、IPCC ではこの「大一 般 財 団 法 人 工 業 所 有 権 協 力 セ ン タ ー（IPCC:Industrial Property Cooperation Center） は、 特許 の 検 索 業 務 の 他、 特 許 庁 の 発 注 を 受 け て、FI と F分け」を計算機による自動分類で行なっている。
以下では、IPCC における大分けシステムの開発の歴史と今後の展望について紹介する。

タームを同時に（一元的に）付与する一元付与業務を、2000 年度から全技術分野の全特許出願に対し実施している。この FI 及び F タームの付与は、上述の通り、

218

2

大分けシステムの開発の歴史基本的には人手で行なっており、具体的には、39 のい

IPCC が初めて大分けシステムの開発に着手したのずれかの技術区分に属する技術専門家が、それぞれ自身は、一元付与業務の本格実施を２年後に控えた 1998の担当技術に関する特許出願の明細書を読んで、最適な年のことである。その後、一元付与業務の試行運用を行記号を付与している。例えば、スマートウォッチのアンなっていた 1999 年４月に、対象を絞って稼働を開始

テナ配置に関する特許出願については、時計の技術の専し、2001 年度には対象を全特許出願に拡大している。

門家とアンテナの技術の専門家が、それぞれ明細書の内当時、IPCC が一元付与業務を本格的に受注する以前は、容を理解し、それぞれが担当する分類の範囲で、最適な特許庁において、分野を代表するベテラン審査官が週ごとに集まって、全出願を 38 の審査室に分ける作業を行②

 大分け対象の出願の明細書から単語抽出を行い、なっており、これが「大分け作業」と呼ばれていたが、大分けデータベース内の単語と比較して、IPC ク

この作業はベテラン審査官がいる特許庁では可能であっラス別に類似度を計算して粗ぶるい処理（最も近いても、IPCC では難しく、効率性を欠くことが予想されIPC クラスの特定）を行う。

たため、この「大分け作業」を機械的に行うシステムの開発が必要となったのである。なお、このような、あら③ 特定された IPC クラスに属する各公報との類似ゆる技術分野の発明を機械的に分類するシステムは当時

度計算を行い、公報に付与されているテーマコード他に無く、WIPO や日米欧の特許庁会合などでも紹介毎に類似度を積算してヒストグラムを作成し、それされ、欧州では「OWAKE（独語読みで “オバケ”）」とをもとにテーマを特定する。

呼ばれて注目を浴びることとなった［１］。

その出願に最も相応しいテーマ（筆頭テーマ）を特定す

そして、稼働開始後も、以下のように継続的に精度向上を目的とした開発を行っている。

るものであった（図１）。
（Ⅰ）2002 ～ 2008 年度（第１世代の改良）①

 予め、過去に発行された公開公報の内容及び付与Winnow 法の採用による粗ぶるい処理の精度向上、されている「テーマ」の記号を解析して大分けデー各種情報を用いた公報への重み付けによるヒストグラムタベースを作成する。の調整、分割出願の場合の特別ルールの採用等。

図１

大分けシステム（稼働当初）の処理

YEAR BOOK 2O2O 219

3

特許情報の高度な情報処理技術

稼働当初、大分けシステムは以下のような処理により、（Ⅱ）2009 ～ 2011 年度（第２～４世代の開発）ができることから文書分類にも利用されている。さらに、中核語に基づく文献集合の作成、IPC クラスとは異なこの Transformer モデルをベースとして 2018 年 10る小グループへの絞り込み、エントロピーに基づく類似

月に発表された BERT［３］は、様々なタスクで著しい精度算出などの新方式の採用等。

度向上を達成している上に、ある領域の知識を別の領域の学習に適用させる転移学習も可能となるなど、自然言（Ⅲ）2012 ～ 2014 年度（第５世代の開発）
小グループへの絞り込みを行わない複数の小分類器に語処理における深層学習活用にブレイクスルーをもたらすこととなった。
このように、自然言語処理に有効な深層学習モデルが、よる多数決方式の採用等。

近年次々とツールとして使えるようになってきているこ
このような継続的な開発により、稼働当初は筆頭テーとに加え、深層学習への利用を想定し、学習に適したマの正解率が 40％程度であったのが、2012 年度にGPU 等の計算資源を備えた構成をデフォルトで提供すは 70％に達し、業務の効率化に大きく寄与することとるクラウドサービスが増えてきていることも追い風といなった。しかし、2012 年度の新方式の採用時点付近える。なかには、Google Colaboratory のように、開をピークに、正解率は徐々に低下傾向にあり、また、シ発環境も含め無料で提供されるものもあり、高価なシス

ステムの世代ごとの得意不得意に応じて、複数の世代のテムと開発環境を自前で準備しなくても深層学習を行う特定結果を選択的に採用する方式をとっていたことで、ための高度な環境が簡単に手に入るようになった。

システム全体が複雑化してシステム改修やメンテナンス

このような状況の中で、IPCC の研究所においても、に多くのコストがかかるという問題も顕在化してくるこ

クラウドサービス等を活用しつつ、深層学習モデルを利ととなった。そこで、2019 年度より、深層学習方式用した分類技術の研究に取り組んでいる。上述のようなを採用し、残存する旧世代を廃止していくための開発をアテンション機構を利用したモデルでは、アテンション進めることとなった。の重みから、どの項目（単語、文章等）が出力に寄与しているかが可視化され（図２）、寄与した入力項目を考（Ⅳ）2019 ～ 2020 年度（第６世代の開発）
深層学習方式の採用、残存する旧世代の廃止等。

慮した分析が可能となるが、このような分析は、分類付与や検索を主要業務とし、膨大なノウハウを保有している IPCC の知見が大いに活かせるところであり、その強3みを活かして、モデル前処理やパラメータ等の検討が進今後の展望展していくことを期待している。

深層学習方式を採用し、定期的に最新の公報を含むデータにより学習を行うようにすることで、将来にわたって持続的な精度向上を行うことができると考えている。また、深層学習による自然言語処理は、近年著しい発展を遂げており、新たなモデルを採用することで、更図２

F タームを付与した文献のアテンションの重みの可視化なる精度向上や、FI、F ターム等のより細かい分類の特定も可能となることが期待される。
例えば、2017 年６月に Google 社の研究チームが”［1］保倉行雄，特許庁の施策と IPCC のあゆみ，IPCC

Attention Is All You Need” というタイトルで発表し創 立 20 周 年 記 念 誌 － IPCC20 年 の あ ゆ み －，た Transformer モデル

［２］

220

参考文献

は、アテンションと呼ばれ2006，pp.275-277

る機構を用いた機械翻訳のモデルであるが、学習に要す［2］A. Vaswani, N. Shazeer, N. Parmar, J. Usz-

る時間が大幅に短縮され、機械翻訳の精度も格段に向上

koreit, L. Jones, A.N. Gomez, Ł. Kaiser, I. Po-

している。このモデルのエンコーダは、アテンション機

losikhin,“Attention Is All You Need,”NIPS

構によって入力系列の単語の関係性をうまく捉えること

2017

［3］J. Devlin, M-W. Chang, K. Lee, K. Toutanova,“BERT : Pre-training of Deep Bidirectional
Transformers for Language Understanding,”
2018

特許情報の高度な情報処理技術

3

YEAR BOOK 2O2O 221