特許中の画像とテキストを用いた手順
オントロジーの構築
Construction of a Procedural Ontology Using Images and Texts in Patents

中央大学理工学部ビジネスデータサイエンス学科教授

難波英嗣

2001 年北陸先端科学技術大学院大学情報科学研究科博士後期課程修了。博士（情報科学）。東京工業大学精密工学研究所助手、広島市立大学大学院情報科学研究科准教授等を経て、2019 年より中央大学理工学部教授。自然言語処理、テキストマイニングの研究に従事。
nanba@kc.chuo-u.ac.jp

1

はじめに

03-3817-1883

特許だけからこれらの情報を抽出しても、それが対訳辞書作成装置の典型的な手順になっているとは限らない。

ある特定の目的を達成するための一連の手続きを記し

そこで、日本国特許に付与されている分類コードのひとたものを手順テキストと呼ぶとき、類似の手順テキストつである F タームに着目し、同一の F タームが付与さの集合から抽出された典型的な手順が手順オントロジーれている複数の特許から手順情報を抽出し、それらの共である。本研究では、この手順オントロジーを構築する。

通項を検出することで、対訳辞書作成装置の典型的な処一般にオントロジーの人手による構築は非常にコストがかかる。このため、自然言語処理技術を用いて、テキストデータベースからオントロジーを自動的に構築する様々な手法が提案されている。その多くは、上位下位関係や部分全体関係など、用語と用語の様々な関係の抽出を目的としたものである。例えば、用語の上位、下位関係を抽出する代表的な手法としては、「A などの B」などの定型表現に着目したものがあり、「パターン法」と呼ばれている［1］．この場合、「などの」というパターンの前に出現する名詞句 A を後ろに出現する名詞句 B の下位語として抽出される。しかしながら、幅広い分野の理手順に関する知識を自動獲得する。
対訳コーパスから複数の対応文を読み込み S11、複数の対応文から用語を抽出し S12、抽出された用語が用語ペアテーブルに登録されている用語ペアを構成する用語以外である場合には、当該用語を、新規な用語として選定するS13。複数の対応文のマッチングに基づいて、新規な用語のペアを用語ペア候補として取得し S14、用語ペア候補の出現頻度に応じて、当該用語ペア候補を構成する新規な用語ペアを対訳辞書として出力するステップ S16。取得するステップでは、複数の対応文の順序をランダムに変更して前記マッチングを繰り返し行う。
図1

特許要約における手順の記載例（特開 2017-091382）

一連の手続きに関する知識をテキストから自動抽出し、それらを体系化する試みはほとんどない。
本研究では、特許から手順オントロジーを自動的に構築する手法を提案する。特許では、新しい技術や発明を説明するために、それを実現する手順を記載することがしばしばある。図 1 は「対訳辞書作成装置」に関する日本国特許（特開 2017-091382）の要約であり、S11 から S16 までの手順から構成されていることがわかる。図 2 は、同じ特許の代表図面であり、要約と同じ内容がフローチャートとして表現されている。
ここで、個々の特許には新規性があるため、ひとつの262

図2

図 1 の特許要約に対応する代表図面

2

関連研究

2.1

手順情報の抽出は、セマンティック特許画像検索のための新しいマルチモーダルシステムを提案している。画像から視覚的に関連する特徴を抽出するために、深層学習を用いて事前に訓練された埋め込みを使用する。さらに、OCR を用いを抽出する研究が行われるようになってきている。新森て画像から数字を抽出し、それをシーンテキストスポッ

らは請求項の構造解析を修辞構造解析の一種と捉え、ティングに適用して特許テキスト中の言及にマッピング

手掛り語に基づいた請求項構造解析手法を提案していする。次に、CLIP モデルを用いてイラストから構造的る。日本語の請求項には、一般に「〜し、〜し、〜した」な特徴を抽出し、文章変換ツールを用いて、テキスト中のように処理を順序的に記述する順序列挙形式や、「〜の関連個所からテキスト特徴を抽出する。最後に、テキと、〜と、〜とからなる」のように、構成要素を列挙す

ストと画像の特徴を用いて、表現されたイラストのインる形で記述する構成要素列挙形式など、いくつかの特許デックスを作成する。このように、テキストと画像の両固有の記述スタイルが存在する。新森らは、手がかり語方の特徴を利用することで、特許画像の意味的な類似性と文脈自由文法を用いたルールを使い、日本語の特許請を高めることができる。本研究はテキストと画像の両方求項の解析を実現している。の特徴を利用するが、画像を検索するためではなく、手［4］これに対し、本研究では、機械学習を導入した要約の順情報を抽出して手順オントロジーを構築する。

構造解析を目指す。近年では、自然言語処理の様々なタスクにおいて深層学習が導入され、その有効性が確認されている。本研究でも、深層学習を用いた要約の構造解析を試みる。

3提案手法

3.1

手順オントロジーの構築手順

本研究では、ひとつの特許から、その代表画像と要約2.2

フローチャート画像の構造解析をそれぞれ解析し、手順情報を抽出する。それらを、特フローチャート画像の解析における関連研究プロ

許に付与されている F タームごとに集計することで、手ジェクトとして CLEF-IP がある［3］。CLEF（Conference

順オントロジーを構築する。以下、図 3 は、機械翻訳

and Labs of the Evaluation Forum）とは、ヨーロッ（5B091）というテーマコードの F タームの例である。

パを中心に行われている情報検索に関するワークショッ
プであり、CLEF-IP は特許を対象としたタスクのことを指す。このタスクは実験レベルだけではなく、現実の課題に即した検索タスクのためのデータセットを提供することで、多言語及びマルチモーダル特許検索タスクの研究の促進を図っている。CLEF-IP では図形を認識し、フローチャートの要素となるテキスト、エッジ、ノード

テーマコード：5B091（機械翻訳）
AA
AA00

言語

AA01 ・多言語間
AA11 ・1 言語間
AA12 ・・方言・標準語間
…
AB
AB00

処理対象要素を検出している。CLEF-IP の基本的な課題は、本研究

AB01 ・記号、数字、数式と共通するが、CLEF-IP が実施された 2013 年当時とAB11 ・複合語、熟語、イディオム比べ、画像解析技術が大幅に向上している点、また、本研究では、画像データだけでなく、その画像の内容を説明したテキスト（特許要約）も手順情報の抽出に利用する点が異なる。

…

図3

F タームの例（5B091: 機械翻訳分野）

この図において、
AA00「言語」や AA01「・多言語間」が観点と呼ばれている。観点は階層的な構造をしており、

2.3

画像分類

各説明語の前に記述されている「・」が階層の深さを示

特許画像に特化し、特許画像の特徴を用いて画像をしている。この場合、AA00 の下層に AA01 や AA11検索する研究がいくつか提案されている。Kader ら［2］が存在し、さらに、AA11 の下に AA12 が存在する。

YEAR BOOK 2O22 263

3
特許情報の高度な情報処理技術

近年、複数の類似した手順テキストから、共通手順

A で始まる観点は、「翻訳の対象」という観点からの分造タグ付きの要約を出力することを目的とする。図 4類体系となっている。一方、BA ではじまる観点はいずにおいて、comp タグ、proc タグ、head タグはそれれも「翻訳の方式」に関するものになっている。

ぞれ、構成要素、手順、主題を示す。こうしたタグを自図 1 と図 2 には、5B091AA01 という F タームが動的に付与するシステムを構築するため、人手で構造タ付与されている。同じ F タームが付与された特許を収グを付与したデータを準備し、それを教師データとして集し、それらから手順情報を抽出すれば、多言語間の機用いることで、機械学習ベースの構造解析器を構築する。

械翻訳に関する手順情報の収集が実現できる。本研究で本研究では、要約の構造解析用に新たにタグ付きコーパは、特許の代表図面と、その図面に関する説明文であるスを作成するのではなく、請求項の構造解析用タグ付き要約に着目し、まず、代表図面が手順に関する画像、すコーパス［5］で構造解析器を構築した後、そのシステムなわちフローチャートであるかどうかを認識（1）し、次を要約に適用する。これは、一般に、要約は、第一請求に、各手順の情報を要約（2） とフローチャート画像（3）項と類似した構造を持つことが多いため、請求項の構造から抽出することで、F タームの観点ごとに手順情報を解析用のコーパスを本研究に流用できると判断したから集約する。3.2 節では（1）フローチャート画像の自動である。

検出について、3.3 節では（2）要約からの手順の抽出について、3.4 節では（3）フローチャート画像からの手順の抽出について、それぞれ述べる。

半導体基板上に、<proc> 半導体膜を形成する工程 </proc> と、前記半導体膜の所定の領域に、<proc> ドーパント不純物を導入する工程 </proc> と、前記 <proc>半導体膜をパターニングする </proc> ことにより、前記

3.2

フローチャート画像の自動検出ある画像がフローチャートであるかどうかを認識する

ドーパント不純物が導入された前記半導体膜からなる抵抗素子と、前記ドーパント不純物が導入されていない前記半導体膜からなるゲート電極とを形成する工程とを有す

タスクは、画像分類の一種と考えられる。その代表的なることを特徴とする <head> 半導体装置の製造方法 </手法は、大量のラベル付き画像データを対象に畳み込み

head>。

ニューラルネットワーク（CNN）等のモデルを用いて図4学習をする。近年では、このような学習済モデルが公開請求項へのタグ付与の例されており、このモデルを用いてファインチューニング

本研究では、近年様々な自然言語処理タスクにおいて、により目的の画像分類器を構築する手法が一般的になっその有効性が確認されている言語モデル BERT を用いている。本研究でも、既存のモデルを利用してフローて、請求項の構造を解析する。BERT の入力層に請求チャート画像の検出器を構築する。

項を入力し、出力層側で各単語（トークン）に対応す

本 研 究 で は、ImageNet（https://www.image-るタグを出力するよう学習する。なお、BERT のモデnet.org/） と 呼 ば れ る 大 規 模 画 像 デ ー タ セ ッ ト で 学

ルは、東北大学が公開している Pretrained Japanese

習された 7 つの畳み込みニューラルネットワーク

BERT models をそのまま用いた場合と、事前に大量（CNN） モ デ ル（VGG16、VGG19、ResNet50、の特許データを用いてファインチューニングをしたモデ

InceptionV3、DenseNet169、DenseNET121、ルの 2 種類で実験を行う。この他、自然言語処理におMobileNet） を 用 い て フ ァ イ ン チ ュ ー ニ ン グ に よ る

ける系列ラベリング問題で広く使われてきた条件付き確学習モデルを構築し、その有効性について実験によ率場（Conditional Random Field: CRF）でも実験をり 検 証 す る。 ま た、Baseline と し て、 深 層 学 習 ラ行い、提案手法と比較する。

イ ブ ラ リ で あ る Keras を 用 い て Conv2D が 3 層、MaxPooling2D が 2 層の CNN モデルを構築し、ファインチューニングによる手法と比較する。

3.4 フ ローチャート画像からの手順情報の抽出
フローチャート画像からの手順情報の抽出は、コン

3.3

要約からの手順情報の抽出

本研究では、要約を入力とし、図 4 に示すような構

264

ピュータビジョン向けライブラリ OpenCV（https://opencv.org）を用い、1. 輪郭の抽出、2. 輪郭の近似・座標情報の抽出、3. 形状の認識、4. 面積によるクラスた。評価は精度、再現率、F-measure を用いた。

タリング、5. 文字認識、6. フローチャートと本文の対実験結果応付けの 6 つの手順から構成される。
図 5 では、形状認識の際に形状ごとに色分けをしており、長方形は緑、楕円形は青、ひし形は赤で表してい実験結果を表 1 に示す。表より、今回構築した学習モデルの中では、精度では DenseNet121 が最もフローチャートの検出精度が高いことが分かった。

る。解析結果からわかるとおり、矩形領域、条件分岐を

表1８つのモデルによるフローチャートの検出精度

示すひし形、フローの最初と最後を示す楕円が正しく解

精度

再現率

F-measure

Baseline

0.85080.89020.8701の領域など、抽出すべきでない個所を誤って抽出してしVGG16

0.87500.97110.9205

まっている。

VGG19

0.92270.96530.9435ResNet50

0.86980.96530.9151

InceptionV3 0.9422

0.9422

0.9422

MobileNet

0.9326

0.95950.9459DenseNet169

0.95930.95380.9565

DenseNet121

0.96450.9422

0.9532

4.2

要約からの手順情報の抽出

実験データ
日本国特許の請求項 2456 件に対し、人手で head,proc, comp タグを付与し、さらにブロック間の依存関係を付与したデータを用いる。
図5

手順情報の抽出結果

実験方法
人手によるタグ付きデータのうち、3/4 を訓練用と

4

実験

提案手法の有効性を確認するため、フローチャート画し、残りの 1/4 を評価用に用いた。評価には、精度、再現率、F-measure を用いた。
比較手法

像の自動検出、請求項の構造解析、フローチャート画像

以下の 3 種類の手法で実験を行った。の解析に関する実験を行った。それぞれ、4.1 節、4.2•節、4.3 節で報告する。

BERT models をそのまま利用•

4.1

フローチャート画像の自動検出

実験データ

BERT（事前学習なし）: Pretrained Japanese

BERT（事前学習あり）：公開特許公報から任意に選択した 350 万文を用いて MLM タスクにより事前学習したモデルを利用

2018 年の公開公報から抽出した 7,099 画像に対• C
 RF（ベースライン手法）：前後 4 単語のユニグラし、人手で（1）フローチャート、（2）表、（3）構成図、ム、バイグラム、トライグラムを素性として利用（4）その他に分類したデータを用いる。
実験手法

実験結果
結果を表 2 に示す。表より、CRF と比べ、BERT（事3.2 節で述べたとおり、ImageNet で学習された 7前学習なし）が再現率を 0.09 以上向上させることがで

つの CNN モデルを用いて、ファインチューニングによきた。一方、BERT（事前学習あり）は、BERT（事前るフローチャート画像の検出器を構築した。Baseline学習あり）の精度を若干向上させることができたものの、として、Conv2D が 3 層、MaxPooling2D が 2 層のF-measure では BERT（事前学習なし）とほぼ同値と畳み込みニューラルネットワーク学習モデルを構築しなった。特許を用いた事前学習がそれほど解析精度の向YEAR BOOK 2O22 265

3
特許情報の高度な情報処理技術析されている。一方で、条件分岐が連続する個所の右側

上に大きく貢献しなかった理由のひとつは、事前学習に用いた文の多くは請求項ではなく明細から抽出してきた

5

おわりにからであろうと思われる。このため、文体が異なる請求

本研究では、日本国特許の要約および代表図面から手項に対して、大きな改善が見込めなかったためと考えら順情報を抽出し、さらに、特許に付与されている F ターれる。

ムと組み合わせることで、手順オントロジーを構築す表2る手法を提案した。実験の結果、フローチャート画像

請求項の構造解析精度

手法

精度

再現率

F-measureの検出では、DenseNet121 を用いてファインチュー

BERT( 事前学習なし )

0.773

0.867

0.817

ニングしたモデルで精度 0.9645 を達成した。請求BERT( 事前学習あり )

0.791

0.837

0.814

項の構造解析では BERT（事前学習なし）手法によりCRF( ベースライン手法 )

0.816

0.776

0.795

F-measure で 0.817 が得られた。また、フローチャー
ト画像からの手順情報の抽出では、精度 0.753、再現4.3 フ ローチャート画像からの手順情報の率 0.673 を達成した。

抽出
参考文献

実験データ
2018 年の公開公報から抽出した 37 画像（いずれ［1］Hearst, M. A., Automatic Acquisition ofもフローチャート）を用いる。これらの画像に対し、人Hyponyms from Large Text Corpora, in

手で 502 ノードの座標を判定した。なお、各座標はオ

Proceedings of the 14th International

ブジェクトの形状に関係なく、すべて矩形領域の座標とConference on Computational Linguistics,して近似的に判定している。

pp. 539-545, 1992.
［2］Kader, P. et al., A Multimodal Approach for

評価方法
出力結果と比較し性能を評価する。ノードの座標の一

Semantic Patent Image Retrieval. Patent

致度の評価尺度として精度と再現率を用いる。なお、シText Mining and Semantic Technologies

ステムの出力と人手のノードを比較する際、領域の重な2021, 2021.

る面積が 90% を超えた時、2 つのノードが一致したと［3］Piroi, F. et al., Overview of CLEF-IP 2013

判定する。また、比較手法としてクラスタリングをしな

Lab Information Retrieval in the Patent

い場合の精度、再現率を求める。

Domain, Information Access Evaluation.

比較手法

Multilinguality, Multimodality, and3.1 節で述べた 6 つの手順のうち、手順 4 においてVisualization. CLEF 2013. Lecture Notes

クラスタリングを行った場合（提案手法）とクラスタリ

in Computer Science, Vol. 8138. Springer,

ングを行わず、すべてのノードを抽出した場合（ベースBerlin, Heidelberg, 2013.
［4］新森昭宏他，手がかり句を用いた特許請求項の構造ライン手法）とで比較した。

解析 ,”情報処理学会論文誌 , Vol. 45, No. 3, pp.

実験結果
結果を表 3 に示す。表より、提案手法と比較手法を比べると再現率を低下させることなく高い精度を得るこ［5］難波英嗣，手順オントロジー構築のための特許請求とができたため、クラスタリングは有効であり、提案手

項の構造解析，情報処理学会第 138 回 IFAT 研究法の方が優れているという結果が得られた。

会，2020．

表3266

891-905, 2004．

フローチャート画像からの手順情報の抽出結果

精度

再現率

（1）提案手法

0.753

0.673

（2）ベースライン手法

0.693

0.673

3
特許情報の高度な情報処理技術
YEAR BOOK 2O22 267