手順オントロジー構築のための特許請求項の構造解析
Structure Analysis of Patent Claims for Construction of Procedural Ontology

中央大学理工学部経営システム工学科教授

難波英嗣

2001 年北陸先端科学技術大学院大学情報科学研究科博士後期課程修了。博士 ( 情報科学 )。東京工業大学精密工学研究所助手、広島市立大学大学院情報科学研究科准教授等を経て、2019 年より中央大学理工学部教授。自然言語処理、テキストマイニングの研究に従事。
nanba@kc.chuo-u.ac.jp103-3817-1883

ことがしばしばある。図１および図２は「fabricatingはじめにa semiconductor device（半導体装置の製造方法）」

ある特定の目的を達成するための一連の手続きを記しに関する米国および日本国特許の一例 であり、いずれたものを手順テキストと呼ぶとき、類似の手順テキストも「（1）forming a semiconductor film（半導体膜をの集合から抽出された典型的な手順が手順オントロジー形成する工程）」、「（2）implanting a dopant（ドーバである。本研究では、この手順オントロジーを構築する

ント不純物を導入する工程）」、「（3）patterning theことを目指し、その第一歩として、特許請求項の構造解

semiconductor film（半導体膜をパターニングする工析を行う。

程）」の３手順から構成されることがわかる。

オントロジーは、文献を検索したり高度な言語処理を行ったりするための有用な情報源として活用されているが、一般にオントロジーの人手での構築は非常にコストがかかる。このため、自然言語処理技術を用いて、テキcomprising the steps of:forming a semiconductor film(1) over a semiconductor
substrate;

ストデータベースからオントロジーを自動的に構築する

implanting a dopant(2) into a first region of the

様々な手法が提案されている。その多くは、上位下位関

semiconductor film where a resistance element is to

係や部分全体関係など、用語と用語の様々な関係の抽出を目的としたものである。例えば、用語の上位、下位関

be formed, a second region of the semiconductor film
where a gate electrode is to formed being not
implanted with the dopant; and係を抽出する代表的な手法としては、「A などの B」な

patterning the semiconductor film(3) to form the

どの定型表現に着目したものがあり、「パターン法」とresistance element of the semiconductor film with the呼ばれている［1, 3］。この場合、「などの」というパターンの前に出現する名詞句 A を後ろに出現する名詞句 Bの下位語として抽出される。また、名詞句間の関係だけでなく、動作（事態）に着目した研究も存在する。し［5］かしながら、幅広い分野の一連の手続きに関する知識をテキストから自動抽出し、それらを体系化する試みはほとんどない。
本研究では、特許から手順オントロジーを自動的に構築する手法を提案する。特許では、新しい技術や発明を説明するために、それを実現する手順を記載する

212

A method for fabricating a semiconductor device

dopant implanted, and the gate electrode of thesemiconductor film with the dopant not implanted,
before any step of implanting any dopant to beimplanted into the gate electrode.
図1

特許における手続きの記載例（米国特許）

るフローチャートと類似するものを検索する技術の需要

半導体基板上に、半導体膜を形成する工程(1)と、前記半導体膜の所定の領域に、ドーパント不純物を導入が出てきている。Starlinger ら［4］は、あるフローチャーする工程(2)と、トと別のフローチャートがどの程度似ているのかを算出

前記半導体膜をパターニングする(3)ことにより、前記ドするため、２つのフローチャート間の対応関係を取るーパント不純物が導入された前記半導体膜からなる抵抗様々な手法について検討している。

素子と、前記ドーパント不純物が導入されていない前記半導体膜からなるゲート電極とを形成する工程とを有すと捉え、手掛り語に基づいた請求項構造解析手法を提案

ることを特徴とする半導体装置の製造方法。
図2

新森ら［6］ は請求項の構造解析を修辞構造解析の一種している。日本語の請求項には、一般に「〜し、〜し、特許における手続きの記載例（日本国特許）〜した」のように処理を順序的に記述する順序列挙形式や、「〜と、〜と、〜とからなる、〜」のように、構成特許だけからこれらの情報を抽出しても、それが半導体要素を列挙する形で記述する構成要素列挙形式など、い装置の製造方法の典型的な手順になっているとは限らなくつかの特許固有の記述スタイルが存在する。新森らは、い。そこで，半導体装置の製造方法に関する複数の請求手がかり語と文脈自由文法を用いたルールを使い、日本項を集め、各請求項から手順を抽出し、それらの共通項語の特許請求項の解析を実現している。

を検出することで、半導体装置の製造方法の典型的な処

これに対し、本研究では、機械学習を導入した請求項理手順に関する知識を自動獲得する必要がある。このよの構造解析を目指す。近年では、自然言語処理の様々なうな一連の処理を行うための第一歩として、本稿では、タスクにおいて深層学習が導入され、その有効性が確認特許請求項の構造解析を行う。

されている。本研究でも、深層学習を用いた請求項の構造解析を試みる。さらに、新森らは、日本語の特許請求2項を解析対象としていたが、本研究では、日本語と英語関連研究の両方を対象とする。

近年、複数の類似した手順テキストから、共通手順を抽出する研究が行われるようになってきている。山肩ら［9］は、「肉じゃが」や「カルボナーラ」などのクエリを用いて検索した料理レシピ集合に対し、各レシピをそ3

特許請求項の構造解析

3.1

請求項の構造の調理手順を表したフローチャートに変換・統合するこ本研究では、図１や図２に示すような請求項をシステとで、典型的な調理手順（レシピツリー）を導出する手ムの入力とし、図３や図４に示すような構造タグ付きの法を提案している。さらに、典型的なレシピツリーと個々請求項を出力することを目的とする。図３および図４にのレシピを比較することで、個々のレシピの特徴を抽出おいて、工程の手順または装置の構成要素を示す文字列している。の前後に block タグと各 block タグの識別番号を示す［7］

料理レシピを対象にしたこの他の研究に、瀧本らid が付与される。ブロック間には依存関係があり、あのものがある。瀧本らは、複数の類似レシピから、そのるブロックの依存先は、block タグの link 属性として共通手順を抽出するタスクを、施設配置問題と捉えてい記述される。各 block タグ内の主要な内容を示す個所る。に comp または proc タグを付与する。comp タグはは、「バジルの育て方」などが記載された複構成要素を、proc タグは手順を、それぞれ示す。こう数の手順テキストから、その類似点と相違点を検出し、したタグを自動的に付与するシステムを構築するため、それをひとつのフローチャートとして自動的にまとめ、人間がタグを付与したデータを準備し、それを教師デー出力する手法を提案している。

タとして用いることで、機械学習ベースの請求項構造解

高木ら

［8］

フローチャートを対象とした関連研究もある。近年で析器を構築する。

は、myExperiment や SHIWA など、フローチャートを共有するサービスがはじまっており、これに伴い、あYEAR BOOK 2O2O 213

3

特許情報の高度な情報処理技術

ここで、個々の特許には新規性があるため、ひとつの1.

A

methodforlink="-1"><head>fabricating<blockaid="1"

semiconductor

device</head> comprising the steps of:<blockid="2"

link="1"><proc>forming

asemiconductor film</proc> over a semiconductor
substrate;<blockid="3"

link="1"><proc>implanting

adopant</proc> into a first region of the semiconductor
film where a resistance element is to be formed, a

本研究では、Lample ら［2］ の提唱する Bi-directional
LSTM-CRF を用いて自動タグ付与を実現する。図５を用いて、Bi-directional LSTM-CRF による米国特許請求項へのタグ付与の過程を説明する。入力として単語埋め込みを LSTM に与え、LSTM の記憶セルで離れた距離の依存関係をモデル化することで、各単語に対して固有表現タグ（head, proc, comp）を付与する。また

second region of the semiconductor film where a gate

この際、単に先頭の単語から順方向に解析する LSTM

electrode is to formed being not implanted with theだけでなく、最後の単語から逆方向に解析する LSTM

dopant; and<blockid="4"link="1"><proc>patterningtheを合わせた双方向 LSTM を使用することで高精度でsemiconductor film</proc> to form the resistanceの固有表現抽出を行う。本研究では、Bi-directional

element of the semiconductor film with the dopant

LSTM-CRF の実装のひとつである anaGo1 を利用し、

implanted,

andthegateelectrode

of

the

semiconductor film with the dopant not implanted,
before any step of implanting any dopant to be

各ブロック中の単語に対して head, comp, proc タグを自動付与する。

implanted into the gate electrode.
図3

米国特許請求項へのタグ付与の例<block id="2" link="1">半導体基板上に、<proc>半導体膜を形成する工程</proc>と、なお、請求項内の単語を単語埋め込みに置き換える際、米国特許については、国際特許（WO）1998〜 2017 年 の 英 語 概 要 2,560,234 件（1.3GB） をword2vec で学習したモデルを利用する。また、日本<block id="3" link="1">前記半導体膜の所定の領域に、国特許については、日本国特許 2004 〜 2016 年の<proc>ドーパント不純物を導入する工程</proc>と、日本語概要 11,318,066 件（3.3GB）を用いて学習

前記<block id="4" link="1"><proc>半導体膜をパターニしたモデルを利用する。

ングする</proc>ことにより、前記ドーパント不純物が導入された前記半導体膜からなる抵抗素子と、前記ドーパント不純物が導入されていない前記半導体膜からなるゲート電極とを形成する工程とを有することを特徴とする<block id="1" link="-1"><head>半導体装置の製造方法</head>。
図43.2

日本国特許請求項へのタグ付与の例

請求項の構造解析手法の提案

請求項の構造解析は以下の３つの手順から構成され

図5る。なお、手順１は米国特許請求項のみに適用する。日本国特許については、手順２から実施する。
（手順 1）請求項の複数ブロックへの分割
米国特許請求項を対象に、簡単なルールを用いて、請求項をブロックに分割する。米国特許の請求項のほとん i-directional LSTM-CRF を用いた米国特許請求項へのB
タグ付与の過程

この他、CRF でも実験を行う。CRF では、ターゲッ
トと成る単語および品詞から前後４単語（品詞）のユニグラム、バイグラム、トライグラムを素性とした。
（手順 3）ブロック間の依存関係の解析

どは、“：” や “；” や “；and” の前後でブロックに分

head タグを含むブロック以降、comp および proc割することができる。

タグが隣接するブロックで連続して出現する場合、それ（手順 2）各ブロックからの主要個所の抽出及び種類のらはすべて head タグにリンクする。もし異なる種類の判定

タグが出現する場合、そのブロックは、タグの種類が変各ブロック内における主要な個所（多くの場合、名詞句）に対し、head, proc, および comp タグを付与する。

2141

https://github.com/Hironsan/anago

わる直前のブロックにリンクする。

よび表３に示す。表に示すとおり、Bi-LSTM-CRF とCRF では、米国特許でも日本国特許でも、CRF の方がなお、手順３について、本来ならば、依存関係の解再現率、精度ともに高い結果となった。
Bi-LSTM-CRF と CRF はいずれも、proc タグの精度、proc タグが head に依存するケースが全体の 94.0%再現率、F 値が head や comp タグのものと比べて低（5580/5940）を占めており、機械学習の適用が難いが、これは訓練データの数が少ないことに起因するとしいと判断されたため、今回は以下に示すルールを用い思われる。米国特許と比べ、日本国特許の場合、procてブロック間の依存関係を解析する。

タグの付与精度が極端に低いが、これは言語固有の書き（ルール 1）head タグ以降、同じタグが連続する場合方の問題であると思われる。米国特許の場合、proc タには、それらのタグは head タグに係る。

グの先頭単語は動詞の ing 形で記載されることが多い。

（ ル ー ル 2）comp タ グ の 直 後 に proc タ グ が 出 現 し

実際に表３では、proc タグの直後の単語は forming,た場合には、その proc タグを含むブロックは直前のimplanting, patterning と、いずれも動詞の ing 形でcomp タグを含むブロックに係る。proc タグの直後にある。これに対し、日本国特許の場合は米国特許よりもcomp タグが出現した場合も同様。

表現が多様である。日本国特許では、例えば新森ら［6］が日本国特許請求項の解析の手がかりとして用いている

4「〜し、〜し、〜した」といった動詞の連続が出現すれ実験ば解析できる。しかし、図４のように proc タグの末尾提案手法の有効性を確認するため、上記手順 2 に関する実験を行った。

が「工程」の場合、この単語は動詞でもサ変名詞でもないため、この単語以前の文字列に proc タグを付与するのは容易ではない。

4.1

実験条件

proc のタグ付与精度が極端に低くなったこの他の原実験データ

因として、単語埋め込み表現の学習に用いたデータの問

米国特許および日本国特許の請求項 2456 件に対し、題がある。3.2 節手順２で述べたとおり、日本語の単語人手で head, proc, comp タグを付与し、さらにブロッ埋め込みは日本語概要から学習している。しかし、請求ク間の依存関係を付与したデータを用いる。表１に、請項は特許の中でもとりわけ特徴的な記述方式が用いられ求項 2456 件中の各タグ数の内訳を示す。

る。従って、単語埋め込みの学習に請求項だけを利用す

表1

タグ数の内訳ることで、日本国特許請求項のタグ付与精度が向上する

headcomp

タグ

proc

米国

1557

6061583

日本国

2298

6088

581

可能性がある。
表2

Bi-LSTM-CRF

実験方法
人手で作成したタグ付きデータのうち、3/4 を訓練用とし、残りの 1/4 を評価用に用いた。評価には、精度（P）、再現率（R）、F 値（F）を用いた。
比較手法
以下の 2 種類の手法で実験を行った。

4.2

実験結果および考察

CRF

PRF

PRF

head

0.85

0.86

0.85

0.89

0.89

0.89

comp

0.76

0.73

0.74

0.83

0.77

0.80

proc

0.52

0.37

0.43

0.64

0.39

0.48

平均

0.76

0.73

0.74

0.83

0.770.80

表3

head, proc, および comp タグ付与精度（日本国特許）
Bi-LSTM-CRF

・Bi-directional LSTM-CRF［2］・CRF

head, proc, および comp タグ付与精度（米国特許）

CRF

PR

FP

RF

head

0.84

0.85

0.84

0.86

0.870.87

comp0.770.78

0.780.82

0.790.81

proc

0.37

0.29

0.32

0.37

0.23

0.27

平均0.76

0.77

0.77

0.82

0.780.79

米国特許および日本国特許を用いた実験結果を表２おYEAR BOOK 2O2O 215

3

特許情報の高度な情報処理技術

析 も 機 械 学 習 を 用 い る べ き で あ る が、comp お よ び

5

おわりに

本研究では、米国特許および日本国特許の請求項を対構築・連携・利用」論文集，pp.27-30, 2007．
［6］新森昭宏，奥村学，丸山雄三，岩山真，手がかり句を用いた特許請求項の構造解析，”情報処理学会論

象 に Bi-directional LSTM-CRF お よ び CRF に よ り、

文誌，Vol.45, No.3, pp.891-905，2004．

請求項の主要部（head）、構成要素（comp）、手順（proc）［7］瀧本洋喜，笹野遼平，高村大也，奥村学，施設配置を抽出する実験を行った。実験の結果、米国および日問題に基づく同一料理のレシピ集合からの基本手順

本国特許の両方において、CRF の方が Bi-directionalの抽出，言語処理学会第 21 回年次大会発表論文集，LSTM-CRF よりも再現率、精度ともに高い結果となっ

pp.1092-1095，2015．

た。個別のタグに着目すると、日本国特許は proc タグ［8］高木優，藤井敦，手順テキストを対象とした比較対の付与精度が極端に低かった。この点については、例え

象要約，言語処理学会第 21 回年次大会発表論文集，

ば、単語埋め込みの学習に用いるデータを請求項のみにpp. 573-576，2015．

限定することで改善できる可能性がある。

［9］山肩洋子，今堀慎治，杉山祐一，田中克己，レシピ
フローグラフを介したレシピ集合の要約と特徴抽

謝辞
本研究は、科研費（19K12101）の助成を受けたものである。

参考文献［1］Hearst, M. A., Automatic Acquisition ofHyponyms from Large Text Corpora, inProceedings of the 14th International
Conference on Computational Linguistics,
pp.539-545, 1992.
［2］Lample, G., Ballesteros, M., Subramanian,S., Kawakami, K., and Dyer, C., NeuralArchitectures for Named Entity Recognition,
arXiv:1603.0136v3［cs.CL］, 2016.
［3］Roller, S., Kiela, D., and Mickel, M., Hearst
Patterns Revisited: Automatic Hypernym
Detection from Large Text Corpora,
Proceedings of the 56th Annual Meetingof t h e As s o c i a t i o n fo r C o mp u t a t ional
Linguistics, pp.358-363, 2018.
［4］Starlinger, J., Brancotte, B., Cohen-Boulakia,S., and Leser, S., Similarity Search for
Scientific Workflows, Proceedings of theVLDB Endowment, Vol. 7, No. 12, pp.11431154, 2014.
［5］乾健太郎，事態オントロジー：言語に基づく推論のためのコトに関する基本知識，言語処理学会第 13
回年次大会ワークショップ「言語的オントロジーの216

出，電子情報通信学会技術研究報告，DE 研第 1 種研究会 データ工学と食メディア，Vol. 113, No.
214, DE2013-36, pp.43-48，2013．

特許情報の高度な情報処理技術

3

YEAR BOOK 2O2O 217