特許請求項への改行の自動挿入
Automatic Insertion of Newline Characters to Patent Claim
豊橋技術科学大学工学部 情報・知能工学系研究員
PROFILE

太田貴久

2006 年豊橋技術科学大学大学院博士前期課程知識情報工学専攻修了。現在、同大学研究員。修士（工学）、言語処理学会会員、日本知財学会会員。2014 年度から特許版・産業日本語委員会委員。
t-ota@t-ota.com

1

はじめにけではない。
そこで、本研究では、請求項を読みやすくするために、明示的な改行が存在しない請求項に、改行を自動的に挿特許出願の際に提出する書類の１つである【特許請求入することを目的とする。本研究と同様に、特許請求項の範囲】は、特許を受けようとする発明を特定するための可読性向上を目的とした研究として新森らの研究 [2]に必要な事項が記載され、特許権の及ぶ範囲を定める重がある。新森らの研究では、請求項に頻出する特徴的な要な書類である。
【特許請求の範囲】では、発明が請求表現（「を備える、」など）をあらかじめ人手で用意する項ごとに記載されている（図１）。

必要があるが、本研究はそれらを必要としない手法を提案する。

ユーザとの対話の中で、ロボットが出力する、前記ユーザの発話に対する応答としての応答文を生成する情報処理装置において、<nl>
前記発話から、前記対話における、前記ユーザの2

改行の直前の表現について前記ロボットに対する状態を検出する検出手段と、<nl>

明示的な改行を含む請求項において、ほとんどの場合、前記検出手段により検出された前記状態に対応する言葉遣いで、前記応答文を生成する生成手段とを備えることを特徴とする情報処理装置。
図１

特許請求項の例（<nl> は改行）

改行は記述のまとまりごとに挿入される。ここで、「記述のまとまり」とは、発明の構成要素（図１の２行目）や公知技術（同１行目）である。これらの改行の直前に着目すると「において、」や「と、」といった表現がある。
本研究では、このような改行の直前に現れる、様々な分354

図１のように、請求項は基本的に「発明を１文で記述野の特許請求項で数多く現れる表現を「デリミタ」と呼する」という特許独特の言語的な特徴がある。そのため、ぶ。さらに、図１の３行目の途中に存在する「とを備え文長がきわめて長く、かつ、構文が複雑になる。特許にることを特徴とする」のような、発明の最後の構成要素おける産業日本語では、文を短く区切ることが推奨されと発明全体を表す表現をつなぐ表現もデリミタとする。ているが [1]、現在の請求項の性質上、文を分けること

ここで、このデリミタを「最終デリミタ」と呼ぶ。なお、は望ましくない。弁理士によっては、これを少しでもわ

最終デリミタは、図１のように必ずしも改行されるとはかりやすく（読みやすく）するために、発明の構成要素限らない。また、最終デリミタ以外のデリミタを「行末等の記述のまとまりごとに、請求項中に明示的な改行をデリミタ」と呼ぶ。

挿入することがある。改行を挿入することで、長文の中本研究では、明示的な改行を含む請求項について予の意味のまとまりを把握しやすくなる。しかしながら、備調査を行い、デリミタの形式的な特徴を分析した。そすべての【特許請求の範囲】で改行が挿入されているわの結果、デリミタには以下のような特徴があることがわ行末デリミタと最終デリミタを抽出する。ここで、行末⃝先頭形態素は、助詞・助動詞・読点のいずれかである

デリミタの抽出は、単純に先に述べたデリミタの特徴を⃝末尾形態素は、動詞・助動詞・読点のいずれかであり、備えた表現を抽出すればよいわけではない。例えば、改行の直前に現れる、「（構成要素）を具備し、」と「（既出本研究におけるデリミタは、これらの２つの条件を満の構成要素）を接続し、」という２つの表現を考える。

たす形態素列とする。なお、「デリミタ」という言葉はこのとき、前者の「を具備し、」はデリミタであるが、Suzuki らの研究 [3] でも用いられているが、本研究の後者の「を接続し、」はデリミタではない。後者の場合、デリミタとは異なるものである。

構成要素を接続すること自体が発明の特徴であるためで提案手法では、明示的な改行を含む請求項を用いてデある。この場合、デリミタは「、」（読点のみ）となる。

リミタの特徴を学習し、その結果を用いて、明示的な改本研究では、情報理論におけるエントロピーを用いる

行を含まない請求項のデリミタを抽出し、改行を自動的ことで、行末からどこまでの範囲がデリミタであるかをに挿入する。以後、本稿では、明示的な改行を含む請求判定する。具体的には、デリミタの条件をみたす行末に項を「改行形式請求項」、含まない請求項を「非改行形現れる表現を全て抽出し、以下に定義する表現 e の行式請求項」と呼ぶ。

末デリミタらしさ DNL (e)   が最大となる表現を行末デリミタとして抽出する。

3

DNL(e) = log2{len(e)+1}•HL(e)提案手法∑Pr(b ← e)log Pr(b ← e)

HL(e) = －2b

提案手法では、改行形式請求項のデリミタを利用して、こ こ で、len(e) は 表 現 e の 形 態 素 数 を 表 し、非改行形式請求項のデリミタを推定し、その直後に改行Pr(b ← e)   は、改行形式請求項の行末に現れる表現 eを挿入する。提案手法の概要を図２に示す。の直前に、文節 b が出現する確率を表す。

図２のように、提案手法は、はじめに改行形式請求項

トロピーを利用して抽出する。具体的には、最後の改行

start
明示的な改行を含むか否か？

さらに、提案手法では、最終デリミタも同様に、エン以降の形態素列から、以下に定義する表現 e の最終デNo

リミタらしさ DLast(e) が最大となる表現を最終デリミ

Yes

A.1

デリミタの抽出A.2

SVMによる行末デリミタの学習

B.1 最終デリミタの抽出
B.2

SVMによる行末デリミタの推定

C.1

改行の挿入

タとして抽出する。
index(e)DLast(e) = ──── •log2{len(e)+1}•{HL(e)+HR(e)}N∑Pr(e → b)log Pr(e → b)

HR(e) = －2bend

図２

改行の自動挿入手法の概要

ここで、index(e)   は抽出した表現の末尾形態素のインデックス（index(e)≥1 ）を表し、N は請求項の形態素数を表す。また、Pr(e → b)   は表現 e の直後に文節のデリミタを抽出し、その特徴を学習する（図２の A.1

b が現れる確率を表す。と A.2）。その後、この学習結果を利用して非改行形式

SVM による行末デリミタの学習（A.2）

請求項のデリミタを推定する（図２の B.1 と B.2）。最次に、前ステップで抽出した行末デリミタを用いて、後に、非改行形式請求項に改行を挿入する（図２の C.1）。

請求項に現れる表現の行末デリミタらしさをサポートベ

以下では、各ステップの詳細を説明する。

クターマシン（SVM）により学習する。本研究で用いデリミタの抽出（A.1）

た素性の一覧を以下に示す。

提案手法の最初のステップは、改行形式請求項から、⃝デリミタの表層文字列

YEAR BOOK 2O15 355

産業日本語関連かつ、文節の末尾と一致する寄稿集５かった。

⃝デリミタを構成する形態素の品詞価用の請求項から改行を取り除き、取り除いた改行をど⃝デリミタ先頭文節の程度復元できるかを確認した。今回、データを５分割⃝デリミタ先頭文節に係る文節し交差確認を行った。なお、SVM には LIBSVM[4] を⃝デリミタ末尾文節が係る文節使用し、カーネルは RBF、パラメータは C=25、γ =2―⃝デリミタ末尾文節が係る文節までの距離5⃝デリミタ末尾文節を跨ぐ係り受けの数間が一切手間をかけずに）にどの程度復元可能かを調べ最終デリミタの抽出（B.1）

るために、提案手法 C のジェプソン形式に関する処理

次に、非改行形式請求項の処理を説明する。非改行形とした。また、本実験では、人手でデータを与えず（人を行わず実験を実施した。実験の結果を表２に示す。

式請求項への最初の処理では、最終デリミタを抽出する。

表２では、IPC のセクションごとに結果を示している。

本ステップは、先の改行形式請求項からの最終デリミタ

また、表中において、候補数とは提案手法の B.2 で抽の抽出と同様の手順により、最終デリミタを抽出する。

出したデリミタ候補の数を表す。ここで、特許には一般

SVM による行末デリミタの推定（B.2）

的に複数の IPC コードが割り当てられるため、１つの次に、行末デリミタの推定を行う。本ステップでは，特許が複数の分野に属することがある。そのため、A ～前ステップで抽出した最終デリミタより前に現れる A.1

H の各分野の総計と全体の数は一致しないことに注意で抽出した行末デリミタのいずれかと一致する表現を行する。

末デリミタの候補として抽出する。その後、これらの候表２より、セクション C の再現率が他の分野と比較補に対して、A.2 で学習した SVM を適用し行末デリミして大幅に低いことが確認できる。セクション C は「化タを推定する。

学；冶金」分野である。そこで、セクション C の再現改行の挿入（C.1）

率が低い理由を詳しく調査した。その結果、化学分野に最後に、非改行形式請求項に改行を挿入する。具体的多く見られる 2 種類の表現に含まれるデリミタを正しには、前ステップで抽出したデリミタのうち、表１に示く抽出できていなかった。1 つ目は、「(1)…、<nl> (2)すジェプソン形式の請求項で用いられるデリミタの前に…<nl> (3)…からなる…」（<nl> が改行位置）や、「α現れるもの以外の直後に改行を挿入する。

≡… <nl> β≡… <nl>…」といった、構成要素や数式

表１：ジェプソン形式の請求項で用いられるデリミタにおいてに於いてに於てにあたりに当たりに当りであって（上記表現に加え、各表現の末尾に読点を結合したもの）4を箇条書きで記述している場合である。2 つ目は、「…は、<nl>…以上、<nl>…以下であり、<nl>…」のような、構成要素の条件が改行で区切られている場合である。
提案手法では、化学式や数式、箇条書きを解析していないため、構文解析に多くの誤りがある。そのため、こ実験

れらの原因を突き止めるためには、化学式や数式、箇条書きの解析を実装した上でより詳細な調査が必要である。
セクション C 以外の分野は、高い精度で改行を復元

4.1

改行の復元実験

本研究では、提案手法を２つの実験によって評価した。

因を調査した。その結果、以下の２種類の請求項で誤っ１つ目の実験では、請求項に元から存在した明示的な改た判定をしていた。１つ目は、「…と、…と、…を備え行を取り除き、それを復元可能か否か確認する。本実験

る…において、<nl>…は、…」のような、ジェプソン

では、2000 年から 2006 年に公開され審査請求がさ形式で記述された公知技術の構成要素の直後（下線部）れた特許から 20,000 件の公開公報をランダムに収集を誤ってデリミタと抽出していた。これによって適合率し、その中で明示的な改行を含む第１請求項 10,398が低下していた。２つ目は「…し、<nl>…し、<nl>件を対象とした。

…する…」のような、順次列挙形式（書き流し形式。処実験では、上記データを学習用と評価用に分割し、評356することができていたが、他の分野についても誤りの原理を順序的に記述する請求項の形式）で記述された請求

改行数
3,796
7,410
1,289
251
1,126
3,782
14,55912,81433,521

候補数
35,212
66,5239,341
2,141
11,67335,670121,895
105,830
293,723

項の動詞連用形の直後をデリミタとして抽出できなかった。これが原因で再現率が低下していた。

適合率0.780.780.74
0.740.740.75
0.830.820.80

5

再現率
0.820.820.60
0.870.80
0.840.850.840.83

F値
0.800.80
0.66
0.80
0.77
0.79
0.84
0.830.81

おわりに１つ目の問題については、実験では提案手法のステップ C.1 の処理を除外したためであり、問題にはならな

本研究では、特許請求項を読みやすくするために、改い。２つ目の問題については、請求項全体がどのような行を自動挿入する手法を提案した。提案手法では、弁理形式で記述されているかという情報を素性に加える事で士が請求項に記載した明示的な改行に着目し、それらを対応できると考える。

そのまま学習データとすることで、人手で用意しなければならないデータを最小限にした。本手法に対して実験

４．２ 人手による改行位置の評価実験を行った結果、化学；冶金分野以外の特許（特に自然言２つ目の実験では、自動挿入した改行位置が適切か語処理分野）では、高適合率・再現率で改行を挿入でき否かを人間が確認した。具体的には、人間が改行を挿入ることを確認した。今後、まだ十分な再現率を達成してし、それに対して提案手法がどの程度正しく改行を挿入いない化学；冶金分野への対応を中心に手法の改善を行できたかを確認した。なお、本実験の対象は、ランダムう。に取得した、1996 年から 2006 年に公開された自然言語処理に関する特許（IPC コード : G06F17/27 －参考文献28）100 件の第１請求項である。また、SVM の学習[1] 一般社団法人日本語特許情報機構 特許情報研究所，

は、実験１に用いた 20,000 件の特許を使用した。こ“特許ライティングマニュアル（初版）”，2013

こで、実験対象である自然言語処理に関する 100 件の[2] 新森昭宏，奥村学，丸川雄三，岩山 真，“手がかり

特許は、この 20,000 件に含まれていない。実験結果

句を用いた特許請求項の構造解析”，情報処理学会論を表３に示す。

文誌 45(3)，pp. 891 － 905，2004[3] Yusuke Suzuki, Hirofumi Nonaka, Akio

表３：人手による評価結果

適合率

再現率

F値

Kobayashi, Hiroyuki Sakai, Shigeru Masuyama,

0.97

0.97

0.97

“Extraction of Technology Terms from Patent

表３より、自然言語処理装置分野では、非常に高い精Specifications for Technology-Effect Type

度で改行を挿入することができた。ただし、この結果は、Patent Map Generation,” Proc. of the 25th

自然言語処理分野の請求項の構造が比較的平易であったInternational Technical Conference of Circuits/

ことが大きいと考える。具体的には、殆どの請求項が「○Systems, Computers and Communicationsと、△と、…とを備えた×装置」のような、「と、」で構(ITC-CSCC 2010), pp.725-728, Pattaya,成要素を連結するパターンであった。今回は、筆者自Thailand, 2010.

身の専門分野であったため自然言語処理分野を選択したが、今後、他分野での評価が必要である。

[4] Chih-Chung Chang, Chih-Jen Lin, “LIBSVM- A Library for Support Vector Machines” ,https://www.csie.ntu.edu.tw/~cjlin/libsvm/

YEAR BOOK 2O15 357

産業日本語関連

文書数
1,201
2,471
550
82429
1,298
4,136
3,789
10,398

寄稿集５

表２：改行復元実験の結果

IPCABCDEFGH
全体