技術文書中の図表と本文の自動対応付け
Automatic alignment of figures and tables with texts in technical documents

広島市立大学大学院

情報科学研究科准教授

難波英嗣

2001 年北陸先端科学技術大学院大学情報科学研究科博士後期課程修了。博士（情報科学）。東京工業大学精密工学研究所助手等を経て、2010 年より広島市立大学大学院情報科学研究科准教授。自然言語処理、テキストマイニングの研究に従事。
nanba@hiroshima-cu.ac.jp

1 はじめに082-830-1584

情報を考慮した情報抽出に関する関連研究について述べる。

近年、技術分野の専門分化と共に特許や論文等の技術文書数が爆発的に増加している。その一方で、技術者が2.1

論文読解支援そのすべてに目を通すことが困難になっており、技術文

Abekawa らは、論文のデジタル化の中で、PDF ファ書の内容を効率的に把握するための読解支援システムがイル内に、文書を理解する上で必要な論理構造を示す情求められている。

報が含んでいないことに着目し、PDF から必要な情報

これまでに、様々な観点から技術文書の読解を支援すを抽出するシステムである SideNoter について紹介しるシステムが提案されてきたが、本稿では、技術文書内ている［Abekawa 16］。SideNoter は三つの機能を与の図表に着目したシステムを構築する。図表は、技術文えている。一つ目は図表検索機能、二つ目は、関連部門書中の説明文の要点を表したものと捉えることができ、検索機能、三つ目は論文 1 ページごとの情報推薦機能

被験者に説明文だけを提示するよりも、図表とともに説である。本研究でも、論文をテーマとした研究で共通し明文を提示したほうが、内容の理解に有用であるというているが、論文内の図表を用いた文脈情報を考慮した文調査報告もある［岩槻 98］。本研究では、技術文書中のの抽出を行う点で異なる。

図表と、個々の図表に対応する文を自動的に対応付け、ユーザに表示することで読解の支援を行う。また、図表

2.2

技術文書マイニングと文の対応付けを「系列ラベリング問題」として、機械

難波らはある分野の特許と論文から、技術動向マップ学習を用いて解く。これにより、技術者が文献調査するを自動的に作成することを最終目標としている特許マイ際の労力・手間が改善し、円滑な研究の支援ができるよ

ニングタスクについて紹介している［難波 09］。このタうになると考えられる。

スクでは、「学術論文分類サブタスク」、「技術動向マッ

本稿の構成は以下のとおりである、2 章では関連研究

プ作成サブタスク」の 2 つのサブタスクを設定していを紹介する。3 章では図表に関連する文の自動対応付ける。このうちの学術論文分類サブタスクの成果として学について述べる。4 章では評価実験とその結果、考察を術論文自動分類システムを構築、紹介している。このシ述べる。5 章で本稿をまとめる。

ステムは論文の概要を入力すると、内容語（名詞、動詞、形容詞）を自動抽出し、それらの内容語を検索キー

228

2 関連研究ワードとして特許検索システムを用いて関連特許を検索

本章では、論文読解支援、技術文書マイニング、文脈れた IPC コードを抽出し、コード別にスコアを計算し、する。この際、検索結果上位 170 件の各特許に付与さスコアの高い順に出力している。
評価は、分類システムが出力した上位 n 件の分類コー
ドが、人手で付与した IPC コードをどの程度正しく抽ング問題と捉え、リカレントニューラルネットワークの一種である Long short-term memory（LSTM）を用いてラベルの自動付与を実現している。

出できているかによって調査し、再現率は検索結果上位

本稿では、ある図表に関連する一連の文を対応付ける、1 件で約 20%、上位 10 件で約 60% となった。このというタスクであり、系列ラベリング問題として解くこ結果を受けて、再現率のさらなる向上が必要ではあるが、とができる。ただし、Willot らの研究では、概要中の特許の検索初心者にとってはある程度有用であると述べ文集合のみが与えられるのに対し、本稿では、技術文書ている。本稿においても部分テキストの自動抽出を行う

中の文集合の他に図表そのものと図表のキャプションもが、図表に関連しているテキストのみを対象に抽出する同時に与えられる点が異なる。

らのものがある［福田 13］。福田らは論文および特許の3 図表に関連する文の自動対応付け

表題と概要を解析することで技術動向情報の可視化を目

3.1

技術動向情報の抽出、可視化を行っている研究に福田タスクの概要指している。一般に、論文と特許では、表現や形式が記本研究では結果を示す図表を入力として、その図表と述スタイルの面で大きく異なっており、ルールに対応付対応関係にある文章を自動的に抽出し、表示するシステけて解析することは難しい。そこで福田らはこの問題をムを構築する。例を図 1 に示す。

「要素技術とその効果を示すタグを付与」するという系列ラベリング問題として考え、機械学習を用いたタグの自動付与を行っている。ここでの要素技術とは、研究において使用されたアルゴリズムやツール、技術的手法の特許情報の高度な情報処理技術3という点で異なる。

ことを指し、その要素技術から得られる知見を効果とする。機械学習の素性として用いる要素技術や効果を示す手掛かり語のリスト作成する必要がある。そのため、福田らは手掛かり語のリストを網羅的に作成するために、係り受け関係や上位下位関係による人手での収集、さらに分布類似度を用いた語句の自動収集を行う手法を提案

図 1 表とその対応文（［Wu 11］より引用）
図 1：表とその対応文([Wu11]より引用)している。実験では、NTCIR-8 特許マイニングタスク

この例の場合、図 1 の上部にある表は Table 3 であのデータを実験データとして使用し、評価尺度には精るため、Table 3 の記載のある文と関連があると考え度・再現率・F 値を用いた。実験の結果、上記の素性をられる。さらに、キャプションだけでなく、表内の語句用いた提案手法がすべてのベースライン手法を上回ってや数値が含まれている文も表と関連していると考えられおり、提案手法の有用性を示した。本稿でも同様に、系る。特に表内の数値は結果に関するものが記載されてい列ラベリングによる文脈情報を考慮した文の抽出を行うることがあるため、重要であるといえる。

が、文脈情報だけでなく技術文書内の図表の情報も用いる点で異なる。

次に、図の場合の例を図 2 に示す。図においても表と同様に、Figure の記載のある文が対応関係にあると考えられる。また、図内の語句が用いられている文につ2.3

文脈情報を考慮した情報抽出いても、対応関係があると考えられる。

Willot らは論文概要の各文に対し、「背景」、「目的」、「手このように、技術文書中には図表に対応するテキスト法」、「結果」のラベルを自動付与する手法を提案していが必ず存在する。また、そのテキストは図表に対する説る［Willot 15］。Willot らは、論文概要中の各文に付与明等の言及をしている場合が多いため、対応文抽出は技されるラベルには、例えば「目的」→「手法」→「結果」のようにパターンがあると考え、このタスクを系列ラベリ

図

図 2：論文中の図とその対応文([Bach 11]より引用)術文書の内容を把握するのに重要だと考えられる。本研究ではこの図表に対応文の自動抽出を目的とする。

YEAR BOOK 2O18 229

図表LSCRLSTCRF図 2：論文中の図とその対応文([Bach 11]より引用)

図 2：論文中の図とその対応文([Bach 11]より引用)

3.2

システム概要本節では、本研究で構築するシステムの概要について説明を行う。本システムの流れは以下のようになる。
（1）技術文書中の図表番号の入力（2）図表画像の解析モジュール

図 3：論文中の表の例([Plank16]より引用)
図 3：論文中の表の例([Plank16]より引用)
図 3 論文中の表の例（［Plank16］より引用）（3）図表関連テキスト抽出モジュール（4）抽出結果の出力
本研究では、技術文書でも特に、英語で記述された自然言語処理分野の学術論文を対象にする1。本システムの入力には Abekawa ら［Abekawa 16］の研究によって XHTML 形式で出力された ACL Anthology の論文

図 4 図 3 の文字認識結果
図 4：図 3 の文字認識結果

図 4：図 3 の文字認識結果

データを用いる。3.3 節では、図表画像解析モジュールについて、3.4 節では、図表関連テキスト抽出モジュー

図1：表とその対応文([Wu 11]より引用)ルについて説明を行う。に論文中の表の例を、図 4 にその解析結果を示す。
図 5： 論文中の表とその対応文([Plank 16]より引用)
図 4 から、図 3 の Table 4 内の文字列がテキスト形〔7〕式に変換されていることが分かる。また、この解析ではテキスト内の単語の位置情報を獲得することができる。
この位置情報を用いることで、例えば、「数字が規則正しく並んでいたら結果を示している図表」というような推測が可能になる。本研究では図表の対応文抽出を行う
際に、この画像の解析結果を用いることで、図表内の情報を考慮したシステムの構築を目指す。
図 6：基準文と対応文の分布

3.4
図表関連テキスト抽出モジュール
表 1：図表と本文の自動対応付け実験結果

本節では、学術論文内の図表に関連のあるテキストを精度再現率F値抽出するモジュールについての説明を行う。ここでの、
LSTM
0.65
0.13
0.33

CRF (baseline)
0.39
0.230.29
図表に関連のあるテキストとは、その図表に対しての言
図 2 論文中の図とその対応文（［Bach11］より引用）
図 2：論文中の図とその対応文([Bach11]より引用)

及、または図表内の用語についての説明がある文章（文の集合）のことである。図表とテキストの最も単純な対

3.3

図表画像の解析モジュール

応関係は、テキスト内に図表のキャプション名（Figure

本節では、図表中画像を解析し、図表中の文字・数1、Table 2 等）が含まれているかどうかとなる。しか値 情 報 を 抽 出 す る モ ジ ュ ー ル に つ い て 説 明 を 行 う。

し、実際にはキャプション名が含まれている文のみが対Abekawa らは PDF 形式の論文ファイルから、論文表応関係にあるというケースは少なく、キャプション名の図3：論文中の表の例([Plank 16]より引用)
題、概要、著者名、節情報、参考文献等の論文の構造を含まれているテキストの前後にわたって対応関係にある抽出し、XHTML 形式で出力しており、図表はすべてテキストが連なっていることが多い。図 5 に図表と対png 形式で統一されている［Abekawa 16］。本研究で応文の例を示す。

はこの XHTML ファイルを用いて画像解析を行う。画

図 5 の 例 の 場 合、Table 4 の 記 載 の あ る テ キ ス

像解析には Google Cloud Vision API を用いる。図 3

ト が 対 応 文 と な る が、 こ の 対 応 文 に 続 く 文 が “Ourchunking” で始まっている。“Our” で始める文はその図3 の文字認識結果
1 4：図
図表とテキストの対応付けに、言語依存およびジャンル依存の情報を用いていないため、本稿で提案する手法は、日本語で記述された文書や特許などにも用意に適用できると考えられる。

230

研究における提案手法を指している場合が多く、結果を示す図表と対応していることが考えられる。この他に、“The result ～” のように、“The” で始まる文が対応文〔7〕〔7ることが重要だといえる。
そこで、本研究では文脈情報を考慮した対応文抽出を自動で行うために、対応文抽出を系列ラベリング問題として解き、リカレントニューラルネットワークの一種である Long short-term memory（LSTM）を用いて解決する手法を提案する。

4 実験に続いている場合は、それらの文も対応づいている場合

本章では、提案手法の有効性を確認するために行ったが多いことが分かっている。また、Table 4 のキャプ実験と結果について述べる。4.1 節では実験設定、4.2

ション名に “Baseline model” という語句が入ってい節では実験結果及び考察について述べる。

る。そのため、“Baseline model” から始まっている文も図表との関連が考えられる。さらに、この表に 3.3

4.1実験設定節で述べた画像解析を行うと、Table 4 内に Suzuki

実験データand Isozaki という語句があることが分かる。このこ

本研究では、実験データとして ACL Anthology をとから、Suzuki
and Isozaki という語句が含まれる文
図6：基準文と対応文の分布用いた。ACL Anthology は自然言語処理分野および計も Table 4 に関連しているのではないかと考えられる。

算言語学分野の論文を収集したもので、年々データ量は表
1：図表と本文の自動対応付け実験結果同様に、図表内の数値が含まれている文もその図表との増加している。本研究では、そのうち自然言語処理分野

精度再現率
F値関連があると判断できる。このように、単純なTable、の論文 31,812 件を取り扱う。

LSTM
0.65 節の画像解析や前後の0.13
0.33
Figure の有無だけでなく、3.3

ACL Anthology の論文群は PDF 形式で出力されてCRF(baseline)
0.390.230.29
文脈を考慮することで、より多くの対応文を抽出するこいるが、このままでは形式の違いから図表の解析に用とができると考えられる。

いることができない。そこで、Abekawa らは、ACL

そこで、本研究では最初に出現したキャプション名

Anthology の PDF ファイルから論文の構造を抽出し、の入っている文を「基準文」とし、基準文の前後の文脈XHTML 形 式 で 出 力 す る こ と に 成 功 し た［Abekawaを考慮した対応文抽出を行う。人手で対応付けがされた

16］。これにより、図表は png 形式、テキスト部分が290 件の論文データにおいて、基準文と対応文の分布XML 形式で統一されているため、解析に用いることがを調査したグラフを図 6 に示す。

できるようになっている。図表は全部で 417,237 件

図 6 の横軸の 0 が基準文となっており、そこから正の方向が基準文の後ろ、負の方向が基準文の前の対応文ある。本研究ではこの XHTML 形式に変換されたデータセットを用いて実験を行う。となっており、縦軸はその数である。図 6 から、基準正解データには、人手で図表とテキストの対応付けを文の前後、特に基準文の後ろの文が対応文となっている行ったデータを用いる。論文中の各図表について、その場合が多く、対応文抽出においては、文脈情報を考慮す
図 5： 論文中の表とその対応文([Plank 16]より引用)

図表について述べていると判断された文をすべて選択してもらい、リストとした。結果として 290 件の図表と、それに対応している文のリストを用意した。
実験条件
本実験では、データ数が少ないことから、5 分割交差検定により実験を行った。最初にキャプション名（Table〔7〕1、Figure 2 等）が出現した文にタグを付与し、このデータに LSTM を適用することにより学習を行った。具体的には、これらのタグを付与したデータを、まず 100

図 6 基準文と対応文の分布
図 6：基準文と対応文の分布表 1：図表と本文の自動対応付け実験結果
精度再現率F値

YEAR BOOK 2O18 2313

特許情報の高度な情報処理技術

図 5 論文中の表とその対応文([Plank
論文中の表とその対応文（［Plank 16］より引用）
図 5：16]より引用)して 300 次元のベクトルにする。このベクトルに対し、

5 おわりに各次元の最大値を計算した結果として得られる 300 次

本稿では、論文中の図表に対応づいている文を自動的

元のベクトルを LSTM 関数に入力する。LSTM 関数のに抽出する手法を提案した。4.2 節の実験により、提案出力に線形関数を適用し、最も値の大きい次元に対応す手法では精度 0.65 を得た。比較手法の精度 0.39 とるラベルを予測ラベルとする［石野 17］。

比べて、0.26 ポイント向上させることができ、提案手次元の実数ベクトルに変換し、次に畳み込み関数を適用

本実験では、ベースライン手法として条件付き確率場法の有効性を確認することができた。

（CRF）を用いて同様の実験を行う。窓枠は 4、素性は前後 4 語の uni、bi グラムとした。

参考文献

評価尺度

［Abekawa 16］ Abekawa, Takeshi, and Akiko

図 5： 論文中の表とその対応文([Plank 16]より引用)

CRF 及び LSTM を用いた実験では、評価尺度として精度、再現率、F 値を使用する。

A i z a w a ： S i d e N o t e r :    S c h o l a r l y P a p e rBrowsing System based on PDF Restructuring
and Text Annotation, the 26th International

4.2

実験結果

Conference on Computational Linguistics,

4.1 節で述べた図表と本文の自動対応付け実験の結（2016）.

果を表 1 に示す。表 1 より、LSTM を用いた手法は［Bach 11］ Ngo Xuan Bach, Nguyen Le

CRF と比べ、再現率が 0.1 程度低くなっているが、精Minh, Tran Thi Oanh, and Akira Shimazu:

図 6：基準文と対応文の分布度は0.26 高くなっており、提案手法の有効性を示すこLearning Logical Structures of Paragraphsとができたと考えられる。

in Legal Articles, Proceedings of the 5th

表 1：図表と本文の自動対応付け実験結果
精度

International Joint Conference on Natural

F値

再現率

LSTM

0.65

0.130.33

CRF (baseline)

0.39

0.230.29

表1用)

図表と本文の自動対応付け実験結果

Language Processing, pp.20-28,（2011）.
［福田 13］ 福田悟志，難波英嗣，竹澤寿幸 : 論文と特許からの技術動向情報の抽出と可視化，情報処理学会論文誌

4.3

考察

Vol. 6, No. 2, pp.16-29,（2013）.

本節では、4.2 節の実験結果に対する考察を行う。4.2［石野 17］石野亜耶，難波英嗣，竹澤寿幸 : Twitter を

節の表 1 より、ベースライン手法よりも提案手法の精利用した旅行計画者の行動分析、観光情報学会 第度が高くなっているが、再現率に関しては低い値となっ16 回研究発表会，（2017）.てしまっている。原因の一つとして、データ数が少な［岩槻 98］岩槻恵子： 説明文理解における要点を表す

く、LSTM による学習が十分でないということが考え

図 表 の 役 割、 教 育 心 理 学 研 究．Vol. 46, No. 2,られる。これは、人手による正解データを増やすことでpp.142-152,（1998）.

改善することができる。そして、もう 1 つの原因とし［難波 09］ 難波英嗣，藤井敦，岩山真，橋本泰一：論て、タグの数が少ないことが考えられる。本研究では、

文と特許を対象にした技術動向分析、第 7 回、第最初に出現したキャプション名の入っている文にのみタ8 回グを付与している。しかし、キャプション内の語句や図スク，情報管理 Vol. 52, No. 6. pp. 334-342,

表内の数値の有無は対応文抽出において重要な手掛かり（2009）.

〔7〕

NTCIR ワークショップ

特許マイニングタになると考えられる。“The” や “Our” などの図表の対［Plank 16］Barbara Plank: Keystroke dynamics

応文に多く用いられている語句も多く存在すると考えら

as signal for shallow syntactic parsing, the 26th

れる。これらの要素についてもタグを付与することで精International Conference on Computational

度、再現率を向上させることができるのではないかと考Linguistics,（2016）.

えられる。

232

データベース［Willot 15］ Paul Willot, Kazuhiro Hattori, andAkiko Aizawa: Extracting Structure from
Scientific Abstracts Using Neural Networks,
In Proceedings of the 17th Asian Digital
Library Conference（ICADL 2015）, pp. 329330,（2015）.
［Wu 11］ Xianchao Wu, Katsuhito Sudoh,
Kevin Duh, Hajime Tsukada, and Masaaki

3

Nagata: Extracting Pre-ordering Rules

特許情報の高度な情報処理技術

from Predicate-Argument Structures,
Proceedings of the 5th International
Joint Conference on Natural Language
Processing, pp.29-37,（2011）.

YEAR BOOK 2O18 233