言語処理学会 第25回年次大会 発表論文集 (2019年3月)

計算機科学論⽂における⼿法の利点・⽋点に着⽬した
データの構築と分析
白井 穂乃 1
1

井之上 直也 1,2

東北大学

2

鈴木 潤 1,2

乾 健太郎 1,2

理化学研究所 AIP センター

{hshirai, naoya-i, jun.suzuki, inui}@ecei.tohoku.ac.jp
1

はじめに論文の出版数が急増している．STM 協会の報告*1 によると，年間で 300 万を超える論文が出版されている．
出版数の増加によって，人手による論文の情報収集には限界が来ている．

図1: 利点・欠点の抽出イメージ

この状況を打開するため，学術論文から有用な情報を本研究では図 1 のような，手法とその利点・欠点の自自動で抽出する取り組みが行われている．例えば，分野に依存しない研究として，文献間の引用関係に基づいて，文献の重要度・技術のトレンドを自動的に解析する Citation Network [5] や，学術論文の各文を「背景」「先行研究」などに分類する Argumentative Zoning [14]がある．一方，分野に依存する研究として，生物医学分野の文献を対象として，タンパク質等の専門用語，タンパク質間の関係，物質とその副作用などを抽出する

BioNLP [3] がある．このような，論文から有用な情報を自動で抽出する取り組み，論文解析は盛んに行われており，Semantic Scholar [11] や Dr. Inventor [8] のよ動抽出を試みる．自然言語処理では，利点・欠点と似た概念として評判分析 (Sentiment Analysis) がある．よって，評判分析を論文で述べられている手法に対して適用する．適用するために，手法とその利点・欠点についてアノテーションスキームを定め，実際にアノテーションを行い，一致率を調査した．また，構築したアノテーションデータを用いて，タスクの難しさを検証するため，自動抽出実験を行い，結果に対して分析を行った．構築*2
したアノテーションコーパスは公開している．

データ構築

2

うなアプリケーションツールとして活用されている．
本研究では，計算機科学の分野の論文に対する情報抽出の問題を考える．そもそも，計算機科学の論文は，ある問題に対する先行研究の解決手法とその利点・欠点を論じ，新しい解決手法の提案を行う文書である．よって，計算機科学の研究者が新しい手法を提案する上で，先行研究の手法とその利点・欠点は全て追うべき情報である．冒頭で述べたように，論文が急増する中で，研究を効率化するために，手法の利点・欠点の情報を自動で取をする先行研究は我々の知る限りないため，自動抽出モデルの構築・評価のためのデータは存在しない．このため，アノテーションスキームを設計した．また，データを構築し，一致度を検証するために，人手によるアノテーションを行った．以降，アノテーションスキームとアノテーション実験について報告する．

2.1

アノテーションスキーム

手法とその利点・欠点をそれぞれ抽出するために，手得するツールが望まれると考える．
しかし，上述のような，論文を扱った先行研究では，手法とその利点・欠点の抽出は行われていない．例えば，前述の Citation Network や BioNLP は引用関係やエンティティの抽出を行っているのみで，手法の利点・欠点

法 TERM ラベルと手法の評価 Sentiment ラベルを定義した．それぞれのラベルの定義について説明する．

2.1.1

TERM

問題解決の手法に関する記述をアノテーションするた
めに，TERM というラベルを導入する．TERM は，モは抽出の対象として扱っていない．
*1 https://www.stm-assoc.org/2018_10_04_STM_Report_2018.

pdf

計算機科学論文における手法の利点・欠点の情報抽出*2 https://github.com/cl-tohoku/

scientific-paper-pros-cons― 1181 ―Copyright(C) 2019 The Association for Natural Language Processing.
All Rights Reserved.

デル・アルゴリズムといった仕組み，仕組みの持つ機

く，イントロダクションの節のみ扱う．これは，イント能，仕組みが動作する方法を表す名詞句に対して付与す

ロダクションは一般的に既存手法・提案手法について述るラベルである．例えば，例 (1) では，recursive neural

べられているためである．

network と AdaRNN はそれぞれニューラルネットワー

アノテーション実験を行なうにあたって，本研究ではクというモデルとその一種であるため，TERM ラベルをcoreference resolution がタイトルまたは本文に含まれ付与する．ている論文を選出した．coreference resolution（共参照(1) Weemploycompositionality

anovellayerinadaptive

multi-recursive

neuralnetwork, which is named as AdaRNN (Dong etal., 2014)．

解析）は自然言語処理の分野において長年研究対象になっているため，広い年代で様々な手法が提案されているためである．Google のカスタム検索を用いて，92 本の論文を選出した．選出した論文は 1999 年から 2017 年に出版された論文である．

また，論文の文書に述べられている全ての利点・欠点に

2.3

アノテーション実験ついて把握するため，一般的な手法の名前だけでなく，自動抽出のデータを構築するため，人手でアノテーシ限定詞を含む手法についても TERM として扱う．例えョンを行った．スキームが人間にとって理解でき，正確ば，例 (2) の Such approaches は TERM のラベルが付にアノテーションできるかを検証するため，複数人でア与される．

ノテーションすることで，その一致度について調査した．

(2) Such approaches have a number of disadvantages．
2.1.2

2.3.1

実験内容

2.2 節で述べた論文に対してアノテーションを行った．
自然言語処理を専門とする留学生 3 人にスキームについSentiment

TERM ラベルが付与された手法に対する評価を捉えるために Sentiment というラベルを導入する．て説明し，アノテーションを依頼した．
アノテーションの一致率について調査するため，1 つ

評判分析の先行研究 [7] に倣い，利点・欠点をポジテの論文につき 2 人がアノテーションするように割り当てィブ・ネガティブで表現し，極性のないニュートラルをた．また，アノテーションには brat [12] を用いてユー含めた POSITIVE，NEGATIVE，NEUTRAL の 3 種類

ザーインターフェースを作成した．

を Sentiment とする．ただし，Sentiment は TERM に

2.3.2

結果・考察

ア ノ テ ー シ ョ ン の 結 果 と 考 察 に つ い て 報 告 す る．

対する属性として付与する．

Sentiment は文内でのローカルな極性であり，TERMの含まれる文内で Sentiment を判断する．例 (3) におTERM のアノテーションについて，完全一致率は 24.0 %，部分一致を含む一致率は 38.2 % であった．

いて TERM である the whole-sentence-based classifier

一致率が低い結果となったため，不一致の事例を分析は，performs the best というポジティブな評価がされてしたところ，一方のアノテーターが TERM を付与したいる．よって，この TERM には POSITIVE ラベルを付箇所について，もう一方のアノテーターが付与しなかっ与する．

た事例が多く存在した．これは，文書中に含まれる単語(3)The

results

indicatethat

thewhole-sentence-basedclassifier

performs

thebest．

が TERM かどうか判断が難しかったためと考えられる．
例えば，joint inference や a learned cluster ranker が一方のみのアノテーションとしてみられた．

TERM が部分一致しているアノテーションについて

ま た， 例 (1) の TERM(recursive neural network ，は，名詞句でアノテーションすべき箇所が，正しくアノAdaRNN ) のように，単に問題解決手法の特徴，性質をテーションされていなかった．これは，アノテーション述べている場合，NEUTRAL ラベルを付与する．

スキームが作業者に正確に伝わっていなかったことが原

2.2

データ因として考えられる．具体的には，a simplified semantic

2.1 節で定義したアノテーションスキームを適用する

role labeling (SRL) framework のような修飾語を含むデータについて述べる．アノテーション対象とするのはTERM はアノテーションの範囲の不一致が見られた．

ACL anthology の論文である．ただし，論文全体ではな

また，TERM が完全一致したアノテーションについ― 1182 ―Copyright(C) 2019 The Association for Natural Language Processing.
All Rights Reserved.

表1: 文書セットごとの Sentiment の混同行列

表2: アノテーションデータの詳細

A,B Pos Neu Neg A,C Pos Neu Neg B,C Pos Neu Neg
Pos
720 Pos 1051 Pos
420Neu 3 78 10 Neu 1 100
9 Neu 2 72 13Neg
03 25 Neg
04 23 Neg
06 13(i) κ : 0.7031(ii) κ : 0.7044(iii) κ : 0.4903データ

sentence

POSITIVETERM
NEUTRAL

NEGATIVE

noisy
clean

1,872
2,058

254
255

1,102
1,100

116116

また，文書のスクリーニングと，アノテーションの修て，Sentiment の混同行列及びアノテーター間の一致度

正を人手で行ったデータも作成した．スクリーニングに(κ 統計量) を表 1 に示す．3 つの混同行列は 3 人のアついて，文・単語のトークン化が誤っている場合を修正

ノテーターを A, B, C とした時，各アノテーターがアした．アノテーションついては，TERM の範囲が名詞句ノテーションした文書セットの共通部分に対する結果での範囲であるように修正を行った．以降，この修正前後ある．の 2 つのデータセットをそれぞれ noisy データ・ clean

Sentiment について，TERM が完全一致している場合は一致率が高かった．Sentiment が一致しない原因として，ドメイン知識が必要な事例が存在することがわかデータとする．データの規模・ラベルの数は表 2 のとおりである．

3.3

実験設定った．具体的には，例 (4) の a graph representation が論文ごとに訓練・開発・テストを 8:1:1 に分割し，10NEUTRAL と POSITIVE でアノテーションが割れた．a

分割交差検証を行った．また，新しい論文に対して，過more adequate clusterization phase を獲得することが去の論文データでも対応できるか検証するため，最新年利点なのかどうか，ドメイン知識が必要なためと考えらである 2017 年とそれ以外の年のデータをそれぞれテスれる．

ト，訓練とする分割でも実験を行った．評価指標である(4) We argue that a more adequate clusterization

F 値は 10 分割交差検定の平均値で示す．ただし，テス

phase for coreference resolution can be obtained

トデータの F 値は開発データの F 値が最も高くなった

by using a graph representation．

エポックにおける結果を示す．

3.4

⾃動抽出実験

3モデル

ベースラインのモデルとして，NERtagger*3 を用いた．

自動抽出タスクとしてどの程度難しいかを検証するた

このモデルは Lample らの提案した，特徴量や言語に依め，ベースラインとなるモデルを構築し実験を行った．

存せずに固有表現抽出を行う BiLSTM-CRF モデル [6]3.1である．単語埋め込みベクトルとして，ACL Anthology

タスク設定

本研究では 1 文を入力として与え，TERM の位置とSentiment を出力するフレーズ抽出タスクとして定義

Corpus [1] で学習済みの word2vec を使用した．このモデルを Baseline モデルとする．

する．評価指標は，予測ラベルが正解ラベルと位置・ラまた，Baseline モデルに加え，1 Billion Word Bench-ベルともに一致した時のみ正解とし，F 値で評価する．

mark で訓練済みの ELMo [9] ベクトルを使用するモデ

3.2

ル (ELMo モデル) も用いた．

データ

2.3 節の実験で作成したデータを用いる．
ただし，2 人の3.5

実験結果・考察アノテーションを結合したデータを使用する．データの実験結果を表 3 に示す．実験結果について，ウィルコ結合は，できる限り多くの手法 (TERM) とその利点・欠クソンの符号順位検定を棄却域 5 % で行った．clean デ点 (POSITIVE, NEGATIVE) を採用する方法を用いた．

ータにおける ELMo モデルについて，他 3 つの結果と具体的には，TERM について，1 人がアノテーションして比較して精度に有意差があると示された．

いれば TERM とし，部分一致している場合については，最新年以外の clean データについて ELMo モデルで範囲が広い方を TERM として採用した．
また，Sentiment

訓練した結果，2017 年データの F 値は 42.69 % であが不一致の場合は，POSITIVE ・ NEGATIVE のラベルった．

を優先し，2 人がそれぞれ POSITIVE ・ NEGATIVE をモデルの予測結果から，タスクの難しさについて考アノテーションしている場合は NEUTRAL ラベルを採察する．以降，最も精度が高い clean データにおける用した．

*3 https://github.com/UKPLab/emnlp2017-bilstm-cnn-crf― 1183 ―Copyright(C) 2019 The Association for Natural Language Processing.
All Rights Reserved.

表3: 自動抽出実験の結果が提案されている．SemEval-2017 の評価タスクである

データモデルdev F1

test F1

ScienceIE [2] は複数ドメインの論文からフレーズと関

noisyBaseline
ELMo

44.48
47.79

43.69
48.60

係の抽出を行うタスクである．SemEval-2018 Task 7 [4]cleanBaseline
ELMo

50.70
54.23

49.79
52.35

ティティ同士の関係を分類するタスクを提案している．

は ACL Anthology Corpus の Abstract について，エン冒頭でも触れたが，自然言語処理の分野では，レビュ

ELMo モデルの予測結果を用いて述べる．ただし，例文

ー文章のドメインにおける観点付き感情極性分析が行わにおいて，下線の上付き文字を正解ラベル，下付き文字れている．例えば，SemEval-2015 Task 12 [10] は，ホを予測ラベルとして表記する．

テルやレストランの料理の価格やサービスの質などの定評価が明快な語が含まれている場合はモデルが予測で義した観点に基づいて評価分析を行うタスクである．まきている．例 (5) では，This approach に対して suitable

た，論文に対する評判分析では，文献内で引用しているという評価をしているため，モデルが TERM-POSITIVE

文献に対する著者の感情極性を解析する引用評価極性解ラベルを予測できたと考える.

析 (Citation Sentiment Analysis) [15] が行われている．

(5) T his approachTERM-POSITIVE
to feature engineerTERM-POSITIVE

5ing is suitable not only for knowledge-rich but also
for knowledge-poor datasets .

結論
本研究では，計算機科学論文における，手法の利点・欠点のアノテーションと自動抽出を試みた．今後の課題

しかし，手法を意味する単語を含まない場合，TERMとして，自然言語処理の論文以外で検証を行うこと，ドの予測は難しいため，偽陰性の誤りが生じている．例

メイン知識の必要な事例・新しい年の論文に対応した自(6) では，concept maps は TERM-POSITIVE が正解ラ動抽出モデルの構築に取り組むことが考えられる．

ベルであるが，モデルでは予測できていない．これは，concept maps には明示的に TERM を表す単語が含ま謝辞
本研究は，JST CREST (課題番号: JPMJCR1513)れていないためと考えられる．の支援を受けて行った．

(6) Several studies report successful applications of参考⽂献

concept mapsTERM-POSITIVE in this direction...
また，暗黙的な評価をしている場合は Sentiment の予測が難しいため，ラベル付与の誤りが生じている．例[1][2]えば，例 (7) では these approach は TERM-NEGATIVE
が正解ラベルであるが，モデルは TERM-NEUTRAL を予測している．require labeled training data という評価

[3]
[4]

が these approach にとって悪い評価であることを予測できないためと考えられる．

[5](7) While successful ，these approachesTERM-NEGATIVETERM-NEUTRAL[6]

require labeled training data ，consisting of men-[7]tion pairs and the correct decisions for them ．

[8]
[9]

4

関連研究

[10]

Tateisi ら [13] の研究は，情報科学論文に出現する用

[11]
[12]

語間の関係を構造化するためのタグ付けスキーマを提案[13]

している．また，自然言語処理分野の評価型ワークショ[14]

ップ SemEval では，論文ドメインでの情報抽出タスク[15]― 1184 ―Akiko Aizawa et al. “Construction of a New ACL Anthology
Corpus for Deeper Analysis of Scientific Papers”. In: SCIDOCA. 2018.
Isabelle Augenstein et al. “SemEval 2017 Task 10: ScienceIE- Extracting Keyphrases and Relations from Scientific Publications”. In: SemEval. ACL, 2017.
Louise Deléger et al. “Overview of the Bacteria Biotope Task
at BioNLP Shared Task 2016”. In: Proc. of the 4th BioNLPShared Task Workshop. ACL, 2016.
Kata Gábor et al. “SemEval-2018 Task 7: Semantic Relation Extraction and Classification in Scientific Papers”. In:SemEval. ACL, 2018.
Yuya Kajikawa et al. “Creating an academic landscape ofsustainability science: an analysis of the citation network”.
In: Sustainability Science 2.2 (2007).
Guillaume Lample et al. “Neural Architectures for Named
Entity Recognition”. In: Proc. of NAACL. ACL, 2016.
Bing Liu. Sentiment Analysis: Mining Opinions, Sentiments, and Emotions. Cambridge University Press, 2015.
Diarmuid P O’Donoghue et al. “Towards Dr inventor: a toolfor promoting scientific creativity”. In: ICCC. 2014.
Matthew Peters et al. “Deep Contextualized Word Representations”. In: Proc. of NAACL. ACL, 2018.
Maria Pontiki et al. “SemEval-2015 Task 12: Aspect Based
Sentiment Analysis”. In: SemEval. ACL, 2015.
Semantic Scholar. https://www.semanticscholar.org.
Pontus Stenetorp et al. “brat: a Web-based Tool for NLPAssisted Text Annotation”. In: Proc. of EACL. ACL, 2012.
Yuka Tateisi et al. “Typed Entity and Relation Annotation
on Computer Science Papers”. In: LREC. ELRA, 2016.
Simone Teufel et al. “Argumentative zoning: Information extraction from scientific text”. PhD thesis. Citeseer, 1999.
Abdallah Yousif et al. “A survey on sentiment analysis of scientific citations”. In: Artificial Intelligence Review (2017).

Copyright(C) 2019 The Association for Natural Language Processing.
All Rights Reserved.