論述構造解析におけるスパン分散表現〜背景について厚めに〜
栗林樹生1,2

大内啓樹3,1

Paul Reisert3
1東北大学

井之上直也1,3,4

三好利昇5

2Langsmith株式会社

鈴木潤1,3

乾健太郎1,3
3理化学研究所

4出版時: Stony Brook University 5日立製作所※本発表時点での所属とは一部異なる

2021/3/20

言語処理学会20211

概要
論述構造解析におけるスパン分散表現
論述的文章の談話構造を予測．

1つ以上のトークンから構成

議論マイニングにおける基礎される言語単位に対する分散表現

解析技術．
claim

本研究では

supportI believe that city
provides morework opportunities
than coutryside.

premiseThere are not only
more jobs, but they
are also well-paid.

このタスクで

3/20/21

論述単位
と呼ばれ
る節や文

スパン分散表現
エンコード
I believe that city
provides morework opportunities
than coutryside.

There are not only
more jobs, but they
are also well-paid.

を工夫する

言語処理学会20212前置き: 本論文の軌跡
2017 (B4)4月

12月

一周目 (本研究)研究室 (当時乾・岡崎研) NL研(予備分析)に配属

2018 (M1)
3月

9月

12月

3月

NLP2018

AAAI→reject

NAACL long→reject

ACL short→accept(予備分析)

2020 (D1)…

4月
自然言語処理投稿

3月
論文賞(実験・分析追加)二周目 (word order)l

研究室に配属されて一周目の研究（主にB4~M1）-

文脈の解析（談話処理）が難しいらしい @B4の基礎勉強会

三周目 (cognitive modeling)前置き: 本論文の軌跡
2017 (B4)4月

12月

一周目 (本研究)研究室 (当時乾・岡崎研) NL研(予備分析)に配属

2018 (M1)
3月

9月

12月

3月

NLP2018

AAAI→reject

NAACL long→reject

ACL short→accept(予備分析)

2020 (D1)…

4月
自然言語処理投稿

3月
論文賞(実験・分析追加)二周目 (word order)l

研究室に配属されて一周目の研究（B4~M1）-l

三周目 (cognitive modeling)

文脈の解析（談話処理）が難しいらしい @B4の基礎勉強会
共著外ですが関連して宣伝:論述への説明性の高いフィード
現在も研究活動の関心の根は談話に（手前味噌ですが宣伝） P-2
バック提示に向けたコーパスの試作

-

[内藤+]
談話構造解析（接続・論理的つながり）: 本研究
主題構造・とりたて：E7-1 人と言語モデルが捉える文の主題 [藤原+, 第二著者]，ACL2020 Kuribayashi+ (word order)
情報構造に関する分析を含む：P4-1 日本語の読みやすさに対する情報量に基づいた統一的な解釈 [筆頭]
物語中のイベントの顕現性：E7-4 物語におけるイベントの顕現性推定と物語類似性計算への応用 [大竹+, 共著]
文章処理の認知モデリング：C2-3 予測の正確な言語モデルがヒトらしいとは限らない [筆頭]， P4-1

NNモデルの中の言語を解像度高く分析・解釈するために
A7-2 Transformerの文脈を混ぜる作用と混ぜない作用 [小林+, 第二著者], EMNLP2020 Kobayashi+ (norm, not weight),
D3-4 事例ベース依存構造解析のための依存関係表現学習 [大内+, 共著]

推敲支援・社会実装：P9-15 Langsmith: 人とシステムの協働による論文執筆 [伊藤+, 第二著者], EMNLP2020 Ito+ (the Langsmith)
学振DC1：テクストの数理的モデリングと、数理モデルを通したテクストらしさの解明への挑戦

前置き: 本論文の軌跡
2017 (B4)4月

12月

一周目 (本研究)研究室 (当時乾・岡崎研) NL研(予備分析)に配属

2018 (M1)
3月

9月

12月

3月

NLP2018

AAAI→reject

NAACL long→reject

ACL short→accept(予備分析)

2020 (D1)…

4月
自然言語処理投稿

3月
論文賞(実験・分析追加)二周目 (word order)l

国際会議で二度reject-

アップデートし続けることが大事？諦めたらそこで試合終了？
共著者陣のガッツに学んだ．

-

META REVIEWER (ACL2019):
I wonder if this should be a long paper, without the appendix…

三周目 (cognitive modeling)背景: 議論マイニング（Argument mining）
議論（論述文・ディベートなど）の解析を行うNLPの一分野
科学的興味: 議論や説得の仕組みをデータドリブンに分析
応用的興味: 議論の集約・意思決定の支援 (”why”のmining)2021/3/20

言語処理学会2021

6背景: 議論マイニング（Argument mining）
議論（論述文・ディベートなど）の解析を行うNLPの一分野
科学的興味: 議論や説得の仕組みをデータドリブンに分析
応用的興味: 議論の集約・意思決定の支援 (”why”のmining)

推定100億ドルの市場があるらしい[Lawrence&Reed, 2019]

ディベートの自動化
Argumentation

IBMのproject debater teamが52の関連論文

意見の集約

theory[Reimers+,2019][Dexenberger+, 2020], …

Discourse andpragmatics
Opinion mining

https://www.research.ibm.com/artificialintelligence/project-debater/how-it-works/

議論の質の評価…

[Wachsmuth+, 2017][Gretz+,
2020][Paul+, 2019],…
https://www.argumentsearch.com/

2021/3/20

言語処理学会2021

7背景: 議論マイニング（Argument mining）
議論（論述文・ディベートなど）の解析を行うNLPの一分野
科学的興味: 議論や説得の仕組みをデータドリブンに分析
応用的興味: 議論の集約・意思決定の支援 (”why”のmining)

推定100億ドルの市場があるらしい[Lawrence&Reed, 2019]

ディベートの自動化
IBMのproject debater teamが52の関連論文

Argumentation

意見の集約

特に構造の解析が盛んだった時期

theory[Reimers+,2019][Dexenberger+, 2020], …

Discourse andpragmatics

1 workshop 2013
st

~2018

https://www.research.ibm.com/artificialintelligence/project-debater/how-it-works/

Opinion mining

議論の質の評価…

研究方向の多様化:
論述の生成, 言語・ドメイン横断的研究，より高度な
アノテーションなど．

[Wachsmuth+, 2017][Gretz+,
2020][Paul+, 2019],…
https://www.argumentsearch.com/

ちなみにsentence-BERT [Reimers&Grevych,2019] もargument miningの文脈 [Reimers+,2019] で登場
2021/3/20

言語処理学会2021

8背景: (典型的な) 論述構造解析
Argument miningにおける基礎解析タスク・技術
論述単位 (談話単位) の論述における役割，単位間の関係を同定

I believe that city provides more work
opportunities than coutryside. There are not
only more jobs, but they are also well-paid…

attackattacksupportI believe that city
provides morework opportunities
than coutryside.

There are not only
more jobs, but they
are also well-paid.

Of course living
in a city is more
expensive,

but incomesare higher too.

claim

premisepremisepremise

得られた構造は，例えば論述文の質の評価などの後段タスクで活用される[Stab&Gurevych, 2016] [Nguyen&Litman, 2018]
2021/3/20

言語処理学会2021

9背景: (典型的な) 論述構造解析
Argument miningにおける基礎解析タスク・技術
論述単位 (談話単位) の論述における役割，単位間の関係を同定

I believe that city provides more work
opportunities than coutryside. There are not
only more jobs, but they are also well-paid…
論述関係の同定と論述単位（境界）関係タイプ分類の同定．
解析済みとする．

attackattacksupport

論述単位
タイプ
2021/3/20

I believe that city
provides morework opportunities
than coutryside.

There are not only
more jobs, but they
are also well-paid.

Of course living
in a city is more
expensive,

but incomesare higher too.

claim

premisepremisepremise

得られた構造は，例えば論述文の質の評価などの後段タスクで活用される[Stab&Gurevych, 2016] [Nguyen&Litman, 2018]

論述単位の同定（本研究では同定済みとする）
言語処理学会2021

10背景: (典型的な) 論述構造解析
議論学の知見を踏まえたアノテーション方針
Toulmin 1958

Freeman 1991

Klein 1980

counter-rebuttal

recursive nature

Grewendrorf 1980

representation of opponent (attack)

RSTとの違いは？

[Peldszus&Stede,2013][Stede+,2016]

交差を許す依存構造木
論述単位タイプ: (MajorClaim), claim, premise
論述関係タイプ: support, attack, (undercut)

よりリッチな情報を付与する
研究 [Carlie+,2018][Egawa+,2019]など，
木構造を仮定しない研究もある

supportattacksupportattackLarge events
that stir national
or international
attention attract
many visitors,

and nothing will
get Berlin out of
its financial jam
more than a lotof spending
visitors.

Hence theMayor of
Berlin ought
to keep thehandles for …

Of course a higher
federal subsidy
would be evenbetter for Berlin’s
coffers

but youshouldn’t
botherhopingfor that.

premisepremiseclaim

premisepremise[Niculae+,2017]など

言語処理学会2021

11予備分析: マクロな構造 [Kuribayashi+, 2017]
関係予測の手がかり: 典型的なマクロな構造の存在
attackattack

I believe that city
provides morework opportunities
than coutryside.

Of course living
in a city is more
expensive,

but incomesare higher too.

claim

premisepremise

例えば，主張に対する対立意見に言及した場合，その対立意見は反論し返されるのが自然(Freeman’s concept of counter-rebuttal)

2021/3/20

言語処理学会2021

12

予備分析: マクロな構造 [Kuribayashi+, 2017]attack少

claim

supportpremisesupport

少

claim

claim

supportpremisesupport少premisepremise

対立意見を補強することは少ない
supportpremise深すぎる serial argumentもない
attackattackpremisesupportpremise多claim

premisepremise

根拠よりも主張に対して直接対立意見をあげることが多い

2021/3/20

言語処理学会2021

13

仮説：文章全体の（大域的な）情報を考慮する必要があるl

前提: 各論述単位の親（関係）を当てる部分問題に分解して解く
どれが親か？

論述単位A

2021/3/20

どれが親か？

論述単位B

どれが親か？

論述単位C

言語処理学会2021

14

仮説：文章全体の（大域的な）情報を考慮する必要があるl

前提: 各論述単位の親（関係）を当てる部分問題に分解して解く
どれが親か？

論述単位A

l

どれが親か？

論述単位B

どれが親か？

論述単位C

問題点: 文章全体の大域的な情報を加味すべき問題であるにも関わらず，既存手法ではスパン（論述単位）表現
としてスパン内の局所的な情報のみが用いられる傾向

2021/3/20

言語処理学会2021

15

仮説：文章全体の（大域的な）情報を考慮する必要があるl

前提: 各論述単位の親（関係）を当てる部分問題に分解して解く
どれが親か？

論述単位A

l

どれが親か？

論述単位B

どれが親か？

論述単位C

特に本タスク（というか談話
問題点: 文章全体の大域的な情報を加味すべき問題であるに構造予測タスク全般）は学習データが少ないため、も関わらず，既存手法ではスパン（論述単位）表現
マクロな傾向をデータのみから捉えることに限界
としてスパン内の局所的な情報のみが用いられる傾向がある可能性l

スパン表現をエンコードする際，大域的，談話的な文脈を積極的に取り込みたいroot
2021/3/20

論述単位A

どんな関係をもつか？

論述単位B

論述単位C

対立側

自分側

論述単位D
言語処理学会2021

16

関連研究: 高次の特徴量を考慮した交差を許す
依存構造解析 (high-order non-projective dependency parsing)l

高次の情報（関係間の関係）を考慮する- second-order non-projective maximum spanning tree decoding(NP困難) を近似 [McDonald&Pereira, 2006],[Carreras, 2007]…

- parsing historyを考慮 [Yamada&Matsumoto, 2003] [transition-based parsing全般] [pointer network系]…
- ニューラルモデルに高次の特徴を考慮する機構を明に追加 [Pei+, 2015] [Lee+, 2018]…

?
They

2021/3/20

sold

?

Manga

in

the

U.S.

言語処理学会2021

17

関連研究: 高次の特徴量を考慮した交差を許す
依存構造解析 (high-order non-projective dependency parsing)l

高次の情報（関係間の関係）を考慮する- second-order non-projective maximum spanning tree decoding(NP困難) を近似 [McDonald&Pereira, 2006],[Carreras, 2007]…

- parsing historyを考慮 [Yamada&Matsumoto, 2003] [transition-based parsing全般] [pointer network系]…
- ニューラルモデルに高次の特徴を考慮する機構を明に追加 [Pei+, 2015] [Lee+, 2018]…

?
They

2021/3/20

sold

?

Manga

in

the

U.S.

言語処理学会202118

関連研究: 高次の特徴量を考慮した交差を許す
依存構造解析 (high-order non-projective dependency parsing)l

高次の情報（関係間の関係）を考慮する- second-order non-projective maximum spanning tree decoding

decoding algorithmの工夫(NP困難) を近似 [McDonald&Pereira, 2006],[Carreras, 2007]…

- parsing historyを考慮 [Yamada&Matsumoto, 2003] [transition-based parsing全般] [pointer network系]…
- ニューラルモデルに高次の特徴を考慮する機構を明に追加 [Pei+, 2015] [Lee+, 2018]…
- LSTMで文脈化された表現 (LSTM-minus) を用いることで，高次の素性を考慮した解析器を凌ぐ性能がでる [Wang&Chang, 2016]- 当時ELMoが注目され始めており，分散表現の文脈化への期待

2021/3/20

encoder側で文脈を見る

言語処理学会2021

19

関連研究: 高次の特徴量を考慮した交差を許す
依存構造解析 (high-order non-projective dependency parsing)l

高次の情報（関係間の関係）を考慮する- second-order non-projective maximum spanning tree decoding

decoding algorithmの工夫(NP困難) を近似 [McDonald&Pereira, 2006],[Carreras, 2007]…

- parsing historyを考慮 [Yamada&Matsumoto, 2003] [transition-based parsing全般] [pointer network系]…
- ニューラルモデルに高次の特徴を考慮する機構を明に追加 [Pei+, 2015] [Lee+, 2018]…
- LSTMで文脈化された表現 (LSTM-minus) を用いることで，高次の素性を考慮した解析器を凌ぐ性能がでる [Wang&Chang, 2016]- 当時ELMoが注目され始めており，分散表現の文脈化への期待

lencoder側で文脈を見る

本研究のスタンス: 論述単位のエンコード時に，積極的に文脈を考慮するよう促せば大域的な（高次の）傾向を考慮できる

文脈化された単語分散表現の活用と高次の特徴量の活用の関係については近年も分析が続いている[Fonseca&Martins,2020]2021/3/20

言語処理学会2021

20

エンコーダの強化
attacksupportclaim

premisepremiseattackpremiseparsing mechanism
論述単位ベクトル

ここで頑張って大域的な文脈情報を取り込む
In addition,
I believe that city
provides morework opportunities
than coutryside.

2021/3/20

Encoder

There are not only
more jobs, but they
are also well-paid.

Of course living
in a city is more
expensive,

but incomesare higher too.

言語処理学会2021

21

改良1: LSTM-Minusをスパン表現に適用[ℎ! − ℎ"#$ ; ℎ" − ℎ!%$ ]“In addition , I believe that city provides
more work opportunity .” ベクトル

BiLSTM

単語レベルの文脈を積極的に取り込む

ℎ!

…

ℎ"

…

単語表現

…
<BOS> In addition , I believe that city provides more work opportunity . <EOS>
𝑤"…
𝑤!
スパン表現の計算の際,スパン端の表現を活用するテクニック
は現在もスタンダード [Toshniwal+2020]2021/3/20

言語処理学会2021

22

改良2:
命題と接続表現の分離・多粒度の文脈化
l

談話関係同士の大域的な傾向を捉えたい- 前提: 談話関係はしばしば接続表現（論述マーカ）によって示される- 仮説: 文章全体における接続表現の配置を考慮することで，論述の大域的なパターンを捉えやすくなる
attack2021/3/20

attack

I believe that city
provides morework opportunities
than coutryside.

Of course living
in a city is more
expensive,

but incomesare higher too.

claim

premisepremise

言語処理学会2021

23

改良2:
命題と接続表現の分離・多粒度の文脈化
l

談話関係同士の大域的な傾向を捉えたい- 前提: 談話関係はしばしば接続表現（論述マーカ）によって示される- 仮説: 文章全体における接続表現の配置を考慮することで，論述の大域的なパターンを捉えやすくなる
既存のアノテーションや辞書を使用
I believe that city
provides morework opportunities
than coutryside.

I believethatcity provides morework opportunities
than coutryside.
3/20/21

There are not only
more jobs, but they
are also well-paid.

N/A
There are not only
more jobs, but they
are also well-paid.

Of course living
in a city is more
expensive,

Of course
living in a city
is moreexpensive,

but incomesare higher too.

but

incomes arehigher too.
言語処理学会2021

24

改良2:
命題と接続表現の分離・多粒度の文脈化
l

談話関係同士の大域的な傾向を捉えたい- 前提: 談話関係はしばしば接続表現（論述マーカ）によって示される- 仮説: 文章全体における接続表現の配置を考慮することで，論述の大域的なパターンを捉えやすくなる
既存のアノテーションや辞書を使用
I believe that city
provides morework opportunities
than coutryside.

I believethatcity provides morework opportunities
than coutryside.
2021/3/20

There are not only
more jobs, but they
are also well-paid.

N/A
There are not only
more jobs, but they
are also well-paid.

Of course living
in a city is more
expensive,

Of course
living in a city
is moreexpensive,

but incomesare higher too.

マクロな
議論の流れ
（議論の型）

but

incomes arehigher too.
言語処理学会2021

25

改良2:
命題と接続表現の分離・多粒度の文脈化
l

談話関係同士の大域的な傾向を捉えたい- 前提: 談話関係はしばしば接続表現（論述マーカ）によって示される- 仮説: 文章全体における接続表現の配置を考慮することで，論述の大域的なパターンを捉えやすくなる
既存のアノテーションや辞書を使用
I believe that city
provides morework opportunities
than coutryside.

I believethatcity provides morework opportunities
than coutryside.
2021/3/20

There are not only
more jobs, but they
are also well-paid.

N/A
There are not only
more jobs, but they
are also well-paid.

Of course living
in a city is more
expensive,

Of course
living in a city
is moreexpensive,

but incomesare higher too.

マクロな 相補的
議論の流れ（議論の型）

but

incomes arehigher too.

命題間の意味的な繋がり

言語処理学会2021

26

改良2:
命題と接続表現の分離・多粒度の文脈化
I believe that city
provides morework opportunities
than coutryside.
I believethatcity provides morework opportunities
than coutryside.

There are not only
more jobs, but they
are also well-paid.

N/A
There are not only
more jobs, but they
are also well-paid.

Of course living
in a city is more
expensive,

Of course
living in a city
is moreexpensive,

but incomesare higher too.

マクロな
議論の流れ
（議論の型）

but

incomes arehigher too.

命題間の意味的な繋がり

様々な見方が可能- 論題非依存の大域的構造（議論の型）と論題依存の内容を区別
テクスト言語学[Halliday&Hasan,1994]の視点から- 結束性の範疇の区別（例えば「接続」と命題間の「語彙的結束性」など）をモデル
アーキテクチャに取り込む
選択体系機能文法[Halliday,2014]の視点から- テキスト形成的主題とそれ以外（題術含む）の区別

2021/3/20

言語処理学会2021

27

改良2:
命題と接続表現の分離・多粒度の文脈化

…

単語表現

<BOS> In addition , I believe that city provides more work opportunity .

3/20/21<EOS> Th

言語処理学会2021

28

改良2:
命題と接続表現の分離・多粒度の文脈化

接続表現の流れIn addition , I believe thatbut

Of course

N/A

命題の流れ
city provides more work opportunity

BiLSTM…

There are…

Living in city is…

…

…

単語表現

<BOS> In addition , I believe that city provides more work opportunity .

3/20/21<EOS> Th

言語処理学会2021

29

改良2:
命題と接続表現の分離・多粒度の文脈化
論述単位の流れ

接続表現の流れIn addition , I believe thatbut

Of course

N/A

命題の流れ
city provides more work opportunity

BiLSTM…

There are…

Living in city is…

…

…

単語表現

<BOS> In addition , I believe that city provides more work opportunity .

3/20/21<EOS> Th

言語処理学会2021

30

改良2:
命題と接続表現の分離・多粒度の文脈化
head selection module
論述単位の流れ

接続表現の流れIn addition , I believe thatbut

Of course

N/A

命題の流れ
city provides more work opportunity

BiLSTM…

There are…

Living in city is…

…

…

単語表現

<BOS> In addition , I believe that city provides more work opportunity .

3/20/21<EOS> Th

言語処理学会2021

31

2）
実験: 時間の都合上，接続表現と命題の区別を行うこと（改良による性能向上についてのみ言及
head selection module
論述単位の流れ

接続表現の流れOf course
N/A
接続表現と命題の区別が必要か検証

but

In addition , I believe that

命題の流れ（モデルの比較時にはパラメータサイズを揃える）

city provides more work opportunity

BiLSTM…

There are…

Living in city is…

…

…

単語表現

<BOS> In addition , I believe that city provides more work opportunity .

2021/3/20<EOS> Th

言語処理学会2021

32

の実験設定 (2種類のコーパス✕5種類の単語埋め込み)
結果: 10で性能に良い影響
コーパス

単語埋め込みXLNET
Persuasive
Essay
Corpus[Stab&Gurevych,
2017]

RoBERTa
BERT
ELMo
GloVe
XLNET

Argmicrotext
corpus[Peldszus&Stede,2016]

2021/3/20

RoBERTa
BERT
ELMo
GloVe

区別

関係同定 (macro-F)

関係タイプ予測 (macro-F)

論述単位タイプ (macro-F)

◯

82.2

78.5

89.4

✖

80.6

77.8

89.1

◯

80.9

79.4

88.4

✖

81.6

77.9

89.1

◯

80.9

78.0

86.4

✖

80.4

74.9

86.6

◯

80.7

79.0

85.7

✖

80.3

78.2

86.9

◯

78.8

76.5

83.9

✖

77.7

75.0

83.7

◯

75.8

73.7

88.3

✖

73.6

69.3

85.2

◯

74.0

71.6

85.9

✖

71.8

66.4

80.9

◯

73.0

71.1

84.0

✖

69.9

64.2

77.9

◯

73.9

77.2

83.4

✖

73.2

71.3

80.5

◯

72.6

75.4

81.5

✖

70.4

64.1

76.9

言語処理学会2021

33

分析: 典型的な部分構造の予測
attackの連鎖をなす部分構造における予測性能
attackof course

claim
こうすべきだコーパス

attack

たしかにこういう
反論があるだろうけど
単語埋め込みXLNETRoBERTa

Persuasive
Essay Corpus[Stab&Gurevych,
2017]

BERT
ELMo
GloVe

2021/3/20

but
その反論ってここが
弱いよね

区別

関係予測
精度 (acc.)

◯

71.6

✖

67.8

◯

69.9

✖

67.2

◯

68.8

✖

69.3

◯

71.0

✖

68.9

◯

63.9

✖

59.0

next sentence predictionで，既に談話的な情報が少なからず入っている？？

Arg-microtext corpusは規模が小さいため，分析では用いていない

言語処理学会2021

34

まとめ
論述構造解析において，
l

論述単位の表現を積極的に文脈化することにより，特に典型的な部
分構造や複雑な構造 (詳細は論文) における解析性能が向上

l

接続表現と命題を区別し，複数の粒度で文章全体の流れを捉えることの有効性を示した

l

BERTやXLNETなどの強力な言語モデルから得られた単語表現を用いた場合でも，後段タスクへの転用時にスパン表現を洗練させることは有効l

良くも悪くも文章の表層的なパターンを捉えにいった研究
接続表現に過度に依拠した予測が行われているという分析も[Optiz&Frank, 2019]（より深い理解について問うために）モデルの批判的思考能力を評価・分析する研究も近年でてきている[Betz+,2020][Yu+,2019]2021/3/20

2019年に自分もほとんど同じ研究をやっていてネタかぶりしてしまった

言語処理学会2021

35

References
Lawrence, J. and Reed, C. (2019). “Argument Mining: A Survey.” Computational Linguistics, 45, pp. 765–818
Wachsmuth, H., Naderi, N., Hou, Y., Bilu, Y., Prabhakaran, V., Thijmm, T. A., Hirst, G., and Stein, B. (2017). “Computational Argumentation
Quality Assessment in Natural Language.”Proceedings of the EACL2017, pp. 176–187.
Gretz, S., Friedman, R., Cohen-Karlik, E., Toledo, A., Lahav, D., Aharonov, R., & Slonim, N. (2020). A Large-Scale Dataset for Argument
Quality Ranking: Construction and Analysis. Proceedings of the AAAI Conference on Artificial Intelligence, 34(05), 7805-7813.
Reisert, P., Heinzerling, B., Inoue, N., Kiyono, S., & Inui, K. (2019). Riposte! A Large Corpus of Counter-Arguments. arXiv e-prints, arXiv-1910.
Reimers, N., Gurevych, I., Reimers, N., Gurevych, I., Thakur, N., Reimers, N., Daxenberger, J. and Gurevych, I., 2019. Sentence-BERT:
Sentence Embeddings using Siamese BERT-Networks. In Proceedings of the EMNLP2019.
Reimers, N., Schiller, B., Beck, T., Daxenberger, J., Stab, C., & Gurevych, I. (2019, July). Classification and Clustering of Arguments with
Contextualized Word Embeddings. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics (pp. 567578).
Daxenberger, J., Schiller, B., Stahlhut, C. et al. ArgumenText: Argument Classification and Clustering in a Generalized Search
Scenario. Datenbank Spektrum 20, 115–121 (2020). https://doi.org/10.1007/s13222-020-00347-7
Nguyen, H. and Litman, D. (2018). “Argument Mining for Improving the Automated Scoring of Persuasive Essays.”, AAAI 2018, pp. 58925899
Stab, C. and Gurevych, I. (2016). “Recognizing Insufficiently Supported Arguments in Argumentative Essay.” Proceedings of the Argmining
2016, pp. 113–118

2021/3/20

言語処理学会2021

36

References
Carlile, W., Gurrapadi, N., Ke, Z., & Ng, V. (2018, July). Give me more feedback: Annotating argument persuasiveness and related attributes
in student essays. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers) (pp.
621-631).
Egawa, R., Morio, G., & Fujita, K. (2019, July). Annotating and analyzing semantic role of elementary units and relations in online persuasive
arguments. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics: Student Research Workshop (pp.
422-428).
Niculae, V., Park, J., & Cardie, C. (2017, July). Argument Mining with Structured SVMs and RNNs. In Proceedings of the 55th Annual Meetingof the Association for Computational Linguistics (Volume 1: Long Papers) (pp. 985-995).
KURIBAYASHI, T., REISERT, P., INOUE, N., & INUI, K. (2017). Examining Macro-level Argumentative Structure Features for Argumentative
Relation Identification (言語理解とコミュニケーション)--(第 4 回自然言語処理シンポジウム). 電子情報通信学会技術研究報告= IEICE technicalreport: 信学技報, 117(367), 37-42.
McDonald, R., & Pereira, F. (2006, April). Online learning of approximate dependency parsing algorithms. In 11th Conference of theEuropean Chapter of the Association for Computational Linguistics.
Carreras, X. (2007, June). Experiments with a higher-order projective dependency parser. In Proceedings of the 2007 joint conference on
empirical methods in natural language processing and computational natural language learning (emnlp-conll) (pp. 957-961).
Yamada, H., & Matsumoto, Y. (2003, April). Statistical dependency analysis with support vector machines. In Proceedings of the eighthinternational conference on parsing technologies (pp. 195-206).

2021/3/20

言語処理学会2021

37

ReferencesPei, W., Ge, T., & Chang, B. (2015, July). An effective neural network model for graph-based dependency parsing. In Proceedings of the
53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language
Processing (Volume 1: Long Papers) (pp. 313-322).
Lee, K., He, L., & Zettlemoyer, L. (2018, June). Higher-Order Coreference Resolution with Coarse-to-Fine Inference. In Proceedings of the2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume
2 (Short Papers) (pp. 687-692).
Wang, W., & Chang, B. (2016, August). Graph-based dependency parsing with bidirectional LSTM. In Proceedings of the 54th Annual
Meeting of the Association for Computational Linguistics (Volume 1: Long Papers) (pp. 2306-2315).
Peters, M., Neumann, M., Iyyer, M., Gardner, M., Clark, C., Lee, K., & Zettlemoyer, L. (2018, June). Deep Contextualized Word
Representations. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics:
Human Language Technologies, Volume 1 (Long Papers) (pp. 2227-2237).
Fonseca, E., & Martins, A. F. (2020, July). Revisiting higher-order dependency parsers. In Proceedings of the 58th Annual Meeting of the
Association for Computational Linguistics (pp. 8795-8800).
Toshniwal, S., Shi, H., Shi, B., Gao, L., Livescu, K., & Gimpel, K. (2020, July). A Cross-Task Analysis of Text Span Representations.
In Proceedings of the 5th Workshop on Representation Learning for NLP (pp. 166-176).
HALLIDAY, M. (1976). Cohesion in English. Longman.
Halliday, M., Matthiessen, C. M., & Matthiessen, C. (2014). An introduction to functional grammar. Routledge.

言語処理学会2021

38

References
Opitz, J., & Frank, A. (2019, August). Dissecting Content and Context in Argumentative Relation Analysis. In Proceedings of the 6thWorkshop on Argument Mining (pp. 25-34).
Betz, G. (2020). Critical Thinking for Language Models. arXiv preprint arXiv:2009.07185.
Yu, W., Jiang, Z., Dong, Y., & Feng, J. (2019, September). ReClor: A Reading Comprehension Dataset Requiring Logical Reasoning.
In International Conference on Learning Representations.

2021/3/20

言語処理学会2021

39