言語処理学会 第30回年次大会 発表論文集（2024年3月）

テキスト生成による議論マイニング
川原田 将之 † 平尾 努 § 内田 渉 † 永田 昌明 §† 株式会社 NTT ドコモ § NTT コミュニケーション科学基礎研究所{masayuki.kawarada.vw, uchidaw}@nttdocomo.com{tsutomu.hirao, masaaki.nagata}@ntt.com

概要
本研究では，テキスト生成により議論マイニングを行う手法を提案する．この手法では，議論構造を表すアノテーション付きテキストを生成し，生成したテキストから議論構造を抽出することで議論マイ
ニングを行う．エンコーダ・デコーダモデルを採用
し，議論マイニングのモデル構造をシンプルにする
ことで，従来手法の課題であったハイパーパラメー
タの調整や複雑な後処理を大幅に簡易化することができる．実験の結果，ベンチマークデータセットに対して，世界最高性能を達成したことを報告する．

1

はじめに

議論マイニングとは，文書内に存在する議論構造 を 明 ら か に す る タ ス ク で あ る．学 生 の エ ッ セ
イ [1, 2] や医療分野 [3] など，多岐にわたる領域で研究が進められており，文書要約 [4] やエッセイの自動採点 [5] への応用が期待されている。
図 1 に示すように，議論構造は木構造や有向グラ
フによって表現される．この構造を得るためには，(1) テキストから議論に関連するテキストスパンを特定し，(2) それらの種類を判別し，(3) 抽出したス
パン同士の関係性を明らかにする，という 3 つのサブタスクが必要である．
従来のアプローチでは, これらのサブタスクごとに異なるモデルを学習し, 逐次的に処理を行うことが一般的であったが，近年ではニューラルネット
ワークを活用した End-to-End のアプローチが多く見られるようになっている [6, 7]．一方で，End-to-End
モデルでは，複数のサブタスクを 1 つのモデルに統合するため，モデル構造が複雑となる傾向がある．
これにより，ハイパーパラメータの調整が難しくな
り，複雑な後処理が必要となるという課題が存在する．
これらの課題に対処するため，本研究では，Trans-

lation between Augmented Natural Languages (TANL) [8]を 議 論 マ イ ニ ン グ に 適 用 す る こ と を 提 案 す る．
TANL は，関係抽出や固有表現抽出などの様々な情報抽出タスクを文生成を通じて行う手法であり，入力文にアノテーションを付与した文を生成し，生成
文から後処理によって目的の関係や情報を抽出す
る．TANL は，文を入力とするタスクで高い性能を示しているが，文書全体を入力とし，より広範な関係性の抽出が求められる議論マイニングのようなタ
スクにおいても同様の効果が得られるかは，まだ明らかではない．
提案手法の有効性を検証するため, 議論マイニ
ングのベンチマークデータセットである Argumentannotated Essays Corpus (AAEC) [2]，AbstRCT [3]，Cornell eRulemaking Corpus (CDCP) [9] を用いた実験を行った．複数のパラメータサイズの T5 [10]，FLAN
T5 [11] で実験を行い，FLAN T5-XXL を用いることで，これら全てのデータセットに対して世界最高性能を達成したことを報告する．さらに，生成モデルを使用する際の推論時間の削減にも取り組んだ．議論構造に関係のないテキストスパンの出力を省略することで，AbstRCT において性能を損なうことなく推論時間を約 30 ％削減できることを確認した．

関連研究

2

議 論 マ イ ニ ン グ に は，議 論 に 関 連 す る テ キ ス
ト ス パ ン を 特 定 す る Span Identiﬁcation，抽 出 した ス パ ン に 要 素 ラ ベ ル の 付 与 を 行 う Component
Classiﬁcation，関 係 ラ ベ ル の 付 与 を 行 う Relation
Classiﬁcation という 3 つのサブタスクが含まれる1）．
初期の議論マイニング研究において，これらのサブタスクは，別々のモデルで解かれることが多かった
が [12, 13]，近年では End-to-End のアプローチで行われることが主流となっている [7, 14, 6, 13]．
1） 議論マイニングにおいて，主張や理由などの議論に関連するテキストスパンのことを要素 (Component) という．

― 424 ―

This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

⼊⼒テキスト

議論構造

Studies abroad and the cultural aspect of the experience Studying abroad is one very common
thing that students do, and they have different reasons for that. I believe that studying abroad
has many advantages. Students gain a lot out of the experience personally, academically, andculturally. First of all, students who study outside their countries can get a lot of experienceliving in a foreign country. Living in a new country requires a great amount of flexibility andadaptability in one‘s character. For example, students might face many challenges in the hostcountry. Therefore, they should be able to deal with the obstacles that they may encounter…

studying abroad has many advantages

FOR
Students gain a lot out of the experience
personally, academically, and culturallyFOR
students who study outside their countries
can get a lot of experience living in aforeign country

SUPPORT

T5

Living in a new country requires a greatamount of flexibility and adaptability in
one’s character

アノテーション付きテキスト[ studying abroad has many advantages | major claim ] [ Students gain a lot out of theexperience personally, academically, and culturally | claim for ] [ students who study outside
their countries can get a lot of experience living in a foreign country | claim for ] [ Living in a
new country requires a great amount of flexibility and adaptability in one’s character |premise | support = students who study outside their countries can get a lot of experienceliving in a foreign country ] [ students might face many challenges in the host country |premise | support = Living in a new country requires a great amount of flexibility and ... ]MAJORCLAIM
CLAIM
PEMISESUPPORT
students might face many challenges in
the host country

図 1 テキスト生成による議論マイニング手法の全体図．

Morio ら [7] は，Longformer [15] に Biaﬃne Parser

Component Classiﬁcation は，得 ら れ た ス パ ン に 対を組み合わせたモデルを用いることで，複数のデー

し て，要 素 ラ ベ ル 𝑐 ∈ 𝐶 の 付 与 を 行 う．こ こ で，タセットに対して世界最高性能を達成している．し𝐶 はデータセットに含まれる全ての種類の要

かし，このモデルは構造が複雑であるため，ハイ

素 ラ ベ ル を 表 し て い る．要 素 ラ ベ ル を 付 与 し た

パーパラメータの設定が難しく，各サブタスクの出

テ キ ス ト ス パ ン は，(start, end, 𝑐) と 表 さ れ る．最力から最小有向全域木を求めるための後処理が必要

後に，Relation Classiﬁcation により，抽出したスパになる．これに対し，Bao ら [14] は，BART [16] とン 同 士 の 関 係 性 の 抽 出 を 行 う．(startsrc , endsrc ) が(starttgt , endtgt ) に 𝑟 ∈ 𝑅 という関係で依存関係にある

Constraint Pointer-mechanism (CPM) を組み合わせたモデルを採用している．Bao らの研究は，エンコー

とき，(startsrc , endsrc , starttgt , endtgt , r) と表される．こダ・デコーダを用いることで，議論マイニングのプ

こで，𝑅 はデータセットに含まれる全ての種類の関ロセス自体をシンプルにしたという点で我々と近い係ラベルを表す．通常，議論マイニングモデルの評が，我々の手法はテキスト生成に基づいている．テ

価は，各サブタスクにおける予測データと正解デー

キスト生成によるアプローチを採用することで，事タの一致率を計測することによって行われる．

前学習済みモデルをそのまま用いることができ，事前学習で得られた知識を最大限に活用できる．

アノテーション付きテキスト

TANL [8] と同様に，入力テキストに対して議論構

提案手法

3

3.2

造を含んだアノテーション付きテキストを定義す

図 1 に提案手法の全体図を示す．議論構造を表す

る．要素ラベルが 𝑐 であるスパン 𝑠src が別のスパン

アノテーション付きテキストを定義し，テキストを𝑠tgt に関係ラベル 𝑟 で依存しているとき，アノテー

入力，アノテーション付きテキストを出力として，ション付きテキストは， “[ 𝑠src | 𝑐 | 𝑟 = 𝑠tgt ]” と表

教師あり学習を行う．推論時には，モデルから出力現される．また，𝑠src が他のスパンと依存関係を持されたアノテーション付きテキストと入力テキス
トのアライメントを取ることで，議論構造の抽出をたない場合，関係ラベルと依存先のスパンを省略して，“[ 𝑠src | 𝑐 ]” と表される．

行う．

3.1

3.3

タスク定義

アノテーション付きテキストの省略

TANL では，入力テキストをすべて含んだ上でア𝑛 個 の 単 語 か ら 成 る 入 力 テ キ ス ト 𝑥 は，𝑥 =ノテーション付きテキストを出力していた．議論マ[𝑥1 , . . . , 𝑥 𝑛 ] と表される．Span Identiﬁcation の目的は，イニングは，文書を入力としたタスクであるため，議論に関連するテキストスパン 𝑠 = [𝑥start , . . . , 𝑥 end ]出力長が長くなり，それに伴い推論時間の長さが課を抽出することである．ここで，start，end は，そ題となる．そこで，議論構造に関係しないテキスト

れ ぞ れ ス パ ン の 開 始 位 置 と 終 了 位 置 を 表 し，抽の出力を省略することで効率的な推論を行う．表 1

出 し た ス パ ン は (start, end) の よ う に 表 さ れ る．

に TANL のアノテーション付きテキスト（省略な― 425 ―

This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

入力テキスト

Advantages and disadvantages of the prevalent of English With the development of globalization , English became the dominatedlanguage in national trade , conference and many important events . This phenomenon has aroused a heated discussion in public .
Some people claim that the prevalent of English brings a great number of beneﬁts for people .

省略なし

Advantages and disadvantages of the prevalent of English With the development of globalization , English became the dominatedlanguage in national trade , conference and many important events . This phenomenon has aroused a heated discussion in public .
Some people claim that [ the prevalent of English brings a great number of beneﬁts for people | claim for ] .
[ the prevalent of English brings a great number of beneﬁts for people | claim for ]省略あり

表 1 TANL のアノテーション付きテキスト (省略なし) と議論構造に無関係なテキストの出力を省略したアノテーション付きテキスト（省略あり）の比較．
Essay
ParamsC

R

Paragraph
C

R

Component-F1

Relation-F1

ST Model [7]

64.16

38.38

FLAN T5-Base
FLAN T5-Large
FLAN T5-XL
FLAN T5-XXL

68.76
71.11
71.27
72.86

38.31
44.47
45.80
47.66

ILP [2]BLCC [13]LSTM-ER [13]BiPAM-syn [6]BART-CPM [14]ST Model [7]

110M
139M
149M

62.61 34.74
63.23 34.82 66.69 39.83
66.21 29.56 70.83 45.52
73.5 46.4
75.94 50.08
76.55 54.66 76.48 59.55

T5-BaseT5-Large
T5-3B
T5-11B

220M
770M
3B
11B

73.75
75.65
77.95
79.48

49.69
51.17
55.95
57.06

74.85
75.55
77.43
77.17

57.16
57.47
59.53
59.02

Component-F1

Relation-F1

BART-CPM [14]ST Model [7]

57.72
68.90

16.57
31.94

FLAN T5-Base
FLAN T5-Large
FLAN T5-XL
FLAN T5-XXL

220M
770M
3B
11B

75.17
77.75
78.51
80.15

51.99
56.06
56.80
61.19

75.55
76.93
77.89
78.40

58.51
58.57
60.94
61.87

FLAN T5-Base
FLAN T5-Large
FLAN T5-XL
FLAN T5-XXL

66.80
68.94
72.12
72.68

23.19
28.42
31.01
33.96

表3

表 2 AAEC の実験結果．C，R はそれぞれ，Component-F1，
Relation-F1 を表す．

表4

AbstRCT の実験結果．

CDCP の実験結果．

されたコーパスであり，要素ラベルと関係ラベル
し）と議論構造に無関係なテキストを省略したアノ

は，それぞれ，𝐶 = {Fact, Testimony,Value, Policy,

テーション付きテキスト（省略あり）の比較を示す．

Reference}，𝑅 = {Reasons, Evidence} が含まれる．

4

実験

4.1

データセット4.2

QLoRA による Fine-tuning

TANL では，T5-Base に含まれる全てのパラメー
タに対して，Fine-tuning を行っていた．本研究では，

議論マイニングのベンチマークデータセット

モデルのパラメータ数を増加させた際の性能についである Argument-annotated Essay Corpus (AAEC) [2] ,ても調査を行うため，QLoRA [17] による Fine-tuning

AbstRCT [3]， Cornell eRulemaking Corpus (CDCP) [9]を行う．QLoRA は，モデルに含まれるパラメータの 3 種類のデータセットを用いた．AAEC は，学生とは別に低ランク行列を用意し，量子化を行うことが書いたエッセイに対してアノテーションがされにより学習時の GPU メモリを削減する方法である．

たデータであり，エッセイレベルとパラグラフレ
ベルの 2 種類のデータが存在する．要素ラベルと関係ラベルは，それぞれ，𝐶 = {MajorClaim, Claim,
Premise}，𝑅 = {For, Against, Support, Attack} が存

4.3

実験設定

エンコーダ・デコーダとして，T5 [10] と FLAN
T5 [11] を 用 い た 上 で，Base (220M), Large (770M),

在する．AbstRCT は，医療ドメインのデータセッ

XL (3B) and XXL (11B) の 4 種類のパラメータサイズ

トであり，要素ラベルと関係ラベルは，それぞれ，で学習を行った．それぞれのモデルに対して，異な𝐶 = {MajorClaim, Claim, Evidence}，𝑅 = {Support,

る seed で 3 回の学習を行い，それらの平均値を報告

Attack, Partial-Attack} が含まれる．AbstRCT は，する．詳細な実験設定については，付録 A に示す．

他 の 2 つ の デ ー タ セ ッ ト と 比 較 し て，議 論 に 無
関 係 な テ キ ス ト が 最 も 多 く 含 ま れ て お り，そ の

4.4

比較手法

単語が全体に占める割合は 49.30%である．CDCPILP [2]，BLCC [13]，LSTM-ER [13]，BiPAM-syn [18]，は，市民からのコメントに対してアノテーション

BART-CPM [14]，Single Task (ST) model [7] の 6 種類

― 426 ―

This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

AAEC (Essay)
出力形式 モデル

AAEC (Paragraph)

AbstRCT

Component-F1 Relation-F1 Component-F1 Relation-F1 Component-F1 Relation-F1

FLAN-T5 Base
FLAN T5-Large
省略なし
FLAN T5-XL
FLAN T5-XXL

74.99
77.76
78.73
80.59

50.87
55.62
57.21
60.37

74.97
76.53
77.17
79.06

57.54
59.09
61.03
62.38

65.30
69.47
73.13
72.78

34.55
39.66
42.39
47.11

FLAN-T5 Base
FLAN T5-Large
省略あり
FLAN T5-XL
FLAN T5-XXL

75.17
77.75
78.51
80.15

51.99
56.06
56.80
61.19

75.55
76.93
77.89
78.40

58.51
58.57
60.94
61.87

68.76
71.11
71.27
72.86

38.31
41.49
45.80
47.66

表 5 議論構造に無関係なテキストを出力する場合（省略なし）と出力しない場合（省略あり）の Component-F1 とRelation-F1 の比較．

ラメータサイズにおいて，FLAN T5 が T5 を上回っていることから，FLAN [19] による Instruction-tuning

(s)

5000

は，議論マイニングに効果的であると言える．

4000

次に，表 3 と表 4 に AbstRCT と CDCP における実3000

験結果をそれぞれ示す．AAEC と同様に，パラメー

2000

タサイズが大きくなると性能向上が見られ，FLAN

1000

T5-XXL では，両方のデータセットに対して世界最0高性能が得られた．これらの結果から，提案手法はFLAN T5-Base FLAN T5-Large FLAN T5-XL FLAN T5-XXL

特定のデータセットに限らずに効果的であることが図 2 AbstRCT のテストデータ全てを推論した際の推論時間の比較．推論時の Batch Size は 2 とした．

の 手 法 に 対 し て，比 較 実 験 を 行 っ た．こ の 中 で，BiPAM-syn と Single Task (ST) model は事前学習済みのエンコーダを採用した手法であり，BART-CPM は事前学習済みのエンコーダ・デコーダを採用した手
法である．

4.5

評価方法

最後に，議論構造に無関係なテキストの出力を省略した場合の結果について考察する．表 5 に出力した場合と省略した場合の結果を示す．AAEC のエッ
セイレベル，AAEC のパラグラフレベル，AbstRCTのすべてのデータセットに対して，省略したとしても性能悪化が起こらないことが分かる．また，AbstRCT において，省略した場合としない場合の推論時間の比較を図 2 に示す．全てのモデルサイズで先 行 研 究 [2, 13, 6, 7, 14] と 同 様 に，議 論 マ イ ニ
ングにおける一般的な評価方法である Component
Classiﬁcation の F1 スコア（Component-F1）と Relation
Classiﬁcation の F1 スコア (Relation-F1) を用いて評価
を行う．

4.6

わかる．

推論時間を 30%程度削減できており，議論構造に無関係なテキストの出力を省略することは効果的であることがわかる．

おわりに

5

本研究では，シンプルかつ高性能なテキスト生成

実験結果に基づく議論マイニング手法を提案した．TANL を

表 2 に AAEC の実験結果を示す．実験結果から，
パラメータ数を大きくすることでエッセイレベル(Essay) とパラグラフレベル (Paragraph) の両方で性能向上することがわかる．これらの結果から，大規模モデルへの QLoRA を用いた Fine-tuning は有効であることがわかる．FLAN T5-XXL の場合，エッセ
イレベルでは Component-F1/Relation-F1 がそれぞれ80.15/61.19，パラグラフレベルでは 78.40/61.87 という結果が得られており，これは両方のタスクにおいて世界最高性能を達成している．また，すべてのパ議論マイニングに適用する際、議論構造に無関係なテキストの出力を削減するための出力形式についても調査を行った．議論マイニングのベンチマーク
データセットである AAEC，AbstRCT，CDCP を用いた実験の結果，提案手法は既存手法を上回り，全てのデータセットにおいて世界最高性能を達成した．
さらに，不要なテキストの出力を省く出力形式は，モデル性能を損なうことなく，推論時間を約 30%削減できることを明らかにした．今後は，大規模言語モデルにおける提案手法の有効性を確かめたい．

― 427 ―

This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

参考文献[1] Christian Stab and Iryna Gurevych. Annotating argument components and relations in persuasive essays. In
Proceedings of COLING 2014, the 25th International
Conference on Computational Linguistics: Technical Papers, pp. 1501–1510, Dublin, Ireland, August 2014.

[2]

[3]

[4]

[5]

[6]

Dublin City University and Association for Computational
Linguistics.
Christian Stab and Iryna Gurevych. Parsing argumentation
structures in persuasive essays. Computational Linguistics, Vol. 43, No. 3, pp. 619–659, September 2017.
Tobias Mayer, Elena Cabrio, and Serena Villata.
Transformer-based Argument Mining for Healthcare Applications. In ECAI 2020 - 24th European Conferenceon Artiﬁcial Intelligence, Santiago de Compostela / Online, Spain, August 2020.
Mohamed Elaraby and Diane Litman. ArgLegalSumm:
Improving abstractive summarization of legal documentswith argument mining. In Proceedings of the 29th International Conference on Computational Linguistics,
pp. 6187–6194, Gyeongju, Republic of Korea, October
2022. International Committee on Computational Linguistics.
Huy V. Nguyen and Diane J. Litman. Argument mining
for improving the automated scoring of persuasive essays.
AAAI’18/IAAI’18/EAAI’18. AAAI Press, 2018.
Yuxiao Ye and Simone Teufel. End-to-end argument mining as biaﬃne dependency parsing. In Proceedingsof the 16th Conference of the European Chapter ofthe Association for Computational Linguistics: Main
Volume, pp. 669–678, Online, April 2021. Association for

Computational Linguistics.
[7] Gaku Morio, Hiroaki Ozaki, Terufumi Morishita, andKohsuke Yanai. End-to-end argument mining with crosscorpora multi-task learning. Transactions of the Association for Computational Linguistics, Vol. 10, pp.
639–658, 2022.
[8] Giovanni Paolini, Ben Athiwaratkun, Jason Krone, Jie Ma,
Alessandro Achille, Rishita Anubhai, Cicero Nogueira dos
Santos, Bing Xiang, and Stefano Soatto. Structured prediction as translation between augmented natural languages.
In 9th International Conference on Learning Representations, ICLR 2021, 2021.
[9] Joonsuk Park and Claire Cardie. A corpus of eRulemaking
user comments for measuring evaluability of arguments.
In Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC2018), Miyazaki, Japan, May 2018. European Language

Resources Association (ELRA).
[10] Colin Raﬀel, Noam Shazeer, Adam Roberts, Katherine
Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei
Li, and Peter J. Liu. Exploring the limits of transfer learning with a uniﬁed text-to-text transformer. Journal of Machine Learning Research, Vol. 21, No. 140, pp. 1–67,
2020.
[11] Hyung Won Chung, Le Hou, Shayne Longpre, Barret
Zoph, Yi Tay, William Fedus, Yunxuan Li, Xuezhi Wang,

Mostafa Dehghani, Siddhartha Brahma, Albert Webson,
Shixiang Shane Gu, Zhuyun Dai, Mirac Suzgun, Xinyun
Chen, Aakanksha Chowdhery, Alex Castro-Ros, Marie
Pellat, Kevin Robinson, Dasha Valter, Sharan Narang,
Gaurav Mishra, Adams Yu, Vincent Zhao, Yanping Huang,
Andrew Dai, Hongkun Yu, Slav Petrov, Ed H. Chi, Jeﬀ
Dean, Jacob Devlin, Adam Roberts, Denny Zhou, Quoc V.
Le, and Jason Wei. Scaling instruction-ﬁnetuned language
models, 2022.
[12] Isaac Persing and Vincent Ng. End-to-end argumentation
mining in student essays. In Proceedings of the 2016
Conference of the North American Chapter of the
Association for Computational Linguistics: Human
Language Technologies, pp. 1384–1394, San Diego,

California, June 2016. Association for Computational Linguistics.
[13] Steﬀen Eger, Johannes Daxenberger, and Iryna Gurevych.
Neural end-to-end learning for computational argumentation mining. In Proceedings of the 55th Annual
Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 11–22, Van-

couver, Canada, July 2017. Association for Computational
Linguistics.
[14] Jianzhu Bao, Yuhang He, Yang Sun, Bin Liang, Jiachen
Du, Bing Qin, Min Yang, and Ruifeng Xu. A generativemodel for end-to-end argument mining with reconstructed
positional encoding and constrained pointer mechanism.
In Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing, pp.
10437–10449, Abu Dhabi, United Arab Emirates, December 2022. Association for Computational Linguistics.
[15] Iz Beltagy, Matthew E. Peters, and Arman Cohan. Longformer: The long-document transformer.
arXiv:2004.05150, 2020.
[16] Mike Lewis, Yinhan Liu, Naman Goyal, Marjan
Ghazvininejad, Abdelrahman Mohamed, Omer Levy,
Veselin Stoyanov, and Luke Zettlemoyer. BART: Denoising sequence-to-sequence pre-training for natural language
generation, translation, and comprehension. In Proceedings of the 58th Annual Meeting of the Association
for Computational Linguistics, pp. 7871–7880, Online,

July 2020. Association for Computational Linguistics.
[17] Tim Dettmers, Artidoro Pagnoni, Ari Holtzman, and Luke
Zettlemoyer. Qlora: Eﬃcient ﬁnetuning of quantized llms.
arXiv preprint arXiv:2305.14314, 2023.
[18] Kung-Hsiang Huang, Sam Tang, and Nanyun Peng.
Document-level entity-based extraction as template generation. In Proceedings of the 2021 Conference on
Empirical Methods in Natural Language Processing,pp. 5257–5269, Online and Punta Cana, Dominican Republic, November 2021. Association for Computational
Linguistics.
[19] Jason Wei, Maarten Bosma, Vincent Zhao, Kelvin Guu,
Adams Wei Yu, Brian Lester, Nan Du, Andrew M. Dai,and Quoc V Le. Finetuned language models are zeroshot learners. In International Conference on Learning
Representations, 2022.

― 428 ―

This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

パラメータAAEC (Paragraph)

AAEC (Essay)

パラメータ

Batch size
Max length
Step
Dropout
Adam beta1
Adam beta2

32
512

8
1024

r
lora alphalora dropout
bias
task typetarget modules

10,000
0.1
0.9
0.998

表 6 AAEC データセットで Fine-tuning を行う際のハイパーパラメータ.
パラメータ
Batch size
Max length
Step
Dropout
Adam beta1
Adam beta2

AbstRCT

CDCP

8
8
1024
1024
10,000
0.1
0.9
0.998

実験設定

A.1

データセット表8QLoRA による Fine-tuning のハイパーパラメータ．

A.2

学習パラメータ

表 6 と表 7 に AAEC，AbstRCT，CDCP の学習の表 7 AbstRCT と CDCP データセットで Fine-tuning を行う際のハイパーパラメータ.

Aload in 4bit
bnb 4bit quant typebnb 4bit use double quantbnb 4bit compute dtype

16
32
0.05
none
SEQ 2 SEQ LM
q, v, k, o,
wo, wi 0, wi 1
True
nf4
True
torch.bﬂoat16

際に用いたハイパーパラメータを示す．全てのデー
タセットで，10,000 STEP の学習を行い，200 STEP
毎にチェックポイントを作成した．その後，Baoら [14] に従い，検証データを用いて，Component-F1と Relation-F1 の平均値が最大になるチェックポイ
ントを選び，評価を行った．全てのモデルの学習にAAEC では，Egar ら [13] に従い，学習データ/検おいて，A100 (80GB) を 1 枚用いて行った．

証データ/テストデータに分割を行った．それぞれ最後に，QLoRA のハイパーパラメータを表 8 にのデータセット数は，エッセイレベルのタスクでは

示 す．QLoRA に よ る Fine-tuning で は，T5 お よ び

286/36/80 データであり，パラグラフレベルのタス

FLAN T5 に含まれる全ての線形層を対象にして学習

クでは， 1587/199/449 データである．要素ラベルとを行った．

関係ラベルは，それぞれ，𝐶 = {MajorClaim, Claim,
Premise}，𝑅 = {For, Against, Support, Attack} が存
在 し て い る が，AAEC の ア ノ テ ー シ ョ ン ル ー
ル で，Claim は 常 に MajorClaim に 対 し て 依 存
関 係 に あ る．そ の た め，本 研 究 で は，要 素 ラ ベル と 関 係 ラ ベ ル を，𝐶 = {MajorClaim, ClaimFor,
ClaimAgainst, Premise}，𝑅 = {Support, Attack} と設 定 し 学 習 を 行 っ た．Component-F1 の 評 価 で は，ClaimFor, ClaimAgainst を Claim として算出を行
い，Relation-F1 の評価では，ClaimFor, ClaimAgainst
を For, Against として評価を行う．
AbstRCT では，Park ら [9] と同様の分割方法で学
習データと検証データの分割を行った．テストデー
タとして，neoplasm データを用いたため，学習デー
タ/検証データ/テストデータの分割は，を 300/50/100となった．
CDCP においても，先行研究に従い，全 731 デー
タから抽出した 150 データをテストデータとした．
また，全学習データの 15%を検証データとして実験を行った．

― 429 ―

This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).