言語処理学会 第30回年次大会 発表論文集（2024年3月）

大規模言語モデルを用いた有効反論箇所としての前提生成
尾崎大晟 1 中川智皓 1 井之上直也 2,3 内藤昭一 4,5 山口健史 5 天野祥太朗 1 新谷篤彦 1
1 大阪公立大学大学院 2 北陸先端科学技術大学院大学 3 理化学研究所
4 株式会社リコー 5 東北大学
sg23174y@st.omu.ac.jp

概要
本研究では，大規模言語モデル (以下 LLM) が，ディベートにおいて相手の主張を弱めるための反論箇所としての前提を効果的に選択できるかを探る．
過去の中高生英語ディベート競技大会から収集した議題と肯定立論を基に，LLM に複数の前提から反論すべき最適な前提を選ばせ，この選択を人間のディベートエキスパートの選択と比較することで評価を行った．結果として，LLM は強力なモデルであっても，正解率で 7 割程度であることが分かった．一
方特定の議題においては 9 割近い正解率になることもあった．本研究は，LLM を用いたディベートエージェントの開発への展望を提供すると同時に，当実験タスクの LLM の性能ベンチマークとしての可能性を示唆するものである．

1

緒言

批判的思考力1）は高度情報化社会でその育成は国家の重要課題となっている．批判的思考力の育成にはディベートをすること，中でも相手の主張に反論することが有効であるとされている．しかし，ディベート相手と被教育者に対してフィードバックを行う評価者が必要となり，人的コストが大きい．そこで本研究グループではディベート相手を賄うことができる大規模言語モデル (以下 LLM と呼称) を用いた高品質ディベートエージェントを開発し，この課題を解決しようと考えている．既存研究で LLM は人間に対して同じか上回る品質の反論文を生成できることが分かっているが [2](章 2 参照)，ディベートエキスパートによるフィードバックでは，LLM の生成反論は相手の主張を弱めるために反論すべき前提が効果的に選択されていないことが指摘された．
通常，主張にはその主張を成立させるための前提が
1） 論理的・客観的で偏りのない思考であり，自分の推論過程を意識的に吟味する反省的思考である [1].

図1

効果的な攻撃前提の選択存在する．本研究では反論とは主張が立つ前提を否定し主張を弱めることと定義している．相手の主張をより弱めるためには相手が立つ前提の中からより効果的な前提を選択し攻撃する必要がある．図 1 に肯定主張が立つ前提を 2 つ示す．肯定主張が挙げた
自由時間が奪われることの害悪性は前提 B「自由時間は宿題をする時間より生産性がある」が支えている．よって，LLM は前提 B を攻撃する反論を生成することが求められる．しかし，LLM の前提生成能力にフォーカスした研究は少なく，LLM が相手の主張が立っている前提から，反論するのに有効な攻撃前提を選択することができるのかは定かになっていない．
そこで本研究では，議題と肯定主張，肯定主張が立っている前提のリストを受け取った LLM に，反論するのに有効な前提を選択させ，この選択結果をディベートエキスパートが作成したゴールドスタン
ダードと比較することで，LLM が反論すべき効果的な前提を理解し，肯定主張が立っている前提から反論の軸にする前提を抽出することができるかを検証し，高品質ディベートエージェント開発のための足掛かりを得ることを目指す．

― 2681 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

表 1 議題一覧
議題
High school students should have a part-time job
Homework should be abolished
Death penalty should be abolished
Grade skipping should be introduced in compulsory education
Government should restrict the time spent on online games
Japan should raise the pension age to 70 years old

表2呼称HSHWDPGSGMJS

ラベルGood
Not Good

前提グルーピングのラベル概要

内容エキスパートとして反論したいと判断した前提
Good に該当しない前提

高生が発話した肯定主張を 5 つ収集し，各議題につき 5 つの肯定主張が紐付いたセットを 6 議題分 (表1 参照) 構築した．

3.1

GPT-4 を用いた前提リストの生成収集した議題と肯定主張を元に．各肯定主張が立っている前提を GPT-4 を用いて zero-shot-learingで生成する．その際に使用したプロンプトを付録
A.1 に示す．図 2 に示す通り，肯定主張 1 つに対し前提を 5 つ生成した．従って 1 議題毎に 5 つの肯定主張が紐付き，1 肯定主張に 5 つの前提が紐付いたセットが 6 議題分あるデータセットを構築した．
図2

構築した反論データセットの概要．

3.2

2

関連研究

ゴールドスタンダードの作成

データセットに対し，1 名のディベートエキス

LLM が生成する反論文を評価した研究 [2] では，kialo2）から収集した議題，立論，模範反論のデータパート4）による前提グルーピングアノテーションを通して，ゴールドスタンダードを作成した．各肯定セットを用い，GPT-3 で生成反論を生成し，生成反立論に紐付く各々の前提に表 2 に示すラベルを付論と模範反論を比較評価を行った．結果として「文すことでグルーピングを行う．本研究においては次章単体での論理性」などの観点で生成反論は模範の「肯定主張が立っていることが確かである前提」，反論と同等かそれ以上の品質があることが分かっ「肯定主張の中でより根幹的な主張を支える前提」，た． 議論における前提に関する研究には，Boltuzić「肯定主張の中で説明が十分になされていない前提」

らによる研究 [3] がある．人間のアノテーターが作成した主張間にある暗黙の前提を利用することで，の 3 つのすべての条件を満たす前提を反論に際して有効な反論箇所と定義した．肯定主張の根幹を支え意味的類似度を効果的に向上させ，言語モデルの主る前提は一般に十分に説明されている可能性が高張マッチング性能を向上させた．また Alshomary らの研究 [4] では，二つのステップを経て反論を生成するフレームワークを提案した．第 1 ステップでBERT モデルを用いて議論の弱い前提を決定し，第2 ステップで GPT-2 を用いて，決定した前提に対して反論を生成する．LSTM ベースの seq2seq モデルを用いた既存手法よりも優れた結果を得た．

3

く，一方根幹から離れると説明が十分でない．よって相手の主張の根幹に一定程度近く，かつ説明が十分にはされていない中間的な前提であることが反論箇所選択には求められる．この定義に基づきエキスパートが反論すべきと判断した前提に"Good"とラベル付けする．一方 Good に該当しない前提を"NotGood"とラベル付けした（付録 A.2 に例を示す)．

3.3

データセットの構築

有効反論箇所 (前提) の基準

本研究で収集したデータセットの概要を図 2 に示す．議題と肯定主張は過去に PDA 協会3）が開催した• 肯定主張が立っていることが確かである前提:

PDA 高校生 (中学生) 即興型英語ディベート全国大生成を行っているため，本来肯定主張は立っていないはずの前提を生成してしまっている可能本データセットにおける前提は GPT-4 を用いて会で使用された議題と，同大会で同議題に対して中2） オ ン ラ イ ン デ ィ ベ ー ト フ ォ ー ラ ム (https://www.kialoedu.com/)
3） 一般社団法人 パーラメンタリーディベート人財育成協会
https://pdpda.org/性がある．従って肯定主張が立っていることが確かである必要がある．
4） PDA ディベートスタッフ― 2682 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

表3
議題
HSHW

評価者一致率

表 4 モデル一覧
モデル
呼称
gpt-4-1106-preview gpt-4-turbo
gpt-4-0613
gpt-4
gpt-3.5-turbo-0613 gpt-35-turbo
llama-70B-chatllama
gemini-pro
gemini-pro
claude-2.1
claudekrippendorﬀ‘s alpha
0.053
0.240

• 肯定主張の根幹的要素を支える前提:肯定主張の根幹に近い前提に反論し，その前提を否定することができれば，有効な反論となるため，肯定主張の中で，できるだけ中心的な主張を支える前提である必要がある．
• 肯定主張で説明が十分にされていない前提: 肯
定主張の中で十分に説明されていない前提は主張の脆弱部を露呈しやすく，別解釈を提案することで指摘することが容易であるため，できるだけ説明が不足している前提である必要がある．

3.4

ゴールドスタンダードの信頼性評価

ゴールドスタンダードの信頼性を評価するために，新たに 2 名のディベートエキスパート5）が議題

図3

選択前提生成プロンプトの例

HW，HS に対して，3.2 で行ったタスクと同じタスクを行い，3 名のエキスパートでどの程度アノテーションが一致するかを確かめた．1 議題毎に 25 個の前提に対するラベル付けがあり，合計 50 サン
プルにて評価を行った．評価指標には krippendoﬀ‘salpha[5] を用いた．その結果を表 3 に示す．HW については一定一致が見受けられるが，HS は解答がかなり異なった結果であった．エキスパート間で異なった例を付録 A.3 に示す．

4

評価実験

4.1

実験概要

4.2

プロンプトの設計各モデルで選択前提をコンテキスト内学習を用
い て生 成 す る 時 の プ ロ ン プ ト 例 を 図 3 に 示 す9）．
プロンプトは議題・肯定主張・生成前提のリストの入力を受け取る (1) 入力部と，タスクの指示を行 う (2) ク エ リ 部 の 二 つ か ら な る．(1) 入 力 部 では，"topic"にある 1 つの議題を，"aﬃrmative-argument"に議題に紐付く 1 つの肯定主張を，"ﬁve premise thataﬃrmative-argument stands on"に肯定主張に紐付く 5
つの生成前提を入力する10）．(2) クエリ部は (2-1) ク

図 2 に示すデータセットを元に，大規模言語モデ
ルに議題，肯定主張，肯定主張に紐付く 5 つの前提
(以下生成前提と呼称) を入力し，3.3 に示す評価軸に基づいて，5 つの生成前提から，反論するのに有効な攻撃箇所である前提を選択 (生成) させる実験を行った (評価実験にて生成した前提を選択前提と呼称). また本研究で使用したモデルを表 4 に示す．
OpenAI 社が開発した GPT モデル5）から gpt-4-turbo，エリ本体部と，Good とラベル付けされる前提の基準を示す (2-2) 基準部の二つからなる．(2-1) クエリ
本体部には 3.3 で述べた有効な攻撃箇所の 3 つの基準を満たす前提を 5 つの生成前提から 1 つまたは複数選択する旨の指示を入力し．(2-2) 基準部には 3 つの基準を列挙した．また GPT モデルの 3 つについては in-domain での few-shot-learning のプロンプトを用いた場合の実験も行った (付録 A.4 を参照)．

評価方法

gpt-4，gpt-3.5-turbo の 3 種，meta 社が開発したオー

4.3

プンソース LLM の llama6）の 70B チャットモデル，Google 社が開発した Gemini-pro7），Anthoropic 社がか"Not Good"のラベル付けを行っており，二値の正開発した claude2.18）を用いて実験を行った．

解データである．また評価実験にてモデルが生成し

5） https://openai.com/product6） https://ai.meta.com/llama/7） https://deepmind.google/technologies/gemini/8） https://claude.ai/chats

本研究のゴールドスタンダードは各前提に"Good"

た選択前提はラベル付けにおける"Good"に該当し，
9） 全てのモデルに対するプロンプトは統一した．
10） このとき前提に番号などは振らず，改行でのみ区別した．

― 2683 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

表5モデル
gpt-4-turbo
gpt-4
gpt-35-turbo
llama
gemini-pro
claudegpt-4-turbo-fs
gpt-4-fs
gpt-35-turbo-fs
Majority baseline

HS
0.46
0.57
0.74
0.73
0.61
0.34
0.59
0.63
0.67
0.84

HW
0.43
0.90
0.76
0.56
0.69
0.50
0.77
0.84
0.69
0.81

結果

accuracy
DPGS
0.30 0.40
0.54 0.57
0.69 0.76
0.57 0.57
0.62 0.57
0.20 0.20
0.52 0.46
0.64 0.50
0.55 0.64
0.72 0.68

GM
0.48
0.71
0.69
0.56
0.60
0.43
0.52
0.71
0.62
0.81

JS
0.55
0.69
0.60
0.56
0.62
0.40
0.64
0.57
0.41
0.72

AVE
0.44
0.67
0.71
0.60
0.62
0.36
0.59
0.65
0.60
0.77

HS
0.75
0.80
0.70
0.80
0.67
0.45
0.89
0.71
0.73
0.72

HW
0.83
1.00
0.76
0.60
0.73
0.64
0.86
0.93
0.73
0.68

precision
DPGS0.50 0.57
0.58 0.53
0.67 0.69
0.57 0.53
0.60 0.53
0.33 0.29
0.54 0.46
0.64 0.47
0.53 0.60
0.56 0.52

GM
0.75
0.79
0.73
0.60
0.69
0.55
0.70
0.79
0.67
0.68

JS
0.75
0.67
0.56
0.64
0.67
0.67
0.64
0.57
0.40
0.56

AVE
0.70
0.72
0.69
0.62
0.65
0.50
0.67
0.68
0.61
0.62

HS
0.33
0.44
0.78
0.67
0.56
0.28
0.44
0.56
0.61
1.00

HW
0.29
0.82
0.76
0.53
0.65
0.41
0.71
0.76
0.65
1.00

recallDPGS
0.21 0.31
0.50 0.62
0.71 0.85
0.57 0.62
0.64 0.62
0.14 0.15
0.50 0.46
0.64 0.54
0.57 0.69
1.00 1.00

GM
0.35
0.65
0.65
0.53
0.53
0.35
0.41
0.65
0.59
1.00

JS
0.43
0.71
0.64
0.50
0.57
0.29
0.64
0.57
0.43
1.00

AVE
0.32
0.62
0.73
0.57
0.59
0.28
0.53
0.62
0.59
1.00

平均選択数
1.4
2.6
3.3
2.8
2.8
1.7
2.4
2.8
3.0
5.0

生成されなかった非選択前提は"Not Good"に該当する．従って，本実験は大規模言語モデルを用いた二適切な評価指標であると考えている．gpt-4-turbo や値分類問題として取り扱うことができる．モデルの

gpt-4，gpt-35-turbo，gemini などの比較的強力なモデ生成結果から，一般に機械学習の二値分類モデルのルではベースラインを大きく超える選択品質であ評価に用いられる正解率，適合率，再現率を算出し，モデルの有効反論箇所選択能力の評価を行った．

り，特に gpt-4 においては HW で 100%の適合率と4.4結果なった．一方，llama と Claude はベースラインを超えなかった．また few-shot-learning については HW，全体平均ともにむしろスコアを減退させる結果と

評 価 実 験 の 結 果 を 表 5 に 示 す．gpt-4-turbo-fs，なった．これはエキスパートのラベル付けの基準がgpt-4-fs,gpt-35-turbo-fs の 3 つはそれぞれの GPT モデ

エキスパート個人の中でも完璧には一貫できていな

ルで few-shot-learning を用いて選択前提を生成した

いことが影響していると考えられる．

結果を示す．また本実験ではマジョリティ法11）をベースライン (Majority baseline) として用いた．表内

結言

5の太字数字は Majority baseline を上回ったサンプル

本研究では，過去のディベート大会から議題と肯を示す． 正解率 (Accuracy) についてはベースライン

定主張と収集し，GPT-4 で生成前提を 5 つずつ生成を超えたサンプルが非常に少なく，人間のディベーした．ディベートエキスパートがこのデータセット

トエキスパートと同じ品質で有効な反論箇所を選に対し，有効反論箇所の 3 つの基準に基づき，グ択し，有効でない箇所は選択しないことは難しいとルーピングアノテーションを施し，"Good"と"Notいう結果となった．モデルによっては非常に低い結果となっており，タスク難易度が非常に高い可能性Good"とラベル付けを行い，ゴールドスタンダードがある．一方でエキスパート間でも一定のアノテーを作成した．評価実験では LLM に議題と肯定主張，生成前提リストを入力し，"Good"に当たる選択前ション一致率がありモデルの評価における信頼性が提を選択 (生成) させる実験を行った．結果としてある HW では，gpt-4 を用いた場合はベースラインをgpt-4 などの強力なモデルの選択前提はゴールドス超え高い精度で有効反論箇所を選択できていた．まタンダードの信頼性が特に高かった議題において高た Zero-shot ではなく Few-shot で生成を行った場合い適合率を示したが，全体としてベースラインを超の効果は明確にできなかった．gpt-4-turbo では大きえない正解率となり，LLM の有効反論箇所選択能なスコア向上が見受けられるが，gpt-4，gpt-3.5-turbo

力は人間のディベートエキスパートには及ばないこでは減退した． 次に本研究では，大規模言語モデルとが分かり，ディベートエージェントの開発への足で有効な攻撃箇所としての前提生成を行った先に，掛かりとなった．同時に実験タスクの難易度から，有効な攻撃箇所が選択された反論文の生成を見据えタスクの大規模言語モデルのベンチマークとしてのている．従ってモデルが有効な攻撃箇所と判断した可能性が見つかった．展望としてはプロンプトエン前提が，エキスパートから見ても有効な攻撃箇所であることが望ましいことから，適合率 (Precision) がジニアリングやファインチューニングなどを組み合わせ，モデルの有効反論箇所選択能力をよりエキスパートのそれに近付けることが望まれる．

11） 評価データ内で頻度の多いほうのラべルで全て分類した
スコアをベースラインとする手法．ゴールドスタンダードにおけるラベル付けの割合は全体の 62%が"Good"であったことから全ての前提を Good とラベル付けした場合のスコアをベースラインとした― 2684 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

謝辞
本研究は，科研費 基盤研究 (A)22H00524「深い論述理解の計算モデリングと論述学習支援への応用」（代表：東北大学 乾健太郎教授）の支援を受けました．ここに謝意を表します．
また本研究におけるディベートエキスパートとして，一般社団法人 パーラメンタリーディベート人財育成協会のディベートスタッフの方々にご協力頂きました．ここに謝意を表します．

参考文献
[1]

楠見孝. 現代の認知心理学 3:思考と言語. 北大[2]路書房, 2010.
尾崎大晟, 中川智皓, 内藤昭一, 井之上直也, 山口健史, 新谷篤彦. 大規模言語モデルによる高品質反論文の自動生成. 人工知能学会全国大会論文集, Vol. JSAI2023, pp. 4Xin111–4Xin111, 2023.

[3]

Filip Boltužić and Jan Šnajder. Fill the gap! analyzing implicit premises between claims from online debates. In Chris Reed, editor, Proceedings ofthe Third Workshop on Argument Mining (ArgMining2016), pp. 124–133, Berlin, Germany, August

2016. Association for Computational Linguistics.
[4]

Milad Alshomary, Shahbaz Syed, Arkajit Dhar, Martin Potthast, and Henning Wachsmuth.

Counter-argument generation by attacking weak premises. In
Chengqing Zong, Fei Xia, Wenjie Li, and Roberto
Navigli, editors, Findings of the Association for
Computational Linguistics: ACL-IJCNLP 2021, pp.

1816–1827, Online, August 2021. Association for
Computational Linguistics.
[5]

Klaus Krippendorﬀ.

Computing krippendorﬀ’salpha-reliability. 2007.

― 2685 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

A

付録

money, but also the process to get a part-time job such asA.1

前提生成プロンプト

those whole experiences, students learn the importance ofpreparing CV, bank account and having an interview. Frommoney. (略)前提:

The process of getting a part-time job, such as prepar-ing a CV, setting up a bank account, and going through aninterview, provides valuable life experiences.
肯定主張はお金を稼ぐ行為の人生上の重要性と難易度が学びとしての価値が高いためアルバイトをす
図4べきということを中心の主張としている．一方でこ

前提生成プロンプト

topic 及び aﬃrmative-argument には議題と肯定主張
を 1 セットずつ格納する．たとえば前提 1-1〜前提
1-5 を生成するときは，topic にはある 1 つの議題が，aﬃrmative-argument には肯定主張 1 が格納された状
態で入力を行った．の前提は銀行口座の開設などの学校では学ばないが人生において必要な事務手続きを学べることの価値を述べているものである，エキスパートの間で，この「事務手続きを学ぶことの価値」が肯定主張の中心要素である「お金を稼ぐ行為の価値」に包含されているか，という点で意見が分かれたと考えられ

A.2

アノテーションの例

る．文中"but also"を強調すると，あくまで中心要素

議題：High school students should have a part-time job.
肯 定 主 張：We believe that a part-time job is a good
opportunity to have social experience. Students would
have communication with superiors or customers at theirpart-time jobs. They cant have these real experienceに付け加えられた中心要素とは別の要素と取ることができるが，一方で面接や口座開設も含めてお金を稼ぐ行為と考えると中心要素の一部と捉えることができ，不一致につながった．

A.4

in-domain の few-shot-learningin school life. In school, students communicate almost
exclusively with students of the same age. (略)前提 2：Students can learn important communication skills
through interactions with superiors and customers at theirpart-time jobs.
Good:前提 2
前提 2 はアルバイトで手にできる重要なスキルとしてコミュニケーションスキルを挙げている前提である．学校生活では手に入らないスキルが手に入るという主張の根幹に近い上に，なぜ多く学びがあるのか，学校で培われるコミュニケーションでは代替できないのか，など説明が不足している．

A.3

図5

few-shot プロンプト

評価実験の際に few-shot-learning を行う場合のプ

アノテーションの不一致の具体例

ロンプトの構造の例を図 5 に示す．ある議題のある

議題: High school students should have a part-time job

肯定主張 A に紐付く前提に対して選択前提生成を肯定主張: We believe that a part-time job is a good oppor-

行うとき，同じ議題の肯定主張 A 以外の残りの 4

tunity to feel importance of money. When we live, moneyis necessary. However, as long as a student is ﬁnancially

つの肯定主張に紐付く前提とエキスパートによって"Good"と判断された前提を Selected premises とし

supported by a family or orphanage, he/she doesnt un-て入力する．たとえば図 5 は図 2 において，肯定主derstand how much money is actually necessary for living

張 1 に対する選択前提生成を行っている．肯定主著

and how hard it is to earn the money. By doing part-time

2 から肯定主張 5 が例として入力される．最終的にjob, he/she will understand the reality of earning money.
That means not only the experience of working and getting

Zero-shot 時のプロンプト 3 の末尾に例を追加しプロンプトとなる．

― 2686 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).