言語処理学会 第25回年次大会 発表論文集 (2019年3月)

論述構造との同時予測による論述的な意見生成
阿部 智彦
井之上 直也株式会社 Nextremer 東北大学大学院情報科学研究科

tomohiko.abe@nextremer.com, naoya-i@ecei.tohoku.ac.jp1

入力 (論題)： Funding artists

はじめに

出力 (意見)：(略) some countries depend on tourism

近年、自然言語処理を用いて議論を解析する研究（議論マイニング; Argument Mining [1]）が盛んに行われている。こうした議論の解析に関連するタスクとして、
意見生成 (Argument Generation) がある。意見生成に
は、反論生成 [2] や対話形式の意見生成 [3] など様々な形式がある。本研究では特に、議論の的となる論題に対して自動で意見を生成する形式の意見生成を扱う。本
タスクの入出力例を表 1 に示す。意見生成により、ユー
ザが感心のある様々な論題に対し、pros と cons をそれぞれ表す意見を提示することで、人の意思決定の支援などに応用できると考えられる。
生成した意見の質の評価軸の一つとして、論述構造の良さが挙げられる [4]。論述構造とは、主に、(i) “主張” や “根拠” などの論述単位と “支持” や “反論” などの論述単位間の関係性からなる内容面を表す構造と、(ii) 論述単位の並びなどのレトリックの面を表す構造で構成される。意見の論述構造を改善することで、主張や根拠、それらの関係性がより明確で、かつ、表現がより技巧的になり、より説得力のある意見となる。このため、意見生成においても、より良い論述構造を持
つ意見を生成できるような機構を設計することは、重要な課題であると考えられる。意見生成に対する既存のアプローチは、大きく分けて検索ベース [5, 6]、生成
ベース [2, 3] の二種類あり、検索ベース [5, 6] では、論述構造を持つような意見生成の手法が模索されている。
しかしながら、生成ベース [2, 3] では、生成した意見がより良い論述構造を持つための明示的なモデル設計がされておらず、生成した意見の論述構造の評価も行われていない。
そこで本研究では、言語生成モデルに基づく意見生
成モデルを拡張し、より良い論述構造を持つ意見を生成できるような改良を提案する。論述構造は単語よりも大きな単位（文、文章など）で決まるため、より良い論述構造を持つ意見生成を行うためには、長距離依存関係をより捉えられる機構が必要であり、こうした改良は自明でない。本稿の貢献は、次の通りである:• 長距離依存関係をより捉えるための機構として、機械翻訳と統語構造との同時予測を用いた方法 [7] に着目し、意見生成とその論述構造を同時予測することで、より良い論述構造を持つ意見を生成する意見生成モデルを提案する。

as their main source of revenue, thus, the governments
should help arts because their work crafts are very
necessary to boost the tourist industry. (略)表 1: 本タスクの入出力例 (Stab ら [9] の essay データから抜粋)• 提案モデルは、任意の単語ベースの言語生成モデルを用いることができ、今後の言語生成モデルの進化をそのまま取り入れることができる。また、既存の論述構造のアノテーションをそのまま活用することができる。
• 論述構造との同時予測を行うことにより、BLEU [8]による自動評価と、論述構造に関する評価指標 [4] に基づく人手評価の両面から、より良い論述構造を持
つ意見が生成されることを示す。

2

関連研究

議論マイニングに対するアプローチとして、分割したサブタスクについて学習したモデルの出力結果を整数計画問題として統合する方法 [9] や、深層学習を用いて end-to-end で解く方法 [10] などがある。
意見生成に対する既存のアプローチは、大きく分けて、検索ベースの方法と生成ベースの方法がある。検索ベースの方法では、テキストデータから検索した文集
合の並び替えによる方法 [5] や、ニューラルネットワー
クを用いて学習した分類器を使って、テキストデータ
から pros と cons に分類した文集合を検索する方法 [6]などがある。生成ベースの方法では、論点と意見をそれぞれ生成する 2 つの decoder を持つ seq2seq ベースのモデルを用いて反論を生成する方法 [2] や階層型 RNNを用いて対話の文脈を考慮した生成を行う対話形式の意見生成 [3] がある。生成ベースの方法は、関連する意
見が検索対象のテキストデータや学習用データに含まれない論題に対しても、言語生成モデルの汎化能力により、新たな意見を生成できる可能性があるという利点から、本研究では生成ベースの方法に着目して、より良い論述構造を持つための改良を提案している。
構造を持つ文章を生成する方法として、統語構造との同時予測を用いた機械翻訳がある。その例として、翻訳と原言語側の単語系列の統語構造タグの予測とのマ
ルチタスク学習 [11] や、目標言語側の単語系列にそのsupertag を挟んだ系列を予測する方法 [7] がある。

― 1077 ―Copyright(C) 2019 The Association for Natural Language Processing.
All Rights Reserved.

y1

l 1 y2<latexit sha1_base64="LLovqzhSz7B00LhyXWv5bEP0Ou0=">AAACZ3ichVHLSsNAFD2N7/poVRDBTbVUXJVbEXysRDcufcUWVEoSp3UwTUKSFmrxB9y4VHGlICJ+hht/wIWfoC4ruHHhbRoQLeodZubMmXvunJnRHVN6PtFTRGlr7+js6u6J9vb1D8Tig0Nbnl12DaEatmm7OV3zhCktofrSN0XOcYVW0k2R1Q+WG/vZinA9aVubftURuyWtaMmCNDSfKbWar2WO8vEkpSmIRCvIhCCJMFbt+A12sAcbBsooQcCCz9iEBo/bNjIgOMztosacy0gG+wJHiLK2zFmCMzRmD3gs8mo7ZC1eN2p6gdrgU0zuLisTSNEj3VKdHuiOnunj11q1oEbDS5VnvakVTj52PLrx/q+qxLOP/S/Vn559FDAXeJXs3QmYxi2Mpr5yeFrfWFhP1Sbpil7Z/yU90T3fwKq8GddrYv0CUf6AzM/nbgXqdHo+TWszycWl8Ce6MYYJTPFzz2IRK1iFysdKnOAM55EXJa6MKKPNVCUSaobxLZTxTxA3i3w=</latexit>

l2 <EOS><latexit sha1_base64="97e7mjwv3GKazwj38RpfbangIZc=">AAACZ3ichVHLSsNAFD2N7/poVRDBjVoqrsqtCD5WohuXvmILtZQkTnUwTUKSFmrxB9y4VHGlICJ+hht/wIWfoC4ruHHhbRoQLeodZubMmXvunJnRHVN6PtFTRGlr7+js6u6J9vb1D8Tig0Pbnl12DaEatmm7WV3zhCktofrSN0XWcYVW0k2R0Q9WGvuZinA9aVtbftUR+ZK2Z8miNDSfKbVaqM0cFeIJSlEQ460gHYIEwliz4zfYwS5sGCijBAELPmMTGjxuOaRBcJjLo8acy0gG+wJHiLK2zFmCMzRmD3jc41UuZC1eN2p6gdrgU0zuLivHkaRHuqU6PdAdPdPHr7VqQY2GlyrPelMrnELseHTz/V9ViWcf+1+qPz37KGI+8CrZuxMwjVsYTX3l8LS+ubiRrE3RFb2y/0t6onu+gVV5M67XxcYFovwB6Z/P3QrUmdRCitZnE0vL4U90YwyTmObnnsMSVrEGlY+VOMEZziMvSlwZUUabqUok1AzjWygTnxI3i30=</latexit><latexit sha1_base64="j3K5f1sevUDUOrXmfdY6FxBiVT8=">AAACZ3ichVHLSsNAFD2Nr1pfVUEKbtSiuCq3IvhYFd247MOooFKSOOpgmoQkLdTSH3DjUsWVgoj4GW78ARf9BHWp4MaFt2lAVNQ7zMyZM/fcOTOjO6b0fKJGRGlr7+jsinbHenr7+gfig0Nrnl12DaEatmm7G7rmCVNaQvWlb4oNxxVaSTfFun6w3NxfrwjXk7a16lcdsV3S9iy5Kw3NZ0o1i7V0vRhPUoqCGPsJ0iFIIoysHb/GFnZgw0AZJQhY8Bmb0OBx20QaBIe5bdSYcxnJYF+gjhhry5wlOENj9oDHPV5thqzF62ZNL1AbfIrJ3WXlGCbpgW7ohe7plh7p/ddataBG00uVZ72lFU5x4ChRePtXVeLZx/6n6k/PPnYxH3iV7N0JmOYtjJa+cnjyUljMT9am6JKe2f8FNeiOb2BVXo2rnMifI8YfkP7+3D+BOpNaSFFuNplZCn8iilFMYJqfew4ZrCALlY+VOMYpziJPSlwZURKtVCUSaobxJZTxD/YBi28=</latexit>y1

y2

Attention

Attention<EOS><latexit sha1_base64="dn1VM1k9e92FTEpQDgO2MNIYILA=">AAACZ3ichVHLSsNAFD2Nr1pfVUEEN2pRXJXbIvhYFd24rK3RQpWSxFEH0yQkaaGW/oAblyquFETEz3DjD7jwE9SlghsX3qYBUVHvMDNnztxz58yM7pjS84keIkpbe0dnV7Q71tPb1z8QHxxa9+yKawjVsE3bLeiaJ0xpCdWXvikKjiu0sm6KDX1/ubm/URWuJ21rza85Yqus7VpyRxqaz5RqlurpRimeoCQFMf4TpEKQQBhZO36FTWzDhoEKyhCw4DM2ocHjVkQKBIe5LdSZcxnJYF+ggRhrK5wlOENjdp/HXV4VQ9bidbOmF6gNPsXk7rJyHFN0T9f0Qnd0Q4/0/mutelCj6aXGs97SCqc0cDiaf/tXVebZx96n6k/PPnYwH3iV7N0JmOYtjJa+enD8kl/MTdWn6YKe2f85PdAt38CqvhqXqyJ3hhh/QOr7c/8Eajq5kKTV2URmKfyJKMYwiRl+7jlksIIsVD5W4ggnOI08KXFlRBltpSqRUDOML6FMfAD4AYtw</latexit><latexit sha1_base64="LLovqzhSz7B00LhyXWv5bEP0Ou0=">AAACZ3ichVHLSsNAFD2N7/poVRDBTbVUXJVbEXysRDcufcUWVEoSp3UwTUKSFmrxB9y4VHGlICJ+hht/wIWfoC4ruHHhbRoQLeodZubMmXvunJnRHVN6PtFTRGlr7+js6u6J9vb1D8Tig0Nbnl12DaEatmm7OV3zhCktofrSN0XOcYVW0k2R1Q+WG/vZinA9aVubftURuyWtaMmCNDSfKbWar2WO8vEkpSmIRCvIhCCJMFbt+A12sAcbBsooQcCCz9iEBo/bNjIgOMztosacy0gG+wJHiLK2zFmCMzRmD3gs8mo7ZC1eN2p6gdrgU0zuLisTSNEj3VKdHuiOnunj11q1oEbDS5VnvakVTj52PLrx/q+qxLOP/S/Vn559FDAXeJXs3QmYxi2Mpr5yeFrfWFhP1Sbpil7Z/yU90T3fwKq8GddrYv0CUf6AzM/nbgXqdHo+TWszycWl8Ce6MYYJTPFzz2IRK1iFysdKnOAM55EXJa6MKKPNVCUSaobxLZTxTxA3i3w=</latexit>

l1 <EOS><latexit sha1_base64="97e7mjwv3GKazwj38RpfbangIZc=">AAACZ3ichVHLSsNAFD2N7/poVRDBjVoqrsqtCD5WohuXvmILtZQkTnUwTUKSFmrxB9y4VHGlICJ+hht/wIWfoC4ruHHhbRoQLeodZubMmXvunJnRHVN6PtFTRGlr7+js6u6J9vb1D8Tig0Pbnl12DaEatmm7WV3zhCktofrSN0XWcYVW0k2R0Q9WGvuZinA9aVtbftUR+ZK2Z8miNDSfKbVaqM0cFeIJSlEQ460gHYIEwliz4zfYwS5sGCijBAELPmMTGjxuOaRBcJjLo8acy0gG+wJHiLK2zFmCMzRmD3jc41UuZC1eN2p6gdrgU0zuLivHkaRHuqU6PdAdPdPHr7VqQY2GlyrPelMrnELseHTz/V9ViWcf+1+qPz37KGI+8CrZuxMwjVsYTX3l8LS+ubiRrE3RFb2y/0t6onu+gVV5M67XxcYFovwB6Z/P3QrUmdRCitZnE0vL4U90YwyTmObnnsMSVrEGlY+VOMEZziMvSlwZUUabqUok1AzjWygTnxI3i30=</latexit>

l2<latexit sha1_base64="j3K5f1sevUDUOrXmfdY6FxBiVT8=">AAACZ3ichVHLSsNAFD2Nr1pfVUEKbtSiuCq3IvhYFd247MOooFKSOOpgmoQkLdTSH3DjUsWVgoj4GW78ARf9BHWp4MaFt2lAVNQ7zMyZM/fcOTOjO6b0fKJGRGlr7+jsinbHenr7+gfig0Nrnl12DaEatmm7G7rmCVNaQvWlb4oNxxVaSTfFun6w3NxfrwjXk7a16lcdsV3S9iy5Kw3NZ0o1i7V0vRhPUoqCGPsJ0iFIIoysHb/GFnZgw0AZJQhY8Bmb0OBx20QaBIe5bdSYcxnJYF+gjhhry5wlOENj9oDHPV5thqzF62ZNL1AbfIrJ3WXlGCbpgW7ohe7plh7p/ddataBG00uVZ72lFU5x4ChRePtXVeLZx/6n6k/PPnYxH3iV7N0JmOYtjJa+cnjyUljMT9am6JKe2f8FNeiOb2BVXo2rnMifI8YfkP7+3D+BOpNaSFFuNplZCn8iilFMYJqfew4ZrCALlY+VOMYpziJPSlwZURKtVCUSaobxJZTxD/YBi28=</latexit><latexit sha1_base64="dn1VM1k9e92FTEpQDgO2MNIYILA=">AAACZ3ichVHLSsNAFD2Nr1pfVUEEN2pRXJXbIvhYFd24rK3RQpWSxFEH0yQkaaGW/oAblyquFETEz3DjD7jwE9SlghsX3qYBUVHvMDNnztxz58yM7pjS84keIkpbe0dnV7Q71tPb1z8QHxxa9+yKawjVsE3bLeiaJ0xpCdWXvikKjiu0sm6KDX1/ubm/URWuJ21rza85Yqus7VpyRxqaz5RqlurpRimeoCQFMf4TpEKQQBhZO36FTWzDhoEKyhCw4DM2ocHjVkQKBIe5LdSZcxnJYF+ggRhrK5wlOENjdp/HXV4VQ9bidbOmF6gNPsXk7rJyHFN0T9f0Qnd0Q4/0/mutelCj6aXGs97SCqc0cDiaf/tXVebZx96n6k/PPnYwH3iV7N0JmOYtjJa+enD8kl/MTdWn6YKe2f85PdAt38CqvhqXqyJ3hhh/QOr7c/8Eajq5kKTV2URmKfyJKMYwiRl+7jlksIIsVD5W4ggnOI08KXFlRBltpSqRUDOML6FMfAD4AYtw</latexit>

RNN3
Attention

Attention

RNN1<latexit sha1_base64="GCtg1Yhvj54N0pmAKfX/tokkGK4=">AAACZ3ichVHLSsNAFD2Nr1ofrQoiuFFLxVW5FcHHqujGZX1EC7WUJI46mCYhSYta+gNuXKq4UhARP8ONP+DCT1CXCm5ceJsGREW9w8ycOXPPnTMzumNKzyd6iCgtrW3tHdHOWFd3T2880de/5tkV1xCqYZu2m9c1T5jSEqovfVPkHVdoZd0U6/ruQmN/vSpcT9rWqr/viGJZ27bkljQ0nyl1r1TL1EuJJKUpiJGfIBOCJMLI2YkrbGATNgxUUIaABZ+xCQ0etwIyIDjMFVFjzmUkg32BOmKsrXCW4AyN2V0et3lVCFmL142aXqA2+BSTu8vKEaTonq7phe7ohh7p/ddataBGw8s+z3pTK5xS/HBo5e1fVZlnHzufqj89+9jCTOBVsncnYBq3MJr66sHxy8rccqo2Thf0zP7P6YFu+QZW9dW4XBLLZ4jxB2S+P/dPoE6mZ9O0NJXMzoc/EcUwxjDBzz2NLBaRg8rHShzhBKeRJyWhDCpDzVQlEmoG8CWU0Q8ONIt7</latexit>

x2<latexit sha1_base64="kQtimca76JqnkDW6wxad0CxSgG0=">AAACZ3ichVHLSsNAFD2N7/poVRDBTbVUXJVbEXysRDcubWtUUClJHHUwTUKSFrX4A25cqrhSEBE/w40/4KKfoC4ruHHhbRoQLeodZubMmXvunJnRHVN6PlE1orS0trV3dHZFu3t6+2Lx/oFVzy65hlAN27TddV3zhCktofrSN8W64wqtqJtiTd9frO+vlYXrSdta8Q8dsVXUdi25Iw3NZ0o9KFQmjwvxJKUpiEQzyIQgiTCW7fgtNrENGwZKKELAgs/YhAaP2wYyIDjMbaHCnMtIBvsCx4iytsRZgjM0Zvd53OXVRshavK7X9AK1waeY3F1WJpCiJ7qjGj3SPT3Tx6+1KkGNupdDnvWGVjiF2Mlw/v1fVZFnH3tfqj89+9jBTOBVsncnYOq3MBr68tFZLT+XS1XG6Zpe2f8VVemBb2CV34ybrMhdIsofkPn53M1AnUzPpik7lZxfCH+iEyMYwwQ/9zTmsYRlqHysxCnOcRF5UeLKkDLcSFUioWYQ30IZ/QQQNIt8</latexit>

x3

LinearLineary1

y2

LinearRNN2

x1<latexit sha1_base64="GCtg1Yhvj54N0pmAKfX/tokkGK4=">AAACZ3ichVHLSsNAFD2Nr1ofrQoiuFFLxVW5FcHHqujGZX1EC7WUJI46mCYhSYta+gNuXKq4UhARP8ONP+DCT1CXCm5ceJsGREW9w8ycOXPPnTMzumNKzyd6iCgtrW3tHdHOWFd3T2880de/5tkV1xCqYZu2m9c1T5jSEqovfVPkHVdoZd0U6/ruQmN/vSpcT9rWqr/viGJZ27bkljQ0nyl1r1TL1EuJJKUpiJGfIBOCJMLI2YkrbGATNgxUUIaABZ+xCQ0etwIyIDjMFVFjzmUkg32BOmKsrXCW4AyN2V0et3lVCFmL142aXqA2+BSTu8vKEaTonq7phe7ohh7p/ddataBGw8s+z3pTK5xS/HBo5e1fVZlnHzufqj89+9jCTOBVsncnYBq3MJr66sHxy8rccqo2Thf0zP7P6YFu+QZW9dW4XBLLZ4jxB2S+P/dPoE6mZ9O0NJXMzoc/EcUwxjDBzz2NLBaRg8rHShzhBKeRJyWhDCpDzVQlEmoG8CWU0Q8ONIt7</latexit><latexit sha1_base64="qkYc4Czy721VrHB6/qZPQhmNrN8=">AAACZ3ichVHLSsNAFD2Nr1pfVUEKbtRScVVuVfCxKrpx6SsqqJQkTnVomoQkLWrxB9y4VHGlICJ+hht/wIWfoC4V3LjwJg2IinqHmTlz5p47Z2Z0x5SeT/QQUxoam5pb4q2JtvaOzq5kd8+KZ1dcQ6iGbdrumq55wpSWUH3pm2LNcYVW1k2xqpdmg/3VqnA9aVvL/p4jNsvatiWL0tB8ptTdQm3soJBMU5bCGPgJchFII4p5O3mFDWzBhoEKyhCw4DM2ocHjto4cCA5zm6gx5zKS4b7AARKsrXCW4AyN2RKP27xaj1iL10FNL1QbfIrJ3WXlADJ0T9f0Qnd0Q4/0/mutWlgj8LLHs17XCqfQdZhaevtXVebZx86n6k/PPoqYDL1K9u6ETHALo66v7h+/LE0vZmrDdEHP7P+cHuiWb2BVX43LBbF4hgR/QO77c/8E6mh2KksL4+n8TPQTcfRjCCP83BPIYw7zUPlYiSOc4DT2pCSVPiVVT1VikaYXX0IZ/AASNIt9</latexit>

<EOS>
<EOS>

Attention

RNN1

RNN2

x1

RNN3

Attentionx2

x3<latexit sha1_base64="kQtimca76JqnkDW6wxad0CxSgG0=">AAACZ3ichVHLSsNAFD2N7/poVRDBTbVUXJVbEXysRDcubWtUUClJHHUwTUKSFrX4A25cqrhSEBE/w40/4KKfoC4ruHHhbRoQLeodZubMmXvunJnRHVN6PlE1orS0trV3dHZFu3t6+2Lx/oFVzy65hlAN27TddV3zhCktofrSN8W64wqtqJtiTd9frO+vlYXrSdta8Q8dsVXUdi25Iw3NZ0o9KFQmjwvxJKUpiEQzyIQgiTCW7fgtNrENGwZKKELAgs/YhAaP2wYyIDjMbaHCnMtIBvsCx4iytsRZgjM0Zvd53OXVRshavK7X9AK1waeY3F1WJpCiJ7qjGj3SPT3Tx6+1KkGNupdDnvWGVjiF2Mlw/v1fVZFnH3tfqj89+9jBTOBVsncnYOq3MBr68tFZLT+XS1XG6Zpe2f8VVemBb2CV34ybrMhdIsofkPn53M1AnUzPpik7lZxfCH+iEyMYwwQ/9zTmsYRlqHysxCnOcRF5UeLKkDLcSFUioWYQ30IZ/QQQNIt8</latexit><latexit sha1_base64="qkYc4Czy721VrHB6/qZPQhmNrN8=">AAACZ3ichVHLSsNAFD2Nr1pfVUEKbtRScVVuVfCxKrpx6SsqqJQkTnVomoQkLWrxB9y4VHGlICJ+hht/wIWfoC4V3LjwJg2IinqHmTlz5p47Z2Z0x5SeT/QQUxoam5pb4q2JtvaOzq5kd8+KZ1dcQ6iGbdrumq55wpSWUH3pm2LNcYVW1k2xqpdmg/3VqnA9aVvL/p4jNsvatiWL0tB8ptTdQm3soJBMU5bCGPgJchFII4p5O3mFDWzBhoEKyhCw4DM2ocHjto4cCA5zm6gx5zKS4b7AARKsrXCW4AyN2RKP27xaj1iL10FNL1QbfIrJ3WXlADJ0T9f0Qnd0Q4/0/mutWlgj8LLHs17XCqfQdZhaevtXVebZx86n6k/PPoqYDL1K9u6ETHALo66v7h+/LE0vZmrDdEHP7P+cHuiWb2BVX43LBbF4hgR/QO77c/8E6mh2KksL4+n8TPQTcfRjCCP83BPIYw7zUPlYiSOc4DT2pCSVPiVVT1VikaYXX0IZ/AASNIt9</latexit><latexit sha1_base64="97e7mjwv3GKazwj38RpfbangIZc=">AAACZ3ichVHLSsNAFD2N7/poVRDBjVoqrsqtCD5WohuXvmILtZQkTnUwTUKSFmrxB9y4VHGlICJ+hht/wIWfoC4ruHHhbRoQLeodZubMmXvunJnRHVN6PtFTRGlr7+js6u6J9vb1D8Tig0Pbnl12DaEatmm7WV3zhCktofrSN0XWcYVW0k2R0Q9WGvuZinA9aVtbftUR+ZK2Z8miNDSfKbVaqM0cFeIJSlEQ460gHYIEwliz4zfYwS5sGCijBAELPmMTGjxuOaRBcJjLo8acy0gG+wJHiLK2zFmCMzRmD3jc41UuZC1eN2p6gdrgU0zuLivHkaRHuqU6PdAdPdPHr7VqQY2GlyrPelMrnELseHTz/V9ViWcf+1+qPz37KGI+8CrZuxMwjVsYTX3l8LS+ubiRrE3RFb2y/0t6onu+gVV5M67XxcYFovwB6Z/P3QrUmdRCitZnE0vL4U90YwyTmObnnsMSVrEGlY+VOMEZziMvSlwZUUabqUok1AzjWygTnxI3i30=</latexit><latexit sha1_base64="LLovqzhSz7B00LhyXWv5bEP0Ou0=">AAACZ3ichVHLSsNAFD2N7/poVRDBTbVUXJVbEXysRDcufcUWVEoSp3UwTUKSFmrxB9y4VHGlICJ+hht/wIWfoC4ruHHhbRoQLeodZubMmXvunJnRHVN6PtFTRGlr7+js6u6J9vb1D8Tig0Nbnl12DaEatmm7OV3zhCktofrSN0XOcYVW0k2R1Q+WG/vZinA9aVubftURuyWtaMmCNDSfKbWar2WO8vEkpSmIRCvIhCCJMFbt+A12sAcbBsooQcCCz9iEBo/bNjIgOMztosacy0gG+wJHiLK2zFmCMzRmD3gs8mo7ZC1eN2p6gdrgU0zuLisTSNEj3VKdHuiOnunj11q1oEbDS5VnvakVTj52PLrx/q+qxLOP/S/Vn559FDAXeJXs3QmYxi2Mpr5yeFrfWFhP1Sbpil7Z/yU90T3fwKq8GddrYv0CUf6AzM/nbgXqdHo+TWszycWl8Ce6MYYJTPFzz2IRK1iFysdKnOAM55EXJa6MKKPNVCUSaobxLZTxTxA3i3w=</latexit>

l1<latexit sha1_base64="j3K5f1sevUDUOrXmfdY6FxBiVT8=">AAACZ3ichVHLSsNAFD2Nr1pfVUEKbtSiuCq3IvhYFd247MOooFKSOOpgmoQkLdTSH3DjUsWVgoj4GW78ARf9BHWp4MaFt2lAVNQ7zMyZM/fcOTOjO6b0fKJGRGlr7+jsinbHenr7+gfig0Nrnl12DaEatmm7G7rmCVNaQvWlb4oNxxVaSTfFun6w3NxfrwjXk7a16lcdsV3S9iy5Kw3NZ0o1i7V0vRhPUoqCGPsJ0iFIIoysHb/GFnZgw0AZJQhY8Bmb0OBx20QaBIe5bdSYcxnJYF+gjhhry5wlOENj9oDHPV5thqzF62ZNL1AbfIrJ3WXlGCbpgW7ohe7plh7p/ddataBG00uVZ72lFU5x4ChRePtXVeLZx/6n6k/PPnYxH3iV7N0JmOYtjJa+cnjyUljMT9am6JKe2f8FNeiOb2BVXo2rnMifI8YfkP7+3D+BOpNaSFFuNplZCn8iilFMYJqfew4ZrCALlY+VOMYpziJPSlwZURKtVCUSaobxJZTxD/YBi28=</latexit>

l2

y1

<EOS>

<latexit sha1_base64="dn1VM1k9e92FTEpQDgO2MNIYILA=">AAACZ3ichVHLSsNAFD2Nr1pfVUEEN2pRXJXbIvhYFd24rK3RQpWSxFEH0yQkaaGW/oAblyquFETEz3DjD7jwE9SlghsX3qYBUVHvMDNnztxz58yM7pjS84keIkpbe0dnV7Q71tPb1z8QHxxa9+yKawjVsE3bLeiaJ0xpCdWXvikKjiu0sm6KDX1/ubm/URWuJ21rza85Yqus7VpyRxqaz5RqlurpRimeoCQFMf4TpEKQQBhZO36FTWzDhoEKyhCw4DM2ocHjVkQKBIe5LdSZcxnJYF+ggRhrK5wlOENjdp/HXV4VQ9bidbOmF6gNPsXk7rJyHFN0T9f0Qnd0Q4/0/mutelCj6aXGs97SCqc0cDiaf/tXVebZx96n6k/PPnYwH3iV7N0JmOYtjJa+enD8kl/MTdWn6YKe2f85PdAt38CqvhqXqyJ3hhh/QOr7c/8Eajq5kKTV2URmKfyJKMYwiRl+7jlksIIsVD5W4ggnOI08KXFlRBltpSqRUDOML6FMfAD4AYtw</latexit>(a) ラベル系列生成とのマルチタスク学習を行うモデル

y2<latexit sha1_base64="LLovqzhSz7B00LhyXWv5bEP0Ou0=">AAACZ3ichVHLSsNAFD2N7/poVRDBTbVUXJVbEXysRDcufcUWVEoSp3UwTUKSFmrxB9y4VHGlICJ+hht/wIWfoC4ruHHhbRoQLeodZubMmXvunJnRHVN6PtFTRGlr7+js6u6J9vb1D8Tig0Nbnl12DaEatmm7OV3zhCktofrSN0XOcYVW0k2R1Q+WG/vZinA9aVubftURuyWtaMmCNDSfKbWar2WO8vEkpSmIRCvIhCCJMFbt+A12sAcbBsooQcCCz9iEBo/bNjIgOMztosacy0gG+wJHiLK2zFmCMzRmD3gs8mo7ZC1eN2p6gdrgU0zuLisTSNEj3VKdHuiOnunj11q1oEbDS5VnvakVTj52PLrx/q+qxLOP/S/Vn559FDAXeJXs3QmYxi2Mpr5yeFrfWFhP1Sbpil7Z/yU90T3fwKq8GddrYv0CUf6AzM/nbgXqdHo+TWszycWl8Ce6MYYJTPFzz2IRK1iFysdKnOAM55EXJa6MKKPNVCUSaobxLZTxTxA3i3w=</latexit><latexit sha1_base64="97e7mjwv3GKazwj38RpfbangIZc=">AAACZ3ichVHLSsNAFD2N7/poVRDBjVoqrsqtCD5WohuXvmILtZQkTnUwTUKSFmrxB9y4VHGlICJ+hht/wIWfoC4ruHHhbRoQLeodZubMmXvunJnRHVN6PtFTRGlr7+js6u6J9vb1D8Tig0Pbnl12DaEatmm7WV3zhCktofrSN0XWcYVW0k2R0Q9WGvuZinA9aVtbftUR+ZK2Z8miNDSfKbVaqM0cFeIJSlEQ460gHYIEwliz4zfYwS5sGCijBAELPmMTGjxuOaRBcJjLo8acy0gG+wJHiLK2zFmCMzRmD3jc41UuZC1eN2p6gdrgU0zuLivHkaRHuqU6PdAdPdPHr7VqQY2GlyrPelMrnELseHTz/V9ViWcf+1+qPz37KGI+8CrZuxMwjVsYTX3l8LS+ubiRrE3RFb2y/0t6onu+gVV5M67XxcYFovwB6Z/P3QrUmdRCitZnE0vL4U90YwyTmObnnsMSVrEGlY+VOMEZziMvSlwZUUabqUok1AzjWygTnxI3i30=</latexit>(b) 系列ラベリングとのマルチタスク学習を行うモデル

図 1: 論述構造と同時予測する 2 つのモデルの構造得られる RNN2 の隠れ層に対して、Attention [12] を計

3 論述構造との同時予測による意見生成

算して得られる RNN2 の隠れ層を h̃t∈ Rd 、RNN3(L)へ入力して得られる RNN3 の隠れ層を ht ∈ Rd とす
ると、出力単語 ŷt と出力ラベル ˆlt それぞれの条件付き(Y )3.1 キーアイデア
1 節で述べたように、論述構造は単語よりも大きな単位（文、文章など）で決まるため、より良い論述構造を持つ意見生成を行うためには、長距離依存関係をより捉えられる機構が必要である。そこで本研究では、Recurrent Neural Networks (RNN) が長距離依存関係をより捉えられるような機構を導入することで、この問題を解決する。実際に、文献 [7] では、翻訳とその統語構造を同時予測する方法により、長距離依存関係をより捉えられるようになることで、より正しい統語構
造を持つ翻訳結果が得られたことが示されている。これは、統語構造を表す supertag を用いることにより、
RNN が時間方向に生成していく際、長期記憶に依存する必要が少なくなり、より局所情報に依存すればよくなるため、RNN の長短期記憶を補うことで、長距離依
存関係をより捉えられるようになることを示している。
そこで、本研究では、統語構造と論述構造とのアナロ
ジーを考え、意見生成を翻訳、論述構造を統語構造と対
応付け、意見生成とその論述構造を同時予測すること
で、より良い論述構造を持つ意見生成モデルを提案する。これは、論述構造との同時予測により、論述タイプ
や論述単位間の関係性を持つ長距離依存関係に従って単語を生成することで、より良い論述構造を持つ意見を生成できることを期待している。論述構造と同時予測するモデルのバリエーションとして、(i) 論述構造を表すラベル系列生成とのマルチタスク学習と、(ii) 論述
構造を表すラベルのラベリングタスクとのマルチタス
ク学習、を検証する。
3.2 ラベル系列生成とのマルチタスク学習
論題を表す単語系列 X = {x1 , · · · , x|X| } を入力として、意見を表す単語系列 Y = {y1 , · · · , y|Y | } の生成と、意見の論述構造を表すラベル系列 L = {l1 , · · · , l|Y | }の生成とのマルチタスク学習を行う。論述構造を表すラベル系列の例として、“I think that we should
study hard.” と い う 文 の ラ ベ ル 系 列 は、{“None”,“None”, “None”, “B-Claim”, “I-Claim”, “I-Claim”,“I-Claim”, “None”}などで表せる。モデルの構造を
図 1(a) に示す。まず、エンコーダ側（RNN1）で入力系
列 X をエンコードする。次に、デコーダ側の各タイムス
テップ t において、単語 yt−1 とラベル lt−1 を入力して確率は、

Pθ (ŷt |y<t , l<t , X) = softmax(W1 h̃t + b1 )(1)
(L) (L)(L)Pθ (ˆlt |y<t , l<t , X) = softmax(W h + b )(2)
(Y )

(Y )

(Y )

1

t

1

と計算される。ここで、VY を語彙数、VL をラベル数と(Y )(L)
すると、W1 ∈ RVY ×d , W1 ∈ RVL ×d は重み行列、
(Y )

(L)

∈ RVL はバイアスである。単語とラベルの抽象度の違いを考慮するため、RNN3 を用いて
b1

∈ RVY , b1

異なる層から出力する場合を考慮している。
学習時には、下記の損失関数 L を最小化する:|Y |+1

X

L(θ) = −X

log Pθ (yt |y<t , l<t , X)

(X,Y,L) t=1(3)|Y |+1X−ηX

log Pθ (lt |y<t , l<t , X)

(X,Y,L) t=1

ここで、θ は学習する全てのパラメータ、η は、ラベル
予測の損失関数にかかる係数を表す。
3.3 系列ラベリングとのマルチタスク学習
論題を表す単語系列 X = {x1 , · · · , x|X| } を入力として、意見を表す単語系列 Y = {y1 , · · · , y|Y | } の生成と、意見の論述構造を表すラベル系列 L = {l1 , · · · , l|Y | }のラベリングとのマルチタスク学習を行う。モデルの構造を図 1(b) に示す。まず、エンコーダ側で入力系列をエンコードする。次に、デコーダ側の各タイムステッ
プ t において、単語 yt−1 を入力して得られる RNN2の隠れ層に対して、Attention[12] を計算して得られる

RNN2 の隠れ層を h̃t ∈ Rd 、RNN3 へ入力して得ら(L)れる RNN3 の隠れ層を ht−1 ∈ Rd とすると、出力単語ŷt と出力ラベル ˆlt−1 それぞれの条件付き確率は、
(Y ) (Y )(Y )Pθ (ŷt |y<t , X) = softmax W2 h̃t + b2
(4)(L) (L)(L)Pθ (ˆlt−1 |y<t , X) = softmax W2 ht−1 + b2
(5)
(Y )

と計算される。ここで、VY を語彙数、VL をラベル数と(Y )(L)
すると、W2 ∈ RVY ×d , W2 ∈ RVL ×d は重み行列、
(Y )

(L)

∈ RVL はバイアスである。単語とラベルの抽象度の違いを考慮するため、RNN3 を用いて
b2

∈ RVY , b2

異なる層から出力する場合を考慮している。

― 1078 ―Copyright(C) 2019 The Association for Natural Language Processing.
All Rights Reserved.

t
r
d

圧縮前

圧縮後

モデル

BLEU

69.3%
61.7%
46.0%

47.7%
35.6%
24.7%

ベースライン

0.01410.01940.01790.01650.0215MT-genMT-gen w/o RNN3
MT-tagMT-tag w/o RNN3

表 2: 圧縮前と圧縮後の “None” 以外のラベル数の割合

学習時には、下記の損失関数 L を最小化する:

表 3: BLEU による自動評価|Y |+1

X

L(θ) = −X(X,Y,L) t=1(6)|Y |+1−ηX

4.2

log Pθ (yt |y<t , X)

X

log Pθ (lt−1 |y<t , X)

(X,Y,L) t=2

ここで、θ は学習する全てのパラメータ、η はラベル予測の損失関数にかかる係数を表す。

4 評価実験
4.1

データ
意見生成タスクの学習では、Stab ら [9] により構築された論述構造の付与された essay データセットを用いた。これらのデータを、学習用データ（292(論題, 意見) ペア）、開発用データ（30 ペア）、テスト用データ（80 ペア）に分割し、実験を行った。前処理として単語は全て小文字化した。また、各単語に対して論述構造を表す下記の 3 種類のラベルを付与した:{(t, r, d)|t ∈ {None, B-P, I-P, B-C, I-C, B-MC, I-MC},r ∈ {None, Support, Attack, For, Against},
d ∈ {None, −11, · · · , −1, 1, · · · , 9}}
ここで、t は論述タイプ、r は論述単位間の関係性、dは関係する論述単位との距離を表す。t に関して、B, I
はそれぞれ議論単位の始めと内部を表し、P, C, MC はそれぞれ “Premise”、“Claim”, “MajorClaim” を表す。
また、目標系列 (意見) について、“MajorClaim” が最初に現れるパラグラフまでを抽出することで圧縮した。
圧縮の結果、目標系列の平均単語数は約 356 から約 114に減少した。また、ラベル系列に含まれる “None” 以外のラベル数の割合の圧縮前後の変化を表 2 に示す。
今回、意見生成タスクの学習で用いるデータは小規模なものであり、言語生成モデルの汎化性能が悪い
可能性があるため、RNN2 の言語モデルの事前学習を行った。RNN2 の事前学習では、Monolingual language model training data*1 の中の “From the News
Crawl Corpus(2011 only)” と意見生成タスクの学習に用いる学習用データとを合わせたものを学習用データ、“Development sets”*1 と意見生成タスク学習に用いる開発用データとを合わせたものを開発用データ、“Testsets”*1 をテスト用データとして用いた。前処理として、
単語数が 3 未満の系列を除去し、単語は全て小文字化
した。

学習設定
意見生成タスクの学習では、ラベル系列生成とのマ
ルチタスク学習を行うモデル、系列ラベリングとのマ
ルチタスク学習を行うモデル共に、RNN1、RNN2 として 3 層の LSTM、RNN3 として 1 層の LSTM を用いた。また、ハイパーパラメータの組合せとして、単語の埋め込み次元数 200、最適化手法 Adam、荷重減衰(係数 5e-4)、ミニバッチサイズ 16、η を 1.0、dropout
確率 (0.1 と 0.6)、勾配クリッピング (閾値 5.0 と 10.0)を使って開発用データ上で調整を行った。
意見生成タスクの学習モデルについて、Attention つ
きの seq2seq をベースラインとして、(i) ラベル系列
生成とのマルチタスク学習を行うモデル (MT-gen) と(ii) その RNN3 がないモデル (MT-gen w/o RNN3)、(iii) 系列ラベリングタスクとのマルチタスク学習を行うモデル (MT-tag) と (iv) その RNN3 がなくラベル
予測に Attention を計算した後の隠れ層を用いたモデル (MT-tag w/o RNN3) を用いて比較を行った。
RNN2 の事前学習では、ハイパーパラメータの組合せとして、単語の埋め込み次元数 200、dropout 確率(0.1 と 0.6)、最適化手法 Adam、荷重減衰 (係数 5e-4)、
勾配クリッピング (閾値 5.0 と 10.0)、ミニバッチサイ
ズ 128、語彙数 1 万を使って開発用データ上で調整を行った。
4.3 評価手法
テスト用データの意見を参照例としてモデルが生成した意見との一致度を評価するために、テスト用
データの 80 個の論題に対して生成した意見に対して、
BLEU [8] を求めることで自動評価を行った。また、生成された意見の論述構造の良さを評価するために、ランダムに選択した 30 個の意見に対し、AB テストによる人手評価を行った。AB テストによる人手評価の指標として、文献 [4] の指標のうち、論述構造に関する評価指標として、内容面に関しては “Cogency” と “Reasonableness”、レトリックの面に関しては “Arrangement”を用いた。“Cogency” とは、主張に対して適切な根拠を持つかどうか、“Reasonableness” とは、意見全体として論題の解決に貢献しているかどうか、“Arrangement” とは、根拠や主張が適切に配置されているかどうかを表す。AB テストでは、どちらのモデルから生成されたかのバイアスが入らないよう、ベースラインのモデルが生成した意見と、論述構造と同時予測するモデルが生成した意見を、左右ランダムに並べた。評価者
は、各評価指標について、左右どちらが良いか、あるい*1 http://www.statmt.org/wmt11/translation-task.html― 1079 ―Copyright(C) 2019 The Association for Natural Language Processing.
All Rights Reserved.

Cogency=<>

Reasonableness

A

R

S

A

R

S

100.0
0.0
0.0

76.7
13.3
10.0

96.7
0.0
3.3

100.0
0.0
0.0

76.7
13.3
10.0

100.0
0.0
0.0

Arrangement
26.7
20.0
53.3

CogencyReasonablenessArrangement

0.598

0.592

0.591

表 5: 人手評価の一致率

入力 (論題)： non academic subjects should be re-moved from syllabus

表 4: 議論マイニングの専門家による人手評価の結果 (“A” は “acceptability”、“R” は “relevance”、“S” は “sufficiency” を表す。)

は同じかを選択する形式で行った。
4.4 結果4.4.1 自動評価
テスト用データにおける BLEU による自動評価の結果を表 3 に示す。論述構造と同時予測するモデル全てにおいて、テスト用データの意見例との一致度が向上した。また、ラベリングタスクとのマルチタスク学習において出力する層を同じにすることで特に向上がみられた。
4.4.2 人手評価
ベースラインのモデルが生成した意見と、BLEU による自動評価において最も向上がみられたモデル (MTtag w/o RNN3) が生成した意見に対する、議論マイニ
ングの専門家による人手評価の結果を表 4 に示す。表中の各指標に対して、「ベースラインの方が良い (“<”)」、「MT-tag w/o RNN3 の方が良い (“>”)」、「同じ (“=”)」のそれぞれの結果となったサンプル数の割合 (% で表示) を示す。論述構造との同時予測により、内容面での向上はみられなかったが、レトリック面で向上がみられた。レトリック面での向上とは、例えば、“i think”など、主張が後続することを示唆する表現がより多くみられる点などを表す。
評価の一貫性を調べるために、もう一人の評価者が同一の評価を行った。評価者間の Kappa 値 [13] の結果を表 5 に示す。一致率の結果から、評価者間の評価がよく一致していることがわかる。また、実際に生成した意見の例を表 6 に示す。生成された意見例は、論
述構造の内容面に関しては意味の通らない文章であるが、“in my opinion,” という、主張が後続することを示
唆する表現が見られる点や、“academic” と類似な単語“knowledge” を生成した後に、“academic” と対比にあたるような単語 “career” が生成されている点など、長距離にわたって依存関係を持つ単語が生成されている点が見受けられた。

5 おわりに
本研究では、議論の的となる論題に対して自動で意見を生成する意見生成において、論述構造との同時予測を行うことで、BLEU の自動評価から、テスト用デー
タの意見例との一致度の向上がみられた一方、人手評
価から、論述構造の内容面での向上はみられなかったが、レトリックの面での向上がみられた。今後は内容面の向上を目指すと共に、外部知識を用いながら論述構造を持つ意見を生成する機構の構築を目指したい。

出力 (意見)：nowadays , last individuals choose ,set up one need to no one ways to acquire more
knowledge or the whole society . in my opinion ,it will be an important option . students in myinterested in a huge subject for one courses ’ university subjects rather than career with a job .
表 6: 論述構造との同時予測モデルによって生成された意見例

参考文献[1] Iryna Gurevych, Chris Reed, Noam Slonim, and Benno
Stein. NLP approaches to computational argumentation.
ACL, 2016.
[2] Xinyu Hua and Lu Wang. Neural argument generation
augmented with externally retrieved evidence. In Proceedings of ACL, pages 219–230, 2018.
[3] Dieu Thu Le, Cam-Tu Nguyen, and Kim Anh Nguyen.
Dave the debater: a retrieval-based and generative argumentative dialogue agent. In Proceedings of the 5thWorkshop on Argument Mining, pages 121–130, 2018.
[4] Henning Wachsmuth, Nona Naderi, Yufang Hou,
Yonatan Bilu, Vinodkumar Prabhakaran, Tim Alberdingk Thijm, Graeme Hirst, and Benno Stein. Computational argumentation quality assessment in natural language. In Proceedings of EACL, pages 176–187, 2017.
[5] Misa Sato, Kohsuke Yanai, Toshihiko Yanase, Toshinori
Miyoshi, Makoto Iwayama, Qinghua Sun, and Yoshiki
Niwa. End-to-end argument generation system in debating. In Proceedings of ACL-IJCNLP, pages 109–114,
2015.
[6] Christian Stab, Johannes Daxenberger, Chris Stahlhut,
Tristan Miller, Benjamin Schiller, Christopher Tauchmann, Steffen Eger, and Iryna Gurevych. ArgumenText:
Searching for arguments in heterogeneous sources. In
Proceedings of NAACL-HLT, pages 21–25, 2018.
[7] Maria Nadejde, Siva Reddy, Rico Sennrich, Tomasz
Dwojak, Marcin Junczys-Dowmunt, Philipp Koehn, andAlexandra Birch. Predicting target language ccg supertags improves neural machine translation. In Proceedings of WMT, pages 68–79, 2017.
[8] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. BLEU: a method for automatic evaluation ofmachine translation. In Proceedings of ACL, 2002.
[9] Christian Stab and Iryna Gurevych. Parsing argumentation structures in persuasive essays. Computational Linguistics, 43(3):619–659, 2017.
[10] Steffen Eger, Johannes Daxenberger, and Iryna
Gurevych. Neural end-to-end learning for computational argumentation mining. In Proceedings of ACL,
pages 11–22, 2017.
[11] Minh-Thang Luong, Quoc V. Le, Ilya Sutskever, Oriol
Vinyals, and Lukasz Kaiser. Multi-task sequence to sequence learning. In Proceedings of ICLR, 2016.
[12] Minh-Thang Luong, Hieu Pham, and Christopher
D.Manning. Effective approaches to attention-based neural machine translation. In Proceedings of EMNLP, pages
1412–1421, 2015.
[13] Jacob Cohen. A coefficient of agreement for nominal
scales. Educational and Psychological Measurement,
20:37–46, 1960.

― 1080 ―Copyright(C) 2019 The Association for Natural Language Processing.
All Rights Reserved.