言語処理学会 第26回年次大会 発表論文集 (2020年3月)

NTCIR-15 QA Lab-PoliInfo-2 におけるDialog Summarization
小川 泰弘 †

木村 泰知 ‡

渋木 英潔 §† 名古屋大学¶ 豊橋技術科学大学

秋葉 友良 ¶

横手 健一 ⋆‡ 小樽商科大学⋆ 日立製作所

乙武 北斗 ⋄

石下 円香 §§ 国立情報学研究所⋄ 福岡大学† yasuhiro@is.nagoya-u.ac.jp‡ kimura@res.otaru-uc.ac.jp

1

はじめに近年，政治にまつわるフェイクニュースが社会的な問題とされてきている．信憑性の低い情報がソーシャルメディアを介して拡散され，民意の形成に偏りを生じさせることが懸念されている．また，政治家の発言

PoliInfo-2 タスクにおける Dialog Summarization の概要と，タスクのためのデータセットの構築について述べる．第 4 節では，タスクオーガナイザがサブタスクに取り組んだ結果について紹介する．

2自体も信憑性や根拠が曖昧な場合が多く，政治家の発言に対するファクトチェックの必要性も高まっているといえる．
近年，EuroParl Corpus や UK Hansard コーパスなどが，政治に関わる自然言語処理研究のための言語資源として利用されている．しかしながら現在のところ，日本語を対象とした研究データが少ないことに加えて，議会における議員の発言を対象とした研究や，議会における政策形成のための議論を対象とした研究は進んでいない．
これらの問題を解決することを目指して，評価型ワークショップ NTCIR において Shared task QA Lab-PoliInfo を行っている．2019 年後半から 2020 年にかけて実施している NTCIR-15 QA Lab-PoliInfo-2 は三つのサブタスクで構成される．Stance Classification サブタスクでは，議会における発言に基づいて会派の立場（議案への賛否）を抽出することを目指す．Dialog

Summarization サブタスクでは，本会議で行われる一般質問および代表質問における質疑の自動要約を目指す．Entity Linking サブタスクでは，発言内で言及されている法律名を抽出し，知識ベース・言語資源の該当項目と結びつけることを目指す．
それらのうち，本稿においては，Dialog Summariza-tion サブタスクの紹介と，実際にサブタスクに取り組んだ一例を紹介する．
本稿では，まず第 2 節で NTCIR における QA Lab

QA Lab-PoliInfo タスクの背景
QA Lab-PoliInfo は，政治情報を対象としたサブタスクを質問応答の枠組みで捉えたものとして，評価型ワークショップ NTCIR1 の第 14 回において開催した．
地方議会会議録コーパス [4] を対象に，議会発言における議員の意見やその根拠，立場などを抽出し，議論の構造を明確にして，関係性などを理解しやすいように整理して提示することを最終的な目標としている．

NTCIR-14 においては，Segmentation，Summarization，Classification の三つのサブタスクを実施した．Segmentation は，要約されて引用された議会中の発言に対して，会議録の引用元の範囲を特定することを目指したサブタスクである．Summarization は，会議録中の特定の範囲から，発言者の意図が誤解されないように指定された文字数の範囲内で要約文を生成するサブタスクである．Classification は，議会における発言に，政治課題に対する意見が含まれるか，また意見に対する事実検証可能な根拠が示されているかを分類するサブタスクである．QA Lab-PoliInfo タスクには，15 組のチームが参加し，2018 年 11 月から 12月にかけて Formal Run が行われた [2][3]．
本稿で述べる NTCIR-15 QA Lab-PoliInfo-2 は，NTCIR14 QA Lab-PoliInfo の成果と問題点を踏まえて，Stance Classification，Dialog Summarization，Entity Linking の三つのサブタスクを提案している．
本タスクは，ウェブサイト 2 を通じて，参加者に共タスクの背景について述べた上で，第 3 節で QA Lab-― 945 ―1 http://research.nii.ac.jp/ntcir/index-ja.html
2 https://poliinfo2.net/Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.

通のデータセットを配布するとともに，評価結果を随表 1: Dialog Summarization のデータ構造

時表示するリーダーボードを設置することで，政治情ID
Date
Prefecture
Meeting
MainTopic
QuestionSpeaker
SubTopic
QuestionSummary
QuestionLength
QuestionStartingLine
QuestionEndingLine
AnswerSpeaker
AnswerSummary
AnswerLength
AnswerStartingLine
AnswerEndingLine

報を対象とした自然言語処理研究の促進を目指す．

3

Dialog Summarization
本節では，Dialog Summarization サブタスクの概要と，構築したデータセットの設計について述べる．

3.1

タスクの概要政治家の発言の信憑性を判断するためには，政治課
題に関する議論がどのように行われているのか，知る必要があり，議論をしている相手の発言や文脈を考慮しなければならない．政治課題に関する議論は，議会において行われており，議会会議録として質問や答弁が残されている．しかしながら，議会会議録は発言を識別番号
日付
都道府県会議名
メイントピック
質問者
サブトピック
質問の要約
質問の字数制限
質問の開始行
質問の終了行
答弁者 ※リスト型
答弁の要約 ※リスト型
答弁の字数制限 ※リスト型
答弁の開始行 ※リスト型
答弁の終了行 ※リスト型

書き起こした文書であり，まとめられておらず読みづらいという問題がある．特に，東京都議会をはじめとの例では，左側が要約前の議会会議録であり，右側にする多くの地方議会では，一問一答方式ではなく，一黄色で示した範囲の文字列が正解データとなる．

括質問一括答弁方式がとられており，質問と答弁が離弁する場合と，総務部長や教育長のような知事以外のDialog Summarization サブタスクでは，東京都議会会議録に加えて，機械処理が容易な JSON 形式で，要約に必要な情報を含んだ出題ファイルを提供する．出

出席者が答弁する場合がある．さらには，知事による題ファイルのデータ構造を表 1 に，JSON 形式のデー答弁を補足する形で複数の出席者が答弁することもあタの例を図 2 にそれぞれ示す．

れた位置に存在する．また，質問に対して，知事が答る．よって，質疑（質問と答弁の組）を要約するため出題ファイルでは，識別番号 (ID)，議会の開催日には，議論の構造を考慮することが求められる．以上のことから，Dialog Summarization は地方議会にお(Date)，都道府県名 (Prefecture)，会議名（例えば「平成 31 年度第 1 回定例会」）(Meeting)，議会だよりにける「議員の質問」と「知事側の答弁」という対話構書かれている一人の質問者の全質問を端的に表す単文造を考慮しながら要約することを目標としている．

（図 1 の例では「中小企業・小規模企業の支援を幼児

本サブタスクの入力は東京都議会の会議録，および，教育無償化への都の対応は」）(MainTopic)，質問項目

都議会だよりの要約に必要な情報であり，出力は都議（図 1 の例では「産業振興」や「ダイバーシティ・東会だよりの形式に沿った要約結果である．評価につい京」）(SubTopic)，質問者名および答弁者名 (Question-て，複数の手法を並行して用いる予定であるが，公式

Speaker，AnswerSpeaker)，質問および答弁の開始行・終了行 (QuestionStartingLine，QuestionEndingLine，

サイトのリーダーボードでは，ROUGE-1 Recall を用

AnswerStartingLine，AnswerEndingLine)，生成する質問・答弁の要約の字数制限 (QuestionLength，AnswerLength) が与えられる．これに対して参加者は会いて順位を決める．

3.2

データセットの構築

議会における一般質問および代表質問の概要は都議

議録に基づいて，質問と答弁の要約を生成し，Ques-会だよりに掲載されている（図 1 右）．都議会だより

tionSummary，AnswerSummary にそれぞれの解答をは，議会で記載された内容が議会事務局の職員により出力する．

作られていることから，人手により作成された「正解の要約」とみなすことができる．また，都議会だより

4

タスクオーガナイザによる実践

では，質問項目ごとに質問者と答弁者が示されており，Dialog Summarization サブタスクにおいては，タ質問とそれに対応する答弁が簡潔にまとめられている．

スクオーガナイザによる実行結果と，その際に作成しそこで，都議会だよりに記された質疑の要約を Dialogたプログラムやモデルなどを提供予定である．本節でSummarization の正解として用いることとする．図 1

は，タスクオーガナイザによる実践について述べる．

― 946 ―

Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.

図 1: Dialog Summarization のデータセット構築方法
1 { "AnswerEndingLine": [540],2"AnswerLength": [50],3"AnswerSpeaker": ["知事"],
4"AnswerStartingLine": [533],
5"AnswerSummary": ["新視点の対応加えた防災対応指針を 11月に策定し防災力向上の道筋を早期に示す。"],
6"Date": "2011-06-23",
7"ID": "PoliInfo2-DialogSummarization-JA-DryTraining-Segmented-00002",
8"MainTopic": "東京の総合防災力を更に高めよ<br>環境に配慮した都市づくりを",
9"Meeting": "平成 23年第 2回定例会",
10"Prefecture": "東京都",
11"QuestionEndingLine": 291,
12
"QuestionLength": 50,
13"QuestionSpeaker": "山下太郎（民主党）",
14"QuestionStartingLine": 284,
15
"QuestionSummary": "更に高める取組が必要。",
16"SubTopic": "東京の総合防災力"},NTCIR-14 QA Lab-PoliInfo における Segmentation
サブタスクと類似したタスクである．しかし，先のSegmentation サブタスクにおいては，要約後のテキストを利用して要約元の範囲を推定することができたが，今回のサブタスクにおいては，要約後のテキストは利用できない．しかし，要約後のテキストに付加されたサブトピックや発言者の情報は利用可能である．
また，先の Segmentation サブタスクにおいて最も優れた成果を達成した文献 [1] においては，表 2 に示す手掛かり句に基づいてテキストを分割することが有効であることが示されている．

図 2: Dialog Summarization のデータサンプル

よって，今回は表 2 の手掛かり句に基づいてテキストを段落に分割後，サブトピックを含む段落を要約元4.1

前処理の候補とした．なお，サブトピックが「築地市場移転要約元のテキストが含まれる議会会議録のファイル問題」のように長い場合，「築地市場」や「移転」などと，正解要約となる議会だよりには細かな差異が存在の用語は会議録に出現しても，「築地市場移転問題」自するため，前処理が必要となる．例えば，議会会議録体が出現しない場合がある．そうした場合は BERTにおいては「石原慎太郎」のように発言者の氏名が記を用いて文およびサブトピックをベクトル化し，最も述されているが，議会だよりにおいては答弁者は「知類似する文を含む段落を候補とした．その後，議会だ事」のように役職名で記述されている．また，質問者

よりにおけるサブトピックの出現順と，会議録におけごとの質疑全体の範囲を特定する必要がある．こうしる要約元の出現順が同じであるという仮定を利用した

た前処理については，全参加者共通であるため，対処ヒューリスティクスにより，要約元の範囲を決定した．

するためのデータをタスクオーガナイザ側で提供する．

4.3
4.2

会議録の構造解析

要約

テキストの要約には，NTCIR-14 QA Lab-PoliInfo

第 3 節で述べたように，本サブタスクにおいては，まの Summarization サブタスクにおける自動評価におず会議録の構造を解析し，サブトピックごとに要約元といて，最も良い成果を示した文献 [5] の手法をそのまなる質問や答弁の範囲を推定する必要がある．これはま利用した．文献 [5] では，正例と負例の比率を変化― 947 ―

Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.

patternopening

表 2: 手掛かり句を見つけるための正規表現
regular expression^まず|^最初に|^初めに|^次に|^次いで|^最後に|^終わりに|^[一二三四五六七八九十]+点目|^[^、]+についてで (す|あります|ございます)(が|けれど)closing|^終わり (ま|で) す。|^以上で|^ありがとうございま|他の質問に (ついて|つきまして) は伺い [^、]*ます。|お尋ね [^、]*します|お答えください。
|(見解|所見|答弁) を求め [^、]*ます。
|(いかがで|どうで)(しょうか|すか)。
|.+質問を (終わります|終了します)。
(文献 [1] からの引用)表 3: ROUGE による評価結果

RecallF-measure

N1

N2

N3N4L

SU4W1.2

N1N2N3N4L

SU4W1.2

表層形

0.404

0.130

0.076

0.046

0.337

0.168

0.160

0.307

0.098

0.058

0.035

0.253

0.123

0.159

原形

0.424

0.143

0.086

0.054

0.354

0.184

0.170

0.323

0.108

0.065

0.041

0.266

0.134

0.169

内容語

0.244

0.105

0.050

0.022

0.234

0.123

0.150

0.185

0.078

0.037

0.017

0.177

0.079

0.139

させた訓練データから学習した複数のランダムフォレ
ストを組み合わせて要約する．先の Summarization
サブタスクと今回の Dialog Summarization サブタス
クでは，用意された訓練データの量が異なる．先のSummarization サブタスクでは平成 24 年分のみであったが，今回 Dialog Summarization サブタスクでは，それに加えて平成 23 年分，平成 26 年分が利用可能である 3 ．しかし，本稿では追加の訓練データは利用せず，先の Summarization サブタスクで学習したモデルをそのまま利用した．その結果を表 3 に示す．

5

おわりに
本稿では，NTCIR-15 QA Lab-PoliInfo-2 におけるDialog Summarization タスクの概要，データセット，およびタスクオーガナイザによる実践について述べた．
NTCIR-15 QA Lab-PoliInfo-2 は，2020 年 2 月 1 日
から 4 月 30 日まで参加を受け付けている．本稿で述
べたデータセットを用い，参加者相互で議論を行いな
がら，5〜6 月に予備テスト (Dry Run) を，7 月に本テスト (Formal Run) を実施する予定である．
公式サイトでは，参加者の結果を随時掲載するだけでなく，提出データを共有し，例えば，他の参加者の構造解析結果を利用した要約なども可能とする．
3 テストデータは平成 25 年度分である．

参考文献[1] Kanasaki K, Yong J, Kawamura S, et al. Cuephrase-based text segmentation and optimal segment concatenation for the NTCIR-14 QA LabPoliInfo task. In NII Testbeds and Community forInformation Access Research - 14th International
Conference, NTCIR 2019, Tokyo, Japan, June
10-13, 2019, Revised Selected Papers, pp. 85–96,2019.
[2] Kimura Y, Shibuki H, Ototake H, et al. Finalreport of the NTCIR-14 QA lab-poliinfo task.
In NII Testbeds and Community for Information
Access Research - 14th International Conference,
NTCIR 2019, Tokyo, Japan, June 10-13, 2019,
Revised Selected Papers, pp. 122–135, 2019.
[3] Kimura Y, Shibuki H, Ototake H, et al. Overview
of the NTCIR-14 QA Lab-PoliInfo task. In Proceedings of the 14th NTCIR Conference, 2019.
[4] Kimura Y, Takamaru K, Tanaka T, et al. Creating Japanese political corpus from local assembly minutes of 47 prefectures. In Proceedings ofthe 12th Workshop on Asian Language Resources(ALR12), pp. 78–85, 2016.
[5] Ogawa Y, Satou M, Komamizu T, et al. nagoy
team s summarization system at the NTCIR14 QA Lab-Poliinfo. In NII Testbeds and Community for Information Access Research - 14th
International Conference, NTCIR 2019, Tokyo,Japan, June 10-13, 2019, Revised Selected Papers, pp. 110–121, 2019.

― 948 ―

Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.