# NTCIR15 QA Lab-Polilnfo-2 の報告およびデータセット公開

木村泰知

小樽商科大学

kimura@res.otaru-uc.ac.jp

内田ゆず

北海学園大学

yuzu@hgu.jp

三田村照子

カーネギーメロン大学

teruko@andrew.cmu.edu渋木英潔

国立情報学研究所

shib@nii.ac.jp

乙武北斗

福岡大学

ototake@fukuoka-u.ac.jp

吉岡真治

北海道大学

yoshioka@ist.hokudai.ac.jp高丸圭一

宇都宮共和大学

takamaru@kyowa-u.ac.jp

石下円香

国立情報学研究所

ishioroshi@nii.ac.jp

秋葉友良豊橋技術科学大学

akiba@cs.tut.ac.jp
## 小川泰弘

名古屋大学

yasuhiro@is.nagoya-u.ac.jp

横手健一

日立製作所

kenichi.yokote.fb@hitachi.com

荒木健治

北海道大学

araki@ist.hokudai.ac.jp佐々木稔

茨城大学

minoru.sasaki.01@vc.ibaraki.ac.jp

神門典子

国立情報学研究所

kando@nii.ac.jp森辰則

横浜国立大学

mori@forest.eis.ynu.ac.jp関根聡

理化学研究所

satoshi.sekine@riken.jp

## 1 はじめに

QA-Lab PoliInfo-2 は政治情報を対象とした Shared taskである. 我々は，国際評価型ワークショップ NTCIR-15 ${ }^{1)}$ において QA Lab-PoliInfo-2[1]を 2019 年 6 月から 2020 年 12 月にかけて実施した. QA LabPoliInfo-2 では，地方議会会議録コーパス [2] に加えて, 東京都議会会議録, 都議会だより, Wikipediaを言語資源として，4つのタスクを設計した.

本稿では，NTCIR-15 QA Lab-PoliInfo-2 における下記の 4 つのタスクの報告をするとともに，データセットの公開方法について述べる.

1. Stance Classification

2. Dialog Summarization

3. Entity Linking

4. Topic Detection


図 1 PoliInfo-2の4つのタスクの関係図

## 2 NTCIR15 QA Lab-Polilnfo-2

図 1 に QA Lab-PoliInfo-2 で目標とする課題の全体像と各タスクの位置づけを示す。NTCIR-15 QA Lab-PoliInfo-2 では，参加者に共通のデータセットを配布するとともに，公式サイト ${ }^{2} において ，$ 予め定めた評価手法を用いてスコア順に表示する Leader Board を設置した.

2) https://poliinfo2.net/

## 2.1 参加チーム

NTCIR-15 QA Lab-PoliInfo-2 の Formarl run (本テスト) に参加した 14 チームを下記に示す.
1. akbl $^{*}$ (Toyohashi University of Technology)

2. Forst* (Yokohama National University)

3. HUHKA* (Hokkaido University)

4. Ibrk* (Ibaraki University)

5. JRIRD (The Japan Research Institute, Limited)

6. knlab (Shizuoka University)

7. LIAT* (RIKEN AIP)

8. nukl* (Nagoya University)

9. selt (Waseda University)

10. SKRA (Hokkaido University)

11. TKLB (Osaka Electric-Communication University)

12. wer99 (Tokyo Institute of technology)

13. wfrnt* (HITACHI)

14. TO* (Task Organizers)

表 1 に Formal runの期間（2020 年 7 月 12 日から 2020 年 7 月 31 日まで）の投稿数を示す.

表 1 QA Lab-PoliInfo-2 の Formal run における投稿数

 &  &  &  \\

## 2.2 Polilnfo-2 データセット

QA Lab-PoliInfo2 の Formal run で，参加者に配布した公式データセットを下記のウェブサイトで 2021年 3 月に公開する。

https://github.com/poliinfo2

公式データセット以外にも，参加者から，本タスクに関連のあるデータおよびプログラムが提供された. Dialog summarization では，TO チームから発言ごとに分割したデータと発言者の役職のデータを公開した ${ }^{3)}$. Stance Classification では，akblチームから，議員名/所属会派辞書4）およびルールベース賛否予測プログラム5) が提供された。

## 3 Stance Classification task

Stance Classification task は「会派」を用いて，政治家の発言から，会派の立場を推定するタスクである。具体的には，東京都議会における議員の発言を対象として，会派の各議案に対する賛成・反対の立場を推定する．下記に入力，出力，評価について記述する。

評価は，各会派の議案数ごとに，賛成・反対の立場があることから，それらの総数を分母として， Accuracy を計算する．都議会だより6)には，議会で議論された議案ごの採決結果が, 賛成, 反対に分けて，記述されている．その都議会だよりは，議会事務局が作成していることから，議会だよりに記述されている「賛成」「反対」を正解としてデータセットを構築した. 東京都議会会議録のファイル数，および，ファイルサイズを下記に示す.

また，解答ファイルに含まれる議案数およびサイズを下記に示す.

3) https://github.com/yasuhiro-ogawa/ poliinfo2-resources

4) https://github.com/cat415/NTCIR15-Dictionary-python-script

5) https://github.com/cat415/NTCIR15-rulebase-python-script

6) https://www.gikai.metro.tokyo.jp/newsletter/

Listing 1 と Listing2 は Stance Classificationn の会議録，および，解答の Json ファイルの例である.

表 2 に Stance classification の結果 (Accuracy) を示す.ここでは，各チームの最も高い Accuracy の結果を示している．詳細は，各チームの論文（wer99[3] Ibrk[4], knlab[5], akbl[6], Forst[7]）に記載されている.

表 2 Stance classification の結果 (Accuracy)

## 4 Dialog Summarization task

Dialog Summarization は地方議会における「議員の質問」と「知事側の答弁」という対話構造を考慮し
ながら要約するタスクである. 下記に入力, 出力,評価について記述する.

会議録ファイルのデータサイズは下記に示す.

解答ファイルの問題数，サイズを下記に示す.

Dialog Summarization の正解は，都議会だよりを利用している．都議会だよりは，議会で記載された内容が議会事務局の職員により作られていることから，人手により作成された「正解の要約」とみなすことができる.

Listing 3 Dialog summarization の会議録の例 (Json)

"ID":"130001_230617_2",

"Line ":2,

"Prefecture ": 東京都,

"Volume "：平成年23第 2 回_,

"Number": 1

"Year":23,

"Month": 6 ,

"Day":17,

"Title "：平成年23第 2 回定例会_第7号 (),

"Speaker "：和田宗春,

"Utterance"：ただいまから平成二十三年第二回東京都議会定例会を開会いたします。

Listing 4 Dialog summarization の解答例 (Json)

\{

"AnswerEndingLine ": [ 532 ],

"AnswerLength": [ 50 ],

"AnswerSpeaker": [ 知事"" ]

"AnswerStartingLine": [ 528 ],

"AnswerSummary": [全国の先頭に立ち刻苦する被災地を支援するのは当然。今後も強力に後押しする。

"Date": "2011-06-23",

"Date": "2011-06-23",

"MainTopic "：東京の総合防災力を更に高めよくbr環境に配慮した都市づくりを〉

"Meeting "：平成年第回定例会232,

"Prefecture ": 東京都

"QuestionEndingLine": 276,

"QuestionLength": 50,

"QuestionSpeaker ": 山下太郎（民主党）

"QuestionStartingLine": 266

"QuestionSummary"：被災地が真に必要とする支援に継続して取り組むべき。知事の見解は。，

表 3 に Dialog summarization の ROUGE-1-R scores の結果 (Formal run の一部) を示す. 詳細は，各チームの論文 ( JRIRD[8], nukl[9], Forst[7], wfrnt[10], SKRA[11], LIAT[12]）に記載されている.また，人手評価の詳細については，Overview 論文に記載されている.

表 3 Dialog summarization の結果 (ROUGE-1-R scores)

※各チームの最も高い Rouge-1-Recall の結果を示す

## 5 Entity Linking task

Entity Linking では，議会会議録に含まれる政治家の発言を対象として，表記摇れ，曖昧性，根拠の有無を明らかにすることに焦点を絞り，発言内容の根拠をみつけるタスクである．具体的には，会議録に含まれる法律名を抜き出し，表記摇れや曖昧性を解決しつつ，一次情報（異なる言語資源）と結びつける. 下記に入力，出力，評価について述べる.

出力法律名のメンション抽出メンションに対応する Wikipedia URLへの連結評価 End-to-End (メンション抽出、曖昧性解消) 評価

Entity linking のファイルサイズを下記に示す.

入力と出力の形式は AIDA CoNLL-YAGO Dataset format を用いる [13]. 表 4 に Entity Linking のデータフォーマットを示す. Entity Linkig のデータフォー マットは，形態素，IOB2，メンション，正式名称， Wikipediaへの URLがタブで区切られている.

表 5 に Entity Linking の結果 (Formal run の一部)表 4 Entity Linking のデータフォーマット

を示す、詳細は，各チームの論文（HUHKA[14], Forst[7], selt[15], nukl[9]）に記載されている.

表 5 Entity Linking $の$ 結果 (F-measures)

※各チームの最も高い $\mathrm{F}$ 値の結果を示す

## 6 Topic Detection task

Topic Detection では，会議録の速報版から，「適切な議題の一覧」を議員ごとにまとめて提示するタスクである。下記に入力，出力を示す。

大力東京都議会の令和 2 年第 1-2 回定例会 (速報版)

出力議員ごとにまとめられた議題の一覧

評価については参加チームで「適切な議題とは何か」に関して議論した．詳細は，各チームの論文（TKLB[16], Ibrk[4], akbl[6], nukl[9]）に記載されている.

## 7 おわりに

本稿では，NTCIR-15 QA Lab-PoliInfo-2 における 4 つのタスク (Stance Classification, Dialog Summarization, Entity Linking, Topic Detection) の報告をするとともに，データセットの公開方法について述べた.

今後は, QA Lab-PoliInfo-2 のタスクを発展させ, Question Answering, QA Alignment, Fact Verification, Budget Argument Mining のタスクを検討している.

## 謝辞

本研究は JSPS 科研費 18K00632，20K00576, 20H00059,20K01736 およびセコム科学技術振興財団の助成を受けたものである.

## 参考文献

[1]Yasutomo Kimura, Hideyuki Shibuki, Hokuto Ototake, Yuzu Uchida, Keiichi Takamaru, Madoka Ishioroshi, Teruko Mitamura, Masaharu Yoshioka, Tomoyoshi Akiba, Yasuhiro Ogawa, Minoru Sasaki, Kenichi Yokote, Tatsunori Mori, Kenji Araki, Satoshi Sekine, and Noriko Kando. Overview of the ntcir-15 qa lab-poliinfo task. Proceedings of The 15th NTCIR Conference, 122020.

[2]Yasutomo Kimura, Keiichi Takamaru, Takuma Tanaka, Akio Kobayashi, Hiroki Sakaji, Yuzu Uchida, Hokuto Ototake, and Shigeru Masuyama. Creating Japanese political corpus from local assembly minutes of 47 prefectures. In Proceedings of the 12th Workshop on Asian Language Resources (ALR12), pages 78-85, Osaka, Japan, December 2016. The COLING 2016 Organizing Committee.

[3]Yuichi Sasazawa and Naoaki Okazaki. Wer99 at the ntcir-15 qa lab-poliinfo-2 classification task. Proceedings of The 15th NTCIR Conference, 122020.

[4]Ryo Kato and Minoru Sasaki. Ibrk at the ntcir-15 qa labpoliinfo-2. Proceedings of The 15th NTCIR Conference, 12 2020.

[5]Kazuhiro Atsumi and Yoshinobu Kano. knlab team: Ntcir-15 qa lab-poliinfo stance classification task. Proceedings of The 15th NTCIR Conference, 122020.

[6]Takanori Nekomoto, Ryoto Ohsugi, Tomoyosi Akiba, Shigeru Masuyama, and Daiki Shirato. akbl at the ntcir15 qa lab-poliinfo-2 tasks. Proceedings of The 15th NTCIR Conference, 122020.

[7]Hiromu Onogi, Kiichi Kondo, Younghun Lim, Xinnan Shen, Madoka Ishioroshi, Hideyuki Shibuki, Tatsunori Mori, and Noriko Kando. Forst: A challenge to the ntcir-15 qa labpoliinfo-2 task. Proceedings of The 15th NTCIR Conference, 122020.

[8]Kazuma Kadowaki. Jrird at the ntcir-15 qa lab-poliinfo2 task: An abstractive dialog summarization system for japanese assembly minutes. Proceedings of The 15th NTCIR Conference, 122020.

[9]Yasuhiro Ogawa, Yuta Ikari, Takahiro Komamizu, and Katsuhiko Toyama. Nukl at the ntcir-15 qa lab-poliinfo-2 task. Proceedings of The 15th NTCIR Conference, 122020.

[10]Ken-Ichi Yokote. wfrnt team at the ntcir-15 qa lab-poliinfo-2 task. Proceedings of The 15th NTCIR Conference, 122020.

[11]Daiki Shirafuji, Hiromichi Kameya, Rafal Rzepka, and Kenji Araki. Summarizing utterances from japanese assembly minutes using political sentence-bert-based method for qa labpoliinfo-2 task of ntcir-15. Proceedings of The 15th NTCIR Conference, 122020.

[12]Kouta Nakayama and Satoshi Sekine. Liat team' s extractive summarizer at ntcir-15 qalab poliinfo-2. Proceedings of The 15th NTCIR Conference, 122020.

[13]Erik F. Tjong Kim Sang and Fien De Meulder. Introduction to the conll-2003 shared task: Language-independent named entity recognition. In Proceedings of the Seventh Conference on Natural Language Learning at HLT-NAACL 2003 - Volume 4, CONLL '03, pages 142-147, Stroudsburg, PA, USA, 2003. Association for Computational Linguistics.

[14]Takuma Himori, Yasutomo Kimura, and Kenji Araki. Huhka at the ntcir-15 qa lab-poliinfo-2 entity linking task. Proceedings of The 15th NTCIR Conference, 122020.

[15]Yuji Naraki and Tetsuya Sakai. selt team' s entity linking system at the ntcir-15 qa lab-polinfo2. Proceedings of The 15th NTCIR Conference, 122020.

[16]Yuya Hirai, Yo Amano, and Kazuhiro Takeuchi. Ntcir-15 qa lab-poliinfo2 topic detection based on lda and argument structure graph. Proceedings of The 15th NTCIR Conference, 122020 .