NTCIR-15 QA Lab-PoliInfo2 のタスク設計○木村泰知 (小樽商大), 渋木英潔 (NII), 高丸圭一 (宇都宮共和大),秋葉友良 (豊橋技科大), 石下円香 (NII), 内田ゆず (北海学園大),
小川泰弘 (名大), 乙武北斗 (福岡大), 佐々木稔 (茨大),三田村照子 (CMU), 横手健一 (日立), 吉岡真治 (北大), 神門典子 (NII)

http://poliinfo2.net
NLP2020 F3:言語資源・アノテーション(1) 3月18日(水) 9:00-10:20

発表概要
l QA Lab-PoliInfo2とは
l 会議録と議会だより
l ３つのタスク▶ Stance Classification▶ Dialog summarization▶ Entity Linking

l データセットの入手方法（参加方法）

QA Lab-PoliInfo2 の目標
l 政治情報の信憑性を判断するために自然言語処理技術を用いる
l 政治情報のタスクを設計し、研究者が議論できる場をつくる

1. Stance Classification
2. Dialog Summarization
3. Entity Linking

QALab PoliInfo2 における３つのタスク
議会会議録

例えば，地方議会（東京都議会）※最終目標はリアルタイム音声認識

情報

質問者
次に、働き方改革について質問します。
本年六月に可決、成立した働き方改革関連法では…

質問者

答弁者

●●党

○○党

会派

会派

答弁者
次に、働き方改革関連法への対応についてでございますが、知識ベース・言語資源
Wikipedia

働き方改革を推進するための関係法律の整備に関する法律「 ………………………」
表記揺れ
働き方改革関連法「 ………………………」独占禁止法 曖昧性解消「 ………………………」
私的独占の禁止及び公正取引の確保に関する法律「 ………………………」Stance Classification

Dialog Summarization

Entity Linking

議会の発言を用いた会派のスタンス分類

質問と答弁の構造を考慮した要約法律名とWikipediaの連結

会派

質問の要約
メンション抽出

議案答弁の要約

連結発表概要
l QA Lab-PoliInfo2とは
l 会議録と議会だより
l ３つのタスク▶ Stance Classification▶ Dialog summarization▶ Entity Linking

l データセットの入手方法（参加方法）

東京都議会会議録の構造

東京都議会だよりの構造
質問者

質問の要約

答弁者

答弁の要約

NTCIR14 と NTCIR15 の違い
l NTCIR14l NTCIR15▶ Segmentation task

▶ Stance Classification task

ü 発言の「範囲抽出(開始行、終了行)」

ü 会派の各議案に対する立場を考慮した分類▶ Summarization task

▶ Dialog Summarization

ü 発話者の意図が伝わる「要約」

ü 議会の質問と答弁の構造を考慮した要約▶ Classification task

▶ Entity Linking

ü 「根拠を伴う賛成(Support)」「根拠を伴う反ü メンション抽出

対(Against)」「その他(Other)」への分類
l 関連（あり、なし）
l 事実検証（可能、不可能）
l 立場（賛成、反対）ü 曖昧性解消

発表概要
l QA Lab-PoliInfo2とは
l 会議録と議会だより
l ３つのタスク▶ Stance Classification▶ Dialog summarization▶ Entity Linking

l データセットの入手方法（参加方法）

Stance Classification
l 目的▶ 複数の議案に対する賛否を明らかにして、会派（政党）の立場を分類する。

l 入力▶ 会議録データ▶ 出題ファイル（会派の賛否が空欄）

l 出力▶ 出題ファイル（会派の賛否を埋める）

出力のイメージデータ構築方法
入力（都議会会議録）

出力（都議会だより）

出題フォーマット
Field nameID
Prefecture
Meeting
MeetingStartDate
MeetingEndDate
Proponent
BillClass
BillSubClass
Bill
BillNumber
SpeakerList

Description

識別番号

都道府県
会議名
会議開始日(Date型)
会議終了日(Date型)
提案者
大カテゴリ
小カテゴリ
議案名
議案番号
議員と会派 ※辞書型
会派と賛否 (2値) ※辞書型
ProsConsPartyListBinary
賛成、反対
会派と賛否 (3値) ※辞書型
ProsConsPartyListTernary
賛成、反対、言及なし

ExamplePoliInfo2-StanceClassification-JA-Dry-Training-02543
東京都
平成31年第1回定例会、第1回臨時会
2019/2/20
2019/3/28
知事提出議案
予算
31年度予算一般会計第一号議案{ "増子ひろき” : "都ファースト", "吉原修” : "自民党”, "東村邦浩” : "公明党”, }{“都ファースト”: “賛成”, : “自民党”:“反対”, “公明党”, :“賛成” }{“都ファースト”: “賛成”, : “自民党”:“反対”, “公明党”, :“賛成” }東京都議会会議録のフォーマット（本会議と委員会）
Field nameDate
Prefecture
ProceedingTitle
Proceeding
URL

Description

日付
都道府県
会議のタイトル
リスト型に辞書型{Speaker, Utterance}を含める

Stance Classification
l 目的▶ 複数の議案に対する賛否を明らかにして、会派（政党）の立場を分類する。

l 入力▶ 会議録データ▶ 出題ファイル（会派の賛否がNULL）

l 出力

会議録データ

ファイル数

ファイルサイズ合計

東京都議会（定例会，臨時会）

2

97MB

東京都議会（委員会）

30

462MB
ファイルサイズ合計▶ 出題ファイル（会派の賛否を埋める）

l 評価▶ 議案ごとの正解率の総和

データセット

出題数

ファイル数

学習用データ

2,632

1

8.1MB

評価用データ

481

1

1.4MB

発表概要
l QA Lab-PoliInfo2とは
l 会議録と議会だより
l ３つのタスク▶ Stance Classification▶ Dialog summarization▶ Entity Linking

l データセットの入手方法（参加方法）

Dialog Summarizationl 目的▶ 地方議会における対話の構造を考慮しながら「要約」する

l 入力▶ 会議録データ▶ 出題ファイル（要約欄がNULL）

要約結果以外の情報

l 出力▶ 出題ファイル（要約欄を埋める）

l 評価▶ ROUGE scores▶ 参加者による人手評価

黄色のエリア入力 と 出力
小山くにひこ議員の発言：約21000文字

入力 と 出力
小山くにひこ議員の発言：約21000文字

Main topic

Question Speaker
Sub topic
Question Summary
Answer Speaker
Answer summary

Dialog Summarization task データ構造
Field name

Description

ID
Date

識別番号
日付

Prefecture

都道府県

Meeting

会議名

MainTopic

メイントピック

QuestionSpeaker

質問者

SubTopic

サブトピック

QuestionSummary

質問の要約

QuestionLength

質問の字数制限

QuestionStartingLine

質問の開始行

QuestionEndingLine

質問の終了行AnswerSpeaker

答弁者

※リスト型

AnswerSummary

答弁の要約

※リスト型

AnswerLength

答弁の字数制限

AnswerStartingLine

答弁の開始行※リスト型

AnswerEndingLine

答弁の終了行

※リスト型

東京都議会会議録のデータ構造
Field name

Description

ID

識別番号

Line

行番号

Prefecture 都道府県名
Volume

回、第一回定例会

Number号、何日目

Year

年

Month

月

Day

日

Title

表題

Speaker

発言者名

Utterance

発言Dialog Summarizationl 目的▶ 地方議会における対話の構造を考慮しながら「要約」する

l 入力▶ 会議録データ▶ 出題ファイル（要約欄がNULL）

会議録データl 評価▶ ROUGE scores▶ 参加者による人手評価

ファイルサイズ合計

142MB

東京都議会会議録データ
（定例会）

l 出力
▶ 出題ファイル（要約欄を埋める）

ファイル数

データセットファイ
ル数

学習用データセグメントあり

1438414KB

学習用データセグメントなし

1325

292KB

評価用データ

1254

161KB

出題数

ファイルサイズ合計

発表概要
l QA Lab-PoliInfo2とは
l 会議録と議会だより
l ３つのタスク▶ Stance Classification▶ Dialog summarization▶ Entity Linking

l データセットの入手方法（参加方法）

Entity Linking
l 目的▶ 表記揺れや曖昧性の問題を解決しながら、発言の根拠となる一次情報と結びつける▶ PoliInfo2 では「法律名」を対象とする

l 入力▶ 出題ファイル（形態素）▶ Wikipedia (2019-12-01)

l 出力▶ 出題ファイル（形態素，IOB2，メンション，URL）
ü メンション抽出結果：IOB２タグ
ü 曖昧性解消結果：メンションに対応するWikipediaのタイトル

l 評価▶ 適合率，再現率，F値

データセット

ファイル数

形態素数

ファイルサイズ合計

学習用データ

1260,366

2.7MB

評価用データ

1209,862

1.9MB

Entity Linking の３つの課題
1. 表記ゆれの解決
2. 曖昧性の解決
3. リンク先が存在するのか、存在しないか、明確にする
・特定複合観光施設区域整備法案、いわゆるＩＲ整備法案について、最近の世論調査では、カジノ法案の成立は不要としている国民の方々七六％、自民党の支持の方々でも六四％に及びます。
・また、一昨年のＩＲ推進法の審議の際には……

正式名称
特定複合観光施設区域整備法
Wikipediaに存在しない・こうした問題点を踏まえれば、ＩＲ法案は、我が国には必要のないざる法、悪法と言わざるを得ません。
特定複合観光施設区域の整備の推進に関する法律・その当時のカジノ法案、カジノ解禁法案、ＩＲ法案があったんですよね。

Wikipediaに存在する

メンション抽出メンションの曖昧性解消

発表概要
l QA Lab-PoliInfo2とは
l 会議録と議会だより
l ３つのタスク▶ Stance Classification▶ Dialog summarization▶ Entity Linkingl データセットの入手方法（参加方法）

データセットの入手方法（参加方法）
Leader board の設置

https://poliinfo2.net/

まとめ
l QA Lab-PoliInfo2とは
l 会議録と議会だより
l ３つのタスク

http://poliinfo2.net▶ Stance Classification
JSAI2020で発表予定▶ Dialog summarization
3月18日17:30 A4-5
○小川泰弘 (名大), 木村, 渋木, 秋葉, 横手, 乙武, 石下
NTCIR-15 QA Lab-PoliInfo-2 における Dialog Summarization▶ Entity Linking
3月17日15:20 F1-2
○桧森拓真 (北大), 木村, 荒木
会議録に含まれる法律名を対象としたEnd-to-Endのエンティティリンキングの性能評価

l データセットの入手方法（参加方法）