NTCIR 14

QA Lab PoIiInfo
第5回説明会
1208会議室＠NII
2019年04月23日15:00-17:30

NTCIR-14 QA Lab PoliInfo
https://poliinfo.github.io/Organizers:
木村泰知（小樽商科大学, 理化学研究所AIP）
渋木英潔（横浜国立大学）
高丸圭一（宇都宮共和大学）
内田ゆず（北海学園大学）
乙武北斗（福岡大学）
石下円香（国立情報学研究所）
阪本浩太郎（横浜国立大学, 国立情報学研究所）
三田村照子（カーネギーメロン大学）
神門典子（国立情報学研究所, 総合研究大学院大学）

Advisers:
森辰則（横浜国立大学）
湯淺墾道（情報セキュリティ大学院大学）
関根聡（理化学研究所AIP）
乾健太郎（東北大学, 理化学研究所AIP）

第5回説明会の概要
l Formal Run の結果について
l QALab-PoliInfoのデータ分析▶ タイトル「注釈者のクラスタリングに基づく議会発言の事実検証可能性の推定」▶ 発表者

白土大樹、秋葉友良（豊橋技術科学大学）

l The 14th NTCIR Conference について
l NTCIR15 QALab-PoliInfoに向けて
l 意見交換------------l 懇親会 (18:30)

Formal Run の結果についてTask description
1.Segmentation Task
▶ 入力：質問と答弁の「発言の引用 の対(つい)」とその発言が含まれる「議会会議録」▶ 出力：引用を理解するために読むべき発言の範囲 (「開始行」「終了行」)

2.Summarization Task
▶ 入力：議会会議録に含まれる「発言」と要約の「制限字数」と「議会会議録」▶ 出力：発話者の意図が伝わる「要約」

3.Classification Task
▶ 入力：政策が記述された「課題文」と議会会議録中の「発言文（一文のみ）」▶ 出力：３値に分類「事実検証可能な根拠を伴う賛成」「事実検証可能な根拠を伴う反対」「その他」
ü ３つのサブクラス
l 「関連（有り，無し）」
l 「事実検証(可能，不可能)」
l 「立場(支持，不支持，どちらでもない)」参加チームと提出数

Segmentation

Segmentation task

開始行についてl 開始行の決定方法▶ まず，開始行を説明する前に「都議会会議録」と「都議会だより」の関係について説明しますSegmentation task

開始行についてl 開始行の決定方法▶ 「東京都議会だより」と「都議会会議録」の関係について

Main topic
質問者

Sub topic
質問要約
答弁者
答弁要約

Segmentation のJsonフォーマット(Formal run バージョン)
l Segmentation Task
▶ 質問と答弁の要約を与えます▶ 質問の範囲と答弁の範囲を答えてもらいますü 質問の開始行
ü 質問の終了行
ü 答弁の開始行
ü 答弁の終了行

表記

ID
PrefectureDate

説明識別子
タスク名ー開催年ー言語ータスク種別ー連番

都道府県名
日付
会議名
Meeting（議会だよりの記載）
MainTopic
メイントピック
SubTopic
サブトピック
QuestionSpeaker
質問者
QuestionSummary質問の要約
AnswerSpeaker
答弁者
AnswerSummary
答弁の要約
QuestionStartingLine 質問の開始行
QuestionEndingLine 質問の終了行
AnswerStartingLine 答弁の開始行
AnswerEndingLine
答弁の終了行

Segmentation のJsonフォーマット(Formal run バージョン){"ID":"Segmentation-2018-JA-FormalSample-00001",

表記"Prefecture":"東京都",

ID"Date":"23-6-23","Meeting":"平成23年̲第２回定例会","MainTopic":"東京の防災力向上は待ったなし<br>被災地復興には総合的取組を","SubTopic":"都政運営","QuestionSpeaker":"村上英子（自民党）","QuestionSummary":"〔1〕国難のもとにおける東京の役割について所見を。〔2〕「10年後の東京」計画改定の視点は。〔3〕都民への責任果たし得る財政運営を。〔4〕被災地復興支援と首都東京の防災力向上に今後どう取り組むのか、所見を。","AnswerSpeaker":"知事本局長","AnswerSummary":" 〔2〕高度防災機能備えた都市へ取組強化等で安全・安心社会をつくり、節電意識徹底等で環境と経済が両立した都市実現等。","QuestionStartingLine":763,"QuestionEndingLine":793,"AnswerStartingLine":1240,"AnswerEndingLine":1243},

埋める

Prefecture
Date

説明
識別子
タスク名ー開催年ー言語ータスク種別ー連番

都道府県名
日付
会議名
Meeting（議会だよりの記載）
MainTopic
メイントピック
SubTopic
サブトピック
QuestionSpeaker
質問者
QuestionSummary
質問の要約
AnswerSpeaker
答弁者
AnswerSummary
答弁の要約
QuestionStartingLine 質問の開始行
QuestionEndingLine 質問の終了行
AnswerStartingLine 答弁の開始行
AnswerEndingLine
答弁の終了行

Segmentation task のデータセット
Training
質問

298

答弁

298

298セット

Test
質問

83

答弁

8383セット

質問と答弁を対(つい)としているので298セットとなるSegmentationの結果

Summarization

SummarizationのJsonフォーマット(Formal run バージョン)l Summarization Task
▶ 都議会会議録データを利用しますü Pref13̲tokyo.json▶ トピックについて

ü 「メイントピック」「サブトピック」の追加▶ 会議録データの対象範囲を明記しますü 「開始行」「終了行」の追加

表記

ID
PrefectureDate

説明
識別子
タスク名ー開催年ー言語ータスク種別ー連番

都道府県名
日付
会議名
Meeting（議会だよりの記載）
Speaker
発言者
StartingLine 開始行
EndingLine 終了行
Main topic メイントピック
Sub topic
サブトピック
Summary
要約文
Length
文字数
Source原文SummarizationのJsonフォーマット(Formal run バージョン){"ID": "Summarization-2018-JA-Dry-00002","Prefecture": "東京都",

表記"Date": "23-6-23",

ID"Meeting": "平成23年第2回定例会",

Prefecture
Date"Speaker": "石原慎太郎",”StartingLine": 541,
”EndingLine": 550,
”Main topic": ” 東京の総合防災力を更に高めよ<br>環境に配慮した都市づくりを","Sub topic": ”原子力発電所","Summary": " 原子力利用に当たって安全の確保は当然。信頼性失ってきた姿勢を反省し再考すべき。
同時にエネルギー確保は国家・社会の存立に直結、戦略を速やかに構え直す必要あり。 ","Length": ”100字以内",

埋める"Source": "次いで、原子力発電の安全性についてでありますが、今回の福島原発の事故は、ただいまの質問にあった四年前、柏崎原発が被災した際、東京都が国に安全性確保を要求した云々の話とは全く次元の違う問題であります。¥¥n先日、海江田経済産業大臣は、原発の短期的な安全については確認されたと表明しております。¥¥nみずからの民主党政権が原発を管轄し、検査もしているのですから、安全性については国家に聞いたらいかがですか。¥¥n改めて申し上げることもなく、原子力の利用に当たっても、安全の確保は当然であります。¥¥nなぜフランスでできている安全管理が日本にできないのか。¥¥nインシデントすら隠して信頼性を失ってきたこれまでの姿勢を反省し、再考すべきであると思います。¥¥n同時に、エネルギー確保は、国家、社会の存立に直結するがゆえに、エネルギー戦略も速やかに構え直す必要があります。
¥¥n豊富な電力が安定的に供給されるからこそ、我が国を支えるものづくりがここまで発展できたわけでありまして、新しいＩＴの技術が急速に進歩してまいりました。¥¥nかつて、完全な管理技術を前提とすれば、東京湾に立派な原子力発電をつくってもいいと発言したことがございますが、当然のことであります。¥¥n
日本の頭脳、心臓部の将来を、一段の発展を考えたとき、その裏づけとなる電力をほかに依存し続けることは不合理だと考えます。¥¥n"},

説明識別子
タスク名ー開催年ー言語ータスク種別ー連番

都道府県名
日付
会議名
Meeting（議会だよりの記載）
Speaker
発言者
StartingLine 開始行
EndingLine 終了行
Main topic メイントピック
Sub topic
サブトピック
Summary
要約文
Length
文字数
Source原文Summarization task のデータセット
Training
質問

298

答弁

298

596セットTest
Single

79

Multi

67

146セットSummarizationの結果(1/2)
「○」を2 点、「△」を1 点、「 」を0 点として計算し、評価の観点ごとに平均化

参考文献：渋木ら、NTCIR-14 QA Lab-PoliInfo Formal RunにおけるSummarization Taskの結果と評価、言語処理学会第25回年次大会(NLP2019)

Summarizationの結果(2/2)

ROUGE-N1、-N2、-N3、-N4、-L、-W1.2、-SU4 の7 通りの手法を用い、各手法に対し、再現率を用いた場合とF 値を用いた場合のスコアを計算した。

Classification

ラベル付けについて
l 目的▶ 政治家の発言から「事実検証可能な根拠を伴う意見」を見つけることです。

l 作業▶ 「課題文」と「政治家の発言(一文のみ)」を読み、次の３つのラベルを付けてもらいます。
1. 「関連」... 有り or 無し
2. 「事実検証可能」 ... 可能 or 不可能
3. 「立場」 ... Support , Against or Other

ラベル付けについて▶ 課題文とはü 政治課題と意見が含まれており、「政治家の発言(一文のみ)」と比較する文のことです。
l 例「築地市場を豊洲に移転するべきである」▶ 関連(Relevance)とは
ü 「政治家の発言(一文のみ)」と「課題文」との間にかかわりがあることです。
l 関連のある例「新銀行東京や築地市場の移転問題は非の立場です。」

l 関連のない例「お正月五日の築地の初競りで史上最高となる一億五千五百四十万で落札された大間マグロはブランド化成功の代表例であります」▶ 事実検証可能(Fact-checkability)とは
ü 「政治家の発言(一文のみ)」に施設名や日付や金額などの具体的な表現が含まれ、Fact Check(事実の検証)ができることです。
l 事実検証できる例 「このような中、東京都はこの八月三十日に、豊洲の土壌汚染対策工事として、ゼネコン系の三つのＪＶと合計約五百四十二億円の契約を交わしています。」
l 事実検証できない例
えます」「私は、築地の場外市場のようなあの温かみのある、あの何ともいえないにぎわいをつくるのが、都の責任の一つであると考▶ 立場(Stance)とは
ü 「課題文」に対する発言者の立ち位置です。Support(支持), Against(不支持), Neutral(中立,どちらでもない) から一つ選びます。
l Support は、課題文の内容を支持していること• Support の例 「豊洲は、新市場移転により千客万来施設ができるなど、今後、観光客の集客が大いに期待できるエリアであります。」
l Against は、課題文の内容を支持していないこと• Against の例「豊洲の新市場予定地では108箇所で液状化が発生し、築地市場の移転先としてふさわしくないことが重ねて証明されました。」
l Otherl は、支持、不支持がはっきりしない場合や中立の場合• （発言者の言葉ではない）引用や報告は意見ではありません．

関連、事実検証可能、立場のラベルをつける例(1/4)

課題文「築地市場を豊洲に移転するべきである」と下記の発言文を読み、３つのラベルをつける
文ID

発言文（文脈のない一文）※ 連続した発言ではありません。

関連

事実検証可能立場

1

豊洲は、新市場移転により千客万来施設ができるなど、今後、観光客の集客が大いに期待できるエリアであります。

有

可能支持

2

豊洲の新市場予定地では108箇所で液状化が発生し、築地市場の移転先としてふさわしくないことが重ねて証明されました。

有可能不支持3

新銀行東京や築地市場の移転問題は非の立場です。

有不可能

不支持

4

このような中、東京都はこの八月三十日に、豊洲の土壌汚染対策工事として、ゼネコン系の三つのＪＶと合計約五百四十二億円の契約を交わしています。

有可能

どちらでもない5

豊洲新市場への移転を希望する事業者の不安を払拭すべく、移転資金や運転資金、移転後の新たな事業展開に必要な資金の手当てなど、経営支援策を講じてまいります。

有不可能

どちらでもない6

お正月五日の築地の初競りで史上最高となる一億五千五百四十万で落札された大間マグロはブランド化成功の代表例であります

無可能

どちらでもない

7

京築地域ではどのように三次医療が確保されているのかお聞かせ願います

無不可能

どちらでもない関連、事実検証可能、立場のラベルをつける例(2/4)

課題文「築地市場を豊洲に移転するべきである」と下記の発言文を読み、３つのラベルをつける
文ID

発言文（文脈のない一文）※ 連続した発言ではありません。

関連

事実検証
可能立場

1

豊洲は、新市場移転により千客万来施設ができるなど、今後、観光客の集客が大いに期待できるエリアであります。

有

可能

支持

2

豊洲の新市場予定地では108箇所で液状化が発生し、築地市場の移転先としてふさわしくないことが重ねて証明されました。

有

可能

不支持

3

新銀行東京や築地市場の移転問題は非の立場です。

有

不可能

不支持

4

このような中、東京都はこの八月三十日に、豊洲の土壌汚染対策工事として、ゼネコン系の三つのＪＶと合計約五百四十二億円の契約を交わしています。

有可能

どちらでもない5

豊洲新市場への移転を希望する事業者の不安を払拭すべく、移転資金や運転資金、移転後の新たな事業展開に必要な資金の手当てなど、経営支援策を講じてまいります。

有不可能

どちらでもない6

お正月五日の築地の初競りで史上最高となる一億五千五百四十万で落札された大間マグロはブランド化成功の代表例であります

無可能

どちらでもない

7

京築地域ではどのように三次医療が確保されているのかお聞かせ願います

無不可能

どちらでもない関連、事実検証可能、立場のラベルをつける例(3/4)

課題文「築地市場を豊洲に移転するべきである」と下記の発言文を読み、３つのラベルをつける
文ID

発言文（文脈のない一文）※ 連続した発言ではありません。

関連

事実検証
可能立場

1

豊洲は、新市場移転により千客万来施設ができるなど、今後、観光客の集客が大いに期待できるエリアであります。

有

可能

支持

2

豊洲の新市場予定地では108箇所で液状化が発生し、築地市場の移転先としてふさわしくないことが重ねて証明されました。

有

可能

不支持

3

新銀行東京や築地市場の移転問題は非の立場です。

有

不可能

不支持

4

このような中、東京都はこの八月三十日に、豊洲の土壌汚染対策工事として、ゼネコン系の三つのＪＶと合計約五百四十二億円の契約を交わしています。

有可能

どちらでもない5

豊洲新市場への移転を希望する事業者の不安を払拭すべく、移転資金や運転資金、移転後の新たな事業展開に必要な資金の手当てなど、経営支援策を講じてまいります。

有不可能

どちらでもない6

お正月五日の築地の初競りで史上最高となる一億五千五百四十万で落札された大間マグロはブランド化成功の代表例であります

無可能

どちらでもない

7

京築地域ではどのように三次医療が確保されているのかお聞かせ願います

無不可能

どちらでもない関連、事実検証可能、立場のラベルをつける例(4/4)

課題文「築地市場を豊洲に移転するべきである」と下記の発言文を読み、３つのラベルをつける
文ID

発言文（文脈のない一文）※ 連続した発言ではありません。

関連

事実検証
可能

立場

1

豊洲は、新市場移転により千客万来施設ができるなど、今後、観光客の集客が大いに期待できるエリアであります。

有

可能

支持

2

豊洲の新市場予定地では108箇所で液状化が発生し、築地市場の移転先としてふさわしくないことが重ねて証明されました。

有可能不支持3

新銀行東京や築地市場の移転問題は非の立場です。

有

不可能

不支持

4

このような中、東京都はこの八月三十日に、豊洲の土壌汚染対策工事として、ゼネコン系の三つのＪＶと合計約五百四十二億円の契約を交わしています。

有可能

どちらでもない5

豊洲新市場への移転を希望する事業者の不安を払拭すべく、移転資金や運転資金、移転後の新たな事業展開に必要な資金の手当てなど、経営支援策を講じてまいります。

有不可能

どちらでもない6

お正月五日の築地の初競りで史上最高となる一億五千五百四十万で落札された大間マグロはブランド化成功の代表例であります

無可能

どちらでもない

7

京築地域ではどのように三次医療が確保されているのかお聞かせ願います

無不可能

どちらでもない関連、事実検証可能、立場とClass の関係

関連

事実検証

立場

Class

有

可能

支持

Fact-checkable Support

有

可能

不支持

Fact-checkable Against

有可能

どちらでもないOther

有不可能

支持

Other

有不可能

不支持

Other

有不可能

どちらでもない

Other

無可能支持

Other

無可能不支持Other

無可能

どちらでもない

Other

無不可能

支持

Other

無不可能

不支持

Other

無不可能

どちらでもない

Other課題文と文数と注釈者
14の課題文Training data の異なり文数
Training data の総文数

約1万文
約3万文

注釈者総数
46人
異なり注釈者数 20人

Classificationの評価

Classificationの結果

Classificationの結果

QALab-PoliInfoのデータ分析に関する報告
注釈者のクラスタリングに基づく
議会発言の事実検証可能性の推定

白土大樹、秋葉友良（豊橋技術科学大学）

The 14th NTCIR Conference について

The 14th NTCIR Conference について
l The 14th NTCIR Conference Program▶ June 10 (Mon) ‒ 13(Thu), 2019
▶ QA Lab-PoliInfoü Overview(TO)l 6/11 13:30-14:00

ü Oral presentation (一部)
l 6/12 9:00-12:00

ü Poster presentation (全員)l 6/12 13:30-15:00

ü Breakout session (全員)l 6/12 15:00-16:30
l 今後について

NTCIR15 QALab-PoliInfoに向けて

NTCIR15 QALab-PoliInfoに向けて
l タスクの修正（案）について▶ Classification task → Stance Classificationl 今後の取り組み（案）について▶ SQuAD 2.0, HotpotQA, GLUEのような Leaderboard をつける
ü 掲載条件：プログラムのGitHub公開？論文公開？
▶ データの拡張
ü ディープラーニングを使えるデータ量にする。

l オーガナイザーの追加などの組織改編▶ オーガナイザーの負担を軽減しつつ、参加者の成果が上がるようにする。
ü 例えば「（全てではなく）2つ以上のチームに所属して、作業してくれる方を募集する。」など…
l 企画・運営チーム
l データ基盤作成 チーム
l Segmentation チーム
l Summarization チーム
l Classification チーム
l 評価方法・ウェブ公開 チーム

Important dates
Feb 20, 2018: QALab-PoliInfo Kickoff meeting in NII (room 1901, 1902)
Mar 20, 2018: NTCIR-14 Kickoff event in NII
Apr 19, 2018: 1st round table meeting in NII (room 1901, 1902)
May 31, 2018: 2nd round table meeting in NII (room 1208)
Jun 15, 2018: Dataset ReleaseJul 30, 2018: Task Registration Due for Dry Run
Aug 6 - 9, 2018: Dry Run (Segmentation & Classification Tasks)
Aug 13 - 16, 2018: Dry Run (Summarization Task)
Aug 30, 2018: 3nd round table meeting in NII (room 2004 2005)
Oct 29, 2018: 4th round table meeting in NII
Nov 19, 2018: Task Registration Due for Formal Run (This is not required for Dry Run participants)
Nov 26 - 29, 2018: Formal Run (Segmentation & Classification Tasks)
Dec 3 - 6, 2018: Formal Run (Summarization Task)
Feb 1, 2019: Evaluation Result ReleaseFeb 1, 2019: Task overview paper release (draft)
Mar 15, 2019: Submission due of participant papers
May 1, 2019 Camera-ready participant paper due
Jun 10-13, 2019: NTCIR-14 Conference & EVIA 2019 in NII, Tokyo

まとめl NTCIR14 QALab-PoliInfo Formal Run の 結果について
l QALab-PoliInfoのデータ分析▶ タイトル「注釈者のクラスタリングに基づく議会発言の事実検証可能性の推定」▶ 発表者

白土大樹、秋葉友良（豊橋技術科学大学）

l The 14th NTCIR Conference について
l NTCIR15 QALab-PoliInfoに向けて
l 意見交換------------l 懇親会 (18:30)