NTCIR 14

QA Lab PoIiInfo
第４回説明会
1901/1902会議室＠NII
2018年10月29日15:00-17:30

NTCIR-14 QA Lab PoliInfo
Organizers:

https://poliinfo.github.io/

木村泰知（小樽商科大学, 理化学研究所AIP）
渋木英潔（横浜国立大学）
高丸圭一（宇都宮共和大学）
内田ゆず（北海学園大学）
乙武北斗（福岡大学）
石下円香（国立情報学研究所）
阪本浩太郎（横浜国立大学, 国立情報学研究所）
三田村照子（カーネギーメロン大学）
神門典子（国立情報学研究所, 総合研究大学院大学）

Advisers:
森辰則（横浜国立大学）
湯淺墾道（情報セキュリティ大学院大学）
関根聡（理化学研究所AIP）
乾健太郎（東北大学, 理化学研究所AIP）

第4回説明会の概要
l Formal Run の Training data
▶ Segmentation task

▶ Summarization task
▶ Classification taskl Formal Run に向けて
▶ 配布データについて▶ みなさんから一言▶ 今後の予定l 懇親会

1.Segmentation Task

Task description▶ 入力：質問と答弁の「発言の引用 の対(つい)」とその発言が含まれる「議会会議録」▶ 出力：引用を理解するために読むべき発言の範囲 (「開始行」「終了行」)

2.Summarization Task

▶ 入力：議会会議録に含まれる「発言」と要約の「制限字数」と「議会会議録」▶ 出力：発話者の意図が伝わる「要約」

3.Classification Task

▶ 入力：政策が記述された「課題文」と議会会議録中の「発言文（一文のみ）」▶ 出力：３値に分類「事実検証可能な根拠を伴う賛成」「事実検証可能な根拠を伴う反対」「その他」
ü ３つのサブクラス
l 「関連（有り，無し）」
l 「事実検証(可能，不可能)」
l 「立場(支持，不支持，どちらでもない)」Segmentation

Segmentation taskl 開始行の決定方法

開始行について▶ まず，開始行を説明する前に「都議会会議録」と「都議会だより」の関係について説明しますSegmentation taskl 開始行の決定方法

開始行について▶ 「東京都議会だより」と「都議会会議録」の関係について

Main topic
質問者
Sub topic
質問要約
答弁者

答弁要約

Segmentation のJsonフォーマット(Formal run バージョン)
l Segmentation Task
▶ 質問と答弁の要約を与えます▶ 質問の範囲と答弁の範囲を答えてもらいますü 質問の開始行
ü 質問の終了行
ü 答弁の開始行
ü 答弁の終了行

表記

ID
Prefecture
Date

説明
識別子

タスク名ー開催年ー言語ータスク種別ー連番

都道府県名
日付
会議名
Meeting（議会だよりの記載）
MainTopic
メイントピック
SubTopic
サブトピック
QuestionSpeaker
質問者
QuestionSummary
質問の要約
AnswerSpeaker
答弁者
AnswerSummary
答弁の要約
QuestionStartingLine 質問の開始行
QuestionEndingLine 質問の終了行
AnswerStartingLine 答弁の開始行
AnswerEndingLine
答弁の終了行

Segmentation のJsonフォーマット(Formal run バージョン){"ID":"Segmentation-2018-JA-FormalSample-00001",

表記"Prefecture":"東京都",

ID"Date":"23-6-23","Meeting":"平成23年̲第２回定例会","MainTopic":"東京の防災力向上は待ったなし<br>被災地復興には総合的取組を","SubTopic":"都政運営","QuestionSpeaker":"村上英子（自民党）","QuestionSummary":"〔1〕国難のもとにおける東京の役割について所見を。〔2〕「10年後の東京」計画改定の視点は。〔3〕都民への責任果たし得る財政運営を。〔4〕被災地復興支援と首都東京の防災力向上に今後
どう取り組むのか、所見を。","AnswerSpeaker":"知事本局長","AnswerSummary":" 〔2〕高度防災機能備えた都市へ取組強化等で安全・安心社会をつくり、節電意識徹底等で環境と経済が両立した都市実現
等。","QuestionStartingLine":763,"QuestionEndingLine":793,"AnswerStartingLine":1240,"AnswerEndingLine":1243},

埋める

Prefecture
Date

説明
識別子

タスク名ー開催年ー言語ータスク種別ー連番

都道府県名
日付
会議名
Meeting（議会だよりの記載）
MainTopic
メイントピック
SubTopic
サブトピック
QuestionSpeaker
質問者
QuestionSummary
質問の要約
AnswerSpeaker
答弁者
AnswerSummary
答弁の要約
QuestionStartingLine 質問の開始行
QuestionEndingLine 質問の終了行
AnswerStartingLine 答弁の開始行
AnswerEndingLine
答弁の終了行Training dataset for segmentation

質問
答弁

298
298

298セット

質問と答弁を対(つい)としているので
298セットとなるSummarization

SummarizationのJsonフォーマット(Formal run バージョン)l Summarization Task
▶ 都議会会議録データを利用しますü Pref13̲tokyo.json▶ トピックについて

ü 「メイントピック」「サブトピック」の追加▶ 会議録データの対象範囲を明記しますü 「開始行」「終了行」の追加

表記

ID

Prefecture
Date

説明
識別子

タスク名ー開催年ー言語ータスク種別ー連番

都道府県名
日付
会議名
Meeting（議会だよりの記載）
Speaker
発言者
StartingLine 開始行
EndingLine 終了行
Main topic メイントピック
Sub topic
サブトピック
Summary
要約文
Length
文字数
Source原文SummarizationのJsonフォーマット(Formal run バージョン){"ID": "Summarization-2018-JA-Dry-00002","Prefecture": "東京都",

表記"Date": "23-6-23",

ID"Meeting": "平成23年第2回定例会",

Prefecture
Date"Speaker": "石原慎太郎",”StartingLine": 541,
”EndingLine": 550,
”Main topic": ” 東京の総合防災力を更に高めよ<br>環境に配慮した都市づくりを","Sub topic": ”原子力発電所","Summary": " 原子力利用に当たって安全の確保は当然。信頼性失ってきた姿勢を反省し再考すべき。
同時にエネルギー確保は国家・社会の存立に直結、戦略を速やかに構え直す必要あり。 ","Length": ”100字以内",

埋める"Source": "次いで、原子力発電の安全性についてでありますが、今回の福島原発の事故は、ただいまの質問にあった四年前、柏崎原発が被災した際、東京都が国に安全性確保を要求した云々の話とは全く次元の違う問題であります。¥¥n先日、海江田経済産業大臣は、原発の短期的な安全については確認されたと表明
しております。¥¥nみずからの民主党政権が原発を管轄し、検査もしているのですから、安全性については国家に聞いたらいかがですか。¥¥n改めて申し上げることもなく、原子力の利用に当たっても、安全の確保は当然であります。¥¥nなぜフランスでできている安全管理が日本にできないのか。¥¥nインシデントすら隠して信頼性を失ってきたこれまでの姿勢を反省し、再考すべきであると思います。¥¥n同時に、エネル
ギー確保は、国家、社会の存立に直結するがゆえに、エネルギー戦略も速やかに構え直す必要があります。
¥¥n豊富な電力が安定的に供給されるからこそ、我が国を支えるものづくりがここまで発展できたわけでありまして、新しいＩＴの技術が急速に進歩してまいりました。¥¥nかつて、完全な管理技術を前提とすれば、東京湾に立派な原子力発電をつくってもいいと発言したことがございますが、当然のことであります。¥¥n
日本の頭脳、心臓部の将来を、一段の発展を考えたとき、その裏づけとなる電力をほかに依存し続けることは不合理だと考えます。¥¥n"
},

説明
識別子

タスク名ー開催年ー言語ータスク種別ー連番

都道府県名
日付
会議名
Meeting（議会だよりの記載）
Speaker
発言者
StartingLine 開始行
EndingLine 終了行
Main topic メイントピック
Sub topic
サブトピック
Summary
要約文
Length
文字数
Source原文Training dataset for summarization

質問
答弁

298
298

596セット

質問と答弁を分けているのでSegmentationの2倍になるClassification

l 目的

ラベル付けについて▶ 政治家の発言から「事実検証可能な根拠を伴う意見」を見つけることです。

l 作業▶ 「課題文」と「政治家の発言(一文のみ)」を読み、次の３つのラベルを付けてもらいます。
1. 「関連」... 有り or 無し

2. 「事実検証可能」 ... 可能 or 不可能

3. 「立場」 ... Support , Against or Other

ラベル付けについて▶ 課題文とはü 政治課題と意見が含まれており、「政治家の発言(一文のみ)」と比較する文のことです。
l 例「築地市場を豊洲に移転するべきである」▶ 関連(Relevance)とは
ü 「政治家の発言(一文のみ)」と「課題文」との間にかかわりがあることです。
l 関連のある例
l 関連のない例「新銀行東京や築地市場の移転問題は非の立場です。」「お正月五日の築地の初競りで史上最高となる一億五千五百四十万で落札された大間マグロはブランド化成功の代表例であります」▶ 事実検証可能(Fact-checkability)とは
ü 「政治家の発言(一文のみ)」に施設名や日付や金額などの具体的な表現が含まれ、Fact Check(事実の検証)ができることです。
l 事実検証できる例 「このような中、東京都はこの八月三十日に、豊洲の土壌汚染対策工事として、ゼネコン系の三つのＪＶと合計約五百四十二億円の契約を交わしています。」
l 事実検証できない例
えます」「私は、築地の場外市場のようなあの温かみのある、あの何ともいえないにぎわいをつくるのが、都の責任の一つであると考▶ 立場(Stance)とは
ü 「課題文」に対する発言者の立ち位置です。Support(支持), Against(不支持), Neutral(中立,どちらでもない) から一つ選びます。
l Support は、課題文の内容を支持していること• Support の例 「豊洲は、新市場移転により千客万来施設ができるなど、今後、観光客の集客が大いに期待できるエリアであります。」

l Against は、課題文の内容を支持していないこと• Against の例「豊洲の新市場予定地では108箇所で液状化が発生し、築地市場の移転先としてふさわしくないことが重ねて証明されました。」

l Otherl は、支持、不支持がはっきりしない場合や中立の場合• （発言者の言葉ではない）引用や報告は意見ではありません．

関連、事実検証可能、立場のラベルをつける例(1/4)

課題文「築地市場を豊洲に移転するべきである」と下記の発言文を読み、３つのラベルをつける
文ID

発言文（文脈のない一文）※ 連続した発言ではありません。

関連

事実検証
可能

立場

1

豊洲は、新市場移転により千客万来施設ができるなど、今後、観光客の集客が大いに期待できるエリアであります。

有

可能

支持

2

豊洲の新市場予定地では108箇所で液状化が発生し、築地市場の移転先としてふさわしくないことが重ねて証明されました。

有

可能

不支持

3

新銀行東京や築地市場の移転問題は非の立場です。

有

不可能

不支持

4

このような中、東京都はこの八月三十日に、豊洲の土壌汚染対策工事として、
ゼネコン系の三つのＪＶと合計約五百四十二億円の契約を交わしています。

有可能

どちらでもない5

豊洲新市場への移転を希望する事業者の不安を払拭すべく、移転資金や運転資金、移転後の新たな事業展開に必要な資金の手当てなど、経営支援策を講じてまいります。

有不可能

どちらでもない6

お正月五日の築地の初競りで史上最高となる一億五千五百四十万で落札された大間マグロはブランド化成功の代表例であります

無可能

どちらでもない

7

京築地域ではどのように三次医療が確保されているのかお聞かせ願います

無不可能

どちらでもない関連、事実検証可能、立場のラベルをつける例(2/4)

課題文「築地市場を豊洲に移転するべきである」と下記の発言文を読み、３つのラベルをつける
文ID

発言文（文脈のない一文）※ 連続した発言ではありません。

関連

事実検証
可能

立場

1

豊洲は、新市場移転により千客万来施設ができるなど、今後、観光客の集客が大いに期待できるエリアであります。

有

可能

支持

2

豊洲の新市場予定地では108箇所で液状化が発生し、築地市場の移転先としてふさわしくないことが重ねて証明されました。

有

可能

不支持

3

新銀行東京や築地市場の移転問題は非の立場です。

有

不可能

不支持

4

このような中、東京都はこの八月三十日に、豊洲の土壌汚染対策工事として、
ゼネコン系の三つのＪＶと合計約五百四十二億円の契約を交わしています。

有可能

どちらでもない5

豊洲新市場への移転を希望する事業者の不安を払拭すべく、移転資金や運転資金、移転後の新たな事業展開に必要な資金の手当てなど、経営支援策を講じてまいります。

有不可能

どちらでもない6

お正月五日の築地の初競りで史上最高となる一億五千五百四十万で落札された大間マグロはブランド化成功の代表例であります

無可能

どちらでもない

7

京築地域ではどのように三次医療が確保されているのかお聞かせ願います

無不可能

どちらでもない関連、事実検証可能、立場のラベルをつける例(3/4)

課題文「築地市場を豊洲に移転するべきである」と下記の発言文を読み、３つのラベルをつける
文ID

発言文（文脈のない一文）※ 連続した発言ではありません。

関連

事実検証
可能

立場

1

豊洲は、新市場移転により千客万来施設ができるなど、今後、観光客の集客が大いに期待できるエリアであります。

有

可能

支持

2

豊洲の新市場予定地では108箇所で液状化が発生し、築地市場の移転先としてふさわしくないことが重ねて証明されました。

有

可能

不支持

3

新銀行東京や築地市場の移転問題は非の立場です。

有

不可能

不支持

4

このような中、東京都はこの八月三十日に、豊洲の土壌汚染対策工事として、
ゼネコン系の三つのＪＶと合計約五百四十二億円の契約を交わしています。

有可能

どちらでもない5

豊洲新市場への移転を希望する事業者の不安を払拭すべく、移転資金や運転資金、移転後の新たな事業展開に必要な資金の手当てなど、経営支援策を講じてまいります。

有不可能

どちらでもない6

お正月五日の築地の初競りで史上最高となる一億五千五百四十万で落札された大間マグロはブランド化成功の代表例であります

無可能

どちらでもない

7

京築地域ではどのように三次医療が確保されているのかお聞かせ願います

無不可能

どちらでもない関連、事実検証可能、立場のラベルをつける例(4/4)

課題文「築地市場を豊洲に移転するべきである」と下記の発言文を読み、３つのラベルをつける
文ID

発言文（文脈のない一文）※ 連続した発言ではありません。

関連

事実検証
可能

立場

1

豊洲は、新市場移転により千客万来施設ができるなど、今後、観光客の集客が大いに期待できるエリアであります。

有

可能

支持

2

豊洲の新市場予定地では108箇所で液状化が発生し、築地市場の移転先としてふさわしくないことが重ねて証明されました。

有

可能

不支持

3

新銀行東京や築地市場の移転問題は非の立場です。

有

不可能

不支持

4

このような中、東京都はこの八月三十日に、豊洲の土壌汚染対策工事として、
ゼネコン系の三つのＪＶと合計約五百四十二億円の契約を交わしています。

有可能

どちらでもない5

豊洲新市場への移転を希望する事業者の不安を払拭すべく、移転資金や運転資金、移転後の新たな事業展開に必要な資金の手当てなど、経営支援策を講じてまいります。

有不可能

どちらでもない6

お正月五日の築地の初競りで史上最高となる一億五千五百四十万で落札された大間マグロはブランド化成功の代表例であります

無可能

どちらでもない

7

京築地域ではどのように三次医療が確保されているのかお聞かせ願います

無不可能

どちらでもない関連、事実検証可能、立場とClass の関係

関連

事実検証

立場

Class

有

可能

支持

Fact-checkable Support

有

可能

不支持

Fact-checkable Against

有可能

どちらでもない

Other

有

不可能

支持

Other

有

不可能

不支持

Other

有

不可能

どちらでもない

Other

無

可能

支持

Other

無

可能

不支持

Other

無

可能

どちらでもない

Other

無

不可能

支持

Other

無

不可能

不支持

Other

無

不可能

どちらでもない

Other課題文と文数と注釈者
14の課題文Training data の異なり文数
Training data の総文数

約1万文
約3万文

課題文
番号 番号
1
02 カジノを含む統合型リゾートを推進するべきである
2
04 集団的自衛を認めるべきである
3
05 八ッ場ダムを建設を進めるべきである
4
07 高齢者への医療助成を増やすべきである
5
08 私学助成を推進するべきである
6
09 中京都構想を推進するべきである
7
10 オスプレイを配備する
8
12 特定秘密保護法案を進めるべきである
913 道州制を導入するべきである
10 16 子ども医療費を無料化にするべきである
11 19 正規の教員を増やすべきである
12 22 生活保護の基準額を引き下げるべきである
13 25 東京にオリンピックを招致するべきである
14 26 行政の判断で空き家を処理できるようにするべきである

注釈者総数
46人
異なり注釈者数 20人
注釈者
3
3
3
3
3
5
3
3
3
5
3
3
3
3

Classification
Training dataについて
14の課題文異なり文数
3〜5人の注釈文の総数

約1万文
約3万文

注意：注釈者への説明の際に、３つのサブクラスの用語を異なる表現（例えば、「根拠あり」と「事実検証可能」）で説明していますが、注釈付けするラベルの意図は、同じです。

1.

Formal run で提供する Training dataset

Segmentation▶

Segmentation-2018-JA-FromalTraining.json▶

Pref13̲tokyo.json

2.

Summarization▶

Summarization-2018-JA-FormalTraining.json▶

Pref13̲tokyo.json

3.
▶

Classification （14課題文、46ファイル）

Classification-2018-JA-FormalRun-Trainining-(整理用番号)-(課題文)-(文数)-(注釈者ID).json

Important dates
Feb 20, 2018: QALab-PoliInfo Kickoff meeting in NII (room 1901, 1902)
Mar 20, 2018: NTCIR-14 Kickoff event in NII
Apr 19, 2018: 1st round table meeting in NII (room 1901, 1902)
May 31, 2018: 2nd round table meeting in NII (room 1208)
Jun 15, 2018: Dataset ReleaseJul 30, 2018: Task Registration Due for Dry Run
Aug 6 - 9, 2018: Dry Run (Segmentation & Classification Tasks)
Aug 13 - 16, 2018: Dry Run (Summarization Task)
Aug 30, 2018: 3nd round table meeting in NII (room 2004 2005)
Oct 29, 2018: 4th round table meeting in NII
Nov 19, 2018: Task Registration Due for Formal Run (This is not required for Dry Run participants)
Nov 26 - 29, 2018: Formal Run (Segmentation & Classification Tasks)
Dec 3 - 6, 2018: Formal Run (Summarization Task)
Feb 1, 2019: Evaluation Result ReleaseFeb 1, 2019: Task overview paper release (draft)
Mar 15, 2019: Submission due of participant papers
May 1, 2019 Camera-ready participant paper due
Jun 2019: NTCIR-14 Conference & EVIA 2019 in NII, Tokyo

第4回説明会の概要
l Formal Run の Training data
▶ Segmentation task

▶ Summarization task
▶ Classification taskl Formal Run に向けて
▶ 配布データについて

ü Training data, Test data 以外に，Developing data に分けるべきですか？
▶ みなさんから一言▶ 今後の予定l 懇親会

Formal run の予定

Start

End

11/26（月） 11/29（木）12/03（月） 12/06（木）12/10（月） 12/13（木）12/17（月） 12/20（木）12/24（月） 12/27（木）Segmentation Summarization Classification
E2E

TO集計

E2E

TO集計

TO集計

TO再集計

Check

Evaluation

公開予備

公開予備

TO再集計

E2E

Check

公開予備

まとめ
l Formal Run の Training data
▶ Segmentation task

▶ Summarization task
▶ Classification taskl Formal Run に向けて
▶ 配布データについて

ü Training data, Test data 以外に，Developing data に分けるべきですか？
l 説明会に参加者の意見を踏まえて，まず，説明会で提案したTraining dataを参加者にbitbucket経由で公開します．

▶ みなさんから一言ü （次のスライドに載せておきます）▶ 今後の予定l 懇親会

2018年10月29日の質疑まとめ
l 全体▶ 質問：Dry runでは一つのタスクにしか参加していませんでしたが，Formal run から他のタスクに参加できますか？
▶ 回答：参加できます．ぜひ参加してください．
▶ 質問：1月中旬までにSystem Descriptionを欲しいと言いましたが，書く際に雛形をもらえないでしょうか？
▶ 回答：雛形をつくります．

l Segmentation について
▶ 質問：機械学習の手法を利用するには，データが少ないのではないでしょうか？
▶ 回答：ご指摘の通り，データが少ないのですが，Formal runはこのデータで進めることになります．
▶ 質問：Json file の発言者が役職名になっているのはどうしてですか？
▶ 回答：議会だよりと会議録で表記が違うためです．「都議会だより」には，首長に代わって答弁する職員の名前は記載されておらず，役職名のみになっています．
▶ 質問：注釈は， 2人でつけたようですが，開始行と終了行を合わせたのですか？
▶ 回答：その通りです．

l Summarization について
▶ 質問：ROUGEのスクリプトを公開してもらえないでしょうか？
▶ 回答：できるだけ早く参加者に公開します．

l Classification について2018年10月29日の質疑まとめ▶ 質問：(自分で会議録を収集して) 文脈を利用しても良いでしょうか？
▶ 回答：利用しても問題ありませんが，注釈者には（文脈を与えず）一文のみの情報で判定してもらっています．
▶ 質問：「関連」の定義が難しいので，もう少し，詳しく記述してもらえないでしょうか？

▶ 回答：「関連」の定義は，注釈者に，定義文だけで説明するこが難しいため，FAQ形式で例文を用いて説明しています．注釈者に渡している説明資料も公開します．
▶ 質問：Fact-checkableの意味をもう一度説明してください．
▶ 回答：Fact check する価値があるものです（今すぐチェックするわけではありません）▶ 質問：「事実検証可能」を判断するために，注釈者はGoogleでチェックしているのでしょうか？
▶ 回答：注釈者は，事実検証できる具体的な記述なのかを判定しているだけなので，Googleでチェックしていません．
▶ 質問：Trainingが３万というのは，1万文に3人が注釈付けしたという意味ですか？
▶ 回答：その通りです．
▶ 質問：14の課題文明はどのように決めたのですか？

▶ 回答：「○○について」などをを含む表現が多い課題をピックアップしてから，意見が割れなさそうな課題を選択しました．
▶ 質問：判断対象となる文はどうように決めたのですか？

▶ 回答：grepでキーワードとなる単語を含む発言文を抽出しました。その後，３０文字以上〜２００字未満の文のみを利用することとしました．
▶ 質問：「関連なし」は意見もなしになるのではないでしょうか？
▶ 回答：その通りだと思いますが，注釈者が意見をつけている場合もあるかもしれません．
▶ 質問：（評価が難しいと言ってましたが）評価方法をサブタスク化してはどうですか？
▶ 回答：次回反映することを考えます．