NTCIR-14 QA Lab PoliInfo
https://poliinfo.github.io/

Organizers:

Advisers:- 木村泰知（小樽商科大学, 理化学研究所AIP）- 森辰則（横浜国立大学）- 渋木英潔（横浜国立大学）- 湯淺墾道（情報セキュリティ大学院大学）- 石下円香（国立情報学研究所）- 関根聡（理化学研究所AIP）- 阪本浩太郎（横浜国立大学, 国立情報学研究所）- 乾健太郎（東北大学, 理化学研究所AIP）- 三田村照子（カーネギーメロン大学）- 神門典子（国立情報学研究所, 総合研究大学院大学）

QA Lab ではn 現実世界における質問応答システムの実現を目指しています
u NTCIRにおいてQA Lab タスクを3回開催しました
l NTCIR-11 QA Lab
大学入試の世界史（多肢選択問題・語句など）
l NTCIR-12 QA Lab-2 論述問題における問題文のトピックに合わせた知識源の要約
l NTCIR-13 QA Lab-3 論述問題の新たな評価の検討NTCIR-14 QA Lab-PoliInfo
QALab-PoliInfoでは「地方議会会議録」をデータセットとして利用します
政治情報を対象として，フェイクニュースの検出やファクトチェックを意識したタスクを設定します
議論の構造も考慮したタスクを考えていますQALab PoliINfo 関連研究
n Argument Miningu Argument Mining 1stu Argument Mining 2nd, NAACL HLT 2015l http://www.aclweb.org/anthology/W15-05

u Argument Mining 3rd , ACL2016l http://www.aclweb.org/anthology/W/W16/W16-28.pdf

u Argument Mining 4th, EMNLP2017l http://aclweb.org/anthology/W/W17/#5100

n Shared task

u CLEF-2018 Fact Checking Lab

l http://alt.qcri.org/clef2018-factcheck/u Fake News Challengel http://www.fakenewschallenge.org/

NTCIR14 QALab-PoliInfo の３つのタスク

https://poliinfo.github.io/

1.Segmentation tasku 議会会議録を「一次情報」とみなした抽出タスク

2.Summarization tasku 議論の構造を利用した要約タスク

3.Classification tasku 政治情報の信ぴょう性やフェイクニュースの検出にも関係する分類タスク

Task descriptionn Segmentation Tasku 入力：議会会議録中の「発言」とその発言の「引用」
u 出力：引用を正確に理解するために読むべき発言中の記述（文列）n Summarization Tasku 入力：議会会議録中の「発言」と要約の「制限字数」
u 出力：意見、根拠、条件、例示など（発話者の意図）が明瞭に伝わる「要約」

n Classification Tasku 入力：政策を示すキーワードを含む、議会会議録中の「発言」
u 出力：「根拠を伴う賛成」、「根拠を伴う反対」、「その他」への分類

ACL 2016 Tutorial

Segmentation

Summarization

Segmentation Task

Question

平成23年6月の定例会第2回の山下太郎議員の「東日本大震災
記述されている範囲を示しなさい．
No
1
2

被災地が真に必要とする支援に継続して取り組むべき。知事の見解は。」という内容がSentence

Output…
…

00265

しかし、私たちは、この結果を尊重するとともに、もう1方の公選によって私たちに付託された都民の期待を踏まえ、今後も都民の生活を第1とする都政の実現に取り組むことを表明させていただきます。

0266
267

まず、東日本大震災における被災地支援と東京の防災対策について伺います。
三月十一日、マグニチュード九・〇、最高震度七の強く長い揺れが東日本一帯を襲うとともに、大津波、海砂を巻き込んだ黒く重い海水の塊が太平洋沿岸の防波堤を軒並み破壊し、海水や瓦れきが市街地に流れ込み、甚大な被害を引き起こしました。
福島第一原子力発電所にも大津波が押し寄せ、冷却電源を失った原子炉建屋は爆発、格納容器が損傷して、放射性物質が広範に拡散しました。
原発周辺の住民の皆さんは、自宅があるのに帰れない深刻な状況が続いています。
私たちは、この未曾有の複合災害に対していち早く被災地支援と都内の震災対策を充実させること、そして補正予算の編成を知事に申し入れいたしました。
また、各議員は、党の被災地支援活動やＮＰＯと連携した取り組みを行うなど、被災地支援に取り組んでまいりました。
そこで伺います。
都は、児童生徒への心のケアや、災害時要援護者の救護など、医療人材の継続的な派遣や、地元雇用を推進する自治体事業、キャッシュ・フォー・ワークといった取り組みへの支援をするなど、被災者の皆さんが希望を見出し、一歩踏み出すことのできるよう、生活再建をともにサポートしていくことが重要です。
また、各県が創造的復興、もしくは再生を目指し、独自復興計画を策定、実現させていくことを都が後押しし、安全な地域社会の再建に寄与していく必要があります。
このように被災地が取り組むべき課題は山積し、日々刻々地域ごとに状況が変化しております。
被災地のニーズを的確に把握し、被災地、被災者が真に必要とする支援に今後とも継続して取り組むべきと考えますが、知事の見解を伺います。
現在、都内には福島県などから自主避難してきた約五千名の避難者の皆さんが都営住宅などに仮住まいをしていらっしゃいます。
故郷から遠く離れ、いつ帰れるのかという思いを持って生活している皆さんに、都は寄り添う形でその生活を支えていくべきと考えます。
避難者は、見知らぬ東京での生活が不安であり、特に高齢者の方々については、引きこもりがちになるなど、孤立化も懸念されます。
先日、特別区の都営住宅で、自治会の皆さんが避難者と懇談会を開き、福島での共通の話題で盛り上がりました。
こうしたかかわり合いをふやす場でもあるミニ懇談会を開催し、避難者同士や地域との交流機会を創造することを求められております。
また、福祉も含めた総合的な相談を区市町村や災害復興まちづくり支援機構、ＮＰＯなどと連携して開催するなど、広い協働の形で避難者の暮らしを支えることも重要と考えます。
都は、コミュニティにも配慮した避難者に対する支援の取り組みを行っていくべきと考えますが、都の見解を伺います。の被害想定の検討や防災対策の総点検、そして東京の総合防災力をさらに高める取り組みが必要だと考えますが、知事の見解を伺います。

11

東日本大震災を教訓に、東京においても発災時における社会対応力の強化や防災リーダーなど、地域人材の育成などに一層取り組み、東京を災害に強い持続可能な都市としていかなければなりません。

0…

0268
269
270271272273
274275276277278279
280
281282283
284
115750

1
1
1
1
1
1
1
1
1
1
1
1
1
111

Summarization dataset
議会だよりは、地方議会会議録の内容を、質問と答弁の構造を用いて、人手で要約した文章です。

質問者

質問の要約
答弁者
答弁の要約

Summarization dataset

東京都議会会議録

都議会だより対応箇所

Summarization TaskQuestion

次の石原慎太郎知事の発言をその意図が正確に伝わるように80文字以内に要約しなさい．

Input

次いで、原子力発電の安全性についてでありますが、今回の福島原発の事故は、ただいまの質問にあった四年前、柏崎原発が被災した際、東京都が国に安全性確保を要求した云々の話とは全く次元の違う問題であります。
先日、海江田経済産業大臣は、原発の短期的な安全については確認されたと表明しております。
みずからの民主党政権が原発を管轄し、検査もしているのですから、安全性については国家に聞いたらいかがですか。
改めて申し上げることもなく、原子力の利用に当たっても、安全の確保は当然であります。
なぜフランスでできている安全管理が日本にできないのか。
インシデントすら隠して信頼性を失ってきたこれまでの姿勢を反省し、再考すべきであると思います。
同時に、エネルギー確保は、国家、社会の存立に直結するがゆえに、エネルギー戦略も速やかに構え直す必要があります。
豊富な電力が安定的に供給されるからこそ、我が国を支えるものづくりがここまで発展できたわけでありまして、新しいＩＴの技術が急速に進歩してまいりました。
かつて、完全な管理技術を前提とすれば、東京湾に立派な原子力発電をつくってもいいと発言したことがございますが、当然のことであります。
日本の頭脳、心臓部の将来を、一段の発展を考えたとき、その裏づけとなる電力をほかに依存し続けることは不合理だと考えます。

Output
原子力利用に当たって安全の確保は当然。
信頼性失ってきた姿勢を反省し再考すべき。
同時にエネルギー確保は国家・社会の存立に直結、戦略を速やかに構え直す必要あり。

Sample dataset

Classification task で何をしたいのか？
n Classification task を考える前に、どのような文がユーザの役に立つのか、「築地市場の豊洲移転」を例に考えてみます。
1. 意見のみ

u 新銀行東京や築地市場の移転問題は非の立場です。

2. 事実のみu このような中、東京都はこの八月三十日に、豊洲の土壌汚染対策工事として、ゼネコン系の三つのＪＶと合計約五百四十二億円の契約を交わしています。

3. 根拠(事実)のある意見

u 豊洲は、新市場移転により千客万来施設ができるなど、今後、観光客の集客が大いに期待できるエリアであります。
u 豊洲の新市場予定地では108箇所で液状化が発生し、築地市場の移転先としてふさわしくないことが重ねて証明されました。

Support or Against の定義
Motivation根拠n ユーザの判断に影響を与える情報を抽出したい。

なし

n ユーザに多様な視点を与えたい。

u 議員の根拠付き意見が役に立ちそう。

“Support” と “Against” は根拠がある意見（賛成/反対）とする
1.
2.

主観
極性

対象外

根拠とはFact Checkができる内容

u 具体的な記述、例えば、施設名や日付や金額などが含まれ、特定できる内容である

賛成/反対の極性が含まれるある政策についてSupport
賛成の表現が含まれる根拠が含まれるあり

中立・その他
Against
反対の表現が含まれる

なし

あり
賛成
反対

対象外
反対

賛成

根拠＋反対

根拠＋
賛成

AgainstSupportSupport or Against の定義
SupportAgainst

根拠

賛成

千客万来施設ができるなど… 期待できるエリアであります。
反対

根拠

土壌の入れかえ工事が必要で、五百八十六億円もコストを要します

ある政策についてSupport
賛成の表現が含まれる
根拠が含まれる

中立・その他
Against
反対の表現が含まれる

with evidence

without evidence

positive[ 1 ] support[3-1] othernegative[ 2 ] against[3-2] otherneutral[3-3] other[3-4] other「築地市場の豊洲移転」の場合[1] Support (根拠＋賛成)

豊洲は、新市場移転により千客万来施設ができるなど、今後、観光客の集客が大いに期待できるエリアであります。

[2] Against (根拠＋反対)

豊洲の新市場予定地では108箇所で液状化が発生し、築地市場の移転先としてふさわしくないことが重ねて証明されました[3-1] 賛成の意見のみ[3-2] 反対の意見のみ

新銀行東京や築地市場の移転問題は非の立場です。

[3-3] 根拠のみ

このような中、東京都はこの八月三十日に、豊洲の土壌汚染対策工事として、ゼネコン系の三つのＪＶと合計約五百四十二億円の契約を交わしています。

[3-4] 根拠なし・意見なし … 抽象的（対象や行動に具体性がない、情報が少ない）

豊洲新市場への移転を希望する事業者の不安を払拭すべく、移転資金や運転資金、移転後の新たな事業展開に必要な資金の手当てなど、経営支援策を講じてまいります。

Classification Task

Question

下記の各文（注意：独立した1文であり、連続した文ではありません）を「築地市場の豊洲移転」について、Support、Against、Other、の３つのクラスに分類せよ。
３つのクラスの値は「Support=1」「Against=2」「Other=3」とする。
Input

OutputNoSentence

Class

1

豊洲は、新市場移転により千客万来施設ができるなど、今後、観光客の集客が大いに期待できるエリアであります。

1

2

都は、こうした状況を踏まえ、豊洲新市場において光ファイバーケーブルを用いた市場内ＬＡＮを敷設するなど、情報通信インフラを整備することとしています。

1

3

ここ数年、築地市場の移転問題には多くの時間が割かれ、議論がなされてきましたが、東京都が所管する市場は築地市場だけではありません。

14

しかし、残念ながら、豊洲は市場移転用地として計画が進んでおり、そのため土壌の入れかえ工事が必要で、五百八十六億円もコストを要します。

25

豊洲の新市場予定地では108箇所で液状化が発生し、築地市場の移転先としてふさわしくないことが重ねて証明されました。

26

築地というまちは、都心や銀座に隣接し、都市機能が集積しているなど、極めて高いポテンシャルを有してございます。

27

次に、築地市場の移転問題について伺います。

38

水産業につきましては、いわき地区の試験操業で水揚げされたヤナギムシガレイなどが震災後初めて東京都の築地市場に出荷されました。

39

築地に店を持っている方が、70軒、80軒の方が築地で商売をなされてる。

310

11月18日、東京都の築地市場から豊洲への移転のための建築工事４件の入札で３件が不調となりました。

3Important dates
Feb 20, 2018: QALab-PoliInfo Kickoff meeting in NII (room 1901, 1902)
Mar 20, 2018: NTCIR-14 Kickoff event in NII
Apr 19, 2018: 1st round table meeting in NII (room 1901, 1902)
Jun 2018: Dataset ReleaseJul 2018: Task Registration Due
Jul 2018: Dry Run
Nov 2018: Formal Run
Feb 1, 2018: Evaluation Result ReleaseFeb 1, 2018: Task overview paper release (draft)
Mar 15, 2019: Submission due of participant papers
Jun 2019: NTCIR-14 Conference & EVIA 2019 in NII, Tokyo