QA Lab-4:QALab-PoliInfo
https://poliinfo.github.io/YASUTOMO KIMURA *5 *6,
MADOKA ISHIOROSHI*2,

HIDEYUKI SHIBUKI*1,TERUKO MITAMURA*3,*1: YOKOHAMA NATIONAL UNIVERSITY,

KOTARO SAKAMOTO*1, *2,
NORIKO KANDO*2, *4,

TATSUNORI MORI*1,*2: NATIONAL INSTITUTE OF INFORMATICS,*3: CARNEGIE MELLON UNIVERSITY,*4: THE GRADUATE UNIVERSITY FOR ADVANCED STUDIES (SOKENDAI), *5: OTARU UNIVERSITY OF COMMERCE, *6: RIKEN AIPQA Lab so far
QA Lab is aimed at complex real-world question answering (QA) technologies
l NTCIR-11 QA Lab

l NTCIR-12 QA Lab-2
l NTCIR-13 QA Lab-3

Previous tasks

Various technologies are required!

1. Multiple-choice question type→

Text Entailment

3. Essay question type→

Automatic Summarization

2. Term question type→

Information Extraction

However, the data we prepared were depleted in QA Lab-3.
Therefore, we will tackle a new domain QA

QA Lab-PoliInfo in NTCIR-14
QA Lab-PoliInfo is QA for political information using Japanese regional assembly
minutes, to show summaries on the opinions of assembly members, and the reasonsand conditions for such opinions.
The importance of fact checking owing to the negative impact of fake news

l International Fact-Checking Day, April 2 from 2017 http://factcheckingday.com/

However, fact-checking is difficult for general Web search engines
l because of the ʻfilter bubbleʼ developed by Eli Pariser

For fact checking,l we should confirm the primary sources such as the assembly minutes according to criticalthinking

Japanese regional assembly minutes
This is a single speech given by an assembly member that is a request to the governor!
ǝTĽɋȏȀǧǳƀéfɌ Œŏ7Ƴƻ¤ȘĳǱȔǟŸġŊȂÌ+žðȘǑȎǯǩŰǢǼǥȓȊǯǶǟǬȂȬɀɆɈȧȃƻĖȂƕȎǧđƫǱȔȎȂǽǡȓǞGȎïǢĳȘùȌȎȂǽǱǟ*űǞűǼǞƛǞǈůäâȀǿǞÍYǢŜǧšȊȕǞƻĖŒŏȂeȃŉȁtȒȕǼǢȔȎȂǾ¼ǢȊǱǟǧĜƨǽǨȔŎȇǾǢǣŊȂyýĴ»ȁơdǱȔȎȂǽǱǧǞǵȕȘĳǯǞÛŤǯǼǢǩǶȍȁȃǞȎǹǾȎǹǾŴ£åǏǾŢĢ
ÈƿȇȂ_ȓšȋǧ¹ƃǷǾǢǣƈĩǦȒƢlȘǯǼǢǨȊǱǟȊǲǞƝçȁǺǢǼǽǡȓȊǱǟŊȃǞ¹ƃȀǾǬȖȁ¹ƃȀŜȘǺǫȔǾǢǢȊǱǟ²ĬȀǬǾǾǢǤȄ²ĬǽǱǧǞǬȕǽȃƝçȃų±ȘŤǫȔȄǦȓǽǱǟ¶Ǟ½ưȀǚǜSǽź ȀƝçǋƃȂMǧƄƪȊȕȔ ǞƻŔ^:Ȃ7ŽǨȃ ƮðǽǱǟǠǠ§ ȊǽȂyƼǧUł1@ǞǵȕȂyƼǧ6U1@ǾȀǹǼǢȊǱǧǞƵ[§ǁǽ6@ȂŔ^ģȘ"ǘǯǶƻçȁǥǢǼǞŅŋȀyŅǾȃE«ǢǤȀǢȎȂǽǱǟ
ǬȕȊǽǞƿúȂƝçƋĺȘśǱȔȈǨǷǞƻ0ŁŽǓȁȡɀȭȺȘȃȍȔȈǨǷǾǢǣßćȘǯǼǨȊǯǶǧǞĔAȂų±ȘÒǤȔšȋǧ¹ƃǽǱǟǵǬǽǞƝçƅµȘ*ǺǶȍǞņĎǾȀȔƝçƴnȂÜĎǧ¹ƃǾŮǤȊǱǧǞƄƉȘ ǢȊǱǟŊȁȃǞĳwsǊȀıęȁǡȔǷǫǽȀǩǞĀįŁŃȁȆǤȔǚǜůȏǞT§¶ǞT§¶ȂƻĖȁȎņȘeǫǶƝçƴnȘǥǔǢǯǶǢǾ¼ǢȊǱǟȊǶǞĔAȘÔýŃȁHģǱȔåǏȃƳșǽǢȊǳșǟ#ǦêǯǢĉȘȍȔȁȃǞ#ǦíȂĉȘȏȍȀǫȕȄȀȒȀǢȃǲǽǱǟ
ǯǦǯǞƗȀŔ^ȂȎǾǞĉȘȨȣɃȭȺǱȔǬǾȇȂȿȬȻɉȦɂɈȃ!ǩǞĉƏ'Ȃł1@ȃçśŃŢƟȂɊȁȎĤǶȀǢȎȂǽǱǟŊȃǞ¹ƃȀåǏȘ¹ƃȀǾǨȁŽǣǾǢǢȊǱǧǞŴ ŃȀåǏǽ ȀǶȘÝȔǣǬǾȃǽǨȊǳșǟņĎȎȀǩǞåǏȂëe¾ǧōǭȕǼǢȀǢǬǾǧlǒȀșǽǱǟ
ȓǯæǒȂńĴr"ȁȃǞǭȊǮȊȀĴĹȘǺǫǼU1@ȘƥǤȔİiǇÃşǧŤǢǼǢȊǱǟńĴr"ȂŢnņĎŝĴF®ȃǞI§®ȑȓ!ǢņĎȘƎǯƏ'ȘǚǩƄǳǦǫȔȀǿǞǙÔǨȂıÅǾǢȗǮȔȘ·ȊǳșǟĖǽǽǨȔǬǾȃĖǽǾǢǣ¼ÂȂȎǾǞȊǲǞǬȂńĴr"ȂǡȓëǦȒēǱȈǨǽǡȓȊǱǟǦȒ§ǧǶǸȊǯǶǟȎǣ©?ȘĮŊǭȕǼǢȔǬǾǾ¼ǢȊǱǟŊȃǞǬȂ?ƺåǏȘǿȂȑǣȁ_ȓšșǽǢǩȂǦǞƄƉȘ ǢȊǱǟȊǶǞƻĖȂĴƉȘȀǦȀǦ·ȒȕȀǢȂǧƻ¤ǽǡȓȊǱǟ
T<§®T1@ǧƋǭȕǼǥȓǞŊȂğA±ŢƟȃpǽ1U@ǾǯǼǢȊǱǟpU@ǽǱǟŊǧğǽāȂǛKȘŁ+ǱȔǬǾȃ¹ƃǽǱǧǞƻĖǦȒȂĴƉȘŮÆǱȕȄǞŢƟȃ÷ǄȁǾǿȍȔȈǨǽǱǟA±ŢƟȀǿȂƟĸȂũģȁNȍȔǾǾȎȁǞƻĖȁǯǼÈĂȘȁƔðǱȔǬǾǧ¹ƃǾŮǤȊ
ǱǧǞƄƉȘ ǢȊǱǟǠǠ§ā Ȃǀ/Ɵĸȃ ǽǯȐǣǦǟ
ò§üȁȃǞťǓ6<U1@ǾǢǣƼǓǧzƶǭȕȊǯǶǟǯǦǯǞ7îȂuƢľǽȎǞ ƟĸȂťǓȁǺǢǼǞĳóĩǽšŪkǽȎç­ǽȎÑàǯǼǢȀǢǾȂŚ¯ǧȀǭȕǼǢȊǱǟŜťǓȘȃǰǩǾƞȘÕǯǺǫȒȕȔǾǽȎŮǤǼǢȔȂǦǞƕȎŕĊŃȁȥȨȱŝĴȁ ȓAǵǣǾǯȊǳșǟÙŵȂǾǨǾȃÁǧȗǹǼǨǼǢȔǾȂǬǾǽǱǧǞıęȂSȁºǰǼȥȨȱȘŜAǱȕȄǢǢǷǫȂƐǽǱǟƕȎǵȕȘǯȀǢǬǾǬǵǧlǒȀșǽǱǟǬȕǽȃǞƕȎƞȘǾȒȀǢǞīƞ"ƢȂūȓƬǯǾȀǹǼǯȊǢȊǱǟ
ŊȃǞ6@ȃ¹ƃǷǾŁƊǯǼǢȊǱǧǞǬȕȃ#ǦĆÚǧǡȔșǽǯȐǣǦǟŖ.ƁȸȚȝɅȁȃǞ šŪkǧƠƼ ƧȁǆǹǶ{cȁȃƻǧƁ}ǱȔǾõǦȕǼǥȓǞ6@ǧ¹ƃǷǾǱȔȀȒȄǞǵȂ ƺBȘƻǧäÏȗȀǫȕȄȀȒȀǢaŲ¾ǧǡȓȊǱǟŊȂŚ¯ȘŰǢǼǢȔǾǞuȏšŪkǧÏǹǼǩȕȔșǽȃȀǢ
ǦŃȀȴɁțɈȨȘÄǰȊǱǧǞuŖìƎǱȒƜ×ȘėȍȒȕǼǢȔȂǽǱǦȒǞú´ǱȔȂȃǁƷǢǽǱǟ
ǵǬǽǞŊȁƢlǽǱǧǞĳóĩǽ ȂťƟĸȘǿȕǩȒǢǦǦȔǾƒƙǯǼǢȔȂǦǟ6@ǾǢǣȂǽǡȕȄǞǵȂĆÚȘǥōǯǩǷǭǢǟȊǶǞǵȂ ǽƻǧäÏǣƟĸȃ¨ȒǾȀȔȂǦǞǵȂƝĥȘǿǣŮǤǼǢȔȂǦǞŊȂƄƉȘ ǢȊǱǟȊǶǞŊȃřůŃȀŖ{ǦȒǽȃȀǩǞ ŢƟȂÑàȏB×ȁǺǢǼǞuȏšŪkȘɄɉȲǱȔǾǾȎȁǞƻĖȇȂƔðƞȘĂǶǱȈǨǾŮǤȊǱǧǞƄƉȘ ǢȊǱǟǠǠ§ ȂÈLȃǞǢǦȁƟĸǎǽȎȥɈȷȣȱȁìǽǨȔǦȁǦǦǹǼǢȊǱǟƴnƟĸȘ!ģǱȔǾǾȎȁǞǬȕĠȘÙǦȀǢȑǣȁɄɉȫɉȦȭȺȘŁáǯǼǢǶǷǨǶǢǾ¼ǢȊǱǟ
ȊǶǞ`PmĭǃĒȂÿ$SȁǺǢǼȃǞǬȕȃȀǴ7ƭȓȘǱȔȂǽǯȐǣǦǟuȂPeȁǂ)ȀǩǞȌǯȖuȁ7ǗǫǼǞǀ/ƻ¤ǾǯǼȂƞQȘĂǶǱȈǨǽǱǟGȎïǢÿ$FȘùȋȊǱǧǞƄƉȘ ǢȊǱǟǯǶŔ^Ș·ȔǶȍȁȃǞŢĢÈƿǧďǦǳȊǳșǟç­ȃǞɏɍɑ>ł6@ȘņÜǱǾȂÃĐŃȀRȘÎǸAǯȊǯǶǟƻȃǬȕȁºǰǞŃŌȀìśȘ;KǽƘǰȔȈǨǽǱǟøOȀìśȃǞŘçśǞƅFŦjǞĖnSǽǯȐǣǟîłǾǢǣ ĻȂ èȘƑȔāȂxƾǧ4SǯǞĖnSǭȕȕȄǞź ȀȘĶȋAǯȊǱǟǵǯǼƻĖȂD(¾ȃǕƨŃȁeǯȊǱǟǯǦǯǞÇ»ǭȕȔȂȃȾȱɇąȂÐǢǟò§ǞƋĈĄǅǧǞuǾƻȂXȁeǫǶVƚǧǶȀǮȒǯǾȀǹǼǢȔǾÜãǟāȾȱɇąȃ¸ŶƝĥŌ*ĚȁyǻǨǞX^:Șāîý ǌĨȂ¸Ŷ0Ȃ2ƹƝĥȁ5ǼȔǬǾǾȀǹǼǢȊǱǟǬȂÜãȘ`ǫǼǞuȃȾȱɇąȘǿǣǯǼǢǩǦǞěƆǧ¹ƃǽǱǧǞxƾ4SȘ ùǯǞƻȃñȁȾȱɇąȘÍæǯǼȃǢǫȊǳșǟxƾ4S]ȅȾȱɇąȂXȁǺǢǼǞŊȂÌƄȘ ǢȊǱǟŢĢȘĜ¾SǯǼǢǩǽǞƻȃǵȂ¢ ȀƠķȘĶǦǱȈǨǽǱǟuvƯňȃǞîý;"Ȃ PķƠķUoł6@ȂǣǸǞ=Ń PķǧłT6@ȘWȍǞǬȂOĲŃȀƴnǧŢĢȂĜ¾SȁǺȀǧȔǾǯǼǞɑɒɎÊļȘƳȍǼǢȊǱǟƻǽȃǞƝQǧÌŝǱȔvxȂǣǸǞłT¦ŞǧûDĸxǾȀǹǼǥȓǞǬȕȃāȲɉȽoT,BȂªǭȁŇ²ǯȊǱǟŒŏDĸȀǿĈƌǯǼǨȊǯǶǧǞņŃȁcǹǶvxȃȀǩǞǵȂȉǾșǿǧƠþŬǨ{ȀǿôDĸǭȕǼǢȊǱǟĀȂŽçǋƃȘŮÆǱȔȀǿǾǢǣĴĹǽź ȀvxȘ|ĦǫȁǱȔǬǾȀǩǞĖǁĜĸȘtȔȈǨǽǡȓȊǱǟǬȕȒȂûDĸxȘïúȁXǱȔǬǾȘĈƌǱȈǨǾŮǤȊǱǧǞƄƉȘ ǢȊǱǟƈ8ķĉȇȂÓƠȘ½ǪȈǨǽǱǟ
ĳwȂ½ħȀuƈ8Ȃȅȃ@ȁȑȔǾǬȖǧ ǨǢǽǱǧǞĪöPȏȀǿǞƺĵ~ȁ¡bǭȕǲǞţŤǯǼƈ8ȘhȅƪȌǶȍȁǞƻ¤ȂǛKȘǕƨŃȁǚȍȔǞȠȧȶȘgȌɐɒȘƓŵǱȔȈǨǽǱǟŊȂƊŻǽǢǣȀȒǞțȸȪɉȰȜȳɉȂċǯȋǾǯǼøOǽǡȔǬǾȃǢǣȊǽȎǡȓȊǳșǟĚćƚǧƳșǽǢȊǳșǧǞǵȂÈŖȘƄƦǯǼŮǤǶȀȒȄǞĈƌȘMưǭǳȔ¹ƃǧǡȓȊǱǟȺɇȤɃȽĚǷǦȒǾǢǹǼ¿ƿȁČǤǼǢǼȃǞǛKŃȀƈ8ȥɈȯɈȮȘĐǯǧȔƻ¤ǧèwǱȔ ǽǞȞɈȱɄɉǱȔǬǾȎǽǨȀǢǽǯȐǣǟŊȃï½ȁëƽȘōǱȈǨǽǡȓȊǱǟƓŵȁeǫǶŕĊŃȀ_ȓšȋȘƳȍȔȈǨǾŮǤȊǱǧǞƄƉȘ ǢȊǱǟȊǶǞȠȧȶƓŵǾǾȎȁǞȢɀɈȹɅ&ĿśȘƳȍȔȈǨǽǱǟœȃǞȠȧȶìƎȃuǯǦDĸǽǨȀǢǾǱȔǬǾǧȑǢǾŮǤǼǢȊǱǧǞíȁÉǧuȃȷȬɈȥǞȷȬȨɇǧȊǸ ȁǡȆȕǞŘǖǞŘƩǞŘŹǞȟɉȱɆɉȨȘ=nȢɀɈȹɅǾǯǼìǯǼǥȓǞȠȧȶȂøīȁǦǦȗȒǲǞȢɀɈȹɅ&Ŀȃ ǨȀlǒǽǞ_ȓšȋǧ¹ƃǽǱǟ7îǞȷȬɈȥȁŽǩǶȍǞ%Ș;ƂȁǯǼĞȁńőǯǶǾǢǣTĔĕƇǾ?ŨȂǧƱÞǭȕȔǾǢǣǍ¥ȁŀȊǯǢǧǡȓȊǯǶǟdčȂȃǍ¥ȁǩƄȒȕǼǥȓǞȢɀɈȹɅ&ĿȃȵȤɆȣȱȀǿ9ŗż´Ș°ǨƤǬǱZqǽȎǡȔȂǽǱǟ
ǯǦǯǞȢɀɈȹɅ&Ŀȏ9ŗż´ȃǞÀůȏſůȂǧǨȁǩǩǞȀǦȀǦśǧƳȊȀǢǞŜǧǺǨȁǩǢƖǒǽǱǟȊǶǞƉĘȁȃǞǾƿúȁȗǶǹǼeǨcǣ¹ƃǧǡȓǞź ȀŜǧ¹ƃǽǱǟò§ȂĝƃùǽȃǞǬȕȒȂ_ȓšȋȘ ǨǩIƳǭǳȔǶȍȁǞĚņŃŔǾǯǼȂȷȬɈȥŔȇȂ:ȘƃùǯȊǯǶǟƻȁȃ;uȂJȁ²ǶȔU¬ŷȂȷȬɈȥ¬ǧǉ ǯǼǥȓǞȷȬɈȥŔȃƻȁǥǢǼǞ¦ÈT§ȁĵ~śǾǯǼ:ǧĈƌǭȕǶŢŧǧǡȓȊǱǟ
ȢɀɈȹɅ&Ŀǧ°ǨƤǬǱǭȊǮȊȀŎŃȀ³ǐȇȂśȘƳȍȔǶȍǞƻǧǬȂlǒȁ7ǗŃȁ_ȓšȌÃŭȃ ǨǢǾŮǤȊǱǟȷȬɈȥŔȂ:ȘĈƌǱȔȈǨǾŮǤȊǱǧǞÌƄȘ ǢȊǱǟ÷¶ȁǞƲüȁǀ/ǭȕȔāȼɃȩɈȁǺǢǼ ǢȊǱǟƍ»ǱȈǨřTpņȘƫǤȔ ǞÖǳș-ĲǧT-ǾǚǿȊȓǯǞȀǦȀǦ²ƸǽǨȀǢǾǢǣȘèǢǶǷǢǼǢȊǱǟɃɈȳɉr"ȂƗĄǽȎǞpȞɈȱɄɉǯǼȎpȎ²ƸǯǼǢȀǢǞpȞɈȱɄɉǯǼȎȀǦȀǦ²ƸǽǨȀǢǞǍ¥ȁǩȂëǧǬǣǢǣȘǫȒȕǼǢȊǱǟdčȂƖǒȘÛǺŐËȼɃȩɈǽȃǞȂɃɈȳɉȂǣǸǞUȘCA{ăǾǯǼƎǯǼǢȊǱǟ
āȂȑǭȘŊǹǼȎȒǣǬȂ_ȓšȋȁeǫǼǞǬȕȊǽÖǳșȁȕǼƣȕȀǦǹǶëǧ37Ńȁ\MǽǨȔȑǣȀšȋȘǺǩȔȀǿǞǽȎǩȂëȁāȼɃȩɈȘ"ǘǯǼȎȒǣȈǨǾŮǤȊǱǧǞƄƉȘ ǢǞƢlȘŠȗȓȊǱǟɋØÍɌ

Transcript of a speech. However, the speech is very long.

It is difficult to understand the contents,including the opinions of the assembly member at a glance.

New information access technologies to support user’s understanding are expected.

4Support for userʼs understanding
For confirmation of primary information sourcel When a citation is given, we need to identify the corresponding texts in primary sources→ Segmentation taskl If the texts is too long, we need to summarize them

For critical thinking
l We need to get the whole view of opinions→ Summarization task

→ Classification task

5

Task description
Segmentation Taskl Given Japanese regional assembly minutes and a brief citationl Extract a text corresponding to the citation from the minutes

Summarization Taskl Given a text including an assembly memberʼs opinionl Make a summary which guarantees to keep the opinion

Classification Taskl Given a text including political keyword

l Classifiy the description whether merit or demeritSegmentation TaskQuestion

平成23年6月の定例会第2回の山下太郎議員の「東日本大震災
範囲を示しなさい．
SpeakerTaro Yamashita

Line265
266
267
268
269
276
283
284

Sentence

Indicate the range of the content.

被災地が真に必要とする支援に継続して取り組むべき。知事の見解は。」という内容が記述されている

Output…(略)…は、都議会民主党を代表して、都政の主要課題について知事並びに関係局長に伺います。
しかし、私たちは、この結果を尊重するとともに、もう1方の公選によって私たちに付託された都民の期待を踏まえ、今後も都0
民の生活を第1とする都政の実現に取り組むことを表明させていただきます。
1
まず、東日本大震災における被災地支援と東京の防災対策について伺います。
三月十一日、マグニチュード九・〇、最高震度七の強く長い揺れが東日本一帯を襲うとともに、大津波、海砂を巻き込んだ黒く1
重い海水の塊が太平洋沿岸の防波堤を軒並み破壊し、海水や瓦れきが市街地に流れ込み、甚大な被害を引き起こしました。
原発周辺の住民の皆さんは、自宅があるのに帰れない深刻な状況が続いています。
1…（略）…
被災地のニーズを的確に把握し、被災地、被災者が真に必要とする支援に今後とも継続して取り組むべきと考えますが、知事の1見解を伺います。
現在、都内には福島県などから自主避難してきた約五千名の避難者の皆さんが都営住宅などに仮住まいをしていらっしゃいます。 1…（略）…
都は、コミュニティにも配慮した避難者に対する支援の取り組みを行っていくべきと考えますが、都の見解を伺います。
1
東日本大震災を教訓に、東京においても発災時における社会対応力の強化や防災リーダーなど、地域人材の育成などに1層取り0組み、東京を災害に強い持続可能な都市としていかなければなりません。
…（略）…

Segmentation TaskQuestion

平成23年6月の定例会第2回の山下太郎議員の「東日本大震災
範囲を示しなさい．
SpeakerTaro Yamashita

Line
265
266
267
268
269
276
283
284

Sentence

Indicate the range of the content.

被災地が真に必要とする支援に継続して取り組むべき。知事の見解は。」という内容が記述されている

Output…(略)…は、都議会民主党を代表して、都政の主要課題について知事並びに関係局長に伺います。
しかし、私たちは、この結果を尊重するとともに、もう1方の公選によって私たちに付託された都民の期待を踏まえ、今後も都0
民の生活を第1とする都政の実現に取り組むことを表明させていただきます。
1
まず、東日本大震災における被災地支援と東京の防災対策について伺います。
三月十一日、マグニチュード九・〇、最高震度七の強く長い揺れが東日本一帯を襲うとともに、大津波、海砂を巻き込んだ黒く1
重い海水の塊が太平洋沿岸の防波堤を軒並み破壊し、海水や瓦れきが市街地に流れ込み、甚大な被害を引き起こしました。
原発周辺の住民の皆さんは、自宅があるのに帰れない深刻な状況が続いています。
1…（略）…
被災地のニーズを的確に把握し、被災地、被災者が真に必要とする支援に今後とも継続して取り組むべきと考えますが、知事の1
見解を伺います。
現在、都内には福島県などから自主避難してきた約五千名の避難者の皆さんが都営住宅などに仮住まいをしていらっしゃいます。 1…（略）…
都は、コミュニティにも配慮した避難者に対する支援の取り組みを行っていくべきと考えますが、都の見解を伺います。
1
東日本大震災を教訓に、東京においても発災時における社会対応力の強化や防災リーダーなど、地域人材の育成などに1層取り
0組み、東京を災害に強い持続可能な都市としていかなければなりません。
…（略）…

Summarization TaskQuestion

次の山下太郎議員の発言をその意図が正確に伝わるように40文字以内に要約しなさい．

入力
Summarize within 40 letters
まず、東日本大震災における被災地支援と東京の防災対策について伺います。
三月十一日、マグニチュード九・〇、最高震度七の強く長い揺れが東日本一帯を襲うとともに、大津波、海砂を巻き込んだ
黒く重い海水の塊が太平洋沿岸の防波堤を軒並み破壊し、海水や瓦れきが市街地に流れ込み、甚大な被害を引き起こしました。
福島第一原子力発電所にも大津波が押し寄せ、冷却電源を失った原子炉建屋は爆発、格納容器が損傷して、放射性物質が広範に拡散しました。
…（中略）…
被災地のニーズを的確に把握し、被災地、被災者が真に必要とする支援に今後とも継続して取り組むべきと考えますが、知事の見解を伺います。現在、都内には福島県などから自主避難してきた約五千名の避難者の皆さんが都営住宅などに仮住まいをしていらっしゃいます。
現在、都内には福島県などから自主避難してきた約5,000名の避難者の皆さんが都営住宅などに仮住まいをしていらっしゃいます。
…（中略）…
都は、コミュニティにも配慮した避難者に対する支援の取り組みを行っていくべきと考えますが、都の見解を伺います。

Output東日本大震災

被災地が真に必要とする支援に継続して取り組むべき。知事の見解は。

Classification task
Input : An utterance which includes political keyword
Output : Classification concerning the description whether merit or demerit
Keywords “Tsukiji market”
1.

Merit:「築地市場は、施設配置が鉄道時代のもので、トラック輸送が主流の現在の物流に対応していません。」

2.

Demerit:「豊洲の新市場予定地では108箇所で液状化が発生し、築地市場の移転先としてふさわしくないことが重ねて証明されました。」

3.

Both merit and demerit :「築地市場が東京都の台所として主要な存在であることは周知のとおりですが、その一方で、鮮魚だけをとってみれば、築地以外に足立、大田といった市場があり、さらには野菜、果物や肉、花などを扱う大切な市場が存在し、都民の生活を地域に根差して支えています。」

4.

Neither merit nor demerit:「思い返せば、ここ数年、築地の豊洲移転は都議会の大きな課題でした。」

Related work (Shared task)
Shared tasks on the credibility of political information
1. Fake News Challenge Stage 1 (FNC-I)
2. CLEF-2018 「Fact checking Lab」

3. NTCIR-14 「QALab-PoliInfo Task」

Difference from related work
FNC-1

Fact checking

NTCIR QALab-PoliInfoDataset

News article

Political debateTask

Classification

Check-worthiness• Binary Classification

Assembly minute andNews letterNumberof data

1. Agree
2. Disagree
3. Discussed
4. Unrelated

2,586 articles

Language English

Factuality• Binary Classification• Extraction

Classification

Segmentation
Summarization

1,400 sentences x 3 files-English and ArabicJapaneseData and Resource
We provided the Japanese Regional Assembly Minutes Corpus.
l JSON format data of the Tokyo metropolitan assembly for 4 years
l Data fields

Identifier
VolumeYear
Day
Title
Speaker ID
Speaker position
URL

Prefecture name
NumberMonthPeriod
Speaker expression
Speaker nameSpeech
HTML fileParticipants can use any resources (and need to report)

13Data characteristics(1) Dialog including questions and answers(2) Beliefs and attitudes of the assembly member(3) Mental spaces for other assemblymen(4) Contexts, including reasons(5) Several topics in the political documents(6) Colloquial Japanese including dialect and slang

14Evaluation
We will discuss the appropriate representation, evaluation metrics and methodologies
with the participants
The discussions will be held through round table meetings, mailing lists, and othermeans.

15ScopeThis task will contribute to the development as follows :l QA technologies,

l information extraction,

l semantic representation,l context understanding,l information credibility,

l automated summarization,l dialog system,l and others

16

Important Dates
Feb 20, 2018: QALab-PoliInfo Kickoff meeting in NII (room 1901, 1902)
Mar 20, 2018: NTCIR-14 Kickoff event in NII
Apr 19, 2018: 1st round table meeting in NII (room 1901, 1902)
Jun 2018: Dataset ReleaseJul 2018: Task Registration Due
Jul 2018: Dry Run
Nov 2018: Formal Run
Feb 1, 2018: Evaluation Result ReleaseFeb 1, 2018: Task overview paper release (draft)
Mar 15, 2019: Submission due of participant papers
Jun 2019: NTCIR-14 Conference & EVIA 2019 in NII, TokyoContact us
qalab-admin

l qalab-admin@nii.ac.jp

Web sitel https://poliinfo.github.io/

Twitterl https://twitter.com/NTCIRQALabl https://twitter.com/NTCIRQALabJA