我々は，フェイクニュースなどの社会問題を質問応答や自動要約などの自然言語処理技術を用いて解決するためのシェアードタスクとしてNTCIR-17QALab-PoliInfo-4(以下，PoliInfo-4)を開催している．本稿では，システムの改善に有効とされる敵対的データを継続的に収集するために，ゲーミフィケーションによるモチベーションで不特定多数のユーザに敵対的データを作成させるGDADCを説明する．また，GDADCのゲームとしての面白さを考察しながら，PoliInfo-4のサブタスクであるAnswerVeriﬁcation(以下，AV)での利用について述べる．

政治にまつわるフェイクニュースが社会問題となって久しい．我々はフェイクニュースなどの社会問題を，質問応答や自動要約などの自然言語処理技術を用いて解決する取り組みとして，QALab-PoliInfoタスク[1,2,3]を評価型ワークショップNTCIR1）において開催している．今年もNTCIR-17QALab-PoliInfo-4[4](以下，PoliInfo-4)として，QuestionAnswering-2(以下，QA-2)，AnswerVeriﬁcation(以下，AV)，StanceClassiﬁcation-2，Minutes-to-BudgetLinkingの4つのシェアードタスクを開催している．前回のQALab-PoliInfo-3[3]で開催したQuestionAnswering(以下，QA)では，例えば「〇〇について知事はどんな見解を持っているのか？」といった質問2）を入力として，一次情報となる知識源3）から1）https://research.nii.ac.jp/ntcir/index-ja.html2）『都議会だより(https://www.gikai.metro.tokyo.jp/newsletter/)』での代表質問や一般質問を用いた．3）『東京都議会会議録(https://www.gikai.metro.tokyo.jp/record/)』を用いた．●数値の誤り（特に年号）質問緑地整備を進めるべき。27年度早期に整備方針改定し、区市町との連携を更に深めながら整備を加速。GoldStandard出力2年度早期に整備方針を改定、区市町との連携を更に深めながら整備を加速させ、ゆとりと潤いのある東京の実現を図る。●要約元の選定失敗質問コロナで経済的格差が鮮明に。国と連携し生活底上げを。区市町村と連携し、各学校が現状に即した指導計画への再構築を行う。GoldStandard生活資金の無利子貸し付け等を講じている、支援を国の取組含め検索できるサイトを立ち上げ、情報が届く仕組みも整えている。出力質問の回答を提示した．参加者から提出されたシステムの回答を四つの観点から人手で評価した結果，800点満点中499点(62%)が最高スコアとなり，適切な回答も多く出力されていた．しかしながら，GoldStandard4）を人手評価した結果の598点(75%)には及ばなかった．システムによる誤った回答の例を図1に示す．図1の上部に示す年号の誤りなど一見正しそうに見えるものもあるが，ファクトチェックの支援材料としてそのまま提示するには問題がある．それゆえ，PoliInfo-4では，QA-2として引き続き同じ設計のタスクを実施するとともに，質問応答システムの出力が質問に対して適切であるか否かを判断するAVを実施することとした．AVは，QAなどで生成された回答が知識源と照らし合わせてフェイクになっていないかをチェックするタスクである．QAとAVのイメージを図2にそれぞれ示す．AVは図2に示すように二値分類問題に帰結させることができる．したがって，近年の機械学習の進歩もあり，フェイクか否かのアノテーションが付与された十分な量の訓練データがあれば，適切な判断可能なモデルの生成が期待できる．しかしながら，QAの人手評価の対象は延べ200問4）『都議会だより』の回答を用いた．.QuestionAnswering知識源：議会会議録①検索質問発言Q’入力：質問Q②アライメント③要約回答発言A'出力：回答AAnswerVerification（）,質問Q回答A入力：①参照②分類知識源：議会会議録出力：FactFakeor概念図程度であり，訓練データとして利用するには決して十分な量とは言えない．また，日本の政治または議員発言に関するフェイク情報という特殊性から，一般のタグ付きコーパス等を利用することも困難である．この問題を解決するために，我々は，ゲーミフィケーション的にアノテーションデータを拡充するGamiﬁedDynamicAdversarialDataCollection(GDADC)を提案した[5]．本稿では，GDADCを説明した後，ゲームとしての面白さを考察しながらAVでの利用に向けての取り組みを説明する．