知識ベースの検索を伴うVideoQAタスクの提案

ユーザの過去の発言や行動に関する質問応答システムは高度なアシスタント機能の実現に不可欠であり，例えば，WhatisthenameofthepersonwhomItalkedwithatoneofthepasteditionsofNLP?のような質問に回答することが期待される．これは，ユーザの発言や行動の長大なログ（映像）から質問に関連する部分（知識）を見つけ出し，その結果に基づいて回答を生成するタスクと考えることができる．このタスクに関連するタスクとして，Knowledge-BasedVideoQuestionAnswering（KBVQA）[1]が提案されている．このタスクでは，複数のエピソードから構成されるテレビドラマを対象として，同様の問題に取り組んでいる．質問に答えるための知識ベースとして，作問者によるアノテーション[1]やインターネット上の要約[2]，動画像から作成されたシーン説明[2]，映像に付属する字幕から自動作成した要約[3]を利用する手法が提案されいる．これらの手法では，各質問に対して対応する知識従来MAGQASeason1Episode1Season1Episode1紐づけ動画像字幕動画像字幕検索質問Q:~~~~解答候補A1:~~~~A2:~~~~A3:~~~~A4:~~~~質問Q:~~~~解答候補A1:~~~~A2:~~~~A3:~~~~A4:~~~~Leonard:~~~Sheldon:~~~…Leonard:~~~Sheldon:~~~…Season1Episode2……Season1Episode2…………Season9Episode24……Season9Episode24……の概要．後者は質問に答えるために必要な情報を紐付けず，検索して得る．がアノテーションとして提供されている，または質問がどのエピソードに関するものか，などのように知識の範囲を限定できるものとしている．例えば，現在KBVQAにおいて最も精度の良い手法[3]は，ソードの字幕要約のみを用いており，回答を生成する際には要約全文を入力としている．前述のいずれの手法も，学習時には質問に対して必要な知識（または．少なくとも必要な知識の真値）が紐付いていること前提としている．質問と知識の紐付けには，質問にアノテーションを付与する必要がある．ユーザの発言や行動のように長大なログ，すなわち大量の知識が提供されるタスクにおいて，質問に答えるための知識等に関するアノテーションは高コストで，例えばドメイン毎の（もしくは巨大なデータセットに対する）アノテーション付与は難しい．そこで本稿では，図1（右）のように，映像から質問応答に必要な知識を検索し，利用するタスクであるMAGQAを提案する．このタスクでは，検索対象となる知識を限定するためのアノテーションを利用しない．従って，モデルはまず質問をクエリとして知識ベースを検索し，その結果に基づいて回答を生成する．学習では，検索と回答生成を合わせて最適化する必要がある．本稿では既存データセットであるKnowITVQA[1]を用いてMAGQAを提案す.る．本タスクのベースラインとして字幕というテキストモダリティに注目した手法を提案する．