視覚と言語の融合モデルにおける知識の振る舞いを調査するための表と画像の生成タスクの提案及びその調査結果

本研究では視覚と言語の融合タスクであるVision&Language(V&L）において，自然言語から獲得されたエンティティに関する知識がどのようにV&Lモデルに保持されているかを検証するための新タスク，表と画像の生成を提案する．このタスクはエンティティと関連する画像からそれらに関する知識を含む表を生成するタスクと，エンティティとキャプション及び関連する知識を含む表から画像を生成するタスクの二つで構成される．我々は提案タスク遂行のためのデータセットを英語版WikipediaのInfoboxから作成し，複数タスクで最高精度を達成しているV&LモデルOFAで上記の検証を実施した．その結果，OFAはエンティティに関する知識の一部を事前学習時に忘却しており，それらの補完は良質な画像の生成に寄与することが判明した．