視覚と言語の融合モデルにおける知識の振る舞いを調査するための表と画像の生成タスクの提案及びその調査結果

近年，視覚と言語の融合タスクであるVision&Language(V&L)ではキャプション生成[1]やテキストからの画像生成[2]に代表されるような大きな成功を収めている．この進展の背景には大規模データにより事前学習された事前学習済みV&Lモデルが存在している[3]．事前学習済みV&Lモデルにおいて，入力に対して適切なキャプションや画像を生成するためには，事前学習済みV&Lモデルが生成対象の特徴に関する知識を事前に保持している必要がある[4,5]．現在，これらのモデルにおいて特にエンティティに関する知識は，自然言語処理で利用されている事前学習済み言語モデルのパラメータを引き継ぐことで，間接的にWikipediaなどのデータ資源を利用することで保持されている．このようにしてV&Lモデルに引き継がれた知識は，視覚と言語を横断したデータイトルタイトル画像(画像)キャプション表の生成画像の生成タイトルキャプション表(表)ではInfobox中の画像及び表の箇所を生成することで，V&Lモデルの検証を行う．タセットによって追加の学習を行うことで画像に関する表現と対応付けられる[6,7,8,9,10]．この学習過程において，自然言語から獲得された知識は事前学習済みV&Lモデルの内部に適切に保持されているのか，あるいは画像の持つ特徴と組み合わせられることにより補強されているのかという問いは事前学習済みV&Lモデルにより生成可能な対象の限界を知る上での重要な疑問である．本研究ではそのような疑問を解消するために英語版Wikipediaの各記事に含まれているInfoboxを対象データとした，表と画像の生成タスクを提案する．の例に示されているように，提案タスクでは，表または画像を生成する．いずれの場合においても適切に生成するためには，モデルが生成対象のエンティティに関する知識を把握していなければならない．我々は提案タスクを遂行するために必要なデータセットを約20万件からなるInfoboxを収集することで構築した．さらに我々は現在様々なV&Lタスク1）引用:https://en.wikipedia.org/wiki/Fishandchips.：画像&言語：画像：言語CC12M,CC3M,SBU,COCO,VG-Capこの知識はどのように残っている？VQAv2,VG-QA,GQA,RefCOCO,OFARefCOCO+,RefCOCOg,VG-CapOpenImages,Object365,VG,COCO,事前学習YFCC100M,ImageNet-21kPileResNetBARTWikipedia,BookCorpusImageNet事前学習事前学習TransformerResNetWikipediaから獲得されたエンティティに関する知識がどのようにOFAに残されているのかを調査する．で最高精度を達成している事前学習済みV&LモデルであるOFA[10]を用いた検証を行った．検証の結果，表の生成において，自然言語から獲得された知識の一部はV&Lモデルにおける追加学習により消失することが判明した．また画像情報の利用により自然言語のみでは獲得されていなかった，エンティティが含む情報の種類に関する知識を新たに獲得していることが判明した．画像生成においては，表に含まれる知識を利用することでより正確な画像を生成できることが明らかになった．また，自然言語だけで学習されたモデルにより推測された知識を利用することで生成される画像の多様性を向上させることが可能であることも判明した．