エッジプロービングを用いた事前学習済みの視覚と言語に基づくモデルにおける言語知識の分析

近年TransformerベースのVision-and-Language(V&L)モデルが次々に提案され,画像情報に対する質問応答などのマルチモーダルタスクで成功を収めている.一方で，V&Lモデルが適するタスクを把握するためには，V&Lモデルが有する言語処理能力を知ることが必要である．本研究ではエッジプロービングというフレームワークを採用し,事前学習済み(V&L)モデルであるVisualBERTとLXMERTが有する言語知識の分析を行う.このプロービング手法を用いることで品詞タグ付けなど8つの分類タスクのスコアの算出と，分類に寄与する隠れ層の定量化を実現する.実験の結果,VisualBERTは全体的にBERTとタスクごとの精度や分類に寄与する層が近しい一方,LXMERTは全体的に精度が低く,より低層の情報が寄与していることが判明した.