エッジプロービングを用いた事前学習済みの視覚と言語に基づくモデルにおける言語知識の分析

近年，Vision-and-Language(V&L)モデルとして，言語と画像を横断した汎用的なマルチモーダル表現の獲得のために,Transfomerに基づく事前学習済みモデルが次々と提案されている[1].V&LモデルにはBERT[2]を模したエンコーダを用いるものが多く，言語と画像を含む入力に対する扱いの差異によって，Single-streamモデルとDual-streamモデルに大別される(図1)．Single-streamモデルは言語と画像を一つのエンコーダで処理し，Dual-streamモデルは言語と画像を別々のエンコーダで処理した後,その結果を一つのエンコーダで統合する階層的なモデル構造である.これらのモデルは画像情報を踏まえた質問応答[3]などマルチモーダルタスクの精度向上に貢献している[1]．現在，これらのV&Lモデルが視覚情報を学習することで，テキストのみを学習したモデルよりも良力した視覚情報,言語情報に対する処理方法が異なる.い文脈表現を獲得できているのかの調査が行われている.先行研究[4,5]では，事前学習済みV&Lモデルの言語理解能力をベンチマークGLUE[6]で評価し，Single-streamモデルはDual-streamモデルよりも僅かに高い言語理解能力を有しているが，単に画像情報を学習するだけでは言語理解能力が向上しないことを主張している.また,これらの研究ではテキストのみの評価データに対として入力する視覚情報の差異による性能変化についても議論されている.このようにV&Lモデルにおける検証ではベンチマークスコアに基づいた方法が行われている一方，自然言語処理分野では事前学習済みモデルに対するより詳細な分析手法として，エッジプロービング[7]と呼ばれるフレームワークが提案されている.エッジプロービングは事前学習済みモデルにトークン列からなるスパンを入力し，出力された表現を利用した分類器が対応するラベルをタスクごとに予測することで行われる.この際，分類器に入力するスパン表現はパラメータを固定したモデルの各層に重み付けをするスカラーミキシングにより得られる.エッジプロービングとスカラーミキシングを組み合わせた手法は学習した各層への重みを参照することで，分類タスクごとに寄与する層を定量的に評価できる利点がある.自然言語処理分野ではこのアプローチでBERTを.分析することにより,BERTの隠れ層は品詞タグ付け,構文解析,固有表現抽出といった深層学習導入以前の自然言語処理で使用されていた逐次的な言語処理と対応する関係を持つという画期的な知見が得られている[8].一方で,事前学習済みのV&Lモデルに対しては,エッジプロービングを用いてテキストとともに画像情報を入力するVisualBERT[9],動画情報を入力するVideoBERT[10]の調査がなされている[11].この研究でも視覚情報の学習が言語処理能力の大幅な改善に繋がっていないという見解が示された.なお,Dual-streamモデルが有する言語知識に関しては言語エンコーダに限定し,文埋め込みに基づくベンチマークSentEval[12]によって評価されている[13].このようにV&Lモデルに対して様々な検証が行われている一方，既存研究ではV&Lモデルで各隠れ層がどの分類タスクに寄与しているのかの十分な分析がなされておらず，自然言語処理データで獲得された層間の関係がどれほどモデルに残されるのかも明らかにはなっていない．同様にSingle-streamモデルやDual-streamモデルといった構造の違いが各層に与える影響についても明らかではない．本研究ではこれらの点を明らかにするために，事前学習済みのVisualBERTとLXMERT[14]の有する言語知識に焦点を当て，エッジプロービングとスカラーミキシングの手法からタスクごとの精度や自然言語タスクの解決に寄与する層が何かを定量的に示す．実験の結果，VisualBERTはタスクに応じた層を利用することで視覚情報を学習しながらもBERTに劣らない精度を維持する一方，LXMERTは全体的に精度が低く，より低層の情報が自然言語処理に寄与していることが判明した．