トークン・次元・層の3つの観点とクロスファインチューンによるBERTモデル冗長性の解明

特定のタスクのためにBERTモデルをファインチューンする場合、最終層の出力の一部を選択し、新しく作成された全結合層に入力することが一般的に行われる。しかし、最終層のどの部分を選択すべきか、また、層の各次元がどのような情報を保持しているかは、よくわかっていない。本研究では、GLUEタスクに対するBERTのファインチューンを通じて、トークンに対応する最終層のベクトル、Transformerの層、ベクトルの次元について、有効性と冗長性を総合的に調査した。その結果、最終層はどのベクトルでも同等の情報を含むこと、ほとんどのタスクは2-3次元しか必要としないこと、上位層ではどのTransformer層でもほとんど差がないことが示された。さらに、異なるタスクで順次ファインチューンを行うクロスファインチューンを実施した。その結果、ファインチューンにより隠れ層が大きく変化すること、複数タスクを同時に学習保持できる冗長性があることが示唆された。