特定のタスクのためにBERTモデルをファインチューンする場合、最終層の出力の一部を選択し、新しく作成された全結合層に入力することが一般的に行われる。しかし、最終層のどの部分を選択すべきか、また、層の各次元がどのような情報を保持しているかは、よくわかっていない。本研究では、GLUEタスクに対するBERTのファインチューンを通じて、トークンに対応する最終層のベクトル、Transformerの層、ベクトルの次元について、有効性と冗長性を総合的に調査した。その結果、最終層はどのベクトルでも同等の情報を含むこと、ほとんどのタスクは2-3次元しか必要としないこと、上位層ではどのTransformer層でもほとんど差がないことが示された。さらに、異なるタスクで順次ファインチューンを行うクロスファインチューンを実施した。その結果、ファインチューンにより隠れ層が大きく変化すること、複数タスクを同時に学習保持できる冗長性があることが示唆された。

BERT[1]モデルを特定タスク向けにファインチューンする際は、最終層の一部の出力を選択し、特定タスク向けに新たに作成した全結合層に入力して学習することが一般に行われる[2][3]。事前学習時および推論時に、入力の先頭に特別なトークン[CLS]を追加し、このトークンに対応する最終層のベクトル（以下、CLSベクトル）が文全体を表現するとして頻用されている[3][4][5]。しかし、最終層のどの入力トークンにあたる部分を選択するのがよいのかは解明されておらず、そもそも最終層の各次元がどのような情報を持っているかも明確ではない[6]。さらに、最終層でなく中間層の出力を利用すると性能が向上することもよくある[7]が、各層の各(トークン単位の冗長性:Max-Poolingで選択されたトークンを使用して推論,次元単位の冗長性:少数の次元を選択して推論,Transformer層単位の冗長性:隠れ層から選択された少数の次元を使用して推論)次元がどのような情報を持つかも明確ではない[8]。事前学習により、モデルは一般的な言語表現を捉えることが期待される[9]。しかし、事前学習済みモデルを汎用的な「言語特徴抽出器」として利用する場合、ファインチューンの際に新しく追加した全結合層が学習の大部分を担う[10][11]のか、それともある種の破滅的忘却[12]によってこれらの層が大きく変化するのかは、明らかにされていない[13]。いくつかの研究では、BERTには過剰なパラメータが含まれており、性能に影響を与えることなく刈り込むことができると報告されている[14]。宝くじ仮説[15]は、高密度でランダムに初期化されたフィードフォワードネットワークの中に、「当たり券」(元のネットワークに匹敵するテスト精度を達成できる疎なサブネットワーク)が存在することを示唆している。この仮説は、コンピュータビジョンのLeNet[16]のような小さなネットワークで実証されており、自然言語処理におけるLSTM[17]やTransformerにも適用可能である[18][19][20]。事前に訓練されたBERTモデルでは、タスクの40%-90%に対応する疎なサブネットワークが確認されている.[19]が、プルーニングによってモデルパラメータが減少する一方で、どのサブネットワークが効果的なのか、あるいは各次元がどのような情報を含んでいるのかは未だ明らかになっていない。本研究では、GLUEベンチマーク[21]を使用し、次元ごと、トークンごと、および層ごとの比較を行いながら、事前学習されたBERTモデルのファインチューンの結果何が起こるかを包括的に検証する(図1)。本研究の貢献は以下の通りである：•CLSベクトル以外のトークンに対応する最終層ベクトルにも、同等の情報が含まれることを明らかにした(トークン単位の冗長性)•最終層のCLSベクトルの2-3次元のみを使用することで、CLSベクトル情報の冗長性を明らかにした(次元単位の冗長性)•それぞれの隠れ層のCLSベクトルの2次元のみを使用することで、隠れ層上位層の冗長性を明らかにした(Transformer層単位の冗長性)•ファインチューンにより大きく重みが更新されるにもかかわらず、隠れ層の冗長性により複数のタスクに同時に適応できることを明らかにした(クロスファインチューン)