層の冗長性と層同士の独立性に基づく言語モデルの層交換の成否の特徴づけ

ニューラル言語モデルを一度学習し，後からその層を繋ぎ直すことで，モデルの軽量化や複数のモデルの統合が可能になるという不思議な現象が知られている．本稿では，最も単純な層の繋ぎ変えである隣接層同士の交換の成否が，「層の冗長性」と「層同士の独立性」というふたつの直感的な指標によって特徴づけられることを示す．理論的には，これらの量が十分小さいことが，層同士を交換できることの必要条件になっていることを示した．経験的には，提案指標が学習済みのGPT-2の層同士の交換しやすさが提案尺度でよく予測できることを確認した．