層の冗長性と層同士の独立性に基づく言語モデルの層交換の成否の特徴づけ

自然言語処理分野では，複数の層からなる深層学習モデル[1]を採用した大規模言語モデルが基盤的な役割を果たしている[2–4]．これら大規模言語モデルを構成する層同士を「繋ぎ変え」ても動くという興味深い性質がいくつも報告されている．例えば，同一のモデル内において，隣接する中間層同士の交換[5–7]や，層の削除[8,9]，層の並列化[7]といった操作を行なってもほとんど性能が低下しないことが報告されている．また，複数のモデルを層単位で繋ぎ合わせることでそれらの特徴を受け継ぐ新たなモデルを構築する，モデルマージが可能であること[10]も示されている．自然な疑問として，モデルがどのような条件を満たすときに「層の繋ぎ変え」が可能になるのだろうか？Gromovら[8]やMenら[9]は，隠れ状態をどの程度変化させないかという層の冗長性によって，層の削除の成否を特徴づけた．しかしながら，これまで報告されている言語モデルの改造方法は，層の削除だけではなく，層の繋ぎ変えやモデルマージといったより複雑な操作を含む．こうした操作の成否が何に特徴づけられているか，いつ成功するのかは重要なオープンクエスチョンとして残されている．本稿では「層の冗長性」と「層同士の独立性」というふたつの直感的な概念から，層の繋ぎ変えを特徴づけるための新たな指標を構成した(図1)．とくに繋ぎ変えの最も素朴な設定である隣接する層同士の交換に着目し，理論的にも経験的にも提案指標が良い性質を持つことを確認した．さらに，提案指標を用いることで，交換が失敗する原因を特定できることを示した．