ニューラル言語モデルを一度学習し，後からその層を繋ぎ直すことで，モデルの軽量化や複数のモデルの統合が可能になるという不思議な現象が知られている．本稿では，最も単純な層の繋ぎ変えである隣接層同士の交換の成否が，「層の冗長性」と「層同士の独立性」というふたつの直感的な指標によって特徴づけられることを示す．理論的には，これらの量が十分小さいことが，層同士を交換できることの必要条件になっていることを示した．経験的には，提案指標が学習済みのGPT-2の層同士の交換しやすさが提案尺度でよく予測できることを確認した．

自然言語処理分野では，複数の層からなる深層学習モデル[1]を採用した大規模言語モデルが基盤的な役割を果たしている[2–4]．これら大規模言語モデルを構成する層同士を「繋ぎ変え」ても動くという興味深い性質がいくつも報告されている．例えば，同一のモデル内において，隣接する中間層同士の交換[5–7]や，層の削除[8,9]，層の並列化[7]といった操作を行なってもほとんど性能が低下しないことが報告されている．また，複数のモデルを層単位で繋ぎ合わせることでそれらの特徴を受け継ぐ新たなモデルを構築する，モデルマージが可能であること[10]も示されている．自然な疑問として，モデルがどのような条件を満たすときに「層の繋ぎ変え」が可能になるのだろうか？Gromovら[8]やMenら[9]は，隠れ状態をどの程度変化させないかという層の冗長性によって，層の削除の成否を特徴づけた．しかしながら，これまで報告されている言語モデルの改造方法は，層の削除だけではなく，層の繋ぎ変えやモデルマージといったより複雑な操作を含む．こうした操作の成否が何に特徴づけられているか，いつ成功するのかは重要なオープンクエスチョンとして残されている．本稿では「層の冗長性」と「層同士の独立性」というふたつの直感的な概念から，層の繋ぎ変えを特徴づけるための新たな指標を構成した(図1)．とくに繋ぎ変えの最も素朴な設定である隣接する層同士の交換に着目し，理論的にも経験的にも提案指標が良い性質を持つことを確認した．さらに，提案指標を用いることで，交換が失敗する原因を特定できることを示した．