文脈内構造切替下での大規模言語モデルにおける文脈内表現学習の幾何学的解析

本研究では，長い文脈の途中で遷移規則が切り替わる状況を対象に，大規模言語モデル（LLM）の出力挙動と内部表現の変化を分析する．グラフ遷移タスクを用い，切替前後で語彙を入れ替える条件と維持する条件を比較した．語彙を入れ替えた場合，切替前規則に対応する内部表現は維持される一方で，切替後規則への適応は限定的であった．一方，語彙を共有した場合，出力レベルでは規則間の干渉が生じるが，内部表現は両規則に対応する構造を同時に形成する傾向が観測された．