長距離相互作用する文脈依存言語における相転移現象—言語モデルの創発現象を統計力学の視点で理解する—

最近，大規模言語モデル(LLM)のスケーリング則や創発的な能力が報告され，LLMのメカニズムを理解する上で重要な手掛かりになることが期待されている．実は統計力学においてもこれらの概念に相当する「相転移」と呼ばれる概念が存在する．本研究では，言語モデルの性質を相転移の観点で再検討する．具体的には，長距離相互作用を持つ1次元イジング模型を念頭にした単純な言語モデルを構成し，統計力学的な意味での相転移現象が起きることを示す．さらに，シンボル数が増えるという統計力学モデルにはない言語モデル特有の過程に注目することで，統計力学モデルにはない現象を発見したことを報告する．