長距離相互作用する文脈依存言語における相転移現象—言語モデルの創発現象を統計力学の視点で理解する—

ChatGPT[1]やGoogleBard[2]などの大規模言語モデル(LLM）がどのような性質を持つのか，またなぜ優れた性能を示すのかといった問いに対して，LLMの機序と原理の解明に向けた研究が盛んに行われている．面白い知見として，[3]ではLLMにおけるスケーリング則が報告され，[4]ではLLMの創発的な性能の向上が示されている．これらの現象はシステムサイズ(学習データ，学習時間，パラメータ数)を大きくしたときに現れる現象であり，統計力学における相転移現象との類似性が見られる．本研究では，言語モデルを相転移の観点から理解することを試みる．相転移とは，系を指定するなんらかのパラメータ(通常は温度や圧力など)を変化させたときに，ある値を境に急激に系の巨視的な性質(通常は磁化，密度，結晶構造など)が定性的に変化する現象で，統計力学においてよく研究されている．例として，水を冷やすと0◦Cで突然性質の異なる氷になる,あるいは磁石を温めるとある温度で突然磁力が0になる，といった現象が知られている．相転移現象は，物質の状態が大きく変わる現象としても興味深いが，ある種の相転移が起こる点(臨界点)直上では興味深いスケーリング則が現れることも重要な特徴である．また，相転移はシステムサイズを大きくしたとき1）に現れる現象で，この点でもLLMとの対応がある．なお，自然言語と相転移の関連を論じること自体は本研究がはじめてではなく，特に文脈自由文法（CFG）の相転移を論じる既存研究が複数ある．しかしこれらの研究は依然共通見解に至っておらず，とくに，どういうクラスの言語が相転移を持つのかについては不明な状況が続いている[5,6,7,8]2）．本研究では，CFGよりも強力な文法である文脈依存文法(CSG)の枠組み内で明確な相転移現象が起こることを，長距離イジング模型から着想を得て構成したCSGの数値計算に基づいて主張する．自然言語を統計力学的にモデル化する際には，素朴には「文の初めから終わり」に対応する1次元方向のみを持つと考えるのが自然であろう．統計力学分野において相転移を示す最も単純な模型の1つであるイジング模型は，空間次元を1次元としたときに短距離相互作用のみでは相転移を示さず，長距離相互作用を持つ場合(長距離1次元1）系の構成要素の数𝑁が無限に大きくなる極限（熱力学極限と呼ばれる）を数学的には考えることになる．2）[5,6]はCFG相転移があるという主張をし，一方で[7]は[5,6]の解析が間違いであると指摘し，さらに[8]は[7]に対して反論を行っている．.イジング模型)は相転移を示すことが知られている[9,10,11,12,13,14,15,16,17]．このイジング模型の性質に従い，長距離イジング模型に対応するようなCSGを構成し，相転移の有無を調べる．また，通常の統計力学モデルは持たず言語モデルは持つ特有の性質として，時事刻々とシンボルが増えるという点がある．このシンボルの増え方に対して，相転移点の挙動が変わることも議論する．この現象は，元々の統計力学のモデルにはなく自然言語をモデル化した際に生じる新しい現象であるという意味でも興味深い