大規模言語モデルにおける方言生成過程の内部機序分析

大規模言語モデル（LLM）は，方言や文体といった言語内のスタイル差を高精度に生成できる一方，それらの差異がモデル内部で，どのように表現や制御されるかなどの解明は十分ではない．本研究では，LLMにおける方言生成過程を分析し，同一言語内に存在する文体差（スタイル差）が内部表現でどのように扱われているかを明らかにする．関西方言と東北方言を対象に，複数の言語モデルを用い，LogitLensにより層ごとの方言検出数およびトークン確率の推移を比較した．その結果，いずれのモデルにおいても，方言的特徴は中間層で初めて顕在化した後に一時的に減少し，最終層に向けて再び強化されることがわかった．一方トークン確率は層の深さとともに一貫して上昇するという共通の層構造を示した．これらの結果はLLM内部では，文体や話法を処理する中間層と，内容に基づく確信度を形成する上位層が分離して存在することを示唆する．