大規模言語モデルにおける方言生成過程の内部機序分析

近年，大規模言語モデル（LLM）の発展により，翻訳や要約，対話生成など多様な自然言語処理タスクで高精度な出力が得られるようになり，多言語間の翻訳や意味対応においても優れた性能を示している．一方で，自然言語には言語間の差異だけでなく，同一言語内における話し方や文体，さらには地域に根ざした方言といった多様性が存在する．しかし，このような言語内のスタイル差を，LLMがどの程度区別し，内部的に理解・表現できているかの内部機構解明は十分に明らかにされていない．さらに，LLMの出力がどのような内部過程を経て生成されるかは依然不透明であり，モデルの透明性・信頼性を高めるためには内部機序の分析が重要な課題となる．この課題意識のもと，近年ではLLMの内部表現に着目した研究が進展している．Wendlerら[1]は，多言語モデルが非英語入力に対しても英語に強くバイアスされた内部表現をピボットとして用いる傾向を示した．また，Zhongら[2]は，日本語特化型モデルの内部表現を分析し，日本語内部における言語的特徴の潜在軸（latentlanguage）の存在を示している．しかし，これらの研究は主として言語間の差異に焦点を当てたものであり，同一言語内の文体や方言といったスタイル差に対して，モデルがどのように内部的に対応しているかについての分析は十分に行われていない．そこで本研究では，日本語における標準語と方言（関西方言・東北方言）の差異に着目し，LLMがそれらをどのように内部的に表現・生成しているかを分析する．具体的には，LogitLens[3]により層ごとの出力分布を可視化し，形態素解析およびn-gram照合により方言的語彙・語尾の出現層を定量的に分析する．実験では，日本語特化3モデル（LLM-jp-3-3.7B-Instruct3，Sarashina-2.2-3B-Instruct-v0.1，Swallow-7B-Instruct-v0.1）を用い，関西方言および東北方言の生成過程を比較した．その結果，いずれのモデル・方言においても，中間層付近で検出数が増加したのちに減少し，最終層で再び増加するという共通傾向が確認された．また，トークン確率は層が深くなるにつれて上昇する傾向を示した．これらの結果から，内容ではなく文体・スタイルといった言語的多様性を考慮する層がLLM内部に存在し，最終層は中間層で形成された方向性を踏まえて出力を確定している可能性が示唆される．本研究は，同一言語内のスタイル差を層構造に基づき可視化・定量化する分析枠組みを提示し，スタイル制御の透明性向上に寄与することを目指す．