日本語LLMは内部でどの表記を経由するか：logitlensによる潜在的漢字化の分析

日本語を扱う大規模言語モデルは，ひらがなを出力する際に内部でどのような表記を経由しているのだろうか．本研究では，logitlensを用いて層ごとの内部表現を解析し，日本語中心モデル（LLM-jp-3-13B-Instruct）における，ひらがな出力時に中間層で漢字表現が優勢となる「潜在的漢字化」現象を発見した．一方，英語中心モデルや継続事前学習モデルではこの現象は見られず，漢字化度による定量評価でも日本語中心モデル（0.405）が他モデル（0.02〜0.03）を大きく上回った．さらに，外来語では漢字化が弱まりカタカナが優勢となることから，潜在的漢字化が語彙の表記特性に依存することが明らかになった．これらの結果は，LLMの内部表現形成が事前学習時の言語分布と密接に関連していることを示唆している．