日本語を扱う大規模言語モデルは，ひらがなを出力する際に内部でどのような表記を経由しているのだろうか．本研究では，logitlensを用いて層ごとの内部表現を解析し，日本語中心モデル（LLM-jp-3-13B-Instruct）における，ひらがな出力時に中間層で漢字表現が優勢となる「潜在的漢字化」現象を発見した．一方，英語中心モデルや継続事前学習モデルではこの現象は見られず，漢字化度による定量評価でも日本語中心モデル（0.405）が他モデル（0.02〜0.03）を大きく上回った．さらに，外来語では漢字化が弱まりカタカナが優勢となることから，潜在的漢字化が語彙の表記特性に依存することが明らかになった．これらの結果は，LLMの内部表現形成が事前学習時の言語分布と密接に関連していることを示唆している．

日本語は，漢字，カタカナ，ひらがなという複数の文字種が併存するという点で特徴的な言語である．例えばlearnに対応する日本語単語は「学習」「ガクシュウ」「がくしゅう」といった漢字，カタカナ，ひらがな表記を持つように，ほとんどの単語や表現が複数の表記を持つ．このような特徴を持つ日本語に対する，大規模言語モデル(LLM)の内部機序は明らかになっていない．この内部機序の解明への手がかりとして本稿では，LLM内部においてどの文字種を経由して処理が行われるか，より具体的には，図1の例のようにひらがなを出力するときには内部でもひらがなが「想起」されるのか，あるいは漢字など他の文字種が‘‘想起’’されるのか，という問いの答えを探る．いわば，中間層で漢字表現を経「ガクシュウ→がくしゅう」変換タスクの解析結果（Top-1トークンヒートマップ）．各層で最も確率の高いトークンを可視化している．中間層で漢字表現「学習」「学」が現れ，最終層でひらがな「がく」へと収束する．由する潜在的漢字化を研究対象とする．LLM内部で‘‘想起’’されているトークンを調べる手段として，logitlens1）がある．これは，LLMの各中間層の内部状態に出力層を直接連結したツールであり，その内部状態から次トークン予測をすることで，その層で‘‘想起’’されているトークンを可視化する．我々はこれを用い，各中間層から出力されるトークンを観察し，またその層から漢字が出力される確率を算出することで，潜在的漢字化について調査する．特に，潜在的漢字化はどの層で観察されるか，どのようなモデルで観察されるか，外来語では潜在的漢字化は緩和されるか，などを調べる．