日本語LLMは内部でどの表記を経由するか：logitlensによる潜在的漢字化の分析

日本語は，漢字，カタカナ，ひらがなという複数の文字種が併存するという点で特徴的な言語である．例えばlearnに対応する日本語単語は「学習」「ガクシュウ」「がくしゅう」といった漢字，カタカナ，ひらがな表記を持つように，ほとんどの単語や表現が複数の表記を持つ．このような特徴を持つ日本語に対する，大規模言語モデル(LLM)の内部機序は明らかになっていない．この内部機序の解明への手がかりとして本稿では，LLM内部においてどの文字種を経由して処理が行われるか，より具体的には，図1の例のようにひらがなを出力するときには内部でもひらがなが「想起」されるのか，あるいは漢字など他の文字種が‘‘想起’’されるのか，という問いの答えを探る．いわば，中間層で漢字表現を経「ガクシュウ→がくしゅう」変換タスクの解析結果（Top-1トークンヒートマップ）．各層で最も確率の高いトークンを可視化している．中間層で漢字表現「学習」「学」が現れ，最終層でひらがな「がく」へと収束する．由する潜在的漢字化を研究対象とする．LLM内部で‘‘想起’’されているトークンを調べる手段として，logitlens1）がある．これは，LLMの各中間層の内部状態に出力層を直接連結したツールであり，その内部状態から次トークン予測をすることで，その層で‘‘想起’’されているトークンを可視化する．我々はこれを用い，各中間層から出力されるトークンを観察し，またその層から漢字が出力される確率を算出することで，潜在的漢字化について調査する．特に，潜在的漢字化はどの層で観察されるか，どのようなモデルで観察されるか，外来語では潜在的漢字化は緩和されるか，などを調べる．