誤字に対するTransformerベースLLMのニューロンおよびヘッドの役割調査

大規模言語モデル(LLM)は広く使われており[1]，入力に誤字が含まれている可能性もある．LLMが誤字を“修復”して，誤字を含んでいても正しい推論を行うことも多い[2]が，誤字によってLLMが“損害”を受け，間違った推論を行う場合もある[3]．実際に図1が示すよう，誤字が多い場合には，大きなモデルほど性能を維持しているものの，性能低下が発生している．このような誤字による損害を軽減するためには，誤字に対する頑健性と誤字による性能劣化の原因をより深く理解する必要がある．誤字に関する既存研究は，摂動に対する頑健性を測るデータセットの作成[3]や，頑健性を向上させるための工夫[4]が主である．誤字がどの層で修復されるかを調査した研究[5]も存在するが，単語のみを入力とし，層単位の調査のみが行われている．我々は，誤字に対する頑健性はTransformer[6]アーキテクチャの主要部分であるFeed-Forward付与した場合の精度．Network(FFN)層およびアテンション層の内部挙動によってもたらされると仮定し，検証する．具体的には，FFN層の2つの線形層の間の活性化関数の出力“ニューロン”[7]と，アテンション層の各アテンションヘッドの働きを見ていく．これらには，特定のタスク[8]や知識[9,10]，挙動[11,12]を促進するものが報告されている．これらの中で特に誤字の認識・修復を行う誤字ニューロンや誤字ヘッドを特定することを目的とする．本研究では，文脈を用いることができる環境での誤字に対する内部挙動を調査するために，単語特定タスク(§2)を用いる．Gemma