誤字に対するTransformerベースLLMのニューロンおよびヘッドの役割調査

本論文では，FFN層のニューロンや，アテンション層のアテンションヘッドが誤字を認識・修復しているという仮説を立て，誤字を含む文が入力されたときに活発に働く，誤字ニューロンおよび誤字ヘッドを特定する．我々の実験結果から以下のことが判明した．1)初期層と中間層前半に誤字の認識と修復を行うニューロンが存在し，中間層前半にあるニューロンが誤字の修復の中核である．2)広く文脈情報を捉えるヘッドが誤字の修復に貢献している．3)誤字ヘッドの中には，単語の意味的な繋がりを認識するヘッドが存在した．