ニューロン経験勾配によるモデル出力の制御と言語知識表現の統合

事前学習済み言語モデル(PLM)は，大規模学習により高い言語生成能力を有する一方，誤った知識を生成する幻覚[1]の問題が深刻であり，モデルの内部機序を理解することが重要となっている．既存研究[2,3,4,5]．では，知識や言語スキルとモデルのパラメタとの関係をニューロンへの介入実験により調査し，Transformer[6]におけるFeedForward(FF)層のニューロンが知識の記憶領域として機能することや，特定の事実知識[7,8,9]や言語スキル[10,11]に対応する“knowledge/skillneuron”が存在することを明らかにした．しかし，これらの研究はニューロンの役割を定性的に評価するのみで[12,10,13,14,11]，ニューロンがモデル出力にもたらす定量的な影響については明らかになっていない．そこで本研究ではまず，事実知識の評価データセットMyriadLAMA[15]を用いて，PLMに対するニューロン単位の介入実験を行い，ニューロンの活性値を変化させた際に正解の知識に対応するトークンの確率（以下「出力確率」）がどのように変化す!"#$%&'()&*$+,$-&'&.$)/$!!"#$"!"#$%()*+,3456!""#$%&'()'#*"+(&',&'()*$#%!!!"#$%&'!"#$"%$"&"'()#)()*+,$-./0102/!!!"#$#%#$%65()*+,-./01789:;!"#$%$&'()*+,-./012!"&'()*+,-./012345&'()*(%(+""#(,"-)./(!!"!"#$$%&'()*&%+)*,')$%#!""#るLM出力の線形制御性の発見．(ii)経験勾配を効率的に計算する手法NeurGradの提案．(iii)新たに構築したMCEval8Kデータセットに基づくSkillneuronprobingによる，経験勾配が多様な言語スキルを捉えることの確認．るかを分析した．その結果，一定範囲内でニューロン活性値の変化量が出力確率と線形関係を示すことを確認した（以降，この線形関係から得られる勾配をニューロン経験勾配と呼ぶ）．ニューロン経験勾配の計算には介入実験による高い計算コストが必要となるため，本研究では経験勾配に基づく分析を促進すべく，経験勾配の効率的な推定手法NeurGradを提案する．複数のPLMを用いて真の経験勾配と比較した結果，NeurGradはベースライン手法[7]を効率性・精度の両面で上回ることを確認した．最後に，NeurGradを活用したskillneuronprob-ing[10]により，ニューロン経験勾配が言語知識を捉えているかを検証する．具体的に，多様な言語スキルを含むデータセットを基に多肢選択形式のベンチマーク(MCEval8K)を新たに構築して，NeurGradによって計算した経験勾配に基づく分類器を学習・評価し，各タスクにおけるskillneuronが，分類器の構築に有益な情報を提供することを示した（図1）．.