AttentionHead間の共有構造を考慮したグループ単位の介入によるLLMの迎合現象抑制

大規模言語モデル（LLM）は高い性能を示す一方，事後学習の副作用として，ユーザの誤った主張や質問に同調してしまう迎合現象が生じる．この現象の抑制手法として，モデル内部のAttentionHeadの一部に対して追加学習を行う手法が提案されているが，この手法は各Headが独立した機能単位として振る舞うという前提に基づいている．しかし，近年のLLMでは内部構造が複雑化し，複数のAttentionHeadや構成要素が情報を共有して処理を行うため，迎合に関わる機能も複数のHeadに分散して現れる．本研究では，これらのHeadを一つの機能グループとして扱い，グループ単位で迎合現象に介入する手法を提案する．評価実験の結果，提案手法は既存手法と比較して，より高い迎合抑制効果を示した．