AttentionHead間の共有構造を考慮したグループ単位の介入によるLLMの迎合現象抑制

近年，大規模言語モデル（LLM）は高度な能力を有している．これらのモデルは大規模な事前学習によって一般的な言語知識を獲得した後，ユーザとの円滑な対話を行うためにInstructionTuning[1]やRLHF[2]といった事後学習を行う．これらの学習過程により，LLMはユーザとの円滑な対話が可能になり，多様な応用場面での利用が進んでいる[3,4,5].一方で，事後学習によって獲得される性質の中には，信頼性や安全性に悪影響を及ぼす挙動が含まれることが指摘されている[6,7]．その例の一つがSycophancy（迎合現象）である．迎合現象とは，モデルが正しい知識を保持しているにもかかわらず，ユーザの誤った主張や質問に対して不適切に同意し，正しい回答から逸脱した誤った応答を生成する現象である[7,8,9]．この現象はモデルの知識不足ではなく，事後学習においてユーザに寄り添う応答や対話が過度に最適化される結果として生じる[7]．そのため，ユーザの発言が事実と異なっていても，それを否定せずに肯定する傾向が意図せず強化される[10]．このような現象は，専門的な知識が求められる医療相談や公平性が重視されるファクトチェックのような場面では，モデルがユーザに誤った情報を提供することで利用者の意思決定に悪影響を及ぼす恐れがある[11]．したがって，LLMの一般的な能力を維持しつつ，迎合現象を抑制することが必要である．迎合現象を抑制する既存手法として，モデル内部のAttentionHead単位で迎合現象への寄与を分析し，寄与の高い部分のみに追加学習を行う手法がある[12]．この手法では，各Headが独立した機能を行うという仮定に基づいている．しかし，近年のLLMではGroupedQueryAttention（GQA）構造などが導入され，複数のHeadがパラメータを共有して処理を行う[13]．このような共有構造では，迎合現象に関わる影響が特定のHeadに集中せず，共有パラメータを通じて複数のHeadに分散する傾向がある．実際に，3.1節の基礎分析では，迎合への寄与はHead単位では分散しており，同一Layer内で共有するHeadのグループ単位で影響が集中することが確認された．この結果は，Head単位で介入を行う既存手法では，迎合に関わる機能を十分に修正できず，抑制効果が不安定になる．Thisworkispublishedwithoutpeerreviewandislicensedbytheauthor(s)underCCBY4.0(https://creativecommons.org/licenses/by/4.0/).org/licenses/by/4.0/).SycophancyGeneralAbilityTruthfulnessStrategyQAGSM8KHumanEvalModels(Ratio:4%)Acc.ΔAcc.ΔAcc.ΔAcc.ΔLlama-3-8B[17]49.76-56.51-77.33-57.71-+SPT71.51+21.7560.92+4.4154.28-23.0554.48-3.23+提案手法76.84+27.0859.30+2.7948.22-29.1152.68-5.03Qwen-2.5-7B[18]86.70-73.41-87.49-70.73-+SPT81.03-5.6770.70-2.7187.26-0.2374.39+3.66+提案手法82.99-3.7172.45-0.9687.72+0.2374.44+3.71Mistral-v0.3-7B[16]61.29-66.03-49.20-39.02-+SPT77.23+15.9463.49-2.5424.18-25.0232.93-6.09+提案手法82.09+20.8065.37-0.6628.13-21.0732.94-6.08る複数のHeadに分散して現れると考えられる．3.1節の基礎分析においても，迎合現象の寄与は一部のLayer内の広範なHeadに分布しており，迎合現象に関わる機能がグループ単位の役割として保持されている可能性が示唆された．そこで本研究では，共有関係にある複数のHeadを，一つの機能的役割を担うグループとして定義し，グループ単位で迎合現象に介入する．この方法により，迎合寄与が複数のHeadに分散する場合であっても，安定した抑制が可能となる．モデル全体のAttentionHead数を𝑁a，Key/ValueHead数を𝑁kvとすると，一つのグループに含まれるHead数𝐻gは次式で与えられる．𝐻g=𝑁a𝑁kv(1)同一のKey/Valueを共有する𝐻g個のHeadの集合をグループとして扱い，迎合現象抑制の対象とする．次に，定義したHeadグループが迎合現象に与える影響を定量化するため，PathPatchingをグループ単位に拡張して適用する．迎合現象が発生する入力𝑥に対し，グループ𝑔の出力を，迎合現象が発生しない入力における理想的な出力¯𝑔に差し替え，最終出力の変化を算出する．グループ𝑔の迎合現象への寄与度𝐼(𝑔)は次式で定義する．𝐼(𝑔)=𝑆(𝑦|𝑥,𝑔←¯𝑔)−𝑆(𝑦|𝑥)𝑆(𝑦|𝑥)(2)上記の式は，あるHeadグループを迎合しない状態に変更した時に，迎合スコアがどれだけ減少するかの変化率を表す．ここで𝑆(𝑦|𝑥)は元の入力に対する迎合スコア，𝑆(𝑦|𝑥,𝑔←¯𝑔)はグループ𝑔の出力を差し替えた際の迎合スコアである．𝐼(𝑔)の負の値が大きいほど，そのグループが迎合的な出力に強く寄与していることを示す．本手法では，全グループの𝐼(𝑔)を算出し，値が小さい上位𝐾個のグループを追加学習の対象として選択する．最後に，PathPatchingにより選択したHeadグループに追加学習を行う．学習データには，モデルの正答に対してユーザが誤った反論を行う対話例を用いて，モデルが迎合せずに元の回答を維持しつつ正確な応答ができるように教師あり学習を行う．4評価実験提案手法の有効性を確認するために，既存手法と提案手法のそれぞれを用いて迎合抑制を適用した後の言語モデルの挙動を比較する．各手法における迎合抑制と一般性能への影響を考慮した上で比較することで，実用に耐えうる手法であるかを検証する．4.1実験設定評価ベンチマークとして，迎合現象の抑制を評価するためにSycophancyEval[7]を使用する．これは，ユーザが事実に反する主張や前提を含めて質問した際，モデルがその誤りに同調せず，正しい回答を維持できるかを評価する．本研究ではその正答率をTruthfulnessとして用いる．モデルの一般性能を確認するために，複数の推論ステップを必要として論理的思考力を問うStrategyQA[19]，数学能力を測るGSM8K[20]，およびPythonコード生成能力を評価するHumanEval[21]を用いる．評価対象の言語モデルとして，3.1節の基礎分析において迎合寄与の分散が確認されたLlama-3およびQwen-2.5，Mistral-v0.3を用いる．追加学習の対象数は，先行研究において迎合抑制と一般性能の維持が両立することが示された知見に基づき，モデル全org/licenses/by/4.0/).体のHeadの約4%相当とする[12]．提案手法および比較手法はいずれも同一の学習設定で追加学習を行い，ハイパーパラメータはSPT[12]に従った．4.2結果・考察制効果を示す傾向が確認できる．この結果は，グループ単位で介入を行う提案手法が特定のモデル構造に依存せず，迎合の寄与が分散するモデルに対しても一貫して有効であることを示唆している．一方で，一般性能の維持という観点では課題が残る．GSM8KやHumanEvalにおいて追加学習後の性能は元のモデルに比べて一定の低下が確認された．ただし，提案手法はその低下をSPTと同程度に抑えている．以上の結果から，迎合現象の抑制と一般性能の維持の両立は難しく，提案手法の課題である．次に，一般性能と迎合抑制の関係を詳細に理解するため，追加学習の対象割合を2%，4%，8%に変化させた際の影響を分析する．図2は，追加学習するAttentionHeadの割合を変化させた場合の推移を示しており，迎合抑制と一般性能の間に生じるトレードオフの傾向が確認できる．図2(a)より，割合を増加させるにつれてTruthfulnessが向上する傾向がある．しかし，一般性能では追加学習の対象が増えるほど性能が低下する傾向が確認された．この低下の程度はモデルごとに異なり，特にQwen-2.5においてはその傾向が顕著である．8%の更新でStrategyQAとHumanEvalなどのスコアが大幅に低下しており，追加学習の割合を増加させた際に，影響を強く受けやすいモデルであることが示唆される．以上の結果から，提案手法は迎合現象の抑制において，SPTよりもモデルの構造に依存せずに安定した汎用性の高い手法である．しかし一方で，一般性能の維持はモデルの種類などによって変化するため，安定して維持することが難しい．このことから，迎合現象の抑制と一般性能の完全な両立は依然として難しく，本手法においても今後の課題として残る．5おわりに本研究では，迎合現象への寄与が分散しやすい内部構造を持つLLMにおいて，AttentionHead間の共有構造に着目し，複数のHeadをグループとして扱う迎合抑制手法を提案した．評価実験の結果，提案手法は先行研究と比較して高い迎合抑制効果を示し，複雑化したモデル構造に対しても有効であることを確認した．今後の課題として，迎合抑制と一般性能のさらなる両立が挙げられる．具体的には，グループ内に含まれる各AttentionHeadの役割をより詳細に分析し，一般性能への影響を最小化する介入方法へと拡張する必要がある．org/licenses/by/4.0/).