LLMにおけるアンカリング効果の機械論的理解と軽減

大規模言語モデル（LLM）は高度な言語処理能力を有するが，その学習データには人間の意思決定におけるアンカリング効果が埋め込まれており，LLMが人間と同様にアンカリング効果を示すことが報告されている[1]．アンカリング効果とは，何らかの判断を行う際，最初に提示された情報が基準点（アンカー）となり，最終的な判断がその値に不当に偏ってしまう認知バイアスで，交渉における価格決定などの場面で顕著に発現する[2]．交渉タスクにおけるLLMの安全性を確保するために，その発生機序の機械論的理解や軽減手法の提案が期待される．これまで，LLMにおけるアンカリング効果の研究は，数値推定タスク[3]から交渉などの対話タスク[4,5]に至るまで幅広く行われてきた．その中でHuangらは，プロンプト中の特定の単語（“higher”,“lower”,アンカーの値）が，次トークンの生成確率に大きな影響を与えることを報告したが[6]，入出力に着目した行動レベルの分析に留まっている．同Thepricefor{product}is{anchor}.売り手LLMYouwouldliketobuyitfor{target_price}買い手LLMsystempromptAnchoringHeadを抑制Thepricefor{product}is{anchor}.売り手LLMYouwouldliketobuyitfor{target_price}買い手LLMsystempromptるアンカリング効果の軽減．アンカリング効果の原因であるAnchoringHeadを抑制することで，目標価格の情報に注目させ，アンカーに引きずられることを防ぐ．研究は軽減手法として，アンカリング効果に注意して熟考するようにプロンプト内で指示するものを提案したが，効果は限定的である．このような課題に対し，AIの安全性を高めるためのアプローチとして，機械論的解釈可能性（MechanisticInterpretability）が注目されている[7,8,9]．これは，ニューラルネットワークが学習した計算メカニズムや表現を，人間が理解可能なアルゴリズムや概念へとリバースエンジニアリングする試みである．アンカリング効果についても，行動レベルの観察に留まらず，LLM内部のどのコンポーネントが計算に関与しているかを機械論的に特定することで，より確実な軽減が可能になると考えられる．一般的なLLMのアーキテクチャであるTrans-former[10]において，Feed-ForwardNetworkは学習データ内の事実知識を保存する役割を担い[11,12]，Multi-HeadAttention（以下，アテンションと呼ぶ）は文脈内で必要情報を検索しその場で適切なアルゴリズムを実現する役割を担う[13,14,15]．これを踏まThisworkispublishedwithoutpeerreviewandislicensedbytheauthor(s)underCCBY4.0(https://creativecommons.org/licenses/by/4.0/).org/licenses/by/4.0/).検出手法の概要を図2に示す．まず，あるLLMの内部状態において，特定のクエリヘッドが，アンカー価格と自身の目標価格のどちらをより強く参照しているかを測定する．対話履歴に含まれる𝑘番目の発話文を𝑆(𝑘)srcとし，売り手が提示したアンカー価格を含む文を𝑆anchor，買い手の目標価格を含む文を𝑆goalとする.層𝑙のℎ番目のヘッドにおける，𝑆(𝑘)srcからあるターゲット文𝑆targetへのアテンション重みの平均𝐴(𝑙,ℎ)(𝑆(𝑘)src→𝑆target)は次式で計算される．∑∑𝐴(𝑙,ℎ)(𝑆(𝑘)src→𝑆target)=1|𝑇src|·|𝑇target|𝑗∈𝑇target𝛼(𝑙,ℎ)𝑖,𝑗𝑖∈𝑇src(1)ここで，𝑇src,𝑇targetはそれぞれの文に含まれるトークンインデックスの集合であり，𝛼(𝑙,ℎ)𝑖,𝑗はトークン𝑖から𝑗へのアテンション重みを表す．これを用い，対話全体を通じた平均的なAttentionPreference𝑃(𝑙,ℎ)を次式で定義する．(𝐴(𝑙,ℎ)(𝑆(𝑘)src→𝑆anchor)𝐾∑𝑃(𝑙,ℎ)=1𝐾𝑘=1−𝐴(𝑙,ℎ)(𝑆(𝑘)src→𝑆goal))(2)ここで𝐾は分析対象となる対話履歴内の発話数である．𝑃(𝑙,ℎ)が正の値をとる場合，そのヘッドは買い手自身の目標価格よりもアンカー価格に強く注目していることを示唆する．次に，アンカリング効果の警告文がAttentionPreferenceに与える影響を評価する指標としてΔ𝑃(𝑙,ℎ)を導入する．同一の製品，目標価格，売り手買い手の組み合わせにおいて，警告文を与えない条件（Uninformed）と与える条件（Informed）の2つの価格交渉シミュレーションを行い，対話データを生成する．前者は節2.1におけるseller_anchor条件に，後者はseller_anchor_buyer_informed条件に該当する．𝑁組の対話データセットに対し，各ヘッドのΔ𝑃(𝑙,ℎ)を次のように定義する．(𝑃(𝑙,ℎ)uninformed,𝑛−𝑃(𝑙,ℎ)informed,𝑛)(3)𝑁∑Δ𝑃(𝑙,ℎ)=1𝑁𝑛=1ここで，𝑃uninformed,𝑛および𝑃informed,𝑛は，それぞれ警告文なし・あり条件における𝑛番目の対話データのAttentionPreferenceである．アンカリング効果の警告文がない（uninformed）状態でアンカーへの注目が高く，警告文がある（informed）状態でアンカーへの注目が低下（または目標への注目が増加）する場合，Δ𝑃(𝑙,ℎ)は正の値をとる．したがって，このスコアが高いヘッドほど，アンカリング効果に反応するヘッドであることを示唆する．最後に，LLM内の全クエリヘッドをΔ𝑃(𝑙,ℎ)で降順にソートし，上位𝑚個をAnchoringHeadとして検出する．