大規模言語モデルにおける性格概念の表現位置と操作可能性

大規模言語モデルの対話エージェントとしての利用が広がり、対話スタイルや価値判断の傾向の一貫性など、人間らしい特性の扱いが重要になっている。その中でも、性格特性のように、さまざまな状況で一貫して現れる対人傾向や価値観を説明する枠組みは、対話における振る舞い方を評価・制御するうえで特に重要である。心理学では、BigFiveに代表される性格モデルとその質問紙（BigFiveInventory-2;BFI-2[1]など）がこの枠組みを提供しており、人間と対話エージェントの振る舞いを同じ性格特性の次元で比較することができる。そのため近年では、特定の人物の性格特性を模倣させたり[2,3]、LLMに性格検査を実施してその性格傾向を推定する試み[4]などが報告されている。さらに、LLM自体がモデルごとに独自の性格特性を持つことも知られている[5]。しかし、これらの先行研究の多くは応答内容といった行動レベルの観察に基づくものである。その背後で、これらの性格に関する心理学的構成概念がモデル内部のどこに、どのような形で表現されているのかはほとんど明らかになっされるような心理学的構成概念は直接観察できないため、このような質問紙への回答を通して測定する。ていない。このような概念をモデルがどのように理解し内在化しているかを解明することは、対話スタイルや価値判断の一貫性といった人間らしい特性のアライメントを、出力だけでなく内部機構のレベルから考えていくうえで不可欠である。本研究では、質問紙によって記述される性格に関する心理学的構成概念に焦点を当てる。具体的には、BFI-2の質問項目を用いて、層ごとのプロービングにより各層の内部表現から各構成概念ラベルをどの程度読み出せるかを評価し、概念情報が立ち現れる位置を調査する。次に、特定の構成概念についての記述を含む入力に対して選択的に活性するニューロンを抽出し、その層方向の分布や構成概念間での重なりの多寡を分析する。さらに、これらの分析の因果的な妥当性を検証するために、これらのニューロンの活性に介入し、プロービング精度や、入力文に対してその性格ドメインを答えさせる生成タスクの挙動を意図的に変化させられるかどうかを調べる。実験の結果、(1)性格に関する心理学的構成概念はモデルの比較的浅い層でプロービングによる分類精度が急激に向上し、その後ほぼ飽和すること、(2)概念に選択的に活性するニューロンは中間層付近に多く分布しつつ、構成概念ごとの集合の重なりが小さいこと、(3)これらのニューロンへの介入によってプロービングおよび生成応答の結果を意図した方向に変化させられることが示された。Thisworkispublishedwithoutpeerreviewandislicensedbytheauthor(s)underCCBY4.0(https://creativecommons.org/licenses/by/4.0/).org/licenses/by/4.0/).ンとして抽出する。実装上は、概念ごとにAveragePrecision上位のユニット集合𝑆(𝑐)ℓを用いる。3.3概念選択的ニューロンへの介入抽出された概念選択的ニューロンが出力に因果的に関与しているかを検証するため、推論時に当該ニューロンの活性へ介入を行う。本研究の生成タスクは、入力文に対してそのドメインを1トークンで出力させる設定であり、介入は生成の1ステップ目にのみ適用する。介入は、各ユニットの活性を分位点にクランプする方法で行う。まず、構成概念データ全体に対する各ユニット応答から、ユニットごとの分位点𝑞(𝑝)ℓ,𝑗=Quantile𝑝(sℓ,𝑗)(3)を計算する。ここで𝑝∈{0.01,0.99}とする。誘導したい概念𝑐+に対応する集合については活性を上位分位点に置換し、抑制したい概念𝑐−の集合については下位分位点に置換する。この介入により、プロービングの分類性能と生成タスクの出力傾向がどの程度変化するかを観察し、概念選択的ニューロンの因果的関与を検証する。4実験4.1実験設定データ性格に関する心理学的構成概念として、BigFiveInventory-2（BFI-2）の質問項目を用いた。全60項目からなり、各項目は5つの領域ラベルに対応する。モデル事前学習済みの指示追従が可能なモデルとして、meta-llama/Meta-Llama-3-8B-Instruct,google/gemma-7b-it,Qwen/Qwen2.5-7B-Instruct,mistralai/Mistral-7B-Instruct-v0.1の4モデルで実験を行った。一部の実験では、主要なモデルとしてmeta-llama/Meta-Llama-3-8B-Instructの結果を報告する。評価層ごとのプロービングは線形分類器により行い、データセットのサンプル数が少ないことを考慮して評価にはleave-one-out交差検証を用いた。各設定に対して全サンプルの平均正解率を報告する。4.2結果と考察4.2.1層ごとのプロービング形分類器で読み出した正解率を示す。各パネルは5ドメインと全ての結果の平均を示す。いずれのモデルでも、浅い層で正解率が急激に向上し、深さ0.2付近以降は最終層まで高い正解率が概ね維持された。この傾向はモデル間で一貫している。この結果は、ペルソナ表現が深い層で分離して現れるとする先行研究[11]とは異なる。本研究が質問紙項目という短い記述を対象とし、概念の手がかりが意味理解の段階で抽出されやすい一方、ペルソナは生成過程org/licenses/by/4.0/).の振る舞い制御に関わるため、表現位置が異なる可能性がある。4.2.2概念選択的ニューロンをモデル全体から上位1000抽出した際の層方向の分布を示す。ユニット数は第6層から第11層付近と、第16層から第19層付近に2度のピークを持つ分布を示した。前者と後者では表現の役割が異なると考えられ、詳細な調査は今後の課題である。図4に、領域間で抽出されたユニット集合の重なりをランダムな場合の期待との比較で示した。上位10%のニューロンにおいて観測された重なりをJaccard係数で示し、それをランダムな機体で割った値を報告している。全ての組み合わせでランダム期待に比べて重なりが小さく、概念選択的ユニット集合が互いに分離していることを示唆する。また、外向性は他のドメインとの重なりが多いことがわかる。4.2.3概念選択的ニューロンへの介入を示す。介入はプロービング性能が最も高かった第16層で行い、もともと正解していた入力に対して、対象概念の概念選択的ニューロン上位30%へ介入した。意図した概念への誘導は高い成功率で達成され、それ以外の概念への遷移は小さかった。これは、概念選択的ニューロンの活性が線形分離可能性に強く関与していることを示唆する。を示す。介入はモデル全体で抽出した概念選択的ニューロンの上位10%に適用され、分類用プロンプトに対して各ドメイン名トークンの出力確率を比較し、最大のものを予測として扱った。外向性では高い成功率で誘導でき、意図しない概念への遷移は比較的小さい。一方、協調性と神経症傾向では誘導は可能だが、意図しない概念への遷移も同程度に生じた。誠実性と開放性では生成への影響は相対的に小さいが、それでも一定程度は意図した誘導が見られた。5おわりに本研究は、質問紙で定義される性格に関する心理学的構成概念が、大規模言語モデルの内部で読み出し可能な形としてモデルの種類に関係なく早い層に現れ、概念選択的なニューロン群として分離して担われることを示した。さらに、これらのニューロン群への介入によって、プロービングおよび生成の出力傾向を系統的に変化させられることを示した。今後は、より幅広い心理学的構成概念に拡張し、介入が生成過程における概念理解や判断の一貫性をどのように変化させるかを明らかにしたい。org/licenses/by/4.0/).