大規模言語モデルにおけるペルソナの役割と内部動作の理解

大規模言語モデル[1,2,3,4]の著しい性能向上に伴い,ペルソナを用いてモデルをキャラクター[5]のように振る舞わせ,エージェント[6,7]として活用する手法が提案されている.一方で,モデルがペルソナとして振る舞う能力には限界があることを示唆する研究も多い[8,9,10].ここで先行研究では,モデル自身が特定の人種的傾向を反映するバイアスを持つことや[11],多言語モデルの内部に軸となる言語が存在する[12,13]ことが報告されている.このようなモデルに内在する軸となるペルソナが,ペルソナを適切に理解し一貫して振る舞うことを妨げている可能性があるが,これを探るためにはモデルの内部表現を分析する必要がある.我々は「ペルソナを付与してもモデルは表層的に∗は主著を表す赤・青はそれぞれ高・低い出力確率を示す.「あなたは（左）アメリカ人／（右）日本人です.あなたの国の国番号はです.,answer:」と英語で尋ねた結果を示す.しか振る舞わず,軸となる考えは一貫している」と仮説を立てる.この仮説を検証するために,本研究では先行研究[12]を発展させた分析を行う.この研究では「英語で主に学習されたLLaMA[14]は英語を中心として考えている」ことが報告された.本研究ではこれを発展させ,ペルソナを付与されたモデルが,その内部で一貫してペルソナと一致した表現を保持しているかを分析する.具体的には,ペルソナの有無でモデル内部の挙動がどのように変わるか分析できるようなデータセットを作成する.分析は.Transformer[15]の各層が持つ中間表現を可視化するLogitLens[16]を用いる.データセットは,GPT-4[17]を使用して,より顕著にペルソナの比較ができるように文中の空白を埋める問題や国特有の常識(例:あなたの国の大統領は？)を問う問題を,問題の多様性の観点をも考慮して[18]それぞれ200件ずつ作成した.モデルは,訓練言語の違いによる影響を検証するために複数のモデルを用いた.加えて,モデル構築段階で得られた複数のチェックポイントを用いて,学習過程での変化も分析する.我々は,ペルソナを付与されたモデルの内部表現から出力までの一貫性を定量的に測る評価尺度を提案し,その尺度を用いて評価を行う.提案した評価尺度を用いた結果から,ペルソナを付与されたモデルは,そうでない場合よりも内部表現と出力が一貫していることがわかった.一方でモデル構築過程での一貫性の変化を分析した結果からは,内部表現の一貫性は学習途中では高止まりすることを発見し,既存の学習方法では内部表現の一貫性向上に限界があることがわかった.さらに,ペルソナを付与されたモデルは,ペルソナに応じた出力を最終層付近で形成しており,表面的な振る舞いを行うことが分かった.以上の結果から,ペルソナを付与された大規模言語モデルは本音(内部表現)と建前(出力)をペルソナに応じて使い分けていることが示された.