大規模言語モデルにおけるペルソナの役割と内部動作の理解

大規模言語モデルが特定のペルソナ（人格）として振る舞うとき,モデルはどの程度“本心から”ペルソナという仮面を被っているのだろうか.本研究では,表層的には指示されたペルソナとして振る舞えているモデルが,その内部では異なる思考をしているという仮説を立て,モデルの内部表現から出力までの思考の一貫性を検証する.訓練データ・チェックポイントが異なる複数のモデルについて,内部表現一貫性評価のために我々が提案した新たな尺度で評価した結果,ペルソナを付与することでモデルの内部表現の一貫性が向上する事がわかった.一方で,モデル構築過程での内部表現の一貫性向上には限界があることも示され,より出力と内部表現が一貫したモデルを作る方策の必要性が示唆された.