LLMへのペルソナ付与による社会調査の再現は代替データ収集手法として期待されるが、その頑健性は十分に検証されていない。本研究では、プロンプティングと回答分布の抽出手法の組み合わせが、モデルやデータに対して頑健に機能するかを包括的に検証した。その結果、対象属性の平均的な回答を直接指示し、構造化テキストで出力させる手法が、モデルの違いに対して最も頑健であることが確認された。一方で、調査内容の異なるデータ間では手法の効果に一貫性が見られず、また、LLMへの入力言語を対象データの言語に合わせることの効果は限定的であることが示唆された。

大規模言語モデル(LargeLanguageModel;LLM)は、指示に従ってタスクを遂行するだけではなく、文脈内で与えられたペルソナに沿った出力を生成できることから、特定の属性を持つ人間に代えて、LLMから意見や感情、行動に関わる出力を得る研究が多分野にわたって行われている[1,2,3]。その中でも、LLMによって社会調査の結果を再現させる研究は、大規模なデータ収集を代替しうるという社会科学的な側面、そして、LLMが人間の価値観と整合した出力をできるかを検証するという工学的な側面から近年多く取り組まれている[4,5]。しかし、プロンプトによって属性情報をLLMに与えることで、実際の社会調査と近い結果が得られるかを調査する研究では、先行研究の一部の設定のみを採用していることが多い。表1に主な既存研究での実験設定を示す。多種の社会調査を用いる研究であっても、実験言語が英語でのものが主であり#LMはLLMのシリーズ数を表す。分布抽出手法とプロンプトの略記については3.1節を参照。既存研究#LM分布プロンデータ入力言語抽出プトセット数Meisterら[6]3L/VO3英語Huら[7]7VS201）英語Liuら[8]5VO1英/西/中/日/韓/独/露/越/葡Durmusら[9]1LO