LLMによる社会調査再現手法のモデル・データに対する頑健性の検証

大規模言語モデル(LargeLanguageModel;LLM)は、指示に従ってタスクを遂行するだけではなく、文脈内で与えられたペルソナに沿った出力を生成できることから、特定の属性を持つ人間に代えて、LLMから意見や感情、行動に関わる出力を得る研究が多分野にわたって行われている[1,2,3]。その中でも、LLMによって社会調査の結果を再現させる研究は、大規模なデータ収集を代替しうるという社会科学的な側面、そして、LLMが人間の価値観と整合した出力をできるかを検証するという工学的な側面から近年多く取り組まれている[4,5]。しかし、プロンプトによって属性情報をLLMに与えることで、実際の社会調査と近い結果が得られるかを調査する研究では、先行研究の一部の設定のみを採用していることが多い。表1に主な既存研究での実験設定を示す。多種の社会調査を用いる研究であっても、実験言語が英語でのものが主であり#LMはLLMのシリーズ数を表す。分布抽出手法とプロンプトの略記については3.1節を参照。既存研究#LM分布プロンデータ入力言語抽出プトセット数Meisterら[6]3L/VO3英語Huら[7]7VS201）英語Liuら[8]5VO1英/西/中/日/韓/独/露/越/葡Durmusら[9]1LO