LLMによる社会調査再現手法のモデル・データに対する頑健性の検証

LLMへのペルソナ付与による社会調査の再現は代替データ収集手法として期待されるが、その頑健性は十分に検証されていない。本研究では、プロンプティングと回答分布の抽出手法の組み合わせが、モデルやデータに対して頑健に機能するかを包括的に検証した。その結果、対象属性の平均的な回答を直接指示し、構造化テキストで出力させる手法が、モデルの違いに対して最も頑健であることが確認された。一方で、調査内容の異なるデータ間では手法の効果に一貫性が見られず、また、LLMへの入力言語を対象データの言語に合わせることの効果は限定的であることが示唆された。