大規模言語モデルは人間のアンケート回答集合を模倣できるか

大規模言語モデル（LLM）が持つ自然な対話能力，大量の言語資源による事前学習にもとづく大規模な知識，「陽気な30代男性のように振る舞って」といった指示に対する高い追従性能[1,2,3,4,5,6]に着目し，これまで人間に対して行っていた様々な調査をLLMに代替する試みが複数存在する．このような取り組みはシリコンサンプリング[7]とも呼ばれており，その対象は人間社会の再現[8,9]，経済実験[10,11,12,13,14,15,16]，広告生成[17,18]，半構造化インタビュー[19,20]，世論調査[21,7,22,23,24]など多岐にわたる．本研究では，与えられた質問に対して対応する回答の選択肢を選ぶ多肢選択式のアンケートに着目し，人間に対するアンケート調査をLLMによって代替可能かを検討する．仮にLLMに対するアンケート調査から人間の同程度の精度や多様性を持つ回答が得られるのであれば，時間的1）・金銭的2）コス1）一般に調査には一ヶ月程度の期間が必要になる．2）属性やサンプルサイズなどを十分に設計した調査の実施には数十万円から数百万円の費用が必要になる．トや調査対象者への負荷の全てを大きく軽減しうる．しかし，LLMの回答が人間の（個別の回答だけでなく）回答の分布を再現できるかについては既存研究でも十分に検討されていない．本研究では，LLMに属性や性格などのペルソナ[8]を設定した仮想個人に対してアンケート調査を行い，その回答と人間の回答とを比較することで，仮想個人の回答は人間の回答とどのように類似するか（ミクロの観点）と仮想個人の回答集合は人間の回答集合とどのように類似し，どの程度カバーできるか（マクロの観点）の2つの観点で検討する．複数の実アンケート，LLMモデル，ペルソナ設定による検証の結果，（1）LLMに対するペルソナの設定は，同属性の人間の回答に近付ける効果がない，（2）仮想個人の回答集合は人間が持つ多様な回答をカバーしきれない，ことを示す．