大規模言語モデルの分布予測における常識に基づいた割合予測能力の評価

ある質問とその選択肢に対する人々の回答割合，すなわち回答分布は，単一の回答結果と比較して，複雑な人間社会を多面的に捉えるための有用な指標である．回答分布を用いることで，選択肢間の相対的な違いを詳細に分析できる利点がある（図1）．従来，回答分布はアンケート調査やインタビューなどの労力・コストを要する手段によって収集されてきた．しかし，近年のLLMの進展により，テキストデータから回答傾向を推定するアプローチが注目を集めている．例えば，質問をLLMに入力した時の各選択に対する出力の確率や，複数回の出力の分析により，人間の集団における回答傾向をある程度模倣できることが示されている[1,2,3]．また，適切な入力情報を付与することで，LLMが回答分布予測の精度を向上させる可能性も報告されている[1,3,4]．このような手法は，安価かつスケーラブルな方法で回答分布を推定する手段として期待される．休日といえば？大統領の政策に？この商品欲しい？欲しい微妙賛成反対ドラマ映画アニメ自体が分析に有用な場合がある．ただし，LLMが事前学習段階で「ある質問に対する回答が何割を占めるか」という割合の情報を体系的に学習しているとは考えにくい．そのため、割合に関する数値的予測が事前学習で獲得された知識に基づく合理的なものなのか，単にプロンプトへの表層的な応答[5]に過ぎないのかは依然として不明瞭である．また，真の回答分布自体，厳密な測定は困難である[6]場合も多いために事後的な検証も難しく，LLMによる予測が信頼に足るかを判断するための客観的な基準が必要である．もしLLMの予測が再現性や合理性を欠くものであれば，社会的判断の支援ツールとして利用する際に重大なリスクを伴う．以上を踏まえ，本研究ではLLMが割合を予測する能力が合理的なものかを評価する新たな枠組みを提案する．この枠組みでは，実際のアンケートデータの分布割合を入れ替えた「反直感的な擬似分布」を用い，LLMがその説明を受けてもなお合理的な分布推定として予測値を適切に調整できるかを検証する．この検証によって，LLMによる分布の割合の予測が，単に「プロンプトに対する表面的な応答」なのか，それとも「事前学習で獲得した常識や背景知識を活用した合理的推論」なのかを示す．.