大規模言語モデルの分布予測における常識に基づいた割合予測能力の評価

近年，大規模言語モデル（LLM）を用いた回答分布予測が注目されているが，割合に関する数値的予測に合理性があるかは明らかではない．本研究では，実際のアンケートデータの分布割合を入れ替えた「常識的には不自然な擬似分布」を用いて，LLMがその説明を受けても合理的な分布推定を行えるかを検証した．その結果，説明に単に追従する能力と，常識に基づいて割合を予測する能力が異なることが明らかとなった．また，分布の性質を十分に理解していない予測における不合理性も確認された．この結果は，LLMの分布予測能力を評価する際に，常識的な推論能力だけでなく，与えられた指示への追従性能も考慮すべきであることを示唆している．