人間同士の対話を対象とする確信度を考慮したLLM性格推定

本論文では，LLMを用いた性格推定における課題に着目し，一部の対話データには正確な推定に必要な十分な情報が含まれていないことを示す．自己申告による性格特性と第三者によって知覚された性格特性との間に乖離が存在することが報告されていることを踏まえ，本論文では，推定結果の信頼性を評価する指標として確信度推定を導入する．実験結果から，人手による確信度が高いほど，LLMによる性格特性推定の精度が向上することが示された．さらに，CNNモデルによって学習された確信度指標を用いてLLMの推定結果を補正することで，外向性，神経症傾向，および全性格特性を通した全体性能において性能向上が観測された．