人間同士の対話を対象とする確信度を考慮したLLM性格推定

個人の性格は，対象の行動や言動，本人でも気付かないような長期的なキャリア，対人関係の考え方に大きな影響を及ぼすため，パーソナリティに関する研究は分野を問わず長く行われてきている．一方近年のLLMの発展に伴い，LLMを用いて性格の推定を行う研究も行われており，CoTを用いるものや，複数LLMとの対話を用いたものなど多くの研究が存在している．一方LLMによる性格推定に用いられるコーパスや，心理学の分野における性格算出方法である質問表に関する研究において，本人により申告された性格と，他者から見た性格に隔たりがあることが報告されている．そのため本論文では性格推定において，対象となるデータ内に存在する情報のみでは，推定することが困難な対象が存在すると考え，アンサンブル学習に着想を得た，推定における確信度という指標を導入する．これにより性格推定に用いるのに十分な対象と，不十分な対象を分けることができ，結果として性格推定を実用的に用いることができるようになることが期待される．本論文における貢献をまとめると以下の通りとなる•2名の参加者による対話を参照し，複数の人手アノテータによって性格特性推定を行うことで，性格特性推定の難易度が対話ごとに異なることを示し，推定が容易な対象および困難な対象が存在することを明らかにした．•以下の2つの方法により，推定確信度を考慮した性格特性推定の概念を導入した．–(i)人手によって性格特性が正しく推定された対話，および(ii)人手による性格特性推定の一致が得られた対話に対して、LLMによる性格特性推定を行った．(i)では十分に高い精度(約0.80以上)を達成し，(ii)においても、ランダムベースラインより(有意ではないものの)高い精度を達成した．–さらに，(iii)LLM同士の性格特性推定の一致が得られた対話に対してもLLMによる性格特性推定を行い，BigFiveの5特性のうち2特性において，単一モデルの中で最も性能の高いベースラインと比較して、統計的に有意な性能向上を達成した．