LLMを用いたペルソナ情報収集インタビューにおける人間・疑似対象者間の比較

大規模言語モデル(LLM)[2]の発展により，対話システムの活用が進んでいる．先行研究[10]では，LLMを用いたユーザシミュレータを疑似インタビュー対象者として半構造化インタビュー[6,7,29]を行う場合，システムが半構造化インタビューを効果的に実施できることが示されている．これらの研究では，ユーザシミュレータは事前に定義されたペルソナ設定に基づいて応答を生成し，想定範囲外の質問に対しては「わかりません。」と応答するように設定されている．一方で，人間のインタビュー対象者は，曖昧な表現を用いたり，複数の情報を一つの発話に含めたり，インタビュアの意図した話題から逸脱したりすることが多く，LLMの疑似インタビュー対象者と比べて応答が多様になる．したがって，人間インタビュー対象者に対するインタビューを行うことは，インタビューシステムの有効性や課題を検証するうえで有用である．本論文では，図2に示す半構造化インタビューを用いて，人間インタビュー対象者とLLMの疑似インタビュー対象者に対するインタビューを実施する．提案するシステムでは，インタビュー対象者のペルソナ属性を推定する役割を担うLLMが，対話履歴およびスロットに記録された情報に基づき，各対話ターンごとにインタビュー対象者の属性を推定する．本システムの有効性を検証するため，人間インタビュー対象者とのインタビューとLLMの疑似インタビュー対象者とのインタビューにおけるペルソナ属性推定性能と，例示を提示するfew-shotをプロンプトに導入することによるペルソナ属性推定性能を評価する(図1)．さらに，few-shotをプロンプトに取り入れた場合に結果が改善された事例に対して，事例分析を行う．本論文の貢献は以下のとおりである．1.半構造化インタビューの枠組みに基づき，本システムが人間インタビュー対象者およびLLMの疑似インタビュー対象者と対話する実験を実施し，両者のインタビューにおける本システムのペルソナ属性推定性能を明らかにした．