ユーザシミュレータを用いた対話システムのデバッグ支援に向けた対話評価指標の設計

対話システムのデバッグでは，多様なユーザとの対話データから問題を発見する必要がある．LLMを利用したユーザシミュレータの活用により，対話データを容易に生成できるようになった反面，分析にかかる負担は依然として課題である．本研究では，従来の対話評価指標では捉えにくいシステムの問題を明示的に評価可能な指標の提案を行う．指標の設計では，ユーザシミュレータとの対話で発生するシステムの問題を既存のエラー類型に基づき明確化し，対話評価指標として新たに定義した．対話評価指標の有効性検証では，LLMを用いた自動評価を行い，人手で付与した発話エラーを含む発話を検出可能であることを確認した．