視覚情報を用いたタスク指向型対話における人間の応答に対する間違い指摘の検討

視覚を持つ対話システムが実世界応用される際,対話相手である人間のミスが原因でタスクが失敗する場合があり，システムには失敗を避けるために人間を支援することが求められる．そこで本研究では，視覚情報を用いたタスク指向型対話の一つであるGuessWhat?!での人間を支援する方法として，人間の応答ミスを指摘するという問題設定を新たに考える．人間が応答に間違えたデータの収集・分析を行い，間違い指摘モデルの正確性向上への有効的な学習方法と入力の検証を行った．実験の結果から，人工的なデータセットによる事前学習と，応答時刻・質問タイプを加えるという二つが間違い指摘の正確性向上に部分的に寄与する事が分かった．1）