視覚情報を用いたタスク指向型対話における人間の応答に対する間違い指摘の検討

近年，テキスト情報だけでなく，視覚情報も考慮してチャット形式の対話行うタスクであるVisualDialogueの研究が盛んである[1–4]．特に，GuessWhat?![2]（図1）は二人で協力して行うゲームとなっており，一方(Oracle)が参照している画像内の物体(以下，正解物体)を，もう一方(Questioner)が質問応答を繰り返すことにより推測するという，タスク指向型対話になっている．GuessWhat?!を始めとして，現状の多くの視覚情報を用いた対話タスクでは，一方の質問に対するもう一方の応答は，質問への応答として常に正しい事が前提になっている[4–7]．しかし，現実の対話では，Oracle側を担当する人間やモデルが間違えた回答をしてしまう場合も考慮する必要がある．そこで，本研究ではQuestionerを対話エージェン1）本論文の内容は2023年の情報処理学会第85回全国大会で発表した内容と同一の内容を一部含みます．QuestionerOracle1.Isitadonut?YesYes