視覚を持つ対話システムが実世界応用される際,対話相手である人間のミスが原因でタスクが失敗する場合があり，システムには失敗を避けるために人間を支援することが求められる．そこで本研究では，視覚情報を用いたタスク指向型対話の一つであるGuessWhat?!での人間を支援する方法として，人間の応答ミスを指摘するという問題設定を新たに考える．人間が応答に間違えたデータの収集・分析を行い，間違い指摘モデルの正確性向上への有効的な学習方法と入力の検証を行った．実験の結果から，人工的なデータセットによる事前学習と，応答時刻・質問タイプを加えるという二つが間違い指摘の正確性向上に部分的に寄与する事が分かった．1）

近年，テキスト情報だけでなく，視覚情報も考慮してチャット形式の対話行うタスクであるVisualDialogueの研究が盛んである[1–4]．特に，GuessWhat?![2]（図1）は二人で協力して行うゲームとなっており，一方(Oracle)が参照している画像内の物体(以下，正解物体)を，もう一方(Questioner)が質問応答を繰り返すことにより推測するという，タスク指向型対話になっている．GuessWhat?!を始めとして，現状の多くの視覚情報を用いた対話タスクでは，一方の質問に対するもう一方の応答は，質問への応答として常に正しい事が前提になっている[4–7]．しかし，現実の対話では，Oracle側を担当する人間やモデルが間違えた回答をしてしまう場合も考慮する必要がある．そこで，本研究ではQuestionerを対話エージェン1）本論文の内容は2023年の情報処理学会第85回全国大会で発表した内容と同一の内容を一部含みます．QuestionerOracle1.Isitadonut?YesYes