実インタラクション映像から構築したマルチモーダルモデルを用いた人とロボットのインタラクションにおける異常検出

対話システムの進展に伴い，マルチモーダルなインタラクションが可能なロボットが，雑談や実店舗での商品販促など，様々に活用されている[1,2]．しかし，対話ロボットのインタラクション性能は未だ完全ではなく，しばしば，対話破綻[3,4]を起こす．そうした中で，人間が対話システムと協力することで効率的な対話サービスを目指す取り組みとして，複数人同時対話の枠組みが提案されている[5,6,7,8]．この枠組みは，人間のオペレータが複数の対話システムの対話を監視し，問題が生じた際にのみ対話に介入することで，複数人に対話サービスを提供するものである．複数人同時対話の枠組みでは，オペレータは対話の様子を注意深く監視し，対話に問題が生じていないか判断する必要がある実インタラクション映像を⽤いたデータセット作成実インタラクション映像異常検出データセットラベル実インタラクション映像インタラクションラベルのアノテーション異常正常データセットを⽤いたモデル構築異常検出モデル構築したモデルを使⽤実証実験実インタラクション映像⼊⼒異常検出モデル⾔語破綻検出モデル対話履歴異常の場合アラートを表⽰が，これには高い認知的負荷がかかる．そのため，対話中に生じる種々の問題を自動で検出しオペレータにアラートとして提示することで，オペレータの介入判断を補助する手法が強く望まれている．対話破綻を自動で検出する取り組みとして，テキストベースの対話システムにおいて，BERT[9]などのテキスト分類モデルを用いた破綻検出の研究が進められてきた[10,11]．さらに，複数人同時対話の枠組みに，対話破綻検出技術を導入した先行研究も存在する[6,12]．しかし，これらの手法はいずれも言語的な破綻を検出するものであり，人とロボットとのインタラクションにおける重要な要素である，動画や音声などのマルチモーダル情報は利用されていない．なお，マルチモーダル情報を用いた破綻検出の取り組みとして，坪倉ら[13]による手法が挙げられるが，使用している情報はユーザの表情のみと限定的である．本研究では，人とロボットとのインタラクション中に生じた異常を検出し，オペレータにアラートを提示することを目的とする．図1に本研究のアプ.ローチを示す．まず，実際の人とロボットとのインタラクション映像を用いてデータセットを作成する．その後，作成したデータセットを用いて分類モデルを学習することで異常検出モデルを構築し，複数人同時対話の実証実験により，アラートの提示がオペレータの介入に有用であるか検証する．