実インタラクション映像から構築したマルチモーダルモデルを用いた人とロボットのインタラクションにおける異常検出

本研究では，人とロボットのインタラクションにおいて生じる異常を自動で検出するモデルを構築することを目的とし，データセットの作成および異常検出モデルの構築を行った．具体的には，人とロボットのインタラクションに問題が生じた際に人間が介入する複数人同時対話の枠組みにおいて収集されたインタラクション映像に対して，正常か異常かを人手でアノテーションすることでデータセットを作成した．そして，作成したデータセットを用いて分類モデルを学習することで異常検出モデルを構築した．さらに，複数人同時対話の枠組みを検証する実証実験を実施し，モデルの検出結果をアラートとして提示することがオペレータの介入に有用であることを確認した．