EgoOops!データセット：手順書に従う作業の一人称視点映像への作業誤りアノテーション

本研究の目的は，手順書に従う作業の一人称視点映像を，手順書を参照しながら解析し，作業の誤りの時間区間と種類を予測することである.まず，手順書に従う5つの作業，合計50本，6.8時間の一人称視点の作業映像を撮影し，EgoOops!データセットを構築する．映像には，事前に定義した誤りの種類と，詳細な説明文を付与している．また，大規模な一人称視点映像と言語のペアで事前学習したモデルを用いて，手順認識と作業誤り分類を統合的に行う手法を提案する．手順認識で36.9，作業誤り分類で22.3のF1スコアであった．映像のみを用いた結果との比較から，手順書の参照が作業誤り分類に有効だとわかった．