本研究の目的は，手順書に従う作業の一人称視点映像を，手順書を参照しながら解析し，作業の誤りの時間区間と種類を予測することである.まず，手順書に従う5つの作業，合計50本，6.8時間の一人称視点の作業映像を撮影し，EgoOops!データセットを構築する．映像には，事前に定義した誤りの種類と，詳細な説明文を付与している．また，大規模な一人称視点映像と言語のペアで事前学習したモデルを用いて，手順認識と作業誤り分類を統合的に行う手法を提案する．手順認識で36.9，作業誤り分類で22.3のF1スコアであった．映像のみを用いた結果との比較から，手順書の参照が作業誤り分類に有効だとわかった．

料理や組み立てなどの手順書に従う作業において，動作の誤りや物体の取り違えなどの作業の誤りが起こる．そうした誤りにより，作業の質が低下したり危険が増したりする．対策としては，よく起こる誤りを特定して作業者を教育したり，誤りの発生を警告したりすることが挙げられる．こうした対策には多くの人員を要するので，作業の様子を撮影して自動で誤りを検出することが望ましい．既存研究では，映像からの作業誤りの検出を目的として，撮影した作業映像の誤りをアノテーションしたデータセットが構築されてきた[1,2,3,4,5]．これらの映像からの誤り検出には，動作認識[1,2,3,6]や映像異常検知[4]の手法が用いられてきた．ここで，従来のデータセットの撮影では，手順を厳密には定めないことが多かったため[1,2,3,5]，手順書を参照するモデルは実現されていない．本研究の目的は，一人称視点の作業映像を手順書も参照しながら解析し，手順から逸脱する作業の誤りの時間区間と種類を予測することである．まず，多様な領域に渡る5つの作業を手順書に従って実施し，合計50本，6.8時間の一人称視点の作業映像を収集し，EgoOops!データセットを構築する（図1）．手順区間，手順ラベル，事前に定義した6種類の作業誤りのラベル，誤りの詳細な説明文を映像に付与しており，作業誤りを検出するモデルの学習と評価に利用できる．また，大規模な一人称視点映像と言語のペアで事前学習したエンコーダによって，作業映像と手順書を埋め込み，手順の認識と作業誤りの分類を統合的に行う手法を提案する．EgoOops!データセットを用いて評価実験を行う．手順区間の特定において，動作区間検出の最高性能のモデルのmAPは52.24であった．提案手法による手順認識のF1スコアが36.9，作業誤り分類のF1スコアが22.3であった．作業誤りの分類で映像のみを用いるとF1スコアが大きく低下したため，手順書の参照が有効だといえる．