行動認識の粒度アライメントに基づく予定の履行認識

キャプショニングなどを用いた状況認識により，動画内のユーザ行動を自然言語で表現することが可能になった．しかし，このように認識されたユーザー行動を事前に定義された行動予定と比較して履行判断に用いようとする場合，テキストで表現される行動の粒度が問題となる．そこで，本研究では言い換えモデルを用いてテキストで認識した動画内のユーザー行動を言い換え，行動予定に対してアライメントを取るモデルを提案する．言い換えによって生成された行動とあらかじめ定義された予定行動を自動評価手法によって比較し，履行が判断できる閾値を設定することで予定の履行を適切に評価できることを確認した．