VideoCLIPを用いた実験動画からのプロトコル生成

本研究では，研究における再現性向上の目的の下，生化学分野における一人称視点の実験映像からの，実験手順を表すプロトコルの自動生成に取り組んだ．プロトコルの生成において，フレームに映っている物体の名称に加え，VideoCLIPにより推定した実験者の動作を動詞として利用することで，物体の名称のみを用いた場合よりも多くの情報を用いたプロトコル生成を行なった．その結果，正しい動詞を利用することでより適切なプロトコルを生成することができた．