VideoCLIPを用いた実験動画からのプロトコル生成

心理学や化学など様々な研究領域において，研究の再現性の低さが問題視されている．Bakerの調査[1]によれば，研究者約1,500人の内70％以上が他の研究者の実験結果を再現できなかった経験があると述べている．科学的研究結果を普遍的なものにするために，再現性を向上させることが求められている．研究領域の中でもとりわけ，薬品や実験器具を扱う生化学実験の再現における重要な要素のひとつとしてプロトコルが挙げられる．プロトコルとは必要な器具や薬品の名称とともに実験の手順を時系列順に記した文書であり，実験を再現する研究者はプロトコルを参照することで,実験手順や試薬の量といった実験の再現に必要な情報を得ることができる．プロトコルに記述漏れや誤りがある場合，研究者は誤った情報をもとに実験を再現することに繋がり，プロトコルを正しく記述することは実験の再現性に関わる大きな要因のひとつだと言える．このようなプロトコルの記述漏れや誤りを防ぐ手段のひとつとして，自動的なプロトコルの作成が挙げられる．人間の手を介さずにプロトコルを記述することにより，ヒューマンエラーによる記述誤りを防ぐと同時に，人手によるプロトコル作成のコストを削減することができる．本研究では自動的なプロトコル作成の一例として，視覚モデルと言語モデルを用いた，実験映像からのプロトコル生成に取り組む．本研究で提案する手法は西村らが発表したプロトコル生成手法[2]を拡張したものである．西村らは生化学実験の実験映像中に現れる試薬や実験器具の名称を言語モデルに与え，プロトコルの生成を行なっていた．しかし，加える試薬の量や実験者の動作等といった視覚情報が与えられておらず，それらの情報だけでは十分とは言えない．本研究では，実験映像から実験者の動作を推定し，映像中の試薬や実験器具に加え，動作も加味することでより多くの情報を用いたプロトコル生成に取り組んだ．その結果，言語モデルに正しい動詞を与えることでより適切なプロトコルが生成できることを確認した．