\label{sec:introduction}科学は再現性の危機に瀕している．生化学や生命科学などの薬品を用いた化学実験を行う研究分野においては，75\%から80\%以上の研究者が他の研究者の実験結果を再現することができなかった経験があると報告している\cite{baker2016nature}．化学実験で再現性を担保する上で鍵となるのがプロトコルである．プロトコルは人がある実験を再現するために必要な操作を時系列順に記述した文書である（\figref{fig:overview}）．プロトコルには，試薬や装置などの操作対象の物体名と，対応する操作方法が動詞で，実験を再現するのに必要十分な記述がされている\footnote{自明である物体名に関しては省略されることもある．例えば，\figref{fig:overview}の手順2では手順1の成果物を指しているが，明示的に記述してはいない．}．加えて，必要であれば物体の量や，操作する時間，あるいは操作の様態が副詞で記述されていることもある．例えば，\figref{fig:overview}の手順3の``Thoroughlyresuspendpelletwith250$\mu$LofCellResuspensionSolution''では，pellet，CellResuspensionSolutionという物体名の記述があり，resuspendという操作方法が動詞で記述されている．加えて，Thoroughlyという副詞や250$\mu$Lという量に関する記述もある．こうしたプロトコルに従って実行することで，理想的には実験を再現することができるはずだが，操作に抜け漏れがあったり，操作の詳細が記述されていなかったりといった問題があると，他の研究者が実験を再現することが困難になる．こうした再現性の危機に関する問題に対する有望な解決となりうるのが，視覚と言語の融合研究である．例えば，撮影した実験映像とプロトコルの組から，映像の操作シーンとプロトコルの各手順の対応関係を推定できれば，手順ごとに視覚的に操作を確認できる．あるいは，作業映像を入力としてプロトコルを自動生成できれば研究者がプロトコルを書く負担を軽減することができる．このように，化学実験を対象とした視覚と言語の融合研究は実験プロトコルの参照時と作成時の両方の負担を軽減し，実験再現性の向上に資するであろう．こうした有用性はあるものの，実験映像を対象とした視覚と言語の融合研究の数は多くない\cite{naim2014aaai,naim2015naacl}．その原因の1つに，実験映像を撮影し公開することが困難な点にある．現に，Naimらの研究で利用しているデータセットは公開されていない．そのため，我々はこの目標に向けた第一歩として，生化学分野を対象として実験映像を収集し，言語アノテーションを付与したBioVL2データセットを構築し研究コミュニティに公開する（\figref{fig:overview}）．具体的には以下の2種類のアノテーションを作業映像に付与する．\begin{enumerate}\item\textbf{視覚と言語の対応関係のアノテーション．}プロトコルを動詞ごとに分割した文のそれぞれに対して（本論文ではこれを特に\textbf{手順}と呼ぶ），映像の中で手順が実施されている区間（以下，\textbf{イベント}と呼ぶ）を付与する．このアノテーションは従来の視覚と言語の融合研究\cite{zhou2018aaai,krishna2017iccv}と同様であり，映像キャプショニング\cite{xu2016cvpr,nishimura2021acmmm}や映像と視覚の対応関係の推定\cite{naim2014aaai,naim2015naacl}などの応用研究に活用できる．\item\textbf{プロトコル内に現れる物体の矩形アノテーション．}映像中の各フレームごとに，プロトコル中の物体が写っていて，かつ実験者の手と接触があった場合に物体の矩形情報を付与する．これにより，映像中の空間的な分析（例：何が写っているか，どういう状態か）や実験者の動作分析が可能になる．また，前述のアノテーションと合わせてプロトコル中の物体名と映像中の物体との対応関係の推定\cite{zhou2018bmvc}などの応用研究にも利用できる．\end{enumerate}これらのアノテーションの付与を行うことで，映像からのプロトコル生成や手順を入力としたシーン検索が可能となる．こうした検索が行えると，初学者に対する教育効果や作業補助が期待でき，実験の再現性の向上につながる．また，データがさらに集まるようになれば，最終的にはプロトコルからのロボット操作などのより挑戦的，かつ有用性が高い課題にも取り組むことが可能になる．本研究で提案するBioVL2データセットはこうした生化学実験を対象とした言語と視覚の融合研究への第一歩である．BioVL2データセットの収集において意識した設計は，一人称視点のカメラを用いることで，研究者への撮影の負担を最小限にしたことである．実験の度に大掛かりな撮影環境を構築していては，日々実験を行う研究者らは撮影に負担を感じ，結果データセットのサイズはスケールしない．研究者らが自ら撮影に取り組めるように，できるだけ研究者への負担が少ない設計を考える必要がある．この点で，三人称カメラは撮影の度に広範な実験空間をカバーするのに複数台の設置が必要で，故障のリスクが高くなる他，同時撮影などの手間が発生する．一人称カメラは広範な実験空間をカバーしつつも，生化学分野の研究者が手軽に撮影可能である．これが一人称カメラを用いた理由である．こうして撮影を行った結果，全32の実験映像とそのアノテーションからなるデータセットを構築した．得られたBioVL2データセットを用いて，その応用として本論文では実験映像からプロトコルを生成する課題に取り組む．実験映像の数は他の映像キャプショニングのデータセット\cite{krishna2017iccv,zhou2018aaai,xu2016cvpr}と比較すると少なく，こうした課題で提案されているEnd-to-endな深層学習モデルを本課題に直接適用することは困難である．そのため，本研究では，Ushikuら\cite{ushiku2017ijcnlp}によって提案された手順書生成モデルを活用する．このモデルは本研究と同様，少量の料理映像（20映像）に対して適用できるように外部リソースを活用しながら学習できるよう設計されている．このモデルにいくつかの改良を施し，BioVL2データセットの実験映像からプロトコル生成を生成する課題に取り組む．定量的，定性的評価の結果，モデルは弱いベースラインと比較して，適切なプロトコルを生成できることを確認する．本論文で述べるBioVL2データセットは\cite{nishimura2021iccvw}にて発表したBioVLデータセットの拡張である．具体的には，(1)映像の数を16から倍の32へ増加させたこと，(2)映像への矩形アノテーションを追加で行ったことの2点の拡張を行った．さらに，\cite{nishimura2021iccvw}では行わなかった，実験映像からプロトコルを生成する課題に取り組んだことも本研究の追加の貢献である．BioVLデータセットと同様，BioVL2データセットは研究用途に限り公開する予定である\footnote{\url{https://github.com/misogil0116/BioVL2}}．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%