立石科学技術振興財団

助成研究成果集(第31号) 2022

［ 研究助成 (A) ］

生命科学実験の実施映像からのプロトコル文生成
Protocol Generation from Life Science Experiment Videos
2201030

研究代表者

京都大学
学術情報メディアセンター

教 授

森信介

上にデータが大量にある領域に対しては，手順[研 究 の 目 的]

文書中の用語の認識 [IWPT15] (提案者の発日常生活から震災後の対応まで，人の活動を表論文の引用，以下同様) や，動画からの重要文章として記録するニーズがある。映像での記フレームの切り出し [CEA19]，動画や写真列録は比較的容易であるが，注目すべき箇所を明からのレシピ生成 [IJCNLP17] [INLG19] が示するために，あるいは検索を実現するためにある程度できている。これには，学習データを自然言語での説明文が有用である。本研究提案

大量に準備する必要があるが，本研究提案では，では，生命科学実験を対象に，その実施映像かこれらの成果を一般化・高度化し，インターら手順文 (プロトコル) を自動的に生成するこ

ネット上にデータは少ないが人間社会への影響とを目指す。

が非常に大きい生命科学に展開する。さらに，それを用いて上述の高機能アーカイブを実現する。

[研究の内容，成果]
研究内容
本研究の内容は，生命科学実験の動画に対して以下を実現することである (図 1 参照)。
(1) 同様の実験を行う他者への説明文の自動記
述：各実験映像からその実験の手順文 (プロトコル) を自動生成する手法を構築する。
この結果は，論文執筆や実験教材の作成，あるいは次項で述べる高機能アーカイブに用いることができる。

図1(2) 実験記録の高機能アーカイブ：この高機能アーカイブは，実験映像からなるが，各フ研究概要

成果概要

レームに写っている器具や試薬等の専門用

当初の予定の 1.6 倍となる 32 回の生命科学語，前後の区間で行われている動作などの実験の動画を収録した。これをデータセットと言語表現が付与されており，大量の実験映し て 公 開 す る と と も に，論 文 発 表 を 行 っ た像に対する言語による検索が可能である。

[Nishimura+CLVL21] [迫田+NLP22] [西村

調理動画とレシピのように，インターネット+NLPJ22]。また，収録した実験動画に対する― 1 ―立石科学技術振興財団

プロトコル生成の手法を提案し評価した

表1

アノテーション統計情報
合計の 平均 最大
矩形数 矩形数 矩形数[Nishimura+CLVL21] [西村+NLPJ22]。
さらに，実験動画とプロトコルを自動でアラフェノールクロロホルム法
エタノール沈殿法インメントする機能を実現し，実験動画の検索

DNA 抽出システムを実現した。これは，COVID-19 にPCR
アガロースゲル作成
ミニプレップ法

より実験動画を収録できない期間中に調理動画とレシピを対象として先行して研究・開発して

68

1.0

1130

1.0

2176
372

1.0
1.1

12627

1.2

3

おいた成果 [迫田+NLP21] を活用しており，(1) 矩形アノテーションの結果を入力としてプ

生命科学実験を対象とした場合の研究発表はロトコルを生成する課題に取り組む。この行っていない。

課題設定は，今後 QR コードなどを物体にまた，期間中の招待講演 [森 IPSJ CVIM21]

貼り，何を持っているのかが機械的に推定において，本研究の取り組みを学会参加者に周知した。以下，各部分についての成果を説明すできる状況を想定している．
(2) 文 生 成 モ デ ル に は LSTM で は な くる。

Transformer を用いる。
以上の手法を我々のデータセットに適用した結果，以下表 2 のような結果を得た。出力され生命科学実験動画のデータセット
生 命 科 学 分 野 に お け る 一 人 称 視 点 (図 2

る文には不正確・不適切なものもあるが，定量参照) の実験映像を収録し，アノテーション的な指標である BLEU や ROUGE においては，を行ってデータセットとして発表した

機械翻訳や自動要約と比べて遜色ない値であっ[Nishimura+CLVL21] [迫田+NLP22] [西村た。

+NLPJ22]。このデータセットは生命科学にお表2ける 4 種類の基本的実験に対し，それぞれ 8 動

モデル

文の自動評価尺度による評価結果

BLEU1 BLEU2 BLEU3 BLEU4 METEOR ROUGE-L

画撮影した合計 32，総時間 2.5 時間の映像からTransformer

38.1

27.2

20.0

15.5

18.8

26.2

なるデータセットである。各映像はプロトコル

Transformer+コピー機構

44.7

31.7

21.8

15.2

21.1

32.2と紐づいており，言語アノテーションとして(1) 視覚と言語の対応関係のアノテーション，実験動画の検索システム(2) プロトコル中に現れる物体の矩形アノテー

最後に，実験動画とプロトコルの自動対応

ションの 2 種類のアノテーションを付与してい(図 3 参照) を実現し，その結果を用いる検索る。統計情報は右上表 1 のとおりである。

システムを試作した。プロトコル中の各手順に対して，それを実施しているビデオの区間を同定し，手順の言語クエリに対してその実施区間

図2

実験動画イメージ

実験動画に対するプロトコル生成
少量の作業映像を対象とした手順書生成手法
として，Ushiku ら [Ushiku+2017] の手法に以下の改良を加えた手法を提案し，評価した。
― 2 ―

図3

アラインメントモデル

Tateisi Science and Technology Foundationを検索表示することが可能となった。

大会 (NLP2022) 講演論文集，E5-1，2022．
[迫 田+NLP22] 生 化 学 分 野 に お け る Video &Language データセットの構築，迫田航次郎，西村[今後の研究の方向，課題]

太一，森 信介，小野富三人，田中奈津子，言語処
理学会第 28 回年次大会 (NLP2022) 講演論文集，動画認識から言語化，検索システムまで一通り実現し，国際学会を含む研究発表を行った。
実用化に向けて，今後は各部分の精度向上が課

PT2-5，2022．
[Nishimura+ACMMM21] State-aware Video ProceduralCaptioning,

Taichi

Nishimura,

Atsushi

Hashimoto, Yoshitaka Ushiku, Hirotaka Kameko,

題である。そのためには，データ量の拡充に加Shinsuke Mori, In proc. of ACM Multimedia, 2021.

えて，実験器具に QR コードを貼ることで物体[Nishimura+CLVL21] Egocentric Biochemical Video-

認識の精度を向上させるなどの実験に支障がなく効果が高いと考えられる施策を考案・実験し，効果を測定していくことが肝要であろう。また，
動画検索システムに対してユーザー評価を行いインターフェースの改善を行うことも重要である。

and-Language Dataset, Taichi Nishimura, Kojiro
Sakoda, Atsushi Hashimoto, Yoshitaka Ushiku,
Natsuko Tanaka, Fumihito Ono, Hirotaka Kameko,
Shinsuke Mori, In proc. of CLVL (ICCV workshop),2021.
[森 IPSJ CVIM21] 手順実施動画からの手順書生成，
森 信介，コンピュータビジョンとイメージメディ
ア研究会，2021．(招待講演)[迫田+NLP21] 手順構造を考慮した手順書からの作業画像検索，迫田航次郎，西村太一，森 信介，言[成果の発表，論文等]

語処理学会第２７回年次大会，2021．

[西村+NLPJ22] (査読中) BioVL2 データセット：生[西村+NLP21] 手順構造を考慮した作業映像からの化学分野における一人称視点の実験映像への言語ア

手順書生成，西村太一，橋本敦史，牛久祥孝，亀甲ノテーション，西村太一，迫田航次郎，牛久 敦，博 貴，森 信 介，言 語 処 理 学 会 第 27 回 年 次 大 会，橋本敦史，奥田奈津子，小野富三人，亀甲博貴，森2021．
[Ushiku+2017] Procedural Text Generation from an信介，自然言語処理．
[西村+NLP22] 映像からのストーリー生成：イベン

Execution

Video,Atsushi

Ushiku,Hayatoト選択器と文生成器の同時学習，西村太一，橋本敦

Hashimoto, Atsushi Hashimoto, Shinsuke Mori,史，牛久祥孝，森 信介，言語処理学会第 28 回年次

IJCNLP, 2017.

― 3 ―