料理タスクにおける将来イベントのクロスモーダル説明文生成
神原元就 †杉浦孔明 †† 慶應義塾大学
E-mail: motonari.k714@keio.jp
1 はじめに
日常生活において，エージェントが近未来に起こりうるイベントを予測し説明できることは有用性が高い．
例えば日常生活の介助では，エージェントへの指示に対し，動作中の危険を予測し自然言語を用いてユーザへフィードバックすることで，衝突等の危険なイベントの回避を促せる．一方で，このタスクを行う能力は十分ではない．なぜなら，このタスクは，イベントの自然言語による説明だけでなく現在までのイベントから将来のイベントを推論することも求められる点で，困図1難なためである．

RFCM の概要図．

本論文では，時刻 t までのクリップを基に時刻 t+1ダである．提案手法は RSA エンコーダによって，過去のイベントについての説明文を生成するタスクである，のイベントとの関係性を適切に考慮した将来のイベン

Future captioning タスク [Hosseinzadeh 21] を扱う．特ト表現を獲得できる．なぜなら RSA は，既存の注意に，料理タスクにおける Future captioning タスクを機構よりも効果的に，過去のイベントのうちどのイベ扱う．

ントに注目すればよいかを学習できるためである．まこのタスクは，モデルは将来のクリップを利用するた，transformer デコーダは過去のイベントの関係性かことができないという点で難しい．そのため，過去イら，適切に将来イベントのキャプションを生成できる．

ベントを用いた将来イベントの予測，及びキャプション

transformer デコーダは，RSA エンコーダの出力をクの生成という 2 つの要素が求められる．実際，4 章で示エリとし，transformer エンコーダの出力をキー，及びすように，動画キャプション生成タスクのためのモデバリューとする source-target 注意機構を持つ．これにルを適用した場合，正解文と生成文の品質には大きなよって，過去のイベント間の関係性を自然言語に適切差が見られる．に接地できる．
本研究の独自性は以下である．

これは，既存手法では，イベントの視覚特徴系列と文の関係のモデル化が不十分であるためである．それ• Future captioning タスクのためのクロスモーダル

らの手法における transformer の自己注意では，イベントの即時的な視覚特徴と文の間の関係がモデル化され言語生成モデル，RFCM を提案する．
• RSA エンコーダの導入により，既存の自己注意機ている。また，多くの動画キャプション生成モデルは、構に比べ，より効果的にイベント間の関係性を抽

次時刻以降のキャプションを用いて次時刻のキャプショ出できる．

ンを行うモデルもあるため Future captioning タスクには不適切である．

2

問題設定

Future captioning タスクが含まれるキャプション生成分野には多くの研究がある [Wang 18,Krishna 17,Lei

本論文では Future captioning タスクを扱う．Future20,Kambara 21,Magassouba 21]．このタスクにおけるcaptioning タスクでは時刻 t までのクリップから時刻代表的な手法として [Hossain 19,Mori 21,Mahmud 21]

t + 1 におけるクリップの説明文を生成することを目的が挙げられる．とする． 図 1 に本タスクの典型例を示す．本タスクで提案手法は 3 つのモジュールから構成され，それぞは，図 1 に示したように，時刻 t までのクリップから時れ Relational Self-Attention (RSA [Kim 21]) エンコー

刻 t + 1 での状況を推論し説明文を出力することが望ま

ダ, transformer エンコーダ, および transformer デコー

しい． 本タスクにおいて，モデルへの入力は時刻 t ま

でのクリップであり，出力は時刻 t + 1 に起きる出来事

最終的に RSA φ ∈ Rdrsa を以下のようにして得る．

についての説明文である．ここで，本稿ではクリップをイベントを描写したフレーム系列と定義する．本稿

φ = (φp + φh )⊤ Φg .

では，他タスクでの事前学習は許可されていないもの

RSA φ は入力イベント間の関係性についての情報を含とする．これは，本研究は知識転移を目的としたもの

む．φ を時刻 t における潜在特徴量として用いるため,ではないためである．

zt を φ によって置き換える. これにより，中間特徴量
hr = {zt−k ; ...; zt−1 ; φ; zt+1 } ∈ R(k+2)×drsa を獲得す

3 提案手法る. 各層の出力 hnr (nr = 1, ..., Nr ) は hr をフィード

ネットワークの構造を図 2 に示す．図において，Normはレイヤ正規化 (layer normalization, LN) 層を表す．
ネットワーク入力は以下で表される，時刻 t-k から時刻t までの動画クリップとする．
ネットワーク入力 x は x = {xt−k , ..., xt }, で定義される．ここで，xt ∈ Rdin 及び k ∈ N はそれぞれ時刻 tにおけるクリップ及び時刻 t 以前のクリップ数を表す．

x を基に，Zt−k:t+1 ∈ R(k+2)×din を以下の式により獲得する．

及び LN 層を用いて変換することで得る. エンコーダの出力 hrsa ∈ R(k+2)×drsa は hrsa = fLN (fFFN (hNr )) により得られる．ここで，fFFN (·) 及び fLN (·) はそれぞれFFN 及び LN 層を表す.
損失関数 L は以下で定義される．

L = λce LCE (yt+1 , p(ŷt+1 )) + λiwp Liwp (yt+1,1 , p(ŷt+1,1 ))+ λcorr Lcorr + λmse LMSE (xt+1 , zt+1 ),ここで，LMSE (·, ·) 及び LCE (·, ·) はそれぞれ平均二乗{zτ =fz (xτ ) (τ > t)

誤差関数及び交差エントロピー誤差関数を表す．また，

fz (xτ , xt ) (τ ≤ t),λce , λcorr , λmse 及び λiwp はハイパーパラメータである．Lcorr は ŷt+1 が時刻 t よりも早い，または遅い時刻

Zt−k:t+1 = {zt−k ; ...; zt+1 },ここで，τ = t − k, ..., t + 1, fz (·) は線形変換を表す.

Zt−k:t+1 はイベント系列に関する情報を含む.
3.1

フォワードネットワーク (feedforward network, FFN)のイベントについて述べている場合にペナルティを科∗す．Liwp は生成文の 1 単語目，yt+1,1が適切でない場合にペナルティを科す. これは Liwp (yt+1,1 , p(ŷt+1,1 )) =RSA エンコーダ

γiwp LCE (yt+1,1 , p(ŷt+1,1 )) のように定義される．ここRSA エンコーダは Relational Self-Attention [Kimで，γiwp = 1/W である.

21] を利用した構造を持ち，イベント間の関係性を抽出する．RSA エンコーダは Nr 層の RSA 層から構成され4 実験

る．第一層目では，Zt−k:t+1 に対して [Vaswani 17] と同様の手順で，三角関数を用いた位置埋め込みを行う．
その後，クエリ Qr ∈ R
及びバリュー Vr ∈ Rdrsa

4.1

実験設定

,データセットとして，YouCook2-FC データセットをを以下のようにして獲利用した．YouCook2-FC データセットは Future cap-, キー Kr ∈ R(k+2)×drsa(k+2)×drsa

tioning タスクのためのデータセットの一つである．一得する．

般的に，料理において，次の調理手順はそれまでの手順

Q r = zt ,により決定される．本研究では YouCook2 データセッ

Kr = Vr = Zt−k:t+1 ,ト [Zhou 18] に基づき YouCook2-FC データセットを構

ここで，drsa は各層の次元数を表す. 続いて，basic ker-nel φp ∈ Rk+2 及び relational kernel φh ∈ Rk+2 を以下のようにして得る．

築した．訓練，検証，及びテスト集合のサイズはそれ
ぞれ 7435, 1569, 3035 とした．
以下にデータセットの事前処理における手順を示した．YouCook2-FC データセットにおいて，与えられた開始，及び終了時刻に基づきクリップを切り出した．各

φp = Wp Qr ,Qr′ = {Qr ; ...; Qr } ∈ R(k+2)×drsa,

φh = Wh fﬂatten (Qr′ ⊙ Kr ),クリップは，それぞれ 0.6 に変換された．その後，[Ging20] に示された手順により処理を行った．
実験設定は以下とした．最適化関数，学習率，バッ

ここで，fﬂatten (·) はベクトル化を表す. 続いて，rela-チサイズ，及びエポック数はそれぞれ Adam (β1 : 0.9,tional context Φg ∈ R

β2 : 0.999), 1.0e-4, 16, 及び 25 とした．各モジュール(k+2)×drsaを以下のようにして得る．

において，Ne , denc , Nh , Nd , ddec , Nr , 及び drsa はそΦg = Vr + Wg Vr⊤ Vr .

れぞれ，3, 384, 12, 3, 384, 2, 及び 384 とした． 損失関数において，λce , λiwp , λcorr ，及び λmse はそれぞれ

図2
表1

RFCM のネットワーク図.

各手法による生成文の評価結果

Methods

BLEU4↑METEOR↑

ROUGE-L↑

CIDEr-D↑

MART [Lei 20]6.85±0.18

14.24±0.07

30.80±0.2120.86±1.07Ours (w/o RSA)

6.70±0.36

14.14±0.50

30.18±0.18

21.26±2.83

Ours (w/o Transformer Decoder)

6.68±0.13

14.09±0.15

30.16±0.31

19.75±1.41

Ours (RFCM)

7.03±0.15

14.53±0.09

30.49±0.2121.32±1.09

30, 1.0, 0.1, 0.005, 及び 10 とした．Liwp において，nth回以上出現した単語を扱った．ここで，nth = 30 とした．また，W は 3000 とした．RFCM の訓練可能パラメータ数及び積和演算数はそれぞれ 3.1M 及び 540M であった．
訓練は 16GB メモリ搭載 NVIDIA Tesla V100 SXM2,240 GB RAM, 及び Intel Xeon Gold 6148 プロセッサを用いて行われた．YouCook2-FC における訓練時間はそれぞれ 6.2 時間であった．同様に，推論時間はそれぞ

図3

4.3

YouCook2-FC データセットにおける成功例.

定性的結果

図 3 に定性的結果を示した．各図において，上段はイ

れ 1.7 × 10−2 s/サンプルであった．early stopping のベントを示す．各イベントは時系列順に示されている．

条件として，[Prechelt 98] に示される generalization を紙面の都合上いくつかのイベントについて省略した．ま

用いた．

4.2

定量的結果

た，下段は正解文及び各手法による生成文を示す.
図 3 に YouCook2-FC データセットにおける成功例

RFCM 及び Memory-Augmented Recurrent Trans-を示した．図において，“rub ﬂour” 及び “coat withformer (MART [Lei 20]) について比較を行った．MARTbreadcrumbs” という 2 つのイベントが起きた．ベース

は transformer を用いた動画キャプション生成タスクにライン手法は “breadcrumbs” について言及しなかった．

おける代表的な手法の一つであり，Future captioning

そのため，生成文は不足していた．一方で，提案手法タスクへの適用も可能であったことからベースライン

は “coat the chicken with ﬂour and bread crumbs” と手法とした．表 1 に YouCook2-FC データセットにお適切に記述した．以上の結果から，提案手法は次時刻ける定量的結果を示した．各手法につき実験を 5 回行の調理ステップを適切に予測し，キャプションを生成い，表にはその平均値及び標準偏差を示した．

できたといえる．

生成文の評価は，動画キャプション生成タスクにおける標準尺度である BLEU4, ROUGE-L [Lin 04], ME-TEOR [Banerjee 05], 及び CIDEr-D [Vedantam 15] により行った．主要尺度は CIDEr-D とした．
表より，CIDEr-D が 0.46 ポイント向上した．また，

BLEU4 及び METEOR もそれぞれ 0.18 ポイント及び0.29 ポイント向上した．この結果より，Future captioning タスクにおいて RFCM はベースライン手法よりも適切な文生成が可能であることがわかった．

4.4

Ablation study

各モジュールについて ablation study を行った．表1 に定量的結果を示した．どのモジュールが最も性能向上に寄与しているかを調査するため，ablation 条件を以下の 2 条件とした．(a) w/o RSA: RSA エンコーダ
において，RSA 層の代わりに MHA 層 [Vaswani 17] を用いた．(b) w/o transformer decoder: transformer デコーダを取り除いた．
提案手法と条件 (a) 及び (b) を比較すると，CIDEr-Dはそれぞれ 0.06 及び 1.57 ポイント低下した．これより，

transformer デコーダが最も性能向上に寄与していることがわかった．

[Lin 04] Lin, C.-Y.: ROUGE: A package for automatic evaluation of summaries, in Text summarization branches out, pp. 74–81 (2004)

5 結論[Magassouba 21] Magassouba, A., et al.: Predicting
and attending to damaging collisions for placing ev-

本稿では，将来イベントについての説明文を生成するタスクの一つである，Future captioning タスクを扱った．特に，料理タスクにおける Future captioning タス
クを扱った．

eryday objects in photo-realistic simulations, Advanced Robotics, Vol. 35, No. 12, pp. 1–13 (2021)[Mahmud 21] Mahmud, T., Billah, M., et al.: Prediction and Description of Near-Future Activities in

本稿の主要な貢献は以下である．

Video, CVIU, Vol. 210, p. 103230 (2021)• 将来イベントについての説明文を生成可能なクロ[Mori 21] Mori, Y., et al.: Image Captioning in Near

スモーダル言語生成モデル， RFCM を提案した．
• RSA エンコーダの導入により，効果的にイベント

Future from Vehicle Camera Images and Motion In-間の関係性を抽出できる．
• RFCM は YouCook2-FC データセットにおいて[Prechelt 98] Prechelt, L.: Automatic early stopping

ベースライン手法を上回った．

formation, in IEEE IV, pp. 1378–1384 (2021)
using cross validation:

quantifying the criteria,

Neural Networks, Vol. 11, No. 4, pp. 761–767 (1998)[Vaswani 17] Vaswani, A., et al.: Attention Is All You

謝辞
本研究の一部は，JSPS 科研費 20H04269，JST CREST，
NEDO の助成を受けて実施されたものである．

Need, in NeurIPS, pp. 5998–6008 (2017)[Vedantam 15] Vedantam,R.,

etal.:

CIDEr:

Consensus-based Image Description Evaluation, in

参考文献

CVPR, pp. 4566–4575 (2015)[Wang 18] Wang, X., et al.: Video Captioning via Hi-[Banerjee 05] Banerjee, S., et al.: METEOR: An Automatic Metric for MT Evaluation with Improved
Correlation with Human Judgments, in the ACL

erarchical Reinforcement Learning, in CVPR, pp.
4213–4222 (2018)[Zhou 18] Zhou, L., Xu, C., and Corso, J.: Towards

Workshop on IEEM for MTS, pp. 65–72 (2005)

Automatic Learning of Procedures From Web In-[Ging 20] Ging, S., et al.: COOT: Cooperative Hier-structional Videos, in AAAI, pp. 7590–7598 (2018)archical Transformer for Video-Text Representation
Learning, in NeurIPS, pp. 22605–22618 (2020)[Hossain 19] Hossain, Z., Sohel, F., et al.: A Comprehensive Survey of Deep Learning for Image Captioning, ACM CSUR, Vol. 51, No. 6, pp. 1–36 (2019)[Hosseinzadeh 21] Hosseinzadeh, M. and Wang, Y.:
Video Captioning of Future Frames, in WACV, pp.
980–989 (2021)[Kambara 21] Kambara, M. and Sugiura, K.: CaseRelation Transformer:

A Crossmodal Language

Generation Model for Fetching Instructions, IEEE
RA-L, Vol. 6, No. 4, pp. 8371–8378 (2021)[Kim 21] Kim, M., Kwon, H., Wang, C., et al.: Relational Self-Attention: What’s Missing in Attention
for Video Understanding, in NeurIPS (2021)[Krishna 17] Krishna, R., et al.: Dense-Captioning
Events in Videos, in CVPR, pp. 706–715 (2017)[Lei 20] Lei, J., et al.: MART: Memory-Augmented
Recurrent Transformer for Coherent Video Paragraph Captioning, in ACL, pp. 2603–2614 (2020)