日常タスクにおける将来イベントのクロスモーダル説明文生成
Relational Future Captioning Model for Daily Tasks
神原 元就 ∗1

杉浦 孔明 ∗1

Motonari Kambara

Komei Sugiura∗1

慶應義塾大学

Keio University

In this paper, our aim is to generate a caption about a future event. We propose the Relational Future Captioning
Model (RFCM), a crossmodal language generation model for the future captioning task. The RFCM has theRelational Self-Attention Encoder to extract the relationships between events more eﬀectively than the conventional
self-attention in transformers. We conducted comparison experiments, and the results show the RFCM outperforms
a baseline method on two datasets.

1.

はじめに

日常タスクを支援するため，ユーザと自然にコミュニケー
ションができる生活支援ロボット (Domestic Srevice Robot,
DSRs) の実用化は要支援者にとって有望な解決策の一つである．DSRs にとって，日常タスクの支援における安全性及び，利便性は重要である．日常タスクにおいて，動作実行前にタス
クの実行に伴う危険性を予測し，ユーザに判断を仰ぐ能力はこの安全性，及び利便性を高める．例えば，物体を配置する際，他の物と衝突した場合，連鎖的に衝突が起こり物体が破損する危険性がある．そうした危険性について DSRs が事前に予測し，自然言語により注意喚起できることは重要である．一方で，この能力は未だに不十分である．
本論文では，時刻 t までのクリップを基に時刻 t+1 のイベントについての説明文を生成するタスクである，Future captioning
タスク [Hosseinzadeh 21] を扱う．特に，日常生活におけるFuture captioning タスクを扱う．ここで，DSR がペットボト
ルを棚に置く際に「ハンドがマグカップに接触することで，マグカップがその隣りにあるグラスに更に接触し，グラスが倒れる危険性があります」のような文を動作実行前にユーザに提示することが望ましい．
このタスクは，モデルは将来のクリップを利用することができないという点で難しい．そのため，過去イベントを用いた将来イベントの予測，及びキャプションの生成という 2 つの要素が求められる．実際，4 章で示すように，動画キャプション生
成タスクのためのモデルを適用した場合，正解文と生成文の品
質には大きな差が見られる．
これは，既存手法では，イベントの視覚特徴系列と文の関係のモデル化が不十分であるためである．それらの手法におけるtransformer の自己注意では，イベントの即時的な視覚特徴と文の間の関係がモデル化されている。また，多くの動画キャプション生成モデルは、次時刻以降のキャプションを用いて次時刻のキャプションを行うモデルもあるため Future captioning
タスクには不適切である．
Future captioning タスクが含まれるキャプション生成分野には多くの研究がある [Wang 18, Krishna 17, Lei 20, Kambara
21, Magassouba 21]．このタスクにおける代表的な手法として [Hosseinzadeh 21, Mori 21, Mahmud 21] が挙げられる．

図 1:
RFCM の概要図．
提案手法は過去のイベント及び将来のイベントの関係性を適切に考慮したキャプションを生成できる．なぜなら，提案手法
は，イベント間の関係性から適切な将来イベントのキャプショ
ンを生成するための source-target 注意機構を導入する．この機構では，過去のクリップに由来する特徴量を source，キャプション及びクリップに由来する特徴量を target とする．
提案手法は 3 つのモジュールから構成され，それぞれ Relational Self-Attention (RSA [Kim 21]) エンコーダ, transformer エンコーダ, および transformer デコーダである．提案手法は RSA エンコーダによって，過去のイベントとの関係性を適切に考慮した将来のイベント表現を獲得できる．な
ぜなら RSA は，既存の注意機構よりも効果的に，過去のイベントのうちどのイベントに注目すればよいかを学習できるためである．また，transformer デコーダは過去のイベントの関係性から，適切に将来イベントのキャプションを生成できる．
transformer デコーダは，RSA エンコーダの出力をクエリとし，transformer エンコーダの出力をキー，及びバリューとする source-target 注意機構を持つ．これによって，過去のイベント間の関係性を自然言語に適切に接地できる．
本研究の独自性は以下である．
• Future captioning タスクのためのクロスモーダル言語生
成モデル，RFCM を提案する．

• RSA エンコーダの導入により，既存の自己注意機構に比べ，より効果的にイベント間の関係性を抽出できる．

2.

問題設定

本論文では Future captioning タスクを扱う．Future captioning タスクでは時刻 t までのクリップから時刻 t + 1 におけ連絡先: 神原元就，慶應義塾大学，神奈川県横浜市港北区日吉3-14-1，motonari.k714@keio.jp

1

RSA φ は入力イベント間の関係性についての情報を含む．
φ を時刻 t における潜在特徴量として用いるため, zt を
φ によって置き換える. これにより，中間特徴量 hr ={zt−k ; ...; zt−1 ; φ; zt+1 } ∈ R(k+2)×drsa を獲得する. 各層の出力 hnr (nr = 1, ..., Nr ) は hr をフィードフォワードネット
ワーク (feedforward network, FFN) 及び LN 層を用いて変換することで得る. エンコーダの出力 hrsa ∈ R(k+2)×drsa は
hrsa = fLN (fFFN (hNr )) により得られる．ここで，fFFN (·) 及び fLN (·) はそれぞれ FFN 及び LN 層を表す.

図 2: RFCM のネットワーク図.
るクリップの説明文を生成することを目的とする． 図 1 に本タスクの典型例を示す．本タスクでは，図 1 に示したように，
時刻 t までのクリップから時刻 t + 1 での状況を推論し説明文を出力することが望ましい． 本タスクにおいて，モデルへの入力は時刻 t までのクリップであり，出力は時刻 t + 1 に起きる出来事についての説明文である．ここで，本稿ではクリップをイベントを描写したフレーム系列と定義する．本稿では，他タスクでの事前学習は許可されていないものとする．これは，本研究は知識転移を目的としたものではないためである．

3.

3.2

提案手法

ネットワークの構造を図 2 に示す．図において，Norm はレイヤ正規化 (layer normalization, LN) 層を表す．ネットワー
ク入力は以下で表される，時刻 t-k から時刻 t までの動画ク
リップとする．
ネットワーク入力 x は x = {xt−k , ..., xt }, で定義される．
ここで，xt ∈ Rdin 及び k ∈ N はそれぞれ時刻 t におけるクリップ及び時刻 t 以前のクリップ数を表す．
x を基に，Zt−k:t+1 ∈ R(k+2)×din を以下の式により獲得
する．
{

zτ =

fz (xτ ) (τ > t)fz (xτ , xt ) (τ ≤ t),

Zt−k:t+1 = {zt−k ; ...; zt+1 },ここで，τ = t − k, ..., t + 1, fz (·) は線形変換を表す. Zt−k:t+1
はイベント系列に関する情報を含む.

3.1

Transformer エンコーダ／デコーダ

transformer エンコーダは Ne 層のエンコーダ層からなる. 各層は Masked Multi-Head Attention (MMHA), Multi-Head
Attention (MHA), 及び FFN 層から構成される.
エンコーダへの入力は hc = {Zt−k:t+1 ; T } ∈ R(k+I+2)×din
で表される．ここで，I は文の最大長を表す. 訓練において,
T ∈ RI×din は時刻 t + 1 における正解文, yt+1 を BERT 埋め込み器 [Devlin 19] により埋め込んだテキスト特徴量を表す. また，推論において j 番目の単語生成時, T は生成単語列ŷt+1,1:j−1 を埋め込んだテキスト特徴量を表す．
第 ne + 1 層への入力を hne (ne = 0, ..., Ne − 1) と表す.
また，h0 = hc である. MMHA 層において, クエリ Qe ∈R(k+I+2)×de , キー Ke ∈ R(k+I+2)×de , 及びバリュー Ve ∈(e)
R(k+I+2)×de (de = denc /Nh ) はそれぞれ Qe = Wq hne ,(e)(e)
Ke = Wk hne , 及び Ve = Wv hne (e = 1, ..., Nh ) のようにして得られる． ここで，Nh 及び denc はそれぞれアテンショ
ンヘッドの数及び各層の次元数を表す．訓練において, MMHA層では, m 番目以降の単語トークンがマスクされる．これは，エンコーダが m 番目以降の単語トークンを用いて m 番目の単語トークンを生成することを防ぐためである (teacher forcing).
注意 AMMHA ∈ R(k+I+2)×denc を Qe , Ke , and Ve を用いて獲得するため，[Vaswani 17] に示された計算を行う.
その後，MHA 層において, 注意 AMHA が MMHA 層における計算と同様の計算で得られる．ここで，henc , Qe , Ke , 及びVe はそれぞれ AMMHA , Qe′ , Ke′ , 及び Ve′ により置き換える.
第 ne + 1 層のエンコーダ層の出力, hne +1 ∈ R(k+I+2)×denc ,は hne +1 = fLN (fFFN (AMHA )) により得られる. エンコーダの出力は hNe である.
transformer デコーダは hrsa 及び hNe を入力とする. このモジュールは Nd 層のデコーダ層から構成される. 各層の構造は transformer エンコーダにおける MHA 及び FFN 層から構成されたものである. 一方で，クエリを hrsa を基に作成し，キー及びバリューを hNe を基に作成するという違いがある．transformer デコーダからは hNd ∈ R(k+I+2)×ddec が得られる．ここで，ddec は各層の次元数を示す．
最終的に，生成文における j 単語目の予測確率 p(ŷt+1,j ) ∈RNv を p(ŷt+1,j ) = softmax(fgen (hNd )) により得る．ここで，Nv は辞書サイズを表す．また，fgen (·) は全結合層，GELU 関
数，LN 層，そして全結合層の順に適用する計算を表す．
損失関数 L は以下で定義される．
L = λce LCE (yt+1 , p(ŷt+1 )) + λiwp Liwp (yt+1,1 , p(ŷt+1,1 ))RSA エンコーダ

RSA エンコーダは Relational Self-Attention [Kim 21] を利用した構造を持ち，イベント間の関係性を抽出する．RSA
エンコーダは Nr 層の RSA 層から構成される．第一層目では，
Zt−k:t+1 に対して [Vaswani 17] と同様の手順で，三角関数を用いた位置埋め込みを行う．
その後，クエリ Qr ∈ Rdrsa , キー Kr ∈ R(k+2)×drsa , 及びバリュー Vr ∈ R(k+2)×drsa を以下のようにして獲得する．
Q r = zt ,Kr = Vr = Zt−k:t+1 ,ここで，drsa は各層の次元数を表す. 続いて，basic kernel
φp ∈ Rk+2 及び relational kernel φh ∈ Rk+2 を以下のようにして得る．
φp = Wp Qr ,Qr′ = {Qr ; ...; Qr } ∈ R(k+2)×drsa ,+ λcorr Lcorr + λmse LMSE (xt+1 , zt+1 ),φh = Wh fﬂatten (Qr′ ⊙ Kr ),ここで，LMSE (·, ·) 及び LCE (·, ·) はそれぞれ平均二乗誤差関数及び交差エントロピー誤差関数を表す．また，λce , λcorr ,λmse 及び λiwp はハイパーパラメータである．Lcorr は ŷt+1
が時刻 t よりも早い，または遅い時刻のイベントについて述
べている場合にペナルティを科す．Liwp は生成文の 1 単語∗
目，yt+1,1が適切でない場合にペナルティを科す. これはここで，fﬂatten (·) はベクトル化を表す. 続いて，relational
context Φg ∈ R(k+2)×drsa を以下のようにして得る．
Φg = Vr + Wg Vr⊤ Vr .
最終的に RSA φ ∈ Rdrsa を以下のようにして得る．
φ = (φp + φh )⊤ Φg .

2

Liwp (yt+1,1 , p(ŷt+1,1 )) = γiwp LCE (yt+1,1 , p(ŷt+1,1 )) のように定義される．ここで，γiwp = 1/W である.

4.

実験

4.1

データセット

われた．YouCook2-FC 及び BILA-caption データセットにおける訓練時間はそれぞれ 6.2 時間及び 1.6 × 10−1 時間であった．同様に，推論時間はそれぞれ 1.7 × 10−2 及び 4.9 × 10−2s/サンプルであった．early stopping の条件として，[Prechelt
98] に示される generalization を用いた．

データセットとして，YouCook2-FC，及び BILA-caption
データセットを利用した．
YouCook2-FC データセットは Future captioning タスクのためのデータセットの一つである．一般的に，料理において，次の調理手順はそれまでの手順により決定される．本研究ではYouCook2 データセット [Zhou 18] に基づき YouCook2-FC
データセットを構築した．訓練，検証，及びテスト集合のサイズはそれぞれ 7435, 1569, 3035 とした．
BILA-caption データセットは物体配置において起こりうる衝突についての Future captioning モデルを評価するため，新たに収集したデータセットである．図 1 に例を示す．データセットを構築するため，WRS2018 パートナーロボットチャレ
ンジ／バーチャルスペースコンペティションにおいて使用された SIGVerse[Inamura+ 13] を拡張したものを使用した．シ
ミュレーションでは，生活支援ロボットがランダムに選択されたボトルや缶などの日用品を 5 種類の机や棚などの家具の中央に配置する．生活支援ロボットのヘッドカメラから撮影した映像を収集した．それぞれのサンプルには the apple rolled
over because the rabbit ﬁgure next to it was pushed by the
robot のようなロボットによる配置の結果起きた状況を説明した文を付与した．データセットは 1000 本の動画および，衝突イベントに対して付与された英語の説明文 1000 文からなる．
動画の合計時間および平均時間はそれぞれ 2.2 時間および 8 秒である．各動画について，アノテータによって文が一つずつ付与されている．語彙サイズは 245 語である．訓練，検証，及びテスト集合のサイズはそれぞれ 800, 100, 100 とした．

4.2

4.3

定量的結果

RFCM 及び Memory-Augmented Recurrent Transformer(MART [Lei 20]) について比較を行った．MART は transformer を用いた動画キャプション生成タスクにおける代表的な手法の一つであり，Future captioning タスクへの適用も可能であったことからベースライン手法とした．表 1 に YouCook2FC 及び BILA-caption データセットにおける定量的結果を示した．各手法につき実験を 5 回行い，表にはその平均値及び標準偏差を示した．
生成文の評価は，動画キャプション生成タスクにおける標準尺度である BLEU4, ROUGE-L [Lin 04], METEOR [Banerjee05], 及び CIDEr-D [Vedantam 15] により行った．主要尺度
は CIDEr-D とした．
まず YouCook2-FC データセットにおいて比較した．表より，CIDEr-D が 0.46 ポイント向上した．また，BLEU4 及び
METEOR もそれぞれ 0.18 ポイント及び 0.29 ポイント向上
した．
続いて，BILA-caption データセットにおいて比較した．表より，CIDEr-D は 12.28 ポイントと大幅に向上した．また，全ての評価尺度においてスコアが向上した．これらの結果より，
Future captioning タスクにおいて RFCM はベースライン手法よりも適切な文生成が可能であることがわかった．

4.4

定性的結果

図 3-4 に YouCook2-FC 及び BILA-caption データセット
における定性的結果を示した．各図において，上段はイベントを示す．各イベントは時系列順に示されている．紙面の都合上いくつかのイベントについて省略した．また，下段は正解文及び各種法による生成文を示す.
図 3 に YouCook2-FC データセットにおける成功例を示した．
図において，“rub ﬂour” 及び “coat with breadcrumbs” という
2 つのイベントが起きた．ベースライン手法は “breadcrumbs”
について言及しなかった．そのため，生成文は不足していた．
一方で，提案手法は “coat the chicken with ﬂour and breadcrumbs” と適切に記述した．以上の結果から，提案手法は次
時刻の調理ステップを適切に予測し，キャプションを生成できたといえる．
同様に，図 4 に BILA-caption データセットにおける成功例を示した．図において，把持されている物体は “the whitebottle”，衝突する物体は “the camera” である．ベースライン手法は衝突する物体について “a black teapot” と誤って記述した． 一方で，提案手法ではそれぞれ “a white jar,” および “the camera” と適切に記述した．以上より，提案手法では動画に出現する物体についての特徴を適切に表現できることが
わかった．

実験設定

以下にデータセットの事前処理における手順を示した．
YouCook2-FC データセットにおいて，与えられた開始，及び終了時刻に基づきクリップを切り出した．BILA-caption デー
タセットにおいて，開始時刻は DSR のアームが動き出した時刻とした．また，終了時刻は，開始時刻から 4 秒後，あるいは衝突イベントの発生のうちいずれかが満たされた時刻とした．
各クリップは，YouCook2-FC 及び BILA-caption データ
セットにおいて，それぞれ 0.6 及び 8fps に変換された．その後，YouCook2-FC データセットについては，[Ging 20] に示された手順により処理を行った．BILA-caption データセット
については，Howto100m データセット [Miech 19] で事前訓練済みの S3D [Miech 20] により 512 次元の特徴量とした後，全結合層によって 384 次元の特徴量とした．
実験設定は以下とした．最適化関数，学習率，バッチサイ
ズ，及びエポック数はそれぞれ Adam (β1 : 0.9, β2 : 0.999),
1.0e-4, 16, 及び 25 とした．各モジュールにおいて，Ne , denc ,Nh , Nd , ddec , Nr , 及び drsa はそれぞれ，3, 384, 12, 3, 384, 2,
及び 384 とした． 損失関数において，λce , λiwp , λcorr ，及びλmse はそれぞれ 30, 1.0, 0.1, 0.005, 及び 10 とした．Liwp において，nth 回以上出現した単語を扱った．ここで，nth = 30とした．また，YouCook2 及び BILA-caption データセットにおける W はそれぞれ，3000 及び 1000 とした．RFCM の訓練
可能パラメータ数及び積和演算数はそれぞれ 3.1M 及び 540M
であった．
訓練は 16GB メモリ搭載 NVIDIA Tesla V100 SXM2, 240
GB RAM, 及び Intel Xeon Gold 6148 プロセッサを用いて行

4.5

Ablation study

各モジュールについて ablation study を行った．表 1 に定量的結果を示した．どのモジュールが最も性能向上に寄与しているかを調査するため，ablation 条件を以下の 2 条件とした．(a) w/o RSA: RSA エンコーダにおいて，RSA 層の代わりに MHA 層 [Vaswani 17] を用いた．(b) w/o transformer
decoder: transformer デコーダを取り除いた．

3

表 1: 各手法による生成文の，BLEU4, ROUGE-L, METEOR, CIDEr-D による評価結果
YouCook2-FC

BILA-caption

Methods

BLEU4↑METEOR↑

ROUGE-L↑

CIDEr-D↑

BLEU4↑METEOR↑

ROUGE-L↑

CIDEr-D↑

MART [Lei 20]6.85±0.18

14.24±0.07

30.80±0.2120.86±1.07

19.01±0.74

21.02±0.4530.30±0.64

37.33±4.37

Ours (w/o RSA)
Ours (w/o Transformer Decoder)
Ours (RFCM)

6.70±0.36
6.68±0.13
7.03±0.15

14.14±0.50
14.09±0.15
14.53±0.09

30.18±0.18
30.16±0.31
30.49±0.2121.26±2.83
19.75±1.41
21.32±1.09

20.37±0.36
21.08±1.62
21.74±1.02

22.04±0.19
22.39±0.84
22.74±0.57

40.67±0.48
40.92±1.32
41.44±0.86

44.65±4.89
45.05±6.72
49.61±8.02[Devlin 19] Devlin, J., et al.: BERT: Pre-training of Deep
Bidirectional Transformers for Language Understanding, in
NAACL-HLT, pp. 4171–4186 (2019)[Ging 20] Ging, S., et al.: COOT: Cooperative Hierarchical Transformer for Video-Text Representation Learning, in
NeurIPS, pp. 22605–22618 (2020)[Hosseinzadeh 21] Hosseinzadeh, M., et al.: Video Captioning of
Future Frames, in WACV, pp. 980–989 (2021)[Kambara 21] Kambara, M. and Sugiura, K.: Case Relation
Transformer: A Crossmodal Language Generation Model for
Fetching Instructions, IEEE RA-L, Vol. 6, No. 4, pp. 8371–
8378 (2021)

図 3: YouCook2-FC データセットにおける成功例.

[Kim 21] Kim, M., Kwon, H., Wang, C., et al.: Relational SelfAttention: What’s Missing in Attention for Video Understanding, in NeurIPS (2021)[Krishna 17] Krishna, R., Hata, K., et al.: Dense-Captioning
Events in Videos, in CVPR, pp. 706–715 (2017)[Lei 20] Lei, J., Wang, L., et al.: MART: Memory-Augmented
Recurrent Transformer for Coherent Video Paragraph Captioning, in ACL, pp. 2603–2614 (2020)[Lin 04] Lin, C.-Y.: ROUGE: A package for automatic evaluation of summaries, in Text summarization branches out, pp.
74–81 (2004)

図 4: BILA-caption データセットにおける成功例.
YouCook2-FC データセットにおいて，提案手法と条件 (a)及び (b) を比較すると，CIDEr-D はそれぞれ 0.06 及び 1.57
ポイント低下した．これより，transformer デコーダが最も性能向上に寄与していることがわかった．
同様に，BILA-caption データセットにおいて，提案手法と条件 (a) 及び (b) を比較すると，CIDEr-D はそれぞれ 4.96 及び 4.56 ポイント低下した．これより，RSA 層が最も性能向上に寄与していることがわかった．

5.

[Magassouba 21] Magassouba, A., Sugiura, K., et al.: Predicting and attending to damaging collisions for placing everyday objects in photo-realistic simulations, Advanced Robotics,
Vol. 35, No. 12, pp. 1–13 (2021)[Mahmud 21] Mahmud, T., Billah, M., et al.: Prediction and
Description of Near-Future Activities in Video, CVIU, Vol.
210, p. 103230 (2021)[Miech 19] Miech, A., et al.: HowTo100M: Learning a TextVideo Embedding by Watching Hundred Million Narrated
Video Clips, in ICCV, pp. 2630–2640 (2019)

おわりに

本稿では，将来イベントについての説明文を生成するタスクの一つである，Future captioning タスクを扱った．特に，日常生活における Future captioning タスクを扱った．
本稿の主要な貢献は以下である．
• 将来イベントについての説明文を生成可能なクロスモー
ダル言語生成モデル， RFCM を提案した．

[Miech 20] Miech, A., Alayrac, J.-B., et al.: End-to-End Learning of Visual Representations from Uncurated Instructional
Videos, in CVPR, pp. 9879–9889 (2020)[Mori 21] Mori, Y., Hirakawa, T., et al.: Image Captioning in
Near Future from Vehicle Camera Images and Motion Information, in IEEE IV, pp. 1378–1384 (2021)• RSA エンコーダの導入により，効果的にイベント間の関係性を抽出できる．

[Prechelt 98] Prechelt, L.: Automatic early stopping using crossvalidation: quantifying the criteria, Neural Networks, Vol. 11,
No. 4, pp. 761–767 (1998)• RFCM は YouCook2-FC 及び BILA-caption データセッ
トにおいてベースライン手法を上回った．

[Vaswani 17] Vaswani, A., Shazeer, N., et al.: Attention Is All
You Need, in NeurIPS, pp. 5998–6008 (2017)

謝辞
本研究の一部は，JSPS 科研費 20H04269，JST CREST，NEDOの助成を受けて実施されたものである．

[Vedantam 15] Vedantam, R., et al.: CIDEr: Consensus-based
Image Description Evaluation, in CVPR, pp. 4566–4575(2015)

参考文献[Wang 18] Wang, X., et al.: Video Captioning via HierarchicalReinforcement Learning, in CVPR, pp. 4213–4222 (2018)[Zhou 18] Zhou, L., Xu, C., and Corso, J.: Towards Automatic
Learning of Procedures From Web Instructional Videos, in
AAAI, pp. 7590–7598 (2018)[Banerjee 05] Banerjee, S. and Lavie, A.: METEOR: An Automatic Metric for MT Evaluation with Improved Correlation
with Human Judgments, in the ACL Workshop on IEEM for
MTS, pp. 65–72 (2005)

4