言語処理学会 第26回年次大会 発表論文集 (2020年3月)

ストーリとしての動画キャプションの自動評価法
平尾 努 §
上垣外 英剛 ‡奥村 学 ‡永田 昌明 §藤田 綜一郎 †‡†東京工業大学科学技術創成研究院§ 日本電信電話株式会社
東京工業大学‡†
oku@pi.titech.ac.jp{fujiso, kamigaito}@lr.pi.titech.ac.jp§{tsutomu.hirao.kp,masaaki.nagata.et}@hco.ntt.co.jp

1

はじめに

Dense Video Captioning [1] は動画中の場面 (シーン) に応じてキャプション文を与えるタスクである．
一般的には，2 分程度の動画を平均 3 から 4 文程度のキャプションで表現するタスクであり，Vision andLanguage 分野における主要な研究課題の一つである．
動画中の場面に対しキャプションを与えインデキシングしておけば，自然言語をクエリとして高度な動画検索が可能となる．さらに，動画の場面に与えられたキャプションは動画全体のストーリを言語化したものともいえるので，人間が動画の概要を把握するのにも大いに役立つ．
一般的に Dense Video Captioning の評価には，システムが出力したキャプション文と対応関係にある正解のキャプション文の間の METEOR スコア [2] の平均が用いられるため，システムが生成したキャプション文のうち，正解のキャプション文と対応がとれるものしか評価の対象とならない．この評価法は，動画のインデキシングという観点からは理にかなった評価，つまり，検索の再現率を重視して評価するという点では問題ないが，百文を超えるような過剰に生成されたキャプションに対しても高いスコアを与えてしまうことがあるため，動画のストーリの評価という観点では問題がある．そこで本稿では，ストーリ生成という観点から Dense Video Captioning を自動的に評価する手法を提案する．

2

従来の Dense Video Captioning の自動評価

人間の動作に関する動画を大量に集めた ActivityNet
データセット [3] に対して各動画中の場面に人間がキャプションを付与した Dense Video Captioning データ
セット [1] が公開されており，評価型ワークショップである ActivityNet Challenge では，このデータセットを用いて Dense Video Captioning システムの性能の比較評価が盛んに行われている．
ActivityNet Challenge では，文献 [1] で提案された自動評価法を公式指標として採用している．いま，ある動画に対する正解のキャプション文の集合を G ，システムが生成したキャプション文の集合を P とする．
ここで，g(∈ G) と p(∈ P) をそれぞれ正解およびシステムキャプション文とする．なお，個々のキャプション文には，それが動画中のどの場面に対応するかをあらわす時間情報 (以降，プロポーザルと呼ぶ) が与えられている．プロポーザルの開始時間を関数 s()，終了時間を関数 e() で得られるものとして，g と p の時間の重なり，IoU (Intersection of Union) を以下の式で定義する．

IoU(g, p)=min(e(g), e(p))− max(s(g), s(p))
max(e(g), e(p))− min(s(g), s(p))(1)

なお，分子が負になった場合には IoU はゼロとする．
ここで，p に対しあるしきい値 τ 以上の IoU を持つ正解キャプション文の集合を以下で定義する．

Gp,τ = {g ∈ G|IoU(g, p) ≥ τ }(2)次に，システムが生成したキャプション集合 P に対し，G の要素と対応関係を持つ部分集合 P を以下で定義する．
P = {p ∈ P|Gp,τ ̸= ϕ}(3)
ここで，P と Gp,τ を用いてシステムキャプションの評価スコアを以下の式で定義する．
∑∑p∈Pg∈Gp,τ f (g, p)∑(4)E(G, P, τ ) =p∈P |Gp,τ |正解キャプション文とシステム生成キャプション文の間の自動評価スコアを返す関数 f () としては，METEOR[2]，BLEU [4]，CIDEr [5] が利用可能であるが，通常はMETEOR が用いられる．よって以下では f () としてMETEOR を用いるものとする．τ = 0.9, 0.7, 0.5, 0.3のスコアを計算し，その平均が最終的なスコアとして用いられる．

― 117 ―

Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.

g1
p1

p2

p3

g1

g2

p1

p2
図 1: システムプロポーザルと正解プロポーザルの例．
キャプションの内容は色に対応する．

3

従来法の問題点

3.1

冗長なシステムキャプションに寛容なペア生成

式 (4) より，METEOR スコアの計算対象となるのは τ 以上の IoU を持つすべての g と p のペアである．
よって，1 つの g と複数の p がペアになること，1 つの p に対して複数の g がペアになることがある．前者の場合，同じキャプション文に対し長さの異なる複数のプロポーザルを用意しておくとしきい値 τ を変化させてもいずれかの p が g と対応するので METEORスコアを効率的に稼ぐことができる．図 1 上段の例では，しきい値が低い場合には p1 から p3 のすべてが，高い場合には p1 のみが g1 と対応する．後者の場合，p に長いプロポーザルを与えると正しい g と対応する可能性が高くなり，これも METEOR スコアを効率的に稼ぐことができる．図 1 下段の例では，しきい値が低い場合には，p2 は g1 と g2 の両方に対応し，高いMETEOR スコアを得られるペア (p2 , g2 ) を構成することができる．

3.2

キャプションの情報量と無関係なスコアの計算法

前 章 で 説 明 し た 評 価 指 標 は ，式 (4) の 分 母 が∑p∈P |Gp,r | であることから，システムが生成したキャプション文のうち，IoU に基づき何らかの g と対応づいた p のペアのみで METEOR スコアを平均する．つまり，システムが何文キャプションを出力するかは直接スコアに影響しない．ここで，前節で説明したように IoU がしきい値以上の g と p のペアのみを評価対象とするのであれば，(a) キャプション全体の情報量を重要視するため，複数のキャプション文を用意し，それぞれに複数のプロポーザルを与える，(b) 確度の高いキャプションのみを出力するため，確信度の高い1 つの文に複数のプロポーザルを与えることが可能となり，従来の評価法では (a)，(b) とも高いスコアを獲得する可能性が高い．つまり，システムキャプションがどの程度正解キャプションの情報を網羅しているか(いわゆる再現率)，システムキャプションのうちどの程度が正解キャプションと合致しているか (いわゆる精度) という観点を無視した評価となっている．実際，正解キャプションが 1 つの動画に対し平均 3.5 文であることに対し，システムは数十から多いときには百を超えるキャプション文1 を出力している．これは，主に (a) の理由であり，動画の検索結果を再現率を重視して評価したい，ある自然言語のクエリに対して合致する動画を漏れなく探したいという要求に対しては問題ない．しかし，動画キャプションのストーリ生成という観点で捉えると，そもそも大量のキャプションは人間が読むことのできるものではないし，冗長なキャプションが高いスコアを得ることは問題となる．
また，(b) の同じ文を異なるプロポーザルで生成し高いスコアを得たとしても，再現率を無視しているので基本的には何らかの応用に役立つことはない．
このように従来の自動評価法には IoU を用いたキャプションの対応決定に問題がある上に再現率，精度という観点を欠くため，大量の文を含むキャプションが高い評価を得る可能性がある．

4

IoU の最適割当に基づく Dense
Video Captioning の自動評価

本研究ではシステムキャプションと正解キャプションの対応を時系列を考慮した上で IoU の和を最大化するように決定し，再現率，精度に基づき評価スコアを計算する手法を提案する．

4.1

システムキャプションと正解キャプションの最適な割当

冗長な対応を避けつつ IoU の重なりを重視するため，システムキャプション文に対応する正解キャプション
文の数を高々1 つであること，時間順序に応じて対応すること2 を制約として，対応関係にあるシステムキャ

1 公式評価スクリプトは 1000 文までのキャプション文を許容している
2 g と p が対応する場合，g (ℓ > i) と対応することのできる
ijℓp のインデックスは m > j となる．

― 118 ―

Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.

4.2
0.1

0.3

0.2

0.8

0.1

0.1

0.3

0.1

0.8

0.5

0.9

1.0

0.3

0.9

0.8

0.30.5

0.6

1.0

0.1

0000000

0.1

0.3

0.3

0.8

0.8

0

0.1

0.4

0.4

1.1

1.3

00.9

1.1

1.1

1.3

1.9

0

0.9

1.4

1.7

2.1

2.1

キャプション評価スコアの計算

前節で決定したキャプション間の対応に基づき，以下の式で精度，再現率を定義する．
∑g∈G f (g, pa(g) )Precision(G, P) =(7)|P|∑g∈G f (g, pa(g) )(8)
Recall(G, P) =|G|

図 2: 動的計画法による対応関係の決定

プション文と正解キャプション文との間の IoU のスコアの和が最大となるよう対応関係を決定する．
まず，i 番目の正解キャプション gi と j 番目のシス
テムキャプション pj の時間の重なりをあらわすスコアを IoU としきい値 τ を用いて以下の式で定義する．
{IoU(gi , pj ) IoU(gi , pj ) ≥ τ
Ci,j =(5)0(otherwise)
次に，i 番目までの正解キャプションと j 番目までのシステムキャプションの時間の重なりをあらわすスコア
Ci,j の和の最大値を格納するテーブルを S[i][j] とする．
S[i][0] = 0(0 ≤ i ≤ |G|)，S[0][j] = 0(0 ≤ j ≤ |P|) を初期値として，以下の漸化式を用いることで，最適値，S[|G|][|P|] を得る．

 S[i − 1][j](6)
S[i][j] = max
S[i − 1][j − 1] + Ci,j
S[i][j − 1]gi と pj に対応がするのは S[i][j] を S[i−1][j −1]+Ci,jで与えたときである．
図 2 に例を示す．図 2 上段のように Ci,j が与えられた場合，スコアテーブル S は図の下段となる．テー
ブルの任意のセル，つまり S[i][j] の値は，真上の値，真横の値，左斜め上の値と Ci,j の和のうち最も大きいものである．例では最大スコア S[|G|][|P|] は 2.1 となり，それを与える g と p の対応は，(g4 , p4 )，(g3 , p2 )，(g2 , p1 ) となる．

そして，F1 (= 2 ∗ Precision ∗ Recall/(Precision +Recall)) を最終的なシステムキャプションの評価スコアとする．なお，a() は g に対応する p のインデックスを返す関数である．
正解キャプション文とシステムキャプション文の対応を高々1 対 1 に絞ったこと，式 (7) の分母が |P| であることから，文数が多いキャプションは再現率は高いかもしれなが，精度が低くなるので，F1 は低くなる．また，同じキャプション文を異なるプロポーザルで多数出力すると再現率，精度とも低くなる．
なお，提案手法のバリエーションとして，式 (5) のかわりに以下の式 (9) で Ci,j を定義することで IoU とMETEOR スコアの双方を同時に考慮した評価スコアを得ることができる．

Ci,j = IoU(gi , pj )f (gi , pj )

5

実験

5.1

設定

(9)

Krishna ら [1] の ActivityNet に対するキャプションデータのうち，開発用データ (4883 件)3 を用いて，End-to-end Transformer システム [6] のキャプションを利用して従来の自動評価指標と提案法とを比較した．
また，文献 [1] で配布されている評価用スクリプト
では，開発データとテストデータに対しては，1 つの動画に対して異なる 2 名のキャプションが与えられており，評価の際には 2 名のキャプションをまとめて 1つの正解キャプションとして扱っているので，本稿でもこの設定に合わせる．
3 章で指摘したように従来の自動評価法はキャプションの内容が過剰であっても過少であっても正解のキャプション文と IoU が τ 以上であるものだけで評価スコアを計算する．よって，システムキャプションの文数によらず似たようなスコアをとることが予想される．
一方，提案法は精度，再現率に基づくスコアなのでシ3 テストデータに対するキャプションは公開されていない．

― 119 ―

Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.

か Prop.(c) がストーリとしてのキャプションを評価するという観点では良いであろう．両者の違いについては，被験者実験などを利用して今後明らかにしたいと考える．

Prop.(c) Prop.(b) Prop.(a)k3715200

従来法

5.00

5.58

5.69

6.06

Precision
Recall
F1

3.31
1.41
1.98

2.93
2.83
2.89

2.37
3.16
2.71

0.215
6.99
0.410

Precision
Recall
F1

9.24
3.94
5.53

7.18
7.15
7.16

5.95
7.92
6.80

0.326
10.6
0.631

Precision
Recall
F1

5.18
2.12
3.10

4.02
4.00
4.01

3.47
4.61
3.96

0.290
9.46
0.570

6

表 1: k を変化させた場合の評価スコア
ステムキャプション数が多ければ，再現率が高く，精度が低い，少なければ再現率が低く，精度が高いことが予想される．これを確認するため，システムキャプションから重複なくランダムに k 文を抽出し各評価スコアがどう変化するかを調べた．文献 [6] のシステム
は 1 つの動画あたり平均で 200 文のキャプションを生成すること，正解キャプションの平均文数が 7 文であることより，k = 3, 7, 15, 200 を試した．

5.2

結果

表 1 に実験結果を示す．なお，表中 k = 200 以外の値はランダム試行を 5 回行った平均値であり，従来
法，Prop.(a) は τ を 0.9,0.7,0.5,0.3 のスコアの平均，Prop.(b) は τ = 0 の場合，Prop.(c) は式 (9) を用いた場合である．
表より，従来法は k を変化させても評価スコアの変動が小さい．200 文全体を評価したスコアとそこからランダムに選んだ 7 文を評価したスコアがほぼ変わらず，やや 200 文の方が良いスコアであることは動画に対するストーリ生成の評価という観点では明らかに問題である．
提案法はいずれの場合も k を大きくすると再現率が向上し，精度が低下する．k を小さくするとその逆の振る舞いをする．これは意図したとおりの結果であり，人間が読むことが負担になるような大量のキャプションに対しては低いスコアを与える．提案法のバリエーションを比較すると，Prop.(a) は高い τ ，つまりτ = 0.9, 0.7 のスコアが低いため全体で平均をとるとスコアレンジが低くなっている．Prop.(b)，Prop.(c)は，Prop.(a) よりもスコアレンジも高く，変動もやや大きい．k は人間がキャプションを読むうえで重要なパラメタであるがゆえ，それに対し敏感な Prop.(b)おわりに

本稿では，Dense Video Captioning を動画に対するストーリ生成としてとらえ，時系列を考慮した上で正解キャプションとシステムキャプションの対応を決定する，再現率，精度に基づく評価スコア計算法を提案した．End-to-end Transformer システムによるキャプションを利用した人工データによる実験結果から，従来の自動評価法はキャプションの分量に鈍感で動画のストーリの評価には向いていないこと，提案法はキャプションの分量に応じて敏感にスコアが変動することを確認した．

参考文献[1] Ranjay Krishna, Kenji Hata, Frederic Ren,
Li Fei-Fei, and Juan Carlos Niebles. Densecaptioning events in videos. In Proceedings ofCVPR, pp. 706–715, 2017.
[2] Satanjeev Banerjee and Alon Lavie. Meteor:
An automatic metric for mt evaluation with improved correlation with human judgments. In
Proceedings of ACL Workshop on Intrinsic andExtrinsic Evaluation Measures for MT and/orSummarization, pp. 65–72, 2005.
[3] Bernard Ghanem Fabian Caba Heilbron, Victor Escorcia and Juan Carlos Niebles. Activitynet: A large-scale video benchmark for humanactivity understan ding. In Proceedings of CVPR,
pp. 961–970, 2015.
[4] Kishore Papineni, Salim Roukos, Todd Ward,and Wei-Jing Zhu. Bleu: A method for automatic
evaluation of machine translation. In Proceedingsof ACL, pp. 311–318, 2002.
[5] Ramakrishna Vedantam, C. Lawrence Zitnick,and Devi Parikh. Cider: Consensus-based image
description evaluation. In Proceedings of CVPR,
pp. 4566–4575, 2015.
[6] Luowei Zhou, Yingbo Zhou, Jason J Corso,
Richard Socher, and Caiming Xiong. End-to-end
dense video captioning with masked transformer.
In Proceedings of CVPR, pp. 8739–8748, 2018.

― 120 ―

Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.