# 画像と単語の不一致を考慮した疑似教師ありキャプション生成

本多右京 1,3 牛久祥孝 2 橋本 敦史 ${ }^{2}$ 渡辺太郎 ${ }^{1}$ 松本裕治 ${ }^{3}$
1 奈良先端科学技術大学院大学大学 2 オムロンサイニックエックス株式会社
3 理化学研究所
\{honda.ukyo.hn6, taro\}@is.naist.jp
\{yoshitaka.ushiku, atsushi. hashimoto\}@sinicx.com
yuji.matsumoto@riken.jp

## 1 はじめに

画像キャプション生成は，画像から自然言語で説明文を生成するタスクである。人手でアノテーションされた膨大な画像とキャプションのペア [1,2]を学習データとして, 目覚ましい進歩が報告されてきた $[3,4,5]$. しかし，大規模な学習データでもカバー する事物は限定的であり1)，記述できる事物を増やすためには更にアノテーションコストがかかる.

疑似教師ありキャプション生成 ${ }^{2}$ は，画像とキャプションのペアがない事物に対して，アノテーションなしでキャプション生成を行う試みである $[8,9]$.学習に画像とキャプションのペアを用いないことでこの状況を作り，物体検出モデルの出力した物体名と，アノテーションが不要で大量に利用可能な，ぺアでない画像と文だけを入力として学習を行う.

先行研究 $[8,9]$ は，画像から検出された物体名を含んだ文を擬似キャプションとし，画像の特徵量とこの一文全体の特徵量とを近づける学習を行う。しかし，疑似キャプションには画像に対応しない記述が多く含まれるという問題がある. 例えば，cat と girl が検出された画像に対する疑似キャプションには "a girl is holding a cat” や "a cat is sleeping with a girl", "a girl is running with a cat”などが考えられるが，最初の文が正しく画像を説明した記述だった場合，それ以外の文の “sleeping with” や “running with”

1）代表的なデータセットである MS COCO[2] では，物体検出データに定義されている 500 の物体カテゴリのうち約 400 がキャプションに一度も出現しない [6]. また，学習に用いられる語彙数が全体で 8791 と少なく [7], 物体以外についても力バーしている事物が限定的である.

2）先行研究 $[8,9]$ では, 画像とキャプションのペアが要求されないという意味で，教師なしキャプション生成と呼ばれているタスクである。しかし，この名称では物体検出モデルを要求する点に誤解が生じるおそれがあるため，本稿ではこのタスクを疑似教師ありキャプション生成と呼称する.
といった記述は画像に対して誤った教師信号を与えてしまうことになる（図 1 左）。

この部分的な記述の不一致に対処するため，本研究では，簡単なゲート機構と記述の一致・不一致に対する疑似教師信号を用いて，画像と齯䶣のある単語については画像特徴量から生成しないよう抑制する手法を提案する。実験の結果，提案手法が先行研究の性能を上回り，部分的な不一致を考慮することの重要性が示された. また，提案手法は，モデルの初期化手法として先行研究の手法と組み合わせることで，さらに性能を向上させることが確認された。

## 2 関連研究

学習データにない事物を記述する試みとしては，学習データに現れない物体を物体検出の出力を利用して記述する novel object captioning $[10,6,11]$ や，物体，属性，関係に関して学習データにない組み合わせの事例でテストを行う試み $[12,13]$ などがある.

これらのタスクは，ペアになった画像とキャプションがテストデータの大部分の要素をカバーする状況でペアを学習に用いる．疑似教師ありキャプション生成はこの状況が成り立たないテストを想定し，ペアになっていない画像と文だけを用いて学習を行う [8]. ただし, novel object captioning と同様，事前学習した物体検出器で予測された物体名は利用する。この準備段階的なタスクである unpaired image captioning $[8,9,14,15]$ では，扱う画像と文は元々ペアになっていたものだけを使うのに対して，疑似教師ありキャプション生成では画像と文はそれぞれ別のリソースから取得したものを想定する。

先行研究 $[8,9]$ の問題点は，いずれも擬似キャプションの一文全体の特徴量を画像特徴量と対応付けるよう学習するため，1 節で指摘したように，疑似キャプション中の部分的な不一致も学習に使ってし

cat girl $\$$ a girl is holding a cat $\mathbf{x}$ a cat is sleeping with a gir $\mathbf{x}$ a girl is running with a cat

図 1 提案手法概要. モデルへの入力は，画像，検出された物体名，疑似キャプション（図左）モデルは疑似キャプション中の各単語を，画像との対応度を考慮しながら生成するよう学習する（図右）. 基本モデルの出力 $h$ ，ゲートの值 $g$ ，ゲートへの疑似教師信号 $f$ の詳細はそれぞれ，3.1，3.2，3.3 節を参照. 破線は学習時のみ適用される処理を表す.

まうことである. [8] はまず，物体名を含む任意の文に対して，その含まれる物体名のエンコードから元の文を復元する疑似キャプション生成器を学習する.この疑似キャプション生成器を画像から検出された物体名に対して適用し，その出力をその画像に対する疑似キャプションとする。 [9]では，画像から検出された物体名を含む文をそのまま疑似キャプションとして用いる. 疑似キャプションを得た後は，画像と擬似キャプションの特徵量に対して，双方向の特徵量再構成 $[8]$ や距離学習 [9] を適用して,画像と擬似キャプションとの対応付けを学習する。

## 3 手法

本研究では，画像と齯齬のある単語を画像に対する教師信号として用いないよう抑制する手法を提案する。手法の概要を図 1 に示す.

## 3.1 基本モデル

教師ありキャプション生成では画像 $\boldsymbol{I}$ に対して正解のキャプション $\boldsymbol{y}$ が与えられるが，疑似教師ありキャプション生成では, 画像から検出された物体名を含む任意の文 $\hat{y} て ゙ ~ y$ を代替する。提案手法の基本

$\hat{\mathbf{y}}=\left[\hat{y}_{1}, \ldots, \hat{y}_{T}\right] \quad\left(\hat{y}_{T}\right.$ は<eos>トークン）の各ペアに対して, 条件付き確率 $p(\hat{\boldsymbol{y}} \mid \boldsymbol{I})=\prod_{t=1}^{T} p\left(\hat{y}_{t} \mid \hat{y}_{<t}, \boldsymbol{I}\right)$ を以下のようにモデル化する：

$
\begin{aligned}
p\left(\hat{y}_{t} \mid \hat{y}_{<t}, \boldsymbol{I}\right) & =\frac{\exp \left(\boldsymbol{h}_{t}^{\top} \boldsymbol{W}_{o} \Pi\left(\hat{y}_{t-1}\right)\right)}{\sum_{\hat{y}} \exp \left(\boldsymbol{h}_{t}^{\top} \boldsymbol{W}_{o} \Pi(\hat{y})\right)}, \\
\boldsymbol{h}_{t} & = \begin{cases}\operatorname{Dec}\left(\frac{\boldsymbol{v}}{\|\boldsymbol{v}\|_{2}}, \boldsymbol{h}_{0}\right) & \text { if } t=1 \\
\operatorname{Dec}\left(\boldsymbol{e}_{t}, \boldsymbol{h}_{t-1}\right) & \text { otherwise. }\end{cases}
\end{aligned}
$

入力は, $\boldsymbol{v}=\boldsymbol{W}_{a} \operatorname{Enc}(\boldsymbol{I}), \boldsymbol{e}_{t}=\boldsymbol{W}_{e} \Pi\left(\hat{y}_{t-1}\right)$, ゼロベクトル $h_{0} \in \mathbb{R}^{d}$. ここで, $\Pi(x)$ は単語 $x$ に対応する onehot ベクトルを出力する関数，Dec($\cdot$) はRNN， Enc($\cdot$)
は画像分類を事前学習した CNN， $\boldsymbol{W}_{a} \in \mathbb{R}^{d \times d^{\prime}}$ は画像特徴量に対する線形変換行列， $\boldsymbol{W}_{e}, \boldsymbol{W}_{o} \in \mathbb{R}^{d \times N}$ は語彙数 $N$ の単語埋め込み行列である.

## 3.2 ゲート機構の導入

疑似キャプションは，1 節で述べたように，画像に対応しない記述を含む. この画像と擬似キャプションとの部分的な不一致を考慮するため，疑似キャプション中の各単語の生成に画像の特徵量をどの程度使うかを制御するゲート機構を導入する。 ゲート機構は式 (1)を以下のように変更する：

$
\begin{aligned}
p\left(\hat{y}_{t} \mid \hat{y}_{<t}, \boldsymbol{I}\right) & =\frac{\exp \left(\boldsymbol{r}_{t}^{\top} \boldsymbol{W}_{o} \Pi\left(\hat{y}_{t-1}\right)\right)}{\sum_{\hat{y}} \exp \left(\boldsymbol{r}_{t}^{\top} \boldsymbol{W}_{o} \Pi(\hat{y})\right)}, \\
\boldsymbol{r}_{t} & =g_{t} \frac{\boldsymbol{W}_{v} \boldsymbol{v}}{\left.\|\boldsymbol{W}_{v} \boldsymbol{v}\right.\|_{2}}+\left(1-g_{t}\right) \boldsymbol{h}_{t}, \\
g_{t} & =\operatorname{sigmoid}\left(\tanh \left(\boldsymbol{W}_{k} \boldsymbol{v}\right)^{\top} \boldsymbol{h}_{t}\right) .
\end{aligned}
$

ここで, $g \in[0,1]$ はゲートの值, $\boldsymbol{W}_{k}, \boldsymbol{W}_{v} \in \mathbb{R}^{d \times d}$ は画像特徴量に対する線形変換行列である。ゲートを通すことで，各タイムステップでの出力で画像特徴量を $g$ の重み付きで用いることができる。これにより，疑似キャプション中で画像に対応する部分については $g$ を大きく，そうでない部分については $g$ を小さくして，画像と疑似キャプションとの部分的な一致・不一致を考慮することを可能にする。

画像と擬似キャプションの各ペアに対して，ゲー 卜機構付きモデルは以下の交差エントロピー誤差 $L_{g}$ を最小化するよう学習する：

$
L_{g}=-\frac{1}{T} \sum_{t=1}^{T} \log p\left(\hat{y}_{t} \mid \hat{y}_{<t}, \boldsymbol{I}\right)
$

## 3.3 ゲートへの疑似教師信号

3.2 節で導入したゲート機構は，疑似キャプション中でどの単語が画像に対応しているのかについて教師信号を与えられていない，タスクの設定上正し

表 1 先行研究との比較. 二重線の上下は，それぞれ先行研究 Prev. [8, 9] の実験設定に対応する. 提案手法のスコアは 5 回の試行の平均と標準偏差. Prev. [9] の BLEU-1 から 3 と SPICE のスコアについては, 論文での報告がないため空欄.

い教師信号を与えることはできないが，以下のよう

に擬似的に教師信号を与えることはできる.

疑似キャプションは，画像から検出された物体名だけを頼りに取得される。そのため，物体名以外の単語については画像と対応している可能性が低い.提案手法では，この対応関係を反映した擬似教師信号 $f$ を用いる. $f$ は, $\hat{y}_{t}$ が画像から検出された物体名である場合は $f_{t}=1$, それ以外の場合は $f_{t}=0$ となる.この $f$ を $g$ に対する教師信号として，以下の交差エントロピー誤差 $L_{f}$ を最小化する：

$
L_{f}=-\frac{1}{T} \sum_{t=1}^{T}\left.\{\alpha f_{t} \log g_{t}+\left(1-f_{t}\right) \log \left(1-g_{t}\right)\right.\}
$

ここで， $\alpha$ は $f_{t}=1$ での誤差を重み付けるハイパー パラメータである. 疑似キャプション中で検出物体名に対応する単語はそれ以外の単語に比べて数が少ないため， $\alpha$ にはこの比率を考慮した値を設定する。

ゲートに上記の疑似教師信号を与えると，式 (4) から，基本的に，物体名については画像特徴量を使って生成し, それ以外の単語については前タイムステップまでの文脈特徴量を使って生成することになる。これにより, 物体名以外については画像特徵量に対応した生成を学習できなくなる反面，画像に一致しない可能性の高い記述を画像から生成するよう強制してしまうことが避けられる。

提案手法の最終的な損失関数 $L$ は以下とする：

$
L=L_{g}+L_{f}
$

## 3.4 物体名デコードへの制約

式 (4) では, $g_{t}=1$ のとき, $t$ によらず同じ特徴量 $\boldsymbol{W}_{v} \boldsymbol{v} /\left.\|\boldsymbol{W}_{v} \boldsymbol{v}\right.\|_{2}$ から $\hat{y}_{t}$ が予測される. このため, このまま用いるとデコード時に同じ物体名を繰り返し出力する問題が起きる. そこでデコード時には, 物体検出器に定義されている物体カテゴリのうち，一度生成した物体名についてはそれ以降のタイムステップでの生成確率を 0 にする制約を加える.

表 2 出力キャプションとその参照キャプションから抽出した, 物体名 / その他の単語の BoW の平均一致度.

## 4 実験

## 4.1 実験設定概要

先行研究に従って，学習に使う画像データには MS COCO [2] の学習データ [7], テキストデータには Web から取得された画像説明文 $[8,16]$ を使用した. ただし，これらのテキストデータには MS COCO のキャプションは含まれていない. 評価は, MS COCO の評価用データに対して BLEU [17], ROUGE [18], METEOR [19], CIDEr [20], SPICE [21] の自動評価指標を適用して行った。表の数值はすべて， MS COCO のテストデータで算出した.

実験設定の詳細部分では，先行研究 $[8,9]$ はそれぞれやや異なる設定をとっている。詳細については付録 $\mathrm{A}$ を参照されたい.

## 4.2 先行研究との比較

表 1 に先行研究のスコアとの比較を示す. 先行研究のいずれの設定においても，すべての評価指標で提案手法が先行研究を上回るスコアを示しており，提案手法の有効性が確認された

## 4.3 物体名以外の生成における比較

疑似キャプション中で画像との不一致がある可能性が高いのは物体名以外の単語である（3.3 節)，提案手法はこの不一致を学習に使わせないことに重点

表 3 提案手法と先行研究手法 Prev. [8] の併用の結果. Ours が含まれる手法のスコアは 5 回の試行の平均と標準偏差.

を置くので，特に物体名以外の単語の生成において先行研究に対する改善があることが期待される.この改善を確かめるため, 出力キャプションとその参照キャプションから, 物体検出器に定義されている物体カテゴリの単語とそれ以外の単語のそれぞれを抽出した Bag of Words (BoW) を作成し, 出力-参照ぺアで BoW の平均一致度を算出した. 比較は, 実装が公開されている先行研究 [8] に対して行った.

表 2 から，提案手法が物体名以外の単語の生成で先行研究 [8] を上回っていることがわかる. 特に Precision での差が大きいことから, 学習において特に画像との不一致が多い部分については，これを画像に対して教師信号として与えると, 誤って画像に対応付けられた余計な記述が生成されてしまうのだと考えられる。これに対して提案手法は，物体名以外は基本的に前文脈に対して頻度の高い単語を生成する学習を行う．これによる頻出系列の方が，画像に一致した出力になりやすいことがわかった.

## 4.4 モデルの初期化手法としての活用

提案手法が画像に対してそれと䶞䶣のある単語を対応付けない学習に重点を置いているのに対して，先行研究は多少の䶡䶣はあっても画像に一文全体を対応付ける学習に重点を置いている. 両者が重視している互いに異なる要素を補うため，これらを組み合わせた手法の実験を行った. 先行研究 [8] の実験設定で，学習データの画像に対して学習済みの提案モデルでキャプションを出力し，画像とキャプションのペアを作成する. このぺアを使って画像から上記のキャプションを生成する学習を行い, 先行研究のキャプション生成モデルのパラメータを初期化, その後, 通常通り先行研究 [8] の手法を学習させた.

表 3 から，提案手法と先行研究を組み合わせた手法（Ours + Prev. [8]）は，元の手法からさらにスコアを向上させることがわかった. この結果から，提案手法はそれ単体としてだけでなく，モデルの初期化手法として汎用的に活用されうると考えられる. (a)

(b)

(c)

(a)

図 2 出力例. Objects は画像から検出された物体.

## 4.5 出力例

図 2 にモデル別のキャプション出力例を示す. 物体名以外の単語について, 提案手法が前置詞や冠詞など物体との共起頻度の高い単語を出力する傾向があるのに対して, 先行研究 [8] は, “portrait of", “in the savuti, kenya", "in the morning"など物体との共起頻度が比較的低い記述を生成する傾向が見られる。 このような共起頻度の低い記述は，いずれの例においても画像と一致していない. 反対に，物体名については，(b) と (c)のように提案手法が余計な出力をする傾向がある。(c)では, 先行研究の手法を組み合わせることでこの物体名の誤りが改善されている。

## 5 おわりに

本研究では，疑似教師ありキャプション生成において擬似キャプションが画像に対して部分的に一致しない問題に着目し，この齯䶣のある部分を画像に対して教師信号として与えないよう抑制する手法を提案した. 実験の結果, 提案手法が先行研究の性能を上回り，疑似教師ありキャプション生成において上記の問題を考慮することの重要性が示された. また, 提案手法は，モデルの初期化手法として先行研究の手法と組み合わせることで，さらに性能を向上させることが確認された.

## 参考文献

[1] Peter Young, Alice Lai, Micah Hodosh, and Julia Hockenmaier. From image descriptions to visual denotations: New similarity metrics for semantic inference over event descriptions. TACL, 2014.

[2] Tsung-Yi Lin, Michael Maire, Serge Belongie, James Hays, Pietro Perona, Deva Ramanan, Piotr Dollár, and C Lawrence Zitnick. Microsoft coco: Common objects in context. In ECCV, 2014.

[3] Oriol Vinyals, Alexander Toshev, Samy Bengio, and Dumitru Erhan. Show and tell: A neural image caption generator. In CVPR, 2015.

[4] Kelvin Xu, Jimmy Ba, Ryan Kiros, Kyunghyun Cho, Aaron Courville, Ruslan Salakhudinov, Rich Zemel, and Yoshua Bengio. Show, attend and tell: Neural image caption generation with visual attention. In ICML, 2015.

[5] Peter Anderson, Xiaodong He, Chris Buehler, Damien Teney, Mark Johnson, Stephen Gould, and Lei Zhang. Bottom-up and top-down attention for image captioning and visual question answering. In CVPR, 2018.

[6] Harsh Agrawal, Karan Desai, Yufei Wang, Xinlei Chen, Rishabh Jain, Mark Johnson, Dhruv Batra, Devi Parikh, Stefan Lee, and Peter Anderson. nocaps: novel object captioning at scale. In ICCV, 2019.

[7] Andrej Karpathy and Li Fei-Fei. Deep visual-semantic alignments for generating image descriptions. In CVPR, 2015.

[8] Yang Feng, Lin Ma, Wei Liu, and Jiebo Luo. Unsupervised image captioning. In CVPR, 2019.

[9] Iro Laina, Christian Rupprecht, and Nassir Navab. Towards unsupervised image captioning with shared multimodal embeddings. In ICCV, 2019.

[10] Subhashini Venugopalan, Lisa Anne Hendricks, Marcus Rohrbach, Raymond Mooney, Trevor Darrell, and Kate Saenko. Captioning images with diverse objects. In CVPR, 2017.

[11] Peter Anderson, Stephen Gould, and Mark Johnson. Partially-supervised image captioning. In NeurIPS, 2018.

[12] Jiasen Lu, Jianwei Yang, Dhruv Batra, and Devi Parikh. Neural baby talk. In CVPR, 2018.

[13] Mitja Nikolaus, Mostafa Abdou, Matthew Lamm, Rahul Aralikatte, and Desmond Elliott. Compositional generalization in image captioning. In CoNLL, 2019.

[14] Jiuxiang Gu, Shafiq Joty, Jianfei Cai, Handong Zhao, $\mathrm{Xu}$ Yang, and Gang Wang. Unpaired image captioning via scene graph alignments. In ICCV, 2019.

[15] Fenglin Liu, Meng Gao, Tianhao Zhang, and Yuexian Zou. Exploring semantic relationships for image captioning without parallel data. In ICDM, 2019.

[16] Piyush Sharma, Nan Ding, Sebastian Goodman, and Radu Soricut. Conceptual captions: A cleaned, hypernymed, image alt-text dataset for automatic image captioning. In ACL, 2018.

[17] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: a method for automatic evaluation of machine translation. In $A C L, 2002$.

[18] Chin-Yew Lin. Rouge: A package for automatic evaluation of summaries. In Text Summarization Branches Out, 2004.

[19] Michael Denkowski and Alon Lavie. Meteor universal: Language specific translation evaluation for any target language. In the ninth workshop on statistical machine translation, 2014.

[20] Ramakrishna Vedantam, C Lawrence Zitnick, and Devi Parikh. Cider: Consensus-based image description evaluation. In CVPR, 2015.

[21] Peter Anderson, Basura Fernando, Mark Johnson, and Stephen Gould. Spice: Semantic propositional image caption evaluation. In $E C C V, 2016$.

[22] Matthew Honnibal, Ines Montani, Sofie Van Landeghem, and Adriane Boyd. spaCy: Industrial-strength Natural Language Processing in Python, 2020.

[23] Diederik P. Kingma and Jimmy Ba. Adam: A method for stochastic optimization. In ICLR, 2015.

## A 実験設定詳細

表 4 先行研究 $[8,9]$ それぞれの詳細な実験設定.

実験設定差分 4.1 節で述べたとおり，先行研究 $[8,9]$ ではそれぞれやや異なった実験設定をとっている. 表 4 にその差分をまとめた。各要素の詳細は先行研究 $[8,9]$ を参照されたい.

疑似キャプションの前処理画像から検出された物体名のセットに対して，2つ以上検出された場合はそのうちのぺアの組み合わせを用意し，各ペアが含まれている文を収集した。このとき，物体名の複数形の辞書（先行研究 [8]）を利用して，目的の物体名が複数形で含まれている文も取得する. 収集した文から，目的の物体同士が関連した内容のものを選別するため，文中で目的の物体ペアの間に 4 つ以下の単語しか含まれない文を取り出した。また，目的の物体名ぺアが複合語として出現している文を避けるため，物体名が隣り合っている文は取り除いた。同様に，各単体の物体についても文を収集した。ここで収集された文に対しては，目的の物体についてより詳細な記述のある文を選別するため，目的の物体とそれを修飾する形容詞の間に 2 つ以下の単語しか含まれない文を取り出した. 統語解析器には spaCy [22] の en_core_web_lgを用いた.

学習イテレーション頻出の物体に過適合することを防ぐため，各画像ではなく各物体ぺアでイテレーションを行った.各物体ぺアについて，これを含む画像と擬似キャプションをサンプリングして学習に用いる．また，物体ぺア中の各物体についても同様にサンプリングと学習を行った. バッチサイズは 8 とし, validation セットでの CIDErスコアが 20 エポック連続で更新されなくなった時点で学習を止めた。最適化には，Adam [23]を論文の推奨パラメータで用いた。

$\alpha$ の値式 (7) について， $\alpha=16$ とした。上述のように，学習は物体ぺアとそのうちの各単体の物体を単位として行われるため，サンプリングされた文の中で検出された物体に対応する単語は 2 つか 1 つしかない. これに対してテキストデータの平均文長は，先行研究 $[8,9]$ でそれぞれ 12.0 と 10.7 である. この検出物体数と文長の比率を考慮して 2 の累乗数から最も性能が高くなる $\alpha$ を探した結果，文長 / 検出物体数 $(=1)$, に近い， $\alpha=16$ が最も高い性能を示した.

先行研究モデル初期化のための疑似キャプションの前処理 4.4 節の手法では，学習データの画像に対する提案手法の出力を疑似キャプションとして扱う．このとき，画像に対して全く異なる内容の疑似キャプションを与えることを防ぐため，次の前処理を行った. 画像から検出された物体が 2 つ以上ある場合は，2 つ以上それらの物体を含む疑似キャプションのみ，検出された物体が 1 つの場合は，それを含む疑似キャプションのみを選別した. この基準を満たさない疑似キャプションについては，画像とともに先行研究モデル初期化のための学習データから外した.

## B Ablation Study

表 5 Ablation study. 二重線の上下は，それぞれ先行研究 $[8,9]$ の実験設定に対応する. 提案手法のスコアは 5 回の試行の平均，その他は一回の試行のスコア.

表 5 に ablation study の結果を示す. w/o filter は $L_{g}$ だけを最小化したモデル，w/o gate は式 (1)のモデル化で $L_{g}$ だけを最小化したモデル，w/o unique は 3.4 節のデコード制約を用いないモデルである. なお， 3.3 節の疑似教師信号 $f$ はゲー ト機構に対して与えられるものなので，ゲート機構なしで疑似教師信号だけ与えるモデル（w/o gate w/ filter）は比較しない. w/o image は，画像特徴量 $\boldsymbol{v}$ の代わりに，画像から検出された物体名の単語特徴量の平均を用いたモデルである.

いずれの実験設定においても w/o filter で特に数字が下がることから，3.3 節の疑似教師信号が性能の向上に大きく寄与していること， 3.2 節のゲート機構はそれ単体ではうまく機能しないことがわかった. また, Ours (full) が突出してスコアが高いことから，提案手法はすべて組み合わせた状態で最も効果を発揮することが確認できる．w/o image のスコアが低いことについては，出力に物体検出器の誤りが伝播したものが多く見られており，これが原因だと考えられる.