言語処理学会 第30回年次大会 発表論文集（2024年3月）

Polos: 画像キャプション生成における教師あり自動評価尺度
和田唯我

兼田寛大 齋藤大地 杉浦孔明
慶應義塾大学{yuiga,k.kaneda,daichi-s,komei.sugiura}@keio.jp

概要
画像キャプション生成タスクでは，生成文の品質が適切に評価されることが重要である．しかし，近年のデータ駆動型自動評価尺度は，多様な画像および言語に対する汎化性能が低いという問題が指摘されている．この問題は，これらの尺度が画像キャプション生成とは無関係なタスクで学習された埋め込
み表現を用いており，また古典的手法によって類似度を計算しているだけに過ぎないためであると考えられる．そこで，本研究では，画像キャプション生
成タスクにおける教師あり自動評価尺度 Polos を提案する．Polos は画像と言語を入力とし，大規模対
照学習によって学習された埋め込みを用いた並列ク
ロスモーダル特徴抽出機構により評価値を計算する．また，本研究では人間のフィードバックに基づ
き自動評価尺度を学習するフレームワーク M2 LHFを提案する．さらに，Polos を学習するため，550 人の被験者から 13 万サンプルの人間による評価を収集した最大規模のデータセット Polaris を構築した．実験の結果，Polos は Composite, Flickr8K-Expert,
Flickr8K-CF, PASCAL-50S, FOIL, Polaris において，既存手法を上回る結果を得た．

1

はじめに

画像キャプション生成は，視覚障害者の補助，画像に関する対話生成，画像に基づく質問応答など，多くの用途で社会応用されている．本分野において効率的なモデル開発を行うには，人間による評価に近い自動評価尺度の構築が不可欠である．先行研
究では，古典的な自動評価尺度 [1–5] が人間による評価と十分に相関していないことが報告されており [5, 6]，その結果様々なデータ駆動型自動評価尺度が提案された [6–9]．しかし，これらの手法は画像
キャプション生成とは無関係なタスクで学習された
埋め込み表現を用いており，さらにコサイン類似度や最適輸送等の古典的手法によって類似度を計算し

図 1: 提案手法 Polos および M2 LHF．

ているだけに過ぎない．そのため，これらの手法は多様な画像および言語における汎化性能が低く，またこれらのモデルは hallucination を適切に扱うことが出来ない点も指摘されている [6]．
そこで，本研究では，画像キャプション生成タス
クにおける教師あり自動評価尺度 Polos を提案する．さらに，人間のフィードバックに基づく自動評
価尺度を構築するためのフレームワーク Multimodal
Metric Learning from Human Feedback (M2 LHF) も 提
案 す る．図 1 に 提 案 手 法 Polos お よ び M2 LHF の
概 要 図 を 示 す．提 案 手 法 Polos は M2 LHF に 基 づき，人間による評価を学習する．また，提案手法
は SimCSE [10] で事前学習された RoBERTa [11] や
CLIP [12] を用いた並列クロスモーダル特徴抽出機
構を用いて有用な特徴量を抽出する．既存手法は古典的手法によってスカラの類似度を計算しているのに対して，提案手法は本機構によりベクトル空間における複雑な関係を捉えることができる．
さらに，M2 LHF に基づく Polos を学習するため，
本研究では多様な人間による評価によって構成された新たなデータセット Polaris を構築した．Polaris
は現時点で最大規模のデータセット [13] の約 10 倍のサンプルが含まれており，13 万サンプルの人間による評価および多様なキャプションで構成される．

― 2817 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

必要がある．前述の通り，データ駆動型自動評価尺度の多くは，多様な画像および言語に対する汎化性
Aggregation能が低い．これは多くの尺度が CLIP [12] のテキス
トエンコーダのみを使用している点に起因すると考えられる．Sarto らが指摘しているように，CLIP
は比較的短く簡潔な alt-text によって学習されていFeed-Forward. Network
Concat& MLP

るため，本研究で扱う長いキャプションを評価するには不十分である可能性がある [16]．そのため，本研究では CLIP の文埋め込みと比較して，教師あり
SimCSE [10] に基づく文埋め込みがより有益であると考える．SimCSE は，文埋め込み生成における対照学習手法であり，STS タスクにより有用性が実証されている [10]．以上より，本研究では文埋め込

CLIP

CLIP

RoBERTa

Image Encoder

Text Encoder

Pretrained with
SimCSEみを得るため，CLIP のテキストエンコーダおよびSimCSE で学習された RoBERTa [11] を使用する．

2.1

入力および埋め込み表現

本手法における入力 x は生成文 xcand ∈ {1, 0}V ×L ,i 番目の参照文 {xref } ∈ {1, 0}N ×V ×L ，画像 ximg ∈(i)

図 2: 提案手法 Polos のモデル図．

(i)

R3×H×W を用いて，x = {xcand , {xref }N
i=1 , ximg } と提案手法における新規性は以下の通りである．
• 画像キャプション生成タスクにおける教師あり
自動評価尺度 Polos を提案する．

彙サイズ，最大トークン長，参照文の数，および画像の幅と高さを指す．
はじめに，SimCSE で学習された RoBERTa [11] を• 人間のフィードバックに基づく自動評価尺度を2定義される．ここで，V, L, N, H, W はそれぞれ，語(i)用いて，xcand , {xref }N
i=1 からそれぞれ，文埋め込み構築するフレームワーク M2 LHF を提案する．

N ×L×dR
crb ∈ RL×dR お よ び {rrb }N
を 得 る．
i=1 ∈ R

• SimCSE および CLIP に基づく並列クロスモー

ここで，dR は RoBERTa の出力次元を指し，文埋めダル特徴抽出機構を導入する．

込みは RoBERTa の出力した [CLS] トークンから得• Polos を学習するため，13 万の人間による評価を含むデータセット Polaris を構築する．

た．続いて，CLIP のテキストエンコーダを用いて，(i)xcand , xref から，それぞれ文埋め込み cclip ∈ RdCLIP• Composite, PASCAL-50S, FOIL, Flickr8K-Expert,

および rclip ∈ RdCLIP を得る．ここで，dCLIP は CLIP

Flickr8K-CF, Polaris に お い て 既 存 手 法 を 上 回の出力次元を指す．また，CLIP の画像エンコーダ

る結果を得た．

(ViT-B/16) より，ximg から v ∈ RdCLIP を抽出する．

提案手法

2.2

(i)

‌

‌

(i)

並列クロスモーダル特徴抽出機構

本研究では，画像キャプション生成タスクにおけ

本 研 究 で は，M2 LHF に 効 果 的 な 特 徴 抽 出 器 とる教師あり自動評価尺度 Polos を提案する．図 2 にし て，並 列 ク ロ ス モ ー ダ ル 特 徴 抽 出 機 構 を 導 入提案手法のモデル図を示す．また，人間のフィーする．本機構は，アダマール積と差分を使用する

ドバックに基づく自動評価尺度を構築するための

RUSE [14, 15] をマルチモダリティへと拡張した機構

フレームワーク M2 LHF を提案する．本手法は，機である．CLIP の学習において，対応する画像と文

械翻訳における自動評価尺度である COMET [14] や
RUSE [15] をマルチモダリティへと拡張した手法である．提案手法は M2 LHF に基づき，入力 x から評
価値 ŷ を計算し，人間による評価 y を直接回帰する．
ここで，文埋め込みの生成方法には十分留意するのコサイン類似度を最小化するよう設計されている点を考えると，アダマール積を CLIP 特徴量に適用することは有用であると考えられる．また，差分やアダマール積はベクトル同士における要素間の増幅や減衰を捉えることが出来るため，類似度をスカ― 2818 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

ラではなくベクトルで表現することができる．したComposite

Flickr8K(Expert)Flickr8K
Polaris(CF)

BLEU [1]

30.6

30.8

16.4

46.3

がって，本機構では，アダマール積と差分を使用することで，画像キャプション生成の評価において有用な特徴量を CLIP および RoBERTa から抽出できる

Classic metrics
ROUGE [3]

32.4

32.3

19.9

46.3

CIDEr [4]METEOR [2]

37.7
38.9

43.9
41.8

24.6
22.2

52.1
51.2

SPICE [5]

40.3

44.9

24.4

51.0

SPARCS [30]

43.1

48.1

10.4

43.3

MoverScore [8]

30.1

46.7

22.8

46.4

BERTScore [7]

30.1

46.7

22.8

51.6

BARTScore [31]

43.5

37.8

24.3

47.3

LEIC [32]

–

–

29.5

–

TIGEr [33]

45.4

–

–

–

ViLBERTScore [9]

52.4

50.1

–

–

CLIP-S [6]

53.8

51.2

34.4

52.3

続いて，hinter より，MLP を用いて i 番目の参照
文における類似度 h(i) を計算する．ここで，本研究

RefCLIP-S [6]

55.4

53.0

36.4

52.3

MID [34]

55.7

54.9

37.3

51.3

では事前実験により，MLP が Transformer [17] より

Learning-based metrics

も高い性能が得られたため MLP を採用した．

PAC-S [16]UMIC [35]

55.7
56.1

54.3
46.8

36.0
30.1

52.5
49.8

RefPAC-S [16]

57.3

55.9

37.6

56.0

と考えられる．
はじめに，本機構では次に示す入力
{
}
(i)
(i)
cclip , rclip , crb , rrb , v(1)

Similarity-based metrics(i)より，hinter を次式のように計算する．
(i)

(i)

(i)

hinter = [F (cclip , rclip ); F (cclip , v); F (crb , rrb )] (2)
ここで，F はアダマール積 ⊙ を用いて以下のように定義された関数である．
F (c, r) = [c; r; |c − r|; c ⊙ r]

(3)

(i)

最後に，評価値 ŷ を次のように計算する．
(i)ŷ = Aggregate(σ(MLP(h )))(4)iPolos (Ours)

ここで，σ はシグモイド関数を指し，Aggregate は任

57.6

56.4

37.8

57.8

(+0.3)(+0.5)(+0.2)(+1.8)

表 1: 定量的結果 (Kendall’s τ )意の写像 f : RN → R を指す．Aggregate 関数には，Max 関数や Mean 関数などが考えられ，本研究ではMax 関数を採用した．さらに損失関数には，回帰問

BLIPlarge [22], GIT [23], OFA [24], BLIP-2ﬂan , BLIP-

題において標準的な損失である平均二乗誤差を用

2opt [25]. ここで，BLIPbase , BLIPlarge はそれぞれ，いた．

ViT-B および ViT-L を画像エンコーダに使用した

3

BLIP であり，BLIP-2ﬂan , BLIP-2opt はそれぞれ大規

実験設定

模言語モデルとして Flan-T5 [26] および OPT [27] を

本研究では，画像，キャプション，および人間に使用した BLIP-2 を指す．我々は，キャプションのよる評価で構成された Polaris データセットを構築

多様性を確保するため，最新のモデルだけでなくした．教師あり自動評価尺度の学習には多様なキャ

比較的性能の低いモデルも採用した．また，Polaris

プションおよび人間による評価が含まれた大規模

データセットには，前述の 10 個のモデルにおけるコーパスが不可欠である．しかし，我々の知る限

MS-COCO [28] および nocaps [29] の推論結果が含まり，そのようなデータセットは限られる．したがって，我々は 550 人の被験者から 131,020 の人間によれる．本研究では，キャプションの多様性を考慮る評価を収集し，Polaris データセットを構築した．

ラスが含まれている nocaps も採用した．

Polaris は現時点で最大規模のデータセット [13] の約10 倍のサンプルが含まれており，13 万サンプルの人間による評価および多様なキャプションで構成さし，MS-COCO に加え，MS-COCO よりも多様なク

実験結果

4

本研究では，Composite [13], Flickr8K [36], Flickr8KCF [36], PASCAL50-S [5], FOIL [37]，お よ び Polaris

れる．
Polaris データセットは次に示す 10 個の標準的なデータセットによる実験を行った．（PASCAL50-S

モデルの推論結果が含まれている: SAT [18], M -および FOIL における実験結果は付録 A.1 に示す．）

Transformer [19], VinVL [20], GRIT [21], BLIPbase ,表 1 に，Composite, Flickr8K, Flickr8K-CF, Polaris にお2― 2819 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

White plate full offries next to a
sandwich.

(a)a close-up of asandwich andsome fries.

Human
0.750

Polos (Ours)
0.745

PAC-S
0.612

RefPAC-S
0.670

CLIP-S
0.402

RefCLIP-S
0.703

Metric P ximg CLIP RoBERTa Aggregate Composite Flickr8K Polaris(b)a bunch of
bananas are
hanging on atree.

Human Polos (Ours)
0.450
0.513
PAC-S
0.756

ける実験結果を示す．本実験では，先行研究 [5,6,34]と同様に，Flickr8K-CF においては τb (Kendall-B) を，
その他のデータセットにおいては τc (Kendall-C) を使用した．表より，提案手法における相関係数はComposite, Flickr8K-Expert, Flickr8K-CF, Polaris において，それぞれ 57.6, 56.4, 37.8, 57.8 であり，RefPAC-Sと比較して，0.3, 0.5, 0.2, 1.8 ポイント上回った．
図 3 に Polaris データセットにおける提案手法の成功例を示す．ここで，赤色と青色で示した尺度はそれぞれ，y に最も近い尺度および y と大きく乖離した尺度を指す．また，下線は xcand における重大な誤りを表す．図 3 (a) は，xcand が画像の内容を適切に捉えていたため，y が 0.750 であったサンプルである．本例では，CLIP-S が 0.402 と誤って評価していたのに対して，提案手法は 0.745 と適切な評価値を出力した．図 3 (b) は xcand が画像の内容を部分的に正しく捉えていた例である．本サンプルでは，画像から句 “hanging on a tree” が適切であるか不明瞭であるため，y は 0.450 であった．この例では，RefPAC-Sと RefCLIP-S がそれぞれ 0.825, 0.746 と xcand を過大評価していたのに対して，提案手法は 0.513 と適切な評価値を出力した．以上より，提案手法は人間による評価に近い値を出力したといえる．

39.3

41.0

51.4

Max

56.8

55.5

57.1

✓

Max

55.0

53.2

55.4

Max

56.0

55.0

57.4

✓

✓ ✓

✓

✓

Mean

55.1

55.4

52.1

(vi) ✓ ✓

✓

✓

Max

57.6

56.4

57.8

表 2: Ablation studies の結果．
り，Metric (i) は Metric (vi) と比較して，Composite,
Flickr8K, Polaris において，それぞれ 18.3, 15.4, 6.4 ポ
特徴抽出機構は性能向上に寄与したといえる．
M2 LHF ablation. M2 LHF の 性 能 向 上 へ の 寄(i)

与 を 調 査 す る た め，ximg , (cclip , {rclip }Ni=1 ) お よ び(i)(crb , {rrb }Ni=1 ) を 除 去 し た．ま ず，画 像 特 徴 量 の性能への寄与を調べるために ximg を除去した結果，Metric (ii) は Metric (vi) と比較して，Composite,
Flickr8K, Polaris において，それぞれ 0.4, 1.4, 0.7 ポイ
ント減少した．このことから，ximg は性能向上に寄与したといえる．続いて，各言語特徴量の性能への寄与を調べるため，CLIP および RoBERTa を除去した結果，Metric (iii) は，それぞれ 2.6, 3.2, 2.4 ポイ
ント減少した．同様に，RoBERTa を取り除くことでも，性能は低下した．これらの結果より，M2 LHF
は確かに性能へ寄与したといえる．
Aggregation mechanism ablation.

Aggregate 関数の性能への寄与を調べるため，Max 関数を Mean関数へと変更した．表 2 より，Metric (v) は Metric(vi) と比較して，Composite, Flickr8K, Polaris において，それぞれ 2.5, 1.0, 5.7 ポイント減少した．このことから，Max 関数の性能への寄与が確認できた．

おわりに

5

本 研 究 で は，画 像 キ ャ プ シ ョ ン 生 成 タ ス ク に
お け る 教 師 あ り 自 動 評 価 尺 度 Polos を 提 案 し た．
提案手法の新規性は次の通りである． (i) 人間の

Ablation Study

フィードバックに基づく自動評価尺度を構築す

本研究では，提案手法の有効性を調査するため，
ablation studies を行った．表 2 に ablation studies の結果を示す．ここで，‘P’ は並列クロスモーダル特徴抽出機構の有無を指す．
Parallel feature extraction ablation.

Max✓

イント減少した．したがって，並列クロスモーダル

図 3: 提案手法の成功例．

4.1

✓

✓

(iv) ✓ ✓RefPAC-S
0.825

CLIP-S RefCLIP-S
0.562
0.746

✓

(iii) ✓
(v)

A framed pictureof a bunch of
bananas.

✓(i)(ii) ✓

並列クロス

モーダル特徴抽出機構の性能への寄与を調べるため，アダマール積と差分による処理を取り除いた．

るためのフレームワーク M2 LHF を提案した．(ii)
SimCSE および CLIP に基づく並列クロスモーダル
特徴抽出機構を導入した．(iii) Polos を学習するため，13 万の人間による評価で構成されたデータセッ
ト Polaris を構築した．(iv) Composite, PASCAL-50S,
FOIL, Flickr8K-Expert, Flickr8K-CF, Polaris において既存手法を上回る結果を得た．

具体的には，F (c, r) ← [c; r] へと変更した．表 2 よ― 2820 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

謝辞
本研究は，Apple 社の助成を受けて実施された．

[17]

本研究で述べられた見解，意見，発見，結論および推奨は全て著者らのものであり，明示的または暗黙[18]

的を問わず，Apple 社の見解，方針または立場を反映するものではない．また，本研究の一部は，JSPS[19]

科研費 23H03478，JST CREST，NEDO の助成を受け[20]て実施されたものである．

参考文献

[21]

[1] Kishore Papineni, Salim Roukos, Todd Ward, and Wei Zhu.
BLEU: a Method for Automatic Evaluation of MachineTranslation. In ACL, pp. 311–318, 2002. 1, 3, 6
[2] Satanjeev Banerjee, et al. METEOR: An Automatic Metricfor MT Evaluation with Improved Correlation with Human
Judgments. In ACL, pp. 65–72, 2005. 1, 3, 6
[3] Chin Lin. ROUGE: A Package For Automatic Evaluation
Of Summaries. In ACL, pp. 74–81, 2004. 1, 3, 6
[4] Ramakrishna Vedantam, Lawrence Zitnick, and Devi
Parikh. CIDEr: Consensus-based Image Description Evaluation. In CVPR, pp. 4566–4575, 2015. 1, 3, 6
[5] Peter Anderson, Basura Fernando, Mark Johnson, et al.
SPICE: Semantic Propositional Image Caption Evaluation.
In ECCV, pp. 382–398, 2016. 1, 3, 4, 6
[6] Jack Hessel, Ari Holtzman, et al. CLIPScore: A
Reference-free Evaluation Metric for Image Captioning.
In EMNLP, pp. 7514–7528, 2021. 1, 3, 4, 6
[7] Tianyi Zhang, et al. BERTScore: Evaluating Text Generation with BERT. In ICLR, 2020. 1, 3, 6
[8] Wei Zhao, et al. MoverScore: Text Generation Evaluating with Contextualized Embeddings and Earth Mover
Distance. In EMNLP-IJCNLP, pp. 563–578, 2019. 1, 3, 6
[9] Hwanhee Lee, Seunghyun Yoon, et al. ViLBERTScore:
Evaluating Image Caption Using Vision-and-Language
BERT. In Eval4NLP, pp. 34–39. 1, 3, 6
[10] Tianyu Gao, Xingcheng Yao, and Danqi Chen. SimCSE:
Simple Contrastive Learning of Sentence Embeddings. In
EMNLP, pp. 6894–6910, 2021. 1, 2
[11] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, et al.
RoBERTa: A Robustly Optimized BERT Pretraining Approach. arXiv preprint arXiv:1907.11692, 2019. 1, 2
[12] Alec Radford, Jong Wook Kim, Chris Hallacy, et al. Learning Transferable Visual Models from Natural Language
Supervision. In ICML, pp. 8748–8763, 2021. 1, 2
[13] Somak Aditya, Yezhou Yang, Chitta Baral, et al. From
Images to Sentences through Scene Description Graphs
using Commonsense Reasoning and Knowledge. arXiv
preprint arXiv:1511.03292, 2015. 1, 3, 6
[14] Ricardo Rei, et al. COMET: A Neural Framework for MT
Evaluation. In EMNLP, pp. 2685–2702, 2020. 2[15] Hiroki Shimanaka, et al. RUSE: Regressor Using Sentence
Embeddings for Automatic Machine Translation Evaluation. In WMT18, pp. 751–758, 2018. 2[16] Sara Sarto, et al. Positive-Augmented Contrastive Learn-

[22]

[23]
[24]

[25]

[26]

[27]

[28]
[29]
[30]

[31]

[32]
[33]
[34]

[35]

[36]

[37]

― 2821 ―ing for Image and Video Captioning Evaluation. In CVPR,
pp. 6914–6924, 2023. 2, 3, 6
Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob
Uszkoreit, Llion Jones, et al. Attention Is All You Need.
In NIPS, Vol. 30, pp. 5998–6008, 2017. 3
Kelvin Xu, Jimmy Ba, Ryan Kiros, et al. Show, Attend
and Tell: Neural Image Caption Generation with Visual
Attention. In ICML, pp. 2048–2057, 2015. 3
Marcella Cornia, et al. Meshed-Memory Transformer for
Image Captioning. In CVPR, pp. 10578–10587, 2020. 3
Pengchuan Zhang, Xiujun Li, Xiaowei Hu, et al. VinVL:
Revisiting Visual Representations in Vision-language
Models. In CVPR, pp. 5579–5588, 2021. 3
Masanori Suganuma, Takayuki Okatani, et al. GRIT: Fasterand Better Image Captioning Transformer Using Dual Visual Features. In ECCV, pp. 167–184, 2022. 3
Junnan Li, et al. BLIP: Bootstrapping Language-image
Pre-training for Uniﬁed Vision-language Understanding
and Generation. In ICML, pp. 12888–12900, 2022. 3
Jianfeng Wang, et al. GIT: A Generative Image-to-text
Transformer for Vision and Language. TMLR, 2022. 3
Peng Wang, et al. OFA: Unifying Architectures, Tasks,
and Modalities Through a Simple Sequence-to-sequence
Learning Framework. In ICML. 3
Junnan Li, Dongxu Li, et al. BLIP-2: Bootstrapping
Language-Image Pre-training with Frozen Image Encoders
and Large Language Models. In ICML, 2023. 3
Hyung Chung, Le Hou, Shayne Longpre, Barret Zoph,
Yi Tay, et al. Scaling Instruction-ﬁnetuned Language Models. arXiv preprint arXiv:2210.11416, 2022. 3
Susan Zhang, Stephen Roller, et al. OPT: Open Pretrained Transformer Language Models. arXiv preprint
arXiv:2205.01068, 2022. 3
Tsung Lin, et al. Microsoft COCO: Common Objects inContext. In ECCV, pp. 740–755, 2014. 3
Harsh Agrawal, Karan Desai, et al. nocaps: Novel Object
Captioning at Scale. In ICCV, pp. 8948–8957, 2019. 3
Joshua Feinglass, et al. SMURF: SeMantic and linguistic
UndeRstanding Fusion for Caption Evaluation via Typicality Analysis. In IJCNLP, pp. 2250–2260, 2021. 3
Weizhe Yuan, Graham Neubig, et al. BARTScore: Evaluating Generated Text as Text Generation. In NeurIPS,
Vol. 34, pp. 27263–27277, 2021. 3, 6
Yin Cui, Guandao Yang, et al. Learning to Evaluate Image
Captioning. In CVPR, pp. 5804–5812, 2018. 3
Ming Jiang, et al. TIGEr: Text-to-image Grounding For
Image Caption Evaluation. In EMNLP, 2019. 3, 6
Jin Kim, et al. Mutual Information Divergence: A Uniﬁed
Metric for Multimodal Generative Models. In NeurIPS,
Vol. 35, pp. 35072–35086, 2022. 3, 4, 6
Hwanhee Lee, Seunghyun Yoon, et al. UMIC: An Unreferenced Metric for Image Captioning via Contrastive
Learning. In ACL, pp. 220–226, 2021. 3, 6
Micah Hodosh, et al. Framing Image Description as a
Ranking Task: Data, Models and Evaluation Metrics.
JAIR, Vol. 47, pp. 853–899, 2013. 3, 6
Ravi Shekhar, Sandro Pezzelle, Yauhen Klimovich, et al.
FOIL it! Find One Mismatch Between Image and Language caption. In ACL, pp. 255–265, 2017. 3, 6

This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

A

付録

A.1

実験結果

おいて，それぞれ 70.0%, 79.0%, 86.5% であり，既存手法と比較して，それぞれ 3.0, 1.2, 1.3 ポイント上回った．以上より，提案手法が PASCAL-50S の 3 カ
テゴリにおいて既存手法を上回る結果を得たことを本研究では，Composite [13], Flickr8K [36], Flickr8K-

確認できた．

CF [36], Polaris に加えて，PASCAL50-S [5], FOIL [37]においても実験を行った．PASCAL-50S は画像キャ

A.1.2

FOIL における実験結果

プション生成の自動評価尺度構築における標準的

1-ref 4-ref

なベ ン チ マー ク で あ り，FOIL は 自 動 評 価 尺 度 がhallucination を適切に対処可能であることを検証するための標準的なデータセットである．
A.1.1

PASCAL-50S における実験結果
HC

HI

HM

MM

Mean

BLEU [1]

60.4

90.6

84.9

54.7

72.7

METEOR [2]

63.8

97.7

93.7

65.4

80.2

ROUGE [3]

63.7

95.3

92.3

61.2

78.1

Classic metrics

BLEU [1]

66.5

82.6

ROUGE [3]

71.7

79.3

METEOR [2]

78.8

82.6

CIDEr [4]

82.5

90.6

SPICE [5]

75.5

86.1

BARTScore [31]MoverScore [8]

85.3
88.4

91.1
88.4

BERTScore [7]

88.6

92.1

CLIP-S [6]

87.2

87.2

90.5

90.5

SPICE [5]

63.6

96.3

86.7

68.3

78.7

MID [34]

CIDEr [4]

65.1

98.1

90.5

64.8

79.6

PAC-S [16]

89.9

89.9

RefCLIP-S [6]

91.0

92.6

Similarity-based metrics
ViLBERTScore [9]

49.9

99.6

93.1

75.8

79.6

RefPAC-S [16]

93.7

94.9

BERTScore [7]

65.4

98.1

96.4

60.3

80.1

Polos (Ours)

93.3

95.4

MoverScore [8]TIGEr [33]

65.1
56.0

97.1 93.2
99.8 92.8

65.6
74.2

80.3
80.7

表 4: FOIL における実験結果．

CLIP-S [6]

56.5

99.3

96.4

70.4

80.7

RefCLIP-S [6]

64.5

99.6

95.4

72.8

83.1

MID [34]

67.0

99.7

97.4

76.8

85.2

本研究では，提案尺度が hallucination を適切に対処可能か確認するため，FOIL データセットによる

PAC-S [16]

60.6

99.3

96.9

72.9

82.4

実験を行った．本実験においても，先行研究 [6] と同様に，それぞれ 1 文および 4 文の参照文群が付与

RefPAC-S [16]67.7

99.6 96.0

75.6

84.7

された 3 万枚の画像を用いて評価を行った．

UMIC [35]66.1

99.8 98.1

76.2

85.1

表 4 に FOIL データセットにおける定量的結果

70.0

99.6 97.4

79.0

86.5

を示す．提案手法の性能は，1 文および 4 文の参照(+1.2) (+1.3)

文群が付与された設定において，それぞれ 93.3%とLearning-based metrics

Polos (Ours)(+3.0)

表 3: Pascal50-S における実験結果.

95.4%であり，特に後者の設定において，RefPAC-S
を 0.8 ポイント上回った．したがって，表 1, 3, 4 よPASCAL-50S [4] は，与えられた 2 文の組のうち，り，提案手法が既存手法を上回る結果を得たこと，

人間による評価が高い文を特定するタスクである．

および hallucination を適切に対処可能であることを具体的には，HC (正しい人間による文の組), HI (正確認できた．

しい人間による文と誤った文の組), HM (人間による文と自動生成された文の組), MM (両者とも自動生成された文の組) の 4 つのカテゴリそれぞれにおいて，人間による評価の高い文を特定するタスクである．
本研究では，[6] と同様に，48 文のキャプションから無作為に選択された 5 文を用いて評価を行った．
表 3 に PASCAL-50S における実験結果を示す．表より，提案手法の性能は HC，MM，および Mean に― 2822 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).