言語処理学会 第30回年次大会 発表論文集（2024年3月）

拡散過程を用いたキャプション生成における分類器導入の精度への影響の検証
平野理子 1 小林一郎 1
1 お茶の水女子大学{g1920535, koba}@is.ocha.ac.jp

関連研究

概要

2

近年，拡散過程を用いた生成モデルは連続領域において最先端の性能を達成しており，離散データ生成においても盛んに研究が行われている．本研究では，拡散言語モデルを使って自然言語処理タスクの一つであるキャプション生成に取り組み，精度向上を目的に画像による制御を言語モデルとは別の構成要素（分類器）によって行う手法と言語モデルのみで実現する手法の性能の違いについて検証を行なった．実験で測定された精度に関して提案手法は比較手法を上回ることができなかったが，提案手法によって画像の内容に応じたキャプションが一定の精度で生成できることを確認した．

拡散モデルによる画像生成 Stable Diﬀusion [4]や DALL・E2 [1] は拡散過程を用いて画像を生成するモデルである．これらは与えられたテキストからその内容に従った画像を生成するタスクや画像から画像への変換タスクなどにおいて，非常に高い精度を達成している．Stable Diﬀusion はノイズ除去
ネットワーク内の U-Net 層にてテキストプロンプトを Cross-Attention を使用して Transformer [5] に条件づけることで，入力テキストに応じた画像生成を可能にしている．
拡 散 過 程 を 用 い た seq2seq 自 然 言 語 文 生 成DiﬀusionLM [2] は生成文に小さな制約をかけることに成功したが，より高難度な条件を与える seq2seq
タスクにおいても拡散過程を用いたモデルは高い性能を示している．SeqDiﬀSeq [3] はその一例で，新しいノイズスケジュールを提案しテキストの品質と推論時間に関して他の拡散ベースのモデルと比較して多くの seq2seq 生成タスクの性能を向上させた．
ノイズ除去ネットワークにはフルアテンションのBART decoder [6] を使っており，ソースシーケンスも入力として与えることで分類器を含まないモデル
構造 (Classiﬁer free) になっている．
SSD-LM 拡散言語モデルであり，革新的な二つの大きな特徴を持つ．一つ目は，多くの拡散言語モ
デルはシーケンス全体を一度に生成する非自己回帰的である一方，SSD-LM [7] では半自己回帰的にシーケンス内でトークンを左から右に生成することで出力の長さの柔軟性が向上している．また一般的な自己回帰言語モデルと同じトークナイザーを採用することで，追加の学習なしで外部の既製分類器を使った制御を可能としている．実際に条件付き条件付きでないテキスト生成どちらにおいても競合ベースラインを上回り，高いモジュール性も備えている．

1

はじめに

自然言語文生成においては，汎用言語モデルの出現により言語モデル中心の文生成が主流となっている．一方，近年，画像生成においては，拡散過程（Diﬀusion Process， DP）を採用した手法が，敵対的生成ネットワーク（GAN）による従来の最高性能を超える画像の生成を可能にした [1]．また Li ら [2]によって，本来連続的な情報を扱う DP に対して離散情報である自然言語を扱えるようにした Diﬀusion
Language Model (DLM) が提案されており，従来の最高性能を超えるような制御可能な自然言語文生成の可能性が示されている．この拡散過程を使った制御可能な自然言語文生成を可能とした先行研究 [2] では，外部の構成要素（分類器）を導入し制御を行い良い精度を達成している一方，分類器を使用せずに良い精度を達成している拡散過程を用いた制御可能な自然言語文生成手法も提案されている [3]．これら背景を踏まえ，本研究は拡散過程を用いた画像キャプショニング手法の開発，また分類器の導入の有無による精度への影響の調査を目的とする．

― 1947 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

3

拡散過程を用いたキャプション
生成

3.1

3.3

分類器を使用する手法

分類器

提案手法

分類器の役割は，DLM が自然言語文をサンプルする過程の中で反復的に生成する潜在変数

本研究は拡散過程を用いたキャプション生成手法に対して勾配更新を行うことにより，最終的に生成の開発と精度向上に取り組んでおり，画像による制される自然言語文を制御することである．このよう御の方法として言語モデルとは別の構成要素となるな条件 𝑐 を満たすように潜在変数 x0:𝑇 を制御するモ分類器（Classiﬁer）を導入する場合としない場合のデルは式 (2) で表せる．本研究で条件 𝑐 とは画像，二つの手法を提案し，精度や結果の比較を行う．導

特に画像特徴量のことを指す．

入をする場合，提案モデルは拡散過程に基づく言語
𝑝(x0:𝑇 |𝑐) =モデル (DLM:Diﬀusion Language Model) と分類器の二つの要素から構成され，DLM の自然言語文生成過程を分類器で制御することによって画像の内容を報を渡すことで，入力画像に応じた制御を行う．

𝑝(x𝑡 −1 |x𝑡 ，𝑐)

(2)

𝑡=1

右辺の確率を分解すると，
𝑝(x𝑡 −1 |x𝑡 ，𝑐) ∝ 𝑝(x𝑡 −1 |x𝑡 ) · 𝑝(𝑐|x𝑡 −1 ，x𝑡 )説明するキャプションを生成する．分類器を導入しない場合においては，DLM 内のノイズ除去ネット
ワーク (DNN:Denoising Neural Network) に画像の情𝑇∏= 𝑝(x𝑡 −1 |x𝑡 ) · 𝑝(𝑐|x𝑡 −1 )(3)

式 (3) 右辺第一因子の各タイムステップでのノイズの除去 𝑝(x𝑡 −1 |x𝑡 ) は DLM によってパラメータ化す拡散過程に基づく言語モデル (DLM)

る. つまり式 (3) 右辺第二因子のデータにノイズのDLM とは拡散過程を用いた非自己回帰の言語モ乗った状態 x𝑡 から制御条件 𝑐 への変換 𝑝(𝑐|x𝑡 −1 ) が3.2

デルのことである．DLM を構築するには標準的な連続状態を扱う拡散モデルに幾つかの修正を加える必要があり，埋め込みと丸め込みの過程の導入がその一つである．埋め込み関数を定義することで離散データであるテキストを連続空間に写像し，丸め込み過程によって連続空間のベクトルを単語を表すベクトルに変換する．DLM の学習の対象はピュアなノイズからノイズを徐々に除去し，最終的に流暢性のある自然言語文を生成する過程である．つまり各タイムステップにおけるノイズの除去 𝑝(x𝑡 −1 |x𝑡 ) を分類器の学習対象である．
学習過程

ワーク 𝑓 (x𝑡 ，𝑡) の出力を使用するため，DLM と分類器は同時に学習を行う．具体的には，分類器はノイズの乗った状態 x𝑡 から 𝑓 (x𝑡 ，𝑡) が推測するノイズの乗る前の状態 x0 を入力として受け取り，これから線形回帰で画像特徴量を予測する．予測画像特徴量𝑐˜ と正解画像特徴量 𝑐 間の二乗平均誤差を DLM の損失関数の式 (1) に追加することで（式 (4)），DLMと分類器の同時学習を実現している．
𝐿 DLM&Classﬁer = 𝐿 DLM + 𝐿 MSE ( 𝑐,˜ 𝑐)実現する際，必要となるパラメータを学習する．具体的な学習の流れとしては，まず学習テキストデータをトークン化し，各トークンをベクトル空間に埋め込む．サンプリングされたタイムステップ 𝑡 によって決められる量のノイズを埋め込み表現に乗せ，ノイズの乗った状態 x𝑡 にする．ノイズの乗った状態 x𝑡 とタイムステップ 𝑡 をノイズ除去ネットワー
ク 𝑓 (x𝑡 ，𝑡) に与え，元のノイズの乗っていない状態のデータ x0 を推測させる．推測した x0 から丸め込んだトークン列 𝑤 も求め，損失関数 (式 (1)) に従ってこれらと元のデータとの損失を計算する．

生成過程(4)

分類器を導入する場合，DLM の生成過程を分類器が制御することで画像に応じた自然言語文が生成される (図 1)．具体的な流れとしては，
まず入力としてガウシアンノイズ x𝑇 と画像をモデルに与え，𝑡 = 𝑇 から 1 までの各タイムステップにおいて次の流れを繰り返す．ノイズの乗った状態 x𝑡から学習をさせた DLM 内のノイズ除去ネットワー
ク 𝑓 (x𝑡 , 𝑡) を使って言語特徴量 x0 を抽出させる．抽出された言語特徴量から分類器によって予測画像特徴量 𝑐˜ を求め，その予測画像特徴量と正解画像特徴𝑇[]∑𝐿 DLM = 𝔼𝑞 𝜙 (x0:𝑇 |w) ∥ 𝝁˜ 𝑡 (x𝑡 ; x0 ) ∥ 2 +[∥x0 − 𝑓 (x𝑡 , 𝑡)∥ 2 ]𝑡=2

分類器は DLM 内のノイズ除去ネット[]+ 𝔼𝑞 𝜙 (x0:1 |w) ∥w − 𝑓 (x1 , 1)∥ 2 + log 𝑝 𝜃 (w|x0 ) (1)量間の二乗平均誤差と x𝑡 にのっているノイズの量の和から勾配を求め x𝑡 を更新する．更新した x𝑡 と更新された x𝑡 から改めて推定した x0 を使って，1タイムステップノイズを除去した状態 x𝑡 −1 をサンプ

― 1948 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

ガウシアンノイズ
𝑥"

𝑥!$%

𝑥#𝑤

丸め込み行った．残りの 5,000 枚をテストデータとし評価を

出⼒

DNN𝑓(𝑥! , 𝑡)

⼊⼒

枚を評価データとしこれを用いてパラメータ調整を

テキスト

ノイズを除去𝑥!

行う．DLM の学習時語彙数は 13,461，埋め込み次元

White houseand palm trees𝑥##は 256 に設定されている．また DLM 内の DNN(ノ勾配更新

イズ除去ネットワーク) には BERT Encoder [5] を使
正解画像特徴量

予測画像特徴量用しており，画像から特徴量を抽出する手法には損失

図1

分類器を使用した際のキャプション生成の流れ

ガウシアンノイズ𝑥"

ノイズを除去𝑥!

⼊⼒𝑥#

QKVて，生 成 さ れ た キ ャ プ シ ョ ン を 品 質 と 多 様 性 の出⼒

2 つの側面から評価する．品質の評価としては 5White houseand palm trees⋮QKV

つ の 評 価 指 標 を 導 入 し て い る．ま ず 画 像 キ ャ プ
ショニングの標準的な評価方法に従って 4 つの𝑓(𝑥! , 𝑡, 画像特徴量)𝑥##

図2

評価指標 BLEU [13]，METEOR [14]，ROUGE-L [15]，分類器を使用しない場合のキャプション生成の流れリングする．この流れを反復的に各タイムステップで実行し，最終的に画像に応じたキャプションの生成を実現している．

分 類 器 を 使 用 し な い 手 法 (Classiﬁer

3.4

他の手法と提案手法の性能比較とし𝑤

丸め込み

DNN(画像特徴量)

評価指標

テキスト𝑥!$%

BLIP [12] を採用している．

Free)
続いて分類器を導入しない手法について説明をする．制御を行う外部要素がない場合，画像による制御を行うために単純に DLM 内のノイズ除去ネットワークに画像特徴量 𝑐 を条件として与える．

CIDEr [16] を用いる．BLEU や METEOR は機械翻訳，ROUGE-L は要約，CIDEr は画像キャプショニ
ングタスクによく使われる評価指標である. これらは生成文と正解文の間の文字列類似性を図るため，意味的類似性の評価を目的に BERTScore [17] を導入する．続いて多様性の指標として 3 つ導入をしている．一つ目の dist-1 は各生成文内の多様性を測定するものであり，値が低いと生成文に繰り返しの単語がより含まれていることを示唆する．続いて文レベルの自己 BLEU を使って文レベルの多様性を評価する．これは 1 つの画像からの出力セットにおけるx˜0 ≈ 𝑓 (x𝑡 , 𝑡, 𝑐)n-gram 重複を測定するもので，値が低いことは多ノイズ除去ネットワークに画像特徴量 𝑐 を条件付様性が高いと考えられる．最後に出力セット内の異けする方法として，ネットワーク内の Multi-Headなる 4-gram の比率を表す多様な 4-gram (div-4) を計

Attention 層において Cross-Attention を導入している．

算する．提案手法についてひとつの画像ごとに 5 つのサンプルを生成し多様性の評価指標を計算してつまりノイズの乗った状態 x𝑡 と画像特徴量 𝑐 から，
𝑄 = x𝑡 · 𝑊𝑄 , 𝐾 = 𝑐 · 𝑊𝐾 , 𝑉 = 𝑐 · 𝑊𝑉 として 𝑄, 𝐾, 𝑉 を用意する．このようにすることで DLM 内の潜在変いる．
比較手法

比較手法として 3 つの手法，OFA [8]，数に画像の情報が注入されるようになっている (図LaBERT [9] と DDCap [10] を使って性能を比較する．

2)．

OFA は現在の SOTA な画像キャプショニング手法の一つであり，モダリティ (画像や言語) とタスクを実験4統合して扱う seq2seq モデルである．LaBERT は文

本実験の目的は提案手法を用いて入力画像から実長制御が可能な DLM と同じく非自己回帰的にキャ際に生成されるキャプションの精度を求め評価を行うことで, 分類器の導入の有無による精度の違いをプションを生成する．DDCap は拡散過程を用いて検証することである．

法である．提案手法の DLM では内部のデータは連4.1

続状態であるのに対し，DDCap はデータを離散状態実験設定

データセットキャプション生成に取り組んでいる Classiﬁer free 手のまま DLM 内で取り扱う．
デ ー タ セ ッ ト に は，MicrosoftCOCO1）を使用する. 広く使われている Karpathy 分
割方法 [11] に従って 113,287 枚を学習データ，5,000
1） https://cocodataset.org/#home

4.2

結果

評価指標において，提案手法は分類器の有無に関わらず比較手法と比べて良い精度を達成することは― 1949 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

表 1 実験結果
分類器 Bleu-4 ↑ METEOR ↑ ROUGEL ↑ CIDEr ↑ BERTScore ↑ dist1 ↑ selfBleu ↓ div4 ↑ length
OFA [8]LaBERT [9]DDCap [10]提案手法
有無0.424
0.306
0.350
0.191
0.192

0.312
0.254
0.282
0.239
0.206
表2

0.613
0.548
0.574
0.514
0.498

1.451
1.028
1.178
0.688
0.594

0.782
0.786
0.711
0.696

0.861
0.894
0.933
0.893

0.01170.0128

0.980
0.989

9.71
8.89
12.46
11.04

分類器の有無による生成キャプション例の比較

有:A man holding a plate of food standing in a kitchen.
無:A man that is sitting on in a kitchen.

有:A piece of pizza sitting on top of a green plate.
無:A cup of on a plate near a.

有:a man sitting on a bench reading a book
無:A bench on the edge of a park bench.

有:A man riding a motorcycle down a drive.
無:A man riding a motorcycle down the street.

有:Two young people sitting on a court is tire.
無:A group of people sitting around a bench or UNK.

有:A bird perched on a branches of a tree forest in Michael.
無:A bird sitting on top of a tree.

有:A classroom vintage of luggage two pieces of various suitcases
無:A luggage suitcase is out in the middle of the luggage.

有:A papers of buses that are parked on the ground.
無:A city is down the street.

できなかった．特に質を評価する指標の数値に関しては差が大きくあり，実際に提案手法によって生成されたキャプションは文法の誤りが多く見受けられ理方法について修正が必要であると考えている．

まとめ5たり流暢性に欠けていたりすることが確認できる．

拡散過程を用いた生成モデルは，ピュアなノイズ分類器を使用する手法では言語モデルと分類器は同から反復的に少しずつノイズを除去することで，最時に学習を行なったため言語モデルの学習へ悪影響

終的にデータをサンプルする. 本研究では拡散過程があった可能性がある．同様に分類器を使用しないを用いた画像キャプショニング手法を開発し，また手法においては，DLM 内のノイズ除去ネットワー
クに画像特徴量も追加して与えることは生成される分類器の導入の有無による精度の比較を行った．実際に画像からキャプションを生成する実験を通しテキストの流暢性の低下につながることが示唆されて，分類器を導入しない手法よりも分類器を使用しる．提案手法については分類器を導入し制御を行うて制御を行う手法の方が評価指標において高い精度方法がより良い性能を持つことが分かった．ノイズを達成することを確認した．また分類器の導入の有除去ネットワークに画像の情報を渡す分類器を使用

無に関わらず，提案手法は拡散過程を用いて画像かしない手法より，生成時に複数回画像特徴量を使っら画像の内容を適切に捉えたキャプションを一定のて DLM 内の潜在変数を更新する分類器を用いた手精度で生成できることを示している．一方提案手法

法の方が生成されるテキストに画像の情報がより反は他の拡散言語モデルを使った画像キャプショニン映されると予測する．また生成キャプションの平均グ手法を含め比較手法と比べ良い精度を達成できて長から分類器を使用した場合により長いキャプショいない．今後は，言語モデル DLM 内のノイズ除去ンが生成される傾向があることがわかり，これが文ネットワーク (DNN) について様々な構造を試した

内の多様性を図る指標における良い値に寄与したこり，分類器を使わない場合において画像の特徴量のとが考えられる．分類器を使用しない手法によって生成されたキャプションのうち特に精度が悪いもの

DNN への入力の仕方を改良したり，提案手法の更なる精度の向上に取り組みたい.

は画像の内容を全く捉えてられていない場合が見受けられる (左一番下)．DLM 内での画像特徴量の処― 1950 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

謝辞
本研究は JSPS 科研費 18H05521 の助成を受けて行ったものです．

参考文献[1] Ramesh Aditya, et al. Hierarchical text-conditional image
generation with CLIP latents. CoRR, 2022.
[2] Xiang Lisa Li, et al. Diﬀusion-lm improves controllable
text generation. ArXiv, Vol. abs/2205.14217, , 2022.
[3] Yuan Hongyi, et al. Seqdiﬀuseq: Text diﬀusion withencoder-decoder transformers. ArXiv, 2022.
[4] Rombach Robin, et al. High-resolution image synthesis
with latent diﬀusion models. CoRR, 2021.
[5] Vaswani Ashish, et al. Attention is all you need. CoRR,Vol. abs/1706.03762, , 2017.
[6] Mike Lewis, et al. BART: Denoising sequence-tosequence pre-training for natural language generation,translation, and comprehension. 2020.
[7] Xiaochuang Han, et al. Ssd-lm: Semi-autoregressive
simplex-based diﬀusion language model for text generation and modular control. ACL: Annual Meeting of theAssociation for Computational Linguistics.
[8] Wang Peng, et al. Ofa: Unifying architectures, tasks, andmodalities through a simple sequence-to-sequence learning framework. CoRR, 2022.
[9] Chaorui Deng, et al. Length-controllable image captioning. arXiv preprint arXiv:2007.09580, 2020.
[10] Zixin Zhu, et al. Exploring discrete diﬀusion models
for image captioning. arXiv preprint arXiv:2211.11694,2022.
[11] Karpathy Andrej, et al. Deep visual-semantic alignments for generating image descriptions. CoRR, Vol.
abs/1412.2306, , 2014.
[12] Junnan Li, Dongxu Li, Caiming Xiong, and Steven Hoi.
Blip: Bootstrapping language-image pre-training for uniﬁed vision-language understanding and generation. InICML, 2022.
[13] Kishore Papineni, et al. Bleu: a method for automatic
evaluation of machine translation. In Proceedings of the40th Annual Meeting of the Association for Computational Linguistics, 2002.

[14] Satanjeev Banerjee, et al. METEOR: An automatic metricfor MT evaluation with improved correlation with humanjudgments. 2005.
[15] Unnat Jain, et al. Two can play this game: Visual dialog with discriminative question generation and answering.
2018.
[16] Ramakrishna Vedantam, et al. Cider: Consensus-based
image description evaluation. 2015.
[17] Zhang Tianyi, et al. Bertscore: Evaluating text generation
with bert. 2020.

― 1951 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).