社団法人 電子情報通信学会
THE INSTITUTE OF ELECTRONICS,
INFORMATION AND COMMUNICATION ENGINEERS

信学技報
TECHNICAL REPORT OF IEICE.

Stable Diﬀusion によるゼロショット画像領域分割
本部

勇真†

柳井 啓司†

E-mail: †honbu-y@mm.inf.uec.ac.jp, ††yanai@cs.uec.ac.jp
あらまし

近年研究されているセマンティックセグメンテーションでは，複数物体の領域分割によって自動運転など

様々なものに活用することができると考えられている．しかし，学習の際にピクセルレベルのアノテーションを含む大量の画像が必要になり，コストがかかる問題がある．そこで本研究では，大量の画像テキストペアデータを学習した stable diﬀusion を活用することで，追加の学習を必要とせずに，あらゆるクラスのセグメンテーションマスクを推論するネットワークを提案する．
キーワード

Zero-shot Segmentation, Diﬀusion Model, Vision-Language Model

1. は じ め にで事前学習したバックボーンの特徴とテキストの関係性を学習させることで，教師データで領域分割を可能とする手法である.

近年，深層学習の発展によりセマンティックセグメンテー

近年，大規模な画像テキストペアデータの類似度をニューラションの分野は大幅に性能が向上し，ここ数年では，大規模事

ルネットワークに学習させた大規模視覚言語モデルが注目さ

前学習モデルを再利用して学習コストを削減するタスクや，あれ，このモデルを使い様々なタスクを Zero-shot で解くというらゆるクラスに対応させるタスクが注目されている．ピクセル

傾向が深層学習ではトレンドになっている．その中の 1 つであ

レベルのアノテーションデータを使用せずにテキストのみでセる CLIP [1] は，最初に学習済みモデルが公開されたモデルであグメンテーションモデルを学習させるタスクである弱教師ありり，様々なタスクで使用されている．Zero-shot Segmentation に学習法であったり，分布外データに関する学習データを使用すも使用されており，Zhou ら [2] の MaskCLIP という手法では，ることなく，未知データに対するセグメンテーションを実現す

学習済みの CLIP を使用し，backbone で画像から特徴を抽出し，るゼロショット学習などの学習法があるが，これらの手法ではこの特徴マップに対して，ターゲットテキスト特徴を重みにし大規模事前学習モデルがセグメンテーションに特化していない

た畳み込み演算によって，Zero-shot でピクセル単位の分類を実ためアノテーションデータを用いた学習を必要とする問題があ現した手法である．本手法と同じくテキストのみからあらゆるり，依然として学習コストやアノテーションデータを作成する

クラスに対してセグメンテーションが可能になっている手法でコストの削減はできていない．

ある．さらに MaskCLIP では，MaskCLIP で生成したマスクをそこで本研究では，50 億もの画像テキストペアを学習した，
大規模な視覚言語拡散モデルである Stable Diﬀusion を使用する
ことで追加学習することなくセグメンテーションを可能にする手法を提案し，コスト削減の実現とその有用性を示す．
本論文の主な貢献は次の通りである．

• 追加学習を不要にすることで学習コスト及び，アノテー
ションデータ作成コストの削減．

• 大規模事前学習済みモデルを使用することによって，あらゆるクラスに対応したセグメンテーションモデルの実現

2. 関 連 研 究

疑似マスクとして DeepLabV3+ [3] を学習させることで高性能な Zero-shot Segmentation を実現した．

2. 2 拡散モデル
近年，拡散モデル (DM) が画像生成タスクで大きな成果を収めている．Ho ら [4] によって提案されたノイズ除去拡散確率モデル (DDPM) では，図 1 のように入力画像に連続的にガウシア
ンノイズノイズを与え，画像から各ステップのノイズをニュー
ラルネットワークで推定することで元画像を復元させることをを何回も繰り返し徐々にノイズを除去していくことによって画像を生成する手法であり，拡散モデルを急速に発展させたモデルである．

2. 1 Zero-shot Segmentation
Zero-shot Segmentation では，テキストデータのみで分布外データに対する領域分割を目的としている．このタスクでは，学習時と検証時のカテゴリには共通部分が存在しないため，検図 1: DDPM の有向グラフモデル.( [4] から引用)

証時の入力には未知のカテゴリのクエリ画像に対して，テキス
トが条件として与えられることで未知のカテゴリを領域分割す特に近年，Stable Diﬀusion はテキスト入力に沿った高品質なる. このネットワークでは，事前に同じドメインの大規模データ

画像を生成することができるモデルであるとして注目されてい—1—

る．Stable Diﬀusion は拡散モデルの一種である Latent Diﬀusion

メンテーションマスクに収束する．このモデルでは，拡散モデ

Model (LDM) [5] というモデルが使用されており，LDM では

ルの再学習は一切行われず，陰関数表現を実現するニューラル

入力画像を Variational Autoencoder (VAE) [6] で潜在空間に圧縮

ネットワークのみを学習する．しかし，この手法では画像毎にしたものに対してガウシアンノイズを付与し，様々な条件を最適化処理がされるため 1 枚当たり約 2 分ほど時間がかかって加えることのできる U-Net アーキテクチャを使ってノイズをしまう問題が発生する．本手法で提案するモデルでは拡散モデ除去し，デコーダーを使い画像へと復元させるモデルである．

ルの 1 ステップのみ，かつ別のネットワークの最適化を行わな

特に Latent Diﬀusion Model の LDM の条件付けに CLIP [1] といために，高速かつコスト削減を実現している．

呼ばれる大規模視覚言語モデルのテキストエンコーダ―を使用してテキストで潜在空間に対して条件付けを行い，さらにLAION-5B [7] と呼ばれる 50 億枚の画像テキストペアデータセットで学習させたものを Stable Diﬀusion と呼ぶ．

3. 手

法

本手法では，Stable Diﬀusion の U-Net に使用されている Trans-

former に注目し，条件ベクトルが与えられる Cross Attention を

現在では Stable Diﬀusion や Imagen [8] のような拡散モデル

使ってセグメンテーションを実現する．Stable Diﬀusion の Trans-

ベースのテキストから画像を生成するモデルを起点に，テキス

former Block は U-Net に複数存在し，各 Transformer で入力特徴

トのみでの画像編集 [9]〜[12]，テキストからの動画生成 [13]〜同士の Self-Attention と条件ベクトル φ (𝐶) との Cross-Attention[15]，物体検出 [16], セグメンテーション [17] など様々なタスクが組み込まれている．Cross-Attention では時間 T のノイズベクに拡散モデルが使用されてきている．

トル 𝑧𝑇 を U-Net( φ ) で抽出した入力特徴 φ (𝑧𝑇 ) に対してHertz ら [11] の提案した Prompt-to-prompt と呼ばれる手法で線形変換層 𝑙 𝑄 を使って Query とし，テキスト C の埋め込み

は，拡散モデルベースの画像生成モデルで使用されているアテンション層のクロスアテンションマップを利用して，図 2 のよ𝑓 (𝐶) を 2 つの線形変換層 𝑙𝑉 , 𝑙 𝐾 を使用して Key，Value とす√る．そして Key と Query の内積を取りスケーリング 𝑑 した後うな生成される画像の空間レイアウトや形状を制御する手法をに Softmax を計算したものが Attention Map として Value と積提案している．これによって，プロンプトのテキストのみを編を取り次の層への特徴として利用されていく仕組みになってい集することで様々な画像編集を可能としている．プロンプト内

る．この計算は以下の式 1, 式 2 や，図 2 の上段のように表されの単語の入れ替えを生成画像に反映する場合には，元画像のアる．そしてこの Attention Map は与えられたテキストのトーク

テンションマップを注入し，ターゲットのアテンションマップ

ン毎に得ることができる．

をオーバーライドすることによって実現した．また，単語を追加する場合には，プロンプトの変更されない部分に対応するア𝑄 = 𝑙 𝑄 ( φ (𝑧𝑇 )), 𝐾 = 𝑙 𝐾 ( 𝑓 (𝐶)), 𝑉 = 𝑙 𝑉 ( 𝑓 (𝐶))(1)

さらに，ある単語の意味を増幅/減衰させるために，対応するア𝑄𝐾 𝑇
𝐴𝑡𝑡𝑒𝑛𝑡𝑖𝑜𝑛𝑀𝑎 𝑝 = 𝑆𝑜 𝑓 𝑡𝑚𝑎𝑥( √ )𝑑テンションマップの重みを変更させる手法も提案している．本

提案する手法では Stable Diﬀusion で使用されるすべての Trans-

テンションマップのみを注入することによって実現している．

(2)

手法ではこの手法に触発され，精度高いアテンションマップの

former Block から Attention Map を抽出し Cross-Attention の確情報をセグメンテーションタスクに転用することができるので率マップ (CAPM) として使用する．

はないかと考えた．

さらに，Self-Attention 層に使用される Query と Key と Cross-Attention で生成されるクラスマスク (CA Map) を使ってセグメ
ンテーションマスクを洗練する Self-Attention Reﬁnement (SAR)
を提案する．まず最初に，図 3 の赤色の矢印で表される通り，

CAPM を argmax によってクラスマスク (CA Map) にする．次に図 3 の緑色の矢印に注目する．この部分では，すべての Self-

Attention 層で利用される Key を特徴マップに変換し，各クラ
スマスクの領域でクラスごとの平均ベクトルを計算し，画像
図 2: Hertz らの提案したネットワーク図 ( [11] から引用)

内のそのクラスを表現する代表ベクトル (Class vector) を生成する．それを新たな Key として式 2 と同様に Self-Attention のQuery 特徴を使用して，クラスごとに Attention Map を計算しBurgert らの Peekaboo [17] では，Stable Diﬀusion を使った

Self-Attention のクラスマスク (SA Map) の元となる確率マップ

Zero-shot セグメンテーション手法を提案している．まず，学習(SAPM) を計算する．そして最後に CAPM と SAPM を合計し可能なアルファマスクをセグメンテーション画像とみなし，こクラスマスクにすることで最終的なセグメンテーションマスク

のマスクをニューラルネットワークによってモデル化された陰が完成する． このモデルを StableSeg とする．

関数として表現する．そして，アルファ合成された画像とセグ

また，ノイズ除去のステップは time embedding=1 の 1 ステッ

メンテーションされる画像領域に関連するテキストプロンプト

プのみのアテンションマップを使用することで，1 枚当たり約に対して，dream loss と呼ばれるマッチングロスを使い，反復

2 秒以下でセグメンテーションすることができる．StableSeg の的に最適化する．最適化の結果，アルファマスクは最適なセグ

アーキテクチャは図 3 の通りである．

—2—表 1: 各データセットでの定量評価
PAS-20 PC-59 A-150 Stuﬀ City FoodPix FoodSeg
StableSeg

49.9

37.6

23.3

28.6

14.7

64.6

48.1

MaksCLIP

47.6

38.1

26.0

29.6

21.6

33.2

37.0

表 2: SAR の違いによる各データセットでの定量評価
PAS-20 PC-59 A-150 Stuﬀ City FoodPix FoodSeg

図 3: StableSeg のアーキテクチャ

また，Stable Diﬀusion では，プロンプトがトークンに分けら

w/ SAR

49.9

37.6

23.3

28.6

14.7

63.5

48.1

w/o SAR

47.2

31.0

19.4

25.4

12.7

53.8

39.3

表 3: pronpt engineering(p-eng) の違いによる定量評価 (mIoU)
PAS-20

れてトークンごとの別々のアテンションマップが生成されるため bedclothes などが bed と clothes に分けられてしまう問題がある．そのため StableSeg では，Prompt-engineering (p-eng) を

w/ p-eng

49.9

w/o p-eng

45.6

使用している．まず，トークンごとにテキストエンコーダで特徴にし，合計することで 1 つの特徴としてクラスアテンション
マップを生成した．さらに，セグメンテーションの対象は現実

表 4: self/cross attention map において異なるスケール使用時の定量評価 (mIoU)
PAS-20世界の画像であることから a photo of [prompt] とすることでよ
り良いテキスト特徴を生成した．

4. データセット

self
cross

PC-59

16

32

64

16

32

64

16

48.8

49.7

49.9 34.5

35.6

36.0

32

49.7

50.7

50.8 34.3

34.9

35.2

64

50.1

51.0

51.4 33.0

33.5

33.4

トで実験する．一般物体 20 クラスで構成されている Pascal

16

62.9

63.4

63.5 45.9

47.4

48.1

VOC (PAS-20) [18]，一般物体 60 クラスで構成されている Pascal

32

63.5

64.1

64.2 45.4

46.9

47.7

64

64.2

64.6

64.5 44.7

46.0

46.5

16

22.9

23.2

23.2 14.8

14.8

14.7

FoodSeg103 (FoodSeg) [20]，物体, 物体パーツ, もの (stuﬀ) の 3

32

22.3

22.6

22.6 13.1

13.2

13.0

区分の，計 150 種類のクラスが画素単位でアノテーションされ

64

21.6

21.8

21.7 13.1

13.0

12.9

提案手法ではあらゆるテキストに対してセグメンテーショ
ンマスクを生成することができるため，様々なデータセッ

Context (PC-59) [19], 100 クラスの食事クラスで構成されている UECFoodPix (FoodPix), 103 種類の食材で構成されている

FoodPix

FoodSeg

A-150

City

ている ADE20K (A-150) [21]，50 都市の街路景観で撮影された

18 クラスの Cityscapes (City) [22]，COCO2017 データセットに存在する 91 クラス 164K 枚の画像に対してアノテーションを施したデータセット COCO Stuﬀ (Stuﬀ) [23] で実験を行った．

5. 実

験

StableSeg は 50 億テキスト画像ペアで学習済みの Stable Diffusion を使い，時間埋め込みは t = 1 を使用することで，Stable

するモデルには MaskCLIP を使用し，それぞれのモデルへの入力には入力画像とその画像内に含まれるプロンプトを入力とした．MaskCLIP と各データセットで比較した結果は表 1，

Self-Attention Reﬁnement (SAR), Prompt-engineering (p-eng) のア
ブレーションスタディは表 4 は U-net の異なる層の 16,32,64 ス
ケールから cross/self attention 層でどの特徴を使うのかを実験した結果である．

Diﬀusion における最後のノイズ除去過程を再現するようにした．t = 1 のみのノイズ除去過程で抽出される Attention を使用

5. 1 複数データセットにおける従来手法との比較するため，画像一枚の処理時間は 2 秒以内で済んでいる．入

表 1 の定量評価の結果より，MaskCLIP [2] では，主に一般

力画像にはノイズは混ぜずに VAE で潜在空間に圧縮し U-net

物体で構成されている PAS-20, PC-59, A-150, Stuﬀ データセッに入力することで元画像に近いアテンションマップを習得しトで StableSeg と近い評価値が得られるのに対して，StableSeg

た．また，StableSeg では U-net の各層から 8, 16, 32, 64 スケー

では，MaskCLIP と比較して食事データセットで精度が高くな

ルの self/cross アテンションマップが抽出される．SAPM は正ることが判明した．これは CLIP よりも Stable Diﬀusion が食事

確な CA Map を必要とするため，よりもクラス特定の場所がデータなどの固有ドメインに対してもより豊富な表現力を持っ抽出される必要がある．そのため実験では指定がない限り，ていると考えられる．

Cross-Attention にはスケールが 16 以下のすべてのアテンショ

5. 2 Self-Attention Reﬁnement の効果検証

ンマップを平均したものを使用し，Self-Attention には，スケー

表 2 の結果より，Self-Attention を使ったセグメンテーション

ルが 64 以下になる Query, Key 特徴すべてを使用した．評価

マスクの洗練は CAPM のみで作成したクラスマスクよりも改—3—図 4: 一般物体データを使った従来手法との比較例

図 5: 食事データを使った従来手法との比較例

善することが分かった．要因としては，Self-Attention はピクセ

い頑健性があると考えられる．

ル同士の類似度を取るのに特化するように学習しているため，

5. 4 MaskCLIP との比較

対象領域のベクトルを使うことで，より良い確率マップが得られたと考えられる．

図 4 は 従 来 手 法 の MaskCLIP [2] と 比 較 し た 例 に な る ．

MaskCLIP では，物体の位置は捉えられているもののノイズ

5. 3 アテンションマップのスケールの違いによる性能評価が多く誤った部分が多いように見ることができる．一方で Sta-

表 4 では Cross/Self Attention Map のスケールの違いによる

bleSeg では，MaskCLIP と比較するとノイズが少なく物体を実験結果の表である．スケールにはマップサイズとして 8, 16,

捉えることができていることが分かる．しかし詳細な部分は

32, 64 が存在するが意味的な領域を最も捉えることのできる 8

MaskCLIP のほうが捉えることができているため，一般物体デーのスケールは必ず使用している．そのため，表には存在しな

タにおいて各手法は，一長一短であると考えられる．図 5 の食事

い．また，(cross,self) = (64,32) であった場合は，Cross Attention

データセットにおいては，MaskCLIP と比較すると StableSeg のMap で使用するスケールが 64 以下のすべてのマップの合計かほうが高品質なマスクを生成していることが分かる．MaskCLIP

つ，Self Attention Map で使用するスケールが 32 以下のすべて

では，一般物体データとは異なり，捉えることができないクラのマップの合計という意味になる．

スが出現している．一方で StableSeg では様々なクラスに対し

結果より，データセットごとに cross/self の最適なスケールて適切に対象領域を捉えることができており，さらに料理内のが異なり，FoodPix では (cross,self) = (64,32) が最大値，PAS-20

複数クラスに対しても正しい場所を推定していることが分かっでは (64,64)，PC-59，A-150 と foodseg では (16,64)，City ではた．これは Stable Diﬀuison において CLIP [1] と比較すると，学(16,16) であることが分かった．提案手法では cross attention の

習データの多様性が高いことから StableSeg は食事ドメインにマップをもとに Self-Attention マップを作るため，cross のスケーも強い汎化性能を示していると考えられる．

ル値に self が左右されていると考えられる．ここで cross の値

5. 5 self/cross/self+cross のアテンションマップの比較に注目すると，A-150, City, PC-59, FoodSeg が 16 であることが

図 7 のように，StableSeg では CAPM で作成したマスク (Cross)分かる．cross のスケールが小さいほどより意味的な部分が抽と SAPM で作成したマスク (Self) とそれらを足し合わせたセグ

出される一方で輪郭などの詳細な部分が抽出されないといった

メンテーションマスク (Cross+Self) が作成される．この３つの特徴がある．図 6 のように，A-150, City, PC-59, FoodSeg の 3

結果例を示している．結果より，Cross では対象領域が抽出できつのデータセットでは 1 枚当たりの画像にクラスが複数含まれているが詳細な部分が抽出できていないことが多く，対象領域ることが多く，個々の意味的な領域の判断が重要視されるからからはみ出していることや，誤った領域として認識しているこであると考えられる．一方で PAS-20，FoodPix では 1 枚当たりとが多い場合があることが分かる．Self では，一方で Cross ののクラス数が少ないため，cross で弱い意味的な部分を抽出しても精度が下がることがなく，かつ詳細な部分を抽出して精度を向上させることができていると考えられる．この考察より，画
像 1 枚当たりのクラス数が多い画像では cross のスケールを小さい値に設定し，少ない場合は cross のスケールの値を小さくするのが最適であると考えられる．
また，画像 1 枚当たりのクラス数が大きいデータセット程に精度が下がる傾向があるが，1 枚当たりのクラス数が近いの

FoodPix，PAS-20 を比較すると食事データセットである FoodPixのほうが大きく精度が高くなることが分かった．また，PAS-20のクラス数の約 2 倍もある FoodSeg と比較すると競争力のある精度になっていることから，StableSeg では特定のドメインに強図 6: 各データセットでの 1 枚当たりのクラス数—4—図 7: cross/self/cross+self のアテンションマップで作った領域分

図 8: cross/self/cross+self のアテンションマップで作った領域分

割の良い例

割の悪い例

領域特徴と似ている部分を抽出するため人の形や，動物の形がCross と比較して輪郭に沿って抽出されている．しかし，Cross
で誤った領域が含まれるため，対象領域とその外側のノイズの部分が抽出される問題がある．Cross+Self では，Cross の特徴である対象領域の高い部分の抽出と，Self の特徴である対象領域の輪郭を抽出する部分の抽出を足し合わせることで，より対象領域に近い領域を抽出することができると考えられる．
一方で，うまくいかない例としては図 8 のような例がある．

Cross で正しい対象領域が抽出できない場合や，対象領域が小さすぎる場合には，Cross でノイズ部分の割合を大きく抽出してしまう問題があるため，正しい領域が領域分割できなくなっ

図 9: 時間埋め込みを変化させたときの領域分割例てしまい，さらにノイズ部分の特徴が際立ってしまうため Self
で大きく間違った領域が抽出されてしまうと考えられる．

5. 6 異なる時間埋め込みによる性能検証
StableSeg の時間埋め込み (t) を変化させると図 9，表 5 のよ
うな結果となった．実際の Stable Diﬀusion では t が大きいほどガウスノイズに近づいた画像を復元する際に使用するため，生成する物体の位置を大まかに決めるアテンションマップが得られると考えられ，t が小さくなるにつれて実画像に近い画像を復元していくため，より実画像に存在する物体の形状に沿った
アテンションマップが推定されると考えられる．また，定量的にも t=1 の時の mIoU は高くなることがわかる．これらの結果
より，StableSeg では，元画像を VAE で潜在空間に圧縮した後

図 10: スケールの異なる Cross Attention Map を使用した領域分

ノイズを混ぜずに t=1 の埋め込みと U-net に通すことで，より割例 (Down,Middle,Up は Unet の位置を示し，64, 32, 16, 8 はア

実画像に適したアテンションマップを得ることを可能にし，１

テンションマップの一辺のサイズを示している)ステップのみで高品質なセグメンテーションマップの推定を可能にしている．

tion でどのようなセグメンテーションマスクが生成されているのかを実験した結果を示したものである．64, 32, 16, 8 のすべての

表 5: 時間埋め込み (t) の違いによる定量評価
1

250

500

750

1000

mIoU 49.9 46.4 42.9 38.8

31.3

スケールで抽出されるアテンションマップを Down, Middle, Up
毎に平均を取り可視化した．Down64, Down32, Up64, Up32 のようなスケールが大きい場合はより詳細な部分が抽出され，誤った部分も多いが対象領域の輪郭に沿った綺麗なセグメンテー

5. 7 Cross Attention のスケールの違いによる定性分析

ションマスクが生成されていることが分かる．一方で Middle8

図 10 では，U-net 内の異なるスケールで作られる Cross Atten-—5—のようにスケールが小さい場合は，アテンションマップを作成する Key，Query の特徴チャネル数が多く，表現力があるため対象領域の意味的な部分が抽出されると考えられる．これにより誤った部分が抽出されていることが減少するが，対象領域の形状を無視した領域を抽出してしまうことが分かった．

5. 8 多様なクラスにおける定性分析

図 11: 様々なクラスにおける推論結果例
図 11 では，ユーザーが指定したクラスを StableSeg によってセグメンテーションした結果である．Stable Diﬀusion では，50億画像テキストペアの関係性を学習しているため，あらゆる単語に対して対象としているアテンションマップが生成される．
固有名詞の Mickey Mouse や Mario, Batman, Oculus, Saturn V な
どにも適切な領域が分割されていることが分かる．また，redcar などの形容詞を付与した場合にも条件に従った領域が分割されることが判明した．これにより結果のような特殊なクラスであっても StableSeg によってセグメンテーションが可能になると考えられる．

6. お わ り にStableSeg では，Stable Diﬀusion に使われる Attention Map と大規模データで学習した事前学習済みの知識を有効活用した手法を提案した．実験では，様々なデータセットによる評価を行い，あらゆるテキストをセグメンテーションできる可能性を見出した．食事データにも汎用的な性質があることが判明し，様々なドメインに強い頑健性があると考えられる．また，追加の学習データを必要としないことでコスト削減も実現した．今後の課題としては，Stable Diﬀuison を使ったさらなる Zero-shot

Segmentation の改良及び，その活用法をさらなる分析とともに取り組む必要がある．
文

献[1] A. Radford, J. Kim, C. Hallacy, Ramesh, G. A. Goh, S. Agarwal,
G. Sastry, A. Askell, P. Mishkin, J. Clark, G. Krueger, and Sutskever
I. Learning transferable visual models from natural language supervision. arXiv preprint arXiv:2103.00020, 2021.
[2] C. Zhou, C C. Loy, and B. Dai. Extract free dense labels from clip. In
Proc. of European Conference on Computer Vision (ECCV), 2022.
[3] L. Chen, G. Papandreou, I. Kokkinos, K. Murphy, and A L. Yuille.
Deeplab: Semantic image segmentation with deep convolutional nets,
atrous convolution, and fully connected crfs. In Proc.of IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI), 2018.
[4] J. Ho, A. Jain, and P. Abbeel. Denoising diﬀusion probabilistic models. In Proc.of Advances in Neural Information Processing Systems(NeurIPS), 2020.

[5] D. Lorenz P. Esser R. Rombach, A.Blattmann and B. Ommer. Highresolution image synthesis with latent diﬀusion models. In Proc.of
the IEEE Conference on Computer Vision and Pattern Recognition(CVPR), pp. 10684–10695, June 2022.
[6] P. Kingma and M. Welling. Auto-encoding variational bayes. In
Proc.of International Conference on Machine Learning (ICML),
2014.
[7] C. Schuhmann, R. Beaumont, R. Vencu, C. Gordon, R. Wightman, M. Cherti, T. Coombes, A. Katta, C. Mullis, M. Wortsman,P. Schramowski, S. Kundurthy, K. Crowson, L. Schmidt, R. Kaczmarczyk, and J. Jitsev. Laion-5b: An open large-scale dataset for training
next generation image-text models. arXiv preprint arXiv:2210.08402,
2022.
[8] C. Saharia, W. Chan, S. Saxena, L. Li, J. Whang, E. Denton, S. Kamyar, B. Karagol, S. Sara, R. Gontijo, T. Salimans, J. Ho, D. J, and
M. Norouzi. Photorealistic text-to-image diﬀusion models with deep
language understanding. arXiv preprint arXiv:2205.11487, 2022.
[9] O. Avrahami, D. Lischinski, and O. Fried. Blended diﬀusion for
text-driven editing of natural images. In Proc.of IEEE Conference on
Computer Vision and Pattern Recognition (CVPR), pp. 18208–18218,
June 2022.
[10] G. Kim, T. Kwon, and J. Chul. Diﬀusionclip: Text-guided diﬀusion
models for robust image manipulation. In Proc.of IEEE Conference on
Computer Vision and Pattern Recognition (CVPR), pp. 2426–2435,
June 2022.
[11] A. Hertz, R. Mokady, J. Tenenbaum, K. Aberman, Y. Pritch, and
D. Cohen-Or. Prompt-to-prompt image editing with cross attention
control. arXiv preprint arXiv:2208.01626, 2022.
[12] T. Brooks, A. Holynski, and A. A. Efros. Instructpix2pix: Learning
to follow image editing instructions. In Proc. of arXiv, 2022.
[13] J. Ho, W. Chan, C. Saharia, J. Whang, R. Gao, A. Gritsenko, D. P.,
B. Poole, M. Norouzi, D. J., and T. Salimans. Imagen video: Highdeﬁnition video generation with diﬀusion models. arXiv preprint
arXiv:2210.02303, 2022.
[14] J. Ho, T. Salimans, A. Gritsenko, W. Chan, M. Norouzi, and D. J. Imagen video: High deﬁnition video generation with diﬀusion models.
arXiv preprint arXiv:2204.03458, 2022.
[15] D. Zhou, W. Wang, H. Yan, W. Lv, Y. Zhu, and J. Feng. Magicvideo:
Eﬃcient video generation with latent diﬀusion model. arXiv preprint
arXiv:2211.11018.
[16] . S. Chen, P. Sun, Y. Song, and P. Luo. Diﬀusiondet: Diﬀusion modelfor object detection. In Proc. of arXiv:2211.09788, 2022.
[17] R. Burgert, K. Ranasinghe, X. Li, and M. S. Ryoo. Peekaboo: Text
to image diﬀusion models are zero-shot segmentors. In Proc. ofarXiv:2211.13224, 2022.
[18] M. Everingham, S. M. A. Eslami, L. Van Gool, C. K. I. Williams,
J. Winn, and A. Zisserman. The pascal visual object classes challenge: A retrospective. International Journal of Computer Vision,Vol. 111, No. 1, pp. 98–136, 2015.
[19] R. Mottaghi, X. Chen, X. Liu, N. Cho, S. Lee, S. Fidler, R. Urtasun,
and A. Yuille. The role of context for object detection and semantic
segmentation in the wild. In Proc.of IEEE Conference on Computer
Vision and Pattern Recognition (CVPR), 2014.
[20] W. Xiongwei, F. Xin, L. Ying, L. Ee-Peng, H. Steven, and S. Qianru.
A large-scale benchmark for food image segmentation. arXiv preprint
arXiv:2105.05409, 2021.
[21] B. Zhou, H. Zhao, X. Puig, S. Fidler, and A. Barriuso. Scene parsing
through ade20k dataset. In Proc.of IEEE Conference on Computer
Vision and Pattern Recognition (CVPR), 2017.
[22] M. Cordts, M. Omran, S. Ramos, T. Rehfeld, M. Enzweiler, R. Benenson, U. Franke, S. Roth, and B. Schiele. The cityscapes dataset
for semantic urban scene understanding. In Proc.of IEEE Conference
on Computer Vision and Pattern Recognition (CVPR), 2016.
[23] H. Caesar, J. Uijlings, and V. Ferrari. COCO-Stuﬀ: Thing and stuﬀ
classes in context. In Proc.of IEEE Conference on Computer Vision
and Pattern Recognition (CVPR), 2018.

—6—