DEIM Forum 2023 4a-1-4

輪郭線と色からなるカラースケッチからのフォトリアルな画像生成落合 晃汰†

青野 雅樹††† 豊橋技術科学大学 博士前期課程情報・知能工学専攻 〒 441–8580 愛知県豊橋市天伯町字雲雀ヶ丘 1-1†† 豊橋技術科学大学 情報・知能工学系 〒 441–8580 愛知県豊橋市天伯町字雲雀ヶ丘 1-1
E-mail: †{ochiai.kota.yx,masaki.aono.ss}@tut.jp
あらまし 本研究では, pix2pixHD をベースとした手法を用いて, 輪郭線と色からなるカラースケッチからフォトリア
ルな画像を生成する手法を提案する. 近年の深層学習を用いた画像生成の進歩はセグメンテーションマップやテキス
トからの高品質な画像生成を可能にしたが, これらの手法ではラベルや言語に依存するために汎化性能やユーザビリ
ティが低く, 広く実用化されるまでには至っていない. そこで本研究ではラベルや言語に依存しない入力形式として輪郭線と色からなるカラースケッチ画像を用いてフォトリアルな画像を生成する手法を提案する. さらに生成モデル
として Diﬀusion Model に基づく U-Net と DPT-Large を導入した手法を提案し, FID 評価尺度と KID 評価尺度, アン
ケートによる評価にて精度改善したことを報告する.
キーワード 深層学習，GAN，画像生成

1 はじめに近年, 深層学習による画像生成の活発化により非常に高品質な画像が生成できるようになりつつある. 条件を設けない単純な生成だけでなく, 条件を与えた画像生成も非常に高品質に行えるようになっている. 条件をユーザが与えることで欲しい画(a) 線画(b) 色画像像を生成しやすくなるため, 画像素材の作成や画像制作の補助(c) カラースケッ(d) 生成画像

チ

ツールとしての応用が可能となる. また, 高度なスキルを用い

図 1: カラースケッチからの画像生成. (a) は物体の輪郭線を描いた線

ることなく画像生成が可能となるほか, 従来の画像制作ソフト

画, (b) は (a) に対応する塗り絵を行った色画像. (c) は (a) のと比較して短時間での画像制作の実現が考えられる. 画像生成

下のレイヤーに (b) を置き, 合成することにより得られるカラー

時に設ける条件としては, セグメンテーションマップやテキス

スケッチ画像. 画像生成モデルに (c) を入力することで (d) のトを条件とした画像生成に関する研究が活発に行われている.

フォトリアルな生成画像が得られる.

セグメンテーションマップは画像のピクセル一つ一つに対して,何が写っているかと言った, ラベルやカテゴリを対応付けた画

ラースケッチ画像を入力形式として用いた手法での画像生成の像である. この方法は, ラベルやカテゴリ情報を画像に指定す

精度向上を目的とする.

るだけで良いため非常に簡単に画像生成が可能となるという利

カラースケッチからのフォトリアルな画像の生成は, セグメ

点がある. 一方で欠点も存在し, ラベルとして事前に設定してンテーションマップからの画像生成と同様に, pix2pix [1] の手学習させた物しか生成することができないという問題がある.

法で実現できる. これは敵対的生成ネットワーク (Generative

さらに, ラベルをどのような基準でどこまで分類すればいいか

Adversarial Network:GAN) [2] を利用した画像変換手法の一種という点も問題となる. 例えば, 猫の画像を生成したいときにである. GAN は Generator と Discriminator の 2 つのネット「動物」というラベルしか存在しない場合, 猫の画像が生成されワークから構成される. Generator は目的とする生成物を生成るとは限らない. しかし, 数多存在するすべての動物に対してするためのネットワークで, Discriminator は Generator が生

教師用のセグメンテーションマップを用意することは困難であ成した生成物と本物を識別するためのネットワークとなっている. セグメンテーションマップからの生成での問題を解決する

る. Generator は Discriminator を騙すように, Discriminator

ために, 近年ではテキストからの画像生成が活発になっており,は Generator の生成物を見抜けるように学習を行い, 2 つの簡単なテキストから画像生成が可能である上により多様な画像

ネットワークを互いに競い合わせることで本物の特徴を捉えたを生成可能になっている. 一方で, 言語に依存することとユー生成ができるようになる. 本研究では, pix2pix から派生した

ザが想像している画像が生成されるとは限らず何度も生成をや

pix2pixHD [3] をベースとして Diﬀusion Model [4] で用いられり直す必要がある場合があるという短所も存在する. これらのる U-Net を Generator として導入し, DPT-Large [5] を用いた問題を解消するために本研究では, ラベルや言語に依存しない

深度推定結果を活用する手法を提案し, FID 評価尺度と KID 評

方法として, 図 1 に示すような, 物体の輪郭線と色からなるカ

価尺度, アンケートによる評価にて精度改善したことを示す.

を二乗誤差最小化で定式化でき, GAN のように Discriminator2 関連研究
画像生成は, GAN [2] を用いた手法が普及しており, 研究が活発に行われている. 近年では Diﬀusion Model [4] を用いた手法
によりさらに高品質な生成が可能になっている. また, スケッ
チやペインティングを入力とした画像生成に関する研究も提案されている. 以下では, GAN と Diﬀusion Model を用いた画像生成及びスケッチやペインティングからの画像生成に関する研究について述べる.

2. 1 GAN を使用した画像生成を用いたりしないことから GAN と比較すると複雑ではなく,GAN で発生しやすい勾配消失やモード崩壊などの問題の影響を受けないという利点がある. また, GAN と比較して多様なデータの生成に強いことも特徴として挙げられる [7]. しかし繰り返しノイズを予測することから GAN と比較して生成時間がかかる [8]. さらに, 高解像度の画像を生成する場合には GANと比較してより巨大なネットワークが必要となるため, モデル
パラメータ数と計算量が増大する問題がある [7].

Diﬀusion Model では, 手法そのものの工夫以外にもネット
ワークアーキテクチャの工夫が行われている. 多くの Diﬀusion

通常の GAN はノイズのみを入力とするが, GAN から派生

Model は DDPM [4] で有効性が示された U-Net アーキテクチャ

した手法として条件を入力とする Conditional GAN [6] が存在をベースとして改良されている. U-Net [9] は, 医療用画像のセする. これによって, 条件に対応した生成ができる. Isola らの

マンティックセグメンテーション向けに提案されたスキップ接続

pix2pix [1] はその条件として画像を用いる手法である. pix2pixを特徴とする, Encoder-Decoder ネットワークである. DDPM

は, 通常の Conditional GAN の損失関数に加えて Discrimina-

ではこれに対して, 工夫を施した U-Net を提案している. 具体

tor の損失関数に L1 損失関数が加えられ, さらに画像を小さ的には, Diﬀusion Model として用いるために時点情報を表すなパッチに分解し, パッチ単位で本物か偽物かの判別を行って埋め込み表現の導入, Wide ResNet [10] の導入, Attention のいる. これにより画像の全体像を L1 損失関数で捉え, 詳細な導入, Group Normalization [11] の導入がされている. これら部分は Conditional GAN で捉えられるようになり, 精度の高の工夫により Diﬀusion Model での画像生成が実現された. こい画像変換が可能となっている. また, Generator に対してもれに対して Dhariwal らは, この U-Net アーキテクチャをベー

U-Net 構造を導入する工夫を行い, さらに精度を向上させていスとしてアーキテクチャ探索を行い, 高品質かつ高解像度の画

る. pix2pix は画像のペアがあればその対応関係を学習するこ

像生成を実現した ADM(Ablated Diﬀusion Model) を提案しとができるため, 線画の写真化やセグメンテーションマップかた [7]. 具体的にはモデルの深さ, Attention 機構のヘッド数,

らの画像生成, セマンティックセグメンテーション, モノクロ画

ResNet Block に対して対照実験が行われ, モデルの探索が行わ

像のカラー化, 航空写真から地図を生成するなど様々なタスク

れた. この研究により, Diﬀusion Model が当時の最先端であっに使用することができる. しかし, 低解像度なものまでしか扱た BigGAN [12] の精度を上回ることが示された.

うことができないという問題がある.
これに対して Wang らは, 高解像度な画像変換を可能にするモデルとして pix2pixHD [3] を提案した. pix2pixHD は, 高解像度画像を効率よく判別するために異なるスケールの複数のDiscriminater を用意して小さなスケールに変換した画像に対しても Discriminater を適応できるように工夫されている. これにより pix2pixHD は, 2048x1024 までのより高解像度の画像生成を可能とした. さらに, 通常の損失関数に加えて, Fea-ture Matching Loss を定義している. これは, Discriminater にGround Truth 画像と生成画像を入力した際で各層の出力を一致させるためのものであり, これにより Generator により自然な生成を促すことができる.

2. 2 Diﬀusion Model を使用した画像生成

2. 3 スケッチやペインティングからの画像生成
近年, スケッチやペインティングを入力として画像生成を実現する手法も提案されている. Isola らの pix2pix [1] では,

Edges to Photo として輪郭線からのフォトリアルな画像生成を提案した. Edges to Photo は HED (Holistically-Nested Edge

Detection) [13] を用いて生成した輪郭線画像からフォトリアル
な画像に復元するタスクで靴や鞄を輪郭線画像から生成する試みが行われた. Wang らは PITI(pretraining-based image-

to-image translation) [14] を用いた画像変換タスクの一つとして Sketch-to-image synthesis を提案した. Sketch-to-image

synthesis についても HED [13] を用いて抽出したスケッチ画
像をフォトリアルに変換するというものである. Meng らは
ペインティングからの画像生成手法として SDEdit(Stochastic

画像生成は, GAN をベースとする手法が長らく主流となって

Diﬀerential Editing) [15] を提案した. この手法では, 画像にいたが, Ho らは, 確率拡散モデルを用いた高品質な画像生成手法

対してメディアンフィルタを適応後, 減色することで画像と対である DDPM(Denoising Diﬀusion Probabilistic Models) [4]応するペインティング画像を生成し, この画像を入力としてを提案した. この手法は, 画像に対して小さなノイズを少しずつ

Diﬀusion Model によるペインティングからフォトリアルな画足していくことでノイズ画像に変換する過程を考え, その逆変像への変換を評価している. Zhang らは, 学習済みの Diﬀusion

換によってノイズ画像から画像を生成する方法である. より具Model の一つである Stable Diﬀusion [16] に対して条件を追加

体的には, ノイズ画像に対してかかっているノイズをニューラル

して制御するネットワーク構造である, ControlNet [17] を提案

ネットワークで予測し, それを繰り返すことで少しずつノイズ

した. この手法により, Stable Diﬀusion に対して様々な画像条を取り除くことで画像を生成を行う. Diﬀusion Model は学習件付きの生成が可能となった.

Conditional GAN

色画像

深度マップ

生成画像

Discriminator
Network

スケッチ

DPT-Large

⾊抽出

写真

Generator
Network

輪郭線画像

乗算合成

輪郭線抽出

スケッチ生成

real
fake

写真

図 2: 提案手法の流れ. スケッチ生成部により, 写真に対応する人が描いたようなスケッチを自動生成する.Conditional GAN 部ではスケッチから
写真の状態に復元することを目的として学習を行う.

の Generator 部に変更を加えたモデルを提案する. 具体的には

3 提案手法
提案手法の流れを図 2 に示す. ユーザは「生成したい画像の輪郭線を描いた線画」と「線画に対応する色画像」を描き, 線
画の下レイヤーに色画像を配置して合成したものを入力とする.
この線画と色画像は人が描くことを想定しているが, 学習時に写真と対応する人が描いたスケッチを大量に用意することは困難である. そこで本研究では線画と色画像を写真に対して画像処理を行うことで自動的に抽出する. さらに, 得られた線画と色画像を乗算合成することで 1 枚のスケッチ画像とし, それを入力として, Conditional GAN の学習を行う. 以下では, スケッ
チの生成方法及び提案する生成モデルについて説明する.

3. 1 スケッチの生成
本研究では, スケッチの生成方法としてスケッチ 1 とスケッチ 2 の 2 つの手法を用いる.

Generator を Diﬀusion Model に基づく U-Net に変更し, 深度
マップは DPT-Large を用いて推定する. それ以外の Discrimi-

nator 等の構造については pix2pixHD と同様である. 以下では
Diﬀusion Model に基づく U-Net と DPT について説明する.
3. 2. 1 Diﬀusion Model に基づく U-Net
2.2 節で述べたように多くの Diﬀusion Model では DDPM [4]で有効性が示された U-Net がベースとして使用されている. 本研
究では, アーキテクチャ探索により高精度化が行われた ADM [7]で使用されている U-Net を用いる. しかし, GAN では Diﬀu-sion Model のための時点情報を扱う機能を必要としないことと, モデルパラメータ数が約 5.5 億 (554M) と非常に巨大であることから学習に膨大な時間を必要とし, そのまま使用することは出来ない. そこで時点情報を扱う機能の削除とモデルパラ
メータ数の削減を行い, pix2pixHD の Generator として導入す
る. 具体的には, 5 回のダウンサンプリング数を 3 回まで減らスケッチ 1 では, 線の抽出方法としてはノイズ除去を施し, グ

し最小の特徴量マップのサイズを 1/32*1/32 から 1/8*1/8 のレースケール画像と白部分を膨張させたグレースケール画像のサイズまでのダウンサンプリングまでに削減, 特徴量チャンネ

差を取り白黒反転させ, 輪郭線を抽出する. さらに, その画像にル数をボトルネック部を除き削減, ボトルネック部と 1/8*1/8,

対して Zhang-Suen アルゴリズム [18] を適応し細線化を行う.

1/16*1/16, 1/32*1/32 の特徴量マップの領域で ResNet Block

色の抽出方法は, スーパーピクセルのアルゴリズムの SEEDSの後に配置されていた Attention Block をボトルネック部の(Superpixels Extracted via Energy-Driven Sampling) [19] をみに削減, 時点情報の埋め込み表現を計算する機構と ResNet

用いて抽出を行う. スーパーピクセルとは色が類似する領域をBlock から時点情報を扱う機構の削除を行った. これらの操作

グルーピングするアルゴリズムで各領域を平均した色で塗りつによってパラメータ数を約 5000 万 (50.5M) まで削減した. 図

ぶしたものを色画像とする.

3 にパラメータ削減と時点情報機能の削除を行った Generator

スケッチ 2 では, 線の抽出方法として HED [13] を用いる.

のネットワーク図を示す.

pytorch-hed [20] を用いて輪郭線を抽出し, Zhang-Suen アルゴ

3. 2. 2 DPT(Dense Prediction Transformers)

リズム [18] を適応し細線化を行うことで, 輪郭線を抽出する.

DPT [5] とは Ranftl らが提案した, Vision Transformer(ViT)

色の抽出方法には, SDEdit [15] の Stroke Painting と同様の手[22] を使用したセグメンテーションモデルである. 画像のセマ法を用いる. 具体的には, カーネルサイズ 23 のメディアンフィ

ンティックセグメンテーションと単眼深度推定において, CNN

ルタをかけた後に Pillow [21] の quantize を用いて, 6 色に減色をベースとするモデルと比較して高精度な推定を実現させていしたものを色画像とする.

る. 特に単眼深度推定において, DPT は物体の境界でより詳細な出力を生成する傾向があることが示されている [5]. 本研究3. 2 Conditional GAN
本研究では, カラースケッチとカラースケッチから学習済み
モデルを用いて得られた深度マップを入力として pix2pixHD

では, ViT-Large をベースとする DPT-Large の学習済みモデ
ルを用いてスケッチから深度推定を行う. そして得られた深度
マップをカラースケッチとともに GAN の入力とする.

3

Input

ResNet Block

Outputin channels

3
1/1

Conv 3x3

64

2x

64

Group Norm

64

Channel Concat

196

ResNet Block

128

ResNet Block128

Channel Concat

384

256

ResNet Block

ResNet Block

256

Channel Concat

768

ResNet Block

1/8

Channel Concat

1024

ResNet Block

ResNet Blockchannelschannels

3xchannels

Conv 1x1

Conv 1x1

3x
1/8

512

channels

512

channels

512

Attention Block

512

ResNet Block

Conv 1x1
channels

MatMulchannels

Conv 1x1

MatMul

512

512

2x

と異なるときのみ使⽤

channelsGroup Norm

256

256

ResNet Block* in channelsがout channels

Attention Block

3x

Up-Conv 3x3

256

Down-Conv 3x3

out channels

128

128

2x

Conv 3x3

out channels

1/4

1/4

Down-Conv 3x3

out channels

out channels

Up-Conv 3x3

128

Conv 3x3*

SiLU

+

64

2x

in channels

out channels

Conv 3x3

3x
1/2

1/2

Down-Conv 3x3

in channels

64
64Group Normout channels

SiLU

Up-Conv 3x3

SiLU

Group Normin channels

64

64

ResNet Block

1/1

Conv 3x3

channels

Scale

SoftMax

図 3: Diffusion Model に基づく U-Net (提案手法 2 および提案手法 3 の Generator)

3. 2. 3 ベースライン手法

4. 1. 2 LHQ データセット

本研究ではベースライン手法として, pix2pix [1] を用いる手

LHQ データセットは自然風景の画像から構成されるデータ法と pix2pixHD [3] を用いる手法の 2 種類を使用する. これセットである. データセットは 90,000 枚から構成される. 画像

らのベースラインモデルを前者はベースライン手法 1, 後者

サイズは 256 × 256 である. 本研究では, 学習用 81,000 枚, 検

はベースライン手法 2 と呼称する. ベースライン手法 2 では,

証用 9,000 枚に分割し, 実験を行った.

pix2pixHD の Global generator network のみを Generator と
4. 2 評 価 指 標

して使用する.

3. 2. 4 提 案 手 法

評価指標には Fréchet Inception Distance(FID) [25] と Ker-

本研究では提案手法として, ベースライン手法 2 をベース

nel Inception Distance(KID) [26] を使用して, 生成結果の分布として変更を行った 3 つのモデルを提案する. 提案手法 1 は,と Ground truth の分布の間の特徴距離を測定する. FID スコ

pix2pixHD に対して DPT-Large により推定した深度マップ

アと KID スコアの算出には clean-ﬁd [27] を用いた. また, 各をカラースケッチに加えて追加の入力とするモデルであり,モデルのパラメータ数についても評価する. パラメータ数はpix2pixHD+DPT-Large と呼称する. 提案手法 2 は, 図 3 にGenerator のパラメータ数を算出し, DPT-Large 使用時はその示した Diﬀusion Model に基づく U-Net を Generator としたパラメータ数も加えて評価する.

pix2pixHD であり, pix2pixHD-Unet と呼称する. 提案手法 3
は提案手法 1 と提案手法 2 を組み合わせ, 提案手法 2 に対して

DPT-Large により推定した深度マップを追加の入力としたモデルであり, pix2pixHD-Unet+DPT-Large と呼称する.

4. 3 アンケートによる評価
本研究では, 特徴距離の評価に加えてアンケートによる人による評価も実施した. アンケートでは, 10 枚の手描きのカラー
スケッチに対して各モデルを用いて生成を行い, 「写実的だと

4 実

験

思う順番に順位づけをしてください。」と説明し, 各手法の生成結果を順位付けする方法を用いた. さらに, アンケート結果か4. 1 データセット

ら各手法の票が各順位までに含まれている割合を算出した.

本研究では, ADE20K データセット [23] と LHQ データセッ
ト [24] の 2 つを使用する.

4. 1. 1 ADE20K データセット

4. 4 モデルパラメータ
バッチサイズは 8, epoch 数は ADE20K データセット学習時

ADE20K データセットは屋内および屋外の様々なシーンをは 50, LHQ データセット学習時は 15 とした. また, 学習率は含む画像データデットである. データセットは 20,210 枚の学習

0.0001 としている. その他のパラメータは pix2pix はオリジナ

用画像と 2,000 枚の検証用画像から構成される. 画像は学習用

ルと同様の値, pix2pixHD をベースとする手法は pix2pixHDと検証用共に 256 × 256 にリサイズし, 実験を行った.

と同様の値で実験を行った.

表 1: 各モデルの実験結果と各モデルのパラメータ数. FID スコアと KID スコアは生成結果と Groud Truth 間の特徴量距離を表す. パラメータ数については Generator のパラメータ数である. ただし, DPT-Large を使用する手法についてそのパラメータ数を加えて表示している.
スケッチ 1 256 x 256

ADE20K
Methodpix2pix(ベースライン手法 1)

pix2pixHD

スケッチ 2 256 x 256

LHQ

ADE20K

LHQ

Params(M)

FID ↓

KID ↓

FID ↓

KID ↓

FID ↓

KID ↓

FID ↓

KID ↓

54.40

48.18

0.020231.67

0.0148116.790.071562.05

0.0396(ベースライン手法 2)

45.59

27.74

0.005523.44

0.011053.56

0.018230.87

0.0140pix2pixHD + DPT-Large(提案手法 1)389.0533.01

0.007726.34

0.013257.93

0.021236.11

0.0176

pix2pixHD-Unet(提案手法 2)

55.00

17.65

0.00138.56

0.002629.96

0.00479.77

0.0020pix2pixHD-Unet + DPT-Large (提案手法 3)

398.4616.66

0.00096.56

0.001829.35

0.00468.89

0.0018

表 2: アンケートにおける各種法の票数
票数

1位

MethodRatio@N(N 位以上の表の割合)

2位

3位

4位

5位

Ratio@1

Ratio@2

Ratio@3

Ratio@4

pix2pix(ベースライン手法 1)

1

1

16

12

70

0.01

0.02

0.18

0.30

pix2pixHD(ベースライン手法 2)

11

16

33

32

8

0.11

0.27

0.60

0.92

pix2pixHD + DPT-Large(提案手法 1)

16

14

28

37

5

0.16

0.30

0.58

0.95

pix2pixHD-Unet(提案手法 2)

36

34

6

11

13

0.36

0.70

0.76

0.87

pix2pixHD-Unet + DPT-Large (提案手法 3)

36

35

12

15

2

0.36

0.71

0.83

0.98

4. 5 実 験 結 果

きていることが確認できる. 特に, 提案手法 2 と提案手法 3 は

表 1 は ADE20K データセットと LHQ データセットでの実験

草木や岩肌の質感や水面の表現が上手く生成できていることが結果と各モデルのパラメータ数である. 表 1 より, pix2pixHD

確認できる. しかし, 図 4 の一番下の例のように, 空部分に不自の Generator を Diﬀusion Model に基づく U-Net した提案手法

然なテクスチャが現れるケースも確認できた.

2 は pix2pixHD と比較して両方のデータセットの各スケッチ生

4. 5. 1 アンケート結果

成方法で精度が向上していることがわかる. さらに DPT-Large

図 6 の結果を用いて 10 名に対してアンケートを実施した結を用い深度マップを追加の入力とした提案手法 3 はそれぞれの果が, 表 2 である. Ratio@N は全体の票に対して N 位以上に選

データセットで最も高い精度となった. しかし, pix2pixHD にばれた割合を表す. 表 2 より提案手法 3 は最も上位に選ばれる

対して深度マップを追加の入力として与えた提案手法 1 に関し票が多く, 下位に票が入ることが少ないことが分かる. ただし,ては pix2pixHD に対して精度が低下した.
図 4 は LHQ データセットのスケッチ 1 での生成例である.

1 位に選ばれた数は提案手法 2 と提案手法 3 で同数の 36 票であることが確認できる.

図 4 より pix2pix では細かな質感の再現が上手くできておらず,
ぼやけた印象となっていることが確認できる. pix2pixHD は,

4. 6 考察

質感については pix2pix よりも良いものの輪郭がはっきりしな

実験結果より, Diﬀusion Model に基づく U-Net を導入した

い画像となっていることが確認できる. 提案手法についてはこ

提案手法 2 は pix2pix 程度のパラメータ数を保ちながら高精度

れらの問題が軽減されており, 質感や輪郭のぼやけが改善され化することに成功した. これにより, Diﬀusion Model に基づくていることが確認できる. しかし, 建物が含まれる例については

U-Net が Diﬀusion Model だけでなく GAN の Generator と提案手法 2 と提案手法 3 においても余計な質感が付与されていしても効果的であることが確認できた. これは, Wide ResNetたりする例が確認できた. 図 5 の LHQ データセットのスケッや Attention, Group Normalization が GAN に対しても有効

チ 2 での生成例については, pix2pix では図 4 での生成例と同であったことが考えられる. また, pix2pixHD の Generator が様に質感がのっぺりとしていることが確認でき, pix2pixHD に

ダウンサンプリング後のボトルネック部に ResNet が配置されついても輪郭のぼやけが確認できる. これに対して提案手法でているのに対し, Diﬀusion Model に基づく U-Net ではダウン

は物体の輪郭がはっきりとし, 細かな質感が生成されているこ

サンプリング毎に ResNet が配置されており, 大きい解像度の特とが確認できる. さらに, Ground truth と比較しても遜色ない

徴量マップに対しても ResNet を適応させていることが精度の品質で復元できていることが確認できる. しかし, 人工物が含向上につながっていると考えられる. さらに, DPT-Large を用まれる例については上手く生成できない箇所が含まれる例も確

いて深度マップを追加で与える拡張を行った提案手法 3 は, 提認できた.

案手法 2 よりさらに精度を改善した. これは, 深度マップによりまた, 図 6 はペイントソフトを用いて人が描いたスケッチか

同じ物体の領域が近い深度でグルーピングされたことが, 質感らの生成結果であり, LHQ データセットでスケッチ 2 での学習の描き分けや空間表現の向上につながったと考えられる. しかを行った各モデルを用いて生成を行った. 図 6 より, 人が描い

し, pix2pixHD に対して深度マップを追加の入力として与えたたスケッチからの生成においてもフォトリアルな画像を生成で提案手法 1 については, 精度が低下する結果となった. これは,Color Sketch

pix2pix(ベースライン⼿法1)

pix2pixHD(ベースライン⼿法2)

pix2pixHD +DPT-Large(提案手法1)

pix2pixHD-Unet(提案手法2)pix2pixHD-Unet+DPT-Large(提案手法3)Ground Truth

図 4: LHQ データセットでのスケッチ 1 の各手法の生成例. Ground truth は実際の写真, Color Sketch は入力するカラースケッチである.

Color Sketch

pix2pix(ベースライン⼿法1)

pix2pixHD(ベースライン⼿法2)

pix2pixHD +DPT-Large(提案手法1)

pix2pixHD-Unet(提案手法2)pix2pixHD-Unet+DPT-Large(提案手法3)Ground Truth

図 5: LHQ データセットでのスケッチ 2 の各手法の生成例. Ground truth は実際の写真, Color Sketch は入力するカラースケッチである.

Color Sketch

pix2pix(ベースライン⼿法1)

pix2pixHD(ベースライン⼿法2)

pix2pixHD +DPT-Large(提案手法1)

pix2pixHD-Unet(提案手法2)pix2pixHD-Unet+DPT-Large(提案手法3)

図 6: LHQ データセットでのスケッチ 2 の人が描いたカラースケッチからの生成例. Color Sketch は入力となるペイントソフトを用いて人が描いたカラースケッチある.

深度マップが質感の向上に影響するほどベースの pix2pixHDに, スケッチのスタイルに制約が生まれてしまっているためだの精度が良くなかったためであると考えられる.

と考えられる.

また, 各手法の LHQ データセットでの FID スコアと KID ス
コアは, ともに ADE20K データセットでの実験結果よりも高精度な結果が得られた. これは, ADE20K データセットが様々

5 おわりになシーンを含むデータセットであることに対して, LHQ データ

本研究では, ラベルや言語に依存しない画像生成の入力形

セットが自然風景のみのデータセットであり, ADE20K データ式として物体の輪郭線と色からなるカラースケッチ画像を入セットのほう変換が困難であったためだと考えられる. さらに,力とする画像生成において, 生成手法として Diﬀusion Model

LHQ データセットでの結果で人工物が上手く生成できない例に基づく U-Net と DPT-Large を導入した pix2pixHD を提が得られたが, これは, LHQ データセットに人工物を含む画像案した. 実験結果より, Diﬀusion Model に基づく U-Net とが少なかったためだと考えられる.

DPT-Large による深度推定結果の活用はスケッチからの画人が描いたスケッチからの生成結果については, 人が描いた像生成において精度の向上に効果的であることが確認できスケッチからであってもフォトリアルに変換可能であることがた. 本研究では, DPT-Large による深度推定結果の活用が精確認できたが, 自動生成したスケッチからの生成と比較すると度の向上につながったが, 画像のセグメンテーションは深度

細かな質感の面で劣っていることが確認できた. これは, 自動

推定だけでなく, セマンティックセグメンテーションが存在生成により得られたスケッチのみを学習の入力としていたためし, STEGO(Self-supervised Transformer with Energy-based

Graph Optimization) [28] や PiCIE(Pixel-level feature Clustering using Invariance and Equivariance) [29] のような教師なしセマンティックセグメンテーションモデルの活用について[13]も検討する必要があると考えられる.
また, 人が描いたスケッチから生成が可能であることも確認[14]

したが, 自動生成したカラースケッチからの生成結果と比較す
ると細かな質感の面で劣っており, より多様なスタイルのスケッ[15]

チや粗いスケッチには対応することが出来ないと考えられる.
また, ラベルに依存しない入力形式としてスケッチ画像を提案したが, 現在の入力画像は Ground truth 画像の情報を多く保持しており, 入力画像の時点である程度フォトリアルであると[16]言える. Ground truth 画像と比較すると粗いが, より粗くスタ
イルが異なっていてもフォトリアルに変換可能な手法が必要で[17]あると考えられる.

[18]

今後の課題としては, Diﬀusion Model を使用し SDEdit [15]を導入することでスケッチのスタイルへの依存を軽減すること[19]

や ControlNet を導入し, 学習済み Diﬀusion Model を用いることによる精度改善が考えられる.
[20]

文

献

[1] Phillip Isola, Jun-Yan Zhu, Tinghui Zhou, and Alexei A
Efros. Image-to-image translation with conditional adversarial networks. CVPR, 2017.
[2] Ian J. Goodfellow, Jean Pouget-Abadie, Mehdi Mirza, Bing
Xu, David Warde-Farley, Sherjil Ozair, Aaron Courville,
and Yoshua Bengio. Generative adversarial networks, 2014.
[3] Ting-Chun Wang, Ming-Yu Liu, Jun-Yan Zhu, Andrew Tao,Jan Kautz, and Bryan Catanzaro. High-resolution image
synthesis and semantic manipulation with conditional gans.
In Proceedings of the IEEE Conference on Computer Vision
and Pattern Recognition, 2018.
[4] Jonathan Ho, Ajay Jain, and Pieter Abbeel. Denoising diffusion probabilistic models. In H. Larochelle, M. Ranzato,
R. Hadsell, M.F. Balcan, and H. Lin, editors, Advances in
Neural Information Processing Systems, volume 33, pages
6840–6851. Curran Associates, Inc., 2020.
[5] René Ranftl, Alexey Bochkovskiy, and Vladlen Koltun. Vision transformers for dense prediction. In Proceedings of theIEEE/CVF International Conference on Computer Vision(ICCV), pages 12179–12188, October 2021.
[6] Mehdi Mirza and Simon Osindero. Conditional generative
adversarial nets, 2014.
[7] Prafulla Dhariwal and Alexander Nichol. Diffusion models
beat gans on image synthesis. In M. Ranzato, A. Beygelzimer, Y. Dauphin, P.S. Liang, and J. Wortman Vaughan,
editors, Advances in Neural Information Processing Systems, volume 34, pages 8780–8794. Curran Associates, Inc.,
2021.
[8] Jiaming Song, Chenlin Meng, and Stefano Ermon. Denoising diffusion implicit models. In International Conference
on Learning Representations, 2021.
[9] Olaf Ronneberger, Philipp Fischer, and Thomas Brox. Unet: Convolutional networks for biomedical image segmentation. CoRR, abs/1505.04597, 2015.
[10] Sergey Zagoruyko and Nikos Komodakis. Wide residual networks. In BMVC, 2016.
[11] Yuxin Wu and Kaiming He. Group normalization. In Proceedings of the European Conference on Computer Vision(ECCV), September 2018.
[12] Andrew Brock, Jeff Donahue, and Karen Simonyan. Large
scale GAN training for high fidelity natural image synthesis.

[21]
[22]

[23]

[24]

[25]

[26]

[27]

[28]

[29]

In International Conference on Learning Representations,
2019.
Saining Xie and Zhuowen Tu. Holistically-nested edge detection. In Proceedings of the IEEE International Conference on Computer Vision (ICCV), December 2015.
Tengfei Wang, Ting Zhang, Bo Zhang, Hao Ouyang, Dong
Chen, Qifeng Chen, and Fang Wen. Pretraining is all you
need for image-to-image translation. In arXiv, 2022.
Chenlin Meng, Yutong He, Yang Song, Jiaming Song, Jiajun Wu, Jun-Yan Zhu, and Stefano Ermon. SDEdit:
Guided image synthesis and editing with stochastic differential equations. In International Conference on Learning
Representations, 2022.
Robin Rombach, Andreas Blattmann, Dominik Lorenz,
Patrick Esser, and Björn Ommer. High-resolution image
synthesis with latent diffusion models, 2021.
Lvmin Zhang and Maneesh Agrawala. Adding conditional
control to text-to-image diffusion models, 2023.
C. Y. Suen T. Y. Zhang. A fast parallel algorithm for thinning digital patterns. In Communications of the ACM, volume 27, pages 236–239, 1984.
Michael Van den Bergh, Xavier Boix, Gemma Roig, andLuc Van Gool. SEEDS: superpixels extracted via energydriven sampling. CoRR, abs/1309.3848, 2013.
Simon Niklaus. A reimplementation of HED using PyTorch,2018.
Clark Alex. Pillow (pil fork) documentation, 2015.
Alexey Dosovitskiy, Lucas Beyer, Alexander Kolesnikov,
Dirk Weissenborn, Xiaohua Zhai, Thomas Unterthiner,
Mostafa Dehghani, Matthias Minderer, Georg Heigold, Sylvain Gelly, Jakob Uszkoreit, and Neil Houlsby. An image isworth 16x16 words: Transformers for image recognition atscale. In International Conference on Learning Representations, 2021.
Bolei Zhou, Hang Zhao, Xavier Puig, Sanja Fidler, Adela
Barriuso, and Antonio Torralba. Scene parsing throughade20k dataset. In Proceedings of the IEEE Conference on
Computer Vision and Pattern Recognition (CVPR), July
2017.
Ivan Skorokhodov, Grigorii Sotnikov, and Mohamed Elhoseiny. Aligning latent and image spaces to connect theunconnectable. In Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), pages
14144–14153, October 2021.
Martin Heusel, Hubert Ramsauer, Thomas Unterthiner,
Bernhard Nessler, and Sepp Hochreiter. Gans trained bya two time-scale update rule converge to a local nash equilibrium. In I. Guyon, U. Von Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors,
Advances in Neural Information Processing Systems, volume 30. Curran Associates, Inc., 2017.
Mikolaj Bińkowski, Dougal J. Sutherland, Michael Arbel,
and Arthur Gretton. Demystifying MMD GANs. In International Conference on Learning Representations, 2018.
Gaurav Parmar, Richard Zhang, and Jun-Yan Zhu. On
aliased resizing and surprising subtleties in gan evaluation.
In CVPR, 2022.
Mark Hamilton, Zhoutong Zhang, Bharath Hariharan,
Noah Snavely, and William T. Freeman. Unsupervised semantic segmentation by distilling feature correspondences.
In International Conference on Learning Representations,
2022.
Jang Hyun Cho, Utkarsh Mall, Kavita Bala, and Bharath
Hariharan. Picie: Unsupervised semantic segmentation using invariance and equivariance in clustering. In Proceedings of the IEEE/CVF Conference on Computer Vision
and Pattern Recognition (CVPR), pages 16794–16804, June2021.