PRMU2022

StyleGANによるCLIP-Guidedな画像
形状特徴編集電気通信大学
銭大学院 情報学専攻

雨晨

柳井啓司

1

研究背景
• 深層学習に基づいた画像変換や画像特徴編集の研究が盛んに行われている• 自然言語が、人と機械のインタフェースになっている⇒マルチモーダルモデルを利用し、自然言語を用いて画像特徴を編集
Open-Edit (ECCV 2020)

StyleCLIP (ICCV 2021)

Xihui Liu, Zhe Lin, Jianming Zhang, Handong Zhao, Quan Tran, Xiaogang Wang and Hongsheng Li. Open-Edit: Open-Domain Image Manipulation with Open-Vocabulary Instructions.
ECCV, 2020から図を引用
Or Patashniky, Zongze Wu, Eli Shechtmanx, Daniel Cohen-Ory and Dani Lischinskiz. StyleCLIP: Text-Driven Manipulation of StyleGAN Imagery. arxiv: 2103.17249から図を引用

2

研究背景: 問題点• 今までの研究には、画像内のオブジェクトの外観特徴（色やテクスチャなど）に対する編集が多い• それに対して、オブジェクトの形状特徴（一部のサイズなど）に対する編集の研究が少ない
ManiGAN (CVPR 2020)

Bowen Li, Xiaojuan Qi, Thomas Lukasiewicz and Philip HS Torr. Manigan: Text-guided image manipulation. CVPR, 20203

研究目的
• 本研究の目的：
事前学習済みGANモデルとマルチモーダルモデルを利用し、入力テキストに基づいた画像の形状特徴の編集を実現

A small-wheel car

4

関連研究
事前学習済みGANモデルを利用した画像編集タスク

潜在空間• モデルパラメータを操作する方法、と潜在空間を操作する方法 モデルパラメータ• モデルパラメータを操作する方法：NaviGAN• 潜在空間を操作する方法：Paint by WordやStyleCLIP

Anton Cherepkov, Andrey Voynov, and Artem Babenko. Navigating the gan parameter space for semantic image editing. CVPR, 2021
Karras, Tero, Samuli Laine, and Timo Aila. A style-based generator architecture for generative adversarial networks. CVPR, 2019
より引用

5

関連研究
事前学習済みGANモデルを利用した画像編集タスク• NaviGAN: 生成器のパラメータを調整する• 変換が起きそうな変換方向を探し、それらの方向を人工的にチェックする• 探した変換の種類には形状特徴の編集に関する変換が多い

Anton Cherepkov, Andrey Voynov, and Artem Babenko. Navigating the gan parameter space for semantic image editing. CVPR, 2021から図を引用
6

関連研究
テキストを用いた画像編集に関する研究• 事前学習済みマルチモーダルモデルで画像編集のガイドを提供する方法• StyleCLIPやPaint by Word: 潜在空間の潜在コードの調整

Paint by Word

• 他の部分に影響を及ぼす形状編集はうまく処理できない• 本研究は、画像形状特徴の編集に重点を置く
StyleCLIP (ICCV 2021)

Bau David, Andonian Alex, Cui Audrey, Park YeonHwan, Jahanian Ali, Oliva Aude, and Torralba Antonio. Paint by Word. arXiv preprint
arXiv:2103.10951
Or Patashniky, Zongze Wu, Eli Shechtmanx, Daniel Cohen-Ory and Dani Lischinskiz. StyleCLIP: Text-Driven Manipulation of StyleGAN Imagery. arxiv:
2103.17249から図を引用

7

提案手法
• NaviGANの「生成器のパラメータを調整する」アイデアに基づいて、事前学習済
みStyleGAN2生成器を利用し、モデルを構築• CLIPにより、生成画像と入力テキストの類似程度を測定し、最適化のためのロスを提供

A small-wheel car8

手法概要：事前学習済み画像生成モデル
StyleGANとその拡張版StyleGAN2• 性能が最も良いな画像生成モデル• StyleGAN2を使用して画像編集をするため、入力画像をStyleGAN2の潜在空間にマッピングできるモジュールencoder4editing (e4e)
Encoder4editing (SIGGRAPH 2021)

Encoder(e4e)wGenerator(StyleGAN2)

Tero Karras, Samuli Laine, and Timo Aila. A style-based generator architecture for generative adversarial networks. CVPR, 2019
Tero Karras, Samuli Laine, Miika Aittala, Janne Hellsten, Jaakko Lehtinen, and Timo Aila. Analyzing and improving the image quality of stylegan. CVPR, 2020
Omer Tov, Yuval Alaluf, Yotam Nitzan, Or Patashnik and Daniel Cohen-Or. ACM Transactions on Graphics (TOG), 2021から図を引用、変更

9

手法概要：マルチモーダルモデル
CLIP (Contrastive Language-Image Pre-Training)

StyleCLIP• テキストと画像の類似程度を測定• 最先端なimage-textマッチング性能で、テキストによる画像変換モデルで利用されている• 400 millionの画像とテキストのペアデータで学習

Paint by Word

• OpenAIで公開された学習済みモデルを利用

Alec Radford, Jong Wook Kim, Chris Hallacy, Aditya Ramesh, Gabriel Goh, Sandhini Agarwal, Girish Sastry, Amanda Askell, Pamela Mishkin, Jack Clark, Gretchen
Krueger and Ilya Sutskever, Learning Transferable Visual Models From Natural Language Supervision. arXiv:2103.00020
Bau David, Andonian Alex, Cui Audrey, Park YeonHwan, Jahanian Ali, Oliva Aude, and Torralba Antonio. Paint by Word. arXiv preprint arXiv:2103.10951

10

手法詳細
• 入力は入力画像I(または潜在コードw)と入力テキストT、出力画像はI’• 入力テキストTのセマンティック意味に合うようにIを編集する• 生成器は事前学習済みのStyleGAN2の生成器を使う

シフト𝑥

Encoder(e4e)

入力画像Iw

入力テキストT
A small-wheel car

Generator(StyleGAN2)Image-text
matching(CLIP)

出力画像I’11

手法詳細• シフトxで生成器のパラメータを調整し、出力画像I’に影響を与える• 入力テキストTと出力画像I’を一致させるため、シフトxを最適化によって求める• 一回の最適化に、一つの入力画像と入力テキストのペアデータを使用し、一つのシフト𝑥を得る
シフト𝑥Encoder(e4e)
入力画像Iw

入力テキストT
A small-wheel carGenerator(StyleGAN2)Image-textmatching(CLIP)

出力画像I’
12手法詳細• 一つのシフト𝑥は一つの畳み込みレイヤーのパラメータを調整する• レイヤーの選定：一定範囲のレイヤーを選び、それらのレイヤーの生成効果を観察し、目標レイヤーを決める

Tero Karras, Samuli Laine, Miika Aittala, Janne Hellsten, Jaakko Lehtinen, and Timo Aila. Analyzing and improving the image quality of stylegan. CVPR, 2020
から図を引用、変更

13

手法詳細
ロスについて• CLIP matching loss + L2 loss
• 𝑥まで逆伝播することで𝑥を最適化する• 𝑥だけに対して最適化し、ほかの部分のパラメータを固定する• 一回の最適化におよそ1分30秒かかる
L2 loss
𝑥を最小化
Encoder(e4e)
入力画像Iw

シフト𝑥

入力テキストT
A small-wheel car

Generator(StyleGAN2)Image-text
matching(CLIP)

CLIP matchingloss
I’とTの類似程度

出力画像I’
14手法詳細
ロスについて• ハイパーパラメータの選定：
𝜆1 = 10 で， 𝜆2 の値は変換種類により0.01-0.1 の範囲に最適な数値を選択する

シフト𝑥

L2 loss

Encoder(e4e)
入力画像Iw

入力テキストT
A small-wheel car

Generator(StyleGAN2)Image-text
matching(CLIP)

CLIP matchingloss

出力画像I’
15

実験
StyleGAN2の事前学習に用いたデータセット

LSUN Horseで学習したモデル• FFHQ 1024x1024• LSUN Car 512x384• LSUN Horse 256x256
FFHQで学習したモデル
LSUN Carで学習したモデル

Tero Karras, Samuli Laine, Miika Aittala, Janne Hellsten, Jaakko Lehtinen, and Timo Aila. Analyzing and improving the image quality of stylegan. CVPR, 2020から図を引用

16

実験結果
• 最適化で得たシフト𝑥に-3~3の係数をかけ、編集された画像を生成

タイヤを小さくする

鼻を大きくする

お腹を大きくする
17

実験結果：比較実験
比較モデル：StyleCLIP• StyleGAN2 + CLIP 三つの手法を提案• 潜在空間での潜在コードを調整する• 手法①②は潜在空間Wを利用し、手法③は潜在空間Sを利用する①②③

タイヤを大きくする

マーカーを小さくする
18

実験結果：比較実験

鼻を短くする

顔の幅を大きくする

お腹を大きくする

細くする
19

実験結果：定量評価• 提案手法とStyleCLIPのglobal directionsの方法の比較• 同じ強さの編集効果において、二つの手法で得られた画像の品質を比較する

提案手法

タイヤのサイズ

チークのサイズ

StyleCLIP

タイヤのサイズ

チークのサイズ20

実験結果：定量評価• FIDという指標で評価を行った• 3000枚の画像を前と同じように変換して、リアル画像とのFID数値を計算• 多くの場合には、提案手法がより良いFID値を取得した• StyleCLIPより、提案モデルの変換結果が画像品質を保つことができると証明
21

実験結果：複数変換• 複数の最適化されたシフトを同時にモデルに適用することにより，複数の変換をする画像を得られる• 同じレイヤーの場合：それらを線形的に加えてモデルに適用する

22

実験結果：複数変換• 違うレイヤーの場合：それぞれのシフトを対応するレイヤーに加える• それぞれのシフトによる変換効果が互いに干渉することがある

23

失敗の例
• 一部の変換には、画像に不自然な部分が現れることがある• 複数のレイヤーを用いて変換をすると、このような現象を抑えられる可能性がある

24

まとめと今後の課題• 提案手法で、入力テキストに基づいた画像の形状特徴の編集に成功• 従来の潜在空間を調整をする方法に比べて、形状特徴の編集において、提案手法の定性評価と定量評価での表現が上回る• 一回の最適化に一つだけの目標特徴を編集できる• 複数の特徴を編集できる学習や最適化の方法• 目標特徴以外の特徴の変化が大きい• なるべく他の特徴への影響を抑える

25