画像内容を考慮した質感表現に基づく画像変換
杉山 優

柳井啓司

電気通信大学大学院

情報理工学研究科 情報学専攻

2018/6/7

UEC Yanai Lab. Tokyo.

1

はじめに
• Neural Style Transferで画像の変換が可能

2018/6/7

UEC Yanai Lab. Tokyo.

2

はじめに
• スタイル変換では、コンテンツ画像とスタイル画像が必要→発展させて言葉によって変換したい

2018/6/7

UEC Yanai Lab. Tokyo.

3

目的• 言葉を入力のひとつとすることでより手軽で汎用性の高い画像変換「枝葉」という言葉
2018/6/7

UEC Yanai Lab. Tokyo.

4目的• 「枝葉」だけでは「緑の葉」「紅葉した葉」の区別は不可能「枝葉」という単語

2018/6/7

UEC Yanai Lab. Tokyo.

5目的「枝葉」という入力単語+「革」という画像認識
2018/6/7

適したスタイル画像

UEC Yanai Lab. Tokyo.

6

先行研究
1. A Neural Algorithm of Artistic Style
Leon A. Gatys, CVPR, 2016
スタイル画像とコンテンツ画像を混ぜ合わせるスタイル変換を発表

2. Perceptual Losses for Real-Time Style Transfer
and Super-Resolution
Jastin Johnson, ECCV, 2016
事前にスタイルを学習することで高速なスタイル変換を実現

2018/6/7

UEC Yanai Lab. Tokyo.

7

先行研究
3. Unseen Style Transfer
Keiji Yanai, ICLR WS, 2017
高速スタイル変換を改良
スタイル画像を学習に使用しなかったものからも選択できるように改良した

4. Arbitrary Style Transfer
Golnaz Ghiasi, Honglak Lee, et al. BMVC, 2017
任意スタイル変換の別手法
Conditional Instance Normalizationを利用してきれいに画像を生成した
2018/6/7

UEC Yanai Lab. Tokyo.

8

手法• Arbitrary Style Transferのネットワーク

2018/6/7

UEC Yanai Lab. Tokyo.

9

提案手法
• VGGを使用した
画像意味特徴からコンテンツに適切な単語スタイルを学習
VGG
PCA
1000->300

Word

2018/6/7

UEC Yanai Lab. Tokyo.

𝑆

Word2Vec

10

手法• 入力単語のベクトル化-> Word2Vecを使用する(200次元)• 入力コンテンツ画像のベクトル化-> VGG画像認識の中間出力(Fc8層)を使用する(1000次元)-> PCAで次元削減する(300次元)2018/6/7

UEC Yanai Lab. Tokyo.

11

Word2Vecの学習• 学習データには日本語Wikipediaを使用• Mecabを使用して形態素解析を行った• 助詞などの頻出単語は合計出現数1000回になるようにランダムに削除

2018/6/7

UEC Yanai Lab. Tokyo.

12

手法• 単語から得たベクトルと画像認識から得たベクトルによって任意スタイル変換と同等のネットワークを作成
Inception v3``革’’2018/6/7

VGG
画像
認識

画像
特徴ベクトルWord2Vec

単語ベクトルStyle Vector
近似させる
StyleSelectNetwork

UEC Yanai Lab. Tokyo.

Style Vectorデータセットの構築• UFMDを使用• 学習には画像とワードのペアが必要になるため、UFMDの画像とそのラベルによって学習した• ラベルは10種類
布, 植物, ガラス, 革, 金属, 紙, プラスチック, 石, 水, 木

• 各ラベル1,000枚、合計10,000枚
2018/6/7

UEC Yanai Lab. Tokyo.

14

データセットの構築
革布石

水木

植物プラスチック

紙ガラス

金属

2018/6/7

UEC Yanai Lab. Tokyo.

15

実験• 制作したデータセットでネットワークを学習• ネットワークの実験として2項目を観察
1. コンテンツ画像の内容によっての変換の様子の変化

2. 入力単語の内容によっての変換の様子の変化
2018/6/7

UEC Yanai Lab. Tokyo.

16

学習の条件• 最適化関数にはAdamを利用• 50エポック、バッチサイズは50で学習• 生成ネットワークは固定• FC層3層のみの学習なので学習には50秒程度

2018/6/7

UEC Yanai Lab. Tokyo.

17

実験
元画像

ガラス

革

2018/6/7

UEC Yanai Lab. Tokyo.

18

実験
元画像

プラスチッ
ク

石

2018/6/7

UEC Yanai Lab. Tokyo.

19

実験
元画像

ガラス

アクリル

プラスチック

2018/6/7

UEC Yanai Lab. Tokyo.

20

実験
元画像

革牛皮

石

レンガ
UEC Yanai Lab. Tokyo.

問題点• 建物などの風景にはうまく対応できていない• 一部画像入力によって変換が代わり映えしない学習がある• 学習しなかった単語については意味ベクトルと画像特徴が一致するとは限らない

2018/6/7

UEC Yanai Lab. Tokyo.

22

考察• 目的である「単語による画像変換」と「コンテンツ画像に適切な変換」の2つはある程度達成できた• 物体画像では上手く変換できるが、シーン画像では上手く変換できない-> ネットワークに物体画像を使用したから• 上手く変換できる単語は視覚的特徴を示す単語-> データセットの質が高くなりやすいから
2018/6/7

UEC Yanai Lab. Tokyo.

23

まとめと今後の予定
まとめ• 言葉で指定したスタイルに画像変換が行えた• 学習に使用しなかった単語にも対応できた

今後の予定• 画像認識とシーン認識を合わせて利用する• データセットに対応した単語を増やすことでより精度を向上させる
2018/6/7

UEC Yanai Lab. Tokyo.

24

2018/6/7

UEC Yanai Lab. Tokyo.

25

元画像

2018/6/7

ガラス

プラス
チック

革

UEC Yanai Lab. Tokyo.

石

紙

植物

26

元画像

2018/6/7

ガラス

アクリル

プラス
チック

革

UEC Yanai Lab. Tokyo.

牛皮石

27

レンガ

手法
• 言葉をベクトルによって管理するためにWord2Vecを使用する

2018/6/7

UEC Yanai Lab. Tokyo.

28

手法• 画像特徴を得るためにVGGネットワークを使用する

FC7層,4096次元ベクトルを使用

2018/6/7

UEC Yanai Lab. Tokyo.

29

まとめ• 単語とコンテンツ画像の内容によってスタイル変換を行うことができた• 任意スタイル変換の応用によって入力をユーザーにとってわかりやすい形に変更することができた

2018/6/7

UEC Yanai Lab. Tokyo.

30