深層学習による質感画像の認識・変換
第2回 質感のつどい
2016年11月30日
電気通信大学 大学院 情報学専攻
柳井 啓司
下田 和，松尾 真ⓒ 2016 UEC Tokyo.

自己紹介： 柳井 啓司• 電気通信大学 大学院情報理工学研究科
情報学専攻 メディア情報学プログラム 教授• 研究分野：メディア情報学• 画像・映像認識
特に，大規模Web画像・映像マイニング
最近は深層学習（ディープラーニング）を応用• 質感研究歴：２０１３～(質感脳情報学２期目～多元質感計画班分担）ⓒ 2016 UEC Tokyo.

[研究テーマ]
大量Web画像 と 画像認識
1)大量Web画像 を 大規模画像認識 に 利用．
– 画像認識知識ベースの構築．深層学習に利用．

2)画像認識技術 を 大量Web画像 に 適用．

frequency– Web画像検索，自動分類，マイニング

visual wordscar

Web画像ビッグデータⓒ 2016 UEC Tokyo.

ディープラーニング
画像認識技術4

質感研究へのアプローチ:
Web画像マイング
A班

B班

Web上の知識（集合知）＋
画像認識技術C班ⓒ 2016 UEC Tokyo.

研究例）画像領域エントロピー：
単語概念の“視覚性”の指標 (2005)• 「動物」「哺乳類」 vs. 「ライオン」「パンダ」• 「黄色い」「暗い」 vs. 「硬い」「騒がしい」
どちらが 「視覚的」な言葉 ？
どちらが 画像から容易に認識可能？
視覚性（visualness)の指標の提案

画像領域エントロピー
Keiji Yanai and Kobus Barnard: Image Region Entropy:
A Measure of "Visualness" of Web Images Associated with One Concept,
Proc. of ACM International Conference on Multimedia 2005, (2005/11).
ⓒ 2016 UEC Tokyo.

“視覚的”形容詞の調査結果• エントロピーの小さい単語• “視覚性”が高い

Dark imagesⓒ 2016 UEC Tokyo.

7

視覚性が高い： scary (怖い)Detected“scary”
regionsⓒ 2016 UEC Tokyo.

“視覚的”形容詞の調査結果• エントロピーの大きい単語⇒ 分布にまとまっていない• “視覚性”が低い

Large imagesⓒ 2016 UEC Tokyo.

視覚性が低い：famous(有名な)

視覚性(visualness)の高い単語 が 画像認識に適している．
ⓒ 2016 UEC Tokyo.

2013年 の 研究計画 (質感脳）• 質感表現に相当する言葉（主に形容詞）と画像から抽出した特徴量の関係をWeb上の 「集合知」 を用いて分析する– 本研究では，「集合知」=「タグ付き画像」

Web 上の大規模「集合知」データを活用した(新しい)「質感脳情報学」研究を実施
本アプローチの限界：
言語で表現できない質感は分析できない．
ⓒ 2016 UEC Tokyo.

【2016年度研究計画】(多元質感知）（西田班「信号変調に基づく視聴触覚の質感認識機構」分担者）「画像の質感変調」 についても研究する(1) 深層学習によるスタイル変換技法を用いた画像の質感操作(A) 領域分割＋スタイル変換 による任意部分の質感入れ替え(B) Webからの自動スタイル収集と，言葉による画像のスタイル変換の実現(C) 高速マルチスタイル変換と，スタイル合成(2) 質感DBの作成 (主に画像のネット収集)ⓒ 2016 UEC Tokyo.

画像変換： スタイル転送＋＋

Leon A. Gatys, Alexander S. Ecker, Matthias Bethge:ⓒ 2016 UEC Tokyo.
A Neural Algorithm of Artistic Style, arXiv, 1508.06576, (2015)

本日の内容• Web画像を用いた質感画像認識と分析– 深層学習と質感認識– 「オノマトペ」に関する画像認識– 質感領域の領域分割：弱教師あり• 画像スタイル変換による画像質感変調– スタイル変換．
– 高速マルチスタイル変換．
– 領域分割との組み合わせ．
ⓒ 2016 UEC Tokyo.

深層学習による
質感画像認識中国人の方からCaffe2Cはavailableかと聞かれて，

質感画像認識の研究• テクスチャ認識: テクスチャクラスに分類
marblestriped• 素材認識: 素材クラスに分類 e.g. FMD
fabricstone• 形容詞 認識: 客観的(赤い) ⇔ 主観的 (美しい)・ 属性認識: 角がある，長い鼻，長い耳，尾っぽ物体，シーンなどの名詞以外は，「質感」認識となるⓒ 2016 UEC Tokyo.

質感画像認識も深層学習で大幅性能向上• 物体と基本的に同じ– 2012まで, BOF＋SVM– 2013から，CNN (畳み込みネット)• 深層学習によって，認識性能が大幅向上
例） 素材認識：FMD （Flickr Material Database)– 2010 44.6% (color+SIFT)
人間とほぼ同等の能力– 2014 65.6% (IFV+CNN)– 2016 84.0% (CNN with FT)Zhang, Y., Ozay, M., Liu, X., & Okatani, T.
ⓒ 2016 UEC Tokyo.

Integrating Deep Features for Material
Recognition ICPR 2016.

人間を超えた画像認識
1000種類 画像認識 コンペティション• １０００種類の物体のうちの１つが写った画像をコンピュータに見せて，名前を答えさせる課題．

アリ (ant)
野球選手(ballplayer)
障子 (shoji)ⓒ 2016 UEC Tokyo.

19

2010年以降の優勝チームの成績
５個候補を上げてその中に正解がある割合
1000種類画像認識の精度
120
100
80

85%
72%

２０１５年 人間を超えた！

96.4% 97.1%
93.3%
94.9%
88.3%

75%

60
40
20

深 層 学 習
人間

従来手法

0

１０００種類コンペティションは人工知能の進化を象徴しているⓒ 2016 UEC Tokyo.

20

深層学習が画像認識を変えた！
• 2013年以降，画像認識の基本手法が深層学習に置き換わった．
– 画像認識研究者の夢であった「人間超え」があっさりと実現された．
従来
手法
入力画像

深層
学習
入力画像

画像特徴抽出（人手で構築）

𝑣

「自動車」

（低次元）

認識結果

画像特徴
ベクトル

機械学習による
分類 （学習）ビッグデータで学習「自動車」

大量の「自動車」画像

認識結果

深層学習ネットワーク （全て学習）ⓒ 2016 UEC Tokyo.
Hand-crafted feature は悪，深層学習こそが画像認識の正しい手法⇒
Deep信仰あらゆるタスクに深層学習• 画像の認識のみでなく、応用面でも精度が飛躍
物体の位置の認識
物体の認識

物体検出

領域分割

詳細認識

画像検索

キャプション生成

Q＆A

エッジ検出

画像合成

デプス推定
画像生成

ⓒ 2016 UEC Tokyo.

22

深層学習とWeb画像を用いた
質感画像分析
オノマトペ画像の分析

質感画像：オノマトペ画像• 「オノマトペ」とは （B班 坂本さん）– 擬態語や擬音語．
• しわしわ、ふわふわ、ざらざら など– 物体，素材，音などの状態．視覚のみならず
五感すべての質感表現
素材カテゴリより，
多様な表現．
捉えどころがない．
Challenging !!!

ふわふわ画像の例ⓒ 2016 UEC Tokyo.

報告内容
1. 質感画像データセット自動構築システム
2. Web収集画像を用いた質感語の視覚性評価実験A) オノマトペに対応する画像の認識可能性評価B) １２２オノマトペ認識可能性ランキング．
C) 同一名詞内での，オノマトペの分類可能性の評価

3. CNN特徴(feature map)を用いた質感領域抽出ⓒ 2016 UEC Tokyo.

報告内容（１）• 質感画像データセット自動構築システム• Web収集画像を用いた質感語の視覚性評価
実験．
– オノマトペに対応する画像の認識可能性評価– １２２オノマトペ認識可能性ランキング．
– 同一名詞内での，オノマトペの分類可能性の評価• CNN特徴(feature map)を用いた質感領域抽出ⓒ 2016 UEC Tokyo.

質感画像データセット構築システム「ごちゃごちゃ」ⓒ 2016 UEC Tokyo.

ⓒ 2016 UEC Tokyo.

質感画像データセット
構築システムのデモ• http://mm.cs.uec.ac.jp/shimodak/shitsukan/• 特徴– Web画面でキーワードの入力するのみで画像収集．
– １０００枚集めて，自動/手動ランキングし，
上位５０/１００枚をZIPファイルで一括ダウンロード可– Deep convolutional neural network activation
feature (DCNN特徴) を用いた高精度リランキング．
– 最大20台のPCによる並列処理で約5分で収集完了ⓒ 2016 UEC Tokyo.

自動画像収集システム• 約5分でデータセットを生成し、評価– Deep Learning特徴は計算コストがかかる．１枚約３秒
データセット構
築＋評価

クエリを入力1台 約1時間– システムではクラスタマシンを20台使用し約1時間かかる処理を5分程度に短縮．
データセット構
築＋評価

クエリを入力20台 約5分

URL http://mm.cs.uec.ac.jp/shimoda-k/shitsukan/ⓒ 2016 UEC Tokyo.

オノマトペ画像の収集• bingAPIを利用• 一つのクエリにつき1000枚画像を収集
検索結果には上位
でもノイズ画像が含
まれてしまう（モクモク検索結果
上位50枚）

リランキング (re-ranking)ⓒ 2016 UEC Tokyo.

データセットの構築ⓒ 2016 UEC Tokyo.

リランキング手順• 画像認識によるリランキング

ランキング画像に学習したSVMを適用

このリランキングを二回繰り返すⓒ 2016 UEC Tokyo.

リランキングの例• Queryを入力し、bingAPIでWeb画像を収集「ざらざら」

Bing Image Search API 検索結果

上位50まで（ざらざら）ⓒ 2016 UEC Tokyo.

リランキングの例• 検索結果の上位10枚を使ってリランキング

リランキング結果その1（ざらざら）ⓒ 2016 UEC Tokyo.

リランキングの例• リランキング結果の上位20枚でリランキング

リランキング結果その2 「ざらざら」画像セット完成！
ⓒ 2016 UEC Tokyo.

実験(1):オノマトペ画像収集
精度（平均適合率)：89.6%• オノマトペ画像の認識（20種類 各50枚）ⓒ 2016 UEC Tokyo.

自動収集されたオノマトペ画像の精度評価

FeatureIFV

Layer5(DCNN)

Layer6(DCNN)

Layer7(DCNN)

平均値(%)

60.4

85.2

89.6

85.1

リランキングにはLayer6が有効ⓒ 2016 UEC Tokyo.

報告内容（２）• 質感画像データセット自動構築システム• Web収集画像を用いた質感語の視覚性評価
実験．
– オノマトペに対応する画像の認識可能性評価– １２２オノマトペ認識可能性ランキング．
– 同一名詞内での，オノマトペの分類可能性の評価• CNN特徴(feature map)を用いた質感領域抽出ⓒ 2016 UEC Tokyo.

Web収集画像を用いた
オノマトペの「視覚性」評価「ごちゃごちゃ」 「ぐるぐる」 「ごつごつ」「ざらざら」 「ぐつぐつ」．．．．
どれが画像に表れやすくて，
どれが画像に表れにくい ？
視覚的なオノマトペはどれ？
オノマトペの深い理解を目指す！
オノマトペと画像の関係の理解．
画像からのオノマトペの自動生成 !?
ⓒ 2016 UEC Tokyo.

認識可能性の評価• 測定方法– ランダム画像5000枚を正例画像50枚に混ぜ，学習モデルを使って，分離（5 fold cross validation）– 分離度合いで，認識可能性を評価
分離度大⇒認識可能性が高い
分離度小⇒認識可能性が低いⓒ 2016 UEC Tokyo.

ランダム
画像
5000枚

画像を混ぜ、リラン
キングを行いソート

リランキング
結果を評価画像特徴量・分類器• 画像特徴量（2種類を比較）– Improved fisher vector (IFV)

従来手法• SURF 128次元、クラスタ数 256– Deep Convolutional Neural Network (DCNN)

深層学習による特徴量• 分類器– Support vector machine (SVM)• 線形SVMⓒ 2016 UEC Tokyo.

DCNN特徴の抽出• Overfeat [P. Sermanet et al., 2013]– ImageNet Challenge の 1000 カテゴリ，100万枚
でpre-training すみ．

– layer5，6，7 の出力結果を扱う
次元
次元

次元
ⓒ 2016 UEC Tokyo.

実験(2): 認識可能性の評価• ランダム画像5000枚との分離度

Feature at random
約1%
平均値(%)IFV

Layer5Layer6Layer7(DCNN)(DCNN)(DCNN)

21.5

55.6

51.3

73.9

ⓒ 2016 UEC Tokyo.

認識可能性の評価例（4種類）

オノマトペ

ふわふわ

ごつごつ

ざらざら

じゅわじゅわFisher

2.8

3.8

51.4

2.1

Layer7

47.4

78.2

92.4

96.6

（DCNN）ⓒ 2016 UEC Tokyo.

ランダム画像との分離結果 (1)「ふわふわ」 （赤枠はノイズ画像）
Fisher2.8%

Layer7(DCNN)
47.4%「ごつごつ」
Fisher3.8%

Layer7(DCNN)
72.8%ⓒ 2016 UEC Tokyo.

ランダム画像との分離結果(2)「ざらざら」（赤枠はノイズ画像）

Fisher51.4%

Layer7(DCNN)
92.4%「じゅわじゅわ」
Fisher2.1%

Layer7(DCNN)
96.6%ⓒ 2016 UEC Tokyo.

オノマトペ122画像認識可能性(視覚性）ランキング
B班 坂本先生 の オノマトペリストを利用して収集• １ ふさふさ 100.0 （ふさふさな動物）• ２ ふくふく 100.0 （テキスト、広告）×• ３ べとべと 99.6 （キャラクター？）×• ４ ぶつぶつ 98.7 （ぶつぶつしたテクスチャ）• ５ ぷくぷく 98.6 （キャラクタのシール？）×• ６ しゃきしゃき 98.4 （もやしやゴボウ）• ７ ざらざら 96.7 （ざらざらしたテクスチャ）• ８ つやつや 96.7 （つやつやな髪の毛？） ×• ９ もふもふ 96.4 （もふもふな動物）• １０ くたくた 96.1（スヌーピーのぬいぐるみ）×

http://mm.cs.uec.ac.jp/shimoda-k/shitukan/ono_norn/image/ⓒ 2016 UEC Tokyo.

• 11ぱさぱさ 95.9（ぱさぱさな髪の毛）• 12くるくる 94.5 （おもちゃなどの広告）×• 13さくさく 92.8 （さくさくパンダ）×• 14ぎしぎし 90.4 （草 ぎしぎしという名前？）• 15ねばねば 89.7 （納豆）• 16ゆらゆら 87.6 （人の顔）×• 17さらさら 86.9 （洗剤）×• 18ぼさぼさ 86.6（人の顔）×• 19かちかち 85.8 （かちかち山のイラスト）×• 20ごてごて 84.5（ロボットのフィギュア）ⓒ 2016 UEC Tokyo.

オノマトペ視覚性ランキング
下位20• -20 ふにゃふにゃ 13.2
• -19 もさもさ 12.7
• -18 ぐにゅぐにゅ 11.2
• -17 がしがし 10.5
• -16 するする 9.2• -15 しとしと 9.1• -14 もわもわ 8.8• -13 じゃりじゃり 8.0• -12 とげとげ 7.6• -11 ごろごろ 6.96

ⓒ 2016 UEC Tokyo.

オノマトペ視覚性ランキング
下位20• -10 がさがさ 6.6• -9 こなこな 5.1• -8 ねちょねちょ 4.6• -7 うにょうにょ 3.2• -6 かくかく 2.9• -5 かしかし 2.7• -4 てらてら 2.6• -3 ばしばし 2.1• -2 ずしずし 1.7• -1 うぞうぞ 0.3ⓒ 2016 UEC Tokyo.

同一種物体内のオノマトペ分類「じゅわじゅわ」画像＝ 食事画像 (?)

「ごつごつ」画像＝ 山の画像 (?)

特定の物体に偏る
質感認識ではなく，物体認識をしている可能性．．

名詞＋オノマトペで同一名詞に関連した画像を収集 ⇒ オノマトペのマルチクラス分類
物体クラスの違いによる分類の可能性を排除するⓒ 2016 UEC Tokyo.

名詞＋オノマトペ画像の認識• ケーキ＋オノマトペ画像ⓒ 2016 UEC Tokyo.

同一名詞内オノマトペ画像
マルチクラス分類• DCNN特徴 5 fold cross varidation で実験• 名詞と組み合わせたオノマトペは、Webテキスト検索の共起頻度に基づき自動選択- クラス数が少なくなるので形容詞も一部使用

6~8クラス(300~400枚)

名詞

犬
8クラス

靴
6クラス

ケーキ
7クラス

花
7クラス

分類率(%)

52.5

85.7

72.3

84.6

ⓒ 2016 UEC Tokyo.

ケーキ内オノマトペマルチクラス分類

61.5%

72.3%
ⓒ 2016 UEC Tokyo.

名詞＋オノマトペ画像の認識• 花＋オノマトペ画像ⓒ 2016 UEC Tokyo.

名詞内オノマトペマルチクラス
分類

84.6%

ⓒ 2016 UEC Tokyo.

弱教師あり学習による
質感画像領域分割分析

領域分割学習データ構築の困難性• 大量の学習サンプルが必要– 数万枚から数百万枚• 領域分割（応用）においてはピクセルレベルのアノテーションが必要– コストが爆発的に増加
画像認識の領域分割のアノテーション
アノテーション

人

人

自
転
車

馬
車

[J. xie+, CVPR2016]ⓒ 2016 UEC Tokyo.

60

弱教師あり学習による領域分割• 弱教師あり学習による領域分割– ラベル情報のみで学習を行い、領域分割• アノテーションのコストを大きく抑えるⓒ 2016 UEC Tokyo.

61

手法③ 伝搬値の差分による高速かつ高精度な領域分割• 伝搬値の勾配のみを使って領域分割• 高速かつ高精度にi

詳細な位置の推定伝搬値から各カテゴリの

W. Shimoda and K. Yanai: Distinct Class-specific Saliency Maps
for Weakly Supervised Semantic Segmentation, ECCV 2016,ⓒ 2016 UEC Tokyo.

62

BPによる認識結果の可視化• 学習プロセスにおけるBack propagation（BP）を利用して、認識結果の可視化が可能– 学習に用いる勾配の大きさが物体の位置に反応する– 認識結果の可視化→物体の位置の推定に– 弱教師あり学習手法– この手法をベースに[K. Simonyan+, ICLR 2014]iⓒ 2016 UEC Tokyo.

Snake

63

Simonyanの手法の問題点• 関係のない場所が反応• 複数の物体が画像にうつっている場合に精度が極端に下がるⓒ 2016 UEC Tokyo.

64

問題点
• Back propagationから得られる勾配のみで完結をさせたい• Simonyanの手法はSemanticな情報が失われてしまう
ほぼ同じ結果に

対象画像

Personクラスから得られる勾配ⓒ 2016 UEC Tokyo.

Trainクラスから得られる勾配65

勾配についての差分
Person
クラスの
勾配

Cow
クラスの
勾配

減算

ⓒ 2016 UEC Tokyo.

67

手法の詳細1. 画像にうつっている物体の認識
2. 認識した領域について、Back propagation
3. 各クラスの勾配について互いに減算
4. CRFを使って領域を統合ⓒ 2016 UEC Tokyo.

68Simonyan et al. との比較

Simonyan et al.

MethodMean
IOU

Sim et al. + CRF

33.8

Ours

44.1

Ours

ⓒ 2016 UEC Tokyo.

69

結果の例と最新手法との比較
MethodMean IOU

MIL-FCN (iclr 2015)
EM-Adapt(iccv 2015)
CCNN (iccv 2015)

25.7
38.2
34.5

MIL-sppxl

36.6(cvpr2015)*

MIL-bb (cvpr2015)*
MIL-seg (cvpr2015)*
Ours w/o CRF
Ours w/ CRF

37.8
42.0
40.5
44.1

* は追加画像を用いている手法ⓒ 2016 UEC Tokyo.

70

弱教師あり学習領域分割の応用• 質感画像など、アノテーションの困難な対象のデータについても有効
Material images

Food images

Onomatopoeia images
Satelite images（in AIST）
ふわふわ

もふもふ

きらきら

ごつごつ

ぶつぶつ

ざらざら

ⓒ 2016 UEC Tokyo.

71

FMDの領域分割•

http://mm.cs.uec.ac.jp/shimodak/space/mat/fmd/index.cgi?EID=2&menu=0&1PG=4&2PG=0&3PG=0&CATE=
0&NID=1&GPID=6&TID=1ⓒ 2016 UEC Tokyo.

オノマトペの領域分割•

http://mm.cs.uec.ac.jp/shimoda-k/space/caffe9/caffe-master/models/ono/ⓒ 2016 UEC Tokyo.

Web画像による学習データが too noisyⓒ 2016 UEC Tokyo.

さらなる性能向上
弱教師有手法• 完全教師有手法の利用．
– 弱教師有手法の結果を使って，完全教師有手法を学習– 学習⇒認識⇒学習データの更新 を繰り返す．

• さらに，領域分割の容易さを評価– 簡単なデータから学習する• 容易な画像でデータ拡張ⓒ 2016 UEC Tokyo.

Simple-To-Complex
framework

Y. Wei, X. Liang, Y. Chen, et al.: STC: A Simple to Complex Framework for
Weakly-supervised Semantic Segmentation, arXiv:1509.03150, (2015).
ⓒ 2016 UEC Tokyo.

最新結果：state-of-the-artⓒ 2016 UEC Tokyo.

画像の質感変化

深層学習は認識だけではない
画像生成, 画像変換も可能
学習ベースの情報変換器①画像から
記号（言語）

画像認識

conv
conv

class
pr. vec.

fc

conv

image

conv

conv

encoder②記号（言語） 「池のほとりで 𝑥
deconvdeconvrandom
寝そべったから画像
deconvfc
vec.
deconv

画像生成「ライオン」

𝑣

トラ」

deconv

generated
image

decoder③画像から画像

画像変換
encoder-decoder

conv
conv

image

conv

ⓒ 2016 UEC Tokyo.

conv

deconvdeconvdeconvdeconvmodified
image複雑化するネットワーク【研究者の仕事】・ ネットワーク設計
・ 誤差関数設計
・ データセット構築• 複数の画像から１枚の画像を生成 (複数入力)
conv

image

style
image

conv

conv

conv

content feature

conv

concat

conv

conv

conv

deconvdeconvdeconvdeconvmodifiedimage

style feature

MultiEncoder-Decoder network• 1つの画像から複数の属性を同時推定 (複数出力)
image

conv

conv

conv

conv

conv fc

𝑣1 「ラーメン」
𝑣2 「麺，醤油スープ，チャーシュー」

Multi-task encoder networkfc

𝑣3 ６５０ kcal

ⓒ 2016 UEC Tokyo.

深層学習で画像生成：2大手法• Generative Adversarial Network (GAN)②記号（言語）ベクトル入力から画像（ランダム＋条件） 𝑥
random
画像生成
vec.

deconvfc

deconvdeconvdeconvdeconv

generated
image• Neural Style Transfer③画像から画像
画像変換

conv
conv
conv

image

conv

ⓒ 2016 UEC Tokyo.

deconvdeconvdeconvdeconvmodified
imageGenerative Adversarial Networks(GAN)（対立（敵対）ネットワーク）
敵対する2つのネットワークを学習
乱数 ｚ

画像 ｘ

Generator

discriminator

生成画像or
本物画像

学習済generatorにZを連続変化させて与える．
近いZに対応する画像は似た画像になる．Zと画像の間に意味的な対応が自動的に学習できる．
Goodfellow, J. Pouget-Abadie, M. Mirza, B. Xu, D. WardeFarley, S. Ozair, A. Courville, and Y. Bengio.
Generative Adversarial Nets. NIPS 2014.
Emily Denton, Soumith Chintala, Arthur Szlam, Rob Fergus: Deep Generative Image Models using a
Laplacian Pyramid of Adversarial Networks, NIPS 2015.
ⓒ 2016 UEC Tokyo.

【余談】 7万枚のラベル付きオムライス画像

クラウドソーシング体験課題ⓒ 2016 UEC Tokyo.

83

ⓒ 2016 UEC Tokyo.

Neural Style Transfer

CNNを使って，画像を様々な「スタイル」に変化させる手法．
まさに「質感操作」！
ⓒ 2016 UEC Tokyo.

画像のスタイルの変換• 「A Neural Algorithm of Artistic Style」– Gatys et al. Year 2015, arXiv:1508.06576– Deep Neural Networkを用いて、画像を絵画風に変換する– 元画像の構成を損なわずにスタイルを変換

コンテンツ画像

スタイル画像ⓒ 2016 UEC Tokyo.

スタイルの変換の仕組み
Convolutional Neural Netwark（CNN）の中間層の出力からコンテンツ表現
スタイル表現を生成、最適化

コンテンツ表現
最適化
Feature Maps

Randominitialiezed
image

Gram Matrix

最適化結果
最適化
スタイル表現ⓒ 2016 UEC Tokyo.

Encoder-Decoder net による高速変換③画像から画像
画像変換

conv
conv
conv

image

conv

deconvdeconvdeconvdeconvmodifiedimage• 画像変換：白黒⇒カラー化，2Ｄ⇒3次元• 画像のスタイル変換– 質感変換– 「絵」のように変換ⓒ 2016 UEC Tokyo.

画像変換ネットの特徴:
逆変換ネット が 容易に構築可能• 入力，出力のペアが大量にあれば，一般には構築が難しい逆変換器を学習ベースで構築可能．正変換で学習データを大量自動生成．
（正変換は容易だが，逆変換は従来は不可能とされていた）– 白黒⇒カラー変換– ２Ｄ⇒３Ｄ変換– 低解像度⇒深層学習ネットワーク
高解像度変換（超解像度）
ビッグデータ ＋ 巨大計算パワー– スタイル変換前
物理モデルは単なるデータ生成のための道具に．．．
⇒スタイル変換後ⓒ 2016 UEC Tokyo.

白黒 ⇒ カラー 変換• 白黒⇒カラー変換•G. Larsson, M. Maire, and G. Shakhnarovich. Learning Representations for Automatic Colorization.
ECCV 2016.
•R. Zhang, P. Isola, and A. Efros. Colorful Image Colorization. In ECCV 2016.
•S. Iizuka, E. Simo-Serra, and H. Ishikawa. "Let there be Color!: Joint End-to-end Learning of Global andLocal Image Priors for Automatic Image Colorization with Simultaneous Classification". SIGGRAPH 2016.
ⓒ 2016 UEC Tokyo.

2D ⇒ 3D変換
• Deep 3D : 2D画像の自動 3D化

J. Xie, R. Girshick, and A. Farhadi: Deep3D: Fully Automatic 2D-to-3D Video Conversion
with Deep Convolutional Neural Networks, ECCV2016.
ⓒ 2016 UEC Tokyo.

超解像• 畳み込みネットで，解像度を縦横２倍ずつに．

Chao Dong, Chen Change Loy, Kaiming He, Xiaoou Tang. Learning a Deep Convolutional Network for Image
Super-Resolution, in Proceedings of European Conference on Computer Vision (ECCV), 2014
W. Shi, J. Caballero, Ferenc Husz and J. Totz: “Real-Time Single Image and Video Super-Resolution Using an
Efficient Sub-Pixel Convolutional Neural Network”, CVPR2016. 他多数ⓒ 2016 UEC Tokyo.

Encoder-Decoder netによる高速変換• Perceptual loss による Decoder-Encoder
Networkの学習

J. Johnson, A. Alahi, Li Fei-Fei: Perceptual Losses for Real-Time
Style Transfer and Super-Resolution, ECCV 2016
ⓒ 2016 UEC Tokyo.

食事画像(深大寺多聞そば）の質感変化転送したスタイルの例ⓒ 2014 UEC Tokyo.

Conditional vectorの追加
による複数スタイルの学習
conv

conv

conv

image

conv

concatdeconvdeconv[1, 0, 0, 0, 0, 0]

conditional vector

deconvdeconvmodified
image

duplicate

Conditional Encoder-Decoder net.
(Encoder-Decoder net. with CNN switch)ⓒ 2016 UEC Tokyo.

高速マルチスタイル変換• 複数スタイルの融合 ⇒ デモあります！

ⓒ 2016 UEC Tokyo.

食べ物は．．．

ⓒ 2016 UEC Tokyo.

Color-preserving !!!

ⓒ 2016 UEC Tokyo.

ⓒ 2016 UEC Tokyo.

牛丼！

ⓒ 2016 UEC Tokyo.

ステーキも旨味アップ！

ⓒ 2016 UEC Tokyo.

Which one you like to eat ?

ⓒ 2016 UEC Tokyo.

Spatial style transfer• 塗り分け可能． (unpublished)ⓒ 2016 UEC Tokyo.

全部ランダム！
• １６スタイル混合アート．

ⓒ 2016 UEC Tokyo.

モバイルdeep learning 応用：
リアルタイムスタイル変換アプリⓒ 2016 UEC Tokyo.

108

ⓒ 2016 UEC Tokyo.

質感への応用• Flickr material dataset（FMD）– 10種類の素材画像（布、金属、木製など）• 素材画像の style transfer– 布を金属に– ガラスを布にⓒ 2016 UEC Tokyo.

スタイル画像

質感画像におけるスタイル変換
Wood

Stone

コンテンツ画像
Leather

Leatherⓒ 2016 UEC Tokyo.

Metal

Glass

スタイル変換＋領域分割• 問題点– 意図しない素材領域も変化・・・• 素材画像の領域を推定– 推定結果領域のみを変換可能！

ⓒ 2016 UEC Tokyo.

質感画像の弱教師あり領域分割• Deep learningによる質感画像の認識
CNN

foliageplastic
water
認識結果• 各カテゴリの認識に寄与した領域の推定
Foliage

Plastic

CRF

Waterⓒ 2016 UEC Tokyo.

部分的スタイル変換• 領域分割結果を用いて、対象物体のみをスタイル変換• 再度領域分割し、素材の変化の確認ⓒ 2016 UEC Tokyo.

FMD画像の部分スタイル変換ⓒ 2016 UEC Tokyo.

ⓒ 2016 UEC Tokyo.

変換結果の一覧と再領域分割結果の評価• MetalやGlassのトランスファーが難しい• 反射の再現が困難？
ⓒ 2016 UEC Tokyo.

オノマトペ画像の学習• ふわふわ、もふもふ、きらきら、ごつごつ、ぶつ
ぶつ、ざらざら• ６種類、２００枚ずつ

ふわふわ

もふもふ

ごつごつ

ぶつぶつ

ⓒ 2016 UEC Tokyo.

きらきら

ざらざら

オノマトペのトランスファー「もふもふ」部分を「ごつごつ」にトランスファー！

ⓒ 2016 UEC Tokyo.

言葉による
画像の任意質感変換• スタイル変換をより簡単に「ボールを金属化したい」と思ったら・・
Webでいい感じの金属スタイル画像を探す必要がある
非常に手間がかかるⓒ 2016 UEC Tokyo.

Web画像マイニングを用いた任意質感変換
収集した
Web画像から自動抽出• 質感単語からスタイルパッチを自動生成
Web画像
質感単語
「金属 メタル
metal etc」

スタイルパッチ

対象物体に応じた
適切なスタイル
パッチを自動生成
Adversarial
Network(optional)

変換画像
コンテンツ画像入力ⓒ 2016 UEC Tokyo.

単語による画像収集とクラスタリング• 質感単語で収集したWeb画像をスタイルの類似したもの同士のクラスタに分化
Web画像
質感単語
コンテンツでクラスタリング(512x512画像全体, VGG19 fc6層 の出力)

Cluster 1

Cluster 2

スタイルでリランキング(256x256 パッチ, Style Vector)ⓒ 2016 UEC Tokyo.

Cluster 3複数枚のスタイル画像のGram Matrixの統合方法

content

mean

style

max

ⓒ 2016 UEC Tokyo.

minimize C

質感単語によるスタイル変換
質感単語

ふさふさ

ごつごつ

自動構築したスタイルパッチ

スタイル変換左：normal
右： colorpreservingⓒ 2016 UEC Tokyo.

かちかち

まとめ
• Web画像データを利用した– オノマトペ画像認識と，認識可能性の評価– 言葉による任意質感変換の実現について紹介した．
• 高速スタイルネットワークの改良による– マルチスタイル，任意部分スタイル転送について紹介した．
ⓒ 2016 UEC Tokyo.

ⓒ 2012 UEC Tokyo.