CONFIDENTIAL EXTENDED ABSTRACT.
DO NOT DISTRIBUTE ANYWHERE.

第 20 回 画像の認識・理解シンポジウム

画像スタイル変換と Web 画像を用いた画像の任意質感生成松尾 真1,a)下田

1. はじめに
近年，2012 年の ImageNet Large Scale Visual Recognition Challenge(ILSVRC) のクラス分類タスクにおいて最も高い精度を挙げた Deep Convolutional Neural Network（DCNN）[3] がコンピュータビジョンの分野で注目されており, 様々な分野へと応用する動きが進められている。
2015 年 ，Gatys ら [1] に よ っ て ，Deep Neural Network(DNN) を用いた，画像のスタイルを絵画のものに変換するアルゴリズムが考案された。これにより，従来の画像合成技術よりも物体の形状を精密に維持して画像のスタイルを変換することが可能となった。
Neural style transfer は絵画風への変換だけでなく，昼の風景を夜にしたり [1], 物体の質感を変えたり [2] することができる．そこで，本研究では，スタイル変換アルゴリ
ズムを Flickr Material Database(FMD) やオノマトペを用いて Web から収集した実世界画像の質感の転写に応用し，画像内物体の任意質感変換を目指す。
実世界画像の質感概念をスタイルとして，画像内物体の質感の任意変換が可能となれば，画像に対する心象を意図的に変化させることができ，画像データの増量やデザイン，エンターテインメントなどの様々な分野での応用が期待できる。
しかし，このアルゴリズムには目的のスタイルが画像の形式で存在する必要があるため，ある質感を与えたいときにはその質感を持つ画像をマニュアルで用意する必要がある。この問題の解決のため，画像のスタイル認識のために考案した特徴量 Neural Style Vector[3] を用いて，質感単語で収集した Web 画像から有用なものを自動選択し、スタイル表現を生成するシステムを構築する。

2. Neural Style Transfer
Deep Neural Network を用いたスタイル変換の関連研究
は Gatys ら [1] の研究が挙げられる。この研究では，Imagenet1000 クラスを学習済みの DNN の中間層のフィルタ出力を使用することで，スタイル画像のスタイルをコンテンツ画像に転写しており，画像のクラス分類が中心であった DNN の研究分野に衝撃を与えた。
1a)b)c)

電気通信大学大学院 情報理工学研究科
matsuo-s@mm.inf.uec.ac.jp
shimoda-k@mm.inf.uec.ac.jp
yanai@cs.uec.ac.jp

和1,b)柳井 啓司1,c)

本研究では Gatys ら [1] の手法を用いて画像を合成することで，画像の質感の変換を行う。変換させる画像をコンテンツ画像 xc ，スタイル画像を xs ，合成結果画像を xgとする。xc ，xs ，xg のコンテンツ表現とスタイル表現をCNN の特定の layer の活性値から求め，xg のコンテンツ表現が xc に，スタイル表現が xs に近くなるように反復的に合成する。
使用した CNN は VGG19[4] であり，コンテンツ表現に使用する layer は conv4 2，スタイル表現に使用する layer
は conv1 2，conv2 2，conv3 4，conv4 4，conv5 4 である。
図 1 にスタイル変換アルゴリズムの概略を記す。
layer l におけるコンテンツ表現はパラメータ数 Nl の活性値行列 Fl (x)，その損失関数は xc と xg の差であり，式1 で表される。

Lc (xc , xg ) =1∑
2(Fl,i,j (xc ) − Fl,i,j (xg ))2 i,j(1)layer l におけるスタイル表現は活性値行列の式 2 で表される相関行列 G(x, l)，その損失関数は xs と xg の差であり，式 3 で表される。使用する layer 全体の誤差は重み wlを用いて式 4 で表される。
Gl (x) = Fl (x)F T (x, l)Losss,l (xs , xg ) =1 ∑2(Gl,i,j (xs ) − Gl,i,j (xg ))4Nl 2 i,jLosss (xs , xg ) =∑wl Losss,l (xs , xg )

(2)
(3)

(4)

l

全体のエラー関数は重み wc , ws を用いて式 5 で表される。
この式の値が最小となるように xg を L-BFGS 法を用いて最適化する。
Loss(xc , xs , xg ) = wc Lossc + ws Losss(5)

現在このアルゴリズムには様々な改良が考案されている。
Li ら [5] は Markov Random Fields(MRF) と CNN の組み合わせによって実世界画像の転写により適したスタイル変換を行った。Novak ら [6] は Gram Matrix のシフトや layer
間の Gram Matrix の操作によってスタイル変換の質を向上させた。Berger ら [7] は特徴マップの空間転移により，スタイルを広範囲に保持したスタイル変換や Inpainting を行った。
また，Feed forward network を用いてスタイルを学習す1

第 20 回 画像の認識・理解シンポジウム

InputContent𝐹 𝑥

conv4_1
conv4_2
conv5_1

conv3_1

conv2_1

input

conv1_1

content image 𝑥𝑐

Pre-trainedDNN(VGG19)

Optimizewith
L-BFGSstyle image 𝑥𝑠

𝐺𝑙 = 𝐹𝑙 𝐹𝑙

𝐿𝑜𝑠𝑠𝑐𝑜𝑛𝑡𝑒𝑛𝑡 𝑥c , 𝑥g

𝑇

𝐿𝑜𝑠𝑠 𝑥c , 𝑥s , 𝑥g

Outputcorrelation

Style𝐺(𝑥)

図 1

スタイル変換アルゴリズム

𝐿𝑜𝑠𝑠𝑠𝑡𝑦𝑙𝑒 𝑥s , 𝑥g

generated image 𝑥𝑔

ることによる高速化 (Fast style transfer) が Johnson ら [8]や Ulyanov ら [9] により考案された。さらに単一の Feedforward network で複数のスタイルを学習したマルチスタ
イルの Fast style transfer が Dumoulin ら [10] によって考案された。

3. 単語概念からの自動スタイル生成
類似スタイルを持つ画像同士が集中したクラスタをスタイル表現として構成するために，以下の手順で質感単語から収集された Web 画像から DCNN 特徴 (VGG19 の fc6 層の出力) と Neural Style Vector を用いて有用なスタイル表現の抽出を行い，そのスタイル表現によるスタイル変換の結果を評価する。また，質感単語をキーワードとした画像収集には Bing API を使用する。
( 1 ) 収集した画像を Wr ×Wr にリサイズ( 2 ) 全ての画像から DCNN 特徴を抽出( 3 ) 不適切な画像を除去( 4 ) 残った画像から Wp ×Wp のパッチを切り出し( 5 ) 全てのパッチから Neural Style Vector を抽出( 6 ) DCNN 特徴を用いて画像をクラスタリング (クラスタ数 N)( 7 ) Neural Style Vector を用いて各クラスタ内の画像をリ
ランキング( 8 ) 各クラスタ上位 K 枚の画像を用いてスタイル変換
実験では N = 10 個のスタイルクラスタを構成し，各クラスタに式 6 でスコアを設定し，上位３個のクラスタを実験では使用した。クラスタ C に含まれる画像数を N um(C)，クラスタ内の画像のクラスタ中心との距離 Dist(xi , C) とする。

N (C)score(C) = ∑i Dist(xi , C) + λ(6)実験では Wr = 1024, Wp = 512 とした。収集した Web
画像から低解像度な画像や人間単体の画像を，DCNN 特徴で学習した SVM を用いて除外した。

異なる物体間で類似したスタイルを持つ例は少ないため，まず DCNN 特徴を用いて kmeans クラスタリングを行うことで，物体カテゴリ別のクラスタに分離させる。
各クラスタからのスタイル表現の導出のため，Neural
Style Vector によるクラスタ内のリランキングを行い，各クラスタの上位 K 枚を選出する。
リランキングにはまずクラスタ内の画像をさらにクラスタリングし，各小クラスタに式 6 でスコアを与え，小クラスタをリランキングし，さらに各小クラスタ内の画像をクラスタ中心との距離が小さい順にリランキングする。

4. 実験
実験では FMD および質感単語で構築したスタイルクラスタを用いてスタイル変換を行い，ユーザー評価を行う。
使用するスタイルクラスタは各単語の上位 3 つを選出し，クラスタ上位 9 枚を使用してスタイル変換画像を生成する。

4.1 実験データ
コンテンツ画像は図 2 の 3 種類の画像を使用した。質感単語はオノマトペ 23 単語を使用した。

図 2

コンテンツ画像（左から content0，1，2 とする）

4.2 ユーザー評価
ユーザー評価では図 3 のように，質感単語と正解の画像3 枚，ランダムに選出した同コンテンツの不正解の画像 12枚をブラウザに表示し，ユーザーが最もその単語に当てはまると感じた画像を選択し，その正解の可否で評価する。
問題数はコンテンツ数 3，単語数 23 語の 69 問，回答した

2

第 20 回 画像の認識・理解シンポジウム

図 3 ユーザー評価実験（赤枠が正解）

ユーザー数は 9 人だった。

4.3 評価結果
各単語のユーザー評価の結果は図 5 のようになった。正
解率が高かった単語は「ふさふさ」，「ざらざら」，「もふもふ」だった。また，コンテンツ別の評価結果は図 6 のようになった。

0.704
0.556
0.481

図 50.148

しゃりしゃりくしゅくしゅごてごて

ふにゅふにゅ

かちかち

さらさら

ゆらゆら

0.000

ねばねば

ぎしぎし

さくさく

くるくる

ぱさぱさ

くたくた

もふもふ

つやつや

0.259
0.222

0.185
0.148

0.037

ざらざら

ぷくぷく

しゃきしゃき

ぶつぶつ

べとべと

0.333

0.2220.148

0.037

ふくふく

0.296
0.296

0.333
0.296

0.259
0.222
0.148

ぼさぼさ

0.333

0.296

ふさふさ

1.000
0.900
0.800
0.700
0.600
0.500
0.400
0.300
0.200
0.100
0.000

ユーザー評価の結果

content0

content1

しゃりしゃりくしゅくしゅふにゅふにゅ

ごてごて

かちかち

ぼさぼさ

さらさら

ゆらゆら

ねばねば

ぎしぎし

さくさく

くるくる

ぱさぱさ

くたくた

もふもふ

つやつや

ざらざら

しゃきしゃき

ぷくぷく

ぶつぶつ

べとべと

ふくふく

ふさふさ

1.000
0.889
0.900
0.800 0.778
0.667
0.667
0.700
0.556
0.556
0.600 0.556
0.500
0.4440.444
0.444
0.444
0.333
0.333
0.3330.333
0.400 0.3330.333
0.3330.333
0.333
0.333 0.3330.333
0.3330.333
0.333 0.3330.333
0.222
0.222
0.222
0.222
0.222
0.300
0.2220.2220.222
0.222 0.2220.222 0.222 0.222 0.222
0.2220.222
0.222
0.111
0.111
0.200
0.111
0.111
0.111
0.111
0.111
0.1110.111
0.111
0.1110.111
0.111
0.111
0.000
0.100
0.000
0.000
0.000
0.000
0.000
0.000
0.000
0.000

content2

図 6 コンテンツ別ユーザー評価の結果

各単語のユーザー評価の結果は図 5 のようになった。正
解率が高かった単語は「ふさふさ」，「ざらざら」，「もふもふ」だった。正解率に繋がる要因として考えられるのは，「類似するスタイルクラスタの構成の成功」，「スタイル変換のクオリティ」，「質感単語の視覚的イメージのしやすさ」
であると考えられる。

これらの単語のクラスタの内，最も選択されることが多かったものが図 4 であり，これらのスタイルクラスタは全て類似したスタイルが上位に集中しており，スタイル画像の収集が成功した例だと言える。
また，コンテンツ別の評価結果は図 6 のようになった。
これらを比較すると質感単語の正解率はコンテンツによって大きく異なることが分かる。
図 7，図 8，図 9，図 10 はそれぞれ「ふさふさ」，「ざらざら」，「もふもふ」，「くしゅくしゅ」から生成されたスタイルクラスタおよび変換画像とアンケートにおいての正解者の数である。
「ふさふさ」，「くしゅくしゅ」のスタイルクラスタでは全てのクラスタで似たスタイルのものが集まり，正解数にクラスタ毎の差はあまり見られなかった。それに対し，「ざらざら」，「もふもふ」のスタイルクラスタは３つのクラスタの内，１つのクラスタの正解率だけが非常に高くなっていた。「ざらざら」のスタイルクラスタは Cluster0 はパッチ状のスタイルとして有用性の高い画像があつまっており，それ以外のクラスタは類似した画像があまり集まっていなかったためだと思われる。「もふもふ」の Cluster0 は類似したスタイルが上位に集まってはいるが，アニメの画像など，スタイルとして好ましくない画像が多く，Cluster1 は「ふさふさ」などの他のオノマトペで収集された画像に似ていることから，選択されることが少なかったのではないかと思われる。このクラスタの順序と正解率の違いからクラスタのスコア（式 6）は改良の余地があると考えられる。
また，これらの結果から，スタイル変換のクオリティについてはコンテンツ画像とスタイルの相性に強く依存していると考えられる。コンテンツが基調とするカラーによって背景と物体のどちらが大きく変化するかが変わっており，後者のコンテンツの正解率が高くなっている。例えば，図4 の元となったスタイルクラスタでは，「ざらざら」は黒を，「もふもふ」は白を基調とした画像が集まっており，それぞれ同じ色を基調としたコンテンツを変換した画像（「ざらざら」と content1，「もふもふ」と content2）の正解率が高くなっている。
また， コンテンツとスタイルの間の共通構造（しわ，毛並みなど）の有無によって生じるスタイル変換のクオリティの違いも影響していると思われる。例えば，同じく白を基調としたコンテンツであるにも関わらず，content0 とcontent2 の「ふさふさ」と「もふもふ」の正解率には大きな差がある。これらの単語では content0 では新たに毛の質感を追加しているのに対し，content2 では元より持っている質感を強調される形で変換されており，自然な変換となっている。
したがって，コンテンツの持つ特徴を考慮したスタイルクラスタ構成により効果的なスタイル生成が可能になると思われる。

5. おわりに
Neural Style Transfer アルゴリズムを用いた画像の任意質感生成を行うために，単語概念からスタイル表現を自動

3

Content

第 20 回 画像の認識・理解シンポジウム

Style

ふさふさ

ざらざら

もふもふCluster 0Style

正解率の高い質感変換結果例

Content図 4Vote:3

Vote:5

Vote:1

Vote:0Vote:2

Vote:0Vote:2

Vote:0Vote:3

Vote:6

Vote:4

Vote:0Vote:0Vote:0Vote:0Vote:0Vote:0Cluster 2

Cluster 1

Vote:2Cluster 0

StyleContent

図 7 「ふさふさ」による質感変換結果

たそのクオリティはコンテンツのカラーやスタイルとの共通構造によって，大きく影響を受けることが分かった。
スタイル変換アルゴリズムの傾向から，変換に使用するスタイル画像はきめ細かな構造が多く，コンテンツ画像に類似する構造が有り，変換したい対象の領域のカラー傾向が共通していることが望ましいことが分かった。そこで，コンテンツのスタイル表現に依存したスタイルクラスタの構築や領域分割とスタイル画像の色変換を用いて対象領域のカラーをコンテンツに近づけることでより自然な質感変換が可能になると考えられる。

Cluster 1

参考文献

Cluster 2

[1]

[2]

図 8 「ざらざら」による質感変換結果[4]Cluster 2

Cluster 1

Cluster 0

Style

Content[3]Vote:0Vote:0Vote:0Vote:1

Vote:1

Vote:1

Vote:4

Vote:4

Vote:7[5][6]
図 9 「もふもふ」による質感変換結果
Content[7]Cluster 0

Style

Vote:0Vote:1

Vote:1

Vote:0Vote:0Vote:3

Vote:1

Vote:0[8]

Cluster 2

Cluster 1

Vote:1[9]

図 10 「くしゅくしゅ」による質感変換結果[10]生成するシステムを構築し，複数の生成画像の評価をアンケートを用いて行った。その結果，視覚的概念への連想が容易であり，類似スタイル表現を多く持つクラスタが生成される単語では人間に評価されやすい画像が生成され，まL. A. Gatys, A. S. Ecker, and M. Bethge. Image styletransfer using convolutional neural networks. In Proc. ofIEEE Computer Vision and Pattern Recognition, 2016.
松尾真, 柳井啓司. Neural style transfer と領域分割による画像の部分的質感操作. In 電子情報通信学会パターン
認識・メディア理解研究会（PRMU）, 2016.
S. Matsuo and K. Yanai. Cnn-based style vector for style
image retrieval,. In Proc. of ACM International Conference on Multimedia Retrieval, 2016.
K. Simonyan and A. Zisserman. Very deep convolutional
networks for large-scale image recognition. In Proc. ofarXiv:1409.1556, 2014.
C. Li and M. Wand. Combining markov random fields
and convolutional neural networks for image synthesis.
In Proc. of arXiv:1601.04589, 2015.
R. Novak and Y. Nikulin. Improving the neural algorithm of artistic style. In Proc. of arXiv:1605.04603v1,2016.
G. Berger and R. Memisevic. Incorporating long-range
consistency in CNN-based texture generation. In Proc.
of arXiv:1606.01286v1, 2016.
J. Johnson, A. Alahi, and L. Fei-Fei. Perceptual losses forreal-time style transfer and super-resolution. In Proc. ofarXiv:1603.08155, 2016.
D. Ulyanov, V. Lebedev, A. Vedaldi, and V. Lempitsky.
Texture networks: Feed-forward synthesis of texturesand stylized images. In Proc. of arXiv:1603.03417v1,
2016.
V. Dumoulin, J. Shlens, and M. Kudlur. A
learned representation for artistic style. In Proc. ofarXiv:1610.07629v1, 2016.

4