IS2-19

Neural Style Feature を用いた感性モデルに基づくテクスチャ生成○寸田 菜月†，谷 伊織†, ‡，飛谷 謙介†, §，竹本 敦†，谿 雄祐†，長田 典子†，森田 修史||†: 関西学院大学大学院理工学研究科人間システム工学専攻／感性価値創造インスティテュート
‡: 神戸大学情報基盤センター§: 長崎県立大学情報システム学部情報システム学科||: クチュールデジタル株式会社
fs1013.sekarock@kwansei.ac.jp
概要： 本研究では，素材の表面性状（テクスチャ）に対する印象である感性的質感に着目し，所望の感性的質感を有するテクスチャ画像生成手法を提案する．学習済み CNN から抽出されるスタイル特徴を利用し，心理実験で定量化した感性的質感との関係性を Lasso 回帰によりモデル化する．その後，感性的質感を誇張したときのスタイル特徴をモデルに基づき算出し，元画像のスタイル特徴との差を最小化するよう最適化を行うことでテクスチャ画像を生成する．
＜キーワード＞ 感性的質感，テクスチャ生成，スタイル変換

図 1 本研究の概観はじめに「高級感のある」や「古風な」といった素材の表面性状（以下，テクスチャ）から喚起される印象は感性的質感と呼ばれ，物の良し悪しや好ましさを評価・判断する上で重要な意味を持つと考えられている．そのため，近年プロダクトデザイン分野において感性的質感を理解・制御する技術が必要とされている[1][2][3]．
また，E コマースの普及に伴い，ユーザニーズの多様化が進み，プロダクトのパーソナライズ化に対する要求が高まっている．その一例として，衣服のオーダーメイドサービスが挙げられる．これらのサービスは，数多くの素材や柄，形などから自由に組み合わせられる一方で，あらかじめ用意されている中から選ばなければならず，真のパーソナライズとは言い難い．さらに，オリジナルなものを新たにデザインする上ではデザイナーの経験的知見が必要とされ，一般ユーザには困難を伴う．
そこで本研究では，衣服の柄を対象とし，所望の視覚的印象に関する感性的質感を有するテクスチャ画像生成手法の提案を目的とする．本研究の概観を図1 に示す．これらの技術により，人の嗜好や満足といった感性価値に基づくデザイン支援が可能となる．

先行研究
テクスチャ解析に関する研究は古くから行われており，さまざまなテクスチ ャ特徴量が提案 されている[4][5]．近年では，一般物体認識に用いられる畳み込みニューラルネットワークである VGG19[6]から抽出される content feature（以下，コンテンツ特徴）および

ViEW2020 ビジョン技術の実利用化ワークショップ (2020.12.3-4 online)– 328 –

style feature（以下，スタイル特徴）に着目した画風変換アルゴリズムを Gatys らが提案し，高精度な生成結果を示した[7]．これにより，コンテンツ特徴が物体認識において重要視される形状情報を表現し，スタイル特徴がマルチスケールな色情報やパタン情報等の詳細な見た目を表現するテクスチャ特徴量であることが示唆された．しかしながら，これらの特徴量と感性的質感とを関連付けた研究はこれまで十分になされていない．
このことから竹本らは，自動車内装部品などの製品として流通する幾何学テクスチャ，梨地テクスチャ，革テクスチャ等を対象とし，スタイル特徴を用いた所望の感性的質感を有するテクスチャ画像生成手法を提案した[1]．その結果，所望の感性的質感が変化した生成結果が得られたことから，スタイル特徴が感性的質感と関連の強い特徴量であることが示唆された．
そこでこれまでの取り組みとして，スタイル特徴が衣服の柄においても高い親和性を持つと考え，スタイル特徴を用いて柄から喚起される感性的質感を自動で推定するモデルの構築を行った．その結果，人が実際に感じる感性的質感と極めて近い推定結果が得られたことから本手法の有効性を確認し，柄検索システムへと応用した[8]．これらの研究成果を踏まえ本研究では，従来のような検索だけでなく，より一人ひとりのイメージに合わせたオリジナルな柄を生成する枠組みへと拡張する．

感性的質感の定量化
柄から喚起される感性的質感に関する評価構造を明らかにし定量化するため，主観評価実験を行った．
刺激の収集
本研究では，柄の中でも代表的な例の一つである花柄を中心に画像 1158 枚を収集し，主観評価実験に用いる刺激とした．刺激の例を図 2 に示す．

図 2 刺激の例
評価語の収集・選定
柄から喚起される感性的質感に関する評価語を実験的手法と調査的手法により収集・選定した．

実験的手法では飛谷ら[9]の手法に基づき自由記述実験・適合度実験を行い，調査的手法では布柄や質感に関する先行研究[10][11][12]を調査した．これにより「陽気な」，「明るい」，「カラフルな」，「複雑な」，「重なりのある」，「涼しげな」，「自由な」，「かわいい」，「上品な」，「洗練された」の計 10 語を主観評価実験に用いる評価語とした．
主観評価実験
実験参加者は液晶に呈示された刺激を観察し，各評価語につきどの程度当てはまるか「非常に当てはまらない」，「かなり当てはまらない」，「やや当てはまらない」，「どちらでもない」，「やや当てはまる」，「かなり当てはまる」，「非常に当てはまる」の評価尺度からなる 7 件法で回答した．実験
参加者は大学生および大学院生の男女であった．
その結果，1 刺激 1 評価語あたり 5～10 名分の評価データが得られたため，「非常に当てはまらない」を-3 点，「非常に当てはまる」を 3 点として各評価尺度に対して 1 点刻みの点数化を行い，算出した平均値を各刺激・評価語に対する評価点として定義した[8]．

スタイル特徴の抽出
スタイル特徴は事前学習された VGG19 の中間層から抽出される特徴マップの相互相関行列（Gram Matrix）である．VGG19 には複数の畳み込み層と 1 つのプーリング層から構成される 5 つのブロックが存在する．本研究では，評価点を付与した全画像を用いて，Gatys ら[7]と同様に各ブロ
ッ ク の 1 番 初 め に あ る 畳 み 込 み 層 （ conv1_1,conv2_1, conv3_1, conv4_1, conv5_1）からスタイル特徴を抽出した．特徴次元数はそれぞれ 64×64,128×128, 256×256, 512×512, 512×512 であった．

感性評価モデルの構築
Lasso 回帰によるモデル化
感性的質感とスタイル特徴との関係性を定式化するため，Lasso 回帰を行った．Lasso 回帰は罰則付き回帰モデルの一つで，L1 正則化を行うことで過学習を防ぎつつ回帰モデルを構築できる手法である．目的変数を 3. で付与した評価点，説明変数を 4. で抽出した各スタイル特徴として Lasso 回帰を行い，感性的質感と関連の強い特徴量を選択しながらモデルを構築した．罰則パラメータには，
K-分割交差検証時（K=11）の平均二乗誤差が最小となった際の値を使用した．

– 329 –

表 1 モデルの決定係数（カッコ内：選択された特徴量数）
conv1_1

conv2_1

conv3_1

conv4_1

conv5_1

平均

陽気な0.582 (16)0.699 (200)0.628 (142)0.694 (307)0.648 (300)0.650

明るい0.711 (17)0.784 (199)

0.760 (184)0.801 (356)0.695 (331)

0.750

カラフルな

0.330 (27)0.565 (183)0.608 (99)0.695 (214)0.603 (172)

0.560

複雑な

0.229 (23)0.530 (158)

0.543 (124)

0.623 (187)

0.642 (279)0.513

重なりのある

0.167 (20)0.488 (174)0.570 (181)

0.673 (230)

0.661 (289)

0.512

涼しげな

0.699 (21)0.775 (134)0.776 (287)0.809 (453)

0.716 (422)

0.755

自由な

0.172 (14)0.386 (212)

0.408 (226)0.487 (245)0.332 (94)0.357

かわいい0.372 (18)0.550 (163)0.501 (128)0.568 (186)0.549 (213)

0.508

上品な

0.229 (14)0.317 (112)0.393 (198)0.460 (197)

0.411 (198)

0.362

洗練された

0.138 (11)0.198 (59)0.212 (95)0.305 (126)

0.393 (226)

0.249

陽気な

明るい

カラフルな重なりのある

複雑な
画像数

画像数

画像数

画像数

画像数
評価点

評価点

評価点

評価点

評価点

涼しげな

自由なかわいい

上品な

洗練された評価点

評価点

画像数

画像数

画像数

画像数

画像数
評価点

評価点

評価点

図 3 評価点の分布
結果・考察
各モデルの決定係数を表 1 に示す．10 語中 7 語において 5 つのモデルの決定係数の平均が 0.5 以上となったことから，高精度な感性評価モデルを構築できたことを確認した．
一方で，決定係数の低かった「自由な」，「上品な」，「洗練された」では，評価点が-3 点以上-2 点未満や 2 点以上 3 点以下に該当するような両極端の評価だった柄が極めて少なかった（図 3）．ゆえに，どういった特徴がそれぞれの感性的質感に寄与するのかを正確にモデル化できていないことが予想される．そのため，高精度にモデル化できた 7
語を 6. で行う生成の対象とした．

抽出した（図 4）．ここで，(ii) 感性的質感に寄与するスタイル特徴を操作した．詳細は 6.2 で述べる．次に，(iii) 出力画像（生成画像）からも同様にスタイル特徴とコンテンツ特徴を抽出した．このとき，初期画像には元画像を設定した．続いて，(iv) 入力画像と出力画像との間で特徴量ごとに平均二乗誤差を計算し，スタイル特徴の誤差に比重を置き全体の誤差を計算した（式 1）．その後，(v)全体の誤差を最小化するよう出力画像を更新した．
最適化には L-BFGS 法を用いた．さらに，前述の(iii) ~ (v) の処理を最大 300 回反復させることで最終的な画像を生成した．

モデルに基づくテクスチャ生成
生成フロー
本研究では，以下 5 つの処理によりテクスチャ画像の生成を行った．まず，(i) 入力画像（元画像）からスタイル特徴とコンテンツ特徴を抽出した．
スタイル特徴は 4. で述べた 5 層から，コンテンツ特徴は Gatys ら[7]と同様に 4 番目のブロックの 2番目にある畳み込み層（conv4_2）から，それぞれ𝐿𝐿𝑡𝑡𝑡𝑡𝑡𝑡𝑡𝑡𝑡𝑡 = 𝐿𝐿𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑠 × 106 + 𝐿𝐿𝑐𝑐𝑐𝑐𝑐𝑐𝑐𝑐𝑐𝑐𝑐𝑐𝑐𝑐(1)

感性的質感を誇張したスタイル特徴の算出
5. で構築した感性評価モデルに基づき，感性的質感を誇張したときのスタイル特徴を算出した．
算出方法を式 2 に示す．

– 330 –

𝐺𝐺𝑒𝑒𝑒𝑒ℎ𝑎𝑎𝑎𝑎𝑎𝑎𝑎𝑎𝑎𝑎 = 𝐺𝐺𝑜𝑜𝑜𝑜𝑜𝑜𝑜𝑜𝑜𝑜𝑜𝑜𝑜𝑜𝑜𝑜 × �1 + 𝛽𝛽̂ 𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝑙 × 10� (2)結果・考察生成結果を図 6 に示す．
「陽気な」では画像全体が黄みを帯び（図 7(a)），
「明るい」では明度が上がったように，「カラフルな」では彩度が上がったようにそれぞれ変化した．また，「複雑な」では葉脈等の線の部分が強調され（図 7(b)），
「重なりのある」では陰影等が強調され奥行きを感じるように変化した（図 7(c)）．さらに，「涼しげな」では画像全体が青みを帯び（図 7(d)），「かわいい」では明度は上がりつつ彩度が下がったパステル調のように変化した．このように人の直感に合った生成結果が得られたことから，本手法の有効性が示唆された．

VGG19

スタイル特徴conv1_1

conv2_1

conv3_1

conv4_1

conv5_1

コンテンツ特徴
conv4_2

おわりに
図 4 特徴量の抽出層
𝐺𝐺𝑜𝑜𝑜𝑜𝑜𝑜𝑜𝑜𝑜𝑜𝑜𝑜𝑜𝑜𝑜𝑜 は元画像のスタイル特徴，𝛽𝛽̂ 𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝑙 は 5. で得られた回帰係数をそれぞれ表す．これにより，Lasso 回帰で選択されなかった部分は元のスタイル特徴のままで，選択された感性的質感と関連の強い部分はその度合いに合わせてスタイル特徴を変化させた（図 5）
．

変化前

変化後

図 5 TEX00006 において「涼しげな」を誇張した
ときのスタイル特徴の変化

元画像

陽気な

明るい

本研究では，衣服の柄を対象とし，所望の感性的質感を有するテクスチャ画像生成手法を提案した．まず主観評価実験を行い，柄から喚起される感性的質感を定量化した．次に，学習済みのVGG19 を用いてスタイル特徴を抽出した．その後，感性的質感とスタイル特徴との関係性を Lasso 回帰によりモデル化した．最後に，感性的質感を誇張したときのスタイル特徴をモデルに基づき算出
し，元画像のスタイル特徴との差を最小化するよう最適化を行うことでテクスチャ画像を生成した．
その結果，人の直感に合った生成結果が得られたことから本手法の有効性を確認した．
今後の研究課題として，得られた生成結果に対する客観的・定量的な妥当性の検討が挙げられる．

カラフルな

複雑な

図 6 生成結果– 331 –

重なりのある

涼しげな

かわいいまた，現在はスタイル特徴のみを意図的に操作しているが，今後はコンテンツ特徴を併用し柄の構造も変化するような手法へと拡張する．

謝辞 本研究の一部は JST 研究成果展開事業

元画像

陽気な(a) TEX00613「陽気な」COI プログラム「感性とデジタル製造を直結し，生活者の創造性を拡張するファブ地球社会創造拠点」の支援によって行われた．また，画像データを提供いただいた株式会社ラッシュアワー様に感謝する．
参考文献

元画像

複雑な(b) TEX00006「複雑な」元画像

重なりのある(c) TEX00544「重なりのある」

元画像

涼しげな(d) TEX00559「涼しげな」図 7 生成結果の拡大図[1] A. Takemoto，K. Tobitani，Y. Tani，T. Fujiwara，Y. Yamazaki
and N. Nagata: Texture Synthesis with Desired VisualImpressions Using Deep Correlation Feature, Proceedingsof the IEEE International Conference on ConsumerElectronics, pp.739-740, 2019.
[2] T. Fujiwara, Y. Tani, A. Takemoto, K. Tobitani, and N.
Nagata: Interaction of Visual and Haptic Impressions in
Visuo-haptic Texture Cognition, Proceedings of the IEEE
International Conference on Consumer Electronics, pp.673674, 2019.
[3] 後藤隆之，曽根拓郎，谿雄祐，飛谷謙介，長田典子：
カメラ用ちりめん塗装から受ける印象の解析，質感のつどい第 5 回公開フォーラムプログラム，3，2019．
[4] B. Julesz: Textons, the elements of texture perception, andtheir interactions, Nature, vol.290, no.5802, p.91, 1981.
[5] J. Portilla, E. P. Simoncelli: A Parametric Texture Model
Based on Joint Statistics of Complex Wavelet Coefficients, ，International Journal of Computer Vision, vol.40, no.1,
pp.49-70, 2000.
[6] K. Simonyan, A. Zisserman: Very Deep Convolutional
Networks for Large-Scale Image Recognition, arXiv
preprint arXiv:1409.1556, 2014.
[7] L. A. Gatys, A. S. Ecker, and M. Bethge: Image Style
Transfer Using Convolutional Neural Networks,
Proceedings of the IEEE International Conference on
Computer Vision and Pattern Recognition, pp. 2414-2423,
2016.
[8] N. Sunda, K. Tobitani, I. Tani, Y. Tani, N. Nagata, and N.
Morita: Impression Estimation Model for Clothing Patterns
Using Neural Style Features, Proceedings of the Springer
International Conference on Human-Computer Interaction,
pp. 689-697, 2020.
[9] 飛谷謙介，松本達也，谿雄祐，藤井宏樹，長田典子：
素肌の質感表現における印象と物理特性の関係性，映像情報メディア学会誌，vol.71，no.11，pp.259-268，2017．
[10] 土斐崎龍一，飯場咲紀，岡谷貴之，坂本真樹：オノマ
トペと質感印象の結び付きに着目した商品検索への画像・テキスト情報活用の可能性，人工知能学会論文誌，vol.30，no.1，pp.57-60，2015．

– 332 –

[11] 森俊夫，内田裕子，小見山二郎：色彩テクスチャの視覚的印象と画像情報量との関係，繊維製品消費科学，vol.51，no.5，pp.433-440，2010．
[12] 石井眞人，近藤邦雄：アパレル柄の構成要素と印象の関係，図学研究，vol.31，Supplement，pp.107-110，1997．
寸田菜月：2019 年 3 月関西学院大学理工学部人間システム工学科卒業．現在同大学大学院理工学研究科修士課程在学
中．感性情報学および質感に関する研究に従事．

締役就任．2009 年現職代表取締役就任．2012 年(一社)デジ
タ ル フ ァ ッ シ ョ ン ク リ エ イ タ ー 協 会 理 事 長 就 任 ． (一社)OSAKA あかるクラブ発起から専務理事として活動中．
2014 年クチュールデジタル(株)設立と共に代表取締役就任．
2018 年「COUTURE」アプリリリース http://couture.id．現
在，国際標準化機構／ISO／TC133 では，日本代表のエキスパートとして「3D バーチャルファッション」の標準化を目指し，最前線で牽引．

谷伊織：2014 年神戸大学理学研究科地球惑星科学専攻博士課程後期課程修了．早稲田大学客員次席研究員，総合研究大学院大学学術情報基盤センター助教，関西学院大学理工学部／感性価値創造インスティテュート研究特別任期制助教を経て 2020 年 10 月より神戸大学情報基盤センター助教．博士（理学）．人工知能による感性情報処理に関する研究に従事．自然計算手法を用いた感性情報処理に興味を持
つ．計測自動制御学会，共創学会正会員，表象文化論学会正会員．
飛谷謙介：2002 年早稲田大学理工学部応用物理学科卒業．
2004 年岐阜県立情報科学芸術大学院大学(IAMAS)修士課
程修了．JST 地域結集型共同研究事業特別研究員を経て，2010 年岐阜大学大学院工学研究科博士後期課程修了．同年
岐阜大学産官学融合本部研究員．2014 年関西学院大学理工学部／感性価値創造インスティテュート特任講師．2020 年
より長崎県立大学情報システム学部准教授．博士(工学)．
主に感性工学，コンピュータビジョンに関する研究に従事．
電気学会，精密工学会，日本顔学会，ACM など各会員．
竹本敦：2017 年 3 月関西学院大学理工学部人間システム工学科卒業．2019 年 3 月同大学大学院理工学研究科修士課程修了．感性情報学および質感に関する研究に従事．
谿雄祐：2011 年東京大学大学院人文社会系研究科博士課程修了．豊橋技術科学大学研究員を経て 2015 年より関西学
院大学理工学部／感性価値創造インスティテュート研究
特別任期制講師．博士（心理学）．主に視覚と触覚を介した物体の質感や印象の認知に関する研究に従事．日本心理学会，日本基礎心理学会，日本視覚学会など各会員．
長田典子：1983 年京都大学理学部数学系卒業．同年三菱電機（株）入社．1996 年大阪大学大学院基礎工学研究科博士後期課程修了．2003 年より関西学院大学理工学部情報科学科助教授，2007 年教授．2009 年米国パデュー大学客員研究員．2015 年革新的イノベーション創出プログラム「感性とデジタル製造を直結し，生活者の創造性を拡張するファブ地球社会創造拠点」サテライトリーダー．2020 年感性価値創造インスティテュート所長．博士（工学）．専門は感性工学，メディア工学等．
森田修史：大阪市出身，大学卒業後アパレルメーカーを経て，住商電子システム(株)入社．アパレル CAD 輸入販売等を始める．2001 年デジタルファッション(株)設立と共に取– 333 –