IS1-B8

CNN のスタイル特徴と感性指標に基づく
印象推定モデルと柄検索システム
寸田菜月†，飛谷謙介†，竹本敦†，谷伊織†，谿雄祐†，藤原大志†，長田典子†，森田修史‡†: 関西学院大学理工学部／感性価値創造研究センター，nagata@kwansei.ac.jp‡: クチュールデジタル株式会社，nm@digitalfashion.jp
概要： 本研究では，衣服の柄を対象とした印象推定モデルを構築し，それを応用して柄検索システムを実装した．まず，主観評価実験により柄に対する印象を定量化し，CNN を用いて抽出した
柄画像のスタイル特徴との関係性をモデル化した．その結果，少量の印象値付きデータから汎化性の高い印象推定モデルが得られた．そして，印象値が未知である大量の画像セットに対して印象の推定を行い，その結果をもとに柄検索システムを実装した．

印象の定量化

柄検索システムの実装「涼しげな」「涼しげな」

感性指標に基づく変数選択

未知画像に対する
印象推定

……

……

スタイル特徴の抽出

印象推定モデルの構築「華やかな」「華やかな」

入力画像
pooling層1pooling層2
pooling層3
pooling層4

図 1 処理フロー

1.

背景・目的

感性的質感認知において，対象物から喚起される多様な印象や情動を定量化・指標化し，モデル化する手法が求められている．これらの技術によって，プロダクトデザインにおいては，人の嗜好や満足といった感性価値に基づくデザイン支援が可能となる．また，自らがデザインに関与することで，より高い満足感を得られることが期待される[1]．近年では，E コマースの普及に伴い，インターネット上でオーダーメイドの衣服を注文できるサービスが注目されている．しかしながら，既製品にはないオリジナルな衣服を自分でデザインすることは，数多く用意されている素材から自分の好みやイメージに合ったものを探すなど，多大な労力と時間を要する．
そこで本研究では，衣服の柄を対象とし，感性指標と関連付けた印象推定モデルの構築，およびそれを応用した柄検索システムの実装を目的とする．そのため，はじめに衣服の柄に対する印象を定量化する．
次に，柄画像における物理特性として，一般物体認

ViEW2018 ビジョン技術の実利用ワークショップ(2018.12.6-7 横浜)― 129 ―

識用の CNN である VGG-19[2]を用いてスタイル特徴を抽出する．そして，印象と物理特性との関係性をモデル化する．さらに，得られたモデルに基づき，印象値が未知である大量の画像セットに対して印象の推定を行い，その結果をもとに柄検索システムを実装する（図 1）．また，推定結果に対する定量的な妥当性の検証も行う．

2.

先行研究

これまでテクスチャの研究として，古くは心理物理学の分野で Julesz[3]により，画像要素の統計的な性質の観点から分析する研究が始められた．その後，Portilla らによって人間の視覚神経系の処理に着目したテクスチャ分析・生成手法が提案された[4]．さらに近年では， VGG-19 から抽出されるコンテンツ特徴とスタイル特徴を用いて画風を変換する手法がGatys らにより提案され，高精度な結果を示した[5]．
本研究では，衣服の柄もテクスチャの一部であると考え，画像の色合いや質感を表現するのに適したスタイル特徴を柄画像における物理特性として用いる．しかしながら，物理特性と印象や感性との関係についてはこれまで十分に研究がなされていない．
竹本らは，テクスチャ画像における物理特性としてスタイル特徴を用い，定量化された感性的質感との関係性をモデル化した[6]．本研究ではこの手法に基づき，衣服の柄に対する印象と物理特性との関係性をモデル化する．

3.

印象の定量化3.1. 評価語の収集・選定
衣服の柄に対する印象を定量化するため，主観評価実験を行う．そのため，網羅的かつ代表的な評価語を収集・選定する必要がある．飛谷らの手法[7]に基づき，自由記述実験，適合度実験を行った．
はじめに柄の印象に関する評価語を収集するため，自由記述実験を行った．実験参加者は，学生 10 名（男性 7 名，女性 3 名）であった．刺激は図 2 に示す
柄画像 10 枚を用いた．手続きとして，液晶にランダムに提示した刺激を観察し，感じた印象をそれぞれ自由に書き出してもらった．その結果，形容詞 98 語が得られ，意味の重複していた 38 語を除いた計 60 語を収集した．

図 2 自由記述実験に用いた柄画像 10 枚
その後，自由記述実験により収集した語群の中でも柄の印象を評価するのに適した語を選び出すため，適合度実験を行った．実験参加者と刺激は自由記述実験と同様である．手続きとして，液晶にランダムに提示した刺激を観察し，自由記述実験により収集した 60 語がそれぞれ柄から感じる印象を評価するのに適しているかを 7 段階で評価してもらった（0:非常に適していない，1:適していない，2:やや適していな
い，3:どちらともいえない，4:やや適している，5:適している，6:非常に適している）．その結果，平均 3.6 以上の評価を得た 28 語を採用した（表 1）．
表 1 適合度実験により採用した 28 語

適合度実験により採用した 28 語に加え，布や質感に関する先行研究[8],[9],[10]に用いられていた形容詞 12 語（表 2）を抜粋し，計 40 語を評価語として主観評価実験に用いた．
表 2 先行研究から抜粋した 12 語

3.2. 評価語セットの作成
主観評価実験を行う際，前節で選定した 40 語すべてについて全実験参加者が評価を行うと，人的・時間的コストが大きい．そこで，小規模の評価語セッ
トを作成するため，評価語間の意味空間上での置換可能性を評価する距離測定実験を行った．実験参加者は自由記述実験と同様である．手続きとして，柄の印象を評価する評価語 A が他の評価語 B で置き換え可能か，全評価語につき合計で 780 通り評価して― 130 ―もらった．これにより，評価語間の距離行列を算出した．次にそれらを用いて，多次元尺度構成法（MDS）とウォード法を用いた階層クラスタ分析を行った．
MDS により評価語間の関係を可視化し，階層クラスタ分析の結果から全評価語を 4 クラスタに分割した（図 3）．

図 3 評価語 40 語を 4 クラスタに分割した結果
そして，各クラスタの評価語を 2 もしくは 3 個含む計10 語で構成される評価語セット A～D を作成した（表3）．
表 3 評価語セット
クラスタ

評価語

4群分け

1 平凡なA

1 陰気なC1 単純なA

1 野暮なC

1 落ち着きのあるA

1 地味なC

2 クールなA

2 清涼感のある

C

2 上品な

A

2 大人っぽいC

3 奇抜なA

3 ガチャガチャしたC

3 複雑なA

3 現代風なC

3 先進的なA

4 明るいC

4 華やかなA

4 カラフルなC

4 ゴージャスなA

4 目立つC

1 暗いB

1 ミステリアスなD

1 典型的な

B

1 古風な

D

1 和風なB

1 質素なD

2 格好いいB2 涼しげなD

2 きれいなB

2 洗練されたD

3 自由なB

3 個性的なD

3 モダンなB

3 重なりのあるD

4 陽気なB

3 洋風な

D

4 派手なB4 鮮やかなD

4 賑やかなB

4 チカチカしたD

3.3. 刺激セットの作成
本研究では，柄の中で代表的な例の一つである花柄を対象とし，1158 枚の花柄画像における物理特性に基づき，主観評価実験に用いる網羅的かつ代表的な刺激セットを作成する．花柄画像における物理特性として，Gatys らの style transfer [5] におけるスタイル特徴を利用した．スタイル特徴は，VGG-19 から抽出される特徴マップを Gram matrix 化したものである．本研究では，pooling 層 1, 2, 3, 4 で出力されるスタイル特徴を抽出した．次元数はそれぞれ 64×64,128×128, 256×256, 512×512 であった．そして，抽出したスタイル特徴に基づき，ウォード法を用いて階層クラスタ分析を行った．その結果，1158 枚を次元ごとに 20 クラスタに分割し，各クラスタの重心に最も近い画像 80 枚を選定した．そのうち，重複していた 5 枚を除いた計 75 枚を刺激セットとした．また，75 枚分のスタイル特徴については，後述の印象との関係性のモデル化に用いる．
3.4. 主観評価実験
花柄に対する印象を定量化するため，主観評価実験を行った．実験参加者は，学生 40 名（男性 18 名，女性 22 名）であった．手続きとして，液晶にランダムに提示した刺激を観察し，表 3 の A～D のいずれかの評価語セットに含まれる 10 語に関して，それぞれどの程度当てはまるかを 7 段階で評価してもらった（-3:非常に当てはまらない，-2:かなり当てはまらない，-1:やや当てはまらない，0:どちらでもない，1:やや当てはまる，2:かなり当てはまる，3:非常に当てはまる）．
そして，各刺激の印象の評価点として，40 語の評価語それぞれに対する 10 名分の平均点を算出した．
3.5. 因子分析
花柄に対する印象に寄与する潜在因子を抽出するため，評価点を用いて因子分析（最尤法，プロマックス回転）を行った．その結果，6 因子が抽出され（表4），各因子に含まれる評価語とその因子負荷量をもとに，第 1 因子を「ポップ」因子，第 2 因子を「凝った」因子，第 3 因子を「爽やか」因子，第 4 因子を「斬新」因子，第 5 因子を「清楚」因子，第 6 因子を「スタイリッシュ」因子と解釈した．
そして，得られた評価点および因子得点を各刺激に対する定量化された印象（印象値）とした．印象値
は，後述の物理特性との関係性のモデル化に用いる．

― 131 ―

付与した印象値と算出された印象値との相関係数を求めた結果，6 因子では平均が 0.92，評価語 40 語では 0.85 となった．さらに，全印象推定モデルにおける決定係数の平均は， 6 因子では 0.84，評価語 40 語
では 0.70 となり，精度の高いモデルを構築できたことがわかった（図 4）．

表４ 因子分析結果
因子
暗い
明るい
陽気な
陰気な
カラフルな
鮮やかな
賑やかな
華やかな
地味な
野暮な
派手な目立つチカチカした
古風な
現代風な
複雑な単純な
重なりのあるガチャガチャした
ゴージャスな
平凡な
質素な
個性的な
ミステリアスな
奇抜な
涼しげな
クールな
清涼感のある
典型的な
自由な
先進的な
上品な
大人っぽい
きれいな
落ち着きのある
洗練された
和風な格好いい
洋風な
モダンな

4.

1
-1.061
0.997
0.984-0.863
0.753
0.748
0.722
0.691
-0.684-0.673
0.558
0.480
0.457
-0.4130.378-0.1350.029-0.074-0.0230.117
0.000-0.2840.103-0.4830.118
0.034-0.4570.422-0.0960.693
0.153-0.056-0.5420.471-0.378-0.046-0.387-0.134
0.340
0.179

2
0.316
-0.228-0.182
0.120
0.299
0.343
0.334
0.473
-0.269
0.171
0.435
0.297
0.363
-0.001-0.0671.035-1.006
0.996
0.895
0.725
-0.667-0.600
0.592
0.554
0.368
0.037
0.290
-0.087-0.022-0.019
0.266
0.216
0.126
0.229
-0.234-0.2450.206
0.275-0.190
0.239

3
0.101
0.081
-0.086-0.132-0.270-0.008-0.039-0.131-0.101-0.265-0.155-0.0290.015-0.2970.318
0.095-0.0410.247
0.170-0.2740.026-0.147-0.067-0.155-0.164
1.008
0.961
0.721
0.093
0.018
0.091
-0.076
0.048
0.419
0.164
0.287
0.040
0.325
-0.1830.145

4-0.256
0.109
0.123
0.081
0.096
-0.111
0.013-0.1780.041
0.025-0.058-0.142-0.077-0.1250.221
0.190-0.224-0.093-0.170-0.184-0.324
0.080
0.585
0.426
0.275
-0.069-0.0380.002-0.8650.695
0.520-0.091
0.012-0.130-0.010-0.0940.060
0.184-0.4310.171

5-0.089-0.027-0.089
0.067
0.106
0.002
-0.1120.495
0.150-0.303-0.159-0.435-0.3330.214-0.1060.238-0.276
0.009-0.321
0.338
0.026
0.264
0.020
0.170
-0.335-0.087-0.1400.253
0.092-0.004-0.132
0.993
0.725
0.623
0.465
0.374
0.284
0.099
0.242
0.102

6
-0.023-0.0070.054-0.165-0.2320.076-0.051
0.057-0.114-0.2220.072
0.093-0.003-0.3580.361-0.141
0.098-0.133-0.1820.372-0.146-0.120-0.1920.155
0.221-0.1470.202-0.0370.039-0.146
0.245-0.0450.274
0.064-0.1660.573-0.520
0.487
0.459
0.381

ポップ

凝った爽やか斬新

清楚スタイリッシュ

図 4 各因子における回帰結果

5.

印象と物理特性との関係性のモデル化

4.1. 回帰手法の検討
印象と物理特性との関係性を明らかにするため，目的変数を印象値，説明変数を各 pooling 層から出力されるスタイル特徴とする回帰問題を考える．本研
究では，サンプル数 N=75 に対し，説明変数のスタイル特徴が高次元であるため，過学習を起こすことが予想される．そこで竹本らと同様に，L1 正則化を行う
ことで印象と強い関係のあるスタイル特徴のみを選択できる Lasso 回帰を用いた．
4.2. 印象推定モデルの構築
Lasso 回帰を行った結果，各評価語・因子に対し4 種類の次元ごとの回帰モデルが得られ，その中で決定係数が最大となったモデルを印象推定モデルとした．印象推定モデルに用いられた説明変数の次元数は，「明るい」・「清涼感のある」・「涼しげな」では 64×64，「野暮な」・「クールな」では 256×256，それ以外の評価語 35 語では 512×512 であった．一方，6因子においてはすべて 128×128 であった．
また，印象値付きの画像 75 枚に対し，印象推定モデルを用いて再度印象値を算出した．その後，人が柄検索システムの実装

前章で述べた印象推定モデルを用いて，印象値が未知である花柄画像 1083 枚分のスタイル特徴から，各評価語・因子に対する印象値を画像ごとに算出した．その後，算出された印象値に基づいて柄検索システムを実装した．図５に「ポップ」因子・「爽やか」因子・「古風な」・「きれいな」と検索した際の結果を示す．
いずれにおいても主観的に違和感がなく，本モデルの有効性が示唆された．

― 132 ―（a） 「ポップ」因子

算出された印象値が高い群・ゼロ付近の群・低い群から主観評価実験で使用していない画像を評価語ごとに 2 枚選択した計 18 枚を用いた．手続きとして，液晶にランダムに提示した 2 種類の刺激を観察し，各評価語に関してどちらのほうが当てはまるかを評価してもらった．その結果，「上品な」・「明るい」・「涼しげな」では，算出された印象値がゼロ付近の群も含めて，順序構造を精度よく推定できていることがわかった．
また，「自由な」・「洗練された」以外の 7 語においても，算出された印象値の高い群と低い群に有意水準 1%で有意差が見られた．各画像の心理尺度値を評価語ごとに図 6 に示す．これにより，本モデルの有効性を確認した．

（b） 「爽やか」因子算出された印象値の低い群

ゼロ付近の群

高い群**p<.01*p<.05（c） 「古風な」図 6 一対比較実験結果

7.

本研究では，衣服の柄を対象とし，感性指標と関連付けた印象推定モデルの構築，およびそれを応用した柄検索システムの実装を目的とし，印象と物理特性との関係性をモデル化した．その結果，少量の印
象値付きデータから汎化性の高い印象推定モデルが得られた．さらに，モデルから算出した大量の画像セットに対する印象値に基づき，柄検索システムを実装した．また，推定結果に対する定量的な妥当性の検証も行った．
今後の研究課題として，花柄以外の柄やテクスチャ全般への拡張を行う．

（d） 「きれいな」図 5 検索結果の抜粋

6.

まとめと今後の課題

妥当性の検証推定結果に対する定量的な妥当性を検証するため，一対比較実験を行った．手法は，サーストンの一対比較法を用いた．実験参加者は，主観評価実験に参加した学生 10 名（男性 5 名，女性 5 名）であった．評価語は，各因子に含まれる評価語の数と因子負荷量を加味して選択した 9 語を用いた．刺激は，謝辞 本研究の一部は JST 研究成果展開事業 COI
プログラム「感性とデジタル製造を直結し，生活者の創造性を拡張するファブ地球社会創造拠点」の支援によって行われた．また，柄画像データを提供いただいた株式会社ラッシュアワー様に感謝する．

― 133 ―

参考文献

中．感性情報学および質感に関する研究に従事．

[1] M. I. Norton, D. Mochon and D. Ariely: The IKEA effect:
When labor leads to love, Journal of consumer psychology,
vol.22, no.3, pp.453-460, 2012.
[2] B. Julesz: Textons, the elements of texture perception, andtheir interactions, Nature, vol.290, no.5802, pp.91, 1981.
[3] J. Portilla and E. P. Simoncelli: A parametric texture
model based on joint statistics of complex wavelet
coefficients, International journal of computer vision,
vol.40, no.1, pp.49-70, 2000.
[4] K. Simonyan and A. Zisserman: Very Deep Convolutional
Networks for Large-Scale Image Recognition, arXivpreprint, arXiv: 1409.1556, 2014.
[5] L. A. Gatys, A. S. Ecker, and M. Bethge: Image styletransfer using convolutional neural networks, Proc. IEEE
Conference on Computer Vision and Pattern Recognition,
pp.2414-2423, 2016.
[6] 竹本敦, 飛谷謙介, 谿雄介, 藤原大志, 山﨑陽一, 長
田典子：Deep Correlation Feature を用いた感性的質感を制御可能なテクスチャ生成手法, 第 13 回日本感性工学会春季大会, WF2-2, 2018.
[7] 飛谷謙介, 松本達也, 谿雄祐, 藤井宏樹, 長田典子：素肌の質感表現における印象と物理特性の関係性, 映像
情報メディア学会誌, vol.71, no.11, pp.259-268, 2017.
[8] 土斐崎龍一, 飯場咲紀, 岡谷貴之, 坂本真樹：オノマト
ペと質感印象の結び付きに着目した商品検索への画像・テキスト情報活用の可能性, 人工知能学会論文誌,
vol.30, no.1, pp.57-60, 2015.
[9] 森俊夫, 内田裕子, 小見山二郎：色彩テクスチャの視覚的 印 象と 画像 情 報量 との 関係 , 繊 維製 品 消費 科学 ,vol.51, no.5, pp.433-440, 2010.
[10] 茂利千香子, 上田慎治エジウソン, 寺内文雄, 青木弘
行：擬態語と感性・感覚特性との関係について, 日本デザイン学会研究発表大会概要集, vol.58, pp.209-209,2011.

寸田菜月：現在関西学院大学理工学部人間システム工学科在学中．感性情報学および質感に関する研究に従事．

谷伊織：2014 年神戸大学理学研究科地球惑星科学専攻博士課程後期課程修了．早稲田大学客員次席研究員，総合研
究大学院大学学術情報基盤センター助教を経て，2018 年より関西学院大学理工学部感性価値創造研究センター研究特別任期制助教．博士（理学）．人工知能による感性情報処理に関する研究に従事．自然計算手法を用いた感性情報処理に興味を持つ．計測自動制御学会，共創学会正会員．
谿雄祐：2011 年東京大学大学院人文社会系研究科博士課程修了．豊橋技術科学大学研究員を経て 2015 年より関西学院
大学理工学部／感性価値創造研究センター研究特別任期制
講師．博士（心理学）．主に視覚と触覚を介した物体の質感や印象の認知に関する研究に従事．日本心理学会，日本基礎心理学会，日本視覚学会など各会員．
藤原大志：2017 年 3 月関西学院大学理工学部人間システム工学科卒業．現在同大学大学院理工学研究科修士課程在学中．感性情報学および質感に関する研究に従事．
長田典子：1983 年京都大学理学部数学系卒業．同年三菱電機（株）入社．1996 年大阪大学大学院基礎工学研究科博士後期課程修了．2003 年より関西学院大学理工学部情報科学科助教授，2007 年教授．2009 年米国パデュー大学客員研究員．2013 年感性価値創造研究センター長．2015 年革新的イノベーション創出プログラム「感性とデジタル製造を直結し，生活者の創造性を拡張するファブ地球社会創造拠点」サテライトリーダー．博士（工学）．専門は感性工学，メディア工学等．
森田修史：大阪市出身，大学卒業後アパレルメーカーを経て，住商電子システム(株)入社．アパレル CAD 輸入販売等を始める．2001 年デジタルファッション(株)設立と共に取締役就任．
2009 年現職代表取締役就任．2012 年(一社)デジタルファッシ
ョンクリエイター協会理事長就任．(一社)OSAKA あかるクラブ
発起から専務理事として活動中．2014 年クチュールデジタル(株)設立と共に代表取締役就任．2018 年「COUTURE」アプリリリース http://couture.id．現在，国際標準化機構／ISO／
TC133 では，日本代表のエキスパートとして「3D バーチャルファッション」の標準化を目指し，最前線で牽引．

飛谷謙介：2002 年早稲田大学理工学部応用物理学科卒業．
2004 年岐阜県立情報科学芸術大学院大学(IAMAS) 修士課程修了．JST 地域結集型共同研究事業特別研究員を経て，2010 年岐阜大学大学院工学研究科博士後期課程修了．同
年岐阜大学産官学融合本部研究員．2014 年より関西学院大
学理工学部／感性価値創造研究センター特任講師．博士(工学)．主に感性工学，コンピュータビジョンに関する研究に従事．電気学会，精密工学会，日本顔学会，ACM など各会員．
竹本敦：2017 年 3 月関西学院大学理工学部人間システム工学科卒業．現在同大学大学院理工学研究科修士課程在学― 134 ―