JSKE 第20回日本感性工学会大会

ポスターセッション[P2] ポスターコアタイム２【偶数】
2018年9月6日(木) 11:40 〜 12:40 ポスター会場 (フォラム) (フォラム)[P-60] CNNのスタイル特徴と感性指標に基づく印象推定モデルと柄検索システム
Impression Estimation Model and Pattern Search System Basedon Style Features of Convolutional Neural Network and Kansei
Metric*寸田 菜月1、飛谷 謙介1、竹本 敦1、谷 伊織1、谿 雄祐1、藤原 大志1、長田 典子1、森田 修史2 （1. 関西学院大学、2. クチュールデジタル株式会社）*Natsuki Sunda1, Kensuke Tobitani1, Atsushi Takemoto1, Iori Tani1, Yusuke Tani1, Taishi Fujiwara1, NorikoNagata1, Nobufumi Morita2 （1. Kwansei Gakuin University, 2. couture digital ltd.）©日本感性工学会

CNNのスタイル特徴と感性指標に基づく印象推定モデルと柄検索システム
Impression Estimation Model and Pattern Search System
Based on Style Features of Convolutional Neural Network and Kansei Metric（キーワード：ファッション，CNN, テクスチャ，スタイル転写，Lasso回帰）（Keywords: Fashion, CNN, Texture, Style Transfer, Lasso Regression）
寸田菜月，飛谷謙介，竹本敦，谷伊織，谿雄祐，藤原大志，長田典子（関西学院大学），森田修史（クチュールデジタル株式会社）いない画像データに対して印象を推定する．そして，数千枚規

１．はじめに近年プロダクトデザインや芸術方面など多方面で，感性的な模のデータセットを作成し，柄検索システムを実装する(図1).

印象の定量化・指標化技術に対する社会的要請が高まっている．
これらの技術は，人の嗜好や満足を的確に把握し，それを具体

２．衣服の柄に対する視覚的印象の定量化衣服の柄に対する視覚的印象を定量化するため，主観評価実的なデザインに展開することを可能とする．
ファッション業界においても，プロダクトのカスタマイズ化験を行う．そのため，網羅的かつ代表的な評価語を収集・選定やパーソナル化が求められており,ネット上でオーダーメイドする必要がある．飛谷らの手法[4]に基づき，自由記述実験，の衣服を注文できるサービス等が注目されている．しかしなが適合度実験を行った．刺激は図2に示す柄画像10枚を用い，大ら，既製品にはないオリジナルな衣服を自分でデザインするこ学生10名（男子学生7名，女子学生3名）を実験参加者とした．とは，数多く用意されている素材から自分の好みやイメージに

自由記述実験では，実験参加者に柄から感じる印象をそれぞ合った柄やサイズを探すなど，人的・時間的コストが大きい．

れ自由に書き出してもらった．その結果，形容詞60語が得られ素材の柄（パターン）に関してはテクスチャ分析の研究とした．適合度実験では，自由記述実験で得られた語が柄の印象をて，古くは心理物理学の分野でJulesz[1]により，画像要素の表現するのに適するかを7件法で評価してもらい，平均3.6以上統計的な性質の観点から分析する研究が始められた．その後，の評価を得た形容詞28語を採用した（表1）．さらに，布や質Portillaらによって人間の視覚神経系の処理に着目したテク感に関する先行研究[5][6][7]に用いられていた形容詞12語

スチャ分析・生成手法が提案された[2]．さらに近年では，深（表2）を加え，計40語を評価語として主観評価実験に用いた．

層学習によって抽出される特徴量を用いた生成手法がGatysら

次に，選定された評価語40語に対して距離測定実験を行った．

により開発され，高精度な結果を示した[3]．しかし，テクス実験参加者は，大学生10名（男子学生7名，女子学生3名）としチャと印象や感性との関係については明らかになっていない．

た．手続きとして，柄の印象を表現する評価語Aが他の評価語B

本研究では，CNNのスタイル特徴と感性指標を関連付けた印で置き換え可能か，全評価語につき合計で780通り評価しても象推定モデルの構築と，それを応用した柄検索システムの実装

らった．これにより，評価語40語における非類似度行列が得らを目的とする．まず，衣服の柄に対する視覚的印象を定量化すれた．次にそれらを用いて，多次元尺度構成法（MDS）とウォる．次に，CNNを用いてスタイル特徴を抽出する．その後，定ード法を用いた階層クラスタ分析を行った．MDSにより評価語量化された印象が紐づいた画像セットを用いて，感性指標に基間の関係を可視化し，階層クラスタ分析の結果から全評価語をづき変数選択を行い，衣服の柄における印象を推定する回帰モ4クラスタに分割した（図3）．

デルを構築する．得られた回帰モデルに基づき印象値の付いて
図２ 自由記述実験，適合度実験に用いた柄画像10枚
表１ 適合度実験により選ばれた形容詞28語
奇抜な

個性的な

賑やかな

鮮やかな

典型的な

平凡な

派手な目立つ

きれいな

地味な

カラフルな

重なりのある
洋風な

モダンな

ミステリアスな落ち着きのある

大人っぽい

クールな

格好いい

自由な

ガチャガチャした

清涼感のある

ゴージャスな

チカチカした上品な

涼しげな

先進的な

和風な

表２ 先行研究により抜粋した形容詞12語
図１ 本研究のフロー図

古風な

現代風な

明るい

暗い

質素な

華やかな

野暮な

洗練された

陽気な

陰気な

複雑な

単純な

〒669-1337，兵庫県三田市学園 2-1 関西学院大学，079-565-7874，nagata@kwansei.ac.jp

JSKE 第20回日本感性工学会大会

柄画像1083枚に対して各評価語における印象の推定を行った．
その後，付与された印象値に基づいてデータセットを作成し，柄検索システムを実装した．図1中の柄検索システムの実装の部分に「清涼感のある」，「目立つ」と検索した際の結果を示す．「清涼感のある」では，寒色系の色合いで模様が細かいものが多く選ばれた．その一方，「目立つ」では蛍光色のものや，模様の大きいものが選ばれた．いずれにおいても，主観的に違和感のない結果が得られ，本回帰モデルの有効性が示唆された．
５．おわりに
図３ 階層クラスタ分析の結果

本研究では，CNNのスタイル特徴と感性指標に基づく印象推定モデルの構築と柄検索システムの実装を目的とし，はじめに

本研究では，布柄の中で代表的な例の一つである花柄を対象

衣服の柄の印象を表す形容詞40語を自由記述実験，適合度実験とし，主観評価実験を行った．刺激は花柄画像75枚を用いた．

により収集・選定した．次に，選定された評価語を用いて主観

実験参加者は，大学生および大学院生40名（男子学生18名，女評価実験を行い，花柄に対する視覚的印象を定量化した．次に，子学生22名）とし，10名×4グループに分割した．評価語につ花柄画像を表現するのに適した画像特徴量として，CNNを用いいては，図2の各クラスタの評価語が2もしくは3個含む計10語たスタイル特徴を採用した．その後，Lasso回帰により感性指で構成される評価語セットを作成し，各実験参加者グループは標に基づいた変数選択を行い，視覚的印象と画像特徴量との関4つの評価語セットのうちいずれかを用いた．手続きとして，係性をモデル化した．さらに，得られた回帰モデルを用い，印液晶にモニター表示した刺激を観察し，各評価語に関してどの象値の付いていない画像データに対し印象の推定を行った．そ程度当てはまるかを-3から3の7段階で評価してもらった．これして，付与された印象値に基づき，柄検索システムを実装した．

により得られた得点の平均点を各刺激に対する印象値とした．

今後の研究課題として，モデルの汎化性能を向上させるとともに，推定結果に対し妥当性の検証を行う．

３．視覚的印象と画像特徴量との関係性のモデル化
花柄画像を表現する画像特徴量として，Gatysらのstyle

謝辞

transfer[3]におけるスタイル特徴を用いた．スタイル特徴は，

本研究の一部はJST研究成果展開事業COIプログラム「感性と一般物体認識に用いられる畳み込みニューラルネットワーク

デジタル製造を直結し，生活者の創造性を拡張するファブ地球

VGG-16から抽出される特徴量マップをGram matrix化したもの社会創造拠点」の支援によって行われた．また，柄画像データである．pooling層1,2,3,4で出力されるスタイル特徴の次元数を提供いただいた株式会社ラッシュアワー様に感謝する．

は，それぞれ64×64，128×128，256×256，512×512であった．
竹本らは，Lasso回帰を用いて，定量化された感性的質感とテクスチャの物理特性との関係性をモデル化した[8]．その手法に基づき，目的変数を定量化された花柄に対する印象値，説参 考 文 献［1］［2］

明変数を各pooling層から出力されるスタイル特徴とし，Lasso回帰を行った．Lasso回帰は，L1正則化を行うことで説明変数から有意な部分を選択し，過学習を防ぎつつ回帰モデルを推定［3］することができる．本研究では，サンプル数N=75に対し，スタイル特徴が高次元の特徴量であるため，Lasso回帰を採用した．

［4］

これにより，評価語1語あたり4種類の次元ごとの回帰モデルが得られ，その中で決定係数が最大となる回帰モデルを各評価語［5］において最適な回帰モデルとした．全最適回帰モデルにおける決定係数の平均値は0.79であった．
精度の良い回帰モデルを構築し，回帰係数を算出することで，花柄画像における視覚的印象と画像特徴量との関係性をモデル化した．
４．回帰モデルを用いた柄検索システムの実装

［6］
［7］

［8］

前章で述べた回帰モデルに基づき，印象値の付いていない花

Julesz, Bela.: Textons, the elements of texture perception, and theirinteractions, Nature, 290(5802), pp.91, 1981.
Portilla, Javier., Simoncelli, Eero, P.: A parametric texture model basedon joint statistics of complex wavelet coefficients, International journal ofcomputer vision, 40(1), pp.49-70, 2000.
Gatys, Leon, A., Ecker, Alexander, S., Bethge, Matthias.: Image styletransfer using convolutional neural networks, Proc. IEEE Conference on
Computer Vision and Pattern Recognition, pp.2414-2423, 2016.
飛谷謙介，松本達也，谿雄祐，藤井宏樹，長田典子：素肌の質感表
現における印象と物理特性の関係性，映像情報メディア学会誌，71(11)，pp.259-268，2017．
土斐崎龍一，飯場咲紀，岡谷貴之，坂本真樹：オノマトペと質感印象の結び付きに着目した商品検索への画像・テキスト情報活用の可能性，人工知能学会論文誌，30(1)，pp.57-60，2015．
森俊夫，内田裕子，小見山二郎：色彩テクスチャの視覚的印象と画像情報量との関係，繊維製品消費科学，51(5)，pp.433-440，2010．
茂利千香子，上田慎治エジウソン，寺内文雄，青木弘行：擬態語と感性・感覚特性との関係について，日本デザイン学会研究発表大会概要集，58，pp.209-209，2011．
竹本敦，飛谷謙介，谿雄介，藤原大志，山﨑陽一，長田典子：DeepCorrelation Featureを用いた感性的質感を制御可能なテクスチャ生成
手法，第13回日本感性工学会春季大会，WF2-2，2018．

〒669-1337，兵庫県三田市学園 2-1 関西学院大学，079-565-7874，nagata@kwansei.ac.jp

JSKE 第20回日本感性工学会大会