IS2-B7

CNN のスタイル特徴を用いた感性的質感を制御可能なテクスチャ生成手法
竹本敦†，飛谷謙介†，谿雄祐†，藤原大志†，山﨑陽一†，長田典子††: 関西学院大学大学院理工学研究科／感性価値創造研究センター，nagata@kwansei.ac.jp

概要： 本研究では，所望の視覚的質感を有するテクスチャ生成手法を提案した．まず，多様なテクスチャ画像を対象に，主観評価実験により視覚的質感の定量化を行った．さらに，畳み込みニューラルネットワークを用いてテクスチャ画像の特徴量を抽出し，定量化された視覚的質感との関係性をモデル化した．その後，得られたモデルに基づき，所望の視覚的質感を有するよう特徴量の更新および画像生成を行うことで手法を実現した．その後，効果検証実験により手法の有効性を確認した．

図 1 所望の視覚的質感を有するテクスチャ生成手法の概観

1.

はじめに

近年，E コマースの普及による市場環境のグローバル化に伴い，ユーザニーズの多様化が進み，プロダクトのカスタマイズ化やパーソナル化に対する要求が高まっている．その実現に向け，人の嗜好や満足感といった感性価値を的確に把握し，それらを具体的なプロダクトデザインやサービスデザインに展開する方法が注目されている[1]，[2]，[3]．

「しっとりした」や「高級感のある」といった素材の表面性状（以下テクスチャ）に対する印象は感性的質感と呼ばれる．感性的質感は物の良し悪しや好ましさを評価，判断する上で，形や色，機能と同様に重要な意味をもつ．そのため，近年，プロダクトデザイン分野において，感性的質感を理解・制御する技術が求められている．このような質感関連研究への社会的要請の高まりとともに，心理物理学や脳科学，計算機科学などの分野を中心に，質感を対象とした研究

ViEW2018 ビジョン技術の実利用ワークショップ(2018.12.6-7 横浜)― 423 ―

が横断的に行われ多くの成果を挙げている[4]，[5]．
以上をふまえ本研究では，視覚に関する感性的質感（以下視覚的質感）の理解・制御の実現の一環として，多様なテクスチャ画像を対象に，所望の視覚的質感を有するテクスチャ生成手法の実現を目的とする．手法の実現に向け，（1）テクスチャに対する視覚的質感の指標化・定量化，（2）定量化された視覚的質感とテクスチャの物理特性との関係性のモデル化，（３）モデルに基づく所望の視覚的質感を有するテクスチャ生成手法の開発，の研究課題を行う．本研究の概観を図 1 に示す．
本研究により得られる成果は，直観的な素材の質感表現を可能にするという点で，プロダクトデザインにおける質感表現の高度化・簡便化に寄与するとともに，視覚的質感に対する人間の認知秩序解明の一助になり得る．

2.

先行研究

「木の質感（=素材感）」，「質感がよい（=何らかの，あるいは複合的な品質）」など「質感」は多義的に使用される単語であるが，本研究においては，物に対して感知する光沢感，粗さ感などの比較的低次な知覚レベルから，ふんわり感や高級感などの高次な印象（感性的質感）までの個々の内容を指す語として用いる．
画像に対して感じる光沢感の強弱が，その画像の輝度ヒストグラムの歪度という比較的単純な画像統計量と相関することを明らかにする[6]など，近年，心理物理学，脳科学，計算機科学などの分野で質感を対象とした研究が盛んに行われている．平成 20 年度に創設された科学研究費補助事業の種目である新学術領域研究においても，複合領域の課題として「質感脳情報学」（平成 22～26 年度），「多元質感知」（平成 27～31 年度）が採択され，様々な質感関連研究が行われている[7]，[8]，[9]．しかし，これらの多くは，物の物理特性と質感の関係についてのみ言及しており，所望の質感を有する物理特性から実際に多様な質感を制御し，シミュレーション可能な枠組みは提案されていない．
一方，テクスチャ生成に関する研究は古くから行われており，Portilla らによって人間の視覚神経系の処理に着目した生成手法が提案された[10]．近年では，深層学習の枠組みの中で，一般物体認識に用いられる畳み込みニューラルネットワーク VGG-19[11]を用いた高精度なテクスチャ生成手法が多く開発され[12]，[13]，急速な発展を見せている．また，VGG-19から抽出される画像のスタイル特徴に着目した画風変換アルゴリズムが提案された[14]．しかし，いずれにおいても画像を見た際に感じる「印象」や「感性」と関連付けた研究は行われていない．
以上をふまえ本研究では，所望の視覚的質感を有するテクスチャ生成手法の実現を目的とし，テクスチャ画像の視覚的質感と物理特性の関係性のモデル化を行う．さらに，深層学習の枠組みを用いた高精度なテクスチャ画像の生成を行う．

3.

視覚的質感の指標化・定量化

テクスチャ画像に対する視覚的質感の指標化・定量化を目的とし，主観評価実験を行った．
実験に先立ち，実験刺激および評価語の収集・選定を行った．本研究では多様なテクスチャを対象とするため，評価にかかる人的・時間的コストが大きいという課題が挙げられる．そのため，テクスチャ画像の分布およびテクスチャ画像に対して抱き得る印象を表現する低コストであり，網羅的かつ代表的な実験
刺激画像セットおよび評価語セットの構築を行った．
3.1. 実験刺激画像の収集・選定
はじめに，製品として流通している幾何学テクスチ
ャ，梨地テクスチャ，革テクスチャ等 34 種類を収集し，視覚的な類似度をもとに 2 グループに分割する作業を繰り返すことで視知覚的な分類を行った．得られた結果より，各サンプル間の類似度行列を算出し，多次元尺度構成法および階層クラスタ分析を行うことで13 種類のテクスチャサンプルを選定した．また，後述
するテクスチャ CG 画像生成のため，選定したテクスチャサンプルを対象に，表面の微細パタンをレーザー変位計により計測し，ハイトマップデータを取得した．
次に，様々なテクスチャのハイトマップのデータベースである PerTex Database[15]から 334 種類のハイトマップデータを収集した．その後，データベースに付属の視覚的類似度行列に基づきクラスタ分析を行った．得られた各クラスタより，重心最近のサンプルを抽出し，22 種のハイトマップデータを選定した．
得られた計 35 種類のハイトマップデータを用いて後述の方法により高精細なテクスチャ CG 画像を生成した．
生成したテクスチャ画像を用いて，ランダムな順序で対表示し，画像間の類似度を 5 段階で評価する実験を行った．得られた結果より，類似度行列の算出― 424 ―

および階層クラスタ分析を行い，最も類似度が高い群からそれぞれ 1 サンプルを抽出することで 29 サンプルを選定した．得られた 29 種類のテクスチャ画像をテクスチャの分布を表現するのに適した網羅的かつ代表的な実験刺激画像セットとした．また，各実験刺激を V01 から V29 と採番した．
3.2. テクスチャ CG 画像の作成
本研究では，テクスチャがもつ物理特性のうち，表面に刻まれる微細パタンに着目し，その違いによる視覚的質感の違いを定量化する．そのため，微細パタン以外の要素を統制した実験刺激を作成する必要がある．そこで，前節で収集したハイトマップから感性的質感を損なうことのない高精細なテクスチャ CG 画像を作成した．
ハイトマップの計測には 3 次元形状をレーザーにより計測する高精度形状推定システム
KS-1100(KEYENCE 社製)を用いた．さらに，対象とするサンプルの光学特性である BRDF(双方向反射率分布関数)を S-OGM(デジタルファッション社製)を用いて計測した．これらの物理量を用いてテクスチャCG 画像を作成した．作成した CG 画像の一部を図 2に示す．
V14 レンダリング画像

V14 ハイトマップ画像

図 2 作成したテクスチャ CG 画像の一部
3.3. 評価語の収集・選定
はじめに，3.1 節で述べた幾何学テクスチャ，梨地テクスチャ，革テクスチャを用いて，実際にテクスチャを観察して感じた印象を自由にできる限り書き出す
自由記述実験を行い，約 200 語を収集した．その後，得られた語が，テクスチャから受ける印象を表現するのに適しているかを評価する適合度実験を行い，適合度が高い 59 語を選出した．これら 59 語に対して，言語間の意味上の置換可能性を評価する距離測定実験を行い，各語間の距離行列を算出した．その後，距離行列に基づき多次元尺度構成法および階層クラスタ分析を行い，クラスタ重心最近の語を抽出することで 25 語を選定した．これら 25 語をテクスチャに対する視覚的質感評価のための網羅的かつ代表的な評価語セットとした．
3.4. 実験装置・実験参加者
実験装置として，実験刺激提示用の液晶ディスプレイと画像提示の制御および回答取得のための PCを用いた．高精細なテクスチャ CG 画像を適切に表示するため，解像度 3840×2160 の液晶ディスプレイを用いた．
実験参加者は大学生および大学院生 20 名（男性15 名，女性 5 名，22.2±1.01 歳）であった．いずれの参加者も矯正も含め正常な範囲の視力を有していた．
3.5. 実験手続き
実験は暗室内で 1 名ずつ行い，実験参加者自身が PC の所定のキーを押すことで実験を開始した．参加者がキーを押すと画面左に実験刺激画像，画面右に評価語セットが提示された．実験刺激画像はランダムな順に 1 枚ずつ提示され，参加者は刺激画像を観察しながら，評価語セットの各評価語が表す印象の主観的な強度を 0 から 100 の 5 段階で回答した．
刺激画像は各評価語に対する回答がすべて終了し，参加者が所定のキーを押すまで提示され続けた．全刺激画像について参加者が回答を終えると実験は終了した．参加者は必要に応じて実験中に休憩をとることができた．
3.6. 結果
各実験刺激画像の印象の評価点として，25 語の評価語それぞれに対する 20 名分の平均点を算出した．すべての評価語において，20 名の評価の平均点に対する実験刺激画像の種類の主効果は 5%水準で有意であり，評価語セットの妥当性と実験刺激画像セットの多様性を確認した．
次に，テクスチャ画像に対する視覚的質感評価の評価構造を明らかにするために，評価の平均点を用いて因子分析を行った．因子の抽出法には重みなし
最小二乗法，軸の回転にはプロマックス回転を用いた．その結果，4 因子が抽出された(表 1)．
第 1 因子にはプログレッシブな，未来的な，若々しい，スポーティななどの評価語が大きな負荷量を示したため「はつらつ感」と解釈した．第 2 因子にはぎざぎざした，ざらざらした，粗いなどが大きな負荷量を示したことから「がさがさ感」と解釈した．第 3 因子はしっかりした，重厚ななどが大きな負荷量を示したため「堅牢感」と解釈した．第 4 因子は細かいが大きな負の負― 425 ―荷量，嫌いなが正の負荷量を示したため「粗雑感」と解釈した．本実験により得られた評価点および因子得点をテクスチャ画像に対する視覚的質感として定量化した．また，因子得点については後述の物理特性との関係性のモデル化に用いる．
表 1 因子分析結果

4.

視覚的質感とテクスチャの物理特性との関係性のモデル化

4.1. テクスチャ特徴量の抽出
テクスチャ画像における物理特性として，テクスチャ特徴量である Deep correlation feature[13]を用いた．
Deep correlation feature は VGG-19 から抽出される特徴 量 で あ り ， Deep correlation ， Gram matrix ，Diversity，Smoothness の 4 要素で構成される．これらの特徴量のうち，Deep correlation は各 layer で出力される特徴マップの自己相関行列であり，テクスチャの構造的特徴を表現している．そのため，これまでのパラメトリックなテクスチャの生成手法[10]において幾何学テクスチャの構造が崩れるという弱点を補強する．
また，Gram matrix は各 layer で出力される特徴マップ間の相互相関行列であり，画像の方位に非依存なマルチスケールな画像のスタイルを表現している[14]．
そのため，テクスチャ画像においても，Gram matrix
は視 覚的 質感 と関 連が強 いと 考え られる ．また ，VGG-19 において深い層で抽出される特徴量は一般物体認識において重要な特徴量であり，浅い層で抽出される特徴量が視覚的質感と関連が強いと考えられる．
これらの理由より，本研究では Deep correlation
feature をテクスチャ画像における特徴量として使用し，特に pooling 層 1, 2, 3, 4 で抽出される Gram matrixを視覚的質感との関係性のモデル化の対象特徴量とした．Gram matrix の次元数はそれぞれ 64×64，128×128，256×256，512×512 であった．
3 章で述べた 29 種類のテクスチャ画像に対して，
事 前 学 習 さ れ た VGG-19[11] を 用 い て Deepcorrelation feature を抽出した．これらを後述の視覚的質感とのモデル化に使用する．
4.2. 関係性のモデル化
テクスチャ画像における視覚的質感と物理特性との関係性を明らかにするため，目的変数を因子得点，説明変数を Gram matrix とする回帰問題を考える．これにより，特徴量を入力すると因子得点を出力する予測モデルを構築することが可能となる．本研究では，テクスチャ画像のサンプル数 N=29 に対し，説明変数の Gram matrix が非常に高次元な特徴量であり，過学習を起こすことが予想される．そのため，本研究では回帰手法として Lasso 回帰を用いた．Lasso 回帰は，罰則パラメータを用いて，説明変数から有意な部分を選択し，過学習を防ぎつつ回帰モデルを推定することができるため，本手法を使用した．
テクスチャ画像 29 種類を分析対象とし，はじめに，目 的 変 数 を因 子 得 点 ，説 明 変 数 を全 ての Grammatrix を結合した特徴量とし，Lasso 回帰を行った．
その際に用いる罰則パラメータは，K-fold 交差検証(K=6)により算出した．その結果，どの因子に関しても，pooling 層 4 で抽出される 512×512 次元の Grammatrix は選択されなかった(図 2)．この結果は，VGG-19 において深い層で抽出される特徴量は一般物体認識において重要な特徴量であり，テクスチャ画像における視覚的質感との関連が低いという仮説を支持した．そのため，pooling 層 1，2，3 で抽出される Gram matrix に着目し，その後，前述と同様の方法― 426 ―

で算出した罰則パラメータを用いて，各 Gram matrixを説明変数とする Lasso 回帰を行った．各回帰モデルにおける決定係数を表 2 に示す．
各回帰モデルにおいて高い決定係数が得られた
ことから，精度の良い予測モデルを構築できたことを確認した．また，回帰係数を算出することで，テクスチ
ャ画像における視覚的質感と関連する特徴量を明らかにし，関係性をモデル化できたことを確認した．以下では，Lasso 回帰により選択された特徴量を代表特徴量と呼ぶ．

(a) 第 1 因子(b) 第 2 因子(c) 第 3 因子(d) 第 4 因子

調整する特徴量は代表特徴量の要素のみとした．
5.2. 所望の視覚的質感を有する画像生成
本研究では，第 1 因子「はつらつ感」を 2 向上，第4 因子「粗雑感」を 2 抑制，およびその両方の操作を行ったテクスチャ画像の生成を試みた．生成元の画像として，V07(幾何学テクスチャ)，V12(ヘアラインテクスチャ)の 2 種類を用いた．
前 節 で 述 べ た 手 法 に よ り 最 適 化 さ れ た Grammatrix を次元ごとにそれぞれ算出し，それらの特徴量 お よ び 元 画 像 の Deep correlation ， Diversity ，Smoothness の特徴量を用いて Sendik らの手法[13]により，ホワイトノイズ画像から画像の生成を行った．
図 3 に第 1 因子を 2 向上させた V07 の画像生成結果を示す．テクスチャ画像全体の構造パタンを保ちつつ，水平及び垂直方向のエッジが強調された画像が生成されたことを確認し，本手法の有効性が示唆された．
本節で述べた 6 種類のテクスチャ画像を次章で述べる効果検証実験に使用した．

図 2 Lasso 回帰結果（全 Gram matrix）
説明変数(Gram matrix)
決定係数

64×64

128×128

256×2560.65

0.830.91(a) 元画像

表 2 Lasso 回帰結果（各 Gram matrix）

5.

所望の視覚的質感を有するテクスチャ画像生成

5.1. 目標テクスチャ特徴量の算出
所望の視覚的質感を実現するテクスチャ特徴量を推定する問題を，目標とする因子得点を達成する代表特徴量を推定する最適化問題として扱う．因子得点ベクトルが 4 次元であるのに対して，推定するGram matrix が高次元であることから，この問題は不良設定問題である．そのため，前章で得られた回帰モデルに基づき，初期値を元画像の Gram matrix とし，所望(向上・抑制)の因子得点を有するよう最尤法により初期値近傍の最適解の探索を行った．その際，― 427 ―(b) 生成画像
図 3 V07 第 1 因子向上画像生成結果

6.

7.

効果検証実験

本手法により生成されたテクスチャ画像の印象が設計指針通りに変化しているかを検証するため主観評価実験を行った．
6.1. 実験刺激画像
前章で生成した 6 種類のテクスチャ画像およびその元画像の計 8 種類のテクスチャ画像を実験刺激として使用した．
6.2. 評価語
3 章で述べた主観評価実験と同様の 25 語を評価語として使用した．
6.3. 実験参加者・実験手続き
実験参加者は大学生および大学院生 15 名(男性7 名，女性 8 名，21.7±1.29 歳)であった．いずれの参加者も矯正も含め正常な範囲の視力を有していた．
実験は 3 章で述べた主観評価実験と同様の手続きで行った．
6.4. 結果
主観評価実験により得られた評定値を用いて 3 章での因子構造に基づき，プロクラステス変換により因子得点を算出した．
その後，元画像と生成画像との因子得点を比較した結果，V12 の第 1 因子向上画像，V07 および V12の両因子操作画像において設計指針通りの印象の変化を確認した．因子空間上において提案手法による効果を矢印で示した(図 4)．図 4 右部のレジェンド
においてかっこ内の数字は操作した因子の番号に対応している．さらに，3 章で得た 29 種類のテクスチャ画像の因子空間(図 4 青部)外への拡張効果もみられたことから，テクスチャ画像から生じる印象の表現力が向上したことを確認した．以上の結果より，本手法の有効性を確認した．

図 4 効果検証実験結果

まとめ

本研究では，多様なテクスチャ画像を対象に，所望の視覚的質感を有するテクスチャ画像の生成手法を提案した．
まず，(1)主観評価実験によりテクスチャ画像に対する視覚的質感の指標化・定量化を行った．その後，(2)テクスチャ画像の物理特性として，VGG-19 を用いて Deep correlation feature を抽出した．さらに，定量化された視覚的質感と物理特性との関係性を回帰問題を解くことでモデル化した．その後，(3)得られたモデルに基づく所望の視覚的質感を有する特徴量の探索および画像の生成を行い，手法を実現した．また，効果検証実験により本手法の有効性を確認した．
謝辞 本研究の一部は，COI STREAM「感性とデジタル製造を直結し，生活者の創造性を拡張するファブ地球社会創造拠点」によった．
参考文献[1] A. Inoue, K. Tobitani, Y. Osawa, M. Fujiwara, L. Park, K.
Nishimoto, N. Nagata, and A. Okada: Development of aBase
Makeupwitha
Pearl
LusterUsing
Three-dimensional Computer Graphics, Proc. IFSCC 28thCONGRESS, pp.201-213, 2014.
[2] 中村透, 上垣百合子，藤原ゆり，奥谷晃久，山本松樹，
長田典子: 照明刺激環境下のくつろぎ感に関する心理生理学的研究，電子情報通信学会論文誌 D, J96-D(6),pp.1536-1544, 2013.
[3] 片平建史，饗庭絵里子，矢野浩範，松浦周平，飛谷謙介，長田典子，宮一普，古川誠司: 心理尺度を用いた微細気泡浴の入浴効果の検討，人間工学，vol.50, no.1,pp.29-34，2014．
[4] http://www.shitsukan.jp/[5] http://www.shitsukan.jp/ISST/[6] I. Motoyoshi, S. Nishida, L. Sharan, and E. H. Adelson:
Image Statistics and the Perception of Surface Qualities,
Nature, vol.447, no.7141, pp.206-209, 2007.
[7] A. Nishio, N. Goda, and S. Komatsu: Neural Selectivity
and Representation of Gloss in the Monkey Inferior
Temporal Cortex, Journal of Nueroscience, vol.32, no.31,
pp.10780-10793, 2012.
[8] Y. Tani, T. Nagai, K. Kodai, M. Kitazaki, and S. Nakauchi:
Experts and Novices Use the Same Factors-butDifferently-to Evaluate Pearl Quality, PloS one, vol.9,no.1, pp.1-7, 2014.
[9] P. Punpongsanon, D. Iwai, and K. Sato: Softer: VisuallyManipulating Haptic Softness Perception in Spatial
Augmented Reality, Trans. TVCG, vol.21, no.11,― 428 ―

pp.1279-1288, 2015.
[10] J. Portilla and E.P. Simoncelli: A Parametric Texture
Model Based on Joint Statistics of Complex Wavelet
Coefficients, IJCV, vol.40, no.1, pp.49-71, 2000.
[11] K. Simonyan and A. Zisserman: Very Deep Convolutional
Networks for Large-scale Image Recognition, arXiv
preprint, arXiv: 1409.1556, 2014.
[12] L.A.Gatys, A. S. Ecker, and M. Bethge: Texture Synthesis
Using Convolutional Neural Networks, arXiv preprint,
arXiv: 1505.07376, 2015.
[13] O.Sendik and D. Cohen-Or: Deep Correlation for Texture
Synthesis, TOG, vol.36, no.4, 2017.
[14] L.A.Gatys, A. S. Ecker, and M. Bethge: Image Style
Transfer Using Convolutional Neural Networks, CVPR,
pp.2414-2423, 2016.
[15] https://www.macs.hw.ac.uk/texturelab/resources/
databases/pertex/

長田典子：1983 年京都大学理学部数学系卒業．同年三菱電機（株）入社．1996 年大阪大学大学院基礎工学研究科博士後期課程修了．2003 年より関西学院大学理工学部情報科学科助教授，2007 年教授．2009 年米国パデュー大学客員研究員．2013 年感性価値創造研究センター長．2015 年革新的イ
ノベーション創出プログラム「感性とデジタル製造を直結し，生活者の創造性を拡張するファブ地球社会創造拠点」サテライトリーダー．博士（工学）．専門は感性工学，メディア工学等．

竹本敦：2017 年 3 月関西学院大学理工学部人間システム工学科卒業．現在同大学大学院理工学研究科修士課程在学
中．感性情報学および質感に関する研究に従事．
飛谷謙介：2002 年早稲田大学理工学部応用物理学科卒業．
2004 年岐阜県立情報科学芸術大学院大学(IAMAS) 修士課程修了．JST 地域結集型共同研究事業特別研究員を経て，2010 年岐阜大学大学院工学研究科博士後期課程修了．同
年岐阜大学産官学融合本部研究員．2014 年より関西学院大
学理工学部／感性価値創造研究センター特任講師．博士(工学)．主に感性工学，コンピュータビジョンに関する研究に従事．電気学会，精密工学会，日本顔学会，ACM など各会員．
谿雄祐：2011 年東京大学大学院人文社会系研究科博士後期課程修了．豊橋技術科学大学研究員を経て 2015 年より関西学院大学理工学部／感性価値創造研究センター研究特別任期制講師．博士（心理学）．主に視覚と触覚を介した物体の質感や印象の認知に関する研究に従事．日本心理学会，日本基礎心理学会，日本視覚学会など各会員．
藤原大志：2017 年 3 月関西学院大学理工学部人間システム工学科卒業．現在同大学大学院理工学研究科修士課程在学中．感性情報学および質感に関する研究に従事．
山﨑陽一：2012 年愛知県立大学大学院情報科学研究科博士課程修了． 2011 年公益財団法人科学技術交流財団入職．
「知の拠点あいち」重点研究プロジェクト統括部において，精密な血管シミュレーションモデル，臨床応用研究技術の開発に従事．2016 年関西学院大学理工学部研究特別任期制助教．博士(情報科学)．COI プロジェクト「感性とデジタル製造を直結し，生活者の創造性を拡張するファブ地球社会創造拠点」において感性の可視化に関する研究に従事．

― 429 ―