令和 2 年度学長裁量研究成果報告書（様式３号）３－３

陶磁器における感性価値の可視化の実現に向けた感性的質感評価モデルの転移学習手法の提案

1

研究年度

令和３年度

研究期間

令和２年度～令和３年度研究代表者名飛谷謙介

共同研究者名平岡透

はじめに「しっとりした」や「高級感のある」といった素材の表面性状(以下テクスチャ)に対する高次の印象は感性的質感と呼ばれる．こうした感性的質感の定量化・指標化技術，あるいは 表現技術に対する社会的要請が，プロダクトデザインや芸術分野など多方面で高まっている．
本研究は，長崎県で「新たな需要開拓の推進」と「産地のまちづくり」の重点項目として事業が推進されている陶磁器を対象とし，その「物理特性」，喚起される「印象」，好きや嫌いといった価値を含む「感性」の 3 要素を定量的に構造化した感性的質感評価モデルを 構築し，県内で生産されている陶磁器の価値を定量的に可視化することを目的とする．その際，大規模な陶磁器画像データセットおよび深層学習を用いることで汎化性能の向上を図る．
今年度は昨年度申請した研究計画の２年目にあたる．今年度も昨年度と同様に COVID-19 の影
響で，本研究の推進に必須な陶磁器の画像データを収集が困難であった．そこで陶磁器の価値を測る指標の一つであり，画像フォーマットでインターネット上でデータベース化されているテクスチャ（表面性状）に着目し，昨年度提案したテクスチャ生成モデルを高精度化した．これにより，陶磁器に限らず様々な対象物において，感性的質感という観点からの価値を可視化できるだけでなく，感性的質感そのものを制御・生成が可能になる．
本研究の成果は，プロダクトデザインにおいて，人の嗜好は満足といった感性価値に基づくデザイン支援の一助となり得る．

2

GAN を用いた感性的質感認知に基づくテクスチャ生成
2.1

提案手法の概説

本研究では，Generative Adversarial Networks(以下，GAN)を用いた感性的質感認知に基づくテクスチャ生成手法を提案する．提案手法の概要を図 1 に示す．
はじめに（1）昨年度で数値化したテクスチャ画像の印象値を，生成モデルの入力データと紐付ける．次に（2）スタイル変換技術を応用した StyleGAN2-ADA[1]を用いて，テクスチャ生成モデルを構築する．
（3）当該モデルを用いて，柄画像に対する感性的質感認知に基づいた所望の印象を持つテクスチャ生成を行う．

1

令和 2 年度学長裁量研究成果報告書（様式３号）３－３

図１2.2

提案手法

学習用データセット

昨年度の研究で収集した 1158 枚に対し，今年度新たに収集した 1931 枚を加えた計 3089 枚のテクスチャ画像を生成モデルの学習に使用する．なお全ての画像に対し，印象値を付与し，画像の解像度を 256×256 に変換した．使用した画像の例を図 2 に示す．

図２2.3

データセット画像例

学習方法

2.2 で述べたデータセットを用いて StyleGAN2-ADA を転移学習し，テクスチャ生成モデルを構築する．学習条件として，学習率は Generator, Discriminator ともに 0.002，バッチサイズは32 とする．モデルの最適化手法には Adam[2] を用いる．学習は総学習画像数が 3000×1000 に2

令和 2 年度学長裁量研究成果報告書（様式３号）３－３なるまで続け，学習過程で所定の学習画像数 200×1000 に達するごとにネットワークを出力する．その後，出力された複数のネットワークの中から，最良のものを定量的な指標に基づき選定する．
2.4

結果と考察

StyleGAN2-ADA を用いた画像生成の結果の例を図 3 に示す．さらに，生成画像の品質と多様性を評価するために Frechet Inception Distance（FID）[4] と Precision, Recall [5]を算出した．FID は生成画像の確率分布間の距離を表すものであり，値が小さいほど良いとされる．
Precision は生成モデルの精度・適合率を，Recall は生成画像の多様性をそれぞれ表現する指標である．Precision と Recall はトレードオフの関係にあり，両方の値が高いネットワークは十分に訓練されたモデルだといえる．FID の推移を図 4(a)に，Precision と Recall の推移を図4(b)にそれぞれ示す．

図 3 生成画像例(a) FID(b)Precision と Recall

図4

評価指標の推移3

令和 2 年度学長裁量研究成果報告書（様式３号）３－３

最良の生成モデルの選定に際して，各学習段階での生成モデル間において FID と Precision間に有意な差が見られなかった．そのため本研究では，生成画像の多様性を重視して最もRecall が高いネットワークを最良の生成モデルとして選定した．なお，FID と Precision が最も高いネットワークは同一であった．Precision と Recall のそれぞれが最も高いネットワークの生成画像の例を図 5 と図 6 に示す．図 5 および図 6 から，各生成モデルにおける生成画像の特性が確認できる．以上の結果から，スタイル変換の正規化手法を改良した StyleGAN2ADA を用いることで高精度にテクスチャが生成されたことを確認した．

図５

図６3

最も Precision が高い段階のネットワークの生成画像

最も Recall が高い段階のネットワークの生成画像

感性評価モデルに基づくテクスチャ生成
3.1

感性的質感の定量化

本研究では，昨年度構築したテクスチャに対する感性評価モデルを用いて，所望の印象を持つテクスチャ生成を行う．
昨年度，テクスチャから喚起される感性的質感の評価構造を明らかにし，定量化するため，心4

令和 2 年度学長裁量研究成果報告書（様式３号）３－３

理実験を行った．実験では，テクスチャ画像 1158 枚を収集し，テクスチャから喚起される感性的質感を表現する形容詞として，“ 陽気な”，“ 明るい”，“ カラフルな”，“ 複雑な”，“ 重なりのある”，“ 涼しげな”，“ 自由な”，“ かわいい”，“ 上品な”，“ 洗練された”の計 10 語（評価語）を選定した．その後，各画像に対し，選定した評価語 10 語についての評価を-3 から 3 の 7段階で評価する心理実験を行った．これにより得られた 5～10 名分の評価データの平均値を印象値として定義した．今年度収集したテクスチャ画像に対しても同様の実験を実施した．
3.2

潜在ベクトルの探索提案手法で学習された潜在空間中のベクトル(潜在ベクトル)と 3.1 節で付与した印象値との関係性を明らかにするため，学習に用いたテクスチャ画像の中から複数の画像を選定し，それらの画像におけるスタイル（テクスチャとしての特徴）と似たスタイルを持つ潜在ベクトルを探索した．その際，評価語として“ 明るい”，“ 重なりのある”，“ 涼しげな”の 3 つを選び，各評価語で印象値が上位 10 枚と下位 10 枚のテクスチャ画像を対象とした．得られた潜在ベク
トルを生成モデルに入力することで，探索対象の柄画像と近いスタイルを持つ画像を生成が可能になる．
以上より，元画像と生成画像を比較することで，構築した生成モデルが感性的質感に関してもつれが解けた（disentangled）な状態かどうかを確認できるだけでなく，所望の感性的質感を有するテクスチャ画像を新規に生成することが可能になる．
3.3

結果・考察

図 7 に評価語ごとの探索対象のテクスチャ画像と，モデルによる生成画像を示す．
（a）の「明るい」印象値上位のスタイルを模した生成画像は全体的に明度が高く，花柄の輪郭や大きさが学習データにはないものであった．
（b）の「明るい」印象値下位では（a）と対照的に明度が低く，学習データにはないオリジナルの花柄画像が生成された．
（c）「重なりのある」印象値上位
では（d）と比べ細部まで描画された複雑な花柄が生成された．
（d）の「重なりのある」印象値
下位では，探索対象の花柄と比べ薄れた花柄が生成された．
（e）「涼しげな」印象値上位では探索対象の画像と比べて，より青色や白色が強調された．
（f）「涼しげな」印象値下位では，反対に赤色や茶色が強調された．以上より，各評価語に対して人の直感に合った生成画像が得られたことから，本手法の有効性が示唆された．
4

おわりにテクスチャから喚起される感性的質感に着目し，感性的質感評価モデルの転移学習手法および所望の感性的質感を持つテクスチャの生成手法を提案した．はじめに，スタイル変換技術を応用した
敵対的生成ネットワーク StyleGAN2-ADA にテクスチャ画像を転移学習させ，テクスチャ生成モデルを構築した．次に生成モデルを評価する定量的な指標に基づき，複数のネットワークの中から最良のテクスチャ生成モデルを選定した．さらに，昨年度に構築した感性的質感評価モデルに基づき，所望の質感を有するテクスチャを生成する手法を開発した．生成結果から，人の直感に合致した生成画像が確認でき，本手法の有効性を示唆する結果を得た．
5

令和 2 年度学長裁量研究成果報告書（様式３号）３－３

図７

生成結果（ (a)～(f) において上段：探索対象の画像, 下段：モデルによる生成画像）

参考文献[1] T. Karras, M. Aittala, J. Hellsten, S. Laine, J. Lehtinen, and T. Aila, “Traininggenerative adversarial networks with limited data,” in Advances in Neural Information
Processing Systems, vol. 33, pp. 12104–12114, 2020.
[2] T. Karras, M. Aittala, J. Hellsten, S. Laine, J. Lehtinen, and T. Aila, “Alias-freegenerative adversarial networks,” in Advances in Neural Information Processing Systems, vol.
34, 2021.
[3] Z. Wang, A. Bovik, H. Sheikh, and E. Simoncelli, “Image quality assessment: from error6令和 2 年度学長裁量研究成果報告書（様式３号）３－３

visibility to structural similarity,” IEEE Transactions on Image Processing, vol. 13, no. 4,
pp. 600–612, 2004.
[4] M. Heusel, H. Ramsauer, T. Unterthiner, B. Nessler, and S. Hochreiter, “Gans trained bya two time-scale update rule converge to a local nash equilibrium,” in Advances in NeuralInformation Processing Systems, vol. 30, 2017.
[5] M. Heusel, H. Ramsauer, T. Unterthiner, B. Nessler, and S. Hochreiter, “Improved precisionand recall metric for assessing generative models,” in Advances in Neural Information
Processing Systems, vol. 32, 2019.

7