信学技報
IEICE Technical Report
信学技報
IMQ2023-39,IE2023-94,MVE2023-68(2024-03)

一般社団法人 電子情報通信学会
THE INSTITUTE OF ELECTRONICS,
一般社団法人 電子情報通信学会
INFORMATION AND COMMUNICATION ENGINEERS
THE INSTITUTE OF ELECTRONICS,
INFORMATION AND COMMUNICATION ENGINEERS

IEICE Technical Report

マルチタスク CNN によるテクスチャ柄の階層的感性推定モデル
山下 ののみ†飛谷 謙介††

都賀 美有紀†長田 典子††††

関西学院大学大学院理工学研究科 〒669-1330 兵庫県三田市学園上ヶ原 1
長崎県立大学情報システム学部 〒851-2130 長崎県西彼杵郡長与町まなび野 1-1
E-mail:†††{hqr57902, toga.m, nagata}@kwansei.ac.jp,

tobitani@sun.ac.jp

あらまし 本研究は衣服のテクスチャ柄に対する感性的質感に着目し，感性の階層構造に基づいて印象と感情を推定するモデルの構築を目的とする．柄画像を対象とした主観評価実験で印象と感情を定量化し，マルチタスク学習を用いて感性推定モデルを構築する．マルチタスク学習を用いて多様な印象を同時に学習し感情層に繋げることで，感性の階層構造における印象と感情の関係性の表現を可能とする．シングルタスクモデルとの精度比較により，マルチタスク学習の有用性が確認された．
キーワード ファッション，推薦システム，画像認識，マルチタスク学習

Hierarchical textile pattern aesthetic prediction using multitask CNN
Nonomi YAMASHITA††

Kensuke TOBITANI††

Miyuki TOGA†

Graduate School of Science and Technology, Kwansei Gakuin University

andNoriko NAGATA†

1 Gakuenuegahara, Sanda-shi, Hyogo, 669-1330 Japan††

Faculty of Information Systems, University of Nagasaki 1-1 Manabino, Nagayo-cho, Nishisonogi-gun, Nagasaki,
851-2130 JapanE-mail:†{hqr57902, toga.m, nagata}@kwansei.ac.jp, ††tobitani@sun.ac.jp

Abstract The aim of this study is to construct a model for estimating impressions and emotions based on the hierarchicalstructure of emotions, focusing on the emotional quality of textured patterns on clothing. Impressions and emotions are quantified
in subjective evaluation experiments on pattern images, and a sensitivity estimation model is constructed using multitask learning.
By learning various impressions simultaneously using multitask learning and connecting them to the emotion layer, it is possible
to express the relationship between impressions and emotions in the hierarchical structure of sensitivity. Comparison of theaccuracy with single-task models confirms the usefulness of multitask learning.
Keywords Fashion, recommendation systems, image recognition, multi-task learning

1. は じ め に

品 ば か り が 提 案 さ れ る と い っ た 課 題 が あ る ．そ の た め ，感性的質感認知は価値判断や意思決定において重要 な 機 能 と な る [1]．機 械 学 習 の 分 野 で は ，審 美 性 を 機

少量のデータからユーザの好みやニーズを推定する技術の開発が求められている．

械学習モデルで表現する研究が盛んに行われているが，そこで本研究では，本研究では，衣服の柄を対象に感性的質感認知における印象から感情，価値へのプロ感性的質感と物理特徴との関係性をモデル化し，感性セスを扱った研究は少数である．プロダクトデザイン

的質感の構造に基づいた柄の印象推定モデルの構築をの分野では，ユーザニーズの多様化に伴いプロダクト目的とする．のカスタマイズが注目されているが，専門的な知識や経験を要し労力や時間の面でも課題となっている．そ2. 先 行 研 究のため，感性的質感を分析しユーザが簡単にイメージ複数の評価を統合して判断するための学習モデルに合ったプロダクトを入手できれば，ユーザ満足やの代表的なものとして，マルチタスク学習があげられ

Well-being の 向 上 だ け で な く ， 大 量 生 産 の 無 駄 削 減 やる．マルチタスク学習は，単一のモデルで複数のタス持続可能な社会の実現にも寄与すると考える．また，クを解く手法であり，複数のタスクを同時に学習する

多 く の EC サ イ ト で は ユ ー ザ の 意 思 決 定 を 補 助 す る た

こ と で ， タ ス ク 間 で 共 通 の 要 因 を 獲 得 で き る [2][3]．

め推薦システムが使用されている．しかし，これらの一方，感性的質感認知に関する研究では，古くから手法には購入履歴が必要といった課題や似たような製

テクスチャ認知・生成，オノマトペや印象評価語と画- 150 -This
Thisarticle
articleisisa atechnicaltechnicalreportreportwithout
withoutpeer
peerreview,review,and
anditsitspolishedpolishedand/or
and/orextended
extendedversion
versionmay
maybebepublishedpublishedelsewhere.
elsewhere.
Copyright©20●●IEICE
Copyright©2024 byby IEICE

図 2 柄画像の例
表 1 印 象 語 28 語

図 1 提案手法の概念図
かわいい

きれいなやわらかい像特徴量の関係，視覚特性や神経基盤の解明など多方不揃いな冷たい面から行われてきた．最近では機械学習の分野で，好対称的な穏やかなみ，美的良さや感情など審美性(aesthetic scores,aesthetic values) を CNN で モ デ ル 化 し 画 像 理 解 ・ 推 薦に 応 用 す る 研 究 が 盛 ん に 行 わ れ て い る [4-7]． し か し ，える性質（派手な，スリムな等の印象，美的概念，aesthetic concepts）と は 明 確 に 区 別 さ れ ，感 情 は 印 象（ に関する情報処理）を経て形成される評価であると説明さ れ て い る [8]．対 象 に 関 す る 多 様 な 印 象 を CNN モ デルで表現した研究はまだ少数である．と呼ばれるヒトの直感によく合致する質感特徴量を用
い て ，柄 を 表 現 す る 41 の 印 象 の モ デ ル 化 を 行 っ た [10]．
この中で「かわいい」のような高次の感性的質感には個人差が見られたことから，個人差を考慮したモデルへの拡張が課題として挙げられた．

凝った単色の古い

古風な均等な平行な幾何学的な怪しげ

洋風な派手な特徴的な細かい

艶やかな

華々しい

規則的な集合体の高価な柄から喚起される視覚的な印象を定量化するため，エ キ ス パ ー ト を 問 わ な い 4440 名 が 参 加 し た ． 実 験 に用 い た 柄 画 像 は 2878 枚（ 図 2）で ，画 像 1 枚 あ た り 20名分の評価が得られるように実験を行った．評価項目に は ，表 1 の 印 象 語 28 語 と「 好 き -嫌 い 」「 良 い -悪 い 」「 覚 醒 -沈 静 」「 快 -不 快 」 の 感 情 語 4 語 を 用 い た ．
実験方法は，被験者に画面に表示された柄の画像を観察してもらい，各評価項目についてどの程度あてはま る か 評 価 し て も ら っ た ．印 象 語 28 語 と「 好 き -嫌 い 」「 良 い -悪 い 」 の 感 情 語 2 語 に つ い て は ，「 全 く あ て はまらない」から「非常にあてはまる」の評価尺度からな る 7 件 法 で 評 価 を 行 い 「 全 く あ て は ま ら な い 」 を -3点，
「 非 常 に あ て は ま る 」を 3 点 と し て 各 評 価 尺 度 に 対し て 1 点 刻 み の 点 数 化 を 行 っ た ．「 覚 醒 -沈 静 」「 快 -不快」の感情語 2 語については，アフェクトグリッド法3. 提 案 手 法
本研究では，衣服の柄を対象に感性的質感と物理特徴との関係性をモデル化し，感性的質感の構造に基づいた柄の印象推定モデルの構築を目的とする．1 つは多 様 な 感 性 的 質 感 を 扱 う 枠 組 み と し て Multi-task
CNN モ デ ル 用 い ，感 情 語（ 1 語 ）を メ イ ン タ ス ク ，印象 語（ 28 語 ）を サ ブ タ ス ク と し て 構 成 し ，同 時 に 解 くことにより個人差の表現を可能とする．もう 1 つは感性的質感の構造をモデルで表現するため階層的なモデル の 構 築 を 行 う ．提 案 手 法 の 概 念 図 を 図 1 に 示 す ．(1)
はじめに，主観評価実験を行い柄に対する感性的質感を 定 量 化 す る ．(2)次 に ，感 性 的 質 感 を 推 定 す る モ デ ルを 構 築 す る ．(4)全 て の 柄 に 対 し て こ の モ デ ル を 用 い て感性的質感を推定し，推定値が高い柄をユーザに推薦する．の高い印象評価実験を行った．実験には，エキスパートと非寸田らは，衣服の柄の検索や生成のために画風変換
ア ル ゴ リ ズ ム Neural Style Transfer [9] に お け る Style

シックな センスのあるした

3.1. 印 象 の定 量 化

心理学や感性工学の分野では，対象に対する評価者の反応（美しい，好き等の感情）は，対象そのものが備ガチャガチャ コントラスト

で 評 価 を 行 っ た ．横 軸 を「 覚 醒 -沈 静 」，縦 軸 を「 快 -不快」とする 2 次元のアフェクトグリッドを用い，各次元について 1 から 9 までの 9 段階で回答を求めた．
得られた評価データに対し，評価内容や回答時間からクリーニングを行った．実験刺激の中にダミー画像を含め，この画像に対する評価が指示と異なった被験者を不誠実回答者した．この不誠実回答者の中で，回答時間が最頻値よりも短い被験者を短時間回答者と し た ．ま た ，28 個 の 評 価 項 目 の う ち ，い ず れ か の 項
目で全ての画像に対する評価値が同一であった被験者は，次節で相関係数が算出できないため除外した．クリーニングを行った結果，採用した有効な回答者は3347 名 で あ っ た ．

3.2. 印 象 推 定 モデルの構 築
本 研 究 で は ，マ ル チ タ ス ク 学 習 を 用 い て ，感 情 語「 好- 151 -表 1 学習モデル比較結果

図 3 モデルの出力結果例「かわいい」
ルの有用性を調べるため，シングルタスクモデルとの比較を行った．次に，感情と印象の関係性に基づいて分割したデータが，好みの違いを考慮したモデル構築につながるか調べるため，複数の学習データ間で精度比較を行った．続いて，印象分布を学習データとして用いたモデルとの比較を行った．最後に，感性の階層構造をモデルで表現するため階層的なモデルを構築し比較を行った．
推 定 精 度 の 評 価 指 標 に は ，実 測 値 と 推 定 値 と の 相 関係数を用いた．印象分布を用いた分類モデルでは，印象分布の期待値と推定結果（推定印象分布）の期待値との相関係数を算出した．
マルチタスクモデルとシングルタスクモデルとの比 較 結 果 を 表 1（ シ ン グ ル・マ ル チ ）に 示 す ．ほ ぼ 全 ての評価語において，シングルタスクモデルよりもマルチタスクモデルの精度が高かった．この結果と 1 つのモデルで複数のタスクを同時に解くことができる効率性から，マルチタスクモデルの有用性を確認した．
き - 嫌 い 」の 回 帰 タ ス ク と 印 象 語 28 語 の 回 帰 タ ス クを同時に解かせる印象推定モデルを構築する．マルチタスク学習によって関連する複数の課題を同時に学習することで，課題間で共通の要因を獲得でき，予測精度の向上が期待できる．特徴量抽出器として学習済みの ResNet-50 を 用 い た ． 多 出 力 な モ デ ル で あ る た め ，
全 結 合 層 を 出 力 サ イ ズ が 1 の 全 結 合 層 29 個 に 変 更 した ．損 失 関 数 に は 二 乗 平 均 誤 差 (MSE)を 用 い ，各 タ ス クの 損 失 の 合 計 を 最 小 化 す る よ う に し た（ 式 1）．メ イ ン
タ ス ク を 感 情 語「 好 き - 嫌 い 」の 回 帰 タ ス ク ，サ ブ タス ク を 印 象 語 28 語 の 回 帰 タ ス ク と し ， サ ブ タ ス ク の重 み を 0.5 か ら 1.0 の 範 囲 で パ ラ メ ー タ チ ュ ー ニ ン グを行った．

平均値で学習したモデルと印象分布で学習したモデ ル の 比 較 を 行 っ た 結 果 を 表 1（ 平 均・分 布 ）に 示 す ．
図 3 にモデルが推定したかわいいの印象分布を示す．
印象分布は印象評価における評価のばらつきで，各評
価 点 の 人 数 を 合 計 人 数 で 割 っ た 割 合 と す る ．印 象 語 28
語の精度の平均は全参加者の印象分布のデータで学習させたモデルが最も高かった．この理由として，平均値と比べて画像１枚あたりに付与された情報量が多いためと考えられる．平均値では，他の参加者の評価は平均を取ることで潰れてしまうが，印象分布を用いることで他の参加者の評価の傾向も学習時に考慮することができるため，精度が高くなったと考える．
感性の階層構造を印象推定モデルの構造で表現するため，印象語を推定する層の後に感情語を推定する層を置いたモデルを構築した．モデルの構造を図 2 に

𝐿𝐿𝑎𝑎𝑎𝑎𝑎𝑎 = 𝐿𝐿𝑚𝑚𝑚𝑚𝑚𝑚𝑚𝑚 + 𝜆𝜆𝑠𝑠𝑠𝑠𝑠𝑠1 𝐿𝐿𝑠𝑠𝑠𝑠𝑠𝑠1 + 𝜆𝜆𝑠𝑠𝑠𝑠𝑠𝑠2 𝐿𝐿𝑠𝑠𝑠𝑠𝑠𝑠2 +∙∙∙ +𝜆𝜆𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑠 𝐿𝐿𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑠 (1)示す．印象分布を学習データとした階層型モデルと平面 型 の マ ル チ タ ス ク モ デ ル と の 比 較 を 表 1（ 階 層 型 ・4. 結 果 ・ 考 察

学習データやモデル構造などを変更したモデルを複数構築し精度比較を行う．まず，マルチタスクモデ平面型）に示す．平面型モデルと比較した結果，印象語 28 語 は 精 度 に 大 き な 差 は な い が や や 平 面 型 モ デ ルの精度が高かった．感情語の精度は大きな差は出なか- 152 -

ったが，階層型モデルの方がやや精度が高くなった．
この理由として，印象語は平面型モデルと構造自体は変わっていないためであると考える．しかし，感情語はやや精度が高くなっていることから各印象語の重みを工夫することでより感情語の精度を上げられる可能性 が あ る と 考 え る ．こ の 結 果 か ら ，28 印 象 語 の マ ル チ
タスク出力から感情語の出力を得る構造の工夫をする必要があると考える．

5. ま と め
本 研 究 で は ，衣 服 の 柄 を 対 象 に 感 性 的 質 感 と 物 理 特徴との関係性をモデル化し，感性的質感の構造に基づTransactions on Image Processing, 29 3898-3910,
2020.
[8] S. Hashimoto, A. Yamada, and N. Nagata, "Aquantification method of composite impression ofproducts by externalized evaluation words of theappraisal dictionary with review text data,"
International Journal of Affective Engineering, vol.18,no.2, pp.59–65, 2019.
[9] L. A. Gatys, A. S. Ecker, and M. Bethge, “Image styletransfer using convolutional neural networks” TheIEEE Conference on Computer Vision and PatternRecognition 2016, pp.2414–2423, 2016.
[10] N. Sunda, K. Tobitani, I. Tani, Y. Tani, N. Nagata,and N. Morita, “Impression estimation model forclothing patterns using neural style features” HCIInternational, pp.689–697, 2020.

いた柄の印象推定モデルの構築を行った．1 つは多様な 感 性 的 質 感 を 扱 う 枠 組 み と し て Multi-task CNN モ
デ ル 用 い ，感 情 語（ 1 語 ）を メ イ ン タ ス ク ，印 象 語（ 28語）をサブタスクとして構成し，同時に解くことにより個人差の表現を可能とした．もう 1 つは感性的質感の構造をモデルで表現するため階層的なモデルの構築を行った．はじめに，主観評価実験を行い柄に対する感性的質感を定量化する．次に，柄に対する感性的質感を推定するモデルを構築し各モデルを比較した．シングルタスクモデルとの比較により，マルチタスクモデルの有用性が確認された．また，感性評価構造を意識したモデルの構造が重要であることがわかった．
今 後 は ，単 一 の モ デ ル で よ り 多 様 な 感 性 的 質 感 の 個
人差を表現できる手法を検討する．

文

献[1] 小 松 英 彦 “, 質 感 の 科 学 へ の 展 望 , ”映 像 情 報 メ ディ ア 学 会 誌 , vol. 66, no. 5, pp.331– 337, 2012.
[2] Caruana, Rich. “Multitask learning.” Machinelearning, 28 41-75, 1997.
[3] Tang, H., Liu, J., Zhao, M., and Gong, X.,“Progressive layered extraction (ple): A novel multitask learning (mtl) model for personalizedrecommendations”, Proceedings of the 14th ACM
Conference on Recommender Systems, pp. 269–278,
2020.
[4] Soydaner, Derya, and Johan Wagemans, "Multi-task
convolutional neural network for image aestheticassessment", arXiv preprint arXiv:2305.09373, 2023.
[5] Li, L., Zhu, H., Zhao, S., Ding, G., and Lin, W.,“Personality-assisted multi-task learning for genericand personalized image aesthetics assessment”, IEEE
Transactions on Image Processing, 29, pp.3898-3910,
2020.
[6] Chen, Y., Pu, Y., Zhao, Z., Xu, D., Man, and Qian, W.,“Image Aesthetic Assessment Based on EmotionAssistedMulti-Task
LearningNetwork”,
In
Proceedings of the 2021 6th International Conference
on Multimedia Systems and Signal Processing, pp. 1521, 2021.
[7] Li, L., Zhu, H., Zhao, S., Ding, G., & Lin, W.,“Personality-assisted multi-task learning for genericand personalized image aesthetics assessment.” IEEE- 153 -