統計的学習による「似合う」への計算論的アプローチの確立
─個人に似合う髪型の自動提示技術の開発を通して─
山梨大学大学院医学工学総合研究部

茅暁陽

Hairstyle is one of the most important features people use to characterize one’s appearance. Since whether a hairstyleis suitable or not is relied on the aesthetic sense of human, it is difficult to model the suitability mathematically. We focusedon the fact that the suitable hairstyle is related to one’s face shape. This research proposes a new technique for automatically
retrieving a suitable hairstyle from a collection of hairstyle examples through learning the relationship between face shapes
and suitable hairstyles. Wee first designed the facial feature vector that are relevant to hairstyle. Aesthetic knowledge on faceand hair stylists’ ideas are used to design the facial features. And for producing realistic hairstyle images, we use matting andthin-plate-spine interpolation to improve the synthesis result. The four major contributions of this project can be summarized
as follows: 1. A new framework for retrieving suitable hairstyles through learning the relationship between facial shapes andhairstyles from successful hairstyle examples. 2. The design of a compact feature vector space enabling fast non-parametricsampling in statistical learning. 3. A method of hair-face image composition utilizing modern matting techniques forsynthesizing realistic hairstyle images automatically. 4. An evaluation experiment demonstrating the validity of the feature
vector and the effectiveness of the example-based approach. Experiments have been conducted to investigate how different
features of face shape can influence the results. The effectiveness of the proposed technique was validated through subject
studies.

１．緒

力は入力顔画像にヘアスタイルを合成する形で提示する．

言5）

6）

Matting や Thin-Plate-Spline 補間技術を利用し，写実的ヘアスタイルは人の外見を決める上でもっとも重要な要なヘアスタイル画像の呈示が可能である．顔の形状特徴と素の一つであり，ヘアスタイルを変えるだけで人に与えるして，①顔の形や額の高さなど顔の基本形状を表す 6 次元

印象は大きく変わる．本研究では，ノンパラメトリックサのベクトル V1=（v1, v2, v3, v4, v5, v6），②基本形状に加ンプリングに基づく似合うヘアスタイルの自動探索法を提えて顔の魅力度の知覚にもっとも寄与すると言われている

案する．
「似合う」とは感性的な概念であり，その数理目間の距離と顔の幅の比及び鼻の長さと顔の長さの比をモデルを作成することは困難である．提案手法では，ヘア加えた黄金比 を考慮する 10 次元のベクトル V2 =（v1, v2,スタイルが似合うかどうかを決めるもっとも重要な要因が……, v10），そして，③これらの特徴の平均顔からの差分，顔の形状特徴であることに着目し，ヘアスタイルの成功例

つまり利用者の顕著な特徴を表す 12 次元のベクトル V3=から顔の形状特徴とヘアスタイルとの関係を学習すること（v1, v2,……, v12）の 3 種類を用いて，それぞれの有効性ににより，利用者の顔に似合うヘアスタイルを得る．図 1 について，評価実験を通して検証を行った．

1−4）

7）

提案システムのフレームワークを示す．システムは大き２．実験・結果

く分けて学習と実行の 2 つの部分から構成される．学習では，ヘアスタイルカタログに掲載されているヘアスタイル提案手法が似合うヘアスタイルの探索を実現できているを成功例とみなし，顔特徴とその顔に合ったヘアスタイルかを確かめる被験者実験を行った．利用者本人が判断するのペアを学習データとしてデータベースに格納する．実行

似合うヘアスタイルと，利用者以外が判断する似合うヘア

時は，入力される利用者の顔画像に対し，データベース構スタイルには違いがあることが予想されたため，自己評価築のときと同様の方法で顔特徴抽出を行う．そして，平均と他者評価の２種類の評価実験を行った．自己評価の実験

顔と比較し，個人の顔の特徴の強調を行い，顔特徴空間ででは利用者自身を被験者として，提示されたヘアスタイル距離の近い画像をデータベースから探索し，それと対になについて評価を行った．他者評価の実験では利用者以外のるヘアスタイルを似合うヘアスタイルとして出力する．出

被験者によって，提示される利用者のヘアスタイルの評価を行った．
なお今回の実験では，髪の色による影響を無視するため

A Computational Approach to Hairstyle
Fitting Based on Statistic Leaning
Xiaoyang Mao
Interdisciplinary Graduate School of
Medicine and Engineering, University of
Yamanashiに，カラー画像をグレースケール画像に変換して実験を行った．髪の色も似合うかどうかの判断に重要な影響を与えると考えられるが，個人の好みによるものが大きいこと，提案手法ではもっとも似合う髪の色に関する考慮がないことから，髪の色については無視して実験を行った．

− 167 −

コスメトロジー研究報告 Vol.23, 2015

図1

提案システムのフレームワーク

2. 1. データベースの構築
本研究では，ヘアスタイリストが作ったヘアスタイル画像をデータベースに登録することでシステムを構築する．
登録するヘアスタイルは利用者や利用場面に応じて変更することができる．
我々はまず，髪の量と髪質，髪の長さを属性値として与え，それぞれに対するデータベースを構築した．これは似合うと判断されたヘアスタイルでも，利用者の持つ髪の量，髪質および髪の長さによって実現できないヘアスタイルが提示されないようにするものである．髪の量，髪質および髪の長さをそれぞれ以下の 3 段階に分けてデータベースを図2構築した．

評価用画像セット・髪の量：多い，普通，少ない・髪質：かたい，普通，やわらかいにそれぞれのヘアスタイルについて好みであるかどうかを・髪の長さ：ロング，ミディアム，ショート答えてもらった．このとき，顔によってヘアスタイルの好これらの属性値は一般的なヘアカタログで利用者への情みが左右されないように，顔にぼかしを加えた画像を提示報として記載されるものであり，ヘアカタログにこれらのした．顔型はヘアスタイルが似合うかどうかの判断に必要情報の記載があれば，これをそのまま属性値として与えるであると考え，顔の輪郭にはぼかしを加えなかった．

ことができる．画像から自動で判別することができればより多くの画像をデータベースに登録することができるが，撮影環境の違いや解像度の違いなどによって困難であった．

2. 2. 一般向けデータベースでの自己評価実験（特徴ベクトル V1）

本研究では，ヘアカタログに情報があるものについてはそこの実験では「利用者自身に似合うと思うヘアスタイル」のまま属性値として利用し，情報がないものについてはデと「提案システムから提示されるヘアスタイル」が一致してータベース作成時に手動で属性値を与えた．

いるかどうかを調べることを目的とする．被験者は女子大一般向けデータベースはプロのヘアスタイリストが作っ学生 10 名とした．10 枚を 1 セットとする画像集を 3 セッ

た 84 枚のヘアスタイル画像によって構築した．男性向け

ト用意する．それぞれの画像集には本研究で似合うと判断

データベースでは，まずインターネット上のヘアスタイルしたヘアスタイルの画像 2 枚と無作為に選んだヘアスタイ画像 283 枚を集めた．属性値は手動で与えた．男性に好まル画像 8 枚が含まれている．被験者は各画像集から自分にれやすいヘアスタイルを選ぶために，15 名の男性被験者似合うと思う画像を上位 3 枚選択する．図 2 に示すように，− 168 −

統計的学習による「似合う」への計算論的アプローチの確立

─個人に似合う髪型の自動提示技術の開発を通して─

被験者は自分に 1 番目，2 番目，3 番目に似合うと思うヘ

した場合に，一般向けデータベースと比べてよい結果が得アスタイルの画像の番号を順に選択する．10 名の被験者られるかを調べた．被験者は男子大学生 19 名と 20 代男性

が 3 セットの画像集に対して回答を行った，総試行回数は会社員 6 名，計 25 名とした．2. 3. の実験と同様に，10 枚30 回となる．の画像を含む画像集 12 セットを用意した．各画像集には以下の 3 つのケースについて，回答に有意な偏りがある提案システムが似合うと判断したヘアスタイル画像が 2 枚かを調べた．

含まれている．被験者は各画像集から似合うと思う画像をケース 1：被験者が 1 番に選んだヘアスタイルは，提案手上位 3 枚まで選択する．総試行回数は 300 回である．実験
結果を表 5 に示す．

法が似合うと判断するヘアスタイルである．
ケース 2：被験者が 1 番と 2 番に選んだヘアスタイルのうち，男性向けデータベースの評価では，ケース 1 から 3 まで

少なくとも 1 枚は提案手法が似合うと判断するヘアスタ

すべてで 1 ％有意で帰無仮説を棄却することができた．こイルである．
ケース 3：被験者が 1 番，2 番と 3 番に選んだヘアスタイ
ルのうち，少なくとも 1 枚は提案手法が似合うと判断し

表 1 一般向けデータベースの自己評価実験の結果（**: 1% 有意， *: 5% 有意）選択された回数（10 名 ×3 セット）割合

ケース 140.134

ケース 2160.533*

ケース 3260.867**

たヘアスタイルである．
画像集に含まれる 10 枚のすべての画像が選ばれる確率は同じであることを帰無仮説として，2 項検定を行った．
結果を表 1 に示す．
30 回の試行に対して，ケース 1 は 4 回，ケース 2 は 16 回，ケース 3 は 26 回満たされた．ケース 2 は 5 ％有意で，ケース 3 は 1 ％有意で帰無仮説を棄却することができた．つ表 2 一般向けデータベースでの他者評価実
験の結果（**: 1% 有意）

まり，被験者は 2 枚か 3 枚を選ぶときに，少なくとも 1 枚は提案するシステムが似合うと判断するヘアスタイルを選ぶことがわかった．この結果から，提案するシステムがもっとも似合うとまではいえないまでも，よく似合うヘアスタイルを探索することができているといえる．

2. 3. 一般向けデータベースでの他者評価実験（特徴ベクトル V1）

選択された回数（13 名 ×12 セット）割合

340.218

ケース 2800.513**

ケース 31020.654**

ケース 1

表 3 一般向けデータベースでの他者評価実験の結果（男性被験者のみ）選択された回数（6 名 ×12 セット）割合

ケース 1120.167

ケース 2300.417

ケース 3400.556

この実験では「被験者以外の利用者が似合うと思うヘアスタイル」と「提案システムから提示されるヘアスタイル」が一致しているかどうかを調べた．被験者を 13 名の大学生（男性 6 名，女性 7 名）とし，10 枚の画像を 1 セットとする画像集 12 セットを用意した．総試行回数は 156 回である．男女を区別しない実験結果を表 2 に示す．
156 回の試行で，ケース 1 は 34 回，ケース 2 は 80 回，

表 4 一般向けデータベースでの他者評価実験の結果 （女性被験者のみ，**: 1% 有意）選択された回数（7 名 ×12 セット）割合

ケース 1320.381**

ケース 2500.595**

ケース 3620.738**

ケース 3 は 102 回満たされた．ケース 2 とケース 3 は 1 ％有意で帰無仮説を棄却することができた．
しかし，13 名の被験者の中で男性と女性の評価結果（表3，および表 4）を分けてみると，男性の評価結果は全てで有意差がなく，女性の評価結果では全て有意であることがわかった．このことから，女性のヘアスタイルを判断する
とき，男性と女性で似合うかどうかの判断基準が異なるこ

表 5 男性向けデータベースでの他者評価実
験の結果（**: 1% 有意）とがうかがえる．

選択された回数（12 名 ×3 セット）割合

500.347**

2. 4. 男性向けデータベースでの他者評価実験（特徴ベクトル V1）

ケース 1
ケース 2

740.514**

男性に好まれるヘアスタイルのみでデータベースを構築

ケース 3

1010.701**− 169 −コスメトロジー研究報告 Vol.23, 2015のことにより，利用者に応じたデータベースを構築するこ験と同じ画像集 12 セットを提示し，各画像集から似合うとにより，より似合うヘアスタイルを探索できることが確と思う画像を上位 3 枚まで選択してもらった．総試行回数かめられた．

は 48 回である．実験結果を表 7 に示す．
実験結果では，ケース 3 についてのみ 5 ％有意で帰無仮2. 5. 順位づけの妥当性の検証（特徴ベクトル①）説を棄却することができた．この結果は一般人による結果提案手法では顔特徴ベクトル間の距離によって，似合うヘアスタイルを選択している．この距離が似合うヘアスタ
イルをよく表現できているかを検証するために，順位相関よりも悪くなったものの，本提案手法で選んだヘアスタイルが被験者に選ばれやすい結果は得られた．
被験者のうち 1 名からは「髪型を細分化してパーツごとに似合うものを選びたい」というコメントを得た．このコを調べた．
実験では，利用者以外の被験者 6 名（いずれも大学生，メントから，ヘアスタイリストは，顔と髪型の全体のバラ

男性 3 名，女性 3 名）に，一般向けデータベースから得らンスのほかに，顔と髪型の各部位ごとのバランスを見ていれる上位 20 枚のヘアスタイル画像を提示した．被験者にることがわかる．本提案手法では，全体のバランスのみには 20 枚の画像を似合うと思う順に選択してもらった．図よって似合うかどうかを判断しており，このことが，ヘア3 に評価に用いた画像を示す．

スタイリストの結果を一般人の結果よりも悪くしているの実験により求められたスピアマンの順位相関係数 ρ をではないかと考察する．

求め，自由度 18 の t 検定によって評価を行った．結果を表 6 に示す．
被験者 6 人の結果からは，1 名で 1 ％，3 名で 5 ％，2 名

2. 7. 個人特徴の強調及び黄金比の導入に関する評価実験（V2, V3）

で 10 ％の有意水準で有意に相関が高いことが確かめられこの実験は個人特徴の強調および黄金比の導入した合成た．男女で比べると，女性でやや順位相関が高かった．こ

結果について提案システムの有効性を検証するための実験の結果から，もっとも似合うヘアスタイルだけでなく，提である．本実験で利用した画像データセットは 4 種類（1：

案手法が与える距離が似合うヘアスタイルをよく表現でき

V2，誇張なし；ているといえる．

2：V2，誇張あり；

3：V3，誇張なし；

4：V3，誇張あり）である．

2. 6. ヘアスタイリストによる他者評価実験（特徴ベクトル V1）

2. 7. 1. システムの有効性
被験者を 20 名の大学生（男性 10 名，女性 10 名）とし，さらに，ヘアスタイリストによる評価実験を行った．被10 枚の画像を 1 セットとするそれぞれの実験用データベ

験者は美容師 4 名（男性 2 名，女性 2 名）とした．2. 3. の実ースからの画像集 48 セット（12 セット×4 種類）を用意した．
総試行回数はそれぞれの画像データセットで 240 回である．
また同様にヘアスタイリスト 10 名（男性 7 名，女性 3 名）を被験者とした実験も行った．総試行回数はそれぞれの画像データセットで 120 回である．

表6

男性被験者
ρ

1+0.40

表7

図3

順位づけの妥当性検証のための提示画像− 170 −順位づけに対する順位相関係数（**: 1% 有意，*: 5% 有意，+: 10% 有意）
女性

234560.46*

0.260.61**

0.46*

0.37*

ヘアスタイリストによる評価の結果（*: 5% 有意）選択された回数（4 名 ×3 セット）選択された割合

ケース 1130.271

ケース 2220.458

ケース 3310.646*

統計的学習による「似合う」への計算論的アプローチの確立

─個人に似合う髪型の自動提示技術の開発を通して─2. 7. 2. 順位づけの妥当性

表 8 に示すように，一般人の結果では，240 回の試行で，ケース 1 が満たされたのは 53，56，57，60 回であった．

2. 5. の実験と同じように個人特徴を強調し，黄金比の個人特徴を誇張し，黄金比の特徴量も含めて合成した結果特徴ベクトルを導入し，最適なヘアスタイルをよく表現での方が 5 ％有意である結果になった．ケース 2 とケース 3きるかを検証するために，順位相関を調べた．

では 5 ％有意である結果となり，誇張した黄金比の特徴量

この実験の被験者は 20 名（大学生，男性 10 名，女性 10 名）を含めた合成結果の方が選ばれる確率は比較的高いことがである．図 4（a）（b）（c）（d）はそれぞれの評価用画像デ分かった．一方，ヘアスタイリストの評価結果では，総試ータセットを示す．一般向けデータベースから得られる上行回数は 120 回で，ケース１が満たされたのは 15，21，位 20 枚の似合うヘアスタイル画像を提示した．被験者に16，25 回であった．すべて有意ではない結果となった．

は 20 枚の画像を似合うと思う順に選択してもらった．

一般人の結果より悪いが，個人特徴を誇張し，黄金比の特実験により求められたスピアマンの順位相関係数 ρ を徴量を含めた合成結果の方が良いと分かった．ヘアスタイ

求め，自由度 18 の t 検定によって評価を行った．結果をリストは，2. 6. の実験と同様に顔のパーツごとに似合うも表 9 に示す．相関が高いことが確かめられた．個人特徴をのを選ぶという観点を持っている．一般の人と違い，専門強調し黄金比を含めた特徴ベクトルで最も良い結果が得ら家はそれに関する知識と経験を踏まえて判断しているため，れた．

顔のパーツについての注目度が高いことが分かった．
表8

個人特徴の誇張及び黄金比の導入しシステムの有効性に関する評価実験の結果（*：5% 有意）

割合
被験者

一般人
（20 人）
美容師（10 人）

case

強調なし

強調あり

実験結果

確立

1532110

31

強調なし

実験結果

確立

0.221

560.458*113

1540.642*

150.125244365（a）V10, 強調なし

実験結果

確立

0.233

570.471*112

1600.667*

210.1750.367

500.542

79

実験結果

確立

0.238

600.250*0.467*

1200.500*

1530.638*

1650.688*

160.133

250.2080.417

490.408

560.467*

0.658*

670.558750.625*（b）V10, 強調あり
図4

順位相関係数平均値

一般人（20 人）

ρ（c）V12, 強調なし（d）V12, 強調あり

順位づけの妥当性検証のための提示画像セット

表9

被験者

強調あり

順位づけに対する順位相関係数（**: 1% 有意，*: 5% 有意，+: 10% 有意）
輪郭特徴
（V10）

輪郭特徴＋黄金比特徴
（V12）

実験結果

確立

実験結果

確立

0.51**（３人）

0.58**（2 人）

0.51**（5 人）

0.61**（6 人）

0.41*（12 人） 0.47*（15 人） 0.43*（13 人） 0.49*（13 人）
0.32+（5 人） 0.35+（3 人） 0.34+（2 人） 0.40+（1 人）− 171 −

コスメトロジー研究報告 Vol.23, 2015

３．考に焦点を当てて似合うヘアスタイルの探索を行ったが，顔察の各部品の形状や髪の色も似合うかどうかの判断に影響を2. 3. 節で紹介した実験では，男女被験者の評価結果が与えているものと考えられる．さらに，外見を決める上で大きく異なることが分かった．また一部の男性被験者にな服装も重要な要因の一つである．本研究で提案した技術はぜこのヘアスタイルが似合うと思われたか聞いてみると，個人の特徴を考慮したファッション推奨にも応用できるとロングがすきだからという回答があり，個人の好みが評価考えられる。

結果に大きく影響していることが分かった．男性がよいと評価したヘアスタイルで構築した事例データベースを使用（引用文献）することで，よい結果が得られた．似合うとは非常に主観

１）Wei Yang, Masahiro Toyoura, Xiaoyang Mao,: Example-的な概念であり，すべての人に適用できるような数理モデ

Based Hairstyle Advisor, International Symposium on

ルを作成することが困難であるが，対象を考慮して適切なComputational Aesthetics (CAe), Poster, 2011-8.

事例データを準備することにより，事例ベースアプローチ

４．総２）W e i Y a n g , M a s a h i r o T o y o u r a , X i a o y a n g
Mao,:Hairstyle Suggestion Using Statistical Learning,が有効であることを確認することができた．

International Conference on MultiMedia Modeling

括(MMM2012), 2012-1.

本研究では，事例に基づく最適なヘアスタイルの生成技

３）楊 薇 , 豊浦 正広 , 茅 暁陽 , ：例に基づくヘアスタイル術を提案した．ヘアカタログから得られる成功例に基づいアドバイザ , 芸術科学会論文誌 , Vol.11, No.4, pp.195-204て似合うヘアスタイルのデータベースを構築し，顔型を基４）楊 薇 , 豊浦 正広 , 茅 暁陽 , ：顔特徴分析によるヘアスに似合うヘアスタイルを探索した．探索した結果は入力顔画像に対して最新な画像合成手法を用いて合成することで，ユーザに自然なヘアスタイル画像を呈示することができた．
さらに個人特徴を誇張し，黄金比を表す特徴ベクトルを導入することにより，結果をさらに改善させることができた．
今後の課題として，顔型以外の特徴による似合うヘアスタイルの探索を挙げる．本研究では顔型の一部の特徴のみ

タイルアドバイザ，VCWS2013
５）Wang, M. Cohen, Optimized Color Sampling for
Robust Matting , CVPR, 2007６）BooksteinF.L. (1 9 7 9). Shape Models II: The Thin
Plate Spline. The Palaeontological Association.
７）P.M. PallettLink, K. LeeS. (2010). New "Golden" Ratiosfor Facial Beauty. Vision Research 50, 149-154− 172 −