肌や顔の特徴と印象の相関分析
理学専攻 情報科学コース 1940661 孫芸珂

1

はじめに

顔画像の印象には服や髪形など多くの要因が関与しているが，その中でも顔からの情報は大きいと考えられる．特に近年，SNS の普及にともない，自分の顔画像をインターネットにアップロードする機会が増えており，顔画像から得た印象が重要になっている．顔の特徴の代表例として，キメ，毛穴，肌色といった肌の特徴と，目や口などのパーツの大きさといった顔形状の特徴がある．その中でも肌状態を診断するには，専門的な機械や特定の環境で撮影した顔画像を用いることが多い．また，顔の特徴と印象との関係を分析するには複数の分析手法が必要であり，一目で分析結果を理解しにくいという問題がある．
以上を踏まえて我々は，肌や顔の特徴と印象の相関を分析する 2 つの研究を提案する．1 つ目の研究は，肌画像の撮影距離によって毛穴の目立ちがどのように変わるかを分析する研究である．2 つ目の研究は，顔画像の特徴量によるクラスタリング結果と印象評価結果の相関を可視化する研究である．

2

肌画像と毛穴の目立ちの相関分析

2.1

提案手法の概要

図 1: 複数の距離から撮影した肌画像から検出された毛穴の数．
要はないとし，「視認できる毛穴の数が減ったと感じた距離」を 20cm とした．

2.5

図 2: 毛穴に関する 3 つの状態．

肌の撮影

顔の特徴と印象評価の相関分析

3.1

提案手法の概要

3.2

データセット

敵対的生成ネットワーク (GAN: Generative Adversarial Networks) という機械学習技術により生成された多数の架空の顔画像を使用する．撮影条件や人物属性を統一した形で顔画像を生成でき，肖像権の問題も生じないことから，このような手段は本研究にも向いている．

毛穴の検出

続いて，撮影した全ての肌画像から，同じ大きさの肌画像を切り抜く．そして「Image Capture Viewer」[1] を用いて毛穴を検出する．2.2 節に示した手順で複数の距離から撮影した肌画像から検出された毛穴の数を図 1 に示す．

2.4

3

まず，架空の人物の顔画像群から肌領域を抽出する．
次に特徴量にもとづいて顔画像を分類する．それと同時に，顔画像に関する印象評価を実施する．そして顔画像の特徴量と印象評価結果の相関を可視化する．

本研究では 20 代の女性 8 人の肌を被写体とし，化粧や日焼け止め等をつけていない状態で，デジタル一眼レフカメラ (Canon EOS kiss digital N) で各被験者の左頬を撮影した．頬を撮影する際には，被写体を顔の中心から左に 45 度の位置で設置した．撮影する距離は頬から 20cm から 50cm まで 5cm 刻みで設置した．

2.3

毛穴の目立ちによる肌画像の分類

距離 20cm で撮影した肌画像から検出された毛穴の数により，図 2 に示すように，毛穴が目立たない状態，普通の状態，毛穴が目立つ状態，の 3 つに肌画像を分類した．

まず，複数の距離で人の顔の頬を撮影し，全ての画像から同じ大きさの肌領域を切り抜くことで，肌画像を取得する．続いて，肌の拡大画像から肌の微細構造を検出できる「Image Capture Viewer」[1] を用いて毛穴を検出し，検出された毛穴の数を記録する．それと同時に，人の頬を対象としたアンケートで「視認できる毛穴の数が減ったと感じた距離」を回答させる．
回答された距離で検出された毛穴の数により，毛穴の目立ちで肌画像を分類する．

2.2(指導教員：伊藤貴之)

3.3

肌領域の抽出

我々は YCbCr 色空間と RGB 色空間で肌領域を抽出して比較した．結果から RGB 色空間で肌領域を抽出するほうが欠損を生じにくいことを確認した．そこで本研究では，RGB 色空間で肌領域を抽出することにした．肌領域抽出後も背景に残っている髪の毛や服は手動（Photoshop を使用）で黒く塗りつぶした．

毛穴の視認評価

本研究では，標準的な毛穴の状態と思われる人の肌画像に対して，「視認できる毛穴の数が減ったと感じた距離」を回答させた．回答者は 20 代女性 12 人であった．その結果，11 人が 20cm〜40cm だと回答した．特に，20cm だと回答した 3 人の視力が 0.3, 0.7, 1.0 であったことから，この結果の考察に視力を考慮する必

3.4

印象評価

本研究は印象評価という手段で肌の印象を数値化する．具体的には，SD (semantic diﬀerential) 法にもとづいて何種類かの形容詞を用意し，その各々に対する1適合度を閲覧者に 5 段階評価してもらい，これをリッカート尺度として扱う．
被験者に過剰な負荷を与えないために，本研究では以下の 2 点に注意した．
要件 1: 被験者に回答させる評価項目の総数が多くなりすぎない．
要件 2: 被験者に閲覧させる画像の枚数が多くなりすぎない．
要件 1 のために我々は，肌の専門家と議論して肌画像の評価項目を「明るさ」
「赤み」
「黄色味」
「白さ」
「若さ」
「健康さ」「親しみやすさ」の合計 7 項目に選定した．
要件 2 を満たすために我々は，各被験者に提示する画像の枚数を制限することにした．本手法は，顔画像の色にもとづいて画像を 9 つのグループに分割し，各グループに属する画像を 1 枚ずつ評価させることにした．被験者は 20 代女性 20 名で，1 人あたり 9 枚の画像を提示して評価してもらった．

3.5

(1)

図 3: (1) 肌領域の色分布によるクラスタリングと印象評価結果の可視化画面．(2) 顔の縦横比によるクラスタリングと印象評価結果の可視化画面．左のアイコンの縦横比は顔の輪郭により設置した．
クラスタ 4 では，肌の明るさや赤みを感じられる顔画像が集まっていることが確認できる．さらに，10 枚の顔画像の輝度値のヒストグラムを比較した．結果はクラスタ 1 の画像の輝度値はクラスタ 4 より低いところに集中していることがわかった．従って，健康的に見える顔画像の特徴としては「肌の黄色味を感じる」「画像の輝度が低い」という傾向があることが示唆される．
図 3(2) の例は，3.4 節で示した評価項目のうち「若さ」に関する印象評価結果を反映したした結果である．
この可視化結果から，「若さ」に関する印象評価結果に対して，7 つのクラスタの中で得点が一番低い，すなわち平均的に一番「若々しさを感じる」と評価されたクラスタ 3 には，正方形に近い形状の顔が多いことを視認できる．それ故，「若々しく見える顔」は比較的に顔の形状は丸く，小さい傾向があることが示唆される．

特徴量にもとづく顔画像のクラスタリング

本節では，顔画像からの特徴量の算出とクラスタリングの手法について紹介する．
本研究は，3.3 節で示した処理により肌領域だけを抽出した全ての肌画像に対して，肌領域の色分布と顔の縦横の長さを特徴量として，顔画像群にクラスタリングを適用する．
以下の手順で画像の色分布を示すヒストグラムを生成し，これを多次元ベクトルとみなして次元削減を適用する．まず，RGB 色空間を 32 × 32 × 32 ＝ 32768個の立方体領域に分割し，各領域に該当する画素数を集計し，この結果を 32768 次元ベクトルとする．次に，全ての画像において 0 である次元を削除し，それ以外の次元だけを残したベクトルを生成する．我々の実験ではこの処理により次元数が 500 程度に削減されている．続いては 3000 程度のベクトルに PCA（主成分分析）を適用し，第 1〜第 5 主成分を選んで 5 次元ベクトルを生成している．これを顔画像の色分布の特徴を表す 5 次元の特徴ベクトルにする．
それと同時に，以下の手順で顔の縦横の長さを算出する．まず，dlib というオープンソースの機械学習ライブラリを使用し，顔の輪郭を表す 81 個の特徴点を検出する．次に，特徴点の座標値の最小値・最大値から，顔の縦横の長さを計算する．これを顔画像の輪郭を表す 2 次元の特徴ベクトルにする．
算出した顔画像の色分布の特徴を表す 5 次元の特徴量と，輪郭を表す 2 次元の特徴量のそれぞれに対して，K-means 法によるクラスタリングを実行する．

3.6

(2)

4

まとめ

本論文は肌や顔の特徴と印象の相関を分析する 2 つの研究を提案した．
1 つ目の研究では毛穴の数で肌画像を分類してるが，今後は毛穴以外の特徴からも分類や分析を進めたい．2
つ目の研究の今後の課題としては，「肌領域の色分布」「顔の縦横の長さ」以外の特徴量，例えば肌の質感，顔の部位別の色分布，顔の部位別の形状，といった特徴と印象評価との関係を可視化したい．また，印象評価の項目間の関係をあわせて可視化したい．
謝辞： 印象評価項目の選定について多くのアドバイスをいただいた，資生堂グローバルイノベーションセン
ターの豊田成人様に感謝の意を表する．

参考文献

クラスタリングと印象評価の結果の可視化実行例[1] 猪股, 黒川, 伊藤, 豊田, 大高, 笹本, 実写画像からの肌微細構造パラメータの推定, 電子情報通信学会
パターン認識・メディア理解研究会 (PRMU) 2013年 1 月研究会, 2013.

本節はクラスタリングと印象評価の結果の可視化の実行例を示す．本論文で示す可視化手法では，クラスタを構成する各顔画像の印象評価の平均値を枠の色で表現している．点数が大きくなると色を濃くしている．
枠に色をつけた例を図 3(1) と図 3(2) に示す．
図 3(1) に示した例では，3.4 節で示した評価項目のうち「明るさ」に関する印象評価結果を反映したした結果である．クラスタ 1 とクラスタ 4 を対象として，考察した．クラスタ 1 には肌の黄色味が感じられ，健康的と思われる顔画像が集まっている．これに対して[2] 伊藤，山口，小山田，長方形の入れ子構造による階層データ視覚化手法の計算時間および画面占有面積の改善，可視化情報学会論文集，Vol. 26，No.
6，pp. 51-61，2006.

2