DEIM Forum 2017 E7-5

肌微細構造特徴量の実写画像からの抽出に関する一改良
古川ひとみ†

伊藤貴之†

豊田成人††† お茶の水女子大学院 〒 112–0012 東京都文京区大塚２丁目１−１†† 資生堂グローバルイノベーションセンター 〒 224–8558 神奈川県横浜市都筑区早渕 2-2-1
E-mail: †{f-hitomi,itot}@itolab.is.ocha.ac.jp, ††naruhito.toyoda@to.shiseido.co.jp
あらまし

著者らは肌状態を診断する手段として，肌微細構造をとらえる拡大写真をマイクロスコープカメラで撮影し，その写真群をデータベース化している．また著者らは，肌の状態をコンピュータグラフィックスで再現するために，肌状態からその微細構造特徴量を抽出する手法を提案している．この手法では肌拡大写真を白黒二値化して毛穴と皮溝をパターン認識し，その結果から毛穴半径と皮溝方向のヒストグラムを求めて特徴量としている．これらの特徴量をデータベース化して分析することで，肌状態をより適切に診断できると考えられる．しかし著者らの実験により，白黒二値化画像では的確に毛穴や皮溝を抽出できない事例が見つかっている．例えばシミや毛が混じっている画像において，白黒二値化のための適切な閾値を自動検出することは困難である．本手法ではこの問題を解決するための改良手法として，肌拡大画像を三値以上の画素値に変換した上で毛穴や皮溝を抽出する手法を提案する．
キーワード 肌拡大写真データベース，肌微細構造特徴量，コンピュータグラフィックス

1. 概要法では，肌拡大写真を二値化してできる白黒画像にテンプレートマッチングを適用し，毛穴と皮溝を抽出する．そして，毛穴肌の質感印象と肌の表面形状の関係性を調べることはメーの抽出結果から毛穴半径のヒストグラムを生成し，皮溝の抽出キャップ化粧品の効果を知る上でとても重要とされている．そ結果から皮溝方向のヒストグラムを生成する．これらのヒスト

こで我々は，コンピュータグラフィクス（CG）を用いて微細形グラムから特徴量ベクトルを生成し，これをデータベース化し状を考慮した肌を生成し，肌の微細構造の違いによる肌質感変て分析することで，肌状態をより適切に診断できると考えられ化のシミュレーションシステムの開発に取り組んでいる [1], [2]．

る．また，実写画像から抽出したこれらの特徴量を参照するこ

このシステムでは肌の微細構造を測定し，それと同様の微細構とで，CG による肌微細形状生成の品質の向上も期待できる．

造を持つ肌の CG 画像を生成するものである．あえて実写画像

しかし著者らの実験により，白黒二値化画像では的確に毛穴ではなく CG を採用することで，肌微細構造の生成のためのや皮溝を抽出できない事例が見つかっている．例えばシミや毛入力パラメータの操作によって多彩な肌状態を自在に再現できが混じっている画像において，白黒二値化のための適切な閾値る．また，全く同一の肌微細構造を異なる顔形状に貼り付けたを自動検出することは困難である．本手法ではこの問題を解決

り，視点設定や光源設定を変えるなどして，印象評価用の画像するための改良手法として，肌拡大画像を三値以上の画素値にをさらに自在に生成できる．このように CG 画像の採用によっ変換した上で毛穴や皮溝を抽出する手法を提案する．て，さらに多彩な肌の印象評価が可能になると考えられる．
肌微細構造を CG で再現する手法の例として，いくつかの角

2. 肌微細構造の認識と生成度から撮影された高精細画像を用いる Ghosh らの手法 [3] が知我々は肌状態を拡大写真から認識し，その肌状態を CG で再られている．また，この微細構造を変化させる Nagano らの手現するための研究に長く従事している．本章では肌微細構造に法 [4] などが挙げられる．しかしこれらの手法は，表面形状の関する前提知識と，我々自身による研究の全体像を紹介する．

み着目し肌微細構造を再現しているため，肌の微細構造を作り2. 1 肌微細構造に関する前提知識出す要素を考慮していない．これに対して我々の手法は，ビデ肌の表面は平たんではなく，図 1 に示すような規則的な隆起オマイクロスコープで撮影した 1 枚だけの画像から，肌微細構が存在する．肌構造は，網目を形成している溝部分とそれに囲造を構成する各種要素を推定して肌を再現する．また特徴量をまれた丘の部分，および毛孔（毛穴）で形成されている．溝の分析することにより様々な肌状態の特徴をヒストグラムなどで部分を皮溝，丘の部分を皮丘と呼び，これらを総称してキメと表示することができる．

呼ぶ．体の肌において皮丘は四角形を構成することが多いのにまた著者らは，肌状態を診断する手段として，肌微細構造をとらえる拡大写真をマイクロスコープカメラで撮影し，その写真群をデータベース化している．また著者らは，肌の状態をコンピュータグラフィックスで再現するために，肌状態からその微細構造特徴量を抽出する手法を提案している [1], [2]．この手対して，顔では三角形を構成することが多い．

3. 肌微細構造の特徴量推定
3. 1 テンプレートマッチングによる毛穴と皮溝の検出
本手法では特殊なカメラを用いて撮影した肌の拡大画像が入力されることを前提とする．この入力画像に対してまず，白黒二値化処理を適用する．各座標における RGB 値の総和が定め
図 1 肌表面の微細構造 (文献 [5] より転載)た閾値より小さい場合は黒画素に，さもなければ白画素に変換する．二値化後の白黒画像に対して円形の黒領域を検出し，これを毛穴とみなす．同様に，黒画像に対して線形の黒領域を2. 2 研究の全体像
我々自身による肌微細構造の認識と生成に関する研究 [1], [2]について，全体の処理手順を図 2 に示す．

検出し，これを皮溝とみなす．これらの検出にはテンプレートマッチングに類似した方法を採用している．毛穴の検出には図3(左) に示すように，円形の黒領域をテンプレートとして，円形の黒領域を探索する．皮溝の検出には図 3(右) に示すように，線分状の黒領域をテンプレートとして，線分状の黒領域を探索する．

図 2 研究の処理手順

図3

テンプレートマッチングによる毛穴と皮溝の検出

この図に示す処理手順のうち，「肌微細構造の特徴量推定」で以上の処理により，各毛穴の中心座標，直径，各皮溝の角度

肌表面の微細構造に関する特徴量を取得する．2. 1 節で紹介し別皮溝数を記録する．続いて，検出された毛穴と皮溝のパラた肌微細構造の構成要素のうち，肌のキメの形を決定する毛穴メータをヒストグラム化する．現時点の実装でヒストグラムをと皮溝を認識し，その特徴量を算出する．詳細は 3. 1 節で解説

生成している特徴量を表 1 に示す．

する．
表1

続いてその特徴量などを用いて，処理手順のうち「CG による肌微細構造生成」で肌状態を模倣する CG 画像を生成する．

半径 (7 から 21 段階)

皮溝

角度 (15 段階)，幅 (20 段階)

この処理では入力された特徴量に即したパターンを生成し，生成されたパターンを分割することで細かいポリゴンを生成する．
現在の実装では，パターンを構成する毛穴を生成する際に，毛穴半径ヒストグラムに応じた確率で各毛穴の半径を割り当てる．
また皮溝を生成する際には，皮溝の角度が皮溝角度ヒストグラ
ムに応じた確率となるように生成し，さらに皮溝幅ヒストグラ
ムに応じた確率で各皮溝の幅を割り当てる．
「顔三次元形状マッピング」とは前処理で生成した肌微細形状と，顔全体を表現する 3 次元形状を入力とし，肌微細形状の各頂点を顔 3 次元形状にマッピングする処理を指す．この処理

ヒストグラムとして抽出する特徴量毛穴

肌微細構造を構成する各々の毛穴や皮溝を CG で生成する際には，上記のヒストグラムの各区間の出現頻度に比例した確率でその毛穴半径や皮溝角度を割り当てることとする．以上の方法により，毛穴半径や皮溝方向のばらつきを CG 画像に反映できる．

3. 2 既存手法による検出結果の例
肌接写画像から特徴量を抽出しヒストグラムを生成した例を
図 4〜7 に示す．

は顔 3 次元形状に対して精細な変位マッピングを施すことに相当する．
次章では以上の処理のうち，肌微細構造の特徴量推定に関する既存手法と改良手法について論じる．

図 6 皮丘が均等な三角形を構成する肌図 4 毛穴の数が少なく，キメが細かい肌

図5

大きい毛穴が目立つ肌

図 8 肌のパラメータ推定例
順に入力画像（右上），二値化処理画像（左上），毛穴，皮溝推定後の入力画像（右下），毛穴，皮溝推定後の二値化画像（左下）を算出としているが，三値化処理した場合には不純物に対応する画素を除外してから黒画素比率を算出する．
図 7 皮溝が一方向に流れている肌

不純物の判定には，RGB 値の総和と閾値との大小判定を用いている．しかし現状の実装では，各画像において閾値を手動

図 4,5 は毛穴の半径を 21 段階にわけ，特徴量となるヒストグ調節する必要がある．そこで今後の課題として，適切な閾値をラムを示したものである．入力する肌接写画像から読み取れる自動設定する方法を確立したい．また，シミなどの不純物はほ半径の違いが，ヒストグラム上に反映されていることがわかる．

ぼ毛穴と同じ色の値を示すことがあるため，三値化処理をもっ

図 6,7 は皮溝の角度を 15 段階に分け，特徴量となるヒストてしてもうまく分離できない．そこで他の分離方法を模索中でグラムを示したものである．皮溝の角度に関するヒストグラムある．

が多峰性であれば，キメの細やかな綺麗な肌であることが多い．
このように，肌画像の持つ特徴に沿ったヒストグラムが生成されることがわかる．このように肌画像から計算されるヒストグラムを用いることで，肌の特徴を分類できる．
しかし，いくつかの肌画像において，的確なヒストグラムを生成できなかった．原因を調べたところ，図 8 のように毛が写っている画像において，適切なヒストグラムを生成できてないことがわかった．
図 9 三値化処理のイメージ図

著者らの実装では毛穴・皮溝は黒画素で表現され，皮丘は白画素で表現される．しかし毛が写っているときには，毛に対応する画素が黒画像と識別された際には，テンプレートマッチン三値化処理をした画像を図 10 に示す．本研究では特に頬のグの結果として皮溝や毛穴の一部であると判定されてしまう．

拡大写真をよく用いているが，頬のように丸みを帯びた部位のこの問題を解決するために我々は，二値化ではなく三値化を試

写真において画像両端などにノイズがみられるので，その対策みることにした．

も必要である．

3. 3 三値化処理
本報告では，二値化画像ではなく三値化画像を採用することで，毛などの不純物をテンプレートマッチングにおける毛穴，皮溝の判定から除外する手法を提案する．本手法では，皮丘の色，毛穴や皮三溝の色，毛などの不純物，の三者のいずれかの値を各画素の画素値とする．現状の実装では毛穴と皮溝の判定のために，テンプレートマッチングにおいて図形の黒画素比率

4. 実 行 結 果
本章では従来手法（二値化画像からの毛穴・皮溝の抽出）と本手法（三値化画像からの毛穴・皮溝の抽出）を比較する．
表 2,3 は，毛穴半径と皮溝方向について従来手法と本手法を比較するものである．
表 2 より，毛穴半径には大きな差異は見られなかった．しか図 10 三値化処理後の結果
表278

半径別毛穴生成割合（％）

図 12 本手法における CG 肌微細構造生成結果

10 11 12 13 14 15 16 17 18 19 20 21 以降

9

従来手法 39.6 24.8 11.4 6.7 3.4 6.7 1.3 1.3 1.3 1.3 0.0 2.0 0.0 0.00.0

本手法

0.039.6 24.8 11.4 6.7 3.4 6.7 1.3 1.3 1.3 1.3 0.0 2.0 0.0 0.001

表3

角度別皮溝生成割合（％）

24356789

10 11 12 13

5. まとめと今後の課題
本報告では肌微細構造特徴量の実写画像からの抽出に関する1415一改良を提案した．具体的には肌微細構造から毛穴と皮溝の特従来手法 40.8 5.7 2.4 1.8 0.4 2.1 2.4 7.8 7.5 3.8 4.7 4.9 1.0 4.0 10.9 0.0

徴量を取得する際に，適切な特徴量ヒストグラムが生成されな本手法

い例をあげた．その原因として，実写画像を二値化した際に，42.3 6.2 3.0 2.1 0.4 1.7 2.2 7.5 5.8 2.9 3.4 4.2 1.2 3.7 13.6 0.0

毛などの不純物に対応する画素が黒画素に変換され，毛穴や皮し図 8 から明らかに，二値化処理によって毛が毛穴の一部と判定されている部位が存在する．その結果と大差ない結果が本手法でも生じているということは，言い換えれば三値化処理の精度はまだ十分ではなく，その改善は今後の課題となる．
表 3 より，皮溝方向には多少の差異が見られた．ここで図11,12 にこのヒストグラムを用いて CG で肌微細構造を生成した結果を示す．図 11,12 を目視で比較した限りでは，生成結果の間に大きな差異は確認できなかった．

溝の一部として認識されてしまう事例があることを紹介した．
本報告ではその改良手段として，三値化画像を生成し，毛などの不純物を白画素でも黒画素でもない画素に変換する手法を提案した．
今後の課題として以下の点があげられる．

•三値化処理の精度の向上•

他の手法の併用による不純物分離

これらの課題について解決した上で，さらに多数の肌画像などに本手法を適用し検証したい．また，以下の点について今後も検証を続け，肌画像群の分類や特徴量取得の指標としたい．

•特徴量ヒストグラムと肌特徴の関連づけ•

複数の実写画像から得られたヒストグラムの差異と，それらに対応する CG 生成結果の視覚的差異との差についての検証

文

図 11 従来手法における CG 肌微細構造生成結果

献[1] F. Banba, T. Itoh, M. Inomata, M. Kurokawa, N. Toyoda,
H. Otaka, H. Sasamoto，Micro-Geometric Skin Simulation
for Face Impression Analysis, 芸術科学会論文誌, Vol. 13, No.
1, pp. 11-20, 2014.
[2] 古川, 伊藤, 豊田, 小田, 肌接写画像から抽出した特徴量ヒストグ
ラムに基づく肌微細構造の CG 表現, 情報処理学会第 78 回全国大会, 4W-07, 2016.
[3] A. Ghosh, G. Fyﬀe, B. Tunwattanapong, J. Busch, X. Yu,
P. Debevec, Multiview Face Capture using Polarized Spherical Gradient Illumination, ACM Transactions on Graphics(Proceedings of SIGGRAPH ASIA), Vol. 30, No. 6, p. 129,
2011.
[4] K. Nagano, G. Fyﬀe, O. Alexander, et al., Skin Microstructure Deformation with Displacement Map Convolution,

ACM Transactions on Graphics, Vol. 34, No. 4, 2015.
[5] http://www.menard.co.jp/beauty/word/detail 1001080.html