パーツごとの肌状態を考慮した肌微細構造の画像計測と CG 表現
理学専攻情報科学コース

1840672

はじめに

1処理手順

2.1

肌画像撮影

2.3

CG 生成のためのパターン生成

次に肌微細構造のパターンを生成する．ここでいうパターンとは毛穴・皮溝・皮丘の配置と接続構造のことであり，この生成も 2.2 節と同様に既存研究 [2] を適用する．この手法では，毛穴の深さや皮溝の角度，皮丘の大きさなどをパラメータとして，パターンを生成している．パラメータの各値は 2.2 節で生成したヒストグラムから参照している．
なおパターン生成の過程において，22 か所の撮影点の中間に位置する部位では，同じパーツ内の撮影点における特徴量からの補間によって特徴量を算出する．
現時点では逆距離加重法を用いて補間している．

まず顔を図 1 のように，額・右目・左目・鼻・右内頬・左内頬・右外頬・左外頬・鼻下・口・顎の 11 のパーツに分割する．そして青点のように撮影点を割り振り，合計 22 か所を撮影する．

2.4

CG 生成のための変位マップ生成

2.3 節の方法でパターンを生成したのちに，本手法では，ポリゴンを生成する代わりに，このパターンを格子で覆い，各格子点での高さ（または深さ）を計算する．この格子をグレースケール画像に変換し，格子点の高さを画素値とすることで，変位マップを生成する．
2.5

変位マッピングによる描画

生成した変位マップを用いて，顔の 3D モデル上で微細構造を表現する．我々は，シェーダー言語 GLSL を適用したシェーダープログラミングによる独自実装での高速描画と，汎用 CG ソフトウェアである Houdini1を用いた高品質描画を試みた．
GLSL による独自実装では，対象オブジェクトのメッシュを細かく分割するテッセレーションを事前制御している．我々の実装では，顔全体を見られる遠距離に視点

図 1: 分割した 11 のパーツ (緑枠内) と撮影点 (青)．

2.2

(指導教員：伊藤 貴之)

力画像に白黒二値化処理を適用する．現時点で閾値は，拡大画像に合わせて我々の経験に基づき手動で設定しているが，今後は多数の肌画像から肌状態をデータ化し機械学習を導入することで自動的に設定できるようにしたい．続いて，二値化処理を適用した白黒画像に対し，円形領域をテンプレートとして画像内の黒領域を探索する．この処理によって抽出された円形の黒領域を本手法では毛穴とみなす．また，毛穴以外の画素において細く伸びる黒領域を検出し，これを皮溝とみなす．ここでは 16 方向の黒い線分のいずれかを引いた円をテンプレートとして探索しており，毛穴・皮溝検出に用いるテンプレートのサイズは事前に設定している．
また，毛穴，皮溝として認識された箇所の輝度値を算出する．輝度値計算には肌拡大画像をコントラスト制限付き適応ヒストグラム平坦化 (CLAHE : Contrast
limited adaptive histogram equalization) した画像を使用した．この処理により得られた輝度値を毛穴，皮溝の深さとみなす．以上の処理により，各毛穴の直径・深さ，各皮溝の角度・太さ・深さ，皮丘の平均面積を算出しヒストグラムに記録する．この処理を 22 枚の画像について適用し，各々の画像に対応した 22 個のヒストグラムを生成する．

化粧品業界では店頭などのカウンターで，カメラや専用機で撮影した拡大画像をもとにした肌状態の分析・診断が広く実施されている．また，得られた拡大画像から肌のキメなどの微細構造を CG で表現する手法 [1]が研究されている．
我々は，多様な肌状態に応じた微細構造を画像に依存せず自在に表現したいという考えから，3 次元モデリング技術を用いて肌状態に応じた微細構造を表現し，肌質感の変化をシミュレートする研究に取り組んできた [2]．この研究では，マイクロスコープカメラで撮影した拡大画像から，毛穴・皮溝・皮丘といった微細構造を認識し各種特徴量を抽出した後，肌微細構造の 3次元形状モデルを生成している．この特徴量を調節することによって，多様な肌状態・質感の表現が可能になる．また，肌の微細構造をポリゴンモデルで表現し，3D の顔モデルに貼り付けることによって，顔の微細な凹凸を表現している．
しかし我々の実装では，顔全体の微細構造を表現するためのポリゴン数は約 850 万個におよび，データ量で表すと 2GB 弱にあたる．またポリゴンの生成と貼り付けに 1 時間以上かかり，ファイルの入出力にも時間がかかることから，店頭での実用化を目指す上でデータ量の削減と処理の高速化を図る必要があると考えた．
また従来の実験では頬の画像を参照して顔全体の微細構造モデルを生成していたため，顔のパーツごとの肌状態の違いを表現できていなかった．そこで本研究では顔の 22 点を撮影して微細構造の特徴量を推定し，周辺の特徴量を補間することでパーツごとの肌状態の違いの表現を試みた．さらに我々は変位マッピングを利用して凹凸を表現する実装を開発した．

2

安江 志織

肌画像からの肌微細構造の特徴量推定

次に，撮影した画像から毛穴・皮溝の特徴量を推定する．この推定には既存研究 [2] を適用する．まず入1 Houdini, https://www.sidefx.com/ja/．参照: 2020-1-11

があるときには粗く，微細構造を認識できる近距離に視点があるときには細かく分割するように，我々の経験に基づいて表 1 に示すようにテッセレーションの解像度2 を顔中心から視点までの距離 df ace から導出した．
ここで，経験的に df 1 = 0.18wf ace , df 2 = 0.27wf aceとした．また，wf ace は顔形状モデルの左右方向の幅である．

表 2: 従来手法の計算時間 (秒)肌の生成 顔モデルへの貼り付け
合計

4809.0解像度

4535707.04

実行例

3.1

従来手法との描画比較

12

前章で示した処理手順によって肌の微細構造を表現した結果とポリゴンを生成する従来手法 [2] との比較を
図 2 に示す．従来の描画結果では毛穴の輪郭や皮溝が不自然に目立っていたが，変位マッピングを使用した本手法ではそれに比べて自然な凹凸を再現できた．また図 2 上段に示す顔全体の描画結果にて，ポリゴンを生成する従来手法では顔のハイライトにアーティファクトがみられたが，本手法ではそれが解消された自然な描画結果となっており，微細形状の細かな凹凸によって生成される肌独自の光反射と艶が表現できていることがわかる．拡大描画結果においても，皮丘の凸部と毛穴・皮溝の凹部が滑らかに表現できた．また Houdiniの Skin Shader を使用することで，人間の肌特有の光反射である表面下散乱を再現し，より実際の肌に近い質感を表現できた．

3.2

710.29計算時間

従来手法 [2] および GLSL による独自実装における顔全体描画の計算時間をまとめた結果を表 2,3 に示す．
ここで表 2 における「肌の生成」は，パターンからポリゴンを生成する処理に相当する．また，表 3 における「マップ生成」は顔全体を覆う 5200 × 4000 の変位マップ生成に要した時間であり，「レンダリング」はCPU による顔モデルと変位マップの読み込み，GPUの処理全体を含む．従来は顔全体のモデル生成および描画に約 80 分かかっていたのに対し，本実装では変位マップ生成に 12 分弱，レンダリングに約 3 秒となった．

43.25

Houdini を用いた 2 通りの CG 表現を試みた結果，パーツごとに特徴量を設定することで肌状態の違いを表現できるようになった．また，独自実装においては従来手法と比較し計算時間が約 1/7 となり，描画所要時間を 3 秒程度に抑えることができた．また，2 通りのレンダリングによって従来手法 [2] よりも自然な描画結果が得られた上に，Houdini ではより現実の肌に近い質感を表現できた．
今後の課題として，まず皮丘の高さの推定に取り組みたい．また，微細構造の認識やパターン生成が難しい肌（キメが壊れている肌，皮溝が消失した肌など）を忠実に表現できるように改良を重ねたい．さらに，現状の実装では一部手動となっている特徴量推定のパラメータ制御を全自動化したい．また新しい実験として，幅広い年代の女性の肌データを集め，エイジングの進行とそれに伴う肌微細構造の変化を調査したい．
さらに，スキンケアによる水分調整の前後における肌微細構造の変化を数値評価したい．
謝辞： 本研究にあたり画像計測についてご指導頂いた Srinivasa 教授と肌に関する知識を提供頂いた豊田様に感謝の意を表する．

Houdini を使用したレンダリングでは，変位マッピ
ングと並行して，肌の高品質な表現のために搭載されている Skin Shader を使用し，表面下散乱の導入を試みた．テッセレーションに関しては，1 画素あたり 1ポリゴンになるように分割パラメータを自動調整した．

34834.4

表 3: 本実装での計算時間 (秒)マップ生成 レンダリング
合計

表 1: テッセレーションの解像度
df ace ≤ df 1 df 1 < df ace ≤ df 2 df 2 < df ace

距離125.4

図 2: 先行研究 [2] と本手法の比較．
（左）先行研究による描画．
（中）独自実装による描画．
（右）Houdini による描画．

まとめ参考文献

我々は肌微細構造の画像計測と CG 表現の研究の一環として，顔の各パーツを撮影した計 22 枚の画像から微細構造の特徴量を推定することで，パーツごとの肌状態の計測と表現を試みた．また CG 表現の実装
において，ポリゴンの代わりに変位マッピングを適用し，GLSL による独自実装と，汎用 CG ソフトウェア
2 GLSLの グ ロ ー バ ル 変 数
gl TessLevelOuter に代入する値．

[1] R. Vanderfeesten, J. Bikker, Example-Based Skin
Wrinkle Displacement Maps, The 31st Conference on Graphics, Patterns and Images, 2018.
[2] F. Banba, T. Itoh, M. Inomata, M. Kurokawa,N. Toyoda, H. Otaka, H. Sasamoto, MicroGeometric Skin Simulation for Face Impression
Analysis, 芸術科学会論文誌, 13(1), 11-20, 2014.

gl TessLevelInner,2