WISS 2019

パーツごとの肌状態を考慮した肌微細構造の画像計測と CG 表現
安江 志織 ∗

伊藤 貴之 ∗

スリニバーサ ナラシンハン †豊田 成人 ‡

概要. 我々はマイクロスコープカメラで撮影した肌画像から皮溝・皮丘・毛穴などの肌微細構造を認識しCG で表現する研究に取り組んでいる．旧来の実装ではポリゴン生成の所要時間とデータ量が大きいことが問題となっていた．また，頬を撮影した画像だけを参照して肌微細構造モデルを生成していたため，顔のパーツごとによる肌状態の違いに起因する混合肌などの状況を表現できていなかった．そこで我々は，微細形状をポリゴンではなく変位マップで表現する実装を開発した．さらに，顔を構成する 22 か所（撮影点と呼ぶ）における肌画像を撮影して肌微細構造の特徴量を推定し，撮影点周辺の微細構造を補間する手法を開発した．本報告では肌微細構造の画像計測および CG 表現の処理手順と実行例を示す．

1

はじめにマイクロスコープ撮影技術の低価格化により，肌状態の診断に特化したカメラが商品化されるようになった．これにより例えば，化粧品店や薬局のカウンターなどで，対話的な肌状態の分析・診断を導入することが容易になった．
肌の微細形状を精密に測定して CG で精密に再現する研究が近年いくつか発表されている [1]．それに対して我々は，多様な肌状態に対応する肌微細構造を自在に表現したいという考えから，3 次元モデリング技術を用いて肌状態に応じた微細構造を表現し，肌質感の変化をシミュレートする研究に取り組んできた [2]．この研究では，マイクロスコープカメ
ラで頬を撮影し得た 1 枚の拡大画像から，毛穴・皮溝・皮丘といった微細構造を認識し各種特徴量を抽出した後，肌微細構造の 3 次元形状モデルのサンプルを生成する．この特徴量を調節することによって，多様な肌状態の表現が可能であり，また，肌微細構造をポリゴンで表現し 3 次元の顔モデルに貼り付けることによって，顔の微細な形状を表現している．
しかし我々の実装では顔全体の微細構造を表現するためのポリゴン数は約 850 万個におよび，これをファイル出力すると 1GB 以上となる．さらにポリゴンの生成と貼り付けに汎用 PC で 1 時間以上を要し，ファイルの入出力にも大きな時間を要していた．
そこで，店頭等での実用化を目指すためにはデータ量の削減と処理の高速化を図る必要があった．
また，整った肌や荒れた肌では肌微細構造に明確な特徴があるが，その中間的存在である乾燥肌や，乾燥と脂っぽさがある混合肌では肌微細構造の特徴が多様であり，さらに部位によってこれらの特徴も変化する．そこで我々は混合肌の再現や，部位ごと
Copyright is held by the author(s).
お茶の水女子大学†
カーネギーメロン大学‡
資生堂グローバルイノベーションセンター∗の特徴の再現を目指した．
本研究ではまず顔を 11 のパーツに分割し，合計22 点を撮影して肌微細構造の特徴量を推定し，撮影点の特徴量をもとに周辺の微細構造を補間することで，パーツごとの肌状態の違いの表現を試みた．
さらに我々は，肌微細形状の表現にポリゴンを用いる代わりに，変位マッピングという CG 技術を利用して微細形状の凹凸を表現する実装を開発した．レンダリングはシェーダー言語 GLSL による独自実装と，汎用 CG ソフトウェア Houdini 1 で実施した．

22.1

処理手順
肌画像撮影

まず顔を図 1 のように 11 のパーツに分割した後，青点のように撮影点を割り振り，合計 22 か所を撮影する．撮影には，肌や頭皮のカウンセリング用に開発されたマイクロスコープカメラ（MORITEX社 i-SCOPE USB2.0 2 ）に 50xPL レンズを装着したものを使用した．このカメラは，反射あり・なしモードを選択して撮影できるようになっているが，本研究では，皮丘と皮溝の差がより明確になる反射ありモードで撮影した画像を使用した．

2.2

肌画像からの肌微細構造の特徴量推定

次に，撮影した画像から毛穴・皮溝の特徴量を推定する．この推定には我々による既存研究 [2] を適用する．まず入力画像に白黒二値化処理を適用する．続いて，この白黒画像に対し，円形領域をテンプレー
トとして画像内の黒領域を探索，抽出された円形の黒領域を本手法では毛穴とみなす．また，毛穴以外の画素において細く伸びる黒領域を検出し，これを1

Houdini, https://www.sidefx.com/ja/．参照: 20198-1
2i-SCOPE USB2.0, https://www.moritex.co.jp/products/cosmetic/i-scope.php．参照: 2019-8-1．

WISS 2019

トにアーティファクトがみられたが，本手法ではそれが解消された自然な描画結果となっており，微細形状の細かな凹凸によって生成される肌独自の光反射と艶が表現できていることがわかる．拡大描画結果においても，皮丘の凸部と毛穴・皮溝の凹部が滑らかに表現できた．また Houdini では，人間の肌特有の光反射である表面下散乱を再現し，より実際の肌に近い質感を表現できた．
図 1. 分割した 11 のパーツ (緑枠内) と撮影点 (青)．

皮溝とみなす．この処理を 22 枚の画像について適用し，各々の画像に対応した 22 個のヒストグラムを生成する．

2.3

3.2

本実装での計算時間

従来手法 [2] は顔全体のモデル生成および描画に約 80 分かかっていたのに対し，本実装では顔全体を覆う 5200 × 4000 の変位マップ生成に 12 分弱，CPU による顔モデルと変位マップの読み込み，さらに GPU の処理に約 3 秒となった．

CG 生成のためのパターン生成

次に肌微細構造のパターンを生成する．ここでいうパターンとは，毛穴・皮溝・皮丘の配置と接続構造のことである．この処理ではまず多数の毛穴を生成し，続いて毛穴を接続する三角メッシュを生成し，三角形辺を皮溝，三角形領域を皮丘とする．
なおパターン生成の過程において，図 1 に示した
22 か所の撮影点の撮影点の中間に位置する部位では，同じパーツ内の撮影点における特徴量からの補間によって特徴量を算出する．現時点では撮影点からの距離で重み付けをした加重平均でヒストグラムを補間している．

2.4

CG 生成のための変位マップ生成

パターンを生成したのちに本手法では，ポリゴンの代わりにこのパターンを格子で覆い，各格子点での高さ（または深さ）を計算する．この格子をグレースケール画像に変換し，格子点の高さを画素値とすることで，変位マップを生成する．

2.5

変位マッピングによる描画

生成した変位マップを用いて，顔の 3D モデル上で微細構造を表現する．我々は，シェーダー言語 GLSLを適用したシェーダープログラミングによる独自実装での高速描画と，汎用 CG ソフトウェアであるHoudini を用いた高品質描画を試みた．

33.1

実行例
従来手法との比較前章で示した処理手順によって肌の微細構造を表現した結果とポリゴンを生成する従来手法 [2] との比較を図 2 に示す．従来の描画結果では毛穴の輪郭や皮溝が不自然に目立っていたが，変位マッピングを使用した本手法ではそれに比べて自然な凹凸を再現できた．また図 2 上段に示す顔全体の描画結果にて，ポリゴンを生成する従来手法では顔のハイライ

図 2. 先行研究 [2] と本手法の描画結果比較．
（上段）顔全体．
（下段）拡大．
（左）先行研究．
（中）GLSL を用いた独自実装．
（右）Houdini．

4

まとめ

本報告では，マイクロスコープカメラで撮影した各パーツの肌画像から微細構造の特徴量を推定する
ことで顔のパーツごとの肌状態を計測し，変位マッピングを適用した 2 種類の実装による CG 表現を試みた結果を示した．今後は，撮影画像からの高さ・深さ情報の推定に取り組み，微細構造が壊れている肌や皮溝が消失した肌に対しても，より忠実にパターンを生成するように改良を重ねたい．

参考文献[1] K. Nagano et al. Skin Microstructure Deformation with Displacement Map Convolution, ACM
Transactions on Graphics, 34(4), 109, 2015.
[2] F. Banba et al. Micro-Geometric Skin Simulation
for Face Impression Analysis, 芸術科学会論文誌,
13(1), 11-20, 2014.