DEIM Forum 2019 E8-1

パーツごとの肌状態を考慮した肌微細構造の画像計測と高速 CG 表現
安江 志織†

伊藤 貴之†

Srinivasa Narasimhan‡

豊田 成人§†お茶の水女子大学 〒112-8610 東京都文京区大塚 2-1-1‡Carnegie Mellon University 5000 Forbes Avenue Pittsburgh, PA 15213§資生堂グローバルイノベーションセンター 〒224-8558 神奈川県横浜市都筑区早渕 2-2-1
E-mail: †{yasue.shiori, itot}@is.ocha.ac.jp, ‡srinivas@andrew.cmu.edu, §naruhito.toyoda@to.shiseido.co.jp
あらまし

我々は皮溝・皮丘・毛穴などの肌微細構造を CG で表現する研究に取り組んでいる．旧来の実装ではポリゴンとして生成し表示してきたが，ポリゴン生成の所要時間とデータ量が大きいことが問題となっていた．また，頬を撮影した画像をもとにキメモデルを生成していたため，混合肌等の顔のパーツごとによる肌状態の違いを表現できていなかった．そこで本研究では，まず肌微細構造の特徴を反映した変位マッピングを生成し，これを用いたシェーダープログラミングにより肌微細構造を高速表示することを試みた．さらに，顔を構成する 22 か所（撮影点と呼ぶ）における肌画像を撮影して肌微細構造の特徴量を計測し，撮影点周辺の微細構造を補間する手法を開発した．また，多数の被験者の肌画像を集めてその特徴量をデータベース化することで，肌状態の傾向を分析することができる．本報告では，肌微細構造の画像計測および高速 CG 表示の処理手順と実行例を示し，今後の展望を議論する．
キーワード 肌微細構造，画像計測，変位マッピング，ポリゴン，GPU

1. は じ め に
化粧品業界では店頭などのカウンターで，カメラや専用機で撮影した拡大画像をもとにした肌状態の分析・診断が広く実施されている．また，得られた拡大画像から肌のキメなどの微細構造を CG で表現する手法 [1] が 研 究されている．

での実用化を目指す上でデータ量の削減と処理の高速化を図る必要があると考えた．さらに，顔のパーツごとの肌状態の違いを表現すべきであると考えた．これは「頬は乾燥するが額は脂っぽい」というような混合肌の顔を表現するには必要不可欠な課題である．
そこで本研究では，まず顔を 11 のパーツに分割し，各我々は，多様な肌状態に応じた微細構造を画像に依パーツにおいて合計で 22 点を撮影して肌微細構造の特存せず自在に表現したいという考えから，3 次元モデ徴量を計測し，撮影点の特徴量をもとに周辺の微細構造リング技術を用いて肌状態に応じた微細構造を表現し，を補間することで，パーツごとの肌状態の違いの表現を肌質感の変化をシミュレートする研究に取り組んできた

試みた．これらの特徴量は肌の CG 表現のために用いる[2]．この研究では，マイクロスコープカメラで頬を撮影しだけでなく，肌状態の傾向を分析するためのデータベー得た 1 枚の拡大画像から，毛穴・皮溝・皮丘といった微細ス構築の材料として活用することもできる．さらに本研

構造を認識し各種特徴量を抽出した後，肌微細構造の 3 次

究では，高速化のためにポリゴンを廃止し，新たに変位元形状モデルを生成している．この特徴量を調節するマッピングという CG 技 術 を 利 用 して微細形状の凹凸をことによって，多様な肌状態・質感の表現が可能になる．

表現した．本報告ではこれらの処理手順・実行例・処理

肌の微細構造をポリゴンモデルで表現し，3 次元の 顔モデ速度について示す．

ルに貼り付けるこ とによって，顔の微細な凹 凸を表現している．
しかし我々の実装では，顔全体の微細構造を表現す
るた めの ポ リゴ ン 数は 約 850 万 個 に お よ び ， デ ー タ 量

2. 研 究 環 境2.1. マイクロスコープカメラ
肌の拡大画像撮影には「マイクロスコープカメラ」

で表すと 2GB 弱にあたる．またポリゴンの生成と貼り付けと呼ばれる専用の撮影機がしばしば用いられる．本研に 1 時間以上かかり，ファイ ルの入出力 にも時間がかか

究では，肌や頭皮のカウンセリング用に開発されたっていた．また，頬を撮影した画像をもとにキメモデル

MORITEX 社 の i-SCOPE® USB2.0[3]に 50xPL レ ン ズ をを生成しているため，全顔でキメモデルが統一され全パ装着したものを使用して肌画像を撮影した．撮影範囲

ーツが頬の肌状態として表現されていた．そこで，店頭は 横 5.55mm， 縦 4.44mm， 対 角 7.11mm で あ る ．

2.2. 変位マッピング
近 年 の CG 技 術 で は 繊 細 か つ 高 速 な 物 体 表 現 の た めに GPU (Graphics Processing Unit) を 活 用 で きる手法を採用することが多い．本研究では微細形状の表現に有効 な 「 変 位 マ ッ ピ ン グ 」 と い う 手 法 を 適 用 し ， GPU を活用して高速処理する．変位マッピングとは，物体表処理によって生成したヒストグラムから算出している．
図 3 にその原理を示す．図 3 に示すように，この処理ではまず多数の毛穴を生成し，続いて毛穴を接続する
三角メッシュを生成し，三角形辺を皮溝，三角形領域を皮丘とする．

3.4. 補間面 を 変 位 さ せ て 微 細 な 凹 凸 をつける手法である．高さ情報

3.3 節 で 説 明 し た 特 徴 量 は ，図 1 に 示 し た 22 か 所 のに対応したグレースケール の 画 像 (変位マップ) を参照す

撮影点における特徴量として産出される．これらの撮ることで，物体表面の頂点を変位さ せる．物体 表面を細影点の中間に位置する部位では，同じパーツ内の撮影かいメッシ ュに分割する「テッセレーション」と呼ばれ点における特徴量から補間することによって特徴量をる処理を施すことで，微細な凹凸の表現も可能である．

算出している．適用可能な補間方法には逆距離加重法

この処理には大きな 計 算 時 間 が 必 要 で あ る こ と か ら ，や ス プ ラ イ ン 補 間 な ど が あ げ ら れ る [4]が ，現 時 点 で は ，GPU が 活 用 さ れ る こ と が 多 い ．

撮影点からの距離に重み付けをした加重平均を使用してヒストグラム値を補間する．

3. 処 理 手 順
本研究では，変位マッピングを採用したシェーダープログ
ラミングによって 微 細 構 造 の 凹 凸を 表 現 す る． そ し て，ポ リ ゴ ン を 採 用 し た 従 来 手 法 [2]と 比 較 し て ， ど ち ら が肌微細構造の表現に適しているかを検証する．本章では 変位マッピングを採用した新しい処 理手 順を 示す ．

3.1. 肌画像撮影
まず顔を図 1 のように，額・右目・左目・鼻・右内頬・左 内 頬・右 外 頬・左 外 頬・鼻 下・口・顎 の 11 の パ

図 1:分 割 し た 11 の パ ー ツ (緑 枠 内 )と 撮 影 点 (青 )ーツに分割する．そして図 1 の青点のように撮影点を割 り 振 り ， 合 計 22 か 所 を 撮 影 す る ．

3.2. 肌微細構造の特徴量推定
次に，撮影した画像から毛穴・皮溝の特徴量を推定
す る ． こ の 推 定 に は 我 々 に よ る 既存研究[2]を適用する．
まず入力画像に白黒二値化処理を適用する．現時点では，二値化のための閾値は我々の経験に基づき手動で設定している．
続
いて，この白黒画像に対し，図 2(左)に示すように，円形領域をテンプレートとして画像内の黒領域を探索する．
この処理によって抽出された円形の黒領域を本手法では毛穴とみなす．
また，図 2(右)に示すように，毛穴以外の画素において細く伸び

図 2:毛 穴 ・ 皮 溝 の 検 出 [2]る黒領域を検出し，これを皮溝とみなす．ここでは 16 方向の黒い線分のいずれかを引いた円をテンプレートとして探索している．以上の処理により，各毛穴の中心座標・直径，各皮溝の中心座標・角度・太さをヒストグラムに記録する．この処理を 22 枚の画像について適用し，各々の画像に対応した 22 個のヒストグラムを生成する．

3.3. パターン生成
次 に 肌 微 細 構 造 の パ タ ー ンを生成する．ここでいうパターンとは毛穴・皮溝・皮丘の配置と接続構造のことであり，この生成も 3.2 節と同様に既存研究[2]を適用する．こ の 手 法 では，毛穴の大きさや皮溝の深さ，皮丘の高さなどをパラメータとして，アルゴリズム的にパターンを生成し

図 3: 肌微 細構 造 の表 現の た めの パタ ー ン生 成[2]3.5. マップ生成
本研究では図 3 に示す方法でパターンを生成したのち，ている．現時点では，これらのパラメータのうち毛穴ポリゴンを生成する代わりにこのパターンを格子で覆半 径 ・ 皮 溝 幅 ・ 皮 溝 角 度 の 各 値 を ， 3.2 節 で 説 明 し たい，各格子点での高さを計算する．この格子点に対応す

る各画素にグ レ ー ス ケ ー ル （ 256 段 階 の 濃 淡 値 ） を 割り当てることで，変位マッピングのためのマップを生成する．

4.2. マップ
キメが整った健康的な肌・乾燥した肌・毛穴が開いた肌の 3
つの肌状態の肌画像をもとに生成したマップを拡大し3.6. テッセレーションたものを図 5 に 示 す ． 健 康 的 な 肌 はキ メに あ たる 三角

本 手 法 で は ， 対 象 オ ブ ジ ェ ク ト の メ ッ シュを細かく形が比較的揃っているのが特徴である．乾燥した肌は分割する「テッセレーション」を実行することで，微細皮 丘 の高 さ が他 の状態よりも低くなるため，マ ッ プ の 明な変位を実現し，詳細 な形状変化を 実現する．本報告で度は他の肌状態と比較するとやや暗くなった．毛穴がは表 1 に 示 す よ う に ，z = 0 を 顔 の 3D モ デ ル の 中 心 位

開いた肌は半径の大きな毛穴が目立ち，皮溝の幅もバ

置 と し た 際 、 顔 全 体 を 見 ら れる 遠 距 離 で は 粗 く ， キ メラバラとなった．

が認識できる近距 離では細か く分割するよ うに，解像度4.3. レンダリングを事前制御した．

顔全体の描画結果と，その各々のキメが見えるまで拡大した描画結果を図 6 に示す．顔全体において，微表 1: テ ッ セ レ ー シ ョ ン の 解 像 度z 座標z≤1212<z≤1818<z

解像度

4535123.7. GPU による描画

細形状の細かな凹凸によって生成される光の反射と艶が表現できており，拡大した場合も皮丘の凸部と毛穴・皮溝の凹部が滑らかに表現できた．
ポ リ ゴ ン を 生 成 す る 従 来 手 法 [2]と 本 報 告 の 結 果 を

本 手 法 で は 肌 微 細 形 状 を GPU のシェーダーに より高比較した結果を図 7 に示す．従来の描画結果では毛穴速描画する．生成 したマップ をもとに顔の 3D モデルにの輪郭や皮溝が不自然に目立っていたが，変位マッピ変位マッピングを施すことで微細な凹凸を表現する．

ングを使用した本報告では自然な凹凸を再現できておRGB 値算出には Blinn-Phong 反射モデルを使用したフォンり，より現実の肌に近い表現となった．

シェーディングを採用している．

4. 結 果以上の処理手順によって肌の微細構造を表現した結 果 を 示 す ．使用した GPU は AMD FirePro D500 である．

4.1. 画像計測
20 代 女 性 17 人 の 肌 画 像 の 分 析 結 果 の 平 均 と ， 健 康的な肌・乾燥した肌・毛穴が開いた肌のサンプル画像を分析した結果を図 4 に示す．本報告では，皮丘平均面積と毛穴平均半径をもとに肌状態を分析し，その相互 関 係 を 散 布 図 で 示 し た ．18 個 の 青 の 点 は ，17 人 の 肌
画像を分析し撮影点ごとに分け平均値をプロットしたも の で あ る ．本 実 験 で は 3 章 で 述 べ た 通 り 22 か 所 に つ

図 4： 撮 影 点 ご と の 肌 状 態 の 違 い を 示 す 散 布 図

いて撮影を実施しているが，このうち額と顎先は皮膚の下の筋肉の影響を受けキメが壊れている人がほとんどであったため，本報告では比較の対象外として，それ 以 外 の 18 か 所 に お け る 特 徴 量 を 図 4 に 示 す ．
ま た 図 4 で は ，17 人 の 被 験 者 の 肌 画 像 の 他 に ，専 門
家が有する 3 人の頬のサンプル肌画像から算出された

4.4. 計算時間
従来手法 [2] および本報告の実装における顔全体描画の計算時間をまとめた結果を表 2,3 に示す．ここで表 2における「肌の生成」は，パターンからポリゴンを生成特徴量も同時に示している．図 4 において，オレンジすることで 2 次 元 平 面 上 に 微 細 構 造 を 生 成 す る 処 理 にの 点 は 「 健 康 的 な 肌 」， 緑 の 点 は 「 乾 燥 し た 肌 」， 黄 色相 当 する ．ま た，表 3 に お け る「 マ ッ プ 生 成 」は 5200の点は「毛穴が開いた肌」と判定された肌の特徴量で× 4000 の 全 顔 マ ッ プ 生 成 に か か っ た 時 間 で あ り ，「レある．

ンダリング」は CPU による顔モデルとマップの読み込

図 4 にて，緑の点付近に集中している点は目や外頬み，さらに GPU の 処 理 全 体 を 含 ん で い る ． 従 来 は 顔内の撮影点であり，オレンジの点付近は鼻下や顎の点

全 体 の 描 画 に 約 80 分 か か っ て い た の に 対 し ， 本 報 告であった．これにより，パーツごとに肌状態が大きく

で は 約 12 分 で あ り ，そ の ほ と ん ど が マ ッ プ 生 成 に か か異なることがわかった．っていた．外部光が内部散乱して反射する様子を再現する手法で

表 2: 従 来 手 法 の 計 算 時 間 (秒 )肌の生成

顔モデルへの合計

従来

4809.0125.4ある．ここで表面下散乱の傾向を示す拡散プロファイ
ルにガウス分布総和での近似が広く適用されている

貼り付け
4834.4[5]こ と か ら ，本 報 告 で も ガ ウ シ ア ン フ ィ ル タ ー を 使 用
し全体にぼかし処理を施すことで，より現実の肌に近い表現を目指したいと考えている．

表 3: 提 案 手 法 の 計 算 時 間 (秒 )マップ

レンダリング合計

変位マッピング

707.04

また，多数の被写体からの肌撮影画像を収集し肌状態を数値化・データ化し，機械学習を導入してこれを生成
3.25710.29

モデル化することで，現在手動で行っている特徴量推定のためのパラメータ制御の過程を自動化することを

5. ま と め考えている．さらに，幅広い年代の女性の肌データを我々は本研究において，顔のパーツごとの肌状態の集め，エイジングがどのように進行し，肌微細構造は違 い を 表 現 す る た め に ，各 パ ー ツ を 撮 影 し た 計 22 枚 のどのように変化するのか調査したいと考えている．そ画像から肌微細構造の特徴量を推定し，さらに高速描の他にも，水分を与えることでキメ自体が変化するた画のために，変位マッピングを使用したシェーダープ

め，スキンケア前後でどのように肌微細構造が変化すログラミングによる表現を試みた．この試みにより，るかを実験し，変化を数値で表現することも検討して毛穴の大きさやキメの細かさの違いといった特徴量をいる．将来的にこれらの技術は，肌の分析結果をもとパーツごとに個別に設定することができた．さらに，に一人一人に合った商品の提供や，オーダーメイドな従 来 手 法 [2]と 比 べ て よ り 忠 実 に 全 顔 の 肌 状 態 を 表 現

商品作りに役立つと考える．

することができた．また，アルゴリズムを変更したこと で 処 理 速 度 も 約 7 倍 高 速 に な り ，GPU を 使 用 し た 表示は数秒程度に抑えることができた．さらに，変位マッピングを適用することで従来手法よりも自然なレンダリング結果が得られた．
一方で，現時点での実装ではうまく特徴量を抽出できない肌撮影画像もあった．例えば，表面が白い毛穴や油分が多い毛穴は，マイクロスコープカメラで撮影すると明るく写るため二値化した際に白くなり，毛穴として認識されなかった．また，額や顎先など皮膚下の筋肉の影響を受け皮溝が流れてしまっている肌や皮溝が途切れ消失してしまっている肌は，微細構造の認識が難しく，その結果として画像の特徴を反映したマップ生成が困難であった．
さ ら に ，変 位 マ ッ ピ ン グ に お い て 詳 細 部 分 に ズ ー ム インして表示した場合，顔全体をテッセレーションした参考文献[1] K. Nagano, G. Fyﬀe, O. Alexander, J. Barbic, H. Li,A. Ghosh and P Debevec, ”Skin Microstructure
Deformation with Displacement Map Convolution,”
ACM Transactions on Graphics, Vol. 34, No.4,
pp.109, August 2015.
[2] F. Banba, T. Itoh, M. Inomata, M. Kurokawa, N.
Toyoda, H. Otaka, H. Sasamoto, “Micro-Geometric
Skin Simulation for Face Impression Analysis”, 芸術 科 学 会 論 文 誌 , Vol. 13, No.1, pp.11-20, 2014.
[3] “i-SCOPE® USB2.0”,
https://www.moritex.co.jp/products/cosmetic/i-scope.php[4] L. Mitas, H. Mitasova, “Spatial interpolation”,
Geographical
Information Systems: Principles
Techniques Management and Applications, vol. 1, pp.
481-492, 1999.
[5] E. d’Eon, D. Luebke, and E. Enderton, ”Eﬃcient
Renderingof
HumanSkin”,
Eurographics
Symposium on Rendering, pp.147-157, June 2007.

後に必要箇所をクリッピングして投影しているため，不必要なテッセレーションが発生し，その結果負荷がかかり処理速度が遅くなってしまった．
今後の課題として，肌状態により画像からの微細構造の認識がうまくいかない場合に備えて，各微細構造の位置を手動で補うような仕組みを実装することを検討している．また，現時点で画像から高さや深さの情報は得られていないため，撮影時の光の反射の加減から高さ方向の値を推測することで，深さ方向の情報を推定したいと考えている．また，肌をよりリアルに表現するために表面下散乱の導入を検討している．表面
下 散 乱 と は ，肌 や 大 理 石 な ど の 半 透 明 な 物 体 に お い て ，

図 5： (左 )健 康 的 な 肌 (中 央 )乾 燥 し た 肌(右 )毛 穴 が 開 い た 肌

図 6： (左 )顔 全 体 (右 )キ メ が 見 え る ま で 近 づ い た 場 合

図 7： (左 )従 来 の 手 法 (右 )本 報 告