3 次元画像コンファレンス 2022 講演論文集, P-3 (2022.7.16, 長崎大学)

3D Face Reconstruction によるホログラフィックポートレートの作製
Holographic portrait created by 3D Face Reconstruction
池田透海
松島恭治
Sukai Ikeda
Kyoji Matsushima
関西大学 システム理工学部 電気電子情報工学科
Department of Electrical, Electronic and Information Engineering, Kansai University
ABSTRACT
A technique using the 3D Face Reconstruction (3D-FR) technology, based on three different convolutional neuralnetworks, is proposed to create 3D portrait CGHs from a simple face photo. Using a facial 3D model obtained by 3D-FR,a full-color FPHD-CGH of the live face, i.e., a holographic portrait is fabricated using the RGB color filters, and its opticalreconstruction is demonstrated to verify the proposed technique.
Keywords: 計算機合成ホログラム，畳み込みニューラルネットワーク

1.

はじめにカードの顔写真を CGH に置き換えた場合，従来の近年，大規模なコンピュータホログラフィの技術ID カードよりも高いセキュリティを有し，偽造防止が開発されている．その 技術を用いて，“Sailing対策になると考えられる．しかし，FPHD-CGH で 3D

Warship II”，“Toy Train”，“Brothers”などの全方向視ポートレートを作成するためには，顔の 3D モデル

差高解像度計算機合成ホログラム(Full-parallax high-の取得が問題となる．

definition computer-generated hologram: FPHD-CGH)がポートレート CGH を作製する主な方法として，作成されている[1]．これらのホログラムの総ピクセディジタルホログラフィや，3D スキャナ・デプスカ

ル数は数百億から数千億ピクセルに達し，従来の光メラなどの奥行き情報が得られる機器の利用，多視学ホログラフィに匹敵する奥行き感を実現している．

点画像からの合成等が挙げられる．ディジタルホロ

FPHD-CGH の社会実装のために数多くのアイデグラフィは，イメージセンサを用いて干渉縞を記録アが案出されている．大型 CGH の案としては，遊園する方法であるため，長い静止時間が必要となる上，地の園内マップ，水族館や動物館の再現，壁や天井顔のサイズで記録できるかどうかが問題である[2]．に取り付ける風景窓，立体的なマネキン広告といっ

3D スキャナは顎の下などの正面から見えない部分たものが挙げられる．しかし，このような大型 CGHはスキャンできないため，ポリゴンの欠落が起きるは計算量が莫大である，一度に印刷可能な CGH の欠点がある．多視点画像からの合成では様々な方向サイズに制限があるなどの点からすぐに実現するこからの多数の画像が必要となるため，長時間の撮影とが難しい．一方で，小型 CGH であれば現在の技術か大規模な撮像施設が必要となる．このように，いで実現可能性が高い．特に，ポートレート CGH は小ずれの方法でもポートレート CGH を簡便に作製す型 CGH の社会実装として実用的である．例えば，IDることはできない．

池田透海<k565888@kansai-u.ac.jp>
関西大学システム理工学部電気電子情報工学科〒564-8680 大阪府吹田市山手町3-3-35
TEL 06-6368-1121(内線 5722)

そこで本研究では，畳み込みニューラルネットワークによる技術である 3D Face Reconstruction (3DFR)技術を用いて[3]，1 枚の顔写真から顔の 3D モデルを生成し，FPHD-CGH でホログラフィック 3D ポ

3 次元画像コンファレンス 2022 講演論文集, P-3 (2022.7.16, 長崎大学)
Segmentation Network で取得したセグメント情報かReconstruction
Networkら頭部全体の 3D モデルを生成するネットワークで
Hair

Depth
Estimation
NetworkSegmentation
NetworkInputEarあり，構造は ResNet-18 [5]をベースにしている．
3.

Face

3D Face Reconstruction の実行例
Fig. 2(a)は無帽無背景の男性の正面の顔写真から3D モデルを取得した結果である．緑のワイヤーフレ
Fig. 1. The 3D Face Reconstruction using threedifferent convolutional neural networks.

ームは髪や耳以外の顔であり，赤の部分は髪や耳でートレートを作成した．1 枚の顔写真から短時間でル取得に必要ないセグメントと認識されるため，背ポリゴンの欠落のない顔の 3D モデルが生成できる

景色に関係なく 3D モデルを取得することができる．

ため，従来と比べてポートレート CGH の作製が簡Fig. 2(b)はメガネをかけた人の写真から 3D モデル便に行えるようになった． 本論文では 3D-FR の内を取得し た結果 である． この場合 ， Segmentation

容について説明し，実際に作製したポートレート

Network においてメガネの部分が顔のセグメントとCGH について報告する．

認識されるため，メガネがテクスチャとして顔に張3D Face Reconstruction

り付いた状態で 3D モデルが生成されてしまってい2.

ある．背景は Segmentation Network によって 3D モデ

3D-FR は 1 枚の顔写真から顔の 3D モデルを生成

る．(c)はマスクを付けた人の写真から 3D モデルをす る 技 術 で あ る ． Reconstruction Network [4] ，取得した結果である．メガネを掛けた人と同様に，Segmentation Network，Depth Estimation Network といマスクの部分が顔のセグメントと認識されるため，う役割の異なる 3 つの畳み込みニューラルネットワ

マスクがテクスチャとして顔に張り付いた状態でーク(CNN)で構成されている．その概要を Fig. 1 に3D モデルが生成されている．
以上のように，顔に何も付けていない写真を入力

示す．
2.1. Reconstruction Network

すると，自然な 3D モデルを取得できるが，メガネReconstruction Network は，顔写真から髪や耳以外やマスクを付けた人の写真を入力すると，正しい 3Dの顔の 3D モデルを生成するネットワークであり，モデルを取得することができない問題があることが構造は ResNet-50 [5]をベースにしている．このネッわかった．

トワークでは，顔の 3D モデルを 3D Morphable

4.

Model(3DMM) [6]で表現しており，このパラメータ

4.1. 物体光波の計算を求めることで 3D モデルを生成する．

ホログラフィックポートレートの作製

CGH において自然な再生像を得るためには，オク2.2. Segmentation Networkルージョンを正しく処理する必要がある．3D-FR でSegmentation Network は，顔写真からセグメント情生成した 3D モデルは，Fig.2(a)のワイヤーフレーム報を取得するネットワークであり，構造は BiseNetから額と髪のポリゴンが重なっていることがわかる．

[7]をベースにしている．オリジナルの BiseNet はダ

これは，髪や耳とそれ以外が異なった CNN で生成

ウンサンプリングに Xception [8]を用いているが，本されているためである．このようなモデルでは，ポ研究では高精度化のために ResNet-18 [5]を用いた．

リゴン単位でオクルージョン処理する必要があるた

このネットワークでは，顔写真の全ピクセルを右耳，め，ポリゴン単位シルエット法を高速化したスイッ

左耳，顔，髪，口内，背景のいずれかに分類して，チバック法を用いる必要がある[9]．

セグメント情報を取得する．

一方，ポリゴン単位シルエット法では，ホログラ

2.3. Depth Estimation Network

ム面に対して垂直方向に近いポリゴンの部分でオクDepth Estimation Network は，顔写真，Reconstruction

ルージョンエラーが生じ，背景が一部透ける場合がNetwork で 生 成 し た 髪 や 耳 以 外 の 3D モ デ ル ，ある．3D-FR で得た 3D モデルの髪等の部分のポリ3 次元画像コンファレンス 2022 講演論文集, P-3 (2022.7.16, 長崎大学)
4.3. CGH の光学再生像作製した FPHD-CGH の光学再生像を Fig. 5 に示す．この光学再生像から，奥行き感のあるホログラ
フィック 3D ポートレートを作製できていることを確認できた．しかし，今回用いた 3D-FR では頭部以(a)外の首や胸などの部分の 3D モデルは作成されない．
そのため，実際にこの FPHD-CGH を観察すると，空間に頭部が浮いているような印象を受けるため，人によっては違和感を抱くことが分かった．
5.

(b)

まとめ
ポートレート CGH は FPHD-CGH の社会実装として最も期待されるものの 1 つである．その作製のためには実在する人物の顔の 3D モデルを取得する必要があるが，従来の手法では 3D モデルを簡単に取得することが困難であった．
そこで本研究では，畳み込みニューラルネットワ(c)Fig. 2. Face photos and the generated 3D models.

ークに基づいた 3D-FR 技術を用いることで 1 枚の顔写真からポートレート CGH を作製した．
その結果，奥行き感のある人の顔の再生像を確認できた．しかゴンは，顔の正面に対して垂直方向に近いため，この問題が生じる．より精密なサーフェースマスク法を用いれば，この様な問題は防げるが，計算時間が長くなる問題がある[10]．物体単位とポリゴン単位のシルエットマスク法を併用すればこの問題は起こらないため，本研究では顔全体のシルエットマスクを適用した後に，スイッチバック法を用いたポリゴン単位シルエット法でオクルージョン処理を行った．
4.2. CGH の設計
実際に 3D Face Reconstruction を用いて，顔の 3Dモデルを生成し，その 3D モデルから FPHD-CGH を作製した．元の顔写真と生成した 3D モデルのレンダリング画像を Fig. 3 に示す．また，作製した FPHDCGH の 3D シーンを Fig. 4 に，パラメータを Table 1に示す．顔を奥行き 100mm の位置に配置し，顔の立体感を知覚しやすいよう背景にチェッカー模様の壁紙を配置している．作製した FPHD-CGH は，証明写真としては少し大きな 10.5cm×10.5cm の正方形であり，RGB カラーフィルタ方式によるフルカラーCGH である[11]．

し，胸や首の部分のない再生像となっているため，今後は胸や首を含むバストショットに対応したポー
トレート CGH の作製を目指す必要がある．
謝辞
本研究は，日本学術振興会科研費 22H03712 の助成を受けたものである．
参考文献[1] K. Matsushima: Introduction to Computer
Holography, Sect. 1.3 (Springer, 2020).
[2] K. Matsushima, Y. Arima, S. Nakahara: “Digitizedholography: modern holography for 3D imaging ofvirtual and real objects,” Appl. Opt. 50, H278-H284(2011).
[3] S. Xu, J. Yang, D. Chen, F. Wen, Y. Deng, Y. Jia, X.
Tong: “Deep 3D portrait from a single image,”
IEEE/CVF Conference on Computer Vision andPattern Recognition, 7707-7717(2020).
[4] Y. Deng, J. Yang, S. Xu, D. Chen, Y. Jia, X. Tong:“Accurate 3D face reconstruction with weaklysupervised learning: From single image to imageset,” IEEE/CVF Conference on Computer Vision
and Pattern Recognition Workshops, 285295(2019).
[5] K. He, X. Zhang, S. Ren, J, Sun: “Deep residual
learning for image recognition,” IEEE Conference
on Computer Vision and Pattern Recognition, 770778(2016).
[6] V. Blanz, T. Vetter: “A morphable model for the3 次元画像コンファレンス 2022 講演論文集, P-3 (2022.7.16, 長崎大学)
synthesis of 3D faces,” Proc. of 26th Annual
Conference on Computer Graphics and Interactive
Techniques, 187-194(1999).
[7] C. Yu, J. Wang, C. Peng, C. Gao, G. Yu, N. Sang:“BiSeNet: Bilateral segmentation network for realtime semantic segmentation,” Proc. of the European
Conference on Computer Vision, 325-341(2018).
[8] F. Chollet: “Xception: Deep learning withdepthwise separable convolutions,” IEEE
Conference on Computer Vision and Pattern
Recognition, 1800-1807(2017).
[9] K. Matsushima, M. Nakamura, S. Nakahara:“Silhouette method for hidden surface removal incomputer holography and its acceleration using theswitch-back technique,” Opt. Express 22, 2445024465 (2014).

Face photo

Centereft

RightUpDown

Fig. 3. A face photo and the generated 3D model used
to create the holographic portrait.

[10] K. Nakamoto, K. Matsushima: “Exact mask-based
occlusion processing in large-scale computerholography for 3D display,” Digital OpticalTechnologies 2019, SPIE Proc. 11062, 1106204(2019).
[11] Y. Tsuchiyama, K. Matsushima: “Full-color largescaled computer-generated holograms using RGB
color filters,” Opt. Express 25, 2016-2030(2017).

100y105

82

100105

Table 1 Parameters of the created FPHD-CGH.
Number of pixels
131,072 × 262,144
Pixel pitches [μm]0.8 × 0.4
Wavelength(635, 517, 443)
(R, G, B) [μm]Number of polygons
83,126z70
x120
Units:mm100Fig. 4. The 3D scene of the created FPHD-CGH.

eftCenterUp

RightDown

Fig. 5. Closeup photographs of optical reconstruction of the created holographic portrait.