情報処理学会論文誌

CG シーンの学習に基づく法線と輪郭線の推定と3 次元モデリングへの応用
山梨 傑 1

岡部 誠 1

受付日 2021 年 8 月 2 日，採録日 2021 年 8 月 2 日

概要：我々は写真や絵画などの 2 次元画像から 3 次元形状をモデリングするための手法を研究している。
2 次元画像から 3 次元形状を再構築することはコンピュータビジョンにおける本質的な課題のひとつである。近年、畳み込みニューラルネットワークに基づく深層学習によって、単一画像からでも精度の高い深度マップが得られるようになった。しかし、それらの深度マップから 3 次元形状をポリゴンモデルとして起こしてみると必ずしも良い形状が得られない。そこで、我々は単一画像から深度マップではなく、法線マップと輪郭線マップを推定し、それらの情報を基にポアソン方程式を解くことで 3 次元形状を得るような手法を提案する。法線マップと輪郭線マップの推定に用いる深層学習モデルは U-Net であり、前者の推定には平均二乗誤差、後者の推定には Dice 係数を損失関数に用いる。コンピュータグラフィックスによって生成したデータセットを用いて学習と評価を行ったので報告する。
キーワード：画像処理、深層学習、3 次元形状モデリング1. はじめに

今回は単一画像を入力とし、深度マップではなく、法線マップと輪郭線マップを推定し、それらの情報をポアソン方程2 次元画像から 3 次元形状を再構築することはコンピュ式を解くことで積分し、3 次元形状を得るような手法を提案

ータビジョンにおける本質的な課題のひとつである。また、する。法線マップとは 3 チャンネルの画像であり、画像中のゲームや映像などを生産するコンテンツ産業においても、物体表面の 3 次元法線ベクトルを各ピクセルが保持してい画像から容易に形状がモデリングできるようになれば、生る。輪郭線マップとは 1 チャンネルの画像であり、各ピクセ産工程の効率化につながる。

ルは、そのピクセルが画像中の物体の輪郭線上に位置して近年、畳み込みニューラルネットワーク(CNN)に基づく深層学習によって、単一画像からでも精度の高い深度マップいるかどうかをバイナリで保持している（位置していれば１、位置していなければ０）。

が得られるようになり、多くの論文が発表されている[1,4]。

このようなアプローチをとる理由は、Koenderink らがまた、人の顔[2]や人体の形状[3]に限定した手法では、単一Pictorial Relief [8]にて報告している人間の視覚認識の実験画像からでも正確な 3 次元形状モデルを得ることができる。

結果に触発されてのことである。この実験では、単一画像かまた、3 次元形状とそのレンダリング画像との関係を学習す

ら絶対的な深度を推定することは人間にとって難しく、一る手法[5,6,7]もある。これらの手法を観察してみると、対象方で、単一画像から法線や相対的な深度を推定することは形状を人の顔や人体、また自動車や飛行機などのいくつか人間にとって簡単である、という事実を確認している。従っの工業製品などに絞った場合には精度の高い 3 次元形状がて、我々人間の脳を模倣したニューラルネットワークも、深得られることが分かる[2,3,5,6,7]。一方で、対象が絞り込ま度マップの推定は難しいが、法線マップや輪郭線マップのれていない場合、例えば、車載カメラや室内の画像から推定推定は正確に行えるのではないか、と考えた。法線マップのされた深度マップは精度が高いとは言えず、そこから 3 次

推定手法としては、イラストにシェーディングを行うため元形状をポリゴンモデルとして起こしてみると必ずしも良に CNN の一種である U 字型ネットワーク(U-Net)[9]を用いい形状が得られない[1,4]。また、対象を工業製品に絞り込んて法線マップを推定する手法[10]や、単一の RGB-D 画像かだ場合[5,6,7]でも、形状の細部のモデリングに関してはまだら法線マップを推定する手法[11]などがある。

課題が残っているものと思われる。

提案手法において、法線マップと輪郭線マップの推定にそこで我々はより一般的な対象を扱いつつ、形状の細部までをモデリングできるような手法の研究を行っている。
1 静岡大学大学院総合科学技術研究科工学専攻
数理システム工学コースⓒ2021 Information Processing Society of Japan1

情報処理学会論文誌

図１．提案手法の概要。入力画像から U-Net によって法線マップと輪郭線マップを推定した後、それらから合成した勾配情報をポアソンソルバで積分することで 3 次元形状を得る。

用いる深層学習モデルは U-Net[9]であり、前者の推定には平2.2 輪郭線マップ推定器

均二乗誤差、後者の推定には Dice 係数を損失関数に用いる。

輪郭線マップ推定器に RGB の 3 チャンネルから成る画像

学習と評価には、コンピュータグラフィックス(CG)によっを入力すると、同じサイズの 1 チャンネルから成る輪郭線て生成されたデータセットを用いる。今回のデータセットマップを出力する。輪郭線マップの各ピクセルは、そのピクにおいては、法線マップと輪郭線マップの両方について高セルが入力画像中の物体の輪郭線上に位置しているかどうい精度で推定することができた。しかし、データセットに含かをバイナリで保持している（位置していれば１、位置してまれないような種類の画像に対しては失敗することがあり、いなければ０）。

その結果を踏まえて更にデータセットに改良を加えていき推定器には U-Net を用いた。
法線マップ推定器の U-Net と異なる点は、最終層のチャンネル数が 3 から 1 になった点たいと考えている。

のみである。

2. 提案手法
図 1 に提案手法の概要を示す。提案手法はまず、入力画像損失関数には画像のセグメンテーションでもよく使われる Dice 係数を用いた。推定された輪郭線マップを𝐶̂ 、正解を U-Net によって構築された法線マップ推定器と輪郭線マの輪郭線マップを𝐶 、画像空間内の全ピクセルの集合を𝑃、ップ推定器に適用する。推定された法線マップと輪郭線マピクセルの位置を𝑝とすると、損失関数はップから、最終的に求めたい 3 次元形状（深度マップ）の勾配情報を合成する。その勾配情報をポアソンソルバで積分

𝐿 =1−2することで深度マップを得て、それをポリゴン化することで最終的な 3 次元形状を得る。

∑𝑝∈𝑃 𝐶̂𝑝 𝐶𝑝∑𝑝∈𝑃 𝐶̂𝑝 + ∑𝑝∈𝑃 𝐶𝑝 + 1と定義される。

2.1 法線マップ推定器
法線マップ推定器に RGB の 3 チャンネルから成る画像を入力すると、同じサイズの 3 チャンネルから成る法線マップを出力する。法線マップの各ピクセルは、入力画像中の物体表面の 3 次元法線ベクトルを保持している。

3. 実験結果
3.1 データセット
今回の実験で用いたデータセットは、CG で描かれた推定器には U-Net を用いた。U-Net の構造は Ronneberger

70000 個のシーンから成る。そのうち 60000 個を法線マップらが提案したもの[9]と同様であるが、各畳み込み層の直後推定器及び輪郭線マップ推定器の学習に、残りの 10000 個にバッチ正規化層を追加した点が異なっている。

をそれぞれの推定器の評価に用いた。

損失関数には平均二乗誤差を用いた。推定された法線マ
̂ 、正解の法線マップを𝑁 、画像空間内の全ピクセップを𝑁
ルの集合を𝑃、ピクセルの位置を𝑝とすると、損失関数は
𝐿=1
̂𝑝 − 𝑁𝑝 |2∑ |𝑁|𝑃|𝑝∈𝑃と定義される。

ⓒ2021 Information Processing Society of Japan

図２．データセットは 1 つのシーンにつき入力画像、法線マップ、輪郭線マップの 3 つの画像から成る。
各シーンは図２のように、入力画像、法線マップ、輪郭線2情報処理学会論文誌

図３．5 つのシーンについて法線マップの推定結果を示す。我々のデータセットに関しては、SharpNet[4]に比べると提案手法によって推定された法線マップの方がシャープで正確である。一番右の列に失敗例を示す。

マップの 3 つの画像から成る。各画像の解像度は 256×144

3.3 輪郭線マップ推定器の学習と推定結果ピクセルである。各シーンは地面を表す平面と、その上に配Keras で実装した U-Net を 60000 個のシーンに対し学習し置された 18 個の 3 次元物体から成る。地面の色とテクスチた。NVIDIA GeForce GTX 2080 Ti を使用したところ、1 エポャはランダムに設定される。各 3 次元物体は直方体またはックあたり約 24 分を要し、41 エポック目で validation loss

楕円体であり、その位置、スケール、方向、色、テクスチャが 0.0536 で最小となった。このモデルを用いて推定されたはランダムに設定される。また、レンダリングの際のカメラ輪郭線マップを図４に示す。我々のデータセットに関しての位置と方向はランダムに設定される。全シーンについて、は、提案手法はほとんどの場合に Ground truth に近い輪郭線

照明は同一パラメータに設定された点光源 1 つから成る。

マップを精度よく推定できていることが分かる。また、比較

入力画像のレンダリングには局所照明モデルと、アンチエと し て SharpNet[4] に よ っ て 推 定 さ れ た 境 界 線 マ ッ プ

イリアシング処理を施したシャドウマップを用いた。輪郭(boundary)を二行目に示す。注意として、SharpNet[4]によっ

線マップは、入力画像のレンダリングの際に使われたデプて推定された境界線マップは物体の境界線が白くなっていスバッファを用いて計算した。デプスバッファの𝑥軸方向とるが、我々の輪郭線マップは物体の境界線であっても、その𝑦軸方向の微分を計算し、その値の大きいピクセルには輪郭面が滑らかにつながっている場合白くならないため、結果線として 1 を与え、それ以外のピクセルには輪郭線でないが一致していない箇所がある。提案手法によって推定されとして 0 を与えた。

た輪郭線マップの方がはっきりと輪郭線を捉えており、正確である。一番右の列には失敗例を示す。ここでは特に手前

3.2 法線マップ推定器の学習と推定結果
Keras で実装した U-Net を 60000 個のシーンに対し学習した。NVIDIA GeForce GTX 1080 Ti を使用したところ、1 エポの物体と奥の物体に距離がある箇所において、正しい輪郭線が推定できていないが、この入力画像においては我々人間でも輪郭線の推定が難しい。

ックあたり約 30 分を要し、42 エポック目で validation lossが 0.0025 で最小となった。このモデルを用いて推定された法線マップを図３に示す。我々のデータセットに関しては、

4. まとめ

提案手法はほとんどの場合に Ground truth に近い法線マッ

本論文では、U-Net を使い一枚の画像から法線マップと輪プを精度よく推定できていることが分かる。また、郭線マップを推定した。どちらも今回の実験で用いたようSharpNet[4]に比べても、提案手法によって推定された法線な簡単な CG シーンの場合、既存手法を上回る結果が得らマップの方がシャープで正確である。一番右の列には失敗れた。一方で、人間でも判断が難しいような箇所や複雑なシ例を示す。ここでは特に暗い箇所において、正しい法線が推ーンの場合、あまり望ましい結果が得られなかった。今後は定できていないが、この入力画像においては我々人間でもデータセットの改善やネットワークの改善などを行い、上法線の推定が難しい。

記のような画像であっても正確に推定ができるよう精度の向上を目指していきたい。

ⓒ2021 Information Processing Society of Japan3

情報処理学会論文誌

図４．5 つのシーンについて輪郭線マップの推定結果を示す。我々のデータセットに関しては、SharpNet[4]に比べると提案手法によって推定された輪郭線マップの方がはっきりと輪郭線を捉えており正確である。一番右の列に失敗例を示す。

尚、法線マップと輪郭線マップが得られた後、それらから(MICCAI), Springer, LNCS, Volume 9351, pages 234-241, 2015.

勾配情報を合成し、ポアソンソルバによって積分すること[10] Matis Hudon, Rafael Pagés, Mairéad Grogan, and Aljosa Smoli.

で深度マップと 3 次元形状が得られるが、それらのレンダ

Deep normal estimation for automatic shading of hand-drawn
characters. In: ECCV Workshops (2018).

リング結果については研究会での口頭発表にて報告する。

[11] Jin Zeng, Yanfeng Tong, Yunmu Huang, Qiong Yan, Wenxiu Sun,

参考文献
[1] Shariq Farooq Bhat, Ibraheem Alhashim, Peter Wonka, “AdaBins:Jing Chen, and Yongtian Wang. Deep surface normal estimation
with hierarchical RGB-D fusion. In: CVPR (2019).

Depth Estimation using Adaptive Bins”, CVPR 2021.
[2] Bernhard Egger, William A. P. Smith, Ayush Tewari, StefanieWuhrer, Michael Zollhoefer, Thabo Beeler, Florian Bernard,
Timo Bolkart, Adam Kortylewski, Sami Romdhani, ChristianTheobalt, Volker Blanz, Thomas Vetter, “3D Morphable Face
Models - Past, Present and Future”, SIGGRAPH 2021.
[3] Shunsuke Saito, Zeng Huang, Ryota Natsume, Shigeo Morishima,Angjoo Kanazawa, Hao Li, “PIFu: Pixel-Aligned Implicit
Function for High-Resolution Clothed Human Digitization”,[4] Michaël Ramamonjisoa, Vincent Lepetit, “SharpNet: Fast andAccurate Recovery of Occluding Contours in Monocular Depth
Estimation”, ICCVW 2019.
[5] Xinchen Yan, Jimei Yang, Ersin Yumer, Yijie Guo, Honglak Lee,

“Perspective Transformer Nets: Learning Single-View 3D Object
Reconstruction without 3D Supervision”, NIPS 2016.
[6] Hiroharu Kato, Yoshitaka Ushiku, Tatsuya Harada, “Neural 3D

Mesh Renderer”, CVPR 2018.
[7] Lars Mescheder, Michael Oechsle, Michael Niemeyer, SebastianNowozin, Andreas Geiger, “Occupancy Networks: Learning 3D
Reconstruction in Function Space”, arXiv:1812.03828 [cs.CV].
[8] J. J. Koenderink, “Pictorial Relief”, Phil. Trans. of the Roy. Soc.:

Math., Phys, and Engineering Sciences, 356(1740), pp. 10711086, 1998.
[9] Olaf Ronneberger, Philipp Fischer, Thomas Brox, “U-net:Convolutional networks for biomedical image segmentation”,
Medical Image Computing and Computer-Assisted Interventionⓒ2021 Information Processing Society of Japan4