3D2-3
This article is a technical report without peer review, and its polished and/or extended version may be published elsewhere.

第 27 回日本バーチャルリアリティ学会大会論文集（2022 年 9 月）

上半身の自由視点映像へのリライティングの検討
Relighting to Free-Viewpoint Images of Upper Body
栗原健斗 1) ，黒木帝聡 2) ，花光宣尚 2) ，山田秀人 2) ，小池崇文 1)
1) 法政大学 情報科学研究科（〒 184-8584 東京都小金井市梶野町 3-7-2，kento.kurihara.2e@stu.hosei.ac.jp，takafumi@hosei.ac.jp）
2) Enhance Experience Inc.（〒 153-0042 東京都目黒区青葉台 2-3-1 小杉ビル青葉台，tadatoshi.kurogi@gmail.com，nobu, hideto@enhance-experience.com）
概要: 本発表では，人物上半身画像の多視点画像から生成した自由視点画像にリライティングした結果と課題について報告する．HMD を用いた Mixed Reality 等の体験において，実写画像を表示するには自由視点映像が必要である．一方で，自由視点映像では，ライティングを後から変更するのは難しい．そこで，我々は，自由視点映像に既存のリライティング技術を適用し，どの程度の画質が得られるかの基礎検討と実験を行った．
キーワード： free-viewpoint image, light ﬁeld, relighting

1.

はじめにイティング結果を示していない [3, 4]．目の前に実在していMixed Reality Headset（以下，MR ゴーグル）をかけてると感じさせるためには，顔の映像だけではなく，上半身見える世界には，現実世界の映像とバーチャル世界の映像が映る映像の方が好ましい．そこで本研究では，人物の上が混在している．それゆえ，ユーザには，現実世界の目の半身が映った自由視点映像にリライティングを適応させた

前に無いはずのオブジェクトが実在していると感じさせる（図 1）．これにより，新たな光源によるリライティングされことが重要である．このような実在感をつくりだすために，た映像を見ることで，光源の矛盾を減らせると考えられる．

MR ゴーグルに表示するバーチャル世界のオブジェクトは，多視点映像の撮影

モデルと形状，質感，ライティングの情報が必要である．一

光源情報

MR での投影方で，ライトフィールドレンダリング [1] をはじめとする，Image-Based Rendering 技術を用いれば，自由視点映像を生成することが可能となり，必ずしもモデルや質感の情報は必要では無くなる．
自由視点映像の生成

ライトフィールドレンダリングでは，光を光線場としてリライティング

考え一般的に位置と角度の四次元で表現し，多視点画像を変形や合成して自由視点を実現した．一方で多視点画像の撮影では，被写体の時系列を合わせる必要があるため，静止物体より動物体の方が難しい．時系列を合わせた撮影には，複数台のカメラを並べたカメラアレイを用いる手法がある．しかし，カメラアレイの開発には，カメラ選定に始図 1: 自由視点映像のリライティングパイプライン．

まり，カメラ配置や構造，配線の設計，物理的実装など作業量が多く，高コストになる課題がある．我々は，カメラアレイの開発を手助けする，多視点画像の撮影シミュレーショ

2.

リライティング

ンプラットフォームを提案している [2]．これを用いて定め

人物の顔画像へのリライティングには，Hou らの研究 [3]た設計値のカメラアレイで自由視点映像を生成した．生成や Zhou らの研究 [4] などがある．これらの研究では，ライした自由視点映像では，モデルと形状を生成できるが，質ティング情報を球面調和関数 (Spherical Harmonic lighting:感とライティングの反映を表現できないという課題がある．

SH lighting) で近似している．

そのため，光源の差異をなくすために，現実世界の光源でライティング情報の表現に球面調和関数は一般的に使用

自由視点映像をリライティングすることが求められる．

されてきており，例えば，入射放射輝度と BRDF を表現す

既存のリライティング手法では，人物の顔画像に対してるために，球面調和が用いられてきた手法 [5] や，球面調和リライティングを行っているが，上半身を対象としたリラ関数を用いたライティングの研究には，Sloan ら [6] の手法がある．

Ⓒ 2022 日本バーチャルリアリティ学会-3D2-3-3D2-3

そこで，本研究でも SH Lighting でのリライティングを提案手法

3.

用いている．また，本研究のリライティングの手法には，SH

以下に，我々の自由視点映像生成方法とリライティング

Lighiting を用いているリライティング手法で出力結果と実手法を示す．まず，本リライティングの対象となる自由視点行時間から，Zhou らのアルゴリズムを使用している．

映像の生成手法について説明する．次に，MR で表示する

次に，SH Lighting の計算方法について説明する．単位球面上の点の球座標への標準的なパラメタリゼーションがことを考慮したリライティング手法について説明する．

3.1

あるとする．球面上の正規直交基底

自由視点画像

ここでは，本研究で使用した自由視点画像について説明する．本研究では，自由視点画像生成用の参照カメラとし(x, y, z) = (sin θ cos ϕ, sin θ sin ϕ, cos θ),て，SONY 社の Cyber-shot DSC-RX0 を 10 台並べた 1 次元配列のカメラアレイを用いた．各カメラは光軸が平行にを用いて，以下のように SH 関数を定義する．
|m|

Ylm (θ, ϕ) = Klm eimϕ Pl(cos θ)なり，且つそれぞれの間隔が 600[mm] になるように並べた．

l ∈ N, −l ≤ m ≤ l

このカメラアレイで取得した多視点画像から自由視点画

ここで，Plm はルジャンドル倍関数，Klm は正規化定数で像を生成するために，古典的なライトフィールドレンダリあり，以下のように定義される．
√(2l + 1)(l − |m|)!
m.
Kl =4π(l + |m|)!

ングの手法を用いた．まず図 2 に示すように、被写体をカ

上記の SH 関数には，虚数が含まれているが，球面上の光自由視点画像を通る光線と Focal Plane の交点を算出する．の強度を近似するために実関数だけを用いる．つまり，SH最後に，この交点から発せられた光線を近傍カメラの画像関数のうち，実球面調和（Real Spherical Harmonic）関数群から推定し，それらを重み付け加算して自由視点映像をのみを使用し，
√
2Re(Ylm ), m > 0
Yl,m =Yl0 , m = 0√
 2Im(Y m ), m < 0l
 1−m
+ (−1)m Ylm ), m > 0 √ (Yl2=
Yl0 , m = 0
 √i (Ylm − (−1)m Yl−m ), m < 02 √2Klm cos(mϕ)Plm (cos θ), m > 0=Kl0 Pl0 (cos θ), m = 0 (1)√ 2K m sin(−mϕ)P −m (cos θ), m < 0ll

生成する．

メラアレイ面と平行な 1 枚の平面（Focal Plane）として近似する．次に，自由視点画像を通る光線とカメラアレイ面の交点を算出し，この交点の近傍カメラを特定する．また，と定義される．次に，SH 関数を SH 係数に変換する．
∫f (s)Yl,m (s)ds(2)cml =s

求めた値 cml を用いて，上記と逆の手順を行うことで近似関˜数 f を生成する．

f˜ =n−1∑l∑Focal Plane

カメラアレイ

生成する視点からの光線生成視点

図 2: 自由視点映像の生成手法（[7] の図を参考）．

3.2

MR でのリライティング今回，MR で表示させることを想定している．そのため，コンテンツとなる人物以外は，透過領域となるため黒背景としている．Zhou らのリライティングでは，上半身が映っている画像でのリライティングは考慮されておらず，上半身に対してリライティングを行うと図 3 のような白い領域

cml Yl,m (s)(3)が生じる．しかし，MR 体験において発生した白い領域は，Zhou らのリライティングでは，出力画像を I とし，反射率
R と法線 N，光源 L（≈ f˜ 上記で求めた近似関数）を用いクリエイターが目の前にいる動画コンテンツの場合，白いて以下のように求めている．

くなると容易に想像できる．よって，リライティング後の

l=0 m=−lI = R ⊙ Lsf (N, L),透過した映像に影響を与えてしまう．例えば，Youtube の(4)ここで，⊙ は，アダマール積を表し，Lsf は，ランバート領域が現実世界の背景に重なることで体感的な解像度が低画像から白い領域を除去する．

4.

まず，被写体の上半身が映った映像に対してリライティシェーディングを表す．これらにより，球面調和関数を用いたライティングが可能となる．

Ⓒ 2022 日本バーチャルリアリティ学会

結果ングを行い，マスク処理を行った．光源には，図 4 を用い-3D2-3-

3D2-3

(a)

(b)

(a)

図 3: 上半身リライティングによる背景に白い領域の発生（(a)：リライティング前，(b)：リライティング後）．

(b)

図 6: 2 種類の球面調和光源．光源の向きはそれぞれ (a)：た．リライティング後の背景に出現していた白い領域が除右上から球体中心方向 (b)：左上から球体中心方向．

去されていることを確認できる（図 5）．

(a)図 4: 球面調和光源（光源の向きは左上から球体中心方向）．

(a)

(b)

(b)

図 5: 背景の白い領域の除去（(a)：マスク処理適用前，(b)：マスク処理適用後）．

図 7: 図 6(a) の光源によるリライティング適用結果（(a)：

次に，3 視点（被写体を左からと中央から，右から見たリライティングなし，(b)：リライティング適用）．

視点）の自由視点映像に対して，図 6 の 2 種類の光源でリライティングを行った．使用した自由視点映像には，3.1 節の手法を用いている宮脇ら [7] の研究で生成された 2 パターンのものがある．図 7 では，被写体の右上部分が光源によるライティングされているのを確認できた．また，左部分
では，シャドーイングが適用されているのが確認できた．
図 8 では，被写体の左部分が光源によるライティングされているのを確認できた．また，右部分では，シャドーイ(a)ングが適用されているのが確認できた．
ここで，図 9 でのリライティング結果（図 10）を見ると被写体の左部分が光源によるライティングされ, 右部分では，シャドーイングが適用されているのが確認できたが，明らかに画質劣化しているのがわかる．右下から球面中心方向に向いている光源であるため，右手首や右肩と同じように右ひじも照らされている結果になると予想できるが，その(b)ような結果にならなかった．

5.

考察
図 7，図 8 ともに，被写体の移動と同様に光源も移動している．そのため，ライティングは常に同じ方向から同じⒸ 2022 日本バーチャルリアリティ学会

図 8: 図 6(b) の光源によるリライティング適用結果（(a)：
リライティングなし，(b)：リライティング適用）．

-3D2-3-3D2-3

謝辞 本研究を行うにあたり，御協力を頂いた石塚諒伍氏に心から感謝いたしますと共に，厚く御礼申し上げます．

参考文献[1] Marc Levoy and Pat Hanrahan, “Light Field Rendering”, Proceedings of the 23nd Annual Conference
on Computer Graphics and Interactive Techniques,
図 9: 球面調和光源（光源の向きは右下から球体中心方向）．

1996.
[2] 栗原健斗, 黒木帝聡, 花光宣尚, 小池崇文, “カメラアレイ設計のためのゲームエンジンを用いた撮影シミュレーションプラットフォームの開発”, 情報処理学会第 84 回全国大会, 2022.

[3] Andrew Hou, Ze Zhang, Michel Sarkis, Ning Bi, Yiying Tong, and Xiaoming Liu, “Towards High Fidelity
Face Relighting with Realistic Shadows”, Proceed-(a)ings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2021.
[4] Hao Zhou, Sunil Hadap, Kalyan Sunkavalli and David
Jacobs, “Deep Single-Image Portrait Relighting”,
2019 IEEE/CVF International Conference on Computer Vision (ICCV), 2019.
[5] Brian Cabral, Nelson Max, and Rebecca Spring-(b)meyer, “Bidirectional Reﬂection Functions from Surface Bump Maps”, Association for Computing Machinery (ACM), 1987.
[6] Peter-Pike Sloan, Jan Kautz, and John Snyder, “Pre-

図 10: 失敗例．

computed Radiance Transfer for Real-Time Ren向きで被写体を照らしているような映像になった．これは，dering in Dynamic, Low-Frequency Lighting Envi-Zhou らのリライティングで法線推定を行っていることと視

ronments”, Association for Computing Machinery

点移動が 1 次元であることが要因だと考えられる．

(ACM), 2002.

また，図 10 のようにリライティング結果の画像では，処[7] 宮脇志歩, 黒木帝聡, 花光宣尚, 小池崇文, “偏光を用い理前の結果に比べ，高周波成分が抜け落ちていることが確た多視点撮影による自由視点画像生成の高画質化”, 情報処理学会第 83 回全国大会講演論文集, 2021.

認できる．そのため，ペンキのブラシで縦に塗ったようなレンダリング結果になっている．これは，SH 係数を求める[8] Zhong Ren, Rui Wang, John Snyder, Kun Zhou, Xin-

際，式 (1) で低次元近似を行っていることが要因だと考え

guo Liu, Bo Sun, Peter-Pike Sloan, Hujun Bao, Qun-

られる．現在，2 次で近似しているが，4 次，5 次と増やす

sheng Peng, and Guo, Baining, “Real-time Soft Shad-

ことで改善されると考えられる [8]．

ows in Dynamic Scenes using Spherical Harmonic Ex-

加えて，学習データに欧米人の顔画像のみ使われている．
そのため，今回の実験のように，小さい子供でアジア人だと顔の凹凸が小さく，欧米人ほど法線推定が適切に行えていないと考えられる．

6.

結論
人物対象とした上半身が映っている自由視点映像に Zhou

らのリライティングを適用した．その際，MR において，リライティング後に発生した背景の白い領域は，現実世界の映像に投影した際に矛盾した領域になるため，マスク処理で除去した．また，上半身を含めたリライティングでは，画質劣化がみられた．画質劣化の原因には，低次元近似を行っていることと学習データに偏りがあることだと分かった．

Ⓒ 2022 日本バーチャルリアリティ学会-3D2-3-ponentiation”, Association for Computing Machinery(ACM), 2006.