NAIST-IS-DD1261001

博士論文

近接光源を対象とした照明環境の推定に関する研究

青砥 隆仁

2015 年 12 月 14 日

奈良先端科学技術大学院大学
情報科学研究科 情報科学専攻

本論文は奈良先端科学技術大学院大学情報科学研究科に博士 (工学) 授与の要件として提出した博士論文である。
青砥 隆仁

審査委員：
横矢 直和 教授

（主指導教員）加藤 博一 教授

（副指導教員）向川 康博 教授

（副指導教員）佐藤 智和 准教授

（副指導教員）近接光源を対象とした照明環境の推定に関する研究 ∗
青砥 隆仁

内容梗概
照明環境の推定は, 写実的な画像を生成するフォトリアリスティックレンダリ
ングや画像から物体の形状や反射特性を推定するインバースレンダリングに必要不可欠であり, コンピュータグラフィックスやコンピュータビジョンの分野において重要な課題の一つである. 従来, シーンから十分遠方に存在する光源を対象として, 様々な照明環境の推定が行われてきた. これらの手法の多くは, 単一の放射輝度および照明の方位を推定している. しかし, 光源が十分遠方にない近接光源を対象とした場合, 照明の大きさや照明に付随するレンズやリフレクターなどにより生じる照明の非等方な放射輝度分布の影響や, 物体上の位置によって変化する照明からの距離と入射方向の変化の影響を考慮する必要が生じ, このような単純なモデルは適用できない. そのため, このようなシーンにおける照明環境を再現するには, 照明の放射輝度分布を取得する必要がある. また, 照明の放射輝度分
布が事前にキャリブレーション済みの場合, 照明の位置姿勢を知るための手掛かりの一つとして照明内部に存在する光源位置を推定する必要がある. これを踏まえ, 本論文では近接光源を対象とした場合における, 使用環境における照明の非等方な放射輝度分布を取得する手法および照明内部に存在する光源の位置を推定する手法の二つの手法を提案する.
照明の非等方な放射輝度分布を取得するために, 本論文では参照物体上で観測された輝度情報を光線強度情報に分離することで放射輝度分布を推定するインバー
スライティングに基づく手法を提案する. インバースライティング問題は, 不良∗

奈良先端科学技術大学院大学 情報科学研究科 情報科学専攻 博士論文, NAIST-IS-DD1261001,
2015 年 12 月 14 日.

1

設定問題と成り易いことが知られている. しかし, 提案手法では, 放射輝度分布に関する事前知識として視体積制約や光線強度に対する非負値制約を導入することで, この問題を解決している. これにより, 提案手法は少数の入力画像から, 安定に照明の外部パラメータを推定可能であるという特長を持つ.
照明内部に存在する光源の位置を推定する手法として, 本論文では, 球体内部が中空の透明物体である中空透明球体を用いる手法を提案する. 提案手法では, 中
空透明球体の内部と外部で反射した二種類の鏡面反射光がカメラ上で観測されるため, 単一の参照物体のみで三角測量の原理に基づき照明の位置を推定可能である. また, 照明が大きさを持つ場合には, 中空透明球体の照明, カメラの光学中心
および透明球の中心の 3 点で構成されるエピポーラ平面上に必ず反射光が存在するという性質を用いることにより照明の位置と姿勢を推定可能である.
本論文の構成は以下の通りである. 1 章では本研究の位置付けと方針を明確にする. 2 章では関連研究を概観し, 本研究の貢献を明らかにする. 3 章では観測輝度情報を光線強度に分離することによる近接光源の放射輝度分布の推定手法について述べる. 4 章では中空透明球体を用いた照明の位置推定手法について述べる.

5 章では提案手法によって推定された結果を用いた実アプリケーション例を示す.
最後に 6 章では本研究について総括し, 今後の展望について述べる.

キーワード
近接光源, インバースライティング, 三角測量, 中空透明球体2Illumination estimation for near light sources∗
Takahito Aoto

Abstract
Estimation of illumination environment is essential for photorealistic rendering of images, and inverse rendering that estimates reflectance properties or an
object’s shape from images. It is an important problem in the field of computer
vision and computer graphics. Conventionally, various methods for estimating
an illumination environment that is being lit by a far light source have been proposed. These methods estimate a radiant intensity for an illumination source,and estimate the direction of the illumination. However, in the case when an
illumination exists near an object, it is necessary to estimate the illumination
position and posture because the incident direction and distance between theillumination and the object may change at diﬀerent positions. Also, since wemust consider the eﬀect of an illumination’s size, it is necessary to estimate theanisotropic radiance distributions. On the other hand, in the case when radiancedistributions are calibrated, it is necessary to estimate the light source positionsin an illumination for estimating an illumination position and posture. In orderto address these problems, this thesis proposes a method to estimate , which
are the anisotropic radiance distributions, and the light source positions, which
consist of the illumination position and posture.
For acquiring the radiance distributions, we propose a method based on inverse
rendering that estimates radiance distribution by decomposing the observed intensity into light ray intensities. the proposed method transforms the ill-posed∗

Doctoral Dissertation, Department of Information Systems, Graduate School of Information
Science, Nara Institute of Science and Technology, NAIST-IS-DD1261001, December 14, 2015.

3

problem of inverse rendering into a well-posed problem by introducing a visualhull constraint or alternatively constraining the light ray intensities to be nonnegative. By introducing these constraints, this method can achieve a stableestimation of intrinsic illumination parameters from a few input images.
For estimating the light source positions in an illumination, on the other hand,
we propose a method which uses a clear hollow sphere for estimating positionsof near light sources using two kinds of reflected positions: outside and insidespecular lights on a single clear hollow sphere. This method has the following
features: (1) geometric calibration for multiple reference objects is not required,(2) positions of corresponding reflections are observed on an epipolar line andthus it is easy to find corresponding pairs of reflected positions, and (3) positionof near light sources can be stably estimated by minimizing re-projection errors.
This thesis is organized as follows. Chapter 1 gives a perspective of the present
study. Chapter 2 presents related work to show the contribution of this thesis.
Chapter 3 describes our method for estimating intrinsic illumination parametersfrom observed intensities. Chapter 4 describes an estimation method for extrinsic
illumination parameters using a clear hollow sphere. Chapter 5 demonstrates theeﬀectiveness of the proposed method by an application of the proposed method.
Finally, Chapter 6 summarizes the presented study.

Keywords:
near light source, inverse lighting, triangulation, clear hollow sphere

4

目次
1. 序論

11

1.1

背景 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

11

1.2

本研究の位置付けと方針 . . . . . . . . . . . . . . . . . . . . . . .

12

2. 関連研究
2.1

2.2

16

放射輝度分布を獲得する手法の分類 . . . . . . . . . . . . . . . . .

16

2.1.1

インバースライティングに基づく手法. . . . . . . . . . .

16

2.1.2

放射強度分布を直接獲得する手法 . . . . . . . . . . . . . .

17

2.1.3

イメージベースドライティング . . . . . . . . . . . . . . .

18

光源の位置推定手法の分類 . . . . . . . . . . . . . . . . . . . . . .

19

2.2.1

三角測量に基づく光源位置の推定手法

2.2.2

インバースレンダリングに基づく光源位置の推定手法の分類 20. . . . . . . . . . .

3. 観測輝度情報を用いた近接光源の放射輝度分布の推定

19

22

3.1

序言 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

22

3.2

放射輝度分布の推定における基本的な概念 . . . . . . . . . . . . .

24

3.2.1

観測輝度と放射輝度分布の関係性 . . . . . . . . . . . . . .

25

3.2.2

球面調和関数を用いた放射輝度分布の近似 . . . . . . . . .

26

光線の視体積制約を用いた放射輝度分布の再構成 . . . . . . . . .

28

光線の視体積制約 . . . . . . . . . . . . . . . . . . . . . . .

28

3.3

3.3.1
3.4

3.5

光線強度の非負値制約および L1 ノルム正則化を用いた放射輝度分
布の推定 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

30

3.4.1

定式化 . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

30

3.4.2

L1 ノルム正則化 . . . . . . . . . . . . . . . . . . . . . . . .

30

3.4.3

光線強度の非負値制約 . . . . . . . . . . . . . . . . . . . .

31

実験 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

33

3.5.1

シミュレーション環境下での視体積制約を用いた場合における放射輝度分布推定精度の評価 . . . . . . . . . . . . . .

5

33

3.5.2

実環境下での視体積制約を用いた場合における放射輝度分
布推定精度の評価 . . . . . . . . . . . . . . . . . . . . . . .

3.5.3
3.6

36

実環境下での光線強度の非負値制約を用いた場合における放射輝度分布の推定精度の評価 . . . . . . . . . . . . . . .

41

結言 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

59

4. 中空透明球体上の鏡面反射光を用いた近接光源位置の推定

60

4.1

序言 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

60

4.2

中空透明球体上の鏡面反射光を用いた近接光源位置の推定 . . . .

61

4.2.1

概要 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

61

4.2.2

画像上における反射光位置の検出と対応する反射光の組の決定 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

62

近接光源の三次元位置の推定 . . . . . . . . . . . . . . . .

64

実験 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

69

4.2.3
4.3

4.4

4.3.1

シミュレーション環境における光源位置推定精度の評価

.

69

4.3.2

実環環境における光源位置推定精度の評価 . . . . . . . . .

78

4.3.3

複数光源下での光源位置推定 . . . . . . . . . . . . . . . .

79

4.3.4

線光源の三次元復元 . . . . . . . . . . . . . . . . . . . . .

81

4.3.5

提案手法における制限 . . . . . . . . . . . . . . . . . . . .

83

結言 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

84

5. 提案手法の応用-近接光源を用いた照度差ステレオ法-

85

6. 近接光源位置情報を用いた照度差ステレオ法による形状と法線方向の推
定

85
6.0.1

6.1

シミュレーション環境における形状復元結果 . . . . . . . .

実環境における形状復元結果. . . . . . . . . . . . . . . . . . . .

7. 結論

85
87
89

7.1

まとめと考察 . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

89

7.2

今後の展望

90

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

6

謝辞

91

参考文献

92

付録

105

A. 電磁波の放射エネルギーを表す放射量105

B. ランバート拡散反射

107

7

図目次
1

光源に付随するレンズ, リフレクター . . . . . . . . . . . . . . . .

132

近接光源の場合における物体表面に入射する光の角度 . . . . . . .

133

中空透明球体. 左: 実験環境の外観図 右:観測画像 . . . . . . . . .

144

中空透明球体における光線の反射 . . . . . . . . . . . . . . . . . .

155

放射輝度分布の分類. . . . . . . . . . . . . . . . . . . . . . . . . .

236

提案手法の概念図. . . . . . . . . . . . . . . . . . . . . . . . . . .

25

7

ライトフィールド平面 L 上におけるライトフィールドのパラメー
タ化.

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

27

8

光線の視体積制約の外観図 . . . . . . . . . . . . . . . . . . . . . .

29

9

光線強度の取り得る値を範囲を制限する物理制約 . . . . . . . . .

32

10

シミュレーション環境における実験設定 . . . . . . . . . . . . . .

34

11

シミュレーション環境における観測画像および放射輝度分布の真値.

3512推定された放射輝度分布を用いてリライティングした画像.

. . .

35

13

推定された放射輝度分布. . . . . . . . . . . . . . . . . . . . . . . .

37

14

光線の視体積制約を用いた場合における実験設定.

. . . . . . . .

38

15

実環境で撮影された入力画像. . . . . . . . . . . . . . . . . . . . .

38

16

実環境において推定された放射輝度分布を用いてリライティング
した画像. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

39

17

実環境において推定された放射輝度分布.

. . . . . . . . . . . . .

4018

光線強度の非負値制約を用いた場合における実験設定 . . . . . . .

4219

観測された画像および手法 (I)-(V) によって推定された放射輝度分布を用いてリライティングした画像. . . . . . . . . . . . . . . . .

20

光源として図 18(a) を用いた場合における提案手法によって推定された放射輝度分布. . . . . . . . . . . . . . . . . . . . . . . . . . .

21
22

44
46

光源として図 18(a) を用いた場合における比較手法によって推定された放射輝度分布. . . . . . . . . . . . . . . . . . . . . . . . . . .

47

観測画像とリライティングした画像との輝度誤差.

488. . . . . . . .

23

球面調和関数の次数 F を変化させながら提案手法 (I) によって推定された放射輝度分布を用いてリライティングした画像. . . . . . .

2450

実球面調和関数の次数を F = 69, 79, 89 とした場合における提案手
法 (I) によって推定した放射輝度分布を用いてリライティングした
画像.

25. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

実球面調和関数の次数 F を変化させた場合における真値とリライ
ティングした画像との輝度誤差 . . . . . . . . . . . . . . . . . . .

2651

空間方向の分解能を変化させた場合において空間方向サンプリン
グ点として与えた位置.

27

51. . . . . . . . . . . . . . . . . . . . . . .

54

空間方向の分解能を変化させた場合において提案手法 (I) によって推定した放射輝度分布を用いてリライティングした画像. . . . . .

55

28

その他の実験に用いた光源 . . . . . . . . . . . . . . . . . . . . . .

57

29

LED が三角形状態に配列された光源を用いた場合における撮影画
像 (真値) と各手法によって推定された放射輝度分布を用いてリライティングした画像. . . . . . . . . . . . . . . . . . . . . . . . . .

30

58

レンズとリフレクターが付随した光源を用いた場合における撮影
画像 (真値) と各手法によって推定された放射輝度分布を用いてリライティングした画像.

. . . . . . . . . . . . . . . . . . . . . . .

58

31

中空透明球体を用いたエピポーラ幾何. 左: 外観図 右: 観測画像. .

61

32

2 つの場合におけるエピポーラ平面断面図 . . . . . . . . . . . . .

63

33

再投影誤差

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

67

34

スネルの法則 . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

6835

シミュレーション環境におけるカメラと中空透明球体位置 . . . .

70

36

厚さ 0mm の理想的な中空透明球体を用いた場合における再投影誤差最小化を用いた光源位置推定誤差の分布.

. . . . . . . . . . . .

7137

仮想環境における入力画像 . . . . . . . . . . . . . . . . . . . . . .

72

38

厚さ 0mm の理想的な中空透明球体を用いた場合における中点法を用いた光源位置推定誤差の分布. および再投影誤差を最小化した場合と中点法を用いた場合の誤差比 . . . . . . . . . . . . . . . . .

9

74

39

厚みのある中空透明球体を用いた場合における光源位置推定誤差の分布. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

40

特定の光源位置 (上図) における中空透明球体の厚みと光源位置推
定精度の関係 (下図). . . . . . . . . . . . . . . . . . . . . . . . . .

41

75
77

中実透明球体を用いた場合における光源位置推定誤差の分布. 図
中三角はカメラ位置, 二重丸は中空透明球中心を表している. . . .

78

42

実環境における位置推定誤差. . . . . . . . . . . . . . . . . . . .

79

43

複数光源下での入力画像 . . . . . . . . . . . . . . . . . . . . . . .

80

44

複数光源下での光源位置推定結果. . . . . . . . . . . . . . . . . . .

8045

線光源の光源位置推定 . . . . . . . . . . . . . . . . . . . . . . . .

82

46

仮想環境における近接光源を用いた照度差ステレオ法による球の三次元復元結果. . . . . . . . . . . . . . . . . . . . . . . . . . . . .

47

86

実環境における近接光源を用いた照度差ステレオ法による球の三次元復元結果.

. . . . . . . . . . . . . . . . . . . . . . . . . . . .

88

48

放射強度, 放射照度, 放射輝度49

光源と物体表面 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 107

50

照度の逆二乗則 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10851

照度の入射角余弦則52

距離の変化による観測可能な領域の変化 . . . . . . . . . . . . . . 110. . . . . . . . . . . . . . . . . . . . 106. . . . . . . . . . . . . . . . . . . . . . . . . 109

101. 序論1.1 背景光は基本的な自然現象であり, 我々の周囲に関する知覚現象を決定する主な要因の一つである. 我々の周りには様々な光源が存在する. 日中は太陽が周囲を照らし, 夜は星々からの光の一部を地上から観測することができる. また人類がランプや蛍光灯のように人工的な光源を開発していることからも, 光が我々にとって重要なものであることを示している. このような光源から放射された光は, 環境
内で反射・屈折・散乱などの光学現象を起こし, 我々の目で観測される. この時,環境内に存在する物体の「見え」を決定するのは環境に入射する光である照明環
境と物体の形状・材質である. この物理現象のモデルに基づき, 写実的な画像を生成するフォトリアリスティックレンダリング [1–8] や画像から物体の形状や材質を推定するインバースレンダリング [9–16] の研究が盛んに行われてきた. これらの研究において, 照明環境の獲得は必要不可欠であり, コンピュータグラフィッ
クスやコンピュータビジョンの分野において重要な課題の一つである.
従来, シーンから十分遠方に存在する光源を対象とした照明環境の推定が行われてきた [17–21]. しかし, 光源が十分遠方にない近接光源を対象とした場合, 図 1に示すように, 照明の大きさや照明に付随するレンズやリフレクターなどにより生じる照明の非等方な放射輝度分布の影響を無視することは難しい. また図 2 に示すように, 物体上の位置によって変化する照明からの距離と入射方向の変化の影響を無視することは難しい. 従って, シーンから十分遠方に存在する光源を対象とした従来の照明環境の推定を用いて, 近接光源の照明環境を精度良く再現することは困難である.
これに対して近年, 近接光源を対象とした照明環境の推定が行われている. 近接光源を対象とした照明環境の推定は, 光源から放射される光を対象とした照明
環境推定と, シーンに入射する光を対象とした照明環境推定に大別できる. シー
ンに入射する光を対象とした照明環境推定は, 光源が直接物体を照らす直接光と,物体上で光学現象を起こした光が他の物質を照らす間接的な光源となる間接光の双方による結果を照明環境として扱い, 光源位置・姿勢やシーンが変化しない静的11

な環境を対象として研究が行われてきた. これらの手法はシーンの位置と方向のパラメータを入力とし, 対象とするシーンの位置・方向に入射する放射照度を推定しており, 推定された照明環境の中には照明の位置・姿勢の情報や間接光の情報が存在しないため照明の位置・姿勢やシーンが変化する動的な環境において, これらの手法を用い照明の位置・姿勢やシーンの形状や反射特性の変化をパラメータとして照明環境を推定することが原理上困難である. そのため, 照明の位置・姿
勢やシーンが変化するごとに照明環境を推定する必要があるという計測コストの問題が存在する.
一方, 照明から放射される光を対象とした照明環境推定では, 照明自身から放射される放射輝度分布を推定する. この手法を用いシーンに入射する光を推定する場合, 直接光は光源から放射される照明環境情報とシーン内における照明の位
置・姿勢から推定可能であり, 間接光は事前に獲得されたシーンの情報 (形状・反射特性など) を用いることで, コンピュータ・グラフィクスレンダリングの技術を用い推定可能である. 光源位置・姿勢やシーンが変化する動的な環境を対象とした場合, 照明自身に特有の放射輝度分布は照明の位置・姿勢の変化やシーンの変化から影響を受けないため変化しないため, 照明の位置・姿勢のみを推定すれば,シーンに入射する光を推定可能であり, 照明から放射される光を対象とした照明
環境推定手法は, シーンに入射する光を対象とした照明環境推定手法と比較し, 計
測コストが低いという特長がある. そのため, 照明の位置・姿勢が変化する動的な環境を対象とした場合, 照明の放射輝度分布を推定する手法が求められる. また, 照明の使用環境における照明の位置姿勢を取得する手掛かりの一つとして照明内部に存在する光源位置を推定する手法が求められる.

1.2 本研究の位置付けと方針
本節では, 近接光源を対象とした光源の放射輝度分布, 従来手法に対する本研究の位置付けを述べる. 前節で述べたように, 近接光源を対象とした照明環境の推定は, 照明自身の放射輝度が未知の場合と照明を使用する環境における照明の位置姿勢が未知の場合の二つの状況が考えられる. そこで, 本研究では, 前者の場
合には照明の放射輝度分布を推定し, 後者の場合には照明の位置姿勢を推定する

12

図 1 光源に付随するレンズ, リフレ 図 2 近接光源の場合における物体表
面に入射する光の角度

クター

手掛かりとして照明内における光源の位置を推定する. 本研究では, 上記二つの場合において以下に示すように, 近接光源を対象とした照明環境の推定をそれぞれ行う．
照明の放射輝度分布の推定:

本研究では幾何形状と反射特性が既知の参照物体

上で観測される輝度情報から放射輝度分布を推定するインバースライティングに基づく手法を提案する. インバースライティングに基づく手法は不良設定問題になりやすいことが知られており, 従来は参照物体の形状を工夫することや陰や影の情報を利用することで性質の良い問題に変換し, 光源環境を推定していた. それに対し提案手法は, 光源の持つ物理的な制約を用いることで参照物体の形状が平面である場合のように陰や影の情報が使えない状況においても放射輝度分布を推定可能であるという特長がある.
照明内における光源の位置姿勢の推定:

本研究では, 照明の光源の位置・姿勢を推定するために照明内に存在する光源の位置を推定する手法として, 図 3 に示すような球体内部が中空の透明物体である中空透明球体を用いる手法を提案する.
具体的には, 図 4(a) に示すように, 中空透明球体のカメラ側前部の領域で反射し観測される鏡面反射光 (球前部反射光) と, 中空透明球体表面を透過した光が中空
透明球体の背部領域で反射し再び球表面を透過して観測される鏡面反射光 (球後部反射光) の二種類の鏡面反射光を用い, 三角測量の原理に基づいて光源位置を推13Light source

Clear hollow sphere

Camera

図 3 中空透明球体. 左: 実験環境の外観図 右:観測画像定する. ただし, 図 4(b) に示すように, 理想的には一つの鏡面反射光が, 中空透明
球体の厚みによる屈折の影響によって, 中空透明球体の外部表面で反射し観測される鏡面反射光と, 中空透明球体の外部表面で屈折し内部表面で反射して観測される鏡面反射光, の二種類の鏡面反射光として観測される. そこで, 中空透明球体の厚みと屈折率が既知の場合には, 厚みと屈折率を考慮した推定を行う. 提案手法は以下の特長を持つ.

(1) 単一の参照物体のみによる推定を行うため参照物体間の幾何学的キャリ
ブレーションが不要(2) 画像上で同一の光源に対する反射光が球中心を通る直線上に観測されるため反射光の対応付けが容易(3) 画像上で反射光の再投影誤差を最小化することで光源位置を安定に推定可能14

(a) 球面前部・後部反射光

3./4512)%#-.//.012)%#+,,$%&'"%()*$!"#$%&'"%()*$(b) 球面内部表面・外部表面反射光

図 4 中空透明球体における光線の反射

15

2. 関連研究
本章では, 照明環境の推定を, 放射輝度分布を獲得する手法, および照明の位置・姿勢を参照物体を用いて推定する手法に分類し, それぞれの手法の特徴について述べる.

2.1 放射輝度分布を獲得する手法の分類
放射輝度を獲得する手法は放射輝度分布を直接観測によって獲得する手法と,インバースライティングに基づく光源に関するパラメータを求めることで放射輝度分布を推定する手法, イメージベースドライティングに基づき放射輝度分布を明示的に獲得することなく照明と物体の見えの関係性を推定する手法に分類できる. 以下, 各手法の詳細を述べる.

2.1.1 インバースライティングに基づく手法
カメラで観測される物体上の明るさは, 既知の照明環境・物体形状・物体の材
質から CG レンダリングの技術を用いることによって推定可能である. インバー
スライティングは物体表面で特定の反射モデルが成り立つことを仮定し, 観測画
像とレンダリング画像との差が小さくなるようにパラメータの最適化を行うこと
で光源の放射輝度分布を推定する.
初期の放射輝度分布を推定する手法は, 光源を等方的な放射輝度分布を持つ単一の点光源であると仮定することで, 照明環境を推定している. Schoeneman ら [22]は物体表面上に光の色が残るという性質を利用し, 光源の放射輝度を推定しようとした. Hara らは [23, 24] は, 鏡面反射光から光源方向を推定し, 鏡面反射光の広がりから光源位置を推定する手法を提案した.
光源を等方的な放射輝度分布を持つ複数の点光源であると仮定することで, 光源の放射輝度分布を推定する手法が提案されている. Marschner と Greenberg ら [25]は物体表面形状が既知の物体を用い, シーンに入射する放射輝度分布を測定しようとした. その際, 物体表面が拡散反射の性質である場合にインバースライティン

16

グが不良設定問題になることを指摘した. 後に Ramamoorthi と Hanrahan ら [26]は信号解析を行うことによって, 物体表面の材質が鏡面反射などの高周波成分を含む場合にのみインバースライティングが良設定問題となることを示した. そのため, インバースライティングにおいては不良設定問題をどのように良設定問題に変換して解くかが重要である. Harutunian ら [27] はシーン内で複数回反射するという前提のもと modified truncated SVD [28] を利用し照明環境を推定した.
また, Franca ら [29] や Morales ら [30] は, 散乱物体内にある光源の放射輝度分布を推定した. Oguma や Howell ら [31] は, 対象物体が完全な拡散反射をするという仮定のもと, インバースモンテカルロと呼ぶべき方法を用いて照明環境を推定した. Sato ら [32, 33] や Takai ら [34] は影の情報を用いることで, 放射輝度分布を安定に推定する手法を提案した. これらの手法は, 参照物体を工夫するとこで, 不良設定問題を良設定問題に変換している. ただし, 光源の放射輝度分布を推定するためには専用の参照物体が必要となる. また原理上, 推定された放射輝度分布に負の光線強度が含まれる可能性が存在するといった別の問題も存在する.

2.1.2 放射強度分布を直接獲得する手法
放射輝度分布を直接獲得する手法は, レイトレーシングの技術を用いることによって, カメラ上で観測された輝度情報と光源からの放射強度を対応付けること
によって光源の放射輝度分布を直接計測する. 従来, 光源が角度方向のみの分解能を持つと仮定することで光源の配光特性を直接計測する手法や, 光源が空間方向のみの解像度を持つと仮定することで光源の大域照明を直接計測する手法が提案されてきた. 大域照明を直接計測する手法として, 鏡面球を用いる手法 [35–37]や全方位カメラを用いる手法 [38] が提案されている. 近接光源を対象とした場合,
光源の非等方な放射輝度分布や大きさを無視することは難しい. そのため, これらの手法を用いて近接光源の放射輝度分布を獲得することは難しい.
角度方向・空間方向の分解能を持つ光源の放射輝度分布を直接獲得する単純な方法として, カメラ・ロボットアームシステムを用い, あらゆる位置・方向から撮影を行う手法が提案されている [39–42]. これらの手法は, 一般的に計測時間が長く, 撮影にかかるコストが大きい. そのため, 計測にかかる時間を削減する方

17

法として, Unger ら [43] は平面上を移動する鏡面球を用いる手法を提案している.

Goesele ら [44] は, カメラの絞りを工夫することで, カメラの撮像素子上に入射す
る光を空間的にサンプリングする手法を提案している. これらの手法は従来手法に比べ撮影枚数を削減できるものの, 未だ大量の撮影が必要であるという問題がある. また, 単一の撮影で放射輝度分布を獲得する手法として, 複数の鏡面球を用いる手法 [45] やレンズアレイを用いる手法 [46] が提案されている. しかしこれらの手法では, 撮影枚数を減らすために空間方向の解像度や角度方向の解像度を低下させているという問題がある.

2.1.3 イメージベースドライティング
イメージベースドライティングは実際に撮影された画像から照明環境に関する情報を直接取り出す手法である. インバースライティングと異なり, 物理モデルに基づいたパラメータを推定するのではなく, 物体の見えに関するパラメータを推定する.
従来, 様々な物体を様々な方向から多数の画像を撮影することで, イメージベー
スドライティングを行う手法が提案されてきた. Debevec ら [47] はライトプロー
ブを用いることで, 様々な方向から光が当てられた人の顔画像を撮影し, それらの画像を基に任意の照明環境下における人の顔画像を生成する方法を提案した.

Wenger ら [48] はハイスピード多重化照明を用いることで撮影に関わる手間を簡略化した. Hawkins ら [49] はヘルムホルツ異性体を用いることで, カメラと光源の役割を入れ替えてることで撮影の枚数を少なくする方法が提案された

O’Toole ら [50] は光線が画像のどこに影響を与えるかのを primal-dual codingを用いて推定する手法を提案した.
より少ない枚数の画像からイメージベースドライティングを実現する手法として, ライトトランスポートマトリックスが疎であると仮定した手法 [51–55] や獲得されたデータ自体が疎であると仮定した手法 [56], 未知パラメータを Wavelet など別の基底を用いて変換することで未知パラメータ自身を疎にする手法 [57, 58]などが提案されている.
また近年 Ren ら [59] は 事前に様々な照明環境下で撮影された画像をもとに物18

体上で起こる陰影のパターンを機械学習しておくことで物体をリライティングする方法を提案している. これらイメージベースドライティングを用いた手法には,異なる照明環境下における多数の撮影が必要となる問題とリライティング可能な物が事前の撮影で決定されるという問題がある.

2.2 光源の位置推定手法の分類
光源位置を推定する手法は, 画像上のハイライトを対応付けることによって三角測量に基づき推定する手法と, インバースライティングに基づき光源に関するパラメータを推定することで光源位置を推定する手法に大別できる. 以下, 各手法の詳細について述べる.

2.2.1 三角測量に基づく光源位置の推定手法
近接光源位置を推定するもっとも単純な方法の一つに, ステレオカメラシステ
ムを用いた三角測量に基づく手法がある. 佐藤ら [38] は, 魚眼レンズ付きのステ
レオカメラシステムを用いることによって広範囲の近接光源位置を推定する手法を提案している. より簡便な手法として, 近年は単一のカメラと鏡面物体を組み合わせた手法 [60, 61] が広く用いられている. 鏡面反射を用いた手法として, Shenら [60] はマーカを取り付けた 2 枚の平面鏡を角度を変えて設置し, 2 枚の平面鏡
上の鏡面反射光の対応付けを行い, 光源の位置を求める手法を提案している. この手法には, 平面鏡を通して観測できる空間が狭いため, 光源位置を推定できる範囲が狭いという問題があるが, 平面鏡の代わりに鏡面球を用いることで広範囲の光源位置を推定することが可能となる [61]. ただし, 鏡面球を用いる従来手法 [61]では, 光源位置・光学中心・球の位置関係から球面上の反射位置を求めることが難しい [62] という理由から, 画像計測の分野で一般的に用いられる再投影誤差を最小化する代わりに, 対応する光線の光路を最短で結ぶ線分の長さである object

space error を最小化している. また, これら鏡面反射を利用した手法に共通する問題として, 複数光源下における反射光の対応点を決定することが難しいという問題がある. その他ステレオビジョンの分野において, Nayar [63] は複数の鏡面球19を用いる手法を, Nene と Nayar [64] は楕円鏡, 双曲面鏡, パラボドイド (回転放物面) 鏡など特殊な光学系におけるステレオ視を提案しているが, これらの光学系においても対応する反射光の組を決定することが難しいという共通の問題を解決していない.
また, 光源の形状が事前に既知であるものとして形状の特性を用いた光源位置推定手法が存在する. 蛍光灯など線光源を対象とした手法として, Schnieders
ら [64] や Lanman ら [65, 66] は複数の鏡面球を用いて線光源の位置を推定している. スクリーンなど長方形の光源を対象とした手法として, 複数の鏡面球を用いる手法 [67–70] が提案されている. これら光源の形状が事前に既知であることを仮定した手法は, 任意の形状の光源位置を推定することが原理上困難である.
他方, 近年ステレオビジョンの分野においては, 透明物体によって起こる屈折や反射を利用する三次元復元手法が提案されている [71–73]. Shimizu ら [71, 72] は,透明な平面板上に写る二重像を利用して三次元位置を推定する方法を提案している. Chen ら [73] は, 直接観測した画像と位置姿勢が未知の透明物体を介して観測した画像から三次元位置を推定する方法を提案している. これらの手法は原理的に近接光源位置の推定に応用可能であるが, 前述した鏡面反射を用いた手法と同様に複数光源下における反射光の対応点決定の問題が存在する.

2.2.2 インバースレンダリングに基づく光源位置の推定手法の分類
カメラで観測される物体上の明るさは, 既知の物体形状・物体表面の反射特性・
光源情報から CG レンダリングの技術を用いることによってシミュレート可能である. 陰影解析に基づく手法は, 物体表面で特定の反射モデルが成り立つことを仮定し, 観測画像とシミュレーション画像との差が小さくなるようにパラメータの最適化を行うことで光源の位置を推定する.

Takai ら [74] は単一の拡散球を用いる手法を提案している. この手法は, 球上の等輝度線の分布を解析することで光源の三次元位置を推定している. Takai ら [34]は既知の中空立方体を用いる手法を提案している. この手法は空間中のいかなる位置に光源が存在しても中空の立方体中にセルフシャドウが発生するという特徴を利用し, 観測される輝度値と既知の中空立方体の反射特性・形状の関係から光20源位置を推定する. Hara ら [23] [24] は, 鏡面反射成分のみを観測した画像から光源位置を推定する手法を提案している. これらの手法では, まず鏡面反射光のみを抽出するために, カメラと光源に偏光フィルタを用いた拡散反射光の除去 [24]や色に基づく反射成分の分離を行う. 次に位置姿勢が既知の平面上の鏡面反射光のピークから光源方向を求め, Torrance Sparrow モデルに当てはめ光源位置を推定している. これら陰影解析に基づく手法は, 問題の単純化のために光源を等方な放射輝度分布を持つ点光源であると仮定している. また, ノイズや量子化によりカメラで観測される陰影情報が変化するという理由から, 光源位置を安定に推定することが難しい.

21

3. 観測輝度情報を用いた近接光源の放射輝度分布の推定
3.1 序言本章では, 照明が大きさを持ち非当方な放射輝度分布持つ近接光源を対象とした照明の放射輝度分布を推定する手法として, 照明環境を４ D の放射輝度分布としてモデル化し, そのパラメータを少数の撮影画像から推定するインバースライ
ティングに基づく手法を提案する.
従来, 照明の放射輝度分布を推定するために, 様々な照明モデルが提案されてきた. 図 5 に示すように, これら照明モデルは, 光源の空間方向の次元数と角度方向の次元数によって 4 つに大別することができる. 従来, コンピュータビジョンの分野では, 光源が無限遠方に存在し光源の大きさが無視できる程小さいという仮定を置くことで, 図 5(a) に示すような点光源や平行光源などの理想的で扱い易い光源モデルが用いられてきた. またこれら理想的な光源の集合を考慮することで図 5(c) に示すような空間方向の変化を考慮した大域照明モデルを扱った手法 [9, 22, 75, 76] が提案されている. しかし, 実世界の光源は, 物体から有限の距離に存在するため, 上記光源モデルとは異なる特性を有する. 光源が物体から有限の距離に存在することを考慮したモデルとして, 図 5(b) に示すような光源を等方な放射輝度を持つ点光源の集合と仮定したモデルや図 5(d) に示すような非等方な放射強度を持つ点光源モデルがある. 前者を用いた手法 [23, 24, 32–34] は放射輝度の角度方向の変化がないものと仮定し, 光源の空間方向の広がりを考慮しており, 後者を用いた手法 [77] は物体の大きさに対して光源が十分に小さいことを仮定し, 放射強度の角度方向の変化を考慮している.
しかし, 実世界の光源にはレンズやリフレクターが付けられていることが多く,等方な放射輝度を持つ点光源の集合と仮定したモデルでは光源の角度方向の変化を考慮することができない. また, 非等方な放射強度を持つ点光源モデルを用いた手法では光源の空間方向の広がりを考慮することができない. そのため, 実世界の光源をモデル化するためには, 光源の角度方向と空間方向の両方の連続的な変化を考慮し, 光源を図 5(f) に示すような 4 次元のライトフィールドとしてモデル化

22

Angular Distribution
Anisotropic
Isotropic

Singlea). Isotropic Point
Light Sourced). Anisotropic Point
Light Source

Spatial Distribution
Multipleb). Set of Point
Light Sources

Continuousc). Surface Lighte). 4-D Light Fieldf ). Ideal 4-D Light Field

図 5 放射輝度分布の分類. a) 平行光源, 等方な放射輝度を持つ単一の点光源, b)
等方な放射輝度を持つ点光源の集合, c) 面光源, 大域照明, d) 非等方な放射輝度を持つ単一の点光源, e) 4D 放射輝度分布 f) 理想的な 4D 放射輝度分布. 図中 (e)は空間方向が離散値で表現され角度方向は連続値を持つ. また図中 (f) は空間方向および角度方向の両方が連続値を持つ.

する必要がある. 4 次元のライトフィールドを扱う既存の手法は, カメラを動かす
ことで各光線強度を直接観測している [39–42]. 従って, 4 次元のライトフィール
ドを獲得するためには, 多量の観測を必要とする. 観測にかかるコストを減らすために鏡面球を用いた手法 [43, 45], レンズアレイを用いた手法 [46], フィルターを用いた手法 [44] など連続値である理想的な 4 次元の放射輝度分布を離散化する際における空間方向と角度方向のサンプリング間隔を大きくする手法が提案されてきた.
本研究では従来手法とは異なり, 各光線強度を直接観測観測するのではなく, 幾
何形状, 反射特性が既知の参照物体上で観測される輝度情報を各光線強度に分離することで 4 次元のライトフィールドを推定するインバースライティングに基づく手法を提案する. インバースライティングに基づく手法は不良設定問題になりやすいことが知られており, 従来は参照物体の形状を工夫することで, 陰や影の23

情報を利用して性質の良い問題に変換し, 光源環境を推定していた [34]. これに対し提案手法は, 物理的な制約や事前知識を凸最適化問題として定式化することで, 参照物体の形状が平面である場合のように陰や影の情報が使えない状況においても 4 次元のライトフィールドを再構成可能であるという特長がある. なお本
研究では, 図 5(e) に示すような, 空間方向が離散化され複数の点で表現され, 角度
方向が連続値で表現された 4 次元のライトフィールドを扱う.

3.2 放射輝度分布の推定における基本的な概念
本節では, 参照物体上で観測された輝度情報から放射輝度分布を推定する方法について述べる. 図 6 に提案手法に関する概念図を示す. 光源から放射された光線は, L で定義されている平面を通過し, ディフューザ B 上で透過・反射しカメラ上で観測される.
放射輝度分布が角度方向の分解能と空間方向の分解能を持つ場合, 放射輝度分
布は光線が通過する面 L 上の位置（2 次元）とその位置を通過する方向（2 次元）の 4 次元のライトフィールドとして表現される. カメラとディフューザの位置関係が固定された環境において, ディフューザと光源の位置関係を変更しながら複数の画像を撮影する. このような状況において提案手法は, 観測された輝度情報
を光線強度情報に分離することにより照明の放射輝度分布を推定する.
提案手法では, 観測輝度情報から放射輝度分布を推定するために以下の仮定を用いる.

• カメラ, ディフューザ, 光源の相対的な位置・姿勢は既知である.
• 放射輝度分布は静的である.
• カメラの放射応答関数は線形である.
• 光は散乱や吸収によって減衰しない.
以下では, まず観測輝度と光線強度との関係を述べ, 観測輝度から放射輝度分布を推定するインバースライティング問題としてどのように定式化できるのかを述べる.

24Light Field Plane L

CameraLight Source
Diﬀuser B
図 6 提案手法の概念図.

3.2.1 観測輝度と放射輝度分布の関係性
図 7 に示すように, 4 次元のライトフィールドは光線が通過する面 L 上の位置

(u, v) とその位置を通過する方向 (ϕ, θ) で表現できる. 図中の半球の中心はライトフィールド平面 L の空間方向サンプリング位置 u, v を表し, 半球内の矢印は空間
方向サンプリング位置 u, v を通過した光線が通過した方向 ϕ, θ を表す. ディフュー
ザ上の微小領域 xi で観測された観測輝度 oi は, 微小領域 xi に入射する全ての光線強度の和として以下のように表現できる.
∫
oi = α ai (j)s(j)dj,j(1)= (u, v, ϕ, θ)T

ただし ai (j) は以下のように表現できる.
 ρ,
if ray j hits xi
ai (j) = 0,otherwise(2)

ここで α は光線強度と観測輝度の関係を表す定数である. s(j) は光線 j の光線強度を表し, ρ は ディフューザ B 上での減衰率を表す. ここで, ディフューザ B 上のN 個の異なる領域 {x1 , · · · , xN } において, 観測輝度 o = {o1 , · · · , oN } ∈ RN が得られたとする. 光線 j が空間方向と角度方向に (u, v, ϕ, θ)T に M 本の光線の集合

25

となるようサンプリングされ, s = {s1 , · · · , sM } ∈ RM の光線強度の集合で光源
による陰影が十分表現可能であると仮定した場合, 光線強度 sj は以下の様に表現
できる.

∫

∫
sj =

s(j)dθdϕdudv
u,v∈li(3)ϕ,θ∈di

ここで li はライトフィールド平面 L 上における微小領域を表し, di は微小領域 liの半球上の微小領域を通過する光線の方向を表す. ここで, 観測輝度 o と放射輝度分布 s の関係は以下のように線形に表現可能である.

o = As(4)

ここで, A : RM 7→ RN は放射輝度分布から観測輝度をレンダリングするためのレンダリング行列を表し, 既知のパラメータである. 十分な観測がある場合, 式 (4)は原理上線形に解くことが可能である.

3.2.2 球面調和関数を用いた放射輝度分布の近似
式 (4) において, 未知パラメータ s の数はライトフィールド平面 L の空間分解能と角度分解能の積で決定される. そのため, 安定した解を得るためには膨大な観測と計算リソースが必要となる. このような問題を回避するためには, 未知パラメータ数を減らすことが有効である. そこで本研究では, 未知パラメータの数を減らすために, 微小領域から放射される放射輝度分布 s を, コンピュータグラフィッ
クスの分野で大域照明を近似するために用いられている実球面調和関数 [78, 79]
を用いて近似する. 具体的には, 式 (3) において, ライトフィールド平面 L 上の微小領域 li を di の方向に通過した光線の光線強度 si は, 実球面調和関数の重み付き線形和として以下のように近似できる.

si =

+g
F ∑
∑

ci,f,g (ϕ, θ)yf,g(5)

f =0 f =−g

ここで, yf,g は実球面調和関数の基底を表し, ci,f,g は yf,g に対応する実球面調和関数の係数であり, H = (F + 1)2 個の未知パラメータである. ここで, 表現可能な放

26

u
v

図 7 ライトフィールド平面 L 上におけるライトフィールドのパラメータ化.

27

射輝度分布は H に依存する. L を L 個の領域に標本化した場合, 光源の放射輝度分布を表現するために, Ĥ = H × L 個の未知パラメータ c = {c1 , · · · , cĤ } ∈ RĤ
が必要となる. ここで s と c の関係は以下のように表現できる.

s=Yc

(6)

ただし, Y : RĤ 7→ RM は正規直交基底を満たす実球面調和関数の基底行列である. 式 (4) に式 (6) を代入することで, 観測輝度 o と未知パラメータ c の関係は以下のように求まる.

o

=

AY c

=

Bc

bi,j :=(7)

yi,j (ϕ,θ)R(ω)
D(u,v,xi )2

ここで, bi,j は実球面調和関数で近似されたレンダリング行列 B ∈ RĤ 7→ RN の要素であり, R(ω) はディフューザの反射分布関数を表し, ω はディフューザの法線方向と対応する光線が入射する角度を表し, D(·) はライトフィールド平面 L 上の点 (u, v) と B 上の点 xi の二点間の距離を表す.

3.3 光線の視体積制約を用いた放射輝度分布の再構成
有効な観測が十分でない場合, 式 (7) の解は観測ノイズやディフューザと光源の位置姿勢推定誤差に敏感になる. そのため 3.5.5 節で示すように, 単純に解を求めると光線強度が負になるなど望ましくない結果が得られるという問題がある. そこで, 本節では放射輝度分布に関する視体積制約を用いて式 (7) におけるレンダ
リング行列 B の条件数を良くする方法についての述べる.

3.3.1 光線の視体積制約
光線強度に関する物理的な性質から, 光線 j の光線強度 sj に関する制約を導出することができる. 光線強度は負の値を取らない. そのため図 8(a) に示すように, 観測輝度 o が 0 であった場合, B 上の領域 xi に入射するすべての光線強度は28

a) If an observed intensity is 0
on one posi!on, all intensi!esof the rays passing through thisposi!on become 0.
b) At least one of observed
intensi!es on one ray is 0,
the intensity of the ray
becomes 0.

Intensity is not observed
Intensity is observed

図 8 光線の視体積制約の外観図. 図中灰色領域は照明によって照らされていない領域を表し, 図中桃色領域は照明によって照らされている領域を表す.

0 となる. また, 図 8(b) に示すように, 光線 j が通過したすべての B 上の領域 xiにおいて, 一度以上観測輝度が 0 として観測された場合, 光線強度 sj は 0 となる.

c ̸= 0 と仮定すると, 式 (6) より Y の対応する要素すべてが 0 となる. よって光線の視体積制約を導入した場合, 観測輝度 o と未知パラメータ c の関係は以下のよ
うに再定義される.

o = BcB= 0; if (sj = 0) b; otherwise

i,j

(8)

(9)

式 (8) より未知パラメータ c を線形に解くことができ, 放射輝度分布 Y c を得ることができる.

29

3.4 光線強度の非負値制約および L1 ノルム正則化を用いた放射輝度分布の推定有効な観測が十分でない場合, 式 (7) の解は観測ノイズやディフューザと光源の位置姿勢推定誤差に敏感になる. そのため 3.5.7 項で示すように, 単純に解を求めると光線強度が負になるなど望ましくない結果が得られるという問題がある.
そこで, 本研究では, (a) 光線強度に対する物理的な制約と (b) 球面調和関数の係数に対する L1 ノルム正則化を用いた放射輝度分布の推定を行う. 提案手法は凸最適化として定義されるため, 唯一の解のみを持つという特徴を持つ. 以下では,
まず凸最適化問題としてどのように定式化できるのかを述べ, 次にそれぞれの制
約の性質の特徴を述べる.

3.4.1 定式化
光線強度の非負値制約および L1 ノルム正則化を用いた放射輝度分布の推定問
題は以下のように定式化できる.

arg min{||o − Bc||22 + λ||c||1 + ιV (Y c)}c(10)

ここで, 第 1 項は観測された輝度値とレンダリングされた輝度値がの二乗誤差を表している. 第 2 項は球面調和関数の係数の L1 ノルムを表し, λ は L1 ノルムの重みを表している. また, 第 3 項は光線強度に対する物理的な制約を表し, ιV (·) は指示関数である.
式 (10) は各項全てが凸関数として表現されているため凸関数であり, 唯一の解を持つ. 本研究では, 式 (10) を解くために, alternating direction method ofmultipliers [80] を用いた. これを解くことによって放射輝度分布 Y c を得ることができる.

3.4.2 L1 ノルム正則化
ある信号を基底と係数の積で表現する場合において, 入力に対する過適合を避けるために L1 ノルム正則化が一般的に行われている [81, 82]. そこで本研究では,

30

c の絶対和を正則化項として用いる. なお L1 ノルム正則化項の重みパラメータ λは重要な基底をどれだけ選択するのかを決定するパラメータであり, 経験的に決定されることが多い. 本研究では λ を変更しながら複数の実験を行うことで, 真値との輝度誤差が最も低くなるものを λ の値として選択した.

3.4.3 光線強度の非負値制約
光線強度に関する物理的な性質から, 光線 j の光線強度 sj に関する制約を導出することができる. 物理的にすべての光線強度は非負値でなければならない. この制約は以下のように表現できる.

sj ≥ 0 ∀j ∈ j(11)

一方, 図 6 に示したように, 各光線は異なる位置に設置されたディフューザ B 上の多数の領域 xi に入射する. また, 各領域 xi も多数の光線強度 sj の影響を受けている. ここで光線が j 本しか存在しないとすると, 図 9 に示すように, 光線 sj によって照らされた観測輝度 oi は oi = Aj,i sj として表現できる. ただし, Aj,i は式(4) における A の対応する要素を表す. そのため複数の光線が存在する場合, 観測
輝度 oi は以下のように表される.

oi = A0,i s0 + A1,i s1 + · · · + Aj,i sj(12)

各項は非負値であるため, 式 (12) より以下の制約が成り立つ.

sj ≤

oi
Aj,i

(13)

式 (11) と式 (13) より, 以下の制約が導出できる.

oi)i∈Xj Aj,i0 ≤ sj ≤ min((14)

ここで, Xj はディフューザ B 上の微小領域光線 xi に入射した光線 j の集合を表す. 上記制約は s ∈ V として定式化される. ここで, V は閉凸集合を表す. 式 (6)に示すように, 提案手法は球面調和関数を用いて放射輝度分布を近似しているが,

31

Light Field Plane
𝑠1

𝑠2

𝑠3
Range of radiant intensities
is limited as follows:
𝑜1

𝑜1 𝑜3
,
𝐴11 𝐴31𝑜1 𝑜2
0 ≤ 𝑠2 ≤ min,
𝐴12 𝐴22𝑜1
0 ≤ 𝑠3 ≤ min,0𝐴13
0 ≤ 𝑠1 ≤ min𝑜2𝑜3

図 9 光線強度の取り得る値を範囲を制限する物理制約. 図中灰色領域は照明によって照らされていない領域を表す.
球面調和関数は正規直交基底であるので, s が写像された c も閉凸集合となる. そのため, 上記制約は以下のように表現できる.

Yc∈V

(15)

この制約は, 以下のように定義される指示関数 ιV : RM → [0, ∞] を用いて凸関数として表現可能である.

ιV (Y c) =
 0,

if Y c ∈ V ∞,otherwise

32

(16)

3.5 実験
本節では, まず提案手法によりシミュレーション環境において 放射輝度分布の推定を行い, 真値との比較を行うことで放射輝度分布の推定精度を検証する. 次に, 実画像を用いて実シーンでの放射輝度分布の推定を行う.

3.5.1 シミュレーション環境下での視体積制約を用いた場合における放射輝度分
布推定精度の評価
本節では, シミュレーション環境において, 放射輝度分布の推定を行い, 真値との比較を行うことで放射輝度分布の推定精度を検証する. 本実験では, 図 10(a)に示すように, カメラ, 光源, ディフューザの 3 つを設置し, 入力画像として四枚の画像を用いた. 指向性のある点光源として「L-G-I-H-T」の文字を図 10 (b) に示す黄色の三次元点から投影した. 点光源のそれぞれの位置は, 図 11 に示すように, ディフューザ上で「L-I-G-H-T」と読めるように光源の位置と姿勢を調節している.
このような設定でカメラにより撮影される画像を POV-Ray を用いてレンダリ
ングし, その画像を元に光源の内部パラメータである放射輝度分布を推定した.
図 12 に, 以下の 3 つの手法を用いて推定された放射輝度分布を用いてリライ
ティングした画像を示す.

(i) 視体積制約を用いて放射輝度分布を推定する手法 (提案手法)(ii) 制約を用いずに放射輝度分布を推定する手法(iii) 光源を非等方な放射輝度を持つ点光源であると仮定して推定する手法
ただし, 手法 (iii) の点光源の位置は光源「l」が設置されている (250, 0, 100) であるものとして実球面調和関数の係数 c を推定した. また, 実球面調和関数の次元数 k として 20 次元を用いた. 図 11, 12 より, リライティングされた画像と真値を比較すると, 提案手法である (i) を用いて推定した放射輝度分布を用いリライ
ティングを行った画像が最も良い結果であることが確認できる. 制約条件を用いない手法 (ii) により生成されたリライティング画像は, 入力に用いたディフューザ

33

の設置範囲である距離 210mm, 270mm において, ボケが発生している. また距離190mm, 300mm 位置において, リライティングされた文字が解読するのが困難なほど文字が歪んでいる. これは実球面調和関数の次数が, 投影された画像を表現するのに十分な次数を持っていないためであると考えられる. また, 光源を非等方な放射輝度分布を持つ点光源であると仮定した手法 (iii) は, 光源設置位置「l」
のみ良好なリライティング結果であり, それ以外は文字として認識するのが困難な程ボケたリライティング結果となっている. 図 13 に各位置における推定された
放射輝度分布を示す. 図 13(i), (ii) より, 手法 (i) は手法 (ii) と比較してより正確に
放射輝度分布を推定可能であることが確認できる. また, 光線の視体積制約を導入することで負の光線強度が観測されていないことが確認できる. これは光線の視体積制約を導入するによって, 式 (8) におけるレンダリング行列 B の条件数が良くなったことが原因であると考えられる.

3.5.2 実環境下での視体積制約を用いた場合における放射輝度分布推定精度の評価
本実験では, 実環境において提案手法と比較手法による放射輝度分布の推定を行う. ここでは, 図 14(a) に示す環境において, 図 14(b) 懐中電灯を光源として用いて実験を行った. カメラの内部パラメータは事前にキャリブレーション済みであり, カメラと光源を固定し, ディフューザを動かしながら撮影した. カメラとディフューザの位置関係はディフューザに取り付けたマーカを用いて PnP 問題を解くことで推定した.
図 15 に光源とカメラの間の距離を 400mm, 500mm, 600mm, 700mm に設定した場合における撮影画像を示す. 本実験では, ライトフィールド平面 L を懐中電灯前方に位置するように設定した. また, 推定する放射輝度分布の空間方向解像
度を 5 × 5 とし, それぞれのグリッドサイズが 20mm × 20mm となるように設定した. 図 16 に提案手法と比較手法によって推定された放射輝度分布を用いてリライティングされた画像を, 図 17 に提案手法と比較手法によって推定された放射輝度分布マップを示す. 図 16 よりリライティング結果を比較すると, 提案手法である視体積制約を用いて推定する手法は比較手法に比べ, 懐中電灯の作る複雑な陰34

影を再現していることが確認できる. しかし, 図 17 より推定された放射輝度分布
マップの中に放射輝度が負となる領域が多数存在していることが確認できる. こ
れは式 (7) を解くために必要な観測が十分でないことが原因であると考えられる.

35

Position settings ofdiffuse-reflection board
virtual plane

190

220 240

X[mm]

０

Z[mm]

camera100

210 230270300(a) カメラ・光源・ディフューザの位置関係. 図中黄色丸は光源位置を表し, 上から L-G-I-H-T の文字を投影する光源であり, 図中オレンジ線はライトフィールド平面 L の設定位置を表す. また図中の青線は入力に用いた撮影画像のディフューザ設置位置を表し, 図中の赤線は入力に用いなかった撮影画像のディフューザ設置位置を表す.

Y[mm]
200

100

0

-100

-200
-150 X[mm]
250
40 0
-160
(b) ライトフィールド平面 L の断面図. 図中黄色丸は光源設置位置を表し, 左からから L-G-I-H-T の文字を投影する光源である. 図中の交点が放射輝度分布を推定した空間方向サンプリング位置を表す.

36
図 10 シミュレーション環境における実験設定

190 [mm]210 [mm]

230 [mm]

240 [mm]

270 [mm]

300 [mm]

図 11 シミュレーション環境における観測画像および放射輝度分布の真値. 放射輝度分布は 0 から 1 となるうように正規化している.

190 [mm]

210 [mm]

230 [mm]

240 [mm]

270 [mm]

300 [mm]

(i)
(ii)
(iii)

図 12 推定された放射輝度分布を用いてリライティングした画像. (i): 視体積制約を用いた手法. (ii) 制約を用いない手法. (iii) 光源を非等方な放射輝度分布を持つ点光源と仮定した手法.

37

(i)

(ii)

(iii)

図 13 推定された放射輝度分布. (i)-(ii) は図 12 にそれぞれ対応している. 推定された各放射輝度分布は図 10 に示すグリッド上の点と対応している.

38

(a) 計測システム(b) レンズとリフレクター付き懐中電灯図 14 光線の視体積制約を用いた場合における実験設定.

(a) 400 mm(b) 500 mm(c) 600 mm(d) 700 mm

図 15 実環境で撮影された入力画像.

39

400 [mm]500 [mm]

600 [mm]

700 [mm]

(i)

(ii)

(iii)

図 16 実環境において推定された放射輝度分布を用いてリライティングした画像.

(i): 視体積制約を用いた手法. (ii) 制約を用いない手法. (iii) 光源を非等方な放射輝度を持つ点光源であると仮定した手法.

40

(i)

(ii)

(iii)

図 17 実環境において推定された放射輝度分布.

413.5.3 実環境下での光線強度の非負値制約を用いた場合における放射輝度分布の推定精度の評価
本節では, 光線強度の非負値制約を用いた提案手法の有用性を検証するために,
図 18 に示すような実環境において獲得された画像を用いて照明の放射輝度分布の推定を行い放射輝度分布の推定精度を検証する. 本実験では, 光源の真の放射輝度分布を獲得することが難しいという理由から, 獲得された画像群を真値とし,真値と推定された放射輝度分布を用いてレンダリングされた画像群との輝度差をみることで提案手法の有効性を定量的に検証する.
図 18(a) に実験環境である暗室の概観を示す. 平行移動ステージ上に固定された光源をディフューザに正対するように設置し, 光源とディフューザ間の距離を0mm から 300mm まで 1mm 間隔で変更しながら図 18(b) に示すような画像を撮影した. カメラには, 単チャンネルの解像度が 642 × 514 の ViewPLUS 社の 18bit
ハイダイナミックレンジカメラ Xviii を用いた. ここで, 画像撮影プロセスにおけるノイズによる影響を抑えるために, 同一の条件で撮影した 256 枚の画像の平均を取り, 上位 16 ビットを撮影画像として用いた. また, 撮影画像における透視投
影効果の影響を取り除くために, 撮影画像をアフィン変形することで, 図 18(c) に示すように, 各ピクセルサイズが 1mm × 1mm となる直交投影画像を作成し, これら変形された画像を入力画像として用いた. ここで, 光源とディフューザ間の距離 d は, 光源とディフューザが触れ合うように設置された状態を 0mm と定義している. また, ライトフィールド平面 L の位置として, 光源とディフューザ間の距
離 d = 0 の場合における光源座標系におけるディフューザの位置を用いた. 以下の実験では特に記述がない限り, 式 (10) におけるパラメータ λ = 0.01 とし, 実球
面調和関数の次数 F を 34 として撮影された画像から放射輝度分布の推定を行った. また, 推定された放射輝度分布に負の光線強度が存在する場合, リライティン
グ画像をレンダリングする際に負の光線強度も用いてリライティング画像を生成した.

42

Light source

Diﬀuser

CameraLight ﬁeld plane(a) 計測システム(b) 観測された画像(c) 正対画像

図 18 光線強度の非負値制約を用いた場合における実験設定. a) 計測システムとレンズとリフレクターの付いた懐中電灯, b) ディフューザからの距離 100mm の位置に照明を設置した際の観測画像, c) ディフューザに正対した位置から直交投影となるように変形した画像.

43本節では, 図 18(a) に示す LED 光源が 3 つ直線上に並んだ比較的単純な光源を用いて放射輝度分布の推定実験を行った. 本実験では, 議論を簡単にするために, ライトフィールド平面 L の空間方向の標本化位置として, 光源とディフュー
ザ間の距離 d = 0 の時にディフューザ上で観測される各光源のハイライト領域の重心位置 3 点を与え, 非等方な放射輝度分布を持つ 3 つの点光源としてパラメータの最適化を行い放射輝度分布の推定を行った. 図 19 一列目に, 光源とディフューザ間の距離を 10 段階で変えながら光源によって照らされたディフューザを撮影した画像を拡大したものを示す. これら 10 枚の撮影された画像のうち, 距離d = (60, 90, 120, 150mm) のものを入力画像として用い, その他を検証用として用いた.
このような条件下で, 推定された放射輝度分布を用いたリライティングされた画像をもとに以下の 6 つの手法を比較し, 提案手法の有効性を検証した.

(I) 二つの制約を用いた放射輝度分布の推定 (以下:4-D(L1 + PC) と表記),(II) 光線強度の物理的な制約を用いない放射輝度分布の推定 (以下:4-D(L1) と表記),(III) L1 ノルム正則化を用いない放射輝度分布の推定 (以下:4-D(PC) と表記),(IV) 制約条件を用いない放射輝度分布の推定 (以下:4-D(LS) と表記),(V) 光源を非等方な放射輝度分布を持つ点光源と仮定した場合における放射輝度分布の推定,(VI) 光源を等方な放射輝度分布を持つ点光源の集合と仮定した手法
ここで, 上記手法 (I)∼(III) は提案手法であり, 手法 (IV) は基準となる比較手法である 1 . また, 手法 (V) における点光源の位置として, 手法 (I)∼(IV) で用いた 3 つの点光源位置の重心を光源位置として用いた. 手法 (VI) におけるライトフィール
1式 Eq. (7) における B の固有値が小さく条件数が悪いため, 局所解が存在し最小二乗問題が唯一の解をもたない. そのため, ここでは零ベクトルから共役勾配法を用いて繰り返し最適化を行った結果を最小二乗問題の解とした.

44

図 19 観測された画像および手法 (I)-(V) によって推定された放射輝度分布を用いてリライティングした画像. (I) L1 ノルム正則化と物理制約を用いた手法, (II)

L1 ノルム正則化を用いた手法, (III) 物理制約を用いた手法, (IV) 制約を何も使わない手法, (V) 光源を非等方な放射輝度分布を持つ点光源であると仮定した手法, (VI) 光源を等方な放射輝度分布を持つ点光源の集合であると仮定した手法.
手法 (I)-(V) において実球面調和関数の次数を 34 とし放射輝度分布の推定を行った. 図中赤枠で囲まれた領域は放射輝度分布の推定に用いた撮影画像に対応している. なお図中の画像は拡大表示されている.

45

ド平面 L の空間方向の分解能として, 図 18(c) に示すディフューザ領域を 91 × 64に標本化したものを用いた.
図 21 に手法 (I)∼(VI) によって推定された放射輝度分布マップを示す. 図 21 より, それぞれの手法が異なる放射輝度分布を推定していることが確認できる. 以
下では, 推定された放射輝度分布を用いてリライティングされた画像と真値を比較することで, 上記手法 (I)∼(VI) の違いについて議論する.
空間方向および角度方向の分解能の必要性:

図 19 に, 図 21 に示した推定された

放射輝度分布を用い, 獲得された 10 枚と同じ位置に光源を設置した場合におけるリライティング画像をレンダリングしたものを示す. また, 図 22 にリライティン
グ画像と真値と輝度誤差の絶対値の平均を最大輝度が 1 となるように正規化したものを示す. 図 19 に示すように, 手法 (I)∼(IV) によって推定された放射輝度分布を用いてリライティングされた画像は, 入力に用いた画像が光源 3 つに分離されていないにもかかわらず, 光源が分離して観測される入力に用いた画像より内側の距離 d = [30, 45] において光源 3 つが分離されてリライティングされている. しかし, 空間方向の分解能を持たない手法 (V) や角度方向の分解能を持たない手法(VI) では 3 つの光源が分離されずにレンダリングされている. また, 図 22 が示す
ように, 手法 (V), (VI) は空間方向と角度方向の両方の分解能を持つ手法 (I)∼(IV)と比較して, 輝度誤差が大きい. 距離 d = [60, 90] の領域において, 手法 (V) が最も輝度誤差が低い. これは手法 (V) が輝度誤差が小さくなるようにカメラから近い
入力画像に過適合してパラメータを調整したためであると考えられる. 手法 (V)と手法 (VI) の結果から, 空間方向と角度方向の分解能はどちらか一方でも欠けると光源の放射輝度分布を表現するために必要な表現能力が足りないといえる. そのため, 光源の放射輝度分布の推定には空間方向の解像度と角度方向の解像度が必要不可欠であるといえる.
制約条件の有効性:

図 19 と図 22 の結果から, 距離 d = [60, 165] の領域における手法 (I)∼(IV) のリライティング画像の差はほぼなく, 輝度誤差の差も小さいものとなっている. しかし, 入力画像より内側の領域である距離 d = [30, 45] おいて,それぞれの手法で大きな差が出ている. 手法 (I)∼(IV) によって推定された放射輝

46

90 ◦
135

180

90 ◦

◦

45
30 ◦

◦

60

◦

135

45

◦
◦

0 180
225 ◦

90 ◦

◦

30 ◦

◦

315 ◦

60

◦

135

270 ◦

45 ◦

◦
◦

0 180
225 ◦

◦

30 ◦

◦

315 ◦

225 ◦

270 ◦

60

Positive

◦

0◦

0

315 ◦

Negative

45 ◦Positive

270 ◦(I) 4-D (L1 + PC)
90 ◦

90 ◦

135 ◦

180

45 ◦
30 ◦

◦

60

135 ◦
◦

30 ◦

◦

315 ◦
270

45 ◦

◦

0 180
225 ◦

90 ◦

60

135 ◦

◦
◦

0 180
225 ◦

◦

315 ◦
270

30 ◦

◦

225 ◦

◦

270

60

◦

0◦

0

315 ◦

Negative

45 ◦Positive◦(II) 4-D (L1)
90 ◦

90 ◦

135 ◦

180

45 ◦
30 ◦

◦

60

135 ◦
◦

315 ◦
270

45 ◦

◦

0 180
225 ◦

90 ◦

30 ◦

◦

60

135 ◦

◦
◦

0 180
225 ◦

◦

315 ◦
270

◦

30 ◦

◦

225 ◦

60

◦

0◦
315 ◦

270

0
Negative◦(III) 4-D (PC)

図 20 光源として図 18(a) を用いた場合における提案手法によって推定された放射輝度分布. 図中の灰色領域は各放射輝度分布を推定した位置から一度も観測されなかった領域を示している.

47

90 ◦
135

180

90 ◦

◦

45
30 ◦

◦

60

◦

135

45

◦
◦

0 180
225 ◦

90 ◦

◦

30 ◦

◦

315 ◦

60

◦

135
◦

315 ◦

270 ◦

45 ◦

◦

0 180
225 ◦

◦

30 ◦

◦

60

0◦

225 ◦

270 ◦

Positive

◦

315 ◦

0
Negative

270 ◦(IV) 4-D (LS)
90 ◦

180

45 ◦
30 ◦

◦

225 ◦

60 ◦
0◦
315 ◦

270 ◦

0
Negative

Positive

200

Positive
Y axix [mm]

135

◦

0
100

0

Negative
0

100

200
X axis [mm]300(V) 2-D (光源を非等方な放射輝度 (VI) 2-D (光源を等方な放射輝度を分布を持つ点光源と仮定した手法) 持つ点光源の集合と仮定した手法)

図 21 光源として図 18(a) を用いた場合における比較手法によって推定された放射輝度分布. 図中の灰色領域は各放射輝度分布を推定した位置から一度も観測されなかった領域を示している.

度分布を用いてリライティングした画像において不自然な波紋の陰影が確認できる. 特に手法 (IV) においてより強い波紋の陰影が確認できる. これは, 図 21 (IV)に示すように, 手法 (IV) によって推定された放射輝度分布の中に強い負の光線強度が存在しており, パラメータ推定の際に過剰適合しているためであると考えられる. 手法 {(I), (II)} と手法 {(III), (IV)} を比較することにより, 光線強度の非負値制約を用いることによって, 推定された放射輝度分布の中に負の光線強度が存在しないことが確認できる. 手法 (I), (II) , (III) を用いてリライティングした画像を見比べても見た目には明確な差が確認できなかった. しかし, L1 ノルム正則化を用いた場合が輝度差が小さくなり, L1 ノルム正則化と光線強度の非負値制約を用いた手法 (I) を用いてリライティングした画像が真値と最も輝度差が少ない
ことが確認できる.

48

(I)
(II)
(III)
(IV)
(V)
(VI)

PC
PC

図 22 観測画像とリライティングした画像との輝度誤差. 図中灰色点線は入力画像が撮影された距離を示す.

49

球面調和関数の次数の変化による影響:

ここでは実球面調和関数の次数がリライティング画像に与える影響を確認する. 図 23 に実球面調和関数の次数 F を変化させながら提案手法 (I) を用いてリライティングを行った画像を示す. 図 23 より実球面調和関数 F の次数が 24 以上の場合, カメラから遠い位置のリライティン
グ画像には大きな違いが確認できない. しかし, 図 24 に示すように, 実球面調和関数の次数 F が 69 以上の場合, カメラから遠い位置のリライティング画像であったとしても各 LED の境界が確認できる. 図 25 に示すように, 実球面調和関数の次数 F を上げていくと, 次数 F が 24 までは輝度誤差は急激に下がっており, その後はゆるやかに輝度誤差が上昇しまた減少している. これは輝度誤差が絶対誤差であるのに対し, 式 (10) におけるデータ項が二乗誤差で定義されているためだと考えられる.
また図 23 , 24 に示すように, 光源とディフューザの距離が最も近い入力画像よりも近い領域におけるリライティング画像が連続的に変化していることが確認できる. 実球面調和関数の次数 F が高くなればなるほどより真値に近い画像となり,真値と同様 3 つの LED による陰影が分離している. LED の陰影の周辺の波紋模様は実球面調和関数の次数 F が F = 89 の時ほとんど確認できなくなっている.
これらの結果より, 近接光源を対象とした放射輝度分布の推定には高次の実球面調和関数の次数が必要であるといえる.

50

F
F
F
F
F
F
F

図 23 球面調和関数の次数 F を変化させながら提案手法 (I) によって推定された
放射輝度分布を用いてリライティングした画像. 図中赤枠で囲まれた領域は放射輝度分布の推定に用いた撮影画像に対応している. なお図中の画像は拡大表示さ
れている.

51

図 24 実球面調和関数の次数を F = 69, 79, 89 とした場合における提案手法 (I) によって推定した放射輝度分布を用いてリライティングした画像. 図中赤枠で囲まれた領域は放射輝度分布の推定に用いた撮影画像に対応している. なお図中の画像は拡大表示されている.

図 25 実球面調和関数の次数 F を変化させた場合における真値とリライティング
した画像との輝度誤差

52空間方向における分解能およびサンプリング位置の変化による影響:

ここでは,空間方向における分解能の変化およびサンプリング位置がリライティング画像に与える影響を確認する. 図 26 に空間方向の分解能およびサンプリング位置を変化させた場合における空間方向サンプリング位置を示し, 図 27 に提案手法 (I) を用いてリライティングを行った画像を示す. 図 27(a)-(g) において距離 d = [60, 165] の領域におけるリライティング画像の結果に差はほぼない. しかし, 距離 d = [35, 45]
において, 距離 d = 0 において各光源のハイライト領域の重心位置を空間方向のサンプリング位置として 3 点与えた (a) のサンプリング位置に加え, 光が放射されない光源より離れた位置を空間方向のサンプリング位置としてさらに与えた (b),(c)は, (a) と比較して, リライティング結果に光源位置と異なる強いハイライトが存在する. ハイライトの数は (b),(c) に空間方向のサンプリング位置として与えた中で, 光源の接写画像中にハイライトが観測されなかった位置のサンプリング数と一致しており, リライティング画像内で確認できるハイライトは, 与えられたサンプリング位置からの放射輝度であると考えられる. これは式 (16) において, 観
測画像のみからでは入力画像の外に飛んで行く光線強度の範囲を限定することが原理上できないためである. そのため, ハイライトが観測されなかった領域から 6
点を空間方向のサンプリング位置として与えた (d) においても, サンプリング位置から光が放射され, リライティング結果に光が存在する.
同様の理由により, ハイライトが観測された領域内において光源の重心位置を含む 5 点をサンプリング位置として与えた (e) や, 各光源の重心を通過する直線
上のハイライト領域と直線の交点の 4 点をサンプリング位置として与えた (f) も距離 d = 30 においてリライティング結果に空間方向のサンプリング位置に対応
した強いハイライトが複数現れていることが確認できる. しかし, (e),(g) は距離

D = 45 において各光源のハイライト領域重心のみを空間方向のサンプリング位置として与えた (a) と同程度のリライティング結果となっている. また, 各光源のハイライト領域重心の周辺の 4 点をサンプリング位置として与えた (g) は, (a) と比較して, 距離 d = [30, 165] すべての位置においてリライティング結果に差はほぼない. これは, (g) の各サンプリング位置が対応する各光源のハイライトの重心と距離が近く, 各光線強度が式 (16) によって同程度制限されたことを示している.

53

そのため, サンプリング数の違いにかかわらず, リライティング結果に差が出な
かったと考えられる. また, 図 24 F = 69 と図 26(g) は推定する変数の数が同じであるが, 図 24 F = 69 の方が図 26(g) よりもリライティング結果が明らかに良好であることが確認できる. これらの結果より, 空間方向のサンプリング数を増やすより照明内の各光源位置付近にサンプリング位置を設定し, 角度方向の分解能である実球面調和関数の次数 F を上げることが重要であることがわかる.

54

図 26 空間方向の分解能を変化させた場合において空間方向サンプリング点として与えた位置. (a) 各光源のハイライト領域重心をサンプリング位置として与えた場合, (b) 各光源のハイライト領域重心とハイライトが観測されなかった領域 6
点をサンプリング位置として与えた場合, (c) 各光源のハイライト領域重心とハイライトが観測されなかった領域 3 点をサンプリング位置として与えた場合, (d) ハ
イライトが観測されなかった領域 6 点をサンプリング位置として与えた場合, (e)各光源のハイライト領域重心およびその周辺をサンプリング位置として与えた場
合, (f) 各光源のハイライト領域重心を通過する直線上のハイライト領域と直線の交点の 4 点をサンプリング位置を与えた場合, (g) 各光源のハイライト領域重心位
置の周辺の４点をサンプリング位置として与えた場合. 図中の赤丸は空間方向のサンプリング位置を表す. なお図中の画像は拡大表示されており, 図中灰色領域
は距離 d = 0 において撮影を行った際における画像の明るさを半分にした画像である.

55

図 27 空間方向の分解能を変化させた場合において提案手法 (I) によって推定した放射輝度分布を用いてリライティングした画像. (a)-(g) は図 26 の (a)-(g) に対応している. 図中赤枠で囲まれた領域は放射輝度分布の推定に用いた撮影画像に対応している. なお実球面調和関数の次数 F = 34 として実験を行っている. (d)は 10 万回の反復計算で収束しなかったため 10 万回試行時点で算出された結果を解としてリライティングを行っている.

56

計算コスト:R
本実験では CPUintel⃝
coreT M i7-3970 3.50GHz × 12, メモリー32 GB の PC を用い, C++で実装されたコードを用いて実験を行った. このような環境において, 提案手法 (I) を用いて放射輝度分布を推定するために, 実球面調
和関数の最高次数を 34 次元と設定した場合, メモリーを 5.3GB 必要とし, 31 時間の計算時間を必要とした. 計算時間の大半は式 (10) の凸最適化問題を解くのに費やしている. また, 実球面調和関数の最高次数を 89 次元に設定し提案手法を用いて放射輝度分布を推定した場合, 1 週間以上の時間が必要となった. 必要メモリ量や計算時間の短縮のために, 光線空間を表現するためにより効率的な基底の使用や放射輝度分布推定問題をより効率的に解く手法の開発が求められる.
その他の実験結果:

図 28 に示すようなより複雑な陰影を投影する光源を対象として, 提案手法を用いて放射輝度分布を推定する実験を行った. 本実験では, 距離d = 0mm の場合に撮影された画像上における白飛びを起こした領域 35 点を光源の空間方向のサンプリング位置として用いた. また, 実球面調和関数を F = 34 となるように設定した. 図 29 に図 28(a) に示す光源を用いた場合の撮影画像と提案手法を用いて推定された放射輝度分布からリライティングした画像を, また図 30に図 28(b) に示す光源を用いた場合における撮影された画像および提案手法を用いて推定された放射輝度分布からリライティングした画像をそれぞれ示す.
図 28(a) に示す光源は LED が三角形に配置されており, それぞれの LED から
円環状の陰影が投影されているのが確認できる. また図 29 上段に示すように, それぞれの円環状の陰影が重なるように投影されており, 距離によって重なり度合
いが変化していることが確認できる. 入力に用いた距離のリライティング画像を比較すると, 制約条件を用いた手法 (I) と制約条件を用いない手法 (IV) 共に距離d = [60, 165] において良好なリライティング結果となることが確認できる. しかし, 制約条件を用いない手法 (IV) は過適合を起こした結果, 入力に用いた画像より内挿の距離 d = [30, 45] の場合において, 撮影画像と明らかに異なるリライティ
ング画像となることが確認できる. これに対し, 提案手法である手法 (I) を用いた場合, 手法 (IV) と異なり, 距離 d = [30, 45] の場合においてもより良好なりライ
ティング結果となることが確認できる.
図 28(b) に示す光源は, レンズとリフレクターが付いた懐中電灯であり, 図 30

57

(a) LED が三角形状に配置された懐中電灯(b) レンズとリフレクター付き懐中電灯

図 28 その他の実験に用いた光源
上段に示すように, 距離の変化に応じた複雑な陰影を投影していることが確認できる. この光源を用いた場合, 図 30 に示すように, 手法 (I) は手法 (IV) と比べより高次の周波数成分を持ったリライティング画像を生成していることが確認できるが, 両手法ともに十分なリライティング画像を生成することができなかった. これは, 以下の二つが原因であると考えられる.

(1) リフレクターによって空間方向に広がりを持った放射輝度分布となっており, 空間方向のサンプリング数が十分でない(2) 放射輝度分布を再現するために十分なパラメータが与えられていない
そのためより良い結果を得るためには, 空間方向および角度方向ともに十分なパラメータを設定し, より多くの入力画像を設定する必要があると考えられる.

58

IV

図 29 LED が三角形状態に配列された光源を用いた場合における撮影画像 (真値)と各手法によって推定された放射輝度分布を用いてリライティングした画像. (I)L1 ノルム正則化と物理制約を用いた手法, (IV) 制約条件を用いない手法. 実球
面調和関数の次元を 34 とし, 空間方向の解像度を 35 として放射輝度分布を推定.
図中赤枠で囲まれた領域は放射輝度分布の推定に用いた撮影画像に対応している.

IV

なお図中の画像は拡大表示されている.

図 30 レンズとリフレクターが付随した光源を用いた場合における撮影画像 (真値) と各手法によって推定された放射輝度分布を用いてリライティングした画像.

(I) L1 ノルム正則化と物理制約を用いた手法, (IV) 制約条件を用いない手法. 実
球面調和関数の次元を 34 とし, 空間方向の解像度を 35 として放射輝度分布を推定. 図中赤枠で囲まれた領域は放射輝度分布の推定に用いた撮影画像に対応している. なお図中の画像は拡大表示されている.

59

3.6 結言
本章では, ディフューザ上で観測された放射輝度から照明の放射輝度分布を 4次元で推定するインバースライティングに基づく方法を提案した. 提案手法では,
インバースライティング問題が不良設定問題になることを, (1) 視体積制約を用いてレンダリング行列の条件数を良くする, (2) 光線の非負値制約導入することで凸最適化問題として定式化する, ことにより良設定問題となるように変換すること
で放射輝度分布を安定に推定している. 提案手法では, 従来行われてきた光源を直接観測することで放射輝度分布を獲得する方法と異なり少数の観測画像から光源の放射輝度分布を推定可能であるという特徴を持つ.
実験では, 撮影画像と提案手法で推定された放射輝度分布を用いリライティング
した画像を比較することにより, 照明の放射輝度分布を比較的高精度に推定可能であることを示した. 今後の課題としては, より少ないメモリ容量で効率的な計算を可能とするための基底の選択やアルゴリズムの開発が挙げられる. 具体的には,コンピュータグラフィックスの分野で大域照明の近似に用いられている Wavelet
基底 [83–85] や Zonal Harmonics 基底 [86] を用いたものなどが考えられる.

60

4. 中空透明球体上の鏡面反射光を用いた近接光源位置の推定
4.1 序言本章では, 近接光源を対象とした照明の位置姿勢を推定するための手掛かりとするために, 照明内部に存在する光源の三次元位置推定を安定かつ効率的に実現することを目的とし, 図 3 に示すような球体内部が中空の透明物体である中空透明球体を用いる手法を提案する. 具体的には, 図 4(a) に示すように, 中空透明球
体のカメラ側前部の領域で反射し観測される鏡面反射光 (球前部反射光) と, 中空
透明球体表面を透過した光が中空透明球体の背部領域で反射し再び球表面を透過して観測される鏡面反射光 (球背部反射光) の二種類の鏡面反射光を用い, 三角測量の原理に基づいて光源位置を推定する. ただし, 図 4(b) に示すように, 理想的には一つの鏡面反射光が, 中空透明球体の厚みによる屈折の影響によって, 中空透
明球体の外部表面で反射し観測される鏡面反射光と, 中空透明球体の外部表面で屈折し内部表面で反射して観測される鏡面反射光, の二種類の鏡面反射光として観測される. そこで, 中空透明球体の厚みと屈折率が既知の場合には, 厚みと屈折率を考慮した推定を行う.
提案手法は以下の特長を持つ.

(1) 単一の参照物体のみによる推定を行うため参照物体間の幾何学的キャリブ
レーションが不要(2) 画像上で同一の光源に対する反射光が球中心を通る直線上に観測されるた
め反射光の対応付けが容易(3) 画像上で反射光の再投影誤差を最小化することで光源位置を安定に推定可能

61

Light source
Epipolar line

Epipolar plane

Sphere center

Clear
hollow
sphereCameraFront ray
Back ray

図 31 中空透明球体を用いたエピポーラ幾何. 左: 外観図 右: 観測画像.

4.2 中空透明球体上の鏡面反射光を用いた近接光源位置の推定
4.2.1 概要
提案手法は, 単一の画像から観測される中空透明球体上の鏡面反射光をもとに
カメラ座標系における近接光源位置を推定する. 図 31 に示すように, 中空透明球体を用いた観測系において, 光源から発せられカメラで観測される光には, 球面
前部で反射する光路 (図中 Front ray) と, 球表面を透過し球面背部で反射する光
路 (図中 Back ray) が存在し, 異なる二種類の鏡面反射光として画像上で観測される. 本手法では, これら 2 つの光路を用いた三角測量により近接光源の三次元位置を推定する. なお, 直接光が観測できる場合においては, 直接光と鏡面反射光を用いた光源の位置推定を行う. 以後, 本論文では画像上で観測される直接光と鏡面反射光をまとめてハイライトと呼ぶ. 提案手法は以下の設定の下で光源位置を推定する. カメラのレンズ歪みを含むカメラ内部パラメータと中空透明球体の形
状・材質 (屈折率)・大きさは既知である. カメラと中空透明球体の位置関係は手62

法 [87] などを利用することで推定済みである. 以下では, 対応するハイライトの決定, 近接光源位置の三次元位置推定, 再投影誤差最小化について順に述べる.

4.2.2 画像上における反射光位置の検出と対応する反射光の組の決定
中空透明球体が厚みのない理想的な場合

図 31 に示すように, 本観測系において,

2 つの光路 (Front ray, Back ray) は, カメラの光源位置, 光学中心, 透明球中心により規定されるエピポーラ平面上に存在し, この平面は図 3 右に示すように, 画像
上で球中心を通る直線 (エピポーラ線) として観測される. 本研究ではこのような特徴を用いることで, 対応するハイライトの探索範囲を同一エピポーラ線上に限定する.
ここで, 二次反射の影響がない理想的な環境においては, 単一の光源に対して
上記のエピポーラ線上に 2 個のハイライトが観測される. しかし実際には, 二次反射の影響によりエピポーラ線上に 2 個以上のハイライトが観測されるため, 本
研究では, 本観測系における二次以上の反射光が指数関数的に減衰することを利用して, 同一のエピポーラ線上に観測された 2 個以上のハイライトから対応する
ハイライトの組を決定する. 具体的には, 以下の手順によって対応するハイライ
トの組を決定する.

(1) 画像中の透明球領域内において閾値以上の明度を持つ領域を抽出(2) 抽出された各領域において閾値以上の面積を持つ領域をハイライト領域として抽出(3) 抽出された各領域の重心をハイライト位置と決定
なお, 本手法においては, エピポーラ平面上に複数の光源が存在する場合, それらの光源に対応するすべてのハイライトが画像上で同一エピポーラ線上に観測されるため, そのような状況下では対応するハイライトの組を一意に決定できないという制約がある.
また, 図 32(b) に示すように、光源が透明球を含む視体積内に存在する場合には, 直接透過光 1 点と反射光 2 点の 3 点のハイライトが同一エピポーラ線上に観

63

L

N1

v1

P1
P2

N2

v2

(a) 光源が透明球を含む視体積外に存在する場合

L
P1

v1

N1

v3
N2

v2

P2

(b) 光源が透明球を含む視体積内に存在する場合

図 32 2 つの場合におけるエピポーラ平面断面図

64測され, 直接光は 2 点の反射光の間に観測される. 従って, 同一エピポーラ線上に合計 3 点のハイライトが観測された場合には, 光源は透明球を含む視体積内に存在すると判断し, このような場合には, 直接透過光と反射光の組から光源位置を推定する.
中空透明球体が厚みを持つ場合

図 4(b) に示したように, 実際には中空透明球体の厚みの影響によって, 理想的には 1 つのハイライトとして観測される反射光が,中空透明物体の外部表面および内部表面で反射することで, 2 点のハイライトとして分かれて観測される場合がある. そのため, 光源が中空透明球を含む視体積外にある場合には最大 4 点, 光源が透明球を含む視体積内にある場合には最大 5点のハイライトが観測される. 従って, 4 点以上のハイライトが観測される場合には, 球中心から遠い 2 点のハイライトを球体外部表面での反射光として扱い, 厚みの影響を考慮した光源位置推定を行う.

4.2.3 近接光源の三次元位置の推定
提案手法は, 対応するハイライトから近接光源の三次元位置を推定するために,
図 32 に示すように, カメラから光線を追跡することによって光源位置を推定する.
光源位置を求めるためには球面上の反射位置を求める必要があるが, 光源が透明球を含む視体積外に存在する場合 (図 32(a)) においては, カメラ C から反射光方
向 v に延びる直線と透明球の間には交点が 2 点存在する. 従って, 2 本の光線に対応する球面上の反射位置の候補は 4 点あり, 光源位置の候補も 4 点存在する. また, それ以外の場合 (図 32(b)) では, 候補は 2 点となる. 本研究では, このような光源位置の不定性を取り除くために, まず全ての光源位置候補について三次元位置を推定し, 物理的な制約から正しい三次元位置を選択する. 以下では, 具体的な手順について説明する.
光源位置候補の算出:

まず, 図 32(a) に示すような, 光源が透明球を含む視体積外に存在する場合の光源位置算出方法を述べる. 図 31 に示したように, 光源 L に対応する球面上反射位置 P1,2 は, 光源 L, 光学中心 C, 中空透明球中心 Sc で規定65

されるエピポーラ平面上に存在する. ここで光源の三次元位置 L は以下のように表すことができる.

L = Pn + dn ln(n = 1, 2)(17)

ただし, dn は反射位置 Pn から光源位置 L までの距離, ln は反射位置 Pn から見た
光源方向を表す単位方向ベクトルである. 反射位置 Pn , 光源方向ベクトル ln , 距
離 dn を算出することで, 光源位置 L を推定することができる. 以下では, 反射位
置 Pn , 光源方向ベクトル ln , 距離 dn それぞれの算出方法について順に述べる. 球
面上での反射位置 Pn は, 光学中心 C と画像上の反射位置 U1 , U2 より定まる反射
方向を表す単位方向ベクトル vn を用いて, 以下のように表わされる.

Pn = tn vn(18)

ここで, tn は光学中心から反射位置までの距離を表す. 一方, Pn は Sc を中心とする半径 r の透明球球面上に存在するため, 以下の式が成り立つ.

∥ Sc − Pn ∥2 = r2

(19)

式 (19) に式 (18) を代入することで,t2n ∥ vn ∥2 −2tn Sc · vn + Sc2 = r2が得られる. これにより tn は以下のように求まる.
√
tn = Sc · vn ± Dn

Dn = (Sc · vn )2 − ∥ Sc ∥2 +r2

(20)

(21)
(22)

ここで, Dn > 0 であれば光線 vn は球と 2 点で交わる. 球面上の反射位置 Pn でおきる反射は鏡面反射であるため, 光の入射角と反射角が等しい. 従って, Pn における単位光源方向ベクトル ln は以下のように算出できる.

ln = 2(Nn · vn ) · Nn + vn

(23)

ただし, Nn は Pn における球面の単位法線ベクトルである. 式 (18), (23) より Pn ,ln が求まれば, これを式 (17) に代入して L についての連立方程式を解くことにより距離 dn および光源位置 L が求まる.

66

光源が透明球を含む視体積内に存在する場合 (図 32(b)) においては, 光源位置

L は, 直接光の方向ベクトル v3 , 光学中心 C を用いて以下のように表される.
L = C + (tn + dn )v3(24)

本式と式 (17), (18), (23) を用いることで, 光源位置 L を算出する.
光源位置の決定

前項で述べた手法により, 光源位置の候補となる三次元位置が,光源が透明球を含む視体積外に存在する場合には 4 点, 光源が透明球を含む視体積内に存在する場合には 2 点求まる. 本研究では以下の制約を用いることにより,偽の光源位置を排除する.

i) dn は正の値をとる.
ii) 光源は中空透明球体内に存在しない.
以上より, 一対のハイライトの組から唯一の光源位置を決定する.
再投影誤差の最小化:

式 (18), (23) によって算出される 2 本の光路は, 検出誤差

や量子化誤差・校正誤差の影響により一般に三次元空間上において交わらない.
このような場合において, 画像計測の分野では, 画像上の再投影誤差 (対応点の検出座標と三次元座標を画像上に投影した座標の間の 2 乗距離) が最小になるように対応点の三次元位置を決定する方法が最善とされている [88,89]. しかし, 本研究のように球面上の反射光を扱う場合において, 三次元位置が既知の光源に対する球面上の反射位置を代数学的に求めることは困難であることが知られており [62],三次元位置をパラメータとする一般的な再投影誤差最小化方法をそのまま適用することは難しい. このため, 多くの従来研究では, 2 本の光路を最短で結ぶ線分の中点を光源位置とする方法 (中点法) が用いられてきた. 本研究では, 透明球を用いた場合におけるエピポーラ幾何を利用することによって, 再投影誤差を直接最小化する. ここでは簡単のために球中心が光軸上に存在する場合を考える. ただし, 球中心が光軸上に存在しない場合においても, 光学中心と球中心を結ぶ直線に直交する仮想の画像平面に入力画像を投影することで以下の手順を適用できる.

67

図 33 再投影誤差

図 33 に示すように, エピポーラ拘束を用いることによって, 再投影誤差 E は以下のように定義できる.

E = d21 + d22 , di =∥ Ui − Ûi ∥, i = 1, 2

(25)

ただし, Ui は画像上におけるハイライト観測位置を表し, Ûi は推定する近接光源の三次元位置を画像上に再投影した位置を表す. ここで, エピポーラ線が固定された状態において, E を最小化する Ûi の位置は, Ui からエピポーラ線に下ろした
垂線の足の位置となる. このとき, エピポーラ線の画像上での C を中心とする回転角を θ とすれば, E は θ の関数として以下のように表せる.

E(θ) =∑(∥ Un − C ∥ sin(θ − θn ))2

(26)

n=1,2

ここで, C は画像上における透明球中心を表し, θi は Ûi の画像上での回転角を表す. 提案手法において, 式 (26) で表される再投影誤差 E(θ) を最小化する θ は, 1次元探索によって容易に決定できる. E(θ) を最小化するエピポーラ線が決定されれば, E を最小化する Ûi が自動的に定まる. このようにして決定される Ûi を通

68

vin

θ in

N

nin
nout
θ out

vout

図 34 スネルの法則

る 2 つの光線はエピポーラ線上に存在するため, これらの光線は三次元空間中で必ず交わる. 本研究では, この交点を光源の三次元位置とする.
屈折の影響の考慮:

中空透明球の厚みおよび屈折率が既知である場合, これらを考慮しながら光線を追跡することで, より高精度に光源の三次元位置を推定することが可能となる. 図 34 に示すように, 光線が屈折率の異なる透明物体に入射した場合における入射角 θin と出射角 θout の関係はスネルの法則により以下のように表される.

nin sin(θin ) = nout sin(θout )(27)

ただし, nin は入射側物質の屈折率を表し, nout は出射側物質の屈折率を表す. スネルの法則より, 単位入射ベクトルを vin , 単位出射ベクトルを vout , とすれば, こ
れらの関係は以下のように表すことができる.

vout × N =nin
N × vinnout(28)

ただし, N は入射位置における単位法線ベクトルを表す. 本研究において, 屈折率が既知の中空透明球体および中が同一の物質で満たされた中実透明球体を用い69

る場合には, 式 (28) を用いることで屈折による光線の進行方向を補正し, 屈折を考慮した光源位置推定を行う.

4.3 実験
提案手法の有効性を示すために, CG シミュレーション環境と実環境において光源位置の推定を行い, 真値との比較を行うことで光源位置の推定精度を検証した. また, 実環境における線光源に対する三次元復元実験を行い, 光源に対する特
別な仮定なしに, エピポーラ線上のハイライトの対応によって線光源の三次元復元が実現できることを示す.

4.3.1 シミュレーション環境における光源位置推定精度の評価
本節では光源位置の変化が光源位置の推定精度に与える影響を検証する. 本実
験では, 図 35 に示すように, カメラおよび後述する様々な特徴を持つ半径 100mmの球体をシミュレーション空間内の点 (0, 0, 0), (0, 0, 500) にそれぞれ設置し, 光源の位置を x = 0 の yz 平面上で移動させた. ここでは, 光源と中空透明球体中心の距離 D(L−Sc ) を 100mm ∼ 800mm の範囲で 10mm 間隔, 球中心から見た光源の方
位角 ϕ を 0 ∼ 180◦ の範囲で 2◦ 間隔で変化させながら, カメラにより撮像される画像を POV-Ray [90] を用いてレンダリングし, その画像をもとに光源位置を推定・評価した. なお, 本シミュレーションでは, 実環境実験で用いたカメラと同じ内部パラメータを持つ水平画角約 60◦ , 垂直画角約 45◦ のカメラを想定し, カメラの解像度を 1024 × 768 ピクセル, カメラのレンズ歪みはないものとし, 以下の内部パ
ラメータ行列を用いた.



870



K= 0

0

0

511.5





870 383.5 

0
1

(29)

また, それぞれのレンダリングされた画像上のハイライト領域の重心としてサブピクセル精度で推定された反射点検出位置に対し, 誤差なしとガウス分布を仮定

70

図 35 シミュレーション環境におけるカメラと中空透明球体位置

した標準偏差 σ = 1.0 ピクセルの検出誤差を付加したものを用いて光源位置の推定精度を評価した. なお, 以下に示す光源位置推定誤差の分布図は, シミュレーショ
ンにおいて設定した真の光源位置について, 提案手法による推定誤差を 1 万回の試行により得られた結果の中間値である.
中空透明球体を用いた定量評価:

図 36(a), (b) に σ = 0.0 ピクセルとした場合および σ = 1.0 ピクセルとした場合における厚み 0 の理想的な中空透明球体による光源位置の推定誤差を示す. 図中黒色領域は, 画像上においてハイライトが 2 点
以上観測されず光源位置を推定できなかった領域である.
同図 (a) より, 検出誤差が存在しない場合においては, カメラの光学中心 (図中(0, 0, 0)) を通る中空透明球体の接線周辺および光軸周りを除く多くの領域で光源
位置を高精度に推定可能であることが確認できる.

71

300

700

250

Y[mm]

600

200

500

150

400
300

100

200

50
-200

▲

100
0

Distance error [mm]

800

0

◎

200

0

400
600 800 1000 1200
Z[mm](a) 中空透明球体 . 再投影誤差最小化 (σ= 0, 厚さ 0mm)

800

300

700
600

250
200

500

150

400
300

100

200

50
-200

▲

100
0

Distance error [mm]Y[mm](a) 中空透明球体. 再投影誤差最小化 (σ = 0, 厚さ 0mm)

0

200

◎

400
600
Z[mm]

800

1000

0

1200

>2/1

800

(b) 中空透明球体. 再投影誤差最小化 (σ = 1.0, 厚さ 0mm)

700
600
Y[mm]

500 の理想的な中空透明球体を用いた場合における再投影誤差最小
図 36 厚さ 0mm
4001化を用いた光源位置推定誤差の分布. 図中三角はカメラ位置, 二重丸は中空透明球
300

体中心を表している
.
200
100

▲

0
-200

0

200

400

◎

<1/2
600

Z[mm]

72

800

1000

1200

(a) カメラの光学中心を通る透明球の接線付近に光源が存在する場合(b) 光軸周りに光源が存在する場合(c) 観測される二つの反射光の距離が十分離れている場合(d) 観測される反射光と直接光が十分離れている場合

図 37 仮想環境における入力画像73

図 36(b) において, 同図 (a) と比較して推定精度が大幅に悪化している領域は,
画像上の中空透明球体と背景の境界付近にハイライトが観測される領域 (図 37(a)参照) および, 2 つのハイライトが画像上で接近し, 視差が小さくなる領域 (図 37(b)参照) に対応しており, これらの領域では, 画像上で観測される片方または両方のハイライト位置の微小変化で推定される光源位置が大きく変化する. 一方, 推定
精度があまり変化しなかった領域に光源が存在する場合には, 画像上においてハイライトが中空透明球体と背景の境界線から離れた位置に観測され, かつ観測される 2 つのハイライトの距離も十分離れていた (図 37(c),(d) 参照).
図 38(b) は, 同図 (a) に示す中点法による推定結果と, 図 36(b) に示した再投影
誤差最小化による推定結果の誤差比である. 同図より, 再投影誤差を最小化することで, 多くの領域で推定精度の改善が見られた. なお, 光源が光軸周辺に存在する
場合において, 中点法を用いた方が推定精度が高い領域が一部存在するが, これは, 球中心付近においてはエピポーラ線決定時における角度分解能が低く, 再投影
誤差を最小化する際のエピポーラ線の決定精度が十分に得られなかったためであると考えられる.
図 39(a), (b) にガラス (屈折率 1.5) による厚みが 2mm の中空透明球体を用い,屈折の影響を無視した場合および考慮した場合における光源位置推定誤差を示す.
図 36(b), 図 39(a), (b) の比較より後述する実験で用いる厚みが 2mm 程度 (半径の2%) の球体であれば厚みによる屈折の影響を無視した場合においても, 大部分の領域において推定誤差が透明球体中心部からの距離の 5% 以内に収まることが分
かる. また, 中空透明球体の厚みが既知であれば, 屈折の影響を考慮することで,理想的な中空透明球体を用いた場合と同等の推定誤差となることが確認できる.
図 40 上の (400, 173.2) の地点に光源を設置した場合において, 中空透明球体の
厚みを 0mm〜10mm まで変化させた場合における光源位置の推定精度を同図下に示す. 同図より厚みによる屈折の影響を無視した場合, 厚みが 0mm〜10mm の範囲においては厚みに応じて推定誤差がおおむね線形に増加していることが確認できる. また, 厚みによる屈折の影響を考慮した場合には, 厚みによらず理想的な中空透明球体と同等の推定精度を維持できることが確認できる.
なお, 図 39(a), (b) の光源位置推定結果において, 推定誤差の分布がスパイク状

74

300

700

250

Y[mm]

600

200

500

150

400
300

100

200

50
-200

▲

100
0

Distance error [mm]

800

0

200

◎

400
600
Z[mm]

800

1000

0

1200

(a) 中空透明球体. 中点法 (σ = 1.0, 厚さ 0mm)
>2/1
>2/1

800
800

Y[mm]
Y[mm]

700
700
600
600
500
500
400
400

1

0

300
300
200
200
100
100
00

-200
-200

▲

00

200
200

◎

400
600
400
600
Z[mm]
Z[mm]

800
800

1000
1000

1200
1200

<1/2
<1/2

(b) 誤差比

図 38 厚さ 0mm の理想的な中空透明球体を用いた場合における中点法を用いた
光源位置推定誤差の分布. 図中三角はカメラ位置, 二重丸は中空透明球体中心を表
している.

75

300

700
600

250
200

500

150

400
300

100

200

50
-200

▲

100
0

Distance error [mm]

Y[mm]

800

0

200

◎

400
600
Z[mm]

800

1000

0

1200

800

300

700
600

250
200

500

150

400
300

100

200

50
-200

▲

100
0

Distance error [mm]Y[mm](a) 中空透明球体. 再投影誤差最小化 (σ = 1.0, 厚さ 2mm, 屈折率1.5) 球の厚みを無視して光源位置を推定

0

200

◎

400
600
Z[mm]

800

1000

1200

0

(b) 中空透明球体. 再投影誤差最小化 (σ = 1.0, 厚さ 2mm, 屈折率1.5) 球の厚みを考慮して光源位置を推定

図 39 厚みのある中空透明球体を用いた場合における光源位置推定誤差の分布.
図中三角はカメラ位置, 二重丸は中空透明球体中心を表している.

76

に変化している箇所が確認できる. これは, 中空透明球体が厚みをもつことにより, 中空透明球体前部の外部表面および内部表面それぞれで反射した反射光が画像上で重なり, 2 つのハイライトを画像上で分離できず, それぞれのハイライト位置の推定を行えない領域に対応している.
中実透明球体との比較:

中実透明球体上で観測されるハイライトを用いて光源位置を推定する方法が考えられるため, ここでは均一な濃度のガラスで作られた
中実透明球体を用いることを想定し, 中空透明球体と中実透明球体を用いた場合
における光源位置推定精度の差を検証する. なお, 中実透明球体を用いた場合, 画像上で観測されたハイライトの数から直接光か反射光かを原理上判別できない.
そのため, ここでは全ての組み合わせ (直接光, 反射光) による推定結果から, 最も真値に近いものを用いて光源位置推定精度を算出した. 図 41(a) に中実透明球体を用いた場合の光源位置推定精度を示す. 中実球を用いた場合, 中空透明球体を用いた場合 (図 36(b), 図 39(a), (b)) に比べ光源位置を推定可能な領域が明らかに少ないことが分かる. これらの位置では, 中実透明球体を用いた場合, 屈折の影響に
より画像上でハイライトが 2 点以上観測されず, 光源位置の推定が行えない. この結果より, より広い範囲での光源位置推定を行うためには中空透明球体が適していると言える.

77

40
35
30
25
20
15
10
5
0

Light position(400,173.2)

-200

▲

Y[mm]

Distance error [mm]

800
700
600
500
400
300
200
100
0

0

200

400

◎

600

Z[mm]

800 1000 1200

Ignoring the effect of refracton
Considering the effect of refraction

0

2

4
6
Thickness of glass [mm]810

図 40 特定の光源位置 (上図) における中空透明球体の厚みと光源位置推定精度の関係 (下図). 図中三角はカメラ位置, 二重丸は中空透明球体中心を表している. また, 半円は中空透明球体の表面を表している.

78

Y[mm]

屈折率 1.5)
800

300

700
600

250
200

500

150

400
300

100

200

50
-200

▲

100
0

Distance error [mm](c) 中空透明球体 . 再投影誤差最小化 (σ= 1.0, 厚さ 5mm,

0

200

◎

400
600
Z[mm]

800

1000

1200

0

(a) 中実透明球体. 再投影誤差最小化 (σ = 1.0, 屈折率 1.5)

図 41 中実透明球体を用いた場合における光源位置推定誤差の分布. 図中三角はカメラ位置, 二重丸は中空透明球中心を表している.

4.3.2 実環環境における光源位置推定精度の評価
本実験では, 実環境における単一光源下での中空透明球体を用いた場合の光源
位置推定精度を評価する. ここでは, デジタルカメラ (Canon EOS kiss Digital, 解
像度 1024 × 768) を用いて, カメラから約 620mm の距離に設置した半径 100mm,
厚さ 2mm 程度の固定された中空透明球体を撮影した静止画像を用い, 球体から方位角 70◦ 方向の異なる距離に設置されたハロゲンライトの位置を推定した.
ここでは定量評価を行うために, 光源の位置をあらかじめトータルステーショ
ンを用いて計測し, これを真値とした. また, カメラの位置姿勢はトータルステー
ションを用いて計測した点を用いて PnP 問題を解くことで推定した. また, カメラは事前にキャリブレーション済みである.
図 42 に球中心から光源までの距離と, 真値との比較による光源位置推定誤差の関係を示す. 同図より, 中空透明球体中心より約 650mm 離れた点までは比較的高精度に光源位置を推定できていることが確認できる. このような場合には, 画像上において二つの反射光が透明球境界線から離れた位置に観測され, かつ画像上で十分離れているという光源位置を安定に推定可能な条件を満たしている. 一方,
中空透明球体中心から光源までの距離が約 650mm 以上離れた場合には光源位置

79

Distance error [mm]

160
140
120
100
80
60
40
20
0

0

100

200

300

400

500

600

Distance between center of sphereand light source position[mm]

700

800

900

図 42 実環境における位置推定誤差

推定精度が急激に悪化している. これはシミュレーションで見られた傾向と同様であり, 2 種類の光源方向ベクトルが平行に近くなり, 検出誤差やノイズの影響により反射光位置を安定に抽出できないため三角測量による測位が不安定となるためであると考えられる.

4.3.3 複数光源下での光源位置推定
本節では実シーンにおける複数光源下での光源位置推定実験を行うことで複数
光源下において自動で光源位置を推定できることを示す. 本実験では, デジタル
カメラ (Cannon EOS kiss Digital) を用いて, カメラから光源を直接観測できるよ
うに約 150cm の距離から半径 100mm, 厚さ 7mm の固定された中空透明を撮影した静止画像 (解像度 3072 × 2048) を用い, 3 つの LED ライト位置を推定した. た
だし, カメラは事前にキャリブレーション済みである. 図 43 に入力画像, 図 44 にエピポーラ線上に存在する鏡面反射の組を用いてそれぞれの光源位置を推定した結果を示す. 図 43 に示した入力画像と図 44 に示した推定結果を比べることで,実シーンにおける複数光源下であっても各々の光源位置を推定できることを確認
した.

80

入力画像

入力画像 (一部拡大)

図 43 複数光源下での入力画像

図 44 複数光源下での光源位置推定結果. 図中四角錘はカメラを表し, 青丸が中
空透明球体, 緑線・赤線・青線が青線がカメラ奥行き方向を表すカメラ座標系における座標軸を表す.

81

4.3.4 線光源の三次元復元
提案手法は対応する反射光が画像上で球中心を通るエピポーラ線上で観測されるという特長を持つため, 線光源は画像上で中空透明球体中心を中心とした中心角の等しい 2 つの曲線として観測される. そのため提案手法は, 陽に線光源であるという事前知識を用いなくても線光源の三次元復元が可能である. 本実験では,
デジタルカメラ (Cannon EOS kiss Digital) を用いて, カメラから光源を直接観測できるように約 90cm の距離から半径 100mm, 厚さ 7mm の固定された中空透明球体を撮影した静止画像 (解像度 3072 × 2048) を用い, LED が縦一列に並んだ線
光源の三次元位置を推定した. 図 45 に, 実環境における線光源を対象とした実験の外観図, 入力画像, および実験結果を示す. 図 45 (c) に示すように, エピポーラ
線上のハイライトを対応付けることで, 点光源として復元された複数の光源位置が直線状に復元されていることが確認できる.

82

(a) 入力画像(b) 実験環境外観図

Estimated point light sources

Clearhollow
sphereCamera(c) 推定結果

図 45 線光源の光源位置推定834.3.5 提案手法における制限
提案手法は対応するハイライトが画像上で球中心を通るエピポーラ線上に存在するという特徴を利用し光源の三次元位置を推定している. そのため, 光源・カメラの光学中心・透明球中心で構成されるエピポーラ平面上に複数の光源が存在する場合や面光源など画像上のエピオーラ線上に複数のハイライトが存在する場合,
前節で示したように, 光源の個数・形状・位置関係などの事前知識を用いることなしに光源の位置を推定することは原理上困難である. しかし, 従来手法 [64–70]と同様, 光源の個数・形状・位置関係などの事前知識を用いることで, エピポーラ
平面上に複数の光源が存在する場合においては, 既知の光源の三次元位置関係を利用することで光源位置を推定する方法や, ハイライトの組み合わせ全ての候補
で光源位置を推定し, 再投影誤差が最も小さくなる組み合わせを選択することで光源位置を推定する方法などが考えられる. また光源が面光源の場合においても,
エピオーラ線上に観測されるハイライト線同士を対応付けすることによって光源位置を推定する方法や, 光源の角など特徴的な点を抽出することでエピポーラ線上に存在する特徴点同士を対応付することで光源位置を推定する方法などが考えられる.
提案手法は照明内に存在する光源の位置を推定することが可能であるが, 提案
手法単体では照明の姿勢を推定することは原理上むずかしい. しかし, コンピュー
タビジョン分野で行われている三次元位置姿勢推定問題と同様, 同一照明内において三点以上の対応が求まれば, 幾何学的に照明の位置のみでなく姿勢も推定可
能となる.

84

4.4 結言
中空透明球体によって反射された 2 種類の鏡面反射光を用いた近接光源位置推
定手法を提案した. 提案手法では対応する光源の反射光の組が必ず画像上で球中心を通るエピポーラ線上に存在するため, (1) 単一の参照物体のみで光源位置を推定できる, (2) 画像上で再投影誤差を最小化できる, (3) 複数光源下においても対応する反射光の探索が容易である, という特長を持つ.
実験では, シミュレーション環境において提案手法を用いた光源位置の推定精度を示した. また, 中実透明球体を用いた場合との比較により, 中空透明球体の方がより広い範囲で光源位置を推定できることを示した. また, 実環境において光源位置推定精度の評価および線光源の復元実験を行い, 実環境でも複雑な対応付
け処理なしに光源位置を推定可能であることを示した. 今後の課題として, 2 次以上の反射光を用いた光源位置推定手法と反射光の減衰を用いた光源強度の推定が考えられる.

85

5. 提案手法の応用-近接光源を用いた照度差ステレオ法6. 近接光源位置情報を用いた照度差ステレオ法による形状と法線方向の推定
提案手法の有効性を示すために, 提案手法によって推定された近接光源位置情報を入力とし, Iwahori らの手法 [13] による近接光源を用いた照度差ステレオ法を用いてシミュレーション環境および実環境内で三次元形状の復元を行った.

6.0.1 シミュレーション環境における形状復元結果
形状復元の理想的な対象物体として真球を用いてシミュレーション実験を行った. 本実験では, カメラ (解像度 1024× 768) をシミュレーション空間内の点 (0,0,0)に設置し, カメラから 500mm 離れた地点に (0,0,500) に半径 100mm, 厚さ 0mm の厚みによる屈折の影響を受けない理想的な中空透明球体を設置した. このような設定で光源を安定に推定可能な方位角 30 度 ∼80 度の範囲内の 24 箇所の異なる位置に光源を設置し, カメラにより取得された画像から提案手法によって光源位置を推定した. 次に中空透明球体を取り除き, 中空透明球体を設置していた地点(0,0,500) に半径 50mm の完全拡散反射球を設置し, それぞれの光源下における画像を再度 POV-Ray [90] を用いてレンダリングしたものを入力画像とした.
図 46 に入力画像, 推定された光源位置情報を用いて復元された三次元点群, 真の光源位置情報を用いて復元された三次元点群, 推定した光源を用いた場合と真値を用いた場合の距離画像および法線方向画像の差分の絶対値を 8 倍した画像を示す. ここで, 推定された法線のカラーコーディングの対応は (R, G, B) = (nx +1, ny + 1, nz + 1)/2 を用いている. 本実験より, 推定された近接光源位置を用いる
ことで, シミュレーション環境下において, 観測される輝度値のダイナミックレンジが大きい領域では物体表面の法線方向と三次元形状を安定に推定することが可能であることを確認した.

86

(a) 入力画像(b) 推定された光源位置情報を用いて復元された三次元点群(c) 真の光源位置情報を用いて復元された三次元点群(d) 距離の差分画像(e) 法線方向の差分画像

図 46 仮想環境における近接光源を用いた照度差ステレオ法による球の三次元復元結果. 実験には 24 枚の入力画像を用いている. 図中の距離画像の差分と法線画像の差分は絶対値を 8 倍した結果を示している.

87

6.1 実環境における形状復元結果
本実験では, 線形なレスポンス関数を持つデジタルカメラ (Cannon EOS kiss

Digital, 解像度 1024×768) を用い,17 箇所の異なる位置に設置したハロゲンライ
トに対して提案手法を用いて光源位置を推定した. 次にそれぞれの光源下で石膏像を撮影し, 17 枚の入力画像とそれに対応する光源位置情報から三次元形状を復元した. 図 47 に入力画像, 推定された法線マップおよび推定された三次元点群を示す.
実験の結果, 法線はおおむね正しく推定されたものの対象物体の形状が滑らかにならず推定精度が悪かった. これは実環境において近接光源を用いた照度差ス
テレオ法を行う場合に相互反射の影響やノイズの影響により推定精度が悪化したと考えられる.

88

(a) 入力画像(b) 法線方向画像と法線の参照球(c) 推定された三次元点群

図 47 実環境における近接光源を用いた照度差ステレオ法による球の三次元復元結果. 実験には 17 枚の入力画像を用いている.

89

7. 結論7.1 まとめと考察
本論文では, 近接光源を対象とした照明環境を推定するために, 照明環境推定の問題を (1) 照明の放射輝度分布を推定する問題, (2) 照明内部に存在する光源位置を推定する問題, の二つの独立した問題として捉え, それぞれに対する手法を提案した.
照明の放射輝度分布を推定するために, 少数の観測画像から光源の内部パラメー
タである放射輝度分布を推定するために, ディフューザ上で観測される輝度情報
を複数の光線強度に分離するインバースライティングに基づく放射輝度分布の推定を行った. 具体的には, 反射特性が既知のディフューザを光源との位置関係を変更しながら複数回の撮影を行い, 放射輝度分布とディフューザ上で観測される輝度情報の関係から放射輝度分布の推定を行った. インバースライティング問題
は不良設定問題となることが知られているが, 本研究では (1) 視体積制約を用いることによりレンダリング行列の条件数を良くする手法, (2) 光線強度の非負値制
約を用いることにより凸最適化問題として定義することで良設定問題に変換する
手法, 二つの手法を提案した.
次に, 照明の位置姿勢を推定するための手掛かりを得るために, 照明内部に存在する光源の位置を中空透明球体によって反射された２種類の鏡面反射光を用いた近接光源位置推定手法を提案した. 提案手法では対応する光源の反射光の組が必ず画像上で球中心を通るエピポーラ線上に存在するため, (1) 画像上で再投影
誤差を最小化可能, (2) 複数光源下においても対応する反射光の探索が容易, という特長を持つ.
最後に, 提案手法を用いて推定された光源位置情報を用いて, 近接光源を用いた照度差ステレオ法により形状復元を行った. 実環境における実験では, 形状および法線方向が推定されたものの相互反射やノイズの影響によって形状の品質は十分なものではなかった.

907.2 今後の展望
本論文では, 近接光源を対象とした照明環境を推定するために, 照明の放射輝度分布と照明内部に存在する光源の位置を推定する二つの独立した問題として捉え, 前者をインバースライティングに基づく手法で推定し, 後者を三角測量に基づく手法で推定する手法を提案したが, 本手法を用いて照明環境をより高精度に推定するために以下の検討が考えられる.
キャストシャドウやアタッチドシャドウの利用:

従来インバースライティングに基づき放射輝度分布を推定する手法は, 参照物体の形状を工夫することによってキャストシャドウやアタッチドシャドウなどのよりレンダリング行列の条件数が良くなる情報を用いていた. 今回, 参照物体として平面を用いて放射輝度情報を推定したが, 参照物体を従来提案されてきた拡散球やスケルトンキューブに変更することによって, キャストシャドウやアタッチドシャドウの情報を用いることができ, レンダリング行列の条件数が良くなると考えられる.
二次以上の反射光の利用:

中空透明球体を用いた光源位置推定は一次反射光のみを扱ったため, 一つの光源位置を推定するのに使用できる対応点は二点あったが， 同一エピポーラ線上で観測される二次反射光や三次反射光など複数の対応する反射光を用いることは, 三角測量におけるベースライン距離を長くすることと同義であるため, 光源位置推定精度の向上が可能であると考えられる.

91謝辞
本研究を行う機会を与えて頂き, 研究の全過程を温かく見守って下さり, 懇切なる御指導, 御鞭撻を賜った視覚情報メディア研究室 横矢直和 教授に心より感謝の意を表します. 特に, 博士前期課程・後期課程を通して, 国内外で数多くの発表の機会を与えて頂き, その度に論文の添削などきめ細やかな指導をして頂きま
した. また, 副指導教員として御助言を頂いたインタラクティブメディア設計学研
究室 加藤博一 教授に深く感謝いたし ます. 本研究の全過程において, 的確な御助言, 御鞭撻を頂いた光メディアインタフェース研究室 向川康博 教授に深く御礼申し上げます. また, 本研究を行うに当たり, 多大なる御 助言, 御鞭撻を賜った視覚
情報メディア研究室 佐藤智和 准教授に心より感謝いたし ます. 発表論文の添削,
実験, 発表練習に至るまで細やかな御指導を頂きました. また, 研究室での生活を支えていただいた視覚情報メディア講座 事務補佐員 中村美奈 女史, 石谷由美女
史に心より感謝 申し上げます. 研究活動において常に温かい御助言を頂いた視覚
情報メディア研究室の諸氏に感謝いたします.

92

参考文献
[1] K. Agusanto and L. Li, “Photorealistic rendering for augmented reality using
environment illumination,” in Proceedings of the 2nd IEEE/ACM International Symposium on Mixed and Augmented Reality, 2003, pp. 208 – 216.
[2] J. F. Blinn and M. E. Newell, “Texture and reflection in computer generated
images,” Communications of the ACM, vol. 19, no. 10, pp. 266–266, 1976.
[3] A. Ghosh, A. Doucet, and W. Heidrich, “Sequential sampling for dynamic
environment map illumination.” in Proceedings of Eurographics Workshop
on Rendering, 2006, pp. 115–126.
[4] T. Kollig and A. Keller, Eﬃcient illumination by high dynamic range images.
Fachbereich Informatik, Univ., 2002.
[5] S. Agarwal and R. Ramamoorthi, “Structured importance sampling of environment maps,” ACM Transactions on Graphics, vol. 22, no. 3, pp. 605–612,
2003.
[6] V. Ostromoukhov, “Sampling with polyominoes,” ACM Transactions on
Graphics, vol. 26, no. 3, pp. 78:1–78:6, 2007.
[7] V. Ostromoukhov, C. Donohue, and P.-M. Jodoin, “Fast hierarchical importance sampling with blue noise properties,” ACM Transactions on Graphics,
vol. 23, no. 3, pp. 488–495, 2004.
[8] V. Havran, M. Smyk, G. Krawczyk, K. Myszkowski, and H.-P. Seidel, “Importance sampling for video environment maps,” in proceedings of ACM SIGGRAPH, 2005, p. 109.
[9] S. R. Marschner, “Inverse rendering for computer graphics,” Ph.D. dissertation, Cornell University, 1998.

93

[10] K. Ikeuchi, “Determining surface orientations of specular surfaces by using
the photometric stereo method.” IEEE transactions on pattern analysis andmachine intelligence, vol. 3, no. 6, pp. 661–669, 1981.
[11] R. J. Woodham, “Photometric method for determining surface orientationfrom multiple images,” Optical Engineering, vol. 19, no. 1, pp. 139–144, 1980.
[12] Y. Yu, P. Debevec, and T. Malik J. Hawkins, “Inverse global illumination:Recovering Reflectance Models of Real,” in Proceedings of ACM SIGGRAPH, 1999, pp. 215–224.
[13] Y. Iwahori, H. Sugie, and N. Ishii, “Reconstructing shape from shading images under point light source illumination,” in Proceedings of International
Conference on Pattern Recognition, 1990, pp. 83–87.
[14] J. Clark, “Active photometric stereo,” in Proceedings of IEEE Computer
Society Conference on Computer Vision and Pattern Recognition, 1992, pp.
29–34.
[15] J. J. Clark and H. Pekau, “An integral formulation for diﬀerential photometric stereo,” in Proceedings of IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 1999, pp. 119–124.
[16] J. J. Clark, “Photometric stereo using LCD display,” Image and Vision
Computiong, vol. 28, no. 4, pp. 704–714, 2010.
[17] A. Pentland, “Finding the illuminant direction,” Journal of Opticalsocietyof America, vol. 72, no. 4, pp. 448–455, 1982.
[18] M. J. Brooks and B. K. P. Horn, “Shape and source from shading,” 1985.
[19] W. Zhou and C. Kambhamettu, “Estimation of illuminant direction andintensity of multiple light sources,” in Proceedings of European Conference
on Computer Vision, 2002, pp. 206–220.
94

[20] Y. Yang and A. Yuille, “Sources from shading,” in Proceedings of IEEE
Computer Society Conference on Computer Vision and Pattern Recognition,
1991, pp. 534–539.
[21] Y. Zhang and Y. H. Yang, “Multiple illuminant direction detection withapplication to image synthesis,” IEEE Transactions on Pattern Analysis andMachine Intelligence, vol. 23, no. 8, pp. 915–920, 2001.
[22] C. Schoeneman, J. Dorsey, B. Smith, J. Arvo, and D. Greenberg, “Painting
with light,” in Proceedings of the Annual Conference on Computer Graphics
and Interactive Techniques, 1993, pp. 143–146.
[23] K. Hara, K. Nishino, and K. Ikeuchi, “Determining reflectance and light
position from a single image without distant illumination assumption,” inProceedings of IEEE International Conference on Computer Vision, no. Iccv,
2003, pp. 2–9.
[24] K. Hara, K. Nishino, A. Nakazawa, and K. Ikeuchi, “Estimation of illuminantposition and reflectance properties using polarization under perspective projection,” in Proceedings of the IAPR International Conference on Machine
Vision Applications, 2002, pp. 566–571.
[25] S. Marschner and D. Greenberg, “Inverse lighting for photography,” in Proceedings of Color Imaging Conference, vol. 1997, no. 1. Society for Imaging
Science and Technology, 1997, pp. 262–265.
[26] R. Ramamoorthi and P. Hanrahan, “A signal-processing framework for inverse rendering,” Proceedings of the Annual Conference on Computer Graphics and Interactive Techniques, vol. 12, no. August, pp. 117–128, 2001.
[27] V. Harutunian, J. C. Morales, and J. R. Howell, “Radiation exchange within
an enclosure of diﬀuse-Gray surfaces: the inverse problem,” American Society of Mechanical Engineers, Tech. Rep., 1995.
95

[28] P. C. Hansen, T. Sekii, and H. Shibahashi, “The modified truncated SVD
method for regularization in general form,” SIAM Journal on Scientific andStatistical Computing, vol. 13, no. 5, pp. 1142–1150, 1992.
[29] F. França, M. Oguma, and J. R. Howell, “Inverse radiative heat transfer withnongray, nonisothermal participating media,” in Proceedings of the ASME
International Mechanical Engineering Congress and Exposition, 1998, pp.
361–365.
[30] J. C. Morales, M. Matsumura, J. R. Howell, and M. Oguma, “Computation of
inverse radiative heat transfer within enclosures,” ASME-PUBLICATIONSHTD, vol. 345, pp. 89–95, 1997.
[31] M. Oguma and J. R. Howell, “Solution of two-dimensional blackbody inverse radiation problems by inverse monte carlo method,” in Proceedings of
ASME/JSME Thermal Engineering Conference, vol. 3, 1995, pp. 243–250.
[32] I. Sato, Y. Sato, and K. Ikeuchi, “Illumination distribution from brightness
in shadows: adaptive estimation of illumination distribution with unknownreflectance properties in shadow regions,” in Proceedings of IEEE International Conference on Computer Vision, vol. 2, 1999, pp. 875–882.
[33] I. Sato, Y. Sato, and K. Ikeuchi, “Illumination from shadows,” IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 25, no. 3, pp.
290–300, 2003.
[34] T. Takai, S. Nimura, A. Maki, and T. Matsuyama, “Self shadows and castshadows in estimating illumination distribution,” in Proceedings of European
Conference on Visual Media Production, 2007, pp. 1–10.
[35] E. Reinhard, W. Heidrich, P. Debevec, S. Pattanaik, G. Ward, and
K. Myszkowski, High dynamic range imaging: acquisition, display, andimage-based lighting. Morgan Kaufmann, 2010.
96

[36] P. Debevec, “Rendering synthetic objects into real scenes: Bridging traditional and image-based graphics with global illumination and high dynamic
range photography,” in Proceedings of ACM SIGGRAPH classes, 2008, p. 32.
[37] P. Debevec, “A median cut algorithm for light probe sampling,” in Proceedings of ACM SIGGRAPH classes. ACM, 2008, p. 33.
[38] I. Sato, Y. Sato, and K. Ikeuchi, “Acquiring a radiance distribution to superimpose virtual objects onto a real scene,” IEEE Transactions on Visualization and Computer Graphics, vol. 5, no. 1, pp. 1–12, 1999.
[39] I. Ashdown, “Near-field photometry : a new approach,” Journal of the Illuminating Society, vol. 22, no. 1, pp. 163–180, 1993.
[40] M. W. Seigel and R. D. Stock, “A general near-zone light source modeland its application to computer automated reflector design,” SPIE OpticalEngineering, vol. 35, no. 9, pp. 2661–2679, 1996.
[41] R. F. Rykowski and C. B. Wooley, “Source modeling for illumination dsign,”
In Lens Design, Illumination, and Optomechanical Modeling, SPIE, vol.
3130, pp. 204–208, 1997.
[42] D. R. Jenkins and H. Mönch, “Source imaging goniometer method of lightsource characterization for accurate projection system design,” in Proceedings of SID Symposium Digest of Technical Papers, vol. 31, no. 1, 2000, pp.
862–865.
[43] J. Unger, S. Gustavson, P. Larsson, and A. Ynnerman, “Free form incident
light fields,” in Proceedings of Computer Graphics Forum, vol. 27, no. 4,
2008, pp. 1293–1301.
[44] M. Goesele, X. Granier, W. Heidrich, and H.-P. Seidel, “Accurate lightsource
acquisition and rendering,” in Proceedings of ACM SIGGRAPH, 2003, pp.
621–630.
97

[45] J. Unger, A. Wenger, T. Hawkins, A. Gardner, and P. Debevec, “Capturing and rendering with incident light fields,” in Proceedings of Eurographics
Workshop on Rendering, 2003, pp. 1–10.
[46] O. Cossairt, S. Nayar, and R. Ramamoorthi, “Light field transfer: global illumination between real and synthetic objects,” ACM Transactions on Graphics, vol. 27, no. 3, pp. 57:1—-57:6, 2008.
[47] P. Debevec, T. Hawkins, C. Tchou, H.-P. Duiker, W. Sarokin, and M. Sagar,“Acquiring the reflectance field of a human face,” in Proceedings of the Annual Conference on Computer Graphics and Interactive Techniques. ACM
Press/Addison-Wesley Publishing Co., 2000, pp. 145–156.
[48] A. Wenger, A. Gardner, C. Tchou, J. Unger, T. Hawkins, and P. Debevec, “Performance relighting and reflectance transformation with timemultiplexed illumination,” ACM Transactions on Graphics, vol. 24, no. 3, p.
756, 2005.
[49] T. Hawkins, P. Einarsson, and P. Debevec, “A dual light stage,” in Proceedings of Eurographics Symposium on Rendering, vol. 5, 2005, pp. 91–98.
[50] M. O’Toole, R. Raskar, and K. N. Kutulakos, “Primal-dual coding to probe
light transport,” ACM Transactions on Graphics, vol. 31, no. 4, pp. 1–11,
2012.
[51] V. Masselus, P. Peers, P. Dutré, and Y. D. Willems, “Relighting with 4D
incident light fields,” ACM Transactions on Graphics, vol. 22, no. 3, p. 613,
2003.
[52] P. Sen, B. Chen, G. Garg, S. R. Marschner, M. Horowitz, M. Levoy, and
H. P. a. Lensch, “Dual photography,” ACM Transactions on Graphics,
vol. 24, no. 3, p. 745, 2005.

98

[53] W. Matusik, M. Loper, and H. Pfister, “Progressively-refined reflectancefunctions from natural illumination.” in Proceedings of Eurographics Symposium on Rendering, 2004, pp. 299–308.
[54] P. Peers, D. K. Mahajan, B. Lamond, A. Ghosh, W. Matusik, R. Ramamoorthi, and P. Debevec, “Compressive light transport sensing,” ACM Transactions on Graphics, vol. 28, no. 1, pp. 1–18, 2009.
[55] P. Sen and S. Darabi, “Compressive dual photography,” in Computer Graphics Forum, vol. 28, no. 2. Wiley Online Library, 2009, pp. 609–618.
[56] G. Garg, E.-V. Talvala, M. Levoy, and H. P. a. Lensch, “Symmetric photography: exploiting data-sparseness in reflectance fields,” in Proceedings ofEurographics Symposium on Rendering, 2006, pp. 251–262.
[57] P. Peers, “Wavelet environment matting,” in Proceedings of Eurographics
Workshop on Rendering. Eurographics Association, 2003, pp. 157–166.
[58] D. Reddy, R. Ramamoorthi, and B. Curless, “Frequency-space decomposition and acquisition of light transport under spatially varying illumination,”in Proceedings of European Conference on Computer Vision, 2012, pp. 1–14.
[59] P. Ren, Y. Dong, S. Lin, X. Tong, and B. Guo, “Image based relighting
using neural networks,” ACM Transactions on Graphics, vol. 34, no. 4, p.
111, 2015.
[60] H.-L. Shen, “Calibrating light sources by using a planar mirror,” Journal of
Electronic Imaging, vol. 20, no. 1, p. 013002, 2011.
[61] M. W. Powell, S. Sarkar, and D. Goldgof, “A simple strategy for calibrating
the geometry of light sources,” Colorectal disease the oﬃcial journal of the
Association of Coloproctology of Great Britain and Ireland, vol. 23, no. 9,
pp. 1022–1027, 2001.

99

[62] 岡田徳次, 野口昌彦, 藤原茂, “球鏡面上の反射点位置の計算法,” 計測自動制
御学会論文集, vol. 30, no. 8, pp. 943–952, 1994.

[63] S. K. Nayar, “Sphereo: determining depth using two specular spheres anda single camera,” in Proceedings of the Cambridge Symposium on Advances,
1988, pp. 245–254.
[64] S. a. Nene and S. K. Nayar, “Stereo with mirrors,” in Proceedings of International Conference on Computer Vision, 1998, p. 1087.
[65] D. Lanman, D. Crispell, M. Wachs, and G. Taubin, “Spherical catadioptric arrays: construction, multi-view geometry, and calibration,” in Proceedings of International Symposium on 3D Data Processing, Visualization, andTransmission, 2006, pp. 81–88.
[66] D. Lanman, M. Wachs, G. Taubin, and F. Cukierman, “Reconstructing a
3d line from a single catadioptric image,” in Proceedings of International
Symposium on 3D Data Processing, Visualization, and Transmission, 2006,
pp. 89–96.
[67] M. Tarini, H. P. Lensch, M. Goesele, and H.-P. Seidel, “3D acquisition of
mirroring objects using striped patterns,” Graphical Models, vol. 67, no. 4,
pp. 233–259, 2005.
[68] Y. Francken, C. Hermans, and P. Bekaert, “Screen-camera calibration using
a spherical mirror,” in Proceedings of Canadian Conference on Computerand Robot Vision, 2007, pp. 11–20.
[69] W. Zhou and C. Kambhamettu, “A unified framework for scene illuminantestimation,” Image and Vision Computing, vol. 26, no. 3, pp. 415–429, 2008.
[70] D. Schnieders, K.-y. K. Wong, and Z. Dai, “Polygonal light source estimation,” in Source, 2010, pp. 96–107.

100

[71] M. Shimizu, M. Okutomi, and W. Jiang, “Disparity estimation in a layered
image for reflection stereo,” in Proceedings of Asian Conference on Computer
Vision, 2009, pp. 395–405.
[72] T. Yano, M. Shimizu, and M. Okutomi, “Image restoration and disparity estimation from an uncalibrated multi-layered image,” in Proceedings of IEEE
Computer Society Conference on Computer Vision and Pattern Recognition,
2010, pp. 247–254.
[73] Z. Chen, K. Y. K. Wong, Y. Matsushita, X. Zhu, and M. Liu, “Selfcalibrating depth from refraction,” in Proceedings of IEEE International
Conference on Computer Vision, 2011, pp. 635–642.
[74] T. Takai, K. Niinuma, A. Maki, and T. Matsuyama, “Diﬀerence sphere: anapproach to near light source estimation,” in Proceedings of IEEE International Conference on Computer Vision, vol. 1, 2004, pp. 98–105.
[75] C. P. Verbeck and D. P. Greenberg, “A comprehensive light source description for computer graphics,” IEEE Computer Graphics & Applications,vol. 4, no. 7, pp. 66–75, 1984.
[76] P. E. Debevec and J. Malik, “Recoverring high dynamic range radiance maps
from photo graphs,” in Proceedings of ACM SIGGRAPH, 2008, pp. 369–378.
[77] J. Park, S. N. Sinha, Y. Matsushita, Y.-W. Tai, and I. S. Kweon, “Calibratinga non-isotropic near point light source using a plane,” in Proceedings of IEEE
Computer Society Conference on Computer Vision and Pattern Recognition,
2014, pp. 2267–2274.
[78] P.-P. Sloan, J. Kautz, and J. Snyder, “Precomputed radiance transfer for
real-time rendering in dynamic, low-frequency lighting environments,” ACM
Transactions on Graphics, vol. 21, no. 3, pp. 527–536, 2002.

101

[79] J. Kautz, J. Snyder, and P.-P. J. Sloan, “Fast arbitrary BRDF shading for
low-frequency lighting using spherical harmonics.” Proceedings of Eurographics Workshop on Rendering, vol. 2, pp. 291–296, 2002.
[80] D. Gabay and B. Mercier, “A dual algorithm for the solution of nonlinear variational problems via finite element approximation,” Computers andMathematics with Applications, vol. 23, no. 9, pp. 1022–1027, 2004.
[81] K. Marwah, G. Wetzstein, Y. Bando, and R. Raskar, “Compressive light field
photography using overcomplete dictionaries and optimized projections,”
ACM Transactions on Graphics, vol. 32, no. 4, pp. 46:1—-46:12, 2013.
[82] L. Shi, H. Hassanieh, A. Davis, D. Katabi, and F. Durand, “Light field reconstruction using sparsity in the continuous fourier domain,” ACM Transactions on Graphics, vol. 34, no. 1, pp. 12:1–12:13, 2014.
[83] R. Ng, R. Ramamoorthi, and P. Hanrahan, “All-frequency shadows using
non-linear wavelet lighting approximation,” ACM Transactions on Graphics,
vol. 22, no. 3, pp. 376–381, 2003.
[84] T. Okabe, I. Sato, and Y. Sato, “Spherical harmonics vs. haar wavelets,” inProceedings of IEEE Computer Society Conference on Computer Vision and
Pattern Recognition, 2004.
[85] R. Wang, R. Ng, D. P. Luebke, and G. Humphreys, “Eﬃcient wavelet rotation for environment map rendering.” in Proceedings of Eurographics Symposium on Rendering, 2006, pp. 173–182.
[86] P.-P. Sloan, B. Luna, and J. Snyder, “Local, deformable precomputed radiance transfer,” ACM Transactions on Graphics, vol. 24, no. 3, pp. 1216–1224,
2005.
[87] K. Y. K. Wong, D. Schnieders, and S. Li, “Recovering light directions andcamera poses from a single sphere,” in Lecture Notes in Computer Science102

(including subseries Lecture Notes in Artificial Intelligence and Lecture Notes
in Bioinformatics), vol. 5302 LNCS, no. PART 1, 2008, pp. 631–642.
[88] P. Gargallo, E. Prados, and P. Sturm, “Minimizing the reprojection error insurface reconstruction from images,” in Proceedings of IEEE International
Conference on Computer Vision, 2007, pp. 1–8.
[89] A. Delaunoy and M. Pollefeys, “Photometric bundle adjustment for dense
multi-view 3d modeling,” in Proceedings of IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2014, pp. 1486–1493.
[90] POV-Team, “Persistence Of Vision Raytracer 3.0,” 1996.

103

研究業績
学術論文誌
1. 青砥 隆仁, 佐藤 智和, 向川 康博, 武富 貴史, 横矢 直和, ”中空透明球体を用いた近接点光源の位置推定”, 電子情報通信学会論文誌 (D), Vol. J98-D, No.

3, pp. 534-545, March 2015. （4 章に関連）

査読付き国際会議
1. T. Aoto, T. Sato, Y. Mukaigawa, and N. Yokoya, ”Linear estimation of
4-D illumination light field from diﬀuse reflections”, Proc. IAPR Asian
Conference on Pattern Recognition, pp. 496-500, Nov. 2013. （3 章に関連）
2. T. Aoto, T. Taketomi, T. Sato, Y. Mukaigawa, and N. Yokoya, ”Position
estimation of near point light sources using a clear hollow sphere”, Proc.
21st IAPR Int. Conf. on Pattern Recognition, pp. 3721-3724, Nov. 2012.
（4 章に関連）

査読有り国内会議
1. 青砥 隆仁, 武富 貴史, 佐藤 智和, 向川 康博, 横矢 直和, ”中空透明球体上の鏡面反射光を用いた近接点光源位置の推定”, 画像の認識・理解シンポジウ
ム (MIRU) 講演論文集, pp. 1-8, Aug. 2012. （4 章に関連）

査読無し国内会議
1. 青砥 隆仁, 佐藤 智和, 向川 康博, 横矢 直和, ”光線強度の非負値制約を用いた L1 ノルム最小化による 4 次元ライトフィールドの再構成”, 情報処理学会
研究報告, CVIM-195-45, Jan. 2015. （3 章に関連）

104

2. 青砥 隆仁, 佐藤 智和, 向川 康博, 横矢 直和, ”放射輝度分離による 4 次元ライトフィールドの再構成”, 画像の認識・理解シンポジウム (MIRU) 講演論
文集, SS3-20, July 2014. （3 章に関連）

3. 青砥 隆仁, 佐藤 智和, 向川 康博, 横矢 直和, ”拡散反射板上で観測される放射輝度を用いた 4 次元ライトフィールドの校正”, 画像の認識・理解シンポ
ジウム (MIRU) 講演論文集, SS5-21, July 2013. （3 章に関連）

4. 青砥 隆仁, 武富 貴史, 佐藤 智和, 横矢 直和, ”中空透明球体上の鏡面反射光を用いた近接光源位置の推定”, 情報処理学会 研究報告, CVIM180-11, Jan.

2012. （4 章に関連）
5. 青砥 隆仁, 武富 貴史, 佐藤 智和, 横矢 直和, ”中空透明球体を用いた近接
光源位置の推定 ”, 日本バーチャルリアリティ学会第 16 回大会論文集, pp.

61-64, Sep. 2011. （4 章に関連）

105

付録

A. 電磁波の放射エネルギーを表す放射量
光は電磁波であり, そのエネルギーは放射によって伝搬する. この光のもつ物理的なエネルギーは光学において放射量として扱われる. ここでは電磁波の放射エネルギーを表す放射量について詳しく述べる.
放射照度
光の照射面の単位面積 dS に対して単位時間に照射される放射エネルギーを放射照度といい,Ee [W/m2 ] で表す. この放射照度は単位時間あたりの光源の放射エネ
ルギーを放射束 ϕe [W ] と単位面積 dS を用いて以下のように表される.

Ee =

dϕe
dS

(30)

放射強度
点状の放射源 (点光源) から単位立体角 (dω) に対して単位時間に放出する放射エネルギーを放射強度といい,Ie [W/sr] で表す.

Ie =

dϕe
dω

(31)

ここで, 立体角 ω は, 半径 re の球面上の面積 S の部分に対して球の中心から張る
立体角を ω = S/re2 として定義したもので, 単位は [sr] である.
放射輝度
観測方向から面状の放射源を見たときの, 見る方向に投影した単位面積あたりの106

放射強度を放射輝度といい,Le [W/(sr × m2 )] で表す.

Le =

dIe
d2 ϕe
=
dS cos θdωdS cos θ

物体を観測するときには, この放射輝度を観測している.

図 48 放射強度, 放射照度, 放射輝度

107

(32)

B. ランバート拡散反射
ランバート拡散反射は, 入射した光線をあらゆる方向に均等に反射する理想的な拡散反射モデルである. ここではまず, 基本的な放射量である, 放射照度, 放射強度, 放射輝度に関する基本的な法則を述べる. 次に, ランバート拡散反射面で観測される輝度が面を見る角度にも距離にもよらず放射源の方向 θ と放射強度 Ie のみ
によって決まり, ランバート拡散反射面における放射輝度 Lω は以下の式で表されることについて詳しく述べる.

Lω = Ie Kd cos θ(33)

ただし kd (0 ≦ Kd ≦ 1) は反射率を表す定数である.
点光源に関する照度の基本法則
図 49 に示すように, ある微小面積 dS が, 面の法線方向から θ の角度で距離 dL の

図 49 光源と物体表面位置にある放射強度 Ie の点光源によって照射されているとき, 放射強度と放射照度の関係は次のようになる.

Ee =

cos θ
dϕe
= Ie 2
dS
dL
108

(34)

ただし, 立体角の定義から次の関係を利用している.

dω =dS cos θd2L(35)

式 (34) において, 放射照度が放射強度に対して距離の 2 乗に反比例することと,cos θに比例することを示している. これをそれぞれ照度の逆二乗則 (図 50 参照) と, 照度の入射角余弦則 (図 51 参照) という.

図 50 照度の逆二乗則109

図 51 照度の入射角余弦則

ランバートの余弦則
図 51 に示したように, 微小面積 dS の法線方向の放射強度を Ie (0), 法線から角度

φ の方向の放射強度を Ie (φ) としたとき, 次のような関係が得られる.
Ie (φ) = Ie (0) cos φ(36)

式 (36) は, 法線から φ だけ傾いた方向から反射面を観測すると, 放射強度は cos φに比例して低下することを示している. このような性質をもった反射面をランバー
ト拡散反射面といい, 式 (36) をランバートの余弦則という.
ある角度からランバート拡散反射面を見たときの放射輝度
ランバート拡散反射面上の微小面積 dS について, 法線から角度 φ の方向の放射輝度を Le (φ) とすると, 放射輝度の定義から以下のように表せる.

dIe (φ)dS cos φ(37)

dIe (0) cos φdIe (φ)== Le (0)dS cos φdS cos φ(38)

Le (φ) =式 (36) を代入すると

Le (φ) =の関係があることがわかる. つまり, ランバート拡散反射面は見る角度 φ によらず, すべての方向に対して放射輝度が一定である.

110

ある距離からランバート拡散反射面を見たときの放射輝度
光学中心と物体表面間の距離が変動すると, 式 (34) と同様に, 投影面微小領域 (カメラの場合 1 画素に相当する) 上に届く放射照度は立体角の定義 (式 (35)) から光
学中心と物体表面間の距離の二乗に反比例して減少するが, 光学中心と物体表面間の距離に応じて投影面微小領域上で観測される面積も距離の二乗に比例して増加する (図 52 参照). このため, 放射輝度は面を見る距離に依存しなくなる.
dSC
dC

dC

図 52 距離の変化による観測可能な領域の変化

111