NAIST-IS-MT1051001

修士論文

中空透明球体を利用した近接点光源の位置推定

青砥隆仁

2012 年 3 月 16 日

奈良先端科学技術大学院大学
情報科学研究科 情報システム学専攻

本論文は奈良先端科学技術大学院大学情報科学研究科に修士 (工学) 授与の要件として提出した修士論文である。
青砥

隆仁

審査委員：
横矢

直和 教授

（主指導教員）

加藤博一 教授（副指導教員）佐藤智和 准教授（副指導教員）中空透明球体を利用した近接点光源の位置推定∗
青砥

隆仁

内容梗概
光源位置を変えながら撮影した画像群から物体形状を推定する照度差ステレオ
は, 詳細な形状情報を復元できることから, デジタルアーカイブや物体認識などへの応用が期待される. 中でも, 近接光源を用いた照度差ステレオ法は法線方向の復元精度が高いという特長を持つため, 近年盛んに研究がされている. 近接光源を用いた照度差ステレオによる物体形状の計測では, 光源位置の推定が重要な課題となる. 従来, 近接光源位置の推定手法として, 複数の参照物体から観測される反射光や単一の参照物体によって生じる影を用いる方法などが提案されてきた.
しかし, 前者は参照物体間の位置関係を事前にキャリブレーションする必要があり, 後者には推定すべきパラメータが多く, 光源位置を安定に推定することが難しいという問題がある. これらの問題に対し, 本研究では, 実環境の光源分布を計測する方法として, 中空透明球体を用いた近接光源位置の推定手法を提案する. 本
手法は, (1) 単一の参照物体のみによる推定を行うため参照物体間の幾何学的キャ
リブレーションが不要である, (2) 光源, カメラの光学中心, および透明球の中心の 3 点で構成されるエピポーラ平面上に必ず反射光が存在するため, 画像上で反射光と球中心が直線上に観測でき反射光の対応付けが容易である, (3) 画像上で反射光の再投影誤差を最小化することで光源位置を安定に推定できる, という特長を持つ. 実験では, 提案手法の有効性を確認するため, 仮想環境および実シーンにおいて近接光源位置の推定精度を定量的に評価する. また, 推定された近接光源
位置を用いた照度差ステレオ法による法線方向の復元結果を示し, 近接光源を用いた照度差ステレオに必要な光源位置の推定精度について検証する.
∗

奈良先端科学技術大学院大学 情報科学研究科 情報システム学専攻 修士論文, NAIST-ISMT1051001, 2012 年 3 月 16 日.

iキーワード近接光源位置推定, 中空透明球体 , 再投影誤差最小化 , 照度差ステレオii

Position Estimation of Near Light Point Sources
Using Clear Hollow Sphere∗
Takahito Aoto

Abstract
Photometric stereo, which reconstructs 3D shape of objects from images takenwith diﬀerent light source positions, is expected to be used for the ﬁeld of digitalarchiving and object recognition. In recent years, photometric stereo methods
that use near light sources are intensively investigated because of their high potential for estimating normal directions with high accuracy. In these methods,
position estimation of near light sources is one of the important problems. Conventionally, this problem has been solved by using observed reﬂected lights on
multiple reference objects or self-shadows of a single reference object of known 3D
shape. However, the former approach requires geometric calibration of reference
objects in advance, and the latter has a problem that estimating light positions is
not stable due to many unknown parameters. In order to solve these problems, we
propose a method for estimating positions of near light sources using reﬂected positions of the two kinds, outside and inside, specular lights on a single clear hollow
sphere. This method has the following features; (1) geometric calibration for multiple reference objects is not required. (2) positions of corresponding reﬂections
are observed on an epipolar line and thus it is easy to ﬁnd corresponding pairs of
reﬂected positions. (3) position of near light sources can be stably estimated byminimizing re-projection errors. In experiments, the accuracy of estimated light∗

Master’s Thesis, Department of Information Systems, Graduate School of Information
Science, Nara Institute of Science and Technology, NAIST-IS-MT1051001, March 16, 2012.

iii

positions by the proposed method is evaluated using both simulation and realdata. We also demonstrate the eﬀectiveness of our method by estimating normal
directions of object surfaces using a photometric stereo algorithm with estimatedpositions of near light sources.

Keywords:
Position estimation of near light source, Clear hollow sphere ,Reprojection error
minimization , Photometric stereoiv

目次
1. はじめに
1.1

1.2

1.3

1

照度差ステレオ法の原理 . . . . . . . . . . . . . . . . . . . . . . .

2

1.1.1

無限遠光源を仮定した照度差ステレオ法 . . . . . . . . . .

3

1.1.2

近接光源を用いた照度差ステレオ法 . . . . . . . . . . . . .

6

近接光源位置の推定手法の分類 . . . . . . . . . . . . . . . . . . .

9

1.2.1

複数の参照物体を用いる手法 . . . . . . . . . . . . . . . .

9

1.2.2

単一の参照物体を用いる手法 . . . . . . . . . . . . . . . .

11

1.2.3

特定の参照物体を用いない手法 . . . . . . . . . . . . . . .

13

本研究の位置付けと方針 . . . . . . . . . . . . . . . . . . . . . . .

14

2. 中空透明球体を用いた近接光源位置の推定

16

2.1

中空透明球体の特徴

2.2

近接光源位置推定手法の概要. . . . . . . . . . . . . . . . . . . .

16

2.3

透明球の三次元位置の推定 . . . . . . . . . . . . . . . . . . . . . .

17

2.4

画像上における反射光位置の検出と対応する反射光の組の決定 . .

20

2.5

再投影誤差の最小化. . . . . . . . . . . . . . . . . . . . . . . . .

21

2.6

反射光を用いた光源位置の推定 . . . . . . . . . . . . . . . . . . .

22

2.6.1

透明球上の反射位置の推定 . . . . . . . . . . . . . . . . . .

24

2.6.2

光源方向ベクトルの推定 . . . . . . . . . . . . . . . . . . .

24

2.6.3

光源位置の推定 . . . . . . . . . . . . . . . . . . . . . . . .

25. . . . . . . . . . . . . . . . . . . . . . . . .

3. 実験

16

27

3.1

仮想環境における光源位置推定精度の評価 . . . . . . . . . . . . .

27

3.2

実シーンにおける光源位置推定 . . . . . . . . . . . . . . . . . . .

32

3.2.1

実環境における光源位置推定精度の評価 . . . . . . . . . .

32

3.2.2

複数光源下での光源位置推定 . . . . . . . . . . . . . . . .

33

3.3

推定された近接光源位置情報を用いた照度差ステレオ法による形状復元 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

v

35

3.3.1

シミュレーション環境における形状復元結果 . . . . . . . .

35

3.3.2

実環境における形状復元結果 . . . . . . . . . . . . . . . .

35

4. まとめ

39

謝辞

40

参考文献

41

付録

44

A. 電磁波の放射エネルギーを表す放射量

44B. ランバート拡散反射

46

vi

図目次
1

無限遠光源を仮定した場合における物体表面に入射する光の角度 .

42

近接光源の場合における物体表面に入射する光の角度 . . . . . . .

43

無限遠光源を仮定した場合におけるランバート拡散反射物体の輝度

54近接光源を用いた場合におけるランバート拡散反射物体の輝度 . .

75

近接光源位置推定手法の分類

96

複数の参照物体を用いた光源位置推定. . . . . . . . . . . . . . .

10

7

Debevec らによる光源位置推定 [22] . . . . . . . . . . . . . . . . .

128

拡散球上の等輝度線の分布を用いた光源位置推定 . . . . . . . . .

129スケルトンキューブ [24] . . . . . . . . . . . . . . . . . . . . . . .

1310

中空透明球体 . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

15

11

中空透明球を用いた光源位置推定 . . . . . . . . . . . . . . . . . .

1712

光軸上に透明球中心が存在する場合の幾何学的な関係 . . . . . . .

1913

光軸上に透明球中心が存在しない場合の幾何学的な関係 . . . . . .

1914

再投影誤差最小化 . . . . . . . . . . . . . . . . . . . . . . . . . . .

2215

光源位置が透明球を含む視体積外に存在する場合のエピポーラ平. . . . . . . . . . . . . . . . . . . .

面断面図 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

1623

光源位置が透明球を含む視体積内に存在する場合のエピポーラ平面断面図 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

26

17

シミュレーション環境におけるカメラと中空透明球位置 . . . . . .

28

18

光源位置推定誤差の分布 (x=0, σ = 0.0) . . . . . . . . . . . . . . .

29

19

光源位置推定誤差の分布 (x=0, σ = 0.2) . . . . . . . . . . . . . . .

29

20

光源位置推定誤差の分布 (x=0, σ = 0.5) . . . . . . . . . . . . . . .

30

21

光源位置推定誤差の分布 (x =0, σ = 1.0) . . . . . . . . . . . . . .

30

22

仮想環境における入力画像 . . . . . . . . . . . . . . . . . . . . . .

31

23

実環境における光源位置推定誤差 . . . . . . . . . . . . . . . . . .

33

24

複数光源下での入力画像 . . . . . . . . . . . . . . . . . . . . . . .

34

25

複数光源下での推定結果 . . . . . . . . . . . . . . . . . . . . . . .

34

vii

26

仮想環境における球の三次元復元結果. 左から順に 24 枚の入力画像の 1 枚, 推定された光源位置情報を用いて復元された三次元点群,
真の光源位置情報を用いて復元された三次元点群, 二つの距離画像の差分の絶対値を 8 倍した結果, 二つの法線画像の差分の絶対値を8 倍した結果. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
27

36

実環境における球の三次元復元結果. 左から順に 17 枚の入力画像の 1 枚, 法線方向画像と法線の参照球, 推定された光源位置情報を用いて復元された三次元点群. . . . . . . . . . . . . . . . . . . .

38

28

放射強度, 放射照度, 放射輝度

. . . . . . . . . . . . . . . . . . . .

4529

光源と物体表面 . . . . . . . . . . . . . . . . . . . . . . . . . . . .

4630

照度の逆二乗則 . . . . . . . . . . . . . . . . . . . . . . . . . . . .

4731

照度の入射角余弦則. . . . . . . . . . . . . . . . . . . . . . . . .

48

32

距離の変化による観測可能な領域の変化 . . . . . . . . . . . . . .

49

表目次

viii

1. はじめに博物館, 美術館, 図書館などの収蔵物を始めとする, 有形・無形の文化資料等をデジタル化して保存することをデジタルアーカイブと呼ぶ. デジタルアーカイブにより期待される効果として, 貴重な資料へのアクセスを減らすことによる資料の破損・劣化防止や, 時間的・地理的な制約を超えた資料提供などが挙げられる.
このような情報のデジタルアーカイブを人手で行うには, 高い技術と多大な時間が必要となるため, 計算機によるデジタルアーカイブの自動化に関する研究が行われている. デジタルアーカイブでは, 特に対象物体の形状・テクスチャ(対象物
体の反射特性) の情報が重要であり, これらの情報を計測するために様々な手法が従来提案されている.
本論文では, これら物体の詳細な形状と物体の反射特性を高精度に計測することが可能な画像を用いた照度差ステレオ法に着目する. 照度差ステレオ法では, 異なる照明条件下で撮影された画像を用い, 物体表面の明るさが光源方向と物体表面の法線方向に依存して変化することを利用して物体形状を復元する. このとき,物体形状を復元するためには光源位置および光源強度を推定する必要がある. 初期の照度差ステレオ法による三次元形状復元では, 無限遠光源を仮定し, 単一の鏡面球に写り込む反射光から光源方向を推定することで物体形状の復元を行っていた. しかし, 光源が十分遠方にない場合には, 物体上の位置によって光の入射方向が異なることになり, 無限遠光源を仮定した手法を用いて精度良く物体形状を推定することは難しい.
これに対して近年, より高精度な形状復元が可能な近接光源を前提とした照度差ステレオ法に関する研究が盛んに行われている. これら近接光源を用いた照度
差ステレオでは, 光源位置を推定することが特に重要となる. 従来, 近接光源位置の推定手法として, 複数の参照物体から観測される反射光や単一の参照物体によって生じる影を用いる方法などが提案されてきた. しかし, 前者は参照物体間の位置関係を事前にキャリブレーションする必要があり, 後者には推定すべきパラメータが多く, 光源位置を安定に推定することが難しいという問題がある.
これらの問題に対し, 本研究では, 実環境の光源分布を計測する方法として, 中
空透明球体を用いた近接光源位置の推定手法を提案する. 本手法には, 以下のよう

1

な特長がある.

1. 単一の参照物体のみによる推定を行うため参照物体間の幾何学的キャリブ
レーションが不要

2. 光源, カメラの光学中心, および透明球の中心の 3 点で構成されるエピポー
ラ平面上に必ず反射光が存在するため, 画像上で反射光と球中心が直線上に観測され反射光の対応付けが容易

3. 画像上で反射光の再投影誤差を最小化することで光源位置を安定に推定可能
以下では, まず本論文で提案する近接光源位置推定手法のアプリケーションである照度差ステレオ法の原理を概説する. 次に照度差ステレオの分野で用いられてきた光源位置推定の従来手法について述べる. 最後に本研究の位置付けと方針を明確にする.

1.1 照度差ステレオ法の原理
照度差ステレオ法は, 異なる照明条件下で撮影されたシーン中の物体の面の傾き (法線ベクトル) を推定する方法である [1]. 照度差ステレオ法の大きな特徴は,ピクセル毎の傾きを独立に計算することで, 物体表面の微細な形状を推定できる点にある. 他の三角測量に基づく三次元復元手法では, 多くの場合において画像間の対応点を密に決定する事がボトルネックになり, 空間的に密な三次元復元が難しいが, 照度差ステレオ法は密な推定が可能である. 照度差ステレオ法は 1980 年
代に Silver[2],Woodham[3] や Ikeuchi[4] によって基本的な手法が提案されたのち,多くの研究者がその拡張手法について検討してきた [5, 6, 7, 8]. 初期の照度差ス
テレオでは無限遠光源を仮定し, 単一の鏡面球に写り込む反射光から光源方向を推定することで物体の形状復元を行っていた. 図 1 に示すように, これらの手法では, 無限遠光源を仮定することで対象物体に入射するすべての光の入射方向が等しい平行光線とみなすことができる. しかし, 図 2 に示すように, 光源が十分遠方にない場合には, 物体上の位置によって光の入射方向が異なることになり, 無限遠光源を仮定した手法を用いて精度良く物体形状を推定することは難しい. これに2

対して近年, 近接光源を前提とした照度差ステレオ法に関する研究が盛んに行われている. 以下, 無限遠光源を仮定した照度差ステレオ法と近接光源を用いた照度
差ステレオ法の原理について詳しく述べる.

1.1.1 無限遠光源を仮定した照度差ステレオ法
Silver[2], Woodham[3] や Ikeuchi[4] によって提案された初期の照度差ステレオ法では, カメラとシーンを固定して, 対象物体の反射特性をランバート拡散反射(付録 A,B 参照), 光源を既知の平行光線と仮定し, 異なる平行光線下で撮影された複数の画像から各ピクセルに対応するシーン中の物体表面の傾きを求める. ラン
バート拡散反射は, 入射した光線をあらゆる方向に均等に反射する理想的な拡散反射モデルであり, ランバート面に入射した放射強度の減衰率はランバート拡散
反射率 ρ(0 ≦ρ≦ 1) として表現される. 光源強度を E とすると, シーン中の物体
表面が受ける光の強さは単位入射光ベクトル s と面の単位法線ベクトル n の内積

nT s と E の積となるので, 影の影響を無視すると観測輝度 i は以下の式で表される (図 3, 付録 A, B, 参照).

i = EρnT s(1)

ここで, M 個の異なる平行光源下 s1 , ...sM で撮影された M 枚の画像を考える.
このとき, 各々の画像上で観測輝度 i1 , ..., iM が得られたとすれば, 式 (1) から以下の式が成り立つ.

 

i1
E1 sT1
 .  ..
 ..  =  ρn.
 |{z} T
EM sM n̂∈R3×1
iM{z}| {z } |i∈RM ×1(2)

S∈RM ×3

ここで, E, S, i が既知で, かつ M が 3 以上の場合には, 拡散反射率 ρ と単位法線ベ
クトル n の積 n̂(= ρn) を, 逆行列 ( M = 3 の場合) または疑似逆行列 ( M > 3 の場
合) を用いて線形に算出することができる. また, 単位法線ベクトル n は ∥ n ∥= 1

3

図 1 無限遠光源を仮定した場合における物体表面に入射する光の角度

図 2 近接光源の場合における物体表面に入射する光の角度4図 3 無限遠光源を仮定した場合におけるランバート拡散反射物体の輝度であるので, ランバート拡散反射率 ρ, 法線ベクトル n は, 以下のように求まる.
{ρ =∥ n ∥(3)
n = n̂/ ∥ n̂ ∥= n̂/ρ
上記の手法では, 面の傾き n が得られる. 無限遠光源を仮定した照度差ステレオ
法は面の傾きのみを推定する手法であるため, 直接絶対的な奥行きを推定することはできない. そこで, 輪郭を奥行き 0 とするなどの境界条件を設定し, 推定された法線マップを積分することで, スケールとオフセット (積分定数にあたる) の曖
昧さを残しながら三次元形状を推定することができる.
以上のように, 無限遠光源を仮定した照度差ステレオ法は, 各ピクセルごとの法線ベクトルを推定することができ, 高密度な形状推定が可能であるが, 法線は物体の面の傾きである一次微分の情報しか持たないため, 物体の形状を復元するためには法線マップを積分する必要があり, 空間に孤立した物体面が存在する場合や5影などのために観測できる領域が分断された場合など, それぞれの物体表面間の空間的な位置関係が必要となる場合において, 物体の三次元形状を復元することが難しい. また, 積分により推定誤差が蓄積するという問題もある.

1.1.2 近接光源を用いた照度差ステレオ法
計測対象が狭い室内にあったり, 対象物体が比較的大きいなど, 光源が十分遠方に存在しない場合には物体上の位置によって光の入射方向が異なることになり,
このような場合には, 平行光線を仮定した方法を用いて精度良く物体形状を推定することは難しい. そのため, 近年, 近接光源を前提とした照度差ステレオ法に関する研究が盛んに行われている. 近接光源を用いた照度差ステレオ法は, 無限遠光源を仮定した照度差ステレオ法とは異なる以下のような特徴を持つ.

• シーン中の物体の法線方向に加え, カメラから物体までの距離をピクセル毎に推定可能• 物体表面が空間中で不連続であったとしても物体形状を推定可能
以下では, 近接光源を用いた照度差ステレオ法の基本原理および関連研究について述べる.
近接光源を用いた照度差ステレオにおいて, 物体表面の反射特性をランバート
拡散反射であると仮定し, 光源強度を E, ランバート拡散反射率を ρ, 物体上の三次元点位置ベクトルを X, 近接光源位置ベクトルを L とすると, シーン中の物体
表面が受ける光の強さ (観測輝度 i) は影の影響を無視すると以下の式で表される(図 4 参照).
i=nT (L − X)
1Eρ
∥ L − X ∥2
∥L−X ∥(4)

ここで, 1/ ∥ L − X ∥2 は減衰項と呼ばれ, 物体上の三次元点 X における入射光
強度は光源位置ベクトル L と物体上の三次元点位置ベクトル X の距離の 2 乗に反比例することを意味している (付録 B 参照). また, (L − X)/ ∥ L − X ∥ は光源
方向の単位ベクトルを表しており, 図 2 に示したように光源方向は物体表面上の三次元点 X によって異なる.

6

図 4 近接光源を用いた場合におけるランバート拡散反射物体の輝度

そのため, 近接光源を用いた照度差ステレオ法では無限遠光源を仮定した照度差ステレオ法と異なり, 画像全体を 1 つの光源方向についてまとめて表現することができない. このように, 近接光源を用いた照度差ステレオ法は無限遠光源を仮定した照度差ステレオ法に比べ, より正確なモデル化がなされているが, 輝度モデ
ルが非線形関数で表現されているため, 輝度モデルが線形関数で表現されていた
無限遠光源を仮定した照度差ステレオ法と異なり, 解が線形に解けなくなり難し
くなる.
式 (4) のような近接光源を前提としたモデルを用いて三次元形状を復元する手法は, 観測輝度と推定輝度の差を非線形最適化する手法と, 近接光源下における輝度モデルを線形化して解く手法に大別できる.

7

観測輝度と推定輝度の差を非線形最適化する手法
観測輝度と推定輝度の差を誤差とし非線形最適化による最小化で未知パラメー
タを推定する手法は, 明示的にモデル化された近接光源の輝度のモデルを用い, 観測された輝度と推定される輝度との誤差が最小となる最適なパラメータを推定す
る. Iwahori ら [9] や Clark ら [10] は, 法線を推定するのではなく, カメラから対象物体までの奥行きを変数とする目的関数を設定し, 各ピクセル独立にカメラから
対象物体までの距離を推定している. また, Yoshiyasu ら [11] は, 初期形状を与える事で局所解を回避し, 物体の全周形状と法線を推定する多視点照度差ステレオ法を提案している.
近接光源下における輝度モデルを線形化して解く手法
近接光源下における輝度のモデルを線形化して解く手法は, 既知の情報を増やす手法と, 輝度のモデルを近似する手法がある. Higo ら [12] は, 予め別の手法を用いてカメラから対象物体までの奥行きを計測し, 光が距離の二乗に反比例して減衰する項を既知の項に含める事で, 式 (4) を線形に解く手法を提案している. また,

Fujita ら [13] は, 光が距離の 2 乗ではなく 1 乗に反比例すると近似することで, 近接光源下における輝度のモデルを線形化する手法を提案している.
また, 近接光源を用いた照度差ステレオに関するその他の研究として, 以下のようなものがある.

• 点光源の配置と非線形方程式の解の一意性の関係の考察 [14]• 点光源ではなく面光源を用いた照度差ステレオ法の研究 [15] [16] [17]近接光源を用いた照度差ステレオ法は, 光源と物体表面間の距離に応じた光の減衰の項が入るため, そのままでは問題が線形に解けず扱いが難しいという短所がある反面, カメラから物体表面までの奥行き・法線方向・物体表面反射特性を
ピクセル毎に推定可能であり, また物体表面が空間中で不連続であっても物体形状を推定可能であるといった長所がある. 近接光源を用いた照度差ステレオを行うためには, カメラ位置と光源位置の相対的な位置関係と光源の強度の情報が必
要となる.

8

1.2 近接光源位置の推定手法の分類
前節までに述べたように, 近接光源を用いた照度差ステレオ法では, カメラと光源位置の相対的な位置関係が必要となる. そこで, 本節では, 単一のカメラから取得された画像をもとに近接光源位置の推定を行う従来研究を, 図 5 に示すように,複数の参照物体を用いる手法, 単一の参照物体を用いる手法, 特定の参照物体を用いない手法に分類し, それぞれの手法の特徴について述べる.

Xþg·+Xþg·@/"ÝÔ m2
Xþ¹ÆKœ;)(
N m2~”CþÄ1ggþ
¦S±‘Ò
"Mþg·@/"ÝÔ m2g·+þ¼dØz
(x"<Ý

IycEqW4
I þg·@/"ÝÔúÔm2”CþÄ1ggøoUIöþ¦S±‘Ò

図 5 近接光源位置推定手法の分類

1.2.1 複数の参照物体を用いる手法
複数の参照物体を用いる手法は, 参照物体表面の鏡面反射光を検出し対応付けることで, 三角測量の原理に基づいて光源位置を推定する. Nayar ら [18] や Powell
ら [19] は, 図 6 に示すように, 鏡面反射が強く観察される参照球を 2 個用い, 2 つの参照球上の鏡面反射の対応付けを行うことで三角測量の原理に基づいて光源の位9置を求める手法を提案している. この手法は, 球が広範囲な法線分布を持つという性質を利用しているため, 光源位置を計測可能な範囲が広いという特徴がある.
しかし, この手法は事前に参照物体間の位置関係を高精度にキャリブレーションする必要がある. また, 光源位置, 光学中心と球の位置関係を用いて理想的な球面上の反射位置を算出することが困難であるという理由から, 光源の三次元位置を推定する際に画像上で再投影誤差を最小化することが難しく, 2 本の光路を最短で結ぶ線分の中点を光源位置とする方法 (中点法) が用いられている.

図 6 複数の参照物体を用いた光源位置推定

この問題に対し, Shen ら [20] はマーカを取り付けた二枚の平面鏡を角度を変えて設置し, 2 枚の平面鏡上の鏡面反射の対応付けを行い光源の位置を求める手法を提案している. この手法では参照物体間のキャリブレーションをマーカを用いて行うため, 事前に参照物体間のキャリブレーションを行う必要がない. また, 球と比較して光線方向の分解能が高いため, 球を用いた手法よりも位置推定精度が10高いという特徴がある反面, 光源位置を計測可能な範囲が狭いという問題がある.
これら複数の参照物体を用いる手法には, 複数光源下において, 対応する反射光の組を決定することが難しいという共通の問題がある.
その他, ステレオ視の分野において, Nene と Nayar ら [21] が, 楕円鏡, 双曲面鏡,
パラボドイド (回転放物面) 鏡など特殊な光学系におけるステレオ視を提案しているが, これらの光学系においても対応する反射光の組を決定することが難しいという共通の問題を解決していない.

1.2.2 単一の参照物体を用いる手法
単一の参照物体を用いる推定手法は, 単一の参照物体から得られる情報と幾何学的な形状, 物体の表面反射特性などの事前知識を用いて光源位置を推定する.

Debevec ら [22] は, 図 7 に示すように, light probe と呼ばれる鏡面球をシーン中に設置し, 鏡面球上の反射光強度を元に環境内の光源分布を決定している. ただし,このままでは球と光源までの距離が決まらないため, この手法では予め手入力で与えられている部屋の形状を利用し光源位置を推定している. この方法は容易に
光源位置を推定することができるが, 空間の幾何形状を取得するためには多くの人的コストが必要となる. Takai ら [23] は, 図 8 に示すように, 拡散球上の等輝度線の分布から推定された光源方向を元に近接光源位置を求める手法を提案している. この手法には, 球面上で光が当たる領域と光の当たらない領域の境界線と等輝度線を検出することで, 容易に光源位置が推定できるという特徴がある. しかし, 複数光源下において, これらの境界線と等輝度線を安定に見つけることが難しいという問題がある. また, Takai ら [24] や飯野ら [25] は, 図 9 に示すように, 中空の立方体 (スケルトンキューブ) の内壁に落とされるセルフシャドウを利用した光源推定手法を提案している. この手法は空間中のいかなる位置に近接点光源が存在しても中空の立方体内にセルフシャドゥが生じることを利用し, 中空立方体上で観測される輝度値と既知の中空立方体の反射特性の関係から光源位置と強度を推定する. しかし, 推定すべきパラメータが多く, 光源位置を安定に推定することが難しいという問題がある.

11

図 7 Debevec らによる光源位置推定 [22]図 8 拡散球上の等輝度線の分布を用いた光源位置推定12図 9 スケルトンキューブ [24]1.2.3 特定の参照物体を用いない手法
特定の参照物体を用いない手法は, 反射モデルに基づいて物体表面の輝度分布を解析することでパラメータの推定を行い光源の位置を推定する. 物体表面においてある反射モデルが成り立つことを仮定し, パラメータの推定を行うことで, 光源位置を推定する. 原ら [26] は, 参照物体の幾何形状を既知とし, 対象の反射特性として Trrance-Sparrow モデルが成り立つと仮定することで, 偏光特性を用いて成分分離された鏡面反射成分画像のみから輝度分布を解析し光源位置を推定している. この手法には, 光源位置を容易に推定できるという特長があるが, 鏡面反射
成分の広がりに影響を与える光源と鏡面反射ピーク間の距離と物体表面の粗さの二つを同時に推定するため, 光源位置を安定に推定することが難しい.

13

1.3 本研究の位置付けと方針
前節までに述べたように, 近接光源を用いた照度差ステレオ法は, 無限遠光源を仮定した照度差ステレオ法と異なり, カメラから物体表面までの奥行き・法線方
向・物体表面反射特性をピクセル毎に推定可能であり, また物体表面が空間中で不連続であっても物体形状を推定可能である. 近接光源を用いた照度差ステレオ法を行うためには少なくとも光源位置の情報が必要になる.
近接光源の位置を推定する従来手法は数多く提案されているが, 複数の参照物
体を用いる手法は光源位置の推定精度が高い反面, 複数光源下において対応する反射光の組を決定する事が難しいという問題がある. 単一の参照物体を用いる手法は参照物体間のキャリブレーションが不要であるが, 光源位置を安定に推定することが難しい. 特定の参照物体を用いない手法は容易に光源位置を推定できるが, 光源位置を安定に推定することが難しい. そこで, 本研究では, 近接光源を用いた照度差ステレオ法への適用を前提とし, 中空透明球体を用いることで, 以下の条件を満たす新たな光源位置推定手法を提案する.

• 事前の幾何学的キャリブレーションが不要• 光源位置を安定に推定可能• 広範囲の光源位置を推定可能
具体的には, 図 10 に示すように単一の中空透明球を用いることにより, 球面の外部で反射する鏡面反射光と球面外部を通過した光が球面内部で反射し観測される
鏡面反射光の 2 種類の鏡面反射光を観測することで, 単一の画像から三角測量の原理に基づいて光源位置を推定する. 本手法は複数の参照物体を用いる手法と異なり, 対応する光源の反射光の組が, 必ず画像上で球中心を通るエピポーラ線上に存在するため, 複数光源下においても比較的容易に対応する反射光を決定できるという特長を持つ.
本論文の構成は以下の通りである. 2 章では提案手法である中空透明球体を利用した近接点光源の位置推定手法について述べる. 3 章では提案手法を用いた近接光源位置の推定実験を行うことで提案手法の有効性を示し, また, 近接光源を用14

いた照度差ステレオ法に提案手法を適用することにより本手法の有効性を示す. 4
章では本論文で述べた提案手法およびその実験結果をまとめ, 今後の課題につい
て述べる.

«o

§Ýå

¤í•Ì•.

図 10 中空透明球体

15

2. 中空透明球体を用いた近接光源位置の推定
本章では, まず本研究で用いる中空透明球体の特徴について述べる. 次に, 提案手法の概要を述べた後に, 透明球の三次元位置の推定, 画像上における反射光位置の検出, 画像上における反射光の再投影誤差の最小化法, 反射光を用いた光源位置推定手法, について順に述べる.

2.1 中空透明球体の特徴
本研究では, 図 10 に示したような球体内部が中空の透明球体上の反射光を用いて近接光源の位置を推定する. 中空透明球体を用いた場合, 図 11 に示すように,光源から出た光は球面外部で反射した球面外部反射光 (光路 1) と, 表面を透過し球面内部で反射した球面内部反射光 (光路 2) として画像上で観測される. これらの 2 種類の反射光を観測することは, 図中に示すように 2 台の仮想カメラを用いて光源を直接観測することと等価である. このため, 球の半径とカメラの内部パラメータが既知である場合, 観測された反射光の画像上の位置より三角測量の原理により近接光源の三次元位置を推定することができる. また, 対応する反射光
は, 光源位置 L, カメラ光学中心 C, 中空透明球体中心 Sc により規定されるエピ
ポーラ平面上に存在し, この平面は画像上で直線として観測されるため, 光源が複数存在する場合においても, 対応する 2 種類の反射光の探索範囲がエピポーラ線
上に限定できるという特長を持つ.

2.2 近接光源位置推定手法の概要
本提案手法は前節で述べた中空透明球体を用い, 単一の画像から観測される中空透明球体上の鏡面反射光をもとに近接光源の位置を推定する. 既知の情報は中
空透明球体の形状のみであり, カメラは事前に校正済みのものを使用する. 具体的にはまず, 透明球の画像上での大きさ, 位置を利用して, 光学中心からの透明球の相対的な位置を算出する. 次に, 対応する反射光が画像上で直線として観測されるという特長を用い, 対応する反射光を決定をする. ここで, 画像上で観測される鏡16

図 11 中空透明球を用いた光源位置推定

面反射光は反射光の検出誤差や中空透明球体の製造上の法線方向のずれによる光路の変化の影響などにより厳密には画像上で直線として観測されないため, 対応
する反射光と透明球中心が画像上で直線となるように再投影誤差を最小化し, エ
ピポーラ線を決定する. 最後に推定された透明球の位置情報と反射光の位置から
三角測量の原理により近接光源の三次元位置を推定する. なお, 本論文では画像上で観測される鏡面反射光は 1 次反射のみとし, 透明球の厚さが屈折の影響を無視できるほど小さいと仮定する.

2.3 透明球の三次元位置の推定
本手法では, 光学中心と透明球中心の相対的な位置関係を用い, 画像上で観測される情報と既知の情報である透明球の半径 r, カメラパラメータから透明球の三次元位置を推定する. 以下では簡単のため, まず光軸上に透明球中心が存在する場合
における透明球の三次元位置の推定についてい述べる. 次に, 一般的な場合である

17光軸上に透明球中心が存在しない場合の透明球の三次元位置の推定について述べる. なお, 画像上における透明球の位置・大きさは Hough 変換を用いて検出する.
光軸上に透明球中心が存在する場合
光軸上に透明球中心が存在する場合, 図 12 に示すように, 光学中心 C, 透明球中
心 Sc , 透明球境界 Sr , で構成される三角形 CSc Sr と, 光学中心 C, 投影面上における透明球中心 Sc′ , 投影面上における透明球境界 Sr′ , で構成される三角形 CSc′ Sr′
は相似の関係にある. 従って,∥ Sr′ − C ∥:∥ Sc − C ∥=∥ Sr′ − Sc′ ∥:∥ Sr − Sc ∥ より光学中心 C と透明球中心 Sc の間の距離は以下のように表す事ができる.

∥ Sc − C ∥=∥ Sr − Sc ∥∥ Sr′ − C ∥∥ Sr′ − Sc′ ∥(5)

焦点距離を f =∥ Sc′ − C ∥, 透明球半径を r =∥ Sr − Sc ∥ 画像平面上で観測される透明球の半径を rc = (Sr′ − Sc′ ) とすると, 式 (5) は以下のように書き直す事ができる.

√
f 2 + rc2
∥ Sc − C ∥=rcr

これを用いる事で, 透明球中心 Sc は以下のように算出できる.
√
r f 2 + rc2 (Sc′ − C)
Sc =
+C
rc
f

(6)

(7)

光軸上に透明球中心が存在しない場合
一般的に, 光軸上に透明球中心が存在する事はほとんどない. このような場合
は, 図 13 に示すように, 光学中心 C, 透明球中心 Sc , 透明球境界 Sr , で構成される
三角形 CSc Sr と光学中心 C, 光学中心を通る透明球接線上で (Sr′ − C) · (Sc′ − Sr′′ )の関係にある点 Sr′′ , で構成される三角形 CSc′ Sr′′ は相似の関係にある. また, で構成される三角形画像平面上における透明球境界 Sr′ , 光学中 C, 画像平面中心 C ′で構成される三角形 Sr′ CC ′ と, 画像平面上における透明球境界 Sr′ , 画像平面上における透明球中心 Sc′ , 点 Sr′′ で構成される三角形 Sr′ Sc′ Sr′′ も相似の関係にある.
従って, ∥ Sc − C ∥ は以下のように表される.

∥ Sc − C ∥=∥ Sc′ − C ∥∥ Sc − Sr ∥∥ Sc′ − C ∥∥ Sc − Sr ∥∥ Sr′ − C ∥=(8)∥ Sc′ − Sr′′ ∥∥ Sc′ − Sr′ ∥∥ C − C ′ ∥18

図 12 光軸上に透明球中心が存在する場合の幾何学的な関係

図 13 光軸上に透明球中心が存在しない場合の幾何学的な関係

19ここで, 画像平面上での球中心 Sc′ と画像中心 C ′ の距離を rq =∥ Sc′ − C ′ ∥ とす
ると, 式 (8) は以下のように表される.

∥ Sc − C ∥=rf√

f 2 + (rq − rc )2√
rc rq2 + f 2

これを用いる事で, 透明球中心 Sc は以下のように算出できる.
√
rf f 2 + (rq − rc )2(Sc′ − C)
√ 2
√
Sc =
+C
rc rq + f 2
f 2 + (rq − rc )2

(9)

(10)

2.4 画像上における反射光位置の検出と対応する反射光の組の決定
本節では, 中空透明球体上で起こる鏡面反射光を検出する方法について述べ, 次に対応する反射光の組の決定方法を述べる. 鏡面反射とは物体表面の直接反射によって生じる反射で, 入射角と等しい反射角となる正反射方向に光が強く観測される性質がある. そのため, 鏡のような完全鏡面反射特性を持つ物体における鏡面反射の放射強度は大きく露出オーバーを起こし, 観測された鏡面反射光は白とびを起こす. また, 前節までに述べたように, 中空透明球体上で起こる鏡面反射光
は, 画像上で対応する反射光と透明球中心を通る直線上 (エピポーラ線) に観測される.
このような性質を踏まえ, 本手法では以下の手順で画像上における反射光位置の検出と対応する反射光の組の決定する.

1. 画像上透明球領域内において白とびを起こしている領域を二値化して抽出する

2. 二値化された領域に対しラベリングを行い, その重心を反射光位置とする
3. 検出された反射光ごとに中空透明球体中心とその反射光を結ぶ線に垂線の足の距離が最も近い反射光を 1 点選択する

4. step 3 で, 相互に選択された反射光の組を対応する反射光とする
ただし, エピポーラ平面上に複数の光源が存在する場合, すべての反射光が画像上で同一エピポーラ線上に存在するため対応する反射光の組を一意に決定できない.

20

2.5 再投影誤差の最小化
エピポーラ線上において対応する反射光が決定すれば, 2 本の光路が交わる点
が光源位置となるが, 実際には 2 本の光路は, 画像上での反射光の検出誤差や中空透明球体の製造上の法線方向のずれなどに起因して 1 点で交わらない. このような問題は, ステレオ視の分野においても存在し, この場合には画像上の再投影誤差(対応点の検出座標と三次元座標を画像上に投影した座標の間の 2 乗距離) が最小になるように対応点の三次元位置を定める方法が最善とされている. しかし, 本研究のように球面上の反射光を扱う場合において, 三次元位置が既知の光源に対する球面上の反射位置を代数学的に求めることが困難であることが知られており[27], 三次元位置をパラメータとする一般的な再投影誤差最小化手法をそのまま利用することが難しい. このため, 多くの従来手法では 2 本の光路を最短で結ぶ線
分の中点を光源位置とする方法 (中点法) が用いられてきた.
本研究では, 対応する反射光と球中心が理想的には画像上でエピポーラ線上に観測されるという特徴を利用することで, 再投影誤差の最小化を実現する. 以下,
具体的な手法を述べる. ここでは簡単のために球中心が光軸上に存在する場合を考える. 図 14 に示すように, 画像上の横軸に対して, θ 度傾いたエピポーラ線を考える.
ここで, 画像上における 2 つの反射光観測位置をそれぞれ U1 , U2 , 推定される
近接光源位置の画像上への再投影位置が Ū1 , Ū2 であるとする. このとき, 再投影
誤差 E は以下のように定義できる.

E = d21 + d22 , d1 =∥ U1 − Ū1 ∥, d2 =∥ U2 − Ū2 ∥(11)

ここで, エピポーラ線の傾き θ がどのような値であっても, E を最小化する Ū1 , Ū2の位置は, U1 , U2 からエピポーラ線に下ろした垂線の足となり, このとき, d1 , d2は以下のように求まる.

 d1 =| r1 sin(θ − θ1 ) | d =| r sin(θ − θ ) |
2

2

2

21

(12)

図 14 再投影誤差最小化

ただし, r1 は透明球中心から反射光 U1 までの距離, r2 は透明球中心から反射光

U2 までの距離である. この式を式 (11) に代入すれば,E は θ の関数として以下のように表せる.

E(θ) = (r1 sin(θ − θ1 ))2 + (r2 sin(θ − θ2 ))2(13)

ここで, E(θ) を最小化する θ を求めれば Ū1 , Ū2 の位置が定まる. ここで, Ū1 , Ū2はエピポーラ線上に存在するため, これらの反射光は空間中で必ず交わる. 本手法
では, この交点を光源の三次元位置とする. 以下, エピポーラ線上の反射光の位置

Ū1 , Ū2 から光源の位置を推定する手法を詳述する.

2.6 反射光を用いた光源位置の推定
本手法では, カメラの内部パラメータと空間中に設置した中空透明球体の半径を既知とし, 画像上で観測される反射光の位置より光源の三次元位置をカメラ座

22

図 15 光源位置が透明球を含む視体積外に存在する場合のエピポーラ平面断面図

標系で推定する.
ここで, 図 15 に示すように, i 番目の光源 L(i) に対応する球体上の反射光 n(n =1, 2) の三次元位置 P(i,n) は, 光源 L(i) , カメラ光学中心 C, 中空透明球体中心 Sc ,で規定されるエピポーラ平面上に存在する. ここで, 光源位置 L(i) は以下のように表すことができる.

L(i) = P(i,n) + s(i,n) l(i,n)(n = 1, 2)(14)

ただし, s(i,n) は反射位置 P(i,n) から光源位置 L(i) までの距離, l(i,n) は反射位置 P(i,n)
から見た光源方向を表す単位方向ベクトルである. 画像上の反射光観測位置 Ū1 ,Ū2 を入力とし, 反射位置 P(i,n) , 光源方向ベクトル l(i,n) , 距離 d(i,n) を算出することで, 光源位置 L(i) を推定することができる. 以下では反射位置 P(i,n) , 光源方向ベクトル l(i,n) , 光源位置 L(i) それぞれの算出方法について順に述べる.

23

2.6.1 透明球上の反射位置の推定
球面上での反射位置 P(i,n) は, 光学中心 C と画像上の反射位置 Ū1 , Ū2 より定まる反射方向を表す単位方向ベクトル v̄(i,n) を用いて, 以下のように表わされる.

P(i,n) = t(i,n) v̄(i,n)(15)

ここで, t(i,n) は光学中心から反射位置までの距離を表す. 一方, P(i,n) は Sc を中心とする半径 r の透明球球面上に存在するため, 以下の式が成り立つ.

∥ Sc − P(i,n) ∥2 = r2

(16)

式 (16) に式 (15) を代入することで,2t2(i,n) v̄(i,n)− 2t(i,n) Sc · v̄(i,n) + Sc2 = r2(17)が得られる. 従って t(i,n) は以下のように求まる.

t(i,n) = Sc · v̄(i,n) ±√D(i,n)

D(i,n) = (Sc · v̄(i,n) )2 − Sc2 + r2

(18)
(19)

ここで, D(i,n) > 0 であれば光線 v̄(i,n) は球と 2 点で交わる.

2.6.2 光源方向ベクトルの推定
球面上の反射位置 P(i,n) でおきる反射は鏡面反射であるため, 光の入射角と反射角が等しい. 従って, P(i,n) における単位光源方向ベクトル l(i,n) は以下のように算出できる.

l(i,n) = 2(N(i,n) · v(i,n) ) · N(i,n) + v(i,n)
ただし, N(i,n) は P(i,n) における球面の単位法線ベクトルである.

24

(20)

2.6.3 光源位置の推定
式 (15), (20) より P(i,n) , l(i,n) が求まれば, これを式 (14) に代入して L(i) についての連立方程式を解くことにより距離 d(i,n) が求まる. ただし, 1 つの v(i,n) に対して 2 つの反射位置 P(i,n) が求まるため, 画像上で鏡面反射が 2 点観測される場合には, P(i,n) の組み合わせは 4 通り存在する. 本研究では, 以下の制約を用いることで, 偽の P(i,n) の組を排除する.

• s(i,n) ≥ 0: 反射位置から光源位置までの距離 d(i,n) は必ず正の値である.
• ∥ L(i) − Sc ∥≥ r: 光源は中空透明球体内に存在しない.
以上より, 1 対の v̄(i,n) から 1 対の反射点 P(i,n) と距離 d(i,n) が求まる. これを式 (1)に代入することにより光源位置 L(i) が求まる.
ただし, 図 16 に示すように, 光源位置が透明球を含む視体積内に存在し, かつ球より遠方に存在する場合, 光源位置 L(i) を上記手法で求めることができない. この場合には, 光源位置 L(i) は, 直接光の観測と鏡面反射光の観測から得られる以下の連立方程式から算出できる.
 L(i) = t(i,1) v̄(i,1)

L

(21)

(i) = s(i,2) l(i,2) + P(i,2)

ただし, 光源からの直接観測光が二つの光路の何れであるか未知の場合には, v̄(i,n) ,P(i,n) の組み合わせが 4 通り存在するが, 上記の手法と同様の制約を用いることにより偽の v(i,n) , P(i,n) の組み合わせを排除し, 光源位置 L(i) を推定する. なお Sc
は, 2.3 節で説明したように式 (7) で算出できる.

25

図 16 光源位置が透明球を含む視体積内に存在する場合のエピポーラ平面断面図

26

3. 実験
本章では, まず提案手法の有効性を示すためにシミュレーション環境において光源位置の推定を行い, 真値との比較を行うことで光源位置の推定精度を検証す
る. 次に, 実画像を用いて実シーンでの光源位置推定を行う. 最後に, 提案手法によって推定された近接光源位置情報を入力とし,Iwahori[9] らの手法による近接光源を用いた照度差ステレオ法を用いてシミュレーション環境および実環境で三次元形状の復元を行った結果す.

3.1 仮想環境における光源位置推定精度の評価
本節では光源位置の変化が光源位置の推定精度に与える影響を検証する. 本実
験では図 17 に示すように, カメラをシミュレーション空間内の点 (0, 0, 0) に設置
し, カメラから 500mm 離れた地点 (0, 0, 500) に半径 100mm, 厚さ 0mm の厚みによる屈折の影響を受けない理想的な中空透明球を固定した. このような設定で,光源の位置を x = 0 の yz 平面上で変化さながらカメラにより撮像される画像を

pov-ray[28] を用いてレンダリングし, その画像を元に光源位置を推定・評価した.
なお, 本シミュレーションでは, 水平画角約 60◦ , 垂直画角約 45◦ のカメラを想定
し, カメラの解像度を 1024 × 768 ピクセル, カメラのレンズ歪みはないものとし,
カメラ内部パラメータとして以下の内部パラメータ行列を用いた.



870


K=
 0
0

0

511.5




870 383.5 

0
1

(22)

シミュレーションに用いた光源位置は, 光源と透明球中心の間の距離 D(L−Sc ) を100mm ∼ 800mm の範囲で 10mm 間隔, 球中心から見た光源の方位角 ϕ を 0 ∼ 180◦の範囲で 2◦ 間隔で変化させたものを用いた. これらの光源位置に対して画像をレンダリングし, 画像上の反射点検出位置に 4 種類の異なる標準偏差 σ = (0, 0.2,

0.5, 1.0) ピクセルの正規分布を仮定したノイズを付加したものを用いて光源位置の推定精度を評価した. 本実験では, 真の光源位置が透明球を含む視体積内に存27

図 17 シミュレーション環境におけるカメラと中空透明球位置在する場合には, 直接観測光を用いる式 (21) を用い, それ以外の場合には式 (14)を用いて光源位置を推定した. 各々のノイズレベルに対する光源位置推定誤差の分布を図 18∼ 図 21 に示す. 図 18∼ 図 21 は, シミュレーションにおいて設定した真の光源位置について, 提案手法による推定誤差を 1 万回の試行により平均したものである. なお, 図中の黒三角は光源位置, 二重丸は中空透明球中心, 透明球
中心から 100mm ∼ 800mm の範囲内における白色領域は光源位置の推定誤差が30mm 以上および推定できなかった領域を表す. 図 18 より, カメラの光学中心 (図中 (0, 0, 0)) を通る透明球の接線周辺および光軸周りを除く多くの領域で光源位置を推定可能であることが確認できる. カメラの光学中心を通る透明球の接線付近に光源がある場合には, 画像上において透明球と背景領域の境界線近くに反射光が観測される (図 22(a) 参照). この時, 反射光位置の微小変化で光線の反射方向が大きく変化するため, 光源位置の推定精度が悪化する. 光軸周りに光源が存在する場合には, 二つの鏡面反射光が画像上で接近し, 視差が小さくなるため手法原理
上正しく光源位置を推定できない (図 22(b) 参照). また, 図 19, 図 20, 図 21 より,検出誤差を加えた際, 推定精度が悪化する領域とあまり変化しない領域が存在す
ることがわかる.

28

300
250

600
Y[mm]

200
400

150

推定誤差

800

[mm]

100
200
50
0
-300

-100

◀

100

300

◎

0

500
Z[mm]

700

900

1100

1300

図 18 光源位置推定誤差の分布 (x=0, σ = 0.0)

300
250

600
Y[mm]

200
400

150
100

200
50

-100

100

◎

◀

0
-300

300

0

500
Z[mm]

700

900

1100

1300

図 19 光源位置推定誤差の分布 (x=0, σ = 0.2)

29

推定誤差

800

[mm]

300
250

600
Y[mm]

200
400

推定誤差

800

[mm]

150
100

200
50

-100

100

◎

◀

0
-300

300

0

500
Z[mm]

700

900

1100

1300

図 20 光源位置推定誤差の分布 (x=0, σ = 0.5)

300
250

600
Y[mm]

200

推定誤差

800

[mm]
400

150
100

200
50
0
-300

-100

◀

100

◎
300

0

500
Z[mm]

700

900

1100

1300

図 21 光源位置推定誤差の分布 (x =0, σ = 1.0)30

推定精度が悪化する領域は, 上記の光源位置を推定することが難しい領域周辺である. 一方, 推定精度があまり変化しない領域に光源が存在する場合には, 画像上において反射光もしくは直接光が透明球境界線から離れた位置に観測され, かつ観測される二つの反射光もしくは反射光と直接光の距離も十分離れている. このような条件下であれば, 安定かつ高精度な光源位置推定が実現できることがわ
かる (図 22(c),(d) 参照).

(a) カメラの光学中心を通る透明球の接線付近に光源が存在する場合(b) 光軸周りに光源が存在する場合(c) 観測される二つの反射光の距離が十分離れている場合(d) 観測される反射光と直接光が十分離れている場合

図 22 仮想環境における入力画像31

3.2 実シーンにおける光源位置推定
本節ではまず, 実シーンにおける単一光源下での光源位置推定実験を行う事で実シーンにおいて光源位置を推定できることを示す. 次に, 複数光源下での光源位置推定実験を行うことで, 複数光源下において自動で光源位置を推定するできることを示す.

3.2.1 実環境における光源位置推定精度の評価
本実験では, 実環境における単一光源下での光源位置推定精度を評価する. ここでは, デジタルカメラ (Cannon EOS kiss Digital, 解像度 1024 × 768) を用いて,カメラから約 620mm の距離に設置した半径 100mm, 厚さ 7mm の固定された中空透明を撮影した静止画像を用い, 方位角 70◦ 方向の 8 箇所の異なる位置に設置されたそれぞれのハロゲンライトの位置を推定した. ここでは, 定量評価を行うために, 光源の位置をあらかじめトータルステーションを用いて計測し, これを真値とした. また, カメラの位置姿勢はトータルステーションを用いて計測した点を用いて PnP 問題を解くことで推定した. また, カメラは事前にキャリブレーション済
みであり, 球の検出には Hough 変換を用いた. 図 23 に球中心から光源の距離と真値との比較による光源位置推定誤差の関係を示す.
同図より, 中空透明球体中心より約 650mm 離れた点までは比較的高精度に光源位置を推定できていることが確認できる. このような場合には, 画像上において二つの反射光が透明球境界線から離れた位置に観測され, かつ画像上で十分離れているという光源位置を安定に推定可能な条件を満たしている. 一方, 中空透明球体
中心から光源までの距離が約 650mm 離れた場合には光源位置推定精度が急激に悪化している. これはシミュレーションで見られた挙動と同様であり，2 種類の
光源方向ベクトルが平行に近くなり, 検出誤差やノイズの影響により反射光位置を安定に抽出できないためである.

32

160

j(mm)

140
120
100

œ;)(N

80
60
40
20
0
0

100

200

300

400

500

600

700

800

900

p5ñÂ+/p°Û œ; ÷þ¥³(mm)

図 23 実環境における光源位置推定誤差

3.2.2 複数光源下での光源位置推定
本節では実シーンにおける複数光源下での光源位置推定実験を行うことで複数
光源下において自動で光源位置を推定できる事を示す. 本実験では, デジタルカ
メラ (Cannon EOS kiss Digital) を用いて, カメラから光源を直接観測できるように約 150cm の距離から半径 100mm, 厚さ 7mm の固定された中空透明を撮影した
静止画像 (解像度 3072 × 2048) を用い, 3 つの LED ライト位置を推定した. ただし, カメラは事前にキャリブレーション済みである. 図 24 に入力画像, 図 25 にエ
ピポーラ線上に存在する鏡面反射の組を用いてそれぞれの光源位置を推定した結果を示す. 図 24 に示した入力画像と図 25 に示した推定結果を比べる事で, 実シー
ンにおける複数光源下であっても各々の光源位置を推定できることを確認した.

33

入力画像

入力画像 (一部拡大)

図 24 複数光源下での入力画像

図 25 複数光源下での推定結果

34

3.3 推定された近接光源位置情報を用いた照度差ステレオ法による形状復元
提案手法の有効性を示すために, 提案手法によって推定された近接光源位置情報を入力とし, Iwahori らの手法 [9] による近接光源を用いた照度差ステレオ法を用いてシミュレーション環境および実環境内で三次元形状の復元を行った.

3.3.1 シミュレーション環境における形状復元結果
形状復元の理想的な対象物体として真球を用いてシミュレーション実験を行った. 本実験では, カメラ (解像度 1024× 768) をシミュレーション空間内の点 (0,0,0)に設置し, カメラから 500mm 離れた地点に (0,0,500) に半径 100mm, 厚さ 0mm の厚みによる屈折の影響を受けない理想的な中空透明球体を設置した. このような設定で光源を安定に推定可能な方位角 30 度 ∼80 度の範囲内の 24 箇所の異なる位置に光源を設置し, カメラにより取得された画像から提案手法によって光源位置を推定した. 次に中空透明球体を取り除き, 中空透明球体を設置していた地点(0,0,500) に半径 50mm の完全拡散反射球を設置し, それぞれの光源下における画像を再度 pov-ray[28] を用いてレンダリングしたものを入力画像とした.
図 26 に入力画像, 推定された光源位置情報を用いて復元された三次元点群, 真の光源位置情報を用いて復元された三次元点群, 推定した光源を用いた場合と真値を用いた場合の距離画像および法線方向画像の差分の絶対値を 8 倍した画像を示す. ここで, 推定された法線のカラーコーディングの対応は (R, G, B) = (nx +1, ny + 1, nz + 1)/2 を用いている. 本実験より, 推定された近接光源位置を用いる
ことで, シミュレーション環境下において, 観測される輝度値のダイナミックレンジが大きい領域では物体表面の法線方向と三次元形状を安定に推定することが可能であることを確認した.

3.3.2 実環境における形状復元結果
本実験では, 線形なレスポンス関数を持つデジタルカメラ (Cannon EOS kiss

Digital, 解像度 1024×768) を用い,17 箇所の異なる位置に設置したハロゲンライ
35

入力画像

推定された光源位置情報を用いて復元された三次元点群

真の光源位置情報を用いて復元された三次元点群

距離の差分画像

法線方向の差分画像

図 26 仮想環境における球の三次元復元結果. 左から順に 24 枚の入力画像の 1 枚,推定された光源位置情報を用いて復元された三次元点群, 真の光源位置情報を用いて復元された三次元点群, 二つの距離画像の差分の絶対値を 8 倍した結果, 二つの法線画像の差分の絶対値を 8 倍した結果.
36

トを提案手法を用いて光源位置を推定した. 次にそれぞれの光源下で石膏像を撮
影し, 17 枚の入力画像とそれに対応する光源位置情報から三次元形状を復元した.
図 27 に入力画像, 推定された法線マップおよび推定された三次元点群を示す.
実験の結果, 法線はおおむね正しく推定されたものの対象物体の形状が滑らかにならず推定精度が悪かった. これは実環境において近接光源を用いた照度差ス
テレオ法を行う場合に相互反射の影響やノイズの影響により推定精度が悪化したと考えられる.

37

入力画像

法線方向画像と法線の参照球推定された三次元点群

図 27 実環境における球の三次元復元結果. 左から順に 17 枚の入力画像の 1 枚,
法線方向画像と法線の参照球, 推定された光源位置情報を用いて復元された三次元点群

38

4. まとめ
本論文では, 近接光源を用いた照度差ステレオ法への適用を前提とし, 中空透明
球体によって反射された 2 種類の鏡面反射光を用いた近接光源位置の推定手法を提案した. 提案手法では対応する光源の反射光の組が必ず画像上で球中心を通る
エピポーラ線上に存在するため, (1) 画像上で再投影誤差を最小化できる (2) 複数
光源下においても対応する反射光の探索が容易であるという特長を持つ.
実験では, 1 台のカメラと単一の参照物体である中空透明球体を用い光源位置を推定し, 推定精度を評価した. 実験の結果, カメラの光学中心を通る透明球接線
方向と, カメラの光学中心と球中心を通る直線周辺を除く領域において光源位置を推定できることを示した. また, 実環境において光源位置を推定精度の評価と複数光源下での光源位置推定実験を行い実環境でも安定に光源位置を推定できることを示した. これに加え, シミュレーション環境および実環境において, 提案手法によって推定された近接光源位置を用いて, 近接光源を用いた照度差ステレオ法により形状復元を行った. 実環境における実験では, 光源位置および法線方向は推定されたものの, 相互反射やノイズの影響で推定される形状の品質は十分なものではなかった. 今後の課題として, 本論文では考慮しなかった中空透明球体が厚みを持つ場合の屈折の影響を考慮した中空透明球体の光学系のモデル化が挙げられる. また, 本研究では一次反射光のみを扱ったため, 一つの光源位置を推定するのに使用できる対応点は二点であったが, 同一エピポーラ線上で観測される二次反射光や三次反射光など複数の対応する反射光を用いることによって光源位置推
定精度を向上させることが可能であると考えられ, この点についても検討する.

39

謝辞
本研究を進めるにあたって, 素晴らしい研究環境と懇切なる御指導, 御鞭撻を賜りました視覚情報メディア研究室横矢直和教授に心から感謝致します. また, 本研究の遂行にあたり, 有益な御助言, 御鞭撻を頂いたインタラクティブメディア設計
学研究室加藤博一教授に厚く御礼申し上げます. そして, 本研究を進めるにあたり, 始終暖かい御指導をして頂いた視覚情報メディア研究室佐藤智和准教授に深く感謝致します. 特に, 佐藤智和准教授には本研究のテーマ設定から本論文の執筆,
その他の発表論文の添削, 発表練習に至るまで細やかな御指導を頂きました. さらに, 本研究の遂行にあたり, 的確な御助言や御指導を頂きましたインタラクティブ
メディア設計学研究室武富貴史助教授に心より感謝致します. また, 本研究を進めるにあたり, 貴重な御助言を頂いた視覚情報メディア研究室河合紀彦助教授に深く感謝致します. また, 本研究の遂行にあたり, 貴重な御助言を頂いた大阪大学産業科学研究所複合知能メディア研究分野波部斉特任講師に心より感謝致します.
また, 研究室での生活を支えて頂いた視覚情報メディア研究室事務補佐員中村美奈女史に厚く御礼申し上げます. そして, 本研究のテーマのもととなったプラ
ズマボールを提供してくれた大倉史生氏に厚く御礼申し上げます. 最後に, 研究活動だけでなく日々の生活においても大変お世話になった視覚情報メディア研究
室諸氏に心より感謝致します.

40

参考文献
[1] 松下康之. 照度差ステレオ. Technical Report 29(2011-CVIM-177), 2011.
[2] W.M. Silver. Determining shape and reﬂectance using multiple images. Master’s thesis, Massachusetts Institute of Technology, 1980.
[3] R.J. Woodham. Photometric method for determining surface orientationfrom multiple images. Optical Engineering, Vol. 19, No. 1, pp. 139–144,
1980.
[4] K. Ikeuchi. Determining surface orientation of specular surfaces by using
the photometric stereo method. IEEE Trans. Pattern Analysis and MachineIntelligence, Vol. 3, No. 6, pp. 661–669, 1981.
[5] A. Hertzmann and S. M. Seitz. Example-based photometric stereo: Shapereconstruction with general, varying brdfs. IEEE Trans. Pattern Analysis
and Machine Intelligence, Vol. 27, No. 8, pp. 1254–1264, 2005.
[6] T. Higo, Y. Matsushita, and K. Ikeuchi. Consensus photometric stereo. In
Proc. IEEE Conf. Computer Vision and Pattern Recognition, pp. 1157–1164,
2010.
[7] T. Okabe, I. Sato, and Y. Sato. Attached shadow coding: Estimating surface
normals from shadows under unknown reﬂectance and lighting conditions.
In Proc. IEEE Conf. Computer Vision, pp. 1693–1700, 2009.
[8] B. K. P. Horn and Michael J. Brooks. The variational approach to shapefrom shading. Computer Vision, Graphics, and Image Processing, Vol. 33,
No. 2, pp. 174–208, 1986.
[9] Y. Iwahori, H. Sugie, and N. Ishii. Reconstructing shape from shading images
under point light source illumination. In Int. Conf. on Pattern Recognition,
pp. I: 83–87, 1990.
41

[10] J.J. Clark. Active photometric stereo. In Proc. IEEE Conf. Computer Vision and Pattern Recognition, pp. 29–34, 1992.
[11] Y. Yoshiyasu and Y. Yamazaki. Topology-adaptive multi-view photometricstereo. In Proc. IEEE Conf. Computer Vision and Pattern Recognition, No.
1001–1008, 2011.
[12] T. Higo, Y. Matsushita, S. N. Joshi, and K. Ikeuchi. A hand-held photometric stereo camera for 3-d modeling. In Proc. IEEE Conf. Computer Vision,
pp. 1234–1241, 2009.
[13] Y. Fujita, F. Sakaue, and J. Sato. Linear image representation under close
lighting for shape. In VISAPP, Vol. 2, pp. 67–72, 2009.
[14] B. Kim and P. Burger. Depth and shape from shading using the photometricstereo method. CVGIP: Image Underst., Vol. 54, No. 12, pp. 416–427, 1991.
[15] J.J. Clark and H. Pekau. An integral formulation for diﬀerential photometricstereo. In Proc. IEEE Conf. Computer Vision and Pattern Recognition, pp.
119–124, 1999.
[16] J.J. Clark. Photometric stereo using lcd display. Image and Vision Computiong, Vol. 28, No. 4, pp. 704–714, 2010.
[17] G. Schindler. Photometric stereo via computer screen lighting for real-time
surface reconstruction. In in Proceedings of Int. Symp. on 3D Data Processing, Visualization and Transmission, 2008.
[18] S.K. Nayar. Sphereo: Determining depth using two specular spheres and.
In Proc. of the Cambridge Symposium on Advances, pp. 245–254, 1988.
[19] M. Powell, S. Sarkar, and D. Goldgof. A simple strategy for calibrating
the geometry of light sources. IEEE Trans. Pattern Analysis and MachineIntelligence, Vol. 23, pp. 1022–1027, 2001.
42

[20] Hui-Liang. Shen and Yue. Cheng. Calibrating light sources by using a planar
mirror. J. of Electronic Imaging, Vol. 20, pp. 013002–1–013002–6, 2011.
[21] S.A. Nene and S.K. Nayar. Stereo with mirrors. In Proc. IEEE Conf. Computer Vision, pp. 1087–1094, 1998.
[22] P.E. Debevec and J. Malik. Recoverring high dynamic range radiance maps
from photo graphs. In Proc. ACM SIGGRAPH, pp. 369–378, 1997.
[23] T. Takai, K. Niinuma, A. Maki, and T. Matsuyama. Diﬀerence sphere: anapproach to near light source estimation. In Proc. IEEE Conf. Computer
Vision and Pattern Recognition, pp. 966–978, 2004.
[24] 高井勇志, 牧淳人, 松山隆司. スケルトンキューブを用いた光環境推定. 画像の認識と理解シンポジウム, 第 1 巻, pp. 660–665, 2004.

[25] 飯野晋, 高井勇志, 松山隆司. 物体の自己投射影 (セルフシャドゥ) を利用した不定型近接光源の推定. 情報処理学会研究報告コンピュータビジョンとイ
メージメディア, No. 42 in 2007-CVIM-159, pp. 145–152, 2007.

[26] K. Hara, K. Nishino, and K. Ikeuchi. Determining reﬂectance and light
position from a single image without distant illumination assumption. In
Proc. IEEE Conf. Computer Vision, pp. 560–567, 2003.
[27] 岡田徳次, 野口昌彦, 藤原茂. 球鏡面上の反射点位置の計算法. 計測自動制御
学会論文集, Vol. 30, No. 8, pp. 943–952, 1994.

[28] Persistence of vision (tm) raytracer. http://www.povray.org/.

43

付録

A. 電磁波の放射エネルギーを表す放射量
光は電磁波であり, そのエネルギーは放射によって伝搬する. この光のもつ物理的なエネルギーは光学において放射量として扱われる. ここでは電磁波の放射エネルギーを表す放射量について詳しく述べる.
放射照度
光の照射面の単位面積 dS に対して単位時間に照射される放射エネルギーを放射照度といい,Ee [W/m2 ] で表す. この放射照度は単位時間あたりの光源の放射エネ
ルギーを放射束 ϕe [W ] と単位面積 dS を用いて以下のように表される.

Ee =

dϕe
dS

(23)

放射強度
点状の放射源 (点光源) から単位立体角 (dω) に対して単位時間に放出する放射エネルギーを放射強度といい,Ie [W/sr] で表す.

Ie =

dϕe
dω

(24)

ここで, 立体角 ω は, 半径 re の球面上の面積 S の部分に対して球の中心から張る
立体角を ω = S/re2 として定義したもので, 単位は [sr] である.
放射輝度
観測方向から面状の放射源を見たときの, 見る方向に投影した単位面積あたりの44放射強度を放射輝度といい,Le [W/(sr × m2 )] で表す.

Le =

d2 ϕe
dIe
=
dS cos θdωdS cos θ

物体を観測するときには, この放射輝度を観測している.

図 28 放射強度, 放射照度, 放射輝度

45

(25)

B. ランバート拡散反射
ランバート拡散反射は, 入射した光線をあらゆる方向に均等に反射する理想的な拡散反射モデルである. ここではまず, 基本的な放射量である, 放射照度, 放射強度, 放射輝度に関する基本的な法則を述べる. 次に, ランバート拡散反射面で観測される輝度が面を見る角度にも距離にもよらず放射源の方向 θ と放射強度 Ie のみ
によって決まり, ランバート拡散反射面における放射輝度 Lω は以下の式で表されることについて詳しく述べる.

Lω = Ie Kd cos θ(26)

ただし kd (0 ≦ Kd ≦ 1) は反射率を表す定数である.
点光源に関する照度の基本法則
図 29 に示すように, ある微小面積 dS が, 面の法線方向から θ の角度で距離 dL の

図 29 光源と物体表面46

位置にある放射強度 Ie の点光源によって照射されているとき, 放射強度と放射照度の関係は次のようになる.

Ee =

dϕe
cos θ
= Ie 2dS
dL(27)

ただし, 立体角の定義から次の関係を利用している.

dω =dS cos θ
d2L(28)

式 (27) において, 放射照度が放射強度に対して距離の 2 乗に反比例することと,cos θに比例することを示している. これをそれぞれ照度の逆二乗則 (図 30 参照) と, 照度の入射角余弦則 (図 31 参照) という.

図 30 照度の逆二乗則47

図 31 照度の入射角余弦則

ランバートの余弦則
図 31 に示したように, 微小面積 dS の法線方向の放射強度を Ie (0), 法線から角度

φ の方向の放射強度を Ie (φ) としたとき, 次のような関係が得られる.
Ie (φ) = Ie (0) cos φ(29)

式 (29) は, 法線から φ だけ傾いた方向から反射面を観測すると, 放射強度は cos φに比例して低下することを示している. このような性質をもった反射面をランバー
ト拡散反射面といい, 式 (29) をランバートの余弦則という.
ある角度からランバート拡散反射面を見たときの放射輝度
ランバート拡散反射面上の微小面積 dS について, 法線から角度 φ の方向の放射輝度を Le (φ) とすると, 放射輝度の定義から以下のように表せる.

dIe (φ)dS cos φ(30)

dIe (φ)dIe (0) cos φ== Le (0)dS cos φdS cos φ(31)

Le (φ) =式 (29) を代入すると

Le (φ) =48

の関係があることがわかる. つまり, ランバート拡散反射面は見る角度 φ によらず, すべての方向に対して放射輝度が一定である.
ある距離からランバート拡散反射面を見たときの放射輝度
光学中心と物体表面間の距離が変動すると, 式 (27) と同様に, 投影面微小領域 (カメラの場合 1 画素に相当する) 上に届く放射照度は立体角の定義 (式 (28)) から光
学中心と物体表面間の距離の二乗に反比例して減少するが, 光学中心と物体表面間の距離に応じて投影面微小領域上で観測される面積も距離の二乗に比例して増加する (図 32 参照). このため, 放射輝度は面を見る距離に依存しなくなる.
9ow

")

dSC
¥³ d C¥³ d C¥³Ü2¸ûú ø{ ÷Ý •æÿ4¸ûú

図 32 距離の変化による観測可能な領域の変化

49