第 16 回日本バーチャルリアリティ学会大会論文集 (2011 年 9 月)

中空透明球体を用いた近接光源位置の推定
Position Estimation of Near Light Sources Using Clear Hollow Sphere
青砥 隆仁 1) ，武富 貴史 1) , 佐藤 智和 1) , 横矢 直和 1)

Takahito Aoto, Takafumi Taketomi, Tomokazu Sato and Naokazu Yokoya
1) 奈良先端科学技術大学院大学情報科学研究科（〒 630-0192 奈良県生駒市高山町 8916-5, takahito-a,takafumi-t,tomoka-s,yokoya@is.naist.jp）
Abstract : Position estimation of near light sources is one of the most important problems for 3D
shape estimation by Photometric Stereo. In this paper, we propose a novel method for estimating
position of near light sources by using reﬂected positions of light sources on a clear glass hollow. Thismethod has good features; (1) geometric calibration for multiple reference objects is not necessary,(2) detection of corresponding reﬂections is easy, (3) position estimation for light sources is stable.
In experiment, we show an initial result of light source estimation using multiple light sources andreal images.
Key Words: Photometric Stereo, Inverse lighting, Near light source, Clear hollow sphere

1.

はじめに
様々な照明条件で撮影された画像群から物体形状を復元する照度差ステレオは, 物体の詳細な形状を復元することが可能であり, デジタルアーカイブなどへの応用が期待されている. このような照度差ステレオでは, 物体表面の明るさが光源方向に依存して変化することを利用しており, 物体形状

を復元するためには光源位置および強度を推定する必要がある. 初期の照度差ステレオでは, 無限遠光源を仮定し, 単一の鏡面球に写り込む反射光から光源方向を推定することで物体形状の復元を行っていた. しかし, 光源が十分遠方に

ない場合には物体上の位置によって光の入射方向が異なることになり, 無限遠光源を仮定した手法を用いて精度良く物体形状を推定することは難しい. これに対して, 近年, 近接1: 中空透明球体光源を前提とした照度差ステレオ法に関する研究が盛んに行われている.
近接光源を用いた照度差ステレオでは, 光源位置を推定する. これらの手法は事前のキャリブレーションを必要としないという特長を持つ. しかし, 空間の幾何形状を取得するたることが特に重要となる. 近接光源位置を推定する手法は,めには多くの人的コストが必要であるという問題や, 推定す複数の参照物体を用いる手法と単一の参照物体を用いる手べきパラメータが多く, 光源を安定に推定することが難しい法に大別できる. 複数の参照物体を用いる手法は, 参照物体という問題がある. 本研究では図 1 に示すような単一の中空表面の反射光を検出し, 三角測量の原理に基づいて光源位置透明球体を用いて近接光源位置を推定する手法を提案する.

を推定する [1][2][3][4]. この手法では, 参照物体間の位置関

本手法では, 球面の外部で反射する鏡面反射光と, 球面外部係を事前にキャリブレーションする必要があり, また, 複数を通過した光が球面内部で反射し観測される鏡面反射光の光源下においては, 対応点の決定が難しいという問題がある.

2 種類の鏡面反射光を観測することで, 光源位置を推定する.

一方で, 単一の参照物体を用いる推定手法として, 単一の鏡本手法では, 複数の参照物体を用いる手法と異なり, 対応す面球から求まる光源方向と予め手入力で与えられている部

る光源の反射光の組が, 必ず画像上で球中心を通る直線上に屋の形状を用いて光源位置を推定する手法 [5] や参照物体に存在するため, 複数光源下においても比較的容易に対応する生じる影を利用した光源推定手法 [6][7][8] が提案されてい反射光を決定できるという特長を持つ.

図 3 に示すように, i 番目の光源 L(i) に対応する球体上の反射光 n(n = 1, 2) の 3 次元位置 P(i,n) は, 光源 L(i) , カメラ
光学中心 C, 中空透明球体中心 Sc で規定されるエピポーラ平面上に存在する. ここで, 光源位置 L(i) は以下のように表すことができる.

L(i) =P(i,n) + d(i,n) l(i,n)(n = 1, 2)(1)

ただし, d(i,n) は反射位置 P(i,n) から光源位置 L(i) までの距離, l(i,n) は反射位置 P(i,n) から見た光源方向を表す単位方向ベクトルである. 画像上の反射光観測位置を入力とし,2: 反射図

反射位置 P(i,n) , 光源方向ベクトル l(i,n) , 距離 d(i,n) を算出することで, 光源位置 L(i) を推定することができる. 以下
では反射位置 P(i,n) , 光源方向ベクトル l(i,n) , 光源位置 L(i)それぞれの算出方法について順に述べる.
反射位置 P(i,n) の推定: 球面上での反射位置 P(i,n) は光学中心 C と画像上の観測位置を結ぶ単位方向ベクトル v(i,n)
を用いて以下のように表わされる.

P(i,n)=t(i,n) v(i,n)(2)

ここで, t(i,n) は光学中心から反射位置までの距離を表す. 一方, P(i,n) は Sc を中心とする半径 r の球面上に存在するため, 以下の式が成り立つ.

3: エピポーラ平面断面図

2.

中空透明球体を用いた近接光源位置の推定

2.1

中空透明球体の特徴

本研究では, 図 1 に示したような, 球体内部が中空の透明Sc(i) − P(i,n) 2 = r2(3)式 (3) に式 (2) を代入することで,球体上の反射光を用いて近接光源の位置を推定する. 中空透明球体を用いた場合, 図 2 に示すように光源から出た光は,球面外部で反射した球面外部反射光 (光路 1) と表面を透過

t2(i,n) v(i,n)  − 2t(i,n) Sc(i) · v + Sc(i) 2 = r2(4)し球面内部で反射した球面内部反射光 (光路 2) として画像上で観測される. これらの 2 種類の反射光を観測することが得られる. 従って t(i,n) は以下のように求まる.

は, 図中に示すように 2 台の仮想カメラを用いて光源を直接観測することと等価である. このため, 球の半径, カメラの内部パラメータが既知である場合, 観測された反射光の画像上の位置より三角測量の原理により近接光源の 3 次元位t(i,n)
D(i,n)==Sc(i) · v(i,n) ±(Sc(i) · v(i,n) )2

D(i,n)

2− Sc(i)+ r2(5)(6)

置を推定することができる. また, 対応する反射光は, 光源
位置 L, カメラ光学中心 C, 中空透明球体中心 Sc により規定されるエピポーラ平面上に存在し, この平面は画像上で直線として観測されるため, 光源が複数存在する場合においても, 対応する 2 種類の反射光の探索範囲がエピポーラ線上に限定できるという特長を持つ.

2.2

ここで, D(i,n) > 0 であれば光線 v(i,n) は球と 2 点で交わる. なお, 画像上での球中心と画像中心の距離を rq とおけば,Sc(i) は以下の式で算出できる.

反射光を用いた光源位置推定

本手法では, カメラの内部パラメータと空間中に設置した中空透明球体の半径を既知とし, 画像上で観測される反射Sc(i) =rrc



f 2 + rq2 v(Sc )(7)

光の位置より光源の 3 次元位置をカメラ座標系で推定する.
ただし, 透明球表面の反射は鏡面反射のみとるする. ここで,

ただし, f はカメラの焦点距離, rc は画像平面上での透明球

入力画像 (a)(一部拡大)

入力画像 (b)(一部拡大)

推定結果 (a)推定結果 (b)

外観図 (a)

外観図 (b)4: 光源位置が透明球を含む視体積内に存在する場合の半径, v(Sc ) は画像から推定される光学中心から見た透明球中心方向を表す単位方向ベクトルである.
光源方向ベクトル l(i,n) の推定: 球面上の反射位置 P(i,n) でおきる反射は鏡面反射であるため, 光の入射角と反射角が等しい. よって, P(i,n) における単位光源方向ベクトル l(i,n)
は以下のように算出できる.

l(i,n) = 2(N(i,n) · v(i,n) ) · N(i,n) + v(i,n)(8)

ただし, N(i,n) は P(i,n) における球面の単位法線ベクトル

5: 単一光源下での推定結果である.
光源位置 L(i) の推定: 式 (2), (8) より P(i,n) , l(i,n) が求まれば, これを式 (1) に代入して L(i) についての連立方程式を解くことにより距離 d(i,n) が求まる. ただし, 1 つの v(i,n)

るが, 上記の手法と同様に, 条件 (i), (ii), を用いることにより偽の v(i,n) , P(i,n) の組み合わせを排除し, 光源位置 L(i)を推定する.

に対して 2 つの反射位置 P(i,n) が求まるため, 画像上で鏡面反射が 2 点観測される場合には, P(i,n) の組み合わせは 4通り存在する. 本研究では, 以下の制約を用いることで, 偽の P(i,n) の組を排除する.

3.

光源位置の推定実験
提案手法の有用性示すために, 単一光源下での光源位置推定と複数光源下での光源位置推定を行った. 本実験では(i) d(i,n) ≥ 0 : 反射位置から光源位置までの距離 d(i,n)

図 1 に示したようにカメラと半径 20cm のガラス製の中空透明球体を環境中に固定し, LED ライトの位置推定を行っは必ず正になる.

(ii) L(i) − Sc(i)  ≥ r : 光源は中空透明球体内に存在しない.

た. なお, 本実験においては, Hough 変換を用いて球の検出を行い, 反射光の位置として画像上球面領域内において白とびを起こしている領域の重心を用いた.

以上より, 1 対の v(i,n) から 1 対の反射点 P(i,n) と距離 d(i,n)
が求まる. これを式 (1) に代入することにより光源位置 L(i)が求まる.

3.1

単一点光源を用いた光源位置推定

本実験では, 光源を透明球左側の低い位置に設置した場合(a) と, 透明球右側の高い位置に設置した場合 (b) において

ただし, 図 4 に示すように, 光源位置が透明球を含む視光源位置の推定を行った. 図 5 に本実験で用いた入力画像

体積内に存在し, かつ球より遠方に存在する場合, 光源位置(一部拡大), 推定結果および暗視カメラにより取得した入力

L(i) を上記手法で求めることができない. この場合には, 光画像撮影時の外観図を示す. 同図中の推定結果は, カメラ

源位置 L(i) は, 直接光の観測と鏡面反射光の観測から得ら(黄色), 球 (水色), 光源 (橙色) の位置関係を CG で示したれる以下の連立方程式から算出できる.

ものである. 図 5 に示した入力画像より球面の外部と内部⎧⎨ L(i) = t(i,1) v(i,1)⎩L(i) = d(i,2) l(i,2) + P(i,2)

で生じる 2 種類の鏡面反射光が画像上の球中心を通る直線(9)ただし, 光源からの直接観測光が二つの光路の何れであるか未知の場合には, v(i,n) , P(i,n) の組み合わせが 4 通り存在す

上に観測されていることが確認できる. また, 同図に示した推定結果から, 反射光を用いて算出された光源位置がおおむね正しいことを確認した.

の探索が容易であるという特長を持つ. 実験により 1 台のカメラと単一の参照物体である中空透明球体を用い, 単一光源下および複数光源下における近接光源の位置推定を行えることを確認した. 今後は, 屈折による近接光源の位置推定への影響と定量評価を行う.
謝辞

本研究の一部は科学研究費補助金 (基盤 A, No.

23240024) による.

入力画像[1] Powell, M., Sarkar, S .and Goldgof, D.：A simple
strategy for calibrating the geometry of light Sources，IEEE Trans. Pattern Analysis and Machine Intelligence (PAMI), 23(9)，pp. 1022-1027, 2001.
[2] Takai, T., Niinuma, K., Maki, A. and Matsuyama, T.:Diﬀerence sphere: an approach to near light source
estimation, Proc. IEEE Conf. Computer Vision andPattern Recognition (CVPR), pp.I-98-105, 2004.
[3] Schnieders, D., Wong, K. and Dai,Z.: Polygonal
Light Source Estimation, Asian Conference on Computer Vision (ACCV), Vol. 3, pp. 96-107, 2009.
[4] Zhang, Y. and Yang, Y.: Multiple illuminant direc-

入力画像 (一部拡大)

tion detection with application to image synthesis,
IEEE Trans. Pattern Analysis and Machine Intelligence (PAMI), 23(8), pp. 915-920, 2001.
[5] Debevec, P.E. and Malik, J.：Recoverring high dynamic range radiance maps from photo graphs，Proc.

正面図

側面図

Association for Computing Machinery Special Interest Group on Computer Graphics (ACM SIGGRAPH)，pp. 369-378, 1997.
[6] Sato, I., Sato, Y.and Ikeuchi, K.：Acquiring a Radiance Distribution to Superimpose Virtual Objects
onto a Real Scene，IEEE Trans. Visualization and上面図

俯瞰図Computer Graphics (TVCG), 1(5), pp. 1-12, 1999.
[7] 高井勇志, 牧淳人, 松山隆司：スケルトンキューブを用い

6: 複数光源下での推定結果

た光環境推定，画像の認識と理解シンポジウム (MIRU),

Vol. 1, pp.660-665, 2004
3.2

複数光源下での光源位置推定

本実験では, 光源を複数設置した場合において光源位置の推定を行った. 図 6 に入力画像, 入力画像 (一部拡大) および推定結果を示す. エピポーラ線上に存在するハイライトの組を用いてそれぞれの光源位置を推定した結果を図 6 に示す. 図 6 に示した外観図の光源位置関係と推定結果を比べることで, 複数光源であってもおおむね正しく光源の位置関係を推定できることを確認した.

4.

まとめ
中空透明球体によって反射された 2 種類の鏡面反射光を用いた近接光源位置の推定手法を提案した. 提案手法では,対応する光源の反射光の組が, 必ず画像上で球中心を通る直線上に存在するため, 複数光源下においても対応する反射光[8] 飯野晋, 高井勇志, 松山隆司：物体の自己投射影 (セルフシャドウ) を利用した不定型近接光源の推定，情報処理学会研究報告, CVIM 159-18, pp.145-152, 2007