論文

中空透明球体を用いた近接点光源の位置推定
青砥隆仁† a)

横矢直和† e)

佐藤智和† b)

向川康博† c)

武富貴史† d)

Position Estimation of Near Point Light Sources Using Clear Hollow Sphere
Takahito AOTO†a) , Tomokazu SATO†b) , Yasuhiro MUKAIGAWA†c) ,Takafumi TAKETOMI†d) , and Naokazu YOKOYA†e)

あらまし 近接光源位置の推定は，照度差ステレオ法や Shape from shading 法などの物体形状や物体表面における反射特性の推定において重要な課題である．本論文では画像から実環境における近接光源位置を推定する方法として，中空透明球体を用いる新たな手法を提案する．提案手法には，(1) 単一の参照物体のみによる推定を行うため参照物体間の幾何学的キャリブレーションが不要である，(2) 同一の光源に対する反射光が画像上で球中心を通る直線上に観測されるため反射光の対応付けが容易である，(3) 画像上で反射光の再投影誤差を最小化することで光源位置を安定に推定できる，という特長がある．実験では，まずシミュレーション環境において
中空透明球体を用いた光源位置推定を行い，様々な光源位置に対する推定誤差の分布を調査した．また，実環境においても三次元位置推定精度を評価し，加えて線光源に対する三次元復元実験を行うことで，本手法による対応点の決定が容易であることを確認した．
キーワード

近接光源，中空透明球，再投影誤差最小化

1. ま え が きを変化させることによって，比較的少ない画像枚数で双方向反射率分布関数の計測を行う手法を提案してい近接光源位置の推定は，画像から物体の反射特性やる．Iwahori ら [4] や Clark ら [5]〜[7] は，近接光源を形状を推定するインバースレンダリングを利用するた用いることにより物体表面の法線ベクトルと形状（奥めに必要不可欠であり，コンピュータビジョンの分野

行）を独立に推定する手法を提案している．これら近において重要な課題の一つである．初期のインバース

接光源の利用を前提とする研究では，光源の位置を推レンダリングでは，光源が無限遠点光源であると仮定

定することが特に重要となる．

することで，物体表面の反射特性と法線方向を線形に

本論文では，近接光源の三次元位置推定を安定かつ推定している [1], [2]．しかし，光源が十分遠方にない

効率的に実現することを目的とし，図 1 に示すような場合には物体上の位置によって光の入射方向が異なる

球体内部が中空の透明物体である中空透明球体を用いことになり，無限遠点光源を仮定した手法を用いて反る手法を提案する．具体的には，図 2(a) に示すよう

射特性や法線方向を精度良く推定することは難しい．

に，中空透明球体のカメラ側前部の領域で反射し観測

これに対して近年，近接光源を前提としたインバース

される鏡面反射光（球前部反射光）と，中空透明球体

レンダリングに関する研究が盛んに行われている．Yu

表面を透過した光が中空透明球体の背部領域で反射しら [3] は近接光源を用いて平面への光の入射方向・強度

再び球表面を透過して観測される鏡面反射光（球背部†反射光）の二種類の鏡面反射光を用い，三角測量の原
奈良先端科学技術大学院大学，生駒市
Nara Institute of Science and Technology, Ikoma-shi, 630–

理に基づいて光源位置を推定する．ただし，図 2(b) に0192 Japan

示すように，理想的には一つの鏡面反射光が，中空透a) E-mail: takahito-a@is.naist.jp

明球体の厚みによる屈折の影響によって，中空透明球b) E-mail: tomoka-s@is.naist.jpc) E-mail: mukaigawa@is.naist.jp

体の外部表面で反射し観測される鏡面反射光と，中空d) E-mail: takafumi-t@is.naist.jp

透明球体の外部表面で屈折し内部表面で反射して観測e) E-mail: yokoya@is.naist.jp
DOI:10.14923/transinfj.2014JDP7089

534

電子情報通信学会論文誌

される鏡面反射光，の二種類の鏡面反射光として観測c 一般社団法人電子情報通信学会 2015
D Vol. J98–D No. 3 pp. 534–545 論文／中空透明球体を用いた近接点光源の位置推定

直線上に観測されるため反射光の対応付けが容易(3) 画像上で反射光の再投影誤差を最小化することで光源位置を安定に推定可能
本論文は以下のように構成される．まず，2. で関連研究について述べる．続いて，3. で提案手法について述べ，4. でシミュレーション及び実環境における実験結果を示す．最後に，5. でまとめと今後の課題について述べる．

2. 関 連 研 究
図 1 中空透明球体．左：実験環境の外観図 右：観測画像
Fig. 1 Clear hollow sphere. Left: setup for estimating 3-D positions of light sources. Right: an
example of captured image.

本節では，近接光源位置を推定する従来手法を，三角測量に基づく手法，陰影解析に基づく手法に分類し，それぞれの手法の特徴について述べる．

2. 1 三角測量に基づく手法
近接光源位置を推定する最も単純な方法の一つとして，ステレオカメラシステムを用いた三角測量に基づく手法がある．佐藤ら [8] は，魚眼レンズ付きのステ
レオカメラシステムを用いることによって広範囲の近接光源位置を推定する手法を提案している．より簡便な手法として，近年は単一のカメラと鏡面物体を組み合わせた手法が広く用いられている．鏡面反射を用いた手法として，Shen ら [9] はマーカを取り付けた 2 枚の平面鏡を角度を変えて設置し，2 枚の平面鏡上の鏡
面反射光の対応付けを行い，光源の位置を求める手法を提案している．この手法には，平面鏡を通して観測できる空間が狭いため，光源位置を推定できる範囲が狭いという問題があるが，平面鏡の代わりに鏡面球を用いることで広範囲の光源位置を推定することが可能となる [10]．ただし，鏡面球を用いる従来手法 [10] では，光源位置・光学中心・球の位置関係から球面上の反射位置を求めることが難しい [11] という理由から，
画像計測の分野で一般的に用いられる再投影誤差を最小化する代わりに object space error を最小化している．また，これら鏡面反射を利用した手法に共通する問題として，複数光源下における反射光の対応点を決Fig. 2図 2 中空透明球体における光線の反射
Light ray reﬂection on clear hollow sphere.

定することが難しいという問題がある．これらの問題に対して，本研究では，中空透明球体上において対応する反射光が画像上で球中心を通るエピポーラ線上にされる．そこで，中空透明球体の厚みと屈折率が既知存在するという特徴を利用することで，複数光源下にの場合には，厚みと屈折率を考慮した推定を行う．提おいても反射光の対応付けを容易とし，加えて画像上

案手法は以下の特長をもつ．

の再投影誤差を直接最小化する．

(1) 単一の参照物体のみによる推定を行うため参照物
体間の幾何学的キャリブレーションが不要(2) 画像上で同一の光源に対する反射光が球中心を通る

他方，近年ステレオビジョンの分野においては，透明物体によって起こる屈折や反射を利用する三次元復元手法が提案されている [12]〜[14]. Shimizu ら [12], [13]535

電子情報通信学会論文誌 2015/3 Vol. J98–D No. 3

は，透明な平面板上に写る二重像を利用して三次元位置を推定する方法を提案している．Chen ら [14] は，直接観測した画像と位置姿勢が未知の透明物体を介して観測した画像から三次元位置を推定する方法を提案している．これらの手法は原理的に近接光源位置の推定に応用可能であるが，前述した鏡面反射を用いた手法と同様に複数光源下における反射光の対応点決定の問題が存在する．

2. 2 陰影解析に基づく手法
カメラで観測される物体上の明るさは，既知の物体
形状・物体表面の反射特性・光源情報から CG レンダリ
ングの技術を用いることによってシミュレート可能である．陰影解析に基づく手法は，物体表面で特定の反射モデルが成り立つことを仮定し，観測画像とシミュ

図 3 中空透明球体を用いたエピポーラ幾何．左：外観図
右：観測画像
Fig. 3 Epipolar geometry for clear hollow sphere.
Left: overview illustration. Right: illustration of captured image.

レーション画像との差が小さくなるようにパラメータの最適化を行うことで光源の位置を推定する．Takai
ら [15] は既知の中空立方体を用いる手法を提案していFront ray）と，球表面を透過し球面背部で反射する光る．この手法は空間中のいかなる位置に光源が存在し路（図中 Back ray）が存在し，異なる二種類の鏡面反ても中空の立方体中にセルフシャドウが存在するとい射光として画像上で観測される．本手法では，これらう特徴を利用し，観測される輝度値と既知の中空立方二つの光路を用いた三角測量により近接光源の三次元体の反射特性・形状の関係から光源位置を推定する．

位置を推定する．なお，光源から発せられ，中空透明

Hara ら [16], [17] は，鏡面反射成分のみを観測した画

球体を透過し，画像上で直接観測される光（以下，直像から光源位置を推定する手法を提案している．これ接光と呼ぶ）が観測できる場合においては，直接光とらの手法では，まず鏡面反射光のみを抽出するために，

鏡面反射光を用いた光源の位置推定を行う．以後，本カメラと光源に偏光フィルタを用いた拡散反射光の除論文では画像上で観測される直接光と鏡面反射光をま去 [16] や色に基づく反射成分の分離 [17] を行う．次にとめてハイライトと呼ぶ．提案手法は以下の設定のも位置姿勢が既知の平面上の鏡面反射光のピークから光とで光源位置を推定する．カメラのレンズひずみを含源方向を求め，Torrance Sparrow モデルに当てはめ

むカメラ内部パラメータと中空透明球体の形状・材質

光源位置を推定している．また最近では，RGB-D カ（屈折率）
・大きさは既知である．カメラと中空透明球

メラを用いることで物体の陰影情報と表面の法線方向

体の位置関係は手法 [19] などを利用することで推定済を取得し，上記の手法と同様に反射モデルを当てはめみである．以下では，対応するハイライトの決定，近ることにより光源位置を推定する手法も提案されてい接光源位置の三次元位置推定，再投影誤差最小化につる [18].

いて順に述べる．

これら陰影解析に基づく手法は，ノイズや量子化によりカメラで観測される陰影情報が変化する

3. 1 対応するハイライトの決定という理由から，光源位置を安定に推定することが難3. 1. 1 中空透明球体が厚みのない理想的な場合

しい．

図 3 に示すように，本観測系において，二つの光路

3. 中空透明球体を用いた近接光源位置の推定(Front ray, Back ray) は，光源位置，光学中心，透明球中心により規定されるエピポーラ平面上に存在し，この平面は図 3 右に示すように，画像上で球中心を通提案手法は，単一の画像から観測される中空透明球

る直線として観測される．本研究ではこのような特徴

体上の鏡面反射光をもとにカメラ座標系における近接を用いることで，対応するハイライトの探索範囲を同光源位置を推定する．図 3 に示すように，中空透明球

一エピポーラ線上に限定する．

体を用いた観測系において，光源から発せられカメラ

ここで，二次反射の影響がない理想的な環境においで観測される光には，球面前部で反射する光路（図中ては，単一の光源に対して上記のエピポーラ線上に 2536

論文／中空透明球体を用いた近接点光源の位置推定

た場合には，光源は透明球を含む視体積内に存在すると判断し，このような場合には，直接光と反射光の組
から光源位置を推定する．

3. 1. 2 中空透明球体が厚みをもつ場合
図 2(b) に示したように，実際には中空透明球体の厚みの影響によって，理想的には一つのハイライトとして観測される反射光が，中空透明物体の外部表面及び内部表面で反射することで，2 点のハイライトとして分かれて観測される場合がある．そのため，光源が中空透明球を含む視体積外にある場合には最大 4 点，
光源が透明球を含む視体積内にある場合には最大 5 点のハイライトが観測される．したがって，4 点以上のハイライトが観測される場合には，球中心から遠い 2
点のハイライトを球体外部表面での反射光として扱い，厚みの影響を考慮した光源位置推定を行う．

3. 2 近接光源の三次元位置推定
提案手法は，対応するハイライトからカメラ座標
図 4 二つの場合におけるエピポーラ平面断面図
Fig. 4 Two cases of an epipolar plane image.

系における近接光源の三次元位置を推定するために，
図 4 に示すように，カメラから光線を追跡することによって光源位置を推定する．光源位置を求めるためには球面上の反射位置を求める必要があるが，光源が透個のハイライトが観測される．しかし実際には，二次明球を含む視体積外に存在する場合（図 4(a)）におい反射の影響によりエピポーラ線上に 2 個以上のハイラては，カメラから反射光方向 v に延びる直線と透明球イトが観測されるため，本研究では，本観測系におけの間には交点が 2 点存在する．したがって，2 本の光る二次以上の反射光が指数関数的に減衰することを利線に対応する球面上の反射位置の候補は 4 点あり，光用して，同一のエピポーラ線上に観測された 2 個以上

源位置の候補も 4 点存在する．また，光源が視体積内のハイライトから対応するハイライトの組を決定する．

にある場合（図 4(b)）においては，一対の直接光と反

具体的には，以下の手順によって対応するハイライト

射光を用いて光源位置を推定する．ここでは，反射光の組を決定する．

が 2 点観測されるが，本研究では三角測量における基(1) 画像中の透明球領域内においてしきい値以上の明線長が長くなる反射光を選択し用いる．この場合には，度をもつ領域を抽出する．

光源は直接光の光路上に存在するため，光源位置の候(2) 抽出された各領域においてしきい値以上の面積を

補は 2 点となる．本研究では，このような光源位置のもつ領域をハイライト領域として抽出する．

不定性を取り除くために，まず全ての光源位置候補に(3) 抽出された各領域の重心をハイライト位置とする．

ついて三次元位置を推定し，物理的な制約から正しい

なお，本手法においては，エピポーラ平面上に複数

三次元位置を選択する．以下では，具体的な手順につの光源が存在する場合，それらの光源に対応する全ていて説明する．

のハイライトが画像上で同一エピポーラ線上に観測さ3. 2. 1 光源位置候補の算出れるため，そのような状況下では対応するハイライト

まず，図 4(a) に示すような，光源が透明球を含むの組を一意に決定できないという制約がある．また，

視体積外に存在する場合の光源位置算出方法を述べ

図 4(b) に示すように，光源が透明球を含む視体積内る．光源 L に対応する球面上反射位置 P1,2 は，光源に存在する場合には，直接光 1 点と反射光 2 点の 3 点

L，光学中心 O ，中空透明球中心 Sc で規定されるエのハイライトが同一エピポーラ線上に観測され，直接ピポーラ平面上に存在する．以下では，簡単のため，

光は 2 点の反射光の間に観測される．したがって，同光学中心 O を原点とするカメラ座標系における光源

一エピポーラ線上に合計 3 点のハイライトが観測され

位置 L の算出方法を述べる．ここで光源の三次元位置537

電子情報通信学会論文誌 2015/3 Vol. J98–D No. 3

L は以下のように表すことができる．
L = Pn + dn ln(n = 1, 2)(1)

ただし，dn は反射位置 Pn から光源位置 L までの距
離，ln は反射位置 Pn から見た光源方向を表す単位方
向ベクトルである．反射位置 Pn ，光源方向ベクトル

ln ，距離 dn を算出することで，光源位置 L を推定することができる．以下では，反射位置 Pn ，光源方向ベクトル ln ，距離 dn それぞれの算出方法について順に述べる．
球面上での反射位置 Pn は，光学中心 O と画像上の反射位置 U1 , U2 より定まる反射方向を表す単位方
向ベクトル vn を用いて，以下のように表される．

P n = tn v n

図 5 光源が透明球を含む視体積外に存在する場合における反射位置の組合せ．図中○は光源位置の候補を示す
Fig. 5 Combinations of reﬂected points in case lightsource exists outside the view volume containing a clear hollow sphere. Circles indicate
Candidate positions of a light source.

(2)

ここで，tn は光学中心から反射位置までの距離を表す．一方，Pn は Sc を中心とする半径 r の透明球球面上に存在するため，以下の式が成り立つ．

式 (8) と式 (1)，(2)，(7) を用いることで，光源位置

L を算出する．
3. 2. 2 光源位置の決定
前項で述べた手法により，光源位置の候補となる三 Sc − Pn 2 = r2(3)場合には 4 点，光源が透明球を含む視体積内に存在す

式 (3) に式 (2) を代入することで，

t2n  vn 2 −2tn Sc · vn +  Sc 2 = r2

次元位置が，光源が透明球を含む視体積外に存在する
る場合には 2 点求まる．ここでは以下の制約を用いる(4)

ことにより，偽の光源位置を排除し，一対のハイライ
トの組から唯一の光源位置を決定する．

が得られる．これにより tn は以下のように求まる．

tn = S c · v n ±

√

Dn

2

(5)
2

Dn = (Sc · vn ) −  Sc  +r2

(6)

ここで，Dn > 0 であれば光線 vn は球と 2 点で交(i) dn は正の値をとる．
(ii) 光源は中空透明球体内に存在しない．
まず，光源が透明球を含む視体積外に存在する場合について詳しく述べる．この場合，上記の 4 点の光源
位置候補は，図 5 に示すような 4 点ある反射位置のわる．球面上の反射位置 Pn でおきる反射は鏡面反射

候補 (P1near , P1f ar , P2near , P2f ar ) から 2 点を選択すであるため，光の入射角と反射角が等しい．したがっることで得られる．ここで，双方が透明球前部で反射て，Pn における単位光源方向ベクトル ln は以下のよすると仮定した場合，組 (P1near , P2near ) が選択され，うに算出できる．

同図から分かるように，求まる光源位置は条件 (i) を満たさない．また，双方が透明球後部で反射すると仮

ln = 2(Nn · vn )Nn + vn

(7)

ただし，Nn は Pn における球面の単位法線ベクトルである．式 (2)，(7) より Pn , ln が求まれば，これを式 (1) に代入して L についての連立方程式を解くこと
により距離 dn 及び光源位置 L が求まる．
光源が透明球を含む視体積内に存在する場合（図4(b)）においては，光源位置 L は，直接光の方向ベク
トル v3 を用いて以下のように表される．

L = (tn + dn )v3
538

f ar

定した場合，組 (P1, P2f ar ) による求まる光源位置

は，条件 (i)，(ii) のいずれか一方を満たさない．一方が透明球前部で反射し，もう一方が透明球後部で反射すると仮定した場合，図中の透明球中心と光学中心を結ぶ直線と v1 , v2 の成す角をそれぞれ φ1 , φ2 として，φ1 < φ2 の場合には組 (P1near , P2f ar ) により求まf arる光源位置が，φ1 > φ2 の場合には組 (P1, P2near )により求まる光源位置が条件 (i) を満たさない．一方，

φ1 < φ2 の場合には組 (P1f ar , P2near ) により求まる光
(8)

f ar

源位置が，φ1 > φ2 の場合には組 (P1near , P2

) によ

論文／中空透明球体を用いた近接点光源の位置推定

り求まる光源位置が条件 (i)，(ii) を同時に満たす解となる．また φ1 = φ2 の場合を含め，光源位置が透明球を含む視体積内に存在する場合においても上記の条件を用いることで，同様に唯一の解が定まる（注 1）．

3. 3 再投影誤差最小化
式 (2)，(7) によって算出される 2 本の光路は，検出誤差や量子化誤差・校正誤差の影響により一般に三次元空間上において交わらない．このような場合において，画像計測の分野では，画像上の再投影誤差（対応点の検出座標と三次元座標を画像上に投影した座標

Fig. 6図 6 再投影誤差
Re-projection errors.

の間の 2 乗距離）が最小になるように対応点の三次元
位置を決定する方法が最善とされている．しかし，本研究のように球面上の反射光を扱う場合において，三次元位置が既知の光源に対する球面上の反射位置を代数学的に求めることは困難であることが知られており [11]，三次元位置をパラメータとする一般的な再投
影誤差最小化方法をそのまま適用することは難しい．
このため，多くの従来手法では，2 本の光路を最短で結ぶ線分の中点を光源位置とする方法（中点法）が用いられてきた．本研究では，透明球を用いた場合にお図 7 スネルの法則
Fig. 7 Snell’s law.

けるエピポーラ幾何を利用することによって，再投影
誤差を直接最小化する．
ここでは簡単のために球中心が光軸上に存在する場

ここで，C は画像上における透明球中心を表し，θi は合を考える．ただし，球中心が光軸上に存在しない場

Ûi の画像上での回転角を表す．提案手法において，式合においても，光学中心と球中心を結ぶ直線に直交す(10) で表される再投影誤差 E(θ) を最小化する θ は，る仮想の画像平面に入力画像を投影することで以下の一次元探索によって容易に発見できる．E(θ) を最小手順を適用できる．図 6 に示すように，エピポーラ拘化するエピポーラ線が決定されれば，E を最小化する束を用いることによって，再投影誤差 E は以下のようÛi が自動的に定まる．このようにして決定される Ûiに定義できる．

を通る二つの光線はエピポーラ線上に存在するため，
これらの光線は三次元空間中で必ず交わる．本研究でE = b21 + b22 ,bi = Ui − Ûi ,

i = 1, 2(9)

ただし，Ui は画像上におけるハイライト観測位置を表し，Ûi は推定する近接光源の三次元位置を画像上に再投影した位置を表す．ここで，エピポーラ線が固定された状態において，E を最小化する Ûi の位置は，Ui からエピポーラ線に下ろした垂線の足の位置となる．このとき，エピポーラ線の画像上での C を中心とする回転角を θ とすれば，E は θ の関数として以下のように表せる．

E(θ) =

( Un − C  sin(θ − θn ))2は，この交点を光源の三次元位置とする．

3. 4 屈折の影響の考慮
中空透明球の厚み及び屈折率が既知である場合，これらを考慮しながら光線を追跡することで，より高精度に光源の三次元位置を推定することが可能となる．
図 7 に示すように，光線が屈折率の異なる透明物体に入射した場合における入射角 θin と屈折角 θout の関
係はスネルの法則により以下のように表される．

nin sin(θin ) = nout sin(θout )
(10)

n=1,2

（注 1）
：これらの点については数学的に証明可能であるが，ここでは紙面の都合により省略する．

(11)

ただし，nin は入射側物質の屈折率を表し，nout は屈折側物質の屈折率を表す．スネルの法則より，単位入
射ベクトルを vin ，単位屈折ベクトルを vout ，とすれば，これらの関係は以下のように表すことができる．
539

電子情報通信学会論文誌 2015/3 Vol. J98–D No. 3
 nin  N × vin
vout × N = nout 

(12)

ただし，N は入射位置における単位法線ベクトルを表す．本研究において，屈折率が既知の中空透明球体
及び中が同一の物質で満たされた中実透明球体を用いる場合には，式 (12) を用いることで屈折による光線の進行方向を補正し，屈折を考慮した光源位置推定を
行う．

4. 実

験

提案手法の有効性を示すために，CG シミュレーショ
ン環境と実環境において光源位置の三次元位置を推定し，推定した光源の三次元座標と真の三次元位置との差を誤差として光源位置の推定精度を検証した．また，
実環境における線光源に対する三次元復元実験を行い，

図 8 シミュレーション環境におけるカメラと中空透明球
体位置及びレンダリング画像の例
Fig. 8 Position of clear hollow sphere and camera insimulation environment, and an example ofrendered image.

光源に対する特別な仮定なしに，エピポーラ線上のハ
イライトの対応によって線光源の三次元復元が実現でたものを用いて，光源位置の推定精度を評価した．こきることを示す．

4. 1 シミュレーション環境における光源位置推定の際，付加した検出誤差によって三角測量に用いる 2本の光線が平行に近づき，推定位置が無限遠付近とな

精度の評価
本節では光源位置が光源位置の推定精度に与える影る場合が見られたため，本実験では各光源位置に対す響を検証する．本実験では，図 8 に示すように，カメる 1 万回の試行の中央値を用いた．なお，本実験では，

ラ及び後述する様々な特徴をもつ半径 100mm の球体

PC（CPU intel core(TM) i7 U640, Memory 4GB）をシミュレーション空間内の点 (0, 0, 0), (0, 0, 500) にを用いた場合において，1 万回の光源位置推定に平均それぞれ設置し，光源の位置を x = 0 の yz 平面上で72msec を要した．

移動させた．ここでは，光源と中空透明球体中心の距
離 D(L−Sc ) を 100mm ∼ 800mm の範囲で 10mm 間

4. 1. 1 中空透明球体を用いた定量評価
図 9(a)，(b) に σ = 0.0 ピクセルとした場合及び隔，球中心から見た光源の方位角 φ を 0 ∼ 180 の範

σ = 1.0 ピクセルとした場合における厚み 0 の理想的囲で 2◦ 間隔で変化させながら，カメラにより撮像さな中空透明球体による光源位置の推定誤差を示す．図◦れる画像を POV-Ray [20] を用いてレンダリングし，

中黒色領域は，画像上においてハイライトが 2 点以上

その画像を元に光源位置を推定・評価した．なお，本観測されず光源位置を推定できなかった領域である．

シミュレーションでは，水平画角約 60◦ ，垂直画角約

同図 (a) より，検出誤差が存在しない場合において

45◦ のカメラを想定し，カメラの解像度を 1024 × 768

は，カメラの光学中心（図中 (0, 0, 0)）を通る中空透

ピクセル，カメラのレンズひずみはないものとし，以明球体の接線周辺及び光軸周りを除く多くの領域で光下の内部パラメータ行列を用いた．

源位置を高精度に推定可能であることが確認できる．

⎡
⎢
K=⎣

511.5

図 9(b) において，同図 (a) と比較して推定精度が

⎤

870

0

0

870

⎥
383.5 ⎦

001

大幅に悪化している領域は，画像上の中空透明球体と(13)

背景の境界付近にハイライトが観測される領域及び，二つのハイライトが画像上で接近し，視差が小さくなる領域に対応しており，これらの領域では，画像上でまた，それぞれのレンダリングされた画像上のハイ観測される片方または両方のハイライト位置の微小変

ライト領域の重心としてサブピクセル精度で推定され化で推定される光源位置が大きく変化する．一方，推た反射点検出位置に対し，誤差なしとガウス分布を仮定精度があまり変化しなかった領域に光源が存在する

定した標準偏差 σ = 1.0 ピクセルの検出誤差を付加し場合には，画像上においてハイライトが中空透明球体540

論文／中空透明球体を用いた近接点光源の位置推定

図 10厚みのある中空透明球体を用いた場合における光源位置推定誤差の分布．図中三角はカメラ位置，二重丸は中空透明球体中心を表している
Fig. 10 A map of median errors for variable 3-D positions of a ligh source using clear hollo sphere
having a thickness. The triangle and double
circle indicate the position of the camera andthe sphere.

果の誤差比である．同図より，再投影誤差を最小化す
ることで，多くの領域で推定精度の改善が見られた．
なお，光源が光軸周辺に存在する場合において，中点法を用いた方が推定精度が高い領域が一部存在するが，これは，球中心付近においてはエピポーラ線決定時における角度分解能が低く，再投影誤差を最小化する際のエピポーラ線の決定精度が十分に得られなかったた
図9

厚さ 0mm の理想的な中空透明球体を用いた場合における光源位置推定誤差の分布．図中三角はカメラ
位置，二重丸は中空透明球体中心を表している
Fig. 9 A map of median errors for variable 3-D positions of a ligh source using ideal clear hollo
sphere whose thickness is 0mm. The triangle
and double circle indicate the position of thecamera and the sphere.

めであると考えられる．
図 10(a)，(b) に屈折率 1.5 のガラスを素材とする厚み 2mm の中空透明球体を用い，屈折の影響を無視した場合及び考慮した場合における光源位置推定誤差を示す．図 9(b)，図 10(a)，(b) の比較より後述する実験で用いる厚みが 2mm 程度（半径の 2%）の球体であれば厚みによる屈折の影響を無視しても，大部分の領域において推定誤差が透明球体中心部からの距離のと背景の境界線から離れた位置に観測され，かつ観測5% 以内に収まることが分かる．また，中空透明球体

される二つのハイライトの距離も十分離れていた．

の厚みが既知であれば，屈折の影響を考慮することで，

図 9(d) は，同図 (c) に示す中点法による推定結果と，同図 (b) に示した再投影誤差最小化による推定結理想的な中空透明球体を用いた場合と同等の推定誤差となることが確認できる．
541

電子情報通信学会論文誌 2015/3 Vol. J98–D No. 3

図 12

中実透明球体を用いた場合における光源位置推定
誤差の分布．図中三角はカメラ位置，二重丸は中
空透明球中心を表している
Fig. 12 A map of median errors for variable 3-D positions of a ligh source using clear solid sphere.
The triangle and double circle indicate theposition of the camera and the sphere.

図 11

均一な濃度のガラスで作られた中実透明球体を用いる

特定の光源位置（上図）における中空透明球体の厚みと光源位置推定精度の関係（下図）．図中三角はカメラ位置，二重丸は中空透明球体中心を表している．また，半円は中空透明球体の表面を表している
Fig. 11 Relation between median errors and thickness of clear hollow sphere (top) for speciﬁc light position (bottom). The triangle
and double circle indicate the position of thecamera and the sphere. The hemicycle indicates the surface of the sphere. The red point
indicates the light source position.

球体を用いた場合の光源位置推定精度を示す．中実球

図 11（上）に示す (400, 173.2) の地点に光源を設

図 10(a)，(b)）に比べ光源位置を推定可能な領域が明ことを想定し，中空透明球体と中実透明球体を用いた場合における光源位置推定精度の差を検証する．なお，
中実透明球体を用いた場合，画像上で観測されたハイライトの数から直接光か反射光かを原理上判別できな
い．そのため，ここでは全ての組合せ（直接光，反射光）による推定結果から，最も真値に近いものを用いて光源位置推定精度を算出した．図 12(a) に中実透明を用いた場合，中空透明球体を用いた場合（図 9(b)，置して，中空透明球体の厚みを 0mm〜10mm まで変らかに少ないことが分かる．これらの位置では，中実化させたときの光源位置の推定精度を同図（下）に示

透明球体を用いた場合，屈折の影響により画像上でハす．同図より厚みによる屈折の影響を無視した場合，イライトが 2 点以上観測されず，光源位置の推定が行

厚みが 0mm〜10mm の範囲においては厚みに応じてえない．この結果より，より広い範囲での光源位置推

推定誤差がおおむね線形に増加していることが確認で定を行うためには中空透明球体が適しているといえる．

きる．また，厚みによる屈折の影響を考慮した場合には，厚みによらず理想的な中空透明球体と同等の推定精度を維持できることが確認できる．

4. 2 実環境における光源位置推定精度の評価
本実験では，実環境における単一光源下での中空透
明球体を用いた場合の光源位置推定精度を評価する．

なお，図 10(a)，(b) の光源位置推定結果において，

ここでは，デジタルカメラ（Canon EOS kiss Digital，

推定誤差の分布がスパイク状に変化している箇所が確

解像度 1024 × 768）を用いて，カメラから約 620mm

認できる．これは，中空透明球体が厚みをもつことにの距離に設置した半径 100mm，厚さ 2mm 程度の固より，中空透明球体前部の外部表面及び内部表面それ

定された中空透明球体を撮影した静止画像を用い，球ぞれで反射した反射光が画像上で重なり，二つのハイ体から方位角 70◦ 方向の異なる距離に設置されたハロライトを画像上で分離できず，それぞれのハイライト

ゲンライトの位置を推定した．

位置の推定を行えない領域に対応している．

ここでは定量評価を行うために，光源の位置をレー

4. 1. 2 中実透明球体との比較ザを用いた三次元測量機器であるトータルステーショ

中実透明球を用いた場合においてもハイライトを用ン（トプコン，GPT-900SA）を用いてあらかじめ計

いた光源位置推定を行うことができるため，ここでは測し，これを真値とした．また，カメラの位置姿勢542

論文／中空透明球体を用いた近接点光源の位置推定はトータルステーションを用いて計測した点を用いに悪化している．これはシミュレーションで見られたて PnP 問題を解くことで推定した．また，カメラは傾向と同様であり，2 種類の光源方向ベクトルが平行

事前にキャリブレーション済みであり，球の検出にはに近くなり，三角測量による測位が不安定となるため

Hough 変換を用いた．

であると考えられる．

図 13 に球中心から光源までの距離と，真値との比

4. 3 線光源の三次元復元

較による光源位置推定誤差の関係を示す．同図より，提案手法は対応する反射光が画像上で球中心を通る

中空透明球体中心より約 650mm 離れた点までは比較

エピポーラ線上で観測されるという特長をもつため，的高精度に光源位置を推定できていることが確認でき

線光源は画像上で中空透明球体中心を中心とした中心

る．一方，中空透明球体中心から光源までの距離が約角の等しい二つの曲線として観測される．そのため提650mm 以上離れた場合には光源位置推定精度が急激

案手法は，陽に線光源であるという事前知識を用いずに線光源の三次元復元が可能である．ここでは，球中心を通るエピポーラ線を 180 度回転させながら，対応点を決定する．具体的には，各エピポーラ線上の球中
心を挟んだそれぞれの領域にハイライトが観測された
場合に，これらのハイライトを対応付け，提案手法を用いて光源位置を推定する．図 14 に，実環境における線光源を対象とした実験の外観図，入力画像，及び実験結果を示す．図 14 (c) に示すように，エピポーラ
線上のハイライトを対応付けることで，点光源として

図 13 実環境における位置推定誤差
Fig. 13 Position errors in real situation.

Fig. 14復元された複数の光源位置が直線状に復元されている

図 14 線光源の光源位置推定
Light position estimation for line source.

543

電子情報通信学会論文誌 2015/3 Vol. J98–D No. 3

ことが確認できる．

Image and Vision Computiong, vol.28, no.4, pp.704–
714, 2010.

5. む す び[8]

I. Sato, Y. Sato, and K. Ikeuchi, “Acquiring a radiance distribution to superimpose virtual objects onto

中空透明球体によって反射された 2 種類の鏡面反射a real scene,” IEEE Trans. Visualization and Com-光を用いた近接光源位置推定手法を提案した．提案手法では対応する光源の反射光の組が必ず画像上で球中

puter Graphics, vol.5, no.1, pp.1–12, 1999.
[9]by using a planar mirror,” J. Electronic Imaging,

心を通るエピポーラ線上に存在するため，(1) 単一の参照物体のみで光源位置を推定できる，(2) 画像上でH.-L. Shen and Y. Cheng, “Calibrating light sources
vol.20, pp.013002-1–013002-6, 2011.

[10]

M. Powell, S. Sarkar, and D. Goldgof, “A sim-

再投影誤差を最小化できる，(3) 複数光源下において

ple strategy for calibrating the geometry of lightも対応する反射光の探索が容易である，という特長をsources,” IEEE Trans. Pattern Anal. Mach. Intell.,

もつ．

vol.23, pp.1022–1027, 2001.
[11]

実験では，シミュレーション環境において提案手法
を用いた光源位置の推定精度を示した．また，中実透
明球体を用いた場合との比較により，中空透明球体の[12]方がより広い範囲で光源位置を推定できることを示し

2009.
[13]

ibrated multi-layered image,” Proc. IEEE Conf. on

今後の課題として，二次以上の反射光を用いた光源位

Computer Vision and Pattern Recognition, pp.247–

置推定手法と反射光の減衰を用いた光源強度の推定が254, 2010.
[14]

IEEE Conf. on Computer Vision and Pattern Recog-

A,No.23240024）及び最先端・次世代研究開発支援[1]

K. Ikeuchi,

nition, pp.635–642, 2011.
[15]

文

nation distribution,” Proc. European Conf. on Visual“Determining surface orientation of

method,” IEEE Trans. Pattern Anal. Mach. Intell.,Media Production, pp.1–10, 2007.
[16]

properties using polarization under perspective pro-

R.J. Woodham, “Photometric method for determin-

jection,” Proc. IAPR Workshop on Machine Vision

ing surface orientation from multiple images,” Opt.
Eng., vol.19, no.1, pp.139–144, 1980.
[3]

Y. Yu, P. Debevec, and T. Malik, and J. Hawkins,

Applications, pp.566–571, 2002.
[17]

age without distant illumination assumption,” Proc.

models of real,” Proc. ACM SIGGRAPH, pp.215–

IEEE Int. Conf. on Computer Vision, pp.560–567,

224, 1999.
Y. Iwahori, H. Sugie, and N. Ishii, “Reconstructing
shape from shading images under point light source

2003.
[18]

RGB-D camera,” Proc. British Machine Vision Con-

tion, pp.I:83–87, 1990.
J.J. Clark, “Active photometric stereo,” Proc. IEEE
Conf. Computer Vision and Pattern Recognition,

ference, pp.105.1–105.11, 2013.
[19]

Computer Vision and Pattern Recognition, pp.119–
124, 1999.
[7]

544

sphere,” Proc. European Conf. on Computer Vision,

J.J. Clark and H. Pekau, “An integral formulation fordiﬀerential photometric stereo,” Proc. IEEE Conf. on

J.J. Clark, “Photometric stereo using lcd display,”

K.-Y.K. Wong, D. Schnieders, and S. Li, “Recovering light directions and camera poses from a single

pp.29–34, 1992.
[6]

K. Hara, K. Nishino, and K. Ikeuchi, “Point lightsource estimation based on scenes recorded by aillumination,” Proc. Int. Conf. on Pattern Recogni[5]K. Hara, K. Nishino, and K. Ikeuchi, “Determining reﬂectance and light position from a single im-“Inverse global illumination:recovering reﬂectance[4]

K. Hara, K. Nishino, A. Nakazawa, and K. Ikeuchi,“Estimation of illuminant position and reﬂectancevol.3, no.6, pp.661–669, 1981.
[2]

T. Takai, S. Nimura, A. Maki, and T. Matsuyama,“Self shadows and cast shadows in estimating illumi-

献specular surfaces by using the photometric stereo

Z. Chen, K.K. Wong, Y. Matsushita, X. Zhu, and M.
Liu, “Self-calibrating depth from refraction,” Proc.

謝 辞 本 研 究 の 一 部 は 科 学 研 究 費 補 助 金（ 基 盤
プログラムによる．

T. Yano, M. Shimizu, and M. Okutomi, “Image
restoration and disparity estimation from an uncal-

け処理なしに光源位置を推定可能であることを示した．

考えられる．

茂，“球鏡面上の反射点位置の計算法，” 計測自動制御学会論文集，vol.30, no.8,
pp.943–952, 1994.
M. Shimizu, M. Okutomi, and W. Jiang, “Disparity
estimation in a layered image for reﬂection stereo,”Proc. Asian Conf. on Computer Vision, pp.395–405,

た．また，実環境において光源位置推定精度の評価及
び線光源の復元実験を行い，実環境でも複雑な対応付

岡田徳次，野口昌彦，藤原pp.631–642, 2008.
[20]“Persistence of vision (tm) raytracer.” http://www.
povray.org/（平成 26 年 6 月 11 日受付，10 月 26 日再受付，
12 月 4 日早期公開）

論文／中空透明球体を用いた近接点光源の位置推定

青砥

隆仁

横矢 直和

（正員：フェロー）2010 年立命館大学・情報理工学部・メディア情報学科卒．2012 年奈良先端科学
技術大学院大学情報科学研究科博士前期課

1974 年阪大・基礎工・情報工卒．1979
年同大大学院博士後期課程修了．同年電子技術総合技術研究所入所．以来，画像処

程修了．現在，同大博士後期課程に在学中．

理ソフトウェア，画像データベース，コン
ピュータビジョンの研究に従事．1986〜87
年マッギル大・知能機械研究センター客員

佐藤

智和

（正員）

1999 年阪府大・工・情報工卒．2003 年
奈良先端科学技術大学院大学情報科学研究科博士後期課程修了．同年〜2007 年同大
情報科学研究科助手，2007〜2011 年同大教授．1992 年奈良先端科学技術大学院大学・情報科学センター
教授．1993 年同大情報科学研究科教授．2013 年同大理事・副学長．現在，同大副学長兼同大情報科学研究科教授．1990 年・2007 年情報処理学会論文賞受賞．2005 年情報処理学会フェロー．工学博士．情報処理学会，日本バーチャルリアリティ学会，人工知能学会，日本認知科学会，映像情報メディア学会，
IEEE 各会員．

情報科学研究科助教，2010〜2011 チェコ工科大客員研究員，現在，同大情報科学研究科准教授．コンピュータビジョンの研究に従事．博士（工学）．
日本バーチャルリアリティ学会，映像メディア学会，情報処理学会，IEEE 各会員．

向川

康博

（正員）

1997 年筑波大学大学院博士課程工学研究科修了．同年〜2002 年岡山大学助手．
2003〜2004 年 10 月筑波大学講師．大阪大学助教授を経て 2007 年 4 月〜2014 年
1 月同大学准教授．現在，奈良先端科学技

術大学院大学教授．コンピュータビジョンの研究に従事．博士（工学）．情報処理学会，日本バーチャルリ
アリティ学会，IEEE 各会員．

武富

貴史

（正員）

2006 年佐世保高専・専攻科・電気電子工学専攻卒．2011 年奈良先端科学技術大学

院大学情報科学研究科博士後期課程修了．
現在，同大情報科学研究科助教．博士（工学）．拡張現実感の研究に従事．情報処理学会，日本バーチャルリアリティ学会，IEEE各会員．

545