一般社団法人 電子情報通信学会
汎光線時空間 (PoTS) 映像学 時限研究専門委員会

第2回

PoTS 映像学シンポジウム

X-Slit を用いた光線群サンプリングによる効率的な BRDF 計測宮田明裕†

舩冨卓哉†

久保 尋之†

向川康博†

Akihiro MIYATA† , Takuya FUNATOMI† , Hiroyuki KUBO† , and Yasuhiro MUKAIGAWA†† 奈良先端科学技術大学院大学情報科学研究科 〒 630–0192 奈良県生駒市高山町 8916 番地 5
E-mail: †{miyata.akihiro.lq9,funatomi,hkubo,mukaigawa}@is.naist.jp
概要： コンピュータビジョンやコンピュータグラフィックスでは，ピンホールモデルなどの投影中心の存在するモデルを用いることが多い．しかし，これらの光線は投影中心に拘束されるため自由度が低い．対して X-Slit と呼ばれるねじれの関係にある 2 本のスリットを通る光線を定義することにより高自由度の射影を実現できる．本論文では目的に応じた光線のサンプリングについて述べ，特に BRDF 計測に適用した場合の結果を示す．シミュレーション実験
ではピンホールと X-Slit の BRDF 計測における相違を評価する．
キーワード： 光線空間，X-Slit 射影モデル，BRDFy

1. は じ め にコンピュータビジョン (CV) やコンピュータグラフィックス(CG) では通常，人間の眼や撮影過程をピンホールモデルとしてシンプルに取り扱うことが多い．一方で，画像を取得するのxzではなく光線そのものをサンプリングをしたい場合などでは，

pinholesensor

これらの光線は投影中心に拘束されるため自由度が低く，多様に光線をサンプリングできるとは限らない．近年，光線空間をy取得するカメラが市販されている [1]．光線空間を取得する方法としては他にもカメラアレイを用いる方法 [9]，マイクロレンズを用いた方法 [6]，X-Slit と呼ばれる 2 本のスリットを用いた方法 [4] などがあるが，中でも X-Slit カメラは他の手法に比xzHorizontalslit

べ自由度が高い射影を実現できる．
この X-Slit について，X-Slit 射影モデルを定義したもの

z=s1

Verticalslit

sensorz=s2[3, 7, 12] やエピポーラ幾何について述べたもの [3]，画像のモザイキング技術 [12]，符号化撮像技術 [10]，光線空間を用いた

図 1 ピンホールモデルと X-Slit モデル

リフォーカス技術 [4] などに応用したものが報告されているが，我々は新たに双方向反射率分布関数 BRDF(Bi-directionalDistribution Function)[5] の計測に適用することを考える．
本論文では，X-Slit のパラメータを変えることで効率的にBRDF 計測ができる可能性について言及する．ピンホールはX-Slit の特殊なケースであり，後述のシミュレーション実験ではピンホールと X-Slit の BRDF 計測における相違を評価する．

2. X-Slit を用いた BRDF 計測
2. 1 X-Slit の原理
図 1 のように，ピンホールモデルでは光線がある一点を通過するのに対し，X-Slit モデルではねじれの関係にある 2 本のスリット上を光線が通過する．ピンホールカメラと X-Slit カメラで撮影される画像は図 2 のようになる．図 2(a) はピンホールモデル，(b) と (c) は X-Slit モデルによって撮影される画像を生成した CG であり，特に (b) と (c) は人間の眼による見え方(b) POX-Slit(a) Pinhole
図2(c) R-XSlit

各カメラモデルに基づいた CGる投影の結果，水平方向の画角と垂直方向の画角が異なることがわかる．また図 2(c) は (b) のスリットを図 1 の z 軸の周りに回転させた場合の投影の結果である．X-Slit の 2 つのスリッ
トを同じ位置に配置するとピンホールになることから，X-Slitはピンホールを内包する一般化した射影モデルである．

2. 2 BRDF 計測
BRDF は，物体表面上のある点における任意の照明方向からとは異なる．図 2(b) は図 1 のように水平垂直のスリットによ—1—light source

Image sensor

φkeX-Slity⊥θ dexθsezθi θrsorsenφ

図5Homogeneous
BRDF object

2. 4 X-Slit の射影モデル

図 3 BRDF 計測システム

yx

M1z

M2

Horizontalslit

Mc

zc = sVertic
alslitc1

zc = s2c

内部パラメータmc
sensor

図 4 に示すように三次元点 M は，方向ベクトル (拡張ベクトル)a を用いてセンサ面上あるいは光源面上の m に投影されM = (M )z a + m,(1)a = (p, q, 1)⊤()z は第三成分を表す．M1 と M2 はそれぞれ水平スリットと垂直スリットの直線上の点であるとし，以下の式で表される．

図 4 POX-Slit カメラモデルの入射光に対する任意の観測方向への反射率を表す双方向反射

M1 = (M1 )z a + m,(2)M2 = (M2 )z a + m(3)率分布関数であり，その計測には角度の膨大な組み合わせを必要とする．そのため効率的な BRDF 計測手法が提案されているが，[5] ではピンホールモデルが仮定されており，BRDF が物体表面で一様であるとき，センサ上の各画素分だけ角度の組み合わせを取得できる．そこでピンホールモデルではなく X-Slitモデルを使用した場合により効率的な BRDF 計測となるのではないかと考え，その X-Slit を用いた BRDF 計測の概略図を
図 3 に示す．本論文では [5] と同様に BRDF が物体表面で一様であることを前提とする．

2. 3 X-Slit の内部パラメータ
図 3 に示すようにカメラと面光源のそれぞれに X-Slit を用いる．ここでステレオカメラのようにカメラ座標と光源座標

2. 3 で述べたように，X-Slit の一般的な射影モデルを考える．三次元空間における直線は一般に 4 つのパラメータを用いて記述できる．図 5 において，スリットの直線と eϑ は z 軸(ez = (0, 0, 1)⊤ ) から最も近い 2 点間を結ぶ直線の方向ベクトルとして定義し，eϑ の xy 平面内における y-軸とのなす角を ϑとする．この eϑ 軸周りの回転角を φ と定義する．このとき，2 本の直線上の点は以下の方程式で表すことができる．
M1 = s1 ez + d1 eϑ1 + k1 M (e⊥1 , eϑ1 , φ1 )







d1 sin ϑ1 − k1 cos ϑ1
s1 + sinφ1を定義する．カメラ座標の原点をイメージセンサ (以降では単にセンサと呼ぶ) の中心，光源座標の原点を面光源の中心とする．カメラ座標における三次元座標 Mc = (xc , yc , zc )⊤ は 2本のスリット上を通りセンサ上に投影される．ここでセンサ
平面は zc = 0 で表すものとする．図 4 に示すように水平スリットと垂直スリットをそれぞれ zc = sc1 と zc = sc2 に配置(4)= d1 cos ϑ1 + k1 sin ϑ1 M2 = s2 ez + d2 eϑ2 + k2 M (e⊥2 , eϑ2 , φ2 )

d2 cos ϑ2 + k2 sin ϑ2= −d2 sin ϑ2 + k2 cos ϑ2 

(5)

s2 + sin φ2する．このときの水平垂直のスリットによる投影は POX-Slit

ここで k1 と k2 は直線上の移動量を表す定数である．また Mprojection(Parallel-Orthogonal X-Slit) と呼ばれ，図 1 の下図はロドリゲスの回転式でありベクトル v を軸 k の周りに角 αや図 2(b) に対応する [2]．さらに図 5 のように水平スリットとだけ回転させる作用を持ち，以下の式で表現される．

垂直スリットはそれぞれ zc -軸と dc1 と dc2 だけ隔てていると仮定し，回転角 ϑc1 ，ϑc1 と ϑc2 ，ϑc2 を用いて各スリットを表現する
直線が一般化される．
同様に，光源座標における三次元点 Ml = (xl , yl , zl )⊤ は光源のある平面上のある点 ml = (ul , vl , 0)⊤ に投影され，それぞれのスリットは距離のパラメータ dl1 ,sl1 と dl2 ,sl2 で定義され，加えて回転角 ϑl1 ，ϑl1 と ϑl2 ，ϑl2 により一般化される．

vrot = (I + sin α[l]× + (1 − cos α)[l]2× )v(6)= M (v, l, α)
ただし，I は単位行列であり，[l]× は l の各成分により構成される 3 × 3 の歪対称行列である．
ここで，式 (4) と (5) は 5 つのパラメータ (s, d, k, ϑ, φ) で表されており，スリットの直線は k を除いた 4 つのパラメータを用いて表され，これらを 1 本のスリットの内部パラメータと定—2—

object

義する．

no

簡単のため，ϑ1 = ϑ2 = ϑ, φ1 = φ2 = 0 を仮定する．このとき ϑ 回転する X-Slit は R-XSlit(Rotational X-Slit) と呼ばれ，Rol

図 2(c) に対応する [4, 11]．このとき式 (4) と式 (5) は以下の

nltco

light sourced1 sin ϑ − k1 cos ϑ

図6

外部パラメータの法線法線ベクトル no はカメラの姿勢 nc = (0, 0, 1)⊤ と両者s1の間の回転行列 Rco で表される．

no = −Rco nc

M2 = s2 ez + d2 eϑ2 + k2 e⊥2d2 cos ϑ + k2 sin ϑsensor(7)= d1 cos ϑ + k1 sin ϑ ,nc

tcl

ようになる．

M1 = s1 ez + d1 eϑ1 + k1 e⊥1

Rco


(8)


= −d2 sin ϑ + k2 cos ϑ(13)また面光源の法線ベクトル nd は物体平面から面光源への回転行列 Rol を用いることで得られる．

s2nl = −Rol no = Rol Rco nc

ここで式 (2)，(3)，(7)，(8) から k1 と k2 が得られる．

k1 = −s1s1d2 − (1 − )(u cos ϑ − v sin ϑ),s2s2(9)内部パラメータのみで表現される．さらに式 (2)(あるいは式(3)) から方向ベクトル a が求まる．

2. 6 BRDF を表す角度パラメータ
カメラ座標系における三次元点 Mc が物体平面上に存在する
とき，n⊤o (Mc − tco ) = 0(11)

ここで A は X-Slit における＄ 3 × 3 の射影変換であり，内部パラメータを用いて以下のように表される．

(15)が成立する．カメラ座標系における奥行き (Mc )z は式 (1)，(15)，(12) によって各画素 mc について計算され，(Mc )z =11
A11 = − sin2 ϑ −cos2 ϑs1s211
A12 = ( − ) sin ϑ cos ϑs2s1d2d1sin ϑ +cos ϑA13 =s1s2n⊤o (tco − mc )n⊤o Ac (mc + nc )(16)となる．Mc に対応する，光源座標系における三次元点 Ml は外部パラメータを用いて以下のように書き表される．

Ml = (Rol Rco )−1 (Mc − tcl )(17)光源座標系における物体上の三次元点 Ml が光源側の X-Slit を

A21 = A12
11
A22 = − cos2 ϑ −sin2 ϑ
s1
s2
d1d2
A23 =cos ϑ −sin ϑ
s1s2

カメラ座標系の原点から，物体平面上のある点までの並進ベク
トルを tco ，面光源の中心までの並進ベクトルを tcl とする．

s2s2
k2 = d1 + (1 − )(u sin ϑ + v cos ϑ)
(10)
s1s1
この k1 と k2 を式 (7) と (8) に代入することで M1 と M2 がM1 − ma== A(m + ez )(M1 )z(14)(12)

A31 = 0
A32 = 0A33 = 1

通過して面光源に投影されるので，式 (1) と (12) の内部パラメータ行列 Al を用いて，Ml = (Ml )z Al (ml + nl ) + ml(18)と導け，この式から ml が求められる．

ml = −nl + ((Ml )z Al + I)−1 (Ml + nl )(19)以降，Ac を X-Slit 側の射影変換，Al を光源側の射影変換としここで，(Ml )z Al + I は正則であるとする．この ml と式 (11)て既知のものであるとする．

から方向ベクトル al が得られる．

仮に 2 本のスリットを表す直線が交点を持つ場合，X-Slit 射以上で，ある画素 mc と X-Slit を通過する光線の方向ベク

影モデルはピンホールモデルに相当する．さらにこのピンホー

トル ac とその点と光源側の X-Slit を通過する光線の方向ベクルが z 軸上に存在する場合，z 軸の周りに ϑ 回転させても，式トル al を，X-Slit の内部パラメータ行列と外部パラメータに(11) が ϑ に依存しないため計測数は増加しない．

よって表現することができた．

2. 5 外部パラメータ

BRDF を表す角度パラメータは光源の入射光線と反射光線の簡単のため計測対象の物体を平面であると仮定する．図 6 は方向によって記述される．ac と al を物体平面の座標系で表す外部パラメータを表している．カメラ座標系における物体平面こととすると，物体平面の座標系における入射光線 ωi と反射—3—

表1object

実際に用いる内部パラメータと外部パラメータ(sc1 , sc2 ) (sl1 , sl2 ) (dc1 , dc2 ) (dl1 , dl2 ) (ϑc1 , ϑc2 ) (ϑl1 , ϑl2 )(s1 , s2 ) (s1 , s2 ) (d1 , d2 ) (d1 , d2 )(φc1 , φc2 ) (φl1 , φl2 ) Rco(0, 0)(0, 0)IRolI(ϑc , ϑc )(0, 0)

tt−10−20100

1020

 co   cl light source 0   0 
図7(-1,2,-1)

光線 ωr は20シミュレーションの設定値

yLight−1−Rcoac
ωi =,−1∥ − Rcoac ∥−Rol alωr =∥ − Rol al ∥sensorCamera(2,2,2)(-1,2,1)x(20)z(1,-2,-1)(1,-2,1)として正規化される．ここで，(θh , θd , ϕd ) という BRDF を表

図8す角度のパラメータ空間は以下のように Rusinkiewicz 座標を評価に用いる CG のレンダリング環境用いて定義される [8]．

h=ωi + ωr∥ωi + ωr ∥bo = (0, 1, 0)⊤θh = arccos(h)zϕh = arctan(h)y(h)x(21)d = M (M (ωi , no , −ϕh ), bo , −θh )θd = arccos(d)z
ϕd = arctan

図 9 距離誤差の平均値(d)y(d)xように計算される．

2. 7 R-XSlit による計測
2. 3 で述べたように，ピンホールが回転軸である z 軸上になければ X-Slit を回転させることによって θ = (θh , θd , ϕd ) の観測数を増やすことが可能である．ここで，回転角 ϑ に対して観測される θ の集合を Sϑ であるとし，これら全ての和集合を Sとする．

vmax
s2
umax
F oVv = arctans1
F oVh = arctan(23)

ここで，(umax , vmax ) = (10, 10) と固定し，センサの解像度は 16 × 16 とする．得られる S を評価するために，図 8 に示すレンダリング画像を用いる．レンダリング画像上の各画素

S = ∪ϑ=ϑ1 ,ϑ2 ,··· ,ϑn Sϑ

(22)

なお，n は回転させる回数とする．

3. シミュレーションによる評価
カメラの X-Slit の内部パラメータ (sc1 ,sc2 ,dc1 ,dc2 ,ϑc1 ,ϑc2 ,φc1 ,φc2 )，光源の X-Slit の内部パラメータ (sl1 ,sl2 ,dl1 ,dl2 ,ϑl1 ,ϑl2 ,φl1 ,φl2 )，外(u, v) に対して θ ′ が得られ，図 8 の右図の (r, g, b) はそれぞれ(ϕd , θd , θh ) に対応している．このときの距離の誤差をE(u, v) = min ∥θ − θ ′ (u, v)∥とする．また，レンダリング画像内の物体領域 B 内の N 画素分の平均を部パラメータ (Rco , Rol , tco , tcl ) を既知であるとする．実際には，図 7 のように簡単な場合においてシミュレーションを行
い，内部パラメータと外部パラメータは表 1 に記した．また(s1 , s2 ) は画角 (F oVh , F oVv ) を変える可変なパラメータであ◦

◦

◦

◦

(24)

θ∈S

µ=1N

N
∑

E(u, v)(25)(u,v)∈Bとして，BRDF を評価する．

る．ϑc = 0 , 10 , · · · , 90 , ϑl = 0 として特殊な R-XSlit モデ

後述するシミュレーション環境は図 8 のある一つの光源位置

ルにおいて BRDF 計測を行う．また (d1 , d2 ) は (0, 0) と (3, 3)を用いたものとなっているが他の光源位置によってシミュレーの場合について行う．

ション結果に大きく影響しないため，以下ではある一つの光源画角は水平スリットと垂直スリットでそれぞれ F oVh ，F oVvと定義され，センサのサイズ (2umax , 2vmax ) によって以下の位置による結果となっている．
図 9 は画角 (F oVh ,F oVv ) の変化に対する平均値 µ を求め—4—

もののサンプリングについて述べ，特に X-Slit という 2 本のスリットを用いた高自由度の射影による光線サンプリングをBRDF 計測に適用した．シミュレーションでは，X-Slit の画角を変化させることにより効率的な BRDF が可能だと示唆した．
しかし，X-Slit の内部パラメータである φ などを考慮した場合に，さらに効率的な BRDF 計測が可能になるかどうかなど調査する必要がある．
今後の課題として，X-Slit による BRDF 計測システムを実装するにあたり，有限の開口を考慮したシリンドリカルレンズを設計する必要がある [10]．また，入射方向と反射方向を対応付けるための手法についても，光源をパターン光としたアクティブステレオを用いるなど，検討していく予定である．

5. 謝

辞

本研究は JSPS 科研費 JP25240027，JP15H05918(新学術領域「多元質感知」) の助成を受けたものである．

文

献[1] https://illum.lytro.com.
[2] D. Feldman, A. Zomet, S. Peleg, and D. Weinshall.
Video synthesis made simple with the x-slits projection. In Proc. of WMVC, pages 195–200, 2002.
図 10

各 F oVv に対する最小の平均値 µmin とそのときの F oVh[3] Doron Feldman, Tomás Pajdla, and Daphna Weinshall.
On the epipolar geometry of the crossed-slits projec-た結果を示している．図 9 の左図は (d1 , d2 ) = (0, 0) の場合の結果を示す．X-Slit(F oVh =| F oVv ) のときの平均値がピンホール (F oVh = F oVv ) よりも小さいことを示しているが，これは 2. 3 で述べたように，ピンホールが回転軸である zc 軸上に存在するため，観測数が X-Slit より少ないためである．

tion. In ICCV, 2003.
[4] Nianyi Li, Haiting Lin, Bilin Sun, Mingyuan Zhou, andJingyi Yu. Rotational crossed-slit light field. In Proc.
of CVPR, June 2016.

また，(d1 , d2 ) = (3, 3) の場合の結果を図 9 の右図に示す．

[5] Steve Marschner, Stephen H. Westin, Eric P. Lafor-(F oVh = F oVv ) のとき，ピンホールが回転軸上にないため観測

tune, Kenneth E. Torrance, and Donald P. Greenberg.

数は増え (d1 , d2 ) = (0, 0) の場合と比べて平均値が小さくなっ

Image-based brdf measurement including human skin.ていることがわかる．

In Rendering Techniques, 1999.

また (d1 , d2 ) = (0, 0), (3, 3) のいずれの場合においても平均値が最小値となるのは F oVv = 45◦ のときである．これはスリッ
トが対象物体に最接近するからであり，実装するのは困難である．そのため F oVv > 45◦ の場合における，各 F oVv に対する最小の平均値 µmin とそのときの F oVh について調べたものが図[6] Ren Ng, Marc Levoy, Mathieu Brédif, Gene Duval,Mark Horowitz, and Pat Hanrahan. Light field photography with a hand-held plenoptic camera. In CSTR,2005.

10 になる．(d1 , d2 ) = (0, 0), (3, 3) のいずれの場合においても[7] Tomás̆ Pajdla. Geometry of two-slit camera. 2002.

µmin は F oVv に対して図示した定義域において単調増加であり，[8] Szymon Rusinkiewicz. A new change of variables for ef-

F oVv = 50◦ のとき最小となる F oVh は (d1 , d2 ) = (0, 0), (3, 3)のそれぞれの場合において，F oVv = 56◦ , 62◦ となり，X-Slitficient BRDF representation. In Proc. of EGWR, June
1998.の方がピンホールのときよりも良い結果を得ていると言える．
ただし，画角が大きい F oVv > 55◦ の場合には緑の直線に示す[9] Vaibhav Vaish, Bennett Wilburn, Neel Joshi, and Marc

ように X-Slit とピンホールは平均値が漸近する結果を得た．

Levoy. Using plane + parallax for calibrating dense
camera arrays. In Proc. of CVPR, 2004.

4. 結論と今後の課題[10] Jinwei Ye, Yu Ji, Wei Yang, and Jingyi Yu. Depth-of人間の眼似た性質を持つピンホールカメラによる撮影では光線を多様にサンプリングできるとは限らない．そこで光線そのfield and coded aperture imaging on xslit lens. In Proc.
of ECCV, pages 753–766, 2014.
—5—

[11] Jinwei Ye, Yu Ji, and Jingyi Yu. A rotational stereo
model based on xslit imaging. In Proc. of ICCV, pages
489–496, 2013.
[12] Assaf Zomet, Doron Feldman, Shmuel Peleg, andDaphna Weinshall. Mosaicing new views: The crossedslits projection. TPAMI, 25(6):741–754, 2003.

—6—