ライトフィールドカメラを用いた物体の形状と反射率推定
Shape and reflectance estimation from a light field

る必要がある。すなわち、見る方向が変わっても物体上の点の色や輝度が変化しないランバーシアン反射面であることが仮定されている。しかしながら、ランバーシアン反射は理想的な反射モデルであり、一般的な物体のほとんどはこれに従わない。たとえば、金属やプラスチックなどスムースな面の物体は強い鏡面反射を持ち、光源とカメラの方向に大きく依存して見え方が長原 一 (Hajime NAGAHARA, Dr. Eng.)変化する。なかには、サテンやシルク生地のように、大阪大学 データビリティフロンティア機構 教授

見る方向に大きく依存して反射色や輝度が変化するよ(Professor, Institute for Datability Science, Osaka University)

うな材質も世の中には多く存在する。一般的なステレIEEE 情報処理学会 電子情報通信学会 映像メディア学会 日
本ロボット学会
受賞：ACM VRST2003 Honorable Mention Award 2012 年情報処理学会長尾真記念特別賞 ICCP2016 Best Paper Runners-up Award
2016 年度 画像センシング技術研究会高木賞 など
研究専門分野：コンピュテーショナルフォトグラフ コンピュータ
ビジョン

オマッチングでは、このような見えの変化の影響を避けるために、エッジやコーナー、テクスチャなどのパターンを利用して対応点を推定している。しかし、そもそも物体表面にこの様なパターンがない物体は、計測出できないという問題があった。図 1 の左に、一般的なステレオビジョンが要求するランバーシアン反射画像からの一般的な形状計測手法は、物体面とテクスチャを持つ物体の画像、図 1 の右に、異方上の点の色や輝度が変化しないランバーシアン反射面性反射を持つ金属でできた物体の画像を示した。つまであることが仮定されている。しかしながら、ランバーり、従来法は、図 1 左に示すような不自然な対象でなシアン反射は理想的な反射モデルであり、一般的な物ければ 3 次元復元が安定に求まらず、同じ形状であっ体のほとんどはこれに従わない。たとえば、金属やプても、図 1 の右の様な金属でできた一般的な対象にはラスチックなどスムースな面の物体は強い鏡面反射を適用出来なかった。この様な手法の制限がコンピュー持ち、光源とカメラの方向に大きく依存して見え方がタビジョンの応用範囲を制限して、一般的に利用でき変化する。本研究では、ライトフィールド画像からのない一因となってきた。

あらまし

物体形状と反射率推定手法について提案する。提案手法では、自然照明環境化においてライトフィールドカ
メラと全天球カメラからワンショットで得られる画像から物体形状と反射率を測定できる。これにより、従来のステレオ法などの苦手であった金属やプラスチックなどの拡散反射が仮定できない物体に適用することで、3 次元計測の適用範囲を広げることができる。
１．研究目的・狙い
コンピュータビジョンにおいて、画像からの物体の3 次元形状計測は古くからのテーマであり、多くの形図１状推定手法が提案されてきた。典型的な 3 次元計測手

反射特性の異なる同一形状の物体法であるステレオ法では、2 画像間の視差を画像中の対応点から求める必要がある。画像間の対応点を求め

本研究では、このような従来のランバーシアン反射るには、画像中で物体上での対応点の見えが同じであを仮定またはテクスチャが対応点として必要であった

1

TELECOM FRONTIER No.99 2018 SPRING

ライトフィールドカメラを用いた物体の形状と反射率推定
Shape and reflectance estimation from a light field

画像による形状推定の問題を解決し、金属などの強いンダリングを解く手法も提案されている。Oxholm ら

反射をもつテクスチャのない物体の画像からの形状計[6]は、既知の自然照明下で複数視点で計測された画像測を可能にする手法を提案する。提案手法は、これまから物体の形状と反射率分布を推定する手法を提案しで取り扱えなかった物体を対象にする点がチャレンジンている。しかしながら、このような多数視点を計測すグで、計測できる適用物体を広げることから実用性も高るには、計測時間がかかるという問題があった。本研い。具体的には、入力としてライトフィールドカメラを

究では、入力装置としてワンショットで多視点画像を用いる。ライトフィールドカメラは、光線空間（ライド

撮影可能なライトフィールドカメラと、照明を計測すフィールド）を撮影出来るカメラで、ワンショットで多るために全天球カメラを組み合わせることで、ワン視点の画像を撮影できる。提案手法では、この多眼画像

ショット撮影された画像から物体形状と反射率分布を情報を用いて対象物体の形状と反射率分布（BRDF：同時推定する。

Bidirectional Reflectance Distribution Function）を３．研究方法と実験結果同時推定する。本手法では、ステレオ対応と反射率か

図 2 に、物体が多視点画像として得られる観測モデら想定される見かけの変化の対応が矛盾無く一貫するルを示す。

ような、形状（奥行き視差と法線方向）と反射率を冗長な視点情報から同時推定しようとするところが一般的なステレオと異なる。これにより、推定された反射率自体が特徴点として働くため、テクスチャが全くない物体においても密な形状を推定できる。特徴点探索とステレオ手法のいちばんの不安定要因を解決できることから、この手法により一般環境下において、より安定にカメラによる 3 次元計測が可能となる。
２．関連研究物体形状と反射率および照明条件が既知であれば、コンピュータグラッフィックス（CG）を用いて、その物体の見かけをシミュレーションにより再現することができる。これをフォワードレンダリングと呼ぶ。これに対して、本研究が対象とする対象の見かけから逆に物体形状や反射率、照明環境を復元する手法は、イ

図２

画像の観測モデル

ンバースレンダリング[1]と呼ばれる。理想的なインバースレンダリングは、単一画像から形状と反射率分布、照明の同時推定することであるが、これは劣決定環境中の任意の照明 L から出射された光線は、物体上な問題であり解決が容易でないことから、このうちのの点 X で反射され、画像上の点 xi の輝度値 I(xi)として観幾つかを推定するのが一般的である。例えば、反射特測される。このときの輝度値 I(xi)は、視点毎に異なる反性をランバーシアン反射と仮定して既知の照明下で形射角 θi の光線を観測していることから、画像中での見え状を求める研究[2][3]や、未知照明下で形状を求める研は視点毎に異なって観測されることになる。この過程は究[4]などがある。逆に、形状を既知と仮定して画像か式(1)のように表される。なぜなら、対象物体は反射率分

ら反射率分布と照明を求める研究[5]も提案されてい布 Ψ を持ち、その反射特性は ρ(ω, θ)で表されるように、る。単一画像ではなく、多視点画像からインバースレ反射角 θi に依存した特性を持つためである。

2

TELECOM FRONTIER No.99 2018 SPRING

ライトフィールドカメラを用いた物体の形状と反射率推定
Shape and reflectance estimation from a light fieldIˆ(x i ) = ò r (w ,q i ;Y)L(w )max(0,N × w )dw

束時にほとんど同じ見かけとなっていることが確認で(1)きる。また、本手法では、一般的なインバースレンダ

もし、反射率分布 Ψ が既知であれば、視点に依存しリングとは異なり、法線マップに加えてデプスマップ

た I(xi)は反射率分布より予想できるため、物体表面にも推定できる。これは、物体のシェーディングのみなテクスチャがなくとも、その推定輝度から対応点を求らず、ライトフィールド画像の多視点がステレオとしめることができる。反対に、複数視点間の対応関係がて利用しているためである。これにより、一般的に法既知であれば、I(xi)間の関係から反射率分布 Ψ を求め線マップを積分して得られるデプスマップに対して、ることが出来る。本研究では、すなわち、ステレオの形状復元の安定性の向上や曖昧性を排除できるという対応推定と反射率分布推定を同時に行うところに新し利点がある。さらに図 6 に、同様に反射率分布の異なさがある。具体的には、式(2)で表される推定輝度値と、る物体についての適用結果についても示した。これか

観測輝度値の差を最小化するように各ピクセルに対応

ら、図 5 の様な反射特性がマットな物体のみならず、する物体の奥行きと、法線ベクトル、物体全体の反射スペキュラ反射の様な鋭い反射特性を持つ物体におい率分布を求める。ても、図 6 に示す様に復元できていることが示された。

2d(x 0 ) = å I(xi ) - Iˆ(x i )(2)i

具体的には、図 5 及び図 6 におけるレンダリング画像を計測画像に近づけるように形状と反射率分布を推定することに対応する。これにより、鏡面反射を持つテクスチャクレスの物体形状と反射率分布と同時を求めることができる。 実際には、物体形状や反射特性のなめらかさを事前確率、式(2)を尤度関数として、事後確率最大化推定（MAP 推定）手法を用いてこの問題を解いた。詳しいアルゴリズムや手法に関しては、文献[7]を参照されたい。
実験では、撮影装置として市販のライトフィールド
図３カメラ（Lytro Illum）と全天球カメラ（Rico Theta）入力ライトフィールド画像を用いた。
図 3 と図 4 に、実験に使用したライトフィールド画像および全天球画像を例として示した。図 3 に示す様に、ライトフィールドカメラではワンショットで多視点の画像を撮影することができる。また、図 4に示す様に、全天球カメラでは環境全体の輝度を一枚の画像として取得できる。これら 2 種類の入力画像か
ら本手法を適用することで、図 5 に示す様に、物体の形状を法線マップとデプスマップとして、反射率分布を BRDF として取得することができた。図 5 に、撮影画像と推定された形状と反射率を用いた CG レンダリング画像を示している。本手法は、これらの撮影画像
図４とレンダリング画像の誤差を最小化する推定物体形状

入力全天球画像と反射率を推定していることから、これらの画像は収3

TELECOM FRONTIER No.99 2018 SPRING

ライトフィールドカメラを用いた物体の形状と反射率推定
Shape and reflectance estimation from a light field

338.8mm320.0mm

レンダリング

像

法線マップ

画

像

画

撮影

図５分布(BRDF)

率

反射

デプスマップ形状と反射率分布の復元結果（オレンジカップ）

322.9mm

303.2mm

レンダリング像

デプスマップ

率

反射

図６

法線マップ

画

像

画

撮影

分布(BRDF)

形状と反射率分布の復元結果（セラミックボトル）撮影して、3D プリンタで物体をコピーしたり、送っ

４．結論と今後の展望
本研究では、ライトフィールド画像からの物体形状たりするといった 3 次元情報の気軽な日常用途をさらと反射率分布推定手法について提案した。本手法では、に広げる。また、従来の反射率分布測定は、暗室環境自然照明環境化において、ライトフィールドカメラとなどで特殊機材を用いて時間がかかっていたのに対し全天球カメラからワンショットで得られる画像から物て、本手法では、自然環境下においてワンショットで体形状と反射率分布を測定できる。これにより、従来簡便な撮影により実現できる。このことから、フィーのステレオ法などの苦手であった金属やプラスチックルドでの反射率分布測定が可能となることから、文化などの拡散反射が仮定できない物体に適用することで、財や美術品などの計測などの人文科学的応用や工業製3 次元計測の適用範囲を広げることができる。例えば、品の質感計測など、幅広い応用に用いることができる

コピーやファックスの様にライトフィールドカメラでと期待する。

4TELECOM FRONTIER No.99 2018 SPRING

ライトフィールドカメラを用いた物体の形状と反射率推定
Shape and reflectance estimation from a light field

参考文献[1] Gustavo Patow and Xavier Pueyo. A Survey ofInverse Rendering Problems. Computer Graphics
Forum, 22(4):663–687, 2003. ISSN 01677055. doi:
10.1111/j.1467-8659.2003.00716.x.
[2] Robert J. Woodham. Photometric Method For
Determining Surface Orientation From MultipleImages. Optical Engineering, 19(1), 1980.
[3] George Vogiatzis and Roberto Cipolla. Multiview
Photometric Stereo. PAMI, 30(3):548–554, 2008.
[4]

Amael

DelaunoyandMarcPollefeys.

Photometric Bundle Adjustment for Dense
Multi-View 3D Modeling. IEEE Computer
Society Conference on Computer Vision andPattern Recognition, pages 1486–1492, 2014.
ISSN 10636919. doi: 10.1109/CVPR.2014.193.
[5] Stephen Lombardi and Ko Nishino. Reflectanceand Illumination Recovery in the Wild. IEEE
Transactions on Pattern Analysis and MachineIntelligence, 38(1):129–141, 2016. ISSN0162-8828.
doi: 10.1109/TPAMI.2015.2430318.
[6] Geoffrey Oxholm, Ko Nishino. Multiview Shapeand Reflectance from Natural Illumination.
IEEE Conf. Computer Vision and PatternRecognition, pp.2163-2170, 2014.
[7] Thanh Trung Ngo, Hajime Nagahara, Ko
Nishino, Rin-ichiro Taniguchi, Yasushi Yagi.
Reflectance and Shape Estimation with a Light
Field Camera under Natural Illumination. 28th
British Machine Vision Conference (BMVC),
2017.

この研究は、平成２６年度ＳＣＡＴ研究助成の対象として採用され、平成２７～２８年度に実施されたものです。

5TELECOM FRONTIER No.99 2018 SPRING