高自由度光源システムを用いたイメージベーストレンダリング
Image-Based Rendering with High-DoF Lighting Systems

１．研究の目的
我々の身の周りのシーンでは，様々な色（波長）の光が，様々な位置から様々な方向に飛び交っている．
このような光線で埋め尽くされた 3 次元空間は光線空間（light field）と呼ばれ，飛び交う光線のエネルギーは，位置(𝑥, 𝑦, 𝑧)，方向(𝜃, 𝜙)，波長𝜆，および，時間𝑡の7 次元の関数（plenoptic function）で記述される．散岡部 孝弘 ( Takahiro OKABE, Ph. D.)

乱や吸収の無視できる，光線のエネルギーが保存され九州工業大学 大学院情報工学研究院 知能情報工学
研究系 教授るような媒質中では，位置・方向に冗長な自由度が生(Professor, Department of Artificial Intelligence, Faculty ofComputer Science and Systems Engineering, Kyushu Instituteof Technology)

ることが知られている．本研究では，任意の光線空間じるために，位置・方向の自由度は 5 から 4 に減少すにおける物体の写実的な画像を生成する照明シミュレ

情報処理学会，電子情報通信学会，IEEE 他
受賞：電子情報通信学会論文賞 (2006 年，2008 年，2010 年)，IPSJ the50th Anniversary Best Paper Award (2010 年)，ACCV2010 Sang Uk Lee
Award (2010 年)，ProCams2006 Best Paper Award (2006 年)，画像の認識・理解シンポジウム優秀論文賞 (2004 年，2005 年，2006 年，2009 年)，
画像の認識・理解シンポジウム MIRU 優秀賞 (2018 年) 他
著書：ディジタル画像処理 [改訂新版]，画像情報教育振興協会 (2015 年) (分担執筆)，ビジュアル情報処理 [改定新版]，画像情報教育振興協会 (2017 年)(分担執筆)
研究専門分野：コンピュータビジョン，コンピュテーショナルフォトグラフ
ィーションに取り組む．
実写画像に基づく画像生成技術は，イメージベーストレンダリング（Image-Based Rendering：IBR）と呼ばれる．IBR による照明シミュレーションでは，重ね合わせの原理に基づいて，様々な照明条件で撮影された物体の実写画像を組み合わせることで，所望の照明環境における物体の画像を生成する．重ね合わせの原理とは，2 つの光源に同時に照らされた物体の画像が，各々の光源のみに照らされたときの 2 枚の画像の和に等しいことである．IBR による照明シミュレーシ

あらましョンは，大量の実写画像を必要とするものの，被写体実写画像に基づく画像生成技術は，イメージベーストの幾何学的・光学的なモデル化を介さずに，実写画像レンダリング（Image-Based Rendering：IBR）と呼の線形結合により画像を生成することから，写実性のばれる．本稿では，様々な照明条件で撮影された物体高い画像が得られるという特長がある．の実写画像を組合わせることで，重ね合わせの原理に基づいて所望の照明環境における物体の画像を生成す

２．研究の背景る，IBR による照明シミュレーションに関する研究成IBR による照明シミュレーションで生成される画像果を報告する．具体的には，多層ディスプレイ，多波の照明環境は，一般に，実写画像撮影時の照明条件の長ライトステージ，および，DLP プロジェクタの 3 つ線形結合に限られる．したがって，光線の位置・方向・の高自由度光源システムによる IBR や質感編集の実波長を制御することのできる自由度の高い光源システ

現について，その動機，着想，方法，および，結果のムを用いて画像を撮影することが望ましい．
ところが，従来の IBR による照明シミュレーション

概要を紹介する．

では，主にプロジェクタやディスプレイが光源として用いられてきた．位置・方向に関しては，前者は方向(𝜃, 𝜙)，後者は位置(𝑥, 𝑦)の 2 自由度しか持たず，また，波長に関しては，両者とも RGB の 3 バンドで分解能が低い．
そこで本研究では，多層ディスプレイ（位置・方向・1TELECOM FRONTIER No.106 2020 WINTER

高自由度光源システムを用いたイメージベーストレンダリング
Image-Based Rendering with High-DoF Lighting Systems

色の 5 自由度），多波長ライトステージ（方向・波長の撮影された画像は暗く，画質（SN 比）が悪くなる．そ3 自由度）
，および，DLP プロジェクタ（方向・色・時こで我々の提案手法では，並列化と多重化により，こ間の 4 自由度）の 3 つの高自由度光源システムによりれらの問題点を解決した．具体的には，互いに干渉し生成される光線空間による IBR を実現する．

ない光線でシーンを同時に照らすことで計測の並列化を行い，撮影する画像の枚数を削減している．また，

３．研究の方法
３．１

符号化照明（複数光線の特定の組合せ）でシーンを照多層ディスプレイを用いた IBRらして画像を撮影し，撮影後に復号化を行う，いわゆ

裸眼 3 次元ディスプレイなどの表示装置は，光線空る多重化計測により，露光時間の短縮と画質の向上を間を生成する高自由度光源システムと考えることがで図っている．単一光線で順に照明するときと，並列化・きる．

多重化光線で順に照明するときのリアプロジェクショ
ンディスプレイの投影パターンと透過型液晶の透過率パターンを図 2 に示す．

図 1．2 層ディスプレイシステム
図 1 に示す我々の 2 層ディスプレイシステムでは，プロジェクタと拡散板からなるリアプロジェクション
図 2．光線の並列化・多重化による効率的な計測

ディスプレイと透過型液晶を組み合わせることで，位置・方向の 4 自由度と色の 1 自由度を合わせた 5 自由度で光線を生成する．具体的には，プロジェクタから拡散板上の任意の位置(𝑥, 𝑦)に任意の色の光を投影し，透過型液晶上の任意の位置(𝑢, 𝑣)の透過率を 1 に，それ以外の透過率を 0 にすることで，任意の(𝑥, 𝑦)と(𝑢, 𝑣)を通過する任意の色の光線を生成することができる．
このような高自由度光源システムを用いて生成された様々な光線下におけるシーンの画像を獲得し，それらを組合わせることで，複雑な照明環境（5 自由度光線空間）における IBR を実現した[1]．

図 3．2 層ディスプレイシステムを用いた IBR

光線空間による IBR では，光源システムの自由度が高くなるにつれて，画像の撮影が困難になる．例えば，

図 3 に，透明物体，半透明物体，蛍光物体などを含我々の光源システムでは，5 自由度で光源を制御する

む 2 つのシーンに関する IBR の結果を示す．いずれのことにより様々な光線を生成することができるが，そシーンについても，複雑な照明環境における写実的なれに伴い撮影する画像の枚数が膨大になる．また，各々画像が生成されており，例えば屈折による集光も再現の光線のエネルギーが小さくなるため，単一光線下でできていることが分かる．また，水鉄砲とテニスボー
2TELECOM FRONTIER No.106 2020 WINTER

高自由度光源システムを用いたイメージベーストレンダリング
Image-Based Rendering with High-DoF Lighting Systems

ルは蛍光物体から構成されており，青色の照明で照ら方向だけでなく波長にも依存することから，独特の質したときに，照明よりも長波長の緑色，黄色，赤色の感（蛍光感）を有する．我々は，多波長ライトステー光を発する様子が再現できている．蛍光のように波長ジを用いて撮影された画像を対象とした反射・蛍光成に依存した現象を再現するためには，光線の位置・方分の分離法を提案するとともに，その照明シミュレー向だけでなく色の自由度も重要であることが分かる．

ション・質感編集への応用を実現した[3]．
反射・蛍光成分分離の従来手法では，狭帯域カメラ，多波長ライトステージを用いた IBR

つまり，カメラの分光感度が狭帯域であることを仮定

多波長ライトステージは，一般に，C 色の LED かして，各バンドの画像に独立成分分析を適用することらなるクラスタを D 方向に配置したものであり，全部で分離を行っていた．ところが，多波長ライトステー

で L（＝C×D）個の光源で構成される．光源波長（1 自ジの LED（狭帯域光源）に対しては狭帯域カメラの仮由度），および，被写体から見たときの光源方向（2 自定が成り立たない．また，狭帯域カメラを仮定した手由度）の合計 3 自由度で照明環境を制御するのが多波法は，狭帯域光源下で撮影された画像に対しては不良長ライトステージである．我々の開発した Kyutech

設定問題になる．

３．２

Light Stage I（KLS-I）[2]は 9（=C）色×32（=D）方

そこで我々は，LED などの狭帯域光源を仮定した手向の計 288（＝L）個の光源，Kyutech Light Stage II法を提案した．一般に，ある光源下において，蛍光物（KLS-II）は 16 色×128 方向の計 2048 個の光源で構

体表面上のある点で観察される画素値は，反射成分と成されている（図 4）．

蛍光成分の和で表現される．したがって，RGB 色空間において，画素の色，反射成分の色，および，蛍光成分の色は同一平面上に存在する．反射成分の色が光源色に等しいのに対して，蛍光成分の色が光源色に不変であるため，分光強度の異なる光源下で撮影された最少で 2 枚の画像から，図 5 に示すように，RGB 色空間における 2 平面の交線として，画素ごとの蛍光色を推定できる．さらに，蛍光色に関する事前知識を活用して，MAP 推定の枠組みで，最少で 1 枚の画像から反射成分と蛍光成分を分離する手法を提案した．

図 4．多波長ライトステージ：Kyutech Light Stage I（左）と Kyutech Light Stage II（右）これらの多波長ライトステージで用いられている
LED は狭帯域のものが多く，それぞれ 8bit（KLS-I）
および 10bit（KLS-II）でその明るさを制御することができる．
図 5．光源色に不変な蛍光色の推定

拡散反射や鏡面反射などの反射成分の波長が入射光の波長に等しいのに対して，特定の波長の光を吸収してそれよりも長い波長の光を放出する現象は蛍光と呼ばれる．蛍光は植物・鉱物などの自然物や衣服・紙などの人工物で観察されるありふれたものである．蛍光を生じる物体は，その光学的特性が入射光と反射光の3

TELECOM FRONTIER No.106 2020 WINTER

高自由度光源システムを用いたイメージベーストレンダリング
Image-Based Rendering with High-DoF Lighting Systems軸）．さらに，各バンドを異なる重みで混合してカラー画像を生成することで，照明色を変えたときの写実的な画像を生成することもできる．
３．３

DLP プロジェクタを用いた IBR

様々な色の光線を様々な方向に投影するプロジェク
タは，色（1 自由度）と投影中心から見た方向（2 自由度）の合計 3 自由度で照明環境を制御するものである．
その中でも DLP プロジェクタは，高速で回転するカラーホイールを用いて，白色光から 3 原色の光を生成するとともに，それらを時分割で混合することにより，様々な色の光を作り出している．また，DMD（DigitalMirror Device）を用いた時間的ディザリングにより，明るさの諧調を作り出している．したがって，DLP プロジェクタは，照明環境を高速に切り替えることのできる光源装置であると考えられる．

図 7．DLP プロジェクタによる照明環境の高速な切替
DLP プロジェクタによる照明の色と明るさの高速変動は，高速度カメラを用いて捉えることができる（図7）．このような高速な照明変動がシーンに与える影響を調べることで，動的シーンの成分分離が可能になる．
時間的ディザリングによる明るさの高速変動は，表面下散乱や相互反射などの大域成分が低周波成分である
図 6．(a)(b)反射・蛍光成分の分離結果，および，(c)そことに基づいた，高周波パターン光の投影による動的の照明シミュレーション・質感編集への応用

シーンの直接成分と大域成分の分離に用いられている．
また，カラーホイールによる色の高速変動は，静的シ蛍光を含む水鉄砲と消しゴムを対象とした分離結果

ーンにおける光源色ごとの直接成分と大域成分の分離を図 6(a)(b)に示す．提案手法（MAP）が従来手法（ICA）に用いられている．

よりもうまく働いていることが分かる．また，光源色我々は，明るさと色の両方の高速変動を活用するこに依存するものの，提案手法（MAP single）により，とで，動的シーンにおける光源色ごとの直接・大域成1 枚の画像から分離できることも分かる．図 6(c)に照分の分離法を提案するとともに，その照明シミュレー

明シミュレーションと質感編集への応用結果を示す．

ション・質感編集への応用を実現した[4]．提案手法は，各バンドの反射成分と蛍光成分を異なる重みで混合す

上記の 2 つの従来手法を組合わせただけでなく，参照ることで，蛍光成分の強さを変えることができる（縦物体を用いるとともに画素値の整合性を手掛かりにす
4TELECOM FRONTIER No.106 2020 WINTER

高自由度光源システムを用いたイメージベーストレンダリング
Image-Based Rendering with High-DoF Lighting Systems

ることで，カメラとプロジェクタの時間同期もカメラ画素とプロジェクタ画素の対応付けも不要であるという特長がある．また，分離を頑健に行うために，画素値に含まれるノイズの伝搬解析に基づいて，投影パターンを最適化している．

図 9．(a)照明シミュレーション，および，(b)(c)質感
図 8．光源色ごとの直接・大域成分の分離編集への応用結果

図 8 に，木製球，プラスチック製コップ，蛍光スラ４．将来展望

イム，ろうの入った瓶などからなるシーンの分離結果

本稿では，高自由度光源システムを用いた IBR に焦を示す．球の表面で観察される拡散反射成分やコップ点を当てて，我々の取り組んだ研究事例を紹介した．の表面で観察される鏡面反射成分が直接成分に，スラ

高自由度光源システムは，制御可能な照明を前提としイムやろうで観察される表面下散乱成分が大域成分にて，新たな画像処理を行ったり，画像処理アルゴリズ含まれていることが分かる．また，光源色ごとに直接・ム全体を再設計したりする，コンピュテーショナルイ

大域成分を分離していることから，光源色を変えたとルミネーション（Computational Illumination）に有きの照明シミュレーションが可能である（図 9(a)）．さ

用である．高自由度光源システムの他の応用として，らに，直接成分と大域成分の比を変えたり，蛍光（原物体の幾何学的・光学的モデリング[5]や物体認識[6]へ

動画では照明が青色のときに黄色で発光）の色を変えの展開が期待される．

たりする質感編集も可能である（図 9(b)(c)）．

本稿では，光線の自由度のうち，位置・方向・波長・時間の最大で 7 自由度を扱ったが，偏光の自由度を考慮していなかった．物体表面における偏光の反射率は屈折率や法線に依存すること，および，偏光を手掛かりとして拡散反射成分と鏡面反射成分を分離できることから，偏光の自由度を組み込んだ高自由度光源シス
テム，および，その応用への展開も期待される．
5TELECOM FRONTIER No.106 2020 WINTER

高自由度光源システムを用いたイメージベーストレンダリング
Image-Based Rendering with High-DoF Lighting Systems

この研究は、平成２７年度ＳＣＡＴ研究助成の対象とおわりにして採用され、平成２８～３０年度に実施されたもの

本稿では，多層ディスプレイ，多波長ライトステーです。

ジ，および，DLP プロジェクタの 3 つの高自由度光源システムを用いた IBR などに関する我々の研究成果を報告した．高自由度光源システムを用いたコンピュテーショナルイルミネーションや，その偏光を組み込んだ拡張が期待される．
用語解説なし参考文献[1] S. Oya and T. Okabe, “Image-based relightingwith 5-D incident light fields”, In Proc. CPCV
2017, 2017.
[2] N. Kobayashi and T. Okabe, “Separatingreflection

components

inimages

undermultispectral and multidirectional light sources”,
In Proc. ICPR2016, pp.3210-3215, 2016.
[3] K. Koyamatsu, D. Hidaka, T. Okabe, and H.
Lensch, “Reflective and fluorescent separation
under narrow-band illumination”, In Proc. IEEE
CVPR2019, pp.7577-7585, 2019.
[4] M. Torii, T. Okabe, and T. Amano, “Multispectral
direct-global separation of dynamic scenes", InProc. IEEE WACV 2019, pp.1923-1931, 2019.
[5] M. Kitahara, T. Okabe, C. Fuchs, and H. Lensch,“Simultaneous estimation of spectral reflectanceand normal from a small number of images. In
Proc. VISAPP 2015, pp.303-313, 2015.
[6] C. Wang and T. Okabe, “Joint optimization ofcoded illumination and grayscale conversion for
one-shot raw material classification”, In Proc.
BMVC 2017, 2017.
関連文献
なし

6TELECOM FRONTIER No.106 2020 WINTER