FIT2019（第 18 回情報科学技術フォーラム）H-030

フリッカに基づく固有画像分解とその色補正への応用
大屋 瑠璃 †
松岡 諒 ‡
岡部 孝弘 ‡
† 九州工業大学大学院情報工学府先端情報工学専攻‡ 九州工業大学大学院情報工学研究院知能情報工学研究系

1

はじめに我々の身の回りにある光源は交流電源により動作しているため，その明るさが振動している．このフリッカは一般には肉眼で捉えることができないが，交流電源で動作する光源に照らされているシーンを高速度カメラなどを用いて短時間露光で撮影すると，確認することができる [3]．
このようなフリッカに基づく画像解析として，Sheinin
ら [1] は，複数の光源に照らされたシーンの画像を各々の光源のみに照らされた画像に分解する光源分離に取り組んでいる．また，交流電源に同期した符号化露光カメラ，および，様々な光源の強度変化パターンのデータセットを用いることで，低照度シーンにおいても光源分離が可能であることを示している．
これに対して本稿では，受動的な明るさの振動に基づいて固有画像分解（intrinsic image decomposition）

2

関連研究

2.1

明るさの振動に基づく画像解析

Sheinin ら [1] は明るさの振動を頑健に捉えることのできる特殊な自作のカメラや，画像解析のためにそれぞれの光源の光源色や振動パターンをまとめたデータベースを作成して，交流電源による明るさの振動に基づく画像解析を行った．しかし，この手法ではデータベースにより観測データを尤も説明する強度変動パターンを選択するため未知の光源などが存在するシーンには対応できない．
本研究では，交流電源に基づく輝度の振動のみを手掛かりに，上述した事前知識を用いない，光源分離手法を提案した．それにより，未知の光源を含むシーンにおいても光源分離を可能とする．さらに，光源分離のみならず，その固有画像分解と色補正への応用を実現した．

[5][6] を行う手法を提案する．提案手法では，高速度カメラを用いて撮影した動画像を，重ね合わせの原理に基2.2

固有画像分解づいて光源分離したのち，輝度が光源色，反射率，照度の 3 つの積で表現されることに基づいて，固有画像分解，固有画像分解 [5][6] とは，撮影画像から反射率画像とつまり，反射率画像，光源ごとの照度画像・光源色の推照度画像を推定する問題である．反射率画像は領域分割定を行う．に，照度画像は陰影に基づく形状復元に有用である [5]．

具体的には，光源強度も各々の光源のみに照らされた

しかし，単一画像を用いる場合, 一つの方程式に対して画像の画素値も非負であることから，非負値行列因子分二つの未知変数をもつ不良設定問題となるため, 固有画解（Non-negative Matrix Factorization: NMF）[2] を像分解を解析的に求めることができない.

用いて光源分離を行う．また，各々の光源のみに照らさ本研究では，分解された基底画像が別光源で照らされれた基底画像が光源色，反射率画像，照度画像の積によた同一シーンの画像であることから，各々の光源のみにり記述されることから，光源色と反射率の間の不定性を照らされた画像間で反射率が共通かつ各分離画像で光源残して，固有画像分解を解析的に行う．さらに，これら色が共通であることと，光源分離画像が光源色と反射率の推定結果を初期値として非線形最適化を行い，固有画と照度の積で表現されることに注目することで，反射率像分解を改善する．実画像を用いた実験を行い，提案手と光源色の間に不定性を残すものの，良設定問題として法がシーン（反射率・照度）や光源（色・強度）の理解だ

固有画像分解を解析的に求められることを示した．

けでなく，色補正への応用にも有効であることを示す．

163
第 3 分冊Copyright © 2019 by Information Processing Society of Japan andThe Institute of Electronics, Information and Communication Engineers
All rights reserved.

FIT2019（第 18 回情報科学技術フォーラム）複数光源下シーンの色補正

2.3

式 (1) は，行列を用いて，複数の光源で照らされているシーンは，我々の身近にI = BA

(2)

多く存在する．例えば，室内灯で照らされた屋内に外光が差し込んでいるような場合などが挙げられる．しかし， のように表現することができる．ここで，I は入力画像
このような複数光源環境では，一般に，光源色が複数存 を並べた 3P × T の行列，B は基底画像を並べた 3P × N在し，また，それらの混合比率が画素ごとに異なるため， の行列，A は光源強度を並べた N × T の行列である．したがって，光源分離は，入力画像を並べた行列を基底画色補正が困難であることが知られている [4]．
本研究では，2.2 節で述べた固有画像分解の応用とし像と光源強度に分解する問題に帰着する．なお，光源数て，複数光源環境における色補正手法を提案する．具体

N は入力画像を並べた行列 I のランクに等しい1 ．4 節

的には，固有画像分解により得られる各基底画像の（相の実験では，行列 I の特異値の 2 乗に基づいて，光源数対的な）光源色を用いて，基底画像の光源色を揃えたのN を決定した．具体的には，(n+1) 番目の特異値の 2 乗

ち，それらを組み合わせて単一光源色の画像を再構成

22と n 番目の特異値の 2 乗 σn2 の比 σn+1/σn2 が最小σn+1

する．その後，既存の単一の光源色を仮定した色補正法となる n を光源数 N とした．

を適用することで，複数光源環境における色補正を実現

一般に，式の数が未知数の数よりも大きいとき，すな
わち，(3P × T ) ≥ (3P × N + N × T ) のときに光源分する．

離が可能である．例えば，画素数 P が十分に大きいときは，T > N であれば良い．提案手法では，基底画像

3

提案手法

3.1

概要の画素値も光源強度も非負であることから，NMF を用いて光源分離を行う．具体的には，

min1{B,A} 2

本節では，まず，高速度カメラなどを用いて短時間露||I − BA||2F(3)

光で撮影した動画像を入力として，重ね合わせの原理にの最適化により基底画像と光源強度に分解する．ここで基づいて光源分離を行う方法を述べる．次に，輝度が光行列 B と A の要素は全て非負値とする．なお，基底画源色，反射率，照度の 3 つの積で表現されることに基づ像と光源強度の間には，スケールの不定性があるため，いて，固有画像分解を解析的に行い，その後，光源分離

行列 A の各行の要素の和が 1 になるようにスケールを定と固有画像分解の結果を初期値として非線形最適化を行める．また，BA = BU −1 U A であることから，BU −1うことで結果を改善する方法を述べる．また，複数光源と U A の全要素を非負に保つ N × N の正則な行列 U
下の固有画像分解の色補正への応用についても述べる． で表現される不定性もある．

3.2

光源分離

3.3

固有画像分解複数の光源に照らされたシーンの画像は，各々の光源の基底画像の画素値 bpcn は，n 番目の光源の色 lnc ，p
みに照らされた画像（基底画像）の凸結合で表現される． 番目の画素の反射率 r ，および，n 番目の光源下におpc

具体的には，時刻 t（t = 1, 2, 3, ..., T ）の画像において， ける p 番目の画素の照度 snp を用いて，p 番目（p = 1, 2, 3, ..., P ）の画素の c 番目（c = 1, 2, 3）のチャネルの画素値 ipct は，

ipct =N∑

bpcn = lnc rpc snpのように表すことができる．光源色・反射率・照度の間にbpcn ant(1)

n=1のように記述できる．ここで，N は基底画像（光源）の数，bpcn は n 番目（n = 1, 2, 3, ..., N ）の基底画像の p番目の画素の c 番目のチャネル（c = 1, 2, 3）の画素値，ant は n 番目の基底画像（光源）の時刻 t における結合係数（強度）である．

(4)はスケールの不定性があることから，ln1 + ln2 + ln3 = 1，ならびに，rp1 + rp2 + rp3 = 1 を満たすようにスケールを定める2 ．また，光源色と反射率の間にも不定性があることから，n = 1 の光源の色を l11 = l12 = l13 = 1/3に固定する（これにより反射率と 2 番目以降の光源色が1 強度変化パタンの等しい複数の光源は，一つの光源とみなされる．

これらの光源色が同一であれば，以降の議論は一般性を失わない．また，基底画像は線形独立であると仮定する．
2 これらの正規化により，照度のスケールも影響を受ける．

164
第 3 分冊Copyright © 2019 by Information Processing Society of Japan andThe Institute of Electronics, Information and Communication Engineers
All rights reserved.

FIT2019（第 18 回情報科学技術フォーラム）影響を受ける）．色が既知の光源，もしくは，反射率がられたシーンでは，一般に上記の仮定が成り立たないた

既知の画素が 1 つでもあれば，この不定性を解決するこめ，従来手法による色補正が困難である．そこで，提案とができる．

手法では，3.3 節で求めた反射率，照度，光源強度の情

一般に，式の数が未知数の数よりも大きいとき，すな報を用いて，光源色が非一様なシーンの色補正を行う．

わち，3P N ≥ (3N + 3P + P N ) のときに，固有画像分具体的には，求めた反射率，照度，光源強度の情報を用解が可能である．例えば，画素数 P が十分に大きいといて固定した 1 番目の光源の色に，2 番目以降の光源できは，N ≥ 2 であれば良い．式 (4) から，各画素の反射照らされたシーンの光源色を合わせる．それにより，複率は数光源下シーンを疑似的に単一色の複数光源で照らされbpcnrpc ∝
lnc

(5)

bpcn
rpc

(6)

用することができる．のように，光源色はlnc ∝たシーンとして扱うことができ，従来の色補正手法を適実験

4のように与えられる．1 番目の光源の色を固定すると，実験ではフォトロン製の高速度カメラ FASTCAM

式 (5) から各画素の反射率を求めることができる．各画

Mini UX50 を用い，フレームレートを 2500fps，露光素の反射率が分かると，式 (6) から 2 番目以降の光源の時間を 0.4ms に設定し，LED 光源と白熱灯光源を用い色を求めることができる．て複数の光源に照らされている静止シーンの撮影を行った．また，西日本で実験を行ったため，交流の周波数は3.460Hz と仮定している．

非線形最適化3.2 節では基底画像と光源強度を，3.3 節では基底画像を元に光源色・反射率・照度を逐次的に推定している． 4.1
ここでは，これらの推定結果を初期値として，次式で定義される非線形最適化により，光源色・反射率・照度・光源強度を改善する．

min{lnc ,rpc ,snp ,ant }∑光源分離

本節では，白熱灯と LED 照明の 2 光源で照らされたシーンの光源分離実験を行った．具体的には，前述したシーンにおいて 100 枚画像 (動画像) を撮影し，提案手|ipct −p,c,tN∑

lnc rpc snp ant |2法を適用することで LED 光源のみでてらされる画像と

(7)

n=1

白熱灯光源のみで照らされる画像へ分離した．
図 1 に，(a) 単一光源のみで照らされたシーンを撮影

これは，3.2 節で述べたように，複数の光源に照らされした真値画像，(b) 入力画像，(c) 光源分離の結果を示たシーンの画像が基底画像の凸結合で表現されるだけです．また，(b) については入力とした 100 枚のうち時間なく，3.3 節で述べたように，基底画像が光源色，反射t で並べた場合の最初の 3 枚を示している．図 1(a)-(c)率，照度の積で表現されることも考慮して，光源分離をより，光源色や球の影などはそれぞれの光源で照らした行っているとみなすこともできる．これにより，3.2 節場合に出る正しいものが出力されており，おおむね真値で述べた正則な行列 U で表現される不定性が解決するに近いといえる．

ことが期待される．
なお，4 節の実験では，非線形最適化の計算時間，メモリのコストの問題から，3.4 節の非線形最適化は一部の画素のみに対して行った．その後，非線形最適化により得られた光源強度を元に基底画像を再計算するとともに，非線形最適化で得られた光源色を用いて，3.3 節に従って固有画像分解を行った．

4.2

固有画像分解前節の実験で求めた 100 枚の光源分離画像を用いて，固有画像分解実験を行った．図 1 の (d) は光源分離画像から推定した固有画像を示しており，左から白熱灯光源のみで照らされたシーンの照度画像，LED 光源のみで照らされたシーンの照度画像，推定した反射率画像で3.5ある．図 1(d) より，反射率画像におけるシーン中の紙色補正への応用

コップの模様や，照度画像における石膏像の複雑な陰影
従来の多くの色補正手法は，シーンを照らす光源の色などが，正しく表現されていることから，定性的におおが単一であると仮定している [7]．よって，複数光源に照165
第 3 分冊Copyright © 2019 by Information Processing Society of Japan and
The Institute of Electronics, Information and Communication Engineers
All rights reserved.

FIT2019（第 18 回情報科学技術フォーラム）図 2: (a) 入力画像，(b) 入力画像の色補正結果，(c) 光源
図 1: (a) 真値，(b) 入力画像の一部，(c) 光源分離画像， 色を統一した再構成画像，(d) 再構成画像の色補正結果(d) 推定固有画像
推定した光源分離画像から固有画像を推定する手法と，むね正しく求められていることが分かる．ここで，反射それを応用したシーンの色補正手法を提案した．白熱灯

率画像が全体的に青みがかっているのは，式 (4) におい

光源と LED 光源の 2 つの光源が存在するシーンを撮影て固有画像分解を行う際に LED 光源シーンの光源色をした実画像実験により，提案手法の有効性を確認した．

l11 = l12 = l13 = 1/3 に固定したためである．

鏡面反射などの考慮については今後の課題である．
謝辞 本研究の一部は，JSPS 科研費 JP17H01766 およ4.3

び JP18H05011 の助成を受けた．

色補正

4.2 節で求めた固有画像を用いて，白熱灯光源のみで照らされている画像の光源色の RGB 値を，LED 光源色の RGB 比率と同一になるように補正した. その後，それらの画像から再構成した疑似的な単一色の複数光源で照らされたシーンに対して従来手法 [7] を適用し色補正を行った．図 2 に，(a) 入力画像，(b) 入力画像 (a) に従来手法 [7] を直接適用した結果，(c) 提案手法により再構成した (光源色を合わせた) 画像，(d) 再構成画像 (c) に従来手法 [7] を適用した結果を示す．
図 2 より，単一光源色を仮定する従来の色補正手法 [7]では，非一様な光源色の影響が残っている．一方，提案手法では，非一様な光源色の影響を補正できていることがわかる．

5

参考文献[1] M. Sheinin, Y. Schechner, and K. Kutulakos, “Computational imaging on the electric grid”, In Proc. IEEE
CVPR2017, pp.6437–6446, 2017.
[2] M. Berry, M. Browne, A. Langville, V. Pauca, andR. Plemmons, “Algorithms and applications for approximate nonnegative matrix factorization”, Computational Statistics & Data Analysis, 52(1), pp.155–173,
2007.
[3] M. Vollmer and K. Moellmann, “Flickering lamps”,
European Journal of Physics, 36(3), 035027, 2015.
[4] E. Hsu, T. Mertens, S. Paris, S. Avidan, and F. Durand, “Light mixture estimation for spatially varying
white balance”, In Proc. ACM SIGGRAPH, Article
No.70, 2008.
[5] M. Tappen, W. Freeman, and E. Adelson, “Recovering
intrinsic images from a single image”, In Advances inNeural Information Processing System, pp.1343-1350,
2003.

むすび
本稿では，交流電源で動作する光源のフリッカによるシーンの明るさの振動を捉えた動画像を重ね合わせの原理に基づいて分離する光源分離手法を提案した．加えて，[6] Y. Weiss, “Deriving intrinsic images from image sequences”, In Proc. IEEE ICCV2001, pp. 68-75, 2001.
[7] G. Buchsbaum, “A spatial processor model for object
colour perception”, Journal of the Franklin Institute,vol. 310, 1980.

166
第 3 分冊Copyright © 2019 by Information Processing Society of Japan and
The Institute of Electronics, Information and Communication Engineers
All rights reserved.