1　はじめに
我々の身の回りにある光源は交流電源により動作しているため，その明るさが振動している．このフリッカは一般には肉眼で捉えることができないが，交流電源で動作する光源に照らされているシーンを高速度カメラなどを用いて短時間露光で撮影すると，確認することができる[3].このようなフリッカに基づく画像解析として，Sheininら[1]は，複数の光源に照らされたシーンの画像を各々の光源のみに照らされた画像に分解する光源分離に取り組んでいる。また，交流電源に同期した符号化露光カメラ,および，様々な光源の強度変化パターンのデータセットを用いることで，低照度シーンにおいても光源分離が可能であることを示している.これに対して本稿では，受動的な明るさの振動に基づいて固有画像分解（intrinsic image decomposition） [5][6]を行う手法を提案する．提案手法では，高速度カメラを用いて撮影した動画像を，重ね合わせの原理に基づいて光源分離したのち，輝度が光源色，反射率，照度の３つの積で表現されることに基づいて，固有画像分解，つまり，反射率画像，光源ごとの照度画像・光源色の推定を行う.具体的には，光源強度も各々の光源のみに照らされた画像の画素値も非負であることから，非負値行列因子分解(Non-negative Matrix Factorization: NMF) [2]を用いて光源分離を行う。また，各々の光源のみに照らされた基底画像が光源色，反射率画像，照度画像の積により記述されることから，光源色と反射率の間の不定性を残して，固有画像分解を解析的に行う．さらに，これらの推定結果を初期値として非線形最適化を行い，固有画像分解を改善する．実画像を用いた実験を行い，提案手法がシーン（反射率・照度）や光源（色・強度）の理解だけでなく，色補正への応用にも有効であることを示す.
関連研究
2
明るさの振動に基づく画像解析
2.1
Sheininら[1]は明るさの振動を頑健に捉えることのできる特殊な自作のカメラや，画像解析のためにそれぞれの光源の光源色や振動パターンをまとめたデータベースを作成して，交流電源による明るさの振動に基づく画像解析を行った．しかし，この手法ではデータベースにより観測データを尤も説明する強度変動パターンを選択するため未知の光源などが存在するシーンには対応できない.本研究では，交流電源に基づく輝度の振動のみを手掛かりに，上述した事前知識を用いない，光源分離手法を提案した．それにより，未知の光源を含むシーンにおいても光源分離を可能とする．さらに，光源分離のみならず，その固有画像分解と色補正への応用を実現した．
2.2 固有画像分解
固有画像分解[5][6]とは，撮影画像から反射率画像と照度画像を推定する問題である．反射率画像は領域分割に，照度画像は陰影に基づく形状復元に有用である[5].しかし，単一画像を用いる場合，一つの方程式に対して二つの未知変数をもつ不良設定問題となるため、固有画像分解を解析的に求めることができない.本研究では，分解された基底画像が別光源で照らされた同一シーンの画像であることから，各々の光源のみに照らされた画像問で反射率が共通かつ各分離画像で光源色が共通であることと，光源分離画像が光源色と反射率と照度の積で表現されることに注目することで，反射率と光源色の間に不定性を残すものの，良設定問題として固有画像分解を解析的に求められることを示した.
2.3 複数光源下シーンの色補正
式(1)は，行列を用いて，複数の光源で照らされているシーンは，我々の身近にI = BA (2)多く存在する．例えば，室内灯で照らされた屋内に外光のように表現することができる．ここで，Iは入力画像が差し込んでいるような場合などが挙げられる．しかし，を並べた3P × Tの行列，Bは基底画像を並べた3P × Nこのような複数光源環境では，一般に，光源色が複数存の行列，Aは光源強度を並べたN × Tの行列である．し在し，また，それらの混合比率が画素ごとに異なるため，たがって，光源分離は，入力画像を並べた行列を基底画色補正が困難であることが知られている[4].像と光源強度に分解する問題に帰着する．なお，光源数本研究では，2.2節で述べた固有画像分解の応用として，複数光源環境における色補正手法を提案する．具体　Nは入力画像を並べた行列Iのランクに等しい¹．4節の実験では，行列Ｉの特異値の２乗に基づいて，光源数的には，固有画像分解により得られる各基底画像の（相Nを決定した．具体的には， (n+1)番目の特異値の2乗対的な）光源色を用いて，基底画像の光源色を揃えたのσ n +1とn番目の特異値の2乗σ nの比σ n +1/σ nが最小ち，それらを組み合わせて単一光源色の画像を再構成となるnを光源数Nとした.する．その後，既存の単一の光源色を仮定した色補正法一般に，式の数が未知数の数よりも大きいとき，すなを適用することで，複数光源環境における色補正を実現わち，(3P × T) ≥ (3P × N + N × T)のときに光源分する.
3 提案手法
3.1 概要
本節では，まず，高速度カメラなどを用いて短時間露光で撮影した動画像を入力として，重ね合わせの原理に基づいて光源分離を行う方法を述べる．次に，輝度が光源色，反射率，照度の３つの積で表現されることに基づいて，固有画像分解を解析的に行い，その後，光源分離と固有画像分解の結果を初期値として非線形最適化を行うことで結果を改善する方法を述べる．また，複数光源下の固有画像分解の色補正への応用についても述べる.
3.2 光源分離

のように記述できる．ここで，Nは基底画像（光源）の数, bpcnはn番目 (n = 1,2,3,..., N )の基底面像のp番目の画素のc番目のチャネル（c = 1,2,3）の画素値, antはn番目の基底画像（光源）の時刻tにおける結合係数（強度）である.離が可能である．例えば，画素数Pが十分に大きいときは，T > Nであれば良い．提案手法では，基底画像の画素値も光源強度も非負であることから，NMFを用いて光源分離を行う。具体的には,
の最適化により基底画像と光源強度に分解する．ここで行列BとAの要素は全て非負値とする．なお，基底画像と光源強度の間には，スケールの不定性があるため，行列Aの各行の要素の和が1になるようにスケールを定める．また，BA = BU-1UAであることから，BU-1とU Aの全要素を非負に保つN × Nの正則な行列Uで表現される不定性もある.
3.3 固有画像分解
複数の光源に照らされたシーンの画像は，各々の光源の基底画像の画素値bpcnは，n番目の光源の色lnc,  pみに照らされた画像（基底画像）の凸結合で表現される．番目の画素の反射率r pc ，および，n番目の光源下にお具体的には，時刻t（t = 1, 2, 3, ..., T）の画像において，けるｐ番目の画素の照度s npを用いて， p番目（p = 1, 2, 3, ..., P）の画素のc番目（c = 1, 2, 3)のチャネルの画素値i pctは,のように表すことができる．光源色・反射率・照度の間にはスケールの不定性があることから，l n 1 +l n 2 +l n 3 = 1,ならびに， r p 1 + r p 2 + r p 3 = 1を満たすようにスケールを定める².また，光源色と反射率の間にも不定性があることから，n = 1の光源の色をl 1 = l 12 = l 13 = 1/3に固定する（これにより反射率と2番目以降の光源色が影響を受ける）.色が既知の光源，もしくは，反射率が　られたシーンでは，一般に上記の仮定が成り立たないた既知の画素が１つでもあれば，この不定性を解決するこめ，従来手法による色補正が困難である．そこで，提案とができる.手法では，3.3節で求めた反射率，照度，光源強度の情報を用いて，光源色が非一様なシーンの色補正を行う.一般に，式の数が未知数の数よりも大きいとき，すなわち，3PN > (3N + 3P + PN)のときに，固有画像分具体的には，求めた反射率，照度，光源強度の情報を用いて固定した1番目の光源の色に，2番目以降の光源で解が可能である．例えば，画素数Pが十分に大きいときは，Ｎ ≥ 2であれば良い．式(4)から，各画素の反射照らされたシーンの光源色を合わせる.それにより,複数光源下シーンを疑似的に単一色の複数光源で照らされ本は(5)　たシーンとして扱うことができ，従来の色補正手法を適用することができる.
実験
4
実験ではフォトロン製の高速度カメラFASTCAM Mini UX50を用い，フレームレートを2500fps，露光時間を0.4msに設定し，LED光源と白熱灯光源を用いて複数の光源に照らされている静止シーンの撮影を行った．また，西日本で実験を行ったため，交流の周波数は60Hzと仮定している.
4.1 光源分離
本節では，白熱灯とLED照明の2光源で照らされたシーンの光源分離実験を行った．具体的には，前述したシーンにおいて100枚画像(動画像)を撮影し，提案手法を適用することでLED光源のみでてらされる画像と白熱灯光源のみで照らされる画像へ分離した.図1に，(a)単一光源のみで照らされたシーンを撮影した真偵画像，(b)入力画像，(c)光源分離の結果を示す.また，(b)については入力とした100枚のうち時間tで並べた場合の最初の3枚を示している．図1(a)-(c)より，光源色や球の影などはそれぞれの光源で照らした場合に出る正しいものが出力されており，おおむね真値に近いといえる.
4.2 固有画像分解
前節の実験で求めた100枚の光源分離画像を用いて,固有画像分解実験を行った．図１の(d)は光源分離画像から推定した固有画像を示しており，左から白熱灯光源のみで照らされたシーンの照度画像，LED光源のみで照らされたシーンの照度画像，推定した反射率画像である.図1(d)より，反射率画像におけるシーン中の紙コップの模様や，照度画像における石膏像の複雑な陰影などが，正しく表現されていることから，定性的におお

(6)
のように与えられる．１番目の光源の色を固定すると，式(5)から各画素の反射率を求めることができる．各画素の反射率が分かると，式(6)から2番目以降の光源の色を求めることができる.
3.4 非線形最適化
3.2節では基底画像と光源強度を，3.3節では基底画像を元に光源色・反射率・照度を逐次的に推定している.ここでは，これらの推定結果を初期値として，次式で定義される非線形最適化により，光源色・反射率・照度・光源強度を改善する.
これは，3.2節で述べたように，複数の光源に照らされたシーンの画像が基底画像の凸結合で表現されるだけでなく，3.3節で述べたように，基底画像が光源色，反射率，照度の積で表現されることも考慮して，光源分離を行っているとみなすこともできる．これにより，3.2節で述べた正則な行列Uで表現される不定性が解決することが期待される.なお，4節の実験では，非線形最適化の計算時間，メモリのコストの問題から，3.4節の非線形最適化は一部の画素のみに対して行った．その後，非線形最適化により得られた光源強度を元に基底画像を再計算するとともに，非線形最適化で得られた光源色を用いて，3.3節に従って固有画像分解を行った.
3.5 色補正への応用
従来の多くの色補正手法は，シーンを照らす光源の色が単一であると仮定している[7]. よって，複数光源に照むね正しく求められていることが分かる．ここで，反射率画像が全体的に青みがかっているのは，式(4)において固有画像分解を行う際にLED光源シーンの光源色をl 11 = l 12 = l 13 = 1/3に固定したためである.
4.3 色補正
4.2節で求めた固有画像を用いて，白熱灯光源のみで照らされている画像の光源色のRGB値を，LED光源色のRGB比率と同一になるように補正した.その後，それらの画像から再構成した疑似的な単一色の複数光源で照らされたシーンに対して従来手法[7]を適用し色補正を行った．図2に， (a)入力画像， (b)入力画像(a)に従来手法[7]を直接適用した結果，(c)提案手法により再機成した(光源色を合わせた)画像，(d)再構成画像(c)に従来手法[7]を適用した結果を示す.図2より，単一光源色を仮定する従来の色補正手法[7]では，非一様な光源色の影響が残っている．一方，提案手法では，非一様な光源色の影響を補正できていることがわかる.
5
むすび
本稿では，交流電源で動作する光源のフリッカによるシーンの明るさの振動を捉えた動画像を重ね合わせの原理に基づいて分離する光源分離手法を提案した．加えて，推定した光源分離画像から固有画像を推定する手法と,それを応用したシーンの色補正手法を提案した．白熱灯光源とLED光源の2つの光源が存在するシーンを撮影した実画像実験により，提案手法の有効性を確認した．鏡面反射などの考慮については今後の課題である.謝辞本研究の一部は，JSPS科研費JP17H01766およびJP18H05011の助成を受けた.