最近の技術から画像情報に基づく質感表現・認知研究の最前線

画像情報を用いた物体表面の特性計測― 蛍光成分と物体反射成分の分離 ―
佐 藤

いまり

Spectral Modeling of Reflective-Fluorescent Scenes
Imari SATO
Hyperspectral reﬂectance data allows for highly accurate spectral relighting under arbitrary illumination.
Most of past methods for capturing the spectral reﬂectance of scenes have been proven successfully in
relighting but they all share a common assumption. All the methods do not consider ﬂuorescent e›ects
which are present in daily commodities ranging from paper, to clothing, to even our food. Furthermore,
everyday ﬂuorescent items exhibit a mix of reﬂectance and ﬂuorescence. So, proper separation of thesecomponents is necessary for analyzing them. In this paper, I introduce some methods based on wellestablished theories of reﬂectance and ﬂuorescence for imaging each of these components.
Key words: spectral imaging, reﬂectance analysis, reﬂective-ﬂuorescent components

物体表面の色や明るさは照明条件により大きく変化する

1.

照明色変化と蛍光物質ことが知られている．これに対し，色恒常性の研究分野で蛍光発光の特徴については，量子論を通して明らかにさは，照明の影響を除去し，物体色を推定するためのさまざれてきている2）．蛍光物体の分子が光エネルギーを吸収すまなアルゴリズムが提案されてきた．しかしながら，物体ると，励起状態とよばれる不安定な状態になり，再び基底の見えや色の推定に関わるコンピュータビジョン技術の多状態に戻る際に光を放出する．蛍光物質ごとに吸収する波

くは，対象となる物体表面が反射成分のみにより構成され長や放出する光の分光分布は異なり，蛍光物質の特性は，ることを仮定している．すなわち，物体表面の色は，照明どの波長の光をどれだけ吸収するかを示す「励起関数」と光の分光分布（どの波長の光を多く含むかを示す）と物体蛍光物体固有の蛍光発光の分光特性を表す「蛍光関数」に表面の分光反射率（入射光の各波長に対する反射の割合をより表現される．先に述べたように，蛍光物質は吸収光の示す）の積として考慮される．一方，私たちの身の回りに波長よりも長波長側の光を放出し，光源の分光分布にかか目を向けてみると，例えば鉱物や植物など，反射成分のみわらず，出力される蛍光発光の分光分布は一定のパターンならず蛍光成分を含む物体が多数存在する（図 1）．従来研を示すことが知られている．対象物体が通常の反射成分の究は，無作為に選んだ物体の 20％ に蛍光成分が含まれてみより構成される場合，物体表面で観察される色は，照明1）いたということを報告した ．蛍光は吸収光の波長よりも光の分光分布と物体表面の分光反射率（入射光の各波長に長波長側の光を出力するという複雑なメカニズムをもち，対する反射の割合を示す）の積として求められるのに対蛍光物質が出力する波長は一定で，照明色の影響を受けなし，蛍光発光は照明の分光分布と励起関数により吸収光のいという特性をもつ（例えば，青い光源の下でもオレンジ量が決まり，観察される発光強度が決定される．
次に，反射と蛍光発光のメカニズムの違いを活用した画の蛍光発光をみせる）．これにより，対象物体が蛍光成分を含む場合，従来の分光反射率を用いた色再現では，正し像解析技術を紹介する．

く色推定を行うことが難しくなる．本稿では，実物体の反2.

射 ⭈ 蛍光成分の双方を考慮した分光解析技術を紹介する．

反射と蛍光発光のメカニズムの違いに基づく画像解析
反射は入射光と同じ波長の光を反射するのに対し，蛍光国立情報学研究所（〒101―8430 東京都千代田区一ツ橋 2―1―2） E-mail: imarik@nii.ac.jp

43 巻 7 号（2014）

325（ 29 ）図 1 蛍光成分を含む物質例．左側または上側の画像
は自然光の下で観察される物体の見えを，右側または下側の画像は，紫外光を含むブラックライトの下で観察された蛍光発光を示す．

図 3 蛍光画像から推定された物体形状．右下に対象物であるキーホルダーの画像を示す．

図 2 バイスペクトル計測により観察された反射と蛍光成分．

図 4 実物体の蛍光反射特性のモデル化．上段：計測された蛍光成分と反射成分．
下段：蛍光を考慮することにより正しい色再現が可能となる．

326（ 30 ）光学

は吸収光の波長よりも長波長側の光を出力する．入射光に子がわかる．

対する蛍光発光と反射のメカニズムの違いを積極的に活用

4.

反射・蛍光特性のモデル化することによって，対象物体の蛍光成分と反射成分を分離

対象物体が反射ならびに蛍光成分により構成される場して観察し，画像解析に用いることができる．具体的に合，この物体の分光反射率と蛍光特性（吸光度を示す励起は，入射光の波長と観察する光の波長の双方を変化させな関数と発光の分光分布を示す蛍光関数）を獲得する必要ががら物体を観察するバイスペクトル計測（bispectral meas-ある．最も確実な方法は，単波長により構成される照明をurements）により，観察波長の違いを用いて反射特性と蛍準備して，照明の波長を変化させながら照射し，対象物の光成分を分離して観察することができる．バイスペクトル

明るさをさまざまな波長で記録する方法である．しかしな計測は，蛍光試料の発光スペクトル計測の目的で用いられがら，このアプローチはすべての照射波長と観察波長の組る手段である．図 2 に青色の光源下で観察されたカッターみ合わせを試す必要があり，膨大な計測を要するという問

ナイフの RGB 画像を示す．単波長により構成される照明題が存在する（照射波長と観察波長により構成される行列下で観察する場合，反射成分は照明と同じ波長にのみ観察は，Donaldson 行列とよばれる）．

される（例えば光源色が青であれば，青色の反射のみが観われわれは，実世界の反射特性や蛍光特性の統計量に基察される）．これに対し，蛍光は吸収光の波長よりも長波づき照射波長と蛍光波長の組み合わせを決定し，少ない計長側の光を出力する（光源色が青の場合，緑色や赤色の蛍測に基づき実物体の反射 ⭈ 蛍光特性をモデル化する手法を光が観察される）．図 2 の左（B チャネルの画像）では，物提案した 4）．さらに，波長領域で高周波に変化する分光分体表面の艶すなわち鏡面反射のみが観察され，右（R チャ

布をもつ光源が，反射・蛍光特性を分離して計測するのにネルの画像）では蛍光発光のみをとらえている様子がわ有効に働くことを明らかにして，2 種類の照明下で撮像さかる．

れた 2 枚の分光画像に基づき対象シーンの反射・蛍光特性

3.

蛍光発光に基づく形状推定のモデル化を実現した 5）．図 4 上段に分離して観測された蛍光成分は照射光より長波長側の光を返し，照射方向に反射・蛍光特性の例，下段に反射成分のみ，あるいは反よる発光強度の違いは拡散反射と同じであることが知られ射・蛍光成分の双方を考慮して画像合成を行った例を示ている．すなわち，法線の方向から照射したときの発光強す．蛍光特性を考慮することにより，任意照明下でのシー度が最も強くなり，法線となす角度が 90 度に近づくほどンの見えが正確に再現されている様子がわかる．

発光強度も弱くなる．これに従い，蛍光に基づく照度差ステレオ法（photometric stereo）により対象物体の形状を推定することができる．照度差ステレオ法は，3 つ以上の照文

献状（対象物はキーホルダー）を示す．キーホルダーの物体

1）K. Barnard: “Color constancy with ﬂuorescent surfaces,” Proc.
IS&T/SID 7th Color Imaging Conference: Color Science, Systemsand Applications（1999）pp. 257―261.
2）A. Springsteen: “Introduction to measurement of color ofﬂuorescent materials,” Anal. Chim. Acta, 380（1999）183―192.
3）I. Sato, T. Okabe and Y. Sato: “Bispectral photometric stereo
based on ﬂuorescence,” Proc. IEEE Conf. Computer Vision andPattern Recognition（ CVPR）（2012）pp. 270―277.
4）A. Lam and I. Sato: “Spectral modeling and relighting of
reﬂective-ﬂuorescent scenes,” Proc. IEEE Conf. Computer
Vision and Pattern Recognition（ CVPR）（2013）pp. 1452―1459.
5）Y. Fu, A. Lam, I. Sato, T. Okabe and Y. Sato: “Separating
reﬂective and ﬂuorescent components using high frequency
illumination in the spectral domain,” Proc. Int. Conf. ComputerVision（ ICCV）（2013）pp. 457―464.

表面では，鍵の模様や文字などの詳細が推定できている様（2014 年 5 月 13 日受理）

明方向の異なる光源下，単一視点から撮影された画像の陰影情報をもとに物体表面の各点の法線方向を推定する手法である．一般に物体表面が拡散反射のみにより構成されることを仮定した手法であり，物体表面に強い鏡面反射（つやなど）が観察される場合，その影響を受けてしまう．
われわれは，バイスペクトル計測で反射と蛍光を分離して観察することにより，物体表面のつやなどの影響を受けずに蛍光発光に基づき安定して形状推定を行うことができることを示した 3）．図 3 に，提案手法により推定された形

43 巻 7 号（2014）

327（ 31 ）