(57)【要約】【課題】より簡単かつ確実に光源を推定することができるようにする。【解決手段】受光部５１は、紫外光、可視光、および赤外光を受光する。紫外光対可視光比算出部５２は、可視光に対する紫外光の相対強度Ｐ１を算出する。赤外光対可視光比算出部５３は、可視光に対する赤外光の相対強度Ｐ２を算出する。光源推定部５５は、相対強度Ｐ１および相対強度Ｐ２からなる被評価ベクトルと、評価ベクトル保持メモリ５４に予め保持されている光源ごとの評価ベクトルとを用いて光源を推定する。本発明は、光源推定装置に適用することができる。【選択図】図２
2008275582.tif 000002
【特許請求の範囲】
【請求項１】
光源から放射された可視光および不可視光を受光する受光手段と、
受光された前記可視光の強度と、前記不可視光の強度とから前記光源の種類を推定する光源推定手段と
を備える光源推定装置。
【請求項２】
前記受光手段は、
可視光に対して分光感度を有し、前記光源から放射された可視光を受光する可視光受光手段と、
紫外光に対して分光感度を有し、前記光源から放射された紫外光を受光する紫外光受光手段と、
赤外光に対して分光感度を有し、前記光源から放射された赤外光を受光する赤外光受光手段と
を備える請求項１に記載の光源推定装置。
【請求項３】
受光された前記可視光の強度と前記紫外光の強度とから、前記可視光に対する前記紫外光の相対強度を算出する第１の相対強度算出手段と、
受光された前記可視光の強度と前記赤外光の強度とから、前記可視光に対する前記赤外光の相対強度を算出する第２の相対強度算出手段と
をさらに備え、
前記光源推定手段は、前記第１の相対強度算出手段により算出された相対強度と、前記第２の相対強度算出手段により算出された相対強度とを用いて前記光源の種類を推定する
請求項２に記載の光源推定装置。
【請求項４】
前記受光手段は、可視光とされる波長帯域に含まれる複数の波長帯域の光のそれぞれを受光し、
前記光源推定手段は、受光された前記複数の波長帯域の光の強度のそれぞれ、および前記不可視光の強度を用いて前記光源の種類を推定する
請求項１に記載の光源推定装置。
【請求項５】
受光された前記複数の波長帯域の光の強度のそれぞれの和を前記可視光の強度として算出する可視光強度算出手段と、
前記可視光の強度と前記不可視光の強度とから、前記可視光に対する前記不可視光の相対強度を算出する第１の相対強度算出手段と、
前記可視光の強度と前記複数の波長帯域の光の強度のそれぞれとから、前記可視光に対する前記複数の波長帯域の光の相対強度のそれぞれを算出する第２の相対強度算出手段と
をさらに備え、
前記光源推定手段は、前記第１の相対強度算出手段および前記第２の相対強度算出手段により算出された相対強度を用いて前記光源の種類を推定する
請求項４に記載の光源推定装置。
【請求項６】
受光された前記複数の波長帯域の光の強度のそれぞれの和を前記可視光の強度として算出するとともに、算出した前記可視光の強度を用いて、前記複数の波長帯域の光の強度のそれぞれ、および前記不可視光の強度を正規化する正規化手段をさらに備え、
前記光源推定手段は、正規化された前記複数の波長帯域の光の強度のそれぞれ、および正規化された前記不可視光の強度を用いて前記光源の種類を推定する
請求項４に記載の光源推定装置。
【請求項７】
光源から放射された可視光および不可視光の受光を制御し、
受光された前記可視光の強度と、前記不可視光の強度とから前記光源の種類を推定する
ステップを含む光源推定方法。
【請求項８】
光源から放射された可視光および不可視光の受光を制御し、
受光された前記可視光の強度と、前記不可視光の強度とから前記光源の種類を推定する
ステップを含む処理をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は光源推定装置および方法、並びにプログラムに関し、特に、より簡単かつ確実に光源を推定することができるようにした光源推定装置および方法、並びにプログラムに関する。
【背景技術】
【０００２】
従来、デジタルスチルカメラ等の撮像装置は、太陽や蛍光灯などの撮像時の光源に応じて、ユーザの指示を必要とせずに、適切なホワイトバランスの調整を行うオートホワイトバランス機能を有していることが多い。そのような機能を有する撮像装置においては、撮像装置に設けられた撮像素子による撮像の結果得られた画素信号が用いられて光源推定が行われ、推定された光源に適合した制御値に基づいてホワイトバランスが調整される。
【０００３】
通常、撮像時の光源推定には、撮像素子による撮像の結果得られた可視光のＲ（赤）、Ｇ（緑）、およびＢ（青）の３原色のそれぞれの画素信号が用いられることが多い。すなわち、これらの画素信号により得られる光源の光の強さを示す値が評価空間に射影され、黒体輻射軌跡や、既知の光源の光の強さの評価空間上における特徴などが加味されて、撮像環境における光源が推定される。
【０００４】
しかしながら、撮像環境における光源が異なる場合であっても、それらの異なる光源の光の強さを示す値のそれぞれが、評価空間上において同じ光源であると推定される領域内に射影される場合があり、光源を的確に推定することが困難であった。そこで、より確実に光源を推定するために、評価空間の次元数を多くしたり、異なる光源を分離し易くするための評価空間の軸を新たに設けたりすることも提案されている。
【０００５】
また、従来の光源推定の方法として、Ｒ、Ｇ、およびＢのそれぞれの色の光に対して分光感度を有するセンサのそれぞれに加えて、Ｒの波長よりも長い波長の可視光に対して分光感度を有する第４のセンサを利用して光源推定を行う方法が提案されている（例えば、特許文献１参照）。この方法においては、第４のセンサを利用することにより、蛍光灯を含む各種の光源の推定の精度を向上させることができる。
【０００６】
【特許文献１】特開２００４−１７７３９５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、上述した技術では、光源の推定の精度を向上させるためには、撮像の対象となる光の色数を増やしたり、光の強さを示す値を複雑な評価空間に射影したりする必要があった。したがって、撮像装置がコスト高になったり、光源推定のための処理量が多くなったりしてしまい、光源推定の精度を向上させることは容易ではなかった。
【０００８】
本発明は、このような状況に鑑みてなされたものであり、より簡単かつ確実に光源を推定することができるようにするものである。
【課題を解決するための手段】
【０００９】
本発明の一側面の光源推定装置は、光源から放射された可視光および不可視光を受光する受光手段と、受光された前記可視光の強度と、前記不可視光の強度とから前記光源の種類を推定する光源推定手段とを備える。
【００１０】
前記受光手段には、可視光に対して分光感度を有し、前記光源から放射された可視光を受光する可視光受光手段と、紫外光に対して分光感度を有し、前記光源から放射された紫外光を受光する紫外光受光手段と、赤外光に対して分光感度を有し、前記光源から放射された赤外光を受光する赤外光受光手段とを設けることができる。
【００１１】
光源推定装置には、受光された前記可視光の強度と前記紫外光の強度とから、前記可視光に対する前記紫外光の相対強度を算出する第１の相対強度算出手段と、受光された前記可視光の強度と前記赤外光の強度とから、前記可視光に対する前記赤外光の相対強度を算出する第２の相対強度算出手段とをさらに設け、前記光源推定手段には、前記第１の相対強度算出手段により算出された相対強度と、前記第２の相対強度算出手段により算出された相対強度とを用いて前記光源の種類を推定させることができる。
【００１２】
前記受光手段には、可視光とされる波長帯域に含まれる複数の波長帯域の光のそれぞれを受光させ、前記光源推定手段には、受光された前記複数の波長帯域の光の強度のそれぞれ、および前記不可視光の強度を用いて前記光源の種類を推定させることができる。
【００１３】
光源推定装置には、受光された前記複数の波長帯域の光の強度のそれぞれの和を前記可視光の強度として算出する可視光強度算出手段と、前記可視光の強度と前記不可視光の強度とから、前記可視光に対する前記不可視光の相対強度を算出する第１の相対強度算出手段と、前記可視光の強度と前記複数の波長帯域の光の強度のそれぞれとから、前記可視光に対する前記複数の波長帯域の光の相対強度のそれぞれを算出する第２の相対強度算出手段とをさらに設け、前記光源推定手段には、前記第１の相対強度算出手段および前記第２の相対強度算出手段により算出された相対強度を用いて前記光源の種類を推定させることができる。
【００１４】
光源推定装置には、受光された前記複数の波長帯域の光の強度のそれぞれの和を前記可視光の強度として算出するとともに、算出した前記可視光の強度を用いて、前記複数の波長帯域の光の強度のそれぞれ、および前記不可視光の強度を正規化する正規化手段をさらに設け、前記光源推定手段には、正規化された前記複数の波長帯域の光の強度のそれぞれ、および正規化された前記不可視光の強度を用いて前記光源の種類を推定させることができる。
【００１５】
本発明の一側面の光源推定方法またはプログラムは、光源から放射された可視光および不可視光の受光を制御し、受光された前記可視光の強度と、前記不可視光の強度とから前記光源の種類を推定するステップを含む。
【００１６】
本発明の一側面においては、光源から放射された可視光および不可視光が受光され、受光された前記可視光の強度と、前記不可視光の強度とから前記光源の種類が推定される。
【発明の効果】
【００１７】
本発明の一側面によれば、光源を推定することができる。特に、本発明の一側面によれば、より簡単かつ確実に光源を推定することができる。
【発明を実施するための最良の形態】
【００１８】
以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書又は図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書又は図面に記載されていることを確認するためのものである。従って、明細書又は図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００１９】
本発明の一側面の光源推定装置（例えば、図２の光源推定装置２１、図１２の光源推定装置２２１、または図１４の光源推定装置２６１）は、光源から放射された可視光および不可視光を受光する受光手段（例えば、図２の受光部５１、または図１２若しくは図１４の受光部２３１）と、受光された前記可視光の強度と、前記不可視光の強度とから前記光源の種類を推定する光源推定手段（例えば、図２の光源推定部５５、図１２の光源推定部２３７、または図１４の光源推定部２７３）とを備える。
【００２０】
前記受光手段（例えば、図２の受光部５１）には、可視光に対して分光感度を有し、前記光源から放射された可視光を受光する可視光受光手段（例えば、図３の可視光センサ８３）と、紫外光に対して分光感度を有し、前記光源から放射された紫外光を受光する紫外光受光手段（例えば、図３の紫外光センサ８２）と、赤外光に対して分光感度を有し、前記光源から放射された赤外光を受光する赤外光受光手段（例えば、図３の赤外光センサ８４）とを設けることができる。
【００２１】
光源推定装置（例えば、図２の光源推定装置２１）には、受光された前記可視光の強度と前記紫外光の強度とから、前記可視光に対する前記紫外光の相対強度を算出する第１の相対強度算出手段（例えば、図２の紫外光対可視光比算出部５２）と、受光された前記可視光の強度と前記赤外光の強度とから、前記可視光に対する前記赤外光の相対強度を算出する第２の相対強度算出手段（例えば、図２の赤外光対可視光比算出部５３）とをさらに設け、前記光源推定手段には、前記第１の相対強度算出手段により算出された相対強度と、前記第２の相対強度算出手段により算出された相対強度とを用いて前記光源の種類を推定させる（例えば、図８のステップＳ１６の処理）ことができる。
【００２２】
前記受光手段には、可視光とされる波長帯域に含まれる複数の波長帯域の光のそれぞれを受光させ（例えば、図１３のステップＳ４１の処理、または図１５のステップＳ７１の処理）、前記光源推定手段には、受光された前記複数の波長帯域の光の強度のそれぞれ、および前記不可視光の強度を用いて前記光源の種類を推定させる（例えば、図１３のステップＳ４８の処理、または図１５のステップＳ７５の処理）ことができる。
【００２３】
光源推定装置（例えば、図１２の光源推定装置２２１）には、受光された前記複数の波長帯域の光の強度のそれぞれの和を前記可視光の強度として算出する可視光強度算出手段（例えば、図１２の可視光量算出部２３２）と、前記可視光の強度と前記不可視光の強度とから、前記可視光に対する前記不可視光の相対強度を算出する第１の相対強度算出手段（例えば、図１２の紫外光対可視光比算出部２３３、および赤外光対可視光比算出部２３５）と、前記可視光の強度と前記複数の波長帯域の光の強度のそれぞれとから、前記可視光に対する前記複数の波長帯域の光の相対強度のそれぞれを算出する第２の相対強度算出手段（例えば、図１２の特定色光対可視光比算出部２３４−１乃至特定色光対可視光比算出部２３４−ｎ）とをさらに設け、前記光源推定手段には、前記第１の相対強度算出手段および前記第２の相対強度算出手段により算出された相対強度を用いて前記光源の種類を推定させる（例えば、図１３のステップＳ４８の処理）ことができる。
【００２４】
光源推定装置（例えば、図１４の光源推定装置２６１）には、受光された前記複数の波長帯域の光の強度のそれぞれの和を前記可視光の強度として算出するとともに、算出した前記可視光の強度を用いて、前記複数の波長帯域の光の強度のそれぞれ、および前記不可視光の強度を正規化する正規化手段（例えば、図１４の正規化部２７１）をさらに設け、前記光源推定手段には、正規化された前記複数の波長帯域の光の強度のそれぞれ、および正規化された前記不可視光の強度を用いて前記光源の種類を推定せる（例えば、図１５のステップＳ７５の処理）ことができる。
【００２５】
本発明の一側面の光源推定方法またはプログラムは、光源から放射された可視光および不可視光の受光を制御し（例えば、図８のステップＳ１１乃至ステップＳ１３、図１３のステップＳ４１乃至ステップＳ４３、または図１５のステップＳ７１乃至ステップＳ７３）、受光された前記可視光の強度と、前記不可視光の強度とから前記光源の種類を推定する（例えば、図８のステップＳ１６、図１３のステップＳ４８、または図１５のステップＳ７５）ステップを含む。
【００２６】
以下、図面を参照して、本発明を適用した実施の形態について説明する。
【００２７】
図１は、本発明を適用した一実施の形態の撮像装置の外観を示す図である。
【００２８】
撮像装置１１は、例えばデジタルスチルカメラなどからなり、ユーザによる操作に応じて被写体の画像を撮像する。また、撮像装置１１の図中、右上の部分には、撮像の対象となる被写体に照射される光の光源を推定する光源推定装置２１が設けられている。
【００２９】
光源推定装置２１は、光源から放射（輻射）された光を受光し、受光した光の光量（強度）に基づいて光源の種類を推定する。換言すれば、光源推定装置２１は、受光した光の光量に基づいて、撮像環境における光源が、太陽、蛍光灯、白熱電球、LED（Light Emitting Diode）などの各種の光源のうちのいずれであるかを推定する。そして、撮像装置１１は、光源推定装置２１による光源の推定結果に基づいて、画像の撮像時に必要に応じてホワイトバランスなどの各種の調整を行う。
【００３０】
ここで、撮像装置１１の撮像環境が屋外であるか屋内であるかに関わらず、光源は撮像装置１１の図中、上側、つまり鉛直方向とは反対方向に位置することが多いと予測されるため、より多くの光を受光できるように、光源推定装置２１は撮像装置１１の図中、上側の部分に上方向を向くように設けられている。なお、光源推定装置２１は、必ずしも撮像装置１１の上側の部分に設ける必要はなく、他の位置に設けられてもよい。
【００３１】
図２は、図１の光源推定装置２１の構成例を示すブロック図である。
【００３２】
光源推定装置２１は、受光部５１、紫外光対可視光比算出部５２、赤外光対可視光比算出部５３、評価ベクトル保持メモリ５４、および光源推定部５５から構成される。
【００３３】
受光部５１は、例えば可視光に対して分光感度を有するセンサ、不可視光（非可視光）に対して分光感度を有するセンサなどの複数のセンサから構成され、光源から放射された光を受光する。より具体的には、受光部５１は、紫外光に対して分光感度を有するセンサ、可視光に対して分光感度を有するセンサ、および赤外光に対して分光感度を有するセンサから構成される。ここで、分光感度を有するとは、センサが特定の波長の光に対して、その光の光量を測定するのに充分な感度を有していることをいう。
【００３４】
受光部５１は、光源から放射された紫外光、赤外光、および可視光のそれぞれの光を受光し、受光した光のそれぞれを、それらの光の光量を示す電気信号のそれぞれに変換する。すなわち、受光部５１は、受光した光を光電変換することにより、受光した紫外光の光量（強度）ＵＶ、可視光の光量（強度）Ｖ、および赤外光の光量（強度）ＩＲを得る。そして、受光部５１は、光電変換により得られた光量ＵＶおよび光量Ｖを紫外光対可視光比算出部５２に供給し、光量Ｖおよび光量ＩＲを赤外光対可視光比算出部５３に供給する。
【００３５】
紫外光対可視光比算出部５２は、受光部５１から供給された光量ＵＶおよび光量Ｖに基づいて、受光した紫外光の光量ＵＶと可視光の光量Ｖとの比、すなわち可視光に対する紫外光の相対強度（相対的な光量）を算出して光源推定部５５に供給する。
【００３６】
赤外光対可視光比算出部５３は、受光部５１から供給された光量ＩＲおよび光量Ｖに基づいて、受光した赤外光の光量ＩＲと可視光の光量Ｖとの比、すなわち可視光に対する赤外光の相対強度（相対的な光量）を算出して光源推定部５５に供給する。
【００３７】
評価ベクトル保持メモリ５４は、複数の光源ごとに予め求められている、可視光に対する紫外光の相対強度と、可視光に対する赤外光の相対強度とからなる評価ベクトルを保持している。
【００３８】
例えば、光源を太陽とした場合に受光部５１において受光された紫外光の光量ＵＶと可視光の光量Ｖとの比、および受光部５１において受光された赤外光の光量ＩＲと可視光の光量Ｖとの比からなる太陽の評価ベクトルが予め求められ、他の光源についても評価ベクトルが予め求められて、それらの評価ベクトルが評価ベクトル保持メモリ５４に保持される。評価ベクトル保持メモリ５４は、このようにして求められた各光源の評価ベクトルを予め保持しており、保持している評価ベクトルを必要に応じて光源推定部５５に供給する。
【００３９】
光源推定部５５は、紫外光対可視光比算出部５２から供給された可視光に対する紫外光の相対強度と、赤外光対可視光比算出部５３から供給された可視光に対する赤外光の相対強度とからなるベクトルを被評価ベクトルとして、被評価ベクトル、および評価ベクトル保持メモリ５４に保持されている評価ベクトルを用いて光源（の種類）を推定し、その推定結果を撮像装置１１に出力する。
【００４０】
また、受光部５１は、例えば図３に示すように、中空の積分球８１、並びに積分球８１の内部に設けられた紫外光センサ８２、可視光センサ８３、および赤外光センサ８４を備えている。
【００４１】
積分球８１には、光源からの光を積分球８１の内部の空間に入射させるための開口部８５が設けられている。また、積分球８１の内部には球状の空間が形成されており、積分球８１の内部の空間を形成する面、つまり積分球８１の内側の面には拡散反射板８６が設けられている。さらに積分球８１の内側の面には紫外光センサ８２乃至赤外光センサ８４の３つのセンサも設けられている。
【００４２】
拡散反射板８６は、開口部８５から入射した光源により放射された光を拡散反射する。このように、積分球８１の内側の空間を球状にし、拡散反射板８６により入射した光を拡散させることで、光源からの光を拡散して紫外光センサ８２乃至赤外光センサ８４のそれぞれに均等に入射させることができる。換言すれば、紫外光センサ８２乃至赤外光センサ８４のそれぞれに、なるべく広い範囲の入射光を受光させることができる。
【００４３】
紫外光センサ８２は、積分球８１の内部の空間に入射し、拡散反射板８６により拡散反射された光のうちの紫外光を受光して光電変換する。すなわち、紫外光センサ８２は、紫外光に対して分光感度を有しており、入射した光のうち、紫外光とされる波長帯の光だけを受光して光電変換し、その結果得られた紫外光の光量ＵＶを出力する。
【００４４】
可視光センサ８３は、積分球８１の内部の空間に入射し、拡散反射板８６により拡散反射された光のうちの可視光を受光して光電変換する。すなわち、可視光センサ８３は、可視光に対して分光感度を有しており、入射した光のうち、可視光とされる波長帯の光だけを受光して光電変換し、その結果得られた可視光の光量Ｖを出力する。
【００４５】
赤外光センサ８４は、積分球８１の内部の空間に入射し、拡散反射板８６により拡散反射された光のうちの赤外光を受光して光電変換する。すなわち、赤外光センサ８４は、赤外光に対して分光感度を有しており、入射した光のうち、赤外光とされる波長帯の光だけを受光して光電変換し、その結果得られた赤外光の光量ＩＲを出力する。
【００４６】
図３の例では、積分球８１、および紫外光センサ８２乃至赤外光センサ８４の３つのセンサだけで受光部５１を構成することができるので、受光部５１を簡単な構成で、かつ小さくすることができる。
【００４７】
ここで、紫外光、可視光、および赤外光とされる光のそれぞれは、例えば図４に示すように予め定められた波長帯の光とされる。すなわち、波長が400nm以下である光は紫外光とされ、波長が400nmより大きく700nmよりも小さい光は可視光とされ、波長が700nm以上である光は赤外光とされる。
【００４８】
なお、より詳細には、拡散反射板８６の分光反射率、つまり各波長の光の反射率は予め求められており、また紫外光センサ８２乃至赤外光センサ８４のそれぞれの分光特性、つまり入射した各波長の光の光量に対して、光電変換の結果としてどの程度の光量が得られるかも予め求められている。そして、紫外光センサ８２乃至赤外光センサ８４のそれぞれからは、それらのセンサの分光特性と拡散反射板８６の分光反射率とから、積分球８１に入射した紫外光、可視光、および赤外光のそれぞれのより確からしい光量のそれぞれが求められ、その結果が出力されるようになされている。
【００４９】
さらに、受光部５１は、図５に示すように、CCD（Charge Coupled Devices）やCMOS（Complementary Metal Oxide Semiconductor）などの撮像素子から構成されるようにしてもよい。なお、図５において点線の矢印は受光部５１に入射した光源からの光の軌跡を表している。
【００５０】
図５の例では、受光部５１は、プリズム１１１、撮像素子１１２−１、撮像素子１１２−２、および撮像素子１１２−３から構成される。
【００５１】
プリズム１１１は、例えば、互いに固着された３つのプリズムからなる合成プリズムとされ、プリズム１１１は、固着されたプリズムの境界面１２１および境界面１２２を有している。プリズム１１１は、プリズム１１１に入射した光源からの光を赤外光、可視光、および紫外光に分離して、分離した赤外光、可視光、および紫外光のそれぞれを、撮像素子１１２−１、撮像素子１１２−２、および撮像素子１１２−３のそれぞれに入射させる。
【００５２】
すなわち、プリズム１１１の図中、左側に設けられた入射面１２３に入射した光源からの光は、入射面１２３を透過して境界面１２１に入射する。そして、境界面１２１に入射した光の赤外光成分、つまり赤外光は境界面１２１において反射され、赤外光以外の光は境界面１２１を透過して境界面１２２に入射する。
【００５３】
境界面１２１において反射された赤外光は、さらに入射面１２３において反射され、撮像素子１１２−１に入射する。一方、境界面１２１を透過して境界面１２２に入射した光のうちの紫外光成分、つまり紫外光は境界面１２２において反射され、紫外光以外の光は境界面１２２を透過して撮像素子１１２−２に入射する。したがって、撮像素子１１２−２には、光源からの光のうちの赤外光成分および紫外光成分以外の光、すなわち可視光が入射することになる。さらに、境界面１２２において反射された紫外光は、境界面１２１において反射され、撮像素子１１２−３に入射する。
【００５４】
撮像素子１１２−１乃至撮像素子１１２−３のそれぞれは、CCDやCMOSなどからなり、それぞれ赤外光、可視光、および紫外光に対して分光感度を有している。撮像素子１１２−１乃至撮像素子１１２−３のそれぞれは、プリズム１１１に入射して境界面１２１において分離された赤外光、プリズム１１１を透過した可視光、および境界面１２２において分離された紫外光のそれぞれを受光して光電変換し、その結果得られたそれらの受光した光の光量ＩＲ、光量Ｖ、および光量ＵＶのそれぞれを出力する。
【００５５】
なお、以下、撮像素子１１２−１乃至撮像素子１１２−３のそれぞれを特に区別する必要のない場合、単に撮像素子１１２と称する。
【００５６】
また、撮像素子１１２の表面には、予め定められた色の光、すなわち予め定められた波長の光だけが撮像素子１１２の受光面に入射するようにフィルタが設けられている。
【００５７】
例えば、撮像素子１１２−１の表面には図６Ａに示すように、画素ごとに赤外光だけを透過させるフィルタが設けられている。なお、図６Ａにおいて、１つの長方形は１つの画素を表している。撮像素子１１２−１は、フィルタを介して各画素に入射した赤外光を受光して光電変換し、その結果得られた画素ごとの光の光量の平均値を計算し、光量ＩＲとして出力する。換言すれば、撮像素子１１２−１は、各画素に入射した赤外光を撮像し、撮像により得られた各画素の輝度値の平均値を赤外光の光量ＩＲとして出力する。
【００５８】
また、例えば、撮像素子１１２−２の表面には図６Ｂに示すように、画素ごとに可視光としてのＲ（赤）、Ｇ（緑）、またはＢ（青）の色の光だけを透過させるフィルタが設けられている。なお、図６Ｂにおいて、１つの長方形は１つの画素を表している。
【００５９】
撮像素子１１２−２の表面に設けられたＲの色の光（Ｒの色とされる波長の光）だけを透過させるＲの色のフィルタ、Ｇの色の光（Ｇの色とされる波長の光）だけを透過させるＧの色のフィルタ、およびＢの色の光（Ｂの色とされる波長の光）だけを透過させるＢの色のフィルタの色配列は、ベイヤー配列と称される色配列とされている。すなわち、撮像素子１１２−２の表面には、Ｇの色のフィルタが市松状に配置され、残りの部分にＲの色のフィルタおよびＢの色のフィルタが一行ごとに交互に配置されている。
【００６０】
撮像素子１１２−２は、フィルタを介して各画素に入射した可視光としてのＲ、Ｇ、またはＢの色の光を受光して光電変換し、その結果得られた画素ごとの光の光量から、入射した可視光の光量Ｖを求めて出力する。すなわち、撮像素子１１２−２は、各画素に入射したＲ、Ｇ、またはＢの色の光を撮像する。そして、撮像素子１１２−２は、色ごとの平均値を計算し、さらにそれらの色ごとの平均値の平均値を計算し、光量Ｖとして出力する。すなわち、撮像素子１１２−２は、各画素のＲの色の輝度値の平均値、Ｇの色の輝度値の平均値、およびＢの色の輝度値の平均値を求め、さらにそれらの輝度値の平均値の平均値を、可視光の光量Ｖとして求める。
【００６１】
さらに、例えば、図５の撮像素子１１２−３の表面には図６Ｃに示すように、画素ごとに紫外光だけを透過させるフィルタが設けられている。なお、図６Ｃにおいて、１つの長方形は１つの画素を表している。撮像素子１１２−３は、フィルタを介して各画素に入射した紫外光を受光して光電変換し、その結果得られた画素ごとの光の光量の平均値を計算し、光量ＵＶとして出力する。換言すれば、撮像素子１１２−３は、各画素に入射した紫外光を撮像し、撮像により得られた各画素の輝度値の平均値を紫外光の光量ＵＶとして出力する。
【００６２】
なお、光量ＩＲ、光量Ｖ、光量ＵＶの算出方法として次のような方法も考えられる。撮像素子１１２−１は、各画素に入射した赤外光を撮像し、撮像により得られた各画素の輝度値の総和を赤外光の光量ＩＲとして出力し、撮像素子１１２−３は、各画素に入射した紫外光を撮像し、撮像により得られた各画素の輝度値の総和を紫外光の光量ＵＶとして出力する。撮像素子１１２−２は各画素に入射したＲ、Ｇ、Ｂいずれか一つの色の輝度値の情報を利用して、デモザイク処理を行うことで、各画素において全色（Ｒ、Ｇ、Ｂ）を算出し、色毎の総和のさらに画素数分の総和を光量Vとする。この場合、デモザイク処理によって得られた画像（画素毎に全色揃った画像）はそのまま通常のＲＧＢによる撮影画像としての利用も可能である。
【００６３】
このように、撮像素子１１２の表面には所定の波長帯の光だけを透過させるフィルタが設けられており、撮像素子１１２は、入射した光を受光して光の光量を求める。
【００６４】
なお、撮像素子１１２−１乃至撮像素子１１２−３を用いて光源推定を行い、さらに撮像素子１１２−２を、被写体の画像を撮像するために用いるようにしてもよい。そのような場合、撮像素子１１２−２により撮像されて得られた画像が被写体の画像とされるとともに、撮像素子１１２−１乃至撮像素子１１２−３により撮像されて得られた画像が用いられて光源推定が行われる。
【００６５】
また、図５に示した受光部５１においては、３つの撮像素子１１２を用いて赤外光、可視光、および紫外光のそれぞれの光量を求めると説明したが、２つの撮像素子１１２だけが用いられるようにしてもよい。
【００６６】
そのような場合、例えば、撮像素子１１２−１および撮像素子１１２−２だけが用いられ、撮像素子１１２−２の表面には、図７Ａに示すように、Ｒ（赤）、Ｇ（緑）、またはＢ（青）の色のフィルタがベイヤー配列と称される色配列で配置される。なお、図７Ａにおいて、１つの長方形は１つの画素を表している。
【００６７】
撮像素子１１２−２は、図６Ｂの例における場合と同様に、フィルタを介して各画素に入射した可視光としてのＲ、Ｇ、またはＢの色の光を撮像し、その結果得られた各画素の輝度値を用いて色ごとの平均値を計算し、さらにそれらの色ごとの平均値の平均値を算出し、光量Ｖとして出力する。
【００６８】
また、撮像素子１１２−１および撮像素子１１２−２だけが用いられる場合、撮像素子１１２−１により紫外光および赤外光が受光されるようになされる。したがって、図５の境界面１２１において不可視光、つまり紫外光および赤外光が反射され、撮像素子１１２−１に入射する。
【００６９】
この場合、撮像素子１１２−１の表面には、例えば、図７Ｂに示すように、画素ごとに紫外光または赤外光だけを透過させるフィルタが設けられる。なお、図７Ｂにおいて、１つの長方形は１つの画素を表している。撮像素子１１２−１の表面には、紫外光だけを透過させるフィルタが市松状に配置され、残りの部分に赤外光だけを透過させるフィルタが配置されている。
【００７０】
撮像素子１１２−１は、フィルタを介して各画素に入射した可視光としての紫外光または赤外光を撮像し、その結果画素ごとに得られた紫外光または赤外光の輝度値を用いて紫外光の輝度値の平均値を紫外光の光量ＵＶとして出力するとともに、各画素の赤外光の輝度値の平均値を赤外光の光量ＩＲとして出力する。
【００７１】
このように、２つの撮像素子１１２だけを用いると、３つの撮像素子を利用する場合に比べ、赤外光、紫外光の画素数が減少して、利用できる情報量は少なくなるが、光源推定に用いる撮像素子１１２の数を減らすことができ、光源推定装置２１の小型化および低コスト化を図ることができる。
【００７２】
なお、１つの撮像素子１１２の表面に、可視光だけを透過させるフィルタ、紫外光だけを透過させるフィルタ、および赤外光だけを透過させるフィルタを配置することで、１つの撮像素子１１２から可視光の光量Ｖ、紫外光の光量ＵＶ、および赤外光の光量ＩＲを得るようにしてもよい。
【００７３】
また、以上においては、受光部５１は、図３に示した構成とされてもよいし、図５に示した構成とされてもよいと説明したが、以下では、図２の受光部５１は図３に示した構成とされるものとして説明を続ける。
【００７４】
ところで、撮像装置１１は、被写体の画像の撮像時において、光源推定装置２１に対して撮像装置１１の撮像環境における光源の推定を指示する。すると光源推定装置２１は、撮像装置１１からの指示に応じて、光源を推定する処理である光源推定処理を開始する。
【００７５】
以下、図８のフローチャートを参照して、光源推定装置２１による光源推定処理について説明する。
【００７６】
ステップＳ１１において、受光部５１は、光源から受光部５１に入射してきた可視光を受光する。すなわち、受光部５１の可視光センサ８３は、開口部８５から入射して拡散反射板８６において拡散反射された可視光を受光して光電変換する。可視光センサ８３は、光電変換により得られた可視光の光量Ｖを紫外光対可視光比算出部５２および赤外光対可視光比算出部５３に供給する。
【００７７】
ステップＳ１２において、受光部５１は、光源から受光部５１に入射してきた紫外光を受光する。すなわち、受光部５１の紫外光センサ８２は、開口部８５から入射して拡散反射板８６において拡散反射された紫外光を受光して光電変換する。紫外光センサ８２は、光電変換により得られた紫外光の光量ＵＶを紫外光対可視光比算出部５２に供給する。
【００７８】
ステップＳ１３において、受光部５１は、光源から受光部５１に入射してきた赤外光を受光する。すなわち、受光部５１の赤外光センサ８４は、開口部８５から入射して拡散反射板８６において拡散反射された赤外光を受光して光電変換する。赤外光センサ８４は、光電変換により得られた赤外光の光量ＩＲを赤外光対可視光比算出部５３に供給する。
【００７９】
なお、より詳細には、これらのステップＳ１１の処理乃至ステップＳ１３の処理のそれぞれは、受光部５１により同時に行われる。
【００８０】
ステップＳ１４において、紫外光対可視光比算出部５２は、受光部５１から供給された光量ＵＶおよび光量Ｖに基づいて、可視光に対する紫外光の相対強度Ｐ１を算出して光源推定部５５に供給する。例えば、紫外光対可視光比算出部５２は、次式（１）を計算することにより、相対強度Ｐ１を算出する。
【００８１】
Ｐ１＝ＵＶ／Ｖ                                                    ・・・（１）
【００８２】
ここで、式（１）におけるＵＶは紫外光の光量ＵＶを示しており、Ｖは可視光の光量Ｖを示している。したがって相対強度Ｐ１は、光量ＵＶを光量Ｖで除算することにより得られる。
【００８３】
ステップＳ１５において、赤外光対可視光比算出部５３は、受光部５１から供給された光量ＩＲおよび光量Ｖに基づいて、可視光に対する赤外光の相対強度Ｐ２を算出して光源推定部５５に供給する。例えば、赤外光対可視光比算出部５３は、次式（２）を計算することにより、相対強度Ｐ２を算出する。
【００８４】
Ｐ２＝ＩＲ／Ｖ                                                    ・・・（２）
【００８５】
ここで、式（２）におけるＩＲは赤外光の光量ＩＲを示しており、Ｖは可視光の光量Ｖを示している。したがって相対強度Ｐ２は、光量ＩＲを光量Ｖで除算することにより得られる。
【００８６】
ステップＳ１６において、光源推定部５５は、紫外光対可視光比算出部５２から供給された相対強度Ｐ１と、赤外光対可視光比算出部５３から供給された相対強度Ｐ２とからなる被評価ベクトル、および評価ベクトル保持メモリ５４に保持されている評価ベクトルを用いて光源を推定し、その推定結果を出力して光源推定処理は終了する。
【００８７】
例えば、光源推定部５５は、被評価ベクトルと、光源ごとの評価ベクトルとの類似度を計算し、類似度の最も高い評価ベクトル、つまり最も被評価ベクトルに類似している評価ベクトルを選択する。そして、光源推定部５５は、選択した評価ベクトルにより示される光源を光源推定の結果として得られた光源とし、その光源を示す情報を撮像装置１１に出力する。
【００８８】
一般に、撮像装置１１の撮像環境における光源として、太陽、蛍光灯、白熱電球など複数の種類の光源が考えられるが、その分光分布は光源ごとに異なっている。
【００８９】
例えば、図９に示すように、光源としての蛍光灯の光には、可視光成分が多く含まれているが、紫外光成分や赤外光成分はほとんど含まれていない。なお、図９において、縦軸は分光エネルギを示しており、横軸は波長を示している。
【００９０】
曲線１５１は、JIS（Japan Industrial Standard）の規格で規定された区分名がＦ１０である、三波長形の蛍光灯の光の分光分布を示している。曲線１５１は、440nm、550nm、615nmなどのいくつかの波長においてピークを有しており、曲線１５１により示される蛍光灯の光には、400nm乃至720nmの波長帯の光が多く含まれている。
【００９１】
曲線１５２は、JISの規格で規定された区分名がＦ１である、普通形の蛍光灯の光の分光分布を示している。曲線１５２は、440nmおよび580nm付近においてピークを有している。また、曲線１５２により示される蛍光灯の光には、440nm乃至640nmの波長の光が多く含まれており、それらの波長の光の分光エネルギはほぼ均一になっている。
【００９２】
曲線１５３は、JISの規格で規定された区分名がＦ７である、高演色形の蛍光灯の光の分光分布を示している。曲線１５３は、440nmおよび580nm付近においてピークを有している。また、曲線１５３により示される蛍光灯の光には、440nm乃至660nmの波長の光が多く含まれており、それらの波長の光の分光エネルギはほぼ均一になっている。
【００９３】
このように、蛍光灯の光は、可視光成分が多く含まれ、紫外光成分や赤外光成分はほとんど含まれていないという特徴を有している。
【００９４】
また、例えば図１０に示すように、太陽光には、可視光成分が多く含まれているが、紫外光成分や赤外光成分もある程度含まれている。なお、図１０において、縦軸は分光エネルギを示しており、横軸は波長を示している。
【００９５】
曲線１７１乃至曲線１７３のそれぞれは、色温度が5500K、6500K、および7500Kである太陽光のそれぞれの分光分布を示している。曲線１７１乃至曲線１７３のそれぞれは、波長によって急激に分光エネルギの大きさが変化することはなく、比較的なだらかに変化している。
【００９６】
また、曲線１７１乃至曲線１７３のそれぞれにより示される太陽光には、可視光が多く含まれているが、紫外光や赤外光も含まれており、特に、紫外光よりも赤外光がより多く含まれている。
【００９７】
このように、太陽光は、可視光成分が多く含まれ、紫外光成分や赤外光成分もある程度含まれているという特徴を有している。
【００９８】
各光源の光は、紫外光、可視光、および赤外光の成分を比較すると、それぞれ固有の特徴を有しているので、各光源の光の赤外光成分、可視光成分、および紫外光成分を考慮することで、より確実に光源を推定することができる。例えば、図１１に示すように、蛍光灯の光、太陽光、および白熱電球の光は、可視光に対する赤外光や紫外光の相対強度が異なるため、相対強度を用いて容易に光源を推定することができる。なお、図１１において、縦軸は光源から放射された光の相対放射強度を示しており、横軸は波長を示している。
【００９９】
曲線１９１は、JISの規格で規定された区分名がＦ１０である、三波長形の蛍光灯の光の分光分布を示している。曲線１９１は、可視光とされるいくつかの波長においてピークを有しており、曲線１９１により示される蛍光灯の光には、可視光が多く含まれているが、紫外光および赤外光はほとんど含まれていない。したがって、可視光に対する紫外光の相対強度Ｐ１、および可視光に対する赤外光の相対強度Ｐ２は、ほぼ０に近い値となる。
【０１００】
また、曲線１９２は、太陽光の分光分布を示している。曲線１９２は、全体的になだらかに変化しており、曲線１９２により示される太陽光の成分は、より多く含まれている順に可視光、赤外光、および紫外光となっている。したがって、可視光に対する赤外光の相対強度Ｐ２は、可視光に対する紫外光の相対強度Ｐ１よりも大きい値となる。
【０１０１】
曲線１９３は、白熱電球の光の分光分布を示している。曲線１９３は、右方向に直線的に増加しており、曲線１９３により示される白熱電球の光には、より波長の長い光がより多く含まれている。つまり、白熱電球の光の成分は、より多く含まれている順に赤外光、可視光、および紫外光となっている。したがって、可視光に対する赤外光の相対強度Ｐ２は、可視光に対する紫外光の相対強度Ｐ１よりも大きい値となる。
【０１０２】
光源ごとの相対強度Ｐ１と相対強度Ｐ２とを比較すると、可視光に対する紫外光の相対強度Ｐ１の小さい光源は、小さい順に蛍光灯、白熱電球、および太陽とされ、可視光に対する赤外光の相対強度Ｐ２の小さい光源は、小さい順に蛍光灯、太陽、および白熱電球とされることが予測され、光源推定装置２１では、このような特徴が利用されて光源の推定が行われる。
【０１０３】
以上のように、光源推定装置２１は、可視光、赤外光、および紫外光を受光し、可視光に対する紫外光の相対強度Ｐ１、および可視光に対する赤外光の相対強度Ｐ２を求めて光源を推定する。
【０１０４】
このように、可視光、赤外光、および紫外光を受光し、相対強度Ｐ１および相対強度Ｐ２を求めて光源を推定することで、より簡単かつ確実に光源を推定することができる。
【０１０５】
従来、光源推定には、可視光成分だけが用いられていたため、光源推定の精度を向上させようとする場合、より多くのセンサを設けたり、より多くの処理を行ったりする必要があった。すなわち、光源ごとに可視光の波長帯域における分光特性は異なるので、可視光成分だけを用いても光源を推定することはできるが、そのような場合、可視光とされる多くの波長の光の光量を得る必要があった。したがって、撮像装置に、より多くのセンサを設けなければならないのでコスト高になるばかりでなく、その分だけさらに多くの処理を行わなければならなかった。また、逆に、センサの数を減らすと、その分だけ光源推定の精度が低下してしまう。
【０１０６】
これに対して、光源推定装置２１では、放射された光に含まれている可視光、赤外光、および紫外光の割合は光源ごとに異なるという特徴を利用し、可視光に対する紫外光の相対強度Ｐ１、および可視光に対する赤外光の相対強度Ｐ２を用いて光源を推定することで、より簡単に、かつより確実に光源を推定することができる。
【０１０７】
つまり、光源推定装置２１では、可視光だけでなく、不可視光である紫外光および赤外光を利用することで、３つのセンサを設けるだけという簡単な構成とすることができる。しかも、それらのセンサにおける３色の光の測定結果を用いて、赤外光および紫外光のそれぞれの相対強度を算出するという簡単な処理だけで、より確実に光源を推定することができる。
【０１０８】
なお、以上においては、可視光、赤外光、および紫外光の３色の光の光量を用いて光源を推定すると説明したが、不可視光として紫外光または赤外光のいずれか一方だけを用いて光源を推定するようにしてもよい。
【０１０９】
また、可視光とされる波長帯域に含まれる複数の波長帯のそれぞれの光の光量を用いて光源を推定するようにしてもよい。より具体的には、例えば可視光とされる波長帯域に含まれる、互いに同じ波長を含まない第１の波長帯域乃至第ｎの波長帯域のｎ個（但し、ｎは自然数）の波長帯域の光の光量が用いられて光源が推定される。
【０１１０】
そのような場合、光源推定装置は、例えば、図１２に示すように構成される。
【０１１１】
光源推定装置２２１は、受光部２３１、可視光量算出部２３２、紫外光対可視光比算出部２３３、特定色光対可視光比算出部２３４−１乃至特定色光対可視光比算出部２３４−ｎ（特定色光対可視光比算出部２３４−２乃至特定色光対可視光比算出部２３４−（ｎ−１）は図示せず）、赤外光対可視光比算出部２３５、評価ベクトル保持メモリ２３６、および光源推定部２３７から構成される。
【０１１２】
受光部２３１は、例えば紫外光に対して分光感度を有するセンサ、可視光の波長帯域に含まれる第１の波長帯域乃至第ｎの波長帯域のそれぞれに対して分光感度を有する複数のセンサ、および赤外光に対して分光感度を有するセンサから構成される。
【０１１３】
受光部２３１は、光源から放射された紫外光、赤外光、および第１の波長帯域乃至第ｎの波長帯域のそれぞれの光を受光して光電変換する。これにより、紫外光の光量（強度）ＵＶ、可視光の第１の波長帯域の光の光量（強度）Ｖ１乃至第ｎの波長帯域の光の光量（強度）Ｖｎ、および赤外光の光量（強度）ＩＲが得られる。受光部２３１は、光電変換により得られた光量ＵＶを紫外光対可視光比算出部２３３に供給し、光量ＩＲを赤外光対可視光比算出部２３５に供給する。
【０１１４】
また、受光部２３１は、光電変換により得られた光量Ｖ１乃至光量Ｖｎを可視光量算出部２３２に供給するとともに、光量Ｖ１乃至光量Ｖｎのそれぞれを、特定色光対可視光比算出部２３４−１乃至特定色光対可視光比算出部２３４−ｎのそれぞれに供給する。
【０１１５】
ここで、受光部２３１は、例えば図３に示した受光部５１の可視光センサ８３に代えて、第１の波長帯域の光乃至第ｎの波長帯域の光のそれぞれに対して分光感度を有するセンサのそれぞれが設けられた構成とされる。すなわち、受光部２３１は、紫外光センサ、赤外光センサ、およびｎ個の可視光センサが設けられた構成とされる。
【０１１６】
可視光量算出部２３２は、受光部２３１から供給された光量Ｖ１乃至光量Ｖｎの総和を求め、求められた総和を可視光の光量（強度）Ｖとして紫外光対可視光比算出部２３３、特定色光対可視光比算出部２３４−１乃至特定色光対可視光比算出部２３４−ｎ、および赤外光対可視光比算出部２３５に供給する。
【０１１７】
紫外光対可視光比算出部２３３は、受光部２３１から供給された光量ＵＶ、および可視光量算出部２３２から供給された光量Ｖに基づいて、受光した紫外光の光量ＵＶと可視光の光量Ｖとの比、すなわち可視光に対する紫外光の相対強度（相対的な光量）Ｑ１を算出して光源推定部２３７に供給する。
【０１１８】
特定色光対可視光比算出部２３４−１乃至特定色光対可視光比算出部２３４−ｎのそれぞれは、受光部２３１から供給された光量Ｖ１乃至光量Ｖｎのそれぞれ、および可視光量算出部２３２から供給された光量Ｖに基づいて、光量Ｖ１乃至光量Ｖｎのそれぞれと、可視光の光量Ｖとの比のそれぞれ、すなわち可視光に対する第１の波長帯域の光の相対強度（相対的な光量）Ｑ２乃至可視光に対する第ｎの波長帯域の光の相対強度（相対的な光量）Ｑ（ｎ＋１）を算出して光源推定部２３７に供給する。
【０１１９】
なお、以下、特定色光対可視光比算出部２３４−１乃至特定色光対可視光比算出部２３４−ｎのそれぞれを特に区別する必要のない場合、単に特定色光対可視光比算出部２３４と称する。
【０１２０】
赤外光対可視光比算出部２３５は、受光部２３１から供給された光量ＩＲ、および可視光量算出部２３２から供給された光量Ｖに基づいて、受光した赤外光の光量ＩＲと可視光の光量Ｖとの比、すなわち可視光に対する赤外光の相対強度（相対的な光量）Ｑ（ｎ＋２）を算出して光源推定部２３７に供給する。
【０１２１】
評価ベクトル保持メモリ２３６は、複数の光源ごとに予め求められた可視光に対する紫外光の相対強度、可視光に対する第１の波長帯域の光の相対強度乃至可視光に対する第ｎの波長帯域の光の相対強度、および可視光に対する赤外光の相対強度からなる評価ベクトルを保持している。評価ベクトル保持メモリ２３６は、予め保持している評価ベクトルを必要に応じて光源推定部２３７に供給する。
【０１２２】
光源推定部２３７は、紫外光対可視光比算出部２３３から供給された相対強度Ｑ１、特定色光対可視光比算出部２３４−１乃至特定色光対可視光比算出部２３４−ｎのそれぞれから供給された相対強度Ｑ２乃至相対強度Ｑ（ｎ＋１）、および赤外光対可視光比算出部２３５から供給された相対強度Ｑ（ｎ＋２）からなるベクトルを被評価ベクトルとする。そして、光源推定部２３７は、被評価ベクトル、および評価ベクトル保持メモリ２３６に保持されている評価ベクトルを用いて光源を推定し、その推定結果を撮像装置１１に出力する。
【０１２３】
なお、受光部２３１は、図５に示した受光部５１と同じ構成とされるようにしてもよい。この場合、撮像素子１１２−２の表面には、例えば第１の波長帯域の光だけを透過させるフィルタ乃至第ｎの波長帯域の光だけを透過させるフィルタのそれぞれが配列される。
【０１２４】
したがって、例えばｎ＝３であり、第１の波長帯域乃至第３の波長帯域の光のそれぞれが、Ｒ（赤）の色の光、Ｇ（緑）の色の光、およびＢ（青）の色の光のそれぞれとされる場合、撮像素子１１２−２の表面には、図６Ｂに示したフィルタが配置される。
【０１２５】
次に、図１３のフローチャートを参照して、光源推定装置２２１による光源推定処理について説明する。
【０１２６】
ステップＳ４１において、受光部２３１は、光源から受光部２３１に入射してきた可視光を受光する。すなわち、受光部２３１は、入射した第１の波長帯域の光乃至第ｎの波長帯域の光のそれぞれを受光して光電変換し、その結果得られた光量Ｖ１乃至光量Ｖｎを可視光量算出部２３２に供給するとともに、光量Ｖ１乃至光量Ｖｎのそれぞれを特定色光対可視光比算出部２３４−１乃至特定色光対可視光比算出部２３４−ｎのそれぞれに供給する。
【０１２７】
ステップＳ４２において、受光部２３１は、光源から受光部２３１に入射してきた紫外光を受光して光電変換し、その結果得られた紫外光の光量ＵＶを紫外光対可視光比算出部２３３に供給する。
【０１２８】
ステップＳ４３において、受光部２３１は、光源から受光部２３１に入射してきた赤外光を受光して光電変換し、その結果得られた赤外光の光量ＩＲを赤外光対可視光比算出部２３５に供給する。
【０１２９】
なお、より詳細には、これらのステップＳ４１の処理乃至ステップＳ４３の処理のそれぞれは、受光部２３１により同時に行われる。
【０１３０】
ステップＳ４４において、可視光量算出部２３２は、受光部２３１から供給された光量Ｖ１乃光量Ｖｎに基づいて可視光の光量Ｖを算出し、算出した光量Ｖを紫外光対可視光比算出部２３３、特定色光対可視光比算出部２３４、および赤外光対可視光比算出部２３５に供給する。例えば、可視光量算出部２３２は、次式（３）を計算することにより可視光の光量Ｖを算出する。
【０１３１】
【数１】
2008275582.tif 000003
【０１３２】
なお、式（３）において、Ｖｉは、第ｉの波長帯域の光の光量Ｖｉ（但し、１≦ｉ≦ｎ）を示しており、Σは、光量Ｖｉの変数ｉを、１からｎまで変えて総和をとることを表している。したがって、光量Ｖは、光量Ｖ１乃至光量Ｖｎの総和を求めることにより得られる。
【０１３３】
ステップＳ４５において、紫外光対可視光比算出部２３３は、受光部２３１から供給された光量ＵＶ、および可視光量算出部２３２から供給された光量Ｖに基づいて、可視光に対する紫外光の相対強度Ｑ１を算出して光源推定部２３７に供給する。例えば、紫外光対可視光比算出部２３３は、次式（４）を計算することにより相対強度Ｑ１を算出する。
【０１３４】
Ｑ１＝ＵＶ／Ｖ                                                    ・・・（４）
【０１３５】
ここで、式（４）におけるＵＶは紫外光の光量ＵＶを示しており、Ｖは可視光の光量Ｖを示している。したがって相対強度Ｑ１は、光量ＵＶを光量Ｖで除算することにより得られる。
【０１３６】
ステップＳ４６において、特定色光対可視光比算出部２３４は、受光部２３１から供給された光量Ｖｉ（但し、１≦ｉ≦ｎ）、および可視光量算出部２３２から供給された光量Ｖに基づいて、可視光に対する第ｉの波長帯域の光の相対強度Ｑ（ｉ＋１）を算出して光源推定部２３７に供給する。すなわち、特定色光対可視光比算出部２３４−１乃至特定色光対可視光比算出部２３４−ｎのそれぞれは、相対強度Ｑ２乃至相対強度Ｑ（ｎ＋１）のそれぞれを算出して光源推定部２３７に供給する。
【０１３７】
例えば、特定色光対可視光比算出部２３４は、次式（５）を計算することにより、相対強度Ｑ（ｉ＋１）を算出する。
【０１３８】
Ｑ（ｉ＋１）＝Ｖｉ／Ｖ                                            ・・・（５）
【０１３９】
ここで、式（５）におけるＶｉは第ｉの波長帯域の光の光量Ｖｉを示しており、Ｖは可視光の光量Ｖを示している。したがって相対強度Ｑ（ｉ＋１）は、光量Ｖｉを光量Ｖで除算することにより得られる。
【０１４０】
ステップＳ４７において、赤外光対可視光比算出部２３５は、受光部２３１から供給された光量ＩＲ、および可視光量算出部２３２から供給された光量Ｖに基づいて、可視光に対する赤外光の相対強度Ｑ（ｎ＋２）を算出して光源推定部２３７に供給する。例えば、赤外光対可視光比算出部２３５は、次式（６）を計算することにより、相対強度Ｑ（ｎ＋２）を算出する。
【０１４１】
Ｑ（ｎ＋２）＝ＩＲ／Ｖ                                            ・・・（６）
【０１４２】
ここで、式（６）におけるＩＲは赤外光の光量ＩＲを示しており、Ｖは可視光の光量Ｖを示している。したがって相対強度Ｑ（ｎ＋２）は、光量ＩＲを光量Ｖで除算することにより得られる。
【０１４３】
ステップＳ４８において、光源推定部２３７は、紫外光対可視光比算出部２３３から供給された相対強度Ｑ１、特定色光対可視光比算出部２３４−１乃至特定色光対可視光比算出部２３４−ｎから供給された相対強度Ｑ２乃至相対強度Ｑ（ｎ＋１）、および赤外光対可視光比算出部２３５から供給された相対強度Ｑ（ｎ＋２）とからなる被評価ベクトルと、評価ベクトル保持メモリ２３６に保持されている評価ベクトルとを用いて光源を推定し、その推定結果を出力して光源推定処理は終了する。
【０１４４】
例えば、光源推定部２３７は、被評価ベクトルと、光源ごとの評価ベクトルとの類似度を計算し、類似度の最も高い評価ベクトルにより示される光源を光源推定の結果として得られた光源とする。
【０１４５】
このようにして、光源推定装置２２１は、可視光である第１の波長帯域の光乃至第ｎの波長帯域の光、赤外光、および紫外光を受光し、可視光に対する紫外光の相対強度Ｑ１、可視光に対する第ｉの波長帯域の光（１≦ｉ≦ｎ）の相対強度Ｑ（ｉ＋１）、および可視光に対する赤外光の相対強度Ｑ（ｎ＋２）を求めて光源を推定する。
【０１４６】
このように、相対強度Ｑ１乃至相対強度Ｑ（ｎ＋２）を求めて光源を推定することで、より簡単かつ確実に光源を推定することができる。特に、光源推定装置２２１においては、不可視光の光量とともに、可視光の複数の波長帯域の光量を用いるので、光源からの光のうち、可視光の波長帯域の分光特性も利用して光源を推定することができる。したがって、例えば図９に示した光源としての蛍光灯、つまり分光分布においてピークとなる波長が異なる各種の蛍光灯が光源である場合などにおいても、より確実に光源を推定することができる。
【０１４７】
なお、以上においては、可視光に対する他の光の相対強度を用いて光源推定を行うと説明したが、各光の光量を正規化して光源を推定するようにしてもよい。
【０１４８】
そのような場合、光源推定装置は、例えば図１４に示すように構成される。なお、図１４において、図１２における場合と対応する部分には同一の符号を付してあり、その説明は省略する。
【０１４９】
光源推定装置２６１は、受光部２３１、正規化部２７１、評価ベクトル保持メモリ２７２、および光源推定部２７３から構成される。
【０１５０】
正規化部２７１は、受光部２３１から供給された紫外光の光量ＵＶ、第１の波長帯域の光の光量Ｖ１乃至第ｎの波長帯域の光の光量Ｖｎ、および赤外光の光量ＩＲのそれぞれを正規化して光源推定部２７３に供給する。
【０１５１】
評価ベクトル保持メモリ２７２は、複数の光源ごとに予め求められた、正規化された紫外光の光量、第１の波長帯域の光の光量乃至第ｎの波長帯域の光の光量、および赤外光の光量のそれぞれからなる評価ベクトルを保持している。評価ベクトル保持メモリ２７２は、予め保持している評価ベクトルを必要に応じて光源推定部２７３に供給する。
【０１５２】
光源推定部２７３は、正規化部２７１から供給された、正規化された光量ＵＶ、光量Ｖ１乃至光量Ｖｎ、および光量ＩＲからなる被評価ベクトルと、評価ベクトル保持メモリ２７２に保持されている評価ベクトルとを用いて光源を推定し、その推定結果を撮像装置１１に出力する。
【０１５３】
次に、図１５のフローチャートを参照して、光源推定装置２６１による光源推定処理について説明する。なお、ステップＳ７１の処理乃至ステップＳ７３の処理のそれぞれは、図１３のステップＳ４１の処理乃至ステップＳ４３の処理のそれぞれと同様であるので、その説明は省略する。
【０１５４】
ステップＳ７１の処理乃至ステップＳ７３の処理により、受光部２３１から正規化部２７１に、光量ＵＶ、光量Ｖ１乃至光量Ｖｎ、および光量ＩＲが供給されると、ステップＳ７４において、正規化部２７１は、受光部２３１から供給された各光の光量を正規化し、正規化された光量のそれぞれを光源推定部２７３に供給する。
【０１５５】
例えば、正規化部２７１は、受光部２３１から供給された各光の光量のそれぞれを、各光量の和で除算することにより、各光量を正規化する。そのような場合、まず正規化部２７１は、次式（７）を計算することにより、各光量の総和Ａを求める。
【０１５６】
【数２】
2008275582.tif 000004
【０１５７】
なお、式（７）において、Ｖｉは、第ｉの波長帯域の光の光量Ｖｉ（但し、１≦ｉ≦ｎ）を示しており、Σは、光量Ｖｉの変数ｉを、１からｎまで変えて総和をとることを表している。また、ＵＶは紫外光の光量ＵＶを示しており、ＩＲは赤外光の光量ＩＲを示している。したがって、光量の総和Ａは、光量Ｖ１乃至光量ｎ、光量ＵＶ、および光量ＩＲの和を求めることにより得られる。
【０１５８】
次に、正規化部２７１は、紫外光の光量ＵＶを光量の総和Ａで除算することにより光量ＵＶを正規化し、第ｉの波長帯域の光量Ｖｉを光量の総和Ａで除算することにより光量Ｖｉを正規化し、赤外光の光量ＩＲを光量の総和Ａで除算することにより光量ＩＲを正規化する。すなわち、正規化部２７１は、次式（８）乃至式（１０）のそれぞれを計算することにより、正規化された紫外光の光量Ｗ１、正規化された第ｉの波長帯域の光量Ｗ（ｉ＋１）、および正規化された赤外光の光量Ｗ（ｎ＋２）のそれぞれを求める。
【０１５９】
Ｗ１＝ＵＶ／Ａ                                                    ・・・（８）
【０１６０】
Ｗ（ｉ＋１）＝Ｖｉ／Ａ                                            ・・・（９）
【０１６１】
Ｗ（ｎ＋２）＝ＩＲ／Ａ                                          ・・・（１０）
【０１６２】
ここで、式（８）乃至式（１０）において、Ａは、光量の総和Ａを示しており、ＵＶは紫外光の光量ＵＶを示している。また、Ｖｉは第ｉの波長帯域の光量Ｖｉを示しており、ＩＲは赤外光の光量ＩＲを示している。
【０１６３】
このようにして、正規化された紫外光の光量Ｗ１、正規化された第ｉの波長帯域の光量Ｗ（ｉ＋１）、および正規化された赤外光の光量Ｗ（ｎ＋２）が求められると、正規化部２７１は、求められたそれらの光量を光源推定部２７３に供給する。
【０１６４】
ステップＳ７５において、光源推定部２７３は、正規化部２７１から供給された、正規化された光量Ｗ１乃至光量Ｗ（ｎ＋２）からなる被評価ベクトルと、評価ベクトル保持メモリ２７２に保持されている評価ベクトルとを用いて光源を推定し、その推定結果を出力して光源推定処理は終了する。
【０１６５】
例えば、光源推定部２７３は、被評価ベクトルと、光源ごとの評価ベクトルとの類似度を計算し、類似度の最も高い評価ベクトルにより示される光源を光源推定の結果として得られた光源とする。
【０１６６】
このようにして、光源推定部２７３は、可視光である第１の波長帯域の光乃至第ｎの波長帯域の光、赤外光、および紫外光を受光し、それらの受光した光の受光量を正規化して光源を推定する。
【０１６７】
このように、正規化された光量Ｗ１乃至光量Ｗ（ｎ＋２）を用いて光源を推定することで、より簡単かつ確実に光源を推定することができる。特に、光源推定部２７３においては、各光の光量を、受光した全ての波長の光の光量の和で除算して正規化するので、光源からの光の分光分布全体に対する紫外光、可視光のｎ個の波長帯域の光、および赤外光のそれぞれの相対的な光量を正規化された光量として求めることができる。したがって、可視光だけでなく、不可視光を含む光源からの光の波長帯域全体の分光特性を考慮して光源を推定することができる。
【０１６８】
以上のように、可視光の光量と不可視光の光量とを用いて光源推定を行うことによって、簡単な構成で、すなわち安価かつ少ない処理量で、より確実に撮像環境における光源の種類を推定することができる。
【０１６９】
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【０１７０】
図１６は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０１７１】
コンピュータにおいて、CPU（Central Processing Unit）３０１，ROM（Read Only Memory）３０２，RAM（Random Access Memory）３０３は、バス３０４により相互に接続されている。
【０１７２】
バス３０４には、さらに、入出力インターフェース３０５が接続されている。入出力インターフェース３０５には、キーボード、マウス、マイクロホン、各波長の光を受光して光電変換するセンサなどよりなる入力部３０６、ディスプレイ、スピーカなどよりなる出力部３０７、ハードディスクや不揮発性のメモリなどよりなる記録部３０８、ネットワークインターフェースなどよりなる通信部３０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア３１１を駆動するドライブ３１０が接続されている。
【０１７３】
入力部３０６としてのセンサは、例えば図２の受光部５１と同様の構成とされており、紫外光、可視光、および赤外光のそれぞれを受光して、受光したそれらの光の光量のそれぞれを出力することができるようになされている。
【０１７４】
以上のように構成されるコンピュータでは、CPU３０１が、例えば、記録部３０８に記録されているプログラムを、入出力インターフェース３０５及びバス３０４を介して、RAM３０３にロードして実行することにより、上述した一連の処理が行われる。
【０１７５】
コンピュータ（CPU３０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア３１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
【０１７６】
そして、プログラムは、リムーバブルメディア３１１をドライブ３１０に装着することにより、入出力インターフェース３０５を介して、記録部３０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部３０９で受信し、記録部３０８にインストールすることができる。その他、プログラムは、ROM３０２や記録部３０８に、あらかじめインストールしておくことができる。
【０１７７】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１７８】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【０１７９】
【図１】本発明を適用した一実施の形態の撮像装置の外観を示す図である。
【図２】光源推定装置の構成例を示すブロック図である。
【図３】受光部のより詳細な構成例を示す図である。
【図４】波長による光の分類を示す図である。
【図５】受光部の他の構成例を示す図である。
【図６】撮像素子の表面に配置されるフィルタの例を説明する図である。
【図７】撮像素子の表面に配置される他のフィルタの例を説明する図である。
【図８】光源推定処理を説明するフローチャートである。
【図９】蛍光灯の光の分光分布を示す図である。
【図１０】太陽光の分光分布を示す図である。
【図１１】各光源の光の分光分布を示す図である。
【図１２】光源推定装置の他の構成例を示すブロック図である。
【図１３】光源推定処理を説明するフローチャートである。
【図１４】光源推定装置の他の構成例を示すブロック図である。
【図１５】光源推定処理を説明するフローチャートである。
【図１６】コンピュータの構成例を示すブロック図である。
【符号の説明】
【０１８０】
１１  撮像装置，  １２  光源推定装置，  ５１  受光部，  ５２  紫外光対可視光比算出部，  ５３  赤外光対可視光比算出部，  ５５  光源推定部，  ８２  紫外光センサ，  ８３  可視光センサ，  ８４  赤外光センサ，  １１２−１，１１２−２，１１２−３，１１２  撮像素子，  ２２１  光源推定装置，  ２３１  受光部，  ２３２  可視光量算出部，  ２３３  紫外光対可視光比算出部，  ２３４−１乃至２３４−ｎ，２３４  特定色光対可視光比算出部，  ２３５  赤外光対可視光比算出部，  ２３７  光源推定部，  ２６１  光源推定装置，  ２７１  正規化部，  ２７３  光源推定部
【図１】
2008275582.tif 000005
【図２】
2008275582.tif 000006
【図３】
2008275582.tif 000007
【図４】
2008275582.tif 000008
【図５】
2008275582.tif 000009
【図６】
2008275582.tif 000010
【図７】
2008275582.tif 000011
【図８】
2008275582.tif 000012
【図９】
2008275582.tif 000013
【図１０】
2008275582.tif 000014
【図１１】
2008275582.tif 000015
【図１２】
2008275582.tif 000016
【図１３】
2008275582.tif 000017
【図１４】
2008275582.tif 000018
【図１５】
2008275582.tif 000019
【図１６】
2008275582.tif 000020