(57)【要約】【課題】好適にホワイトバランス調整を行うことが可能な撮像装置を提供する。【解決手段】第１の分光感度特性を有し、被写体光を光電変換して第１の光電変換信号を出力する第１の光電変換部と、前記第１の分光感度特性と異なる第２の分光感度特性を有し、前記被写体光を光電変換して第２の光電変換信号を出力する第２の光電変換部と、前記第１の光電変換信号と前記第２の光電変換信号とにより算出した色を補正する制御値と、前記第１の光電変換信号と、により画像データを生成する画像データ生成部と、を備える撮像装置。【選択図】図３
2017123502.tif 000002
【特許請求の範囲】
【請求項１】
第１の分光感度特性を有し、被写体光を光電変換して第１の光電変換信号を出力する第１の光電変換部と、
前記第１の分光感度特性と異なる第２の分光感度特性を有し、前記被写体光を光電変換して第２の光電変換信号を出力する第２の光電変換部と、
前記第１の光電変換信号と前記第２の光電変換信号とにより算出した色を補正する制御値と、前記第１の光電変換信号と、により画像データを生成する画像データ生成部と、
を備える撮像装置。
【請求項２】
請求項１に記載の撮像装置において、
前記第２の分光感度特性は、紫外光および赤外光の少なくとも一部の帯域に対する感度が、前記第１の分光感度特性よりも高い撮像装置。
【請求項３】
請求項２に記載の撮像装置において、
前記第１の光電変換信号と前記第２の光電変換信号との信号量の差が所定量以上である場合、前記被写体光の光源が第１の光源であると判定し、前記信号量の差が前記所定量未満である場合、前記被写体光の光源が前記第１の光源よりも前記一部の帯域の光の出力が弱い第２の光源であると判定する判定部を更に備え、
前記画像データ生成部は、前記判定部による判定の結果を用いて前記色を補正する制御値を算出する撮像装置。
【請求項４】
請求項３に記載の撮像装置において、
撮像画面には、少なくとも１つの前記第１の光電変換部および少なくとも１つの前記第２の光電変換部に対応するブロックが複数設けられ、
前記判定部は、前記複数のブロックの各々について前記判定を行い、
前記画像データ生成部は、前記判定部により前記被写体光の光源が前記第１の光源であると判定された前記ブロックに対応する前記第１の光電変換信号および前記第２の光電変換信号により前記色を補正する制御値を算出する撮像装置。
【請求項５】
請求項４に記載の撮像装置において、
前記画像データ生成部は、前記判定部により前記被写体光の光源が前記第２の光源であると判定された前記ブロックの数が所定数未満である場合には、第１の色温度範囲により前記色を補正する制御値を算出し、前記判定部により前記被写体光の光源が前記第２の光源であると判定された前記ブロックの数が前記所定数以上である場合には、前記第１の色温度範囲よりも狭い第２の色温度範囲により前記色を補正する制御値を算出する撮像装置。
【請求項６】
請求項４または５に記載の撮像装置において、
前記第１の光電変換信号と前記第２の光電変換信号との少なくとも一方により被写体判別を行う判別部を更に備え、
前記画像データ生成部は、前記判定部により前記被写体光の光源が前記第２の光源であると判定された前記ブロックの数と、前記判別部による前記被写体判別の結果とを用いて前記色を補正する制御値を算出する撮像装置。
【請求項７】
請求項１から請求項６までのいずれか一項に記載の撮像装置において、
前記第１の光電変換部は、第１の分光透過率を有する第１の光学フィルタを有し、
前記第２の光電変換部は、第２の分光透過率を有する第２の光学フィルタを有する撮像装置。
【請求項８】
請求項７に記載の撮像装置において、
前記第２の分光透過率は、紫外光および赤外光の少なくとも一部の帯域に対する透過率が、前記第１の分光透過率よりも高い撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置に関する。
【背景技術】
【０００２】
被写体を照明する光源に応じてホワイトバランスを調整する技術が知られている（例えば特許文献１）。光源を誤認識した場合には、意図しない調整結果となる場合があった。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開昭５８−１７８６９６号公報
【発明の概要】
【０００４】
本発明の第１の態様によると、撮像装置は、第１の分光感度特性を有し、被写体光を光電変換して第１の光電変換信号を出力する第１の光電変換部と、前記第１の分光感度特性と異なる第２の分光感度特性を有し、前記被写体光を光電変換して第２の光電変換信号を出力する第２の光電変換部と、前記第１の光電変換信号と前記第２の光電変換信号とにより算出した色を補正する制御値と、前記第１の光電変換信号と、により画像データを生成する画像データ生成部と、を備える。
【図面の簡単な説明】
【０００５】
【図１】第１の実施の形態に係る撮像装置の構成を模式的に示す図
【図２】撮像素子と測光センサの構成を示す説明図
【図３】第１光学フィルタと第２光学フィルタの分光透過率を示す図
【図４】撮像処理のフローチャート
【図５】第２の実施の形態に係る撮像装置の構成を模式的に示す図
【図６】撮像素子の構成を示す説明図
【図７】撮像処理のフローチャート
【発明を実施するための形態】
【０００６】
（第１の実施の形態）
図１は、第１の実施の形態に係る撮像装置１の構成を模式的に示す図である。撮像装置１は、制御部１０、撮像光学系１１、クイックリターンミラー１２、撮像素子１３、ペンタプリズム１４、接眼レンズ１５、集光レンズ１６、測光センサ１７、およびＲＯＭ１８を備える。
【０００７】
制御部１０は、ＣＰＵおよびその周辺回路から構成される。制御部１０は、不図示の記憶媒体から所定の制御プログラムを読み込んで実行することにより、撮像装置１の各部を制御する。なお、制御部１０に相当する構成を、電子回路として実装することも可能である。
【０００８】
所定の光源からの照明光は、被写体の表面で反射し、被写体光として撮像光学系１１に入射する。撮像光学系１１を透過した被写体光は、撮像素子１３に向かう。撮像光学系１１と撮像素子１３との間には、クイックリターンミラー１２が配置される。クイックリターンミラー１２は、図１に実線で示す通常位置と、図１に破線で示す退避位置とを移動可能に構成される。
【０００９】
クイックリターンミラー１２が通常位置にあるとき、被写体光はクイックリターンミラー１２により反射し、ペンタプリズム１４に向かう。ペンタプリズム１４内に入射した被写体光の一部は、接眼レンズ１５に向かう。ユーザは接眼レンズ１５を介して、撮像範囲を視認可能である。ペンタプリズム１４内に入射した被写体光の残りは、集光レンズ１６を介して測光センサ１７に向かう。測光センサ１７は、後述する複数の測光画素を有する撮像素子である。測光センサ１７の受光面上には、第２光学フィルタ１７０が設けられている。被写体光は、第２光学フィルタ１７０を介して測光センサ１７の受光面に入射する。
【００１０】
クイックリターンミラー１２が退避位置にあるとき、撮像光学系１１を透過した被写体光は、撮像素子１３に入射する。撮像素子１３は、後述する複数の撮像画素を有する、ＣＣＤやＣＭＯＳ等の撮像素子である。撮像素子１３の撮像面上には、第１光学フィルタ１３０が設けられている。被写体光は、第１光学フィルタ１３０を介して撮像素子１３の撮像面に入射する。
【００１１】
ＲＯＭ１８は、不揮発性の記録媒体である。ＲＯＭ１８には、後述する撮像画素ブロックごとの調整値が予め記録されている。
【００１２】
図２は、撮像素子１３と測光センサ１７の構成を示す説明図である。図２（ａ）には、撮像素子１３の撮像面全体と、その一部領域１３ａを拡大した様子を図示している。撮像素子１３の撮像面には、複数の撮像画素１３１が二次元状に正方配列されている。各々の撮像画素１３１はカラーフィルタを備える。赤色撮像画素１３１Ｒは赤色のカラーフィルタを備え、赤色の光に感度を有する。緑色撮像画素１３１Ｇは緑色のカラーフィルタを備え、緑色の光に感度を有する。青色撮像画素１３１Ｂは青色のカラーフィルタを備え、青色の光に感度を有する。赤色撮像画素１３１Ｒと緑色撮像画素１３１Ｇと青色撮像画素１３１Ｂとがいわゆるベイヤー配列を形成している。
【００１３】
図２（ｂ）には、測光センサ１７の受光面全体と、その一部領域１７ａを拡大した様子を図示している。測光センサ１７の受光面には、複数の測光画素１７１が二次元状に正方配列されている。各々の測光画素１７１はカラーフィルタを備える。赤色測光画素１７１Ｒは赤色のカラーフィルタを備え、赤色の光に感度を有する。緑色測光画素１７１Ｇは緑色のカラーフィルタを備え、緑色の光に感度を有する。青色測光画素１７１Ｂは青色のカラーフィルタを備え、青色の光に感度を有する。赤色測光画素１７１Ｒと緑色測光画素１７１Ｇと青色測光画素１７１Ｂとがいわゆるベイヤー配列を形成している。
【００１４】
なお、以上に述べた「赤色の光」、「緑色の光」、「青色の光」とは、それぞれ所定の波長域に属する光を指す。このような光については周知であるので説明を省略する。
【００１５】
測光センサ１７の撮像面と撮像素子１３の撮像面とは、クイックリターンミラー１２について共役である。撮像素子１３の撮像面は、測光センサ１７の撮像面よりも大きい。撮像素子１３が有する撮像画素１３１は、測光センサ１７が有する測光画素１７１よりも小さい。撮像素子１３の撮像範囲は、測光センサ１７の撮像範囲と同一である。
【００１６】
測光センサ１７が有する横２個×縦２個の計４個の測光画素１７１は、撮像素子１３が有する横２０個×縦２０個の計４００個の撮像画素１３１に対応する。つまり、ある４個の測光画素１７１に対応する被写体部分には、横２０個×縦２０個の計４００個の撮像画素１３１が対応する。その被写体部分からの光束は、クイックリターンミラー１２が通常位置に存在する場合には、ある４個の測光画素１７１に入射する。その被写体部分からの光束は、クイックリターンミラー１２が退避位置に存在する場合には、ある４００個の撮像画素１３１に入射する。
【００１７】
以下の説明において、横２個×縦２個の計４個の測光画素１７１を１つの測光画素ブロックと称する。測光センサ１７は、複数の測光画素ブロックを有している。同様に、横２０個×縦２０個の計４００個の撮像画素１３１を１つの撮像画素ブロックと称する。撮像素子１３は、複数の撮像画素ブロックを有している。測光画素ブロックと撮像画素ブロックとの間には、一対一の対応関係がある。以下の説明において、測光画素ブロックと撮像画素ブロックとを画素ブロックと総称する。
【００１８】
図３は、第１光学フィルタ１３０と第２光学フィルタ１７０の分光透過率を示す図ある。図３の横軸は入射光の波長λを示し、縦軸は入射光の透過率Ｔを示す。曲線１３２は第１光学フィルタ１３０の分光透過率を示し、曲線１７２は第２光学フィルタ１７０の分光透過率を示す。
【００１９】
第１光学フィルタ１３０は、いわゆる赤外・紫外カットフィルタである。第１光学フィルタ１３０は、波長λth1からλth0までの範囲において、透過率Ｔth以上の高い透過率を有している。透過率Ｔthは、例えば８０％である。波長λth1は、例えば４００ｎｍであり、波長λth0は、例えば７００ｎｍである。波長λth1よりも低い波長の光は、波長が短くなるほど透過率が低下する。波長λth0よりも高い波長の光は、波長が長くなるほど透過率が低下する。
【００２０】
第２光学フィルタ１７０は、いわゆる赤外カットフィルタである。第２光学フィルタ１７０は、波長λth2からλth0までの範囲において、透過率Ｔth以上の高い透過率を有している。波長λth2は、例えば３８０ｎｍである。つまり第２光学フィルタ１７０は、紫外領域について、第１光学フィルタ１３０よりも高い透過率を有している。
【００２１】
なお、図３は第１光学フィルタ１３０と第２光学フィルタ１７０の分光透過率を模式的に示した図であって、実際の分光透過率はより複雑に変化している。例えば、波長λth1からλth0までの範囲において、透過率は一定ではなく、また第１光学フィルタ１３０と第２光学フィルタ１７０との間で透過率に若干の差が存在する。
【００２２】
第１光学フィルタ１３０と第２光学フィルタ１７０との光学特性の違いにより、撮像素子１３と測光センサ１７とは、互いに異なる分光感度特性を有している。例えば、ある強度の緑色光が緑色撮像画素１３１Ｇに入射したとき、緑色撮像画素１３１Ｇは、ある信号量の光電変換信号を出力する。同一の強度の緑色光が緑色測光画素１７１Ｇにしたとき、緑色測光画素１７１Ｇは、その信号量とは異なる信号量の光電変換信号を出力する。青色光、赤色光についても同様に、互いの光電変換結果は異なるものとなる。
【００２３】
ＲＯＭ１８に予め記録されている撮像画素ブロックごとの調整値について説明する。前述の通り、撮像画素ブロックと測光画素ブロックとの間には一対一の対応関係がある。波長λth1からλth0までの範囲の波長のみを含む光（以下、基準光と称する）がある撮像画素ブロックに入射したとき、その撮像画素ブロックに属する各々の撮像画素１３１からは、ある信号量の光電変換信号が出力される。その撮像画素ブロックに対応する測光画素ブロックに、同一の基準光が入射したとき、その測光画素ブロックに属する各々の測光画素１７１からは、理想的には、撮像画素１３１と同一の信号量の光電変換信号が出力される。実際には、第１光学フィルタ１３０と第２光学フィルタ１７０との光学特性の違いにより、異なる信号量の光電変換信号が出力される。撮像画素ブロックごとの調整値とは、この信号量の差を最小にするための係数である。より具体的には、次式（１）〜（３）を満たす値である。
ＡＲ（ｘ，ｙ）＝Ｒ２（ｘ，ｙ）／Ｒ１（ｘ，ｙ）    ・・・（１）
ＡＧ（ｘ，ｙ）＝Ｇ２（ｘ，ｙ）／Ｇ１（ｘ，ｙ）    ・・・（２）
ＡＢ（ｘ，ｙ）＝Ｂ２（ｘ，ｙ）／Ｂ１（ｘ，ｙ）    ・・・（３）
【００２４】
ここで（ｘ，ｙ）は、１つの画素ブロックを特定する座標値である。また、Ｒ１（ｘ，ｙ）は、座標（ｘ，ｙ）に位置する撮像画素ブロック内の赤色撮像画素１３１Ｒに基準光が入射したときに出力される光電変換信号の信号量の平均値である。１つの撮像画素ブロック内には複数の赤色撮像画素１３１Ｒが存在するので、平均値を用いている。Ｇ１（ｘ，ｙ）、Ｂ１（ｘ，ｙ）は、同様に、緑色撮像画素１３１Ｇ、青色撮像画素１３１Ｂに基準光が入射したときに出力される光電変換信号の信号量の平均値である。Ｒ２（ｘ，ｙ）、Ｇ２（ｘ，ｙ）、Ｂ２（ｘ，ｙ）は、測光画素ブロックにおける同様の値である。ＡＲ（ｘ，ｙ）は、座標（ｘ，ｙ）に位置する撮像画素ブロック内の赤色撮像画素１３１Ｒに関する調整値である。ＡＧ（ｘ，ｙ）、ＡＢ（ｘ，ｙ）は、同様に、座標（ｘ，ｙ）に位置する撮像画素ブロック内の緑色撮像画素１３１Ｇ、青色撮像画素１３１Ｂに関する調整値である。
【００２５】
オートホワイトバランス処理について説明する。制御部１０は、周知のオートホワイトバランス処理を実行し、赤色撮像画素１３１Ｒ、緑色撮像画素１３１Ｇ、青色撮像画素１３１Ｂの各々に対応するホワイトバランス制御値を演算する。
【００２６】
ホワイトバランス制御値とは、色（色調）を補正するための制御値である。具体的には、ホワイトバランス制御値とは、赤色撮像画素１３１Ｒの出力信号、緑色撮像画素１３１Ｇの出力信号、青色撮像画素１３１Ｂの出力信号にそれぞれ積算される係数値である。例えば被写体光の光源が白熱電球であった場合、色温度は３０００Ｋ前後であり、赤みが強いので、緑色撮像画素１３１Ｇの出力信号に積算される係数値や青色撮像画素１３１Ｂの出力信号に積算される係数値を相対的に高い値とし、赤色撮像画素１３１Ｒの出力信号に積算される係数値を相対的に低い値とする。このような係数値を、撮像画素１３１の出力信号や測光画素１７１の出力信号から演算する方法は、オートホワイトバランス処理として周知である。
【００２７】
制御部１０は、このオートホワイトバランス処理を、全ての画素ブロックに対応する撮像画素１３１や測光画素１７１の出力信号を用いるのではなく、一部の画素ブロックに対応する撮像画素１３１や測光画素１７１の出力信号を用いて実行する。換言すると、制御部１０は、一部の画素ブロックをオートホワイトバランス処理の対象から除外する。以下、制御部１０により、オートホワイトバランス処理の対象から除外される画素ブロックの決定方法について詳述する。
【００２８】
制御部１０は、撮像画素ブロックごとに、赤色撮像画素１３１Ｒが出力した光電変換信号の信号量の平均値Ｒ３（ｘ，ｙ）、緑色撮像画素１３１Ｇが出力した光電変換信号の信号量の平均値Ｇ３（ｘ，ｙ）、青色撮像画素１３１Ｂが出力した光電変換信号の信号量の平均値Ｂ３（ｘ，ｙ）をそれぞれ演算する。制御部１０は、Ｒ３（ｘ，ｙ）に調整値ＡＲ（ｘ，ｙ）を掛けた値Ｒ４（ｘ，ｙ）を演算する。同様に、Ｇ３（ｘ，ｙ）に調整値ＡＧ（ｘ，ｙ）を掛けた値Ｇ４（ｘ，ｙ）、Ｂ３（ｘ，ｙ）に調整値ＡＢ（ｘ，ｙ）を掛けた値Ｂ４（ｘ，ｙ）をそれぞれ演算する。
【００２９】
制御部１０は、測光画素ブロックごとに、赤色測光画素１７１Ｒが出力した光電変換信号の信号量の平均値Ｒ５（ｘ，ｙ）、緑色測光画素１７１Ｇが出力した光電変換信号の信号量の平均値Ｇ５（ｘ，ｙ）、青色測光画素１７１Ｂが出力した光電変換信号の信号量の平均値Ｂ５（ｘ，ｙ）をそれぞれ演算する。制御部１０は、Ｒ４（ｘ，ｙ）とＲ５（ｘ，ｙ）との差の絶対値ＤＲ（ｘ，ｙ）、Ｇ４（ｘ，ｙ）とＧ５（ｘ，ｙ）との差の絶対値ＧＲ（ｘ，ｙ）、Ｂ４（ｘ，ｙ）とＢ５（ｘ，ｙ）との差の絶対値ＢＲ（ｘ，ｙ）を演算する。
【００３０】
被写体光が基準光と同様に、波長λth1からλth0までの範囲の波長のみを含んでいれば、Ｒ４（ｘ，ｙ）とＲ５（ｘ，ｙ）、Ｇ４（ｘ，ｙ）とＧ５（ｘ，ｙ）、Ｂ４（ｘ，ｙ）とＢ５（ｘ，ｙ）はそれぞれほぼ等しい値になるはずである。この場合、ＤＲ（ｘ，ｙ）、ＧＲ（ｘ，ｙ）、ＢＲ（ｘ，ｙ）はごく小さな値になるはずである。これに対して、光源からの光が紫外光を含んでいた場合、ＤＲ（ｘ，ｙ）、ＧＲ（ｘ，ｙ）、ＢＲ（ｘ，ｙ）のうち少なくとも１つは、ある程度大きな値になる。
【００３１】
制御部１０は、ＤＲ（ｘ，ｙ）と所定のしきい値ＴＨＲ、ＧＲ（ｘ，ｙ）と所定のしきい値ＴＨＧ、ＢＲ（ｘ，ｙ）と所定のしきい値ＴＨＢとをそれぞれ比較する。そして、ＤＲ（ｘ，ｙ）がＴＨＲ以上であるか、ＧＲ（ｘ，ｙ）がＴＨＧ以上であるか、ＢＲ（ｘ，ｙ）がＴＨＢ以上であるか、いずれか少なくとも１つの条件が満たされた場合、その画素ブロックの光源は例えば太陽のように、紫外光を含む光を発する光源であり、かつ対応する被写体部分は有彩色を有していると判定する。制御部１０は、そのように判定された画素ブロックをオートホワイトバランス処理の対象から除外する。
【００３２】
なお、実際には撮像時のシャッタースピード（露光時間）など、露出制御を考慮した演算を行う必要がある。例えば、露光時間が長いほど撮像素子１３の光電変換信号は大きくなるので、撮像素子１３の光電変換信号に対し、露光時間に応じた係数を掛ければよい。簡単のため、上述の説明では露出制御に関する処理を省略している。例えば、露出差を補償するため、Ｒの値とＧの値との比（Ｒ／Ｇ）、Ｂの値とＧの値との比（Ｂ／Ｇ）を演算し、前者の比と後者の比との差を比較するようにしてもよい。
【００３３】
図４は、撮像処理のフローチャートである。ユーザにより所定の撮像操作（例えばレリーズスイッチの全押し操作）が為されると、制御部１０は図４に示す撮像処理を実行する。
【００３４】
ステップＳ１０において、制御部１０は、測光センサ１７により被写体光を光電変換し、光電変換信号を出力する。ステップＳ２０において、制御部１０は、クイックリターンミラー１２を通常位置から退避位置に移動させる。ステップＳ３０において、制御部１０は、撮像素子１３により被写体光を光電変換し、光電変換信号を出力する。ステップＳ４０において、制御部１０は、クイックリターンミラー１２を退避位置から通常位置に移動させる。
【００３５】
ステップＳ５０において、制御部１０は、未選択の画素ブロックを１つ選択する。ここで選択された画素ブロックの座標を（ｘ，ｙ）とおく。ステップＳ６０において、制御部１０は、ステップＳ１０で測光センサ１７から出力された光電変換信号と、ステップＳ３０で撮像素子１３から出力された光電変換信号と、ＲＯＭ１８に記録されている調整値とにより、選択した画素ブロックに対応するＤＲ（ｘ，ｙ）、ＤＧ（ｘ，ｙ）、ＤＢ（ｘ，ｙ）をそれぞれ演算する。
【００３６】
ステップＳ７０において、制御部１０は、ＤＲ（ｘ，ｙ）がしきい値ＴＨＲ以上か否かを判定する。ＤＲ（ｘ，ｙ）がしきい値ＴＨＲ以上であった場合、制御部１０は処理をステップＳ１００に進める。ステップＳ１００において制御部１０は、選択した画素ブロックをオートホワイトバランス処理の対象から除外して、処理をステップＳ１１０に進める。他方、ＤＲ（ｘ，ｙ）がしきい値ＴＨＲ未満であった場合、制御部１０は処理をステップＳ８０に進める。
【００３７】
ステップＳ８０において、制御部１０は、ＤＧ（ｘ，ｙ）がしきい値ＴＨＧ以上か否かを判定する。ＤＧ（ｘ，ｙ）がしきい値ＴＨＧ以上であった場合、制御部１０は処理をステップＳ１００に進める。ステップＳ１００において制御部１０は、選択した画素ブロックをオートホワイトバランス処理の対象から除外して、処理をステップＳ１１０に進める。他方、ＤＧ（ｘ，ｙ）がしきい値ＴＨＧ未満であった場合、制御部１０は処理をステップＳ９０に進める。
【００３８】
ステップＳ９０において、制御部１０は、ＤＢ（ｘ，ｙ）がしきい値ＴＨＢ以上か否かを判定する。ＤＢ（ｘ，ｙ）がしきい値ＴＨＢ以上であった場合、制御部１０は処理をステップＳ１００に進める。ステップＳ１００において制御部１０は、選択した画素ブロックをオートホワイトバランス処理の対象から除外して、処理をステップＳ１１０に進める。他方、ＤＢ（ｘ，ｙ）がしきい値ＴＨＢ未満であった場合、制御部１０は処理をステップＳ１１０に進める。
【００３９】
ステップＳ１１０において、制御部１０は、ステップＳ５０で全ての画素ブロックを選択し終わったか否かを判定する。未選択の画素ブロックが存在する場合、制御部１０は処理をステップＳ５０に進める。他方、全ての画素ブロックを選択し終わっていた場合、制御部１０は処理をステップＳ１２０に進める。
【００４０】
ステップＳ１２０において、制御部１０は、周知のオートホワイトバランス処理を、ステップＳ１００で除外された画素ブロック以外の全ての画素ブロックを対象に実行し、赤、緑、青の各々のホワイトバランス制御値を演算する。
【００４１】
ステップＳ１３０において、制御部１０は、ステップＳ１２０で演算されたホワイトバランス制御値を、ステップＳ３０で撮像素子１３から出力された光電変換信号に対して適用することにより、被写体像の画像データを生成する。制御部１０は、生成した画像データを、例えば不図示の記憶媒体に記憶したり、不図示の表示装置に表示したりする。
【００４２】
上述した実施の形態によれば、次の作用効果が得られる。
（１）撮像画素１３１は、第１の分光感度特性を有し、被写体光を光電変換して第１の光電変換信号を出力する。測光画素１７１は、第２の分光感度特性を有し、被写体光を光電変換して第２の光電変換信号を出力する。制御部１０は、第１の光電変換信号と第２の光電変換信号とによりホワイトバランス制御値を演算する。このようにしたので、ホワイトバランス調整を好適に行うことができる。
【００４３】
（２）第２の分光感度特性は、紫外光に対する感度が、第１の分光感度特性よりも高い。このようにしたので、画像データの生成に用いる撮像画素１３１では、紫外光や赤外光を十分にカットして色収差等を除去しつつ、紫外光を考慮したホワイトバランス調整を行うことができる。
【００４４】
（３）制御部１０は、第１の光電変換信号と第２の光電変換信号との信号量の差が所定量以上である場合、被写体光の光源が第１の光源であると判定し、信号量の差が所定量未満である場合、被写体光の光源が第１の光源よりも紫外光の出力が弱い第２の光源であると判定する。制御部１０は、その判定の結果を用いてホワイトバランス制御値を演算する。このようにしたので、紫外光の強弱によるホワイトバランス調整を精度よく行うことができる。
【００４５】
（４）撮像画面には、４００個の撮像画素１３１および４個の測光画素１７１に対応する画素ブロックが複数設けられる。制御部１０は、複数の画素ブロックの各々について判定を行い、被写体光の光源が第１の光源であると判定された画素ブロックに対応する第１の光電変換信号および第２の光電変換信号によりホワイトバランス制御値を演算する。このようにしたので、意図しないホワイトバランス調整結果をもたらす画素ブロックを除外した、高精度なホワイトバランス調整を行うことができる。
【００４６】
（５）撮像画素１３１は、第１の分光透過率を有する第１光学フィルタ１３０を有する。測光画素１７１は、第２の分光透過率を有する第２光学フィルタ１７０を有する。このようにしたので、撮像画素１３１と測光画素１７１との間で、所望の分光感度特性を容易に設定することができる。
【００４７】
（第２の実施の形態）
図５は、第２の実施の形態に係る撮像装置２の構成を模式的に示す図である。撮像装置２は、制御部２０、撮像光学系２１、撮像素子２３、接眼レンズ２５、および表示装置２９を備える。
【００４８】
制御部２０は、ＣＰＵおよびその周辺回路から構成される。制御部２０は、不図示の記憶媒体から所定の制御プログラムを読み込んで実行することにより、撮像装置２の各部を制御する。なお、制御部２０に相当する構成を、電子回路として実装することも可能である。
【００４９】
所定の光源からの照明光は、被写体の表面で反射し、被写体光として撮像光学系２１に入射する。撮像光学系２１を透過した被写体光は、撮像素子２３に入射する。撮像素子２３は、後述する複数の撮像画素を有する、ＣＣＤやＣＭＯＳ等の撮像素子である。撮像素子２３の撮像面上には、光学フィルタ２３０が設けられている。被写体光は、光学フィルタ２３０を介して撮像素子２３の撮像面に入射する。光学フィルタ２３０は、紫外域の少なくとも一部と、赤外域の少なくとも一部とに対して、高い透過率を有している。例えば光学フィルタ２３０は、１６０ｎｍ〜１２００ｎｍの波長域について、第１の実施の形態で説明した透過率Ｔｔｈ以上の高い透過率を有している。
【００５０】
表示装置２９は、例えば液晶パネルを用いた表示装置である。接眼レンズ２５と表示装置２９は、いわゆる電子ビューファインダーを構成する。制御部２０は、撮像素子２３が出力した光電変換信号により、いわゆるスルー画を生成して表示装置２９に表示する。ユーザは、接眼レンズ２５を介して表示装置２９の表示画面を視認することができる。
【００５１】
図６は、撮像素子２３の構成を示す説明図である。図６には、撮像素子２３の撮像面全体と、その一部領域２３ａを拡大した様子を図示している。撮像素子２３の撮像面には、複数の撮像画素２３１が二次元状に正方配列されている。赤色撮像画素２３１Ｒは赤色のカラーフィルタを備え、赤色の光に感度を有する。緑色撮像画素２３１Ｇは緑色のカラーフィルタを備え、緑色の光に感度を有する。青色撮像画素２３１Ｂは青色のカラーフィルタを備え、青色の光に感度を有する。
【００５２】
本実施の形態において、赤色撮像画素２３１Ｒと緑色撮像画素２３１Ｇと青色撮像画素２３１Ｂとはいわゆるベイヤー配列を形成しているが、そのうちの一部の撮像画素２３１が、赤外撮像画素２３１ＩＲと紫外撮像画素２３１ＵＶとに置き換えられている。赤外撮像画素２３１ＩＲは赤外光（例えば８６０ｎｍ以上の波長の光）に感度を有する。紫外撮像画素２３１ＵＶは紫外光（例えば３６０ｎｍ以下の波長の光）に感度を有する。
【００５３】
本実施の形態において、横２０個×縦２０個の計４００個の撮像画素２３１を１つの撮像画素ブロックと称する。１つの撮像画素ブロック内には、少なくとも１つの赤外撮像画素２３１ＩＲと、少なくとも１つの紫外撮像画素２３１ＵＶとが配置される。赤外撮像画素２３１ＩＲや紫外撮像画素２３１ＵＶによって置き換えられる撮像画素２３１は、赤色撮像画素２３１Ｒ、緑色撮像画素２３１Ｇ、青色撮像画素２３１Ｂのいずれであってもよい。
【００５４】
制御部２０は、オートホワイトバランス処理を、全ての撮像画素ブロックに対応する撮像画素２３１の出力信号を用いるのではなく、一部の撮像画素ブロックに対応する撮像画素２３１の出力信号を用いて実行する。換言すると、制御部２０は、一部の撮像画素ブロックをオートホワイトバランス処理の対象から除外する。以下、制御部２０により、オートホワイトバランス処理の対象から除外される撮像画素ブロックの決定方法について詳述する。
【００５５】
制御部２０は、撮像画素ブロックごとに、赤外撮像画素２３１ＩＲが出力した光電変換信号の信号量の平均値ＩＲ（ｘ，ｙ）、紫外撮像画素２３１ＵＶが出力した光電変換信号の信号量の平均値ＵＶ（ｘ，ｙ）をそれぞれ演算する。被写体光が可視光域の波長のみを含んでいれば、ＩＲ（ｘ，ｙ）とＵＶ（ｘ，ｙ）は両方とも、ごく小さな値になるはずである。これに対して、光源からの光が赤外光や紫外光を含んでいた場合、ＩＲ（ｘ，ｙ）とＵＶ（ｘ，ｙ）のうち少なくとも一方は、ある程度大きな値になる。
【００５６】
制御部１０は、ＩＲ（ｘ，ｙ）と所定のしきい値ＴＨＩＲ、ＵＶ（ｘ，ｙ）と所定のしきい値ＴＨＵＶとをそれぞれ比較する。そして、ＩＲ（ｘ，ｙ）がＴＨＩＲ以上であるか、ＵＶ（ｘ，ｙ）がＴＨＵＶ以上であるか、いずれか少なくとも１つの条件が満たされた場合、その画素ブロックの光源は例えば太陽のように、赤外光や紫外光を含む光を発する光源であり、かつ対応する被写体部分は有彩色を有していると判定する。制御部１０は、そのように判定された画素ブロックをオートホワイトバランス処理の対象から除外する。
【００５７】
図７は、撮像処理のフローチャートである。ユーザにより所定の撮像操作（例えばレリーズスイッチの全押し操作）が為されると、制御部２０は図７に示す撮像処理を実行する。
【００５８】
ステップＳ２３０において、制御部２０は、撮像素子２３により被写体光を光電変換し、光電変換信号を出力する。ステップＳ２５０において、制御部２０は、未選択の撮像画素ブロックを１つ選択する。ここで選択された撮像画素ブロックの座標を（ｘ，ｙ）とおく。ステップＳ２６０において、制御部２０は、ステップＳ２３０で撮像素子２３から出力された光電変換信号により、選択した撮像画素ブロックに対応するＩＲ（ｘ，ｙ）、ＵＶ（ｘ，ｙ）をそれぞれ演算する。
【００５９】
ステップＳ２７０において、制御部２０は、ＩＲ（ｘ，ｙ）がしきい値ＴＨＩＲ以上か否かを判定する。ＩＲ（ｘ，ｙ）がしきい値ＴＨＩＲ以上であった場合、制御部２０は処理をステップＳ３００に進める。ステップＳ３００において制御部２０は、選択した撮像画素ブロックをオートホワイトバランス処理の対象から除外して、処理をステップＳ３１０に進める。他方、ＩＲ（ｘ，ｙ）がしきい値ＴＨＩＲ未満であった場合、制御部２０は処理をステップＳ２８０に進める。
【００６０】
ステップＳ２８０において、制御部２０は、ＵＶ（ｘ，ｙ）がしきい値ＴＨＵＶ以上か否かを判定する。ＵＶ（ｘ，ｙ）がしきい値ＴＨＵＶ以上であった場合、制御部２０は処理をステップＳ３００に進める。ステップＳ３００において制御部２０は、選択した撮像画素ブロックをオートホワイトバランス処理の対象から除外して、処理をステップＳ３１０に進める。他方、ＵＶとに（ｘ，ｙ）がしきい値ＴＨＵＶ未満であった場合、制御部２０は処理をステップＳ３１０に進める。
【００６１】
ステップＳ３１０において、制御部２０は、ステップＳ２５０で全ての撮像画素ブロックを選択し終わったか否かを判定する。未選択の撮像画素ブロックが存在する場合、制御部２０は処理をステップＳ２５０に進める。他方、全ての撮像画素ブロックを選択し終わっていた場合、制御部２０は処理をステップＳ３２０に進める。
【００６２】
ステップＳ３２０において、制御部２０は、周知のオートホワイトバランス処理を、ステップＳ３００で除外された撮像画素ブロック以外の全ての撮像画素ブロックを対象に実行し、赤、緑、青の各々のホワイトバランス制御値を演算する。
【００６３】
ステップＳ３３０において、制御部２０は、ステップＳ３２０で演算されたホワイトバランス制御値を、ステップＳ２３０で撮像素子１３から出力された光電変換信号に対して適用することにより、被写体像の画像データを生成する。制御部２０は、生成した画像データを、例えば不図示の記憶媒体に記憶したり、不図示の表示装置に表示したりする。
【００６４】
なお、画像データを生成する際、赤外撮像画素２３１ＩＲおよび紫外撮像画素２３１ＵＶにより置き換えられた撮像画素２３１から本来得られるはずであった光電変換信号は、周囲に存在する同色の撮像画素２３１から出力された光電変換信号を用いて補完することが望ましい。例えば、赤外撮像画素２３１ＩＲおよび紫外撮像画素２３１ＵＶが赤色撮像画素２３１Ｒを置き換えていた場合、赤外撮像画素２３１ＩＲおよび紫外撮像画素２３１ＵＶの上下左右最至近に位置する４つの赤色撮像画素２３１Ｒにより出力された光電変換信号の平均値を、その位置に本来存在していたはずの赤色撮像画素２３１Ｒの出力値として扱えばよい。
【００６５】
上述した実施の形態によれば、次の作用効果が得られる。
（１）赤色撮像画素２３１Ｒ、緑色撮像画素２３１Ｇ、および青色撮像画素２３１Ｂは、第１の分光感度特性を有し、被写体光を光電変換して第１の光電変換信号を出力する。赤外撮像画素２３１ＩＲおよび紫外撮像画素２３１ＵＶは、第２の分光感度特性を有し、被写体光を光電変換して第２の光電変換信号を出力する。制御部１０は、第１の光電変換信号と第２の光電変換信号とによりホワイトバランス制御値を演算する。このようにしたので、ホワイトバランス調整を好適に行うことができる。
【００６６】
（２）第２の分光感度特性は、赤外光および紫外光に対する感度が、第１の分光感度特性よりも高い。このようにしたので、画像データの生成に用いる撮像画素２３１では、紫外光や赤外光を十分にカットして色収差等を除去しつつ、赤外光および紫外光を考慮したホワイトバランス調整を行うことができる。
【００６７】
（３）制御部１０は、第２の光電変換信号の信号量が所定量以上である場合、被写体光の光源が第１の光源であると判定し、信号量が所定量未満である場合、被写体光の光源が第１の光源よりも紫外光の出力が弱い第２の光源であると判定する。制御部１０は、その判定の結果を用いてホワイトバランス制御値を演算する。このようにしたので、赤外光および紫外光の強弱によるホワイトバランス調整を精度よく行うことができる。
【００６８】
（４）撮像画面には、４００個の撮像画素２３１に対応する撮像画素ブロックが複数設けられ、各々の撮像画素ブロックには、少なくとも１つの赤外撮像画素２３１ＩＲおよび紫外撮像画素２３１ＵＶが含まれる。制御部１０は、複数の撮像画素ブロックの各々について判定を行い、被写体光の光源が第１の光源であると判定された画素ブロックに対応する第１の光電変換信号によりホワイトバランス制御値を演算する。このようにしたので、意図しないホワイトバランス調整結果をもたらす画素ブロックを除外した、高精度なホワイトバランス調整を行うことができる。
【００６９】
次のような変形も本発明の範囲内であり、変形例の一つ、もしくは複数を上述の実施形態と組み合わせることも可能である。
【００７０】
（変形例１）
上述した各実施の形態において、赤外光や紫外光を含む光を発する光源からの光が入射し、かつ対応する被写体部分は有彩色を有していると判定された画素ブロックは、オートホワイトバランス処理の対象から除外されていた。そのように判定された画素ブロックが、オートホワイトバランス処理においてこれとは異なる扱いを受けるようにしてもよい。
【００７１】
例えば、撮像画面全体において、上述のように判定された画素ブロックの数をカウントする。そして、カウントした数が所定数未満である場合には、例えば３５００Ｋ〜８０００Ｋ程度の色温度範囲によりホワイトバランス制御値を演算する。他方、カウントした数が所定数以上である場合には、例えば４５００Ｋ〜６０００Ｋ程度の、より狭い色温度範囲によりホワイトバランス制御値を演算する。このような処理を行うことで、単に特定の画素ブロックを処理対象から除外するのみならず、そのような画素ブロックの存在を、より効果的にホワイトバランス処理に活用することができる。なお、上述のように判定された画素ブロックの数に応じて、色温度範囲を段階的に変化させることも可能である。
【００７２】
また別の例として、パターン認識技術を用いた周知のシーン認識処理や照明判別処理と組み合わせることも可能である。例えば、撮像素子２３の出力に対してパターン認識処理を適用した結果、照明は赤外光や紫外光をほとんど含まない光を発する光源であると判別されたとする。これに対して、上述のカウントした数が所定数以上であれば、パターン認識処理による照明判別には誤りが含まれている可能性が高い。そこで、パターン認識処理による照明判別を補正し、照明が赤外光や紫外光をほとんど含まない光を発する光源であるという判別結果に置き換える。このような処理を行うことで、複数の手法を組み合わせた、より高精度なホワイトバランス調整を行うことができる。
【００７３】
上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。
【００７４】
例えば、上述した各実施の形態において例示した数値は、種々の波長、透過率、画素ブロックを構成する画素数など、いずれも上述した作用効果を奏する範囲内で任意に変更可能である。
【符号の説明】
【００７５】
１、２…撮像装置、１０、２０…制御部、１１、２１…撮像光学系、１３、２３…撮像素子、１７…測光センサ、１８…ＲＯＭ、１３０…第１光学フィルタ、１３１、２３１…撮像画素、１７０…第２光学フィルタ、１７１…測光画素、
【図１】
2017123502.tif 000003
【図２】
2017123502.tif 000004
【図３】
2017123502.tif 000005
【図４】
2017123502.tif 000006
【図５】
2017123502.tif 000007
【図６】
2017123502.tif 000008
【図７】
2017123502.tif 000009