(57)【要約】【課題】被写体の状況に応じて、ハレーションの発生を抑制するとともに、画像の画質低下を抑制することを目的とする。【解決手段】撮像装置は、入射光から、可視光のうち第１の波長域の光以外の全部または一部をカットする１または複数の光学フィルタにより構成される第１の光学フィルタと、第１の光学フィルタを透過した光から、可視光のうち第１の波長域の光以外の光をカットする第１のカラーフィルタを有する第１の画素および可視光のうち前記第１の波長域とは異なる第２の波長域の光以外の光をカットする第２のカラーフィルタを有する第２の画素を含む固体撮像素子と、第１の画素から取得した画像信号に基づいて、結像光学系の光路に対する第１の光学フィルタの挿抜制御を行う制御手段と、を備える。【選択図】図１
2020101625.tif 000002
【特許請求の範囲】
【請求項１】
入射光から、可視光のうち第１の波長域の光以外の全部または一部をカットする１または複数の光学フィルタにより構成される第１の光学フィルタと、
前記第１の光学フィルタを透過した光から、前記可視光のうち前記第１の波長域の光以外の光をカットする第１のカラーフィルタを有する第１の画素および前記可視光のうち前記第１の波長域とは異なる第２の波長域の光以外の光をカットする第２のカラーフィルタを有する第２の画素を含む固体撮像素子と、
前記第１の画素から取得した画像信号に基づいて、結像光学系の光路に対する前記第１の光学フィルタの挿抜制御を行う制御手段と、
を備えることを特徴とする撮像装置。
【請求項２】
前記制御手段は、前記光路に前記第１の光学フィルタが挿入されている際に、前記第２の画素から取得した画像信号に基づいて、撮影画像を生成することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記制御手段は、前記第１の画素から取得した画像信号の第１の出力レベルと前記第２の画素から取得した画像信号の第２の出力レベルとの差分を示す評価値に基づいて、前記第１の光学フィルタの挿抜制御を行うことを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記制御手段は、前記第１のカラーフィルタにおける赤外光を含み前記第１の波長域および前記第２の波長域とは異なる第３の波長域の光の分光透過率と前記第２のカラーフィルタにおける前記第３の波長域の光の分光透過率とを加味して、前記評価値を求めることを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記制御手段は、前記評価値と所定の基準値との比較結果に応じて挿抜制御を行う際、前記撮影画像のＳＮ比が高くなるに応じて、前記所定の基準値を高く設定することを特徴とする請求項３または４に記載の撮像装置。
【請求項６】
前記制御手段は、前記第１の出力レベルが第１の閾値以上の領域であり且つ当該領域の大きさが第１の範囲以上である第１の領域を特定した場合、特定された前記第１の領域を対象として前記評価値を求めることを特徴とする請求項３乃至５のうち何れか１項に記載の撮像装置。
【請求項７】
前記制御手段は、前記第１の画素から取得した画像信号の第１の出力レベルが第１の閾値以上の領域であり且つ当該領域の大きさが第１の範囲以上である第１の領域と、前記第２の画素から取得した画像信号の第２の出力レベルが第２の閾値以上の領域であり且つ当該領域の大きさが第２の範囲以上である第２の領域とが重なっている部分の相関係数に基づいて、前記第１の光学フィルタの挿抜制御を行うことを特徴とする請求項１または２に記載の撮像装置。
【請求項８】
前記制御手段は、前記第１の領域および前記第２の領域が複数検出された場合、複数の前記相関係数のうち最も高い相関係数に基づいて、前記第１の光学フィルタの挿抜制御を行うことを特徴とする請求項７に記載の撮像装置。
【請求項９】
前記第１の波長域の光は青色の光であることを特徴とする請求項１乃至８のうち何れか１項に記載の撮像装置。
【請求項１０】
前記第１の画素と前記第２の画素とを含む前記固体撮像素子の各画素の配列はベイヤー配列であり、前記第２の波長域の光は緑色の光であることを特徴とする請求項１乃至９のうち何れか１項に記載の撮像装置。
【請求項１１】
前記第１の光学フィルタは、前記可視光のうち前記第１の波長域の光以外の全部をカットする光学フィルタであることを特徴とする請求項１乃至１０のうち何れか１項に記載の撮像装置。
【請求項１２】
前記第１の光学フィルタは、前記可視光のうち前記第１の波長域および前記第２の波長域とは異なる第４の波長域の光を透過させる第２の光学フィルタであり、
前記固体撮像素子は、前記第１の光学フィルタを透過した光から、前記可視光のうち前記第４の波長域の光以外の光をカットする第３のカラーフィルタを有する第３の画素をさらに含み、
前記制御手段は、前記第１の画素から取得した画素信号と前記第３の画素から取得した画素信号とのうち何れかの画素信号に基づいて、前記結像光学系の光路に対する前記第２の光学フィルタの挿抜制御を行うことを特徴とする請求項１乃至１１のうち何れか１項に記載の撮像装置。
【請求項１３】
前記制御手段は、前記第３の画素から取得した画素信号の出力レベルに対する前記第１の画素から取得した画素信号の出力レベルの比に応じて、前記第１の画素から取得した画素信号と前記第３の画素から取得した画素信号とのうち何れを用いるかを決定することを特徴とする請求項１２に記載の撮像装置。
【請求項１４】
前記可視光のうち前記第１の波長域の光および前記第２の波長域の光をカットする１または複数の光学フィルタにより構成される第３の光学フィルタをさらに備え、
前記固体撮像素子は、前記可視光のうち前記第１の波長域および前記第２の波長域とは異なる第４の波長域の光以外の光をカットする第３のカラーフィルタを有する第３の画素をさらに含み、
前記制御手段は、前記第３の画素から取得した画素信号の出力レベルに対する前記第１の画素から取得した画素信号の出力レベルの比に応じて、前記第１の光学フィルタと前記第３の光学フィルタとのうち何れかを前記光路に挿入する制御を行うことを特徴とする請求項１乃至１１のうち何れか１項に記載の撮像装置。
【請求項１５】
前記制御手段は、前記出力レベルの比に応じて、前記第１の画素と前記第３の画素とのうち何れを使用するかを決定することを特徴とする請求項１４に記載の撮像装置。
【請求項１６】
前記制御手段は、前記第１の画素から取得した画像信号の第１の出力レベルと前記第２の画素から取得した画像信号の第２の出力レベルとの差分を示す他の評価値に基づいて、赤外カットフィルタと前記第１の光学フィルタとの何れかを前記光路に挿入する制御を行うことを特徴とする請求項３に記載の撮像装置。
【請求項１７】
前記他の評価値を求めるために用いられる前記第１の画素および前記第２の画素の領域は、前記評価値を求めるために用いられる前記第１の画素および前記第２の画素の領域よりも広いことを特徴とする請求項１６に記載の撮像装置。
【請求項１８】
入射光から、可視光のうち第１の波長域の光以外の全部または一部をカットする１または複数の光学フィルタにより構成される第１の光学フィルタと、前記第１の光学フィルタを透過した光から、前記可視光のうち前記第１の波長域の光以外の光をカットする第１のカラーフィルタを有する第１の画素および前記可視光のうち前記第１の波長域とは異なる第２の波長域の光以外の光をカットする第２のカラーフィルタを有する第２の画素を含む固体撮像素子と、を有する撮像装置と通信を行い、前記第１の画素から取得した画像信号に基づいて、結像光学系の光路に対する前記第１の光学フィルタの挿抜制御を前記撮像装置に対して行う制御手段、
を備えることを特徴とする電子機器。
【請求項１９】
入射光から、可視光のうち第１の波長域の光以外の全部または一部をカットする１または複数の光学フィルタにより構成される第１の光学フィルタと、前記第１の光学フィルタを透過した光から、前記可視光のうち前記第１の波長域の光以外の光をカットする第１のカラーフィルタを有する第１の画素および前記可視光のうち前記第１の波長域とは異なる第２の波長域の光以外の光をカットする第２のカラーフィルタを有する第２の画素を含む固体撮像素子と、を有する撮像装置の制御方法であって、
前記第１の画素から取得した画像信号に基づいて、結像光学系の光路に対する前記第１の光学フィルタの挿抜制御を行う工程、
を備えることを特徴とする撮像装置の制御方法。
【請求項２０】
請求項１９に記載の撮像装置の制御方法をコンピュータに実行させるためのコンピュータが読み取り可能なプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、光学フィルタの挿抜制御を行う撮像装置、電子機器、撮像装置の制御方法およびプログラムに関する。
【背景技術】
【０００２】
公道監視等の用途に用いられる撮像装置には、夜間等の低照度時にも鮮明な被写体像を取得することが要求される。低照度時にも鮮明な被写体像を取得するために、可視光だけでなく、赤外光にも感度を持つ固体撮像素子を有する撮像装置が提案されている。この撮像装置は、可視光および赤外光による画像を取得することができる。上記撮像装置を用いた夜間撮影において、撮像装置の画角内に、高輝度の被写体が入った場合、取得した画像に所謂ハレーションと呼ばれる現象が発生することがある。例えば、車のヘッドライト等の高輝度の被写体が撮像装置の画角内に入った場合、ヘッドライト周辺のナンバープレート等が白トビする。この現象を一般的にハレーションと呼ぶ。
【０００３】
関連する技術として、監視カメラ等に用いられる撮像装置が提案されている（特許文献１を参照）。この撮像装置は、可視光カットフィルタを光路に挿入した後、所定の時間が経過したら、再度、可視光カットフィルタを退避させ、可視光成分がイメージセンサに入射するように制御している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１６−２２０００２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
撮像装置の画角内に高輝度な被写体が入った場合、可視光カットフィルタが挿入されることで、白トビを抑制した画像を取得することができる。一方、撮像装置の画角内に高輝度な被写体が存在しない場合において、可視光カットフィルタが光路上に挿入されていると、固体撮像素子に入射する光量が低下する。このため、取得される画像のＳＮ比が低下する。例えば、車のヘッドライトが消灯した場合や、車そのものが撮像装置の画角外に出た場合には、ハレーション抑制のための可視光カットフィルタが光路上に挿入される必要はない。可視光カットフィルタが光路上に挿入されていると、取得される画像のＳＮ比が低下する。
【０００６】
特許文献１の撮像装置は、可視光カットフィルタを光路に挿入した後、所定の時間が経過したら、再度、可視光カットフィルタを退避させる制御を行っているが、高輝度な被写体が撮像装置の画角に入るタイミングは一定であるとは限らない。このため、高輝度な被写体が撮像装置の画角内に入っているにもかかわらず、可視光カットフィルタが光路から抜去される可能性もある。この場合、取得された画像にハレーションの影響が生じる。また、高輝度な被写体が撮像装置の画角内に存在しないにもかかわらず、可視光カットフィルタが光路に挿入される場合もある。この場合、取得される画像のＳＮ比が低下し、画像の画質が低下する。
【０００７】
本発明の目的は、被写体の状況に応じて、ハレーションの発生を抑制するとともに、画像の画質低下を抑制することにある。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、本発明の撮像装置は、入射光から、可視光のうち第１の波長域の光以外の全部または一部をカットする１または複数の光学フィルタにより構成される第１の光学フィルタと、前記第１の光学フィルタを透過した光から、前記可視光のうち前記第１の波長域の光以外の光をカットする第１のカラーフィルタを有する第１の画素および前記可視光のうち前記第１の波長域とは異なる第２の波長域の光以外の光をカットする第２のカラーフィルタを有する第２の画素を含む固体撮像素子と、前記第１の画素から取得した画像信号に基づいて、結像光学系の光路に対する前記第１の光学フィルタの挿抜制御を行う制御手段と、を備えることを特徴とする。
【発明の効果】
【０００９】
本発明によれば、ハレーションの発生を抑制するとともに、画像の画質低下を抑制することができる。
【図面の簡単な説明】
【００１０】
【図１】第１実施形態に係る撮像装置の構成例を示す図である。
【図２】画素の配置例および各カラーフィルタの分校透過率の例を示す図である。
【図３】第１の光学フィルタの透過スペクトルを示す図である。
【図４】第１実施形態における各画素に入射する光を説明する模式図である。
【図５】第１実施形態の処理の流れを示すフローチャートである。
【図６】第２実施形態に係る撮像装置の構成例を示す図である。
【図７】第２の光学フィルタの透過スペクトルを示す図である。
【図８】第２実施形態における各画素に入射する光を説明する模式図である。
【図９】第２実施形態の処理の流れを示すフローチャートである。
【図１０】第２実施形態の変形例の処理の流れを示すフローチャートである。
【図１１】第３実施形態に係る撮像装置の構成例を示す図である。
【図１２】３つのモードの切り替え方法を示すテーブルおよび各モードにおける光学フィルタの挿抜制御方法のテーブルを示す図である。
【図１３】監視システムの構成例を示す図である。
【発明を実施するための形態】
【００１１】
以下、本発明の各実施の形態について図面を参照しながら詳細に説明する。しかしながら、以下の各実施の形態に記載されている構成はあくまで例示に過ぎず、本発明の範囲は各実施の形態に記載されている構成によって限定されることはない。
【００１２】
＜第１実施形態＞
以下、図面を参照して、各実施形態について説明する。図１は、第１の実施形態に係る撮像装置１００の構成例を示す図である。撮像装置１００は、結像光学系１０１、固体撮像素子１０２、制御部１０３、第１の光学フィルタ１０４および挿抜制御部１０５を有する。第１の光学フィルタ１０４は、固体撮像素子１０２よりも光の入射側（−Ｚ側）に挿入可能である。制御手段としての制御部１０３は、固体撮像素子１０２の駆動動作および画素信号の読み出し動作に関する制御を行う。制御部１０３は、ＣＰＵ１０６、ＲＡＭ１０７およびＲＯＭ１０８を有する。ＲＯＭ１０８に記憶された制御プログラムがＲＡＭ１０７に展開され、ＲＡＭ１０７に展開された制御プログラムをＣＰＵ１０６が実行することにより、制御部１０３の機能が実現されてもよい。制御部１０３は、ＦＰＧＡ等のプログラミング回路により実現されてもよい。
【００１３】
固体撮像素子１０２は、結像光学系１０１の光軸上に配置される。結像光学系１０１から入射した光（入射光）により、固体撮像素子１０２上に被写体像が結像する。固体撮像素子１０２は、後述する光電変換部を有する。光電変換部は、可視光の少なくとも一部、および赤外光の少なくとも一部に、吸収を有する素材により形成される。例えば、光電変換部は、ＳｉやＩｎＧａＡｓ、ｃ−ＳｅやＰｂＳ量子ドット等の光電変換膜、或いは有機半導体等の半導体材料で形成されてよい。以下、波長３８０ｎｍから７５０ｎｍまでの波長域の光を可視光とする。また、波長７５０ｎｍから２５００ｎｍまでの波長域の光を赤外光とする。例えば、吸収を有するとは、所定の波長域において、消衰係数が１×１０−３以上であることを意味する。光電変換部の材料としてＳｉを使用した場合、Ｓｉの吸収端は１１００ｎｍである。この場合、Ｓｉを使用した光電変換部は、可視光の波長域の光、および、波長７５０ｎｍ以上且つ１１００ｎｍ以下の帯域の赤外光に吸収を有する。
【００１４】
図２（Ａ）は、固体撮像素子１０２中の画素の配置例を示した図である。固体撮像素子１０２中には、複数の画素（後述する、第１の画素１１２Ｂ、第２の画素１１２Ｇおよび第３の画素１１２Ｒ）が、所謂ベイヤー配列で配置されている。画素数および配列の態様は、図２（Ａ）の例には限定されず、固体撮像素子１０２中の各画素の配列は、所謂ベイヤー配列でなくてもよい。ただし、各色のうち比視感度は緑色が最も高いことから、各画素の配列は、ベイヤー配列であるほうが好ましい。
【００１５】
第１の画素１１２Ｂは、第１の波長域（青色）の光および第３の波長域（赤外光の一部）の光を選択的に透過させ、可視光のうち第１の波長域（青色）以外の光を選択的に吸収する第１のカラーフィルタ１１１Ｂを有する。第１の画素１１２Ｂは、青色用画素である。第２の画素１１２Ｇは、第２の波長域（緑色）の光および第３の波長域（赤外光の一部）を選択的に透過させ、可視光のうち第２の波長域（緑色）以外の光を選択的に吸収する第２のカラーフィルタ１１１Ｇを有する。第２の画素１１２Ｇは、緑色用画素である。第３の画素１１２Ｒは、赤色の光および第３の波長域（赤外光の一部）を選択的に透過させるカラーフィルタ１１１Ｒを有する。第３の画素１１２Ｒは、赤色用画素である。第３の波長域は赤外光の波長域であれば、任意の波長域でもよい。固体撮像素子１０２中の光電変換部をＳｉで形成した場合、第３の波長域は１１００ｎｍ以下であることが好ましい。Ｓｉの吸収端は１１００ｎｍであり、１１００ｎｍ以上の光には感度を有さないためである。
【００１６】
第１（第２）および第３の波長帯域の光を選択的に透過させ、第２（第１）の波長帯域の光を選択的に吸収するとは、第１（第２）および第３の波長帯域の光の平均的な透過率が、第２（第１）の波長帯域の光の透過率の平均の１．５倍以上であることを意味する。更に、第１（第２）および第３の波長帯域の光の平均的な透過率が、第２（第１）の波長帯域の光の平均的な透過率の２倍以上であれば好ましく、５倍以上であれば更に好ましい。
【００１７】
図２（Ｂ）は、各カラーフィルタ１１１Ｒ、１１１Ｇおよび１１１Ｂの分光透過率の例を示す。第１のカラーフィルタ１１１Ｂは、波長が３８０ｎｍ以上且つ５００ｎｍ以下の第１の波長域（青色）の光を選択的に透過させる。第２のカラーフィルタ１１１Ｇは、波長が５００ｎｍ以上で且つ６００ｎｍ以下の第２の波長域（緑色）の光を選択的に透過させる。第３のカラーフィルタ１１１Ｒは、波長が６００ｎｍ以上且つ７５０ｎｍ以下の赤色の光を選択的に透過させる。また、各カラーフィルタ１１１Ｒ、１１１Ｇおよび１１１Ｂは、波長が８５０ｎｍ以上であり且つ１０５０ｎｍ以下の赤外光も透過させる。各カラーフィルタ１１１Ｒ、１１１Ｇおよび１１１Ｂは、染料や顔料等の色素で形成されている。
【００１８】
図３は、第１の光学フィルタ１０４の透過スペクトルを示す図である。第１の光学フィルタ１０４は、第１の波長域の光、および第３の波長域の光を選択的に透過し、可視光のうち第１の波長域以外の全部または一部の光を選択的に吸収する。第１実施形態では、第１の光学フィルタ１０４は、可視光のうち第１の波長域以外の全部の光を選択的に吸収する。これにより、第１の光学フィルタ１０４は、青色の光および赤外光の一部を透過し、緑色の光および赤色の光をカットする。第１の光学フィルタ１０４を構成する色素等の材料の含有量を制御することで、透過スペクトルを、図３に示されるような形状に制御することができる。また、第１の光学フィルタ１０４は、１枚の光学フィルタにより実現されてもよいが、複数枚の光学フィルタにより構成されていてもよい。第１の光学フィルタ１０４が１枚の光学フィルタにより構成される場合、第１の光学フィルタ１０４は、上述した透過スペクトルを有する。第１の光学フィルタ１０４が複数枚の光学フィルタにより構成される場合、第１の光学フィルタ１０４は、例えば、緑色の光をカットする光学フィルタと赤色の光をカットする光学フィルタとにより構成される。この場合、緑色の光をカットする光学フィルタと赤色の光をカットする光学フィルタとは１組で挿抜制御がされる。
【００１９】
例えば、挿抜制御部１０５は、モーターとギアとで構成される。制御部１０３が、挿抜制御部１０５のモーターに流れる電流を制御することで、第１の光学フィルタ１０４を撮像レンズの光軸とは異なる方向（例えば、Ｘ方向）に動かすことができる。その結果、撮像装置１００は、第１の光学フィルタ１０４を結像光学系１０１の光路に対して挿抜することが可能な構成となっている。
【００２０】
本実施形態では、制御部１０３は、第１の光学フィルタ１０４が結像光学系１０１の光路に挿入されている場合に、第１の画素１１２Ｂで取得した画素信号に基づいて、第１の光学フィルタ１０４を、結像光学系１０１の光路から抜去するかを判定する。制御部１０３は、判定結果に応じて、第１の光学フィルタ１０４を抜去するか否かを制御する。これにより、被写体の状況に応じて、ハレーションを抑制した画像とＳＮ比の高い画像とのうち、所望の画像を取得することができる。
【００２１】
ここで、結像光学系１０１からの入射光の光路に可視光カットフィルタが挿入された場合、撮影された画像は、赤外光のみの強度分布の情報から得られる画像である。ハレーションの原因となるのは可視光であるため、可視光カットフィルタを挿入すれば、ハレーションが抑制された撮影画像を取得することができる。しかし、赤外光のみの強度分布の情報による撮影画像からは、ハレーションの原因となる可視光の強度分布の情報を取得することができない。このため、可視光カットフィルタが光路に挿入された状態で撮影画像を取得している最中に、可視光カットフィルタを抜去するタイミングを判定することができない。
【００２２】
そこで、本実施形態の撮像装置１００は、第２の画素１１２Ｇで取得した画素信号を用いて、赤外光のみの強度分布の情報から生成される撮影画像を取得しつつ、第１の画素１１２Ｂで取得した画素信号を用いて、可視光の強度分布の情報も同時に取得している。その結果、第２の画素１１２Ｇで取得した画素信号を用いてハレーションを抑制した画像を取得することができるとともに、第１の画素１１２Ｂで取得した画素信号により、可視光カットフィルタを抜去するタイミングを判定することができる。
【００２３】
図４は、第１の光学フィルタ１０４が結像光学系１０１の光路に挿入された状態で、撮像装置１００に入射した複数の色の光のうち、第１の画素１１２Ｂおよび第２の画素１１２Ｇに入射する光を説明する模式図である。図４は、第１の波長域（青色）の光１１３Ｂ、第２の波長域（緑色）の光１１３Ｇおよび第３の波長域（赤外光の一部）の光１１３Ｉの３つの波長域の光を矢印で示している。図４に示されるように、第１の光学フィルタ１０４、第１のカラーフィルタ１１１Ｂまたは第２のカラーフィルタ１１１Ｇは、その特性に応じて、入射した複数の色の光を吸収する。矢印が途切れた部分は、光学フィルタまたはカラーフィルタにより、対応する波長域の光が吸収されたことを表す。
【００２４】
撮像装置１００に入射した光は、結像光学系１０１を通って、第１の光学フィルタ１０４に到達する。図４において、第１の光学フィルタ１０４は、第２の波長域の光１１３Ｇを吸収し、第１の波長域の光１１３Ｂおよび第３の波長域の光１１３Ｉを透過させる。第１の光学フィルタ１０４を透過した光１１３Ｂおよび光１１３Ｉは、固体撮像素子１０２に到達し、第１の画素１１２Ｂおよび第２の画素１１２Ｇにそれぞれ入射する。第１の画素１１２Ｂ中のカラーフィルタ１１１Ｂおよび第２の画素１１２Ｇ中のカラーフィルタ１１２Ｇは、特性に応じて、光を吸収する。具体的には、第１のカラーフィルタ１１１Ｂは、光１１３Ｂおよび光１１３Ｉをともに透過させる。また、第２のカラーフィルタ１１１Ｇは、光１１３Ｂを吸収して、光１１３Ｉを透過させる。以上より、第１の画素１１２Ｂの光電変換部には、第１の波長域（青色）の光１１３Ｂおよび第３の波長域（赤外光の一部）の光１１３Ｉが入射する。また、第２の画素１１２Ｇの光電変換部には第３の波長域（赤外光の一部）の光１１３Ｉのみが入射する。
【００２５】
固体撮像素子１０２の各画素で取得された画素信号は、制御部１０３に送られる。そして、制御部１０３は、第２の画素１１２Ｇで取得された画素信号に基づいて、第１の撮影画像を生成する。第２の画素１１２Ｇには第３の波長域（赤外光の一部）の光のみが入射するため、第２の画素１１２Ｇで取得した画素信号から生成された第１の撮影画像は、ハレーションが抑制された画像である。
【００２６】
次に、第１の光学フィルタ１０４の挿抜制御の判定について説明する。制御部１０３は、ハレーションが抑制された画像を生成するとともに、第１の画素１１２Ｂで取得された画素信号から、第１の光学フィルタ１０４を挿抜するか否かを判定する挿抜評価値（評価値）を生成する。具体的には、制御部１０３は、第１の画素１１２Ｂで取得された画素信号の出力レベルと、第２の画素１１２Ｇで取得された画素信号の出力レベルの差分を挿抜評価値として生成する。第１の画素１１２Ｂには、第３の波長域（赤外光の一部）に加え、第１の波長域（青色）の光が入射する。制御部１０３は、第１の画素１１２Ｂから取得した画素信号の出力レベルと、第２の画素１１２Ｇから取得した画素信号の出力レベルとの差分を求める。制御部１０３は、求められた出力レベルの差分（挿抜評価値）から、第１の波長域（青色）の光の強度分布の情報を取得することができる。挿抜評価値は、差分を示す値に対応する。
【００２７】
従って、制御部１０３は、挿抜評価値により、ハレーションの原因となる可視光の強度分布の情報を取得することができる。例えば、挿抜評価値が高い場合、制御部１０３は、ハレーションの原因となる可視光の強度が強いと判定できる。制御部１０３は、結像光学系１０１の光路に第１の光学フィルタ１０４が挿入されている状態で、挿抜評価値が所定の基準値以上であると判定した場合、第１の光学フィルタ１０４を挿入したままとする。
また、制御部１０３は、挿抜評価値が所定の基準値未満である場合に、結像光学系１０１の光路に第１の光学フィルタ１０４を抜去する制御を行う。このように、制御部１０３は、第１の波長域の光の挿抜評価値に基づいて、第１の光学フィルタ１０４を抜去するタイミングを判定することができる。従って、ハレーションを抑制した画像とＳＮ比の高い画像とのうち、所望の画像を取得することができる。つまり、被写体の状況に応じて、ハレーションが発生した画像を取得することを抑制できるとともに、ＳＮ比の低下による画質の低下を抑制できる。
【００２８】
制御部１０３において、第１の画素１１２Ｂで取得した画素信号の出力レベルと、第２の画素１１２Ｇで取得した画素信号の出力レベルの差分を求める時には、単純に差分を行っても良いが、以下のように求めた方が好ましい。
挿抜評価値＝ｋ１×β−ｋ２×γ・・・（式１）
【００２９】
上記式１において、βは、第１の画素１１２Ｂから取得した画素信号の出力レベル（第１の出力レベル）である。γは、第２の画素１１２Ｇから取得した画素信号の出力レベルで（第２の出力レベル）ある。ｋ１およびｋ２は、第１の画素１１２Ｂと第２の画素１１２Ｇとの第３の波長域の透過率の相違を補正する係数である。図２（Ｂ）に示されるように、第１のカラーフィルタ１１１Ｂと第２のカラーフィルタ１１１Ｇとの第３の波長域（赤外光の一部）における分光透過率は、必ずしも等しくない。
【００３０】
従って、制御部１０３は、ｋ１およびｋ２を、以下の式２Ａおよび式２Ｂにより求める。
ｋ１＝１／ＶＢ・・・（式２Ａ）
ｋ２＝１／ＶＧ・・・（式２Ｂ）
【００３１】
以上の式２Ａにおいて、ＶＢは、第１のカラーフィルタ１１１Ｂの第３の波長域における分光透過率の積分値である。また、式２Ｂにおいて、ＶＧは、第２のカラーフィルタ１１１Ｇの第３の波長域における分光透過率の積分値である。つまり、制御部１０３は、第１の画素１１２Ｂから取得した画素信号の出力レベルβを、第１のカラーフィルタ１１２Ｂの第３の波長域における分光透過率の積分値ＶＢで除算する。また、制御部１０３は、第２の画素１１２Ｇから取得した画素信号の出力レベルγを、第２のカラーフィルタ１１２Ｇの第３の波長域における分光透過率の積分値ＶＧで除算する。そして、制御部１０３は、上記の式１により挿抜評価値を求める。これにより、第１のカラーフィルタ１１１Ｂと第２のカラーフィルタ１１１Ｇとの第３の波長域における分光透過率の相違を補正することができる。分光透過率の相違が補正されることで、第１の波長域（青色）の光の強度分布の情報が、より正確に取得される。
【００３２】
また、制御部１０３は、上述した挿抜評価値を、固体撮像素子１０２中の全ての第１の画素１１２Ｂおよび第２の画素１１２Ｇから取得した画素信号から求めることができる。ただし、制御部１０３は、固体撮像素子１０２中の一部の第１の画素１１２Ｂおよび第２の画素１１２Ｇから取得した画素信号から求めてもよい。制御部１０３は、複数の画素信号から求める場合、複数の画素信号を単純平均して求めてもよいし、一部の画素に重みづけを行って平均値を求めてもよい。制御部１０３は、固体撮像素子１０２中の一部の画素から取得した画素信号から挿抜評価値を求める場合、挿抜評価値を求める領域を、第１の画素１１２Ｂから取得した画素信号または第２の画素１１２Ｇから取得した画素信号の情報から決定してもよい。
【００３３】
例えば、制御部１０３は、第１の画素１１２Ｂで取得した画素信号から、第１の波長域の光および第３の波長域の光についての強度分布の情報を有する第２の撮影画像を生成する。制御部１０３は、第２の撮影画像に、画素信号の出力レベルが第１の閾値以上の画素の領域が存在し、且つ当該領域の大きさが第１の範囲以上である領域を第１の領域として特定する。第２の撮影画像に第１の領域が存在する場合、撮像装置１００の画角内に高輝度な被写体が入っている可能性がある。つまり、第１の領域には、ハレーションを引き起こす高輝度な被写体が存在する可能性がある。
【００３４】
そこで、制御部１０３は、第１の領域を対象として、画素１１２Ｂで取得した画素信号の出力レベルと、画素１１２Ｇで取得した画素信号の出力レベルの差分の平均値を求めて、求められた平均値を挿抜評価値としてもよい。これにより、ハレーションの原因となる可能性がある被写体が存在する第１の領域に絞って、第１の波長域（青色）の光の強度の情報を取得することができる。その結果、制御部１０３は、第１の光学フィルタ１０４を抜去するか否かを、より正確に判定することができる。第１の閾値は、第２の撮影画像中における全画素の画素出力レベルの平均値に対して１．５倍以上の値に設定されていると好ましく、上記平均値に対して３倍以上であれば更に好ましい。また、上記第１の範囲は、第２の撮影画像の全範囲に対して１／１００以上であると好ましい。上記第１の範囲は、第２の撮影画像の全範囲に対して１／４以下であると好ましい。
【００３５】
また、制御部１０３は、第１の画素１１２Ｂから取得した画素信号に基づいて生成された第２の撮影画像、および第２の画素１１２Ｇから取得した画素信号に基づいて生成された第１の撮影画像の輝度分布の拡がり情報から、挿抜評価値を求めてもよい。例えば、制御部１０３は、上述した第２の撮影画像のうちの第１の領域を特定する。また、制御部１０３は、第１の撮影画像に、画素信号の出力レベルが第２の閾値以上の画素の領域が存在し、且つ当該領域の大きさが第２の範囲以上である領域を第２の領域として特定する。制御部１０３は、第１の領域と第２の領域とが重なっている部分の相関係数を、挿抜評価値としてもよい。制御部１０３は、上記相関係数を例えば、ＳＳＤ（Ｓｕｍ ｏｆ  Ｓｑｕａｒｅｄ  Ｄｉｆｆｅｒｅｎｃｅ）やＳＡＤ（Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅ）等により求めてもよい。
【００３６】
上述したように、第２の画素１１２Ｇには、第３の波長域（赤外光の一部）の光のみが入射する。一方、第１の画素１１２Ｂには、第３の波長域（赤外光の一部）に加えて、第１の波長域（青色）の光が入射する。従って、第２の領域は、第３の波長域の光が多く入射している領域である。また、第１の領域は、第３の波長域の光と第１の波長域の光との合計の入射光量が多い領域である。第１の領域と第２の領域との差異が小さいほど、第２の領域に入射している光のうち、第１の波長域の光の割合は少ないと推測できる。そのため、制御部１０３は、第１の領域と第２の領域の重なり割合を挿抜評価値とし、挿抜評価値が所定の基準値未満である場合に、第１の光学フィルタ１０４を光路から抜去する制御を行ってもよい。
【００３７】
制御部１０３は、第１領域および第２の領域が複数検出された場合には、全ての領域に対して相関係数を求めてよいし、最も相関係数が高かった領域の相関係数を挿抜評価値としてもよい。また、制御部１０３は、画素信号の出力レベルが最も高い領域に対して相関係数を求め、求められた相関係数を挿抜評価値としてもよい。第１の閾値は、第２の撮影画像中における全画素の画素出力レベルの平均値に対して１．５倍以上の値に設定されているとの好ましい。第２の閾値は、第１の撮影画像中における全画素の画素出力レベルの平均値に対して１．５倍以上の値に設定されていると好ましい。第１の閾値および第２の閾値は、上記平均値に対して３倍以上であれば更に好ましい。また、上記第１の範囲は、第２の撮影画像の全範囲に対して１／１００以上であると好ましい。上記第２の範囲は、第１の撮影画像の全範囲に対して１／１００以上であると好ましい。上記第１の範囲は、第２の撮影画像の全範囲に対して１／４以下であると好ましい。また、上記第２の範囲は、第１の撮影画像の全範囲に対して１／４以下であると好ましい。
【００３８】
制御部１０３は、第１の撮影画像および第２の撮影画像を生成する際に、画素間引きや画素加算、ローパスフィルタ処理等の処理を施すことにより、画像のサンプリングピッチを粗くしてもよい。サンプリングピッチが粗くなることで、挿抜評価値を算出する負荷を低減することができる。
【００３９】
上述した挿抜評価値は、第１の光学フィルタ１０４を光路から抜去するか否かの判定に用いられる。挿抜評価値は、固定値であってもよいし、可変値であってもよい。挿抜変化値が可変値である場合、挿抜評価値は、第１の画素１１２Ｂまたは第２の画素１１２Ｇから取得した画素信号の出力レベルに応じて変化する値であってよい。例えば、第２の画素１１２Ｇから取得した画素信号に基づいて生成された第１の撮影画像のＳＮ比が高い場合、第１の光学フィルタ１０４を挿入したままでも、ある程度ＳＮ比の高い画像が取得できる可能性が高い。この場合、制御部１０３は、挿抜評価値を評価する際の基準となる所定の基準値を低く設定してもよい。逆に、画素１１２Ｇで取得した画素信号から生成された第１の撮影画像のＳＮ比が低い場合、ハレーションが多少発生したとしても、画像のＳＮ比を高くする優先度が高いと判定することができる。この場合、制御部１０３は、所定の基準値を高く設定してもよい。つまり、制御部１０３は、第２の画素１１２Ｇから取得した画素信号に基づいて生成された第１の撮影画像のＳＮ比が高くなるに応じて、所定の基準値を高くしてもよい。この時、制御部１０３は、第２の画素１１２Ｇで取得した画素信号に基づいて、ハレーションが抑制された第１の撮影画像を生成するとともに、第１の撮影画像のＳＮ比を検出する。
【００４０】
上述した例では、第１の波長域は３８０ｎｍ以上且つ５００ｎｍ以下であり、第２の波長域は５００ｎｍ以上６００ｎｍ以下であり、第３の波長域は８５０ｎｍ以上１０５０ｎｍ以下である例を示したが、各波長域の値は上記の値には限定されない。例えば、各カラーフィルタや第１の光学フィルタ１０４の材料の含有量を制御することで、各々の波長域の特性を制御することができる。ただし、第１の波長域は青色であることが好ましい。一般的に車のヘッドライトに使用される白色ＬＥＤは、青色のＬＥＤと黄色の蛍光体による発色を混合して白色の光を放射している。そのため、緑色や赤色よりも、青色の光の強度分布の情報を取得した方が、白色ＬＥＤの点灯状態を正確に判断できる。
【００４１】
上述したように、固体撮像素子１０２中の画素の配列は、ベイヤー配列になっている。画素の配列がベイヤー配列である場合、第２の波長域は緑色であるほうが好ましい。ベイヤー配列の固体撮像素子を用いた場合、緑色の画素の数は、赤色の画素および青色の画素の２倍である。従って、緑色の画素から取得された画素信号に基づいて生成される撮影画像の画質は、赤色の画素または青色の画素から取得された画素信号に基づいて生成される撮影画像の画質より解像度が高い。従って、第１の光学フィルタ１０４が挿入された状態において、撮影画像を生成するための画素は、緑色の画素であるほうが好ましい。
【００４２】
制御部１０３は、光路に第１の光学フィルタ１０４が挿入されている際に、第２の画素から取得した画素信号と、他の画素から取得した画素信号とに基づいて、撮影画像を生成してもよい。例えば、制御部１０３は、第２の画素から取得した画素信号に、第１の画素から取得した画素信号も加味して撮影画像を生成してもよい。また、制御部１０３は、赤色の画素から取得した画素信号も加味して撮影画像を生成してもよい。固体撮像素子１０２中の画素の配列がベイヤー配列である場合、固体撮像素子１０２の中で、第２の画素が最も多い。このため、制御部１０３は、撮影画像の解像度を向上させるため、少なくとも第２の画素を使用して撮影画像を生成することが好ましい。
【００４３】
例えば、制御部１０３は、第１の画素１１２Ｂ、第２の画素１１２Ｇおよび第３の画素１１２Ｒで取得した画素信号からデモザイクの処理を行うとともに、ＲＧＢ信号をＹＵＶ信号に変換する。制御部１０３は、光路に第１の光学フィルタ１０４が挿入されている状態では、赤外光の強度分布による情報を撮影画像として生成する。制御部１０３は、赤外光の強度分布による情報のうち、Ｙ信号のみを用いて撮影画像を生成してもよい。ＲＧＢ信号からＹ信号の変換には、以下の式を使用することができる。以下の各式において、「Ｒ」は、赤色画素の出力信号レベルを表す。「Ｇ」は、緑色画素の出力信号レベルを表す。「Ｂ」は、青色画素の出力信号レベルを表す。「Ｙ」は、変換されたＹ信号のレベルを表す。以下の式３は、Ｙ信号のレベルを求める式である。
Ｙ＝０．２９９×Ｒ＋０．５８７×Ｇ＋０．１１４×Ｂ・・・（式３）
【００４４】
撮像装置１００は、赤外光だけではなく可視光の中の一部の波長域の光も透過させる第１の光学フィルタ１０４を用いる。この場合、可視光が入射していない画素の信号を用いて撮影画像を生成することが好ましい。従って、制御部１０３は、例えば、上述した式３により、ＲＧＢ信号からＹ信号に変換する。制御部１０３は、第１の波長域が青色である場合、第１の画素１１２Ｂで可視光の強度分布の情報を取得する。この場合、以下の式４のように、Ｂ信号以外のＲＧＢ信号を用いてＹ信号を生成することが好ましい。
Ｙ＝α×Ｒ＋（１−α）×Ｇ・・・（式４）
【００４５】
以上の式４において、αは０以上１以下の実数である。α＝０の場合は、Ｇ信号のみを用いて撮影画像を生成していることに相当する。この場合、制御部１０３は、第２の画素１１２Ｇから取得した画像信号のみに基づいて、第１の撮影画像を生成する。
【００４６】
次に、第１実施形態における処理について説明する。図５は、第１実施形態における処理の流れを示すフローチャートである。制御部１０３は、挿抜制御部１０５を制御して、第１の光学フィルタ１０４を結像光学系１０１の光路から抜去した状態で撮影する制御を行う（Ｓ１１）。そして、制御部１０３は、撮影画像から高輝度被写体を検出したかを判定する（Ｓ１２）。高輝度被写体の検出には、任意の手法が適用できる。例えば、撮影画像中に、所定輝度以上の輝度の領域が存在していた場合、制御部１０３は、高輝度被写体を検出したと判定してもよい。所定輝度は、白トビと判定できる輝度であってもよい。Ｓ１２でＮＯと判定された場合、フローは、Ｓ１１に戻る。Ｓ１２でＹＥＳと判定された場合、制御部１０３は、挿抜制御部１０５を制御して、第１の光学フィルタ１０４を光路に挿入する制御を行う（Ｓ１３）。制御部１０３は、光路に第１の光学フィルタ１０４が挿入された状態で、撮影画像を生成する（Ｓ１４）。
【００４７】
制御部１０３は、第１の画素１１２Ｂから取得した画素信号に基づいて、上述した挿抜評価値を算出する（Ｓ１５）。制御部１０３は、算出された挿抜評価値が所定の基準値以上であるかを判定する（Ｓ１６）。Ｓ１６でＮＯと判定された場合、フローは、Ｓ１６に戻る。Ｓ１６でＹＥＳと判定された場合、制御部１０３は、挿抜制御部１０５を制御して、第１の光学フィルタ１０４を光路から抜去する制御を行う（Ｓ１７）。以上により、処理が終了する。
【００４８】
＜第２実施形態＞
次に、第２実施形態について説明する。図６は、第２実施形態の撮像装置２００の構成例を示す図である。撮像装置２００は、第１の光学フィルタ２０４Ａ、第２の光学フィルタ２０４Ｂおよび第３の光学フィルタ２０４Ｃを有している点で、第１実施形態と異なる。撮像装置２００の他の構成は、第１実施形態の撮像装置１００と同様であるため、説明を省略する。撮像装置２００は、上記３つの光学フィルタのうち、第２の光学フィルタ２０４Ｂのみを有していていもよい。また、撮像装置２００は、上記３つの光学フィルタのうち第１の光学フィルタ２０４Ａおよび第３の光学フィルタ２０４Ｃを有しており、第２の光学フィルタ２０４Ｂを有していなくてもよい。
【００４９】
挿抜制御部２０５は、制御部２０３の制御により、第１の光学フィルタ２０４Ａと第２の光学フィルタ２０４Ｂと第３の光学フィルタ２０４Ｃとのうち何れかの光学フィルタを光路に挿入することができる。図６は、挿抜制御部２０５が、光学フィルタをＹ方向に移動させることで、光学フィルタの切り替えを行う例を示す。ただし、挿抜制御部２０５は、光学フィルタをＸ方向に移動させることで、光学フィルタの切り替えを行ってもよい。
【００５０】
第１の光学フィルタ２０４Ａは、第１実施形態の第１の光学フィルタ１０４と同様の特性を有する。つまり、第１の光学フィルタ２０４Ａは、第１の波長域の光、および第３の波長域の光を選択的に透過し、可視光のうち他の波長域の光を選択的に吸収する。図７は、第２の光学フィルタ２０４Ｂの透過スペクトルを示す図である。第２の光学フィルタ２０４Ｂは、第１の波長域の光および第３の波長域の光に加えて、第４の波長域（６００ｎｍ以上７５０ｎｍ以下）の赤色の光も透過させる。そして、第２の光学フィルタ２０４Ｂは、第２の波長域の光を選択的に吸収する。第３の光学フィルタ２０４Ｃは、第１の波長域（青色）の光および第２の波長域（緑色）の光を吸収（カット）し、第４の波長域（赤色）の光および第３の波長域（赤外光の一部）の光を透過させる。
【００５１】
以下では、撮像装置２００が、上記３つの光学フィルタのうち、第２の光学フィルタ２０４Ｂのみを有している場合について説明する。
【００５２】
図８は、第２の光学フィルタ２０４Ｂを挿入した状態で、撮像装置２００に入射した各波長域の光について、固体撮像素子２０２中の各画素に入射する光を説明する模式図である。図８には、第１の波長域（青色）の光２１３Ｂ、第２の波長域（緑色）の光２１３Ｇ、第３の波長域（赤外光の一部）の光２１３Ｉおよび第４の波長域（赤色）の光２１３Ｒの４つの波長域の光が矢印で示されている。矢印が途切れた部分は、光学フィルタまたはカラーフィルタで、対応する波長域の光が吸収されたことを表す。
【００５３】
撮像装置２００に入射した光は、第２の光学フィルタ２０４Ｂに到達する。第２の光学フィルタ２０４Ｂは、第２の波長域の光２１３Ｇは吸収し、第１の波長域の光２１３Ｂ、第３の波長域の光２１３Ｉおよび第４の波長域２１３Ｒは透過させる。第１の光学フィルタ２０４Ａを透過した光２１３Ｂ、２１３Ｉおよび２１３Ｒは、固体撮像素子２０２に到達し、第１の画素２１２Ｂ、第２の画素２１２Ｇおよび第３の画素２１２Ｒに入射する。各画素に入射した光は、各々の画素が有する各カラーフィルタで一部が吸収される。例えば、第１のカラーフィルタ２１１Ｂは、光２１３Ｒを吸収して、光２１３Ｂおよび光２１３Ｉを透過させる。第２のカラーフィルタ２１１Ｇは、光２１３Ｂおよび光２１３Ｒを吸収して、光２１３Ｉを透過させる。そして、第３のカラーフィルタ２１１Ｒは、光２１３Ｂを吸収して、光２１３Ｒおよび光２１３Ｉを透過させる。従って、第１の画素２１２Ｂの光電変換部には、第１の波長域（青色）の光２１３Ｂおよび第３の波長域（赤外光の一部）の光２１３Ｉが入射する。第２の画素１１２Ｇの光電変換部には、第３の波長域（赤外光の一部）の光２１３Ｉのみが入射する。第３の画素１１３Ｒの光電変換部には、第４の波長域（赤色）の光２１３Ｒおよび第３の波長域（赤外光の一部）の光２１３Ｉが入射する。
【００５４】
制御部２０３は、第１実施形態で説明したように、第２の画素２１２Ｇから取得した画素信号に基づいて撮影画像を生成する。第２実施形態の制御部２０３は、第２の光学フィルタ２０４Ｂを挿抜するか否かの判定に用いられる挿抜評価値を生成するための画素信号を、高輝度被写体の分光感度情報に応じて、選択する。例えば、制御部２０３は、高輝度被写体の分光感度情報に応じて、第１の画素２１２Ｂから取得した画素信号と、第３の画素２１２Ｒで取得した画素信号とのうち何れを使用するかを決定する。これにより、第１実施形態と比較して、第２実施形態の制御部２０３は、第２の光学フィルタ２０４Ｂを光路から抜去するタイミングを、より正確に求めることができる。
【００５５】
次に、第２実施形態における処理について説明する。図９は、第２実施形態における処理の流れを示すフローチャートである。制御部２０３は、挿抜制御部２０５を制御して、各光学フィルタを結像光学系２０１の光路から抜去した状態で撮影する制御を行う（Ｓ２１）。そして、制御部２０３は、撮影画像から、車のヘッドライト等のハレーションの原因となる高輝度被写体を検出したかを判定する（Ｓ２２）。高輝度被写体の検出には、任意の手法が適用できる。例えば、撮影画像中に、第２の画素２１２Ｇの画素信号の出力レベルが一定値以上の領域が存在していた場合、制御部２０３は、高輝度被写体を検出したと判定してもよい。Ｓ２２でＮＯと判定された場合、フローは、Ｓ２１に戻る。Ｓ２２でＹＥＳと判定された場合、制御部２０３は、分光感度評価値を算出する（Ｓ２３）。分光感度評価値の算出は、光路から第２の光学フィルタ２０４Ｂが抜去された状態で行われる。従って、Ｓ２３の処理は、Ｓ２２の判定処理の後ではなく、光路から第２の光学フィルタ２０４Ｂが抜去されている状態における任意のタイミングで行われてもよい。
【００５６】
車のヘッドライトには白色ＬＥＤだけでなく、ハロゲンランプが使用されている場合もある。車のヘッドライトに白色ＬＥＤが使用されている場合、車のヘッドライトから青色の光が強く放射されている。一方、車のヘッドライトにハロゲンランプが使用されている場合、車のヘッドライトから赤色の光が強く放射されている。制御部２０３は、第１の画素２１２Ｂから取得した画素信号の出力レベルと、第３の画素２１２Ｒから取得した画素信号の出力レベルとを比較する。制御部２０３は、比較結果に基づいて、車のヘッドライトの種別を認識できる。例えば、第１の画素２１２Ｂから取得した画素信号の出力レベルが、第３の画素２１２Ｒから取得した画素信号の出力レベル以上の場合、制御部２０３は、車のヘッドライトの種別が白色ＬＥＤであると判定できる。また、第３の画素２１２Ｒから取得した画素信号の出力レベルが、第１の画素２１２Ｂから取得した画素信号の出力レベル以上の場合、制御部２０３は、車のヘッドライトの種別がハロゲンランプであると判定できる。以上により、制御部２０３は、被写体の種別を判定することができる。
【００５７】
上述したように、制御部２０３は、Ｓ２３において分光感度評価値を算出する。第２実施形態では、制御部２０３は、第３の画素２１２Ｒから取得した画素信号の出力レベルに対する第１の画素２１２Ｂから取得した画素信号の出力レベルの比を、分光感度評価値として算出する。分光感度評価値が大きいほど、高輝度被写体は、白色ＬＥＤ等の青色の光を強く放射する被写体である可能性が高い。制御部２０３は、全ての第１の画素２１２Ｂおよび第３の画素２１２Ｒの平均値に対して分光感度評価値を求めてもよい。ただし、制御部２０３は、高輝度被写体を検知した領域のうちの第１の画素２１２Ｂおよび第３の画素２１２Ｒに対して、分光感度評価値を求めることが好ましい。
【００５８】
制御部２０３は、高輝度被写体の分光感度評価値を求めた後、ハレーションを抑制するために、第２の光学フィルタ２０４Ｂを挿入する（Ｓ２４）。そして、制御部２０３は、第２の画素２１２Ｇから取得した画素信号に基づいて、ハレーションが抑制された撮影画像を生成する（Ｓ２５）。制御部２０３は、Ｓ２３で算出された分光感度評価値が第１の基準値以上であるかを判定する（Ｓ２６）。Ｓ２６でＹＥＳと判定された場合、制御部２０３は、第１の画素２１２Ｂから取得した画素信号に基づいて、第１の光学フィルタ２０４Ａを抜去するタイミングを判定するための挿抜評価値を算出する（Ｓ２７）。Ｓ２６でＮＯと判定された場合、制御部２０３は、第３の画素２１２Ｒから取得した画素信号に基づいて、上記挿抜評価値を算出する（Ｓ２８）。第１の基準値は、任意の値に設定されてよい。
【００５９】
分光感度評価値が第１の基準値以上の場合、分光感度評価値は大きい。この場合、高輝度被写体としては、白色ＬＥＤ等の青色の光が強く放射された高輝度被写体であることが想定される。従って、挿抜評価値は、第１の画素２１２Ｂから取得した画素信号を用いて求められることが好ましい。一方、分光感度評価値が第１の基準値未満の場合、分光感度評価値は小さい。この場合、高輝度被写体としては、ハロゲンランプ等の赤色の光が強く放射された高輝度被写体であることが想定される。従って、挿抜評価値は、第３の画素２１２Ｒから取得した画素信号を用いて求められることが好ましい。
【００６０】
そこで、制御部２０３は、分光感度評価値が第１の基準値以上であるか否かに基づいて、第１の画素２１２Ｂから取得した画素信号と第３の画素２１２Ｒから取得した画素信号とのうち何れを使用して挿抜評価値を求めるかを決定する。以上のように、制御部２０３は、高輝度被写体の分光感度評価値に応じて、挿抜評価値を求める画素を変更する。これにより、車のヘッドライトの種別によらず、車のヘッドライトの点灯状態を正確に判定することができる。
【００６１】
＜第２実施形態の変形例＞
次に、第２実施形態の変形例について説明する。第２実施形態の変形例は、撮像装置２００は、第２の光学フィルタ２０４Ｂを有しておらず、第１の光学フィルタ２０４Ａ、第３の光学フィルタ２０４Ｃを有している場合である。第３の光学フィルタ２０４Ｃは、第１の光学フィルタ２０４Ａと同様、１枚の光学フィルタで構成されていてもよいし、複数枚の光学フィルタで構成されていてもよい。例えば、第３の光学フィルタ２０４Ｃは、青色の光をカットする光学フィルタと赤色の光をカットする光学フィルタとにより構成されていてもよい。
【００６２】
図１０は、第２実施形態の変形例の処理の流れを示すフローチャートである。制御部２０３は、挿抜制御部２０５を制御して、各光学フィルタを結像光学系２０１の光路から抜去した状態で撮影する制御を行う（Ｓ３１）。そして、制御部２０３は、撮影画像から、車のヘッドライト等のハレーションの原因となる高輝度被写体を検出したかを判定する（Ｓ３２）。Ｓ３２でＮＯと判定された場合、フローはＳ３１に戻る。Ｓ３２でＹＥＳと判定された場合、第３の画素２１２Ｒから取得した画素信号に対する第１の画素２１２Ｂから取得した画素信号の比を、分光感度評価値として算出する（Ｓ３３）。制御部２０３は、分光感度評価値が第１の基準値以上であるかを判定する（Ｓ３４）。
【００６３】
Ｓ３４でＹＥＳと判定された場合、分光感度評価値が高い。分光感度評価値が高い場合、白色ＬＥＤ等の青色の光が強く放射された高輝度被写体が撮影された可能性が高い。この場合、制御部２０３は、ハレーションを抑制するための第１の光学フィルタ２０４Ａを光路に挿入する（Ｓ３５）。そして、制御部２０３は、光路に第１の光学フィルタ２０４Ａが挿入された状態で、撮影画像を生成する（Ｓ３６）。制御部２０３は、第１の画素２１２Ｂから取得した画像信号に基づいて挿抜評価値を算出する（Ｓ３７）。そして、制御部２０３は、算出された挿抜評価値が第２の基準値以上であるかを判定する（Ｓ３８）。Ｓ３８でＹＥＳと判定された場合、高輝度被写体が撮影されている可能性が高いため、フローはＳ３４に移行する。Ｓ３８でＮＯと判定された場合、高輝度被写体が撮像装置２００の画角内に存在しなくなった可能性が高い。この場合、制御部２０３は、挿抜制御部２０５を制御して、第１の光学フィルタ２０４Ａを光路から抜去する制御を行う（Ｓ３８）。
【００６４】
Ｓ３４においてＮＯと判定された場合、分光感度評価値は低い。分光感度評価値が低い場合、ハロゲンランプ等の赤色の光が強く放射された高輝度被写体が撮影された可能性が高い。この場合、制御部２０３は、ハレーションを抑制するための第３の光学フィルタ２０４Ｃを光路に挿入する（Ｓ４０）。そして、制御部２０３は、光路に第３の光学フィルタ２０４Ｃが挿入された状態で、撮影画像を生成する（Ｓ４１）。制御部２０３は、第３の画素２１２Ｒから取得した画像信号に基づいて挿抜評価値を算出する（Ｓ４２）。つまり、制御部２０３は、Ｓ３４の判定結果に応じて、挿抜評価値を算出するための画素を、第１の画素２１２Ｂと第３の画素２１２Ｒとの何れかに切り替えている。そして、制御部２０３は、算出された挿抜評価値が第２の基準値以上であるかを判定する（Ｓ４３）。Ｓ４３でＹＥＳと判定された場合、高輝度被写体が撮影されている可能性が高いため、フローはＳ３４に移行する。Ｓ４４でＮＯと判定された場合、高輝度被写体が撮像装置２００の画角内に存在しなくなった可能性が高い。この場合、制御部２０３は、挿抜制御部２０５を制御して、第３の光学フィルタ２０４Ｃを光路から抜去する制御を行う（Ｓ４４）。
【００６５】
以上のように、Ｓ３３で算出された高輝度被写体の分光感度評価値に応じて、制御部２０３は、挿抜評価値を求めるための画素だけではなく、光路に挿入する光学フィルタの種類も変更する。一般に、光学フィルタの吸収帯域の幅が狭いほど、透過スペクトルの制御が困難になる。これにより、光学フィルタの製造コストが増大し、また光学フィルタの性能ばらつきに起因して撮影画像の画質が低下する。
【００６６】
従って、第２実施形態の変形例のように、第２の光学フィルタ２０４Ｂではなく、第１の光学フィルタ２０４Ａと第３の光学フィルタ２０４Ｃとの２種類を使用した方が好ましい。一方、撮像装置が複数の光学フィルタを有する場合、装置構成が大型化する。撮像装置２００の装置構成のコンパクト化を図るような場合には、１つの光学フィルタ（第２の光学フィルタ２０４Ｂ）が用いられる方が好ましい。
【００６７】
＜第３実施形態＞
次に、第３実施形態について説明する。図１１は、第３実施形態の撮像装置３００の構成例を示す図である。撮像装置３００は、第１実施形態の撮像装置１００の構成に、赤外カットフィルタ３０４Ｄが追加されている。他の構成は、第１実施形態の撮像装置１００と同様であるため、説明を省略する。制御部３０３は、３つのモードを選択可能である。第１のモードは、赤外カットフィルタ３０４Ｄを光路に挿入してカラーの撮影画像を取得するデイモードである。第２のモードは、第１の光学フィルタ３０４Ａ（第１実施形態の第１の光学フィルタ１０４）を挿入して撮影画像を取得するハレーション抑制モードである。第３のモードは、赤外カットフィルタ３０４Ｄおよび第１の光学フィルタ３０４Ａをともに光路から抜去するナイトモードである。
【００６８】
図１２（Ａ）は、上記３つのモードの切り替え方法のテーブルを示す図である。図１２（Ｂ）は、各モードにおける光学フィルタ（赤外カットフィルタ３０４Ｄを含む）の挿抜制御方法を示す図である。図１２（Ａ）に示される各閾値は、被写体の明るさ、挿抜評価値およびデイナイト評価値を判定する際に用いられる閾値であり、それぞれ異なる性質の閾値である。図１２（Ａ）に示されるように、制御部３０３は、撮影画像から被写体の明るさ（輝度）を判定し、被写体の明るさが一定の明るさ未満である場合、デイモードからナイトモードに移行する制御を行う。この際、制御部３０３は、挿抜制御部１０５を制御して、光路から赤外カットフィルタ３０４Ｄを抜去する制御を行う。一方、制御部３０３は、被写体の明るさが一定の明るさ以上である場合には、ナイトモードからデイモードに移行する制御を行う。この際、制御部３０３は、挿抜制御部３０５を制御して、光路に赤外カットフィルタ３０４Ｄを挿入する制御を行う。
【００６９】
制御部３０３は、撮像画像から高輝度被写体を検出した場合に、デイモードからハレーション抑制モードに移行する。制御部３０３は、第１実施形態と同様に、任意の手法を適用して高輝度被写体を検出する。制御部３０３は、デイモードにおいて、撮像画像から高輝度被写体を検出した場合、赤外カットフィルタ３０４Ｄを光路から抜去して、第１の光学フィルタ３０４Ａを光路に挿入する。これにより、モードは、デイモードからハレーション抑制モードに移行する。制御部３０３は、ナイトモードにおいて、撮像画像から高輝度被写体を検出した場合、第１の光学フィルタ３０４を挿入する。これにより、モードは、ナイトモードからハレーション抑制モードに移行する。
【００７０】
ハレーション抑制モードにおいて、制御部３０３は、第１実施形態で説明した挿抜評価値（青色の光の強度分布の情報から算出される値）が所定の基準値以上である場合、ハレーション抑制モードを維持する。一方、制御部３０３は、挿抜評価値が所定の基準値未満である場合、ハレーション抑制モードから、デイモードまたはナイトモードに移行する。制御部３０３は、ハレーション抑制モードからデイモードに移行する際には、第１の光学フィルタを光路から抜去して、赤外カットフィルタ３０４Ｄを光路に挿入する。制御部３０３は、ハレーション抑制モードからナイトモードへ移行する際には、第１の光学フィルタ３０４を光路から抜去する。
【００７１】
上述したように、制御部３０３は、挿抜評価値が閾値未満になった場合に、ハレーション抑制モードからデイモードまたはナイトモードに移行する。ハレーション抑制モードに移行する前のモードがナイトモードであった場合、制御部３０３は、ハレーション抑制モードからデイモードに移行させる。また、ハレーション抑制モードに移行する前のモードがデイモードであった場合、制御部３０３は、ハレーション抑制モードからナイトモードに移行させる。
【００７２】
ここで、ハレーション抑制モードにおいて、光路に挿入されている光学フィルタは、赤外カットフィルタ３０４Ｄではなく、第１の光学フィルタ３０４Ａである。光路に赤外カットフィルタ３０４Ｄが挿入されている場合、制御部３０３は、可視光の強度分布の情報を取得できない。しかし、ハレーション抑制モードでは、光路に第１の光学フィルタ３０４Ａが挿入されているため、固体撮像素子３０２は、可視光のうち一部の光を受光できる。そこで、制御部３０３は、固体撮像素子３０２が受光した可視光のうちの一部の光の強度分布の情報を用いて、ハレーション抑制モードから、デイモードとナイトモードとの何れに移行するかを決定する。
【００７３】
ハレーション抑制モードにおいて、第１の画素１１２Ｂで取得した画素信号の出力レベルと、第２の画素１１２Ｇで取得した画素信号の出力レベルとの差分は、第１の波長域の光の強度分布の情報に相当する。従って、制御部３０３は、第１の画素１１２Ｂで取得した画素信号の出力レベルと、第２の画素１１２Ｇで取得した画素信号の出力レベルとの差分を示す値をデイナイト評価値（他の評価値）として求める。制御部３０３は、デイナイト評価値が閾値（デイナイト評価値を判定するための所定値）以上である場合には、モードを、ハレーション抑制モードからデイモードに移行させる。制御部３０３は、デイナイト評価値が所定値未満である場合には、モードを、ハレーション抑制モードからナイトモードに移行させる。以上により、可視光のみで十分にＳＮ比の高い画像が取得できる場合には、ハレーション抑制モードから、被写体の色情報を取得可能なデイモードに移行できる。一方、可視光のみではＳＮ比の高い画像が取得できない場合には、可視光のみではなく赤外光も固体撮像素子３０２に取り込まれるため、ハレーション抑制モードから、ＳＮ比の高い画像を取得可能なナイトモードに移行できる。
【００７４】
制御部３０３は、第１実施形態で説明した挿抜評価値と同様に、デイナイト評価値を、固体撮像素子３０２中の全ての画素で取得した画素信号から求めてもよいし、一部の画素から取得した画素信号から求めてもよい。制御部３０３は、複数の画素信号からデイナイト評価値を求める場合、複数の画素信号を単純平均して求めてもよいし、一部の画素に重みづけを行って平均値を求めてもよい。
【００７５】
固体撮像素子３０２の各画素のうち挿抜評価値を求める領域とデイナイト評価値を求める領域とは同じであってもよいが、異なっている方が好ましい。挿抜評価値は、ハレーションを発生させる可能性のある高輝度被写体の有無を判定するための評価値である。第１実施形態で説明したように、制御部３０３は、画角全体のうち、ハレーションを引き起こす可能性の高い第１の領域を対象として、第１の光学フィルタ３０４Ａの挿抜制御を行うことが好ましい。一方、デイナイト評価値は、画角全体の平均的な明るさを判定するための評価値である。そのため、デイナイト評価値は、挿抜評価値を求める領域よりも広い領域であることが好ましい。
【００７６】
また、制御部３０３は、デイモードでカラー画像を取得する場合、第１実施形態で説明した式３を用いてＹ信号を算出してもよい。一方、撮像装置３００がハレーション抑制モードで画像を取得する場合、第１実施形態で説明した式４を用いてＹ信号を算出する方が好ましい。つまり、撮像装置３００では、第１の光学フィルタ３０４Ａを挿入した場合と、第１の光学フィルタ３０４Ａを抜去した場合とで、色信号変換の変換式を変更する方が好ましい。
【００７７】
＜第４実施形態＞
次に、第４実施形態について説明する。図１３は、第４実施形態における監視システム４００の構成例を示す図である。監視システム４００は、電子機器４０１と撮像装置４０３とを有している。電子機器４０１と撮像装置４０３とはネットワーク４０２を介して相互に通信可能な状態に接続されている。撮像装置４０３としては、第１実施形態の撮像装置１００、第２実施形態の撮像装置２００または第２実施形態の撮像装置３００の何れかを適用できる。電子機器４０１は、例えば、パーソナルコンピュータ等のクライアント装置であり、撮像装置４０３を制御するための各種コマンドを撮像装置４０３に送信する。撮像装置４０３は、受信したコマンドに対するレスポンスや撮像した画像データ（撮影画像）等を電子機器４０１に送信する。例えば、撮像装置４０３を被写界深度優先モードで駆動するか否かは、電子機器４０１を介してユーザーが選択できるようになっている。
【００７８】
ネットワーク４０２には、有線ＬＡＮや無線ＬＡＮ等が適用される。電子機器４０１は、ネットワーク４０２を介して撮像装置４０３に電源を供給することもできる。撮像装置４０３の制御部（制御部１０３、制御部２０３または制御部３０３）の機能は、電子機器４０１が実行してもよい。この場合、撮像装置４０３は、上記制御部を有していない構成であり、撮像装置４０３は、制御部として機能する電子機器４０１の制御により、各実施形態の処理が実現される。
【００７９】
以上、本発明の好ましい実施の形態について説明したが、本発明は上述した各実施の形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。本発明は、上述の各実施の形態の１以上の機能を実現するプログラムを、ネットワークや記憶媒体を介してシステムや装置に供給し、そのシステム又は装置のコンピュータの１つ以上のプロセッサーがプログラムを読み出して実行する処理でも実現可能である。また、本発明は、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００８０】
１００  撮像装置
１０１  結像光学系
１０２  固体撮像素子
１０３  制御部
１０４  光学フィルタ
１０５  挿抜制御部
１１１Ｂ  第１のカラーフィルタ
１１１Ｇ  第２のカラーフィルタ
１１２Ｂ  第１の画素
１１２Ｇ  第２の画素
２０４Ｂ  第２の光学フィルタ
２０４Ｃ  第３の光学フィルタ
３０４Ｄ  赤外カットフィルタ
２１１Ｒ  第３のカラーフィルタ
２１２Ｒ  第３の画素
【図１】
2020101625.tif 000003
【図２】
2020101625.tif 000004
【図３】
2020101625.tif 000005
【図４】
2020101625.tif 000006
【図５】
2020101625.tif 000007
【図６】
2020101625.tif 000008
【図７】
2020101625.tif 000009
【図８】
2020101625.tif 000010
【図９】
2020101625.tif 000011
【図１０】
2020101625.tif 000012
【図１１】
2020101625.tif 000013
【図１２】
2020101625.tif 000014
【図１３】
2020101625.tif 000015