(57)【要約】【課題】  光学フィルタを的確に用いて、品質の高い画像を撮影すること。【解決手段】  光学フィルタを含む結像光学系を介して入射する光を光電変換して画像信号を出力する撮像素子と、前記光学フィルタの位置を変更するための駆動手段と、を有する撮像装置を制御する制御装置であって、前記光学フィルタを、前記結像光学系の開口部に段階的に挿入するように前記駆動手段を制御し、前記光学フィルタを段階的に挿入しながら前記撮像素子により得られる画像の輝度に基づいて前記光学フィルタの位置を決定し、前記光学フィルタの位置が前記決定した位置となるように前記駆動手段を制御する制御手段を有する。【選択図】  図３
2020091453.tif 000002
【特許請求の範囲】
【請求項１】
光学フィルタを含む結像光学系を介して入射する光を光電変換して画像信号を出力する撮像素子と、前記光学フィルタの位置を変更するための駆動手段と、を有する撮像装置を制御する制御装置であって、
前記光学フィルタを、前記結像光学系の開口部に段階的に挿入するように前記駆動手段を制御し、前記光学フィルタを段階的に挿入しながら前記撮像素子により得られる画像の輝度に基づいて前記光学フィルタの位置を決定し、前記光学フィルタの位置が前記決定した位置となるように前記駆動手段を制御する制御手段を有することを特徴とする制御装置。
【請求項２】
前記光学フィルタは、赤外光をカットする第１のフィルタを含み、
前記制御手段は、前記画像の輝度が予め決められた第１の閾値以上の場合に、前記第１のフィルタの前記開口部への段階的な挿入を開始し、前記第１のフィルタを前記開口部に段階的に挿入しながら前記撮像素子により得られる画像の輝度と、更に、前記開口部の面積に対して前記第１のフィルタが占める割合と、に基づいて、前記第１のフィルタを前記開口部に完全に挿入した場合の画像の輝度を推定し、当該推定した輝度値が予め決められた第２の閾値以上の場合に、前記第１のフィルタを前記開口部に完全に挿入し、前記第２の閾値未満の場合に、前記第１のフィルタを前記開口部から完全に抜去するように制御することを特徴とする請求項１に記載の制御装置。
【請求項３】
前記光学フィルタは、可視光をカットする第２のフィルタを含み、
前記制御手段は、前記画像の輝度が予め決められた第３の閾値以上の場合に、前記第２のフィルタの前記開口部への段階的な挿入を開始し、前記第２のフィルタを前記開口部に段階的に挿入しながら前記撮像素子により得られる画像の輝度に基づいて、当該輝度が前記第３の閾値よりも小さい予め決められた第４の閾値より小さい値に変化する際の前記光学フィルタの位置を、前記光学フィルタの位置として決定することを特徴とする請求項１に記載の制御装置。
【請求項４】
前記制御手段は、前記第２のフィルタを前記開口部に段階的に挿入しながら前記撮像素子により得られる画像の輝度と、更に、前記開口部の面積に対して前記第２のフィルタが占める割合と、に基づいて、前記画像の輝度が前記第４の閾値より小さい値に変化する際の前記第２のフィルタの位置を推定し、当該推定した位置を前記光学フィルタの位置として決定することを特徴とする請求項３に記載の制御装置。
【請求項５】
前記制御手段は、前記第２のフィルタが前記決定した位置に挿入された状態で前記撮像素子により得られる画像の輝度が、予め決められた第５の閾値未満に変化した場合に、前記第２のフィルタを前記開口部から完全に抜去するように制御することを特徴とする請求項３または４に記載の制御装置。
【請求項６】
前記光学フィルタは、偏光フィルタである第３のフィルタを含み、
前記制御手段は、前記画像の輝度が予め決められた第６の閾値以上の場合に、前記第３のフィルタの前記開口部への段階的な挿入を開始し、前記第３のフィルタを前記開口部に段階的に挿入しながら前記撮像素子により得られる画像の輝度と、更に、前記開口部の面積に対して前記第３のフィルタが占める割合と、に基づいて、前記第３のフィルタを前記開口部に完全に挿入した場合の画像の輝度を推定し、当該推定した輝度値が予め決められた第７の閾値未満の場合に、前記第３のフィルタを前記開口部に完全に挿入し、前記第７の閾値以上の場合に、前記第３のフィルタを前記開口部から完全に抜去するように制御することを特徴とする請求項１に記載の制御装置。
【請求項７】
前記制御手段は、前記第３のフィルタが前記開口部に完全に挿入された状態で前記撮像素子により得られる画像の輝度が、予め決められた第８の閾値未満の場合に、前記第３のフィルタの前記開口部からの段階的な抜去を開始し、前記第３のフィルタを前記開口部から段階的に抜去しながら前記撮像素子により得られる画像の輝度と、前記開口部の面積に対して前記第３のフィルタが占める割合と、に基づいて、前記第３のフィルタを前記開口部から完全に抜去した場合の画像の輝度を推定し、当該推定した輝度値が予め決められた第９の閾値未満の場合に、前記第３のフィルタを前記開口部から完全に抜去し、前記第９の閾値以上の場合に、前記第３のフィルタを前記開口部に完全に挿入するように制御することを特徴とする請求項６に記載の制御装置。
【請求項８】
前記制御手段は、更に、前記光学フィルタを前記開口部に段階的に挿入しながら得られる画像の輝度を一定に保つように、前記撮像装置の露出を制御することを特徴とする請求項２乃至７のいずれか１項に記載の制御装置。
【請求項９】
前記制御手段は、前記露出の制御により前記開口部の面積が変化した場合に、前記画像の輝度を一定に保つように前記光学フィルタの位置を制御することを特徴とする請求項８に記載の制御装置。
【請求項１０】
前記光学フィルタは、赤外光をカットする第１のフィルタを含み、
前記制御手段は、前記画像の輝度が予め決められた第１の閾値以上の場合に、前記第１のフィルタを前記開口部に段階的に挿入した画像の撮影と、前記第１のフィルタを前記開口部から完全に抜去した画像の撮影とを交互に行うように制御し、前記第１のフィルタを前記開口部に段階的に挿入しながら前記撮像素子により得られる画像の輝度と、更に、前記開口部の面積に対して前記第１のフィルタが占める割合と、に基づいて、前記第１のフィルタを前記開口部に完全に挿入した場合の画像の輝度を推定し、当該推定した輝度値が予め決められた第２の閾値以上の場合に、前記第１のフィルタを前記開口部に完全に挿入し、前記第２の閾値未満の場合に、前記第１のフィルタを前記開口部から完全に抜去するように制御し、
前記第１のフィルタを前記開口部に段階的に挿入して撮影した画像と、その前または後に前記第１のフィルタを前記開口部から完全に抜去して撮影した画像とを合成することを特徴とする請求項１に記載の制御装置。
【請求項１１】
前記光学フィルタは、更に、赤外光をカットする第１のフィルタを含み、
前記第１のフィルタ及び前記第２のフィルタの少なくともいずれか一方が、前記開口部に挿入されていることを特徴とする請求項３乃至５のいずれか１項に記載の制御装置。
【請求項１２】
前記光学フィルタは、赤外光をカットする第１のフィルタと、可視光をカットする第２のフィルタと、偏光フィルタである第３のフィルタとが、第１の方向に並べられた構成を有し、
前記駆動手段は、前記第１の方向に前記光学フィルタの位置を変更することを特徴とする請求項１乃至１１のいずれか１項に記載の制御装置。
【請求項１３】
前記光学フィルタは、赤外光をカットする第１のフィルタと、可視光をカットする第２のフィルタと、偏光フィルタである第３のフィルタとを有するターレットフィルタであって、
前記駆動手段は、前記光学フィルタを回転させることにより位置を変更することを特徴とする請求項１乃至１１のいずれか１項に記載の制御装置。
【請求項１４】
前記光学フィルタは、赤外光をカットする第１のフィルタと、可視光をカットする第２のフィルタと、偏光フィルタである第３のフィルタを含む複数のフィルタから成ることを特徴とする請求項１乃至１１のいずれか１項に記載の制御装置。
【請求項１５】
光学フィルタを含む結像光学系を介して入射する光を光電変換して画像信号を出力する撮像素子と、
前記光学フィルタの位置を変更するための駆動手段と、
請求項１乃至１４のいずれか１項に記載の制御装置と
を有することを特徴とする撮像装置。
【請求項１６】
光学フィルタを含む結像光学系を介して入射する光を光電変換して画像信号を出力する撮像素子と、前記光学フィルタの位置を変更するための駆動手段と、を有する撮像装置の制御方法であって、
制御手段が、前記光学フィルタを、前記結像光学系の開口部に段階的に挿入するように前記駆動手段を制御する工程と、
前記制御手段が、前記光学フィルタを段階的に挿入しながら前記撮像素子により得られる画像の輝度に基づいて前記光学フィルタの位置を決定する工程と、
前記制御手段が、前記光学フィルタの位置が前記決定した位置となるように前記駆動手段を制御する工程と
を有することを特徴とする制御方法。
【請求項１７】
コンピュータに、請求項１乃至１４のいずれか１項に記載の制御装置の各手段として機能させるためのプログラム。
【請求項１８】
請求項１７に記載のプログラムを記憶したコンピュータが読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、制御装置、撮像装置及びその制御方法に関する。
【背景技術】
【０００２】
従来、ネットワークカメラなどの撮像装置において、可視光だけでなく、赤外光にも感度を有する撮像素子を使用し、可視光及び赤外光による画像を撮影可能な撮像装置がある。このような撮像装置において、赤外光をカットし、可視光のみを透過する赤外カットフィルタを、被写体の照度に応じて結像光学系の光路から挿抜するとともに、撮影モードを切り替える手法が用いられている。以下、この手法を「オートデイナイト」と呼ぶ。このような撮像装置では、赤外カットフィルタを取り付けてＹＵＶ形式やＲＧＢ形式のカラー画像を取得するモード（デイモード）と、赤外カットフィルタを取り外し、モノクロ画像を取得するモード（ナイトモード）とを切り替えている。ナイトモードでは、色情報を失う一方、赤外光を取り入れることで低照度環境でも被写体を認識することが可能となる。
【０００３】
特許文献１には、撮影モードの切り替えのために、画素信号レベルによって被写体の照度（つまり輝度）を検出する方法が提示されている。具体的には、デイモードからナイトモードへ移行した際の画素信号レベル（以降、「ナイト移行閾値」と記す。）を記憶し、このレベルに一定量を加算した信号レベルをナイトモードからデイモードへの切り替え閾値（以降、「デイ移行閾値」と記す。）としている。
【０００４】
また近年、監視や車載分野の認識用画像を取得するネットワークカメラにおいては、ダイナミックレンジ拡大の要請が高まっている。例えば夜間、ヘッドライトを点灯している車のナンバープレートを撮影する場合、ナンバープレートの露光が適正となるようにカメラの露出を調整すると、ナンバープレートの近傍にあるヘッドライトが露出オーバーとなり、いわゆるハレーションを起こしてしまう。この結果、ハレーションがナンバープレートまで広がってコントラストが低下し、認識が困難となる。逆に、ヘッドライトがハレーションを起こさないようにカメラの露出を調整した場合には、ヘッドライトに比べて輝度の小さいナンバープレートは黒潰れしてしまい、認識が困難になる。
【０００５】
特許文献２には、このような撮影において、ハレーションを起こさずにナンバープレートを撮影する技術として、可視光を遮断し、赤外光を透過するフィルタ（以後、「可視カットフィルタ」と呼ぶ。）を用いる方法が提示されている。例えば、夜間、ナイトモードで車を撮影する場合であって、撮影範囲が赤外光照明を用いて照らされているか、または環境光に赤外光が含まれている場合を仮定する。このような場合、車のナンバープレートの撮影中にヘッドライトのハレーションを検知すると、カメラのレンズに可視カットフィルタを装着する。近年、ヘッドライトの光源は、従来のハロゲンライトからＬＥＤに移行しているが、ＬＥＤ型ヘッドライトは可視光にのみスペクトルを持つものが多いため、可視カットフィルタを通すと大幅にヘッドライトからの光量を落とすことができる。そのため、可視カットフィルタを装着することで、ナンバープレートを撮影するための露出合わせが容易になる。このように可視カットフィルタを用いてハレーションを抑制する撮影モードを以後、「ハレーション抑制モード」と呼ぶ。
【０００６】
更に、近年では、道路監視などのネットワークカメラにおいて、車のフロントガラスに映り込みがあったとしても、車の運転手の顔を撮影したいという要求が出てきている。このような要求に対し、偏光フィルタを結像光学系に装着することでフロントガラスの映り込みを抑制する撮影手法が存在する。
【０００７】
フロントガラスで反射する反射光に注目すると、ブリュースター角（フロントガラスと空気であれば約５６度）近傍の角度でフロントガラスに入射した光の反射光にはＰ偏光の割合が低く、Ｓ偏光が多く含まれる。そのため、偏光フィルタの偏光軸がＳ偏光と並行になるように設置すると、Ｓ偏光成分が遮断され、これによりフロントガラス表面での反射光が除去されるため、フロントガラスの先にある運転手の顔を撮影することが可能となる。なお、運転手の顔で反射した光は、輝度は低いものの非偏光とみなせるため、偏光フィルタを一定量通過する。ただし、偏光フィルタは非偏光である自然光に対しても偏光軸方向の光を遮断するために、カメラが受け取る光を低減させてしまい、撮影画像全体が暗くなるというデメリットがある。
【０００８】
これに対し、特許文献３に、画像の輝度が所定値以上に明るければカメラに偏光フィルタを装着して撮影し、画像の輝度が所定値未満であれば偏光フィルタをカメラから外して撮影する技術が提案されている。便宜上、以後、偏光フィルタを装着して撮影するモードを「映り込み抑制モード」と呼ぶ。
【０００９】
以上のように、ネットワークカメラにおいては、赤外カットフィルタや可視カットフィルタ、偏光フィルタ等の、波長毎もしくは偏光方向毎に透過率の異なる光学フィルタを利用して撮影モードを切り替え、認識性の高い画像を取得している。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開２００４−１２０２０２号公報
【特許文献２】特開２０１６−２２０００２号公報
【特許文献３】特開２０１０−１０９５６２号公報
【発明の概要】
【発明が解決しようとする課題】
【００１１】
しかしながら、これらの光学フィルタの挿抜に伴う撮影モードの切り替えにおいて、以下のような課題がある。一つは、オートデイナイトに関する課題である。
【００１２】
一般に、監視用途などのネットワークカメラにおいては色情報が重視されるため、より低い照度下でもカラー撮影（デイモード）を行うことが望ましい。しかしながら特許文献１に記載の手法を用いると、次のトレードオフが発生する。
【００１３】
（１）より低照度からデイモードへの切り替えを行おうとして、デイ移行閾値とナイト移行閾値の差を小さくすると、デイモードには不十分な照度において切り替えを行ってしまい、デイモードとナイトモードの遷移を繰り返す、ハンチングを起こす可能性がある。
【００１４】
（２）ハンチングの可能性を低減するためデイ移行閾値とナイト移行閾値の差を大きく設定すると、ナイトモードからデイモードへの切り替わりのタイミングが遅くなってしまい、カラー撮影に十分な照度があるにも関らず、デイモードに切り替わらない。
【００１５】
（１）は、ナイトモードでの撮影画像からは可視光と赤外光の見分けがつかないために起こり、赤外光が多いほど、デイモードでは不十分な照度でもデイモードへ移行してしまう可能性が高くなる。
【００１６】
また、もう一つの課題は、ハレーション抑制モードに移行した際の課題である。特許文献２には可視カットフィルタを挿入するタイミングを判定する方法は開示されているが、ナイトモードへは一定時間経過後に移行することが開示されているのみであり、可視カットフィルタを抜去すべき適切なタイミングを判断する方法は開示されていない。これは、被写体の輝度値をもとにハレーションの有無を判定しているためである。つまり、一旦ハレーション抑制モードになった後は可視光がカットされるため、仮に車がヘッドライトを消したとしても画像に変化がないため、ナイトモードに戻しても良いことが判別できない。監視用途としては、画像のＳＮ比が高く視認性のよい画像を取得したいため、ハレーションが無いのであれば速やかにナイトモードへ戻して可視光を取り込むことが望まれる。また、仮にデイモード撮影が可能であるならば、速やかにデイモードへ戻してカラー撮影を行い、色情報を取得することが望まれる。しかしながら、ハレーション抑制モードに移行した後はヘッドライトの消灯を検知できないため、デイモードもしくはナイトモードへの切り替えが可能な状態であっても、ハレーション抑制モードで撮影を続けてしまうという課題がある。
【００１７】
さらに、もう一つの課題は、映り込み抑制モードに移行する際の課題である。車のフロントガラスの映り込みは、撮影するカメラの位置と被写体である車の位置とフロントガラスの角度、および映り込む対象物（雲や建物、太陽など）の位置関係によって、偏光フィルタによって抑制できない場合が存在する。フロントガラスから見て、映り込み対象物から出た光の入射角がブリュースター角から離れた値であるほど、反射光にＰ偏光成分が混ざるため、偏光フィルタによってＳ偏光成分を遮断したとしても、Ｐ偏光成分が残ってしまい、その結果映り込みが残ってしまう。
【００１８】
このように、映り込みには偏光フィルタを適切な角度に設定することで抑制できるものと、抑制ができないものの２通りが存在する。抑制できない映り込みであるにも関わらず偏光フィルタを挿入して撮影した場合、偏光フィルタによって撮影画像全体の明るさが損なわれるだけであり、映像品質が劣化してしまう。特許文献３には、画像の明るさが所定値以上であれば偏光フィルタを挿入して撮影する方法が開示されている。しかしながら、この方法では、車のフロントガラスに「抑制できない映り込み」が発生している場合にも、画像の輝度値が閾値以上であれば偏光フィルタを挿入してしまう。この結果、映り込みは除去されず、不必要に光量を落としただけの撮影となってしまい、映像品質が劣化する。
【００１９】
さらに、もう一つの課題は映り込み抑制モードから他のモードへ遷移する際の課題である。特許文献３に開示された手法では、偏光フィルタを装着して映り込みを抑制した撮影を行っている状況から、環境光（太陽の位置）などが変化して映り込みが消失したとしても、偏光フィルタを装着したまま撮影を継続してしまう。これは、偏光フィルタをカメラに装着して撮影した画像からは、そもそも映り込みが存在しているのか否かが判別できないためである。このため、いつ偏光フィルタを抜去すべきかが判断できず、映り込みが存在していないのにも関わらず、不必要に光量を落としただけの撮影を行ってしまい、映像品質が劣化してしまう。
【００２０】
本発明は上記問題点を鑑みてなされたものであり、光学フィルタを的確に用いて、品質の高い画像を撮影することを目的とする。
【課題を解決するための手段】
【００２１】
上記目的を達成するために、本発明の制御装置は、光学フィルタを含む結像光学系を介して入射する光を光電変換して画像信号を出力する撮像素子と、前記光学フィルタの位置を変更するための駆動手段と、を有する撮像装置を制御する制御装置であって、前記光学フィルタを、前記結像光学系の開口部に段階的に挿入するように前記駆動手段を制御し、前記光学フィルタを段階的に挿入しながら前記撮像素子により得られる画像の輝度に基づいて前記光学フィルタの位置を決定し、前記光学フィルタの位置が前記決定した位置となるように前記駆動手段を制御する制御手段を有する。
【発明の効果】
【００２２】
本発明によれば、光学フィルタを的確に用いて、品質の高い画像を撮影することが可能となる。
【図面の簡単な説明】
【００２３】
【図１】本発明の第１の実施形態における撮像装置の概略構成を示す図。
【図２】第１の実施形態における赤外カットフィルタの制御を説明する図。
【図３】第１の実施形態におけるナイトモードからデイモードへ移行する際の処理を示すフローチャート。
【図４】第２の実施形態における赤外カットフィルタと露出の制御を説明する図。
【図５】第２の実施形態における赤外カットフィルタの挿入状態と絞りの関係を説明する図。
【図６】第３の実施形態における赤外カットフィルタの挿入状態及び絞りが変化した場合の問題点を説明する図。
【図７】第３の実施形態における赤外カットフィルタと露出の制御を説明する図。
【図８】第４の実施形態における赤外カットフィルタと露光時間の制御を説明する図。
【図９】第５の実施形態における可視カットフィルタの位置とハレーションとの関係を説明する図。
【図１０】第５の実施形態におけるナイトモードからハレーション抑制モードへ切り替える際の処理を示すフローチャート。
【図１１】第６の実施形態における光学フィルタの構成を示す図。
【図１２】第６の実施形態における、可視カットフィルタの位置とハレーションとの関係を説明する図。
【図１３】第７の実施形態における撮像装置の概略構成を示す図。
【図１４】第７の実施形態における偏光フィルタの挿入状態と映り込みとの関係を示す図。
【図１５】第７の実施形態における偏光フィルタの挿入状態と映り込みとの関係を示す図。
【図１６】第７の実施形態におけるデイモードと映り込み抑制モード間の切り替え制御を示すフローチャート。
【図１７】第８の実施形態における光学フィルタの構成を示す図。
【図１８】第９の実施形態における光学フィルタの構成を示す図。
【図１９】第１０の実施形態における撮像装置の概略構成を示す図。
【図２０】第１０の実施形態における光学フィルタの制御を説明する図。
【発明を実施するための形態】
【００２４】
以下、添付図面を参照して本発明を実施するための形態を詳細に説明する。ただし、本形態において例示される構成部品の寸法、材質、形状、それらの相対配置などは、本発明が適用される装置の構成や各種条件により適宜変更されるべきものであり、本発明がそれらの例示に限定されるものではない。
【００２５】
＜第１の実施形態＞
本発明の第１の実施形態における撮像装置の概略構成を図１に示す。図１において、撮像装置１００は、結像光学系１０１、可視光及び赤外光に感度を有する撮像素子１０２、制御部１０３、フィルタ駆動部１０４を有し、結像光学系１０１は、レンズ１０５及び１０８と、絞り１０６、光学フィルタ１０７を有する。撮像素子１０２は、結像光学系を介して入射する光を光電変換して画像信号を出力する。
【００２６】
なお、ここでは図を簡略にするため、結像光学系１０１が２枚のレンズを有するものとしているが、３枚以上のレンズを有するものであっても構わない。また、本第１の実施形態においては、光学フィルタ１０７は赤外カットフィルタであり、以下、赤外カットフィルタ１０７とも記す。図１では赤外カットフィルタ１０７は、絞り１０６とレンズ１０８の間にあるが、レンズ１０５と絞り１０６の間であってもよく、また、絞り１０６は無くてもよい。なお、赤外カットフィルタ１０７は、レンズ１０５とレンズ１０８との間を伝搬する光束の径が最も小さくなっている位置の近傍に配置することが望ましい。
【００２７】
仮に、撮像素子１０２の近傍に赤外カットフィルタ１０７がある構成の場合には、後述するように赤外カットフィルタ１０７を段階的に挿入すると、撮影画像に赤外カットフィルタ１０７の端部に沿った不自然な輝度段差が発生し、画像品質の低下を招いてしまう。これに対し、上述したように、結像光学系１０１内の光束の径が小さい位置で赤外カットフィルタを段階的に挿入することにより、赤外光のみを絞っている状態とほぼ等しく、画像全体の明るさが低下するのみであって、不自然な画像にならないという効果がある。また、赤外カットフィルタ１０７の挿抜によって発生するピントズレ（光路長差）を抑制するために、結像光学系１０１に赤外カットフィルタと相補的に挿抜される透明ガラスを用いて、ピントズレの調整を行うようにしてもよい。
【００２８】
絞り１０６は、制御部１０３によってその開閉が制御される。赤外カットフィルタ１０７はフィルタ駆動部１０４によって図中Ｘ方向に挿抜される。結像光学系１０１は撮像素子１０２上に被写体像を結像する。制御部１０３は撮像素子１０２を駆動し、露光時間やゲインを制御したり、撮像素子１０２から信号を読み出したりする。更に、制御部１０３は、撮像素子１０２からの画素信号に基づいて、フィルタ駆動部１０４の動作を制御する。
【００２９】
撮像装置１００は、赤外カットフィルタ１０７を光路内に挿入してＹＵＶ形式やＲＧＢ形式のカラー画像を取得するデイモード（第１の撮影モード）を有する。また赤外カットフィルタ１０７を光路から退避させてモノクロ画像を取得するナイトモード（第２の撮影モード）も有し、デイモードとナイトモードとを切り替えて駆動する。
【００３０】
次に、赤外カットフィルタ１０７の挿入量を変えた複数の画像に応じて、赤外カットフィルタ１０７を完全に光路へ挿入した場合の被写体の輝度（即ち、可視光成分による輝度）を予測する方法について説明する。なお、ここで説明する予測方法を、デイナイトモードの切り替えの際の判定にどのように使用するかについては後述する。
【００３１】
図２は、結像光学系１０１を入射光側（−Ｚ側）から見た図と、その時の撮影画像と、赤外カットフィルタ１０７の挿入量と撮影画像の輝度との関係とを示す。なお、説明を分かり易くするために、絞り１０６と赤外カットフィルタ１０７のみを記載し、他は省略している。また撮影範囲の環境光は、太陽光や白熱灯のように可視光と赤外光の両方の成分を持つ光とする。
【００３２】
図２において、状態（ａ）から状態（ｅ）は、赤外カットフィルタ１０７が制御部１０３によって段階的に光路へ挿入される様子を表している。状態（ａ）から状態（ｅ）に向かうに従って、絞り１０６の開口部と赤外カットフィルタ１０７が重なる範囲が広がっていく。絞り１０６の開口部と赤外カットフィルタ１０７が重なる範囲は、赤外光が遮断され、可視光のみが透過するエリアである。赤外カットフィルタ１０７と重なっていない絞り１０６の開口部は、可視光及び赤外光が透過するエリアである。状態（ａ）から状態（ｅ）に向かうに従って、可視光のみが透過する範囲が段階的に広くなっていくため、赤外光成分による被写体の照度の割合は段階的に低くなり、結果として撮影画像全体が段階的に暗くなる。
【００３３】
図２から分かるように、各状態における絞り１０６の開口部の面積（面積Ａ）と、開口部と重なっている赤外カットフィルタ１０７の面積（面積Ｂ）が分かれば、状態（ｅ）に示す赤外カットフィルタ１０７を完全に挿入した場合の輝度を予測することができる。以下に示す式（１）は、赤外カットフィルタ１０７を完全に挿入した状態（ｅ）における輝度（輝度ｅ）を予測するために用いる式である。
輝度ｅ＝輝度ａ−（輝度ａ−輝度ｂ）×｛面積Ａ／（面積Ａー面積Ｂ）｝  …（１）
【００３４】
輝度ａ及び輝度ｂは、それぞれ状態（ａ）及び状態（ｂ）における被写体の輝度を示す。なお、輝度ａと輝度ｂとして、状態（ｃ）及び状態（ｄ）の輝度を用いても構わないし、図２に記載した状態以外に任意の量だけ赤外カットフィルタ１０７を挿入した状態の輝度を使用してもよい。また輝度の予測に３点以上の輝度を用いてもよい。３点以上の輝度を用いる場合には、最小二乗法などによって被写体の輝度値を予測すればよい。
【００３５】
次に、第１の実施形態において、赤外カットフィルタ１０７を完全に光路に挿入した際に被写体の輝度を予測する手法を、ナイトモードからデイモードへの切り替えの判定にどのように使用するかについて説明する。
【００３６】
図３は、ナイトモードからデイモードへ切り替える際の流れを示すフローチャートである。まず、Ｓ１において、ナイトモードでの撮影が開始され、Ｓ２において被写体の輝度が所定の第１の閾値以上であるか否かを判定する。ここでの第１の閾値は任意の値で構わないが、低い値の方が、より低い照度からカラー撮影を行うことができる。
【００３７】
次に、Ｓ２において、被写体の輝度が第１の閾値以上であると判定された場合はＳ３に移り、赤外カットフィルタ１０７の段階的な挿入を始める。ここでは、複数フレームを使って徐々に赤外カットフィルタ１０７を挿入していきながら被写体の輝度を取得し、式（１）を用いて完全に赤外カットフィルタ１０７を挿入した場合の輝度を予測する。なお、赤外カットフィルタ１０７の挿入量はフレーム毎に任意の量に設定して構わないが、小さい方が、Ｓ３において赤外カットフィルタ１０７を挿入した際の撮影画像の明るさの減少が少なくなる。
【００３８】
Ｓ４において、Ｓ３で予測した輝度を第２の閾値と比較し、第２の閾値以上であった場合にはデイモードへの移行が確定し、Ｓ６に移る。なお、第２の閾値としては、デイモードにおいてカラー撮影を行うにあたり、撮像装置１００の低照度撮影性能（撮像素子１０２の感度や露光時間、結像光学系のＦ値などによって決定される値）が要求する照度に設定すると良い。そのような値とすることで、より低い照度からカラー撮影を開始することができる。
【００３９】
Ｓ６では、赤外カットフィルタ１０７を光路に完全に挿入して、デイモードに切り替えてカラー撮影を行う。また、Ｓ４における判定でデイモードへの移行が決定した後、赤外カットフィルタ１０７の挿入速度を変更して一気に駆動して移行にかかる時間を短縮してもよい。また、予測された輝度値から、デイモードにした場合の被写体を適正露出にするための露光条件を判断できる。このため、赤外カットフィルタ１０７を一気に挿入するタイミングに合わせ、大きな輝度変化を抑制するように制御部１０３が露光条件を変更しするようにしてもよい。このように制御することでデイモード移行後に速やかに適正露出での撮影が可能になる。
【００４０】
またＳ３において、複数フレームを使って段階的に赤外カットフィルタを挿入しながら、色差信号の変化を取得することで、デイモードに切り替えた際に適正なホワイトバランスに必要な調整値の予測に使用することも可能である。この場合、Ｓ４の判定においてデイモード移行が確定した場合、デイモードで移行すると同時にホワイトバランスの調整値を変更することで、デイモード切り替え後に速やかに適正な撮影画像を得ることが可能になる。
【００４１】
一方、Ｓ４において、Ｓ３で予測した輝度値が第２の閾値未満であった場合には、デイモードには不十分な照度であると判定してＳ５に移り、赤外カットフィルタ１０７を光路外へ抜去してナイトモードでの撮影に戻る。このとき、第１の閾値を前回の値よりも高い値に更新してもよいし、Ｓ２において測定された被写体の輝度値に対して負のオフセットを設定してもよい。どちらの場合も、Ｓ４における判定において予測された輝度値と第２の閾値との差分を、第１の閾値に対して加えるか、もしくは被写体の輝度から減算すると、Ｓ２での判定精度を向上することができる。
【００４２】
なお、上述した手法では、最小で２つのフレームから輝度の予測を行うことが可能ではあるが、さらに多くのフレームに渡って輝度の予測を継続し、予測される輝度の精度を高めてもよい。また、複数フレームに渡って輝度の予測を継続している際に、一部のフレームのみにおいて可視光の赤外光に対する比が第３の閾値以上に大きく変化した場合は、外部照明の点灯などによる外乱成分であると予測し、そのフレームを判定から除外してもよい。ここで可視光の赤外光に対する比とは、赤外カットフィルタ１０７を一定面積ずつ挿入したときの輝度変化量である。第３の閾値を小さくした方が外乱には強くなるが、第３の閾値を大きくした方が、デイモード切り替えの判定に必要なフレーム数が少なくなるため、好ましい。
【００４３】
上記の通り第１の実施形態によれば、第１の閾値を低く設定しても、段階的に赤外カットフィルタを挿入することによって、デイモードにした場合の輝度を予測し、予測した輝度に基づいて切り替え制御することが可能になる。このような制御により、ハンチングを起こすことなく、デイモードへの切り替えを行うことができる。
【００４４】
＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。なお、第２の実施形態における撮像装置の構成は、図１を参照して説明した第１の実施形態における撮像装置１００と同様であるため、説明を省略する。ただし、本第２の実施形態の制御部１０３による制御が、第１の実施形態と異なるため、この差異について以下に説明する。
【００４５】
なお、第２の実施形態においても、モード切り替え時の判定は図３のフローチャートに従って行われる。第１の実施形態と異なるのは、Ｓ３において、撮像素子１０２の露光時間の変更、ゲインの変更等による自動露出調節（ＡＥ）を行いながら赤外カットフィルタを段階的に挿入することである。なお、第２の実施形態では、絞り１０６は変更しないものとする。以下、具体的な動作について、図４を参照して説明する。
【００４６】
図４に、第ｎフレームから第ｎ＋６フレームまでの撮影画像を示す。まず第ｎフレームから第ｎ＋１フレームにかけて、絞り１０６の開口部に対して赤外カットフィルタ１０７が一定量の面積だけ増えるように挿入する。これにより、赤外光成分による被写体の照度が低減されるため、第ｎ＋１フレームの画像は一定量暗くなる。制御部１０３は、第ｎ＋１フレームの画像から適正露出に必要な露出条件を算出し、第ｎ＋２フレームにかけて撮像素子１０２の露光時間やゲインなどの露光条件を変更することで（ＡＥ）、適正露光とする。また、第ｎ＋２フレームから第ｎ＋３フレームの間で赤外カットフィルタ１０７はさらに一定量の面積だけ、絞り１０６の開口部に挿入されるが、第ｎ＋３フレームは第ｎ＋１フレームと同じ輝度になる。以降、ＡＥによる適正露光への回復と、赤外カットフィルタ１０７の段階的な挿入が繰り返される。
【００４７】
一般に、ＡＥによる露光制御では、１フレームあたりの露出変更の幅に制限を持たせ、外乱（瞬間的に意図しない照明の光を受光する等のノイズ）に対する耐性を向上させることが多い。このため、被写体の大きな輝度変化が発生すると、適正露光になるまでに時間が掛かってしまう。この間に黒つぶれや白飛び等が発生すると、画像の品質が劣化してしまう。
【００４８】
これに対して、第２の実施形態では、赤外カットフィルタ１０７の挿入量を、１フレームの間にＡＥによって変更が可能な光量以内に抑えることで、撮影画像の輝度変化を低減し、適正露光に近い露光状態の画像のフレーム数を多くする。すなわち、本実施形態では、フレーム毎に挿入面積が一定となるように、赤外カットフィルタ１０７の水平方向の移動量は、絞り１０６の開口部の端部では大きく、絞り１０６の開口部の中央付近では小さくする。フレーム毎に任意の変動量としても構わないが、複数フレームに渡って輝度変化量を取得してデイモード移行判定の確度を上げようとする場合には、赤外カットフィルタ挿入量は面積一定とするほうが輝度変化もリニアになり、輝度予測が容易になるので望ましい。
【００４９】
また、デイモード時の輝度を予測するにあたっては、赤外カットフィルタ１０７を挿入する前後のフレーム（例えば、第ｎ＋１と第ｎ＋３フレーム、第ｎ＋３フレームと第ｎ＋５フレーム）の輝度を用いて、前述の式（１）から算出すればよい。もしくは複数のフレームをまたいだ輝度変化を見て、その変化量からＡＥ制御によって変更した光量の合計を除算し、その値と挿入された赤外カットフィルタの面積合計値から、式（１）と同様の計算を行ってもよい。また、図４では各フレーム間に赤外カットフィルタの挿入と露光制御を行っているが、実際には赤外カットフィルタの挿入、およびＡＥによる露光調整それぞれに複数フレームを用いても構わない。
【００５０】
上記の通り第２の実施形態によれば、被写体の輝度変動量を抑制しながら、赤外カットフィルタの段階的な挿入とモード切り替え判定が実現でき、ハンチングを防ぎながらデイモードへの切り替えが可能になる。
【００５１】
なお、第２の実施形態ではナイトモードからデイモードへの切り替えについて説明しているが、ＡＥ制御はデイモードからナイトモードへの切り替えの際にも適用することが可能であり、被写体の輝度変動量を抑制することができる。
【００５２】
＜第３の実施形態＞
次に、本発明の第３の実施形態について説明する。なお、第３の実施形態における撮像装置の構成は、図１を参照して説明した第１の実施形態における撮像装置１００と同様であるため、説明を省略する。ただし、本第３の実施形態の制御部１０３による制御が第１の実施形態と異なるため、この差異について以下に説明する。
【００５３】
なお、第３の実施形態においても、モード切り替え時の判定は図３のフローチャートに従って行われるが、ここでは、ナイトモードにおいて絞り１０６が小絞りの状態で撮影されている場合を想定する。本実施形態では、第２の実施形態と同様に、Ｓ３において赤外カットフィルタ１０７を段階的に挿入している期間にもＡＥによる露光調整が行われる。図５に、絞りが開かれる前後での絞り１０６の開口部と赤外カットフィルタ１０７の面積比を示す。
【００５４】
図５（ａ）では、絞り１０６は小絞り状態であり、赤外カットフィルタ１０７は絞り１０６の開口部に対して面積比で２０％の位置まで挿入されている。図５（ａ）の状態からＡＥによる露光調整が行われ、結果として絞り１０６が開いた状態を図５（ｂ）に示している。図５（ｂ）では、赤外カットフィルタ１０７の位置は図５（ａ）から変化していないものの、絞り１０６が開かれたことによって、赤外カットフィルタ１０７の占める面積が相対的に増え、絞り１０６の開口部に対して４０％を占めている。このようにＡＥによって絞り１０６が変動する場合には、赤外カットフィルタ１０７の挿入による輝度変化と絞り変化による輝度変化が混合されてしまい、輝度の予測が複雑になってしまう。
【００５５】
図６に、絞り１０６と赤外カットフィルタ１０７が共に動く場合における、可視光に対する赤外光の比率の変化を示す。ここで説明のため、絞り開口部において赤外カットフィルタ１０７が重なっていない範囲を面積Ａ、絞り開口部において赤外カットフィルタ１０７が重なっている範囲を面積Ｂと表記する。
【００５６】
第ｎフレームから第ｎ＋１フレームにかけて、赤外カットフィルタ１０７が絞り１０６の開口部に対して例えば２０％挿入した場合、第ｎ＋１フレームでの被写体の輝度は赤外光成分が低減した分だけ低下する。次に第ｎ＋１フレームから第ｎ＋２フレームにかけてＡＥによって絞り１０６が開かれると、実質的に面積Ａに対する面積Ｂの比率が高まる。このため、赤外光の比率はＮ＋１フレームから更に低下する。次に第ｎ＋２フレームから第ｎ＋３フレームにかけて赤外カットフィルタ１０７が挿入される。ここでは絞り１０６の開口部に対して６０％挿入したものとする。さらに第ｎ＋３フレームから第ｎ＋４フレームにかけてＡＥによって絞り１０６が更に開かれると、今度は絞り１０６が開かれたことによって実質的に、面積Ａに対する面積Ｂの比率が低下する。このため第ｎ＋４フレームの赤外光の比率は増加する。最後に、第ｎ＋５フレームにおいて赤外カットフィルタ１０７が完全に挿入されるため、赤外光の比率は０％になる。
【００５７】
第ｎフレームでの赤外光の比率と第ｎ＋５フレームにおける赤外光の比率（０％）との間を直線で内挿したもの（図６中の点線Ｃ）が、ＡＥによって絞り１０６が動かない場合の赤外光の比率の変化を示しており、これは第２の実施形態に相当する。このように赤外光の比率がリニアに変化する場合には、被写体の輝度の予測は前述の式（１）を利用すれば容易に行うことができる。これに対して、ＡＥによって絞り１０６が動く場合には、赤外光の比率の変化は図６の実線Ｄのようになる。図６に示すように第ｎ＋２フレームと第ｎ＋４フレームにおいて、絞り１０６が動いたことによる赤外光の比率の変化が、赤外カットフィルタ１０７の段階的挿入による赤外光の比率の変化と混ざってしまっており、被写体の輝度の予測が難しくなる。
【００５８】
そこで第３の実施形態では、ＡＥによって絞り１０６が動作する場合に、絞り１０６が開くことによって変化してしまう赤外光の比率を打ち消すような方向へ赤外カットフィルタ１０７を移動させる。これによって、赤外カットフィルタ１０７を挿入したことのみによる赤外光比率の変化を測定可能にし、被写体の輝度の予測を容易にすることが可能になる。
【００５９】
図７に、本実施形態における絞り１０６と赤外カットフィルタ１０７の動作に対する赤外光の比率の変化の様子を示す。第ｎフレーム、第ｎ＋１フレーム、第ｎ＋３フレームは図６と同一であるが、第ｎ＋２フレームにおいてＡＥによって絞り１０６が開かれる際に、赤外カットフィルタ１０７を絞り開口部から一定量抜去して、面積Ａと面積Ｂの比率が変わらないように制御する。また第ｎ＋４フレームにおいては絞り１０６が開かれる際に、赤外カットフィルタ１０７を一定量さらに挿入して、面積Ａと面積Ｂの比率が変わらないように制御する。この制御は、あらかじめ赤外カットフィルタ１０７の位置と絞り１０６のＦ値の関係をテーブルで制御部１０３に保持していてもよいし、関数によって演算がなされるようにしてもよい。
【００６０】
このように制御することによって、フレーム毎の赤外カットフィルタ１０７の挿入量は、絞り１０６の開放部に対して常に面積比で一定とすることができる。そのため、式（１）を用いて、赤外カットフィルタ１０７が完全に挿入された場合の被写体の輝度を容易に予測することができる。
【００６１】
上記の通り第３の実施形態によれば、被写体の輝度変動量を抑制しながら、赤外カットフィルタの段階的な挿入とモード切り替え判定が実現でき、ハンチングを防ぎながらデイモードへの切り替えが可能になる。
【００６２】
＜第４の実施形態＞
次に、本発明の第４の実施形態について説明する。なお、第４の実施形態における撮像装置の構成は、図１を参照して説明した第１の実施形態における撮像装置１００と同様であるため、説明を省略する。ただし、本第４の実施形態の制御部１０３による制御が、第１の実施形態と異なるため、この差異について以下に説明する。
【００６３】
なお、第４の実施形態においても、モード切り替え時の判定は図３のフローチャートに従って行われる。第１の実施形態と異なるのは、Ｓ３において、被写体の明部を撮影するために短い露光時間での撮影と、被写体の暗部を撮影するために長い露光時間での撮影とを行うことである。
【００６４】
図８は、第４の実施形態において、絞り１０６の開口部に対する赤外カットフィルタの挿入状態と、各状態において得られた画像の一例を示す図である。図８では、左から短秒露光、長秒露光の順で交互に撮影する場合を示している。ただし露光時間と撮影の順番に制限はなく、この通りでなくてもよい。また、図８では、被写体の上半分の照度（または輝度）が高い明部であり、下半分が照度（または照度）の低い暗部である場合を示している。このため、短秒フレームでは撮影画像の上半分が適正露光となり、下半分は黒つぶれしている。一方、長秒フレームでは逆に撮影画像の下半分が適正露光となって、上半分は白飛びしている。
【００６５】
本実施形態ではＳ３において、図８に示すように、短秒フレームだけに赤外カットフィルタ１０７を段階的に挿入する。この制御によって、短秒フレームでは赤外光がカットされることで明るさが徐々に低減する。この短秒フレームで得られる画像を用いて、上述した式（１）により、赤外カットフィルタ１０７が完全に挿入された場合の被写体の輝度を容易に予測することができる。
【００６６】
一方、図８に示すように赤外カットフィルタ１０７と露光時間を制御しながら撮影した画像を不図示のメモリに格納する。そして、メモリに格納した短秒フレーム、長秒フレームの２つの画像に対して、制御部１０３はフレーム毎に適正露出に収まっている範囲を抽出し、それらを合成してダイナミックレンジの広い画像を生成する。短秒フレームでの暗部は、長秒フレームで適正露出になっている範囲であるため、合成画像としては影響がない。短秒フレームの明部における信号強度の低下が、合成画像の上半分の明るさの変化として現れる。このように、第１の実施形態では図２に示すように撮影画像全体の信号強度が変化したのに対し、第４の実施形態では信号強度の変化が発生する範囲を撮影画像の一部に抑制することが可能になる。
【００６７】
上記の通り本第４の実施形態によれば、撮影画像の信号強度の変化を撮影した画像の一部に抑制しながら、ハンチングを防ぎつつデイモードへ切り替えることができる。
【００６８】
なお、第４の実施形態では、２種類の露光時間で画像を撮影する場合について説明したが、より多くのフレームを用いて、３種類異常の異なる露光時間で画像を撮影し、合成しても良い。その場合、より多くの範囲を適正露出に納めることができる。
【００６９】
更に、第２の実施形態の方法を組み合わせて短秒フレームの露光時間を同時に制御すれば、短秒フレームの明部における信号強度低下も抑制することができる。また、第４の実施形態では短秒フレームで赤外カットフィルタを段階的に挿入する場合を説明したが、長秒フレームにて同様の制御を行うようにしても良い。長秒フレームにて赤外カットフィルタの段階的な挿入を行う場合は、長秒フレームの適正露出範囲、つまり合成画像の下半分においてのみ信号強度の変化が発生する。
【００７０】
＜第５の実施形態＞
次に、本発明の第５の実施形態について説明する。なお、第５の実施形態における撮像装置の構成は、図１を参照して説明した第１の実施形態における撮像装置１００と同様であるため、説明を省略する。ただし、第５の実施形態における光学フィルタ１０７は可視カットフィルタであり、以下の説明では、第１乃至第４の実施形態と区別するために、光学フィルタ１０７を可視カットフィルタ５０７と記す。
【００７１】
撮像装置１００は少なくとも光路の一部分に可視カットフィルタ５０７を挿入してモノクロ画像を取得するハレーション抑制モード（第３の撮影モード）を有する。また可視カットフィルタ５０７を光路から完全に抜去してモノクロ画像を取得するナイトモード（第２の撮影モード）も有し、ナイトモードとハレーション抑制モードとを切り替えて撮影を行う。
【００７２】
図９は、結像光学系１０１を入射光側（−Ｚ側）から見た図と、その時の撮影画像と、可視カットフィルタ５０７の挿入量と被写体の輝度との関係とを示す。なお、説明を分かり易くするために、絞り１０６と可視カットフィルタ５０７のみを記載し、他は省略している。また撮影範囲の環境光は、太陽光や白熱灯のように可視光と赤外光の両方の成分を持つ光とする。
【００７３】
図９において、５１０は被写体である車を表し、５１１はナンバープレート、５１２は可視光成分が主体となるＬＥＤ型のヘッドライトを表し、ヘッドライト５１２は点灯しているものとする。５１３は点灯するヘッドライトによって引き起こされたハレーションを表している。図９において、状態（ａ）から状態（ｅ）は、可視カットフィルタ５０７が制御部１０３によって段階的に光路へ挿入される様子を表している。状態（ａ）から状態（ｅ）に向かうに従って、絞り１０６の開口部と可視カットフィルタ５０７が重なる範囲が広がっていく。絞り１０６の開口部と可視カットフィルタ５０７が重なる範囲は、可視光が遮断され、赤外光のみが透過するエリアである。可視カットフィルタ５０７と重なっていない絞り１０６の開口部は、可視光及び赤外光が透過するエリアである。状態（ａ）から状態（ｅ）に向かうに従って、赤外光のみが透過する範囲が段階的に広くなっていくため、可視光成分による被写体の照度の割合は段階的に低くなり、ハレーションが抑制されていくが、結果として撮影画像全体が段階的に暗くなる。
【００７４】
図９から分かるように、各状態における絞り１０６の開口部の面積（面積Ａ）と、開口部と重なっている可視カットフィルタ５０７の面積（面積Ｂ）が分かれば、式（１）を使って、可視カットフィルタ５０７の挿入量毎の輝度が予測できる。式（１）において、本第５の実施形態では、輝度ａ及び輝度ｂはそれぞれ図９の状態（ａ）及び状態（ｂ）における被写体の輝度を示す。また、輝度ａと輝度ｂは、図９の状態（ｃ）や状態（ｄ）の輝度を用いても構わないし、図９に記載した状態以外に、任意の量だけ可視カットフィルタ５０７を挿入した状態の輝度を使用してもよい。また輝度の予測に３点以上の輝度を用いてもよい。３点以上の輝度を用いる場合には、最小二乗法などによって被写体の輝度値を予測すればよい。
【００７５】
以上述べた方法により、ハレーションが抑制され、目的の撮影対象物が視認性よく撮影できるために必要な可視カットフィルタの挿入量を予測できる。ここでは、例えば図９の状態（ｃ）においてナンバープレート５１１を認識するのに十分な程度にハレーションが抑制されているため、この状態で可視カットフィルタを止めて撮影を行えばよい。このように、状態（ｃ）で撮影を行うことで、車がヘッドライトを消灯した場合であっても、ナンバープレート５１１を認識することが可能になる。
【００７６】
また、図９の状態（ｃ）では、絞り１０６の開口部に可視光と赤外光を両方透過する領域が残っているため、ヘッドライトが消灯されると画像の輝度は減少する。この輝度の減少を検知することでヘッドライトが消灯されたことが認識でき、可視カットフィルタ５０７が不要になったことを判別できる。したがって可視カットフィルタ５０７を速やかに抜去して、ナイトモードで高いＳＮＲでの撮影を行うことが可能になる。
【００７７】
なお、ここでは図９の状態（ｃ）を用いて説明したが、状態（ｅ）以外であれば任意の状態でも同様の検知が可能であることは明らかである。また、以上の説明では被写体の輝度を使う場合を説明したが、輝度の変わりにハレーションの大きさを使用してもよい。ハレーションの大きさを認識するには、制御部１０３において画像認識などの手段により、ある閾値以上の輝度を持つ円形状を認識し、その直径ないし半径などの情報を利用すればよい。
【００７８】
図１０は、第５の実施形態におけるナイトモードからハレーション抑制モードへ切り替える際の流れを示すフローチャートである。まずＳ１１において、ナイトモードでの撮影が開始され、Ｓ１２において被写体の輝度が所定の第４の閾値以上であるか否か、つまりハレーションの有無を判定する。被写体の輝度が第４の閾値以上であると判定された場合はＳ１３に移り、可視カットフィルタ５０７の段階的な挿入を開始する（ハレーション抑制モード）。ここでは、複数フレームを使って徐々に可視カットフィルタ５０７を挿入していきながら、被写体の輝度を取得する。
【００７９】
次にＳ１４において、被写体の輝度が所定の第５の閾値未満になった場合はＳ１５に移り、可視カットフィルタ５０７の挿入を止めて、ハレーション抑制モードでの撮影を継続させる。第５の閾値は、第４の閾値よりも小さく、ハレーションが十分に抑制され、目的の撮影対象（ここではナンバープレート５１１）が認識性のよい状態で撮影できるときの輝度になるように選ぶとよい。ここで、式（１）を用いて被写体の輝度が第５の閾値未満となるために必要な可視カットフィルタの挿入量を予測し、予測した位置まで可視カットフィルタ５０７の挿入速度を速めてもよい。より可視カットフィルタ５０７の挿入速度が速いほど、ハレーションによる認識性の低いフレームを減らすことができる。また、輝度の予測を容易にするために、１フレームあたりの可視カットフィルタ５０７の挿入量（つまり絞り１０６の開口部に占める可視カットフィルタ５０７の面積変化量）が一定となるように、挿入速度をフレーム毎に調節してもよい。さらに、ＡＥによって絞り１０６が変動する場合に、フレーム毎の絞り変化による輝度変化と、可視カットフィルタ５０７の挿入による輝度変化が混合されることを防ぐようにしてもよい。具体的には、第３の実施形態と同様に、フレーム毎の絞り１０６の変化による可視光成分の変化を打ち消す方向へ、可視カットフィルタ５０７のフレーム毎の挿入量を調整する。これによってフレーム毎の輝度変化がリニアになるため、式（１）を使った予測が容易に行えるようになる。
【００８０】
次にＳ１６に移り、可視カットフィルタ５０７を固定して撮影している状態で、被写体の輝度に変化があるか否かを検知し、変化がない間は可視カットフィルタ５０７の位置は固定したままで撮影を継続する。輝度が変化し高くなった場合にはＳ１２に戻り、被写体の輝度が第４の閾値を超えた場合には、Ｓ１３に移って可視カットフィルタ５０７をさらに挿入する。逆に、Ｓ１６において輝度が低く変化した場合にはＳ１７に移り、所定の第６の閾値と比較する。ここで第６の閾値は完全に可視カットフィルタを抜去したときにハレーションが起きていない時の輝度の値に設定するとよい。Ｓ１７において第６の閾値未満である場合はヘッドライト５１２が消灯したと判定して、Ｓ１８に移り、可視カットフィルタ５０７を完全に抜去する。
【００８１】
その後Ｓ１１に戻ってナイトモードでの撮影に戻り、高ＳＮＲでの撮影が可能になる。一方、Ｓ１７において第６の閾値以上であった場合にはＳ１９に移り、可視カットフィルタ５０７の段階的な抜去を行う。その後、Ｓ２０において第７の閾値と現在の輝度とを比較する。ここで第７の閾値には、第６の閾値以上、第５の閾値未満の値を設定する。Ｓ２０において第７の閾値以上となるまでは可視カットフィルタ５０７の段階的な抜去が継続される。第７の閾値以上となったときにはＳ１５に移り、その位置で可視カットフィルタ５０７が固定される。
【００８２】
上記の通り第５の実施形態によれば、ヘッドライトのハレーションを抑制して撮影対象を撮影しつつ、ヘッドライトが消灯された場合にも、消灯を検知し、高ＳＮＲのナイトモードでの撮影に切り替えることが可能になる。
【００８３】
＜第６の実施形態＞
次に、本発明の第６の実施形態について説明する。なお、第６の実施形態における撮像装置の構成は、図１を参照して説明した第１の実施形態における撮像装置１００と同様であるため、説明を省略する。ただし、第６の実施形態における光学フィルタ１０７は可視カットフィルタと赤外カットフィルタの組み合わせたフィルタであり、以下の説明では、第１乃至第５の実施形態と区別するために、光学フィルタ１０７を光学フィルタ６０７と記す。
【００８４】
図１１を用いて、第６の実施形態における光学フィルタ６０７の構成について説明する。光学フィルタ６０７は、可視カットフィルタ部分６１０と赤外カットフィルタ部分６１１との、２枚の異なるフィルタをつなぎ合わせた構成を有する。そして、絞り１０６の開口部に対して、光学フィルタ６０７をフィルタ駆動部１０４が図中の矢印Ｘ方向に駆動する。第６の実施形態における撮像装置１００は、少なくとも光路の一部分に可視カットフィルタ部分６１０を挿入してモノクロ画像を取得するハレーション抑制モード（第３の撮影モード）を持つ。また可視カットフィルタ部分６１０を光路から完全に抜去し、赤外カットフィルタ部分６１１を光路に完全に挿入してカラー画像を取得するデイモード（第１の撮影モード）も有し、デイモードとハレーション抑制モードとを切り替えて撮影を行う。
【００８５】
図１２は、結像光学系１０１を入射光側（−Ｚ側）から見た図と、その時の撮影画像と、光学フィルタ６０７の位置と被写体の輝度との関係を示している。なお、説明を分かり易くするために、絞り１０６と光学フィルタ６０７のみを記載し、他は省略している。また撮影範囲の環境光は、太陽光や白熱灯のように可視光と赤外光の両方の成分を持つ光とする。
【００８６】
図１２において、６１２は被写体である車を表し、６１３はナンバープレート、６１４はＬＥＤ型のヘッドライトを表し、ヘッドライト６１４は点灯しているものとする。６１５は点灯するヘッドライト６１４によって引き起こされたハレーションを表している。
【００８７】
図１２において、状態（ａ）から状態（ｅ）は、光学フィルタ６０７の可視カットフィルタ部分６１０が制御部１０３によって段階的に光路へ挿入される様子を表している。状態（ａ）から状態（ｅ）に向かうに従って、絞り１０６の開口部と可視カットフィルタ部分６１０が重なる範囲が広がっていく。絞り１０６の開口部と可視カットフィルタ部分６１０が重なる範囲は、可視光が遮断され、赤外光のみが透過するエリアである。
【００８８】
可視カットフィルタ部分６１０と重なっていない絞り１０６の開口部は赤外カットフィルタ部分６１１が重なっていて、赤外光が遮断され、可視光のみが透過するエリアである。状態（ａ）から状態（ｅ）に向かうに従って赤外光のみが透過する範囲が段階的に広くなっていくため、可視光成分による被写体の照度の割合も段階的に低くなり、ハレーションが抑制されていくが、結果として撮影画像全体が段階的に暗くなる。ここで、状態（ａ）はデイモードに相当し、カラー撮影を行っている。状態（ｂ）から状態（ｅ）はハレーション抑制モードに相当し、モノクロ撮影を行っている。図１２から分かるように、各状態における絞り１０６の開口部面積（面積Ａ）と、絞り１０６の開口部と重なっている可視カットフィルタ部分６１０の面積（面積Ｂ）が分かれば、第１および第５の実施形態で説明した式（１）を使って、可視カットフィルタ部分６１０の挿入量毎の状態（ｅ）における輝度が予測できる。
【００８９】
次にハレーション抑制モードにおいて、ヘッドライト６１４が消灯したことを検知する方法について説明する。図１２の状態（ｃ）では、ナンバープレート６１３を認識するには十分な程度にハレーションが抑制されているため、この状態で可視カットフィルタ部分６１０を止めて撮影を行うことが可能である。この状態（ｃ）で撮影を行うことで、車がヘッドライト６１４を消灯した場合にもナンバープレートを認識することが可能になる。状態（ｃ）では、絞り開口部６０６に赤外カットフィルタ部分６１１が重なっている範囲、つまり可視光を透過する領域が残っているため、ヘッドライト６１４が消灯されると画像の輝度は減少する。この輝度の減少を検知することで、ヘッドライト６１４が消灯されたことが認識でき、可視カットフィルタ部分６１０が不要になったことを判別できる。従って、可視カットフィルタ部分６１０を速やかに抜去して、赤外カットフィルタ部分６１１を挿入し、デイモードでカラー撮影を行うことが可能になる。
【００９０】
ここでは、図１２の状態（ｃ）を用いて説明したが、状態（ｅ）以外であれば任意の状態でも同様の検知が可能であることは明らかである。また、以上の説明では被写体の輝度を使う場合を説明したが、輝度の変わりにハレーションの大きさを使用してもよい。ハレーションの大きさを認識するには、制御部１０３において画像認識を行い、ある閾値以上の輝度を持つ円形状を認識し、その直径ないし半径などの情報を利用すればよい。
【００９１】
次に、可視カットフィルタ部分６１０の挿入量毎の被写体の輝度を予測する手法を、ハレーション抑制モードとデイモードの切り替えの判定にどのように使用するかについて説明する。
【００９２】
デイモードからハレーション抑制モードへ切り替える際のフローチャートは、第５の実施形態における図１０のフローチャートと同一のため説明を省略する。第５の実施形態との違いは２つあり、１つはＳ１１での撮影モードがデイモードでのカラー撮影であることである。もう１つは、可視カットフィルタ部分６１０と赤外カットフィルタ部分６１１が一続きになった構成のため、可視カットフィルタ部分６１０を挿入した分だけ、赤外カットフィルタ部分６１１が抜去されるという相補的な動作になることである。
【００９３】
上記の通り第６の実施形態によれば、ヘッドライトのハレーションを抑制して撮影対象を撮影しつつ、ヘッドライトが消灯された場合にも消灯を検知でき、デイモードでのカラー撮影に切り替えることが可能になる。
【００９４】
＜第７の実施形態＞
次に、本発明の第７の実施形態について説明する。第７の実施形態における撮像装置７００の概略構成を図１３に示す。第１の実施形態における撮像装置１００とは、結像光学系７０１の光学フィルタとして偏光フィルタ７０７を有すると共に、更に、光路に固定された赤外カットフィルタ７０９を有する点が異なる。それ以外の構成は、図１に示すものと同様であるため同じ参照番号を付して、ここでは説明を省略する。撮像装置７００は、偏光フィルタ７０７を光路に挿入して撮影する映り込み抑制モード（第４の撮影モード）と、偏光フィルタ７０７光路から完全に抜去して撮影するデイモード（第１の撮影モード）を有する。そして、映り込み抑制モードとデイモードとを切り替えて撮影を行う。
【００９５】
図１４は、結像光学系７０１を入射光側（−Ｚ側）から見た図と、その時の撮影画像及び被写体の輝度の関係を示している。説明を分かり易くするために、絞り１０６と偏光フィルタ７０７と、赤外カットフィルタ７０９のみを記載し、他は省略している。また撮影範囲の環境光は、太陽光や白熱灯などのように非偏光の成分を持つ光とする。
【００９６】
図１４において、７１３は被写体であるドライバー７１２が乗っている車を表している。図１４において、状態（ａ）から状態（ｅ）は、偏光フィルタ７０７が制御部１０３によって段階的に光路へ挿入される様子を表しており、状態（ａ）から状態（ｅ）に向かうに従って、絞り１０６の開口部と偏光フィルタ７０７が重なる範囲が広がっていく。
【００９７】
図１４では、撮像装置７００と被写体と光源の関係が適切で、映り込みが偏光フィルタ７０７によって抑制できる場合を表している。状態（ａ）では、ドライバー７１２はフロントガラスの映り込みによって見えていないが、偏光フィルタ７０７を完全に挿入した状態（ｅ）では映り込みが抑制され、ドライバー７１２が見えている。絞り１０６の開口部と偏光フィルタ７０７が重なる範囲は、フロントガラスで反射したＳ偏光成分の光（つまり、映り込み）が遮断されるエリアであり、かつ赤外カットフィルタ７０９によって赤外光も遮断されるエリアである。偏光フィルタ７０７と重なっていない絞り１０６の開口部は、すべての偏光の光が透過し、赤外カットフィルタ７０９によって赤外光が遮断され可視光のみが透過するエリアである。
【００９８】
状態（ａ）から状態（ｅ）に向かうに従って、フロントガラスで反射したＳ偏光成分が遮断される範囲が段階的に広くなっていくため、映り込みが段階的に低減していく。また、フロントガラス以外の範囲においても、自然光に含まれる偏光のうち、偏光フィルタ７０７の偏光子に平行な成分が段階的に遮断されるため、結果として撮影画像全体が段階的に暗くなる。
【００９９】
図１４から分かるように、各状態における絞り１０６の開口部の面積（面積Ａ）と、開口部と重なっている偏光フィルタ７０７の面積（面積Ｂ）が分かれば、式（１）を使って、偏光フィルタ７０７を完全に挿入した場合の輝度が予測できる。式（１）において、本第７の実施形態では、輝度ａ及び輝度ｂはそれぞれ図１４の状態（ａ）及び状態（ｂ）における被写体の輝度を示す。また、輝度ａと輝度ｂは、図１４の状態（ｃ）や状態（ｄ）の輝度を用いても構わないし、図１４に記載した状態以外に、任意の量だけ偏光フィルタ７０７を挿入した状態の輝度を使用してもよい。また輝度の予測に３点以上の輝度を用いてもよい。３点以上の輝度を用いる場合には、最小二乗法などによって被写体の輝度値を予測すればよい。
【０１００】
次に、光源との関係が図１４の状態から変わり、映り込みが偏光フィルタ７０７によって抑制できないように変化した場合について、図１５を用いて説明する。図１５では、状態（ａ）から状態（ｅ）にかけて偏光フィルタ７０７を段階的に光路へ挿入しているが、フロントガラスにおける反射はＳ偏光に加えてＰ偏光も存在するため、映り込みは抑制されておらず、ドライバーは状態（ｅ）でも見えていない。一方、状態（ａ）から状態（ｅ）にかけての輝度変化（低下）は図１４に比べると緩やかになる。また、図１５では車全体の輝度を対象としているが、注目領域であるフロントガラスのみの輝度を扱えば、映り込みが抑制できる場合とできない場合の輝度変化の勾配の差は更に大きくなり、推測の精度が向上する。この場合は制御部１０３において、パターンマッチングなどの画像認識手法によってフロントガラスを認識し、その内部の輝度のみを推測に用いればよい。
【０１０１】
更には、画像の輝度以外にコントラスト値を評価値とすることでも推測精度は向上する。図１４のように映り込みが抑制できる場合には、状態（ａ）から（ｅ）にかけてコントラスト値は上昇するが、図１５の場合ではコントラスト値は変化しない。輝度変化の勾配差に加えて、コントラスト値の変化量の差を利用することによって、映り込みの抑制可否の推測精度を向上させることが可能となる。以上より、偏光フィルタによって映り込みが抑制できる場合とできない場合では、偏光フィルタを完全に挿入した際の被写体の輝度推定値が異なるために、見分けることが可能となる。具体的には、図１４と図１５それぞれの状態（ｅ）における輝度推定値の間の任意の輝度値を閾値として持ち、映り込み抑制モードとデイモードの切り替え閾値とすればよい。
【０１０２】
図１６は、第７の実施形態におけるデイモードと映り込み抑制モードとを切り替える際の流れを示すフローチャートである。まずＳ３１において、デイモードでの撮影が開始され、Ｓ３２において被写体の輝度が所定の第８の閾値以上であるか否か、つまり映り込みの有無を判定する。被写体の輝度が第８の閾値以上であると判定された場合はＳ３３に移り、偏光フィルタ７０７の段階的な挿入を開始する（映り込み抑制モード）。ここでは、複数フレームを使って徐々に偏光フィルタ７０７を挿入していきながら、被写体の輝度を取得し、偏光フィルタ７０７を完全に光路に挿入した場合の被写体の輝度値を推測する。
【０１０３】
Ｓ３４において、推測された輝度が第９の閾値未満と判定された場合はＳ３６に移り、偏光フィルタ７０７を完全に挿入して、映り込み抑制モードに移行する。ここで、Ｓ３４において被写体の輝度が第９の閾値未満と判定された後のフレームにおいては偏光フィルタ７０７の挿入速度を速めてもよい。より偏光フィルタ７０７の挿入速度が速いほど、映り込みによる認識性の低いフレームを減らすことができる。また、輝度の予測を容易にするために、１フレームあたりの偏光フィルタ７０７の挿入量（つまり絞り１０６の開口部に占める偏光フィルタ７０７の面積変化量）が一定となるように、挿入速度をフレーム毎に調節してもよい。さらに、ＡＥによって絞り１０６が変動する場合に、フレーム毎の絞り変化による輝度変化と、偏光フィルタ７０７の挿入による輝度変化が混合されることを防ぐようにしてもよい。具体的には、第３の実施形態と同様に、フレーム毎の絞り１０６の変化による輝度変化を打ち消す方向へ、偏光フィルタ７０７のフレーム毎の挿入量を調整する。これによってフレーム毎の輝度変化がリニアになるため、式（１）を使った予測が容易に行えるようになる。
【０１０４】
一方、Ｓ３４において、偏光フィルタ７０７を完全に挿入した際の被写体の輝度値が第９の閾値以上であった場合には映り込みは抑制できないと判断してＳ３５に移り、偏光フィルタ７０７を光路から退避し、デイモード撮影に戻る。次にＳ３７において、現在の被写体の輝度値が第１０の閾値以上に変化したかを判定する。第１０の閾値以上に被写体の輝度が変化した場合は、光源や被写体の位置関係が変わり、映り込みが抑制可能なものに変化した可能性があると判断し、Ｓ３３にて偏光フィルタ７０７の段階的な挿入を開始する。第１０の閾値は小さく設定する方が、もし映り込みが抑制可能なものに変わっていた場合により早く偏光フィルタを挿入することができる。逆に、第１０の閾値により大きな値を設定する方が、外乱などへの耐性が上がり、偏光フィルタ７０７を不必要に挿入することが減少し、映像品質が向上する。
【０１０５】
Ｓ３６において映り込み抑制モードで撮影中に、被写体の輝度が第１１の閾値未満へ変化した場合は（Ｓ３８でＹＥＳ）、光源や被写体の位置関係が変わり、映り込みが消失した可能性があると判断し、Ｓ３９に移る。ここで第１１の閾値は、映り込みが発生していない状況において、偏光フィルタ７０７を挿入して撮影した場合の被写体の輝度と、偏光フィルタ７０７を抜去して撮影した場合の被写体輝度との間の値に設定するとよい。
【０１０６】
Ｓ３９では偏光フィルタ７０７を段階的に抜去し、フレーム毎に被写体の輝度を取得する。Ｓ４０において、偏光フィルタ７０７を完全に抜去した場合の推定した被写体の輝度値が第８の閾値未満であった場合にはＳ３１に戻り、偏光フィルタ７０７を完全に抜去してデイモード撮影を行う。一方、Ｓ４０において、推定した輝度値が第８の閾値以上であった場合にはＳ３６に戻り、偏光フィルタ７０７を完全に挿入して映り込み抑制モードでの撮影に戻る。
【０１０７】
上記の通り第７の実施形態によれば、偏光フィルタによって抑制しうる映り込みが発生しているか否かを、偏光フィルタを段階的に挿抜した複数フレームの画像から判断可能であるため、映像品質の劣化を抑えることが可能になる。また、偏光フィルタによって抑制しうる映り込みが存在する場合のみに映り込み抑制モードでの撮影を行い、抑制できない映り込みが発生している場合にはデイモードでの撮影に切り替えて映像品質を向上させることが可能になる。
【０１０８】
なお、本実施形態の赤外カットフィルタ７０９を取り除いた場合を考えると、上述した手法が、映り込み抑制モードとナイトモード間の切り替えにも適用できることは明白である。
【０１０９】
＜第８の実施形態＞
次に、本発明の第８の実施形態について説明する。第８の実施形態では、デイモード、ナイトモード、ハレーション抑制モード、映り込み抑制モードの４つのモードを切り替えることが可能な撮像装置について説明する。
【０１１０】
第８の実施形態における撮像装置の構成は、図１を参照して説明した第１の実施形態における撮像装置１００と同様であるため、説明を省略する。ただし、第８の実施形態における光学フィルタ１０７は異なる透過特性を有する複数のフィルタ部分で構成されており、以下の説明では、第１乃至第６の実施形態と区別するために、光学フィルタ１０７を光学フィルタ８０７と記す。
【０１１１】
次に、図１７を用いて、第８の実施形態における光学フィルタ８０７の構成について説明する。光学フィルタ８０７は、可視カットフィルタ部分８１０と、ダミーガラス部分８１１、赤外カットフィルタ部分８１２と、偏光フィルタ部分８１３をつなぎ合わせた構成を有する。ダミーガラス部分８１１はフィルタがないときの光路差を調整するためのものである。この光学フィルタ８０７は、フィルタ駆動部１０４によって図中Ｘ方向へ挿抜される。絞り１０６の開口部に、可視カットフィルタ部分８１０が完全に重なっている状態から、−Ｘ方向へ光学フィルタ８０７を駆動していくとすると、ハレーション抑制モード、ナイトモード、デイモード、映り込み抑制モードの順で撮影モードが切り替わることになる。
【０１１２】
可視カットフィルタ部分８１０とダミーガラス部分８１１の切り替え、つまりハレーション抑制モードとナイトモード間の切り替えにおいては、上述した第５の実施形態で説明した手法を用いることができる。これにより、ハレーションを抑制しながらも、ヘッドライトが消灯したことを検知してナイトモードに切り替えることが可能となる。
【０１１３】
また、ダミーガラス部分８１１と赤外カットフィルタ部分８１２の切り替え、つまりナイトモードとデイモード間の切り替えにおいては、第１の実施形態で説明した手法が適用できる。これにより、低い照度からでもデイモードへの切り替えをハンチングなく実施することが可能になる。
【０１１４】
更に、赤外カットフィルタ部分８１２と偏光フィルタ部分８１３の切り替え、つまりデイモードと映り込み抑制モード間の切り替えにおいては、第７の実施形態の手法を用いて制御することで、映像品質を向上することが可能となる。
【０１１５】
図１７のフィルタ構成では、ハレーション抑制モードからデイモードへの遷移、ナイトモードから映り込み抑制モードへの遷移、ハレーション抑制モードと映り込み抑制モード間の遷移が行えない。これらの撮影モードの切り替えを行いたい場合は、可視カットフィルタ部分８１０から偏光フィルタ部分８１３のフィルタの並び順を変更すればよい。
【０１１６】
上記の通り第８の実施形態によれば、低い照度においてもナイトモードからデイモードへの移行をハンチングなく行える。更にヘッドライトの消灯に合わせて、ハレーション抑制モードからナイトモードへの移行を行うことも可能となる。更に、偏光フィルタが効果的な場合のみに映り込み抑制モードへ適切に移行できる。このため、被写体の様々な状況に応じて最適な撮影モードに切り替えることが可能となる。
【０１１７】
＜第９の実施形態＞
次に、本発明の第９の実施形態について説明する。第９の実施形態では、デイモード、ナイトモード、ハレーション抑制モード、映り込み抑制モードの４つのモードを切り替えることが可能な撮像装置の別の例について説明する。
【０１１８】
第９の実施形態における撮像装置１００の構成は、図１を参照して説明した第１の実施形態における撮像装置１００と同様であるため、説明を省略する。ただし、第９の実施形態における光学フィルタ１０７は異なる透過特性を有する複数のフィルタで構成されており、以下の説明では、第１乃至第６の実施形態、及び第７の実施形態と区別するために、光学フィルタ１０７を光学フィルタ９０７と記す。
【０１１９】
次に、図１８を用いて、第９の実施形態における光学フィルタ９０７の構成について説明する。第９の実施形態における光学フィルタ９０７は、ターレットフィルタであって、可視カットフィルタ部分９１０と、ダミーガラス部分９１１、赤外カットフィルタ部分９１２と、偏光フィルタ部分９１３とを有する。光学フィルタ９０７は、フィルタ駆動部１０４によって図中の矢印方向に回転されて、デイモード、ナイトモード、ハレーション抑制モード、映り込み抑制モードの４つのモードを切り替えることができる。第８の実施形態と比べて、ハレーション抑制モードと映り込み抑制モード間の切り替えが更に可能になっている。
【０１２０】
可視カットフィルタ部分９１０とダミーガラス部分９１１の切り替え、つまりハレーション抑制モードとナイトモード間の切り替えにおいては、第５の実施形態の手法を適用することができる。これにより、ハレーションを抑制しながらも、ヘッドライトが消灯したことを検知してナイトモードに切り替えることが可能となる。
【０１２１】
また、ダミーガラス部分９１１と赤外カットフィルタ部分９１２の切り替え、つまりナイトモードとデイモード間の切り替えにおいては、第１の実施形態の手法が適用できる。これにより、低い照度からでもデイモードへの切り替えをハンチングなく実施することが可能になる。
【０１２２】
更に、赤外カットフィルタ部分９１２と偏光フィルタ部分９１３の切り替え、つまりデイモードと映り込み抑制モード間の切り替えにおいては、第７の実施形態の手法を用いて制御することで、映像品質を向上することが可能となる。
【０１２３】
更に、偏光フィルタ部分９１３と可視カットフィルタ部分９１０の切り替え、つまり映り込み抑制モードとハレーション抑制モード間の切り替えにおいては、第７の実施形態における赤外カットフィルタを可視カットフィルタに置き換えれば、同様の手法を適用できる。
【０１２４】
上記の通り第９の実施形態によれば、第８の実施形態と同様の効果に加えて、第８の実施形態と同じ種類のフィルタを用いて、切り替え可能な撮影モードを１つ増やすことができる。
【０１２５】
＜第１０の実施形態＞
次に、本発明の第１０の実施形態について説明する。第１０の実施形態では、デイモード、ナイトモード、ハレーション抑制モード、映り込み抑制モードの４つのモードを切り替えることが可能な撮像装置の更に別の例について説明する。
【０１２６】
第１０の実施形態における撮像装置１０００の概略構成を図１９に示す。図１９に示す撮像装置１０００は、図１に示す撮像装置１００と比較して、結像光学系１００１に、光学フィルタ１００９及び１０１０が追加され、光学フィルタ１００９と１０１０を駆動するためのフィルタ駆動部１０１１と１０１２がそれぞれ追加されている。それ以外の構成は図１と同様であるため、同じ参照番号を付して説明を省略する。
【０１２７】
フィルタ駆動部１０４，１０１１，１０１２は制御部１０３によって制御され、図中の矢印方向（Ｘ方向）に光学フィルタ１０７，１００９，１０１０をそれぞれ個別に駆動する。ここでは、光学フィルタ１０７を赤外カットフィルタ、光学フィルタ１００９を可視カットフィルタ、光学フィルタ１０１０を偏光フィルタとし、以下、それぞれ赤外カットフィルタ１０７、可視カットフィルタ１００９、偏光フィルタ１０１０とも呼ぶ。これらのフィルタは、図中Ｚ方向に位置をずらして設置されている。図１９では絞り１０６よりレンズ１０８側に設置されているが、絞り１０６よりもレンズ１０５側に設置してもよい。また、光学フィルタ１０７，１００９，１０１０のいずれかを絞り１０６を挟んで反対側に設置してもよい。また、それぞれのフィルタに光路差調整用のダミーガラスをさらに備えてもよい。いずれにしても、赤外カットフィルタ１０７と可視カットフィルタ１００９と偏光フィルタ１０１０は、レンズ１０５とレンズ１０８の間を伝搬する光束の径が最も小さくなっている位置の近傍に置くことが望ましい。
【０１２８】
次に、図２０を用いて、撮影モード毎の光学フィルタ１０７，１００９，１０１０と絞り１０６との位置関係について説明する。図２０には４つの撮影モードに相当する光学フィルタ１０７，１００９，１０１０の位置関係を状態（ａ）から状態（ｄ）で表している。状態（ａ）は、どの光学フィルタ１０７，１００９，１０１０も光路から退避しており、ナイトモードを表している。状態（ｂ）は、赤外カットフィルタ１０７が光路に挿入されているため、デイモードを表している。状態（ｃ）は可視カットフィルタ１００９が光路に挿入されており、ハレーション抑制モードを表している。状態（ｄ）は赤外カットフィルタ１０７と偏光フィルタ１０１０が光路に挿入されており、映り込みが抑制モード（カラー撮影）を表している。
【０１２９】
状態（ａ）と状態（ｂ）の切り替え、つまりナイトモードとデイモードの切り替えについては第１の実施形態の手法を適用できる。状態（ａ）と状態（ｃ）の切り替え、つまりナイトモードとハレーション抑制モードの切り替えは、第５の実施形態の手法を適用できる。状態（ｂ）と状態（ｄ）の切り替え、つまりデイモードと映り込みが抑制モードの切り替えについては、第７の実施形態の手法が適用できる。
【０１３０】
上記の通り第１０の実施形態によれば、低い照度においてもナイトモードからデイモードへの移行をハンチングなく行うことができる。更にヘッドライトの消灯に合わせて、ハレーション抑制モードからデイモードないしナイトモードへの移行を行うことも可能となる。このため、被写体の状況に応じて最適な撮影モードに切り替えることが可能となる。更に、偏光フィルタが効果的な場合のみに映り込み抑制モードへ適切に移行できる。また、フィルタを並列に配置し個別挿抜しているため、フィルタの退避スペースを第７の実施形態に比べて小さくすることが可能であり、その結果撮像装置のサイズを小さくできるというメリットがある。
【０１３１】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【０１３２】
例えば、上述した第１乃至第１０の実施形態では、撮像装置内の制御部が、フィルタ駆動部を制御する構成としたが、外部の制御装置から、例えばネットワークや、有線・無線通信等を介して、撮像装置を制御する構成としても良い。
【０１３３】
＜他の実施形態＞
また、本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【０１３４】
１００，７００，１０００：撮像装置、１０１，７０１，１００１：結像光学系、１０２：撮像素子、１０３：制御部、１０４，１０１１，１０１２：フィルタ駆動部
１０５，１０８：レンズ、１０６：絞り、１０７，６０７，７０７，７０９，８０７，９０７，１００９，１０１０：光学フィルタ、６１０，８１０，９１０：可視カットフィルタ部分、８１１，９１１：ダミーガラス部分、６１１，８１２，９１２：赤外カットフィルタ部分、８１３，９１３：偏光フィルタ部分
【図１】
2020091453.tif 000003
【図２】
2020091453.tif 000004
【図３】
2020091453.tif 000005
【図４】
2020091453.tif 000006
【図５】
2020091453.tif 000007
【図６】
2020091453.tif 000008
【図７】
2020091453.tif 000009
【図８】
2020091453.tif 000010
【図９】
2020091453.tif 000011
【図１０】
2020091453.tif 000012
【図１１】
2020091453.tif 000013
【図１２】
2020091453.tif 000014
【図１３】
2020091453.tif 000015
【図１４】
2020091453.tif 000016
【図１５】
2020091453.tif 000017
【図１６】
2020091453.tif 000018
【図１７】
2020091453.tif 000019
【図１８】
2020091453.tif 000020
【図１９】
2020091453.tif 000021
【図２０】
2020091453.tif 000022