(57)【要約】【課題】被写体の視認性に与える影響を考慮したハレーションの検出精度を向上することを目的とする。【解決手段】電子機器は、被写体の画像データが取得された際の露出レベルに基づいて、被写体の輝度を評価する評価手段と、被写体の輝度と、第１の輝度閾値より高い輝度の第１の輝度領域と、当該第１の輝度領域より低い輝度の領域であり第１の輝度領域の周辺に分布する他の輝度領域の分布状況とに基づいて、ハレーションを検出する検出手段と、を備える。【選択図】図１
2020102703.tif 000002
【特許請求の範囲】
【請求項１】
被写体の画像データが取得された際の露出レベルに基づいて、被写体の輝度を評価する評価手段と、
前記被写体の輝度と、第１の輝度閾値より高い輝度の第１の輝度領域と、当該第１の輝度領域より低い輝度の領域であり前記第１の輝度領域の周辺に分布する他の輝度領域の分布状況とに基づいて、ハレーションを検出する検出手段と、
を備えることを特徴とする電子機器。
【請求項２】
単一または複数の輝度閾値を用いて、前記第１の輝度領域および前記他の輝度領域を含む輝度領域を分類する分類手段と、
前記被写体の輝度に応じて、前記輝度閾値を変更する変更手段と、
を備えることを特徴とする請求項１に記載の電子機器。
【請求項３】
前記変更手段は、前記被写体の輝度が所定輝度以上である場合に、輝度閾値を高くすることを特徴とする請求項２に記載の電子機器。
【請求項４】
前記検出手段は、前記第１の輝度領域を中心として、外周方向に向かうに応じて輝度が低くなる輝度領域を検出した場合に、前記ハレーションを検出することを特徴とする請求項１乃至３のうち何れか１項に記載の電子機器。
【請求項５】
撮像センサの露出レベルを制御する露出制御手段、をさらに備え、
前記評価手段は、前記露出制御手段が検出する露出レベルに基づいて、前記被写体の輝度および環境光の輝度を評価することを特徴とする請求項１乃至４のうち何れか１項に記載の電子機器。
【請求項６】
前記検出手段は、前記環境光の輝度と前記被写体の輝度との輝度比が所定値以下である場合、前記ハレーションを検出するために参照する輝度領域の範囲を拡大することを特徴とする請求項５に記載の電子機器。
【請求項７】
前記検出手段は、前記画像データの対象物のうち動きのある対象物について前記ハレーションを検出し、動きのない対象物については前記ハレーションを検出しないことを特徴とする請求項１乃至６のうち何れか１項に記載の電子機器。
【請求項８】
前記電子機器は、撮像素子を有する撮像装置であることを特徴とする請求項１乃至７のうち何れか１項に記載の電子機器。
【請求項９】
被写体の画像データが取得された際の露出レベルに基づいて、被写体の輝度を評価する工程と、
前記被写体の輝度と、第１の輝度閾値より高い輝度の第１の輝度領域と、当該第１の輝度領域より低い輝度の領域であり前記第１の輝度領域の周辺に分布する他の輝度領域の分布状況とに基づいて、ハレーションを検出する工程と、
を備えることを特徴とする電子機器の制御方法。
【請求項１０】
請求項９に記載の電子機器の制御方法をコンピュータに実行させるためのコンピュータが読み取り可能なプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ハレーションの検出を行う電子機器、電子機器の制御方法およびプログラムに関する。
【背景技術】
【０００２】
カメラを用いて低照度（低輝度）な環境で被写体を撮像する場合に、高照度な光がカメラに入射すると、光源の撮像位置の周囲に光が漏れ出て撮像されるハレーションという現象が生じる。ハレーションは、高輝度な入射光が撮像素子に結像して撮像素子で電荷が過剰に発生することにより、周囲の画素に伝搬することにより生じる。例えば、公道を監視するカメラを用いた被写体の撮像を行う場合にハレーションが発生することがある。車のヘッドライトが点灯している場合、周囲の環境光とヘッドライトの光とで大きなコントラストを生じるため、この状態で被写体を撮像することで、車のヘッドライトの周囲にハレーションが生じた画像が得られる。そして、ハレーションが生じた画像では、車の外観やナンバープレート等の視認性が低下する。
【０００３】
関連する技術として、ハレーションが発生している場合には、ＣＣＤカメラに一般的に備えられている電子シャッターを用いて入射光量を減少させる技術が提案されている（特許文献１を参照）。特許文献１には、入射する過剰な光をマスキングために、カメラのレンズ前方に、液晶板からなる光量調節手段を設けて、光量の調節を行う点が示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００４−０７２４１５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
例えば、特許文献１では、ハレーションの影響を排除するために、電子シャッターを高速値に変更することで、入射光量を減少させている。あるいは、ハレーションの影響を排除するために、カメラのレンズ前方に、液晶板を設けて、入射光量を減少させることもできる。ここで、カメラの撮影により得られた画像にハレーションが発生していたとしても、画像の視認性に与える影響が低い場合がある。例えば、画像内に車のヘッドライトによるハレーションが発生していたとしても、ナンバープレートの視認性に与える影響が低い場合がある。
【０００６】
一方、電子シャッターの制御あるいは液晶板により入射光量が減少して得られる画像は、入射光量が減少することに起因して、画質が低下する。従って、ハレーションの影響を排除するために入射光量を減少させると、ハレーションに起因する被写体の視認性の影響が低いにもかかわらず、画像の画質が低下する。
【０００７】
本発明の目的は、被写体の視認性に与える影響を考慮したハレーションの検出精度を向上することにある。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、本発明の電子機器は、被写体の画像データが取得された際の露出レベルに基づいて、被写体の輝度を評価する評価手段と、前記被写体の輝度と、第１の輝度閾値より高い輝度の第１の輝度領域と、当該第１の輝度領域より低い輝度の領域であり前記第１の輝度領域の周辺に分布する他の輝度領域の分布状況とに基づいて、ハレーションを検出する検出手段と、を備えることを特徴とする。
【発明の効果】
【０００９】
本発明によれば、被写体の視認性に与える影響を考慮したハレーションの検出精度を向上することができる。
【図面の簡単な説明】
【００１０】
【図１】第１の実施形態に係る撮像装置の構成例を示す図である。
【図２】第１の実施形態におけるハレーション検出処理の流れを示すフローチャートである。
【図３】輝度の勾配および各輝度領域の一例を示す図である。
【図４】第２の実施形態に係る撮像装置の構成例を示す図である。
【図５】第２の実施形態におけるハレーション検出処理の流れを示すフローチャートである。
【図６】静物と動体との区別に用いられる画像データの例を示す図である。
【発明を実施するための形態】
【００１１】
以下、本発明の各実施の形態について図面を参照しながら詳細に説明する。しかしながら、以下の各実施の形態に記載されている構成はあくまで例示に過ぎず、本発明の範囲は各実施の形態に記載されている構成によって限定されることはない。
【００１２】
＜第１の実施形態＞
図１は、第１の実施形態に係る撮像装置１の構成例を示す図である。撮像装置１は、撮影レンズ３、撮像センサ４、Ａ／Ｄ変換器５、システム制御部６、メモリ７および記憶媒体８を有する。以下、各実施形態において、撮像装置１は、公道監視を行うカメラに適用されるものとして説明する。撮像装置１は、無人運用の公道監視カメラであってもよい。ただし、撮像装置１は、公道監視以外の用途に用いられてもよい。また、撮像装置１は動画撮影を行うものとして説明するが、撮像装置１は静止画撮影を行ってもよい。撮像装置１は、被写体の視認性に影響を及ぼすハレーションの検出を行う。被写体としては、車のナンバープレートや車の外観等が想定される。例えば、夜間等の照度が低い環境下で、撮像装置１００が公道監視を行う場合、車のヘッドライトにより、撮像装置１００が撮像した画像にハレーションが発生することがある。ただし、画像にハレーションが発生していたとしても、ハレーションによる影響度が低い場合がある。この場合、ハレーションが発生している画像から、被写体としての車番等を判別できることがある。そこで、各実施形態では、被写体の視認性に与える影響を考慮したハレーションの検出が行われる。
【００１３】
撮像装置１は、撮像光学系として、被写体の光学像を取り込む光学レンズ群を示す撮影レンズ３を有する。撮像センサ４は撮像光学系を通過した入射光を受光する。撮像センサ４は、受光した入射光を光電変換して、光学像としての被写体像を形成する。撮像センサ４は、光電変換されたアナログ電気信号（アナログ撮像信号）をＡ／Ｄ変換器５に出力する。Ａ／Ｄ変換器５は、アナログ電気信号をデジタル信号（デジタル撮像信号）に変換して、システム制御部６に出力する。システム制御部６は、画像処理部１０および露出制御部１６を有する。画像処理部１０は、システム制御部６に入力されたデジタル撮像信号に対して、各種の画像処理を施して、画像データを生成する。これにより、画像データが取得される。露出制御部１６は、画像処理部１０の画像生成部１１で生成された画像データの明るさを判定して、撮像センサ４における電子シャッター、絞りまたは利得の何れかを制御する。これにより、画像データの明るさが補正される。
【００１４】
撮影レンズ３は、光軸方向に移動して焦点距離を変更する変倍レンズ、および光軸方向に移動して焦点調節を行うフォーカスレンズを有するものとする。撮像センサ４は、固体撮像素子（ＣＣＤ）を用いたセンサである。撮像装置１は、カラーカメラまたはモノクロカメラに適用できる。撮像装置１がカラーカメラである場合には、撮像センサ４よりも撮像装置１の開口部側に、カラーフィルタが設置される。露出制御手段としての露出制御部１６は、自動露出制御機能を有しており、画像生成部１１で生成された画像データに基づいて、画像の明るさを調整するための命令を撮像センサ４に送る。これにより、露出レベルが制御されるため、撮像装置１が撮像する画像の明るさが調整される。
【００１５】
システム制御部６は、各種の制御を行う。メモリ７は、例えば、ＲＡＭである。記憶媒体８は、例えば、ＲＯＭである。システム制御部６は、記憶媒体８に記憶されている制御プログラムがメモリ７に展開され、展開された制御プログラムをＣＰＵが実行することにより、実現されてもよい。図１に示される構成の場合、撮像センサ４およびシステム制御部６を有する撮像装置１は、電子機器に対応する。システム制御部６は、撮像装置１とは別途の制御装置（例えば、パーソナルコンピュータ等）として設けられてもよい。この場合、システム制御部６として機能する外部の制御装置は、撮像装置１と通信を行うことにより、各実施形態の処理が実現される。この場合、外部の制御装置が電子機器に対応する。
【００１６】
画像処理部１０は、画像生成部１１、第１の評価部１２、第２の評価部１３、ハレーション評価部１４および閾値決定部１５を有する。画像生成部１１は、デジタル撮像信号に基づいて、画像データを生成する。第１の評価部１２は、画像データの輝度を評価して、白とび領域（第１の輝度領域）および白とび領域の周辺に分布する１または複数の他の輝度領域を分類する。第１の評価部１２は、分類手段に対応する。評価手段としての第２の評価部１３は、露出レベルから被写体の輝度および環境光の輝度を推定して、被写体の輝度および環境光の輝度を評価する。ハレーション評価部１４は、第１の評価部１２で検出された各輝度領域の分布に基づいて、被写体の視認性に対する影響が低いハレーションが発生しているかの評価を行う。被写体の視認性に対する影響が低いハレーションは、検出不要なハレーションである。なお、本実施形態では、ＡＰＥＸ（ＡＤＤＩＴＩＶＥ ＳＹＳＴＥＭ ＯＦ ＰＨＯＴＯＧＲＡＰＨＩＣ ＥＸＰＯＳＵＲＥ）システムに基づいて露出や照度（輝度）の明るさを定義する。例えば、被写体の輝度が１ＢＶと２ＢＶである場合の差は、ＡＰＥＸシステムにおける被写体の照度（輝度）の１段分の明るさの違いに相当する。
【００１７】
ハレーション評価部１４は、白とび領域および白とび領域の周囲の高輝度領域の分布状況だけではなく、被写体の輝度も考慮して、被写体の視認性に対する影響を与えるハレーションが発生しているかの評価を行う。検出手段としてのハレーション評価部１４の評価結果に応じて、被写体の視認性に対して影響を与えるハレーションが検出される。閾値決定部１５は、第２の評価部１３が被写体の輝度を評価する際に使用される輝度閾値、およびハレーション評価部１４がハレーションを評価する際に使用される輝度閾値を決定する。変更手段としての閾値決定部１５は、第２の評価部１３により評価された被写体の輝度に応じて、輝度閾値を変更する。
【００１８】
図２を参照して、第１の実施形態におけるハレーション検出処理の流れについて説明する。第２の評価部１３は、露出レベルから被写体の輝度を推定して、被写体輝度を評価する（Ｓ１００）。閾値決定部１５は、被写体輝度が所定輝度以上であるかを判定する（Ｓ１０１）。所定輝度は、任意の値に設定することができる。閾値決定部１５は、Ｓ１０１でＹＥＳと判定した場合、画像データから輝度領域を分類する際に用いられる輝度閾値を高くする（Ｓ１０２）。第１の評価部１２は、１または複数の輝度閾値を用いて、画像データから複数の輝度領域を検出し、検出された各輝度領域をラベリングする（Ｓ１０３）。ラベリングは、画像データ中の各輝度領域を分類する処理である。Ｓ１０１でＹＥＳと判定された場合、閾値決定部１５は、輝度閾値を高い値に設定する。輝度閾値の初期値は、任意の値であってよい。例えば、輝度閾値の初期値は、夜間や明け方、夕刻等の低照度の環境下でハレーションを検出するための輝度閾値であってもよい。Ｓ１０１でＹＥＳと判定されると、閾値決定部１５は、輝度閾値を初期値から高い値に変更する。
【００１９】
第１の評価部１２は、最も高い輝度レベル(第１の輝度閾値以上の輝度)を有する領域を第１の輝度領域としてラベリングする。そして、第１の評価部１２は、第１の輝度領域を中心として、第ｎの輝度閾値（ｎは２以上の整数）以上であり、且つ第（ｎ−１）の輝度閾値未満の輝度を有する領域を第ｎの領域としてラベリングする。「ｎ」の値が大きくなるに応じて、第ｎの領域の輝度レベルは低くなる。第１の輝度領域は、例えば、白とび領域である。
【００２０】
図３は、輝度の勾配および各輝度領域の一例を示す図である。図３は「ｎ＝３」の場合であり、第１の輝度閾値、第２の輝度閾値および第３の輝度閾値が用いられている。図３（Ａ）は、画像データの輝度の勾配と各輝度閾値との関係を示す。図３（Ｂ）は、図３（Ａ）に対応した各輝度領域（ラベリングされた各輝度領域）の分布を示す。第１の輝度領域は、最も高い輝度レベルの領域であり、第１の輝度閾値以上の輝度の領域である。図３（Ｂ）に示されるように、第１の輝度領域を中心として、同心円状に第２の輝度領域が分布し、第２の輝度領域の外側に第３の輝度領域が分布している。ハレーション評価部１４は、図３（Ｂ）のように、第１の輝度領域を中心として、外周方向に向かうに応じて、輝度が低くなる輝度領域が分布している場合に、ハレーションを検出する。
【００２１】
ここで、Ｓ１０１においてＹＥＳと判定された場合、Ｓ１０２の処理が実行される。つまり、被写体輝度が明るい場合、閾値決定部１５は、輝度閾値を高くする。これにより、被写体輝度が明るい場合には、白とび領域周辺の輝度の階調性が保たれる。そして、ハレーション評価部１４は、検出不要なハレーションを検出しなくなる。
【００２２】
ハレーションは輝度が白とび領域の周囲で発生しやすいため、ハレーション評価部１４は、ラベリングされた第１の輝度領域を白とび領域として抽出する（Ｓ１０４）。ハレーション評価部１４は、白とび領域の周囲の輝度の分布状況に着目して、ハレーション検出の評価を行う。ハレーション評価部１４は、第１の輝度領域（白とび領域）を中心として、どの程度の範囲まで参照（または走査）して、ハレーション検出の評価を行うかを、被写体輝度に応じて決定する。これは、環境光と高輝度被写体との輝度比によって被写体の認識性に対するハレーションの影響度が変化するためである。高輝度被写体としては、例えば、ナンバープレート等の白色の被写体が想定される。
【００２３】
高輝度被写体が撮像装置１の画角に侵入した際に明るさ補正のために露光量が変化する。撮像装置１が撮影した動画における前後のフレーム（画像データ）の露光量の変化が大きくなると、環境光と高輝度被写体との輝度比も大きくなる。環境光と高輝度被写体とで輝度比が大きい場合、ハレーションによる被写体の視認性に対する影響度は大きいことが想定される。一方、前後のフレームの露光量の変化が小さい場合、環境光と高輝度被写体とで輝度比は小さい。この場合、ハレーションによる被写体の視認性に対する影響度は小さいことが想定される。ハレーション評価部１４は、被写体の視認性に影響を与えない程度のハレーションは検出しない。ハレーションが検出されると、画像データに対するハレーションの影響を抑制する制御が行われる。例えば、撮像装置１が、撮影レンズ３の光路上に特定波長の光をカットするフィルタ（例えば、可視光カットフィルタ）を挿抜する挿抜機構を有している場合、ハレーションが検出されたことに応じて、挿抜機構がフィルタを光路上に挿入する。これにより、ハレーションの影響を抑制することができる。
【００２４】
ただし、可視光カットフィルタが光路上に挿入されると、可視光成分の光がカットされるため、画像データの画質が低下する。そこで、ハレーション評価部１４は、被写体の視認性に影響を与えない程度のハレーションは、ハレーションとして検出しない。これにより、検出不要なハレーションが検出されることによる画像データの画質の低下が回避される。
【００２５】
ここで、白とび領域（第１の輝度領域）の周辺の輝度勾配に着目するハレーション検出では、白とび領域周辺の被写体の輝度によって検出精度が左右される傾向にある。ハレーションの影響度にかかわらず、白とび領域周辺の被写体の輝度が高い場合には、白とび領域周辺の被写体の輝度がフレアによる輝度として検出される。従って、単に、白とび領域の周辺の輝度勾配に着目するハレーション検出では、ハレーション検出の信頼性は低い。そこで、ハレーション評価部１４は、環境光と高輝度被写体との輝度比が所定値以下であるかを判定する（Ｓ１０５）。上述したように、環境光と高輝度被写体との輝度比は、前後のフレームの露光量の変化に基づいて取得される。例えば、環境光と高輝度被写体との輝度比は、前後のフレームの露光量の変化を時間で微分した値に基づいて取得される。Ｓ１０５でＹＥＳと判定された場合、環境光と高輝度被写体との輝度比は小さい。この場合、ハレーション評価部１４は、ハレーション検出を行うための参照範囲を拡大する（Ｓ１０６）。例えば、Ｓ１０５でＮＯと判定された場合、ハレーション評価部１４は、ハレーション検出を行うための参照する輝度領域を、第１の輝度領域および第２の輝度領域としてもよい。一方、Ｓ１０５でＹＥＳと判定された場合、ハレーション検出を行うための参照する輝度領域を、第１の輝度領域および第２の輝度領域だけでなく、第３の輝度領域まで拡大する。これにより、環境光と高輝度被写体との輝度比が小さい場合でも、ハレーション検出の信頼性を向上させることができる。
【００２６】
ハレーション評価部１４は、参照範囲内において、第（ｎ−１）の輝度領域より輝度が小さい第ｎの輝度領域が外周方向に分布しているかを判定する（Ｓ１０７）。つまり、ハレーション評価部１４は、図３に示される第１の輝度領域から外周方向に向かうに従って輝度レベルが小さくなる輝度領域が分布していると評価することで、ハレーションの判定を行う。Ｓ１０７でＹＥＳと判定された場合、ハレーションを検出する（Ｓ１０８）。一方、Ｓ１０７でＮＯと判定された場合、フローは、Ｓ１００に移行する。この場合、ハレーションは検出されない。つまり、被写体の視認性に対する影響が低いハレーション（検出不要なハレーション）は検出されない。以上が、第１の実施形態におけるハレーション検出処理である。
【００２７】
第１の輝度領域と他の輝度領域（第１の輝度領域の周辺に分布している輝度領域）とに基づいてハレーションが検出される場合、被写体の視認性に対する影響が低いハレーションも検出されてしまう。一方、実施形態のシステム制御部６は、画像データが取得された際の露出レベルに基づいて、被写体の輝度を評価する。そして、システム制御部６は、被写体の輝度と第１の輝度領域と他の輝度領域とに基づいて、ハレーションの検出を行う。このため、被写体の視認性に対する影響が低い検出不要なハレーションが検出されることが抑制される。
【００２８】
Ｓ１０１でＹＥＳと判定された場合、被写体輝度は明るい。被写体輝度が明るい場合、車のヘッドライト等に起因するハレーションによる被写体の視認性の影響度は低いことが想定される。この場合、閾値決定部１５は、Ｓ１０２において、各輝度領域をラベリングするための輝度閾値を高くする。これにより、被写体の輝度が明るい場合には、Ｓ１０７の判定で用いられる輝度領域の輝度レベルが高くなる。この場合、図３で示されるような輝度領域の分布は検出されなくなる。従って、ハレーション評価部１４は、検出不要なハレーションを検出しなくなる。
【００２９】
以上において、ハレーション評価部１４は、第１の輝度領域を中心として外周方向に向かうに応じて輝度が低くなる第ｎの領域があるかに基づいて、被写体の視認性に影響を与えるハレーションを検出する。ハレーション評価部１４は、上記以外の方法で、被写体の視認性に影響を与えるハレーションを検出してもよい。例えば、ハレーション評価部１４は、第１の輝度領域を白とび領域として、第１の輝度領域以外の輝度領域をフレア領域として、白とび領域とフレア領域との面積比を評価することで、ハレーションの検出を行ってもよい。
【００３０】
＜第２の実施形態＞
次に、第２の実施形態について説明する。ハレーションは、環境光と高輝度被写体との輝度比が大きい場合に発生しやすく、例えば、夜間等に多く発生する。撮像装置１が公道監視のカメラ等に適用される場合、撮像装置１が撮影する画像データには、車のヘッドライトによるハレーションだけでなく、街灯の光によるハレーションも発生し得る。第２実施形態の撮像装置１は、街灯等の静物の光をハレーション検出の対象から除外する。図４は、第２の実施形態に係る撮像装置１の構成例を示す図である。第２の実施形態の撮像装置１は、バンドパスフィルタ９、動体検出部１７、赤外照明制御部１８、赤外照明部２０およびタイマ２１を有している点で、図１に示した第１の実施形態の撮像装置１と異なる。第２の実施形態の撮像装置１の他の構成は、第１の実施形態の撮像装置１と同様であるため、説明を省略する。
【００３１】
バンドパスフィルタ９は、撮影レンズ３と撮像センサ４との間に挿抜可能に配置される。バンドパスフィルタ９は、特定波長域の光をカットするフィルタである。バンドパスフィルタ９は、所定の挿抜機構により、撮影レンズ３から入射する入射光の光路に対して挿入または抜去される。赤外照明制御部１８は、赤外照明部２０から赤外光を照射させる制御を行う。タイマ２１は、時間をカウントし、所定時間が経過したときに、システム制御部６に通知する。
【００３２】
バンドパスフィルタ９は、赤外光をカットする赤外カットフィルタと可視光をカットする可視光カットフィルタとを有するものとする。例えば、ハレーション評価部１４がハレーションの発生を検出した場合、被写体の視認性の回復を目的として、上述した所定の挿抜機構は、撮影レンズ３から入射する入射光の光路にバンドパスフィルタ９の可視光カットフィルタを挿入する。そして、所定の挿抜機構は、撮影レンズ３から入射する入射光の光路にバンドパスフィルタ９の赤外カットフィルタを抜去する。これにより、ハレーションの影響度が低減する。バンドパスフィルタ９の挿抜制御は、例えば、システム制御部６により行われる。システム制御部６が、入射光の光路に可視光カットフィルタを挿入する制御を行った場合、赤外照明制御部１８は、赤外照明部２０から赤外光を照射させる。このとき、赤外照明制御部１８は、軽減されたハレーションの光よりも高い照度の赤外光を照射するように赤外照明部２０を制御する。これにより、撮像装置１が取得する画像データの明るさが保証され、ハレーションをより軽減させる。
【００３３】
メモリ７には、画像生成部１１が生成した画像データが一時的に記憶される。システム制御部６がタイマ２１から所定時間の経過を示す通知を受信した際、画像処理部１０は、動き検出における背景差分用の基準画像を、通知を受信したタイミングで取得された画像データに更新する。第２の実施形態では、撮像装置１は、静物によるハレーションと動体によるハレーションとを区別し、ハレーションの検出対象を動体に絞る。静物は、動きのない対象物に対応する。動体は、動きのある対象物に対応する。
【００３４】
図５は、第２の実施形態におけるハレーション検出処理の流れについて説明する。図５のフローチャートは、第１の実施形態における図２のフローチャートに、Ｓ２０７、Ｓ２０８、Ｓ２０９およびＳ２１２を追加したフローチャートである。Ｓ２０７、Ｓ２０８、Ｓ２０９およびＳ２１２以外の各ステップは、図２のフローチャートと同様であるため、説明を省略する。動体検出部１７は、背景差分を想定した動き検出を行い、背景差分における基準画像との差異に基づいて、動体があるかを判定する（Ｓ２０７）。図６は、基準画像および時刻ｔが経過したときに取得された画像データの例を示す。図６（Ａ）は、基準画像（基準となる画像データ）を示す。図６（Ｂ）は、時刻ｔが経過したときに取得された画像データ（フレームｔ）を示す。画像データは、複数の格子状の領域に分割されており、基準画像およびフレームｔにおける画像データの両者とも、白とび領域（第１の輝度領域）である領域Ｓを含む。領域Ｓは、基準画像およびフレームｔにおける画像データの両者に含まれている。これにより、領域Ｓは、街灯等のように静物であると判定することができる。
【００３５】
一方、フレームｔにおける白とび領域である領域Ｍは、フレームｔの画像データには含まれているが、基準画像には含まれていない。従って、領域Ｍは、車のような動体であると判定することができる。以上のように、動体があるか否かは、第１の輝度閾値を用いた二値画像により判定することができる。Ｓ２０７においてＹＥＳと判定された場合、動体があるため、フローはＳ２１０に移行する。従って、ハレーション評価部１４は、被写体の視認性に影響を与えるハレーションを検出する対象物を、動体に絞ることができる。上述したように、静物は、被写体の視認性に影響を与えるハレーションを検出する対象から除外される。
【００３６】
Ｓ２０７においてＮＯと判定された場合、システム制御部６は、所定時間が経過したかを判定する（Ｓ２０８）。タイマ２１は、所定時間が経過したときにシステム制御部６に対して通知を行う。従って、システム制御部６が、タイマ２１から通知を受信していない間は、Ｓ２０８でＮＯと判定される。Ｓ２０８でＮＯと判定された場合、フローは、Ｓ２００に移行する。Ｓ２０８でＹＥＳと判定された場合、所定時間が経過し、且つ動体がないと判定されているため、画像処理部１０は、基準画像を更新する（Ｓ２０９）。これにより、所定時間ごとに基準画像を最新の画像データに更新することができる。
【００３７】
図５に示されるように、Ｓ２１１にてハレーションが検出されると、システム制御部６は、ハレーションが検出された後に取得される画像データに対して、画像改善処理を施す（Ｓ２１２）。例えば、露出制御部１６は、ワイドダイナミックレンジ処理（ＷＤＲ処理）等の露出制御を実施することで、ハレーション検出後に取得される画像データの画質を改善させてもよい。また、システム制御部６は、所定の挿抜機構に対して、バンドパスフィルタ９の可視光カットフィルタを入射光の光路に挿入させる制御を行ってもよい。これにより、ハレーションが軽減され、ハレーション検出後に取得される画像データの画質が改善する。Ｓ２１２の処理は、第１の実施形態で実施されてもよい。
【００３８】
以上、本発明の好ましい実施の形態について説明したが、本発明は上述した各実施の形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。本発明は、上述の各実施の形態の１以上の機能を実現するプログラムを、ネットワークや記憶媒体を介してシステムや装置に供給し、そのシステム又は装置のコンピュータの１つ以上のプロセッサーがプログラムを読み出して実行する処理でも実現可能である。また、本発明は、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００３９】
１  撮像装置
６  システム制御部
１０  画像処理部
１２  第１の評価部
１３  第２の評価部
１４  ハレーション評価部
１５  閾値決定部
１６  露出制御部
１７  動体検出部
【図１】
2020102703.tif 000003
【図２】
2020102703.tif 000004
【図３】
2020102703.tif 000005
【図４】
2020102703.tif 000006
【図５】
2020102703.tif 000007
【図６】
2020102703.tif 000008