(57)【要約】【課題】付着物を高精度に検出することができる付着物検出装置および付着物検出方法を提供すること。【解決手段】実施形態に係る付着物検出装置は、算出部と、第１検出部と、第２検出部と、生成部とを備える。算出部は、撮像装置で撮像された撮像画像に含まれる各画素の輝度に基づき、過去および現在の撮像画像における輝度に関する特徴量の変動を算出する。第１検出部は、算出部によって算出された変動が所定の閾値範囲内であり、かつ現在の撮像画像における特徴量が所定の閾値範囲内である第１領域を検出する。第２検出部は、撮像画像に含まれる各画素の輝度分布の起伏が所定の起伏条件を満たす第２領域を検出する。生成部は、第１検出部によって検出された第１領域、および、第２検出部によって検出された第２領域を合算した合算領域を、撮像装置に付着した付着物に対応する付着物領域として生成する。【選択図】図２
2020108058.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置で撮像された撮像画像に含まれる各画素の輝度に基づき、過去および現在の前記撮像画像における前記輝度に関する特徴量の変動を算出する算出部と、
前記算出部によって算出された前記変動が所定の閾値範囲内であり、かつ前記現在の撮像画像における前記特徴量が所定の閾値範囲内である第１領域を検出する第１検出部と、
前記撮像画像に含まれる各画素の輝度分布の起伏が所定の起伏条件を満たす第２領域を検出する第２検出部と、
前記第１検出部によって検出された前記第１領域、および、前記第２検出部によって検出された前記第２領域を合算した合算領域を、前記撮像装置に付着した付着物に対応する付着物領域として生成する生成部と
を備えることを特徴とする付着物検出装置。
【請求項２】
前記算出部は、
前記撮像画像に設定された複数の分割領域毎に前記変動を算出し、
前記第１検出部は、
前記分割領域に対応する前記第１領域を検出し、
前記第２検出部は、
前記分割領域に対応する前記第２領域を検出し、
前記生成部は、
前記分割領域に対応する前記付着物領域を生成すること
を特徴とする請求項１に記載の付着物検出装置。
【請求項３】
前記生成部によって生成された前記付着物領域における輝度の特徴量の変動に基づいて、前記付着物が除去されたか否かを判定する除去判定部をさらに備えること
を特徴とする請求項１または２に記載の付着物検出装置。
【請求項４】
前記除去判定部は、
前記付着物領域が生成された際の前記特徴量と、現在の前記撮像画像に基づく前記特徴量との変動を算出し、当該変動が所定の閾値以上の場合が継続した場合に、前記付着物が除去されたと判定すること
を特徴とする請求項３に記載の付着物検出装置。
【請求項５】
前記算出部は、
前記特徴量として、所定の領域における輝度の代表値と、ばらつき量とを特徴量として算出し、
過去および現在における輝度の代表値の第１差分、および、過去および現在における輝度のばらつき量の第２差分を前記変動として算出し、
前記第１検出部は、
前記第１差分が第１所定差分以下であり、前記第２差分が第２所定差分以下であり、かつ現在の輝度の代表値が第１所定値以下である前記第１領域を検出すること
を特徴とする請求項１〜４のいずれか１つに記載の付着物検出装置。
【請求項６】
前記第２検出部は、
前記輝度分布の起伏変化のパターンが所定の変化パターンを満たす前記第２領域を検出すること
を特徴とする請求項１〜５のいずれか１つに記載の付着物検出装置。
【請求項７】
撮像装置で撮像された撮像画像に含まれる各画素の輝度に基づき、過去および現在の前記撮像画像における前記輝度に関する特徴量の変動を算出する算出工程と、
前記算出工程によって算出された前記変動が所定の閾値範囲内であり、かつ前記現在の撮像画像における前記特徴量が所定の閾値範囲内である第１領域を検出する第１検出工程と、
前記撮像画像に含まれる各画素の輝度分布の起伏が所定の起伏条件を満たす第２領域を検出する第２検出工程と、
前記第１検出工程によって検出された前記第１領域、および、前記第２検出工程によって検出された前記第２領域を合算した合算領域を、前記撮像装置に付着した付着物に対応する付着物領域として生成する生成工程と
を含むことを特徴とする付着物検出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、付着物検出装置および付着物検出方法に関する。
【背景技術】
【０００２】
従来、撮像画像の領域を分割した分割領域の輝度値の時系列変化に基づいてレンズに付着した付着物を検出する付着物検出装置が知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１４−３０１８８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来技術では、付着物を高精度に検出する点で改善の余地があった。例えば、水滴と泥が混ざったような付着物の場合、水滴領域が泥領域に比べて輝度が高くなるため、一方の領域を検出しようとした場合、他方の領域を検出できないおそれがあった。
【０００５】
本発明は、上記に鑑みてなされたものであって、付着物を高精度に検出することができる付着物検出装置および付着物検出方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上述した課題を解決し、目的を達成するために、本発明に係る付着物検出装置は、算出部と、第１検出部と、第２検出部と、生成部とを備える。前記算出部は、撮像装置で撮像された撮像画像に含まれる各画素の輝度に基づき、過去および現在の前記撮像画像における前記輝度に関する特徴量の変動を算出する。前記第１検出部は、前記算出部によって算出された前記変動が所定の閾値範囲内であり、かつ前記現在の撮像画像における前記特徴量が所定の閾値範囲内である第１領域を検出する。前記第２検出部は、前記撮像画像に含まれる各画素の輝度分布の起伏が所定の起伏条件を満たす第２領域を検出する。前記生成部は、前記第１検出部によって検出された前記第１領域、および、前記第２検出部によって検出された前記第２領域を合算した合算領域を、前記撮像装置に付着した付着物に対応する付着物領域として生成する。
【発明の効果】
【０００７】
本発明によれば、付着物を高精度に検出することができる。
【図面の簡単な説明】
【０００８】
【図１】図１は、実施形態に係る付着物検出方法の概要を示す図である。
【図２】図２は、実施形態に係る付着物検出装置の構成を示すブロック図である。
【図３】図３は、算出部の処理内容を示す図である。
【図４】図４は、対象領域の輝度の平均値と、第１所定値との関係を示す図である。
【図５】図５は、輝度分布の抽出対象となる画素列を説明する図である。
【図６】図６は、第２検出部の処理内容を示す図である。
【図７】図７は、第２検出部の処理内容を示す図である。
【図８】図８は、第２検出部の処理内容を示す図である。
【図９】図９は、第２検出部の処理内容を示す図である。
【図１０】図１０は、第２検出部による第２領域の変換処理を示す図である。
【図１１】図１１は、生成部の処理内容を示す図である。
【図１２】図１２は、除去判定部の処理内容を示す図である。
【図１３】図１３は、除去判定部の処理内容を示す図である。
【図１４】図１４は、実施形態に係る付着物検出装置が実行する付着検出処理の処理手順を示すフローチャートである。
【図１５】図１５は、実施形態に係る付着物検出装置が実行する除去判定処理の処理手順を示すフローチャートである。
【発明を実施するための形態】
【０００９】
以下、添付図面を参照して、本願の開示する付着物検出装置および付着物検出方法の実施形態を詳細に説明する。なお、以下に示す実施形態により本発明が限定されるものではない。
【００１０】
まず、図１を用いて、実施形態に係る付着物検出方法の概要について説明する。図１は、実施形態に係る付着物検出方法の概要を示す図である。なお、図１には、例えば、車載カメラのレンズに水および泥が混ざった付着物が付着した状態で撮像された撮像画像Ｉを示している。また、図１に示す撮像画像Ｉにおいて、泥を多く含む領域（図１に示す、泥）は光をほとんど通さないため、黒つぶれの領域となり、水を多く含む領域（図１に示す、水）は光をわずかに通すことで、ぼやけた領域となる。つまり、水を多く含む領域は、泥を多く含む領域に比べて輝度が高くなる。なお、付着物は、水および泥に限定されず、撮像画像Ｉに黒つぶれの領域とぼやけた領域とが生じる付着物であればよい。
【００１１】
ところで、従来は、泥および水が混ざったような付着物の場合、泥を検出するための輝度の閾値を設定すると、かかる閾値が低くなることから、水でぼやけた領域を検出できないおそれがあった。また、水および泥の双方を検出するための輝度の閾値を設定すると、閾値が高くなることから、付着物以外の誤検知が多くなるおそれがあった。なお、ぼやけた領域とは、背景に写る物体がぼやけた領域や、水に含まれる泥の濃淡によるぼやけた領域、水滴の立体形状に起因してぼやけた領域等を含む。
【００１２】
そこで、実施形態に係る付着物検出装置１（図２参照）は、付着物検出方法を実行することで、水および泥が混ざったような付着物を高精度に検出する。具体的には、実施形態に係る付着物検出方法では、泥等の黒つぶれとなる領域を検出する第１検出処理と、水等のぼやけた領域を検出する第２検出処理を行い、双方の検出処理により検出された２種類の領域を合算して付着物領域とする。以下、図１を用いて、実施形態に係る付着物検出方法について説明する。
【００１３】
図１に示すように、実施形態に係る付着物検出方法では、まず、カメラで撮像された撮像画像Ｉに含まれる各画素の輝度に基づき、過去および現在の撮像画像Ｉにおける輝度に関する特徴量の変動を算出する（Ｓ１）。特徴量とは、所定の領域における輝度の代表値や、輝度のばらつき量である。具体的には、代表値は、平均値であり、ばらつき量は、標準偏差である。変動とは、例えば、過去の撮像画像Ｉから算出された特徴量と、現在の撮像画像Ｉから算出された特徴量の差分である。
【００１４】
つづいて、実施形態に係る付着物検出方法では、算出した特徴量の変動が所定の閾値範囲内であり、かつ現在の撮像画像Ｉにおける特徴量が所定の閾値範囲内である第１領域Ａ１を検出する（Ｓ２）。すなわち、実施形態に係る付着物検出方法では、第１検出処理を行うことで、過去から現在までの特徴量の変動が小さく、かつ現在の特徴量が小さい黒つぶれの領域である第１領域Ａ１を検出する。なお、第１領域Ａ１の詳細な検出方法については後述する。
【００１５】
また、実施形態に係る付着物検出方法では、現在の撮像画像Ｉに含まれる各画素の輝度分布の起伏が所定の起伏条件を満たす第２領域Ａ２を検出する（Ｓ３）。具体的には、実施形態に係る付着物検出方法では、第２検出処理を行うことで、輝度分布の起伏がなだらかとなる領域、すなわち、ぼやけた領域を第２領域Ａ２として検出する。より具体的には、第２領域Ａ２は、特徴量の変動が所定の閾値範囲内であり、かつ現在の撮像画像Ｉにおける特徴量が所定の閾値範囲外となる領域ともいえる。なお、第２領域Ａ２の詳細な検出方法については後述する。なお、ここで言う画素の輝度分布とは、対象となる画像における、所定の方向に沿った輝度の変化の形状のことを言う。例えば、画像中の所定の座標（ｘ０、ｙ０）を原点とし、水平方向ｘにおける画素の輝度をＬ（ｘ）とした場合、ｘ−Ｌ（ｘ）のグラフが描く形状のことを、（ｘ０、ｙ０）を原点とした水平方向における画素の輝度分布という。なおｘ０、ｙ０は任意に設定でき、方向も垂直方向含め任意の角度の方向として設定できる。
【００１６】
そして、実施形態に係る付着物検出方法では、検出した第１領域Ａ１および第２領域Ａ２を合算した合算領域を、付着物に対応する付着物領域Ａ１２として生成する（Ｓ４）。
【００１７】
つまり、実施形態に係る付着物検出方法では、泥に対応する黒つぶれ領域である第１領域Ａ１と、水に対応するぼやけた領域である第２領域Ａ２とを別々に検出し、第１領域Ａ１および第２領域Ａ２を最終的に合算して付着物領域Ａ１２として検出する。
【００１８】
これにより、泥および水が混ざったような付着物であっても、双方の特性に合わせた検出処理をそれぞれ行うことで、泥および水の双方を検出することができる。すなわち、実施形態に係る付着物検出方法によれば、付着物を高精度に検出することができる。
【００１９】
なお、実施形態に係る付着物検出方法では、撮像画像Ｉに複数の分割領域を設定し、分割領域に対応する付着物領域Ａ１２を生成するが、かかる点については後述する。
【００２０】
また、実施形態に係る付着物検出方法では、付着物が除去されたか否かの判定については、付着物領域Ａ１２の付着判定とは異なり、付着物領域Ａ１２における輝度の特徴量の変動のみで除去判定を行うが、かかる点については後述する。
【００２１】
次に、図２を用いて、実施形態に係る付着物検出装置１の構成について説明する。図２は、実施形態に係る付着物検出装置１の構成を示すブロック図である。図２に示すように、実施形態に係る付着物検出装置１は、カメラ１０と、車速センサ１１と、各種機器５０とに接続される。なお、図２では、付着物検出装置１は、カメラ１０と、各種機器５０とは別体で構成される場合を示したが、これに限らず、カメラ１０および各種機器５０の少なくとも一方と一体で構成されてもよい。
【００２２】
カメラ１０は、たとえば、魚眼レンズ等のレンズと、ＣＣＤ（Charge  Coupled  Device）やＣＭＯＳ（Complementary  Metal  Oxide  Semiconductor）などの撮像素子とを備えた車載カメラである。カメラ１０は、例えば、車両の前後方、側方の様子を撮像可能な位置にそれぞれ設けられ、撮像された撮像画像Ｉを付着物検出装置１へ出力する。
【００２３】
各種機器５０は、付着物検出装置１の検出結果を取得して、車両の各種制御を行う機器である。各種機器５０は、例えば、カメラ１０のレンズに付着物が付着していることや、ユーザによる付着物の拭き取り指示を通知する表示装置や、流体や気体等をレンズに向かって噴射して付着物を除去する除去装置、自動運転等を制御する車両制御装置を含む。
【００２４】
図２に示すように、実施形態に係る付着物検出装置１は、制御部２と、記憶部３とを備える。制御部２は、取得部２１と、算出部２２と、第１検出部２３と、第２検出部２４と、生成部２５と、除去判定部２６と、フラグ出力部２７とを備える。記憶部３は、起伏条件情報３１を記憶する。
【００２５】
ここで、付着物検出装置１は、たとえば、ＣＰＵ（Central  Processing  Unit）、ＲＯＭ（Read  Only  Memory）、ＲＡＭ（Random  Access  Memory）、データフラッシュ、入出力ポートなどを有するコンピュータや各種の回路を含む。
【００２６】
コンピュータのＣＰＵは、たとえば、ＲＯＭに記憶されたプログラムを読み出して実行することによって、制御部２の取得部２１、算出部２２、第１検出部２３、第２検出部２４、生成部２５、除去判定部２６およびフラグ出力部２７として機能する。
【００２７】
また、制御部２の取得部２１、算出部２２、第１検出部２３、第２検出部２４、生成部２５、除去判定部２６およびフラグ出力部２７の少なくともいずれか一つまたは全部をＡＳＩＣ（Application  Specific  Integrated  Circuit）やＦＰＧＡ（Field  Programmable  Gate  Array）等のハードウェアで構成することもできる。
【００２８】
また、記憶部３は、たとえば、ＲＡＭやデータフラッシュに対応する。ＲＡＭやデータフラッシュは、起伏条件情報３１や、各種プログラムの情報等を記憶することができる。なお、付着物検出装置１は、有線や無線のネットワークで接続された他のコンピュータや可搬型記録媒体を介して上記したプログラムや各種情報を取得することとしてもよい。
【００２９】
記憶部３に記憶された起伏条件情報３１は、後述の第２検出部２４による検出処理の基準となる条件を含む情報であり、例えば、輝度分布の起伏のパターン条件を含む。なお、パターン条件とは、輝度分布をマップ化した場合の起伏の形状パターンや、輝度分布における輝度のデータ列のパターン等である。なお、起伏条件情報３１を用いた検出処理については後述する。
【００３０】
取得部２１は、各種情報を取得する。取得部２１は、カメラ１０で撮像された画像を取得し、現在の撮像画像Ｉである現在フレームを生成（取得）する。具体的には、取得部２１は、取得した画像における各画素を輝度に応じて白から黒までの各階調に変換するグレースケール化処理を行う。
【００３１】
また、取得部２１は、取得した画像に画素の間引き処理を行い、取得した画像よりもサイズが小さい画像を生成する。また、取得部２１は、間引き処理を施した画像に基づいて、各画素における画素値の和および二乗和の積分画像である現在フレームを生成する。なお、画素値とは、画素の輝度やエッジに対応する情報である。
【００３２】
このように、付着物検出装置は、取得した画像に対して間引き処理を行い、積分画像を生成することで、後段における処理の計算を高速化できるため、付着物を検出するための処理時間を短くすることができる。
【００３３】
なお、取得部２１は、各画素について、平均化フィルタなどの平滑化フィルタを用いて平滑化処理を行ってもよい。また、画像取得部２１は、間引き処理を行わず、取得した画像と同じサイズの現在フレームを生成してもよい。
【００３４】
また、取得部２１は、車速センサ１１からの信号に基づいて車速を取得する。
【００３５】
算出部２２は、取得部２１が取得した撮像画像Ｉに含まれる各画素の輝度に基づき、過去および現在の撮像画像Ｉにおける輝度に関する特徴量の変動を算出する。図３は、算出部２２の処理内容を示す図である。
【００３６】
図３に示すように、算出部２２は、まず、撮像画像Ｉに対して対象領域ＲＯＩおよび分割領域１００を設定する。対象領域ＲＯＩは、カメラ１０の特性に応じて予め設定される矩形状の領域であり、例えば、車体領域を除いた領域である。分割領域１００は、対象領域Ｒ０Ｉを水平方向、および垂直方向に分割することで形成される矩形状の領域である。例えば、分割領域１００は、４０×４０の画素を含む領域であるが、分割領域１００に含まれる画素の数は、任意に設定可能である。
【００３７】
つづいて、算出部２２は、分割領域１００毎に輝度の特徴量を算出する。具体的には、算出部２２は、輝度の代表値および輝度のばらつき量を特徴量として算出する。代表値とは、対象とする領域における輝度の分布における代表的な輝度を示す値であり、具体的には平均値を用いる。平均値の他に、刈込平均、中央値、最頻値などを用いてもよい。ばらつき量とは、対象とする領域における輝度の分布の広がりを表す値であり、具体的には標準偏差を用いる。標準偏差の他に、分散、最大最小幅、四分位幅、任意のパーセンタイル幅を用いてもよい。以降は、代表値として平均値を、ばらつき量として標準偏差を用いる場合について例として説明する。また、算出部２２は、対象領域ＲＯＩ全体における輝度の特徴量を算出する。
【００３８】
つづいて、算出部２２は、過去および現在の撮像画像Ｉにおける特徴量の変動を算出する。具体的には、算出部２２は、過去および現在の撮像画像Ｉの同じ位置にある分割領域１００における輝度の平均値の差分である第１差分を変動として算出する。すなわち、算出部２２は、対応する分割領域１００における過去の輝度の平均値と、現在の輝度の平均値との第１差分を変動として算出する。
【００３９】
また、算出部２２は、過去および現在の撮像画像Ｉの同じ位置にある分割領域１００における輝度の標準偏差の差分である第２差分を算出する。すなわち、算出部２２は、対応する分割領域１００における過去の輝度の標準偏差と、現在の輝度の標準偏差との第２差分を変動として算出する。なお、以下では、過去の撮像画像Ｉを過去フレームＩ０と記載し、現在の撮像画像Ｉを現在フレームＩ１と記載する場合がある。
【００４０】
図２に戻って、第１検出部２３について説明する。第１検出部２３は、算出部２２によって算出された特徴量の変動が所定の閾値範囲内であり、かつ現在の撮像画像Ｉにおける特徴量が所定の閾値範囲内である第１領域Ａ１を検出する。
【００４１】
具体的には、第１検出部２３は、各分割領域１００が所定の条件を満たす第１領域Ａ１であるか否かを判定する。つまり、第１検出部２３は、分割領域１００に対応する第１領域Ａ１を検出する。
【００４２】
例えば、第１検出部２３は、以下の（１）〜（３）の条件を全て満たす場合には、分割領域１００が所定の条件を満たすと判定し、分割領域１００を第１領域Ａ１として検出する。なお、第１検出部２３は、少なくとも（１）〜（３）のいずれか一つの条件を満たさない場合には、分割領域１００が所定の条件を満たさないと判定し、分割領域１００を付着物が付着していない領域として検出する。
【００４３】
（１）第１差分が第１所定差分以下である。
（２）第２差分が第２所定差分以下である。
（３）分割領域１００における輝度の平均値が第１所定値以下である。
【００４４】
条件（１）は、同一分割領域１００で輝度の変化が小さいか否かを判定する条件である。条件（１）における第１所定差分は、付着物が付着している場合の輝度の平均値の上限差分であり、予め実験などにより設定された差分である。第１所定差分は、例えば、「５」である。
【００４５】
条件（２）は、カメラ１０のゲイン調整の影響を抑制する条件である。条件（２）における第２所定差分は、付着物が付着している場合の輝度の標準偏差の上限差分であり、予め実験などにより設定された差分である。第２所定差分は、例えば、「１」である。
【００４６】
条件（３）は、現在フレームＩ１の分割領域１００の輝度が低いか否かを判定する条件である。条件（３）における第１所定値は、分割領域１００に付着物が付着していると判定可能な値であり、図４に示すように、現在フレームＩ１の対象領域Ｒ０Ｉにおける輝度の平均値に基づいて設定される値である。
【００４７】
図４は、対象領域Ｒ０Ｉの輝度の平均値と、第１所定値との関係を示す図である。第１所定値は、対象領域Ｒ０Ｉの輝度の平均値が高くなると大きくなる。また、第１所定値には、上限値が設定されており、対象領域Ｒ０Ｉの輝度の平均値が予め設定された所定平均値以上となる場合には、上限値に設定される。これにより、撮像画像Ｉの背景に応じてカメラ１０のゲイン調整が行われることで輝度の平均値が変化したとしても第１領域Ａ１を高精度に検出できる。
【００４８】
第１検出部２３は、条件（１）〜（３）を満たす分割領域１００を第１領域Ａ１として検出することで、付着物が付着した分割領域１００を正確に判定できるため、最終的に生成される付着物領域Ａ１２の精度を向上させることができる。
【００４９】
なお、第１検出部２３は、条件（１）〜（３）の継続性を示すカウンタ値を分割領域１００毎に算出し、かかるカウンタ値が所定の閾値以上となった場合に、分割領域１００を第１領域Ａ１として検出してもよい。具体的には、第１検出部２３は、現在フレームＩ１の分割領域１００が条件（１）〜（３）を満たすと判定した場合に、現在のカウンタ値を増加させ、現在フレームＩ１の分割領域１００が条件（１）〜（３）を満たさないと判定した場合に、現在のカウンタ値を減少させる。すなわち、第１検出部２３は、分割領域１００におけるカウンタ値を更新する。
【００５０】
なお、カウンタ値には、予め設定された上限カウンタ値、および下限カウンタ値が設けられている。また、１回の判定に対するカウンタ値の増加値、および減少値は、同じ値であってもよく、異なる値であってもよい。
【００５１】
また、第１検出部２３は、車速が所定の条件を満たす場合にのみ、第１領域Ａ１の検出処理を行ってもよい。例えば、第１検出部２３は、車速が所定車速以下である場合に、検出処理を行う。所定車速は、予め設定された車速であり、撮像画像Ｉのぶれが少なく、付着物を検出可能な撮像画像Ｉを得ることができる車速である。例えば、所定車速は、８０ｋｍ／ｈである。これにより、第１領域Ａ１を高精度に検出することができる。
【００５２】
あるいは、第１検出部２３は、車両Ｃが走行している間、具体的には、車速が予め設定された低車速以上である場合に、検出処理を行ってもよい。これにより、車両Ｃが停車し、同じ撮像画像Ｉが撮像された場合に、検出処理が繰り返し行われることを防止することができる。
【００５３】
また、第１検出部２３は、現在フレームＩ１が低照度画像である場合には、第１領域Ａ１の検出処理を行わず、後段の生成部２５による付着物領域Ａ１２の生成を行わせないようにしてもよい。低照度画像とは、例えば、車両Ｃが夜間走行を行っている場合や、トンネルを走行している場合など、車両Ｃの周囲が暗い場合に撮像された撮像画像Ｉである。
【００５４】
第１検出部２３は、現在フレームＩ１の対象領域Ｒ０Ｉにおける輝度の平均値が所定低照度値以下であり、かつ現在フレームＩ１の対象領域Ｒ０Ｉにおける輝度の標準偏差が所定低照度偏差以下である場合には、現在フレームＩ１が低照度画像であると判定する。所定低照度値は、予め設定された値であり、例えば、「８５」である。また、所定低照度偏差は、予め設定された値であり、例えば、「５０」である。
【００５５】
これにより、低照度画像時において、カメラ１０のレンズに付着物が付着していると誤検出することを抑制することができる。また、付着物検出装置１は、現在フレーム１Ｉが、付着物領域Ａ１２を正確に検出できない低照度画像である場合には、検出処理を行わないことで、処理負荷を小さくすることができる。
【００５６】
図２に戻って、第２検出部２４について説明する。第２検出部２４は、撮像画像Ｉに含まれる各画素の輝度分布の起伏が所定の起伏条件を満たす第２領域Ａ２を検出する。具体的には、第２検出部２４は、まず、取得部２１が取得した撮像画像Ｉの中から第２領域Ａ２の候補領域２００を抽出する。具体的には、まず、第２検出部２４は、撮像画像Ｉにおける各画素の輝度およびエッジ情報を抽出する。各画素の輝度は、例えば、０〜２５５のパラメータで表現される。
【００５７】
また、第２検出部２４は、各画素の輝度に基づいてエッジ検出処理を行って、各画素について、Ｘ軸方向（撮像画像Ｉの左右方向）のエッジと、Ｙ軸方向（撮像画像Ｉの上下方向）のエッジとを検出する。エッジ検出処理には、例えば、Ｓｏｂｅｌフィルタや、Ｐｒｅｗｉｔｔフィルタ等の任意のエッジ検出フィルタを用いることができる。
【００５８】
そして、第２検出部２４は、Ｘ軸方向のエッジと、Ｙ軸方向のエッジとに基づき、三角関数を用いることで、画素のエッジ角度およびエッジ強度の情報を含むベクトルをエッジ情報として検出する。具体的には、エッジ角度は、ベクトルの向きによって表現され、エッジ強度は、ベクトルの長さによって表現される。
【００５９】
そして、第２検出部２４は、予め作成された付着物の輪郭を示すテンプレート情報と、検出したエッジ情報とのマッチング処理（テンプレートマッチング）を行い、テンプレート情報と類似するエッジ情報を抽出する。そして、第２検出部２４は、抽出したエッジ情報の領域、すなわち、第２領域Ａ２であるぼやけた領域の輪郭を含む矩形状の領域である候補領域２００を抽出する。
【００６０】
なお、候補領域２００は、上記した分割領域１００とは異なり、エッジ情報がマッチングした領域を囲む矩形状の領域であるため、マッチング結果に応じた様々な領域サイズが含まれる。また、複数の候補領域２００は、互いに重なる場合がある。
【００６１】
つづいて、第２検出部２４は、抽出した候補領域２００における所定の画素列の輝度分布を抽出する。図５は、輝度分布の抽出対象となる画素列を説明する図である。図５に示すように、第２検出部２４は、撮像画像Ｉから抽出された各候補領域２００について、水平方向の３列の画素列Ｈ１〜Ｈ３と、垂直方向の３列の画素列Ｖ１〜Ｖ３とについて、輝度分布を抽出する。
【００６２】
なお、抽出する画素列は、水平方向、または、垂直方向のいずれか一方の画素列であってもよい。また、抽出する画素列の列数は、３列に限らず、２列以下や、４列以上であってもよい。
【００６３】
次に、第２検出部２４は、抽出した候補領域２００を所定数の単位領域に分割し、単位領域毎に輝度の代表値を算出する。なお、第２検出部２４による代表値の算出方法については、図６および図７を用いて後述する。
【００６４】
第２検出部２４は、候補領域２００における画素の輝度を、所定の輝度範囲を単位とする単位輝度に変換する。例えば、第２検出部２４は、輝度を示す０〜２５５のパラメータを所定数毎に区切った単位輝度に変換する。
【００６５】
図６および図７は、第２検出部２４の処理内容を示す図である。まず、図６を用いて、第２検出部２４による単位領域の設定方法について説明する。図６では、水平方向における一の画素列Ｈの輝度分布を示す。
【００６６】
図６に示すように、第２検出部２４は、水平方向における画素列を、例えば８個の単位領域Ｒ１〜Ｒ８（まとめて単位領域Ｒと記載する場合がある）に分割する。なお、単位領域Ｒ１〜Ｒ８の各幅（画素数）は、同じ（すなわち、画素列を均等割りした画素数）であってもよく、各幅がそれぞれ異なってもよい。
【００６７】
また、単位領域Ｒの分割数は、８個に限らず、任意の数を設定可能である。なお、単位領域Ｒの分割数は、撮像画像Ｉから抽出される候補領域２００のサイズに関わらず、すべて同じ数（図４では８個）であることが好ましい。これにより、抽出される候補領域２００のサイズが様々であっても、単位領域Ｒの数を揃えることで、統一した情報となるため、後段の判定処理等の処理負荷を抑えることができる。
【００６８】
次に、図７に示すように、第２検出部２４は、単位領域Ｒ毎に輝度の代表値を算出する。図７の上段に示すように、第２検出部２４は、代表値の算出処理に先立って、各画素の輝度値（例えば、０〜２５５）を単位輝度へ変換する。具体的には、図７では、０〜２５５を８個の単位輝度に均等に分割する。図７の中段に示す「０」〜「７」である。この場合、輝度値の幅が３２単位で分割される。例えば「０」の単位輝度は輝度値で０〜３１に対応し、「１」の単位輝度は輝度値で３２〜６３に対応する。つまり、単位輝度への変換は、輝度の分割数を減らす処理である。これにより、輝度分布の輝度を所望の単位輝度の数まで減らすことができるため、後段の処理負荷を軽減できる。なお、輝度から単位輝度への変換において、その分割数ならびに分割幅は、任意に設定可能である。上記のように均等幅でなくてもよい。
【００６９】
そして、第２検出部２４は、単位領域Ｒ１〜Ｒ８毎に単位輝度のヒストグラムを作成する。図７の中段では、階級を単位輝度「０」〜「７」とし、度数を画素数とする一の単位領域Ｒ１のヒストグラムを示す。
【００７０】
そして、図７の下段に示すように、第２検出部２４は、作成したヒストグラムに基づいて単位領域Ｒ１〜Ｒ８それぞれについて、輝度の代表値を算出する。例えば、第２検出部２４は、ヒストグラムにおける最頻値の階級（図７では、階級「３」）の単位輝度を、単位領域Ｒ１における輝度の代表値として算出する。これにより、輝度分布のデータ数を画素数から単位領域Ｒの数に減らすことができるため、後段の処理負荷を軽減できる。
【００７１】
なお、第２検出部２４は、最頻値の単位輝度を代表値としたが、これに限らず、例えば、ヒストグラムにおける中央値や平均値等を代表値としてもよい。
【００７２】
また、第２検出部２４は、ヒストグラムに基づいた代表値の算出処理に限らず、例えば、各単位領域Ｒについて、輝度値の平均値を算出し、かかる平均値に対応する単位輝度を輝度の代表値としてもよい。
【００７３】
また、第２検出部２４は、単位輝度を代表値としたが、例えば、単位領域Ｒにおける輝度値の平均値等をそのまま代表値としてもよい。つまり、代表値は、単位輝度で表現されもよく、輝度値で表現されてもよい。
【００７４】
次に、第２検出部２４は、候補領域２００に含まれる画素の輝度分布の起伏に基づいて候補領域２００が第２領域Ａ２である否かを判定する。ここで、図８および図９を用いて、第２検出部２４による判定処理について説明する。
【００７５】
図８および図９は、第２検出部２４による処理内容を示す図である。図８の上段には、一の候補領域２００における輝度分布を示しており、単位領域Ｒ１〜Ｒ８毎の代表値を棒グラフに中抜きで示している。
【００７６】
まず、図８の上段に示すように、第２検出部２４は、隣接する単位領域Ｒ１〜Ｒ８の単位輝度の変化量Ｄ１〜Ｄ７を算出する。なお、図８の下段には、変化量Ｄ１〜Ｄ７の各値が入力されたテーブル（上側テーブル）を示している。
【００７７】
そして、第２検出部２４は、輝度分布の起伏変化のパターンが所定の変化パターンを満たす場合に、候補領域２００が第２領域Ａ２であると判定する。具体的には、第２検出部２４は、変化量Ｄ１〜Ｄ７の各値と、記憶部３に記憶された起伏条件情報３１とを比較して判定処理を行う。
【００７８】
図８の下段には、起伏条件情報３１の一例として、変化量Ｄ１〜Ｄ７それぞれの閾値範囲を含むテーブルの一例を示す（下側テーブル）。第２検出部２４は、候補領域２００における変化量Ｄ１〜Ｄ７それぞれが、起伏条件情報３１で設定された変化量Ｄ１〜Ｄ７それぞれの閾値範囲に収まる場合に、候補領域２００が第２領域Ａ２であると判定する。
【００７９】
換言すれば、第２検出部２４は、隣接する単位領域Ｒ１〜Ｒ８の単位輝度の変化量Ｄ１〜Ｄ７のパターンが、起伏条件情報３１で設定された閾値範囲である変化パターンを満たす場合に、第２領域Ａ２であると判定する。
【００８０】
つまり、第２検出部２４は、ぼやけた領域の特徴である、候補領域２００の中心領域に向かって輝度が徐々に高くなる（または、低くなる）特徴を起伏条件情報３１の閾値範囲として記憶しておくことで、判定処理を行う。これにより、第２検出部２４は、水の付着に起因するぼやけた領域を第２領域Ａ２として検出することができる。
【００８１】
また、第２検出部２４は、変化量Ｄ１〜Ｄ７を用いることで、全体的な輝度値の大小を無視できるため、起伏の形状が類似して輝度値の大小が異なる場合による誤判定を減らすことができる。さらに、輝度値の大小を無視できるため、輝度値毎に判定条件を設定する必要がなくなることで、条件を記憶するための記憶容量を削減でき、かつ、輝度値毎に判定処理を行う必要がないため、処理量を減らすことができる。
【００８２】
また、起伏条件情報３１において変化量Ｄ１〜Ｄ７の最大および最小を設定して幅をもたせることで、付着物の形状がくずれたとしても付着物領域として検出することができる。すなわち、付着物の形状が異なる場合であっても付着物領域として高精度に検出することができる。
【００８３】
なお、図８では、起伏条件情報３１について、すべての変化量Ｄ１〜Ｄ７の閾値範囲を設定した場合を示したが、小さいサイズの第２領域Ａ２を検出する場合には、変化量Ｄ１〜Ｄ７のうち、一部の変化量の閾値範囲のみを設定してもよい。
【００８４】
また、図８では、第２検出部２４は、起伏条件情報３１の閾値範囲に含まれるか否かで判定を行う場合を示したが、例えば、変化量Ｄ１〜Ｄ７の閾値範囲に基づいて輝度分布の起伏がマップ化された起伏条件情報３１に基づいて判定処理を行ってもよい。かかる点について、図９を用いて説明する。
【００８５】
図９の上段では、輝度分布の起伏変化の変化量の閾値範囲を示しており、図９の下段には、図９の上段に示す変化量Ｄ１〜Ｄ４の閾値範囲がマップ化された起伏条件情報３１を示している。具体的には、横軸を単位領域Ｒ１〜Ｒ８の位置とし、縦軸を相対輝度としたマップを示している。なお、かかるマップは、予め生成される。
【００８６】
例えば、変化量Ｄ１は、＋１〜＋２の閾値範囲であるため、単位領域Ｒ１には相対輝度の所定位置の２マスを閾値として設定する。そして、単位領域Ｒ２は、変化量Ｄ１の閾値範囲を満たす位置の１マスを閾値として設定する。つづいて、変化量Ｄ２は、値が＋１であるため、単位領域Ｒ２に設定されたマスから１つ上がった単位領域Ｒ３のマスを閾値として設定する。つづいて、変化量Ｄ３は、値が−１であるため、単位領域Ｒ３に設定されたマスから１つ下がった単位領域Ｒ４のマスを閾値として設定する。つづいて、変化量Ｄ４は、−２〜−１の閾値範囲であるため、単位領域Ｒ４に設定されたマスから１つ、および、２つ下がった単位領域Ｒ５の２つのマスを閾値として設定する。これにより、起伏条件情報３１のマップが完成する。
【００８７】
つまり、起伏条件情報３１におけるマップは、変化量Ｄ１〜Ｄ４に基づく単位領域Ｒ１〜Ｒ５における単位輝度の起伏形状を表現した情報である。なお、単位領域Ｒ６〜Ｒ８については、変化量Ｄ５〜Ｄ７の閾値範囲が設定されていないため、検出される輝度が任意でよい。
【００８８】
第２検出部２４は、上記の同様の手法により、抽出した候補領域２００における単位領域Ｒ１〜Ｒ８の変化量Ｄ１〜Ｄ７に基づいてマップを作成し、起伏条件情報３１における上記のマップとのマッチング処理を行い、双方のマップが一致する場合に、第２領域Ａ２と判定する。
【００８９】
図９に示す例では、第２検出部２４は、候補領域２００に基づくマップが、起伏条件情報３１のマップのような凸状である場合に、中心から周囲に向かって暗くなるぼやけた領域である第２領域Ａ２と判定する。一方、第２検出部２４は、候補領域２００に基づくマップが、起伏条件情報３１のマップのような凹状である場合に、中心から周囲に向かって明るくなるぼやけた領域である第２領域Ａ２と判定する。
【００９０】
つまり、第２検出部２４は、候補領域２００における輝度分布の起伏が、凸状、または、凹状である場合、候補領域２００が第２領域Ａ２であると判定する。これにより、輝度値（単位輝度）の要素を除いた起伏形状のみに判定処理を行うことができるため、輝度値の大小による未検出を減らすことができる。従って、付着物を高精度に検出することができる。
【００９１】
なお、第２検出部２４は、時系列の撮像画像Ｉに基づき、候補領域２００を連続して第２領域Ａ２である判定した場合に、かかる候補領域２００が第２領域Ａ２の確定領域であると判定してもよい。
【００９２】
具体的には、第２検出部２４は、候補領域２００が第２領域Ａ２であるか否かの判定処理を行う毎に、判定結果に応じたスコアを候補領域２００毎に付与し、スコアの合計値が所定の閾値条件を満たした候補領域２００を第２領域Ａ２の確定領域であると判定する。
【００９３】
より具体的には、第２検出部２４は、候補領域２００が第２領域Ａ２であると判定した場合、スコアの合計に所定値を加算する。一方、第２検出部２４は、候補領域２００が第２領域Ａ２でないと判定した場合、スコアの合計から所定値を減算する。なお、所定値は、加算および減算の双方で同じ値であってもよく、加算および減算それぞれで異なる値であってもよい。
【００９４】
また、第２検出部２４は、検出した第２領域Ａ２を分割領域１００の領域サイズに変換する変換処理を行う。かかる点について、図１０を用いて説明する。
【００９５】
図１０は、第２検出部２４による第２領域Ａ２の変換処理を示す図である。図１０の上段には、撮像画像Ｉの対象領域ＲＯＩから検出された第２領域Ａ２を示し、図１０の下段には、対象領域ＲＯＩに設定された複数の分割領域１００を示している。なお、第２検出部２４により変換される分割領域１００の数や配置は、第１検出部２３における分割領域１００（図３参照）の数や配置と一致する。
【００９６】
図１０に示すように、第２検出部２４は、検出した第２領域Ａ２（以下、元の第２領域Ａ２と記載する場合がある）と分割領域１００とを重ね合わせ、元の第２領域Ａ２と重なる分割領域１００を変換後の第２領域Ａ２（新たな第２領域Ａ２と記載する場合がある）として生成する。なお、新たな第２領域Ａ２を生成する場合は、単にぼやけ領域というだけではなく、対応する分割領域１００における特徴量の変動が無いことも加味することが望ましい。より具体的には領域Ａ１を算出するときに用いた条件（１）〜（３）のうち、（１）を満たしている分割領域１００であり、かつ元の第２領域Ａ２と重なる領域を新たな第２領域Ａ２として生成することが望ましい。上記条件（１）は分割領域１００の輝度の変動が小さいことである。したがって、ぼやけており、かつ輝度の変動が小さいが黒つぶれはしていないという、水滴と泥が混ざったような付着物の検知を効果的に行うことができる。
【００９７】
具体的には、第２検出部２４は、一の分割領域１００において、元の第２領域Ａ２が占める割合が所定の閾値以上である場合に、かかる一の分割領域１００を新たな第２領域Ａ２として生成する。つまり、第２検出部２４は、分割領域１００に対応する第２領域Ａ２を検出する。
【００９８】
図２に戻って、生成部２５について説明する。生成部２５は、第１検出部２３によって検出された第１領域Ａ１、および、第２検出部２４によって検出された第２領域Ａ２を合算した合算領域を付着物領域Ａ１２として生成する。ここで、図１１を用いて、生成部２５の処理内容について説明する。
【００９９】
図１１は、生成部２５の処理内容を示す図である。図１１に示すように、生成部２５は、分割領域１００に対応する第１領域Ａ１と、分割領域１００に対応する第２領域Ａ２との論理和となる領域を付着物領域Ａ１２として生成する。つまり、生成部２５は、分割領域１００に対応する付着物領域Ａ１２を生成する。なお、単純な論理和ではなく、前述の条件（１）の加味はここで行ってもよい。具体的には、元の第２領域Ａ２をそのまま引き継ぐ形で新たな第２領域Ａ２を生成しておき、合算する際に条件（１）を満たさない分割領域１００については、新たな第２領域Ａ２の合算を行わないこととしてもよい。
【０１００】
このように、分割領域１００に対応する付着物領域Ａ１２、第１領域Ａ１および第２領域Ａ２とすることで、統一された情報で付着物領域Ａ１２を生成できるため、処理が複雑化することを防ぐことができる。また、複数の画素をまとめて分割領域１００とすることで、処理対象が画素から分割領域１００になることで処理数を減らすことができるため、処理負荷を軽減できる。
【０１０１】
つづいて、生成部２５は、対象領域ＲＯＩに対して付着物領域Ａ１２が占める割合である占有率を算出し、占有率が所定の閾値（例えば、４０％）以上である場合に、付着物フラグＯＮを生成し、フラグ出力部２７へ出力する。
【０１０２】
また、生成部２５は、占有率が所定の閾値（例えば、４０％）以上である場合に、付着物領域Ａ１２における輝度の特徴量を算出し、かかる特徴量を除去判定部２６へ出力する。
【０１０３】
図２に戻って、除去判定部２６について説明する。除去判定部２６は、生成部２５によって生成された付着物領域Ａ１２における輝度の特徴量の変動に基づいて、付着物が除去されたか否かを判定する。ここで、図１２および図１３を用いて、除去判定部２６の処理内容について具体的に説明する。
【０１０４】
図１２および図１３は、除去判定部２６の処理内容を示す図である。図１２では、時刻ｔ１において、付着物領域Ａ１２の占有率が所定の閾値以上となったこととする。
【０１０５】
除去判定部２６は、付着物領域Ａ１２が生成された際の特徴量と、現在の撮像画像Ｉに基づく特徴量との変動を算出し、変動が所定の閾値以上の場合が継続した場合に、付着物が除去されたと判定する。
【０１０６】
具体的には、除去判定部２６は、撮像画像Ｉが新たに入力される毎に、新たな撮像画像Ｉにおける判定領域Ａ１２０の輝度の特徴量を算出し、付着物領域Ａ１２の特徴量との差分を算出する。図１２に示す例では、除去判定部２６は、時刻ｔ１における付着物領域Ａ１２の特徴量と、時刻ｔ２における判定領域Ａ１２０における特徴量との差分を変動として算出し、また、時刻ｔ１における付着物領域Ａ１２の特徴量と、時刻ｔ３における判定領域Ａ１２０における特徴量との差分を変動として算出する。
【０１０７】
換言すれば、除去判定部２６は、付着物の除去判定については、第１検出部２３および第２検出部２４の検出処理により除去判定を行うのではなく、付着物領域Ａ１２（判定領域Ａ１２０）の特徴量の変動のみで除去判定を行う。
【０１０８】
これにより、第１検出部２３および第２検出部２４の双方の検出結果に除去判定の精度が左右されないため、除去判定の誤判定を低減することができる。
【０１０９】
なお、除去判定部２６は、「変動≧閾値」となる回数が所定回数以上の場合に除去判定してもよく、あるいは、「変動≧閾値」の判定結果毎にスコアを算出し、かかるスコアに基づいて除去判定を行ってもよい。かかる点について、図１３を用いて説明する。
【０１１０】
図１３では、縦軸に除去判定に関する継続性を示すスコアを示し、横軸に時刻を示す。なお、時刻ｔ１は、付着物領域Ａ１２の占有率が所定の閾値以上となった時刻であることとする。また、実線の矢印は、「変動≧閾値」の判定結果を示し、破線の矢印は、「変動＜閾値」であることを示す。
【０１１１】
図１３に示すように、除去判定部２６は、時刻ｔ１において付着物領域Ａ１２に対してスコアの初期値を付与し、「変動≧閾値」と判定した場合にスコアを減算し、「変動＜閾値」と判定した場合にスコアを維持する。
【０１１２】
そして、除去判定部２６は、時刻ｔ１から時刻ｔｎまでの所定期間Ｄ内にスコアが所定の除去閾値未満となった場合に、付着物領域Ａ１２に対応する付着物が除去されたと判定する。なお、所定期間Ｄは、予め設定される期間であり、除去の有無を判定可能な期間である。これにより、所定期間Ｄ内で「変動≧閾値」を継続して満たす場合に、付着物が除去されたと判定できるため、例えば、撮像画像Ｉのノイズ等に起因して一時的に「変動≧閾値」と誤判定することを無効化できる。すなわち、除去判定を高精度に行うことができる。
【０１１３】
なお、除去判定部２６は、除去閾値以上のスコアで所定期間Ｄを超えた場合には、スコアを初期値に戻す。
【０１１４】
そして、除去判定部２６は、付着物領域Ａ１２に対応する付着物が除去されたと判定した場合に、付着物フラグＯＦＦを生成し、フラグ出力部２７へ出力する。
【０１１５】
図２に戻って、フラグ出力部２７について説明する。フラグ出力部２７は、生成部２５から付着物フラグＯＮが入力された場合、各種機器５０に対して付着物が付着していることを示す付着物フラグＯＮを出力する。そして、フラグ出力部２７は、除去判定部２６から付着物フラグＯＦＦが入力された場合、各種機器５０に対して付着物が付着していないことを示す付着物フラグＯＦＦを出力する。
【０１１６】
換言すれば、付着物フラグＯＮかＯＦＦかの情報は、現フレームの撮像画像Ｉが各種機器５０によって使用可能であるか否かの有効性を示す情報であり、あるいは、撮像画像Ｉを用いた各種機器５０の制御の信頼性を示す情報である。このため、第２検出部２４は、付着物フラグの情報に代えて、撮像画像Ｉの有効性や信頼性を示す情報を各種機器５０へ出力してもよい。
【０１１７】
次に、図１４を用いて、実施形態に係る付着物検出装置１が実行する付着検出処理の処理手順について説明する。図１４は、実施形態に係る付着物検出装置１が実行する付着検出処理の処理手順を示すフローチャートである。
【０１１８】
図１４に示すように、まず、取得部２１は、カメラ１０で撮像された画像を取得し、取得した画像に対してグレースケール化処理および間引き処理した後、縮小した画像の画素値に基づいて生成した積分画像を撮像画像Ｉとして取得する（Ｓ１０１）。
【０１１９】
つづいて、算出部２２は、撮像画像Ｉに含まれる各画素の輝度に基づき、過去および現在の撮像画像Ｉにおける輝度に関する特徴量の変動を算出する（Ｓ１０２）。
【０１２０】
つづいて、第１検出部２３は、算出部２２によって算出された変動が所定の閾値範囲内であり、かつ現在の撮像画像Ｉにおける特徴量が所定の閾値範囲内である第１領域Ａ１を検出する（Ｓ１０３）。
【０１２１】
つづいて、第２検出部２４は、撮像画像Ｉに含まれる各画素の輝度分布の起伏が所定の起伏条件を満たす第２領域Ａ２を検出する（Ｓ１０４）。つづいて、生成部２５は、第１検出部２３によって検出された第１領域Ａ１、および、第２検出部２４によって検出された第２領域Ａ２を合算した合算領域を、付着物領域Ａ１２として生成する（Ｓ１０５）。
【０１２２】
つづいて、フラグ出力部２７は、生成部２５から入力される付着物フラグＯＮを各種機器５０へ出力し（Ｓ１０６）、処理を終了する。
【０１２３】
次に、図１５を用いて、実施形態に係る付着物検出装置１が実行する除去判定処理の処理手順について説明する。図１５は、実施形態に係る付着物検出装置１が実行する除去判定処理の処理手順を示すフローチャートである。
【０１２４】
図１５に示すように、生成部２５は、付着物領域Ａ１２の特徴量を算出する（Ｓ２０１）。つづいて、取得部２１は、撮像画像Ｉを取得する（Ｓ２０２）。
【０１２５】
つづいて、除去判定部２６は、付着物領域Ａ１２に対応する判定領域Ａ１２０の特徴量を算出する（Ｓ２０３）。除去判定部２６は、付着物領域Ａ１２の特徴量と、判定領域Ａ１２０の特徴量との差分である変動が所定の閾値以上であるか否かを判定する（Ｓ２０４）。
【０１２６】
除去判定部２６は、変動が所定の閾値以上である場合（Ｓ２０４：Ｙｅｓ）、スコアの初期値が所定値を減算する（Ｓ２０５）。つづいて、除去判定部２６は、スコアが除去閾値未満であるか否かを判定する（Ｓ２０６）。
【０１２７】
除去判定部２６は、スコアが除去閾値未満である場合（Ｓ２０６：Ｙｅｓ）、付着物領域Ａ１２に対応する付着物が除去されたと判定する（Ｓ２０７）。つづいて、フラグ出力部２７は、除去判定部２６から入力される付着物フラグＯＦＦを各種機器５０へ出力し（Ｓ２０８）、処理を終了する。
【０１２８】
一方、ステップＳ２０４において、除去判定部２６は、変動が所定の閾値未満であった場合（Ｓ２０４：Ｎｏ）、フラグ出力部２７は、付着物フラグＯＮを出力し（Ｓ２０９）、処理を終了する。
【０１２９】
また、ステップＳ２０６において、除去判定部２６は、スコアが除去閾値以上であった場合（Ｓ２０６：Ｎｏ）、ステップＳ２０９を実行し、処理を終了する。
【０１３０】
上述してきたように、実施形態に係る付着物検出装置１は、算出部２２と、第１検出部２３と、第２検出部２４と、生成部２５とを備える。算出部２２は、カメラ１０で撮像された撮像画像Ｉに含まれる各画素の輝度に基づき、過去および現在の撮像画像Ｉにおける輝度に関する特徴量の変動を算出する。第１検出部２３は、算出部２２によって算出された変動が所定の閾値範囲内であり、かつ現在の撮像画像Ｉにおける特徴量が所定の閾値範囲内である第１領域Ａ１を検出する。第２検出部２４は、撮像画像Ｉに含まれる各画素の輝度分布の起伏が所定の起伏条件を満たす第２領域Ａ２を検出する。生成部２５は、第１検出部２３によって検出された第１領域Ａ１、および、第２検出部２４によって検出された第２領域Ａ２を合算した合算領域を、カメラ１０に付着した付着物に対応する付着物領域Ａ１２として生成する。これにより、付着物を高精度に検出することができる。
【０１３１】
また、上述した実施形態では、車両に搭載されるカメラで撮像された撮像画像Ｉを用いたが、撮像画像Ｉは、例えば、防犯カメラや、街灯等に設置されたカメラで撮像された撮像画像Ｉであってもよい。つまり、カメラのレンズに付着物が付着する可能性があるカメラで撮像された撮像画像Ｉであればよい。
【０１３２】
さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲およびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。
【符号の説明】
【０１３３】
１    付着物検出装置
２    制御部
３    記憶部
１０    カメラ
１１    車速センサ
２１    取得部
２２    算出部
２３    第１検出部
２４    第２検出部
２５    生成部
２６    除去判定部
２７    フラグ出力部
３１    起伏条件情報
５０    各種機器
１００    分割領域
２００    候補領域
Ａ１    第１領域
Ａ２    第２領域
Ａ１２  付着物領域
Ｒ    単位領域
Ｉ    撮像画像
【図１】
2020108058.tif 000003
【図２】
2020108058.tif 000004
【図３】
2020108058.tif 000005
【図４】
2020108058.tif 000006
【図５】
2020108058.tif 000007
【図６】
2020108058.tif 000008
【図７】
2020108058.tif 000009
【図８】
2020108058.tif 000010
【図９】
2020108058.tif 000011
【図１０】
2020108058.tif 000012
【図１１】
2020108058.tif 000013
【図１２】
2020108058.tif 000014
【図１３】
2020108058.tif 000015
【図１４】
2020108058.tif 000016
【図１５】
2020108058.tif 000017