(57)【要約】【課題】付着物を高精度に検出することができる付着物検出装置および付着物検出方法を提供すること。【解決手段】実施形態に係る付着物検出装置は、抽出部と、選択部と、判定部とを備える。抽出部は、撮像装置で撮像された撮像画像の各画素から検出されるエッジに基づき、撮像装置に付着した付着物に対応する付着物領域の候補領域を抽出する。選択部は、抽出部によって抽出された候補領域のうち、領域サイズおよび輝度要約値が所定の選択条件を満たす候補領域を選択領域として選択する。判定部は、選択部によって選択された選択領域に含まれる画素の輝度分布の起伏に基づいて選択領域が付着物領域であるか否かを判定する。【選択図】図２
2020109541.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置で撮像された撮像画像の各画素から検出されるエッジに基づき、前記撮像装置に付着した付着物に対応する付着物領域の候補領域を抽出する抽出部と、
前記抽出部によって抽出された前記候補領域のうち、領域サイズおよび輝度要約値が所定の選択条件を満たす前記候補領域を選択領域として選択する選択部と、
前記選択部によって選択された前記選択領域に含まれる画素の輝度分布の起伏に基づいて当該選択領域が前記付着物領域であるか否かを判定する判定部と
を備えることを特徴とする付着物検出装置。
【請求項２】
前記判定部は、
前記撮像画像の対象領域における一部の領域である部分領域に含まれる前記選択領域に基づいて判定処理を行うこと
を特徴とする請求項１に記載の付着物検出装置。
【請求項３】
前記判定部は、
前記選択領域における前記輝度分布の起伏変化のパターンが所定の変化パターンを満たす場合に、当該選択領域が前記付着物領域であると判定すること
を特徴とする請求項１または２に記載の付着物検出装置。
【請求項４】
前記判定部は、
前記選択領域のうち、輝度のばらつき量が所定の閾値以上である前記選択領域について、中心領域における前記起伏変化の各変化量が所定の閾値範囲内、かつ、前記選択領域の前記輝度要約値が所定の高輝度閾値以上である場合に、当該選択領域が前記付着物領域であると判定すること
を特徴とする請求項３に記載の付着物検出装置。
【請求項５】
前記判定部は、
前記選択領域の中心領域における前記起伏変化の各変化量が所定の閾値範囲内、かつ、前記選択領域における中心領域および周端領域の輝度差が所定の閾値以上である場合に、当該選択領域が前記付着物領域であると判定すること
を特徴とする請求項３に記載の付着物検出装置。
【請求項６】
前記判定部は、
前記選択領域における前記起伏変化の各変化量が所定の閾値範囲内、かつ、前記選択領域における周端領域から中心領域に向かって輝度が徐々に高くなる場合に、当該選択領域が前記付着物領域であると判定すること
を特徴とする請求項３に記載の付着物検出装置。
【請求項７】
前記選択領域を所定画素数を単位とする単位領域に分割し、前記単位領域毎に輝度の代表値を算出する算出部をさらに備え、
前記判定部は、
前記選択領域における前記代表値の分布の起伏に基づいて当該選択領域が前記付着物領域であるか否かを判定すること
を特徴とする請求項１〜６のいずれか１つに記載の付着物検出装置。
【請求項８】
前記選択領域における画素の輝度を、所定の輝度範囲を単位とする単位輝度に変換する変換部をさらに備え、
前記判定部は、
前記単位輝度の分布の起伏に基づいて当該選択領域が前記付着物領域であるか否かを判定すること
を特徴とする請求項１〜７のいずれか１つに記載の付着物検出装置。
【請求項９】
撮像装置で撮像された撮像画像の各画素から検出されるエッジに基づき、前記撮像装置に付着した付着物に対応する付着物領域の候補領域を抽出する抽出工程と、
前記抽出工程によって抽出された前記候補領域のうち、領域サイズおよび輝度要約値が所定の選択条件を満たす前記候補領域を選択領域として選択する選択工程と、
前記選択工程によって選択された前記選択領域に含まれる画素の輝度分布の起伏に基づいて当該選択領域が前記付着物領域であるか否かを判定する判定工程と
を含むことを特徴とする付着物検出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、付着物検出装置および付着物検出方法に関する。
【背景技術】
【０００２】
従来、撮像画像の領域を分割した分割領域の輝度値の時系列変化に基づいてレンズに付着した付着物を検出する付着物検出装置が知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１４−３０１８８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、付着物には、例えば、融雪剤等のような、外光照射により光反射することで、撮像画像の背景が一時的に見えなくなり、光反射しない場合には、撮像画像の背景が透けて見える付着物がある。このため、融雪剤等のような付着物は、光反射して背景が一時的に見えなくなる場合のみ検知して、光反射しない場合には、検知しないようにすることが望ましい。
【０００５】
しかしながら、従来技術では、融雪剤等のような付着物を高精度に検出する点で改善の余地があった。
【０００６】
本発明は、上記に鑑みてなされたものであって、付着物を高精度に検出することができる付着物検出装置および付着物検出方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上述した課題を解決し、目的を達成するために、本発明に係る付着物検出装置は、抽出部と、選択部と、判定部とを備える。前記抽出部は、撮像装置で撮像された撮像画像の各画素から検出されるエッジに基づき、前記撮像装置に付着した付着物に対応する付着物領域の候補領域を抽出する。前記選択部は、前記抽出部によって抽出された前記候補領域のうち、領域サイズおよび輝度要約値が所定の選択条件を満たす前記候補領域を選択領域として選択する。前記判定部は、前記選択部によって選択された前記選択領域に含まれる画素の輝度分布の起伏に基づいて当該選択領域が前記付着物領域であるか否かを判定する。
【発明の効果】
【０００８】
本発明によれば、付着物を高精度に検出することができる。
【図面の簡単な説明】
【０００９】
【図１】図１は、実施形態に係る付着物検出方法の概要を示す図である。
【図２】図２は、実施形態に係る付着物検出装置の構成を示すブロック図である。
【図３】図３は、輝度分布の抽出対象となる画素列を説明する図である。
【図４】図４は、算出部の処理内容を示す図である。
【図５】図５は、算出部の処理内容を示す図である。
【図６】図６は、判定部による処理内容を示す図である。
【図７】図７は、判定部による処理内容を示す図である。
【図８】図８は、判定部による処理内容を示す図である。
【図９】図９は、判定部による処理内容を示す図である。
【図１０】図１０は、判定部による処理内容を示す図である。
【図１１】図１１は、判定部による処理内容を示す図である。
【図１２】図１２は、実施形態に係る付着物検出装置が実行する付着物の検出処理の処理手順を示すフローチャートである。
【発明を実施するための形態】
【００１０】
以下、添付図面を参照して、本願の開示する付着物検出装置および付着物検出方法の実施形態を詳細に説明する。なお、以下に示す実施形態により本発明が限定されるものではない。
【００１１】
まず、図１を用いて、実施形態に係る付着物検出方法の概要について説明する。図１は、実施形態に係る付着物検出方法の概要を示す図である。なお、図１には、例えば、付着物である融雪剤が付着した状態で撮像された撮像画像Ｉを示している。また、図１に示す撮像画像Ｉでは、外光照射により融雪剤が光反射することで、融雪剤の領域では背景が見えない場合を示している。
【００１２】
ところで、例えば、融雪剤等のような付着物では、外光照射により光反射することから、融雪剤の領域が高輝度となることで撮像画像の背景が一時的に見えなくなり、光反射しない場合には、融雪剤の領域が低輝度となることで撮像画像の背景が透けて見える場合がある。このため、融雪剤等のような付着物は、光反射して背景が一時的に見えなくなる場合のみ検知して、光反射しない場合には、検知しないようにすることが望ましい。しかしながら、従来技術では、融雪剤等のような付着物を高精度に検出する点で改善の余地があった。
【００１３】
そこで、実施形態に係る付着物検出装置１（図２参照）は、付着物検出方法を実行することで、カメラのレンズに付着した融雪剤等の付着物を高精度に検出する。なお、付着物は、融雪剤に限定されず、光反射により一時的に背景が見えなくなる付着物であればよい。
【００１４】
具体的には、まず、実施形態に係る付着物検出方法では、カメラで撮像された撮像画像Ｉの各画素から検出されるエッジに基づき、カメラに付着した付着物に対応する付着物領域の候補となる候補領域１００を抽出する（Ｓ１）。実施形態に係る付着物検出方法では、例えば、パターンマッチング等のマッチング処理により、円形状の輪郭を含む矩形状の領域を候補領域１００として抽出する。
【００１５】
つづいて、実施形態に係る付着物検出方法では、抽出した候補領域１００のうち、領域サイズおよび輝度要約値が所定の選択条件を満たす候補領域１００を選択領域２００として選択する（Ｓ２）。ここで輝度要約値とは、所定領域内の輝度の統計的分布を代表する値である。例えば平均値、中央値、最頻値などの輝度値の統計的分布に対する統計要約量である。本実施例では以下、平均値を例として説明を行う。例えば、実施形態に係る付着物検出方法では、領域サイズが所定の閾値未満で、輝度平均が所定の閾値以上である候補領域１００を選択条件を満たす選択領域２００として選択する。換言すれば、雨滴の領域サイズよりも小さく、雨滴の領域の輝度平均よりも高い候補領域１００を選択領域２００として選択する。
【００１６】
つづいて、実施形態に係る付着物検出方法では、選択した選択領域２００に含まれる画素の輝度分布の起伏に基づいて候補領域１００が付着物領域であるか否かを判定する（Ｓ３）。なお、ここで言う画素の輝度分布とは、対象となる画像における、所定の方向に沿った輝度の変化の形状のことを言う。例えば、画像中の所定の座標（ｘ０、ｙ０）を原点とし、水平方向ｘにおける画素の輝度をＬ（ｘ）とした場合、ｘ−Ｌ（ｘ）のグラフが描く形状のことを、（ｘ０、ｙ０）を原点とした水平方向における画素の輝度分布という。なおｘ０、ｙ０は任意に設定でき、方向も垂直方向含め任意の角度の方向として設定できる。
【００１７】
図１の中段には、融雪剤が光反射した状態の付着物領域における輝度分布を示す。具体的には、かかる輝度分布は、付着物領域における中心領域の輝度が周端領域の輝度よりも高く、かつ、中心領域の輝度が全体的に一様となっている。つまり、融雪剤が光反射した場合、付着物領域は、中心領域の輝度分布の起伏が平坦となる傾向にある。
【００１８】
なお、図１に示す輝度分布のグラフは、候補領域１００の水平方向に並ぶ一の画素列の輝度分布であり、各「位置」に対応する棒グラフの各輝度データは、画素列を所定画素数毎に分割した単位領域における輝度の代表値である。なお、単位領域や、代表値の算出等については、後述する。
【００１９】
このような傾向に着目して、実施形態に係る付着物検出方法では、選択領域２００における輝度分布の起伏が、予め設定された付着物の輝度分布の起伏と類似する場合に、選択領域２００が融雪剤等の付着物領域であると判定する。一方、融雪剤が光反射していない場合、背景が透けて見えることで、輝度分布の起伏が平坦にならないため、実施形態に係る付着物検出方法では、光反射していない融雪剤については検知しない。
【００２０】
これにより、実施形態に係る付着物検出方法では、融雪剤等のような付着物については、光反射して背景が一時的に見えなくなる場合のみ検知して、光反射しない場合には、検知しないようにできる。すなわち、実施形態に係る付着物検出方法では、付着物を高精度に検出することができる。
【００２１】
なお、実施形態に係る付着物検出方法では、輝度分布における起伏変化の変化量に基づいて付着物領域の判定をすることができるが、かかる点については後述する。なお、起伏変化とは、対象となる画像における、所定の方向に沿った輝度の変化量の形状のことを言う。輝度の変化量とは具体的には微分値や差分値である。
【００２２】
次に、図２を用いて、実施形態に係る付着物検出装置１の構成について説明する。図２は、実施形態に係る付着物検出装置１の構成を示すブロック図である。図２に示すように、実施形態に係る付着物検出装置１は、カメラ１０と、各種機器５０とに接続される。なお、図２では、付着物検出装置１は、カメラ１０と、各種機器５０とは別体で構成される場合を示したが、これに限らず、カメラ１０および各種機器５０の少なくとも一方と一体で構成されてもよい。
【００２３】
カメラ１０は、たとえば、魚眼レンズ等のレンズと、ＣＣＤ（Charge  Coupled  Device）やＣＭＯＳ（Complementary  Metal  Oxide  Semiconductor）などの撮像素子とを備えた車載カメラである。カメラ１０は、例えば、車両の前後方、側方の様子を撮像可能な位置にそれぞれ設けられ、撮像された撮像画像Ｉを付着物検出装置１へ出力する。
【００２４】
各種機器５０は、付着物検出装置１の検出結果を取得して、車両の各種制御を行う機器である。各種機器５０は、例えば、カメラ１０のレンズに付着物が付着していることや、ユーザによる付着物の拭き取り指示を通知する表示装置や、流体や気体等をレンズに向かって噴射して付着物を除去する除去装置、自動運転等を制御する車両制御装置を含む。
【００２５】
図２に示すように、実施形態に係る付着物検出装置１は、制御部２と、記憶部３とを備える。制御部２は、画像取得部２１と、抽出部２２と、選択部２３と、算出部２４と、変換部２５と、判定部２６とを備える。記憶部３は、起伏条件情報３１を記憶する。
【００２６】
ここで、付着物検出装置１は、たとえば、ＣＰＵ（Central  Processing  Unit）、ＲＯＭ（Read  Only  Memory）、ＲＡＭ（Random  Access  Memory）、データフラッシュ、入出力ポートなどを有するコンピュータや各種の回路を含む。
【００２７】
コンピュータのＣＰＵは、たとえば、ＲＯＭに記憶されたプログラムを読み出して実行することによって、制御部２の画像取得部２１、抽出部２２、選択部２３、算出部２４、変換部２５および判定部２６として機能する。
【００２８】
また、制御部２の画像取得部２１、抽出部２２、選択部２３、算出部２４、変換部２５および判定部２６の少なくともいずれか一つまたは全部をＡＳＩＣ（Application  Specific  Integrated  Circuit）やＦＰＧＡ（Field  Programmable  Gate  Array）等のハードウェアで構成することもできる。
【００２９】
また、記憶部３は、たとえば、ＲＡＭやデータフラッシュに対応する。ＲＡＭやデータフラッシュは、起伏条件情報３１や、各種プログラムの情報等を記憶することができる。なお、付着物検出装置１は、有線や無線のネットワークで接続された他のコンピュータや可搬型記録媒体を介して上記したプログラムや各種情報を取得することとしてもよい。
【００３０】
記憶部３に記憶された起伏条件情報３１は、後述の判定部２６による判定処理の基準となる条件を含む情報であり、例えば、輝度分布の起伏のパターン条件を含む。なお、パターン条件とは、輝度分布をマップ化した場合の起伏の形状パターンや、輝度分布における輝度のデータ列のパターン等である。なお、起伏条件情報３１を用いた判定処理については後述する。
【００３１】
制御部２は、カメラ１０から取得した撮像画像Ｉの各画素から検出されるエッジに基づき、付着物領域の候補領域１００を抽出し、抽出した候補領域１００のうち所定の選択条件を満たす候補領域１００を選択領域２００として選択する。また、制御部２は、選択した選択領域２００に含まれる画素の輝度分布の起伏に基づいて選択領域２００が付着物領域であるか否かを判定する。
【００３２】
画像取得部２１は、カメラ１０で撮像された画像を取得し、現在の撮像画像Ｉである現在フレームを生成（取得）する。具体的には、画像取得部２１は、取得した画像における各画素を輝度に応じて白から黒までの各階調に変換するグレースケール化処理を行う。
【００３３】
また、画像取得部２１は、取得した画像に画素の間引き処理を行い、取得した画像よりもサイズが小さい画像を生成する。また、画像取得部２１は、間引き処理を施した画像に基づいて、各画素における画素値の和および二乗和の積分画像である現在フレームを生成する。なお、画素値とは、画素の輝度やエッジに対応する情報である。
【００３４】
このように、付着物検出装置は、取得した画像に対して間引き処理を行い、積分画像を生成することで、後段における処理の計算を高速化できるため、付着物を検出するための処理時間を短くすることができる。
【００３５】
なお、画像取得部２１は、各画素について、平均化フィルタなどの平滑化フィルタを用いて平滑化処理を行ってもよい。また、取得部は、間引き処理を行わず、取得した画像と同じサイズの現在フレームを生成してもよい。
【００３６】
抽出部２２は、画像取得部２１から取得した撮像画像Ｉの中から付着物領域の候補領域１００を抽出する。具体的には、まず、抽出部２２は、撮像画像Ｉにおける各画素の輝度およびエッジ情報を抽出する。各画素の輝度は、例えば、０〜２５５のパラメータで表現される。
【００３７】
また、抽出部２２は、各画素の輝度に基づいてエッジ検出処理を行って、各画素について、Ｘ軸方向（撮像画像Ｉの左右方向）のエッジと、Ｙ軸方向（撮像画像Ｉの上下方向）のエッジとを検出する。エッジ検出処理には、例えば、Ｓｏｂｅｌフィルタや、Ｐｒｅｗｉｔｔフィルタ等の任意のエッジ検出フィルタを用いることができる。そして、抽出部２２は、Ｘ軸方向のエッジと、Ｙ軸方向のエッジとに基づき、三角関数を用いることで、画素のエッジ角度およびエッジ強度の情報を含むベクトルをエッジ情報として検出する。具体的には、エッジ角度は、ベクトルの向きによって表現され、エッジ強度は、ベクトルの長さによって表現される。
【００３８】
そして、抽出部２２は、予め作成された付着物の輪郭を示すテンプレート情報と、検出したエッジ情報とのマッチング処理（テンプレートマッチング）を行い、テンプレート情報と類似するエッジ情報を抽出する。そして、抽出部２２は、抽出したエッジ情報の領域、すなわち、付着物の輪郭を含む矩形状の領域である候補領域１００を抽出する。
【００３９】
選択部２３は、抽出部２２によって抽出された候補領域１００のうち、領域サイズおよび輝度平均が所定の選択条件を満たす候補領域１００を選択領域２００として選択する。
例えば、選択部２３は、候補領域１００の領域サイズが所定の閾値（例えば、８０画素）未満で、輝度平均が所定の閾値（例えば、１００）以上である候補領域１００を選択領域２００として選択する。
【００４０】
より具体的には、選択部２３は、雨滴とは区別可能な領域サイズおよび輝度平均の閾値を含む選択条件により選択領域２００を選択する。すなわち、選択部２３は、融雪剤が雨滴よりも領域サイズが小さく、輝度平均が高いことを利用して選択領域２００を選択する。なお、雨滴と区別可能な閾値は、予め実験等によって設定可能である。これにより、融雪剤等の一時的に背景を見えなくする付着物と、雨滴等の常時背景を見えなくする付着物とを切り分けることができる。
【００４１】
つづいて、選択部２３は、選択した選択領域２００における所定の画素列の輝度分布を抽出する。図３は、輝度分布の抽出対象となる画素列を説明する図である。図３に示すように、選択部２３は、撮像画像Ｉにおける水平方向の３列の画素列Ｈ１〜Ｈ３と、垂直方向の３列の画素列Ｖ１〜Ｖ３とについて、輝度分布を抽出する。
【００４２】
なお、抽出する画素列は、水平方向、または、垂直方向のいずれか一方の画素列であってもよい。また、抽出する画素列の列数は、３列に限らず、２列以下や、４列以上であってもよい。
【００４３】
図２に戻って算出部２４について説明する。算出部２４は、選択部２３によって選択された選択領域２００を所定画素数を単位とする単位領域に分割し、単位領域毎に輝度の代表値を算出する。なお、算出部２４による代表値の算出方法については、図４および図５を用いて後述する。
【００４４】
変換部２５は、選択領域２００における画素の輝度を、所定の輝度範囲を単位とする単位輝度に変換する。例えば、変換部２５は、輝度を示す０〜２５５のパラメータを所定数毎に区切った単位輝度に変換する。なお、上述の算出部２４によって算出される輝度の代表値は、変換部２５によって変換された単位輝度で表現可能である。かかる点について、図４および図５を用いて説明する。
【００４５】
図４および図５は、算出部２４の処理内容を示す図である。まず、図４を用いて、算出部２４による単位領域の設定方法について説明する。図４では、水平方向における一の画素列Ｈの輝度分布を示す。
【００４６】
図４に示すように、算出部２４は、水平方向における画素列を、例えば８個の単位領域Ｒ１〜Ｒ８（まとめて単位領域Ｒと記載する場合がある）に分割する。なお、単位領域Ｒ１〜Ｒ８の各幅（画素数）は、同じ（すなわち、画素列を均等割りした画素数）であってもよく、それぞれ異なってもよい。
【００４７】
また、単位領域Ｒの分割数は、任意に設定可能である。なお、単位領域Ｒの分割数は、撮像画像Ｉから選択される選択領域２００のサイズに関わらず、すべて同じ数（図４では８個）であることが好ましい。これにより、選択される選択領域２００のサイズが様々であっても、単位領域Ｒの数を揃えることで、統一した情報となるため、後段の判定処理等の処理負荷を抑えることができる。
【００４８】
次に、図５に示すように、算出部２４は、単位領域Ｒ毎に輝度の代表値を算出する。図５の上段に示すように、変換部２５は、算出部２４による代表値の算出処理に先立って、各画素の輝度値（例えば、０〜２５５）を単位輝度へ変換する。具体的には、図５では、０〜２５５を８個の単位輝度に均等に分割する。図５の中段に示す「０」〜「７」である。この場合、輝度値の幅が３２単位で分割される。例えば「０」の単位輝度は輝度値で０〜３１に対応し、「１」の単位輝度は輝度値で３２〜６３に対応する。つまり、単位輝度への変換は、輝度の分割数を減らす処理である。これにより、輝度分布の輝度を所望の単位輝度の数まで減らすことができるため、後段の処理負荷を軽減できる。なお、輝度から単位輝度への変換において、その分割数ならびに分割幅は、任意に設定可能である。上記のように均等幅でなくてもよい。
【００４９】
そして、算出部２４は、単位領域Ｒ１〜Ｒ８毎に単位輝度のヒストグラムを作成する。図５の中段では、階級を単位輝度「０」〜「７」とし、度数を画素数とする一の単位領域Ｒ１のヒストグラムを示す。
【００５０】
そして、図５の下段に示すように、算出部２４は、作成したヒストグラムに基づいて一の単位領域Ｒ１の輝度の代表値を算出する。例えば、算出部２４は、ヒストグラムにおける最頻値の階級（図５では、「３」）の単位輝度を、単位領域Ｒ１における輝度の代表値として算出する。これにより、輝度分布のデータ数を画素数から単位領域Ｒの数に減らすことができるため、後段の処理負荷を軽減できる。
【００５１】
なお、算出部２４は、最頻値の単位輝度を代表値としたが、これに限らず、例えば、ヒストグラムにおける中央値や平均値等であってもよい。
【００５２】
また、算出部２４は、ヒストグラムに基づいて代表値を算出したが、算出方法は、これに限らず、例えば、単位領域Ｒにおける輝度値の平均値を算出し、かかる平均値に対応する単位輝度を輝度の代表値としてもよい。
【００５３】
また、算出部２４は、単位輝度を代表値としたが、例えば、単位領域Ｒにおける輝度値の平均値等をそのまま代表値としてもよい。つまり、代表値は、単位輝度で表現されもよく、輝度値で表現されてもよい。
【００５４】
判定部２６は、選択領域２００に含まれる画素の輝度分布の起伏に基づいて選択領域２００が付着物領域である否かを判定する。ここで、図６〜図１１を用いて、判定部２６による判定処理について説明する。
【００５５】
図６〜図１１は、判定部２６による処理内容を示す図である。
【００５６】
図６の上段には、一の選択領域２００における輝度分布を示しており、単位領域Ｒ１〜Ｒ８毎の代表値を棒グラフに中抜きで示している。
【００５７】
まず、図６の上段に示すように、判定部２６は、隣接する単位領域Ｒ１〜Ｒ８の単位輝度の変化量Ｄ１〜Ｄ７を算出する。具体的には隣接する単位領域間で、それぞれの単位輝度の差分をとり、変化量とする。すなわち隣接する単位領域間でどの程度輝度に変化が生じたかを変化量として算出する。なお、ここでは単純に差分としたが方法はこれに限らない。例えば各種の補完方法によって輝度分布を表す連続関数を生成し、その微分値を変化量として算出してもよい。なお、図６の下段には、変化量Ｄ１〜Ｄ７の各値が入力されたテーブル（上側テーブル）を示している。
【００５８】
そして、判定部２６は、輝度分布の起伏変化のパターンが所定の変化パターンを満たす場合に、選択領域２００が付着物領域であると判定する。具体的には、判定部２６は、変化量Ｄ１〜Ｄ７の各値と、記憶部３に記憶された起伏条件情報３１とを比較して判定処理を行う。
【００５９】
図６の下段には、起伏条件情報３１の一例として、変化量Ｄ１〜Ｄ７それぞれの閾値範囲を含むテーブルを示す（下側テーブル）。判定部２６は、選択領域２００における変化量Ｄ１〜Ｄ７それぞれが、起伏条件情報３１で設定された変化量Ｄ１〜Ｄ７それぞれの閾値範囲に収まる場合に、候補領域１００が付着物領域であると判定する。
【００６０】
換言すれば、判定部２６は、隣接する単位領域Ｒ１〜Ｒ８の単位輝度の変化量Ｄ１〜Ｄ７のパターンが、起伏条件情報３１で設定された閾値範囲である変化パターンを満たす場合に、付着物領域であると判定する。
【００６１】
なお、図６に示す起伏条件情報３１において、変化量Ｄ１および変化量Ｄ７については、閾値範囲が設定されていない。これは、変化量Ｄ１および変化量Ｄ７が任意の値であってよいことを示しており、すなわち、判定部２６は、変化量Ｄ２〜Ｄ６の閾値範囲のみを満たせば、選択領域２００を付着物領域と判定する。なお、起伏条件情報３１における閾値範囲のパターンは、大別して３種類含むが、３種類の閾値範囲のパターンについては、図８〜図１０で後述する。
【００６２】
これにより、判定部２６は、変化量Ｄ１〜Ｄ７を用いることで、輝度値の大小を無視できるため、輝度値の大小による誤判定を減らすことができる。さらに、輝度値毎に判定条件を設定する必要がないため、条件を記憶するための記憶容量を削減でき、かつ、輝度値毎に判定処理を行う必要がないため、処理量を減らすことができる。
【００６３】
また、起伏条件情報３１において変化量Ｄ１〜Ｄ７の最大および最小を設定して幅をもたせることで、付着物の形状がくずれたとしても付着物領域として検出することができる。すなわち、付着物の形状が異なる場合であっても付着物領域として高精度に検出することができる。
【００６４】
なお、図６では、起伏条件情報３１について、変化量Ｄ２〜Ｄ６の５個の変化量について閾値範囲を設定した場合を示したが、変化量Ｄ１〜Ｄ７のうち、６個以上、または、４個以下の変化量について閾値範囲を設定してもよい。つまり、検出する付着物のサイズに合わせて閾値範囲を設定する変化量の数を変更してもよい。
【００６５】
また、図６では、判定部２６は、起伏条件情報３１の閾値範囲に含まれるか否かで判定を行う場合を示したが、例えば、変化量Ｄ１〜Ｄ７の閾値範囲に基づいて輝度分布の起伏がマップ化された起伏条件情報３１に基づいて判定処理を行ってもよい。かかる点について、図７を用いて説明する。
【００６６】
図７の上段では、輝度分布の起伏変化の変化量の閾値範囲を示しており、図７の下段には、図７の上段に示す変化量Ｄ１〜Ｄ４の閾値範囲がマップ化された起伏条件情報３１を示している。具体的には、横軸を単位領域Ｒ１〜Ｒ８の位置とし、縦軸を相対輝度としたマップを示している。なお、かかるマップは、予め生成される。
【００６７】
例えば、変化量Ｄ１は、＋１〜＋２の閾値範囲であるため、単位領域Ｒ１には相対輝度の所定位置の２マスを閾値として設定する。そして、単位領域Ｒ２は、変化量Ｄ１の閾値範囲を満たす位置の１マスを閾値として設定する。つづいて、変化量Ｄ２は、値が＋１であるため、単位領域Ｒ２に設定されたマスから１つ上がった単位領域Ｒ３のマスを閾値として設定する。つづいて、変化量Ｄ３は、値が−１であるため、単位領域Ｒ３に設定されたマスから１つ下がった単位領域Ｒ４のマスを閾値として設定する。つづいて、変化量Ｄ４は、−２〜−１の閾値範囲であるため、単位領域Ｒ４に設定されたマスから１つ、および、２つ下がった単位領域Ｒ５の２つのマスを閾値として設定する。これにより、起伏条件情報３１のマップが完成する。
【００６８】
つまり、起伏条件情報３１におけるマップは、変化量Ｄ１〜Ｄ４に基づく単位領域Ｒ１〜Ｒ５における単位輝度の起伏形状を表現した情報である。なお、単位領域Ｒ６〜Ｒ８については、変化量Ｄ５〜Ｄ７の閾値範囲が設定されていないため、検出される輝度が任意でよい。
【００６９】
判定部２６は、上記の同様の手法により、選択された選択領域２００における単位領域Ｒ１〜Ｒ８の変化量Ｄ１〜Ｄ７に基づいてマップを作成し、起伏条件情報３１における上記のマップとのマッチング処理を行い、双方のマップが一致する場合に、付着物領域と判定する。
【００７０】
ここで、図８〜図１０を用いて、起伏条件情報３１の具体例について説明する。図８では、高輝度融雪剤の起伏条件情報３１を示し、図９では、中輝度融雪剤の起伏条件情報３１を示し、図１０では、低輝度融雪剤の起伏条件情報３１を示す。つまり、判定部２６は、融雪剤の輝度毎に設定された閾値範囲のいずれか満たす場合に、選択領域２００を付着部領域と判定する。
【００７１】
まず、図８を用いて、高輝度融雪剤の判定処理について説明する。図８には、高輝度融雪剤の領域を含む選択領域２００を示している。図８に示すように、高輝度融雪剤の領域とは、光反射により融雪剤が明るく反射することで、融雪剤の領域の輝度上昇に伴って周辺領域も輝度が上昇する付着物領域である。つまり、高輝度融雪剤の場合、選択領域２００の領域全体の輝度が比較的高くなる。
【００７２】
判定部２６は、かかる輝度の特性に基づいて判定処理を行う。具体的には、判定部２６は、選択領域２００のうち、輝度のばらつき量が所定の閾値（例えば、１０）以上である選択領域２００を選択する。ここでばらつき量とは、所定領域内の輝度の分布の広がりを示す値である。例えば標準偏差、分散、最大―最小幅、四分位幅、任意のパーセンタイル幅などの輝度の分布に対する統計要約量である。本実施例では標準偏差を用いることを例として説明するが、これに限られるものではない。これにより、領域全体が白飛びした選択領域２００を除外できる。
【００７３】
つづいて、判定部２６は、選択した選択領域２００の中心領域における起伏変化の各変化量が所定の閾値範囲内、かつ、選択領域２００の輝度平均が所定の高輝度閾値（例えば、２００）以上である場合に、選択領域２００が付着物領域であると判定する。
【００７４】
図８に示す例では、起伏条件情報３１について、単位領域Ｒ２〜Ｒ７の相対輝度が所定値以上（高輝度閾値以上に相当）で、単位領域Ｒ２〜Ｒ７の輝度分布の起伏が平坦（変化量が所定の閾値範囲内に相当）となるマップが設定されている。
【００７５】
つまり、判定部２６は、起伏条件情報３１に基づいて選択領域２００から得られる単位領域Ｒ２〜Ｒ７の輝度分布の起伏が平坦であるか否かを判定し、単位領域Ｒ２〜Ｒ７の輝度分布の起伏が平坦である場合に、選択領域２００が高輝度融雪剤の付着物領域であると判定する。
【００７６】
つまり、判定部２６は、融雪剤の領域全体が明るく光ることで、選択領域２００全体の輝度が高輝度となる高輝度融雪剤の特性に基づいて付着物領域の判定を行う。これにより、高輝度融雪剤の付着物領域を高精度に検出することができる。
【００７７】
なお、図８では、起伏条件情報３１において、６個の単位領域Ｒ２〜Ｒ７の起伏が平坦である条件を示したが、起伏条件情報３１において、５個以下の単位領域の起伏が平坦である条件であってもよい。
【００７８】
次に、図９を用いて、中輝度融雪剤の判定処理について説明する。図９には、中輝度融雪剤の領域を含む選択領域２００を示している。図９に示すように、中輝度融雪剤の領域とは、上述した高輝度融雪剤と、後述する低輝度融雪剤との中間の輝度の特性を示す領域である。具体的には、中輝度融雪剤は、高輝度融雪剤のように融雪剤の領域が明るく光る一方で、周辺領域については輝度があまり上昇しない付着物領域である。つまり、中輝度融雪剤の場合、選択領域２００において、融雪剤の領域と融雪剤以外の領域との輝度差が比較的大きくなる。
【００７９】
そこで、判定部２６は、選択領域２００の中心領域における起伏変化の各変化量が所定の閾値範囲内、かつ、選択領域２００における中心領域および周端領域の輝度差が所定の閾値以上である場合に、選択領域２００が中輝度融雪剤の付着物領域であると判定する。
【００８０】
図９に示す例では、起伏条件情報３１について、単位領域Ｒ３〜Ｒ８のうち、単位領域Ｒ３〜Ｒ７の輝度分布の起伏が平坦で、単位領域Ｒ７および単位領域Ｒ８の輝度差が所定の閾値以上となるマップが設定されている。
【００８１】
つまり、判定部２６は、起伏条件情報３１に基づいて選択領域２００から得られる単位領域Ｒ３〜Ｒ７の輝度分布の起伏が平坦で、かつ、単位領域Ｒ８の輝度が急激に低下しているか否か判定し、単位領域Ｒ２〜Ｒ８の輝度分布の起伏に合致した場合に、選択領域２００が中輝度融雪剤の付着物領域であると判定する。
【００８２】
つまり、判定部２６は、融雪剤の領域に対応する中心領域が明るく光り、かつ、周端領域が背景の影響により暗くなる中輝度融雪剤の特性に基づいて判定処理を行う。これにより、中輝度融雪剤の付着物領域を高精度に検出することができる。
【００８３】
なお、図９では、単位領域Ｒ８の輝度が急激に低下する場合の起伏条件情報３１について示したが、単位領域Ｒ１の輝度が急激に低下する場合の起伏条件情報３１や、単位領域Ｒ１および単位領域Ｒ８の双方の輝度が急激に低下する場合の起伏条件情報３１を別途含んでもよい。
【００８４】
次に、図１０を用いて、低輝度融雪剤の判定処理について説明する。図１０には、低輝度融雪剤の領域を含む選択領域２００を示している。図１０に示すように、低輝度融雪剤の領域とは、融雪剤の光反射の影響よりも背景の影響が輝度に反映される特性を示す領域である。具体的には、低輝度融雪剤は、融雪剤の領域である中心領域が薄っすら白く光反射する一方で、周辺領域については背景の影響で輝度がほとんど上昇しない付着物領域である。つまり、低輝度融雪剤の場合、選択領域２００の領域全体の輝度が比較的低くなる。
【００８５】
そこで、判定部２６は、選択領域２００における輝度分布の起伏変化の各変化量が所定の閾値範囲内、かつ、選択領域２００における周端領域から中心領域に向かって輝度が乗除に高くなる場合に、選択領域２００が付着物領域であると判定する。
【００８６】
図１０に示す例では、起伏条件情報３１について、単位領域Ｒ２〜Ｒ７それぞれの変化量が２（絶対値）以下であり、中心領域である単位領域Ｒ４，Ｒ５に向かって輝度が徐々に高くなるマップが設定されている。
【００８７】
つまり、判定部２６は、起伏条件情報３１に基づいて選択領域２００から得られる単位領域Ｒ２〜Ｒ７の輝度分布の起伏変化の変化量が２以下で、かつ、単位領域Ｒ４，Ｒ５に向かって輝度が徐々に上昇している場合に、選択領域２００が低輝度融雪剤の付着物領域であると判定する。
【００８８】
つまり、判定部２６は、融雪剤の領域に対応する中心領域に向かって輝度が緩やかに変化する低輝度融雪剤の特性に基づいて判定処理を行う。これにより、低輝度融雪剤の付着物領域を高精度に検出することができる。
【００８９】
なお、図１０では、起伏条件情報３１において、６個の単位領域Ｒ２〜Ｒ７の起伏変化が設定される場合を示したが、５個以下、または、７個の単位領域の起伏変化が設定されてもよい。
【００９０】
次に、判定部２６は、撮像画像Ｉの所定の領域に対する付着物領域の占有率を算出し、占有率に基づいて各種機器５０へ付着物フラグを出力する。かかる点について、図１１を用いて説明する。
【００９１】
図１１では、撮像画像Ｉに設定される対象領域３００を示している。かかる対象領域３００は、撮像画像Ｉに対して予め設定された領域であり、レンズに付着物が付着した場合に、撮像画像Ｉを用いた処理、例えば、駐車枠の検出処理や、自動駐車処理などを正確に実行することができなくなる領域である。対象領域３００は、例えば矩形領域である。
【００９２】
図１１の上段に示すように、判定部２６は、対象領域３００における一部の領域である部分領域３１０に含まれる選択領域２００に基づいて判定処理を行う。部分領域３１０は、例えば、対象領域３００の上側の領域である。これは、照明がカメラよりも上側に存在することで、対象領域３００の上側が光反射する付着物の影響を受けやすいためである。なお、部分領域３１０の位置は、カメラの取付位置や、車体の高さ等に合わせて適切な位置に設定可能である。
【００９３】
判定部２６は、部分領域３１０に対して付着物領域が占める割合である占有率を算出し、かかる占有率が所定の閾値（例えば、４０％）以上であるか否かを判定する。そして、判定部２６は、部分領域３１０における占有率が所定の閾値以上である場合、図１１の中段に示すように、対象領域３００に対して付着物領域が占める割合である占有率を算出し、かかる占有率が所定の閾値（例えば、４０％）以上であるか否かを判定する。
【００９４】
つまり、判定部２６は、光反射する付着物の影響を受けやすい部分領域３１０で予備判定を行い、予備判定で占有率が閾値以上となった場合にのみ、対象領域３００で占有率の判定処理を行う。これにより、光反射する付着物を高精度に検出することができる。
【００９５】
そして、判定部２６は、対象領域３００における占有率が所定の閾値以上である場合、付着物が付着していることを示す付着物フラグＯＮを各種機器５０へ出力する。
【００９６】
一方、判定部２６は、対象領域３００における占有率が所定の閾値未満である場合、付着物が付着していないことを示す付着物フラグＯＦＦを各種機器５０へ出力する。なお、部分領域３１０における占有率が閾値以上、かつ、対象領域３００における占有率が閾値未満の状態とは、部分領域３１０の下側の領域が光反射する付着物の影響をほとんど受けずに背景が見えていることを示している。また、かかる部分領域３１０の下側の領域は、各種機器５０の制御処理に必要となる領域である。
【００９７】
つまり、判定部２６は、光反射する付着物が部分領域３１０に付着していたとしても、かかる下側の領域の背景が見えている場合には、各種機器５０の制御処理には影響がないとして付着物フラグＯＦＦを出力する。
【００９８】
これにより、各種機器５０の制御処理に使える状態の撮像画像Ｉについて付着物フラグＯＦＦとなることを減らすことができるため、各種機器５０における制御処理が途切れることを減らすことができる。
【００９９】
なお、付着物フラグＯＮかＯＦＦかの情報は、現フレームの撮像画像Ｉが各種機器５０によって使用可能であるか否かの有効性を示す情報であり、あるいは、撮像画像Ｉを用いた各種機器５０の制御の信頼性を示す情報である。このため、判定部２６は、付着物フラグの情報に代えて、撮像画像Ｉの有効性や信頼性を示す情報を各種機器５０へ出力してもよい。
【０１００】
また、図１１では、判定部２６は、部分領域３１０および対象領域３００それぞれについて占有率の判定処理を行ったが、部分領域３１０のみ、もしくは、対象領域３００のみについて占有率の判定処理を行ってもよい。また、部分領域３１０は、１つに限らず、複数であってもよい。
【０１０１】
次に、図１２を用いて、実施形態に係る付着物検出装置１が実行する処理の処理手順について説明する。図１２は、実施形態に係る付着物検出装置１が実行する付着物の検出処理の処理手順を示すフローチャートである。
【０１０２】
図１２に示すように、まず、画像取得部２１は、カメラ１０で撮像された画像を取得し、取得した画像に対してグレースケール化処理および間引き処理した後、縮小した画像の画素値に基づいて生成した積分画像を撮像画像Ｉとして取得する（Ｓ１０１）。
【０１０３】
つづいて、抽出部２２は、画像取得部２１が取得した撮像画像Ｉの各画素から検出されるエッジに基づき、カメラ１０に付着した付着物に対応する付着物領域の候補領域１００を抽出する（Ｓ１０２）。
【０１０４】
また、抽出部２２は、候補領域１００の輝度およびエッジの情報を抽出する（Ｓ１０３）。つづいて、選択部２３は、抽出部２２によって抽出された候補領域１００のうち、領域サイズおよび輝度平均が所定の選択条件を満たす候補領域１００を選択領域２００として選択する（Ｓ１０４）。
【０１０５】
つづいて、変換部２５は、選択領域２００における画素の輝度を、所定の輝度範囲を単位とする単位輝度に変換する（Ｓ１０５）。
【０１０６】
つづいて、算出部２４は、選択領域２００を所定数の単位領域Ｒに分割し、単位領域Ｒ毎に輝度の代表値を算出する（Ｓ１０６）。つづいて、判定部２６は、選択領域２００における各単位領域Ｒの代表値の起伏変化の変化量を算出する（Ｓ１０７）。
【０１０７】
つづいて、判定部２６は、選択領域２００における起伏変化の変化量に基づいて選択領域２００が付着物領域であるか否かの判定処理を行う（Ｓ１０８）。
【０１０８】
つづいて、判定部２６は、判定処理の結果に基づいて、部分領域３１０に対する付着物領域が占める割合である占有率が所定の閾値以上であるか否かを判定する（Ｓ１０９）。判定部２６は、部分領域３１０における占有率が所定の閾値以上である場合（Ｓ１０９：Ｙｅｓ）、対象領域３００に対する付着物領域が占める割合である占有率が所定の閾値以上であるか否かを判定する（Ｓ１１０）。
【０１０９】
判定部２６は、対象領域３００における占有率が所定の閾値以上である場合（Ｓ１１０：Ｙｅｓ）、付着物フラグＯＮを出力し（Ｓ１１１）、処理を終了する。
【０１１０】
一方、判定部２６は、対象領域３００における占有率が所定の閾値未満である場合（Ｓ１１０：Ｎｏ）、付着物フラグＯＦＦを出力し（Ｓ１１２）、処理を終了する。
【０１１１】
また、ステップＳ１０９において、判定部２６は、部分領域３１０における占有率が所定の閾値未満である場合（Ｓ１０９：Ｎｏ）、付着物フラグＯＦＦを出力し（Ｓ１１２）、処理を終了する。
【０１１２】
上述してきたように、実施形態に係る付着物検出装置１は、抽出部２２と、選択部２３と、判定部２６とを備える。抽出部２２は、カメラ１０で撮像された撮像画像Ｉの各画素から検出されるエッジに基づき、カメラに付着した付着物に対応する付着物領域の候補領域１００を抽出する。選択部２３は、抽出部２２によって抽出された候補領域１００のうち、領域サイズおよび輝度平均が所定の選択条件を満たす候補領域１００を選択領域２００として選択する。判定部２６は、選択部２３によって選択された選択領域２００に含まれる画素の輝度分布の起伏に基づいて選択領域２００が付着物領域であるか否かを判定する。これにより、付着物を高精度に検出することができる。
【０１１３】
また、上述した実施形態では、車両に搭載されるカメラで撮像された撮像画像Ｉを用いたが、撮像画像Ｉは、例えば、防犯カメラや、街灯等に設置されたカメラで撮像された撮像画像Ｉであってもよい。つまり、カメラのレンズに付着物が付着する可能性があるカメラで撮像された撮像画像Ｉであればよい。
【０１１４】
さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲およびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。
【符号の説明】
【０１１５】
１    付着物検出装置
２    制御部
３    記憶部
１０    カメラ
２１    画像取得部
２２    抽出部
２３    選択部
２４    算出部
２５    変換部
２６    判定部
３１    起伏条件情報
５０    各種機器
１００    候補領域
２００    選択領域
Ｉ    撮像画像
【図１】
2020109541.tif 000003
【図２】
2020109541.tif 000004
【図３】
2020109541.tif 000005
【図４】
2020109541.tif 000006
【図５】
2020109541.tif 000007
【図６】
2020109541.tif 000008
【図７】
2020109541.tif 000009
【図８】
2020109541.tif 000010
【図９】
2020109541.tif 000011
【図１０】
2020109541.tif 000012
【図１１】
2020109541.tif 000013
【図１２】
2020109541.tif 000014