(57)【要約】【課題】付着物を高精度に検出することができる付着物検出装置および付着物検出方法を提供すること。【解決手段】実施形態に係る付着物検出装置は、抽出部と、判定部とを備える。抽出部は、撮像装置で撮像された撮像画像の各画素から検出されるエッジに基づき、撮像装置に付着した付着物に対応する付着物領域の候補領域を抽出する。判定部は、抽出部によって抽出された候補領域に含まれる画素の輝度分布の起伏に基づいて候補領域が付着物領域であるか否かを判定する。【選択図】図２
2020108060.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置で撮像された撮像画像の各画素から検出されるエッジに基づき、前記撮像装置に付着した付着物に対応する付着物領域の候補領域を抽出する抽出部と、
前記抽出部によって抽出された前記候補領域に含まれる画素の輝度分布の起伏に基づいて当該候補領域が前記付着物領域であるか否かを判定する判定部と
を備えることを特徴とする付着物検出装置。
【請求項２】
前記判定部は、
前記候補領域の垂直方向、または、水平方向の前記輝度分布の起伏に基づいて前記候補領域が前記付着物領域であるか否かを判定すること
を特徴とする請求項１に記載の付着物検出装置。
【請求項３】
前記候補領域を所定画素数を単位とする単位領域に分割し、前記単位領域毎に輝度の代表値を算出する算出部をさらに備え、
前記判定部は、
前記候補領域における前記代表値の分布の起伏に基づいて当該候補領域が前記付着物領域であるか否かを判定すること
を特徴とする請求項１または２に記載の付着物検出装置。
【請求項４】
前記候補領域における画素の輝度を、所定の輝度範囲を単位とする単位輝度に変換する変換部をさらに備え、
前記判定部は、
前記単位輝度の分布の起伏に基づいて当該候補領域が前記付着物領域であるか否かを判定すること
を特徴とする請求項１〜３のいずれか１つに記載の付着物検出装置。
【請求項５】
前記判定部は、
前記候補領域における前記輝度分布の起伏変化のパターンが所定の変化パターンを満たす場合に、当該候補領域が前記付着物領域であると判定すること
を特徴とする請求項１〜４のいずれか１つに記載の付着物検出装置。
【請求項６】
前記判定部は、
前記候補領域における前記輝度分布の起伏が、凸状、または、凹状である場合、当該候補領域が前記付着物領域であると判定すること
を特徴とする請求項１〜５のいずれか１つに記載の付着物検出装置。
【請求項７】
前記判定部は、
前記候補領域の中心領域に含まれる各画素の輝度が所定の閾値以上、かつ、前記中心領域に含まれる各画素のエッジ強度が所定の閾値未満である場合に、当該候補領域が前記付着物領域であると判定すること
を特徴とする請求項１〜６のいずれか１つに記載の付着物検出装置。
【請求項８】
前記判定部は、
時系列の前記撮像画像に基づき、前記候補領域を連続して前記付着物領域であると判定した場合に、当該候補領域が前記付着物領域の確定領域であると判定すること
を特徴とする請求項１〜７のいずれか１つに記載の付着物検出装置。
【請求項９】
前記判定部は、
前記候補領域が前記付着物領域であるか否かの判定処理を行う毎に、判定結果に応じたスコアを前記候補領域毎に付与し、当該スコアの合計値が所定の閾値条件を満たした前記候補領域を前記確定領域であると判定すること
を特徴とする請求項８に記載の付着物検出装置。
【請求項１０】
撮像装置で撮像された撮像画像の各画素から検出されるエッジに基づき、前記撮像装置に付着した付着物に対応する付着物領域の候補領域を抽出する抽出工程と、
前記抽出工程によって抽出された前記候補領域に含まれる画素の輝度分布の起伏に基づいて当該候補領域が前記付着物領域であるか否かを判定する判定工程と
を含むことを特徴とする付着物検出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、付着物検出装置および付着物検出方法に関する。
【背景技術】
【０００２】
従来、撮像画像の領域を分割した分割領域の輝度値の時系列変化に基づいてレンズに付着した付着物を検出する付着物検出装置が知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１４−３０１８８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来技術では、付着物を高精度に検出する点で改善の余地があった。具体的には、付着物の付着状態は一様ではなく、付着物の形状や輝度等の付着状態が様々であるため、あらゆる付着物を高精度に検出できるとは言えなかった。
【０００５】
本発明は、上記に鑑みてなされたものであって、付着物を高精度に検出することができる付着物検出装置および付着物検出方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上述した課題を解決し、目的を達成するために、本発明に係る付着物検出装置は、抽出部と、判定部とを備える。前記抽出部は、撮像装置で撮像された撮像画像の各画素から検出されるエッジに基づき、前記撮像装置に付着した付着物に対応する付着物領域の候補領域を抽出する。前記判定部は、前記抽出部によって抽出された前記候補領域に含まれる画素の輝度分布の起伏に基づいて当該候補領域が前記付着物領域であるか否かを判定する。
【発明の効果】
【０００７】
本発明によれば、付着物を高精度に検出することができる。
【図面の簡単な説明】
【０００８】
【図１】図１は、実施形態に係る付着物検出方法の概要を示す図である。
【図２】図２は、実施形態に係る付着物検出装置の構成を示すブロック図である。
【図３】図３は、輝度分布の抽出対象となる画素列を説明する図である。
【図４】図４は、算出部の処理内容を示す図である。
【図５】図５は、算出部の処理内容を示す図である。
【図６】図６は、判定部による処理内容を示す図である。
【図７】図７は、判定部による処理内容を示す図である。
【図８】図８は、判定部による処理内容を示す図である。
【図９】図９は、判定部による処理内容を示す図である。
【図１０】図１０は、判定部による処理内容を示す図である。
【図１１】図１１は、実施形態に係る付着物検出装置が実行する付着物の検出処理の処理手順を示すフローチャートである。
【発明を実施するための形態】
【０００９】
以下、添付図面を参照して、本願の開示する付着物検出装置および付着物検出方法の実施形態を詳細に説明する。なお、以下に示す実施形態により本発明が限定されるものではない。
【００１０】
まず、図１を用いて、実施形態に係る付着物検出方法の概要について説明する。図１は、実施形態に係る付着物検出方法の概要を示す図である。なお、図１には、例えば、車載カメラのレンズに雨滴等の水滴が付着した状態で撮像された撮像画像Ｉを示している。
【００１１】
カメラのレンズに、泥や、埃、雨滴、雪片等の付着物が付着すると、撮像画像Ｉから車両の周囲の情報、例えば、駐車枠や、他車両や、人の情報を取得できず、駐車枠や、他車両や、人などを正確に検出することができなくなるおそれがある。なお、付着物は、泥、埃、雨滴および雪片に限定されるものではなく、付着物の領域がぼやけた領域となる付着物であればよい。
【００１２】
実施形態に係る付着物検出装置１（図２参照）は、付着物検出方法を実行することで、カメラで撮像された撮像画像Ｉに基づいてカメラのレンズに付着した付着物を検出する。
【００１３】
具体的には、まず、実施形態に係る付着物検出方法では、カメラで撮像された撮像画像Ｉの各画素から検出されるエッジに基づき、撮像装置に付着した付着物に対応する付着物領域の候補となる候補領域１００を抽出する（Ｓ１）。
【００１４】
実施形態に係る付着物検出方法では、例えば、パターンマッチング等のマッチング処理により、雨滴等の円形状の輪郭を含む矩形状の領域を候補領域１００として抽出する。
【００１５】
つづいて、実施形態に係る付着物検出方法では、抽出した候補領域１００に含まれる画素の輝度分布の起伏に基づいて候補領域１００が付着物領域であるか否かを判定する（Ｓ２）。なお、ここで言う画素の輝度分布とは、対象となる画像における、所定の方向に沿った輝度の変化の形状のことを言う。例えば、画像中の所定の座標（ｘ０、ｙ０）を原点とし、水平方向ｘにおける画素の輝度をＬ（ｘ）とした場合、ｘ−Ｌ（ｘ）のグラフが描く形状のことを、（ｘ０、ｙ０）を原点とした水平方向における画素の輝度分布という。なおｘ０、ｙ０は任意に設定でき、方向も垂直方向含め任意の角度の方向として設定できる。
【００１６】
図１の中段には、付着物領域の中心領域の輝度が周端領域の輝度よりも高い、「明るい雨滴」の輝度分布と、中心領域の輝度が周端領域の輝度よりも低い、「暗い雨滴」の輝度分布を示す。つまり、付着物が付着した場合、付着物領域は、中心領域が周囲よりも明るい状態のぼやけた領域（「明るい雨滴」）となるか、中心領域が周囲よりも暗い状態のぼやけた領域（「暗い雨滴」）となるかに大別される。
【００１７】
なお、図１に示す輝度分布のグラフは、候補領域１００の水平方向に並ぶ一の画素列の輝度分布を示している。かかるグラフにおいて、横軸の各「位置」に対応する棒グラフの輝度データは、一の画素列を所定の画素数毎に分割した単位領域における輝度の代表値である。なお、単位領域や、代表値の算出等については、後述する。
【００１８】
例えば、「明るい雨滴」の場合、候補領域１００における中心領域の位置の輝度が、周端領域の位置の輝度よりも高いため、輝度分布の起伏は、凸状となる。また、「暗い雨滴」の場合、中心領域の位置の輝度が、周端領域の位置の輝度よりも低いため、輝度分布の起伏は、凹状となる。そして、「明るい雨滴」および「暗い雨滴」の２種類の輝度分布の起伏は、付着物の付着状態やカメラの特性に関わらず共通して現れることが多い。
【００１９】
つまり、実施形態に係る付着物検出方法では、候補領域１００における輝度分布の起伏が、予め設定された付着物の輝度分布の起伏と類似する場合に、候補領域１００が付着物領域であると判定する。
【００２０】
これにより、付着物の形状等の付着状態が異なったり、カメラの変更により撮像画像Ｉの映像特性が変わったとしても、輝度分布の起伏は共通しているため、付着物を高精度に検出可能である。すなわち、実施形態に係る付着物検出方法では、付着物を高精度に検出することができる。
【００２１】
なお、実施形態に係る付着物検出方法では、輝度分布における起伏変化の変化量に基づいて付着物領域の判定をすることができるが、かかる点については後述する。なお、起伏変化とは、対象となる画像における、所定の方向に沿った輝度の変化量の形状のことを言う。輝度の変化量とは具体的には微分値や差分値である。
【００２２】
また、実施形態に係る付着物検出方法では、雨滴等の付着物が光反射して、輝度分布の起伏の形状が凸状、または、凹状から崩れた形状となる場合であっても、別途起伏の条件を設定することで、付着物領域として検出可能であるが、かかる点についても後述する。
【００２３】
次に、図２を用いて、実施形態に係る付着物検出装置１の構成について説明する。図２は、実施形態に係る付着物検出装置１の構成を示すブロック図である。図２に示すように、実施形態に係る付着物検出装置１は、カメラ１０と、各種機器５０とに接続される。なお、図２では、付着物検出装置１は、カメラ１０と、各種機器５０とは別体で構成される場合を示したが、これに限らず、カメラ１０および各種機器５０の少なくとも一方と一体で構成されてもよい。
【００２４】
カメラ１０は、たとえば、魚眼レンズ等のレンズと、ＣＣＤ（Charge  Coupled  Device）やＣＭＯＳ（Complementary  Metal  Oxide  Semiconductor）などの撮像素子とを備えた車載カメラである。カメラ１０は、例えば、車両の前後方、側方の様子を撮像可能な位置にそれぞれ設けられ、撮像された撮像画像Ｉを付着物検出装置１へ出力する。
【００２５】
各種機器５０は、付着物検出装置１の検出結果を取得して、車両の各種制御を行う機器である。各種機器５０は、例えば、カメラ１０のレンズに付着物が付着していることや、ユーザによる付着物の拭き取り指示を通知する表示装置や、流体や気体等をレンズに向かって噴射して付着物を除去する除去装置、自動運転等を制御する車両制御装置を含む。
【００２６】
図２に示すように、実施形態に係る付着物検出装置１は、制御部２と、記憶部３とを備える。制御部２は、画像取得部２１と、抽出部２２と、算出部２３と、変換部２４と、判定部２５とを備える。記憶部３は、起伏条件情報３１を記憶する。
【００２７】
ここで、付着物検出装置１は、たとえば、ＣＰＵ（Central  Processing  Unit）、ＲＯＭ（Read  Only  Memory）、ＲＡＭ（Random  Access  Memory）、データフラッシュ、入出力ポートなどを有するコンピュータや各種の回路を含む。
【００２８】
コンピュータのＣＰＵは、たとえば、ＲＯＭに記憶されたプログラムを読み出して実行することによって、制御部２の画像取得部２１、抽出部２２、算出部２３、変換部２４および判定部２５として機能する。
【００２９】
また、制御部２の画像取得部２１、抽出部２２、算出部２３、変換部２４および判定部２５の少なくともいずれか一つまたは全部をＡＳＩＣ（Application  Specific  Integrated  Circuit）やＦＰＧＡ（Field  Programmable  Gate  Array）等のハードウェアで構成することもできる。
【００３０】
また、記憶部３は、たとえば、ＲＡＭやデータフラッシュに対応する。ＲＡＭやデータフラッシュは、起伏条件情報３１や、各種プログラムの情報等を記憶することができる。なお、付着物検出装置１は、有線や無線のネットワークで接続された他のコンピュータや可搬型記録媒体を介して上記したプログラムや各種情報を取得することとしてもよい。
【００３１】
記憶部３に記憶された起伏条件情報３１は、後述の判定部２５による判定処理の基準となる条件を含む情報であり、例えば、輝度分布の起伏のパターン条件を含む。なお、パターン条件とは、輝度分布をマップ化した場合の起伏の形状パターンや、輝度分布における輝度のデータ列のパターン等である。なお、起伏条件情報３１を用いた判定処理については後述する。
【００３２】
制御部２は、カメラ１０から取得した撮像画像Ｉの各画素から検出されるエッジに基づき、付着物領域の候補領域１００を抽出し、抽出した候補領域１００における輝度分布の起伏に基づいて候補領域１００が付着物領域であるか否かを判定する。
【００３３】
画像取得部２１は、カメラ１０で撮像された画像を取得し、現在の撮像画像Ｉである現在フレームを生成（取得）する。具体的には、画像取得部２１は、取得した画像における各画素を輝度に応じて白から黒までの各階調に変換するグレースケール化処理を行う。
【００３４】
また、画像取得部２１は、取得した画像に画素の間引き処理を行い、取得した画像よりもサイズが小さい画像を生成する。また、画像取得部２１は、間引き処理を施した画像に基づいて、各画素における画素値の和および二乗和の積分画像である現在フレームを生成する。なお、画素値とは、画素の輝度やエッジに対応する情報である。
【００３５】
このように、付着物検出装置は、取得した画像に対して間引き処理を行い、積分画像を生成することで、後段における処理の計算を高速化できるため、付着物を検出するための処理時間を短くすることができる。
【００３６】
なお、画像取得部２１は、各画素について、平均化フィルタなどの平滑化フィルタを用いて平滑化処理を行ってもよい。また、画像取得部２１は、間引き処理を行わず、取得した画像と同じサイズの現在フレームを生成してもよい。
【００３７】
抽出部２２は、画像取得部２１が取得した撮像画像Ｉの中から付着物領域の候補領域１００を抽出する。具体的には、まず、抽出部２２は、撮像画像Ｉにおける各画素の輝度およびエッジ情報を抽出する。各画素の輝度は、例えば、０〜２５５のパラメータで表現される。
【００３８】
また、抽出部２２は、各画素の輝度に基づいてエッジ検出処理を行って、各画素について、Ｘ軸方向（撮像画像Ｉの左右方向）のエッジと、Ｙ軸方向（撮像画像Ｉの上下方向）のエッジとを検出する。エッジ検出処理には、例えば、Ｓｏｂｅｌフィルタや、Ｐｒｅｗｉｔｔフィルタ等の任意のエッジ検出フィルタを用いることができる。
【００３９】
そして、抽出部２２は、Ｘ軸方向のエッジと、Ｙ軸方向のエッジとに基づき、三角関数を用いることで、画素のエッジ角度およびエッジ強度の情報を含むベクトルをエッジ情報として検出する。具体的には、エッジ角度は、ベクトルの向きによって表現され、エッジ強度は、ベクトルの長さによって表現される。
【００４０】
そして、抽出部２２は、予め作成された付着物の輪郭を示すテンプレート情報と、検出したエッジ情報とのマッチング処理（テンプレートマッチング）を行い、テンプレート情報と類似するエッジ情報を抽出する。そして、抽出部２２は、抽出したエッジ情報の領域、すなわち、付着物の輪郭を含む矩形状の領域である候補領域１００を抽出する。
【００４１】
つづいて、抽出部２２は、抽出した候補領域１００における所定の画素列の輝度分布を抽出する。図３は、輝度分布の抽出対象となる画素列を説明する図である。図３に示すように、抽出部２２は、撮像画像Ｉにおける水平方向の３列の画素列Ｈ１〜Ｈ３と、垂直方向の３列の画素列Ｖ１〜Ｖ３とについて、輝度分布を抽出する。これにより、輝度分布を２次元の情報として扱うことができるため、後段の処理負荷を軽減できる。
【００４２】
なお、抽出する画素列は、水平方向、または、垂直方向のいずれか一方の画素列であってもよい。また、抽出する画素列の列数は、３列に限らず、２列以下や、４列以上であってもよい。
【００４３】
図２に戻って算出部２３について説明する。算出部２３は、抽出部２２によって抽出された候補領域１００を所定画素数を単位とする単位領域に分割し、単位領域毎に輝度の代表値を算出する。なお、算出部２３による代表値の算出方法については、図４および図５を用いて後述する。
【００４４】
変換部２４は、候補領域１００における画素の輝度を、所定の輝度範囲を単位とする単位輝度に変換する。例えば、変換部２４は、輝度を示す０〜２５５のパラメータを所定数毎に区切った単位輝度に変換する。なお、上述の算出部２３によって算出される輝度の代表値は、変換部２４によって変換された単位輝度で表現可能である。かかる点について、図４および図５を用いて説明する。
【００４５】
図４および図５は、算出部２３の処理内容を示す図である。まず、図４を用いて、算出部２３による単位領域の設定方法について説明する。図４では、水平方向における一の画素列Ｈの輝度分布を示す。
【００４６】
図４に示すように、算出部２３は、水平方向における画素列を、例えば８個の単位領域Ｒ１〜Ｒ８（まとめて単位領域Ｒと記載する場合がある）に分割する。なお、単位領域Ｒ１〜Ｒ８の各幅（画素数）は、同じ（すなわち、画素列を均等割りした画素数）であってもよく、各幅がそれぞれ異なってもよい。
【００４７】
また、単位領域Ｒの分割数は、８個に限らず、任意の数を設定可能である。なお、単位領域Ｒの分割数は、撮像画像Ｉから抽出される候補領域１００のサイズに関わらず、すべて同じ数（図４では８個）であることが好ましい。これにより、抽出される候補領域１００のサイズが様々であっても、単位領域Ｒの数を揃えることで、統一した情報となるため、後段の判定処理等の処理負荷を抑えることができる。
【００４８】
次に、図５に示すように、算出部２３は、単位領域Ｒ毎に輝度の代表値を算出する。図７の上段に示すように、変換部２４は、算出部２３による代表値の算出処理に先立って、各画素の輝度値（例えば、０〜２５５）を単位輝度へ変換する。具体的には、図５では、０〜２５５を８個の単位輝度に均等に分割する。図５の中段に示す「０」〜「７」である。この場合、輝度値の幅が３２単位で分割される。例えば「０」の単位輝度は輝度値で０〜３１に対応し、「１」の単位輝度は輝度値で３２〜６３に対応する。つまり、単位輝度への変換は、輝度の分割数を減らす処理である。これにより、輝度分布の輝度を所望の単位輝度の数まで減らすことができるため、後段の処理負荷を軽減できる。なお、輝度から単位輝度への変換において、その分割数ならびに分割幅は、任意に設定可能である。上記のように均等幅でなくてもよい。
【００４９】
そして、算出部２３は、単位領域Ｒ１〜Ｒ８毎に単位輝度のヒストグラムを作成する。図５の中段では、階級を単位輝度「０」〜「７」とし、度数を画素数とする一の単位領域Ｒ１のヒストグラムを示す。
【００５０】
そして、図５の下段に示すように、算出部２３は、作成したヒストグラムに基づいて単位領域Ｒ１〜Ｒ８それぞれについて、輝度の代表値を算出する。例えば、算出部２３は、ヒストグラムにおける最頻値の階級（図５では、階級「３」）の単位輝度を、単位領域Ｒ１における輝度の代表値として算出する。これにより、輝度分布のデータ数を画素数から単位領域Ｒの数に減らすことができるため、後段の処理負荷を軽減できる。
【００５１】
なお、算出部２３は、最頻値の単位輝度を代表値としたが、これに限らず、例えば、ヒストグラムにおける中央値や平均値等を代表値としてもよい。
【００５２】
また、算出部２３は、ヒストグラムに基づいた代表値の算出処理に限らず、例えば、各単位領域Ｒについて、輝度値の平均値を算出し、かかる平均値に対応する単位輝度を輝度の代表値としてもよい。
【００５３】
また、算出部２３は、単位輝度を代表値としたが、例えば、単位領域Ｒにおける輝度値の平均値等をそのまま代表値としてもよい。つまり、代表値は、単位輝度で表現されもよく、輝度値で表現されてもよい。
【００５４】
図２に戻って判定部２５について説明する。判定部２５は、候補領域１００に含まれる画素の輝度分布の起伏に基づいて候補領域１００が付着物領域である否かを判定する。ここで、図６〜図１０を用いて、判定部２５による判定処理について説明する。
【００５５】
図６〜図１０は、判定部２５による処理内容を示す図である。図６〜図８では、撮像画像Ｉがぼやけた領域となる付着物領域の判定処理を示し、図９では、雨滴等の水滴が光で反射して高輝度となる付着物領域の判定処理を示し、図１０では、付着物領域の継続性の判定処理を示す。
【００５６】
まず、図６〜図８を用いて、ぼやけた領域となる付着物領域の判定処理について説明する。なお、ぼやけた領域とは、図１に示す「明るい雨滴」および「暗い雨滴」に対応する領域である。図６の上段には、一の候補領域１００における輝度分布を示しており、単位領域Ｒ１〜Ｒ８毎の代表値を棒グラフに中抜きで示している。
【００５７】
まず、図６の上段に示すように、判定部２５は、隣接する単位領域Ｒ１〜Ｒ８の単位輝度の変化量Ｄ１〜Ｄ７を算出する。具体的には隣接する単位領域間で、それぞれの単位輝度の差分をとり、変化量とする。すなわち隣接する単位領域間でどの程度輝度に変化が生じたかを変化量として算出する。なお、ここでは単純に差分としたが方法はこれに限らない。例えば各種の補完方法によって輝度分布を表す連続関数を生成し、その微分値を変化量として算出してもよい。なお、図６の下段には、変化量Ｄ１〜Ｄ７の各値が入力されたテーブル（上側テーブル）を示している。
【００５８】
そして、判定部２５は、輝度分布の起伏変化のパターンが所定の変化パターンを満たす場合に、候補領域１００が付着物領域であると判定する。具体的には、判定部２５は、変化量Ｄ１〜Ｄ７の各値と、記憶部３に記憶された起伏条件情報３１とを比較して判定処理を行う。
【００５９】
図６の下段には、起伏条件情報３１の一例として、変化量Ｄ１〜Ｄ７それぞれの閾値範囲を含むテーブルの一例を示す（下側テーブル）。判定部２５は、候補領域１００における変化量Ｄ１〜Ｄ７それぞれが、起伏条件情報３１で設定された変化量Ｄ１〜Ｄ７それぞれの閾値範囲に収まる場合に、候補領域１００が付着物領域であると判定する。
【００６０】
換言すれば、判定部２５は、隣接する単位領域Ｒ１〜Ｒ８の単位輝度の変化量Ｄ１〜Ｄ７のパターンが、起伏条件情報３１で設定された閾値範囲である変化パターンを満たす場合に、付着物領域であると判定する。
【００６１】
つまり、判定部２５は、「明るい雨滴」の特徴である、候補領域１００の中心領域に向かって輝度が徐々に高くなる特徴を起伏条件情報３１の閾値範囲として記憶しておくことで、判定処理を行う。なお、「暗い雨滴」については、候補領域１００の中心領域に向かって輝度が徐々に低くなる特徴を起伏条件情報３１の閾値範囲として記憶しておくことで、判定処理を行う。これにより、判定部２５は、「明るい雨滴」や「暗い雨滴」といったぼやけた領域を付着物領域として検出することができる。
【００６２】
また、判定部２５は、変化量Ｄ１〜Ｄ７を用いることで、全体的な輝度値の大小を無視できるため、起伏の形状が類似して輝度値の大小が異なる場合による誤判定を減らすことができる。さらに、輝度値の大小を無視できるため、輝度値毎に判定条件を設定する必要がなくなることで、条件を記憶するための記憶容量を削減でき、かつ、輝度値毎に判定処理を行う必要がないため、処理量を減らすことができる。
【００６３】
また、起伏条件情報３１において変化量Ｄ１〜Ｄ７の最大および最小を設定して幅をもたせることで、付着物の形状がくずれたとしても付着物領域として検出することができる。すなわち、付着物の形状が異なる場合であっても付着物領域として高精度に検出することができる。
【００６４】
なお、図６では、起伏条件情報３１について、すべての変化量Ｄ１〜Ｄ７の閾値範囲を設定した場合を示したが、例えば、図７に示すように、小さいサイズの付着物領域を検出する場合には、変化量Ｄ１〜Ｄ７のうち、一部の変化量の閾値範囲のみを設定してもよい。
【００６５】
図７では、付着物である雨滴のうち、所定サイズ以下の小さな雨滴を検出するための起伏条件情報３１について、４つのパターンを示す。
【００６６】
具体的には、パターン１は、変化量Ｄ１〜Ｄ４の閾値範囲が設定され、パターン２は、変化量Ｄ２〜Ｄ５の閾値範囲が設定され、パターン３は、変化量Ｄ３〜Ｄ６の閾値範囲が設定され、パターン４は、変化量Ｄ４〜Ｄ７の閾値範囲が設定される。
【００６７】
つまり、パターン１〜４に示すように、起伏条件情報３１では、変化量Ｄ１〜Ｄ７のうち、一部の変化量の閾値範囲を含む。そして、判定部２５は、候補領域１００における変化量Ｄ１〜Ｄ７のうち、一部の変化量のパターンがパターン１〜４のいずれか一つに合致した場合に、付着物領域を判定する。
【００６８】
これにより、候補領域１００内に、小さいサイズの付着物領域が存在する場合であっても、未検出を減らすことができる。すなわち、付着物領域を高精度に検出することができる。
【００６９】
さらに、パターン１〜４のように、閾値範囲を設定する変化量の位置をずらすことで、候補領域１００内における付着物領域の位置ずれが生じた場合であっても、付着物領域を高精度に検出することができる。
【００７０】
なお、図７では、７つの変化量Ｄ１〜Ｄ７のうち、連続する４つの変化量の閾値範囲を設定する場合を示したが、４つの変化量に限定されず、３つ以下の変化量や、５つ以上の変化量の閾値範囲が設定されてもよい。
【００７１】
また、図６および図７では、判定部２５は、起伏条件情報３１の閾値範囲に含まれるか否かで判定を行う場合を示したが、例えば、変化量Ｄ１〜Ｄ７の閾値範囲に基づいて輝度分布の起伏がマップ化された起伏条件情報３１に基づいて判定処理を行ってもよい。かかる点について、図８を用いて説明する。
【００７２】
図８の上段では、輝度分布の起伏変化の変化量の閾値範囲を示しており、図８の下段には、図８の上段に示す変化量Ｄ１〜Ｄ４の閾値範囲がマップ化された起伏条件情報３１を示している。具体的には、横軸を単位領域Ｒ１〜Ｒ８の位置とし、縦軸を相対輝度としたマップを示している。なお、かかるマップは、予め生成される。
【００７３】
例えば、変化量Ｄ１は、＋１〜＋２の閾値範囲であるため、単位領域Ｒ１には相対輝度の所定位置の２マスを閾値として設定する。そして、単位領域Ｒ２は、変化量Ｄ１の閾値範囲を満たす位置の１マスを閾値として設定する。つづいて、変化量Ｄ２は、値が＋１であるため、単位領域Ｒ２に設定されたマスから１つ上がった単位領域Ｒ３のマスを閾値として設定する。つづいて、変化量Ｄ３は、値が−１であるため、単位領域Ｒ３に設定されたマスから１つ下がった単位領域Ｒ４のマスを閾値として設定する。つづいて、変化量Ｄ４は、−２〜−１の閾値範囲であるため、単位領域Ｒ４に設定されたマスから１つ、および、２つ下がった単位領域Ｒ５の２つのマスを閾値として設定する。これにより、起伏条件情報３１のマップが完成する。
【００７４】
つまり、起伏条件情報３１におけるマップは、変化量Ｄ１〜Ｄ４に基づく単位領域Ｒ１〜Ｒ５における単位輝度の起伏形状を表現した情報である。なお、単位領域Ｒ６〜Ｒ８については、変化量Ｄ５〜Ｄ７の閾値範囲が設定されていないため、検出される輝度が任意でよい。
【００７５】
判定部２５は、上記の同様の手法により、抽出した候補領域１００における単位領域Ｒ１〜Ｒ８の変化量Ｄ１〜Ｄ７に基づいてマップを作成し、起伏条件情報３１における上記のマップとのマッチング処理を行い、双方のマップが一致する場合に、付着物領域と判定する。
【００７６】
図８に示す例では、判定部２５は、候補領域１００に基づくマップが、起伏条件情報３１のマップのような凸状である場合に、「明るい雨滴」である付着物領域と判定する。一方、判定部２５は、候補領域１００に基づくマップが、起伏条件情報３１のマップのような凹状である場合に、「暗い雨滴」である付着物領域と判定する。
【００７７】
つまり、判定部２５は、候補領域１００における輝度分布の起伏が、凸状、または、凹状である場合、候補領域１００が付着物領域であると判定する。これにより、輝度値（単位輝度）の要素を除いた起伏形状のみに判定処理を行うことができるため、輝度値の大小による未検出を減らすことができる。従って、付着物を高精度に検出することができる。
【００７８】
次に、図９を用いて、付着物が光反射した場合の判定処理について説明する。図９の上段に示すように、付着物である雨滴等の水滴は、例えば、車両が屋内に移動した場合に、屋内のライトの光が反射した状態で撮像画像Ｉに写ることになるため、付着物領域における中心領域の輝度が周端領域に比べて著しく高くなる。
【００７９】
そこで、判定部２５は、付着物領域における中心領域の輝度が高くなることに着目した条件を起伏条件情報３１として別途設定して判定処理を行う。具体的には、判定部２５は、上記した単位領域Ｒ１〜Ｒ８毎の単位輝度およびエッジ強度の情報を用いて判定処理を行う。なお、単位領域Ｒ１〜Ｒ８におけるエッジ強度は、単位領域Ｒ１〜Ｒ８に含まれる各画素のエッジ強度の平均値である。
【００８０】
判定部２５は、候補領域１００の中心領域に含まれる各画素の輝度が所定の閾値以上、かつ、中心領域に含まれる各画素のエッジ強度が所定値未満である場合に、候補領域１００が付着物領域であると判定する。
【００８１】
具体的には、図９に示すように、判定部２５は、候補領域１００の中心領域（付着物領域の中心領域に対応する位置：単位領域Ｒ３〜Ｒ７であるとする）の単位領域Ｒ３〜Ｒ７の単位輝度が所定の閾値ＴＨａ以上、かつ、単位領域Ｒ３〜Ｒ７のエッジ強度が所定の閾値ＴＨｂ未満である場合に、候補領域１００が付着物領域であると判定する。
【００８２】
つまり、光が反射した付着物では、中心領域が高輝度となることで、中心領域の輝度分布の起伏が平坦なることと、中心領域のエッジ強度が弱くなることとを利用して判定を行う。このように、光で反射する付着物の画像特性を条件化して判定処理を行うことで、光で反射する付着物を高精度に検出することができる。
【００８３】
なお、判定部２５は、例えば、単位領域Ｒ１〜Ｒ８の輝度分布において、中心領域と周端領域との変化量が所定の閾値以上である場合に、光反射した付着物領域であると判定してもよい。
【００８４】
つづいて、判定部２５は、時系列の撮像画像Ｉに基づき、候補領域１００を連続して付着物領域である判定した場合に、候補領域１００が付着物領域の確定領域であると判定する。
【００８５】
次に、図１０を用いて、判定部２５による付着物領域の継続性の判定処理について説明する。なお、図１０では、ステートマシン図を示しており、候補領域１００の付着物に関する状態の遷移を示している。なお、図１０において、１つの矢印が判定部２５による１回の判定処理（すなわち、撮像画像Ｉの１フレームに相当）を示し、実線で示す矢印は、判定処理において候補領域１００を付着物領域と判定したことを示し、破線で示す矢印は、判定処理において候補領域１００を付着物領域ではないと判定したことを示す。
【００８６】
図１０に示すように、候補領域１００は、「ＩＤＬＥ」、「潜伏」および「確定」の３つの状態に遷移し得る。「ＩＤＬＥ」は、「未検出状態」、すなわち付着物が付着していない状態を示す。「潜伏」は、「付着物が付着している可能性あり」の状態を示す。「確定」は、「付着物が付着している」状態を示す。
【００８７】
判定部２５は、候補領域１００が付着物領域であるか否かの判定処理を行う毎に、判定結果に応じたスコアを候補領域１００毎に付与し、スコアの合計値が所定の閾値条件を満たした候補領域１００を付着物領域の確定領域であると判定する。
【００８８】
具体的には、判定部２５は、判定結果に応じてスコアを加減算して、スコアの合計が「潜伏」の閾値以上となった場合に、付着物領域の確定領域であると判定し、かかる確定領域を後述の占有率計算に用いる。
【００８９】
より具体的には、図１０に示すように、判定部２５は、候補領域１００が付着物領域であると判定した場合、スコアの合計に＋２する。一方、判定部２５は、候補領域１００が付着物領域でないと判定した場合、スコアの合計から−１または−２する。具体的には、判定部２５は、「確定」の状態となる前は、スコアの合計から−１し、「確定」の状態となった後は、スコアの合計から−２する。また、「確率」の状態となった場合に、候補領域１００が付着物領域であると判定した場合には、スコアの加算は行わずスコアの合計を維持する、換言すれば、スコアの合計に０を加算する。
【００９０】
すなわち、「確定」の状態となる前は、減算値を小さくすることで、「ＩＤＬＥ」に戻りにくくして「潜伏」の閾値を早期に超えるようにする。そして、「確定」の状態となった後は、ユーザにより付着物が除去された可能性が高いため、減算値を大きくすることで、「潜伏」の閾値を早期に下回るようにする。
【００９１】
これにより、付着物領域を早期に検出することができるとともに、付着物が除去された場合に付着物領域ではないと判定することを早期化できる。
【００９２】
また、候補領域１００を連続して付着物領域であると判定した場合に、当該候補領域１００が付着物領域の確定領域であると判定することで、撮像画像Ｉのノイズ等に起因した一時的な誤判定を無効化できる。
【００９３】
また、確定領域の判定をスコア化することで、確定領域の判定処理を容易かつ高精度に行うことができる。
【００９４】
また、図１０に示すように、「ＩＤＬＥ」および「潜伏」の閾値の間に、ＦＢ閾値が設定されている。判定部２５は、候補領域１００におけるスコアの合計がＦＢ閾値以上となった場合に、撮像画像Ｉにおけるかかる候補領域１００の位置を抽出部２２へ通知する。そして、抽出部２２は、撮像画像Ｉの次フレームが入力された場合に、判定部２５から通知された候補領域１００の位置に基づいて候補領域１００の抽出処理を行う。
【００９５】
つまり、判定部２５は、ＦＢ閾値以上となった候補領域１００の位置を抽出部２２にフィードバックすることで、抽出部２２によって同じ位置の候補領域１００を抽出されやすくする。これにより、抽出部２２の誤抽出による付着物領域の判定遅れを低減することができる。すなわち、付着物領域を早期に検出することができる。
【００９６】
そして、判定部２５は、各候補領域１００について継続性の判定処理を行い、確定領域の占有率を算出することで、最終的な付着物の判定処理を行う。具体的には、判定部２５は、撮像画像Ｉに設定された所定の対象領域に対して確定領域が占める面積の割合である占有率が予め設定された閾値（例えば、４０％）以上となった場合に、カメラ１０のレンズに付着物が付着していると判定する。なお、対象領域は、撮像画像Ｉ全体であってもよく、一部の領域であってもよい。
【００９７】
そして、判定部２５は、付着物が付着していると判定した場合、各種機器５０に対して付着物フラグＯＮを出力する。なお、判定部２５は、確定領域の占有率が閾値未満である場合には、付着物が付着していないと判定し、付着物フラグＯＦＦを出力する。
【００９８】
換言すれば、付着物フラグＯＮかＯＦＦかの情報は、現フレームの撮像画像Ｉが各種機器５０によって使用可能であるか否かの有効性を示す情報であり、あるいは、撮像画像Ｉを用いた各種機器５０の制御の信頼性を示す情報である。このため、判定部２５は、付着物フラグの情報に代えて、撮像画像Ｉの有効性や信頼性を示す情報を各種機器５０へ出力してもよい。
【００９９】
次に、図１１を用いて、実施形態に係る付着物検出装置１が実行する処理の処理手順について説明する。図１１は、実施形態に係る付着物検出装置１が実行する付着物の検出処理の処理手順を示すフローチャートである。
【０１００】
図１１に示すように、まず、画像取得部２１は、カメラ１０で撮像された画像を取得し、取得した画像に対してグレースケール化処理および間引き処理した後、縮小した画像の画素値に基づいて生成した積分画像を撮像画像Ｉとして取得する（Ｓ１０１）。
【０１０１】
つづいて、抽出部２２は、画像取得部２１が取得した撮像画像Ｉの各画素から検出されるエッジに基づき、カメラ１０に付着した付着物に対応する付着物領域の候補領域１００を抽出する（Ｓ１０２）。
【０１０２】
また、抽出部２２は、候補領域１００の輝度およびエッジの情報を抽出する（Ｓ１０３）。つづいて、変換部２４は、候補領域１００における画素の輝度を、所定の輝度範囲を単位とする単位輝度に変換する（Ｓ１０４）。
【０１０３】
つづいて、算出部２３は、候補領域１００を所定数の単位領域Ｒに分割し、単位領域Ｒ毎に輝度の代表値を算出する（Ｓ１０５）。つづいて、判定部２５は、候補領域１００における各単位領域Ｒの代表値の起伏変化の変化量を算出する（Ｓ１０６）。
【０１０４】
つづいて、判定部２５は、起伏変化の変化量が所定の変化パターンを満たすか否かを判定する（Ｓ１０７）。判定部２５は、変化量が所定の変化パターンを満たす場合（Ｓ１０７：Ｙｅｓ）、該当する候補領域１００のスコアに所定値を加算し（Ｓ１０８）、変化量が所定の変化パターンを満たさない場合（Ｓ１０７：Ｎｏ）、該当する候補領域１００のスコアから所定値を減算する（Ｓ１０９）。
【０１０５】
つづいて、判定部２５は、加減算したスコアが所定の閾値以上か否かを判定し（Ｓ１１０）、所定の閾値未満の場合（Ｓ１１０：Ｎｏ）、Ｓ１０１の処理を実行する。一方、判定部２５は、加減算したスコアが所定の閾値以上の場合（Ｓ１１０：Ｙｅｓ）、該当する候補領域１００を付着物領域の確定領域と判定する（Ｓ１１１）。
【０１０６】
つづいて、判定部２５は、撮像画像Ｉにおける対象領域に対する確定領域の占有率が所定の閾値以上であるか否かを判定する（Ｓ１１２）。判定部２５は、占有率が所定の閾値以上である場合（Ｓ１１２：Ｙｅｓ）、付着物フラグＯＮを出力し（Ｓ１１３）、処理を終了する。
【０１０７】
一方、判定部２５は、占有率が所定の閾値未満である場合（Ｓ１１２：Ｎｏ）、付着物フラグＯＦＦを出力し（Ｓ１１４）、処理を終了する。
【０１０８】
上述してきたように、実施形態に係る付着物検出装置１は、抽出部２２と、判定部２５とを備える。抽出部２２は、カメラ１０で撮像された撮像画像Ｉの各画素から検出されるエッジに基づき、カメラに付着した付着物に対応する付着物領域の候補領域１００を抽出する。判定部２５は、抽出部２２によって抽出された候補領域１００に含まれる画素の輝度分布の起伏に基づいて当該候補領域１００が付着物領域であるか否かを判定する。これにより、付着物を高精度に検出することができる。
【０１０９】
また、上述した実施形態では、車両に搭載されるカメラで撮像された撮像画像Ｉを用いたが、撮像画像Ｉは、例えば、防犯カメラや、街灯等に設置されたカメラで撮像された撮像画像Ｉであってもよい。つまり、カメラのレンズに付着物が付着する可能性があるカメラで撮像された撮像画像Ｉであればよい。
【０１１０】
さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲およびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。
【符号の説明】
【０１１１】
１    付着物検出装置
２    制御部
３    記憶部
１０    カメラ
２１    画像取得部
２２    抽出部
２３    算出部
２４    変換部
２５    判定部
３１    起伏条件情報
５０    各種機器
１００    候補領域
Ｉ    撮像画像
【図１】
2020108060.tif 000003
【図２】
2020108060.tif 000004
【図３】
2020108060.tif 000005
【図４】
2020108060.tif 000006
【図５】
2020108060.tif 000007
【図６】
2020108060.tif 000008
【図７】
2020108060.tif 000009
【図８】
2020108060.tif 000010
【図９】
2020108060.tif 000011
【図１０】
2020108060.tif 000012
【図１１】
2020108060.tif 000013