(57)【要約】【課題】付着物の有無を正確に判定する付着物検出装置、および付着物検出方法を提供すること。【解決手段】実施形態に係る付着物検出装置は、領域設定部と、算出部と、変更値設定部と、更新部と、検出部とを備える。領域設定部は、撮像装置によって撮像された撮像画像に複数の分割領域を設定する。算出部は、対応する分割領域における過去の輝度の代表値と現在の輝度の代表値との第１差分、および対応する分割領域における過去の輝度のばらつき量と現在の輝度のばらつき量との第２差分を算出する。変更値設定部は、第１差分、および第２差分に基づいて分割領域における付着物の付着状態を示すカウンタ値の変更値を設定する。更新部は、変更値に基づいてカウンタ値を更新する。検出部は、カウンタ値に基づいて分割領域における付着物の付着状態を検出する。【選択図】図１
2020108092.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置によって撮像された撮像画像に複数の分割領域を設定する領域設定部と、
対応する分割領域における過去の輝度の代表値と現在の輝度の代表値との第１差分、および対応する分割領域における過去の輝度のばらつき量と現在の輝度のばらつき量との第２差分を算出する算出部と、
前記第１差分、および前記第２差分に基づいて前記分割領域における付着物の付着状態を示すカウンタ値の変更値を設定する変更値設定部と、
前記変更値に基づいて前記カウンタ値を更新する更新部と、
前記カウンタ値に基づいて前記分割領域における付着物の付着状態を検出する検出部と
を備えることを特徴とする付着物検出装置。
【請求項２】
前記算出部は、
前記代表値として前記輝度の平均値を算出し、
前記ばらつき量として、前記輝度の標準偏差を算出する、
ことを特徴とする請求項１に記載の付着物検出装置。
【請求項３】
前記変更値設定部は、
前記第１差分が第１所定差分よりも大きく、かつ前記第２差分が第２所定差分よりも大きい場合には、前記変更値を第１変更値とし、
前記第１差分が前記第１所定差分よりも大きく、かつ前記第２差分が前記第２所定差分以下である場合には、前記変更値を前記第１変更値よりも小さい第２変更値とする
ことを特徴とする請求項１または２に記載の付着物検出装置。
【請求項４】
前記検出部は、
前記カウンタ値が所定カウンタ値以上の場合に、前記分割領域を前記付着物が付着した付着領域として検出し、
前記変更値設定部は、
前記第１差分が第１所定差分以下であり、かつ前記第２差分が第２所定差分以下である場合には、前記変更値を第１加算値とし、
前記第１差分が前記第１所定差分よりも大きく、かつ前記第２差分が前記第２所定差分よりも大きい場合には、前記変更値を第１減算値とし、
前記第１差分が前記第１所定差分よりも大きく、かつ前記第２差分が前記第２所定差分以下である場合に前記変更値を前記第１減算値よりも小さい第２減算値とする
ことを特徴とする請求項１〜３のいずれか一つに記載の付着物検出装置。
【請求項５】
撮像装置によって撮像された撮像画像に複数の分割領域を設定する領域設定工程と、
対応する分割領域における過去の輝度の代表値と現在の輝度の代表値との第１差分、および対応する分割領域における過去の輝度のばらつき量と現在の輝度のばらつき量との第２差分を算出する算出工程と、
前記第１差分、および前記第２差分に基づいて前記分割領域における付着物の付着状態を示すカウンタ値の変更値を設定する変更値設定工程と、
前記変更値に基づいて前記カウンタ値を更新する更新工程と、
前記カウンタ値に基づいて前記分割領域における付着物の付着状態を検出する検出工程と
を含むことを特徴とする付着物検出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、付着物検出装置、および付着物検出方法に関する。
【背景技術】
【０００２】
従来、撮像画像の分割領域の輝度値の時系列変化に基づいてレンズに付着した付着物を検出する付着物検出装置が知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１４−３０１８８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来技術では、例えば、撮像装置でゲイン補正が行われた場合には、付着物が付着している場合であっても、分割領域の輝度値が変化する。そのため、従来技術では、付着物の有無を正確に判定することができないおそれがある。
【０００５】
本発明は、上記に鑑みてなされたものであって、付着物の有無を正確に判定する付着物検出装置、および付着物検出方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
実施形態の一態様に係る付着物検出装置は、領域設定部と、算出部と、変更値設定部と、更新部と、検出部とを備える。領域設定部は、撮像装置によって撮像された撮像画像に複数の分割領域を設定する。算出部は、対応する分割領域における過去の輝度の代表値と現在の輝度の代表値との第１差分、および対応する分割領域における過去の輝度のばらつき量と現在の輝度のばらつき量との第２差分を算出する。変更値設定部は、第１差分、および第２差分に基づいて分割領域における付着物の付着状態を示すカウンタ値の変更値を設定する。更新部は、変更値に基づいてカウンタ値を更新する。検出部は、カウンタ値に基づいて分割領域における付着物の付着状態を検出する。
【発明の効果】
【０００７】
実施形態の一態様によれば、付着物の有無を正確に判定することができる。
【図面の簡単な説明】
【０００８】
【図１】図１は、付着物検出方法の概要を示す図である。
【図２】図２は、付着物検出装置の構成を示すブロック図である。
【図３】図３は、カウンタ値の変更値を示す図である。
【図４】図４は、付着物検出処理を説明するフローチャートである。
【図５】図５は、付着領域判定処理を説明するフローチャートである。
【図６Ａ】図６Ａは、付着物が付着した撮像画像の一例である。
【図６Ｂ】図６Ｂは、図６Ａの撮像画像に対し、付着物が拭き取られた場合の撮像画像の一例である。
【発明を実施するための形態】
【０００９】
以下、添付図面を参照して、実施形態に係る付着物検出装置、および付着物検出方法について詳細に説明する。なお、本実施形態によりこの発明が限定されるものではない。
【００１０】
まず、図１を用いて実施形態に係る付着物検出方法の概要について説明する。図１は、付着物検出方法の概要を示す図である。実施形態に係る付着物検出方法は、付着物検出装置１によって実行される。
【００１１】
付着物検出装置１は、例えば、車両Ｃに搭載され、車両Ｃの周囲を撮像する車載カメラ１０（撮像装置）への付着物、具体的には、車載カメラ１０のレンズへの付着物の付着を検出する。
【００１２】
車載カメラ１０は、車両Ｃの周囲を撮像する。車載カメラ１０は、例えば、ＣＣＤ（Charge  Coupled  Device）やＣＭＯＳ(Complementary  Metal  Oxide  Semiconductor)などの撮像素子を備える。車載カメラ１０には、例えば、車両Ｃの前方を撮像するフロントカメラ１０ａ、車両Ｃの後方を撮像するリアカメラ１０ｂ、車両Ｃの左側方を撮影するレフトカメラ１０ｃ、車両Ｃの右側方を撮像するライトカメラ１０ｄが含まれる。
【００１３】
車載カメラ１０のレンズに、泥や、埃など遮光性を有する付着物Ｍが付着すると、車載カメラ１０によって得られた撮像画像Ｉから車両Ｃの周囲の情報、例えば、駐車枠ＬＣや、他車両や、人の情報を取得できず、駐車枠ＬＣや、他車両や、人などを正確に検出することができなくなるおそれがある。図１では、撮像画像Ｉとして、駐車枠ＬＣが写り、レンズに付着物Ｍとして泥が付着した画像を示す。なお、付着物Ｍは、雨滴や、雪片などを含んでもよい。
【００１４】
そのため、実施形態に係る付着物検出装置１は、車載カメラ１０のレンズへの付着物の有無を正確に検出することを目的とする。
【００１５】
付着物検出装置１は、車載カメラ１０によって撮像された撮像画像Ｉを取得する（Ｓ１０）。
【００１６】
付着物検出装置１は、付着物Ｍの付着を検知する対象領域Ｒ０に複数の分割領域Ｒ１を設定する（Ｓ１１）。対象領域Ｒ０は、撮像画像Ｉに対して予め設定された領域であり、レンズに付着物Ｍが付着した場合に、撮像画像Ｉを用いた処理、例えば、駐車枠ＬＣの検出処理や、自動駐車処理などを正確に実行することができなくなる領域である。対象領域Ｒ０は、例えば矩形領域である。
【００１７】
分割領域Ｒ１は、対象領域Ｒ０を縦方向、および横方向に分割することで形成される領域である。分割領域Ｒ１には、複数の画素が含まれる。例えば、分割領域Ｒ１は、４０×４０の画素を含む矩形領域である。
【００１８】
なお、図１の撮像画像Ｉには、一例として、対象領域Ｒ０を縦方向に５つ、および横方向に８つに分割した４０個の分割領域Ｒ１を示すが、これに限られることはない。
【００１９】
付着物検出装置１は、第１差分、および第２差分を算出する（Ｓ１２）。
【００２０】
第１差分は、現在の撮像画像Ｉ（以下、「現在フレームＩ１」と称する場合がある。）の分割領域Ｒ１における輝度の代表値と、現在フレームＩ１の１つ前の処理で取得された撮像画像Ｉ（以下、「過去フレームＩ０」と称する。）の分割領域Ｒ１における輝度の代表値との差分である。代表値とは、具体的には平均値である。なお、第１差分は、絶対値である。
【００２１】
なお、第１差分、および第２差分を算出する際に用いられる、現在フレームＩ１における分割領域Ｒ１、および過去フレームＩ０における分割領域Ｒ１は、対象領域Ｒ０に対して同じ位置となる分割領域Ｒ１である。以下では、このような分割領域Ｒ１を「同一分割領域Ｒ１」と称する。
【００２２】
第２差分は、同一分割領域Ｒ１における輝度のばらつき量の差分である。ばらつき量とは、具体的には標準偏差である。なお、第２差分は、絶対値である。
【００２３】
付着物検出装置１、第１差分、および第２差分に基づいて分割領域Ｒ１における付着物の付着状態の継続性を示すカウンタ値の変更値を設定する（Ｓ１３）。
【００２４】
具体的には、付着物検出装置１は、第１差分が第１所定差分以下であり、かつ第２差分が第２所定差分以下である場合には、カウンタ値の変更値を第１加算値に設定する。
【００２５】
第１所定差分は、付着物Ｍが付着している場合の輝度の代表値の上限差分であり、予め実験などにより設定された差分である。第１所定差分は、例えば、「５」である。
【００２６】
第２所定差分は、付着物Ｍが付着している場合の輝度のばらつき量の上限差分であり、予め実験などにより設定された差分である。第２所定差分は、例えば、「１」である。
【００２７】
第１加算値は、予め設定された値であり、例えば、「＋１」である。
【００２８】
また、付着物検出装置１は、第１差分が第１所定差分よりも大きく、かつ第２差分が第２所定差分よりも大きい場合には、カウンタ値の変更値を第１減算値（第１変更値）に設定する。第１減算値は、予め設定された値であり、例えば、「−５」である。
【００２９】
また、付着物検出装置１は、第１差分が第１所定差分よりも大きく、かつ第２差分が第２所定差分以下である場合には、カウンタ値の変更値を第２減算値（第２変更値）に設定する。第２減算値は、予め設定された値であり、第１減算値よりも小さい値であり、例えば、「−１」である。なお、減算値が小さいとは、減算値の絶対値が小さいことを示す。
【００３０】
付着物検出装置１は、変更値に基づいてカウンタ値を更新し（Ｓ１４）、カウンタ値に基づいて分割領域Ｒ１における付着物Ｍの付着状態を検出する（Ｓ１５）。
【００３１】
具体的には、付着物検出装置１は、カウンタ値が所定カウンタ値以上の場合には、分割領域Ｒ１を付着物Ｍが付着した付着領域として検出する。また、付着物検出装置１は、カウンタ値が所定カウンタ値よりも小さい場合には、分割領域Ｒ１を付着物Ｍが付着していない未着領域として検出する。所定カウンタ値は、予め設定された値である。
【００３２】
付着物検出装置１は、第１差分、および第２差分に基づいてカウンタ値の変更値を設定してカウンタ値を更新し、更新したカウンタ値に基づいて分割領域Ｒ１における付着物Ｍの付着状態を検出する。これにより、付着物検出装置１は、付着物Ｍが付着した分割領域Ｒ１を正確に判定し、付着領域を正確に検出することができる。すなわち、付着物検出装置１は、車載カメラ１０のレンズへの付着物Ｍの付着を正確に検出することができる。
【００３３】
次に、付着物検出装置１について図２を参照し、説明する。図２は、付着物検出装置１の構成を示すブロック図である。
【００３４】
付着物検出装置１は、車載カメラ１０と、車速センサ４０と、各種機器５０とに接続される。なお、図３では、付着物検出装置１は、車載カメラ１０と、各種機器５０とは別体で構成される場合を示したが、これに限らず、車載カメラ１０、および各種機器５０の少なくとも一方と一体で構成されてもよい。
【００３５】
各種機器５０は、付着物検出装置１の検出結果を取得して、車両Ｃの各種制御を行う機器である。各種機器５０は、例えば、車載カメラ１０のレンズに付着物Ｍが付着していることや、ユーザによる付着物Ｍの拭き取り指示を通知する表示装置や、流体や気体等をレンズに向かって噴射して付着物Ｍを除去する除去装置、自動運転等を制御する車両制御装置を含む。
【００３６】
付着物検出装置１は、制御部２と、記憶部３とを備える。制御部２は、取得部２０と、領域設定部２１と、選択部２２と、算出部２３と、変更値設定部２４と、更新部２５と、判定部２６と、検出部２７とを備える。
【００３７】
付着物検出装置１は、たとえば、ＣＰＵ（Central  Processing  Unit）、ＲＯＭ（Read  Only  Memory）、ＲＡＭ（Random  Access  Memory）、データフラッシュ、入出力ポートなどを有するコンピュータや各種の回路を含む。
【００３８】
コンピュータのＣＰＵは、たとえば、ＲＯＭに記憶されたプログラムを読み出して実行することによって、制御部２の取得部２０、領域設定部２１、選択部２２、算出部２３、変更値設定部２４、更新部２５、判定部２６、および検出部２７として機能する。
【００３９】
また、制御部２の取得部２０、領域設定部２１、選択部２２、算出部２３、変更値設定部２４、更新部２５、判定部２６、および検出部２７の少なくともいずれか一つまたは全部をＡＳＩＣ（Application  Specific  Integrated  Circuit）やＦＰＧＡ（Field  Programmable  Gate  Array）等のハードウェアで構成することもできる。また、取得部２０、領域設定部２１、選択部２２、算出部２３、変更値設定部２４、更新部２５、判定部２６、および検出部２７は、統合されてもよく、複数に分けられてもよい。
【００４０】
取得部２０は、車速センサ４０からの信号に基づいて車速を取得する。また、取得部２０は、車載カメラ１０で撮像された画像を取得し、現在の撮像画像Ｉである現在フレームＩ１を生成する。具体的には、取得部２０は、取得した画像における各画素を輝度に応じて白から黒までの各階調に変換するグレースケール化処理を行う。また、取得部２０は、取得した画像に画素の間引き処理を行い、取得した画像よりもサイズが小さい画像を生成する。
【００４１】
また、取得部２０は、間引き処理を施した画像に基づいて、各画素における画素値の和および二乗和の積分画像である現在フレームＩ１を生成する。なお、画素値とは、画素の輝度やエッジに対応する情報である。このように、付着物検出装置１は、取得した画像に対して間引き処理を行い、積分画像を生成することで、後段における処理の計算を高速化できるため、付着物Ｍを検出するための処理時間を短くすることができる。
【００４２】
なお、取得部２０は、各画素について、平均化フィルタなどの平滑化フィルタを用いて平滑化処理を行ってもよい。また、取得部２０は、間引き処理を行わず、取得した画像と同じサイズの現在フレームＩ１を生成（取得）してもよい。
【００４３】
領域設定部２１は、現在フレームＩ１に対して対象領域Ｒ０、および分割領域Ｒ１を設定する。領域設定部２１は、各撮像画像Ｉに対して、対象領域Ｒ０、および分割領域Ｒ１を予め設定された位置に設定する。
【００４４】
選択部２２は、分割領域Ｒ１を選択する。具体的には、選択部２２は、現在フレームＩ１の分割領域Ｒ１の中から、カウンタ値の更新を行っていない分割領域Ｒ１を選択する。
【００４５】
算出部２３は、現在フレームＩ１の対象領域Ｒ０に含まれる各画素の輝度を検出し、現在フレームＩ１の対象領域Ｒ０における輝度の代表値、および輝度のばらつき量を算出する。また、算出部２３は、現在フレームＩ１の各分割領域Ｒ１における輝度の代表値、および輝度のばらつき量を算出する。代表値とは、対象とする領域における輝度の分布における代表的な輝度を示す値であり、具体的には平均値を用いる。平均値の他に、刈込平均、中央値、最頻値などを用いてもよい。ばらつき量とは、対象とする領域における輝度の分布の広がりを表す値であり、具体的には標準偏差を用いる。標準偏差の他に、分散、最大最小幅、四分位幅、任意のパーセンタイル幅を用いてもよい。以降は、代表値として平均値を、ばらつき量として標準偏差を用いる場合について例として説明する。
【００４６】
また、算出部２３は、同一分割領域Ｒ１における輝度の平均値の差分である第１差分を算出する。また、算出部２３は、同一分割領域Ｒ１における輝度の標準偏差の差分である第２差分を算出する。
【００４７】
また、算出部２３は、対象領域Ｒ０に対する付着領域の割合である占有率を算出する。占有率は、付着物Ｍが付着した分割領域Ｒ１である付着領域の面積を合算した値を対象領域Ｒ０の面積で除算することで算出される。なお、占有率は、付着領域の数を対象領域Ｒ０に含まれる分割領域Ｒ１の数で除算することで算出されてもよい。占有率は、例えば、百分率で表される。
【００４８】
なお、算出部２３は、自車両Ｃが写る撮像画像Ｉ、例えば、レフトカメラ１０ｃや、ライトカメラ１０ｄ（図１参照）によって撮像された撮像画像Ｉでは、自車両Ｃが写る分割領域Ｒ１を除外して占有率を算出する。自車両Ｃが写る分割領域Ｒ１は、予め設定される。
【００４９】
変更値設定部２４は、第１差分、および第２差分に基づいて分割領域Ｒ１のカウンタ値の変更値を設定する。変更値設定部２４は、図３に示すように、第１差分、および第２差分に基づいてカウンタ値の変更値を設定する。図３は、カウンタ値の変更値を示す図である。
【００５０】
具体的には、変更値設定部２４は、第１差分が第１所定差分以下であり、かつ第２差分が第２所定差分以下である場合には、変更値を第１加算値（例えば、「＋１」）に設定する。変更値設定部２４は、第１差分が第１所定差分よりも大きく、かつ第２差分が第２所定差分よりも大きい場合には、変更値を第１減算値（例えば、「−５」）に設定する。また、変更値設定部２４は、第１差分が第１所定差分よりも大きく、かつ第２差分が第２所定差分以下である場合には、変更値を第１減算値よりも小さい第２減算値（例えば、「−１」）に設定する。
【００５１】
更新部２５は、分割領域Ｒ１におけるカウンタ値を更新する。更新部２５は、変更値設定部２４によって設定された変更値を現在のカウンタ値に加算、または減算することで、カウンタ値を更新する。なお、カウンタ値には、予め設定された上限カウンタ値、および下限カウンタ値が設けられる。
【００５２】
判定部２６は、車速が所定車速以下であるか否かを判定する。所定車速は、予め設定された車速であり、撮像画像Ｉのぶれが少なく、付着物Ｍを検出可能な撮像画像Ｉを得ることができる車速である。例えば、所定車速は、８０ｋｍ／ｈである。
【００５３】
また、判定部２６は、現在フレームＩ１が低照度画像であるか否かを判定する。具体的には、判定部２６は、現在フレームＩ１の対象領域Ｒ０における輝度の平均値が所定低照度値以下であり、かつ現在フレームＩ１の対象領域Ｒ０における輝度の標準偏差が所定低照度偏差以下であるか否かを判定する。所定低照度値は、予め設定された値であり、例えば、「８５」である。また、所定低照度偏差は、予め設定された値であり、例えば、「５０」である。
【００５４】
判定部２６は、現在フレームＩ１の対象領域Ｒ０における輝度の平均値が所定低照度値以下であり、かつ現在フレームＩ１の対象領域Ｒ０における輝度の標準偏差が所定低照度偏差以下である場合には、現在フレームＩ１が低照度画像であると判定する。また、判定部２６は、現在フレームＩ１の対象領域Ｒ０における輝度の平均値が所定低照度値よりも大きい場合には、現在フレームＩ１が低照度の画像ではない、すなわち非低照度画像であると判定する。また、判定部は、現在フレームＩ１の対象領域Ｒ０における輝度の標準偏差が所定低照度偏差よりも大きい場合には、現在フレームＩ１が非低照度画像であると判定する。
【００５５】
また、判定部２６は、車速が所定車速以下であり、かつ現在フレームＩ１が非低照度画像である場合には、（１）第１差分が第１所定差分以下であるか、および（２）第２差分が第２所定差分以下であるか否かを判定する。
【００５６】
なお、判定部２６は、車速が所定車速よりも大きい場合、または現在フレームＩ１が低照度画像である場合には、（１）、および（２）の判定を行わない。
【００５７】
また、判定部２６は、分割領域Ｒ１が付着領域であるか否かを判定する。具体的には、判定部２６は、現在フレームＩ１の分割領域Ｒ１におけるカウンタ値が所定カウンタ値以上であるか否かを判定する。
【００５８】
判定部２６は、更新部２５によって更新されたカウンタ値が所定カウンタ値以上である場合には、分割領域Ｒ１が付着領域であると判定する。また、判定部２６は、現在フレームＩ１の分割領域Ｒ１におけるカウンタ値が所定カウンタ値よりも小さい場合には、分割領域Ｒ１が付着領域ではなく、未着領域であると判定する。
【００５９】
なお、所定カウンタ値には、ヒステリシスが設けられてもよい。すなわち、分割領域Ｒ１の判定を未着領域から付着領域に変更する場合の所定カウンタ値と、分割領域Ｒ１の判定を付着領域から未着領域に変更する場合の所定カウンタ値とを異なる値（異なる閾値）にしてもよい。
【００６０】
また、判定部２６は、現在フレームＩ１の全ての分割領域Ｒ１に対してカウンタ値の更新を行ったか否かを判定する。
【００６１】
また、判定部２６は、車載カメラ１０のレンズに付着物Ｍが付着しているか否かを判定する。具体的には、判定部２６は、占有率が所定占有率以上であるか否かを判定する。所定占有率は、予め設定された値であり、例えば、４０％である。判定部２６は、占有率が所定占有率以上である場合には、車載カメラ１０のレンズに付着物Ｍが付着していると判定する。また、判定部２６は、占有率が所定占有率よりも小さい場合には、車載カメラ１０のレンズに付着物Ｍが付着していないと判定する。
【００６２】
検出部２７は、付着物Ｍが付着していると判定された分割領域Ｒ１を付着領域として検出する。また、検出部２７は、付着物Ｍが付着していないと判定された分割領域Ｒ１を未着領域として検出する。
【００６３】
なお、検出部２７は、車速が所定車速よりも大きい場合、または現在フレームＩ１が低照度画像である場合には、現在フレームＩ１に対し分割領域Ｒ１に対する付着領域の検出を行わない。
【００６４】
また、検出部２７は、車載カメラ１０のレンズに付着物Ｍが付着していると判定された場合には、車載カメラ１０に対する付着物Ｍの付着を検出する。具体的には、検出部２７は、車載カメラ１０のレンズに付着物Ｍが付着していると判定された場合には、付着物検出フラグを「ＯＮ」にする。また、検出部２７は、車載カメラ１０に付着物Ｍが付着していないと判定された場合には、付着物検出フラグを「ＯＦＦ」にする。
【００６５】
また、検出部２７は、現在フレームＩ１が低照度画像である場合には、付着物検出フラグを「ＯＦＦ」にする。
【００６６】
記憶部３は、たとえば、ＲＡＭやデータフラッシュに対応する。ＲＡＭやデータフラッシュは、分割領域Ｒ１における輝度の平均値や、分割領域Ｒ１における輝度の標準偏差や、分割領域Ｒ１におけるカウンタ値や、第１所定差分などの閾値情報や、各種プログラムの情報などを記憶することができる。なお、付着物検出装置１は、有線や無線のネットワークで接続された他のコンピュータや可搬型記録媒体を介して上記したプログラムや各種情報を取得することとしてもよい。
【００６７】
次に、実施形態に係る付着物検出処理について図４を参照し説明する。図４は、付着物検出処理を説明するフローチャートである。なお、付着物検出処理は、各車載カメラ１０で行われる。
【００６８】
付着物検出装置１は、車載カメラ１０によって撮像した画像から現在フレームＩ１を生成し、対象領域Ｒ０、および分割領域Ｒ１を設定する（Ｓ１００）。付着物検出装置１は、車速を取得する（Ｓ１０１）。
【００６９】
付着物検出装置１は、現在フレームＩ１の対象領域Ｒ０における輝度の平均値と、現在フレームＩ１の対象領域Ｒ０における輝度の標準偏差と、現在フレームＩ１の各分割領域Ｒ１における輝度の平均値と、現在フレームＩ１の各分割領域Ｒ１における輝度の標準偏差とを算出する（Ｓ１０２）。
【００７０】
付着物検出装置１は、車速が所定車速以下であるか否かを判定する（Ｓ１０３）。付着物検出装置１は、車速が所定車速以下である場合には（Ｓ１０３：Ｙｅｓ）、現在フレームＩ１が低照度画像であるか否かを判定する（Ｓ１０４）。付着物検出装置１は、車速が所定車速よりも大きい場合には（Ｓ１０３：Ｎｏ）、今回の処理を終了する。
【００７１】
付着物検出装置１は、現在フレームＩ１が低照度画像ではない場合（Ｓ１０４：Ｎｏ）、すなわち現在フレームＩ１が非低照度画像である場合には、付着領域判定処理を行う（Ｓ１０５）。なお、付着領域判定処理については後述する。
【００７２】
付着物検出装置１は、現在フレームＩ１における占有率を算出する（Ｓ１０６）。付着物検出装置１は、占有率が所定占有率以上であるか否かを判定する（Ｓ１０７）。
【００７３】
付着物検出装置１は、占有率が所定占有率以上である場合には（Ｓ１０７：Ｙｅｓ）、付着物検出フラグを「ＯＮ」にする（Ｓ１０８）。また、付着物検出装置１は、占有率が所定面積よりも小さい場合には（Ｓ１０７：Ｎｏ）、付着検出フラグを「ＯＦＦ」にする（Ｓ１０９）。
【００７４】
付着物検出装置１は、現在フレームＩ１が低照度画像である場合には（Ｓ１０４：Ｙｅｓ）、付着物検出フラグを「ＯＦＦ」にする（Ｓ１１０）。すなわち、付着物検出装置１は、現在フレームＩ１が低照度画像である場合には、付着領域判定処理を行わず、分割領域Ｒ１に対する付着領域の検出を行わない。
【００７５】
次に、付着領域判定処理について図５を参照し説明する。図５は、付着領域判定処理を説明するフローチャートである。
【００７６】
付着物検出装置１は、分割領域Ｒ１を選択する（Ｓ２００）。具体的には、付着物検出装置１は、現在フレームＩ１の分割領域Ｒ１の中から、カウンタ値の更新を行っていない分割領域Ｒ１を選択する。
【００７７】
付着物検出装置１は、選択した分割領域Ｒ１における第１差分、および第２差分を算出する（Ｓ２０１）。なお、付着物検出装置１は、各分割領域Ｒ１における第１差分、および第２差分を予め算出しておき、選択した分割領域Ｒ１に対応する第１差分、および第２差分を読み出してもよい。
【００７８】
付着物検出装置１は、分割領域Ｒ１におけるカウンタ値の変更値を設定する（Ｓ２０２）。付着物検出装置１は、分割領域Ｒ１のカウンタ値を更新する（Ｓ２０３）。付着物検出装置１は、現在のカウンタ値に変更値を加算、または減算し、カウンタ値を更新する。
【００７９】
付着物検出装置１は、カウンタ値が所定カウンタ値以上であるか否かを判定する（Ｓ２０４）。付着物検出装置１は、カウンタ値が所定カウンタ値以上である場合には（Ｓ２０４：Ｙｅｓ）、分割領域Ｒ１を付着領域として検出する（Ｓ２０５）。また、付着物検出装置１は、カウンタ値が所定カウンタ値よりも小さい場合には（Ｓ２０４：Ｎｏ）、分割領域Ｒ１を未着領域として検出する（Ｓ２０６）。
【００８０】
付着物検出装置１は、全ての分割領域Ｒ１に対してカウンタ値の更新を行った場合には（Ｓ２０７：Ｙｅｓ）、付着領域判定処理を終了する。付着物検出装置１は、カウンタ値の更新を行っていない分割領域Ｒ１が有る場合には（Ｓ２０７：Ｎｏ）、新たに分割領域Ｒ１を選択し（Ｓ２００）、上記処理を繰り返す。
【００８１】
付着物検出装置１は、同一分割領域Ｒ１における輝度の平均値の第１差分、輝度の標準偏差の第２差分に基づいて分割領域Ｒ１におけるカウンタ値の変更値を設定する。そして、付着物検出装置１は、変更値に基づいてカウンタ値を更新し、カウンタ値に基づいて分割領域Ｒ１における付着物Ｍの付着状態を検出する。
【００８２】
これにより、付着物検出装置１は、同一分割領域Ｒ１における輝度の平均値の第１差分、輝度の標準偏差の第２差分に基づいてカウンタ値に基づいて設定されるカウンタ値の変更値を用いてカウンタ値を更新することで、分割領域Ｒ１への付着物の付着状態を正確に検出することができる。すなわち、付着物検出装置１は、分割領域Ｒ１における付着物Ｍの付着を正確に検出することができる。また、付着物検出装置１は、車載カメラ１０でゲイン補正が行われた場合であっても、分割領域Ｒ１における付着物Ｍの付着を正確に検出することができる。そのため、付着物検出装置１は、車載カメラ１０のレンズへの付着物Ｍの付着を正確に検出することができる。
【００８３】
例えば、図６Ａに示す撮像画像Ｉにおいて、車載カメラ１０に付着した付着物Ｍが拭き取られた場合には、図６Ｂに示すように、撮像画像Ｉには背景全体が写される。図６Ａは、付着物Ｍが付着した撮像画像Ｉの一例である。図６Ｂは、図６Ａの撮像画像Ｉに対し、付着物Ｍが拭き取られた場合の撮像画像Ｉの一例である。
【００８４】
背景が、例えば、アスファルトの路面（図６Ａ、および図６Ｂにおけるハッチング領域）である場合には、付着物Ｍが付着した分割領域Ｒ１では、付着物Ｍが無くなる前後（例えば、付着物Ｍの拭き取り前後）において第１差分が第１所定差分よりも大きくなるが、第２差分が第２所定差分以下となることがある。
【００８５】
また、車載カメラ１０でゲイン補正が行われた場合には、付着物Ｍが付着した分割領域Ｒ１では、ゲイン補正の前後において第１差分が第１所定差分よりも大きくなるが、第２差分が第２所定差分以下となることがある。
【００８６】
このように、同一分割領域Ｒ１において輝度の平均値の差分である第１差分が第１所定差分よりも大きくなり、かつ輝度の標準偏差の差分である第２差分が第所定差分以下である場合には、実際に付着物Ｍが無くなったか否かを判断することが困難な場合がある。
【００８７】
これに対し、付着物検出装置１は、第１差分が第１所定差分よりも大きく、かつ第２差分が第２所定差分よりも大きい場合には、カウンタ値の変更値を第１減算値に設定する。また、付着物検出装置１は、第１差分が第１所定差分よりも大きく、かつ第２差分が第２所定差分以下である場合には、カウンタ値の変更値を、第１減算値よりも小さい第２減算値に設定する。
【００８８】
これにより、付着物検出装置１は、同一分割領域Ｒ１において輝度の平均値の差分である第１差分が第１所定差分よりも大きくなり、かつ輝度の標準偏差の差分である第２差分が第所定差分以下である場合に、カウンタ値が大きく減少することを抑制することができる。従って、付着物検出装置１は、付着物Ｍが無くなったか否か不明な場合に、カウンタ値が大きく変更されることを抑制することができる。すなわち、付着物検出装置１は、付着物Ｍの除去、例えば、付着物Ｍの拭き取りに対する誤判定の発生を抑制することができる。
【００８９】
変形例に係る付着物検出装置１は、分割領域Ｒ１における輝度の平均値に基づいてカウンタ値を設定してもよい。すなわち、変形例に係る付着物検出装置１は、第１差分、第２差分、および分割領域Ｒ１における輝度の平均値に基づいてカウンタ値を設定してもよい。
【００９０】
変形例に係る付着物検出装置１では、車載カメラ１０のゲイン補正の他にも、輝度や、色、明るさを補正する処理に対応して、第１所定差分や、変更値などが設定されてもよい。
【００９１】
また、変形例に係る付着物検出装置１では、車載カメラ１０毎に第１所定差分や、変更値などが設定されてもよい。
【００９２】
なお、カウンタ値を更新する変更値は、車載カメラ１０の性能に応じて設定されてもよい。
【００９３】
また、変形例に係る付着物検出装置１は、例えば、第１差分が第１所定差分以下であり、かつ第２差分が第２所定差分以下である場合には、変更値を減算値とし、第１差分が第１所定差分よりも大きく、かつ第２差分が第２所定差分よりも大きい場合には、変更値を加算値としてもよい。変形例に係る付着物検出装置１は、カウンタ値が所定のカウンタ値以下の場合に、分割領域Ｒ１を付着領域として検出してもよい。
【００９４】
さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。従って、添付の特許請求の範囲およびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。
【符号の説明】
【００９５】
１    付着物検出装置
２    制御部
３    記憶部
１０  車載カメラ（撮像装置）
２０  取得部
２１  領域設定部
２３  算出部
２４  変更値設定部
２５  更新部
２６  判定部
２７  検出部
【図１】
2020108092.tif 000003
【図２】
2020108092.tif 000004
【図３】
2020108092.tif 000005
【図４】
2020108092.tif 000006
【図５】
2020108092.tif 000007
【図６Ａ】
2020108092.tif 000008
【図６Ｂ】
2020108092.tif 000009