(57)【要約】【課題】付着物を高精度に検出することができる付着物検出装置および付着物検出方法を提供すること。【解決手段】実施形態に係る付着物検出装置は、分割部と、判定部とを備える。分割部は、撮像装置によって撮像された時系列の撮像画像を水平方向より鉛直方向への長さが長い縦長領域に分割する。判定部は、分割部によって分割された縦長領域に含まれる画素の輝度に関する輝度情報を取得し、当該輝度情報の時間変化に伴う変化が所定の付着条件を満たす場合に、当該縦長領域が付着物領域であると判定する。【選択図】図２
2019106643.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置によって撮像された時系列の撮像画像それぞれを水平方向より鉛直方向への長さが長い縦長領域に分割する分割部と、
前記分割部によって分割された前記縦長領域に含まれる画素の輝度に関する輝度情報を取得し、当該輝度情報の時間変化に伴う変化が所定の付着条件を満たす場合に、当該縦長領域が付着物領域であると判定する判定部と
を備えることを特徴とする付着物検出装置。
【請求項２】
前記縦長領域に含まれる前記画素を前記輝度毎に分類したヒストグラムを生成し、当該ヒストグラムにおける前記輝度の分布範囲に関する分布情報を含む前記輝度情報を生成する生成部をさらに備え、
前記判定部は、
前記生成部によって生成された前記輝度情報に基づき、前記分布範囲の時間変化に伴う変化が前記付着条件を満たすか否かを判定すること
を特徴とする請求項１に記載の付着物検出装置。
【請求項３】
前記生成部は、
前記ヒストグラムにおける前記輝度の最大値と最小値との比率であるコントラスト比を算出し、当該コントラスト比を含む前記輝度情報を生成し、
前記判定部は、
前記コントラスト比の時間変化に伴う変化が前記付着条件を満たすか否かを判定すること
を特徴とする請求項２に記載の付着物検出装置。
【請求項４】
前記撮像装置は、
車両の側面側に設けられ、
前記判定部は、
前記車両が走行中である場合、前記付着条件を満たす前記縦長領域を前記撮像装置におけるレンズの曇りによる前記付着物領域であると判定すること
を特徴とする請求項１〜３のいずれか１つに記載の付着物検出装置。
【請求項５】
前記分割部は、
前記車両の進行方向に沿う向きで複数の前記縦長領域が並ぶように分割し、
前記判定部は、
前記進行方向の後方側の前記縦長領域よりも前記進行方向の前方側の前記縦長領域を優先して判定処理を行うこと
を特徴とする請求項４に記載の付着物検出装置。
【請求項６】
撮像装置によって撮像された時系列の撮像画像それぞれを水平方向より鉛直方向への長さが長い縦長領域に分割する分割工程と、
前記分割工程によって分割された前記縦長領域に含まれる画素の輝度に関する輝度情報を取得し、当該輝度情報の時間変化に伴う変化が所定の付着条件を満たす場合に、当該縦長領域が付着物領域であると判定する判定工程と
を含むことを特徴とする付着物検出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、付着物検出装置および付着物検出方法に関する。
【背景技術】
【０００２】
従来、例えば、車載カメラで撮像された撮像画像に基づいてカメラレンズに付着した異物を検出する付着物検出装置が知られている。付着物検出装置は、例えば、撮像画像を縦方向および横方向に分割し、分割した領域の輝度分布に基づいて付着物領域を検出する技術が提案されている（たとえば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１２−２８９９２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の技術では、付着物を高精度に検出する点で改善の余地があった。例えば、縦方向および横方向に分割された領域を用いて、車両側面に設けられたサイドカメラのレンズの曇りを検出しようとした場合、撮像画像の左右方向へ広がる傾向にある曇りを高精度に検出できない場合がある。
【０００５】
本発明は、上記に鑑みてなされたものであって、付着物を高精度に検出することができる付着物検出装置および付着物検出方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上述した課題を解決し、目的を達成するために、本発明に係る付着物検出装置は、分割部と、判定部とを備える。前記分割部は、撮像装置によって撮像された時系列の撮像画像それぞれを水平方向より鉛直方向への長さが長い縦長領域に分割する。前記判定部は、前記分割部によって分割された前記縦長領域に含まれる画素の輝度に関する輝度情報を取得し、当該輝度情報の時間変化に伴う変化が所定の付着条件を満たす場合に、当該縦長領域が付着物領域であると判定する。
【発明の効果】
【０００７】
本発明によれば、付着物を高精度に検出することができる。
【図面の簡単な説明】
【０００８】
【図１】図１は、実施形態に係る付着物検出方法の概要を示す図である。
【図２】図２は、実施形態に係る付着物検出装置の構成を示すブロック図である。
【図３】図３は、撮像装置の配置例を示す図である。
【図４】図４は、分割部による縦長領域の分割例を示す図である。
【図５】図５は、生成部の処理内容を説明する図である。
【図６】図６は、判定部の判定処理を説明する図である。
【図７】図７は、判定部の判定処理を説明する図である。
【図８】図８は、実施形態に係る付着物検出装置が実行する処理の処理手順を示すフローチャートである。
【図９】図９は、変形例に係る分割部の分割例を示す図である。
【図１０】図１０は、変形例に係る分割部の分割例を示す図である。
【発明を実施するための形態】
【０００９】
以下、添付図面を参照して、本願の開示する付着物検出装置および付着物検出方法の実施形態を詳細に説明する。なお、この実施形態により本発明が限定されるものではない。また、以下では、付着物検出装置は、車両の左または右側面に設けられた撮像装置（以下、サイドカメラと記載する場合がある）に付着した付着物を検出する場合を一例に挙げて説明するが、付着物検出装置の対象は、サイドカメラに限定されず、車両の前部または後部の撮像装置であってもよい。また、車載の撮像装置に限定されず、例えば、人が持ち運び可能な可搬性の撮像装置や、店舗等に取り付けられる監視カメラ等の撮像装置であってもよい。
【００１０】
まず、図１を用いて実施形態に係る付着物検出方法の概要について説明する。図１は、実施形態に係る付着物検出方法の概要を示す図である。図１には、撮像装置によって撮像された時系列の撮像画像Ｐ１，Ｐ２を示している。実施形態に係る付着物検出方法では、時系列の撮像画像Ｐ１，Ｐ２に基づいて撮像装置のレンズに付着した付着物を検出する。かかる付着物として、例えば、雨や雪、泥水、あるいは周囲の温度変化によるレンズの曇り等がある。なお、図１では、時刻ｔ１における撮像画像Ｐ１は、レンズの曇りが発生しておらず、時刻ｔ２における撮像画像Ｐ２でレンズの曇りが左端に発生したこととする。
【００１１】
ここで、従来の付着物検出方法によって、サイドカメラのレンズの曇りを検出する場合について説明する。なお、サイドカメラにおけるレンズの曇りは、例えば、車両が外部からトンネル等の建物内に入る際に急激な温度変化によって発生し、さらにかかる曇りは車両の進行方向の前方側から後方側に向かって広がる傾向にある。つまり、レンズの曇りは、撮像画像の左右方向へ広がるように発生する。
【００１２】
従来の付着物検出方法は、撮像画像を水平方向（上下方向）および鉛直方向（左右方向）で分割し、分割した領域毎の輝度分布から付着物（曇り）の有無の判定を行っていた。つまり、従来は、上下左右に分割されることで、分割された領域が鉛直方向よりも水平方向への長さが長い横長領域として、輝度分布による判定処理を行っていた。
【００１３】
しかしながら、横長領域の輝度分布で判定処理を行う場合、曇りが横長領域の水平方向へ広がることとなるため、付着物と判定されるまでに水平方向への長さ分だけ時間を要することとなる。このため、特に、レンズの曇り始めを高精度に検出できないおそれがあった。また、例えば、雨等の付着物もレンズの凸形状や重力の作用により、鉛直方向に流れる傾向にあり、横長領域を用いた判定処理では高精度に検出できるとは言えなかった。
【００１４】
そこで、実施形態に係る付着物検出方法では、撮像画像Ｐ１，Ｐ２を縦長の領域となるように分割して判定処理を行うこととした。具体的には、図１に示すように、実施形態に係る付着物検出方法では、まず、時系列の撮像画像Ｐ１，Ｐ２の領域を水平方向（左右方向）より鉛直方向（上下方向）への長さが長い縦長領域Ｖａ，Ｖｂに分割する（ステップＳ１）。図１に示す例は、各撮像画像Ｐ１，Ｐ２を４つの縦長領域に分割しているが、３つ以下でも、５つ以上でもよい。また、図１のように撮像画像Ｐ１，Ｐ２の領域全体を縦方向に分割する必要はなく、撮像画像Ｐ１，Ｐ２の一部の領域を縦長領域Ｖａ，Ｖｂに分割してもよい。
【００１５】
つづいて、実施形態に係る付着物検出方法では、分割した縦長領域Ｖａ，Ｖｂに含まれる画素の輝度に関する輝度情報１００ａ，１００ｂを取得し、かかる輝度情報１００ａ，１００ｂの時間変化に伴う変化が所定の付着条件を満たす場合に、付着物領域と判定する（ステップＳ２）。
【００１６】
図１に示す例では、縦長領域Ｖａ，Ｖｂ毎について、輝度毎に画素を分類したヒストグラムを生成し、かかるヒストグラムにおける輝度の分布範囲Ｒａ，Ｒｂに関する分布情報を含む輝度情報１００ａ，１００ｂの変化に基づいて付着物の判定処理を行う。具体的には、実施形態に係る付着物検出方法では、分布範囲Ｒｂが分布範囲Ｒａよりも所定値以上狭くなった場合に、縦長領域Ｖｂを付着物領域であると判定する。なお、判定方法は、分布範囲Ｒａ，Ｒｂ以外に、標準偏差やコントラスト比を採用できるがかかる点については後述する。
【００１７】
つまり、付着物が付着することによって縦長領域Ｖａ，Ｖｂの輝度分布が時間の経過に従って狭くなる現象を利用して付着物領域を判定する。なお、輝度情報１００ａ，１００ｂを利用した詳細な判定処理については後述する。
【００１８】
このように、実施形態に係る付着物検出方法では、縦長領域Ｖａ，Ｖｂに分割することで、特に、左右方向に広がる曇りを早期にかつ正確に検出することができる。これは、雨等が鉛直方向へ流れる場合でも縦長領域Ｖａ，Ｖｂに分割することで高感度に検出できる。従って、実施形態に係る付着物検出方法によれば、付着物を高精度に検出することができる。
【００１９】
例えば、自動駐車支援や追従走行支援などに用いられる車載カメラにおいて、付着物（雨滴、雪、曇り、泥、カメラレンズ上に付着した異物、写り込むなどの異物など）によって撮影された画像が影響を受けるおそれある。しかし、必ずしも付着物があるからといって走行に影響するとは限らず、付着物の付着位置や程度によっては撮像画像から走行支援に十分な情報を提供できる場合もある。したがって、単純に撮影画像に付着物があるか否かの判定ではなく、付着物の領域や程度を精度良く検出することが求められている。
【００２０】
実施形態に係る付着物検出方法では、前述した通り、付着物が付着することによって縦長領域Ｖａ，Ｖｂの輝度分布が時間の経過に従って狭くなる現象を利用して付着物領域を判定するため、特に、左右方向に広がる曇りを早期にかつ正確に検出することができる。
【００２１】
また、実施形態に係る付着物検出方法は、特にサイドカメラに適しているため、サイドカメラをサイドミラーとして利用する、いわゆるミラーレス車両のカメラに適用することができる。
【００２２】
なお、以下では、撮像画像Ｐ１，Ｐ２や、縦長領域Ｖａ，Ｖｂ、輝度情報１００ａ，１００ｂを特に区別しない場合、単に「撮像画像Ｐ」、「縦長領域Ｖ」および「輝度情報１００」と記載する場合がある。
【００２３】
次に、図２を参照して、実施形態に係る付着物検出装置の構成について詳細に説明する。図２は、実施形態に係る付着物検出装置１の構成を示すブロック図である。図２に示すように、実施形態に係る付着物検出装置１は、例えば、撮像装置（左側）１０ａと、撮像装置（右側）１０ｂと、除去装置１１と、制御装置１２とに接続される。
【００２４】
撮像装置（左側）１０ａおよび撮像装置（右側）１０ｂは、例えば、ＣＣＤ（Charge  Coupled  Device）やＣＭＯＳ（Complementary  Metal  Oxide  Semiconductor）などの撮像素子を備えた車載カメラである。また、撮像装置（左側）１０ａおよび撮像装置（右側）１０ｂは、魚眼レンズ等の広角レンズを備えており、車両Ｃの周囲を広範囲に撮像することが可能である。なお、以下では、撮像装置（左側）１０ａおよび撮像装置（右側）１０ｂを特に区別しない場合、単に「撮像装置１０」と記載する。
【００２５】
ここで、図３を用いて、撮像装置１０の車両Ｃにおける配置例について説明する。図３は、撮像装置１０の配置例を示す図である。撮像装置（左側）１０ａおよび撮像装置（右側）１０ｂは、それぞれ車両Ｃの左方および右方にそれぞれ配置される。
【００２６】
撮像装置（左側）１０ａは、車両Ｃの左側方を撮像し、撮像装置（右側）１０ｂは、車両Ｃの右側方を撮像する。なお、図３では、撮像装置（左側）１０ａおよび撮像装置（右側）１０ｂは、車両Ｃの左または右の真横を撮像範囲（破線で示す領域）としているが、撮像範囲は、これに限定されず、車両Ｃのやや前方または後方寄りの側方を含むような範囲であってもよい。
【００２７】
また、図３では、撮像装置（左側）１０ａおよび撮像装置（右側）１０ｂは、車両Ｃの側方にそれぞれ１つずつ配置される場合を示したが、車両Ｃのそれぞれの側方に２つ以上配置されてもよい。また、図３では、車両Ｃの側方にのみ撮像装置１０が配置される場合を示したが、撮像装置１０が車両Ｃの前部側や後部側にも配置されてもよい。
【００２８】
図２に戻って除去装置１１について説明する。除去装置１１は、付着物検出装置１によって撮像装置１０への付着物が検出された場合、かかる付着物を除去する装置である。除去装置１１は、例えば圧縮した空気や、ウォッシャ液を撮像装置１０のレンズへ向けて噴出させたり、カメラワイパで撮像装置１０のレンズを拭ったりしてもよい。
【００２９】
制御装置１２は、付着物検出装置１の検出結果に基づいて、例えば車両に搭載された制御システムを制御する。例えば、制御装置１２は、付着物検出装置１によって付着物が検出された場合に、自動運転に係る制御装置を自動運転から手動運転に切り替えたり、車両周囲の障害物等を検知する検知システム等の機能を停止したり、運転者に対して付着物の除去を通知したりする。
【００３０】
実施形態に係る付着物検出装置１は、制御部２と、記憶部３とを備える。制御部２は、取得部２１と、分割部２２と、生成部２３と、判定部２４とを備える。記憶部３は、画像情報３１と、閾値情報３２とを記憶する。
【００３１】
ここで、付着物検出装置１は、たとえば、ＣＰＵ（Central  Processing  Unit）、ＲＯＭ（Read  Only  Memory）、ＲＡＭ（Random  Access  Memory）、ＨＤＤ（Hard  Disk  Drive）、入出力ポートなどを有するコンピュータや各種の回路を含む。
【００３２】
コンピュータのＣＰＵは、たとえば、ＲＯＭに記憶されたプログラムを読み出して実行することによって、制御部２の取得部２１、分割部２２、生成部２３および判定部２４として機能する。
【００３３】
また、制御部２の取得部２１、分割部２２、生成部２３および判定部２４の少なくともいずれか一つまたは全部をＡＳＩＣ（Application  Specific  Integrated  Circuit）やＦＰＧＡ（Field  Programmable  Gate  Array）等のハードウェアで構成することもできる。
【００３４】
また、記憶部３は、たとえば、ＲＡＭやＨＤＤに対応する。ＲＡＭやＨＤＤは、画像情報３１や、閾値情報３２、各種プログラムの情報等を記憶することができる。なお、付着物検出装置１は、有線や無線のネットワークで接続された他のコンピュータや可搬型記録媒体を介して上記したプログラムや各種情報を取得することとしてもよい。
【００３５】
記憶部３に記憶される画像情報３１は、後述の取得部２１が取得した各時刻における撮像画像Ｐが時系列に並べられた情報である。なお、画像情報３１は、記憶部３の記憶容量が一杯になった場合に、最も古い時刻の撮像画像Ｐを削除する先入れ先出し方式により更新される情報である。
【００３６】
閾値情報３２は、後述の判定部２４の判定基準となる閾値を含む情報である。例えば、閾値情報３２は、輝度の分布範囲の変化量に関する閾値を含む。なお、閾値情報３２のより詳細については後述する。
【００３７】
制御部２は、撮像画像Ｐを縦長領域Ｖに分割し、かかる縦長領域Ｖ毎に輝度情報１００の時間変化に伴う変化に基づいて付着物の判定処理を行う。
【００３８】
取得部２１は、撮像装置１０によって一定間隔で撮像された撮像画像Ｐを取得して、画像情報３１として記憶する。
【００３９】
分割部２２は、画像情報３１に含まれる時系列の撮像画像Ｐの領域を水平方向より鉛直方向への長さが長い縦長領域Ｖに分割する。ここで、図４を用いて、分割部２２による縦長領域Ｖの分割例について説明する。
【００４０】
図４は、分割部２２による縦長領域Ｖの分割例を示す図である。図４に示す撮像画像Ｐには、車両Ｃのボディ部Ｃａと、白線ＷＬと、車両Ｃの側方にある壁Ｗを示している。また、図４では、撮像画像Ｐの領域ＲＶを４つの縦長領域Ｖ１〜Ｖ４に分割する場合を示す。
【００４１】
図４に示すように、分割部２２は、まず、付着物の検知範囲となる領域ＲＶを設定する。例えば、分割部２２は、車両Ｃのボディ部Ｃａや撮像画像Ｐの周縁部を除き、かつ、壁Ｗや白線ＷＬ等の制御装置１２における対象物を含む可能性が高い領域ＲＶを設定する。
【００４２】
設定される領域ＲＶの鉛直方向（上下方向）の長さは、縦長領域Ｖ１〜Ｖ４の鉛直方向の長さに相当する。また、領域ＲＶの水平方向（左右方向）の長さは、縦長領域Ｖ１〜Ｖ４の水平方向の長さの総和に相当する。
【００４３】
例えば、分割部２２は、領域ＲＶを所定の分割数で等分する場合、領域ＲＶの水平方向（左右方向）の長さを分割数で除することで、縦長領域Ｖ１〜Ｖ４の１つあたりの水平方向長さを決定する。なお、分割数は、予め定められた固定値であってもよく、各種の情報に基づいて動的に変えてもよい。なお、分割数を動的に変える例については、図９および図１０で後述する。
【００４４】
また、分割部２２による分割処理のタイミングは任意である。例えば、分割部２２は、常時一定間隔で分割処理を行って、後述する生成部２３へ出力してもよく、あるいは所定のタイミングが到来した場合に、分割処理を行ってもよい。
【００４５】
かかるタイミングの一例として、例えば、運転者によるボタンの押下等の手動操作がある。あるいは、車両Ｃの所定の制御が行われるタイミングでもよい。例えば、駐車場等で動作開始する自動駐車等の自動運転に関する制御が行われるタイミングで分割処理が行われてもよい。
【００４６】
また、例えば、分割部２２は、運転者のウインカー操作をトリガーにして分割処理を開始してもよい。例えば、左ウインカーを作動させた場合、撮像装置（左側）１０ａの撮像画像Ｐのみ分割処理を行ってもよい。
【００４７】
図２に戻って生成部２３について説明する。生成部２３は、分割部２２によって分割された縦長領域Ｖ毎に輝度情報１００を生成する。輝度情報１００は、縦長領域Ｖに含まれる画素の輝度に関する情報である。
【００４８】
ここで、図５を用いて、生成部２３の処理内容について説明する。図５は、生成部２３の処理内容を説明する図である。図５では、画素の輝度が横軸であり、度数が縦軸であるヒストグラムを示す。かかるヒストグラムは、生成部２３によって縦長領域Ｖ毎に生成される。
【００４９】
例えば、生成部２３は、かかるヒストグラムにおける輝度の最大値「Ｌｍａｘ」および最小値「Ｌｍｉｎ」に基づく分布範囲Ｒに関する分布情報を生成する。例えば、分布範囲Ｒは、輝度の最大値「Ｌｍａｘ」および最小値「Ｌｍｉｎ」の差分である。
【００５０】
また、生成部２３は、分布範囲Ｒに関する分布情報として、コントラスト比を算出してもよい。具体的には、生成部２３は、最小値「Ｌｍｉｎ」に対する最大値「Ｌｍａｘ」の比率をコントラスト比として算出し、輝度情報１００に含ませてもよい。
【００５１】
あるいは、コントラスト比を以下の式で算出してもよい。すなわち、コントラスト比＝（Ｌｍａｘ−Ｌｍｉｎ）／（Ｌｍａｘ＋Ｌｍｉｎ）で算出してもよい。このように、コントラスト比を輝度情報１００として生成することで、輝度の分布範囲Ｒをより正確に表現することができるため、後述の判定部２４による判定精度を向上させることができる。
【００５２】
なお、図５では、輝度の最大値「Ｌｍａｘ」および最小値「Ｌｍｉｎ」をヒストグラムにおける両端に設定したが、これに限定されず、度数が所定の閾値以上である輝度の中から最大値「Ｌｍａｘ」および最小値「Ｌｍｉｎ」を設定してもよい。
【００５３】
また、生成部２３は、コントラスト比以外に、輝度の標準偏差や、ヒストグラムの分布の鋭さを示す尖度を算出し、輝度情報１００に含ませてもよい。
【００５４】
図２に戻って判定部２４について説明する。判定部２４は、生成部２３によって生成された輝度情報１００および閾値情報３２に基づいて付着物の有無を判定する。具体的には、判定部２４は、縦長領域Ｖにおける輝度情報１００の時間変化に伴う変化が所定の付着条件を満たす場合に、かかる縦長領域Ｖが付着物の存在する付着物領域であると判定する。付着条件は、例えば、閾値情報３２に含まれる閾値である。
【００５５】
ここで、図６および図７を用いて、判定部２４の判定処理についてさらに説明する。図６および図７は、判定部２４の判定処理を説明する図である。図６には、時刻ｔ１〜ｔ３で生成された３つのヒストグラムを示しており、時刻ｔ１が最も古く、時刻ｔ３が最も新しい。
【００５６】
例えば、時刻ｔ１から時刻ｔ２において、判定部２４は、分布範囲Ｒａおよび分布範囲Ｒｂの単位時間あたりの変化量を算出する。そして、判定部２４は、分布範囲Ｒｂが閾値情報３２の閾値以上狭くなった場合、すなわち、時刻ｔ１の分布範囲Ｒａと時刻ｔ２の分布範囲Ｒｂの単位時間あたりの変化量が閾値以上となった場合、付着条件を満たすとし、縦長領域Ｖを付着物領域（曇りが発生）と判定する。つまり、付着物により撮像画像Ｐがぼやける（分布範囲が狭くなる）という特性を利用して判定処理を行うことで、付着物を的確に判定できる。
【００５７】
つづいて、判定部２４は、縦長領域Ｖが付着物領域であると判定した後において、かかる縦長領域Ｖにおいて付着物領域が解消されたか否かを判定する。すなわち、レンズの曇りが解消されたか否か、あるいは除去装置１１によって付着物が除去されたか否かを判定する。
【００５８】
具体的には、時刻ｔ２から時刻ｔ３において、判定部２４は、分布範囲Ｒｂおよび分布範囲Ｒｃの単位時間あたりの変化量を算出する。そして、判定部２４は、分布範囲Ｒｃが閾値情報３２の閾値以上広くなった場合、すなわち、時刻ｔ２の分布範囲Ｒｂと時刻ｔ３の分布範囲Ｒｃとの単位時間あたりの変化量が閾値以上となった場合、解除条件を満たすと判定する。これにより、判定部２４は、判定処理を行った縦長領域Ｖが付着物領域ではない（曇りが解消）、あるいは除去装置１１によって付着物が除去されたと判定する。
【００５９】
なお、閾値情報３２は、付着条件と解除条件とで閾値が同じであってもよく、異ならせてもよい。例えば、制御装置１２の停止にかかる時間を考慮して、付着条件の閾値を解除条件の閾値よりも低く（厳しく）設定して付着物領域を早めに検出できるようにしてもよい。
【００６０】
次に、図７を用いて、複数の縦長領域Ｖの判定順序について説明する。図７には、車両Ｃが走行中である場合に、撮像装置（左側）１０ａによって時刻ｔ１〜ｔ３で撮像された撮像画像Ｐ１〜Ｐ３を示している。また、各撮像画像Ｐ１〜Ｐ３において、右側が進行方向の前方側であることとする。すなわち、図７に示す例では、複数の縦長領域Ｖは、進行方向に沿って並ぶように分割される。
【００６１】
時刻ｔ２において、判定部２４は、図７に示す処理の流れ（図中矢印）の順で判定処理を行う。つまり、判定部２４は、進行方向の前方側の縦長領域（例えば、縦長領域Ｖ２４）を進行方向の後方側の縦長領域（例えば、縦長領域Ｖ２１）よりも優先して判定処理する。具体的には、判定部２４は、縦長領域Ｖ２４、縦長領域Ｖ２３、縦長領域Ｖ２２および縦長領域Ｖ２１の順に判定処理を行う。
【００６２】
つまり、判定部２４は、撮像装置１０がサイドカメラである場合、レンズの曇りが進行方向の前方側から発生し始める傾向にあることを利用して判定順序を決定する。これにより、早期に曇り始めを検出することができる。
【００６３】
図７に示す例では、判定部２４は、まず、縦長領域Ｖ２４および縦長領域Ｖ１４の輝度情報１００を比較し、縦長領域Ｖ２４が付着物領域である（曇り有り）と判定したとする。つづいて、判定部２４は、縦長領域Ｖ２３および縦長領域Ｖ１３の輝度情報１００を比較し、縦長領域Ｖ２３が付着物領域ではない（曇り無し）と判定したとする。
【００６４】
かかる場合、判定部２４は、縦長領域Ｖ２２および縦長領域Ｖ２１については判定処理を行わなくてもよい。つまり、判定部２４は、進行方向の前方側にある縦長領域Ｖ２３において曇り無しと判定された場合、かかる縦長領域Ｖ２３よりも後方側にある縦長領域Ｖ２２，Ｖ２１については判定処理を行わない。
【００６５】
すなわち、判定部２４は、進行方向とは逆向きに広がるレンズの曇りが縦長領域Ｖ２３まで到達していないことが確認できた場合、判定処理を停止する。これにより、レンズの曇りを早期に検出しつつ、判定処理による処理負荷が嵩むことを防止できる。
【００６６】
つづいて、時刻ｔ３において、撮像画像Ｐ３が入力されたとする。かかる場合、判定部２４は、時刻ｔ２ですでに付着物領域として検出された位置の縦長領域Ｖ３４については判定処理を行わず、他の縦長領域Ｖ３１〜Ｖ３３のみ判定処理を行う。
【００６７】
つまり、判定部２４は、判定対象である縦長領域Ｖ３１〜Ｖ３３と時刻ｔ１の縦長領域Ｖ１１〜Ｖ１３とを比較する。すなわち、既に付着物領域として検出された縦長領域Ｖ３４を判定対象から除外することで、判定部２４の処理負荷が嵩むことを防止できる。
【００６８】
また、判定部２４は、時刻ｔ３において、縦長領域Ｖ３１〜Ｖ３３の判定処理を行う場合、時刻ｔ２の縦長領域Ｖ２１〜Ｖ２３よりも時刻ｔ１の縦長領域Ｖ１１〜Ｖ１３を比較対象として用いることが好ましい。
【００６９】
これは、時刻ｔ２では、縦長領域Ｖ２１〜Ｖ２３が付着物領域とは判定されないものの、曇り始めている可能性があるため、縦長領域Ｖ２１〜Ｖ２３よりも縦長領域Ｖ１１〜Ｖ１３を比較対象とすることで、分布範囲Ｒの変化を大きくできる。すなわち、縦長領域Ｖ２１〜Ｖ２３ではなく縦長領域Ｖ１１〜Ｖ１３を比較対象とすることで、検出精度を高めることができる。
【００７０】
なお、時刻ｔ３において、判定部２４は、まず、縦長領域Ｖ３３に対して判定処理を行うこととなるが、仮に、時刻ｔ３において、縦長領域Ｖ３３が付着物領域ではないと判定した場合、縦長領域Ｖ３３の次の判定順序を縦長領域Ｖ３４にする。
【００７１】
つまり、判定部２４は、時刻ｔ３において、縦長領域Ｖ３３が付着物領域ではないと判定した場合、縦長領域Ｖ３４の付着物領域が解消されている可能性があるため、縦長領域Ｖ３４の判定処理を行う。これにより、判定部２４の処理負荷を抑えつつ、早期に付着物領域の解消を検出することができる。
【００７２】
このように、車両Ｃが走行中である場合に、縦長領域Ｖを利用してレンズの曇りの判定することで、レンズの曇りにより撮像画像Ｐが利用可能か否かを制御装置１２が容易に判断することができる。
【００７３】
次に、図８を用いて、実施形態に係る付着物検出装置１が実行する処理の処理手順について説明する。図８は、実施形態に係る付着物検出装置１が実行する処理の処理手順を示すフローチャートである。
【００７４】
図８に示すように、まず、取得部２１は、撮像装置１０によって撮像された時系列の撮像画像Ｐを取得する（ステップＳ１０１）。つづいて、分割部２２は、時系列の撮像画像Ｐの領域ＲＶを水平方向より鉛直方向への長さが長い縦長領域Ｖに分割する（ステップＳ１０２）。
【００７５】
つづいて、生成部２３は、分割部２２によって分割された縦長領域Ｖに含まれる画素の輝度に関する輝度情報１００を生成する（ステップＳ１０３）。つづいて、判定部２４は、生成部２３によって生成された輝度情報１００の時間変化に伴う変化が所定の付着条件を満たすか否かを判定する（ステップＳ１０４）。
【００７６】
判定部２４は、輝度情報１００の時間変化に伴う変化が所定の付着条件を満たすと判定した場合（ステップＳ１０４，Ｙｅｓ）、縦長領域Ｖが付着物領域であると判定し（ステップＳ１０５）、処理を終了する。
【００７７】
一方、判定部２４は、輝度情報１００の時間変化に伴う変化が所定の付着条件を満たさないと判定した場合（ステップＳ１０４，Ｎｏ）、処理を終了する。つまり、縦長領域Ｖが付着物領域ではないと判定する。
【００７８】
上述してきたように、実施形態に係る付着物検出装置１は、分割部２２と、判定部２４とを備える。分割部２２は、撮像装置１０によって撮像された時系列の撮像画像Ｐを水平方向より鉛直方向への長さが長い縦長領域Ｖに分割する。判定部２４は、分割部２２によって分割された縦長領域Ｖに含まれる画素の輝度に関する輝度情報１００を取得し、当該輝度情報１００の時間変化に伴う変化が所定の付着条件を満たす場合に、当該縦長領域Ｖが付着物領域であると判定する。これにより、付着物を高精度に検出することができる。
【００７９】
なお、分割部２２は、例えば、縦長領域Ｖの領域面積および分割数を固定値としてもよいが、例えば、各種情報に基づいて領域面積および分割数を動的に変化させてもよい。かかる点について、図９および図１０を用いて説明する。
【００８０】
図９および図１０は、変形例に係る分割部２２の分割例を示す図である。図９では、車両Ｃの走行速度が時速３０ｋｍである場合と、時速６０ｋｍである場合とにおける分割例を示している。例えば、車両Ｃが建物内へ入る際、外部と建物内の温度変化によりレンズの曇りが発生する。具体的には、車両Ｃの走行速度が速いほど、温度変化が急峻なため、レンズの曇りの水平方向への広がりも早くなる。
【００８１】
そこで、図９に示すように、分割部２２は、車両Ｃの走行速度が速いほど、縦長領域Ｖを太くする。具体的には、分割部２２は、時速３０ｋｍにおける水平方向への長さＷ１よりも時速６０ｋｍにおける水平方向への長さＷ２を長くする。換言すれば、分割部２２は、車両Ｃの走行速度が速いほど、縦長領域Ｖの分割数を少なくする。
【００８２】
つまり、車両Ｃの走行速度が速いほど、レンズの曇りの広がりも早いため、分割数を少なくすることで、判定処理の負荷を抑えつつも、付着物を高精度に検出できる。一方、車両Ｃの走行速度が遅いほど、レンズの曇りの広がりも遅いため、分割数を多くすることで、レンズの曇りの広がりを確実に捉えることができる。
【００８３】
なお、分割部２２は、車両Ｃの走行速度以外に、例えば、外気温に基づいて動的に縦長領域Ｖの領域面積や分割数を変えてもよい。
【００８４】
具体的には、分割部２２は、外気温が低いほど、縦長領域Ｖを太くする。これは、外気温が低いほど、建物内との温度差が大きくなり、レンズの曇りもより早く広がるためである。このように、分割部２２は、外気温に応じて縦長領域Ｖの太さを調整することで、付着物を高精度に検出することができる。
【００８５】
なお、上述した実施形態では、分割部２２は、撮像画像Ｐの領域ＲＶを分割数で等分して縦長領域Ｖの太さが略同じになるように分割したが、例えば、図１０に示すように、縦長領域Ｖの太さが略同じでなくてもよい。
【００８６】
図１０に示す撮像画像Ｐにおいて、右側が車両Ｃの進行方向の前方側であり、左側が後方側であることとする。かかる場合に、分割部２２は、例えば、進行方向の前方側に近い縦長領域Ｖほど細くする。つまり、分割部２２は、進行方向の前方側に近いほど、縦長領域Ｖの水平方向への長さを短くする。これにより、進行方向の前方側からの曇り始めをより早期に検出することができる。
【００８７】
さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲およびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。
【符号の説明】
【００８８】
１    付着物検出装置
２    制御部
３    記憶部
１０    撮像装置
１１    除去装置
１２    制御装置
２１    取得部
２２    分割部
２３    生成部
２４    判定部
３１    画像情報
３２    閾値情報
１００    輝度情報
Ｃ    車両
Ｐ    撮像画像
Ｖ    縦長領域
【図１】
2019106643.tif 000003
【図２】
2019106643.tif 000004
【図３】
2019106643.tif 000005
【図４】
2019106643.tif 000006
【図５】
2019106643.tif 000007
【図６】
2019106643.tif 000008
【図７】
2019106643.tif 000009
【図８】
2019106643.tif 000010
【図９】
2019106643.tif 000011
【図１０】
2019106643.tif 000012