(57)【要約】【課題】付着物の検出漏れを抑制すること。【解決手段】実施形態に係る付着物検出装置は、第１抽出部と、第２抽出部と、検出部とを備える。第１抽出部は、撮像装置によって撮像された撮像画像に含まれる各画素の輝度勾配が所定の中心領域から外向きの第１画素群を抽出する。第２抽出部は、各画素の輝度勾配が中心領域に向かって内向きの第２画素群を抽出する。検出部は、第１抽出部によって抽出された第１画素群と第２抽出部によって抽出された第２画素群とを組み合わせて撮像装置に付着した付着物を検出する。【選択図】図１Ｂ
2019128797.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置によって撮像された撮像画像に含まれる各画素の輝度勾配が所定の中心領域から外向きの第１画素群を抽出する第１抽出部と、
前記各画素の輝度勾配が前記中心領域に向かって内向きの第２画素群を抽出する第２抽出部と、
前記第１抽出部によって抽出された前記第１画素群と前記第２抽出部によって抽出された前記第２画素群とを組み合わせて前記撮像装置に付着した付着物を検出する検出部と
を備えることを特徴とする付着物検出装置。
【請求項２】
前記検出部は、
前記第１画素群から前記中心領域へ延伸する第１領域と、前記第２画素群から前記中心領域へ延伸する第２領域とを統合した統合領域を生成する生成部と、
前記生成部によって生成された前記統合領域を構成する前記第１画素群と、前記第２画素群との組み合わせに基づいて当該統合領域を前記付着物として決定する決定部と
を備えること
を特徴とする請求項１に記載の付着物検出装置。
【請求項３】
前記生成部は、
前記第１領域と前記第２領域とを統合して前記統合領域を生成する場合に、前記第１領域と該第１領域または前記第２領域と該第２領域とを統合して統合領域を生成する場合よりも統合条件を強化すること
を特徴とする請求項２に記載の付着物検出装置。
【請求項４】
前記決定部は、
前記第１領域と前記第２領域とを統合して生成された前記統合領域について、前記第１領域と該第１領域とを統合して生成された前記統合領域または前記第２領域と該第２領域とを統合して生成された前記統合領域よりも付着物の決定条件を強化すること
を特徴とする請求項２または３に記載の付着物検出装置。
【請求項５】
前記決定部によって付着物として決定された前記統合領域の時系列的な重なりに基づいて前記付着物を確定する確定部
をさらに備え、
前記確定部は、
前記第１領域と前記第２領域とを統合して生成された前記統合領域について、前記第１領域と該第１領域とを統合して生成された前記統合領域または前記第２領域と該第２領域とを統合して生成された前記統合領域よりも重み付けを軽くすること
を特徴とする請求項２、３または４に記載の付着物検出装置。
【請求項６】
前記撮像装置は車両に搭載され、
前記車両は前記撮像画像に基づき該車両の駐車制御を行う駐車制御部
をさらに備え、
前記駐車制御部は、
前記確定部によって付着物が確定された場合に、前記車両の駐車制御を停止する
ことを特徴とする請求項５に記載の付着物検出装置。
【請求項７】
撮像装置によって撮像された撮像画像に含まれる各画素の輝度勾配が所定の中心領域から外向きの第１画素群を抽出する第１抽出工程と、
前記各画素の輝度勾配が前記中心領域に向かって内向きの第２画素群を抽出する第２抽出工程と、
前記第１抽出工程によって抽出された前記第１画素群と前記第２抽出工程によって抽出された前記第２画素群とを組み合わせて前記撮像装置に付着した付着物を検出する検出工程と
を含むことを特徴とする付着物検出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、付着物検出装置および付着物検出方法に関する。
【背景技術】
【０００２】
従来、例えば、車両に取り付けられたカメラのレンズに付着した付着物をかかるカメラによって撮像された撮像画像から検出する付着物検出装置がある（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−１４４９４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来技術では、付着物として水滴を検出する場合、水滴の背景画像等によっては水滴を検出することができず、付着物の検出漏れを抑制する点で改善の余地があった。
【０００５】
本発明は、上記に鑑みてなされたものであって、付着物の検出漏れを抑制することができる付着物検出装置および付着物検出方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上述した課題を解決し、目的を達成するために、実施形態に係る付着物検出装置は、第１抽出部と、第２抽出部と、検出部とを備える。前記第１抽出部は、撮像装置によって撮像された撮像画像に含まれる各画素の輝度勾配が所定の中心領域から外向きの第１画素群を抽出する。前記第２抽出部は、前記各画素の輝度勾配が前記中心領域に向かって内向きの第２画素群を抽出する。前記検出部は、前記第１抽出部によって抽出された前記第１画素群と前記第２抽出部によって抽出された前記第２画素群とを組み合わせて前記撮像装置に付着した付着物を検出する。
【発明の効果】
【０００７】
本発明によれば、付着物の検出漏れを抑制することができる。
【図面の簡単な説明】
【０００８】
【図１Ａ】図１Ａは、付着物検出装置の搭載例を示す図である。
【図１Ｂ】図１Ｂは、付着物検出方法の概要を示す図である。
【図２】図２は、付着物検出装置のブロック図である。
【図３Ａ】図３Ａは、変換部による処理の具体例を示す図（その１）である。
【図３Ｂ】図３Ｂは、変換部による処理の具体例を示す図（その２）である。
【図３Ｃ】図３Ｃは、変換部による処理の具体例を示す図（その３）である。
【図４Ａ】図４Ａは、第１画素群の具体例を示す図である。
【図４Ｂ】図４Ｂは、第２画素群の具体例を示す図である。
【図４Ｃ】図４Ｃは、第１画素群の配列順序の具体例を示す図である。
【図５Ａ】図５Ａは、生成部による処理の具体例を示す図（その１）である。
【図５Ｂ】図５Ｂは、生成部による処理の具体例を示す図（その２）である。
【図６Ａ】図６Ａは、決定部による処理の具体例を示す図（その１）である。
【図６Ｂ】図６Ｂは、決定部による処理の具体例を示す図（その２）である。
【図７】図７は、確定部による処理の具体例を示す図である。
【図８】図８は、付着物検出装置が実行する処理手順を示すフローチャートである。
【発明を実施するための形態】
【０００９】
以下、添付図面を参照して実施形態に係る付着物検出装置および付着物検出方法について詳細に説明する。なお、以下に示す実施形態によりこの発明が限定されるものではない。
【００１０】
まず、図１Ａおよび図１Ｂを用いて実施形態に係る付着物検出装置および付着物検出方法の概要について説明する。図１Ａは、付着物検出装置の搭載例を示す図である。図１Ｂは、付着物検出方法の概要を示す図である。
【００１１】
図１Ａに示すように、付着物検出装置１は、車両Ｃに搭載される。また、付着物検出装置１は、車両Ｃに搭載された撮像装置であるカメラ１０によって撮像された撮像画像Ｌからカメラ１０のレンズ（図示略）に付着した付着物Ｆを検出する。
【００１２】
カメラ１０によって撮像された撮像画像Ｌは、例えば、車両Ｃの白線検知や自動運転のための各種センシングに用いられる。なお、同図に示す例では、車両Ｃが、互いに異なる方向を撮像する４つのカメラ１０を備える場合について示している。
【００１３】
ここで、カメラ１０は、車両Ｃの車外に配置されるため、カメラ１０のレンズには、水滴やごみなどの付着物Ｆが付着するおそれがある。
【００１４】
ところで、従来技術では、付着物として水滴を検出する場合、撮像画像において水滴の中心から外側に向けて明るくなる領域もしくは暗くなる領域の一方に基づいて撮像画像から水滴を検出していた。
【００１５】
しかしながら、従来技術においては、例えば、水滴の背景画像等によってはかかる水滴を検出することができない場合があった。
【００１６】
具体的には、図１Ｂの撮像画像Ｌに示すように、例えば、水滴Ｒの背景に停止線等が含まれる場合、かかる水滴Ｒは、中心から外側に向けて輝度が明るくなる領域と、暗くなる領域とが混ざり合う場合がある。従来技術では、かかる水滴を検出することができず、水滴の検出漏れが生じる恐れがある。
【００１７】
そこで、実施形態に係る付着物検出方法では、撮像画像Ｌにおいて外側に向けて輝度が明るくなる領域と、輝度が外側に向けて暗くなる領域とそれぞれ抽出し、双方の領域を組み合わせて水滴Ｒを検出する。
【００１８】
具体的には、図１Ｂに示すように、実施形態に係る付着物検出方法では、まず、撮像画像Ｌに含まれる各画素から第１画素群Ｐ１および第２画素群Ｐ２を抽出する（ステップＳ１）。なお、同図では、各画素の中心点を黒丸で示し、中心点から延びる線の向きが輝度勾配を示す。
【００１９】
例えば、第１画素群Ｐ１は、輝度勾配が所定の中心領域から外向きの画素の集合であり、第２画素群Ｐ２は、輝度勾配が上記の中心領域に向かって内向きの画素の集合である。
【００２０】
つまり、実施形態に係る付着物検出方法では、中心から外向きに明るくなる水滴Ｒの特徴を第１画素群Ｐ１として抽出し、中心に向かって内向きに明るくなる水滴Ｒの特徴を第２画素群Ｐ２として抽出する。
【００２１】
続いて、実施形態に係る付着物検出方法では、第１画素群Ｐ１と第２画素群Ｐ２との組み合わせに基づいて付着物Ｆを検出する（ステップＳ２）。例えば、付着物検出方法では、撮像画像Ｌにおいて第１画素群Ｐ１および第２画素群Ｐ２で囲まれた領域を付着物Ｆとして検出する。
【００２２】
つまり、付着物検出方法では、中心から外向きに明るくなる水滴Ｒの特徴と、中心に向かって内向きに明るくなる水滴Ｒの特徴とを組み合わせて一つの水滴Ｒを検出する。
【００２３】
これにより、１つの水滴Ｒに中心から外側に輝度が明るくなる領域と、暗くなる領域とが混ざり合う場合であってもかかる水滴Ｒを検出することが可能となる。
【００２４】
また、実施形態に係る付着物検出方法では、第１画素群Ｐ１および第２画素群Ｐ２の一方に囲まれた領域について中心から外側に向けて輝度が明るくなるもしくは暗くなる水滴Ｒとして検出することも可能である。
【００２５】
したがって、実施形態に係る付着物検出方法によれば、付着物Ｆの検出漏れを抑制することが可能となる。
【００２６】
次に、図２を用いて実施形態に係る付着物検出装置１の構成について説明する。図２は、付着物検出装置１のブロック図である。なお、図２には、カメラ１０および車両制御装置１５を併せて示す。
【００２７】
カメラ１０は、例えば、ＣＣＤ（Charge  Coupled  Device）やＣＭＯＳ（Complementary  Metal  Oxide  Semiconductor）などの撮像素子を備え、例えば車両Ｃの周囲を撮像する。カメラ１０によって撮像された撮像画像Ｌは、付着物検出装置１へ出力される。
【００２８】
車両制御装置１５は、車両Ｃの自動運転や自動駐車制御や運転アシスト（例えば、ＰＣＳ（Pre-crash  Safety  System）やＡＥＢ(Advanced  Emergency  Braking  System)など）の車両制御を行う。なお、車両制御装置１５は、自動駐車制御を行う自動駐車制御部と別体であってもよい。
【００２９】
例えば、車両制御装置１５は、付着物検出装置１を介して入力される撮像画像Ｌから障害物や白線を検出し、検出結果に基づいて上記の車両制御を行うことができる。
【００３０】
付着物検出装置１は、制御部２および記憶部３を備える。制御部２は、変換部２１と、第１抽出部２２と、第２抽出部２３と、検出部２４と、確定部２５とを備える。制御部２は、たとえば、ＣＰＵ（Central  Processing  Unit）、ＲＯＭ（Read  Only  Memory）、ＲＡＭ（Random  Access  Memory）、ＨＤＤ（Hard  Disk  Drive）、入出力ポートなどを有するコンピュータや各種の回路を含む。
【００３１】
コンピュータのＣＰＵは、例えば、ＲＯＭに記憶されたプログラムを読み出して実行することによって、制御部２の変換部２１、第１抽出部２２、第２抽出部２３、検出部２４および確定部２５として機能する。
【００３２】
また、制御部２の変換部２１、第１抽出部２２、第２抽出部２３、検出部２４および確定部２５の少なくともいずれか一部または全部をＡＳＩＣ（Application  Specific  Integrated  Circuit）やＦＰＧＡ（Field  Programmable  Gate  Array）等のハードウェアで構成することもできる。
【００３３】
また、記憶部３は、たとえば、ＲＡＭやＨＤＤに対応する。ＲＡＭやＨＤＤは、生成条件情報３１、決定条件情報３２および点数情報３３や各種プログラムの情報を記憶することができる。なお、付着物検出装置１は、有線や無線のネットワークで接続された他のコンピュータや可搬型記録媒体を介して上記したプログラムや各種情報を取得することとしてもよい。
【００３４】
制御部２の変換部２１は、撮像画像Ｌに含まれる各画素を各画素の輝度勾配に対応する符号に変換する。まず、変換部２１は、カメラ１０から入力される撮像画像Ｌをグレースケール化することによりグレースケール画像へ変換する。グレースケール化とは、撮像画像Ｌにおける各画素の輝度に応じて白から黒までの各階調で表現する処理である。
【００３５】
続いて、変換部２１は、グレースケール画像に対してソベルフィルタを用いることで、各画素のＸ軸方向およびＹ軸方向に対するエッジ強度を抽出する。次に、変換部２１は、それぞれのエッジ強度から輝度勾配を算出し、各画素を対応する符号に変換する。
【００３６】
図３Ａ〜図３Ｃは、変換部２１による処理の具体例を示す図である。なお、図３Ａでは、Ｘ軸方向およびＹ軸方向におけるエッジ強度を示す。変換部２１は、各画素についてＸ軸方向のエッジ強度およびＹ軸方向のエッジ強度から実際のエッジ強度Ｓおよびエッジの向きθを算出する。
【００３７】
図３Ａに示すように、Ｘ軸方向のエッジ強度およびＹ軸方向のエッジ強度をそれぞれ１つの辺とする矩形の対角線がエッジ強度Ｓとなり、かかる対角線とＸ軸との成す角度がエッジの向きθとなる。かかるエッジの向きθが輝度勾配となる。
【００３８】
また、本実施形態において変換部２１は、複数の画素を統合して輝度勾配を算出する。言い換えれば、変換部２１は、撮像画像Ｌを複数の領域に分割し、領域毎に輝度勾配に対応する符号に変換する。
【００３９】
図３Ｂは、統合する画素の具体例を示す図である。変換部２１は、図３Ｂに示すブロックごとに、ブロックの中央に位置する注目セルの輝度勾配を算出する。ここで、ブロックとは、例えば、３×３セルの画素の集合であり、セルは、４×４ピクセル（画素）の集合である。
【００４０】
つまり、同図に示す例では、１ブロックは、１２×１２ピクセルの集合となる。ここで、変換部２１は、ブロック毎に、注目セルの輝度勾配の代表値を算出する。具体的には、変換部２１は、図３Ｃに示すように、ブロック毎にヒストグラムを作成し、かかるヒストグラムに基づき、注目セルの代表値を算出する。
【００４１】
具体的には、図３Ｃに示すように、変換部２１は、輝度勾配を所定間隔で複数の階級に分類し、ブロックに含まれる各画素の輝度勾配と合致する階級に各画素のエッジ強度を加算していく。なお、同図に示す例では、階級が２０°ごとに分類される場合について示している。
【００４２】
そして、変換部２１は、エッジ強度の総和が最も高い階級を注目セルの輝度勾配として算出する。このとき、変換部２１は、かかる総和が閾値以上である場合に、かかる階級を代表値とする。言い換えれば、総和が閾値以下となる注目セルについては、代表値が割り当てられないこととなる。
【００４３】
つまり、ブロックに含まれる各画素のエッジ強度が低い場合や、かかる各画素の輝度勾配にバラつきがある場合、注目セルについては、代表値が割り当てられないこととなる。
【００４４】
変換部２１は、１つの注目セルについて代表値を算出すると、引き続きブロックを１セルずつずらして注目セルを設定し、かかる注目セルに対して代表値を算出する。これにより、変換部２１は、各セルについて代表値を算出する。
【００４５】
そして、変換部２１は、各セルを代表値に対応する階級の符号に変換する。これにより、符号化された撮像画像Ｌでは、符号が格子状に配列することとなる。かかる撮像画像Ｌは、第１抽出部２２へ出力される。
【００４６】
図２の説明に戻り、第１抽出部２２について説明する。第１抽出部２２は、撮像画像Ｌに含まれる各画素の輝度勾配が所定の中心領域から外向きの第１画素群Ｐ１を抽出する。また、第２抽出部２３は、各画素の輝度勾配が中心領域に向かって内向きの第２画素群Ｐ２を抽出する。
【００４７】
第１抽出部２２および第２抽出部２３は、変換部２１によって輝度勾配に応じて符号化された撮像画像Ｌから所定の配列順序を満たす符号列を第１画素群Ｐ１および第２画素群Ｐ２としてそれぞれ抽出する。
【００４８】
ここで、図４Ａ〜図４Ｃを用いて第１抽出部２２および第２抽出部２３による処理の具体例について説明する。図４Ａは、第１画素群Ｐ１の具体例を示す図である。図４Ｂは、第２画素群Ｐ２の具体例を示す図である。図４Ｃは、第１画素群Ｐ１の配列順序の具体例を示す図である。
【００４９】
まず、図４Ａおよび図４Ｂを用いて第１画素群Ｐ１および第２画素群Ｐ２について説明する。なお、図４Ａおよび図４Ｂでは、視覚的に分かりやすくするため、符号に代えて実際のエッジ向き（輝度勾配）を模式的に示す。
【００５０】
第１抽出部２２は、撮像画像Ｌから上辺パターンＰｕ１、下辺パターンＰｄ１、左辺パターンＰｌ１および右辺パターンＰｒ１の配列順序を満たす符号列をそれぞれ第１画素群Ｐ１として抽出する。
【００５１】
上辺パターンＰｕ１は、中央から端部に向けて明るくなる水滴の上部に対応する符号列の配列順序を示す。下辺パターンＰｄ１は、かかる水滴の下部に対応する符号列の配列順序を示す。また、左辺パターンＰｌ１および右辺パターンＰｒ１は、かかる水滴の左辺および右辺に対応する符号列の配列順序をそれぞれ示す。
【００５２】
一方、図４Ｂに示すように、第２抽出部２３は、撮像画像Ｌから上辺パターンＰｕ２、下辺パターンＰｄ２、左辺パターンＰｌ２および右辺パターンＰｒ２の配列順序を満たす符号列を第２画素群Ｐ２としてそれぞれ抽出する。
【００５３】
上辺パターンＰｕ２は、中央から端部に向けて暗くなる水滴の上部に対応する符号列の配列順序を示す。下辺パターンＰｄ２は、かかる水滴の下部に対応する符号列の配列順序を示す。また、左辺パターンＰｌ２および右辺パターンＰｒ２は、かかる水滴の左辺および右辺に対応する符号列の配列順序をそれぞれ示す。
【００５４】
このように、第１抽出部２２は、中央から端部に向かって明るくなる水滴の特徴を示す画素群を第１画素群Ｐ１として抽出し、第２抽出部２３は、中央から端部に向かって暗くなる画素群を第２画素群Ｐ２として抽出する。
【００５５】
ところで、第１画素群Ｐ１および第２画素群Ｐ２は、水滴の大きさに応じて符号列の長さが異なる。例えば、小さい水滴では、大きい水滴よりも各辺の符号列の長さが短くなる。
【００５６】
このため、第１抽出部２２および第２抽出部２３は、上記の配列順序を満たしていれば、繰り返しを許容して第１画素群Ｐ１および第２画素群Ｐ２を抽出する。
【００５７】
具体的には、図４Ｃに示すように、第１画素群Ｐ１の上辺パターンＰｕ１を各符号列（Ａ〜Ｆ）で表記した場合、同図ａに示すように、Ａ〜Ｆの順序で配列していれば、各符号の繰り返しを許容する。
【００５８】
つまり、第１抽出部２２は、Ａの右にＡもしくはＢがあり、Ｂの右にＢもしくはＣが存在する等の配列順序を満たしていれば、上辺パターンＰｕ１として抽出することができる。
【００５９】
これにより、大きさが異なる水滴を１回の抽出処理によって抽出することが可能となる。したがって、実施形態に係る付着物検出装置１は、大きさが異なる複数の水滴を１回の処理で抽出することができるので、処理負荷を抑えつつ、水滴の検出漏れを抑制することができる。
【００６０】
また、水滴は一般的に球状となるため、各符号の繰り返しの回数は、中心から線対称状となるはずである。このため、実施形態に係る付着物検出装置１は、配列順序を満たす符号列の中で、バランスが悪い符号列を除外することも可能である。
【００６１】
同図ｂに示すように、例えば、両端に位置するＡとＦとのバランスを精査する。ここで、同図では、Ａが３回繰り返され、Ｆが１０回繰り返される場合を示している。
【００６２】
このとき、付着物検出装置１は、ＡおよびＦの個数が２倍以上異なる場合に、配列順序を満たす場合であっても、かかる符号列を除外する。これにより、水滴の検出精度を向上させることができる。言い換えれば、水滴以外の被写体を水滴として検出することを抑制することができる。
【００６３】
なお、このとき、同図ｃに示すように、付着物検出装置１は、バランスが均等となるように、符号列を抽出することにしてもよい。具体的には、中央から３つのＦのみを水滴の特徴として検出し、中央から４つ目以降を除外して抽出することにしてもよい。また、ここでは、上辺パターンＰｕ１を例に挙げて説明したが、その他のパターンについても同様である。
【００６４】
図２の説明に戻り、検出部２４について説明する。検出部２４は、第１抽出部２２によって抽出された第１画素群Ｐ１と第２抽出部２３によって抽出された第２画素群Ｐ２との組み合わせに基づいて１つの付着物を検出する。
【００６５】
また、検出部２４は、生成部２４ａと、決定部２４ｂとを備える。生成部２４ａは、第１画素群Ｐ１から中心領域へ延伸する第１領域と、第２画素群Ｐ２から中心領域へ延伸する第２領域とを統合した統合領域を生成する。
【００６６】
決定部２４ｂは、生成部２４ａによって生成された統合領域を構成する第１画素群Ｐ１と、第２画素群Ｐ２との組み合わせに基づいて当該統合領域を付着物として決定する。
【００６７】
ここで、上述したように、検出部２４は、中央から端部に向かって明るくなる水滴、中央から端部に向かって暗くなる水滴および双方の特徴を有する水滴を検出することが可能である。
【００６８】
本実施形態において、第１画素群Ｐ１のみで構成される水滴は、中心から外側に向かって明るくなる水滴であり、第２画素群Ｐ２のみで構成される水滴は、中心から外側に向かって暗くなる水滴である。
【００６９】
また、第１画素群Ｐ１および第２画素群Ｐ２で構成される水滴は、中心から外側に向かって明るくなる水滴と、中心から外側に向かって暗くなる水滴との特徴を併せ持つ水滴となる。
【００７０】
検出部２４は、第１画素群Ｐ１と第２画素群Ｐ２とを含む水滴について、第１画素群Ｐ１または第２画素群Ｐ２の一方から構成される水滴よりも検出条件を強化して検出する。すなわち、検出部２４は、第１画素群Ｐ１と第２画素群Ｐ２とを含む水滴について、第１画素群Ｐ１と第１画素群Ｐ１とから構成される水滴、及び、第２画素群Ｐ２と第２画素群Ｐ２とから構成される水滴よりも、検出条件を強化して検出する。
【００７１】
これは、第１画素群Ｐ１と第２画素群Ｐ２とを含む水滴については、第１画素群Ｐ１または第２画素群Ｐ２の一方から構成される水滴よりも誤検出、すなわち、水滴以外の被写体を水滴と誤って検出する可能性が高いためである。
【００７２】
具体的には、生成部２４ａによる統合領域の生成条件と、決定部２４ｂによる水滴の決定条件を強化することで、上記の誤検出を抑制する。かかる生成条件は、記憶部３に生成条件情報３１として記憶され、かかる決定条件は、記憶部３に決定条件情報３２として記憶される。
【００７３】
図５Ａおよび図５Ｂは、生成部２４ａによる処理の具体例を示す図である。まず、図５Ａを用いて第１画素群Ｐ１に基づく統合領域Ｒｉについて説明する。
【００７４】
図５Ａに示すように、生成部２４ａは、第１画素群Ｐ１の上辺パターンＰｕ１に対応する第１領域Ｒｕ１と、第１画素群Ｐ１の下辺パターンＰｄ１に対応する第１領域Ｒｄ１とを統合することで統合領域Ｒｉである単一領域Ｒｉｏを生成する。
【００７５】
第１領域Ｒｕ１は、上辺パターンＰｕ１の長さを１辺とし、上辺パターンＰｕ１から中心（同図下方向）に延伸させた正方形状の領域であり、第１領域Ｒｄ１は、下辺パターンＰｄ１の長さを１辺とし、下辺パターンＰｄ１から中心（同図上方向）に延伸させた正方形状の領域である。
【００７６】
このとき、生成部２４ａは、第１領域Ｒｕ１と、第１領域Ｒｄ１との重複率が５０％以上であることを単一領域Ｒｉｏの統合条件とする。また、同図に示すように、単一領域Ｒｉｏは、第１領域Ｒｕ１と、第１領域Ｒｕ２とを含むすべての領域となる。すなわち、単一領域Ｒｉｏは、第１領域Ｒｕ１と、第１領域Ｒｕ２との論理和となる。
【００７７】
一方、図５Ｂに示すように、第１画素群Ｐ１と、第２画素群Ｐ２とを含む統合領域Ｒｉである混合領域Ｒｉｍについては、単一領域Ｒｉｏよりも統合条件が強化される。
【００７８】
具体的には、混合領域Ｒｉｍについては、第１画素群Ｐ１の上辺パターンＰｕ１に対応する第１領域Ｒｕ１と、第２画素群Ｐ２の下辺パターンＰｄ２に対応する第２領域Ｒｄ２との重複率が９０％以上であることを統合条件とする。
【００７９】
また、同図に示すように、生成部２４ａは、第１領域Ｒｕ１と、第２領域Ｒｄ２とが重複した領域を混合領域Ｒｉｍとして生成する。すなわち、混合領域Ｒｉｍは、第１領域Ｒｕ１と、第２領域Ｒｄ２との論理積となる。
【００８０】
続いて、図６Ａおよび図６Ｂを用いて決定部２４ｂによる処理の具体例について説明する。図６Ａおよび図６Ｂは、決定部２４ｂによる処理の具体例を示す図である。
【００８１】
まず、図６Ａを用いて単一領域Ｒｉｏについて付着物と決定する場合の決定条件について説明する。同図に示すように、例えば、決定部２４ｂは、単一領域Ｒｉｏに３辺以上のパターンが内包される場合に、かかる単一領域Ｒｉｏを付着物が付着している付着物領域Ｆｏとして決定する。
【００８２】
具体的には、単一領域Ｒｉｏにおける決定条件は、上辺部に上辺パターンＰｕ１が存在する第１条件、下辺部に下辺パターンＰｄ１が存在する第２条件、左辺部に左辺パターンＰｌ１が存在する第３条件、右辺部に右辺パターンＰｒ１が存在する第４条件とした場合に、少なくとも３つの条件を満たすことである。
【００８３】
一方、図６Ｂに示すように、決定部２４ｂは、混合領域Ｒｉｍについては、混合領域Ｒｉｍを内包する各辺のパターンが４辺であることを付着物領域Ｆｍの決定条件とする。
【００８４】
つまり、上辺パターンＰｕ１、Ｐｕ２の一方が上辺部に存在する第１条件、下辺パターンＰｄ１、Ｐｄ２の一方が下辺部に存在する第２条件、左辺パターンＰｌ１、Ｐｌ２の一方が左辺部に存在する第３条件、右辺パターンＰｒ１、Ｐｒ２の一方が右辺部に存在する第４条件の全てを満たす混合領域Ｒｉｍについて付着物領域Ｆｍとして決定する。
【００８５】
なお、付着物領域Ｆｏは、第１画素群Ｐ１または第２画素群Ｐ２の一方で構成された領域であり、付着物領域Ｆｍは、第１画素群Ｐ１および第２画素群Ｐ２の組み合わせで構成された領域である。
【００８６】
このように、生成部２４ａは、混合領域Ｒｉｍの統合条件を単一領域Ｒｉｏの混合条件よりも強化することで、決定部２４ｂによる混合領域Ｒｉｍにおける水滴の誤検出を抑制することができる。
【００８７】
また、決定部２４ｂは、混合領域Ｒｉｍに対する付着物領域Ｆｍの決定条件を単一領域Ｒｉｏに対する付着物領域Ｆｏよりも強化することで、水滴の誤検出を抑制することができる。
【００８８】
このように、検出部２４は、第１画素群Ｐ１と第２画素群Ｐ２とを含む水滴について、第１画素群Ｐ１または第２画素群Ｐ２の一方から構成される水滴よりも条件を強化して検出する。
【００８９】
これにより、実施形態に係る付着物検出装置１は、水滴の誤検出を抑制しつつ、水滴の検出漏れを抑制することが可能となる。
【００９０】
また、実施形態に係る付着物検出装置１は、円形状の水滴の輪郭部分を捉えるのではなく、水滴に内包される矩形の各辺の特徴を捉えて水滴を検出する。これにより、真円状や楕円形状等にかかわらず、多様な形状の水滴を一度の処理で検出することができる。
【００９１】
図２の説明に戻り、確定部２５について説明する。確定部２５は、決定部２４ｂによって付着物領域Ｆｏ、Ｆｍとして決定された統合領域Ｒｉの時系列的な重なりに基づいて付着物領域Ｆｏ、Ｆｍを確定する。
【００９２】
図７は、確定部２５による処理の具体例を示す図である。図７に示すように、確定部２５は、付着物領域Ｆｏまたは付着物領域Ｆｍとして検出された領域について加点し、付着物領域Ｆｏまたは付着物領域Ｆｍとして検出されなかった領域について減点する。
【００９３】
そして、確定部２５は、累積値が閾値以上となった領域について付着物領域として確定させる。つまり、連続的に付着物領域Ｆｍまたは付着物領域Ｆｏとして検出された領域が付着物領域として確定されることとなる。
【００９４】
このように、確定部２５は、時系列的に連続する複数の撮像画像Ｌに基づいて付着物領域を確定させることで、付着物領域の検出精度を向上させることができる。つまり、確定部２５は、１つの撮像画像Ｌのみで付着物領域として確定しないので、付着物の誤検出を抑制することができる。
【００９５】
ここで、確定部２５は、第１画素群Ｐ１または第２画素群Ｐ２の一方で構成された付着物領域Ｆｏに対して第１画素群Ｐ１および第２画素群Ｐ２の組み合わせで構成された付着物領域Ｆｍの重み付けを軽くして付着物領域を確定させる。
【００９６】
具体的には、確定部２５は、付着物領域Ｆｏよりも付着物領域Ｆｍに対する得点を低く設定して付着物領域を確定させる。例えば、付着物領域Ｆｏが５回検出された場合に付着物領域として確定される場合において、付着物領域Ｆｍが１０回検出された場合に、付着物領域として確定される。
【００９７】
このように、確定部２５は、付着物領域Ｆｏと付着物領域Ｆｍとで重み付けを変えて付着物領域を確定させることで、付着物領域Ｆｍに基づく誤検出を抑制することができる。なお、付着物領域Ｆｏと付着物領域Ｆｍの重み付けについては任意に変更することも可能である。
【００９８】
また、確定部２５は、付着物領域として確定させた場合に、かかる付着物領域をマスクしたマスク画像を生成する。そして、確定部２５は、撮像画像Ｌにマスク画像を重畳して車両制御装置１５（図２参照）に出力する。
【００９９】
これにより、車両制御装置１５は、付着物による誤った各種センシングを抑制することができる。つまり、付着物による誤った車両制御を抑制することが可能となる。例えば、車両制御装置１５は、撮像画像Ｌ中の付着物の領域が大きいために、自動駐車制御を安全に継続することが困難と判断した場合には、自動駐車制御を停止する。このように、車両制御装置１５は、車両の安全が担保された場合にのみ自動駐車制御を行うことで、車両の安全性を向上させることが可能となる。
【０１００】
次に、図８を用いて実施形態に係る付着物検出装置１が実行する処理手順について説明する。図８は、付着物検出装置１が実行する処理手順を示すフローチャートである。
【０１０１】
図８に示すように、まず、変換部２１は、撮像画像Ｌを変換し（ステップＳ１０１）、第１抽出部２２および第２抽出部２３は、第１画素群Ｐ１および第２画素群Ｐ２を抽出する（ステップＳ１０２）。
【０１０２】
続いて、生成部２４ａは、統合領域Ｒｉを生成する（ステップＳ１０３）。続いて、決定部２４ｂは、統合領域Ｒｉが混合領域Ｒｉｍであるか否かを判定する（ステップＳ１０４）。
【０１０３】
ここで、決定部２４ｂは、統合領域Ｒｉが混合領域Ｒｉｍである場合（ステップＳ１０４，Ｙｅｓ）、混合領域Ｒｉｍが４辺で構成されているか否かを判定する（ステップＳ１０５）。
【０１０４】
そして、決定部２４ｂは、混合領域Ｒｉｍが４辺で構成されている場合（ステップＳ１０５，Ｙｅｓ）、混合領域Ｒｉｍを付着物領域として決定する（ステップＳ１０６）。
【０１０５】
一方、決定部２４ｂは、混合領域Ｒｉｍが３辺以下で構成されている場合（ステップＳ１０５，Ｎｏ）、ステップＳ１０６の処理を省略する。また、決定部２４ｂは、統合領域Ｒｉが混合領域Ｒｉｍでない場合（ステップＳ１０４，Ｎｏ）、かかる統合領域Ｒｉは単一領域Ｒｉｏであるので、単一領域Ｒｉｏが３辺以上で構成されているか否かを判定する（ステップＳ１１０）。
【０１０６】
ここで、決定部２４ｂは、単一領域Ｒｉｏが３辺以上で構成されている場合（ステップＳ１１０，Ｙｅｓ）、ステップＳ１０６の処理に移行し、単一領域Ｒｉｏが２辺以下で構成されている場合（ステップＳ１１０，Ｎｏ）、ステップＳ１０７の処理に移行する。
【０１０７】
続いて、確定部２５は、決定部２４ｂによって決定された付着物領域に基づいて各領域に対して得点を加点また減点する（ステップＳ１０７）。そして、確定部２５は、各領域の累計値が閾値より大きいか否かを判定する（ステップＳ１０８）。
【０１０８】
ここで、確定部２５は、累計値が閾値より大きかった場合（ステップＳ１０８，Ｙｅｓ）、付着物領域として確定し（ステップＳ１０９）、処理を終了する。一方、確定部２５は、累計値が閾値以下である場合（ステップＳ１０８，Ｎｏ）、ステップＳ１０９の処理を省略し、処理を終了する。
【０１０９】
上述したように、実施形態に係る付着物検出装置１は、第１抽出部２２と、第２抽出部２３と、検出部２４とを備える。第１抽出部２２は、カメラ１０（撮像装置の一例）によって撮像された撮像画像Ｌに含まれる各画素の輝度勾配が所定の中心領域から外向きの第１画素群Ｐ１を抽出する。第２抽出部２３は、各画素の輝度勾配が中心領域に向かって内向きの第２画素群Ｐ２を抽出する。検出部２４は、第１抽出部２２によって抽出された第１画素群Ｐ１と第２抽出部２３によって抽出された第２画素群Ｐ２とを組み合わせてカメラ１０に付着した１つの付着物を検出する。したがって、実施形態に係る付着物検出装置１によれば、付着物の検出漏れを抑制することができる。
【０１１０】
ところで、上記した実施形態では、付着物検出装置１をいずれも車載用のカメラ１０に適用する場合について示したが、例えば、建物の内外や路地等に設定される監視／防犯カメラなどのその他の種類のカメラに適用してもよい。
【０１１１】
また、上述した実施形態では、付着物検出装置１が、付着物として水滴を検出する場合について説明したが、これに限定されるものではない。すなわち、水滴に代えてその他の付着物についても適用することも可能である。
【０１１２】
さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲およびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。
【符号の説明】
【０１１３】
１      付着物検出装置
２１      変換部
２２      第１抽出部
２３      第２抽出部
２４      検出部
２４ａ    生成部
２４ｂ    決定部
２５    確定部
Ｐ１    第１画素群
Ｐ２    第２画素群
Ｒｉ    統合領域
Ｒｉｏ    単一領域
Ｒｉｍ    混合領域
【図１Ａ】
2019128797.tif 000003
【図１Ｂ】
2019128797.tif 000004
【図２】
2019128797.tif 000005
【図３Ａ】
2019128797.tif 000006
【図３Ｂ】
2019128797.tif 000007
【図３Ｃ】
2019128797.tif 000008
【図４Ａ】
2019128797.tif 000009
【図４Ｂ】
2019128797.tif 000010
【図４Ｃ】
2019128797.tif 000011
【図５Ａ】
2019128797.tif 000012
【図５Ｂ】
2019128797.tif 000013
【図６Ａ】
2019128797.tif 000014
【図６Ｂ】
2019128797.tif 000015
【図７】
2019128797.tif 000016
【図８】
2019128797.tif 000017