(57)【要約】【課題】付着物を高精度に検出することができる付着物検出装置および付着物検出方法を提供すること。【解決手段】実施形態に係る付着物検出装置は、分割部と、算出部と、検出部とを備える。分割部は、撮像装置によって撮像された撮像画像を複数の部分領域に分割する。算出部は、分割部によって分割された部分領域に含まれる各画素の色情報に基づく第１の値の平均値および当該第１の値のバラつきを部分領域毎に算出する。検出部は、算出部によって算出された平均値およびバラつきそれぞれが所定の付着条件を満たす部分領域を付着物領域として検出する。【選択図】図２
2019106644.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置によって撮像された撮像画像を複数の部分領域に分割する分割部と、
前記分割部によって分割された前記部分領域に含まれる画素の色情報に基づく第１の値の平均値および当該第１の値のバラつきを前記部分領域毎に算出する算出部と、
前記算出部によって算出された前記平均値および前記バラつきそれぞれが所定の付着条件を満たす前記部分領域を付着物領域として検出する検出部と
を備えることを特徴とする付着物検出装置。
【請求項２】
前記算出部は、
前記部分領域に含まれる各画素の色情報に基づいて前記第１の値とは異なる第２の値をさらに算出し、
前記検出部は、
前記算出部によって算出された前記第１の値の平均値、前記バラつきおよび前記第２の値それぞれが前記付着条件を満たす前記部分領域を前記付着物領域として検出すること
を特徴とする請求項１に記載の付着物検出装置。
【請求項３】
撮像装置が出力する撮像画像を複数の部分領域に分割する分割部と、
前記分割部によって分割された前記部分領域に含まれる各画素の色情報に基づく第１の値に関する第１算出値および当該第１の値とは異なる第２の値に関する第２算出値を前記部分領域毎に算出する算出部と、
前記算出部によって算出された前記第１算出値および前記第２算出値が所定の付着条件を満たす前記部分領域を付着物領域として検出する検出部と
を備えることを特徴とする付着物検出装置。
【請求項４】
前記算出部は、
前記部分領域における前記第１の値の平均値またはバラつきのうち少なくとも一方を前記第１算出値として算出すること
を特徴とする請求項３に記載の付着物検出装置。
【請求項５】
前記第１の値は、前記画素の輝度であり、
前記第２の値は、前記画素の彩度であること
を特徴とする請求項２〜４のいずれか１つに記載の付着物検出装置。
【請求項６】
前記検出部は、
前記輝度の平均値およびバラつきそれぞれが所定の付着条件を満たす前記部分領域を候補領域として抽出した後、当該候補領域についてのみ前記彩度に関する算出値が前記付着条件を満たすか否かを判定して前記付着物領域を検出すること
を特徴とする請求項５に記載の付着物検出装置。
【請求項７】
撮像装置によって撮像された撮像画像を複数の部分領域に分割する分割工程と、
前記分割工程によって分割された前記部分領域に含まれる各画素の色情報に基づく第１の値の平均値および当該第１の値のバラつきを前記部分領域毎に算出する算出工程と、
前記算出工程によって算出された前記平均値および前記バラつきそれぞれが所定の付着条件を満たす前記部分領域を付着物領域として検出する検出工程と
を含むことを特徴とする付着物検出方法。
【請求項８】
撮像装置が出力する撮像画像を複数の部分領域に分割する分割工程と、
前記分割工程によって分割された前記部分領域に含まれる各画素の色情報に基づく第１の値に関する第１算出値および当該第１の値とは異なる第２の値に関する第２算出値を前記部分領域毎に算出する算出工程と、
前記算出工程によって算出された前記第１算出値および前記第２算出値が所定の付着条件を満たす前記部分領域を付着物領域として検出する検出工程と
を含むことを特徴とする付着物検出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、付着物検出装置および付着物検出方法に関する。
【背景技術】
【０００２】
従来、例えば、車載カメラによって撮像された撮像画像に基づいてカメラレンズに付着した異物を検出する付着物検出装置がある。付着物検出装置は、例えば、撮像画像に含まれる画素の輝度分布に基づいて撮像画像の領域の中から異物の付着を示す付着物領域を検出する技術が提案されている（たとえば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１４−３０１８８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の技術では、付着物の検出精度が十分とは言えず、付着物を高精度に検出する点で改善の余地があった。
【０００５】
本発明は、上記に鑑みてなされたものであって、付着物を高精度に検出することができる付着物検出装置および付着物検出方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上述した課題を解決し、目的を達成するために、本発明に係る付着物検出装置は、分割部と、算出部と、検出部とを備える。前記分割部は、撮像装置が出力する撮像画像を複数の部分領域に分割する。前記算出部は、前記分割部によって分割された前記部分領域に含まれる各画素の色情報に基づく第１の値の平均値および当該第１の値のバラつきを前記部分領域毎に算出する。前記検出部は、前記算出部によって算出された前記平均値が所定の付着条件を満たし、かつ、前記バラつきが所定の付着条件を満たす前記部分領域を付着物領域として検出する。
【発明の効果】
【０００７】
本発明によれば、付着物を高精度に検出することができる。
【図面の簡単な説明】
【０００８】
【図１Ａ】図１Ａは、実施形態に係る付着物検出方法の概要を示す図である。
【図１Ｂ】図１Ｂは、実施形態に係る付着物検出方法の概要を示す図である。
【図２】図２は、実施形態に係る付着物検出装置の構成を示すブロック図である。
【図３】図３は、実施形態に係る閾値情報の説明図である。
【図４】図４は、実施形態に係る分割部の分割例を示す図である。
【図５】図５は、第１標準偏差用および第２標準偏差用における部分領域の位置関係を示す図である。
【図６】図６は、検出部の処理内容を示す図である。
【図７】図７は、検出部の処理内容を示す図である。
【図８】図８は、実施形態に係る付着物検出装置が実行する処理の処理手順を示すフローチャートである。
【図９】図９は、変形例検出部の処理内容を示す図である。
【図１０】図１０は、変形例検出部の処理内容を示す図である。
【発明を実施するための形態】
【０００９】
以下、添付図面を参照して、本願の開示する付着物検出装置および付着物検出方法の実施形態を詳細に説明する。なお、この実施形態により本発明が限定されるものではない。なお、以下では、付着物検出装置は、車両に設けられる撮像装置に付着した付着物を検出する場合を一例に挙げて説明するが、付着物検出装置の対象は、車両に設けられた撮像装置に限定されず、人が持ち運び可能な可搬性の撮像装置や、店舗等に取り付けられる監視カメラ等の撮像装置であってもよい。
【００１０】
また、以下の実施形態では、第１の値が輝度、第２の値が彩度である場合を一例に挙げて説明するが、第１の値および第２の値は、輝度および彩度の組み合わせに限定されるものではなく、例えば、輝度、彩度、明度および色相の中から任意の組み合わせが選択されてよい。また、輝度、彩度、明度および色相以外にも、画素の色情報に基づいて算出可能な値であればこれらに限定されるものではない。
【００１１】
まず、図１Ａを用いて実施形態に係る付着物検出方法の概要について説明する。図１Ａには、付着物領域３００（色付の領域）を含む撮像画像Ｐを示す。付着物領域３００とは、例えば、撮像装置であるカメラのレンズに異物が付着することで影響を受けた領域である。かかる異物として、例えば、雪や泥水、あるいは温度変化に伴うレンズの曇り等がある。
【００１２】
ここで、従来の付着物検出方法について説明する。従来の付着物検出方法では、付着物領域を検出する場合、例えば撮像画像全体から輝度分布が所定の条件を満たす領域を付着物領域として検出していた。しかしながら、従来の付着物検出方法では、付着物の検出精度が十分とは言えず、付着物を高精度に検出する点で改善の余地があった。
【００１３】
そこで、実施形態に係る付着物検出方法では、輝度（第１の値の一例）の平均値および輝度のバラつきそれぞれが所定の条件を満たす領域を付着物領域３００として検出する。
【００１４】
具体的には、実施形態に係る付着物検出方法では、まず、撮像画像Ｐを複数の部分領域５０に分割する（ステップＳ１）。図１Ａに示す部分領域５０の数は、一例であって任意の数の部分領域５０に分割してよく、分割数や、行数、列数も任意であってよい。
【００１５】
つづいて、実施形態に係る付着物検出方法では、分割した部分領域５０に含まれる各画素の色情報に基づく輝度（第１の値の一例）の平均値および輝度のバラつきを部分領域５０毎に算出する（ステップＳ２）。色情報とは、例えば、それぞれが０〜２５５の値で表わされるＲＧＢ（赤緑青）の値である。
【００１６】
輝度のバラつきは、例えば、ヒストグラムにおける標準偏差や尖度を採用することができる。なお、以下では、輝度のバラつきとして、標準偏差を一例に挙げて説明する。また、輝度の平均値は一例であって、これに限定されず、例えば、輝度の平均値の代わりに、ヒストグラムにおける最頻値や中央値を用いてもよい。
【００１７】
つづいて、実施形態に係る付着物検出方法では、算出した輝度の平均値およびバラつきそれぞれが所定の付着条件を満たす部分領域５０を付着物領域３００として検出する（ステップＳ３）。
【００１８】
つまり、実施形態に係る付着物検出方法では、撮像画像Ｐに含まれる部分領域５０のうち、付着条件を満たす輝度の平均値およびバラつきの論理積によって演算された部分領域５０を付着物領域３００として検出する。
【００１９】
このように輝度の平均値およびバラつきの論理積を用いることで、従来のように輝度分布のみを用いて付着物領域を検出する方法に比べて、付着物を高精度に検出することができる。
【００２０】
例えば、自動駐車支援や追従走行支援などに用いられる車載カメラにおいて、付着物（雨滴、雪、曇り、泥、カメラレンズ上に付着した異物、写り込むなどの異物など）によって撮影された画像が影響を受けるおそれある。しかし、必ずしも付着物があるからといって走行に影響するとは限らず、付着物の付着位置や程度によっては撮像画像から走行支援に十分な情報を提供できる場合もある。したがって、単純に撮影画像に付着物があるか否かの判定ではなく、付着物の領域や程度を精度良く検出することが求められている。
【００２１】
実施形態に係る付着物検出方法では、前述した通り、輝度の平均値およびバラつきの論理積を用いて付着物領域３００を検出するため、付着物を高精度に検出することができる。
【００２２】
なお、図１Ａに示す例では、輝度の平均値およびバラつきの論理積によって付着物領域３００を検出したが、例えば、輝度の平均値および彩度の平均値の論理積によって付着物領域３００を検出してもよい。つまり、第１の値および第１の値（輝度）とは異なる第２の値の論理積によって付着物領域３００を検出してもよい。かかる点について、図１Ｂを用いて説明する。
【００２３】
図１Ｂは、実施形態に係る付着物検出方法の概要を示す図である。図１Ｂに示すように、実施形態に係る付着物検出方法では、まず、上記と同様に部分領域５０に分割する（ステップＳ１１）。図１Ｂの部分領域５０と、図１Ａの部分領域５０とは領域面積が異なる場合を示しているが、両者の部分領域５０の面積は略同じであってもよい。
【００２４】
つづいて、実施形態に係る付着物検出方法では、部分領域５０毎に彩度を算出する（ステップＳ１２）。例えば、部分領域５０の彩度の平均値を算出する。そして、実施形態に係る付着物検出方法では、彩度に基づいて青空領域（網掛け部分）を検出する（ステップＳ１３）。かかる青空領域は、輝度の平均値および標準偏差が図１Ａに示す雪埋もれである付着物領域３００と類似している。
【００２５】
つまり、実施形態に係る付着物検出方法では、彩度を算出して青空領域を検出することで、付着物領域３００の中から青空領域を除外できるため、付着物領域３００をより正確に検出することができる。なお、彩度を用いた処理については、図１０で後述する。
【００２６】
また、実施形態に係る付着物検出方法では、輝度の平均値、輝度のバラつきおよび彩度の平均値それぞれの論理積によって付着物領域３００を検出してもよく、かかる点については図６および図７で後述する。
【００２７】
次に、図２を参照して、実施形態に係る付着物検出装置１の構成について詳細に説明する。図２は、実施形態に係る付着物検出装置１の構成を示すブロック図である。図２に示すように、実施形態に係る付着物検出装置１は、例えば、撮像装置１０と、除去装置１１と、制御装置１２とに接続される。
【００２８】
撮像装置１０は、例えば、ＣＣＤ（Charge  Coupled  Device）やＣＭＯＳ（Complementary  Metal  Oxide  Semiconductor）などの撮像素子を備えた車載カメラである。また、撮像装置１０は、車両の外部に取り付けられることで、車両の周囲を撮像する。なお、撮像装置１０は、１つであってもよく、複数であってもよい。
【００２９】
除去装置１１は、付着物検出装置１の検出結果に基づいて撮像装置１０のレンズに付着した異物を除去する。除去装置１１は、例えば圧縮した空気や、ウォッシャ液を撮像装置１０のレンズへ向けて噴出させたり、カメラワイパで撮像装置１０のレンズを拭ったりしてもよい。
【００３０】
制御装置１２は、付着物検出装置１の検出結果に基づいて、例えば車両に搭載された制御システムを制御する。例えば、制御装置１２は、付着物検出装置１によって付着物が検出された場合に、車両周囲の障害物等を検知する検知システム等の機能を停止したり、運転者に対して付着物の除去を通知したりする。
【００３１】
また、制御装置１２は、付着物検出装置１が外光照射による高輝度異常や低照度による異常の領域を検出した場合、かかる領域以外で上記した制御システムを制御したり、検出した異常の領域を運転者に通知したりする。
【００３２】
実施形態に係る付着物検出装置１は、制御部２と、記憶部３とを備える。制御部２は、分割部２１と、算出部２２と、検出部２３とを備える。記憶部３は、閾値情報３１を記憶する。
【００３３】
ここで、付着物検出装置１は、たとえば、ＣＰＵ（Central  Processing  Unit）、ＲＯＭ（Read  Only  Memory）、ＲＡＭ（Random  Access  Memory）、ＨＤＤ（Hard  Disk  Drive）、入出力ポートなどを有するコンピュータや各種の回路を含む。
【００３４】
コンピュータのＣＰＵは、たとえば、ＲＯＭに記憶されたプログラムを読み出して実行することによって、制御部２の分割部２１、算出部２２および検出部２３として機能する。
【００３５】
また、制御部２の分割部２１、算出部２２および検出部２３の少なくともいずれか一つまたは全部をＡＳＩＣ（Application  Specific  Integrated  Circuit）やＦＰＧＡ（Field  Programmable  Gate  Array）等のハードウェアで構成することもできる。
【００３６】
また、記憶部３は、たとえば、ＲＡＭやＨＤＤに対応する。ＲＡＭやＨＤＤは、閾値情報３１や、各種プログラムの情報等を記憶することができる。なお、付着物検出装置１は、有線や無線のネットワークで接続された他のコンピュータや可搬型記録媒体を介して上記したプログラムや各種情報を取得することとしてもよい。
【００３７】
閾値情報３１は、後述する検出部２３が付着物領域３００を検出する際の基準となる閾値を含んだ情報である。ここで、図３を用いて、閾値情報３１について説明する。
【００３８】
図３は、実施形態に係る閾値情報３１の説明図である。図３では、閾値の一例を示しており、各閾値（上限および下限）がこれに限定されるものではない。図３に示すように、閾値情報３１は、「項目」、「種別」、「下限」、「上限」といった内容を含む。
【００３９】
「項目」は、閾値の項目を示す情報である。「種別」は、閾値の項目の種別を示す情報である。「下限」および「上限」は、閾値の下限および上限を示す情報である。閾値である「下限」および「上限」は、例えば、実験等によって予め設定可能である。
【００４０】
図３に示す例では、項目が「輝度」において、種別が「平均値」の閾値は、下限が「１００」、上限が「２００」であることを示す。つまり、後述の検出部２３は、「下限」および「上限」の範囲内にある部分領域５０を付着物領域３００として検出するが、詳細な検出方法については後述する。
【００４１】
なお、閾値情報３１は図３に限定されるものではなく、例えば、「項目」として、画素の色相や明度等を含んでもよい。また、「種別」として、ヒストグラムの分布形状における鋭さを示す尖度や、ヒストグラムにおける最頻値や中央値を含んでもよい。
【００４２】
制御部２は、撮像画像Ｐを複数の部分領域５０に分割するとともに、部分領域５０毎に輝度の平均値、バラつきおよび彩度の平均値を算出し、それぞれについて閾値判定した結果を論理積演算することで、付着物領域３００を検出する。
【００４３】
また、制御部２は、例えば、動作開始のトリガーとなる入力があった場合に、上記の制御を開始する。かかるトリガーは、例えば、自動駐車等の自動運転制御の開始タイミングがある。開始タイミングは、運転者によるボタンの押下や、位置情報により駐車場への入場を検出する場合等、任意の方法で検出可能である。また、制御部２は、イグニッションがオンされてからオフされるまで上記制御を継続的に行ってもよい。
【００４４】
分割部２１は、例えば、上記したトリガーが入力された場合に、撮像装置１０によって撮像された撮像画像Ｐを取得し、かかる撮像画像Ｐを複数の部分領域５０に分割する。例えば、分割部２１は、後述する算出部２２によって算出される輝度の平均値用の部分領域５０および輝度の標準偏差用の部分領域５０に分割する。ここで、図４を用いて、分割部２１の分割例について説明する。
【００４５】
図４は、実施形態に係る分割部２１の分割例を示す図である。図４に示すように、分割部２１は、例えば、撮像画像Ｐを分割することで３種類の部分領域５０ａ，５０ｂ，５０ｃをそれぞれ生成する。
【００４６】
具体的には、分割部２１は、輝度の平均値用となる１種類の部分領域５０ａと、輝度の標準偏差用（第１標準偏差用および第２標準偏差用）となる２種類の部分領域５０ｂ，５０ｃとをそれぞれ生成する。
【００４７】
より具体的には、分割部２１は、平均値用となる部分領域５０ａよりも標準偏差用となる部分領域５０ｂ，５０ｃの領域面積を大きくする。
【００４８】
例えば、分割部２１は、２行×２列の４つの平均値用の部分領域５０ａで、１つの標準偏差用の部分領域５０ｂ，５０ｃを構成する。すなわち、標準偏差用の部分領域５０ｂ，５０ｃは、平均値用の部分領域５０ａの４倍となる。
【００４９】
これは、部分領域５０ｂ，５０ｃを小さくするほど領域内の輝度のバラつきが小さくなり、標準偏差の信頼性を確保できなくなるおそれがあるためである。つまり、部分領域５０ｂ，５０ｃをある程度大きくすることで、算出される標準偏差の信頼性を高めることができる。
【００５０】
なお、標準偏差用となる部分領域５０ｂ，５０ｃは、平均値用となる部分領域５０ａの４倍に限定されるものではなく、さらに整数倍に限定されるものでもなく、平均値用となる部分領域５０ａよりも大きければよい。また、１つの標準偏差用の部分領域５０ｂ，５０ｃは、２行×２列の平均値用の部分領域５０ａで構成される場合に限らず、例えば、１行×４列等のように行数と列数が異なってもよい。
【００５１】
また、図４に示すように、例えば、分割部２１は、第１標準偏差用として、撮像画像Ｐを４行×４列の部分領域５０ｂに分割し、第２標準偏差用として、撮像画像Ｐの一部の領域を３行×３列の部分領域５０ｃに分割する。また、分割部２１は、１つの部分領域５０ｂと１つの部分領域５０ｃとは領域面積を略同じにする。
【００５２】
また、分割部２１は、部分領域５０ｂと部分領域５０ｃとの位置がずれるように分割する。ここで、図５を用いて、部分領域５０ｂおよび部分領域５０ｃの位置関係について説明する。
【００５３】
図５は、第１標準偏差用および第２標準偏差用における部分領域５０ｂ，５０ｃの位置関係を示す図である。図５では、第１標準偏差用および第２標準偏差用の部分領域５０ｂ，５０ｃを１つの撮像画像Ｐに配置して示す。なお、図５では、第１標準偏差用の部分領域５０ｂを実線で示し、第２標準偏差用の部分領域５０ｃを破線で示す。
【００５４】
図５に示すように、分割部２１は、部分領域５０ｂおよび部分領域５０ｃそれぞれの領域が一部重なって配置されるように分割する。例えば、分割部２１は、重なる領域５０ｂｃ（以下、重複領域５０ｂｃと記載する）が部分領域５０ｂおよび部分領域５０ｃの１／４になるように分割する。
【００５５】
すなわち、重複領域５０ｂｃの領域面積は、平均値用の部分領域５０ａ（図４参照）の領域面積と略同じとなる。そして、後述の検出部２３では、重複領域５０ｂｃおよび部分領域５０ａを用いて論理演算を行うため、両者の領域面積を揃えることで、検出部２３が論理演算を行う際に領域面積を揃える処理をする必要がない。従って、検出部２３による演算量を最小限に抑えることができるため、制御部２全体の処理負荷を抑えることができる。
【００５６】
また、上記したように、分割部２１は、部分領域５０ｂ，５０ｃの領域面積を部分領域５０ａの領域面積の整数倍とすることで、部分領域５０ｂおよび部分領域５０ｃの位置関係を容易に設定できる。
【００５７】
なお、重複領域５０ｂｃの領域面積は、部分領域５０ｂおよび部分領域５０ｃの領域面積の１／４に限定されるものではなく、部分領域５０ａと揃っていれば重複領域５０ｂｃの領域面積は任意に設定可能である。
【００５８】
図２に戻って算出部２２について説明する。算出部２２は、分割部２１によって分割された部分領域５０に含まれる各画素の色情報に基づく輝度（第１の値の一例）の平均値および輝度のバラつきを部分領域５０毎に算出する。輝度のバラつきは、例えば、輝度毎に分類したヒストグラムを元にして算出した標準偏差や、ヒストグラムにおける凸形状の鋭さの度合いを示す尖度を採用することができる。
【００５９】
算出部２２は、部分領域５０に含まれる画素すべてを用いて輝度の平均値およびバラつきを算出してもよく、一部の画素を用いて算出してもよい。算出部２２は、一部の画素を用いる場合、例えば、ある画素から行列方向に１つ飛ばしに画素を選択して、選択した画素のみを平均値およびバラつき用として用いてもよい。
【００６０】
なお、算出部２２は、各画素の色情報に基づいて輝度を自身で算出してもよく、あるいは、図示しない物体検知装置等で算出された輝度を取得して用いてもよい。また、算出部２２は、輝度を自身で算出した場合、物体検知装置等へ算出した輝度を出力してもよい。
【００６１】
また、算出部２２は、部分領域５０に含まれる画素の色情報に基づく彩度（第２の値の一例）の平均値を算出する。例えば、算出部２２は、後述の検出部２３によって検出された候補領域２１０（図６参照）の位置を示す情報を取得し、候補領域２１０の位置に対応する部分領域５０について彩度の平均値を算出し、検出部２３へ出力する。なお、彩度用の部分領域５０の領域面積については図７で後述する。
【００６２】
また、算出部２２は、第２の値の一例として、彩度を算出することとしたが、第２の値は、彩度に限定されるものではなく、例えば、画素の色相や明度等であってもよく、第１の値（例えば、輝度）と異なる値であればよい。
【００６３】
検出部２３は、撮像画像Ｐに含まれる部分領域５０の中から撮像画像Ｐのレンズに異物が付着したことを示す付着物領域３００を検出する。例えば、検出部２３は、算出部２２によって算出された輝度の平均値、輝度のバラつきおよび彩度の平均値それぞれが所定の付着条件を満たすか否かの判定結果に基づいて付着物領域３００を検出する。ここで、図６および図７を用いて、検出部２３の処理内容について詳細に説明する。
【００６４】
図６および図７は、検出部２３の処理内容を示す図である。図６に示すように、検出部２３は、まず、第１標準領域用の部分領域５０ｂおよび第２標準領域用の部分領域５０ｃそれぞれについて、閾値情報３１を用いて閾値判定を行う。
【００６５】
具体的には、検出部２３は、部分領域５０ｂ，５０ｃの輝度の標準偏差が閾値情報３１における閾値の下限および上限の範囲内にある場合に、付着条件を満たすと判定する。なお、図６では、付着条件を満たした部分領域５０ｂ，５０ｃを色付けして示す（図６上段）。
【００６６】
そして、検出部２３は、付着条件を満たす部分領域５０ｂおよび付着条件を満たす部分領域５０ｃを用いて、論理和による演算を行う。図６では、論理和演算の結果として、第１標準偏差用の部分領域５０ｂまたは第２標準偏差用の部分領域５０ｃの少なくとも一方が付着条件を満たす重複領域５０ｂｃを色付けで示す（図６中段右）。
【００６７】
つづいて、検出部２３は、平均値用の部分領域５０ａについて、閾値情報３１を用いて閾値判定を行う。具体的には、検出部２３は、部分領域５０ａの輝度の平均値が閾値情報３１における閾値の下限および上限の範囲内にある場合に、付着条件を満たすと判定する。図６では、付着条件を満たした部分領域５０ａを色付けして示す（図６中段左）。
【００６８】
そして、検出部２３は、付着条件を満たす部分領域５０ａおよび付着条件を満たす重複領域５０ｂｃを用いて、論理積による演算を行う。そして、検出部２３は、論理積演算の結果として、輝度の平均値が付着条件を満たし、かつ、輝度の標準偏差が付着条件を満たす部分領域５０（部分領域５０ａあるいは重複領域５０ｂｃ）を付着物領域３００の候補領域２１０として抽出する（すなわち「平均値∧標準偏差」）。図６では、抽出した候補領域２１０を色付けして示す（図６下段）。
【００６９】
つづいて、検出部２３は、抽出した候補領域２１０と、算出部２２によって算出された部分領域５０における彩度の平均値を用いて候補領域２１０の中から付着物領域３００を検出する。かかる点について、図７を用いて説明する。
【００７０】
図７に示すように、検出部２３は、まず、部分領域５０における彩度の平均値について、閾値情報３１を用いて閾値判定を行う。具体的には、検出部２３は、部分領域５０の彩度の平均値が閾値情報３１における閾値の下限および上限の範囲内にある場合に、付着条件を満たすと判定する。図７では、付着条件を満たした部分領域５０を色付けして示す（図７上段右）。
【００７１】
そして、検出部２３は、輝度の平均値および標準偏差それぞれが付着条件を満たす候補領域２１０と、彩度の平均値が付着条件を満たす部分領域５０とを用いて、論理積による演算を行う。そして、検出部２３は、論理積演算の結果として、輝度の平均値、標準偏差および彩度の平均値それぞれが付着条件を満たす部分領域５０（あるいは候補領域２１０）を付着物領域３００として検出する。
【００７２】
これにより、例えば、青空が含まれる領域等のように、輝度に関する値が付着物領域３００に類似し、彩度が異なる場合に、付着物領域３００と青空の領域（青空領域）とを精度良く切り分けることができる。
【００７３】
また、図６および図７に示すように、検出部２３は、輝度の平均値およびバラつきを用いて候補領域２１０として抽出した後、彩度の平均値を用いて候補領域２１０の中から付着物領域３００を検出する。
【００７４】
つまり、検出部２３は、輝度の平均値およびバラつきによってある程度候補領域２１０を絞るため、撮像画像Ｐ全体の画素について彩度を検出する必要がなくなる。従って、検出部２３の処理負荷を抑えることができる。
【００７５】
次に、図８を用いて、実施形態に係る付着物検出装置１が実行する処理の処理手順について説明する。図８は、実施形態に係る付着物検出装置１が実行する処理の処理手順を示すフローチャートである。
【００７６】
図８に示すように、まず、分割部２１は、動作開始となるトリガーの入力があったか否かを判定する（ステップＳ１０１）。分割部２１は、トリガーの入力が無かった場合（ステップＳ１０１，Ｎｏ）、トリガーの入力があるまで、ステップＳ１０１の処理を繰り返し行う。
【００７７】
そして、分割部２１は、トリガーの入力があった場合（ステップＳ１０１，Ｙｅｓ）、撮像装置１０によって撮像された撮像画像Ｐを取得する（ステップＳ１０２）。つづいて、分割部２１は、撮像画像Ｐを複数の部分領域５０に分割する（ステップＳ１０３）。
【００７８】
つづいて、算出部２２は、部分領域５０毎に輝度の平均値および標準偏差を算出する（ステップＳ１０４）。つづいて、検出部２３は、算出部２２によって算出された平均値および標準偏差について、閾値情報３１を用いて閾値判定を行う（ステップＳ１０５）。
【００７９】
つづいて、検出部２３は、輝度の平均値および標準偏差それぞれが閾値情報３１における閾値の範囲内にある、つまり「平均値∧標準偏差」となる候補領域２１０（部分領域５０）があるか否かを判定する（ステップＳ１０６）。
【００８０】
検出部２３は、候補領域２１０がある場合（ステップＳ１０６，Ｙｅｓ）、候補領域２１０の彩度の平均値を算出する（ステップＳ１０７）。なお、検出部２３は、候補領域２１０がない場合（ステップＳ１０６，Ｎｏ）、処理を終了する。
【００８１】
つづいて、検出部２３は、候補領域２１０のうち、彩度が付着条件を満たす候補領域２１０があるか否かを判定する（ステップＳ１０８）。検出部２３は、彩度が付着条件を満たす候補領域２１０がある場合（ステップＳ１０８，Ｙｅｓ）、かかる候補領域２１０を付着物領域３００として検出し（ステップＳ１０９）、処理を終了する。なお、検出部２３は、彩度が付着条件を満たす候補領域２１０がない場合（ステップＳ１０８，Ｎｏ）、処理を終了する。
【００８２】
上述してきたように、実施形態に係る付着物検出装置１は、分割部２１と、算出部２２と、検出部２３とを備える。分割部２１は、撮像装置１０によって撮像された撮像画像Ｐを複数の部分領域５０に分割する。算出部２２は、分割部２１によって分割された部分領域５０に含まれる各画素の色情報に基づく第１の値の平均値および当該第１の値のバラつきを部分領域５０毎に算出する。検出部２３は、算出部２２によって算出された平均値およびバラつきそれぞれが所定の付着条件を満たす部分領域５０を付着物領域３００として検出する。これにより、付着物を高精度に検出することができる。
【００８３】
なお、上述した実施形態では、検出部２３は、論理積演算を２回に分けて付着物領域３００を検出した（図６および図７参照）が、１回の論理積演算によって付着物領域３００を検出してもよい。かかる点について図９を用いて説明する。
【００８４】
図９は、変形例に係る検出部２３の処理内容を示す図である。図９では、輝度の平均値、輝度の標準偏差および彩度の平均値それぞれが付着条件を満たす部分領域５０ａ，５０ｄ（重複領域５０ｂｃ）を色付けして示す。
【００８５】
図９に示すように、検出部２３は、付着条件を満たす輝度の平均値、輝度の標準偏差および彩度の平均値をまとめて論理積による演算を行う。これにより、論理積演算の処理工数を最小限（１回）にすることができる。なお、かかる場合、算出部２２は、撮像画像Ｐに含まれるすべて部分領域５０ｄについて閾値判定を行う。
【００８６】
また、上述した実施形態では、検出部２３は、輝度の平均値、輝度の標準偏差および彩度の平均値の３つの値の論理積によって付着物領域３００を検出したが、これに限定されるものではなく、これら３つの値のうちいずれか２つの値の論理積によって付着物領域３００を検出してもよい。かかる点について、図１０を用いて説明する。
【００８７】
図１０は、変形例に係る検出部２３の処理内容を示す図である。図１０に示すように、例えば、検出部２３は、輝度の平均値および彩度の平均値、つまり２つの値を用いた論理積によって演算される部分領域５０ａ，５０ｄを付着物領域３００として検出してもよい。
【００８８】
つまり、検出部２３は、算出部２２によって算出された第１の値（輝度）に関する第１算出値（平均値）および第２の値（彩度）に関する第２算出値（平均値）が付着条件を満たす部分領域５０ａ，５０ｄを付着物領域３００として検出する。これにより、制御部２全体の処理負荷を抑えることができる。
【００８９】
なお、第１の値および第２の値は、輝度および彩度の組み合わせに限定されるものではなく、例えば、輝度、彩度、明度および色相の中から任意の組み合わせが選択されてよい。また、輝度、彩度、明度および色相以外にも、画素の色情報に基づいて算出可能な値であればこれらに限定されるものではない。
【００９０】
また、第１算出値および第２算出値も、平均値に限定されるものではなく、例えば、平均値、標準偏差、尖度の中から任意の値が選択されてよく、第１算出値および第２算出値が同じ組み合わせでもよく、異なる組み合わせでもよい。
【００９１】
さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲およびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。
【符号の説明】
【００９２】
１    付着物検出装置
２    制御部
３    記憶部
１０    撮像装置
１１    除去装置
１２    制御装置
２１    分割部
２２    算出部
２３    検出部
３１    閾値情報
５０    部分領域
３００    付着物領域
Ｐ    撮像画像
【図１Ａ】
2019106644.tif 000003
【図１Ｂ】
2019106644.tif 000004
【図２】
2019106644.tif 000005
【図３】
2019106644.tif 000006
【図４】
2019106644.tif 000007
【図５】
2019106644.tif 000008
【図６】
2019106644.tif 000009
【図７】
2019106644.tif 000010
【図８】
2019106644.tif 000011
【図９】
2019106644.tif 000012
【図１０】
2019106644.tif 000013