(57)【要約】【課題】カメラに付着した汚れの有無を推定する精度を向上させる。【解決手段】汚れ検出装置１４は、リアカメラ１２により撮像された画像を取得する。汚れ検出装置１４は、取得した画像において、リアカメラ１２に付着した汚れが映る領域である第１汚れ領域を推定する。汚れ検出装置１４は、第１汚れ領域のうち、ランプの光が照射される領域およびその周辺領域に含まれる第２汚れ領域を抽出する。汚れ検出装置１４は、第１汚れ領域のサイズと、第２汚れ領域のサイズとの差異が所定の閾値以上の場合、リアカメラ１２に汚れが付着していると判定する。【選択図】図１
2019176300.tif 000002
【特許請求の範囲】
【請求項１】
カメラにより撮像された画像を取得する取得部と、
前記取得部により取得された画像において、前記カメラに付着した汚れが映る領域である第１汚れ領域を推定する推定部と、
前記推定部により推定された第１汚れ領域のうち、ランプの光が照射される領域およびその周辺領域に含まれる第２汚れ領域を抽出する抽出部と、
前記第１汚れ領域のサイズと、前記第２汚れ領域のサイズとの差異が所定の閾値以上の場合、前記カメラに汚れが付着していると判定する判定部と、
を備える汚れ検出装置。
【請求項２】
前記判定部は、前記ランプの光が照射される領域の明るさが、前記所定の閾値とは異なる閾値以上であって、かつ、前記第１汚れ領域のサイズと、前記第２汚れ領域のサイズとの差異が前記所定の閾値未満の場合、前記カメラに汚れが付着していると判定することを抑制する、
請求項１に記載の汚れ検出装置。
【請求項３】
前記判定部は、前記ランプの光が照射される領域の明るさと、前記ランプの光が照射されない領域の明るさとの差異が、前記所定の閾値とは異なる閾値以上であって、かつ、前記第１汚れ領域のサイズと、前記第２汚れ領域のサイズとの差異が前記所定の閾値未満の場合、前記カメラに汚れが付着していると判定することを抑制する、
請求項１または２に記載の汚れ検出装置。
【請求項４】
第１検出部と、第２検出部と、をさらに備え、
前記取得部は、１つのカメラにより複数の時点で撮像された複数の画像を取得する取得部と、
前記第１検出部は、前記取得部により取得された複数の画像間で輝度の変化度合いが相対的に低い領域である不変領域を検出し、
前記第２検出部は、前記取得部により取得された複数の画像の中の少なくとも１つの対象画像から周波数領域のデータを抽出し、抽出された前記周波数領域のデータに基づいて、前記対象画像内の複数の領域のボケ度合いを検出し、
前記推定部は、前記第１検出部により検出された前記不変領域と、前記第２検出部により検出された前記複数の領域のボケ度合いとをもとに、前記第１汚れ領域を推定する、
請求項１から３のいずれかに記載の汚れ検出装置。
【請求項５】
外界を撮像する撮像部と、
前記撮像部により撮像された画像において、本カメラに付着した汚れが映る領域である第１汚れ領域を推定する推定部と、
前記推定部により推定された第１汚れ領域のうち、ランプの光が照射される領域およびその周辺領域に含まれる第２汚れ領域を抽出する抽出部と、
前記第１汚れ領域のサイズと、前記第２汚れ領域のサイズとの差異が所定の閾値以上の場合、前記カメラに汚れが付着していると判定する判定部と、
を備えるカメラ。
【請求項６】
カメラにより撮像された画像を取得する取得し、
取得した画像において、前記カメラに付着した汚れが映る領域である第１汚れ領域を推定し、
推定した第１汚れ領域のうち、ランプの光が照射される領域およびその周辺領域に含まれる第２汚れ領域を抽出し、
前記第１汚れ領域のサイズと、前記第２汚れ領域のサイズとの差異が所定の閾値以上の場合、前記カメラに汚れが付着していると判定する、
ことをコンピュータに実行させるためのコンピュータプログラム。
【請求項７】
カメラにより撮像された画像を取得する取得し、
取得した画像において、前記カメラに付着した汚れが映る領域である第１汚れ領域を推定し、
推定した第１汚れ領域のうち、ランプの光が照射される領域およびその周辺領域に含まれる第２汚れ領域を抽出し、
前記第１汚れ領域のサイズと、前記第２汚れ領域のサイズとの差異が所定の閾値以上の場合、前記カメラに汚れが付着していると判定する、
ことをコンピュータに実行させるためのコンピュータプログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示はデータ処理技術に関し、特にカメラの汚れを検出する技術に関する。
【背景技術】
【０００２】
カメラの汚れを検出する従来技術として、カメラにより撮影された画像情報から抽出した高周波成分の積分値が閾値以下の場合に、カメラの汚れが発生していると判定することが知られている。
【０００３】
また、カメラの汚れを検出する別の従来技術として、カメラにより異なるタイミングで撮像された複数の映像の各領域に含まれる濃度値の差分を積算し、その積算値が所定値以下の領域を汚れ領域の候補とすることが知られている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−２０８８６５号公報
【特許文献２】特開２００３−２５９３５８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記２つの従来技術の方法では、実際にはカメラのレンズ面に汚れが付着していないにもかかわらず汚れが付着していると判定してしまうことがあり、改善が求められる。
【０００６】
本開示は上記課題に鑑みたもので、１つの目的は、カメラに付着した汚れの有無を推定する精度を向上させることである。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本開示のある態様の汚れ検出装置は、カメラにより撮像された画像を取得する取得部と、取得部により取得された画像において、カメラに付着した汚れが映る領域である第１汚れ領域を推定する推定部と、推定部により推定された第１汚れ領域のうち、ランプの光が照射される領域およびその周辺領域に含まれる第２汚れ領域を抽出する抽出部と、第１汚れ領域のサイズと、第２汚れ領域のサイズとの差異が所定の閾値以上の場合、カメラに汚れが付着していると判定する判定部と、を備える。
【０００８】
本開示の別の態様は、カメラである。このカメラは、外界を撮像する撮像部と、撮像部により撮像された画像において、本カメラに付着した汚れが映る領域である第１汚れ領域を推定する推定部と、推定部により推定された第１汚れ領域のうち、ランプの光が照射される領域およびその周辺領域に含まれる第２汚れ領域を抽出する抽出部と、第１汚れ領域のサイズと、第２汚れ領域のサイズとの差異が所定の閾値以上の場合、カメラに汚れが付着していると判定する判定部と、を備える。
【０００９】
なお、以上の構成要素の任意の組合せ、本開示の表現を、方法、システム、本装置を搭載した車両などの間で変換したものもまた、本開示の態様として有効である。
【発明の効果】
【００１０】
本開示によれば、カメラに付着した汚れの有無を推定する精度を向上させることができる。
【図面の簡単な説明】
【００１１】
【図１】実施例の車両の構成を模式的に示す図である。
【図２】図１の汚れ検出装置の機能構成を示すブロック図である。
【図３】後方画像の例を示す図である。
【図４】変化度画像の例を示す図である。
【図５】ボケ強度画像の例を示す図である。
【図６】汚れ候補画像の例を示す図である。
【図７】汚れ検出結果画像の例を示す図である。
【図８】ランプ照射領域の例を示す図である。
【図９】広域汚れ領域と車両近傍汚れ領域を説明する図である。
【図１０】汚れ検出装置の動作を示すフローチャートである。
【図１１】図１０のＳ２８の暗闇状態判定処理を詳細に示すフローチャートである。
【図１２】後方画像の例を示す図である。
【図１３】検出された汚れ領域を示す図である。
【図１４】後方画像の例を示す図である。
【図１５】検出された汚れ領域を示す図である。
【図１６】後方画像の例を示す図である。
【図１７】検出された汚れ領域を示す図である。
【図１８】図１６に、明るさの検査箇所を重ねた図である。
【図１９】変形例のリアカメラの機能構成を示すブロック図である。
【発明を実施するための形態】
【００１２】
本開示における装置、システム、または方法の主体は、コンピュータを備えている。このコンピュータがプログラムを実行することによって、本開示における装置、システム、または方法の主体の機能が実現される。コンピュータは、プログラムに従って動作するプロセッサを主なハードウェア構成として備える。プロセッサは、プログラムを実行することによって機能を実現することができれば、その種類は問わない。プロセッサは、半導体集積回路（ＩＣ）、又はＬＳＩ（large scale integration）を含む一つ又は複数の電子回路で構成される。複数の電子回路は、一つのチップに集積されてもよいし、複数のチップに設けられてもよい。複数のチップは一つの装置に集約されていてもよいし、複数の装置に備えられていてもよい。プログラムは、コンピュータが読み取り可能なＲＯＭ、光ディスク、ハードディスクドライブなどの非一時的記録媒体に記録される。プログラムは、記録媒体に予め格納されていてもよいし、インターネット等を含む広域通信網を介して記録媒体に供給されてもよい。
【００１３】
実施例の構成を説明する前に概要を説明する。実施例の汚れ検出装置は、（１）高精度の汚れ推定と、（２）暗闇状態判定、の２つの特徴を備える。
【００１４】
特徴１．高精度の汚れ推定：
車両の後部に、当該車両の後方空間の様子を撮像するテレビジョンカメラ（以下「リアカメラ」と呼ぶ。）が搭載されることがある。車両には、リアカメラにより撮像された後方空間の画像（動画および静止画を含み、以下「後方画像」とも呼ぶ。）に基づいて、後方空間に存在する人や障害物を検知すると、運転者へアラートを通知するアプリケーションが導入されることもある。また、車両には、後方画像に基づいて後方空間の人や障害物を検知すると、その人や障害物を回避するように自動運転の挙動を決定するアプリケーションが導入されることもある。
【００１５】
リアカメラのレンズ表面（外に露出した面）には、埃、泥、油、タバコのヤニ等の汚れが付着することがある。このような汚れが付着したリアカメラにより撮像された後方画像は、後方空間の様子を正しく示さなくなる。その結果、後方画像に基づいてデータ処理を行うアプリケーションが、車両の後方空間に存在する人や障害物を検知できなくなる可能性がある。また、上記アプリケーションが、汚れにより生じた後方画像内のシルエットを人や障害物と誤検知する可能性もある。そこで、本実施例では、車両のリアカメラのレンズ表面に付着した汚れの有無を推定する精度を向上させる技術を提案する。
【００１６】
ところで、カメラのレンズ表面に汚れが付着した場合、その汚れに起因した焦点ボケが発生する（レンズ汚れの特徴１）。すなわち、レンズ表面の汚れおよび汚れの周辺に対応する後方画像内の領域にボケが生じ、例えば、当該領域では画像のコントラストが不明瞭になる。また、レンズ表面に付着した汚れは同じ位置に固定される。そのため、汚れに対応する後方画像内の領域は、時間経過に伴う変化が少ない（レンズ汚れの特徴２）。実施例の汚れ検出装置は、カメラのレンズ汚れのこれらの特徴を踏まえたアルゴリズムにより汚れの有無を推定する。
【００１７】
具体的には、実施例の汚れ検出装置は、上記特徴１に即した第１の検出処理として、後方画像のデータに対して離散フーリエ変換を使用した周波数空間分析処理を実行し、後方画像におけるボケ度合い（以下「ボケ強度」とも呼ぶ。）を検出する。ただし、街灯、長い建物の影、木漏れ日等により光学的にレンズボケと同じ拡散が発生する場合、ボケ強度が高く評価されることがあり、すなわち誤検出の可能性がある。
【００１８】
また、実施例の汚れ検出装置は、上記特徴２に即した第２の検出処理として、異なるタイミングで撮像された複数の後方画像間での輝度の変化度合いを検出し、変化度合いが低い領域を汚れ候補として検出する。ただし、第２の検出処理では、平坦な道路や雲のない空等、複数の後方画像間で変化に乏しい箇所を汚れ候補として評価することがあり、すなわち誤検出の可能性がある。
【００１９】
そこで、実施例の汚れ検出装置は、第１検出処理の結果と第２検出処理の結果とを組み合わせてカメラのレンズ表面の汚れの有無を推定する。これにより、汚れの誤検出を抑制し、汚れの有無の推定精度（言い換えれば推定の正確度）を高める。
【００２０】
特徴２．暗闇状態判定：
車両の後方空間へ光を放つバックランプ（実施例ではライセンスランプとする）は、光の強度が弱く、リアカメラの画像において、ライセンスランプの光が照射される領域（以下「ランプ照射領域」とも呼ぶ。）と、ライセンスランプの光が照射されない（届かない）領域（以下「ランプ非照射領域」とも呼ぶ。）との境界がボケて見えることがある。また、ライセンスランプは車両後部に固定されているため、リアカメラの画像におけるランプ照射領域とランプ非照射領域との境界の位置も固定される。そのため、ランプ照射領域とランプ非照射領域との境界は、ボケていてかつ変化しない領域となり、特徴１の汚れ推定方法では、本来レンズ汚れがないにも関わらず、レンズ汚れがあると誤判定する可能性がある。
【００２１】
そこで、ランプ照射領域とランプ非照射領域の明るさの差（「段差」とも呼ぶ。）をみて、段差が所定の閾値以上であれば、ライセンスランプによる誤判定が発生しやすいとして、汚れ判定を抑制する動作状態（以下「暗闇状態」とも呼ぶ。）へ遷移させることが考えられる。しかし、夜間、暗い路面を車両が走行する実験において、暗闇状態と判定する割合が高く、汚れ判定を実施しない事象が多く発生した。
【００２２】
そこで、実施例の汚れ検出装置は、画像に映る車両近傍のランプ照射領域およびその周辺領域（以下「車両近傍領域」とも呼ぶ。）の汚れサイズを計算し、画像全体から検出された汚れサイズに対して、車両近傍領域の汚れサイズが相対的に大きければ暗闇状態へ移行させる。一方、画像全体から検出された汚れサイズに対して、車両近傍領域の汚れサイズが相対的に小さければ暗闇状態へ移行せず、汚れ検出可能状態と判定する。これにより、車両近傍領域にランプ照射領域とランプ非照射領域の段差があっても、他の領域で大きな汚れが検出されれば、汚れ有りと判定することができる。
【００２３】
以下、図面を参照して実施例を詳細に説明する。なお、以下に説明する実施例は一例であり、本開示は実施例により限定されるものではない。
【００２４】
図１は、実施例の車両１０の構成を模式的に示す。車両１０は、リアカメラ１２、汚れ検出装置１４、表示装置１６、ステアリングＥＣＵ（Electronic Control Unit）１８、トランスミッションＥＣＵ２０、ＣＡＮ（Controller Area Network）２２を備える。
【００２５】
リアカメラ１２は、車両１０の後方空間の様子を撮像する撮像部を含み、車両１０の後方空間の様子を示す後方画像を生成し、出力するテレビジョンカメラである。撮像部は、ガラス製または樹脂製のレンズを含む。リアカメラ１２は、撮像開始からの時間経過とともに、複数の後方画像を順次生成し、それら複数の後方画像を順次出力する。実施例における後方画像は輝度画像とする。
【００２６】
汚れ検出装置１４は、リアカメラ１２から出力された後方画像に基づいて、リアカメラ１２のレンズ表面に付着した汚れの有無を検出する情報処理装置である。実施例の汚れ検出装置１４は、汚れの検出結果を示すデータを表示装置１６へ出力する。
【００２７】
表示装置１６は、ＬＣＤ（liquid crystal display）等の画面を備え、汚れ検出装置１４による汚れの検出結果を含む各種情報を画面に表示させる情報処理装置である。表示装置１６は、例えば、カーナビゲーション装置でもよく、先進運転支援システム（advanced driver assistance system:ADAS）でもよい。
【００２８】
ステアリングＥＣＵ１８は、車両１０のステアリングを制御するための各種処理を実行する。実施例のステアリングＥＣＵ１８は、ハンドルの操舵角を所定のセンサから取得し、その操舵角を示すデータ（例えばＣＡＮフレーム）をＣＡＮ２２へ送出する。変形例として、ステアリングＥＣＵ１８は、ハンドルの操舵角に代えてステアリングの転舵角を所定のセンサから取得して、その転舵角を示すデータをＣＡＮ２２へ送出してもよい。
【００２９】
トランスミッションＥＣＵ２０は、車両１０のトランスミッションを制御するための各種処理を実行する。実施例のトランスミッションＥＣＵ２０は、エンジン回転数およびギヤ比等に基づいて車両１０の走行速度を導出し、その走行速度を示すデータをＣＡＮ２２へ送出する。なお、ステアリングＥＣＵ１８およびトランスミッションＥＣＵ２０とは異なる装置が、操舵角（もしくは転舵角）を示すデータ、および、走行速度を示すデータをＣＡＮ２２へ出力してもよい。
【００３０】
図２は、図１の汚れ検出装置１４の機能構成を示すブロック図である。本開示のブロック図において示される各ブロックは、ハードウェア的には、コンピュータのＣＰＵ・メモリをはじめとする素子や機械装置で実現でき、ソフトウェア的にはコンピュータプログラム等によって実現されるが、ここでは、それらの連携によって実現される機能ブロックを描いている。これらの機能ブロックはハードウェア、ソフトウェアの組合せによっていろいろなかたちで実現できることは、当業者には理解されるところである。
【００３１】
汚れ検出装置１４は、通信部３０と制御部３２を備える。通信部３０は、所定の通信プロトコルにしたがってリアカメラ１２および表示装置１６と通信する。また、通信部３０は、ＣＡＮプロトコルにしたがってＣＡＮ２２で伝送されるデータを受信する。
【００３２】
制御部３２は、リアカメラ１２の汚れの有無を検出するためのデータ処理を実行する。制御部３２は、通信部３０を介して、外部装置から出力されたデータを取得し、また、外部装置へデータを送信する。図２には不図示だが、汚れ検出装置１４は、各種データを記憶する記憶部をさらに備えてもよく、制御部３２は、記憶部に記憶されたデータを参照または更新しつつ、データ処理を実行してもよい。
【００３３】
制御部３２は、画像取得部３４、変化度検出部３６、ボケ強度検出部３８、走行状態判定部４０、推定部４２、結果出力部４８、明るさ検出部２００、抽出部２０２、暗闇状態判定部２０４、結果記憶部２０６を備える。これらの機能ブロックに対応する複数のモジュールを含むコンピュータプログラム（例えば、汚れ検出アプリケーション）が汚れ検出装置１４のストレージへインストールされてもよい。汚れ検出装置１４のＣＰＵは、このコンピュータプログラムをメインメモリへ読み出して実行することにより、各機能ブロックの機能を発揮してもよい。
【００３４】
画像取得部３４は、リアカメラ１２により複数の時点で撮像された複数の後方画像（実施例では輝度画像）を、通信部３０を介して順次取得し、例えば、不図示のメモリ内に後方画像のデータを展開する。図３は、後方画像の例を示す。後方画像５０は、例えば、６４０×４８０ピクセルのＶＧＡ（Video Graphics Array）画像でもよく、３２０×２４０ピクセルのＱＶＧＡ（Quarter Video Graphics Array）画像でもよい。また、図３の後方画像５０では、リアカメラ１２に付着した汚れの影響を受けた領域である汚れ影響領域５２を強調して示している。
【００３５】
図２に戻り、変化度検出部３６は、画像取得部３４により取得された複数の後方画像であり、すなわち、車両１０の後方空間の複数時点の様子を示す複数の後方画像間における輝度の変化度合いを計測する。変化度検出部３６は、複数の後方画像間で輝度の変化度合いが相対的に低い領域を不変領域として検出する。
【００３６】
例えば、変化度検出部３６は、後方画像に対して公知のソーベルフィルタを使用して画像内の輝度勾配を抽出し、輝度勾配の抽出結果を示す画像（ここでは「輝度勾配画像」と呼ぶ。）を生成してもよい。変化度検出部３６は、複数の後方画像に対応する複数の輝度勾配画像を生成してもよい。変化度検出部３６は、最新の後方画像に対応する輝度勾配画像における画素の輝度値を、過去の後方画像（例えば３世代前までの後方画像）に対応する輝度勾配画像における同じ位置の画素の輝度値と比較して、輝度勾配の変化を所定の閾値で判定してもよい。そして、変化度検出部３６は、輝度勾配の変化の頻度が所定の閾値未満の画素を輪郭とする画像内の領域を不変領域として検出してもよい。
【００３７】
不変領域検出のための上記閾値は、開発者の知見や経験、実施例の車両１０を用いた実験等により適切な値が決定されてもよい。また、変化度検出部３６は、ソーベルフィルタ以外の公知の手法により後方画像の輝度勾配を抽出してもよい。また、変化度検出部３６は、上記の特許文献２（特開２００３−２５９３５８号公報）の手法を適用して、複数の画像の各領域に含まれる濃度値の差分を積算し、その積算値が所定の閾値未満の領域を不変領域として検出してもよい。
【００３８】
実施例の変化度検出部３６は、検出した不変領域の位置を示す画像（以下「変化度画像」と呼ぶ。）を生成し、変化度画像のデータを推定部４２へ出力する。図４は、変化度画像の例を示す。図４の変化度画像６０は、複数の不変領域６２を含む。
【００３９】
図２に戻り、ボケ強度検出部３８は、画像取得部３４により取得された複数の画像の中の少なくとも１つの対象画像から周波数領域のデータを抽出し、抽出した周波数領域のデータに基づいて、対象画像内の複数の領域のボケ度合い（言い換えればボケ強度）を検出する。ボケ強度検出部３８は、画像取得部３４から入力された複数の画像のそれぞれを対象画像として、各対象画像内の複数領域のボケ度合いを検出してもよい。
【００４０】
実施例のボケ強度検出部３８は、対象画像を所定数のブロックに分割し、ＤＦＴを使用して、各ブロックの空間領域の画像データを空間周波数領域のデータへ変換する。後方画像がＶＧＡ画像の場合、ボケ強度検出部３８は、当該後方画像を、横１６ブロック（４０ピクセル／ブロック）×縦１６ブロック（３０ピクセル／ブロック）に分割してもよい。ボケ強度検出部３８は、１つのブロックに含まれる周波数分布における高周波の成分の割合が多いほど当該ブロックのボケ強度を低く決定してもよく、１つのブロックに含まれる高周波の成分の割合が少ないほど当該ブロックのボケ強度を高く決定してもよい。
【００４１】
実施例のボケ強度検出部３８は、対象画像内の各ブロックのボケ強度を示す画像（以下「ボケ強度画像」と呼ぶ。）を生成し、ボケ強度画像のデータを推定部４２へ出力する。図５は、ボケ強度画像の例を示す。図５のボケ強度画像７０は、横１６ブロック×縦１６ブロックの合計１９６ブロックを含み、ボケ強度が高いブロックほど白く示し、ボケ強度が低いブロックほど黒く示している。
【００４２】
図２に戻り、走行状態判定部４０は、リアカメラ１２が撮像する後方画像に変化を生じさせる予め定められた条件（以下「画像変化条件」と呼ぶ。）を記憶する。画像変化条件は、車両１０の走行状態に関する条件と、リアカメラ１２から出力された後方画像の態様に関する条件を含む。例えば、画像変化条件は、車両１０の速度または移動距離が所定の閾値以上になった場合に満たされるよう定められてもよい。また、画像変化条件は、車両１０の旋回角度が所定の閾値以上になった場合に満たされるよう定められてもよい。
【００４３】
さらにまた、画像変化条件は、複数の後方画像間で輝度の変化が大きくなった場合に満たされるよう定められてもよく、例えば、最新の後方画像の平均輝度と過去（例えば直前）の後方画像の平均輝度との差が所定の閾値以上になった場合に満たされるよう定められてもよい。画像変化条件の充足有無を判定するための各閾値は、開発者の知見や経験、車両１０を用いた実験等により適切な値が決定されてもよい。
【００４４】
走行状態判定部４０は、通信部３０がＣＡＮ２２から受信した車両１０の速度情報を取得し、その速度情報に基づいて、車両１０の速度または移動距離（例えば速度の積分値）が画像変化条件を満たすか否かを判定する（判定１）。また、走行状態判定部４０は、通信部３０がＣＡＮ２２から受信した車両１０の操舵角情報（もしくは転舵角情報）を取得し、車両１０の操舵角（もしくは転舵角）の値が画像変化条件を満たすか否かを判定する（判定２）。
【００４５】
また、走行状態判定部４０は、画像取得部３４により取得された複数の後方画像のそれぞれにおける平均輝度値を公知の手法により導出し、それら複数の後方画像に亘る平均輝度値の変化度合いが画像変化条件を満たすか否かを判定する（判定３）。走行状態判定部４０は、判定１〜判定３の少なくとも１つで画像変化条件を満たすと判定した場合、画像変化条件が満たされた旨のデータを推定部４２へ出力する。
【００４６】
推定部４２は、変化度検出部３６により検出された後方画像内の不変領域と、ボケ強度検出部３８により検出された後方画像内の複数領域のボケ度合いの両方に基づいて、リアカメラ１２に付着した汚れの有無を推定する。推定部４２は、後方画像における不変領域の少なくとも一部と、後方画像におけるボケ強度が所定値より領域の少なくとも一部とが一致する場合であり、実施例では所定サイズ以上一致する場合に、リアカメラ１２に汚れが付着したと推定する。推定部４２は、走行状態判定部４０により車両１０の走行状態または後方画像の輝度値が画像変化条件を満たすと判定された場合、言い換えれば、走行状態判定部４０から画像変化条件が満たされた旨のデータが入力された場合に、本推定処理を実行する。
【００４７】
推定部４２は、検出結果統合部４４と汚れ判定部４６を含む。検出結果統合部４４は、変化度検出部３６から入力された変化度画像を取得する。また、検出結果統合部４４は、ボケ強度検出部３８から入力されたボケ強度画像を取得する。検出結果統合部４４は、予め定められたボケ強度の基準値に基づいてボケ強度画像内の各ブロックを二値化した画像である二値化ボケ強度画像を生成する。二値化ボケ強度画像は、ボケ強度が基準値以上を示すブロックと、ボケ強度が基準値未満のブロックとを異なる態様で示す画像であってもよい。なお、ボケ強度画像の二値化処理は、ボケ強度検出部３８が実行してもよい。
【００４８】
検出結果統合部４４は、変化度画像が示す不変領域の少なくとも一部と、二値化ボケ強度画像が示すボケ強度が基準値以上のブロックの少なくとも一部とが重なる場合に、その重なる領域（１つ以上の画素の集合）を汚れ候補領域として決定する。検出結果統合部４４は、汚れ候補領域を示す画像である汚れ候補画像を生成し、汚れ候補画像のデータを汚れ判定部４６へ出力する。図６は、汚れ候補画像の例を示す。図６の汚れ候補画像８０は、２つの汚れ候補領域８２を含む。
【００４９】
図２に戻り、汚れ判定部４６は、検出結果統合部４４から入力された汚れ候補画像に含まれる各汚れ候補領域のサイズ（例えば画素数等）を検出する。汚れ判定部４６は、汚れ候補画像に含まれる１つ以上の汚れ候補領域のうちサイズが所定の閾値以上の汚れ候補領域を最終的な汚れ領域として検出する。汚れ領域検出のための上記閾値は、開発者の知見や経験、車両１０を用いた実験等により適切な値が決定されてもよい。汚れ判定部４６は、汚れ領域を検出した場合であり、すなわち、少なくとも１つの汚れ候補領域のサイズが上記閾値以上の場合に、リアカメラ１２のレンズ表面に汚れが付着したと判定する。
【００５０】
また、汚れ判定部４６は、汚れ領域を検出した場合、画像取得部３４により取得された後方画像の上に汚れ領域を示す画像を重畳させた汚れ検出結果画像を生成してもよい。図７は、汚れ検出結果画像の例を示す。図７の汚れ検出結果画像９０は、２つの汚れ領域９２を含む。
【００５１】
図２に戻り、明るさ検出部２００は、画像取得部３４により取得された後方画像５０におけるライセンスランプの光が照射される領域（ランプ照射領域）の明るさを検出する。また、明るさ検出部２００は、後方画像５０におけるライセンスランプの光が照射されない領域（ランプ非照射領域）の明るさを検出する。
【００５２】
図８は、ランプ照射領域の例を示す。同図は、夜間に雪道を走行中の車両１０で撮像された後方画像５０を示している。明るさ検出部２００は、後方画像５０において予め定められたランプ照射領域２１２内の検査箇所２１４の輝度平均値を、ランプ照射領域２１２の明るさとして検出する。
【００５３】
図８では、汚れ検出領域２１０の範囲内で、かつ、ランプ照射領域２１２の範囲外がランプ非照射領域に該当する。明るさ検出部２００は、後方画像５０において予め定められたランプ非照射領域内の検査箇所２１６の輝度平均値を、ランプ非照射領域の明るさとして検出する。なお、検査箇所２１４を複数設けてもよく、検査箇所２１６を複数設けてもよい。すなわち、離散的に存在する複数の検査箇所の明るさをチェックしてもよい。
【００５４】
図２に戻り、抽出部２０２は、汚れ判定部４６により推定された汚れ領域のうち、検出領域２１０に含まれる汚れ領域を広域汚れ領域として抽出する。また、抽出部２０２は、汚れ判定部４６により推定された汚れ領域のうち、ライセンスランプの光が照射される領域（ランプ照射領域）およびその周辺領域に含まれる汚れ領域を車両近傍汚れ領域として抽出する。例えば、抽出部２０２は、後方画像５０の座標系における、広域汚れ領域と車両近傍汚れ領域それぞれの外縁（輪郭）の座標値を取得してもよい。
【００５５】
ランプ照射領域の周辺領域は、ランプ非照射領域のうちランプ照射領域の近傍にあたる領域である。例えば、後方画像５０の画像サイズがＶＧＡ（６４０×４８０ピクセル）の場合、周辺領域は、ランプ照射領域の外縁（言い換えればランプ照射領域とランプ非照射領域の境界）から５ピクセルの範囲であってもよい。また、後方画像５０の画像サイズが１Ｍ（１２８０×９６０ピクセル）の場合、周辺領域は、ランプ照射領域の外縁から１０ピクセルの範囲でもよい。ランプ照射領域の周辺領域のサイズは、後方画像５０の解像度に応じて決定されてよく、また、解像度が高いほど大きい値に決定されてもよい。ランプ照射領域とその周辺領域を総称する場合、「車両近傍領域」と呼ぶ。
【００５６】
図９は、広域汚れ領域と車両近傍汚れ領域を説明する図である。既述したように、汚れ判定部４６は、後方画像５０から汚れ領域９２を推定する。抽出部２０２は、広域汚れ抽出マスク２２０を使用して、予め定められた汚れ検出の対象領域内で推定された汚れ領域を広域汚れ領域として抽出する。また、抽出部２０２は、車両近傍汚れ抽出マスク２２２を使用して、車両近傍領域内で推定された汚れ領域を車両近傍汚れ領域として抽出する。なお、抽出部２０２は、広域汚れ領域を抽出しなくてもよく、後述の暗闇状態判定部２０４は、広域汚れ領域に代えて、汚れ判定部４６により検出された汚れ領域全体を使用してもよい。
【００５７】
図２に戻り、暗闇状態判定部２０４は、汚れ判定を抑制するか否か、言い換えれば、暗闇状態に遷移するか否かを判定する。具体的には、暗闇状態判定部２０４は、（１）ランプ照射領域の明るさが第１閾値以上であって、かつ、（２）ランプ照射領域の明るさと、ランプ非照射領域の明るさとの差異が第２閾値以上であって、かつ、（３）広域汚れ領域のサイズ（例えば画素数）と、車両近傍汚れ領域のサイズ（例えば画素数）との差異が第３閾値未満の場合、汚れ判定を抑制すべき暗闇状態と判定する。（２）は、（ランプ照射領域の明るさ（例えば輝度値）−ランプ非照射領域の明るさ（例えば輝度値）の値が、第２閾値以上であることとも言える。
【００５８】
また、暗闇状態判定部２０４は、（１）ランプ領域の明るさが第１閾値未満であり、または、（２）ランプ照射領域の明るさと、ランプ非照射領域の明るさとの差異が第２閾値未満であり、または、（３）広域汚れ領域のサイズ（例えば画素数）と、車両近傍汚れ領域のサイズ（例えば画素数）との差異が第３閾値以上の場合、汚れ検出可能状態と判定し、例えば、カメラのレンズに汚れが付着していると判定する。上記の第１閾値、第２閾値、第３閾値は、汚れ検出装置１４の開発者の知見や、汚れ検出装置１４および車両１０を用いた実験等により適切な値が決定されればよい。
【００５９】
結果記憶部２０６は、汚れ判定結果を記憶する。暗闇状態判定部２０４は、汚れ検出可能状態と判定した場合、汚れ判定部４６により汚れ有りの推定がなされていれば、リアカメラ１２のレンズに汚れがある旨の汚れ判定結果を結果記憶部２０６に記録する。また、暗闇状態判定部２０４は、汚れ検出可能状態と判定した場合、汚れ判定部４６により汚れなしの推定がなされていれば、リアカメラ１２のレンズに汚れがない旨の汚れ判定結果を結果記憶部２０６に記録する。
【００６０】
結果出力部４８は、結果記憶部２０６に記憶された汚れ判定結果を外部装置へ送信する。実施例では、結果出力部４８は、汚れ判定結果を要求する信号を表示装置１６から受け付けた場合に、結果記憶部２０６に記憶された汚れ判定結果のデータを表示装置１６へ送信する。表示装置１６は、例えば、車両１０のギアが更新に切り替わった場合に、汚れ判定結果を取得し、汚れ判定結果を画面に表示させてもよい。
【００６１】
変形例として、結果出力部４８は、結果記憶部２０６に記憶された汚れ判定結果のデータを定期的に、または所定のタイミングで、表示装置１６へ送信してもよい。また、汚れ判定結果は、図７に示した汚れ検出結果画像９０を含んでもよく、表示装置１６は、汚れ検出結果画像９０を表示させてもよい。
【００６２】
以上の構成による汚れ検出装置１４の動作を説明する。
図１０は、汚れ検出装置１４の動作を示すフローチャートである。リアカメラ１２は、車両１０の後方空間の様子を継続的に撮像し、複数の後方画像を順次汚れ検出装置１４へ出力する。汚れ検出装置１４の画像取得部３４は、通信部３０を介して、リアカメラ１２により複数の時点で生成された複数の後方画像を取得する（Ｓ１０のＹ）。
【００６３】
変化度検出部３６は、複数の後方画像に亘る輝度の変化度合いを画素ごとに検出し、複数の後方画像間で輝度の変化度合いが相対的に低い領域を不変領域として検出する（Ｓ１２）。ボケ強度検出部３８は、各後方画像について、後方画像を分割した複数のブロックそれぞれにおけるボケ強度を検出する（Ｓ１４）。走行状態判定部４０は、通信部３０がＣＡＮ２２から受信した走行状態を示すデータ、または後方画像に基づいて、画像変化条件が満たされたか否かを判定する（Ｓ１６）。
【００６４】
画像変化条件が満たされた場合（Ｓ１８のＹ）、検出結果統合部４４は、変化度検出部３６により検出された不変領域と、ボケ強度検出部３８により検出されたボケ強度が所定値より強い領域とが重複する領域を汚れ候補領域として検出する（Ｓ２０）。汚れ判定部４６は、検出結果統合部４４により検出された少なくとも１つの汚れ候補領域が、予め定められたサイズ以上である場合（Ｓ２２のＹ）、リアカメラ１２のレンズ表面に汚れが付着していると判定するとともに、汚れ領域を示す汚れ検出結果画像を生成する（Ｓ２４）。汚れ判定部４６は、検出結果統合部４４により検出されたすべての汚れ候補領域が上記サイズ未満である場合（Ｓ２２のＮ）、リアカメラ１２のレンズ表面に汚れが付着していないと判定する（Ｓ２６）。
【００６５】
汚れ判定部４６の処理後、暗闇状態判定処理を実行する（Ｓ２８）。表示装置１６から汚れ判定結果の提供が要求されると（Ｓ３０のＹ）、結果出力部４８は、結果記憶部２０６に記憶された汚れ判定結果を表示装置１６へ送信する（Ｓ３２）。汚れ有りの判定の場合、結果出力部４８は、汚れ検出結果画像を含む汚れ判定結果を表示装置１６へ送信してもよい。表示装置１６は、汚れ検出装置１４から送信された汚れ検出結果を画面に表示する。汚れ判定結果の提供が要求されなければ（Ｓ３０のＮ）、Ｓ３２をスキップする。
【００６６】
終了コマンドが入力される等、所定の終了条件が満たされると（Ｓ３４のＹ）、本図のフローを終了する。終了条件が満たされなければ（Ｓ３４のＮ）、Ｓ１０に戻り、次の後方画像を取得する。画像変化条件が満たされなければ（Ｓ１８のＮ）、Ｓ２０〜Ｓ２８をスキップする。また、リアカメラ１２から画像が入力されなければ（Ｓ１０のＮ）、Ｓ１２〜Ｓ２８をスキップする。
【００６７】
図１１は、図１０のＳ２８の暗闇状態判定処理を詳細に示すフローチャートである。明るさ検出部２００は、画像取得部３４により取得された後方画像に映るランプ照射領域の明るさを取得し（Ｓ４０）、さらに、後方画像に映るランプ非照射領域の明るさを取得する（Ｓ４２）。ランプ照射領域の明るさが第１閾値以上であり（Ｓ４４のＹ）、かつ、ランプ照射領域の明るさとランプ非照射領域の明るさの差が第２閾値以上の場合（Ｓ４６のＹ）、抽出部２０２は、汚れ判定部４６により推定された汚れ領域から広域汚れ領域を抽出し、暗闇状態判定部２０４は、広域汚れ領域のサイズを取得する（Ｓ４８）。また、抽出部２０２は、汚れ判定部４６により推定された汚れ領域から車両近傍汚れ領域を抽出し、暗闇状態判定部２０４は、車両近傍汚れ領域のサイズを取得する（Ｓ５０）。
【００６８】
暗闇状態判定部２０４は、広域汚れ領域のサイズと車両近傍汚れ領域のサイズとを比較する。（広域汚れ領域のサイズ−車両近傍汚れ領域のサイズ）の値が第３閾値未満であれば、すなわち、後方画像から検出された汚れ領域に占める車両近傍汚れ領域の割合が支配的であれば（Ｓ５２のＹ）、暗闇状態判定部２０４は、暗闇状態に遷移することを決定する。すなわち、暗闇状態判定部２０４は、汚れ判定部４６による汚れ判定結果を結果記憶部２０６に記録することを抑制する（Ｓ５８）。したがって、暗闇状態の間、結果記憶部２０６は、暗闇状態へ遷移する直前の汚れ判定結果を保持し続け、結果出力部４８は、暗闇状態へ遷移する直前の汚れ判定結果を表示装置１６へ提供する。
【００６９】
ランプ照射領域の明るさが第１閾値未満（Ｓ４４のＮ）、または、ランプ照射領域の明るさとランプ非照射領域の明るさの差が第２閾値未満（Ｓ４６のＮ）、または、（広域汚れ領域のサイズ−車両近傍汚れ領域のサイズ）の値が第３閾値以上であれば（Ｓ５２のＮ）、暗闇状態判定部２０４は、汚れ検出可能状態と判定する（Ｓ５４）。暗闇状態判定部２０４は、汚れ判定部４６による最新の汚れ判定結果を結果記憶部２０６に記録する（Ｓ５６）。すなわち、結果記憶部２０６に記憶されたそれまでの汚れ判定結果を更新する。
【００７０】
実施例の汚れ検出装置１４は、後方画像内の不変領域と、後方画像内の複数領域のボケ度合いとを組み合わせに基づいて、リアカメラ１２のレンズ表面に付着した汚れの有無を推定する。これにより、不変領域に基づく汚れの検出の弱点と、ボケ度合いに基づく汚れの検出の弱点を補完し、汚れの有無の推定精度を高めることができる。また、画像変化条件が満たされた場合であり、すなわち、後方画像に変化が生じた場合に、リアカメラ１２に付着した汚れの有無を推定する。これにより、平坦な道路や雲のない空等を不変領域として検出することを抑制し、汚れの有無の推定精度を一層高めることができる。
【００７１】
また、実施例の汚れ検出装置１４によると、本来存在しない汚れを誤検出しやすい状況では、暗闇状態へ遷移して、汚れ判定結果の更新を抑制することにより、誤った検出結果を外部へ通知してしまうことを防止できる。また、実施例の汚れ検出装置１４によると、車両近傍領域に誤検出の可能性が比較的高い汚れが検出された場合でも、他の領域に比較的大きい汚れがあれば、汚れ有りと判定することにより、汚れ判定が実施できない事象の発生を低減することができる。
【００７２】
具体例を説明する。図１２は、リアカメラ１２のレンズに汚れが付着していない場合の後方画像５０の例である。既述したように、ランプ照射領域２１２とランプ非照射領域との境界において明るさが大きく変化する箇所（段差２３０）を汚れ領域９２として検出することがある（図１３）。しかし、この場合、後方画像５０から検出された汚れ領域に占める車両近傍汚れ領域の割合が支配的になるため、汚れ検出装置１４は暗闇状態へ移行する。これにより、誤った検出結果を外部へ通知してしまうことを防止できる。
【００７３】
図１４は、リアカメラ１２のレンズに汚れが付着している場合の後方画像５０の例である。この場合、段差２３０以外でも汚れ領域９２が検出される（図１５）。すなわち、車両近傍領域以外の領域に大きい汚れ領域９２が検出されるため、汚れ検出装置１４は、暗闇状態へ移行せず、レンズ汚れを検出することができる。
【００７４】
なお、ランプ照射領域に対応するリアカメラ１２のレンズ部分のみに汚れが付着した場合、暗闇状態となってその汚れが検出されない事象が生じるようにも思われる。しかし、レンズの汚れ付着部分に対応する画像領域は明るさが低減するところ、実施例の汚れ検出装置１４は、後方画像におけるランプ照射領域がある程度明るいことを暗闇状態への遷移条件とする。したがって、ランプ照射領域に対応するリアカメラ１２のレンズ部分に汚れが付着し、後方画像におけるランプ照射領域が暗くなった場合、汚れ検出装置１４は、暗闇状態へ遷移せず、その汚れを検出することができる。
【００７５】
具体例を説明する。図１６は、リアカメラ１２のレンズに汚れが付着している場合の後方画像５０の例である。この例では、車両近傍領域からのみ汚れ領域９２が検出される（図１７）。すなわち、後方画像５０から検出された汚れ領域に占める車両近傍汚れ領域の割合が支配的になる。しかし、この場合、図１８に示すように、ランプ照射領域２１２における検査箇所２１４の輝度平均値が低くなり、および／または、段差が検知されなくなる。すなわち、図１１のフローチャートにおける（Ｓ４４のＮ）と（Ｓ４６のＮ）の少なくとも一方が成立する。したがって、汚れ検出装置１４は、汚れ検出可能状態と判定し、レンズ汚れを検出することができる。
【００７６】
以上、本開示を実施例をもとに説明した。この実施例は例示であり、各構成要素あるいは各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本開示の範囲にあることは当業者に理解されるところである。以下変形例を示す。
【００７７】
上記実施例では、リアカメラ１２のレンズ表面の汚れの有無を検出する汚れ検出装置１４をリアカメラ１２とは別装置として設けたが、リアカメラ１２と汚れ検出装置１４とを一体化してもよい。言い換えれば、リアカメラ１２は、撮像部に加えて、実施例の汚れ検出装置１４の機能を備えてもよい。リアカメラ１２に搭載された汚れ検出装置１４の機能は、撮像部により撮像された後方画像に基づいて自装置（すなわちリアカメラ１２）に付着した汚れの有無を判定してもよい。
【００７８】
図１９は、変形例のリアカメラの機能構成を示すブロック図である。リアカメラ１２は、通信部１００、撮像部１０２、画像出力部１０４、汚れ検出部１０６を備える。通信部１００は、実施例の汚れ検出装置１４の通信部３０に対応し、表示装置１６およびＣＡＮ２２と通信する。実施例に記載したように撮像部１０２はレンズを含む。また、撮像部１０２は、車両１０の後方空間の様子を撮像し、後方画像を生成する。画像出力部１０４は、通信部１００を介して、後方画像を表示装置１６へ送信する。
【００７９】
汚れ検出部１０６は、実施例の汚れ検出装置１４に対応し、実施例の汚れ検出装置１４と同様の機能ブロックを含む。画像取得部３４は、撮像部１０２により生成された後方画像のデータを取得し、後方画像のデータを変化度検出部３６、ボケ強度検出部３８、走行状態判定部４０へ入力する。変化度検出部３６、ボケ強度検出部３８、走行状態判定部４０、推定部４２、明るさ検出部２００、抽出部２０２、暗闇状態判定部２０４、結果記憶部２０６の機能は、実施例と同様である。結果出力部４８は、汚れ検出結果のデータを表示装置１６へ出力する。
【００８０】
別の態様として、汚れ検出装置１４と表示装置１６とを一体化してもよい。例えば、表示装置１６としてのカーナビゲーション装置またはＡＤＡＳは、実施例の汚れ検出装置１４の機能を備えてもよい。さらに別の態様として、実施例の汚れ検出装置１４の機能は、車両１０の外部の装置に設けられてもよい。例えば、実施例の汚れ検出装置１４の機能は、インターネット等の通信網を介して車両１０に接続されるサーバに設けられてもよい。
【００８１】
上記実施例では、汚れ検出装置１４の結果出力部４８は、汚れ検出結果を示すデータを表示装置１６に対して送信した。変形例として、結果出力部４８は、表示装置１６以外の他装置へ汚れ検出結果を示すデータを送信してもよい。この他装置は、車両１０の外部装置でもよく、結果出力部４８は、インターネット等の通信網を介して車両１０の外部装置へ汚れ検出結果を示すデータを送信してもよい。また、結果出力部４８は、汚れ検出アプリケーションに対する外部のアプリケーションへ汚れ検出結果を示すデータを送信してもよい。例えば、結果出力部４８は、リアカメラ１２により撮像された後方画像に基づいて所定のデータ処理（アラートの出力等）を行うアプリケーションへ汚れ検出結果を示すデータを送信してもよい。
【００８２】
上記実施例では、変化度検出部３６は変化度画像６０（図４）を出力し、ボケ強度検出部３８はボケ強度画像７０（図５）を出力し、検出結果統合部４４は汚れ候補画像８０（図６）を出力し、汚れ判定部４６は汚れ検出結果画像９０（図７）を出力した。変形例として、変化度検出部３６は、不変領域の位置を示す非画像データ（不変領域の座標値等）を出力してもよい。また、ボケ強度検出部３８は、複数のブロックそれぞれのボケ強度を示す非画像データ、または、所定値よりボケ強度が高いブロックの位置を示す非画像データ（ブロックの識別情報や座標値等）を出力してもよい。また、検出結果統合部４４は、汚れ候補領域の位置（座標値等）を示す非画像データを出力してもよい。また、汚れ判定部４６は、汚れ検出領域の位置（座標等）を示す非画像データを出力してもよい。
【００８３】
上記実施例では、汚れ検出装置１４は、車両１０のリアカメラ１２に付着した汚れの有無を推定したが、汚れの付着有無を推定する対象はリアカメラ１２に制限されない。実施例に記載の汚れ検出技術は、車両１０の後部以外に搭載されたカメラの汚れの検出にも適用可能である。また、実施例に記載の汚れ検出技術は、或る位置や地点、動かない物体等に固定設置されたカメラ（例えば監視カメラ等）の汚れの検出にも適用可能である。
【００８４】
実施例および変形例に記載の技術は、以下の項目によって特定されてもよい。
［項目１］
カメラにより撮像された画像を取得する取得部と、
前記取得部により取得された画像において、前記カメラに付着した汚れが映る領域である第１汚れ領域を推定する推定部と、
前記推定部により推定された第１汚れ領域のうち、ランプの光が照射される領域およびその周辺領域に含まれる第２汚れ領域を抽出する抽出部と、
前記第１汚れ領域のサイズと、前記第２汚れ領域のサイズとの差異が所定の閾値以上である場合、前記カメラに汚れが付着していると判定する判定部と、
を備える汚れ検出装置。
この汚れ検出装置によると、カメラに汚れが付着していることを検出する精度（言い換えれば正確度）を高めることができる。ランプの光が照射される画像上の領域およびその周辺領域（以下「特定領域」とも呼ぶ。）は、汚れを誤検知しやすい領域であるが、特定領域以外の領域で検出された汚れのサイズが大きければカメラに汚れが付着していると判定することで、誤検知および未検知を抑制することができる。
［項目２］
前記判定部は、前記ランプの光が照射される領域の明るさが、前記所定の閾値とは異なる閾値以上であって、かつ、前記第１汚れ領域のサイズと、前記第２汚れ領域のサイズとの差異が前記所定の閾値未満の場合、前記カメラに汚れが付着していると判定することを抑制する、
項目１に記載の汚れ検出装置。
特定領域は汚れを誤検知しやすい領域であるため、特定領域で検出された汚れのサイズが大きければ、汚れ判定を抑制することで、誤検知を抑制できる。また、特定領域に対応するカメラのレンズ部分に汚れが付着している場合、特定領域の明るさは低減するが、特定領域の明るさが閾値以上であることを汚れ判定抑制の条件とするため、特定領域に対応するカメラのレンズ部分に付着した汚れが未検知となる可能性を低減できる。
［項目３］
前記判定部は、前記ランプの光が照射される領域の明るさと、前記ランプの光が照射されない領域の明るさとの差異が、前記所定の閾値とは異なる閾値以上であって、かつ、前記第１汚れ領域のサイズと、前記第２汚れ領域のサイズとの差異が前記所定の閾値未満の場合、前記カメラに汚れが付着していると判定することを抑制する、
項目１または２に記載の汚れ検出装置。
特定領域は汚れを誤検知しやすい領域であるため、特定領域で検出された汚れのサイズが大きければ、汚れ判定を抑制することで、誤検知を抑制できる。また、特定領域に対応するカメラのレンズ部分に汚れが付着している場合、特定領域の明るさは低減するが、特定領域の明るさと特定領域以外の明るさの差が閾値以上であることを汚れ判定抑制の条件とするため、特定領域に対応するカメラのレンズ部分に付着した汚れが未検知となる可能性を低減できる。
［項目４］
第１検出部と、第２検出部と、をさらに備え、
前記取得部は、１つのカメラにより複数の時点で撮像された複数の画像を取得する取得部と、
前記第１検出部は、前記取得部により取得された複数の画像間で輝度の変化度合いが相対的に低い領域である不変領域を検出し、
前記第２検出部は、前記取得部により取得された複数の画像の中の少なくとも１つの対象画像から周波数領域のデータを抽出し、抽出された前記周波数領域のデータに基づいて、前記対象画像内の複数の領域のボケ度合いを検出し、
前記推定部は、前記第１検出部により検出された前記不変領域と、前記第２検出部により検出された前記複数の領域のボケ度合いとをもとに、前記第１汚れ領域を推定する、
項目１から３のいずれかに記載の汚れ検出装置。
この汚れ検出装置によると、画像における輝度の変化度合いとボケ度合いとをもとに、カメラのレンズに付着した汚れによる影響を受けた画像上の領域を精度よく推定できる。また、上記の項目１から３の技術との組合せにより、誤検知および未検知の発生を効果的に抑制できる。
［項目５］
外界を撮像する撮像部と、
前記撮像部により撮像された画像において、本カメラに付着した汚れが映る領域である第１汚れ領域を推定する推定部と、
前記推定部により推定された第１汚れ領域のうち、ランプの光が照射される領域およびその周辺領域に含まれる第２汚れ領域を抽出する抽出部と、
前記第１汚れ領域のサイズと、前記第２汚れ領域のサイズとの差異が所定の閾値以上の場合、前記カメラに汚れが付着していると判定する判定部と、
を備えるカメラ。
このカメラによると、項目１と同様に、カメラに汚れが付着していることを検出する精度（言い換えれば正確度）を高めることができる。
［項目６］
カメラにより撮像された画像を取得する取得し、
取得した画像において、前記カメラに付着した汚れが映る領域である第１汚れ領域を推定し、
推定した第１汚れ領域のうち、ランプの光が照射される領域およびその周辺領域に含まれる第２汚れ領域を抽出し、
前記第１汚れ領域のサイズと、前記第２汚れ領域のサイズとの差異が所定の閾値以上の場合、前記カメラに汚れが付着していると判定する、
ことをコンピュータに実行させるためのコンピュータプログラム。
このコンピュータプログラムによると、項目１と同様に、カメラに汚れが付着していることを検出する精度（言い換えれば正確度）を高めることができる。
［項目７］
カメラにより撮像された画像を取得する取得し、
取得した画像において、前記カメラに付着した汚れが映る領域である第１汚れ領域を推定し、
推定した第１汚れ領域のうち、ランプの光が照射される領域およびその周辺領域に含まれる第２汚れ領域を抽出し、
前記第１汚れ領域のサイズと、前記第２汚れ領域のサイズとの差異が所定の閾値以上の場合、前記カメラに汚れが付着していると判定する、
ことをコンピュータに実行させるためのコンピュータプログラムを記録したコンピュータ読み取り可能な記録媒体。
この記録媒体に記録されるコンピュータプログラムによると、項目１と同様に、カメラに汚れが付着していることを検出する精度（言い換えれば正確度）を高めることができる。
【００８５】
上述した実施例および変形例の任意の組み合わせもまた本開示の実施の形態として有用である。組み合わせによって生じる新たな実施の形態は、組み合わされる実施例および変形例それぞれの効果をあわせもつ。また、請求項に記載の各構成要件が果たすべき機能は、実施例および変形例において示された各構成要素の単体もしくはそれらの連携によって実現されることも当業者には理解されるところである。
【符号の説明】
【００８６】
１０  車両、  １２  リアカメラ、  １４  汚れ検出装置、  １６  表示装置、  ３４  画像取得部、  ３６  変化度検出部、  ３８  ボケ強度検出部、  ４２  推定部、  ４４  検出結果統合部、  ４６  汚れ判定部、  ４８  結果出力部、  ２００  明るさ検出部、  ２０２  抽出部、  ２０４  暗闇状態判定部。
【図１】
2019176300.tif 000003
【図２】
2019176300.tif 000004
【図３】
2019176300.tif 000005
【図４】
2019176300.tif 000006
【図５】
2019176300.tif 000007
【図６】
2019176300.tif 000008
【図７】
2019176300.tif 000009
【図８】
2019176300.tif 000010
【図９】
2019176300.tif 000011
【図１０】
2019176300.tif 000012
【図１１】
2019176300.tif 000013
【図１２】
2019176300.tif 000014
【図１３】
2019176300.tif 000015
【図１４】
2019176300.tif 000016
【図１５】
2019176300.tif 000017
【図１６】
2019176300.tif 000018
【図１７】
2019176300.tif 000019
【図１８】
2019176300.tif 000020
【図１９】
2019176300.tif 000021