(57)【要約】【課題】顕著なレンズ汚れのみならず、薄いレンズ汚れについても判断し、レンズ汚れの検出精度を向上させること。【解決手段】差分画像生成部１０３は、画像蓄積部１０２から、カメラ１０１によって異なる時刻において撮像された複数の画像データを取得し、これらの画像データ間の差分画像データを生成する。差分画像更新部１０４は、前回の差分画像と今回の差分画像とを各画素について比較し、差分の大きい方の画素で今回の差分画像を更新する。差分画像の更新回数が所定回数に達した場合、最新の差分画像が汚れ判断部１０６へ出力される。汚れ判断部１０６は、この最新の差分画像に基づいて、カメラ１０１におけるレンズ汚れの有無を判断する。【選択図】図３
2007318355.tif 000002
【特許請求の範囲】
【請求項１】
カメラと、
前記カメラを用いて異なるタイミングで撮像された複数の画像を、対応する各画素において比較し、画素間の濃度の差分が最大となる画素を用いて１つの最大差分画像を形成する形成手段と、
前記最大差分画像において濃度が閾値以下の画素を、汚れ画素と判定する判定手段と、
を具備する撮像装置。
【請求項２】
前記形成手段は、
前記カメラを用いて連続したタイミングで撮像された２枚の画像から差分画像を生成する生成手段と、
前記生成手段によって生成された２枚の差分画像を比較し、画素間の濃度の差分が最大となる方の画素を用いて差分画像を更新する更新手段と、
更新回数または経過時間が所定値に達した場合、更新された前記差分画像を、前記最大差分画像として出力する出力手段と、
を具備する請求項１記載の撮像装置。
【請求項３】
汚れ画素と判定された画素からなる領域の面積が所定値以上である場合、前記カメラが汚れていると判断する、
請求項１記載の撮像装置。
【請求項４】
異なるタイミングで撮像された複数の画像を、対応する各画素において比較し、画素間の濃度の差分が最大となる画素を用いて１つの最大差分画像を形成するステップと、
前記最大差分画像において濃度が閾値以下の画素を、汚れ画素と判定するステップと、
を具備するレンズ汚れ検出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、自動車等の車両に搭載される車載カメラシステムに適用することができる撮像装置およびレンズ汚れ検出方法に関する。
【背景技術】
【０００２】
車両の周囲をカメラを用いて監視する装置として、カメラを自動車の後方、側方、前方等に取り付け、その車載カメラの映像をドライバーに提示することにより、安全運転を支援する車載カメラシステムが知られている。典型的な例としては、図９に示すように、自動車のリアトランク部等に、後ろ向きに車載カメラ（ここではリアビューカメラ）を設置し、図１０に示すように、そこから得られる画像（リアビュー）にガイド線等を重畳してドライバーに表示することにより、ミラーを見ることなく車両後方の様子を知ることができるシステムがある。
【０００３】
この装置に用いられるカメラは、ありとあらゆる条件下において用いられるため、レンズ面への汚れ付着は避けられない。レンズの汚れがひどくなると、外界の様子をレンズを通して写した映像が不明瞭になったり一部隠されてしまうようになるので、運転に支障を来すことになる。従って、車載カメラのレンズに付着する汚れの有無を判断し、もし汚れがある場合はドライバーに清掃を促したり、自動でレンズを洗浄する装置等を備える必要がある。
【０００４】
レンズに付着した汚れを検出する技術として、例えば、特許文献１記載のものがある。特許文献１では、車両が移動中の場合、異なるタイミングにて撮像された２つの映像に含まれる濃度値の差分を抽出し、これらを積算した映像から所定の閾値以下の部分を汚れとして検出する方法が開示されている。
【特許文献１】特開２００３−２５９３５８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
図１(ａ)〜(ｃ)は、特許文献１記載のレンズ汚れ検出の概要を示す図である。図１(ａ)および図１(ｂ)は、車両移動中に、異なるタイミングにて撮像された２つの映像である。図１(ｃ)は、図１(ａ)に含まれる濃度値と図１(ｂ)に含まれる濃度値との差分を抽出し、これらを積算した映像である。
【０００６】
図１(ｃ)では、差分が少ない部分ほど映像が黒色化し、差分が大きい部分ほど白色化することがわかる。すなわち、図１(ａ)の画像データと図１(ｂ)の画像データとの間の関連性が薄いほど画像データの白色化が進む。例えば、図１(ａ)で駐車されていた自動車が、図１(ｂ)においていなくなっている部分においては、図１(ｃ)の画像データの白色化が進んでいることがわかる。また、路面部分も図１(ａ)と図１(ｂ)との差分は無いはずであるが、自動車という移動する物体から撮影され、かつ長時間において撮影される特質を考え合わせると、大概は他の明るさの場所の画像との差分を撮る結果となり、積算画像において差が現れるようになる。
【０００７】
一方、図１に示す汚れ領域は顕著な汚れであるため、入力画像の１、２のいずれにおいても最初から真っ黒に写っており、入力画像１と入力画像２の差は「無し」となる。これは、どんなタイミングで撮影されたどんな画像同士で差をとっても同じ結果になる。よって、図１(ｃ)において、汚れ領域は、差分をとっても常に黒色である。そこで、特許文献１記載の技術は、差分画像において、濃度値が閾値以下の部分を汚れ領域として検出する。
【０００８】
特許文献１は、レンズ汚れのある部分の画素では、異なるタイミングにて撮像された２つの映像に含まれる濃度値の差分がほぼ０となることを利用したものである。しかしながら、映像が薄く写る程度の軽い汚れの場合、上記の差分はほぼ０にならない。かかる場合、積算画像を採ったとしても、汚れ領域とそうでない領域との差が現れにくくなり、閾値判定による汚れ検出が困難となる。この不具合の起こる場合の具体例を図２(ａ)〜(ｃ)に示す。なお、図２(ｃ)が図２(ａ)と図２(ｂ)の差分画像である点は図１と同じである。
【０００９】
図２(ｃ)において、入力画像１、２のいずれにおいても、汚れ領域では、背景が透けて写っているため、入力画像１と入力画像２との差は完全に０(＝黒)とはならない。よって、元から黒色であったり暗部であるものを撮影した画像との比較において、いずれの画像がレンズに付着した汚れによるものであるかを識別することは困難であり、従って、差分画像を積算することによっても、汚れ領域を検出することは困難である。
【００１０】
本発明は、かかる点に鑑みてなされたものであり、カメラ画像の一部が完全に隠されるような顕著なレンズ汚れの検出のみならず、背景が透けて写るような、程度の軽い薄いレンズ汚れについても検出することができる撮像装置およびレンズ汚れ検出方法を提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明の撮像装置は、カメラと、前記カメラを用いて異なるタイミングで撮像された複数の画像を、対応する各画素において比較し、画素間の濃度の差分が最大となる画素を用いて１つの最大差分画像を形成する形成手段と、前記最大差分画像において濃度が閾値以下の画素を、汚れ画素と判定する判定手段と、を具備する構成を採る。
【発明の効果】
【００１２】
本発明によれば、顕著なレンズ汚れのみならず、薄いレンズ汚れについても判断することができ、レンズ汚れの検出精度を向上させることができる。
【発明を実施するための最良の形態】
【００１３】
以下、本発明の実施の形態について、添付図面を参照して詳細に説明する。
【００１４】
（実施の形態１）
図３は、本発明の実施の形態１に係る撮像装置の主要な構成を示すブロック図である。
【００１５】
本実施の形態に係る撮像装置は、カメラ１０１、画像蓄積部１０２、差分画像生成部１０３、差分画像更新部１０４、差分画像保存部１０５、汚れ判断部１０６、報知部１０７、およびカウンタ１０８を備える。
【００１６】
本実施の形態に係る撮像装置の各部は以下の動作を行う。
【００１７】
カメラ１０１は、自動車等の車両に設置され、当該車両の周囲を撮影し、例えば１０分ごと、１時間ごと等の所定のタイミングにおいて得られた画像データを、画像蓄積部１０２へ出力する。なお、カメラ１０１による撮影自体は、ドライバー等の指示により車載カメラシステムが起動している間、継続的に行われる。
【００１８】
画像蓄積部１０２は、カメラ１０１から出力される画像データを、数日あるいは数ヶ月等の所定期間保存し、保存されている画像データを差分画像生成部１０３へ出力する。
【００１９】
差分画像生成部１０３は、画像蓄積部１０２から、カメラ１０１によって異なる時刻において撮像された複数の画像データを取得し、これらの画像データ間の差分である差分画像データを生成し、差分画像更新部１０４へ出力する。通常は、差分画像生成部１０３は、撮影タイミング１で得られた画像１と、撮影タイミング１の次の撮影タイミングである撮影タイミング２で得られた画像との差分画像を生成する。
【００２０】
差分画像更新部１０４は、差分画像生成部１０３で生成された、前回の差分画像（差分画像保存部１０５に保存されている）と今回の差分画像とを各画素について比較し、差分の大きい方の画素で今回の差分画像を更新する。更新後の差分画像は、差分画像保存部１０５へ出力され、差分画像保存部１０５において保存される。
【００２１】
カウンタ１０８は、差分画像更新部１０４における差分画像の更新回数を計数し、カウント値が所定回数に達した場合、その旨を差分画像更新部１０４へ通知する。よって、差分画像が更新されない場合は、カウンタ１０８のカウント値は更新されない。差分画像更新部１０４は、カウンタ１０８の通知により、差分画像の更新回数が所定回数に達したことを認識した場合、差分画像保存部１０５に保存されている最新の差分画像を、汚れ判断部１０６へ出力する。
【００２２】
汚れ判断部１０６は、差分画像更新部１０４から出力される最新の差分画像に基づいて、カメラ１０１におけるレンズ汚れの有無を判断し、判断結果を報知部１０７へ出力する。
【００２３】
報知部１０７は、汚れ判断部１０６から出力される判断結果が「汚れ有り」を示している場合、スピーカから合成音声を出力する（図示せず）等により、ユーザに汚れの存在を報知する。
【００２４】
図４は、上記構成を有する本実施の形態に係る撮像装置におけるレンズ汚れ検出方法の手順の詳細を示すフロー図である。
【００２５】
まず、本実施の形態に係る撮像装置は、レンズ汚れ検知処理の開始に伴い、カウンタ１０８のカウント値を０に設定する（ＳＴ１０１０）と共に、差分画像保存部１０５に保存されている差分画像データをリセットし、画像を撮影する（ＳＴ１０２０）。
【００２６】
所定時間経過後、差分画像を生成するために再び画像を撮影し（ＳＴ１０３０）、今回撮影した画像２と、前回（の撮影タイミングで）撮影した画像１との差分画像を生成する（ＳＴ１０４０）。
【００２７】
次に、本実施の形態に係る撮像装置は、差分画像保存部１０５に前回の差分画像が存在するか否かを判断する（ＳＴ１０５０）。すなわち、ＳＴ１０２０で生成された差分画像が、レンズ汚れ検出処理を開始してから最初の差分画像であるか否かを判断し、最初の差分画像である場合（ＳＴ１０５０：ＮＯ）、何の処理も行わずにＳＴ１０３０の処理に戻る。逆に、保存された差分画像が存在する場合（ＳＴ１０５０：ＹＥＳ）、保存された差分画像（前回の差分画像）と今回の差分画像において、各画素について差分の大きさを比較し、前回の差分画像の画素の方が差分が大きい画素である場合、この画素で今回の差分画像の対応する画素を更新する（ＳＴ１０６０）。
【００２８】
換言すれば、差分画像更新部１０４で最終的に得られる差分画像は、前回の差分画像と今回の差分画像において、差分の大きい方の画素を全て選択して新しい１つの画像を形成したものである。
【００２９】
本実施の形態に係る撮像装置は、ＳＴ１０７０において、カウンタ１０８のカウント値が所定値に達したか否かを判断し、達していなければカウンタに１を加え（ＳＴ１１５０）、ＳＴ１０３０に戻って処理を続ける。一方、カウント値が所定値に達していたら、ＳＴ１０８０に移る。
【００３０】
ＳＴ１０８０では、ＳＴ１０６０で最終的に得られる差分画像、すなわち差分画像保存部１０５に保存されている差分画像データにおいて、白色化の程度が所定値以下の画素から成る領域を抽出し、次にＳＴ１０９０において、この抽出領域の面積を算出する。
【００３１】
そして、算出した面積が所定値（例えば３％〜７０％）以上であるか否かを判断し（ＳＴ１１００）、所定値以上であれば、この領域を汚れ領域と判断し、「汚れ有り」を示す信号を出力し（ＳＴ１１２０）、そうでなければ「汚れ無し」を示す信号を出力する（ＳＴ１１３０）。これにより、レンズ汚れ検出処理は終了する。なお、汚れを判断する所定値は、レンズ検出精度を向上するための値であれば良く、上記数値に限定されるものではない。
【００３２】
次いで、本発明の原理について説明する。
【００３３】
発明者は、汚れが顕著でなく薄い汚れである場合でも、この領域では、異なる時刻で撮像された画像の濃度差は、全ての画素について、汚れがない箇所の画素の濃度差と比べて、普遍的に小さいという事象に着目した。換言すれば、画素レベルで過去に撮像された画像との比較を行い、過去において一度でも濃度差が大きかった画素については、その画素を保持しておき、これにより最終的な差分画像を生成する。すなわち、過去において一度でも濃度差が大きかった画素は、汚れ領域である可能性は低いと判断する。これにより、たとえ撮影対象のものが黒っぽいものだったり、暗部であったりしたとしても、画素毎に濃度差の閾値判定を行うことにより、ある程度の期間経過後には、汚れの可能性が高い汚れ画素を特定することができる。そして、これら汚れ画素からなる領域の面積が所定値を越えた場合、当該領域を汚れ領域と判断することができる。
【００３４】
図５および図６は、本発明の上記原理を具体的に説明するための図である。
【００３５】
図５(ａ)〜(ｃ)において、入力画像の例が３つ示されているが、どの画像にも右上に小さな半透明の汚れが付着している。ただし、入力画像１、入力画像２、入力画像３の順に撮影されたものとする。図５(ｄ)は入力画像１と入力画像２の差分画像、図５(ｅ)は入力画像２と入力画像３の差分画像である。これらの差分画像において、差が小さいほど黒色化し、差が大きいほど白色化している。図５(ｄ)および図５(ｅ)の２枚の差分画像のいずれにおいても、汚れが付着している領域が濃度差が小さいため黒色化している。しかし、汚れ以外の箇所、例えば路面の濃いグレーの箇所も差分が小さいため、黒色化している部分が存在する。
【００３６】
図６(ａ)は、図５(ｄ)および図５(ｅ)の２枚の差分画像において、それぞれの画素で、差分値の最大値をとって生成した差分画像である。これは、具体的には、差分画像保存部１０５に保存される画像である。この差分画像を見ると、汚れ領域はやはり黒色化しているが、それでも元が薄い汚れのため、背景が透けて見えている。よって、図６(ａ)においては、まだまだ全体的に黒色化しているため、周囲と比較して汚れ領域は明確でない。
【００３７】
ところが、図６(ｂ)に示すように、時間経過に伴い、路面の濃いグレーの箇所は、いずれ明るい路面画像が入力されることにより、これらの箇所の画素の濃度差は大きくなり、白色化することが予想される。よって、順次更新され、常に濃度差が最大の画素から構成される差分画像においては、薄い汚れであっても、周囲との違いが明確となる。そこで、図６(ｃ)に示すように、最終的に閾値判定を用いて２値化することにより、汚れ領域を判定することができる。
【００３８】
図７は、時間経過と共に差分画像の最大値が変化する様子を説明するための図である。ここで、図７(ｂ)〜(ｅ)は、図７(ａ)におけるラインＬ１上の各画素の濃度をグラフ化したものである。
【００３９】
図７(ｂ)〜(ｅ)において、上段の破線は差分画像の理論上の濃度の最大値、すなわち、完全に白色化している場合の濃度を示している。また、中段の一点鎖線は汚れか否かを判断する閾値を示している。
【００４０】
このように、時間経過に伴い、汚れ領域と、汚れ以外の領域、の傾向の違いがはっきりと現れ、所定時間経過後では、閾値判定が容易となることがわかる。
【００４１】
このように、本実施の形態によれば、車載カメラシステム等において、異なるタイミングで撮影された複数の画像を、画素レベルで比較し、差分が最大となる画素によって構成される画像を用いて、レンズ汚れを検出する。これにより、顕著なレンズ汚れのみならず、薄いレンズ汚れについても判断することができ、レンズ汚れの検出精度を向上させることができる。
【００４２】
なお、本実施の形態では、各画素の濃度差に基づいてレンズ汚れを検出する構成を例にとって説明したが、濃度差の代わりに輝度差を用いても良いし、濃度あるいは輝度の代わりに階調という用語を用いても良い。
【００４３】
また、本実施の形態では、カウンタ１０８を用いて差分画像の更新回数を計数し、この回数が所定値に至った場合にはじめて差分画像において閾値以上の領域があるか否かを判断する構成を例にとって説明したが、差分画像が更新される度ごとに、閾値以上の領域があるか否かを判断する構成としても良い。
【００４４】
また、本実施の形態では、画像蓄積部１０２に蓄積される画像データが、１０分ごと、１時間ごと等の所定のタイミングにおいて撮影された定期的なデータである場合を例にとって説明したが、必ずしも定期的である必要はなく、例えば、車両が移動を開始した時点、移動を終了した時点において必ず画像データを画像蓄積部１０２に保存するような構成としても良い。
【００４５】
また、本実施の形態では、カウンタ１０８において、差分画像が更新されない場合はカウント値も更新されない構成を例にとって説明したが、カウンタ１０８は、前回の差分画像と今回の差分画像との画素毎の比較が行われた回数を計数するような構成としても良い。すなわち、かかる構成においては、差分画像が更新されない場合もカウント値が更新される。
【００４６】
（実施の形態２）
本発明の実施の形態１では、前回撮影の画像と今回撮影の画像との差分画像を毎撮影タイミングにおいて生成する構成を例にとって説明したが、画素レベルで最大差分を有する差分画像を生成するという目的だけからすれば、差分画像を毎撮影タイミングにおいて生成することは必ずしも必要でなく、また、差分画像を生成すること自体も必須ではない。例えば、所定期間、複数の撮影画像を保存しておき、これら複数の画像を一度に相互に比較することにより、直接、画素レベルで最大差分となる差分画像（以下、最大差分画像）を生成するような構成としても良い。
【００４７】
図８は、本実施の形態に係る撮像装置の主要な構成を示すブロック図である。なお、この撮像装置は、実施の形態１に示した撮像装置と同様の基本的構成を有しており、同一の構成要素には同一の符号を付し、その説明を省略する。また、基本動作は同一であるが詳細な点で違いがある構成要素には、同一の番号にアルファベットの小文字を付した符号を付して区別し、適宜説明を加える。
【００４８】
本実施の形態に係る撮像装置は、カウンタ２０１および最大差分画像生成部２０２を備える点が実施の形態１に示した撮像装置と異なる。
【００４９】
カウンタ２０１は、差分画像生成部１０３で生成された差分画像の生成枚数を計数し、最大差分画像生成部２０２へ出力する。
【００５０】
最大差分画像生成部２０２は、カウンタ２０１から通知されたカウント値が所定値に達した場合、差分画像生成部１０３で生成された複数の差分画像データに対して、画素レベルで濃度差が最大となる画素を選択し、選択した画素によって最大差分画像を生成し、汚れ判断部１０６ａへ出力する。この最大差分画像は、実施の形態１における更新後の差分画像に相当するものである。
【００５１】
汚れ判断部１０６ａは、最大差分画像生成部２０２で生成された最大差分画像に基づいて、カメラ１０１におけるレンズ汚れの有無を判断し、判断結果を報知部１０７へ出力する。
【００５２】
このように、本実施の形態によっても、顕著なレンズ汚れのみならず、薄いレンズ汚れについても判断することができ、レンズ汚れの検出精度を向上させることができる。
【００５３】
以上、本発明の各実施の形態について説明した。
【００５４】
なお、本発明に係る撮像装置およびレンズ汚れ検出方法は、上記各実施の形態に限定されず、種々変更して実施することが可能である。
【００５５】
また、本発明に係る撮像装置およびレンズ汚れ検出方法は、自動車等の車両に搭載される車載カメラに利用可能であり、これにより上記と同様の作用効果を有する車載カメラを提供することができる。
【００５６】
また、ここでは、本発明をハードウェアで構成する場合を例にとって説明したが、本発明をソフトウェアで実現することも可能である。例えば、本発明に係るレンズ汚れ検出方法のアルゴリズムをプログラミング言語によって記述し、このプログラムをメモリに記憶しておいて情報処理手段によって実行させることにより、本発明に係る撮像装置と同様の機能を実現することができる。
【産業上の利用可能性】
【００５７】
本発明に係る撮像装置およびレンズ汚れ検出方法は、自動車等の車両に搭載される車載カメラシステム等の用途に適用することができる。
【図面の簡単な説明】
【００５８】
【図１】特許文献１記載のレンズ汚れ検出の概要を示す図
【図２】特許文献１において不具合の起こる場合の具体例を示す図
【図３】実施の形態１に係る撮像装置の主要な構成を示すブロック図
【図４】実施の形態１に係るレンズ汚れ検出方法の手順の詳細を示すフロー図
【図５】本発明の原理を具体的に説明するための図
【図６】本発明の原理を具体的に説明するための図
【図７】時間経過と共に差分画像の最大値が変化する様子を説明するための図
【図８】実施の形態２に係る撮像装置の主要な構成を示すブロック図
【図９】従来の車載カメラの設置例を示す図
【図１０】従来の車載カメラシステムの表示例を示す図
【符号の説明】
【００５９】
１０１  カメラ
１０２  画像蓄積部
１０３  差分画像生成部
１０４  差分画像更新部
１０５  差分画像保存部
１０６  汚れ判断部
１０７  報知部
１０８  カウンタ
【図３】
2007318355.tif 000003
【図４】
2007318355.tif 000004
【図７】
2007318355.tif 000005
【図８】
2007318355.tif 000006
【図９】
2007318355.tif 000007
【図１】
2007318355.tif 000008
【図２】
2007318355.tif 000009
【図５】
2007318355.tif 000010
【図６】
2007318355.tif 000011
【図１０】
2007318355.tif 000012