(57)【要約】【課題】ステレオ画像を利用して撮影装置の光学系の汚れを容易にかつ確実に検知する。【解決手段】被写体のステレオ画像を撮影するカメラ２０（Ｌ、Ｒ）と、入力装置３０と、撮影したステレオ画像を処理する画像処理装置１０と、表示部４０とからなる汚れ検知装置であって、前記画像処理装置１０は、ステレオ画像から視差を求め、求めた視差に基づき距離画像及び評価値画像を作成する。他方、ＲＡＭ１６には、基準となる距離画像及び評価値画像をそれぞれ距離背景画像及び評価値背景画像として記憶しておき、汚れ検知用比較判定部１４４は、前記距離背景画像及び評価値背景画像と任意の時点で撮影したステレオ画像から作成した前記距離画像及び評価値画像とを比較して、前記撮影手段の光学系の汚れを検知する。【選択図】        図６
2010130549.tif 000002
【特許請求の範囲】
【請求項１】
被写体のステレオ画像を撮影する手段と、撮影したステレオ画像を処理する画像処理装置とからなる汚れ検知装置とを備えた汚れ検知装置であって、
前記画像処理装置は、ステレオ画像から視差を求める手段と、求めた視差に基づき距離画像及び評価値画像を作成する手段と、基準となる距離画像及び評価値画像をそれぞれ距離背景画像及び評価値背景画像として記憶する手段と、前記距離背景画像及び評価値背景画像と任意の時点で撮影したステレオ画像から作成した前記距離画像及び評価値画像とを比較して、前記撮影手段の光学系の汚れを検知する手段、を有することを特徴とする汚れ検知装置。
【請求項２】
請求項１に記載された汚れ検知装置において、
前記距離画像及び評価値画像を作成する手段は、取得した画像の各画素について求めた距離情報を付加して前記距離画像を作成し、かつ取得した画像の各画素について求めた評価値情報を付加して前記評価値画像を作成することを特徴とする汚れ検知装置。
【請求項３】
請求項１又は２に記載された汚れ検知装置において、
前記撮影手段の光学系の汚れを検知する手段は、前記評価値背景画像と前記評価値画像とを比較して、前記評価値画像の画素に、その評価値が前記評価値背景画像のそれよりも大きな画素が存在することを条件に、当該画素についての距離情報が求められないとき、当該画素を汚れ画素として指定する手段を有し、前記汚れ画素に基づき前記撮影手段の光学系の汚れを判定することを特徴とする汚れ検知装置。
【請求項４】
請求項１又は２に記載された汚れ検知装置において、
前記撮影手段の光学系の汚れを検知する手段は、評価値背景画像と前記評価値画像とを比較して、前記評価値画像の画素に、その評価値が前記評価値背景画像のそれよりも大きな画素が存在することを条件に、当該画素の距離情報が距離背景画像のそれと等しいとき、当該画素を汚れ画素として指定する手段を有し、前記汚れ画素に基づき前記撮影手段の光学系の汚れを判定することを特徴とする汚れ検知装置。
【請求項５】
請求項３又は４の汚れ検知装置において、
前記撮影手段の光学系の汚れを検知する手段は、前記汚れ画素として指定された画素数を計数する手段を有し、その計数値が所定の閾値を越えたとき、撮影装置の光学系に汚れがあると判定することを特徴とする汚れ検知装置。
【請求項６】
請求項３又は４に記載された汚れ検知装置において、
前記撮影手段の光学系の汚れを検知する手段は、画像を複数に分割した画像ブロック毎に前記汚れ画像として指定された画素数を計数する手段と、計数した汚れ画素数が所定の閾値を越えたか否か判定する手段と、計数した汚れ画素数が所定の閾値を越えたとき当該画像ブロックに汚れがあると判定することを特徴とする汚れ検知装置。
【請求項７】
請求項３又は４に記載された汚れ検知装置において、
前記撮影手段の光学系の汚れを検知する手段は、汚れ画素として指定した汚れ画素をラベリングする手段と、ラベリングした画素領域の面積を演算する手段と、演算されたラベリング面積と所定の閾値とを比較する手段と、当該比較の結果、前記ラベリング面積が前記閾値を越えたとき、当該ラベリング領域に汚れがあると判定することを特徴とする汚れ検知装置。
【請求項８】
被写体撮影したステレオ画像に基づいて撮影装置の汚れを検知する汚れ検知方法であって、
被写体のステレオ画像を撮影する工程と、ステレオ画像から視差を求める工程と、求めた視差に基づき前記距離画像及び評価値画像を作成する工程と、基準となる距離画像及び評価値画像をそれぞれ距離背景画像及び評価値背景画像として記憶する工程と、前記距離背景画像及び評価値背景画像と任意の時点で撮影したステレオ画像から作成した前記距離画像及び評価値画像とを比較して、前記撮影装置の光学系の汚れを判定する工程と、を有することを特徴とする汚れ検知方法。
【請求項９】
請求項８に記載された汚れ検知方法において、
前記距離画像及び評価値画像を作成する工程は、取得した画像の各画素について求めた距離情報を付加して前記距離画像を作成し、かつ取得した画像の各画素について求めた評価値情報を付加して前記評価値画像を作成する工程であることを特徴とする汚れ検知方法。
【請求項１０】
請求項８又は９に記載された汚れ検知方法において、
前記撮影装置の光学系の汚れを判定する工程は、評価値背景画像と前記評価値画像とを比較して、前記評価値画像の画素に評価値が前記評価値背景画像のそれよりも大きな画素が存在することを条件に、当該画素の距離が求められないとき、当該画素を汚れ画素として指定する工程と、汚れ画素に基づき前記撮影装置の光学系の汚れを判定する工程と、を有することを特徴とする汚れ検知方法。
【請求項１１】
請求項８又は９に記載された汚れ検知方法において、
前記撮影装置の光学系の汚れを検知する工程は、評価値背景画像と任意の時点で作成した評価値画像とを比較して、前記評価値画像の画素に、評価値が前記評価値背景画像のそれよりも大きな画素が存在することを条件に、当該画素の距離情報と距離背景画像の距離情報が等しいとき、当該画素を汚れ画素として指定する工程と、指定した画素に基づき前記撮影装置の光学系の汚れを判定する工程と、を有することを特徴とする汚れ検知方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ステレオ画像を利用して撮影装置の汚れ、とくにその光学系の汚れを検知する検知装置及び同検知方法に関する。
【背景技術】
【０００２】
従来から、監視対象領域に向けてカメラを設置し、それにより取得される光学的な画像に基づいて、侵入者の出現等を検出する画像監視装置が知られている。
この画像監視装置のカメラが設置される監視対象領域は様々である。そのため、カメラのレンズ面やカメラの収納ケースに設けられた監視窓の表面が、屋内においては、例えばタバコのヤニ等で汚れることがあり、また屋外においては、例えば風雨で埃や泥などで汚れることがある。このような汚れは、画像をぼやけさせたり霞ませて不鮮明なものとし、その画像に基づく監視の妨げとなり得る。
【０００３】
そこで、従来からこのような汚れをカメラにより取得された画像に基づいて検出することが知られている。
例えば、汚れにより画像が不鮮明になると、画像内の被写体同士の境界等の被写体の外縁を示す部分（いわゆる、エッジ）における画素値の変化の急峻さ（エッジ量と称する）が低下することを利用し、エッジ量が所定値以下になったことに基づいてレンズ面等の汚れを検知する画像監視装置が知られている。
この画像監視装置では、カメラのレンズ面等に汚れが付着すると、画像においてエッジ量が大きな領域の減少が比較的大きく、一方、エッジ量が小さな部分の領域の減少は比較的小さいこと、これに対し、照明が変動した場合などにおいては、通常程度のエッジ量の部分及びそれより大きなエッジ量の部分が同程度に変化するという事実を利用してレンズ面等の汚れを検知し、誤認識を抑制している（特許文献１参照）。
しかしながら、この画像監視装置では、エッジ画像の急峻性を以て判定するため、汚れがある程度ひどくならなければ検知できない。また、元々ぼやけたような輝度の物体が写ると、レンズが汚れたと誤認してしまうという問題がある。
【０００４】
また、これとは別に、撮像素子とレンズの前にレンズカバー状導光部を設け、ＬＥＤの光を反射させて、レンズカバー表面に付着した汚れや水滴を検出する付着物検知機能付き車載用撮影装置が知られている（特許文献２参照）。
この車載用撮影装置では、レンズカバー状導光部という独特の機構とＬＥＤなどの発光部を備える必要があるため、既存のシステムには使用することができないという問題がある。また、発光部が点灯しているときと、消灯しているときに得た画像の差分から汚れなどを検知する方法を採用しているため、毎フレーム連続でフレーム間の差分を利用するような画像認識には大きな制限を与えることになるという問題もある。
【特許文献１】特許第４、０８７、６００号公報
【特許文献２】特開２００８−０６４６３０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
本発明は、監視カメラのレンズ等の汚れ検知についての従来技術の問題を解決すべくなされたものであって、その目的は、既存の監視システムに適用でき、しかも簡易な構成により、誤動作、つまりカメラ前方にある異物と例えばレンズ表面の水滴などの汚れを混同することなく、汚れを迅速且つ確実に検知することで、監視カメラの保守を常に的確に行えるようにすることである。
【課題を解決するための手段】
【０００６】
本願発明は汚れ検知装置であって、被写体のステレオ画像を撮影する手段と、ステレオ画像から視差を求める手段と、求めた視差に基づき距離画像及び評価値画像を作成する手段と、基準となる距離画像及び評価値画像をそれぞれ距離背景画像及び評価値背景画像として記憶する手段と、前記距離背景画像及び評価値背景画像と任意の時点で撮影したステレオ画像から作成した前記距離画像及び評価値画像とを比較して、前記撮影手段の光学系の汚れを検知する手段と、を有することを特徴とする。
本願の他の発明は汚れ検知方法であって、被写体のステレオ画像を撮影装置で撮影する工程と、ステレオ画像から視差を求める工程と、求めた視差に基づき前記距離画像及び評価値画像を作成する工程と、基準となる距離画像及び評価値画像をそれぞれ距離背景画像及び評価値背景画像として記憶する工程と、前記距離背景画像及び評価値背景画像と任意の時点で撮影したステレオ画像から作成した前記距離画像及び評価値画像とを比較して、前記撮影装置の光学系の汚れを判定する工程とを有することを特徴とする。
【発明の効果】
【０００７】
既存のカメラを利用して、カメラ前方にある異物とレンズ表面の汚れを混同することなく、早期に検出することができるため、カメラを常に正常な状態に容易に維持することができる。
【発明を実施するための最良の形態】
【０００８】
以下、本発明のステレオ画像における視差を利用した汚れ検知装置及び同検知方法を説明するが、その前に、２台のカメラを用いて撮影したステレオ画像（左右両画像）を利用して視差を求める方法について、添付図面を参照して説明する。
図１は、室内に置かれた異物Ｅを２台のカメラ２０Ｌと２０Ｒで撮影する状態を示すカメラ２０の斜め上部側からみた斜視図であり、図２はそれぞれのカメラ２０（Ｌ、Ｒ）で撮影した撮影画像（ステレオ画像）を示す。
図１に示すステレオカメラによる撮影環境において、２台のカメラ２０（Ｌ、Ｒ）を使ってステレオ画像として同じ対象物（異物）Ｅを撮影すると、２台のカメラ２０（Ｌ、Ｒ）のレンズによる歪や２台のカメラ２０間の内部パラメータの差異が全て補正されているものと仮定した場合には、撮影した写真（画像）は図２のように左右で僅かに位置がずれた同一画像になる。
つまり、２台のカメラ２０（Ｌ、Ｒ）の設置位置の違いにより、左右の画像には、カメラ２０（Ｌ、Ｒ）の左右レンズの配置位置の差に伴う視差が生じる。この場合、カメラは水平方向に並べて設置しているため、視差は水平方向に生じている。
【０００９】
図３は、Ｌ画像（左側に設定したカメラ２０Ｌの撮影画像）及びＲ画像（右側に設定したカメラ２０Ｒの撮影画像）をＸ―Ｙ座標上で上下に並べ替えて示した図である。
図中、矢印は視差を示し、その長さは視差の大きさを示す。この図から明らかなように、視差はカメラから見て手前にある物体ほど大きく奥にある物体ほど小さくなる、したがって、カメラ２０（Ｌ、Ｒ）間距離と比べて十分遠い距離にある物体を撮影した場合は、視差は実質上ゼロになる。
【００１０】
次に、図３を参照して、撮影した左右の画像中の物体が、どの程度の視差を持っているかを判別するためのステレオマッチング処理について説明する。
平行視の場合にはＬ画像中のあるポイントに対応するポイントがＲ画像中では必ず水平方向左側にあるはずであるので、画像をＸ−Ｙ座標上に置いたとき、Ｙ座標を固定してＸ座標上の座標を１つずつずらしながら、つまり走査しながら上記ポイントの位置を探していく。
【００１１】
図３に示すように、Ｌ画像中に特定領域Ｓを定め、その特定領域Ｓに対応する領域ＳをＲ画像中で探す場合、まず、同じＸ座標上で調べて、そこから左へ走査していく。このときに用いる代表的な評価値として、特定領域Ｓ内の画素毎にＬ画像とＲ画像に対応する位置にある画素の輝度差の絶対値を求め、これを上記領域Ｓ内で総和して求めた差分絶対値和（ＳＡＤ）があるので、これを用いてＸ座標にしたがって図中上にある領域と下にある領域との間でＳＡＤを求める。このＳＡＤを縦軸にまた横軸にＸ座標をとって順に並べることにより、評価値のグラフができる。
【００１２】
図４は、このようにして作成した評価値のグラフを示す。
上記グラフにおいて、Ｘ座標のほぼ６０のところで評価値が最小となるため、その部分でＬ・Ｒ画像における対象ポイントがそれぞれ対応するということになり、この場合の視差は６０であることを示している。
【００１３】
以上、水平に設置したカメラを用いてＬ・Ｒ画像を撮影した場合における両画像を利用して視差を求める方法について説明したが、次に、この方法を用いてカメラのレンズ等の光学系（ここでは透明なレンズカバーなども含む）の汚れと、実際の撮影対象物とを区別するための本発明の実施形態に係る汚れ検出方法について説明する。
本実施形態に係る汚れ検出方法は、求めた距離画像と評価値に基づいて作成した画像データ（ここでは便宜上評価値画像データという）を用いるものであって、具体的には、視差を求める段階で各画素における最小の評価値の値を求めておき、その値を画像を構成する画素毎に、つまり各画素に対応させて全画素についてそれぞれの画素に関連付けて記憶しておく。
【００１４】
図５は、一方の画像（ここではＬ画像）についての過去（背景）画像と現在のＬ画像撮影レンズに汚れが付着した状態での画像を、それぞれ、入力画像と、距離画像と、評価値画像に分けて示した図である。
ここで、距離画像は、ステレオ撮影画像の各画素毎にカメラからの距離を求め、その距離データを各画素に対応させて備えた（記憶した）画像、つまり、距離データを付加した画像をいい、また、評価値画像は、上記の画像を各画素毎に求めたＳＡＤの最小値を各画素に対応させて付加した画像、つまり、上記差分絶対値和データを備えた画像をいう。
【００１５】
ここでは距離画像を、例えば３ｍ以上を距離大、１．５ｍ〜３ｍを距離中、１．５ｍ未満を距離小に３分して画像にその区別を付して表したものであり、太線で描いた部分は大距離に属する領域、一点鎖線で描いた部分は中距離に属する領域、破線で描いた部分は小距離に属する領域を示す。
評価値画像は、上記評価値つまり差分絶対値和の最小値を所定の閾値と対比して、所定の閾値よりも小さい評価値を、さらに評価大、中、小にそれを３分して、画像にその区別を施し、それを識別出来るようにして表した画像である。
【００１６】
図５Ａ（１）は、例えば左側のカメラ２０Ｌで撮影した背景画像で、基準となる過去の画像である。これに対し、図５Ａ（２）は、汚れを判定するため同じカメラで撮影した現時点画像（入力画像）である。
図示のように、図５Ａ（２）の入力画像には、その中央にゴミ（ハッチングを施した丸）が写っている。付着したゴミが細かい塵であるときは、図示のように視界が遮られるわけではなく一定の範囲で円形にボヤける感じに写る。
【００１７】
この入力画像から視差を求めると、過去の背景画像から得た視差と比較して変化が生じる。例えば、汚れが付着した部分（円）の一部では視差が求められない。即ち、汚れはＬカメラのレンズに付着した汚れであるから、図５Ａ（２）はＬ画像には汚れが写り、その部分がぼやけ、他方、Ｒ画像の同じ場所に汚れは存在しないため、その両画像を対比しても、そこから視差が求められない部分が生じる。したがって、過去の背景画像と入力画像における上記距離画像に変化が生じる。
また、同様に、評価値画像にも変化が生じる。即ち、評価値は低いほど一致の精度が高いので、汚れが付着した部分では左右画像における対応性（一致精度）が低くなり、評価値が高くなる。図５Ｃ（２）は、その結果として、評価値が小だった部分が大になって、この場合は辛うじて閾値内であることを示している（閾値をこえると表示されない）。
【００１８】
本願発明では、以上のように左右に配置した２台のカメラによる左右両画像から上記距離画像と評価値画像を作成し、これを過去の基準となる背景画像（レンズの汚れのない画像）と現在画像（入力画像）とを対比することにより、レンズの汚れを的確に判定して監視カメラの保守管理を容易かつ迅速に行おうとするものである。
【００１９】
次ぎに、上記カメラ２０等と共に本発明を実施するためのカメラのレンズ汚れの検知のための汚れ検知装置及び同装置の画像処理装置について説明する。
図６は、上記画像処理装置を含む汚れ検知装置を示すブロック図である。
本実施形態に係る汚れ検知装置は、図示のように画像処理装置１０、カメラ２０、入力装置３０及び表示部４０とから成っている。
カメラ２０は例えばＣＣＤ（Charge Coupled Device）などの光電変換素子を備えたカメラであって、撮影した画像を画像データとして画像処理装置１０に入力する。入力装置３０は、画像処理装置の操作及び設定など必要なデータの入力等に用いる。表示部４０は例えば液晶（ＬＣＤ）等の表示手段を備え、画像処理装置１０から出力される画像データを表示する。
画像処理装置１０は、上記カメラ２０などの外部機器との接続のためのインターフェース１２と、ＣＰＵ（Central Processing Unit）１４と、ＲＡＭ（Random Access Memory）１６を有し、更に、ＣＰＵ１４はステレオ演算部１４１と、その他の演算部１４２と、背景更新部１４３と、汚れ検知用比較判定部１４４とを備え、ＲＡＭ１６には、取得画像データ記憶部１６１と、途中結果データ記憶部１６２と、背景データ記憶部１６３と、各種設定値記憶部１６４とを備え、かつ、本画像処理装置を駆動制御するためのプログラムを格納した図示しないＲＯＭ（Read Only Memory）を備えている。
【００２０】
画像処理装置１０には、カメラ例えばＣＣＤカメラ２０から画像データとして入力されたステレオ入力画像データが、インターフェース１２を介して入力される。入力されたステレオ画像データはＲＡＭ１６の取得画像データ記憶部１６１に記憶される。ＣＰＵ１４１は取得画像データ記憶部１６１からステレオ入力画像データを読み出してステレオ演算部１４１で演算処理を行う。ここでは、前処理部１４１ａにおいて、左右の画像の画素毎の視差を求め、これに基づきＳＡＤを求める演算処理を行うと共に、上記視差に基づき、距離演算部１４１ｂでは各画素毎に距離情報を求める演算処理を行う。
【００２１】
ステレオ演算部１４１での演算結果は、ＲＡＭ１６の途中結果データ記憶部のそれぞれ距離画像データ記憶部１６２ａと評価値画像データ記憶部１６２ｂに記憶される。ＣＰＵ１４は、上記距離画像データ記憶部１６２ａと評価値画像データ記憶部１６２ｂから、それぞれ距離画像データ及び評価値画像データを読み出し、上記その他の演算部１４２において、これらのデータに基づき、例えば、距離の大中小、或いは評価値画像データを読み出して予め定めた閾値と対比して、それよりも小さい評価値画像データについて更に大中小に分けてそれぞれを画素データに付加した画像を作成する処理を行う。
【００２２】
他方、ＣＰＵ１４の背景更新部１４３は、読み出した距離画像データ及び評価値画像データを背景データとして、これを背景データ記憶部１６３のそれぞれ距離背景画像データ記憶部１６３ａ及び評価値背景画像データ記憶部１６３ｂに記憶する処理を行う。
ＣＰＵ１４の汚れ検知用比較判定部１４４は、ＲＡＭ１６の途中結果データ記憶部１６２から現時点における距離画像データ及び評価値画像データを読み出し、同時に背景データ記憶部１６３から読み出した基準となる距離背景画像データと評価値背景画像データとを比較して画像の汚れからレンズ等の光学系の汚れの有無を判定する。
距離画像データ及び評価値画像データに基づく距離画像、評価値画像、及び汚れ検知用比較判定部１４４の判定結果は、インターフェース経由で外部の例えば液晶（ＬＣＤ）表示部４０の表示画面上に表示される。
【００２３】
図７は以上で説明した画像処理装置１０を用いたレンズ等の光学系の汚れ検知のための処理フローを説明するフロー図である。
まず、２台の監視カメラを作動して監視領域の左右の画像を取得する（Ｓ１０１）。画像処理装置１０は、取得された２枚の画像を用いて両画像の画素間の視差を求めるための一連の処理を行う（Ｓ１０２）。続いて、この視差に基づいてＳＡＤを求め、ＳＡＤから評価値画像を取得し（Ｓ１０３）、また同様に上記視差に基づいて距離画像を取得する（Ｓ１０４）（なお、距離画像と評価値画像はいずれを先に取得してもよい）。ここで、監視カメラの光学系の汚れを検知する処理を行うか、或いはその他の処理、例えば、得られたステレオ画像を用いて異物監視処理を行う決定を行い（Ｓ１０５）、光学系の汚れを検知する処理を行うときは（Ｓ１０５、ＹＥＳ）、まず、背景を更新するか否か決定する（Ｓ１０７）。
【００２４】
背景を更新する場合は（Ｓ１０７、ＹＥＳ）、背景更新部１４３は、入力されたＲ．Ｌ画像から評価値背景画像と（Ｓ１０８）距離背景画像を取得し（Ｓ１０９）、背景を更新しない場合は（Ｓ１０７，ＮＯ）、汚れ検知用比較判定部１４４は、そのまま、既存の評価値背景画像を用いて、ステップＳ１０３で取得した評価値画像と評価値背景画像を比較する（Ｓ１１０）。その結果、現在の画像の検査対象となる画素の評価値が評価値背景画像の同じ画素のそれに等しいか或いはそれよりも小さいときは（Ｓ１１１、ＹＥＳ）、当該画素については両画像が一致しているとみなし、当該画素の検査を終了する。
【００２５】
ステップＳ１１１において、現在の検査対象の画素の評価値が評価背景画像の対応する画素のそれよりも大きいときは（Ｓ１１１、ＮＯ）、ＣＰＵ１４は、距離画像が求まっているか否かを判定し（Ｓ１１２）、求まっていなければ（Ｓ１１２、ＮＯ）、当該画素に、ここでは画素の汚れを指定する手段による具体的指定として汚れフラグを立て、また、距離画像が求まっていれば（Ｓ１１２，ＹＥＳ）、汚れ検知用比較判定部１４４は、当該画素について入力画像から作成した距離画像と距離背景画像を比較し（Ｓ１１３）、現在画像の距離と背景画像の距離が等しいときは（Ｓ１１４、ＹＥＳ）、距離が変わらないにも拘わらず評価値が背景画像のそれよりも高くなったのであるから、光学系に汚れが付着したと判定して、当該画素に汚れフラグを立てる。当該画素における現在画像の距離と背景画像の距離が等しくないときは（Ｓ１１４、ＮＯ）、背景にない物体が進入したことにより距離が変化したものと考えられるから、そのまま当該画素についての検査を終了する。
【００２６】
当該画素についての検査が終了したときは、検査対象となる画素の全てについての検査が終了したか否かを判定し（Ｓ１１７）、まだ、終了していなければ次の画素について、上記ステップＳ１１１に戻って上記の処理を繰り返す。
検知対象となる全ての画素についての検知が終了したときは（Ｓ１１７、ＹＥＳ）、次に、汚れフラグ画像（全ての画素についての検査が終了した段階では、全ての画素にフラグが立っているか（ＯＮ）、立っていないか（ＯＦＦ）のデータが付与されているので、これを２値画像とみて、ここでは汚れフラグ画像という）を取得し（Ｓ１１８）、汚れフラグ画像に基づき最終的な汚れ判定を行う（Ｓ１１９）。この汚れ判定後に処理を終了する。
【００２７】
図８は、図７におけるステップＳ１１９を詳細に示したフロー図である。
ステップＳ１１９の汚れフラグ画像における汚れ判定は、本実施形態では以下で説明する１〜３の３方法がある。
第１の方法について
具体的には、画像全体の画素のうち汚れフラグを立てた画素を計数してその数値が予め定めた閾値を越えたとき、カメラのレンズに汚れがあると判定する。
図８Ａは、第１の方法を示すフロー図である。
図７のフロー図に示す処理により汚れフラグを立てた画素数をカウントし（Ｓ１１９（１））、そのカウント数が閾値を越えたき（Ｓ１１９（２）ＹＥＳ）、汚れであると判定する（Ｓ１１９（３））。他方、上記カウント数が閾値を越えないときは汚れがなかったものとして処理を終了する。
【００２８】
第２の方法について
この方法では、対象画像を幾つかのブロックに分けて、各ブロックについて上記第１の方法と同様の方法で判定する。
この方法によれば、画像のどの当たりに汚れがあるか、つまり、レンズのどの辺に汚れがあるかが分かる。
この場合、例えば、全ブロック中所定の数を越えるブロックに汚れがあるとき、全体として汚れがあると判定してもよい。
図８Ｂは、この第２の方法のフロー図である。
この方法では、まず、汚れフラグ画像を複数のブロックに分割し（Ｓ１１９（４））、次に、各ブロック内の画素のうち汚れフラグが立った画素数をカウントし（Ｓ１１９（５））、その画素数が予め定めた閾値を越えたとき（Ｓ１１９（６）ＹＥＳ）、当該ブロックに汚れがあると判定する（Ｓ１１９（７））。ここで、この汚れ判定処理を各ブロック毎に全てのブロックについて行ったか否かを判定し（Ｓ１１９（８））、  行っていなければ（Ｓ１１９（８）ＮＯ）、ステップＳ１１９（５）に戻って上記処理を繰り返し、全てのブロックについて判定が終了したときは（Ｓ１１９（８）ＹＥＳ）、全体の汚れ判定を行うか否か判定し（Ｓ１１９（９））、判定するときは（Ｓ１１９（９）、ＹＥＳ）、汚れブロックと判定されたブロックをカウントし（Ｓ１１９（１０））、カウント数が予め定めた所定値（閾値）を越えたとき（Ｓ１１９（１１）ＹＥＳ）、画像全体の汚れがあると判定し（Ｓ１１９（１２））、汚れ判定処理を終了する。
ステップＳ１１９（９）において、全体の汚れ判定を行わないときは（Ｓ１１９（９）、ＮＯ）そのまま、汚れ判定処理を終了する。
【００２９】
第３の方法について
この方法では、汚れフラグ画像を汚れフラグＯＮ、ＯＦＦによる２値画像と見立てて、汚れ画素にラベリングを施し、ラベリングされた画素のラベルの大きさが予め定めた一定の大きさを越えたら汚れがあると判定する。ラベリングは従来周知の方法で行う。
この方法では、ラベリングされた画素を基本とするため、画像のどの辺りが汚れたか判定することができる。
図８Ｃは、この第３の方法のフロー図である。
まず、汚れフラグ画像を構成する画素の汚れフラグに基づきラベリングを施し（Ｓ１１９（１３））、次に、各ラベル毎にラベリングされまとめられた画素の面積を計算し（Ｓ１１９（１４））、その面積が予め定めた閾値を越えたときは（Ｓ１１９（１５）ＹＥＳ）、画像に汚れがあると判定して（Ｓ１１９（１６））処理を終了し、ステップＳ１１９（１５））で閾値を越えないときは（Ｓ１１９（１５）、ＮＯ）そのまま処理を終了する。
以上の処理を左右の画像即ちＬ画像、Ｒ画像について行う。
【００３０】
本実施形態では、ある画素について、現在と過去の評価値を比較し、等しいか現在の方が低ければ良くマッチしているということなので、汚れていないと判定する。逆に現在の方が高ければ汚れている可能性があるので汚れ判定を行う。
現在の画像で距離が求まらない画素があれば汚れの可能性があるので、その画素について汚れフラグを立てる（初期値は汚れフラグＯＦＦ）。
なお、評価値の大小の判定をするとき、ノイズ低減などの目的でマージンを設けてもよい。
【００３１】
以上は、視差に基づく距離画像と評価値画像に基づきレンズなどの光学系の汚れを検知する処理について説明したが、例えばレンズに付着した汚れ（例えば水滴）が大きい場合には、汚れが付着した部分は急に視差が求まらなくなり（評価値も変化する）、画像自体も過去のものと比較すると付着した部分は全く違った輝度に変化するので、その輝度の変化が所定の閾値を越えているか判定し、越えた場合にはレンズ汚れと判定することも可能である。
【００３２】
以上の説明はステレオカメラ（平行視）を用いて処理を行う場合を例に採って説明したが、視差を求めることができる構成のマルチカメラであれば、ステレオカメラに限らずいかなるカメラでも利用可能である。
【図面の簡単な説明】
【００３３】
【図１】室内に置かれた異物Ｅを２台のカメラで撮影する状態を示すカメラ上部側からみた斜視図である。
【図２】カメラで撮影した左右の撮影画像を示す。
【図３】Ｌ画像及びＲ画像をＸ―Ｙ座標上で上下に並べ替えて示した図である。
【図４】評価値のグラフを示す。
【図５】一方の画像についての過去（背景）画像と現在の画像撮影レンズに汚れが付着した状態での画像を、それぞれ、入力画像と、距離画像と、評価値（ＳＡＤ）画像に分けて示した図である。
【図６】画像処理装置を含む汚れ検知装置を示すブロック図である。
【図７】画像処理装置を用いたレンズの汚れ検知のための処理フローを説明するフロー図である。
【図８】図７におけるステップＳ１１９を詳細に示したフロー図である。
【符号の説明】
【００３４】
１０・・・画像処理装置、１２・・・インターフェース、１４・・・ＣＰＵ、１４１・・・ステレオ演算部、１４２・・・その他の演算部、１４３・・・背景更新部、１４４・・・汚れ検知用比較判定部、１６・・・ＲＡＭ、１６１・・・取得画像データ記憶部、１６２・・・途中結果データ記憶部、１６３・・・背景データ記憶部、１６４・・・各種設定値記憶部、２０・・・カメラ、３０・・・入力装置、４０・・・表示部。
【図１】
2010130549.tif 000003
【図２】
2010130549.tif 000004
【図３】
2010130549.tif 000005
【図４】
2010130549.tif 000006
【図５】
2010130549.tif 000007
【図６】
2010130549.tif 000008
【図７】
2010130549.tif 000009
【図８】
2010130549.tif 000010