(57)【要約】【課題】少ない部品により手間をかけずに撮像レンズに一様に付着した異物の有無を判定する。【解決手段】画像処理装置１は、撮像レンズ２１１を用いて撮像された画像を取得する画像取得部２２１と、画像が撮像されたときに、画像が撮像された環境の照度を表す照度情報を取得する照度情報取得部２２４と、画像取得部２２１が取得した画像の少なくとも一つを基準画像として記憶するとともに、基準画像と同一の被写体を撮像した取得画像の輝度情報と、該取得画像が撮像されたときの照度Ｉとの相関関係を記憶可能なメモリ２２３と、取得画像に撮像されている被写体が、基準画像に撮像されている被写体と同一であると判定した場合、該取得画像の輝度情報と、該取得画像が撮像されたときの照度Ｉと、相関関数とに基づいて、撮像レンズの異物の有無を判定するプロセッサ２２２と、を備える。【選択図】図２
2018017601.tif 000002
【特許請求の範囲】
【請求項１】
撮像レンズを用いて撮像された画像を取得する画像取得部と、
前記画像が撮像されたときに、前記画像が撮像された環境の照度を表す照度情報を取得する照度情報取得部と、
前記画像取得部が取得した画像の少なくとも一つを基準画像として記憶するとともに、前記基準画像と同一の被写体を撮像した取得画像の輝度情報と、該取得画像が撮像されたときの前記照度との相関関係を記憶可能なメモリと、
前記画像取得部によって取得された取得画像に撮像されている被写体が、基準画像に撮像されている被写体と同一であるか否かを判定し、前記基準画像に撮像されている被写体と同一であると判定した場合、該取得画像の輝度情報と、該取得画像が撮像されたときの照度と、前記相関関係とに基づいて、前記撮像レンズの異物の有無を判定するプロセッサと、を備える画像処理装置。
【請求項２】
前記プロセッサは、前記取得画像と前記基準画像との類似性を示す指標を算出し、該指標に基づいて、前記取得画像に撮像された被写体が前記基準画像に撮像された被写体とが同一であるか否かを判定する請求項１に記載の画像処理装置。
【請求項３】
画像が撮像されたときの位置情報を取得する位置情報取得部をさらに備え、
前記プロセッサは、前記取得画像が撮像された位置情報と前記基準画像が撮像された位置情報とに基づいて、前記取得画像に撮像された被写体が前記基準画像に撮像された被写体と同一であるか否かを判定する請求項１に記載の画像処理装置。
【請求項４】
前記プロセッサは、前記相関関係が記憶された以降に取得された照度について前記相関関係を満たす理想輝度を算出し、前記取得画像の輝度情報と前記理想輝度とに基づいて、前記撮像レンズに異物があると判定する請求項１から３の何れか一項に記載の画像処理装置。
【請求項５】
前記プロセッサは、前記撮像レンズに異物があると判定した場合、前記取得画像の輝度情報と前記理想輝度との差に基づいて前記撮像レンズの異物の付着度合いを判定する請求項４に記載の画像処理装置。
【請求項６】
前記プロセッサは、所定の数の、前記照度と前記輝度情報との組合せが前記メモリに記憶されると、前記所定の数の組合せに基づいて前記相関関係を示す第１の相関関数を算出し、前記所定の数を超えて、前記照度と前記輝度情報との組合せが前記メモリに記憶されると、前記メモリに記憶された最新の、所定の数の組合せに基づいて前記相関関係を示す第２の相関関数を算出し、前記第１の相関関数と前記第２の相関関数との解離度が所定の閾値以上である場合に、前記撮像レンズに異物があると判定する請求項１から３の何れか一項に記載の画像処理装置。
【請求項７】
画像処理装置が実行する画像処理方法であって、
前記画像処理装置が、撮像レンズを用いて撮像された画像を取得する画像取得ステップと、
前記画像処理装置が、前記画像が撮像されたときに、前記画像が撮像された環境の照度を表す照度情報を取得する照度情報取得ステップと、
前記画像処理装置が、メモリに、前記画像取得ステップで取得した画像の少なくとも一つを基準画像として記憶するとともに、前記基準画像と同一の被写体を撮像した取得画像の輝度情報と、該取得画像が撮像されたときの前記照度との相関関係を記憶する記憶ステップと、
前記画像処理装置が、前記画像取得ステップで取得された取得画像が、前記基準画像と同一の被写体を撮像したものか否かを判定し、前記基準画像と同一の被写体を撮像したものと判定した場合、該取得画像の輝度情報と、該取得画像が撮像されたときの照度と、前記相関関係とに基づいて、前記撮像レンズの異物の有無を判定する判定ステップと、を含む画像処理方法。
【請求項８】
撮像レンズと、
前記撮像レンズを用いて撮像された画像を取得する画像取得部と、前記画像が撮像されたときに、前記画像が撮像された環境の照度を表す照度情報を取得する照度情報取得部と、前記画像取得部が取得した画像の少なくとも一つを基準画像として記憶するとともに、前記基準画像と同一の被写体を撮像した取得画像の輝度情報と、該取得画像が撮像されたときの前記照度との相関関係を記憶可能なメモリと、前記画像取得部によって取得された取得画像が、前記基準画像と同一の被写体を撮像したものか否かを判定し、前記基準画像と同一の被写体を撮像したものと判定した場合、該取得画像の輝度情報と、該取得画像が撮像されたときの照度と、前記相関関係とに基づいて、前記撮像レンズの異物の有無を判定するプロセッサと、を含む画像処理装置と、
を備える撮像装置。
【請求項９】
撮像レンズと、
前記撮像レンズを用いて画像が撮像される環境の照度を計測する照度計と、
前記撮像レンズを用いて撮像された画像を取得する画像取得部と、前記画像が撮像されたときに、前記画像が撮像された環境の照度を表す照度情報を取得する照度情報取得部と、前記画像取得部が取得した画像の少なくとも一つを基準画像として記憶するとともに、前記基準画像と同一の被写体を撮像した取得画像の輝度情報と、該取得画像が撮像されたときの前記照度との相関関係を記憶可能なメモリと、前記画像取得部によって取得された取得画像が、前記基準画像と同一の被写体を撮像したものか否かを判定し、前記基準画像と同一の被写体を撮像したものと判定した場合、該取得画像の輝度情報と、該取得画像が撮像されたときの照度と、前記相関関係とに基づいて、前記撮像レンズの異物の有無を判定するプロセッサと、を有する画像処理装置を含む撮像装置と、を備える移動体。
【請求項１０】
前記画像が撮像される環境を照射する照明装置をさらに備え、
前記プロセッサは、前記撮像レンズの異物があると判定すると、その旨を表す汚れ情報又は曇り情報を前記照明装置に出力し、
前記照明装置は、前記汚れ情報又は曇り情報に基づいて明るさを制御する請求項９に記載の移動体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、撮像装置、及び移動体に関する。
【背景技術】
【０００２】
従来、撮像装置を構成する撮像レンズ全体にわたって汚れや曇り等の異物が付着することによって、一様に光の透過率が低減する場合に、その旨を検知する装置が知られている。
【０００３】
例えば、特許文献１に記載の画像処理システムは、発光部と、該発光部によって発光される光の波長を有する光のみを透過させる光学フィルタを備えて、発光部によって発光され、ウィンドウガラスに反射されて光学フィルタを透過した光が撮像素子に結像することによって撮像された画像に基づいて曇りや汚れを検出している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−１９５５６６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述のような従来技術の方法では、曇りや汚れを検出するために光源及び光学フィルタが必要となるため、それらを設置するための手間がかかり、費用が高くなる。
【０００６】
したがって、これらの点に着目してなされた本発明の目的は、少ない部品により手間をかけずに撮像レンズに一様に付着した汚れ又は曇り等の異物の有無を判定する画像処理装置、画像処理方法、撮像装置、及び移動体を提供することにある。
【課題を解決するための手段】
【０００７】
上記目的を達成する画像処理装置は、撮像レンズを用いて撮像された画像を取得する画像取得部と、前記画像が撮像されたときに、前記画像が撮像された環境の照度を表す照度情報を取得する照度情報取得部と、前記画像取得部が取得した画像の少なくとも一つを基準画像として記憶するとともに、前記基準画像と同一の被写体を撮像した取得画像の輝度情報と、該取得画像が撮像されたときの前記照度との相関関係を記憶可能なメモリと、前記画像取得部によって取得された取得画像に撮像されている被写体が、基準画像に撮像されている被写体と同一であるか否かを判定し、前記基準画像に撮像されている被写体と同一であると判定した場合、該取得画像の輝度情報と、該取得画像が撮像されたときの照度と、前記相関関係とに基づいて、前記撮像レンズの異物の有無を判定するプロセッサと、を備える。
【０００８】
上記目的を達成する画像処理方法は、画像処理装置が実行する画像処理方法であって、前記画像処理装置が、撮像レンズを用いて撮像された画像を取得する画像取得ステップと、前記画像処理装置が、前記画像が撮像されたときに、前記画像が撮像された環境の照度を表す照度情報を取得する照度情報取得ステップと、前記画像処理装置が、メモリに、前記画像取得ステップで取得した画像の少なくとも一つを基準画像として記憶するとともに、前記基準画像と同一の被写体を撮像した取得画像の輝度情報と、該取得画像が撮像されたときの前記照度との相関関係を記憶する記憶ステップと、前記画像処理装置が、前記画像取得ステップで取得された取得画像が、前記基準画像と同一の被写体を撮像したものか否かを判定し、前記基準画像と同一の被写体を撮像したものと判定した場合、該取得画像の輝度情報と、該取得画像が撮像されたときの照度と、前記相関関数とに基づいて、前記撮像レンズの異物の有無を判定する判定ステップと、を含む。
【０００９】
上記目的を達成する撮像装置は、撮像レンズと、前記撮像レンズを用いて撮像された画像を取得する画像取得部と、前記画像が撮像されたときに、前記画像が撮像された環境の照度を表す照度情報を取得する照度情報取得部と、前記画像取得部が取得した画像の少なくとも一つを基準画像として記憶するとともに、前記基準画像と同一の被写体を撮像した取得画像の輝度情報と、該取得画像が撮像されたときの前記照度との相関関係を記憶可能なメモリと、前記画像取得部によって取得された取得画像が、前記基準画像と同一の被写体を撮像したものか否かを判定し、前記基準画像と同一の被写体を撮像したものと判定した場合、該取得画像の輝度情報と、該取得画像が撮像されたときの照度と、前記相関関数とに基づいて、前記撮像レンズの異物の有無を判定するプロセッサと、を含む画像処理装置と、を備える。
【００１０】
上記目的を達成する移動体は、撮像レンズと、前記撮像レンズを用いて画像が撮像される環境の照度を計測する照度計と、前記撮像レンズを用いて撮像された画像を取得する画像取得部と、前記画像が撮像されたときに、前記画像が撮像された環境の照度を表す照度情報を取得する照度情報取得部と、前記画像取得部が取得した画像の少なくとも一つを基準画像として記憶するとともに、前記基準画像と同一の被写体を撮像した取得画像の輝度情報と、該取得画像が撮像されたときの前記照度との相関関係を記憶可能なメモリと、前記画像取得部によって取得された取得画像が、前記基準画像と同一の被写体を撮像したものか否かを判定し、前記基準画像と同一の被写体を撮像したものと判定した場合、該取得画像の輝度情報と、該取得画像が撮像されたときの照度と、前記相関関数とに基づいて、前記撮像レンズの異物の有無を判定するプロセッサと、を有する画像処理装置を含む撮像装置と、を備える。
【発明の効果】
【００１１】
本発明の一実施形態によれば、少ない部品により手間をかけずに撮像レンズに一様に付着した異物の有無を判定することを可能とする。
【図面の簡単な説明】
【００１２】
【図１】移動体に搭載された画像処理システムの概略構成を示す図である。
【図２】図１に示す画像処理システムの機能ブロック図である。
【図３】画像処理装置が取得した画像の平均輝度と、照度計によって測定された照度との関係を示す図である。
【図４】第１の実施形態における画像処理システムの処理フローを示すフロー図である。
【図５】第２の実施形態における画像処理システムの処理フローを示すフロー図である。
【図６】第３の実施形態における画像処理システムの処理フローを示すフロー図である。
【発明を実施するための形態】
【００１３】
以下、本発明の第１の実施形態について、図面を参照して説明する。
【００１４】
図１に示すように、第１の実施形態に係る画像処理システム１は、移動体４に搭載され、照度計１０、撮像装置（カメラ）２０、表示装置３０、照明装置４０等を含んで構成される。照度計１０、表示装置３０、照明装置４０は、それぞれ通信ケーブル、通信ネットワーク等を介してカメラ２０と接続されて情報を送受信する。また、カメラ２０は、通信ケーブル等を介して、ＥＣＵ（Engine Control Unit）等と接続されて情報を送受信する。ここで、本願における「移動体」は、例えば、乗用車、トラック、バスといった道路上を走行する車両等を意味する。
【００１５】
照度計１０は、移動体４の任意の位置、例えば、フロントガラスの最下部に固定して取り付けられる。照度計１０は、計測部１１、通信インタフェース１２等を含んで構成される。
【００１６】
計測部１１は、カメラ２０が画像を撮像する環境の照度Ｉを計測する。
【００１７】
通信インタフェース１２は、計測部１１によって計測された照度Ｉを表す照度情報を画像処理装置２２に送信する。通信インタフェース１２は、物理コネクタ、無線通信機等とすることができる。物理コネクタには、電気コネクタ、光コネクタ、及び電磁コネクタが含まれる。また、無線通信機には、Bluetooth（登録商標）及びIEEE802.11を含む各規格に準拠する無線通信機、並びにアンテナが含まれる。
【００１８】
カメラ２０は、移動体４の後方を撮像するように設置される。また、カメラ２０は、前方又は側方を撮像するように設置されてもよい。図２に示すように、カメラ２０は、撮像部２１、画像処理装置２２等を含んで構成される。
【００１９】
撮像部２１は、撮像レンズ２１１、撮像素子２１２、信号処理部２１３等を含んで構成される。
【００２０】
撮像レンズ２１１は、該撮像レンズ２１１に入射した光が撮像素子２１２で結像するように集光するレンズである。撮像レンズ２１１は、例えば、魚眼レンズ、超広角レンズで構成されてもよい。撮像レンズ２１１は、単レンズで構成されてもよいし、複数枚のレンズで構成されてもよい。
【００２１】
撮像素子２１２は、撮像レンズ２１１によって結像された画像を撮像する撮像素子である。撮像素子２１２は、ＣＣＤ（Charge-Coupled Device）イメージセンサ及びＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサを含む。
【００２２】
信号処理部２１３は、画像を処理するプロセッサであり、例えば特定の機能を実行するように形成した専用のマイクロプロセッサや特定のプログラムを読出すことにより特定の機能を実行するプロセッサである。
【００２３】
信号処理部２１３は、該撮像素子２１２で結像された画像を表す画像信号を生成する。また、信号処理部２１３は、画像について、歪み補正、明度調整、コントラスト調整、ガンマ補正等の任意の処理を行ってもよい。
【００２４】
画像処理装置２２は、画像取得部２２１、プロセッサ２２２、メモリ２２３、通信インタフェース２２４等を含んで構成される。
【００２５】
画像取得部２２１は、信号処理部２１３によって生成された画像信号の入力を受けることによって画像信号が表す画像を取得する、撮像部２１とのインタフェースである。
【００２６】
プロセッサ２２２は、画像取得部２２１によって取得した画像を処理するプロセッサであり、例えば特定の機能を実行するように形成した専用のマイクロプロセッサや特定のプログラムを読出すことにより特定の機能を実行する汎用のＣＰＵ（中央処理装置：Central Processing Unit）である。
【００２７】
プロセッサ２２２は、撮像部２１によって撮像され、画像取得部２２１によって取得された画像（以降、「取得画像」という）と、照度計１０によって計測され、通信インタフェース２２４によって取得された照度Ｉとに基づいて、一様な異物の有無を判定する。異物には、撮像レンズ２１１に付着した汚れ又は曇りが含まれる。また、プロセッサ２２２は、異物の付着度合いである汚れ度又は曇り度を判定する。
【００２８】
ここで、プロセッサ２２２における一様な汚れの有無を判定する機能について詳細に説明する。
【００２９】
プロセッサ２２２は、画像取得部２２１によって取得された取得画像に撮像された被写体と、メモリ２２３に記憶されている基準画像に撮像された被写体とが同一であるか否かを判定する。
【００３０】
そのため、プロセッサ２２２は、取得画像と基準画像との類似性を示す指標Ｓを画像マッチングによって算出する。基準画像とは、汚れ判定が実施される前に、汚れ判定実施場所でカメラ２０によって撮像された汚れ判定の基準となる画像である。汚れ判定実施場所は、移動体４のユーザが日常生活において定期的に滞在又は訪問することになっている場所であって、例えば、ユーザの自宅の駐車場、職場の駐車場等である。
【００３１】
類似性を示す指標Ｓとは、例えば、一般的な画像マッチングで用いられるＳＳＤ（Sum of Squared Difference）、ＳＡＤ（Sum of Absolute Difference）等である。ＳＳＤは、基準画像の画素値と、取得画像の対応する位置にある画素値との差の二乗を基準画像及び取得画像の全ての画素について足し合わせた値である。ＳＡＤは、基準画像の画素値と、取得画像の対応する位置にある画素値との差の絶対値を基準画像及び取得画像の全ての画素について足し合わせた値である。そのため、指標ＳをＳＳＤ又はＳＡＤとする場合、指標Ｓが低いほど基準画像と取得画像は類似している。
【００３２】
プロセッサ２２２は、ＳＳＤを指標Ｓとして算出すると、算出した指標Ｓと所定の閾値Ｓｔｈとに基づいて、取得画像の被写体が基準画像の被写体と同一であるか否かを判定する。具体的には、プロセッサ２２２は、指標Ｓが所定の閾値Ｓｔｈ未満である場合、取得画像の被写体が基準画像の被写体と同一であると判定し、指標Ｓが所定の閾値Ｓｔｈ以上である場合、取得画像の被写体が基準画像の被写体と同一でないと判定する。所定の閾値Ｓｔｈとは、指標Ｓがこの値より大きい場合に、取得画像の被写体は基準画像の被写体でないと、予め実験により決定される値である。ここで、プロセッサ２２２は、指標ＳとしてＳＳＤの代わりにＳＡＤを算出してもよい。
【００３３】
また、プロセッサ２２２は、基準画像からエッジを検出した基準エッジ画像と、取得画像からエッジを検出した取得エッジ画像とに基づいて、上述のようにＳＳＤ又はＳＡＤを指標Ｓとして算出し、取得画像の被写体が基準画像の被写体と同一であるか否かを判定してもよい。
【００３４】
プロセッサ２２２が、取得画像に撮像された被写体と基準画像に撮像された被写体とが同一であるか否かを判定する方法は上述の方法に限られず、任意の方法により行うことができる。
【００３５】
また、プロセッサ２２２は、基準画像に撮像されている被写体と同一の被写体が撮像されている取得画像のうち、撮像レンズ２１１が汚れていないとみなせる状態で撮像された取得画像を構成する画素の輝度の平均値（以降、「平均輝度Ｌａ」という）と、取得画像が撮像されたときに照度計１０によって計測された照度Ｉとの相関関係を示す相関関数を算出する。本実施形態では、プロセッサ２２２が平均輝度Ｌａと照度Ｉとに基づいて相関関数を算出する例を説明するが、平均輝度Ｌａの代わりに、取得画像を構成する画素の輝度の合計に基づいて相関関数を算出してもよい。このような平均輝度Ｌａ、輝度の合計等の、取得画像全体に係る輝度に関する特性を表す情報を輝度情報という。
【００３６】
具体的には、プロセッサ２２２は、取得画像の被写体が基準画像の被写体と同一であると判定すると、取得画像の平均輝度Ｌａを算出する。そして、プロセッサ２２２は、平均輝度Ｌａを算出すると、図３に示すような、取得画像が撮像されたときに照度計１０によって計測された照度Ｉと平均輝度Ｌａとの組合せをメモリ２２３に記憶させる。
【００３７】
また、プロセッサ２２２は、初期状態から、所定の数の、照度Ｉと平均輝度Ｌａとの組合せがメモリ２２３に記憶されると、メモリ２２３に記憶されている組合せに基づいて、照度Ｉと平均輝度Ｌａとの相関関係を示す、図３の実線に示すような一次関数を相関関数として算出する。ここで、初期状態とは、新しく製造された撮像レンズ２１１がカメラ２０に設置された状態のこと、カメラ２０に設置されている撮像レンズ２１１が清掃され、汚れが取り払われた状態のこと等をいう。また、所定の数とは、照度Ｉと平均輝度Ｌａとの組合せを記憶するための処理が繰り返されても、画像に影響を与える程度の一様の汚れが撮像レンズ２１１に付着していないと見込まれる数であって、信頼できる相関関数を算出するために十分であるとされる組合せの数である。
【００３８】
また、プロセッサ２２２は、相関関数が算出された以降に、さらに撮像画像と照度Ｉとが取得され、平均輝度Ｌａと照度Ｉとの組合せが所定の数より多くメモリ２２３に記憶されると、新たに記憶された平均輝度Ｌａと、照度Ｉと、相関関係とに基づいて撮像レンズ２１１の汚れの有無を判定する。
【００３９】
具体的には、プロセッサ２２２は、計測された照度Ｉに基づいて相関関係を満たす理想輝度Ｌｉを算出する。相関関係とは、上述のように、撮像レンズ２１１が汚れていないとみなせる状態での照度Ｉと平均輝度Ｌａとの関係を示す相関関数である。したがって、理想輝度Ｌｉは、撮像レンズ２１１が汚れていない場合に、照度計１０で計測された照度Ｉであるときに撮像された画像において期待される平均輝度Ｌａである。
【００４０】
そこで、プロセッサ２２２は、平均輝度Ｌａが理想輝度Ｌｉより所定の閾値Ｌｔｈ以上、低いか否かを判定することによって撮像レンズ２１１の汚れの有無を判定する。所定の閾値Ｌｔｈとは、平均輝度Ｌａと理想輝度Ｌｉとの差がこの値より大きい場合に、撮像レンズ２１１を用いて撮像された画像が、以降で実施される各種解析等の結果に不正確さをもたらすと想定される値であって、予めの実験により決定される。
【００４１】
具体的には、プロセッサ２２２は、平均輝度Ｌａが理想輝度Ｌｉより所定の閾値Ｌｔｈ以上、低い場合、撮像レンズ２１１の汚れがあると判定する。図３に示す例で説明すると、（１）に示す点は、照度Ｉ１で撮像された取得画像の平均輝度がＬａ１であることを示している。プロセッサ２２２は、実線で示される相関関数を用いて、照度Ｉ１が測定された場合の理想輝度ＬｉはＬｉ１であると算出する。この場合、平均輝度Ｌａ１が理想輝度Ｌｉ１より所定の閾値Ｌｔｈ以上低いため、プロセッサ２２２は、撮像レンズ２１１に汚れがあると判定する。
【００４２】
また、プロセッサ２２２は、平均輝度Ｌａが理想輝度Ｌｉより所定の閾値Ｌｔｈ以上低くない場合、撮像レンズ２１１に汚れがないと判定する。図３に示す例で説明すると、（２）に示す点は、照度Ｉ２で撮像された取得画像の平均輝度がＬａ２であることを示している。プロセッサ２２２は、実線で示される相関関数を用いて、照度Ｉ２が測定された場合の理想輝度ＬｉはＬｉ２であると算出する。この場合、平均輝度Ｌａ２が理想輝度Ｌｉ２より所定の閾値Ｌｔｈ以上低くないため、プロセッサ２２２は、撮像レンズ２１１に汚れがないと判定する。
【００４３】
なお、プロセッサ２２２は、上述のように、平均輝度Ｌａの代わりに、取得画像を構成する画素の輝度の合計に基づいて相関関数を算出する場合、画素の輝度の合計が理想輝度Ｌｉに取得画像の画素数を乗じた値より所定の閾値以上低いか否かに基づいて撮像レンズ２１１に汚れがあるか否かを判定する。
【００４４】
さらに、プロセッサ２２２は、撮像レンズ２１１に汚れがあると判定した場合、平均輝度Ｌａと理想輝度Ｌｉとの差に基づいて、撮像レンズ２１１の汚れ度を判定する。プロセッサ２２２は、平均輝度Ｌａと理想輝度Ｌｉとの差が大きいほど汚れ度が高いと判定する。例えば、プロセッサ２２２は、差が理想輝度Ｌｉの０％以上で１０％未満である場合に汚れ度１とし、差が理想輝度Ｌｉの１０％以上で２０％未満である場合に汚れ度２とする。汚れ度の設定の方法、差に基づく汚れ度の判定の方法は、これに限られず任意の方法であってよい。
【００４５】
また、プロセッサ２２２は、撮像レンズ２１１に汚れがあると判定し、汚れ度を判定すると、汚れている旨及び汚れ度を含む汚れ情報を、通信インタフェース２２４を介して出力する。
【００４６】
メモリ２２３は、汚れ判定実施場所で撮像部２１によって撮像され、画像取得部２２１によって取得した画像を基準画像として記憶する。また、プロセッサ２２２によって算出された、図３に示すような、取得画像の平均輝度Ｌａと該取得画像が撮像されたときに照度計１０によって計測された照度Ｉとの組合せを記憶する。また、メモリ２２３は、プロセッサ２２２によって算出された、照度Ｉと平均輝度Ｌａとの相関関係を示す相関関数を記憶可能である。
【００４７】
通信インタフェース２２４は、照度情報取得部として、照度計１０によって送信された照度情報を受ける。また、通信インタフェース２２４は、プロセッサ２２２が出力した汚れ情報を表示装置３０、照明装置４０、ＥＣＵ等に送信する。通信インタフェース２２４は、通信インタフェース１２と同様に、物理コネクタ、無線通信機等とすることができる。
【００４８】
表示装置３０は、通信インタフェース３１、表示用プロセッサ３２、表示パネル３３等を含んで構成される。
【００４９】
通信インタフェース３１は、画像処理装置２２から通信インタフェース２２４を介して送信された汚れ情報を受信する。通信インタフェース３１は、通信インタフェース１２と同様に、物理コネクタ、無線通信機等とすることができる。
【００５０】
表示用プロセッサ３２は、通信インタフェース３１によって受信した汚れ情報を表示パネル３３に表示させる。
【００５１】
照明装置４０は、カメラ２０が撮像する方向を照射するように設置される。照明装置４０は、通信インタフェース４１、照射制御部４２、発光部４３等を含んで構成される。
【００５２】
通信インタフェース４１は、画像処理装置２２から通信インタフェース２２４を介して送信された汚れ情報を受信する。通信インタフェース４１は、通信インタフェース１２と同様に、物理コネクタ、無線通信機等とすることができる。
【００５３】
照射制御部４２は、通信インタフェース４１によって受信した汚れ情報に基づいて、発光部４３による照射の明るさを制御する。
【００５４】
発光部４３は、照射制御部４２によって制御された明るさで、カメラ２０が撮像する方向を照射する。
【００５５】
続いて、本実施形態の画像処理システム１の画像処理方法について、図４を参照して説明する。
【００５６】
本画像処理の前提として、撮像部２１は、汚れ判定実施場所におけるユーザの指示入力、あるいは移動体４のイグニッションをＯＮ又はＯＦＦするといった車両を操作するための車両操作入力に基づいて、汚れ判定実施場所を特定の画角で撮像する。
【００５７】
撮像部２１によって汚れ判定実施場所が撮像されると、信号処理部２１３が撮像された画像を表す画像信号を画像処理装置２２に出力する。そして、画像処理装置２２のメモリ２２３は、画像信号が表す画像を基準画像として記憶しておく。メモリ２２３は、複数の画像を基準画像として記憶することができる。画像処理装置２２は、指示入力又は車両操作入力がされる度に撮像された画像から、撮像される頻度の高い同一被写体の画像群を選択し、その中の一つの画像を基準画像として記憶することができる。
【００５８】
以上のように、画像処理装置２２のメモリ２２３には、常に基準画像が記憶された状態にある。この状態で、画像処理装置２２に指示入力又は車両操作入力がされると、撮像部２１は画像を撮像する（ステップＳ１１）。
【００５９】
また、指示入力又は車両操作入力がされると、すなわち、ステップＳ１１でカメラ２０によって画像が撮像されるときに、照度計１０は周囲環境の照度Ｉを計測する（ステップＳ１２）。照度計１０による照度Ｉの測定は、指示入力又は車両操作入力と同時である必要はなく、計測部１１の計測にかかる時間、及び、信号の伝達にかかる時間等の範囲内でずれていてよい。あるいは、照度Ｉは、周辺環境の照度Ｉが変化しない範囲で、例えば、１０秒以内の範囲でずらして測定してもよい。
【００６０】
ステップＳ１１で、画像が撮像されると、画像取得部２２１が、撮像された画像を取得画像として取得し、プロセッサ２２２が、取得画像に撮像された被写体がメモリ２２３に記憶されている基準画像に撮像された被写体と同一であるか否かを判定する（ステップ１３）。同一の被写体を撮像したものか否かの判定は、例えば、基準画像と取得画像とを画像マッチングすることによって画像の類似性を示す指標Ｓを算出することによって行うことができる。
【００６１】
具体的には、プロセッサ２２２は、指標Ｓを算出し、指標Ｓが所定の閾値Ｓｔｈ以上であるか否かを判定する。プロセッサ２２２は、指標Ｓが所定の閾値Ｓｔｈ以上である場合、取得画像に撮像されている被写体が基準画像に撮像されている被写体ではないと判定し、画像処理システム１は処理を終了する。また、プロセッサ２２２は、指標Ｓが所定の閾値Ｓｔｈ未満である場合、取得画像に撮像されている被写体が基準画像に撮像されている被写体と同一であると判定する。
【００６２】
ステップＳ１３で、取得画像に撮像された被写体が基準画像に撮像された被写体と同一でないと判定されると、画像処理システム１は処理を終了する。取得画像に撮像された被写体が基準画像に撮像された被写体と同一であると判定されると、プロセッサ２２２は、取得画像の平均輝度Ｌａを算出する（ステップＳ１４）。
【００６３】
ステップＳ１４で、平均輝度Ｌａが算出されると、メモリ２２３は、平均輝度Ｌａと、ステップＳ１２で計測された照度Ｉとの組合せを記憶する（ステップＳ１５）。
【００６４】
ステップＳ１５で、メモリ２２３が照度Ｉと平均輝度Ｌａとの組合せを記憶すると、プロセッサ２２２は、メモリ２２３に記憶されている照度Ｉと平均輝度Ｌａとの組合せが所定の数以下かである否かを判定する（ステップＳ１６）。
【００６５】
ステップＳ１６で、照度Ｉと平均輝度Ｌａとの組合せが所定の数以下であると判定された場合、プロセッサ２２２は、組合せの数が所定の数であるか否かを判定する（ステップＳ１７）。
【００６６】
ステップＳ１７で、組合せの数が所定の数であると判定された場合、プロセッサ２２２は、照度Ｉと平均輝度Ｌａとの相関関係を示す、一次関数で表される相関関数を算出し（ステップＳ１８）、メモリ２３が算出された相関関数を記憶する。そして、画像処理システム１は処理を終了する。
【００６７】
ステップＳ１７で、組合せの数が所定の数でないと判定された場合、画像処理システム１は処理を終了する。
【００６８】
ステップＳ１６で、組合せの数が所定の数以下でないと判定された場合、プロセッサ２２２は、ステップＳ１２で計測された照度Ｉに基づいて、ステップＳ１８で算出され、記憶された相関関数を用いて理想輝度Ｌｉを算出する（ステップＳ１９）。
【００６９】
ステップＳ１９で、理想輝度Ｌｉが算出されると、プロセッサ２２２は、平均輝度Ｌａが理想輝度Ｌｉより所定の閾値Ｌｔｈ以上低いか否かを判定する（ステップＳ２０）。
【００７０】
ステップＳ２０で、平均輝度Ｌａが理想輝度Ｌｉより所定の閾値Ｌｔｈ以上低くないと判定された場合、プロセッサ２２２は撮像レンズ２１１に汚れがないと判定して（ステップＳ２１）、処理を終了する。
【００７１】
ステップＳ２０で、平均輝度Ｌａが理想輝度Ｌｉより所定の閾値Ｌｔｈ以上、低いと判定された場合、プロセッサ２２２は、撮像レンズ２１１に汚れがあると判定する（ステップＳ２２）。
【００７２】
ステップＳ２２で、撮像レンズ２１１に汚れがあると判定されると、プロセッサ２２２は、平均輝度Ｌａと理想輝度Ｌｉとの差に基づいて、撮像レンズ２１１の汚れ度を判定する（ステップＳ２３）。
【００７３】
ステップＳ２３で、撮像レンズ２１１の汚れ度が判定されると、プロセッサ２２２は、通信インタフェース２２４を介して、撮像レンズ２１１が汚れている旨及び汚れ度を含む汚れ情報を表示装置３０、照明装置４０、ＥＣＵのいずれか１つ以上に出力する（ステップＳ２４）。
【００７４】
ステップＳ２４で、汚れ情報が表示装置３０に出力されると、表示装置３０は汚れ情報を表示する（ステップＳ２５）。このとき、表示装置３０は、汚れ情報に基づいて撮像レンズ２１１のクリーニングを促す注意を表示してもよい。
【００７５】
また、ステップＳ２４で汚れ情報が照明装置４０に出力されると、照明装置４０は汚れ情報に基づいて明るさを制御、例えば、汚れ情報に含まれる汚れ度が高いほど、光量を多くするようライトを制御してもよい（ステップＳ２５）。また、ステップＳ２４でＥＣＵに汚れ情報が出力されると、ＥＣＵは汚れ情報に基づいて、移動体４を制御してもよい。
【００７６】
第１の実施形態においては、基準画像に撮像されている被写体と同一の被写体が撮像されている取得画像の平均輝度Ｌａと、該取得画像が撮像されたときの照度Ｉとの相関関数を算出し、算出された相関関数に基づいて撮像レンズ２１１の汚れの有無を判定するため、光源や光フィルタを用いない少ない部品点数で、撮像レンズ２１１が汚れているか否かを把握することができる。これに伴い、光源や光フィルタを設置するための手間及びコストを低減させることができ、簡易に汚れを判定することができる。
【００７７】
また、第１の実施形態においては、移動体４に搭載された照明装置４０は、画像処理装置２２によって出力された汚れ情報に基づいて照射の明るさを制御するため、撮像部２１は適切な照度Ｉで画像を撮像することができる。そのため、撮像レンズ２１１が汚れていても所望の輝度を有する画像を撮像することができる。したがって、撮像部２１によって撮像された画像を用いる画像処理が適切に実行されることになる。
【００７８】
以下、本発明の第２の実施形態について、図面を参照して説明する。
【００７９】
第２の実施形態に係る画像処理システム２は、第１の実施形態に係る画像処理システム１と同様に移動体４に搭載された照度計１０、カメラ２０、表示装置３０、照明装置４０等を含んで構成される。
【００８０】
第２の実施形態におけるプロセッサ２２２は、第１の実施形態におけるプロセッサ２２２と同様に、照度Ｉと平均輝度Ｌａとの相関関係を示す相関関数を算出し、メモリ２２３が算出された相関関数を記憶する点で同様である。以降の説明では、第１の実施形態と同様にして算出された相関関数、すなわち所定の数の、照度Ｉと平均輝度Ｌａとの組合せよって算出された相関関数を第１の相関関数という。
【００８１】
第２の実施形態におけるプロセッサ２２２は、初期状態から、照度Ｉと平均輝度Ｌａとの組合せが所定の数より多く記憶されると、メモリ２３に記憶されている最新の所定の数の照度Ｉと平均輝度Ｌａとの組合せに基づいて、第２の相関関数を算出する。
【００８２】
そして、プロセッサ２２２は、第１の相関関数と第２の相関関数との解離度に基づいて撮像レンズ２１１の汚れの有無を判定する。例えば、プロセッサ２２２は、各相関関数の０次の係数の差を解離度として算出し、解離度が所定の閾値以上である場合には、撮像レンズ２１１に汚れがあると判定する。また、プロセッサ２２２は、第１の相関関数の０次の係数と第２の相関関数の０次の係数との差が所定の閾値未満である場合には、撮像レンズ２１１に汚れがないと判定する。
【００８３】
続いて、第２の実施形態の画像処理システム２の画像処理方法について、図５を参照して説明する。
【００８４】
まず、第１の実施形態と同様に、本画像処理の前提として、汚れ判定実施場所における指示入力又は車両操作入力に基づいて、撮像部２１は、汚れ判定実施場所を特定の画角で撮像する。メモリ２２３は、複数の画像を基準画像として記憶することができる。画像処理装置２２は、指示入力又は車両操作入力がされる度に撮像された画像から、撮像される頻度の高い同一被写体の画像群を選択し、その中の一つの画像を基準画像として記憶することができる。
【００８５】
この状態で開始される、図５のステップＳ３１〜Ｓ３７に示す画像処理システム２の処理は、図４のステップＳ１１〜Ｓ１７に示す第１の実施形態の画像処理システム１の処理と同様である。
【００８６】
ステップＳ３７で、組合せの数が所定の数であると判定された場合、プロセッサ２２２は、照度Ｉと平均輝度Ｌａとの相関関係を示す、一次関数で表される相関関数を第１の相関関数として算出し（ステップＳ３８）、メモリ２２３が算出された相関関数を記憶する。そして、画像処理システム１は処理を終了する。
【００８７】
ステップＳ３７で、組合せの数が所定の数でないと判定された場合、画像処理システム１は処理を終了する。
【００８８】
ステップＳ３６で、組合せの数が所定の数以下でないと判定された場合、プロセッサ２２２は、メモリ２２３に記憶されている最新の、所定の数の照度Ｉと平均輝度Ｌａとの組合せに基づいて、照度Ｉと平均輝度Ｌａとの相関関係を示す、一次関数で表される第２の相関関数を算出する（ステップＳ３９）。
【００８９】
ステップＳ３９で、第２の相関関数が算出されると、プロセッサ２２２は、第１の相関関数と第２の相関関数との解離度を算出する（ステップＳ４０）。
【００９０】
ステップＳ４０で解離度が所定の閾値以上であるか否かを判定する（ステップＳ４１）。
【００９１】
ステップＳ４１で、解離度が所定の閾値未満であると判定された場合、プロセッサ２２２は撮像レンズ２１１に汚れがないと判定して（ステップＳ４２）、処理を終了する。
【００９２】
ステップＳ４１で解離度が所定の閾値以上であると判定された場合、プロセッサ２２２は、撮像レンズ２１１に汚れがあると判定する（ステップＳ４３）。
【００９３】
ステップＳ４３で、撮像レンズ２１１に汚れがあると判定されると、プロセッサ２２２は、解離度に基づいて撮像レンズ２１１の汚れ度を判定する（ステップＳ４４）。
【００９４】
ステップＳ４４で、撮像レンズ２１１の汚れ度が判定されると、プロセッサ２２２は、通信インタフェース２２４を介して、汚れている旨及び汚れ度を含む汚れ情報を表示装置３０、照明装置４０、ＥＣＵのいずれか１つ以上に出力する（ステップＳ４５）。
【００９５】
ステップＳ４５で表示装置３０に汚れ情報が出力されると、表示装置３０は汚れ情報を表示する（ステップＳ４６）。このとき、表示装置３０は、汚れ情報に基づいて撮像レンズ２１１のクリーニングを促す注意を表示してもよい。
【００９６】
また、ステップＳ４５で汚れ情報が照明装置４０に出力されると、照明装置４０は汚れ情報に基づいて明るさを制御、例えば、汚れ情報に含まれる汚れ度が高いほど、光量を高くするようライトを制御してもよい（ステップＳ４６）。また、ステップＳ４５でＥＣＵに汚れ情報が出力されると、ＥＣＵは汚れ情報に基づいて、移動体４を制御してもよい。
【００９７】
以上、説明したように、第２の実施形態においては、基準画像に撮像されている被写体と同一の被写体が撮像されている取得画像の平均輝度Ｌａと、該取得画像が撮像されたときの照度Ｉとの相関関数を算出し、算出した相関関数に基づいて撮像レンズ２１１の汚れの有無を判定するため、光源や光フィルタを用いない少ない部品点数で、撮像レンズ２１１が汚れているか否かを把握することができる。これに伴い、光源や光フィルタを設置するための手間及びコストを低減させることができ、簡易に汚れを判定することができるという第１の実施形態と同様の効果を奏する。
【００９８】
続いて、本発明の第３の実施形態について、図面を参照して説明する。
【００９９】
第３の実施形態に係る画像処理システム３は、第１の実施形態に係る画像処理システム１と同様に移動体４に搭載された照度計１０、カメラ２０、表示装置３０、照明装置４０等を含んで構成される。
【０１００】
第３の実施形態におけるプロセッサ２２２は、第１の実施形態におけるプロセッサ２２２と同様であるが、取得画像に撮像された被写体が基準画像に撮像されている被写体と同一であるか否かを判定する処理を行う前に、取得画像に撮像された局所的な汚れを検出する。
【０１０１】
ここで、プロセッサ２２２が、局所的な汚れを検出する方法の一例について説明する。
【０１０２】
局所的な汚れを検出するための前提として、メモリ２２３は、移動体４が複数の異なる場所にいるとき、又は移動体４が複数の異なる方位を向いているときに撮像部２１によってそれぞれ撮像された画像を記憶している。
【０１０３】
この状態で、指示入力又は車両への操作入力がされて、撮像部２１によって撮像が行われると、プロセッサ２２２は、複数の画像における互いに対応する領域の画素値の差が所定の範囲内である領域があるか否かを判定する。また、プロセッサ２２２は、複数の画像における互いに対応する領域における画素値の差が所定の範囲内である領域があった場合、該領域を除く、複数の画像の互いに対応する領域の画素値は異なるか否かを判定する。複数の画像に画素値が同一である領域があり、該領域を除く領域の画素値は各画像で異なる場合、プロセッサ２２２は、画素値が同一である領域に対応する、撮像レンズ２１１部分に局所的な汚れが付着していると判定する。
【０１０４】
ここで、判定に用いられる複数の画像には、上述のように指示入力等の前に記憶された画像と、指示入力等の後に撮像部２１によって撮像された取得画像とが含まれてもよいし、指示入力等の前に記憶された複数の画像のみが含まれてもよい。
【０１０５】
また、プロセッサ２２２は、局所的な汚れが撮像された領域の、取得画像の全領域に対する割合である局所的汚れ割合を算出する。そして、プロセッサ２２２は、局所的汚れ割合が所定の閾値未満である場合、取得画像の局所的な汚れが撮像されていない領域に撮像された被写体が、基準画像の対応する領域に撮像された被写体と同一であるかの判定、及び撮像レンズ２１１の一様な汚れの有無の判定を行う。プロセッサ２２２は、局所的汚れ割合が所定の閾値以上である場合、取得画像と基準画像との被写体が同一であるかの判定、及び撮像レンズ２１１の一様な汚れの有無の判定を行わない。ここで、所定の閾値とは、予めの実験によって定められた、局所的汚れ割合がこの値以上であると上記の判定に信頼性を損なうと見込まれる割合である。
【０１０６】
また、プロセッサ２２２は、取得画像における局所的な汚れが撮像されていない領域と、該領域に対応する基準画像上の領域とを用いて取得画像に撮像された被写体が基準画像に撮像された被写体と同一であるか否かを判定する。判定の具体的な方法については、第１の実施形態における方法と同様である。
【０１０７】
また、プロセッサ２２２は、取得画像における局所的な汚れがない領域の平均輝度Ｌａを算出して、算出した平均輝度Ｌａに基づいて一様な汚れの有無を判定する。一様な汚れの有無の判定の具体的は方法については、第１の実施形態又は第２の実施形態における汚れの有無の判定の方法と同様である。
【０１０８】
続いて、本実施形態の画像処理システム３の画像処理方法について、図６を参照して説明する。
【０１０９】
まず、第１の実施形態と同様に、本画像処理の前提として、汚れ判定実施場所における指示入力又は車両操作入力に基づいて、撮像部２１は、汚れ判定実施場所を特定の画角で撮像する。
【０１１０】
撮像部２１によって汚れ判定実施場所が撮像されると、信号処理部２１３が撮像された画像を表す画像信号を画像処理装置２２に出力する。そして、画像処理装置２２のメモリ２２３は、画像信号が表す画像を基準画像として記憶しておく。メモリ２２３は、複数の画像を基準画像として記憶することができる。画像処理装置２２は、指示入力又は車両操作入力がされる度に撮像された画像から、撮像される頻度の高い同一被写体の画像群を選択し、その中の一つの画像を基準画像として記憶することができる。
【０１１１】
以上のように、画像処理装置２２のメモリ２２３には、常に基準画像が記憶された状態にある。この状態で、画像処理装置２２に指示入力又は車両操作入力がされると、撮像部２１は画像を撮像する（ステップＳ５１）。
【０１１２】
また、指示入力又は車両操作入力がされると、すなわち、ステップＳ５１でカメラ２０によって画像が撮像されるときに、照度計１０は周囲環境の照度Ｉを計測する（ステップＳ５２）。
【０１１３】
ステップＳ５１で、画像が撮像されると、プロセッサ２２２が、複数の画像を用いて撮像レンズ２１１の局所的な汚れを検出するための処理を行って、汚れが検出されたか否かを判定する（ステップＳ５３）。
【０１１４】
ステップＳ５３で、局所的な汚れが検出されなかった場合、取得画像の全領域と基準画像の全領域とを画像マッチングすることによって、取得画像に撮像された被写体がメモリ２２３に記憶された基準画像に撮像された被写体と同一であるか否かを判定する（ステップＳ５５）。
【０１１５】
ステップＳ５３で、局所的な汚れが検出された場合、取得画像において撮像レンズ２１１の局所的な汚れに対応する領域の、全領域に対する局所的汚れ割合を算出し、局所的汚れ割合が閾値未満か否かを判定する（ステップＳ５４）。
【０１１６】
ステップＳ５４で局所的汚れ割合が所定の閾値以上であると判定されると、画像処理システム３は処理を終了する。ステップＳ５４で割合が所定の閾値未満であると判定されると、プロセッサ２２２は、取得画像における局所的な汚れが撮像されていない領域と、該領域に対応する基準画像上の領域とを用いて、取得画像に撮像された被写体が基準画像に撮像された被写体と同一であるか否かを判定する（ステップＳ５５）。
【０１１７】
ステップＳ５５で、取得画像に撮像された被写体が基準画像に撮像された被写体と同一でないと判定された場合、画像処理システム３は処理を終了する。ステップＳ５５で取得画像に撮像された被写体が基準画像に撮像された被写体と同一であると判定された場合、プロセッサ２２２は、取得画像の平均輝度Ｌａを算出する（ステップＳ５６）。
【０１１８】
ステップＳ５６では、プロセッサ２２２は、ステップＳ５３で局所的な汚れが検出されなかった場合、取得画像の全領域、又は予め定められた所定の領域の平均輝度Ｌａを算出する。また、プロセッサ２２２は、ステップＳ５３で局所的な汚れが検出された場合、取得画像の全領域又は所定の領域のうち、局所的な汚れがない領域の平均輝度Ｌａを算出する。
【０１１９】
ステップＳ５７以降の処理は、第１の実施形態におけるステップＳ１５以降の処理と同様である。ただし、ステップＳ６０において、プロセッサ２２２は、ステップＳ５６で局所的な汚れがない領域について算出された平均輝度Ｌａに基づいて相関関数を算出する。そして、ステップＳ６１においては、ステップＳ６０で局所的な汚れがない領域について算出された平均輝度Ｌａに基づいて算出された相関関数と、ステップＳ５２で測定された照度Ｉとに基づいて理想輝度Ｌｉを算出する。
【０１２０】
なお、第３の実施形態のプロセッサ２２２は、図６のステップＳ６１〜Ｓ６５に示すように、平均輝度Ｌａと理想輝度Ｌｉとに基づいて、撮像レンズ２１１の汚れの有無及び汚れ度を判定しているが、この限りではなく、第２の実施形態と同様に第１の相関関数と第２の相関関数とに基づいて、撮像レンズ２１１の汚れの有無及び汚れ度を判定してもよい。
【０１２１】
以上、説明したように、第３の実施形態においては、基準画像に撮像されている被写体と同一の被写体が撮像されている取得画像の平均輝度Ｌａと、該取得画像が撮像されたときの照度Ｉとの相関関数を算出し、算出した相関関数とに基づいて撮像レンズ２１１の汚れの有無を判定するため、光源や光フィルタを用いない少ない部品点数で、撮像レンズ２１１が汚れているか否かを把握することができる。これに伴い、光源や光フィルタを設置するための手間及びコストを低減させることができ、簡易に汚れを判定することができるという第１の実施形態と同様の効果を奏する。
【０１２２】
また、第３の実施形態においては、プロセッサ２２２は、取得画像における局所的な汚れが撮像されていない領域と、該領域に対応する基準画像上の領域とを用いて、それぞれに撮像されている被写体が同一であるか否かを判定する。そのため、局所的な汚れに起因して被写体が同一であるか否かの判定が不正確になるのを防ぐことができる。
【０１２３】
また、第３の実施形態においては、また、プロセッサ２２２は、取得画像における局所的な汚れがない領域の平均輝度Ｌａを算出して、算出した平均輝度Ｌａに基づいて一様な汚れの有無を判定する。そのため、平均輝度Ｌａが局所的な汚れに起因して一様な汚れの有無の判定が不正確となるのを防ぐことができる。
【０１２４】
上述の実施形態は代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態及び実施例によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、実施形態及び実施例に記載の複数の構成ブロックを１つに組合せたり、あるいは１つの構成ブロックを分割したりすることが可能である。
【０１２５】
上述の実施形態においては、メモリ２２３には１つの基準画像が記憶されていてもよいし、複数の基準画像が記憶されていてもよい。メモリ２２３に１つの基準画像が記憶されている場合、プロセッサ２２２は、取得画像と１つの基準画像との類似性を示す指標Ｓを算定する。メモリ２２３に複数の基準画像が記憶されている場合、プロセッサ２２２は、取得画像と複数の基準画像それぞれとの類似性を示す指標Ｓを算出し、取得画像に最も類似している基準画像の指標Ｓ、すなわち最も低い指標ＳＬについて閾値Ｓｔｈと比較する。そして、プロセッサ２２２は最も低い指標ＳＬが閾値Ｓｔｈ未満であると判定した場合、該指標ＳＬに係る、取得画像に最も類似している基準画像を用いて上述のように汚れの有無を判定する。この場合、例えば、プロセッサ２２２は、複数の基準画像のうち、取得画像に最も類似している基準画像を一意に識別する画像識別情報を、通信インタフェース２２４を介して表示装置３０等に出力することもできる。
【０１２６】
また、上述の実施形態においては、プロセッサ２２２は、取得画像に撮像された被写体が基準画像に撮像された被写体と同一であるか否かを判定しているが、この処理において、取得画像の全ての領域を用いてもよいし、取得画像の一部の領域を用いてもよい。また、上述の実施形態においては、プロセッサ２２２は、取得画像の平均輝度Ｌａを算出しているが、この処理では取得画像の全領域を構成する画素の平均輝度Ｌａを算出してもよいし、取得画像の所定の領域を構成する画素の平均輝度Ｌａを算出してもよい。プロセッサ２２２が所定の領域に係る平均輝度Ｌａを算出する場合、全領域に係る平均輝度Ｌａを算出する場合に比べて、処理負荷を低減させることが可能となる。
【０１２７】
また、上述の実施形態において、プロセッサ２２２が、基準画像と取得画像との類似性を示す指標Ｓに基づいて、取得画像に撮像された被写体が基準画像に撮像された被写体と同一であるか否かを判定しているが、この限りではない。例えば、プロセッサ２２２は、基準画像が取得された位置を表す位置情報と、取得画像が撮像された位置を表す位置情報が一致しているか否かに基づいて、取得画像に撮像された被写体が基準画像に撮像された被写体であるか否かを判定してもよい。この場合、移動体４はＧＰＳ受信機を備え、通信インタフェース２２４は、ＧＰＳ受信機から送信された移動体４の位置情報に基づいて撮像位置の位置情報を取得する位置情報取得部として機能する。なお、ここでの「一致」とは厳密な一致を意味するものではなく、基準画像が取得された位置と取得画像が撮像された位置とで同一の被写体が撮像されるであろうと期待される程度に離れていてもよい。
【０１２８】
この場合、プロセッサ２２２は、基準画像が取得されたときのカメラ２０の方向を表す方向情報を取得し、位置情報と方向情報とに基づいて、取得画像に撮像された被写体が基準画像に撮像された被写体であるか否かを判定してもよい。この場合、プロセッサ２２２は、移動体４に取り付けられているジャイロセンサによって検出された移動体４の方向に基づいて、検出されたカメラ２０の方向を取得する。
【０１２９】
また、上述の実施形態において、プロセッサ２２２が、計測された照度Ｉと、算出された平均輝度Ｌａとの相関関係を示す相関関数を算出する処理において、任意の方法により、照度Ｉに対する平均輝度Ｌａの異常値を検出し、該異常値を除外して相関関数を算出してもよい。
【０１３０】
また、上述の実施形態において、プロセッサ２２２は、汚れの有無及び汚れ度を判定するとしたが、例えば、撮像レンズ２１１の曇りの有無及び曇り度を判定してもよい。この場合、通信インタフェース２２４は、表示装置３０、照明装置４０、ＥＣＵ等に、撮像レンズ２１１に曇りがある旨、及び曇り度を含む曇り情報を出力する。
【符号の説明】
【０１３１】
１，２，３  画像処理システム
４          移動体
１０        照度計
１１        計測部
１２        通信インタフェース
２０        撮像装置（カメラ）
２１        撮像部
２２        画像処理装置
３０        表示装置
３１        通信インタフェース
３２        表示用プロセッサ
３３        表示パネル
２１１      撮像レンズ
２１２      撮像素子
２１３      信号処理部
２２１      画像取得部
２２２      プロセッサ
２２３      メモリ
２２４      通信インタフェース
【図１】
2018017601.tif 000003
【図２】
2018017601.tif 000004
【図３】
2018017601.tif 000005
【図４】
2018017601.tif 000006
【図５】
2018017601.tif 000007
【図６】
2018017601.tif 000008