(57)【特許請求の範囲】
【請求項１】
車両周囲を撮像するための複数の車載カメラ（４ｆ、４ｒ）と、
前記複数の車載カメラによる撮像画像をそれぞれ視点変換することで鳥瞰画像を生成する視点変換部（２２、Ｓ１１０）と、
前記視点変換部にて生成された鳥瞰画像のうち、前記車両の走行方向前方に位置する前方鳥瞰画像を、履歴画像として、車両の走行に応じて順次記憶する記憶部（１６、Ｓ１３０）と、
前記視点変換部にて生成された鳥瞰画像のうち、前記車両の走行方向後方に位置する後方鳥瞰画像と、前記記憶部に記憶され、当該後方鳥瞰画像に対応した履歴画像と、を比較し、各画像の差分が異常判定値以上であるとき、前記複数の車載カメラの一つにレンズ異常が生じていると判定する異常判定部（２６、Ｓ１６０−Ｓ１８０）と、
前記視点変換部にて生成された鳥瞰画像に自車両の影が含まれているか否かを判定する影判定部（２８、Ｓ１４０、Ｓ１５０）と、
を備え、前記異常判定部は、前記影判定部にて自車両の影が含まれていると判定された鳥瞰画像を利用して前記レンズ異常を判定するのを禁止する、ように構成されている車載カメラのレンズ異常検出装置。
【請求項２】
前記視点変換部にて生成された鳥瞰画像と前記記憶部に記憶された履歴画像とを合成することで、自車両周囲の鳥瞰画像を生成する画像合成部（２４）を備え、
前記異常判定部は、前記レンズ異常が生じていると判定すると前記画像合成部による画像合成を禁止する、ように構成されている請求項１に記載の車載カメラのレンズ異常検出装置。
【請求項３】
前記異常判定部にて前記レンズ異常が生じていると判定されると、その旨を報知する異常報知部（３２、Ｓ１９０）を備えている、請求項１又は請求項２に記載の車載カメラのレンズ異常検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車載カメラのレンズの異常を検出するレンズ異常検出装置に関する。
【背景技術】
【０００２】
従来、車載カメラを使って車両周囲を撮像することで、車両の走行状態を監視して異常を報知したり、車両周囲を上方から見た鳥瞰画像を生成したりするシステムが知られている。
【０００３】
この種のシステムでは、車載カメラのレンズに傷や汚れ等の異常が生じると、車両周囲を良好に撮像することができなくなるので、撮像画像を処理することでレンズの異常を検出することが提案されている。
【０００４】
例えば、特許文献１には、２つの車載カメラで車両の走行方向前方及び後方の道路を撮像し、その撮像画像から車道中央線や車線境界線等の道路区画線を抽出して、道路区画線の信頼度を算出することが提案されている。そして、この提案の装置では、カメラ毎に算出した道路区画線の信頼度の履歴を比較し、相対的に信頼度が低下している車載カメラがあれば、その車載カメラのレンズに異常があると判断する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１４−１１５８１４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上記提案の装置によれば、２つのカメラによる撮像画像の中から重複する画像領域を抽出して比較することで異常判定を行う装置に比べて、レンズの異常を精度よく検出することができる。これは、２つの撮像画像の中から重複する画像領域を抽出して異常判定すると、重複する画像領域に対応しないレンズ部分の異常（例えばレンズの汚れ）を検出できないからである。
【０００７】
しかしながら、上記提案の装置においては、各車載カメラによる撮像画像の中から道路区画線を抽出し、その抽出した道路区画線の直線性と道路区画線の幅方向両側のエッジの平行性とを算出することで、道路区画線の信頼度を求める。このため、上記提案の装置では、車両が道路区画線のない道路を走行しているときには、車載カメラのレンズ異常を検出することができない。
【０００８】
また、撮像画像の中から道路区画線を抽出して、その直線性と平行性を算出するには、２つの画像を比較する場合に比べて、複雑な画像処理を行う必要があるため、道路区画線の信頼性の算出、延いてはレンズ異常の判定、に時間がかかるという問題もある。
【０００９】
本発明は、こうした問題に鑑みなされたものであり、車両が道路区画線のない道路を走行しているときにでも、複数の車載カメラから得られる撮像画像を使って、車載カメラのレンズ異常を精度よく検出できるようにすることを目的とする。
【課題を解決するための手段】
【００１０】
本発明の車載カメラのレンズ異常検出装置は、複数の車載カメラ（４ｆ、４ｒ）と、視点変換部（２２、Ｓ１１０）と、記憶部（１６、Ｓ１３０）と、異常判定部（２６、Ｓ１６０−Ｓ１８０）とを備える。
【００１１】
複数の車載カメラは、車両周囲を撮像するためのものであり、視点変換部は、その複数の車載カメラによる撮像画像をそれぞれ視点変換することで鳥瞰画像を生成する。
そして、記憶部は、視点変換部にて生成された鳥瞰画像のうち、車両の走行方向前方に位置する前方鳥瞰画像を、履歴画像として、車両の走行に応じて順次記憶する。
【００１２】
また、異常判定部は、視点変換部にて生成された鳥瞰画像のうち、車両の走行方向後方に位置する後方鳥瞰画像と、記憶部に記憶された履歴画像とを比較する。
この比較に用いる履歴画像は、後方鳥瞰画像に対応した位置の履歴画像であり、異常判定部は、各画像の差分が異常判定値以上であるとき、複数の車載カメラの一つにレンズ異常が生じていると判定する。
【００１３】
なお、レンズ異常とは、車載カメラによって鮮明な画像を撮像できなくなるレンズの異常のことであり、例えば、レンズの傷や破損、汚れ、等が含まれる。
このように、本発明のレンズ異常検出装置によれば、複数の車載カメラで撮像された撮像画像から得られる鳥瞰画像同士を比較することで、車載カメラのレンズの異常を判定する。従って、本発明によれば、レンズ異常の判定対象となるカメラ同士を、撮像領域が重複するように配置しなくても、レンズ異常を判定することができる。
【００１４】
また、レンズ異常の判定は、車両の走行方向後方に位置する後方鳥瞰画像と、その後方鳥瞰画像に対応する履歴画像とを比較して、その差分を求めるようにすればよく、各画像から道路区画線を抽出してその直線性や平行性を算出する必要がない。このため、車両の走行路に道路区画線等の特定の物標がなくても異常判定を行うことができる。
【００１５】
また、レンズ異常の判定は、各車載カメラから得られる鳥瞰画像を比較し、その差分を求めることで実施できるため、上述した従来技術に比べて、レンズの異常判定を簡単かつ短時間で実施できることになる。
【００１６】
なお、この欄及び特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本発明の技術的範囲を限定するものではない。
【図面の簡単な説明】
【００１７】
【図１】実施形態の撮像システム全体の構成を表すブロック図である。
【図２】車両への車載カメラの取付位置及び撮像方向を表す説明図である。
【図３】車載カメラによる撮像範囲及び視点変換後の鳥瞰画像領域を表す説明図である。
【図４】図１の画像処理部にて実行されるレンズ異常判定処理を表すフローチャートである。
【図５】レンズ異常判定処理により得られる鳥瞰画像とこれを用いた異常判定動作を説明する説明図である。
【発明を実施するための形態】
【００１８】
以下に本発明の実施形態を図面と共に説明する。
図１に示すように、本実施形態の撮像システム２は、車載カメラとしてのフロントカメラ４ｆ及びリヤカメラ４ｒと、制御ユニット１０と、表示部３０とを備える。
【００１９】
図２に示すように、フロントカメラ４ｆ及びリヤカメラ４ｒは、それぞれ、車両４０の前方及び後方の道路を撮像するためのものであり、車両４０の前部及び後部に取り付けられている。また、フロントカメラ４ｆ及びリヤカメラ４ｒにおいて、撮像方向先端側には、それぞれ、レンズ５ｆ、５ｒが設けられている。
【００２０】
制御ユニット１０は、これら各カメラ４ｆ、４ｒによる撮像画像から、車両周囲の道路を鉛直方向から俯瞰した鳥瞰画像を生成する。そして、その生成した鳥瞰画像を、液晶ディスプレイ等にて構成されて車室内に配置される表示部３０に表示させる。また、制御ユニット１０は、本発明のレンズ異常検出装置としても機能する。
【００２１】
このため、制御ユニット１０には、撮像信号入力部１２、検出信号入力部１４、メモリ１６、表示制御部１８、画像処理部２０、及び、異常報知部３２が備えられている。
撮像信号入力部１２は、フロントカメラ４ｆ及びリヤカメラ４ｒからの撮像信号を取り込み、撮像画像データとして画像処理部２０に入力するためのものである。
【００２２】
検出信号入力部１４は、車両４０の各車輪の回転速度を検出する車輪速センサ６や、ステアリングの操舵角を検出する操舵角センサ８からの検出信号をそれぞれ取り込み、車輪速データ、操舵角データに変換して、画像処理部２０に入力するためのものである。
【００２３】
画像処理部２０は、ＣＰＵ、ＲＯＭ、ＲＡＭ、等を中心とするマイクロコンピュータにて構成されており、ＣＰＵがＲＯＭ内のプログラムを実行することにより、視点変換部２２、画像合成部２４、異常判定部２６、及び、影判定部２８、として機能する。
【００２４】
視点変換部２２は、図３に示すように、撮像信号入力部１２から入力される車両前方及び後方の撮像画像データを視点変換することにより、車両４０の前方及び後方の各道路領域を上方から見た鳥瞰画像５０ｆ及び鳥瞰画像５０ｒを生成するためのものである。
【００２５】
そして、視点変換部２２は、車両４０の走行状態を表す車輪速データ及び操舵角データから得られる車両４０の位置及び方向に関連づけて、鳥瞰画像５０ｆ若しくは鳥瞰画像５０ｒをメモリ１６に記憶する。
【００２６】
つまり、視点変換部２２は、車両４０の走行時に、走行方向前方に位置する鳥瞰画像５０ｆ若しくは５０ｒをメモリ１６に記憶することで、カメラ４ｆ、４ｒではリアルタイムで撮像できない車両４０直下の鳥瞰画像を履歴画像５２として記憶するのである。
【００２７】
なお、メモリ１６は、履歴画像を記憶する記憶部であり、ＥＥＰＲＯＭ、フラッシュメモリ等の読み書き可能な不揮発性メモリにて構成されている。
画像合成部２４は、視点変換部２２で生成された最新の鳥瞰画像５０ｆ、５０ｒと、メモリ１６に記憶された履歴画像５２と、を合成することで、車両４０及びその周囲全体を上方から見た鳥瞰画像を生成する。
【００２８】
そして、その生成された鳥瞰画像は、画像処理部２０から表示制御部１８に出力され、表示制御部１８を介して表示部３０に表示される。
異常判定部２６は、視点変換部２２にて生成された鳥瞰画像５０ｆ、５０ｒのうち、車両４０の走行方向後方に位置する後方鳥瞰画像と、この後方鳥瞰画像に対応した位置の履歴画像とを比較し、その差分（換言すれば一致度）を算出する。
【００２９】
そして、その算出した差分が異常判定値以上であるとき（換言すれば一致度が閾値未満であるとき）、フロントカメラ４ｆ及びリヤカメラ４ｒのレンズ５ｆ、５ｒの少なくとも一方に異常が生じていると判定し、異常報知部３２を介してその旨を報知する。
【００３０】
なお、異常報知部３２は、車両４０の乗員にレンズ５ｆ、５ｒの異常を報知できればよく、例えば、ＬＥＤ等の表示ランプを点滅若しくは点灯させる回路にて構成してもよく、表示部３０若しくは他の表示器にエラーメッセージを表示する回路にて構成してもよい。また、レンズ５ｆ、５ｒの異常を音声にて報知できるように、音声合成回路を用いて構成してもよい。
【００３１】
影判定部２８は、異常判定部２６がレンズ５ｆ、５ｒの異常判定に用いる後方鳥瞰画像及び履歴画像の少なくとも一方に、車両４０の影が写っているか否かを判定するためのものである。そして、影判定部２８は、後方鳥瞰画像及び履歴画像の一方に車両４０の影があると判定すると、異常判定部２６によるレンズ５ｆ、５ｒの異常判定を禁止させる。
【００３２】
これは、レンズ５ｆ、５ｒの異常判定に用いる後方鳥瞰画像と履歴画像との一方に車両４０の影が写っている場合、これら両画像を比較すると、影の影響により画像の差分が大きくなり、レンズ５ｆ、５ｒの異常を誤判定してしまうことが考えられるためである。
【００３３】
次に、画像処理部２０において、視点変換部２２、異常判定部２６、及び、影判定部２８としての機能を実現するために実行されるレンズ異常判定処理を、図４のフローチャートに沿って説明する。
【００３４】
なお、図４に示すレンズ異常判定処理は、画像処理部２０を構成するマイクロコンピュータ（詳しくはＣＰＵ）において、メインルーチンの一つとして繰り返し実行されるプログラムを表している。
【００３５】
本実施形態では、このプログラムは、画像処理部２０内のＲＯＭに記憶されるが、例えば、メモリ１６等、画像処理部２０を構成するマイクロコンピュータとは別体で構成された他の非遷移的実体的記録媒体に記憶されていてもよい。
【００３６】
図４に示すように、レンズ異常判定処理においては、まずＳ１１０（Ｓはステップを表す）にて、撮像信号入力部１２からフロントカメラ４ｆ及びリヤカメラ４ｒによる撮像画像を取り込み、車両前方及び後方の鳥瞰画像５０ｆ、５０ｒを生成する。
【００３７】
Ｓ１１０の処理は、視点変換部２２としての機能を実現するための処理である。Ｓ１１０では、撮像画像を視点変換することで鳥瞰画像を生成するが、この生成方法は公知であり、例えば、特開平１０−２１１８４９号公報に記載された手法を利用することができることから、ここでは詳細な説明は省略する。
【００３８】
次にＳ１２０では、検出信号入力部１４から車輪速データを取り込むことで、現在、車両４０が走行中であるか否かを判断する。そして、車両４０が走行中でなければ、当該レンズ異常判定処理を一旦終了し、車両４０が走行中であれば、Ｓ１３０に移行する。
【００３９】
Ｓ１３０では、車輪速データから車両４０の走行方向（つまり、前進又は後退）を判定して、Ｓ１１０にて生成された鳥瞰画像５０ｆ、５０ｒの中から、走行方向前方に位置する前方鳥瞰画像を選択する。そして、その選択した前方鳥瞰画像を、車両走行中の履歴画像として、メモリ１６に記憶する。
【００４０】
なお、Ｓ１１０にて生成された最新の鳥瞰画像５０ｆ、５０ｒや、Ｓ１３０にてメモリ１６に記憶された履歴画像は、画像合成部２４としての表示制御処理によって、自車両周囲の鳥瞰画像を表示部３０に表示させるのに利用される。
【００４１】
次に、Ｓ１４０では、Ｓ１１０にて生成された鳥瞰画像５０ｆ、５０ｒの中から走行方向後方に位置する鳥瞰画像を選択し、その選択した後方鳥瞰画像に自車両４０の影があるか否かを判断する。
【００４２】
Ｓ１４０にて、後方鳥瞰画像に自車両４０の影があると判断された場合には、後述の処理でレンズ５ｆ、５ｒの異常を誤判定してしまうことが考えられるので、当該レンズ異常判定処理を一旦終了する。
【００４３】
一方、Ｓ１４０にて、後方鳥瞰画像に自車両４０の影がないと判断された場合には、Ｓ１５０に移行して、Ｓ１４０で選択した後方鳥瞰画像に対応した履歴画像をメモリ１６から読み出す。
【００４４】
つまり、メモリ１６には、車両４０の走行中に、その走行方向前方の鳥瞰画像が履歴画像として順次記憶される。そこで、Ｓ１５０では、車輪速データから得られる車速に基づき、メモリ１６に記憶された履歴画像の中から、後方鳥瞰画像と同じ位置の前方鳥瞰画像を抽出するのである。
【００４５】
そして、続くＳ１６０では、Ｓ１５０にてメモリ１６から読み出された履歴画像に自車両４０の影があるか否かを判断する。
Ｓ１６０にて履歴画像に自車両４０の影があると判断された場合にも、後述の処理でレンズ５ｆ、５ｒの異常を誤判定してしまうことが考えられるので、当該レンズ異常判定処理を一旦終了する。また、Ｓ１６０にて履歴画像に自車両４０の影はないと判断された場合には、Ｓ１７０に移行する。
【００４６】
ここで、Ｓ１４０及びＳ１６０の処理は、影判定部２８としての機能を実現するための処理である。そして、この処理において、鳥瞰画像に影が存在するか否かを判定する判定方法は公知であり、例えば、特開２０１０−２３７９７６号公報に記載された影検出技術を利用することができる。
【００４７】
つまり、例えば、鳥瞰画像の一部領域に対して、色相と輝度に基づいて領域分割を行い、分割された複数の領域のうち、色相の差が所定の閾値以下でありかつ輝度の差が所定値以上となっている２つの領域を抽出する。
【００４８】
そして、その抽出した２つのうち輝度の高い方を非陰影領域、輝度の低い方を陰影領域とし、色情報の空間における当該陰影領域から非陰影領域へのベクトルを光源の色情報として特定する。
【００４９】
次に、鳥瞰画像の全領域について、色相と輝度に基づいて領域分割を行い、隣接する領域間の色相の差が光源の色相と所定の範囲内で一致する場合に、それら隣接する領域のうち、輝度の低い方を、影であると特定する。
【００５０】
そして、Ｓ１４０、Ｓ１６０では、このように特定された影領域が自車両４０の車体形状に対応しているか否かを判断することで、後方鳥瞰画像若しくは履歴画像に自車両４０の影が含まれているか否かを判定できる。
【００５１】
なお、特開２０１０−２３７９７６号公報には、上記手順とは異なる手順で影検出を行う技術が紹介されているが、Ｓ１４０、Ｓ１６０では、その影検出技術を利用して自車両４０の影を判定するようにしてもよし、他の影検出技術を利用するようにしてもよい。
【００５２】
また、後方鳥瞰画像に自車両４０の影が含まれていても、その影領域が小さく、レンズ５ｆ、５ｒの異常判定に影響を与えることがない場合には、Ｓ１４０、Ｓ１６０にて、自車両４０の影は存在しないと判断するようにしてもよい。
【００５３】
次に、Ｓ１７０では、Ｓ１４０、Ｓ１６０にて自車両４０の影はないと判断された後方鳥瞰画像と履歴画像との差分を計算する。この差分計算は、例えば、エッジ検出等によって各画像の中から特徴点を抽出し、特徴点同士を比較することで、その差分（換言すれば一致度）を算出することにより行われる。
【００５４】
そして、続くＳ１８０では、Ｓ１７０にて算出された差分と予め設定された異常判定値とを比較し、差分が異常判定値未満であれば、フロントカメラ４ｆとリヤカメラ４ｒとによる撮像画像は共に正常であると判断して、当該レンズ異常判定処理を一旦終了する。
【００５５】
Ｓ１８０において、差分が異常判定値以上である場合には、フロントカメラ４ｆとリヤカメラ４ｒとによる撮像画像の一方が異常であり、各カメラのレンズ５ｆ、５ｒの一方に破損、汚れ等の異常があると判断して、Ｓ１９０に移行する。
【００５６】
なお、Ｓ１７０及びＳ１８０の処理は、異常判定部２６としての機能を実現するための処理である。
Ｓ１９０では、画像合成部２４としての表示制御処理の実行を禁止することで、自車両周囲の鳥瞰画像の生成、及び、その鳥瞰画像の表示制御部１８への出力を禁止し、表示部３０への鳥瞰画像の表示を中止させる。
【００５７】
そして、最後に、Ｓ２００にて、異常報知部３２を介して、レンズ５ｆ、５ｒの異常を乗員に報知し、当該レンズ異常判定処理を一旦終了する。なお、当該レンズ異常判定処理は、ＣＰＵにおいてメインルーチンの一つとして実行されることから、所定時間経過後にＳ１１０の処理が開始される。
【００５８】
以上説明したように、本実施形態の撮像システム２においては、図５に例示するように、車両４０が前方方向に走行しているときには、フロントカメラ４ｆによる撮像画像から生成された鳥瞰画像５０ｆが、履歴画像として順次メモリ１６に記憶される。
【００５９】
そして、メモリ１６に記憶された履歴画像は、フロントカメラ４ｆ及びリヤカメラ４ｒによる撮像画像から生成された最新の鳥瞰画像５０ｆ、５０ｒと共に、車両４０周囲の鳥瞰画像を生成するのに用いられる。
【００６０】
また、車両４０の走行に伴い、時刻Ｔ１で履歴画像としてメモリ１６に記憶された鳥瞰画像５０ｆ（ｔ１）と同じ領域の鳥瞰画像が、時刻Ｔ２でリヤカメラ４ｒによる撮像画像から生成されることになる。
【００６１】
そして、本実施形態では、時刻Ｔ２で生成された鳥瞰画像５０ｒ（ｔ２）と、この鳥瞰画像５０ｒ（ｔ２）に対応した履歴画像である鳥瞰画像５０ｆ（ｔ１）とを比較し、両画像の差分が異常判定値以上であるとき、レンズ５ｆ又は５ｒに異常があると判定する。
【００６２】
従って、図５に例示するように、鳥瞰画像５０ｒ（ｔ２）と履歴画像である鳥瞰画像５０ｆ（ｔ１）とに横断歩道を表す標識６０が含まれていれば、各画像から標識６０のエッジが検出されて、その位置や形状の差分からレンズ５ｆ、５ｒの異常が判定される。
【００６３】
また、各画像に標識６０が写っていなくても、路面の模様や凹凸、走行路とその周囲との境界部分の色の違い、等がエッジ検出により特徴点として抽出され、これらの差分からレンズ５ｆ、５ｒに異常があるか否かが判定される。
【００６４】
従って、本実施形態の撮像システム２によれば、異常判定の対象となるカメラ同士を、撮像領域が重複するように配置する必要がない。また、特許文献１に記載のように、フロントカメラ４ｆ及びリヤカメラ４ｒによる撮像画像の中から道路区画線を抽出して、その直線性や平行性を算出する必要がない。
【００６５】
このため、本実施形態によれば、車両４０に複数のカメラが搭載されていれば、車両４０が走行する路面に道路区画線等の特定の物標がなくても、そのカメラのレンズ５ｆ、５ｒの異常を判定できる。
【００６６】
また、この異常判定は、各カメラ４ｆ、４ｒの撮像画像から生成される同一位置の鳥瞰画像を比較して、その差分を求めるだけでよいので、道路区画線を抽出して直線性や平行性を算出する場合に比べて、簡単かつ短時間で実施できる。
【００６７】
また、本実施形態では、レンズ５ｆ、５ｒの異常判定に用いる後方鳥瞰画像と履歴画像との一方に自車両の影が含まれている場合には、異常判定を実施しないようにされている。
【００６８】
このため、本実施形態によれば、例えば、太陽光によって車両４０の前方側若しくは後方側に影ができている場合に、その影の影響を受けてレンズ５ｆ、５ｒの異常を誤判定してしまうのを防止できる。
【００６９】
また、本実施形態では、レンズ５ｆ、５ｒの異常を検出すると、画像合成部２４による表示部３０への鳥瞰画像の表示を禁止し、異常報知部３２を介して、レンズ５ｆ、５ｒの異常を報知する。このため、フロントカメラ４ｆ若しくはリヤカメラ４ｒのレンズに、破損、汚れ等の異常が生じ、車両４０周囲の鳥瞰画像を正常に生成できないときに、表示部３０に不鮮明な鳥瞰画像が表示されてしまうのを抑制できる。また、レンズ５ｆ、５ｒの異常を報知することで、使用者に対し、各カメラ４ｆ、４ｒの点検を促すことができる。
【００７０】
以上、本発明の一実施形態について説明したが、本発明は、上記実施形態に限定されるものではなく、本発明の要旨を逸脱市しない範囲内にて種々の態様をとることができる。
例えば、上記実施形態では、車両４０には、フロントカメラ４ｆとリヤカメラ４ｒとが搭載されているものとして説明したが、本発明は、車両４０に複数のカメラが搭載されていれば、上記実施形態と同様にレンズ異常を判定できる。
【００７１】
つまり、車両４０には、フロントカメラ４ｆとリヤカメラ４ｒとに加えて、車両の左・右をそれぞれ撮像するサイドカメラが搭載されることがある。
この場合、フロントカメラと一方のサイドカメラとを使って、車両の走行方向前方側の前方鳥瞰画像と走行方向後方側の後方鳥瞰画像とを生成し、前方鳥瞰画像を履歴画像として残す。そして、後方鳥瞰画像と履歴画像とで位置が一致する画像領域同士を比較することで、レンズ異常を判定する。
【００７２】
このようにしても、上記実施形態と同様に、各カメラのレンズ異常を判定することができる。また、同様に、リヤカメラと一方のサイドカメラとを使って、レンズ異常を判定することもできる。
【００７３】
またこの場合、フロントカメラ４ｆ、リヤカメラ４ｒ、及び、サイドカメラの一方若しくは両方を使って、それぞれ、鳥瞰画像を生成し、その生成した鳥瞰画像の中から位置が一致する画像領域を抽出して比較することで、レンズ異常を判定するようにしてもよい。
【００７４】
また次に、上記実施形態では、画像処理部２０はマイクロコンピュータにて構成されていて、ＣＰＵがプログラムを実行することで、視点変換部２２、画像合成部２４、異常判定部２６、影判定部２８としての機能が実現されるものとして説明した。
【００７５】
しかし、画像処理部２０は、これら各部の機能を実現できればよく、その機能の一部若しくは全てを、論理回路やアナログ回路等を組み合わせたハードウェアを用いて実現するように構成してもよい。
【００７６】
また、上記実施形態では、車両４０の位置や進行方向を把握できるようにするために、車輪速センサ６及び操舵角センサ８を用いるものとして説明したが、これらとは別に衛星測位システムを利用するようにしてもよい。
【００７７】
次に、上記実施形態における１つの構成要素が有する複数の機能を、複数の構成要素によって実現したり、１つの構成要素が有する１つの機能を、複数の構成要素によって実現したりしてもよい。また、複数の構成要素が有する複数の機能を、１つの構成要素によって実現したり、複数の構成要素によって実現される１つの機能を、１つの構成要素によって実現したりしてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換してもよい。なお、特許請求の範囲に記載した文言のみによって特定される技術思想に含まれるあらゆる態様が本発明の実施形態である。
【００７８】
また、本発明は、上述した撮像システム２の他、当該撮像システム２を構成要素とするシステム、あるいは、当該撮像システム２の画像処理部２０としてコンピュータを機能させるためのプログラム、として実現することができる。また、本発明は、このプログラムを記録した半導体メモリ等の非遷移的実態的記録媒体、画像処理部２０にて実現されるレンズ異常検出方法など、種々の形態で実現することもできる。
【符号の説明】
【００７９】
２…撮像システム、４ｆ…フロントカメラ、４ｒ…リヤカメラ、５ｆ，５ｒ…レンズ、６…車輪速センサ、８…操舵角センサ、１０…制御ユニット、１２…撮像信号入力部、１４…検出信号入力部、１６…メモリ、１８…表示制御部、２０…画像処理部、２２…視点変換部、２４…画像合成部、２６…異常判定部、２８…影判定部、３０…表示部、３２…異常報知部、４０…車両。
【図１】
0006565693.tif 000002
【図２】
0006565693.tif 000003
【図３】
0006565693.tif 000004
【図４】
0006565693.tif 000005
【図５】
0006565693.tif 000006