(57)【特許請求の範囲】
【請求項１】
車両に搭載され、広角レンズを用いて前記車両の周辺における所定の撮影領域を撮影可能とされた複数台のカメラと、
これら複数台のカメラのそれぞれの撮影映像における各カメラごとの所定の使用映像領域内の映像を使用することによって、前記車両およびその周辺を前記車両の上方から俯瞰したような画像である車両周辺画像を生成して表示部に表示する車両周辺画像表示処理手段と
を備えた車両周辺監視装置であって、
車両周辺監視装置本体は、
前記複数台のカメラのそれぞれの撮影映像に基づいて、各カメラの汚れまたは傷を原因とした映像不良部位を、各カメラごとの前記使用映像領域内において検出可能とされた映像不良部位検出手段と、
前記車両の走行速度を取得する車速取得手段と、
前記車両の舵角情報を取得する舵角情報取得手段と
を備え、
前記車両周辺画像表示処理手段は、
前記複数台のカメラの前記使用映像領域内の映像ごとに、前記使用映像領域内の映像から抽出された所定の使用画素を使用することによって、当該使用映像領域内の映像の歪みを補正するための歪み補正処理を行う歪み補正処理手段と、
前記複数台のカメラの前記使用映像領域内の映像ごとに、前記使用画素を使用することによって、前記使用映像領域内の映像を前記車両の上方の仮想視点から俯瞰したような画像へと変換するための視点変換処理を行う視点変換処理手段と、
前記複数台のカメラの使用映像領域ごとに、前記使用映像領域を、前記複数台のカメラにおける他のカメラとの撮影映像の重複部分を有しないような領域である非重複領域と、前記他のカメラとの撮影映像の重複部分を有するような領域である重複領域とに分割した状態として把握する分割手段と、
この分割手段の分割結果および前記映像不良部位検出手段の検出結果に基づいて、前記複数台のカメラの前記使用映像領域内の映像ごとに前記使用画素の補正を行う使用画素補正処理手段と
を備えており、
前記使用画素補正処理手段は、
前記映像不良部位検出手段によって前記非重複領域内に映像不良部位が検出されている場合であって前記車両が走行している場合には、前記車速取得手段の取得結果と、前記舵角情報取得手段の取得結果と、最新の前記車両周辺画像の生成に用いられようとしている最新の撮影映像に対する所定フレーム前の撮影映像とに基づいて、前記所定フレーム前の撮影映像における所定フレーム後において前記映像不良部位と同一位置に結像されるべき画素を割り出し、割り出された前記画素を、前記非重複領域内に検出されている前記映像不良部位に相当する画素に代わって前記使用画素とする補正を行うように形成され、
前記映像不良部位検出手段によって前記非重複領域内に映像不良部位が検出されている場合であって前記車両が静止している場合には、前記非重複領域内に検出されている前記映像不良部位の周辺に存在する画素に基づいて、前記非重複領域内に検出されている前記映像不良部位に相当する画素に代替すべき画素を割り出し、割り出された前記画素を、当該映像不良部位に相当する画素に代わって前記使用画素とする補正を行うように形成され、
前記映像不良部位検出手段によって前記重複領域内に映像不良部位が検出されている場合には、前記他のカメラの前記重複部分における撮影映像の中から、当該映像不良部位と同一箇所の撮影結果に相当する画素を割り出し、割り出された前記画素を、前記重複領域内に検出されている前記映像不良部位に相当する画素に代わって前記使用画素とする補正を行うように形成されていること
を特徴とする車両周辺監視装置。
【請求項２】
前記非重複領域内に映像不良部位が検出されている場合であって前記車両が静止している場合における前記代替すべき画素は、前記非重複領域内に検出されている前記映像不良部位の周辺に存在する所定の複数の画素の平均画素値を有するような画素とされていること
を特徴とする請求項１に記載の車両周辺監視装置。
【請求項３】
車両に搭載され、広角レンズを用いて前記車両の周辺における所定の撮影領域を撮影可能とされた複数台のカメラと、
これら複数台のカメラのそれぞれの撮影映像における各カメラごとの所定の使用映像領域内の映像を使用することによって、前記車両およびその周辺を前記車両の上方から俯瞰したような画像である車両周辺画像を生成して表示部に表示する車両周辺画像表示処理手段と
を備えた車両周辺監視装置であって、
車両周辺監視装置本体は、
前記複数台のカメラのそれぞれの撮影映像に基づいて、各カメラの汚れまたは傷を原因とした映像不良部位を、各カメラごとの前記使用映像領域内において検出可能とされた映像不良部位検出手段と、
前記車両の走行速度を取得する車速取得手段と、
前記車両の舵角情報を取得する舵角情報取得手段と
を備え、
前記車両周辺画像表示処理手段は、
前記複数台のカメラの前記使用映像領域内の映像ごとに、前記使用映像領域内の映像から抽出された所定の使用画素を使用することによって、当該使用映像領域内の映像の歪みを補正するための歪み補正処理を行う歪み補正処理手段と、
前記複数台のカメラの前記使用映像領域内の映像ごとに、前記使用画素を使用することによって、前記使用映像領域内の映像を前記車両の上方の仮想視点から俯瞰したような画像へと変換するための視点変換処理を行う視点変換処理手段と、
前記複数台のカメラの使用映像領域ごとに、前記使用映像領域を、前記複数台のカメラにおける他のカメラとの撮影映像の重複部分を有しないような領域である非重複領域であって、１画素分の前記使用画素が１画素分の前記車両周辺画像の生成に使用され、かつ、前記使用画素と前記使用画素以外の画素である非使用画素とが混在するような領域である第１の領域と、前記非重複領域であって、１画素分の前記使用画素が複数画素分の前記車両周辺画像の生成に使用され、かつ、全画素が車両周辺画像の生成に使用されるような領域である第２の領域と、前記他のカメラとの撮影映像の重複部分を有するような領域である重複領域からなる第３の領域とに分割した状態として把握する分割手段と、
この分割手段の分割結果および前記映像不良部位検出手段の検出結果に基づいて、前記複数台のカメラの前記使用映像領域内の映像ごとに前記使用画素の補正を行う使用画素補正処理手段と
を備えており、
前記使用画素補正処理手段は、
前記映像不良部位検出手段によって前記第１の領域内に映像不良部位が検出されている場合には、前記第１の領域内に検出されている前記映像不良部位の周辺に存在する前記非使用画素に基づいて、前記第１の領域内に検出されている前記映像不良部位に相当する画素に代替すべき画素を割り出し、割り出された前記画素を、当該映像不良部位に相当する画素に代わって前記使用画素とする補正を行うように形成され、
前記映像不良部位検出手段によって前記第２の領域内に映像不良部位が検出されている場合であって前記車両が走行している場合には、前記車速取得手段の取得結果と、前記舵角情報取得手段の取得結果と、最新の前記車両周辺画像の生成に用いられようとしている最新の撮影映像に対する所定フレーム前の撮影映像とに基づいて、前記所定フレーム前の撮影映像における所定フレーム後において前記映像不良部位と同一位置に結像されるべき画素を割り出し、割り出された前記画素を、前記第２の領域内に検出されている前記映像不良部位に相当する画素に代わって前記使用画素とする補正を行うように形成され、
前記映像不良部位検出手段によって前記第２の領域内に映像不良部位が検出されている場合であって前記車両が静止している場合には、前記第２の領域内に検出されている前記映像不良部位の周辺に存在する画素に基づいて、前記第２の領域内に検出されている前記映像不良部位に相当する画素に代替すべき画素を割り出し、割り出された前記画素を、当該映像不良部位に相当する画素に代わって前記使用画素とする補正を行うように形成され、
前記映像不良部位検出手段によって前記第３の領域内に映像不良部位が検出されている場合には、前記他のカメラの前記重複部分における撮影映像の中から、当該映像不良部位と同一箇所の撮影結果に相当する画素を割り出し、割り出された前記画素を、前記第３の領域内に検出されている前記映像不良部位に相当する画素に代わって前記使用画素とする補正を行うように形成されていること
を特徴とする車両周辺監視装置。
【請求項４】
前記第１の領域内に映像不良部位が検出されている場合における前記代替すべき画素は、前記第１の領域内に検出されている前記映像不良部位の周辺に存在する所定の複数の前記非使用画素の平均画素値を有するような画素とされていること
を特徴とする請求項３に記載の車両周辺監視装置。
【請求項５】
前記第２の領域内に映像不良部位が検出されている場合であって前記車両が静止している場合における前記代替すべき画素は、前記第２の領域内に検出されている前記映像不良部位の周辺に存在する所定の複数の画素の平均画素値を有するような画素とされていること
を特徴とする請求項３または請求項４に記載の車両周辺監視装置。
【請求項６】
前記映像不良部位検出手段は、前記車速取得手段の取得結果と、前記舵角情報取得手段の取得結果とを用いることによって、前記車両周辺画像上の各画素についてのフレームの変化にともなう予測される変位量を算出した上で、前記使用映像領域内の映像における前記フレームの変化にかかわらず前記算出された前記変位量を示していない前記車両周辺画像上の画素に対応する部位を、前記映像不良部位として検出するように形成されていること
を特徴とする請求項１乃至請求項５のいずれか１項に記載の車両周辺監視装置。
【請求項７】
前記映像不良部位検出手段は、前記使用映像領域内の映像におけるフレームの変化にかかわらず映像が変化しない部位を前記映像不良部位として検出するように形成されていること
を特徴とする請求項１乃至請求項５のいずれか１項に記載の車両周辺監視装置。
【請求項８】
前記広角レンズが、魚眼レンズとされていること
を特徴とする請求項１乃至請求項７のいずれか１項に記載の車両周辺監視装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両周辺監視装置に係り、特に、車両に搭載された複数台のカメラの撮影映像に基づいて生成された車両周辺画像を表示することによって、車両の周辺を監視するのに好適な車両周辺監視装置に関する。
【背景技術】
【０００２】
近年、車載カメラ技術および画像処理技術の進展により、駐車場等における車両の安全かつ円滑な運転操作を支援することを目的としたシステムとして、車両に搭載された複数台のカメラによる車両の周辺の撮影映像に基づいて、車両およびその周辺を車両の上方から俯瞰したような画像である車両周辺画像を生成し、生成された車両周辺画像を車内のディスプレイに表示することによって、車両の周辺を監視可能とされた車両周辺監視装置が採用されるようになった。
【０００３】
図８は、このような車両周辺監視装置によってディスプレイに表示される車両周辺画像１の一例として、駐車場において表示される車両周辺画像１を示したものである。
【０００４】
図８に示すように、車両周辺画像１は、車両の前方の所定の監視領域を車両の上方の所定の仮想視点から俯瞰したような画像である前方俯瞰画像１ａを有しており、この前方俯瞰画像１ａは、車両の前部（例えば、エンブレム部）に取り付けられたフロントカメラの撮影映像に基づいて生成されるようになっている。
【０００５】
また、車両周辺画像１は、車両の左側方の所定の監視領域を前記車両の上方の仮想視点から俯瞰したような画像である左側方俯瞰画像１ｂを有しており、この左側方俯瞰画像１ｂは、前方俯瞰画像１ａの左端部に連接されている。この左側方俯瞰画像１ｂは、車両の左側部（例えば、左ドアミラー部）に取り付けられた左サイドカメラの撮影映像に基づいて生成されるようになっている。
【０００６】
さらに、車両周辺画像１は、車両の右側方の所定の監視領域を前記車両の上方の仮想視点から俯瞰したような画像である右側方俯瞰画像１ｃを有しており、この右側方俯瞰画像１ｃは、前方俯瞰画像１ａの右端部に連接されている。この右側方俯瞰画像１ｃは、車両の右側部（例えば、右ドアミラー部）に取り付けられた右サイドカメラの撮影映像に基づいて生成されるようになっている。
【０００７】
さらにまた、車両周辺画像１は、車両の後方の所定の監視領域を前記車両の上方の仮想視点から俯瞰したような画像である後方俯瞰画像１ｄを有しており、この後方俯瞰画像１ｄは、左側方俯瞰画像１ｂの後端部および右側方俯瞰画像１ｃの後端部に連接されている。この後方俯瞰画像１ｄは、車両の後部（例えば、ナンバープレートの取付部）に取り付けられたバックカメラの撮影映像に基づいて生成されるようになっている。
【０００８】
また、車両周辺画像１は、車両を模したイラスト画像１ｅを有しており、このイラスト画像１ｅは、俯瞰画像１ａ，１ｂ，１ｃ，１ｄによって四方を囲まれるように表示されている。
【０００９】
このような車両周辺画像１を表示する車両周辺監視装置は、車両の周囲３６０°の方向を監視可能とする観点から、カメラとして、魚眼レンズ等の広角レンズを備えたカメラを用いることが多かった。
【００１０】
このような広角レンズを備えたカメラを用いて車両周辺画像１を生成する場合には、図９に示すように、ＣＣＤ等のカメラの撮像面３（図９においては、左サイドカメラの撮像面）に結像された撮影映像４のうち、車両周辺画像１の生成に使用される所定の使用映像領域５（図９における破線部参照）内の映像のみを切り出し、切り出された映像に基づいて、このカメラに対応する俯瞰画像１ａ，１ｂ，１ｃ，１ｄ（図９の場合には左側方俯瞰画像１ｂ）を生成するようになっていた。
【００１１】
この俯瞰画像１ａ，１ｂ，１ｃ，１ｄの生成の際には、切り出された使用映像領域５内の映像から、俯瞰画像１ａ，１ｂ，１ｃ，１ｄの生成（換言すれば車両周辺画像１の生成）に使用される画素である使用画素を抽出し、抽出された使用画素に対して、使用映像領域５内の映像の歪みを補正するための歪み補正処理と、使用映像領域５内の映像を車両の上方の仮想視点から俯瞰したような画像へと変換するための視点変換処理とを順次行うようになっていた。また、視点変換処理の際には、各俯瞰画像１ａ，１ｂ，１ｃ，１ｄは、互いに合成されるとともに、イラスト画像１ｅとも合成されるようになっていた。
【００１２】
なお、使用画素として抽出される画素は、使用映像領域５内の映像を構成する実際の画素そのものの場合もあるし、あるいは、実際の画素を用いた公知の重み付け等によって抽出された画素（ただし、重み付けの場合にはカメラがアナログ出力の場合に限る）の場合もある。重み付けによる使用画素の抽出については、例えば、ディジタル画像処理（ＣＧ−ＡＲＴＳ協会／Ｐ１０６〜１１０）等の文献に記載されている。
【００１３】
また、歪み補正処理の際には、歪み補正処理前の使用画素と歪み補正処理後の使用画素との座標の対応関係が記述されたルックアップテーブル（換言すれば、マッピングテーブル）を用いる場合があった。
【００１４】
さらに、視点変換処理の際にも、使用画素（歪み補正処理後のものである場合もある）と俯瞰画像との座標の対応関係が記述されたルックアップテーブルを用いる場合があった。
【００１５】
【特許文献１】特許第３３００３３４号
【発明の開示】
【発明が解決しようとする課題】
【００１６】
ところで、この種の車両周辺画像１の生成に使用されるカメラは、現状におけるレンズの直径が２０ｍｍ程度の小さなものとされている。
【００１７】
これに対して、ディスプレイにおける車両周辺画像１の表示サイズが、例えば、６４０画素（pixel）の場合、車両周辺画像１における１画素に対応するレンズの大きさは平均０．０３ｍｍ程度の非常に小さなものとなる。
【００１８】
今後、さらなる高画素化およびカメラの小型化が進展するのにともなって、車両周辺画像１の１画素あたりのレンズの大きさ（換言すれば、視野角範囲）はさらに小さなものになると予想される。
【００１９】
このような現状における問題としては、例えば、走行時におけるレンズへの飛び石や、雨天時におけるレンズへの泥はね等により、レンズに汚れが付着したり傷が形成されることによって、車両周辺画像１の画質に悪影響を与える虞があるといった問題があった。
【００２０】
例えば、図１０は、左サイドカメラにおける使用映像領域５内に、映像不良部位７として、左サイドカメラのレンズの汚れまたは傷を示す映像からなる３つの映像不良部位７（７Ａ，７Ｂ，７Ｃ）が結像されている状態を示している。なお、３つの映像不良部位７Ａ，７Ｂ，７Ｃのうちの１つ７Ａは、使用映像領域５におけるほぼ中央位置に映されている。また、他の２つの映像不良部位７Ｂ，７Ｃのうちの１つ７Ｂは、使用映像領域５における中央から車両の後方側（図１０における左方）にずれた位置に映されている。さらに、残りの１つの映像不良部位７Ｃは、３つの映像不良部位７Ａ，７Ｂ，７Ｃの中で最も車両の後方側にずれた位置に映されている。ただし、図１０における各映像不良部位７Ａ，７Ｂ，７Ｃの映像サイズは、いずれも１画素とされている。
【００２１】
そして、これらの映像不良部位７Ａ，７Ｂ，７Ｃは、図１１に示すように、車両周辺画像１（左側方俯瞰画像１ｂ）上において３つの画像不良部位８（８Ａ，８Ｂ，８Ｃ）として視認されることになり、車両周辺画像１の画質を落とすことになる。
【００２２】
特に、使用映像領域５の中央から最も外れた位置（すなわち映像の歪みが最も大きい位置）に映された映像不良部位７Ｃは、歪み補正処理の際に、左側方俯瞰画像１ｂにおける複数の画素の生成に用いられることになるため、この映像不良部位７Ｃに対応する画像不良部位８Ｃは、特に目立つ大きさとなってしまう。
【００２３】
このような問題は、例えば、レンズに付着した汚れを拭き取ったり、傷が形成されたレンズを交換することによって解決することができる場合もあるが、レンズの汚れや傷が微小なものである場合には、ユーザが外観上これらの汚れや傷に気付くことが困難な場合がある。
【００２４】
そこで、本発明は、このような問題点に鑑みなされたものであり、外観上判別することが困難なカメラの汚れや傷に起因する車両周辺画像の画質の低下を回避することができ、画質に優れた車両周辺画像を表示することができる車両周辺監視装置を提供することを目的とするものである。
【課題を解決するための手段】
【００２５】
前述した目的を達成するため、本発明に係る車両周辺監視装置は、車両に搭載され、広角レンズを用いて前記車両の周辺における所定の撮影領域を撮影可能とされた複数台のカメラと、これら複数台のカメラのそれぞれの撮影映像における各カメラごとの所定の使用映像領域内の映像を使用することによって、前記車両およびその周辺を前記車両の上方から俯瞰したような画像である車両周辺画像を生成して表示部に表示する車両周辺画像表示処理手段とを備えた車両周辺監視装置であって、車両周辺監視装置本体は、前記複数台のカメラのそれぞれの撮影映像に基づいて、各カメラの汚れまたは傷を原因とした映像不良部位を、各カメラごとの前記使用映像領域内において検出可能とされた映像不良部位検出手段と、前記車両の走行速度を取得する車速取得手段と、前記車両の舵角情報を取得する舵角情報取得手段とを備え、前記車両周辺画像表示処理手段は、前記複数台のカメラの前記使用映像領域内の映像ごとに、前記使用映像領域内の映像から抽出された所定の使用画素を使用することによって、当該使用映像領域内の映像の歪みを補正するための歪み補正処理を行う歪み補正処理手段と、前記複数台のカメラの前記使用映像領域内の映像ごとに、前記使用画素を使用することによって、前記使用映像領域内の映像を前記車両の上方の仮想視点から俯瞰したような画像へと変換するための視点変換処理を行う視点変換処理手段と、前記複数台のカメラの使用映像領域ごとに、前記使用映像領域を、前記複数台のカメラにおける他のカメラとの撮影映像の重複部分を有しないような領域である非重複領域と、前記他のカメラとの撮影映像の重複部分を有するような領域である重複領域とに分割した状態として把握する分割手段と、この分割手段の分割結果および前記映像不良部位検出手段の検出結果に基づいて、前記複数台のカメラの前記使用映像領域内の映像ごとに前記使用画素の補正を行う使用画素補正処理手段とを備えており、前記使用画素補正処理手段は、前記映像不良部位検出手段によって前記非重複領域内に映像不良部位が検出されている場合であって前記車両が走行している場合には、前記車速取得手段の取得結果と、前記舵角情報取得手段の取得結果と、最新の前記車両周辺画像の生成に用いられようとしている最新の撮影映像に対する所定フレーム前の撮影映像とに基づいて、前記所定フレーム前の撮影映像における所定フレーム後において前記映像不良部位と同一位置に結像されるべき画素を割り出し、割り出された前記画素を、前記非重複領域内に検出されている前記映像不良部位に相当する画素に代わって前記使用画素とする補正を行うように形成され、前記映像不良部位検出手段によって前記非重複領域内に映像不良部位が検出されている場合であって前記車両が静止している場合には、前記非重複領域内に検出されている前記映像不良部位の周辺に存在する画素に基づいて、前記非重複領域内に検出されている前記映像不良部位に相当する画素に代替すべき画素を割り出し、割り出された前記画素を、当該映像不良部位に相当する画素に代わって前記使用画素とする補正を行うように形成され、前記映像不良部位検出手段によって前記重複領域内に映像不良部位が検出されている場合には、前記他のカメラの前記重複部分における撮影映像の中から、当該映像不良部位と同一箇所の撮影結果に相当する画素を割り出し、割り出された前記画素を、前記重複領域内に検出されている前記映像不良部位に相当する画素に代わって前記使用画素とする補正を行うように形成されていることを特徴としている。
【００２６】
そして、このような構成によれば、非重複領域内に映像不良部位が検出され且つ車両が走行している場合には、車速と舵角情報と所定フレーム前の撮影映像とに基づいて、映像不良部位に相当する画素に代わる使用画素を割り出して車両周辺画像の生成に使用することができる。また、非重複領域内に映像不良部位が検出され且つ車両が静止している場合には、映像不良部位の周辺の画素に基づいて、映像不良部位に相当する画素に代わる使用画素を割り出して車両周辺画像の生成に使用することができる。さらに、重複領域内に映像不良部位が検出されている場合には、他のカメラの重複部分における撮影映像に基づいて、映像不良部位に相当する画素に代わる使用画素を割り出して車両周辺画像の生成に使用することができる。
【００２７】
この結果、外観上判別することが困難なカメラの汚れまたは傷に起因する車両周辺画像の画質の低下を回避することができ、画質に優れた車両周辺画像を表示することができる。また、使用映像領域を非重複領域と重複領域とに分割して、各領域ごとに使用画素を適正化するために好適な使用画素の補正を行うことができる。
【００２８】
また、前記非重複領域内に映像不良部位が検出されている場合であって前記車両が静止している場合における前記代替すべき画素は、前記非重複領域内に検出されている前記映像不良部位の周辺に存在する所定の複数の画素の平均画素値を有するような画素とされていることが好ましい。
【００２９】
そして、このような構成によれば、簡便な方法によって使用画素を補正することができ、ひいては、画質に優れた車両周辺画像を迅速に表示することができる。
【００３０】
さらに、本発明に係る他の車両周辺監視装置は、車両に搭載され、広角レンズを用いて前記車両の周辺における所定の撮影領域を撮影可能とされた複数台のカメラと、これら複数台のカメラのそれぞれの撮影映像における各カメラごとの所定の使用映像領域内の映像を使用することによって、前記車両およびその周辺を前記車両の上方から俯瞰したような画像である車両周辺画像を生成して表示部に表示する車両周辺画像表示処理手段とを備えた車両周辺監視装置であって、車両周辺監視装置本体は、前記複数台のカメラのそれぞれの撮影映像に基づいて、各カメラの汚れまたは傷を原因とした映像不良部位を、各カメラごとの前記使用映像領域内において検出可能とされた映像不良部位検出手段と、前記車両の走行速度を取得する車速取得手段と、前記車両の舵角情報を取得する舵角情報取得手段とを備え、前記車両周辺画像表示処理手段は、前記複数台のカメラの前記使用映像領域内の映像ごとに、前記使用映像領域内の映像から抽出された所定の使用画素を使用することによって、当該使用映像領域内の映像の歪みを補正するための歪み補正処理を行う歪み補正処理手段と、前記複数台のカメラの前記使用映像領域内の映像ごとに、前記使用画素を使用することによって、前記使用映像領域内の映像を前記車両の上方の仮想視点から俯瞰したような画像へと変換するための視点変換処理を行う視点変換処理手段と、前記複数台のカメラの使用映像領域ごとに、前記使用映像領域を、前記複数台のカメラにおける他のカメラとの撮影映像の重複部分を有しないような領域である非重複領域であって、１画素分の前記使用画素が１画素分の前記車両周辺画像の生成に使用され、かつ、前記使用画素と前記使用画素以外の画素である非使用画素とが混在するような領域である第１の領域と、前記非重複領域であって、１画素分の前記使用画素が複数画素分の前記車両周辺画像の生成に使用され、かつ、全画素が車両周辺画像の生成に使用されるような領域である第２の領域と、前記他のカメラとの撮影映像の重複部分を有するような領域である重複領域からなる第３の領域とに分割した状態として把握する分割手段と、この分割手段の分割結果および前記映像不良部位検出手段の検出結果に基づいて、前記複数台のカメラの前記使用映像領域内の映像ごとに前記使用画素の補正を行う使用画素補正処理手段とを備えており、前記使用画素補正処理手段は、前記映像不良部位検出手段によって前記第１の領域内に映像不良部位が検出されている場合には、前記第１の領域内に検出されている前記映像不良部位の周辺に存在する前記非使用画素に基づいて、前記第１の領域内に検出されている前記映像不良部位に相当する画素に代替すべき画素を割り出し、割り出された前記画素を、当該映像不良部位に相当する画素に代わって前記使用画素とする補正を行うように形成され、前記映像不良部位検出手段によって前記第２の領域内に映像不良部位が検出されている場合であって前記車両が走行している場合には、前記車速取得手段の取得結果と、前記舵角情報取得手段の取得結果と、最新の前記車両周辺画像の生成に用いられようとしている最新の撮影映像に対する所定フレーム前の撮影映像とに基づいて、前記所定フレーム前の撮影映像における所定フレーム後において前記映像不良部位と同一位置に結像されるべき画素を割り出し、割り出された前記画素を、前記第２の領域内に検出されている前記映像不良部位に相当する画素に代わって前記使用画素とする補正を行うように形成され、前記映像不良部位検出手段によって前記第２の領域内に映像不良部位が検出されている場合であって前記車両が静止している場合には、前記第２の領域内に検出されている前記映像不良部位の周辺に存在する画素に基づいて、前記第２の領域内に検出されている前記映像不良部位に相当する画素に代替すべき画素を割り出し、割り出された前記画素を、当該映像不良部位に相当する画素に代わって前記使用画素とする補正を行うように形成され、前記映像不良部位検出手段によって前記第３の領域内に映像不良部位が検出されている場合には、前記他のカメラの前記重複部分における撮影映像の中から、当該映像不良部位と同一箇所の撮影結果に相当する画素を割り出し、割り出された前記画素を、前記第３の領域内に検出されている前記映像不良部位に相当する画素に代わって前記使用画素とする補正を行うように形成されていることを特徴としている。
【００３１】
そして、このような構成によれば、第１の領域内に映像不良部位が検出されている場合には、映像不良部位の周辺の非使用画素に基づいて、映像不良部位に相当する画素に代わる使用画素を割り出して車両周辺画像の生成に使用することができる。また、第２の領域内に映像不良部位が検出され且つ車両が走行している場合には、車速と舵角情報と所定フレーム前の撮影映像とに基づいて、映像不良部位に相当する画素に代わる使用画素を割り出して車両周辺画像の生成に使用することができる。さらに、第２の領域内に映像不良部位が検出され且つ車両が静止している場合には、映像不良部位の周辺の画素に基づいて、映像不良部位に相当する画素に代わる使用画素を割り出して車両周辺画像の生成に使用することができる。さらにまた、第３の領域内に映像不良部位が検出されている場合には、他のカメラの重複部分における撮影映像に基づいて、映像不良部位に相当する画素に代わる使用画素を割り出して車両周辺画像の生成に使用することができる。
【００３２】
この結果、外観上判別することが困難なカメラの汚れまたは傷に起因する車両周辺画像の画質の低下を回避することができ、画質に優れた車両周辺画像を表示することができる。また、使用映像領域を非重複領域と重複領域とに分割して、各領域ごとに使用画素を適正化するために好適な使用画素の補正を行うことができる。
【００３３】
さらにまた、前記第１の領域内に映像不良部位が検出されている場合における前記代替すべき画素は、前記第１の領域内に検出されている前記映像不良部位の周辺に存在する所定の複数の前記非使用画素の平均画素値を有するような画素とされていることが好ましい。
【００３４】
そして、このような構成によれば、簡便な方法によって第１の領域内における使用画素を補正することができ、ひいては、画質に優れた車両周辺画像を迅速に表示することができる。
【００３５】
また、前記第２の領域内に映像不良部位が検出されている場合であって前記車両が静止している場合における前記代替すべき画素は、前記第２の領域内に検出されている前記映像不良部位の周辺に存在する所定の複数の画素の平均画素値を有する画素とされていることが好ましい。
【００３６】
そして、このような構成によれば、簡便な方法によって第２の領域内における使用画素を補正することができ、ひいては、画質に優れた車両周辺画像を迅速に表示することができる。
【００３７】
さらに、前記映像不良部位検出手段は、前記車速取得手段の取得結果と、前記舵角情報取得手段の取得結果とを用いることによって、前記車両周辺画像上の各画素についてのフレームの変化にともなう予測される変位量を算出した上で、前記使用映像領域内の映像における前記フレームの変化にかかわらず前記算出された前記変位量を示していない前記車両周辺画像上の画素に対応する部位を、前記映像不良部位として検出するように形成されていることが好ましい。
【００３８】
そして、このような構成によれば、簡便な方法によって映像不良部位を検出することができる。
【００３９】
さらにまた、前記映像不良部位検出手段は、前記使用映像領域内の映像におけるフレームの変化にかかわらず映像が変化しない部位を前記映像不良部位として検出するように形成されていることが好ましい。
【００４０】
そして、このような構成によれば、簡便な方法によって映像不良部位を検出することができる。
【００４１】
また、前記広角レンズが、魚眼レンズとされていてもよい。
【００４２】
そして、このような構成によれば、外観上判別することが困難な魚眼レンズの汚れまたは傷に起因する車両周辺画像の画質の低下を回避することができ、画質に優れた車両周辺画像を表示することができる。
【発明の効果】
【００４３】
本発明によれば、外観上判別することが困難なカメラの汚れまたは傷に起因する車両周辺画像の画質の低下を回避することができ、画質に優れた車両周辺画像を表示することができる。
【発明を実施するための最良の形態】
【００４４】
（第１実施形態）
以下、本発明に係る車両周辺監視装置の第１実施形態について、図１乃至図５を参照して説明する。
【００４５】
なお、従来と基本的構成が同一もしくはこれに類する箇所については、同一の符号を用いて説明する。
【００４６】
図１に示すように、本実施形態における車両周辺監視装置（車両周辺監視装置本体）１２は、車両に搭載された４台のカメラ１４，１５，１６，１７を有しており、これらのカメラ１４，１５，１６，１７は、いずれも、魚眼レンズ等の広角レンズを備えた（用いた）広角カメラとされているとともに、ＣＣＤやＣＭＯＳ等の固体撮像素子（撮像面）を備えたデジタルカメラとされている。
【００４７】
これらのカメラ１４，１５，１６，１７のうちの１台は、車両の前部に取付けられたフロントカメラ１４とされており、このフロントカメラ１４は、車両の周辺における車両の前方を中心とした所定の撮影領域を撮影するようになっている。他の３台のカメラ１５，１６，１７のうちの１台は、車両の左側部に取り付けられた左サイドカメラ１５とされており、この左サイドカメラ１５は、車両の周辺における車両の左側方を中心とした所定の撮影領域を撮影するようになっている。他の２台のカメラ１６，１７のうちの１台は、車両の右側部に取り付けられた右サイドカメラ１６とされており、この右サイドカメラ１６は、車両の周辺における車両の右側方を中心とした所定の撮影領域を撮影するようになっている。残りの１台のカメラ１７は、車両の後部に取り付けられたバックカメラ１７とされており、このバックカメラ１７は、車両の周辺における車両の後方を中心とした所定の撮影領域を撮影するようになっている。
【００４８】
各カメラ１４，１５，１６，１７には、カメラ映像取得部１８が接続されており、このカメラ映像取得部１８は、各カメラ１４，１５，１６，１７から撮影映像を取得可能とされている。
【００４９】
カメラ映像取得部１８には、映像切り出し部２０が接続されており、この映像切り出し部２０には、カメラ映像取得部１８から、各カメラ１４，１５，１６，１７の撮影映像が入力されるようになっている。そして、映像切り出し部２０は、入力された各カメラ１４，１５，１６，１７の撮影映像のそれぞれから、車両周辺画像１（図８参照）の生成に使用される使用映像領域５内の映像を切り出すようになっている。なお、フロントカメラ１４の撮影映像における使用映像領域５内の映像は、車両周辺画像１における前方俯瞰画像１ａの生成に使用されることになる。また、左サイドカメラ１５の撮影映像における使用映像領域５内の映像は、車両周辺画像１における左側方俯瞰画像１ｂの生成に使用されることになる。さらに、右サイドカメラ１６の撮影映像における使用映像領域５内の映像は、車両周辺画像１における右側方俯瞰画像１ｃの生成に使用されることになる。さらにまた、バックカメラ１７の撮影映像における使用映像領域５内の映像は、車両周辺画像１における後方俯瞰画像１ｄの生成に使用されることになる。
【００５０】
映像切り出し部２０の出力側には、車両周辺画像表示処理手段としての車両周辺画像表示処理部２１が接続されており、この車両周辺画像表示処理部２１の出力側には、表示部としてのディスプレイ２２が接続されている。
【００５１】
車両周辺画像表示処理部２１は、映像切り出し部２０によって切り出された各カメラ１４，１５，１６，１７ごとの使用映像領域５内の映像を使用することによって、車両およびその周辺を車両の上方から俯瞰したような画像である車両周辺画像１を生成し、生成された車両周辺画像１をディスプレイ２２に表示するようになっている。
【００５２】
車両周辺画像表示処理部２１は、歪み補正処理手段としての歪み補正処理部２４を有しており、この歪み補正処理部２４には、映像切り出し部２０によって切り出された各カメラ１４，１５，１６，１７ごとの使用映像領域５内の映像が入力されるようになっている。
【００５３】
そして、歪み補正処理部２４は、映像切り出し部２０から入力された各カメラ１４，１５，１６，１７ごとの使用映像領域５内の映像に対して、各カメラ１４，１５，１６，１７の使用映像領域５内の映像ごとに、当該使用映像領域５内の映像の歪みを補正するための歪み補正処理を行うようになっている。この歪み補正処理は、使用映像領域５内の映像から、歪み補正処理の対象となる所定の使用画素を抽出し、抽出された使用画素を使用することによって行われるようになっている。
【００５４】
ここで、使用映像領域５における映像の歪みが小さい中央部の領域においては、例えば、この中央部の領域内の映像の全画素のうちの予め座標指定等によって設定されている一部の画素が、使用画素として散点的に（間引かれた状態として）抽出されることになる。一方、使用映像領域５における映像の歪みが大きい周辺部の領域においては、例えば、この周辺部の領域内の映像の全画素が使用画素として抽出されることになる。
【００５５】
このような歪み補正処理は、カメラ１４，１５，１６，１７の内部パラメータを用いて行われるようになっている。また、歪み補正処理は、歪み補正処理前の使用画素と歪み補正処理後の使用画素との座標の対応関係が記述されたルックアップテーブル（換言すれば、マッピングテーブル）を用いて行うようにしてもよい。
【００５６】
また、車両周辺画像表示処理部２１は、視点変換処理手段としての視点変換処理部２６を有しており、この視点変換処理部２６の入力側には、歪み補正処理部２４が、出力側には、ディスプレイ２２が、それぞれ接続されている。
【００５７】
視点変換処理部２６には、歪み補正処理部２４による歪み補正処理後における各カメラ１４，１５，１６，１７の使用映像領域５内の映像が入力されるようになっている。そして、視点変換処理部２６は、入力された各カメラ１４，１５，１６，１７の使用映像領域５内の映像ごとに、使用映像領域５内の映像を車両の上方の仮想視点から俯瞰したような画像へと変換するための視点変換処理を行うようになっている。
【００５８】
この視点変換処理は、使用画素を使用した歪み補正処理後の映像に対して行われるものであるため、この視点変換処理も、使用画素を使用して行われることになる。
【００５９】
この視点変換処理によって、各カメラ１４，１５，１６，１７ごとの使用映像領域５内の映像は、それぞれが対応する俯瞰画像１ａ，１ｂ，１ｃ，１ｄへと変換されるようになっている。そして、この視点変換処理の際に、各俯瞰画像１ａ，１ｂ，１ｃ，１ｄは、互いに合成されるとともに、視点変換処理部２６によって独自に生成されたイラスト画像１ｅとも合成されることによって、車両周辺画像１が生成されるようになっている。
【００６０】
ここで、従来は、カメラ１４，１５，１６，１７のレンズに汚れが付着されていたり、レンズに傷が形成されている場合には、これらの汚れや傷は、各カメラ１４，１５，１６，１７の使用映像領域５内においては映像不良部位７（図１０参照）として結像され、車両周辺画像１上においては画像不良部位８（図１１参照）として表示されて車両周辺画像１の画質を落としてしまっていた。
【００６１】
これに対し、本実施形態においては、以下に示すように、映像不良部位７の結像にもかかわらず高画質の車両周辺画像１を表示するための手段が講じられている。
【００６２】
すなわち、図１に示すように、本実施形態における車両周辺監視装置１２は、車速取得手段としての車速取得部２９を有しており、この車速取得部２９には、車両周辺画像表示処理部２１が接続されている。車速取得部２９には、車両側から車速パルスが入力されるようになっており、これによって、車両の走行速度が取得されるようになっている。
【００６３】
また、本実施形態における車両周辺監視装置１２は、舵角情報取得手段としての舵角情報取得部３０を有しており、この舵角情報取得部３０には、車両周辺画像表示処理部２１と、車両のハンドルの操舵角を検出する舵角センサ３１とが、それぞれ接続されている。
【００６４】
舵角情報取得部３０には、舵角センサ３１の検出結果が舵角情報として入力されるようになっており、これによって、車両の舵角情報が取得されるようになっている。
【００６５】
さらに、本実施形態における車両周辺監視装置１２は、映像不良部位検出手段としての映像不良部位検出部２７を有しており、この映像不良部位検出部２７には、視点変換処理部２６、車速取得部２９および舵角情報取得部３０がそれぞれ接続されている。
【００６６】
映像不良部位検出部２７には、視点変換処理部２６によって生成された車両周辺画像１、車速取得部２９の取得結果、および舵角情報取得部３０の取得結果がそれぞれ入力されるようになっている。
【００６７】
そして、映像不良部位検出部２７は、入力された車両周辺画像１に基づいて、カメラ１４，１５，１６，１７のレンズの汚れまたは傷を原因とした映像不良部位を、各カメラ１４，１５，１６，１７ごとの使用映像領域５内において検出することが可能とされている。なお、車両周辺画像１は、各カメラ１４，１５，１６，１７のそれぞれの撮影映像を反映したものであるため、車両周辺画像１に基づく映像不良部位の検出は、各カメラ１４，１５，１６，１７のそれぞれの撮影映像に基づく映像不良部位の検出と同義である。
【００６８】
この映像不良部位の検出に際して、映像不良部位検出部２７は、まず、車速取得部２９の取得結果と、舵角情報取得部３０の取得結果とを用いることによって、車両周辺画像１上の各画素についての、フレームの変化にともなう予測される変位量を算出するようになっている。そして、フレームの変化にかかわらず算出された変位量を示していないような車両周辺画像１上の画素を特定し、この画素に対応するような使用映像領域５内の映像における部位を、映像不良部位として検出するようになっている。
【００６９】
このようにして映像不良部位を検出する場合には、映像不良部位が反映された車両周辺画像１を一旦生成、表示させた上で、車両を走行させることを要するが、映像不良部位が一旦検出された後においては、後述のように映像不良部位の影響が解消された良好な車両周辺画像１を表示させ続けることができる。
【００７０】
なお、映像不良部位検出部２７は、このような構成に限定されるものではなく、例えば、単純に、使用映像領域５内の映像におけるフレームの変化にかかわらず映像が変化しない部位を映像不良部位として検出するようにしてもよい。この場合には、映像不良部位検出部２７を、例えば映像切り出し部２０の直後に配置することによって、映像不良部位検出部２７が、各カメラ１４，１５，１６，１７の使用映像領域５内の映像を直接取得できるように構成してもよい。
【００７１】
また、本実施形態において、車両周辺画像表示処理部２１は、分割手段としての分割部３２を有しており、この分割部３２には、各カメラ１４，１５，１６，１７が接続されている。
【００７２】
図２に示すように、分割部３２は、各カメラ１４，１５，１６，１７の使用映像領域５ごとに、使用映像領域５を、他のカメラ１４，１５，１６，１７との撮影映像の重複部分を有しないような領域である非重複領域５Ａと、他のカメラ１４，１５，１６，１７との撮影映像の重複部分を有するような領域である重複領域５Ｂとに分割した状態として把握するようになっている。
【００７３】
なお、図２に示すように、非重複領域５Ａは、使用映像領域５における中央部側の所定範囲を占め、重複領域５Ｂは、非重複領域５Ａの周辺に位置されている。
【００７４】
さらに、図１に戻って、本実施形態において、車両周辺画像表示処理部２１は、
使用画素補正処理手段としての使用画素補正処理部３４を有しており、この使用画素補正処理部３４には、分割部３２および歪み補正処理部２４がそれぞれ接続されている。
【００７５】
この使用画素補正処理部３４は、分割部３２の分割結果と、映像不良部位検出部２７の検出結果とに基づいて、各カメラ１４，１５，１６，１７の使用映像領域５内の映像ごとに、使用画素の補正を行うようになっている。
【００７６】
すなわち、使用画素補正処理部３４は、映像不良部位検出部２７によって非重複領域５Ａ内に映像不良部位が検出されている場合であって車両が走行している場合には、車速取得部２９の取得結果と、舵角情報取得部３０の取得結果と、最新の車両周辺画像１の生成に用いられようとしている最新の使用映像領域５内の映像（撮影映像）に対する所定フレーム前（例えば、１フレーム前）の使用映像領域５内の映像（撮影映像）とに基づいて、使用画像の補正としての非重複領域内検出時第１補正処理を行うようになっている。
【００７７】
なお、使用画素補正処理部３４は、映像不良部位が検出されている領域が非重複領域５Ａであることについては、分割部３２による使用映像領域５の分割結果に基づいて把握することができる。また、車両が走行していることは、車速取得部２９の取得結果に基づいて判別することができる。さらに、最新の使用映像領域５内の映像については、映像切り出し部２０から取得するようにすればよい。さらにまた、前記所定フレーム前の使用映像領域５内の映像については、前記所定フレーム前における車両周辺画像１の生成の際に使用画素補正処理部３４が予め記憶しておくようにすればよい。
【００７８】
ここで、非重複領域内検出時第１補正処理は、前記所定フレーム前の使用映像領域５内（非重複領域５Ａ内）の映像における前記所定フレーム後（例えば、１フレーム後）において映像不良部位と同一位置に結像されるべき画素を割り出し、割り出された画素を、非重複領域５Ａ内に検出されている映像不良部位に相当する画素に代わって使用画素とすることによって使用画素を補正する処理とされている。
【００７９】
より具体的な例としては、図３に示すように、最新の使用映像領域５内の映像における非重複領域５Ａ内に、予め座標指定等によって設定された１画素分の使用画素（補正前における使用画素）として、１画素分の映像不良部位７が検出されている場合を考える。
【００８０】
この場合における非重複領域内検出時第１補正処理を行うには、使用画素補正処理部３４は、車速取得部２９の取得結果、舵角情報取得部３０の取得結果、および前記所定フレーム前の使用映像領域５内の映像を取得した上で、まず、図３における映像不良部位７と同一の撮像面座標位置に、映像不良部位７に重なる１画素を仮定する。
【００８１】
そして、使用画素補正処理部３４は、この仮定された第１画素が、前記所定フレーム前の撮影映像の撮影時において、どこの撮像面座標位置に結像されていたかを、車速取得部２９の取得結果と、舵角情報取得部３０の取得結果とに基づいて推定（逆算）する。
【００８２】
すなわち、車速取得部２９の取得結果と舵角情報取得部３０の取得結果とを用いれば、最新の撮影映像の撮影時における車両の速度ベクトルを算出することができる。ここで、前記所定フレーム前の撮影映像の撮影時においても、車両の速度ベクトルが現在と同じであったとみなすと、現在の速度ベクトルに前記所定フレーム分の撮影時間間隔を乗じることによって得られた距離が、前記所定フレーム前の撮影映像の撮影時から最新の撮影映像の撮影時までの前記仮定された１画素の移動量（ベクトル量）とみなすことができる。
【００８３】
したがって、図３に示すように、仮定された１画素から、移動量分だけ遡れば、仮定された１画素が、前記所定フレーム前の撮影映像の撮影時において、どこの撮像面座標位置に結像されていたものであるかを推定することができる。
【００８４】
そして、推定された撮像面座標位置に実際に結像されていた前記所定フレーム前の使用映像領域５内の映像における１画素を、前記所定フレーム後（すなわち最新の使用映像領域５内の映像）において映像不良部位と同一位置に結像されるべき画素として割り出す。
【００８５】
最後に、このようにして割り出された１画素を、前記１画素分の映像不良部位７に代わって使用画素（補正後の使用画素）に設定する。
【００８６】
これにより、歪み補正処理部２４は、使用画素補正処理部３４による非重複領域内検出時第１補正処理後の使用画素を、映像不良部位に相当する画素に代わって歪み補正処理に用いることになる。
【００８７】
このような非重複領域内検出時第１補正処理の他にも、使用画素補正処理部３４は、映像不良部位検出部２７によって非重複領域５Ａ内に映像不良部位が検出されている場合であって車両が静止している場合には、非重複領域５Ａ内に検出されている映像不良部位の周辺に存在する画素に基づいて、使用画素の補正として、非重複領域内検出時第２補正処理を行うようになっている。
【００８８】
ここで、非重複領域内検出時第２補正処理は、非重複領域５Ａ内に検出されている映像不良部位の周辺に存在する画素に基づいて、非重複領域５Ａ内に検出されている映像不良部位に相当する画素に代替すべき画素を割り出し、割り出された画素を、当該映像不良部位に相当する画素に代わって使用画素とすることによって使用画素の補正を行う処理とされている。
【００８９】
より具体的な例としては、図４に示すように、非重複領域５Ａ内に、予め座標指定等によって設定された１画素分の使用画素（補正前における使用画素）として、１画素分の映像不良部位７が検出されている場合を考える。
【００９０】
この場合における非重複領域内検出時第２補正処理を行うには、使用画素補正処理部３４は、例えば、図４に示すように、この１画素分の映像不良部位７を囲む周辺の８個の画素（周辺画素）の平均画素値を算出するとともに、算出された平均画素値を有するような１画素を、映像不良部位７に代替すべき画素として割り出す。
【００９１】
なお、これらの周辺画素の中には、使用画素として車両周辺画像１の生成に使用される画素もあるし、使用画素としては使用されない画素（非使用画素）もある。これについては、第２実施形態において詳述する。
【００９２】
そして、非重複領域内検出時第２補正処理においては、前記のようにして割り出された１画素を、前記１画素分の映像不良部位７に代わって使用画素に設定する。
【００９３】
これにより、歪み補正処理部２４は、使用画素補正処理部３４による非重複領域内検出時第２補正処理後の使用画素を、映像不良部位に相当する画素に代わって歪み補正処理に用いることになる。
【００９４】
なお、使用画素補正処理部３４は、非重複領域内検出時第２補正処理の際に、前記周辺画素の平均画素値を有する画素の代わりに、周辺画素のいずれか１つを使用画素に設定するようにしてもよい。この場合に、周辺画素のいずれを使用画素とするかについては、コンセプトに応じて種々選択することができ、例えば、重み付け等によって映像不良部位７に相当する画素に対して座標が最も近くなる周辺画素を使用画素としてもよい。
【００９５】
この他にも、さらに、使用画素補正処理部３４は、映像不良部位検出部２７によって、任意の一つのカメラ１４，１５，１６，１７における重複領域５Ｂ内に映像不良部位が検出されている場合には、この重複領域５Ｂとの撮影映像の重複部分を有するような他のカメラ１４，１５，１６，１７の当該重複部分における撮影映像に基づいて、使用画素の補正として、重複領域内検出時補正処理を行うようになっている。
【００９６】
なお、映像不良部位が検出されている領域が重複領域５Ｂであることについては、分割部３２による使用映像領域５の分割結果に基づいて把握することができる。
【００９７】
ここで、重複領域内検出時補正処理は、前記他のカメラ１４，１５，１６，１７の重複部分における撮影映像の中から、前記任意の一つのカメラ１４，１５，１６，１７の重複領域５Ｂ内に検出されている映像不良部位と同一箇所の撮影結果に相当する画素を割り出し、割り出された画素を、前記重複領域５Ｂ内に検出されている映像不良部位に相当する画素に代わって使用画素とすることによって使用画素を補正する処理とされている。
【００９８】
より具体的な例としては、図５に示すように、重複領域内検出時補正処理の対象となっている左サイドカメラ１５の使用映像領域５内の映像において、この左サイドカメラ１５の使用映像領域５における重複領域５Ｂに、予め座標指定等によって設定された１画素分の使用画素（補正前における使用画素）として、１画素分の映像不良部位７が検出されている場合を考える。
【００９９】
なお、この左サイドカメラ１５の使用映像領域５における重複領域５Ｂは、その車両前方側（図５における右側）の領域部分に、フロントカメラ１４との撮影映像の重複部分を有しており、その車両後方側（図５における左側）の領域部分に、バックカメラ１７との撮影映像の重複部分を有している。
【０１００】
また、図５における１画素分の映像不良部位７は、フロントカメラ１４との撮影映像の重複部分に相当する位置に結像されている。
【０１０１】
この場合における重複領域内検出時補正処理を行うには、使用画素補正処理部３４は、まず、図５における１画素分の映像不良部位７の左サイドカメラ１５における撮像面座標位置を把握した上で、この撮像面座標位置に対応するフロントカメラ１４の撮像面座標位置（以下、対応座標位置と称する）を求める。ここで、フロントカメラ１４の対応座標位置は、左サイドカメラ１５における前記１画素分の映像不良部位７が結像されている撮像面座標位置に本来（映像不良部位７がない場合に）結像されるべき物体が結像されている前記フロントカメラ１４の撮像面座標位置とされている。なお、これら両カメラ１４，１５の撮像面座標位置の対応関係は、両カメラ１４，１５の内部パラメータおよび外部パラメータに基づいて予め把握しておくことができる。
【０１０２】
そして、使用画素補正処理部３４は、求められたフロントカメラ１４の対応座標位置に結像されている１画素を、左サイドカメラ１５における映像不良部位７に対応する画素として割り出し、割り出された１画素を、当該映像不良部位７に代わって使用画素に設定する。
【０１０３】
これにより、歪み補正処理部２４は、使用画素補正処理部３４による重複領域内検出時補正処理後の使用画素を、映像不良部位に相当する画素に代わって歪み補正処理に用いることになる。
【０１０４】
なお、重複領域内検出時補正処理は、車両の走行の如何を問わずに行うことができる。
【０１０５】
以上の構成によれば、非重複領域５Ａ内に映像不良部位が検出され且つ車両が走行している場合には、車速と舵角情報と最新の撮影映像に対する所定フレーム前の撮影映像とに基づいて、映像不良部位に相当する画素に代わる使用画素を割り出して車両周辺画像１の生成に使用することができる。また、非重複領域５Ａ内に映像不良部位が検出され且つ車両が静止している場合には、映像不良部位の周辺の画素に基づいて、映像不良部位に相当する画素に代わる使用画素を割り出して車両周辺画像１の生成に使用することができる。さらに、重複領域５Ｂ内に映像不良部位が検出されている場合には、他のカメラの重複部分における撮影映像に基づいて、映像不良部位に相当する画素に代わる使用画素を割り出して車両周辺画像１の生成に使用することができる。
【０１０６】
このようにして生成された車両周辺画像１は、たとえ映像不良部位を含む使用映像領域５内の映像を使用して生成されたものであっても、使用画素の補正によって映像不良部位の影響が解消されるため、例えば、図８に示したように画像不良部位のない高画質な車両周辺画像１となる。
（第２実施形態）
以下、本発明に係る車両周辺監視装置の第２実施形態について、第１実施形態との相違点を中心として図６および図７を参照して説明する。
【０１０７】
なお、本実施形態における車両周辺監視装置は、外部構成は、図１に示した第１実施形態と同様であるので、本実施形態における車両周辺監視装置の説明に際しても、図１と同様の符号を用いて説明する。
【０１０８】
本実施形態における車両周辺監視装置１についての第１実施形態との主たる相違点は、分割部３２による使用映像領域５の分割方法と、使用画素補正処理部３４による使用画素の補正方法とにある。
【０１０９】
すなわち、図６に示すように、本実施形態において、分割部３２は、各カメラ１４，１５，１６，１７の使用映像領域５ごとに、使用映像領域５を、第１の領域５ａ、第２の領域５ｂおよび第３の領域５ｃの３つの領域５ａ，５ｂ，５ｃに分割した状態として把握するようになっている。
【０１１０】
ここで、第１の領域５ａは、他のカメラ１４，１５，１６，１７との撮影映像の重複部分を有しないような領域である非重複領域であって、当該領域５ａにおける１画素分の使用画素が、１画素分の車両周辺画像１の生成に使用され、かつ、使用画素と使用画素以外の画素である非使用画素とが混在するような領域とされている。なお、非使用画素は、車両周辺画像１の生成には使用されない画素と同義である。
【０１１１】
また、第２の領域５ｂは、非重複領域であって、１画素分の使用画素が、複数画素分の車両周辺画像１の生成に使用され、かつ、当該領域５ｂ内における全画素が、使用画素として車両周辺画像１の生成に使用されている領域とされている。
【０１１２】
さらに、第３の領域５ｃは、他のカメラ１４，１５，１６，１７との撮影映像の重複部分を有するような領域である重複領域からなる。なお、この第３の領域５ｃも、第２の領域５ｂと同様に、１画素分の使用画素が、複数画素分の車両周辺画像１の生成に使用され、かつ、当該領域５ｂ内における全画素が、使用画素として車両周辺画像１の生成に使用されている。さらに、第３の領域５ｃは、１画素分の使用画素を使用して生成される車両周辺画像１の画素数が、第２の領域５ｂよりも多い領域とされている。
【０１１３】
また、図６に示すように、第１の領域５ａは、使用映像領域５における中央部の所定範囲を占め、第2の領域５ｂは、第１の領域５ａの外側周辺部に、第３の領域５ｃは、第２の領域５ｂの外側周辺部に形成されている。
【０１１４】
そして、本実施形態において、使用画素補正処理部３４は、映像不良部位検出部２７によって第１の領域５ａ内に映像不良部位が検出されている場合には、第１の領域５ａ内に検出されている映像不良部位の周辺に存在する非使用画素に基づいて、使用画素の補正として、第１領域内検出時補正処理を行うようになっている。
【０１１５】
このとき、使用画素補正処理部３４は、映像不良部位が第１の領域５ａ内において検出されていることについては、分割部３２による分割結果に基づいて把握することができる。
【０１１６】
ここで、第１領域内検出時補正処理は、第１の領域５ａ内に検出されている映像不良部位の周辺に存在する画素に基づいて、第１の領域５ａ内に検出されている映像不良部位に相当する画素に代替すべき画素を割り出し、割り出された画素を、当該映像不良部位に相当する画素に代わって使用画素とすることによって使用画素の補正を行う処理とされている。
【０１１７】
より具体的な例としては、図７に示すように、第１の領域５ａ内に、予め座標指定等によって設定された１画素分の使用画素（補正前における使用画素）として、１画素分の映像不良部位７が検出されている場合を考える。
【０１１８】
この場合における第１領域内検出時補正処理を行うには、使用画素補正処理部３４は、例えば、図７に示すように、この１画素分の映像不良部位７を囲む周辺の４個の非使用画素の平均画素値を算出し、算出された平均画素値を有するような１画素を、映像不良部位７に代替すべき画素として割り出す。
【０１１９】
そして、使用画素補正処理部３４は、第１領域内検出時補正処理においては、前記のようにして割り出された１画素を、前記１画素分の映像不良部位７に代わって使用画素に設定する。
【０１２０】
これにより、歪み補正処理部２４は、使用画素補正処理部３４による第１領域内検出時補正処理後の使用画素を、映像不良部位に相当する画素に代わって歪み補正処理に用いることになる。
【０１２１】
なお、使用画素補正処理部３４は、映像不良部位７を囲む周辺画素のいずれかを使用画素に設定するようにしてもよい。
【０１２２】
また、使用画素補正処理部３４は、映像不良部位検出部２７によって第２の領域５ｂ内に映像不良部位が検出されている場合であって車両が走行している場合には、車速取得部２９の取得結果と、舵角情報取得部３０の取得結果と、最新の車両周辺画像１の生成に用いられようとしている最新の使用映像領域５内の映像（撮影映像）に対する前記所定フレーム前の使用映像領域５内の映像（撮影映像）とに基づいて、使用画像の補正としての第２領域内検出時第１補正処理を行うようになっている。
【０１２３】
このとき、使用画素補正処理部３４は、映像不良部位が第２の領域５ｂ内において検出されていることについては、分割部３２による分割結果に基づいて把握することができる。
【０１２４】
ここで、第２領域内検出時第１補正処理は、前記所定フレーム前の使用映像領域５（第２の領域５ｂ）内の映像における前記所定フレーム後において映像不良部位と同一位置に結像されるべき画素を割り出し、割り出された画素を、第２の領域５ｂ内に検出されている映像不良部位に相当する画素に代わって使用画素とすることによって使用画素を補正する処理とされている。
【０１２５】
なお、この第２領域内検出時第１補正処理は、前述した第１実施形態における非重複領域内検出時第１補正処理と基本原理が同様であるので、詳細は非重複領域内検出時第１補正処理の説明に委ねることにする。
【０１２６】
そして、第２領域内検出時第１補正処理が行われた場合には、歪み補正処理部２４は、使用画素補正処理部３４による第２領域内検出時第１補正処理後の使用画素を、映像不良部位に相当する画素に代わって歪み補正処理に用いることになる。
【０１２７】
さらに、使用画素補正処理部３４は、映像不良部位検出部２７によって第２の領域５ｂ内に映像不良部位が検出されている場合であって車両が静止している場合には、第２の領域５ｂ内に検出されている映像不良部位の周辺に存在する画素に基づいて、使用画素の補正として、第２領域内検出時第２補正処理を行うようになっている。
【０１２８】
ここで、第２領域内検出時第２補正処理は、第２の領域５ｂ内に検出されている映像不良部位の周辺に存在する画素（他の使用画素）に基づいて、第２の領域５ｂ内に検出されている映像不良部位に相当する画素に代替すべき画素を割り出し、割り出された画素を、当該映像不良部位に相当する画素に代わって使用画素とすることによって使用画素の補正を行う処理とされている。
【０１２９】
なお、この第２領域内検出時第２補正処理は、前述した第１実施形態における非重複領域内検出時第２補正処理と基本原理が同様であるので、詳細は非重複領域内検出時第１補正処理の説明に委ねることにする。
【０１３０】
そして、第２領域内検出時第２補正処理が行われた場合には、歪み補正処理部２４は、使用画素補正処理部３４による第２領域内検出時第２補正処理後の使用画素を、映像不良部位に相当する画素に代わって歪み補正処理に用いることになる。
【０１３１】
さらにまた、使用画素補正処理部３４は、映像不良部位検出部２７によって、任意の一つのカメラ１４，１５，１６，１７における第３の領域５ｃ内に映像不良部位が検出されている場合には、この第３の領域５ｃとの撮影映像の重複部分を有するような他のカメラ１４，１５，１６，１７の当該重複部分における撮影映像に基づいて、使用画素の補正として、第３領域内検出時補正処理を行うようになっている。
【０１３２】
このとき、使用画素補正処理部３４は、映像不良部位が第３の領域５ｃ内において検出されていることについては、分割部３２による分割結果に基づいて把握することができる。
【０１３３】
ここで、第３領域内検出時補正処理は、前記他のカメラ１４，１５，１６，１７の重複部分における撮影映像の中から、前記任意の一つのカメラ１４，１５，１６，１７の第３の領域５ｃ内に検出されている映像不良部位と同一箇所の撮影結果に相当する画素を割り出し、割り出された画素を、前記第３の領域５ｃ内に検出されている映像不良部位に相当する画素に代わって使用画素とすることによって使用画素を補正する処理とされている。
【０１３４】
なお、この第３領域内検出時第２補正処理は、前述した第１実施形態における重複領域内検出時補正処理と基本原理が同様であるので、詳細は重複領域内検出時補正処理の説明に委ねることにする。
【０１３５】
そして、第３領域内検出時補正処理が行われた場合には、歪み補正処理部２４は、使用画素補正処理部３４による第３領域内検出時補正処理後の使用画素を、映像不良部位に相当する画素に代わって歪み補正処理に用いることになる。
【０１３６】
以上の構成によれば、第１の領域５ａ内に映像不良部位が検出されている場合には、映像不良部位の周辺の非使用画素に基づいて、映像不良部位に相当する画素に代わる使用画素を割り出して車両周辺画像１の生成に使用することができる。また、第２の領域５ｂ内に映像不良部位が検出され且つ車両が走行している場合には、車速と舵角情報と前記所定フレーム前の撮影映像とに基づいて、映像不良部位に相当する画素に代わる使用画素を割り出して車両周辺画像１の生成に使用することができる。さらに、第２の領域５ｂ内に映像不良部位が検出され且つ車両が静止している場合には、映像不良部位の周辺の画素に基づいて、映像不良部位に相当する画素に代わる使用画素を割り出して車両周辺画像１の生成に使用することができる。さらにまた、第３の領域５ｃ内に映像不良部位が検出されている場合には、他のカメラ１４，１５，１６，１７の重複部分における撮影映像に基づいて、映像不良部位に相当する画素に代わる使用画素を割り出して車両周辺画像１の生成に使用することができる。
【０１３７】
このようにして生成された車両周辺画像１は、たとえ映像不良部位を含む使用映像領域５内の映像を使用して生成されたものであっても、使用画素の補正によって映像不良部位の影響が解消されるため、図８に示したように画像不良部位のない高画質な車両周辺画像１となる。
【０１３８】
なお、本発明は、前述した実施の形態に限定されるものではなく、必要に応じて種々の変更が可能である。
【図面の簡単な説明】
【０１３９】
【図１】本発明に係る車両周辺監視装置の第１実施形態を示すブロック図
【図２】本発明に係る車両周辺監視装置の第１実施形態において、使用映像領域の分割状態を示す図
【図３】本発明に係る車両周辺監視装置の第１実施形態において、非重複領域内検出時第１補正処理を説明するための説明図
【図４】本発明に係る車両周辺監視装置の第１実施形態において、非重複領域内検出時第２補正処理を説明するための説明図
【図５】本発明に係る車両周辺監視装置の第１実施形態において、重複領域内検出時補正処理を説明するための説明図
【図６】本発明に係る車両周辺監視装置の第２実施形態において、使用映像領域の分割状態を示す図
【図７】本発明に係る車両周辺監視装置の第２実施形態において、第１領域内検出時補正処理を説明するための説明図
【図８】車両周辺画像の一例を示す図
【図９】車両周辺画像の生成に使用されるカメラの撮影映像を示す図
【図１０】使用領域内への映像不良部位の結像状態を示す図
【図１１】図１０における映像不良部位の結像を反映した車両周辺画像上への画像不良部位の形成状態を示す図
【符号の説明】
【０１４０】
１  車両周辺画像
５  使用映像領域
５Ａ非重複領域
５Ｂ重複領域
５ａ第１の領域
５ｂ第２の領域
５ｃ第３の領域
７  映像不良部位
８  画像不良部位
１２  車両周辺監視装置
１４  フロントカメラ
１５  左サイドカメラ
１６  右サイドカメラ
１７  バックカメラ
２１車両周辺画像表示処理部
２２ディスプレイ
２４歪み補正処理部
２６視点変換処理部
２７映像不良部位検出部
２９車速取得部
３０舵角情報取得部
３２分割部
３４補正処理部
【図１】
0005166111.tif 000002
【図２】
0005166111.tif 000003
【図３】
0005166111.tif 000004
【図４】
0005166111.tif 000005
【図５】
0005166111.tif 000006
【図６】
0005166111.tif 000007
【図７】
0005166111.tif 000008
【図８】
0005166111.tif 000009
【図９】
0005166111.tif 000010
【図１０】
0005166111.tif 000011
【図１１】
0005166111.tif 000012