(57)【要約】【課題】２以上の撮像手段の撮像タイミングの非同期を補償して精度の高い情報を生成すること。【解決手段】本発明による車両用周辺監視装置は、車両の外部を第１撮像領域で所定周期毎に撮像する第１撮像手段と、前記第１撮像領域の少なくとも一部と重複する第２撮像領域で、車両の外部を所定周期毎に撮像する第２撮像手段と、前記第１及び第２撮像手段の双方の撮像画像から、前記第１撮像手段の撮像タイミングと第２撮像手段の撮像タイミングとの間のずれが補正された所定情報を生成する情報生成手段とを備えることを特徴とする。【選択図】図６
2008211373.tif 000002
【特許請求の範囲】
【請求項１】
車両の外部を第１撮像領域で所定周期毎に撮像する第１撮像手段と、
前記第１撮像領域の少なくとも一部と重複する第２撮像領域で、車両の外部を所定周期毎に撮像する第２撮像手段と、
前記第１及び第２撮像手段の双方の撮像画像から、前記第１撮像手段の撮像タイミングと第２撮像手段の撮像タイミングとの間のずれが補正された所定情報を生成する情報生成手段とを備えることを特徴とする、車両用周辺監視装置。
【請求項２】
前記情報生成手段は、前記第１撮像手段の撮像タイミングと第２撮像手段の撮像タイミングとの間のずれに応じて、前記第１及び第２撮像手段の一方の撮像画像を補正し、該補正した画像と、他方の撮像手段の撮像画像とを用いて、前記所定情報を生成する、請求項１に記載の車両用周辺監視装置。
【請求項３】
前記所定情報は、車両外部の物標の距離に関する情報である、請求項１に記載の車両用周辺監視装置。
【請求項４】
前記所定情報は、車両外部の環境を表す画像であり、前記第１及び第２撮像手段の双方から得られる画像を合成して生成される、請求項１に記載の車両用周辺監視装置。
【請求項５】
第１撮像手段を用いて、第１タイミングにて、車両の外部を撮像するステップと、
第２撮像手段を用いて、第１タイミングよりも遅い又は早い第２タイミングにて、車両の外部を撮像するステップと、
前記第１撮像手段の撮像画像を、前記第１タイミングと前記第２タイミングのずれに応じて補正する補正画像生成ステップと、
前記補正画像生成ステップにより得られる補正画像と、前記第２撮像手段の撮像画像とを用いて、所定情報を生成する情報生成ステップとを含むことを特徴とする、車両用周辺監視方法。
【請求項６】
前記情報生成ステップは、前記補正画像生成ステップにより得られる補正画像と、前記第２撮像手段の撮像画像とを用いて、車両外部の物標の距離に関する情報を生成することを含む、請求項５に記載の車両用周辺監視方法。
【請求項７】
前記情報生成ステップは、前記補正画像生成ステップにより得られる補正画像と、前記第２撮像手段の撮像画像とを合成して、ディスプレイで表示させる表示用合成画像を生成することを含む、請求項５に記載の車両用周辺監視方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、２以上の撮像手段を用いる車両用周辺監視装置及び車両用周辺監視方法に関する。
【背景技術】
【０００２】
従来から、車両の側方に配置されて第１画像を撮像する第１撮像手段と、前記第１撮像手段よりも前方に配置されて第２画像を撮像する第２撮像手段と、前記第１画像および前記第２画像を合成して表示する表示手段とを備える車両周辺監視装置が知られている（例えば、特許文献１参照）。
【特許文献１】特開２００６−２３７９６９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上記の特許文献１に記載の車両周辺監視装置において、第１撮像手段と第２撮像手段の撮像タイミングが同期していない場合には、時間軸上でずれた２つの画像を合成してしまうことになるので、合成画像の精度ないし信頼性が低下する虞がある。特に、車両においては、例えば２つの撮像手段における撮像タイミングの１／３０（ｓｅｃ）ずれが、車速１０８ｋｍ／ｈにおける車両の約１．０ｍの移動距離に相当するので、合成画像の信頼性に与える影響が大きい。尚、この問題点は、上記の特許文献１のような２つのカメラの撮像画像を合成表示する構成のみならず、２つのカメラの撮像画像から物標認識したり、物標の３次元情報ないし距離情報を取得したりするような構成に対しても、同様に当てはまる。即ち、かかる構成においては、２以上の撮像手段における撮像タイミングの非同期が許容レベルを超えた物標の認識誤差や測距誤差等を招く虞がある。
【０００４】
そこで、本発明は、２以上の撮像手段の撮像タイミングの非同期を補償して精度の高い情報を生成することができる車両用周辺監視装置及び車両用周辺監視方法の提供を目的とする。
【課題を解決するための手段】
【０００５】
上記目的を達成するため、第１の発明に係る車両用周辺監視装置は、車両の外部を第１撮像領域で所定周期毎に撮像する第１撮像手段と、
前記第１撮像領域の少なくとも一部と重複する第２撮像領域で、車両の外部を所定周期毎に撮像する第２撮像手段と、
前記第１及び第２撮像手段の双方の撮像画像から、前記第１撮像手段の撮像タイミングと第２撮像手段の撮像タイミングとの間のずれが補正された所定情報を生成する情報生成手段とを備えることを特徴とする。
【０００６】
第２の発明は、第１の発明に係る車両用周辺監視装置において、
前記情報生成手段は、前記第１撮像手段の撮像タイミングと第２撮像手段の撮像タイミングとの間のずれに応じて、前記第１及び第２撮像手段の一方の撮像画像を補正し、該補正した画像と、他方の撮像画像とを用いて、前記所定情報を生成することを特徴とする。
【０００７】
第３の発明は、第１の発明に係る車両用周辺監視装置において、
前記所定情報は、車両外部の物標の距離に関する情報であることを特徴とする。
【０００８】
第４の発明は、第１の発明に係る車両用周辺監視装置において、
前記所定情報は、車両外部の環境を表す画像であり、前記第１及び第２撮像手段の双方から得られる画像を合成して生成されることを特徴とする。
【０００９】
第５の発明は、車両用周辺監視方法に関し、
第１撮像手段を用いて、第１タイミングにて、車両の外部を撮像するステップと、
第２撮像手段を用いて、第１タイミングよりも遅い又は早い第２タイミングにて、車両の外部を撮像するステップと、
前記第１撮像手段の撮像画像を、前記第１タイミングと前記第２タイミングのずれに応じて補正する補正画像生成ステップと、
前記補正画像生成ステップにより得られる補正画像と、前記第２撮像手段の撮像画像とを用いて、所定情報を生成する情報生成ステップとを含むことを特徴とする。
【００１０】
第６の発明は、第５の発明に係る車両用周辺監視方法において、
前記情報生成ステップは、前記補正画像生成ステップにより得られる補正画像と、前記第２撮像手段の撮像画像とを用いて、車両外部の物標の距離に関する情報を生成することを含むことを特徴とする。
【００１１】
第７の発明は、第５の発明に係る車両用周辺監視方法において、
前記情報生成ステップは、前記補正画像生成ステップにより得られる補正画像と、前記第２撮像手段の撮像画像とを合成して、ディスプレイで表示させる表示用合成画像を生成することを含むことを特徴とする。
【発明の効果】
【００１２】
本発明によれば、２以上の撮像手段の撮像タイミングの非同期を補償して精度の高い情報を生成することができる車両用周辺監視装置及び車両用周辺監視方法が得られる。
【発明を実施するための最良の形態】
【００１３】
以下、図面を参照して、本発明を実施するための最良の形態の説明を行う。
【実施例１】
【００１４】
図１は、本発明による車両用周辺監視装置の実施例１を示すシステム構成図である。本実施例の車両用周辺監視装置は、画像処理装置３０を備える。画像処理装置３０は、車両に搭載されたカメラ１０から得られる撮像画像に基づいて、車両に搭載されるディスプレイ２０を介して、車両周辺の画像（映像）を表示する。ディスプレイ２０は、例えば液晶ディスプレイであってよく、乗員が視認しやすい位置（例えばインストルメントパネルやメータ付近）に設置される。
【００１５】
図２は、カメラ１０の設置態様及びその撮像領域の一例を示す平面図である。カメラ１０は、図２に示すように、車両の前部、両側部及び後部の計４箇所に設置される。各カメラ１０（１０ＦＲ，１０ＳＬ，１０ＳＲ，１０ＲＲ）は、ＣＣＤ（charge-coupled  device）やＣＭＯＳ（complementary  metal  oxide  semiconductor）等の撮像素子により路面を含む周囲画像を取得する。各カメラ１０は、魚眼レンズを備える広角カメラであってよい。各カメラ１０（１０ＦＲ，１０ＳＬ，１０ＳＲ，１０ＲＲ）は、所定のフレーム周期（例えば３０fps)のストリーム形式で画像処理装置３０に供給するものであってよい。
【００１６】
前方カメラ１０ＦＲは、図２に概略的に示すように、車両前方の路面を含む周囲画像を取得するように、車体の前部（例えばバンパ付近）に設置される。左側方カメラ１０ＳＬは、図２に概略的に示すように、車両左側方の路面を含む周囲画像を取得するように、左側のドアミラーに設置される。右側方カメラ１０ＳＲは、図２に概略的に示すように、車両右側方の路面を含む周囲画像を取得するように、右側のドアミラーに設置される。後方カメラ１０ＲＲは、図２に概略的に示すように、車両後方の路面を含む周囲画像を取得するように、車体の後部（例えば後部バンパ付近やバックドア）に設置される。
【００１７】
図２には、各カメラ１０の撮像領域の一例が概略的に示されている。図２に示す例では、各カメラ１０は、広角カメラであり、各カメラ１０の撮像領域は略扇形で示されている。図２には、前方カメラ１０ＦＲの撮像領域Ｒｆと、右側方カメラ１０ＳＲの撮像領域Ｒｒとが、ハッチングにより強調して示されている。これらの各撮像領域は、図２に示すように、互いに重複する領域（例えば図２のＲｒｆ）を有してもよい。このように図２に示す例では、車両の全周囲の風景が、４つのカメラ１０ＦＲ，１０ＳＬ，１０ＳＲ，１０ＲＲにより協働して捕捉される。
【００１８】
図３は、ディスプレイ２０上に表示される表示画像の一例を概略的に示す図である。表示画像は、４つのカメラ１０ＦＲ，１０ＳＬ，１０ＳＲ，１０ＲＲを介して得られる画像を合成して生成される。図３に示す例では、表示画像の中央領域に、車両を模した画像（車両画像）が組み込まれている。かかる車両画像は、予め作成され、所定のメモリに記憶しておいたものが利用されてよい。表示画像は、中央領域に車両画像を配置し、その他の領域に、各カメラ１０から得られる画像を配置することにより得られる。各カメラ１０から得られる画像は、路面を上空から俯瞰した俯瞰（鳥瞰）表示用の画像となるように適切な前処理（例えば座標変換、歪補正や遠近補正等）を受けてから、ディスプレイ２０上に表示される（図中のハッチング部分が路面ないし路上物体を俯瞰した画像部分を表す）。これにより、乗員は、車両を中心として全方位に亘って、路面の状態ないし路上物体の状態（例えば、各種道路区画線や各種障害物の位置等）を把握することができる。
【００１９】
ところで、上述のような２以上のカメラ１０ＦＲ，１０ＳＲ等の撮像画像を合成して表示画像を生成する構成において、各カメラ１０（１０ＦＲ，１０ＳＬ，１０ＳＲ，１０ＲＲ）の撮像タイミングが同期していない場合には、時間的にずれた画像を合成することになるので、各画像の境界部の不連続や、同一の物標の多重表示等の問題が生ずる。例えば、図４に示すように、車両外部の物標が、ｉ番目のフレーム周期のカメラ１０ＦＲの撮像タイミングｔＦＲ（ｉ）にてカメラ１０ＦＲの撮像領域に入り、ｉ番目のフレーム周期のカメラ１０ＳＲの撮像タイミングｔＳＲ（ｉ）にてカメラ１０ＦＲ，１０ＳＲの重複領域Ｒｒｆに入る場合を想定する。カメラ１０ＳＲの撮像タイミングｔＳＲ（ｉ）は、同期ずれにより、同フレーム周期のカメラ１０ＦＲの撮像タイミングｔＦＲ（ｉ）よりも遅れたタイミングであるとする。この場合、同一のフレーム周期でカメラ１０ＦＲ及びカメラ１０ＳＲにより撮像したそれぞれの画像を単に合成すると、１つの物標が２つ表示されてしまうことになる（同一の物標の多重表示）。この種の非同期が発生した場合に、撮像タイミングを補正して同期を維持することは技術的に困難な場合がある。
【００２０】
そこで、本実施例では、この種の非同期を許容しつつ、画像処理装置３０に非同期補償機能を付与することで、各カメラ１０の撮像タイミングが同期していない場合に生ずる問題を解消する。以下、この非同期補償機能について詳説する。
【００２１】
図５は、各カメラ１０（１０ＦＲ，１０ＳＬ，１０ＳＲ，１０ＲＲ）の撮像タイミングの一例を示す図である。図５に示す例では、各カメラ１０（１０ＦＲ，１０ＳＬ，１０ＳＲ，１０ＲＲ）は、同一の３０fpsのフレームレートであり、それぞれ非同期である。この場合、３０fpsのフレームレートであることから、最大で１／３０秒のずれが発生しうる。
【００２２】
図６は、画像処理装置３０により実現される非同期補償機能の基本処理の流れを示すフローチャートである。以下では、各カメラ１０（１０ＦＲ，１０ＳＬ，１０ＳＲ，１０ＲＲ）のうち、カメラ１０ＳＲの撮像タイミングを基準として合成画像を生成する場合について、説明する。但し、基準となるカメラは任意である。図６の示す処理ルーチンは、カメラ１０ＳＲの撮像タイミング毎に繰り返し実行される。
【００２３】
図７は、図６の非同期補償機能の説明図であり、図７（Ａ）は、フレーム周期（ｉ）におけるカメラ１０ＦＲの撮像画像を模式的に示す図であり、図７（Ｂ）は、後述のステップ２０４の補正処理により得られるカメラ１０ＦＲの補正画像を模式的に示す図であり、図７（Ｃ）は、フレーム周期（ｉ）におけるカメラ１０ＳＲの撮像画像を模式的に示す図である。図７に示す例では、図４に示したような物標が撮像されており、図７の各図には、撮像画像における重複領域Ｒｒｆの部分が点線にて指示されている。
【００２４】
図６を参照するに、ステップ２０２では、同一フレーム周期（ｉ）における各カメラ１０（１０ＦＲ，１０ＳＬ，１０ＳＲ，１０ＲＲ）の撮像タイミングのずれが算出される。ここでは、カメラ１０ＳＲの撮像タイミングを基準としてずれが算出される。例えば図５に示す例では、カメラ１０ＦＲの同期ずれ量ΔｔＦＲは、ΔｔＦＲ＝ｔＳＲ（ｉ）−ｔＦＲ（ｉ）として算出される。尚、各カメラ１０（１０ＦＲ，１０ＳＬ，１０ＳＲ，１０ＲＲ）の撮像タイミング（ｔＳＲ（ｉ）等）は、タイムスタンプ等を用いて検出可能とされてよい。或いは、同期ずれ量Δｔは、各撮像画像間の重複領域における相関性を評価することで算出されてもよい。
【００２５】
ステップ２０４では、上記のステップ２０２で算出された同期ずれ量に基づいて、フレーム周期（ｉ）におけるカメラ１０ＦＲ，１０ＳＬ及び１０ＲＲの撮像画像が補正される。例えば、カメラ１０ＦＲの撮像画像に関して、今回のフレーム周期（ｉ）におけるカメラ１０ＦＲの撮像画像Ｉ（ｉ）（図７（Ａ）参照）は、カメラ１０ＳＲの撮像タイミングｔＳＲ（ｉ）と同期して撮像された場合に得られる撮像画像（図７（Ｂ）参照）に対応するように、補正される。この補正には、例えばフレーム間の相関関係（相互相関関数）を利用した補間技術が用いられる。例えば、この補正は、ＭＰＥＧにおけるI（Intra）フレーム（本例の場合、時刻ｔＦＲ（ｉ）で得られる撮像画像Ｉ（ｉ））からＰ（Predictive）フレーム（本例の場合、時刻ｔＦＲ（ｉ）から時間ΔｔＦＲ後の時刻ｔＳＲ（ｉ）での仮想フレーム）を導出する要領で実現されてもよい。尚、ＭＰＥＧにおけるフレーム間予測には、レーム周期間隔に対する同期ずれ量Δｔの関係を考慮した動き補償技術（物標の動きベクトルを推定・補償する技術）が用いられてよい。この際、例えば車輪速センサから導出可能な現在の車速も考慮されてもよい。なお、このようにして得られた補正画像（図７（Ｂ）参照）は、フレーム周期（ｉ）におけるカメラ１０ＳＲの撮像画像（図７（Ｃ）参照）との間で重複領域Ｒｒｆの画素情報（例えば輝度信号や色信号）の相関性を評価することで、更なる補正を受けてもよい。
【００２６】
ステップ２０６では、上記のステップ２０４で得られるカメラ１０ＦＲ，１０ＳＬ及び１０ＲＲの各撮像画像に対する各補正画像と、カメラ１０ＳＲの撮像画像とを用いて、表示画像（図３参照）が生成される。この際、各カメラ１０の撮像領域が重複する領域（例えば図２のＲｒｆ）については、何れかの一方の画像を選択して当該重複領域に関する最終的な表示画像が生成されてもよく、或いは、双方の画像を協働的に用いて当該重複領域に関する最終的な表示画像が生成されてもよい。例えば、カメラ１０ＳＲとカメラ１０ＦＲとの重複領域Ｒｒｆについては、図７（Ｂ）に示すカメラ１０ＦＲの補正画像の重複領域Ｒｒｆの部分と、図７（Ｃ）に示すカメラ１０ＳＲの撮像画像重複領域Ｒｒｆの部分のいずれか一方を用いて描画されてもよいし、双方を協働的に用いて描画されてもよい。
【００２７】
このように、本実施例によれば、各カメラ１０（１０ＦＲ，１０ＳＬ，１０ＳＲ，１０ＲＲ）の撮像タイミングが同期していない場合でも、撮像タイミングのずれを補正した補正画像を用いて表示画像が生成されるので、上述の各カメラ１０の撮像タイミングが同期していない場合に生ずる問題を無くすことができる。即ち、境界部の不連続や、同一の物標の多重表示等の無い精度の高い（違和感の無い）表示画像を生成することができる。
【００２８】
尚、本実施例においては、図６に示すように、同一のフレーム周期で時間的に最後の撮像タイミングのカメラ（本例の場合、カメラ１０ＳＲ）を基準として、他のカメラ（本例の場合、カメラ１０ＦＲ，１０ＳＬ及び１０ＲＲ）の撮像画像を補正しているが、他のカメラ（本例の場合、カメラ１０ＦＲ，１０ＳＬ及び１０ＲＲ）を基準としてもよい。例えば、カメラ１０ＦＲの撮像タイミングを基準とした場合には、カメラ１０ＳＬの撮像画像は上述と同様、同期ずれ分だけ先のＰフレームを導出する要領（前方向予測）で補正されてよく、一方、カメラ１０ＳＲ及びカメラ１０ＲＲの撮像画像は、同期ずれ分だけ前のＰフレームを導出する要領（後方向予測）で補正されてよいし、或いは、前フレーム周期の撮像画像と今回のフレーム周期の撮像画像とを用いて、Ｂ（Bidirectional  predictive）フレームを導出する要領（両方向予測）で補正されてもよい。
【００２９】
また、本実施例において、異なるフレーム周期の撮像画像を合成して表示することも可能である。例えば、図５に示す同期ずれの場合に、カメラ１０ＳＲの撮像画像が取得された時点で、次フレーム周期のカメラ１０ＦＲ，１０ＳＬ及び１０ＲＲの撮像画像を、同期ずれ分だけ前のＰフレームを導出する要領（後方向予測又は両方向予測）で補正し、この結果得られる補正画像と、カメラ１０ＳＲの撮像画像とを合成して表示することとしてもよい。
【実施例２】
【００３０】
図８は、本発明による車両用周辺監視装置の実施例２を示すシステム構成図である。本実施例の車両用周辺監視装置は、画像処理装置６０を備える。画像処理装置６０は、車両に搭載されたカメラ４０から得られる撮像画像に基づいて、撮像画像内の物標を画像認識し、車両外部の物標の距離に関する情報（以下、「距離情報」という）を生成する。物標とは、他車両、歩行者、建造物、道路標識（ペイントを含む）等の地物であってよい。距離情報は、プリクラッシュ・ＥＣＵ５０に供給され、プリクラッシュ制御に用いられる。距離情報は、その他、クリアランスソナーの測距データの代わりとして用いられてもよいし、車間距離制御やレーンキープアシスト制御等のような他の制御に用いられてもよい。プリクラッシュ制御は、障害物との衝突前に、警報を出力したり、シートベルトの張力を高めたり、バンパの高さを適切な高さまで駆動したり、ブレーキ力を発生させたりする等の制御を含む。
【００３１】
図９は、カメラ４０の設置態様及びその撮像領域の一例を示す平面図である。カメラ４０は、図９に示すように、車両の幅方向に離間して配置される２つのカメラ４１、４２からなるステレオカメラである。各カメラ４１、４２は、ＣＣＤ等の撮像素子により車両前方の周囲画像を取得する。カメラ４０は、例えば車室内のウインドシールドガラスの上縁付近に配置されてよい。各カメラ４１、４２は、所定のフレーム周期（例えば３０fps)のストリーム形式で画像処理装置６０に供給するものであってよい。
【００３２】
図９には、各カメラ４１、４２の撮像領域の一例が概略的に示されている。図９に示す例では、各カメラ４１、４２の撮像領域は略扇形で示されている。各カメラ４１、４２の撮像領域は、図９に示すように、互いに重複する領域（例えば図９のＲｒｆ）を有する。このように図９に示す例では、車両の前方の風景が、２つのカメラ４１、４２により視差をもって捕捉される。
【００３３】
図１０は、各カメラ４１、４２の撮像タイミングの一例を示す図である。図５に示す例では、各カメラ４１、４２は、同一の３０fpsのフレームレートであり、それぞれ非同期である。この場合、３０fpsのフレームレートであることから、最大で１／３０秒のずれが発生しうる。
【００３４】
図１１は、画像処理装置６０により実現される非同期補償機能の基本処理の流れを示すフローチャートである。以下では、各カメラ４１、４２のうち、左カメラ４２の撮像タイミングを基準として距離情報を生成する場合について、説明する。但し、基準となるカメラは任意である。図１１の示す処理ルーチンは、左カメラ４２の撮像タイミング毎に繰り返し実行される。
【００３５】
ステップ３０２では、同一フレーム周期（ｉ）における各カメラ４１、４２の撮像タイミングのずれが算出される。例えば図１０に示す例では、カメラ１０ＦＲの同期ずれ量Δｔは、Δｔ＝ｔ２（ｉ）−ｔ１（ｉ）として算出される。尚、各カメラ４１、４２の撮像タイミング（ｔ２（ｉ）等）は、タイムスタンプ等を用いて検出可能とされてよい。
【００３６】
ステップ３０４では、上記のステップ３０２で算出された同期ずれ量に基づいて、フレーム周期（ｉ）におけるカメラ４１の撮像画像が補正される。同期ずれ量に応じた撮像画像の補正方法は、上述の実施例１と同様であってよい。
【００３７】
ステップ３０６では、上記のステップ３０４で得られるカメラ４１の撮像画像に対する補正画像と、カメラ４２の撮像画像とを用いて、距離情報が生成される。この距離情報は、撮像タイミングが同期したステレオカメラを用いた場合と同様の要領で生成されてよい。撮像タイミングが同期したステレオカメラを用いた場合と異なるのは、カメラ４１の撮像画像が上述の如く補正されている点だけである。
【００３８】
このように、本実施例によれば、各カメラ４１、４２の撮像タイミングが同期していない場合でも、撮像タイミングのずれを補正した補正画像を用いて距離情報が生成されるので、各カメラ４１、４２の撮像タイミングが同期していない場合に生ずる測距誤差を無くすことができる。これにより、精度の高い距離情報を生成することができる。
【００３９】
尚、以上説明した各実施例においては、添付の特許請求の範囲の「情報生成手段」は、画像処理装置３０又は６０が図６の処理または図９の処理を実行することで実現されている。
【００４０】
以上、本発明の好ましい実施例について詳説したが、本発明は、上述した実施例に制限されることはなく、本発明の範囲を逸脱することなく、上述した実施例に種々の変形及び置換を加えることができる。
【００４１】
例えば、上述した実施例では、合成画像の表示や距離情報の生成に、２以上のカメラの撮像画像を協調して用いているが、本発明は、同期されていないか或いは同期ずれが生ずる２以上のカメラの撮像画像を協調して用いる如何なるアプリケーションに対しても適用可能である。
【００４２】
また、上述した実施例では、各カメラ１０（１０ＦＲ，１０ＳＬ，１０ＳＲ，１０ＲＲ）等のフレームレートは同一であったが、異なるフレームレートであってもよい。また、上述した実施例１では、各カメラ１０（１０ＦＲ，１０ＳＬ，１０ＳＲ，１０ＲＲ）の撮像タイミングが互いにすべて異なっているが、少なくともいずれか１つのカメラの撮像タイミングが他のカメラの撮像タイミングと異なっていれば本発明の効果を享受することができる。
【図面の簡単な説明】
【００４３】
【図１】本発明による車両用周辺監視装置の実施例１を示すシステム構成図である。
【図２】カメラ１０の設置態様及びその撮像領域の一例を概略的に示す平面図である。
【図３】ディスプレイ２０上に表示される表示画像の一例を概略的に示す図である。
【図４】各カメラ１０ＦＲ，１０ＳＲの撮像タイミングの非同期に起因した物標の撮像位置の相違を示す図であり、車両に対する物標の相対的な動きを模式的に示す平面図である。
【図５】各カメラ１０（１０ＦＲ，１０ＳＬ，１０ＳＲ，１０ＲＲ）の撮像タイミングの一例を示す図である。
【図６】画像処理装置３０により実現される非同期補償機能の基本処理の流れを示すフローチャートである。
【図７】図６の非同期補償機能の説明図である。
【図８】本発明による車両用周辺監視装置の実施例２を示すシステム構成図である。
【図９】実施例２によるカメラ４０の設置態様及びその撮像領域の一例を示す平面図である。
【図１０】各カメラ４１、４２の撮像タイミングの一例を示す図である。
【図１１】画像処理装置６０により実現される非同期補償機能の基本処理の流れを示すフローチャートである。
【符号の説明】
【００４４】
１０、４０    カメラ
２０    ディスプレイ
３０、６０    画像処理装置
５０    プリクラッシュ・ＥＣＵ
【図１】
2008211373.tif 000003
【図２】
2008211373.tif 000004
【図３】
2008211373.tif 000005
【図４】
2008211373.tif 000006
【図５】
2008211373.tif 000007
【図６】
2008211373.tif 000008
【図７】
2008211373.tif 000009
【図８】
2008211373.tif 000010
【図９】
2008211373.tif 000011
【図１０】
2008211373.tif 000012
【図１１】
2008211373.tif 000013