(57)【要約】      （修正有）【課題】全周鳥瞰図画像における障害物検出を効率良く行う車両周辺監視装置を提供する。【解決手段】車両に設置された第１撮像装置２ａ〜第４撮像装置２ｄは、撮像した画像をフレームバッファ１０に記憶する。画像読出部１２は、フレームバッファ１０から読み出した各画像を画像処理部１４に供給し、第２撮像装置２ｂおよび第４撮像装置２ｄで撮像された画像を移動量検出部１６に供給する。画像処理部１４は画像読出部１２から受け取った各画像のそれぞれを鳥瞰図画像へ変換し、移動量検出部１６から受け取った車両全体の動きベクトルに基づき、鳥瞰図画像に対して、車両の移動量を打ち消す変換を行い、これを障害物検出部１８に供給する。移動量検出部１６は、画像読出部１２から受け取った画像に基づき、車両全体の動きベクトルを検出する。障害物検出部１８は、画像処理部１６から受け取った鳥瞰図画像の差分をとることで撮像装置２ごとに障害物を検出する。【選択図】図３
2010221863.tif 000002
【特許請求の範囲】
【請求項１】
車両に設置されたＮ（Ｎは２以上の自然数）台の撮像装置ごとに撮像され、時間差のある二つの画像のそれぞれから、第１および第２の鳥瞰図画像を生成する画像生成部と、
前記Ｎ台の撮像装置で撮像されたＮ個の画像のうち、Ｎ−１個以下の画像を選択する画像選択部と、
前記Ｎ−１個以下の画像に基づき、前記車両の移動量を検出する移動量検出部と、
前記移動量に基づき、前記第２の鳥瞰図画像から第３の鳥瞰図画像を生成する座標変換部と、
前記第１の鳥瞰図画像と前記３の鳥瞰図画像の差分をとることにより、障害物を検出する障害物検出部と、
を備えることを特徴とする車両周囲監視装置。
【請求項２】
前記画像選択部は、前記Ｎ個の画像から、車両の右方向および左方向を撮像した画像を選択することを特徴とする請求項１に記載の車両周囲監視装置。
【請求項３】
前記画像選択部は、前記Ｎ個の画像から、画質が良い順に前記Ｎ−１個以下の画像を選択することを特徴とする請求項１に記載の車両周囲監視装置。
【請求項４】
前記画像選択部は、前記Ｎ個の画像から、特徴点が多く含まれる順に前記Ｎ−１個以下の画像を選択することを特徴とする請求項１に記載の車両周囲監視装置。
【請求項５】
前記画像選択部は、前記Ｎ個の画像から、対応する撮像装置の水平面に対する俯角が大きい順に前記Ｎ−１個以下の画像を選択することを特徴とする請求項１に記載の車両周囲監視装置。
【請求項６】
前記画像選択部は、前記Ｎ個の画像から、路面上の白線が多く含まれる順に前記Ｎ−１個以下の画像を選択することを特徴とする請求項１に記載の車両周囲監視装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両周囲監視技術に関し、特に車両に設置された撮像装置によって撮像した画像をもとに、車両の周囲を監視する車両周辺監視装置に関する。
【背景技術】
【０００２】
車両にカメラを設置し、運転者の死角となりやすい周辺状況の撮像映像をカーナビゲーションなどの画面に表示する監視装置の開発が行われている。
【０００３】
また、単に撮像画像を表示するだけでなく、車両周囲に複数のカメラを設置し、撮像されたそれぞれの撮像画像を鳥瞰図画像に変換し、それらの鳥瞰図画像を合成することで、車両の全周囲を俯瞰することができる全周鳥瞰図画像を表示するものもある（例えば、特許文献１）。
【０００４】
さらに、車両に一つのカメラを設置し、撮像された時間差がある二つの撮像画像を、同一の鳥瞰図座標系に属する二つの鳥瞰図画像に変換し、これらの差分をとることで、撮像画像中の障害物を検出するものもある（例えば、特許文献２）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−２６９０６０号公報
【特許文献２】特開２００６−２６８０７６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
時間差がある二つの撮像画像を同一の鳥瞰図座標系に変換する場合、二つの撮像画像を撮像する間の車両の移動量を算出し、この移動量に基づき、一方の鳥瞰図画像を他方の鳥瞰図画像と同一の鳥瞰図画像系に座標変換する。このとき、撮像画像から車両の移動量を算出するため、撮像画像に含まれる特徴点（例えば、路面上の白線のエッジ）を勾配法やブロックマッチング法により追跡する。特徴点を追跡するための演算は負荷が重く、全周鳥瞰図画像において障害物を検出するため、全周鳥瞰図画像を構成する鳥瞰図画像ごとに特徴点を追跡すると、膨大な処理時間を要し、効率的な障害物の検出が困難であった。
【０００７】
本発明はこのような状況に鑑みてなされたものであり、全周鳥瞰図画像において効率良く障害物を検出することができる車両周囲監視装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明のある態様は、車両周囲監視装置である。この車両周囲監視装置は、車両に設置されたＮ（Ｎは２以上の自然数）台の撮像装置ごとに撮像され、時間差のある二つの画像のそれぞれから、第１および第２の鳥瞰図画像を生成する画像生成部と、前記Ｎ台の撮像装置で撮像されたＮ個の画像のうち、Ｎ−１個以下の画像を選択する画像選択部と、前記Ｎ−１個以下の画像に含まれる特徴点を追跡することで、前記車両の移動量を検出する移動量検出部と、前記移動量に基づき、前記第２の鳥瞰図画像の座標を変換して第３の鳥瞰図画像を生成する座標変換部と、前記第１の鳥瞰図画像と前記３の鳥瞰図画像の差分をとることにより、障害物を検出する障害物検出部と、を備えることを特徴とする車両周囲監視装置である。
【０００９】
また、前記画像選択部は、前記Ｎ個の画像から、車両の右方向および左方向を撮像した画像を選択することが好ましい。
【００１０】
また、前記画像選択部は、前記Ｎ個の画像から、画質が高い順に前記Ｎ−１個以下の画像を選択することが好ましい。
【００１１】
また、前記画像選択部は、前記Ｎ個の画像から、特徴点が多く含まれる順に前記Ｎ−１個以下の画像を選択することが好ましい。
【００１２】
また、前記画像選択部は、前記Ｎ個の画像から、対応する撮像装置の水平面に対する俯角が大きい順に前記Ｎ−１個以下の画像を選択することが好ましい。
【００１３】
また、前記画像選択部は、前記Ｎ個の画像から、路面上の白線が多く含まれる順に前記Ｎ−１個以下の画像を選択することが好ましい。
【発明の効果】
【００１４】
本発明よれば、全周鳥瞰図画像における障害物検出を効率良く行うことができる。
【図面の簡単な説明】
【００１５】
【図１】本発明の実施の形態における車両周囲監視装置３を搭載した車両１の構成を示す概念図
【図２】表示装置に表示される全周鳥瞰図画像の図
【図３】本発明の実施の形態における車両周囲監視装置３の構成を示す概念図
【図４】鳥瞰図画像から障害物を検出するときの手順を示すフローチャート
【発明を実施するための形態】
【００１６】
本発明を具体的に説明する前に概要について述べる。本発明の実施の形態は、全周鳥瞰図画像における障害物を検出する車両周囲監視装置に関する。車両周囲監視装置は、車両の前方、後方、左方、右方に設置された合計４つの車載カメラから撮像画像を取得し、全周鳥瞰図画像を合成する。
【００１７】
また、車両周囲監視装置は、車載カメラごとに撮像した時間差のある二つの撮像画像のそれぞれを、同一の鳥瞰図座標系に属する二つ鳥瞰図画像に変換する。そして、これらの差分をとることで、車載カメラごとに障害物の検出を行う。さらに、検出した障害物を全周鳥瞰図画像上に表示することで運転者に注意を促す。
【００１８】
このとき、時間差のある二つの撮像画像を同一の鳥瞰図座標系に変換するため、撮像画像に含まれる特徴点の追跡を行い、車両の移動量を検出する。特徴点の追跡の演算は負荷が重く、車載カメラごとに特徴点の追跡を行うと、車載カメラの台数に応じて演算負荷が増大する。
【００１９】
ここで、車両の移動量は設置された車載カメラ全てに共通するので、例えば、ある車載カメラで撮像した撮像画像に含まれる特徴点を追跡することで車両の移動量が検出できれば、残りの車載カメラで特徴点の追跡を行う必要はない。
【００２０】
また、一般に、車両前方および後方の車載カメラは車両から遠く離れたところまで撮像できるよう（水平面に対する俯角が小さく）設置され、車両左方および右方の車載カメラは車両の近くを撮像するよう（水平面に対する俯角が大きく）設置される。このため、車両左右の車載カメラの撮像画像は、車両前後の車載カメラの撮像画像より画質が良く、車両左右の車載カメラの撮像画像で特徴点の追跡を行うと、その精度良くなることが多い。
【００２１】
そこで、本発明の実施の形態における車両周囲監視装置においては、車両に設置された複数の車載カメラで撮像した撮像画像のなかから、車両の移動量を検出するために適した撮像画像を選択し、この選択した撮像画像に対して特徴点の追跡を行う。
【００２２】
これにより、車両に設置された全ての車載カメラの撮像画像に対して特徴点の追跡を行わなくても、車載カメラごとに撮像した時間差のある撮像画像を同一の鳥瞰図座標系に変換することができるので、全周鳥瞰図画像における障害物検出を効率良く行うことができる。
【００２３】
図１は、本発明の実施の形態における車両１の構成を示す概念図である。車両１は、撮像装置２と総称される第１撮像装置２ａ、第２撮像装置２ｂ、第３撮像装置２ｃ、第４撮像装置２ｄ、車両周囲監視装置３、表示装置４を含む。なお、車両１には、エンジン、シャーシ、ハンドル、ブレーキ等のような、車両１の本来の動作を実現するための構成要素が含まれているが、図の簡略化のため、図１では省略する。
【００２４】
撮像装置２は、画像を連続的に撮像し、撮像した画像を車両周囲監視装置３へ供給する。第１撮像装置２ａは車両の前方部分に設置され、第２撮像装置２ｂは車両の右方部分に設置されている。また、第３撮像装置２ｃは車両の後方部分に設置され、第４撮像装置２ｄは車両左方部分に設置されている。なお、撮像装置２の数は「４」に限定されない。車両周囲監視装置３は、撮像装置２から受け取った画像を鳥瞰図画像に変換し、さらに複数の撮像装置２のそれぞれに対応した鳥瞰図画像を合成することによって、全周鳥瞰図画像を生成する。
【００２５】
車両周囲監視装置３は、第２撮像装置２ｂから受け取った画像（以下、右方画像ともいう）および第４撮像装置２ｄから受け取った画像（以下、左方画像ともいう）に基づき、車両全体の動きベクトルを検出する。
【００２６】
また、車両周囲監視装置３は、撮像装置２のそれぞれに対応した鳥瞰図画像において、ある時点の鳥瞰図画像（以下、第１鳥瞰図画像ともいう）と、第１鳥瞰図画像から所定の期間（例えば、１フレーム期間）離れた時点の鳥瞰図画像（以下、第２鳥瞰図画像ともいう）を抽出する。
【００２７】
撮像地点が異なる二つの画像から生成した鳥瞰図画像のそれぞれを同一の鳥瞰図座標系に変換すると、撮像対象の平面的な領域で両者は一致するが、撮像対象の高さがある領域で両者は不一致を生じる。
【００２８】
ここで、第２鳥瞰図画像の座標系は、第１鳥瞰図画像の座標系に対して所定の期間内に生じた車両の移動量分ずれている。そこで、車両周囲監視装置３は、車両全体の動きベクトルから所定の期間内に生じた車両の移動量を算出し、第２鳥瞰図画像に対して、この移動量を打ち消す座標変換を行う。そして、第１鳥瞰図画像と、第２鳥瞰図画像に対して座標変換を行うことで生成した鳥瞰図画像（以下、第３鳥瞰図画像ともいう）との差分をとることで、撮像対象の高さがある領域、つまり障害物を検出する。
【００２９】
車両周囲監視装置３は、全周鳥瞰図画像に検出した障害物を識別できるように、障害物に特殊記号（例えば、エクスクラメーション）を付したり、点滅表示させて表示装置４に供給する。
【００３０】
表示装置４は、例えば液晶モニタであり、車両周囲監視装置３から受け取った全周鳥瞰図画像を図２に示すように表示する。図２では画面中央に車両が表示され、車両の上方の撮像装置２ａに対応した鳥瞰図画像、右方の撮像装置２ｂに対応した鳥瞰図画像、下方の撮像画像２ｃに対応した鳥瞰図画像、左方の撮像画像２ｄに対応した鳥瞰図画像から構成される全周鳥瞰図画像が表示されている。また、全周鳥瞰図画像には、検出された障害物が識別可能な態様で表示されるので、運転者にとって車両周囲の状況を実感しやすくなり、正確なハンドル操作が可能となる。
【００３１】
図３は、本発明の実施の形態における車両周囲監視装置３の構成を示す概念図である。車両周囲監視装置３は、フレームバッファ１０と総称される第１フレームバッファ１０ａ、第２フレームバッファ１０ｂ、第３フレームバッファ１０ｃ、第４フレームバッファ１０ｄ、画像読出部１２、画像処理部１４、移動量検出部１６、障害物検出部１８、制御部２０を含む。
【００３２】
フレームバッファ１０は、図示しない各撮像装置２に対応づけられて配置されている。すなわち、第１フレームバッファ１０ａから第４フレームバッファ１０ｄは、第１撮像装置２ａから第４撮像装置２ｄにそれぞれ対応づけられている。フレームバッファ１０は、撮像装置２から受け取った画像を記憶する。
【００３３】
画像読出部１２は、第１フレームバッファ１０ａ、第２フレームバッファ１０ｂ、第３フレームバッファ１０ｃおよび第４フレームバッファ１０ｄに記憶されている画像を読み出し、それぞれを画像処理部１４に供給する。また、画像読出部１４は、第１フレームバッファ１０ａ、第２フレームバッファ１０ｂ、第３フレームバッファ１０ｃおよび第４フレームバッファ１０ｄに記憶されている画像のなかから、制御部２０に指示された画像を読み出し、移動量検出部１６に供給する。本発明の実施の形態では、右方画像および左方画像に基づき、車両全体の動きベクトルを検出する。このため、制御部２０から、右方画像および左方画像を読み出すように指示を受けた画像読出部１２は、第２フレームバッファ１０ｂおよび第４フレームバッファ１０ｄから画像を読み出し、移動量検出部１６に供給する。
【００３４】
画像処理部１４は、画像読出部１２から受け取った各画像のそれぞれを鳥瞰図画像へ変換する。そして、鳥瞰図画像を合成することにより、全周鳥瞰図画像を生成する。また、鳥瞰図画像に対して、車両の移動量を打ち消す変換を行い、これを障害物検出部１６に供給する。さらに、障害物検出部１６から受け取った障害物の位置情報を参照し、全周鳥瞰図画像上に運転者が認識可能な態様で、これを表示する。
【００３５】
画像処理部１４は、画像変換部２２、画像合成部２４、変換テーブル記憶部２６を含む。
【００３６】
画像変換部２２は、画像読出部１２からフレームバッファ１０ごとに画像を受け取り、各画像のそれぞれを、変換テーブル記憶部２６に記憶された変換式を参照することによって、鳥瞰図画像へ変換する。つまり、鳥瞰図画像は、変換前の画像を撮像した撮像装置２ごとに対応付けられている。なお、鳥瞰図画像への変換は、公知の技術、例えば、特開２００７−２６９０６０号公報に開示された技術を使用すればいいので、ここでは説明を省略する。
【００３７】
画像変換部２２は、撮像装置２ごとに、対応付けられた鳥瞰図画像のなかから、障害物検出の処理対象とすべき一組の鳥瞰図画像（第１鳥瞰図画像および第２鳥瞰図画像）を抽出する。第１鳥瞰図画像を離散的に抽出すれば、障害物検出処理の負荷を軽減できる。一方、第１鳥瞰図画像を連続的に抽出すれば、リアルタイムで障害物の検出を行うことができる。
【００３８】
画像変換部２２は、移動量検出部１６から受け取った車両全体の動きベクトルに基づき、変換テーブル記憶部２６を参照することによって、第２鳥瞰図画像に対して車両の移動量を打ち消す変換を実行する。これにより、車両の移動と反対方向に仮想視点をずらした第３鳥瞰図画像を生成する。すなわち、画像変換部２２は、車両全体の動きベクトルが並進運動による動きベクトルであれば、第２鳥瞰図画像に対して仮想視点を反対方向に平行移動させる変換を行う。また、車両全体の動きベクトルが回転運動による動きベクトルであれば、第２鳥瞰図画像に対して仮想視点を反対方向に回転移動させる変換を行う。画像変換部２２は、第１鳥瞰図画像と第３鳥瞰図画像を障害物検出部１８に供給する。
【００３９】
画像合成部２４は、撮像装置２ごとに対応付けられた鳥瞰図画像を変換テーブル２６を参照することによって合成し、全周鳥瞰図画像を生成する。なお、全周鳥瞰図画像の合成も特開２００７−２６９０６０号公報に開示された技術を使用すればよい。
【００４０】
また、画像合成部２４は、障害物検出部１８から鳥瞰図画像上における障害物の位置情報を受け取る。この位置情報を参照することによって、全周鳥瞰図画像上の対応する位置周辺の画素データを、点滅表示やハイライト表示するなどし、表示装置４に供給する。
【００４１】
変換テーブル記憶部２６は、画像から全周鳥瞰図画像への変換の際に利用される変換式を記憶している。また、第２鳥瞰図画像を平行移動させる変換や回転移動させる変換ための変換式も記憶している。
【００４２】
移動量検出部１６は、画像読出部１２から受け取った右方画像および左方画像に基づき、車両全体の動きベクトルを検出する。移動量検出部１６は、動き検出部２８、動き推定部３０を含む。
【００４３】
動き検出部２８は、画像読出部１２から受け取った右方画像および左方画像それぞれの画像内における大域的な動きベクトル（以下、大域動きベクトルともいう）を検出する。そのため動きベクトル検出部２８は、画像内の特徴点を抽出する。特徴点の抽出には、一例として、ＫＬＴ（Ｋａｎａｄｅ−Ｌｕｃａｓ−Ｔｏｍａｓｉ）法を用いる。なお、ＫＬＴ法は、例えば、Ｃ．Ｔｏｍａｓｉ  ａｎｄ  Ｔ．Ｋａｎａｄｅ，“Ｄｅｔｅｃｔｉｏｎ  ａｎｄ  Ｔｒａｃｋｉｎｇ  ｏｆ  Ｐｏｉｎｔ  Ｆｅａｔｕｒｅｓ，”Ｃａｒｎｅｇｉｅ  Ｍｅｌｌｏｎ  Ｕｎｉｖｅｒｓｉｔｙ  Ｔｅｃｈｉｃａｌ  Ｒｅｐｏｒｔ  ＣＭＵ−ＣＳ−９１−１３２，  Ａｐｒｉｌ  １９９１．に開示された公知の技術であるので、ここでは説明を省略する。
【００４４】
動き検出部２８は、画像読出部１２から受け取った右方画像および左方画像それぞれについて、検出した特徴点を時間軸方向に追跡する。このため、動き検出部２８は、時点Ｔの画像で特徴点を検出すると、時点Ｔ＋１の画像における、その対応点をブロックマッチング法により検出する。
【００４５】
具体的には、時点Ｔの画像において特徴点を含む単位ブロック（例えば、縦８画素×横８画素の正方形）をテンプレートブロックとし、時点Ｔ＋１の画像上に所定の探索領域（例えば、縦１６単位ブロック×横１６単位ブロック）を設定する。探索領域内でテンプレートブロックと、対応点を含んでいると予測される単位ブロックの候補との間で、画素値の差分絶対値の総和を算出する。動き検出部２８は、その値が最小となる単位ブロック（以下、予測単位ブロックともいう）に対応点が含まれていると予測する。そして、時点Ｔ＋１の画像上のテンプレートブロックに対応する位置の単位ブロックから、予測単位ブロックへの動きを示すベクトルを、特徴点の動きベクトル（以下、局所動きベクトルともいう）として検出する。
【００４６】
動き検出部２８は、時点Ｔの画像で複数の特徴点を検出し、それに対応した複数の局所動きベクトルを検出する。複数の局所動きベクトルに対して統計処理を行い（例えば、所定の誤差範囲に含まれる局所動きベクトルを平均化する処理）、右方画像および左方画像のそれぞれについて大域動きベクトルを検出し、動き推定部３０に供給する。
【００４７】
動き推定部３０は、動き検出部２８から受け取った、右方画像から検出された大域動きベクトル（以下、右方大域動きベクトルともいう）および左方画像から検出された大域動きベクトル（以下、左方大域動きベクトルともいう）から、車両全体の動きベクトルを検出する。
【００４８】
ここで、車両が並進運動（例えば、直進している場合）をしているときは、右方大域動きベクトルと左方大域動きベクトルの大きさは等しくなる。一方、車両が回転運動（例えば、右旋回している場合）をしているときは、右方大域動きベクトルと左方大域動きベクトルの大きさは異なる。
【００４９】
そこで、動き推定部３０は、右方大域動きベクトルと左方大域動きベクトルを比較し、車両が並進運動を行っているか、回転運動を行っているかを判断する。車両が並進運動していると判断した場合、右方大域動きベクトルあるいは左方大域動きベクトルのどちらか一方、または双方を平均化したものを車両全体の動きベクトルとして画像処理部１４に供給する。
【００５０】
車両全体が回転運動を行っている場合、右方大域動きベクトルの大きさは、第２撮像装置２ｂまでの距離と回転量の積に比例し、左方大域動きベクトルの大きさは、回転中心点から第４撮像装置２ｄまでの距離と回転量の積に比例する。また、第２撮像装置２ｂと第４撮像装置２ｄとの相対距離は既知である。よって、左方大域動きベクトルの大きさと右方大域動きベクトルの大きさが分かれば、回転量を算出することができる。そこで、動き推定部３０は、車両が回転運動していると判断した場合、右方大域動きベクトルの大きさと左方大域動きベクトルの大きさとから回転量を算出し、この回転量と回転方向を車両全体の動きベクトルとして画像処理部１４に供給する。
【００５１】
障害物検出部１８は、画像処理部１４から受け取った第１鳥瞰図画像と第３鳥瞰図画像の差分をとる。上述したように、撮像対象に高さがある領域では、差分結果に不一致が生じる。そこで、障害物検出部１８は、画像処理部１４から受け取った第１鳥瞰図画像および第３鳥瞰図画像の差分をとることで撮像装置２ごとに障害物を検出し、鳥瞰図画像上における障害物の位置情報を画像処理部１４に供給する。また、障害物検出部１８は、障害物を検出した領域の第１鳥瞰図画像上における座標位置を測定し、これを鳥瞰図画像上の障害物の位置情報として画像処理部１４に供給する。
【００５２】
以上の構成による車両周囲監視装置３の動作を説明する。図４は、鳥瞰図画像から障害物を検出するときの手順を示すフローチャートである。
【００５３】
動き検出部２８は、画像読出部１２から受け取った右方画像より右方大域動きベクトルを検出し、左方画像より左方大域動きベクトルを検出する（S10）。右方大域動きベクトルおよび左方大域動きベクトルが検出されなければ（S12のN）、動き検出部２８は、車両が停止していると判断し、処理を終了する。
【００５４】
一方、右方大域動きベクトルおよび左方大域動きベクトルが検出されると（S12のY）、動き推定部３０は、右方大域動きベクトルの大きさと左方大域動きベクトルの大きさを比較する（S14）。
【００５５】
動き推定部３０は、右方大域動きベクトルの大きさと左方大域動きベクトルの大きさが等しい場合（S14のY）、車両全体は並進運動を行っていると判断し、例えば、右方大域動きベクトルを車両全体の動きベクトルとして画像処理部１４に供給する。さらに動き推定部３０は、第２鳥瞰図画像の仮想視点を、車両の動きと反対方向に平行移動させる変換を行うように、画像処理部１４対して指示を行う。画像変換部２２は、動き推定部３０からの指示に基づき、第２鳥瞰図画像の仮想視点を前後にずらした第３鳥瞰図画像を生成し、障害物検出部１８に供給する（S16）。
【００５６】
動き推定部３０は、右方大域動きベクトルの大きさと左方大域動きベクトルの大きさが異なる場合（S14のN）、車両全体は回転運動を行っていると判断し、右方大域動きベクトルの大きさと左方大域動きベクトルの大きさから回転量を算出する。動き推定部３０は、算出した回転量と回転方向を車両全体の動きベクトルとして画像処理部１４に供給する。さらに動き推定部３０は、第２鳥瞰図画像の仮想視点を、車両と動きと反対方向に回転移動させる変換を行うように、画像処理部１４に対して指示を行う。画像変換部２２は、動き推定部３０からの指示に基づき、第２鳥瞰図画像の仮想視点を回転させた第３鳥瞰図画像を生成し、障害物検出部１８に供給する（S18）。
【００５７】
障害物検出部１８は、画像処理部１４から受け取った第１鳥瞰図画像と第３鳥瞰図画像との差分をとり、障害物を検出する（S20）。
【００５８】
このような本発明の実施の形態によれば、車両に設置された第１撮像装置２ａ、第２撮像装置２ｂ、第３撮像装置２ｃおよび第４撮像装置２ｄのうち、第２撮像装置２ｂおよび第４撮像装置２ｄで撮像された画像について、特徴点の追跡を行うので、動きベクトル検出の演算負荷を軽減することができる。
【００５９】
また、第２撮像装置２ｂで撮像した車両の右方画像と、第４撮像装置２ｄで撮像した車両の左方画像に基づき動きベクトルを検出するので、車両の前方画像および後方画像に比べ特徴点が検出しやすく、動きベクトルの検出精度が良くなる。また、車両近傍の高画質な画像に対して特徴点の追跡を行うので、動きベクトルの検出精度が良くなる。また、車両が直進運動を行っている場合、前方画像および後方画像に対して動きベクトルを検出するよりも、大きな動きベクトルを検出できるので、車両全体を動きベクトルを精度良く検出できる。また、車両が並進運動をしているのか回転運動をしているかを的確に検出できる。よって、全周鳥瞰図画像に対する障害物検出を効率良く行うことができる。
【００６０】
以上、本発明を実施するための形態について説明をしてきたが、本発明は、この実施の形態の構成に限定されるものではなく、特許請求の範囲に規定された本発明の適用範囲にあり、上述した実施の形態の構成が備える機能を達成可能であれば、いろいろな変形が可能である。
【００６１】
例えば、本発明の実施の形態において、移動量検出部１６は、４台の撮像装置２のうち、第２撮像装置２ｂおよび第４撮像装置２ｄで撮像された画像について特徴点の追跡を行ったが、どちらか一方についてのみ特徴点の追跡を行ってもよい。
【００６２】
具体的に説明すると、第２撮像装置２ｂあるいは第４撮像装置２ｄで撮像した画像のうち、どちらか一方の画像に対して、複数の特徴点の追跡を行い、対応する局所動きベクトルを検出する。そして、複数の局所動きベクトルが所定の誤差範囲内にあるかどうかを判定することで、車両全体の動きベクトルの検出を行う。なお、車両の回転運動に対応するために、回転量に関する情報を車両に設置された旋角センサから取得する。また、特開２００６−２６８０７６号公報に開示された公知の技術により、回転量を算出してもよい。本変形例によれば、動きベクトル検出の演算負荷を、さらに軽減することができる。
【００６３】
また、本発明の実施の形態において、制御部２０は、４台の撮像装置２のうち、第２撮像装置２ｂおよび第４撮像装置２ｄで撮像された画像を移動量検出部１６に供給するように画像読出部１２を制御したが、４台の撮像装置２で撮像した画像のうち、解像度が最も高い画像を移動量検出部１６に供給するように画像読出部１２を制御してもよい。本変形例によれば、高画質な画像に対して特徴点の追跡を行うので、動きベクトルの検出精度が向上する。
【００６４】
また、制御部２０は、４台の撮像装置２で撮像した画像のうち、輝度が最も高い画像を移動量検出部１６に供給するように画像読出部１２を制御してもよい。本変形例によれば、高画質な画像に対して特徴点の追跡を行うので、動きベクトルの検出精度が向上する。
【００６５】
また、制御部２０は、４台の撮像装置２で撮像した画像のうち、特徴点が最も多く検出できる画像を移動量検出部１６に供給するように画像読出部１２を制御してもよい。本変形例によれば、より多くの特徴点に対して追跡を行うので、動きベクトルの検出精度が向上する。
【００６６】
また、制御部２０は、４台の撮像装置２で撮像した画像のうち、水平面に対する俯角が最も大きい撮像装置２の画像を移動量検出部１６に供給するように画像読出部１２を制御してもよい。本変形例によれば、車両に近くの高画質な画像に対して特徴点の追跡を行うので、動きベクトルの検出精度が向上する。
【００６７】
また、制御部２０は、４台の撮像装置２で撮像した画像のうち、路面上の白線を最も多く含む画像を移動量検出部１６に供給するように画像読出部１２を制御してもよい。本変形例によれば、特徴点の追跡が容易に行えるので、動きベクトルの検出効率が良くなる。
【００６８】
また、制御部２０は、以上説明した撮像装置２の選択モードを運転者の指示に応じて切り替えてもよい。本変形例によれば、運転者の利便性が向上する。
【符号の説明】
【００６９】
１０  フレームバッファ、１２  画像読出部、１４  画像処理部、１６  移動量検出部、１８  障害物検出部、２０  制御部、２２  画像変換部、２４  画像合成部、２６  変換テーブル記憶部、２８  動き検出部、３０  動き推定部。
【図１】
2010221863.tif 000003
【図２】
2010221863.tif 000004
【図３】
2010221863.tif 000005
【図４】
2010221863.tif 000006