(57)【要約】【課題】自走可能な移動体周辺の俯瞰画像を表示する周辺表示装置において、画像測定部から画像処理部に転送するデータを削減して、俯瞰画像の表示に費やす時間を削減した周辺表示装置を提供する。【解決手段】  画像測定部１０は、ステレオカメラＳＣ１で得られた２次元画像データに基づいて、３次元画像データを算出する３次元化計算部１１と、３次元画像データに、自動車座標系内でのステレオカメラの位置、姿勢を表現する３次元変換行列を適用することで、３次元画像データを自動車座標系で表現された３次元画像データに変換する座標変換部１２と、３次元画像データと自車両の３次元モデルのデータとを合成し、自車両を自動車座標系の原点とし、その周辺に自動車座標系で表現された３次元画像データを配置した俯瞰画像データを生成する画像生成部１３とを備えている。【選択図】図２
2010268369.tif 000002
【特許請求の範囲】
【請求項１】
自走可能な移動体における周辺の画像データを取得するステレオカメラと、
前記画像データに基づいて第１の３次元画像データを算出する３次元化計算部と、
前記第１の３次元画像データの座標系を、前記移動体の外側に仮想的に配置された仮想カメラから俯瞰する移動体座標系に変換して第２の３次元画像データとする座標変換部と、
前記座標変換部から出力された前記第２の３次元画像データに基づいて俯瞰画像データを生成する画像生成部と、を有した複数の画像測定部と、
前記複数の画像測定部からそれぞれ出力される前記俯瞰画像データを１つの画像に統合して表示画像とする画像処理部と、を備える周辺表示装置。
【請求項２】
前記画像生成部は、
前記第２の３次元画像データと前記移動体の３次元モデルのデータとを合成し、前記移動体を原点とし、その周辺に前記第２の３次元画像データを配置して前記俯瞰画像データとする、請求項１記載の周辺表示装置。
【請求項３】
前記画像処理部は、
前記複数の画像測定部からそれぞれ出力される前記俯瞰画像データと、前記移動体の３次元モデルのデータを移動体座標系で表した移動体データとを統合し、前記移動体を原点とし、その周辺に前記俯瞰画像データを配置した統合データを生成する画像統合部を備える、請求項１記載の周辺表示装置。
【請求項４】
前記複数の画像測定部のそれぞれは、
前記ステレオカメラを複数有し、
前記３次元化計算部および前記座標変換部は、前記複数のステレオカメラの個々に対して固有に対応付けられて一連の処理システムを構成し、
前記画像生成部は、前記処理システムのそれぞれから出力される前記第２の３次元画像データを共通に受けて俯瞰画像データを生成する、請求項１記載の周辺表示装置。
【請求項５】
自走可能な移動体における周辺の画像データを取得するステレオカメラと、
前記画像データに基づいて第１の３次元画像データを算出する３次元化計算部と、
前記移動体の外側に仮想的に配置される仮想カメラを、ステレオカメラ座標系で表した仮想カメラデータを含む第２の３次元画像データを生成する変換部と、
前記第２の３次元画像データと前記第１の３次元画像データとに基づいて俯瞰画像データを生成する画像生成部と、を有した複数の画像測定部と、
前記複数の画像測定部からそれぞれ出力される前記俯瞰画像データを１つの画像に統合して表示画像とする画像処理部と、を備える周辺表示装置。
【請求項６】
前記第２の３次元画像データは、
前記移動体の３次元モデルのデータをステレオカメラ座標系で表した移動体データを含み、
前記画像生成部は、
前記第１の３次元画像データと、仮想カメラデータおよび前記移動体データとを合成し、前記移動体を原点とし、その周辺に前記第１の３次元画像データを配置して前記俯瞰画像データとする、請求項５記載の周辺表示装置。
【請求項７】
前記画像処理部は、
前記複数の画像測定部からそれぞれ出力される前記俯瞰画像データと、前記移動体の３次元モデルのデータをステレオカメラ座標系で表した移動体データとを統合し、前記移動体を原点とし、その周辺に前記俯瞰画像データを配置した統合データを生成する画像統合部を備える、請求項５記載の周辺表示装置。
【請求項８】
前記俯瞰画像データは、その構成画素ごとに前記仮想カメラからの距離情報を含む、請求項１または請求項５記載の周辺表示装置。
【請求項９】
前記画像処理部は、
前記俯瞰画像データを１つの画像に統合する際に、重複して存在する画素データについて、前記距離情報を比較し、前記仮想カメラからの距離がより近い値を有する画素データを採用する処理を行う、請求項８記載の周辺表示装置。
【請求項１０】
前記画像生成部は、
前記ステレオカメラで取得した前記画像データが、壁面の画像データである場合、前記画像データの撮影時の前記ステレオカメラの視線方向と、前記画像データの分布とに基づいて計算される前記壁面の向きが、前記仮想カメラから見て裏向きとなる場合は、前記壁面の画像データに該当する領域を半透明として表現する処理を行う、請求項１または請求項５記載の周辺表示装置。
【請求項１１】
前記画像生成部は、
前記ステレオカメラで取得した前記画像データが、前記仮想カメラの視野内に存在しない場合は、該ステレオカメラについては、前記俯瞰画像データを生成しない処理を行う、請求項１または請求項５記載の周辺表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は周辺表示装置に関し、特に、自走可能な移動体の周辺状況を俯瞰的に表示する周辺表示装置に関する。
【背景技術】
【０００２】
複数の撮像手段によって車両周辺の２次元画像を個々に撮像し、それぞれの画像を視点変換して路面を投影面とする複数の俯瞰画像を作成し、当該複数の俯瞰画像を車両周辺に並べるように合成することで、自車両周辺の俯瞰画像を得る種々の技術が開示されている。
【０００３】
例えば、特許文献１には、車両後方を撮影するステレオカメラを設け、ステレオ測定の信頼度に応じて画像合成方法を変えて表示画像を作成する方法が開示されている。
【０００４】
また、特許文献２では、ステレオカメラで計測された３次元情報を用いて物体の高さ情報を考慮した疑似画像（高さ方向に圧縮した画像）を含んだ俯瞰画像を作成することで視認性の向上を図る技術が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００４−５６７７８号公報
【特許文献２】特開２００６−３３３００９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
車両周辺の画像を３次元的に表示するには、ステレオカメラで取得した２次元画像に基づいて距離情報を含む３次元情報を取得する３次元化計算が必要であり、また、取得した３次元情報に基づいて描画を行う必要があるが、一般的には、各ステレオカメラに対応する３次元情報を画像処理部で統合処理して俯瞰画像を生成している。
【０００７】
しかし、３次元情報はデータ量が多く、ステレオカメラをそれぞれ含む各画像測定部から画像処理部にデータを転送するのに時間を要し、また、統合処理にも時間を要するという問題があった。
【０００８】
本発明は上記のような問題点を解消するためになされたもので、自動車などの自走可能な移動体周辺の俯瞰画像を表示する周辺表示装置において、画像測定部から画像処理部に転送するデータを削減して、俯瞰画像の表示に費やす時間を削減した周辺表示装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明に係る周辺表示装置の第１の態様は、自走可能な移動体における周辺の画像データを取得するステレオカメラと、前記画像データに基づいて第１の３次元画像データを算出する３次元化計算部と、前記第１の３次元画像データの座標系を、前記移動体の外側に仮想的に配置された仮想カメラから俯瞰する移動体座標系に変換して第２の３次元画像データとする座標変換部と、前記座標変換部から出力された前記第２の３次元画像データに基づいて俯瞰画像データを生成する画像生成部とを有した複数の画像測定部と、前記複数の画像測定部からそれぞれ出力される前記俯瞰画像データを１つの画像に統合して表示画像とする画像処理部とを備えている。
【００１０】
本発明に係る周辺表示装置の第２の態様は、前記画像生成部が、前記第２の３次元画像データと前記移動体の３次元モデルのデータとを合成し、前記移動体を原点とし、その周辺に前記第２の３次元画像データを配置して前記俯瞰画像データとする。
【００１１】
本発明に係る周辺表示装置の第３の態様は、前記画像処理部が、前記複数の画像測定部からそれぞれ出力される前記俯瞰画像データと、前記移動体の３次元モデルのデータを移動体座標系で表した移動体データとを統合し、前記移動体を原点とし、その周辺に前記俯瞰画像データを配置した統合データを生成する画像統合部を備えている。
【００１２】
本発明に係る周辺表示装置の第４の態様は、前記複数の画像測定部のそれぞれは、前記ステレオカメラを複数有し、前記３次元化計算部および前記座標変換部は、前記複数のステレオカメラの個々に対して固有に対応付けられて一連の処理システムを構成し、前記画像生成部は、前記処理システムのそれぞれから出力される前記第２の３次元画像データを共通に受けて俯瞰画像データを生成する。
【００１３】
本発明に係る周辺表示装置の第５の態様は、自走可能な移動体における周辺の画像データを取得するステレオカメラと、前記画像データに基づいて第１の３次元画像データを算出する３次元化計算部と、前記移動体の外側に仮想的に配置される仮想カメラを、ステレオカメラ座標系で表した仮想カメラデータを含む第２の３次元画像データを生成する変換部と、前記第２の３次元画像データと前記第１の３次元画像データとに基づいて俯瞰画像データを生成する画像生成部と、を有した複数の画像測定部と、前記複数の画像測定部からそれぞれ出力される前記俯瞰画像データを１つの画像に統合して表示画像とする画像処理部と、を備えている。
【００１４】
本発明に係る周辺表示装置の第６の態様は、前記第２の３次元画像データが、前記移動体の３次元モデルのデータをステレオカメラ座標系で表した移動体データを含み、前記画像生成部は、前記第１の３次元画像データと、仮想カメラデータおよび前記移動体データとを合成し、前記移動体を原点とし、その周辺に前記第１の３次元画像データを配置して前記俯瞰画像データとする。
【００１５】
本発明に係る周辺表示装置の第７の態様は、前記画像処理部が、前記複数の画像測定部からそれぞれ出力される前記俯瞰画像データと、前記移動体の３次元モデルのデータをステレオカメラ座標系で表した移動体データとを統合し、前記移動体を原点とし、その周辺に前記俯瞰画像データを配置した統合データを生成する画像統合部を備えている。
【００１６】
本発明に係る周辺表示装置の第８の態様は、前記俯瞰画像データが、その構成画素ごとに前記仮想カメラからの距離情報を含んでいる。
【００１７】
本発明に係る周辺表示装置の第９の態様は、前記画像処理部が、前記俯瞰画像データを１つの画像に統合する際に、重複して存在する画素データについて、前記距離情報を比較し、前記仮想カメラからの距離がより近い値を有する画素データを採用する処理を行う。
【００１８】
本発明に係る周辺表示装置の第１０の態様は、前記画像生成部が、前記ステレオカメラで取得した前記画像データが、壁面の画像データである場合、前記画像データの撮影時の前記ステレオカメラの視線方向と、前記画像データの分布とに基づいて計算される前記壁面の向きが、前記仮想カメラから見て裏向きとなる場合は、前記壁面の画像データに該当する領域を半透明として表現する処理を行う。
【００１９】
本発明に係る周辺表示装置の第１１の態様は、前記画像生成部が、前記ステレオカメラで取得した前記画像データが、前記仮想カメラの視野内に存在しない場合は、該ステレオカメラについては、前記俯瞰画像データを生成しない処理を行う。
【発明の効果】
【００２０】
本発明に係る周辺表示装置の第１および第２の態様によれば、複数の画像測定部から俯瞰画像データが画像処理部に転送されるので、データ量の大きな３次元情報を転送する場合に比べて、転送時間を削減でき、また、統合処理に要する時間も削減できる。
【００２１】
本発明に係る周辺表示装置の第３の態様によれば、画像測定部から画像処理部に転送するデータ量をさらに削減することが可能となる。
【００２２】
本発明に係る周辺表示装置の第４の態様によれば、画像生成部を共通化することができ、システム構成を簡素化することができる。
【００２３】
本発明に係る周辺表示装置の第５および第６の態様によれば、複数の画像測定部から俯瞰画像データが画像処理部に転送されるので、データ量の大きな３次元情報を転送する場合に比べて、転送時間を削減でき、また、統合処理に要する時間も削減できる。
【００２４】
本発明に係る周辺表示装置の第７の態様によれば、画像測定部から画像処理部に転送するデータ量をさらに削減することが可能となる。
【００２５】
本発明に係る周辺表示装置の第８の態様によれば、統合処理に際して、仮想カメラからの遠近によって、どの画素を採用するかしないかの判断に距離情報を使用することが可能となる。
【００２６】
本発明に係る周辺表示装置の第９の態様によれば、距離情報を使用することで、重複する画素データの取捨選択を行うことができる。
【００２７】
本発明に係る周辺表示装置の第１０の態様によれば、移動体が壁に隠れるような場合でも、移動体を確認することができる。
【００２８】
本発明に係る周辺表示装置の第１１の態様によれば、画像測定部から画像処理部に転送するデータ量をさらに削減することが可能となる。
【図面の簡単な説明】
【００２９】
【図１】ステレオカメラの配置例を示す図である。
【図２】本発明に係る周辺表示装置の実施の形態１の構成を示すブロック図である。
【図３】各ステレオカメラにおけるステレオカメラ座標系と、自車両の自動車座系とを模式的に示す図である。
【図４】自動車座標系で表される３次元画像データを撮影する仮想カメラを模式的に示す図である。
【図５】各ステレオカメラにおける座標系に対して、仮想カメラの位置関係を模式的に示す図である。
【図６】距離情報を用いて仮想カメラからの距離がより近い値を有する画素データを採用する処理を説明するフローチャートである。
【図７】本発明に係る周辺表示装置の実施の形態１の変形例の構成を示すブロック図である。
【図８】本発明に係る周辺表示装置の実施の形態１の変形例の構成を示すブロック図である。
【図９】本発明に係る周辺表示装置の実施の形態２の構成を示すブロック図である。
【図１０】本発明に係る周辺表示装置の実施の形態２の変形例の構成を示すブロック図である。
【図１１】自車両の上方に仮想カメラを配置した例を示す図である。
【図１２】各ステレオカメラの撮影範囲を示す図である。
【図１３】各ステレオカメラで撮影された２次元画像を示す図である。
【図１４】画像生成部において生成された俯瞰画像を示す図である。
【図１５】自車両の側面上方に仮想カメラを配置した例を示す図である。
【図１６】画像生成部において生成された俯瞰画像を示す図である。
【図１７】自車両の側面上方に仮想カメラを配置した例を示す図である。
【図１８】各ステレオカメラで撮影された２次元画像を示す図である。
【図１９】画像生成部において生成された俯瞰画像を示す図である。
【図２０】画像生成部において生成された俯瞰画像を示す図である。
【図２１】統合された俯瞰画像を示す図である。
【図２２】統合された俯瞰画像を示す図である。
【図２３】統合された俯瞰画像を示す図である。
【図２４】統合された俯瞰画像を示す図である。
【図２５】画像生成部において生成された俯瞰画像を示す図である。
【図２６】ステレオカメラの他の配置例を示す図である。
【発明を実施するための形態】
【００３０】
＜実施の形態１＞
＜装置構成１＞
図１は、本発明に係る周辺表示装置を搭載した車両ＶＣにおけるステレオカメラの配置例を示す図である。
【００３１】
図１において、車両ＶＣには、前方、左右および後方の画像を取得する４台のステレオカメラが搭載されている。すなわち、前方の画像を取得するステレオカメラＳＣ１、前方に対して右側の画像を取得するステレオカメラＳＣ２、後方の画像を取得するステレオカメラＳＣ３および前方に対して左側の画像を取得するステレオカメラＳＣ４を備えている。
【００３２】
このようなシステムを用いることで、自車両の周辺の画像データを取得し、それを視点を変えて自車両の上方から見た俯瞰図に変更することが可能となる。
【００３３】
なお、各カメラの実際の配置位置は車種によって異なるが、例えば、ステレオカメラＳＣ１はルームミラーの位置に配置され、ステレオカメラＳＣ２およびＳＣ４は、それぞれ、右および左のサイドミラーの位置に配置され、ステレオカメラＳＣ３は、リヤバンパーの位置などに配置される。なお、上記配置は一例であり、ステレオカメラの配置はこれに限定されるものではない。
【００３４】
図２は、本発明に係る周辺表示装置１００の構成を示すブロック図である。図２に示すように周辺表示装置１００は、ステレオカメラＳＣ１、ＳＣ２、ＳＣ３およびＳＣ４をそれぞれ含む画像測定部１０、２０、３０および４０と、画像測定部１０〜４０からそれぞれ出力される３次元画像データを統合処理して表示画像を生成する画像処理部５０と、自車両の３次元モデルのデータを格納する記憶部７と、仮想カメラの視点位置の情報を含む仮想カメラ情報を格納する記憶部８とを主たる構成として備えている。
【００３５】
画像測定部１０は、ステレオカメラＳＣ１で得られた２次元画像データに基づいて、３次元画像データを算出する３次元化計算部１１と、３次元化計算部１１で計算された３次元画像データ（第１の３次元画像データ）に、自動車座標系（移動体座標系）内でのステレオカメラの位置、姿勢を表現する３次元変換行列を適用することで、ステレオカメラ座標系で表現された３次元画像データを自動車座標系で表現された３次元画像データ（第２の３次元画像データ）に変換する座標変換部１２と、座標変換部１２から出力された自動車座標系で表現された３次元画像データと、記憶部７に格納された自車両の３次元モデルのデータとを合成し、自車両を自動車座標系の原点とし、その周辺に自動車座標系で表現された３次元画像データを配置した俯瞰画像データを生成する画像生成部１３とを備えている。また、座標変換部１２には、３次元変換行列Ｍａｔ１を格納する記憶部１４が接続されている。
【００３６】
画像測定部２０も同じ構成を有し、ステレオカメラＳＣ２、３次元化計算部２１、座標変換部２２と、画像生成部２３および記憶部２４を備えている。
【００３７】
画像測定部３０も同じ構成を有し、ステレオカメラＳＣ３、３次元化計算部３１、座標変換部３２と、画像生成部３３および記憶部３４を備えている。
【００３８】
画像測定部４０も同じ構成を有し、ステレオカメラＳＣ４、３次元化計算部４１、座標変換部４２と、画像生成部４３および記憶部４４を備えている。
【００３９】
画像処理部５０は、画像測定部１０〜４０のそれぞれの画像生成部１３、２３、３３および４３から出力される俯瞰画像データを１つの画像に統合して３次元画像データ（統合データ）を生成する画像統合部５と、画像統合部５で生成された３次元画像データを表示画像として表示する画像表示部６とを備えている。
【００４０】
＜基本動作＞
次に、上述した構成を有する周辺表示装置１００の基本動作について説明する。
【００４１】
ステレオカメラＳＣ１〜ＳＣ４は、何れも２台のカメラで異なる視点から同時に撮影を行い、３次元化計算部１１、２１、３１および４１のそれぞれでは、三角測量の原理に基づいて、対応するステレオカメラで得られた２つの画像の各画素を相互に対応付けし（対応点探索）、その得られた対応点の組のそれぞれについて視差、焦点距離、基線長などのパラメータから、各対応点の組についての３次元位置を求めることで３次元画像データを算出し、当該３次元画像データに対応するテクスチャ画像と共に出力する。
【００４２】
３次元化計算部１１、２１、３１および４１から出力される３次元画像データは、ステレオカメラ座標系で表現されているので、自動車座標系で表現された３次元画像データに変換するために座標変換部１２、２２、３２および４２において座標変換を行う。
【００４３】
図３には、ステレオカメラＳＣ１〜ＳＣ４のそれぞれにおけるステレオカメラ座標系と、自車両ＶＣの自動車座標系とを模式的に示している。
【００４４】
図３において、ステレオカメラ座標系はｘ軸、ｙ軸で表され、自動車座標系はＸ軸、Ｙ軸で表されており、ステレオカメラ座標系は、ステレオカメラＳＣ１〜ＳＣ４のそれぞれで異なっている。
【００４５】
また、図４には自動車座標系で表される３次元画像データを撮影する仮想カメラＶＣＡを模式的に示しており、図５にはステレオカメラＳＣ１〜ＳＣ４のそれぞれの座標系に対して、仮想カメラＶＣＡの位置関係を模式的に示している。
【００４６】
すなわち、図５の（ａ）部には、ステレオカメラＳＣ１の座標系に対して仮想カメラＶＣＡがどのような位置関係にあるかを示しており、矢印ＡＲの示す方向が車両前部方向である。
【００４７】
同様に、図５の（ｂ）部には、ステレオカメラＳＣ２の座標系に対して仮想カメラＶＣＡがどのような位置関係にあるかを示しており、図５の（ｃ）部には、ステレオカメラＳＣ３の座標系に対して仮想カメラＶＣＡがどのような位置関係にあるかを示しており、図５の（ｄ）部には、ステレオカメラＳＣ４の座標系に対して仮想カメラＶＣＡがどのような位置関係にあるかを示している。
【００４８】
この座標変換は、３次元化計算部１１、２１、３１および４１から出力される３次元画像データに対して、それぞれ所定の３次元変換行列Ｍａｔ１、Ｍａｔ２、Ｍａｔ３およびＭａｔ４を適用することで実行される。
【００４９】
座標変換部１２、２２、３２および４２から出力される自動車座標系で表現された３次元画像データは、それぞれ画像生成部１３、２３、３３および４３に与えられる。
【００５０】
画像生成部１３、２３、３３および４３では、自動車座標系で表現された３次元画像データと、テクスチャ画像と、記憶部７から与えられる自車両の３次元モデルのデータとを合成し、自車両を自動車座標系の原点とし、その周辺に自動車座標系で表現された３次元画像データを配置した俯瞰画像データを生成する。
【００５１】
この際、生成する画像の各画素ごとに仮想カメラからの距離情報を持たせる構成としても良い。この距離情報は、画像統合部５での統合処理に際して、仮想カメラからの遠近によって、どの画素を採用するかしないかの判断に使用することができる。
【００５２】
このように、周辺表示装置１００においては、画像測定部１０、２０、３０および４０に、それぞれ画像生成部１３、２３、３３および４３を備え、それぞれで俯瞰画像データを生成して、そのデータを画像処理部５０に転送して統合処理するので、データ量の大きな３次元情報を転送する場合に比べて、転送時間を削減でき、また、統合処理に要する時間も削減できる。
【００５３】
また、画像生成部１３、２３、３３および４３では、それぞれ対応するステレオカメラＳＣ１〜ＳＣ４で撮影した画像についてのみ俯瞰画像データを生成するので、俯瞰画像において各ステレオカメラの撮影範囲外の画素については、有効な画像データが存在しないものとして無効値を設定する。
【００５４】
また、画像生成部１３、２３、３３および４３では、ステレオカメラで測定（撮影）された測定データが、例えば壁面を測定したデータである場合、この測定データの測定時のステレオカメラの視線方向と、測定データの分布とに基づいて計算される当該測定データの存在する面の向きが、仮想カメラから見て裏向きとなる場合は、当該測定データに該当する領域を画像に変換する際に、仮想カメラから見た側に壁面を表示することや、仮想カメラから見た側の壁面を、例えば画素値に反映させるデータを間引くなどして壁面として表示される画像を半透明にする処理を行うことも可能である。
【００５５】
また、仮想カメラの視野内に測定データが存在しないステレオカメラについては、俯瞰画像データを生成しないものとする。
【００５６】
画像生成部１３、２３、３３および４３で生成された俯瞰画像データは、画像統合部５に与えられて１つの画像に統合されるが、このとき、記憶部８に格納された仮想カメラ情報に含まれる仮想カメラの視点位置の情報に基づいて統合が実行される。
【００５７】
画像統合部５で統合された３次元画像データは、画像表示部６に与えられて、仮想カメラから見た俯瞰画像として表示される。
【００５８】
ここで、画像統合部５では、最終的に得られる表示画像における特定の有効画素が、新たに得られた統合前の俯瞰画像データに重複して存在している場合、当該重複する画素が有する仮想カメラからの距離情報と、表示画像における特定の有効画素の仮想カメラからの距離情報とを比較し、より仮想カメラからの距離が近い値を有する画素のデータを採用する処理を行うこととしても良い。当該処理のフローチャートを図６に示す。
【００５９】
図６において、ステップＳ１において、最終的に得られる表示画像における特定の画素Ｐｒ（ｘ，ｙ）を取得する。
【００６０】
次に、ステップＳ２において、統合前の４つの俯瞰画像データ（４つのステレオカメラで得られたそれぞれの画像について仮想カメラ画像に座標変換したデータ）から、画素Ｐｒに対応する画素Ｐｎ（ｘ，ｙ）が存在するか否かを判定する。ここで、ｎは、４つの俯瞰画像データの番号を表しており、１〜４の何れかの数字となる。
【００６１】
ステップＳ２において、画素Ｐｒに対応する画素Ｐｎ（ｘ，ｙ）が存在すると判定された場合、何れかの画素Ｐｎ（ｘ，ｙ）を選択し、ステップＳ３において画素Ｐｎ（ｘ，ｙ）が無効画素であるか否かの判定を行う。
【００６２】
一方、ステップＳ２において、画素Ｐｒに対応する画素Ｐｎ（ｘ，ｙ）が存在しないと判定された場合は、処理を終了する。
【００６３】
ステップＳ３において、画素Ｐｎ（ｘ，ｙ）が無効画素である場合はステップＳ２の処理に戻り、他の俯瞰画像データにおいて、画素Ｐｒに対応する画素Ｐｎ（ｘ，ｙ）が存在するか否かを判定する。
【００６４】
一方、ステップＳ３において、画素Ｐｎ（ｘ，ｙ）が有効画素であると判定された場合は、ステップＳ４において、画素Ｐｒの仮想カメラからの距離情報と、画素Ｐｎの仮想カメラからの距離情報とを比較し、画素Ｐｎの仮想カメラからの距離の方が、予め定めた閾値以上近いと判定された場合は、画素Ｐｒの画素値を画素Ｐｎの画素値で置き換え、画素Ｐｒの距離情報を、画素Ｐｎの距離情報に置き換える。
【００６５】
一方、ステップＳ４において、画素Ｐｒの距離情報と画素Ｐｎの距離情報との差が、予め定めた閾値よりも小さい場合は、画素値および距離情報の置き換えは行わず、ステップＳ２以下の処理を繰り返す。
【００６６】
このような処理を行うことで、重複する画素データの取捨選択を行うことができる。
【００６７】
＜装置構成２＞
以上説明した周辺表示装置１００に代えて、図７に示す周辺表示装置１００Ａの構成を採ることも可能である。なお、図７に示す周辺表示装置１００Ａにおいて、図２に示した周辺表示装置１００と同一の構成については同一の符号を付し、重複する説明は省略する。
【００６８】
図２に示した周辺表示装置１００においては、画像測定部１０、２０、３０および４０のそれぞれの画像生成部１３、２３、３３および４３において、自動車座標系で表現された３次元画像データと、記憶部７に格納された自車両の３次元モデルのデータを自動車座標系で表現した自車両データとを合成し、自車両を自動車座標系の原点とし、その周辺に自動車座標系で表現された３次元画像データを配置した俯瞰画像データを生成するものとして説明したが、図７に示す周辺表示装置１００Ａにおいては、自車両の３次元モデルのデータとの合成は、画像処理部５０Ａに設けた画像生成部９において行う構成となっている。
【００６９】
すなわち、図７に示すように、記憶部７に格納された自車両の３次元モデルのデータは、画像処理部５０Ａに設けた画像生成部９に与えられる構成となっており、画像生成部９で自車両の３次元モデルのデータを俯瞰画像データとし、画像生成部１３、２３、３３および４３において生成された俯瞰画像データとの統合を画像処理部５０Ａに設けた画像統合部５で行う構成となっている。また、仮想カメラ情報も、画像生成部９に与えられる構成となっている。
【００７０】
このような構成を採ることで、画像測定部から画像処理部に転送するデータ量をさらに削減することが可能となる。
【００７１】
＜装置構成３＞
図２に示した周辺表示装置１００に代えて、図８に示す周辺表示装置１００Ｂの構成を採ることも可能である。なお、図８に示す周辺表示装置１００Ｂにおいて、図２に示した周辺表示装置１００と同一の構成については同一の符号を付し、重複する説明は省略する。
【００７２】
図２に示した周辺表示装置１００においては、画像測定部１０、２０、３０および４０が、それぞれ画像生成部１３、２３、３３および４３を有し、ステレオカメラＳ１〜Ｓ４で得られた２次元画像データについてそれぞれ、俯瞰画像データを生成するものとして説明したが、図８に示す周辺表示装置１００Ｂにおいては、複数のステレオカメラで得られた２次元画像データを１つにまとめて俯瞰画像データを生成する構成となっている。
【００７３】
すなわち、図８に示すように周辺表示装置１００Ｂは、ステレオカメラＳＣ１およびＳＣ２を含む画像測定部１０Ａと、ステレオカメラＳＣ３およびＳＣ４を含む画像測定部２０Ａと、画像測定部１０Ａおよび２０Ａからそれぞれ出力される３次元画像データを統合処理して表示画像を生成する画像処理部５０Ａと、自車両の３次元モデルのデータを格納する記憶部７と、仮想カメラの視点位置の情報を含む仮想カメラ情報を格納する記憶部８とを主たる構成として備えている。
【００７４】
画像測定部１０Ａは、ステレオカメラＳＣ１からの２次元画像データを処理するための一連の処理システムを構成する３次元化計算部１１、座標変換部１２および記憶部１４と、ステレオカメラＳＣ２からの２次元画像データを処理するための一連の処理システムを構成する３次元化計算部２１、座標変換部２２および記憶部２４と、座標変換部１２および２２の出力に基づいて俯瞰画像データを生成する画像生成部１３１とを備えている。
【００７５】
画像測定部２０Ａも同様であり、ステレオカメラＳＣ３からの２次元画像データを処理するための一連の処理システムを構成する３次元化計算部２１、座標変換部３２および記憶部３４と、ステレオカメラＳＣ４からの２次元画像データを処理するための一連の処理システムを構成する３次元化計算部４１、座標変換部４２および記憶部４４と、座標変換部３２および４２の出力に基づいて俯瞰画像データを生成する画像生成部２３１とを備えている。
【００７６】
このような構成を採ることで、画像生成部を共通化することができ、システム構成を簡素化することができる。
【００７７】
また、図８に示す周辺表示装置１００Ｂにおいては、自車両の３次元モデルのデータとの合成は、画像処理部５０Ａに設けた画像生成部９において行う構成となっている。
【００７８】
すなわち、図８に示すように、記憶部７に格納された自車両の３次元モデルのデータは、画像処理部５０Ａに設けた画像生成部９に与えられる構成となっており、画像生成部１３１および２３１においては、自動車座標系で表現された３次元画像データを俯瞰画像データとして生成し、それぞれから画像処理部５０Ａに設けた画像生成部９に与える構成となっている。
【００７９】
そして、それぞれの俯瞰画像データと、自車両の３次元モデルのデータとの合成は画像生成部９において行う構成となっている。
【００８０】
このような構成を採ることで、画像測定部から画像処理部に転送するデータ量をさらに削減することが可能となる。
【００８１】
＜実施の形態２＞
＜装置構成１＞
図９は、本発明に係る周辺表示装置２００の構成を示すブロック図である。図２に示すように周辺表示装置１００は、ステレオカメラＳＣ１、ＳＣ２、ＳＣ３およびＳＣ４をそれぞれ含む画像測定部１０１、２０１、３０１および４０１と、画像測定部１０１〜４０１からそれぞれ出力される３次元画像データを統合処理して表示画像を生成する画像処理部５０と、自車両の３次元モデルのデータを格納する記憶部７と、仮想カメラの視点位置の情報を含む仮想カメラ情報を格納する記憶部８とを主たる構成として備えている。
【００８２】
画像測定部１０１は、ステレオカメラＳＣ１で得られた２次元画像データに基づいて、３次元画像データを算出する３次元化計算部１１と、自動車座標系（移動体座標系）で表現されている仮想カメラ情報（記憶部８に格納）および自車両の３次元モデルのデータ（記憶部７に格納）を受け、自動車座標系内での各ステレオカメラの位置、姿勢を表現する３次元変換行列（Ｍａｔ１１）を適用することで、仮想カメラの位置、姿勢をステレオカメラ座標系（図５）で表現した仮想カメラデータと、自車両の３次元モデルをステレオカメラ座標系で表現した自車両データを生成するパラメータ変換部１５と、パラメータ変換部１５から出力されたステレオカメラ座標系で表現された、仮想カメラデータおよび自車両データと、３次元化計算部１１から出力されるステレオカメラ座標系で表現された３次元画像データとを合成し、ステレオカメラ座標系で表される仮想カメラから撮影した俯瞰画像データを生成する画像生成部１３とを備えている。
【００８３】
また、パラメータ変換部１５には、３次元変換行列Ｍａｔ１１を格納する記憶部１４が接続されている。
【００８４】
画像測定部２０１も同じ構成を有し、ステレオカメラＳＣ２、３次元化計算部２１、パラメータ変換部２５と、画像生成部２３および３次元変換行列Ｍａｔ２１を格納する記憶部２４を備えている。
【００８５】
画像測定部３０１も同じ構成を有し、ステレオカメラＳＣ３、３次元化計算部３１、パラメータ変換部３５と、画像生成部３３および３次元変換行列Ｍａｔ３１を格納する記憶部３４を備えている。
【００８６】
画像測定部４０１も同じ構成を有し、ステレオカメラＳＣ４、３次元化計算部４１、パラメータ変換部４５と、画像生成部４３および３次元変換行列Ｍａｔ４１を格納する記憶部４４を備えている。
【００８７】
画像処理部５０は、画像測定部１０１〜４０１のそれぞれの画像生成部１３、２３、３３および４３から出力される俯瞰画像データを１つの画像に統合して３次元画像データ（統合データ）を生成する画像統合部５と、画像統合部５で生成された３次元画像データを表示画像として表示する画像表示部６とを備えている。
【００８８】
このような構成を採ることで、画像生成部１３、２３、３３および４３のそれぞれで俯瞰画像データを生成して、そのデータを画像処理部５０に転送して統合処理するので、データ量の大きな３次元情報を転送する場合に比べて、転送時間を削減でき、また、統合処理に要する時間も削減できる。
【００８９】
＜基本動作＞
次に、上述した構成を有する周辺表示装置２００の基本動作について説明する。基本的には図２に示した周辺表示装置１００の基本動作と同じであるが、画像生成部１３、２３、３３および４３では、３次元化計算部１１、２１、３１および４１から出力される３次元画像データに、座標変換部１２、２２、３２および４２でステレオカメラ座標系に座標変換された自車両の３次元モデルを合成し、ステレオカメラ座標系で表現される仮想カメラから撮影した俯瞰画像データを生成するという点が異なっている。
【００９０】
ステレオカメラＳＣ１〜ＳＣ４のそれぞれのステレオカメラ座標系を中心とした場合の仮想カメラＶＣＡの位置関係は図５において示されており、画像測定部１０１〜４０１のそれぞれにおいては、各ステレオカメラ座標系で得られた３次元画像データと、自車両の３次元モデルを合成するので、画像測定部１０１においては、例えば図５の（ａ）部に示すように自車両ＶＣの前部方向を向いた仮想カメラＶＣＡによって撮影された俯瞰画像データが得られることとなる。同様に、画像測定部１０２においては、例えば図５の（ｂ）部に示すように自車両ＶＣの前部方向とは垂直な方向を向いた仮想カメラＶＣＡによって撮影された俯瞰画像データが得られ、画像測定部１０３においては、例えば図５の（ｃ）部に示すように自車両ＶＣの前部方向とは反対方向を向いた仮想カメラＶＣＡによって撮影された俯瞰画像データが得られ、画像測定部１０４においては、例えば図５の（ｄ）部に示すように自車両ＶＣの前部方向とは垂直な方向を向いた仮想カメラＶＣＡによって撮影された俯瞰画像データが得られ、これらを画像処理部５０において統合することで、周辺表示装置１００と同様の仮想カメラから見た俯瞰画像を得ることができる。
【００９１】
＜装置構成２＞
以上説明した周辺表示装置２００に代えて、図１０に示す周辺表示装置２００Ａの構成を採ることも可能である。なお、図１０に示す周辺表示装置２００Ａにおいて、図２に示した周辺表示装置１００と同一の構成については同一の符号を付し、重複する説明は省略する。
【００９２】
図９に示した周辺表示装置２００においては、画像測定部１０１、２０１、３０１および４０１それぞれの画像生成部１３、２３、３３および４３において、ステレオカメラ座標系で表現された自車両の３次元モデルのデータをステレオカメラ座標系で表現した自車両データと、３次元化計算部１１から出力されるステレオカメラ座標系で表現された３次元画像データとを合成して、ステレオカメラ座標系で表現される仮想カメラから撮影した俯瞰画像データを生成するものとして説明したが、図１０に示す周辺表示装置２００Ａにおいては、自車両の３次元モデルのデータとの合成は、画像処理部５０Ａに設けた画像統合部５において行う構成となっている。
【００９３】
すなわち、図１０に示すように、記憶部７に格納された自車両の３次元モデルのデータは、画像処理部５０Ａに設けた画像生成部９に与えられて、ステレオカメラ座標系で表現された自車両データとされ、画像生成部１３、２３、３３および４３においては、ステレオカメラ座標系で表現された３次元画像データを俯瞰画像データとして生成し、それぞれから画像処理部５０Ａに設けた画像生成部９に与えられ、それぞれの俯瞰画像データと、自車両データとは画像統合部５において統合される構成となっている。また、仮想カメラ情報は、画像生成部９にも与えられる構成となっている。
【００９４】
このような構成を採ることで、画像測定部から画像処理部に転送するデータ量をさらに削減することが可能となる。
【００９５】
＜仮想カメラによる俯瞰画像＞
以上説明した実施の形態１および２の周辺表示装置で得られる俯瞰画像のバリエーションについて、以下に説明する。
【００９６】
＜俯瞰画像の例１＞
図１１は、自車両ＶＣの上方に仮想カメラＶＣＡを配置した場合であって、自車両ＶＣの前方に対して左側に壁ＷＬが接近して存在する状況を示している。このような状況において、ステレオカメラＳＣ１〜ＳＣ４のそれぞれの撮影範囲を図１２に示す。
【００９７】
図１２において、ステレオカメラＳＣ１の撮影範囲を領域Ｒ１として示し、ステレオカメラＳＣ２の撮影範囲を領域Ｒ２として示し、ステレオカメラＳＣ３の撮影範囲を領域Ｒ３として示し、ステレオカメラＳＣ４の撮影範囲を領域Ｒ４として示している。
【００９８】
そして、ステレオカメラＳＣ１〜ＳＣ４で撮影された２次元画像は図１３に示される画像として表すことができる。
【００９９】
すなわち、図１３の（ａ）部に示すように、ステレオカメラＳＣ１で撮影された画像には、壁ＷＬの前方側端部が写っており、図１３の（ｂ）部に示すように、ステレオカメラＳＣ２で撮影された画像には、壁ＷＬは写っていない。また、図１３の（ｃ）部に示すように、ステレオカメラＳＣ３で撮影された画像には、壁ＷＬの後方側端部が写っており、図１３の（ｄ）部に示すように、ステレオカメラＳＣ４で撮影された画像には、連続する壁ＷＬが写っている。
【０１００】
図２に示した周辺表示装置１００を例に採れば、このような画像の２次元画像データに基づいて、３次元画像データを算出し、３次元画像データに、自動車座標系内でのステレオカメラの位置、姿勢を表現する３次元変換行列を適用することで、ステレオカメラ座標系で表現された３次元画像データを自動車座標系で表現された３次元画像データに変換し、画像生成部において、自車両の３次元モデルのデータと合成して、自車両を自動車座標系の原点とし、その周辺に自動車座標系で表現された３次元画像データを配置した俯瞰画像データが生成される。
【０１０１】
図１４には、周辺表示装置１００の画像生成部１３、２３、３３および４３において生成された俯瞰画像を示す。
【０１０２】
先に説明したように、画像生成部１３、２３、３３および４３では、それぞれ対応するステレオカメラＳＣ１〜ＳＣ４で撮影した画像についてのみ俯瞰画像データを生成するので、俯瞰画像において各ステレオカメラの撮影範囲外の画素については、無効値を設定する。従って、ステレオカメラＳＣ１で撮影した画像についての俯瞰画像データは、図１４の（ａ）部に示されるように、ステレオカメラＳＣ１の撮影範囲を示す領域Ｒ１以外の画素は無効画素となっており、黒く塗り潰して示されている。
【０１０３】
同様に、ステレオカメラＳＣ２で撮影した画像についての俯瞰画像データは、図１４の（ｂ）部に示されるように、ステレオカメラＳＣ２の撮影範囲を示す領域Ｒ２以外の画素は無効画素となっており、黒く塗り潰して示されている。
【０１０４】
また、ステレオカメラＳＣ３で撮影した画像についての俯瞰画像データは、図１４の（ｃ）部に示されるように、ステレオカメラＳＣ３の撮影範囲を示す領域Ｒ３以外の画素は無効画素となっており、黒く塗り潰して示されている。
【０１０５】
また、ステレオカメラＳＣ４で撮影した画像についての俯瞰画像データは、図１４の（ｄ）部に示されるように、ステレオカメラＳＣ４の撮影範囲を示す領域Ｒ４以外の画素は無効画素となっており、黒く塗り潰して示されている。
【０１０６】
このような、俯瞰画像データを画像処理部５０に転送することで、転送すべきデータ量を削減することが可能となる。
【０１０７】
＜俯瞰画像の例２＞
図１５は、自車両ＶＣの前方に対して右側面の外方に仮想カメラＶＣＡを配置した場合であって、自車両ＶＣの前方に対して左側に壁ＷＬが接近して存在する状況を示している。このような状況において、ステレオカメラＳＣ１〜ＳＣ４（図１）で撮影された画像は図１３に示されたものと同じとなるが、例えば、周辺表示装置１００の画像生成部１３、２３、３３および４３において生成された俯瞰画像は、図１６に示される画像として表すことができる。
【０１０８】
すなわち、ステレオカメラＳＣ１で撮影した画像についての俯瞰画像データは、図１６の（ａ）部に示されるように、ステレオカメラＳＣ１の撮影範囲を示す領域Ｒ１以外の画素は無効画素となっており、黒く塗り潰して示されている。なお、領域Ｒ１には壁ＷＬの壁面が含まれるので、当該壁面は有効画素として示されている。
【０１０９】
同様に、ステレオカメラＳＣ２で撮影した画像についての俯瞰画像データは、図１６の（ｂ）部に示されるように、ステレオカメラＳＣ２の撮影範囲を示す領域Ｒ２以外の画素は無効画素となっており、黒く塗り潰して示されている。なお、領域Ｒ２には壁ＷＬは含まれていない。
【０１１０】
ステレオカメラＳＣ３で撮影した画像についての俯瞰画像データは、図１６の（ｃ）部に示されるように、ステレオカメラＳＣ３の撮影範囲を示す領域Ｒ３以外の画素は無効画素となっており、黒く塗り潰して示されている。なお、領域Ｒ３には壁ＷＬの壁面が含まれるので、当該壁面は有効画素として示されている。
【０１１１】
ステレオカメラＳＣ４で撮影した画像についての俯瞰画像データは、図１６の（ｄ）部に示されるように、ステレオカメラＳＣ４の撮影範囲を示す領域Ｒ４以外の画素は無効画素となっており、黒く塗り潰して示されている。なお、領域Ｒ４には壁ＷＬの壁面が含まれるので、当該壁面は有効画素として示されている。
【０１１２】
＜俯瞰画像の例３＞
図１７は、自車両ＶＣの後方上方に仮想カメラＶＣＡを配置した場合であって、自車両ＶＣの前方に対して左右に壁ＷＬが接近して存在する状況を示している。このような状況において、ステレオカメラＳＣ１〜ＳＣ４（図１）で撮影された画像を図１８に示す。
【０１１３】
すなわち、図１８の（ａ）部に示すように、ステレオカメラＳＣ１で撮影された画像には、左右の壁ＷＬのそれぞれの前方側端部が写っており、図１８の（ｂ）部に示すように、ステレオカメラＳＣ２で撮影された画像には、連続する右側の壁ＷＬが写っている。また、図１８の（ｃ）部に示すように、ステレオカメラＳＣ３で撮影された画像には、左右の壁ＷＬの後方側端部が写っており、図１８の（ｄ）部に示すように、ステレオカメラＳＣ４で撮影された画像には、連続する左側の壁ＷＬが写っている。
【０１１４】
ここで、先に説明したように、画像生成部１３、２３、３３および４３では、ステレオカメラで測定（撮影）された測定データが、例えば壁面を測定したデータである場合、この測定データの測定時のステレオカメラの視線方向と、測定データの分布とに基づいて計算される当該測定データの存在する面の向きが、仮想カメラから見て裏向きとなる場合、すなわち仮想カメラＶＣＡが図１６に示すような位置にある場合は、当該測定データに該当する領域を画像に変換する際に、仮想カメラから見た側に壁面を表示する処理を行うことが可能であるので、図１８に示した画像データは、図２に示した周辺表示装置１００を例に採れば、図１９に示される俯瞰画像として表すことができる。
【０１１５】
すなわち、ステレオカメラＳＣ１で撮影した画像についての俯瞰画像データは、図１９の（ａ）部に示されるように、ステレオカメラＳＣ１の撮影範囲を示す領域Ｒ１以外の画素は無効画素となっており、黒く塗り潰して示されている。なお、領域Ｒ１には左側の壁ＷＬの壁面が含まれるので、当該壁面は有効画素として示されている。
【０１１６】
同様に、ステレオカメラＳＣ２で撮影した画像についての俯瞰画像データは、図１９の（ｂ）部に示されるように、ステレオカメラＳＣ２の撮影範囲を示す領域Ｒ２以外の画素は無効画素となっており、黒く塗り潰して示されている。なお、領域Ｒ２には連続する右側の壁ＷＬの壁面が含まれるので、当該壁面は有効画素とし、仮想カメラから見た側に壁面を表示している。
【０１１７】
ステレオカメラＳＣ３で撮影した画像についての俯瞰画像データは、図１９の（ｃ）部に示されるように、ステレオカメラＳＣ３の撮影範囲を示す領域Ｒ３以外の画素は無効画素となっており、黒く塗り潰して示されている。なお、領域Ｒ３には右側の壁ＷＬの壁面が含まれるので、当該壁面は有効画素として示されている。
【０１１８】
ステレオカメラＳＣ４で撮影した画像についての俯瞰画像データは、図１９の（ｄ）部に示されるように、ステレオカメラＳＣ４の撮影範囲を示す領域Ｒ４以外の画素は無効画素となっており、黒く塗り潰して示されている。なお、領域Ｒ４には右側の壁ＷＬの壁面が含まれるので、当該壁面は有効画素として示されている。
【０１１９】
＜俯瞰画像の例４＞
また、先に説明したように、画像生成部１３、２３、３３および４３では、ステレオカメラで測定（撮影）された測定データが、例えば壁面を測定したデータである場合、この測定データの測定時のステレオカメラの視線方向と、測定データの分布とに基づいて計算される当該測定データの存在する面の向きが、仮想カメラから見て裏向きとなる場合、すなわち仮想カメラＶＣＡが図１６に示すような位置にある場合は、当該測定データに該当する領域を画像に変換する際に、仮想カメラから見た側の壁面を、画素値に反映させるデータを間引くなどして壁面として表示される画像を半透明にする処理を行うことも可能であるので、図１８に示した画像データは、図２に示した周辺表示装置１００を例に採れば、図２０に示される俯瞰画像として表すことができる。
【０１２０】
すなわち、ステレオカメラＳＣ１で撮影した画像についての俯瞰画像データは、図２０の（ａ）部に示されるように、ステレオカメラＳＣ１の撮影範囲を示す領域Ｒ１以外の画素は無効画素となっており、黒く塗り潰して示されている。なお、領域Ｒ１には左側の壁ＷＬの壁面が含まれるので、当該壁面は有効画素として示されている。
【０１２１】
同様に、ステレオカメラＳＣ２で撮影した画像についての俯瞰画像データは、図２０の（ｂ）部に示されるように、ステレオカメラＳＣ２の撮影範囲を示す領域Ｒ２以外の画素は無効画素となっており、黒く塗り潰して示されている。なお、領域Ｒ２には連続する右側の壁ＷＬの壁面が含まれるので、当該壁面は有効画素とし、仮想カメラから見た側に壁面を表示しているが、ここでは、データを間引くなどして壁面として表示される画像を半透明にして表示している。
【０１２２】
ステレオカメラＳＣ３で撮影した画像についての俯瞰画像データは、図２０の（ｃ）部に示されるように、ステレオカメラＳＣ３の撮影範囲を示す領域Ｒ３以外の画素は無効画素となっており、黒く塗り潰して示されている。なお、領域Ｒ３には右側の壁ＷＬの壁面が含まれるので、当該壁面は有効画素として示されている。
【０１２３】
ステレオカメラＳＣ４で撮影した画像についての俯瞰画像データは、図２０の（ｄ）部に示されるように、ステレオカメラＳＣ４の撮影範囲を示す領域Ｒ４以外の画素は無効画素となっており、黒く塗り潰して示されている。なお、領域Ｒ４には右側の壁ＷＬの壁面が含まれるので、当該壁面は有効画素として示されている。
【０１２４】
以上説明した、例１〜例４の俯瞰画像を統合した俯瞰画像を図２１〜図２４に示す。すなわち、図２１は、図１４の（ａ）部〜（ｄ）部に示した俯瞰画像を統合した図であり、図２２は、図１６の（ａ）部〜（ｄ）部に示した俯瞰画像を統合した図であり、図２３は、図１９の（ａ）部〜（ｄ）部に示した俯瞰画像を統合した図であり、図２４は、図２０の（ａ）部〜（ｄ）部に示した俯瞰画像を統合した図である。
【０１２５】
＜俯瞰画像の例５＞
図１１に示したように、自車両ＶＣの上方に仮想カメラＶＣＡを配置した場合であって、自車両ＶＣの前方に対して左側に壁ＷＬが接近して存在する状況において、ステレオカメラＳＣ１〜ＳＣ４（図１）で撮影された画像は図１３に示されたものと同じとなるが、例えば、図８に示す周辺表示装置１００Ｂの画像生成部１３１および２３１において生成された俯瞰画像は、図２５に示される画像として表すことができる。
【０１２６】
すなわち、ステレオカメラＳＣ１およびＳＣ２で撮影した画像についての俯瞰画像データは、図２５の（ａ）部に示されるように、ステレオカメラＳＣ１およびＳＣ２の撮影範囲を示す領域Ｒ１およびＲ２以外の画素は無効画素となっており、黒く塗り潰して示されている。
【０１２７】
同様に、ステレオカメラＳＣ３およびＳＣ４で撮影した画像についての俯瞰画像データは、図２５の（ｂ）部に示されるように、ステレオカメラＳＣ３およびＳＣ４の撮影範囲を示す領域Ｒ３およびＲ４以外の画素は無効画素となっており、黒く塗り潰して示されている。
【０１２８】
＜変形例＞
図１においては、車両ＶＣの４方向に１台ずつステレオカメラを配置した例を示したが、図２６に示されるように、車両ＶＣの４方向に２台ずつステレオカメラを配置する構成としても良い。
【０１２９】
すなわち、図２６に示すように、車両ＶＣの、前方の左右の画像を取得するステレオカメラＳＣ１およびＳＣ２が配置され、前方に対して右側の前方寄りおよび後方寄りの画像を取得するステレオカメラＳＣ３およびＳＣ４が配置され、後方の左右の画像を取得するステレオカメラＳＣ５およびＳＣ６が配置され、前方に対して左側の後方寄りおよび前方寄りの画像を取得するステレオカメラＳＣ７およびＳＣ８が配置されている。
【０１３０】
このようなシステムを用いることで、より、死角の少ない周辺の画像データを取得することが可能となる。
【符号の説明】
【０１３１】
５  画像統合部
１１，２１，３１，４１  ３次元化計算部
１２，２２，３２，４２  座標変換部
１３，２３，３３，４３  画像生成部
１５，２５，３５，４５  変換部
１０〜４０  画像測定部
５０，５０Ａ  画像処理部
ＳＣ１〜ＳＣ４  ステレオカメラ
【図１】
2010268369.tif 000003
【図２】
2010268369.tif 000004
【図３】
2010268369.tif 000005
【図４】
2010268369.tif 000006
【図５】
2010268369.tif 000007
【図６】
2010268369.tif 000008
【図７】
2010268369.tif 000009
【図８】
2010268369.tif 000010
【図９】
2010268369.tif 000011
【図１０】
2010268369.tif 000012
【図１１】
2010268369.tif 000013
【図１２】
2010268369.tif 000014
【図１３】
2010268369.tif 000015
【図１４】
2010268369.tif 000016
【図１５】
2010268369.tif 000017
【図１６】
2010268369.tif 000018
【図１７】
2010268369.tif 000019
【図１８】
2010268369.tif 000020
【図１９】
2010268369.tif 000021
【図２０】
2010268369.tif 000022
【図２１】
2010268369.tif 000023
【図２２】
2010268369.tif 000024
【図２３】
2010268369.tif 000025
【図２４】
2010268369.tif 000026
【図２５】
2010268369.tif 000027
【図２６】
2010268369.tif 000028