(57)【要約】【課題】  トップビュー画像における不連続なズレを無くして、ドライバーが自車両の周辺の状況を把握し易くすることが可能な「トップビュー画像生成装置及びトップビュー表示方法」を提供する。【解決手段】  自車両１２及び自車両１２の周辺を上方の仮想視点から見たトップビュー画像を生成する際に、サイドカメラ２ｂにより撮影された画像に基づいて生成されるサイドトップビュー画像における立体物の側面部分の表示領域１３の幅αとリアカメラ２ｃにより撮影された画像に基づいて生成されるリアトップビュー画像における立体物の側面部分の表示領域１３の幅βとを揃えるようにトップビュー画像を加工するようにしているので、トップビュー画像における立体物の位置が揃えられ、ズレの生じない自然なトップビュー画像を生成することができ、ドライバーが自車両１２の周辺の状況を容易に把握できる。【選択図】        図３
2007022290.tif 000002
【特許請求の範囲】
【請求項１】
自車両の側方に向けて取り付けられた画像撮影部により撮影された画像に基づいて生成されたサイドトップビュー画像における前記自車両の側方に存在する立体物の側面を示す部分と、前記自車両の前方に向けて取り付けられた画像撮像部により撮影された画像に基づいて生成されたフロントトップビュー画像及び前記自車両の後方に向けて取り付けられた画像撮影部により撮影された画像に基づいて生成されたリアトップビュー画像の両方又は何れか一方における前記立体物の側面を示す部分とを特定する画像解析部と、
前記フロントトップビュー画像及び前記リアトップビュー画像の両方又は何れか一方における前記立体物の側面を示す部分の幅と前記サイドトップビュー画像における前記立体物の側面を示す部分の幅とを揃えるように、前記サイドトップビュー画像か、前記フロントトップビュー画像及び前記リアトップビュー画像かを加工する画像処理部と、
を備えたことを特徴とするトップビュー画像生成装置。
【請求項２】
前記画像処理部は、前記サイドトップビュー画像における前記立体物の側面を示す部分の前記自車両側の線を基準として、前記サイドトップビュー画像における前記立体物の側面を示す部分を拡大することを特徴とする請求項１に記載のトップビュー画像生成装置。
【請求項３】
前記画像処理部は、前記フロントトップビュー画像及び前記リアトップビュー画像における前記立体物の側面を示す部分の前記自車両側の線を基準として、前記フロントトップビュー画像及び前記リアトップビュー画像における前記立体物の側面を示す部分を縮小することを特徴とする請求項１に記載のトップビュー画像生成装置。
【請求項４】
前記画像処理部は、前記サイドトップビュー画像における前記立体物の側面を示す部分の幅を拡大するのに伴って、前記立体物の上面を示す部分をずらすことを特徴とする請求項２に記載のトップビュー画像生成装置。
【請求項５】
前記画像処理部は、前記フロントトップビュー画像及び前記リアトップビュー画像における前記立体物の側面を示す部分を縮小するのに伴って、前記立体物の上面を示す部分をずらすことを特徴とする請求項３に記載のトップビュー画像生成装置。
【請求項６】
前記画像処理部は、前記サイドトップビュー画像における前記自車両の側方に存在する立体物の側面を示す部分と、前記フロントトップビュー画像における前記立体物の側面を示す部分と、前記リアトップビュー画像における前記立体物の側面を示す部分とを特定し、
前記画像処理部は、前記サイドトップビュー画像と前記フロントトップビュー画像との境界部分にて前記フロントトップビュー画像における前記立体物の側面を示す部分の幅を特定する二点及び前記サイドトップビュー画像と前記リアトップビュー画像との境界部分にて前記リアトップビュー画像における前記立体物の側面を示す部分の幅を特定する二点を抽出し、抽出した四つの点を結んだ線により囲まれる領域に前記サイドトップビュー画像における前記立体物の側面を示す部分の領域を拡大することを特徴とする請求項１に記載のトップビュー画像生成装置。
【請求項７】
前記画像処理部は、前記サイドトップビュー画像と前記フロントトップビュー画像との境界部分及び前記サイドトップビュー画像と前記リアトップビュー画像との境界部分の間の領域における拡大率を線形補間により決定し、前記サイドトップビュー画像における前記立体物の側面を示す部分の幅を前記線形補間により求めた拡大率に従って拡大することを特徴とする請求項６に記載のトップビュー画像生成装置。
【請求項８】
少なくとも自車両の側方、前方、後方に向けて取り付けられた複数の画像撮影部により撮影された前記自車両の周辺の画像に基づいて、前記自車両を上方の仮想視点から見たトップビュー画像を生成する第１のステップと、
前記自車両の側方に向けて取り付けられた画像撮影部により撮影された画像に基づいて生成されたサイドトップビュー画像における前記自車両の側方に存在する立体物の側面を示す部分と、前記自車両の前方に向けて取り付けられた画像撮像部により撮影された画像に基づいて生成されたフロントトップビュー画像及び前記自車両の後方に向けて取り付けられた画像撮影部により撮影された画像に基づいて生成されたリアトップビュー画像の両方又は何れか一方における前記立体物の側面を示す部分とを画像解析部にて特定する第２のステップと、
前記第２のステップにて特定された前記フロントトップビュー画像及び前記リアトップビュー画像の両方又は何れか一方における前記立体物の側面を示す部分の幅と前記サイドトップビュー画像における前記立体物の側面を示す部分の幅とを揃えるように前記トップビュー画像を画像処理部により加工する第３のステップと、
前記第３のステップにて加工された前記トップビュー画像を表示する第４のステップとを備えたトップビュー画像表示方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、自車両の上方の仮想視点から見たトップビュー画像を生成するトップビュー画像生成装置及びトップビュー画像表示方法に関し、特に、自車両及び自車両の周辺を表示するトップビュー画像生成装置及びトップビュー画像表示方法に関する。
【背景技術】
【０００２】
従来、自車両に複数台のカメラを設置し、複数台のカメラにより自車両の周囲の画像を撮影して、撮影した画像を自車両内に設置したディスプレイ等の表示装置に表示する技術が提案されている。自車両のドライバーは、表示装置に表示された画像を確認することで、自車両と障害物との距離を把握し、自車両と障害物との衝突や追突等の交通事故を防ぐように運転を行う。
【０００３】
また、自車両に複数台のカメラを設置し、複数台のカメラにより撮影された画像をもとに、自車両の上方の仮想視点から見たトップビュー画像を生成し、このトップビュー画像をディスプレイ等の表示装置に表示する技術も存在する。このトップビュー画像を表示する際に、隣り合って配置されるカメラの撮影領域がオーバーラップするようにする技術が提案されている（例えば特許文献１など）。
【特許文献１】特開２００３−２０４５４７号公報
【０００４】
図１０は、従来のトップビュー画像生成装置によるカメラからの視野の例を示す図であり、図１１は、従来のトップビュー画像生成装置により生成されるトップビュー画像１００の例を示す図である。図１０において、自車両１２の左側方には左サイドカメラ２ｂが配置されており、自車両１２の後方にはリアカメラ２ｃが配置されている。ここで、各カメラ２ｂ，２ｃの高さよりも低い立体物（例えば縁石など）が自車両１２の左側方に存在する場合に、左サイドカメラ２ｂによって撮影された立体物の上面の表示領域１４の幅とリアカメラ２ｃによって撮影された立体物の上面の表示領域１４´の幅とは略等しくなる。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、左サイドカメラ２ｂによって撮影された立体物の側面の表示領域１３の幅αは、リアカメラ２ｃによって撮影された立体物の側面の表示領域１３´の幅βと等しくならない。これは、各カメラ２ｂ、２ｃから立体物の側面までの距離が異なるためである。また、図示しないフロントカメラによって撮影された立体物の側面の表示領域１３´´の幅も、左サイドカメラ２ｂによって撮影された立体物の側面の表示領域１３の幅αと等しくならない。
【０００６】
そのため、図１１に示すように、左サイドカメラ２ｂによって撮影されたサイドトップビュー画像１００ｂとフロントカメラによって撮影されたフロントトップビュー画像１００ａ及びリアカメラ２ｃによって撮影されたリアトップビュー画像１００ｃとは、立体物の側面部分の表示領域１３，１３´´，１３´の幅が異なるので、立体物の表示に不連続なズレが生じてしまい、不自然なトップビュー画像が生成されてしまう。そのため、ドライバーは、自車両の周辺の状況を把握し難くなってしまうという問題点があった。
【０００７】
本発明は、このような問題を解決するために成されたものであり、フロントトップビュー画像とサイドトップビュー画像との繋ぎ目や、リアトップビュー画像とサイドトップビュー画像との繋ぎ目における不連続なズレを無くして、ドライバーが自車両の周辺の状況を把握し易い自然なトップビュー画像を表示できるようにすることを目的とする。
【課題を解決するための手段】
【０００８】
上記した課題を解決するために、本発明では、サイドカメラにより撮影された画像に基づいて生成されるサイドトップビュー画像における立体物の側面部分の幅とフロントカメラにより撮影された画像に基づいて生成されるフロントトップビュー画像及びリアカメラにより撮影された画像に基づいて生成されるリアトップビュー画像の両方又は何れか一方における立体物の側面部分の幅とが揃うように、サイドトップビュー画像か、フロントトップビュー画像及びリアトップビュー画像かの何れかを加工してトップビュー画像を生成するようにしている。
【発明の効果】
【０００９】
上記のように構成した本発明によれば、サイドトップビュー画像における立体物の側面部分の幅とフロントトップビュー画像やリアトップビュー画像における立体物の側面部分の幅とが揃えられることに伴い、トップビュー画像における立体物の上面の幅が揃えられるので、ズレの生じない自然なトップビュー画像を生成することができる。従って、ドライバーは、自車両の周辺の状況を容易に把握することができる。
【発明を実施するための最良の形態】
【００１０】
以下、本発明の一実施形態を図面に基づいて説明する。図１は、本実施形態によるトップビュー画像生成装置１の構成例を示すブロック図である。図１において、２は画像撮影部であり、自車両の前方を撮影するためのフロントカメラ２ａ、自車両の左側方を撮影するための左サイドカメラ２ｂ、自車両の後方を撮影するためのリアカメラ２ｃ、自車両の右側方を撮影するための右サイドカメラ２ｄにより構成されている。
【００１１】
図２は、本実施形態のトップビュー画像生成装置１による各カメラ２ａ〜２ｄの配置の例を示す図である。図２において、フロントカメラ２ａは自車両１２の前方に配置され、前方Ｈ１の範囲の画像を撮影する。左サイドカメラ２ｂは自車両１２の左側方に配置され、左方Ｈ２の範囲の画像を撮影する。リアカメラ２ｃは自車両１２の後方に配置され、後方Ｈ３の範囲の画像を撮影する。右サイドカメラ２ｄは自車両１２の右側方に配置され、右方Ｈ４の範囲の画像を撮影する。
【００１２】
３はトップビュー画像生成部であり、マッピングテーブル４、画像処理部５、画像解析部６、画像記憶部７により構成されている。画像処理部５では、各カメラ２ａ〜２ｄにて撮影された画像を入力し、マッピングテーブル４に記憶されている変換情報に従って、自車両１２の周辺を上方から見たときの背景画像を生成する。ここで、背景画像は、フロントカメラ２ａにより撮影された画像を変換して生成されたフロントトップビュー画像と、左サイドカメラ２ｂにより撮影された画像を変換して生成された左サイドトップビュー画像と、リアカメラ２ｃにより撮影された画像を変換して生成されたリアトップビュー画像と、右サイドカメラ２ｄにより撮影された画像を変換して生成された右サイドトップビュー画像とを合成することにより生成される。
【００１３】
この状態では、自車両１２に設置された各カメラ２ａ〜２ｄにて撮影された画像に基づいて背景画像を生成している。そのため、自車両１２の左側面に自車両１２の進行方向と並行に配置されている立体物が存在する場合には、フロントトップビュー画像及びリアトップビュー画像と左サイドトップビュー画像とでは、立体物の側面部分の表示領域の幅に違いが生じてしまう（図１１参照）。
【００１４】
そこで、画像処理部５及び画像解析部６は、例えば、リアトップビュー画像における立体物の側面を示す部分の幅とサイドトップビュー画像における立体物の側面を示す部分の幅とを揃えるように、サイドトップビュー画像を加工する処理を行う。図３は、この処理の内容を説明するための図である。図３（ａ）において、自車両１２の左側方に配置された左サイドカメラ２ｂ及び自車両１２の後方に配置されたリアカメラ２ｃは、自車両１２の左側方に配置された立体物を撮影している。
【００１５】
また、図３（ｂ）において、左サイドカメラ２ｂにより立体物を撮影した場合とリアカメラ２ｃにより立体物を撮影した場合とでは、立体物の上面の表示領域１４，１４´の幅は略等しくなる。一方、左サイドカメラ２ｂにより撮影した立体物の側面部分の表示領域１３の幅αと、リアカメラ２ｃにより撮影した立体物の側面部分の表示領域１３´の幅βとは異なる。そこで、画像解析部６は、左サイドカメラ２ｂにより撮影した立体物の側面部分の表示領域１３の幅αと、リアカメラ２ｃにより撮影した立体物の側面部分の表示領域１３´の幅βとを解析する。また、画像処理部５は、左サイドカメラ２ｂにより撮影した立体物の側面部分の表示領域１３の幅αをリアカメラ２ｃにより撮影した立体物の側面部分の表示領域１３´の幅βと略等しい幅α´に拡大する。また、画像処理部５は、左サイドカメラ２ｂにより撮影した立体物の側面部分の表示領域１３の幅αを拡大するのに伴って、立体物の上面の表示領域１４を自車両１２から見て外側に向かってスライドさせる。
【００１６】
具体的には、画像解析部６は、例えば左サイドトップビュー画像とリアトップビュー画像との互いの境界部分のラインを水平方向にスキャンし、立体物の有無を調べる。また、画像解析部６は、立体物が存在する場合に、立体物の側面部分の表示領域１３，１３´を特定する。ここで、画像解析部６は、左サイドトップビュー画像のリアトップビュー画像との境界部分の画像において、大きく色変化している部分が有るか否か、及び、リアトップビュー画像の左サイドトップビュー画像との境界部分の画像において、大きく色変化している部分が有るか否かを判定する。そして、両者に大きく色変化している部分が有ると判断した場合には、画像解析部６は、左サイドトップビュー画像の大きく色変化している部分を抽出することで立体物の側面部分の表示領域１３の幅αを特定する。また、画像解析部６は、リアトップビュー画像の大きく色変化している部分を抽出することで立体物の側面部分１３´の表示領域の幅βを特定する。
【００１７】
そして、画像処理部５は、画像解析部６にて特定された左サイドトップビュー画像の境界部分における立体物の側面部分の表示領域１３の幅αを拡大率β／αにより拡大して幅α´（＝β）に変換する。ここで、表示領域１３の幅αを拡大する場合に、画像処理部５は、図３（ｂ）に示すように、立体物の側面部分の表示領域１３の内側（自車両１２側）を基準として外側に向かって拡大する。また、境界部分のラインだけでなく、左サイドトップビュー画像の全ラインにおける同じ水平位置の表示領域（ここにも図１１のように立体物の側面部分が存在する）の幅αを拡大率β／αにより拡大して幅α´に変換する。このように、画像処理部５は、左サイドトップビュー画像における立体物の側面部分の変換後の表示領域１３の幅α´をリアトップビュー画像における立体物の側面部分の表示領域１３´の幅βと略等しくなるようにする。
【００１８】
また、画像処理部５は、左サイドトップビュー画像における立体物の側面部分の表示領域１３の幅αを拡大するのに伴って、立体物の上面部分の表示領域１４及び自車両１２から見て更に外側に存在する表示領域を自車両１２から見て外側に向かってスライドさせる。ここで、画像処理部５は、立体物の側面部分の表示領域１３の幅αを拡大することで左サイドトップビュー画像の表示範囲から外れる部分を削除する。また、画像処理部５は、自車両１２を上方から見た画像を示す自車両画像データを画像記憶部７から読み出し、加工済みの背景画像の所定の位置（例えば背景画像における自車両１２が存在する位置）に合成する。
【００１９】
マッピングテーブル４は、各カメラ２ａ〜２ｄにより撮影された画像の画素データと自車両１２の周辺を上方の仮想視点から見た背景画像の画素データとの対応関係を記載したテーブルであり、撮影された画像のある画素が背景画像のどの画素に対応するかを示す変換情報を記載している。画像記憶部７は、自車両１２を上方から見た画像を示す自車両画像データを記憶しており、必要に応じて画像処理部５により読み出される。
【００２０】
８は表示装置であり、画像処理部５により生成されたトップビュー画像を表示する。図４は、本実施形態のトップビュー画像生成装置１によるトップビュー画像１０の例を示す図である。トップビュー画像１０は、前述した背景画像に自車両画像を合成した画像であり、その略中央に自車両１２の画像を形成し、自車両１２の進行方向と略平行に存在している立体物の画像を自車両１２の画像の左側に形成している。ここで、立体物の側面部分の表示領域１３，１３´，１３´´（フロントカメラ２ａにより撮影した立体物の側面部分の表示領域）は、左サイドトップビュー画像１０ｂとリアトップビュー画像１０ｃとフロントトップビュー画像１０ａとにおいて、略同じ幅となっている。また、立体物の上側の表示領域１４，１４´，１４´´（フロントカメラ２ａにより撮影した立体物の上面部分の表示領域）も、左サイドトップビュー画像１０ｂとリアトップビュー画像１０ｃとフロントトップビュー画像１０ａとにおいて、略同じ幅の一直線状となっている。
【００２１】
次に、本実施形態によるトップビュー画像生成装置１の動作及びトップビュー画像表示方法について説明する。図５は、本実施形態によるトップビュー画像生成装置１の動作及びトップビュー画像表示方法を示すフローチャートである。図５において、自車両１２に設置された各カメラ２ａ〜２ｄは、自車両１２の周辺を常に撮影している。ここで、画像処理部５では、各カメラ２ａ〜２ｄにて撮影された画像を入力し、マッピングテーブル４に記憶されている変換情報に従って、背景画像を生成する（ステップＳ１）。
【００２２】
また、画像解析部６では、左サイドトップビュー画像１０ｂ及びリアトップビュー画像１０ｃの互いの境界部分を水平方向にスキャンして解析する（ステップＳ２）。そして、画像解析部６は、自車両１２の左側に立体物が存在するか否かを調べる（ステップＳ３）。立体物が存在しないと画像解析部６にて判断した場合には（ステップＳ３にてＮＯ）、画像処理部５は、画像記憶部７から自車両画像データを読み出して背景画像に合成することによってトップビュー画像を生成する（ステップＳ４）。そして、ステップＳ６に移行する。
【００２３】
一方、立体物が存在すると画像解析部６にて判断した場合には（ステップＳ３にてＹＥＳ）、画像処理部５は、左サイドトップビュー画像１０ｂにおける立体物の側面部分の表示領域１３の幅αをリアトップビュー画像１０ｃにおける立体物の側面部分の表示領域１３´の幅βと等しくなるように拡大し、画像記憶部７から自車両画像データを読み出して背景画像に合成することによってトップビュー画像１０を生成する（ステップＳ５）。そして、ステップＳ６に移行する。
【００２４】
ステップＳ６では、画像処理部５は、ステップＳ４にて生成されたトップビュー画像又はステップＳ５にて生成されたトップビュー画像１０（以下、このフローチャート中でトップビュー画像と記述する）を表示装置８に表示する。そして、画像処理部５では、ドライバー等が図示しない操作部によりトップビュー画像の表示を解除したか否かを調べる（ステップＳ７）。トップビュー画像の表示が解除されなかった場合には（ステップＳ７にてＮＯ）、ステップＳ１の処理に戻る。一方、トップビュー画像の表示が解除された場合には（ステップＳ７にてＹＥＳ）、処理を終了する。
【００２５】
以上詳しく説明したように、本実施形態では、左サイドトップビュー画像１０ｂ及びリアトップビュー画像１０ｃの互いの境界部分を解析することで立体物の有無及び立体物の側面部分１３，１３´を抽出し、左サイドトップビュー画像１０ｂにおける立体物の側面部分の表示領域１３の幅αをリアトップビュー画像１０ｃにおける立体物の側面部分の表示領域１３´の幅βに揃えるように拡大してトップビュー画像１０を生成するようにしている。これにより、左サイドトップビュー画像１０ｂにおける立体物の位置がリアトップビュー画像１０ｃにおける立体物の位置に揃えられるので、ズレの生じない自然なトップビュー画像１０を生成することができる。従って、ドライバーは、自車両の周辺の状況を容易に把握することができる。
【００２６】
なお、前述した実施形態では、自車両１２の進行方向と並行に配置されている立体物が自車両１２の左側面に存在する場合について説明しているが、これに限定されない。例えば、立体物が自車両１２の右側面に配置されていても良いし、自車両１２の進行方向に対して立体物が斜めに配置されていても良い。
【００２７】
また、前述した実施形態では、画像解析部６は、左サイドトップビュー画像１０ｂ及びリアトップビュー画像１０ｃを解析して立体物の有無を判定しているが、これに限定されない。例えば、画像解析部６は、左サイドカメラ２ｂにより撮影された画像及びリアカメラ２ｃにより撮影された画像を解析して立体物の有無を判定するようにしても良いし、自車両１２の側面に立体物を検出するためのレーダなどを取り付けるようにしても良い。また、画像解析部６は、左サイドトップビュー画像１０ｂ及びフロントトップビュー画像１０ａを解析して立体物の有無を判定するようにしても良いし、左サイドカメラ２ｂにより撮影された画像及びフロントカメラ２ａにより撮影された画像を解析して立体物の有無を判定するようにしても良い。
【００２８】
また、前述した実施形態では、画像処理部５は、画像解析部６にて特定された左サイドトップビュー画像１０ｂにおける立体物の側面部分の表示領域１３の幅αを拡大してリアトップビュー画像１０ｃにおける立体物の側面部分の表示領域１３の幅βと略等しくなるようにしているが、これに限定されない。例えば、フロントトップビュー画像１０ａにおける立体物の側面部分の表示領域１３´´の幅βとリアトップビュー画像１０ｃにおける立体物の側面部分の表示領域１３´の幅βとを縮小して、左サイドトップビュー画像１０ｂにおける立体物の側面部分の表示領域１３の幅αに揃えるようにしても良い。これにより、トップビュー画像１０における立体物の側面部分の表示領域の幅が狭くなるので、ドライバーは、自車両１２と立体物との実際の距離を把握しやすくなる。また、トップビュー画像１０における立体物の側面部分の表示領域の幅が狭くなるのに伴って、自車両１２から見て立体物の外側の部分の表示領域が多くなるので、トップビュー画像をより有効に活用することができる。
【００２９】
また、前述した実施形態及び変形例では、画像処理部５は、画像解析部６にて特定された左サイドトップビュー画像１０ｂの境界部分における立体物の側面部分の表示領域１３の幅αを特定した後に、左サイドトップビュー画像１０ｂの全ラインにおける同じ水平位置の表示領域の幅αを拡大しているが、これに限定されない。例えば、左サイドトップビュー画像における立体物の側面部分の表示領域１３の幅αを水平方向に１ラインずつ拡大するようにしても良い。
【００３０】
例えば、自車両１２の進行方向に対して立体物が斜めに配置されている場合に、従来のトップビュー画像生成装置により生成されるトップビュー画像１０１は、図６に示すような画像となる。ここで、フロントトップビュー画像と左サイドトップビュー画像との境界部分における立体物の側面部分の表示領域１５，１５´の内側（自車両１２側）の点を始点として垂直方向に引かれた基準線１５ａを基準として左サイドトップビュー画像を外側に向かって拡大すると、前記始点に近い位置における立体物の側面部分は拡大されるが、始点から離れた位置にある立体物の側面部分は拡大されず、ただ外側に向かって平行移動するだけとなる。そのため、立体物の側面部分の幅を全域にわたってうまく揃えることができない。
【００３１】
同様に、左サイドトップビュー画像とリアトップビュー画像との境界部分における立体物の側面部分の表示領域１５´，１５´´の内側（自車両１２側）の点を始点として垂直方向に引かれた基準線１５ｂを基準として左サイドトップビュー画像を外側に向かって拡大すると、前記始点に近い位置における立体物の側面部分は拡大されるが、始点から離れた位置にある立体物の側面部分は拡大されず、平行移動もせずに拡大前と変わらない状態となる。また、基準線１５ｂの外側にある立体物の上面部分１６´が一部拡大されてしまう。そのため、立体物の側面部分の幅を全域にわたってうまく揃えることができない。
【００３２】
そこで、画像処理部５及び画像解析部６は、下記のようにサイドトップビュー画像を加工する処理を行う。図７は、この処理の内容を説明するための図である。図７において、画像解析部６は、フロントトップビュー画像の左トップビュー画像との境界部分における立体物の側面部分の表示領域１５の幅βと左トップビュー画像のフロントトップビュー画像との境界部分における立体物の側面部分の表示領域１５´の幅αとを解析する。
【００３３】
また、画像処理部５は、左サイドトップビュー画像のフロントトップビュー画像との境界部分のライン（１ライン目）における立体物の側面部分の表示領域１５´の幅αを、１ライン目における立体物の側面部分の内側を基準として、フロントトップビュー画像における立体物の側面部分の表示領域１５の幅βと略等しい幅α´に拡大する。また、画像処理部５は、左サイドトップビュー画像における立体物の側面部分の表示領域１５´の幅αを拡大するのに伴って、立体物の上面の表示領域１６´を自車両１２から見て外側に向かってスライドさせる。
【００３４】
次に、画像解析部６は、左サイドトップビュー画像の次のライン（２ライン目）における立体物の側面部分の表示領域１５´の幅αを解析する。また、画像処理部５は、左サイドトップビュー画像の２ライン目における立体物の側面部分の表示領域１５´の幅αを、２ライン目における立体物の側面部分の内側を基準として、フロントトップビュー画像における立体物の側面部分の表示領域１５の幅βと略等しい幅α´に拡大する。また、画像処理部５は、左サイドトップビュー画像における立体物の側面部分の表示領域１５´の幅αを拡大するのに伴って、立体物の上面の表示領域１６´を自車両１２から見て外側に向かってスライドさせる。
【００３５】
画像処理部５及び画像解析部６は、同様の処理を３ライン目、４ライン目、…と順次行っていく。このように、左サイドトップビュー画像の全ての水平ラインについて、立体物の側面部分の表示領域１５´の幅αの拡大及び立体物の上面の表示領域１６´のスライドを行う。ここで、左サイドトップビュー画像の全ての水平ラインについて画像解析部６が解析を行い、各ライン毎に拡大の基準点を決めているので、自車両１２の進行方向に対して立体物が斜めに配置されている場合には、画像処理部５は、左サイドトップビュー画像における立体物の側面部分の表示領域１５´の幅αを拡大するための基準点を斜めに順次シフトしている（図７中では左にシフトしている）。このようにすれば、自車両１２の進行方向に対して立体物が斜めに配置されている場合でも立体物の側面部分及び上面部分を全域にわたってきれいに揃えることができる。
【００３６】
また、図８に示すように、左サイドトップビュー画像における立体物の側面部分の表示領域１５´を囲む４点（フロントトップビュー画像との境界部分における外側の点をＡ、内側の点をＢ、リアトップビュー画像との境界部分における外側の点をＣ、内側の点をＤとする）を画像解析部６により抽出し、この４点で囲まれる領域を線分ＢＤを基準として画像処理部５により外側に拡大するようにしても良い。この場合の拡大率は、左サイドトップビュー画像のフロントトップビュー画像との境界部分における立体物の側面部分の表示領域１５´の幅α１（＝線分ＡＢ）とフロントトップビュー画像の左サイドトップビュー画像との境界部分における立体物の側面部分の表示領域１５の幅β１とから求めても良い（拡大率＝β１／α１）。また、拡大率は、左サイドトップビュー画像のリアトップビュー画像との境界部分における立体物の側面部分の表示領域１５´の幅α２（＝線分ＣＤ）とリアトップビュー画像の左サイドトップビュー画像との境界部分における立体物の側面部分の表示領域１５´´の幅β２とから求めても良い（拡大率＝β２／α２）。このようにした場合も、左サイドトップビュー画像における立体物の側面部分の表示領域１５´の幅αを拡大するための基準点が斜めに存在する立体物の側面部分の内側となるので、自車両１２の進行方向に対して立体物が斜めに配置されている場合でも立体物の側面部分及び上面部分を全域にわたってきれいに揃えることができる。
【００３７】
ところで、フロントカメラ２ａから立体物の側面部分までの距離とリアカメラ２ｃから立体物の側面部分までの距離とが異なるので、フロントトップビュー画像の左サイドトップビュー画像との境界部分における立体物の側面部分の表示領域１５の幅β１とリアトップビュー画像の左サイドトップビュー画像との境界部分における立体物の側面部分の表示領域１５´´の幅β２とでは、厳密には違いが生じてしまう。そのため、フロントトップビュー画像及びリアトップビュー画像の一方における立体物の側面部分の表示領域の幅に左サイドトップビュー画像における立体物の側面部分の表示領域の幅を合わせて拡大するだけでは、トップビュー画像にわずかなズレが生じてしまう場合がある。
【００３８】
そこで、図８に示す４点Ａ，Ｂ，Ｃ，Ｄで囲まれる領域の拡大率を以下のように決めても良い。すなわち、左サイドトップビュー画像とフロントトップビュー画像との境界部分ではβ１／α１とし、左サイドトップビュー画像とリアトップビュー画像との境界部分ではβ２／α２とする。そして、左サイドトップビュー画像とフロントトップビュー画像との境界部分及び左サイドトップビュー画像とリアトップビュー画像との境界部分の間の拡大率は、線形補間により求める。このように求めた拡大率を用いることにより、左サイドトップビュー画像における立体物の側面部分の表示領域１５´が、図９に示すように、Ａ´，Ｂ，Ｃ´，Ｄの４点で囲まれる領域に拡大される。これにより、自車両１２の進行方向に対して立体物が斜めに配置されている場合でも、左サイドトップビュー画像における立体物の位置とフロントトップビュー画像及びリアトップビュー画像における立体物の位置とを一層きれいに揃えることができる。
【００３９】
その他、前記実施形態は、何れも本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその精神、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。
【産業上の利用可能性】
【００４０】
本発明は、自車両の上方の仮想視点から見たトップビュー画像を生成するトップビュー画像生成装置に有用である。
【図面の簡単な説明】
【００４１】
【図１】本実施形態によるトップビュー画像生成装置の構成例を示すブロック図である。
【図２】本実施形態のトップビュー画像生成装置によるカメラの配置の例を示す図である。
【図３】本実施形態のトップビュー画像生成装置によるカメラからの視野の例及び表示領域の幅を示す図である。
【図４】本実施形態によるトップビュー画像生成装置により生成されるトップビュー画像の例を示す図である。
【図５】本実施形態によるトップビュー画像生成装置の動作及びトップビュー画像表示方法を示すフローチャートである。
【図６】自車両の進行方向に対して立体物が斜めに配置されている場合に従来のトップビュー画像生成装置により生成されるトップビュー画像の例を示す図である。
【図７】本実施形態のトップビュー画像生成装置による表示領域の幅の変換の変形例を示す図である。
【図８】自車両の進行方向に対して立体物が斜めに配置されている場合の表示領域の例を示す図である。
【図９】自車両の進行方向に対して立体物が斜めに配置されている場合に本実施形態によるトップビュー画像生成装置の変形例により生成されるトップビュー画像の例を示す図である。
【図１０】従来のトップビュー画像生成装置によるカメラからの視野の例及び表示領域の幅を示す図である。
【図１１】従来のトップビュー画像生成装置により生成されるトップビュー画像の例を示す図である。
【符号の説明】
【００４２】
１    トップビュー画像生成装置
２    画像撮影部
２ａ    フロントカメラ
２ｂ    左サイドカメラ
２ｃ    リアカメラ
２ｄ    右サイドカメラ
３    トップビュー画像生成部
４    マッピングテーブル
５    画像処理部
６    画像解析部
７    画像記憶部
８    表示装置
１０，１１    トップビュー画像
１２    自車両
【図１】
2007022290.tif 000003
【図２】
2007022290.tif 000004
【図３】
2007022290.tif 000005
【図４】
2007022290.tif 000006
【図５】
2007022290.tif 000007
【図６】
2007022290.tif 000008
【図７】
2007022290.tif 000009
【図８】
2007022290.tif 000010
【図９】
2007022290.tif 000011
【図１０】
2007022290.tif 000012
【図１１】
2007022290.tif 000013