(57)【要約】【課題】車載カメラにより撮影された画像を、立体物を含めて違和感なく、略垂直方向の視点から見下ろす画像へ視点変換して鳥瞰画像を生成する鳥瞰画像生成装置を提供する。【解決手段】第１位置で撮影された第１画像を受け取る第１画像受取部１と、第２位置で撮影された第２画像を受け取る第２画像受取部２と、第１画像を略垂直方向の視点から見下ろす第１変換画像に射影変換すると共に、第２位置における位置補正画像に補正する第１射影変換部３と、第２画像を第２変換画像に射影変換する第２射影変換部４と、位置補正画像と第２変換画像との差分に基づいて、立体物が存在する立体物領域を、平行しない２辺が略垂直方向の視点から見下ろした場合における光学中心において交差する台形状に抽出する立体物領域抽出部６と、第２変換画像上の立体物領域の画像を光学中心の方向へ縮小して射影歪補正画像に補正する射影歪補正部７とを備える。【選択図】図１２
2010128939.tif 000002
【特許請求の範囲】
【請求項１】
車両の周辺を撮影する車載カメラにより第１位置において撮影された撮影画像を第１画像として受け取る第１画像受取部と、
前記第１位置から前記車両が所定の移動量を経た第２位置において前記車載カメラにより撮影された撮影画像を第２画像として受け取る第２画像受取部と、
前記第１画像を略垂直方向の視点から見下ろす像となる第１変換画像に射影変換すると共に、前記第１変換画像を前記第２位置における位置補正画像に補正する第１射影変換部と、
前記第２画像を略垂直方向の前記視点から見下ろす像となる第２変換画像に射影変換する第２射影変換部と、
前記位置補正画像と前記第２変換画像との差分に基づいて、立体物が存在する立体物領域を、平行しない２辺が略垂直方向の前記視点から見下ろした場合における光学中心において交差する台形状に抽出する立体物領域抽出部と、
前記第２変換画像における前記立体物領域の画像を前記光学中心の方向へ縮小して射影歪補正画像に補正する射影歪補正部と、
を備える鳥瞰画像生成装置。
【請求項２】
前記第２変換画像上における前記立体物領域の中で縮小後の前記立体物の画像が存在する領域以外の領域を、前記立体物領域の外側の近傍の背景色によってマスクする重畳部を有する請求項１に記載の鳥瞰画像生成装置。
【請求項３】
前記第２変換画像上における前記立体物領域の中で縮小後の前記立体物の画像が存在する領域以外の領域を、暖系色によるハーフトーン処理を施してマスクする重畳部を有する請求項１に記載の鳥瞰画像生成装置。
【請求項４】
前記第２変換画像上における前記立体物領域の中で縮小後の前記立体物の画像が存在する領域以外の領域に、前記立体物の存在を報知する報知表示を重畳させる重畳部を有する請求項１に記載の鳥瞰画像生成装置。
【請求項５】
前記第１射影変換部は、前記車両の移動量を検出する移動検出部の検出結果に基づいて、前記第１変換画像を前記第２位置における位置補正画像に補正する請求項１〜４の何れか一項に記載の鳥瞰画像生成装置。
【請求項６】
前記第１射影変換部は、前記車両が前記第１位置から所定の方向へ所定の距離だけ離間した位置を前記第２位置として、前記第１変換画像を前記第２位置における位置補正画像に補正し、
前記第２画像受取部は、前記車両の移動量を検出する移動検出部の検出結果に基づいて、前記車両が前記第２位置に達した際に撮影された前記撮影画像を前記第２画像として受け取る請求項１〜４の何れか一項に記載の鳥瞰画像生成装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両の周辺を撮影する車載カメラにより撮影された撮影画像に基づいて、略垂直方向の視点から見下ろす像となる鳥瞰画像を生成する鳥瞰画像生成装置に関する。
【背景技術】
【０００２】
カメラによる撮影画像に画像処理を施すことにより、当該撮影画像を当該カメラの視点とは別の視点から見た画像に変換する視点変換処理が知られている。この視点変換処理は、車両に搭載されたカメラにより撮影された画像を、当該車両を上から見下ろすような俯瞰画像に変換して、車内のディスプレイに表示するといった用途に用いられている。視点変換処理では、一般的に画像中の全ての物体が例えその物体が立体物であったとしても、同一平面上に存在するものとして、画像処理が施される。例えば、車両における用途においては、全ての物体が、道路標示や駐車枠線などと同様に、路面上に存在する模様として変換処理が施されることになる。実際に路面上に存在する道路標示などは線形変換により違和感無く、真上からみたような画像へと変換される。しかし、他の車両や障害物などの高さのある物体、即ち立体物は、画像が大きく歪んでしまい、違和感が大きなものとなる。
【０００３】
このような課題に鑑みて、例えば特開平７−１８６８３３号公報（特許文献１）には、撮影された画像を路面領域と非路面領域とに分離して、路面領域に当たる画像のみを視点変換処理する技術が開示されている。視点変換されなかった非路面領域の画像は、元の視点からの画像のままで、視点変換後の画像に合成されて表示される。また、立体物である非路面領域よりもカメラから見て遠方の画像は、当該立体物によって遮られて路面領域に対応する画像が存在しないため、表示されない。また、特開２００６−３３３００９号公報（特許文献２）には、高さを有する物体に対応する画像をその高さ方向に圧縮して、視点変換された画像に合成する方法が開示されている。この場合も、元の視点からの画像が圧縮され、高さを有する物体よりもカメラから見て遠方の画像は、例えば黒ベタの状態で表示される。
【０００４】
【特許文献１】特開平７−１８６８３３号公報（第１〜１１、３７〜３９段落、図１、２、４等）
【特許文献２】特開２００６−３３３００９号公報（第１６〜２５段落、図６〜１３等）
【発明の開示】
【発明が解決しようとする課題】
【０００５】
特許文献１では、非路面領域（立体物）に対応する画像については視点変換されることなく、カメラにより撮影された画像がほぼそのまま表示される。また、特許文献２においても、非路面領域（立体物）に対応する画像については視点変換されることなく、高さ方向には圧縮されるものの、カメラと同一の視点からの画像が表示される。特許文献１では、利用者が画面を見て容易に立体物を認識することができ、特許文献２ではさらに視点変換されたような視覚効果を僅かではあるが利用者に与えることができる。しかし、特許文献１及び特許文献２の何れにおいても、視点変換された画像の中に視点変換されていない画像が合成されているので、表示される画像に対して利用者が違和感を覚える可能性がある。また、このように違和感を覚えるということは、車両の周辺に存在する障害物等の位置を利用者が誤認することにつながる場合がある。上から見下ろすという俯瞰画像の特性上、俯瞰画像として表示される車両の周辺の範囲は略水平方向に撮影される画像に比べて狭い範囲となる。表示される俯瞰画像上で確認される障害物と車両との実際の距離も比較的短くなるため、障害物の位置を利用者が誤認することは安全上好ましくない。従って、利用者の違和感を抑制し、利用者が立体物と車両との距離感を把握し易いように、立体物を含めて撮影画像を視点変換する技術が求められる。
【０００６】
本発明は、上記課題に鑑みて創案されたもので、車両の周辺を撮影する車載カメラにより撮影された画像を、利用者が立体物と車両との距離感を把握し易いように、立体物を含めて違和感なく、略垂直方向の視点から見下ろす画像へ視点変換して鳥瞰画像を生成する鳥瞰画像生成装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するための本発明に係る鳥瞰画像生成装置の特徴構成は、
車両の周辺を撮影する車載カメラにより第１位置において撮影された撮影画像を第１画像として受け取る第１画像受取部と、
前記第１位置から前記車両が所定の移動量を経た第２位置において前記車載カメラにより撮影された撮影画像を第２画像として受け取る第２画像受取部と、
前記第１画像を略垂直方向の視点から見下ろす像となる第１変換画像に射影変換すると共に、前記第１変換画像を前記第２位置における位置補正画像に補正する第１射影変換部と、
前記第２画像を略垂直方向の前記視点から見下ろす像となる第２変換画像に射影変換する第２射影変換部と、
前記位置補正画像と前記第２変換画像との差分に基づいて、立体物が存在する立体物領域を、平行しない２辺が略垂直方向の前記視点から見下ろした場合における光学中心において交差する台形状に抽出する立体物領域抽出部と、
前記第２変換画像における前記立体物領域の画像を前記光学中心の方向へ縮小して射影歪補正画像に補正する射影歪補正部と、を備える点にある。
【０００８】
この特徴構成によれば、撮影画像の全域に亘って射影変換により視点変換された鳥瞰画像が生成され、その中から立体物が存在する立体物領域が抽出される。この立体物領域は、平行しない２辺が略垂直方向の前記視点から見下ろした場合における光学中心において交差する台形状に抽出されるので、立体物の形状に拘わらず、高い再現性で簡潔に抽出される。また、立体物は、この立体物領域の中で、当該光学中心に向かって縮小されるので、例えば比例配分等の簡単な処理により、見栄え良く歪みが補正される。立体物は、略垂直方向から見下ろした画像として生成されるので、鳥瞰画像の全体に対しても違和感が抑制される。このように、本特徴構成によれば、車両の周辺を撮影する車載カメラにより撮影された画像を、利用者が立体物と車両との距離感を把握し易いように、立体物を含めて違和感なく、略垂直方向の視点から見た画像へ視点変換して鳥瞰画像を生成することが可能となる。
【０００９】
また、本発明に係る鳥瞰画像生成装置は、前記第２変換画像上における前記立体物領域の中で縮小後の前記立体物の画像が存在する領域以外の領域を、前記立体物領域の外側の近傍の背景色によってマスクする重畳部を有すると好適である。
【００１０】
立体物領域の中で圧縮後の立体物の領域以外に相当する領域には、元の歪みのある画像が残ることになる。そのため、立体物の像に対して違和感を軽減させた効果が限定的となる可能性がある。しかし、立体物領域の中で縮小後の立体物の画像が存在する領域以外の領域を、立体物領域の外側の近傍の背景色によってマスクすることによって、違和感がさらに大きく軽減される。尚、マスクされる領域は、立体物の背後であるから、車載カメラによる撮影画像中にも現れない部分である。また、この部分、いわゆる死角部分よりも、立体物の方が車両に近い側にあるので、死角部分がマスクされても大きな問題はない。
【００１１】
また、本発明に係る鳥瞰画像生成装置は、前記第２変換画像上における前記立体物領域の中で縮小後の前記立体物の画像が存在する領域以外の領域を、暖系色によるハーフトーン処理を施してマスクする重畳部を有すると好適である。
【００１２】
上述したように、立体物領域の中で圧縮後の立体物の領域以外に相当する領域には、元の歪みのある画像が残ることになる。しかし、立体物領域の中で縮小後の立体物の画像が存在する領域以外の領域を、暖系色によるハーフトーン処理を施してマスクすることによって、違和感を軽減させることができる。マスクされる領域は、上述したように、立体物の背後に隠れたいわゆる死角である。死角がマスクされても問題はないが、この領域が死角であることを、穏やかに報知すると利用者の注意を喚起することができる。一般的に路面の色は、モノトーンや寒色系であるので、暖色系の配色を用いると視認性が良い。一方、ハーフトーン処理を施すことによって、大きく目立たせることなく、穏やかに死角領域を報知することができる。
【００１３】
また、本発明に係る鳥瞰画像生成装置は、前記第２変換画像上における前記立体物領域の中で縮小後の前記立体物の画像が存在する領域以外の領域に、前記立体物の存在を報知する報知表示を重畳させる重畳部を有すると好適である。
【００１４】
上述したように、立体物領域の中で圧縮後の立体物の領域以外に相当する領域には、元の歪みのある画像が残ることになる。上述したように、この歪みのある画像が残る領域は、立体物の背後に隠れたいわゆる死角である。従って、車載カメラによる撮影画像にも含まれておらず、無理に画像を表示させる必要のない領域でもある。そこで、この領域に立体物の存在を報知する報知表示を重畳させると、報知表示により必要な画像が隠されることがなく好適である。報知表示が任意の場所に重畳されると、立体物以外の例えば路面上の道路標示等を隠してしまう可能性が生じる。しかし、立体物の背後であって、画像を表示させる必要のない領域に報知表示を重畳させることによって、利用者に対して、鳥瞰画像及び報知表示の双方を視認性よく示すことができる。
【００１５】
また、本発明に係る鳥瞰画像生成装置は、前記第１射影変換部が、前記車両の移動量を検出する移動検出部の検出結果に基づいて、前記第１変換画像を前記第２位置における位置補正画像に補正すると好適である。
【００１６】
この構成によれば、第２画像が取得される第２位置に対して正確に第１変換画像を位置補正することができるので、精度良く立体物領域を抽出することができる。
【００１７】
また、本発明に係る鳥瞰画像生成装置は、
前記第１射影変換部が、前記車両が前記第１位置から所定の方向へ所定の距離だけ離間した位置を前記第２位置として、前記第１変換画像を前記第２位置における位置補正画像に補正し、
前記第２画像受取部が、前記車両の移動量を検出する移動検出部の検出結果に基づいて、前記車両が前記第２位置に達した際に撮影された前記撮影画像を前記第２画像として受け取ると好適である。
【００１８】
この構成によれば、第２画像が取得されるまでの間に、第１変換画像を位置補正しておくことができるので、第２変換画像と位置補正画像との差分を早く求めることができる。その結果、少ないタイムラグで鳥瞰画像を生成し、表示させることができる。尚、この場合には、第２位置を予測して第１変換画像を位置補正する必要がある。第１位置から第２位置への所定の移動量は、微小移動量であり、直線的な移動とみなすことが可能である。従って、車両の速度や操舵角などに応じて、ほぼ正確に第２位置を予測することが可能である。
【発明を実施するための最良の形態】
【００１９】
以下、本発明の実施形態を図面に基づいて説明する。本発明の鳥瞰画像生成装置は、例えば、駐車支援装置や運転支援装置などに利用される。図１及び図２は、鳥瞰画像生成装置が搭載される車両３０の基本構成を示したものである。運転席に備えられたステアリング２４は、パワーステアリングユニット３３と連動し、回転操作力を前輪２８ｆに伝えて車両３０の操舵を行う。車体前部にはエンジン３２と、このエンジン３２からの動力を変速して前輪２８ｆや後輪２８ｒに伝えるトルクコンバータやＣＶＴ等を有する変速機構３４とが配置されている。車両３０の駆動方式（前輪駆動、後輪駆動、四輪駆動）に応じて、前輪２８ｆ及び後輪２８ｒの双方もしくは何れかに動力が伝達される。運転席の近傍には走行速度を制御するアクセル操作手段としてのアクセルペダル２６と、前輪２８ｆ及び後輪２８ｒのブレーキ装置３１を介して前輪２８ｆ及び後輪２８ｒに制動力を作用させるブレーキペダル２７とが並列配置されている。
【００２０】
運転席の近傍のコンソールの上部位置には、モニタ２０（表示装置）が備えられている。モニタ２０は、バックライトを備えた液晶式のものである。モニタ２０には、感圧式や静電式によるタッチパネルも形成されており、指などの接触位置をロケーションデータとして出力することによって、利用者による指示入力を受け付け可能に構成されている。タッチパネルは、例えば、駐車支援開始の指示入力手段として用いられる。また、モニタ２０には、スピーカも備えられており、種々の案内メッセージや効果音を発することができる。車両３０にナビゲーションシステムが搭載される場合、モニタ２０はナビゲーションシステムの表示装置として用いるものを兼用すると好適である。尚、モニタ２０は、プラズマ表示型のものやＣＲＴ型のものであっても良く、スピーカは、ドアの内側など他の場所に備えられても良い。
【００２１】
ステアリング２４の操作系にはステアリングセンサ１４が備えられ、ステアリング操作方向と操作量とが計測される。シフトレバー２５の操作系にはシフト位置センサ１５が備えられ、シフト位置が判別される。アクセルペダル２６の操作系にはアクセルセンサ１６が備えられ、操作量が計測される。ブレーキペダル２７の操作系にはブレーキセンサ１７が備えられ、操作の有無などが検出される。
【００２２】
また、移動距離センサとして、前輪２８ｆ及び後輪２８ｒの少なくとも一方の回転量を計測する回転センサ１８が備えられる。本実施形態では、後輪２８ｒに回転センサ１８が備えられた場合を例示している。尚、移動距離については、変速機構３４において、駆動系の回転量から車両３０の移動量を計測するようにしてもよい。また、車両３０には本発明の鳥瞰画像生成装置の中核となるＥＣＵ（electronic control unit）１０が配置されている。
【００２３】
車両３０の後部には、車両３０の後方の情景を撮影するカメラ１２が備えられている。カメラ１２は、ＣＣＤ（charge coupled device）やＣＩＳ（CMOS image sensor）などの撮像素子を内蔵し、当該撮像素子に撮像された情報を動画情報としてリアルタイムに出力するデジタルカメラである。カメラ１２は、広角レンズを備えており、例えば左右約１４０度程度の画角を有している。カメラ１２は、略水平方向の視点を有して、車両３０の後方の情景を撮影可能に設置されている。カメラ１２は、車両３０の後方に向けて例えば３０度程度の俯角を有して設置され、概ね後方８ｍ程度までの領域を撮影する。撮影された画像は、ＥＣＵ１０に入力される。
【００２４】
鳥瞰画像生成装置（ＥＣＵ１０）は、図３に示すように、略水平方向の視点を有するカメラ１２によって撮影された画像を、略垂直方向から見下ろす視点を有するカメラ１２Ａによって撮影された画像へと変換する。図４は、カメラ１２によって撮影された画像の一例である。図５は、略垂直方向から見下ろす視点を有するカメラ１２Ａによって撮影された画像へと変換された画像の一例である。変換された画像は、いわゆる鳥瞰画像である。図５において、左下、右下には、画像データが存在しないことによる空白域が生じる。
【００２５】
まず、鳥瞰画像を生成する際に立体物を特定する原理について説明する。立体物の特定には、以下に示す効果が利用される。まず、視差が生じている２枚の画像の一方から、鳥瞰画像の一種であるＧＰＴ（ground plane transformation）画像を生成し、他方の画像の視点からのＧＰＴ画像を予測して、生成したＧＰＴ画像を位置補正する。次に、他方の画像からＧＰＴ画像を生成して、一方の画像から生成され、位置補正されたＧＰＴ画像との差分を取ると、立体物が抽出される。視差を生じる２枚の画像は、複数の異なるカメラにより撮影された画像でもよいし、同一のカメラを移動させて撮影された画像であってもよい。
【００２６】
以下、同一のカメラを移動させた場合を例として説明する。図６は、カメラ１２から略水平方向に撮影された撮影画像Ｉ（ＩＡ、ＩＢ）の一例である。図７は、図６の撮影画像Ｉ（ＩＡ、ＩＢ）を視点変換して得られたＧＰＴ画像Ａ（又はＢ）の一例である。図６に示すように、車両３０の周辺には、ほぼ直方体の立体物４０が存在する。この立体物４０が立体物ではなく路面上に存在する「模様」だとすれば、撮影画像上において遠方へ行ってもその横幅がほぼ一定であることから、遠方へ行くほど広い幅を有する「模様」が路面上に描かれていることとなる。従って、図６に示す撮影画像ＩＡ（Ｉ）を視点変換して生成されたＧＰＴ画像Ａは、図７に示すように、車両３０から遠方へ行くほど広い幅を持った「模様」として立体物を表現する。図７に示すように、直方体の立体物４０は台形状に表現される。
【００２７】
図８は、上述した立体物抽出原理を示す説明図である。図８では、ＧＰＴ画像上における立体物を便宜上、台形で示している。図８において台形ａは、視差が生じている２枚の撮影画像Ｉの内の一方の撮影画像ＩＡのＧＰＴ画像Ａにおける立体物４０である。本例では、同一のカメラを移動させて視差を生じさせる場合を例としているので、台形ａは、カメラ１２が移動する前における仮想視点から見た立体物４０を示している。ここで、仮想視点とは、図３に示したように、カメラ１２が仮想的にカメラ１２Ａに位置にあったと仮定した場合の略垂直方向から見下ろす視点である。撮影画像ＩＡは、本発明の第1画像に相当し、ＧＰＴ画像Ａは、本発明の第１変換画像に相当する。
【００２８】
台形ｂは、視差が生じている２枚の撮影画像Ｉの内の他方の撮影画像ＩＢのＧＰＴ画像Ｂにおける立体物４０である。つまり、台形ｂは、カメラ２０がΔＬだけ移動した後における仮想視点から見た立体物４０を示している。そして、斜線網掛け部分の台形ａ’は、移動前の仮想視点から見たＧＰＴ画像Ａから、カメラ２０がΔＬだけ移動した場合を予測して得られた立体物４０、即ち移動後の仮想視点から見た立体物４０を示している。撮影画像ＩＢは、本発明の第２画像に相当し、ＧＰＴ画像Ｂは、本発明の第２変換画像に相当する。また、台形ａ’を含むＧＰＴ画像は、本発明の位置補正画像に相当する。台形ｂと台形ａ’との差分を取ると、差分として残った画素は、視差を生じさせる立体物４０が存在する位置に対応する。このようにして、立体物４０の存在する領域を抽出することができる。
【００２９】
図９は、図６に示すような撮影画像Ｉから得られたＧＰＴ画像から立体物４０の存在する領域（立体物領域Ｒ）を抽出する例を示す説明図である。図８に基づいて上述したように、カメラ１２が移動する前のＧＰＴ画像Ａに対してΔＬの位置補正を施したＧＰＴ画像Ａ’（位置補正画像）と、カメラ１２がΔＬだけ移動した後のＧＰＴ画像Ｂとの差分を取って、差分画像Ｓが得られる。差分画像Ｓにおいて、エッジを抽出すると、図９に示すように、ｅ１〜ｅ４の４辺からなる台形状の領域が、立体物領域Ｒとして抽出される。
【００３０】
ここで、辺ｅ３と辺ｅ４は、台形の上底及び下底に相当する。辺ｅ１と辺ｅ２とは、台形の上底及び下底以外の２辺、即ち、脚に相当する辺である。辺ｅ１と辺ｅ２とは、光学中心Ｃにおいて交差する。即ち、立体物領域Ｒは、平行しない２辺ｅ１及びｅ２が略垂直方向の視点から見下ろした場合における光学中心Ｃにおいて交差する台形状に抽出される。上記例においては、立体物４０が直方体であったので、立体物領域Ｒと、立体物４０とは略一致するものであった。しかし、立体物４０が直方体ではなく、任意の形状であっても、台形状の立体物領域Ｒが抽出される。
【００３１】
図１０は、立体物領域Ｒを抽出する他の例を示す説明図である。本例において、立体物４０は理解を容易にするために、星形形状である。光学中心Ｃから放射状に延びる点線の内、差分を取ることによって立体物４０として検出された画素を通る最も右側及び左側の２線が、立体物領域Ｒにおける平行しない２辺ｅ１及びｅ２となる。また、車両３０に最も近い側において立体物４０として検出された画素を通る直線の内、２辺ｅ１とｅ２との中央を通る放射線ＣＬと直交する直線が、立体物領域Ｒにおける平行な２辺の内の一方の辺ｅ３（上底）となる。そして、車両３０に最も遠い側において立体物４０として検出された画素を通る直線の内、放射線ＣＬと直交する直線又は辺ｅ３に平行な直線が、立体物領域Ｒにおける平行な２辺の内の他方の辺ｅ４（下底）となる。
【００３２】
図１１は、立体物領域Ｒを抽出するさらに別の例を示す説明図である。立体物領域Ｒにおける平行しない２辺ｅ１及びｅ２を設定する方法については、図１０に基づいて上述したものと同様であるので説明を省略する。本例では、車両３０に最も近い側において立体物４０として検出された画素を通る直線の内、光軸ＣＸと直交する直線が、立体物領域Ｒにおける平行な２辺の内の一方の辺ｅ３（上底）となる。そして、車両３０に最も遠い側において立体物４０として検出された画素を通る直線の内、光軸ＣＸと直交する直線又は辺ｅ３に平行な直線が、立体物領域Ｒにおける平行な２辺の内の他方の辺ｅ４（下底）となる。このように、立体物４０がどのような形状であったとしても、良好に台形状の立体物領域Ｒを抽出することができる。つまり、立体物領域Ｒは、立体物の形状に拘わらず、高い再現性で簡潔に抽出される。
【００３３】
尚、上述したΔＬは、車両３０の実際の移動量であってもよいし、移動する前に設定される所定の移動量であってもよい。従って、位置補正画像は、車両の実際の移動量ΔＬに基づいて第１変換画像が位置補正された画像でもよいし、仮定された所定の移動量に基づいて第１変換画像が位置補正された画像でもよい。
【００３４】
図１２は、ＥＣＵ１０を中核とする本発明に係る鳥瞰画像生成装置の構成例を模式的に示すブロック図である。図１２に示すように、鳥瞰画像生成装置（ＥＣＵ１０）は、第１画像受取部１と、第２画像受取部２と、第１射影変換部３と、第２射影変換部４と、立体物領域抽出部６と、射影歪補正部７と、自車位置演算８と、重畳部９と、画像制御部１１との各機能部を有して構成されている。ＥＣＵ１０は、例えば、マイクロコンピュータなどによって構成されており、上記各機能部は、プログラム等によってその機能を分担することが可能である。従って、上記各機能部は、物理的に独立して設けられる必要はなく、同一のハードウェアを兼用してプログラム等のソフトウェアとの協働によってその機能が実現されれば充分である。
【００３５】
第１画像受取部１は、車両３０の周辺を撮影するカメラ（車載カメラ）１２により第１位置において撮影された撮影画像Ｉを第１画像ＩＡとして受け取る機能部である。第２画像受取部２は、第１画像ＩＡを撮影した位置から車両３０が所定の移動量（ΔＬ）を経た第２位置においてカメラ１２により撮影された撮影画像Ｉを第２画像ＩＢとして受け取る機能部である。画像制御部１１は、第１画像受取部１及び第２画像受取部２が、撮影画像Ｉを受け取るタイミングなどを制御する機能部である。
【００３６】
第１射影変換部３は、第１射影変換手段３ａと、位置補正手段５との２つの機能部を有して構成される。第１射影変換手段３ａは、第１画像ＩＡを略垂直方向からの第２の視点からの第１変換画像Ａに射影変換する機能部である。位置補正手段５は、第１変換画像Ａを第２位置における位置補正画像Ａ’に補正する機能部である。１つの手法として、第１射影変換部３は、車両の移動量を検出する自車位置演算部８（移動検出部）の検出結果に基づいて、第１変換画像Ａを第２位置における位置補正画像Ａ’に補正する。つまり、自車位置演算部８により演算された移動量ΔＬに基づいて、第１変換画像Ａを位置補正画像Ａ’に補正する。
【００３７】
また、別の手法として、第１射影変換部３は、車両３０が第１位置から所定の方向へ所定の距離だけ離間した位置を第２位置として、第１変換画像Ａを第２位置における位置補正画像Ａ’に補正してもよい。第１位置から第２位置までの、所定の方向への所定の距離の移動は、移動量ΔＬに相当する。この場合、第２画像受取部２は、車両の移動量ΔＬを検出する自車位置演算部８（移動検出部）が、車両３０が所定の移動量ΔＬだけ移動したことを検出した際に、第２画像ＩＢを受け取ると好適である。つまり、第２画像受取部２は、自車位置演算部８（移動検出部）の検出結果に基づいて、車両３０が第２位置に達した際に撮影された撮影画像Ｉを第２画像ＩＢとして受け取る。尚、この場合の第２位置は、位置補正画像Ａ’を生成した際に設定された第２位置と厳密に一致しなくてもよい。つまり、車両３０が第２位置の近傍に達した際に撮影された撮影画像Ｉを第２画像ＩＢとして受け取るものであってよい。第２位置の近傍となる範囲は、予め設定されていることが好ましい。第２画像受取部２が第２画像ＩＢを受け取るタイミングは、画像制御部１１によって制御される。
【００３８】
自車位置演算部８は、ステアリングセンサ１４、シフト位置センサ１５、アクセルセンサ１６、ブレーキセンサ１７、回転センサ１８等の各種センサによる検出結果を受けて、車両３０の移動量や位置を演算する機能部である。上記各種センサ１４〜１８や、自車位置演算部８は、本発明の移動検出部１３に相当する。尚、自車位置演算部８は、ＥＣＵ１０とは別のＥＣＵや制御装置等に含まれ、演算結果のみがＥＣＵ１０に入力される構成であってもよい。
【００３９】
尚、第１射影変換手段３ａと、位置補正手段５との２つの機能部は、別個に設けられていてもよい。つまり、第１射影変換部３として、第１射影変換手段３ａに相当する機能部が設けられ、位置補正部として、位置補正手段５に相当する機能部が設けられていてもよい。また、射影変換と位置補正とは、１つの機能部（例えば、第１射影変換部３）によって一度の演算によって実行されてもよい。
【００４０】
第２射影変換部４は、第２画像ＩＢを第２の視点からの第２変換画像Ｂに射影変換する機能部である。立体物領域抽出部６は、位置補正画像Ａ’と第２変換画像Ｂとの差分を取り、この差分に基づいて、立体物４０が存在する立体物領域Ｒを、平行しない２辺（ｅ１及びｅ２）が光学中心Ｃにおいて交差する台形状に抽出する機能部である。
【００４１】
射影歪補正部７は、第２変換画像Ｂにおける立体物領域Ｒの画像を略垂直方向の視点から見下ろした場合における光学中心Ｃの方向へ縮小して射影歪補正画像（図１４に示す符号Ｂ’）に補正する機能部である。重畳部９は、第２変換画像Ｂ上における立体物領域Ｒの中で縮小後の立体物４０の画像が存在する領域以外の領域にマスク処理を施したり、立体物４０の存在を報知する報知表示（図１６に示す符号Ｍ）を重畳させたりする機能部である。これら、射影歪補正部７及び重畳部９の有する機能の詳細については、後述する。
【００４２】
以下、射影歪と、その補正方法について説明する。図１３は、射影歪を補正する原理を示す説明図である。図１４は、射影歪を補正した後の射影歪補正画像Ｂ’の一例である。図１５は、射影歪補正画像Ｂ’にマスク処理を施した画像の一例である。図１６は、射影歪補正画像Ｂ’に報知表示Ｍを重畳した画像の一例である。
【００４３】
図７に示すように、視点変換後のＧＰＴ画像Ｂにおける立体物４０は、大きな歪みを有している。そこで、視認性を向上させるべく、射影歪補正部７は、図１３に示すように、ＧＰＴ画像Ｂ（第２変換画像）における立体物領域Ｒの画像を光学中心Ｃの方向へ縮小して、図１４に示すような射影歪補正画像Ｂ’に補正する。立体物４０は、図１３に示すように、光学中心Ｃの側の一辺ｅ３、即ち立体物４０が路面に接する位置である下端位置を基準として、光学中心Ｃの方向（下端方向）へ縮小される。ここでは、比例配分によって縮小する例を示しているが、その他の縮小方法を用いてもよい。この補正の結果、図１４に示すように、立体物４０の像に対する違和感が低減される。
【００４４】
但し、立体物領域Ｒの中で圧縮後の立体物４０の領域以外に相当する領域Ｇには、元の歪みのある画像が残っている。このままでは、立体物４０の像に対して違和感を軽減させた効果が限定的となる可能性がある。そこで、例えば、立体物領域Ｒの外側の近傍の背景色によって、領域Ｇを塗りつぶすとよい。マスクされる領域Ｇは、立体物４０の背後であるから、カメラ１２による撮影画像Ｉの中にも現れない部分である。また、この領域Ｇ、いわゆる死角領域よりも、立体物４０の方が車両３０に近い側にあるので、死角領域がマスクされても大きな問題とはならない。
【００４５】
あるいは、図１５に示すように、領域Ｇが目立ちにくくなるように、ハーフトーン処理を施してマスクすると好適である。例えば、暖色系の色によってハーフトーン処理を施した場合には、立体物４０の陰に入って死角となる領域を目立たせて注意を促す効果が得られる。つまり、領域Ｇが死角であることを、穏やかに報知して利用者の注意を喚起することができる。一般的に路面の色は、モノトーンや寒色系であるので、暖色系の配色を用いると視認性が良い。一方、ハーフトーン処理を施すことによって、大きく目立たせることなく、穏やかに死角であることを報知することができる。
【００４６】
また、立体物４０が存在することを積極的に報知するようにしても好適である。図１６に示すように、領域Ｇに重なるように、メッセージＭ（報知表示）を重畳させてもよい。このようなメッセージＭを重畳させることによって、元の歪みのある画像が残っていても、注目されることなく、違和感を低減させることが可能となる。上述したように、歪みのある画像が残る領域Ｇは、立体物４０の背後に隠れたいわゆる死角である。従って、カメラ１２による撮影画像Ｉにも含まれておらず、無理に画像を表示させる必要のない領域でもある。従って、この領域ＧにメッセージＭ（報知表示）を重畳させると、メッセージＭにより必要な画像が隠されることがなく好適である。メッセージＭが任意の場所に重畳されると、立体物４０以外の例えば路面上の道路標示等を隠してしまう可能性が生じる。しかし、立体物４０の背後であって、画像を表示させる必要のない領域ＧにメッセージＭを重畳させることによって、利用者に対して、鳥瞰画像及びメッセージＭの双方を視認性よく示すことができる。このようなメッセージＭの重畳、上記マスク処理や塗りつぶし処理は、上述した重畳部９によって実施される。
【００４７】
以上、説明したように、本発明によって、車両の周辺を撮影する車載カメラにより撮影された画像を、利用者が立体物と車両との距離感を把握し易いように、立体物を含めて違和感なく、略垂直方向の視点から見た画像へ視点変換して鳥瞰画像を生成する鳥瞰画像生成装置を提供することが可能となる。このような鳥瞰画像装置を、適用することによって、利便性の高い駐車支援装置や運転支援装置などを提供することが可能となる。
【図面の簡単な説明】
【００４８】
【図１】車両の運転席前方の説明図
【図２】車両の基本構成を示すブロック図
【図３】視点変換の一例を示す説明図
【図４】略水平方向からの視点を有するカメラによって撮影された画像の一例
【図５】略垂直方向からの視点の画像へと変換された画像の一例
【図６】略水平方向に撮影された撮影画像の一例
【図７】図６の撮影画像を視点変換して得られたＧＰＴ画像の一例
【図８】立体物抽出原理を示す説明図
【図９】図６に示すような撮影画像から得られたＧＰＴ画像から立体物の存在する領域を抽出する例を示す説明図
【図１０】立体物の存在する領域を抽出する他の例を示す説明図
【図１１】立体物の存在する領域を抽出するさらに別の例を示す説明図
【図１２】鳥瞰画像生成装置の構成例を模式的に示すブロック図
【図１３】射影歪を補正する原理を示す説明図
【図１４】射影歪を補正した後の射影歪補正画像の一例
【図１５】射影歪補正画像にマスク処理を施した画像の一例
【図１６】射影歪補正画像に報知表示を重畳した画像の一例
【符号の説明】
【００４９】
１：第１画像受取部
２：第２画像受取部
３：第１射影変換部
４：第２射影変換部
６：立体物領域抽出部
７：射影歪補正部
９：重畳部
１０：ＥＣＵ（鳥瞰画像生成装置）
１２：カメラ（車載カメラ）
１３：移動検出部
３０：車両
４０：立体物
ｅ１〜ｅ４：辺
Ａ：第１変換画像、ＧＰＴ画像
Ａ’：位置補正画像、ＧＰＴ画像
Ｂ：第２変換画像、ＧＰＴ画像
Ｂ’：射影歪補正画像
Ｃ：光学中心
Ｇ：立体物領域の中で縮小後の立体物の画像が存在する領域以外の領域
Ｉ：撮影画像
ＩＡ：第１画像
ＩＢ：第２画像
ΔＬ：所定の移動量
Ｍ：メッセージ（報知表示）
Ｒ：立体物領域
【図１】
2010128939.tif 000003
【図２】
2010128939.tif 000004
【図３】
2010128939.tif 000005
【図４】
2010128939.tif 000006
【図５】
2010128939.tif 000007
【図６】
2010128939.tif 000008
【図７】
2010128939.tif 000009
【図８】
2010128939.tif 000010
【図９】
2010128939.tif 000011
【図１０】
2010128939.tif 000012
【図１１】
2010128939.tif 000013
【図１２】
2010128939.tif 000014
【図１３】
2010128939.tif 000015
【図１４】
2010128939.tif 000016
【図１５】
2010128939.tif 000017
【図１６】
2010128939.tif 000018