(57)【要約】【課題】カメラの設置の容易性を確保しつつも、死角を減少させ又は解消することにより空間的な障害物をも表示することができる画像表示方法を提供する。【解決手段】本発明に係る画像表示方法は、俯角を持つように設置された俯角カメラ８により所定の領域を撮影する俯角カメラ撮影ステップと、仰角を持つように設置された仰角カメラ９により俯角カメラ８の撮影領域の上方を撮影する仰角カメラ撮影ステップと、俯角カメラ８による撮影画像に基づいて、俯角カメラ８の撮影領域を上方から見たときの俯瞰画像を生成する俯瞰画像生成ステップと、仰角カメラ９による撮影画像に基づいて、仰角カメラの撮影領域を下方から見たときの逆俯瞰画像を生成する逆俯瞰画像生成ステップと、前記俯瞰画像及び前記逆俯瞰画像を合成して合成画像を生成する合成画像生成ステップと、前記合成画像をモニタに表示する表示ステップとを含む。【選択図】  図７
2004289386.tif 000002
【特許請求の範囲】
【請求項１】
俯角を持つように設置された俯角カメラにより所定の領域を撮影する俯角カメラ撮影ステップと、
仰角を持つように設置された仰角カメラにより前記俯角カメラの撮影領域の上方を撮影する仰角カメラ撮影ステップと、
前記俯角カメラによる撮影画像に基づいて、前記俯角カメラの撮影領域を上方から見たときの俯瞰画像を生成する俯瞰画像生成ステップと、
前記仰角カメラによる撮影画像に基づいて、前記仰角カメラの撮影領域を下方から見たときの逆俯瞰画像を生成する逆俯瞰画像生成ステップと、
前記俯瞰画像及び前記逆俯瞰画像を合成して合成画像を生成する合成画像生成ステップと、
前記合成画像を表示手段に表示する表示ステップとを含むことを特徴とする画像表示方法。
【請求項２】
前記合成画像生成ステップにおいて、前記俯瞰画像及び前記逆俯瞰画像のいずれか一方を左右反転させて他方とともに半透明化して重ね合わせることにより、前記合成画像を生成することを特徴とする請求項１に記載の画像表示方法。
【請求項３】
俯角を持つように設置されて所定の領域を撮影する俯角カメラと、
仰角を持つように設置されて前記俯角カメラの撮影領域の上方を撮影する仰角カメラと、
前記俯角カメラによる撮影画像に基づいて前記俯角カメラの撮影領域を上方から見たときの俯瞰画像を生成するとともに、前記仰角カメラによる撮影画像に基づいて前記仰角カメラの撮影領域を下方から見たときの逆俯瞰画像を生成し、前記俯瞰画像及び前記逆俯瞰画像を合成して合成画像を生成する画像処理手段と、
前記合成画像を表示する表示手段とを有することを特徴とする画像表示装置。
【請求項４】
前記画像処理手段が、前記俯瞰画像及び前記逆俯瞰画像のいずれか一方を左右反転させて他方とともに半透明化して重ね合わせることにより、前記合成画像を生成することを特徴とする請求項３に記載の画像表示装置。
【請求項５】
俯角を持つように設置されて所定の領域を撮影する俯角カメラの撮影画像をデコードする第一のデコード手段と、
該第一のデコード手段によりデコードされた画像を記憶する第一の記憶手段と、
仰角を持つように設置されて前記俯角カメラの撮影領域の上方を撮影する仰角カメラの撮影画像をデコードする第二のデコード手段と、
該第二のデコード手段によりデコードされた画像を記憶する第二の記憶手段と、
前記第一の記憶手段に記憶された画像に基づいて前記俯角カメラの撮影領域を上方から見たときの俯瞰画像を生成するとともに、前記第二の記憶手段に記憶された画像に基づいて前記仰角カメラの撮影領域を下方から見たときの逆俯瞰画像を生成する画像変換手段と、
前記俯瞰画像及び前記逆俯瞰画像を合成して合成画像を生成する画像合成手段と、
前記合成画像をエンコードするエンコード手段とを有することを特徴とする画像処理装置。
【請求項６】
前記画像合成手段が、前記俯瞰画像及び前記逆俯瞰画像のいずれか一方を左右反転させて他方とともに半透明化して重ね合わせることにより、前記合成画像を生成することを特徴とする請求項５に記載の画像処理装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、複数のカメラの撮影画像に基づいて死角の少ない合成画像を生成する画像表示方法及び画像表示装置と、この画像表示装置に用いられる画像処理装置に関する。
【０００２】
【従来の技術】
カメラの撮影画像又はこれに基づく画像をモニタに表示する画像表示装置として、車両のトランクやナンバープレート（ライセンスプレート）付近に設置されたカメラにより撮影した車両後方の画像を車室内のモニタに表示する駐車アシストシステムが知られている。このような装置では、カメラは俯角を持つように斜め下方に向けて設置されることが通常であり、車両に対して地面を含む下方の領域を主な視野とし、車両の後進時に運転者が後方の障害物を確認することができるようになっている。ところが、このように車両後方を斜め下向きに撮影してモニタ表示する装置では、車両と障害物との距離感や車両と障害物との位置関係の把握が容易ではなく、改善が望まれていた。
【０００３】
一方、特許文献１に記載されているように、複数のカメラによる撮影を行い撮影画像の視点を車両の真上から見下ろすように変換してモニタに表示する俯瞰画像表示システムも存在する。この装置によれば、障害物の形状や障害物との距離感、位置関係が判り易いため、咄嗟の場合における運転者の直感的な認識に大変有利である。
【０００４】
ところで、実際の俯瞰画像表示システムでは、構造上の問題等から上記特許文献１に記載されているように車両の最上部にカメラを取り付けるということはほとんどなく、バックアイカメラと称される後方監視用カメラの撮影映像を用いて俯瞰画像（撮影領域を上方から見下ろしたときの画像）を得ることが少なくない。具体的には、図８に示すように、車両１のトランクリッド等にカメラ（このように実在するカメラを実カメラともいう。）２を設置して撮影領域Ｓ１を撮影し、この撮影領域Ｓ１の上方で上空２〜３ｍにあると想定した仮想カメラ（実在しないカメラ）３であたかも撮影したかのような俯瞰画像をその実カメラ２の撮影画像に基づいて生成することにより、障害物の形状や大きさ、距離感や位置関係等が運転者に直感的に伝達される。
【０００５】
【特許文献１】
特開昭５８−１１０３３４号公報
【０００６】
【発明が解決しようとする課題】
しかしながら、仮想カメラ３で撮影したかのような俯瞰画像は上述のように実カメラ２の撮影画像に基づくもので、撮影領域Ｓ１に含まれない情報については俯瞰画像に現れないので、仮想カメラ３が実在する場合の撮影領域Ｓ２に対して斜線で示す部分が死角となる。
【０００７】
すなわち、多くの場合、障害物は地上にあり、地面から上方に伸延する形で存在するので、障害物は車両１が後進するに従って徐々に撮影領域Ｓ１に入り、このとき運転者がそれを認識して衝突を回避することは可能である。ところが、壁からの突出物や樹木の枝等のように直接地面上にない空間障害物が存在する場合には、その障害物が上記斜線で示す空間的な死角にあるまま車両１と衝突してしまうおそれや、撮影領域Ｓ１に入ったとしてもそれが突然であって運転者が回避する間なく車両１と衝突してしまうおそれがあり、モニタ表示による安全性をより一層高めるためには死角を減少させる必要がある。
【０００８】
この死角は、図９に示すように（あるいは特許文献１にあるように）車両４の最も高い位置に実カメラ５を設置すればほぼ解消するが（実カメラ５の撮影領域Ｓ３に含まれず、かつ、その上方に想定する仮想カメラ６の撮影領域Ｓ４に含まれる領域が死角となるが、当該領域のほとんどは車両４の上方となるため実質的に問題とならない。）、既述のように車両最上部にカメラを設置するには構造上の困難（物理的な困難）が伴うほか、カメラの高さと同一の高さに障害物が存在したときにそれが撮影されずカメラと障害物との衝突を回避することができない可能性も残存する。
【０００９】
本発明は、上記の事情に鑑みて為されたもので、カメラの設置の容易性を確保しつつも、死角を減少させ又は解消することにより空間的な障害物をも表示することができる画像表示方法及び画像表示装置と、この画像表示装置に用いられる画像処理装置を提供することを課題としている。
【００１０】
【課題を解決するための手段】
上記課題を解決するため、請求項１に係る発明は、俯角を持つように設置された俯角カメラにより所定の領域を撮影する俯角カメラ撮影ステップと、仰角を持つように設置された仰角カメラにより前記俯角カメラの撮影領域の上方を撮影する仰角カメラ撮影ステップと、前記俯角カメラによる撮影画像に基づいて、前記俯角カメラの撮影領域を上方から見たときの俯瞰画像を生成する俯瞰画像生成ステップと、前記仰角カメラによる撮影画像に基づいて、前記仰角カメラの撮影領域を下方から見たときの逆俯瞰画像を生成する逆俯瞰画像生成ステップと、前記俯瞰画像及び前記逆俯瞰画像を合成して合成画像を生成する合成画像生成ステップと、前記合成画像を表示手段に表示する表示ステップとを含む画像表示方法を特徴とする。
【００１１】
請求項２に係る発明は、請求項１に記載の画像表示方法において、前記合成画像生成ステップにおいて、前記俯瞰画像及び前記逆俯瞰画像のいずれか一方を左右反転させて他方とともに半透明化して重ね合わせることにより、前記合成画像を生成することを特徴とする。
【００１２】
請求項３に係る発明は、俯角を持つように設置されて所定の領域を撮影する俯角カメラと、仰角を持つように設置されて前記俯角カメラの撮影領域の上方を撮影する仰角カメラと、前記俯角カメラによる撮影画像に基づいて前記俯角カメラの撮影領域を上方から見たときの俯瞰画像を生成するとともに、前記仰角カメラによる撮影画像に基づいて前記仰角カメラの撮影領域を下方から見たときの逆俯瞰画像を生成し、前記俯瞰画像及び前記逆俯瞰画像を合成して合成画像を生成する画像処理手段と、前記合成画像を表示する表示手段とを有する画像表示装置を特徴とする。
【００１３】
請求項４に係る発明は、請求項３に記載の画像表示装置において、前記画像処理手段が、前記俯瞰画像及び前記逆俯瞰画像のいずれか一方を左右反転させて他方とともに半透明化して重ね合わせることにより、前記合成画像を生成することを特徴とする。
【００１４】
請求項５に係る発明は、俯角を持つように設置されて所定の領域を撮影する俯角カメラの撮影画像をデコードする第一のデコード手段と、該第一のデコード手段によりデコードされた画像を記憶する第一の記憶手段と、仰角を持つように設置されて前記俯角カメラの撮影領域の上方を撮影する仰角カメラの撮影画像をデコードする第二のデコード手段と、該第二のデコード手段によりデコードされた画像を記憶する第二の記憶手段と、前記第一の記憶手段に記憶された画像に基づいて前記俯角カメラの撮影領域を上方から見たときの俯瞰画像を生成するとともに、前記第二の記憶手段に記憶された画像に基づいて前記仰角カメラの撮影領域を下方から見たときの逆俯瞰画像を生成する画像変換手段と、前記俯瞰画像及び前記逆俯瞰画像を合成して合成画像を生成する画像合成手段と、前記合成画像をエンコードするエンコード手段とを有する画像処理装置を特徴とする。
【００１５】
請求項６に係る発明は、請求項５に記載の画像処理装置において、前記画像合成手段が、前記俯瞰画像及び前記逆俯瞰画像のいずれか一方を左右反転させて他方とともに半透明化して重ね合わせることにより、前記合成画像を生成することを特徴とする。
【００１６】
本発明によれば、俯角カメラの撮影画像に基づいて、俯角カメラの撮影領域を上方から見たときの俯瞰画像が生成され、俯角カメラの撮影領域の上方を撮影する仰角カメラの撮影画像に基づいて、仰角カメラの撮影領域を下方から見たときの逆俯瞰画像が生成され、俯瞰画像及び逆俯瞰画像が合成されて生成された合成画像が表示手段に表示されるので、俯瞰カメラでは死角となるその撮影領域の上方空間における情報を仰角カメラにより捉えて合成画像に反映させ、表示手段に表示させることができる。よって、死角が減少又は解消して空間的な障害物をも表示可能となる。
【００１７】
また、俯角カメラ及び仰角カメラは車両最上部等の取り付けにくい位置に設置する必要がないので、カメラの設置容易性も確保することができる。
【００１８】
【発明の実施の形態】
本発明の実施の形態を図面に基づいて説明する。
【００１９】
図１は、本実施の形態に係る画像表示装置（２系統２カメラ画像処理システム：２つのカメラと２つの入力系統を有する画像処理システム）の概略構成を示す。この画像表示装置７は、俯角カメラ８と、仰角カメラ９と、表示手段としてのモニタ１０と、画像処理装置としての信号処理装置１１とを備えている。
【００２０】
俯角カメラ８は、図２に示すように、車両１２の後部に俯角θ１を持つように設置され、車両１２の後方の地面Ｇを含む撮影領域Ｓ５を撮影する。仰角カメラ９は、図３に示すように、車両１２の後部で俯角カメラ８の近傍（ここでは下方）に仰角θ２を持つように設置され、車両１２の後方空間で上空２〜３ｍにおける仮想平面Ｖを含む撮影領域Ｓ６を撮影する。撮影領域Ｓ６は撮影領域Ｓ５の上方に位置し、撮影領域Ｓ６及び撮影領域Ｓ５は平面視したときに少なくとも一部が重なり合うようになっている。
【００２１】
モニタ１０は液晶であってもＣＲＴであってもよく、車両１２の車室内のインストルメントパネル等に設けられている。モニタ１０は後述のようにカメラ８，９の撮影に基づいて車両１２の後方の画像を写し出すが、カメラ８，９等に対する専用品である必要はなく、ナビゲーション装置等のモニタを兼用してもよい。
【００２２】
信号処理装置１１は、俯角カメラ８に接続された入力系統１３と、仰角カメラ９に接続された入力系統１４とを備え、入力系統１３は第一のデコード手段としてのデコーダ部１５及び第一の記憶手段としての画像メモリ１６からなり、入力系統１４は第二のデコード手段としてのデコーダ部１７及び第二の記憶手段としての画像メモリ１８からなる。
【００２３】
また、信号処理部１１は、画像変換手段としての画像処理部１９及び画像処理メモリ２０と、エンコード手段としてのエンコーダ部２１と、これらを統合制御する制御部２２と、制御部２２が参照するデータＲＯＭ２３，２４，２５とを備える。
【００２４】
カメラ８，９により撮影が行われ（ステップ１（図４においてＳ．１と記載。以下同様））、各カメラの撮影画像の画像信号がデコーダ部１５，１７に入力されると、制御部２２はその画像信号から同期信号を分離する。制御部２２はさらにデコーダ部１５，１７に入力された画像信号をＲＧＢ信号にデコードするとともにＡ／Ｄ変換し（ステップ２）、これにより得られるデジタルＲＧＢの画像情報を画像メモリ１６，１８に記憶させてジッター（データ遅れ）を吸収する（ステップ３）。
【００２５】
つぎに、制御部２２は、データＲＯＭ２３を参照しながら画像処理部１９により画像メモリ１６に記憶された画像を画像処理し、撮影領域Ｓ５の画像情報に基づいて撮影領域Ｓ５を真上から見下ろしたような俯瞰画像を生成する（ステップ４）。また、制御部２２は、データＲＯＭ２４を参照しながら画像処理部１９により画像メモリ１８に記憶された画像を画像処理し、撮影領域Ｓ６の画像情報に基づいて撮影領域Ｓ６を真下から見上げたような逆俯瞰画像を生成する（ステップ５）。そして、その俯瞰画像及び逆俯瞰画像をデータＲＯＭ２５を参照しながら画像処理部１９により合成し、生成された合成画像を画像処理メモリ２０に記憶させる（ステップ６）。
【００２６】
続いて、制御部２２は、画像処理メモリ２０に記憶された合成画像の画像信号を画像処理部１９からエンコーダ部２１に出力させてＤ／Ａ変換するとともにエンコードし（ステップ７）、エンコーダ部２１からモニタ１０にアナログ信号が出力されて合成画像がモニタ１０に表示される（ステップ８）。
【００２７】
例えば図２及び図３に示したように、車両１２の後方に障害物２６が存在し、この障害物２６が地面Ｇに立設された丸棒状の鉛直材２７と、鉛直材２７から車両１２の側に突出して空間障害物となっている丸棒状の水平材２８とからなる場合を想定すると、俯角カメラ８の撮影領域Ｓ５には地面Ｇ及び鉛直材２７の下端部２７ａが入り、図５に模式的に示すように撮影領域Ｓ５を真上から見下ろすように視点変換した俯瞰画像２９には下端部２７ａの像２７ａ’が含まれる。一方、仰角カメラ９の撮影領域Ｓ６には、車両１２の後方空間において地面Ｇに平行な仮想平面Ｖ及び水平材２８の先端部２８ａが入り、撮影領域Ｓ６を真下から見上げるように視点変換した逆俯瞰画像３０には先端部２８ａの像２８ａ’が含まれる。
【００２８】
図６に示すように、ここでは制御部２２は俯瞰画像２９を透明度５０％で半透明化した画像３１と、逆俯瞰画像３０を左右反転させて透明度５０％で半透明化した画像３２とを重ね合わせ、合成画像３３を生成する。これにより、図７に示すように車両１２の後方上空に想定したカメラ３４であたかも撮影したかのような合成画像３３がモニタ１０に表示され、車両１２の運転者は空間障害物である水平材２８をモニタ１０で確認することができる。
【００２９】
この実施の形態に係る画像表示装置７では、俯角カメラ８の撮影画像に基づいて、俯角カメラ８の撮影領域Ｓ５を上方から見たときの俯瞰画像２９（及び画像３１。以下これらのいずれも「俯瞰画像」という。）が生成され、俯角カメラ８の撮影領域Ｓ５の上方を撮影する仰角カメラ９の撮影画像に基づいて、仰角カメラ９の撮影領域Ｓ６を下方から見たときの逆俯瞰画像３０（画像３２。以下これらのいずれも「逆俯瞰画像」という。）が生成され、俯瞰画像及び逆俯瞰画像が合成されて生成された合成画像３３がモニタ１０に表示されるので、俯瞰カメラ８では死角となるその撮影領域Ｓ５の上方空間における情報（例えば水平材２８）を仰角カメラ９により捉えてモニタ表示させることができる。
【００３０】
すなわち、これまでは俯角カメラの設置位置よりも高い位置にある障害物は原理的にモニタ表示することができなかったが、本実施の形態では俯角カメラ８の設置位置よりも上方にある障害物が仰角カメラ９の撮影画像から作成される逆俯瞰画像（仰角図、蛙瞰図）により判明するので、これと俯角カメラ８による俯瞰画像（俯瞰図）とを重ね合わせて１枚のモニタ表示画像（合成画像）を生成することにより、本来必要となる空間情報をより多く持った視点変換画像をモニタ表示することができる。換言すれば、カメラが車両に設置される場合、これまではカメラが車両最上部になければ少なくともカメラ設置位置から車両最上部までの間が死角になる一方、その間にある空間障害物は車両との衝突の可能性があるので運転者は必ず目視でそれを回避しなければならなかったが、本実施の形態では仰角カメラがカメラの設置高さ以上の範囲をも捉えるので、たとえカメラが車両最上部になくても車高までの空間情報を運転者がモニタ上で確認することが可能で安全性、信頼性のより一層の向上が図られる。
【００３１】
また、このようにカメラを車両最上部等の取り付けにくい位置に設置する必要がないので、本実施の形態ではカメラの設置容易性も確保される。
【００３２】
なお、本発明は上述した形態に限られるものではなく、例えば３個以上のカメラを用いて合成画像を生成しても、又は画像処理時にデータＲＯＭを参照する代わりにＣＰＵによる演算を行うようにしてもよい。あるいは、俯瞰画像２９や逆俯瞰画像３０を半透明化する際の透明度を５０％とせず、例えば俯瞰画像を主（低透明度）として逆俯瞰画像を従（高透明度）とするような重み付けの変化を適宜与えてもかまわない。
【００３３】
【発明の効果】
本発明は、以上説明したように構成したので、カメラの設置の容易性を確保しつつも、死角を減少させ又は解消することにより空間的な障害物をも表示することができるという効果を奏する。
【図面の簡単な説明】
【図１】発明の実施の形態に係る画像表示装置の概略構成を示すブロック図である。
【図２】俯角カメラの設置位置及び撮影領域を示す説明図である。
【図３】仰角カメラの設置位置及び撮影領域を示す説明図である。
【図４】画像表示装置における撮影からモニタ表示までの処理を示す流れ図である。
【図５】俯瞰画像及び逆俯瞰画像を模式的に示す説明図である。
【図６】俯瞰画像及び逆俯瞰画像の合成を示す説明図である。
【図７】仮想カメラと俯瞰画像及び逆俯瞰画像とを示す説明図である。
【図８】従来の車載カメラの設置例を示す説明図である。
【図９】従来の車載カメラの他の設置例を示す説明図である。
【符号の説明】
７    画像表示装置
８    俯角カメラ
９    仰角カメラ
１０  モニタ（表示手段）
１１  信号処理装置（画像処理手段、画像処理装置）
１２  車両
【図１】
2004289386.tif 000003
【図２】
2004289386.tif 000004
【図３】
2004289386.tif 000005
【図４】
2004289386.tif 000006
【図５】
2004289386.tif 000007
【図６】
2004289386.tif 000008
【図７】
2004289386.tif 000009
【図８】
2004289386.tif 000010
【図９】
2004289386.tif 000011