(57)【特許請求の範囲】
【請求項１】
一つ以上のカメラにより自車の周囲の映像を撮像する撮像部と、
前記自車の周囲に形成される曲面の形状情報を生成する曲面生成部と、
前記自車の形状情報及び少なくとも第１の仮想視点に関する情報を記憶する自車形状記憶部と、
合成映像を生成する描画部と、
前記合成映像を表示する表示部と、を備え、
前記描画部は、
前記撮像部による映像を前記曲面に投影し、この曲面を前記第１の仮想視点から見た投影画像を生成する投影映像生成部と、
前記第１の仮想視点から見た、前記自車の形状を示す前記自車の映像を生成する自車映像生成部と、
前記撮像部による映像を投影した前記曲面を前記自車の車体外板に投影し、この車体外板を前記第１の仮想視点から見た二重投影映像を生成する二重投影映像生成部と、
前記投影画像、前記自車の映像及び前記二重投影映像を合成した前記合成映像を生成する映像合成部と、を有する
ことを特徴とする車両用監視装置。
【請求項２】
前記自車形状記憶部は、前記第１の仮想視点とは異なる第２の仮想視点に関する情報を更に記憶し、
前記二重投影映像生成部は、前記曲面を前記第２の仮想視点に向かって前記自車の車体外板に投影し、この車体外板を前記第１の仮想視点から見た前記二重投影映像を生成する
ことを特徴とする請求項１に記載の車両用監視装置。
【請求項３】
前記第２の仮想視点が前記自車の略中心にあることを特徴とする請求項２に記載の車両用監視装置。
【請求項４】
前記二重投影映像生成部は、前記曲面を前記自車の車体外板のうちベルトラインから下方の部分に投影し、この下方の部分を前記第１の仮想視点から見た前記二重投影映像を生成することを特徴とする請求項１〜３のいずれか一項に記載の車両用監視装置。
【請求項５】
前記二重投影映像生成部は、前記第２の仮想視点から見た鏡面反射映像よりも上下方向に拡大された二重投影映像を生成することを特徴とする請求項２または３のいずれか一項に記載の車両用監視装置。
【請求項６】
前記二重投影映像生成部は、前記第２の仮想視点から見た鏡面反射映像と比べて横方向にオフセットしている二重投影映像を生成することを特徴とする請求項２、３または５のいずれか一項に記載の車両用監視装置。
【請求項７】
前記第２の仮想視点が、前記自車と前記第１の仮想視点よりも上方にあることを特徴とする請求項２に記載の車両用監視装置。
【請求項８】
前記二重投影映像生成部は、前記曲面を前記自車の車体外板のうちベルトラインから上方の部分に投影し、この上方の部分を前記第１の仮想視点から見た前記二重投影映像を生成することを特徴とする請求項１〜７のいずれか一項に記載の車両用監視装置。
【請求項９】
前記二重投影映像生成部は、前記自車とその周囲の状況から注意すべき周囲の物体または方向を求める状況取得部を備え、前記状況取得部が求めた物体または方向の映像を含む前記二重投影映像を生成することを特徴とする請求項１〜８のいずれか一項に記載の車両用監視装置。
【請求項１０】
一つ以上のカメラにより自車の周囲の映像を撮像し、
前記自車の周囲に形成される曲面の形状情報を取得し、
前記自車の形状情報及び少なくとも第１の仮想視点に関する情報を読み出し、
前記映像を前記曲面に投影し、この曲面を前記第１の仮想視点から見た投影画像を生成し、
前記第１の仮想視点から見た、前記自車の形状を示す前記自車の映像を生成し、
前記映像を投影した前記曲面を前記自車の車体外板に投影し、この車体外板を前記第１の仮想視点から見た二重投影映像を生成し、
前記投影画像、前記自車の映像及び前記二重投影映像を合成した合成映像を生成し、
前記合成映像を表示する
ことを特徴とする車両用監視方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一つ以上のカメラにより自車周囲の映像を撮像して表示する車両用監視装置に関する。
【背景技術】
【０００２】
従来から、車載カメラによる撮影画像を曲面形状に投影し、この曲面形状を仮想視点から見た合成画像を生成する視点変換技術が知られている（特許文献１参照）。この視点変換技術において、上記した合成画像に自車の画像を含ませない場合、周囲の状況と自車との位置関係が分かりにくい。そこで、特許文献１では、この合成映像に自車の画像を加えることで、より違和感の少ない合成画像を生成している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第３２８６３０６号公報（特に、[0145]〜[0147]参照）
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、合成画像の中に自車を立体物として描くと、仮想視点から見て自車の奥側が死角となってしまう。また、自車の手前側の仮想視点に近い投影曲面も死角となってしまう。
【０００５】
本発明は上記課題に鑑みて成されたものであり、その目的は、仮想視点から見た自車の周囲の死角を減らす車両用監視装置及び車両用監視方法を提供することである。
【課題を解決するための手段】
【０００６】
本発明の特徴は、一つ以上のカメラにより自車の周囲の映像を撮像し、自車の周囲に形成される曲面の形状情報を生成し、自車の形状情報及び少なくとも第１の仮想視点に関する情報を読み出し、合成映像を生成して表示する車両用監視装置及び車両用監視方法である。先ず、カメラによる映像を前記した曲面に投影し、この曲面を第１の仮想視点から見た投影画像を生成する。第１の仮想視点から見た、自車の形状を示す自車の映像を生成する。カメラによる映像を投影した曲面を自車の車体外板に投影し、この車体外板を第１の仮想視点から見た二重投影映像を生成する。そして、投影画像、自車の映像及び二重投影映像を合成することにより、前記した合成映像を生成する。
【発明の効果】
【０００７】
本発明の車両用監視装置及び車両用監視方法によれば、第１の仮想視点から見て自車の周囲の死角となっていた領域の映像を、第１の仮想視点から見える自車の車体外板に投影して表示することにより、死角を減らすことができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の実施の形態に係わる車両用監視装置の構成を示すブロック図である。
【図２】図２（ａ）及び図２（ｂ）は、図１のカメラＣａ１〜ＣａＮの配置例を示す上面図及び側面図である。
【図３】曲面生成部１２により生成された立体的な曲面ＣＳの一例を示す斜視図である。
【図４】自車２１の進行方向に垂直な面における図３の曲面ＣＳ及び自車２１の切断面を示す断面図である。
【図５】図１の二重投影映像生成部１９の動作を説明するための図であって、図４と同じ切断面を示す断面図である。
【図６】全周囲の曲面ＣＳ１、ＣＳ２、ＣＳ３の映像を表示する実施例を示す上面図である。
【図７】自車２１の奥側の投影面の死角を減らすその他の実施の形態を示す断面図である。
【図８】図１の車両用監視装置を用いた車両用監視方法を示すフローチャートである。
【図９】二重投影映像生成部３９のその他の実施の形態を示すブロック図である。
【図１０】第１の仮想視点ＰＶ１から見て自車２１の奥側が死角となる例を示す断面図である。
【図１１】自車２１の手前側の第１の仮想視点ＰＶ１に近い曲面部分Ａ１が死角となる例を示す断面図である。
【発明を実施するための形態】
【０００９】
以下図面を参照して、本発明の実施の形態を説明する。図面の記載において同一部分には同一符号を付している。
【００１０】
先ず、図１を参照して、本発明の実施の形態に係わる車両用監視装置の構成を説明する。本発明の実施の形態に係わる車両用監視装置は、一つ以上のカメラＣａ１〜ＣａＮにより自車周囲の映像を撮像する撮像部１１と、自車周囲に形成される曲面の形状情報を生成する曲面生成部１２と、自車の形状情報を記憶する自車形状記憶部１３と、少なくとも第１の仮想視点を決定する視点決定部１４と、合成映像を生成する描画部１５と、合成映像を表示する表示部１６とを備える。
【００１１】
描画部１５は、撮像部１１による映像を曲面生成部１２により生成された曲面に投影し、この曲面を第１の仮想視点から見た投影画像を生成する投影映像生成部１７と、第１の仮想視点から見た、自車の形状を示す自車映像を生成する自車映像生成部１８と、撮像部１１による映像を投影した曲面を自車の車体外板に投影し、この車体外板を第１の仮想視点から見た二重投影映像を生成する二重投影映像生成部１９と、投影画像、自車映像及び二重投影映像を合成した合成映像を生成する映像合成部２０とを有する。
【００１２】
撮像部１１は、Ｎ個のカメラＣａ１〜ＣａＮを備え、各カメラＣａ１〜ＣａＮは、自車２１に搭載され、自車周囲の映像を撮像する。撮像された映各像データは描画部１５へ転送される。
【００１３】
視点決定部１４は、表示部１６に表示される合成映像の仮想的な視点として、第１の仮想視点を決定する。具体的には、第１の仮想視点の位置、向き、視野角、歪曲特性を決定する。曲面生成部１２は、各カメラＣａ１〜ＣａＮの視点から第１の仮想視点への変換を行う際に基準となる立体的な曲面の形状を生成する。自車形状記憶部１３は、第１の仮想視点から見た自車の映像を描画するするために使用される自車の立体的な形状を記憶する。
【００１４】
投影映像生成部１７は、各カメラＣａ１〜ＣａＮの特性を示すカメラパラメータのテーブルを格納したメモリを備える。各カメラＣａ１〜ＣａＮの特性には、各カメラＣａ１〜ＣａＮの位置、向き、視野角、歪曲特性などが含まれる。また、投影映像生成部１７は、このカメラパラメータに基づいて、各カメラＣａ１〜ＣａＮにより撮像された映像を３次元空間の空間モデルにマッピングした空間データを作成する。そして、この空間データ及び視点決定部１４により決定された第１の仮想視点の位置、向き、視野角、歪曲特性を参照して、撮像部１１による映像を投影した曲面を第１の仮想視点から見た投影画像を生成する。このようにして、投影映像生成部１７は、各カメラＣａ１〜ＣａＮにより撮像された映像から、第１の仮想視点から見た投影画像へ、視点変換することできる。
【００１５】
自車映像生成部１８は、自車形状記憶部１３に記憶されている自車の立体的な形状及び第１の仮想視点の位置、向き、視野角、歪曲特性に基づいて、第１の仮想視点から見た自車映像を生成する。自車映像生成部１８の基本的な動作は、ＣＡＤ（Computer Aided Design）やＣＧ（コンピュータ・グラフィックス）などの技術として一般的に知られているものであり、立体的な形状のデータと視点が与えられているときに、その形状をその視点から見たときの映像を生成する。
【００１６】
なお、曲面生成部１２、視点決定部１４及び描画部１５は、データの演算装置、データを一時的に記憶するレジスタやメモリ装置、及び周辺機器とのインターフェースを行う入出力装置を備えるマイクロプロセッシングユニット（ＭＰＵ）によって実行される機能的な構成を示している。また、自車形状記憶部１３は、半導体メモリなどの記憶装置として構成すればよく、表示部１６は、液晶表示装置などの表示装置として構成すればよい。
【００１７】
図２（ａ）及び図２（ｂ）を参照して、図１のカメラＣａ１〜ＣａＮの配置例を説明する。撮像部１１は、Ｎ（＝６）個のカメラＣａ１〜Ｃａ６を備え、各カメラＣａ１〜Ｃａ６は、自車２１における所定の位置及び所定の角度に搭載され、自車周囲の映像を撮像する。カメラＣａ１は自車２１の右斜め後方の領域を撮像し、カメラＣａ２は自車２１の左斜め後方の領域を撮像し、カメラＣａ３は自車２１の左側の領域を撮像する。そして、カメラＣａ４は自車２１の左斜め前方の領域を撮像し、カメラＣａ５は自車２１の右斜め前方の領域を撮像し、カメラＣａ６は自車２１の右側の領域を撮像する。このように、自車２１に複数個のカメラＣａ１〜Ｃａ６を搭載し、各カメラＣａ１〜Ｃａ６の位置及び角度を調整することにより、自車周囲のうち広い範囲の映像を取得することができる。
【００１８】
図３に示すように、曲面生成部１２により生成された立体的な曲面ＣＳは、自車２１を取り囲む半球状の形状を有し、自車２１は、この半球状の形状の内側に位置している。自車２１のタイヤは曲面ＣＳの底部に接し、当該底部が、滑らかな曲面よって、自車２１を取り囲む側面につながっている。
【００１９】
図４は、自車２１の進行方向に垂直な面における図３の曲面ＣＳ及び自車２１の切断面を示す断面図である。自車２１は半球状の曲面ＣＳの内側に配置されている。自車２１のベルトラインには複数個のカメラＣａ１〜Ｃａ６が搭載され、図４のＰＣは、このうちの１つのカメラの視点を示している。また、図４のＰＶ１は、描画部１５により生成される合成映像における第１の仮想視点を示している。
【００２０】
投影映像生成部１７は、各カメラＣａ１〜Ｃａ６により撮像された映像を曲面ＣＳに投影して映像ＢＳを生成する。そして、曲面ＣＳに投影した映像ＢＳを第１の仮想視点ＰＶ１から見た投影画像を生成する。すなわち、カメラの視点ＰＣから見た映像ＢＳを、第１の仮想視点ＰＶ１から見た投影画像へ視点変換する。映像ＢＳの生成及び視点変換の際、投影映像生成部１７は、カメラＣａ１〜Ｃａ６に関する情報（自車２１に対する位置、向き、視野角、歪曲特性）、及び第１の仮想視点ＰＶ１に関する情報（自車２１に対する位置、向きＤＶ、視野角ＦＶ１、歪曲特性）を参照する。
【００２１】
図５を参照して、図１の二重投影映像生成部１９による二重投影映像の生成方法について説明する。先ず、図１の視点決定部１４は、第２の仮想視点ＰＶ２を決定する。具体的には、第２の仮想視点ＰＶ２の位置、向き、視野角、歪曲特性を決定する。図５の例において、第２の仮想視点ＰＶ２は自車２１の略中心にある。
【００２２】
そして、二重投影映像生成部１９は、先ず、投影映像生成部１７と同様にして、各カメラＣａ１〜ＣａＮにより撮像された映像を曲面ＣＳに投影し、この曲面ＣＳを第２の仮想視点ＰＶ２から見た中間映像Ｂ１を生成する。そして、中間映像Ｂ１を自車２１の車体外板に投影した映像Ｂ２を生成し、この車体外板に投影された映像Ｂ２を第１の仮想視点ＰＶ１から見た二重投影映像を生成する。すなわち、二重投影映像生成部１９は、カメラの視点から第２の仮想視点ＰＶ２へ視点変換し、さらに、第２の仮想視点ＰＶ２から第１の仮想視点ＰＶ１へ視点変換する。これにより、車両のボディに反射している風景を模擬して広い視野を実現する二重投影映像を生成することができる。
【００２３】
映像合成部２０は、この二重投影映像を、投影画像、自車映像とともに合成して、合成映像を生成する。
【００２４】
なお、二重投影映像生成部１９は、曲面ＣＳに投影された映像Ｂ１を自車２１の車体外板のうちベルトラインＢＬから下方の部分に投影し、この下方部分に投影された映像Ｂ２を第１の仮想視点ＰＶ１から見た二重投影映像へ変換する。
【００２５】
次に、図８を参照して、図１の車両用監視装置を用いた車両用監視方法について説明する。ここでは、図１における構成のうち、ＭＰＵ（データ演算装置）としての動作を説明する。
【００２６】
（イ）先ず、Ｓ０１段階において、カメラＣａ１〜Ｃａ６を備える撮像部１１を用いて自車周囲の映像を撮像する。Ｓ０３段階に進み、自車周囲に形成される曲面ＣＳの形状情報を取得する。Ｓ０５段階に進み、自車形状情報記憶部１３から自車２１の形状情報を読み出す。Ｓ０７段階に進み、第１及び第２の仮想視点ＰＶ１、ＶＰ２を決定する。なお、前記したＳ０１〜Ｓ０７段階はどの順番に実施してもかまわない。
【００２７】
（ロ）Ｓ０９段階に進み、投影画像、自車映像及び二重投影映像を合成した合成映像を生成する。詳細には、先ず、Ｓ９１段階において、撮像部１１により撮像した映像を曲面ＣＳに投影し、この曲面ＣＳに投影された映像を第１の仮想視点ＰＶ１から見た投影画像を生成する。Ｓ９３段階に進み、第１の仮想視点ＰＶ１から見た、自車２１の形状を示す自車映像を生成する。Ｓ９５段階に進み、撮像部１１により撮像した映像を投影した曲面ＣＳを自車２１の車体外板に投影し、この車体外板を第１の仮想視点ＰＶ１から見た二重投影映像を生成する。そして、Ｓ９７段階に進み、投影画像、自車映像及び二重投影映像を合成して合成映像を生成する。
【００２８】
（ハ）最後に、Ｓ１１段階に進み、合成映像を表示部１６に表示する。
【００２９】
以上説明したように、本発明の実施の形態によれば、以下の作用効果が得られる。
【００３０】
図１の映像合成部２０が、投影映像生成部１７により生成された投影画像及び自車映像生成部１８により生成された自車映像を合成した場合、図１０に示すように、第１の仮想視点ＰＶ１から見て、自車２１の奥側が死角となる。また、図１１に示すように、自車２１の手前側の第１の仮想視点ＰＶ１に近い曲面部分Ａ１も死角となってしまう。例えば、第１の仮想視点ＰＶ１を自車２１の真上に置けば、周囲全体が見渡せるようになるが、周囲の映像の歪曲などによりそのような第１の仮想視点ＰＶ１の設定が望ましくない場合がある。
【００３１】
そこで、第１の仮想視点ＰＶ１から見て自車２１の周囲の死角となっていた領域の映像を、第１の仮想視点ＰＶ１から見える自車２１の車体外板に投影して表示することにより、死角を減らすことができる。
【００３２】
二重投影映像生成部１９は、図５に示したように、曲面ＣＳを第２の仮想視点ＰＶ２に向かって自車２１の車体外板に投影し、この車体外板を第１の仮想視点ＰＶ１から見た二重投影映像を生成する。これにより、自車２１の周囲の死角となっていた映像を自車２１に投影できるので、自車２１の周囲の死角となっていた領域Ｂ１が、自車２１の車体外板Ｂ２に反射しているように見え、高い視認性を実現できる。
【００３３】
図５の例において、第２の仮想視点ＰＶ２は自車２１の略中心にある。これにより、自車２１の周囲の映像を大きく、高い視認性で表示できる。第２の仮想視点ＰＶ２が映像Ｂ２の近い位置にある場合、映像Ｂ２は小さくなってしまう。
【００３４】
二重投影映像生成部１９は、曲面ＣＳを自車２１の車体外板のうちベルトラインＢＬから下方の部分に投影し、この下方部分を第１の仮想視点ＰＶ１から見た二重投影映像を生成する。これにより、ベルトラインよりも下の実際の車両では塗装面に当たる部分に投影することができる。よって、自車２１の周囲の二重投影映像を、略垂直な面に高い視認性で表示できる。なお、実際の車両では、ベルトラインより上のガラス面に当たる部分では、室内の形状などの映像とも重なってしまうため、そこに表示しても分かりにくい。
【００３５】
（その他の実施の形態）
上記のように、本発明は、１つの実施形態によって記載したが、この開示の一部をなす論述及び図面はこの発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施の形態、実施例及び運用技術が明らかとなろう。
【００３６】
例えば、中間映像Ｂ１を自車２１の車体外板に投影する際に、実際の光の反射を模擬するレイ・トレーシング手法を用いてもよい。そして、曲率が強いボディ形状における反射映像を計算するときのみ曲率が少ないボディ形状に置き換えて計算を行ってもよい。すなわち、二重投影映像生成部１９は、第２の仮想視点ＰＶ２から見た鏡面反射映像よりも上下方向に拡大された二重投影映像を生成してもよい。これにより、自車２１の周囲の二重投影映像を更に大きく、高い視認性で表示できる。
【００３７】
同様にして、映像の縦方向の大きさだけでなく、横方向の大きさや位置についても調整してもかまわない。例えば、図６の上面図に示すように、二重投影映像を計算するための第２の仮想視点として、２つの仮想視点ＰＶ２、ＰＶ３を設定する。第２の仮想視点ＰＶ２から見た曲面ＣＳ２を自車２１の車体外板ＦＢ２に投影する。もう一つの第２の仮想視点ＰＶ３から見た曲面ＣＳ３を自車２１の車体外板ＦＢ３に投影する。そして、第１の仮想視点から見た、車体外板ＦＢ２及び車体外板ＦＢ３に投影された二重投影映像と、曲面ＣＳ１に投影された投影画像と、自車映像とを合成する。
【００３８】
ここで、車体外板ＦＢ２及び車体外板ＦＢ３に投影された二重投影映像は、第２の仮想視点ＰＶ２、ＰＶ３から見た鏡面反射映像と比べて横方向にオフセットしてもよい。二重投影映像の横方向の大きさや位置を調整することにより、全周囲の曲面ＣＳ１、ＣＳ２、ＣＳ３の映像を第１の仮想視点ＰＶ１から直接にまたは間接的に確認することができる。
【００３９】
以上では、最終的な映像の視点となる第１の仮想視点ＰＶ１から見て、自車２１の手前側の曲面ＣＳの死角を減らす方法を述べたが、本発明によれば、自車２１の奥側の投影面の死角を減らすこともできる。例えば、第２の仮想視点ＰＶ２を図７のように、第１の仮想視点ＰＶ１よりも上方の位置に設定し、曲面Ｃ１を自車２１の車体外板Ｃ２の位置に投影してもよい。自車２１からみて第１の仮想視点ＰＶ１と反対側の死角を車体外板Ｃ２の位置に表示できる。
【００４０】
二重投影映像生成部１９は、曲面Ｃ１を自車２１の車体外板のうちベルトラインから上方の部分Ｃ２に投影し、この上方部分Ｃ２を第１の仮想視点ＰＶ１から見た二重投影映像を生成してもい。自車２１からみて第１の仮想視点ＰＶ１と反対側の死角を直感的に表示できる。このように、第１の仮想視点ＰＶ１と反対側の死角を自車２１の車体外板上に投影する場合、実際の世界では車両のガラスの部分であるベルトラインの上の領域に投影するのが自然である。自車２１からみて第１の仮想視点ＰＶ１と反対側の死角を直感的に表示できる。
【００４１】
また、図９に示すように、二重投影映像生成部３９は、自車２１とその周囲の状況から注意すべき周囲の物体または方向を求める状況取得部４１を備え、状況取得部４１が求めた物体または方向の映像を含む二重投影映像を生成してもよい。自車２１とその周囲の状況をセンシングし、特定の方向にて注意すべきものが存在するときのみ、自車２１の車体外板上に二重投影映像を表示する。運転者の注意を特にひきつけることができる。特に注意すべき物体を強調して、運転者の注意を特にひきつけることができる。また、周囲の死角を減らすことができる。
【００４２】
また、実施の形態では、撮像部１１が備えるカメラの数が６個である場合を示したが、１〜５、あるいは７以上であってもかまわない。
【符号の説明】
【００４３】
１１    撮像部
１２    曲面生成部
１３    自車形状記憶部
１４    視点決定部
１５    描画部
１６    表示部
１７    投影映像生成部
１８    自車映像生成部
１９、３９    二重投影映像生成部
２０    合成部
２１    自車
４１    状況取得部
ＰＶ１    第１の仮想視点
ＰＶ２、ＰＶ３    第２の仮想視点
Ｃａ１〜ＣａＮ    カメラ
ＣＳ    曲面
ＢＬ    ベルトライン
【図１】
0005549436.tif 000002
【図２】
0005549436.tif 000003
【図３】
0005549436.tif 000004
【図４】
0005549436.tif 000005
【図５】
0005549436.tif 000006
【図６】
0005549436.tif 000007
【図７】
0005549436.tif 000008
【図８】
0005549436.tif 000009
【図９】
0005549436.tif 000010
【図１０】
0005549436.tif 000011
【図１１】
0005549436.tif 000012