(57)【特許請求の範囲】
【請求項１】
単数、または、複数の撮像手段より入力されたドライバの死角を含む撮像画像を、前記撮像手段が単数の場合には前記撮像画像を複数の画像に分割し、前記撮像手段が複数の場合には複数の前記撮影画像を合成して合成画像を生成し、前記合成画像を前記複数の画像に分割する画像合成分割手段と、前記複数の画像それぞれを、周辺の鏡が中央の鏡より閉じられた多面鏡の鏡面それぞれに映っているように変形して変形画像とする画像変形手段と、前記画像変形手段によって変形された複数の前記変形画像それぞれを、前記多面鏡の鏡面それぞれに映っているように配置する配置制御手段とを備えた画像表示制御装置。
【請求項２】
前記複数の変形画像について、それぞれが厚みを有する前記鏡面に映っているように、前記複数の変形画像それぞれの周辺に表示するための画枠の描画データを生成する描画データ生成手段を備え、前記配置制御手段は、前記描画データ生成手段で生成された前記画枠の描画データと、前記複数の変形画像との位置関係を合わせて配置する請求項１に記載の画像表示制御装置。
【請求項３】
前記多面鏡は、左、正面および右の三つの鏡面で構成された三面鏡であり、前記複数の変形画像は、変形左周辺画像、変形後方正面画像および変形右周辺画像で構成される請求項１または請求項２に記載の画像表示制御装置。
【請求項４】
前記変形後方正面画像の水平画角が、９０度から１２０度の範囲である請求項３に記載の画像表示制御装置。
【請求項５】
前記描画データ生成手段は、前記厚みに陰影をつけて立体感を醸し出すような前記描画データを生成することを特徴とする請求項２に記載の画像表示制御装置。
【請求項６】
前記画像表示制御装置が車両に搭載され、表示する対象が車両の後方であって、前記描画データ生成手段は車両が後退する際の舵角に応じた予想進路軌跡も作成し、前記配置制御手段が前記変形画像に前記予想進路軌跡を重畳表示することを特徴とする請求項２乃至請求項５のいずれかに記載の画像表示制御装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、カメラを用いて車両後方や車両前方のドライバの死角を含めた広い範囲の画像を撮像し、わかりやすく表示する画像表示制御装置に関する。
【０００２】
【従来の技術】
従来、画像表示制御装置としては、例えば特開平１０―２５７４８２号に記載されたもの等が知られている。図４は従来の画像表示制御装置の構成ブロック図である。従来の画像表示制御装置では、撮像手段４１が車両に設置され、撮像手段４１から出力される複数の撮像画像は画像合成手段４２に入力されて合成される。画像合成手段４２で合成された合成画像に、描画データ生成手段４３で生成された運転支援のための車両予想進路軌跡データ等が重畳され、配置制御手段４４に入力されて画像の配置が決定された上で表示手段に出力される。
【０００３】
撮像手段４１は例えば車載用ＣＣＤカメラであり、図５に示すように（車両の前方は図中に「前」と示す方向とする。以下同様）、２個の撮像手段４１が左右のサイドミラー付近でそれぞれ撮像範囲５０１、５０２の範囲を撮像し、１個の撮像手段４１が後方中央の撮像範囲５０３の範囲を撮像するように取り付けられている。画像合成手段４２は、左側側方画像５０４、右側側方画像５０５及び後方画像５０６の無限遠点を合わせて１つの無限遠点とし、１つの仮想視点から見たように３つの画像を視点変換した後、その３つの画像を合成して１枚の画像で構成される表示画面５０７を作成する。この表示により、３個の撮像手段４１で取った映像で、特に道路面に関しては、あたかも１つの画面のように見立ててドライバに表示することが可能である。
【０００４】
ただし、この撮像手段４１の配置では、側方に固定されている撮像手段４１と後方正面に固定されている撮像手段４１とではその視点が異なる、すなわち撮像するＣＣＤの位置が大きく異なるために、合成時の表示画面５０７の境目付近に存在する立体物に対してそれぞれの撮像手段４１での見え方が明らかに異なる。このため、いかに仮想視点変換しようとも、そもそも異なる形にみえているものを同一には出来ず、動画像としてドライバに表示提供する際にはなはだ違和感がある。例えば、後方中央から側方に他の車両が動いている時に表示画面５０７の境目で突然その車両形状が変化してしまう。
【０００５】
そこで、図６のように複数の撮像手段４１をほぼその視点がほぼ同じ位置にあるように配置することも考えられている。図６では、２個の撮像手段４１が車両後端中央部のそれぞれ撮像範囲５１０、５１１の範囲を撮像する。この場合視点が近いので、左右の撮像手段４１で取った画像をパノラマ的に合成しても、撮像するＣＣＤの位置がほぼ等しいために、合成時の表示画面５１４の境目付近に存在する立体物に対してそれぞれの撮像手段４１での見え方がほぼ等しくなり、その境目、つなぎ目における道路面及びその上に存在する車両等の立体物のイメージは極めて自然に接続され、つなぎ目に関しての違和感はほとんどない。図６の例の自車と撮像されている他の車との位置関係を図７に示す。自車７０５から遠い順に第１の車７０１、第２の車７０２、第３の車７０３、第４の車７０４が存在しており、図６の画像は約１８０度の視野範囲の映像を表示することが可能となっていることがわかる。
【０００６】
なお、描画データ生成手段４３は、車両が後退する時の予想進路軌跡５１５（例えば、最大車幅線を道路面上に転写した軌跡）を描画データとして生成し、配置制御手段４４はあらかじめ調節しておいた実際の画像と軌跡との配置関係を合わせて２つを重ね合わせた画像を作成、最終表示画像５１４とする。
【０００７】
以上のように、従来の画像表示制御装置は、それぞれの撮像手段４１の撮影範囲が狭くても、複数の撮像手段４１の画像を合成することにより、広い視野を１つの画面で実現でき、ドライバの死角を減少させることができた。
【０００８】
【発明が解決しようとする課題】
しかしながら、上記のような構成の従来の画像表示制御装置では以下のような課題があった。すなわち、前者の従来例では、上述したように、それぞれの撮像手段の位置が大きく異なるために変形合成しても、立体物が大きく変形して見えるために違和感があるばかりか、立体物が何かもわかりにくく、また、仮にわかったとしても、２次元的に単に張り合わせただけなので、どの方向の画像なのか方向感がつかみにくい。
【０００９】
また、後者の従来例においても、パノラマ的に見せることで広い視野に何があるか確認することは出来るが、１８０度に近い視野がある反面、図６の画像を見ても明らかなように１８０度よりはかなり狭い鋭角の視野領域の画像を見ているようにドライバに錯覚をおこさせ、方向感を失わせてしまうという課題があった。
【００１０】
例えば、図７に示すように第４の車７０４が実際は撮像している自車の後端からドライバが見れば本来真横にあるはずのものであるが、自車から見て斜め後ろ方向にあるように見えてしまう。
【００１１】
【課題を解決するための手段】
以上の課題を解決するために本発明の画像表示制御装置は、撮像手段より入力されるべき撮像画像を複数の画像に分割する画像合成分割手段と、前記複数の画像のそれぞれに異なる変形処理を施す画像変形手段と、前記複数の画像を所定の位置に配置し、表示する配置制御手段とを備えた構成とした。この構成により、例えば水平１８０度の広範囲の画像を表示する際に単一の広角画像あるいは一旦複数の画像を変形・合成した画像を作成後、画像中央に位置するすなわち正面の画像と正面から離れたすなわち側方の画像に前記合成された画像を分離し、側方はいかにも側方を見ていると認識できるように正面画像に比べて意図的に歪ませ、変形することができ、方向感覚のつかみやすい、違和感のない映像を提示できる。
【００１２】
本発明の画像表示制御装置は、撮像手段より入力された撮像画像を複数の画像に分割する画像合成分割手段と、前記複数の画像のそれぞれに異なる変形処理を施す画像変形手段と、前記複数の画像の強調または理解補助のための描画データを生成する描画データ生成手段と、前記複数の画像と前記描画データとを所定の位置に配置し、表示する配置制御手段とを備えた構成とした。この構成により、さらに画像を際立たせたり理解を深めさせるための描画データを生成する描画データ生成手段を設け、表示を見ている運転者に、奥行き感をより感じやすくさせることができる。
【００１３】
本発明の画像表示制御装置は、前記撮像手段を複数有し、前記複数の撮像手段より入力された複数の画像を合成する画像合成手段をさらに備え、前記画像合成分割手段は、前記画像合成手段で合成された画像を、少なくとも３つの画像に再分割し、前記画像変形手段は前記３つの画像のうち両端の画像が中央の画像に向けて所定の角度閉じられているように見えるように、前記３つの画像を変形する構成とした。この構成により、あたかも３面鏡を見ているように後方の奥行きのある画像を提供し、方向感も含めて周辺の様子を容易に認知させることができる。
【００１４】
本発明の画像表示制御装置は、描画データ生成手段は、少なくとも前記両端の画像のそれぞれが、あたかも前記両端の画像が半開きになった３面鏡の両端の鏡のように見える厚みをつける構成とした。この構成により、前記３つの画像のうち、両側の画像が半開きになった３面鏡の両側の鏡のようにみせることができる。
【００１５】
本発明の画像表示制御装置は、描画データ生成手段は、前記厚みに陰影をつけて立体感を醸し出すような描画データを生成する構成とした。この構成により、前記３つの画像のうち、両側の画像が半開きになった３面鏡の両側の鏡のようにみせることができ、かつ陰影をつけて立体感を醸し出すことができる。
【００１６】
本発明の画像表示制御装置は、画像表示制御装置が車両に搭載され、表示する対象が車両の後方であって、前記描画データ生成手段は車両が後退する際の舵角に応じた予想進路軌跡も作成し、前記配置制御手段が前記変形された画像に前記予想進路軌跡を重畳表示する構成とした。この構成により、駐車におけるドライバに対する支援を効果的に行なうことができる。
【００１７】
【発明の実施の形態】
以下、本発明の画像表示制御装置の実施の形態について、図１から図３を用いて説明する。
【００１８】
図１は本発明の画像表示制御装置の構成ブロック図である。図２は、撮像手段１で撮像した画像を変形して表示するまでの動作の流れの説明図、図３は本発明の画像表示制御装置の実際の表示例を示す図である。
【００１９】
本発明の画像表示制御装置は、車両周辺の画像を撮像する撮像手段１より入力された撮像画像を複数の画像に分割する画像合成分割手段２と、前記複数の画像のそれぞれに異なる変形処理を施す画像変形手段３と、前記複数の画像を所定の位置に配置し、表示する配置制御手段５とを備えている。
【００２０】
なお、画像合成分割手段２は、画像の合成を必須の機能とするものではなく、撮像手段１が複数であれば、画像を合成した上で分割し、撮像手段が１が一つ（例えば広角カメラなどを用いて、視野の広い範囲を撮像する場合）であれば、画像を合成する必要がないので、画像を分割する機能を主として有するものである。
【００２１】
撮像手段１は図２の左側に書かれた車の模式図のように、車両の後方中央、例えばバンパーの上あたりに設置され、それぞれ撮像範囲１０１、１０２の水平画角の範囲を撮像する。撮像手段１の水平画角として例えば約１１０度を想定すると、２つの撮像手段１は、２つ合わせて水平方向１８０度以上の範囲の画像が取得できるようにするために、車両の後方正面で約４０度のオーバーラップ領域１０３を持たせて、撮像手段１のそれぞれを車両の後方正面方向から車両側方に向けて互いに反対方向に３５度ずつ傾けて設置する。ただし、オーバーラップの領域は後述するパノラマ画像を作成する際ののりしろに相当するマージンであり少なくても良い。すなわち、２つの撮像手段１で水平１８０度の視野画像を見たいのであるならば、各撮像手段１の水平画角は９０度＋αでよい。
【００２２】
２つの撮像手段１で撮像された画像である左後方画像１０４、右後方画像１０５を画像合成分割手段２によりまず１つの合成画像１０６に合成する。具体的な合成方法としては、撮像手段１のレンズ系による歪みをそれぞれの画像から除いた後、２つの画像に映る事物が連続して映るように、若干の画像の縮小または拡大による調整と上下左右の位置合わせの調整をした後、パノラミックに合成する。あるいは、もう一つの合成方法としては、車両後方に視点がありかつ車両の後方正面方向に撮像手段１の光軸があるような仮想的な撮像手段を考え、その視点から見たように左後方画像１０４、右後方画像１０５をそれぞれ視点変換し合成する。後者の方法のほうが、前者の方法より処理が複雑ではあるが、より自然な画像合成が可能である。なお、視点変換自体は公知の技術であり、例えば、「画像処理工学基礎編  谷口慶治編  共立出版株式会社p.61-62」にも記載されている。
【００２３】
いずれかの方法で合成された画像は、図６に示した従来例の画像表示例と同等であり、図７で示した１８０度の視野の全領域が表示されている。このうち、後方を直視しながら並列駐車等の運転動作を行なう時に、方向感覚を重視しながらドライバが見つめ続けなければならない範囲は高々１１０度程度の視野に相当する領域である。例えば、代表的な後方カメラによる駐車アシストシステムでは、その水平画角範囲は９０度から１２０度程度である。逆に９０度から１２０度の角度範囲の画像を２次元的に表示するのであるならば、ドライバは画像の印象から方向感角を失うことなく、周辺状況を認知できるということが言える。
【００２４】
本発明の画像表示制御装置においてはこの点に鑑み、画像合成分割手段２により、合成画像１０６のうち、車両の後方正面の画角１１０度程度の後方正面画像１０９とその両側の画角１１０度よりさらに周辺の左右の部分の左周辺画像１０７と右周辺画像１０８の３つの画像に合成画像を再分割するように構成している。  なお、本実施の形態では、車両の後方正面の後方正面画像１０９の画角は１１０度としたが、先に述べたような理由からこの画角は９０度から１２０の範囲にあればよい。
【００２５】
画像変形手段３は後方正面画像１０９や左周辺画像１０７と右周辺画像１０８が、それらを見るドライバに大まかにどの方向の画像かがわかるように、画像自体を圧縮したり、故意に歪みを加えたり、変形する。例えば、画像変形手段３は前記３つの画像を３面鏡の個々の鏡面に見立てたときに、その３面鏡を正面から見たときに両側の鏡がある角度だけ中央の鏡より閉じられているように見えるように、前記３つの画像を変形左周辺画像１１０、変形右周辺画像１１１、変形後方正面画像１１２のように変形する。これにより、平面画像でありながら奥行き感を醸し出すことができて、正面は正面およそ画角１１０度程度の画像としてドライバは認知することができ、また、周辺はあたかも横方向であるかのように認知することができる。
【００２６】
変形後方正面画像１１２は、もちろん後方の確認にも用いるが、後方に移動しながらの並列駐車等の運転動作の補助にも用いることができるるため、ほぼ変形せずそのまま表示するようにする。変形左周辺画像１１０と変形右周辺画像１１１は、いかにも両端の鏡が正面から手前に折れて歪んで見えるように例えば、やや水平方向に圧縮して表示し、また、全体を平行四辺形型に切り取るか、変形する。以上の変形は、変形された画像に映っているのは車両の側方の部分であるということが認知でき、また、方向感覚が失われないように変形調節する。
【００２７】
次に、描画データ生成手段４は、従来の画像表示制御装置と同様に、車両が後退する時の予想進路軌跡１１５（例えば、最大車幅線を道路面上に転写した軌跡）を描画データとして生成する。また、前記３つの画像が３面鏡の個々の鏡面に見立てられるように、鏡の厚みに相当する画枠の厚み１１３、１１４をつけて、かつ、例えばその画枠に上から光が当たっているように、上側の画枠１１３だけを明るい色で塗り、逆に側面の画枠１１４は暗い色にするというような描画データを生成し、配置制御手段５はあらかじめ調節しておいた実際の画像と自車の予想軌跡１１５との配置関係を合わせて２つを重ね合わせた画像を作成、最終表示画像とする。
【００２８】
なお、描画データ生成手段４が生成する予想進路軌跡１１５は、車両センサから得られる舵角情報から舵角による進路変更をリアルタイムに盛り込んだ動軌跡データであっても良い。
【００２９】
なお、本実施の形態では、撮像手段を２つ用いて、２つの画像を合成してから分割する例を示したが、３つ以上の画像を合成した場合にも適用可能であることはいうまでもない。
【００３０】
さらに、撮像手段1を１つの広角カメラで撮像した場合にも適用できることは上述した通りである。
【００３１】
【発明の効果】
以上のように本発明は、広範囲の画像を提供してドライバの死角を減少させると共に、ドライバの方向感覚を失わせず、駐車支援画面としても利用できる、優れた画像表示制御装置を提供できる。
【図面の簡単な説明】
【図１】本発明の一実施の形態における画像表示制御装置の構成ブロック図
【図２】本発明の一実施の形態における画像表示制御装置の画面合成の流れを示す説明図
【図３】本発明の一実施の形態の画像表示制御装置の実際の表示例を示す説明図
【図４】従来の画像表示制御装置の構成ブロック図
【図５】従来の画像表示制御装置の画面合成の流れを示す説明図
【図６】従来の画像表示制御装置の画面合成の流れを示す説明図
【図７】画像表示制御装置の画面に撮像された車両の配置例を示す説明図
【符号の説明】
１  撮像手段
２  画像合成分割手段
３  画像変形手段
４  描画データ生成手段
５  配置制御手段
【図１】
0004195966.tif 000002
【図２】
0004195966.tif 000003
【図３】
0004195966.tif 000004
【図４】
0004195966.tif 000005
【図５】
0004195966.tif 000006
【図６】
0004195966.tif 000007
【図７】
0004195966.tif 000008