(57)【特許請求の範囲】
【請求項１】
車両の運転を支援するために、当該車両の周辺を表す表示画像を生成する描画装置であって、
前記車両周辺の画像を撮影する撮像手段と、
前記車両を表す自車両モデル画像を格納する自車両モデル画像保持手段と、
前記車両の設定される舵角検出手段から得られる当該車両の蛇角から当該車両の予測軌跡を算出する軌跡算出手段と、
前記自車両モデル画像を前記撮像手段で撮像した撮影画像に表示した前記予測軌跡上に合成する自車両モデル画像合成手段と、
前記撮影画像に基づいて予め定めた仮想視点から前記車両の周辺を見た視点変換画像を生成する視点変換画像生成手段とを備え、
前記視点変換画像生成手段は、前記視点変換画像の視点変換に伴う歪に合わせて自車両モデル画像を歪ませ、前記撮影画像に合成させた視点変換画像を生成することを特徴とする描画装置。
【請求項２】
前記撮影画像に基づいて、前記車両の駐車位置を示す特定パターンがあるかないかを判断する特定パターン判断手段をさらに備え、
前記視点変換画像生成手段は、前記パターン判断部により前記特定パターンが存在すると判断された場合には、前記車両モデルを含まない視点変換画像を生成する、請求項１に記載の描画装置。
【請求項３】
自車両モデル画像合成手段は、前記撮像手段により取得された撮影画像に、半透明の前記自車両モデル画像を合成して、自車両モデル合成画像を生成する、請求項１に記載の描画装置。
【請求項４】
自車両モデル画像合成手段は、前記撮像手段により取得された撮影画像に、ワイヤーフレームの前記自車両モデル画像を合成して、自車両モデル合成画像を生成する、請求項１に記載の描画装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、描画装置に関し、より特定的には、車両の運転を支援する運転支援装置に組み込むことが可能な描画装置に関する。さらに詳しく述べると、車両に固定される撮像装置からの撮影画像を基礎として、車両の周囲を表す表示画像を作成する描画装置に関する。
【０００２】
【従来の技術】
上述のような運転支援システムとして、従来、以下のようなものが知られている。すなわち、運転支援システムは、車両に設置され、ステアリングの舵角を検出する蛇角センサと、ステアリングの舵角に対応する車両の移動軌跡を求めるプロセッサと、車両の後方または側後方を撮影する撮像装置と、表示画像を表示する表示装置とを備えている。以上の運転支援システムにおいて、車両の後退時には、撮像装置によって得られる後方または側後方の状況を表す画像が表示装置に表示される。さらに、ステアリングが操作されると、表示装置に、その舵角に基づいて予測された車両の移動軌跡が、上述の表示画像が表す後方または側後方の状況に重ねて表示される。以上のような運転支援システムの処理によって、運転者は、例えば、現在のステアリング操作で駐車スペースへ車両が納まるか否かを把握することができる。なお、上記のような運転支援システムは、例えば特開昭６４−１４７００号公報に開示されている。
【０００３】
また、従来の運転支援システムの中には、例えば特開平１１−７８６９２号公報に開示されているように、複数の撮像装置から得られる複数の撮影画像から合成画像を生成して表示するものがある。かかる運転支援システムでは、高速に合成画像を生成するために、まず、上記複数の撮影画像の各画素を、例えば、車両が移動する路面にマッピングし、次に、各画素がマッピングされた路面を所定の仮想視点から見た画像を、その視点からの車両の周辺状況を表す合成画像として生成する。この場合、車両周辺の各物体は高さ成分を持たず路面に投影されることとなる。
【０００４】
【発明が解決しようとする課題】
上記従来の運転支援システムには、以下のような問題があった。
すなわち、上記のような従来の運転支援システムを駐車の際に使用しても、車両１台毎の駐車スペースを示す白線等、駐車位置の目安となるマークが無い駐車場では、自車両を駐車させるべき位置を運転者が正確に把握することが困難であるという問題点があった。
【０００５】
また、従来の運転支援システムにおいて、特に、複数の撮影画像から合成画像を生成するものでは、撮影画像に現れる物体の高さ成分が無視されるので、生成された合成画像には各物体が歪んで現れる。このため、図７に示すように、例えば、その後方に存在する２台の車両の間に運転手が自車両を駐車させようとしたとき、運転支援システムが表示する合成画像においてそれら２台の車両も歪んで現れる。その結果、合成画像上に車両の予測軌跡Ｌが示されていても、運転者がそれら２台の車両の間隔などを正確に把握するのが困難となる。つまり、従来の運転支援システムでは、自車両が障害物に接触させることなく目的位置に納まるか否かを運転者が判断することが困難であるという問題点があった。
【０００６】
それ故に、本発明の目的は、車両の駐車位置を運転者が確実に把握できる表示画像を作成できる描画装置を提供することである。また、本発明の他の目的は、自車両が障害物に接触することなく駐車位置に納まるか否かを運転者が視認可能な表示画像を生成できる描画装置を提供することである。
【０００７】
【課題を解決するための手段および発明の効果】
第１の発明は、車両の運転を支援するために、当該車両の周辺を表す表示画像を生成する描画装置であって、車両周辺の画像を撮影する撮像手段と、車両を表す自車両モデル画像を格納する自車両モデル画像保持手段と、車両の設定される舵角検出手段から得られる当該車両の蛇角から当該車両の予測軌跡を算出する軌跡算出手段と、自車両モデル画像を撮像手段で撮像した撮影画像に表示した前記予測軌跡上に合成する自車両モデル画像合成手段と、撮影画像に基づいて予め定めた仮想視点から車両の周辺を見た視点変換画像を生成する視点変換画像生成手段とを備え、視点変換画像生成手段は、視点変換画像の視点変換に伴う歪に合わせて自車両モデル画像を歪ませ、撮影画像に合成させた視点変換画像を生成することを特徴とする。
【０００８】
第２の発明は、第１の発明に従属しており、描画装置は、撮影画像に基づいて、車両の駐車位置を示す特定パターンがあるかないかを判断する特定パターン判断部をさらに備え、視点変換画像生成手段は、パターン判断部により特定パターンが存在すると判断された場合には、車両モデルを含まない視点変換画像を生成する。
【０００９】
第３の発明は、第１の発明に従属しており、自車両モデル画像合成手段は、前記撮像手段により取得された撮影画像に、半透明の前記自車両モデル画像を合成して、自車両モデル合成画像を生成する。
第４の発明は、第１の発明に従属しており、自車両モデル画像合成手段は、前記撮像手段により取得された撮影画像に、ワイヤーフレームの前記自車両モデル画像を合成して、自車両モデル合成画像を生成する。
【００１０】
以上の第３および第４の発明によれば、自車両モデル画像合成手段は、自車両モデルで車両の周辺の様子が隠れない、つまり死角領域のない自車両モデル合成画像を生成することができ、これによって、ドライバは、表示画像を通じて、車両の前方または後方の状況を広い範囲にわたって、確認することができる。また、特に、第４の発明によれば、ワイヤーフレームで自車両モデルが描画されるため、少ない演算量で自車両モデル合成画像を生成することができる。
【００１１】
【発明の実施の形態】
以下、添付図面を参照しつつ本発明の実施形態について説明する。
図１は、本発明の実施形態に係る運転支援システム１００のハードウェア構成を示すブロック図である。この運転支援システム１００は、入力装置１と、Ｎ台（Ｎは１以上の自然数）のカメラ２1 〜２Nと、舵角センサ３と、ＲＯＭ４、ＲＡＭ５およびＣＰＵ６からなる描画装置１０と、表示装置８とを備えている。
【００１２】
入力装置１は、運転者による操作が可能な位置に配置されており、リモートコントローラ、タッチパネル、操作ボタン等で構成される。
カメラ２1 〜２Nは、車両の前後左右の所定位置に固定されており、当該車両の周辺状況を示す画像を、撮影画像として取り込む。また、各カメラ２1 〜２Nには、それぞれを特定するための識別値が割り当てられている。以下、説明の便宜のため、本実施形態では、識別値として、各カメラの参照符号“２”に振られている添え字を用いる。
舵角センサ３は、車両の所定位置に取り付けられており、ステアリングの舵角量を検出する。
【００１３】
ＣＰＵ６は、ＲＯＭ４内のプログラムに従って動作する。これによって、ＣＰＵ６は、車両の予測軌跡を算出するための軌跡演算手段、および画像処理を行う画像処理手段として機能し、請求項における表示画像を生成する。また、この動作中、ＲＡＭ５は、ＣＰＵ６の作業領域として使用される。このＲＡＭ５内には、カメラ２1 〜２Nによる撮影画像のデータを格納するための領域として、各カメラ２1 〜２Nにつき少なくとも１フレーム分の領域（以下、フレームバッファと称す）が確保されている。さらに、ＲＡＭ５には、表示画像が作成される領域として、フレームメモリが確保されている。
【００１４】
さらに、ＲＯＭ４には、自車両の３次元モデルを表すデータも格納されている。なお、この自車両モデルのサイズは、原則として自車両のサイズと同一であるが、他の車両等の障害物との接触を確実に防止するために、自車両のサイズよりも所定量だけ大きなサイズとしてもよい。
【００１５】
表示装置８は、液晶ディスプレイ等の画面を有しており、ＣＰＵ６が生成した表示画像を表示する。
【００１６】
上記構成のシステム１００による支援を運転者が必要とするのは、並列駐車時または縦列駐車時が典型的である。運転者は、例えば並列駐車の時のように本システム１００の支援が必要な時、入力装置１を操作する。
【００１７】
入力装置１は、運転者が並列駐車をする旨を入力した場合、並列駐車用の動作を行うようにＣＰＵ６に指示する。ＣＰＵ６は、入力装置１からの指示に応答して、ＲＯＭ４内のプログラムに従って、図２に示す処理手順を開始する。
【００１８】
図２の処理には車両の周辺状況を示す撮影画像が必要となる。より具体的には、車両の前方または後方を撮影した画像が必要となる。そのため、ＣＰＵ６は、該当する位置にある少なくとも１台のカメラ２i（ｉ＝１，２，…Ｎ）に画像を取り込むように指示する（ステップＳ１０）。該当するカメラ２iは、ＣＰＵ６から取り込み指示を受け取ると、車両の周辺状況を示す撮影画像を１フレーム分生成して、ＲＡＭ５に転送する。以下では、Ｎ台のカメラ２1 〜２Nが画像取り込みの指示を受けて、それぞれのために確保されたフレームバッファに転送するものとして説明する。
【００１９】
ＣＰＵ６は、各カメラに画像取り込みを指示した後、各カメラによる画像取り込みの動作と並行して、下記の動作を行う。
【００２０】
まず、ＣＰＵ６は、車両の軌跡を予測するために、舵角センサ３に舵角量を検出するように指示する（ステップＳ１２）。舵角センサ３は、ＣＰＵ６から検出指示を受け取ると、現在の舵角量を検出して、その検出結果をＣＰＵ６に送信する。
【００２１】
次に、ＣＰＵ６は、舵角センサ３から受け取った検出結果に基づいて、現在の舵角量から予測される車両の軌跡Ｌを算出する（ステップＳ１４）。この予測軌跡Ｌは、典型的には、車両がこれから移動する路面上の軌跡である。
【００２２】
本実施形態は、予測軌跡Ｌに沿って自車両が移動する過程において、当該自車両が他の車両等の障害物と接触しないか否か等を運転者が容易に判断できるようにすることを目的として、運転支援システム１００は、予測軌跡Ｌ上に自車両モデルを配置した周辺画像を表示画像として表示する。このとき、自車両モデルは、表示画像の構成要素として、自車両から離れる方向に予測軌跡Ｌ上を所定量（以下、単位移動量と称す）ずつ移動していくように表示され（図６参照）、自車両モデルが所定の最大距離だけ移動すると、予め決められた初期距離の位置に戻る。このような自車両モデルの表示を実現するために、ＣＰＵ６は、ステップＳ１４の後、ステップＳ１５で示される画像処理を行う。画像処理において、ＣＰＵ６は、まず、図３に示す計算手順で、表示画像の構成要素として表示すべき自車両モデルの予測軌跡Ｌ上の位置（以下「表示自車両位置」という）を決定する（ステップＳ１６）。
【００２３】
以下、この計算手順を図３を参照して説明する。なお、以下において、単位移動量は、自車両モデルの１回分の移動量であり、例えば、０．５ｍに設定される。また、上記最大距離は、上述の通りであり、例えば、３ｍに設定される。さらに、「表示距離」は、表示画像の構成要素として表示すべき自車両モデルが予測軌跡Ｌに沿って移動した距離（現実の空間における距離）であり、最初は初期距離に設定されているものとする。ここで、初期距離は、自車両の直近に相当する距離である。以上の単位移動量、最大距離および初期距離は、典型的には、本運転支援システム１００の製造時等に、上述のような適切な値に設定されるが、運転者の好みに応じて変更できることが好ましい。
【００２４】
図２のステップＳ１６へ進むと、図３の計算手順が呼び出され、ＣＰＵ６は、下記のように動作する。まず、前回に図３の計算手順を実行して得られた表示距離を、前回表示距離として取り込む（ステップＳ１００）。最初にこの計算手順が呼び出されたときには、初期距離（自車両の直近に相当する距離）が前回の表示距離となる。次に、この前回表示距離と単位移動量との加算値を、今回の表示距離として算出し（ステップＳ１０２）、今回の表示距離が、最大距離を越えているか否かを判定する（ステップＳ１０４）。その判定の結果、表示距離が最大距離を越えていれば、今回の表示距離を初期距離に設定して（ステップＳ１０６）、ステップＳ１０８へ進み、一方、今回の表示距離が最大距離以下であれば、無処理でステップＳ１０８に進む。ステップＳ１０８では、ステップＳ１４で算出された予測軌跡Ｌから、その開始点から今回の表示距離までに相当する部分（以下、部分予測軌跡と称す）を選択する。以上の表示予測軌跡から、表示距離に対応する予測軌跡Ｌ上の位置（つまり、部分予測軌跡の終端位置）と、当該終端位置における予測軌跡Ｌの方向とが得られるので、これらを表示すべき自車両モデルの位置および方向（現実の空間における位置および方向）に設定する（ステップＳ１１０）（図６参照）。ここで、以下では、自車両モデルの位置および方向を包括して自車両情報と称する。その後、今回の表示距離を、次回にこの計算手順が呼び出されたときに使用するために（ステップＳ１００参照）、ＲＡＭ５に保存する（ステップＳ１１２）。
【００２５】
以上のステップＳ１１２の終了後、ＣＰＵ６は、ステップＳ１１０で設定された表示自車両情報に基づき、図４に示す生成手順を呼び出して実行し、自車両合成画像を生成する（図２のステップＳ１８）。図４の生成手順に従って、ＣＰＵ６は、下記のように動作する。
【００２６】
まず、ステップＳ１１０で設定された位置および方向に配置され、表示画像の構成要素となる自車両モデルが実空間において占有する範囲を、ＣＰＵ６は計算する（ステップＳ２００）。次に、各カメラの識別値（前述）を特定する変数ｊを“１”に初期化し（ステップＳ２０２）、上記の占有範囲を有する自車両モデルがカメラ２jの視野に入るか否かを判定する（ステップＳ２０４）。その判定の結果、自車両モデルが視野に入らなければ、変数ｊを１だけ増加させて再びステップＳ２０４を実行する。その判定の結果、自車両モデルが視野に入れば、カメラ２jから見たときの自車両モデルを、自車両モデル画像として生成する（ステップＳ２０６）。
【００２７】
次に、ＣＰＵ６は、カメラ２jから撮影画像を取得できるまで待機する（ステップＳ２０８）。かかる画像取得が終了すると、ＲＡＭ５におけるカメラ２j用のフレームバッファ（以下、処理対象のフレームバッファと称す）には、当該カメラ２jによって生成された撮影画像が格納されていることになる。ステップＳ２０８の次に、ＣＰＵ６は、処理対象のフレームバッファ上で、それに格納されている撮影画像に、ステップ２０６で生成された自車両モデル画像を合成して、自車両合成画像を１フレーム分作成する（ステップＳ２１０）。その後、ｊ≧Ｎか否か、すなわち、全てのカメラ２1 〜２Nについて上記ステップＳ２０４の判定を行ったか否かを判定する（ステップＳ２１２）。その判定の結果、ｊ＜Ｎであれば、変数ｊを１だけ増加させてステップＳ２０４へ戻る。
【００２８】
ステップＳ２０４に戻って以降、他のカメラについて同様の処理が実行され、表示画像の生成のために使用すべき全てのカメラ２1 〜２Nについて、上記の処理が終了すれば（ｊ＝Ｎとなれば）、必要な自車両合成画像の生成が終了したと判断し、図２のステップＳ２０へ進む。
【００２９】
そして、ＣＰＵ６は、各カメラ２1 〜２Nにそれぞれ対応するＲＡＭ５内の各フレームバッファに格納されている撮影画像または自車両合成画像に対し、所定の合成マップにしたがって視点変換処理を行って、前述のフレームメモリに視点変換画像を生成する（ステップＳ２０）。ここで、視点変換画像とは、予め定められた仮想視点から自車両の周辺を見た画像である。また、仮想視点とは、各カメラ２1 〜２Nの視点とは相違し、自車両位置と駐車位置との間の周辺状況を運転手が把握するのに適した視点が選ばれる。好ましくは、仮想視点は、自車両の天井近傍または、天井上方に設定される。
【００３０】
ここで、上述から明らかなように、いずれかのフレームバッファには、自車両合成画像が格納されている。このため、視点変換画像は、上述の仮想視点から見た時の自車両モデルの画像を含むことになる。なお、本実施形態においても、従来と同様に、フレームバッファ内の画像（撮影画像および自車両合成画像）の各画素が路面にマッピングされ、各画素がマッピングされた路面を仮想視点から見た画像が生成される。このため、視点変換画像に現れる物体の高さ成分を無視されるので、各物体（他の車両、配置自車両モデル、障害物）は歪んで現れる。
【００３１】
次に、ＣＰＵ６は、ステップＳ１４で算出された予測軌跡Ｌを上記の視点変換画像に重畳することにより、表示画像を生成する（ステップＳ２２）。そして、ＣＰＵ６は、作成した表示画像を表示装置８へと転送し、当該表示装置８に表示画像を表示させる（ステップＳ２４）。この表示画像は、図５（ｂ）に示すように、予測軌跡Ｌ上に配置された自車両モデルＩmdを含んでいる。また、以上のようにして表示画像の構成要素となる自車両モデルＩmdは、図２に示した処理が繰り返されることにより、予測軌跡上を自車両から遠ざかる方向に単位移動量ずつ移動し、所定距離だけ移動すると初期距離に戻る。
【００３２】
以上のように本実施形態によれば、表示画像には、自車両の予測軌跡上に配置された自車両モデルが、自車両から離れる方向の周辺状況を表す画像に合成される。しかも、自車両モデルＩmdは、自車両から離れる方向に予測軌跡上を所定量ずつ移動していくように表示される。そのため、運転者は、予測軌跡上にある駐車位置を正確に把握することができ、さらに、当該駐車位置に自車両が入るか否かを正確に判断することができる。さらに、運転者は、表示画像上で、予測軌跡Ｌ上を移動する自車両モデルＩmdが他の車両に代表される障害物と接触しないか否か等を容易に判断することができる。
【００３３】
上述したように、視点変換画像を作成する場合には、それに現れる物体の高さ成分が無視されるので、当該各物体は歪んだ状態で表示される。しかし、本実施形態によれば、図４に示すように、各カメラの撮影画像にそのカメラ位置から見た自車両モデルが合成され、自車両合成画像が作成される。以上のような自車両合成画像に基づいて視点変換画像が作成される。このため、表示画像を構成する各物体（他の車両を含む障害物等）が合成マップに応じて歪んでも、自車両モデルも同じように歪んで表示画像に現れる。そのため、運転者は、表示画像上で自車両モデルと障害物とを見ることにより、自車両が障害物と接触しないか否か等を正しく判断することができる。ここで、もし、自車両モデルを歪ませないとすると、当該自車両モデルと歪んでいる障害物との位置関係が正しく表示させなくなるので、運転者は上述の接触判断を正確に行えなくなる。
【００３４】
さらに、以上のような表示画像により、自車両モデルが予測軌跡Ｌ上を動くように表示されるので、運転者は、駐車位置までに存在する障害物に自車両が接触するか否かを判断できるので、たとえ、駐車スペースを示す白線等の目印が無くても、駐車位置に車両が入るかどうかを運転者は判断することが可能となる。
【００３５】
ところで、上記実施形態では、駐車位置に車両を入れる際には自車両モデルを含む表示画像が表示されるが、駐車場においては、車両１台毎の駐車スペースを示す目印として白線等による特定パターン（通常は矩形パターン）が路面に付されている場合がある。この場合には、その特定パターンによって、自車両が駐車すべき位置を正確に運転者は認識することができる。以上のことから、表示画像には、予測軌跡が構成要素として表示されていれば十分であり、自車両モデルは必ずしも必要ではない。したがって、カメラによって得られた撮影画像に基づき、上述の特定パターンが車両の進行方向に存在するか否かを検出する処理を、ＣＰＵ６が行って、そのような特定パターンが検出された場合には、自車両モデルが表示画像に現れないようにしてもよい。なお、車両周辺の撮影画像等から駐車位置を示す白線等による特定パターンを検出する技術は、当該技術分野において公知である。また、自車両モデルの画像が表示画像に現れないようにするには、例えば、図４におけるステップＳ２１０を実行しないようにすればよい。
【００３６】
なお、既述のように、自車両モデルのサイズを自車両の実際のサイズよりも適切な量だけ大きなサイズ（大きめのサイズ）とすると、他の車両等の障害物との接触防止を図る上で有効である。
【００３７】
また、以上の実施形態では、ＲＯＭ４にプログラムが格納されていた。しかし、これに限らず、プログラムは、ＣＤ−ＲＯＭに代表される記録媒体に記録された状態で頒布されてもよいし、インターネットに代表される通信ネットワークを通じて頒布されてもよい。
【００３８】
また、上述のステップＳ２１０のように、自車両モデルが単純に合成されてしまうと、表示画像に映る車両の前方または後方の状況が部分的に、当該自車両モデルで隠れてしまう。そのため、ステップＳ２１０において、自車両モデルは、半透明で合成されてもよいし、ワイヤーフレームで合成されてもよい。これによって、描画装置１０は、死角領域のない表示画像を生成することができ、ドライバは、車両の前方または後方の状況を広い範囲にわたって、確認することができる。また、特に、ワイヤーフレームで自車両モデルが描画される場合には、自車両モデルを単純に描画する場合と比較して演算量を減らすことができる。
【００３９】
また、以上の実施形態では、図５等から明らかなように、並列駐車の場合を想定していた。しかし、描画装置１０の処理は、縦列駐車の場合にも、同様に適用することができる。
【図面の簡単な説明】
【図１】  本発明の実施形態に係る運転支援システムのハードウェア構成を示すブロック図。
【図２】  図１のＣＰＵ６の処理手順を示すフローチャート。
【図３】  本発明の実施形態において表示すべき自車両モデルの位置（表示自車両位置）を計算するための手順を示すフローチャート。
【図４】  本発明の実施形態において自車両合成画像を生成するための手順を示すフローチャート。
【図５】  本発明の実施形態に係る表示装置８の表示画像の一例を示す図。
【図６】  図３のステップＳ１１０で設定される自車両モデルの位置（表示自車両位置）の計算を説明するための図。
【図７】  従来の運転支援システムにおいて表示される表示画像を示す図。
【符号の説明】
１…入力装置
２1 〜２N…カメラ
３…舵角センサ
４…ＲＯＭ
５…ＲＡＭ
６…ＣＰＵ
８…表示装置
１０…描画装置
１００…運転支援システム
【図１】
0004493885.tif 000002
【図２】
0004493885.tif 000003
【図３】
0004493885.tif 000004
【図４】
0004493885.tif 000005
【図５】
0004493885.tif 000006
【図６】
0004493885.tif 000007
【図７】
0004493885.tif 000008