(57)【特許請求の範囲】
【請求項１】
車両の後方監視画像を得る後方監視撮像部と該後方監視画像を表示する画像表示部とを備えた車両後方視界支援装置において、
該後方監視撮像部から得られた該後方監視画像内の車線データを抽出する車線抽出部と、該車線データに基き、該後方監視撮像部を視点とした地上平面座標系のデータに変換し、自車両を固定位置とした真上からの鳥瞰画像を生成する透視変換部と、該透視変換部より得られた鳥瞰画像を座標変換して該画像表示部の表示画面に対応する線画像データを生成する線画像生成部と、該鳥瞰画像中の自車両の所定位置に対応させて事前に用意された真上からの視点による自車両の平面画像データを常時固定位置に表示されるように合成する画像合成部と、を備えたことを特徴とする車両後方視界支援装置。
【請求項２】
請求項１において、
該車線抽出部が、該車線データとして細線化処理を行うことを特徴とした車両後方視界支援装置。
【請求項３】
請求項１又は２において、
該鳥瞰画像と自車両の合成画像とは別に該後方監視撮像部から得られた未処理の該後方監視画像を表示する別の画像表示部を設けたことを特徴とした車両後方視界支援装置。
【発明の詳細な説明】
【発明の属する技術分野】
本発明は車両後方視界支援装置に関し、特に車両後方の視界を撮像装置を介して車室内の画像表示部に表示する車両後方視界支援装置に関するものである。
【０００１】
【従来の技術】
図１１は従来より知られている車両後方視界支援装置の構成を概略的に示したもので、車両（トラック）後方上部には後方監視撮像部であるカメラ１が取り付けられており、画像表示部であるモニタ２が運転席１１の前部に設けられている。
【０００２】
この車両後方視界支援装置ではモニタ２が車両後方視界を写し出し、ドライバが特に後を振り向かなくても後退運転が可能なように支援している。
【０００３】
これに関連した技術としては、例えば、特開平４−３６８２４１号公報において、商業車の後方及び側方などにおいて死角となる視界をカメラとモニタを用いて撮影し、ドライバに表示する装置が提案されている。
【０００４】
この装置では、前方を見ながら運転しているドライバが視線を移動させることなく後方画像を見ることが可能なようにモニタをコンソールボックス周辺に設置している。
【０００５】
さらにカメラとモニタを用いて、バックミラーを見ているようにドライバに表示するシステムもある。このシステムでは、バックミラーを見慣れているドライバにとっては、カメラの画像をそのまま表示すると、鏡のように見えず違和感を感じさせるので、鏡で見ているような左右反転画像（鏡像）が得られるように後方視界の画像をモニタに表示してドライバの違和感を低減している。
【０００６】
【発明が解決しようとする課題】
しかしながら、上記のような特開平４−３６８２４１号公報に示された装置は、単に後方を確認するための補助装置に過ぎず、例えば後方画像をモニタを見ながらハンドル操作してバックすることは非常に難しい。
【０００７】
すなわち、ドライバが車両を後退させるときのモニタ画像は、車両の後退方向と無関係であるため、モニタ画像だけに頼ると後方物と衝突するなどの事故が生じてしまう。
【０００８】
その第１の原因は、モニタ画像から後輪がどのような軌跡を取るかが把握し難いことに在る。すなわち、図１１に示したような１０ｔ級の大型商用車（トラック）の場合は、図１２にも示すように、後輪１３（後輪１３ａ，１３ｂ）の軸１４からカメラ１の位置までの距離Ｍ（オーバハング）が大きくなるため、後輪１３ａ，１３ｂが通る軌跡１５ａ，１５ｂとカメラ１の視点位置の軌跡１６が大きく異なってしまう。そのため、モニタ２の監視画像から車両の挙動を予想することが難しくなる。
【０００９】
第２の原因は、車両の姿勢がどちらを向いているのか把握し難いことである。すなわち、図１１に示すような位置にカメラ１を設置した場合、自車両の車体がモニタ２上に表示されることはなく、駐車場などに引かれた白線などの車線に対して車両がどのような位置関係にあるのか把握し難く、運転が困難となる。
【００１０】
これに対して、特開平７−２４９１９６号公報においては、駐車場にカメラを設置し、車両の姿勢を監視してそれを車内から見られるような位置に情報を提供する技術が提案されているが、このようなシステムでは、特定の車庫に限定されてしまう。
【００１１】
第３の原因は、バックするとき、どの程度ハンドルを回せばよいか予測し難いということである。
【００１２】
一方、上記のように駐車場などでの車庫入れを補助するための装置が特開平７−１７３２８号公報で提案されているが、この装置では、複数の広角ＣＣＤカメラを使用し、レーザレンジファインダによる距離画像を入力し、コンピュータグラフィックスにより斜め横から見た鳥瞰図（３次元画像）を生成するとともにディスプレイをヘッドアップディスプレイを使用しなければならず、装置構成が大掛かりになるという問題を含んでいる。
【００１３】
したがって本発明は、車両の後方監視画像を得る後方監視撮像部（カメラ）と該後方監視画像を表示する画像表示部（モニタ）とを備えた車両後方視界支援装置において、簡単な構成により車両の後退進路を示した後退画像をモニタに表示させることを目的とする。
【００１４】
上記の目的を達成するため、本発明に係る車両後方視界支援装置は、後方監視撮像部から得られた後方監視画像内の車線データを抽出する車線抽出部と、該車線データに基き、該後方監視撮像部を視点とした地上平面座標系のデータに変換し、自車両を固定位置とした真上からの鳥瞰画像を生成する透視変換部と、該透視変換部より得られた鳥瞰画像を座標変換して該画像表示部の表示画面に対応する線画像データを生成する線画像生成部と、該鳥瞰画像中の自車両の所定位置に対応させて事前に用意された真上からの視点による自車両の平面画像データを常時固定位置に表示されるように合成する画像合成部と、を備えたことを特徴としている。
【００１５】
すなわち本発明では、車線抽出部において後方監視撮像部から得られた後方監視画像中の車線データを抽出し、この抽出した車線データ（好ましくは、細線化処理を行った車線データ）を、透視変換部が、後方監視撮像部を視点として投影した地上面を基準とした平面座標系の投影画像データに変換（通常の透視変換を逆変換）して鳥瞰画像を生成する。
【００１６】
この投影画像データを線画像生成部が、画像表示部（モニタ）の表示画面に対応して表示できる線画像データに座標変換する。
【００１７】
さらに、この線画像データと画像表示部の特定位置に自車両を表示した画像とが画像合成部で画面合成されて画像表示部に表示される。
【００１８】
この結果、画像表示部の一つの画面内に後退時の自車両と駐車場等において引いてある車線の鳥瞰画像（真上から見た画像）が同時に表示されることとなるので、ドライバは白線等の車線と自車両との相関関係を鳥瞰図として把握することができ、商業車等を駐車場等において誘導することが容易となる。
【００１９】
上記の本発明において、該鳥瞰画像と自車両の合成画像とは別に該後方監視撮像部から得られた未処理の該後方監視画像を表示する別の画像表示部を設けてもよい。
【００２０】
これにより、鳥瞰図の表示画面と、障害物が在るか否かを判断するための未加工のモニタ画面を見ながら、安全に且つ容易に自車両を後退させることができる。
【００２１】
【発明の実施の形態】
図１は本発明に係る車両後方視界支援装置の実施例を示しており、この実施例では、後方監視撮像部であるカメラ１は画像処理部１０に接続され、この画像処理部１０の出力信号は、上記のモニタ２を構成する鳥瞰図表示部２ａに与えられる。
【００２２】
画像処理部１０は、カメラ１から出力される画像信号を前処理する前処理部３と、この前処理部３の出力信号に対して２値化処理を行う２値化処理部４と、この２値化処理部４の処理結果により車線としての白線を抽出する白線抽出部５と、この白線抽出部５で抽出された白線における中心線を抽出する中心線抽出部６と、この中心線のデータをカメラ１を視点として投影した地上平面座標系のデータに変換して鳥瞰画像を生成する透視変換部７と、該透視変換部７から得られた鳥瞰画像を座標変換して画像表示部としての鳥瞰図表示部２ａの表示画面に対応する線画像データを生成する線画像生成部８と、該線画像データを該表示部２ａの特定位置に自車両を表示した画像に合成する画像合成部９と、上記各部３〜９における所定パラメータを設定するパラメータ設定部ＰＳとで構成されている。
【００２３】
なお、鳥瞰図表示部２ａとは別にカメラ１の出力画像そのものを未処理のまま表示するカメラ画像表示部２ｂも付加的に設けられている。
【００２４】
図２は図１に示した本発明に係る車両後方支援装置の動作アルゴリズム例を示したフローチャートである。以下、このフローチャートを参照して図１に示した実施例の動作を説明する。
【００２５】
まず、このフローチャートではシフト位置がバック（後退位置）にあるか否かを判断し（ステップＳ１）、バック位置になっている場合のみ以下のステップを実行する。
【００２６】
なお、この場合には例えばシフトレバースイッチなどのシフト位置検出部（図示せず）によるシフト位置検出信号が必要であるが、このステップＳ１をスキップして絶えず以下の処理を行うようにしてもよい。
【００２７】
シフト位置がバックにある場合は（ステップＳ１のｙｅｓ）、画像処理部１０において白線の抽出を従来技術を駆使して行う（ステップＳ２）。
【００２８】
すなわち、カメラ１から出力された後方監視画像は、まず、前処理部３において平滑化処理（周囲の画素の値を平均化してその画素の値とする処理）等の適当な前処理を施した後、２値化処理部４において、或る閾値以上を“１”とし、それ以下を“０”とする２値化処理を行う。
【００２９】
さらに白線抽出部５において、該２値化処理で得られた画像を膨張させたり縮小させたりして細かい突起や穴、溝等によるノイズを除去することにより、図３に示すようなモニタ画面２０において白線ＷＬの抽出を行う（ステップＳ３）。
【００３０】
そして、このようにして抽出した白線の位置の代表値を座標データとして求めるため（ステップＳ４）、図４に示すように白線ＷＬの中心線ＣＬを白線中心線抽出部６で抽出する。これは、従来から良く知られている細線化処理を用いて行う。細線化処理とは端的に言えば、連結画像に対して連結性を失うことなく、線幅を線図形まで細める処理であり、その線の特徴を維持したまま細線化する処理である。
【００３１】
なお、このとき、陰や雨天の場合、白線を抽出できない場合もあり、適宜、２値化処理を行うときの閾値（設定パラメータ）をパラメータ設定部ＰＳにより調整する必要がある。
【００３２】
このようにして求めた白線ＷＬの中心線ＣＬと表示部２ａのスクリーン平面Ｔとの関係は図５に示すような関係になっており、通常の透視変換の逆の変換を透視変換部７で行うことにより図６に示すように、地上平面における白線の中心線ＣＬの位置を鳥瞰図として求めることができる。
【００３３】
すなわち、透視変換部７は中心線抽出部６から白線の中心線ＣＬの位置データを受け、このデータをカメラ位置Ｒから焦点距離ｆ（図５参照）にある平面Ｔに投影するときの透視変換を実行する（ステップＳ５）。
【００３４】
ここで、透視変換部７とその逆変換の動作原理について以下に詳しく説明する。
図７において、カメラ１はｚ軸上の点Ｒ（０，０，Ｈ）に位置し、見下ろし角τで地上面（ｘｙ座標面）における白線をモニタしているものとする。以下においてモニタ画面上に白線がどのように写るかを示す。
【００３５】
まず、座標系（ｘ，ｙ，ｚ）の原点Ｑをカメラ位置Ｒに平行移動した後、ｘ軸を中心として角度τだけ回転させた座標系をカメラ視点の座標系（ｘ"，ｙ"，ｚ"）として定義する。
【００３６】
したがって、座標系（ｘ，ｙ，ｚ）の点（ｘ，ｙ，ｚ）を座標系（ｘ"，ｙ"，ｚ"）の点（ｘ"，ｙ"，ｚ"）に変換する式は次のようになる。
【数１】
0003663801.tif 000002
【００３７】
ここで、地上面はｚ＝０であるから上記の式（１）は次のようになる。
【数２】
0003663801.tif 000003
【００３８】
次に、焦点距離ｆにあるスクリーン平面Ｔに投影する変換を行うと図８に示すようになる。
【００３９】
すなわち、座標系（ｘ"，ｙ"，ｚ"）から見た座標系（ｘ，ｙ，ｚ）の地上面（ｚ＝０）にある白線の中心線上の点（ｘ，ｙ，０）は上記の式（２）において既に変換された座標（ｘ"，ｙ"，ｚ"）であり、これをスクリーン平面Ｔに投影することは、ｆ／ｙ"だけ縮小させて、スクリーン平面Ｔ上の２次元座標系（α，β）平面に投影することに相当する。
【００４０】
したがって、座標系（ｘ"，ｙ"，ｚ"）から座標系（α，β）への投影は次式で示される。
【００４１】
【数３】
0003663801.tif 000004
【００４２】
この式（３）を式（２）に代入すれば最終的な透視変換は次式で示される。
【数４】
0003663801.tif 000005
【００４３】
そして、この式（４）を用いてｘとｙについて解いてやれば、次式に示すように、スクリーン平面Ｔ上の座標を地上面上の座標（白線の中心線の鳥瞰図座標）に変換（逆の透視変換）できたことになる。
【００４４】
【数５】
0003663801.tif 000006
【００４５】
この後、図２に戻り、ステップＳ５において、さらに線画像生成部８は透視変換されたデータをモニタ画面に表示する線画像情報に座標変換して鳥瞰図合成部９に送る。
【００４６】
上記のように地上面上の座標系ｘ，ｙでの車線の座標（ｘ，ｙ）が式（５）により求められたので、次に、図９のように線画を生成してドライバに表示するモニタ画面２０の座標に変換する必要がある。
【００４７】
すなわち、まず座標（ｘ，ｙ）に適当な係数Ｓx，Ｓyを掛けて次のような変換を行う。
【数６】
0003663801.tif 000007
【００４８】
そして、この座標（ｘ”，ｙ”）をドライバに表示するモニタ画面２０上の座標（ｘ*，ｙ*）に変換すればよい。
【００４９】
図９に示すモニタ画面２０の座標（ｘ*，ｙ*）に表示させるためには、原点を画面中央Ｓからモニタの原点Ｏに移動させた後に、各座標軸ｘ”，ｙ”に関して９０°回転させる必要がある。座標（ｘ”，ｙ”）を座標（ｘ*，ｙ*）に変換する式は次式のようになる。
【数７】
0003663801.tif 000008
【００５０】
したがって、カメラ１で捉えたスクリーン平面Ｔ上の車線のデータ（α，β）は、式（５）を式（７）に代入することにより、次式に示すように、ドライバに表示する鳥瞰図モニタ画面２０上の座標（ｘ*，ｙ*）に変換することができる。
【００５１】
【数８】
0003663801.tif 000009
【数９】
ｙ*＝−Ｓｙ・Ｈ・α／（−βcosτ＋ｆsinτ）＋ｙ*SIZE／２‥‥‥式（９）
【００５２】
上記の式（８），（９）を用いて車線（白線）投影画像データを鳥瞰図モニタ画面20に対応した線画像データに変換することができ、図１０に示すような地面を真上から見たときの白線ＷＬの中心線ＣＬの鳥瞰図が生成されたことになる（ステップＳ６）。
【００５３】
図２に戻り、画像処理部１０は、鳥瞰図合成部９において、上記のようにして生成された線画像情報をモニタ画面の所定位置に予め表示した自車両の画像に重ねて表示する（ステップＳ７）。
【００５４】
すなわち、カメラ１は自車両に固定されているので、カメラの位置が分かれば車両の位置も特定されることから、真上から見た２次元的な平面上での自車両の画像と白線の画像をモニタ画面上に合成することができる。これは、３次元的なコンピュータグラフィック画像を生成しなくて済むことを示している。
【００５５】
例えば、カメラ１を常に固定設置している自車両３０をいつも図１０に示すように特定の位置に表示し、後退するにつれて白線の中心線ＣＬの位置が変化して行くように表示する。したがって、自車両３０の真上から見たデータを映し出してもよいし、専用のモニタ画面であれば、そのモニタ画面のガラス面（表面）に直接描いてもよい。
【００５６】
一方、カメラ画像表示部２ｂはカメラ１からの出力画像に何も処理を加えない状態で入力しており、この画像も鳥瞰図表示部２ａとは別に表示すれば、後方監視画像中に何があるのかをドライバの眼で直接確認することができる。
【００５７】
【発明の効果】
上記のように本発明に係る車両後方視界支援装置によれば、後方監視撮像部から得られた後方監視画像内の車線データを、該後方監視撮像部を視点として投影した地上面座標系のデータに変換して鳥瞰画像を生成し、該鳥瞰画像を座標変換して画像表示部の表示画面に対応する線画像データを生成し且つ該画像表示部の特定位置に自車両を表示した画像と合成するように構成したので、次のような効果が得られる。
【００５８】
▲１▼商業車のような大型の車両に対する表示方式（車両感覚のあるプロのドライバへの表示方式）として、基準線が分かれば後退する場合の十分な手助けになる。白線の上に何かが置いてあっても断片的な白線情報を得ることができ、この点でも十分な手助けになる。
▲２▼地上面の白線認識のみに限定し、複雑な物体認識を行わずアルゴリズム的にシステムを簡略化することができる。
【００５９】
▲３▼真上からの視点になるので、自車両の大きさと白線の間隔などの関係が把握し易い。
▲４▼従来技術のようにヘッドマウントディスプレイをわざわざ被る必要がなく、また３次元のコンピュータグラフィック画像を改めて生成する必要がない。
▲５▼商業車のように高いところからカメラで撮影するため、明瞭な鳥瞰図画像が得られる。
【図面の簡単な説明】
【図１】本発明に係る車両後方視界支援装置の実施例を示すブロック図である。
【図２】本発明に係る車両後方視界支援装置の動作を示したフローチャート図である。
【図３】本発明に係る車両後方視界支援装置において２値化処理した後の白線を抽出した例を示した図である。
【図４】本発明に係る車両後方視界支援装置において２値化処理した後の白線から細線化処理によりその中心線を抽出した例を示した図である。
【図５】本発明に係る車両後方視界支援装置においてモニタスクリーン平面と白線との関係を示した斜視図である。
【図６】本発明に係る車両後方視界支援装置において地上平面上の白線中心線の位置を示した鳥瞰図である。
【図７】本発明に係る車両後方視界支援装置に用いる透視変換部の動作原理を説明するための斜視図（１）である。
【図８】本発明に係る車両後方視界支援装置に用いる透視変換部の動作原理を説明するための斜視図（２）である。
【図９】本発明に係る車両後方視界支援装置に用いる線画像生成部における座標変換を示したグラフ図である。
【図１０】本発明に係る車両後方視界支援装置においてモニタ画面に白線の中心線と自車両とが合成表示された鳥瞰図である。
【図１１】後方視界支援装置を搭載した一般的な車両の側面図である。
【図１２】後方視界支援装置を搭載した車両を後退させる時の視界と後輪の軌跡例を示した平面図である。
【符号の説明】
１  後方監視撮像部（カメラ）
２ａ  鳥瞰図表示部
２ｂ  カメラ画像表示部
３  前処理部
４  ２値化処理部
５  白線抽出部
６  白線中心線抽出部
７  透視変換部
８  線画像生成部
９  鳥瞰図合成部
１０  画像処理部
２０  モニタ画面
ＷＬ  白線
ＣＬ  白線の中心線
図中、同一符号は同一又は相当部分を示す。
【図１】
0003663801.tif 000010
【図２】
0003663801.tif 000011
【図３】
0003663801.tif 000012
【図４】
0003663801.tif 000013
【図５】
0003663801.tif 000014
【図６】
0003663801.tif 000015
【図７】
0003663801.tif 000016
【図８】
0003663801.tif 000017
【図９】
0003663801.tif 000018
【図１０】
0003663801.tif 000019
【図１１】
0003663801.tif 000020
【図１２】
0003663801.tif 000021