(57)【要約】【課題】  この発明は、車載したカメラとミリ波レーダにより、先方の障害物との距離、大きさなどを測定し、車両の危害を未然に防止することを目的としたものである。【解決手段】  この発明は、車両から障害物を検出表示する方法において、レーダ装置によって検出された障害物の位置情報をカメラ画像上に重ねて表示する際に、レーダ平面とカメラ画像平面との射影変換を利用して表示することを特徴とした障害物の表示方法により目的を達成した。【選択図】      図２
2005175603.tif 000002
【特許請求の範囲】
【請求項１】
車両から障害物を検出表示する方法において、レーダ装置によって検出された障害物の位置情報をカメラ画像上に重ねて表示する際に、レーダ平面とカメラ画像平面との射影変換を利用して表示することを特徴とした障害物の表示方法。
【請求項２】
レーダ装置をミリ波レーダとしたことを特徴とする請求項１記載のレーダを用いた障害物の表示方法。
【請求項３】
レーダ装置により検出された障害物について、障害物の巾を巾とし、距離を高さとするボックスに変換して、カメラ画像上に重ねて表示することを特徴とした請求項１に記載のレーダを用いた障害物の表示方法。
【請求項４】
ボックスは、半透明の着色表示とし、複数の障害物は夫々異色に彩色したことを特徴とした請求項３記載のレーダを用いた障害物の表示方法。
【請求項５】
ボックスには相対速度の矢印を表示することを特徴とした請求項３記載のレーダを用いた障害物の表示方法。
【請求項６】
車両に設置したカメラとレーダによりその前方にある障害物を検出表示するシステムにおいて、カメラにより撮影した画像をモニタに表示する手段、レーダの送受信手段、レーダの信号処理手段、レーダの信号を前記画像に射影し表示する手段、レーダで検出した物体の巾を巾とし、距離を高さとしたボックスを前記画像に重ねて表示する手段、該ボックスを半透明、かつ物体毎に異色彩色する手段、前記画像及びボックスをモニタ表示する手段とを組み合わせたことを特徴とするレーダを用いた障害物の表示システム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、車両の走行時の危害を未然に防止する為に、車両前方の障害物の距離及び位置を迅速正確に把握し、対応することを目的としたレーダを用いた障害物の表示方法及び表示システムに関するものである。
【背景技術】
【０００２】
前記と同一目的を達成する技術として、カメラによる画像情報と、レーダによる距離情報を利用して障害物の位置と形状を特定しようとする技術が知られている。
【０００３】
例えば、レーダを用いた画像処理システムがあるが、このシステムは、画像処理により検出した先行車両に対し、レーダで検出した距離情報を加えたものである。これにより先行車両として画像を抽出した物体までの距離を画像上で確認できる。
【０００４】
また他の発明としては、走行環境認識装置として、先行車両を検出するとともに、検出した車両を枠で囲み、検出した物体の距離により枠の色を変えて分かりやすくしている。
【特許文献１】特開平９−２６４９５４
【特許文献２】特開平１０−１８７９３０
【発明の開示】
【発明が解決しようとする課題】
【０００５】
前記従来例の前者は、一番危険とされる悪条件、例えば雨のときの歩行者、霧の中の先行車両、夜間のヘッドライトのあまり届かない前方の左右の障害物など、画像処理では特定自体が難しいなどの問題点があった。また、後者は、レーダの検出結果に基づいて、前記画像情報内に前記先行車両の存在を表す車両領域を設定する手段を設けたものであるが、レーダの情報の中で画像情報を枠で囲んでも、前記のような環境においては、画像情報が不明確となり、ドライバーに有利ではないなどの問題点があった。
【課題を解決するための手段】
【０００６】
前記問題点に鑑み、この発明は、車載カメラで取り込んだ画像上にレーダ装置（例えばミリ波レーダ）の信号を委ねて表示する方法及びシステムにより前記問題点を解決するもので、歩行者、自転車、自動車、車椅子などを悪条件下でも検出し、画像上にわかりやすく表示することにより事故を未然に防止することができる。
【０００７】
また、前記の表示を出力として、警報器を作動させ、或いは、車両の速度を自動的に制限するなど、運転者の手動情報以外に、自動制御システムにつなげることにより危害を未然に防止することができる。
【０００８】
即ちこの発明は、車両から障害物を検出表示する方法において、レーダ装置によって検出された障害物の位置情報をカメラ画像上に重ねて表示する際に、レーダ平面とカメラ画像平面との射影変換を利用して表示することを特徴とした障害物の表示方法であり、レーダ装置をミリ波レーダとしたものである。
【０００９】
また、レーダ装置により検出された障害物について、障害物の巾を巾とし、距離を高さとするボックスに変換して、カメラ画像上に重ねて表示するものであり、ボックスは、半透明の着色表示とし、複数の障害物は夫々異色に彩色したものであり、ボックスには相対速度の矢印を表示するものである。
【００１０】
次にシステムの発明は、車両に設置したカメラとレーダによりその前方にある障害物を検出表示するシステムにおいて、カメラにより撮影した画像をモニタに表示する手段、レーダの送受信手段、レーダの信号処理手段、レーダの信号を前記画像に射影し表示する手段、レーダで検出した物体の巾を巾とし、距離を高さとしたボックスを前記画像に重ねて表示する手段、該ボックスを半透明、かつ物体毎に異色彩色する手段、前記画像及びボックスをモニタ表示する手段とを組み合わせたことを特徴とするレーダを用いた障害物の表示システムである。
【００１１】
この発明の特徴の１つは、カメラとレーダ（以下、ミリ波レーダとして説明する）とのキャリブレーションにあるから、カメラの取付位置、角度、ミリ波レーダの取付位置、角度及びカメラとミリ波レーダの相対位置、角度を正確に設置しなくても、ミリ波レーダ信号の情報を、カメラ画像上に射影できればよいのである。従って、カメラとミリ波レーダの設置精度だけでなく、経年変化による位置の誤差、カメラ修理（レンズ系の交換）等により生成した誤差などを簡単なキャリブレーションにより吸収することができるからである。
【００１２】
また、他の特徴は、ミリ波レーダ計測信号をセグメンテーションして得られた物体の情報を画像上に表示する方法で、カメラ画像上にボックス表示する点である。このボックス表示は、レーダ計測信号をもとにしているが、ミリ波レーダ計測信号をもとにすれば、雨や霧で見えにくい物体、夜間などヘッドライトの光が届かない左右の薄暗い空間にある物体なども、明確にボックス表示できる特徴がある。
【００１３】
従来ボックス表示の思想は知られていたが、従来のボックス表示は、すべてカメラ画像に基づくものであったから、前記のようにカメラ画像が不明瞭になった場合には、画像処理によって障害物を特定できないため、ボックス表示自体ができなくなる。然るにこの発明は、前記のようにミリ波レーダをもとにするので、カメラ画像の不明瞭化に関係なく、正確かつ明瞭なボックス表示ができる。従って、運転者に正確、確実に把握され、適切に対応することができる。
【発明の効果】
【００１４】
この発明は、前記のように、レーダ装置を使用するものであるが、レーダ装置としてミリ波レーダを用いれば、その簡単な信号処理と、その情報のカメラ画像への簡単な計算結果に基づく重ね合わせ表示であり、エッジ抽出、テンプレート抽出などのＣＰＵ負荷の大きな画像処理を必要としないため、システムを簡素化できるので、全システムを低廉に構築できる効果がある。
【００１５】
また、外部環境が悪い場合（例えば雨、霧又はヘッドライトが届かない場所など）でも、ミリ波レーダで計測した物体の情報に基づき、画像上にボックス表示することにより、例えば画面に「ぼんやり」写った障害物をクローズアップできるため、安全性が高い処理システムを構築できる効果がある。
【００１６】
次にカメラ固定位置、ミリ波レーダ固定位置、カメラとミリ波レーダの相対位置などがずれても、簡単なキャリブレーションにより、ミリ波レーダ座標系のカメラ座標系への射影変換行列が算出できるため、経年変化に影響を受けないという効果がある。従って、カメラの交換による特性（画角、焦点距離、様々な収差、レンズ系固定位置）が変わっても、容易にキャリブレーションが可能であるために、メンテナンス性が良いなどの諸効果がある。
【発明を実施するための最良の形態】
【００１７】
この発明は、例えば図１のように、自動車ヘッドライト付近にラインスキャン式のミリ波レーダを設置し、フロントガラスの上部付近にカメラ（単数又は複数）を設置し、次の手順により使用される（図１）。
【００１８】
この発明に用いるのは、カメラ（例えばＣＣＤカメラ、ＣＭＯＳカメラなど）及びミリ波レーダのハードウェアと、カメラ画像の取り込み部、ミリ波レーダ信号の取り込み部、カメラ画像表示部、ミリ波レーダのセグメンテーション部、ミリ波レーダの画像上への表示部、カメラの内部パラメータ計算部、カメラとレーダのキャリブレーション部のソフトウェアにより構成されている。
【００１９】
前記ハード構成と、ソフト構成により、次の手順で実施できる（図２）。
【００２０】
まずカメラの内部パラメータの算出のためのキャリブレーションとして、カメラは自動的に補正されると共に、リフレクタをカメラとミリ波レーダでそれぞれ映し出し、ミリ波レーダ座標系の全ての座標をカメラ座標系の１平面上に射影する射影変換行列を求める（図３）。
【００２１】
前記は、ミリ波レーダの座標系と、カメラの座標系から、２つの座標系の回転行列Ｒ、カメラ内部パラメータ行列Ａなど、必要な演算を行って、変換行列Ｈを求めることにより、ミリ波レーダ座標系上の点の位置と、カメラ座標系上の点の位置との関係を求めることができる。前記行列Ｈは、ミリ波レーダ及びカメラのＮ個の観測点から算出することができる（図３）。
【００２２】
次に、毎秒１０〜３０フレームの間隔でカメラから画像を入力し、モニターに表示する。
【００２３】
また、１０フレーム間隔（１００ｍｓｅｃ）でミリ波レーダからの反射信号を入力し、継続された対象物の位置と、相対速度を算出する。
【００２４】
前記は３次元セグメンテーションとし（図４）、フレーム間処理方法として、セグメントの引継ぎを行う（図５）。
【００２５】
前記セグメンテーションにより得られた計測点の位置情報を、前記キャリブレーションで得られた射影変換行列により、画像上５、６、７、８にプロットする。この点は、カメラを複数設置し、切り替えながら画像を表示した場合でも、全ての画像に対して、ミリ波の反射した位置の所に点５ｂ、６ｂ、７ｂ、８ｂが表示される（図６）。
【００２６】
前記セグメントの巾を横軸に、その距離を縦軸にして、点の上にボックス５ａ、６ａ、７ａ、８ａを表示する。
【００２７】
前記ボックスは着色半透明が好ましい。このようにすることによって、物件が重なった場合にも全体を確認できると共に、夫々の物体の大きさと、速度差を確認し、適切に確認することができる。
【００２８】
この発明においては、前記のように、セグメンテーションで得られたミリ波レーダ計測点の位置情報を画像上にプロットし、これに基づいてボックスを描くので、周囲の環境に関係なく、明瞭なボックスを提供し、これに基づき正確かつ迅速に対処して、危害を未然に防止することができる。
【実施例１】
【００２９】
この発明の表示方法の実施例を図面について説明する。この発明は、車両１のボンネットの先端部にラインスキャン式のミリ波レーダ器２（送受信その他）を設置すると共に、前記車両１のフロントガラスの上部へ、カメラ３を設置し、車両の適所へ画像処理その他の機器を設置したもので、表示手段は次の通りである。
【００３０】
〈キャリブレーション〉
（１）  カメラの内部パラメータの算出のためのキャリブレーションにより、カメラの焦点距離、レンズ収差、光軸中心、アスペクト比などを補正する（自動的）。
【００３１】
（２）  カメラ座標系とミリ波レーダ座標系のキャリブレーションとして、リフレクタをカメラとミリ波レーダでそれぞれ映し出し、ミリ波レーダ座標系の全ての座標をカメラ座標系の１平面上に射影する射影変換行列を求める。前記ミリ波レーダは旋回方向と奥行き方向の２次元、カメラの座標系は３次元であるが、射影する平面４は２次元となる（図３）。
【００３２】
前記ミリ波レーダの座標系を（Ｘｒ，Ｙｒ，Ｚｒ）、カメラの座標系を（Ｘｃ，Ｙｃ，Ｚｃ）とすると、ミリ波レーダ空間上の（Ｘｒ，Ｙｒ，Ｚｒ）と画像面上の（ｕ，ｖ）の関係は、２つの座標系の回転行列Ｒ、平行移動ベクトルｔ、カメラの内部パラメータ行列Ａを用いて、式１で表される。
［式１］
【００３３】
2005175603.tif 000003
【００３４】
但し、射影変換行列Ｐは、３×４の行列でｒａｎｋＰ＝３、ωは未知の定数。この発明では、ミリ波レーダで得られるデータが平面上にあることを利用し、ミリ波レーダ平面から画像平面への射影関係を得ることにより、キャリブレーションを行う。前記式１でＹｒ＝０とすると、式２で表される。
［式２］
【００３５】
2005175603.tif 000004
この変換行列Ｈを求めることにより、パラメータＲ，ｔ，Ａを求めることなく、ミリ波レーダ座標系上の点の位置とカメラ座標系上の点の位置との関係を求めることができる。
【００３６】
この行列Ｈは、ミリ波レーダ及びカメラのＮ個の観測点から算出できる。
【００３７】
レーダ計測点（Ｘｒｌ，Ｚｒｌ）、・・・、（ＸｒＮ，ＺｒＮ）
画像計測点（ｕｌ，ｖｌ）、・・・（ｕＮ，ｖＮ）とおくと、式３、式４となる。
［式３］
【００３８】
2005175603.tif 000005
［式４］
【００３９】
2005175603.tif 000006
前記において、|ｈ|＝１のもとでのｈの最小二乗解は、ＢＴＢの最小固有値に対応する固有ベクトルとして得られる。
【００４０】
〈走行中のセグメンテーション〉
（１）  １０〜３０フレームでカメラから画像を入力し、モニターに表示する。
【００４１】
（２）  １０フレームでミリ波レーダから反射信号を入力し、計測された対象物の位置と相対速度を算出する。
【００４２】
（３）  ミリ波レーダで計測した信号の確からしさを判断するため、セグメンテーションを行う。セグメンテーションは、一般的には、そのフレーム単独のセグメンテーションと、今までのセグメンテーションとの関連から処理するセグメンテーションの２つがあり、前記を特にプリセグメンテーションという。このプリセグメンテーションは、公知技術では、ミリ波レーダ信号の２次元、若しくは３次元の位置データから計算している。
【００４３】
（４）  この発明のセグメンテーションの特徴の１つは、旋回と奥行き方向の２次元に、相対速度を加えた３次元にしているところである。前記プリセグメンテーションで、単一フレームを扱うと、位置情報だけでは、近づいてくる物体と離れていく物体とが同一物体として判断されてしまう危険性がある。相対速度をプリセグメンテーションで利用することにより、これらが区別できるため、この時点でのセグメンテーションのミスがなくなる。
【００４４】
（５）  この発明のもう１つのセグメンテーションは、セグメンテーションの引継ぎにある。ひとつ前のフレームのセグメントと、現在のフレームのセグメントが複数重なっていたとき、どちらのセグメントを引き継ぐかという問題が発生する。ここで、重なっている計測点が多い方を引き継ぐという方法がある。しかし、大きなセグメントと小さなセグメントが介在した場合、前のフレームのセグメントとの重なり数だけで判断すると、一方のセグメントに集約されてしまう。そこで、前記セグメンテーションは、前のセグメントとの重なり数から算出した結果を総合して、セグメントの引継ぎを決定する。これにより、大きなセグメントと小さなセグメントが介在するような状態でも、フレーム間のセグメントの引継ぎが問題なく行われる。
【００４５】
（６）  例えばセグメントの対象とする次元は次のようになる。
【００４６】
旋回方向、距離、相対速度の３次元の空間距離からセグメンテーションを行う（図４）。
【００４７】
（７）  また、フレーム間処理方法は次のようになる。
【００４８】
前のフレームのセグメントＭ、Ｌと、現在のセグメントＫ、Ｌの引継ぎを、そのリンク数から考えた場合、順方向ではＭ→Ｋに、Ｎ→Ｋに引継ぎ、逆方向ではＫ←Ｍから、Ｌ←Ｎから引き継ぐことになる。このとき、順方向ではセグメントのオーバーラップがあるが、逆方向ではセグメントのオーバーラップのない逆方向の引継ぎを採用する。前のフレームのセグメントをＭ、Ｌとし、現在のセグメントをＫ、Ｌとして、セグメントの引継ぎを行う場合、セグメント間のリンク数の多さから判定すると、順方向ではＭ→Ｋに、Ｎ→Ｋに引継ぎ、逆方向ではＫ←Ｍから、Ｌ←Ｎから引き継ぐことになる。順方向では、セグメントのオーバーラップがあるが、逆方向ではない。従って、セグメントのオーバーラップのない逆方向の引継ぎを採用する。
【００４９】
双方から見たリンク数による結果を総合して引継ぎ先を決定することにより精度を向上することができる。従って、前フレーム⇔現フレームということになる（図５）。
【００５０】
〈走行中の画像表示〉
（１）  セグメンテーションで得られたレーダ計測点の位置情報を、前記キャリブレーションで得られた射影変換行列により、画像上にプロットする。この点は、カメラを複数設置し、切り替えながら画像を表示した場合でも、全ての画像に対して、ミリ波レーダの反射した位置のところに表示される（複数のカメラ画像に対応）（図６）。
【００５１】
（２）  次に、表示した点の集まり（セグメント）の巾を横軸に、その距離を縦軸にして、前記点の上にボックスを表示する。物体の巾が広いとボックスの巾が広くなり、物体までの距離が近いとボックスの高さが高くなる。このボックス表示により、画像上で危険度を瞬間的に判断することができる。
【００５２】
（３）  前記ボックスは、色のついた半透明とする（ラップした時背後のボックスが見える）。従って、雨や霧、あるいはヘッドライトの灯りの余り届かない左右の領域で、画像上での検出が難しいときでも、ミリ波レーダで検出した物体を前記手法で表示することにより、ドライバーに危険を喚起することができる。色付きの半透明なボックス上に物体が見えるため、ドライバーに喚起した後であれば、その物体が何であるか判断でき、危険回避を誘導できる。前記ボックスの色は、セグメント毎に異なるようにする。
【００５３】
（４）  画像上に表示している点群（セグメント）の下に、矢印を表示する。この矢印は、セグメントが自車両に近づいてきた場合、その危険を喚起するためのものである。矢印の長さは、相対速度によることとする（図７）。
【実施例２】
【００５４】
この発明の表示システムの実施例を説明する（図２、７）。
【００５５】
図２において、ＣＣＤカメラで撮影した画像データは、入出力部９（Ｉ／Ｏ部）を介してバッファ１０（Ｂｕｆｆｅｒ）に一時保存する。この場合に１０フレーム／秒〜３０フレーム／秒の間隔で保存する。次にミリ波レーダ２の信号（物体までの位置、物体との相対速度、反射信号強度）は、１０フレーム／秒の間隔で入出力部９（Ｉ／Ｏ部）を介してバッファ１０に一時保存する。
【００５６】
次にバッファ１０の出力を受信する制御部１１は、必要に応じてバッファの逐次変わる画像データとミリ波レーダを読み取り、データ記憶部に保存する。一般的には、画像は３０フレーム／秒で取り込むことによりスムースな表示ができる。一方ミリ波レーダは１０フレーム／秒で取り込む。
【００５７】
前記制御部１１では、データ記憶部１３に保存された画像データや、ミリ波レーダデータを再度読み取り、演算処理部１２に渡す。
【００５８】
前記演算処理部１２では、制御部１１からもらった画像データの画像処理、制御部１１からもらったミリ波レーダデータの信号処理などの高速演算処理を行う。
【００５９】
演算処理部１２は、一般にはＤＳＰや専用ＬＳＩが用いられる。次に制御部１１は、演算処理部１２で計算された画像データやミリ波レーダデータを表示制御１４に送る。該表示制御１４では、一定の間隔で画像を表示したり、その上にミリ波レーダデータなどの表示を重ね合わせるなどの処理を行う。また表示制御１４は、複数のカメラからの表示を切り替えるなどの管理も行う。また通信制御１５は、制御部１１で危険と判断し場合、警報を鳴らす為に、衝突警報１６にＣＡＮバス等を介して知らせる。またブレーキ制御１７を行う場合には、ＣＡＮバス等を介してブレーキ制御システムに知らせる。この知らせを受けた場合には、前記ブレーキ制御システムは自動的に衝突警報１６を鳴らしたり、ブレーキをかけたりして、危害を未然に防止する。
【００６０】
前記表示制御１４を経て走行モニタ１に画像とブロックを表示する。また通信制御部２０は自動車の他のシステムとの通信を、ＣＡＮバス等を介して行うものとする。
【００６１】
前記実施例は、ＣＣＤカメラによる画像を処理して表示すると共に、ミリ波レーダによる情報を演算処理し、前記画像上へ物体毎に異なる半透明色彩でブロック表示する。
【００６２】
前記ブロック表示は、巾を物体の巾とし、高さを距離とし、矢示の長さを相対速度で表示する（図７）。
【００６３】
従って、物体の巾が大きいほど、距離が近いほど、大きいボックスとして表われる。
【００６４】
前記図７において、人物５は近いので高いボックス５ａで表示される。また、自転車６はやや遠いので、ボックス６ａは巾広く、高さは人物より低くなる。
【００６５】
同様にして自動車７、８とボックス７ａ、８ａは夫々距離が遠いので逐次小さく表される。
【００６６】
前記において、ボックス６ａ、７ａ、８ａは半透明であるから、全体の大きさは認識することができる。
【００６７】
前記実施例によれば、カメラで得た画像は、カメラ画像表示部と、カメラの内部パラメータ計算部で画像処理され、カメラとミリ波レーダのキャリブレーション部で合体してモニターに表示される。
【００６８】
また、ミリ波レーダは、ミリ波レーダ信号取り込み部、ミリ波レーダのセグメンテーション部、ミリ波レーダの画像上への射影変換表示部、カメラとミリ波レーダのボックス表示部を経てモニターに表示される。
【００６９】
前記において、各種演算処理の出力は警報器（その他の制御系）に入力し、警報を発したり、自動制御したりして、危害を未然に防止することができる。
【図面の簡単な説明】
【００７０】
【図１】この発明の実施例のカメラとレーダの車載図。
【図２】同じくハードウェアのブロック図。
【図３】同じくカメラとレーダの座標系を示す図。
【図４】同じく３次元セグメンテーションの図。
【図５】同じくセグメンテーションされたミリ波レーダ信号の画像上へのプロット図。
【図６】同じくカメラ画像と障害物のミリ波レーダのプロットとの関係を示す図。
【図７】同じくボックス表示と相対速度表示の図。
【符号の説明】
【００７１】
１  車両
２  ミリ波レーダ器
３  カメラ
４  画面
５  人物
６  自転車
７、８  自動車
【図１】
2005175603.tif 000007
【図２】
2005175603.tif 000008
【図３】
2005175603.tif 000009
【図４】
2005175603.tif 000010
【図５】
2005175603.tif 000011
【図６】
2005175603.tif 000012
【図７】
2005175603.tif 000013