(57)【特許請求の範囲】
【請求項１】
車両の進行方向に存在する対象物を検出する対象物検出手段と、該対象物検出手段により検出された対象物の表示を行うヘッドアップディスプレイとを備えた車両の画像表示装置において、
前記ヘッドアップディスプレイの表示画面は、該表示画面の上端から下端に達する垂直方向の分割線によって水平方向に３分割された左領域、中央領域、及び右領域から成り、
前記対象物検出手段により、当該車両の進行方向で、前記対象物が存在し続ければ当該車両と前記対象物が衝突する可能性が高い領域に設定される接近判定領域内で対象物が検出されたときは、前記中央領域にその対象物の検出された位置に応じた、当該位置を運転者が認識できる表示を行うように前記ヘッドアップディスプレイを制御し、
前記対象物検出手段により、当該車両の進行方向で、前記接近判定領域の左右の外側に設定される侵入判定領域内で対象物が検出されたときは、前記右領域もしくは左領域にその対象物が前記侵入判定領域のいずれかに存在することを示す情報を表示するように前記ヘッドアップディスプレイを制御する表示制御手段とを備え、
前記対象物検出手段は、前記車両の前方を撮像するカメラを含み、前記対象物検出手段により、前記接近判定領域内で対象物が検出されたときは、前記中央領域に前記カメラにより撮像された画像を表示し、前記検出した対象物を強調表示することを特徴とする車両の画像表示装置。
【請求項２】
前記対象物検出手段により、前記侵入判定領域内で対象物が検出されたときは、前記右領域もしくは左領域に検出した対象物に対応するアイコンを表示することを特徴とする請求項１に記載の車両の画像表示装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、撮像装置などにより車両の進行方向に存在する対象物を検出して、ヘッドアップディスプレイに表示する車両の画像表示装置に関する。
【０００２】
【従来の技術】
車両の前方に存在する障害物を検出し、その障害物の危険度が高いときは、ヘッドアップディスプレイによりその障害物を赤枠で囲む表示をすることにより、運転者に確実に危険を知らせるようにした危険情報警報装置が従来より知られている（特開平６−２１５３００号公報）。
【０００３】
【発明が解決しようとする課題】
しかしながら、上記従来の装置では、検出した障害物の実物の像と表示される赤枠とがフロントウインドウ上で重畳して示されるように赤枠の表示位置の計算を行い、ヘッドアップディスプレイの表示制御を行うようにしているので、表示制御が複雑化するという問題や、遠方に存在する障害物の実物像は小さいので運転者が容易に視認できないという問題がある。
【０００４】
本発明はこのような点に着目してなされたものであり、車両の進行方向に存在する対象物を検出し、運転者が容易且つ確実に周辺状況を把握できるようにした画像表示装置を提供することを目的とする。
【０００５】
【課題を解決するための手段】
上記目的を達成するため請求項１に記載の発明は、車両の進行方向に存在する対象物を検出する対象物検出手段と、該対象物検出手段により検出された対象物の表示を行うヘッドアップディスプレイとを備えた車両の画像表示装置において、前記ヘッドアップディスプレイの表示画面は、該表示画面の上端から下端に達する垂直方向の分割線によって水平方向に３分割された左領域、中央領域、及び右領域から成り、前記対象物検出手段により、当該車両の進行方向で、前記対象物が存在し続ければ当該車両と前記対象物が衝突する可能性が高い領域に設定される接近判定領域内で対象物が検出されたときは、前記中央領域にその対象物の検出された位置に応じた、当該位置を運転者が認識できる表示を行うように前記ヘッドアップディスプレイを制御し、前記対象物検出手段により、当該車両の進行方向で、前記接近判定領域の左右の外側に設定される侵入判定領域内で対象物が検出されたときは、前記右領域もしくは左領域にその対象物が前記侵入判定領域のいずれかに存在することを示す情報を表示するように前記ヘッドアップディスプレイを制御する表示制御手段とを備え、前記対象物検出手段は、前記車両の前方を撮像するカメラを含み、前記対象物検出手段により、前記接近判定領域内で対象物が検出されたときは、前記中央領域に前記カメラにより撮像された画像を表示し、前記検出した対象物を強調表示することを特徴とする。
【０００６】
この構成によれば、当該車両の進行方向で、対象物が存在し続ければ当該車両と対象物が衝突する可能性が高い領域に設定される接近判定領域内で対象物が検出されたときは、ヘッドアップディスプレイの表示画面の中央領域にその対象物の検出された位置に応じた、当該位置を運転者が認識できる表示が行われ、当該車両の進行方向で、接近判定領域の左右の外側に設定される侵入判定領域内で対象物が検出されたときは、その対象物が左右の侵入判定領域のいずれかに存在することを示す情報がヘッドアップディスプレイの表示画面の右領域若しくは左領域に表示されるので、接近判定領域内あるいは左右の侵入判定領域のいずれかに対象物が存在するか否かを運転者が容易に視認することができ、さらに接近判定領域内に存在する対象物についてはその位置についての認識も容易に得ることが可能となる。また接近判定領域内で対象物が検出されたときは、中央領域にカメラにより撮像された画像が表示され、検出した対象物が強調表示されるので、運転者は表示像の大きさにより当該対象物までの距離を視覚的に容易に認識することができる。
【０００７】
請求項２に記載の発明は、請求項１に記載の車両の画像表示装置において、前記対象物検出手段により、前記侵入判定領域内で対象物が検出されたときは、前記右領域もしくは左領域に検出した対象物に対応するアイコンを表示することを特徴とする。
また前記中央領域に検出した対象物に対応するアイコンを表示して、当該車両とその対象物との距離が近いほどそのアイコンが大きくなるように制御するようにしてもよい。
【０００８】
また前記右領域もしくは左領域に検出した対象物に対応するアイコンを表示する際に、当該車両とその対象物との距離が近いほどそのアイコンが大きくなるように制御するようにしてもよい。
本発明の他の特徴は、車両の進行方向に存在する対象物を検出する対象物検出手段と、該対象物検出手段により検出された対象物の表示を行うヘッドアップディスプレイとを備えた車両の画像表示装置において、前記対象物検出手段により、当該車両の進行方向に対象物が検出されたときは、その対象物の位置に応じたアイコンを表示するように前記ヘッドアップディスプレイを制御する表示制御手段を備えることである。
【０００９】
【発明の実施の形態】
以下本発明の実施の形態を図面を参照して説明する。
図１は本発明の一実施形態にかかる画像表示装置を含む、車両の周辺監視装置の構成を示す図であり、この装置は、遠赤外線を検出可能な２つの赤外線カメラ１Ｒ，１Ｌと、当該車両のヨーレートを検出するヨーレートセンサ５と、当該車両の走行速度（車速）ＶＣＡＲを検出する車速センサ６と、ブレーキの操作量を検出するためのブレーキセンサ７と、これらのカメラ１Ｒ，１Ｌによって得られる画像データの基づいて車両前方の動物等の対象物を検出し、衝突の可能性が高い場合に警報を発する画像処理ユニット２と、音声で警報を発するためのスピーカ３と、カメラ１Ｒまたは１Ｌによって得られる画像を表示するとともに、衝突の可能性が高い対象物を運転者に認識させるためのヘッドアップディスプレイ（以下「ＨＵＤ」という）４とを備えている。
【００１０】
カメラ１Ｒ、１Ｌは、図２に示すように車両１０の前部に、車両１０の横方向の中心軸に対してほぼ対象な位置に配置されており、２つのカメラ１Ｒ、１Ｌの光軸が互いに平行となり、両者の路面からの高さが等しくなるように固定されている。赤外線カメラ１Ｒ、１Ｌは、対象物の温度が高いほど、その出力信号レベルが高くなる（輝度が増加する）特性を有している。
【００１１】
画像処理ユニット２は、入力アナログ信号をディジタル信号に変換するＡ／Ｄ変換回路、ディジタル化した画像信号を記憶する画像メモリ、各種演算処理を行うＣＰＵ（Central Processing Unit）、ＣＰＵが演算途中のデータを記憶するために使用するＲＡＭ（Random Access Memory）、ＣＰＵが実行するプログラムやテーブル、マップなどを記憶するＲＯＭ（Read Only Memory）、スピーカ３の駆動信号、ＨＵＤ４の表示信号などを出力する出力回路などを備えており、カメラ１Ｒ，１Ｌ及びセンサ５〜７の出力信号は、ディジタル信号に変換されて、ＣＰＵに入力されるように構成されている。
ＨＵＤ４は、図２に示すように、車両１０のフロントウインドウの、運転者の前方位置に画面４１が表示されるように設けられている。
【００１２】
図３は画像処理ユニット２における対象物の位置検出処理の手順を示すフローチャートであり、先ずカメラ１Ｒ、１Ｌの出力信号をＡ／Ｄ変換して画像メモリに格納する（ステップＳ１１，Ｓ１２，Ｓ１３）。画像メモリに格納される画像は、輝度情報を含んだグレースケール画像である。図５（ａ）（ｂ）は、それぞれはカメラ１Ｒ，１Ｌによって得られるグレースケール画像（カメラ１Ｒにより右画像が得られ、カメラ１Ｌにより左画像が得られる）を説明するための図であり、ハッチングを付した領域は、中間階調（グレー）の領域であり、太い実線で囲んだ領域が、輝度レベルが高く（高温で）、画面上に白色として表示される対象物の領域（以下「高輝度領域」という）である。右画像と左画像では、同一の対象物の画面上の水平位置がずれて表示されるので、このずれ（視差）によりその対象物までの距離を算出することができる。
【００１３】
図３のステップＳ１４では、右画像を基準画像とし、その画像信号の２値化、すなわち、実験的に決定される輝度閾値ＩＴＨより明るい領域を「１」（白）とし、暗い領域を「０」（黒）とする処理を行う。図６に図５（ａ）の画像を２値化した画像を示す。この図は、ハッチングを付した領域が黒であり、太い実線で囲まれた高輝度領域が白であることを示している。
【００１４】
続くステップＳ１５では、２値化した画像データをランレングスデータに変換する処理を行う。図７（ａ）はこれを説明するための図であり、この図では２値化により白となった領域を画素レベルでラインＬ１〜Ｌ８として示している。ラインＬ１〜Ｌ８は、いずれもｙ方向には１画素の幅を有しており、実際にはｙ方向には隙間なく並んでいるが、説明のために離間して示している。またラインＬ１〜Ｌ８は、ｘ方向にはそれぞれ２画素、２画素、３画素、８画素、７画素、８画素、８画素、８画素の長さを有している。ランレングスデータは、ラインＬ１〜Ｌ８を各ラインの開始点（各ラインの左端の点）の座標と、開始点から終了点（各ラインの右端の点）までの長さ（画素数）とで示したものである。例えばラインＬ３は、（ｘ３，ｙ５）、（ｘ４，ｙ５）及び（ｘ５，ｙ５）の３画素からなるので、ランレングスデータとしては、（ｘ３，ｙ５，３）となる。
【００１５】
ステップＳ１６、Ｓ１７では、図７（ｂ）に示すように対象物のラベリングをすることにより、対象物を抽出する処理を行う。すなわち、ランレングスデータ化したラインＬ１〜Ｌ８のうち、ｙ方向に重なる部分のあるラインＬ１〜Ｌ３を１つの対象物１とみなし、ラインＬ４〜Ｌ８を１つの対象物２とみなし、ランレングスデータに対象物ラベル１，２を付加する。この処理により、例えば図６に示す高輝度領域が、それぞれ対象物１から４として把握されることになる。
なお以上説明した図３のステップＳ１４〜Ｓ１７の処理は、２値化した基準画像（本実施形態では、右画像）ついて実行する。
【００１６】
図３のステップＳ１８では、図８に示すように右画像に含まれる対象物像Ｒ１に対応する左画像中の対象物像Ｒ２を求め、右画像のｘ方向の中心線ＬＣＴＲと対象物像Ｒ１の重心との距離ΔｄＲ、及び左画像の中心線ＬＣＴＲと対象物像Ｒ２の重心との距離ΔｄＬを算出し、下記式（１）にこれらを適用して自車両１０からその対象物までの距離ｚを算出する。
【数１】
0004334686.tif 000002
【００１７】
ここで、Ｂは基線長、すなわち図９に示すようにカメラ１Ｒの撮像素子１１Ｒの中心位置と、カメラ１Ｌの撮像素子１１Ｌの中心位置との水平方向（ｘ方向）の距離（両カメラの光軸の間隔）、Ｆはレンズ１２Ｒ、１２Ｌの焦点距離、ｐは、撮像素子１１Ｒ、１１Ｌ内の画素間隔であり、Δｄ（＝ｄＲ＋ｄＬ）が視差量である。またｆは、焦点距離Ｆと画素間隔ｐの比である。
【００１８】
ステップＳ１９では、画像内の座標（ｘ，ｙ）及び式（１）により算出した距離ｚを下記式（２）に適用し、実空間座標（Ｘ，Ｙ，Ｚ）に変換する。ここで、実空間座標（Ｘ，Ｙ，Ｚ）は、図１０（ａ）に示すように、カメラ１Ｒ、１Ｌの取り付け位置の中点の位置（自車両１０に固定された位置）を原点Ｏとして、図示のように定め、画像内の座標は同図（ｂ）に示すように、画像の中心を原点として水平方向をｘ、垂直方向をｙと定めている。
【数２】
0004334686.tif 000003
【００１９】
ここで、（ｘｃ，ｙｃ）は、右画像上の座標（ｘ，ｙ）を、カメラ１Ｒの取り付け位置と、実空間原点Ｏとの相対位置関係に基づいて、実空間原点Ｏと画像の中心とを一致させた仮想的な画像内の座標に変換したものである。またｆは、焦点距離Ｆと画素間隔ｐとの比である。
図３のステップＳ２０では、図４に示す表示制御処理を実行する。この処理は、検出した対象物の位置に応じてＨＵＤ４の画面４１の表示状態を制御するものである。
【００２０】
図１１は、カメラ１Ｒ、１Ｌで監視可能な領域を、太い実線で示す外側の三角形の領域ＡＲ０で示し、さらに領域ＡＲ０内の、自車両１０に近い領域ＡＲ１，ＡＲ２，ＡＲ３を、警報判定領域としている。ここで領域ＡＲ１は、自車両１０の進行方向に、車幅αの両側に余裕β（例えば５０〜１００ｃｍ程度とする）を加えた範囲に対応する領域、換言すれば自車両１０の横方向の中心軸の両側に（α／２＋β）の幅を有する領域であって、対象物がそのままの存在し続ければ衝突の可能性がきわめて高いので、接近判定領域と呼ぶ。領域ＡＲ２，ＡＲ３は、接近判定領域よりＸ座標の絶対値が大きい（接近判定領域の横方向外側の）領域であり、この領域内にある対象物でも車両１０の進行方向と垂直の方向に進行して車両１０に接近してくる対象物は衝突の可能性が高いので侵入判定領域と呼ぶ。接近判定領域ＡＲ１及び侵入判定領域ＡＲ２，ＡＲ３内で検出された対象物については、図４の処理によりＨＵＤ４に表示するとともに、図示しない処理により衝突の可能性の判定を行い、可能性が高いときはスピーカ３を介して音声と、ＨＵＤ４の画面４１の表示とより運転者に警報を発する。
【００２１】
図４のステップＳ４１では、検出された対象物が接近判定領域ＡＲ１内にあるか否かを判別し、接近判定領域ＡＲ１内にあるときは、図１２に示すように画面４１の中央領域４１ａにカメラ１Ｒにより撮像されている画像を表示するとともに、検出した対象物ＯＢＪ１の強調表示（例えば枠で囲んで示す）を行う（ステップＳ４２）。このように画面の中央領域４１ａには、カメラ１Ｒで実際に撮像された対象物像が表示されるので、遠くに存在するものほど表示像が小さくなり、表示像の大きさにより運転者は対象物までの距離を視覚的に容易に認識することができる。
【００２２】
また接近判定領域ＡＲ１内に対象物がないときは、侵入判定領域ＡＲ２，ＡＲ３内に存在する対象物があるか否かを判別し（ステップＳ４３）、図１２に示すように侵入判定領域ＡＲ２内で対象物ＯＢＪ２が検出されているときは、画面４１の右領域４１ｂに対象物ＯＢＪ２に対応したアイコンＩＣＲを表示し、侵入判定領域ＡＲ３内で対象物ＯＢＪ３が検出されているときは、画面４１の左領域４１ｃに対象物ＯＢＪ３に対応したアイコンＩＣＬを表示する（ステップＳ４４）。アイコンＩＣＲ，ＩＣＬは、例えば歩行者の外形に似たものを予め用意しておき、該当する対象物を検出したときに実際に表示されるように制御する。
【００２３】
侵入判定領域内に存在する対象物のうち衝突の可能性の高い対象物は、車両１０から見た対象物の方向がほぼ一定となる傾向があり、カメラ１Ｒまたは１Ｌにより得られる画像内での動きがほとんどない状態となるので、画面上にアイコン表示することにより、その存在を運転者に明確に知らせることができる。すなわち、運転者はそのような対象物の存在を容易に視認することができる。
【００２４】
なお、接近判定領域ＡＲ１内で検出された対象物ＯＢＪ１との衝突の可能性が高いと判定されたときは、強調表示の枠を点滅させたり、表示色を一定周期で変化させるなどの制御を行い、また侵入判定領域ＡＲ２，ＡＲ３内で検出された対象物ＯＢＪ２，ＯＢＪ３との衝突の可能性が高いと判定されたときは、アイコンを点滅させたり、あるいは表示色を一定周期で変化させたりするなどの制御を行う。
【００２５】
以上のように本実施形態では、車両１０の進行方向に設定される接近判定領域ＡＲ１内で対象物が検出されたときは、カメラ１Ｒにより得られる画像、すなわち対象物の位置に応じた表示を行うようにＨＵＤ４を制御し、接近判定領域の外側に設定される侵入判定領域ＡＲ２，ＡＲ３内で対象物が検出されたときは、その対象物に対応するアイコンＩＣＲ，ＩＣＬ、すなわちその対象物が存在することを示す情報を表示するようにＨＵＤ４を制御するようにしたので、接近判定領域内あるいは侵入判定領域内に対象物が存在するか否かを運転者が容易に視認することができ、さらに接近判定領域内に存在する対象物についてはその位置についての認識も容易に得ることが可能となる。
【００２６】
本実施形態では、画像処理ユニット２及びＨＵＤ４により画像表示装置が構成される。より具体的には、カメラ１Ｒ、１Ｌ及び図３のステップＳ１１〜Ｓ１９が対象物検出手段に相当し、図４の処理が表示制御手段に相当する。
なお本発明は上述した実施形態に限るものではなく、種々の変形が可能である。例えば、上述した実施形態では、ＨＵＤ４の画面の中央領域には、カメラ１Ｒにより得られる画像を表示するようにしたが、中央領域４１ａにも図１３に示すようにアイコンＩＣＣを表示するようにしてもよい。この場合、検出した対象物の位置に応じて中央領域４１ａ内のアイコン表示位置を制御し、さらに自車両１０に近い対象物ほど大きいアイコンで表示するようにして、対象物の距離（Ｚ座標）に応じた表示を行う。すなわち、図１３に示す例では、アイコンＩＣＣ１に対応する対象物が最も近くに存在し、次いでアイコンＩＣＣ２に対応する対象物が存在し、アイコンＩＣＣ３に対応する対象物が最も遠くに存在することを示している。
【００２７】
また、同図に示すように右領域４１ｂ及び左領域４２ｃに表示する侵入判定領域にある対象物についても、その距離Ｚが近いほど大きいアイコンを表示するようにしてもよい。
また対象物の検出は、赤外線カメラに限るものではなく、可視光を検出するＣＣＤカメラ、あるいはレーザなどにより行うようにしてもよい。
【００２８】
【発明の効果】
以上詳述したように本発明によれば、当該車両の進行方向で、対象物が存在し続ければ当該車両と対象物が衝突する可能性が高い領域に設定される接近判定領域内で対象物が検出されたときは、ヘッドアップディスプレイの表示画面の中央領域にその対象物の検出された位置に応じた、当該位置を運転者が認識できる表示が行われ、当該車両の進行方向で、接近判定領域の左右の外側に設定される侵入判定領域内で対象物が検出されたときは、その対象物が左右の侵入判定領域のいずれかに存在することを示す情報がヘッドアップディスプレイの表示画面の右領域若しくは左領域に表示されるので、接近判定領域内あるいは左右の侵入判定領域のいずれかに対象物が存在するか否かを運転者が容易に視認することができ、さらに接近判定領域内に存在する対象物についてはその位置についての認識も容易に得ることが可能となる。また接近判定領域内で対象物が検出されたときは、中央領域にカメラにより撮像された画像が表示され、検出した対象物が強調表示されるので、運転者は表示像の大きさにより当該対象物までの距離を視覚的に容易に認識することができる。
【図面の簡単な説明】
【図１】本発明の一実施形態にかかる画像表示装置を含む、車両の周辺監視装置の構成を示す図である。
【図２】赤外線カメラの取り付け位置を説明するための図である。
【図３】図１の画像処理ユニットにおける処理の手順を示すフローチャートである。
【図４】図３の表示制御処理を詳細に示すフローチャートである。
【図５】赤外線カメラにより得られるグレースケール画像を説明するために、中間階調部にハッチングを付して示す図である。
【図６】グレースケール画像を２値化した画像を説明するために、黒の領域をハッチングを付して示す図である。
【図７】ランレングスデータへの変換処理及びラベリングを説明するための図である。
【図８】視差の算出方法を説明するための図である。
【図９】視差から距離を算出する手法を説明するための図である。
【図１０】本実施形態における座標系を示す図である。
【図１１】車両前方の領域区分を説明するための図である。
【図１２】ヘッドアップディスプレイ上の表示を説明するための図である。
【図１３】ヘッドアップディスプレイ上の表示の変形例を説明するための図である。
【符号の説明】
１Ｒ、１Ｌ  赤外線カメラ（対象物検出手段）
２  画像処理ユニット（対象物検出手段、表示制御手段）
４  ヘッドアップディスプレイ
４１  表示画面
４１ａ  中央領域
４１ｂ  右領域
４１ｃ  左領域
【図１】
0004334686.tif 000004
【図２】
0004334686.tif 000005
【図３】
0004334686.tif 000006
【図４】
0004334686.tif 000007
【図５】
0004334686.tif 000008
【図６】
0004334686.tif 000009
【図７】
0004334686.tif 000010
【図８】
0004334686.tif 000011
【図９】
0004334686.tif 000012
【図１０】
0004334686.tif 000013
【図１１】
0004334686.tif 000014
【図１２】
0004334686.tif 000015
【図１３】
0004334686.tif 000016