(57)【要約】【課題】車外撮影カメラの画像表示に際して、車両の走行範囲内に危険物が存在することを危険の程度に応じて見やすく表示可能な「車外撮影カメラ画像表示装置」とする。【解決手段】車外撮影カメラの撮影画像を取り込んで車両の周囲撮影画像を形成し、その画像をユーザーの視線方向において前後に位置する前面側表示部と背面側表示部に、輝度を変化させて表示可能な二重表示ディスプレイに対して表示する。その際、予測した車両移動範囲内に車両走行の障害になる危険物を検出し、その危険物の危険度を危険物の高さや位置、危険物との距離、危険物の温度、危険物の移動等により演算し、危険度が高いほど危険物の画像が前面に見えるように前面側表示部の輝度を高めて表示する。車外撮影カメラの撮影画像表示に際しては、トップビュー方式の他、種々のカメラ撮影画像を用いることができる。【選択図】図１
2008263325.tif 000002
【特許請求の範囲】
【請求項１】
車外撮影カメラの撮影画像を取り込むカメラ撮影画像取込部と、
前記カメラ撮影画像取込部で取り込んだ車外撮影画像により車両の周囲撮影画像を形成する車両周囲撮影画像処理部と、
前記車両周囲撮影画像処理部で処理した画像を、ユーザーの視線方向において前後に位置する前面側表示部と背面側表示部に、輝度を変化させて表示可能な二重表示ディスプレイと、
車両移動方向の検出により車両の移動範囲を予測する車両移動範囲予測部と、
前記車両移動範囲予測部が予測した車両の移動範囲内に車両走行の障害になる危険物を検出する危険物検出部と、
前記危険物検出部で危険物を検出したとき、危険物の危険度を演算する危険度演算手段と、
前記危険度演算手段で演算した結果により、危険度が高いほど危険物の画像を前記二重表示ディスプレイにおける前面側表示部の輝度を高めて、危険物がより前面に存在するように立体表示する二重表示画像形成部とからなることを特徴とする車外撮影カメラ画像表示装置。
【請求項２】
前記危険度演算部では、危険物の高さ、危険物の位置、危険物との距離、危険物の温度、危険物の移動の少なくともいずれかを検出することにより危険度を演算することを特徴とする請求項１記載の車外撮影カメラ画像表示装置。
【請求項３】
前記車両周囲撮影画像処理部は、車両の周囲を撮影する複数のカメラの画像により、車両の上方に視点が存在する車両周囲撮影画像を形成し、
前記二重表示画像形成部は、前記車両周囲撮影画像を背面側表示部の輝度を高めて表示し、前記危険物の画像は前面側表示部の輝度を危険度に応じて高めて表示することを特徴とする請求項１記載の車外撮影カメラ画像表示装置。
【請求項４】
前記二重画像形成部は、前記危険物の表示部分を任意の色で囲む処理を行うことを特徴とする請求項１記載の車外撮影カメラ画像表示装置。
【請求項５】
前記二重画像形成部は、前記危険物をカメラ撮影画像で表示することを特徴とする請求項３記載の車外撮影カメラ画像表示装置。  
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両に搭載したカメラにより車外周辺を撮影し、例えば車両の後退時に車両の走行に障害となる危険物が存在することを容易に識別可能に表示できるようにした車外撮影カメラ画像表示装置に関する。
【背景技術】
【０００２】
車両を狭い車庫や駐車場に入れるとき、運転者は細心の注意を必要とし、時には周囲の物体と自車両をこする等の事故を発生することもある。また、車両を車庫や駐車場から出すときも、周囲の物体や人間には十分注意する必要がある。更に、車庫や駐車場の出入り以外にも、極めて狭い道路の走行時や狭い道路での対向車とのすれ違いにおける周囲の物体との接触等の車両の周囲に十分注意を要する場合も多い。
【０００３】
その対策として、近年車両に広く搭載されるようになっている、車両の後方を撮影してモニタに表示し、車庫入れや駐車を容易にする後方撮影用カメラ、車両の前方両側を撮影して車両が見通しの悪い狭い道路から出るときに、先方の道路を走行する車両等を確認する車両側方撮影用カメラ等の、車外撮影カメラを利用し、車両周囲の状況を監視し、充分確認しながら運転することも行われている。
【０００４】
しかしながら、このような車外撮影カメラとして広範囲を撮影できる超広角カメラを用いたとき、その画像は撮影画像の中心部と周辺部とでは物体の見え方が大きく異なり、単に撮影画像を見ているだけでは、その物体と車両との位置関係が明確ではなく、予期しない衝突やこすりを生じることがある。また、できる限り広範囲の周囲の状態を監視するため、複数のカメラを備えて任意に切り替えて撮影画像をモニタに表示できるようにしても、例えば後方撮影用カメラでの画像から側方撮影用カメラの画像に切り換えたとき、画面に表示される障害物等の物体の画像は大きく異なり、実際の物体の状態を把握することは容易ではない。
【０００５】
そのため、車両に複数の車外撮影用カメラを搭載し、それらのカメラで撮影した画像を合成し、あたかも車両の上方に設置したカメラから車両の周囲を撮影しているような画像を形成してモニタに表示することが提案されている。そのような複数のカメラを用いる際には例えば図６に示すように、車両３１の左側を撮影する車両左側撮影用カメラ３２、車両３１の右側を撮影する車両右側撮影用カメラ３３、車両３１の後方を撮影する後方撮影用カメラ３４、車両３１の前側を撮影する車両前方撮影用カメラ３５の合計４個のカメラを搭載して、これらのカメラの全ての画像を合成し、例えば図６（ｃ）に略示するように、あたかも車両の真上に設けた１つのカメラにより車両３１の全周囲を撮影しているような画像をモニタに表示することが提案されている。この方式はトップビューシステムともいわれ、車両の外部を撮影するカメラは必要に応じて２個、３個と適宜選択され、また設置位置も種々の位置に選択して設置される。
【０００６】
一方、近年の画像表示技術の進歩により、眼鏡等を用いずに立体視できる三次元表示技術として、観察者から見て奥行き位置の異なる複数の表示面にそれぞれ二次元像を表示し、各二次元像の輝度を変化させることにより立体画像を表示する技術が開発されており、その技術の各種の分野での応用が期待されている。
【０００７】
なお、車外監視カメラとして同方向を撮影する通常のカメラと赤外線カメラを用い、通常のカメラの撮影映像をモニタに表示すると共に、赤外線カメラにより危険物を監視し、危険物が存在するときにはその物体の位置を測定し、モニタに表示している通常のカメラ映像におけるその物体が存在する位置の映像部分の輝度を高める等により危険物を見やすく表示する技術は特許文献１に開示されている。また、前記のような奥行き位置の異なる複数の表示面にそれぞれ二次元像を表示し、各二次元像の輝度を変化させることにより立体画像を表示する技術は特許文献２に開示されている。
【特許文献１】特開２００５−１８４５２３号公報
【特許文献２】特開２０００−２１４４１３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
上記のようなトップビューシステムを採用しても、車外撮影映像は必ずしも明瞭には表示されず、特に撮影された映像から立体物の状態がわかりにくく、例えば車両が後退するとき撮影された物体のようなものが、車両に衝突する危険のある物体であるか、或いは路面上の単なる突起に過ぎないのかの判別は一見しただけではわからず、また物体が存在することがわかっても、その物体は車両にとってどの程度危険な物体であるかを判断することが困難であった。
【０００９】
このことは前記のようなトップビューシステムによる表示だけでなく、例えば後視用のカメラを１つだけ用いてその撮影画像をモニタに表示するような装置においても同様であり、更に種々の車外撮影カメラを搭載してモニタに表示するようにした装置でも危険物の把握、及びその危険の度合いをモニタの画面から把握することは困難である。例えば前記特許文献１に記載された技術においても、通常のカメラ撮影画像の中で、危険物の輝度を高めて表示するだけでは、周囲が明るい昼間時においては危険物を明瞭に表示することができないという問題も生じる。
【００１０】
したがって本発明は、車外を撮影するカメラの撮影画像をモニタに表示するとき、撮影画像の中に危険物が存在することを容易に知ることができ、またその危険物が車両にとって危険である程、ユーザーがその危険物の状態を容易に識別できるようにした車外撮影カメラ画像表示装置を提供することを主たる目的とする。
【課題を解決するための手段】
【００１１】
本発明に係る車外撮影カメラ画像表示装置は、前記課題を解決するため、車外撮影カメラの撮影画像を取り込むカメラ撮影画像取込部と、前記カメラ撮影画像取込部で取り込んだ車外撮影画像により車両の周囲撮影画像を形成する車両周囲撮影画像処理部と、前記車両周囲撮影画像処理部で処理した画像を、ユーザーの視線方向において前後に位置する前面側表示部と背面側表示部に、輝度を変化させて表示可能な二重表示ディスプレイと、車両移動方向の検出により車両の移動範囲を予測する車両移動範囲予測部と、前記車両移動範囲予測部が予測した車両の移動範囲内に車両走行の障害になる危険物を検出する危険物検出部と、前記危険物検出部で危険物を検出したとき、危険物の危険度を演算する危険度演算手段と、前記危険度演算手段で演算した結果により、危険度が高いほど危険物の画像を前記二重表示ディスプレイにおける前面側表示部の輝度を高めて、危険物がより前面に存在するように立体表示する二重表示画像形成部とからなることを特徴とする。
【００１２】
また、本発明に係る他の車外撮影カメラ画像表示装置は、前記車外撮影カメラ画像表示装置において、前記危険度演算部では、危険物の高さ、危険物の位置、危険物との距離、危険物の温度、危険物の移動の少なくともいずれかを検出することにより危険度を演算することを特徴とする請求項１記載の車外撮影カメラ画像表示装置。
【００１３】
また、本発明に係る他の車外撮影カメラ画像表示装置は、前記車外撮影カメラ画像表示装置において、前記車両周囲撮影画像処理部が、車両の周囲を撮影する複数のカメラの画像により、車両の上方に視点が存在する車両周囲撮影画像を形成し、前記二重表示画像形成部は、前記車両周囲撮影画像を背面側表示部の輝度を高めて表示し、前記危険物の画像は前面側表示部の輝度を危険度に応じて高めて表示することを特徴とする。
【００１４】
また、本発明に係る他の車外撮影カメラ画像表示装置は、前記車外撮影カメラ画像表示装置において、前記二重画像形成部が、前記危険物の表示部分を任意の色で囲む処理を行うことを特徴とする。
【００１５】
また、本発明に係る他の車外撮影カメラ画像表示装置は、前記車外撮影カメラ画像表示装置において、前記二重画像形成部が、前記危険物をカメラ撮影画像で表示することを特徴とする。
【発明の効果】
【００１６】
本発明は上記のように構成したので、車外を撮影するカメラの撮影画像をモニタに表示するとき、特に車両の走行範囲内に危険物が存在することを容易に知ることができ、またその危険物が車両にとって危険である程、ユーザーがその危険物の状態を容易に識別できるようにすることができる。
【発明を実施するための最良の形態】
【００１７】
本発明は、車外撮影カメラの画像表示に際して、車両の走行範囲内に危険物が存在することを容易に知ることができるようにするという目的を、車外撮影カメラの撮影画像を取り込むカメラ撮影画像取込部と、前記カメラ撮影画像取込部で取り込んだ車外撮影画像により車両の周囲撮影画像を形成する車両周囲撮影画像処理部と、前記車両周囲撮影画像処理部で処理した画像を、ユーザーの視線方向において前後に位置する前面側表示部と背面側表示部に、輝度を変化させて表示可能な二重表示ディスプレイと、車両移動方向の検出により車両の移動範囲を予測する車両移動範囲予測部と、前記車両移動範囲予測部が予測した車両の移動範囲内に車両走行の障害になる危険物を検出する危険物検出部と、前記危険物検出部で危険物を検出したとき、危険物の危険度を演算する危険度演算手段と、前記危険度演算手段で演算した結果により、危険度が高いほど危険物の画像を前記二重表示ディスプレイにおける前面側表示部の輝度を高めて、危険物がより前面に存在するように立体表示する二重表示画像形成部とを備えることにより実現した。
【実施例１】
【００１８】
本発明の実施例を図面に沿って説明する。図１（ａ）は本発明による車外撮影カメラ画像表示装置を主として前記トップビューシステムに用いる例を示しており、そのシステムにおいて本発明の主たる機能を行うカメラ撮影画像表示処理部６の機能ブロック図を中心に示している。図１（ａ）に示す例においては前記図６に示すものと同様に、車両１の外部を撮影するカメラ（２、３、４、５）で撮影した画像は、カメラ撮影画像表示処理部６におけるカメラ撮影画像取込部７にそれぞれ取り込まれる。
【００１９】
図示の例においては車外撮影カメラを車両の前後左右に４個取り付け、各カメラの撮影画像をそれぞれ取り込むことができるようにした例を示しているが、図示の例のように車両の周囲の危険物を把握する最も必要なときは、車両の後退時に車両後方に存在する危険物を検出することであり、そのためには少なくとも後方撮影カメラ４のみを備えていれば良く、その時にはカメラ撮影画像取込部７には後方撮影カメラの撮影画像取込部のみ設ける。
【００２０】
カメラ撮影画像取込部７に取り込んだ画像は、画像表示処理部８において所定の画像表示処理を行うが、車両周囲撮影画表示像処理部９では、前記のような４個のカメラを備えたトップビューシステムのときには、前記図６と同様の手法により車両上方視点の画像処理を行い、これを危険物検出部１１と二重表示画像形成部１４に出力する。また、危険物画像二重表示処理部１０では、後述するように危険物検出部１１が危険物を検出し、危険度演算部１３でその危険物の危険度を演算したとき、その危険物の危険度に応じて危険物の画像表示態様を異ならせた表示を行うための処理をし、二重表示画像形成部１４に出力する。
【００２１】
危険物検出部１１では、車両周囲撮影画像処理部９で処理した画像を入力し、例えばステレオ立体視、単眼ステレオ視、カメラ撮影画像の他にレーダーやソナーの利用、距離計測カメラの利用等の種々の手法のいずれか、或いは複数を利用して撮影画像の中における危険物を検出する。その際には車両移動範囲予測部１２によって、例えば車両が後退するとき、ハンドルの操作を検出して車両の移動方向を予測し、危険物検出部１１はその予測結果を利用して車両が走行する予定の範囲、及びその周辺に存在する物体を危険物として検出する。
【００２２】
前記のような種々の危険物検出手法において、例えばステレオ立体視の手法は、１方向を撮影するカメラを２台設け、各カメラの撮影画像を処理することにより画像を立体表示し、その中で立体的な物体を検出する手法である。また、単眼ステレオ視の手法は、カメラ１台で撮影した画像を用い、その画像の中で車両の移動による平面画像変化と異なる変化を検出する手法である。また、レーダーやソナーを用いる手法は、車外撮影画像の他に近年車間距離測定や周囲障害物警報等に用いられているレーダーやソナーを用いて立体物を検出する手法である。また、距離計測カメラを用いる手法は近年開発が進められているカメラ及び画像処理技術であり、撮影画像の画素毎の距離を取得することができる。本発明における危険物検出に際しては、上記の手法の他、従来より用いられている更に種々の手法を用いることができる。
【００２３】
危険度演算部１３においては、上記のようにして検出した車両走行範囲内の危険物と思われる物体についてより詳細に検討加え、その物体が自車両にとってどの程度危険なものであるかを演算する。その演算に際しては、その危険物の高さを測定し、最低限車体に接触する高さか否かに分け、その外例えば高さが１０ｃｍ以下、１０〜２０ｃｍ、２０〜３０ｃｍ、３０〜４０ｃｍ、４０ｃｍ以上のように適宜の範囲に区切り、どの範囲に入るかを判別しても良い。また、危険物の位置を計測し、車両に確実に衝突する範囲、車両に接触する可能性の高い範囲、車両に接触しないかもしれないが状況によっては接触するかもしれない範囲、等の適宜の範囲を設定し、何れの範囲であるかを判別することができる。
【００２４】
危険度の演算に際しては、前記のような立体物の高さと走行範囲に近接している程度以外に、例えば車両からの距離に応じて危険度を設定することもでき、更に温度センサにより人体等の動物であるか否かを検出して危険度を設定することもでき、更には、特に動きのある移動したものを検出したときには危険度を高く設定する等、種々の手法を用いて危険度を設定することもできる。
【００２５】
危険度演算部１３ではこれらを総合評価して危険度を演算し、例えば１．走行範囲内の高い立体物、２．走行範囲外ではあるが接触の可能性もある高い立体物、３．走行範囲内の低い立体物、４走行範囲外の低い立体物の順に危険度を設定する等、種々の危険度の設定を行うことができる。
【００２６】
前記危険物画像二重表示処理部１０では、本発明において用いる前記背景技術に記載したような二重表示ディスプレイに、危険度演算部１３で演算した危険度に応じて、危険物を前面に表示するための表示処理を行い、二重表示画像形成部１４に出力する。二重表示画像形成部１４では、車両上方視点画像等の車両周囲撮影画像処理部９からの画像に対して、危険物については危険物画像二重表示処理部１０で処理した危険物画像を前面側に表示する二重表示画像を形成する。その危険物の表示に際しては、例えば図４に示すように、前記危険度に応じて危険物の見える位置を変えることによって行われ、図示の例では立体物を前記のような危険度の設定順に表示し、立体物ではない背景画面は最も背面側に表示している。
【００２７】
二重表示画像形成部１４で形成される危険物の表示は、例えば図５のようにして行われる。即ち二重表示ディスプレイにおいては前記従来技術の特許文献２に詳細に記載しているように、前面側表示面と背面側表示面とを配置して同一の画像を表示し、同図（ａ）のように危険物の表示に際して、その危険物について背面側表示面の輝度を最も高くし、表面側表示面の輝度を最低限にすると、その画像の視認位置は背面側となる。
【００２８】
逆に同図（ｆ）のように背面側表示面の輝度を最低限とし、表面側表示面の輝度を最も高くするとその画像の視認位置は表面側となる。同図（ａ）〜（ｆ）の間において、背面側輝度を次第に小さくし、逆に表面側輝度を次第に大きくすると、危険物の画像視認位置は同図に示すように次第に前面側に移動する。したがって、危険度演算部で演算した危険物の危険度合いが大きいほど危険物の表示を前面側にし、これを見たユーザーが危険物が飛び出して見えるようになり、その存在を明確に視認できるようになる。
【００２９】
二重表示画像出力部１５では上記のような危険物の危険度に応じてその危険物が前面に見える画像を、二重表示ディスプレイ１８に表示する。図１に示す例においては、路面の背景画像を最も背面位置になるように背面側表示面の輝度を大きくして表示し、危険物１６のが増部分については前面側表示面の輝度を大きくして表示することにより、路面の背景画像から危険物が前方に飛び出して見える画像を表示することができる。
【００３０】
また、危険物の表示に際しては前記のような危険度に応じた立体表示を行うほかに、危険物を任意の色で囲んで更に見やすくする手法を採用しても良く、更にトップビューシステムで画像表示しているとき、危険物の画像については魚眼カメラで撮影している危険物画像部分をそのまま用い、所定の画面位置にポップアップ表示しても良い。
【００３１】
上記のような表示処理は概略図１（ｂ）に示すような処理を行うことにより実行される。即ち図１（ｂ）に示す例においては各種の態様で本発明を実施する例を示しており、ｎ台のカメラ２０を用いてその撮影画像を取り込み２１、取り込んだ画像の一つは同図（ａ）の背景画像となる表示画像の生成２２を行う。また他の一つは各種センサー２５の信号も必要に応じて用い、危険度判定を行う障害物判定２６を行って、高さ情報の生成も行う二重表示画像の合成２３を行い、二重表示ディスプレイ２４に表示する、という処理を行う。
【００３２】
更にこれを詳細に述べると図２の作動フローに従って処理を行うことにより、本発明を実施することができる。図２に示す危険物二重表示処理においては、最初車外撮影カメラの画像取り込みを行い（ステップＳ１）、次いで車両の走行方向の予測を行う（ステップＳ２）。これらの処理は図１のカメラ撮影画像取込部７で画像の取り込みを行い、車両移動範囲予測部１２で車両の移動方向を予測することにより行う。その後例えば図３に示すような危険物検出処理を行い（ステップＳ３）、車両走行方向に危険物を検出したか否かの判別を行う（ステップＳ４）。この処理は危険物検出部１１で、前記のような種々の手法を用いて危険物の検出を行うことによってなされる。ここで危険物を検出しないときはステップＳ１に戻って前記作動を繰り返す。
【００３３】
ステップＳ４で車両走行方向に危険物を検出したときには、図示実施例では危険物の位置を計測し（ステップＳ５）、更に危険物の高さを計測し（ステップＳ６）、その後検出危険物の危険度の演算を行う（ステップＳ７）。これらの処理は図１の危険度演算部１３において行う。次いで前記のようにして演算した危険度に応じて検出危険物を二重表示し（ステップＳ８）、この処理を終了する（ステップＳ９）。その二重表示に際しては、危険物の危険度が高いほど、その危険物が画面の前方に位置して見えるように、前面表示面の輝度を大きくする。
【００３４】
前記ステップＳ３の危険物検出部処理に際しては、例えば図３の作動フローに示すような車両移動による危険物の検出処理によって実施することができる。即ち図３の車両移動危険物検出処理においては、例えば車両の後方を撮影するがカメラの画像を利用し、その画像の中で車両移動予測範囲内に輝度・色差の大きな表示部分が存在するか否かの判別を行い、存在するときには次のステップＳ１２に進んで更なる車両の移動を行った後、検出表示部分の形状の変形が車両の移動による路面表示の変形と異なり、立体物特有の変化を生じているか否かを判別する（ステップＳ１３）。
【００３５】
即ち、立体物の撮影画像は、その立体物の路面側基部が車両の移動と共に移動するのに対して、立体物の高さ方向の部分はカメラの高さと立体物の高さの関係により、例えば立体物の上端がカメラより高いときには次第に立体物の上端が画面の上方に移動して長くなり、立体物がカメラより低いときには次第に立体物の上端が下方に移動して短くなる。このような変化により立体物の認識、及びその大きさの程度も知ることができる。このようにして危険物があることを認識することができる（ステップＳ１４）。  
【図面の簡単な説明】
【００３６】
【図１】本発明の実施例の機能ブロック図である。
【図２】同実施例における危険物二重表示処理の作動フロー図である。
【図３】同実施例における車両移動による危険物検出処理の作動フロー図である。
【図４】二重表示ディスプレイへの危険度に応じた危険物表示の態様を示す図である。
【図５】二重表示ディスプレイの危険物表示態様を示す図である。
【図６】従来のトップビューシステムを示す概要図である。
【符号の説明】
【００３７】
１  車両    
２、３、４、５  カメラ
６  カメラ撮影画像表示処理部
７  カメラ撮影画像取込部
８  画像表示処理部
９  車両周囲撮影画像処理部
１０  危険物画像二重表示処理部
１１  危険物検出部
１２  車両移動範囲予測部
１３  危険度演算部
１４  二重表示画像形成部
１５  二重表示画像出力部
１６  危険物
１７  背景画像
１８  二重表示ディスプレイ
【図１】
2008263325.tif 000003
【図２】
2008263325.tif 000004
【図３】
2008263325.tif 000005
【図４】
2008263325.tif 000006
【図５】
2008263325.tif 000007
【図６】
2008263325.tif 000008