(57)【要約】【課題】運転を支援するための情報をユーザに適切に提供する。【解決手段】車両周辺画像処理システム１において、後方カメラ３により撮影された画像の輝度が所定レベル以上でないときには、後方カメラ３により撮影される撮影領域を照明装置４により照明する。夜間や照明の暗い屋内駐車場などであっても、後方カメラ３により撮影される撮影領域が照明装置４により照明されることにより、これ以降、後方カメラ３により撮影された画像の輝度が所定レベル以上となり、合成鳥瞰図画像を適切に生成して表示することができ、運転を支援するための情報をユーザに適切に提供できる。【選択図】  図１
2004356869.tif 000002
【特許請求の範囲】
【請求項１】
車両周辺を撮影する撮影手段と、
前記撮影手段により撮影された画像を座標変換して鳥瞰図画像を生成する鳥瞰図画像生成手段と、
前記鳥瞰図画像生成手段により生成された鳥瞰図画像を記憶する鳥瞰図画像記憶手段と、
車両の移動状態を検出する車両移動状態検出手段と、
前記車両移動状態検出手段により検出された車両の移動状態に基づいて前記鳥瞰図画像記憶手段に記憶されている過去の鳥瞰図画像を回転移動または平行移動させる鳥瞰図画像移動手段と、
前記鳥瞰図画像移動手段により回転移動または平行移動された過去の鳥瞰図画像と、前記撮影手段により撮影された画像が前記鳥瞰図画像生成手段により座標変換されて生成された現在の鳥瞰図画像とを合成して合成鳥瞰図画像を生成する合成鳥瞰図画像生成手段とを備えた車両周辺画像処理システムであって、
前記撮影手段により撮影された画像の輝度が所定レベル以上であるか否かを判定する輝度判定手段と、
前記撮影手段により撮影される撮影領域を照明する照明手段と、
前記撮影手段により撮影された画像の輝度が所定レベル以上でない旨が前記輝度判定手段により検出されたときに、前記照明手段を動作させる照明制御手段とを備えたことを特徴とする車両周辺画像処理システム。
【請求項２】
請求項１に記載した車両周辺画像処理システムにおいて、
前記照明制御手段は、前記撮影手段により撮影された画像の輝度に応じて照明レベルを変化させて前記照明手段を動作させることを特徴とする車両周辺画像処理システム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、車両周辺が撮影された画像を座標変換して鳥瞰図画像を生成し、過去の鳥瞰図画像と現在の鳥瞰図画像とを合成して合成鳥瞰図画像を生成して表示するように構成された車両周辺画像処理システムに関する。
【０００２】
【従来の技術】
従来より、車両の後部に設置されている後方カメラにより車両後方の状況を撮影し、撮影された画像を座標変換して鳥瞰図（上空から見た平面図）画像を生成し、過去の鳥瞰図画像と現在の鳥瞰図画像とを合成して合成鳥瞰図画像を生成して表示するものがある（例えば特許文献１参照）。
【０００３】
【特許文献１】
特開２００２−８７１６０号公報
【０００４】
【発明が解決しようとする課題】
しかしながら、夜間や照明の暗い屋内駐車場などでは、後方カメラにより撮影された画像の輝度が小さくなる（暗くなる）ので、合成鳥瞰図画像を適切に生成して表示することが困難となり、運転を支援するための情報をユーザに適切に提供することができないという問題がある。また、ブレーキランプの点灯時に撮影された画像が座標変換されて生成された鳥瞰図画像と、ブレーキランプの非点灯時に撮影された画像が座標変換されて生成された鳥瞰図画像とが合成されると、輝度が大きい鳥瞰図画像と輝度が小さい鳥瞰図画像とが合成されることになるので、これらの鳥瞰図画像が合成された合成鳥瞰図画像において輝度の差に起因して縞模様が発生し、合成鳥瞰図画像が不自然なものとなり、この場合においても、運転を支援するための情報をユーザに適切に提供することができないという問題がある。
【０００５】
本発明は、上記した事情に鑑みてなされたものであり、その目的は、車両周辺が撮影された画像を座標変換して鳥瞰図画像を生成し、過去の鳥瞰図画像と現在の鳥瞰図画像とを合成して合成鳥瞰図画像を生成して表示するものにおいて、運転を支援するための情報をユーザに適切に提供することができる車両周辺画像処理システムを提供することにある。
【０００６】
【課題を解決するための手段】
請求項１に記載した車両周辺画像処理システムによれば、撮影手段が車両周辺を撮影すると、鳥瞰図画像生成手段は、撮影手段により撮影された画像を座標変換して鳥瞰図画像を生成し、鳥瞰図画像記憶手段は、鳥瞰図画像生成手段により生成された鳥瞰図画像を記憶する。また、車両移動状態検出手段が車両の移動状態を検出すると、鳥瞰図画像移動手段は、車両移動状態検出手段により検出された車両の移動状態に基づいて鳥瞰図画像記憶手段に記憶されている過去の鳥瞰図画像を回転移動または平行移動させ、合成鳥瞰図画像生成手段は、鳥瞰図画像移動手段により回転移動または平行移動された過去の鳥瞰図画像と、撮影手段により撮影された画像が鳥瞰図画像生成手段により座標変換されて生成された現在の鳥瞰図画像とを合成して合成鳥瞰図画像を生成する。このとき、輝度判定手段は、撮影手段により撮影された画像の輝度が所定レベル以上であるか否かを判定し、撮影手段により撮影された画像の輝度が所定レベル以上でない旨が検出されると、照明制御手段は、照明手段を動作させ、撮影手段により撮影される撮影領域を照明させる。
【０００７】
これにより、夜間や照明の暗い屋内駐車場などであっても、撮影手段により撮影される撮影領域が照明手段により照明されることにより、これ以降、撮影手段により撮影された画像の輝度が所定レベル以上となるので、従来のものとは異なって、合成鳥瞰図画像を適切に生成して表示することができ、運転を支援するための情報をユーザに適切に提供することができる。
【０００８】
また、このように撮影手段により撮影される撮影領域が照明手段により照明されることにより、ブレーキランプが非点灯時であっても、撮影された画像の輝度がブレーキランプの点灯時に撮影された画像の輝度と同等となり、これ以降、輝度の差がない鳥瞰図画像同士が合成されることになるので、従来のものとは異なって、これらの鳥瞰図画像が合成された合成鳥瞰図画像において輝度の差に起因して縞模様が発生することはなく、運転を支援するための情報をユーザに適切に提供することができる。
【０００９】
請求項２に記載した車両周辺画像処理システムによれば、照明制御手段は、撮影手段により撮影された画像の輝度に応じて照明レベルを変化させて照明手段を動作させる。これにより、撮影手段により撮影される画像の輝度が常に一定となるように照明レベルを変化させることにより、より輝度の差がない見易い合成鳥瞰図画像を表示することができる。
【００１０】
【発明の実施の形態】
以下、本発明の一実施例について、図面を参照して説明する。まず、図２は、車両周辺画像処理システムの構成を概略的に示している。車両周辺画像処理システム１は、車両２の後方の状況を撮影する後方カメラ３（本発明でいう撮影手段）と、後方カメラ３により撮影される撮影領域を照明する照明装置４（本発明でいう照明手段）と、車室５内の例えばダッシュボード上に配置された車載モニタ６（本発明でいう表示手段）と、画像処理を行う画像処理ユニット７とを備えて構成されている。この場合、照明装置４が照明する照明領域（図２中二点鎖線「Ｐ」にて示す領域）は、後方カメラ３が撮影する撮影領域（図２中二点鎖線「Ｑ」にて示す領域）と同じであるか、僅かに大きくなるように構成されている。
【００１１】
図１は、車両周辺画像処理システム１の機能ブロック図を示している。車両周辺画像処理システム１は、機能ブロックとして、システム全体の動作を制御するＣＰＵ８（本発明でいう車両移動状態検出手段、鳥瞰図画像移動手段、合成鳥瞰図画像生成手段、輝度判定手段および照明制御手段）と、後方カメラ３と、照明装置４と、鳥瞰図画像生成回路９（本発明でいう鳥瞰図画像生成手段）と、第１の画像メモリ１０（本発明でいう鳥瞰図画像記憶手段）と、第２の画像メモリ１１と、表示用画像メモリ１２と、車載モニタ６と、ハンドル角信号入力回路１３と、車速信号入力回路１４と、ヨーレイト信号入力回路１５と、超音波センサ信号入力回路１６と、シフトポジション信号入力回路１７とを備えて構成されている。
【００１２】
鳥瞰図画像生成回路９は、後方カメラ３から画像が入力されると、入力された画像を座標変換して鳥瞰図画像を生成し、生成された鳥瞰図画像を第１の画像メモリ１０に出力する。第１の画像メモリ１０は、鳥瞰図画像生成回路９から鳥瞰図画像が入力されると、入力された鳥瞰図画像を現在の鳥瞰図画像として一時的に記憶する。
【００１３】
第２の画像メモリ１１は、第１の画像メモリ１０から鳥瞰図画像が転送されると、転送された鳥瞰図画像を過去の鳥瞰図画像として記憶する。表示用画像メモリ１２は、第１の画像メモリ１０に記憶されている現在の鳥瞰図画像と第２の画像メモリ１１に記憶されている過去の鳥瞰図画像とが合成された合成鳥瞰図画像を表示用画像として記憶する。車載モニタ６は、表示用画像メモリ１２に表示用画像として記憶されている合成鳥瞰図画像を表示する。
【００１４】
ハンドル角信号入力回路１３は、ユーザのハンドル操作に関するデータをＣＰＵ８に入力させる。車速信号入力回路１４は、車速に関するデータをＣＰＵ８に入力させる。ヨーレイト信号入力回路１５は、車両２の旋回状況に関するデータをＣＰＵ８に入力させる。超音波センサ信号入力回路１６は、車両２の周辺に存在する障害物の有無を検出し、障害物の有無に関するデータや障害物と車両２との間の距離などに関するデータをＣＰＵ８に入力させる。シフトポジション信号入力回路１７は、ユーザのシフトレバー操作に関するデータをＣＰＵ８に入力させる。
【００１５】
尚、上記した構成では、ＣＰＵ８、鳥瞰図画像生成回路９、第１の画像メモリ１０、第２の画像メモリ１１、表示用画像メモリ１２、ハンドル角信号入力回路１３、車速信号入力回路１４、ヨーレイト信号入力回路１５、超音波センサ信号入力回路１６およびシフトポジション信号入力回路１７は、それらの全体または一部を一体化して１つのＬＳＩで構成することも可能である。また、鳥瞰図画像を生成する専用の画像処理回路として鳥瞰図画像生成回路９を備える代わりに、ＣＰＵ８がソフトウェア的に鳥瞰図画像を生成することも可能である。また、車載モニタ６は、ナビゲーション装置のディスプレイなどで兼用することも可能である。
【００１６】
ここで、鳥瞰図画像生成回路９が鳥瞰図画像を生成する手順について簡単に説明する。尚、前提条件として、後方カメラ３は、オートフォーカス機能を有すると共に、その取付け高さや取付け角度が予め設定されているものとする。また、地面は、平面であることを計算上の前提条件としている。ここでは、後方カメラ３により撮影された画像を画素単位に分解し、車両２の後端を基準線として各画素までの距離および幅方向位置を算出し、各画素の鳥瞰変換後の位置座標を算出する。そして、算出された位置座標に基づいて各画素を再配置する。これにより、後方カメラ３により撮影された画像から鳥瞰図画像を生成することができる。
【００１７】
尚、このようにして鳥瞰変換を行うことにより、鳥瞰図画像では、画素と画素との間に隙間が生じたり、画素と画素とが重なったりする場合が想定されるが、車両２を車庫入れするときなどでは、車載モニタ６に表示される画像が多少間引きされた様な画像であったとして、後方カメラ３により撮影された元々の画像（生の画像）が表示されるよりも、操作性が良いものである。
【００１８】
次に、上記した構成の作用について、図３を参照して説明する。
ＣＰＵ８は、後方カメラ３が撮影したことに伴って、後方カメラ３から画像が入力された旨を検出すると（ステップＳ１にて「ＹＥＳ」）、後方カメラ３により撮影された画像の輝度が所定レベル以上であるか否かを判定する（ステップＳ２）。この場合、所定レベルとは、これ以降に鳥瞰図画像を生成するのに適した（十分な）輝度であるか否かの指標となるものであり、予めＣＰＵ８に記憶されている値であっても良いし、ユーザが好みに応じて（ユーザが要求するレベルに応じて）任意に設定する値であっても良い。また、この場合、ＣＰＵ８は、画像全体の輝度を一括して判定しても良いし、画像の複数箇所の輝度を平均化して判定しても良い。
【００１９】
さて、ＣＰＵ８は、後方カメラ３により撮影された画像の輝度が所定レベル以上である旨を検出すると（ステップＳ２にて「ＹＥＳ」）、第１の画像メモリ１０、第２の画像メモリ１１および表示用画像メモリ１２を初期化すると共に、各種のパラメータを初期化する（ステップＳ３）。
【００２０】
これに対して、ＣＰＵ８は、後方カメラ３により撮影された画像の輝度が所定レベル以上でない旨を検出すると（ステップＳ２にて「ＮＯ」）、照明装置４を動作させ、後方カメラ３により撮影される撮影範囲を照明装置４により照明させる。この場合、ＣＰＵ８は、後方カメラ３により撮影された画像の輝度に応じて照明レベルを変化させて照明させても良いし、照明レベルを常に一定にして照明させても良い。そして、ＣＰＵ８は、このようにして後方カメラ３により撮影される撮影範囲を照明装置４により照明させた後に（ステップＳ４）、第１の画像メモリ１０、第２の画像メモリ１１および表示用画像メモリ１２を初期化すると共に、各種のパラメータを初期化する（ステップＳ３）。
【００２１】
次いで、ＣＰＵ８は、後方カメラ３により撮影された画像が鳥瞰図画像生成回路９で座標変換されて鳥瞰図画像が生成され、鳥瞰図画像が第１の画像メモリ１０に記憶された旨を検出すると（ステップＳ５にて「ＹＥＳ」）、鳥瞰図画像が第２の画像メモリ１１に記憶されているか否かを判定する（ステップＳ６）。
【００２２】
ここで、ＣＰＵ８は、鳥瞰図画像が第２の画像メモリ１１に記憶されている旨を検出すると（ステップＳ６にて「ＹＥＳ」）、ハンドル角信号入力回路１３から入力されているデータ、車速信号入力回路１４から入力されているデータ、ヨーレイト信号入力回路１５から入力されているデータおよび超音波センサ信号入力回路１６から入力されているデータに基づいて車両２が移動しているか否かを判定する（ステップＳ７）。
【００２３】
次いで、ＣＰＵ８は、車両２が移動している旨を検出すると（ステップＳ７にて「ＹＥＳ」）、第２の画像メモリ１１から過去の鳥瞰図画像として記憶されている鳥瞰図画像を読出し（ステップＳ８）、読出された鳥瞰図画像を車両２の移動状態に基づいて回転移動または平行移動させる画像処理を行う（ステップＳ９）。このとき、ＣＰＵ８は、車両２がカーブして移動していれば、第２の画像メモリ１１に記憶されている鳥瞰図画像を回転移動させる画像処理を行うことになり、車両２が直進して移動していれば、第２の画像メモリ１１に記憶されている鳥瞰図画像を平行移動させる画像処理を行うことになる。
【００２４】
次いで、ＣＰＵ８は、第１の画像メモリ１０から現在の鳥瞰図画像として記憶されている鳥瞰図画像を読出し（ステップＳ１０）、第２の画像メモリ１１から読出されて画像処理が行われた過去の鳥瞰図画像と、第１の画像メモリ１０から読出された現在の鳥瞰図画像とを合成して合成鳥瞰図画像を生成する（ステップＳ１１）。
【００２５】
そして、ＣＰＵ８は、このようにして生成された合成鳥瞰図画像を表示用画像メモリ１２に出力させて車載モニタ６に表示させ（ステップＳ１２）、その合成鳥瞰図画像を第２の画像メモリ１１に過去の鳥瞰図画像として記憶させ（ステップＳ１３）、上記したステップＳ５に戻り、ステップＳ５以降の処理を繰返して行う。
【００２６】
また、ＣＰＵ８は、鳥瞰図画像が第２の画像メモリ１１に記憶されていない旨を検出すると（ステップＳ６にて「ＮＯ」）、第１の画像メモリ１０に現在の鳥瞰図画像として記憶されている鳥瞰図画像を第２の画像メモリ１１に転送させ（ステップＳ１４）、上記したステップＳ５に戻り、ステップＳ５以降の処理を繰返して行う。また、ＣＰＵ８は、車両２が移動していない旨を検出すると（ステップＳ７にて「ＮＯ」）、第２の画像メモリ１１から読出されて画像処理が行われた鳥瞰図画像と、第１の画像メモリ１０から読出された鳥瞰図画像とを合成して合成鳥瞰図画像を生成することなく、第１の画像メモリ１０に現在の鳥瞰図画像として記憶されている鳥瞰図画像をそのまま車両図形の後方の表示領域に表示させ（ステップＳ１５）、上記したステップＳ５に戻り、ステップＳ５以降の処理を繰返して行う。
【００２７】
以上に説明したように本実施例によれば、車両周辺画像処理システム１において、後方カメラ３により撮影された画像の輝度が所定レベル以上でないときには、後方カメラ３により撮影される撮影領域を照明装置４により照明するように構成したので、夜間や照明の暗い屋内駐車場などであっても、後方カメラ３により撮影される撮影領域が照明装置４により照明されることにより、これ以降、後方カメラ３により撮影された画像の輝度が所定レベル以上となり、合成鳥瞰図画像を適切に生成して表示することができ、運転を支援するための情報をユーザに適切に提供することができる。
【００２８】
また、このように後方カメラ３により撮影される撮影領域が照明装置４により照明されることにより、ブレーキランプが非点灯時であっても、撮影された画像の輝度がブレーキランプの点灯時に撮影された画像の輝度と同等となり、これ以降、輝度の差がない鳥瞰図画像同士が合成されることになり、これらの鳥瞰図画像が合成された合成鳥瞰図画像において輝度の差に起因して縞模様が発生することはなく、運転を支援するための情報をユーザに適切に提供することができる。
【００２９】
本発明は、上記した実施例にのみ限定されるものではなく、以下のように変形または拡張することができる。
ブレーキランプと照明装置とが直接連動するように構成し、合成鳥瞰図画像の表示機能を使用する場合において、ブレーキランプの点灯時には照明装置が自動的に動作を停止し、ブレーキランプの非点灯時には照明装置が自動的に動作するように構成しても良い。
【図面の簡単な説明】
【図１】本発明の一実施例を示す機能ブロック図
【図２】システムの全体構成を概略的に示す図
【図３】フローチャート
【符号の説明】
図面中、１は車両周辺画像処理システム、２は車両、３は後方カメラ（撮影手段）、４は照明装置（照明手段）、６は車載モニタ（表示手段）、８はＣＰＵ（車両移動状態検出手段、鳥瞰図画像移動手段、合成鳥瞰図画像生成手段、輝度判定手段、照明制御手段）、９は鳥瞰図画像生成回路（鳥瞰図画像生成手段）、１０は第１の画像メモリ（鳥瞰図画像記憶手段）である。
【図１】
2004356869.tif 000003
【図２】
2004356869.tif 000004
【図３】
2004356869.tif 000005