(57)【要約】【課題】自車両周辺に存在する障害物を検出する処理を少ない処理量にて実現する。【解決手段】車両周囲の障害物を検出するに際して、右側方撮像用ＣＣＤカメラ１１，左側方撮像用ＣＣＤカメラ１３により車両周囲の左右方向を撮像して、左側方画像及び右側方画像を生成し、コントロールユニット３により左側方映像と右側方映像とを合成し、合成映像から障害物を検出する。ここで、右側方画像と左側方画像とを合成するに際して、左側方映像と右側方映像とのうち、右側方撮像用ＲＡＭ１２と左側方撮像用ＲＡＭ１４との画像読み取り方向を逆とすることで、一方の側方映像を画像内の左右方向に鏡像変換することにより、双方の側方画像の障害物移動方向を同一方向とする。【選択図】　　　図１
2004030018.tif 000002
【特許請求の範囲】
【請求項１】
車両周囲の左右方向または前後方向を撮像して、第１の側方画像及び第２の側方画像を生成する撮像手段と、
上記撮像手段により生成された第１の側方映像と第２の側方映像とを合成する合成手段と、
上記合成手段により合成された合成映像から、障害物を検出する障害物検出手段とを備え、
上記合成手段は、上記第１の側方映像と上記第２の側方映像とのうち、一方の側方映像を画像内の左右方向に鏡像変換するように上記撮像手段から取り込み、鏡像変換された側方画像と他の側方画像とを合成することを特徴とする車両用障害物検出装置。
【請求項２】
上記合成手段は、画像内の上下方向において上記第１の側方映像及び第２の側方映像の一部を抽出し、一部が抽出された第１の側方画像と第２の側方画像とを合成することを特徴とする請求項１に記載の車両用障害物検出装置。
【請求項３】
上記合成手段は、鏡像変換した一方の側方映像と、他方の側方映像とを画像内の上下方向に合成することを特徴とする請求項１又は請求項２に記載の車両用障害物検出装置。
【請求項４】
上記合成手段は、第１の側方画像と第２の側方画像との取り込み順序を画像内の左右方向に異なるようにすることで、一方の側方画像を鏡像変換した画像とすることを特徴とする請求項１〜請求項３の何れかに記載の車両用障害物検出装置。
【請求項５】
上記障害物検出手段が障害物を検出した場合に、車両運転者に障害物の存在を報知する報知手段を更に備えることを特徴とする請求項１〜請求項４の何れかに記載の車両用障害物検出装置。
【請求項６】
上記撮像手段により生成された左側方映像及び右側方映像を表示する表示手段を更に備えることを特徴とする請求項１〜請求項５の何れかに記載の車両用障害物検出装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、車両周辺に存在する障害物を検出し、必要に応じて報知などを行う車両用障害物検出装置に関する。
【０００２】
【従来の技術】
従来より、車両の周囲を監視する車両用側方監視装置としては、例えば特開２００１−２２２８００号公報にて開示されている。この車両用側方監視装置は、自車両の左右側方を撮像することで左側方画像及び右側方画像を得て、左側方画像及び右側方画像の上下方向中心線から進行方向側の画像を取り出し、中心線側が対向するように並べた合成画像を形成する処理などをしていた。
【０００３】
このような車両用側方監視装置では、撮像した左側方画像及び右側方画像から障害物を検出する画像処理量を低減するために、撮像した画像から障害物が存在する可能性が高い領域のみの画像を処理していた。
【０００４】
【発明が解決しようとする課題】
しかしながら、前記従来の車両用側方監視装置では、左側方画像及び右側方画像から障害物が存在する可能性が高い領域をそれぞれ抽出し、その抽出した画像を合成したうえで、障害物を検出していたので、左側方画像の画像処理と右側方画像の画像処理とを行って、右側方画像及び左側方画像のそれぞれの画像から障害物検出をする必要があった。したがって、従来では、左側方画像についての処理と右側方画像についての処理との２つの処理系統が必要となっており、処理量が多くなっていた。
【０００５】
そこで、本発明は、上述した実情に鑑みて提案されたものであり、自車両周辺に存在する障害物を検出する処理を少ない処理量にて実現することができる車両用障害物検出装置を提供するものである。
【０００６】
【課題を解決するための手段】
本発明は、車両周囲の障害物を検出するに際して、撮像手段により車両周囲の左右方向または前後方向を撮像して、第１の側方画像及び第２の側方画像を生成し、合成手段により第１の側方映像と第２の側方映像とを合成し、障害物検出手段により合成映像から障害物を検出する。このような本発明では、合成手段により第１の側方画像と第２の側方画像とを合成するに際して、第１の側方映像と第２の側方映像とのうち、一方の側方映像を画像内の左右方向に鏡像変換することにより、双方の側方画像の障害物移動方向を同一方向とすることで、上述の課題を解決する。
【０００７】
【発明の効果】
本発明に係る車両用障害物検出装置によれば、双方の側方画像の障害物移動方向を同一方向とすることができるので、合成画像内にて自車両に接近する方向を第１の側方画像と第２の側方画像とで一方向とすることができ、第１の側方画像と第２の側方画像とで別々に障害物検出をする必要がなく、画像処理量を少なくすることができる。
【０００８】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して説明する。
【０００９】
本発明は、例えば図１に示すように構成された車両用障害物検出装置に適用される。
【００１０】
［車両用障害物検出装置の構成］
車両用障害物検出装置は、自車両の右側方を撮像方向とした右側方撮像部１、自車両の左側方を撮像方向とした左側方撮像部２を有する。この車両用障害物検出装置では、右側方撮像部１の右側方撮像用ＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）カメラ１１にて撮像した右側方画像を右側方撮像用ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）１２により読み込んでコントロールユニット３に出力すると共に、左側方撮像部２の左側方撮像用ＣＣＤカメラ１３にて撮像した左側方画像を左側方撮像用ＲＡＭ１４にて読み込んでコントロールユニット３に出力する。
【００１１】
右側方撮像用ＲＡＭ１２及び左側方撮像用ＲＡＭ１４は、右側方撮像用ＣＣＤカメラ１１及び左側方撮像用ＣＣＤカメラ１３にて撮像した画像を例えば所定時間ごとに読み出して、コントロールユニット３に出力する。
【００１２】
ここで、右側方撮像用ＲＡＭ１２は、右側方撮像用ＣＣＤカメラ１１にて撮像した右側方画像を読み込むに際して、順方向に読み込んで右側方画像を生成する。また、左側方撮像用ＣＣＤカメラ１３は、右側方撮像用ＲＡＭ１２にて撮像した左側方画像を読み込むに際して、右側方撮像用ＲＡＭ１２とは逆方向に読み込んで左側方画像を生成する。
【００１３】
すなわち、右側方撮像用ＲＡＭ１２は、図２（ａ）に示す撮像画像を画像内の左上の画素から右方向に順次読み出しを開始し、各画素データを左上の画素から右方向に順次記憶し、次のラインでは右端の画素から左方向に順次読み出し、各画素データを右端から左方向に順次記憶していく。これにより、右側方撮像用ＲＡＭ１２は、内部に図２（ｂ）に示すような右側方画像を記憶する。
【００１４】
一方、左側方撮像用ＲＡＭ１４は、図２（ａ）に示す撮像画像を画像内の右上の画素から左方向に順次読み出しを開始し、各画素データを左上の画素から右方向に順次記憶し、次のラインでは左端の画素から右方向に順次読み出し、各画素データを右端から左方向に順次記憶していく。これにより、内部に図２（ｃ）に示すような左側方画像を記憶する。この図２（ｃ）に示す左側方画像は、図２（ｂ）に示す右側方画像と比較して、画像内の左右方向に対して鏡像変換された画像とされる。
【００１５】
コントロールユニット３では、右側方撮像用ＲＡＭ１２からの右側方画像を入力すると、一旦右側方用ＲＡＭ２１に記憶すると共に、左側方撮像用ＲＡＭ１４からの左側方画像を入力すると、一旦左側方用ＲＡＭ２２に記憶する。
【００１６】
右側方用ＲＡＭ２１及び左側方用ＲＡＭ２２に右側方画像及び左側方画像が入力されると、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）２３では、右側方画像及び左側方画像を読み出し、右側方画像と左側方画像とを合成して合成画像を作成し、この合成画像を作業用ＲＡＭ２４に記憶しておく。そして、ＣＰＵ２３では、合成画像を用いて、合成画像内に含まれる障害物画像を検出し、障害物が存在する場合にその旨を報知する障害物検出処理を行う。このとき、ＣＰＵ２３では、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）２５に記憶された障害物検出プログラムを読み出し、この障害物検出プログラムに従った処理をする。なお、この障害物検出処理の詳細な処理内容については後述する。
【００１７】
このようなコントロールユニット３には、メインスイッチ４、ＩＧＮスイッチ５からのオン／オフ信号が入力される。
【００１８】
このコントロールユニット３にＩＧＮスイッチ５からのオン信号が入力されると、ＣＰＵ２３は、コントロールユニット３の起動を行ったうえで、メインスイッチ４のオンオフ状態を判定する。ＣＰＵ２３は、メインスイッチ４がオンとなっている場合に、ＲＯＭ２５に記憶された障害物検出プログラムを読み出して、右側方撮像部１及び左側方撮像部２からの画像を用いた障害物検出処理を行う。
【００１９】
障害物検出処理を行った結果、障害物の存在を車両運転者に報知する必要があると判定した場合には、ＣＰＵ２３は、インジケータ６やブザー７を駆動してその旨を報知する。
【００２０】
右側方撮像部１及び左側方撮像部２には、ディスプレイ８が接続され、右側方画像及び左側方画像をディスプレイ８にて表示させる。このディスプレイ８の画像表示のオン、オフは、ディスプレイ８に接続された操作スイッチ９にて車両運転者に操作される。
【００２１】
ここで、ディスプレイ８に表示させる側方画像は、左側方撮像用ＲＡＭ１４による鏡像変換をしない状態で表示される。また、右側方撮像用ＣＣＤカメラ１１及び左側方撮像用ＣＣＤカメラ１３にて撮像した側方画像を構成する画素と、ディスプレイ８にて表示する画面内位置とは、予めディスプレイ８にて対応関係が設定されており、右側方画像と左側方画像とを画面内横方向にて並べて合成した形で表示するようになっている。
【００２２】
［車両用障害物検出装置による障害物検出処理］
つぎに、上述したように構成された車両用障害物検出装置による障害物検出処理の処理手順について図３を参照して説明する。
【００２３】
先ずステップＳ１においては、ＣＰＵ２３により、ＩＧＮスイッチ５からのオン／オフ信号からＩＧＮスイッチ５がオンされているか否かを判定し、ＩＧＮスイッチ５がオンされていると判定したら、ステップＳ２に処理を進める。
【００２４】
ステップＳ２においては、ＣＰＵ２３により、メインスイッチ４からのオン／オフ信号からメインスイッチ４がオンされているか否かを判定し、メインスイッチ４がオンされていると判定したら、ステップＳ３に処理を進める。
【００２５】
ステップＳ３においては、ＣＰＵ２３により、右側方撮像用ＣＣＤカメラ１１にて撮像されて右側方撮像用ＲＡＭ１２に記憶された右側方画像を右側方用ＲＡＭ２１に読み込むと共に、左側方撮像用ＣＣＤカメラ１３にて撮像された左側方撮像用ＲＡＭ１４に記憶された左側方画像を左側方用ＲＡＭ２２に読み込んで、ステップＳ４に処理を進める。ここで、左側方画像は、右側方画像に対して鏡像変換された画像となっている。
【００２６】
ステップＳ４においては、ＣＰＵ２３により、ステップＳ３にて右側方用ＲＡＭ２１及び左側方用ＲＡＭ２２に読み込んだ右側方画像と左側方画像とを読み出して、合成することで合成画像を作成して、作業用ＲＡＭ２４に記憶してステップＳ５に処理を進める。
【００２７】
このステップＳ４における画像合成処理は、大別して２つの処理ステップとなる。先ず、第１の処理ステップでは、右側方画像及び左側方画像について後段の接近抽出処理に不要な部分を取り除く処理をする。このとき、ＣＰＵ２３では、右側方画像及び左側方画像のうち、画像内上下方向における中心線（水平線）よりも上の画像領域を取り除く。これは、検出対象を自車両と同じ道路上に存在して自車両に向かって接近している物体とした場合に、検出対象の画像領域を、右側方画像及び左側方画像の水平線よりも下の画像領域に存在させるように右側方撮像用ＣＣＤカメラ１１及び左側方撮像用ＣＣＤカメラ１３の取り付け位置や角度などのパラメータを予め設定しておく。
【００２８】
次の第２の処理ステップでは、第１の処理ステップにて水平線よりも上の画像領域が取り除かれた右側方画像及び左側方画像を、画像内の上下方向に並べて合成する。ここで、本例では左側方画像を左側方撮像用ＲＡＭ１４にて読み込むに際して、鏡像変換して画像内左右方向に反転させているので、左側方画像における自車両に近接する物体移動方向と、右側方画像内における自車両に接近する物体移動方向とが同一方向となる。
【００２９】
ステップＳ５においては、ＣＰＵ２３により、ステップＳ４にて作成した合成画像から、自車両に接近している物体の抽出をする接近抽出処理を行って、ステップＳ６に処理を進める。
【００３０】
ステップＳ６においては、ＣＰＵ２３により、ステップＳ５にて検出された物体との距離と、危険と判定するために予め設定した所定値とを比較し、物体との距離が所定値以上に近づいていると判定した場合には、ステップＳ７にてブザー７かインジケータ６を駆動して、その旨を車両運転者に報知する。
【００３１】
「接近抽出処理」
つぎに、ステップＳ５においける接近抽出処理について図４のフローチャートを参照して説明する。
【００３２】
ステップＳ４にて合成画像を作成した後のステップＳ５では、先ず、ステップＳ１１において、ＣＰＵ２３により、ある時刻Ｔに撮像された合成画像を、Ｍ×Ｎの小領域に分割する。具体的には、図５に示す右側方画像３１と左側方画像３２とが画像内上下方向において合成された合成画像３３を、図６に示すように縦方向においてＭ個の画像領域に分割すると共に、横方向においてＮ個の画像領域に分割する。なお、本例では、移動物体として、右側方画像３１及び左側方画像３２に他車両３４，３５が存在する場合について説明する。
【００３３】
次のステップＳ１２においては、ＣＰＵ２３により、時刻Ｔよりも時間Δｔだけ前の合成画像を参照画像とし、時刻Ｔ−Δｔから時刻Ｔまでの間の物体移動量及び移動方向を移動ベクトルとして検出する。このとき、ＣＰＵ２３では、例えば時刻Ｔにおける合成画像内の各小領域をテンプレート画像とし、時刻Ｔ−Δｔにおける合成画像内の画像とのパターンマッチングを行うことで相関を検出して、移動ベクトルを求める。これにより、図６の合成画像から、図７に示すように、右側方画像３１内における他車両３４の移動量及び移動方向を示す移動ベクトル３６、左側方画像３２内における他車両３５の移動量及び移動方向を示す移動ベクトル３７を検出する。
【００３４】
次のステップＳ１３においては、ＣＰＵ２３により、ステップＳ１２にて検出した移動ベクトルのうち、自車両に向かって接近している方向の移動ベクトル３６及び移動ベクトル３７を残し、その他の方向の移動ベクトルを削除することで、移動ベクトルを精査する。これにより、図７の移動ベクトルのうち、他車両３４，３５についての移動ベクトルではない移動ベクトルを削除して、図８に示すような移動ベクトル３６，３７のみを残す。
【００３５】
ステップＳ１４においては、ステップＳ１３にて精査した後に残った移動ベクトルをグルーピングすることで右側方画像３１及び左側方画像３２に含まれる他車両３４，３５の画像内位置を求める。このとき、ＣＰＵ２３では、例えば相互の移動ベクトルの画像内距離が所定値以下である場合にグルーピングして図９に示すように同一の物体による移動ベクトルとする。そして、グルーピングした結果、複数の移動ベクトルを含む矩形領域３８，３９を求め、更に、この矩形領域３８，３９の中心位置を他車両３４，３５の位置として求める。
【００３６】
次のステップＳ１５においては、ＣＰＵ２３により、ステップＳ１４にて求めた移動物体の画像内位置から、自車両から他車両３４，３５までの距離を求める。ここで、移動物体との距離と画像内位置とは相関関係を有し、予め画像内位置に応じた距離を記述したマップ等を用意しておいて、自車両と障害物との距離を求める。
【００３７】
これにより、ステップＳ６にて距離に応じた危険度を求めて、必要に応じてステップＳ７にて報知を行う。
【００３８】
［実施形態の効果］
以上詳細に説明したように、本発明を適用した車両用障害物検出装置によれば、右側方撮像用ＣＣＤカメラ１１及び左側方撮像用ＣＣＤカメラ１３にて撮像した側方画像を右側方撮像用ＲＡＭ１２及び左側方撮像用ＲＡＭ１４にて読み込むに際して、読み込み方向を順方向と逆方向とにすることで、右側方画像又は左側方画像を鏡像変換することができるので、接近抽出処理にて障害物検出を行う方向を一定の方向とすることができる。したがって、この車両用障害物検出装置によれば、合成画像内にて自車両に接近する方向を右側方画像と左側方画像とで一方向とすることができ、右側方画像と左側方画像とで別々に接近抽出処理をする必要がなく、画像処理量を少なくすることができる。
【００３９】
また、この車両用障害物検出装置によれば、左側方画像及び右側方画像を圧縮処理などをして情報量を少なくすることがないので、正確な障害物検出をすることができる。
【００４０】
更に、この車両用障害物検出装置によれば、右側方画像及び左側方画像のうち、障害物が存在する領域のみを使用して合成画像を作成するので、合成画像を用いて障害物検出するときの画像処理量を少なくすることができる。
【００４１】
更にまた、この車両用障害物検出装置によれば、右側方撮像用ＲＡＭ１２と左側方撮像用ＲＡＭ１４との画像読み込み方向を逆方向にすることにより一方の側方画像を鏡像変換することができるので、ＣＰＵ２３にて画像処理をして鏡像変換する必要が無く、更にＣＰＵ２３の処理負担を低減することができる。
【００４２】
更にまた、この車両用障害物検出装置によれば、その進行方向から自車両の危険度が高い障害物が存在すると判定した場合に、インジケータ６やブザー７を駆動して報知するようにしたので、自車両の障害物による危険度を車両運転者に認識させることができる。
【００４３】
更にまた、この車両用障害物検出装置によれば、右側方画像及び左側方画像から障害物検出をすると共に、右側方撮像用ＣＣＤカメラ１１及び左側方撮像用ＣＣＤカメラ１３にて撮像した右側方画像と左側方画像とを一画面内でディスプレイ８にて表示するようにしたので、例えば障害物の存在を報知したときの自車両周囲の状況をディスプレイ８によって確認させることができる。
【００４４】
なお、特許請求の範囲と、実施形態の対応関係は以下の通りである。
【００４５】
右側方撮像用ＣＣＤカメラ１１および左側方撮像用ＣＣＤカメラ１３が撮像手段を、右側方撮像用ＲＡＭ１２、左側方撮像用ＲＡＭ１４、右側方用ＲＡＭ２１、左側方用ＲＡＭ２２、ＣＰＵ２３、作業用ＲＡＭ２４および図３におけるステップＳ３、ステップＳ４の処理が合成手段を、作業用ＲＡＭ２４、ＣＰＵ２３および図３のステップＳ５、ステップＳ６の処理が障害物検出手段を構成する。
【００４６】
なお、上述した実施の形態では、左側方撮像用ＣＣＤカメラ１３によって撮像した左側方画像を左側方撮像用ＲＡＭ１４に読み込む際に、右側方撮像用ＣＣＤカメラ１１で撮像した右側方画像を右側方撮像用ＲＡＭ１２へ読み込む方向と逆方向にして、鏡像変換された画像を生成するようにしたが、左側方撮像用ＣＣＤカメラ１３で撮像した左側方画像を、そのまま左側方撮像用ＲＡＭ１４に読み込んだうえで、左側方撮像用ＲＡＭ１４からコントロールユニット３の左側方用ＲＡＭ２２に読み込む際に、右側方用ＲＡＭ２１の読み込み方向を逆方向にして、鏡像変換された画像を生成するようにしても良い。
【００４７】
この場合には、右側方撮像部１および左側方撮像部２が撮像手段を、右側方用ＲＡＭ２１、左側方用ＲＡＭ２２、ＣＰＵ２３、作業用ＲＡＭ２４および図３におけるステップＳ３、ステップＳ４の処理が合成手段を、作業用ＲＡＭ２４、ＣＰＵ２３および図３のステップＳ５、ステップＳ６の処理が障害物検出手段を構成する。
【００４８】
なお、上述の実施の形態は本発明の一例である。このため、本発明は、上述の実施形態に限定されることはなく、この実施の形態以外であっても、本発明に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能であることは勿論である。
【００４９】
すなわち、上述した実施形態では、車両の前方の側方を撮像方向とした右側方撮像用ＣＣＤカメラ１１及び左側方撮像用ＣＣＤカメラ１３を使用した場合について説明したが、これに限らず、自車両の左右方向を撮像方向とするものであれば、前方のみならず、後方を撮像するものであっても良い。また、自車両の前後方向を撮像するものであっても良い。
【図面の簡単な説明】
【図１】本発明を適用した車両用障害物検出装置の構成を示すブロック図である。
【図２】右側方撮像用ＲＡＭ及び左側方撮像用ＲＡＭによる画像の読み込み方向を説明するための図であり、（ａ）は撮像対象の一例を示し、（ｂ）は順方向に読み込んだときに記憶する側方画像を示し、（ｃ）は逆方向に読み込んだときに記憶する側方画像を示す。
【図３】本発明を適用した車両用障害物検出装置による障害物検出処理の処理手順を示すフローチャートである。
【図４】接近抽出処理の処理手順を示すフローチャートである。
【図５】接近抽出処理における右側方画像と左側方画像とを合成した合成画像を示す図である。
【図６】接近抽出処理において合成画像を小領域に分割する処理を説明するための図である。
【図７】接近抽出処理において合成画像から移動ベクトルを求める処理を説明するための図である。
【図８】接近抽出処理において検出した移動ベクトルを精査する処理について説明するための図である。
【図９】接近抽出処理において、移動ベクトルをグルーピングして障害物の位置を求める処理を説明するための図である。
【符号の説明】
１　右側方撮像部
２　左側方撮像部
３　コントロールユニット
４　メインスイッチ
５　ＩＧＮスイッチ
６　インジケータ
７　ブザー
８　ディスプレイ
９　操作スイッチ
１１　右側方撮像用ＣＣＤカメラ
１２　右側方撮像用ＲＡＭ
１３　左側方撮像用ＣＣＤカメラ
１４　左側方撮像用ＲＡＭ
２１　右側方用ＲＡＭ
２２　左側方用ＲＡＭ
２３　ＣＰＵ
２４　作業用ＲＡＭ
２５　ＲＯＭ
３１　右側方画像
３２　左側方画像
３３　合成画像
３４，３５　他車両
３６，３７　移動ベクトル
【図１】
2004030018.tif 000003
【図２】
2004030018.tif 000004
【図３】
2004030018.tif 000005
【図４】
2004030018.tif 000006
【図５】
2004030018.tif 000007
【図６】
2004030018.tif 000008
【図７】
2004030018.tif 000009
【図８】
2004030018.tif 000010
【図９】
2004030018.tif 000011