(57)【要約】【課題】並走車を効率的に検出する「周辺監視装置」を提供する。【解決手段】自車１００が速度ｖで走行している場合、右方カメラ３で並走車を撮影した画像ｃ１に含まれる二輪車３００の画像パターンよりも、右方カメラ３で撮影した画像ｅ１に含まれる路面の道路標識の画像パターンは、自車１００と路面との速度差によって生じた自車１００の前後方向の大きなブレを含むものとなる。そして、このブレは、自車１００の前後方についての輝度変化波形ｅ２のなまりとして表れる。そこで、右方カメラ３で撮影した画像に含まれる、自車速度ｖが大きくなるほど小さくなるように設定したしきい値Ｔｈ（ｖ）以上、自車１００の前後方向の傾きの大きさの絶対値が大きいエッジを抽出することによりｃ３、ｅ３、並走車を撮影した画像パターンのエッジを、路面標示などの路上固定物を撮影した画像パターンエッジと適正に区別して検出することができる。【選択図】図３
2008134877.tif 000002
【特許請求の範囲】
【請求項１】
自動車に搭載される、当該自動車と並走する他車である並走車を検出する周辺監視装置であって、
前記自動車の側方を撮影するカメラと、
前記カメラで撮影した画像に含まれる画像パターンの、前記自動車の前後方向についての輝度変化の傾きの大きさが所定のしきい値よりも大きなエッジを抽出するエッジ抽出手段と、
前記エッジ抽出手段が抽出したエッジを、前記画像に含まれる並走車の画像パターンのエッジであるものとして、当該並走車を検出する並走車検出手段とを有することを特徴とする周辺監視装置。
【請求項２】
請求項１記載の周辺監視装置であって、
前記自動車の速度を検出する車速検出手段と、
前記車速検出手段が検出した車速が小さいほど大きくなるように前記しきい値を設定するしきい値設定手段を有することを特徴とする周辺監視装置。
【請求項３】
自動車に搭載される、当該自動車と並走する他車である並走車を検出する周辺監視装置であって、
前記自動車の側方を撮影するカメラと、
前記カメラで撮影した画像に含まれる画像パターンのエッジを抽出するエッジ抽出手段と、
前記エッジ抽出手段が抽出したエッジの前記自動車の前後方向についての対称性の有無を検出する対称性検出手段と、
前記対称性検出手段が前記エッジの前記自動車の前後方向についての対称性を検出した場合に、当該前記自動車の前後方向についての対称性の対称軸の前記自動車の前後方向についての位置を、前記画像中に含まれる並走車の車輪の画像パターン中の車軸の前記自動車の前後方向についての位置として、当該並走車を検出する並走車検出手段とを有することを特徴とする周辺監視装置。
【請求項４】
請求項３記載の周辺監視装置であって、
前記並走車検出手段は、対称性検出手段が前記エッジの前記自動車の前後方向についての対称性を検出した場合に、当該自動車の前後方向についての対称性の対称軸上の画像パターンのエッジの位置のうちの、前記自動車の左右方向について最も前記自動車に近い位置を、前記画像に含まれる並走車の車輪の画像パターン中の車輪下端の前記自動車の左右方向についての位置として、当該並走車を検出することを特徴とする周辺監視装置。
【請求項５】
請求項３記載の周辺監視装置であって、
前記自動車の速度を検出する車速検出手段と、
前記車速検出手段が検出した車速が大きいほど大きくなるようにしきい値を設定するしきい値設定手段とを備え、
前記エッジ抽出手段は、前記カメラで撮影した画像に含まれる画像パターンの、前記自動車の前後方向についての輝度変化の傾きの大きさが前記しきい値設定手段が設定した前記しきい値よりも大きなエッジを抽出することを特徴とする周辺監視装置。
【請求項６】
自動車に搭載される装置において、当該自動車と並走する他車である並走車を検出する並走車検出方法であって、
カメラを用いて前記自動車の側方を撮影するステップと、
前記カメラで撮影した画像に含まれる画像パターンの、前記自動車の前後方向についての輝度変化の傾きの大きさが所定のしきい値よりも大きなエッジを抽出するステップと、
抽出したエッジを、前記画像に含まれる並走車の画像パターンのエッジであるものとして、当該並走車を検出するステップとを有することを特徴とする並走車検出方法。
【請求項７】
請求項６記載の並走車検出方法であって、
前記自動車の速度を検出するステップと、
検出した車速が小さいほど大きくなるように前記しきい値を設定するステップとを有することを特徴とする並走車検出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、自動車周辺の状況を検出しユーザに報知する技術に関するものである。
【背景技術】
【０００２】
自動車周辺の状況を検出しユーザに報知する技術としては、車両の左右側方の位置に発生する運転者の死角領域をカメラで撮影し、撮影した画像に基づいて死角領域に存在する他車を検出し、運転者に対して当該他車の存在を報知する技術が知られている（たとえば、特許文献１）。
【特許文献１】特表2006-519427号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
さて、カメラで撮影した画像に基づく他車の検出は、通常、撮影された画像に対して車両の特徴パターンを認識する画像認識処理を施すことにより行われるが、当該画像認識処理の処理量は比較的大きく、効率的に他車を検出することはできない。
一方、レーダ装置や超音波センサなどの車両側方方向を指向方向とするセンサを用いて、車両の側方に位置する他車を検出することも考えられる。しかし、このような車両側方方向を指向方向とするセンサでは、車両前後方向の相対速度を精度よく測定することができないために、車両側方に存在する路上設置物と他車とを弁別して検出することが比較的困難である。
【０００４】
そこで、本発明は、車両の左右側方を監視する周辺監視装置において、自車と併走する他車を精度良く、より効率的に検出することを課題とする。
【課題を解決するための手段】
【０００５】
前記課題達成のために、本発明は、自動車に搭載される、当該自動車と並走する他車である並走車を検出する周辺監視装置を、前記自動車の側方を撮影するカメラと、前記カメラで撮影した画像に含まれる画像パターンの、前記自動車の前後方向についての輝度変化の傾きの大きさが所定のしきい値よりも大きなエッジを抽出するエッジ抽出手段と、前記エッジ抽出手段が抽出したエッジを、前記画像に含まれる並走車の画像パターンのエッジであるものとして、当該並走車を検出する並走車検出手段とを含めて構成したものである。
【０００６】
このような周辺監視装置によれば、自車に対する相対速度が大きい物体を撮影した画像パターンのエッジの輝度変化の傾きが、当該物体と自車との相対速度が大きくなるほど小さくなることを利用して、適当なしきい値以上、自車の前後方向の傾きの大きさの絶対値が大きいエッジを抽出する簡便な処理により、効率的に、適正な、自車との相対速度の小さい物体、すなわち、並走車を撮影した画像パターンのエッジの抽出と当該抽出したエッジに基づく並走車の検出を行うことができる。
ここで、このような周辺監視装置に、さらに、前記自動車の速度を検出する車速検出手段と、前記車速検出手段が検出した車速が小さいほど大きくなるように前記しきい値を設定するしきい値設定手段を備えるようにしてもよい。  このように、しきい値を、自車の速度が小さいほど大きくなるようにすることにより、自車の速度の大きさに応じて相対速度が変化するために撮影した画像パターンのエッジの輝度変化の傾きが変化することになる路面標示などの路上固定物を、自車の速度によらずに、より確実に、並走車として誤認しないようにすることができる。
【０００７】
また、前記課題達成のために、本発明は、自動車に搭載される、当該自動車と並走する他車である並走車を検出する周辺監視装置を、前記自動車の側方を撮影するカメラと、前記カメラで撮影した画像に含まれる画像パターンのエッジを抽出するエッジ抽出手段と、前記エッジ抽出手段が抽出したエッジの前記自動車の前後方向についての対称性の有無を検出する対称性検出手段と、前記対称性検出手段が前記エッジの前記自動車の前後方向についての対称性を検出した場合に、当該前記自動車の前後方向についての対称性の対称軸の前記自動車の前後方向についての位置を、前記画像に含まれる並走車の車輪の画像パターン中の車軸の前記自動車の前後方向についての位置として、当該並走車を検出する並走車検出手段とを含めて構成したものである。
【０００８】
このような周辺監視装置によれば、並走車の車輪を撮影した画像パターンが、自車の前後方向についての対称性を有する画像パターンとなることを利用して、当該対称性の対称軸を検出する簡便な処理によって、効率的に並走車の自車の前後方向についての位置を検出することができるようになる。
【０００９】
なお、このような周辺監視装置は、並走車検出手段において、対称性検出手段が前記エッジの前記自動車の前後方向についての対称性を検出した場合に、当該自動車の前後方向についての対称性の対称軸上の画像パターンのエッジの位置のうちの、前記自動車の左右方向について最も前記自動車に近い位置を、前記画像に含まれる並走車の車輪の画像パターン中の車輪下端の前記自動車の左右方向についての位置として、当該並走車を検出するようにしてもよい。また、このような周辺監視装置に、前記自動車の速度を検出する車速検出手段と、前記車速検出手段が検出した車速が大きいほど大きくなるようにしきい値を設定するしきい値設定手段とを備え、前記エッジ抽出手段において、前記カメラで撮影した画像に含まれる画像パターンの、前記自動車の前後方向についての輝度変化の傾きの大きさが前記しきい値設定手段が設定した前記しきい値よりも大きなエッジを抽出するようにしてもよい。
【発明の効果】
【００１０】
以上のように、本発明によれば、車両の左右側方を監視する周辺監視装置において、自車と併走する他車を精度良く、より効率的に検出することができる。
【発明を実施するための最良の形態】
【００１１】
以下、本発明の実施形態を説明する。
図１ａに、本実施形態に係る周辺監視システムの構成を示す。
周辺監視システムは自動車に搭載されるシステムであり、図示するように、後方カメラ１、左方カメラ２、右方カメラ３、後方監視部４、側方監視部５、車両の各種状態を検出する車両状態センサ６、周辺状況提示部７、表示装置８とを備えている。
ここで、図１ｂ、ｃに示すように、後方カメラ１は車両後部に配置され、車両後方を撮影する。また、左方カメラ２は、車両の左サイドミラーに配置され、車両の左方を撮影し、右方カメラ３は、車両の右サイドミラーに配置され、車両の右方を撮影する。
そして、このような構成において、後方監視部４は、後方カメラ１が撮影した画像に写り込んだ他車を所定の画像認識処理により検出し、画像中の他車の大きさや位置より推定される他車の位置などの、当該他車についての情報を後方他車情報として周辺状況提示部７に通知する。
【００１２】
次に、側方監視部５の動作について説明する。
側方監視部５は、車両の左右を並走する他車である並走車を検出する並走車検出処理を行う。
図２に、この並走車検出処理の手順を示す。
図示するように、この処理では、まず、車両状態センサ６が検出している自車の車速ｖを取得し（ステップ２０２）、取得した車速ｖに応じたしきい値Ｔｈ（ｖ）を設定する（ステップ２０４）。ここで、しきい値Ｔｈ（ｖ）は、車速ｖが小さいほど大きくなるように設定する。
【００１３】
次に、左方カメラ２が撮影した画像と右方カメラ３が撮影した画像を各々側方画像として取得する（ステップ２０６）。そして、各側方画像に含まれる、自車の前後方向についての傾きがしきい値Ｔｈ（ｖ）以上となるエッジを抽出する（ステップ２０８）。
そして、ステップ２０８で前後方向についての傾きがしきい値Ｔｈ（ｖ）以上となるエッジを抽出できたかどうかを調べ（ステップ２１０）、そのようなエッジを抽出できなかった場合には、ステップ２０２からの処理に戻る。一方、ステップ２０８で前後方向についての傾きがしきい値Ｔｈ（ｖ）以上となるエッジを抽出できた場合には、各側方画像中の、ステップ２０８で抽出したエッジを認識対象エッジに設定する（ステップ２１２）。
【００１４】
そして、設定した認識対象エッジのパターンに自車の前後方向についての対称性が存在するかどうかを調べ（ステップ２１４）、対称性がなければ、認識対象エッジの位置に基づいて、並走車の存在範囲を推定し（ステップ２２４）、推定した並走車の存在範囲を示す並走車情報を周辺状況提示部７に出力する（ステップ２２２）。そして、ステップ２０２からの処理に戻る。ここで、このステップ２２４では、たとえば、側方画像中の認識対象エッジの存在範囲に対応する自車側方の範囲を並走車の存在範囲として推定する。
【００１５】
一方、認識対象エッジのパターンに自車の前後方向についての対称性が存在する場合には、当該対称性の対称軸の自車の前後方向位置を算定し、算定した前後方向位置を、並走車の車軸の前後方向位置として、車軸の位置や車軸の間隔を算定し、算定した位置や間隔に基づいて並走車の自車の前後方向の存在範囲を推定する（ステップ２１６）。また、ステップ２１６で算定した対称軸上に存在する、自車の左右方向についての傾きが所定値以上となるエッジを抽出する（ステップ２１８）。そして、抽出したエッジのうちで、最も自車に近いエッジ位置に対応する自車側方の位置までの車の左右方向についての距離を、自車から並走車までの左右方向の距離であるとして、並走車の自車の左右方向の存在範囲を推定する（ステップ２２０）。
【００１６】
そして、以上のように推定した並走車の自車の前後左右方向の存在範囲を示す並走車情報を周辺状況提示部７に出力する（ステップ２２２）。そして、ステップ２０２からの処理に戻る。
ここで、以上のような並走車検出処理の処理例を図３に示す。
いま、図３ａ１、ａ２に示すように、走行中の自車１００の右方に二輪車３００が存在する場合において、この二輪車３００が、自車１００と同程度の速度で並走している場合、右方カメラ３で撮影される画像は、画像の水平方向が自車１００の前後方向に一致するように右方カメラ３を設置したものとして、ｃ１に示すように二輪車３００の画像パターンを含んだものとなる。一方、この二輪車３００が、停止していたり自車１００よりも大きい速度で自車１００を追い越そうとしている場合にも、右方カメラ３で撮影される画像には二輪車３００の画像パターンが含まれるが、この二輪車３００の画像パターンは、二輪車３００が並走している場合に撮影される画像に含まれる二輪車３００の画像パターンに比べ、ｄ１に示すように自車１００の前後方向についての大きなブレが発生した画像となる。また、図３ｂに示すように、自車１００が走行中に右方カメラ３で路面の道路標識を撮影した場合にも、右方カメラ３で撮影される画像には、ｅ１に示すように、自車１００の前後方向についてのブレが発生した道路標識の画像パターンが含まれたものとなる。
【００１７】
ここで、この図３ｄ１やｅ１に示すように画像パターンに生じる自車１００の前後方向のブレは、その画像パターンに対応する物体と自車１００との間の相対速度の存在によって発生するものであり、一般的には、左方カメラ２や右方カメラ３で撮影した画像には、相対速度に各フレームの露光時間（３０フレーム/秒のＮＴＳＣ用カメラでは、通常１/３０秒）を乗じた距離に相当する自車１００の前後方向のブレが生じる。
【００１８】
さて、図３ｃ２、ｄ２、ｅ２は、画像ｃ１、ｃ２、ｃ３の同位置の水平ラインＡの輝度Ｉの変化の波形を表したものであり、図示するように画像パターンのブレは波形のなまりとして表れる。したがって、図３ｃ２、ｄ２、ｅ２の各輝度変化波形の輝度変化波形の微分値の絶対値ａｂｓ（ｄＩ）の波形を図３ｃ３、ｄ３、ｅ３に示すように、自車１００との相対速度の差が少ない物体の画像パターンほど、輝度変化の傾きの絶対値の大きいエッジを有する画像パターンが撮影されることになる。各図においてｘ軸は、画像の水平方向の座標軸を表す。
【００１９】
したがって、並走車検出処理において、以上のように適当なしきい値Ｔｈ（ｖ）以上、自車１００の前後方向の傾きの大きさの絶対値が大きいエッジを抽出することにより、自車１００との相対速度の小さい物体、すなわち、並走車である物体を撮影した画像パターンのエッジを、認識対象エッジとして抽出し、この認識対象エッジより並走車を適正に検出することができる。
【００２０】
また、このしきい値Ｔｈ（ｖ）を、自車１００の速度ｖが小さいほど大きくなるようにすることにより、自車１００の速度ｖが大きいほど画像パターンのブレが大きくなり撮影される画像パターンのエッジの傾きの大きさが小さくなり、車１００の速度ｖが小さいほど撮影される画像パターンのエッジの傾きの大きさが大きくなる路面標示などの路上固定物を、自車１００の速度ｖの大きさによらずに、より確実に、並走車として誤認しないようにすることができる。
【００２１】
さて、次に、図４ａに示すように右方カメラ３によって並走車の車輪の画像パターンを含む画像が撮影された場合、画像の水平ラインＡについての輝度変化波形をｂＡとして、画像の水平ラインＢについての輝度変化波形をｂＢとして、画像の水平ラインＣについての輝度変化波形をｂＣとして示すように、車輪の画像パターンを含む各水平ラインの輝度変化波形は、車輪の車軸を対称軸Ｄ、Ｅとする水平方向に対称なエッジを含むものとなる。
【００２２】
したがって、並走車検出処理において、以上のように、並走車の画像パターンのエッジを表す認識対象エッジのパターンに自車１００の前後方向についての対称性が存在する場合に、当該対称性の対称軸の自車１００の前後方向位置を車軸の前後方向の位置として検出することができる。そして、検出した当該車軸の位置や車軸の間隔より、並走車の前後方向についての存在範囲を精度良く推定することができるようになる。なお、このような車軸位置の検出においては、検出したエッジの対称軸が真に車軸を通る軸であるかどうかを、当該軸上の水平方向の輝度変化波形等を考慮して判定するようにする。
【００２３】
さて、このようにして求めた車軸Ｄ、Ｅを通る画像の垂直ライン（自車１００の左右方向のライン）の輝度変化の波形は、図４ｃに示すように、並走車の車輪の下端に対応する位置に、最も自車１００に近いエッジが表れたものとなる。なお、図４ｃにおいてｙ軸は画像の垂直方向の座標軸を表す。
したがって、並走車検出処理において、以上のように、対称軸と同じ自車１００の前後方向に位置における、自車１００の左右方向についての傾きが所定値以上となるエッジのうちで、最も自車１００に近いエッジの位置を検出し、画像中の当該エッジの位置までの距離ｄｙに基づいて、当該エッジの位置に対応する自車側方の位置までの距離を、自車１００から並走車までの左右方向の距離として求めることができる。そして、この距離に基づいて、並走車の自車１００の左右方向の存在範囲を精度良く推定することができる。
【００２４】
以上、側方監視部部の動作について説明した。
さて、図１ａに戻り、周辺状況提示部７は、後方監視部４より受け取った後方他車情報や、側方監視部５より受け取った並走車情報に基づいて、自車１００後方の他車や並走車の位置や存在範囲を表示装置８に表示したり、自車１００後方の他車や並走車と自車１００との衝突の可能性の有無を推定し、衝突の可能性が存在する場合に、表示装置８に、後方や側方に自車１００にとって危険となる他車が存在することを示す警告を表示する処理などを行う。なお、この衝突の可能性の推定は、車両状態センサ６で検出した自車１００の操舵状態や方向指示器の操作状態より、警告を表示しなかった場合に行われるであろうと予測される、自車１００の進路変更や車線変更の挙動を考慮しつつ行う。
【００２５】
以上、本発明の実施形態について説明した。
【図面の簡単な説明】
【００２６】
【図１】本発明の実施形態に係る周辺監視システムの構成を示すブロック図である。
【図２】本発明の実施形態に係る並走車検出処理を示すフローチャートである。
【図３】本発明の実施形態に係る並走車検出動作例を示す図である。
【図４】本発明の実施形態に係る並走車検出動作例を示す図である。
【符号の説明】
【００２７】
１…後方カメラ、２…左方カメラ、３…右方カメラ、４…後方監視部、５…側方監視部、６…車両状態センサ、７…周辺状況提示部、８…表示装置。
【図１】
2008134877.tif 000003
【図２】
2008134877.tif 000004
【図３】
2008134877.tif 000005
【図４】
2008134877.tif 000006