(57)【要約】【課題】より効率よく、カメラで撮影した画像を用いて周辺の障害物の検出を効果的に行う「周辺監視装置」を提供する。【解決手段】カメラ１の撮影画像中の、運転者であるユーザにとって死角となっている範囲が撮影されている部分４４０を、撮影画像中死角領域４５０として設定し、設定した撮影画像中死角領域４５０の検出感度を高感度に、撮影画像中のその他の領域の検出感度を低感度に設定する。そして、撮影画像中の各領域に写り込んだ障害物を検出する画像処理を、各領域に検出感度設定処理によって設定されている検出感度で検出する画像処理を行う。【選択図】図４
2009303095.tif 000002
【特許請求の範囲】
【請求項１】
自動車に搭載される、前記自動車周辺の障害物を検出する周辺監視装置であって、
自動車周辺を撮影するカメラと、
前記カメラの撮影画像中の、前記自動車の周辺の当該自動車の運転者にとって死角となる領域が写り込む範囲を死角画像領域として設定する死角画像領域設定手段と、
前記カメラの撮影画像中の領域のうち、前記死角画像領域に設定された領域に対して高い検出感度を設定し、他の領域について低い検出感度を設定し、前記カメラの撮影画像中の各領域に写り込んだ障害物を、当該領域について設定した検出感度で検出する障害物検出手段とを有することを特徴とする周辺監視装置。
【請求項２】
請求項１記載の周辺監視装置であって、
前記障害物検出手段は、前記カメラの撮影画像中の領域のうち、前記死角画像領域に設定された領域を第１のブロックサイズのブロックに分割し、他の領域を前記第１のブロックサイズよりも大きな第２のブロックサイズのブロックに分割すると共に、各ブロック毎に、当該ブロックと、前回カメラで撮影された撮影画像中の当該ブロックに対応する部分との、画素の平均値もしくは所定の重み付き平均値の差分に基づいて、当該ブロックが障害物の画像部分を表しているか否かを検出することを特徴とする周辺監視装置。
【請求項３】
請求項１または２記載の周辺監視装置であって、
地図データを記憶する記憶手段と、
前記自動車の現在位置を算出する現在位置算出手段とを有し、
前記死角画像領域設定手段は、前記現在位置算出手段が算出した現在位置と前記記憶手段に記憶された地図データとより求まる、前記自動車と当該自動車周辺の構造物との位置関係とより、前記自動車の周辺の当該自動車の運転者にとって死角となる領域を推定し、前記カメラの撮影画像中の、前記推定した領域が写り込む範囲を死角画像領域として設定することを特徴とする周辺監視装置。
【請求項４】
請求項１または２記載の周辺監視装置であって、
前記死角画像領域設定手段は、前記カメラの撮影画像中の、前記自動車左右の、当該自動車前後方向に対する角度が所定角度以上となる範囲が写り込む領域を前記死角画像領域として固定的に設定することを特徴とする周辺監視装置。
【請求項５】
自動車に搭載される周辺監視装置において、前記自動車周辺の障害物を検出する周辺監視方向であって、
カメラを用いて自動車周辺を撮影するステップと、
前記カメラの撮影画像中の、前記自動車の周辺の当該自動車の運転者にとって死角となる領域が写り込む範囲を死角画像領域として設定するステップと、
前記カメラの撮影画像中の領域のうち、前記死角画像領域に設定された領域に対して高い検出感度を設定し、他の領域について低い検出感度を設定し、前記カメラの撮影画像中の各領域に写り込んだ障害物を、当該領域について設定した検出感度で検出するステップとを有することを特徴とする周辺監視方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラで撮影した画像を用いて周辺監視を行う技術に関するものである。
【背景技術】
【０００２】
カメラで撮影した画像を用いて周辺監視を行う技術としては、カメラで撮影した画像中から路上の白線を検出する領域を、当該画像中の車両走行方向の領域が写り込んでいる部分のみに限定することにより、画像処理に要する処理量を低減する技術が知られている（たとえば、特許文献１）。
【特許文献１】特開2007-156777号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
さて、カメラで撮影した画像を用いて周辺の障害物の検出を行う場合、障害物を検出する領域はできるだけ広く確保することが好ましい。しかしながら、その一方で、カメラで撮影した画像の全体に対して障害物の検出のための画像処理を感度良く行うと、障害物検出に要する処理量や時間が長大化してしまうことになる。
【０００４】
そこで、本発明は、より効率よく、カメラで撮影した画像を用いて周辺の障害物の検出を効果的に行うことを課題とする。
【課題を解決するための手段】
【０００５】
前記課題達成のために、本発明は、自動車に搭載される、前記自動車周辺の障害物を検出する周辺監視装置に、自動車周辺を撮影するカメラと、前記カメラの撮影画像中の、前記自動車の周辺の当該自動車の運転者にとって死角となる領域が写り込む範囲を死角画像領域として設定する死角画像領域設定手段と、前記カメラの撮影画像中の領域のうち、前記死角画像領域に設定された領域に対して高い検出感度を設定し、他の領域について低い検出感度を設定し、前記カメラの撮影画像中の各領域に写り込んだ障害物を、当該領域について設定した検出感度で検出する障害物検出手段とを備えたものである。
【０００６】
このような周辺監視装置によれば、運転者の死角となる範囲については、カメラで撮影した画像を用いて、感度良く障害物を検出することができる。一方、運転者が自身で視認できる範囲については、低い検出感度で障害物の検出を行うので、これら範囲については、障害物検出のための処理量を低減することができる。そして、運転者が自身で視認できる範囲は、周辺監視装置において障害物を検出する必要性が必ずしも大きくない範囲であるので、このようにすることにより、カメラで撮影した画像を用いて周辺の障害物の検出を効果的に行うことができることになる。
【０００７】
ここで、このような周辺監視装置において、前記障害物検出手段は、より具体的には、前記カメラの撮影画像中の領域のうち、前記死角画像領域に設定された領域を第１のブロックサイズのブロックに分割し、他の領域を前記第１のブロックサイズよりも大きな第２のブロックサイズのブロックに分割すると共に、各ブロック毎に、当該ブロックと、前回カメラで撮影された撮影画像中の当該ブロックに対応する部分との、画素の平均値もしくは所定の重み付き平均値の差分に基づいて、当該ブロックが障害物の画像部分を表しているか否かを検出するものであってよい。
【０００８】
また、以上のような周辺監視装置における、前記死角画像領域の設定は、より具体的には、たとえば、周辺監視装置に、地図データを記憶する記憶手段と、前記自動車の現在位置を算出する現在位置算出手段とを備え、前記死角画像領域設定手段において、前記現在位置算出手段が算出した現在位置と前記記憶手段に記憶された地図データとより求まる、前記自動車と当該自動車周辺の構造物との位置関係とより、前記自動車の周辺の当該自動車の運転者にとって死角となる領域を推定し、前記カメラの撮影画像中の、前記推定した領域が写り込む範囲を死角画像領域として設定することにより実現できる。
【０００９】
但し、前記死角画像領域の設定は、簡易的に、前記死角画像領域設定手段において、前記カメラの撮影画像中の、前記自動車左右の、当該自動車前後方向に対する角度が所定角度以上となる範囲が写り込む領域を前記死角画像領域として固定的に設定することにより行うようにしてもよい。
【発明の効果】
【００１０】
以上のように、本発明によれば、より効率よく、カメラで撮影した画像を用いて周辺の障害物の検出を効果的に行うことができる。
【発明を実施するための最良の形態】
【００１１】
以下、本発明の実施形態について説明する。
図１ａに、本実施形態に係る車載システムの構成を示す。
図示するように、車載システムは、カメラ１、周辺監視装置２、地図データなどを記録した記憶装置３、ＧＰＳ受信機４、車両センサ５、ナビゲーション装置６、入力装置７、表示装置８、入力装置７や表示装置８を用いたＧＵＩをユーザに提供するＧＵＩ制御部９とを備えている。
【００１２】
ここでカメラ１は、図１ｂに示すように車両前端に設置され、車両前方を広角に撮影する。また、周辺監視装置２は、カメラ１が撮影した画像より、車両前方の障害物の検出を行う。
また、車両センサ５は、角加速度センサや地磁気センサなどである方位センサや、車速パルスセンサなどである車速センサや、舵角センサなどの、各種車両状態を検出するセンサ群である。
さて、このような構成において、ナビゲーション装置６は、車両センサ５やＧＰＳ受信機４の出力から推定される現在位置と、記憶装置３から読み出した地図データが表す地図とのマップマッチング処理などを施して、現在位置として最も確からしい座標と、現在の進行方向として最も確からしい方向とを、それぞれ現在位置、現在進行方位として算定する。
【００１３】
また、ナビゲーション装置６は、ユーザの目的地設定要求に応じて、ユーザから入力装置７、ＧＵＩ制御部９を介して目的地の設定を受け付け、目的地までの推奨ルートを探索し設定する。
また、ナビゲーション装置６は、記憶装置３から読み出した地図データが表す現在位置周辺の地図上に現在位置や推奨ルートや目的地などを表した案内画像を、ＧＵＩ制御部９を介して表示装置８の表示画面に表示する。
そして、周辺監視装置２は、入力装置７に対するユーザの所定の前方監視処理開始指示操作等に応じて、以下に示す周辺監視処理を開始する。
図２ａに、この周辺監視処理の手順を示す。
図示するように、この処理では、まず、図３ａに示すようにカメラ１で撮影した車両前方の広角範囲の画像である撮影画像のフロントビュー画像としての表示装置８への表示を開始する（ステップ２０２）。
そして、次に、撮影画像中の各領域の検出感度を設定する検出感度設定処理を起動する（ステップ２０４）。
ここで、この検出感度設定処理では、まず、撮影画像中の、運転者であるユーザにとって死角となっている範囲が撮影されている部分を、撮影画像中死角領域として設定する（ステップ２５２）。ここで、この撮影画像中死角領域は次のように設定する。
すなわち、まず、車両と車両周辺の遮蔽物４１０との位置関係に基づいて、図４ａに示すように、水平方向角度に関して、運転者であるユーザの死角とならない角度範囲である視角範囲４２０を算定する。ここで、視角範囲４２０は、たとえば、記憶装置３に記憶されている地図データと、ナビゲーション装置６が算出している現在位置やＧＰＳ受信機４が測定している現在位置と、ナビゲーション装置６が算出している現在進行方位や車両センサ５の検出値より求まる車両向きとから、図４ｂに示すように求まる車両と道路との位置/方向の関係に従って、道路沿いに全て塀が存在するものと仮定して算定するようにする。ただし、地図データに、建造物の詳細なデータが含まれている場合には、当該建造物と車両との位置/方向関係より、視角範囲４２０を算定するようにする。
【００１４】
そして、図４ａに示すように、水平方向角度に関して、カメラ１の撮影角度範囲中の、カメラ１から所定距離内Ｌ（たとえば３０ｍ以内）に視角範囲内の位置のみを含む角度範囲をユーザ視認可能角度範囲４３０に設定し、カメラ１の撮影角度範囲中の、ユーザ視認可能角度範囲４３０を除く角度範囲をユーザ死角角度範囲４４０に設定する。そして、ユーザ死角角度範囲４４０内の位置が写り込む、撮影画像中の領域を図４ｃに示すように撮影画像中死角領域４５０に設定する。
【００１５】
次に、このようにして、撮影画像中死角領域を設定したならば、撮影画像中に設定した撮影画像中死角領域の検出感度を高感度に、撮影画像中のその他の領域の検出感度を低感度に設定する（ステップ２５４）。したがって、図３ａに示した撮影画像に対して、ステップ３５２で、図４ｃ４５０のように撮影画像中死角領域が設定された場合には、この撮影画像中死角領域４５０内に対して高い検出感度が、残る領域に対して低い検出感度が設定されることになる。
【００１６】
そして、ステップ２５２の処理に戻る。
さて、図２ａの周辺監視処理に戻り、検出感度設定処理を起動したならば（ステップ２０４）、撮影画像中の各領域に写り込んだ障害物を検出する画像処理を、各領域に検出感度設定処理によって設定されている検出感度で検出する画像処理を行う（ステップ２０６）。この結果、撮影画像中の撮影画像中死角領域４５０については詳細に障害物の有無を検出する比較的処理量の大きい画像処理が施され、撮影画像中の他の領域については比較的おおまかに障害物の有無を検出する処理量の小さい画像処理が施されることになる。
【００１７】
ここで、このような、領域毎に検出感度を異ならせて行う障害物の検出法としては様々なアルゴリズムを適用することができるが、以下に、その一例を示す。
すなわち、図４ｄに示すように、撮影画像を、複数の画素よりなる、複数のブロックに分割する。この際、撮影画像中死角領域４５０内の画素を含むブロックのブロックサイズは小さく、撮影画像中死角領域４５０内の画素を含まないブロックのブロックサイズは大きく設定する。
【００１８】
そして、各ブロック毎に、ブロック内画素の平均値、または、ブロック内画素の重み付き平均値のフレーム間差分を求め、フレーム間差分の絶対値が所定のしきい値より大きいブロックを抽出し、抽出したブロックの集合よりなる領域を障害物が写り込んでいる領域として検出する。なお、上述したブロック内画素の重み付き平均に用いる重みとしては、ブロックの中央よりの画素ほど大きくなる重みを用いる。また、あるブロックについての、ブロック内画素の平均値/重み付き平均値のフレーム間差分は、当該ブロックのブロック内画素の平均値/重み付き平均値と、当該ブロックと同一位置にある前回撮影された撮影画像中のブロックのブロック内画素の平均値/重み付き平均値との差分を指す。
【００１９】
さて、図２ａに戻り、次に、ステップ２０６でいずれかの領域に障害物が検出されたかどうかを調べ（ステップ２０８）、検出されていない場合には、そのままステップ２０６に戻る。
一方、障害物が検出された場合には、図３ｂに示すように、表示装置８に表示しているフロントビュー画像中に、障害物を検出した領域を表す図形３１０を表示するなどして、ユーザに対して検出した障害物の位置を提示する（ステップ２１０）。そして、ステップ２０６の処理に戻る。
【００２０】
以上、周辺監視処理について説明した。
ところで、以上の周辺監視処理では、表示装置８に表示するフロントビュー画像上で、撮影画像中死角領域４５０の範囲３２０を、たとえば、図３ｃに示すように輝度差によって表し、ユーザの死角領域に対する留意をより喚起するようにしてもよい。
また、以上の周辺監視処理では、他の領域よりも高い検出感度を設定する撮影画像中死角領域を、検出感度設定処理により動的に設定するようにしたが、この撮影画像中死角領域は固定的に設定するようにしてもよい。すなわち、この場合には、たとえば、図４ａに示したように、車両後方から車両前端付近まで車両左右近傍に遮蔽物が存在する場合における、ユーザの死角とならない角度範囲を視角範囲として、撮影画像中死角領域を固定的に設定するようにする。なお、このようにすることにより、車両の左右方向が写り込むことになる撮影画像中の範囲、すなわち、図４ｃ４５０に示すような、撮影画像中の下方左右の領域が撮影画像中死角領域として設定されることになる。
【００２１】
以上、本発明の実施形態について説明した。
ところで、以上の実施形態は、車両の前方をカメラ１で撮影し車両の前方の障害物を検出する場合について示したが、本実施形態は、車両の後方をカメラ１で撮影し、車両の後方の障害物を検出する場合や、車両の側方をカメラ１で撮影し、車両の側方の障害物を検出する場合などにも同様に適用することができる。
【００２２】
このように本実施形態によれば、運転者の死角となる範囲については、カメラ１で撮影した画像を用いて、感度良く障害物を検出することができる。一方、運転者が自身で視認できる範囲については、低い検出感度で障害物の検出を行うので、これら範囲については、障害物検出のための処理量を低減することができる。そして、運転者が自身で視認できる範囲は、周辺監視装置２において障害物を検出する必要性が必ずしも大きくない範囲であるので、このようにすることにより、カメラ１で撮影した画像を用いて周辺の障害物の検出を効果的に行うことができることになる。
【図面の簡単な説明】
【００２３】
【図１】本発明の実施形態に係る車載システムの構成を示すブロック図である。
【図２】本発明の実施形態に係る周辺監視処理と検出感度設定処理を示すフローチャートである。
【図３】本発明の実施形態に係るナビゲーション装置の表示画面例を示す図である。
【図４】本発明の実施形態に係る周辺監視処理と検出感度設定処理の処理例を示す図である。
【符号の説明】
【００２４】
１…カメラ、２…周辺監視装置、３…記憶装置、４…ＧＰＳ受信機、５…車両センサ、６…ナビゲーション装置、７…入力装置、８…表示装置、９…ＧＵＩ制御部。
【図１】
2009303095.tif 000003
【図２】
2009303095.tif 000004
【図３】
2009303095.tif 000005
【図４】
2009303095.tif 000006