(57)【要約】【課題】１つのカメラで、障害物を検出する。【解決手段】周囲を撮像する撮像手段１と、撮像された画像から、障害物の移動を追跡するための追跡領域を検出する追跡可能領域検出手段２と、撮像手段１により異なるタイミングで撮像された画像における追跡領域の移動量を算出する領域移動量算出手段３と、移動量が算出された追跡領域の類似度を算出する領域類似度算出手段４と、領域移動量算出手段３により算出された領域移動量と、前記領域類似度算出手段４により算出された領域類似度に基づいて、障害物を検出する障害物検出手段５とを有する。【選択図】  図１
2005100204.tif 000002
【特許請求の範囲】
【請求項１】
周囲を撮像する撮像手段と、
前記撮像手段により撮像された画像から、少なくとも相対的に移動する障害物の画像に対応する追跡領域を検出する追跡可能領域検出手段と、
前記撮像手段により異なるタイミングで撮像された２つの画像に基づいて、前記追跡領域の移動量を算出する領域移動量算出手段と、
前記移動量が算出された、移動前の追跡領域と移動後の追跡領域との類似度を算出する領域類似度算出手段と、
前記領域移動量算出手段により算出された移動量と、前記領域類似度算出手段により算出された類似度とに基づいて、障害物を検出する障害物検出手段とを有する障害物検出装置。
【請求項２】
前記障害物検出手段は、前記領域移動量算出手段により算出された前記追跡領域の移動量が第１のしきい値以下であり、かつ前記類似度算出手段により算出された前記追跡領域の類似度の変化量が第２のしきい値以上である追跡領域があるとき、衝突可能性のある障害物を検出する請求項１記載の障害物検出装置。
【請求項３】
前記領域移動量算出手段は、
前記検出された追跡領域と、当該追跡領域を基準として設定された探索領域との相関値を算出する相関値算出部と、
前記相関値算出部により算出された相関値が最大となる探索領域を、移動後の追跡領域として決定する決定部と、
前記決定部により決定された移動後の追跡領域の位置と、前記追跡可能領域検出手段により検出された移動前の追跡領域の位置とを比較し、移動量を算出する算出部とを有する請求項１又は２に記載の障害物検出装置。
【請求項４】
前記領域類似度算出手段は、前記移動前の追跡領域と前記移動後の追跡領域との相関値に基づいて類似度を算出する請求項３記載の障害物検出装置。
【請求項５】
前記追跡可能領域検出手段は、前記画像のエッジを検出するエッジ検出部と、
前記エッジ検出部により検出されたエッジの縦方向成分と横方向成分との大きさの比の分散値を、前記画像の所定領域ごとに算出する分散値算出部と、
前記分散値算出部により算出された分散値が所定の値よりも大きい所定領域を、前記障害物の移動を追跡するための追跡領域として判断する判断部とを有する請求項１〜４のいずれかに記載の障害物検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、障害物を検出する障害物検出装置に関し、特に、画像の移動量と画像の類似度に基づいて、障害物を検出する障害物検出装置に関する。
【背景技術】
【０００２】
車両にカメラ装置を搭載し、自車両周辺を撮像して障害物を検出し、車両運転者に報知する装置がある。この種の装置では、撮像画像から衝突可能性の有無を判断し、衝突の可能性がある障害物を検出することが求められる。
【０００３】
たとえば、特許文献１には、車両の左右に搭載された一対のステレオ式ＣＣＤカメラで車両周辺を撮像し、撮像した画像の左右のずれ量を検出し、そのずれ量に基づいて測定された障害物と自車両との距離及びそれから算出される障害物の相対速度に基づき、衝突可能性がある障害物が存在する場合は警報を作動させる車両用障害物警報装置が記載されている。
【特許文献１】特開平８−１１０２２４号公報
【発明の開示】
【０００４】
しかしながら、従来の技術では、ステレオ画像処理で距離を検出するため、２つのカメラが必要となり、機器構成の複雑化、コストアップを招くという問題があった。また、距離を正確に計測するためには、２つのカメラの光軸合わせを正確に行う必要があり、工数およびコストを要するという不都合があった。
本発明は、上述した課題を解決するために提案されたものであり、1つのカメラで衝突可能性のある障害物を検出することができる障害物検出方法および障害物検出装置を提供することを目的とする。
【０００５】
本発明によれば、周囲を撮像する撮像手段と、撮像手段により撮像された画像から、少なくとも相対的に移動する障害物の画像に対応する追跡領域を検出する追跡可能領域検出手段と、撮像手段により異なるタイミングで撮像された２つの画像に基づいて、追跡領域の移動量を算出する領域移動量算出手段と、移動量が算出された、移動前の追跡領域と移動後の追跡領域との類似度を算出する領域類似度算出手段と、この領域移動量算出手段により算出された移動量と、領域類似度算出手段により算出された類似度とに基づいて、障害物を検出する障害物検出手段とを有する障害物検出装置を提供することができる。
【０００６】
これにより、１つのカメラで障害物の存在を検出することができる。
【発明を実施するための最良の形態】
【０００７】
以下、図面に基づき本実施形態の障害物検出装置１００を説明する。本実施形態の障害物検出装置１００は、ユーザが搭乗する車両に搭載され、車両の周囲に存在する障害物を検出する。
【０００８】
図１に本実施形態に係る障害物検出装置１００のブロック構成を示した。
【０００９】
図１に示すように、障害物検出装置１００は、撮像手段１と、追跡可能領域検出手段２と、領域移動量算出手段３と、領域類似度算出手段４と、障害物検出手段５とを有している。具体的には、少なくとも、撮像した画像情報に基づいて追跡領域を判断し、判断した追跡領域の移動量と類似度とを算出し、算出した移動量と類似度に基づいて障害物の存在を判断するプログラムを格納したＲＯＭと、このＲＯＭに格納されたプログラムを実行することで、追跡可能領域検出手段２、領域移動量算出手段３、領域類似度算出手段４、障害物検出手段５として機能するＣＰＵと、記憶手段６として機能するＲＡＭとを備えている。
【００１０】
また、障害物検出装置１００は、障害物の検出結果に基づいて種々の警報を発する警告装置２００、または運転を支援する走行支援装置３００の少なくともいずれか一方と情報の授受が可能となるように車載ＬＡＮにより接続されている。
【００１１】
以下、各構成について説明する。
【００１２】
「撮像手段１」は、例えば、ビデオカメラであり、車両の前方を一定の周期（時間間隔Δｔ）で撮像する。撮像した画像は画像記憶部６１に記憶される。なお、撮像手段１となるカメラの左右方向の光軸は車両の直進方向と一致させ、カメラの上下方向の光軸は水平となるように設置する。
【００１３】
「追跡可能領域検出手段２」は、撮像手段１が異なるタイミングで撮像した２つの画像に基づいて、車両に対し少なくとも相対的に移動する障害物を検出するため、障害物の画像に対応する追跡領域を検出する。追跡領域は任意に設定してもよいが、本実施形態では画像の濃淡変化に基づいて移動体の追跡が可能な領域を検出する。すなわち、本実施形態の追跡可能領域検出手段２は、複数の方向に濃淡変化を有する画像領域を追跡領域として検出する。このようにしたのは、検出対象が追跡できる領域は、複数の方向に濃淡変化を有する領域であり、道路上の白線のように、画像上において一様な濃淡変化を持つ領域では、移動方向が濃淡変化の方向と垂直となる場合、追跡対象の移動量を検出することは困難だからである。
【００１４】
具体的に、追跡可能領域検出手段２は、エッジ検出部２１と、分散値算出部２２と、判断部２３とを有している。エッジ検出部２１は、撮像手段１により撮像された画像のエッジを検出する。本実施形態のエッジ検出部２１は、画像記憶部６１に記憶されている画像を読み出し、縦方向および横方向のエッジを検出するためのフィルタをかけ、エッジの縦、横の成分の大きさ（ｄＩ／ｄｘ，ｄＩ／ｄｙ：Ｉは画素値）をそれぞれ求める。次に、検出されたエッジに含まれるノイズ成分を除去するために、求めた縦、横のエッジ成分の大きさの２乗和がしきい値ｔｈ１以上の画素を抽出し、抽出した画素に基づいてエッジを検出する。
【００１５】
分散値算出部２２は、複数の方向に濃淡変化を有する領域を検出するため、前記エッジ検出部により検出されたエッジの縦方向成分と横方向成分との大きさの比の分散値を、前記画像の所定領域ごとに算出する。具体的には、分散値算出部２２は、エッジの縦方向成分と横方向成分の大きさの比を求めて、濃度勾配方向を求める。次に、ノイズが除去された後のエッジが示されている画像を縦方向および横方向に沿って等間隔な格子状に分割する。図２は、上述した方法を用いて撮像画像からエッジを検出した画像を、格子状に分割した状態を示す模式図である。図２に示す分割された１の格子が、追跡可能領域の検出処理を行う単位領域である。分散値算出部２２は、この分割された単位領域ごとに、エッジの縦方向成分と横方向成分との大きさの比の分散値を求める。
【００１６】
判断部２３は、分散値算出部２２により算出された分散値が所定の値よりも大きい所定領域を、前記障害物の移動を追跡するための追跡領域として判断する。これは、分割された矩形領域内のエッジ勾配方向が一方向であれば、分散値は小さくなり、複数方向のエッジ勾配を持つ場合、分散値は大きくなるという傾向に基づく。言い換えると、判断部２３は、求めた単位領域の分散値が所定のしきい値ｔｈ２より小さければ、エッジ勾配方向は一方向である可能性が高いため、濃度勾配と垂直な方向に移動する物体を検出することは難しいと判断し、一方、求めた分散値が所定のしきい値ｔｈ２以上であれば、複数方向のエッジ勾配を有しているため、移動体がいずれの方向に移動しても障害物に対応する領域の追跡が可能と判断する。つまり、判断部２３は、求めた分散値が所定のしきい値ｔｈ２以上である領域を追跡領域と判断する。図２に示した撮像画像に基づいて、判断部２３により判断された追跡領域を図３に示した。
【００１７】
追跡可能領域検出手段２の判断部２３は、追跡領域と判断した領域の始点位置（たとえば左上隅）、画像サイズ（幅，高さ）、および、原画像の画像パターンを、各単位領域を特定する識別番号に対応づけて追跡領域情報記憶部６２に記憶させる。以下、移動量、相関値の算出の基準となる、移動前の追跡領域の画像パターンを「基準パターン」という。
【００１８】
なお、追跡可能領域検出手段２は、撮像手段１によって時間Δｔの間隔にて撮像された画像ごとに、新たな追跡領域を検出する。新たに検出された追跡領域が、領域移動量の算出が行われている領域と異なる領域であれば、新しい追跡領域として、その始点位置、画像サイズ、画像パターンを追跡領域情報記憶部６２に記憶する。新しい追跡領域であるか否かの判定は、追跡領域情報記憶部６２に記憶されている追跡領域の始点位置およびサイズに基づいて行う。
【００１９】
撮像手段１により撮像された新たな画像に関する情報が画像記憶部６１に入力されると、「領域移動量算出手段３」は、撮像手段１により異なるタイミングで撮像された２つの画像に基づいて追跡領域の移動量を算出する。この領域移動量算出手段３は、相関値算出部３１と、決定部３２と、算出部３３とを有する。
【００２０】
この移動量の検出方法を説明すると、まず、相関値算出部３１は、追跡領域の移動先を検出するために探索領域を設定する。この探索領域は、追跡領域を含み、追跡領域の外側へ向かって所定画素数分だけ拡張させた領域である。本実施形態では追跡領域の４辺に対して垂直方向外側に１画素づつ拡張させた探索領域を設定した。この探索領域内で基準パターン（記憶された追跡領域の画像パターン）を１画素づつ、ずらしながら、基準パターンと新規画像データの追跡領域との相関値を算出する。なお、相関値の算出にあたり、基準パターンの位置は１画素単位で移動させる（ずらす）ので、相関値が得られる位置も1画素単位となるが、複数の相関値を用いて補間演算を行うことにより、相関値が最大となる位置を１画素以下の精度で求めることができる。その結果、追跡領域の移動先を１画素以下の精度で求めることができる。
【００２１】
決定部３２は、相関値算出部３１により算出された相関値が最大となる探索領域に移動後の障害物画像が存在するとみなし、その探索領域を移動後の追跡領域として決定する。本実施形態では、算出された相関値がしきい値ｔｈ３以上であり、かつ、最大となる領域を、基準パターンの移動後の追跡領域として決定する。
【００２２】
算出部３３は、決定部３２により決定された移動後の追跡領域の位置と、追跡領域検出手段２により検出された追跡領域（基準パターンに対応する追跡領域）の位置とを比較し、移動量を算出する。追跡領域の移動量は、画像座標に基づいて、水平方向ｘ、垂直方向ｙの各方向成分として表される。図４には、図３に示した各追跡領域について算出された移動量の移動成分をベクトルで示した。
【００２３】
決定部３２により決定された移動後の追跡領域の位置、および算出部３３により算出された移動量は、追跡領域情報記憶部６２に記憶される。ただし、新規画像との相関値がしきい値ｔｈ３未満の場合は、画像中の同一の部位が移動したと判断することはできないので、対応する追跡領域に関する情報を初期化する。また、追跡領域の始点位置（始点座標）が所定の範囲（水平方向ｘ、垂直方向ｙ）から外れた場合は、対応する追跡領域に関する情報を初期化する。これは、画像上における静止物や自車両の移動方向と異なる方向に移動する検出対象は、自車両の移動に伴って消失点（撮像画像中心）から周辺方向（撮像画像外側）に移動し、時間の経過とともに撮像範囲の外に出るためである。初期化された追跡領域に関しては、後述する障害物検出手段５による検出処理は行われない。
【００２４】
「領域類似度算出手段４」は、領域移動量算出手段３にて移動量が算出された「移動前の追跡領域（基準パターン）」と「移動後の追跡領域」との類似度を算出する。本実施形態の領域類似度算出手段４は、移動前の追跡領域と移動後の追跡領域との相関値に基づいて類似度を算出する。具体的には、領域類似度算出手段４は、領域移動量算出手段３が移動量の算出処理（移動先の検出処理）において求めた相関値を取得し、当該相関値を用いて類似度を算出する。本実施形態では、追跡領域検出処理において予め算出された相関値を用いることができるため、演算処理を迅速に行うことができる。
【００２５】
「障害物検出手段５」は、領域移動量算出手段３により算出された移動量と、領域類似度算出手段４により算出された類似度とに基づいて、障害物を検出する。このようにしたのは、移動量だけでは区別できない、衝突可能性のある障害物と衝突可能性のない障害物とを区別するためである。衝突可能性と移動量との関係を検討すると、衝突可能性のある「相対的に自車両に向かって移動する車や人」は撮像手段１（障害物検出装置１００が搭載された自車両）に向かって移動するため、画像上での横方向の移動量は小さい。また、「遠方の物体」および「自車両と同じ方向に移動する前方の走行車両」などの衝突可能性の低い物体も、その移動量が小さい。さらに、障害物は高さを持つため、路面に存在するものに比べて画像上における縦方向の移動量も小さい。すなわち、移動量の小さい領域には衝突可能性の高い障害物と衝突可能性の低い障害物との両方が含まれ、追跡領域の移動量のみに基づいて、これらを区別することはできない。
【００２６】
本実施形態では、移動量と類似度とに基づいて衝突可能性を判断するため、衝突可能性のある障害物と衝突可能性のない障害物とを区別し、衝突可能性のある障害物を検出することができる。
【００２７】
次に、衝突可能性と類似度との関係を検討すると、図５に示すように、対象物（障害物を含む）までの距離と像の大きさは反比例の関係にあり、対象物が近づいてくると像の大きさも急激に変化するため、画像の類似度は大きく変化することがわかる。類似度を正規化相関値として考えると、対象物との距離が近ければ、正規化相関値は大きく変化する。
【００２８】
図６には、図３に示した追跡領域ａ,ｂ，ｃ，ｄについて、対象物（障害物）の追跡時における相関値の経時的変化を示した。（ｂ）のような「遠方の対象物」や（ｃ）のような「自車両と同じ方向に移動する前方車両」は、追跡前後の距離変化率、すなわち対象物までの距離に対する追跡前後での距離変化量の割合が少なく、拡大率の変化が小さいため、正規化相関値の変化が小さい。他方、（ａ）のような「相対的に自車両に向かって移動する車や人」や（ｄ）のような「高さのある障害物」は、追跡前後の距離変化が大きく、拡大率の変化が大きいため、正規化相関値の変化が大きい。
【００２９】
発明者は、近傍にある障害物の画像に対応する追跡領域では、類似度または相関値の変化量が大きくなる点に着目し、移動量のみでは区別できない「衝突の可能性」を領域移動量と領域類似度とに基づいて、障害物の存在を判断することとした。これにより、移動量が小さい「相対的に自車両（衝突判断主体）に向かって移動する障害物」「遠方の物体」「自車車両と同じ方向に移動する前方の車両」の中から、衝突可能性のある自車両の近くに存在する障害物を選択的に検出することができる。
【００３０】
具体的に本実施形態では、追跡領域の移動量が第１のしきい値（ｔｈ４）以下であり、類似度の変化量が第２のしきい値（ｔｈ５）以上である追跡領域が存在するとき、衝突可能性のある障害物の存在を検出し、その追跡領域に認識された対象物を障害物と判断する。追跡領域の類似度の変化量は、相関値の変化量に基づいて算出されるが、相関値の個々の値はばらつくので、実際の処理では、一定サンプル数での近似直線を求め、その直線の「傾き」を類似度の変化量または相関値の変化量として用いることが好ましい。こうすることにより、信頼性の高い検出処理が可能となる。
【００３１】
図７に、追跡領域ａ〜ｄについての移動量と相関値変化量との関係を示した。図７の斜線を付した部分が、追跡領域の移動量が第１のしきい値（ｔｈ４）以下であり、かつ類似度（相関値）の変化量が第２のしきい値（ｔｈ５）以上の条件を満たす部分である。追跡領域ａ（図３）の移動量と類似度変化量は、この条件を満たすため、障害物検出手段５は、追跡領域ａの画像に含まれる対象物を障害物として検出する。ここで用いるしきい値（ｔｈ４）及びしきい値（ｔｈ５）は、個別具体的に設定することが好ましいため、実験を行い、実験結果に基づいて設定した。第１のしきい値、第２のしきい値のほか、本実施形態において用いるしきい値は、しきい値記憶部６３に、予め記憶させておくことが好ましい。
【００３２】
次に、本実施形態の障害物検出装置１００の処理手順を説明する。  
図８は、本実施形態に係る障害物検出装置１００の処理手順を示すフローチャートである。ステップＳ１０から始まる処理は、図示しないイグニッションスイッチがオンされることにより始まる。ステップＳ１０では、追跡領域情報記憶部６２に記憶されている追跡領域情報を初期化して、ステップＳ２０に進む。ステップＳ２０では、撮像手段１が車両周辺、特に車両前方を撮像し、撮像した画像を画像記憶部６１に記憶して、ステップＳ３０に進む。
【００３３】
追跡可能領域検出手段２は、画像記憶部６１に記憶されている画像に基づいて、追跡領域を検出する（ステップＳ３０）。次に、領域移動量算出手段３は、撮像間隔Δｔで異なるタイミングにおいて撮像された２つの画像に基づいて、移動する障害物に対応する追跡領域の移動量を算出する（ステップＳ４０）。領域類似度算出手段４は、移動量が算出された移動前後の追跡領域の類似度を算出する（ステップＳ５０）。障害物検出手段５は、移動量および類似度に基づいて、衝突可能性を判断し、衝突可能性のある障害物を検出する（ステップＳ６０）。具体的には、追跡領域の移動量が第１のしきい値以下であり、追跡領域の類似度の変化量が第２のしきい値以上であるとき、衝突可能性があると判断し、当該追跡領域に撮像された対象物を障害物として検出する。
【００３４】
障害物検出手段５による検出結果は、外部装置である警告装置２００、および／または走行支援装置３００へ向けて出力される。障害物の検出結果は、「障害物が存在する」という情報であってもよいし、画像情報に対応づけられた座標を参照して導かれた「障害物がどこに存在するか」という情報であってもよいし、パターンマッチング処理により導かれた「障害物は何か」という情報であってもよい。
【００３５】
障害物検出手段５の検出結果に応じて、警告装置２００は運転者に警報を出力する（ステップＳ７０）。警報は、画面表示によるものであってもよいし、音声案内によるものであってもよい。
【００３６】
ステップＳ７０での処理が終わると、ステップＳ２０に戻る。以後、撮像間隔Δｔの周期で、ステップＳ２０以降の処理が繰り返し行われる。
【００３７】
本実施形態の障害物検出装置１００によれば、追跡領域の移動量と類似度とに基づいて障害物を検出するため、1つのカメラで衝突可能性のある障害物を検出することができる。つまり、カメラを２つ以上設ける必要がない。このため、カメラを２つ以上有する装置のように、対象までの距離を計測する装置を設ける必要がなく、機器構成を簡素化することができる。また、カメラ同士の精密な光軸合わせを行う必要がなく、コストや工数を減らすことができる。
【００３８】
障害物の検出処理において、追跡領域の移動量のしきい値と類似度の変化量のしきい値を設定し、設定されたしきい値に基づいて衝突可能性を判断することから、撮像された対象物のうち衝突可能性のある障害物を正確に検出することができる。
【００３９】
追跡領域の移動量の算出処理において、追跡領域と探索領域との相関値を算出し、相関値に基づいて移動後の追跡領域を決定することにより、追跡領域の移動量を正確に算出することができる。また、類似度の算出処理において、相関値を用いて類似度を算出することにより、追跡領域の移動量算出処理において算出した相関値を利用することができ、障害物検出処理の迅速化を図ることができる。
【００４０】
さらに、障害物の移動を追跡するため、複数の濃淡変化を有する領域を追跡領域として設定し、障害物を正確に検出できる領域において障害物を検出するため、精度の高い検出処理を行うことができる。
【００４１】
本実施形態では、車両に搭載され、車両周囲の障害物を検出する障害物検出装置１００について説明したが、これに限定されることなく、ロボット、工作機械等に用いることもできる。
【００４２】
なお、以上説明した実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。
【図面の簡単な説明】
【００４３】
【図１】本実施形態に係る障害物検出装置のブロック構成図である。
【図２】追跡領域の検出処理を説明するための第１の図である。
【図３】追跡領域の検出処理を説明するための第２の図である。
【図４】追跡領域の移動量の算出処理を説明するための図である。
【図５】障害物の距離と拡大率との関係を示す図である。
【図６】相関値の時間的変化を示す図である。
【図７】障害物の検出処理を説明するための図である。
【図８】本実施形態に係る障害物検出装置の処理手順を示すフローチャート図である。
【符号の説明】
【００４４】
１００…障害物検出装置
１…撮像手段
２…追跡可能領域検出手段
３…領域移動量算出手段
４…領域類似度算出手段
５…障害物検出手段
６…記憶手段
６１…画像記憶部
６２…追跡領域情報記憶部
６３…しきい値記憶部
２００…警告装置
３００…走行支援装置
【図１】
2005100204.tif 000003
【図２】
2005100204.tif 000004
【図３】
2005100204.tif 000005
【図４】
2005100204.tif 000006
【図５】
2005100204.tif 000007
【図６】
2005100204.tif 000008
【図７】
2005100204.tif 000009
【図８】
2005100204.tif 000010