(57)【要約】【課題】  あらかじめ車両などが写っていない背景画像を用意する必要がなく、物体領域の情報を背景画像の更新に必要とせず、遠方にある車両を止まっている障害物と誤判断しない障害物検出装置を提供する。【解決手段】  所望の対象領域以外の画像領域をマスクするマスク処理手段１０２と、マスクされた画像信号から所定の周波数成分の信号を抽出する抽出手段１０６と、抽出された信号の出力レベルと所定の閾値に基づき画像の画素を２値化する２値化手段１０７と、２値化された画素から画素の集合領域を生成する集合領域生成手段１０８と、生成された集合領域の所定の情報を集合領域ごとに算出する情報算出手段１０９と、現時点の画像の画素の集合領域の所定の情報と現時点より前の画像の画素の集合領域の所定の情報に基づき、集合領域間の対応付けを行う対応付け手段１１０と、対応付けの情報に基づき障害物の存否を判断する判断手段１１１とを備える。【選択図】  図１
2007018340.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置により所定の監視領域を含んで撮影された画像における、所望の対象領域以外の画像領域をマスクするマスク処理手段と、
マスクされた前記画像を表す画像信号から所定の周波数成分の信号を抽出する抽出手段と、
抽出された前記信号の出力レベルと所定の閾値とに基づいて、前記画像を構成する画素を２値化する２値化手段と、
２値化された前記画素のうち、２値のいずれか一方である所定の値が付された複数の画素が隣接して存在する場合に、前記所定の値が付された画素と前記所定の値が付された画素に隣接する他の画素とを含めた画素の集合領域を生成する集合領域生成手段と、
生成された前記画素の集合領域に関する所定の情報を前記画素の集合領域ごとに算出する情報算出手段と、
現時点の画像における画素の集合領域に関する所定の情報と、前記現時点より前の画像における画素の集合領域に関する所定の情報とに基づいて、画素の集合領域間の対応付けを行う対応付け手段と、
前記画素の集合領域の対応付けの情報に基づいて障害物が存在するか否かを判断する判断手段とを、
備える障害物検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、道路上に存在する障害物を検出する障害物検出装置に関する。
【背景技術】
【０００２】
従来から道路上に存在する障害物を検出する技術がある。その技術は、カメラから得られた画像とあらかじめ撮影しておいた背景画像との差分画像を２値化して背景画像に対する変化領域を求め、さらに差分画像のエッジ成分を検出してエッジ成分の多い変化領域を物体領域とするものである。そして、障害物の検出は、入力された画像と同サイズのカウントバッファを用いて、物体領域であるときは＋１、そうでないときは０とし、カウント数が所定の閾値を超えた領域を障害物として検出している。また、背景画像の更新では、物体領域においては現在の背景画像を保持し、それ以外の領域においては順次更新を行っている。このような技術が下記の特許文献１に開示されている。
【特許文献１】特開２００１−４３３８３号公報（段落００１７〜００３７、図１）
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、特許文献１に開示された技術では、あらかじめ車両などが走行していないときを見計らって背景画像を撮影することが必要であった。また、背景画像の更新には物体領域以外かどうかの情報を必要とするが、いったん物体領域を誤検出した場合、背景画像が間違って更新され、その背景画像から物体領域がさらに間違って検出されるといった問題があった。さらに、遠方にある車両を止まっている障害物と誤判断する問題があった。
【０００４】
本発明は、上記問題を解決するためのものであり、あらかじめ車両などが写っていない背景画像を用意する必要がなく、かつ物体領域の情報を背景画像の更新に必要とせず、遠方にある車両などを止まっている障害物と誤判断しない単純でロバストな障害物検出装置を提供することを目的とする。
【課題を解決するための手段】
【０００５】
上記目的を達成するために、本発明によれば、撮像装置により所定の監視領域を含んで撮影された画像における、所望の対象領域以外の画像領域をマスクするマスク処理手段と、マスクされた前記画像を表す画像信号から所定の周波数成分の信号を抽出する抽出手段と、抽出された前記信号の出力レベルと所定の閾値とに基づいて、前記画像を構成する画素を２値化する２値化手段と、２値化された前記画素のうち、２値のいずれか一方である所定の値が付された複数の画素が隣接して存在する場合に、前記所定の値が付された画素と前記所定の値が付された画素に隣接する他の画素とを含めた画素の集合領域を生成する集合領域生成手段と、生成された前記画素の集合領域に関する所定の情報を前記画素の集合領域ごとに算出する情報算出手段と、現時点の画像における画素の集合領域に関する所定の情報と、前記現時点より前の画像における画素の集合領域に関する所定の情報とに基づいて、画素の集合領域間の対応付けを行う対応付け手段と、前記画素の集合領域の対応付けの情報に基づいて障害物が存在するか否かを判断する判断手段とを備える障害物検出装置が提供される。
【発明の効果】
【０００６】
本発明の障害物検出装置は、上記構成を有し、あらかじめ車両などが写っていない背景画像を用意する必要がなく、かつ物体領域の情報を背景画像の更新に必要とせず、遠方にある車両などを止まっている障害物と誤判断しないで障害物を検出することができる。
【発明を実施するための最良の形態】
【０００７】
以下、本発明の実施の形態について図１から図９を用いて説明する。図１は本発明の実施の形態に係る障害物検出装置の構成を示す構成図である。図２は本発明の実施の形態に係る障害物検出装置におけるマスク処理部によるマスクの仕方について説明するための図である。図３は本発明の実施の形態に係る障害物検出装置における巡回型ＬＰＦからの出力の差分の周波数特性の一例を示す図である。図４は本発明の実施の形態に係る障害物検出装置における水平線上を動く点の速度と角速度との関係を説明するための図である。図５は本発明の実施の形態に係る障害物検出装置における時定数の算出過程を説明するための図である。図６は本発明の実施の形態に係る障害物検出装置における時定数をｙ座標値によって変化させたときの巡回型ＬＰＦの出力の差分の周波数特性の一例を示す図である。図７は本発明の実施の形態に係る障害物検出装置における２値化部の処理内容を説明するための図である。図８は本発明の実施の形態に係る障害物検出装置におけるラベリング部により求められる各領域の重心の座標、面積、その領域を含む矩形領域の頂点の座標について説明するための図である。図９は本発明の実施の形態に係る障害物検出装置における検出フローについて説明するためのフローチャートである。
【０００８】
まず、本発明の実施の形態に係る障害物検出装置の構成について図１を用いて説明する。図１に示すように、障害物検出装置１００は、Ａ／Ｄ変換器１０１、マスク処理部１０２、巡回型ＬＰＦ（Low Path Filter：低域通過フィルタ）１０３ａ、１０３ｂ、道路情報記録部１０４、時定数計算部１０５、加算器１０６、２値化部１０７、孤立点除去部１０８、ラベリング部１０９、対応付け部１１０、障害物判断部１１１、領域情報記録部１１２から構成されている。Ａ／Ｄ変換器１０１は、所定の監視領域を撮影する撮像装置１１３によって撮影された画像をデジタル信号に変換するものである。ここで、撮像装置１１３は、道路上を走行する車両などが撮影できるように、例えば障害物検出装置１００を搭載した車両などに設置されている。なお、本発明の実施の形態では、撮像装置１１３は障害物検出装置１００と独立した構成となっているが、障害物検出装置１００に撮像装置１１３を組み込んだ構成としてもよい。
【０００９】
マスク処理部１０２は、Ａ／Ｄ変換器１０１によってデジタル信号に変換された画像の画像領域のうち、所望の画像領域である道路上以外に存在する物体を誤検出しないように、そして計算処理量の削減のために、道路領域以外又は道路とその近傍を合わせた領域以外をマスク（隠蔽）するものである。具体的にはマスク処理部１０２は、道路情報記録部１０４に記録されている道路の境界線情報に基づいて道路領域以外又は道路とその近傍を合わせた領域以外をマスクする。ここで、更にマスク処理部１０２によるマスクの仕方について図２を用いて説明する。道路情報記録部１０４には、画像中における道路の位置情報が記録されている。位置情報としては、例えば図２に示すように道路の境界線を表す式の係数（ｈ0、θ0、ｈ1、θ1）や境界線が１点で交わる消失点の座標（ｘd、ｙd）などがある。
【００１０】
図２は原点を画像の左下とし、水平方向をＸ軸、垂直方向をＹ軸としている。また、境界線は、原点から境界線へ下ろした垂線とＹ軸とが成す角度によって表されているが、ｙ=ａｘ＋ｂの形で表すこともできる。そして、マスクをする場合に、境界線を挟んだどちら側をマスクするかについて以下に示す。今、道路の境界線を下記の式（１）のように表すものとする。そして、例えば係数ｈ0に符号（例えば、マイナス）を付加して、ｈi＞０のとき原点を含む側をマスクし、ｈi＜０のとき原点を含まない側をマスクするようにあらかじめ決めておく。
【００１１】
【数１】
2007018340.tif 000003
【００１２】
このように決めておくことにより、道路領域以外の領域をマスクすることができる。なお、上述した道路の位置情報は、初期設定時にユーザなどが上述した係数を直接入力するようにしてもよい。この場合、例えば撮像装置１１３を設置後、実際に道路が写っている画像を見ながら係数を入力し、境界線を設定する。また、ハフ変換などの画像処理技術を用いて道路の境界線を自動的に検出して道路情報記録部１０４に記録する方法も考えられる。この場合、常に検出する必要はなく、撮像装置１１３の設置時及び撮像装置１１３がパン・チルトなどして撮像エリアが変化したときに行えばよい。
【００１３】
巡回型ＬＰＦ１０３ａ、１０３ｂは、カットオフ周波数の異なる時間軸方向のＬＰＦであり、加算器１０６による差分はある周波数成分のみが通過するバンドパスフィルタとなる。カットオフ周波数は、時定数計算部１０５で計算された時定数に基づいて決められている。このカットオフ周波数は、例えば巡回型ＬＰＦ１０３ａより巡回型ＬＰＦ１０３ｂの方が低く設定されている。時定数の算出については後述する。巡回型ＬＰＦ１０３ａ、１０３ｂは下記の式（２）で表される。ｙn、ｙn-1はそれぞれ現在のフレーム、１フレーム前のＬＰＦの出力信号であり、ｘnは現在のフレームの入力信号であり、ａは時定数で周波数特性を決定するものである。
【００１４】
【数２】
2007018340.tif 000004
【００１５】
ここで、巡回型ＬＰＦ１０３ａ、１０３ｂの時定数をそれぞれ０．００１、０．００２とし、画像が毎秒１０フレームのスピードで更新される場合の差分の周波数特性を図３に示す。図３に示すグラフは下記の式（３）に基づいて導出される。なお、式（３）において、ａ、ｂは時定数であり、例えばａ＝０．００１、ｂ＝０．００２である。また、ｆは入力画像のフレームレートをｆ0[フレーム／秒]とするとｆ＝周波数／ｆ0である。
【００１６】
【数３】
2007018340.tif 000005
【００１７】
ここで、上述した時定数の算出について説明する。時定数計算部１０５は、道路情報記録部１０４に記録された道路情報に基づいてＬＰＦの時定数を求める。時定数を求めるのは、同じ速度で移動している物体でも、遠方にあるときと近くにあるときでは画像中の移動の大きさが異なることに対応するためである。すなわち、道路の遠方が写っている画像中の領域では画像中の動きが小さくなるので時定数は小さく設定し、近くにあるときには大きく時定数を設定する。なお、上述した時定数ａ＝０．００１、ｂ＝０．００２のように、画像中どこでも一定であると設定することも可能である。すなわち、時定数の設定には可変型と固定型の２通りの設定の仕方がある。ここで、可変型の場合の時定数の計算方法を上述した図２を用いて説明する。道路情報記録部１０４より道路の消失点のｙ座標をもとに、時定数ａ0をｙ座標の１次関数として下記の式（４）で表す。ｂ0、ｃ0は任意の定数である。
【００１８】
【数４】
2007018340.tif 000006
【００１９】
また、図４に示すように、水平線上を速度ｄｘ／ｄｔで動く点の角速度ｄα／ｄｔはｃｏｓαに比例する（下記の式（５）参照）ので、時定数を下記の式（６）のように表すこともできる。ｂ0、ｃ0は任意の定数である。
【００２０】
【数５】
2007018340.tif 000007
【００２１】
【数６】
2007018340.tif 000008
【００２２】
ここで、式（６）の導出過程について図５を用いて説明する。図５は撮像装置１１３によって撮影する際の光軸を含む、地面に対する垂直面で切った断面図である。撮像面と焦点との距離をＲとすると、ｗ×ｐv＝Ｒ×ｔａｎβとなる（ｐvは垂直方向の画素ピッチである）。σを焦点と座標ｙの点を結ぶ直線と光軸との成す角とすると、ｔａｎσ＝（ｙc−ｙ）×ｐv／Ｒとなる。したがって、α＝π／２−γ−σとなる。ａ0＝ｂ0ｃｏｓα＋ｃ0から式（６）が導出される。図５より、ｙcは撮像面と光軸が交わる点のｙ座標の値であり、βは画角の半分の値であり、γは光軸と水平面との間の角度であり、ｗは撮像面の画素数の半分の値である。なお、差分の周波数特性のｙ座標の変化におけるグラフを図６に示す。
【００２３】
２値化部１０７は、巡回型ＬＰＦ１０３ａ、１０３ｂからそれぞれ出力される出力信号の加算器１０６による差分出力の絶対値の出力レベルがあらかじめ設定された閾値以上となる領域に対応する画素を１とし、それ以外を０とするように２値化する。なお、画素を０か１にする際の基準となる閾値は、例えば障害物が発生した実際の画像をあらかじめ見て、障害物が適切に検出できるように決められる。図７から分かるように、あらかじめ設定された閾値以上となる領域を取り出せば、結果的に非常にゆっくりとした時間変化の生じた領域を取り出すことができる。すなわち、今まである程度の速さで移動していた自動車や人間が、停止してしまった(正確には速さが非常に小さくなった)という状態の変化が生じた領域を取り出すことができる。これにより、自動車や人間などのある程度の速度で移動する物体と、自動車などから落下した落下物や監視中に新たに停止した自動車などとを識別することが可能となる。
【００２４】
孤立点除去部１０８は、２値化部１０７によって２値化された画像内の孤立点となっている画素を除去するものである。具体的には、値１の画素があるとき、その画素の周囲の８近傍に値１の画素が１個も無い場合にその画素を孤立点とみなしてその値を０とする。ラベリング部１０９は、孤立点除去部１０８によって孤立している画素が除去された後に、値が１である領域（画素の集まり）ごとにＩＤ番号を割り当てるものである。また、ラベリング部１０９は、各領域の重心の座標、面積、その領域を含む矩形領域の頂点の座標を求めて、これらの情報を領域情報記録部１１２に送信する。また、場合によっては、領域の支配的な色の情報、テクスチャの情報、輪郭に関する情報などの属性に関する情報を検出して領域情報記録部１１２に送信することも考えられる。
【００２５】
ここで、各領域の重心の座標、面積、その領域を含む矩形領域の頂点の座標について図８を用いて説明する。図８に示すように、検出された領域を領域Ｒとし、その領域Ｒを囲む矩形を矩形Ｋとする。このとき、領域Ｒの面積は領域Ｒに含まれる画素数Ｎとする。矩形Ｋの各頂点の座標は、ｘ0＝ｍｉｎ（ｘ｜（ｘ、ｙ）∈Ｒ）、ｘ1＝ｍａｘ（ｘ｜（ｘ、ｙ）∈Ｒ）、ｙ0＝ｍｉｎ（ｙ｜（ｘ、ｙ）∈Ｒ）、ｙ1＝ｍａｘ（ｙ｜（ｘ、ｙ）∈Ｒ）とすると、（ｘ0、ｙ0）、（ｘ1、ｙ0）、（ｘ0、ｙ1）、（ｘ1、ｙ1）の４点で表すことができる。また、重心の座標（ｘc、ｙc）は、下記の式（７）で表すことができる。なお、上述した領域の支配的な色の情報とは、例えば領域Ｒ内の色のヒストグラムをとって、最も出現頻度の高い色の情報を言う。また、輪郭に関する情報とは、例えば領域Ｒの周囲長の情報を言う。
【００２６】
【数７】
2007018340.tif 000009
【００２７】
対応付け部１１０は、現在のフレームの領域に関する情報と１フレーム前の領域に関する情報とから領域間の対応付けを行い、現在のフレームでの領域が新たに発生した領域であるか、又は前から存在する領域で、何フレーム間存在しているかを求めるものである。対応付け部１１０による上述した処理は、領域の重心の座標に基づいて、フレーム間で重心が近傍にある領域を対応する領域とみなすことにより行うことができる。また、領域の色相や輪郭情報などから領域間の相関を求めて対応付けする方法も考えられる。
【００２８】
ここで、フレーム間で重心が近傍にあるというための基準の一例について説明する。今、ｎ番目のフレームの重心の座標を（ｘn、ｙn）とすると、任意の定数ａ、ｂを用いて、｛（ｘ、ｙ）｜｜ｘ−ｘn｜＜ａ  ａｎｄ  ｜ｙ−ｙn｜＜ｂ｝を満たす領域を（ｘn、ｙn）の近傍とする。また、領域を含む矩形領域の横、縦の１辺の長さをｗn、ｈnとすると、ａ、ｂは、任意のｄを用いてａ＝ｄ×ｗn、ｂ＝ｄ×ｈnと設定することも可能である。
【００２９】
障害物判断部１１１は、対応付け部１１０の処理結果に基づいて、あらかじめ設定されたフレーム数の間以上存在する領域がある場合に障害物が発生したと判断するものである。領域情報記録部１１２は、上述したラベリング部１０９によって求められた各領域の重心の座標、面積、その領域を含む矩形領域の頂点の座標の情報を記録するものである。
【００３０】
次に、本発明の実施の形態に係る障害物検出装置における検出フローについて図９を用いて説明する。まず、Ａ／Ｄ変換器１０１が、所定の監視領域を撮影する撮像装置１１３によって撮影された画像の画像信号をデジタル信号に変換する（ステップＳ９０１）。次に、マスク処理部１０２が、撮像装置１１３によって撮影された画像の画像領域のうち、道路領域以外又は道路とその近傍を合わせた領域以外をマスクする（ステップＳ９０２）。次に、巡回型ＬＰＦ１０３ａ、１０３ｂが、それぞれ設定されたカットオフ周波数に基づいて、入力された、マスク処理された信号を処理して信号を出力する（ステップＳ９０３）。次に、加算器１０６が巡回型ＬＰＦ１０３ａ、１０３ｂから出力された信号の差分を取る（ステップＳ９０４）。
【００３１】
次に、２値化部１０７が、加算器１０６による差分出力の出力レベルがあらかじめ設定された閾値以上となる領域に対応する画素を１とし、それ以外を０として２値化する（ステップＳ９０５）。次に、孤立点除去部１０８が、２値化部１０７によって２値化された画像内の孤立点となっている画素を除去する（ステップＳ９０６）。次に、ラベリング部１０９が、値が１である領域（画素の集まり）ごとにＩＤ番号を割り当てて、各領域の重心の座標、面積、その領域を含む矩形領域の頂点の座標を求めて、これらの情報を領域情報記録部１１２に送信する（ステップＳ９０７）。次に、対応付け部１１０が、現在のフレームの領域に関する情報と１フレーム前の領域に関する情報とから領域間の対応付けを行う（ステップＳ９０８）。次に、障害物判断部１１１が、対応付け部１１０の処理結果に基づいて、あらかじめ設定されたフレーム数の間以上存在する領域がある場合に障害物が発生したと判断する（ステップＳ９０９）。
【産業上の利用可能性】
【００３２】
本発明に係る障害物検出装置は、あらかじめ車両などが写っていない背景画像を用意する必要がなく、かつ物体領域の情報を背景画像の更新に必要とせず、遠方にある車両などを止まっている障害物と誤判断しないため、道路上に存在する障害物を検出する障害物検出装置などに有用である。
【図面の簡単な説明】
【００３３】
【図１】本発明の実施の形態に係る障害物検出装置の構成を示す構成図である。
【図２】本発明の実施の形態に係る障害物検出装置におけるマスク処理部によるマスクの仕方について説明するための図である。
【図３】本発明の実施の形態に係る障害物検出装置における巡回型ＬＰＦからの出力の差分の周波数特性の一例を示す図である。
【図４】本発明の実施の形態に係る障害物検出装置における水平線上を動く点の速度と角速度との関係を説明するための図である。
【図５】本発明の実施の形態に係る障害物検出装置における時定数の算出過程を説明するための図である。
【図６】本発明の実施の形態に係る障害物検出装置における時定数をｙ座標値によって変化させたときの巡回型ＬＰＦの出力の差分の周波数特性の一例を示す図である。
【図７】本発明の実施の形態に係る障害物検出装置における２値化部の処理内容を説明するための図である。
【図８】本発明の実施の形態に係る障害物検出装置におけるラベリング部により求められる各領域の重心の座標、面積、その領域を含む矩形領域の頂点の座標について説明するための図である。
【図９】本発明の実施の形態に係る障害物検出装置における検出フローについて説明するためのフローチャートである。
【符号の説明】
【００３４】
１００  障害物検出装置
１０１  Ａ／Ｄ変換器
１０２  マスク処理部（マスク処理手段）
１０３ａ、１０３ｂ  巡回型ＬＰＦ
１０４  道路情報記録部
１０５  時定数計算部
１０６  加算器（抽出手段）
１０７  ２値化部（２値化手段）
１０８  孤立点除去部（集合領域生成手段）
１０９  ラベリング部（情報算出手段）
１１０  対応付け部（対応付け手段）
１１１  障害物判断部（判断手段）
１１２  領域情報記録部
１１３  撮像装置
【図１】
2007018340.tif 000010
【図２】
2007018340.tif 000011
【図３】
2007018340.tif 000012
【図４】
2007018340.tif 000013
【図５】
2007018340.tif 000014
【図６】
2007018340.tif 000015
【図７】
2007018340.tif 000016
【図８】
2007018340.tif 000017
【図９】
2007018340.tif 000018