(57)【特許請求の範囲】
【請求項１】
静止した単一カメラの画像を処理することにより、道路又は通路において移動物体を含む環境下で落下物のような正常な状態では存在せず通行の妨げとなるような静止した障害物を検出する方法において、動画像からサンプリングした画像を小領域に切り分け、一つ一つの小領域について前もって準備した移動物体を含まず障害物の存在しない背景画像の対応する領域との正規化相関値と小領域内平均輝度値の計算を一定時間ごとにサンプリングされる画像に対して繰り返し行って、その正規化相関値又は平均輝度値の時間的な変化量がある閾値より小さく、上記閾値よりその変化量の小さい状態が一定期間継続し、その正規化相関値が１以下のある閾値より小さい小領域については静止障害物候補領域と判定し、この判定に基づいて適宜背景画像の更新を行いながら、路上の静止障害物を検出することを特徴とする路上静止障害物検出方法。
【請求項２】
静止した単一カメラの画像を処理することにより、道路又は通路において移動物体を含む環境下で落下物のような正常な状態では存在せず通行の妨げとなるような静止した障害物を検出する方法において、動画像からサンプリングした画像を小領域に切り分け、一つ一つの小領域について前もって準備した移動物体を含まず障害物の存在しない背景画像の対応する領域との正規化相関値と小領域内平均輝度値の計算を一定時間ごとにサンプリングされる画像に対して繰り返し行って、その正規化相関値又は平均輝度値の時間的な変化量がある閾値より小さく、上記閾値よりその変化量の小さい状態が一定期間継続し、その正規化相関値が１以下のある閾値より小さい小領域については静止障害物候補領域と判定し、また画像上での障害物候補領域のつながりについても評価を行い、これらの判定・評価に基づいて適宜背景画像の更新を行いながら、路上の静止障害物を検出することを特徴とする路上静止障害物検出方法。
【請求項３】
静止した単一カメラの画像を処理することにより、道路又は通路において移動物体を含む環境下で落下物のような正常な状態では存在せず通行の妨げとなるような静止した障害物を検出する方法において、前もって準備した移動物体を含まず障害物の存在しない背景画像を小領域に切り分け、一つ一つの小領域について、動画像からサンプリングした画像の対応する位置にあたる領域と、対応する位置から上下左右に少しずつずれた領域それぞれについて正規化相関値の計算を行い、そのうちの最大値をその小領域のその時点での相関値としその最大値の位置で小領域内輝度平均値を計算することを、一定時間ごとにサンプリングされる画像に対して繰り返し行って、その正規化相関値又は平均輝度値の時間的な変化量がある閾値より小さく、上記閾値よりその変化量の小さい状態が一定期間継続し、その正規化相関値が１以下のある閾値より小さい小領域については静止障害物候補領域と判定し、また画像上での障害物候補領域のつながりについても評価を行い、これらの判定・評価に基づいて適宜背景画像の更新を行いながら、路上の静止障害物を検出することを特徴とする路上静止障害物検出方法。
【請求項４】
静止した単一カメラの画像を処理することにより、道路又は通路において移動物体を含む環境下で落下物のような正常な状態では存在せず通行の妨げとなるような静止した障害物を検出する方法において、前もって準備した移動物体を含まず障害物の存在しない背景画像を小領域に切り分け、領域内輝度分散やエッジなどから明瞭なパターンがあり位置ずれに敏感な小領域をあらかじめ数箇所選んでおき、動画像からサンプリングした画像について、まず先に選択した小領域の対応する位置にあたる領域と、対応する位置から上下左右に少しずつずれた領域それぞれについて正規化相関値の計算を行い、そのうちの最大値を与えるずれの量を選択した数箇所について重み付き平均をとることによって、まず背景画像とサンプリングした画像の位置ずれの量を求め、背景画像の全ての小領域について、対応する位置からここで求めた位置ずれの量だけずれた位置の小領域をサンプリング画像から取り出し、正規化相関値と小領域内平均輝度値の計算を行うことを一定時間ごとにサンプリリングされる画像に対して繰り返し行って、その正規化相関値又は平均輝度値の時間的な変化量がある閾値より小さく、上記閾値よりその変化量の小さい状態が一定期間継続し、その正規化相関値が１以下のある閾値より小さい小領域については静止障害物候補領域と判定し、また画像上での障害物候補領域のつながりについても評価を行い、これらの判定・評価に基づいて適宜背景画像の更新を行いながら、路上の静止障害物を検出することを特徴とする路上静止障害物検出方法。
【請求項５】
前記画像上での障害物候補領域のつながりについても評価を行うことを特徴とする請求項２又は３記載の路上静止障害物検出方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、路上の静止障害物を検出する方法に関する。
【０００２】
【従来の技術】
道路や建物内の異常等を非接触で検出する技術として画像処理技術がある。
本方式は、静止した単一カメラの画像を処理することによって、道路又は通路において移動物体を含む環境下で落下物のような正常な状態では存在せず通行の妨げとなるような静止した障害物を検出するものである。
【０００３】
障害物検出の技術としては、車両や移動ロボットなどそれ自身が移動しながら進行方向の障害物を検出するものが多いが、これらは移動しない状態でも障害物の検出が可能である。
これらはステレオカメラ、超音波センサ、レーザなどを用いて距離を計測することで３次元の凹凸を把握し、路面や床面より高い位置にある場合に障害物があると判断するものである。
これにより路上の移動・静止物体が検出される。
【０００４】
また、静止した単一カメラの画像を処理する方法としては次のようなものがある。
まず落下物などのない状態で移動物体を含まない背景画像をあらかじめ用意しておき、この背景画像と現在の画像の差分をとって差の大きい領域には背景には含まれない物体が存在すると判断する（背景差分法、参考文献：画像処理処理産業応用総覧下巻）。
これにより背景にない物体が、移動しているいないに関わらず抽出される。
【０００５】
いずれの方法も移動・静止物体の双方を検出するものであるが、単位時間ごとに繰り返し行うことにより移動物体であるか静止物体であるかの区別は可能である。
後述の画像処理による方法は、移動物体の検出に関する研究が多くなされており、背景画像を適宜更新することにより環境変化に対応し安定して移動物体を検出するといった研究もある。
【０００６】
【発明が解決しようとする課題】
しかし、こういった従来の方法には次のような問題点がある。
移動体の障害物検出でよく用いられる距離を計測する方法では、路面との高さの違いによって物体が存在するかどうかを判定することになるため、板、布、紙といった厚みのあまりないものに関しては検出が難しい。
また画像処理を用いる方法では、天候や時間による明るさや見え方の変化によって背景画像も変化していくため、単純な背景差分では障害物のみを抽出することは困難である。
【０００７】
これに対応するため移動物体の検出を行う場合には背景を適宜更新していく方法がとられるが、この方法でははじめの背景画像には存在しない静止障害物も更新時に背景画像として取り込んでしまうため、静止障害物は検出できなくなってしまう。
これらの問題点を解決する手段として我々は、「静止障害物検出方式」を提案した（特願平２０００−２０６２８９号、以下、「前回提案」と呼ぶ）。
【０００８】
この方法は、道路又は通路において移動物体を含む環境下で、静止した単一カメラの移動物体を含む動画像からサンプリングした画像を小領域に切り分け、一つ一つの小領域について前もって準備した移動物体を含まず障害物の存在しない背景画像の対応する領域との正規化相関を計算することを、一定時間ごとにサンプリングされる画像に対して繰り返す処理することにより、落下物のような正常な状態では存在せず通行の妨げとなるような静止した障害物を検出する方法及び装置に関するもので、▲１▼明るさ変動に強い、▲２▼従来方法では難しかった厚みのあまりない物体に関しても検出が可能である、▲３▼天候や事件経過によるゆっくりと背景が変化する場合にも障害物の検出が可能である、といった利点がある。
【０００９】
しかしながら前回提案の静止障害物検出方式には、以下に示す問題点が存在する。
▲１▼障害物が検出された小領域の画像上での分布については全く考慮していないため、障害物の画像上での大きさは検出できず、一つの障害物でも複数の小領域にわたる大きさの場合には、複数回検出の報告が行われてしまう。
▲２▼正規化相関を使用していることで明るさ変化を誤検出しにくくなるが、あまり明確な模様のない小領域では移動物体の影などを背景更新時に誤って取り込むことがあり、この誤りが後の背景更新に悪影響を及ぼして誤検出につながる場合がある。
【００１０】
▲３▼カメラが振動する場合には画像の微少な位置ずれが起こるため、背景画像との相関値に変化が現れて移動物体の通過中だと誤った判定をする場合が増え、背景の更新が速やかにに進まないため、時間や天候の変化による背景のゆっくりとした見え方の変化を障害物だと誤検出する場合がある。
従って、カメラの設置場所や固定方法の制限のためカメラが振動するような場合には、誤検出の確率が高くなる。
【００１１】
【課題を解決するための手段】
上記課題を解決する本発明の請求項１に係る路上静止障害物検出方法は、静止した単一カメラの画像を処理することにより、道路又は通路において移動物体を含む環境下で落下物のような正常な状態では存在せず通行の妨げとなるような静止した障害物を検出する方法において、動画像からサンプリングした画像を小領域に切り分け、一つ一つの小領域について前もって準備した移動物体を含まず障害物の存在しない背景画像の対応する領域との正規化相関値と小領域内平均輝度値の計算を一定時間ごとにサンプリングされる画像に対して繰り返し行って、その正規化相関値又は平均輝度値の時間的な変化量がある閾値より小さく、上記閾値よりその変化量の小さい状態が一定期間継続し、その正規化相関値が１以下のある閾値より小さい小領域については静止障害物候補領域と判定し、この判定に基づいて適宜背景画像の更新を行いながら、路上の静止障害物を検出することを特徴とする。
【００１２】
上記課題を解決する本発明の請求項２に係る路上静止障害物検出方法は、静止した単一カメラの画像を処理することにより、道路又は通路において移動物体を含む環境下で落下物のような正常な状態では存在せず通行の妨げとなるような静止した障害物を検出する方法において、動画像からサンプリングした画像を小領域に切り分け、一つ一つの小領域について前もって準備した移動物体を含まず障害物の存在しない背景画像の対応する領域との正規化相関値と小領域内平均輝度値の計算を一定時間ごとにサンプリングされる画像に対して繰り返し行って、その正規化相関値又は平均輝度値の時間的な変化量がある閾値より小さく、上記閾値よりその変化量の小さい状態が一定期間継続し、その正規化相関値が１以下のある閾値より小さい小領域については静止障害物候補領域と判定し、また画像上での障害物候補領域のつながりについても評価を行い、これらの判定・評価に基づいて適宜背景画像の更新を行いながら、路上の静止障害物を検出することを特徴とする。
【００１３】
上記課題を解決する本発明の請求項３に係る路上静止障害物検出方法は、静止した単一カメラの画像を処理することにより、道路又は通路において移動物体を含む環境下で落下物のような正常な状態では存在せず通行の妨げとなるような静止した障害物を検出する方法において、前もって準備した移動物体を含まず障害物の存在しない背景画像を小領域に切り分け、一つ一つの小領域について、動画像からサンプリングした画像の対応する位置にあたる領域と、対応する位置から上下左右に少しずつずれた領域それぞれについて正規化相関値の計算を行い、そのうちの最大値をその小領域のその時点での相関値としその最大値の位置で小領域内輝度平均値を計算することを、一定時間ごとにサンプリングされる画像に対して繰り返し行って、その正規化相関値又は平均輝度値の時間的な変化量がある閾値より小さく、上記閾値よりその変化量の小さい状態が一定期間継続し、その正規化相関値が１以下のある閾値より小さい小領域については静止障害物候補領域と判定し、また画像上での障害物候補領域のつながりについても評価を行い、これらの判定・評価に基づいて適宜背景画像の更新を行いながら、路上の静止障害物を検出することを特徴とする。
【００１４】
上記課題を解決する本発明の請求項４に係る路上静止障害物検出方法は、静止した単一カメラの画像を処理することにより、道路又は通路において移動物体を含む環境下で落下物のような正常な状態では存在せず通行の妨げとなるような静止した障害物を検出する方法において、前もって準備した移動物体を含まず障害物の存在しない背景画像を小領域に切り分け、領域内輝度分散やエッジなどから明瞭なパターンがあり位置ずれに敏感な小領域をあらかじめ数箇所選んでおき、動画像からサンプリングした画像について、まず先に選択した小領域の対応する位置にあたる領域と、対応する位置から上下左右に少しずつずれた領域それぞれについて正規化相関値の計算を行い、そのうちの最大値を与えるずれの量を選択した数箇所について重み付き平均をとることによって、まず背景画像とサンプリングした画像の位置ずれの量を求め、背景画像の全ての小領域について、対応する位置からここで求めた位置ずれの量だけずれた位置の小領域をサンプリング画像から取り出し、正規化相関値と小領域内平均輝度値の計算を行うことを一定時間ごとにサンプリリングされる画像に対して繰り返し行って、その正規化相関値又は平均輝度値の時間的な変化量がある閾値より小さく、上記閾値よりその変化量の小さい状態が一定期間継続し、その正規化相関値が１以下のある閾値より小さい小領域については静止障害物候補領域と判定し、また画像上での障害物候補領域のつながりについても評価を行い、これらの判定・評価に基づいて適宜背景画像の更新を行いながら、路上の静止障害物を検出することを特徴とする。
【００１５】
上記課題を解決する本発明の請求項５に係る路上静止障害物検出方法は、請求項２又は３記載の方法における前記画像上での障害物候補領域のつながりについても評価を行うことを特徴とする。
【００１６】
【発明の実施の形態】
〔実施例１〕基本的な考え方
本方式は、移動物体を含む動画像からサンプリングした画像を小領域に切り分け、図１に示すように、一つ一つの小領域について前もって準備した移動物体を含まず障害物の存在しない背景画像の対応する領域との正規化相関と小領域内の全画素の輝度平均値の計算を、一定時間ごとにサンプリングされる画像に対して繰り返す。
小領域は、図１中では高さＬ、幅Ｋとした。
正規化相関は、例えば、式（１）により求められる。
【００１７】
【数１】
0004254045.tif 000002
【００１８】
図２に、ある小領域についてその相関値と輝度平均値の時間変化をグラフにした例を示す。
図２の区間Ａのようにある小領域についてこの相関値又は輝度平均値の変化量が大きければ移動物体が通過中であると判断し、また、図２の区間Ｂ、Ｃのように相関値と輝度平均値の両方の変化量が小さい状態が一定回数以上連続すればその小領域に写っているのは背景であると判断できる。
このようにして背景と見なされた小領域の相関値が、図２の区間Ｂのように、１に近い値であれば、前もって準備した背景画像の対応する小領域と同じ画像であることになるので背景更新候補領域とする。
【００１９】
また、図２の区間Ｃのように相関値がある閾値より小さい場合、この小領域を前もって準備した背景画像には写っていない静止物体が存在する静止障害物候補領域とする。
画像中の全ての小領域について上記の処理が行われた後、移動物体が通過中であると判断される小領域以外で相関値がある閾値より小さい領域（図３のフローチャート中では物体領域と表現、以下、物体領域と呼ぶ。）についてラベリングを行うことで障害物の画像上でのおおまかな大きさがわかる。
【００２０】
よって、静止障害物候補領域に関して同じラベルであれば同一の物体であると判断できるため、同一物体の検出の報告は一度だけで済む。
ここにいうラベリングとは、画像上での障害物候補領域のつながりについても評価を行うことを言う。
一般には２値画像では、画素値０の背景の中に、画素値１の領域が散在する場合に、この領域に番号をつける操作をいい、領域を画素値１の画素の集合として表す場合、最短距離で隣接する４画素のみの接続を考える場合（４連結成分という）と、斜め方向に隣接する４画素を含めた計８画素で考える場合（８連結成分がある（参考文献：改訂画像工学１７４頁）。
次に、物体の影などを誤って背景として取り込まないように、背景更新候補領域のうち物体領域に隣接していない領域についてのみ背景の更新を行う。
【００２１】
本実施例に係る路上静止障害物検出方法のフローチャートを図３及び図４に示す。
先ず、移動物体を含む動画像からサンプリングした現在の画像を取り込み（ステップＳ１）、その後、相関計算の済んでいない小領域を選択し（ステップＳ２）、その小領域について背景画像との正規化相関を式（１）に従って計算し（ステップＳ３）、小領域内画素の平均輝度を計算する（ステップＳ４）。
【００２２】
次に、計算した相関値又は平均輝度値の時間的な変化量が小さく（ステップＳ５）、相関値が１に近く（ステップＳ６，Ｓ９）、その小さな変化量がＮ（Ｎは自然数）回連続すれば（ステップＳ８）、前もって準備した背景画像の対応する小領域と同じ画像であることになるので背景更新候補領域であると判定する（ステップＳ１０）。
計算した相関値又は平均輝度値の時間的な変化量が小さいが（ステップＳ５）相関値が１に近くないときは（ステップＳ６）、物体領域であると判定する（ステップＳ７）。
【００２３】
計算した相関値又は平均輝度値の時間的な変化量が小さく（ステップＳ５）、相関値が１に近くなく（ステップＳ６，Ｓ９）、その小さな変化量がＮ（Ｎは自然数）回連続すれば（ステップＳ８）、この小領域を前もって準備した背景画像には写っていない静止物体が存在する静止障害物候補領域と判定する（ステップＳ１１）。
尚、計算した相関値又は平均輝度値の時間的な変化量が小さくないか（ステップＳ５）、小さな変化量がＮ（Ｎは自然数）回連続しないときは（ステップＳ８）、その小領域において静止障害物が検出されないことになる。
【００２４】
その後、全領域について上述した判断が済んでいない場合は（ステップＳ１２）、相関計算の済んでいない小領域の選択（ステップＳ２）へ戻り、全ての小領域について上記処理が行われたら（ステップＳ１２）、物体領域のラベリングを行う（ステップＳ１３）。
そして、静止障害物候補領域を選択し（ステップＳ１５）、検出報告済ラベルでなければ（ステップＳ１４）、検出報告を行い（ステップＳ１７）、検出報告済ラベルを保存し（ステップＳ１９）、また、検出報告済ラベルであれば（ステップＳ１６）、全ての候補領域について選択が済むまで静止障害物候補領域の選択を繰り返す（ステップＳ１５）。
【００２５】
更に、背景更新候補領域を選択し（ステップＳ１９）、物体領域に隣接しなければ（ステップＳ２０）、背景を更新し（ステップＳ２１）、物体領域に隣接すれば（ステップＳ２０）、全ての候補領域について選択が済むまで背景更新候補領域の選択を繰り返す（ステップＳ２２）。
【００２６】
〔実施例２〕カメラ振動への対応
本実施例では、実施例１において現在の画像と背景画像の対応する小領域について正規化相関値の計算を行う処理に代えて、図５に示すように現在画像の対応する小領域位置と上下左右に少しずつずらした位置でそれぞれ正規化相関値を計算してその最大値を以降の判定で使用する相関値とする。
また平均輝度はその最大値の場所で算出する。
図４では、振動方向が左右方向のみであるとして、左右方向のずれのみ考慮し、右又は左にずれた小領域について正規化相関値を計算し最大値を求めている。
【００２７】
〔実施例３〕カメラ振動への対応
本実施例では、実施例１において現在の画像と背景画像の対応する小領域について正規化相関値の計算を行う処理に代えて、次のように変更する。
即ち、背景画像についてあらかじめ小領域内画素の輝度分散やエッジなどを計算して明瞭なパターンがあって振動に敏感な小領域を複数箇所選んでおき、これらの領域について、実施例２と同様に対応する小領域位置と上下左右に少しずつずらした位置でそれぞれ正規化相関値を計算して、その最大値を与えるずれの量をそれぞれの小領域について求める。
【００２８】
このずれの量を先に求めた正規化相関最大値に従って重み付けして平均をとり、背景画像に対する現在画像の位置ずれとする。
重み付け平均をとることで図５のＡのように物体が通過中の領域の影響を小さくできる。
全ての小領域についてここで求めた画像位置ずれ分ずらして背景画像との正規化相関値と平均輝度値を計算する。
【００２９】
〔実施例４〕輝度変化量の算出方式
実施例１の方法では小領域内画素の輝度値の平均の変化量を使っているが、正規化相関の計算で求めている小領域内画素の輝度値の二乗平均平方根（式（１）の分母部）を求めているので、この値の変化量を輝度変化量として、実施例１と同様のフローで静止物体を検出する。
【００３０】
【発明の効果】
以上、実施例に基づいて具体的に説明したように、本発明によれば、以下の効果を奏する。
１）カメラ映像中の静止した路上障害物を検出できる。
２）背景画像との相関値の変化量に加え輝度平均値の変化量も利用することにより、前回提案の方法では明確なパターンのない小領域において起こりがちな背景更新の誤りを防ぐことができるので、誤検出の確率を下げられる。
３）背景画像との相関値の変化量に加え輝度平均値の変化量の時系列変化から抽出された静止障害物候補領域について、その画像上での２次元のつながりを評価することにより静止障害物のおおまかな大きさを検出することができ、また複数領域にわたる大きさの静止障害物の検出を複数回報告するのを防ぐことができる。
４）実施例２よりカメラが振動するような場合における誤検出の確率を下げることができる。
５）実施例３によれば、実施例２よりも少ない計算量でカメラが振動するような場合における誤検出の確率をさげることができる。
６）実施例４によれば、背景画像との相関の計算と同時に輝度値も算出できるため、実施例１より計算量を減らすことができる。
【図面の簡単な説明】
【図１】小領域に区分された現在の画像と背景画像とを示す説明図である。
【図２】正規化相関値と平均輝度の時間推移を示すグラフである。
【図３】静止障害物を検出するフローチャートである。
【図４】静止障害物を検出するフローチャートである。
【図５】現在画像の対応する小領域位置と上下左右に少しずつずらした位置を示す説明図である。
【図６】明瞭なパターンがあって振動に敏感な小領域を複数箇所選んでおき、これらの領域について、正規化相関の最大値を与える位置ズレを求める方法を示す説明図である。
【符号の説明】
Ｋ  小領域の高さ
Ｌ  小領域の高さ
【図１】
0004254045.tif 000003
【図２】
0004254045.tif 000004
【図３】
0004254045.tif 000005
【図４】
0004254045.tif 000006
【図５】
0004254045.tif 000007
【図６】
0004254045.tif 000008