(57)【特許請求の範囲】
【請求項１】
動画像からサンプリングした画像を小領域に切り分け、一つ一つの小領域について予め準備した移動物体を含まず障害物の存在しない背景画像の対応する領域との正規化相関値の計算を一定時間ごとにサンプリングされる画像に対して繰り返し行って、正規化相関値の大きさがある閾値より小さく、正規化相関値の変化量が小さい状態が一定期間継続している小領域については静止障害物があると判定することにより、路上の静止障害物を検出することを特徴とする静止障害物検出方式。
【請求項２】
動画像からサンプリングした画像を小領域に切り分け、一つ一つの小領域について予め準備した移動物体を含まず障害物の存在しない背景画像の対応する領域との正規化相関値の計算を一定時間ごとにサンプリングされる画像に対して繰り返し行って、正規化相関値の大きさがある閾値より小さく、正規化相関値の変化量が小さい状態が一定期間継続している小領域については静止障害物があると判定し、また、正規化相関値の大きさが１に近く、正規化相関値の変化量が小さい状態が一定期間継続している小領域については背景画像としての更新も適宜行いながら、路上の静止障害物を検出することを特徴とする静止障害物検出方式。
【請求項３】
動画像からサンプリングした画像を小領域に切り分け、一つ一つの小領域について予め準備した移動物体を含まず障害物の存在しない背景画像の対応する領域との正規化相関値の計算を一定時間ごとにサンプリングされる画像に対して繰り返し行って、正規化相関値の大きさがその小領域の画像の輝度値に応じて設定される閾値より小さく、正規化相関値の変化量が小さい状態が一定期間継続している小領域については静止障害物があると判定することにより、路上の静止障害物を検出することを特徴とする静止障害物検出方式。
【請求項４】
静止した単一の撮像装置により時系列的に取り込まれた画像と、予め前記撮像装置で取り込まれた移動物体を含まず障害物の存在しない背景画像とを小領域毎に正規化相関値により比較し、正規化相関値の大きさがある閾値より小さく、正規化相関値の変化量が小さい状態が一定期間継続している小領域については静止障害物があると判断することを特徴とする静止障害物検出方式。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、静止障害物検出方式に関する。詳しくは、静止した単一カメラの画像を処理することにより、道路又は通路において移動物体を含む環境下で落下物のような正常な状態では存在せず通行の妨げとなるような静止した障害物を検出する方法に関するものである。
【０００２】
【従来の技術】
道路や建物内の異常等を非接触で検出する技術として画像処理技術がある。
また、障害物検出の技術としては、車両や移動ロボットなどそれ自身が移動しながら進行方向の障害物を検出するものが多いが、これらは移動しない状態でも障害物の検出が可能である。
【０００３】
これらはステレオカメラ、超音波センサ、レーザなどを用いて距離を計測することで３次元の凹凸を把握し、路面や床面より高い位置にある場合に障害物があると判断するものである。
これにより路上の移動・静止物体が検出される。
【０００４】
また、静止した単一カメラの画像を処理する背景差分法としては、落下物などのない状態で移動物体を含まない背景画像を予め用意しておき、この背景画像と現在の画像の差分をとって差の大きい領域には背景には含まれない物体が存在すると判断するものがある（参考文献：画像処理産業広用総覧下巻）。
これにより背景にない物体が、移動しているいないに関わらず抽出される。
【０００５】
いずれの方法も移動・静止物体の双方を検出するものであるが、単位時間ごとに繰り返し行うことにより、移動物体であるか静止物体であるかの区別は可能である。
後述の画像処理による方法は、移動物体の検出に関する研究が多くなされており、背景画像を適宜更新することにより環境変化に対応し、安定して移動物体を検出するといった研究もある。
【０００６】
【発明が解決しようとする課題】
移動体の障害物検出でよく用いられる距離を計測する方法では、路面との高さの違いによって物体が存在するかどうかを判定することになるため、板、布、紙といった厚みのあまりないものに関しては検出が難しい。
また、画像処理を用いる方法では、天候や時間による明るさや見え方の変化によって背景画像も変化していくため、単純な背景差分では障害物のみを抽出することは困難である。
これに対応するため、移動物体の検出を行う場合には背景を適宜更新していく方法がとられるが、この方法では始めの背景画像には存在しない静止障害物も更新時に背景画像として取り込んでしまうため、静止障害物は検出できなくなってしまう。
【０００７】
【課題を解決するための手段】
上記課題を解決する本発明の請求項１に係る静止障害物検出方式は、動画像からサンプリングした画像を小領域に切り分け、一つ一つの小領域について予め準備した移動物体を含まず障害物の存在しない背景画像の対応する領域との正規化相関値の計算を一定時間ごとにサンプリングされる画像に対して繰り返し行って、正規化相関値の大きさがある閾値より小さく、正規化相関値の変化量が小さい状態が一定期間継続している小領域については静止障害物があると判定することにより、路上の静止障害物を検出することを特徴とする。
【０００８】
上記課題を解決する本発明の請求項２に係る静止障害物検出方式は、動画像からサンプリングした画像を小領域に切り分け、一つ一つの小領域について予め準備した移動物体を含まず障害物の存在しない背景画像の対応する領域との正規化相関値の計算を一定時間ごとにサンプリングされる画像に対して繰り返し行って、正規化相関値の大きさがある閾値より小さく、正規化相関値の変化量が小さい状態が一定期間継続している小領域については静止障害物があると判定し、また、正規化相関値の大きさが１に近く、正規化相関値の変化量が小さい状態が一定期間継続している小領域については背景画像としての更新も適宜行いながら、路上の静止障害物を検出することを特徴とする。
【０００９】
上記課題を解決する本発明の請求項３に係る静止障害物検出方式は、動画像からサンプリングした画像を小領域に切り分け、一つ一つの小領域について予め準備した移動物体を含まず障害物の存在しない背景画像の対応する領域との正規化相関値の計算を一定時間ごとにサンプリングされる画像に対して繰り返し行って、正規化相関値の大きさがその小領域の画像の輝度値に応じて設定される閾値より小さく、正規化相関値の変化量が小さい状態が一定期間継続している小領域については静止障害物があると判定することにより、路上の静止障害物を検出することを特徴とする。
【００１０】
上記課題を解決する本発明の請求項４に係る静止障害物検出方式は、静止した単一の撮像装置により時系列的に取り込まれた画像と、予め前記撮像装置で取り込まれた移動物体を含まず障害物の存在しない背景画像とを小領域毎に正規化相関値により比較し、正規化相関値の大きさがある閾値より小さく、正規化相関値の変化量が小さい状態が一定期間継続している小領域については静止障害物があると判断することを特徴とする。
【００１１】
【発明の実施の形態】
１）基本的な考え方
本方式は、図１に示すように、移動物体を含む動画像からサンプリングした画像（現在の画像）を小領域に切り分け、一つ一つの小領域について予め準備した移動物体を含まず、障害物の存在しない背景画像の対応する小領域との正規化相関を計算することを、一定時間ごとにサンプリングされる画像に対して繰り返す。
図１は、画像を縦横に分割して小領域（高さＬ、幅Ｋ）としたものである。
正規化相関の計算式は、例えば、式（１）がある。
【００１２】
【数１】
0004254022.tif 000002
【００１３】
ある小領域についてその相関値の時間変化をグラフにした例を図２に示す。
図２の区間Ａに示すように、ある小領域についてこの相関値の変化量が大きければ、移動物体が通過中であると判断し、また、図２の区間Ｂ、Ｃに示すように、相関値の変化量が小さい状態が一定回数以上連続すれば、その小領域に写っているのは背景であると判断できる。
このようにして背景と見なされた小領域の相関値が、図２の区間Ｂに示すように、１に近い値であれば、予め準備した背景画像の対応する小領域と同じ画像であることになる。
【００１４】
しかし、図２の区間Ｃに示すように、ある閾値より小さければ、この小領域には予め準備した背景画像には写っていない静止物体が存在すると判断できる。そこで、図３のフローチャートに示すように、先ず、移動物体を含む動画像からサンプリングした現在の画像を取り込み（ステップＳ１）、次いで、相関計算の済んでいない小領域を選択し（ステップＳ２）、その小領域について背景画像との正規化相関を式（１）に従って計算する（ステップＳ３）。
【００１５】
そして、計算した相関値の時間的な変化量が小さく（ステップＳ４）、その小さな変化量がＮ（Ｎは自然数）回連続し（ステップＳ５）、かつ、相関値が１に近くないとき（ステップＳ６）、その小領域において静止障害物が検出したと判断する（ステップＳ７）。
尚、計算した相関値の時間的な変化量が小さくないか（ステップＳ４）、小さな変化量がＮ（Ｎは自然数）回連続しないか（ステップＳ５）、或いは、相関値が１に近いとき（ステップＳ６）、その小領域において静止障害物が検出されないことになる。
【００１６】
その後、全領域について上述した判断が済んでいない場合は（ステップＳ８）、相関計算の済んでいない小領域の選択（ステップＳ２）へ戻り、全領域について、上述した判断を繰り返す。
【００１７】
２）背景画像の更新
基本的な考え方で説明したように、相関値の変化量が小さい状態が一定回数以上連続し相関値が１に近い値となった小領域について、現在の画像の小領域を背景画像の対応する小領域と置き換えることにより、背景画像を更新する。
【００１８】
即ち、図４のフローチャートに示すように、先ず、移動物体を含む動画像からサンプリングした現在の画像を取り込み（ステップＴ１）、次いで、相関計算の済んでいない小領域を選択し（ステップＴ２）、その小領域について背景画像との正規化相関を式（１）に従って計算する（ステップＴ３）。
【００１９】
そして、計算した相関値の時間的な変化量が小さく（ステップＴ４）、その小さな変化量がＮ（Ｎは自然数）回連続し（ステップＴ５）、かつ、相関値が１に近くないとき（ステップＴ６）、その小領域において静止障害物が検出したと判断する（ステップＴ７）。
【００２０】
一方、計算した相関値の時間的な変化量が小さく（ステップＴ４）、その小さな変化量がＮ（Ｎは自然数）回連続し（ステップＴ５）、かつ、相関値が１に近いとき（ステップＴ６）、その小領域の画像を背景に上書き、つまり、置き換えることにより、背景画像を更新する（ステップＴ９）。
その後、全領域について上述した判断が済んでいない場合は（ステップＴ８）、相関計算の済んでいない小領域の選択（ステップＴ２）へ戻り、全領域について、上述した判断を繰り返す。
【００２１】
３）閾値の設定
正規化相関の計算式は、例えば、式（１）に示すとおりであるが、この式の分母（以後Ｄと呼ぶ）がそれぞれの画像領域の輝度値の２乗和の平方根の積であるため、輝度値の小さい暗い領域では明るい領域に比べて、量子化誤差及びノイズによる輝度値の変化の影響が大きく現れることになる。
【００２２】
そこで、正規化相関値から計算した値を閾値と比較して判定を行う場合には、閾値を一定値とせず、Ｄの関数として設定することで、領域の明暗による量子化誤差及びノイズの影響の違いを吸収できる。
ここでは、そのような閾値として、正規化相関値の変化量の大小を判定する閾値ｖ（ｉ，ｊ）と背景画像との一致度（正規化相関値が１に十分近いかどうか）を判定する閾値Ｗ（ｉ，ｊ）の２つがある。
これらの閾値を、例えばそれぞれ式（２）、（３）に示すように設定する。
【００２３】
【数２】
0004254022.tif 000003
【００２４】
【発明の効果】
以上、実施例に基づいて具体的に説明したように、本発明によれば、以下の効果を奏する。
（１）カメラ映像中の静止した路上障害物を検出できる。
（２）正規化相関を使うことで明るさの変動による誤検出が減る。
（３）板、布、紙といった厚みの小さいものも検出できる。
（４）背景画像を適宜更新すれば、時刻による影の移動や、天候、時間によるゆっくりとした背景変化を誤って検出する確率を減らすことができる。
（５）背景画像の更新に際して静止障害物を背景画像に取り込むことを防げる。
（６）ノイズや量子化誤差の影響を小領域の明暗によらず均等化できるので、より安定した検出が可能になる。
【図面の簡単な説明】
【図１】小領域に区分された現在の画像と背景画像とを示す説明図である。
【図２】背景画像との正規化相関値時間推移を示すグラフである。
【図３】静止障害物を検出するフローチャートである。
【図４】障害物を検出すると共に背景更新を行うフローチャートである。
【符号の説明】
Ａ，Ｂ，Ｃ  区間
【図１】
0004254022.tif 000004
【図２】
0004254022.tif 000005
【図３】
0004254022.tif 000006
【図４】
0004254022.tif 000007