(57)【特許請求の範囲】
【請求項１】
動画像を入力する画像入力手段と、その入力された動画像から速度ベクトルの分布状態を示すオプティカルフローを算出し、各画素における速度ベクトルの値が予め設定されたしきい値以上になっている点で白レベルとなり、そのしきい値よりも小さくなっている点で黒レベルとなる処理を行うオプティカルフロー演算手段と、その処理画像を非線形振動ユニットにおける振動の引き込み現象によって連続的に移動する白部分のかたまりであるクラスタを抽出するクラスタ抽出手段とをそなえ、その抽出されたクラスタにもとづいて移動物体を検出することを特徴とする移動物体検出装置。
【請求項２】
複数の非線形ユニットがマトリクス状に配設されたセルブロックを用いてクラスタを抽出するようにしたことを特徴とする請求項１の記載による移動物体検出装置。
【発明の詳細な説明】
【０００１】
【産業上の利用分野】
本発明は、動画像のなかに存在する移動物体を画像処理によって検出する移動物体検出装置に関する。
【０００２】
【従来の技術】
従来、動画像のなかから移動物体を検出する方法として、動画像のフレーム間における濃度の差分をとり、そのフレーム間を差分した画像のなかから、あらかじめ設定された濃度のしきい値を用いて濃度の変化領域を抽出して、その抽出領域に対応するものが移動物体であるとしてそれを検出するようにしている。
【０００３】
しかし、このような方法によるのでは、フレーム間の濃度の差分によって画像中の移動物体を検出するためには移動物体を撮像する側が静止状態にある必要があり、撮像側が移動している状態では背景の動きにも濃度変化が生じて背景と移動物体との判別ができないものとなっている。
【０００４】
また、従来、移動体に搭載されたカメラによって外界を撮像することによって得られる動画像から、空間的な濃度勾配と時間的な濃度勾配とを用いて速度ベクトルの分布状態を示すオプティカルフローを算出し、その得られたオプティカルフローに基いて移動体の三次元的な動きを認識する方法が提案されている（Ｕ．Ｓ．Ｐａｔｅｎｔ  Ｎｏ．４，９８０，７６２参照）。
【０００５】
しかし、このような方法によるのでは、動画像の撮像側である移動体の移動にともなう画像全体の平行移動または回転移動を検出することができるが、画像中に存在する他の移動物体を検出することができないものとなっている。
【０００６】
【発明が解決しようとする課題】
解決しようとする問題点は、動画像の入力側が移動している状況下で、その入力された動画像のなかから移動物体を画像処理によって検出することができないことである。
【０００７】
【課題を解決するための手段】
本発明は、動画像中に移動物体があると、その動画像から得られたオプティカルフローが移動物体に対応する部分で偏よりを生ずる点に着目してなされたもので、動画像の入力側が移動している状況下で、その入力された動画像のなかから移動物体を確実に検出できるようにするべく、動画像を入力する画像入力手段と、その入力された動画像から速度ベクトルの分布状態を示すオプティカルフローを算出し、各画素における速度ベクトルの値が予め設定されたしきい値以上になっている点で白レベルとなり、そのしきい値よりも小さくなっている点で黒レベルとなる処理を行うオプティカルフロー演算手段と、その処理画像を非線形振動ユニットにおける振動の引き込み現象によって連続的に移動する白部分のかたまりであるクラスタを抽出するクラスタ抽出手段とをそなえ、その抽出されたクラスタにもとづいて移動物体を検出するようにしている。
【０００８】
【実施例】
本発明による移動物体検出装置は、図１に示すように、車両に搭載され、その進行方向の領域をビデオカメラにより連続的に撮像して動画像を得る画像入力部１と、その連続的に撮像される各画像を画素単位でサンプリングして濃度に関するデータを得て、動画像の空間的な濃度勾配と時間的な濃度勾配とにしたがう、画像上での速度ベクトルの分布状態を示すオプティカルフローを算出するオプティカルフロー演算部２と、その算出されたオプティカルフローのなかからオプティカルフローの偏り部分に対応したクラスタを抽出するクラスタ抽出部３と、その抽出されたクラスタに応じて入力された動画像中に存在する移動物体を検出する移動物体検出部４とによって構成されている。
【０００９】
オプティカルフロー演算部２におけるオプティカルフローの算出としては、例えば、文献「Ａｒｔｉｆｉｃａｌ  Ｉｎｔｅｌｉｇｅｎｃｅ」  Ｖｏｌ．１７．Ｎｏ．１−３（１９８１）の第１８５ないし２０３頁、Ｂｅｒｔｈｏｌｄ  Ｋ．Ｐ．Ｈｏｒｎ  ａｎｄ  Ｂｒｉａｎ  Ｇ．Ｓｃｈｕｎｃｋ著による”Ｄｅｔｅｒｍｉｎｉｎｇ  Ｏｐｔｉｃａｌ  Ｆｌｏｗ”に記載されている従来の手法がそのまま用いられる。
【００１０】
この実施例では、オプティカルフロー演算部２において、さらに、算出されたオプティカルフローにもとづいて、各画素における速度ベクトルの値が予め設定されたしきい値以上になっている点で白レベル信号の出力を生じ、そうでない点で黒レベル信号の出力を生ずるような処理を行うようにしている。
【００１１】
例えば、図２に示すような入力画像に対するオプティカルフロー演算部２の出力は、図３に示すような状態になる。図中、白部分が速度ベクトルの値が予め設定されたしきい値以上になっている画素の点の集合である。
【００１２】
そして、そのオプティカルフロー演算部２の出力がクラスタ抽出部３に与えられて、オプティカルフローの偏り部分に対応したクラスタの抽出が行われる。
【００１３】
この実施例では、クラスタ抽出部３において、図５に示すように、ニューロオシレータとして、１つの非線形振動ユニットＵｉｊ（ｉ＝０〜Ｉ，ｊ＝０〜Ｊ）を画素単位として、それを入力画像に応じた画素構成と同じになるように、各隣接する振動ユニットが所定の結合値をもって接続されるようにして、マトリクス状に配設することによって形成されるセルブロック５を用いて、クラスタの抽出を以下のように行わせるようにしている。
【００１４】
なお、ニューロオシレータ自体は、例えば、特開昭６２−１０３７７３号公報に記載されているように公知である。
【００１５】
１つの非線形振動ユニットＵｉｊは、図６に示すように、２つの振動子ｕ１，ｕ２が順，逆符号で結合されて、非線形振動を行うように形成されている。図中、白丸が順符号の結合（興奮結合）を、黒丸が逆符号の結合（抑制結合）をそれぞれ示している。
【００１６】
非線形振動ユニットＵｉｊの入力ｖｉｊにはオプティカルフロー演算部２の対応する点におけるの出力が与えられて、その出力が白レベル信号であるときに非線形振動ユニットＵｉｊが興奮し、その出力が黒レベル信号であるときに非線形振動ユニットＵｉｊが抑制するように設定されている。
【００１７】
このようなセルブロック５を用いたクラスタ抽出部３にあって、そのセルブロック５に動画像を処理したときのオプティカルフロー演算部２の出力を連続的に与えると、動画像中に移動物体Ｍ（図２参照）が存在する場合、その対応する画素領域にある各非線形振動ユニットＵｉｊの振動の引き込み現象によって、連続的に移動する白部分のかたまりであるクラスタが抽出される。
【００１８】
その際、クラスタ抽出部３は、ノイズ成分を除去するために、大きさが予め設定したしきい値以上となるクラスタのみを抽出するようにしている。
【００１９】
そして、移動物体検出部４は、クラスタ抽出部３において抽出されたクラスタから、動画像中に存在する移動物体Ｍを２次元的な位置情報をもって検出するが、その際、移動物体Ｍのチラツキのない安定した検出出力を得ることができるように、抽出されたクラスタに対応する各非線形振動ユニットＵｉｊの出力ｏｉｊをそれぞれ所定時間積分して、その積分値が予め設定したしきい値以上となる点の集合を移動体Ｍの検出結果とするようにしている。
【００２０】
図４に、図２の入力画像中に存在する移動物体Ｍの検出出力の状態を示している。
【００２１】
【発明の効果】
以上、本発明による移動物体検出装置にあっては、動画像を入力する画像入力手段と、その入力された動画像から速度ベクトルの分布状態を示すオプティカルフローを算出し、各画素における速度ベクトルの値が予め設定されたしきい値以上になっている点で白レベルとなり、そのしきい値よりも小さくなっている点で黒レベルとなる処理を行うオプティカルフロー演算手段と、その処理画像を非線形振動ユニットにおける振動の引き込み現象によって連続的に移動する白部分のかたまりであるクラスタを抽出するクラスタ抽出手段とをそなえ、その抽出されたクラスタにもとづいて移動物体を検出するようにしたもので、動画像の入力側が移動している状況下で、その入力された動画像のなかから移動物体をノイズの影響を受けることなく確実に検出することができ、特に低品質のオプティカルフローからでもデータを補間して移動物体の検出と認識が容易になるという利点を有している。
【００２２】
また、本発明による移動物体検出装置は、特に非線形振動ユニットを複数のセルマトリクスによって構成するようにしたもので、振動の引き込み現象によって移動物体の検出を容易に行わせることができるという利点を有している。
【図面の簡単な説明】
【図１】本発明による移動物体検出装置の一実施例を示すブロック構成図である。
【図２】入力画像の一例を示す図である。
【図３】同実施例におけるオプティカルフロー演算部の出力状態の一例を示す図である。
【図４】図２の入力画像中に存在する移動物体の検出出力の状態を示す図である。
【図５】画素単位による非線形振動ユニットを入力画像の画素構成に対応してマトリクス状に配設したセルブロックを示す図である。
【図６】非線形振動ユニットの構成を示す図である。
【符号の説明】
１  画像入力部
２  オプティカルフロー演算部
３  クラスタ抽出部
４  移動物体検出部
５  セルブロック
Ｍ  移動物体
【図１】
0003600964.tif 000002
【図２】
0003600964.tif 000003
【図３】
0003600964.tif 000004
【図４】
0003600964.tif 000005
【図５】
0003600964.tif 000006
【図６】
0003600964.tif 000007