(57)【要約】【課題】この発明は、入力画像中での移動量が小さい接近物体も検出できる。また、遅いオプティカルフローを検出する処理において、誤検出されたオプティカルフローを削除でき、接近物体の誤検出を防ぐことができる。【解決手段】この発明は、入力画像をδｔの時間間隔で取り込み、入力画像系列で隣接する画像同士からオプティカルフローを計算する第１のオプティカルフロー検出部と、入力画像系列でｎ個離れた画像同士からオプティカルフローを計算する第２のオプティカルフロー検出部を備えた、速い接近物体に加え、遅い接近物体も検出可能とするようにしたものである。【選択図】　　図５
2004088599.tif 000002
【特許請求の範囲】
【請求項１】
映像を撮影する撮影手段と、
この撮影手段により撮影された映像から異なる複数の時間間隔でオプティカルフローを検知する検知手段と、
この検知手段の検知結果により、上記撮影手段の撮影に基づいて速い移動物体と遅い移動物体とを判断する判断手段と、
を具備したことを特徴とする画像監視装置。
【請求項２】
映像を撮影する撮影手段と、
この撮影手段により撮影された映像を所定の時間間隔で取込む取込手段と、
この取込手段により取込んだ映像ごとのオプティカルフローを検知する第１の検知手段と、
この第１の検知手段の検知結果により、上記撮影手段の撮影に基づいて速い移動物体を判断する第１の判断手段と、
上記取込手段により取込んだ複数の映像ごとのオプティカルフローを検知する第２の検知手段と、
この第２の検知手段の検知結果により、上記撮影手段の撮影に基づいて遅い移動物体を判断する第２の判断手段と、
を具備したことを特徴とする画像監視装置。
【請求項３】
映像を撮影する撮影手段と、
この撮影手段により撮影された映像を所定の時間間隔で取込む取込手段と、
この取込手段により取込んだ映像ごとの短い時間間隔でオプティカルフローを検知する第１の検知手段と、
上記取込手段により取込んだ複数の映像ごとの長い時間間隔でオプティカルフローを検知する第２の検知手段と、
この第２の検知手段によりオプティカルフローを検知した位置において、上記第２の検知手段によりオプティカルフローを検知する間に、上記第１の検知手段によりオプティカルフローを検知した際に、上記第２の検知手段によるオプティカルフローを削除する削除手段と、
この削除手段により削除されなかった上記第２の検知手段によるオプティカルフローにより、上記撮影手段による撮影方向に逆行する移動物体を判断する判断手段と、
を具備したことを特徴とする画像監視装置。
【請求項４】
映像を撮影し、
この撮影された映像から異なる複数の時間間隔でオプティカルフローを検知し、この検知結果により、撮影方向に逆行する速い移動物体と遅い移動物体とを判断する、
ことを特徴とする画像監視方法。
【請求項５】
映像を撮影し、
この撮影された映像を所定の時間間隔で取込み、
この取込んだ映像ごとのオプティカルフローを検知し、
この検知結果により、上記撮影方向に逆行する速い移動物体を判断し、
上記取込んだ複数の映像ごとのオプティカルフローを検知し、
この検知結果により、上記撮影方向に逆行する遅い移動物体を判断する
ことを特徴とする画像監視方法。
【請求項６】
映像を撮影し、
この撮影された映像を所定の時間間隔で取込み、
この取込んだ映像ごとの短い時間間隔でオプティカルフローを検知し、
上記取込んだ複数の映像ごとの長い時間間隔でオプティカルフローを検知し、
この長い時間間隔でオプティカルフローを検知した位置において、上記長い時間間隔でオプティカルフローを検知する間に、上記短い時間間隔でのオプティカルフローを検知した際に、上記長い時間間隔でのオプティカルフローを削除し、
この削除より削除されなかった上記長い時間間隔でのオプティカルフローにより、上記撮影方向に逆行する移動物体を判断する
ことを特徴とする画像監視方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、撮影された映像からオプティカルフローによる接近物体を検出する画像監視装置と画像監視方法に関する。
【０００２】
【従来の技術】
最近、カメラに撮影された画像を用いて、オプティカルフローによる接近物体を検出する画像監視装置が提案されている。
この画像監視装置としては、例えば、イベント会場の出口に設けられた歩道を逆行してイベント会場に侵入しようとする人物を監視する場合に用いられるようになっている。
【０００３】
この接近物体を検出する技術は、図１のように設置されたカメラの撮像画像から、カメラに接近する物体を検出する技術である。このカメラは、人物が本来歩行すべき方向に向けて設置されている。
【０００４】
これにより、歩道の上に載って移動する人物および、歩道の動く方向に歩く人物は、カメラから遠ざかる動きをする。これに対し歩道を逆行する人物は、カメラに対して接近する動きをする。歩道を逆行する人物が、カメラに接近する物体として検出された場合には、逆行する人物に対して警報を出す、あるいは、歩道の監視員に対して、警報を出す。これにより、歩道を逆行してイベント会場に侵入しようとする人物を阻止することができる。
【０００５】
しかし、上記のような装置では、カメラに対する移動速度が遅い接近物体を検出できないという問題がある。
例えば、図２、図３、図４のように、カメラに対して、接近する人物の速度が非常に遅く、入力画像中で、δｔの間に１しか移動しないような場合には、オプティカルフロー検出で検出されても、長さが小さいため、ノイズとして削除される。その結果、接近する人物は、接近オブジェクトとして検出されない。
【０００６】
図２、図３、図４はそれぞれ、時刻ｔ０、ｔ０＋δｔ（＝ｔ１）、ｔ０＋２δｔ（＝ｔ２）における入力画像を表している。入力画像中の人物は、カメラに対して接近している。時刻ｔ０とｔ１の入力画像間では、人物からは、長さの小さいオプティカルフローが検出される。また、ノイズにより、入力画像において、停止している領域からも長さの小さいオプティカルフローが検出される。長さが小さいオプティカルフローは、ノイズとして削除されるため、接近オブジェクト検出処理では、カメラに接近する人物が検出されないという欠点があった。
【０００７】
【発明が解決しようとする課題】
この発明は、撮影手段による撮影方向に逆行してゆっくり（遅い速度で）移動する物体を誤りなく検知できる画像監視装置と画像監視方法を提供することを目的としている。
【０００８】
【課題を解決するための手段】
この発明の画像監視装置は、映像を撮影する撮影手段と、この撮影手段により撮影された映像から異なる複数の時間間隔でオプティカルフローを検知する検知手段と、この検知手段の検知結果により、上記撮影手段の撮影に基づいて速い移動物体と遅い移動物体とを判断する判断手段とを有する。
【０００９】
この発明の画像監視装置は、映像を撮影する撮影手段と、この撮影手段により撮影された映像を所定の時間間隔で取込む取込手段と、この取込手段により取込んだ映像ごとのオプティカルフローを検知する第１の検知手段と、この第１の検知手段の検知結果により、上記撮影手段の撮影に基づいて遅い移動物体を判断する第１の判断手段と、上記取込手段により取込んだ複数の映像ごとのオプティカルフローを検知する第２の検知手段と、この第２の検知手段の検知結果により、上記撮影手段の撮影に基づいて速い移動物体を判断する第２の判断手段とを有する。
【００１０】
この発明の画像監視装置は、映像を撮影する撮影手段と、この撮影手段により撮影された映像を所定の時間間隔で取込む取込手段と、この取込手段により取込んだ映像ごとの短い時間間隔でオプティカルフローを検知する第１の検知手段と、上記取込手段により取込んだ複数の映像ごとの長い時間間隔でオプティカルフローを検知する第２の検知手段と、この第２の検知手段によりオプティカルフローを検知した位置において、上記第２の検知手段によりオプティカルフローを検知する間に、上記第１の検知手段によりオプティカルフローを検知した際に、上記第２の検知手段によるオプティカルフローを削除する削除手段と、この削除手段により削除されなかった上記第２の検知手段によるオプティカルフローにより、上記撮影手段による撮影方向に逆行する移動物体を判断する判断手段とを有する。
【００１１】
【発明の実施の形態】
以下、図面を参照してこの発明の実施形態の画像監視装置を説明する。
この画像監視装置は、図１に示すように、イベント会場の出口に設けられている動く歩道１の上部に設けられている撮影手段としてのカメラ２からの撮影映像により、イベント会場の出口に設けられた歩道を逆行してイベント会場に侵入しようとする人物（物体）を監視する場合に用いられるようになっている。
【００１２】
この接近物体を検出する技術は、図１のように設置されたカメラ２の撮像画像から、カメラ２に接近する物体を検出する技術である。このカメラ２は、人物が本来歩行すべき方向に向けて設置されている。
上記画像監視装置は、図５に示すように、画像入力部１１、エッジ検出部１２、第１のオプティカルフロー検出部１３、第２のオプティカルフロー検出部１４、オプティカルフローの検証部１５、接近オブジェクト検出部１６により構成されている。
【００１３】
画像入力部１１は、カメラ２からの撮像画像を一定時間間隔でデジタル化して画像として取込むものであり、この入力画像をエッジ検出部１２に出力する。　具体的には、時刻ｔ０、ｔ０＋δｔ（＝ｔ１）、ｔ０＋２δｔ（＝ｔ２）…、において画像を取り込む。ここで、ｔ０、δｔは、それぞれ、処理開始時刻および、画像を取り込む時間間隔とする。図６に入力画像の例を示す。時刻ｔにおいて、取り込まれた画像をＧｔ（ｘ、ｙ）とする。また、入力画像において、ｘ軸およびｙ軸を、図６のようにとる。エッジ検出では、入力画像Ｇｔｉ（ｘ、ｙ）から、水平エッジ画像ＥＨｔｉ（ｘ、ｙ）と垂直エッジ画像ＥＶｔｉ（ｘ、ｙ）を生成する。ここで、ｔｉを、最後に画像が取り込まれた時刻とする。
【００１４】
ＥＨｔｉ（ｘ、ｙ）＝
−Ｇｔｉ（ｘ−１、ｙ−１）−２＊Ｇｔｉ（ｘ、ｙ−１）
−Ｇｔｉ（ｘ＋１、ｙ−１）＋Ｇｔｉ（ｘ−１、ｙ＋１）
＋２＊Ｇｔｉ（ｘ、ｙ＋１）＋Ｇｔｉ（ｘ＋１、ｙ＋１）
ＥＶｔｉ（ｘ、ｙ）＝
−Ｇｔｉ（ｘ−１、ｙ−１）＋Ｇｔｉ（ｘ＋１、ｙ−１）
−２＊Ｇｔｉ（ｘ−１、ｙ）＋２＊Ｇｔｉ（ｘ＋１、ｙ）
−Ｇｔｉ（ｘ−１、ｙ＋１）＋Ｇｔｉ（ｘ＋１、ｙ＋１）
エッジ検出部１２は、図６に示すように、画像入力部１１から供給される入力画像から動く歩道１の左右の手すり１ａ、１ｂを検出し、この左右の手すり１ａ、１ｂに挟まれる領域と左右の手すり１ａ、１ｂを含む周囲の領域を検出領域として求め、オプティカルフロー検出部１３に出力する。この際、手すり１ａ、１ｂの端部の白と黒の境界線をエッジとしている（輝度変化のある部分をエッジとしている）。
【００１５】
図７から図９にエッジ検出の例を示す。図７を入力画像とした場合、水平エッジ画像、垂直エッジ画像は、それぞれ、図８、図９のようになる。図８、図９においては、絶対値が大きい画素を黒で表している。
第１のオプティカルフロー検出部１３は、連続して取り込まれた二つの画像間での、画像中の動きをオプティカルフローとして検出するものである。
【００１６】
オプティカルフロー検出部１３では、時刻ｔｉ−１と時刻ｔｉ間でのオプティカルフローを検出する。オプティカルフローの例を図１０、図１１に示す。オプティカルフローは点の移動を表すベクトルであるが、実際の計算では、小領域の移動として計算する。図１０のような、時刻ｔｉ−１の小領域Ａのオプティカルフローは、図１１のＡの中心点からＡ’の中心点のベクトルとなる。ここで、Ａ’は、図１１のような、時刻ｔｉ−１の小領域Ａに対応する、時刻ｔｉにおける小領域である。
【００１７】
時刻ｔｉ−１における入力画像の内、移動物体が存在し得る領域を図１２のようにｗｓ×ｗｓの小領域に分割し、各小領域について、オプティカルフローを計算する。
図１３のように検出対象となる小領域を含む範囲について、対応する小領域を探す。検出対象の小領域の左上の座標を（ｘ、ｙ）とし、この小領域がオプティカルフロー（ｌ、ｍ）を持つと仮定した場合の評価値ＳＤ（ｘ、ｙ、ｌ、ｍ）を計算する。ＳＤ（ｘ、ｙ、ｌ、ｍ）は、次のように計算する。
【００１８】
【数１】
2004088599.tif 000003
検出対象となる小領域Ａが、オプティカルフロー（ｌ、ｍ）をもつ場合、時刻ｔｉ−１の領域Ａは、図１４のような時刻ｔｉの小領域Ｂに対応する。小領域Ａを（ｌ、ｍ）だけ平行移動した領域が、小領域Ｂとなる。ＳＤ（ｘ、ｙ、ｌ、ｍ）は、時刻ｔｉ−１の小領域Ａと時刻ｔｉの小領域Ｂとの差位を表す評価値であり、値が０に近いほど差位が小さく類似していることを表す。評価値を入力画像Ｇｔｉ−１、Ｇｔｉを直接用いずに、エッジ画像を用いて評価値を計算するのは、輝度変動等の影響を受けにくくするためである。（ｌ、ｍ）を小領域Ｂが図１３に示した範囲を移動するように変化させ、それぞれの（ｌ、ｍ）について、ＳＤ（ｘ、ｙ、ｌ、ｍ）を計算する。ＳＤ（ｘ、ｙ、ｌ、ｍ）を最小とする（ｌ、ｍ）をオプティカルフローとする。検出されたオプティカルフローの内、長さが、閾値Ｔｌｅｎよりも小さなものは、削除する。これは、画像入力時のノイズにより、誤って検出されたオプティカルフローを削除するためである。
【００１９】
第２のオプティカルフロー検出部１４は、連続して取り込まれた二つの画像間（時刻ｔｉ−ｎとｔｉ）での、画像中の動きをオプティカルフローとして検出するものである。
第２のオプティカルフロー検出部１４は、時刻ｔｉ−ｎとｔｉについてオプティカルフローを計算する。ここで、ｎは、ｎ＞１を満たす整数とし、検出すべきオプティカルフローの最小の移動量に基づいて予め固定の値を設定する。この処理は、移動量が小さいオプティカルフローを検出するための処理である。
【００２０】
移動量が小さいオプティカルフローは、第１のオプティカルフロー検出部１３では、ノイズとして削除されるが、この第２のオプティカルフロー検出部１４では、十分な長さを持つオプティカルフローとして検出され、ノイズとして削除されない。
【００２１】
たとえば、ｎ＝３とした場合、第２のオプティカルフロー検出部１４により、時刻ｔ３において、図２に示す、時刻ｔ０の入力画像と図４に示す、時刻ｔ３の入力画像とが比較され、十分大きな長さを持つオプティカルフローが検出され、接近する人物は、接近オブジェクトとして検出される。
【００２２】
オプティカルフロー検証部１５は、オプティカルフロー検出部１４で検出されたオプティカルフローに誤検出がないか否かの検証を行い、誤検出されたと判定されたオプティカルフローを削除する。ここでは、説明を簡単にするため、例として図１５の（ａ）〜（ｄ）のように、矩形が下から上に移動する場合を挙げる。図１５の（ａ）、（ｂ）、（ｃ）、（ｄ）は、それぞれ、時刻ｔ０、ｔ１、ｔ２、ｔ３の入力画像である。図１５の（ｂ）、（ｃ）、（ｄ）において点線の矩形は、一つ前の時刻での矩形の位置を表している。
【００２３】
また、図１５の（ｅ）は、図１５の（ｄ）と同様、時刻ｔ３の入力画像である。ただし、図１５の（ｄ）とは異なり、点線の矩形は、時刻ｔ０での矩形の位置を表している。
第２のオプティカルフロー検出部１４は、時刻ｔｉ−ｎとｔｉについてオプティカルフローを計算する。例えば、ｎ＝３と設定されている場合、第２のオプティカルフロー検出部１４において、時刻ｔ０とｔ３についてのオプティカルフローの計算では、図１５の（ｅ）のオプティカルフローのように画像の上から下に向かうオプティカルフローが誤って検出される。時刻ｔ０の小領域ｐは、本来図１５の（ｅ）の小領域ｐ’に対応する。しかし、ｐ’はｐに対応する小領域を探す範囲には入らず、小領域ｐ”に対応すると誤判定される。
【００２４】
そこで、オプティカルフロー検証部１５は、図１６のように処理を行う。時刻ｔｉにおいて、第２のオプティカルフロー検出部１４でｍ個のオプティカルフローＦＬＯＷｊ（ｊ＝１、２、…、ｍ）が検出されたとする。各オプティカルフローＦＬＯＷｊ（ｊ＝１、２、…、ｍ）の始点をｐｊ（ｊ＝１、２、…、ｍ）とする。ｐｊで、時刻時刻ｔｉ−ｎ＋１から時刻ｔｉにおいて、第１のオプティカルフロー検出部１３で、長さがＴｌｅｎ以上のオプティカルフローが検出されているか否か調べる（ＳＴ１）。
【００２５】
検出されていた場合には、第２のオプティカルフロー検出部１４で検出されたフローＦＬＯＷｊ（ｊ＝１、２、…、ｍ）を誤って検出されたフローとして削除する（ＳＴ２）。これは、第２のオプティカルフロー検出部１４で検出対象とする遅いオプティカルフローの検出位置は、短い時間間隔δｔでは、ほとんど停止しており、第１のオプティカルフロー検出部１３で、長さの小さいオプティカルフローしか検出されないという考えに基づいている。図１５の（ｂ）のように、時刻ｔ１において、ｐを始点するオプティカルフローが検出されるため、図１５の（ｅ）のオプティカルフローは誤検出されたものとして削除される。
【００２６】
たとえば、時刻ｔ０において、図１７に示すように、人物Ｅ、Ｆが、動く歩道１上を移動中の退出途中の状態となっている。この際、人物Ｅが人物Ｆよりもカメラ２から離れた位置となっている。この後、時刻ｔ１において、図１８に示すように、人物Ｅが少しカメラ２に近づき、人物Ｆが大きくカメラ２から離れる位置に移動する。さらに、時刻ｔ２において、図１９に示すように、人物Ｅがさらに少しカメラ２に近づき、人物Ｆがさらに大きくカメラ２から離れる位置に移動する。さらに、時刻ｔ３において、図２０に示すように、人物Ｅがさらに少しカメラ２に近づき、人物Ｆがさらに大きくカメラ２から離れる位置に移動する。
【００２７】
このように、図１７から図２０は人物Ｅがゆっくり逆行している状態で、人物Ｆが退出していく状態であり、第２のオプティカルフロー検出部１４において、図１７のｔ０と図２０のｔ３との比較により、人物Ｅに対するオプティカルフローを検出することができる。
【００２８】
図１のようにカメラ２を設置した場合、図２１のように、カメラ２に対して接近する人物は、画面の上から下に向かうｆｌｏｗ　ｂのようなオプティカルフローを持つ。逆に、遠ざかる人物は、図２１のように下側から上側に向かうｆｌｏｗ　ａのようなオプティカルフローを持つ。
【００２９】
このため、図２１のｆｌｏｗ　ａのように、画像の下側から上側に向かうオプティカルフローについては、接近する物体から検出されたオプティカルフローではないとして、削除する。
接近オブジェクト検出部１６では、オプティカルフロー検証部１５により検証されたオプティカルフローの中で、図２２のように、検出したオプティカルフローから、図２３のように、接近する物体を検出する。具体的には、互いに接近して位置しているオプティカルフロー同士をグループ化し接近オブジェクトとして検出する。
【００３０】
上記したように、入力画像中での移動量が小さい接近物体も検出できる。
また、遅いオプティカルフローを検出する処理において、誤検出されたオプティカルフローを削除でき、接近物体の誤検出を防ぐことができる。
【００３１】
前者は、第２のオプティカルフロー検出部１４による効果であり、図１２のように移動量が小さい接近人物から、オプティカルフローが検出できるようになり、接近オブジェクトとして検出できるようになる効果である。
【００３２】
後者は、オプティカルフロー検証部１５による効果である。遅いオプティカルフローを検出する。本発明の第２のオプティカルフロー検出部１４において、図１５の（ｅ）のように誤検出されるオプティカルフローを、削除できる。これにより、接近物体の誤検出を防ぐことができる。
【００３３】
したがって、異なる複数の時間間隔でオプティカルフローを検出することにより、速い接近物体に加え、遅い接近物体も検出可能なものである。
入力画像をδｔの時間間隔で取り込み、入力画像系列で隣接する画像同士からオプティカルフローを計算する第１のオプティカルフロー検出部と、入力画像系列でｎ個離れた画像同士からオプティカルフローを計算する第２のオプティカルフロー検出部を備えた、速い接近物体に加え、遅い接近物体も検出可能なものである。
【００３４】
異なる複数の時間間隔でオプティカルフローを検出し、短い時間間隔で検出したオプティカルフローを用いて、長い時間間隔で検出したオプティカルフローを検証することにより、長い時間間隔で誤検出したオプティカルフローの削除を行うものである。
【００３５】
異なる時間間隔でオプティカルフローを検出し、長い時間間隔で検出したオプティカルフローの位置において、そのオプティカルフローを検出する間に、その位置で、短い時間間隔で一定以上の長さを持つオプティカルフローが検出された場合には、オプティカルフローが誤検出されたとして削除を行うものである。
【００３６】
【発明の効果】
以上詳述したように、この発明によれば、撮影手段による撮影方向に逆行してゆっくり（遅い速度で）移動する物体を誤りなく検知できる画像監視装置と画像監視方法を提供できる。
【図面の簡単な説明】
【図１】画像監視装置のカメラの設置状態を示す図。
【図２】カメラの撮影画像を説明するための図。
【図３】カメラの撮影画像を説明するための図。
【図４】カメラの撮影画像を説明するための図。
【図５】画像監視装置の概略構成を示すブロック図。
【図６】カメラの撮影画像を説明するための図。
【図７】エッジ検出の例を示す図。
【図８】エッジ検出の例を示す図。
【図９】エッジ検出の例を示す図。
【図１０】オプティカルフローの例を示す図。
【図１１】オプティカルフローの例を示す図。
【図１２】入力画像の内、移動物体が存在し得る小領域を説明するための図。
【図１３】検出対象となる小領域を含む範囲を説明するための図。
【図１４】カメラの撮影画像を説明するための図。
【図１５】カメラの撮影画像を説明するための図。
【図１６】オプティカルフロー検証部による検証処理を説明するためのフローチャート。
【図１７】カメラの撮影画像を説明するための図。
【図１８】カメラの撮影画像を説明するための図。
【図１９】カメラの撮影画像を説明するための図。
【図２０】カメラの撮影画像を説明するための図。
【図２１】カメラの撮影画像を説明するための図
【図２２】オプティカルフロー検証部による検証されたオプティカルフローを説明するための図。
【図２３】接近オブジェクトの検出例を示す図。
【符号の説明】
１１…画像入力部、１２…エッジ検出部、１３…第１のオプティカルフロー検出部、１４…第２のオプティカルフロー検出部、１５…オプティカルフローの検証部、１６…接近オブジェクト検出部。
【図１】
2004088599.tif 000004
【図２】
2004088599.tif 000005
【図３】
2004088599.tif 000006
【図４】
2004088599.tif 000007
【図５】
2004088599.tif 000008
【図６】
2004088599.tif 000009
【図７】
2004088599.tif 000010
【図８】
2004088599.tif 000011
【図９】
2004088599.tif 000012
【図１０】
2004088599.tif 000013
【図１１】
2004088599.tif 000014
【図１２】
2004088599.tif 000015
【図１３】
2004088599.tif 000016
【図１４】
2004088599.tif 000017
【図１５】
2004088599.tif 000018
【図１６】
2004088599.tif 000019
【図１７】
2004088599.tif 000020
【図１８】
2004088599.tif 000021
【図１９】
2004088599.tif 000022
【図２０】
2004088599.tif 000023
【図２１】
2004088599.tif 000024
【図２２】
2004088599.tif 000025
【図２３】
2004088599.tif 000026