(57)【特許請求の範囲】
【請求項１】
時系列に撮影された画像を入力する画像入力手段と、
時系列に入力された画像から動物体の移動ベクトルを抽出する移動ベクトル抽出手段と、
抽出された移動ベクトルの中から移動ベクトルの方向が所定の範囲のものを選別する移動ベクトル選別手段と、
入力された画像の中から背景画像を抽出し、背景画像中の輝度の変化が所定の閾値より大きいエッジ点を抽出するエッジ点抽出手段と、
抽出されたエッジ点と選別された移動ベクトルとの角度が所定範囲の値であるエッジ点を検出するエッジ点検出手段と、
検出されたエッジ点を繋ぎ、複数の線を検出する線検出手段と、
検出された線の中から各移動ベクトルの左右の領域毎に、移動ベクトルとの角度差が所定の閾値内で、かつ距離が最短の線を選別する線選別手段と、
線選別手段により選別された線の中から、選別された回数が最多の線を各領域毎に決定する線決定手段と、
決定された線の対で囲まれた領域を監視領域とする監視領域決定手段とを有することを特徴とする監視装置。
【請求項２】
時系列に撮影された画像を入力する画像入力手段と、
時系列に入力された画像から動物体の移動ベクトルを抽出する移動ベクトル抽出手段と、
抽出された移動ベクトルの中から移動ベクトルの方向が所定の範囲のものを選別する移動ベクトル選別手段と、
入力された画像の中から背景画像を抽出し、背景画像中の輝度の変化が所定の閾値より大きいエッジ点を抽出するエッジ点抽出手段と、
抽出されたエッジ点と選別された移動ベクトルとの角度が所定範囲の値であるエッジ点を検出するエッジ点検出手段と、
検出されたエッジ点の中から各移動ベクトルの左右の領域毎に、移動ベクトルとの角度が所定範囲の値で、かつ距離が最短のエッジ点を選別するエッジ点選別手段と、
エッジ点選別手段により、選別された回数が所定の閾値より大きいエッジ点を各領域毎に決定するエッジ点決定手段と、
決定されたエッジ点を繋いで各領域毎に線を検出する線検出手段と、
検出された線の対で囲まれた領域を監視領域とする監視領域決定手段とを有することを特徴とする監視装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、動画像処理を用いた監視システムにおける監視領域を決定する装置に関する。
【０００２】
【従来の技術】
近年、道路交通の監視等、動画像処理を用いた監視システムが急速にその応用範囲を広げている。画像処理を用いた監視システムにおいて、画像中の対象物体の移動範囲を監視領域に決定することは、対象物体以外の物体への誤認識の予防や、処理演算量削減のために必要不可欠である。監視領域は、カメラ等の撮像装置の設置状況により異なるため、監視装置の一台一台に対して個別に設定しておく必要がある。これまでは、監視領域の決定は熟練した作業員が、装置の一台毎に、撮像装置から得られる画像を目視し、手作業で行っていた。このため、道路交通の監視や河川の水流監視、工場内のベルトコンベアを流れる製品の監視のように装置を多地点に設置する必要がある場合には、全ての装置に対して監視領域を決定するのに、莫大な時間と労力が必要である。そのため、境界線を持つレーン内を移動する監視対象物の動きからその移動領域の境界線を推測し、監視領域を自動的に決定する方法が求められている。監視領域を自動的に決定する方法には、例えば特表平10-513288 がある。図１０、図１１に従来例の監視領域決定の説明図を示す。ここでは、道路監視において、移動物体である車の側面の境界を抽出し、それを重ねあわせることで車の通過している領域を統計的に決定している。図１０(a) のような道路画像に対して、図１０(b) のように各時刻で移動のあった領域と移動の方向を抽出する。次に図１０(c) のように、移動のあった領域内で移動の方向と平行なエッジを抽出する。このエッジは、通過車の側面のエッジである。各時刻における車側面のエッジを統計的に重ねあわせてその稜線（ピークを結んで出来る線）を取得した結果を図１１(d) に示す。このようにして、車の通過している位置を決定し、この領域を図１１(e) のように、監視領域と決定している。
【０００３】
【発明が解決しようとする課題】
しかし、この方法では、車の移動の流れから、車が移動している領域を統計的に求めているに過ぎず、監視領域の決定には、多くの車が撮影範囲を通過する必要がある。また、レーン内での車の通過位置に偏りがあった場合には、監視領域の範囲を狭めてしまう問題がある。
上記の問題は、監視領域を決定するのに、監視対象の動きの情報しか用いていないためである。ところが、例えば、車の場合は、各車線の境界にある白線をガイドにして走行しているなど、監視対象が通過する領域には境界線が存在しているので、これを監視領域の境界線に決定することが望ましい。
【０００４】
本発明は、動画像から抽出される監視対象物体の動きの情報と、撮影範囲の背景画像から抽出される境界線の情報の両方を用いて、監視領域を決定する監視装置に関するものである。
【０００５】
【課題を解決するための手段】
時系列に撮影された画像を入力する画像入力手段と、時系列に入力された画像から動物体の移動ベクトルを抽出する移動ベクトル抽出手段と、入力された画像の中から背景画像を抽出し、背景画像中の輝度の変化が所定の閾値より大きいエッジ点を抽出するエッジ点抽出手段と、エッジ点を繋ぎ、複数の線を検出する線検出手段と、検出された線の中から各移動ベクトルの左右の領域毎に移動ベクトルとの角度差が所定の閾値内で、かつ距離が最短の線を選別する線選別手段と、線選別手段により選別された回数が最多の線を各領域毎に決定する線決定手段と決定された線の対で囲まれた領域を監視領域とする監視領域決定手段とを有する構成である。
【０００６】
この構成により、まず入力された画像の中から監視対象の動物体の移動ベクトルを抽出する。次に、撮影範囲の背景画像のエッジ点（隣接する点との輝度の差が閾値以上の点）から複数の線を検出する。そして、抽出した複数の線の中から各移動ベクトルと方向がほぼ同じ向き( 角度の差が所定の閾値内) で、移動ベクトルに最も距離が近い線を移動ベクトルの左右の領域からそれぞれ各1 本選別する。この選別動作を全移動ベクトルについて行い、選別が最多の線を左右の領域にそれぞれ1 本づつ境界線として決定する。そして、その線の対に囲まれた領域を動画像を含んだ監視領域と決定する。
【０００７】
また、時系列に撮影された画像を入力する画像入力手段と、時系列に入力された画像から動物体の移動ベクトルを抽出する移動ベクトル抽出手段と、入力された画像の中から背景画像を抽出し、背景画像中の輝度の変化が所定の閾値より大きい点を抽出するエッジ点抽出手段と、検出されたエッジ点の中から各移動ベクトルの左右の領域毎に移動ベクトルとの角度が所定範囲の値で、かつ距離が最短のエッジ点を選別するエッジ点選別手段と、エッジ点選別手段により、選別された回数が所定の閾値より大きいエッジ点を各領域毎に決定するエッジ点決定手段と、決定されたエッジ点を繋いで各領域毎に線を検出する線検出手段と、検出された線の対で囲まれた領域を監視領域とする監視領域決定手段とを有する構成である。
【０００８】
この構成により、まず入力された画像の中から監視対象の動物体の移動ベクトルを抽出する。次に、撮影範囲の背景画像のエッジ点（隣接する点との輝度の差が閾値以上の点）を抽出する。そしてエッジ点は、方向を持っているので、抽出した複数のエッジ点の中から各移動ベクトルと方向がほぼ垂直向き( 移動ベクトルとエッジ点との角度が所定範囲の値) で、移動ベクトルとの距離が最短のものを移動ベクトルの左右の各領域にそれぞれ選別する。この選別動作を全移動ベクトルについて行い、選別された回数が所定の閾値を越えるものを線の構成点とする。次に構成点から境界線を形成する。そして形成された境界線の対に囲まれた領域が監視領域と決定する。
【０００９】
また、 移動ベクトル抽出手段により抽出された移動ベクトルの中から方向が所定の範囲のものを選別する移動ベクトル選別手段と、エッジ点抽出手段により抽出されたエッジ点と選別された移動ベクトルとの角度が所定範囲の値であるエッジ点を検出するエッジ点検出手段とを有する構成である。
【００１０】
この構成により、移動ベクトルとエッジ点をあらかじめ、選別しておくため、ノイズが少なくなり、監視領域を決定するときの誤検出を低減できる。
【００１１】
【発明の実施の形態】
図１に実施例1 の監視装置１の構成図を示す。
【００１２】
監視システム11は、監視カメラ12と監視装置１と監視センタ13より構成され、監視カメラ12により撮影された画像から監視装置１が監視領域を決定し、監視センタ13に送るシステムである。
監視装置１は、画像入力部２と物体抽出部３と境界線候補点抽出部４と境界線候補検出部５と監視領域決定部６から構成される。
【００１３】
図２に実施例１の監視装置の処理の流れ図を示す。
【００１４】
監視装置1 の処理は、次の手順で行われる。
（１）まず、監視カメラ12が撮影した画像を時系列に従って、画像入力部２から取り込む。(S11ステップ)
（２）次に物体抽出部３の処理が行われる。
【００１５】
動画像の時間変化から画像中の移動物体を抽出し、移動物体の移動する方向と移動量を表す移動ベクトルを抽出する。そして時間０〜Ｔまでの間で複数の移動ベクトルを求める。
【００１６】
例えば、動画像s(x,y,t)の時刻t における動領域は、時刻t からt+dt間での輝度の変化が閾値（th）を超える点、すなわち
【００１７】
【数１】
0003928339.tif 000002
【００１８】
が成り立つ点(x,y) の集合で与えられ、時刻t における動領域中の点(x,y) の移動ベクトルvt(x,y)=(vx,vy) は、例えば次式のようなブロックマッチング法により求める。
【００１９】
【数２】
0003928339.tif 000003
【００２０】
この移動ベクトルを時刻0 〜T まで求める。(S12ステップ)
次に、抽出された移動ベクトルvt(x,y) の方向
【００２１】
【数３】
0003928339.tif 000004
【００２２】
の分布を求める。ここで、所定範囲値に基いて、移動ベクトルの方向が全体の分布から外れているものは取り除く。(S13ステップ)
図３に、実施例１の監視対象物体の移動ベクトルと境界線候補点の説明図を示す。
【００２３】
図３(a) は、監視画像と車の移動ベクトル例であり、時系列での移動を示す。
（３）次に境界線候補点抽出部４では、監視領域に移動物体が写っていない背景画像から境界線を構成するエッジ点を抽出する。ここで、境界線候補点抽出部４に入力する背景画像は、移動領域とされなかった点(x,y) の輝度値を時刻0 〜T で平均したものを用いる。境界線を構成する点を抽出する方法は、例えば、背景画像のエッジと呼ばれる隣接する点との輝度の差が大きい点を抽出する。
背景画像b(x,y)中の点(x,y) におけるエッジe(x,y)は、例えばsobel フィルタを用いて
【００２４】
【数４】
0003928339.tif 000005
【００２５】
【数５】
0003928339.tif 000006
【００２６】
のように与えることができる。このe(x,y)が閾値を超える点を、境界線を構成する点として抽出する。(S14ステップ)
そして、次式のように点(x,y) におけるエッジの大きさとエッジの方向θe(x,y)により、移動ベクトルの方向との角度が所定範囲内の値に入らない点は境界線の候補点から除外する。(S15ステップ)
【００２７】
【数６】
0003928339.tif 000007
【００２８】
図３（ｂ）に背景画像からの境界線候補点の抽出例を示す。境界線である白線の境界点が抽出される。
（４）次に境界線候補検出部５では、境界線候補点抽出部４で抽出された境界線の構成点を繋いで、境界線の候補を検出する。
直線の場合は、ハフ変換(S16ステップ) 、曲線は、稜線追跡(S18ステップ) で検出する。この検出方法の区別は、監視カメラ12を設置する場所により、予めどちらを用いるかが、設定される。
【００２９】
（４−１）ハフ変換の説明（直線検出）
図４に実施例１の境界線候補検出の説明図を示す。
【００３０】
公知のハフ変換を用いて境界線候補点を直線に繋げる。
【００３１】
図４（ａ）は、ハフ変換による境界線の抽出例である。
【００３２】
ハフ変換では境界線の候補点Ci:(xi,yi)を
【００３３】
【数７】
0003928339.tif 000008
【００３４】
を満たす( ρ, θ) 空間に投影して得られる正弦波を、全ての候補点Ciについて( ρ, θ) 空間で重ねあわせ、図４（ａ）のように正弦波が、数多く重なる点( ρ1,θ1)を(x,y) 空間に逆投影してできる直線を境界線の候補に決定する。
図４（ｂ）に道路白線による境界線の抽出例を示す。監視対象物体の通過する領域を囲んで、４本の境界線が抽出される。
【００３５】
（４−２）稜線追跡の説明（曲線検出）
境界線の候補を曲線として求める公知の方式を用いる。まず、境界線候補点抽出部４で求めた背景画像のエッジのうち、近傍のエッジの値よりも大きい値を持つピーク点を抽出する。次にあるピーク点の近傍でピーク点の次に大きいエッジ値を持つ点を探索し、ピーク点と繋げ、線分を構成する。これをピーク点および、ピーク点を繋げることで得られる線分に対して繰り返し行い、境界線の候補を決定する。ここで、隣接しない点を繋げる場合には内挿処理を行って線が途切れないようにし、また線分を繋ぐ場合にはその方向を考慮して繋がった線が鋭角に折れ曲がらないようにしている。
（５）次に監視領域決定部６では、境界線候補検出部５で検出した境界線の候補から物体抽出部３で求めた移動ベクトルの方向と合致し、移動ベクトルとの距離が短い線をまず選別し、次に全移動ベクトルで、選別された回数が最も多いものを境界線と決定する。そして境界線に囲まれた領域を監視領域とする。
（５−１）図５に境界線決定の投票の説明図を示す。(S17ステップ)
境界線が直線の場合の例である。
【００３６】
図５(a) のように、移動領域内の点Ｐ(px,py)における移動ベクトルをvp(vpx,vpy) とし、境界線の候補をLi=mix+nix+li 0(i=1,…,N) とする。まず、点Ｐ と直線Liの距離diを計算する。
【００３７】
【数８】
0003928339.tif 000009
【００３８】
ここでは移動ベクトルの向きに対して、左にあるものと右側にあるものを区別するために負の距離を考慮している。そのため、式の分子に絶対値をつけない。このため、点Ｐからの移動ベクトルに対して画像内を左右領域に分け、どちらか一方ではdiが正の値となり、他方では負の値とする。次に、diが正と負のそれぞれについて、絶対値の小さいものから順番に、Liの方向ベクトル(1/mi,1/ni) と移動ベクトルのなす角度θi
【００３９】
【数９】
0003928339.tif 000010
【００４０】
を計算し、最初に、θi ＜th（閾値）となる境界線候補に投票する。すなわち、境界線候補で構成される投票空間を考え、線Liの得票数B(i)に1 加える。
【００４１】
図５(a) の場合は、θが閾値内として最短の距離のＬ1 、Ｌ3 が選択される。ここで、図５(b) のように、点Ｐと境界線候補Liの距離の代わりに、点Ｐを通って点Ｐにおける移動ベクトルと垂直な直線Ci:vpx(x-px)+vpy(y-py)＝０とLiの交点ciと点Ｐの距離を用いてもよい。
これらを動領域内から抽出したすべての移動ベクトルについて行う。
（５−２）図５(c) に曲線の投票の説明図を示す。（S19ステップ ）
境界線が曲線の場合の例である。
【００４２】
図５(c) に示すように、移動ベクトル点Ｐ(px,py)から垂直な方向に線を探索する。そして最初に交わる境界線候補Liと移動ベクトルの垂線との交点ciにおける接線Lsを求める。そして実施例１と同様に接線方向と移動ベクトルの方向とが大きく異なる場合には次の境界線候補を探索する。そして、接線と移動ベクトルの角度差が、閾値内で、距離が最短の線を選別し、投票する。
これらを動領域内から抽出したすべての移動ベクトルについて行う。
【００４３】
次に、得票数の最も多い境界線対を監視領域の境界線として抽出する。
【００４４】
そして境界線の対に囲まれた領域を監視領域と決定する。(S20ステップ)
図６に実施例１の決定された監視領域例を示す。監視領域は、対になっている白線の内側の境界線から内側の車線領域と決定される。
そして、決定された監視領域のデータは、監視センタに送られる。監視センタは、受信した監視領域のデータをもとに、交通システムの道路上の車の台数、工場システムのベルトコンベア上の製品の数を計数する等の処理を実施する。
【００４５】
図７に実施例２の監視装置の構成図を示す。
【００４６】
監視システム11は、監視カメラ12と監視装置１と監視センタ13より構成され、監視カメラ12により撮影された画像から監視装置１が監視領域を決定し、監視センタ13に送るシステムである。
【００４７】
監視装置１は、画像入力部２と物体抽出部３と境界線候補点抽出部４と境界線構成点決定部７と監視領域決定部６から構成される。
【００４８】
図８に実施例２の監視装置の処理の流れ図を示す。
【００４９】
監視装置1 の処理は、次の手順で行われる。
（１）まず、監視カメラ12が撮影した画像を時系列に従って、画像入力部２から取り込む。（S31ステップ ）。
（２）次に取り込んだ画像から物体抽出部３にて、実施例１と同じように移動物体の移動方向と移動量を表す移動ベクトルを抽出する（S32ステップ ）。そして、抽出された移動ベクトルvt(x,y) の方向での分布を求める。ここで、所定範囲値から移動ベクトルの方向が全体の分布から外れているものは、取り除く（S33ステップ ）。
（３）次に、境界線候補点抽出部４では、境界線候補点としてのエッジ点を抽出し(S34ステップ) 、実施例１と同じ方法で点(x,y) におけるエッジの大きさとエッジの方向θe(x,y)から移動ベクトルの方向との角度が所定範囲の値に入らない点は、境界線の候補点から除外する（S35ステップ ）。
（４）次に、境界線構成点決定部７では、物体抽出部３で求めた、移動ベクトルを境界線候補点に投票することで境界線の構成点を選別する（S36ステップ ）。
【００５０】
図９に実施例２の移動ベクトルによる境界線構成点の決定の投票の説明図を示す。
【００５１】
図９に示すように、点Ｐ からの投票は以下の条件を満たし、点Ｐまでの距離が最小となる点Qiに行われる。
【００５２】
( 条件1)点Ｐ を通り、点Ｐ における移動ベクトルと垂直な直線Lp:Vpx(x-px)+Vpy(y-py)=0との距離dpq が閾値thdpq 以下である。
【００５３】
【数１０】
0003928339.tif 000011
【００５４】
( 条件2)点Ｐ における移動ベクトルと点Qiにおけるエッジの方向とのなす角θpqが垂直または垂直に近い。すなわち、｜cos θpq｜が閾値thθpq以下である。
【００５５】
【数１１】
0003928339.tif 000012
【００５６】
以上を物体の動領域内から抽出したすべての移動ベクトルについて行い、得票数が閾値を超える点を境界線の構成点と決定する（S37ステップ ）。
（５）次に、監視領域決定部６では、境界線の構成点を実施例１で述べたハフ変換（S38ステップ ）や稜線追跡（S39ステップ ）により、繋いで線の対を決定する。そして、決定された線の対に囲まれた領域を監視領域を決定する（S40ステップ ）。そして決定した監視領域のデータを監視センタ13に送信する。
【００５７】
【発明の効果】
動画像中を移動する物体の動きの情報から監視対象とすべき物体の移動ベクトルを検出するとともに、動きのない背景画像から物体が移動している領域の境界線を抽出することで、監視すべき領域を自動的に決定することができる。
【図面の簡単な説明】
【図１】    実施例１の監視装置の構成図
【図２】    実施例１の監視装置の処理の流れ図
【図３】    実施例１の監視対象物体の移動ベクトルと境界線候補点の説明図
【図４】    実施例１の境界線候補検出の説明図
【図５】    実施例１の境界線決定の投票の説明図
【図６】    実施例１の決定された監視領域例
【図７】    実施例２の監視装置の構成図
【図８】    実施例２の監視装置の処理の流れ図
【図９】    実施例２の境界線構成点の決定の投票の説明図
【図１０】  従来例の監視領域決定の説明図１
【図１１】  従来例の監視領域決定の説明図２
【符号の説明】
１      監視装置
２      画像入力部
３      物体抽出部
４      境界線候補点抽出部
５      境界線候補検出部
６      監視領域決定部
７      境界線構成点決定部
１１      監視システム
１２      監視カメラ
１３      監視センタ
【図１】
0003928339.tif 000013
【図２】
0003928339.tif 000014
【図３】
0003928339.tif 000015
【図４】
0003928339.tif 000016
【図５】
0003928339.tif 000017
【図６】
0003928339.tif 000018
【図７】
0003928339.tif 000019
【図８】
0003928339.tif 000020
【図９】
0003928339.tif 000021
【図１０】
0003928339.tif 000022
【図１１】
0003928339.tif 000023