(57)【特許請求の範囲】
【請求項１】
撮影された入力映像を信号処理することにより自動感知された移動物体を、監視領域から外れるまで追跡する移動物体追跡装置であって、
前記入力映像から、動きのある領域と動きのない領域とをあらわす、二進化された外乱映像を生成する二進化外乱映像生成部と、
前記二進化された外乱映像から、予め設定されたサイズの初期追跡ウィンドウに包含される移動ウィンドウを用いて移動物体の情報を獲得し、獲得情報に基づいて前記初期追跡ウィンドウの中心を位置移動させると共に、前記二進化された外乱映像内の移動物体を囲うように前記初期追跡ウィンドウのサイズを調整する移動物体獲得部と、
前記移動物体獲得部によりサイズが調整された追跡ウィンドウに囲われた移動物体の中心に対する現在獲得情報と以前獲得情報に基づき後続フレームにおける前記移動物体の中心が移動される地点を予測し、前記移動物体の中心移動予測地点に前記追跡ウィンドウの中心を位置移動させ、前記後続フレームの前記追跡ウィンドウ内で前記移動物体の実際中心と追跡ウィンドウのサイズ情報を得る移動物体自動追跡部と、
前記後続フレームにおける前記移動物体の実際獲得情報と前記移動物体に対する予測情報とを比較した誤差範囲によって、前記追跡ウィンドウ内で前記移動物体の追跡を続行するか、前記移動物体獲得部による前記初期追跡ウィンドウのサイズ調整を行うかの判断を行う追跡状態判断部とを備えることを特徴とする移動物体自動追跡装置。
【請求項２】
前記撮影を通して入力された映像について信号処理速度をアップし、雑音を除去するために前処理する入力映像前処理部をさらに備えることを特徴とする請求項１に記載の移動物体自動追跡装置。
【請求項３】
前記入力映像前処理部は、
前記入力映像の解像度をダウンさせる解像度調整部と、
前記解像度のダウンされた入力映像から雑音を除去するフィルタを備えることを特徴とする請求項２に記載の移動物体自動追跡装置。
【請求項４】
前記二進化外乱映像生成部は、前記入力映像と以前フレームの平均映像の差を通して外乱フィールドを生成する外乱フィールド生成部と、
前記入力映像と前記平均映像をそれぞれ第２臨界値と比較し、その比較結果を論理演算するヘッドライト防止部と、
前記外乱フィールドの各ピクセルの絶対値を第１臨界値と比較した結果と前記論理演算された結果値に基づいて各ピクセルの二進値を決める映像分割部と、を備えることを特徴とする請求項１に記載の移動物体自動追跡装置。
【請求項５】
前記移動物体獲得部は、前記二進化された外乱映像で各ピクセルについて中心座標と認識するよう前記初期追跡ウィンドウを位置させる追跡ウィンドウ調整部と、
前記初期追跡ウィンドウ内の初期座標から最終座標が有する二進値を合算して
該当ピクセルのＭＤＦ(Moving  Disturbance  Function)値を決めるＭＤＦ計算部とを備えることを特徴とする請求項１に記載の移動物体自動追跡装置。
【請求項６】
前記ＭＤＦ計算部は、前記各ピクセルに対するＭＤＦを並列に計算することを特徴とする請求項５に記載の移動物体自動追跡装置。
【請求項７】
前記追跡ウィンドウ調整部は、前記入力映像についてＭＤＦが最大値を有するピクセルの座標を中心に前記移動物体が含まれるよう追跡ウィンドウを調整することを特徴とする請求項５に記載の移動物体自動追跡装置。
【請求項８】
前記追跡ウィンドウ調整部は、前記ＭＤＦが最大値の座標の二進値が第３臨界値より少ない場合は移動物体が存在しないことと判断することを特徴とする請求項７に記載の移動物体自動追跡装置。
【請求項９】
追跡状態判断部は、前記誤差範囲が設定値以上ならば後続フレームについて全映像から移動物体に対する情報を再獲得させることを特徴とする請求項１に記載の移動物体自動追跡装置。
【請求項１０】
前記入力映像の全領域について前記追跡ウィンドウの中心が設定された範囲外に位置すれば前記移動物体移動予測方向に前記撮影部の撮影方向を移動させる撮影制御部をさらに備えることを特徴とする請求項１に記載の移動物体自動追跡装置。
【請求項１１】
前記撮影制御部は、前記予測地点に位置した追跡ウィンドウのサイズと後続フレームで得た移動物体の実際サイズが一定比率に維持されるようズームイン/アウト制御を行なうことを特徴とする請求項１０に記載の移動物体自動追跡装置。
【請求項１２】
前記撮影制御と入力映像に対する信号処理は時分割的に行なうことを特徴とする請求項１１に記載の移動物体自動追跡装置。
【請求項１３】
前記撮影制御部は、前記入力映像の全領域について前記追跡ウィンドウが所定領域内に位置する場合は前記撮影部に対する制御を中断することを特徴とする請求項１１に記載の移動物体自動追跡装置。
【請求項１４】
撮影された入力映像を信号処理することにより自動感知された移動物体を、監視領域から外れるまで追跡する移動物体追跡装置における移動物体追跡方法であって、
撮影を通して得た入力映像から、動きのある領域と動きのない領域とをあらわす、二進化された外乱映像を生成する段階と、
前記二進化された外乱映像から予め設定されたサイズの初期追跡ウィンドウに包含される移動ウィンドウを用いて移動物体に対する情報を獲得する段階と、
獲得された獲得情報に基づいて前記初期追跡ウィンドウの中心を移動し、前記二進化された外乱映像内の移動物体が含まれるよう前記初期追跡ウィンドウのサイズを調整する段階と、
サイズが調整された追跡ウィンドウに囲われた前記移動物体の中心に対する現在獲得情報と以前獲得情報に基づき後続フレームにおける前記移動物体の中心が移動される地点を予測する段階と、
前記移動物体の中心移動予測地点に前記追跡ウィンドウの中心を置かせる段階と、
前記追跡ウィンドウ内で前記後続フレームにおける前記移動物体の実際中心と追跡ウィンドウのサイズ情報を得る段階と、
前記後続フレームにおける前記移動物体の実際獲得情報と前記移動物体に対する予測情報とを比較し、誤差範囲によって、前記追跡ウィンドウ内で前記移動物体の追跡を続行するか、再び前記初期追跡ウィンドウのサイズ調整を行うかを判断する段階とを備えることを特徴とする移動物体自動追跡方法。
【請求項１５】
前記撮影を通して入力された映像について信号処理速度をアップし、雑音を除去するために前処理する段階をさらに備えることを特徴とする請求項１４に記載の移動物体自動追跡方法。
【請求項１６】
前記入力映像の前処理段階は、
前記入力映像の解像度をダウンさせる段階と、
前記解像度のダウンされた入力映像から雑音を除去するためにフィルタリングする段階とを備えることを特徴とする請求項１５に記載の移動物体自動追跡方法。
【請求項１７】
前記二進化された外乱映像生成段階は、前記入力映像と以前フレームの平均映像との差を通して外乱フィールドを生成する段階と、
前記入力映像と前記平均映像をそれぞれ第２臨界値と比較し、その比較結果を論理演算する段階と、
前記外乱フィールドの各ピクセルの絶対値を第１臨界値と比較した結果と前記論理演算された結果値によって各ピクセルの二進値を決める映像分割段階とを備えることを特徴とする請求項１４に記載の移動物体自動追跡方法。
【請求項１８】
前記移動物体獲得段階は、前記二進化された外乱映像で各ピクセルについて中心座標と認識するよう前記初期追跡ウィンドウを置かせる段階と、
前記初期追跡ウィンドウ領域内の初期座標から最終座標まで合算して前記中心座標に当たるピクセルのＭＤＦ値を計算する段階と、
前記二進化された外乱映像でＭＤＦが最大値を有するピクセルの座標を中心に前記移動物体が含まれるよう追跡ウィンドウのサイズを調整する段階とを備えることを特徴とする請求項１４に記載の移動物体自動追跡方法。
【請求項１９】
前記ＭＤＦ計算段階では前記各ピクセルについてＭＤＦを並列に計算することを特徴とする請求項１８に記載の移動物体自動追跡方法。
【請求項２０】
前記移動物体獲得段階では前記最大ＭＤＦ値が第３臨界値より少ない場合は移動物体が存在しないことと判断することを特徴とする請求項１８に記載の移動物体自動追跡方法。
【請求項２１】
前記追跡結果判断段階において前記誤差範囲を判断した結果誤差範囲が設定値以上ならば後続フレームについて移動物体獲得段階が行なわれるようにすることを特徴とする請求項１４に記載の移動物体自動追跡方法。
【請求項２２】
前記入力映像の全領域について前記追跡ウィンドウの中心が設定された範囲外に置かれると前記移動物体移動予測方向に撮影方向を移動させる段階をさらに備えることを特徴とする請求項１４に記載の移動物体自動追跡方法。
【請求項２３】
前記予測地点に位置した追跡ウィンドウのサイズを後続フレームで得た移動物体の実際サイズによって一定比率に維持されるようズームイン/アウトする段階をさらに備えることを特徴とする請求項１４に記載の移動物体自動追跡方法。
【請求項２４】
前記撮影制御と入力映像に対する信号処理は時分割的に行なわれることを特徴とする請求項２３に記載の移動物体自動追跡方法。
【請求項２５】
前記入力映像の全領域について前記追跡ウィンドウが所定領域内に位置する場合は撮影制御を中断することを特徴とする請求項２３に記載の移動物体自動追跡方法。
【請求項２６】
監視領域を撮影する撮影部と、
該撮影部を通して得た入力映像から、動きのある領域と動きのない領域とをあらわす、二進化された外乱映像を生成する二進化外乱映像生成部と、
前記二進化された外乱映像から、予め設定されたサイズの初期追跡ウィンドウに包含される移動ウィンドウを用いて移動物体の情報を獲得し、獲得情報に基づいて前記初期追跡ウィンドウの中心を位置移動させると共に、前記二進化された外乱映像内の移動物体を囲うように前記初期追跡ウィンドウのサイズを調整する移動物体獲得部と、
前記移動物体獲得部によりサイズが調整された追跡ウィンドウに囲われた移動物体の中心に対する現在獲得情報と以前獲得情報に基づき後続フレームにおける前記移動物体の中心が移動される地点を予測し、前記移動物体の中心移動予測地点に前記追跡ウィンドウの中心を位置移動させ、前記後続フレームの前記追跡ウィンドウ内で前記移動物体の実際中心と追跡ウィンドウのサイズ情報を得る移動物体自動追跡部と、
前記後続フレームにおける前記移動物体の実際獲得情報と前記移動物体に対する予測情報とを比較した誤差範囲によって、前記追跡ウィンドウ内で前記移動物体の追跡を続行するか、前記移動物体獲得部による前記初期追跡ウィンドウのサイズ調整を行うかの判断を行う追跡状態判断部と、
前記追跡状態判断部の判断結果に基づき上記撮影部を制御する撮影制御部とを備えることを特徴とする移動物体自動追跡装置。
【請求項２７】
上記移動物体自動追跡部は、上記後続フレームで上記移動物体の中心を検出するために上記追跡ウィンドウの中心を上記推定された位置に移動させることを特徴とする請求項２６に記載の移動物体自動追跡装置。
【請求項２８】
上記移動物体獲得部は、上記二進化された外乱映像で初期追跡装置内の初期座標から最終座標までの二進値を合算して中心座標に該当するピクセルついてＭＤＦ値を計算するＭＤＦ計算部と、
上記計算されたＭＤＦの最大値のピクセルを中心に実際移動物体の中心座標計算及び移動物体のサイズを計算して追跡ウィンドウのサイズを調整する追跡ウィンドウ調整部とを含むことを特徴とする請求項２６に記載の移動物体自動追跡装置。
【請求項２９】
前記ＭＤＦ計算部は、次式で算出された外乱映像から生成された、前記二進化された外乱映像に基づき、
【数１】
0003667306.tif 000005
ＭＤＦ  : Motion Disturbance Function
ｐ、ｑ  :  全映像において任意のピクセルに対する座標
ｘ、ｙ  :  移動ウィンドウ内の任意のピクセルに対する座標
ＭＷ    :  移動ウィンドウ
Ｍ１ｘｃ、Ｍ１ｙｃ：  全映像の初期座標を含む移動ウィンドウ内の中心座標
Ｍｎｘｃ、Ｍｎｙｃ：  全映像の最終座標を含む移動ウィンドウ内の中心座標
Ｂ  ：二進化された外乱映像
前記ＭＤＦ値を計算することを特徴とする請求項２６に記載の移動物体自動追跡装置。
【請求項３０】
上記二進化外乱映像生成部は、上記現在入力映像信号から以前入力映像を減算する第１減算機と；
上記現在入力映像信号から上記第１減算機の第１出力を減算する第２減算機と；
上記現在入力映像信号から上記第２減算機の出力信号を減算する第３減算機と；及び
上記二進化外乱映像を生成するために基準値と第３減算機の出力値と比較する映像分割部とを含むことを特徴とする請求項２６に記載の移動物体自動追跡装置。
【請求項３１】
上記二進化外乱映像生成部は、第４出力信号を生成するために上記第１減算機の出力を制限するリミターと；及び
上記リミターの上記第４出力利得を制御する利得制御機とをさらに含むことを特徴とする請求項３０に記載の移動物体自動追跡装置。
【請求項３２】
撮影された入力映像を信号処理することにより自動感知された移動物体を、監視領域から外れるまで追跡する移動物体追跡装置における移動物体追跡方法であって、
当該移動物体追跡装置の撮影部における撮影を通して得た入力映像から、動きのある領域と動きのない領域とをあらわす、二進化された外乱映像を生成する段階と、
前記二進化された外乱映像から予め設定されたサイズの初期追跡ウィンドウに包含される移動ウィンドウを用いて移動物体に対する情報を獲得する段階と、
獲得された獲得情報に基づいて前記初期追跡ウィンドウの中心を移動し、前記二進化された外乱映像内の移動物体が含まれるよう前記初期追跡ウィンドウのサイズを調整する段階と、
サイズが調整された追跡ウィンドウに囲われた前記移動物体の中心に対する現在獲得情報と以前獲得情報に基づき後続フレームにおける前記移動物体の中心が移動される地点を予測する段階と、
前記移動物体の中心移動予測地点に前記追跡ウィンドウの中心を置かせる段階と、
前記追跡ウィンドウ内で前記後続フレームにおける前記移動物体の実際中心と追跡ウィンドウのサイズ情報を得る段階と、
前記後続フレームにおける前記移動物体の実際獲得情報と前記移動物体に対する予測情報とを比較し、誤差範囲によって、前記追跡ウィンドウ内で前記移動物体の追跡を続行するか、再び前記初期追跡ウィンドウのサイズ調整を行うかを判断する段階と
該段階における判断の結果に基づいて前記撮影部の制御を行なう段階とを含むことを特徴とする移動物体自動追跡方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は移動物体追跡装置及び方法に係り、特に入力映像の信号処理を通して移動物体を自動に感知し、監視領域を外れるまで引き続き追跡できる移動物体追跡装置及び方法に関する。
【０００２】
【従来の技術】
入力された映像情報で動いている物体を自動に感知し、追跡できるよう設計された移動物体追跡システムが国内外で多様に提案された。
【０００３】
次は映像情報を通して移動物体を追跡する代表的な方法である。
【０００４】
１．二フレーム間の差信号を用いた追跡技法
２．相関(Correlation : Block Matching Algorithm)を用いた追跡技法
３．外乱マップ(Disturbance Map)を用いた追跡技法
４．カラー分布を用いた追跡技法
５．光流れ(Optical flow)を用いた追跡技法
前述した追跡技法は入力映像から移動物体を抽出するのにそれぞれその長所を有しているが、個々の実験結果を分析した時、速度や正確性面において多くの問題点が露出され商用化には多少難しさがあった。
【０００５】
最近、前述したような移動物体追跡技法を複合的に適用して商用化に近接した多重移動物体追跡監視システムが韓国公開特許(出願番号:１０−２０００−２２８１８)に開示されている。
【０００６】
提案された多重移動物体追跡監視システムは、広域監視装置と地域監視装置とから構成される。広域監視装置は固定されたカメラが広い領域を監視して監視範囲内に存する全ての動いている物体を登録及び追跡し、登録された移動物体のうち追跡しようとする移動物体について地域監視装置に追跡命令を伝達して地域監視装置をして移動物体が監視領域を外れるまで追跡せしめる。
【０００７】
図１は従来の多重移動物体追跡監視システムの地域監視装置を示したブロック図である。地域監視装置１００は、カメラ１０と、カメラ１０から伝達された映像を入力される映像入力部２０と、入力映像の雑音成分を除去するための映像補正部３０と、補正された映像信号で外乱マップを用いて移動物体の動きを検出する動き検出部４０と、映像信号から移動物体を分離するための動き物体抽出部５０と、抽出された物体の位置及び速度情報を用いて動き物体を追跡する動き物体追跡部６０、それからカメラ１０の移動による入力映像の補正を行なうカメラ移動補正部７０とから構成される。
【０００８】
前述したような構成を有する地域監視装置１００の動作を図２の順序図を参照して説明する。まず、カメラ１０を介して撮影された映像が映像入力部２０に入力されれば(Ｓ１)、入力された映像信号について映像補正部３０で雑音成分を除去するためのフィルタリングを行ない(Ｓ２)、カメラ移動補正部７０でカメラ１０の動きに対する補正を行なう(Ｓ３)。その後、動き検出部４０で補正された映像信号について外乱マップアルゴリズムを通して物体の動きを検出する(Ｓ４)。動き物体抽出部５０では実際動きのある物体を背景から分離するために外乱マップを通して抽出された動き領域で映像分割及び併合を用いて実際移動物体を抽出する(Ｓ５)。すると、動き物体抽出部５０では抽出された移動物体の位置及び速度情報をカルマンフィルタ(Kalman Filter)を用いた予測アルゴリズムに適用して物体の次の位置を予測し追跡する(Ｓ６)。そして、追跡中の物体が停止して動きがなくなるか色々の物体が交差して正確な追跡が難しくなれば、ブロック整合法を用いて物体を追跡する(Ｓ７)。このように物体の移動が検出されれば、移動物体の動きによってカメラを移動させる(Ｓ８)。その後、前記過程を反復して動いている物体を追跡し続ける。
【０００９】
前述した従来の多重移動物体追跡監視システムは多様なアルゴリズムが用いられているが、代表的には動いている物体を自動に獲得または抽出するために外乱マップアルゴリズムを用いており、追跡のためにブロック整合アルゴリズムを使用している。
【００１０】
しかし、前述したような従来の移動物体追跡装置においては、移動物体の抽出のための外乱マップアルゴリズムがカメラが停止されている場合は抽出性能に優れるが、カメラが動く場合はそれによる映像補正が必須に要求される。このため、従来の技術ではカメラ補正アルゴリズムを用いているが、これはそれほどシステムで処理するデータ量が増加して処理に対する負担を有するようになる。
【００１１】
また、従来の技術に用いられる移動物体の追跡のためのブロック整合アルゴリズムは物体が移動しつつサイズ、形態、明るさなどが変る場合、その追跡性能が低下されブロックのサイズが大きくなるほど処理速度が落ちる問題点を有する。
【００１２】
【発明が解決しようとする課題】
本発明は前述した問題点を解決するために案出されたもので、その目的は固定されたカメラを用いて移動物体追跡において最高の性能を有する外乱マップアルゴリズムの長所をそのまま利用しながら、カメラ移動による補正過程が無しに新たな追跡方法を提供し、移動物体に対する情報を得るために最小限の映像処理だけを行うことによって処理速度を改善し、移動物体の移動及び環境変化による適切な対応によって追跡性能を向上させうる移動物体自動追跡装置及び方法を提供するところにある。
【００１３】
【課題を解決するための手段】
前述した目的を達成するための本発明の移動物体追跡装置は、監視領域を撮影する撮影部と、該撮影部を通して得た入力映像から二進化された外乱映像を生成する二進化外乱映像生成部と、前記二進化された外乱映像から予め設定されたサイズの初期追跡ウィンドウを通した移動ウィンドウを用いて移動物体に対する情報を獲得し、前記二進化された外乱映像内で移動物体を含むよう前記初期追跡ウィンドウのサイズを調整する移動物体獲得部と、前記移動物体の中心に対する現在獲得情報と以前獲得情報に基づき後続フレームにおける前記移動物体の中心が移動される地点を予測し、前記移動物体の中心移動予測地点に前記追跡ウィンドウの中心を位置移動させ、前記追跡ウィンドウ内で後続フレームを通した前記移動物体の実際中心と追跡ウィンドウのサイズ情報を得る移動物体自動追跡部と、前記後続フレームを通した前記移動物体の実際獲得情報と前記移動物体に対する予測情報を比較し誤差範囲によって追跡状態の結果を判断する追跡状態判断部とを備える。
【００１４】
また、前記移動物体追跡装置は、前記撮影部から入力された映像について信号処理速度をアップさせ、雑音を除去するために入力映像前処理部をさらに備える。
【００１５】
そして、前記移動物体追跡装置は前記入力映像の全領域について前記追跡ウィンドウの中心が設定された範囲外に位置すれば前記移動物体移動予測方向に前記撮影部の撮影方向を制御する撮影制御部をさらに備える。この際、撮影方向制御と映像信号処理は互いに時分割的に分離されそれぞれ行なわせる。
【００１６】
前述した目的を達成するための本発明の移動物体追跡方法は、監視領域を撮影する段階と、撮影を通して得た入力映像から二進化された外乱映像を生成する段階と、前記二進化された外乱映像から予め設定されたサイズの初期追跡ウィンドウを通した移動ウィンドウを用いて移動物体に対する情報を得る段階と、前記二進化された外乱映像内で移動物体を含むよう前記初期追跡ウィンドウのサイズを調整する段階と、前記移動物体の中心に対する現在獲得情報と以前獲得情報に基づき後続フレームにおける前記移動物体の中心が移動される地点を予測する段階と、前記移動物体の中心移動予測地点に前記追跡ウィンドウの中心を置かせる段階と、前記後続フレームの前記追跡ウィンドウ内で前記移動物体の実際中心と追跡ウィンドウのサイズ情報を得る段階と、前記後続フレームを通した前記移動物体の実際獲得情報と前記移動物体に対する予測情報を比較し誤差範囲によって追跡状態の結果を判断する段階とを備える。
【００１７】
また、前記移動物体追跡方法は前記撮影を通して入力された映像について信号処理速度をアップさせ、雑音を除去するために前処理する段階をさらに備える。
【００１８】
そして、前記移動物体追跡方法は前記入力映像の全領域について前記追跡ウィンドウの中心が設定された範囲外に位置すれば前記移動物体移動予測方向に撮影方向を移動させる段階をさらに備える。この際、撮影方向制御と映像信号処理は互いに時分割的に分離され行なわれるようにする。
【００１９】
以上のような移動物体追跡装置及び方法は、移動物体追跡時最小限の映像サイズだけを処理して処理速度をアップすることができ、追跡のために撮影方向移動時撮影方向制御と映像信号処理が互いに時分割的に分離され行なわれるため、カメラ動きに対する補正が求められなくてデータ処理に対する負担を軽減することができる。
【００２０】
【発明の実施の形態】
以下、添付した図面に基づき本発明を詳述する。
【００２１】
図３は本発明に係る移動物体の追跡装置のブロック図である。移動物体追跡装置２００は、撮影部１１０、入力映像前処理部１２０、二進化外乱映像生成部１３０、移動物体獲得部１４０、移動物体自動追跡部１５０、それから追跡状態判断部１６０及び撮影制御部１７０とを備える。
【００２２】
撮影部１１０は監視領域を撮影してアナログ映像信号を出力する。
【００２３】
入力映像前処理部１２０は、全体入力映像から所望の情報(動く物体の中心値及びサイズ)を最短時間に得るために入力されたアナログ映像信号についてデジタル信号に変換するＡ/Ｄコンバータ１２１と、入力映像の解像度を調整する解像度調整部１２２と、解像度が調整された入力映像から各種雑音を除去するためにフィルタリングを行なうフィルタ１２３を備える。
【００２４】
二進化外乱映像生成部１３０は、前処理された入力映像で背景と移動物体の分離を行なうために外乱マップアルゴリズムを通して入力映像をバイナリ画像に変換する。
【００２５】
図４は二進化外乱映像生成部に対する詳細ブロック図である。二進化外乱映像生成部１３０は、入力映像と以前までの入力映像の平均値を通して外乱フィールドを得る再帰的フィルタ１３２及び再帰的フィルタ１３２を通して得た外乱フィールドの絶対値と第１臨界値(外乱スレショルド)を比較した結果に応じて各ピクセルについて二進化された外乱映像を出力する映像分割部１３６を備える。また、二進化外乱映像生成部１３０は自動車のヘッドライトによって移動物体領域が誤認識される恐れを無くすために各ピクセルの二進値の決定に影響を与えるヘッドライト防止部１３４をさらに備える。
【００２６】
ヘッドライト防止部１３４は、入力映像と現在フレームの外乱フィールドをそれぞれ第２臨界値と比較する第１比較器(１３４−１)及び第２比較器１３４−２と、第１及び第２比較器１３４−１、１３４−２の出力値をＯＲ演算するＯＲゲート１３４−３を備える。
【００２７】
移動物体獲得部１４０は、最初追跡し始める時または追跡を失敗した後に再び移動物体を獲得する時、追跡ウィンドウを用いて移動物体に対する中心値及びサイズの情報を獲得する。このため、移動物体獲得時予め設定されたサイズの初期追跡ウィンドウを通して移動ウィンドウ概念を用いて設定された範囲内の各ピクセルについてＭＤＦを全入力映像で並列的に計算するＭＤＦ計算部１４２と、ＭＤＦが最大値である地点を探す後その地点を中心にして実際追跡ウィンドウ内で移動物体中心と移動物体のサイズを計算して追跡ウィンドウのサイズを調整する追跡ウィンドウ調整部１４１を備える。ここで、ＭＤＦ計算部１４２は初期追跡ウィンドウ内の初期座標から最終座標までの二進値を合算して中心座標に該当するピクセルのＭＤＦ値で決定する。このように移動物体獲得部１４０で得た移動物体の中心情報は結局撮影部１１０のパン／チルトを制御するのに用いられ、追跡ウィンドウのサイズ情報は撮影部１１０のズームイン／アウト制御に用いられる。
【００２８】
移動物体自動追跡部１５０は、移動物体の中心に対する現在獲得情報と以前獲得情報に基づき後続フレームにおける移動物体の中心が移動される地点を予測し、移動物体の中心移動予測地点にサイズ調整された追跡ウィンドウの中心を位置移動させ、追跡ウィンドウ内で後続フレームの実際移動物体の中心と追跡ウィンドウのサイズ情報を得る。すなわち、後続フレームではサイズ調整された追跡ウィンドウ内の映像信号だけを処理する。
【００２９】
追跡状態判断部１６０は、後続フレームを通した移動物体の実際獲得情報と移動物体に対する予測情報を比較し、誤差範囲によって追跡状態の結果を判断する。また、追跡ウィンドウ内の二進化された外乱のピクセルの数を検査して、追跡状態を判断することもある。ここで、追跡状態の誤差範囲が設定値以内ならば引き続き移動物体自動追跡部１５０を通して追跡ウィンドウの領域だけ信号処理しつつ移動物体を追跡し、設定値以上ならば移動物体獲得部１４０を通して入力映像の全体について移動物体に対する情報を再獲得させ、再び自動追跡する過程を繰り返す。
【００３０】
撮影制御部１７０は、入力映像の全領域について追跡ウィンドウの中心が設定された範囲外に位置すれば、前記移動物体移動予測方向に撮影部１１０の撮影方向を制御する。また、予測地点に位置した追跡ウィンドウのサイズと後続フレームで得た移動物体のサイズが一定比率に維持されるよう撮影部１１０のズームイン／アウト制御を行なう。ここで、撮影制御部１７０はパン/チルト、ズームイン／アウト及び撮影方向制御のような撮影制御と入力映像に対する信号処理が互いに時分割され行われるようにする。
【００３１】
以下、図５の順序図に基づき本発明に係る移動物体の追跡方法を説明する。まず、システムは撮影部１１０を通して監視領域を 撮影して入力映像を得る(Ｓ１０)。そして得た入力映像について前処理を行なう(Ｓ２０)。前処理過程２０は信号処理速度をアップさせうるよう解像度を調整し(Ｓ２１)、解像度調整された入力映像で雑音を除去するためにフィルタリングを行なう(Ｓ２２)。そして前処理された入力映像を外乱マップアルゴリズムを通して二進化された外乱映像に変換する(Ｓ３０)。
【００３２】
外乱マップアルゴリズムは現在入力映像Ｉｔと背景映像(以前まで入力された映像の平均映像Ａｔ−１の差を用いて外乱フィールドΔｔを生成し、これを用いて物体の動き領域を検出する。このため、以前フレームまでＡｔ−１の平均にヒストリカルウェイト(historical weight)(ω)を設けて背景映像Ａｔを生成する。次は現在入力映像についてそれぞれ外乱映像と背景映像を求める式である。
【００３３】
【数２】
0003667306.tif 000002
｛:  Δｔ： 外乱映像
Ａｔ： 現在フレームの背景映像または平均映像
Ａｔ−１ ： 以前フレームまでの背景映像または平均映像
Ｉｔ: 現在入力映像
Ｋ ：利得（Gain）
Lim：リミター
外乱マップアルゴリズムは物体が動いている領域では‘１’値を有し、動きのない領域では‘０’値を有するよう設計される。すなわち、映像全体の各ピクセルが有する絶対値がスレショルド(threshold)値以上ならば動き領域、スレショルド値より少なければ背景領域として分類する。
【００３４】
前述した式（１）の外乱映像を通して得る信号を 第１臨界値と第２臨界値を利用して映像分割する。すなわち、物体の動きがある領域は値１を有し、動きがない領域は値０を有するように映像する。
【００３５】
ここで二進化された外乱映像の画面出力形態は動きが発生した部分については白色で表示され、背景領域は黒色で表示される。一方、本発明では自動車のヘッドライトによって動き領域が誤認識されることが防止できるようヘッドライト防止部１３６の出力結果が各ピクセルに対する二進値を決める変数として動作する。これを通して移動物体の誤認を減らせる。
【００３６】
前述したように入力映像が二進化された外乱映像に変換されれば、移動物体獲得部１４０では二進化された外乱映像から予め設定されたサイズの初期追跡ウィンドウを通して移動物体の中心及びサイズ情報を得る(Ｓ４０)。すなわち、全映像の移動物体が存する部分で移動物体の中心値及び移動物体追跡ウィンドウのサイズ情報を得る。このような移動物体に対する情報を得るために二進化された外乱映像で移動ウィンドウ概念を用いて各ピクセルに対するＭＤＦを計算する(Ｓ４２)。
【００３７】
図６は移動ウィンドウ(moving window)の概念を示す。移動ウィンドウは入力映像の各ピクセルを探索するために各ピクセルを中心座標にする所定サイズのウィンドウを指す。そして、移動ウィンドウ内の各ピクセルが有する二進値を合算して中心座標に位置したピクセルの特定値として決定する。
【００３８】
本発明に適用された移動ウィンドウは、初期追跡ウィンドウのサイズを有し、全体ピクセル数未満の数が生成される。このように生成された移動ウィンドウは各ピクセルについて前記初期追跡ウィンドウ内の初期座標から最終座標までの二進値を合算して中心座標に位置したピクセルのＭＤＦ値として決定する。一方、実時間処理のために各ピクセルに対するＭＤＦ探索は並列に処理する(Ｓ４２)。
【００３９】
移動ウィンドウを通した各ピクセルのＭＤＦに対する計算式は次の通りである。
【００４０】
【数３】
0003667306.tif 000003
ＭＤＦ : Motion Disturbance Function
ｐ、ｑ : 全映像において任意のピクセルに対する座標
ｘ、ｙ : 移動ウィンドウ内の任意のピクセルに対する座標
ＭＷ  : 移動ウィンドウ
Ｍ１ｘｃ、Ｍ１ｙｃ : 全映像の初期座標を含む移動ウィンドウ内の中心座標
Ｍｎｘｃ、Ｍｎｙｃ: 全映像の最終座標を含む移動ウィンドウ内の中心座標
Ｂ(Binary) : 二進化された外乱映像
図７は移動物体に対する情報獲得過程を示した図である。まず、二進化された外乱映像ａについて多数の初期追跡ウィンドウｂを通して各ピクセルのＭＤＦを計算する(ｃ)。こうして移動物体に対するＭＤＦフィールドを検出し(ｄ)、そのＭＤＦ値の最大の地点が第３臨界値(検出スレショルド)以上ならば、その最大地点に初期追跡ウィンドウの中心を位置させる(ｅ)。そして移動物体が含まれるよう初期追跡ウィンドウのサイズを調整した後、サイズ調整された追跡ウィンドウ内で移動物体の中心座標及び追跡ウィンドウのサイズを計算する(ｆ)。もしＭＤＦが移動物体獲得臨界値より少なければ移動物体は存在しないことと判断する(Ｓ４３)。追跡ウィンドウ内で移動物体の中心座標を求める式は次の通りである。
【００４１】
【数４】
0003667306.tif 000004
ｘｅ、ｙｅ : 追跡ウィンドウ内で移動物体中心座標
ＴＷ : 追跡ウィンドウ  ｘ、ｙ: 追跡ウィンドウ内の任意の座標
Ｂ : バイナリ画像（Binary image）
ｐＬ、ｑＬ : 全映像においてＭＤＦ最大の地点の座標 }
このように追跡ウィンドウ内で実際移動物体の中心値を計算して移動物体のサイズが計算できる。また、移動物体のサイズと追跡ウィンドウのサイズの比を通して追跡ウィンドウのサイズが調整できる。次は追跡ウィンドウのサイズを調整するための移動物体の占有率を求める式である。
【００４２】
占有率＝物体のサイズ／追跡のウィンドウ
一方、前述したように移動物体が検出され追跡ウィンドウのサイズが調整されれば、移動物体の移動位置を予測して自動に移動物体を追跡する(Ｓ５０)。すなわち、移動物体の中心に対する現在獲得情報と以前までの移動物体中心に対する獲得情報に基づき後続フレームにおける移動物体の中心が移動される地点を予測し(Ｓ５１)、その予測地点にサイズ調整された追跡ウィンドウの中心を置かせる(Ｓ５２)。図８は以前の情報を用いて後続フレームの移動物体移動予測地点に追跡ウィンドウが再設定される様子を示している。その後、追跡ウィンドウ内で後続フレームを通した移動物体の実際中心と追跡ウィンドウのサイズ情報を得る(Ｓ５３)。このように後続フレームを通した実際移動物体に対する情報が得られれば、移動物体に対する予測情報と比較し誤差範囲によって追跡状態の結果を判断する(Ｓ６０)。ここで追跡状態の誤差範囲が設定値以内ならば引き続き移動物体自動追跡部１５０を通して追跡ウィンドウの領域だけ信号処理しつつ移動物体を追跡し、もし追跡状態の誤差範囲が設定値以上ならば移動物体獲得部１４０を通して入力映像の全体について移動物体に対する情報を再獲得させる。ここで、追跡ウィンドウ内のピクセル数が臨界値以下であれば同じく移動物体に対する情報を再獲得するようにする。もし段階６０で追跡状態の誤差範囲が設定値以内の場合は移動物体に対する追跡が良好であると判断してシステムは撮影部１１０の移動及びズームイン／アウトそしてファン／チルトを制御する(Ｓ７０)。この際、システムは入力映像の全領域について追跡ウィンドウの中心が設定された範囲外に位置すれば、移動物体移動予測方向に撮影部１１０の撮影方向を移動させる。そして、図１１のように入力映像全体領域（Ｂ）について追跡ウィンドウが中心部の所定領域（Ａ）内に位置すればファン／チルトが行わないように制御する。そしてシステムは追跡ウィンドウ内の後続フレームで得た移動物体の実際サイズによって追跡ウィンドウと移動物体のサイズが一定比率に維持されるように自動的にズームイン／アウト制御する。この際、図１２のように入力映像で移動物体が位置する領域によってズームイン／アウト制御を行うことまたは行わないことができる。これによって過多なファン／チルト制御及びズームイン／アウト制御による不必要な映像歪みを防止することができ、全体的な追跡システムの安定性を高めることができる。
【００４３】
撮影部１１０の制御と入力映像に対する信号処理は図９のように互いに分離され時分割的に行なわせる。図１０は撮影部１１０制御と映像信号処理に対する他の実施例であって、移動物体に対する初期情報獲得のために初期映像信号処理時間を十分提供できることが見られる。
【００４４】
上述のように本発明の移動物体の自動追跡装置及び方法は 追跡ウィンドウを通した最小限の映像サイズだけを処理する。そして、カメラ移動及びズームイン／アウトそしてファン／チルトのようなカメラ制御と映像信号処理を時分割的に分割して行なうことによってカメラの動きに対する映像補正過程を省くことができる。
【００４５】
また、ヘッドライト防止部を通して自動車のヘッドライトなどによって動き領域が誤認識されることを防止できる。そして、移動物体の中心値を通した正確なパン/チルト制御が可能であり、移動物体のサイズと追跡ウィンドウのサイズを通して移動物体を自動にズームイン/アウトできるようになる。このようなズームイン／アウト機能は駐車場における番号札の確認などに有用に用いられる。
【００４６】
【発明の効果】
以上のような本発明に係る移動物体自動追跡装置及び方法は、移動物体の追跡において最小限の映像を処理することによって処理速度をアップすることができ、他の物体の干渉影響を最小化することができる。
【００４７】
また、カメラ移動に伴う補正が省けるので、移動物体追跡による複雑な信号処理と過程を単純化することができる。
【００４８】
そして、背景映像においてヘッドライト及びその他の環境変化に伴って移動物体が誤認識されることを防止することができる。
【００４９】
また、移動物体について正確なパン/チルト及びズームイン/アウトがなされるため監視領域の監視結果確認時物体を明確に認識することができる。
【００５０】
本発明は前述した特定の望ましい実施形態に限らず、請求の範囲で請求する本発明の要旨を逸脱せず当該発明の属する技術分野において通常の知識を持つものならば誰でも多様な変形実施が可能なことは勿論、そのような変形は記載された請求の範囲内にある。
【図面の簡単な説明】
【図１】従来の移動物体追跡装置のブロック図である。
【図２】図１の動作を説明する順序図である。
【図３】本発明に係る移動物体追跡装置のブロック図である。
【図４】図３に示した二進化外乱映像生成部の細部ブロック図である。
【図５】本発明に係る移動物体追跡方法を説明する順序図である。
【図６】移動ウィンドウの概念を説明するための図である。
【図７】移動物体獲得過程を示す図である。
【図８】移動物体自動追跡過程を示す図である。
【図９】カメラ制御と映像信号処理がそれぞれ時分割的に行なわれる様子を示す図である。
【図１０】図９の他の実施例を示した図である。
【図１１】全映像においてカメラファン／チルト制御を要する領域と要しない領域を示した図である。
【図１２】全映像において追跡ウィンドウのサイズに応じてカメラのズームイン／アウト制御が要する領域と要しない領域を示した図である。
【符号の説明】
１１０  撮影部
１２０  入力映像前処理部
１２１  Ａ／Ｄコンバータ
１２２  解像度調整部
１２３  フィルタ
１３０  二進化外乱映像生成部
１３２  再帰的フィルタ
１３４  ヘッドライト防止部
１３４−１  第１比較器
１３４−２  第２比較器
１３４−３  ＯＲゲート
１３６  映像分割部
１４０  移動物体獲得部
１４２  ＭＤＦ計算部
１５０  移動物体自動追跡部
１６０  追跡状態判断部
１７０  撮影制御部
２００  移動物体追跡装置
【図１】
0003667306.tif 000006
【図２】
0003667306.tif 000007
【図３】
0003667306.tif 000008
【図４】
0003667306.tif 000009
【図５】
0003667306.tif 000010
【図６】
0003667306.tif 000011
【図７】
0003667306.tif 000012
【図８】
0003667306.tif 000013
【図９】
0003667306.tif 000014
【図１０】
0003667306.tif 000015
【図１１】
0003667306.tif 000016
【図１２】
0003667306.tif 000017