(57)【要約】【課題】簡単なアルゴリズムを用いて監視領域内でヒトを正確に識別し、ヒトの身元を正確に確認することが可能な高解像度の身元確認用映像を獲得することができる保安用カメラ追跡監視システム及び方法を提供することにその目的があるものである。【解決手段】本発明は熱画像座標を用いた保安用カメラ追跡監視システム及び方法に係り、熱画像カメラによって撮影される熱画像から監視領域内でヒトを識別し、ヒトの位置座標を抽出し、抽出された位置座標に基づいて追跡監視カメラがヒトを追跡して拡大撮影することで、高解像度の身元確認用映像を獲得するように構成される。【選択図】図５
2013535896.tif 000002
【特許請求の範囲】
【請求項１】
予め設定された監視領域を撮影して熱画像として提供する赤外線熱画像カメラ１０と；
前記監視領域内でターゲットとなるヒトを追跡及び拡大撮影する追跡監視カメラ２０と；
前記監視領域内で追跡監視カメラ２０がターゲットとなるヒトを追跡するように前記追跡監視カメラ２０の姿勢制御を行う姿勢制御装置３０と；
前記赤外線熱画像カメラ１０が提供する監視領域の熱画像を臨界値（しきい値）を基準として二進化する映像処理を行って監視領域のヒトを識別しヒトの位置座標を抽出し、抽出された位置座標に基づいて前記姿勢制御装置３０の駆動を制御しながら、追跡監視カメラ２０によって撮影されるターゲットの身元確認用映像を受けて保存する制御システム５０と；
を含んでなることを特徴とする、熱画像座標を用いた保安用カメラ追跡監視システム。
【請求項２】
同一の前記監視領域を撮影し、撮影された映像を前記制御システム５０に伝送して全状況確認用可視映像が録画されるようにする全域監視カメラ４０をさらに含むことを特徴とする、請求項１に記載の熱画像座標を用いた保安用カメラ追跡監視システム。
【請求項３】
前記それぞれのカメラ１０、２０、４０の夜間撮影が可能となるように赤外線照明を提供する赤外線照明装置６０、７０をさらに含むことを特徴とする、請求項１または２に記載の熱画像座標を用いた保安用カメラ追跡監視システム。
【請求項４】
追跡監視カメラ２０用の赤外線照明装置６０は追跡監視カメラ２０に設置されて一体的に動くように備えられることを特徴とする、請求項３に記載の熱画像座標を用いた保安用カメラ追跡監視システム。
【請求項５】
前記監視領域内で多重ターゲットに対して身元確認用映像の同時または順次獲得が可能となるように、複数の追跡監視カメラ２０と、それぞれの追跡監視カメラ２０の姿勢制御のための複数の個別姿勢制御装置３０とが備えられることを特徴とする、請求項１に記載の熱画像座標を用いた保安用カメラ追跡監視システム。
【請求項６】
赤外線熱画像カメラ１０が設定された監視領域を撮影して制御システム５０に提供する過程と；
前記制御システム５０が前記赤外線熱画像カメラ１０から提供される監視領域の熱画像を臨界値（しきい値）を基準として二進化する映像処理を行って監視領域のヒトを識別しヒトの位置座標を抽出する過程と；
前記制御システム５０が抽出された位置座標に基づいて姿勢制御装置３０の駆動を制御する過程と；
前記姿勢制御装置３０の駆動によって追跡監視カメラ２０が監視領域内でターゲットとなるヒトを追跡して拡大撮影する過程と；
前記制御システム５０が追跡監視カメラ２０によって撮影されるターゲットの身元確認用映像を受けて保存する過程と；
を含んでなることを特徴とする、熱画像座標を用いた保安用カメラ追跡監視方法。
【請求項７】
全域監視カメラ４０が同一の前記監視領域を撮影し、撮影された映像を前記制御システム５０に伝送して全状況確認用可視映像が録画されるようにする過程をさらに含むことを特徴とする、請求項６に記載の熱画像座標を用いた保安用カメラ追跡監視方法。
【請求項８】
前記制御システム５０が熱画像から監視領域内の複数のヒトを識別し、各ヒトの位置座標を抽出し、抽出された位置座標に基づいて各ヒトに対して姿勢制御装置３０の駆動及び追跡監視カメラ２０の作動が順次に行われながら多重ターゲットに対する身元確認用映像が順次に獲得されるようにすることを特徴とする、請求項６に記載の熱画像座標を用いた保安用カメラ追跡監視方法。
【請求項９】
複数の追跡監視カメラ２０と各追跡監視カメラ２０の姿勢制御のための複数の個別姿勢制御装置３０が備えられ、前記監視領域内で多重ターゲットに対して身元確認用映像が同時または順次に獲得されるようにすることを特徴とする、請求項６に記載の熱画像座標を用いた保安用カメラ追跡監視方法。
【請求項１０】
前記ターゲットの身元確認が可能な顔部位の拡大撮影のために、前記制御システム５０が姿勢制御装置３０によって追跡監視カメラ２０の姿勢を制御し、識別されたヒトにあたる全領域の中で予め決まった割合の上部領域が追跡監視カメラ２０によって拡大撮影されるように姿勢制御することを特徴とする、請求項６に記載の熱画像座標を用いた保安用カメラ追跡監視方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は保安用カメラ追跡監視システム及び方法に係り、より詳しくは監視領域内でヒトを正確に識別してヒトの身元を正確に確認可能な高解像度の身元確認用映像を獲得することができる保安用カメラ追跡監視システム及び方法に関する。
【背景技術】
【０００２】
近年、カメラを用いた多様な形態の監視システムが産業分野に広く活用されている。このようなカメラ監視システムは保安用及び取締用にも積極的に活用されている。
道路上に設置された一部の車両取締用カメラ（例えば、駐停車取締や割りこみ取締用カメラ）の場合、カメラの姿勢制御（撮影方向調整）によって必要な領域を撮影するように設置されているが、現在、特定の場所を撮影して訪問者や侵入者を監視する殆どの保安用監視カメラは特定の距離と画角範囲内の監視領域全体を撮影する全域監視カメラである。
このような全域監視カメラは固定型カメラであり、決められた広い領域を監視するため、解像度の限界を持ち、これにより、全域監視カメラによって撮影された映像からは監視領域内にいるヒトの顔を正確に識別することができない場合が大部分である。
したがって、近来カメラが動的にヒトを追跡するシステムを開発している。
【０００３】
しかし、いまだに追跡技術の完成度が低くて実際に現場に適用するのには無理があり、現在まで開発されたＣＣＤ映像にだけ依存した追跡アルゴリズムによっては、画面で動く対象物があまりにも多様で多いため、人間のみを効果的に追跡することができないことが現実である。
それで、カメラが人間のみを正確に追跡して撮影するようにする技術が要望されており、また監視対象が多数人の場合、多重ターゲットに対する監視の技術開発が切実な実情である。
【０００４】
従来に知られた追跡に係わる代表的な方法とこれらの技術的欠点を述べると次のようである。
１）背景と対象物体分割の代表的な方法（差分画像アルゴリズム／背景差技法）
−差分画像アルゴリズム（Ｄｉｆｆｅｒｅｎｃｅ Ｐｉｃｔｕｒｅ Ａｌｇｏｒｉｔｈｍ）
一定時間だけ引き伸ばされた二つの映像を比較して物体を背景から分離する方法で、固定した背景から動く物体を効果的に検出することが可能である。
図１は差分画像アルゴリズムによって得た対象物体分割映像を示す図である。
−背景差技法（Ｂａｃｋｇｒｏｕｎｄ Ｍｏｄｅｌ）
現在映像以前の毎フレームを検査して基準となる背景映像に現在フレームの影響を付け加える方法で、背景映像生成の際に主に使用する技法である。
・時間的平滑法：以前フレームの画素値平均値を使用
・時間的中間値法：任意の画素において以前のフレームに現れた値を使用
−技術的欠点
動きが少ない場合、物体の検出が不可能であり（背景として認識）、物体の境界が背景に似ている場合、認識誤差が発生し、カメラと背景が同時に動く場合または背景だけ動く場合、背景と物体の分割が不可能である。
【０００５】
２）移動物体の検出及び追跡（特徴基盤方法／領域基盤方法）
−特徴基盤方法
・光流（Ｏｐｔｉｃａｌ Ｆｌｏｗ）を用いた方法：短時間内に得られた連続した二つのフレームに対して空間的変化だけ存在し画素自体の光エネルギーは保存される特徴を用いた方法。
・直線を用いた方法：一つの映像において直線の数が少なくて線自体がはっきりした特徴を持っているので、潜在的な整合の場合の数を減らすことができる。
・隅点（Ｃｏｒｎｅｒ Ｐｏｉｎｔ）を用いた方法：特徴フロー基盤情報で移動物体の形態を特徴づけて物体追跡
−領域基盤方法：一映像において特徴点を含んだ一定領域の映像断片を持って次の映像との相関関係（Ｃｏｒｒｅｌａｔｉｏｎ）を用いて捜す方法
−ブロック整合法（Ｂｌｏｃｋ Ｍａｔｃｈｉｎｇ Ｍｅｔｈｏｄ）：相関関係は画素基準の平均二乗の差分、絶対値の差分の和を持って比較する方法
図２は物体の特徴点抽出を用いた追跡方法を示す図である。
−技術的欠点
特徴またはブロックの整合のための演算処理が複雑であり（実時間処理引き延ばし）、物体検出のためにシステム上で物体特徴に関するデータベース化が要求される。
【０００６】
３）ステレオ（立体）基盤物体追跡（光ＪＴＣ追跡／ＢＰＥＪＴＣ追跡）
左／右側ステレオ入力映像から追跡物体までの距離情報を獲得し、座標で両側カメラを制御して物体を追跡する技術である。
−光ＪＴＣ（Ｊｏｉｎｔ Ｔｒａｎｓｆｏｒｍ Ｃｏｒｒｅｌａｔｏｒ）追跡システム：二つの標的映像信号を光ＪＴＣ入力平面に位置させてフレーム間の位置変化測定に基づいて映像の移動軌跡追跡
−ＢＰＥＪＴＣ（Ｂｉｎａｒｙ Ｐｈａｓｅ Ｅｘｔｒａｃｔｉｏｎ ＪＴＣ）追跡システム：類似した映像に対して優れた判別力を持つ二進位相形態の光ＪＴＣ利用
図３はステレオ方式を用いた追跡方法を示す図である。
【０００７】
−技術的欠点
背景雑音が多いかあるいは左右側映像の背景が互いに異なる場合、そしてカメラの移動による背景変化が発生する場合、追跡が不可能である。
【０００８】
前述したように、従来の追跡方法の欠点を整理すれば、一番目、従来の追跡方法は動きを感知して追跡する方法を使うものであり、二番目、フレーム間の差を用いて動きを追跡する方法を使うものである。
これらの方法は、結論として数学的アプローチを使うかあるいはアルゴリズムがあまり複雑であるため、実時間具現が容易でなく、動きがない場合、ヒトの認識及び追跡が不可能である。
【０００９】
図４は従来に知られた追跡計算式のアルゴリズムの一例を示したもので、Ｌはガウシアンブラリング映像を、Ｇはガウシアン関数を、ＤはＤｏＧ（Ｄｉｆｆｅｒｅｎｃｅ ｏｆ Ｇａｕｓｉａｎ）関数を、ｍは特徴点の大きさを、θは方向ベクターをそれぞれ示す。
したがって、簡単な追跡計算式を用いて実時間で正確に対象物体を識別することができるようにする技術開発が必要である。
【発明の概要】
【発明が解決しようとする課題】
【００１０】
したがって、本発明は前記のような問題点を解決するためになされたもので、簡単なアルゴリズムを用いて監視領域内でヒトを正確に識別し、ヒトの身元を正確に確認可能な高解像度の身元確認用映像を獲得することができる保安用カメラ追跡監視システム及び方法を提供することにその目的がある。
【課題を解決するための手段】
【００１１】
前記のような目的を達成するために、本発明は、予め設定された監視領域を撮影して熱画像として提供する赤外線熱画像カメラと；前記監視領域内でターゲットとなるヒトを追跡及び拡大撮影する追跡監視カメラと；前記監視領域内で追跡監視カメラがターゲットとなるヒトを追跡するように前記追跡監視カメラの姿勢制御を行う姿勢制御装置と；前記赤外線熱画像カメラが提供する監視領域の熱画像を臨界値を基準として二進化する映像処理を行って監視領域のヒトを識別しヒトの位置座標を抽出し、抽出された位置座標に基づいて前記姿勢制御装置の駆動を制御しながら、追跡監視カメラによって撮影されるターゲットの身元確認用映像を受けて保存する制御システムと；を含んでなる、熱画像座標を用いた保安用カメラ追跡監視システムを提供する。
【００１２】
好ましい実施形態において、同一の前記監視領域を撮影し、撮影された映像を制御システムに伝送して全状況確認用可視映像が録画されるようにする全域監視カメラをさらに含むことを特徴とする。
【００１３】
また、前記それぞれのカメラの夜間撮影が可能となるように赤外線照明を提供する赤外線照明装置をさらに含むことを特徴とする。
【００１４】
また、追跡監視カメラ用の赤外線照明装置は追跡監視カメラに設置されて一体的に動くように備えられることを特徴とする。
【００１５】
また、前記監視領域内で多重ターゲットに対して身元確認用映像の同時または順次獲得が可能となるように、複数の追跡監視カメラと、それぞれの追跡監視カメラの姿勢制御のための複数の個別姿勢制御装置とが備えられることを特徴とする。
【００１６】
そして、本発明は、さらに、赤外線熱画像カメラが設定された監視領域を撮影して制御システムに提供する過程と；制御システムが前記赤外線熱画像カメラから提供される監視領域の熱画像を臨界値を基準として二進化する映像処理を行って監視領域のヒトを識別しヒトの位置座標を抽出する過程と；制御システムが抽出された位置座標に基づいて姿勢制御装置の駆動を制御する過程と；前記姿勢制御装置の駆動によって追跡監視カメラが監視領域内でターゲットとなるヒトを追跡して拡大撮影する過程と；制御システムが追跡監視カメラによって撮影されるターゲットの身元確認用映像を受けて保存する過程と；を含んでなる、熱画像座標を用いた保安用カメラ追跡監視方法を提供する。
【００１７】
好ましい実施形態において、全域監視カメラが同一の前記監視領域を撮影し、撮影された映像を制御システムに伝送して全状況確認用可視映像が録画されるようにする過程をさらに含むことを特徴とする。
【００１８】
また、前記制御システムが熱画像から監視領域内の複数のヒトを識別し、各ヒトの位置座標を抽出し、抽出された位置座標に基づいて各ヒトに対して姿勢制御装置の駆動及び追跡監視カメラの作動が順次に行われながら多重ターゲットに対する身元確認用映像が順次に獲得されるようにすることを特徴とする。
【００１９】
また、複数の追跡監視カメラと各追跡監視カメラの姿勢制御のための複数の個別姿勢制御装置が備えられ、前記監視領域内で多重ターゲットに対して身元確認用映像が同時または順次に獲得されるようにすることを特徴とする。
【００２０】
また、前記ターゲットの身元確認が可能な顔部位の拡大撮影のために、前記制御システムが姿勢制御装置によって追跡監視カメラの姿勢を制御し、識別されたヒトにあたる全領域の中で予め決まった割合の上部領域が追跡監視カメラによって拡大撮影されるように姿勢制御することを特徴とする。
【発明の効果】
【００２１】
したがって、本発明による保安用カメラ追跡監視システム及び方法によれば、臨界値を基準として監視領域の熱画像を二進化する簡単なアルゴリズムを用いて監視領域のヒトを識別した後、識別されたヒトをターゲットとして追跡監視カメラがターゲットを追跡及び拡大撮影することにより高解像度の身元確認用映像を獲得することができるようになる。
【００２２】
また、本発明によれば、全域監視カメラとヒトの識別のためのセンサーの役目の熱画像カメラ、熱画像カメラの熱画像情報から識別されたヒトを追跡及び拡大撮影する追跡監視カメラが組み合せられてシステムが構成されることができるので、全域監視カメラと追跡監視カメラが相互間の欠点を補ってもっと効果的な監視が可能となる。
【００２３】
また、本発明によれば、追跡監視カメラが熱画像から取得される位置座標に基づいて多くのターゲットに対する順次追跡及び拡大撮影を遂行することができるので、多重ターゲットの効果的な監視が可能であり、複数の追跡監視カメラと姿勢制御装置を用いる場合、同時に多重ターゲットの監視が可能となる。
【００２４】
また、このような本発明は映画産業やスポーツ（例えば、アイスリンクなど）の分野に適用すれば、特定の対象を追跡して拡大撮影するのに効果的に活用できる。
【図面の簡単な説明】
【００２５】
【図１】従来の差分画像アルゴリズムを用いて得た対象物体分割映像を示す図である。
【図２】従来の特徴点抽出を用いた追跡方法を示す図である。
【図３】従来のステレオを用いた追跡方法を示す図である。
【図４】従来に知られた追跡計算式のアルゴリズムの一例を示す図である。
【図５】本発明による保安用カメラ追跡監視システム本体の構成を示す斜視図である。
【図６】本発明による保安用カメラ追跡監視システムの構成を示すブロック図である。
【図７】本発明者が遂行したシミュレーションの解釈結果を示す図である。
【図８】本発明者が遂行したシミュレーションの解釈結果を示す図である。
【図９】本発明において熱画像を用いたヒト認識方法を説明するための図である。
【図１０】本発明による保安用カメラ追跡監視過程を示す例示図である。
【図１１】本発明による追跡監視システムにおいて複数の追跡監視カメラが装着されたシステムの構成図である。
【発明を実施するための形態】
【００２６】
以下、添付図面を参照して本発明の実施形態について、本発明が属する技術分野で通常の知識を持った者が容易に実施することができるように、詳細に説明する。
【００２７】
本発明は、熱画像カメラによって撮影される熱画像から監視領域内でヒトを識別し、ヒトの位置座標を抽出し、抽出された位置座標に基づいて追跡監視カメラがヒトを追跡及び拡大撮影することにより、高解像度の身元確認用映像を獲得するように構成される熱画像座標を用いた保安用カメラ追跡監視システム及び方法に関する。
【００２８】
図５は本発明による保安用カメラ追跡監視システム本体の構成を示す斜視図、図６は本発明による保安用カメラ追跡監視システムの構成を示すブロック図である。
【００２９】
また、図７及び図８は本発明者が遂行したシミュレーションの解釈結果を示す図である。
【００３０】
また、図９は本発明において熱画像を用いたヒトの認識方法を説明する図、図１０は本発明による保安用カメラ追跡監視過程を示す例示図、図１１は本発明による追跡監視システムにおいて複数の追跡監視カメラ及び姿勢制御装置が装着されたシステムの構成図である。
【００３１】
本発明は、解像度の限界のため、従来の保安監視カメラによっては広い全域範囲監視でヒトの顔を識別しにくかった問題点を解決するために、熱画像の位置座標を用いた動的追跡監視カメラのズーム制御追跡方式を用いるように構成される。
すなわち、熱画像から取得されるヒトの位置座標及び大きさの情報を参照し、動的追跡監視カメラが速い姿勢制御でターゲットを追跡しながら集中ズーミング（Ｚｏｏｍｉｎｇ）して高解像度の身元確認用映像を獲得するようにすることにより、効果的なターゲットの追跡及び顔認識が可能となる。
【００３２】
このために、本発明の実施形態のカメラ追跡監視システムは３種のカメラを組み合せて構成される。その構成を述べると、図５及び図６に示したように、本発明の実施形態によるカメラ追跡監視システムは、全監視領域に対してヒトの識別及び位置座標獲得のためのセンサーの役目の熱画像カメラ１０、ターゲットとなるヒトを追跡及び拡大撮影して身元確認用映像を獲得する追跡監視カメラ２０、全監視領域を撮影して全状況確認用可視映像を獲得する全域監視カメラ４０、前記追跡監視カメラ２０の姿勢を高速制御する姿勢制御装置３０、及びそれぞれのカメラ１０、２０、４０から獲得された映像信号を処理する制御システム５０を含んでなる。
【００３３】
これに加え、それぞれのカメラ１０、２０、４０に夜間撮影が可能となるように赤外線照明を提供する赤外線照明装置６０、７０が付け加わえることができ、例示のように動的に姿勢制御される追跡監視カメラ２０に設置されて一体的に動く追跡監視カメラ用赤外線照明装置６０と、同一監視領域を対象として全域監視を行う熱画像カメラ１０と全域監視カメラ４０に照明を提供する全域監視用赤外線照明装置７０とを設けることができる。
【００３４】
前記構成において、全域監視カメラ４０が広い監視領域を録画する機能を担当し、全域監視カメラ４０と同一画角に設定された熱画像カメラ１０が監視領域内のターゲットとなる熱源を監視する機能を担当し、熱画像座標（熱画像から取得される監視領域内の熱源の位置座標）に基づいて動的追跡監視カメラ２０が姿勢制御装置３０によって姿勢制御されながらターゲットを追跡及びズーミング撮影する機能を担当するようになる。
【００３５】
要するに、全域監視に全域監視カメラ４０と熱画像カメラ１０を同時に用い、全域監視カメラ４０によって全状況確認用可視映像を獲得し、熱画像カメラ１０によって単にヒトの識別及び位置座標を獲得し、全監視領域内でヒトのみを効果的に捜し出す要素として熱画像カメラ１０を用い、熱画像カメラ１０の熱画像から得られるターゲットの座標を用いて追跡監視カメラ２０がターゲットを追跡して顔面データを獲得するようにするものである。
【００３６】
このように、本発明の実施形態によれば、監視領域に対してターゲットとなるヒトを感知する広範囲監視センサーの役目をする熱画像カメラ１０と、ターゲットの追跡及びズーミング（拡大）、高解像度の映像取得のための追跡監視カメラ２０と、監視領域内の全状況の確認のための映像を録画するための全域監視カメラ４０とを組み合せた新方式の映像追跡技術を適用することにより、より効率よい追跡、監視が可能となり、それぞれのカメラの持つ欠点が相互に補完できるようになる。
【００３７】
各構成についてより詳細に説明すれば、前記熱画像カメラ１０は監視領域内で現れる熱源を感知するためのセンサーの役目をするカメラで、人間のように特定の温度分布の体熱を持っている熱源が監視領域内に現れればこれを感知するためのカメラである。
すなわち、熱画像カメラ１０が監視領域内を撮影し、それから獲得される熱画像が制御システム５０に伝送され、制御システム５０は獲得された熱画像を分析し、それからヒトを識別すると同時に位置座標及び大きさの情報を取得するようになる。
【００３８】
このような熱画像カメラ１０としては、物体から放射される赤外線を感知し、これを画像に具現する通常の赤外線（ＩＲ）熱画像カメラ１０が使われることができる。これは、ヒトからその体温による波長帯で放射される赤外線を感知して画像に具現することにより、監視領域内にヒトが現れるかどうかを感知するようになる。
【００３９】
前記熱画像カメラ１０によって撮影される熱画像は制御システム５０に伝送されてから管理され、制御システム５０では、熱画像カメラ１０によって撮影された熱画像からヒトを識別し、ヒトの位置座標を実時間で抽出するようになる。
制御システム５０によって熱画像カメラ１０の全域監視によって得られたヒトの位置座標は、動的追跡監視カメラ２０がヒトを追跡及び拡大撮影して映像を獲得することができるようにする姿勢制御装置３０の位置座標として使われる。
【００４０】
次に、追跡監視カメラ２０は熱画像カメラ１０によって感知されたヒトを追跡及びズーミング（ズーム拡大）して顔面認識可能な高解像度の映像を撮影するカメラであり、前述したように熱画像から取得されたヒトの位置座標に基づいて監視領域内で動くヒトを追跡及び撮影するようになる。
前記追跡監視カメラ２０は、ズーミングの機能を持つスチールカメラまたは動画カメラの使用が可能であり、望遠レンズを備えた通常のＣＣＤカメラやＣＭＯＳカメラが使われることができる。
【００４１】
また、それぞれのカメラが装着された支持部１において、追跡監視カメラ２０は姿勢制御装置３０を介して装着され、監視領域内で動くヒトを追跡し拡大して撮影するためには、姿勢の制御が必須なので姿勢制御装置３０に連結されて装着される。
前記追跡監視カメラ２０によって撮影される高解像度の身元確認用映像は制御システム５０に伝送されて保存される。
【００４２】
次に、全域監視カメラ４０は予め設定された監視領域全体を撮影するように備えられる固定型カメラであり、たとえば、ＣＣＤやＣＭＯＳセンサを採用した通常の全域監視カメラ４０が使われることができる。
前記全域監視カメラ４０は、全監視領域内で発生する場面を実時間で撮影して制御システム５０に伝送するようになる。全域監視カメラ４０によって撮影された映像は制御システム５０で全状況確認用として保存されて活用される。
【００４３】
参考として、前述した全域監視カメラ４０と追跡監視カメラ２０としてＣＣＤカメラを使う場合を仮定して本発明者によって遂行されたシミュレーションの解釈結果を図７及び図８に基づいて説明する。
【００４４】
まず、全域監視カメラ４０と追跡監視カメラ２０として使われるＣＣＤカメラの選定のための画角の設定公式は下記の式１のようであり、計算によるＣＣＤセンサーの大きさの選定は表１に示したようである。
【００４５】
【数１】
2013535896.tif 000003
【００４６】
ここで、
ｆ：レンズの焦点距離
Ｖ：対象物の垂直方向大きさ
Ｈ：対象物の水平方向大きさ
Ｄ：レンズから対象物までの距離
ｖ：映像の垂直方向大きさ
ｈ：映像の水平方向大きさ
である。
【００４７】
【表１】
2013535896.tif 000004
【００４８】
カメラの選定のために、前記式１によってＣＣＤの大きさを選定し、これからコンピュータシミュレーションを行って、実際に現場に適用したときに可視性においてどんな効果と範囲を持つかを分析した。
【００４９】
シミュレーションプログラムとしては汎用プログラムであるＡＵＴＯＤＥＳＫ社の３ＤＭＡＸ ９．０を使用し、シミュレーションの結果は図７及び図８に示したようである。
図７は全体的な監視領域である距離と画角範囲を示す。このシミュレーションにおいて、追跡監視カメラ２０のターゲットの顔面を識別することができる最大距離は１７ｍであり、全域監視カメラ４０の最大画角範囲は５８°であることが分かる。
図８は全域監視カメラ４０と追跡監視カメラ２０のそれぞれで見られる映像を示したものである。
【００５０】
一方、前記のようなそれぞれのカメラは地上や建物などの固定構造物に固定設置される支持部１に装着され、特に追跡監視カメラ２０の場合、前述したように姿勢制御装置３０によって姿勢制御ができるように装着される。
姿勢制御装置３０は、制御システム５０から出力される制御信号によって追跡監視カメラ２０を上下左右に動かして姿勢制御することができるように構成され、ターゲットとなる物体を追跡して撮影するように追跡監視カメラ２０の撮影方向を調節する。
【００５１】
このような姿勢制御装置３０の構成は、電気的な信号によって駆動が制御されて自動でカメラの姿勢を制御することで、ターゲットとなる物体を追跡して撮影するようにする構成であれば特に制限なしに採択可能である。
姿勢制御装置３０の具体的な構成については、カメラ用姿勢制御装置がカメラの撮影方向及び姿勢を制御するために産業的に多様に具現されて使われているので、本明細書で特に限定して説明しない。
【００５２】
次に、前記制御システム５０は、システム全般の統合的な制御、データの伝送及び管理を行う構成部であり、それぞれのカメラ１０、２０、４０、姿勢制御装置３０、赤外線照明装置６０、７０の駆動を制御し、それぞれのカメラから撮影された映像を受けて映像の処理及び分析、保存、そして各過程で発生する各種データの管理及び保存を遂行するようになる。
【００５３】
より詳細には、前記制御システム５０は、基本的に全域監視に使われる全域監視カメラ４０と熱画像カメラ１０によって撮影される映像を受けて保存する。制御システム５０に保存される全域監視カメラ４０の映像は全監視領域内で発生する状況を録画したものなので、後に状況の確認用に活用できる。
また、熱画像カメラ１０によって撮影される熱画像は実時間で監視領域内に現れたヒトを識別し、その位置座標を抽出するのに使われ、熱画像を用いたヒトの認識及び位置追跡は熱画像の一定温度以上に対する識別を用いるので、複雑なアルゴリズムなしに二進化によってヒトを認識することができる利点がある。
【００５４】
したがって、追跡方法に対する計算も図４に示した従来の追跡計算式に比べて非常に簡単になることができる。制御システム５０は、熱画像カメラ１０によって撮影された監視領域の熱画像を予め設定された臨界値（しきい値、Ｔｈｒｅｓｈｏｌｄ）を用いて二進化する映像処理を遂行することにより、監視領域内のヒトを識別し、熱画像内で識別されたヒトの位置座標を抽出するようになる。
このような過程で使われる追跡計算式は次の式（２）に示したようであり、図９は二進化処理された映像を示す図である。
【００５５】
【数２】
2013535896.tif 000005
【００５６】
ここで、
ＤＰ：二進化した映像
Ｄ：熱画像
ｘ，ｙ：各画素のｘ、ｙ座標
ｉ，ｋ：各フレームの時間
τ：臨界値（しきい値、Ｔｈｒｅｓｈｏｌｄ）
である。
【００５７】
前記式（２）の算式を用いれば、全監視領域を撮影した熱画像内で移動するヒトの位置座標を識別して抽出することが可能となり、制御システム５０は熱画像Ｆ（ｘ、ｙ）から各画素別に臨界値（しきい値）より大きいか小さいかを判別してヒトを識別するとともに二進化した映像ＤＰ（ｘ、ｙ）から識別されたヒトにあたる座標ｘ、ｙを抽出するようになる。
【００５８】
図９を参照すれば、左側は赤外線熱画像カメラ１０によって獲得された原画像、つまり熱画像を示し、右側は二進化処理後の映像を示す。
また、制御システム５０は前記のように抽出された座標ｘ、ｙに基づいて追跡監視カメラ２０が該当座標のヒトを追跡するように追跡監視カメラ２０の姿勢を制御するための制御信号を出力し、同時に追跡監視カメラ２０をズーム拡大動作させるための制御信号を出力するようになる。
【００５９】
これにより、姿勢制御装置３０は、制御システム５０から出力される制御信号によって追跡監視カメラ２０の姿勢を高速で制御して監視領域内の識別されたヒトを追跡するようになる。
一方、追跡監視カメラ２０が該当座標のヒトを拡大して撮影すれば、拡大撮影された身元確認用映像は制御システム５０に伝送されて保存され、ヒトの追跡及び顔認識が可能となるように拡大撮影する過程が完了した後、追跡監視カメラ２０は追跡を中断し、次のターゲットの追跡のために待機モードに進入するようになる。
【００６０】
このように、熱画像から取得されたヒトの位置座標に基づいて追跡監視カメラ２０がヒトを拡大撮影するにあたり、好ましくは身元確認が可能なヒトの顔部位を集中ズーミングして撮影するように、ヒトにあたる領域において予め決まった割合の上部領域のみを集中ズーミングするように設定することが可能である。
ターゲットの身元確認が可能な顔部位の拡大撮影のために、追跡監視カメラ２０が識別されたヒトにあたる全領域の中で予め決まった割合の上部領域を拡大撮影するように、前記制御システム５０が姿勢制御装置３０によって追跡監視カメラ２０の姿勢を制御するようにするものである。
【００６１】
この場合、追跡監視カメラ２０のズーミング程度と割合の設定によってヒトの腰から顔までの上半身、または肩の上から顔まで、または顔部位だけ集中拡大して撮影することが可能となり、これにより追跡監視カメラ２０によって撮影された映像からより正確な身元確認が可能となる。
また、本発明の追跡監視システム及び方法において、監視領域内に多くのターゲットが同時に登場する場合、制御システム５０は、熱画像カメラ１０によって撮影された熱画像データに基づいて同一の分析過程によって第２、第３のターゲットに対して段階的に追跡及びズーミング撮影を遂行するように姿勢制御装置３０及び追跡監視カメラ２０の駆動を制御するようになる。
【００６２】
図１０を参照すれば、監視領域内に二人の侵入者が現れたとき、熱画像処理及び侵入者識別、第１ターゲットの座標抽出及び追跡、顔認識可能な映像獲得のためのズーミング撮影が遂行され、ついで第２ターゲットに対して同一過程で追跡及びズーミング撮影が遂行されることを示す。
すなわち、追跡監視カメラ２０によって第１ターゲットの身元確認のための映像情報が獲得された後、次のターゲットの座標を追跡して第２、第３ターゲットの身元確認のための映像情報を獲得するようになるものである。
【００６３】
また、図１１に示したように、複数の追跡監視カメラ２０と、各追跡監視カメラ２０の姿勢制御のための複数の個別姿勢制御装置３０とを備えてシステムを構成することができる。この場合、多くのヒトが監視領域内に登場する場合、それぞれの姿勢制御装置３０によって各追跡監視カメラ２０が相違したターゲットに対して同時にまたは順次に映像情報を獲得することができるようになる。このようなシステムにおいては、ヒトが多く移動するところで多数のヒトに対して正確な身元確認用映像を撮影することができるという利点がある。
【００６４】
このように、本発明は、全監視領域内の一般的な状況を録画する全域監視カメラ４０、監視領域内で人間のみを早く識別するためのセンサーの役目をする熱画像カメラ１０、監視領域内のヒトのみを追跡及び拡大して撮影する追跡監視カメラ２０、追跡監視カメラ２０がヒトのみを追跡して拡大撮影するように高速で姿勢制御する姿勢制御装置３０、及びそれぞれのカメラによって撮影された映像を受けて保存し、特に熱画像カメラ１０によって撮影された熱画像情報に基づいてヒトの映像座標を実座標に換算した後、追跡監視カメラ２０のターゲット追跡及び拡大撮影が可能となるように姿勢制御装置３０の駆動を制御する制御システム５０を含んでなる。
【００６５】
これにより、本発明は、熱画像から取得されるヒトの位置座標を用い、追跡監視カメラ２０がターゲットとなるヒトの身元確認が可能な顔部位を主としてターゲットを追跡及び拡大撮影するように構成されるので、より精密で正確な身元確認が可能な映像情報を収集することができる利点がある。
さらに、前述した本発明は、特定場所に外部侵入者が現れたとき、これを拡大撮影するための保安監視用だけではなく、映画産業やスポーツ（例えば、アイスリンクなど）の分野で特定の対象を追跡して拡大撮影するのにも効果的に活用できる。この場合、追跡監視カメラとしては、ズーミング及び姿勢制御が可能な高解像度の動画カメラが使われることができる。
【００６６】
以上、本発明の実施形態について詳細に説明したが、本発明の権利範囲はこれに限定されるものではなく、特許請求範囲に定義されている本発明の基本概念を用いた当業者の色々の変形及び改良形態も本発明の権利範囲に含まれる。
【符号の説明】
【００６７】
１    支持部
１０    熱画像カメラ
２０    追跡監視カメラ
３０    姿勢制御装置
４０    全域監視カメラ
５０    制御システム
６０、７０    赤外線照明装置
【図１】
2013535896.tif 000006
【図２】
2013535896.tif 000007
【図３】
2013535896.tif 000008
【図４】
2013535896.tif 000009
【図５】
2013535896.tif 000010
【図６】
2013535896.tif 000011
【図７】
2013535896.tif 000012
【図８】
2013535896.tif 000013
【図９】
2013535896.tif 000014
【図１０】
2013535896.tif 000015
【図１１】
2013535896.tif 000016
【国際調査報告】
2013535896.tif 000017
2013535896.tif 000018
2013535896.tif 000019
2013535896.tif 000020