(57)【特許請求の範囲】
【請求項１】
動き検出アルゴリズム、物体検出アルゴリズム、又は物体追跡アルゴリズムなどの、現場（１０２）監視用ビデオ処理アルゴリズムによって用いられる少なくとも一つのパラメータ（３０９、４０９）を修正する方法であって、
前記現場（１０２）の第一のビデオシーケンス（１０５ａ）及び第二のビデオシーケンス（１０５ｂ）を受け取ること（Ｓ０２）であって、前記第一のビデオシーケンス（１０５ａ）が、前記現場（１０２）の温度を表わす熱情報を含むように、サーマルカメラ（１０４ａ）を用いて撮像される、受け取ることと、
前記ビデオ処理アルゴリズムによって用いられる少なくとも一つのパラメータ（３０９、４０９）の数値を、前記第一のビデオシーケンス（１０５ａ）に含まれる前記熱情報に基づいて修正すること（Ｓ０４）であって、
前記ビデオ処理アルゴリズムの前記少なくとも一つのパラメータ（３０９、４０９）が温度依存になり、
前記熱情報が、前記第二のビデオシーケンスのどの領域で前記少なくとも一つのパラメータの数値が修正されるか、及び、前記領域内で前記少なくとも一つのパラメータの数値がどのくらい修正されるかを決めるために用いられ、
前記少なくとも一つのパラメータの数値は、前記領域外では修正されないままである、
修正することと、
前記ビデオ処理アルゴリズムを前記第二のビデオシーケンス（１０５ｂ）に適用すること（Ｓ０６）と、を含む方法。
【請求項２】
前記ビデオ処理アルゴリズムによって用いられる前記少なくとも一つのパラメータ（３０９、４０９）の数値が、前記第二のビデオシーケンス（１０５ｂ）の画像（３０７ｂ、４０７ｂ）中の領域に関して、前記第一のビデオシーケンス（１０５ａ）の画像（３０５ａ）中の対応する領域（１０２ａ、１０２ｂ、１０２ｃ、１０２ｄ）の熱情報に基づいて修正される、請求項１に記載の方法。
【請求項３】
前記熱情報が、前記第一のビデオシーケンス（１０５ａ）中の画像（３０５ａ）の輝度値を含み、前記輝度値は前記現場（１０２）の温度を表わし、前記ビデオ処理アルゴリズムによって用いられる前記少なくとも一つのパラメータ（３０９、４０９）の数値が、前記第一のビデオシーケンス（１０５ａ）中の画像（３０５ａ）の輝度値に基づいて修正される、請求項１又は２に記載の方法。
【請求項４】
前記サーマルカメラ（１０４ａ）によって撮像された前記第一のビデオシーケンス（１０５ａ）の画像（３０５ａ）中で、少なくとも一つの関心のある既定の温度範囲にある温度を示す輝度値を有する画素（１０２ａ、１０２ｂ、１０２ｃ、１０２ｄ）を同定することを更に含み、
前記ビデオ処理アルゴリズムによって用いられる前記少なくとも一つのパラメータ（３０９、４０９）の数値が、前記第一のビデオシーケンス（１０５ａ）の画像（３０５ａ）中で同定された前記画素（１０２ａ、１０２ｂ、１０２ｃ、１０２ｄ）に対応する前記第二のビデオシーケンス（１０５ｂ）の画像（３０７ｂ、４０７ｂ）の領域に対して修正される、請求項３に記載の方法。
【請求項５】
前記少なくとも一つの関心のある既定の温度範囲は、人間の体温に対応する温度範囲を含む、請求項４に記載の方法。
【請求項６】
前記ビデオ処理アルゴリズムは、前記第二のビデオシーケンス（１０５ｂ）中の引き続く画像と画像の間の輝度値の差を閾値と比較することを含み、前記閾値は、前記第一のビデオシーケンス（１０５ａ）中の熱情報に基づいて修正される、請求項１から５のいずれか一項に記載の方法。
【請求項７】
前記ビデオ処理アルゴリズムは、スムージングフィルタリングを含み、前記スムージングフィルタリングの少なくとも一つのパラメータが、前記第一のビデオシーケンス（１０５ａ）中の熱情報に基づいて修正される、請求項１から６のいずれか一項に記載の方法。
【請求項８】
前記スムージングフィルタリングが、前記第二のビデオシーケンス（１０５ｂ）の画像（３０７ｂ、４０７ｂ）のモルフォロジカルフィルタリングを含み、前記モルフォロジカルフィルタリングは構造化要素を使用し、前記構造化要素は、前記第一のビデオシーケンス（１０５ａ）中の熱情報に基づいて修正される、請求項７に記載の方法。
【請求項９】
前記サーマルカメラ（１０４ａ）が、遠赤外線（ＬＷＩＲ）センサを含む、請求項１から８のいずれか一項に記載の方法。
【請求項１０】
前記第二のビデオシーケンス（１０５ｂ）が、可視光カメラで撮像される、請求項１から９のいずれか一項に記載の方法。
【請求項１１】
前記第二のビデオシーケンス（１０５ｂ）が、前記サーマルカメラ（１０４ａ）で撮像される、請求項１から９のいずれか一項に記載の方法。
【請求項１２】
プロセッサ（１１４）によって実行される際に、請求項１から１１のいずれか一項に記載の方法を実行する命令を有するコンピュータ可読記憶媒体（１１２）を備えるコンピュータプログラム製品。
【請求項１３】
動き検出アルゴリズム、物体検出アルゴリズム、又は物体追跡アルゴリズムなどの、現場（１０２）監視用ビデオ処理アルゴリズムによって用いられる少なくとも一つのパラメータ（３０９、４０９）を修正するための処理装置（１０６）であって、
前記現場（１０２）の第一のビデオシーケンス（１０５ａ）及び第二のビデオシーケンス（１０５ｂ）を受け取るレシーバ（１０８）であって、前記第一のビデオシーケンス（１０５ａ）が、サーマルカメラ（１０４ａ）を用いて撮像されて、前記現場（１０２）の温度を表わす熱情報を含む、レシーバと、
ビデオ処理コンポーネント（１１０）であって、
前記第一のビデオシーケンス（１０５ａ）に含まれる前記熱情報に基づいて、前記ビデオ処理アルゴリズムによって用いられる少なくとも一つのパラメータ（３０９、４０９）の数値を修正し、かつ、前記現場（１０２）を監視するために、前記ビデオ処理アルゴリズムを前記第二のビデオシーケンス（１０５ｂ）に適用する、ビデオ処理コンポーネント（１１０）であって、
前記修正の結果前記ビデオ処理アルゴリズムの前記少なくとも一つのパラメータが温度依存になるようにし、
前記熱情報が、前記第二のビデオシーケンスのどの領域で前記少なくとも一つのパラメータの数値が修正されるか、及び、前記領域内で前記少なくとも一つのパラメータの数値がどのくらい修正されるかを決めるために用いられ、前記少なくとも一つのパラメータの数値は、前記領域外では修正されないままである、ビデオ処理コンポーネントと、を含む処理装置。
【請求項１４】
動き検出アルゴリズム、物体検出アルゴリズム、又は物体追跡アルゴリズムなどの、現場（１０２）監視用ビデオ処理アルゴリズムによって用いられる少なくとも一つのパラメータ（３０９、４０９）を修正するためのシステム（１００）であって、
前記現場（１０２）の第一のビデオシーケンス（１０５ａ）及び第二のビデオシーケンス（１０５ｂ）を撮像する少なくとも一つのカメラ（１０４ａ、１０４ｂ）であって、前記第一のビデオシーケンス（１０５ａ）が前記現場（１０２）の温度を表わす熱情報を含むように、前記第一のビデオシーケンス（１０５ａ）を撮像するサーマルカメラ（１０４ａ）を含む、少なくとも一つのカメラと、
前記第一のビデオシーケンス（１０５ａ）及び前記第二のビデオシーケンス（１０５ｂ）を受け取り、処理し、ビデオ処理アルゴリズムによって用いられるパラメータを修正する、請求項１３に記載の処理装置（１０６）と、を含むシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオ監視の分野に関する。詳細には、現場監視用ビデオ処理アルゴリズムによって用いられる少なくとも一つのパラメータを修正するための方法、装置、及びシステムに関する。
【背景技術】
【０００２】
多くのカメラ監視状況において、遠方の、物体の存在又は動きのなどの事象を検出することが重要である。当然、カメラから遠く離れて位置する物体は、カメラによって撮像される画像の中で小さいであろう。例えば、それらは、画像の中で数画素を含むだけかもしれない。従って、遠方の事象を検出するためには、例えば、撮像された画像の中で小さく現れる物体を検出できることが、必要である。
【０００３】
しかしながら、小さい物体を検出することは、通常、誤検出が増加するという犠牲を伴う。これは、カメラによって撮像される画像の中にノイズが存在するという事実に関係がある。ノイズは、小さい物体と容易に間違えられることがあり、逆もまた同様であり、それにより誤検出をもたらす。誤検出を減らすために、物体検出、動き検出、及び／又は物体追跡のためのビデオ処理アルゴリズムは、小さな検出（ｓｍａｌｌ  ｄｅｔｅｃｔｉｏｎｓ）を除去するためのモルフォロジカルフィルタを含む、輝度変化閾値及びノイズフィルタリングなどのパラメータを含む。ノイズによって引き起こされる誤検出は除去されるが、現実の事象を検出するのに十分な感度はなお存在するように、パラメータは、通常、設定される。言い換えると、検出範囲と誤検出を回避することの間には、トレードオフが存在する。
【０００４】
遠方の物体を検出し識別する問題が、認められて来た。この問題を解決するために、人の位置座標を同定するためのサーマルカメラを用いることが提案された。その後、位置座標は、その人の拡大された画像を撮像するための第二のカメラ、及び詳細には、その方向とズーム、を制御するための制御手段に入力される。
【０００５】
そのような方法は、第二のカメラが、ある特定の目標物体を追うために、その方向とズームの水準を変化させるように制御される、という短所を有する。従って、そのような方法は、一度に一つの物体を検出するためにのみ適している。
【０００６】
それ故、改良の余地がある。詳細には、誤検出が減ると同時に、広範囲の検出を可能にする代替的方法に対する要求が存在する。
【発明の概要】
【０００７】
従って、上記を考慮すると、誤検出が減ると同時に、広範囲の物体及び／又は活動の検出を可能にする方法と装置を提供することが、本発明の目的である。
【０００８】
本発明の第一の態様によれば、上記の目的は、動き検出アルゴリズム、物体検出アルゴリズム、又は物体追跡アルゴリズムなどの、現場監視用ビデオ処理アルゴリズムによって使用される少なくとも一つのパラメータを修正するための方法によって達成され、本方法は、
現場の第一のビデオシーケンスと第二のビデオシーケンスを受け取ることであって、第一のビデオシーケンスは、現場の温度を示す熱情報を含むように、サーマルカメラを用いて撮像される、受け取ることと、
ビデオ処理アルゴリズムを第二のビデオシーケンスに適用することであって、ビデオ処理アルゴリズムによって用いられる少なくとも一つのパラメータが、第一のビデオシーケンスに含まれる熱情報に基づいて、温度に依存するように修正される、適用することと、を含む。
【０００９】
上記方法により、サーマルカメラによって撮像される第一のビデオシーケンスにおける熱情報が、第二のビデオシーケンスに適用されるビデオ処理アルゴリズムの少なくとも一つのパラメータを修正する、すなわち変えるために用いられる。このように、少なくとも一つのパラメータが、現場の温度に依存するようにされる。例えば、ビデオ処理アルゴリズムが、人間の体温などの、関心のある温度を伴う選択的エリア内の小さな検出には高感度であり、他のエリアでは感度が高くないように、少なくとも一つのパラメータの修正が、適合されうる。その結果、関心のある温度に対応するエリアでは、より広い検出範囲が可能である一方で、他の温度範囲に対応するエリアでは、誤検出が低く抑えられる。
【００１０】
ビデオ処理アルゴリズムは、画像のシーケンスに適用される画像処理アルゴリズムであるが、現場における事象の検出のためのアルゴリズムでありうる。これは、物体検出、動き検出、及び物体追跡のためのアルゴリズムを含む。ビデオ処理アルゴリズムは、カメラ自体の機能を制御するアルゴリズムではないということに留意すべきである。
【００１１】
少なくとも一つのパラメータを修正することによって、パラメータの値が修正される、すなわち変更されるということが、一般に意味される。例えば、パラメータの値が、増やされることもあれば、又は減らされることもある。
【００１２】
一般に、少なくとも一つのパラメータは、第二のビデオシーケンスの画像全体に関して、修正されうる。例えば、第一のビデオシーケンスにおける熱情報が、関心のある温度にある温度を有する物体が現場に存在することを示す場合、ビデオ処理アルゴリズムが、第二のビデオシーケンスの画像の画像平面全体にわたって小さな検出に対して高感度になるように、少なくとも一つのパラメータが変更されうる。
【００１３】
少なくとも一つのパラメータもまた、画像全体にわたって修正されうるが、温度の関数としてである。すなわち、関心のない温度領域内ではパラメータの数値に何も起こらず、関心のある温度領域内でパラメータは新たな値となる。
【００１４】
詳細には、ビデオ処理アルゴリズムによって用いられる少なくとも一つのパラメータが、第二のビデオシーケンスの画像の中の領域に関して、第一のビデオシーケンスの画像の中の対応する領域の熱情報に基づいて、変更されうる。このように、ビデオ処理アルゴリズムは、関心のある熱情報を有しうる幾つかの領域では小さな検出に対して高感度にされ、他の領域では、小さな検出に対して感度が低く（それゆえ、ノイズに対して感度が低く）されうる。
【００１５】
熱情報とは、現場の温度を示す任意の情報を一般に意味する。例えば、熱情報は、現場の温度を示す、第一のビデオシーケンスの中の画像の輝度値を含みうる。従って、ビデオ処理アルゴリズムによって用いられる少なくとも一つのパラメータは、第一のビデオシーケンスの中の画像の輝度値に基づいて、修正されうる。
【００１６】
ビデオ処理アルゴリズムは、ある特定のタイプの物体又は幾つかの異なるタイプの物体の存在又は動きなどの、現場の異なるタイプの事象を検出する目的を有しうる。異なるタイプの物体は、異なる温度範囲と対応付けられうるので、第一のビデオシーケンスにおける熱情報に基づいて区別されうる。例えば、人体が、ある温度範囲と対応付けられうる一方、自動車の作動中のエンジンは、別の温度範囲と対応付けられうる。従って、ビデオ処理アルゴリズムの特定の目的に応じて、第一のビデオシーケンスの画像の中の異なる領域を区別するために用いられうる、少なくとも一つの関心のある既定の温度範囲が、存在しうる。少なくとも一つの関心のある既定の温度範囲は、人間の体温に対応する温度範囲を含みうる。そのような既定の温度範囲は、例えば、ユーザによって特定されうる。
【００１７】
本方法は、
サーマルカメラによって撮像された第一のビデオシーケンスの画像の中で、少なくとも一つの関心のある既定の温度範囲にある温度を示す輝度値を有する画素を同定し、
ビデオ処理アルゴリズムによって用いられる少なくとも一つのパラメータが、第一のビデオシーケンスの画像の中で同定された画素に対応する第二のビデオシーケンスの画像の領域に関して修正されることを含みうる。
【００１８】
言い換えると、関心のある熱情報を有する画素領域が、第一のビデオシーケンスの中で同定され、少なくとも一つのパラメータが、第二のビデオシーケンスの中の対応する領域に関して修正される。従って、少なくとも一つのパラメータが、人間が存在する領域などの、ある特定の関心ある温度情報を有する領域の中で修正され、ビデオ処理アルゴリズムを、そのような領域の中での事象の検出に対して高感度にしうる。
【００１９】
理解されるべきであるように、第一のビデオシーケンスと第二のビデオシーケンスは、異なる解像度を有してもよく、現場のやや異なる視角から撮像されてもよい。しかしながら、第一のビデオシーケンスと第二のビデオシーケンスの間には、なお対応が存在する。より具体的には、第一のビデオシーケンスの画像の中の画素又は領域と第二のビデオシーケンスの画像の中の画素又は領域が、現場の同じ点を表す場合、第一のビデオシーケンスの画像の中の画素又は領域は、第二のビデオシーケンスの画像の中の画素又は領域に対応する。
【００２０】
上記に従って、少なくとも一つのパラメータが、第二のビデオシーケンスの画像の中の様々な領域に関して修正され得、その領域は、第一のビデオシーケンスの中の熱情報に基づいて同定される。従って、少なくとも一つのパラメータは、第二のビデオシーケンスの画像によって異なってもよく、その差異は、第一のビデオシーケンスの中の熱情報によって定められる。詳細には、ビデオ処理アルゴリズムによって用いられる少なくとも一つのパラメータは、第一のビデオシーケンスの画像の輝度値に基づいて修正され得、少なくとも一つのパラメータは、第一のビデオシーケンスの画像の輝度値に応じて、第二のビデオシーケンスの画像ごとに変わる。差異は、例えば、連続的であってもよいし、段階的であってもよい。このことは、少なくとも一つのパラメータが、第一のビデオシーケンスの中の温度に依存して適合されうるという点で、有利である。
【００２１】
第一のビデオシーケンスの中の熱情報は、どこで、すなわち、どの領域で少なくとも一つのパラメータを修正すべきかを決めるためだけでなく、どのように又はどのくらい少なくとも一つのパラメータを修正すべきかを決めるためにも用いられうるということに、留意すべきである。少なくとも一つのパラメータが、第一のビデオシーケンスの画像の輝度値の関数として、第二のビデオシーケンスの画像によって異なることを許すことにより、修正の大きさもまた、第一のビデオシーケンスの画像の輝度値の関数となる。例えば、パラメータの増加又は減少の量が、第一のビデオシーケンスの画像の輝度値の関数であってもよい。
【００２２】
少なくとも一つのパラメータが、現場での事象の検出に関連するパラメータであってもよい。これは、物体検出、動き検出、及び物体追跡のためのパラメータを含む。
【００２３】
例えば、少なくとも一つのパラメータは、動き又は物体が存在しているなどの、事象の検出のための閾値を含みうる。詳細には、ビデオ処理アルゴリズムは、第二のビデオシーケンスの中の引き続く画像と画像の間の輝度値の差を閾値と比較することを含みうる。閾値は、第一のビデオシーケンスの中の熱情報に基づいて修正される。例えば、閾値は、関心のある熱情報に対応する領域で増加されうる。このように、ビデオ処理アルゴリズムは、関心のあるエリアでの事象の検出に対して高感度（ノイズに対しても高感度）にされ、他のエリアでは低い感度にされうる。
【００２４】
少なくとも一つのパラメータは、画素クラスタとも呼ばれる、隣接する又は接続する小さな画素群の除去などの、（ノイズではないかと思われる）小さな検出の除去のためのフィルタで用いられるパラメータを含みうる。例えば、少なくとも一つのパラメータは、閾値を下回るサイズを有する隣接画素群が除去されるような、隣接画素群のサイズについての閾値を含みうる。このように、ビデオ処理アルゴリズムは、関心のあるエリアでの事象の検出に対して高感度（ノイズに対しても高感度）にされ、他のエリアでは低い感度にされうる。
【００２５】
例によれば、ビデオ処理アルゴリズムは、スムージングフィルタリングを含み、前記スムージングフィルタリングの少なくとも一つのパラメータが、第一のビデオシーケンスの中の熱情報に基づいて修正される。スムージングフィルタリングによって、スムージングフィルタを適用することが、意味される。スムージングフィルタリングが、第二のビデオシーケンスの画像に適用されうる。スムージングフィルタは、時間的フィルタ（時間方向でのスムージング効果を有する）及び／又は空間的フィルタ（空間におけるスムージング効果を有する）でありうる。空間的スムージングフィルタの例は、モルフォロジカルフィルタとメジアンフィルタである。
【００２６】
従って、スムージングフィルタリングは、（ノイズではないかと思われる）小さな検出の除去のためのモルフォロジカルフィルタリングを含みうる。詳細には、スムージングフィルタリングは、構造化要素を用いた第二のビデオシーケンスの画像のモルフォロジカルフィルタリングを含み得、構造化要素は、第一のビデオシーケンスの中の熱情報に基づいて修正される。修正は、構造化要素のサイズと形状のうちの少なくとも一つを修正することを含み得る。このように、ビデオ処理アルゴリズムは、関心のあるエリアでの事象の検出に対して高感度（ノイズに対しても高感度）にされ、他のエリアでは低い感度にされうる。
【００２７】
サーマルカメラは、遠赤外線（ＬＷＩＲ）センサを含み得る。ＬＷＩＲセンサは、他の赤外線センサがなしえない方法で可視光センサを補足するという点で、有利である。
【００２８】
第二のビデオシーケンスが、可視光カメラによって撮像されてもよい。これは、可視光カメラが、例えば、サーマルカメラより高い解像度を通常有し、それにより、検出と追跡を簡単にするという点で有利である。
【００２９】
第二のビデオシーケンスが、サーマルカメラによって撮像されてもよい。これは、例えば、サーマルカメラは、夜間及び他の弱光状態で有用な画像を撮像するために外部光を必要としないという点で、有利である。他の利点は、一つのカメラのみが提供されればよいという点である。
【００３０】
本発明の第二の態様によれば、上記の目的は、プロセッサによって実行されるときに第一の態様の方法を実行するように適合される命令を有するコンピュータ可読記憶媒体を含むコンピュータプログラム製品によって達成される。
【００３１】
本発明の第三の態様によれば、上記の目的は、動き検出アルゴリズム、物体検出アルゴリズム、又は物体追跡アルゴリズムなどの、現場監視用ビデオ処理アルゴリズムによって使用される少なくとも一つのパラメータを修正するための処理装置によって達成され、本装置は、
現場の第一のビデオシーケンスと第二のビデオシーケンスを受け取るように構成されるレシーバであって、第一のビデオシーケンスが、現場の温度を示す熱情報を含むように、サーマルカメラを用いて撮像される、レシーバと、
現場を監視するために、ビデオ処理アルゴリズムを第二のビデオシーケンスに適用するように構成されるビデオ処理コンポーネントであって、第一のビデオシーケンスに含まれる熱情報に基づいて、ビデオ処理アルゴリズムによって用いられる少なくとも一つのパラメータを修正するように構成され、その結果、ビデオ処理アルゴリズムの少なくとも一つのパラメータが温度依存になるような、ビデオ処理コンポーネントとを含む。
【００３２】
本発明の第四の態様によれば、上記の目的は、動き検出アルゴリズム、物体検出アルゴリズム、又は物体追跡アルゴリズムなどの、現場監視用ビデオ処理アルゴリズムによって使用される少なくとも一つのパラメータを修正するためのシステムによって達成され、本システムは、
現場の第一のビデオシーケンスと第二のビデオシーケンスを撮像するように構成される少なくとも一つのカメラであって、第一のビデオシーケンスを撮像するように適合されるサーマルカメラを含み、その結果、第一のビデオシーケンスが、現場の温度を示す熱情報を含むような、少なくとも一つのカメラと、
第一のビデオシーケンスと第二のビデオシーケンスを受け取り、処理し、ビデオ処理アルゴリズムによって用いられるパラメータを修正するように構成される、第三の態様による処理装置とを含む。
【００３３】
第二の態様、第三の態様、及び第四の態様は、概して、第一の態様と同じ特徴と利点を有しうる。本発明は、別途明示的に記載されない限り、特徴の全ての可能な組み合わせに関連することが、更に留意される。
【００３４】
上記に加えて、本発明のさらなる目的、特徴、及び利点が、添付の図面を参照するとともに、本発明の好適な実施形態についての以下の例示的かつ非限定的な詳細な説明を通して、より良く理解されるであろう。同じ参照番号が、類似の要素に対して使用される。
【図面の簡単な説明】
【００３５】
【図１】実施形態による、現場監視用ビデオ処理アルゴリズムによって用いられる少なくとも一つのパラメータを修正するためのシステムを示す。
【図２】実施形態による、現場監視用ビデオ処理アルゴリズムによって用いられる少なくとも一つのパラメータを修正するための方法のフローチャートである。
【図３】実施形態による、熱情報に基づく、ビデオ処理アルゴリズムによって用いられるべきパラメータの修正を示す。
【図４Ａ】パラメータが、物体検出アルゴリズムの適用の前に、修正されない物体検出の例を示す。
【図４Ｂ】パラメータが、物体検出アルゴリズムの適用の前に、実施形態によって修正される物体検出の例を示す。
【発明を実施するための形態】
【００３６】
これより、本発明の実施形態が示されている添付図面を参照して、本発明をより詳細に説明する。本明細書に開示されるシステム及び装置が、作動中について説明される。
【００３７】
図１は、現場１０２監視用システム１００を示す。システム１００は、ここでは２つのカメラによって示される、少なくとも一つのカメラ１０４ａ及び１０４ｂ、並びに処理装置１０６を含む。
【００３８】
現場１０２は、幾つかの物体１０２ａ−ｆを含み得、この事例では、人１０２ａ、人１０２ｂ、自動車１０２ｃ、自動車１０２ｄ、道路１０２ｅ、及び木１０２ｆによって示される。人１０２ａ、人１０２ｂ、自動車１０２ｃ、及び自動車１０２ｄなどの、物体のうちの幾つかが動いていてもよく、道路１０２ｅ及び木１０２ｆ（少なくとも、風が吹いていない場合）などの、他の物体が静止していてもよい。物体１０２ａ−ｆはまた、様々な大きさであってもよく、カメラ１０４ａ−ｂから異なる距離に位置していてもよい。例えば、物体１０２ａと１０２ｃは、物体１０２ｂ、１０２ｄ、１０２ｆと比べて、カメラ１０４ａ−ｂから遠く離れて位置している。小さい及び／又はカメラ１０４ａ−ｂから遠く離れて位置している物体は、カメラ１０４ａ−ｂのうちの少なくとも幾つかによって撮像される画像の中で区別することが困難でありうる。物体１０２ａ−ｆはまた、異なる温度又は温度範囲と対応付けられうる。例えば、人１０２ａ−ｂは、人間の体温に対応する温度範囲と対応付けられ得、自動車１０２ｃ−ｄは、作動中のエンジンの温度に対応する温度範囲と対応付けられ得る。木１０２ｆなどの、他の物体は、自分自身で熱を発生しないので、周囲温度に対応する温度範囲と、通常、対応付けられる。
【００３９】
少なくとも一つのカメラ１０４ａ−ｂのうちの一つ、ここではカメラ１０４ａ、が、サーマルカメラである。好ましくは、カメラ１０４ａは、遠赤外線（ＬＷＩＲ）センサを含む。ＬＷＩＲセンサは、他の赤外線センサとは別の方法で可視光カメラを補足するという点で、有利である。カメラ１０４ｂなどの、少なくとも一つのカメラ１０４ａ−ｂのうちの他のカメラが、可視光カメラであってもよい。他の例によれば、第二のカメラ１０４ｂもまた、サーマルカメラであってよい。カメラ１０４ａ−ｂは、主に図解の理由で、別々のカメラとして示されている。しかしながら、少なくとも一つのカメラ１０４ａ−ｂは、結合されたサーマル及び可視光カメラなどの単一のユニットへと結合されてもよいということが、理解されるべきである。
【００４０】
少なくとも一つのカメラ１０４ａ−ｂが、監視目的のために、現場１０２を眺めて、現場１０２のビデオシーケンスを撮像するように、準備される。より詳細には、少なくとも一つのカメラ１０４ａ−ｂが、現場１０２の第一のビデオシーケンス１０５ａと第二のビデオシーケンス１０５ｂを撮像するように、準備される。システム１００が一つのカメラ１０４ａ（その場合、サーマルカメラである）のみを含む場合には、第一のビデオシーケンス１０５ａと第二のビデオシーケンス１０５ｂは、同じカメラにより撮像されうる。第一のビデオシーケンス１０５ａと第二のビデオシーケンス１０５ｂは、同じビデオシーケンスであってさえよい。しかしながら、示されている例において、第一のビデオシーケンス１０５ａは、第一の（サーマル）カメラ１０４ａによって撮像され、第二のビデオシーケンス１０５ｂは、第二のカメラ１０４ｂによって撮像される。
【００４１】
処理装置１０６は、レシーバ１０８と、レシーバ１０８と通信するビデオ処理コンポーネント１１０とを含む。処理装置１０６は、少なくとも一つのカメラ１０４ａ−ｂとは別に提供されてもよいし、カメラ１０４ａ−ｂのうちの一つの中に含まれてもよい。いずれの場合も、処理装置１０６は、少なくとも一つのカメラ１０４ａ−ｂに、有線又は無線接続で動作可能に接続され、レシーバ１０８を経由して、少なくとも一つのカメラ１０４ａ−ｂから第一のビデオシーケンス１０５ａ及び第二のビデオシーケンス１０５ｂを受け取り得る。
【００４２】
ビデオ処理コンポーネント１１０は、現場１０２の監視のために、ビデオ処理アルゴリズムを第二のビデオシーケンス１０５ｂに適用するように構成される。例えば、ビデオ処理コンポーネント１１０は、現場１０２における、物体の存在及び／又は動きなどの事象を検出し、並びに物体追跡を行うように構成されうる。その目的のために適用されるビデオ処理アルゴリズムは、例えば、動き検出、物体検出、及び／又は物体追跡のための任意の既知のアルゴリズムであってよい。
【００４３】
上記のタイプのビデオ処理アルゴリズムは、閾値及び様々なフィルタに関連するパラメータなどの、事象の検出に関連するパラメータを含む少なくとも一つのパラメータと、通常、対応付けられる。ビデオ処理コンポーネント１１０は、ビデオ処理アルゴリズムの適用の前に、少なくとも一つのパラメータを修正するように構成される。以下でより詳細に説明されるように、少なくとも一つのパラメータのそのような修正は、第一のビデオシーケンス１０５ａの中の情報に基づく。
【００４４】
ビデオ処理コンポーネント１１０は、ハードウェア、ソフトウェア又はそれらの組合せに実装されうる。詳細には、ビデオ処理コンポーネント１１０は、メモリ１１２、及び中央処理ユニットなどのプロセッサ１１４を含みうる。メモリ１１２は、（非一過性の）コンピュータ可読媒体又はストレージ装置として働き得、本明細書に記載される任意の方法に関するコンピュータコード命令を記憶しうる。詳細には、コンピュータコード命令は、プロセッサ１１４によって実行されるときに、本明細書に記載された任意の方法を実行するように適合される。
【００４５】
次に、システム１００の動作及び、詳細には、処理装置１０６の動作が、図１、図３、及び図２のフローチャートを参照して説明される。
【００４６】
ステップＳ０２において、処理装置１０６が、レシーバ１０８を経由して、少なくとも一つのカメラ１０４ａ−ｂから第一のビデオシーケンス１０５ａ及び第二のビデオシーケンス１０５ｂを受け取る。以下の例において、第一のビデオシーケンス１０５ａは、サーマルカメラ１０４ａからのものであり、第二のビデオシーケンス１０５ｂは、可視光カメラ１０４ｂからのものであることが、仮定される。
【００４７】
サーマルカメラ１０４ａによって撮像される第一のビデオシーケンス１０５ａ、及び詳細には、第一のビデオシーケンス１０５ａの中の画像は、現場１０２における温度を示す熱情報を含む。熱情報は、例えば、第一のビデオシーケンス１０５ａの中の画像の輝度値を含み得、輝度値は現場１０２における温度を示す。温度は、絶対温度であってもよいし、又は現場の残余部分からのある温度偏差を表すだけでもよい。図３は、第一のビデオシーケンス１０５ａの中の現場１０２の画像３０５ａを図式的に示す。画像３０５ａにおいて、人１０２ａ−ｂが、人間の体温に対応する温度範囲である第一の温度範囲に対応する輝度で映されている。画像３０５ａにおいて、これは、第一のパターンを有する人によって示される。同様に、自動車１０２ｃ、自動車１０２ｄが、例えば、作動中のエンジンの温度に対応する温度範囲である第二の温度範囲に対応する輝度で映されている。画像３０５ｂにおいて、これは、第二のパターンを有する自動車によって示される。
【００４８】
続けて、ステップＳ０４において、処理装置１０８のビデオ処理コンポーネント１１０は、第二のビデオシーケンス１０５ｂに適用されるべきビデオ処理アルゴリズムの少なくとも一つのパラメータを修正する。
【００４９】
デフォルトで（従来技術で既知であるように）、ビデオ処理アルゴリズムは、第二のビデオシーケンス１０５ｂの中の画像の画像平面全体にわたって少なくとも一つのパラメータの同じ値を適用するであろう。これは、第二のビデオシーケンス１０５ｂからの画像３０７ａを示す図３に更に示される。画像３０７ａにおいて、ビデオ処理アルゴリズムのパラメータ３０９の値が、ドットパターンによって示されるように、重ねられる。パラメータの値は、画像３０７ａの画像平面全体にわたって同じである。
【００５０】
ビデオ処理コンポーネント１１０は、少なくとも一つのパラメータ３０９を修正し、パラメータ３０９が現場１０２における温度に依存するようにさせる。この目的のために、ビデオ処理ユニット１１０は、例えば、画像３０５ａによって示されるように、第一のビデオシーケンス１０５ａの中に含まれる熱情報に基づいて、パラメータ３０９を修正する。例えば、ビデオ処理ユニット１１０は、第二のビデオシーケンス１０５ｂの画像の画像平面全体にわたって更新された値を取るように、パラメータ３０９を修正しうる。
【００５１】
より好ましくは、パラメータ３０９は、第二のビデオシーケンス１０５ｂの画像３０７ａの異なる部分又は領域において異なる値を取るように、修正されうる。例えば、図３の画像３０７ｂに示されるように、パラメータ３０９は、第一の領域において第一の値３０９ａを取り、第二の領域において第二の値３０９ｂを取り、第三の領域において第三の値３０９ｃを取りうる。
【００５２】
領域は、画像３０５ａにおけるなどの、第一のビデオシーケンスの中の熱情報を考慮することにより、見出されうる。より詳細には、第二のビデオシーケンス１０５ｂの中の画像３０７ｂの中の領域は、第一のビデオシーケンス１０５ａの画像３０５ａの中の幾つかの領域に対応しうる。ここで、画像３０５ａと画像３０７ｂは、時間的に揃えられていると仮定される。画像３０５ａの中の領域が、熱情報に基づいて同定され得る。例えば、領域は、人間の体温に対応する温度範囲、又は作動中のエンジンの温度に対応する温度範囲などの、関心のある既定の温度範囲に対応する輝度値（すなわち、温度値）を有する画素として、画像３０５ａの中に同定され得る。そのように領域を同定することによって、第一の領域は、人１０２ａ、人１０２ｂに対応する画素として同定され得、第二の領域は、自動車１０２ｃ、自動車１０２ｄに対応する画素として同定され得る。従って、ビデオ処理コンポーネント１１０は、異なる領域で異なる値を取るように、パラメータ３０９を修正し得る。示された例において、従って、パラメータは、人間を見出すことが予期されうる領域で第一の値３０９ａを取り、作動中のエンジンを有する自動車を見出すことが予期されうる領域で第二の値３０９ｂを取るように修正されるであろう。
【００５３】
第一のビデオシーケンス１０５ａの中の熱情報は、画像平面の中のどこでパラメータ３０９を修正するべきかを決めるために用いられうるだけではない。それはまた、修正の大きさ、すなわち、パラメータ３０９がどのくらい修正又は調整されるべきかを決めるためにも用いられうる。通常、修正の大きさは、第一のビデオシーケンス１０５ａの中の熱情報の関数として設定されうる。より詳細には、画像３０５ａなどの、第一のビデオシーケンス１０５ａの画像の中の輝度値が、温度を示す。従って、パラメータの修正の大きさは、第一のビデオシーケンス１０５ａの画像３０５ａの輝度の関数として設定されうる。示された例において、従って、第一の値３０９ａは、画像３０５ａの中の人１０２ａ、人１０２ｂに対応する画素の輝度値に従って、設定され得、第二の値３０９ｂは、画像３０５ａの中の自動車１０２ｃ、自動車１０２ｄに対応する画素の輝度値に従って、設定され得る。
【００５４】
上記の例において、パラメータ３０９は、画像平面の異なる部分又は領域で異なる値を取り得るということが、説明された。これは、画像平面の部分又は領域が、厳密な境界を有するということを、必ずしも意味しない。より一般的には、パラメータ３０９は、画像３０５ａの中の対応する画素の輝度値の関数として画像３０７ｂの中で異なるように修正され得る。そのように、画像３０５ａの中の輝度値（温度）は、画像３０５ａの画像平面の中で空間的に変わるので、パラメータ３０９の値は、画像３０７ｂの画像平面の中で空間的に変わるであろう。
【００５５】
少なくとも一つのパラメータ３０９は、例えば、動きを検出する、物体を検出する、及び／又は物体を追跡するために用いられる閾値であってもよい。より詳細には、第二のビデオシーケンス１０５ｂの中の連続する画像間の輝度値の変化を検出するための閾値であってもよい。例えば、ビデオ処理アルゴリズムは、現場１０２における、動きなどの事象を検出するために、第二のビデオシーケンス１０５ｂの中の引き続く画像間の輝度値の差を、閾値と比較し得る。輝度変化の閾値が、ビデオ処理アルゴリズムの適用の前に、ビデオ処理コンポーネント１１０によって、ステップＳ０４で、修正され得る。例えば、輝度変化の閾値は、サーマルカメラ１０４ａの画像３０５ａによって与えられる温度が、関心のある温度範囲内にあると見出された、画像３０７ｂの部分又は領域３０９ａ及び／又は３０９ｂの中で、下げられ得る。このように、ビデオ処理アルゴリズムは、第二のビデオシーケンス１０５ｂの画像３０７ｂのそれらの部分又は領域において、輝度の変化に対して感度が高くされるであろう。他の領域では、輝度変化の閾値は、例えば、上げられるか、又は修正されないままであり得る。このようにして、他の温度範囲にある事象によって引き起こされる誤検出が、抑えられうる。更に上記のように、ビデオ処理コンポーネント１１０はまた、第一のビデオシーケンス１０５ａの画像３０５ａの中の輝度の関数として、輝度変化の閾値を修正、すなわち上昇又は低下させ得る。
【００５６】
少なくとも一つのパラメータは、ノイズフィルタリング及び（おそらくはノイズによって引き起こされる）小さな検出の除去用のフィルタに関連してもよい。例えば、隣接画素群のサイズについての閾値を設定するパラメータが、存在し得る。ビデオ処理コンポーネント１１０が、第二のビデオシーケンスの画像の中に、又は画像間の差の中に、閾値より大きい隣接画素群を検出する場合、物体又は動きが存在することが、判定され得る。サイズが閾値より低い場合、隣接画素群は、小さすぎるので、誤検出を回避するために除去されることが、判定され得る。
【００５７】
ビデオ処理コンポーネント１１０はまた、エロージョン用フィルタなどの、モルフォロジカルフィルタを、第二のビデオシーケンス１０５ｂの画像又は画像間の差に適用することにより、小さな物体及び／又は動きの検出を除去し得る。詳細には、ビデオ処理コンポーネント１１０は、構造化要素を用いることにより、第二のビデオシーケンス１０５ｂの画像又は画像間の差をモルフォロジカルフィルタリングし得る。ビデオ処理コンポーネント１１０は、ビデオ処理アルゴリズムの適用前に、ステップＳ０４において、構造化要素を修正し得る。例えば、ビデオ処理コンポーネント１１０は、構造化要素のサイズ及び／又は形状を修正し得る。例えば、ビデオ処理コンポーネント１１０は、関心のある温度範囲に対応する、第二のビデオシーケンス１０５ｂの画像３０７ｂの部分又は領域で、例えばエロージョンのために用いられる構造化要素のサイズを減少させ、他の部分又は領域では、構造化要素のサイズを増加又は修正されないままとしてもよい。このように、モルフォロジカルフィルタリング演算は、他の領域と比べて、関心のある温度範囲に対応する領域においてより多くの（そして、より小さい）検出を残し、それにより、ビデオ処理アルゴリズムが、関心のある温度範囲に対応する領域において検出に対する感度が高くなるようにし得る。
【００５８】
ビデオ処理アルゴリズムは、動き検出アルゴリズムであってもよい。２つの連続する画像を単純に比較して、２つの画像の間で輝度値を変化させた画素の数を数えることから、例えば、空間時間的スライシングを用いる、より複雑なアルゴリズムまでの範囲にわたる、様々な動き検出アルゴリズムが知られている。単純な画素差異アルゴリズムでは、輝度値の差についての閾値が、誤検出を減らすために用いられ得、輝度値の差が、変化とみなされるためには、閾値を超えなければならない。熱情報が、そのような閾値を修正するために用いられうる。更に、変化した画素の数が、予め決められた参照個数と比較され得、参照個数を下回る数の変化した画素は、動きとみなされないであろうが、参照個数より多い画素が変化した場合は、動きとみなされるであろう。熱情報が、そのような参照個数を修正するために用いられうる。
【００５９】
より精巧な動き検出アルゴリズムは、一つの画像を別の画像と比較するのではなく、幾つかの以前の画像の背景モデルを形成し、新しい画像を背景モデルと比較することを含み得る。背景モデルは、無限インパルス応答フィルタリングによって形成され得る。このようにして、時間フィルタリングが達成され、ノイズによって引き起こされる誤検出を減少させ得る。単純な動き検出アルゴリズムのために既に論じられたパラメータに加えて、熱情報が、そのような時間フィルタリング方法において用いられ、例えば、新しい画像の各々の影響を修正する、すなわち、新しい画像が、背景モデルの中に重み付けされる係数を修正し得る。
【００６０】
ＵＳ８１２１４２４において、空間時間的スライス処理を用いる動き検出アルゴリズムが開示される。ここでは、ビデオシーケンスの画像が、頂点Ｘ、Ｙ及びｔを有する画像体積へと結合される。ここで、ＸとＹは空間座標であり、ｔは時間を表わす。画像体積が、（Ｘ、ｔ）平面又は（Ｙ、ｔ）平面のいずれかでスライスされる。動きの位置を突き止めるために、ビデオシーケンスの中のサーチラインに沿ってサーチが行われる。動きは、頂点のいずれとも平行でないラインを同定することによって検出され得る。静止した物体及び照明の変化は、その代わりに、頂点の一つと平行なラインとして見えるであろう。ここでは、熱情報が、例えば、画像体積の中の画像が撮像される時間ｔの期間を修正するため、画像体積の空間サイズを修正するため、及び／又は動きとして検出される必要のある、サーチラインに沿った隣接する類似の画素の数についての閾値を修正するために、用いられ得る。
【００６１】
ステップＳ０６において、ビデオ処理コンポーネント１１０は、第二のビデオシーケンス１０５ｂに、修正された少なくとも一つのパラメータ３０９ａ、３０９ｂ、３０９ｃを用いるビデオ処理アルゴリズムを受けさせる。概して、ビデオ処理アルゴリズムは、現場１０２をモニタ又は監視するときに用いられ得る出力を提供する任意のタイプのビデオ処理アルゴリズムであってよい。詳細には、ビデオ処理アルゴリズムは、周辺監視におけるなどの、遠方の事象を検出するためのアルゴリズムであってもよい。これは、動き検出アルゴリズム、物体検出アルゴリズム、及び／又は物体追跡アルゴリズムを含み得る。     
【００６２】
次に、開示された方法の利益の幾つかを示すために、図４ａと図４ｂを参照して、例が説明される。この例では、ビデオ処理アルゴリズムは、物体検出のためのアルゴリズムであり、この物体検出アルゴリズムは、物体が存在するか否かを判定するためにビデオ処理コンポーネント１１０によって用いられる、例えば、隣接画素の数の点での、物体のサイズについての閾値であるパラメータと対応付けられるということが、仮定される。
【００６３】
図４ａは、第二のビデオシーケンス１０５ｂの画像へのビデオ処理アルゴリズムの適用前に、パラメータが修正されないケースを示し、図４ｂは、実施形態に従って、第二のビデオシーケンス１０５ｂの画像へのビデオ処理アルゴリズムの適用前に、パラメータが修正されるケースを示す。
【００６４】
図４ａにおいて、パラメータ４０９は、第二のビデオシーケンス１０５ｂの画像４０７ａの画像平面全体にわたって同じ値を取る。パラメータ４０９の値は、誤った物体検出の数が減るように、すなわち、パラメータ４０９よりも低い幾つかの画素を含む、起こり得る物体検出が、非物体であるとして除去されるように、通常、設定される。しかしながら、これは、カメラから遠方に位置する物体などの、小さな物体を検出する可能性を犠牲にする。これは、ビデオ処理コンポーネント１１０によって画像４０７ａの中に同定された物体を示す画像４１１ａに更に示される。このケースでは、ビデオ処理アルゴリズムは、物体１０２ｂ、１０２ｄ及び１０２ｆを、なんとか検出した。しかしながら、とりわけ、現場１０２の中でカメラ１０４ｂから遠く離れた位置にある物体１０２ａ及び１０２ｃが検出されていない。これは、それらの大きさが、パラメータ４０９の閾値を下回ったからである。
【００６５】
図４ｂにおいて、パラメータは、物体検出アルゴリズムの適用前に、ビデオ処理コンポーネント１１０によって修正される（上記ステップＳ０４を参照）。図３を参照して説明されるように、従って、パラメータは、第一のビデオシーケンス１０５ａの中の熱情報に応じて、第二のビデオシーケンス１０５ｂの画像４０７ｂの異なる領域で異なる値４０９ａ、４０９、４０９ｃを取るように修正される。例えば、パラメータは、画像４０７ｂの関心のある温度範囲に対応する領域において、画像４０７ｂの他の領域と比較して低い値４０９ａ、４０９ｂを取るように設定され得る。このようにして、関心のある温度範囲に対応する領域において、他の領域と比較して、より小さい物体が、検出されることが可能となる。これは、ビデオ処理コンポーネント１１０によって画像４０７ｂの中に同定される物体を示す画像４１１ｂに更に示される。このケースでは、ビデオ処理アルゴリズムは、これらの領域での物体検出閾値の修正された値４０９ａ、４０９ｂにより、物体１０２ａ及び１０２ｃをも、何とか検出した。
【００６６】
当業者が、多くのやり方で上述の実施形態を修正し、なおも上述の実施形態に示される本発明の利点を用いることができることが、理解されるだろう。したがって、本発明は、示された実施形態に限定されるべきではなく、添付の特許請求の範囲によってのみ定義されるべきである。さらに、当業者が理解しているように、示された実施形態は組み合わせてもよい。
【図１】
0006546828.tif 000002
【図２】
0006546828.tif 000003
【図３】
0006546828.tif 000004
【図４Ａ】
0006546828.tif 000005
【図４Ｂ】
0006546828.tif 000006