(57)【要約】      （修正有）【課題】後続の動作検出処理に対するビデオストリームを事前に処理する。【解決手段】方法は、ビデオストリームの各画像を、第１の複数のビットによって表し画像のビデオストリームを受信することと、ビデオストリームの各画像毎に、画像がビデオストリームの少なくとも１つの前の画像と異なる画素を特定するために、画像をビデオストリームの少なくとも１つの前の画像と比較することと、画像がビデオストリームの少なくとも１つの前の画像と異なるこれらの画素の画像を向上させることとによって、画像のビデオストリームを向上させることと、後続の動作検出処理のための変換された画像のビデオストリームを製作するために、変換されたビデオストリームの各画像を、第１の複数のビットより低い第２の複数のビットによって表し、向上した画像に変換することとを含む。【選択図】図３
2016096540.tif 000002
【特許請求の範囲】
【請求項１】
画像のビデオストリーム（１３０）を受信すること（Ｓ０２）であって、前記ビデオストリームの各画像は、第１の複数のビットによって表される、受信すること（Ｓ０２）と、
前記ビデオストリームの各画像（
2016096540.tif 000117
）毎に、
前記画像（
2016096540.tif 000118
）が前記ビデオストリーム（１３０）の少なくとも１つの前の画像（
2016096540.tif 000119
）と異なる画素（４０６）を特定するために、前記画像（
2016096540.tif 000120
）を前記ビデオストリーム（１３０）の前記少なくとも１つの前の画像（
2016096540.tif 000121
）と比較すること（Ｓ０４ａ）と、
前記画像（
2016096540.tif 000122
）が前記ビデオストリーム（１３０）の前記少なくとも１つの前の画像（
2016096540.tif 000123
）と異なるこれらの画素（４０６、５０６）の前記画像（
2016096540.tif 000124
）を向上させること（Ｓ０４ｂ）と
によって、前記画像のビデオストリーム（１３０）を向上させること（Ｓ０４）と、
変換された画像のビデオストリーム（１５０）を製作するために、前記向上した画像のビデオストリーム（１３５）を変換すること（Ｓ０６）であって、前記変換されたビデオストリーム（１５０）の各画像は、前記第１の複数のビットより低い第２の複数のビットによって表される、変換すること（Ｓ０６）と、
動作検出処理を前記変換された画像のビデオストリーム（１５０）に適用すること（Ｓ０８）と
を含む、ビデオストリーム（１３０）の動作検出処理のための方法。
【請求項２】
前記ビデオストリーム（１３０）の前記画像の各画素は、第１のビット数によって表され、前記向上した画像のビデオストリーム（１３５）を変換する前記ステップ（Ｓ０６）は、前記変換されたビデオストリーム（１５０）の前記画像の各画素が、前記第１のビット数より低い第２のビット数によって表されるように、前記向上した画像のビデオストリーム（１３５）を変換することを含む、請求項１に記載の方法。
【請求項３】
前記画像（
2016096540.tif 000125
）を前記ビデオストリーム（１３０）の少なくとも１つの前の画像（
2016096540.tif 000126
）と比較する前記ステップ（Ｓ０４ａ）において、前記画像（
2016096540.tif 000127
）は、前記ビデオストリーム（１３０）の前記少なくとも１つの前の画像（
2016096540.tif 000128
）から形成される画像（
2016096540.tif 000129
と比較される、請求項１に記載の方法。
【請求項４】
前記画像を向上させる前記ステップ（Ｓ０４）において、前記画像（
2016096540.tif 000130
）が前記ビデオストリームの前記少なくとも１つの前の画像（
2016096540.tif 000131
）と異なるこれらの画素（４０６、５０６）の画素値にオフセットが加えられる、請求項１から３の何れか一項に記載の方法。
【請求項５】
前記画像を向上させる前記ステップ（Ｓ０４）において、前記画像が前記ビデオストリームの前記少なくとも１つの前の画像と異なるこれらの画素（４０６、５０６）の画素値に利得係数が乗算される、請求項１から４の何れか一項に記載の方法。
【請求項６】
前記画像を向上させる前記ステップ（Ｓ０４）において、前記画像（
2016096540.tif 000132
）は、前記画像（
2016096540.tif 000133
）が前記ビデオストリームの前記少なくとも１つの前の画像（
2016096540.tif 000134
）と異なるこれらの画素（４０６、５０６）の周囲で更に向上する、請求項１から５の何れか一項に記載の方法。
【請求項７】
前記画像のビデオストリーム（１３０）を向上させる前記ステップ（Ｓ０４）は、前記ビデオストリーム（１３０）の画像（
2016096540.tif 000135
）毎に、
前記画像（
2016096540.tif 000136
）が前記ビデオストリームの前記少なくとも１つの前の画像（
2016096540.tif 000137
）と異ならないこれらの画素（４１０、５１０）の前記画像（
2016096540.tif 000138
）をノイズフィルタリングすること（Ｓ０４ｃ）
を更に含む、請求項１から６の何れか一項に記載の方法。
【請求項８】
前記ノイズフィルタリングすることは、前記ビデオストリームの前記少なくとも１つの前の画像（
2016096540.tif 000139
）を使用して、前記画像（
2016096540.tif 000140
）を時間的に平均することを含む、請求項７に記載の方法。
【請求項９】
前記変換された画像のビデオストリームを動作検出処理デバイスに提供することを更に含む、請求項１から８の何れか一項に記載の方法。
【請求項１０】
請求項１から９のいずれか一項に記載の方法を実行するためのコンピュータコード命令を有するコンピュータ可読媒体を備えるコンピュータプログラム製品。
【請求項１１】
画像のビデオストリームを受信するように構成される受信機（２４２）であって、前記ビデオストリームの各画像が、第１の複数のビットによって表される、受信機（２４２）と、
前記ビデオストリームの画像毎に、
前記画像が前記ビデオストリームの少なくとも１つの前の画像と異なる画素を特定するために、前記画像を前記ビデオストリームの前記少なくとも１つの前の画像と比較することと、
前記画像が前記ビデオストリームの前記少なくとも１つの前の画像と異なるこれらの画素の前記画像を向上させることと
によって、前記画像のビデオストリーム（１３０）を向上させるように構成されるビデオストリーム向上構成要素（２４４）と、
変換された画像のビデオストリーム（１５０）を製作するために、前記向上した画像のビデオストリーム（１３５）を変換するように構成される変換構成要素（１４６、２４６）であって、前記変換された画像のビデオストリーム（１５０）の各画像は、前記第１の複数のビットより低い第２の複数のビットによって表される、変換構成要素（１４６、２４６）と、
前記変換された画像のビデオストリーム（１５０）を、ネットワーク（１８０）を介して、後続の動作検出処理のための動作検出デバイス（１６０）に送信するように構成される送信構成要素、及び
前記変換されたビデオストリーム（１５０）上で動作検出処理を実行するように構成される動作検出処理構成要素（２４８）
のうちの１つと、
を備える、デバイス（１４０、２４０）。
【請求項１２】
画像のビデオストリーム（１３０）を捕捉するように構成されるカメラ（１２０）と、
請求項１１に記載のデバイス（１４０、２４０）であって、前記カメラ（１２０）によって捕捉される前記画像のビデオストリーム（１３０）を受信するように構成されるデバイス（１４０、２４０）と
を備える、ビデオストリーム（１３０）の動作検出処理のためのシステム（１００、２００）。
【請求項１３】
変換されたビデオストリーム（１５０）を前記デバイス（１４０）から受信し、動作検出処理を前記変換されたビデオストリーム（１５０）に適用するように構成される動作検出処理デバイス（１６０）
を更に備える、請求項１２に記載のシステム（１００）。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオストリームの動作検出の分野に関する。特に、後続の動作検出処理のためのビデオストリームの事前処理に関する。
【背景技術】
【０００２】
自動カメラ監視の需要が着実に増加している。例えば、長距離及び困難な環境下でさえも、カメラによって捕捉された画像における物体の動作を検出することが望ましい。このため、市販の動作検出用の自動システムである動作検出エンジンが多数存在する。
【０００３】
動作検出エンジンは、例えば、サーバなどのネットワーク上で動き、一又は複数のカメラは、捕捉された画像のビデオストリームを、後続の動作検出のためにネットワークを介してネットワークデバイスにストリームし得る。画像のビデオストリームをネットワークデバイスにストリームする際のビットレート制限のため、捕捉された画像のビデオストリームは、通常、ネットワークデバイスに送られる前に、低ビット深度に圧縮又は変換されるなど、変換される。要するに、ビデオストリームの画像を表すビット数は、動作検出エンジンへの送信前に低減される。例として、ビデオストリームにおける画像の各画素は、返還前には１６ビット、返還後には８ビットで表され得る。
【０００４】
動作検出エンジンが作動するビデオストリームの画像を表すために使用されるビット数が限定されるため、動作検出エンジンは、小さな物体を検出する能力が限定されるだろう。例えば、小さな物体は、ビット変換プロセス中に見えなくなることがあり、又は動作検出エンジンが作動するビデオストリームの画像の低コントラスト又は低解像度に起因して、小さな物体は、ノイズと間違われることがあり、したがって動作検出エンジンによって除去されることもある。
【０００５】
ＵＫ特許出願ＧＢ  ２  ４４２  ５１２  Ａは、カメラから受信された画像、即ち、通常は、既にビット変換の対象となった画像で作動する動作検出器を開示する。開示された動作検出器は、動く物体のエッジを検出するために、現在のビデオフレームと前のビデオフレームとの差を計算する。ノイズと比較して移動物体を強調するために、本来の移動特徴のエッジがランダムな画素の変化よりずっと高くスコアリングされる（ｓｃｏｒｅ）ように、検出されたエッジが向上する。
【０００６】
したがって、ＧＢ  ２  ４４２  ５１２  Ａは、ランダムなノイズと比較して本物の移動物体を向上させるために、動作検出アルゴリズムの変更を提案する。したがって、この手法により、標準の市販されている動作検出エンジンが使用され得ることが除外される。さらに、この手法は、動作検出の対象となる前に既に、小さな物体が、カメラで通常起こるビット変換に起因して、画像から除去された又は見えなくなった可能性があるとの事実に悩まされる。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
したがって、標準の市販されている動作検出エンジンを使用し、捕捉された画像の２〜３の画素をカバーする小さな物体の検出に関して動作検出の結果をなおも改善できることが望ましいだろう。
【０００８】
したがって、上で述べられた問題を軽減又は克服することが、本発明の目的である。特に、標準の市販されている動作検出エンジンが使用でき、小さな物体の検出に関して動作検出の結果をなおも改善することができる方法、デバイス、及びシステムを提供することが目的である。
【課題を解決するための手段】
【０００９】
本発明の第１の態様によれば、上記の目的は、
画像のビデオストリームを受信することであって、ビデオストリームの各画像は、第１の複数のビットによって表される、受信することと、
ビデオストリームの各画像毎に、
画像がビデオストリームの少なくとも１つの前の画像と異なる画素を特定するために、画像をビデオストリームの少なくとも１つの前の画像と比較することと、
画像がビデオストリームの少なくとも１つの前の画像と異なるこれらの画素の画像を向上させることと
によって、画像のビデオストリームを向上させることと、
後続の動作検出処理に対して変換された画像のビデオストリームを製作するために、向上した画像のビデオストリームを変換することであって、変換されたビデオストリームの各画像は、第１の複数のビットより低い第２の複数のビットによって表される、変換することと
を含む、後続の動作検出処理のためのビデオストリームを事前に処理する方法によって、実現される。
【００１０】
そのような方法で、ビデオストリームは、動作検出処理の適用前に、事前に処理される。このことは、動作検出処理に関して修正が不要であり、よって、標準の市販されている動作検出エンジンが使用できることを意味する。その代わりに、提案される方法は、続いて動作検出処理の対象となる入力されたビデオストリームを修正するために、ビデオストリームを事前に処理する。
【００１１】
さらに具体的には、提案される方法は、カメラによって捕捉された元の画像のビデオストリームを、動作検出処理が続いて適用されるビデオストリームに変換する前に、向上させる。変換は、ビデオストリームの各画像を表すために使用されるビット数が減ることから生じるビット低減プロセスと見なされ得る。要するに、事前処理は、変換工程後に提供される画像データと比較して、高い情報量、例えば、高いコントラストに関してなど、及び／又は高いクオリティを含む画像データ上で行われる。このことによって、事前処理は、高い情報量を活用し、それに基づき、さもなければ変換工程で失われ、又は変換されたビデオストリームのノイズとの区別が難しいであろう、小さな移動物体などの画像の特徴を向上させることができる。
【００１２】
より詳細には、方法は、画像がビデオストリームの少なくとも１つの前の画像と異なる画素、即ち、移動物体の移動エッジに対応する可能性のある画素を特定することを提案する。次いで、画像は、特定された画素で向上する。移動エッジは通常、移動物体の「周囲に」見えるので、物体は、向上後により大きなサイズを有すると考えられ、したがって、後続の動作検出工程が移動物体を検出するのが容易になるだろう。とりわけ、変換前に、カメラの画像フローの初期に向上が行われるので、向上は、返還前後の画像における情報の差に起因して、対応する向上が返還後に実行された場合に可能であるよりも小さな移動物体を向上させ得る。
【００１３】
提案される方法は、ビデオストリームがサーマルカメラによって捕捉される場合に特に有利であり得る。サーマルカメラは、主要な検出器であり、長距離かつ困難な状況下で物体を検出及び分類するために使用され得る。この点におけるそれらの性能は、ビジュアルカメラよりもずっと良好であることが多い。しかしながら、計算力の制約及び、一般的に、サーマルカメラの低い解像度（物体を捕捉された画像のわずかな画素で覆うようにする）のため、この検出可能性は、動作検出などの自動システムで利用するのが困難である。その上、ほとんどの動作検出エンジンは、ビジュアルカメラに最適化される。しかしながら、先ほど記載されたように、提案される方法で、物体は、事前処理後により大きく見えるので、サーマルカメラの低解像度問題に役立つだろう。
【００１４】
画像のビデオストリームによって、概して、画像の時系列が意味される。
【００１５】
画像を画素で向上させることによって、概して、その画素の値が増加する又は取得されることが意味される（Ｂｙ  ｅｎｈａｎｃｉｎｇ  ａｎ  ｉｍａｇｅ  ｉｎ  ａ  ｐｉｘｅｌ  ｉｓ  ｇｅｎｅｒａｌｌｙ  ｍｅａｎｔ  ｔｈａｔ  ｔｈｅ  ｖａｌｕｅ  ｏｆ  ｔｈａｔ  ｐｉｘｅｌ  ｉｓ  ｉｎｃｒｅａｓｅｄ  ｏｒ  ｇａｉｎｅｄ）。
【００１６】
本明細書で使用されるように、画像は、画像と少なくとも１つの前の画像との強度値の差が閾値を超える場合に、少なくとも１つの前の画像と画素が異なると言われることがある。
【００１７】
ビデオストリームを変換することによって、概して、ビデオストリームが第１のフォーマットから第２のフォーマットに変換されることが意味される。特に、ビデオストリームの各画像又は画素を表すビット数を低減する手順が意味される。これは、例えば、画像のビデオストリームをビデオ圧縮の対象にすることを含み得る。更に又は代替的には、変換は、ビデオストリームの画像のビット深度を低減することを含み得る。より具体的には、ビデオストリームの画像の各画素は、第１のビット数によって表され、向上した画像のビデオストリームを変換するステップは、変換されたビデオストリームの画像の各画素が、第１のビット数より低い第２のビット数によって表されるように、向上した画像のビデオストリームを変換することを含み得る。第１のビット数、即ち、変換前のビット深度は、１６ビットに等しいのに対し、第２のビット数、即ち、変換後のビット深度は、８ビットに等しいことがある。本明細書で使用されるように、ビデオストリームを変換することは、通常、空間画素、即ち、ビデオストリームの画像の画素数を低減することを指していないことに留意されたい。
【００１８】
第１のビット数が第２のビット数より大きいので、画像のビデオストリームの画像のコントラストは、変換後よりも変換前の方が高い。コントラストが高いため、小さな物体の検出及び向上は、例えば、物体のノイズとの区別が簡単になるので、単純化される。
【００１９】
画像をビデオストリームの少なくとも１つの前の画像と比較するステップにおいて、画像は、ビデオストリームの少なくとも１つの前の画像から形成される画像と比較され得る。例えば、画像は、ビデオストリームの少なくとも１つの前の画像の平均値を形成することによって、ビデオストリームの少なくとも１つの前の画像から形成され得る。したがって、少なくとも１つの前の画像から形成される画像は、少なくとも１つの前の画像を時間的にフィルタリングすることによって形成される画像と見なされ得る。形成される画像の異なる画素に対して、平均値を形成する際に、異なる数の前の画像が使用され得る、即ち、時間フィルタは、異なる画素に対して異なる数の前の画像を使用し得る。特に、使用される前の画像の数は、少なくとも１つの前の画像のうちの最新の画像の中で検出された動作に基づき得る。例として、動作が特定の画素で検出された場合、少なくとも１つの前の画像のうちの最新の画像だけが、少なくとも１つの前の画像から画像を形成する際に、その画素に使用され得る。動作が特定の画素で検出されなかった場合、少なくとも１つの前の画像のうちの複数が、少なくとも１つの前の画像から画像を形成する際に、その画素に使用され得る。動作は、この場合、少なくとも１つの前の画像のうちの最新の画像の、少なくとも１つの前の画像の最新の画像に先立つ少なくとも１つの画像から、上記に従って形成される画像との比較に基づき、検出され得る。要するに、少なくとも１つの前の画像から形成される画像、即ち、時間的にフィルタリングされた画像は、動作検出を可能にするために、画像のビデオストリームの画像フレーム毎に、反復して更新され得る。
【００２０】
画像がビデオストリームの少なくとも１つの前の画像と異なるこれらの画素の画像を向上させることとは、様々な方法で行われ得る。例えば、画像を向上させるステップにおいて、画像がビデオストリームの少なくとも１つの前の画像と異なるこれらの画素の画素値にオフセットが加えられ得る。このように、動作が検出されたこれらの画素に対してコントラストが増加し、したがって、後続の動作検出処理がこれらの画素をノイズと区別することを容易にする。
【００２１】
画像を向上させるステップにおいて、画像がビデオストリームの少なくとも１つの前の画像と異なるこれらの画素の画素値に利得係数を乗算することによってもまた、コントラストが増加され得る。
【００２２】
先ほど述べられたように、向上させるステップは、移動物体のサイズを増加させる効果を有する、即ち、向上後に、移動物体は、向上前より大きく見えるだろう。画像を向上させるステップにおいて、画像がビデオストリームの少なくとも１つの前の画像と異なるこれらの画素の周囲で画像を更に向上させることによって、効果が更に増大し得る。周囲は、例えば、３×３、５×５、又はより一般的には、Ｎ×Ｎの画素フレームなどの画素フレームを、画像がビデオストリームの少なくとも１つの前の画像と異なる各画素に加えることに対応し得る。
【００２３】
先ほどさらに述べられたように、ビデオストリームの少なくとも１つの前の画像と異なるこれらの画素のビデオストリームの画像を向上させることは、後続の動作検出処理が小さな物体の動作を検出することをより容易にする。特に、後続の動作検出処理が、小さな物体の動作をランダムなノイズと区別することがより容易になるだろう。後続の動作検出処理が小さな物体の動作をランダムなノイズと区別することをさらに容易にするために、画像のビデオストリームを向上させるステップは、ビデオストリームの画像毎に、画像がビデオストリームの少なくとも１つの前の画像と異ならないこれらの画素の画像をノイズフィルタリングすることを更に含み得る。このように、動作が起こる画素が向上するのに対して、動作が起こらない画素は、ノイズに対してフィルタリングが行われ、これによって、移動物体が、向上した画像のノイズと区別されることをさらに容易にする。
【００２４】
ノイズフィルタリングすることは、通常、ビデオストリームの少なくとも１つの前の画像を使用して、フィルタリングについて、画像を時間的に平均することを含む。特に、このことは、ビデオストリームの少なくとも１つの前の画像から形成される画像について先ほど述べられたことに似ている。実際、画像のビデオストリームの１つの画像に関して決定される時間的にフィルタリングされた画像は、ビデオストリームの後続の画像に関して少なくとも１つの前の画像から形成される画像（の一部）として使用され得る。したがって、ノイズフィルタリングすること及び向上させることは、好都合には、組み合わされ得、有効な実施を可能にする。
【００２５】
ビデオストリームの画像は、グレースケール画像であり得、即ち、ビデオストリームの画像の各画素は、単一の色チャネルの第１のビット数によって表され得る。したがって、ビデオストリームの画像の画素値は、グレースケールでの強度を表す。変換されたビデオストリームの画像は、色画像であり得、即ち、変換されたビデオストリームの画像の各画素は、複数の色チャネルの間で分割された第２のビット数によって表され得る。色チャネルは、例えば、赤チャネル、緑チャネル、及び青チャネルであり得る。そのような状況の中で、画像の（元の）ビデオストリームの画像が元のビデオストリームの少なくとも１つの前の画像と異なるこれらの画素である、画像の中で検出された動作は、例えば、色でコード化され得るのに対して、他の画素は、グレースケールでコード化され得る。色の逆の状況もまた、可能である。例えば、動作に関連する画素は、緑チャネルのみでコード化され得、動作に関連しない画素は、すべてのチャネルで同一の強度でコード化され得る。より具体的には、画像の向上したビデオストリームを変換するステップでは、変換されたビデオストリームの各画像には、
元のビデオストリームの対応する画像が元のビデオストリームの少なくとも１つの前の画像と異ならないこれらの画素に対して、複数の色チャネルの同一の値、又は複数の色チャネルのいくつかのうちの異なる値の一方が割り当てられ得、
元のビデオストリームの対応する画像が元のビデオストリームの少なくとも１つの前の画像と異なるこれらの画素に対して、複数の色チャネルの同一の値、又は複数の色チャネルのいくつかのうちの異なる値の他方が割り当てられ得る。
【００２６】
このように、動作に関連する画素は、色のコード化のため、動作に関連しない画素と比較して目立つだろう。色のコード化により、動作が存在するエリアが他のエリアと更に区別されるので、動作検出処理の検出能力が、さらに改善されるだろう。更に、色のコード化は、画像の動作が存在する場所を視覚化するために使用され得る。
【００２７】
いくつかの実施形態では、動作検出処理は、画像のビデオストリームの事前処理を実行するデバイスから物理的に別個のデバイスで実行される。このため、方法は、変換された画像のビデオストリームを動作検出処理デバイスに提供することを更に含み得る。
【００２８】
他の実施形態では、動作検出処理及び画像のビデオストリームの事前処理は、同一のデバイスによって実行される。このため、方法は、動作検出処理を画像の変換されたビデオストリームに適用することを更に含み得る。
【００２９】
本発明の第２の態様によれば、上述の目的は、第１の態様による方法を実行するためのコンピュータコード命令を有するコンピュータ可読媒体を含むコンピュータプログラム製品によって実現される。
【００３０】
本発明の第３の態様によれば、上記の目的は、
画像のビデオストリームを受信するように構成される受信機であって、ビデオストリームの各画像が、第１の複数のビットによって表される、受信機と、
ビデオストリームの画像毎に、
画像がビデオストリームの少なくとも１つの前の画像と異なる画素を特定するために、画像をビデオストリームの少なくとも１つの前の画像と比較することと、
画像がビデオストリームの少なくとも１つの前の画像と異なるこれらの画素の画像を向上させることと
によって、画像のビデオストリームを向上させるように構成されるビデオストリーム向上構成要素と、
後続の動作検出処理に対して変換された画像のビデオストリームを製作するために、向上した画像のビデオストリームを変換するように構成される変換構成要素であって、変換された画像のビデオストリームの各画像は、第１の複数のビットより低い第２の複数のビットによって表される、変換構成要素と
を備える、後続の動作検出処理に対してビデオストリームを事前に処理するためのデバイスによって実現される。
【００３１】
第４の態様によれば、上記の目的は、
画像のビデオストリームを捕捉するように構成されるカメラと、
請求項１３に記載のビデオストリームを事前に処理するためのデバイスであって、カメラによって捕捉される画像のビデオストリームを受信し事前に処理するように構成されるデバイスと
を備える、後続の動作検出処理に対してビデオストリームを事前に処理するためのシステムによって実現される。
【００３２】
システムは、ビデオストリームを事前に処理するためのデバイスから変換されたビデオストリームを受信し、動作検出を変換されたビデオストリームに適用するように構成される動作検出処理デバイスを更に含み得る。
【００３３】
第２、第３、及び第４の態様は、概して、第１の態様と同一の特徴及び利点を有し得る。本発明は、特段の明確な叙述がない場合、特徴の全ての可能な組み合わせに関することに更に留意されたい。
【００３４】
上記に加えて、本明細書のさらなる目的、特徴、及び利点は、添付の図面を参照するとともに、本発明の好適な実施形態の例示的で非限定的な詳細説明を通してより良く理解されるであろうが、この場合、同一の参照番号は、類似の要素に使用されることになる。
【図面の簡単な説明】
【００３５】
【図１】実施形態による後続の動作検出処理に対する画像のビデオストリームの事前処理のためのシステムを示す。
【図２】他の実施形態による後続の動作検出処理に対する画像のビデオストリームの事前処理のためのシステムを示す。
【図３】実施形態による後続の動作検出処理に対する画像のビデオストリームの事前処理のための方法のフロー図を示す。
【図４】実施形態による画像のビデオストリームの向上を概略的に示す。
【図５】実施形態による画像のビデオストリームの組み合わされたノイズフィルタリング及び向上を概略的に示す。
【発明を実施するための形態】
【００３６】
これより、本発明の実施形態が示されている添付図面を参照して、本発明をより詳細に説明する。しかしながら、本発明は、多くの異なる形態で実施され得、本明細書に明記される実施形態に限定されるものと解釈されるべきではない。本明細書において開示されるシステム及びデバイスは、動作中のものが説明されることになる。
【００３７】
図１は、後続の動作検出処理に対する、ビデオストリーム、即ち、一連の画像を事前に処理するためのシステム１００を示す。システム１００は、カメラ１２０、及びカメラ１２０によって捕捉される画像のビデオストリームを事前に処理するためのデバイス１４０を備える。システム１００は、動作検出処理デバイス１６０を更に備え得る。動作検出デバイス１６０は、例えば、ネットワーク１８０を介して事前処理デバイス１４０に結合され得る。
【００３８】
カメラ１２０は、概して、シーンの画像のビデオストリームを捕捉することができる任意の種類のデジタルカメラであり得る。カメラ１２０は、種々の原理にしたがって作動し得る。例えば、カメラ１２０は、可視光カメラ又はサーマルカメラであり得る。
【００３９】
カメラ１２０は、有線で又は無線で、事前処理デバイス１４０に動作可能に結合される。事前処理デバイス１４０は、図１に示されるように、カメラ１２０と物理的に別個であってもよく、又はカメラ１２０に統合されていてもよい。
【００４０】
事前処理デバイス１４０は、受信構成要素１４２、向上構成要素１４４、及び変換構成要素１４６を含み得る。
事前処理デバイス１４０は、受信構成要素１４２を介して、カメラ１２０から画像のビデオストリーム１３０を受信するように構成される。向上構成要素１４４は、概して、受信された画像のビデオストリーム１３０を向上させ、向上したビデオストリーム１３５を生成するように構成される。更に、変換構成要素１４６は、変換された画像のビデオストリーム１５０を出力するために、向上した画像のビデオストリーム１３５を圧縮する又は向上したビデオストリーム１３５のビット深度を低減するなどの変換を行うように構成される。特に、受信されたビデオストリーム１３０の画像は、第１の複数のビットによって表され得、変換されたビデオストリーム１５０の画像は、変換のため、第２の低い複数のビットによって表され得る。例えば、ビデオストリーム１３０の画像の画素が１６ビットにより表され得るのに対して、変換されたビデオストリーム１５０の画像の画素は、８ビットにより表され得る。したがって、第１のビット環境（１６ビット環境）から第２のビット環境（８ビット環境）への変換が行われ得る。向上構成要素１４４が第１の高いビット環境の画像で動作するのに対して、続いて動作検出処理デバイス１６０に入力される変換されたビデオストリーム１５０は、第２の低いビット環境で表される。第１のビット環境から第２のビット環境への画像の変換は、ネットワーク１８０により、変換されたビデオストリーム１５０のストリーミングを可能にする。
【００４１】
変換された画像のビデオストリーム１５０は、続いて、動作検出デバイス１６０に送信され得る。このために、事前処理デバイス１４０は、送信構成要素（図示されず）を備え得る。送信構成要素は、例えば、ネットワーク１８０を介して変換された画像のビデオストリームを送信するように構成され得る。ネットワーク１８０は、ローカルエリアネットワーク又は広域ネットワークなどの目的に適する任意の種類のネットワークであり得る。
【００４２】
ネットワーク１８０は、通常、限定された帯域幅を有し得るため、利用可能なビットレートが限定される。例えば、利用可能なビットレートは、ビデオシーケンス１３０の送信を可能にするほど高いことはない。しかしながら、変換構成要素１４６により実行される変換のおかげで、ビデオシーケンス１３０のビットレートは、利用可能なビットレートの制限範囲内に収まるビットレートまで低減される。
【００４３】
事前処理デバイス１４０及びその構成要素は、ソフトウェア若しくはハードウェア、又はそれらの組み合わせで実装され得る。特に、事前処理デバイス１４０は、プロセッサ及びメモリを備え得る。メモリは、プロセッサによって実行されると、本明細書で開示される任意の方法を実行するように適合されるコンピュータコード命令を記憶するための（非一時的）コンピュータ可読媒体又はデバイスとして機能し得る。
【００４４】
動作保護処理デバイス１６０は、概して、任意の既知の方法による、画像のビデオストリームを受信し、動作検出処理を受信したビデオストリーム上で実行するように適合される任意のデバイスであり得る。例えば、動作検出処理デバイス１６０は、任意の市販の動作検出エンジンを実装し得る。
【００４５】
図２は、後続の動作検出処理に対する、ビデオストリームを事前に処理するための別のシステム２００を示す。システム２００は、カメラ２２０及び事前処理デバイス２４０を備える。システム２００と図１のシステム１００との差は、事前処理デバイス２４０が、動作検出デバイス１６０の代わりに動作検出処理構成要素２４８を含むことである。要するに、動作検出処理は、システム２００では、事前処理デバイス２４０によって実行されるのに対し、システム１００では、別個のデバイスによって実行される。
【００４６】
システム１００及び２００、とりわけ事前処理デバイス１４０及び２４０の動作が、ここで図１、図２、図４及び図３のフロー図を参照して説明されることになる。
【００４７】
ステップＳ０２では、事前処理デバイス１４０、２４０は、受信機１４２、２４２を介して、カメラ１２０、２２０から画像のビデオストリーム１３０を受信する。図４は、画像１３０のビデオストリームなどの一部
2016096540.tif 000003
を示す。ここで、
2016096540.tif 000004
は、ビデオストリームの現在の画像を表し、
2016096540.tif 000005
は、受信されたビデオストリーム１３０の前の画像である。ここでは、３つの前の画像が示される。しかしながら、概して、前の画像の数は、他の値を取り得る。
【００４８】
受信された画像
2016096540.tif 000006
は、静止した物体４０２及び移動物体４０４（矢印によって示されるような）を含み得る。示されたビデオストリームにおいて、移動物体４０４は、右に移動している。受信された画像
2016096540.tif 000007
には、更にノイズが存在し得、ここではドットの背景パターンによって示されている。
【００４９】
ステップＳ０４では、向上構成要素１４４、２４４が、画像のビデオストリーム１３０を向上させる。更に詳細には、ビデオストリーム１３０の画像
2016096540.tif 000008
毎に、向上構成要素１４４、２４４は、多くのステップＳ０４ａ、Ｓ０４ｂ、Ｓ０４ｃを実行し得る。この手順は、画像
2016096540.tif 000009
に関して以下に記載される。
【００５０】
ステップＳ０４ａでは、向上構成要素１４４、２４４は、画像
2016096540.tif 000010
をビデオストリーム１３０の少なくとも１つの前の画像
2016096540.tif 000011
と比較する。図４の実施形態では、画像
2016096540.tif 000012
は、図示する理由から、前の画像
2016096540.tif 000013
と比較される。しかしながら、より一般的には、画像
2016096540.tif 000014
は、平均値又は少なくとも１つの前の画像
2016096540.tif 000015
の時間的な濾過（ｆｉｌｔｒａｔｉｏｎ）など、少なくとも１つの前の画像
2016096540.tif 000016
から形成される画像と比較され得る。これについては、図５を参照して後ほどより詳しく説明されるだろう。より詳細には、向上構成要素１４４、２４４は、例えば、個々の画素の強度値間の差を計算することによって、画像
2016096540.tif 000017
を画素に関して前の画像
2016096540.tif 000018
と比較し得る。画像
2016096540.tif 000019
と少なくとも１つの前の画像
2016096540.tif 000020
との間の強度値の差（又は差の絶対値）が、画素の閾値を超える場合、次に、向上構成要素１４４、２４４は、画像が前の画像と画素が異なると決定し得る。このように、向上構成要素は、画像
2016096540.tif 000021
が前の画像
2016096540.tif 000022
と異なる画素を特定し得る。このことは、画像
2016096540.tif 000023
が画像
2016096540.tif 000024
とある閾値を上回る分だけ異なる画素４０６を黒色で示す図４の画像
2016096540.tif 000025
によってさらに示される。画像
2016096540.tif 000026
と前の画像
2016096540.tif 000027
との差は、画像
2016096540.tif 000028
、とりわけ移動物体４０４の縁周囲に動作が存在する場合に見られ得る。この場合、移動物体４０４が右に移動するので、異なる画素が、移動物体４０４の右前方エッジ及び左後方エッジに現れるだろう。
【００５１】
向上構成要素１４４、２４４は、次いで、画像
2016096540.tif 000029
がビデオストリーム１３０の少なくとも１つの前の画像
2016096540.tif 000030
（ここでは
2016096540.tif 000031
によって表される）とは異なるこれらの画素４０６の画像
2016096540.tif 000032
を向上させるために前進する。向上とは、通常、利得を、少なくとも１つの前の画像
2016096540.tif 000033
と異なる画像
2016096540.tif 000034
の画素４０６の強度値に適用することを含む。これは、例えば、オフセット値を画像
2016096540.tif 000035
の画素値に加えること、及び／又は画像
2016096540.tif 000036
の画素値に利得係数を乗算することを含む。これは、画像
2016096540.tif 000037
が少なくとも１つの前の画像
2016096540.tif 000038
と異なる画素４０６に対応する画素４０８で、画像
2016096540.tif 000039
が向上する図４の向上した画像
2016096540.tif 000040
によってさらに図示される。図４に示されるように、移動物体４０４は、元の画像
2016096540.tif 000041
と比較して向上した画像では大きく見えるので、後続の動作検出プロセス中に物体がより検出しやすくなる。
【００５２】
更なる例によれば、向上構成要素１４４、２４４は、画像
2016096540.tif 000042
が少なくとも１つの前の画像
2016096540.tif 000043
と異なるこれらの画素４０６の周囲で、画像
2016096540.tif 000044
を更に向上させ得る。例えば、向上構成要素１４４、２４４は、画素領域４０６の各画素周囲で、ｎ×ｎ（ｎ＝１、３、５、など）の近傍を加えるなど、周囲画素も含むように、画像
2016096540.tif 000045
の画素領域４０６を拡大し得る。このように、画素のフレームは、画素領域４０６に加えられるだろう。
【００５３】
いくつかの実施形態では、向上構成要素１４４、２４４は、画像
2016096540.tif 000046
のノイズフィルタリングを更に実行し得る。特に、向上構成要素１４４、２４４は、ノイズフィルタを少なくとも１つの前の画像
2016096540.tif 000047
と異ならない画像
2016096540.tif 000048
のそれらの画素に適用し得る。そのような画素は、画像
2016096540.tif 000049
の白い部分４１０に対応する。ノイズフィルタは、概して、技術的に使用される任意のノイズフィルタであり得る。例として、ノイズフィルタは、例えば、画像
2016096540.tif 000050
及び少なくとも１つの前の画像
2016096540.tif 000051
を時間的に平均する（又は加重平均を形成する）ことによって、画像
2016096540.tif 000052
及び少なくとも１つの前の画像
2016096540.tif 000053
をフィルタリングする時間的フィルタであり得る。図４では、
2016096540.tif 000054
は、
2016096540.tif 000055
の低密度のドット背景パターンによって表されるように、画像
2016096540.tif 000056
が少なくとも１つの前の画像
2016096540.tif 000057
と異なる画素領域４０６で向上し、画像
2016096540.tif 000058
ｄが少なくとも１つの前の画像
2016096540.tif 000059
と異ならない画素領域４１０でノイズフィルタリングされない画像を表す。
【００５４】
向上した画像
2016096540.tif 000060
又は
2016096540.tif 000061
は、次いで、変換構成要素１４６、２４６によって変換の対象となる。変換の目的は、向上した画像１３５のビデオストリームをネットワーク１８０で送信可能（「ストリーミング」）に適した、又は標準の市販の動作検出処理エンジンに適したフォーマットに変換することである。より詳しくは、向上したビデオストリームの画像
2016096540.tif 000062
，
2016096540.tif 000063
は、第１の複数のビットによって表される。変換構成要素１４６、２４６は、向上したビデオストリームの画像
2016096540.tif 000064
，
2016096540.tif 000065
を、各画像が低いビット数によって表されるビデオストリームに変換する。
【００５５】
例えば、変換構成要素１４６、２４６は、任意の既知の方法に従ってビデオ圧縮を実行することによって、向上したビデオストリームの画像
2016096540.tif 000066
，
2016096540.tif 000067
を変換し、これによって、ビデオストリームの各画像を表すために必要なビット量を低減し得る。
【００５６】
他の例によれば、変換構成要素１４６、２４６は、向上したビデオストリームの画像
2016096540.tif 000068
，
2016096540.tif 000069
のビット深度を低減することによって、向上したビデオストリームを変換する。より具体的には、ビデオストリーム１３０の画像の各画素、及びこれにより向上したビデオストリーム１３５の画像は、本明細書でビット深度と呼ばれる、１６ビットなどの第１のビット数によって表され得る。変換された画像は、８ビットなどの低いビット深度を有し得る。変換構成要素１４６、２４６は、任意に既知の方法でビット深度を低減し得る。例えば、変換前の画素が１６ビットで表される状況を考える。このことは、変換前の画素の値が２１６の異なる値を取り得ることを意味する。変換は、それから続行し、これらの値の第１の２８を第１の変換値に、続く２８の値を第２の変換値になど変換し得る。このように、変換された画像の画素は、２８の異なる値を取り得、したがって、８ビットで表され得る。この手法は、もちろん、変換前後の画素が任意のビット数によって表される場合に一般化される。
【００５７】
また、少なくとも変換されたビデオストリームが複数の色チャネルを有する場合もあり得る。変換構成要素１４６、２４６は、次に、画像
2016096540.tif 000070
が少なくとも１つの前の画像
2016096540.tif 000071
と異なる画素４０６に、画像
2016096540.tif 000072
が少なくとも１つの前の画像
2016096540.tif 000073
と異ならない画素４１０と比較して、異なる色チャネルの異なる加重が与えられるように、複数の色チャネルを使用し得る。このように、検出された動作に対応する画素には、動作が検出されない画素と比較して、異なる色が与えられ得、即ち、色でコード化され得る。
【００５８】
ビデオストリーム１３０の画像
2016096540.tif 000074
がグレースケール画像であり、即ち、ビデオストリーム１３０の画像の各画素が単一色のチャネルの第１のビット数によって表され、かつ変換されたビデオストリームの画像が色画像である、即ち、変換されたビデオストリームの画像の各画素が複数の色チャネル間で分割された第２のビット数によって表される場合を考える。例えば、変換前の画像は、１つの色チャネルでは１６ビットによって表され得、変換後の画像は、赤色、緑色及び青色のチャネルなど３色チャネルの各々では８ビットで表され得る。
【００５９】
差が特定されなかった画素４１０については、変換構成要素１４６、２４６は、すべての色チャネルにおいて同一の値を割り当て得る。このように、それらの画素４１０は、変換されたビデオシーケンスの画像でグレーに見えるだろう。
【００６０】
差が特定された画素４０６については、変換構成要素１４６、２４６は、変換された画像の複数の色チャネルのいくつかに異なる値を割り当て得る。例えば、これらの画素４０６は、緑チャネルなどの色チャネルの１つで、又は色チャネルの２つでコード化され得るのみである。代替的には、色チャネル間の分配（ｄｉｓｔｒｉｂｕｔｉｏｎ）を取得するために、異なる加重が異なる色チャネルに提供され得る。
【００６１】
差が特定された画素４０６が、グレースケールでコード化され、即ち、すべての色チャネルに同一の値が割り当てられ、かつ差が特定されなかった画素４１０が、色でコード化される、即ち、少なくともいくつかの色チャネルに異なる値が割り当てられるように、逆もまた可能であることに留意されたい。
【００６２】
また、ビデオストリーム１３０の画像
2016096540.tif 000075
が色画像である、即ち、ビデオストリーム１３０の画像の各画素は、複数の色チャネルの間で分割された第１のビット数によって表される場合もあり得る。例えば、ビデオストリーム１３０の画像は、３色チャネル各々の１６ビットによって表され、変換後の画像は、３色チャネル各々の８ビットによって表され得る。
【００６３】
差が特定されなかった画素４１０について、変換構成要素１４６、２４６は、色チャネル間のバランスを維持し得る、即ち、そのような画素４１０について、色チャネル間の分配は、ビデオストリーム１３０及び変換されたビデオストリーム１５０の画像で同一である。
【００６４】
差が特定される画素４１０について、変換構成要素１４６、２４６は、色チャネル間でのバランスを修正し得る、即ち、そのような画素４１０について、変換されたビデオストリーム１５０の色チャネル間での分配は、ビデオストリーム１３０の色チャネル間での分配と比較して、修正される。例えば、変換構成要素１４６、２４６は、変換されたビデオストリーム１５０の画像の移動物体が、画像の残りの部分の色よりも少し赤くなるように、ビデオストリーム１３０を変換し得る。
【００６５】
ステップＳ０８では、動作検出処理デバイス１６０又は動作検出処理構成要素２４８は、変換されたビデオストリーム１５０上で動作検出を実行し得る。先ほど更に説明されたように、動作検出処理は、任意の技術的に既知な方法にしたがって実行され得る。
【００６６】
図４の実施形態では、ステップＳ０４ａの向上構成要素１４４、２４４が、画像
2016096540.tif 000076
が前の画像
2016096540.tif 000077
と異なる画素を特定するために、画像
2016096540.tif 000078
を前の画像
2016096540.tif 000079
と比較する。向上構成要素１４４、２４４が画像
2016096540.tif 000080
をビデオストリーム１３０の少なくとも１つの前の画像
2016096540.tif 000081
から形成される画像と比較する実施形態が、ここで図５を参照して説明されることになる。
【００６７】
向上構成要素１４４、２４４は、反復して作動し得、この場合、各反復は、ある時点
2016096540.tif 000082
に対応する。各反復では、向上構成要素１４４、２４４は、画像
2016096540.tif 000083
から画像
2016096540.tif 000084
を形成し得、この場合、
2016096540.tif 000085
は、所定の数である。反復は、設定Ｍ０＝Ｉ０によって開始され得る。
【００６８】
第ｔ番目の反復において、向上構成要素１４４、２４４は、画像
2016096540.tif 000086
と、画像
2016096540.tif 000087
に基づき前の反復で決定された画像
2016096540.tif 000088
との差をまず特定することによって（ステップＳ０４ａと比較せよ）、画像
2016096540.tif 000089
を形成し得る。この特定は、例えば、差を計算し、その差を閾値と比較することなどによって、図４に関連して記載されたことに従って、行われ得る。このような差の特定の結果が、図５の画像
2016096540.tif 000090
によって示される。Ｄｔは、差が黒で特定される画素５０６、及び差がないことが白で特定される画素５１０を示す。
【００６９】
向上構成要素１４４、２４４は、次に、以下により画素
2016096540.tif 000091
の画像
2016096540.tif 000092
を決定し得る。
2016096540.tif 000093
ここで
2016096540.tif 000094
は、画像
2016096540.tif 000095
の対応する画素
2016096540.tif 000096
の値の、濾過又は（加重）平均値などの関数であり、Ｔは、閾値である。したがって、言葉で表現すれば、
2016096540.tif 000097
は、画像
2016096540.tif 000098
と、前の反復（ステップＳ０４ｃと比較せよ）からの画像
2016096540.tif 000099
との間に差が見られない画素５１０の画像
2016096540.tif 000100
を時間的にフィルタリングすることによって、及び差が見られる画素５０６の画像
2016096540.tif 000101
の値を維持することによって、形成される。フィルタリングは通常、平均化動作であるので、画像
2016096540.tif 000102
は、したがって、差が特定されない（即ち、動作が検出されない）画素５１０の
2016096540.tif 000103
のノイズフィルタリングされたバージョンであって、差が特定される（即ち、動作が検出される）画素５０６の
2016096540.tif 000104
に等しい。
【００７０】
向上構成要素１４４、２４４は、画像
2016096540.tif 000105
上でステップＳ０４ｂで実行される向上を更にベースとし得る。より詳しくは、向上構成要素１４４、２４４は、以下に従って、向上した画像
2016096540.tif 000106
を生成するために、差が検出された画素の画像
2016096540.tif 000107
を向上させ得る。
2016096540.tif 000108
2016096540.tif 000109
と
2016096540.tif 000110
との間に差が検出されない画素について、向上した画像
2016096540.tif 000111
は、したがって、画像
2016096540.tif 000112
の、ノイズ濾過などの時間的濾過であり、
2016096540.tif 000113
と
2016096540.tif 000114
との差が検出される画素では、向上した画像
2016096540.tif 000115
は、画像
2016096540.tif 000116
の向上である。図４を参照して説明されたように、向上は、例えば、画素値の（既定の）オフセットを加えること、及び／又は画素値に利得係数を乗算することを含み得る。
【００７１】
したがって、この手法で、向上が好都合に組み合わされ得る、即ち、ノイズフィルタリングとして、同一のステップで実行され得る。
【００７２】
当業者は、上述の実施形態を様々な方法で変更することができ、上述の実施形態に示される本発明の利点をなおも使用することができると理解されるだろう。したがって、本発明は、図示された実施形態に限定されるべきではなく、添付の特許請求の範囲によってのみ定義されるべきである。さらに、当業者が理解しているように、図示された実施形態を組み合わせてもよい。
【図１】
2016096540.tif 000141
【図２】
2016096540.tif 000142
【図３】
2016096540.tif 000143
【図４】
2016096540.tif 000144
【図５】
2016096540.tif 000145
【外国語明細書】
2016096540000001.pdf
2016096540000002.pdf
2016096540000003.pdf
2016096540000004.pdf