(57)【要約】【課題】イベントを検出するための方法を提供すること。【解決手段】方法は、シーンからのビデオを時間的圧縮により符号化している符号化器により生成されたデータの量を指示する値を反復して登録することと、符号化されたビデオにより表されるシーン内で特定のイベントが発生したかどうかを、登録された値の特性をあらかじめ決定された特性と比較することにより決定することと、イベント発生が決定されるのに応答してイベント信号を生成することとを含む。【選択図】図４
2018125846.tif 000002
【特許請求の範囲】
【請求項１】
イベントを検出するための方法であって、
シーンからのビデオを時間的圧縮により符号化している符号化器により生成されたデータストリーム内の、時間単位あたりのデータの量を指示する値を反復して登録し、それにより、時間に伴うデータレートの変動を表すデータセットが登録されることと、
前記データレートの表現の特徴を見つけるために、前記データセットの時間に対する前記表現を分析することと、
前記表現の前記見つかった特徴に基づいてイベントを検出することと
を含む、方法。
【請求項２】
前記表現を分析する行為は、前記データセットの時間に対する前記データレートの前記表現内のピークの高さを分析すること、前記データセットの時間に対する前記データレートの前記表現の一部分の微分係数を分析すること、および、前記データセットの時間に対する前記データレートの前記表現のプロットの一部分の下側の面積を分析すること、の少なくとも１つを含む、請求項１に記載の方法。
【請求項３】
前記データセットの時間に対する前記データレートの前記表現内で識別可能な特定のイベントを表すモデルを生成することと、
前記モデルを使用して特定のイベントを識別することと
をさらに含む、請求項１または２に記載の方法。
【請求項４】
前記モデルの１つまたは複数は、特定のイベントを表す、前記データセットの時間に対する前記データレートの前記表現の一部分の特定の特徴の組み合わせを識別し、登録することにより形成される、請求項３に記載の方法。
【請求項５】
特定のイベントを識別することは、前記データセットの時間に対する前記データレートの登録された表現が前記モデルからあらかじめ決定された量より多く外れないならば、イベントを前記特定のイベントとして識別することを含む、請求項４に記載の方法。
【請求項６】
前記モデルは、特定のイベントを識別するようにニューラルネットワークを訓練することにより形成される、請求項３に記載の方法。
【請求項７】
前記データセットをデータベースに記憶することをさらに含み、前記表現を分析する行為およびイベントを検出する行為は、前記データベースに記憶された前記データセットに対して実行される、請求項１から６のいずれか一項に記載の方法。
【請求項８】
前記データセットを、ネットワークを介してクライアントに転送することをさらに含み、前記表現を分析する行為およびイベントを検出する行為は、前記クライアントにより実行される、請求項１から７のいずれか一項に記載の方法。
【請求項９】
イベントの検出をトリガする物体の進行方向を、前記データセットの時間に対する前記データレートの前記表現のピークの勾配を分析することにより決定することをさらに含む、請求項１から８のいずれか一項に記載の方法。
【請求項１０】
イベントの検出をトリガする物体のスピードを、前記データセットの時間に対する前記データレートの前記表現のピークの勾配を分析することにより決定することをさらに含む、請求項１から９のいずれか一項に記載の方法。
【請求項１１】
イベントの検出をトリガする物体のスピードを、前記データセットの時間に対する前記データレートの前記表現のプロットの一部分の下側の面積を分析することにより決定することをさらに含む、請求項１から１０のいずれか一項に記載の方法。
【請求項１２】
イベントの検出をトリガする物体のサイズを、前記データセットの時間に対する前記データレートの前記表現のプロットの一部分の下側の面積を分析することにより決定することをさらに含む、請求項１から１１のいずれか一項に記載の方法。
【請求項１３】
時間的に符号化されない画像フレームを含むデータを表す値は、前記データセットに含まれない、請求項１から１２のいずれか一項に記載の方法。
【請求項１４】
イベントの発生が検出されるたびにカウンタをインクリメントすることをさらに含む、請求項１から１３のいずれか一項に記載の方法。
【請求項１５】
特定のイベントに関係付けられたカウンタを、前記特定のイベントの発生が識別されるたびにインクリメントすることをさらに含む、請求項３から１３のいずれか一項に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、キャプチャされたビデオからのイベント検出に関する。より詳しくは、本発明は、イベントを、キャプチャされたビデオ内で検出するための方法および装置に関する。
【背景技術】
【０００２】
今日の監視、モニタリング、およびセキュリティシステムの大半は、ビデオをキャプチャおよび生成するデバイスを含む。キャプチャされたビデオはしばしば、特定イベントの発生を検出するために分析される。そのようなイベントの例は、モーション検出、物体検出、不法侵入の検出である。これらのタイプのイベントの検出は、多量の処理パワーを要する。そのような高い処理パワーの要件は、ビデオをキャプチャする低い処理パワーのカメラでイベント検出を提供する可能性を制限し得る。より少ない処理パワーのカメラを使用する理由の１つは、高い処理パワー備えたカメラの価格が高めであることであり得る。別の理由は、高い処理パワーを有するカメラは、より少ない処理パワーを有するカメラよりも多くの電力を要し、その量の電力をそのカメラの位置に提供できない場合があることであり得る。ゆえに、イベント検出が要するコンピューティングパワーをより少なくするための方法が所望される。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
本発明の１つの目的は、イベント検出が要する処理パワーをより少なくすることである。
【課題を解決するための手段】
【０００４】
その目的は、請求項１による、イベントを検出するための方法により達成される。本発明のさらなる実施形態は、従属請求項で提示される。
【０００５】
より詳しくは、本発明の一部の実施形態による、イベントを検出するための方法は、シーンからのビデオを時間的圧縮により符号化している符号化器により生成されたデータの量を指示する値を反復して登録することと、符号化されたビデオにより表されるシーン内で特定のイベントが発生したかどうかを、登録された値の特性をあらかじめ決定された特性と比較することにより決定することと、イベント発生が決定されるのに応答してイベント信号を生成することとを含む。ビデオの符号化で生成されるデータの量を登録すること、および次いで、このデータを、イベントが、キャプチャされるビデオ内で発生したかどうかを決定するために使用することにより、処理パワーは、すべての画像データの重い分析を処理することなく決定が実行され得るという事実に起因して節約され得る。さらには、より少ないデータが決定に対して要されるという事実において、さらなる利点が存し得るものであり、すなわち、分析のためのデータの転送が、より少ないネットワーク負荷、データの記憶を結果的に生じさせ得るものであり、なぜかといえば、イベントが発生したかどうか、または、特定のイベントが発生したかどうかの決定を可能とすることは、より少ない記憶容量を要し得るからである。
【０００６】
さらなる実施形態では、特定のイベントが発生したかどうかを決定することの行為で比較される特性は、登録された値が、第１のあらかじめ決定されたしきい値より高いレートで増大すること、少なくとも１つの登録された値が、第２のあらかじめ決定されたしきい値より高いこと、登録された値が、第３のあらかじめ決定されたしきい値より大きいレートで減少すること、および、時間期間にわたる値の積算が、第４のあらかじめ決定されたしきい値を上回ることを含む、特性の群から取られる任意の特性または特性の任意の組み合わせであり得る。これらの特性の任意のものに関する利点は、それらの特性が、符号化器により生成されるデータの量を指示する、登録された値から算出されるために、多量の処理パワーまたはメモリを要さないことである。
【０００７】
その上、特定のイベントは、決定および識別されることが、登録された値のシーケンスを表す特性を、あらかじめ決定されたイベント特性と、対応する値のシーケンスを表す記述に基づいてマッチングすることにより行われ得る。登録された値のシーケンスをマッチングすることの利点は、より特定的なイベント、および／または、より複雑なイベントが、検出および識別され得るということであり得る。
【０００８】
なおもさらなる実施形態では、イベントは、登録された値のシーケンスを表す特性を、通常状態を表す記述と比較することにより決定され、そのようなイベントは、登録された値のシーケンスが、通常状態と、あらかじめ決定された値より大きい程度で異なるならば、発生したと決定される。特性が通常状態特性と異なるならばイベントが発生したと決定することの利点は、決定が、多くのイベントの検出の際に非常に効果的であり得るものであり、予期されないイベントまたは未知のイベントでさえ、数個の特性との比較により検出され得るということである。
【０００９】
さらなる実施形態によれば、符号化器により生成されるデータの量を指示する、反復して登録された各値は、以前に登録された値の時間から、符号化器により生成されるデータを含む、転送されるデータの量を測定することにより到達される。その上、転送されるデータの測定は、最後の登録された値の時間から実行され得る。
【００１０】
一部の実施形態は、登録された値をデータベースに記憶することをさらに含んでよく、特定のイベントが発生したかどうかを決定する行為は、データベースに登録された値に対して実行される。
【００１１】
なおも他の実施形態は、登録された値を、ネットワークを介してクライアントに転送することをさらに含んでよく、特定のイベントが発生したかどうかを決定する行為は、クライアントにより実行される。
【００１２】
一部の実施形態では、時間に伴う値の増大を表す、登録された値の特性は、符号化されたビデオ内のシーンに進入する物体を指示する。この特徴の利点は、より複雑なイベントの特性を決定することが可能になることである。
【００１３】
さらなる実施形態では、登録された値の特性はその値自体であり、登録された値を、あらかじめ決定された第１のしきい値と比較することにより、シーンを通って動く第１の物体タイプが識別され、登録された値を、あらかじめ決定された第２のしきい値と比較することにより、シーンを通って動く第２の物体タイプが識別される。
【００１４】
一部の実施形態によれば、特定のイベントが発生したかどうかを決定する行為は、あらかじめ決定されたしきい値より大きい、登録された値に対してのみ実行され、この決定スキームの利点は、非常に単純であり、動作するために要する処理パワーが非常に低いことである。
【００１５】
一部の実施形態では、時間的に符号化されない画像フレームを含むデータを表す値は、特定のイベントが発生したかどうかを決定する行為では使用されない。時間的に符号化されない画像フレームに基づいてイベントを決定しないことの利点は、決定の精度を減少することなく、一層のさらなる処理パワーが節約されることであり、なぜならば、時間的に符号化されないフレームは、ビデオ内の動きに関係する何らの情報も搬送しないからである。
【００１６】
追加的な実施形態では、方法は、特定のイベントの発生が決定されるたびにカウンタをインクリメントすることをさらに含む。このことの利点は、要する処理パワーが低いカウンタ、例えば、人カウンタ、車両カウンタ、一般的な物体カウンタが実現され得るということである。そのようなカウンタは、実例として、制限された資源を伴うカメラ、または、制限された資源、もしくは、少なくとも制限された予備資源を伴う別のデバイスで実現され得る。一部の実施形態では、方法は、特定のイベントに関係付けられるカウンタを、その特定のイベントの発生が決定されるたびにインクリメントすることをさらに含む。ゆえに、特定的なイベントに対するカウンタが配置構成され、このことは、異なる物体、例えば、人、動物、車両、その他に対して、または、異なるイベント、例えば、走ること、歩くこと、物体を追い抜くこと、その他に対して、別々のカウンタが配置構成されるということを結果的に生じさせ得る。
【００１７】
本発明の利用可能性のさらなる範囲が、下記で与えられる詳細な説明から明らかになろう。しかしながら、詳細な説明および具体例は、本発明の好ましい実施形態を指示するが、単に例示的に与えられるものであり、というのは、当業者には、本発明の範囲の中での様々な変更および修正がこの詳細な説明から明らかになるためであるということが理解されるべきである。ゆえに、この発明は、説明されるデバイスの特定の構成要素部分、または、説明される方法のステップに制限されず、なぜならば、そのようなデバイスおよび方法は変動し得るためであることが理解されるべきである。さらには、本明細書で使用される技術用語は、単に特定の実施形態を説明することを目的とし、制限的であることは意図されないことが理解されるべきである。本明細書、および、添付される特許請求の範囲で使用される際に、冠詞「ある（ａ）」、「ある（ａｎ）」、「その（ｔｈｅ）」、および「前記」は、文脈で別段に明確に規定しない限り、要素の１つまたは複数が存することを意味することが意図されるということが注目されなければならない。かくして例えば、「あるセンサ」または「そのセンサ」への言及は、いくつかのセンサ、および類するものを含み得る。なおその上に、単語「含む」は、他の要素またはステップを排除しない。
【００１８】
本発明の、他の特徴および利点が、付随する図面への参照によって、現在好ましい実施形態の以下の詳細な説明から明らかになろう。
【図面の簡単な説明】
【００１９】
【図１】本発明の実施形態の実現形態を含み得るシステムの概略線図である。
【図２】本発明の実施形態によるカメラのブロック図である。
【図３】本発明の実施形態において使用され得るグラフの特徴を示す、時間に伴うデータレートを表すグラフである。
【図４】本発明の実施形態による、イベント信号を生成するプロセスのフローチャートである。
【発明を実施するための形態】
【００２０】
さらに図では、類似する参照符号は、いくつかの図の全体を通して、類似する、または対応する部分を指定する。
【００２１】
本発明は、イベント検出システムに、および、イベントを検出するための方法に関する。イベント検出システムは、複数のモニタリングカメラ１２ａ〜ｃと、通信ネットワーク１４と、システム管理デバイス１６ａ〜ｂと、データ記憶デバイス１８とを備えるシステムであり得るものであり、図１を参照されたい。モニタリングカメラ１２ａ〜ｃは、モーションビデオをキャプチャすることを可能とされた、任意のタイプのネットワーク化されたモニタリングカメラであり得る。通信ネットワーク１４は、任意の有線もしくは無線通信ネットワークであり得るものであり、または、様々な有線および／もしくは無線ネットワークの任意の組み合わせであり得るものであり、例えば、ＬＡＮ、ＷＡＮ、インターネット、セルラネットワーク、Ｗｉ−Ｆｉ、その他である。システム管理デバイス１６ａ〜ｂは、オペレータが、システム内のデバイスと対話すること、または、イベント検出に関係する情報を受信することを可能とする、ディスプレイを有する任意のコンピューティングデバイスであり得る。データ記憶デバイス１８は、ネットワークアタッチトストレージユニット（ＮＡＳ）、ファイルサーバ、ビデオサーバ、または、任意の他のデータ記憶ユニットであり得る。
【００２２】
ここで図２を参照すると、システムで使用されるモニタリングカメラ１２は、シーンのモーションビデオをデジタルデータとしてキャプチャするように配置構成される。それゆえにモニタリングカメラ１２は、シーンからの光を画像センサ４２上に方向設定する、少なくとも１つのレンズ４０を含む。画像センサ４２および画像プロセッサ４４は、光を、キャプチャされる画像を表すデジタルデータに変換する。さらにカメラ１２は、モーションビデオを生成するためのデータを提供するために、複数の画像をキャプチャするように配置構成される。モーションビデオを表すデータは次いで、符号化器４６で符号化され、その符号化器４６は、モーションビデオを、時間的圧縮スキームを使用して符号化している。カメラは、可視光をキャプチャするカメラ、ＩＲカメラ、ＴｏＦカメラ（飛行時間カメラ）、その他であり得る。
【００２３】
時間的圧縮スキームは、各々のフレームを、別々の完全な画像として符号化しないことにより、圧縮されるビデオサイズを低減するスキームである。完全に符号化されるフレームは、現在符号化される画像フレーム内の情報に基づいて全体が符号化されるため、イントラフレームと呼ばれる。ビデオ内のすべての他のフレームは、最後のフレームからの変化を明示するデータにより表され、すなわち、これらのフレームを表すデータは、他のフレームからの差を表す。これらのフレームは、他のフレーム内のデータに依存しているため、デルタインターフレームと呼ばれる。インターフレームは、以前のフレームに関係付けられ、一部の符号化スキームではＰフレームと呼称されることがあるが、代替的には、以前および未来のフレームに関係付けられ、Ｂフレームと呼称されることもある。
【００２４】
符号化器４６でのモーションビデオの符号化は、モーションビデオを表すことになるデータの量を減少する。符号化器４６で使用される符号化スキームの例は、Ｈ．２６４、Ｈ．２６５、ＭＰＥＧ−２パート２、ＭＰＥＧ−４パート２、その他である。一部のカメラ１２では、モーションビデオは、モーションビデオの符号化の前および／または後に、一層多く分析および／または処理される。そのようなカメラ１２では、処理ユニット４８が、そのタイプの分析および／または処理のために配置構成され得る。カメラ１２の多くはさらには、プログラムの動作およびデータの記憶のために、揮発性メモリ５０および／または不揮発性メモリ５２を要する。
【００２５】
モーションビデオがネットワーク１４を介して送信される前に、ビデオデータは、通信プロトコルにより管理され、次いで、カメラに接続されるネットワークに物理的に適合させられる。図２でのネットワークインターフェイス５４は、これらの動作を当業者に知られている任意の方式で実行するデバイスまたはモジュールとみなされ得る。カメラ内のデバイスおよびモジュールの間の通信は、直接の個々の物理的接続、またはデータバス、または両方の組み合わせにより実現され得るものであり、これらの通信実現形態は、図２で、内部通信経路５６により表象化されている。
【００２６】
本発明のイベント検出システムは、イベントを検出するためにビデオストリームのすべてのピクセルを分析するシステムよりも少ない処理パワーを使用して、イベントを検出するように設計される。イベントを、記憶されたデータ、すなわち、より古い記録内容を表す記憶されたデータ内で検出しようとする場合、より長い時間期間を表すデータ内のイベント検出は、イベントを検出するためにビデオストリームのすべてのピクセルを分析するシステムを使用するときより迅速であることになる。これらの利点は、イベント検出が所望されるシーンのモーションビデオをキャプチャしているカメラ１２の、時間的に圧縮するビデオ符号化器４６により生成されるデータの量を分析することによりもたらされる。符号化器４６により生成されるデータの量は、連続的にキャプチャされる画像フレームの間の変化の量に依存する。例えば、動く物体を本質的に有さないシーンの画像シーケンスは、多量の動きを有するシーンの画像シーケンスより少ない符号化されるデータを結果的に生じさせることになる。ゆえに、符号化ステップの後のデータの量は、連続的にキャプチャされる画像の変動に重く依存する。このことはさらには、符号化器４６により生成されている、符号化される画像データの量は、シーン内の動きにより影響を及ぼされる画像センサ上のピクセルの数に依存的であると説明され得る。実例として、カメラに近い物体、または、シーン内の大型の物体は、カメラから遠い物体、または小さい物体よりも、画像センサ上の多くのピクセルへの影響力を有することになる。したがって、データの量は、画像情報の時間的圧縮の影響結果である。
【００２７】
本発明の実施形態によれば、モニタリングされるシーンのモーションビデオを含むデータストリーム内の、時間の単位あたりのデータの量を表す複数のデータレートが、順次、測定および登録される。そのことにより、時間に伴うデータレートの変動を表すデータセットが登録される。データレートは、システム内の様々な所から、測定され得る、または取り出され得る。例えばデータレートは、カメラの符号化器４６で、カメラのネットワークインターフェイス５４で、ネットワーク１４内のスイッチもしくはルータで、システム管理デバイス１６ａ〜ｂ内のネットワークインターフェイスもしくは復号器で、または、ネットワーク化された記憶デバイス１８内のネットワークインターフェイスもしくは復号器で、測定され得る、または取り出され得る。データレートは、画像ストリームを表すストリームに対して直接測定され得るが、さらには、モーションビデオを送信するネットワークパケットのデータレートを測定することにより測定され得る。データストリームまたは任意のデータ送信のデータレートを測定するプロセスは、当業者によく知られている。時間に伴うデータレートを表すデータセットは、特に、モーションビデオストリームを表すために要されるデータと比較して、非常に低い量のデータを使用して表され得る。例えば、時間に伴うデータレートの変動を表すデータセットに、画像ストリーム内の各々の画像を表す際に使用されるデータの量を表す値またはデータエントリを含めることを考える。カメラが１０メガピクセルカメラであるならば、イントラフレーム、すなわち、空間的に符号化されるイントラフレームのサイズは、標準符号化器のいずれを使用しても、約２．５ＭＢになる。無損失コーディングスキームを使用して符号化されている１０メガピクセルフレームでさえ、１０ＭＢよりはるかに大型のサイズを有さないことになる。０ＭＢ〜１０ＭＢの間のあらゆるサイズを表す値またはデータエントリを登録するには、３バイトのみを必要とすることになり、なぜならば、３バイトは、１６００万を超える値を表す能力があるためである。データレートの分解能がそれほど重要ではない事例では、データレートを、２バイトまたは１バイトを使用して表すことさえ可能であり得る。いずれにしても、データセット内のデータレートを表すために必要とされるデータは、おそらくは、１つのイントラフレームを表すために使用されるデータのほぼ１００万分の１であり得る。ストリーミングビデオでは、インターフレームは時間的に符号化されるので、フレームあたりで使用されるデータは、当然ながらより小さくなる。しかしながら、使用されるデータセットは、あらゆるフレームのサイズを含むことを必要としないことがあり、むしろ、あらかじめ決定された時間期間にわたる累積データ量を表し得る。１つの実施形態では、フレームサイズが、データレートの表現として登録される。フレームサイズは、フレームを符号化するために必要とされるデータの量を指示する。フレームサイズは、４バイト（３２ビット）を使用して登録され、フレームサイズは、各々のフレームに対して登録される。フレームは、秒あたり３０フレームでキャプチャされ、したがって、イベントの検出のために本発明により使用されるデータは、この実施形態では０．１２Ｋｂ／ｓであり得る。これは、６０００Ｋｂ／ｓの通常モーションビデオストリームのデータレートよりもはるかに低い。
【００２８】
画像ストリーム内の画像の符号化と、データセット内の各々の値またはデータエントリを表すためにデータセットで使用される分解能、すなわちバイト数の厳密な実現形態とに関係なく、画像ストリームの画像の代わりにデータレートデータセットが使用され得るときに処理しなければならないデータ量の差は巨大である。別の多大な利得は、データの小部分だけが記憶されれば済むため、記憶に関してもたらされる。例えば、モニタリングシステムは、関心のあるイベントが発生した時間期間のみに対するモーションビデオデータを記憶し、モニタリングされる時間期間全体に対するデータレート値を記憶し得る。記憶されたデータレート値は次いで、特定のイベントをフィルタリングで取り除くために、探索および／または分析され得る。次いでデータレート値はさらには、イベントが、モーションビデオが記憶されなかった時間期間の間発生しなかったということを確かめるために使用され得る。その上、一般的に、記憶されたデータレートデータセットが、記録されたビデオ内で関心のビデオシーケンスを探索するために使用され得ることは利点である。データレートセットを分析することのなおも別の利点は、シーン内のイベントが、シーン内に存在する人物の完全性を損なうことなく分析され得るということである。
【００２９】
図３では、データセットの例が、データレートを時間に対してプロットすることにより例示される。図のデータセットは、カメラによりキャプチャされたビデオストリーム内の各々の画像フレームを表すデータの量を登録することによりもたらされる。本データセットでは、イントラフレームの影響結果は、イントラフレームを表す各々の値を単に除去することにより除去されている。イントラフレームの除去は、代替的には、最大しきい値の値より上のすべてのデータ値を除去することとして実現され得る。イントラフレームを除去することの利点は、各々のイントラフレームに対するデータレートでのピークを考える必要がないときに、データレートがより簡単に分析できるようになることである。ことに、なぜならば、イントラフレームは、空間的に符号化され、時間的に符号化されないので、イントラフレームは、フレームの間の動きまたは変化に関係する情報については寄与しないからである。この方式では、データセットは、インターフレームの固有の動き指示を、イントラフレームの高いデータ量値からの干渉なしに、時間的符号化器内で利用することになる。
【００３０】
図３のグラフを結果的に生じさせる、モニタリングされるシーンは道路であり、カメラは、道路の長手方向に、道路より上からビデオをキャプチャするように配置構成される。様々なイベントが、単にグラフを調べることにより識別され得る。実例として、各々のピークの高さは、車両がカメラのそばを最も近い点で通過するときの車両のサイズ、少なくとも車両の相対的なサイズを識別する。ゆえに、グラフ内のピーク値への単純な着目により、カメラのそばを通過する車両のサイズに対する結論を引き出すことが可能である。その上、ピークの各々の側部に関するグラフの急峻さが、車両の進行方向を明白にする。グラフの急峻な一部分は、車両のカメラ符号化ビデオの結果であり、その車両は、カメラに近い点でシーンを去り、またはシーンに到達し、すなわち、車両のキャプチャされる画像が大型であるときにシーンを去り、またはシーンに到達し、そのことが、車両に起因して、短い量の時間内に変化する多量のピクセルを結果的に生じさせる。ピークの他方の側部に関する、グラフのより急峻でない一部分は、キャプチャされるシーン内で遠く離れた所からカメラに向かって進行する、または、シーン内でカメラから離れる方向に運転される車両の結果である。このことは、車両が相対的に長い時間の間シーン内にあり、カメラから遠く離れるほど小さくなるように徐々に知覚されることの結果である。
【００３１】
ここで、図３でのグラフ１０４を参照すると、第１のピーク１０６は、上記の論拠から、カメラに向かって運転される、大きい車、例えばバンまたはトラックを表す。このことは、グラフの見かけから推論されるものであり、そのグラフでは、ピーク１０６まで至るグラフ１０８の一部分が、カメラに近い位置に達するまでシーン内を長い時間進行し、その結果より急峻でないグラフを生じさせる車両を表すと識別される。グラフ１０８のうちより急峻でない一部分がグラフのピーク１０６の頂部よりも前に登録されるという事実は、車両がシーン内でカメラに向かって進行していることを指示する。したがって、ピークの後ろ側にあるグラフ１１０の一部分は急峻であり、そのことは、上記で論考されたように、車両がカメラに近いシーンを去りつつあるということを指示する。
【００３２】
第２のピーク１１２は、シーン内でカメラから離れる方向に運転される車を表す。ピーク１１２の高さにより表される車のサイズ、および、ピーク１１２にまで至るグラフ１１４の急峻な一部分を有することにより識別される進行方向、および、ピークの後のグラフ１１６の、より急峻でない一部分。ピーク１１８は、カメラから離れる方向に進行する別の大きい車両を表し、一方で、ピーク１２０および１２２は各々、おそらくは、カメラから離れる方向に進行する車を表す。
【００３３】
グラフ１０４の最後のピーク１２４は大きい車両を表すピークより高く、ピーク１２４の各々の側部に関するグラフ１２６、１２８の一部分の急峻さを調べると、両方の一部分がより急峻でないことが分かる。これらの指示は、ピークが、互いの反対方向に進行している２つの車両を表すと結論付けることを可能にする。
【００３４】
したがって、時間的に符号化されたビデオデータのデータレートを表すグラフ１０４の特徴は、特定のイベントを識別する、または、少なくとも指示するために使用され得る。例えばしきい値の値は、シーン内の動きに類するイベントを指示するためにセットアップされ得るものであり、例えばイベントは、データレートがしきい値を上回るならばトリガされる。カメラに向かって、または、カメラから離れる方向に進行する物体を表すイベントは、ピークの各々の側部に関するグラフの一部分の微分係数を分析すること、すなわち、上記で解説されたような、グラフのこれらの一部分の急峻さを算出することにより識別され得る。そのような急峻さの値、例えば勾配はさらには、速度イベントを指示するために使用され得るものであり、例えば、物体のスピードが、グラフの急峻さに基づいて算出されてもよい。グラフの下側の面積がさらには、イベントを分析することで使用され得る。面積は、車両のスピード、車両のサイズ、および、沢山の他のものを決定するために使用され得る。
【００３５】
なおも別の代替形態は、時間に対するデータレートを表すグラフ内で識別可能である様々なイベントを表すモデルを生成し、次いでこれらのモデルを使用することにより特定のイベントを識別するものである。そのようなモデルは、特定のイベントを表すグラフの一部分の特定の特性の組み合わせを識別および登録することにより、または、典型的なイベントを登録し、登録されたグラフが、登録された典型的なグラフからあらかじめ決定された量より多く外れないならば、イベントをそのイベントと識別することにより形成され得る。モデルはさらには、深層学習を使用することにより、例えば、ニューラルネットワークを、時間的に符号化されたビデオのデータレートの入力により特定的なイベントを識別するように訓練することにより形成され得る。
【００３６】
なおも別の応用例は、通常はシーン内で発生すべきであるイベントを表すモデルを創出し、次いで、登録されたデータレートがこのモデルから外れるときにアラームをトリガすることである。例えばシステムは、鉄道軌道を監視するために使用され得る。軌道上の通過する列車を表すモデルは、グラフの特性を分析することによるか、または、ニューラルネットワーク手法を使用してシステムを訓練することによるかのいずれかで形成される。次いでシステムは、モデルに当てはまらないイベントが検出されるときに指示するようにセットアップされ得る。ゆえに、このことは、軌道上の動物または人を検出するために使用されてもよく、なぜならば、軌道上の動物または人間に類するイベントのデータレートグラフは、列車を表すモデルから有意に異なる公算が非常に大きいからである。
【００３７】
イベントの検出のためのデータレート分析は、多くの用途で使用され得る。上記で述べられたように、その分析は、交通監視で、および、列車軌道のモニタリングで使用され得る。使用の他の領域は、工場内のプロセスのモニタリング、例えば、コンベヤベルト上の製品を計数するものであり、データレートの連続、すなわち時間に伴うデータレートの一部もしくは複数の特性、または、そのようなデータレートの連続のセクションもしくは複数個のセクションが、「通常の」特性またはセクションと異なるならば、アラームを生成するものであり、アラームは例えば意図されるプロセスからの矛盾などを指示する。上記で述べられたように、特性は、特定的なデータ点、例えばデータレート値、勾配、面積により表され得るものであり、セクションは、その時間期間にわたるグラフの形状により表され得る。さらに、イベントを検出する方法は、不審な活動および／または危険な活動を検出するために、ビルディングまたは土地建物の監視で使用され得る。イベントを検出するこの方法は、さらには、照明、暖房、換気、その他などのビルディングオートメーションシステムを制御するために使用され得る。
【００３８】
上記の使用事例は、カメラまたは複数個のカメラからの生のデータレートを使用して提示される。しかしながら、データレートデータは、さらには有利には、より後の分析のために記憶され得る。このデータは、あまり多くの記憶域を要さず、特定のイベントに対する時間点を、そのイベントのビデオを調査するために見つけたい状況では、非常に有用であり得る。この特定の事例では、ビデオは利用可能であろうが、データレートデータは、分析するのにはるかに少ないデータであるため、イベントの探索にははるかに効率的である。それゆえに、後に使用するためにデータレート情報を記憶および使用することは、多大な利点である。
【００３９】
ここで、本発明の実施形態のプロセス２００を描写する、図４のフローチャートを参照する。このプロセスは、特定の時点からのデータレートを各々が指示する、連続的な値を登録すること（ステップ２０２）を含む。これらの値は、カメラ内の符号化器により提供される情報、符号化器から出力されるデータの量を測定することによりもたらされる値、ネットワークインターフェイスにより提供される値、例えばネットワークトラフィック、その他に基づくものであり得る。各々の値、および／または、値の連続は、上記の例で提示されたような、登録された値の特性を表し、少なくとも１つのイベントを表す、対応するあらかじめ決定された特性と比較される（ステップ２０４）。比較が、値、または、値の連続がイベントを表すことを指示するならば（ステップ２０６）、イベント信号が生成され（ステップ２０８）、次いでプロセスは、符号化器により生成されるデータのデータレートを指示する追加的な値を登録するために、ステップ２０２に戻る。イベント信号は、内部信号、または、他のシステムもしくはデバイスに送信される信号であり得る。実例として、信号が、物体の検出を表すイベントを指示する場合、この信号は、物体の数を計数するために、カウンタに内部的に送出され得る。その上イベント信号は、イベントのデータ、例えば、中間サイズの車両が西の方向に６０ｋｍ／ｈで通過したことを搬送する信号であり得る。さらにイベント信号は、アラーム信号であり得る。当業者は、イベント信号の多数の変形を認識されよう。比較が、イベントの何らの発生も指示しないならば（ステップ２０６）、プロセスはその後、符号化器により生成されるデータのデータレートを指示する追加的な値を登録するために、ステップ２０２内に直接戻る。このプロセスは、生のデータに対して、例えば、データが生み出され、値が生成される際に実行され得るものであり、またはそのプロセスは、記憶されたデータに対して実行され得るものであり、例えばデータは何らかの記憶デバイスに記憶され、記憶されたデータ内でイベントを検出するためにパースされる。
【００４０】
ステップ２０４での比較は、図３のデータレートグラフとのつながりで論考された特性の任意の１つ、または、それらの特性の任意の組み合わせを含み得る。例えば、比較される特性は、モーションイベントをトリガするためにシーンの十分な変化が存するかどうかを指示するしきい値と比較されているデータレートの値であってよい。特性は、グラフ内の、単一のデータエントリ、または、複数の連続的なデータレート値に関係付けられた変化の、微分係数、すなわち急峻さであり得る。そのような微分係数は、イベントを指示するために、あらかじめ決定されたしきい値と比較され得る。比較され得る別の特性は、データレートの値の積分、すなわち、グラフの下側の面積である。そのような面積は、データレートがしきい値を上回る２つの時間点の間で、または単にあらかじめ決定された時間フレームにわたって測定され得る。比較は、特性のセットを、特性のあらかじめ決定されたセット、例えば、上記で述べられた特性の任意の組み合わせと比較することを含み得る。その上、特性のセットは、異なる時点からの複数の特性を含んでもよい。例えば、車がカメラに向かって、またはカメラから離れる方向に運転されていることを指示するイベントは、第１の微分係数を、次いでピーク値を、最後に第２の微分係数を検出することにより検出され得る。特性値のこのセットは、次いで、あらかじめ決定された特性のセットと比較され得る。
【００４１】
その上システムは、システムのすべての機能性をカメラ内に配置構成することにより実現され得るものであり、すなわちカメラは、本発明の実施形態によるプロセスを実行するための手段を含む。例えばカメラ１２は、データレート値を、符号化器４６から、ネットワークインターフェイスから、または、カメラ内の任意の他のデータレート抽出点から取り出し、データレート値をメモリ５０、５２に記憶して、イベントを生で、または履歴データレートから検出するためにカメラにより遂行されるプログラムに設定された特性セットと比較する。カメラは次いで、イベント検出に応答してイベント識別子を送信し得る。
【００４２】
代替的には、システムは、ネットワークを経てカメラに接続されてストリーミングモーションビデオを受信するデバイスの任意のもので実現され得る。そのようなデバイス、例えば、システム管理デバイス１６ａ〜ｂ、データ記憶デバイス１８、その他は、モーションビデオストリームで受信されるデータの量を測定し、プロセスを独力で遂行し得る。デバイスはさらには、記憶するために受信されたデータに測定を行うことから取り出されるデータレート、または、別の場所で取り出されるデータレートを記憶するように配置構成された、ファイルサーバ、ＮＡＳ、その他などの記憶デバイスであってよい。
【００４３】
さらなる代替形態では、システムの動作は、様々なデバイスに分散される。例えばカメラ１２は、データレート値を測定および生成し、それらの値を、記憶のために記憶デバイス１８に、および、生のイベント検出のためにシステム管理デバイス１６ａ〜ｂに送出し得る。システム管理デバイス１６ａ〜ｂは次いで、さらには、記憶デバイスで記憶される履歴データレート値を取り出し、それらの値をイベント検出のために分析するように配置構成され得る。
【００４４】
シーン内で発生するイベントを表す、データレート値およびデータレート値の連続の特性は、カメラによりキャプチャされる視点、例えば、カメラが道路もしくは通路の上から、かつ道路もしくは通路の長手方向に方向設定されるかどうか、または、カメラが、通行人が画像内で左から右に進行しているシーンをキャプチャするように装着されるかどうかに、非常に依存的であり得る。したがって、カメラの視点は、検出することが可能なイベントのタイプを規定し得る。
【００４５】
上記の例はすべて、固定カメラとの関係で与えられるものであるが、カメラは移動カメラでもあり得る。実例として、カメラは、ドローンもしくはＵＡＶ（無人航空機）内に装着されてよく、または、カメラは車両内のダッシュボードカメラであってよい。
【００４６】
その上イベント検出は、人のプライバシーを保護するためにプライバシーマスクが配置構成されるシステムで使用され得る。本発明によるイベント検出器は、何らの個人的に識別可能な情報も漏らすことなくイベントを生成するために、シーン全体を分析することができる。
【符号の説明】
【００４７】
１２  モニタリングカメラ、カメラ
１２ａ〜ｃ  モニタリングカメラ
１４  通信ネットワーク、ネットワーク
１６ａ〜ｂ  システム管理デバイス
１８  データ記憶デバイス、ネットワーク化された記憶デバイス、記憶デバイス
４０  レンズ
４２  画像センサ
４４  画像プロセッサ
４６  符号化器
４８  処理ユニット
５０  揮発性メモリ、メモリ
５２  不揮発性メモリ、メモリ
５４  ネットワークインターフェイス
５６  内部通信経路
１０４  グラフ
１０６  第１のピーク、ピーク
１０８  グラフ
１１０  グラフ
１１２  第２のピーク、ピーク
１１４  グラフ
１１６  グラフ
１１８  ピーク
１２０  ピーク
１２２  ピーク
１２４  最後のピーク、ピーク
１２６  グラフ
１２８  グラフ
２００  プロセス
【図１】
2018125846.tif 000003
【図２】
2018125846.tif 000004
【図３】
2018125846.tif 000005
【図４】
2018125846.tif 000006
【外国語明細書】
2018125846000001.pdf
2018125846000002.pdf
2018125846000003.pdf
2018125846000004.pdf