(57)【特許請求の範囲】
【請求項１】
監視カメラによってキャプチャされた画像中のオブジェクトを解析する方法であって、
第１の画像解像度を有し、第１の画像領域をカバーする画像フレームの第１のシーケンスを電子機器によって受信するステップ（２０２）と、
前記第１の画像解像度よりも高い第２の画像解像度を有し、前記第１の画像領域の一部分である第２の画像領域をカバーする画像フレームの第２のシーケンスを電子機器によって受信するステップ（２０２）と、
画像フレームの前記第１のシーケンス中に存在するオブジェクトを電子機器によって検出するステップ（２０４）と、
画像フレームの前記第２のシーケンス中に存在するオブジェクトを電子機器によって検出するステップ（２０４）と、
画像フレームの前記第１のシーケンス中で検出されたオブジェクトについてのオブジェクトマスクの第１のセットを電子機器によって提供するステップ（２０６）と、
画像フレームの前記第２のシーケンス中で検出されたオブジェクトについてのオブジェクトマスクの第２のセットを電子機器によって提供するステップ（２０６）と、
オブジェクトマスクの前記第２のセット中の第２のオブジェクトマスクと少なくとも部分的に重複しているオブジェクトマスクの前記第１のセット中の第１のオブジェクトマスクを検出することによって、画像フレームの前記第１のシーケンスおよび前記第２のシーケンス中に存在するオブジェクト（３０４）を電子機器によって識別するステップ（２０８）と、
前記第１の画像領域中にのみ存在する部分ついての前記第１のオブジェクトマスクからのデータと、前記第２の画像領域中に存在する部分についての第２のオブジェクトマスクからのデータとを含めることによって、前記第１のオブジェクトマスクと前記第２のオブジェクトマスクとを第３のオブジェクトマスクへと電子機器によってマージするステップ（２１０）と、
オブジェクトマスクの第３のセットを電子機器によって提供するステップ（２１２）であって、前記オブジェクトマスクの第３のセットが、
前記第１のオブジェクトマスクを除くオブジェクトマスクの前記第１のセット、
前記第２のオブジェクトマスクを除くオブジェクトマスクの前記第２のセット、および
前記第３のオブジェクトマスク
を含む、オブジェクトマスクの第３のセットを提供するステップ（２１２）と
を含む方法。
【請求項２】
オブジェクトを検出する前記ステップが、画像フレームの前記第１のシーケンスおよび前記第２のシーケンスを、バックグラウンドモデルを表す画像データと比較するステップを含む、請求項１に記載の方法。
【請求項３】
オブジェクトを検出する前記ステップが、画像フレームを、画像フレームの前記第１のシーケンスおよび前記第２のシーケンス中の前にキャプチャされた画像フレームと比較するステップを含む、請求項１に記載の方法。
【請求項４】
オブジェクトを検出する前記ステップが、顔認識などのパターン認識を実行するステップを含む、請求項１に記載の方法。
【請求項５】
画像フレームの前記第１のシーケンス中にのみ存在する前記第３のオブジェクトマスクの部分についての画像フレームの前記第１のシーケンスからの画像データと、画像フレームの前記第２のシーケンス中に存在する前記第３のオブジェクトマスクの部分についての画像フレームの前記第２のシーケンスからの画像データとを含めることによって、前記識別されたオブジェクト（３０４）のオブジェクト記述を構成するステップをさらに含む、請求項１から４のいずれか１項に記載の方法。
【請求項６】
オブジェクト記述を構成する前記ステップが、画像フレームの前記第１のシーケンスから、画像フレームの前記第１のシーケンス中に存在する前記識別されたオブジェクト（３０４）の部分の第１のビットマップ表現を提供するステップと、画像フレームの前記第２のシーケンスから、画像フレームの前記第２のシーケンス中に存在する前記識別されたオブジェクト（３０４）の部分の第２のビットマップ表現を提供するステップと、前記第１のビットマップ表現を前記第２の画像解像度にスケーリングすることにより前記第１のビットマップ表現と前記第２のビットマップ表現とを合成することによって、第３のビットマップ表現を提供するステップとを含む、請求項５に記載の方法。
【請求項７】
オブジェクト記述を構成する前記ステップが、前記第３のビットマップ表現に基づいて、前記識別されたオブジェクト（３０４）のベクトル表現を提供するステップを含む、請求項６に記載の方法。
【請求項８】
監視カメラによってキャプチャされた画像中のオブジェクトを解析するためのオブジェクト解析器であって、前記オブジェクト解析器（１０４）が、
第１の画像解像度を有し、第１の画像領域（３００）をカバーする画像フレームの第１のシーケンスと、前記第１の画像解像度よりも高い第２の画像解像度を有し、前記第１の画像領域（３００）の一部分である第２の画像領域（３０２）をカバーする画像フレームの第２のシーケンスとを受信するように構成された画像データ入力（１０６）と、
画像フレームの前記第１のシーケンス中に存在するオブジェクトと、画像フレームの前記第２のシーケンス中に存在するオブジェクトとを検出するように構成されたオブジェクト検出器（１０８）と、
画像フレームの前記第１のシーケンス中で検出されたオブジェクトについてのオブジェクトマスクの第１のセットと、画像フレームの前記第２のシーケンス中で検出されたオブジェクトについてのオブジェクトマスクの第２のセットとを提供するように構成された第１のオブジェクトマスクセットプロバイダ（１１０）と、
オブジェクトマスクの前記第２のセット中の第２のオブジェクトマスクと少なくとも部分的に重複しているオブジェクトマスクの前記第１のセット中の第１のオブジェクトマスクを検出することによって、画像フレームの前記第１のシーケンスおよび前記第２のシーケンス中に存在するオブジェクト（３０４）を識別するように構成されたオブジェクト識別器（１１２）と、
前記第１の画像領域中にのみ存在する一部についての前記第１のオブジェクトマスクからのデータと、前記第２の画像領域中に存在する一部についての第２のオブジェクトマスクからのデータとを含めることによって、前記第１のオブジェクトマスクと前記第２のオブジェクトマスクとを第３のオブジェクトマスクへとマージするように構成されたオブジェクトマスクマージャー（１１４）と、
オブジェクトマスクの第３のセットを提供するように構成された第２のオブジェクトマスクセットプロバイダ（１１６）であって、前記オブジェクトマスクの第３のセットが、
前記第１のオブジェクトマスクを除くオブジェクトマスクの前記第１のセット、
前記第２のオブジェクトマスクを除くオブジェクトマスクの前記第２のセット、および
前記第３のオブジェクトマスク
を含む、第２のオブジェクトマスクセットプロバイダ（１１６）と
を備えるオブジェクト解析器。
【請求項９】
前記オブジェクト検出器（１０８）が、画像フレームを、画像フレームの前記第１のシーケンスおよび前記第２のシーケンス中の前にキャプチャされた画像フレームと比較するように構成される、請求項８に記載のオブジェクト解析器。
【請求項１０】
前記オブジェクト検出器（１０８）が、画像フレームの前記第１のシーケンスおよび前記第２のシーケンスを、バックグラウンドモデルを表す画像データと比較するように構成される、請求項８に記載のオブジェクト解析器。
【請求項１１】
前記オブジェクト検出器（１０８）が、顔認識などのパターン認識を実行するように構成される、請求項８に記載のオブジェクト解析器。
【請求項１２】
画像フレームの前記第１のシーケンス中にのみ存在する前記第３のオブジェクトマスクの一部についての画像フレームの前記第１のシーケンスからの画像データと、画像フレームの前記第２のシーケンス中に存在する前記第３のオブジェクトマスクの一部についての画像フレームの前記第２のシーケンスからの画像データとを含めることによって、前記識別されたオブジェクト（３０４）のオブジェクト記述を提供するように構成されたオブジェクト記述コンポーザ（１１８）をさらに備える、請求項８から１１のいずれか１項に記載のオブジェクト解析器。
【請求項１３】
前記オブジェクト記述コンポーザ（１１８）が、
画像フレームの前記第１のシーケンスから、画像フレームの前記第１のシーケンス中に存在する前記識別されたオブジェクト（３０４）の一部の第１のビットマップ表現と、画像フレームの前記第２のシーケンスから、画像フレームの前記第２のシーケンス中に存在する前記識別されたオブジェクト（３０４）の一部の第２のビットマップ表現とを提供し、前記第１のビットマップ表現を前記第２の画像解像度にスケーリングすることにより前記第１のビットマップ表現と前記第２のビットマップ表現とを合成することによって、第３のビットマップ表現を提供する
ように構成される、請求項１２に記載のオブジェクト解析器。
【請求項１４】
前記オブジェクト記述コンポーザ（１１８）が、
前記第３のビットマップ表現に基づいて、前記識別されたオブジェクト（３０２）のベクトル表現を提供する
ように構成される、請求項１３に記載のオブジェクト解析器。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオ解析のための方法およびデバイスに関する。
【背景技術】
【０００２】
画像処理は通常、たとえば、監視される環境中に存在するオブジェクトを検出し、追跡するための監視カメラとともに使用される。オブジェクトの検出および追跡が実行されるとき、監視されるシーン中に存在するオブジェクトに関連するいわゆるメタデータを含むシーンの記述がしばしば提供される。そのようなメタデータは、オブジェクトの様々な記述的特徴を含んでいることがあり、シーンの実際の画像データおよびシーン中に存在するオブジェクトの代わりに、またはそれに加えて、そのようなメタデータを使用することができる。
【０００３】
カメラからの画像データの詳細レベルに応じて、様々なタイプのメタデータを抽出することができる。一例として、画像データが高解像度である場合、車のタイプなどのメタデータを入手できることがあるが、画像データの解像度がより低い場合、オブジェクトが車両であるという情報しか抽出することができないことがある。オブジェクトの検出および解析は多くの課題を提示し、この分野における改善が必要である。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明の目的は、監視カメラによってキャプチャされたシーン中のオブジェクトの画像解析および追跡を改善することである。
【課題を解決するための手段】
【０００５】
この目的およびさらなる目的は、請求項１に記載される監視カメラによってキャプチャされた画像中のオブジェクトを解析する方法によって、また、監視カメラによってキャプチャされた画像中のオブジェクトを解析するためのオブジェクト解析器によって達成される。本発明のさらなる実施形態は、従属請求項に示されている。
【０００６】
より詳細には、監視カメラによってキャプチャされた画像中のオブジェクトを解析する方法は、
第１の画像解像度を有し、第１の画像領域をカバーする画像フレームの第１のシーケンスを受信するステップと、
第１の画像解像度よりも高い第２の画像解像度を有し、第１の画像領域の一部分である第２の画像領域をカバーする画像フレームの第２のシーケンスを受信するステップと、
画像フレームの第１のシーケンス中に存在するオブジェクトを検出するステップと、
画像フレームの第２のシーケンス中に存在するオブジェクトを検出するステップと、
画像フレームの第１のシーケンス中で検出されたオブジェクトについてのオブジェクトマスクの第１のセットを提供するステップと、
画像フレームの第２のシーケンス中で検出されたオブジェクトについてのオブジェクトマスクの第２のセットを提供するステップと、
オブジェクトマスクの第２のセット中の第２のオブジェクトマスクと少なくとも部分的に重複しているオブジェクトマスクの第１のセット中の第１のオブジェクトマスクを検出することによって、画像フレームの第１のシーケンスおよび第２のシーケンス中に存在するオブジェクトを識別するステップと、
第１の画像領域中にのみ存在する一部についての第１のオブジェクトマスクからのデータと、第２の画像領域中に存在する一部についての第２のオブジェクトマスクからのデータとを含めることによって、第１のオブジェクトマスクと第２のオブジェクトマスクとを第３のオブジェクトマスクへとマージするステップと、
オブジェクトマスクの第３のセットを提供するステップであって、オブジェクトマスクの第３のセットが、
第１のオブジェクトマスクを除くオブジェクトマスクの第１のセット、
第２のオブジェクトマスクを除くオブジェクトマスクの第２のセット、および
第３のオブジェクトマスク
を含む、オブジェクトマスクの第３のセットを提供するステップと
を含む。
【０００７】
これにより、画像フレームの両方のシーケンスについての１つの共通するシーンの記述を提供することが可能になり、両方のシーケンスに現れるオブジェクトを、画像フレームのシーケンスの両方から合成されたメタデータに関連づけることができる。全く同一のオブジェクトは、シーンの記述中に１回だけ表され、監視カメラからの素材のさらなる処理においてシーンの記述を１つだけ使用することができ、それにより、帯域幅が節約され、解析されたデータ量が低減される。さらに、このことにより、シーン上で移動しているオブジェクトを追う可能性が改善される。
【０００８】
画像フレームがより高い解像度を有する第２の画像領域中に存在するような、識別されたオブジェクトの一部を表す第３のオブジェクトマスクの一部は、オブジェクトマスクの残りの部分よりも詳細である。第３のオブジェクトマスクの一部のみがこのより高い詳細レベルを有する場合あっても、このオブジェクトマスクはさらにはるかに容易に解析することができ、人間を半分だけマスクしても、人間以外の何物でもないとしてやはり容易に認識可能である。
【０００９】
オブジェクトを検出するステップは、
画像フレームの第１のシーケンスおよび第２のシーケンスを、バックグラウンドモデルを表す画像データと比較するステップ、
画像フレームを、画像フレームの第１のシーケンスおよび２のシーケンス中の前にキャプチャされた画像フレームと比較するステップ、ならびに
顔認識などのパターン認識を実行するステップ
のうちの１つまたは複数を含むことができる。
【００１０】
本方法は、画像フレームの第１のシーケンス中にのみ存在する第３のオブジェクトマスクの一部についての画像フレームの第１のシーケンスからの画像データと、画像フレームの第２のシーケンス中に存在する第３のオブジェクトマスクの一部についての画像フレームの第２のシーケンスからの画像データとを含めることによって、識別されたオブジェクトのオブジェクト記述を構成するステップをさらに含む。このようにして、いくつかの部分では他の部分よりも詳細であるが、監視されるシーンを解析するときにはるかに有用であるオブジェクト記述が提供さえる。
【００１１】
より詳細には、オブジェクト記述を構成するステップは、画像フレームの第１のシーケンスから、画像フレームの第１のシーケンス中に存在する識別されたオブジェクトの一部の第１のビットマップ表現を提供するステップと、画像フレームの第２のシーケンスから、画像フレームの第２のシーケンス中に存在する識別されたオブジェクトの一部の第２のビットマップ表現を提供するステップと、第１のビットマップ表現を第２の画像解像度にスケーリングすることにより第１のビットマップ表現と第２のビットマップ表現とを合成することによって、第３のビットマップ表現を提供するステップとを含むことができる。これは、たとえば、第１のビットマップ表現中のビットマップ要素を複製することを含む。
【００１２】
オブジェクトの第３のビットマップ表現に基づいて、オブジェクトのベクトル表現を構成することができる。
【００１３】
本発明のさらなる実施形態によれば、監視カメラによってキャプチャされた画像中のオブジェクトを解析するためのオブジェクト解析器は、
第１の画像解像度を有し、第１の画像領域をカバーする画像フレームの第１のシーケンスと、第１の画像解像度よりも高い第２の画像解像度を有し、第１の画像領域の一部分である第２の画像領域をカバーする画像フレームの第２のシーケンスとを受信するように構成された画像データ入力と、
画像フレームの第１のシーケンス中に存在するオブジェクトと、画像フレームの第２のシーケンス中に存在するオブジェクトとを検出するように構成されたオブジェクト検出器と、
画像フレームの第１のシーケンス中で検出されたオブジェクトについてのオブジェクトマスクの第１のセットと、画像フレームの第２のシーケンス中で検出されたオブジェクトについてのオブジェクトマスクの第２のセットとを提供するように構成された第１のオブジェクトマスクセットプロバイダと、
オブジェクトマスクの第２のセット中の第２のオブジェクトマスクと少なくとも部分的に重複しているオブジェクトマスクの第１のセット中の第１のオブジェクトマスクを検出することによって、画像フレームの第１のシーケンスおよび第２のシーケンス中に存在するオブジェクト（３０４）を識別するように構成されたオブジェクト識別器（１１２）と、
第１の画像領域中にのみ存在する一部についての第１のオブジェクトマスクからのデータと、第２の画像領域中に存在する一部についての第２のオブジェクトマスクからのデータとを含めることによって、第１のオブジェクトマスクと第２のオブジェクトマスクとを第３のオブジェクトマスクへとマージするように構成されたオブジェクトマスクマージャーと、
オブジェクトマスクの第３のセットを提供するように構成された第２のオブジェクトマスクセットプロバイダであって、オブジェクトマスクの第３のセットが、
第１のオブジェクトマスクを除くオブジェクトマスクの第１のセット、
第２のオブジェクトマスクを除くオブジェクトマスクの第２のセット、および
第３のオブジェクトマスク
を含む、第２のオブジェクトマスクセットプロバイダと
を備える。
【００１４】
以下の発明を実施するための形態により本発明の利用可能性のさらなる範囲が明らかになるであろう。ただし、当業者には、発明を実施するための形態から本発明の範囲内での様々な変更および修正が明らかになるので、発明を実施するための形態および具体的な例は、本発明の好ましい実施形態を示してはいるが、例示として与えられるものにすぎないことを理解されたい。したがって、そのような方法およびデバイスを変更し得るので、本方法は、記載されたデバイスの特定の構成部品、または記載された方法のステップに限定されるものではないことを理解されたい。また、本明細書で使用される用語は、特定の実施形態のみについて説明することを目的とし、限定することを意図するものではないことも理解されたい。本明細書および添付の特許請求の範囲で使用されるように、冠詞「ａ」、「ａｎ」、「ｔｈｅ」および「ｓａｉｄ」は、特段の記載が明示されていない限り、要素のうちの１つまたは複数が存在することを意味するものであることを理解されたい。したがって、たとえば、「ａ  ｓｅｎｓｏｒ（センサ）」および「ｔｈｅ  ｓｅｎｓｏｒ（そのセンサ／前記センサ）」は、いくつかのセンサなどを含むことができる。さらに、「ｃｏｍｐｒｉｓｉｎｇ（を備える／を含む）」という単語は、他の要素またはステップを除外するものではない。
【００１５】
添付の図面を参照すると、以下の発明を実施するための形態、または現時点で好適な実施形態から本発明の他の特徴および利点が明らかになるであろう。
【図面の簡単な説明】
【００１６】
【図１】監視カメラを概略的に示す図である。
【図２】本発明の実施形態による方法を示す図である。
【図３】監視カメラによって監視される画像領域を示す図である。
【発明を実施するための形態】
【００１７】
本発明の実施形態は、シーンのビデオをキャプチャするイメージングデバイス、たとえば、機械的またはデジタル的にパンおよびチルト可能な監視カメラ１００において実装することができ、監視カメラ１００の各部分を図１に示す。代替的には、本発明は、たとえば、ビデオ符号化デバイス、ビデオサーバ、ビデオ処理デバイスなどにおいて、オブジェクトを追跡し続けるための機能を実装する任意のデバイスにおいて実装することができる。さらに、オブジェクト解析器の様々な部分は、ソフトウェアまたはハードウェアのいずれかにおいて、あるいはそれらの組合せで実装できることを留意されたい。
【００１８】
カメラ１００は、画像フレームのシーケンスの形態でシーンの画像をキャプチャするように構成された画像キャプチャ手段１０２を含む。画像キャプチャ手段１０２は、画像データを登録するための画像センサ１０３を備え、さらに、レンズ、画像センサ１０３によって登録された画像データを処理するための画像プロセッサ、ならびに、ＲＡＭ（ランダムアクセスメモリ）、ハードディスクまたはフラッシュメモリなどのような、処理された画像データを格納するための任意の好適なタイプのメモリなど、図面には示されていない複数の従来の構成要素を備え得る。
【００１９】
画像フレームのシーケンスの形態の画像データは、画像データ入力１０６を介して、オブジェクト解析器１０４に供給される。詳細には、図３にも示すように、オブジェクト解析器１０４は、第１の非ズームイン画像領域３００をカバーする画像フレームの第１のシーケンスと、第１の画像領域３００の一部分である第２のズームイン画像領域３０２をカバーする画像フレームの第２のシーケンスとを受信する。第１の画像領域３００についての画像フレームの詳細レベルは、第２の画像領域３０２についての画像フレームの詳細レベルよりも低い、つまり、換言すると、画像フレームの第１のシーケンスの画像解像度は、画像フレームの第２のシーケンスの画像解像度よりも低い。利用可能ないくつかのそのような第２の画像領域は、解像度がより高い画像フレームのさらなるシーケンスで表されることがあり、本明細書に記載される方法およびデバイスは、そのような場合にも使用されるように容易に適合される。以下に、画像の２つのシーケンスの具体的な事例について記載するが、いくつかの他の画像ストリームへの拡張が簡単であろう。
【００２０】
画像フレームの２つのシーケンスは、様々な方法で、たとえば、解像度が高い第２のズームイン画像領域３０２の画像と、解像度がより低い第１のズームアウト画像領域３００の画像とを交互にキャプチャするように、画像キャプチャデバイス中の画像センサを構成することによって達成されることができる。別の代替形態は、画像フレームの２つのシーケンスを達成するために、画像キャプチャデバイス中で、画像センサによってキャプチャされた画像データに対して、典型的にはダウンサンプリングを含む適切な画像処理を実行することである。
【００２１】
オブジェクト解析器１０４によって、画像フレームの２つのシーケンスまたはストリームが画像データ入力１０６を介して受信されると、オブジェクト検出器１０８によって、２つの画像ストリーム中でオブジェクトが検出される。このオブジェクト検出は、いくつかの異なる方法を使用することによって実行することができ、その方法はすべてよく知られており、本明細書では詳述しない。１つの例は、顔認識など、様々な形態のパターン認識についてのアルゴリズムを使用することである。別の例は、バックグラウンドモデル中の画像データとの比較を実行することである。このバックグラウンドモデルは、両方の画像領域のために使用される単一のバックグラウンドモデルとすることができるか、あるいは、異なる画像領域について別個のバックグラウンドモデルを備えることができる。バックグラウンドモデルは通常、当該の画像領域についての履歴データを画像のシーケンスの形態で蓄積することによって提供される。オブジェクト検出のさらなる例は、画像フレームを前の画像フレームと比較して、移動しているオブジェクトが存在することを示す、フレーム間の差を検出したときである。またこれは、バックグラウンドモデルとの比較の特殊な事例として考えることができ、履歴は１つの前の画像のみを備えている。
【００２２】
オブジェクト解析器１０４は、画像フレームの第１のシーケンスおよび第２のシーケンス中でそれぞれ、オブジェクト検出器１０８によって検出されたオブジェクトについてのオブジェクトマスクの第１のセットと第２のセットと提供するように構成されたオブジェクトマスクセットプロバイダ１１０をさらに備える。オブジェクトマスクは、オブジェクトが存在する場合に、画像要素、たとえば、黒い画像要素を含む画像中のオブジェクトのグラフィカル記述として定義することができる。オブジェクトがその外側境界内に空白領域を有する場合、たとえば、窓が開いている車であり得るような場合、オブジェクトマスクは、そのような領域についての空白の画像要素、または、たとえば、黒くない画像要素を含むことができる。
【００２３】
２つのオブジェクトマスクセットは、２つの異なるシーンの記述の開始点を表し、さらに、各セットのオブジェクトマスクの各々に関係する様々なタイプのメタデータを含むようにエラボレートすることができる。ただし、発明者が了解したように、オブジェクトマスクのこれらのセットでは、画像領域３００と画像領域３０２の両方に現れるオブジェクト３０４は、第１のセット中の１つのオブジェクトマスクと、第２のセット中の別のオブジェクトマスクとによって表され得る。本明細書に記載する方法の目的のために、これらの２つのオブジェクトマスクセットは、したがって、以下に記載される最終オブジェクトマスクセットを提供するためのベースとして使用される一時オブジェクトマスクセットとして見なすことができる。
【００２４】
本明細書に記載された本発明の方法およびデバイスによれば、全く同一のオブジェクトを表すように見なされたオブジェクトマスクがマージされ、画像ストリームの両方のシーケンスからのデータを組み込んだ１つの共通するシーンの記述が構成される。より詳細には、オブジェクト識別器１１２は、オブジェクト解析器１０４中に、重複しているオブジェクトマスク、すなわち、少なくともいくつかの部分において、オブジェクトマスクの両方のセット中で同じ座標を有するオブジェクトマスクを識別することによって、画像フレームの両方のシーケンス中に存在する（１つまたは複数の）オブジェクトを識別するように構成される。
【００２５】
次いで、重複しているオブジェクトマスクは、オブジェクトマスクマージャー１１４によってマージされ、このオブジェクトマスクマージャー１１４は、第１の画像領域中にのみ存在する一部についての第１のオブジェクトマスクからのデータと、第２の画像領域中に存在する一部についての第２のオブジェクトマスクからのデータとを含めることと、第２のセットからのより詳細なオブジェクトマスクデータが利用可能である場合には、そのようなオブジェクトマスクデータが使用され、かつ、第１のセットからのより詳細でないデータがオブジェクトマスクの残りの部分のために使用されるということを意味することとによって、同じオブジェクトを表すものとして識別されたオブジェクトマスクをマージする。
【００２６】
次いで、第２のオブジェクトマスクセットプロバイダ１１６によって、オブジェクトマスクの第３の最終セットが提供される。オブジェクトマスクの第３のセットは、（２つ以上のオブジェクトが画像フレームの両方のシーケンス中に存在する場合）マージされた（１つまたは複数の）オブジェクトマスクと、オブジェクトマスクの第１のセットからの残りのオブジェクトマスクとを含んでいる。また、第２の画像領域は第１の画像領域の一部なので、画像フレームの第２のシーケンス中で検出され、オブジェクトマスクの第２のセット中にオブジェクトマスクによって表されたすべてのオブジェクトは、通常、オブジェクトマスクの第１のセット中に存在することになる。ただし、オブジェクトが小さすぎるか、または画像フレームの第１のシーケンス中で使用されるより低い解像度では検出されないような形状を有する場合があり得る。したがって、最も一般的な場合には、オブジェクト識別器が両方の画像領域中に存在するオブジェクトに属するものとして識別しないオブジェクトマスクの第２のセットからオブジェクトマスクの第３のセットに、１つのオブジェクトが追加されることになる。
【００２７】
オブジェクトマスクの最終セットは、オブジェクト記述コンポーザ１１８によって構成されたオブジェクト記述を含む共通するシーンの記述のベースを形成する。次いで、画像フレームの第１のシーケンスと第２のシーケンスの両方からの識別されたオブジェクトについてのメタデータが収集される。そのようなオブジェクト記述は、オブジェクトについてのオブジェクトマスクおよび英数字シンボルなどの識別マーカー、ならびにオブジェクトマスク内の実際の画像データを含み得る。また、「車両」または「人間」などのオブジェクトカテゴリーにオブジェクトをカテゴリー分類しているデータを含み得るオブジェクト記述は、よりエラボレートである。オブジェクト記述はまた、オブジェクトの前の移動に関するデータ、および人の識別情報または車のナンバープレート登録番号などの他の特徴を含んでいることがある。シーンの記述は、監視されるシーン中に存在するオブジェクトのいくつかのオブジェクト記述を含んでいることがある。
【００２８】
画像フレームの両方のシーケンス中に存在するものとして識別された１つまたは複数のオブジェクトのオブジェクト記述は、画像フレームの第１のシーケンス中にのみ存在する関連するオブジェクトマスクの一部についての画像フレームの第１のシーケンスからの画像データと、画像フレームの第２のシーケンス中に存在する関連するオブジェクトマスクの一部についての画像フレームの第２のシーケンスからの画像データと含めること、またはそれらを解析することによって提供される。
【００２９】
より詳細には、画像フレームの両方のシーケンス中に存在するものとして識別されたそれらのオブジェクトのオブジェクト記述は、画像フレームの第１のシーケンスからの画像フレームの第１のシーケンス中に存在するオブジェクトの一部の第１のビットマップ表現と、画像フレームの第２のシーケンスからの画像フレームの第２のシーケンス中に存在するオブジェクトの一部の第２のビットマップ表現を提供することによって構成される。次いで、第１のビットマップ表現を第２の画像解像度にスケーリングすることによって、たとえば、第１のビットマップ表現中のビットマップ要素を複製することによって、それらの２つのビットマップ表現を合成して、１つの単一のビットマップ表現にすることができる。また、所望される場合には、補間ステップを実行することができる。次いで、オブジェクトのこの合成されたビットマップ表現に基づいて、オブジェクトのベクトル表現が構成される。
【００３０】
本発明の実施形態による方法２００を図２に示す。ステップ２０２において、画像フレームの第１のシーケンスと第２のシーケンスとを受信する。画像フレームの第１のシーケンスは、第１の画像領域３００をカバーし、第１の画像解像度を有し、画像フレームの第２のシーケンスは、第１の画像領域よりも小さく第１の領域３００内に位置する第２の画像領域３０２をカバーする。画像フレームの第２のシーケンスは、第１の画像解像度よりも高い第２の画像解像度を有する。
【００３１】
ステップ２０４において、画像フレームの第１のシーケンスおよび第２のシーケンス中でオブジェクトを検出し、ステップ２０６において、検出されたオブジェクトについてのオブジェクトマスクの第１の一時セットおよび第２の一時セットを提供する。ステップ２０８において、オブジェクトマスクの第２のセット中の第２のオブジェクトマスクと少なくとも部分的に重複しているオブジェクトマスクの第１のセット中の第１のオブジェクトマスクを識別することによって、画像フレームの第１のシーケンスと第２のシーケンスの両方に存在するオブジェクト３０４を識別し、ステップ２１０において、これらのオブジェクトマスクを第３のオブジェクトマスクへとマージする。
【００３２】
最後に、ステップ２１２において、第１のオブジェクトマスクを除くオブジェクトマスクの第１のセットと、第２のオブジェクトマスクを除くオブジェクトマスクの第２のセットと、第３のオブジェクトマスクとを含むオブジェクトマスクの第３の最終セットを提供する。
【００３３】
換言すると、監視カメラによってキャプチャされた画像のオブジェクトを解析するための方法およびオブジェクト解析器は、画像フレームの第１のシーケンスおよび第２のシーケンスを使用し、画像フレームの第１のシーケンスは、第１の画像領域をカバーし、第１の画像解像度を有し、画像フレームの第２のシーケンスは、第１の画像領域内に位置する第２の画像領域をカバーし、第１の画像解像度よりも高い第２の画像解像度を有する。両方の画像領域中に存在するものとして識別されたオブジェクトのオブジェクトマスクがマージされたオブジェクトマスクの共通セットが提供される。
【符号の説明】
【００３４】
１００    カメラ
１０２    画像キャプチャ手段
１０３    画像センサ
１０４    オブジェクト解析器
１０６    画像データ入力
１０８    オブジェクト検出器
１１０    第１のオブジェクトマスクセットプロバイダ
１１２    オブジェクト識別器
１１４    オブジェクトマスクマージャー
１１６    第２のオブジェクトマスクセットプロバイダ
１１８    オブジェクト記述コンポーザ
３００    第１の画像領域
３０２    第２の画像領域
３０４    オブジェクト
【図１】
0005722381.tif 000002
【図２】
0005722381.tif 000003
【図３】
0005722381.tif 000004