(57)【特許請求の範囲】
【請求項１】
コンピュータにより実行される場合は前記コンピュータにリアルタイム映像をトリガする方法を実行させる命令を格納するコンピュータ使用可能データキャリアを含むコンピュータ・プログラム・プロダクトであって、前記方法が、
ストリーミング映像配信を受信することと、
前記ストリーミング映像配信をより低い空間解像度の前記ストリーミング映像配信にリサンプルすることと、
前記リサンプルされたストリーミング映像配信における複数の動きブロブを、
前記リサンプルされたストリーミング映像配信を、フレーム別差異を用いて分析することと、
前記リサンプルされたストリーミング映像配信における最初の前景および背景をラベリングすることと、
前記ラベリングされたストリーミング映像配信へモルフォロジーフィルタリングを適用して、前記リサンプルされたストリーミング映像配信における複数の動きブロブを識別すること、のうちの少なくとも１つによって検出することと、
前記リサンプルされたストリーミング映像配信における前記複数の動きブロブのうちで、そのサイズおよびアスペクト比が予め規定されたサイズおよびアスペクト比の範囲内でないものを何れも動きブロブ候補から排除することと、
オリジナル解像度における残りの複数の動きブロブのうちで、その輝度の標準偏差が予め規定された特徴シグネチャに適合しないものを何れも動きブロブ候補から排除することと、
オリジナル解像度における前記残りの複数の動きブロブのうちで、動きブロブ候補分類器の映像収集行動をトリガするための候補としての映像ストリームによって動きブロブ候補として識別されないものを動きブロブ候補から排除することと、
前記動きブロブ候補に関連づけられる重心およびバウンディングボックスの複数の座標を出力することと、
映像収集行動をトリガすることと、を含むコンピュータ・プログラム・プロダクト。
【請求項２】
前記ストリーミング映像配信は、高解像度の近赤外線ストリーミング映像を含む、請求項１に記載のコンピュータ・プログラム・プロダクト。
【発明の詳細な説明】
【技術分野】
【０００１】
実施形態は、一般的に追跡アプリケーションの分野に関する。また、実施形態は、映像トリガアプリケーションのための方法およびシステムにも関する。実施形態はさらに、リアルタイムの映像トリガおよび交通監視のための方法およびシステムに関する。
【背景技術】
【０００２】
現代のアプリケーションにおいて、オブジェクト追跡はますます普及してきた。これは、車両の追跡および監視の分野において特に顕著である。よって、画像取得を開始しかつ／または終了するための改良された「トリガ」がますます必要である。
【０００３】
例えば、車両監視および交通取締りの場合、初期のトリガステップは、一般的に、特定のイベントの始まりをマークするように要求される。トリガステップを実行するための方法は、幾つかが技術上既知である。これらのうちで最も一般的な方法は、道路舗装の下に位置決めされる誘導ループを用いるものである。誘導ループは、舗装下への設置および保全費用が高価になる可能性がある。したがって、交通監視アプリケーションのための改良されたトリガシステムおよび方法が必要とされている。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
したがって、開示されている実施形態の一態様は、オブジェクト追跡のための方法およびシステムを提供することにある。
【０００５】
開示されている実施形態の別の態様は、映像取得をトリガするための強化された方法およびシステムを提供することにある。
【０００６】
開示されている実施形態のさらに別の態様は、交通監視および写真による取締りアプリケーションのリアルタイム映像をトリガするための強化された方法およびシステムを提供することにある。
【課題を解決するための手段】
【０００７】
上述の態様および他の目的および優位点は、本明細書における記述に従って達成されることが可能である。交通監視および写真による取締りのためにリアルタイムで映像をトリガする方法およびシステムは、ストリーミング映像配信を受信することと、ストリーミング映像配信の各フレームに対して空間均一性補正を実行することを含む。このステップは、関連の周辺光レベルが低い場合にのみ実行可能である。この場合は、ストリーミング映像配信をより低い空間解像度へリサンプルすることができる。
【０００８】
リサンプルされた映像ストリームにおける複数の動きブロブの検出は、次に、リサンプルされた映像ストリームにおける複数の動きブロブからの動きブロブ候補を、映像または写真収集行動をトリガするための候補として識別することを可能にする。候補として識別された動きブロブは、映像収集行動をトリガするために出力される。
【０００９】
ストリーミング映像配信は、高解像度の近赤外線ストリーミング映像を含む。また、リサンプルされた映像ストリームにおける複数の動きブロブの検出は、リサンプルされた映像を、双方向性のフレーム別差異を用いて分析すること、かつ／またはリサンプルされた映像ストリームにおける最初の前景および背景をラベリングすることと、ラベリングされた映像フレームへモルフォロジーフィルタリングを適用してリサンプルされた映像ストリームにおける複数の動きブロブを識別することも含むことが可能である。
【００１０】
複数の動きブロブからの動きブロブ候補を、映像収集行動をトリガするための候補として識別することは、リサンプルされた映像ストリームにおける複数の動きブロブのうちで、そのサイズおよびアスペクト比が予め規定されたサイズおよびアスペクト比の範囲内でないものを何れも動きブロブ候補から排除することと、オリジナル解像度における残りの複数の動きブロブのうちで、その輝度の標準偏差が予め規定された特徴シグネチャに適合しないものを何れも動きブロブ候補から排除することと、オリジナル解像度における残りの複数の動きブロブのうちで、動きブロブ候補分類器によって動きブロブ候補として識別されないものを動きブロブ候補から排除することを含む、３層手法を含むことが可能である。
【００１１】
出力は、動きブロブ候補に関連づけられる重心およびバウンディングボックスの複数の座標を含むことが可能である。動きブロブ候補はナンバープレートを含むことが可能であり、かつストリーミング映像配信は交通監視映像配信を含むことが可能である。
【００１２】
リアルタイム映像をトリガするためのシステムは、ビデオカメラと、ビデオカメラからストリーミング映像を受信するための映像受信モジュールとを備える。空間均一性補正モジュールは、関連の周辺光レベルが低い場合にストリーミング映像配信へ空間均一性補正を適用する。ストリーミング映像配信は次に、ストリーミング映像配信を受信してより低い空間解像度へリサンプルするように構成されるリサンプリングモジュールによってリサンプルされる。
【００１３】
検出モジュールは、リサンプルされた映像ストリームにおける複数の動きブロブを検出するように構成される。次に、識別モジュールは、複数の動きブロブから動きブロブ候補を、映像または写真収集行動をトリガするための候補として識別する。出力モジュールは、映像収集行動をトリガするように構成されるトリガモジュールへ動きブロブ候補を提供することができる。
【００１４】
検出モジュールはさらに、リサンプルされた映像を、双方向性のフレーム別差異を用いて分析し、最初の前景および背景をラベリングしかつラベリングされた映像フレームへモルフォロジーフィルタリングを適用して前記リサンプルされた映像ストリームにおける複数の動きブロブを識別するように構成される。
【００１５】
識別モジュールはさらに、リサンプルされた映像ストリームにおける複数の動きブロブのうちで、そのサイズおよびアスペクト比が予め規定されたサイズおよびアスペクト比の範囲内でないものは何れも動きブロブ候補から排除され、オリジナル解像度における残りの複数の動きブロブのうちで、その輝度の標準偏差が予め規定された特徴シグネチャに適合しないものは何れも動きブロブ候補から排除され、かつオリジナル解像度における残りの複数の動きブロブのうちで、動きブロブ候補分類器によって動きブロブ候補として識別されないものは動きブロブ候補から排除される、３層手法を適用するように構成される。
【００１６】
システムの出力モジュールはさらに、収集行動をトリガするために、前記動きブロブ候補に関連づけられる重心およびバウンディングボックスの複数の座標をトリガモジュールへ出力するように構成される。
【００１７】
動きブロブ候補はナンバープレートを含むことが可能であり、かつビデオカメラは、交通監視映像配信を含む高解像度の近赤外線ストリーミング映像を収集するように構成される高解像度近赤外線ビデオカメラを含むことが可能である。
【００１８】
コンピュータ・プログラム・プロダクトは、コンピュータにより実行される場合はコンピュータにリアルタイム映像をトリガする方法を実行させる命令を格納するコンピュータ使用可能データキャリアを含む。本方法は、ストリーミング映像配信を受信することと、ストリーミング映像配信の各フレームに対して空間均一性補正を実行することを含む。このステップは、関連の周辺光レベルが低い場合にのみ実行可能である。この場合は、ストリーミング映像配信をより低い空間解像度へリサンプルすることができる。
【００１９】
リサンプルされた映像ストリームにおける複数の動きブロブの検出は、次に、複数の動きブロブからの動きブロブ候補を、映像または写真収集行動をトリガするための候補として識別することを可能にする。候補として識別された動きブロブは、映像収集行動をトリガするために出力される。
【００２０】
ストリーミング映像配信は、高解像度の近赤外線ストリーミング映像を含む。また、リサンプルされた映像ストリームにおける複数の動きブロブの検出は、リサンプルされた映像を、双方向性のフレーム別差異を用いて分析すること、かつ／またはリサンプルされた映像ストリームにおける最初の前景および背景をラベリングすることと、ラベリングされた映像フレームへモルフォロジーフィルタリングを適用してリサンプルされた映像ストリームにおける複数の動きブロブを識別することも含むことが可能である。
【００２１】
複数の動きブロブからの動きブロブ候補を、映像収集行動をトリガするための候補として識別することは、リサンプルされた映像ストリームにおける複数の動きブロブのうちで、そのサイズおよびアスペクト比が予め規定されたサイズおよびアスペクト比の範囲内でないものを何れも動きブロブ候補から排除することと、オリジナル解像度における残りの複数の動きブロブのうちで、その輝度の標準偏差が予め規定された特徴シグネチャに適合しないものを何れも動きブロブ候補から排除することと、オリジナル解像度における残りの複数の動きブロブのうちで、動きブロブ候補分類器によって動きブロブ候補として識別されないものを動きブロブ候補から排除することを含む、３層手法を含むことが可能である。
【００２２】
出力は、動きブロブ候補に関連づけられる重心およびバウンディングボックスの複数の座標を含むことが可能である。動きブロブ候補はナンバープレートを含むことが可能であり、かつストリーミング映像配信は交通監視映像配信を含むことが可能である。
【図面の簡単な説明】
【００２３】
【図１】図１は、開示されている実施形態に従って実装されるコンピュータシステムを示すブロック図である。
【図２】図２は、本発明の態様が実装され得るデータ処理デバイスのネットワークを描いたグラフィック表現である。
【図３】図３は、開示されている実施形態によるリアルタイム映像トリガ方法における論理動作ステップを示す高レベルフローチャートである。
【図４】図４は、リサンプルされた映像ストリームにおける動きブロブを検出するための論理動作ステップを示す詳細なフローチャートである。
【図５】図５は、開示されている実施形態による、リアルタイム映像をトリガするためのシステムを描いている。
【発明を実施するための形態】
【００２４】
図１には、本明細書に開示されている方法およびシステムを実行するためのプログラミングを実行するコンピュータシステム１００のブロック図が示されている。コンピュータ１１０の形式である一般的なコンピューティングデバイスは、処理ユニット１０２と、メモリ１０４と、着脱可能記憶装置１１２と、着脱不能記憶装置１１４とを備えてもよい。メモリ１０４は、揮発性メモリ１０６と、不揮発性メモリ１０８とを含んでもよい。コンピュータ１１０は、揮発性メモリ１０６および不揮発性メモリ１０８、着脱可能記憶装置１１２および着脱不能記憶装置１１４等の様々な一時的および非一時的なコンピュータ読取り可能媒体を含むコンピューティング環境を含んでもよく、または前記コンピューティング環境へのアクセスを有してもよい。コンピュータ記憶装置は、例えば、ランダム・アクセス・メモリ（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）、消去可能なプログラム可能読取り専用メモリ（ＥＰＲＯＭ）および電気的に消去可能なプログラム可能読取り専用メモリ（ＥＥＰＲＯＭ）、フラッシュメモリまたは他のメモリ技術、コンパクトディスク読取り専用メモリ（ＣＤ  ＲＯＭ）、デジタル・バーサタイル・ディスク（ＤＶＤ）または他の光ディスク記憶装置、磁気カセット、磁気テープ、磁気ディスク記憶装置または他の磁気記憶デバイス、またはコンピュータ読取り可能命令並びに映像フレームを含むデータを格納することができる他の任意の媒体を含む。
【００２５】
コンピュータ１１０は、入力１１６と、出力１１８と、通信接続部１２０とを含むコンピューティング環境を含んでもよく、または前記コンピューティング環境へのアクセスを有してもよい。コンピュータは、ネットワーク化された環境において、１つまたは複数のリモートコンピュータまたはデバイスへ接続するための通信接続部を用いて動作してもよい。リモートコンピュータは、パーソナルコンピュータ（ＰＣ）、サーバ、ルータ、ネットワークＰＣ、ピアデバイスまたは他の共通ネットワークノードまたはこれらに類似するものを含んでもよい。リモートデバイスは、写真用カメラ、ビデオカメラ、追跡デバイスまたはこれらに類似するものを含んでもよい。通信接続部は、ローカル・エリア・ネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）または他のネットワークを含んでもよい。この機能は、図２においてさらに詳しく説明されている。
【００２６】
出力１１８は、最も一般的にはコンピュータモニタとして提供されるが、任意のコンピュータ出力デバイスを含んでもよい。また出力１１８は、コンピュータシステム１００に関連づけられるデータ収集装置も含んでもよい。さらに、一般にコンピュータキーボードおよび／またはコンピュータマウス等のポインティングデバイスを含む入力１１６は、ユーザがコンピュータシステム１００を選択しかつこれに命令を下せるようにする。ユーザインタフェースは、出力１１８および入力１１６を用いて提供されることが可能である。
【００２７】
出力１１８は、ユーザにデータおよび情報を表示するための、かつグラフィカル・ユーザ・インタフェース（ＧＵＩ）１３０を双方向的に表示するためのディスプレイとして機能してもよい。
【００２８】
「ＧＵＩ」という用語は、プログラム、ファイル、オプション、等々をコンピュータモニタ画面上のグラフィックに表示されるアイコン、メニュおよびダイアログボックスによって表現する環境タイプを指すことに留意されたい。ユーザは、このようなオプションを選択しかつ起動するために、画面に直にタッチする、かつ／または例えばマウス等のポインティングデバイス等のユーザ入力デバイス１１６で指しかつクリックすることによって、かつ／またはキーボードを用いてＧＵＩと相互に作用することができる。ＧＵＩは、これらのエレメントを扱いかつユーザの行動を報告するための標準的なソフトウェアルーチン（例えば、モジュール１２５）を提供することから、特定のアイテムもユーザにとっては全てのアプリケーションにおいて同じ方法で機能することができる。ＧＵＩはさらに、後述するように、電子サービス画像フレームを表示するために使用されることが可能である。
【００２９】
コンピュータ読取り可能命令、例えば本明細書に記述されている他のモジュールを代表するものであることが可能なプログラムモジュール１２５、はコンピュータ読取り可能媒体に格納され、かつコンピュータ１１０の処理ユニット１０２によって実行可能である。プログラムモジュール１２５は、コンピュータアプリケーションを含んでもよい。ハードドライブ、ＣＤ−ＲＯＭ、ＲＡＭ、フラッシュメモリおよびＵＳＢドライブは、単に、コンピュータ読取り可能媒体を含む物品の幾つかの例である。
【００３０】
図２は、本発明の態様が実装され得るデータ処理システム２００のネットワークを描いたグラフィック表現である。ネットワークデータ処理システム２００は、本発明の実施形態が実装され得るコンピュータネットワークである。システム２００は、プログラムモジュール１２５等のソフトウェアモジュールのコンテキストにおいて実装されることが可能である点に留意されたい。システム２００は、１つまたは複数のクライアント２１０、２１２および２１４と通信しているネットワーク２０２を含む。ネットワーク２０２は、ネットワークで結ばれたデータ処理システム内で互いに接続されるコンピュータシステム１００等の様々なデバイスおよびコンピュータ間の通信リンクを提供するために使用されることが可能な媒体である。ネットワーク２０２は、有線通信リンク、無線通信リンクまたは光ファイバケーブル等の接続部を含んでもよい。ネットワーク２０２はさらに、１つまたは複数のサーバ２０６、ビデオカメラ２０４等の１つまたは複数の外部デバイスおよび例えばメモリまたはデータベース２０８等のメモリ記憶ユニットと通信することができる。
【００３１】
図示されている例では、ビデオカメラ２０４およびサーバ２０６は、記憶ユニット２０８と共にネットワーク２０２へ接続している。さらに、クライアント２１０、２１２および２１４もネットワーク２０２へ接続している。これらのクライアント２１０、２１２および２１４は、例えばパーソナルコンピュータまたはネットワークコンピュータであってもよい。図１に描かれているコンピュータシステム１００は、例えばクライアント２１０、２１２および／または２１４等のクライアントであることが可能である。あるいは、クライアント２１０、２１２および２１４は、例えば写真用カメラ、ビデオカメラ、追跡デバイス、他であってもよい。
【００３２】
またコンピュータシステム１００は、設計上の検討事項に依存してサーバ２０６等のサーバとして実装されることも可能である。図示されている例では、サーバ２０６はクライアント２１０、２１２および２１４へ、ブートファイル、オペレーティングシステム画像、アプリケーションおよびアプリケーション更新等のデータを提供する。この例において、クライアント２１０、２１２および２１４はサーバ２０６のクライアントである。ネットワークデータ処理システム２００は、図示されていない追加的なサーバ、クライアントおよび他のデバイスを含んでもよい。詳細には、クライアントは、同等のコンテンツを提供するサーバネットワークの任意の構成要素へ接続してもよい。
【００３３】
図示されている例において、ネットワークデータ処理システム２００は、互いに通信するプロトコル一式、通信制御プロトコル／インターネットプロトコル（ＴＣＰ／ＩＰ）を用いるネットワークおよびゲートウェイの世界的コレクションを表すネットワーク２０２を有するインターネットである。インターネットの中心には、データおよびメッセージをルーティングする何千もの商用、政府機関、教育および他のコンピュータシステムから成る多重ノードまたはホストコンピュータ間の高速データ通信回線のバックボーンが存在する。当然ながら、ネットワークデータ処理システム２００は、例えばイントラネット、ローカル・エリア・ネットワーク（ＬＡＮ）または広域ネットワーク（ＷＡＮ）等の幾つかの異なるタイプのネットワークとしても実装されてもよい。図１および図２は例示を目的とするものであり、本発明の様々な実施形態の構造を限定するためのものではない。
【００３４】
以下の説明は、図１および図２に描かれているプログラムモジュール１２５と併せたコンピュータシステム１００およびデータ処理システム２００およびネットワーク２０２のコンテキストにおいて具現されることが可能な本発明の実施形態に関連して行なう。しかしながら、本発明は、任意の特定のアプリケーションまたは任意の特定の環境に限定されない。代わりに、当業者は、本発明のシステムおよび方法がデータベース管理システム、ワードプロセッサおよびこれらに類似するものを含む様々なシステムおよびアプリケーションソフトウェアへ効果的に適用され得ることを発見するであろう。さらに、本発明は、Ｍａｃｉｎｔｏｓｈ、ＵＮＩＸ（登録商標）、ＬＩＮＵＸ（登録商標）およびこれらに類似するものを含む様々な異なるプラットフォーム上で具現されてもよい。したがって、例示的な実施形態に関する以下の説明は例示を目的とするものであり、限定としては考慮されない。
【００３５】
図３は、開示されている実施形態によるリアルタイム映像トリガ方法に関連づけられる論理動作ステップを示す高レベルフローチャート３００である。この方法は、監視アプリケーションにおけるリアルタイムまたはリアルタイムに極めて近い映像トリガを可能にする。最も一般的には、この方法は、交通の管理、監視、料金徴収および写真による取締りのアプリケーションにおいて使用されることが可能である。標的オブジェクトによる検出ゾーンの通過に伴って、格納される必要がある合計映像を減らすために、標的の映像監視をトリガする必要がある。この目的に沿って、トリガイベントは、データ収集がいつ始まるべきか、または終了すべきかをマーキングするために使用される。本方法は、ブロック３０５において開始される。
【００３６】
ブロック３１０は、ビデオカメラからストリーミング映像データが受信されることを示す。このビデオカメラは、高解像度の近赤外線映像データを収集するように構成される。ストリーミング映像配信は、好ましくは高いフレームレートおよび高い空間解像度を有する。ビデオカメラは、映像記録を実行することが必要である任意の環境において配備されてもよい。これは、例えば、運転者にチケットを発行できるように、赤信号で走行する運転者に関連づけられるトリガ行動が映像取得をトリガする交差点であってもよい。しかしながら、当業者は、効果的には他の任意数の状況が本明細書に記述されているトリガ方法を使用し得ることを認識するであろう。
【００３７】
次に、ブロック３２０では、周辺光レベルが低くて外部補助光源がオンにされると、収集されたストリーミング映像の各フレームに空間均一性補正が実行される。ビデオカメラに関連がある場合もない場合もある外部近赤外光源は、標的を照明するために使用されてもよい。これらの光源は、概して、輝度が焦点で最大であって焦点から離れるにつれて次第に下がる特徴的な円形のシグネチャを有する。これは、例えば街路灯、交通信号灯、他等の外部光源に共通するシグネチャである。例えば、車両が外側の車線に存在する場合等、標的が焦点から遠い場合、これはトリガイベントの検出をはるかに困難にする。
【００３８】
好適な一実施形態では、空間均一性補正は、夜間等で周辺光レベルが低く、標的の照明に外部光源が使用されている場合にのみ実行される。日中は、主たる照明源が太陽光であり、これは先に述べた特徴的な円形のシグネチャを有さず、よって補正を必要としない。
【００３９】
この補正方法が、外部照明のない環境で適用される際にはノイズを引き起こさない点に留意することは重要である。しかしながら、その場合でも演算上の浪費にはなる。したがって、本発明の好適な一実施形態において、補正方法は、周辺光レベルが低くかつ街路灯または類似の外部光源等の外部光源が主たる光源である場合にのみ適用される。
【００４０】
次に本方法は、着信する高時間かつ高空間映像ストリームがより低い空間解像度へリサンプルされるステップ３３０へ続く。超高空間解像度を必要とする映像追跡または映像識別方法とは異なり、本方法は、このような高空間解像度を必要としない。したがって、空間解像度は各ロウおよびカラムにおいて係数Ｍでリサンプルされる。好適な一実施形態では、Ｍ＝８であり、これは、係数６４による空間解像度低下に一致する。
【００４１】
ブロック３４０は、着信する映像がリサンプルされた後、本方法は次に、トリガを起動させるべき標的を示し得る動きブロブを検出しかつ識別することを示す。これは、図４に示されているように、独立して、または共同で使用される幾つかの異なる技術を包含する可能性がある。本方法は、ブロック４０５で示されるように開始される。ブロック４１０により記述されているように、双方向性のフレーム別差異技術または「二重位相差」を用いることができる。二重位相差は、収集されるデータの差異を明らかにするためにベースラインとエンドラインとの比較を利用することができる。
【００４２】
次に、ブロック４２０に示されているように、最初の全景および／または背景ピクセルをラベリングするためにしきい値化を用いることができる。次に図４３０は、画像閉止、穴埋めまたは他の既知の技術等のモルフォロジーフィルタリング技術がさらなる処理のための動きブロブ候補の形成に適用され得ることを示している。
【００４３】
次のステップは、ブロック４４０に示されているように、動きブロブの大きさの特徴を出力することである。これらの特徴は、動きブロブのマスク、重心、サイズ、バウンディングボックス、アスペクト比およびこれらに類似するものを含んでもよい。出力は、例えばこれらの特徴の座標を含んでもよい。次に、ブロック４４０の方法はブロック４４５において終了することができる。
【００４４】
ブロック３５０が示すように、次には、３層手法を用いて、ブロック３４０で検出された動きブロブおよび提供されたその特徴からナンバープレートまたは動きブロブ候補が識別される。第１の層は、ブロック３５１に示されているように、予め決められたサイズおよびアスペクト比の範囲内にない動きブロブを排除する。このステップは、先に論じたように、近赤外線映像取得の使用を前提とする。近赤外外部光源を利用しかつ好ましくは近赤外線帯域通過フィルタを好ましくは８７０ｎｍに設定されて含むビデオカメラ・システムを用いることは、ナンバープレートが車両の他の部分より遙かに強い光度を反射することを意味する。したがって、ナンバープレートを示す予め規定されたサイズおよびアスペクト比は、例えば樹木の葉の動き、歩行者、他等の偽の動きブロブを迅速に濾波して除くために使用されることが可能である。
【００４５】
ブロック３５１で示されるステップは、記述されている発明の第１の検出層として考えることができる。このステップは粗い精度を提供するものでしかないが、必要とするデータ取得が比較的少なく、よってプロセッサ集約的ではない。したがって、このステップは、図１および図２に示されている構造によるハードウェアおよびソフトウェア実装を用いて、オンボードまたはリモートコンピューティングにより実行されることが可能である。
【００４６】
ブロック３５２には、第２の層が示されている。第１の層を濾波したナンバープレートブロブ候補は、次に第２の分析層に曝される。この層では、バウンディングボックスの座標を用いて、ナンバープレートである可能性があるブロブ領域が画像フレームから露出される。これらのステップは、原初の解像度における画像に対して実行される。例えば、交通の流れの方向に約１００フィートをカバーしかつ４メガピクセルのカメラを用いる視野の場合、ナンバープレート当たり約２万ピクセルが存在する。次には、ヒストグラム等化を用いてブロブ画像を補強しかつより良いコントラストを与えることができる。
【００４７】
次に、ブロブの平均輝度および輝度の標準偏差を用いて、偽のブロブ候補がさらに排除される。詳細には、車両のテールライトはナンバープレートより小さい輝度標準偏差を有する傾向があり、かつテールライトの平均輝度はより高い傾向がある。これらの特徴が予め規定された特性シグネチャに適合しなければ、関連のブロブは排除されることが可能である。
【００４８】
最後に、ステップ３５３において、第３の検出層が実装される。ここでは、予め条件をつけられた分類器を用いてナンバープレートが識別され、かつ分類器によりナンバープレートとして識別されない動きブロブが排除される。好適な一実施形態では、予め条件をつけられた分類器はナンバープレート対テールライト分類器である。分類器は、原初の解像度におけるブロブ領域を必要とする。
【００４９】
分類器を実装するために、勾配特徴ベクトルのヒストグラムに線形判別分析分類器が作用する。他の組み合わせの分類器および特徴の使用も可能であり、サポート−ベクトル・マシン（ＳＶＭ）分類器と勾配方向ヒストグラム（ＨＯＧ）特徴、ＳＶＭ分類器とスケール不変特徴変換（ＳＩＦＴ）特徴、アダブースト分類器とＨＯＧ特徴および／またはアダブーストとＳＩＦＴ特徴を用いることもできる。
【００５０】
例えば、「ナンバープレート画像を追跡する」および「テールライト「オン」画像を追跡する」は、分類器を肯定および否定の双方で追跡するため、よって分類器を構成するために使用されることが可能である。次に分類器は、そのブロブがテールライトであるか、ナンバープレートであるかを決定するために、原初の解像度におけるブロブ領域へ適用されることが可能である。
【００５１】
本方法は、次にブロック３６０へ移動して識別されたナンバープレートに関連づけられるデータを外部トリガ機構へ提供し、外部トリガ機構は、ブロック３７０に示されているように、映像収集行動をトリガすることができる。このデータは、例えば、フレーム番号、タイムスタンプおよびブロック３５０の３層手法を用いてナンバープレートとして識別された重心およびバウンディングボックスの座標であってもよい。
【００５２】
実際のトリガステップがアプリケーション依存性であることは留意されるべきである。例えば、トリガは速度依存性、車両依存性または時間依存性であってもよい。同様に、トリガは、車両追跡のためのトリガであっても、特有の車両を識別するためのトリガであってもよい。
【００５３】
図３に記述されている３層手法は、著しい計算効率および精度を提供する。ブロック３５１に示されている第１の層は超高速であり、かつ効果的には、明らかにナンバープレートではないブロブを除去することができる。ブロック３５２は、幾分かより計算集約的であるが、ナンバープレートでないブロブをより精確に除去もする第２の層を示している。最後に、ブロック３５３に示されている第３の層は最も計算経費の高いものであり、かつ実際にそのまま適用されるには遅すぎると思われる。しかしながら、ブロック３５１およびブロック３５２の最初の２層が十分なブロブを排除するように設計されていることから、第３の層の処理をそのまま少数の候補に対して実行可能である。
【００５４】
図５は、開示されている実施形態による、リアルタイム映像をトリガするためのシステム５００を示す。好適な一実施形態において、本システムは、図５に示されているように、道路沿い等の環境５３０に配備される。また環境５３０は、映像捕捉のトリガが必要とされる他の任意の環境であってもよい。
【００５５】
環境５３０のうちでも、関連づけられるナンバープレート５１０を有する車両５２０は、道路上、交差点内、駐車施設内または他の任意のこうした環境に存在する場合がある。高フレームレート、高解像度のビデオカメラ２０４は、道路沿いに位置決めされてもよい。さらに、環境５３０内には、運転者のために道路を照明するための外部光源５４０も存在することがある。本発明は、このような外部光源を利用することがある。あるいは、光源は、必要なときに標的を照明するためにシステム内部に設けられてもよい。
【００５６】
ビデオカメラ２０４は、図１および図２に示されているように、コンピュータシステム１００および／またはネットワーク２００と機能的に接続されてもよい。図５において、コンピュータシステム１００は、図３および図４に示されている処理ステップを実装するために使用される幾つかの関連するモジュールと共に示されている。あるいは、これらのモジュールがビデオカメラ２０４と一体化され得ることは留意されるべきである。
【００５７】
車両５２０およびナンバープレート５１０がビデオカメラ２０４の視野または検出ゾーン５５０に進入するにつれて、ビデオカメラ２０４は、コンピュータシステム１００に関連づけられる映像受信モジュールへストリーミング映像を提供する。空間均一性モジュール５６０は、次に、受信されたストリーミング映像へ空間均一性補正を適用する。リサンプリングモジュール５６２は、次に、映像をより低い空間解像度へリサンプルすることができる。
【００５８】
検出モジュール５６４は、次に、環境５３０を介して移動する車両５２０およびナンバープレート５１０等の動きブロブを検出する。識別モジュール５６６は、例えばトリガを要求する場合があるナンバープレート５１０を識別するために、ブロック３５０に示されている方法ステップを実装する。出力モジュール５６８は、次に、映像収集行動をトリガするように構成されるトリガモジュール５７０へブロブ候補の特徴を提供する。
【００５９】
これまでに述べたことを基礎とすれば、本明細書には、好ましくかつ代替的な幾つかの実施形態が開示されていることが認識され得る。例えば、ある実施形態において、交通監視および写真による取締りのためのリアルタイム映像をトリガするための方法およびシステムは、映像配信を受信することと、ストリーミング映像配信の各フレームに空間均一性補正を実行することを含む。このステップは、関連の周辺光レベルが低い場合にのみ実行可能である。この場合は、ストリーミング映像配信をより低い空間解像度へリサンプルすることができる。
【００６０】
リサンプルされた映像ストリームにおける複数の動きブロブの検出は、次に、リサンプルされた映像ストリームにおける複数の動きブロブからの動きブロブ候補を、映像または写真収集行動をトリガするための候補として識別することを可能にする。候補として識別された動きブロブは、映像収集行動をトリガするために出力される。
【００６１】
ストリーミング映像配信は、高解像度の近赤外線ストリーミング映像を含む。また、リサンプルされた映像ストリームにおける複数の動きブロブの検出は、リサンプルされた映像を、双方向性のフレーム別差異を用いて分析すること、かつ／またはリサンプルされた映像ストリームにおける最初の前景および背景をラベリングすることと、ラベリングされた映像フレームへモルフォロジーフィルタリングを適用してリサンプルされた映像ストリームにおける複数の動きブロブを識別することも含むことが可能である。
【００６２】
複数の動きブロブからの動きブロブ候補を、映像収集行動をトリガするための候補として識別することは、リサンプルされた映像ストリームにおける複数の動きブロブのうちで、そのサイズおよびアスペクト比が予め規定されたサイズおよびアスペクト比の範囲内でないものを何れも動きブロブ候補から排除することと、オリジナル解像度における残りの複数の動きブロブのうちで、その輝度の標準偏差が予め規定された特徴シグネチャに適合しないものを何れも動きブロブ候補から排除することと、オリジナル解像度における残りの複数の動きブロブのうちで、動きブロブ候補分類器によって動きブロブ候補として識別されないものを動きブロブ候補から排除することを含む、３層手法を含むことが可能である。
【００６３】
出力は、動きブロブ候補に関連づけられる重心およびバウンディングボックスの複数の座標を含むことが可能である。動きブロブ候補はナンバープレートを含むことが可能であり、かつストリーミング映像配信は交通監視映像配信を含むことが可能である。
【００６４】
リアルタイム映像をトリガするためのシステムは、ビデオカメラと、ビデオカメラからストリーミング映像を受信するための映像受信モジュールとを備える。空間均一性補正モジュールは、関連の周辺光レベルが低い場合にストリーミング映像配信へ空間均一性補正を適用する。ストリーミング映像配信は次に、ストリーミング映像配信を受信してより低い空間解像度へリサンプルするように構成されるリサンプリングモジュールによってリサンプルされる。
【００６５】
検出モジュールは、リサンプルされた映像ストリームにおける複数の動きブロブを検出するように構成される。次に、識別モジュールは、複数の動きブロブから動きブロブ候補を、映像または写真収集行動をトリガするための候補として識別する。出力モジュールは、映像収集行動をトリガするように構成されるトリガモジュールへ動きブロブ候補を提供することができる。
【００６６】
検出モジュールはさらに、リサンプルされた映像を、双方向性のフレーム別差異を用いて分析し、最初の前景および背景をラベリングしかつラベリングされた映像フレームへモルフォロジーフィルタリングを適用して前記リサンプルされた映像ストリームにおける複数の動きブロブを識別するように構成される。
【００６７】
識別モジュールはさらに、リサンプルされた映像ストリームにおける複数の動きブロブのうちで、そのサイズおよびアスペクト比が予め規定されたサイズおよびアスペクト比の範囲内でないものは何れも動きブロブ候補から排除され、オリジナル解像度における残りの複数の動きブロブのうちで、その輝度の標準偏差が予め規定された特徴シグネチャに適合しないものは何れも動きブロブ候補から排除され、かつオリジナル解像度における残りの複数の動きブロブのうちで、動きブロブ候補分類器によって動きブロブ候補として識別されないものは動きブロブ候補から排除される、３層手法を適用するように構成される。
【００６８】
システムの出力モジュールはさらに、収集行動をトリガするために、前記動きブロブ候補に関連づけられる重心およびバウンディングボックスの複数の座標をトリガモジュールへ出力するように構成される。
【００６９】
動きブロブ候補はナンバープレートを含むことが可能であり、かつビデオカメラは、交通監視映像配信を含む高解像度の近赤外線ストリーミング映像を収集するように構成される高解像度近赤外線ビデオカメラを含むことが可能である。
【００７０】
コンピュータ・プログラム・プロダクトは、コンピュータにより実行される場合はコンピュータにリアルタイム映像をトリガする方法を実行させる命令を格納するコンピュータ使用可能データキャリアを含む。本方法は、ストリーミング映像配信を受信することと、ストリーミング映像配信の各フレームに対して空間均一性補正を実行することを含む。このステップは、関連の周辺光レベルが低い場合にのみ実行可能である。この場合は、ストリーミング映像配信をより低い空間解像度へリサンプルすることができる。
【００７１】
リサンプルされた映像ストリームにおける複数の動きブロブの検出は、次に、複数の動きブロブからの動きブロブ候補を、映像または写真収集行動をトリガするための候補として識別することを可能にする。候補として識別された動きブロブは、映像収集行動をトリガするために出力される。
【００７２】
ストリーミング映像配信は、高解像度の近赤外線ストリーミング映像を含む。また、リサンプルされた映像ストリームにおける複数の動きブロブの検出は、リサンプルされた映像を、双方向性のフレーム別差異を用いて分析すること、かつ／またはリサンプルされた映像ストリームにおける最初の前景および背景をラベリングすることと、ラベリングされた映像フレームへモルフォロジーフィルタリングを適用してリサンプルされた映像ストリームにおける複数の動きブロブを識別することも含むことが可能である。
【００７３】
複数の動きブロブからの動きブロブ候補を、映像収集行動をトリガするための候補として識別することは、リサンプルされた映像ストリームにおける複数の動きブロブのうちで、そのサイズおよびアスペクト比が予め規定されたサイズおよびアスペクト比の範囲内でないものを何れも動きブロブ候補から排除することと、オリジナル解像度における残りの複数の動きブロブのうちで、その輝度の標準偏差が予め規定された特徴シグネチャに適合しないものを何れも動きブロブ候補から排除することと、オリジナル解像度における残りの複数の動きブロブのうちで、動きブロブ候補分類器によって動きブロブ候補として識別されないものを動きブロブ候補から排除することを含む、３層手法を含むことが可能である。
【００７４】
出力は、動きブロブ候補に関連づけられる重心およびバウンディングボックスの複数の座標を含むことが可能である。動きブロブ候補はナンバープレートを含むことが可能であり、かつストリーミング映像配信は交通監視映像配信を含むことが可能である。
【図１】
0006343123.tif 000002
【図２】
0006343123.tif 000003
【図３】
0006343123.tif 000004
【図４】
0006343123.tif 000005
【図５】
0006343123.tif 000006