(57)【要約】  ビデオカメラは、実行可能な位置から監視対象領域を監視できる。オブジェクトフロー推定モジュールは、監視対象領域のオブジェクトの移動方向を監視する。オブジェクトフロー推定モジュールは、常に移動するオブジェクトを他のオブジェクトと区別できる。オブジェクト数推定モジュールは、オブジェクト密度（たとえば混雑）を算出できる。オブジェクト密度分類モジュールは、密度をカスタマイズ可能なカテゴリに分類できる。【選択図】  なし
2009517740.tif 000002
【特許請求の範囲】
【請求項１】
コンピュータシステムによって実行されるときに、
ビデオカメラからビデオを受信するステップと、
前記ビデオにおける特徴を検出するステップと、
検出された前記特徴に基づいてオブジェクト数を推定するステップと、
前記オブジェクト数に基づいてオブジェクト密度を算出するステップと、
前記オブジェクト密度を分類するステップと、
を備える操作を前記コンピュータシステムに実行させるビデオ監視ソフトウェアを備えるコンピュータ可読媒体。
【請求項２】
前記特徴を検出する前記ステップは、
前記ビデオから特徴を抽出するステップと、
抽出された前記特徴から背景の特徴を除去するステップとを備える、
請求項１に記載のコンピュータ可読媒体。
【請求項３】
前記特徴を検出する前記ステップは、
背景の特徴のモデルを構築するステップと、
前記背景の特徴のモデルを前記抽出された特徴と比較して前景の特徴を決定するステップであって、前記前景の特徴は前記背景の特徴のモデルにはない前記検出された特徴に対応するステップと、をさらに備える、
請求項１に記載のコンピュータ可読媒体。
【請求項４】
コンピュータシステムによって実行されるときに、
前記前景の特徴を現在の解像度よりも低い解像度にサブサンプリングする操作を前記コンピュータシステムに実行させるビデオ監視ソフトウェアをさらに備える請求項３に記載のコンピュータ可読媒体。
【請求項５】
前記背景の特徴のモデルを構築する前記ステップは、
ウィンドウ内の各ピクセルの特徴強度を累算するステップと、
前記累算された特徴強度の最小及び最大特徴強度を決定するステップと、
累算された特徴強度が閾値よりも大きいピクセルを背景の特徴として分類するステップとを備える、
請求項３に記載のコンピュータ可読媒体。
【請求項６】
前記閾値は前記最大特徴強度と前記最小特徴強度との差を決定することにより算出され、前記閾値は前記差の倍数に前記最小特徴強度を加えたものである、
請求項５に記載のコンピュータ可読媒体。
【請求項７】
前記オブジェクト数を推定する前記ステップはさまざまな場所において前記オブジェクト数を重み付けするステップを備える、
請求項１に記載のコンピュータ可読媒体。
【請求項８】
前記オブジェクト密度を算出する前記ステップは、
前記ビデオの対象領域を定義するステップと、
前記オブジェクト数を前記対象領域で除算するステップと、
を備える請求項１に記載のコンピュータ可読媒体。
【請求項９】
前記オブジェクト密度を分類する前記ステップは、
前記オブジェクト密度をオブジェクト密度閾値と比較し、それに応じて前記オブジェクト密度を分類するステップを備える、
請求項１に記載のコンピュータ可読媒体。
【請求項１０】
前記オブジェクト密度閾値を適応的に決定する請求項９に記載のコンピュータ可読媒体。
【請求項１１】
前記オブジェクト密度を分類する前記ステップは、
最大及び最小オブジェクト密度を決定するステップと、
前記オブジェクト密度閾値に基づいて、前記最小オブジェクト密度と前記最大オブジェクト密度との間の範囲をクラスに分割するステップとを備える、
請求項１に記載のコンピュータ可読媒体。
【請求項１２】
前記オブジェクト密度を算出する前記ステップは、あらかじめ定められた時間にわたりゼロに近い密度を有する前記オブジェクト密度の算出結果を基に領域を訂正するステップをさらに備える、
請求項１に記載のコンピュータ可読媒体。
【請求項１３】
前記オブジェクト密度閾値を決定する前記ステップは、
最小及び最大オブジェクト密度を回復するステップと、
前記回復された最小及び最大オブジェクト密度に基づいて前記オブジェクト密度閾値を調整するステップとをさらに備える、
請求項１１に記載のコンピュータ可読媒体。
【請求項１４】
ビデオ監視を実行する装置であって、
少なくとも１つのビデオカメラと、
前記少なくとも１つのビデオカメラに接続されたビデオ監視システムと、
を備え、
前記ビデオ監視システムが、
オブジェクトフロー推定モジュールと、
オブジェクト数推定モジュールと、
オブジェクト密度分類モジュールと、
を備える、
ビデオ監視システムとを備える装置。
【請求項１５】
前記ビデオ監視システムに接続されたオブジェクト密度制御モジュールをさらに備える請求項１４に記載の装置。
【請求項１６】
前記ビデオ監視システムは、定義済みのルールデータベースをさらに備える、
請求項１４に記載の装置。
【請求項１７】
前記オブジェクト数推定モジュールは、
前記ビデオから特徴を抽出し、
抽出された前記特徴から背景の特徴を除去する、
請求項１４に記載の装置。
【請求項１８】
前記オブジェクト数推定モジュールは、
背景の特徴のモデルを構築し、
前記背景の特徴のモデルを前記抽出された特徴と比較して、前記検出された特徴と対応する前景の特徴を決定する、
請求項１４に記載の装置。
【請求項１９】
前記オブジェクト数推定モジュールは、
前記前景の特徴を現在の解像度よりも低い解像度にサブサンプリングするように構成される、
請求項１４に記載の装置。
【請求項２０】
前記オブジェクト数推定モジュールは、
ウィンドウ内の各ピクセルのピクセル強度を累算し、
前記累算された強度の最小及び最大強度を決定し、
前記最大強度と前記最小強度との差を決定し、
前記累算された強度が閾値よりも大きいかどうかを各ピクセルについて決定し、
累算された強度が前記閾値よりも大きいピクセルを背景の特徴として分類する、
請求項１８に記載の装置。
【請求項２１】
前記オブジェクト数推定モジュールは、前記ビデオからの連続するスナップショット間の差を決定する、
請求項１４に記載の装置。
【請求項２２】
前記オブジェクト数推定モジュールは、さまざまな場所において前記オブジェクト数を重み付けする、
請求項１４に記載の装置。
【請求項２３】
前記オブジェクト数推定モジュールは、
前記ビデオの対象領域を定義し、
前記オブジェクト数を前記対象領域で除算する、
請求項１４に記載の装置。
【請求項２４】
前記オブジェクト密度分類モジュールは、
前記オブジェクト密度をオブジェクト密度閾値と比較し、それに応じて前記オブジェクト密度を分類する、
請求項１４に記載の装置。
【請求項２５】
前記オブジェクト密度分類モジュールは、前記オブジェクト密度閾値を適応的に決定する、
請求項２４に記載の装置。
【請求項２６】
前記オブジェクト密度分類モジュールは、
最大及び最小オブジェクト密度を決定し、
前記オブジェクト密度閾値に基づいて、前記最小オブジェクト密度と前記最大オブジェクト密度との間の範囲をクラスに分割する、
請求項１４に記載の装置。
【請求項２７】
前記オブジェクト数推定モジュールは、あらかじめ定められた時間にわたりゼロに近い密度を有する前記オブジェクト密度の算出結果を基に領域を訂正する、
請求項１４に記載の装置。
【請求項２８】
前記オブジェクト密度分類モジュールは、最小及び最大オブジェクト密度を回復し、
前記回復された最小及び最大オブジェクト密度に基づいて前記オブジェクト密度閾値を調整する、
請求項１４に記載の装置。
【請求項２９】
ビデオ入力に基づいてオブジェクトフローを推定し、推定されたオブジェクトフローを取得するステップと、
前記ビデオ入力に基づいてオブジェクトの数を推定し、推定されたオブジェクト数を取得するステップと、
オブジェクト密度の分類を取得するために、前記推定されたオブジェクト数に基づいてオブジェクト密度の分類を実行するステップと、
を備えるビデオ監視方法。
【請求項３０】
前記オブジェクトフローを推定する前記ステップ及び前記オブジェクト数を推定する前記ステップのうちの少なくとも１つは、定義済みのルールのセットに基づいて実行される、
請求項２９に記載の方法。
【請求項３１】
前記推定されたオブジェクトフロー、前記オブジェクト密度分類、又は該オブジェクトフロー及び該オブジェクト密度分類の双方に基づいてオブジェクト密度制御を実行するステップをさらに備える請求項２９に記載の方法。
【請求項３２】
前記ビデオ入力のビデオシーンにおけるオブジェクトの概算密度を検出するステップと、
前記ビデオ入力のビデオシーンの一部におけるオブジェクトの概算密度を検出するステップと、
前記オブジェクト密度分類に基づいて少なくとも１つのルールを作成するステップと、から成るグループから選択された少なくとも１つの特徴を含む請求項２９に記載の方法。
【請求項３３】
アラームシステム、ゲート／アクセス制御システム、混雑制御システム、信号機システム、交通制御システム、輸送物流システム、ワークフロー制御システム、棚卸制御システム、及びデータ分析システムから成るグループから選択されたシステムへの入力として前記オブジェクト密度情報を使用するステップをさらに備える請求項２９に記載の方法。
【請求項３４】
前記監視は、鉄道プラットフォーム上の過密状態／過疎状態の検出、道路上の交通の流れの検出、交通輸送構造上又は交通輸送構造内の交通の流れの検出、及び群衆の移動パターンの検出から成るグループから選択された操作を備える、
請求項３３に記載の方法。
【発明の詳細な説明】
【発明の分野】
【０００１】
本発明は、ビデオ監視システムに関する。具体的には、本発明は、任意のカメラビューからのビデオストリームにおけるオブジェクト密度を検出して追跡することが可能なビデオ監視及び検証システムに関する。
【発明の背景】
【０００２】
[0002]ビデオ監視は、生活の多くの領域において重大な関心事である。監視ツールとしてのビデオに関する１つの問題は、それが手動での集中監視である場合が多いということである。近年、インテリジェントビデオ監視システムの形態で自動ビデオ監視の問題に対する解決策が提示されてきた。たとえば、いずれも本明細書に引用して援用する、「Ｖｉｄｅｏ  Ｔｒｉｐｗｉｒｅ」と題する米国特許第６，６９６，９４５号明細書、及び「Ｓｕｒｖｅｉｌｌａｎｃｅ  Ｓｙｓｔｅｍ  Ｅｍｐｌｏｙｉｎｇ  Ｖｉｄｅｏ  Ｐｒｉｍｉｔｉｖｅｓ」と題する米国特許出願第０９／９８７，７０７号明細書を参照されたい。ビデオ監視の１つの用途は、オブジェクト（たとえば、人間、車両など）の密度の検出及び追跡である。オブジェクト密度とは、シーンの領域内のオブジェクトの見かけの密度を指す。たとえば、鉄道のプラットフォーム上に人がまばらに存在する場合には低い密度を構成する場合があり、同じプラットフォーム上に人が非常に密集した場合には高い密度を構成する場合がある。残念なことに、自動ビデオ監視を支えるコンピュータビジョンの科学では、地下鉄の駅、道路の交差点及びその他のオブジェクト密度監視アプリケーションなどにおけるオブジェクト密度の認識に関して限界がある。
【０００３】
[0003]オブジェクト密度が高いシーンにおいて、現在のビデオ監視システムには、２つの根本的な制限がある。１つは、多くのインテリジェントビデオ監視アプリケーションに使用される標準背景減算法が、ほとんどの時間において背景が遮蔽されているため、信頼して使用することができないことである。もう１つの根本的な制限は、厳密な遮蔽及び非常に雑然とした環境により個々のオブジェクトの追跡に失敗するので、個々のオブジェクトを数えてオブジェクト密度を適正に推定することができないということである。
【発明の概要】
【０００４】
[0005]本発明の１つの実施形態は、コンピュータシステムによって実行されるときに、特徴背景モデルを使用してオブジェクト密度を検出して追跡する方法を備える操作をコンピュータシステムに実行させるソフトウェアを備えるコンピュータ可読媒体を含む。
【０００５】
[0006]本発明のもう１つの実施形態は、コンピュータシステムによって実行されるとき、ビデオカメラからビデオを受信し、ビデオにおける特徴を検出し、検出された特徴に基づいてオブジェクト数を推定し、そのオブジェクト数に基づいてオブジェクト密度を算出し、オブジェクト密度を分類する方法を備える操作をコンピュータシステムに実行させるビデオ監視のためのソフトウェアを備えるコンピュータ可読媒体を提供する。
【０００６】
[0007]本発明の１つの実施形態は、特徴背景モデルを使用せずにオブジェクト密度を検出して追跡する方法を含む。
【０００７】
[0008]本発明のもう１つの実施形態は、ビデオ入力に基づいてオブジェクトの流れを推定して推定されたオブジェクトフローを取得するステップと、ビデオ入力に基づいてオブジェクト数を推定して推定されたオブジェクト数を取得するステップと、推定されたオブジェクト数に基づいてオブジェクト密度の分類を実行してオブジェクト密度の分類を取得するステップとを備えるビデオ監視方法を提供する。
【０００８】
[0009]本発明の１つの実施形態は、特徴背景モデルを構築する方法を含む。
【０００９】
[0010]本発明の１つの実施形態は、オブジェクト密度（たとえば混雑）制御を実行するシステムを含む。
【００１０】
[0011]本発明のもう１つの実施形態は、少なくとも１つのビデオカメラと、少なくとも１つのビデオカメラに接続されたビデオ監視システムとを備えるビデオ監視を実行する装置を提供する。ビデオ監視システムは、オブジェクトフロー推定モジュールと、オブジェクト数推定モジュールと、オブジェクト密度分類モジュールとを含む。
【００１１】
[0013]本発明の上述の特徴、他の特徴、及び利点を、添付の図面に示されるように、本発明の実施形態をより詳細に説明することで明らかにする。
【定義】
【００１２】
[0024]本発明の説明では、（上記を含む）全体を通じて以下の定義が適用可能である。
【００１３】
[0025]「コンピュータ」とは、構造化された入力を受け付け、所定のルールに従って構造化された入力を処理し、処理結果を出力として生成することができる一以上の装置及び／又は一以上のシステムを意味しうる。コンピュータとして、コンピュータ、据置型及び／又は携帯型コンピュータ、シングルプロセッサ又はマルチプロセッサを有し並列及び／又は非並列で動作可能なコンピュータ、汎用コンピュータ、スーパーコンピュータ、メインフレーム、スーパーミニコンピュータ、ミニコンピュータ、ワークステーション、マイクロコンピュータ、サーバ、クライアント、双方向テレビジョン、Ｗｅｂ用機器、インターネット接続機能を備える通信装置、コンピュータと双方向テレビジョンとのハイブリッドな組合せ、ポータブルコンピュータ、携帯情報端末（ＰＤＡ）、携帯電話機、デジタルシグナルプロセッサ（ＤＳＰ）やフィールドプログラマブルゲートアレイ（ＦＰＧＡ）などのコンピュータ及び／又はソフトウェアをエミュレートする特定用途向けハードウェア、ネットワーク接続された複数のコンピュータシステムを介して情報を処理する分散コンピュータシステム、コンピュータシステム間で情報を送受信するためにネットワークを介して接続された二以上のコンピュータシステム、及びデータを受け付け、一以上の内蔵ソフトウェアプログラムに従ってデータを処理し、結果を生成することが可能であり、入力装置、出力装置、記憶装置、算術装置、論理装置、及び制御装置を通常含む一以上の装置及び／又は一以上のシステムを挙げることができる。
【００１４】
[0026]「ソフトウェア」とは、コンピュータを操作するための所定のルールを意味しうる。例えば、ソフトウェアとして、ソフトウェア、コードセグメント、命令、コンピュータプログラム、及びプログラム論理を挙げることができる。
【００１５】
[0027]「コンピュータシステム」とは、コンピュータを有するシステムを意味し、コンピュータは、コンピュータを操作するためのソフトウェアを具現化したコンピュータ可読媒体を含むことができる。
【００１６】
[0028]「ネットワーク」とは、通信設備によって接続されうる複数のコンピュータ及び関連装置を意味しうる。ネットワークは、ケーブルのような永久的な接続、あるいは電話又はその他の通信リンクを介して形成される一時的な接続を含む。ネットワークの例として、インターネットのようなインターネット、イントラネット、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、及びインターネットとイントラネットのようなネットワークの組合せを挙げることができる。
【００１７】
[0029]「ビデオ」とは、アナログ及び／又はデジタル形式で表される動画を意味しうる。ビデオの例として、テレビジョン、映画、カメラ又はその他の観測機器からの連続画像、及びコンピュータにより生成された連続画像を挙げることができる。ビデオは、たとえば、ライブ供給、記憶装置、ＩＥＥＥ１３９４ベースのインターフェイス、ビデオデジタイザ、コンピュータグラフィックスエンジン、又はネットワーク接続から取得可能である。
【００１８】
[0030]「ビデオカメラ」とは、視覚的記録のための装置を意味しうる。ビデオカメラの例として、ビデオカメラ、デジタルビデオカメラ、カラーカメラ、モノクロカメラ、カメラ、カムコーダ、ＰＣカメラ、ウェブカメラ、赤外線（ＩＲ）ビデオカメラ、低照度ビデオカメラ、熱感知ビデオカメラ、閉回路テレビジョン（ＣＣＴＶ）カメラ、パンチルトズーム一体型（ＰＴＺ）カメラ、ビデオ検出装置のうちの一又は複数を挙げることができる。ビデオカメラは、対象領域の監視を実行するように配置される。
【００１９】
[0031]「ビデオ処理」とは、たとえば圧縮及び編集を含むビデオの任意の操作を意味しうる。
【００２０】
[0032]「フレーム」とは、ビデオ内の特定のイメージ又はその他の個々の単位を意味しうる。
【実施形態の詳細な説明】
【００２１】
[0034]図面に示される本発明の典型的な実施形態を説明するにあたって、明確を期すために特定の専門用語を用いる。しかし、本発明は、そのように選択された特定の専門用語により限定されるものではない。それぞれの具体的な要素が、同様の目的を達成するために同様の方法で動作するすべての技術的等価物を含むことを理解されたい。本明細書で引用される参照文献は、それぞれ参照により組み入れられる。
【００２２】
[0035]本発明は、カメラビューからのビデオストリームにおけるオブジェクト密度を検出して追跡するビデオ監視システムに関する。オブジェクトの種類は、人間、車両、又はその他のものであってもよい。
【００２３】
[0036]本発明は、さまざまな用途において使用されうる。公共交通機関の環境において、本発明は、待合場所の群衆の密度を検出して追跡し、混雑の制御及び／又は列車／車両の配車を支援するために使用されうる。交通監視の環境において、本発明は、交差点、トンネル、橋などにおける車両の流れを監視して、信号機を制御し交通量を最適化するために使用されうる。公共場所の環境において、本発明は、群衆の集合状況を監視して、人々の流れの制御を支援するために使用されうる。物理的なセキュリティの環境において、本発明は、アクセスポイントを監視して、ゲート制御を最適化するために使用されうる。ホットスポットの状況では、一般的な対象領域が設定されうる。領域内のどこかに群衆が集まった場合、アラートが生成されてホットスポットを示すことができる。これは、たとえユーザが人の群がりを視界で捉えることができなくても、システムは現地の混雑のホットスポットを検出することができることを意味する。生物学的な環境において、本発明は、動物（昆虫など）及び微生物の集団を監視するために使用されうる。医学的な環境において、本発明は、細胞増殖を監視するために使用されうる。製造の環境において、本発明は、作業の流れを監視して最適化するために使用されうる。小売業の環境において、本発明は、顧客／在庫の流れを監視して最適化するために使用されうる。本発明はまた、チェックアウト領域を監視して、レジ係の派遣を最適化するためにも使用されうる。ファストフードの環境において、本発明は、ドライブスルーレーンを監視して食べ物の準備を最適化するために使用されうる。駐車サービスの環境において、本発明は、駐車場の利用量を監視して最適化するために使用されうる。建物管理の環境において、本発明は、エレベータとその待機区域を監視してエレベータの運用を最適化するために使用されうる。エンターテイメントの環境において、本発明は、たとえばアミューズメントパークにおける来場者／観光客の流れを監視して施設／資源の使用率を最適化するために使用されうる。
【００２４】
[0037]広告の環境において、本発明は、公共区域の群衆の密度を評価して、最も効果的な場所に広告を配置するようにするために使用されうる。都市管理の環境において、本発明は、人／車両の流れを監視し、道路／幹線道路／芝地の利用状況を予測して保守コストを予算計上するために使用されうる。敵対的な区域において、本発明は、状況が悪化する前にアラートが生成されるように、要注意の区域での人々の集合状況を緊密に監視するために使用されうる。本発明は、オブジェクト密度情報を必要とする事実上ほとんどの場面において使用されうる。
【００２５】
[0038]典型的な実施形態において、本発明は、地下鉄駅のプラットフォーム上のオブジェクト密度（たとえば、混雑）を検出して追跡し、混雑の制御及び／又は列車の操車を支援するために使用されうる。たとえば、地下鉄駅のプラットフォームが列車を待つ人々で一杯になっている場合、列車の操車の最適化を助けるため、又は駅の入口を閉鎖して超過密を防ぐために、アラートが管制室に送信されてもよい。別の例として、プラットフォーム上の人がまばらな場合、カバンを置いてゆくなどの不審な行動があるかどうかの検出を開始するよう別のビデオ監視システムにアラートが送信されてもよい。
【００２６】
[0039]図１は、本発明の典型的な実施形態によるビデオ監視システムを示す図である。本発明のビデオ監視システム１０１は、オブジェクト密度（たとえば混雑）制御システム１０２と対話することができる。ビデオ監視システム１０１は、ビデオカメラ１０３と、オブジェクトフロー推定モジュール１０４と、オブジェクト数推定モジュール１０５と、オブジェクト密度分類モジュール１０６と、ルールデータベース１０７とを含んでよい。
【００２７】
[0040]ビデオカメラ１０３は、たとえば、図２に示されるように監視対象領域に沿って見渡すことができるなど、任意の実行可能な位置から監視対象領域を監視することができる。オブジェクトフロー推定モジュール１０４は、監視対象領域のオブジェクトの移動方向を監視することができる。オブジェクトフロー推定モジュールは、常に移動するオブジェクトを他のオブジェクトと区別できる。典型的な地下鉄監視アプリケーションにおいて、オブジェクトを区別できることにより、システムは乗車及び／又は降車する人々を無視することができるので、突然かつ短期間の急上昇によりオブジェクト密度の推定に誤りが発生するのが防止される。オブジェクト数推定モジュール１０５は、オブジェクト密度（たとえば群衆）を算出することができる。オブジェクト密度分類モジュール１０６は、密度をカスタマイズ可能なカテゴリに分類することができる。典型的な実施形態において、分類密度カテゴリは、低、中、又は高にすることができる。算出されたオブジェクト密度が、ルールデータベース１０７に格納されているルールによって規定されている密度と一致する場合、システム１０１はオブジェクト密度（たとえば混雑）制御システム１０２（あるいはその他のデータ監視又はアーカイブシステム）にアラートを供給して、何らかのアクションが必要かどうかを示すことができる。
【００２８】
[0041]ビデオカメラ１０３は、ビデオカメラ１０３からのビデオの分析を実行してシーン内のオブジェクトの位置、移動方向、及び密度を決定できるコンピュータベースのシステム（ＰＣ、ラップトップ、ＰＤＡ、ＤＳＰ、ＡＳＩＣ、ＦＰＧＡ、マイクロコントローラ、又は独立型の装置やカメラ、ＤＶＲ、ＮＶＲ、ネットワークスイッチャ、ネットワークルータ、又はその他のハードウェア装置に組み込まれる他のフォームファクタのプロセッサ）１０８に接続されうる。コンピュータベースのシステム１０８は、オブジェクトフロー推定モジュール１０４と、オブジェクト数推定モジュール１０５と、オブジェクト密度分類モジュール１０６と、定義済みのルールデータベース１０７とを含みうる。コンピュータベースのシステム１０８は、ソフトウェアを採用し、ネットワークに接続された１つ又は複数のコンピュータに実装されてもよい。あるいは、コンピュータベースのシステム１０８は、全体又は一部がビデオカメラ１０３に組み込まれてもよい。オブジェクトフロー推定モジュール１０４、オブジェクト数推定モジュール１０５、及びオブジェクト密度分類モジュール１０６は、ソフトウェアがコンピュータシステムによって実行されたときに、コンピュータシステムにモジュール１０４、１０５、及び１０６の操作を実行させるように、モジュール１０４、１０５、及び１０６の操作を実行するソフトウェアを備えるコンピュータ可読媒体として実装されてもよい。あるいは、オブジェクトフロー推定モジュール１０４、オブジェクト数モジュール１０５と、オブジェクト密度分類モジュール１０６と、定義済みのルールデータベース１０７は、コンピュータ及び／又はソフトウェアをエミュレートするための特定用途向けハードウェアで実装されてもよい。
【００２９】
[0042]図２は、本発明の典型的な実施形態によるビデオ監視システムでのビデオストリームからの典型的なフレームを示す。典型的なカメラビューは、頭上に配置されたビデオカメラからのものであってもよい。典型的なフレームにおいて、カメラは、地下鉄駅のプラットフォームの方を向いている。
【００３０】
[0043]図３は、本発明の典型的な実施形態における図１のオブジェクト数推定モジュール１０５によって実行される処理の流れ図を示す。第１のステップは、エッジ、コーナー、楕円、円（たとえば頭の形状）、又はビデオシーンから抽出されるその他のはっきりした特徴などの、特徴を抽出するステップ３０１を含む。特徴は、遮蔽又は視界不良（たとえば、車のヘッドライトが照らす夜間など）の場合のオブジェクト検出よりもはるかに優れた堅固なパフォーマンスをもたらす。カニーエッジ検出法（Ｃａｎｎｙ  ｅｄｇｅ  ｄｅｔｅｃｔｏｒ）、ハリスコーナー検出法（Ｈａｒｒｉｓ  ｃｏｒｎｅｒ  ｄｅｔｅｃｔｏｒ）、及びハフ変換（Ｈｏｕｇｈ  ｔｒａｎｓｆｏｒｍａｔｉｏｎ）などの様々な特徴抽出方法が当技術分野においてよく知られている。ビデオフレーム全体からの特徴の抽出は、たとえば、ステップ、ポール、レールなどによって生成された特徴のような、静的な背景の特徴も含む。オブジェクト数の推定中にこれらの特徴を含めることで、誤った結果をもたらす場合もある。したがって、背景に相当する特徴を検出して、それらの背景から背景の特徴のモデル（図５に詳細に説明される）を構築するステップ３０２は、そのような計数の問題を多少なりとも解決することに貢献する。背景特徴モデルを構築した後、前景の特徴は、検出された特徴３０１から背景の特徴３０２を除去することによって算出される（ステップ３０３）。このステップは、移動しているか静止しているかにかかわらず、結果としてすべての前景のオブジェクトの特徴をもたらす。すべての前景オブジェクトが常時移動している場合には、ブロック３０２は無視され、前景の特徴３０３は、単に、連続するスナップショットにおける特徴の相異を捉えることにより算出される。次いで、前景の特徴は、オブジェクト数を推定するために使用されうる（ステップ３０４）。オブジェクト数の推定は、オブジェクト数データがアーカイブされて（捜査ストレージ）、アクティビティ推論が実際の密度を決定する任意の対象領域を定義することができるように、ビデオフレーム全体に実行されうる。ブロック３０３及び３０４の典型的な実施形態については、以下で図６を用いて説明する。
【００３１】
[0044]図４は、本発明の典型的な実施形態による図１のブロックのオブジェクト密度分類モジュール１０６によって実行される処理の流れ図を示す。ブロック４０１において、対象領域が定義され、オブジェクト密度が、領域に対して推定されたオブジェクト数を除算することによって算出される。ブロック４０２において、最大及び最小密度が継続的に更新される。現実の世界においては、最大／最小密度を極値まで押し上げるか又は押し下げる状況になる場合もある。たとえば、カメラが誤って覆われた場合には最小密度はゼロまで低下し、カメラが高いテクスチャのシーンに誤って向けられた場合には最大密度は非常に高い値まで増大する。オブジェクト密度を更新する目的は、そのような状況に対処するためである。以下で説明する図７は、ブロック４０２の処理の典型的な実施形態を示す。ブロック４０３において、閾値は動的に決定してよい。閾値の数及びそれらの値は、アプリケーションと必要な分類カテゴリの数に基づく。３つの分類カテゴリ（低、中、高）を用いた典型的な実施形態では、２つの閾値が、３つのカテゴリを分類するために算出される。閾値を決定する典型的な実施形態については、以下で図８を用いて説明する。
【００３２】
[0045]一部の領域では全く人通りがない場合もある。オブジェクト数の推定中にそのような領域を含めることで、密度の算出の精度に影響を及ぼす場合もある。したがって、ブロック４０４を通じて、オブジェクト密度の算出は、密度が一定してゼロに近い領域を除外することによって訂正されうる。最後に、ブロック４０５において、算出された密度を適応密度閾値と比較することにより、密度分類ラベル（たとえば、低、中、高）が決定されうる。システムはまた、さまざまな日付と時刻の標準的な密度を学習して、たとえば、他の時刻よりも高いラッシュアワー時の混雑閾値を有する場合などの特定の日時における異常な密度に対して警告する。
【００３３】
[0046]図５は、図３におけるブロック３０２の背景特徴モデルを構築する処理の典型的な実施形態の流れ図を示す。このステップの目標は、静的な背景によりどの特徴が生成され前景のオブジェクトによりどの特徴が生成されるかを決定することである。ブロック５０１において、選択された特徴の強度は、ウィンドウ（たとえば、時間ウィンドウ）内のピクセルごとに累算される。たとえば、シーン特徴を表すためにエッジが選択される場合、ピクセルのエッジ強度は、ピクセルがエッジ上に来るごとに１ずつ増加される。時間ウィンドウ内で、ピクセルがｎ回エッジ上に来る場合、ピクセルのエッジ強度はｎである。ブロック５０２において、累算された特徴強度のダイナミックレンジは、フレームにわたる累算特徴強度の最大値と最小値の間の差として算出される。ブロック５０３及び５０４において、累算された特徴強度がダイナミックレンジの特定の割合よりも大きいピクセルは、背景の特徴としてラベル付けされる。たとえば、フレームにおいて最小特徴強度をｆｍｉｎ、最大特徴強度をｆｍａｘとする。閾値をｔとし、０≦ｔ≦１とする。ピクセルの特徴強度が（ｆｍａｘ−ｆｍｉｎ）×ｔ＋ｆｍｉｎよりも大きい場合、ピクセルは背景エッジピクセルに分類される。
【００３４】
[0047]図６は、本発明の典型的な実施形態による図３のブロック３０３及び３０４における前景の特徴を算出してオブジェクト数を推定する処理の流れ図を示す。ブロック６０１において、ビデオフレームから算出された特徴は、背景の特徴と比較される。ブロック６０２において、背景の特徴に含まれない特徴は、前景の特徴としてラベル付けされる。この処理を迅速化するため、前景の特徴は任意で必要に応じてブロック６０３においてさらに低い解像度にサブサンプリングされ、捜査ストレージの利得の向上をもたらす。特徴の量は、オブジェクト数の推定と相関関係にある。同様のテクスチャを持つオブジェクトの場合、オブジェクト数は特徴の量に比例することがある。次いで、特徴の量は、ブロック６０４においてさまざまな場所で重み付けされうる。重み付けは、カメラ視野、レンズ歪みなどの任意の歪みを補正するために使用されうる。たとえば、カメラビューにおいて、オブジェクトは、遠方ではより小さく見える。同じオブジェクトの場合、特徴の量は、オブジェクトがカメラから遠くなれば少なくなる傾向がある。これを補正するために、画像フレーム内のピクセルは、オブジェクトとカメラとの間の距離には関係なく、オブジェクトが同量又は近い量の調整済み特徴を有するような方法で重み付けされてもよい。そのような補正は、可能であればカメラ較正データ又は経験値のいずれかを使用して達成されうる。重み付けは、一部の領域を他の領域よりも強調するためにも使用されてもよい。
【００３５】
[0048]図７は、本発明の典型的な実施形態による図４のブロック４０２における最小及び最大オブジェクト密度（Ｄｍｉｎ、Ｄｍａｘ）を記録して回復する処理の流れ図を示す。特定の極端なシーンは、算出された最小及び最大密度を極端に低いか又は極端に高くすることによって間違いを引き起こす場合がある。これらの極値は極端なシーンを正確に処理することができるが、時間の経過に伴って密度がそれらの正常値に戻ることが重要である。ブロック７０１において、最小及び最大密度値は、たとえばあらかじめ定められた値に向かって、ゆっくりと回復する。回復密度はそれぞれ、最小密度に加算され、最大密度から減算されうる。より小さい回復密度は、アルゴリズムをシーンにより適合させ、より大きい回復密度は、アルゴリズムをノイズに対してより堅牢にする。変更済みの最大及び最小密度は、選択された値を超えて増大又は減少されてはならない。選択された値は、大量の標準的なビデオを処理し、最大／最小密度値をそれぞれ記録することによって経験的に決定される。選択されている値はまた、特徴が明確であり、理論的な最大／最小密度値が存在して導き出せる場合に理論的に決定されうる。このことは、これらの２つの値が、誤りが発生した後にそれらの正常範囲に回復する機構を提供する。ブロック７０２から７０５において、最小及び最大密度（Ｄｍｉｎ、Ｄｍａｘ）は、シーンに従って動的に調整され、密度を極値に近づける可能性がある。ブロック７０２及び７０３に従って、現在の密度が最小密度Ｄｍｉｎよりも小さいかどうかが決定される。小さい場合、現在の密度は新しい最小密度Ｄｍｉｎになる。ブロック７０４及び７０５に従って、現在の密度が最大密度Ｄｍａｘよりも大きいかどうかが決定される。大きい場合、現在の密度は新しい最大密度Ｄｍａｘになる。
【００３６】
[0049]オブジェクト密度は、適応閾値に基づいてカテゴリに分類されうる（ブロック４０５）。適応閾値は、システムがシーンの特質を学習しそれに応じて分類することに役立つ。典型的な地下鉄駅の監視アプリケーションにおいて、すべての駅に同量の人通りがあるわけではないので、ある駅で中位の密度に過ぎないと見なされる人通りが、別の駅では高い密度となる可能性もある。適応閾値により、システムはこうした特質を自動的に学習することができる。図８は、図４のブロック４０３のオブジェクト密度の閾値調整及び分類処理の典型的な実施形態を示す。（図７において）オブジェクト密度のダイナミックレンジが算出されると、ダイナミックレンジはさまざまなクラスにさまざまな値をラベル付けするために使用されうる。この実施形態の例のように、オブジェクト密度は、低、中、及び高の３つのクラスに分類される。低のクラスは下部の４０％のオブジェクト密度を含み、高のクラスは上部の２０％のオブジェクト密度を含み、中のクラスは中間の４０％のオブジェクト密度を含む。次いで、現在のオブジェクト密度は、図８に示される低閾値及び高閾値と比較され、それに応じてラベルが割り当てられる。Ｄｍｉｎ及びＤｍａｘ閾値は、極値を表し、常に低閾値及び高閾値を示す。
【００３７】
[0050]オブジェクト密度は、さまざまなアプリケーションに適合するようにあらゆる方法で使用されうる。アラートは、対象となる密度に到達したときに作動されうるか、又は真となったときに停止する。特定の密度が所定の期間にわたって維持される場合に限りアラートが生成されるように期間が定義され、それにより降車する人々や、長時間の赤信号で停止し渋滞を引き起こす車両などの急激な密度の上昇による影響を排除できる。
【００３８】
[0051]本発明のいくつかの実施形態は、前述のように、機械可読媒体上のソフトウェア命令の形態で具現されうる。そのような実施形態を図９に示す。図９のコンピュータシステムは、オペレーティングシステムソフトウェアなどを格納できる関連システムメモリ９１と共に、少なくとも１つのプロセッサ９２を含む。システムはさらに、たとえばさまざまなアプリケーションを実行できるソフトウェア命令を含む追加のメモリ９３を含むことができる。システムはまた、たとえば、キーボード、マウス、トラックボール、プリンタ、ディスプレイ、ネットワーク接続部などの一以上の入出力（Ｉ／Ｏ）装置９４を含むことができる（ただし、これらに限定されることはない）。本発明は、システムメモリ９１又は追加のメモリ９３に格納できるソフトウェア命令として具現化されてもよい。そのようなソフトウェア命令はまた、Ｉ／Ｏ装置９４（たとえばフロッピーディスクドライブなど、ただしこれに限定されない）を通じて読み取ることができる取り外し可能又はリモートの媒体（たとえばコンパクトディスク、フロッピーディスクなど、ただしこれらに限定されない）に格納されてもよい。さらに、ソフトウェア命令はまた、たとえばネットワーク接続部などのＩ／Ｏ装置９４を介してコンピュータシステムに送信されてもよい。そのような場合、ソフトウェア命令を含む信号は、機械可読媒体と見なすことができる。
【図面の簡単な説明】
【００３９】
【図１】本発明の典型的な実施形態におけるビデオ監視システムを示す図である。
【図２】本発明の典型的な実施形態におけるビデオ監視システムでのビデオストリームからの典型的なフレームを示す図である。
【図３】本発明の典型的な実施形態におけるオブジェクト数の推定を示す流れ図である。
【図４】本発明の典型的な実施形態におけるオブジェクト密度の分類を示す流れ図である。
【図５】本発明の典型的な実施形態における背景特徴モデルの構築を示す流れ図である。
【図６】本発明の典型的な実施形態における前景の特徴の算出及びオブジェクト数の推定を示す流れ図である。
【図７】本発明の典型的な実施形態における最小及び最大オブジェクト密度の記録及び回復を示す流れ図である。
【図８】本発明の典型的な実施形態におけるオブジェクト密度閾値の調整及び分類を示す図である。
【図９】本発明のいくつかの実施形態を実施する際に使用されうる典型的なシステムを示すブロック図である。
【図１】
2009517740.tif 000003
【図２】
2009517740.tif 000004
【図３】
2009517740.tif 000005
【図４】
2009517740.tif 000006
【図５】
2009517740.tif 000007
【図６】
2009517740.tif 000008
【図７】
2009517740.tif 000009
【図８】
2009517740.tif 000010
【図９】
2009517740.tif 000011
【国際調査報告】
2009517740.tif 000012