(57)【要約】監視テレビ装置がセットアップされ（２１），校正され（２２），仕事を課され（２３）及び操作される（２４）。該装置はビデオプリミティブ（４２）を抽出し，イベント弁別器を使用してビデオプリミティブからイベント発生（４４）を抽出する。装置は抽出したイベント発生に基づき警報などの応答（４５）を引き受けることができる。
2005510159.tif 000002
【特許請求の範囲】
【請求項１】
ビデオプリミティブに基づいて監視テレビ装置を操作するためのコードセグメントを備える，監視テレビ装置用のソフトウェアを備えるコンピュータ読み取り可能媒体。
【請求項２】
監視テレビ装置を操作するためのコードセグメントが，
ビデオプリミティブを抽出するためのコードセグメントと，
ビデオプリミティブからイベント発生を抽出するためのコードセグメントと，
を備える，請求項１に記載のコンピュータ読み取り可能媒体。
【請求項３】
イベント発生がイベント識別子を使用して抽出される，請求項２に記載のコンピュータ読み取り可能媒体。
【請求項４】
抽出されたビデオプリミティブをアーカイブに入れるためのコードセグメントをさらに備える，請求項２に記載のコンピュータ読み取り可能媒体。
【請求項５】
抽出されたイベント発生に基づいて応答を引き受けるためのコードセグメントをさらに備える，請求項２に記載のコンピュータ読み取り可能媒体。
【請求項６】
応答が別のセンサシステムを起動する，請求項５に記載のコンピュータ読み取り可能媒体。
【請求項７】
監視テレビ装置を校正するためのコードセグメントをさらに備える，請求項１に記載のコンピュータ読み取り可能媒体。
【請求項８】
校正のためのコードセグメントが，監視テレビ装置を自己校正するためのコードセグメントを備える，請求項７に記載のコンピュータ読み取り可能媒体。
【請求項９】
自己校正するためのコードセグメントが，
ソースビデオ内で少なくとも１つのオブジェクトを検出するためのコードセグメントと，
オブジェクトを追跡調査するためのコードセグメントと，
を備える，請求項８に記載のコンピュータ読み取り可能媒体。
【請求項１０】
少なくとも１つのオブジェクトを検出するためのコードセグメントが，
オブジェクトの移動を介して少なくとも１つのオブジェクトを検出するためのコードセグメントと，
バックグラウンドモデルの変更を介して少なくとも１つのオブジェクトを検出するためのコードセグメントと，
を備える，請求項９に記載のコンピュータ読み取り可能媒体。
【請求項１１】
自己校正するためのコードセグメントが，
追跡調査可能領域を識別するためのコードセグメントと，
典型的なオブジェクトの典型的なサイズを識別するためのコードセグメントと，
を備える，請求項７に記載のコンピュータ読み取り可能媒体。
【請求項１２】
校正するためのコードセグメントが，
手動校正のためのコードセグメントと，
半自動校正のためのコードセグメントと，
自動校正のためのコードセグメントと，
を備える，請求項７に記載のコンピュータ読み取り可能媒体。
【請求項１３】
監視テレビ装置にイベント識別子でタスキングのためのコードセグメントをさらに備える，請求項１に記載のコンピュータ読み取り可能媒体。
【請求項１４】
タスキングのためのコードセグメントが少なくとも１つのオブジェクトを識別するためのコードセグメントを備える，請求項１３に記載のコンピュータ読み取り可能媒体。
【請求項１５】
タスキングのためのコードセグメントが少なくとも１つの空間領域を識別するためのコードセグメントを備える，請求項１３に記載のコンピュータ読み取り可能媒体。
【請求項１６】
タスキングのためのコードセグメントが少なくとも１つの時間属性を識別するためのコードセグメントを備える，請求項１３に記載のコンピュータ読み取り可能媒体。
【請求項１７】
タスキングのためのコードセグメントが少なくとも１つの対話を識別する，請求項１３に記載のコンピュータ読み取り可能媒体。
【請求項１８】
タスキングのためのコードセグメントが少なくとも１つの警報を識別する，請求項１３に記載のコンピュータ読み取り可能媒体。
【請求項１９】
ビデオプリミティブがビデオセンサ及び別のセンサの少なくとも１つからである，請求項１に記載のコンピュータ読み取り可能媒体。
【請求項２０】
ビデオプリミティブが，
ビデオプリミティブのアーカイブから検索される，請求項１に記載のコンピュータ読み取り可能媒体。
【請求項２１】
請求項１のコンピュータ読み取り可能媒体を備えるコンピュータシステム。
【請求項２２】
アーカイブに入れられたビデオプリミティブにアクセスするためのコードセグメントと，
アクセスされたアーカイブに入れられたビデオプリミティブからイベント発生を抽出するためのコードセグメントと，
を備える，監視テレビ装置用ソフトウェアを備えるコンピュータ読み取り可能媒体。
【請求項２３】
イベント発生がイベント識別子を使用して抽出される，請求項２２に記載のコンピュータ読み取り可能媒体。
【請求項２４】
抽出されたイベント発生に基づいて応答を引き受けるためのコードセグメントをさらに備える，請求項２２に記載のコンピュータ読み取り可能媒体。
【請求項２５】
ビデオプリミティブに基づいて監視テレビ装置を操作するステップを備える，方法。
【請求項２６】
アーカイブに入れられたビデオプリミティブにアクセスするステップと，
アクセスされたビデオプリミティブからイベント発生を抽出するステップと，
を備える，方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はビデオプリミティブを利用する自動監視テレビ装置に関する。
【背景技術】
【０００２】
共用空間の監視ビデオはきわめて広く行き渡り，一般大衆によって受け入れられるようになってきた。残念なことに，従来の監視テレビ装置は並外れた量のデータを生成するため，扱いにくい問題のために監視ビデオデータの分析を行う結果となっている。
【０００３】
監視ビデオデータの分析を実施できるように，監視ビデオデータの量を削減する必要がある。
【０００４】
監視ビデオデータの所望される部分を識別するために監視ビデオデータをフィルタリングする必要がある。
【０００５】
読者の利便性のために，本明細書に参照される非特許文献を以下に一覧表示する。本明細書中，括弧内の数字はそれぞれの参考文献を指している。一覧表示される非特許文献は本明細書に参考として組み込まれる。
【０００６】
非特許文献１〜４は移動するターゲットの検出を説明する。非特許文献５〜１３は，人間を検出し，追跡調査することを説明している。非特許文献１２および１３は，ブロブエコーの分析を説明している。非特許文献１４および１５は，トラック，車及び人間のためのブロブエコー分析を説明している。非特許文献１６は，単一の人間のブロブエコー及びその輪郭の分析を説明している。非特許文献１７および１８は，任意の運動をベースにした細分化を含むブロブエコーの内部運動を説明している。
【０００７】
【非特許文献１】Ｌｉｐｔｏｎ，Ｈ．Ｆｕｊｉｙｏｓｈｉ及びＲ．Ｓ．Ｐａｔｉｌ，「リアルタイムビデオからの移動ターゲット検出及び分類（Ｍｏｖｉｎｇ  Ｔａｒｇｅｔ  Ｄｅｔｅｃｔｉｏｎ  ａｎｄ  Ｃｌａｓｓｉｆｉｃａｔｉｏｎ  ｆｒｏｍ  Ｒｅａｌ−Ｔｉｍｅ  Ｖｉｄｅｏ）」，ＩＥＥＥ  ＷＡＣＶ’９８の議事録（Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ＩＥＥＥ  ＷＡＣＶ’９８），ニュージャージー，プリンストン，（８〜１４ページ），１９９８年
【非特許文献２】Ｗ．Ｅ．Ｌ．Ｇｒｉｍｓｏｎら，「サイトでの活動を分類し，監視するために適応追跡調査を使用すること（Ｕｓｉｎｇ  Ａｄａｐｔｉｖｅ  Ｔｒａｃｋｉｎｇ  ｔｏ  Ｃｌａｓｓｉｆｙ  ａｎｄ  Ｍｏｎｉｔｏｒ  Ａｃｔｉｖｉｔｉｅｓ  ｉｎ  ａ  ｓｉｔｅ）」，ＣＶＰＲ，（２２〜２９ページ），１９９８年６月
【非特許文献３】Ａ．Ｊ．Ｌｉｐｔｏｎ，Ｈ．Ｆｕｊｉｙｓｈｉ，Ｒ．Ｓ．Ｐａｔｉｌ，「リアルタイムビデオからの移動ターゲット検出及び分類（Ｍｏｖｉｎｇ  Ｔａｒｇｅｔ  Ｃｌａｓｓｉｆｉｃａｔｉｏｎ  ａｎｄ  Ｔｒａｃｋｉｎｇ  ｆｒｏｍ  Ｒｅａｌ−Ｔｉｍｅ  Ｖｉｄｅｏ）」，ＩＵＷ，（１２９ページ〜１３６）１９９８年
【非特許文献４】Ｔ．Ｊ．Ｏｌｓｏｎ及びＦ．Ｚ．Ｂｒｉｌｌ，「スマートカメラのための移動オブジェクト検出及びイベント認識アルゴリズム（Ｍｏｖｉｎｇ  Ｏｂｊｅｃｔ  Ｄｅｔｅｃｔｉｏｉｎ  ａｎｄ  Ｅｖｅｎｔ  Ｒｅｃｏｇｎｉｔｉｏｎ  Ａｌｇｏｒｉｔｈｍ  ｆｏｒ  Ｓｍａｒｔ  Ｃａｍｅｒａｓ）」，ＩＵＷ，（１５９〜１７５ページ），１９９７年５月
【非特許文献５】Ａ．Ｊ．Ｌｉｐｔｏｎ，「剛体運動対非剛体運動を分析するための光フローの局所適用（Ｌｏｃａｌ  Ａｐｐｌｉｃａｔｉｏｎ  ｏｆ  Ｏｐｔｉｃａｌ  Ｆｌｏｗ  ｔｏ  Ａｎａｌｙｓｅ  Ｒｉｇｉｄ  Ｖｅｒｓｕｓ  Ｎｏｎ−Ｒｉｇｉｄ  Ｍｏｔｉｏｎ）」，コンピュータビジョンに関する国際会議（Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ），ギリシャ，コルフ島（Ｃｏｒｆｕ，Ｇｒｅｅｃｅ），１９９９年９月
【非特許文献６】Ｆ．Ｂａｒｔｏｌｉｎｉ，Ｖ．Ｃａｐｐｅｌｌｉｎｉ及びＡ．Ｍｅｃｏｃｃｉ，「リアルタイム画像シーケンス処理によりバスを出入りする人間を数えること（Ｃｏｕｎｔｉｎｇ  ｐｅｏｐｌｅ  ｇｅｔｔｉｎｇ  ｉｎ  ａｎｄ  ｏｕｔ  ｏｆ  ａ  ｂｕｓ  ｂｙ  ｒｅａｌ−ｔｉｍｅ  ｉｍａｇｅ−ｓｅｑｕｅｎｃｅ  ｐｒｏｃｅｓｓｉｎｇ）」，ＩＶＣ，１２（１）：（３６〜４１ページ），１９９４年１月
【非特許文献７】Ｍ．Ｒｏｓｓｉ及びＡ．Ｂｏｚｚｏｌｉ，「移動する人間を追跡調査し，数えること（Ｔｒａｃｋｉｎｇ  ａｎｄ  ｃｏｕｎｔｉｎｇ  ｍｏｖｉｎｇ  ｐｅｏｐｌｅ）」，ＩＣＩＰ９４，（２１２〜２１６ページ），１９９４年
【非特許文献８】Ｃ．Ｒ．Ｗｒｅｎ，Ａ．Ａｚａｒｂａｙｅｊａｎｉ，Ｔ．Ｄａｒｒｅｌ及びＡ．Ｐｅｎｔｌａｎｄ，「Ｐファインダー：人体のリアルタイム追跡調査（Ｐｆｉｎｄｅｒ：Ｒｅａｌ−ｔｉｍｅ  ｔｒａｃｋｉｎｇ  ｏｆ  ｔｈｅ  ｈｕｍａｎ  ｂｏｄｙ）」，Ｖｉｓｍｏｄ，１９９５年
【非特許文献９】Ｌ．Ｋｈｏｕｄｏｕｒ，Ｌ．Ｄｕｖｉｅｕｂｏｕｒｇ，Ｊ．Ｐ．Ｄｅｐａｒｉｓ，「アクティブなリニアカメラによるリアルタイム歩行者カウント（Ｒｅａｌ−Ｔｉｍｅ  Ｐｅｄｅｓｔｒｉａｎ  Ｃｏｕｎｔｉｎｇ  ｂｙ  Ａｃｔｉｖｅ  Ｌｉｎｅａｒ  Ｃａｍｅｒａｓ）」，ＪＥＩ，５（４）：（４５２〜４５９ページ），１９９６年１０月
【非特許文献１０】Ｓ．Ｉｏｆｆｅ，Ｄ．Ａ．Ｆｏｒｓｙｔｈ，「人間を見つけ出すための確率論法（Ｐｒｏｂａｂｉｌｉｓｔｉｃ  Ｍｅｔｈｏｄｓ  ｆｏｒ  Ｆｉｎｄｉｎｇ  Ｐｅｏｐｌｅ）」，ＩＪＣＶ，４３（１）：（４５〜６８ページ），２００１年６月
【非特許文献１１】Ｍ．Ｉｓａｒｄ及びＪ．ＭａｃＣｏｒｍｉｃｋ，「ＢｒａｍＢＬｅ：ベイジアン複数ブロブエコー追跡装置（ＢｒａＭＢＬｅ：Ａ  Ｂａｙｅｓｉａｎ  Ｍｕｌｔｉｐｌｅ−Ｂｌｏｂ  Ｔｒａｃｋｅｒ）」，ＩＣＣＶ，２００１年
【非特許文献１２】Ｄ．Ｍ．Ｇａｖｒｉｌａ，「人間の動きの視覚的な分析：調査（Ｔｈｅ  Ｖｉｓｕａｌ  Ａｎａｌｙｓｉｓ  ｏｆ  Ｈｕｍａｎ  Ｍｏｖｅｍｅｎｔ：Ａ  Ｓｕｒｖｅｙ）」，ＣＶＩＵ，７３（１）：８２〜９８ページ，１９９９年１月
【非特許文献１３】Ｎｉｅｌｓ  Ｈａｅｒｉｎｇ及びＮｉｅｌｓ  ｄａ  Ｖｉｔｏｒｉａ  Ｌｏｂｏ，「視覚的なイベント検出（Ｖｉｓｕａｌ  Ｅｖｅｎｔ  Ｄｅｔｅｃｔｉｏｎ）」，ビデオコンピューティングシリーズ（Ｖｉｄｅｏ  Ｃｏｍｐｕｔｉｎｇ  Ｓｅｒｉｅｓ），編集者Ｍｕｂａｒａｋ  Ｓｈａｈ，２００１年
【非特許文献１４】Ｃｏｌｌｉｎｓ，Ｌｉｐｔｏｎ，Ｋａｎａｄｅ，Ｆｕｊｉｙｏｓｈｉ，Ｄｕｇｇｉｎｓ，Ｔｓｉｎ，Ｔｏｌｌｉｖｅｒ，Ｅｎｏｍｏｔｏ，及びＨａｓｅｇａｗａ，「ビデオサーベーランス及び監視のためのシステム：ＶＳＡＭ最終報告書（Ａ  Ｓｙｓｔｅｍ  ｆｏｒ  Ｖｉｄｅｏ  Ｓｕｒｖｅｉｌｌａｎｃｅ  ａｎｄ  Ｍｏｎｉｔｏｒｉｎｇ：ＶＳＡＭ  Ｆｉｎａｌ  Ｒｅｐｏｒｔ）」，技術報告書（Ｔｅｃｈｎｉｃａｌ  Ｒｅｐｏｒｔ）ＣＭＵ−ＲＩ−ＴＲ−００−１２，ロボティックス研究所（Ｒｏｂｏｔｉｃｓ  Ｉｎｓｔｉｔｕｔｅ），カーネギーメロン大学（Ｃａｒｎｅｇｉｅ  Ｍｅｌｌｏｎ  Ｕｎｉｖｅｒｓｉｔｙ），２０００年５月
【非特許文献１５】Ｌｉｐｔｏｎ，Ｆｕｊｉｙｏｓｈｉ及びＰａｔｉｌ，「リアルタイムビデオからの移動するターゲットの分類及び追跡調査（Ｍｏｖｉｎｇ  Ｔａｒｇｅｔ  Ｃｌａｓｓｉｆｉｃａｔｉｏｎ  ａｎｄ  Ｔｒａｃｋｉｎｇ  ｆｒｏｍ  Ｒｅａｌ−ｔｉｍｅ  Ｖｉｄｅｏ）」，９８国防総省国防高等研究事業局（Ｄａｒｐａ）ＩＵＷ，１９９８年１１月２０日から２３日
【非特許文献１６】Ｃ．Ｒ．Ｗｒｅｎ，Ａ．Ａｚａｒｂａｙｅｊａｎｉ，Ｔ．Ｄａｒｒｅｌｌ及びＡ．Ｐ．Ｐｅｎｔｌａｎｄ，「Ｐファインダ：人体のリアルタイム追跡調査（Ｐｆｉｎｄｅｒ：Ｒｅａｌ−Ｔｉｍｅ  Ｔｒａｃｋｉｎｇ  ｏｆ  ｔｈｅ  Ｈｕｍａｎ  Ｂｏｄｙ）」，ＰＡＭＩ，第１９巻，７８０〜７８４ページ，１９９７年
【非特許文献１７】Ｍ．Ａｌｌｍｅｎ及びＣ．Ｄｙｅｒ，「空間時間流れ曲線を使用した長距離空間時間運動の理解（Ｌｏｎｇ――Ｒａｎｇｅ  Ｓｐａｔｉｏｔｅｍｐｏｒａｌ  Ｍｏｔｉｏｎ  Ｕｎｄｅｒｓｔａｎｄｉｎｇ  Ｕｓｉｎｇ  Ｓｐａｔｉｏｔｅｍｐｏｒａｌ  Ｆｌｏｗ  Ｃｕｒｖｅｓ）」，ＩＥＥＥ  ＣＶＰＲ議事録（Ｐｒｏｃ．ＩＥＥＥ  ＣＶＰＲ），ラハイナ，マウイ，ハワイ（Ｌａｈａｉｎａ，Ｍａｕｉ，Ｈａｗａｉｉ），３０３〜３０９ページ，１９９１年
【非特許文献１８】Ｌ．Ｗｉｘｓｏｎ，「方向的に一貫した流れを蓄積することによる凸部運動の検出（Ｄｅｔｅｃｔｉｎｇ  Ｓａｌｉｅｎｔ  Ｍｏｔｉｏｎ  ｂｙ  Ａｃｃｕｍｕｌａｔｉｎｇ  Ｄｉｒｅｃｔｉｏｎａｌｌｙ  Ｃｏｎｓｉｓｔｅｎｔ  Ｆｌｏｗ）」，ＩＥＥＥ会報，パターン分析人工知能（Ｐａｔｔｅｒｎ  Ａｎａｌ．Ｍａｃｈ．Ｉｎｔｅｌｌ．），第２２巻，７７４〜７８１ページ，２０００年８月
【発明の開示】
【発明が解決しようとする課題】
【０００８】
本発明の目的とは，監視ビデオデータの分析を実施できるように監視ビデオデータの量を削減することである。
【０００９】
本発明の目的とは，監視ビデオデータの所望される部分を識別するために監視ビデオデータをフィルタリングすることである。
【００１０】
本発明の目的とは，監視ビデオデータからのイベントの自動的な検出に基づきリアルタイム警報を生成することである。
【００１１】
本発明の目的とは，検索機能の改善のためにビデオ以外の監視センサのデータを統合することである。
【００１２】
本発明の目的とは，イベント検出機能の改善のためにビデオ以外の監視センサのデータを統合することである。
【課題を解決するための手段】
【００１３】
本発明は，製造の製品，監視ビデオ用の方法，システム，および装置を含む。
【００１４】
本発明の製造の製品は，ビデオプリミティブに基づいて監視テレビ装置を操作するためのコードセグメントを備える監視テレビ装置用のソフトウェアを備えるコンピュータ読み取り可能媒体を含む。
【００１５】
本発明の製造の製品は，アーカイブに入れられたビデオプリミティブにアクセスするためのコードセグメントと，アクセスされたアーカイブに入れられたビデオプリミティブからイベントの発生を抽出するためのコードセグメントとを備えるテレビ監視システム用のソフトウェアを備えるコンピュータ読み取り可能媒体を含む。
【００１６】
本発明のシステムは，本発明に従ってコンピュータを操作するためのソフトウェアを有するコンピュータ読み取り可能媒体を含むコンピュータシステムを含む。
【００１７】
本発明の装置は，本発明に従ってコンピュータを操作するためのソフトウェアを有するコンピュータ読み取り可能媒体を含むコンピュータを含む。
【００１８】
本発明の製造の製品は，本発明に従ってコンピュータを操作するためのソフトウェアを有するコンピュータ読み取り可能媒体を含む。
【００１９】
さらに，本発明の前記の目的及び有利な点は，本発明によって達成できるものを例示的に示し，網羅していない。したがって，本発明のこれらの及び他の目的及び有利な点は，本明細書に具体化され，当業者にとって明らかになるだろうあらゆる変形に関して修正されるように本明細書での説明から明らかになるだろう。
【発明を実施するための最良の形態】
【００２０】
まず始めに，本発明の理解を容易にするために，本発明に用いられる用語の定義について説明する。
【００２１】
「ビデオ」は，アナログ形式及び／またはデジタル形式で表現されるモーションピクチャを指している。ビデオの例は，テレビ，映画，ビデオカメラまたは他の観測器からの画像シーケンス，及びコンピュータによって生成される画像シーケンスを含む。
【００２２】
「フレーム」はビデオ内のある特定の画像または他の分離した単位を指す。
【００２３】
「オブジェクト」はビデオ内で関心のあるアイテムを指す。オブジェクトの例は，人間，車両，動物及び物理的な被写体を含む。
【００２４】
「活動」は，１つまたは複数のアクション，及び／または１つまたは複数のオブジェクトのアクションの１つまたは複数の合成物を指す。活動の例は，入力すること，終了すること，停止すること，移動すること，引き上げること，引き下げること，拡大すること，及び縮小することを含む。
【００２５】
「ロケーション」とは活動が発生する空間を指す。ロケーションは，例えばシーンに基づいているか，画像に基づいている。シーンをベースにしたロケーションの例は，共用空間，店舗，小売りスペース，事務所，倉庫，ホテルの部屋，ホテルロビー，建物のロビー，カジノ，バスの停留所，電車の駅，空港，港，バス，電車，飛行機及び船を含む。画像をベースにしたロケーションの例は，ビデオ画像，ビデオ画像内の線，ビデオ画像内の領域，ビデオ画像の矩形部分，及びビデオ画像の多角形部分を含む。
【００２６】
「イベント」は，活動に関与する１つまたは複数のオブジェクトを指す。イベントはロケーション及び／または時間に関して参照されてよい。
【００２７】
「コンピュータ」は，構造化された入力を受け入れ，該構造化された入力を定められた規則に従って処理し，該処理の結果を出力として生成することができる任意の装置を指す。コンピュータの例は，コンピュータ，汎用コンピュータ，スーパーコンピュータ，メインフレーム，スーパーミニコンピュータ，ミニコンピュータ，ワークステーション，マイクロコンピュータ，サーバ，対話型テレビ，コンピュータと対話型テレビのハイブリッド組み合わせ，及びコンピュータ及び／またはソフトウェアをエミュレートするための特定用途向けハードウェアを含む。コンピュータは，並列で，及び／または並列ではなく動作できる単一のプロセッサまたは複数のプロセッサを有することができる。コンピュータは，コンピュータ間で情報を送受するためにネットワークを介して共に接続される２台以上のコンピュータも指す。このようなコンピュータの例は，ネットワークによりリンクされる複数のコンピュータを介して情報を処理するための分散型コンピュータシステムを含む。
【００２８】
「コンピュータ読み取り可能媒体」は，コンピュータがアクセス可能なデータを記憶するために使用される任意の記憶媒体を指す。コンピュータ読み取り可能媒体の例は，磁気ハードディスク，フロッピー（登録商標）ディスク，ＣＤ−ＲＯＭとＤＶＤなどの光ディスク，磁気テープ，メモリチップ，及びｅ−メールを送受する際に，あるいはネットワークにアクセスする際に使用される電子データなどのコンピュータ読み取り可能電子データを搬送するために使用される搬送波を含む。
【００２９】
「ソフトウェア」は，コンピュータを操作するための定められた規則を指す。ソフトウェアの例は，ソフトウェア，コードセグメント，命令，コンピュータプログラム，及びプログラムロジックを含む。
【００３０】
「コンピュータシステム」はコンピュータを有するシステムを指し，該コンピュータは該コンピュータを操作するためのソフトウェアを具体化するコンピュータ読み取り可能媒体を備える。
【００３１】
「ネットワーク」は，通信設備により接続されている多くのコンピュータと関連デバイスを指す。ネットワークは，ケーブルなどの恒久的な接続，あるいは電話や他の通信リンクを通してなされる接続のような一時的な接続を含む。ネットワークの例は，Ｉｎｔｅｒｎｅｔなどのインターネット，イントラネット，ローカルエリアネットワーク（ＬＡＮ），広域ネットワーク（ＷＡＮ），及びインターネットとイントラネットなどのネットワークの組み合わせを含む。
【００３２】
本発明の実施形態は，図面によってさらに詳細に説明され，同じ参照数字は同じ機能を指す。
【００３３】
本発明の自動監視テレビ装置は，例えば市場調査や機密保護のためにロケーションを監視するためである。該システムは専用の監視構成要素を備えた専用の監視ビデオ装置であるか，あるいはシステムは監視ビデオフィードから離れてピギーバックする既存の監視ビデオ装置に対する改造である場合がある。システムは，ライブソースまたは記録媒体のビデオデータを分析できる。システムは，データを記録する，警報機構またはアクティブな別のセンサシステムを起動するなどの分析に対する定められた応答を有する場合がある。システムは他の監視システム構成部品と統合することもできる。システムは，オペレータのニーズに応じて調整することができ，オプションとして対話型ウェブベースインタフェースまたは他の報告機構によって提示することができる機密保護または市場調査レポートを作成する。
【００３４】
オペレータは，イベント識別子を使用することによりシステムを構成する際に最大の柔軟性を与えられる。イベント識別子は，１つまたは複数のオプションの空間属性及び／または１つまたは複数のオプションの時間属性と共に，（その説明がビデオプリミティブに基づいている）１つまたは複数のオブジェクトで識別される。例えば，オペレータは「１５分より長く」と「午後１０時と午前６時の間」，「現金自動入出金機」の空間内の「人間」オブジェクトとして（この例では「徘徊」イベントと呼ばれている）イベント識別子を定義することができる。
【００３５】
本発明の監視テレビ装置はパブリックドメインから周知のコンピュータビジョン技法を利用するが，本発明の監視テレビ装置は，現在は使用できない複数の独自新機能を有している。例えば，現在の監視テレビ装置は情報交換の一次産品として大量のビデオイメージを使用する。本発明のシステムは裏付けとなる証言として使用されている代表的なビデオイメージと共に一次産品としてビデオプリミティブを使用する。本発明のシステムは（手動，半手動，または自動で）校正することが可能で，その後自動的にビデオイメージからビデオプリミティブを推論することができる。該システムは，ビデオを完全に再処理しなくても過去に処理されたビデオをさらに分析することができる。過去に処理されたビデオを分析することにより，システムは過去に記録されたビデオプリミティブに基づいて推論分析を実行することができ，それによりコンピュータシステムの分析速度は大幅に改善される。
【００３６】
別の例として，本発明のシステムは独自のシステムタスキングを提供する。装置制御命令を使用して，現在のビデオシステムは，ユーザがビデオセンサを設置し，いくつかの高性能の従来のシステムでは関心のあるまたは関心がない領域を隠すことができるようにする。装置制御命令とは，ビデオカメラの位置，向き及びピントを制御するための命令である。本発明のシステムは，装置制御命令の代わりに，一時タスキング機構としてビデオプリミティブに基づいたイベント識別子を使用する。イベント識別子及びビデオプリミティブを用いると，オペレータにはシステムから有用な情報を抽出するための従来のシステムに優るはるかに直感的なアプローチが与えられる。本発明のシステムは「カメラＡ，４５度左へ」などの装置制御命令でシステムをタスキングするよりむしろ，「人間が制限区域Ａに入る」などのビデオプリミティブに基づいた１つまたは複数のイベントディスクリミネータを用いて人間直感的な方法でタスキングすることができる。
【００３７】
市場調査のために本発明を使用する場合，以下は本発明と共に実行できる監視ビデオの種類の例である。つまり，店舗内の人を数える，店舗のある部分の人を数える，店舗内のある特定の場所で止まる人を数える，人が店舗でどのくらいの時間を過ごすのかを測定すること，人が店舗の一部でどのくらいの時間を過ごすのか，及び店舗内のラインの長さを測定することである。
【００３８】
機密保護のために本発明を使用する場合，以下は本発明と共に実行できる監視ビデオの種類の例である。つまり，誰かかがいつ制限区域に入ったのかを判断し，関連イメージを記憶すること，人物がいつある領域に異常な回数進入するのかを判断すること，許可されていない可能性がある棚スペースと収納スペースに対する変更がいつ発生するのかと，搭乗している乗客がコックピットに接近するときを突き止めることと，安全なポータルを通していつ人がテールゲートする（ｔａｉｌｇａｔｅ）のかを判断すること，空港内に持ち主不明の鞄があるかどうか判断すること，及び財産の盗難があるかどうかを判断する。
【００３９】
図１は，本発明の監視テレビ装置の平面図を描いている。コンピュータシステム１１は，本発明によるコンピュータ１２を操作するためにソフトウェアを具体化するコンピュータ読み取り可能媒体１３を有するコンピュータ１２を備えている。コンピュータシステム１１は，１台または複数台のビデオセンサ１４，１台または複数台のビデオレコーダ１５，及び１台または複数台の入力／出力（Ｉ／Ｏ）装置１６に結合されている。ビデオセンサ１４は，監視ビデオデータの直接的な記録のためにビデオレコーダ１５にオプションで結合することもできる。コンピュータシステムはオプションで他のセンサ１７に結合される。
【００４０】
ビデオセンサ１４は，コンピュータシステム１１にソースビデオを提供する。各ビデオセンサ１４は，例えば直接接続（例えば，ファイアワイヤデジタルカメラインタフェース）またはネットワークを使用してコンピュータシステム１１に結合できる。ビデオセンサ１４は本発明の設置前に存在することができる，あるいは本発明の一部として設置することができる。ビデオセンサ１４の例は，ビデオカメラ，デジタルビデオカメラ，カラーカメラ，白黒カメラ，カメラ，カムコーダ，ＰＣカメラ，ウェブカメラ，赤外線ビデオカメラ，及びＣＣＴＶカメラを含む。
【００４１】
ビデオレコーダ１５は，記録のためにコンピュータシステム１１から監視ビデオデータを受信する，及び／またはコンピュータシステム１１にソースビデオを提供する。各ビデオレコーダ１５は，例えば直接接続またはネットワークを使用してコンピュータシステム１１に結合できる。ビデオレコーダ１５は，本発明の設置の前に存在できる，あるいは本発明の一部として設置できる。ビデオレコーダ１５の例は，ビデオテープレコーダ，デジタルビデオレコーダ，ビデオディスク，ＤＶＤ，及びコンピュータ読み取り可能媒体を含む。
【００４２】
Ｉ／Ｏ装置１６は，コンピュータシステム１１に入力を提供し，コンピュータシステム１１から出力を受信する。Ｉ／Ｏ装置１６は，コンピュータシステム１１に仕事を課し，コンピュータシステム１１からレポートを作成するために使用できる。Ｉ／Ｏ装置１６の例はキーボード，マウス，スタイラス，モニタ，プリンタ，別のコンピュータシステム，ネットワーク及び警報を含む。
【００４３】
他のセンサ１７は，コンピュータシステム１１に追加入力を提供する。それぞれの他のセンサ１７は，例えば直接接続またはネットワークを使用してコンピュータシステム１１に結合できる。他のセンサ１７は，本発明の設置の前に終了することができる，あるいは本発明の一部として設置できる。別のセンサ１７の例は，移動センサ，光仕掛け線，生物測定センサ，及びカードベースのまたはキーパッドベースの許可システムを含む。他のセンサ１７の出力は，コンピュータシステム１１，記録装置，及び／または記録システムによって記録できる。
【００４４】
図２は，本発明の監視テレビ装置の流れ図を描いている。本発明の多様な態様は，食料品店の監視に応用される本発明の監視テレビ装置の例を描いている図１０から図１５に関して例示されている。
【００４５】
ブロック２１では，監視テレビ装置は図１について説明されたようにセットアップされる。各ビデオセンサ１４は，監視ビデオのためにあるロケーションの方位に合わされている。コンピュータシステム１１はビデオ装置１４と１５からのビデオフィードに接続されている。監視テレビ装置は，該ロケーションのために，既存の装置または新規に設置された装置を使用して実現できる。
【００４６】
ブロック２２で，監視テレビ装置は校正される。いったん監視テレビ装置がブロック２１から所定の位置にあると，校正が行われる。ブロック２２の結果，監視テレビ装置は，ビデオセンサにより提供されるビデオ画像内の多様な場所で，ある特定のオブジェクト（例えば人物）のほぼ絶対的なサイズと速度を決定することができるようになる。該システムは手動校正，半自動校正，及び自動校正を使用して校正できる。校正はブロック２４の説明の後にさらに説明される。
【００４７】
図２のブロック２３では，監視テレビ装置は仕事を課される。タスキングはブロック２２で校正の後に発生し，オプションである。監視テレビ装置に仕事を課すことは，１つまたは複数のイベントディスクリミネータを指定することを必要とする。タスキングを行わない場合，監視テレビ装置は図４のブロック４５でのように何の処置も講じないでビデオプリミティブと関連するビデオイメージを検出し，達成することによって動作する。
【００４８】
図３は，イベント識別子を決定するために監視テレビ装置に仕事を課すための流れ図を描いている。イベント識別子は，オプションで１つまたは複数の空間属性及び／または１つまたは複数の時間属性と相互に作用する１つまたは複数のオブジェクトを指す。イベント識別子はビデオプリミティブに関して説明されている。ビデオプリミティブはビデオフィードの中に表示されるオブジェクトの観察可能な属性を指している。ビデオプリミティブの例は，分類，サイズ，形状，色，テクスチャ，位置，速さ，速度，内部運動，運動，凸部運動，凸部運動の機能，場面変化，場面変化の機能，及び所定のモデルを含む。
【００４９】
分類は，ある特定のカテゴリまたはクラスに属するようなオブジェクトの識別を指す。分類の例は，人物，犬，車両，警察の車，個人，及び特定の種類のオブジェクトを含む。
【００５０】
サイズは，オブジェクトの寸法属性を指す。サイズの例は，大きい，中くらいの，小さい，平坦な，６フィートより高い，１フィート未満，３フィートより広い，４フィートより薄い，ほぼ人間のサイズ，人間より大きい，人間より小さい，ほぼ車のサイズである，ピクセル単位の適切な寸法での画像内で矩形，及び多くの画像ピクセルを含む。
【００５１】
色はオブジェクトの色彩の属性である。色の例は，白，黒，灰色，赤，ＨＳＶ値の範囲，ＹＵＶ値の範囲，ＲＧＢ値の範囲，ＲＧＢ値の平均，ＹＵＶ値の平均，及びＲＧＴ値のヒストグラムを含む。
【００５２】
テクスチャはオブジェクトのパターン属性を指す。テクスチャ特性の例は，自己相似性，スペクトル力，直線性及び粗さを含む。
【００５３】
内部運動はオブジェクトの厳格性の尺度を指している。かなり厳格なオブジェクトの例は，大量の内部運動を示さない車である。かなり厳格ではないオブジェクトの例は，大量の内部運動を示す腕と脚を振り回している人物である。
【００５４】
運動は自動的に検出できる任意の運動を指している。運動の例は，オブジェクトの出現，オブジェクトの消失，オブジェクトの垂直移動，オブジェクトの水平移動及びオブジェクトの周期的な運動を含む。
【００５５】
凸部運動は，自動的に検出することができ，一定の期間追跡調査することができる任意の運動を指している。このような移動オブジェクトは明らかに目的のある運動を示す。凸部運動の例は，ある場所から別の場所へ移動すること，及び別のオブジェクトと対話するために移動することを含む。
【００５６】
凸部運動の特徴は凸部運動のプロパティを指している。凸部運動の特徴の例は，軌道，像空間における軌道の長さ，環境の三次元表現における軌道の近似長，時間の関数としての像空間におけるオブジェクトの位置，時間の関数として環境の三次元表現におけるオブジェクトの近似位置，軌道の持続時間，像空間での速度（例えば速度と方向），環境の三次元表現での近似速度（例えば速度と方向），ある速度での持続時間，像空間での速度の変化，環境の三次元表現での速度の近似変化，速度の変化の持続時間，運動の中止，及び運動の中心の持続時間を含む。速度は，ある特定の時間でのオブジェクトの速度と方向を指している。軌道は，オブジェクトを追跡調査できる限り，あるいはある期間のオブジェクトの（位置，速度）組のセットを指している。
【００５７】
場面変化は，ある期間に渡って変化するとして検出できる場面の任意の領域を指す。場面変化の例は，場面を離れる静止したオブジェクト，場面に入り，静止するようになるオブジェクト，場面内の位置を変更するオブジェクト，外観（例えば，色，形状またはサイズ）を変化するオブジェクトを含む。
【００５８】
場面変化の特徴は場面変化のプロパティを指している。場面の変化の特徴の例は，像空間内での場面変化のサイズ，環境の三次元表現における場面変化の近似サイズ，場面変化が発生した時刻，像空間内の場面変化のロケーション，環境の三次元表現での場面変換の近似ロケーションを含む。
【００５９】
所定のモデルは，オブジェクトの推測的に既知のモデルを指している。所定の例は，大人，子供，車両，及びセミトレーラを含む。
【００６０】
ブロック３１では，関心のある１つまたは複数のオブジェクトタイプがビデオプリミティブまたはその抽象概念という点で識別されている。１つまたは複数のオブジェクトの例はオブジェクト，人物，赤のオブジェクト，２つのオブジェクト，２人の人物，及び車両を含む。
【００６１】
ブロック３２では，関心のある１つまたは複数の空間領域が識別される。領域は，ソースビデオからの画像，またはビデオセンサにより表示されている場面の空間部分の１つまたは複数の部分を指している。領域は多様な場面及び／または画像からの領域の組み合わせも含む。領域は画像をベースにした空間（例えば，ビデオ画像内の線，矩形，ポリゴン，または円），あるいは三次元空間（例えば，立方体，建物の建築面積の領域）である場合がある。
【００６２】
図１２は，食料品店内の通路に沿った領域を識別することを描いている。コーヒー，ソーダの宣伝，チップスナック，及び瓶に入った水の４つの領域が識別されている。領域は，システムとのポイントアンドクリックインタフェースを介して識別されている。
【００６３】
ブロック３３では，関心のある１つまたは複数の時間属性がオプションで識別される。時間属性の例は，１５分おき，午後９時と午前６時半の間，５分未満，３０秒より長い，週末にかけて，及びの２０分以内を含む。
【００６４】
ブロック３４では，応答はオプションで識別される。応答の例は以下を含む。システムディスプレイ上で視覚的及び／または可聴警報を活性化すること，ロケーションでの視覚的及び／可聴警報システムを活性化すること，無音警報装置を活性化すること，迅速応答機構を活性化すること，ドアをロックすること，セキュリティサービスに連絡すること，データ（例えば，画像データ，ビデオデータ，ビデオプリミティブ及び／または分析済みデータ）をインターネット（Ｉｎｔｅｒｎｅｔ）などのネットワークを介して別のコンピュータシステムに転送すること，このようなデータを指定されるコンピュータ読み取り可能媒体に保存すること，なんらかの他のセンサまたは監視システムを活性化すること，コンピュータシステム１１及び／または別のコンピュータシステムに仕事を課すこと，及びコンピュータシステム１１及び／または別のコンピュータシステムに命令することを含む。
【００６５】
ブロック３５では，ビデオプリミティブ（またはそれらの抽象概念），関心のある空間領域及び関心のある時間属性の間の相互作用を記述することにより１つまたは複数の識別子が識別される。相互作用は，ブロック３１で識別される１つまたは複数のオブジェクト，ブロック３２で識別される関心のある１つまたは複数の空間領域，及びブロック３３で識別される関心のある１つまたは複数の時間属性の組み合わせについて決定される。ブロック３４で識別される１つまたは複数の応答は，オプションで各イベント識別子と関連付けられている。
【００６６】
単一オブジェクトのためのイベント識別子の例は，オブジェクトが出現する，人物が出現する，及び赤のオブジェクトが毎秒１０ｍより高速で移動する，を含む。
【００６７】
複数のオブジェクトのためのイベント識別子の例は，２つのオブジェクトが一緒に来る，一人の人物が車を降りる，及び赤のオブジェクトが青のオブジェクトの隣に移動する，を含む。
【００６８】
１つのオブジェクトと１つの空間属性のためのイベント識別子の例は，オブジェクトが線を交差する，オブジェクトが領域に入る，及び人物が左から線を交差する，を含む。
【００６９】
１つのオブジェクトと１つの時間属性のためのイベント識別子の例は，オブジェクトが午後１０時に出現する，人物が午前９時と午後５時の間に毎秒２ｍより速く移動する，及び車両が週末に現れる，を含む。
【００７０】
１つのオブジェクト，１つの空間属性及び１つの時間属性のイベント識別子の例は，人物が深夜と午前６時の間に線を交差する，及び車両が１０分間より長く領域に停止する，を含む。
【００７１】
１つのオブジェクト，１つの空間属性及び応答に関連する１つの時間属性の例は，人が深夜と午前６時の間に領域に入る，及びセキュリティサービスが通知を受ける，を含む。
【００７２】
図２のブロック２４では，監視テレビ装置が操作される。本発明の監視テレビ装置は自動的に動作し，場面内のオブジェクトのビデオプリミティブを検出し，アーカイブに入れ，イベント識別子を使用してリアルタイムでイベント発生を検出する。さらに，警報を活性化する，レポートを作成する，及び出力を生成するなどの処置が適宜にリアルタイムで講じられる。レポート及び出力はインターネットなどのネットワークを介してシステムまたは他のところへ局所的に表示及び／または記憶することができる。図４は監視テレビ装置を動作するための流れ図を描いている。
【００７３】
ブロック４１では，コンピュータシステム１１はビデオセンサ１４及び／またはビデオレコーダ１５からソースビデオを取得する。
【００７４】
ブロック４２では，ビデオプリミティブがソースビデオからリアルタイムで抽出される。オプションとして非ビデオプリミティブを１つまたは複数の他のセンサ１７から取得及び／または抽出し，本発明と共に使用することができる。ビデオプリミティブの抽出は図５で描かれている。
【００７５】
図５は，監視テレビ装置のビデオプリミティブを抽出するための流れ図を描いている。ブロック５１と５２は並列で動作し，任意の順序であるいは同時に実行できる。ブロック５１では，オブジェクトは移動を介して検出される。ピクセルレベルでのフレーム間の移動を検出するための任意の運動検出アルゴリズムはこのブロックに使用できる。一例として，非特許文献１に説明されている３フレーム差計算技法を使用することができる。検出されたオブジェクトはブロック５３に転送される。
【００７６】
ブロック５２では，オブジェクトは変化を介して検出される。背景モデルからの変化を検出するための任意の変化検出アルゴリズムがこのブロックのために使用できる。ピクセルはフレームの背景モデルに一致しないため，オブジェクトは，フレーム内の１個または複数個のピクセルがフレームの前景にあると見なされる場合にはこのブロックで検出される。一例として，動的適応バックグラウンド除去法などの，非特許文献及び２０００年１０月２４日に提出された米国特許出願番号第０９／６９４，７１２号に説明される確率論的な背景モデリング技法を使用することができる。検出されたオブジェクトはブロック５３に転送される。
【００７７】
ブロック５１の運動検出技法及びブロック５２の変化検出技法は無料の技法であり，各技法は有利なことに他の技法の欠陥に対処する。オプションとして追加の及び／または代替検出方式が，ブロック５１と５２について説明される技法に使用できる。追加の及び／または代わりの検出方式の例は以下を含む。つまり，非特許文献８に説明されるような人を見つけ出すためのＰファインダ検出方式，肌色検出方式，顔検出方式，及びモデルをベースにした検出方式である。このような追加の及び／または代替の検出方式の結果はブロック３５に与えられる。
【００７８】
オプションとして，ビデオセンサ１４にモーション（例えば，スウィープする，ズームする，及び／または並進するビデオカメラ）がある場合，ブロック５１と５２の間のブロックに追加ブロックを挿入し，その後ビデオ安定化のためにブロック５１と５２に入力を提供することができる。ビデオ安定化は，アフィンまたは投射グローバル動き補償によって達成できる。例えば，本明細書に参考として組み込まれる２０００年７月３日に提出された米国特許出願番号第０９／６０９，９１９号に説明されている画像位置合わせがビデオ安定化を達成するために使用できる。
【００７９】
ブロック５３では，ブロブエコーが生成される。一般的にはブロブエコーはフレーム内の任意のオブジェクトである。ブロブエコーの例は，人物や車両などの移動するオブジェクト，及び１つの家具，衣料品アイテムまたは小売在庫品などの消費者製品を含む。ブロブエコーはブロック３２と３３から検出されたオブジェクトを使用して生成される。このブロックには，ブロブエコーを生成するための任意の技法を使用することができる。運動検出及び変換検出からブロブエコーを生成するための例示的な技法は連結構成要素方式を使用する。例えば，非特許文献１に説明される形態学及び連結構成要素方式が使用できる。
【００８０】
ブロック５４では，ブロブエコーが追跡調査される。このブロックには，ブロブエコーを追跡調査するための任意の技法を使用することができる。例えば，カルマン（Ｋａｌｍａｎ）フィルタリングまたは濃縮（ＣＯＮＤＥＮＳＡＴＩＯＮ）アルゴリズムを使用できる。別の一例として，非特許文献１に説明されているようなテンプレートマッチング技法も使用できる。追加の例として，非特許文献５に説明されている複数仮定カルマン追跡装置（ｍｕｌｔｉ−ｈｙｐｏｔｈｅｓｉｓ  Ｋａｌｍａｎ  ｔｒａｃｋｅｒ）を使用することができる。さらに別の例として，２０００年１０月２４日に提出された米国特許出願番号第０９／６９４，７１２号に説明されているフレームツーフレーム（ｆｒａｍｅ−ｔｏ−ｆｒａｍｅ）追跡調査技法を使用することができる。ロケーションが食料品店である例の場合，追跡調査できるオブジェクトの例は移動している人，在庫品目，及びショッピングカートやトロッコなどの在庫移動器具を含む。
【００８１】
オプションとして，当業者に既知であるように，ブロック５１から５４は，任意の検出追跡調査方式で置換できる。このような検出追跡調査方式の一例は非特許文献１１に説明されている。
【００８２】
ブロック５５では，追跡調査されるオブジェクトのそれぞれの軌道は，軌道が凸部であるかどうかを判断するために分析される。軌道がｉｎｓａｌｉｅｎｔである場合，軌道は不安定な動きを示すオブジェクトを表すか，不安定なサイズまたは色のオブジェクトを表し，対応するオブジェクトは拒絶され，もはやシステムにより分析されない。軌道が凸部である場合には，軌道は潜在的に重要であるオブジェクトを表している。軌道は，軌道に凸部基準を適用することにより凸部であるか，あるいはｉｎｓａｌｉｅｎｔであるのか判断される。凸部であるか，ｉｎｓａｌｉｅｎｔであるか軌道を判断するための技法は非特許文献１３と非特許文献１８に説明されている。
【００８３】
ブロック５６では，各オブジェクトが分類される。各オブジェクトの一般的な種別はオブジェクトの分類として決定される。分類は，数多くの技法により実行することができ，このような技法の例は，ニューラルネットワーク分類器非特許文献１４の使用及びリニア識別子分類器非特許文献１４の使用を含む。分類の例はブロック２３について説明されたものと同じである。
【００８４】
ブロック５７では，ビデオプリミティブはブロック５１から５６の情報及び必要に応じて追加処理を使用して識別される。識別されるビデオプリミティブの例はブロック２３について説明されるものと同じである。一例として，サイズについて，システムはビデオプリミティブとしてブロック２２内の校正から取得される情報を使用することができる。校正から，システムはオブジェクトの適切なサイズを決定するために十分な情報を有する。別の例として，システムはビデオプリミティブとしてブロック５４から測定されるような速度を使用できる。
【００８５】
ブロック４３では，ブロック４２からのビデオプリミティブがアーカイブに入れられる。ビデオプリミティブは，コンピュータ読み取り可能媒体１３または別のコンピュータ読み取り可能媒体でアーカイブに入れることができる。ビデオプリミティブと共に，関連付けられたフレームまたはソースビデオからのビデオイメージをアーカイブに入れることができる。
【００８６】
ブロック４４では，イベント識別子を使用してビデオプリミティブからイベント発生が抽出される。ビデオプリミティブはブロック４２で決定され，イベント識別子はブロック２３内のシステムに仕事を課すことから決定される。イベント識別子は，任意のイベント発生が起こったかどうかを判断するためにビデオプリミティブをフィルタリングするために使用される。例えば，イベント識別子は，午前９時と午後５時の間にある領域の中に「反対に」移動する人物によって定義されるような「反対」イベントを探すことができる。イベント識別子は，図５に従って生成されるすべてのビデオプリミティブをチェックし，次に示すプロパティを有するビデオプリミティブが存在するかどうかを判断する。つまり，午前９時と午後５時の間のタイムスタンプ，「人物」または「人のグループ」，領域内側の位置，及び運動の「間違った」方向の分類である。
【００８７】
ブロック４５では，ブロック４４内で抽出された各イベント発生について，適宜に処置が講じられる。図６は，監視テレビ装置を用いて処置を講じるための流れ図を描いている。
【００８８】
ブロック６１では，応答はイベント発生を検出したイベント識別子によって決定されるように始められる。応答は，存在する場合にはブロック３４のイベント識別子ごとに識別される。
【００８９】
ブロック６２では，発生した各イベント発生について活動レコードが作成される。活動レコードは，例えば，オブジェクトの軌道の詳細，オブジェクトの検出時刻，オブジェクトの検出位置，及び利用されたイベント識別子の説明または定義を含む。活動レコードはビデオプリミティブなどの，イベント識別子によって必要とされる情報を含むことができる。活動レコードは，イベントの発生に関与しているオブジェクト（複数の場合がある）及び／または領域（複数の場合がある）の代表的なビデオまたは静止イメージも含むことがある。活動レコードはコンピュータ読み取り可能媒体に記憶される。
【００９０】
ブロック６３では出力が生成される。出力はブロック４４内で抽出されるイベントの発生，及びブロック４１からのソースビデオの直接フィードに基づいている。出力はコンピュータ読み取り可能媒体に記憶され，コンピュータシステム１１または別のコンピュータシステムに表示される，あるいは別のコンピュータシステムに転送される。システムが動作すると，イベント発生に関する情報が収集され，情報はリアルタイムを含む任意の時間にオペレータが表示することができる。情報を受信するためのフォーマットの例は，次のとおりである。つまりコンピュータシステムのモニタ上の表示，ハードコピー，コンピュータ読み取り可能媒体，及び対話型ウェブページである。
【００９１】
出力はブロック４１からのソースビデオの直接的なフィードからの表示を含む場合がある。例えば，ソースビデオはコンピュータシステムのモニタのウィンドウに，あるいは閉回路モニタ上に表示できる。さらに，出力はイベント発生に関与するオブジェクト及び／または領域を強調表示するためにグラフィックでマークアップされたソースビデオも含む場合がある。
【００９２】
出力は，オペレータの要件及び／またはイベントの発生に基づいたオペレータ向けの１つまたは複数のレポートを含む場合がある。レポートの例は，発生したイベント発生数，イベント発生が起こった場面内での位置，イベント発生が起こった時刻，各イベント発生の代表的なイメージ，各イベント発生の代表的なビデオ，未処理統計データ，イベント発生の統計（例えば，何回，どのくらい頻繁に，どこで及びいつ），及び／または人間読み取り可能グラフィックディスプレイを含む。
【００９３】
図１３と図１４は，図１５の食料品店の通路についての例示的なレポートを描いている。図１３と図１４では，ブロック２２内で複数の領域が識別され，相応して画像内でラベルが付けられる。図１３内の領域は図１２の領域に一致し，図１４の領域はさまざまな領域である。システムは，領域内で停止した人を探すために仕事を課される。
【００９４】
図１３では，例示的なレポートは，ラベル，グラフィック，統計情報及び該統計情報の分析を含むようにマークアップされたビデオからのイメージである。例えばコーヒーとして識別される領域は毎時２という領域内でのカスタマの平均数及び５秒のような領域内への平均ドウエル時間という統計的な情報を有している。システムはこの地域を，この地域を通してほとんど商業的な活動がないことを意味する「コールド」領域であると判断する。  別の例として，ソーダと識別される領域は毎時１５人という領域内の平均カスタマ数，及び２２秒のような領域内での平均ドウエル時間という統計的な情報を有している。システムはこの領域を，この地域内に大量の商業活動があることを意味する「ホット」領域であると判断する。
【００９５】
図４では，例示的なレポートはラベル，グラフィックス，統計情報及び統計情報の分析を含むようにマークアップされたビデオからの画像である。例えば，通路の後部の領域は毎時１４人という平均カスタマ数を有し，交通量が少ないと判断される。別の例として，通路の前部の領域は毎時８３人という平均カスタマ数を有し，交通量が多いと判断される。
【００９６】
図１３または図１４のどちらかにとって，オペレータが任意の特定的な領域または任意の特定的な領域についてさらに多くの情報を所望する場合は，ポイントアンドクリックインタフェースによってオペレータは地域の代表的な静止イメージとビデオイメージ，及び／またはシステムが検出し，アーカイブに入れた活動をナビゲーションできる。
【００９７】
図１５は，食料品店内の通路についての別の例示的なレポートを描いている。例示的なレポートは，ラベルと軌道表示を含むようにマークアップされたビデオからの画像，及び該マークアップされた画像を説明するテキストを含む。例のシステムは，多くの領域について検索する仕事を課される。つまり，オブジェクトの軌道の長さ，位置及び時間，オブジェクトが浮動であった時刻とロケーション，オペレータにより指定されるような軌道と領域の相関性，人物ではない，一人の人物，二人の人物，及び三人以上の人物としてのオブジェクトの分類である。
【００９８】
図１５のビデオ画像は，軌道が記録された期間からである。３つのオブジェクトの内，２つのオブジェクトはそれぞれ一人の人物として分類され，１つのオブジェクトが人物ではないと分類される。それぞれのオブジェクトにはラベル，つまり人物ＩＤ１０３２，人物ＩＤ１０３３，及びオブジェクトＩＤ３２００１が割り当てられる。人物ＩＤ１０３２の場合，システムは人物が領域で５２秒を過ごし，円で示されている位置で１８秒を過ごしたと判断した。人物ＩＤ１０３３の場合，システムは人物が領域内で１分８秒を過ごし，円で示された場所で１２秒を過ごしたと判断した。人物ＩＤ１０３２と人物ＩＤ１０３３の軌道はマークアップ画像に含まれている。オブジェクトＩＤ３２００１の場合，システムはオブジェクトをさらに分析せず，Ｘでオブジェクトの位置を示した。
【００９９】
図２のブロック２２を参照し直すと，校正は（１）手動，（２）ビデオセンサまたはビデオレコーダからのイメージを使用して半自動，あるいは（３）ビデオセンサまたはビデオレコーダからのイメージを使用して自動である場合がある。イメージが必要とされる場合，コンピュータシステム１１によって分析されるソースビデオが，校正のために使用されるソースビデオを取得したビデオセンサからであると仮定される。
【０１００】
手動校正の場合，オペレータはコンピュータシステム１１にビデオセンサ１４のそれぞれ及び各ビデオセンサ１４のロケーションに関する配置について向きと内部パラメータを提供する。コンピュータシステム１１はオプションでロケーションのマップを維持することができ，ビデオセンサ１４の配置はマップ上で表示できる。マップは環境の二次元または三次元の表記である場合がある。加えて，手動校正はシステムにオブジェクトの近似サイズと相対位置を判断するために十分な情報を提供する。
【０１０１】
代わりに，手動校正の場合，オペレータは人物などの既知のサイズのオブジェクトの出現を表すグラフィックでセンサからのビデオ画像をマークアップすることができる。オペレータが少なくとも２つの異なるロケーションで画像をマークアップできる場合，システムは近似カメラ校正情報を推測できる。
【０１０２】
半自動校正及び自動校正の場合，カメラパラメータまたは場面幾何学形状の知識は必要とされない。半自動校正及び自動校正から，場面内の多様な領域にあるオブジェクトのサイズを近似するためにルックアップテーブルが作成されるか，あるいはカメラの内部及び外部カメラ構成パラメータが推測される。
【０１０３】
半自動校正の場合，監視テレビ装置は，オペレータからの入力と結合されるビデオソースを使用して校正される。単一の人物が，半自動校正されるためにビデオセンサのフィールドに配置される。コンピュータシステム１１は，単一の人物に関するソースビデオを受け取り，このデータに基づいて人物のサイズを推測する。人物が表示されるビデオセンサの視野の中のロケーション数が増加するにつれ，及び人物がビデオセンサの視野に表示される期間が延びるに従って，半自動校正の角度が高まる。
【０１０４】
図７は監視テレビ装置の半自動校正の流れ図を描いている。ブロック７１は，典型的なオブジェクトが多様な軌道で場面を通って移動する点を除き，ブロック４１と同じである。典型的なオブジェクトは多様な速度を有し，多様な位置で静止することがある。例えば，典型的なオブジェクトは可能な限りビデオセンサの近くに移動してから，可能な限り遠くにビデオセンサから離れる。典型的なオブジェクトのこの動きは必要に応じて繰り返すことができる。
【０１０５】
ブロック７２から２５はそれぞれブロック５１から５４と同じである。
【０１０６】
ブロック７６では，典型的なオブジェクトは場面全体で監視される。追跡調査されているただ一つの（または少なくとも最も）安定したオブジェクトが場面内の校正オブジェクト（つまり，場面を通って移動する典型的なオブジェクト）であると仮定される。安定したオブジェクトのサイズは，それが観察される場面内のあらゆる点で収集され，この情報は校正情報を生成するために使用される。
【０１０７】
ブロック７７では，典型的なオブジェクトのサイズは場面全体のさまざまな領域について識別される。典型的なオブジェクトのサイズは場面内の多様な領域での類似するオブジェクトの近似サイズを決定するために使用される。この情報を用いて，ルックアップテーブルが生成され，画像内の多様な領域での典型的なオブジェクトの典型的な外見上のサイズをマッチングするか，あるいは内部及び外部カメラ校正パラメータが推測される。例の出力として，画像の多様な領域におけるスティックサイズ（ｓｔｉｃｋ−ｓｉｚｅｄ）の図の表示が，システムが何を適切な高さと判断したのかを示している。このようなスティックサイズの図は図１１に描かれている。
【０１０８】
自動校正の場合，コンピュータシステム１１が各ビデオセンサの視野の中のロケーションに関する情報を決定する学習フェーズが実施される。自動校正中，コンピュータシステム１１は場面に典型的なオブジェクトの統計的に重要なサンプリングを取得し，このようにして典型的な外見上のサイズとロケーションを推測するために十分である代表的な期間（例えば，分，時間または日）についてロケーションのソースビデオを受け取る。
【０１０９】
図８は，監視テレビ装置の自動校正の流れ図を描いている。ブロック８１から８６は図７のブロック７１から７６と同じである。
【０１１０】
ブロック８７では，ビデオセンサの視野内の追跡調査可能な領域が識別されている。追跡調査可能領域は，オブジェクトを容易に及び／または正確に追跡調査できるビデオセンサの視界内の領域を指している。追跡調査不能領域は，オブジェクトが容易に及び／または正確に追跡調査されない，及び／または追跡調査するのが困難であるビデオセンサの視界内の領域を指している。追跡調査不能領域は不安定な領域またはｉｎｓａｌｉｅｎｔ領域と呼ぶことができる。オブジェクトが小さすぎて（例えば所定の閾値より小さい），出現する時間が短すぎる（例えば，所定の閾値未満），あるいは凸部ではない（例えば，意図的ではない）動きを示すため，オブジェクトが追跡調査するのが困難な場合がある。追跡調査可能領域は，例えば非特許文献１３に説明される技法を使用して識別できる。
【０１１１】
図１０は，食料品内の通路について決定される追跡調査可能領域を描いている。通路の遠端にある領域は，この領域内に出現するコンフューザが多すぎるためにｉｎｓａｌｉｅｎｔであると判断される。コンフューザは追跡調査方式を混乱させるビデオ内の何かを指している。コンフューザの例は，吹いている葉，雨，部分的に塞がれたオブジェクト，及び時間が短すぎて正確に追跡調査できないと考えられるオブジェクトを含む。対照的に通路の近端にある領域は，この領域について良好なトラックが決定されるため凸部と判断される。
【０１１２】
ブロック８８では，場面全体でさまざまな領域に対してオブジェクトのサイズが識別される。オブジェクトのサイズは，場面内の多様な領域で類似するオブジェクトの近似サイズを決定するために使用される。ヒストグラムまたは統計的な中央地を使用するなどの技法が，オブジェクトの典型的な外見上の高さと幅を場面内のロケーションの関数として決定するために使用される。場面の画像の一部分では，典型的なオブジェクトは典型的な外面的な高さと幅を有する場合がある。この情報を用いて，ルックアップテーブルが作成され，画像内の多様な領域におけるオブジェクトの典型的な外見的なサイズをマッチングするか，あるいは内部及び外部のカメラ校正パラメータを推測できる。
【０１１３】
図１１は，図１０から食料品店の通路内で典型的なオブジェクトの典型的なサイズを識別することを描いている。典型的なオブジェクトは人であると仮定され，相応してラベルによって識別される。人の典型的なサイズは凸部領域内で検出される人の平均高さと平均幅のプロットを通して決定される。例では，プロットＡは，平均的な人の平均的な高さについて決定され，プロットＢは一人の人物，二人の人物及び三人の人物の平均的な幅について決定される。
【０１１４】
プロットＡの場合，ｘ軸はピクセル内のブロブ（ｂｌｏｂ）エラーの高さを描き，ｙ軸は，ｘ軸で識別されるように，発生する特定の高さのインスタンスの数を描く。プロットＡの線の頂点は場面内の指定された領域内のブロブエラーの最も一般的な高さに相当し，この例については，頂点は指定された領域内で立っている人物の平均的な高さに対応する。
【０１１５】
人が結束力のゆるい集団で移動すると仮定すると，プロットＡに類似するグラフがプロットＢとして幅について作成される。プロットＢの場合，ｘ軸はピクセル単位でブロブエラーの幅を描き，ｙ軸はｘ軸上で識別されるように，発生するある特定の幅のインスタンスの数を描く。プロットＢの行の頂点は多くのブロブエラー数の平均幅に相当する。大部分のグループに含まれるのがただ一人の人物であると仮定すると，最大頂点は，指定領域内の単一の人物の平均的な幅に相当する最も一般的な幅に相当する。同様に，第２の最大頂点は指定領域内の二人の人物の平均的な幅に相当し，第３の最大頂点は指定領域内の三人の人物の平均的な幅に相当する。
【０１１６】
図９は，本発明の監視テレビ装置の追加の流れ図を描いている。この追加の実施形態では，システムはイベント識別子と共にアーカイブに入れられたビデオプリミティブを分析し，ソースビデオ全体を見直さなくても，例えば追加レポートを作成する。ビデオソースが本発明に従って処理された後の任意の時点で，ソースビデオのためのビデオプリミティブが図４のブロック４３でアーカイブに入れられる。ビデオプリミティブだけが検討されるため，及びビデオソースは再処理されないため，ビデオコンテンツは相対的に短い時間内に追加の実施形態と共に分析し直すことができる。これにより現在の最新式のシステムに優る大きな効率の改善が実現される。ビデオイメージデータの処理はきめて計算的に高価であるのに対し，ビデオから抽象化される小さなサイズのビデオプリミティブはきわめて計算的に安価である。一例として以下のイベント識別子，つまり「過去２ヶ月に領域Ａで１０分を超えて立ち止まる人の数」を生成することができる。追加の実施形態を用いる場合，ソースビデオの過去２ヶ月を検討する必要はない。代わりに，過去２ヶ月のビデオプリミティブだけを検討する必要があり，はるかに効率的なプロセスである。
【０１１７】
ブロック９１は，図２のブロック２３と同じである。ブロック９２では，アーカイブに入れられたビデオプリミティブがアクセスされる。ビデオプリミティブは図４のブロック４３でアーカイブに入れられる。ブロック９３と９４は，図４のブロック４４と４５と同じである。
【０１１８】
例示的な応用例として，本発明は小売りディスプレイの効き目を測定することにより小売市場空間を分析するために使用できる。ディスプレイされるアイテムと補助的なアイテム両方の販売を促進するために可能な限り人目を引こうとして，多額の金額が小売りディスプレイに注入される。本発明の監視テレビ装置はこれらの小売りディスプレイの効果を測定するために構成できる。
【０１１９】
例示的な応用例の場合，監視テレビ装置はビデオセンサの視野を，所望される小売りディスプレイの回りの空間に向けることによってセットアップされる。タスキング中，オペレータは所望される小売りディスプレイの回りの空間を表す領域を選択する。識別子として，オペレータは，自分が，領域に入り，適度な速度の削減を示すか，あるいはかなりの時間量停止するかのどちらかである人のサイズのオブジェクトを監視することを希望すると定義する。
【０１２０】
なんらかの期間動作した後に，監視テレビ装置は市場分析のためのレポートを提供できる。該レポートは，小売りディスプレイの回りで減速した人の数，小売りディスプレイで止まった人の数，何人が週末に関心を持ち，何人が夜に関心を持っていたかなどの時間の関数として小売りディスプレイに関心を持った人の内訳，及び小売りディスプレイに関心を示した人のビデオスナップショットを含む場合がある。監視テレビ装置から得られる市場研究情報は，店舗からの販売情報及び店舗からのカスタマレコードと組み合わせ，小売りディスプレイの効き目に関するアナリストの理解を改善できる。
【０１２１】
本明細書に説明されている実施形態及び例は非制限的な例である。
【０１２２】
本発明は好適な実施形態に関して詳しく説明され，変更及び変型がそのより広い態様において本発明から逸脱することなく加えられてよく，したがって請求項に定義されるように本発明が本発明の真の精神に該当するとしてすべてのこのような変更及び変型をカバーすることが意図されることは，前記から当業者に対して明らかになるだろう。
【図面の簡単な説明】
【０１２３】
【図１】本発明の実施形態における監視テレビ装置の概略図である。
【図２】同実施の形態における監視テレビ装置の流れ図である。
【図３】同実施の形態における監視テレビ装置に仕事を課すための流れ図である。
【図４】同実施の形態における監視テレビ装置を操作するための流れ図である。
【図５】同実施の形態における監視テレビ装置のためにビデオプリミティブを抽出するための流れ図である。
【図６】同実施の形態における監視テレビ装置を用いて処置を講じるための流れ図である。
【図７】同実施の形態における監視テレビ装置の半自動校正のための流れ図である。
【図８】同実施の形態における監視テレビ装置の自動校正のための流れ図である。
【図９】同実施の形態における監視テレビ装置の追加流れ図である。
【図１０】食料品店の監視に適用された本発明の監視テレビ装置の例を説明する図である。
【図１１】食料品店の監視に適用された本発明の監視テレビ装置の例を説明する図である。
【図１２】食料品店の監視に適用された本発明の監視テレビ装置の例を説明する図である。
【図１３】食料品店の監視に適用された本発明の監視テレビ装置の例を説明する図である。
【図１４】食料品店の監視に適用された本発明の監視テレビ装置の例を説明する図である。
【図１５】食料品店の監視に適用された本発明の監視テレビ装置の例を説明する図である。
【符号の説明】
【０１２４】
１４  ビデオセンサ
１５  ビデオレコーダ
１７  他のセンサ
１１  コンピュータシステム
１２  コンピュータ
１３  コンピュータ読み取り可能媒体
１６  Ｉ／Ｏ入力
【図１】
2005510159.tif 000003
【図２】
2005510159.tif 000004
【図３】
2005510159.tif 000005
【図４】
2005510159.tif 000006
【図５】
2005510159.tif 000007
【図６】
2005510159.tif 000008
【図７】
2005510159.tif 000009
【図８】
2005510159.tif 000010
【図９】
2005510159.tif 000011
【図１０】
2005510159.tif 000012
【図１１】
2005510159.tif 000013
【図１２】
2005510159.tif 000014
【図１３】
2005510159.tif 000015
【図１４】
2005510159.tif 000016
【図１５】
2005510159.tif 000017
【国際調査報告】
2005510159.tif 000018