(57)【要約】  【課題】  【解決手段】いくつかの形式のコンピュータあるいは計算機を利用してデジタルデータレコーディングを生成する場合、データは様々な方法で入力され、いくつかの形式の電子媒体に格納される。この処理では、データが計算および変換され、格納するためにデータが最適化される。本発明は、データ圧縮、アクティビティ検出およびオブジェクト認識などの多くの異なる処理それぞれに必要なものを含む方法により計算を設計することに関する。到着したデータがこのように計算および格納されると、各処理の情報が同時に抽出される。異なる処理の計算は、単一のプロセッサで連続的に実行され、あるいは複数の分散型プロセッサで並列に実行される。抽出処理を「要約分解」と称し、抽出された情報を「要約データ」と称する。通常、「要約データ」の語は、オリジナルデータの主要部を含まない。要約データは、生成される特定の問い合わせに対する事前のバイアスなしで生成され、このため、レコーディングを生成する前に検索基準を入力する必要がない。また、これは、要約分解をするのに利用されるアルゴリズム／計算の特性にも依存しない。（処理された）要約データを有する（処理された）オリジナルデータを含む得られたデータは、関連するデータベースに格納される。代替的に、簡単な形式の要約データを主要なデータの一部として格納してもよい。レコーディングが実施された後、要約データは、データの主要部を調べる必要なく分析できる。必要な計算の大部分がオリジナルデータのレコーディングのときに既に行われているため、この分析は、非常に高速で実施される。要約データを分析することにより、必要に応じて主要なデータレコーディングから関連するデータにアクセスするのに利用されるマーカーが提供される。この方法により分析を行う実質的な効果は、従来の方法で分析すると数日あるいは数週間を要する膨大な記録されたデジタルデータが、数秒あるいは数分で分析できることである。また、本発明は、連続したパラメータ化されたウェーブレット群の処理に関する。多くのウェーブレットは、８ビットあるいは１６ビット表現内で表現できる。また、本発明は、適応ウェーブレットを利用して周囲の状況の変化に強い情報を抽出する処理、局所的な適応量子化および閾値化スキームを利用してデータ圧縮を実行する処理、およびポストレコーディング分析を実行する処理に関連する。【選択図】なし【特許請求の範囲】
【請求項１】
多数の連続したデジタル化されたデータを問い合わせまたは検索する方法であって、
（ａ）ピラミッド分解を利用してデータを分解するステップと、
（ｂ）選別処理を実施してデータ属性（要約データ）の情報を分離するステップと、
（ｃ）前記データおよび前記要約データをインデックスとともに格納するステップと、
（ｄ）問い合わせあるいは検索基準を設定するステップと、
（ｅ）要約データを取り出すステップと、
（ｆ）前記問い合わせあるいは検索基準を前記取り出された要約データに適用するステップとを利用することを特徴とする方法。
【請求項２】
請求項１に記載の方法において、前記インデックスが、対応するメインデータを取り出すのに利用されることを特徴とする方法。
【請求項３】
請求項１に記載の方法において、前記分解が、ウェーブレットを利用して実施されることを特徴とする方法。
【請求項４】
請求項２に記載の方法において、前記分解が、適応ウェーブレット階層を利用して実施されることを特徴とする方法。
【請求項５】
請求項１に記載の方法において、前記選別処理が、ノイズ属性を抽出するのに利用されることを特徴とする方法。
【請求項６】
請求項１に記載の方法において、前記選別処理が、静止した背景の情報を抽出するのに利用されることを特徴とする方法。
【請求項７】
請求項１に記載の方法において、前記選別処理が、静的な背景の情報を抽出するのに利用されることを特徴とする方法。
【請求項８】
請求項１に記載の方法において、前記選別処理が、動的な動作の情報を抽出するのに利用されることを特徴とする方法。
【請求項９】
請求項１に記載の方法において、前記選別処理が、オブジェクトの情報を抽出するのに利用されることを特徴とする方法。
【請求項１０】
請求項４に記載の方法において、要約データが、１または複数のマスク形式であることを特徴とする方法。
【請求項１１】
ピラミッド分解を利用して応用例のためのウェーブレット計算を促進する方法であって、
（ａ）連続的な変数を利用して偶数ポイントのウェーブレット群をパラメータ化するステップと、
（ｂ）前記変数を利用してウェーブレット係数のセットを生成するステップとによりウェーブレット計算を促進する方法。
【請求項１２】
請求項１１に記載の方法において、８ビット表現で正確に表現可能な係数セットが生成されることを特徴とする方法。
【請求項１３】
請求項１１に記載の方法において、前記ウェーブレット係数が、所定のスケールに「調整」されることを特徴とする方法。
【請求項１４】
ウェーブレットによるピラミッド分解を利用して、デジタル化されたデータシーケンスを処理する方法において、前記シーケンスの各データセットが、適応ウェーブレットを利用してウェーブレット表現に変換されることを特徴とする方法。
【請求項１５】
請求項１４に記載の方法において、適応圧縮が、ノイズと、クリーンデータと、静止したデータと、静的なデータと、動的なデータとを含む異なる要素に前記データを分けることにより、ビデオシーケンスの分析の第１段階を行うために、いくつかの処理ノードで構成される繰返しループを用いることを特徴とする方法。
【請求項１６】
請求項１４に記載の方法において、初めの繰返しで、前記シーケンス内の画像のウェーブレット変換と参照画像のウェーブレット変換との違いが、データポイント毎に演算されることを特徴とする方法。
【請求項１７】
請求項１４に記載の方法において、後の繰返しで、ウェーブレットカーネル置換処理を用いて、照度の変化によるフレームの違いを除去することを特徴とする方法。
【請求項１８】
請求項１７に記載の方法において、前記ウェーブレットカーネル置換が、照度の変化を調整するために、現在の画像の低解像度の特徴を前の画像の同じ特徴と置き換えることを特徴とする方法。
【請求項１９】
請求項１８に記載の方法において、現在のテンプレートのカーネル要素が、現在の画像のカーネル要素に置換され、前記現在の画像およびそのウェーブレット変換の新たなバージョンを生成することを特徴とする方法。
【請求項２０】
請求項１９に記載の方法において、前記新たなデータＪは、ノイズを評価し、様々なマスクを演算するために、オリジナル画像Ｉの代わりに使用できることを特徴とする方法。
【請求項２１】
請求項１４に記載の方法において、フレームの違いの第１レベルのウェーブレット変換の本質的な特徴が関連付けられ、体系的なカメラモーションを計算するのに使用されることを特徴とする方法。演算されたシフトが、外挿処理により後続のカメラモーションを予測するために記録されることを特徴とする方法。
【請求項２２】
請求項２１に記載の方法において、デジタルマスクが演算され、現在の画像と前の画像の重複部分と、計算および格納された重複した領域間の変換とを記録することを特徴とする方法。
【請求項２３】
請求項２２に記載の方法において、体系的なカメラモーションの誤差が、カメラのぶれとして処理され、画像の静止した構成要素が、前記カメラのぶれを調整するための背景のテンプレートを形成するのに利用されることを特徴とする方法。
【請求項２４】
請求項１４に記載の方法において、前記マスクは、画像ノイズ分布の統計パラメータをリファインし、且つこれらのパラメータを利用して前記画像をノイズ成分とクリーンな成分とに分けることにより生成されることを特徴とする方法。
【請求項２５】
請求項２４に記載の方法において、所定の閾値に満たない差を有する画像部分が、前の画像に対して画像が変化しない領域を規定するマスクを生成するのに利用されることを特徴とする方法。前記マスクは、シーンについての更なる情報が取得されると、各繰返しにおいて調整されることを特徴とする方法。
【請求項２６】
請求項１４に記載の方法において、現在のクリーンな画像が、ピラミッドの各レベルでウェーブレット特性が画像特性に適応した異なるウェーブレットを利用する新規な適応ウェーブレット変換を利用して、ピラミッド分解されることを特徴とする方法。
【請求項２７】
請求項１４に記載の方法において、カーネルが変更された現在の画像が、前のテンプレートと比較され、違いがシーン内のモーションとして保存されることを特徴とする方法。
【請求項２８】
請求項２７に記載の方法において、前記シーン内のモーションのマスクが生成され、後に参照するために格納されることを特徴とする方法。
【請求項２９】
請求項１４に記載の方法において、テンプレートが、等式Ｔｊ＝（１−α）Ｔｊ−１＋αＩｊを利用して生成され、静的な背景を平準化し、移動する前面の存在を削除あるいは低減することを特徴とする方法。
【請求項３０】
請求項１４に記載の方法において、複数のテンプレートが、複数のα値のために保存され、αは請求項１４で定義されるようなメモリパラメータであることを特徴とする方法。
【請求項３１】
請求項１４に記載の方法において、現在の画像およびそのピラミッド表現が、将来のデータと比較可能なテンプレートとして保存されることを特徴とする方法。
【請求項３２】
請求項１４に記載の方法において、判断閾値が、背景が動く領域を鈍感にすべく、動的に設定されることを特徴とする方法。
【請求項３３】
請求項３２に記載の方法において、動的な判断閾値の使用による背景の感度の喪失は、局所的な動作をぼかすべく、一定期間に亘り統合されたテンプレートを利用することにより補正されることを特徴とする方法。
【請求項３４】
請求項１４に記載の方法において、動作が検出された画像部分が、画像領域の過去を示す検出の空間的な相関関係と時間的な相関関係とを考慮して、再評価されることを特徴とする方法。
【請求項３５】
請求項１４に記載の方法において、動的な背景データが、空間的および時間的に分析されることを特徴とする方法。
【請求項３６】
請求項３５に記載の方法において、前記空間的な分析は、前記動的な背景の各要素が、当該要素のうち近接する要素との近接性によってスコアが付けられる相関分析であることを特徴とする方法。
【請求項３７】
請求項３５に記載の方法において、前記時間的な分析は、前記動的な背景の要素を、先行するフレームの対応する要素と、先行するフレーム用に既に生成された要約データと比較することにより行われることを特徴とする方法。
【請求項３８】
請求項３５に記載の方法において、前記空間的および時間的な相関関係のスコアリングが、事前に割り当てられた空間的および時間的パターンテーブルにより判断されることを特徴とする方法。
【請求項３９】
請求項１４に記載の方法において、画像マスクが、データストリームの属性毎に生成され、前記属性が示す画像の位置を表わすことを特徴とする方法。
【請求項４０】
請求項１４に記載の方法において、適切に符号化されたウェーブレットデータが、初めに、ビットレートを低減する局所的な特徴に依存する適正な閾値および量子化の処理により、次に、効率的な記憶のために得られた係数の符号化により、圧縮されることを特徴とする方法。
【請求項４１】
請求項４０に記載の方法において、静的な背景が存在するが静止した背景が存在しないウェーブレット表現内の位置が、マスクにより符号化され、前記位置に特有の閾値および量子化が与えられることを特徴とする方法。
【請求項４２】
請求項１４に記載の方法において、画像データＧが、明確な時間制約を有する時間に依存する多数の構成要素の合計として表わされることを特徴とする方法。
【請求項４３】
請求項１４に記載の方法において、ノイズフィルタが生成され、マスキング技術を利用して適用されることを特徴とする方法。
【請求項４４】
請求項１４に記載の方法において、異なるレベルで使用されるウェーブレットが、このパラメータの異なる値を選択することにより、あるレベルから次のレベルに変化することを特徴とする方法。
【請求項４５】
請求項１４に記載の方法において、テンプレートが参照画像として利用され、当該参照画面に対して、現在の画像の内容あるいは現在の画像上の変化を評価することを特徴とする方法。
【請求項４６】
請求項１４に記載の方法において、時間Ｉｊにおける画像ストリームの第１および第２の時間導関数の推定が利用されることを特徴とする方法。
【請求項４７】
請求項１４に記載の方法において、レベルがノイズ分布の既知の確率密度に応じて調整可能であり、このため、ピクセルが異常であると誤認する既知の確率が存在し、動く背景が補正できることを特徴とする方法。
【請求項４８】
請求項４７に記載の方法において、前記異常なピクセルをトラッキングする場合に、改良された基準が、前記ピクセルの位置あるいは空間的に隣接するピクセルが何をしているかを考慮することなく、各ピクセルにおける変化の時系列の歴史を利用することを特徴とする方法。
【請求項４９】
請求項４８に記載の方法において、前記ノイズ分布の確率密度が不明な場合に、パラメータを利用せずに決定がなされることを特徴とする方法。
【請求項５０】
請求項１４に記載の方法において、パラメータが初期値で設定され、フレームの短いシーケンスを検査した後に自動的に調整できることを特徴とする方法。
【請求項５１】
請求項１４に記載の方法において、ブロックスコアリングを用いて、異常な隣接するピクセル自体の数に応じて異常なピクセル毎にスコアを割り当てることにより、異常なピクセルの密集度合を評価すること特徴とする方法。
【請求項５２】
請求項１４に記載の方法において、シーン内のオブジェクトを特定およびトラックするモーションベクタを利用する方法に基づいたウェーブレットカーネル置換が利用されることを特徴とする方法。
【請求項５３】
請求項１４に記載の方法において、速度フィールドが、ウェーブレット変換のＳＳ成分の適切な対数の全スケールにおける空間的なグラディエントを利用して計算されることを特徴とする方法。
【請求項５４】
請求項１４に記載の方法において、適応圧縮が、閾値を決定して当該閾値よりも小さい係数を適切な方法により０に設定するステップと、残りの係数を量子化するステップと、これらの係数を効率的に表わすあるいは符号化するステップとで構成されていることを特徴とする方法。
【請求項５５】
請求項１４に記載の方法において、適応圧縮が、適応閾値化および適応量子化の方法を利用して画像圧縮のタスクを実行するとともに、フレーム内の特別な関心のある領域の画像の質を維持することを特徴とする方法。
【請求項５６】
請求項１４に記載の方法において、「ビットボローイング」処理が利用され、特徴に依存する方法により、あるデータポイントの量子化によるエラーを隣接するデータポイントに分散でき、これにより、局所的な領域の情報の内容全体をできる限り保存することを特徴とする方法。
【請求項５７】
請求項１４に記載の方法において、フレームグループ内の画像に関連する総ての要約データが、要約画像グループにパッケージされ、これらのグループが、ウェーブレット圧縮されたデータチャンクに正確に対応するチャンクに包含されることを特徴とする方法。
【請求項５８】
請求項１４に記載の方法において、圧縮された画像データが保存され、データベースおよび要約データにより参照されることを特徴とする方法。
【請求項５９】
請求項１４に記載の方法において、時間および日付で検索する場合に、ユーザが、選択されたビデオストリームから、ある瞬間に取得したデータを要求し、特定の時間近くで発生した要約データから生成されたイベントが、前記ユーザに返却されることを特徴とする方法。
【請求項６０】
請求項１４に記載の方法において、イベントあるいはオブジェクトを検索する場合に、ユーザが、選択されたビデオストリーム内のシーンの領域と、特定のイベントが発生する検索時間間隔を指定し、前記領域および時間間隔の要約データが検索され、対応するイベントが生成され、前記ユーザに返却されることを特徴とする方法。
【請求項６１】
請求項１４に記載の方法において、要約データを検索する場合に、当該データは、オンにされたビットを対象にユーザが指定した領域のみが検索されるべきであることを意味する単一のビットプレーンであることを特徴とする方法。
【請求項６２】
請求項１４に記載の方法において、成功したクエリーが要約データから生成されている場合に、対応するイベントが生成され、ユーザに返却されるイベントリストに追加されることを特徴とする方法。
【請求項６３】
請求項６２に記載の方法において、イベントが、キーフレームの前後の複数のデータフレームが当該キーフレームの基準を満たさない場合でも、前記複数のデータフレームを備えることを特徴とする方法。
【請求項６４】
請求項１４に記載の方法において、要約データヒットが得られた場合に、何らかの理由によりオブジェクトがサブセットに分類されないとき、これらのストリームに利用可能であり保存された画像から入手可能ないずれの要約データを組み合わせることにより分類が実施されることを特徴とする方法。
【発明の詳細な説明】
【技術分野】
【０００１】
ポストレコーディング分析
本発明は、データが記録された後に、非常に高速にデジタルデータの分析を実行できる処理に関する。
【０００２】
ウェーブレットのパラメータ化
本発明は、連続的なパラメータ化された一群のウェーブレットを生成する処理に関する。多くのウェーブレットは、８ビットあるいは１６ビット表現で正確に表現できる。
【０００３】
ウェーブレットを利用した情報抽出、データ圧縮、およびポストレコード分析
本発明は、周囲の状況の変化に強い情報を抽出すべく適応ウェーブレットを使用する処理と、局所的な適応量子化および閾値化スキーム用いたデータ圧縮を実行する処理と、ポストレコーディング分析の実行する処理に関する。
【０００４】
大量のデジタルデータが、監視、気象学、地質学、医学、および他の多くの分野で応用するために現在記録されている。
【０００５】
関連する情報を抽出すべくこのデータを検索することは、単調で時間を浪費する作業である。
【０００６】
レコードを生成する前に特定のマーカーが設定されない限り、データのインタロゲーションは、所望の情報を検索するために、記録された総てのデータを調べる必要がある。
【０００７】
インタロゲーション処理は自動化できるが、総てのオリジナルデータを分析する必要があるため、インタロゲーションが行われる速度が制限される。例えば、デジタルビデオのレコーディングは、レコーディングするのと同じくらい再生に時間がかかるため、これらを分析は、非常に長い処理である。
【０００８】
危機的な状況が起こり、情報が即座に必要な場合、レコーディングの全体の大きさおよび数により、あり得ない情報を迅速に抽出することができる。
【０００９】
特定のマーカが事前に設定されている場合、記録されたデータの後続のインタロゲーションが素速く行われるが、これらのマーカにより決定される情報に限定される。何を探すかについての決定は、レコーディングが開始する前に行うべきであり、レコーディングごとに個別に実施すべき複雑なセットアップ処理が必要であろう。
【００１０】
本発明の重要な特徴は、インタロゲーションの正確な要求は、レコーディングが完了するまで特定する必要がない。標準的な簡単なデータレコーディングは、データ分析の今後の必要を考慮することなく行うことができる。
【００１１】
したがって、後者の分析が必要な場合、この処理は、インタロゲーションを非常に高速に実施し、短い時間で多くのデータ量を分析できる。
【００１２】
これは、労力と費用を非常に節約するだけでなく、実際面で従前では不可能であった規模で、非常に多くのデジタル情報を分析できる。
【００１３】
この処理は、限定ではなく、画像、音および振動データを含む任意の種類のストリームデジタルデータに応用できる。
【００１４】
この分析は、限定ではなく、データの動的な動作の変化、データの空間的な構造および分配の変化を含む多くの種類により構成してもよい。
【００１５】
この分析は、一般的でもよく（例えば、いずれの非反復的な動作あるいはいずれの大きさのオブジェクト）、あるいは細かくてもよい（例えば、特定の出入口あるいは同じような特定のフェースを介した動作）。
【００１６】
一般に分析されるデータ種類の例は、
（特定の種類のアクティビティを検出するための）デジタルビデオレコーディング、
（フェースあるいはナンバープレートなどの特定の種類のオブジェクトを認識するための）デジタルビデオレコーディング、
（鉱物等の存在を検出するための）振動のレコーディング、
（骨、考古学的な遺物等の存在を検出するための）振動のレコーディング、
（キーワード、特定の音、音声パターン等を検出するための）音のレコーディング、
（カルジオグラムの特有の特徴を検出するための）医学的データのレコーディング、
（交通流量、消費者の購買傾向等を監視するための）統計データ、
（気象パターン、海流、温度等を分析するための）環境データである。
【００１７】
ビデオシーケンスを分析する場合、ウェーブレットは、画像を分解するのによく用いられる。この目的のためにウェーブレットを使用することは多くの利点があり、多くの応用例で使用されている。
【００１８】
いくつかの応用例に特によく適しているウェーブレットのいくつかのクラスが、定義されている。例えば、DaubechieおよびCoifletウェーブレットである。本発明は、連続型変数を用いて、パラメータ化された方法により、これらのウェーブレットおよび他の総ての偶数ポイント（even-point）ウェーブレットを表わす方法を提供する。本発明は、適切な規模のために自動的に選択でき、データの内容に適応ウェーブレットを簡単に演算する方法を提供する。
【００１９】
DaubechieおよびCoifletウェーブレットを含む多くのウェーブレットは、無理数の演算が必要であり、浮動小数点計算を利用して演算しなければならない。本発明は、整数計算を利用して、任意に選択されたウェーブレットに近似するウェーブレットを算出する方法を提供する。整数演算は、正確であり丸めによるエラーなく元に戻すことができ、少ない電力によりマイクロプロセッサで実行でき、浮動小数点計算で必要とされる熱よりも少ない熱を発生させる。これは、多くの状況において有利である。
【００２０】
ノイズをフィルタリングし、背景動作と割り込み動作を区別する方法の改善は、要約的なデータの情報内容を最適化するのに有用である。本発明は、背景を決定するための複数のテンプレートの使用、背景の決定における「カーネル置換（kernel substitution）」の使用、ピクセルの違いの重要性を予測するための「ブロックスコアリング」の方法を含むこのような多くの改善を行う方法を提供する。
【００２１】
ウェーブレットを利用したビデオ画像の圧縮では、局所的な適応ウェーブレットの使用により、高圧縮から重要な画像の詳細を保護するメカニズムを提供する。特別に関心のありそうな画像内の領域を特定し、ノイズをフィルタリングし背景を決定する様々な方法を使用することにより、高圧縮アルゴリズムの適用からこれらの領域を除外すべく、マスクが作成できる。この方法では、特別に関心のある領域は、画像の残りの部分よりもより高いレベルのディテールを維持し、画質を落とすことなく高圧縮方法を利用できる。
【００２２】
ウェーブレットの圧縮は、気象データの生成に関する多くの処理のために、普通のコンピュータ環境を提供する。特別に関心のある領域を特定するために生成されるマスクは、気象データとして利用可能な一組のデータを選択的に生成する。
【００２３】
本発明は、画像処理分野における多くの特殊化の結果を利用および統合する。特に、本発明は、多くの新規性のある分析技術に基づいて、画像データの複数のミラミッド分解（pyramidal decomposition）を利用する。複数のデータ表示を使用することにより、組み合わせたときにデータレベルで何が起きているかについての健全かつ信頼性のある表示を提供する複数の異なるデータビューが可能になる。この情報は、画像データと同時に記録可能な気象データを生成するために組み合わせれた一組の属性マスクとして符号化され、膨大な量のデータの高速なインタロゲーションおよび相関が可能になる。
【背景技術】
【００２４】
関連技術の説明
本発明は、多数の分野の方法および装置に関し、この分野は、ビデオデータマイニング、ビデオ動画検出および分類、画像セグメンテーション、ウェーブレット画像圧縮である。当業者であれば、これらの分野に関連する従来技術に精通しているであろう。本発明が取り組む主要な課題は、この種の画像処理をリアルタイムで実行する要求であり、この要求は、例えば、テレビおよびビデオレコーディングがＨＤＴＶに移行するように、アルゴリズムに大きな制約をかける。
【００２５】
シーンの光の変化は、リアルタイムのビデオストリームのセグメント化における問題の主な原因である。このような状況におけるフレーム間の比較は、特に光の変化が急速で一時的な場合に、困難でありモデルに依存する。ここで、これをリアルタイムで処理する場合に、簡単で効果的なモデルに依存しない方法を紹介する。我々が採用する方法は、誤検出の割合が非常に低い状態で処理される画像背景（揺れる木）内の動く要素を可能にする。
【００２６】
画像セグメンテーション。今では古典的な論文であるToyama,K.;Krumm,J.;Brumitt,B.;Meyers,B.1999.Wallflower:Principles and Practice of Background Maintenance" 。International Conference on Computer Vision, 255-261およびマイクロソフト社に関連するウェブページ（http://research.microsoft.com/~jckrumm/WallFlower/TestImages.htm）は、広い文献の主題である「Wallflower system」の情報源である。（1997, IEEE Trans Patt. Anal. Machine Intel., 19, 394でCaselles等により例示されている）偏微分方程式に基づくセグメント化方法は興味深いが、リアルタイムの応用に対し未だ現実的ではない。他の処理では、Kalman Filtering, Mixture of Gaussian Models and Hidden Markov modelsがある。
【００２７】
画像からのノイズのフィルタリング。これは、長い歴史を有する課題である。手軽な一様な閾値からリソースを最大限に消費するエントロピ式の方法に至るまで、ノイズの構成要素を特定する多くの方法が存在する。ウェーブレットの世界は、Donohoおよび協力者の革新的な功績（例えば、the pioneering D.L. Donoho and I.M. Johnstone, "Ideal spatial adaptation via wavelet shrinkage," Biometrika, vol.81, pp.425-455, 199）により支配されており、これらは以下に記されている。また、G.Ramponi, "Detail-preserving filter for noisy image", Electronics Letters, 1995, 31, 865などの初期研究により実証された非線形フィルタに基づく、特徴保存ノイズ除去（feature-preserving noise removal）のための多くの解決策がある。加重メジアンフィルタおよび他の順序統計量に基づくフィルタは、ほぼ間違いなくJ.W. Tuley's "Nonlinear methods for smoothing data", Conf.Rec.Eascom(174)p673."を思い出す。
【００２８】
分類および検索。最近の研究のいくつかの意図は、１０以上前のプロジェクト、ＶＩＳＩＯＮ（ネットワークを介した検索のためのビデオインデックス）プロジェクト、ＤＶＬＳ（デジタルビデオライブラリシステム）およびＱＢＩＣ（画像およびビデオコンテントによるクエリー）に由来する。例えば、M. Flicker, H. Sawhney, W. Niblack, J. Ashley, Q. Huang, B.Dom, M.Gorkani, J.Hafner, D. Lee, D. Petkovic, D. Steele, P. Yanker, Query by Image and Video Content: The QBIC System, Computer, v.28 n.9, p.23-32, September 1995および"The VISION Digital Video Library and Information Science. Vol.68, Supplement 31, 2000, pp.366-381., 2000を参照。以前からビデオデータの自動検索の分野において開発が盛んに行われている。
【００２９】
画像の多重解像度（multi-resolution）表示およびウェーブレット。画像を処理するための階層的な（多重解像度）ウェーブレット変換の使用は、ノイズの除去、特徴検出およびデータ圧縮を含む幅広い話題を網羅する広範な研究を有する。応用例ごとに作られた特定目的のウェーブレットを有するいずれのウェーブレット研究が最もよいのか、またその理由についてに関する疑問について議論がよく交わされている。
【００３０】
他の画像処理タスク。安全および監視の分野の狭い領域内でさえ、手ぶれなどの画像収集の態様や、領域マッチング、動作検出および目標追跡などの画像シーケンス処理の態様を網羅するイメージングの応用例を目にする。この技術の多くは、商業製品に組み込まれている。ランダムなカメラモーションおよびトラッキングシステム動作は、多くの研究者により取り組まれている。ここでは、天文学界の適応制御光学（ＡＯ）プログラムからいくつかの研究を引用する。試験済の多くの方法の中で、Quad Correlation法が、リアルタイムの状況では非常に簡単で効果的である。Herriot等の(2000)Proc SPIE, 115, 4007がオリジナルの資料である。最近の見解である天文学の画像安定化コンテキストのThomas等の(2006)Mon. Not. R Asrt. Soc. 371, 323を参照。
【発明の開示】
【課題を解決するための手段】
【００３１】
何らかの形でコンピュータあるいは計算機を用いてデジタルデータレコーディングを作成する場合、データが様々な方法で入力され、何らかの形で電子媒体に記録される。この処理の間、データに対して計算および変換が実行され、記録のためにデータを最適化する。
【００３２】
本発明は、データ圧縮、アクティビティ検出および目標認識などの多くの異なる処理に必要なものが計算に含まれているような方法により、計算を設計することに関する。
【００３３】
到着するデータがこれらの計算で管理および蓄積されるため、各処理の情報が同じタイミングで抽出される。
【００３４】
異なる処理の計算は、単一のプロセッサで連続的に、あるいは複数の分散型プロセッサで並行して実行される。
【００３５】
我々は、抽出処理を「要約分解（synoptic decomposition）」と呼び、抽出された情報を「要約データ」と呼ぶ。「要約データ」の語は通常、オリジナルデータの主要部分を含まない。
【００３６】
要約データは、実行されるインタロゲーションを特定する事前のバイアスなしに生成され、レコーディングを作成する前に、検索基準を入力する必要がない。これは、要約的な分解を実行するのに利用されるアルゴリズム／計算の特性に依存しない。
【００３７】
（処理された）要約データと（処理された）オリジナルデータを含む得られたデータは、関連するデータベースに格納される。代替的に、簡単な形式の要約データは、メインデータの一部として記録してもよい。
【００３８】
レコーディングが実行された後、要約データは、データの主要部を調べる必要なく分析できる。
【００３９】
この分析は、必要な計算の大部分が元のレコーディングと同時に既に行われているため、非常に速く行うことができる。
【００４０】
要約データを分析は、必要に応じて、メインデータのレコーディングから関連するデータにアクセスするのに利用可能なマーカーを提供する。
【００４１】
この方法による分析の実質的な効果は、従来の方法による分析では数日あるいは数週間要していた大量の記録されたデジタルデータを、数秒あるいは数分で分析できることである。
【００４２】
この分析を行うのに必要なユーザインタフェースの形式には制限がない。
【００４３】
ある実施例では、本発明はリアルタイムの画像処理に依存し、この処理により、必要な画像が、ストリームデータセットのサイズ、色、形状、位置、移動のパターン、あるいは他のこのような属性を予測することなく、シーンの中で動く総てのターゲットを確実に特定する方法で分析およびセグメント化される。この特定は、利用可能な資源内で可能な限り、システムあるいはランダムなカメラモーションから独立しており、シーンイルミネーションの変化から独立している。
【発明を実施するための最良の形態】
【００４４】
セクション１：ポストレコーディング分析
図１は、通常形式の処理のブロック図である。ブロック１乃至８は、「レコーダ」を備え、ブロック９乃至１５は、「アナライザ」を備えている。各ブロックは、新規あるいは周知の小さな処理あるいは一組の処理を示している。一連のデジタル化されたデータは、レコーダに入力され、１以上のピラミッド分解される（ブロック１）。このような分解の例は、ウェーブレット変換であるが、いずれのピラミッド分解を実施してもよい。分解されたデータは、異なる種類の情報の内容を分離する１以上の「ふるい（シーブ）」により「選別される」（ブロック２）。これらの例は、ノイズフィルタあるいは動作検出器である。このふるいは一度行われ、あるいは反復して何度も行ってもよい。選別処理の結果は、適用の目的に依存する３つのカテゴリ、
（ａ）通常はノイズであるが、無損失処理あるいは無損失データ圧縮が必要な場合、このカテゴリはＮＵＬＬでもよい「必要でない」データ（ブロック３）、
（ｂ）（ａ）以外の総ての情報を含む「メイン」データ（ブロック４）、
（ｃ）適用の目的に応じて、選択された多数の選別処理の結果で構成される「要約」データ（ブロック５）に分けられる。
【００４５】
要約データの重要な特徴は、選別されたデータであり、選別処理は、選別されたデータから一般的な特性を抽出し、このデータの特定の位置における特定の特徴あるいはイベントを単純に特定しない。
【００４６】
任意のステップでは、分離されたメインデータが圧縮され（ブロック６）、また、分離された要約データも圧縮してもよい（ブロック７）。選別処理がピラミッド分解の頂点でデータに適用されたとすると、要約データは通常、メインデータの大きさよりもかなり小さくなるであろう。
【００４７】
次に、メインデータおよび要約データは、データベースに格納され（ブロック８）、連続的にインデックスが付される。このインデックスは、メインデータと対応する要約データを関連づける。これにより、処理のレコーディング段階が完了する。
【００４８】
分析段階は、例えば、特定のイベントの発生、特定の特性を有する特定のオブジェクトの存在、あるいはデータシーケンスのテクスチャトレンドの存在などのデータについて、特定のクエリーの形で行われるインタロゲーション処理のセットアップから始まる（ブロック９）。この処理のユーザインタフェースはいずれの形式でもよいが、クエリーは、要約データのフォーマットおよび範囲に対応すべきである。
【００４９】
関連するデータの連続的なサブセットは、クエリーにより決定され、例えば、クエリーは、インタロゲーションを所定の時間間隔に制限してもよく、対応する要約データは、データベースから抽出され、必要に応じて解凍される（ブロック１０）。次に、抽出された要約データは問い合わせされる（ブロック１１）。インタロゲーション処理は、ブロック２で行われた選別処理の完了（completion）を含み、データ内の特定の位置における部分的あるいは一時的な特定の特徴あるいはイベントを特定する決定段階に処理を移行する。特定の情報を抽出するのに必要な詳細は、インタロゲーション段階、即ち、レコーディングが行われた後に提供される（ブロック９）。インタロゲーションの結果は、クエリー条件が満たされたデータ内の一組の特定の位置である（ブロック１２）。結果は、要約データに含まれる情報の量により制限される。より詳細な結果が必要な場合、特定の位置に対応するメインデータのサブセットは、データベースから抽出すべきであり（ブロック１３）、必要に応じて解凍される。次に、より詳細な選別処理がこれらのサブセットに行われ、詳細なクエリーに応答する（ブロック１４）。
【００５０】
ブロック１３あるいは１４のいずれかから得られる対応するデータを表示すべく、好適なグラフィカルユーザインタフェースあるいは他の表示用プログラムを使用できる。これはいずれの形式でもよい。メインデータの解凍が、選別あるいは表示のいずれかを必要とする場合（ブロック１３あるいは１４）、元のピラミッド分解は可逆であろ必要がある。
【００５１】
要約データから情報を抽出するのに必要な演算量は、情報を抽出し且つメインデータのサブセットの選別処理をさらに実行するのに必要な演算量よりも少ないが、これらの処置双方は、要約データから供給される情報を含まない記録されたメインデータの選別処理よりも少ない演算を必要とする。
【００５２】
この処理の詳細な実施例は、セクション３に示す。
【００５３】
セクション２：ウェーブレットおよびウェーブレット分解
１次元のウェーブレット
１次元のデータセットのウェーブレット変換は、データの伸張の数学的な演算であり、データは、変換により２つパートに分割される。１のパートは、単純にオリジナルデータの半分の大きさに圧縮されたデータである。これが、単に２つの要素により拡張された場合、これの元であるオリジナルデータを復元しないだろう、即ち、情報は圧縮処理で失われる。ウェーブレット変換にとってよいのは、圧縮したデータだけでなく、伸張によりオリジナルデータを復元するのに必要な多くのデータを生成することである。
【００５４】
和および差
図２を参照する。変換されたデータは、オリジナルと同じ大きさであるが、これは２つのパートで構成されており、一方のパートは、圧縮されたデータであり、他方のパートは、拡張の際に再追加すべき総ての特徴である。ウェーブレット変換のパートであるこれらの和をＳ、差をＤと称する。
【００５５】
平凡な例
総合的な平凡な例は、２つの数字ａおよびｂで構成されるデータセットであると考えられる。和は、Ｓ＝（ａ＋ｂ）／２であり、差は、Ｄ＝（ａ−ｂ）／２である。オリジナルデータは、単純にａ＝Ｓ＋Ｄ，ｂ＝Ｓ−Ｄを行うことにより復元される。これは、総てのウェーブレットうち最も初歩的な基礎であるハールウェーブレットである。あらゆるポイントで機能すると同時に、これを実行を実行する様々なウェーブレットが存在する。これらは総て、いくらか異なる特性を有しており、データに対して異なる処理をする。したがって、未解決の問題は常に、いずれの状況下で、これらのうちのいずれを使用するのが最適であるのかということである。
【００５６】
レベル
ウェーブレットのパートの和は、オリジナルデータよりも４倍短いデータを生成すべく、変換されたウェーブレットとすることができる。これは、ウェーブレット変換の第２のレベルとみなされる。したがって、オリジナルデータはレベル０であり、１回目のウェーブレット変換はレベル１である。
圧縮されたデータが単純に１ポイントである限り、継続可能である（実際には、これは、オリジナルデータの長さが２の累乗であることを要する）。
【００５７】
４ポイントウェーブレットフィルタ
Ｎポイントウェーブレットフィルタは１０以上前に有名になっており（I.Daubechies, 1992, Ten Lectures on Wavelets, SIAM, Philadelphia, PAを参照）、ウェーブレット変換の歴史はさらに過去に遡る。このテーマについての多くの研究や多くの取り組みが存在し、これらは総て、多くの書籍および論文に記載されている。
ここで重要なのは、一群のウェーブレットであり、明確にするために、４ポイントフィルタに注目する。結論は、６ポイントおよびそれ以上のポイントである。
【００５８】
４ポイントフィルタ
４ポイントウェーブレットフィルタは、４つの係数をもち、これらは｛α０，α１，α２，α３｝で示される。ある線上の４等分点における関数の値（ｈ０，ｈ１，ｈ２，ｈ３）とすると、我々は、２つの数字Ｓ０およびｄ０を算出できる。
2009509218.tif 000002
（［００５８］）．１
２Ｎデータポイントの線に沿ってフィルタ｛α０，α１，α２，α３｝をシフトする場合、２ポイントのステップでは、Ｎ対の数字（ｓｉ，ｄｉ）を算出できる。したがって、係数の再配列では、
2009509218.tif 000003
（［００５８］）．２
となる。
重要な要件は、この変換が可逆であることである。これは、以下の条件を課す。
2009509218.tif 000004
（［００５８］）．３
また、
2009509218.tif 000005
（［００５８］）．４
である。変換されたデータが、消失モーメント（vanishing moment）などの特定の所望の特性を備えるために、さらに条件を課すことができる。
【００５９】
幾何学的解釈
２つの関係（［００５８］）．３は、これらの４つのウェーブレットを分類でき、正確な整数値を有する関心のある係数のセットを導出できる簡単で精密な幾何学的解釈を可能にする。
図２を参照する。原点Ｏを有する一組の直角軸｛Ｏｘ，Ｏｙ｝が示されており、角度が４５°の直線ＯＣが描かれている。点ＣはＯからユニットの距離にあり、Ｃを中心とするユニットの直径の円を描く。円とＯｘが交わる点Ｌおよび円とＯｙが交わる点Ｍを明記するのが有用である。直線ＯＣは、延在してＩで円と交わり、したがって、ＯＩは直径であり、ユニットの長さを有する。
ここで、円上の２点ＰおよびＱを見ると、角ＰＯＱは直角である。次に、ＰＱは円の対角線である。次に、ＯＰとＯｙ軸で形成される角をψとする。構造的に、ψは、ＯＱとＯｘ軸で形成する時計周回り角である。最後に、ＰおよびＱに座標を割り当て、
2009509218.tif 000006
（［００５９］）．１
必要なものが総て揃う。
円がユニットの直径を有し、ＰＱが直径であることから、ＯＰ２＋ＯＱ２＝１であると分かる。割り当てられた点座標において、これは以下について示している。
2009509218.tif 000007
（［００５９］）．２
ベクタＯＰおよびＯＱが直交していることから、
2009509218.tif 000008
（［００５９］）．３
が得られ、これらは（［００５８］）．３と全く同じである。また、ＯＬ＝ＯＭ＝１／√２であるため、
2009509218.tif 000009
（［００５９］）．４
であると分かり、これは、（［００５８］）．４である。
（［００５８］）．２、（［００５８］）．３、（［００５８］）．４の関係を変更しなで入力を置換するのは自由であることに留意すべきである。
2009509218.tif 000010
（［００５９］）．２
【００６０】
４ポイントウェーブレット群
ＯＰとＯｙ軸により形成される角ψは、一群のウェーブレットを決定する。これは、等式（［００５８］）．３が４ポイントウェーブレット係数の必要十分条件であるため、４ポイントウェーブレットの完全群（complete family）である。一般性を喪失することなく、−４５°＜ψ＜４５°の範囲のψを選択した。
より有名なウェーブレット群が表に記されている。
2009509218.tif 000011
Ｄａｕｂｅｃｈｉｅｓ４およびＣｏｉｆｌｅｔ４ウェーブレットの間には、従前では確認されなかったよい対称性が存在する。
角ψにより、２つのウェーブレット群がどれほど近似するかが示される。
【００６１】
代替的なパラメータ化
我々は、２つの数字ｐおよびｑを導入できる。
2009509218.tif 000012
（［００６１］．１）
2009509218.tif 000013
（［００６１］．２）
であるので、我々は
2009509218.tif 000014
（［００６１］．３）を有する。
このため、ウェーブレット係数は、
2009509218.tif 000015
（［００６１］．４）である。
取得した正確な標準化要因を元に戻す。
2009509218.tif 000016
（［００６１］．５）
ｐおよびｑが整数の場合、標準化の語句とは別に、我々は整数を有する。
【００６２】
整数近似
√３≒７／４のとき、ｄａｕｂ４ウェーブレットの周知の表現で表わされる無理数は、３＋√９≒１９／４および３−√３≒５／４であり、ｐ＝１９およびｑ＝５のとき、標準化されていない整数の近似が導出される。
2009509218.tif 000017
（［００６２］．１）
これは、実際の値ψｄａｕｂ４＝−１５°に比べて、ψ＝−１４°．７４４に対応する。標準化されていない係数を用いてこれを近似するのに有用な別の４ポイントウェーブレットが存在する。
2009509218.tif 000018
（［００６２］．２）
これは、ψ＝−１４°．０３を有する。
別のウェーブレットを提供するために、同一の係数を置換できることに留意すべきである。
2009509218.tif 000019
（［００６２］．３）
これは、ｐ＝５およびｑ＝３であり、予想とおり、ψ＝−３０°．９６である。ＷＡおよびＷＢは、異なる有効帯域幅を有する。
最も簡単なウェーブレットは、
2009509218.tif 000020
（［００６２］．３）である。
ＷＸは、広範な有効帯域幅を有する４ポイントウェーブレットであることが分かっている。
【００６３】
整数近似の稠密集合
無理数を近似するのに、無理数をより近似する集合を形成する有理数の無理数が存在する。このため、所定のウェーブレットを任意に近似する整数の係数を有する標準化されていないウェーブレットが存在する。
【００６４】
６ポイントウェーブレットおよび高次元
図３を参照すると、前述の処理が、６ポイントおよびより高次元のポイントウェーブレットに一般化されるのかが示されている。図３の上側の図は、図４を更新したものであり、Ｐの座標は、新たにＰ（Ａ，Ｂ）とし、ＯＰを直径とする新たな円が追加され、長方形ＯＲＰＳは、この新たな円の内側に描かれている。このため、三角形ＯＳＰおよびＯＲＰは、直角をなし、角ＳＯＲは直角であり、すなわち、ＯＳおよびＯＲは直交する。図３の下側の図は、上側の図の長方形ＡＲＰＳおよび三角形ＯＱＰを抜き出したものであり、これらは総て必要である。
ここで、以下の関係が満たされることを証明するのは容易である。
2009509218.tif 000021
（［００６４］．２）
2009509218.tif 000022
（［００６４］．３）
2009509218.tif 000023
（［００６４］．４）
したがって、この構成をともなう。
2009509218.tif 000024
（［００６４］．４）
６ポイントウェーブレットは、４ポイント｛α０，α１，α２，α３｝に基づいて作られる。実際、４ポイントおよび６ポイントウェーブレットは、Ｑ＝Ｑ（α２，α１）に基づいて、４ポイントの作成を開始する（円は、自動的にＰおよび所定のＱに至る）。
一組の６ポイントウェーブレットを生成する次の段階は、ＯＰを直径とする別の円を描いて、この円の内側に長方形ＯＲＰＳを描くことから始まり、次いてＯＳを利用して処理を継続する。
【００６５】
ウェーブレット群
一組の６ポイントウェーブレットを生成する次の段階は、ＯＰを直径とする別の円を描いて、この円の内側に長方形ＯＲＰＳを描くことから始まり、次いてＯＳを利用して処理を継続する。これは、ウェーブレットのポイントの数を毎回２つ増加するメカニズムを提供する。完全群は、第１のポイントＱに関連し、したがって角度ψに関連する。
【００６６】
セクション３：ウェーブレットを利用した情報抽出、データ圧縮、およびポストレコーディング分析
本発明は、多数の個別の処理を備えており、当該処理のいくつかあるいは総ては、ウェーブレットを利用して、多次元にデジタル化されたデータから情報を抽出し、このデータを圧縮する場合に適用できる。また、本発明は、セクション１に記載されているようなポストレコーディング分析を実行する自然なコンテキスト（natural context）を提供する。
【００６７】
データは、少なくとの２次元のデジタル化されたデータの形式を採用できる。通常、次元の一つは時間であり、連続したデータを生成する。この処理は、特に、デジタル化されたビデオイメージの処理に適しており、これは、２つの空間的な次元、追加の色、および情報のインテンシティプレーン（intensity plane）を有する連続した画像ピクセルを備えている。
【００６８】
以下の説明では、好適な実施例が示されているが、この処理は、同様にいずれの多次元のデジタル化データセットに適用できる。
【００６９】
処理のうち、特に関連のあるのものは以下である。
ａ．カーネル置換（段落［００８６］および［０１５３］）
ｂ．画像の適応ウェーブレット表現（段落［００８６］および［０１５３］）
ｃ．画像の違いの自動閾値化（段落［００８９］および［０１７５］）
ｄ．複数の比較方法を可能にする特注のテンプレートの使用（段落［００９８］、［０１５９］および［０１６５］）
ｅ．調整可能な特別なウェーブレットのセット（段落［００６０］）
ｆ．検出されたイベントの精度の高い識別と分類のためのブロックの計算方法（段落［０１８６］）
ｇ．圧縮されたデータの知覚品質を改善するための、制御された誤差拡散を伴う局所的な閾値および量子化レベルの使用（段落［０１１４］、［０１４９］、［０２００］および［０２０５］）
【００７０】
本発明の実施例の詳細が記されており、この実施例は、添付の図面に図示されている。この例は、システムを示しており、このシステムでは、連続したビデオ画像が取得され、要約データの形式の情報を抽出すべく処理され、圧縮され、記録され、検索され、問い合わせされ、結果が表示される。概要が図５に示されている。
【００７１】
可能な限り、同一あるいは同様のパートを参照するために、図面および説明全体を通して同一の参照番号が用いられる。
【００７２】
シーケンス内の各画像フレームは、ウェーブレット分解が行われる。好適な実施例では、使用は、セクション２で説明するようにパラメータ化されたウェーブレットで構成され、処理の演算を支援する。しかしながら、いずれの好適なウェーブレット表現を使用できる。
【００７３】
以下の説明では、特に明記しない限り、「画像」あるいは「フレーム」が処理されるという趣旨の説明は、オリジナル画像だけでなく、ウェーブレット階層の全体について言及している。
【００７４】
図５は、取得から（ブロック１２）、処理（ブロック１３）および分類（ブロック１４）を介して格納し（ブロック１５）、クエリーにより検索する（ブロック１６）処理全体を示している。
【００７５】
ブロック１２では、ある実施例では、一時的な一連のビデオ画像１１が、１以上のビデオリソースから受信され、必要であれば、以下のステップに適したデジタル形式に変換される。いずれのビデオリソースからのデータは、所望のフレームレートで打ち切られる。多くのリソースからのデータは、後に複数のストリームにアクセスするために、並行して処理でき、相互参照できる。
【００７６】
ブロック１３では、画像が取得されると、低レベル分析が実行される。この分析は、画像データの一連のピラミッド（多重解像度）変換が実行され、画像圧縮の前の適応ウェーブレット変換が行われる。
この分析は、不必要なノイズおよびを特定および除去し、体系的なあるいはランダムなカメラモーションを特定する。低価格のＣＣＴＶカメラは最も弱いため、画像の色の構成要素のノイズを処理することは重要である。説明される一連の処理は、画像のいずれの部分が静止あるいは静的な背景を構成するか、且ついずれの部分がシーンの動的な構成要素であるかを特定する。これは、カメラモーションおよび証明の変化から独立して行われる。詳細は、図６および段落［００８４］乃至［０１０４］に示されている。
【００７７】
デジタルマスクは、現在の処理の重要な部分である。マスクは符号化され、一時的に１あるいは複数レベルのビットプレーンとして格納される。一組のデジタル画像マスクが生成され、異なる属性を有する画像領域を描画する。ある位置の１ビットマスクデータは、属性を備え、あるいは備えていない。多数のビットで符号化されたマスクは、属性値を格納できる。マスクは、画像がマスクされていない場合に画像を破壊する可能性のある処理から、画像の特定の部分を保護するのに利用され、あるいはデータの一部を選択的に修正するのに利用される。
【００７８】
ブロック１４では、ブロック１３の分析結果が量的に見積もられ、シーンの動的な部分に対する深い分析が行われる。この結果は、後の要約データになる一組のデジタルマスクとして表わされる。詳細は、図７および段落［０１０５］乃至［０１１１］に示されており、このようなマスクの例が、図１５に表わされている。
【００７９】
ブロック１５は、ブロック１４で説明した処理の出力である。オリジナルシーンおよびこれに関連する要約データの適応ウェーブレット表現は圧縮され、後の検索のためにディスクに格納される。詳細は、図８および段落［０１１３］乃至［０１１６］に示されている。
【００８０】
ブロック１６では、ブロック１５で格納された要約データが問い合わせされ、問い合わせされ、クエリーからの肯定的な応答が、圧縮された一連の画像データから検索され、イベントとして表示される。この場合の「イベント」は、ビデオフレームの連続的なシーケンスであり、この間、問い合わせされた行動が、他のビデオリソースからの複数の関連するフレームと共に継続する。詳細は、図ＡＥおよびＡＦ並びに段落［０１１８］乃至［０１２５］に示されている。
【００８１】
図６は、本発明に従ってビデオシーケンス２１を構成要素に分解する第１のフェースを構成するいくつかの「処理ノード」で構成される長いループ（ブロック２２乃至３１）を示している。
【００８２】
このループには多くの重要な特徴が存在する。（１）これは何度も実行可能であり、このため、リソースがこれを利用可能である。（２）いずれのノードにおける処理の実行は、時間、リソース、および全体のアルゴリズムストラテジーに応じて任意である。（３）処理はさらに、リソースの可用性に応じて、先の画像を考慮してもよい。この反復処理は、以下のように表わすことができる。
2009509218.tif 000025
（［００８２］．１）
ここで、Ｓｊ−１はループｊ−１の終わりの知識（knowledge）の状態であり、Ｉｊはループｊの新しい状態Ｓｊを生成すべく追加する情報である。
【００８３】
このループの目的は、データを多数の構成要素、（１）ノイズ、（２）分析のために明瞭（クリーン）にされ、圧縮されるデータ、（３）データの静止した構成要素、データの静的な構成要素、およびデータの動的な構成要素に分割することである。これらの言葉の定義は辞書にあり、この分割されるデータの詳細な説明は、段落［０１２８］乃至［０１３１］にある。
【００８４】
ブロック２１では、一連のビデオフレームが受信される。
【００８５】
ブロック２２では、各フレーム２１は、いくつかの適応ウェーブレットを利用して変換される。ある実施例では、演算効率のために、小さな整数係数を有する４タップ整数ウェーブレットが利用される。これにより、演算効率のよいデータの初回分析が可能になる。
【００８６】
ブロック２３では、ブロック２２で演算された最新のビデオフレームのウェーブレット変換とこれの前の状態との違いが、算出および格納される。この処理の一の実施例では、データポイントとデータポイントの違いが算出される。これにより、演算効率のよいデータの初回分析が可能になる。この処理の別の実施例では、フレーム間のより複雑な違いが、段落［０１５３］に詳細に説明される「ウェーブレットカーネル置換」を用いて算出される。ウェーブレットカーネル置換の利点は、明確な背景モデルの必要なく証明が変化するため、違いを除去するのが効率的であることである。
【００８７】
ブロック２４では、連続的なフレームが、体系的なカメラモーションについてチェックされる。ある実施例では、これは、ブロック２３で算出されるフレームの違いにおける第１レベルのウェーブレット変換の相関する本質的な特徴により実施される。段落［０１３４］は、この処理の他の実施例をさらに詳細に説明している。演算されたシフトは、外挿処理（extrapolation process）を介して連続的なカメラモーションを予測するために記録される。デジタルマスクはコンピュータ処理され、先の画像と重なる最新の画像部分を記録し、演算および格納された重複した領域間の変換を記録する。
【００８８】
ブロック２５では、体系的なカメラモーションの残りの部分が、不規則なカメラモーションによるカメラのぶれとして扱われる。カメラのぶれは、視覚的に画像を見辛くするだけでなく、連続的なフレームを相互に関連付けないため、オブジェクトの特定がより困難になる。通常、カメラのぶれの補正は反復的な処理であり、初めの近似は、画像フィールド内の静止した背景が分かると改良できる（段落を参照）。この特性により、画像の静止した構成要素は維持され、これにより、この本来の目的のための特別なバックグランドのテンプレートを素速く形成できる。このテンプレートの主要な特徴を分離することにより、相対的に容易にカメラのぶれの補正が可能になる。詳細については、段落［０１３４］を参照。
【００８９】
ブロック２６では、いくつかの（自動的に）決定された閾値の範囲内で異なる最新の画像データ部分が、先の画像に対して変化しない画像領域を決定するマスクを生成するのに利用される。ブロック２６を通る最初のパスにおいて、この処理のある実施例では、閾値が、異なる画像の切りつめられたヒストグラムの最大値から算出され、別の実施例では、ピクセルの違いのメジアン統計から算出される。このマスクは、各パスで再調整される。詳細については、段落［０１３５］を参照。
【００９０】
ブロック２７では、ブロック２６で算出されたマスクが、画像ノイズの分配の統計的なパラメータの精度を高めるために使用される。これらのパラメータは、画像をノイズ成分および明瞭（クリーン）な構成要素に分離するのに用いられる。
【００９１】
ある反復的な実施例では、カメラモーションおよびノイズを評価するために、処理がブロック２３に戻る。
【００９２】
低価格のＣＣＴＶを使用する場合、信号の色の構成要素内のノイズを適切に扱うことが重要であり、これは非常に重要である。画像のはっきりしたエッジは、特に色のノイズの影響を受けやすい。
【００９３】
ブロック２８では、ブロック２７からの最新の明瞭な画像が、新規の適応ウェーブレット変換を利用してピラミッド分解される。データのこのようなピラミッド分解では、ピラミッドの各レベルは、ウェーブレットの特性が各レベルで画像特性に適応するウェーブレットを利用して形成される。ある実施例では、ピラミッドの解像度の高い（上位）レベルで使用されるウェーブレットは、高解像度ウェーブレットであり、ピラミッドの解像度の低いレベルで使用されるウェーブレットは、同じパラメータ化された群の低解像度ウェーブレットである。さらに、この処理は、段落［０１３９］に示されており、段落［００６０］および［００６５］で説明されており、好適な様々なウェーブレット群が表わされている。
【００９４】
画像のこの適応ウェーブレット分解を表わす多数の係数は、検知、量子化および圧縮できる。分解のいずれのレベルでも、検知および量子化は、（ａ）ウェーブレット変換で発見された特徴がある位置、（ｂ）モーションが（ブロック２６のモーションマスクから、あるいは処理が繰り返される場合にはブロック３０から）検出された位置に応じて変更できる。
【００９５】
ブロック２９では、最新の画像の新しい画像が、低解像度情報を利用して、先行する画像のウェーブレット変換から生成される。この新しい画像は、先の画像と同じ全体的な照度を有する。この新規な処理「ウェーブレットカーネル置換」は、フレーム間の照度の変化を補正するのに利用される。この処理は、段落［０１５３］でより詳細に説明する。
【００９６】
ブロック３０では、ブロック２９のカーネルが変更された最新の画像と先行する画像との違いは、シーン内のモーションによるものであり、カーネル置換は、照度の変化による大きな除去効果を有する。デジタルマスクが生成され、モーションが検出される領域を決定することができる。
【００９７】
[段落００９６]と同じ原理が、既に格納された先行する多数の画像およびテンプレートに適用される。様々なテンプレートの格納戦略が利用可能である。この処理のある実施例では、等比数列の１つ古いデータフレーム（即ち、直前のデータフレーム）、２つ古いフレーム、４つ古いフレーム等の様々なテンプレートが格納される。この制限は、データストレージと、多くのテンプレートをチェックするのに必要な追加の演算リソースによるものであり、テンプレートのより詳細な説明は、段落［０１５９］にある。
【００９８】
テンプレートは、様々な方法により、データのウェーブレット変換から生成される。最も単純なテンプレートは、１つ前の画像のウェーブレット変換である。ある実施例では、先行するｍウェーブレット画像の平均が、追加のテンプレートとして格納される。別の実施例では、過去のウェーブレット画像における時間により重み付けされた平均が格納される。これは、最近の画像Ｉｊを利用してテンプレートＴｊ−１をＴｊに更新するのに以下の式が利用される場合は演算効率がよい。
2009509218.tif 000026
（［００９８］．１）
ここで、αは、テンプレートに対する最新の画像の僅かな貢献（fractional contribution）である。この種の式では、α−１順序フレームのメモリを有し、最前面のオブジェクトの動作は不鮮明になり、最終的には消える。揺れる葉を有する木などの静的な背景は、この平滑作用により処理され、顕著な動きに対するモーション検出は必要ない（段落［０１３１］を参照）。このようなテンプレートを取得するには、少なくともα−１フレームの「ウォームアップ」期間が必要である。
この処理の別の実施例では、複数のテンプレートが、複数のα値のために格納される。いくつかの実施例では、αは、画像Ｉｊがどれ程直前の画像と異なるかに依存し、非常に類似しない画像は、αがそのフレームのために小さくされない限りテンプレートを汚染する。
【００９９】
いくつかのテンプレートの過去のマスクが生成され、ノイズフィルタされた画像の過去の活動のレベルを示す。過去に蓄積された長さは、各マスクの各ピクセルに割り当てられたメモリの量に依存し、マスクを継続的に更新可能な計算能力に依存する。マスクは、ウェーブレット変換の総てのレベルで保持する必要はない。
ある実施例では、これらのマスクは８ビットである。「最新のマスク」は、先の８つのフレームにおける各ピクセルの活動を０ビットあるいは１ビットとして符号化する。２つの「活動レベルマスク」は、「０」および「１」の状態と、過去の連続する「１」の数の連続的なランレングスとの間の平均的な変化の割合を符号化する。他の実施例では、他の状態分析が利用され、様々な可能性が存在する。これは、前面および背面のモーションを分割する前に、画像の総ての位置における活動のレベルを符号化する手段を提供する。１以上の活動レベルマスクは、要約データの一部として格納してもよい。しかしながら、これらは通常、あまり圧縮されないため、ある実施例では、解像度の低いマスクのみが、テンプレートの更新の割合αに応じて間隔をあけて格納される。
【０１００】
最新の画像およびそのピラミッド表現は、将来のデータと比較するためにテンプレートとして格納される。最も古いテンプレートは、ストレージに問題があるときに失ってもよい。テンプレートの詳細については。段落［０１５９］を参照。
【０１０１】
ある反復的な実施例では、ノイズおよび照度の変化の影響の評価の精度を高めるために、処理がブロック２７に戻る。このループには多くの重要な特徴が存在し、（１）これは何度も実行可能であり、このため、リソースがこれを利用可能であり、（２）いずれのノードにおける処理の実行は、時間、リソース、および全体のアルゴリズムストラテジーに応じて任意であり、（３）さらに処理が、リソースの可用性に応じて、先の画像を考慮してもよい。反復する場合には、初めのループにおいて総てのステージを実行する必要はない。
【０１０２】
ブロック３１では、モーション分析は、（動作が自由である静止した背景とは対照的に）動作が制限されている静的な背景を考慮する方法により行われる。判断閾値が、動的に設定され、背景の動作が存在する領域を効果的に鈍感（desensitise）にし、複数の過去のテンプレートとの比較が行われる。これにより生じ得る感度の喪失は、複数の期間に亘って統合されたテンプレートを利用することにより補われ、これにより、局所的な動作をぼかす（段落[００９８]並びに段落[０１３１]および段落[０１５９]の説明を参照）。
【０１０３】
この結果は、前面の活動があるウェーブレット変換された画像の位置の暫定的な特定である。これは、空間的および時間的な相互関係が考慮される場合にリファインされる（次の段落および段落［０１８４］を参照）。
【０１０４】
ブロック３２では、ブロック３１で動作が検出された画像の位置は、検出と画像の領域の変遷を表わす時間的な相関関係との空間的な相関関係を考慮して再評価される。この再評価は、多重解像度のウェーブレット階層の総てのレベルにおいて行われる。これの詳細についは、段落［０１８６］を参照。
【０１０５】
図７は、動的な前面のピクセルを要約データになる一連の対象とするマスクに時間的および空間的にグループ化する処理を示している。ブロック３２は、図６から本図に繋がっている。
【０１０６】
ブロック４３では、ブロック３１で明らかになった動的な前面データが、空間的および時間的に分析される。この再評価は、多重解像度のウェーブレット階層の総てのレベルで行われる。
【０１０７】
ある実施例では、空間的な分析は、実質的に相関関係分析であり、ブロック３１で明らかになった前面の動的な各要素は、これらの間の近傍の要素との近接性に応じて記録される（ブロック４４）。これは、総てのスケールにおけるまとまりのあるピクセルグループであることが好適であり、分散および分離したピクセルは好ましくない。
ある実施例では、時間低な分析は、前面の動的な要素を、先行するフレームの対応する要素と比較し、先行するフレームのために既に生成された要約データと比較することにより行われる（ブロック４４）。この実施例では、格納された時間的な参照は、過去の１，２，４，８，・・・フレームに保持されている。この変遷の唯一の制限は、最初のストレージの利用可能性である。
【０１０８】
ブロック４５では、空間的および時間的相関関係の記録の結果が解釈される。ある実施例では、これは、事前に割り当てられた空間的および時間的パターンテーブルに従って行われる。これらは、空間的および時間的シーブと称される（ブロック４６および４７）。
【０１０９】
ブロック４８では、様々な空間的および時間的なパターンが、オブジェクトおよびシーン選別に分類される。オブジェクトの場合、動作ベクタは、様々な手段（［段落０１９９］を参照）により算出でき、必要であれば、ウェーブレット変換の解像度の低い構成要素を利用してサムネイルを格納できる。シーンの変化の場合、必要であれば、関連する過去の画像のシーケンスは、ウェーブレット変換の解像度の低い構成要素から収集でき、将来の参照のために検査可能なトレーラを生成する。ある実施例では、これらのマスクを生成する処理およびパラメータのオーディットも保持される。
【０１１０】
ブロック４９では、画像マスクが、ブロック４８で発見されたデータストリームの各属性のために生成され、画像データ内で属性が配置される位置を描く。別の実施例は、別のカテゴリを示すマスクセットを提供する。これらのマスクは、要約データの基礎を形成する。図１５は、シーンの主要な変化する構成要素を示すこれらのマスクを示している。
【０１１１】
ブロック５０では、最終的にノイズの無いウェーブレット符号化されたデータが、次の段階である圧縮のために利用できる。ウェーブレット係数の圧縮は、環境に依存する。
【０１１２】
図８は、後のクエリーおよび検索のためにデータを圧縮、符号化および格納するのに必要な処理を示している。ブロック４９および５０は、図７から繋がっている。
【０１１３】
ブロック６１では、ブロック４９で生成された要約データが、データチェックサムにより可逆圧縮され、符号化が行われ、この符号化は必要である。
【０１１４】
ブロック６２では、適切に符号化されたウェーブレットデータは、効率的に格納すべく、初めにビットレートを低減する局所的な適切な閾値および量子化により、次に得られた係数の符号化により圧縮される。ある実施例では、少なくとも２つの位置が決定され、単一のマスクで符号化され、ウェーブレット表現の位置は、動的な前面モーションが存在するのものと、何も存在しないものとがある。別の実施例では、静止しているが、静止した背景が存在しない（例えば、動く葉）ウェーブレット表現のこれらの位置は、マスクにより符号化され、それ自体の閾値および量子化が与えられる。マスクは、検索および再構成のために符号化および格納され、画像バリデーションコードが、法的な目的で生成される。ある実施例では、得られる圧縮データは、チェックサムと共に符号化され提供される。
【０１１５】
ブロック６３では、ブロック６１および６２からのデータは、データベースフレームワークに挿入される。ある実施例では、これは、コンピュータファイルシステムの単純な使用であり、別の実施例では、これは関連するデータベースである。複数の入力データストリームの場合、時刻同期の情報は、特にデータが時刻帯境界を跨ぐときに、非常に重要である。
【０１１６】
ブロック６４では、総てのデータが、ローカルあるいはネットワークストレージシステムに格納される。データは、同時に追加および検索される。ある実施例では、データが任意のストレージ媒体（例えば、ＤＶＤ）に格納できる。認証されたオーディットトレーラが、データに沿って書き込まれる。
【０１１７】
図９はデータ検索の処理を示しており、この処理では、クエリーが要約データにより呼ばれ、このクエリーに応じて、このクエリーの条件を満たす記録されたイベントのリストが生成される。このクエリーは、イベントの最後の選択が終了するまでリファインできる。ブロック６４は、明確にするために図８と重複している。
【０１１８】
ブロック７１では、データがブロック７２のクエリーに利用されるようになる。ブロック７２のクエリーは、データベースを備えるローカルコンピュータに、あるいはコンピュータネットワーク上のリモートステーションを介して発行してもよい。クエリーは、要約データのための１以上のデータストリームと、このようなデータを持たない関連するストリームを必要とするであろう。クエリーは、複数の場所にある異なるデータベースに分配された要約データを呼び出してもよく、複数の異なる場所にある複数の異なるデータベースからデータにアクセスしてもよい。
【０１１９】
ブロック７３では、クエリーに合致する要約データが検索される。クエリーに合致するフレームリストが生成される。これを「キーフレーム」と称する。ブロック７４では、イベントリストが、発見されたキーフレームに基づいて形成される。イベントと、当該イベントが生成されるデータフレーム（キーフレーム）には大きな違いがある。イベントは、単一のフレーム、あるいは複数の入力データストリームから複数のフレームで構成してもよい。複数のデータストリームが関与する場合、異なるストリームで定義されるイベントは、時間的に一致している必要はなく、クエリーにより見つかったキーフレームと同じデータベースからのイベントである必要もない。これにより、データベースは広範な調査目的に利用できる。この広範なマッチングは、ブロック７５で行われる。キーフレームの周囲のイベントの生成は、段落［０２３４］で説明される。
【０１２０】
ブロック７６では、ブロック７４および７５で生成される複数のイベントに関連するデータは、関連するウェーブレット符号化されたデータ（ブロック７７）から検索され、関連する利用可能な外部データ（ブロック７８）から検索され、必要に応じて圧縮される。ブロック７７および７８からのデータフレームは、イベントにグループ分けされ（ブロック７９）、表示される（ブロック８０）。
【０１２１】
ブロック８１では、検索をリファインする可能性により検索の結果が評価される（ブロック８２）。検索は、選択されたイベントのリストを生成して終了する（ブロック８３）。
【０１２２】
図１０は、イベントの選択の後に行われる処理を示している（明確にするためにブロック８１が重複している）。
【０１２３】
ブロック９１では、イベントデータは、好適なフォーマットに変換される。ある実施例では、このフォーマットは、オリジナルデータを格納するときに用いられるのと同じ適応ウェーブレット圧縮である。別の実施例では、フォーマットは第三者のフォーマットでもよく、第三者のために利用可能なデータビューワが存在する（例えば、Ｏｇｇ−Ｖｏｒｂｉｓフォーマットのオーディオデータ）。
【０１２４】
ブロック９２では、データは、後の参照のため、あるいは検査目的のために注釈が付される。このような注釈は、単一のローカルデータベースに格納されるテキストでもよく、あるいはこのようなデータアクセスのために設計された第三者のツール（例えば、ＳＧＭＬに基づいたツール）でもよい。ブロック９３では、このデータ検索がどのように計画され、実行されたかを示すオーディットトレーラと、データの完全性を保証するバリデーションコードが、パッケージに付加される。
【０１２５】
ブロック９４では、クエリーから得られイベントデータを有するイベントリスト全体（ブロック７９）といずれかの注釈（ブロック９２）が、パッケージが検索されるデータベースあるいは位置に格納するためにパッケージされる。ブロック９５では、検索の結果が他の媒体にエクスポートされ、ある実施例では、取り外し可能あるいは光学式記憶（例えば、リムーバブルディスク装置あるいはＤＶＤ）である。
【０１２６】
データ構成要素
【０１２７】
ノイズ（Ｎ）は、シーンのいずれかの部分を正確に表示しない画像データの一部である。ノイズは通常、機器の影響により発生し、画像データのクリアな評価を損なう。一般に、ノイズの構成要素は、画像データに関係しないもの（例えば、重なった映像「スノー」）であると考えられる。これは、ノイズが画像の局所的特性に直接的に依存するため、必ずしも問題であるとは限らない。
【０１２８】
静止した背景（Ｓ）は、固定され且つカメラレスポンス、照度、あるいは移動するオブジェクトによるオクルージョンにおける変化によってのみ変化するシーン要素で構成される。静止した背景は、カメラがパン、ティルト、ズームしているときでも存在してもよい。あるシーンを異なる時間に再び閲覧することにより、同じ静止した背景要素が表示される。建物および道路は、静止した背景を構成する要素の例である。何日もかけて木から落ちる葉は、この分類に該当するであろうが、これは、単にタイムスケールの問題にすぎない。
【０１２９】
静的な背景（Ｍ）は、シーン内で固定されたシーン要素で構成され、このシーンでは、異なる時間にシーンを再び閲覧することにより、僅かに置き換えられる方法により同じ要素が表示される。モーションは局所化され、制限され、そのタイムバリデーションは一時的でもよい。窓の反射は、このカテゴリに属するであろう。静的な背景の構成要素は、制限された静的なランダム処理（stationary random process）としてモデルができる。
【０１３０】
動的な前面（Ｄ）は、データを取得する間に、シーンを入力あるいは残す、あるいは多くの動作を実行するシーンの特徴である。このプロジェクトの一の目標は、誤った検出や検出漏れがなく、前面で行われるイベントを特定することである。
【０１３１】
構成要素（［０１２７］乃至［０１３０］）間のこれらの区別は、処理を行う者が、構成要素の分離の様々な様子（アスペクト）の取り扱いについて決定できる実用的な区別である。人がシーンに入り、椅子を動かして、シーンから立ち去る場合を想定する。この椅子は、移動される前および移動された後は、シーンの静止した部分である。移動中では、椅子は、椅子を動かしている人と同様にシーンの動的な部分である。これは、構成要素の分類が時間とともに変化することを強調しており、分類する手段は、このことを考慮すべきである。
【０１３２】
これらの区別を設計する場合に、いつかの注意点がある。「静止した」背景と「静的な」背景との区別は、なされる価値判断に関連するタイムスケールの選択の問題である。３本の枝は、何秒か風に揺られ、一方、この同じ木は、数週間かけて葉を失う。揺れ動く木の枝は、背景の「動く」構成要素を備え、一方、このような動作が無い場合、葉の喪失は、静止した背景の一部として正確に表示される（たとえゆっくり変化する構成要素であっても）。木の様子は、暗くなるにつれ変化するが、これは、分解の静止した態様として考えるのが最もよい。
【０１３３】
これは、数学的に要約すると、画像データＧを時間に依存する多数の構成要素の合計として表わされる。
2009509218.tif 000027
（［０１３３］）．１
最初の構成要素は、実際に静止しており、２番目の構成要素は、前述したようにゆっくり動き、３番目の構成要素は、前面および背景の貢献（contribution）に分類されるべき動的な構成要素である。当面の目的のために、体系的に移動するカメラは、ＧＳに纏められる。より正確な定義は、カメラモーションから得られる空間的座標ｘにおける変換を明確に示す必要があるであろう。ＧＤを前面ＧＤＦ構成要素および背景ＧＤＢ構成要素に分類する原理は、ＧＤＢ、動的な背景構成要素、が実質的に静的であることを示すべきであり、
2009509218.tif 000028
（［０１３３］）．２
この場合、いくつかの静的な背景は、
2009509218.tif 000029
である（これは、木が風に揺られていない場合には、木がある位置を表わす）。時間により重み付けされたテンプレートを使用することにより、これを実現でき、また動的な前面の構成要素の分類を可能にする（段落［０１５９］を参照）。
パラメータεは、変化の低速性により、何を意味するのかを決定する。理想的には、εは映像の取得レートより少なくとも一桁小さい。いくつかの移動する構成要素が存在してもよく、各要素がそれ自身のレートεを有する。
2009509218.tif 000030
（［０１３３］）．３
これらのうちの最も遅いものは、静止した構成要素に纏めてもよく、静止した構成要素の「断熱な（adiabatic）」変化を明らかにするものが提供される。
【０１３４】
カメラモーション、特にカメラのぶれの補正は、長い歴史を有する技術であり、多くの解決手段が存在する。ある実施例では、Herriot等のQuad Correlation法、(2000)Proc SPIE, 115, 4007、が用いられている。最近の見解である天文学の画像安定化コンテキストのThomas等の(2006)Mon. Not. R Asrt. Soc. 371, 323を参照。
【０１３５】
第１レベルのノイズフィルタ
【０１３６】
ノイズ成分の最初の評価は、同一のシーンの２つの連続したフレームの違いを算出し、「静止した背景」に分類された画像部分の統計的な分配、即ちこれらの違いをマスクしたものを調べることにより取得される。ノイズの変化は、
2009509218.tif 000031
（［０１３６］）．１
によりおおよそ算出でき、ここで、
2009509218.tif 000032
（［０１３６］）．２
は、処理されていないフレーム間の違いをマスクしたものである。
初めのパスでは、フレームＦｎについて何も決められていないため、マスクは空である（Ｍ＝Ｉ、アイデンティティ）。
【０１３７】
この違いのメジアンは、（フレーム間の知覚可能な違いにより生ずる）異常値に対してより安定しているため、分散（variance）を算出するのに用いられる。これは特に、演算速度の利点において、分散が画像ピクセルの無作為な副標本から予測される場合に有益である。
（１）シーン間の全体的な光量の変動の補正、（２）静止した背景部分以外の画像要素の補正の２つの補正は、ノイズ分布のこの予測を必要とする。これらの補正の第１の補正は、「ウェーブレットカーネル置換」処理（段落「０１５３」）を介して行われる。これらの補正の第２の補正は、いずれの画像部分が大きく変化したかを調査する分析の「ＶＭＤ」構成要素を介して行われる。
【０１３８】
マスクが空（Ｍ＝Ｉ）の場合、クリーニングは、分散に要素数を掛けた値よりも小さい値を有する異なる画像の総てのピクセルをゼロに設定することにより行われ、違いのヒストグラムが再形成され、最初の違いがゼロになる（「ウェーブレットシュリンケージ（wavelet shrinkage）およびその変化」）。
マスクが空でない場合、分散の値は、映像が変化した領域と、フィルタにより画像の外観を傷付ける可能性のある位置（重要なエッジなど）とを考慮して、フレームＦｎを空間的にフィルタをかけるのに利用される。（１）位相依存Weiner-type Filteringおよび（２）非線形feature sensitive filter（例えば、Teager-style filter）などの空間的なフィルタリングに依存する機能に関する実行可能な技術が存在する。
ノイズの除去は、画像のウェーブレット変換が行われ直前に行われ、ノイズ除去は圧縮にとって有利である。
【０１３９】
図１１は、新たに取得した画像の分析の最初のループで実施される処理を統合した図である。この図は、一組のフレームＦ０，Ｆ−１，Ｆ−２，Ｆ−３・・・を示しており、これは、既に取得され、一連のテンプレートＴ０，Ｔ−１，Ｔ−２，Ｔ−３・・・およびエッジ特徴画像Ｅ０，Ｅ−１，Ｅ−２，Ｅ−３・・・を生成するのに使用される。これらの画像Ｅｉは、カメラのぶれの検出および監視に使用される。Ｆ０およびＴ０は、新しい画像Ｆ１の参照画像になる。
カメラのぶれが検出された場合、カメラのぶれは、この時点で補正される（段落［０１３４］を参照）。補正は、続く反復処理において、後の改良を必要としてもよい。ここで、（できる限りシェイクを補正した）Ｆ１は、先行するフレームＦ０と現在のテンプレートＴ０と比較される。違いマップは計算され、ＶＭＤディテクタに送信されると、違いマップ双方の変化を検出するか、あるいは検出しないか２つの可能性がある。これは、段落［０１３７］に記載されている。変化が検出されなかった場合、ノイズの特性は、Ｆ１−１０の違いから直接的に予測でき、この場合、いずれの違いもノイズによるものでなければならない。Ｆ１−Ｆ０はクリーンにでき、以前のＦ０のクリーンなバージョンｆ０に追加できる。これは、Ｆ１のクリーンなバージョンｆ１を生成し、これは、次の反復処理で利用できる。
違いが存在した場合、ノイズの補正は、フレームＦ１で直接に行われる。Ｆ１とＦ０あるいはＦ１とＴ０との違いがどこに存在するのかを示すマスクを利用して、このレベルで検出された変化が存在するＦ１−Ｆ０およびＦ１−Ｔ０の部分を保護する。これらの違いをクリーニングすることにより、変化が検出された位置以外の位置をクリーンにされたＦ１のバージョンｆ１を可能にする。変化が検出されたマスク内のこれらの領域は、Teagerフィルタあるいはこれを一般化したフィルタなどの単純な非線形クリーニングエッジ保存ノイズフィルタ（nonlinear cleaning edge preserving noise filter）を利用して、クリーンにすることができる。
【０１４０】
ピラミッド変換によるデータ表現
【０１４１】
ウェーブレット変換および他のピラミッド変換は、多重解像度分析の例である。このような分析は、スケールの階層でデータを表示でき、科学および工学の分野で利用可能である。この処理は図１２に示されている。プラミッドの各レベルは、オリジナルデータを再生成するために追加される情報を示す一組のデータと共に、オリジナルデータよりも小さく解像度が低くデータを含んでいる。通常、常にではないが、ピラミッドのレベルは、各次元の要素によりデータを再構成する。
【０１４２】
これを実施する方法は多く存在し、ここで使用する方法は、数学者がこれを発見した後は、Ｍａｌｌａｔの多重解像度表現と呼ばれている。図１３の上図は、初めにウェーブレットＷ１を利用して、次にウェーブレットＷ２を利用して、階層がどのように生成されるのかを示している。下図は、データが格納される方法を示している。
１次元データセットのウェーブレット変換は、隣接データグループの合計および違いに関連する２つの部分で構成される処理である。合計は、これらの隣接データの利点を提供し、収縮（shrunken）を提供するのに利用される。解像度の低いデータ。違いは、変換の合計した部分により生成された平均からの偏差を示し、データの再生成に必要である。合計した部分はＳで示され、違いはＤで示される。２次元データは、初めに各行を水平に処理し、次に各列を垂直に処理する。これは、図１３の｛ＳＳ，ＳＤ，ＤＳ，ＤＤ｝で示す４つのパートを生成する。
【０１４３】
ウェーブレット階層。通常、所定の多くのウェーブレットから選択した単一の特定のウェーブレットにより生成されるデータ階層が利用される。したがって、図１３ではＷ１＝Ｗ２である。この文脈では、ウェーブレットの共通の選択は、ＣＤＦ群、実施が容易であるために特に広く人気があるＣＤＦ（２，２）変化（variant）（これはまた、「５−３ウェーブレット」として知られている）の様々な個体である。
【０１４４】
適応ウェーブレット階層。ここで説明する処理では、ウェーブレット変換の特定の階層が利用され、階層のメンバが、１以上の値によりパラメータ化されたウェーブレットの連続的なセットから選択される。この群の４ポイントウェーブレットは、１のパラメータのみを必要とし、６ポイントのメンバは、２のパラメータ等を必要とする。パラメータ値の離散集合の場合、４ポイントのメンバは、有理数である係数を有し、これらは、演算効率がよく正確である。
【０１４５】
異なるレベルで利用されるウェーブレットは、このパラメータの異なる値を選択することにより、あるレベルから次のレベルでは異なる。これを適応ウェーブレット変換という。この処理のある実施例では、解像度の高いウェーブレットは、高解像度レベルで利用され、次いで、解像度の低いウェーブレットは、移動した低解像度レベツで利用される。
【０１４６】
別々のウェーブレットの場合、効果的なフィルタ帯域幅は、ウェーブレットフィルタのＦｏｕｒｉｅｒ変換により決めることができる。他よりも広い通過帯域を有するものが存在し、我々は、狭い通過帯域のウェーブレットを上位（高解像度）レベルで使用し、広い通過帯域のウェーブレットを下位（低解像度）レベルで使用する。この処理のある実施例では、帯域幅により順序付けられたパラメータセットに分けられたウェーブレットが使用される。
【０１４７】
最低レベル（これらのレベルは、ほぼオリジナルデータの大きさである画像に変換が影響を与えるレベルである）では、我々は、これらのレベルの圧縮を適正にすべく詳細を保存し背景を取得することに関心がある。最高レベル（これらのレベルは最小の画像を有する）では、我々は、重要な特徴をもたない画像内で大きな構造を写像（map）する。さらに、ここでは精度は、エラーがブロックアーティファクトとして鮮明に表示される最低レベルに伝わるため重要である。
【０１４８】
閾値。ウェーブレット変換のＳＤ、ＤＳおよびＤＤ部分を閾値化は、画像データ圧縮の観点から無視してもよいピクセル値を除去する。閾値がより大きくなり得るこれらの位置を特定することは、高圧縮を実現する重要な方法である。不適切な位置を特定することは、認識される画像の劣化を最小限にするため重要である。特徴検出およびイベント検出は、高閾値化が避けられる位置（空間的および時間的）を指摘する。
【０１４９】
量子化。量子化は、数値の範囲が少ない数値により表示される処理を参照し、これにより、データの表示を（おおよそではあるが）よりコンパクトにできる。量子化は閾値化の後に行われ、局所的な（空間的および時間的な）画像コンテンツに依存する。閾値化が控えめな位置は、量子化も控えめであるべきである。
【０１５０】
ビットボローイング（Bit-borrowing）。データ値を表示すべく非常に僅かな数値を使用することは、多くの欠点があり、再形成された画像の質にとって非常に有害である。状態は、様々な周知な技術が非常により改善できる。この処理のある実施例では、あるデータポイントの量子化によるエラーは、近接するデータポイントに伝わり、これにより、局所的な領域の情報コンテンツ全体をできる限り抑えることができる。残りのもの（remainder）の均一な再分配は、均一な照度の領域内の輪郭の抑制を助ける。さらに、特徴を有するこの残りのものの賢明な配置は、画像の詳細に対する損傷を抑制し、非常に見た目がよくなる。これにより、アーティファクトなどの輪郭等を低減する。これを「ビットボローイング」と称す。
【０１５１】
ビットボローイング技術における残りのものの再分配のメカニズムは、ウェーブレットのような分析が相対的に平準化されたデータから画像の特徴を容易に表わすため、ウェーブレット分析において単純化される。各レベルにおける変換のＳＤおよびＤＳ部分は、残りのものの再分配に付される重み付けを決定する。これは、ビットボローイング処理の演算効率をよくする。
【０１５２】
ウェーブレットカーネル、テンプレートおよび閾値
【０１５３】
ウェーブレットカーネル置換。これは処理であり、この処理では、先行する画像の大きな縮尺（低解像度）の特徴が、現在の画園内の同様の特徴を置き換えるために作られる。照度は一般的には大きな属性であるため、この処理は、別の画像上の一の画像から光を本質的に写生し、非常に強く速い変光面で実施される（他のものの）動作検出を可能にする効果がある。この技術は、ウェーブレットでは各レベルのＳＤ，ＤＳおよびＤＤ構成要素が非常に小さいＤＣ構成要素のみを有するため、非常に効果的である。
【０１５４】
この処理のある実施例では、画像の事前処理サイクルの一部として実施される第１のレベルＶＭＤを改善するためにカーネル置換が行われる。これは、照度の変化を取り除き、画像の前面における変化を発見するのを改善する。
【０１５５】
ウェーブレットカーネル置換が図１４に示されており、現在の画像のカーネル構成要素Ｆ３の代わりに配置される現在のテンプレートのカーネル構成要素Ｔ３が示されており、ウェーブレット構成要素がＪｉ｛Ｊ０，Ｊ１，Ｊ２，Ｔ３｝である現在の画像の新しいものを生成する。この新しいデータは、ノイズを予測し様々なマスクを算出するために、オリジナル画像Ｉｉ｛Ｆ０，Ｆ１，Ｆ２，Ｆ３｝の代わりに使用する。
形式的に、この処理は以下のように説明できる。取得した画像を｛Ｉｉ｝と称する。我々は、｛Ｊｉ｝と呼ばれるウェーブレット変換を介してこの一組の画像から取得でき、このウェーブレット変換では、照度の空間的に大きな変化が、先行する画像の変換のカーネルを利用することにより行われる。
ＳＳ構成要素階層を有するウェーブレット変換を有する同じシーケンスから２つの画像｛Ｉｉ｝および｛Ｉｊ｝がある場合、
2009509218.tif 000033
（［０１５５］）．１
2009509218.tif 000034
（［０１５５］）．２
我々は、画像ｊのために画像ｉのカーネルを用いて新しい画像を作る。
2009509218.tif 000035
（［０１５５］）．３
新しいウェーブレットのＳＳ部分の上線に注意すべきであり、これらは、ｉ番目のウェーブレットカーネルを用いて画像ｊを再形成したという事実により修正される。また、我々は、変換のＳＤ、ＤＳまたはＤＤを修正しないことに留意すべきであり、これらは、ｋＳＳ（ｉ）から｛Ｊｉ｝を再形成するのに直接的に利用される。
したがって、我々は、画像ｉ＝ｊ−ｍおよびｊの間の違いが修正された周辺光を算出できる。
2009509218.tif 000036
（［０１５５］）．４
この別個の画像は、ｍフレーム前の画像が得られるので、周辺光による変化に加えて画像内の変化を表す。
ｊ−ｍの画像を有する画像ｊのカーネルを更新するかどうかについての問題が存在する。実際には、演算効率により、メモリに一次的に保存された現在の画像のウェーブレット変換全体が存在するため、前述したような置換が実行される。
【０１５６】
相対的変化。実際には、ウェーブレット変換の単一のレベルｐの変化のみを見ることができる。
2009509218.tif 000037
（［０１５６］）．１
これは、画像ｉのウェーブレット変換を有する画像ｊのカーネル置換されたウェーブレット変換のｐ番目のレベルのＳＳ部分の違いを示している。タイムラグの値ｍは、単純にフレームレートに依存し、実際には、動作の変化が知覚できる所定の時間の長さになる。しかしながら、これを実施することにより、多重解像度分析により得られるサイズ識別を失い、可能であれば、変換全体を利用することがよい。
【０１５７】
現在の画像。現在の画像を先行する画像に対して評価される単一の画像であると単純にみなすことはよくあることである。これは通常の場合である。しかしながら、この処理の実施例が存在し、この処理では、先行する画像の選択の平均を有する単一の現在の画像を置換するのが有用である。
【０１５８】
一時的な除去。周囲の監視の応用例では、動物、人々および車両などの一時的な事象により画像が汚染されないことが有用である。最近の画像における適切な時間加重平均であるデータを利用することにより、これらの一時的なものが除去する。これを「一時的なものが除去された現在の画像」と称する。
このような状況に適応されるこの処理のある実施例では、以下の式は、直前の画像Ｉｊを利用して、「一時的なものが除去された現在の画像」Ｃｊ−１を定義およびＣｊ−１をＣｊに更新するのに用いられる。
2009509218.tif 000038
（［０１５８］）．１
ここで、τはテンプレートに対する現在の画像の分数で表わされる貢献（fractional contribution）である。この種の式の場合、画像は、τ−１番目のフレームの情報を保持している。この応用例では、テンプレートは、τ−１フレームよりも十分に長い時間（秒に対して、日あるいは週）にわたって格納される。
【０１５９】
テンプレートおよびマスク
【０１６０】
テンプレート。ここに説明した処理を通して、「画像テンプレート」と呼ばれるものの変化が一時的に格納される。通常、テンプレートは、画像データ自体（あるいはピラミッド変換）の階層的なレコードであり、単独あるいは組み合わせにより、現在の画像と先行する画像とを比較する基礎を提供する。このようなテンプレートは通常、常にではないが、好適な重み係数を有する統合された先行する画像群により構成される（段落［０１６５］参照）。
【０１６１】
また、テンプレートは、現在の画像の一種でもよく、現在の画像の平準化された画像は、例えば、アンシャープマスキング処理あるいは他の単一の画像処理のために保持される。
【０１６２】
マスク。テンプレートのようなマスクも画像であるが、これらは、画像の特定の外観を描写するために生成される。したがって、マスクは、画像内あるいはピラミッド変換内で、閾値よりも大きな動作がどこに存在するか、あるいは特定のテクスチャが発見された位置を示してもよい。したがって、このマスクは、マップの情報の内容を規定する属性および値のリストを有するマップである。属性値が、「ｔｒｕｅあるいはｆａｌｓｅ」あるいは「ｙｅｓあるいはｎｏ」である場合、情報は、１のビットマップとして符号化できる。属性がテクスチャの場合、マップは、フラクタルローカル次元（fractal local dimension）を４ビット整数等として符号化する。
【０１６３】
マスクが得られる画像にマスクが適用される場合、特定のマスクの属性値を共有する画像の領域が描写される。同じ属性を有する２つのマスクが一組の画像に適用される場合、マスクの違いは、属性における画像の違いを示している。
【０１６４】
１以上のマスクからの情報は、データストリーム用の要約データの生成に利用される。要約は、様々なマップを決定する属性を示しており、要約はこのマップから生成される。図１５は、要約データストリームに入れられる動的な前面と静止したおよび静的な背景構成要素に対応する３つのレベルのマスクを示している。
この図では、ＶＭＤマスクが、開いたドアとこのドアから出てくる人を現わしている。動く背景マスクは、動く葉と低木を示している。照度マスクは、動く木の影により光が変化する位置を示している（この最後の構成要素は、ウェーブレットカーネル置換によりかなり除去されているため、動く背景として現れていない）。
【０１６５】
特有のテンプレート。テンプレートは、当該テンプレートに対して現在の画像の内容あるいは現在の画像の変化を評価するための参照用の画像である。最も簡単なテンプレートは、前の画像である。
2009509218.tif 000039
（［０１６５］）．１
過去のｍ個の画像の平均は、ややリファインされている。
2009509218.tif 000040
（［０１６５］）．２
これは、ノイズを低減するテンプレートを生成する効果を有する。過去の画像の時間加重平均は、さらに有用である。
2009509218.tif 000041
（［０１６５］）．３
ここで、αは、テンプレートに対する現在の画像の分数で表わされる貢献である。この最後の等式は、代替的に以下のように説明できる。
2009509218.tif 000042
（［０１６５］）．４
これは、
2009509218.tif 000043
を、予め重み係数α（１−α）ｒを有するフレームｒ画像を有する過去のフレームの加重和として示している。この種の式の場合、テンプレートは、α−１フレームのようなメモリを有し、このため、このテンプレートを取得するには、少なくともα−１フレームの期間の「ウォームアップ」が必要である。
実際には、αは、画像Ｉｊと先行する画像Ｉｊ−１との違いに依存し、全く類似しない画像は、αがそのフレームのために小さくされない限り、画像を汚染するだろう。αを選択するフレキシビリティは、動的な前面のオクルージョンがテンプレートを大きく変更する場合に用いられる（段落［０１８０］参照）。
【０１６６】
最近のマスク。「最近のマスク」は、先行する８フレームが０ビットあるいは１ビットの間、各ピクセルの活動を符号化する。
【０１６７】
活動レベルマスク。２の「活動レベルマスク」は、それまでの「１（ones）」の連続的な数字の平均および変化を符号化し、第３の最近の活動マスクは、「１」の現在のランレングスを符号化する。
【０１６８】
他のテンプレート。テンプレートを生成する場合は、Ｉｊより前の画像に限定されないことに留意すべきである。以下のような将来の画像に基づいてテンプレートを考えることは特定の目的に有用である。
2009509218.tif 000044
（［０１６８］）．１
あるいは
2009509218.tif 000045
（［０１６８］）．２
この表記が示唆するように、これらは、Ｉｊが得られたときの画像ストリームの第１および第２の時間導関数を推定するものである。このようなテンプレートを使用することは、
「将来の」画像が取得された場合に、ストリームの分析をバッファリングすることにより採用するタイムラグが必要である。
他の様々な可能性が存在する。平準化された画像テンプレートは
2009509218.tif 000046
（［０１６８］）．３
であり、ここで、「Ｓｍｏｏｔｈ」は、画像Ｉｊに適用するスムーシングオペレータ（smoothing operator）の可能性のある数字を表わしている。マスクされた画像テンプレートは、
2009509218.tif 000047
（［０１６８］）．４
であり、ここで、「マスク」オペレータは、適切に定義された画像マスクをテンプレート画像Ｔｉに適用する。このリストは明らかに完全ではなく、単に説明のためである。
【０１６９】
最近のマスク。「最近のマスク」は、先行するフレームにおけるシーンの各ピクセルの活動の測定を符号化する。ある活動の測定は、２つの連続するフレームの間あるいは１のフレームとそのときのテンプレートとの間のピクセルの違いが、段落［０１８１］に定義する閾値よりも上か否かである。
ある実施例では、これは、画像データの大きさの８ビットマスクとして格納され、活動は、「０」あるいは「１」として過去の８フレーム分記録される。ピクセルの違いの数値が求められる度に、このマスクは、適切なビットプレーンを変更することにより更新される。
【０１７０】
長期間の過去のマスク。最近のマスクと同様に、これらは、先行するシーンから過去のデータを符号化する。違いは、このようなマスクが、過去の基準時における活動データを格納できることである。均等に離れた位置は更新し易いが、更新するのが困難である幾何学的に配置された位置と同じくらい有用でない。このようなマスクは、シーン活動に関する長期間の動きの削除を容易にする。
【０１７１】
活動レベルマスク。２つの「活動レベルマスク」は、最近のマスクで示したように、所定のピクセルの統計的概要を表わしている。これらの最初のマスクのエントリは、このピクセルで行われた状態の変化の数あるいはレートを記録する。これは、移動平均として容易に保持され、レートがＲｊ−１で、次の変化がｅｊ＝０あるいは１である場合、レートＲの推定は、以下のように更新される。
2009509218.tif 000048
（［０１７１］）．１
数字εは、レートが平均化されたデータの範囲を示す。
２番目のマスクは、ランの平均長の計数を保持し、ここでは、ｅｊ＝１：「活動ランレングス」である。これは、レートの推定と同じように算出され、レートが前述したようにε平均である場合、活動ランレングスである。
【０１７２】
これらの活動マスクは、維持するのに非常に費用がかかるため、いくつかの実施例では、データピラミッドの小さなレベルおよびこれよりも上の小さなレベルにマスクを制限するのが有用である。通常、主要な画像の解像度の半分の最大を維持することが、最も適切であると知られており、これは、図１２のレベル１あるいはレベル２である。
【０１７３】
背景変化マスク−動作の検出がない。静止した背景（本質的に変化しない）に対する２つの質問がある。通常、何も存在しない静止した背景の一部として見なされるものの中に何か存在するのか。反対に、以前は存在しなかった静止した背景の一部であるものが、今は存在するのか。明らかに、この種の変化は、変化するシーンに動作があることを必要とする。しかしながら、この質問は、単に変化を発見することについての質問よりも、非常に複雑である。この質問は、静止した背景が既に回復したのか、もし回復したのならそれはいつか。
【０１７４】
背景の動作を記録するマスクは、これを処理することができないため、比較あるいは相関により静止した背景の特徴を識別可能な特別な背景変化マスクを使用する必要がある。このマスクは、道程な前面のオブジェクトにより隠される位置を除き、静止した背景の構成要素が変化しない場合は一定のままである。このため、静止した背景マスク間の違いは、理想的には０であり、格納するのに何も必要としない。
この目的のための理想的なマスクは、ウェーブレットピラミッド（図１２を参照）のレベル１のＳＤおよびＤＳ部分の合計であり、これは、比較的高い解像度でシーンの特徴をマップする。カーネル置換されたウェーブレット表現から生成されたこのような２の連続的なマスクを差別化により比較がされ、対応する動的な構成要素のマスクにアクセスできる。後者の場合、我々は、シーンの移動する部分に対応する特徴を除去できる。得られた背景変化マスクは圧縮され、要約データの一部として格納される。
【０１７５】
画像間の違い
【０１７６】
違い画像。このセクションのために、我々は、「画像」の語を以下に示すものと見なす。（１）データストリームから取得された画像、（２）データストリームから取得された画像であって連続的に処理されるもの。この場合、縮小された画像などの画像の変換あるいはそのウェーブレット変換も含まれる。（３）画像あるいはその一の変換の一部。
すなわち、このような配列のストリームから取得されるデータ配列を先行する配列と比較することを考慮する。
【０１７７】
我々は、ストリーム内のｊ番目のこのような配列を記号Ｉｊで示し、我々が比較する関連するオブジェクト（「テンプレート」）を起動Ｔｊで示す。Ｔｊは、ストリームＩｊの他のメンバから定義される様々なテンプレートとなり得る（セクション０を参照）。
我々は、画像とこれらの様々なテンプレートとの違いを評価する方法を検討する。この違い画像を、
2009509218.tif 000049
（［０１７７］）．１
とする。
δｊを生成するピクセルの平均は、テンプレートＴｊおよび画像Ｉｊを生成する総ての画像が一致しない限り、ゼロを必要としない。これは、δｊのピクセル値の分析を考慮する場合に重要な点である。
画像δｊ内のピクセルの値は、周辺光の変化が、カーネル置換（段落［０１５３］乃至［０１５５］）によるものである場合、平均して０である。ピクセルが０でない場合、我々は、これらが画像内の実際の変化に対応するか、これらが統計変動であるかを判断する必要がある。
【０１７８】
偏差ピクセル。ここで、時間の関数、異なる画像のピクセルの値として、トラッキングに集中する。我々が開発した基準は、ピクセルの位置や、空間的に隣接するピクセルが何をしているかを考慮することなく、各ピクセルの時系列の変化を利用する。これは、ノイズの空間的な分配を想定することなく、不規則なノイズが処理できる利点を有する。この変化の空間的な分配は後述する（段落［０１８４］参照）。
この処理の一実施例では、データ中のピクセルの時刻歴は、以下に記載されモデル化される。ピクセル閾値レベルＬｉは、各ピクセルの時刻歴を示すランダム処理のための「ランニング識別レベル」Ｍｉと称す量の観点により、この時刻歴から定義される。
【０１７９】
違い画像δｊのために、我々が、（統計的な試験により）ピクセル値はノイズ「偏差ピクセル値」によるものではないと考えれる閾値レベルＬｉ以上を決定できると仮定する。安全計数をλとした場合に、
2009509218.tif 000050
（［０１７９］）．１
であるとき、我々は、違い画像δｊ内で値Δｊの偏差を有するピクセルであると判断する（我々は、δｊ内のピクセル値の傾斜分布のために、Δの肯定的および否定的な値のための異なる境界を選択するが、記載を簡潔にするために、これらは同じであると仮定する）。
ピクセル値の変化Δｊは、静的でないランダムな処理であるため、Ｌｉの値は、｜Δｊ｜の値の上側のエンベロープを示すべきである。上側のエンベロープは、このような処理にとって予測するのが困難であることはよく知られているため、我々は、単純化された推測を用いる。これは特に、これがピクセル毎に実施され、演算時間の制限がある場合に当てはまる。
【０１８０】
識別レベル。ピクセルごとにこれらの値の演算を利用したΔｊのｍ個前の値、以下のような等式に基づく識別レベルＭｊを検討する。
2009509218.tif 000051
（［０１８０］）．１
第１の等式は、ｍ時間間隔枠の移動における信号の高さを計測することによりエンベロープを直接的に取得する試みである。第２の等式は、安全マージンκとともに最近のｍ信号の高さの係数の平均値を利用する。最後の等式は、先行する信号の高さの時間加重平均であり、量βは、相対的な時間の重み付けを示す。これは、好適なメカニズムである。
【０１８１】
ピクセル閾値レベル。前述したような識別レベルの場合（段落［０１８０］）、我々は、以下に示すように各ピクセル毎にピクセル閾値レベルＬｊを算出する。このピクセルの閾値は、αを「メモリパラメータ」とすると、以下のように設定される。
2009509218.tif 000052
（［０１８１］）．１
αは、識別レベルＭｊ（［０１８０］．２の第３の等式）の計算に代入される量βと同一ではないことに留意すべきである。我々は、ピクセルが偏差しているとして「マーク」するか否かを判断するために比較を行い、ピクセルが偏差しているか否かにより、次のフレームの計算のためにＬｊの値をリセットする。
2009509218.tif 000053
（［０１８１］）．２
換言すれば、我々は、このピクセルがすれている場合、このピクセルの閾値を更新しない。これは、異常な状況により閾値を決定することによって導入されるバイアスを避ける。合否基準が３σ偏差に基づく場合、例えば、この処理は、単に閾値の計算における３σ拒否（rejection）である。
【０１８２】
移動する背景の補正。この処理は、閾値がノイズピークを超えることを可能にする。所定のノイズの分散の確率密度の場合、レベルは、ピクセルが間違いなく偏差していると考えられる所定の確率が存在するように構成される。ピクセル違いの分配の所定の確率密度がない場合、パラメトリック的にではなく、リファイン度を変化させる標準的な試験を利用して決定がされる。移動する背景の実質的な効果は、制限的および反復的な方法でシーンが変化する領域の動作の検出を鈍感にすることである。これは、例えば太陽により木の影が風により動く場合に生じ、画像違いの局所的な変化が増加するため、閾値が引き上げられる。
これは、映像検出システムで続いて起こる誤認警報を避けるための重要なメカニズムである。これの欠点は、鈍感にすることにより重要なイベントを見逃す危険性があるため、このような状況では、補足的な検出メカニズムが必要であることである。ある実施例では、これは、相対的に長いメモリを有するテンプレートがこのような動作を顕在化し吸い上げるため、このようなテンプレートを利用することにより解決される。画像比較は、素速く動く背景の特徴が比較的少ない背景を対象にする（段落［０１３１］および［０１５９］参照）。
【０１８３】
パラメータ。前述した実施例では、画像ストリーム内の大きな変化を検出するために設定されたいくつかのパラメータが存在する。これらのパラメータの一部は、最初は固定されており、他のパラメータは、周囲の状況とともに変化し「学習」する。
我々は、前述した処理を利用する場合、設定あるいは決定されるべきいくつかのパラメータを特定できる。
ｍ
これは、比較するためのフレームのタイムラグである。毎秒２５フレームは、毎秒３フレームよりも明らかに長い。毎秒２５フレームのサンプルを毎秒３フレームでサンプル化して、同一の値ｍを利用して終了することは明らかである。このため、ｍは、フレームレートに正比例する。比例定数の値は、探索される動作が、フレーム探査速度（traversal speed）の観点からどれほど速いかによる。
λ
これは、所定のピクセルにおける検出の感度であり、先に観測された値に対する観測されたピクセルの値の変化の程度である。我々は、ピクセルの値を試験するために平均あるいは標準偏差よりも境界の上限を使用することを留意すべきである。λは、偏差していない値の標本の一次解析に関連する。
α
メモリ要因は、次のフレームの閾値の値を更新するときに考慮した過去の閾値がどのほどであるのかを示している。これは、初めの閾値の値を無意味にするのに十分に周辺環境が変化する期間を示しているため、フレーム取得レートに関連する。
これらのパラメータは、初期値で設定され、１０フレームほど調べた後に自動的に調整できる。学習方法はより複雑であるが（人が所定の期間ノイズの分析を予測し計算できるが、これは、実際にはする価値がない）、これは比較的短い「ティーチングサイクル」である。
【０１８４】
偏差ピクセル分析。前述した実施例は、画像内で一組の偏差ピクセルを生成し、このピクセルは、データ値の変化が、自動的に割り当てられた閾値を超える。これまでは、シーン内のピクセルの位置は不適切であり、我々は、所定のピクセルの変化の値と、その位置の前歴を単に比較するだけであった。これは、空間的に一様でないノイズの分配を処理することができる。
この問題は、これらが、画像内の本当の変化を表示しているのか、あるいは単に画像ノイスおよび周囲条件の一連の統計変動であるかを判断することである。これを支援すべく、偏差したピクセルの空間的な分配のコヒーレンスに着目する。
【０１８５】
偏差したピクセルの空間的なコヒーレント。我々が画像内に例えば１０の偏差したピクセルを発見した場合、これらが画像内でランダムに分散しているときよりも、これらが密集していたときのほうがより印象的であろう。実際、我々がノイズの分散の詳細について知っている場合、我々がランダムに分散している１０の偏差したピクセルを取得する可能性を計算する。
【０１８６】
ブロックスコアリング。ここで、我々は、下表のようにスコアを割り当てることにより、偏差したピクセルの密集の度合を評価する簡単な方法を示す。
2009509218.tif 000054
偏差したピクセルはそれぞれ、どれだけの隣接するピクセルが偏差しているかに依存する。スコアが中心のピクセルに割り当てられた多数の３×３のパターンが、図１６の「ピクセルスコア」に示されている。
スコアは、僅かに偏差したピクセルの存在が一目で分かるため、隣接するピクセルの数が増加すると急激に増加しており、重要でないと考えられるパターンは、他のパターンよりもスコアが小さい。水平および垂直に交差する５つのピクセルのスコアは１０であり、一方、斜めの６つのピクセルのスコアは９である（再度の行のパターン１およびパターン３）。
状態は、全体のパターンのスコア、即ち、所定の領域の偏差した総てのブロックのスコア全体を調べる場合に決まる。図１６の「特別なパターンのスコア」は、３×３ブロックの偏差したピクセルのスコア全体を示しており、ここでは、３×３ブロックが独立しており、隣接する偏差したピクセルが無いと仮定する。ブロックスコアの直線的でない相互の補強が存在し、このため、スコアは、３×３の領域内のブロックパターンが密集している場合に上昇する。
【０１８７】
ある実施例では、ブロックは、画像内の水平、垂直あるいは斜めの構造のスコアリングを助長すべく、重み付けられている。これは、パターン分類の第１の段階である。この処理は、明らかに階層的に実行され、これに関する唯一の制限は、計算資源における要求を倍にすることである。
【０１８８】
最後の説明として、偏差したピクセルの要約画像は、ピクセルのスコアを格納する必要がないことに留意すべきであり、これらは、必要なときはいつでも再計算でき、偏差したピクセルの位置を知ることができる。したがって、偏差したピクセルを報告する要約画像は、単純な１ビットプレーンのビットマップであり、対応するピクセルが偏差している場合は１であり、その他の場合は０である。
これにより、映像の変化のための要約データの検索が速くなる。
【０１８９】
動作ベクタ。
【０１９０】
動作ベクタを計算することは、多くの圧縮アルゴリズムおよびオブジェクト認識アルゴリズムの本質的な部分である。しかしながら、極度の圧縮が求められない限り、圧縮用の動作ベクタは必ずしも使用する必要なない。我々は、シーン内のオブジェクトを特定し追跡するために動作ベクタを使用する。利用される方法は新規性があり、これは、ブロックあるいは相関関係に基づくものではない。この方法は、ウェーブレットカーネル置換技術（段落［０１５３］乃至［０１５５］）の使用の利益を享受し、これは、背景の照度の体系的な変化を十分に除去する（背景の照度の問題は、オプティカルフロー計算の周知の問題である）。
【０１９１】
この説明は、カーネル置換されたウェーブレット変換の構成要素｛ｊＳＳ｝に該当する。ウェーブレットレベル毎に、｛ｊＳＳ｝の各構成要素のピクセル値の対数を生成する。０および負の値を避けるために（後者は、ウェーブレット変換の結果として現れる）、我々は、総ての値が完全に正となるように、レベルに依存する一定のオフセットをピクセル値に付加する。
2009509218.tif 000055
（［０１９１］）．１
計算で使用される総ての画像は、同じオフセットを取得する。対数で表わされたピクセル値は、浮動小数点数として保持されるが、計算速度を高めるために、これらは、４あるいは５ビットの符号付整数に変更してもよい。
ｊρの時間導関数の値を求めるために、我々は、３つの瞬間における｛ｊＳＳ｝を必要とし、この３つの瞬間は、現在の時間、先行するフレームの時間、および次のフレームの時間である。この３つの瞬間のデータ値を、添字−１、０および１とする。したがって、
2009509218.tif 000056
（［０１９１］）．２
および
2009509218.tif 000057
（［０１９１］）．３
これらのフィールド毎に、新しい、より平準化されたフィールドを算出する。
2009509218.tif 000058
（［０１９１］）．４
および
2009509218.tif 000059
（［０１９１］）．５
重み係数ｗｉは、双方の等式で同じである。重み付けは、潜在的なフィールドが、ρの第１および第２の時間導関数、対数密度であるソースを有するラプラスの方程式の近似解になるように選択される。
速度フィールドは、ウェーブレット変換の総てのスケールにおけるこれらの潜在的なフィールドの空間的なグラディエントを利用して算出される。
【０１９２】
低いフレームレートでは、第１のデリバティブフィールドφは、侵入があった場合でもゼロという結果を生成してもよいことに留意すべきである。これは、侵入が現在のフレームにおいてのみ発生するときに、両側の画像フィールドが同一であるためである。しかしながら、これは、第２のデリバティブフィールドφで確実に拾われるであろう。
反対に、一様にゆっくり動くターゲットは、第２のデリバティブフィールドにゼロを与えるが、これは、第１のデリバティブフィールドφで確実に拾われるであろう。
双方のフィールドは、偏差したピクセルの分析が変化がないことを示した場合、ゼロあるいはゼロに近い値になることを留意すべきである。速度を測定するためには変化があるはずである。
【０１９３】
圧縮および格納。
【０１９４】
ウェーブレット符号化されたデータ。この段階では、データストリームは、ウェーブレットデータのストリームとして符号化され、オリジナルデータよりも多くのメモリを占有する。ウェーブレット表現の利点は、非常に圧縮できることである。しかしながら、高い質を維持する重要な圧縮への道は真っ直ぐではなく、多くの技術を組み合わせる必要がある。
【０１９５】
データ構造。図１７は、データ圧縮処理の要素を要約している。オリジナル画像データストリームは、一組の画像｛Ｆｉ｝で構成されている。これらは、様々な比較が行われるテンプレート｛Ｔｉ｝の実行中のシーケンスに組み込まれる。これらの２つのストリーム、画像およびテンプレートから、別のストリームが生成され、これは、違い映像｛Ｄｉ｝のストリームである。
違いは、隣接するフレーム間の違い、あるいはフレームと選択されたテンプレートとの違いである。我々は、「隣接する」により、隣接するフレームが直前のフレームであることを主張しているのではなく、比較は、フレームレートおよび画像ストリームの他のパラメータに依存するタイムラグにより実施してもよい。
様々な可能なテンプレートの説明については、段落［００９８］および段落［０１６０］以降を参照。また、「現在のフレーム」の利用の代替に関する段落［００９８］および段落［０１５８］を参照。説明は、この原理の他の可能な実施例の存在を認めるとともに、一般性を失うことなくフレームおよびテンプレートについて続けて言及する。
違い処理のパートナーを参照画像｛Ｒｊ｝と称する。すなわち、Ｒｊは、ＴｉあるいはＦｉのうちの一つでもよい。
【０１９６】
圧縮のオブジェクトは、データ｛Ｄｉ｝および｛Ｒｊ｝で構成されるデータストリームである。これらのストリーム双方は、適応ウェーブレットを利用して、我々の事例では一組のウェーブレットを利用して、ウェーブレット変換される。ウェーブレットは、浮動小数点あるいは整数でもよく、あるいはこれらの混合でもよい。象徴的に、我々は以下のように記すことができる。
2009509218.tif 000060
（［０１９６］）．１
どれだけのＤｋを所定のＲｊとともに使用すべきかということは重要な質問である。原則的に、我々は、１の参照画像Ｒ０のみを必要とする。しかしながら、非常に長いシーケンスは、（ａ）Ｄｋが、参照画像と大きく異なる将来のフレームのように大きくなり、（ｂ）最近のＤｋの圧縮が非常に長いデータシーケンスの処理を要するため不利である。
【０１９７】
本質的に、個々の｛Ｄｉ｝は、参照フレーム｛Ｒｊ｝よりも圧縮する。この状況自体は、｛Ｒｉ｝をこれ自体から区別し、シーケンス｛Ｒｊ｝を新しいシーケンス｛Ｒｊ，｛δｋ｝｝として表現することにより支援される。
2009509218.tif 000061
（［０１９７］）．２
シーケンス｛Ｒｊ｝のメンバの事前の類似性により、δｋはＲｋよりも少ないビットで表わすことができる。｛Ｒｊ｝の圧縮は、格納された画像の質の決定における中心的な要素である。損失は、格納されたＲｋ＝Ｒｉ＋δｋの質を低下と同じであるため、｛δｋ｝シーケンスの圧縮は、ほぼ損失無く行われるべきである。圧縮されるデータストリームは、以下のように表わされる。
2009509218.tif 000062
図１７は、違いの体系化の様子を概略的に示している。
【０１９８】
最終的な段階は、圧縮されたデータストリームをマスクするのに必要な総てのウェーブレット変換を取得することである。
2009509218.tif 000063
（［０１９８］）．３ａ
また、参照フレームを再生成する場合、
2009509218.tif 000064
（［０１９８］）．３ｂ
ウェーブレット変換ストリームは、
2009509218.tif 000065
であり、サイクル長はｍである。圧縮が行われていないことに注意すべきである。
【０１９９】
ウェーブレットデータストリーム内の各データブロックは、ウェーブレット係数の一連の配列で構成されている。
2009509218.tif 000066
（［０１９９］）．４
ここで、
2009509218.tif 000067
（［０１９９］）．５
は、レベルＮ、同様に参照画像およびその違いの変換Ｗｉおよびωｋの場合のウェーブレット変換配列である。ウェーブレットＫとして表わされるこれらの配列のうちの最も小さいものは、「ウェーブレットカーネル」と呼ばれる小さな画像を含む。現在の表記では、ウェブレットカーネルは、
2009509218.tif 000068
（［０１９９］）．６
である。
【０２００】
圧縮。異なる種類のフレーム、参照フレームＲｉ、違いフレームＤｉ、あるいは異なる参照δｉは、画像の質を高く維持しつつ圧縮効率を最大限にすべく、これら自体の特別な処理を必要とする。
ここで、我々は本質的な原理のみを想起し、この処理は、閾値を決定し、好適な方法により当該閾値以下で係数を０に設定するステップと、残りの係数を量子化する方法と、最後に、これらの係数を効果的に表現あるいは符号化する方法とで構成されている。
【０２０１】
適応コーディング。我々はまた、ウェーブレットプレーンの違い領域が、異なる閾値および量子化を有することを想起し、閾値および量子化の特定の値を保持するデータの各領域が、マスクにより決定される。このマスクは、データの内容を示しており、データにより符号化される。
画像の一部が、その動作により、あるいは質のよい細部の存在により、特別に関心のあるものであると認定されると仮定する。特別に関心のあるこれらの領域は、低い閾値および質のよい量子化の程度（さらにレベル）を選択することができる。係数コードの異なるテーブルは、特別に関心のあるこれらの領域のために生成される。より数の多い値のために短いコードを使用することができ、こつは、２つのテーブルを保持することである。この２つのテーブルとともに、閾値の２つの値および量子化のスケーリング要因の２つの値を保持する必要がある。
【０２０２】
閾値化。閾値化は、圧縮量を制御する主要な手段の一つである。あるレベルでは、閾値化は、ノイズと見なされるものを除去するが、閾値レベルが上がり、より多くの係数がゼロにされるに伴い、画像の特徴が失われていく。ウェーブレット変換マトリックスのＳＤ、ＤＳおよびＤＤ構成要素は、画像データの曲率の状態を測定するため、これは、初めに損傷する画像のピクセルスケールの低曲率部分である。実際、ウェーブレット圧縮された画像は、閾値を厳しくすると「ガラスのような」外観になる。ウェーブレット変換マトリックスのｊＳＤ、ｊＤＳおよびｊＤＤ構成要素を無効にすると、構成要素ｊＳＳを単純に平準化し拡大した画像ｊ−１ＳＳが得られ、これを１以上のレベルについて実施することにより、特徴のない画像が生成される。ウェーブレットのより高いレベル（より小さい配列）は、注意深く保存されるべきであり、一方、低いレベル（大きな配列）は、閾値化が注意深く行われている場合には、知覚される損傷を画像に与えることなく破棄できることは経験則である。
【０２０３】
量子化。ウェーブレット係数の量子化はまた、係数の数を低減し、これらを効率的に符号化することにより圧縮のレベルに貢献する。理想的には、量子化は、係数のヒストグラムに依存すべきであるが、実際には、これは、演算リソースに非常に高い要求する。最も簡単で一般的に効率的な量子化の方法は、係数の大きさを変更し、結果をビットプレーンに分割することである。これは、実質的に、対数間隔量子化（logarithmic interval quantization）である。係数のヒストグラムが急激に分散する場合、これは、理想的な方法であろう。
不適当な量子化による影響は特に、小さな輝度勾配（intensity gradient）を有する平らな復元領域に影響自体を印象付け、復元された輪郭が非常にきつくなる。幸い、例えば、誤差拡散を利用した賢明な復元は、画像の他の部分を損傷することなく、問題を解決することができる（段落［０１５０］および［０１８３］）。
ウェーブレットプレーンのスケーリング要因は、圧縮されたデータヘッダの一部として保持される。
【０２０４】
符号化。ウェーブレット変換が閾値化および量子化されると、明確な係数の値の数が、非常に小さくなり（これは、量子化された値の数に依存する）、ハフマンのようなコードがこれらに割り当てられる。
コードテーブルは、各ウェーブレットプレーンにより保存される。通常、同一の映像ストリームからの数多くのフレーム用の同じテーブルを使用することは可能であり、好適なヘッダ圧縮技術はこれを効率的に処理し、これにより、フレーム毎にいくつかのテーブルを格納することによるオーバーヘッドを低減する。ストレージユニットは、圧縮されたウェーブレット群（以下を参照）であり、群全体に同じテーブルを使用させることは可能である。
【０２０５】
ビットボローイング。非常に小さい数を利用してデータ値を表現することは、多くの欠点を有し、画像の質を復元するのに非常に悪影響である。この状況は、様々な周知の技術により改善できる。この処理の一の実施例では、あるデータポイントの量子化によるエラーは、隣接するデータポイントに分散し、これにより、局所的な領域の情報の内容全体をできる限り保護することができる。残りのものの均等な再分配は、照度が均等な領域における輪郭削りを抑制する。さらに、特徴を有するこの残りのものの賢明な配置転換は、画像の詳細への損傷を抑制し、非常に見た目をよくする。これは、輪郭削りや他のアーティファクトを低減する。これを「ビットボローイング」と称す。
【０２０６】
バリデーションおよびエンクリプション。我々は画像を見たときに、実際に画像が、取得、圧縮および格納された画像と同じであるか知りたいと願う。これは、画像のバリデーションの処理である。
我々はまた、画像データへのアクセスを制限し、復元係数を暗号化し、ユーザが有効な暗号キーを提供した場合に、これらを正しい値に変換することを所望する。
これらの問題双方は、量子化されたウェーブレット係数のテーブルを暗号化することにより同時に解決できる。アクセスが制限されていない場合、通常のキーは、ストリームデータ自体に基づいて使用される。データが本物である場合、データは正しく解凍される。第２のキーは、データアクセスが制限されている場合に使用される。
【０２０７】
パッケージング。圧縮された画像データは、圧縮された参照フレームまたはテンプレートで構成された「パケット」に入り、当該参照フレームは、これらから抽出される一組のフレームが後に続く。これをフレームグループと称する。これは、他の圧縮スキームによる「画像のグループ」に似ているが、ここでは、参照フレームは全体的に人工的な構成であるため、我々は若干異なる名称を使用する。これは、有効に格納可能な最小のパケットである。
フレームグループを備える画像のウェーブレット変換のグループは、同様にウェーブレットグループと呼ぶことができる。
このようなフレームグループをより大きなパッケージに包含させることは有用であり、他に適切な用語がないために、この大きなパッケージを「データチャンク」と称し、これから派生する圧縮されたデータのパケットを「圧縮データチャンク」と称する。
通常、フレームグループはメガバイトあるいはそれより小さく、一方、有用なチャンクの大きさは数十メガバイトである。より大きな記憶素子を利用することにより、ディスクドライブからのデータアクセスをより効率的にすることができる。これは、ＤＶＤ＋ＲＷなどの取り外し可能なメディアに書き込むときにも有利である。
【０２０８】
要約データ。
【０２０９】
圧縮およびエンクリプション。要約データは一組のデータ画像で構成されており、各画像は、オリジナル画像から取得されるオリジナル画像の特定の状態を要約している。要約された状態は通常、画像に含まれる情報の一部のみであり、要約データは、オリジナル画像よりも十分に小さいサイズに圧縮される。例えば、要約データの一部が、背景の動作が検出された画像領域を示す場合、各ピクセルのデータは、単一のビット（検出されたあるいは検出されていない）により表わすことができる。通常、背景で何も行われていいない領域は、多くの０が存在するだろう。
【０２１０】
要約データは不可逆圧縮される。
【０２１１】
パッキング。要約データのサイズは、たとえオリジナルデータがクリーンであり圧縮されたとしても、オリジナルデータより遙かに小さい。アクセスを容易にすべく、要約データは、ウェーブレット圧縮されたデータと同一の方法によりパッケージされる。フレームグループ内の画像に関連する総ての要約データは、要約画像グループにパッケージされ、これらのグループは、ウェーブレット圧縮されたデータチャンクに正確に対応するチャンクに包含される。
【０２１２】
データベース。
【０２１３】
タイムライン。オリジナルデータはストリームに入るため、フレーム識別子およびフレームが取得された時間の双方あるいは一方により、総ての形式のデータを扱うことが適切である。
圧縮されたデータは、多数のフレームグループを含むチャンクに格納される。データベースは、利用可能な総てのチャンクのリストと、各チャンクの内容のリスト（フレームグループ）と、各フレームグループの内容のリストとを保持する。
格納されたデータアイテムの最も簡単なデータベースリストは、格納されたデータアイテム、例えばチャンク、フレームグループ、あるいは単一のグループのＩＤ番号および開始終了時間からなる識別子で構成される。また、データ要素のバイトサイズに関する情報を保持することは、効率的な検索に有用である。
【０２１４】
図１８は、要約画像データとウェーブレット圧縮データとの一対一の対応を示している。タイムラインを利用して、分析用の要約画像あるいは表示用のウェーブレット圧縮データのいずれかにアクセスできる。
【０２１５】
要約データおよびウェーブレット圧縮データを同じ位置に保持する必要はないことに留意すべきである。
【０２１６】
局所的な時間分割。この処理の主要な応用例は、ポストレコーディング分析機能によるデジタル画像レコーディングであるため、カレンダーに基づいてデータを保存するのは理にかなっている。
【０２１７】
要約画像。要約画像は通常、様々な解像度の１ビットプレーン画像である。これらを表示することは意味がないが、これらは、検索にとって非常に効率的である。
【０２１８】
圧縮画像データ。圧縮画像データは、ユーザがクエリーに応じて調べる最終的なデータである。
これは、要約データと同じレポジトリを必要としないが、データベースおよび要約データにより参照されるべきである。
【０２１９】
データストレージ。
【０２２０】
データベース。最終的にデータは、ある種類のストレージ媒体、例えばハードディスクあるいはＤＶＤ等に保存される。
最も簡単なレベルでは、データは、コンピュータ自身のファイリングシステムの一部として格納できる。この場合、論理的なカレンダ形式でデータを格納するのが有用である。毎日、その日のフォルダが生成され、データが時間毎にフォルダに格納される（ＵＴＣ時間基準を使用することは、サマータイムによる時間の変化に関連する予測不能の変化を避けることができる）。
高いレベルでは、データベース自体が、記憶システムを備えて、独自の記憶方針の観点により、格納されるデータ要素を保存してもよい。
ストレージメカニズムは、使用されるクエリーシステムから独立しており、データベースインタフェースは、いずれのストレージメカニズムであっても、またデータがいつ格納されたかに拘わらず、要求されているデータへのアクセスを提供すべきである。
【０２２１】
媒体。コンピュータストレージ媒体は、非常に多種である。最も簡単な分類は、取り外し可能な媒体および取り外し不可能なある。取り外し不可能な媒体の例は、ハードディスクであるが、いくつかのハードディスクは、取り外しができる。
実用的な違いは、取り外し可能な媒体は、独自のデータベースを保持しており、これにより、これらの媒体は、取り外し可能なだけではなく持ち運びができる。この方法により取り外し可能な媒体を管理することは、常に容易であるとは限らず、これは、使用されるデータベース次第であり、媒体がこのような容易性を備えているかによる。また、取り外し可能な媒体は、このデータがどうやって、いつ、どこで取得されたのかを示すオーディットのコピーを保持する必要がある。
【０２２２】
データ検索。
【０２２３】
図１９は、データ検索および分析サイクルのステップを示している。ユーザのクエリーに応じて、クエリーに合致する要約データが検索される。成功したヒットにより、イベントが生成され、ユーザに返却されるイベントリストに追加される。主要な画像データは、ユーザがリスト内のイベントを調べるのを望むまで処理されない。図１８は、主要な格納データが、どのように要約データに関連付けられるかを示している。
【０２２４】
存在しているものに基づいて、ユーザは、許容可能なイベントリストが見つかるまで検索の精度を高めることができる。選択されたイベントリストは、異なるストレージフォーマットに変換でき、注釈を付すことができ、パッケージでき、将来に使用するためにエクスポートできる。
【０２２５】
クエリー。
【０２２６】
検索基準。この種のストレージシステムは、ある実施例では、少なくとの２種類のデータ検索を可能にする。
時間および日付による検索：ユーザは、選択されたビデオストリームから、ある瞬間に取得されたデータを要求できる。要約データ内で特定の時間近くに発生したイベントが存在する場合、このイベントはユーザに通知される。
イベントあるいはオブジェクトの検索：ユーザは、選択されたビデオストリーム内のシーンの領域と、特定のイベントが発生する検索時間間隔を指定する。この時間間隔の要約データが検索され、発見されたイベントがユーザに通知される。検索は非常に高速であるため（数週間のデータは１分以内に検索できる）、ユーザは、非常に長い期間を効率的に検索できる。
要約データ内で発見されるイベントは、事前に記録した選択基準では予測されないことに留意すべきである。
【０２２７】
複数のストリームの検索。複数のストリームからの要約データリストは、ユーザが設定したロジックに基づいて形成し、組み合わせることができる。このロジックを可能にするメカニズムは、ユーザインタフェース次第であり、検索は単に、要求された総てのストリームにおける総てのヒットのリストを提供し、ユーザが設定する論理的な基準に基づいてこれらを組み合わせる。
例えば、ユーザは、ユーザの検索ストリームの一つにおけるヒットに応じて、他のビデオストリーム何が発生しているのかを調べることができる。ユーザは、ヒットしたストリームだけを同時にあるいは所定に時間間隔内で確認できる。ユーザは、他のストリームで確認されたヒットに付随する一のストリームのヒットを調べることができる。
【０２２８】
イベント−成功したクエリーの結果。成功したクエリーの結果は、ユーザが調査および評価可能なムービークリップ表示であるべきである。ムービークリップは、ユーザが評価できるように、十分な数のビデオフレームを表示すべきである。クエリーが複数のビデオストリームを含む場合、ディスプレイは、これらのストリームの同期化されたビデオリプレイを含むべきである。
ここで利用される技術は、要約データにおける成功したヒットのリストを生成し、これらを他のフレームとともに小さなムービーあるいは「イベント」にパッケージすることである。ユーザは、イベントのみを確認し、ユーザが要求するまで個々のフレームを確認しない。
【０２２９】
要約データ検索。
【０２３０】
ヒット。要約データの検索は、特定の特徴の画像のシーケンスを検索することである。ここでの利点は、通常、データが単一のビットプレーンであり、我々は、オンにされたビットを探すために、ユーザが指定した領域だけを検索することである。これは、要約データマップが適切に符号化された場合に更なる高速化が可能な非常に高速な処理である。
ヒットは、複数のビデオストリームから発生してもよく、クエリーにより設定されたロジックにより、複数のストリーム検索の結果が組み合わされる。
ヒットは、ブロックスコア全体、モーションの方向あるいはサイズなどの要約データから直接的あるいは間接的に利用可能な他の様々な属性の値に基づいて変更してもよい。
【０２３１】
ディスプレイ。要約データセット内でヒットを発見した場合、要約データからのヒットは、表示可能なイベントに組み込まれるべきである。表示および評価に関する２つの選択肢がある。（１）：トレイラが格納された場合に、トレイラを表示すること。（２）：十国して完全なデータを取得すること。
【０２３２】
スピード。要約データの検索は、分析が既に実施されているため非常に高速である。さらに、要約データセットのサイズは通常、オリジナルデータよりも数桁小さい。検索のうち最も遅いものは、実際に、ストレージ媒体のデータにアクセスすることである。
これは特に、ストレージ媒体がＤＶＤ（アクセススピードはおおよそ１秒当たり１０Ｍバイトである）の場合に当てはまり、この場合、要約データベース全体を頻繁にメモリにキャッシュするのが有用である。ユーザインタフェースのインテリジェントマスキングは、容易にこれを実行でき、最初の検索はデータをリードする時間であるが、以降の検索はほぼ一瞬である。
ネットワークを介した検索は、要約データが高速のローカルアクセスによりハードディスクに保持され、結果のみがクライアントに送信されるため非常に効率的である。
【０２３３】
関連するデータの検索。
【０２３４】
イベントの定義および生成。イベントは、１以上のデータ資源から連続したデータフレームを収集したものである。この収集を実施する少なくとのフレームの一つ、キーフレームは、要約データに対するユーザのクエリーとして定式化された所定の基準を満たすであろう。このクエリーは、時間、位置、ある領域の色、動作スピード等に属性に関連してもよい。クエリーに対する成功した結果を「ヒット」を称する。
この処理の一の実施例を考えると、この処理で単一の「ヒット」があった場合、ユーザは、アクションを評価するためにヒットの数秒前および数秒後のビデオを調べたいであろう。２以上のヒットが数秒以内に発生した場合、これらは組み合わされ、より長いイベントクリップが提供される。したがって、この実施例では、ユーザにより指定される前後のヒット時間の合計よりもヒットの間隔が短い場合、連続的なヒットは同一のクリップに組み込まれる。
あるデータストリームからの単一のキーフレームにより、複数のフレームをカバーするイベントを表わすことは可能であり、このように、キーフレームに関連する総てのデータストリームは相互参照できる。イベントは、（前後のアラーム画像シーケンスなどの）キーフレームの基準を満たさないキーフレームの前後の複数のデータフレームを備えてもよい。
図２０は、どのようにデータが取得され、処理され、格納され、および検索されるかを示している。クエリーに応じて、キーフレームが発見され、これらのキーフレームに関するイベントが生成される。
【０２３５】
イベントクリップの生成。要約データの各フレームは親フレームに関連し、これは、（ウェーブレット圧縮された）オリジナルビデオデータ内の親フレームから取得される。
要約データ内のヒットにより定義されるようにイベント内で参照されるフレームは、ウェーブレット圧縮されたデータストリームから取り出される。これらは、認証され、（必要に応じて）復号され、圧縮される。この後、これらは、表示に適した内的なデータフォーマットに変換される。
データフォーマットは、ユーザのコンピュータ上で表示され、あるいはＴＶモニタ上で表示するためのエンコーダチップあるいはグラフィックカードによりアナログＣＣＴＶビデオフォーマットに変換される場合、（ＤＩＢあるいはＪＰＧなどの）コンピュータフォーマットでもよい。
【０２３６】
イベント分析。要約データヒットのためのオリジナルビデオフレームが取得されると、これらは、要約データに含まれていなかった他の基準を満たすかどうか分析できる。したがって、要約データは、処理時間における演算資源の制限により、オブジェクトを人々、動物、あるいは車両に分類しない。この分類は、これらのストリームに利用可能な要約データを組み合わせることにより、また格納された画像から実施できる。
【０２３７】
オーディオデータの追加。イベントが再生され、あるいはエクスポートされた場合、シーケンスに付随するオーディオチャネルへのアクセスが必要とされることがある。
オーディオチャネルは、この説明の観点によると、単に別のデータストリームであり、他のストリームと同じ方法により、アクセスおよび表示される。
【０２３８】
ワークフロー。
【０２３９】
データアクセスおよびバリデーション。データが符号化された場合、ユーザインタフェースは、データを表示する前に、データを復号化する権限を要求するだろう。同じコンピュータに記録された総てのデータは、同じユーザアクセスコードを備えている。異なるストリームは、異なるセキュリティレベルを有する場合、追加のストリームアクセスコードを備えてもよい。
データバリデーションは、データバリデーションコードが画像データ上で生成されたデータチェック式のほとんど固有の結果であるため、復号化と同時に行われる（コードが、限られたビットを有するため、我々は「ほとんど固有」と記す。したがって、天文学的に起こりそうもないが、２つの画像が同じコードを持つこともあり得る。）。
【０２４０】
クエリーの繰返しあるいはリファイン。ユーザインタフェースは、問い合わせを繰り返す、問い合わせの精度を高める、あるいは完全に異なるデータストリームの別の問い合わせの結果と一の問い合わせの結果を組み合わせる選択肢を有する。
要約データ内の検索処理は非常に高速であるため、異なるパラメータあるいは異なるロジックによる問い合わせを繰り返すのに費用が抑えられる。これは単に、プログラムの効率の問題である。
【０２４１】
データエクスポート−オーディット。ユーザが、クエリーを満たすイベントセットを有する場合、他のプログラムにより使用でき、あるいは表示および通知の目的で使用される方法で発見されたこれらのイベントを保存する必要がある。どのように結果が得られたかについてのオーディットは、エクスポートに共に発行され、この処理は、必要に応じて再び実行できる（検索の結果を繰り返す可能性は、時折、訴訟事件で要求される）。
【０２４２】
エクスポート。
【０２４３】
イベントデータは、多くの標準的なフォーマットのいずれにもエクスポートできる。これらの多くは、Microsoft Windows（商標）ソフトウェア、あるいいはLinuxのソフトウェアと互換性がある。多くがＭＰＥＧ標準（これは、現在のWindowsメディアプレーヤによりサポートされていないが）を基にしている。
【０２４４】
本発明は図示された実施例により説明されているが、当業者であれば、この実施例の変更例が存在し、これらの変更例は、本発明の目的および範囲内であることは理解できるであろう。したがって、添付した請求項の意図および範囲から逸脱しない範囲で当業者により様々な変更がされるであろう。
【０２４５】
表記
記号による表記
以下では、明確にするために、様々な種類のデータおよび画像を意味する記号を使用する。
【０２４６】
データ、画像およびオペレータ
これらの画像あるいはこれらの組み合わせ上で動作するプロセスは、オペレータとして表わされる。したがって、Ｆが画像フレームを意味し、Ｎがノイズをフィルタするオペレータを意味する場合、ＮＦは、プロセスの結果を表わし、Ｆ−ＮＦは、Ｆのノイズ成分として認識される剰余を意味する。
連続して動作するオペレータは、右から左に動作すべく採用される。したがって、Ｎ１およびＮ２が、画像フレーム上で動作する２つのオペレータである場合、Ｎ１Ｎ２Ｆは、初めにＮ１をＦに適用し、次にＮ２を適用した結果である。
オペレータは線形である必要はなく、また交換する必要がない。すなわち、Ｎ１およびＮ２が、画像フレームＦ上で動作する２つのオペレータである場合、Ｎ１Ｎ２ＦおよびＮ２Ｎ１Ｆは、必ずしも同じであるとは限らない。
フレームＦの一般的な時間および空間依存性は、記号Ｆ（ｘ，ｔ）により表わすことができ、ここでｘは、時間ｔにおけるフレームの２次元画像データである。
我々はまた、どのようにこれらの様々な画像が生成され関連するのかを示すために擬似コードを使用する。詳細については別表に記載されている。
【０２４７】
表記
2009509218.tif 000069
2009509218.tif 000070
表記は非常に多くなり、通常のデータが、我々が特に示したいサイズを有する値のマトリックスにより表示される場合を考える。我々は、内容から推定可能なものは残しつつ、必要な下付文字および上付文字のみを保持する通常の単純化のステップを採用する。
【０２４８】
等式の番号付け
等式は２つの数字、等式が記載されている段落への直接的な参照と、その段落中の等式の番号の参照を有する。したがって、（［００９３］）．３の番号が付された等式は、段落［００９３］の３番目の等式である。
【０２４９】
用語解説
ビットボローイング
高いレベルの忠実度が求められる画像の一部を、画像の他の部分よりも、高品質で圧縮することができる処理である。実際には、画像の一部のビットを借りて、他の部分をよく表す。これは、保存する前に、ウェーブレット係数を符号化する間に行われる。係数コードの特別なテーブルが、特別に関心のあるこれらの領域のために作られる。より数の多い値のためのより短いコードを使用することができ、この秘訣は、２つのテーブルを保持することである。２つのテーブルに加えて、閾値の２つの値および量子化倍率（scaling factor）の値を保持することも必要である。
【０２５０】
ＣＤＦ（２，２）
高いパスフィルタの５ポイントおよび低いパスフィルタの３ポイントを利用するために双直交５−３ウェーブレットとしても知られているCohen、DaubechiesおよびFeaveauによる双直交ウェーブレット（bi-orthogonal wavelet）大きなクラスの単純なメンバである。
【０２５１】
現在の画像
現在の注目されているシーケンス内の画像である。これは通常、ストリーム内で得られた最新の画像であるが、現在の画像の処理が多数の連続した画像に依存する場合は、最後のもの、最後から２番目、あるいは最後からｎ番目である可能性がある（これは、我々が時間導関数を評価している場合に起こりうる）。
【０２５２】
ＤＣＤ
データチェンジディテクション：通常のＶＭＤ形式である。また、ＶＭＤ、ビデオモーションディテクションも参照。
【０２５３】
異常ピクセル
ピクセルの過去の歴史の時系列の分析により、ピクセルの過去が示すものに関して例外的な値を有すると思われる画像データ内のピクセルである。異常ピクセルは、各時点における時間的な動き（time behaviour）の観点により定義され、これらのピクセルの重要性は、異常なピクセルの空間的なパターンをスコアリングすることにより、別のピクセルに対するこれらの相対的な近接性の観点により評価される。
【０２５４】
ＤｉｖＸ
相対的に高い画質を維持したまま、冗長なビデオセグメントを小さなサイズに圧縮できるために人気のあるビデオファイル形式である。ＤｉｖＸは、不可逆のＭＰＥＧ−４パート２圧縮を利用し、ＤｉｖＸコーデックは、完全にＭＰＥＧ−４−ＡｄｖａｎｃｅｄＳｉｍｐｌｅＰｒｏｆｉｌｅに準拠する。現在、ＤｉｖＸ形式は特許の対象であり、オープンソースではない。ＤｉｖＸは、ＭＰＥＧ−４パート１０としても知られている新しいＨ．２６４／ＭＰＥＧ−４ＡＶＣに劣るが、ＣＰＵの負担は非常に少ない。
一般的には、これは、Ｘｖｉｄとして知られているオープンソース形式により置換されている。
【０２５５】
動的な前面
データ収集が動的な前面を有する期間中に、シーン内に入るもしくは残っている、または連続的な動作を実行するシーン内の特徴である（静止したおよび静的な背景）。
静止した背景、静的な背景も参照。
【０２５６】
イベント
イベントは、１以上データ資源からの連続したデータフレームの集めたものである。これを収集するフレームのうち少なくとも一つは、（時間、位置、ある領域の色、動作のスピードなどの）特定の基準を満たす。一のデータストリームの単一のキーフレームにより、複数のストリームを網羅するイベントを表すことができ、この方法により、キーレフレームに関連する総てのデータが相互参照できる。一つのイベントは、（例えば、前後アラーム画像シーケンス内の）キーフレーム基準を満たさないキーフレームの前後の複数のデータフレームを備えてもよい。
ビデオイベントディテクションを参照。
【０２５７】
ＧＵＩ
グラフィカルインタフェース。これは、コンピュータ、個人用デジタル補助装置（ＰＤＡ）、携帯電話等で動作するコンピュータプログラムであり、利用可能なプログラムおよびデータの「ウィンドウ」あるいは「グラフィカル」ビューによりユーザに表示する。ユーザは、マウスおよびキーボードなどのポインティングデバイスを用いてプログラムを制御しデータにアクセスする。ＧＵＩは容易性および機能を決め、これらにより、ユーザがプログラムを動作させ、データを処理する。
【０２５８】
画像マスク
画像データ上で特定の処理から保護される画像内の領域である。したがって、マスクは、画像中の特徴のエッジを網羅するように構成されており、平準化処理は、曖昧な特徴を生成しない。
【０２５９】
画像テンプレート
現在の画像と、場合によりそれに先行する多数の画像から生成される画像である。このような画像の目的は、画像およびその過去の画像の特定の様子を強調することである。テンプレートの一例は、現在の画像の単なるエッジで構成された画像でもよい。現在の画像を特別に設計されたテンプレートと比較することにより、我々は、画像の特定の様子における変化を分離することができる。
【０２６０】
マスク
画像マスクは、ある画像の領域のマップであり、これの総てのポイントは、特定の性質を共有する。このマップは、これ自体の画像であるが、むしろ単純化された画像であり、これは、当該画像が通常、画像上のポイントがこの特定の性質を有するか否かを示すためである。二値（ＹｅｓあるいはＮｏ）のマップは、単一のビットマップで表される。マスクは、顕著な赤色がある画像、特定の方向への動きが存在する画像などの１以上の画像についての特定の情報を要約するのに利用される。したがって、マスクは、マップの情報の内容を決定する属性および値のリストを有するマップである。
１以上のマスクからの情報は、データストリームの要約データを生成するのに利用される。
またマスクは、画像の特定の部分がマスクされていない場合に、この画像の特定の部分を破壊する可能性のある処理から、この画像の特定の部分を保護するのに利用される。
要約データを参照。
【０２６１】
ＭＰＥＧ
Moving Picture Experts Group：１９８８に設立された組織である。この組織は、デジタルオーディオおよびビデオ信号の映像信号の符号化表示の規格を開発の責任がある。この規格により、ＭＰＥＧ−１、ＭＰＥＧ２、ＭＰＥＧ−４およびＭＰ３などのデータファイル形式が作られた。この規格の文書は、自由に利用できるわけではなく、この規格を使用するには、ライセンス契約を必要である。ＭＰＥＧは、実際にはオープンソース規格ではない。
【０２６２】
ノイズ
ノイス構成要素は、シーンの一部を正確に表示しない画像データの一部である。通常、ノイズは、機器の影響により発生し、画像データの明確な評価を阻害する。通常、ノイズ成分は、画像データと相関関係がなくあるいは直交すると考えられているが、ノイズは画像の局所的な特性に直接的に依存するため、必ずしもそうとは限らない。
【０２６３】
ピラミッド分解
Ｍａｌｌａｔの多重解像度分解の指針に従いｎ次元データを縮小された低解像度のデータに連続的に縮尺および分解する。また、高解像度のデータベースセットを前の低解像度のデータベースセットから生成するときに生じるエラーが格納される。この例はウェーブレット変換であるが、総てのピラミッド分解がウェーブレットに基づくのではなく、１次でないピラミッド型メジアン変換（nonlinear pyramidal median transform）が重要な例である。
【０２６４】
ランダムなカメラモーション
ランダムで制限のあるカメラの動作により、認識される画像シーケンスがぶれ、誤った動作検出が発生する。ランダムなカメラモーションは、体系的なカメラモーションに重ね合わせることができ、この場合、これは、画像アスペクトにおける他の滑らかな変化からランダムにずれているように見える。
体系的なカメラモーションを参照。
【０２６５】
参照画像
画像、できれば人工画像であり、これに対して、現在のシーンで発生した重要なイベントが存在するか否かを決定する。人工画像は、過去に取得された他の画像（この例は平均である）から形成できる。また、現在分析されている画像に続く画像を含むことも可能である（これが実施される場合は、むしろ好ましい）。テンプレートを参照。
【０２６６】
シーンシフト
シーンの静止した背景の景色が変化するときのビデオストリームの時間であり、シーンは、シフトの直前および直後に空間的に相関しない。
シーンマーカーを参照。
【０２６７】
シーンマーカー
シーンの重要な変化がある位置のしるしである。このような変化は通常、異なる光景を有するシーケンスを開始する体系的なカメラの動作によるものであり、あるいはシーケンスを提供するカメラの変化によるものである。
シーンシフトを参照。
【０２６８】
ふるい（シーブ）
「ふるいにかける」という動詞は、「選別する」と同義である。辞書では、「好適に試験するために調べること」、「注意深くチェックおよびソートすること」、および「区別および識別すること」と定義している。ふるい（シーブ）（名詞）は、ふるいを可能にする装置である。本明細書では、名詞は、エラトステネスのふるい法により例示される数学的な概念の意味で使用されており、これは、与えられた数Ｎ以下の総ての素数を区別および識別するアルゴリズムである。したがって、我々は、データストリーム内の属性を区別および識別できる処理を提供する。
選別、空間的なシーブ、時間的なシーブを参照。
【０２６９】
選別（sift）
辞書では、これは「調べること、特に有用あるいは価値のあるものを選び出すこと＜選別された証拠＞−−しばしば、＜アレシボ望遠鏡により拾われた信号を選別する＞のように使用される」とある。また。これは「ふるいを利用すること」、「ふるいにより識別するように区別すること」、および「注意深く調べること」を意味する。ふるい（シーブ）を参照。
（辞書を使用することにより、「Scalinvariant feature transform」の頭字語ＳＩＦＴと混同してはならず、このＳＩＦＴは、画像から特有の特徴を抽出するコンピュータビジョンアルゴリズムであり、オブジェクトあるいはシーンの異なるビュー（例えば、立体視）のマッチングやオブジェクト認識などのタスク用のアルゴリズムで使用される。）
ふるいを参照。
【０２７０】
スナップショット
「スナップショット」は、アクションの一つのフレームの小さなサムネイルビューを提供するイベントから取得される単一の画像である。このようなフレームは、トレイラの一部とすることができ、あるいは要約データに保持された特別に生成されたフレームとすることができる。
【０２７１】
空間的なシーブ
空間的に変化する信号あるいは一連の信号がある特徴を抽出および保存するアルゴリズムあるいは装置である。ハフ変換は、空間的なシーブである。
シーブ、時間的なシーブを参照。
【０２７２】
静止した背景
固定したシーン要素であって、カメラレスポンス、照度、あるいは移動するオブジェクトによるオクルージョンの変化の値によってのみ変化するシーン要素で構成される。静止した背景は、カメラがパン、ティルト、ズームしているときでも存在してもよい。あるシーンを異なる時間に再び閲覧すると、同じ静的な背景要素が表示される。建物および道は、静止した背景を構成する要素の例である。
静的な背景、動的な前面を参照。
【０２７３】
静的な背景
あるシーンを異なる時間に再び閲覧すると、僅かに移動した様子の同じ静的な要素が表示されるとういう意味で固定されたシーン要素で構成される。動く木の枝および葉は、静的な背景構成要素の例である。動作は局所的および限定的であり、この時間変化は一時的でもよい。窓の反射はこのカテゴリに属するであろう。
静止した背景、動的な前面を参照。
【０２７４】
要約データ
要約データは、一組のデータ画像で構成されており、それぞれが、要約データが得られたオリジナルデータの特定の様子を要約する。
【０２７５】
体系的なカメラモーション
カメラは、オペレータあるいはプログラムの制御によりパン、ティルトおよびズームする機能を有する。このような場合、我々は、一連のアフィン変換によりモデル化できるシーン内の体系的なシフトを見る。動作が速い場合、連続的なシーンは、互いにあまり関係なくあるいは無関係である。
ランダムなカメラモーションを参照。
【０２７６】
テンプレート
画像、できれば人工画像であり、これに対して、現在のシーンで発生した重要なイベントが存在するか否かを決定する。人工画像は、過去に取得された他の画像（この例は平均である）から形成できる。また、現在分析されている画像に続く画像を含むことも可能である（これが実施される場合は、むしろ好ましい）。参照画像を参照。
【０２７７】
時間的なシーブ
時間により変化する信号あるいは一連の信号がある特徴を抽出および保存するアルゴリズムあるいは装置である。フィルタの通過帯域は、信号の周波数成分の周波数シーブの選択である。
シーブ、空間的なシーブを参照。
【０２７８】
サムネイル
アクティビティが検出されたシーンを示す小さな画像である。これらの小さな画像は、並列データのストリームあるいは要約データの一部として格納できる。これらは、ムービークリップの素速いブラウジングが必要な場合に、完全な画像の代わりに表示できる。
【０２７９】
トレイラ
イベントを構成するフレームのサンプリングされた小さなバージョン。これらの小さなフレームは、並列データのストリームあるいは要約データの一部として格納できる。これらは、ムービークリップの素速いブラウジングが必要な場合に、完全なデータの代わりに再生できる。トレイラは、サムネイルを集めたものではなく、費用が高くて格納することができない。
【０２８０】
ビデオイベント検出
ビデオイベントは、１以上のビデオデータ資源の連続的なビデオフレームのコレクションである。このコレクションを形成するフレームの少なくとも一つ、キーフレームは、イベントを決定する。連続的なフレームのコレクションは、キーフレームを含む総てのフレームを含むコレクションであり、どれほど大きなキーフレーム間のギャップが異なるイベントを表わしているか示すための基準が存在する。コレクションは、初めのキーフレームの後で、最後のキーフレームの前の多数のフレームを含んでもよい。これは、単一のビデオフレームの領域のモーションを検出に関連するビデオモーション検出とは対照的である。ビデオモーション検出により検出されたモーションを含むビデオフレームは、多くの場合、ビデオイベントを決定するキーフレームである。
イベント、ＶＭＤ、ビデオモーション検出も参照。
【０２８１】
ビデオフレーム
ここで使用されているフレームは、単一の画像として表示されるビデオシーケンスの最も小さい時間的な単位として定義される。
【０２８２】
ビデオシーケンス
ここで使用されているビデオシーケンスは、時間により整列した個別のデジタル画像のシーケンスとして定義されており、これは、デジタル電子カメラあるいはコンピュータのグラフィックアートアプリケーションなどのデジタル資源から直接的に生成してもよく、あるいは、テレビ放送あるいは記録媒体により提供される信号などのアナログ信号の視覚的な部分をデジタル変換（デジタル化）することにより生成してもよく、あるいは、映画フィルムをデジタル変換（デジタル化）することにより生成してもよい。
【０２８３】
ビデオモーション検出
ビデオモーション検出：主要な目的の一つは、単に周囲の状況の変化によるものでないシーン内の変化を見つけることである。モーションにはいくつかの種類がある。我々は、通常の変化（風の中で動く木など）を侵入による変化（車両など）と区別する。前者のモーションは、このようなモーションがシーン内に限定されており、明らかに反復するという事実により認識される。
【０２８４】
ＶＭＤ
ビデオモーション検出を参照。
【０２８５】
ウェーブレット係数
ウェーブレット変換手段による画像の表示は、画像を正確に再形成するのに利用可能な数字の配列を提供する。変換は、ウェーブレット係数と称される一組の数字を用いて画像ピクセルのグループを処理することにより行われる。多くの種類のウェーブレットが存在し、それぞれが、特定の係数セットにより表わされる。画像圧縮の場合、最大限の圧縮を可能にするこれらの係数セットは有利である。しかしながら、これらの係数により生成されるデータは、より大きな圧縮レベルを得るために、検閲され、近似されるだろう。したがって、この検査および近似にも拘わらず、確実で正確な再形成を提供する係数セットは好適である。多くの議論は、これらの観点双方において、いずれの特定のウェーブレット係数セットが最も良いかに集中している。
【０２８６】
ウェーブレット圧縮
２つの要素が、ウェーブレットデータの大幅な圧縮を可能にする。画像のウェーブレット表現の階層構造は、値がほぼ０である多数の階層的に関連する係数が存在する状態になり易い。係数の閾値化処理は、この階層内の０値の数を増やし、量子化処理は、０値が効果的に表示されることを保証する。したがって、非常に少ない格納領域を使用するより効率的な方法でデータを表示することができる。
【０２８７】
ウェーブレット符号化
ウェーブレット係数が量子化される場合、参照テーブルに格納されたコードにより表現される相対的に少ない値が存在する（ウェーブレット量子化を参照）。コードの数字が、再形成のために検索される。しかしながら、格納の前にコード値を提供するテーブルを符号化することができ、この結果、暗号手段を利用しないプログラムは、画像を再形成できない。
【０２８８】
ウェーブレットカーネル
画像のウェーブレット変換は、常にサイズが減少する画像の階層で構成される。階層のレベル間の倍率は通常、必ずではないが、２の一次元ファクタ（linear factor）の場合、４ピクセルの２×２のブロックが１ピクセルになる。より高い（より大きな）画像は、逆のウェーブレット変換によりこれらから形成されるため、使用される最小レベルを「ウェーブレットカーネル」と称する。
【０２８９】
ウェーブレット量子化
データのウェーブレット変換は、オリジナルデータを再生成するのに利用可能な一組の数字で構成される。十分なレベルの圧縮を実現すべく、数字を単純化し、僅かな典型的な数字により実際の値を表わすことは有用である。典型的な値が選択される方法は、結果が、再形成されたデータの認識可能な変化を生じさせない。この処理は、本質的に連続的な値のセット（元のウェーブレット係数）を適切な不連続の値のセットに変更するため、量子化と呼ばれる。僅かな不連続な値が、各値を再形成処理の間に発見可能な特定のコードに置き換えてコード化される。このため、値２９．６１３５は、文字「Ｗ」で表わすことができ、各「Ｗ」は、再生成で２９．６１３５により置き換えられる。コード化は、データの符号化の可能性を開く。
【０２９０】
ウェーブレット閾値化
データのウェーブレット変換は、オリジナルデータを再形成するのに利用可能な一組の数字で構成される。十分なレベルの圧縮を実現すべく、再形成されるデータの認識可能な変化を生じさせることないほど十分に小さな数を切り捨てることは有用である。閾値化は、数が安全に切り捨て可能かどうかの決定がなされる一つの方法である。閾値の選択的な値を決定し、閾値化が行われた場合にデータを利用して何をするのかを決定する多くの方法が存在する。このような方法の一つは、「ＳＵＲＥ」（「Stein's Unbiased Risk Estimator」）と称される。
【０２９１】
ウェーブレット変換
連続的なデータあるいは画像データの変換であり、これにより、変換されたデータは、オリジナルデータの線形スケールレングス（linear scale length）の半分である。低減されたデータセットは、削減されたデータからオリジナルデータを再生成するのに必要な情報を含む別のデータセットにより保持される。収縮されたデータからオリジナルデータを再生成する能力は、ウェーブレットの重要な特徴である。
【０２９２】
ＸｖｉＤ
ＸｖｉＤは、無償のオープンソースによるビデオコーデックである。ＸｖｉＤは、２００１年７月に中止されたＯｐｅｎＤｉｖＸソースの後、ボランティアのプログラマにより作られた。１．０．ｘリリースでは、ＧＮＵ  ＧＰＬ  ｖ２ライセンスは、明示的な地理的な制約なしに利用されるが、ＸｖｉＤの適法な利用は、地域の法律により制限されている。ＸｖｉＤによりエンコードされたファイルは、ＣＤあるいはＤＶＤに書き込みでき、ＤｉｖＸに準拠したＤＶＤプレーヤで再生できることに留意すべきである。
【０２９３】
関連出願のクロスリファレンス
本出願は、２００５年９月１日に出願された米国暫定特許出願第６０／７，１２，８１０の優先権を主張し、この出願の全体は、当該出願を参照することより本明細書に組み込まれている。
【図面の簡単な説明】
【０２９４】
【図１】図１は、一般的な形態における処理のブロック図である。
【図２】図２は、ウェーブレット変換階層である。異なる変換は、異なるレベル間で生じる。
【図３】図３は、４つのポイントのウェーブレットのウェーブレットファミリーを生成する処理である。
【図４】図４は、ウェーブレットファミリーが６ポイントおよびこれより高次の偶数ポイントのウェーブレットに生成される処理である。
【図５】図５は、本発明の実現の個別のステージを示している。
【図６】図６は、データの取得ポイントから、詳細な分析および要約データの生成に十分なリファインされたデータポイントまでのステップを示している。このステップは、カメラモーションから生じるアーティファクトおよび画像ノイズを除去するステップと、静止および静的な背景および動的な前面に分解するステップとを含む。
【図７】図７は、要約データとなる一連のオブジェクトマスクに動的な前面を一時的および部分的にグループ分けする処理を示している。
【図８】図８は、画像データのウェーブレット表現および要約データが圧縮されるデータ格納処理を示している。
【図９】図９は、データの問い合わせおよび検索処理を示している。
【図１０】図１０は、イベント選択の後の処理を示している。
【図１１】図１１は、新たに取得した画像の分析の初めのループで実行される処理を示している。
【図１２】図１２は、ピラミッド変換であり、ピラミッドの各層は、オリジナルデータよりも小さくて解像度の低いデータを含んでいる。
【図１３】図１３は、初めにウェーブレットＷ１を用いてどのように階層が生成されるか示しており、次に、ウェーブレットＷ２を用いてどのように階層が生成されるか示している。下図は、データが格納される方法を示している。
【図１４】図１４は、ウェーブレットのカーネル置換処理である。
【図１５】図１５は、一連の画像から抽出された一組のデジタルマスクである。これらのマスクは、後に要約データの一部になる。
【図１６】図１６は、スコアが中央のピクセルに割り当てられた多くの３×３の図形が示されており（上図）、特定の３×３のブロックの総合的に逸脱したピクセルのスコアが示されている（下図）。
【図１７】図１７は、データ圧縮処理の要素を要約している。
【図１８】図１８は、どのように要約データとウェーブレット圧縮データが一対一に対応するのかを示している。
【図１９】図１９は、データの検索および分析サイクル内のステップを示している。
【図２０】図２０は、データがどのように取得、処理、格納および検索されるかを示している。
【図１】
2009509218.tif 000071
【図２】
2009509218.tif 000072
【図３】
2009509218.tif 000073
【図４】
2009509218.tif 000074
【図５】
2009509218.tif 000075
【図６】
2009509218.tif 000076
【図７】
2009509218.tif 000077
【図８】
2009509218.tif 000078
【図９】
2009509218.tif 000079
【図１０】
2009509218.tif 000080
【図１１】
2009509218.tif 000081
【図１２】
2009509218.tif 000082
【図１３】
2009509218.tif 000083
【図１４】
2009509218.tif 000084
【図１５】
2009509218.tif 000085
【図１６】
2009509218.tif 000086
【図１７】
2009509218.tif 000087
【図１８】
2009509218.tif 000088
【図１９】
2009509218.tif 000089
【図２０】
2009509218.tif 000090
【国際調査報告】
2009509218.tif 000091
2009509218.tif 000092
2009509218.tif 000093
2009509218.tif 000094
2009509218.tif 000095
2009509218.tif 000096
2009509218.tif 000097
2009509218.tif 000098