"1つ又は複数の移動オブジェクトの視覚的監視を行うための方法であって、1つ又は複数のカメラによりキャプチャされた1つ又は複数の画像を重ね合わせることであって、前記1つ又は複数の画像を重ね合わせることが、2つ又はそれ以上の隣接するフレーム内の前記1つ又は複数の画像の領域ベースの重ね合わせを含む、1つ又は複数の画像を重ね合わせることと、前記1つ又は複数の画像のモーションセグメント化を行って、前記1つ又は複数の画像内の1つ又は複数の移動オブジェクト及び1つ又は複数の背景領域を検出することと、前記1つ又は複数の移動オブジェクトの視覚的監視を容易にするように、前記1つ又は複数の移動オブジェクトを追跡することと、を含み、前記1つ又は複数の画像を重ね合わせることが、前記1つ又は複数の画像の再帰的な大域的及び局所的幾何学的重ね合わせを含む、方法。前記1つ又は複数の画像を重ね合わせることが、1つ又は複数のサブピクセル画像マッチング技術を用いることを含む、請求項1に記載の方法。前記1つ又は複数の画像のモーションセグメント化を行うことが、順方向及び逆方向フレーム差分を取ることを含む、請求項1に記載の方法。前記順方向及び逆方向フレーム差分が、時間的フィルタリング及び空間的フィルタリングのうちの少なくとも一方に基づく自動動的閾値推定を含む、請求項3に記載の方法。前記順方向及び逆方向フレーム差分が、1つ又は複数の画像特徴の独立した動きに基づいて1つ又は複数の偽の移動ピクセルを除去することを含む、請求項3に記載の方法。前記順方向及び逆方向フレーム差分が、形態学的操作をおこなうことと、1つ又は複数のモーションピクセルを生成することとを含む、請求項3に記載の方法。前記1つ又は複数の移動オブジェクトを追跡することが、ハイブリッドターゲット追跡を行うことを含み、前記ハイブリッドターゲット追跡は、Kanade-Lucas-Tomasi特徴トラッカ及び平均値シフトを用いることと、自動カーネルスケール推定及び更新を用いることと、1つ又は複数の特徴軌道を用いることとを含む、請求項1に記載の方法。前記1つ又は複数の移動オブジェクトを追跡することが、1つ又は複数のターゲットについての特徴マッチング及び距離行列に基づく1つ又は複数の多重ターゲット追跡アルゴリズムを用いることを含む、請求項1に記載の方法。前記1つ又は複数の移動オブジェクトを追跡することが、モーションマップを生成することと、1つ又は複数の移動オブジェクトを識別することと、オブジェクト初期化及びオブジェクト確認を行うことと、前記モーションマップ内の1つ又は複数のオブジェクト領域を識別することと、1つ又は複数の特徴を抽出することと、前記モーションマップ内に探索領域を設定することと、前記モーションマップ内の1つ又は複数の候補領域を識別することと、平均値シフト追跡することと、前記1つ又は複数の候補領域内の1つ又は複数の移動オブジェクトを識別することと、Kanade-Lucas-Tomasi特徴マッチングを行うことと、アフィン変換を行うことと、Bhattacharyya係数によって最終領域決定を行うことと、ターゲットモデル及び軌道の情報を更新することと、を含む、請求項1に記載の方法。前記1つ又は複数の移動オブジェクトを追跡することが、基準面ベースの重ね合わせ及び追跡を含む、請求項1に記載の方法。各カメラビューを1つ又は複数の他のカメラビューと関連付けることをさらに含む、請求項1に記載の方法。1つ又は複数のカメラによりキャプチャされた前記1つ又は複数の画像からパノラマビューを形成することをさらに含む、請求項1に記載の方法。各カメラの動きを、前記パノラマビュー内の1つ又は複数の静止オブジェクトの映像情報に基づいて推定することをさらに含む、請求項12に記載の方法。前記パノラマビュー内の1つ又は複数の背景構造を、直線構造の検出と、ある期間にわたる前記1つ又は複数の移動オブジェクトの統計的解析とに基づいて推定することをさらに含む、請求項12に記載の方法。自動特徴抽出をさらに含み、前記自動特徴抽出は、画像をフレーム化することと、ガウス平滑化操作を行うことと、ケニー検出器を用いて1つ又は複数の特徴エッジを抽出することと、特徴解析のためのハフ変換を実施することと、変換空間における多重ピークの影響を低減するために最大応答ファインディングを決定することと、特徴の長さが特定の閾値を上回るか否か判定し、前記特徴の前記長さが前記閾値を上回る場合に特徴抽出及びピクセル除去を行うことと、を含む、請求項1に記載の方法。前記自動特徴抽出が、フレーム差分を取ることと、モーション履歴画像による検証とを行うこととをさらに含む、請求項15に記載の方法。前記方法が、外れ値除去を行って、1つ又は複数の間違った移動オブジェクトマッチを除去することをさらに含む、請求項1に記載の方法。偽ブロブフィルタリングをさらに含み、前記偽ブロブフィルタリングは、モーションマップを生成することと、連結成分プロセスを適用して各ブロブデータをリンクすることと、モーションブロブテーブルを作成することと、以前に重ね合わされたフレーム内の各ブロブについて1つ又は複数の特徴を抽出することと、Kanade-Lucas-Tomasi法を適用して各ブロブの動きを推定し、あるブロブについて動きが生じなかった場合に該ブロブを前記ブロブテーブルから削除することと、を含む、請求項1に記載の方法。時間ドメインと空間ドメインのうちの少なくとも一方の上でターゲットモデルを更新することをさらに含む、請求項1に記載の方法。パノラマビューにおけるオブジェクト外観及びオブジェクト軌跡の索引を作成することをさらに含む、請求項1に記載の方法。クエリと前記索引内のエントリとの間の類似度メトリックを決定することをさらに含む、請求項21に記載の方法。システムを提供することをさらに含み、前記システムは、1つ又は複数の別個のソフトウェアモジュールを含み、前記1つ又は複数の別個のソフトウェアモジュールの各々は、有形のコンピュータ可読記録可能ストレージ媒体上で具体化され、前記1つ又は複数の別個のソフトウェアモジュールは、ハードウェアプロセッサ上で実行される、幾何学的重ね合わせモジュール、モーション抽出モジュール、及びオブジェクト追跡モジュールを含む、請求項1に記載の方法。1つ又は複数の移動オブジェクトの視覚的監視を行うためのシステムであって、メモリと、前記メモリに結合された少なくとも1つのプロセッサと、を含み、前記プロセッサは、1つ又は複数のカメラによりキャプチャされた1つ又は複数の画像を重ね合わせることであって、前記1つ又は複数の画像を前記重ね合わせることが、2つ又はそれ以上の隣接するフレーム内の前記1つ又は複数の画像の領域ベースの重ね合わせを含む、1つ又は複数の画像を重ね合わせることと、前記1つ又は複数の画像のモーションセグメント化を行って、前記1つ又は複数の画像内の1つ又は複数の移動オブジェクト及び1つ又は複数の背景領域を検出することと、前記1つ又は複数の移動オブジェクトの視覚的監視を容易にするように、前記1つ又は複数の移動オブジェクトを追跡することと、を行うように動作可能であり、前記1つ又は複数の画像を重ね合わせることが、前記1つ又は複数の画像の再帰的な大域的及び局所的幾何学的重ね合わせを含む、システム。コンピュータシステム内にロードされて実行されたときに請求項1乃至請求項22に記載の方法の全てのステップを実行するコンピュータプログラムコードを含む、コンピュータプログラム。本発明は、移動オブジェクトの視覚的監視を行うための技術を提供することを目的とする。本発明又はその要素の1つ又は複数の実施形態は、示される方法ステップを行うためのコンピュータ使用可能プログラムコードを有する有形のコンピュータ可読ストレージ媒体を含むコンピュータ製品の形態で実装することができる。さらに、本発明又はその要素の1つ又は複数の実施形態は、メモリと、例示的な方法ステップを行うように動作可能な、メモリに結合された少なくとも1つのプロセッサとを含む装置の形態で実装することができる。さらにまた、別の態様において、本発明又はその要素の1つ又は複数の実施形態は、本明細書において説明される方法ステップの1つ又は複数を実行するための手段の形態で実装することができ、この手段は、iハードウェアモジュール、iiソフトウェアモジュール、又はiiiハードウェアとソフトウェアとの組み合わせを含むことができ、i-iiiのいずれも、本明細書で示される特定の技術を実装し、ソフトウェアモジュールは、有形のコンピュータ可読ストレージ媒体又は複数のそのような媒体内に格納される。第1の態様の観点から見ると、本発明は、1つ又は複数の移動オブジェクトの視覚的監視を行うための方法を提供し、この方法は、1つ又は複数のカメラによりキャプチャされた1つ又は複数の画像を重ね合わせることであって、1つ又は複数の画像を重ね合わせることが、2つ又はそれ以上の隣接するフレーム内の1つ又は複数の画像の領域ベースの重ね合わせを含む、1つ又は複数の画像を重ね合わせることと、1つ又は複数の画像のモーションセグメント化を行って、1つ又は複数の画像内の1つ又は複数の移動オブジェクト及び1つ又は複数の背景領域を検出することと、1つ又は複数の移動オブジェクトの視覚的監視を容易にするように、1つ又は複数の移動オブジェクトを追跡することと、を含む。好ましくは、本発明は、1つ又は複数の画像を重ね合わせることが、1つ又は複数の画像の再帰的な大域的及び局所的幾何学的重ね合わせを含む方法を提供する。好ましくは、本発明は、1つ又は複数の画像を重ね合わせることが、1つ又は複数のサブピクセル画像マッチング技術を用いることを含む方法を提供する。好ましくは、本発明は、1つ又は複数の画像のモーションセグメント化を行うことが、順方向及び逆方向フレーム差分を取ることを含む方法を提供する。好ましくは、本発明は、順方向及び逆方向フレーム差分が、時間的フィルタリング及び空間的フィルタリングのうちの少なくとも一方に基づく自動動的閾値推定を含む方法を提供する。好ましくは、本発明は、順方向及び逆方向フレーム差分が、1つ又は複数の画像特徴の独立した動きに基づいて1つ又は複数の偽の移動ピクセルを除去することを含む方法を提供する。好ましくは、本発明は、順方向及び逆方向フレーム差分が、形態学的操作を行うことと、1つ又は複数のモーションピクセルを生成することとを含む方法を提供する。好ましくは、本発明は、1つ又は複数の移動オブジェクトを追跡することが、ハイブリッドターゲット追跡を行うことを含む方法を提供し、ハイブリッドターゲット追跡は、Kanade-Lucas-Tomasi特徴トラッカ及び平均値シフトを用いることと、自動カーネルスケール推定及び更新を用いることと、1つ又は複数の特徴軌道を用いることとを含む。好ましくは、本発明は、1つ又は複数の移動オブジェクトを追跡することが、1つ又は複数のターゲットについての特徴マッチング及び距離行列に基づく1つ又は複数の多重ターゲット追跡アルゴリズムを用いることを含む、方法を提供する。好ましくは、本発明は、1つ又は複数の移動オブジェクトを追跡することが、モーションマップを生成することと、1つ又は複数の移動オブジェクトを識別することと、オブジェクト初期化及びオブジェクト確認を行うことと、モーションマップ内の1つ又は複数のオブジェクト領域を識別することと、1つ又は複数の特徴を抽出することと、モーションマップ内に探索領域を設定することと、モーションマップ内の1つ又は複数の候補領域を識別することと、平均値シフトmeanshift追跡することと、1つ又は複数の候補領域内の1つ又は複数の移動オブジェクトを識別することと、Kanade-Lucas-Tomasi特徴マッチングを行うことと、アフィン変換を行うことと、Bhattacharyya係数によって最終領域決定を行うことと、ターゲットモデル及び軌道の情報を更新することとを含む、方法を提供する。好ましくは、本発明は、1つ又は複数の移動オブジェクトを追跡することが、基準面ベースの重ね合わせ及び追跡を含む方法を提供する。好ましくは、本発明は、各カメラビューを1つ又は複数の他のカメラビューと関連付けることをさらに含む方法を提供する。好ましくは、本発明は、1つ又は複数のカメラによりキャプチャされた1つ又は複数の画像からパノラマビューを形成することをさらに含む方法を提供する。好ましくは、本発明は、各カメラの動きを、パノラマビュー内の1つ又は複数の静止オブジェクトの映像情報に基づいて推定することをさらに含む方法を提供する。好ましくは、本発明は、パノラマビュー内の1つ又は複数の背景構造を、直線構造の検出と、ある期間にわたる1つ又は複数の移動オブジェクトの統計的解析とに基づいて推定することをさらに含む方法を提供する。好ましくは、本発明は、自動特徴抽出をさらに含む方法を提供し、自動特徴抽出は、画像をフレーム化することと、ガウス平滑化操作を行うことと、ケニーcanny検出器を用いて1つ又は複数の特徴エッジを抽出することと、特徴解析のためのハフ変換を実施することと、変換空間における多重ピークの影響を低減するために最大応答ファインディングfindingを決定することと、特徴の長さが特定の閾値を上回るか否か判定し、特徴の長さが閾値を上回る場合に特徴抽出及びピクセル除去を実施することとを含む。好ましくは、本発明は、自動特徴抽出が、フレーム差分を取ることと、モーション履歴画像による検証を行うこととをさらに含む方法を提供する。好ましくは、本発明は、外れ値除去を行って1つ又は複数の間違った移動オブジェクトマッチを除去することをさらに含む方法を提供する。好ましくは、本発明は、偽ブロブフィルタリングをさらに含む方法を提供し、偽ブロブフィルタリングは、モーションマップを生成することと、連結成分プロセスを適用して各ブロブデータをリンクすることと、モーションブロブテーブルを作成することと、以前に重ね合わされたフレーム内の各ブロブについて1つ又は複数の特徴を抽出することと、Kanade-Lucas-Tomasi法を適用して各ブロブの動きを推定し、あるブロブについて動きが生じなかった場合に該ブロブをブロブテーブルから削除することとを含む。好ましくは、本発明は、時間ドメインと空間ドメインのうちの少なくとも一方の上でターゲットモデルを更新することをさらに含む方法を提供する。好ましくは、本発明は、パノラマビューにおけるオブジェクト外観及びオブジェクト軌跡の索引を作成することをさらに含む方法を提供する。好ましくは、本発明は、クエリと索引内のエントリとの間の類似度メトリックを決定することをさらに含む方法を提供する。好ましくは、本発明は、システムを提供することをさらに含む方法を提供し、このシステムは、1つ又は複数の別個のソフトウェアモジュールを含み、1つ又は複数の別個のソフトウェアモジュールの各々は、有形のコンピュータ可読記録可能ストレージ媒体上で具体化され、1つ又は複数の別個のソフトウェアモジュールは、ハードウェアプロセッサ上で実行される、幾何学的重ね合わせモジュール、モーション抽出モジュール、及びオブジェクト追跡モジュールを含む。別の態様の観点から見ると、本発明は、1つ又は複数の移動オブジェクトの視覚的監視を行うためのコンピュータ使用可能プログラムコードを含む有形のコンピュータ可読記録可能ストレージ媒体を含むコンピュータプログラム製品を提供し、このコンピュータプログラム製品は、1つ又は複数のカメラによりキャプチャされた1つ又は複数の画像を重ね合わせるためのコンピュータ使用可能プログラムコードであって、1つ又は複数の画像を重ね合わせることが、2つ又はそれ以上の隣接するフレーム内の1つ又は複数の画像の領域ベースの重ね合わせを含む、コンピュータ使用可能プログラムコードと、1つ又は複数の画像のモーションセグメント化を行って、1つ又は複数の画像内の1つ又は複数の移動オブジェクト及び1つ又は複数の背景領域を検出するためのコンピュータ使用可能プログラムコードと、1つ又は複数の移動オブジェクトの視覚的監視を容易にするように、1つ又は複数の移動オブジェクトを追跡するためのコンピュータ使用可能プログラムコードとを含む。別の態様の観点から見ると、本発明は、1つ又は複数の移動オブジェクトの視覚的監視を行うためのシステムを提供し、このシステムは、メモリと、メモリに結合されたプロセッサとを含み、このプロセッサは、1つ又は複数のカメラによりキャプチャされた1つ又は複数の画像を重ね合わせることであって、1つ又は複数の画像を重ね合わせることが、2つ又はそれ以上の隣接するフレーム内の1つ又は複数の画像の領域ベースの重ね合わせを含む、1つ又は複数の画像を重ね合わせることと、1つ又は複数の画像のモーションセグメント化を行って、1つ又は複数の画像内の1つ又は複数の移動オブジェクト及び1つ又は複数の背景領域を検出することと、1つ又は複数の移動オブジェクトの視覚的監視を容易にするように、前記1つ又は複数の移動オブジェクトを追跡することとを行うように動作可能である。以下、添付の図面を参照して本発明の好ましい実施形態を例示をのみを目的として説明する。本発明の原理は、視覚的監視における移動オブジェクトの検出、追跡、及び探索を含む。移動オブジェクト及び1つ又は複数の移動カメラを含む例示的な設定において、本発明の1つ又は複数の実施形態は、モーションセグメント化背景領域に対するモーションブロブblob、多重オブジェクト追跡例えば、経時的に一貫した追跡、並びに基準面に基づく重ね合わせ及び追跡を含む。本明細書において詳述するように、本発明の1つ又は複数の実施形態は、例えば可動プラットフォーム例えば、無人航空機UAVビデオに取り付けられた、多重のカメラ例えば、互いに位置合わせされたものを用いて、カメラから受け取った画像から、大域的/局所的幾何学的重ね合わせ、モーションセグメント化、移動オブジェクト追跡、基準面ベースの重ね合わせ及び追跡、並びに自動都市道路抽出に基づいてパノラマビューを形成することにより、移動オブジェクトを検出、追跡、及び探索することを含む。本明細書において説明される技術は、再帰的な幾何学的重ね合わせを含み、これは、全フレームの代わりに隣接フレームに対する領域ベースの画像重ね合わせ、サブピクセル画像マッチング技術、及びレンズの幾何学的歪みを扱うための領域ベースの幾何学的変換を含む。また、本発明の1つ又は複数の実施形態は、2方向動き検出、並びに、色及び特徴を用いたハイブリッドターゲット追跡を含む。2方向動き検出は、順方向及び逆方向フレーム差分を取ること、時間的及び/又は空間的フィルタリングに基づく自動動的閾値推定、並びに、特徴の独立した動きに基づく偽の移動ピクセルの除去を含む。ハイブリッドターゲット追跡は、Kanade-Lucas-Tomasi特徴トラッカKLT及び平均値シフト、自動カーネルスケール推定及び更新、並びに特徴軌道のコヒーレント運動を用いた経時的に一貫した追跡を含む。さらに、本明細書において詳述される技術は、小ターゲットのための特徴マッチング及び距離行列に基づく多重ターゲット追跡アルゴリズム、並びに、例えば、小型サイズのターゲット例えば、既知の形状モデル無しの検出及び追跡のための低フレームレート1f/sのUAV監視システムの実装を含む。本明細書において記載されているように、本発明の1つ又は複数の実施形態は、映像例えば、UAV映像の大域的及び局所的幾何学的重ね合わせを含む。カメラの動きの影響を低減するために、フレーム毎の映像重ね合わせプロセスが実装される。2つの画像を正確に重ね合わせる方法は、各画像内の全てのピクセルのマッチングを含むことができる。しかしながら、この高い計算量は実行可能ではない。効率的な手法は、画像内の再び見つけ出しやすい特徴点の比較的小さい集合を見つけ出し、これらの点のみを用いてフレーム毎のホモグラフィを推定することである。例示のみを目的として、1280×1280ピクセルの画像に対して、500-600個の特徴点を抽出することができる。Harrisコーナー検出器は、拡大縮小、回転及び照明の変動に対して不変であることから、画像重ね合わせ及び動き検出に適用することが可能である。本発明の1つ又は複数の実施形態において、Harrisコーナー検出器を特徴点検出器として使用することができる。そのアルゴリズムは以下のように記述することができる。1.画像I内のピクセルについて、そのx及びy方向の導関数Ix及びIy、並びにIxy=IxIyを計算する。2.窓関数Aを適用する。すなわち、hx=AIx、hy=AIy、hxy=AIxyとする。3.κは定数であるを計算して、両方向における変動を測定する。4.Hに閾値を適用して局所極大を求め、コーナーを得る。窓を比較するために、本発明の1つ又は複数の実施形態は、効率的な統計学的方法である正規化相関係数を用いることを含む。実際の特徴マッチングは、その点を囲む小さな窓にわたって相関係数を最大化することにより達成される。相関係数は、次式で与えられる。式中、g1r,cは、テンプレート行列の個々のグレー値を表し、u1は、テンプレート行列の平均グレー値を表し、g2r,cは、サーチ行列の対応する部分の個々のグレー値を表し、u2は、サーチ行列の対応する部分の平均グレー値を表し、R、Cは、テンプレート行列の行及び列の数を表す。従って、ブロックマッチングプロセスは以下のようにして達成される。基準フレーム内の各点について、選択されたフレーム内の全ての点が検査され、その中で最も類似した点が選択される。次に、達成された相関が合理的に高いか否かが検定される。極大相関係数を有する点が候補点と採用される。映像重ね合わせは、実時間実施を必要とする。本発明の1つ又は複数の実施形態において、ブロックマッチングアルゴリズムは、特徴に対してのみ実施される。そのため、計算費用を著しく削減することができる。本発明の1つ又は複数の実施形態は、対応する特徴の確認及び外れ値除去を含む。特徴ベースのブロックマッチングは、ときにはミスマッチを生じさせることがある。ミスマッチ問題を回避するために、本発明の1つ又は複数の実施形態は、順方向探索を用いて、手に余る場合のミスマッチデータを処理して、最大勾配値を有する対応する特徴の候補を保持し、その他を除去することを含む。また、逆方向探索を使用して、同じ手法を用いて残りのミスマッチ問題を解決する。多くの場合、類似した属性を有する一対の特徴は、マッチとして受理される。それでもなお、幾つかの偽マッチが生じることがある。従って、本発明の1つ又は複数の実施形態において、間違ったマッチを除去して重ね合わせの精度を改善するために、ランダムサンプルコンセンサスRANSAC外れ値除去手順が実行される。本明細書において詳述される技術は、付加的に、粗密coarse-to-fine特徴マッチングを含むことができる。多重解像度特徴マッチングは、探索空間及び偽マッチングを低減することができる。最も粗い解像度のレイヤにおいて特徴マッチングが実行され、探索範囲が決定される。現在の解像度のレイヤにおいて、直前のレイヤにおけるマッチング結果を初期結果として採用することができ、マッチングプロセスは、上記式1を用いて実行することができる。本発明の1つ又は複数の実施形態において、探索範囲は1-3ピクセルに制限される。さらに、最高解像度のレイヤに達するまで、同じ操作を繰り返すことができる。本明細書においてさらに説明されるように、本発明の1つ又は複数の実施形態は、正確な位置決定を含む。映像の重ね合わせ及び動き検出の目的にとっては、ピクセルレベルの精度では十分とはいえないことがある。そのような場合には、サブピクセル位置手法が検討され、ピークに対して距離ベースの重み付け補間が決定される。特徴に対して、ピークの水平位置及び垂直位置を別々に推定することができる。また、1次元の水平及び垂直相関曲線を得ることができる。さらに、x、y方向における相関値が別々に補間され、ピークの正確な位置が計算される。例として、図1は、本発明の実施形態によるサブピクセル位置推定を示す図である。本明細書において説明される技術はまた、局所的幾何学的重ね合わせも含む。例として、サブ領域の幾何学的重ね合わせを選択することができ、フレーム全体を2×2のサブ領域に分割することができる。図2は、2つの選択モデルを示す。図2は、本発明の好ましい実施形態によるサブ領域選択を示す図である。例として、図2は、サブ領域選択モデル202及びサブ領域選択モデル204を示す。本発明の1つ又は複数の実施形態はまた、例えば、以下のようなアフィンベースの局所的変換も含む。式中、x,yは、u,vの新たに変換された座標であり、aj,bkj,k=1,2,3は、変換パラメータの集合である。さらに、各サブ領域について局所的変換パラメータを求めるために、本発明は1つ又は複数の実施形態は、最小二乗法を用いて変換パラメータを計算することを含む。本発明の1つ又は複数の実施形態はまた、順方向/逆方向のフレーム毎の重ね合わせも含む。例えば、急速なカメラの動き、強い照明変動及び激しいストライプノイズの場合には、残差の伝播を回避するために、順方向/逆方向のフレーム毎の重ね合わせを実行して多重フレーム差分を取る。図3は手法を示す。図3は、本発明の一実施形態による順方向及び逆方向の幾何学的重ね合わせを示す図である。例として、図3は、フレーム302Fi-1、フレーム304Fi、及びフレーム306Fi1を示す。基準フレームとして採用されるフレーム304Fiにおけるオブジェクトの動きを推定するために、前のフレーム302Fi-1及び次のフレーム306Fi1が基準フレームに幾何学的に重ね合わされる。各フレームに関する動きの推定がこのようにして実行される。順方向/逆方向フレーム差分を取ることは、動き検出のために実施することもできる。本発明の1つ又は複数の実施形態で用いられる手法の図を図4に示す。図4は、本発明の一実施形態による順方向及び逆方向フレーム差分を取ることを示す流れ図である。ステップ408及び410において順方向/逆方向のフレーム毎の画像例えば、フレーム402、フレーム404及びフレーム406を幾何学的に重ね合わせて位置合わせした後、差分画像が計算される。位置合わせされた画像間での単純な引き算を用いる代わりに、本発明の1つ又は複数の実施形態は、ステップ412及び414において順方向/逆方向フレーム差分を取ることを用いて、モーションノイズを減らし、自動利得制御のような照明変動を補償する。付加的に、ステップ416は、INEW=ΔIi-1,iANDΔi,i1によって画像の算術演算を行う。ステップ418は、ランダムなモーションノイズを減らすことができる中央値フィルタリングを含む。移動オブジェクトの移動ピクセルを抽出するために、空間的フィルタリングに基づく自動動的閾値推定がステップ420において実行される。さらに、ステップ422は、前景画像内の小さい孤立スポットを除去して穴を埋めるために、形態学的操作を行うことを含み、ステップ424は、モーションピクセル例えば、モーションマップを生成することを含む。ランダムノイズ及び照明変動の影響をさらに低減するために、順方向/逆方向差分画像に関して論理AND演算が実施され、最終差分画像を得る。各ピクセルに関する閾値は、差分画像の統計学的特性及び空間的高頻度データの観点から、自動的に統計計算される。さらに、形態学ステップを適用して、前景画像内の小さい孤立スポットを除去し、穴を埋めることができる。本明細書において説明されるように、本発明の1つ又は複数の実施形態はまた、動きの検証も含む。図5は、本発明の一実施形態による偽ブロブフィルタリングを示す流れ図である。ステップ502は、モーションマップを生成することを含む。ステップ504は、連結成分プロセスを適用して各々のブロブデータをリンクすることを含む。ステップ506は、モーションブロブテーブルを作成することを含む。ステップ508は、オプティカルフロー推定を行うことを含む。ステップ510は、変位判定を行うことを含む。変位がある場合には、プロセスはステップ512に進み、ステップ512は、後処理、例えば、データの関連付け、オブジェクト追跡、軌道維持及び軌跡データ管理を行うことを含む。変位がない場合には、プロセスはステップ514に進み、ステップ514は、偽ブロブをフィルタリングすることを含む。従って、ブロブテーブルが作成された後で、ブロブテーブルから偽のモーションブロブを除去するために、各ブロブデータが検証される。本発明の1つ又は複数の実施形態は、順方向/逆方向のフレーム毎の重ね合わせを行った後で、KLTプロセスを適用して各ブロブの動きを推定することを含む。偽ブロブは、ブロブテーブルから除去されることになる。このプロセスステップは、例えば、連結成分プロセスを適用して各ブロブデータをリンクすることと、ブロブテーブルを作成することと、以前に重ね合わされたフレーム内の各ブロブについて特徴を抽出することと、KLT法を適用して各ブロブの動きを推定することとを含むことができ、動きが生じなかった場合には、そのブロブはブロブテーブルから削除される。また、上記のステップを全てのブロブに対して繰り返すことができる。これもまた本明細書において詳述されように、本発明の1つ又は複数の実施形態は、多重オブジェクト追跡を含む。図6は、本発明の一実施形態による多重オブジェクト追跡を示す流れ図である。ステップ602は、モーションマップを生成することを含む。ステップ604は、移動ブロブを識別することを含む。ステップ606は、オブジェクト初期化を含み、ステップ608は、オブジェクト確認を含む。ステップ610は、オブジェクト領域を識別することを含む。ステップ612は、候補領域を識別することを含む。また、ステップ614は、平均値シフト追跡を含み、ステップ616は、新たな位置を識別することを含む。付加的に、ステップ610においてオブジェクト領域を識別した後で、ステップ618において、特徴を抽出することができる。ひとたびステップ620において探索領域が設定されると、ステップ622において、移動ブロブを潜在的なオブジェクト候補として見つけ出すことができる。ステップ624において、KTLマッチングが行われ、ステップ626において、RANSACを用いたアフィン変換に基づいて、外れ値除去が行われる。ステップ628において、新たな領域候補が識別される。その間に、ステップ614において平均値シフトが適用され、フレーム間の並進が計算される。これが、ステップ616において候補領域位置を与える。ステップ628及び616から、プロセスはステップ630に進むことができ、ステップ630は、Bhattacharyya係数に基づいて最終領域位置を決定する。また、ステップ632は、ドリフト問題を解決するためにターゲットモデルを更新することを含み、ステップ634は、軌道の更新を含む。また、移動オブジェクトを追跡するために、KLT及び平均値シフト法の組み合わせに基づくハイブリッド追跡モデルがステップ618からステップ630に適用される。上述のように、本明細書において説明される技術は、オブジェクト初期化を含む。順方向/逆方向フレーム差分を取ることにより得られる動き検出結果は、幾つかの正しい実の移動オブジェクト及び幾つかの偽オブジェクトを含むことがあり、また幾つかの真のオブジェクトを見逃していることがある。例えば、低フレームレート例えば、1フレーム/秒のUAV映像に関して、ある移動オブジェクトが2つの連続したフレーム間でいかなる重なり領域も有さないと、オブジェクト初期化のための従来方法は機能しないことになる。現在のフレームについて全ての検出結果の中から有望な移動オブジェクトを効率的に分離するために、本発明の1つ又は複数の実施形態は、距離行列を類似尺度と組み合わせて移動オブジェクトを初期化することを含む。この処理ステップは、例えば、以下を含むことができる。探索半径が設定され、マッチングスコア閾値と、追跡履歴の最小長さが設定される。オブジェクトオブジェクト候補を含むとテーブル内の全てのブロブとの間の距離行列が計算される。オブジェクト軌道の距離が事前設定値を下回る場合には、カーネルベースのアルゴリズムが適用され、事前設定マッチングスコアに関してオブジェクト候補とブロブとの間のマッチが見いだされる。また、オブジェクト候補が幾つかの連続したフレーム内に出現した場合には、この候補は、初期化されてオブジェクトテーブル内に格納されることになる。そうでない場合には、このオブジェクト候補は、偽オブジェクトであると見なされることになる。本発明の1つ又は複数の実施形態は、以前のフレームから、以前のブロブの集合を、幾何学的重ね合わせの後で現在のフレームに射影することを含む。各オブジェクトの以前の位置に従った動きは、KLT追跡プロセスにより推定することができる。KLT追跡プロセスにおいて、動きのモデルは、IcurrAxT=Iprevxのようなアフィン変換により近似的に表され、式中、Aは2次元2D変換行列であり、Tは並進ベクトルである。本発明の1つ又は複数の実施形態において、アフィン変換パラメータは、わずか4つの特徴点から計算することができる。これらのパラメータを決定するために、最小二乗法を用いてこれらを計算することができる。精度推定は、例えば、多数のミスマッチ対が発生した場合に行うことができる。追跡精度の1つの尺度は、アフィン変換式の前後でのマッチした点間の二乗平均誤差RMSEである。この尺度は、不正確であると考えられるマッチを排除するための基準として用いられる。付加的に、外れ値を排除するために、本発明の1つ又は複数の実施形態は、RANSACアルゴリズムを実行して、RMSE値が所望の閾値を下回るまで反復的な方式で逐次的にミスマッチを除去することを含む。本明細書において詳述される技術は、平均値シフト追跡及びオブジェクト表現を付加的に含む。例として、UAV追跡システムの場合、大きな拡大縮小変動及び視野の幾何学的歪みに起因して、従来の強度ベースのターゲット表現はもはや多重オブジェクト追跡には適さないものになっている。オブジェクトを効率的に特徴付けするために、ヒストグラムベースの特徴空間を選択することができる。本発明の1つ又は複数の実施形態において、Bhattacharyya係数に基づくメトリックを用いて、多重オブジェクト追跡のための基準オブジェクトと候補との間の類似尺度が定義される。基準フレーム内のオブジェクト領域ヒストグラムqが与えられると、Bhattacharyya係数に基づく目的関数は、で与えられ、式中、Mはヒストグラムの次元であり、x0は2D中心である。現在のフレーム内の2D中心xにおける候補領域ヒストグラムpuxは、として定義される。ここで、u=1,2,...,Mである。kxは、ピクセル位置を重み付けする、非負の、非増加の、区分的に微分可能なカーネルプロファイルを表し、hは、kxの2Dバンド幅ベクトルであり、δは、クロネッカーのデルタ関数であり、各ピクセル値は、bxiによって表される。付加的に、本発明の1つ又は複数の実施形態において、分布間の類似尺度の決定において、Bhattacharyya距離は、を含むことができ、式中、であり、式中、ρx及びρyは、それぞれターゲット分布及び候補分布を表す。本明細書において説明される技術は、オブジェクトの位置決めを付加的に含むことができる。オブジェクトに対応する位置を1つのフレームから次のフレームへと探索するために、本発明の1つ又は複数の実施形態は、全数探索ではなく勾配上昇最適化に基づく平均値シフト追跡アルゴリズムを適用することを含む。平均値シフト法の強みは、計算の効率性及び実時間用途に適していることを含む。しかしながら例えば、特に被追跡オブジェクトがすばやく動いているときに局所極大を探求することに内在する限界のせいで、ターゲットを見失うことがある。候補領域ヒストグラムpuxは、上記の式から得ることができる。被追跡オブジェクトの新たな位置は、として推定することができ、式中であり、gx=-kxであり、すなわちkxの導関数である。本発明の1つ又は複数の実施形態はまた、時間ドメイン上でのターゲットモデル更新も含む。幾つかの状況において、ターゲットモデル更新を行わない平均値シフト手法は、ターゲットモデルにおける突然の変化による悪影響を受ける可能性がある。その一方で、あらゆるフレームに対してモデル更新を行うと、擾乱を受けたcluttered環境、オクルージョン、ランダムノイズなどに起因して、追跡結果の信頼性の低下をもたらす可能性がある。ターゲットモデルを変更する1つの方法は、ターゲット分布を定期的に更新することである。正確な追跡結果を得るために、ターゲットモデルを動的に更新することができる。従って、本発明の1つ又は複数の実施形態は、最近の追跡結果とより古いターゲットモデルとの両方を用いて、オブジェクト追跡のための現在のモデルに影響を及ぼす、モデル更新を含む。更新手順は、以下のように定式化される。ここで、new及びoldの上付き文字は、それぞれ、新たに得られたターゲットモデル及び古いモデルを表す。sは、最近の追跡結果を表す。αは、最近の追跡結果の寄与に重み付けする通常は、<0.1。q及びpは、それぞれ、ターゲットモデル及び候補モデルを表す。さらに、本発明の1つ又は複数の実施形態は、空間ドメイン上でのターゲットモデル更新を含む。通常、平均値シフトに基づく追跡は、空間データの利用を欠いているので、被追跡オブジェクトの正確な境界位置を与えることはほとんどない。幸いなことに、KLTトラッカから導き出される検出結果及び動き検出結果は、平均値シフトトラッカに比べてはるかに正確な、精密な位置及びオブジェクトのサイズなどの情報を与えることができる。各々の個別のアルゴリズムが、多重オブジェクト追跡において完璧なジョブを行うことは不可能であり得る。従って、それらのデータ間の融合を多重オブジェクト追跡手順において用いることができる。各々の方法の強みに応じて、本発明の1つ又は複数の実施形態は、以下のマージ方法を用いる。ここで、重なりは、重なり領域の程度を表す。図7は、本発明の一実施形態による、基準面ベースの重ね合わせ及び追跡を示す図である。例として、図7は、地理基準面geo-referenceplane702を示す。第1のフレーム704は、地理基準面702に重ね合わされ、第2のフレーム706は、第1の重ね合わされたフレーム及び対応するフレーム間変換パラメータTCi図7の式712から、地理基準702に重ね合わされる。このようにして、フレーム708及び710が、それぞれ、地理基準702に重ね合わされる。さらに、各オブジェクトは、ナビゲーションデータを用いて地理基準702へと射影される。図8は、本発明の一実施形態による自動都市道路抽出を示す流れ図である。ステップ802は、画像をフレーム化することを含む。ステップ804は、ガウス平滑化操作を行うことを含む。また、ステップ806は、ケニー検出器を用いることを含み、ステップ808は、ハフ変換を実施することを含む。ステップ810は、最大応答ファインディングを決定することを含む。ステップ812は、ストライプの長さが事前定義された閾値を上回るか否かを判定することを含む。ストライプの長さが閾値を上回らない場合には、プロセスはステップ814において停止する。ストライプの長さが閾値を上回る場合には、プロセスはステップ816に続き、ステップ816は、直線抽出を行うことを含む。さらに、ステップ818は、ストライプピクセル除去を行うことを含むこれは、例えば、ステップ808への復帰へと至ることができる。同じく図8において示されるように、ステップ820は、フレーム差分を取ることを含み、ステップ822は、モーション履歴画像MHIによる検証を含むこれは、例えば、ステップ816への復帰へと至ることができる。付加的に、本発明の1つ又は複数の実施形態は、反復ハフ変換による道路ストライプの抽出を含むこともできる。本明細書において詳述されるように、本発明の1つ又は複数の実施形態は、未較正のカメラからの種々の幾何学的残差を扱うことができる、サブピクセルのマッチング精度を有する再帰的幾何学的重ね合わせを含む。付加的に、本明細書において詳述される技術は、移動オブジェクトを背景から効率的に区別することができる、順方向/逆方向フレーム差分を取ることに基づく動き検出を含む。さらに、経時的な色、特徴及び強度の統計学的特性を用いて多重の小オブジェクトを検出及び追跡する、ハイブリッドオブジェクトトラッカを実装することができる。図9は、本発明の一態様による、オブジェクト検出及び追跡システムのアーキテクチャを示すブロック図である。検出及び追跡システム例えば、UAVシステムのための例示的なソフトウェアアーキテクチャ構成を多重のサービス上に構築して、オブジェクト探索及びインテリジェント解析のための軌跡データベースを提供することができる。図9において示されるように、本ソフトウェアアーキテクチャは、多重のセンサモジュール904、映像ストリーミングサービスモジュール906及び追跡スートサービスモジュール908、並びに、軌跡データベースDBサーバモジュール910、ユーザインターフェースモジュール902及び視覚化コンソール912を含むことができる。映像ストリーミングモジュール906は、多重センサからイメージをキャプチャして利用できるようにする役割を果たす。取得された画像は、追跡スートモジュール908により、多重オブジェクト検出及び追跡のための基礎として用いられる。追跡スートモジュール908は、幾何学的重ね合わせサブモジュール914、モーション抽出サブモジュール916、オブジェクト追跡サブモジュール918、追跡データサブモジュール920及び地理座標系マッピングサブモジュール922を含む。多重センサからの実時間画像を処理することにより、データから軌跡情報への精巧な変換が達成される。軌跡DBサーバ910は、軌跡メタデータ管理の役割を果たす。視覚化コンソール912は、グラフィカルオーバーレイを作成し、これらをディスプレイ上の画像に索引付けし、ユーザにそれらを提示する。これらのオーバーレイは、例えば、クラスタイプ、移動方向、軌道及びオブジェクトサイズなどのような、より高水準のコンポーネントをサポートする、任意のタイプのグラフィカル情報とすることができる。ユーザインターフェース902は、データへのアクセス及びユーザによる操作を提供する。図10は、本発明の一実施形態による、1つ又は複数の移動オブジェクトの視覚的監視を行うための技術を示す流れ図である。ステップ1002は、1つ又は複数のカメラによりキャプチャされた1つ又は複数の画像を重ね合わせることを含み、ここで、1つ又は複数の画像を重ね合わせることは、2つ又はそれ以上の隣接するフレーム内の1つ又は複数の画像の領域ベースの重ね合わせを含む。このステップは、例えば、追跡スートサービスモジュール908内の幾何学的重ね合わせサブモジュール914を用いて実行することができる。画像を重ね合わせることは、1つ又は複数の画像の再帰的な大域的及び局所的幾何学的重ね合わせ例えば、レンズの幾何学的歪みを扱うための領域ベースの幾何学的変換を含むことができる。画像の重ね合わせは、サブピクセル画像マッチング技術を用いることを含むこともできる。ステップ1004は、1つ又は複数の画像のモーションセグメント化を行って、1つ又は複数の画像内で1つ又は複数の移動オブジェクト及び1つ又は複数の背景領域を検出することを含む。このステップは、例えば、追跡スートサービスモジュール908内のモーション抽出サブモジュール916を用いて実行することができる。画像のモーションセグメント化を行うことは、順方向及び逆方向フレーム差分を取ることを含むことができる。順方向及び逆方向フレーム差分は、例えば、時間的フィルタリング及び/又は空間的フィルタリングに基づく自動動的閾値推定、画像の特徴の独立した動きに基づいて偽の移動ピクセルを除去すること、形態学的操作を行うこと、及び、モーションピクセルを生成することを含むことができる。ステップ1006は、1つ又は複数の移動オブジェクトを追跡して1つ又は複数の移動オブジェクトの視覚的監視を促進することを含む。このステップは、例えば、追跡スートサービスモジュール908内のオブジェクト追跡サブモジュール918を用いて実行することができる。移動オブジェクトを追跡することは、ハイブリッドターゲット追跡を行うことを含むことができ、ハイブリッドターゲット追跡は、Kanade-Lucas-Tomasi特徴トラッカ及び平均値シフトを使用すること、自動カーネルスケール推定を使用及び更新すること、及び、特徴軌道を使用することを含む。本発明の1つ又は複数の実施形態は、追跡のために色を使用することを含むこともできる。移動オブジェクトを追跡することは、1つ又は複数の小さいターゲットについての特徴マッチング及び距離行列に基づく多重ターゲット追跡アルゴリズムを使用することを付加的に含むことができる。また、移動オブジェクトを追跡することは、モーションマップを生成すること、1つ又は複数の移動オブジェクトブロブを識別すること、オブジェクト初期化及びオブジェクト確認を行うこと、モーションマップ内のオブジェクト領域を識別すること、特徴を抽出すること、モーションマップ内に探索領域を設定すること、モーションマップ内の候補領域を識別すること、平均値シフト追跡すること、候補領域内の移動オブジェクトを識別すること、Kanade-Lucas-Tomasi特徴マッチングを行うこと、アフィン変換を行うことRANSACを用いて、Bhattacharyya係数によって最終領域決定を行うこと、並びに、ターゲットモデル及び軌道情報を更新することを含むことができる。移動オブジェクトを追跡することは、基準面ベースの重ね合わせ及び追跡を付加的に含むことができる。図10に示された技術はまた、各カメラビューを1つ又は複数の他のカメラビューと関連付けること、及び、1つ又は複数のカメラによりキャプチャされた画像からパノラマビューを形成することをさらに含むことができる。本発明の1つ又は複数の実施形態は、各カメラの動きをパノラマビュー内の静止オブジェクトの映像情報に基づいて推定すること、並びに、パノラマビュー内の1つ又は複数の背景例えば、道路の構造を、直線構造の検出と、ある期間にわたる移動オブジェクトの統計的解析とに基づいて推定することを付加的に含む。さらに、図10に示された技術は、自動特徴例えば、道路抽出を含み、自動特徴抽出は、画像をフレーム化すること、ガウス平滑化操作を行うこと、ケニー検出器を用いて1つ又は複数の特徴例えば、道路エッジを抽出すること、特徴例えば、道路ストライプ解析のためにハフ変換を実施すること、変換空間における多重ピークの影響を低減するために最大応答ファインディングを決定すること、特徴例えば、道路ストライプの長さが特定の閾値を上回るか否か判定すること、及び、特徴の長さが閾値を上回る場合に特徴抽出及びピクセル除去を行うことを含む。自動特徴抽出は、フレーム差分を取ること、及び、モーション履歴画像による検証を行うことを付加的に含むことができる。本発明の1つ又は複数の実施形態は、外れ値除去を行って、間違った移動オブジェクトマッチを除去する及び重ね合わせ精度を改善することを含む。図10において示される技術は、偽ブロブフィルタリングを付加的に含むことができる。偽ブロブフィルタリングは、モーションマップを生成すること、連結成分プロセスを適用して各ブロブデータをリンクすること、モーションブロブテーブルを作成すること、以前に重ね合わされたフレーム内の各ブロブについて特徴を抽出すること、Kanade-Lucas-Tomasi法を適用して各ブロブの動きを推定し、あるブロブについて動きが生じなかった場合にそのブロブをブロブテーブルから削除することを含む。付加的に、本発明の1つ又は複数の実施形態は、時間ドメイン及び/又は空間ドメイン上でターゲットモデルを更新すること、並びに、パノラマビューにおけるオブジェクト外観及びオブジェクト軌跡の索引例えば、検索可能な索引を作成することを含むことができる。また、オブジェクト外観及び軌跡のテンプレート索引は、検索を容易にするための対応する映像セグメントを指し示すポインタと共に、テンプレートデータストア内に格納することができる。さらに、本発明の1つ又は複数の実施形態は、クエリと索引内のエントリとの間の類似度メトリックを決定することを含むことができ、これは、類似度メトリックに基づいてテンプレートデータストア/索引内をオブジェクト外観及び軌跡に関して検索すること、及び、クエリの類似度に基づいて人間の操作者に対して検索結果を出力すること/リスト化することを、容易にすることができる。図10において示される技術はまた、本明細書において説明されるように、システムを提供することを含むこともでき、このシステムは、別個のソフトウェアモジュールを含み、別個のソフトウェアモジュールの各々は、有形のコンピュータ可読記録可能ストレージ媒体上で各々が具体化される。全てのモジュール又はそのいずれかのサブセットが同じ媒体上にあってもよく、又は、例えば、各々が異なる媒体上にあってもよい。モジュールは、図面内に示されるコンポーネントのいずれか又は全てを含むことができる。1つ又は複数の実施形態において、モジュールは、例えば1つ又は複数のハードウェアプロセッサ上で稼働できる、センサモジュール、映像ストリーミングサービスモジュール、追跡スートサービスモジュール本明細書において詳述されるサブモジュールを含む、軌跡データベースDBサーバモジュール、ユーザインターフェースモジュール及び視覚化コンソールモジュールを含む。そして次に方法ステップは、1つ又は複数のハードウェアプロセッサ上で実行される、上述のようなシステムの別個のソフトウェアモジュールを用いて実行することができる。さらに、コンピュータプログラム製品は、別個のソフトウェアモジュールを有するシステムの提供を含めて、本明細書において説明される1つ又は複数の方法ステップを行うように実行されるよう適合されたコードを有する、有形のコンピュータ可読記録可能ストレージ媒体を含むことができ、付加的に、図10において示される技術は、データ処理システム内のコンピュータ可読ストレージ媒体内に格納されたコンピュータ使用可能プログラムコードを含むことができる、コンピュータプログラム製品によって実装することができ、このコンピュータ使用可能プログラムコードは、遠隔データ処理システムからネットワークを介してダウンロードされたものである。また、本発明の1つ又は複数の実施形態において、コンピュータプログラム製品は、サーバ型データ処理システム内のコンピュータ可読ストレージ媒体内に格納されたコンピュータ使用可能プログラムコードを含むことができ、このコンピュータ使用可能プログラムコードは、ネットワークを介して遠隔データ処理システムにダウンロードされ、この遠隔システムにより、コンピュータ可読ストレージ媒体内で使用される。当業者により認識されるように、本発明の態様は、システム、方法、又はコンピュータプログラム製品として具体化することができる。従って、本発明の態様は、完全にハードウェアの実施形態、完全にソフトウェアの実施形態ファームウェア、常駐ソフトウェア、マイクロコード等を含む、又は、ソフトウェアの態様とハードウェアの態様とを組み合わせた実施形態の形を取ることができ、これらは全て本明細書において一般的に回路、モジュール又はシステムと呼ぶことができる。さらに、本発明の態様は、具体化されたコンピュータ使用可能プログラムコードを有する1つ又は複数のコンピュータ可読媒体内で具体化された、コンピュータプログラム製品の形を取ることができる。本発明又はその要素の1つ又は複数の実施形態は、メモリと、例示的な方法ステップを行うように動作可能な、メモリに結合された少なくとも1つのプロセッサとを含む装置の形で実装することができる。1つ又は複数の実施形態は、汎用コンピュータ又はワークステーション上で実行されるソフトウェアを利用することができる。図11を参照すると、そのような実装は、例えば、プロセッサ1102、メモリ1104、並びに、例えば、ディスプレイ1106及びキーボード1108により形成される入力/出力インターフェースを使用することができる。本明細書において用いられるプロセッサという用語は、例えば、CPU中央演算処理ユニット及び/又は他の形態の処理回路を含む処理デバイスのような、任意の処理デバイスを含むことが意図される。さらに、プロセッサという用語は、1つより多くの個々のプロセッサのことを指すことがある。メモリという用語は、プロセッサ又はCPUに関連付けられたメモリ、例えば、RAMランダムアクセスメモリ、ROM読み出し専用メモリ、固定メモリデバイス例えば、ハードドライブ、取り外し可能メモリデバイス例えば、ディスケット、フラッシュメモリなどを含むことが意図される。さらに、本明細書において用いられる入力/出力インターフェースという語句は、例えば、処理ユニットにデータを入力するための1つ又は複数の機構例えば、マウス、並びに、処理ユニットに関連付けられた結果を提供するための1つ又は複数の機構例えば、プリンタを含むことが意図される。プロセッサ1102、メモリ1104、並びに、ディスプレイ1106及びキーボード1108のような入力/出力インターフェースは、例えば、データ処理ユニット1112の一部としてバス1110を介して相互接続することができる。例えばバス1110を介した適切な相互接続を、コンピュータネットワークとインターフェースするために設けることができるネットワークカードのようなネットワークインターフェース1114に対して設けることもでき、媒体1118とインターフェースするために設けることができるディスケット又はCD-ROMドライブのような媒体インターフェース1116に対しても設けることもできる。従って、本明細書において説明されるような本発明の方法を行うための命令又はコードを含むコンピュータソフトウェアは、1つ又は複数の関連付けられたメモリデバイス例えば、ROM、固定又は取り外し可能メモリ内に格納することができ、そして、使用の準備ができたときに、その一部又は全体が例えば、RAM内にロードされ、CPUによって実施することができる。このようなソフトウェアは、ファームウェア、常駐ソフトウェア、マイクロコードなどを含むことができるが、これらに限定されない。プログラムコードを格納し、及び/又は実行するのに適したデータ処理システムは、システムバス1110を通じてメモリ要素1104に直接的又は間接的に結合される少なくとも1つのプロセッサ1102を含む。メモリ要素は、プログラムコードの実際の実施中に使用されるローカルメモリ、大容量記憶装置、及び、実施中に大容量記憶デバイスからコードを取り出さなければならない回数を減らすために少なくともプログラムコードの一部の一時的な記憶域を提供するキャッシュメモリを含むことができる。入力/出力すなわちI/Oデバイスキーボード1108、ディスプレイ1106、ポインティングデバイスなどを含むがこれらに限定されないは、直接的に例えばバス1110を介して又は介在するI/Oコントローラ分かりやすくするため省いたを通じて、システムに結合することができる。ネットワークインターフェース1114のようなネットワークアダプタをシステムに結合して、データ処理システムが、介在する私設ネットワークまたは公衆ネットワークを通じて他のデータ処理システム又は遠隔のプリンタ若しくは記憶デバイスに結合することを可能にすることもできる。モデム、ケーブルモデム及びイーサネットカードは、現在利用可能なネットワークアダプタ型式のうちのごく一部である。特許請求の範囲を含めて本明細書において使用されるサーバは、サーバプログラムを実行する物理的データ処理システムを含む例えば、図11に示されるシステム1112。そのような物理サーバは、ディスプレイ及びキーボードを含んでいてもよく、含まなくてもよいことが理解されるであろう。上記のように、本発明の態様は、具体化コンピュータ可読プログラムコードを有する1つ又は複数のコンピュータ可読媒体に具体化されたコンピュータプログラム製品の形を取ることができる。1つ又は複数のコンピュータ可読媒体のいずれの組み合わせも利用することができる。コンピュータ可読媒体は、コンピュータ可読信号媒体又はコンピュータ可読ストレージ媒体とすることができる。コンピュータ可読ストレージ媒体は、例えば、電子的、磁気的、光学的、電磁気的、赤外線若しくは半導体のシステム、装置若しくはデバイス、又はこれらのいずれかの適切な組み合わせとすることができるが、これらに限定されるものではない。媒体ブロック1118は、非限定的な例である。コンピュータ可読ストレージ媒体のより具体的な例非網羅的なリストとして、以下のもの、即ち、1つ又は複数の配線を有する電気的接続、ポータブルコンピュータディスケット、ハードディスク、ランダムアクセスメモリRAM、読み出し専用メモリROM、消去可能なプログラム可能読み出し専用メモリEPROM又はフラッシュメモリ、光ファイバ、ポータブルコンパクトディスク型読み出し専用メモリCD-ROM、光記憶装置、磁気記憶装置、又はこれらのいずれかの適切な組み合わせが挙げられる。本明細書の文脈においては、コンピュータ可読ストレージ媒体は、命令実行システム、装置若しくはデバイスによって又はそれらと関連して用いるためのプログラムを収容又は格納することが可能な、任意の有形媒体とすることができる。コンピュータ可読信号媒体は、コンピュータ可読プログラムコードが、例えばベースバンド内に、又は搬送波の一部として具体化された、伝搬データ信号を含むことができる。このような伝搬信号は、電磁気、光又はこれらのいずれかの適切な組み合わせを含むがそれらに限定されない、種々の異なる形態のいずれかを取ることができる。コンピュータ可読信号媒体は、コンピュータ可読ストレージ媒体ではなく、かつ、命令実行システム、装置若しくはデバイスによって又はこれらと関連して用いるためのプログラムを通信し、伝搬し又は搬送することができる、任意のコンピュータ可読媒体とすることができる。コンピュータ可読媒体上に具体化されたプログラムコードは、無線、有線、光ファイバケーブル、無線周波数RFなど、又はこれらのいずれかの適切な組み合わせを含むがこれらに限定されない、任意の適切な媒体を用いて、伝送することができる。本発明の態様のための動作を実行するためのコンピュータプログラムコードは、Java、Smalltalk、Cなどのようなオブジェクト指向型プログラミング言語、及びC]プログラミング言語又は同様のプログラミング言語のような従来の手続き型プログラミング言語を含む、1つ又は複数のプログラミング言語のいずれかの組み合わせで記述することができる。プログラムコードは、完全にユーザのコンピュータ上で実行されるか、一部がユーザのコンピュータ上で、独立型ソフトウェアパッケージとして実行されるか、一部がユーザのコンピュータ上で実行され、一部が遠隔コンピュータ上で実行されるか、又は完全に遠隔コンピュータ若しくはサーバ上で実行される場合がある。最後のシナリオにおいては、遠隔コンピュータは、ローカルエリアネットワークLAN若しくは広域ネットワークWANを含むいずれかのタイプのネットワークを通じてユーザのコンピュータに接続されるか、又は、例えば、インターネットサービスプロバイダを用いたインターネットを通じて外部コンピュータへの接続がなされる場合がある。本発明の態様は、本発明の実施形態による方法、装置システム及びコンピュータプログラム製品の流れ図及び/又はブロック図を参照して上記で説明される。流れ図及び/又はブロック図の各ブロック、及び、流れ図及び/又はブロック図におけるブロックの組み合わせは、コンピュータプログラム命令によって実装できることが理解されるであろう。これらのコンピュータプログラム命令を汎用コンピュータ、専用コンピュータ、又は他のプログラム可能データ処理装置のプロセッサに与えてマシンを生成し、それにより、コンピュータ又は他のプログラム可能データ処理装置のプロセッサによって実行される命令が、流れ図及び/又はブロック図の1つ又は複数のブロック内で指定された機能/動作を実装するための手段を生成するようにしてもよい。また、これらのコンピュータ命令を、コンピュータ、他のプログラム可能データ処理装置、又はその他のデバイスを特定の様式で機能するように指令することができるコンピュータ可読媒体に格納し、それにより、そのコンピュータ可読媒体に格納された命令が、流れ図及び/又はブロック図の1つ又は複数のブロック内で指定された機能/動作を実装する命令を含む製品を作るようにしてもよい。また、コンピュータプログラム命令を、コンピュータ、他のプログラム可能データ処理装置、又はその他のデバイスにロードして、コンピュータ、他のプログラム可能データ処理装置、又はその他のデバイス上で一連の動作ステップを行わせて、コンピュータ実装プロセスを生成し、それにより、コンピュータ又は他のプログラム可能装置上で実行される命令が、流れ図及び/又はブロック図の1つ又は複数のブロック内で指定された機能/動作を実行するためのプロセスを提供するようにしてもよい。図面内の流れ図及びブロック図は、本発明の種々の実施形態によるシステム、方法、及びコンピュータプログラム製品の可能な実装のアーキテクチャ、機能、及び動作を示す。この点に関して、流れ図又はブロック図の中の各ブロックは、指定された1つ又は複数の論理機能を実装するための1つ又は複数の実行可能命令を含む、モジュール、セグメント、又はコードの一部を表すことができる。幾つかの代替的な実装においては、ブロックに記載された機能が図に示された順序通りに行われない場合があることにも留意すべきである。例えば、逐次的に示された2つのブロックは、関与する機能に応じて、実際には、実質的に同時に実行されることもあり、ときにはブロックが逆順に実行されることもある。ブロック図及び/又は流れ図の各ブロック、及び、ブロック図及び/又は流れ図におけるブロックの組み合わせは、指定された機能又は動作を行う専用ハードウェアに基づくシステムによって、又は専用ハードウェアとコンピュータ命令との組み合わせによって、実装できることにも留意されたい。本明細書で説明されるいずれの方法も、コンピュータ可読ストレージ媒体上で具体化される別個のソフトウェアモジュールを含むシステムを提供する付加的なステップを含むことができ、このモジュールは、例えば、図9に示されるコンポーネントのいずれか又は全てを含むことができることに留意されたい。そして次に、この方法ステップは、1つ又は複数のハードウェアプロセッサ1102上で実行されるシステムの別個のソフトウェアモジュール及び又はサブモジュールを用いて、上述のように実行することができる。さらに、コンピュータプログラム製品は、別個のソフトウェアモジュールを有するシステムの提供を含めて、本明細書において説明される1つ又は複数の方法ステップを実行するように実装されるよう適合されたコードを有する、コンピュータ可読ストレージ媒体を含むことができる。いずれにしても、本明細書で示されるコンポーネントは、例えば、特定用途向け集積回路ASICS、機能回路、関連付けられたメモリを有する適宜プログラムされた1つ又は複数の汎用デジタルコンピュータなどの、ハードウェア、ソフトウェア、又はそれらの組合せの種々の形態で実装することができることを理解されたい。本明細書で提供される本発明の教示が与えられれば、関連分野の当業者は、本発明のコンポーネントのその他の実装を企図することが可能であろう。本明細書で用いられる用語は、特定の実施形態を説明するためのものであり、本発明を限定することを意図するものではない。本明細書で用いられる場合、単数形の不定冠詞a、an及び定冠詞theは、文脈から明らかにそうではないことが示されていない限り、複数形も含むことが意図される。含む及び/又は含んだという用語は、本明細書において用いられる場合、言及した特徴、整数、ステップ、動作、要素、及び/又はコンポーネントの存在を指定するが、1つ又は複数のその他の特徴、整数、ステップ、動作、要素、コンポーネント、及び/又はそれらの群の存在又は追加を排除するものではないこともさらに理解されるであろう。以下の特許請求の範囲における全ての手段又はステップと機能との組合せミーンズ又はステッププラスファンクション要素の対応する構造、材料、動作及び均等のものは、明確に特許請求されている他の特許請求された要素と組み合わせてその機能を実行するための、いかなる構造、材料又は動作をも含むことが意図される。本発明の説明は、例証及び説明の目的で提示されたものであるが、網羅的であることを意図するものでもなく、開示された形態の発明に限定することを意図するものでもない。本発明の範囲及び思想から逸脱することのない多くの修正及び変形が当業者には明らかであろう。実施形態は、本発明の原理及び実際の適用を最も良く説明するように、及び、当業者が、企図される特定の使用に適するように種々の修正を伴う種々の実施形態について本発明を理解することを可能にするように、選択され、説明された。本発明の少なくとも1つの実施形態は、例えば、時間及び又は空間ドメインに基づく自動動的閾値決定のような、1つ又は複数の有益な効果を手供することができる。上述の本発明の例示的な実施形態は、多数の異なる方式で実装することができることを認識し、理解すべきである。本明細書で提供される本発明の教示が与えられれば、関連分野の当業者は、本発明のその他の実装を企図することが可能であろう。実際、本発明の例証的な実施形態を添付の図面を参照して本明細書において説明してきたが、本発明は、それら実施形態そのものに限定されるものではなく、当業者によればその他の種々の変更及び修正を行うことができることを理解されたい。"