(57)【要約】      （修正有）【課題】移動物体の検知／追跡のためのシステムおよび方法を提供する。【解決手段】少なくとも１つの移動物体を有する複数の画像フレームを備えるビデオストリームを受信するステップ、少なくとも２つの画像フレームの差を判定するステップ、その少なくとも１つの移動物体に対応する複数の画像ブロブを備える差分画像を生成するステップを含む。各境界ボックスがその複数の画像ブロブのうちの少なくとも１つの対応する画像ブロブを囲む、複数の境界ボックスを生成するステップ、サブセットの境界ボックスの知覚的特性化に基づくファジィ技法を使用し、対応する移動物体と関連するその複数の境界ボックスのうちのサブセットの境界ボックスを判定するステップとをさらに含む。また、そのサブセットの境界ボックスを併合して、そのサブセットの境界ボックスを囲む併合された境界ボックスを生成して、その移動物体を検知するステップを含む。【選択図】図１
2014067413.tif 000002
【特許請求の範囲】
【請求項１】
プロセッサに基づくデバイスを使用して実装される方法であって、
少なくとも１つの移動物体を有する複数の画像フレームを備えるビデオストリームを受信するステップと、
前記複数の画像フレームのうちの少なくとも２つの画像フレームの差を判定し、前記少なくとも１つの移動物体に対応する複数の画像ブロブを備える差分画像を生成するステップと、
各境界ボックスが前記複数の画像ブロブのうちの少なくとも１つの対応する画像ブロブを囲む、複数の境界ボックスを生成するステップと、
サブセットの境界ボックスの知覚的特性化に基づくファジィ技法を使用して、前記対応する移動物体と関連する、前記複数の境界ボックスのうちの前記サブセットの境界ボックスを判定するステップと、
前記サブセットの境界ボックスを併合して、前記サブセットの境界ボックスを囲む併合された境界ボックスを生成して、前記移動物体を検知するステップと
を含む、方法。
【請求項２】
前記ファジィ技法が、
対の境界ボックスの幾何学的属性、運動属性、および外観属性のうちの少なくとも１つに基づいて、前記複数の境界ボックスのうちの前記対の境界ボックスと関連する特性化パラメータを判定するステップと、
前記特性化パラメータに基づいて、前記対の境界ボックスと関連するファジィパラメータを判定するステップと、
前記ファジィパラメータに基づいて、前記対の境界ボックスと関連するボックス併合パラメータを判定するステップと、
前記ボックス併合パラメータに基づいて、前記対の境界ボックスの間のファジィ距離を判定するステップと
を含む、請求項１記載の方法。
【請求項３】
前記幾何学的属性が、前記対の境界ボックスの幾何学的類似性を備える、請求項２記載の方法。
【請求項４】
前記運動属性が、前記対の境界ボックスの運動結束性を備える、請求項２記載の方法。
【請求項５】
前記外観属性が、前記対の境界ボックスの間の外観相似性を備える、請求項２記載の方法。
【請求項６】
前記ファジィパラメータが、前記特性化パラメータおよびメンバシップ関数に基づいて判定される言語変数を備える、請求項２記載の方法。
【請求項７】
前記メンバシップ関数が、ガウス関数またはシグモイド関数を備える、請求項６記載の方法。
【請求項８】
前記ボックス併合パラメータを判定するステップが、
前記対の境界ボックスとそれぞれ関連する幾何学的類似性、運動結束性および外観相似性を備える、前記幾何学的属性、前記運動属性、および前記外観属性を判定するステップと、
前記複数のファジィパラメータの各々が、前記対の境界ボックスの前記幾何学的類似性、前記運動結束性および前記外観相似性のうちの１つと対応する、前記対の境界ボックスと関連する複数のファジィパラメータを判定するステップと、
前記複数のファジィパラメータに基づいて公式化される決定規則に基づく言語変数を判定するステップと
を含む、請求項２記載の方法。
【請求項９】
前記サブセットの境界ボックスを併合するステップが、凝集クラスタリングアルゴリズムに基づく、請求項１記載の方法。
【請求項１０】
前記サブセットの境界ボックスを併合するステップが、１対の境界ボックスを併合して前記対の境界ボックスを囲む前記併合された境界ボックスを生成するステップを含む、請求項９記載の方法。
【請求項１１】
前記対の境界ボックスを併合するステップが、前記併合された境界ボックスの判定された面積に基づく、前記併合された境界ボックスの面積を判定するステップをさらに含む、請求項１０記載の方法。
【請求項１２】
前記知覚的特性化が、前記対の境界ボックスの前記幾何学的属性、前記運動属性、および前記外観属性のうちの少なくとも１つに基づく、請求項１０記載の方法。
【請求項１３】
少なくとも１つの移動物体を有する複数の画像フレームを備えるビデオストリームをビデオカメラから受信し、
前記複数の画像フレームのうちの少なくとも２つの画像フレームの差を判定して、複数の画像ブロブを備える差分画像を生成し、
各境界ボックスが前記複数の画像ブロブのうちの少なくとも１つの対応する画像ブロブを囲む、複数の境界ボックスを生成し、
サブセットの境界ボックスの知覚的特性化に基づくファジィ技法を使用して、対応する移動物体と関連する、前記複数の境界ボックスのうちの前記サブセットの境界ボックスを判定し、
前記サブセットの境界ボックスを併合して、前記サブセットの境界ボックスを囲む併合された境界ボックスを生成して、前記移動物体を検知する
ように構成された、プロセッサに基づくデバイス
を備える、システム。
【請求項１４】
前記プロセッサに基づくデバイスが、
対の境界ボックスの幾何学的属性、運動属性および外観属性のうちの少なくとも１つに基づいて、前記複数の境界ボックスのうちの前記対の境界ボックスと関連する特性化パラメータを判定するステップと、
前記特性化パラメータに基づいて、前記対の境界ボックスと関連するファジィパラメータを判定するステップと、
前記ファジィパラメータに基づいて、前記対の境界ボックスと関連するボックス併合パラメータを判定するステップと、
前記ボックス併合パラメータに基づいて、前記対の境界ボックスの間のファジィ距離を判定するステップ
を含むファジィ技法を使用するように構成された、請求項１３記載のシステム。
【請求項１５】
前記プロセッサに基づくデバイスが、それぞれにボックス類似性、運動結束性および外観相似性を備える、前記幾何学的属性、前記運動属性および前記外観属性のうちの少なくとも１つを判定するようにさらに構成された、請求項１４記載のシステム。
【請求項１６】
前記プロセッサに基づくデバイスが、前記特性化パラメータおよびメンバシップ関数に基づいて判定される言語変数を備える前記ファジィパラメータを判定するようにさらに構成された、請求項１４記載のシステム。
【請求項１７】
前記プロセッサに基づくデバイスがさらに、
前記対の境界ボックスとそれぞれ関連付けられた幾何学的類似性、運動結束性および外観相似性を備える前記幾何学的属性、前記運動属性、および前記外観属性を判定することと、
前記複数のファジィパラメータの各々が、前記対の境界ボックスの前記幾何学的類似性、前記運動結束性および前記外観相似性のうちの１つと対応する、前記対の境界ボックスと関連する複数のファジィパラメータを判定することと、
前記複数のファジィパラメータに基づいて公式化される決定規則に基づく言語変数を判定することと
によって前記ボックス併合パラメータを判定するように構成された、請求項１４記載のシステム。
【請求項１８】
前記プロセッサに基づくデバイスが、前記サブセットの境界ボックスの中の１対の境界ボックスを併合して前記対の境界ボックスを囲む併合された境界ボックスを生成するように構成された、請求項１３記載のシステム。
【請求項１９】
前記プロセッサに基づくデバイスが、前記併合された境界ボックスの面積を判定するように構成され、前記対の境界ボックスが、前記併合された境界ボックスの前記判定された面積に基づいて併合される、請求項１８記載のシステム。
【請求項２０】
前記プロセッサに基づくデバイスが、前記対の境界ボックスの前記幾何学的属性、前記運動属性、および前記外観属性のうちの少なくとも１つに基づいて前記知覚的特性化を判定するように構成された、請求項１８記載のシステム。
【請求項２１】
少なくとも１つの移動物体を有する複数の画像フレームを備えるビデオストリームを受信し、
前記複数の画像フレームのうちの少なくとも２つの画像フレームの差を判定して、前記少なくとも１つの移動物体に対応する複数の画像ブロブを備える差分画像を生成し、
各境界ボックスが前記複数の画像ブロブのうちの少なくとも１つの対応する画像ブロブを囲む、複数の境界ボックスを生成し、
サブセットの境界ボックスの知覚的特性化に基づくファジィ技法を使用し、前記対応する移動物体と関連する、前記複数の境界ボックスのうちの前記サブセットの境界ボックスを判定し、そして、
前記サブセットの境界ボックスを併合して、前記サブセットの境界ボックスを囲む併合された境界ボックスを生成して、前記移動物体を検知する
ようにプロセッサに基づくデバイスに命令するためのプログラムで符号化された、持続性コンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、移動物体の検知／追跡のためのシステムおよび方法に関する。
【背景技術】
【０００２】
本明細書で開示される主題は、概して、視覚モニタリングおよびビデオ監視に関する。より具体的には、本主題は、ビデオストリーム内の移動物体の検知および追跡のための方法およびシステムに関する。
【０００３】
ビデオ検知および追跡は、監視および偵察システムなどの多数の最先端のシステムの不可欠な部分である。ＩＳＲ（諜報、監視および偵察）システムは、たとえば、軍事活動を支援するためのデータの収集、処理および使用を包含する。ＩＳＲシステムは、通常は、無人航空機（ＵＡＶ）、および、陸、空、海、または宇宙ベースの機器を含む。そのようなビデオ処理システムは、移動物体を検知するために使用され、輸送管理、拡張現実、通信および圧縮などの分野でも役立つことができる。
【０００４】
通常は、ビデオストリームから抽出された画像のシーケンスは、ビデオ処理システムを使用し、移動物体を検知および追跡するために処理される。ビデオストリーム内の移動する目標を識別および追跡する手動の方法は、遅く、集約的で、多くの場合には実用的ではない。自動化された解決法が、ビデオ監視に関連する問題への対処に向けて近年提案された。ビデオストリームの自動処理に関連する技法は、ビデオカメラの視界内で個々の目標を認識することに関して限界を有する。空中監視システムでは、移動するカメラは、視差が原因でさらなる雑音をもたらす。画像シーケンス内で移動する目標を識別するために使用されている従来のアルゴリズムは、十分な主観的品質を提供することができない。これらのアルゴリズムの多数は、実環境データの固有の不確実性のため、最適にデータを処理することができない。
【０００５】
リアルタイム画像を最適に処理して移動する目標を確実に検知することができるビデオ処理の優れた技法が必要とされている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】米国特許出願公開第２０１０／０２７２３５７号明細書
【発明の概要】
【０００７】
本技法の一態様によれば、プロセッサに基づくデバイスを使用して実装される方法が開示される。本方法は、少なくとも１つの移動物体を有する複数の画像フレームを備えるビデオストリームを受信するステップと、その複数の画像フレームのうちの少なくとも２つの画像フレームの差を判定するステップと、その少なくとも１つの移動物体に対応する複数の画像ブロブを備える差分画像を生成するステップとを含む。本方法はさらに、各境界ボックスがその複数の画像ブロブのうちの少なくとも１つの対応する画像ブロブを囲む、複数の境界ボックスを生成するステップと、サブセットの境界ボックスの知覚的特性化に基づくファジィ技法を使用し、対応する移動物体と関連する、その複数の境界ボックスのうちのサブセットの境界ボックスを判定するステップとを含む。本方法はまた、そのサブセットの境界ボックスを併合して、そのサブセットの境界ボックスを囲む併合された境界ボックスを生成して、その移動物体を検知するステップを含む。
【０００８】
本システムの一態様により、システムが開示される。本システムは、少なくとも１つの移動物体を有する複数の画像フレームを備えるビデオストリームをビデオカメラから受信し、その複数の画像フレームのうちの少なくとも２つの画像フレームの差を判定して複数の画像ブロブを備える差分画像を生成するように構成された、プロセッサに基づくデバイスを含む。そのプロセッサに基づくデバイスはさらに、各境界ボックスがその複数の画像ブロブのうちの少なくとも１つの対応する画像ブロブを囲む、複数の境界ボックスを生成するように、および、サブセットの境界ボックスの知覚的特性化に基づくファジィ技法を使用し、対応する移動物体と関連する、その複数の境界ボックスのうちのサブセットの境界ボックスを判定するように構成される。最後に、そのプロセッサに基づくデバイスは、そのサブセットの境界ボックスを併合して、そのサブセットの境界ボックスを囲む併合された境界ボックスを生成してその移動物体を検知するように構成される。
【０００９】
本技法のもう１つの態様によれば、プロセッサに基づくデバイスに命令するためにプログラムで符号化された持続性コンピュータ可読媒体が開示される。そのプログラムは、少なくとも１つの移動物体を有する複数の画像フレームを備えるビデオストリームを受信するように、および、その複数の画像フレームのうちの少なくとも２つの画像フレームの差を判定してその少なくとも１つの移動物体に対応する複数の画像ブロブを備える差分画像を生成するように、そのプロセッサに基づくデバイスに命令する。そのプログラムはさらに、各境界ボックスがその複数の画像ブロブのうちの少なくとも１つの対応する画像ブロブを囲む、複数の境界ボックスを生成するように、および、サブセットの境界ボックスの知覚的特性化に基づくファジィ技法を使用し、その対応する移動物体と関連する、その複数の境界ボックスのうちのサブセットの境界ボックスを判定するように、そのプロセッサに基づくデバイスに命令する。そのプログラムはまた、そのサブセットの境界ボックスを併合してそのサブセットの境界ボックスを囲む併合された境界ボックスを生成してその移動物体を検知するように、そのプロセッサに基づくデバイスに命令する。
【００１０】
同様の文字が複数の図面を通して同様の部分を表す添付の図面を参照して以下の詳細な説明が読まれるとき、本発明の実施形態のこれらのおよび他の特徴および態様は、よりよく理解されよう。
【図面の簡単な説明】
【００１１】
【図１】例示的一実施形態による、移動物体検知および追跡のためのファジィ論理に基づくシステムの概略図である。
【図２】例示的一実施形態によるビデオシーケンスからの移動物体の判定に含まれるステップを示す流れ図である。
【図３ａ】移動物体を有する２つの画像フレームを示す図である。
【図３ｂ】移動物体を有する２つの画像フレームを示す図である。
【図３ｃ】複数のブロブを有する差分画像を示す図である。
【図３ｄ】例示的一実施形態による画像ブロブを囲む複数の境界ボックスと重ね合わされた画像フレームを示す図である。
【図４】例示的一実施形態による凝集クラスタリングアルゴリズムの一例を示す図である。
【図５】例示的一実施形態で定義されるものとしての境界ボックスを示す図である。
【図６】例示的一実施形態による１対のより小さい境界ボックスから生成される併合された境界ボックスを示す図である。
【図７】例示的一実施形態によるファジィ技法に含まれるステップを示す流れ図である。
【図８】例示的一実施形態で使用されるファジィパラメータで使用されるメンバシップ関数を示す図である。
【図９ａ】過度に併合された故障モードを克服する際の従来の積融合方法と比較したファジィ技法の例示的一実施形態の性能を示す図である。
【図９ｂ】過度に併合された故障モードを克服する際の従来の積融合方法と比較したファジィ技法の例示的一実施形態の性能を示す図である。
【図９ｃ】過度に併合された故障モードを克服する際の従来の積融合方法と比較したファジィ技法の例示的一実施形態の性能を示す図である。
【図１０ａ】不十分に併合された故障モードを克服する際の従来の積融合方法と比較したファジィ技法の例示的一実施形態の性能を示す図である。
【図１０ｂ】不十分に併合された故障モードを克服する際の従来の積融合方法と比較したファジィ技法の例示的一実施形態の性能を示す図である。
【図１０ｃ】不十分に併合された故障モードを克服する際の従来の積融合方法と比較したファジィ技法の例示的一実施形態の性能を示す図である。
【発明を実施するための形態】
【００１２】
本技法の実施形態は、ファジィ技法を使用してビデオストリーム内の移動物体を検知するためのシステムおよび方法に関する。ビデオストリームの少なくとも２つの画像フレームの差が判定されて、複数の画像ブロブを有する差分画像を生成する。本明細書において、画像ブロブは、それぞれの画像フレームとの差を示す非ゼロ値を有する画素または画素のグループを指す。複数の境界ボックスが生成され、各境界ボックスは少なくとも１つの対応する画像ブロブを囲む。ファジィフレームワークを含むクラスタリング技法が使用されて、境界ボックスを正確にグループ化して、一意の併合された境界ボックスを形成する。そのファジィフレームワークは、境界ボックスと関連するファジィパラメータと、ファジィパラメータと関連するファジィ規則とを使用して、頑強な決定を生成してサブセットの境界ボックスを併合して移動物体を検知する。本技法の実施形態による頑強なおよび正確な移動物体検知は、後の視覚的処理のための不必要な計算時間を減らし、全体的な視覚的解析性能を高める。
【００１３】
図１は、ファジィシステムを使用してビデオストリーム内の移動物体を検知する、ＩＳＲ（知能、監視および偵察）システム１００の概略図である。図示された実施形態で、ＩＳＲシステム１００は、機内に搭載されたビデオカメラ１１６を使用し、移動物体１２０、１２２を有する視界１２５内の場面のビデオストリームを取り込む、航空機１０２を含む。航空機１０２は、無人航空機（ＵＡＶ）または有人軍事偵察機でもよい。一例では、航空機１０２は、通信衛星１０４との通信リンクを有する。地上局は、それぞれ航空機１０２および／または通信衛星１０４から通信信号を受信するように構成された複数の通信アンテナ１０６および１０７を含む。アンテナ１０６および１０７はまた、その地上局から航空機１０２にまたは通信衛星１０４に信号を送信するために使用することができる。一実施形態によれば、航空機１０２のカメラ１１６によって取り込まれるビデオストリーム信号は、アンテナ１０６によって受信される。中央基地局１０８は、航空機１０２、通信衛星１０４、および、アンテナ１０６、１０７の間の通信を調整する。中央局１０８は、ＩＳＲシステムの制御および調整活動のための計算リソースを提供するために、プロセッサに基づくデバイス１１０へのアクセス権を有し得る。プロセッサに基づくデバイス１１０は、汎用プロセッサもしくはコントローラでもよく、一実施形態では、マルチプロセッサ計算デバイスである。プロセッサに基づくデバイス１１０は、アンテナ１０６によって受信されたビデオストリーム信号を処理する能力を有する。別法として、プロセッサに基づくデバイス１１０は、ビデオプロセッサモジュール１１４と通信で結合され得る。ビデオプロセッサ１１４は、ファジィ技法を使用し、ビデオストリームオブジェクトの検知のタスクを実行する。
【００１４】
一例では、プロセッサに基づくデバイス１１０は、ディスクからのまたはメモリからのソフトウェア命令を使用して、ビデオストリーム信号を処理する。そのソフトウェアは、アセンブリ言語と、ＶＨＤＬ（Ｖｅｒｉｌｏｇハードウェア記述言語）と、フォートラン、パスカル、Ｃ、Ｃ＋＋、およびＪａｖａ(登録商標）などの高度な言語と、ＡＬＧＯＬ（アルゴリズム的言語）と、前述の任意の組み合わせもしくはそのうちの少なくとも１つの派生語を含むがこれらに限定されない任意の言語で符号化することができる。ビデオストリーム処理の結果は、記憶され、さらなる処理のために送信される、および／または、ビデオプロセッサ１１４に結合されたディスプレイ１１２で表示される。
【００１５】
図２は、例示的一実施形態によるビデオシーケンスからの移動物体の判定に含まれる技法を説明する流れ図２００である。２０２に示すように、ビデオストリームからの複数の画像フレームが、図１のビデオ処理モジュール１１４によって受信される。その複数の画像フレームは、検知されるべき少なくとも１つの移動物体を含む。それらの画像フレームは、通常は、雑音除去および画像安定化のための技法などによって、前処理される２０４。その前処理は、画像フレームの質および所望のアプリケーションに依存する。
【００１６】
その複数の画像フレームのうちの少なくとも２つの画像フレームの差が計算されて、差分画像を生成する。その差分画像は、２つの画像フレームの間の画素または画素のグループにおける変化を示す。その差分画像は、わずかに異なる位置にある移動物体を有する連続する画像フレームから生成される。高速移動物体は、差分画像においてより多くの数の非ゼロ画素を生み出し、そのような画素は、比較的大きなエリアに広がる。同様に、ある場面の画像に亘るオブジェクトの閉鎖は、差分画像における画像ブロブを生み出し得る。少なくとも１つの移動物体に対応する複数のブロブが、差分画像から検知される２０６。それらのブロブは、ある種の特性に基づいてともにグループ化されたそれぞれのフレームの間で異なる画素を表す。
【００１７】
複数の境界ボックスが生成され、各境界ボックスは、その複数の画像ブロブのうちの少なくとも１つの対応する画像ブロブを囲む。ファジィフレームワークを含むクラスタリング技法が使用されて、本明細書でさらに詳述されるように、境界ボックスをグループ化して一意の併合された境界ボックスを形成する２０８。
【００１８】
そのファジィクラスタリング技法は、ファジィフレームワークにおいて凝集クラスタリングアルゴリズムを使用し、移動物体を検知する２１０。本明細書では、凝集クラスタリングアルゴリズムは、ファジィ技法を使用し、対応する移動物体と関連する、その複数の境界ボックスのうちのサブセットの境界ボックスを判定することに留意されたい。そのサブセットの境界ボックスは、併合されて、サブセットの境界ボックスを囲む併合された境界ボックスを生成する。サブセットの境界ボックスを囲むその併合された境界ボックスは、ビデオストリームの移動物体を判定するために使用される。本ファジィ技法は、サブセットの境界ボックスの知覚的特性化に基づく。サブセットの境界ボックスの知覚的特性化は、サブセットの境界ボックスの「幾何学的」、「運動」および「外観」属性に関して定義される。本ファジィ技法は、知覚的特性を使用し、適切なメンバシップ関数を使用して定義されるファジィセットに関してファジィパラメータを定義する。ファジィ決定則は、併合するためのサブセットの境界ボックスを決定するために、その複数のファジィパラメータに基づいて公式化される。本明細書で論じるステップは、次の図を参照してさらに詳しく論じられる。
【００１９】
図３ａ〜３ｄは、複数の境界ボックスを生成するために使用される移動物体を有するビデオストリーム内の複数の画像フレーム３００の一例を示す。図３ａ〜３ｄに示された実施形態では、ビデオストリームの２つの画像フレーム３０２および３０４が考慮される。画像フレーム３０２および３０４の間の２つのブロブは、図３ｃに示される差分画像３０６内に示される。それらのブロブは、移動物体、視差および雑音によって寄与される複数のフレーム差を含む。移動物体に起因するそれらのブロブは、連続する差分画像に亘って同様のパターンを示す。雑音および視差に起因するブロブは、そのような同様のパターンを示し得ない。差分画像３０６から検知された複数の画像ブロブ３１０は、移動物体を検知するために、さらなる処理が考慮される。本明細書では、視差および雑音に関連するフレーム差分画像は、移動物体と関連するフレーム差とは通常は区別されないことに留意されたい。本明細書では、移動物体、視差および雑音に対応するブロブの処理は、以下にさらに詳しく論じる例示的アルゴリズムを使用し、実行されることにもさらに留意されたい。そのブロブの周りのエリアは、差を有さない連続的画像フレームの画素を表す。一実施形態によれば、境界ボックス内の画像ブロブの識別は、異なる画素の単なる近接する場所に加えて、属性を考慮する。たとえば、画像フレーム間の差は、近接近の別個の移動物体を含むことがあり、それらの画素は、色などの特徴にしたがって区別される。
【００２０】
図３ｄでは、１つまたは複数の画像ブロブ３１０を囲む複数の境界ボックス３１４が、画像フレーム３０２と重ね合わされる。一代替実施形態では、境界ボックス３１４はまた、画像フレーム３０４全体または、フレームの半分などの、画像フレーム３０４の一部と重ね合わせることができる。単一のブロブまたは近接近の複数のブロブ３１０が、各境界ボックス３１４内に囲まれる。境界ボックス３１４のサイズは、ブロブの数およびサイズに応じて変わり得る。画像フレーム上の各移動物体は、その差分画像内のブロブのサブセットのそれと同じエリアを占める。画像ブロブ３１０を囲む境界ボックス３１４のサブセットは、クラスタリング技法を使用することによって併合されて、そのサブセットの境界ボックスを囲む併合された境界ボックス３１２が生成される。本クラスタリング技法は、以下でさらに詳しく説明される。それによって、移動物体が、その画像フレーム内で識別され、境界ボックス内で定義される。
【００２１】
図４は、併合された境界ボックス３１２を生成するために使用される凝集クラスタリングアルゴリズムを説明する。凝集クラスタリングアルゴリズムは、画像フレーム３５０内の境界ボックスの初期セットを考慮することによって開始される。その処理の各ステップで、境界ボックスのあらゆる対の間の相違の測度（Ｄで示される）が、判定される。前述のように、図３ａ〜３ｄからの境界ボックスは、ある種の特性を有する画素のグループを識別する。「相違」の測度は、その対の境界ボックスの特性化に基づくことができる。その対の境界ボックスの特性化は、その対の境界ボックスと関連する少なくとも１つの属性に基づいて判定することができる。たとえば、一実施形態では、１対の境界ボックスの特性化は、その対の境界ボックスのサイズまたは近接性など、その対の境界ボックスの幾何学的属性に基づき得る。もう１つの実施形態では、その特性化は、その対の境界ボックスの動きの速度および結束性など、そのビデオストリームにおけるその対の境界ボックスの運動属性に基づき得る。さらに別の実施形態では、１対の境界ボックスの特性化は、その対の境界ボックスのテクスチャ、色など、その対の境界ボックスの内容の相似性に基づき得る。１対の境界ボックスの特性化は、確定関数もしくはファジィ関数またはそれらの関数の両方の組合せに基づき得る。ある種の実施形態では、１対の境界ボックスの複数の特性化技法が使用可能であり、そのような特性化が融合されてその対の境界ボックスを特性化することができる。本明細書では、本システムの特性化技法は、境界ボックスの優れたクラスタリングを助ける知覚的ファクタを取り込むことができることに留意されたい。さらに具体的な詳細では、その知覚的ファクタは、幾何学的、運動および／または外観の属性などの特徴を含む。
【００２２】
図解された実施形態では、Ｄの最小値（「Ｄmin」として示す）を有する境界ボックスの対が、選択される。たとえば、第１の反復では、それらの間に最小距離を有する境界ボックス３５２および３５４が識別される。最小距離Ｄminが閾値τ未満の場合、最も近い境界ボックスが併合される。たとえば、画像フレーム３５３に示すように、境界ボックス３５２および３５４は、それらの間の距離が閾値未満であるとき、単一の併合された境界ボックス３５６に併合される。クラスタリングの次の反復中の境界ボックスの総数は、前の反復中の境界ボックスの数より１つ少ない。画像フレーム３５５内に示す図解された実施形態では、境界ボックス３５８および３６０は、クラスタリングの第２の反復中に併合された境界ボックス３６２に併合される。同様に、境界ボックス３６４および３６６は、画像フレーム３５７内に示すように第３の反復中に併合された境界ボックス３６８に併合される。本例に示すように、画像フレーム３７０の次の反復中の境界ボックス間の相違の最も小さい測度Ｄminは、閾値τより大きく、したがって、本クラスタリングアルゴリズムは終了する。
【００２３】
図５は、本技法の例示的一実施形態による境界ボックス４００を示す。境界ボックスＢは、以下のように定義される：
【００２４】
【数１】
2014067413.tif 000003
但し、Ｗはそのボックスの幅であり、Ｈはそのボックスの高さであり、点（ｘ，ｙ）はボックスの中央の座標であり、（ｄｘ，ｄｙ，ｆ）は、ＸＹ面内のそのボックスの運動属性を表し、（ｄｘ，ｄｙ）は運動信頼測度ｆを有する運動ベクトルを表す。Ｔは境界ボックスＢ内の画像パッチのテクスチャを表す。テクスチャは、画素のパターンとして参照され、表面の輝度の変化の測度を提供する。Ａで示される境界ボックスの面積は、ボックス幅Ｗおよびボックス高さＨの積である。パラメータＷ、Ｈ、ｘ、ｙは、その境界ボックスの幾何学的属性に関連する。同様に、パラメータｄｘ、ｄｙおよびｆは、その境界ボックスの運動属性に関連する。パラメータＴは、その境界ボックスの外観属性に関連する。
【００２５】
図６は、５０６で示される併合された境界ボックスＢmを生成する、それぞれ５０２、５０４で示される、１対の境界ボックスＢ1およびＢ2の例示的な併合動作を説明する。５０６で示される併合された境界ボックスＢmは以下のように定義される：
【００２６】
【数２】
2014067413.tif 000004
但し、Ｗmは幅であり、Ｈmは高さであり、（ｘm，ｙm）は中央であり、（ｄｘm，ｄｙm，ｆm）は運動属性を表し、Ｔmはその併合された境界ボックスのテクスチャである。境界ボックスＢmのパラメータは、境界ボックスＢ1およびＢ2…を定義するパラメータに関して定義され得る。境界ボックスＢ1およびＢ２は以下のように示される：
【００２７】
【数３】
2014067413.tif 000005
但し、Ｗ1、Ｗ2はその境界ボックスの幅を表し、Ｈ1、Ｈ2はその境界ボックスの高さを表し、（ｘ1，ｙ1）、（ｘ2，ｙ2）はその境界ボックスの中心点を表し、（ｄｘ1，ｄｙ1，ｆ1）、（ｄｘ2，ｄｙ2，ｆ2）はその境界ボックスの運動属性を表し、そして、Ｔ1、Ｔ2は、それぞれ境界ボックスＢ1、Ｂ2のテクスチャを表す。ｘm、ｘrm、ｙtm、ｙbmの用語によって示される、境界ボックスＢ１およびＢ２に対応するパラメータに基づく併合された境界ボックスＢｍの左端５０８、右５１０、最上部５１２および最下部５１４座標に対応する座標は、以下のように定義される：
【００２８】
【数４】
2014067413.tif 000006
前述の概念で、併合された境界ボックスのパラメータは以下のように定義される
【００２９】
【数５】
2014067413.tif 000007
ここで、記号式
【００３０】
【数６】
2014067413.tif 000008
を用いる。
【００３１】
ここで、記号式Ａ１ｆおよびＡ２ｆは、それぞれ境界ボックスＢ1およびＢ2の面積の割合である。１対の境界ボックスは、その境界ボックスの共通の属性に関して特性化され得る。たとえば、１対の境界ボックスは、その対の境界ボックスの幾何学的、運動および外観の属性に関して特性化され得る。そのような属性は関連画像の知覚的特性に密接に関連するので、そのような属性は１対の境界ボックスを特性化するのに適している。
【００３２】
本技法の一実施形態では、特性パラメータは、１対の境界ボックスの幾何学的属性に関して、その対の境界ボックスについて定義される。考慮され得る幾何学的属性は、１対の境界ボックスＢ1およびＢ2の幾何学的類似性を表し、以下のように定義される：
【００３３】
【数７】
2014067413.tif 000009
但し、Ａmは、境界ボックスＢ1およびＢ2を囲む併合された境界ボックスＢmの面積である。面積Ａmは、併合されたボックス幅Ｗmおよび併合されたボックス高さＨmの積である。１対の境界ボックスが非常に近いとき、類似性ＡＦは１とほぼ等しい。遠く離れすぎた１対の境界ボックスについて、類似性ＡＦは０とほぼ等しい。もう１つの実施形態では、特性パラメータは、その対の境界ボックスの運動属性に関して定義され得る。考慮され得る運動属性は、１対の境界ボックスＢ1およびＢ2の運動結束性を表し、以下のように定義される：
【００３４】
【数８】
2014067413.tif 000010
但し、Ｖ1＝（ｄｘ1，ｄｙ1）およびＶ2＝（ｄｘ2，ｄｙ2）は、それぞれ、ボックスＢ1およびＢ2の運動ベクトルである。その対の境界ボックスＢ1およびＢ2が同じ方向に沿って移動しているとき、運動結束性値「ＭＣ」は、プラス１（＋１）とほぼ等しくなる。同様に、その対の境界ボックスが反対方向に移動しているとき、運動結束性「ＭＣ」は、マイナス１（−１）とほぼ等しい。もう１つの実施形態では、特性パラメータは、その境界ボックスの外観属性に関して定義され得る。考慮され得る外観属性は、その対の境界ボックスＢ1およびＢ2の外観相似性を表し、以下のように定義される：
【００３５】
【数９】
2014067413.tif 000011
但し、ボックスＢ1はテクスチャＴ1＝｛ｕi｝i=1カラNを有し、テクスチャＴ2＝｛ｖj｝j=1カラMを有し、｛ｕi｝i=1カラNおよび｛ｖj｝j=1カラMをＮおよびＭ次元のテクスチャ値を示す有する。パラメータσは、境界ボックスＢ1およびＢ2の外観相似性への画素輝度の類似性測度の寄与を制御する。経験値σ＝１０が、その対の境界ボックスの外観相似性を判定する際に使用され得る。テクスチャＴ1およびＴ2が相似であるとき、外観相似性「ＡＳ」は１とほぼ等しい。テクスチャＴ1およびＴ2の間に相似性が存在しないとき、外観相似性「ＡＳ」は、ほぼ０と等しい。
【００３６】
図７は、本プロセスの例示的一実施形態によるファジィ技法に含まれる例示的ステップを説明する流れ図６００である。その処理は、図２の２０６で述べられるように複数の画像ブロブが検知されることで開始し、１セットの境界ボックスを生成するために考慮される。そのセットの境界ボックスは、凝集クラスタリングアルゴリズムの入力として使用される。凝集クラスタリングアルゴリズムの各反復で、境界ボックスのセット６０４の各対は、複数のファジィパラメータによって特性化される。そのファジィパラメータは、境界ボックスの対応する対と関連する属性に関連する特性パラメータに基づき得る。
【００３７】
ファジィパラメータは、「ファジィ集合」と呼ばれる言語変数の集合として定義されるファジィ変数（あるいは、言語変数）である。言語変数は、メンバシップ関数と関連して特性パラメータに基づいて定義される。ファジィ変数の特定の値は、複数のファジィ集合と関連付けられ得る。そのファジィ変数の値のメンバシップの程度は、メンバシップ関数に基づいて判定される。たとえば、ボックス類似性ファジィパラメータ６０６は以下のように定義される：
【００３８】
【数１０】
2014067413.tif 000012
但し、それぞれＣlAF、ＣmAFおよびＣhAFによって示される［低類似性］、［中類似性］および［高類似性］という用語は、ボックス類似性ファジィパラメータに対応するファジィ集合の言語学用語であり、ｘ＝ＡＦ（Ｂ１，Ｂ２）はＢ1およびＢ2のボックス類似性を表し、Г（ｘ；μ，σ）は、平均「μ」および標準偏差「σ」を有するガウスメンバシップ関数である。メンバシップ関数Гは、決定性変数をファジィ変数へとあいまいにするために使用される。もう１つの例として、運動結束性ファジィパラメータ６０８は以下のように定義される：
【００３９】
【数１１】
2014067413.tif 000013
但し、ｘ＝ＭＣ（Ｂ１，Ｂ２）は、境界ボックスＢ1およびＢ2の運動結束性である。それぞれＣlMC、ＣmMCおよびＣhMCによって示される［低結束性］、［中結束性］および［高結束性］という用語は、運動結束性に基づいて定義されるファジィパラメータの言語学用語である。Г（ｘ；μ，σ）は、平均「μ」および標準偏差「σ」を有するガウスメンバシップ関数である。さらに別の例として、外観相似性ファジィパラメータ６１０は以下のように定義される、
【００４０】
【数１２】
2014067413.tif 000014
但し、ｘ＝ＡＳ（Ｂ１，Ｂ２）は、境界ボックスＢ1およびＢ2の運動結束性である。それぞれＣlAS、ＣmASおよびＣhASで示される［相似性低］、［相似性中］および［相似性高］の用語は、外観相似性ファジィパラメータの言語学用語である。Г（ｘ；μ，σ）は、平均「μ」および標準偏差「σ」を有するガウスメンバシップ関数である。ステップ６１２、６１４および２１０は、図８を参照してさらに論じられる。
【００４１】
図８は、例示的一実施形態にしたがって使用されるファジィパラメータで使用されるメンバシップ関数を説明する。ボックス類似性特性パラメータの値はＸ軸によって表され、メンバシップの程度はＹ軸によって表される。曲線７０２、７０４、および７０６は、幾何学的類似性ファジィパラメータのメンバシップ関数を表す。曲線７０２は、言語学用語［低類似性］のメンバシップ関数を表す。曲線７０４は、言語学用語［中類似性］と関連するメンバシップ関数を表す。曲線７０６は、言語学用語［高類似性］と関連するメンバシップ関数を表す。
【００４２】
図７で概説された凝集クラスタリングアルゴリズムによって使用される決定則が、本明細書で概説される。決定則６１２は、ファジィパラメータのうちの少なくとも１つに基づいて機能する。決定則は、少なくとも１つの入力変数を受信し、少なくとも１つの決定変数を生成する。入力および出力変数は、実際は、決定性またはファジィでもよい。ファジィ規則は、入力言語変数の少なくとも１つを受信し、言語変数でもよい出力を生成する。本技法の一実施形態によれば、ファジィ決定規則は、１つまたは複数のファジィパラメータ、すなわち、ボックス類似性ファジィパラメータ、運動結束性ファジィパラメータおよび外観相似性ファジィパラメータ、を受け付けてファジィ決定を生成することができる。ボックス併合と呼ばれるファジィ決定変数は、入力ファジィパラメータに基づいて以下に与えられるルックアップテーブル内で定義される。
【００４３】
【表１】
2014067413.tif 000015
表１のファジィ規則は、結束性、類似性および相似性測度を考慮してボックス併合決定変数を判定する。これらの測度の各々は、３つの値「低」、「中」、「高」のうちの１つを取る。一例として、併合されることになる境界ボックス間の類似性測度の値が「低」であるとき、そのボックス併合パラメータは、それらの境界ボックスを併合することを禁止する「いいえ」にセットされる。別の例では、類似性測度の値と結束性測度の値が「高」であるとき、ボックス併合パラメータは、相似性測度の値が低くないという条件でそれらの境界ボックスの併合を許可する「併合（Ｍｅｒｇｅ）」にセットされる。本表の他の入力は、同様の形で解釈される。ファジィボックス併合決定は、以下によって定義される言語変数によって定義される：
【００４４】
【数１３】
2014067413.tif 000016
但し、ｘ＝Ｍｅｒｇｅ（Ｂ１，Ｂ２）は、１対の境界ボックスの幾何学的類似性、運動結束性および外観相似性に基づくボックス併合決定である。それぞれＣnoM、ＣmaybeMおよびＣyesMによって示される［いいえ］、［恐らく］および［はい］の用語は、ボックス併合決定に基づいて定義されるファジィパラメータの言語学用語である。Г（ｘ；μ，σ）は、平均「μ」および標準偏差「σ」を有するガウスメンバシップ関数である。表１のファジィ規則は、直観的論理に基づく。１対の境界ボックスの間の類似性が低いとき、そのボックスは併合されない。運動結束性および外観相似性の両方が非常に低くない限り、ボックス類似性が高いとき、ボックスは併合される。
【００４５】
２つの境界ボックスの間の距離の測度は、以下のような出力言語変数に基づいて定義することができる：
【００４６】
【数１４】
2014067413.tif 000017
境界ボックスのセットＢ＝｛Ｂ１，Ｂ２，…，Ｂｎ｝が、ｎ個の境界ボックスを有すると仮定する。ここで、ｄ（Ｂｉ，Ｂｊ）は距離測度であり、「併合」は表１のファジィ決定則から導出される。凝集クラスタリングアルゴリズムは、境界ボックスのすべての起こり得る組合せの間の距離ｄを判定し、その特定の対の境界ボックスの間の距離「ｄ」が閾値「τ」より小さいときに併合されることになる特定の対の境界ボックスを選択する。６１４で判定されるように、その特定の対の境界ボックスの間の距離が閾値「τ」より小さいとき、その凝集クラスタリングアルゴリズムのもう１つの反復が開始される。再び、最小距離測度Ｄminを有する境界ボックスのもう１つの対が識別され、併合された境界ボックスに併合される。その最小距離「Ｄmin」が閾値値「τ」より大きいとき、その凝集クラスタリングアルゴリズムは終了する。その終了の後、２１０内の残りの併合された境界ボックスは、検知された移動物体として考慮される。本凝集クラスタリング方法は、以下のように要約される：
【００４７】
【数１５】
2014067413.tif 000018
Ｃ|B|は、｜Ｂ｜によって示される境界ボックスの初期数を有する複数の境界ボックス「Ｂ」によって表される境界ボックスの集合を表す。本凝集アルゴリズムは、集合Ｃ|B|の境界ボックスのその初期数と等しい反復の最大数で反復して実行される。距離Ｄは、境界ボックスＢjおよびＢkのすべての対の相似性を評価するために使用される。最小距離測度Ｄminを有するその対の境界ボックスは、集合Ｃ|B|の次元数を１つ減らし、併合される。特定の対の境界ボックスの間の最小距離が所定の閾値τより大きい場合、その反復は終了する。その反復ループの終了時の残りの境界ボックスの数が、そのクラスタリングアルゴリズムの出力である。
【００４８】
本技法の一実施形態では、境界ボックスのサイズは、併合されることになるボックスを判定する間に、考慮され得る。１対の境界ボックスは、結果として生じる併合された境界ボックスのサイズが比較的小さい場合、併合される。別法として、１対の境界ボックスは、結果として生じる併合された境界ボックスのサイズが大き過ぎる場合、併合されない。併合された境界ボックスサイズに基づく言語変数は、以下のように定義される：
【００４９】
【数１６】
2014067413.tif 000019
但し、ｘ＝ＳＺ（Ｂ１，Ｂ2）＝（Ａ（Ｂm））1/2は、その併合された境界ボックスＢmの面積の平方根である。それぞれＣlSZ、ＣmSZおよびＣsSZによって示される［ボックス大］、［ボックス普通］および［ボックス小］という用語は、ボックス併合決定に基づいて定義されるファジィパラメータの言語学用語である。Ｚ（ｘ：ａ，ｃ）はシグモイドメンバシップ関数１／（１＋ｅ-a(x-c)）であり、そして、Г2（ｘ；μ１，σ１，μ２，σ２）はガウス結合メンバシップ関数であり、その左の形状はガウス関数Г（ｘ；μ１，σ１）によって定義され、その右端の形状はガウス関数Г2（ｘ；μ２，σ２）によって定義される。「μ1」および「μ2」という用語は平均値であり、σ1およびσ2は対応する標準偏差である。その併合された境界ボックスサイズ「ＳＺ」が普通であるとき、凝集クラスタリングアルゴリズムは、表１のファジィ規則と使用される。そうでない場合、以下の２つの規則は、１対の境界ボックスを識別する間に、表１内で概説される規則とともに考慮される。
ＩＳＺが大の場合、併合なし、
ＳＺが小であり、ＡＦが低類似性でない場合、併合ＯＫ
いくつかの実施形態で、そのファジィに基づく凝集アルゴリズムの性能は、ファジィに基づかない技法と比較され得る。発見的積融合規則は、非ファジィボックス併合方法の一実施形態で使用され得る。その距離メトリックは、以下のように定義され得る：
【００５０】
【数１７】
2014067413.tif 000020
ＳＺ＞２５であるとき、ｄ（Ｂi，Ｂj）＝１を条件とする。ここで、ＡＦ、ＭＣおよびＡＳは、境界ボックスＢiおよびＢjの幾何学的類似性、運動結束性および外観相似性を表す。ＳＺは、その併合された境界ボックスのサイズを表す。その非ファジィ方法とファジィに基づく方法の性能は、そのボックス併合アルゴリズムの故障モードに関して比較され得る。２つの故障モードは、一般に、ボックス併合アルゴリズムについて考慮される。
【００５１】
１．不十分な併合：その移動物体は、複数の初期境界ボックスによってカバーされる。そのアルゴリズムは、それらを１つの併合された境界ボックスに併合することに失敗する。
【００５２】
２．過度の併合：２つ以上の移動物体の初期境界ボックスが、１つの併合された境界ボックスに併合される。
クラスタリングアルゴリズムの各々について、その初期境界ボックスが不十分に併合された移動物体の数が数えられる。同様に、その初期境界ボックスが過度に併合された移動物体の数が数えられる。その２つの境界ボックス併合方法の移動物体の総数に関する不十分な併合および過度の併合の故障の割合は、以下の表に要約される：
【００５３】
【表２】
2014067413.tif 000021
表２のエントリは、その積融合メトリックと比較したそのファジィ距離メトリックの優れた性能を確認する。本実施形態の提案されるアルゴリズムは、不十分な併合の故障（４４．８％から５．２％に）、過度な併合の故障（１６．７％から２．１％に）における有意な減少を示す。ファジィ距離メトリックは、増加した割合の正しい併合（３８．５％から９２．７％に）を実行する。
【００５４】
図９ａ〜９ｃは、その従来の積融合方法と比較した本ファジィ技法の例示的一実施形態の性能を示す。それらの両方の方法に使用される境界ボックスの初期セットが、図９ａに示される。発見的距離メトリックでのボックス併合による移動物体検知結果が、図９ｂに示される。その図は、単一の境界ボックス８０６として検知された場面内に２つの移動物体８０２および８０４が存在することを示す。ファジィボックス併合距離メトリックによる移動物体検知結果が、図９ｃに示される。図９ｂで単一の境界ボックスとして検知された同じ移動物体が、２つの境界ボックス８０８および８１０として検知される。その両方のアルゴリズムで使用される「τ」の値は、０．３である。その結果は、その過度の併合の故障モードを克服する際の本ファジィ方法の優れた性能を示す。
【００５５】
図１０ａ〜１０ｃは、その従来の積融合方法と比較した本ファジィ技法の例示的一実施形態の性能を説明する。それらの両方の方法に使用される境界ボックスの初期セットが、図１０ａに示される。発見的距離メトリックでのボックス併合による移動物体検知結果は、図１０ｂに示される。その図は、その場面内の１つの移動物体９０２が複数の境界ボックス９０４として検知されたことを示す。ファジィボックス併合距離メトリックによる移動物体検知結果は、図１０ｃに示される。図１０ｂ中で複数の境界ボックスとして検知された移動物体９０２は、単一の境界ボックス９０６として検知される。そのアルゴリズムの両方で使用される「τ」の値は、０．３である。その結果は、不十分な併合の故障モードを克服する際の本ファジィ方法の優れた性能を示す。
【００５６】
図９ａ〜９ｃおよび図１０ａ〜１０ｃの結果は、積融合による発見的距離メトリックは、同じ移動物体に属するボックスと異なる移動物体に属するボックスを区別するための優れたメトリックではないことを示す。高信頼の移動する境界ボックスの検知は、距離閾値τのチューニングにかかわらず、その発見的距離メトリックを使用して達成することはできない。結果はさらに、ファジィ論理に基づく距離メトリックが、同移動物体に属するすべての境界ボックスを正しく車両境界ボックスに併合することを確認する。ファジィ論理公式化に基づくボックス併合方法は、有意義な方法で明示的数学的モデルで定義することができない人間の経験則を統合する。
【００５７】
本明細書で論じられる実施形態によれば、ファジィに基づく凝集クラスタリングアルゴリズムは、雑音環境で併合すべき適切なボックスを識別する。そのデータにおける不確実性は、提案される実施形態によって正確にモデル化される。フレーム差の検知によって形成される境界ボックスは、非常に雑音がある可能性がある。したがって、機械学習戦略を決定して最適ボックス併合基準を自動的に学習することは容易なタスクではない。最適な方法で、ボックスを併合するプロセスは、そのデータ技法における固有の不確実性が原因で、複雑である。本技法の実施形態は、そのデータとおよびその決定則と関連する不確実性を正確にモデル化する。ファジィ論理に基づく境界ボックス併合技法は、移動物体検知性能を高める。
【００５８】
前述のそのようなオブジェクトまたは利点のすべてが必ずしも任意の特定の実施形態にしたがって達成されないことがあることを理解されたい。したがって、たとえば、本明細書に記載のシステムおよび技法は、本明細書で教示または提案され得るような他の目的または利点を必ずしも達成することなしに本明細書で教示されるような１つの利点または一群の利点を達成または最適化する形で実施または実行され得ることが、当業者には理解されよう。
【００５９】
本発明は、限られた数の実施形態のみに関して詳細に説明されたが、本発明はそのような開示された実施形態に限定されないことが容易に理解されよう。そうではなくて、本発明は、任意の数の変形形態、改変形態、置換え、または、本明細書に記載されないが本発明の趣旨および範囲に相応する同等の配置を組み込むように修正することができる。加えて、本発明の様々な実施形態が説明されたが、本発明の態様は記載された実施形態のうちのいくつかのみを含み得ることを理解されたい。したがって、本発明は、前述の説明によって限定されるものとして理解されるものではなく、添付の特許請求の範囲によってのみ限定される。新しいものとして特許請求され、米国の特許状によって保護されるべきものは、以下の通りである。
【符号の説明】
【００６０】
１００  ＩＳＲシステム
１０２  航空機
１０４  通信衛星
１０６  通信アンテナ
１０７  通信アンテナ
１０８  中央基地局
１１０  プロセッサに基づくデバイス
１１２  ディスプレイ
１１４  ビデオプロセッサ
１１６  ビデオカメラ
１２０  移動物体
３００  画像フレーム
３０２  画像フレーム
３０４  画像フレーム
３０６  差分画像
３１０  画像ブロブ
３１２  併合された境界ボックス
３１４  境界ボックス
３５０  画像フレーム
３５２  境界ボックス
３５３  画像フレーム
３５４  境界ボックス
３５５  画像フレーム
３５６  併合された境界ボックス
３５７  画像フレーム
３５８  境界ボックス
３６０  境界ボックス
３６２  境界ボックス
３６４  境界ボックス
３６６  境界ボックス
３６８  併合された境界ボックス
３７０  画像フレーム
４００  境界ボックス
５０２  境界ボックス
５０４  境界ボックス
５０６  併合された境界ボックス
７０２  曲線
７０４  曲線
７０６  曲線
８０２  移動物体
８０４  移動物体
８０６  境界ボックス
８０８  境界ボックス
８１０  境界ボックス
９０２  移動物体
９０４  境界ボックス
９０６  境界ボックス
【図１】
2014067413.tif 000022
【図２】
2014067413.tif 000023
【図３ａ】
2014067413.tif 000024
【図３ｂ】
2014067413.tif 000025
【図３ｃ】
2014067413.tif 000026
【図３ｄ】
2014067413.tif 000027
【図４】
2014067413.tif 000028
【図５】
2014067413.tif 000029
【図６】
2014067413.tif 000030
【図７】
2014067413.tif 000031
【図８】
2014067413.tif 000032
【図９ａ】
2014067413.tif 000033
【図９ｂ】
2014067413.tif 000034
【図９ｃ】
2014067413.tif 000035
【図１０ａ】
2014067413.tif 000036
【図１０ｂ】
2014067413.tif 000037
【図１０ｃ】
2014067413.tif 000038
【外国語明細書】
2014067413000001.pdf