(57)【要約】一実施例によれば、監視システムのためのコントローラが、カメラを連結するためのポートと、ポートに連結される同期論理ブロックと、カメラポートに連結された情報集合論理ブロックと、情報集合論理ブロックに連結された出力ポートと、を有している。別の実施例によれば、監視システムを調整する方法が、複数のカメラを同期するステップと、同期したカメラから画像を取得するステップと、少なくとも２の処理される同期画像を集めるステップと、集められた同期画像を処理するステップとを有している。【選択図】図１
2010519860.tif 000002
【特許請求の範囲】
【請求項１】
監視システムのためのコントローラであって：
・カメラを連結するための第１のポートと；
・カメラを連結するための第２のポートと；
・前記第１のポートに連結された第１の同期論理ブロックと；
・前記第２のポートに連結された第２の同期論理ブロックと；
・前記カメラのポートに連結された情報集合論理ブロックと；
・前記情報集合論理ブロックに連結された出力ポートと；
を具えることを特徴とするコントローラ。
【請求項２】
さらに、前記第１のポートの前記同期論理ブロック及び前記第２のポートの前記同期論理ブロックに連結された画像共有論理ブロックと；
前記画像共有論理ブロックに連結され前記情報集合論理ブロックに連結された画像対処理論理ブロックと；
を具えることを特徴とする請求項１に記載のシステム。
【請求項３】
さらに、前記同期論理ブロックに連結された同期コントローラを具えることを特徴とする請求項１に記載のコントローラ。
【請求項４】
監視のためのシステムであって：
・請求項１に記載のコントローラに係る第１のコントローラと；
・請求項１に記載のコントローラに係る第２のコントローラと；
・前記コントローラに連結された通信チャンネルと；
・前記コントローラを支持する筐体と；
を具えることを特徴とするシステム。
【請求項５】
前記第１のコントローラの前記第１のポートに連結された前記画像共有論理ブロックの出力が、前記第２のコントローラの前記第１のポートに連結された画像共有論理ブロックに連結されていることを特徴とする請求項４に記載のシステム。
【請求項６】
前記第１のコントローラの同期論理ブロックが、前記第２のコントローラの同期論理ブロックに連結されていることを特徴とする請求項４に記載のシステム。
【請求項７】
前記通信チャンネルが、ＰＣＩ−Ｅｘｐｒｅｓｓ及びＩＥＥＥ１３９４から成る群から選択される通信チャンネルであることを特徴とする請求項４に記載のシステム。
【請求項８】
さらに、前記第１のコントローラの同期サービス論理ブロックに連結された同期コントローラを具えていることを特徴とする請求項６に記載のシステム。
【請求項９】
さらに、前記通信チャンネルに同期チャンネルを具えており、
前記通信チャンネルの前記同期チャンネルが、コントローラの少なくとも２の同期論理ブロックに連結されていることを特徴とする請求項８に記載のシステム。
【請求項１０】
さらに、前記通信チャンネルに連結されたプロセッサを具えていることを特徴とする請求項４に記載のシステム。
【請求項１１】
監視のためのシステムのネットワークであって：
・請求項４に記載のシステムに係る第１のシステムと；
・請求項４に記載のシステムに係る第２のシステムと；
・前記第１のシステム及び前記第２のシステムに連結された通信チャンネルと；
を具えていることを特徴とするシステムのネットワーク。
【請求項１２】
さらに、前記第１のシステム及び前記第２のシステムに連結された低遅延のスイッチを具えていることを特徴とする請求項１１に記載のシステム。
【請求項１３】
さらに、同期コントローラを具えていることを特徴とする請求項１１に記載のシステム。
【請求項１４】
さらに、前記通信チャンネルに連結されたプロセッサを具えていることを特徴とする請求項１１に記載のシステム。
【請求項１５】
さらに、前記コントローラの前記カメラポートに連結された複数のカメラを具えていることを特徴とする請求項１１に記載のシステム。
【請求項１６】
前記複数のカメラのうちの２つが、少なくとも部分的に重なった視野を有していることを特徴とする請求項１５に記載のシステム。
【請求項１７】
・複数のカメラを同期するステップと；
・前記同期したカメラから画像を取り込むステップと；
・少なくとも２の同期した画像から情報を集めるステップと；
・前記集めた情報を処理するステップと；
を具えていることを特徴とする方法。
【請求項１８】
さらに、少なくとも２のカメラからプロセッサに前記同期した画像を配信するステップを具えていることを特徴とする請求項１７に記載の方法。
【請求項１９】
さらに、前記同期した画像の対を処理するステップを具えていることを特徴とする請求項１８に記載の方法。
【請求項２０】
前記複数のカメラを同期するステップが、等時性のサイクル開始時間のための連続的情報源を与えるステップを含んでいることを特徴とする請求項１７に記載の方法。
【請求項２１】
前記複数のカメラを同期するステップが、グローバルな時間を設定して通信チャンネルのバスタイム（ｂｕｓ＿ｔｉｍｅ）及びサイクルタイム（ｃｙｃｌｅ＿ｔｉｍｅ）のための一致した値を与えるステップを含んでいることを特徴とする請求項２０に記載の方法。
【請求項２２】
前記集めた同期画像を処理するステップが、光画像を熱画像と組み合わせて熱署名認証画像を生成するステップ、画像を組み合わせて３次元画像を生成するステップ、及び複数のカメラの視野にわたって対象体を追跡するステップ、から成る群から選択される１つのアプリケーションを有していることを特徴とする請求項１８に記載の方法。
【請求項２３】
監視のためのネットワークシステムであって：
・少なくとも２のサブシステムであって、各サブシステムが：
監視システムのための少なくとも２のコントローラであって、各コントローラがカメラに連結するための第１のポートと、カメラに連結するための第２のポートと、前記第１のポートに連結された第１の同期論理ブロックと、前記第２のポートに連結された第２の同期論理ブロックと、前記第１のポートの前記同期論理ブロック及び前記第２のポートの前記同期論理ブロックに連結された画像共有論理ブロックと、前記画像共有論理ブロックに連結された画像対処理論理ブロックと、前記画像対処理論理ブロックの出力に連結された情報集合論理ブロックと、前記情報集合論理ブロックに連結された出力ポートと、を有するコントローラと、
前記コントローラの前記出力ポートに連結された通信チャンネルと、
前記コントローラを支持する筐体と、
を有するサブシステムと；
・前記第１のシステム及び前記第２のシステムに連結された低遅延のスイッチと；
・前記通信チャンネルに連結されたプロセッサと；
・コントローラの少なくとも２の同期論理ブロックに連結された前記通信チャンネルの同期チャンネルに連結された同期コントローラと；
を具えており、
前記同期コントローラが、前記同期チャンネルに等時性サイクルの開始時間のための連続的なソースを出力することを特徴とするネットワークシステム。
【請求項２４】
さらに、前記コントローラの前記カメラポートに連結された複数のカメラを具えていることを特徴とする請求項２３に記載のシステム。
【請求項２５】
前記複数のカメラのうちの２つが、少なくとも部分的に重なる視野を有していることを特徴とする請求項２４に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本出願は、参照することにより全体として盛り込まれている２００７年２月２１日に出願された米国仮出願第６０／８９１，００６号の利益を主張する。
【０００２】
本発明は、概略的に監視の分野に関し、特に、広域監視のための拡張可能なシステム及び方法に関する。
【背景技術】
【０００３】
同期カメラは、２又はそれ以上のセンサデータストリームの対応する有意瞬間の間に一定の関係を取得することを有している。遠隔のカメラを同期する能力は、１又はそれ以上の以下の態様：すなわち（１）様々なセンサからの同じ視野の中の標的対象体の検出データを適切に収集、融合、解析及び解釈する、（２）様々なセンサの近くの視野にわたる標的対象体の検出データを適切に収集、整合、解析、及び解釈する、（３）近くのデータ又は他のデータの解析及び解釈に基づいて検出データの集合体を迅速に調整又は修正する、（４）その場所の「大きな画像」の視点に基づいて検出データを適切に解釈するといった態様の監視システムを実施する場合に重要である。
【０００４】
ローカルエリアネットワークで使用される標準のネットワークプロトコルであるイーサネット（登録商標）は、遠隔のカメラからデジタル画像データを受信するための低コストの方法を提供する。しかしながら、イーサネット（登録商標）接続を通して遠隔のカメラを同期する能力は、可変且つ予測できないネットワーク負荷に依存する遅延時間に基づいて非常に困難である。イーサネット（登録商標）とは異なり、高性能シリアルバスのためのＩＥＥＥ１３９４基準は、同じバスに属するデジタルカメラの厳格な同期を可能とする。しかしながら、ＩＥＥＥ１３９４技術は、同じバスに属するカメラがそれぞれバス全体の帯域幅を共有しなければならず、２又は３以上のカメラを含むシステムに技術を拡張できないという欠点を有している。
【０００５】
アナログカメラは、共通の時間ソースにカメラを同期させ得る「ジェンロック装置」の概念を有している。このような方法の欠点は、それが全てのカメラの間を這わせる余計なケーブルを要することである。これは、設置及びケーブル敷設コストのために、広く流通しているカメラを採用するシステムでは非実用的である。流通している監視システムは、一般に、ＰＣのネットワークを用いて情報を集める。しかしながら、ネットワーク化した監視情報は、ネットワーク経路及び遅延時間により不可避且つ不確実な遅延をもたらす。これは、対象追跡といった低い遅延時間を要する状況で重要な欠点である。さらに、ネットワークを用いて処理した結果の集合体もまた遅延を引き起こす。
【０００６】
このため、監視分野において、多数の遠隔のカメラ間で厳格な同期を実現し、複数の情報収集レベルで非常に拡張可能な高速且つ低遅延時間処理を実現する、広域監視のための拡張可能な方法及びシステムを形成する必要性がある。
【図面の簡単な説明】
【０００７】
【図１】図１は、本発明に係る好適な実施例のコントローラの概略図である。
【図２】図２は、本発明に係る好適な実施例の同期コントローラを含むバリエーションのコントローラの概略図である。
【図３】図３は、本発明に係る好適な実施例の連結型コントローラの概略図である。
【図４】図４は、本発明に係る好適な実施例のシステムの概略図である。
【図５】図５は、同期コントローラを含む本発明に係る好適な実施例のシステムの概略図である。
【図６】図６は、プロセッサを含む本発明に係る好適な実施例のシステムの概略図である。
【図７】図７は、低遅延スイッチを含む本発明に係る好適な実施例のシステムのネットワークの概略図である。
【図８】図８は、グローバルな同期コントローラを含む、本発明に係る好適な実施例のシステムのネットワークの概略図である。
【図９】図９は、システム間で分岐したフィードバス結合を含む、本発明に係る好適な実施例のシステムのネットワークの概略図である。
【図１０】図１０は、センサ情報収集ネットワークの遅延時間の概略図である。
【図１１】図１１は、重なり合った視野を具えたセンサの配置の概略図である。
【図１２】図１２は、複数のカメラにわたる対象追跡の適用例を示す。
【図１３】図１３は、可視画像を具えた熱認証の適用例を示す。
【図１４】図１４は、３次元顔照合の適用例を示す。
【図１５】図１５は、本発明に係る好適な方法のフローチャートを示す。
【発明を実施するための形態】
【０００８】
本発明の好適な実施例に係る以下の説明は、これらの好適な実施例に本発明を限定することを意図するものではなく、当業者は本発明を作成及び使用し得るものである。
【０００９】
本発明は、好適には、等時性の通信リンクを通して１又はそれ以上の集合ノードに供給する厳格に同期した多くの取得ノードを有している。好適な実施例では、取得ノード及び集合ノードの双方が、好適には処理知能を含んでおり計算負荷を最適に送信する。このようなモデルは、取得ノード及び集合ノードの層の双方で高度に拡張可能である。特に、低遅延時間、厳格な同期、及びこのようなモデルによって提供される送信される計算結果により、多くの視界にわたって移動する対象体の配信追跡、より良好な情報を送信する生成物への可視光及び赤外光といった異なる画像様式の融合、高いダイナミックレンジの画像、順応行動、及び移動する対象体の３次元画像処理、マルチルックの特徴一致を含む、多くの重要な広域監視適用が可能となる。
【００１０】
好適な実施例では、本発明は、好適には、多くのリモートの画像又はセンサから、より好適にはカメラから情報を収集するための方法及びシステムを有しており、リアルタイムで情報を集めて処理してこのような環境で事象を推測する。拡張可能なコントローラを図１乃至図３に示し、サブシステムに基づいて拡張可能な筐体を図４乃至図６に示し、拡張可能な低遅延時間のマルチ筐体システムを図７乃至図９に示す。本発明の配列及び適用例を図１０乃至図１４に示す。監視画像を取り込む方法を図１５に示す。
【００１１】
図１乃至３に示すように、監視システムのためのコントローラ１００が、カメラ１０１に連結するためのポート１０３、ポート１０３に結合された同期論理ブロック１０５、カメラポート１０３に結合された情報集合論理ブロック１１１、及び情報集合論理ブロック１１１に結合された出力ポート１１３を有している。好適な実施例は、さらに、少なくとも２のポート１０３の同期論理ブロック１０５に結合された画像共有論理ブロック１０７、及び画像共有論理ブロック１０７に結合された画像対処理論理ブロック１０９を有している。
【００１２】
ポート１０３は、カメラ１０１にコントローラ１００を連結するよう機能する。カメラポート１０３は、好適には、ＣＡＴ−５ポートに関するＩＥＥＥ１３９４基準であるが、代替的に標準的なＦｉｒｅｗｉｒｅ（ＩＥＥＥ１３９４ｂ）ポート、シリアルＡＴＡポート、ＵＳＢポート、同軸コネクタに関するＩＥＥＥ１３９４ｂ、又はコントローラ１００にカメラ１０１を連結するための他の適切なポートでよい。出力ポート１１３は、好適には、ＰＣＩ  Ｅｘｐｒｅｓｓポートであるが、代替的にＩＥＥＥ１３９４ポート又は他の適切なポートでよい。
【００１３】
情報集合論理ブロック１１１は、好適には、全てのカメラ１０１からデータ解析を集めるよう機能し、情報バス又は同期した情報のさらなる処理のためにプロセッサ２０９のメインメモリに統合した結果を送信する。情報集合論理ブロック１１１は、好適には、フィールドプログラマブルゲートアレイで実施されるが、代替的にＡＳＩＣ又は他の適切なデバイスでもよい。
【００１４】
同期論理ブロック１０５は、コントローラ１００に結合されたカメラ１０１を同期するよう機能する。同期論理ブロック１０５は、カメラ１０１のＣＹＣＬＥ＿ＴＩＭＥレジスタの一貫性を保持して時間とともに発生するドリフトを防止する。ＣＹＣＬＥ＿ＴＩＭＥ値の周期的な更新によって、これを実行してもよく、この場合、同期論理ブロック１０５は好適には同期コントローラ１０６から同期信号を受信する。同期論理ブロック１０５は、好適には、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）で実行されるが、代替的に、特定用途向け集積回路（ＡＳＩＣ）、マイクロプロセッサのソフトウェア、又は他の適切なデバイスで実行してもよい。
【００１５】
（タイミングモナークとしても既知の）同期コントローラ１０６は、同期信号を発生するよう機能する。同期コントローラ１０６は、好適には、（同期信号としても知られる）グローバルの時間設定信号を発生して、画像を取り込む際にカメラ１０１のＩＥＥＥ１３９４ＢＵＳ＿ＴＩＭＥ及びＣＹＣＬＥ＿ＴＩＭＥレジスタが一貫した値になるよう保証し、画像取得及び／又はそれに続く複数のカメラ１０１間での伝達を同期する。同期信号は、好適には、結合した全てのデバイスにわたってＢＵＳ＿ＴＩＭＥ及びＣＹＣＬＥ＿ＴＩＭＥの共通の且つ一貫した値を確立し、タイミングの不確実性がＣＹＣＬＥ＿ＴＩＭＥの間隔の半分よりも小さくなる。同期コントローラ１０６は、好適には、タイミング周期を作る同期信号が開始する際に等時性の周波数信号を発生させ、同期コントローラ１０６に結合してもよい付加的なコントローラ１００又はシステム２００を周期的に再同期するが、より好適には周波数信号は８ｋＨｚの信号である（このケースでは、ＣＹＣＬＥ＿ＴＩＭＥは１２５マイクロ秒である）。カメラ１０１が相互接続されていない場合（相互接続されたカメラを図１−３に示す）グローバルなタイミングの適切な一致のためにマルチキャストを要する。共通の再同期装置に加えて、グローバル時間設定サービスが提供されて、各チャンネルの個々のＢＵＳ＿ＴＩＭＥ及びＣＹＣＬＥ＿ＴＩＭＥレジスタに一貫した値を保証する。
【００１６】
本発明の好適な実施例では、図１乃至３に示すように、コントローラ１００が画像共有論理ブロック１０７及び画像対処理論理ブロック１０９をも有している。これらの付加的な論理ブロックは、好適には、イメージ毎の（ｐｅｒ−ｉｍａｇｅ）ストリーム及びイメージ・トゥ・イメージ（ｉｍａｇｅ−ｔｏ−ｉｍａｇｅ）ストリーム処理機能のための専用の再構成可能なハードウェアリソースをコントローラ１００に提供する。
【００１７】
画像共有論理ブロック１０７は、好適には、少なくとも２の同期カメラ１０１から入力として画像を取り込み、好適には、画像対処理論理ブロック１０９に画像を出力するが、代替的に、任意の数のカメラ１０１からの任意の数の画像を使用してもよく、任意の数の画像対処理論理ブロックに結合してもよい。任意のチャンネルからの画像ストリームを、画像ストリームの適切なルーティング及び処理リソースの割り当てによって、チャンネル毎に且つ付加的にチャンネル対の原則で処理してもよい。あるストリームを２以上のカメラ対プロセッサに向けてもよい。画像共有論理ブロック１０７は、好適には、ＦＰＧＡで実施されるが、代替的にＡＳＩＣ、マルチプレクサチップ、又は他の適切な実行形態で実施してもよい。
【００１８】
画像対処理論理ブロック１０９は、好適には画像共有論理ブロック１０７から送られた画像を使用して、画像対について画像処理を実行する。好適には、部分的又は完全に視野が重なる画像を取得し、その後で画像対処理ブロック１０９が好適には画像を組み合わせ、より好適には、画像を繋ぎ合わせ及び／又は融合させ、及び／又は重なった領域から超分解能画像を生成する。一バリエーションでは、熱画像をカメラ１０１から取得する場合、好適には光学像の上に熱画像を重ねることによって、画像対処理論理ブロック１０９が熱署名認証画像を生成する。別のバリエーションでは、画像対処理論理ブロック１０９が、１つのカメラの視野から別のカメラの視野に移動対象体を追跡し、情報集合論理ブロック１１１に単に局所的な追跡座標を伝えてもよい。さらに別のバリエーションでは、画像対処理論理ブロック１０９が、異なる視点からの重なった画像を組み合わせて３次元画像を生成してもよい。画像対処理論理ブロック１０９は、好適には、ＦＰＧＡで実施されるが、代替的にＡＳＩＣ又は他の適切な実施形態でもよい。
【００１９】
図４乃至６に示すように、監視システム２００は、少なくとも２のコントローラ１００、コントローラ１００に結合された通信チャンネル２１５、及びコントローラ１００を支持する筐体２０２を有している。
【００２０】
以下に言及する場合を除いて、コントローラ１００は、好適には上記の（及び図１乃至図３で図示する）コントローラ１００と同一である。コントローラ１００は、好適にはモジュール式デバイスとして、より好適にはコントローラカードとして、さらに好適にはＰＣＩｅｘｐｒｅｓｓカードとして製造されるが、代替的に、ＩＥＥＥ１３９４、ＵＳＢ、シリアルＡＴＡといった任意のタイプのコントローラカード又は他の適切なデバイスでもよい。一バリエーションでは、コントローラはコントローラ１００間でデータストリームを共有するための機構を提供し、高速ポイントツーポイントリンク１１５として実施される。コントローラ１００間の共有データは外部のＰＣＩｅ帯域幅を保持し、重なる視野の処理においてより大きな柔軟性が可能となる。同じ筐体２０２の中の複数のコントローラカード１００は、好適には、カード・ツー・カードチャンネル同期及び画像共有を提供するローカルリンク１１５を有している。図５に示すように、１つのコントローラカード１００を、全ての他のコントローラカード１００に等時性のタイマを供給する同期コントローラ１０６に、直列のローカルなカード−カードリンク１１５の方法で筐体２０２の中で結合してもよい。各コントローラカード１００は、好適には、少なくとも４つのカメラ１０１の結合をサポートする。
【００２１】
コントローラ１００に結合された通信チャンネル２１５は、好適には、コントローラ１００間で通信し得るよう機能する。通信チャンネル２１５は、好適には、ＰＣＩ−Ｅｘｐｒｅｓｓバスであるが、ＩＥＥＥ１３９４（Ｆｉｒｅｗｉｒｅ）、ＰＣＩ、ＩＳＡ、又は他の適切な低遅延通信チャンネルでよい。コントローラ１００及び通信チャンネル２１５間のインタフェースは、好適にはソケット接続であり、より好適にはＰＣＩ−ｅｘｐｒｅｓｓバスに結合するソケットであるが、ワイヤレス又はデイジーチェーン接続の通信チャンネルを含む適切な結合を使用してもよい。通信チャンネル２１５は、好適には、最大６４のコントローラ１００をサポートする。一バリエーションでは、通信チャンネル２１５が、同期及び／又は画像データチャンネルを有している。別のバリエーションでは、通信チャンネル２１５が、コントローラ１００をネットワークのさらなるシステムに結合してもよい。
【００２２】
筐体２０２は、コントローラ１００をサポートするよう機能し、好適な実施例では、通信チャンネル２１５をサポートする。また、筐体２０２は、好適にはコントローラ１００に電力を供給するよう機能する。筐体２０２をアルミニウム又は鋼で製造してよく、好適にはＰＣＩ  Ｅｘｐｒｅｓｓバスに結合されるコントローラカードの形式で好適には６４のコントローラ１００をサポートする。コントローラ１００は、好適には、締結具によって又は他の適切な器具又は方法によって筐体２０２に固定される。
【００２３】
好適な実施例の一バリエーションでは、図５に示すように、（上記のような）同期コントローラ１０６をシステム２００の少なくとも１のコントローラ１００の同期チャンネルに接続してもよい。同期コントローラ１０６は、好適には、グローバルタイミングサービスを加えることにより、（ＩＥＥＥ１３９４といった）等時性長距離相互接続に構築されるプロトコルを使用し、一つの筐体２０２の中で同期される分かれたバスツリーを保持する。従来のＩＥＥＥ１３９４とは異なり、２つの付加的な同期サービスは、好適には、全てのカメラの時間領域のために一定のローカルな時間保持を保証するよう加えられる。これは、好適には、１つの「時間支配」／同期チャンネルを指定することによって実現され、８ｋＨｚの等時性のサイクル開始のため連続的なソースを提供する。共通の８ｋＨｚの信号は、好適には、１つの筐体２０２に結合されたそれぞれの独立したチャンネルを周期的に再同期するよう機能する。
【００２４】
好適な実施例の別のバリエーションでは、図６に示すように、プロセッサ２０９が通信チャンネル２１５に結合されており、好適には、各コントローラ１００から受信したデータの処理機能を実行する。このようなバリエーションでは、コントローラ１００は、好適にはマイクロプロセッサ２０９によるさらなる処理のために画像又は分析結果（又は双方）をメインメモリに向けて送る。代替的に、結果又は画像をＰＣＩｅバスの他の場所に有る特定の集合プロセッサに送ってもよい。このような方法は、１つの筐体２０２の中に広い帯域幅、低遅延時間の費用効果がある解析及び画像チャンネルの集合化及び解析結果を提供する。
【００２５】
図７乃至１０に示すように、大型システム３００は、好適には、複数の（可能ならばリモートの）個々のシステム２００を結合することによって構成される。図７乃至１０に示すように、監視用の大型システム３００は、少なくとも２のシステム２００及びシステム２００を結合する通信チャンネル２１５を有している。システム２００に結合するために低遅延スイッチ３１９を使用した星型トポロジーを用いた低遅延型複数筐体システム３００を図７に示しており、プロセッサ２０９及び／又は同期コントローラ１０６を用いたシリアルネットワークトポロジーを図８に示す。共有のカメラバス３１７を用いた結合システム２００のバリエーションを図９に示す。集合のタイミング図を図１０に示す。
【００２６】
システム２００は、好適には、上記の（及び図４乃至６で示す）システム２００と同一である。通信チャンネル２１５は、好適にはＰＣＩ  Ｅｘｐｒｅｓｓバスであるが、代替的にはＩＥＥＥ１３９４、又は他の適切な通信チャンネルでよい。
【００２７】
一バリエーションでは、低遅延のスイッチ３１９を使用して、複数のシステム２００の橋渡しをするが、より好適には、ファンイン（ｆａｎ−ｉｎ）ツリーシステム２００に基づいてＰＣＩｅｘｐｒｅｓｓを橋渡しする。低遅延のスイッチ３１９は、好適には、ＰＣＩｅｘｐｒｅｓｓバススイッチ又はインフィニバンドによって採用されるような低遅延技術を使用する。これらの相互接続技術は、低遅延情報の集合のために必要な性能を提供する。システム２００が交差接続されていない場合（交差接続したバリアントを図８乃至９に示す）、グローバルのタイミングの適切な協調のためにマルチキャストを理想的に使用する。複数筐体の同期に関する基本的な要請は、好適にはタイミングの不確実性がＣＹＣＬＥ＿ＴＩＭＥ間隔（８ｋＨｚの同期信号を用いた好適な実施例では、１２５マイクロ秒）の半分である、ＩＥＥＥ１３９４ＢＵＳ＿ＴＩＭＥ及びＣＹＣＬＥ＿ＴＩＭＥに関する共通した且つ一貫性のある値をシステム２００全体にわたって確立し得ることである。例えば、ほんの２．２５マイクロ秒のスイッチ遅延及びブロードキャストトランザクション性能を具えたインフィニバンドは、このような要請に容易に適合し得る。ブロードキャストではないＰＣＩｅｘｐｒｅｓｓは、クリティカルな時間間隔の中でシーケンシャルシステムの同期動作を実行しなければならない。
【００２８】
一バリエーションでは、図８に示すように、大型システム３００がプロセッサ２０９を有している。プロセッサ２０９は、好適には、ネットワークのシステム２００から受信したデータを処理するよう機能する。別のバリエーションでは、図８に示すように、システム３００のネットワークが同期コントローラ１０６を有している。また、プロセッサ２０９が同期コントローラ１０６として機能してもよい。
【００２９】
一バリエーションでは、図９に示すように、システム２００に結合する通信チャンネルは、少なくとも１の分岐したカメラフィード３１７であり、（地理的に離れている場合）複数の筐体システム２００間に時間同期及び画像共有の双方を与える。このような同期及び／又はデータチャンネルは、好適には３ノードの等時性バスを形成する。第３のノードをリモートの筐体２０２に結合してもよく、ＩＥＥＥ１３９４ＣＹＣＬＥ＿ＳＴＡＲＴコマンドといった適切なブロードキャストコマンドを用いてリモートシステム２００にＣＹＣＬＥ＿ＴＩＭＥ及びＢＵＳ＿ＴＩＭＥを伝送してもよい。リモートシステム２００では、チャンネル受信ＢＵＳ＿ＴＩＭＥ及びＣＹＣＬＥ＿ＴＩＭＥ情報は、リモートシステム２００のための指定された第２のタイミングモナーク（又は同期コントローラリピータ）である。このようなバリアントでは、同期チャンネルは、好適には筐体２０２の中に含まれているシステム（及び結合してもよい他の付加的なシステム２００）の他の全てのチャンネルを同期する。
【００３０】
図１０に示すように、多くのカメラを含むシステムの一般的な状態は、ツリーの上位レベルに結果を送る前にある程度の解析を実行する（丸印で表される）処理ノードを有している。このようなアーキテクチャの従来の実施形態は、ＰＣを各処理ノードに割り当て、イーサネット（登録商標）ＴＣＰ／ＩＰネットワークを用いてそれらをリンクさせることである。このような方法は、多数のカメラを拡張及びサポート可能であるが、効率が低くなり遅延時間が長くなる。典型的なネットワークパケットの遅延時間は、介在するルータが無いローカルネットワークの場合１ミリ秒のオーダーである。さらに、このような通信のためのサポートは、それぞれの処理ノードで相当な量のＣＰＵオーバーヘッドを消費する。図１０に示すネットワークは、典型的な実施状態の下で８ミリ秒の往復の遅延時間を有している。一方、好適な実施例の本方法及びシステムは、ＰＣＩ  Ｅｘｐｒｅｓｓ（ＰＣＩｅ）といった低コストの汎用のバスに基づいて処理及び通信アーキテクチャを用いる。ＰＣＩｅは、最悪の場合でも１０マイクロ秒よりも短いノード−ノードの遅延時間を実現し、トータルの通信の遅延を少なくとも１００分の１に短くする。さらに、ＰＣＩｅ通信プロトコルがハードウェアで主に扱われるため、通信オーバーヘッドもまたかなり減少する。
【００３１】
カメラは、好適にはデジタルビデオカメラであるが、代替的に、静止画のカメラ、サーマルカメラ、暗視カメラ、（カメラ又はマイクロフォンといった）音声及び映像センサ、（熱センサ、圧力センサ、ＲＦＩＤ検出器、又は動作検出器といった）追跡センサ、及び（レインセンサ、一酸化炭素検出センサ、ダストセンサ、水又は水位センサ、湿度センサ、温度センサ、光センサ、メタンセンサ、煙センサ、又は風センサといった）環境センサ、又は他の適切なカメラ又はセンサでもよい。
【００３２】
図１１乃至１４に示すように、好適な実施例のセンサ配列を、本方法及びシステムの使用目的に基づいて変えることができる。図１１に示すように、カメラは、好適には視野が重なった状態で位置しているが、立体画像、光及び赤外線画像を取り込むよう配置してもよく、又は撮像アプリケーションに有用な他の適切な位置でもよい。第１のバリエーションでは、図１２に示すように、本方法及びシステムを使用して複数のカメラにわたって対象体を追跡してもよい。このようなバリエーションでは、カメラからの画像が、好適には組み合わせられて、全景を与える。第２のバリエーションでは、図１３に示すように、本方法及びシステムを使用して、対象体を素早く識別且つ追跡してもよい。本バリエーションでは、カメラからの画像を熱センサからの出力と融合する。本バリエーションでは、画像及び出力が、好適には、同じような概略的な方向に集められ又は向けられる。第３のバリエーションでは、図１４に示すように、本方法及びシステムを使用して３次元の顔モデルを生成する。本バリエーションでは、カメラ対が、好適には２つの異なる角度から同じ概略的な領域に集められ又は向けられる。第４のバリエーション（図示せず）では、本方法及びシステムを使用して３次元人間モデルを生成する。本バリエーションでは、第３のバリエーションと同じように、カメラ対が、好適には２つの異なる角度から同じ概略的な領域に集められ又は向けられる。しかしながら、第３のバリエーションとは異なり、第４のバリエーションのカメラは、人間に向けて概略的に下方に向けられる。第５のバリエーション（図示せず）では、本方法及びシステムを使用して、同期した同じシーンの近接して並んだビューを個々のカメラの異なる積分時間で取得することによって、高いダイナミックレンジの画像を取得してもよい。
【００３３】
図１５に示すように、好適な実施例１５００に係る方法が、複数のカメラを同期するステップＳ１５１０と、同期したカメラから画像を取り込むステップＳ１５２０と、少なくとも２の同期した画像から情報を集めるステップＳ１５３０と、集めた情報を処理するステップＳ１５４０と、を有している。図１５に示すように、好適には実施例に係る方法が、同期した画像を少なくとも２のカメラからプロセッサに送信するステップＳ１５２４と、同期した画像を処理するステップＳ１５２８とを有している。
【００３４】
ステップＳ１５１０は、複数のカメラを同期するものであるが、２又はそれ以上のカメラに同期信号を送信するよう機能し、同期した画像キャプチャを得る。同期信号は上記されている。
【００３５】
ステップＳ１５２０は、同期したカメラから画像を取り込むものであるが、時間が連動する方法でカメラから画像を取り込むよう機能し、（全ての画像が同時に取り込まれるように）画像を同期し、又は（画像が交互に取り込まれるように）切分し、又は他の時間に連動した画像の取り込みが行われる。
【００３６】
ステップＳ１５３０は、少なくとも２の処理される同期した画像を集めるものであるが、解析及び／又はカメラからの処理した画像データ及び／又は画像処理ステップを確立しプロセッサにデータを送信するよう機能する。コントローラのスケール、システムのスケール又は（大規模ネットワーク又はインターネットといった）広域ネットワークで集合化を実行してもよい。
【００３７】
ステップＳ１５４０は、集めた情報を処理するものであるが、Ｓ１５２８以外の情報を用いて、好適には安全又は監視機能のための画像処理、より好適には対象追跡、画像の組み合わせ、超解像、画像の融合、熱による署名認証、３次元画像処理、顔認識、又は他の適切な画像処理アプリケーションといった処理を実行するよう機能する。
【００３８】
ステップＳ１５２４は、少なくとも２のカメラからプロセッサに同期した画像を送信するものであるが、取り込んだ画像をカメラからプロセッサに送信するよう機能する。
【００３９】
ステップＳ１５２８は、同期した画像対を処理するものであるが、ステップＳ１５３０で集める前にカメラから取得した少なくとも２の画像を処理するよう機能する。このステップを実行して、コントローラといったデバイスの中に一部の計算負荷を送信してもよい。このようなステップにおける同期した画像の処理は、組み合わせ、融合、超解像、３次元画像処理、対象追跡、又は同期した画像について実行してもよい他の適切な画像処理機能を有している。処理の結果は、新たな画像及び／又は画像に関する情報である。
【００４０】
本明細書の中で、以下の用語をここで定義する：「リモート」は、好適には５ｍ以上、より好適には少なくとも７０ｍ以上を意味する；「複数のカメラ」は、好適には３つのカメラ、より好適には１６乃至２５６のカメラを意味する；「同期した」は、好適には１マイクロ秒よりも短い時間を、より好適には約４０ナノ秒を意味する；「低遅延時間」は、好適には１ミリ秒を、より好適には０．０５ミリ秒よりも短い時間を意味する。
【００４１】
当業者は、上記の詳細な説明、図面及び特許請求の範囲から、以下の特許請求の範囲で規定されている本発明の範囲から逸脱せずに、本発明に係る好適な実施例に修正及び変更を成し得ることを認識するであろう。
【図１】
2010519860.tif 000003
【図２】
2010519860.tif 000004
【図３】
2010519860.tif 000005
【図４】
2010519860.tif 000006
【図５】
2010519860.tif 000007
【図６】
2010519860.tif 000008
【図７】
2010519860.tif 000009
【図８】
2010519860.tif 000010
【図９】
2010519860.tif 000011
【図１０】
2010519860.tif 000012
【図１１】
2010519860.tif 000013
【図１２】
2010519860.tif 000014
【図１３】
2010519860.tif 000015
【図１４】
2010519860.tif 000016
【図１５】
2010519860.tif 000017
【国際調査報告】
2010519860.tif 000018