(57)【要約】【課題】コード化アパーチャー装置の検出器アレイから受け取られるデータを使用して１つ以上のターゲットを検出し及び／又は追跡する方法を提供する。【解決手段】本発明は、ターゲットの識別及び追跡に有用なコード化アパーチャー像形成装置のための処理方法に係る。この方法は、統計学的シーンモデルを使用し、好ましくは、多数のデータフレームを使用して、シーン内にあると仮定される１つ以上のターゲットの位置及び／又は速度の見込みを決定する。この方法は、好ましくは、反復性ベイズフィルタ又はベイズバッチフィルタを適用して、あり得そうな状態パラメータの確率分布を決定する。本発明の方法は、映像を形成するための処理を必要とせずに、取得したデータに直接作用する。【選択図】図１
2009545265.tif 000002
【特許請求の範囲】
【請求項１】
シーン内のターゲットを探索／検出する方法において、シーンからコード化アパーチャーアレイを経て放射を受け取るように構成された検出器アレイから取得したデータを取り上げるステップと、その取得したデータ及び統計学的シーンモデルを使用してシーン内にあると仮定されるターゲットの位置の見込みを決定するステップとを備えた方法。
【請求項２】
前記シーン内にターゲットがある見込みは、映像を形成するように処理されていない前記取得データを使用して決定される、請求項１に記載の方法。
【請求項３】
前記シーンモデルは、前記シーン内の１つ以上のモデリングされたエンティティによる前記検出器アレイにおける信号の生成的統計学的モデルである、請求項１又は２に記載の方法。
【請求項４】
前記シーンモデルは、考えられる状態のセットと、特定の状態に基づいて特定の信号が条件付きで得られる確率を決定する関数とを含む、請求項１から３のいずれかに記載の方法。
【請求項５】
前記シーンにおけるターゲットの位置の見込みを決定する前記ステップは、前記状態のセットにわたり確率分布を決定する段階を含む、請求項４に記載の方法。
【請求項６】
前記方法は、前記シーンにおけるターゲットの動きの推定も決定する、請求項５に記載の方法。
【請求項７】
シーンにおけるターゲットの見込みを決定する前記ステップは、多数のフレームからのデータを合成する、請求項１から６のいずれかに記載の方法。
【請求項８】
反復性ベイズフィルタ又はベイズバッチフィルタが多数のデータフレームに適用される、請求項６に記載の方法。
【請求項９】
前記シーンモデルは、時間に伴う状態の進化を考慮する動的モデルを含む、請求項８に記載の方法。
【請求項１０】
前記方法は、検出前追跡プロセスを含む、請求項７から９のいずれかに記載の方法。
【請求項１１】
前記シーンモデルの一部分は、シーンの背景の推定である、請求項１から１０のいずれかに記載の方法。
【請求項１２】
シーンの動きの作用を推定するステップを更に備えた、請求項１から１１のいずれかに記載の方法。
【請求項１３】
シーンの動きの作用を推定する前記ステップは、前記取得データから動きの作用を直接推定することを含む、請求項１から１２のいずれかに記載の方法。
【請求項１４】
シーンの動きの作用を推定する前記ステップは、連続フレームにおける各検出器要素の信号の変化率を、考えられる動きを表すパラメータ化幾何学的変換のファミリーにおける各パラメータの変化率と比較する段階を含む、請求項１３に記載の方法。
【請求項１５】
シーンの属性を推論する方法において、シーンからコード化アパーチャーアレイを経て放射を受け取るように構成された検出器アレイから取得したデータを取り上げるステップと、前記データに対してベイズの推論を直接実行して前記属性を推論するステップとを備えた方法。
【請求項１６】
前記ベイズの推論は、映像を形成するように処理されていないデータに適用される、請求項１５に記載の方法。
【請求項１７】
推論されるべき前記属性は、シーンにおける１つ以上のターゲット、シーンの動き、シーンの背景、シーンにおける他のエンティティのパラメータ、或いはシーンの態様を表すパラメータの１つ以上を含む、請求項１５又は１６に記載の方法。
【請求項１８】
外部プロセスで検出されたシーン内のターゲットを追跡する方法において、シーンからコード化アパーチャーアレイを経て放射を受け取るように構成された検出器アレイから取得したデータの多数のフレームを取り上げるステップと、その取得したデータに反復性ベイズフィルタを適用するステップとを備えた方法。
【請求項１９】
映像を形成するように処理されていない前記取得データに、反復性ベイズフィルタ又はベイズバッチフィルタが適用される、請求項１８に記載の追跡方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、コード化アパーチャー装置を使用して得た信号の処理に係り、より詳細には、コード化アパーチャー装置の検出器アレイから受け取られるデータを使用して１つ以上のターゲットを検出し及び／又は追跡する方法に係る。
【背景技術】
【０００２】
コード化アパーチャー像形成は、適当なレンズ材料が一般的に存在しないＸ線又はγ線像形成のような高エネルギー像形成に主として使用される既知の像形成技術であり、これについては、例えば、E. Fenimore及びT.M.Cannonの“Coded aperture imaging with uniformly redundant arrays”, Applied Optics, 第１７巻、第３号、第３３７−３４７ページ、１９７８年２月１日、を参照されたい。又、三次元像形成についても提案がなされており、これについては、例えば、“Tomographical imaging using uniformly redundant arrays”Cannon TM, Fenimore EE, Applied Optics, 第１８巻、第７号、第１０５２−１０５７ページ（１９７９年）を参照されたい。
【０００３】
コード化アパーチャー像形成は、ピンホールカメラと同じ原理を利用するが、単一の小さなアパーチャーをもつのではなく、アパーチャーのアレイを有するコード化アパーチャーマスクを使用する。アパーチャーのサイズが小さいことから角度解像度が高くなるが、アパーチャーの数を増加すると、検出器に到着する放射も増加し、ひいては、信号対雑音比が高くなる。各アパーチャーは、シーンの映像を検出器アレイへ通過させ、従って、検出器アレイにおけるパターンは、重畳する一連の映像からの干渉パターンであり、シーンとして認識することができない。記録されたデータから元のシーン映像を再構成するためには、処理が必要である。
【０００４】
この再構成処理は、使用するアパーチャーアレイ及びシステム構成の知識を必要とし、選択されたアパーチャーアレイがしばしばコード化されて、その後の良質の映像再構成を行えるようにする。処理は、設定位置における特定のアレイの数学的モデルを使用して行われる。
【０００５】
コード化アパーチャー像形成は、幾何学的像形成技術と考えることができ、それが通常使用される用途、例えば、天文学の場合は、回折を無視できる。
【０００６】
最近、本発明者は、再構成可能なコード化アパーチャーマスク手段を有する再構成可能なコード化アパーチャー像形成装置を使用することを提案した。本出願人の同時係属中のＵＫ特許出願ＧＢ０５１０４７０．８号を参照されたい。再構成可能なコード化アパーチャーマスク手段を使用すると、異なる時間に異なるコード化アパーチャーマスクを表示することができる。これは、例えば、可動部を必要とせずに、像形成システムの方向及びＦＯＶを変更することができる。更に、コード化アパーチャーマスク手段に表示されるコード化アパーチャーマスクを交換することで、像形成システムの解像度を変更することもできる。
【０００７】
コード化アパーチャーマスク手段に表示されるパターンは、コード化アパーチャーマスクであり、そのコード化アパーチャーマスクの少なくとも一部分がコード化アパーチャーアレイである。即ち、マスク手段に表示される全パターンがコード化アパーチャーアレイであるか、又はパターンの一部分だけがコード化アパーチャーアレイである。疑念を回避するために、ここに使用するアパーチャーという語は、マスク手段の物理的な穴を意味するのではなく、多くの放射が検出器に到着するのを許すパターンのエリアに過ぎない。
【０００８】
上述したように、再構成可能なマスク手段は、マスク手段の異なる位置に種々のコード化アパーチャーアレイを有する種々のコード化アパーチャーマスクを表示することができる。像形成システムの視野は、アレイ上のコード化アパーチャーマスクの位置を検出器に対して変化させることにより変更でき、そして解像度は、コード化アパーチャーアレイのサイズを変化させることにより変更できる。表示される特定のアレイ及びその位置の知識は、固定のコード化アパーチャーの場合と同様に、シーンの映像を再構成するのに使用される。
【０００９】
ＧＢ０５１０４７０．８号は、可動部をもたずに、異なる視野又は解像度を有するように素早く構成できる多様性のある軽量の像形成システムを教示している。これは、従来の光学系の必要性を排除し、適合する像形成能力を与え、無限の視野深度をもつことができ且つ固有のパワーフリー暗号化を与える。というのは、映像をデコードするのに、使用したコード化アパーチャーアレイの知識が要求されるからである。ここに述べる像形成装置は、可視、赤外線又は紫外線の波帯域での多数の像形成及び監視用途に特に適している。
【発明の概要】
【発明が解決しようとする課題】
【００１０】
しかしながら、高解像度の像形成は、小さなアパーチャーサイズと、検出器からマスクまでの長い光学路とを必要とし、これは、回折の作用を高める。回折は、マスクによって検出器アレイに形成されるパターンのボケを引き起こし、これは、特に従来の処理機構では、信号対雑音レベルを低下させ、映像の質に影響を及ぼすことになる。
【課題を解決するための手段】
【００１１】
本発明の目的は、コード化アパーチャー装置からの信号を処理して、シーン内の正確なターゲット位置及び／又は追跡を与える方法を提供することである。本明細書で使用するターゲットという語は、シーンにおいて検出又は追跡しようとする希望の物体を意味し、例えば、これは、セキュリティ監視システムでは人間であり、又は交通モニタシステムでは乗物である。捜索及び救助環境では、ターゲットは、人間、又はボート／他の乗物である。
【００１２】
従って、本発明によれば、シーン内のターゲットを探索／検出する方法であって、シーンからコード化アパーチャーアレイを経て放射を受け取るように構成された検出器アレイから取得したデータを取り上げるステップと、その取得したデータ及び統計学的シーンモデルを使用してシーン内に存在すると仮定される１つ以上のターゲットの位置の見込みを決定するステップとを備えた方法が提供される。
【００１３】
それ故、本発明は、取得したデータ、即ちコード化アパーチャーシステムの検出器アレイに受け取られたデータを直接使用して動作し、そして映像を形成するように処理されていない取得データを使用してターゲットの位置の見込みが決定される。上述したように、検出器アレイに受け取られる信号は、各々アレイの各アパーチャーからのものである一連の重畳する映像と考えることができる。それ故、全検出器信号は、像形成されているシーン及び使用するコード化アパーチャーアレイに依存するがシーンの映像ではない空間強度パターンを有する。
【００１４】
従来のコード化アパーチャー像形成では、例えば、適当なデコンボリューションを適用することにより、検出された強度パターンを処理して、映像を形成する。映像が形成されると、標準的な映像処理技術をその処理された映像データに適用して、映像の特徴、等を検出することができる。
【００１５】
しかしながら、本発明は、検出器アレイにより記録された信号を使用し、そして映像を形成するようにデータを処理せずに、存在すると仮定される１つ以上のターゲットの位置の見込みを決定する。本発明の方法は、シーンの統計学的モデルを使用して、シーン内のターゲットの位置及び／又は速度を含む、シーンを表すパラメータ（しばしば状態(state)とも称される）を推論する。簡単に述べると、この方法は、考えられるターゲット位置及び／又は速度をモデリングし、そして検出器アレイに受け取られる信号がシーンの特定部分に位置するターゲットによるものである見込みを決定する。
【００１６】
本発明は、検出器アレイに受け取られる情報を処理して映像を形成する場合に、一般的に、情報のロスが生じるという事実を利用する。情報のロスは、従来の処理で形成される映像の解像度（１つのピクセルで抱かれるシーンの角度）が、利用可能なメモリ及び計算リソースの量によって制限されるために生じる。又、従来の処理は、ノイズの打ち消し／平滑化を鮮明さに対してバランスさせる「規則化(regularization)」パラメータの選択を必要とし、これらパラメータの値に関して選択を行うことは、測定信号で得られる情報と比較したときに、得られる映像における情報のロスを意味する。形成された映像におけるターゲット位置付けの精度がピクセル間隔より非常に良いことはあり得ない。検出器アレイにより記録された信号で直接作用することで、ターゲット検出及び追跡、並びに潜在的に多数の他の感知機能においてこの情報ロスが回避される。
【００１７】
本発明の方法は、検出器アレイにより直接取得されたデータを取り上げ、それを統計学的シーンモデルのもとで解釈する。シーンモデルは、シーンを形成するために仮定される（又は知られている）物体（及び表面等）による検出器アレイにおける信号の生成的統計学的モデルであり、即ちシーン内のモデリングされたエンティティからの検出器アレイにおける信号のモデルである。シーンモデルは、２つの部分より成る。第１の部分は、考えられる状態のセットである。状態は、シーンにおける物体、それらの動き、又は他の属性、或いはシーンのプロパティを全体的に表わすパラメータのセット、例えば、その動きを表す幾何学的変換のパラメータである。シーンモデルの第２部分は、任意の検出信号及び任意の状態が与えられると、特定の状態に対して条件付きで特定の信号が得られる確率を与える関数である。
【００１８】
モデルは、シーン内のエンティティからコード化アパーチャーアレイへの放射の伝播、及びコード化アパーチャーアレイを通して検出器アレイへ至る伝播をモデリングする要素を含むことができる。又、検出器のモデルを含むこともできる。それ故、モデルは、大気減衰、回折作用、スペクトル作用、検出器性能、等を考慮する。
【００１９】
例えば、航空機（ターゲット）に対して空を見るように固定視野が配置された熱赤外線検出器アレイを有するコード化アパーチャーシステムからデータが取得されることを想像する。空は、一般的に、均一の冷たい背景である一方、ターゲットは、熱源であり、即ち赤外線検出器アレイへの高強度ソースである。状態は、シーンにおけるターゲットの考えられる位置、及び任意であるが、サイズ、形状、向き等の考えられるターゲット属性も表し、これは、既知のターゲット及びターゲットの振舞いに関する仮定に基づいて事前の確率を有してもよい。それ故、統計学的シーンモデルの第１部分は、考えられる状態のセットとなる。既知のサイズ、形状、向き及び強度のターゲットが、シーンの特定部分にあると仮定する場合に、データが取得されたときに使用する特定のコード化アパーチャーアレイの知識が与えられると、そのターゲットから予想される信号を推定することができる。それ故、シーンモデルの第２部分は、各々の考えられる状態から特定の信号が得られた確率を計算する。統計学的モデルは、検出器における熱ノイズや、シーン内の散乱物、回折及び反射を含むモデリングされない信号作用を含む種々の形態の不確実性を許さねばならない。（これらの作用は、モデリングされてもよく、その場合、ノイズとして「釈明」される必要はない。）
【００２０】
本発明は、複数の状態においてシーンモデルのもとで信号の確率を評価することにより機能する。ベイズ(Bayes)のルールを適用すると、信号付与状態(signal given state)の確率を、状態付与信号(state given signal)の確立と解釈することができる（ある未知の正規化定数まで）。それ故、状態の選択されたセットにわたり確率分布を得ることができる。最大確率をもつ状態は、最大見込み（最もあり得そうな）のものであるが、全体としての分布は、上位レベルのプロセッサへの入力として又は追跡プロセスの情報更新段に対して有用である。
【００２１】
本発明は、データの単一フレームにベイズの推論を適用することができ、状態のセットは、シーンの１つ以上の考えられるターゲット又は考えられる部分を含む。それ故、この方法により決定される最もあり得そうな状態は、シーンに存在すると仮定される１つ以上のターゲットの最もあり得そうな位置（１つ又は複数）を指示する。しかしながら、本発明の方法は、特にシーンに対して移動しているターゲットと多数のデータフレームとを結合して、精度を改善することができる。従って、この方法は、反復性ベイズフィルタリング又はベイズのバッチ処理を一連のフレームに適用することができる。当業者であれば、反復性ベイズフィルタが追跡用途に以前から使用されていることが明らかであろう。例えば、反復性ベイズフィルタは、ターゲットを追跡するために、従来の像形成システムからのデータに適用されている（従って、映像データに適用されている）。
【００２２】
ベイズの推論の一連の形態である反復性ベイズフィルタを使用する基本的な考え方は、考えられる進化状態（例えば、速度を含むターゲットの属性）をモデリングすることであると共に、より多くの情報が取得され、即ちより多くのデータフレームが捕獲されるときに、状態にわたり不確実性の分布を更新し、状態における不確実性を減少する（例えば、ターゲット位置の精度を高める）ことである。ベイズのフィルタリングの場合には、シーンモデルの付加的な（第３の）部分が要求される。これは、時間に伴う状態の進化、例えば、移動するターゲットの位置がその速度の関数として変化する仕方を考慮する動的なモデルである。この動的なモデルは、確率論的であり、即ちある状態から次の状態への移行は、見込みプロセスである。それ故、ここに述べる方法は、最もあり得そうな状態パラメータ、例えば、シーンに存在すると仮定されるターゲットの位置及び動きを決定する。ターゲットが実際に存在するかどうか決定するには、付加的なステップが要求される。例えば、信号強度の尺度を使用して、ターゲットが真に存在するかどうか決定することができ、実際上、最もあり得そうな状態における信頼性がスレッシュホールドである。しかしながら、シーンの背景に対する動きの指示が、ターゲットが存在するという良好な指示である、等の他のルールを適用することができる。複数のターゲットに対するパラメータを含ませると共に、各パラメータグループを異なるターゲットに収斂させるよう促す何らかの競争又はデータ関連付けメカニズムが確実に存在するように状態を拡張することにより複数のターゲット追跡が達成される。これらのデータ関連付け及び競争メカニズムは、従来のターゲット追跡文献で充分に探究されている。
【００２３】
それ故、本発明は、映像の形成を必要とせずにコード化アパーチャーシステムを使用して得られたデータを処理する直接的な方法を提供する。この方法は、直接的信号に対して作用するので、映像処理データに対して動作する方法に比して、追跡及びターゲット位置付けの精度を改善することができる。
【００２４】
コード化アパーチャーセンサからのデータを処理して映像を形成し、次いで、その映像に従来のベイズの検出／処理を適用できることに注意されたい。本発明以前は、これは、実際に、ベイズの処理をコード化アパーチャーセンサにどのように適用するかであった。しかしながら、上述したように、映像を処理すると、情報のロスが生じ、本発明は、直接データで作用することによってそれを回避する。更に、映像に基づく「完全な」ベイズの解決策を適用するのは、不可能である。というのは、単一の推定映像ではなく、超解像度の映像の大きなサンプルを発生するために初期の処理段階が必要とされ、これが、メモリ（空間）及び処理（時間）要求に著しい影響を及ぼすからである。本発明は、映像処理オーバーヘッドを回避し、より正確な位置付けを与えることができる。
【００２５】
この方法は、単一のデータフレームから１つ以上のターゲットの位置を推定し、そして直接信号を使用して複数のフレームから１つ以上のターゲットの位置及び動きを追跡することができる。複数のフレームからの情報が考慮されるまでターゲットの存在／不存在が決定されない場合には、検出前追跡プロセスが得られる。これは、コントラストが低いか又はシーンの散乱したエリアに位置するために検出が困難なターゲットを検出できるようにする。
【００２６】
本発明は、ターゲットのパラメータと一緒に又はそれに代わって他の情報を含むことのあるシーン状態のコンテンツを束縛しない。
【００２７】
例えば、シーンモデルにおける状態の一部分は、シーン背景の表現でよい（特に関心のある物体（ターゲット）だけでなく）。換言すれば、シーンモデルは、ターゲットではないシーン、即ち一般的な背景に現れるエンティティに関する情報を含むことができる。得られる背景の推定は、ターゲット検出プロセスから散乱物を排除するか又はシーンの複合映像（モザイク）を形成する等の多数の目的で利用することができる。
【００２８】
例えば、特定のシーンに対して固定された検出器アレイからデータが取得され、そしてシーンが高度の散乱物を有し、即ちコントラストの程度が変化するシーンにビルや植物等があることを想像する。この方法が、シーンの背景に対してコントラストの高いターゲットを探すものである場合には、背景からの貢献をシーンモデルにおける一般的なノイズとして表現することができ、そしてターゲットは、特にそれらがシーンの背景に対して移動する場合に、上述したように識別される。しかしながら、ターゲットが低い／負のコントラストであり及び／又はシーンの背景に散乱物のようなターゲットがある場合には、シーンの背景の既知の要素をシーンモデルの状態に含ませることが望まれる。実際に、受信された特定の信号が特定の状態によるものであった確率を決定する際には、モデリングされる背景要素の既知の貢献が考慮される。このように、シーンにおける散乱物の作用を減少することができる。
【００２９】
背景がモデルに含まれる場合には、実際に、モデルに対して２つの部分が存在し、即ちシーンの各部分の背景確率、即ちシーンの特定部分が背景に対応する確率を決定するのに使用される背景シーンモデルと、ターゲットの見込みを決定するターゲット確率モデルである。この解決策は、ターゲットを検出する機会を改善する。というのは、背景モデルは散乱物を「釈明し」、ターゲットモデルの推論プロセスとの干渉を防止するからである。実際に、ターゲットと背景との間の相対的な確率が計算され、これを使用して、それら２つの間を弁別する能力が最大にされる。この方法では、シーンの背景を横切って相対的に移動する低い及び負のコントラストのターゲットを検出することが可能である。
【００３０】
シーンの背景を表すシーンモデルの部分は、種々の仕方で構成することができる。例えば、１つ又は好ましくはそれより多くのデータフレームを処理して、シーンの実際の映像を形成することができる。次いで、シーンにおける重要な物体、即ちコントラストのエリアを識別し、シーンモデルの状態に追加することができる。それ故、映像処理は、検出器アレイから取得したあるデータに対して行うことができるが、これは、単に、背景要素を合体することによりシーンモデルを改善するためであり、ターゲット検出は行われないことに注意されたい。従って、ターゲットを検出し及び／又は探索する本発明の方法は、未処理の取得データを取り上げ、そしてシーンモデルを使用して、映像処理を行わずに最もあり得る状態を決定する。
【００３１】
データが取得される間に検出器アレイがシーンに対して固定される場合には、シーンの見掛け上の動きはない。従って、背景に対するターゲットの動きを容易に検出することができ、そしてシーンモデルが背景データを含む場合は、モデリングされる背景要素がフレームごとに移動しないと仮定することができる。しかしながら、検出器がシーンに対して移動する場合には、ターゲットの移動は、ターゲットの実際の動きと、検出器及びシーンの相対的な動きの両方の関数となり、従って、より複雑な関数となる。又、シーンモデルに背景要素を含む場合には、それらが見掛け上の動きをもつことになる。それ故、シーンに対する検出器アレイの相対的な動きを決定することが望まれる。これは、各データフレームからシーンの映像を形成し、そして標準的な映像処理技術を使用して、背景の動きを識別することにより行うことができ、例えば、直線的光学フロー演算子をシーン映像に適用することができる。しかしながら、本発明は、検出器アレイで受け取られたデータから背景シーンの動きを直接推論することもできる。シーンモデルにおける状態の一部分が、シーン背景の動き（そのコンテンツではなく）を、あるフレームから次のフレームへの幾何学的変換のためのパラメータの形態で表わす場合には、映像を形成することなくそれらのパラメータを直接推論することができる。その利益は、高いターゲット位置精度が得られるという同じ理由で、映像が形成される場合に得られるものより著しく高い精度で、背景を追跡できることである。センサそれ自身が移動する場合には、背景の動きの推定（映像の位置合わせ(registration)としても知られている）が特に重要となる。というのは、この動きの影響をその後の処理段階で除去／減少できるからである。
【００３２】
背景シーンモデルの使用及び光学的フローの使用は、ベイズのフレームワーク内に適合でき、光学的フローを使用してシーンの動きを推定することができる。シーンの動きの知識は、移動センサシステムからの背景シーンモデルの推定／更新をサポートする。
【００３３】
上述したように、推論される状態は、シーンに存在すると仮定されるターゲット、シーン内の他のエンティティの種々の属性、或いはシーン又はシーン内のエンティティの動きを表すことができる。上述したように、状態は、シーン内のターゲットの位置、ターゲットの動き、及び未知のターゲットの他の属性、例えば、サイズ、形状、スペクトルシグネチャー、等の１つ以上を推論することができ、又、状態は、シーン内の１つ以上のターゲットに対するこれらの属性に関連してもよい。又、状態は、シーンの態様、例えば、シーン自体の動き、シーンの背景、又はシーン内の他のエンティティのパラメータの１つ以上、或いはシーンの態様、例えば、まっすぐなエッジ、コーナー、表面、照明状態、カメラパラメータ、等を表すこともできる。これらは、上述したターゲット検出／追跡のためのターゲットを表す状態に含まれてもよい。しかしながら、この方法は、ターゲットの追跡又は検出を行わずに、シーンのある態様を決定するだけのために使用されてもよい。これは、ターゲット検出／追跡ステップを行う前にあるパラメータを推論するように実行することもできるし、又は映像を形成する必要なく、シーンに関するある情報を決定するためのスタンドアローンプロセスであってもよい。従って、一般的に、本発明の方法は、検出器アレイにより受け取られたデータにベイズの推論を直接使用して、シーンの属性を直接推論することに係る。従って、本発明の別の態様では、シーンの属性を推論する方法であって、シーンからコード化アパーチャーアレイを経て放射を受け取るように構成された検出器アレイから取得したデータを取り上げるステップと、そのデータに対してベイズの推論を直接実行して前記属性を推論するステップとを備えた方法が提供される。本発明の第１の態様と同様に、映像を形成するように処理されていないデータにベイズの推論が適用される。推論される属性は、シーン内の１つ以上のターゲット、シーンの動き、シーンの背景、シーン内の他のエンティティのパラメータ、シーンの態様（まっすぐなエッジ、コーナー、表面、照明状態、カメラパラメータ、等）を表す１つ以上のパラメータを含むことができる。
【００３４】
ベイズの推論プロセスは、本発明の第１の態様に関して上述したように遂行され、即ち前記属性に不確実性を含むシーンの統計学的モデルが形成されると共に、状態付与信号の確率が信号付与状態の確率から推論される。
【００３５】
上述したように、本発明に基づく前記方法は、シーンにおけるターゲットの有用な検出及び追跡方法を提供する。しかしながら、本発明の直接的ベイズの方法は、たとえターゲットが別の方法を経て検出された場合でも正確な追跡に適用することができる。例えば、外部映像に基づく検出前追跡プロセスを使用して、比較的粗い位置付け及び動き情報でターゲット検出を与えることができる。このように確認される検出から、専用の直接追跡フィルタを開始することができる。
【００３６】
それ故、本発明の別の態様では、シーン内の識別されたターゲットを追跡する方法であって、シーンからコード化アパーチャーアレイを経て放射を受け取るように構成された検出器アレイから取得したデータの多数のフレームを取り上げるステップと、その取得したデータに反復性ベイズフィルタを適用するステップとを備えた方法が提供される。
【００３７】
本発明の第１の態様と同様に、当該ターゲット又はエンティティの映像を形成するように処理されていない取得データに反復性ベイズフィルタが適用される。本発明の第１の態様に関して上述した実施形態及び効果の全部を、本発明のこの態様にも適用できる。
【００３８】
以下、添付図面を参照して、本発明を一例として詳細に説明する。
【図面の簡単な説明】
【００３９】
【図１】コード化アパーチャー像形成装置を示す。
【図２】コード化アパーチャーシステムを示すと共に、異なる視野を有する異なるマスクパターンを示す。
【図３】シーンのシミュレーション、コード化アパーチャーアレイ、検出器アレイに生じる強度パターン、及びシーンの再構成映像を示す。
【図４】シミュレーションされたデータに本発明の方法が適用されたときに時間に伴う決定された位置エラーを検出器ピクセルで示す。
【図５】シミュレーションされたデータに本発明の方法が適用されたときに時間に伴う決定された速度エラーをステップ当りのピクセルで示す。
【発明を実施するための形態】
【００４０】
コード化アパーチャー像形成（ＣＡＩ）は、ピンホールカメラと同じ原理に基づくものである。ピンホールカメラでは、ピンホールから離れた全ての距離に色収差のない映像が形成され、相当に大きな視界深度をもつよりコンパクトな像形成システムを期待することができる。しかしながら、強度スループットが悪いという大きなハンディがあり、これは、ピンホールの集光特性が低いことから生じる。それでも、カメラは、ピンホールの直径により決定された解像度で映像を生成することができるが、回折作用を考慮しなければならない。システムの光スループットは、ピンホールのアレイを使用することにより、角度解像度を保持しながら、数桁の大きさで増加することができる。各検出素子は、シーンの各視点に対応する種々のピンホールからの貢献の総和の結果を見る。
【００４１】
従来のＣＡＩの動作原理を理解する別の方法は、これが純粋な幾何学的像形成技術であることを観察することである。システムのフィールド・オブ・レガード（ＦＯＲ）内のシーンの各点からの光は、検出器アレイにコード化アパーチャーの影を投げる。検出器は、これらの影の強度の和を測定する。コード化アパーチャーは、その自己相関関数が、サイドローブが非常に低い状態で、鮮鋭になるように特別に設計されている。典型的に、擬似ランダム又は均一冗長アレイ（ＵＲＡ）（E. Fenimore及びT. M. Cannonの“Coded aperture imaging with uniformly redundant arrays”Applied Optics、第１７巻、第３号、第３３７−３４７ページ、１９７８年２月１日、に掲載されたような）が使用され、この場合には、検出器強度パターンのデコンボリューション又は脱相関がシーン内の点分布に対して良好な近似を生み出すことができる。
【００４２】
図１は、一般的に２で示されたコード化アパーチャー像形成システムの実施例を概略的に示す。シーン４内の点からの光線は、特定のコード化アパーチャーアレイ６に入射する。このコード化アパーチャーアレイは、影マスクとして働き、それ故、一連の重畳するコード化映像が検出器アレイ８に発生される。検出器アレイの各ピクセルにおいて、重畳するコード化映像からの強度が加算される。検出器アレイ８からの出力は、プロセッサ１０へ通され、ここで、種々のデジタル信号処理技術を使用して、シーンの映像を検出器信号からその後にデコードすることができる。
【００４３】
最近、ＧＢ０５１０４７０．８は、再構成可能なマスク手段６を使用して、再構成可能なコード化アパーチャーアレイを形成することを提案している。コード化アパーチャーマスク手段６は、コントローラ１２によって制御され、該コントローラは、異なるコード化アパーチャーマスクを表示するように再構成可能なマスク手段を制御する。コード化アパーチャーマスク手段の一部分しかコード化アパーチャーアレイを表示せず、マスクの残り部分が検出器への放射の到達を阻止する場合には、装置の視野が、検出器に対するコード化アパーチャーアレイの位置及びサイズによって決定され、その位置又はサイズを変えると、視野及び／又は映像の解像度が変化する。これが図２に示されている。図２ａにおいて、マスクの全体がコード化アパーチャーアレイとして使用され、この場合に、装置は、システムの全フィールド・オブ・レガードから放射を受け取る。しかしながら、図２ｂにおいて、マスクの大部分は不透明で、放射が検出器アレイ８に到達するのを阻止する。コード化アパーチャーアレイは、マスクの小さな部分しか形成せず、従って、限定されたフィールドからの放射しか検出器アレイに到達しない。このモードでは、装置は、狭い視野であるが高い解像度で動作する。
【００４４】
それ故、ＣＡＩは、大きな視界深度を有すると共に、可動部を必要とせずに変更可能な視野を有するコンパクトで且つ軽量の像形成装置を形成する能力を与える。
【００４５】
従来のＣＡＩ装置は、一般的に、光学的倍率をもつ要素、即ちレンズを光学路に備えていないことに注意されたい。ある用途では、適当なレンズ材料が得られず、レンズの使用ができないので、ＣＡＩ像形成装置が使用される。本発明は、レンズのような光学的倍率をもつ要素を光学路に含むＣＡＩ装置に適用できる。レンズの目的は、入射する放射を収束して、シーンの収束映像を形成するのではなく−さもなければ、ＣＡＩ処理は必要でなくなる−、ある程度の光学的集中力を与えて、回折パターンがあまり広がらないようにすることである。それ故、本明細書に使用する「コード化アパーチャー像形成装置」という語は、シーンからコード化アパーチャーアレイを経て放射を受け取る検出器アレイを有すると共に、光学路にレンズのような光学的要素も有するが、この光学的要素は、シーンの実質的に収束された映像を検出器アレイに形成するものでないような装置を包含するものと考えねばならない。換言すれば、光学路にコード化アパーチャーアレイを有し、検出器アレイに信号のコードを与え、コード化アパーチャーパターンに基づくパターンを使用して、それを処理して、シーンの非遮断映像を形成することのできる装置である。
【００４６】
上述したように、コード化アパーチャー像形成装置において、検出器アレイ８に形成される強度パターンは、種々のアパーチャーにより生成されたシーンの一連の重畳映像である。この強度パターンは、デコードを行って、シーンの認識可能な映像を構成することを必要とする。図３は、シーン５０及び代表的なコード化アパーチャーアレイ５２を示す。検出器アレイ５４におけるシミュレーションされた強度パターンにより明らかとなるように、検出器により受信された信号は、シーンのエンコードされたバージョンであり、直接認識することができない。これまで、信号から有用な情報を抽出するためには、検出器アレイにおいて記録された信号を、通常、デコンボリューションによりデコードし、そしてシーンの映像を再構成することが必要であると考えられている。映像５６は、再構成されたシーン映像である。
【００４７】
しかしながら、本発明は、少なくとも一部分は、自動ターゲット検出及び／又は追跡のために、検出器アレイに受信された信号で直接機能できることの実現化にある。更に、デコンボリューションプロセスとは異なり、情報が失われないので、直接信号を使用するターゲットの位置付け及び追跡は、処理された映像データに基づくものに勝る改善された精度を与えることができる。
【００４８】
本発明は、ベイズの推論を使用して、シーンにおけるターゲットの位置を決定する。当業者であれば、ベイズの推論に馴染みがあろうが、簡単な説明で理解を助けることになろう。
【００４９】
ランダム変数Ｓで表わされる検出器アレイの信号は、特定の形態ｓを有すると考える。次いで、シーン内のその点におけるターゲットから信号ｓが発生するところのシーンにわたる確率分布がどんなものであるか決定することを求め、即ち、
Ｐ(Ｘ＝ｘ｜Ｓ＝ｓ)                            式(１)
但し、Ｘは、ターゲット位置を表す状態ベクトルに対するランダム変数で−且つおそらく速度、サイズ、輝度等のターゲットの他の属性であり−、そしてｘは、Ｘの特定の実現化を表す。複数のターゲット（又はシーンの背景を含む他の当該物体）が存在すると仮定され／存在すると知られている場合には、ｘもこれらをエンコードしなければならない。
【００５０】
以下は、ベイズの定理である。
Ｐ(Ｘ＝ｘ｜Ｓ＝ｓ)＝｛Ｐ(Ｓ＝ｓ｜Ｘ＝ｘ)Ｐ(Ｘ＝ｘ)｝／Ｐ(Ｓ＝ｓ)        式(２)
周辺確率Ｐ(Ｓ＝ｓ)は、未知の量であるが、一定であり（非ゼロであると仮定すれば）、従って、相対的な確率分布に影響しない。状態にわたる事前の確率密度は、Ｐ(Ｘ＝ｘ)である。単一フレームの検出プロセスでは、これは、ターゲットが現れるあり得そうな位置（及び動き）に関する事前の知識をエンコードする。希望のターゲットに関するできるだけ多くの事前情報を合体して、精度を改善することができる。
【００５１】
従って、考えられるターゲット状態から生じる信号の生成的モデルＰ(Ｓ＝ｓ｜Ｘ＝ｘ)に基づき、見込みモデルＰ(Ｘ＝ｘ｜Ｓ＝ｓ)を生成することができる。
【００５２】
生成的モデルは、次のものより成る複数の段階を有することができる。
−物体により光子を反射／放出するモデル
−大気減衰のモデル
−回折作用を含むコード化アパーチャー（マスク）を通る伝播のモデル
−検出器により光子を信号へ変換するモデル
【００５３】
状態がターゲット位置である場合には、この見込みモデルは、観察された信号が与えられると、シーン内のターゲット位置に対する確率分布を与える。この確率分布は、それ自体、シーンにおいて考えられるターゲット及びそれらの位置の指示子として使用することができる。
【００５４】
多数のデータフレームを結合することにより、高い精度を得ることができる。それ故、本発明は、多数のデータフレームと共に反復性ベイズフィルタを使用することができる。ここでは、シーンが時間と共に状態をどのように変化させるか（時間ｔにおけるｘから、時間ｔ＋１におけるｘ’まで）の推定が動的モデルＰ（Ｘt+1＝ｘ’｜Ｘt＝ｘ）として与えられ、これは、例えば、ターゲットの動きをモデリングすることができる。当業者であれば、他の追跡用途に適用されるベイズの追跡フィルタが明らかであろうし、又、このようなフィルタをここでどのように実施できるかも明らかであろう。フィルタの状態は、ターゲットの位置、動き及びおそらく他の属性を低次元でパラメータ化したものである。このフィルタは、従来のベイズの追跡装置（粒子フィルタ又はカルマンフィルタのような）のように機能するが、再構成された映像ではなく検出器アレイにおける信号を直接解釈する見込みモデルを伴うものである。それ故、追跡装置の情報更新段階は、式（１）に等しいが、Ｐ（Ｘ＝ｘ）は、先行する時間ステップからの事後分布に動的モデルを適用することにより計算された予想分布に置き換えられる。この新規な解決策は、再構成された映像で機能することで得られるものより著しく良好な位置付け精度を与えることができる。というのは、その精度は、センサの動作に利用できるメモリ及び処理リソースにより制限される映像の解像度の特定の選択（再構成アルゴリズムの設計においてなされる）によって制限されないからである。一般的に、追跡装置は、これら見込みモデルの混合物を観察された信号に直接適合させる複数ターゲット追跡装置となる。
【００５５】
局部的なシーンの背景に対して非常に高いコントラストを有していないターゲットについては、シーンの背景の貢献をできるだけ信号に向けることが望まれる。それ故、このような場合には、見込みの計算内に使用されるシーンモデルは、シーンの背景に関してできるだけ多くの情報を含むのが好ましい。
【００５６】
それに加えて又はそれとは別に、検出器アレイとシーンとの間に相対的な移動がある場合には、フレームとフレームとの間でのシーンの相対的な移動を識別するのが効果的である。従来の映像処理では、これは、映像の位置合わせとして知られている。映像の位置合わせの背後にある考え方は、２つの連続するフレーム間で背景の幾何学的変換（これは、並進移動、回転、拡張又は他の作用を含むことがある）の推定を見出すことである。従来の処理では、この変換（及びその不確実性）は、センサの映像に直線的な「光学フロー」演算子を適用することにより推定できる。ここに提案する直接的解決策は、検出器で受信された信号と直接作用するもので、そこから再構成された映像とで作用するものではない。特に、シーンの幾何学的変換のパラメータ化されたファミリー及びシーンの深度変化に対する仮定又は推定が与えられると、変換における各パラメータの変化率を各検出器要素における信号の変化率に関連付けることができる。これは、映像を決して形成することなく、シーンの２つの連続する観察間の最もあり得そうな幾何学的変換を推定できるようにする。更に、高次の導関数を利用して、幾何学的変換における不確実性の推定を与えることができる。
【００５７】
本発明の方法は、その有効性を証明するために、シミュレーションにおいてテストされた。本発明の方法の一実施形態がＭａｔｌａｂTMを使用して実施された。
【００５８】
この方法を検証するために、ランダムマスクパターン及び光学的要素を含むシステムの一次元モデルを使用して例示的回折パターンが計算された。回折パターンの内部構造は、それが複数の検出器ピクセルにわたって分散されるが、小さな空間的シフトが受信信号に大きな変動を生じさせることを意味する。このプロパティは、シフト感度と称され、正確な追跡のために望まれる。次いで、２つの軸間の直線的分離性を仮定することにより一次元パターンから二次元回折パターンが合成された。（一般的に、この分離性プロパティは持続しないが、本発明の合成された２Ｄパターンにおける空間的構造が、完全な２Ｄ光学的モデルから観察されるものと同様であることが予想されることに注意されたい。）検出器信号フレームのテストシーケンスは、ターゲットの動きに基づき、且つ各検出器ピクセルの独立した同一に分布したノイズが追加された状態で、この回折パターンのシフト及びサンプルされたコピーを使用して合成された。ノイズレベルは、相関フィルタ応答の信号レベルがノイズレベルに等しくなる（即ち、信号対雑音比が０ｄＢである）ように選択される。これらのシーケンスは、追跡装置への入力として与えられ、達成される追跡精度は、健全な統計学を使用して複数の実行から推定された。
【００５９】
図４及び図５に示された結果は、追跡装置が、一連の観察にわたり、ターゲットの位置及び速度の信頼性を確立することを示している。図４は、検出器ピクセルにおいて測定されたターゲットの決定された位置の二乗平均(root-mean-square)位置エラーを、連続ステップ（処理されたフレーム）の関数として示している。図５は、ターゲットの速度の二乗平均エラーを、ステップごとに検出器ピクセルにおいて測定された連続ステップの関数として示している。測定されたエラーは、時間と共に低下し、やがて、決定された位置エラーが１ピクセル未満となり、そして決定された速度エラーがステップ当たり０．０１ピクセル未満となることが明らかである。ターゲットは、ある未知の加速度を有し、これは、追跡装置を、任意の精度に収斂させるのではなく、精度の平衡レベルに到達させる。これらの結果は、映像を形成しない直接的なターゲット追跡がＣＡＩで達成できることを示している。（モデリングされるシステムに光学的要素を含ませることは、回折パターンの広がり、ひいては、信号対雑音比に影響を及ぼすが、これを省略しても、追跡アルゴリズムの構造は変化しないことに注意されたい。）
【符号の説明】
【００６０】
２：コード化アパーチャー像形成システム
４：シーン
６：コード化アパーチャーアレイ
８：検出器アレイ
１０：プロセッサ
１２：コントローラ
【図２】
2009545265.tif 000003
【図４】
2009545265.tif 000004
【図５】
2009545265.tif 000005
【図１】
2009545265.tif 000006
【図３】
2009545265.tif 000007
【国際調査報告】
2009545265.tif 000008
2009545265.tif 000009