(57)【要約】シーンとともに移動する対象物を含むシーンのレーダ反射率画像を再構成するレーダ撮像システムが、複数の時間ステップを含む期間にわたって対象物を追跡して、複数の時間ステップの各々について、対象物の公称形状の変形を生成する光学センサと、複数の時間ステップにわたってシーンのスナップショットを取得して、対象物の公称形状の対応する変形によって規定された変形形状を有する対象物のレーダ反射率画像のセットを生成する電磁センサとを備える。システムはまた、複数の時間ステップの各々について、対応する時間ステップについて特定された変形を用いて、対応する時間ステップにおいて電磁センサによって取得された対象物のレーダ反射率画像と、プロトタイプ姿勢にある対象物のレーダ反射率画像との間の変換を特定し、対応する変換を用いて変換された変形形状を有する対象物のレーダ反射率画像を組み合わせて、プロトタイプ姿勢にある対象物のレーダ反射率画像を生成するように構成されたプロセッサを備える。
2021505891.tif 000002
【特許請求の範囲】
【請求項１】
シーンとともに移動する対象物を含む前記シーンのレーダ反射率画像を再構成するレーダ撮像システムであって、
複数の時間ステップを含む期間にわたって前記対象物を追跡して、前記複数の時間ステップの各々について、前記対象物の公称形状の変形を生成する光学センサであって、前記対象物の前記公称形状は、プロトタイプ姿勢で配置された前記対象物の形状である、光学センサと、
前記複数の時間ステップにわたって前記シーンのスナップショットを取得して、前記対象物の前記公称形状の対応する変形によって規定された変形形状を有する前記対象物のレーダ反射率画像のセットを生成する、少なくとも１つの電磁センサであって、少なくとも２つの異なるレーダ反射率画像が、異なる変形形状を有する前記対象物を含む、少なくとも１つの電磁センサと、
プロセッサであって、
前記複数の時間ステップの各々について、対応する時間ステップについて特定された変形を用いて、前記対応する時間ステップにおいて前記電磁センサによって取得された前記対象物のレーダ反射率画像と、前記プロトタイプ姿勢にある前記対象物のレーダ反射率画像との間の変換を特定し、
対応する変換を用いて変換された変形形状を有する前記対象物のレーダ反射率画像を組み合わせて、前記プロトタイプ姿勢にある前記対象物のレーダ反射率画像を生成する、
プロセッサと、
を備える、レーダ撮像システム。
【請求項２】
前記プロセッサは、前記プロトタイプ姿勢にある前記対象物のレーダ反射率画像のいくつかの点のロケーションを置換し、前記プロトタイプ姿勢にある前記対象物の前記公称形状の変形に依存して前記プロトタイプ姿勢にある前記対象物のレーダ反射率画像の異なる点を除去するサブサンプリングされた置換として、各変換を特定する、請求項１に記載のレーダ撮像システム。
【請求項３】
前記変換は、連続空間における座標のぼけを有する又はフィルタリングされたサブサンプリングされた再配置の離散化である、請求項２に記載のレーダ撮像システム。
【請求項４】
前記サブサンプリングされた置換は、置換されたロケーションにおいて点の強度を保つ、請求項２に記載のレーダ撮像システム。
【請求項５】
変形形状にある前記対象物を含む光学反射率画像の点と、前記公称形状にある前記対象物を含むプロトタイプ光学反射率画像の点との間の光学的変換を含むように各変形を生成する、前記光学センサを備える追跡システムであって、前記プロセッサは、光学的変換の関数として前記変換を求める、追跡システム、
を更に備える、請求項１に記載のレーダ撮像システム。
【請求項６】
前記プロトタイプ姿勢で配置された前記対象物の前記公称形状は、光学反射率画像又はレーダ反射率画像のうちの一方における前記対象物の形状として選択され、前記選択された形状を有する前記対象物のレーダ反射率画像と、前記プロトタイプ姿勢にある前記対象物のレーダ反射率画像との間の前記変換が恒等変換であるようになっている、請求項１に記載のレーダ撮像システム。
【請求項７】
前記プロトタイプ姿勢で配置された前記対象物の前記公称形状の選択を示す情報を受け入れる入力インタフェースと、
前記プロトタイプ姿勢を含む、選択された姿勢にある前記対象物のレーダ反射率画像をレンダリングする出力インタフェースと、
を更に備える、請求項１に記載のレーダ撮像システム。
【請求項８】
前記プロセッサは、時間ステップごとに特定されるとともにレーダ取得関数によって取得される前記変換によって変換されると、前記複数の時間ステップの全てにおいて測定値と一貫する、前記プロトタイプ姿勢にある前記対象物のレーダ反射率画像を特定する、請求項１に記載のレーダ撮像システム。
【請求項９】
前記プロトタイプ姿勢にある前記対象物のレーダ反射率画像を特定することについて、前記プロセッサは、基底又は辞書におけるスパース性、基底又は辞書変換の下での平滑化、及び前記対象物のレーダ反射率画像の全変動のうちの１つ又は組み合わせを用いて正則化する、請求項８に記載のレーダ撮像システム。
【請求項１０】
前記プロセッサは、局所誤差補正を用いて各変換を調整し、前記プロトタイプ姿勢にある前記対象物のレーダ反射率画像と、各局所誤差補正とを同時に求める、請求項１に記載のレーダ撮像システム。
【請求項１１】
前記プロセッサは、交互最小化、射影、及び制約された正則化のうちの１つ又は組み合わせを用いて、前記プロトタイプ姿勢にある前記対象物のレーダ反射率画像と、各局所誤差補正とを同時に求める、請求項１０に記載のレーダ撮像システム。
【請求項１２】
前記シーン内で移動する前記対象物は、人物である、請求項１に記載のレーダ撮像システム。
【請求項１３】
固定された開口サイズを有する複数の電磁センサを更に備え、前記プロセッサは、各電磁センサの測定値を組み合わせることによって前記プロトタイプ姿勢にある前記対象物のレーダ反射率画像を特定する、請求項１に記載のレーダ撮像システム。
【請求項１４】
前記電磁センサは、既知の運動に従って移動し、前記プロセッサは、前記対応する時間ステップについての前記電磁センサの前記既知の運動に基づいて、前記対応する時間ステップにおいて前記電磁センサによって取得された前記対象物のレーダ反射率画像の前記変換を調整する、請求項１３に記載のレーダ撮像システム。
【請求項１５】
前記電磁センサは、ミリ波レーダ、ＴＨｚ撮像センサ、及び後方散乱Ｘ線センサのうちの１つ又は組み合わせを含み、前記光学センサは、光学カメラ、深度カメラ、及び赤外線カメラのうちの１つ又は組み合わせを含む、請求項１に記載のレーダ撮像システム。
【請求項１６】
前記プロトタイプ姿勢にある前記対象物のレーダ反射率画像の解像度は、変形形状を有する前記対象物のレーダ反射率画像の解像度よりも高い、請求項１に記載のレーダ撮像システム。
【請求項１７】
シーンとともに移動する対象物を含む前記シーンのレーダ反射率画像を再構成する方法であって、前記方法は、光学センサ及び電磁センサに作動的に接続されたプロセッサを使用し、前記プロセッサは、前記方法を実施する記憶された命令と結合され、前記命令は、前記プロセッサによって実行されると、前記方法のステップを実行し、前記ステップは、
前記光学センサを用いて、複数の時間ステップを含む期間にわたって前記対象物を追跡して、前記複数の時間ステップの各々について、前記対象物の公称形状の変形を生成するステップであって、前記対象物の前記公称形状は、プロトタイプ姿勢で配置された前記対象物の形状である、ステップと、
前記電磁センサを用いて、前記複数の時間ステップにわたって前記シーンのスナップショットを取得して、前記対象物の前記公称形状の対応する変形によって規定された変形形状を有する前記対象物のレーダ反射率画像のセットを生成するステップであって、少なくとも２つの異なるレーダ反射率画像が、異なる変形形状を有する前記対象物を含む、ステップと、
前記複数の時間ステップの各々について、対応する時間ステップについて特定された変形を用いて、前記対応する時間ステップにおいて前記電磁センサによって取得された前記対象物のレーダ反射率画像と、前記プロトタイプ姿勢にある前記対象物のレーダ反射率画像との間の変換を特定するステップと、
対応する変換を用いて変換された変形形状を有する前記対象物のレーダ反射率画像を組み合わせて、前記プロトタイプ姿勢にある前記対象物のレーダ反射率画像を生成するステップと、
を含む、方法。
【請求項１８】
前記プロセッサは、前記プロトタイプ姿勢にある前記対象物のレーダ反射率画像のいくつかの点のロケーションを置換し、前記プロトタイプ姿勢にある前記対象物の前記公称形状の変形に依存して前記プロトタイプ姿勢にある前記対象物のレーダ反射率画像の異なる点を除去するサブサンプリングされた置換として、各変換を特定する、請求項１７に記載の方法。
【請求項１９】
前記シーン内で移動する前記対象物は、人物である、請求項１７に記載の方法。
【請求項２０】
方法を実行するためにプロセッサによって実行可能なプログラムが具現化された非一時的コンピュータ可読記憶媒体であって、前記プロセッサは、光学センサ及び電磁センサに作動的に接続され、前記方法は、
前記光学センサを用いて、複数の時間ステップを含む期間にわたって対象物を追跡して、前記複数の時間ステップの各々について、前記対象物の公称形状の変形を生成することであって、前記対象物の前記公称形状は、プロトタイプ姿勢で配置された前記対象物の形状である、追跡することと、
前記電磁センサを用いて、前記複数の時間ステップにわたってシーンのスナップショットを取得して、前記対象物の前記公称形状の対応する変形によって規定された変形形状を有する前記対象物のレーダ反射率画像のセットを生成することであって、少なくとも２つの異なるレーダ反射率画像が、異なる変形形状を有する前記対象物を含む、取得することと、
前記複数の時間ステップの各々について、対応する時間ステップについて特定された変形を用いて、前記対応する時間ステップにおいて前記電磁センサによって取得された前記対象物のレーダ反射率画像と、前記プロトタイプ姿勢にある前記対象物のレーダ反射率画像との間の変換を特定することと、
対応する変換を用いて変換された変形形状を有する前記対象物のレーダ反射率画像を組み合わせて、前記プロトタイプ姿勢にある前記対象物のレーダ反射率画像を生成することと、
を含む、非一時的コンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、包括的には、レーダシステムに関し、より詳細には、シーン内で移動する対象物のレーダ撮像に関する。
【背景技術】
【０００２】
高解像度レーダ撮像は、多様なリモートセンシング応用における要件である。例えば、種々のセキュリティ応用、医療応用、及び壁透過撮像（ＴＷＩ：through-the-wall imaging）応用においてレーダ反射率画像（radar reflectivity imaging）が用いられる。ダウンレンジ（down-range）解像度は、送信パルスの帯域幅によって大部分は制御されるが、クロスレンジ（アジマス）解像度は、レーダセンサの開口に依存する。一般的には、開口が物理的（大きなアンテナ）であるのか又は合成（移動するアンテナ）であるのかを問わず、開口が大きくなる程、画像解像度が高くなる。現状では、アンテナの物理的サイズが増大することにより、レーダシステムのコストが大幅に増加する。そのため、多数のレーダ撮像システムが合成開口方法を用いて、アンテナのサイズ及びレーダ撮像のコストを削減している。例えば、合成開口レーダ（ＳＡＲ：synthetic-aperture radar）及び逆ＳＡＲ（ＩＳＡＲ）は、レーダンテナとシーン内の対象物との相対運動を用いて、比較的小さい物理アンテナ、すなわち、ビーム走査レーダのアンテナより小さいアンテナを用いてより細かい空間解像度を提供する。
【０００３】
しかしながら、レーダシステムの物理的アンテナのサイズを小さくすると、変形可能な移動対象物の追跡が困難になる。具体的には、任意の運動及び変形を呈する対象物を追跡するには、最小解像度が物理的アンテナの解像度より高い追跡感度が必要とされるが、結果として、このことにより、レーダ撮像システムのコストが非実用的な値となる。そのために、従来のレーダ及び／又は他の電磁又は音響波撮像システムは、対象物が、シーン内で静止しているか、又は、非常に制御された剛体運動において移動することを必要とする。剛体運動の場合でさえ、従来のレーダ撮像システムは、レーダ画像を形成することができるようになる前に、レーダデータのみを用いて移動対象物の運動パラメータを推定するためには、困難な追跡ステップを必要とする。例えば、非特許文献１を参照されたい。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】Martorella, M. (2014)「Introduction to inverse synthetic aperture radar」In Academic Press Library in Signal Processing (Vol. 2, pp. 987-1042). Elsevier
【発明の概要】
【発明が解決しようとする課題】
【０００５】
したがって、比較的小さい開口のレーダンテナを用いて、任意に変形可能な移動対象物を追跡するのに適したレーダ撮像システム及び方法が必要とされている。
【課題を解決するための手段】
【０００６】
いくつかの実施形態の目的は、対象物が変形可能でありかつ運動が非剛体的である場合であっても、対象物の運動を追跡することを可能にするレーダ撮像システムを提供することである。いくつかの実施形態の更なる目的は、レーダ反射率画像を取得する電磁センサの実用的なサイズの物理的アンテナによって統御される解像度よりも高い解像度を用いて、シーン内で移動する対象物のレーダ反射率画像を再構成することができるようなレーダ撮像システムを提供することである。いくつかの実施形態の別の目的は、人物のレーダ反射率画像を再構成する間、人物がレーダ撮像システムの正面を自由に移動できるようにする、空港セキュリティ応用に適したレーダ撮像システムを提供することである。
【０００７】
いくつかの実施形態は、レーダ撮像システムの電磁センサが移動対象物を追跡することを妨げている理由の１つは、センサのアンテナの物理的サイズによって統御される電磁検知の解像度であるという認識に基づいている。具体的には、実用上の理由で、レーダ撮像システムのアンテナのサイズにより、各時間ステップにおいて対象物の粗い画像しか推定することが可能にならない。このような粗い画像は、剛体的かつ有限の変換を受けた対象物を追跡するのに適したものとすることができるが、人間の動きに典型的な任意の非剛体変換を認識できない可能性がある。
【０００８】
いくつかの実施形態は、レーダ撮像システムは、複数の時間ステップにわたって取得されたシーンの測定値を同時に用いることができるという認識に基づいている。このような測定値の系は、レーダ撮像システムのアンテナのサイズによって統御される解像度を超えてレーダ反射率画像の解像度を改善するのに用いることができる。しかしながら、対象物が経時的に移動するとき、異なる時間ステップにおいて、対象物は、異なる位置に移動する可能性があり、非剛体運動によって生じる異なる形状を有する可能性がある。このような対象物の変位及び変形により、測定値の系が、曖昧、すなわち、不良設定になり、解くことが困難又は非実用的なものになる。
【０００９】
いくつかの実施形態は、多数の応用の場合に、必ずしも対象物が現在の時点において有する現在の姿勢が必要であるのではなく、何らかのプロトタイプ姿勢にある対象物のレーダ反射率画像を特定することで十分であるという理解に基づいている。例えば、いくつかのセキュリティ応用の場合、人物のプロトタイプ姿勢は、両手を上方又は側方に伸ばした状態での直立姿勢である。プロトタイプ姿勢で配置された対象物は、対象物が移動するにつれて、変化し得る、すなわち、変形し得る公称形状を有する。
【００１０】
非剛体的に移動する対象物は、異なる時点において異なる形状を有する可能性がある。そのために、異なる時間ステップにおいて、自身の公称形状に対する対象物の形状の異なる変形、及び、プロトタイプ姿勢で配置された対象物のレーダ反射率画像に対する、レーダ撮像システムによって観測されるレーダ反射率画像の異なる変換があり得る。いくつかの実施形態は、レーダ反射率画像の変換は、対象物の形状の変形を追跡することから推測することができるという理解に基づいている。プロトタイプ姿勢で配置された対象物のレーダ反射率画像に対する変換は、測定値の系に共通性を提供し、変換を知得することは、静止対象物に関する合成開口画像再構成方法と同様の方法を用いて、測定値の系の曖昧性を解くとともに、測定値の系を解くのに役立つことができるようになっている。しかしながら、上記で論述されたように、電磁センサのアンテナの物理的サイズによって統御されるレーダ反射率画像の解像度は、移動対象物を追跡するには不十分である可能性がある。
【００１１】
いくつかの実施形態は、レーダ反射率画像の変換は、異なるモダリティにおいて対象物追跡を用いて推測することができるという別の理解に基づいている。例えば、いくつかの実施形態は、変換は、プロトタイプ姿勢にある対象物の公称形状の変形に依存してプロトタイプ姿勢にある対象物のレーダ反射率画像の異なる点を置換及び／又は除去するサブサンプリングされた置換とみなすことができるという理解を用いる。しかしながら、レーダ画像再構成の目的では、レーダ反射率画像における各点の反射率は、対象物の変形とともに変化しない。さらに、レーダ反射率画像の点は、光学反射率等の異なるモダリティの反射率画像における点に対応する。それゆえ、光学反射率等の異なるモダリティの反射率は、レーダ反射率と同じ対象物の運動及び変形を捕捉することができる。
【００１２】
いくつかの実施形態は、モノクロビデオカメラ若しくはカラービデオカメラ若しくは赤外線ビデオカメラ等の光学センサ、若しくは深度カメラ、又はそれらの組み合わせは、これらに相応する解像度を有する電磁センサよりも安価であるという認識に基づいている。それゆえ、光学センサは、ターゲットが変形可能であり、かつ運動が非剛体的である場合であっても、ターゲットの運動を追跡するのに用いることができる。さらに、いくつかの実施形態は、変形可能対象物のレーダ撮像が必要でありかつ有用である多数の応用において、対象物は、レーダ撮像システムに十分に接近するとともにレーダ撮像システムに対して可視であり、光学センサが追跡のために十分な精度を提供することができるようになっているという別の認識に基づいている。そのために、いくつかの実施形態は、光学運動追跡を用いてレーダ再構成を支援することによって、レーダ撮像システムは、移動している非常に複雑なターゲット対象物を撮像することを可能にすることができるという理解に基づいている。
【００１３】
ターゲットが明確に可視である一例は、例えば空港において、人々が走査システムの正面を歩行するセキュリティ応用である。いくつかの空港において、セキュリティスキャナーは、禁止アイテムをスキャンするために対象が特定の姿勢において直立することを要求する。１つの実施形態による走査システムにより、対象（変形可能な移動対象物、例えば人間）が、止まることを必要とすることなく、走査される間、スキャナーを単に通り抜けることが可能になる。
【００１４】
したがって、１つの実施形態は、シーンとともに移動する対象物を含むシーンのレーダ反射率画像を特定するように構成されたレーダ撮像システムを開示する。レーダ撮像システムは、或る期間にわたって対象物を追跡して、時間ステップごとに、対象物の公称形状の変形を生成する光学センサを備える。本明細書において用いられる場合、対象物の公称形状は、プロトタイプ姿勢で配置された対象物の形状である。
【００１５】
レーダ撮像システムは、複数の時間ステップにわたって対象物のスナップショットを取得するために、少なくとも１つの電磁センサ、例えば、ミリ波センサ、ＴＨｚセンサ、若しくは後方散乱Ｘ線センサ、又はそれらの組み合わせも備える。各スナップショットは、対応する変形によって規定される変形形状を有する対象物のレーダ反射率画像を表す測定値を含む。種々の実施形態において、対象物は、非剛体運動を有する可能性があり、少なくとも２つの異なるスナップショットが、異なる変形形状を有する対象物のレーダ反射率画像を含むようになっている。
【００１６】
レーダ撮像システムは、時間ステップごとに、対応する時間ステップについて特定された変形を用いて、スナップショットにおける対象物のレーダ反射率画像と、プロトタイプ姿勢にある対象物のレーダ反射率画像との間の変換を特定するプロセッサも備える。変換を特定した後、プロセッサは、プロトタイプ姿勢にある対象物のプロトタイプレーダ反射率画像を特定し、各スナップショットにおいて、対応する変換を用いて変換されたプロトタイプレーダ反射率画像が、対象物のレーダ反射率画像の各々に整合するようになっている。このようにして、光学センサ及び電磁センサの協調動作により、プロトタイプ姿勢にある対象物のレーダ反射率画像を再構成するのに十分な解像度を用いて移動対象物を追跡することが可能になる。
【００１７】
したがって、１つの実施形態は、シーンとともに移動する対象物を含むシーンのレーダ反射率画像を再構成するレーダ撮像システムを開示する。本システムは、複数の時間ステップを含む期間にわたって対象物を追跡して、複数の時間ステップの各々について、対象物の公称形状の変形を生成する光学センサであって、対象物の公称形状は、プロトタイプ姿勢で配置された対象物の形状である、光学センサと、複数の時間ステップにわたってシーンのスナップショットを取得して、対象物の公称形状の対応する変形によって規定された変形形状を有する対象物のレーダ反射率画像のセットを生成する、少なくとも１つの電磁センサであって、少なくとも２つの異なるレーダ反射率画像が、異なる変形形状を有する対象物を含む、少なくとも１つの電磁センサと、プロセッサであって、複数の時間ステップの各々について、対応する時間ステップについて特定された変形を用いて、対応する時間ステップにおいて電磁センサによって取得された対象物のレーダ反射率画像と、プロトタイプ姿勢にある対象物のレーダ反射率画像との間の変換を特定し、対応する変換を用いて変換された変形形状を有する対象物のレーダ反射率画像を組み合わせて、プロトタイプ姿勢にある対象物のレーダ反射率画像を生成する、プロセッサと、を備える。
【００１８】
別の実施形態は、シーンとともに移動する対象物を含むシーンのレーダ反射率画像を再構成する方法を開示する。本方法は、光学センサ及び電磁センサに作動的に接続されたプロセッサを使用し、プロセッサは、方法を実施する記憶された命令と結合され、命令は、プロセッサによって実行されると、方法のステップを実行する、本方法は、光学センサを用いて、複数の時間ステップを含む期間にわたって対象物を追跡して、複数の時間ステップの各々について、対象物の公称形状の変形を生成することであって、対象物の公称形状は、プロトタイプ姿勢で配置された対象物の形状である、追跡することと、電磁センサを用いて、複数の時間ステップにわたってシーンのスナップショットを取得して、対象物の公称形状の対応する変形によって規定された変形形状を有する対象物のレーダ反射率画像のセットを生成することであって、少なくとも２つの異なるレーダ反射率画像が、異なる変形形状を有する対象物を含む、取得することと、複数の時間ステップの各々について、対応する時間ステップについて特定された変形を用いて、対応する時間ステップにおいて電磁センサによって取得された対象物のレーダ反射率画像と、プロトタイプ姿勢にある対象物のレーダ反射率画像との間の変換を特定することと、対応する変換を用いて変換された変形形状を有する対象物のレーダ反射率画像を組み合わせて、プロトタイプ姿勢にある対象物のレーダ反射率画像を生成することと、を含む。
【００１９】
更に別の実施形態は、方法を実行するためにプロセッサによって実行可能なプログラムが具現化された非一時的コンピュータ可読記憶媒体を開示し、プロセッサは、光学センサ及び電磁センサに作動的に接続され、方法は、光学センサを用いて、複数の時間ステップを含む期間にわたって対象物を追跡して、複数の時間ステップの各々について、対象物の公称形状の変形を生成することであって、対象物の公称形状は、プロトタイプ姿勢で配置された対象物の形状である、追跡することと、電磁センサを用いて、複数の時間ステップにわたってシーンのスナップショットを取得して、対象物の公称形状の対応する変形によって規定された変形形状を有する対象物のレーダ反射率画像のセットを生成することであって、少なくとも２つの異なるレーダ反射率画像が、異なる変形形状を有する対象物を含む、取得することと、複数の時間ステップの各々について、対応する時間ステップについて特定された変形を用いて、対応する時間ステップにおいて電磁センサによって取得された対象物のレーダ反射率画像と、プロトタイプ姿勢にある対象物のレーダ反射率画像との間の変換を特定することと、対応する変換を用いて変換された変形形状を有する対象物のレーダ反射率画像を組み合わせて、プロトタイプ姿勢にある対象物のレーダ反射率画像を生成することと、を含む。
【図面の簡単な説明】
【００２０】
【図１】いくつかの実施形態による、シーンとともに移動する対象物を含むシーン１０５のレーダ反射率画像を特定するレーダ撮像システム１００のブロック図である。
【図２】光学センサを用いるいくつかの実施形態によって用いられる相対追跡の概略図である。
【図３】レーダ反射率画像再構成のためにいくつかの実施形態によって用いられる、光学反射率画像における対象物の形状の変換と、レーダ反射率画像における対象物の変換との間の関係を表すブロック図である。
【図４】レーダ反射率画像再構成のために種々の実施形態によって利用されるいくつかの原理を示す概略図である。
【図５】いくつかの実施形態による、対象物のデュアルグリッド表現５００の概略図である。
【図６】１つの実施形態による、デュアルグリッド表現を用いて対象物の運動を捕捉する概略図である。
【図７】１つの実施形態による、デュアルグリッド表現を用いて対象物の運動によって引き起こされた対象物の変換を捕捉する概略図である。
【図８】いくつかの実施形態による、レーダ反射率画像を取得する電磁センサ、例えば、レーダの概略図である。
【図９】１つの実施形態による、レーダ反射率画像の再構成の概略図である。
【図１０】いくつかの実施形態によって用いられる、各スナップショットにおける、光学センサ及びレーダセンサの正面の対象物の運動及び変形の一例を示す図である。
【図１１】図１０の例を用いる、光学センサによって実行される追跡の概略図である。
【図１２】いくつかの実施形態による、レーダ撮像システム１２００の異なるコンポーネントのハードウェア図である。
【発明を実施するための形態】
【００２１】
図１は、いくつかの実施形態による、シーンとともに移動する対象物を含むシーン１０５のレーダ反射率画像を特定するレーダ撮像システム１００のブロック図を示している。レーダ撮像システム１００は、シーンの光学反射率画像を取得するように構成された少なくとも１つの光学センサ１１０と、シーンのレーダ反射率画像を取得するように構成された少なくとも１つの電磁センサ１２０とを備える。光学センサ１１０の例は、光学カメラ、深度カメラ、及び赤外線カメラのうちの１つ又は組み合わせを含む。電磁センサ１２０の例は、ミリ波（ｍｍＷａｖｅ）レーダ、テラヘルツ（ＴＨｚ）撮像センサ、及び後方散乱Ｘ線センサのうちの１つ又は組み合わせを含む。
【００２２】
光学センサ１１０は、複数の時間ステップを含む期間にわたってシーン内の対象物を追跡して、複数の時間ステップの各々について、現在の時間ステップにおける対象物の形状を生成するように構成される。種々の実施形態において、光学センサ１１０は、対象物の公称形状の変形１１５として対象物の形状を特定する。例えば、対象物の公称形状は、典型的には事前に既知であるプロトタイプ姿勢で配置された対象物の形状である。
【００２３】
電磁センサ１２０は、複数の時間ステップにわたってシーンのスナップショットを取得して、光学センサによって特定された対象物の公称形状の対応する変形によって規定された変形形状を有する対象物のレーダ反射率画像のセット１２５を生成するように構成される。とりわけ、シーン内の対象物の移動に起因して、少なくとも２つの異なるレーダ反射率画像が、異なる変形形状を有する対象物を含む。
【００２４】
レーダ撮像システム１００は、少なくとも１つのプロセッサ１３０を備える。プロセッサ１３０は、複数の時間ステップの各々について、対応する時間ステップについて特定された変形１１５を用いて、この対応する時間ステップにおいて電磁センサによって取得された対象物のレーダ反射率画像と、プロトタイプ姿勢にある対象物のレーダ反射率画像との間の変換１４５を特定する（１４０）ように構成される。とりわけ、対象物はシーン内で移動しているので、異なるレーダ反射率画像は、異なる変形を有し得る。１つの実施形態では、光学反射率画像及びレーダ反射率画像は、同期され、例えば、対応する時間ステップにおいて同時に及び／又は所定の時間シフトを有して撮影さレーダ反射率画像の変換が、同じ時間ステップにおいて同期又は取得された対応する光学反射率画像による変形生成物を用いて特定されるようになっている。
【００２５】
いくつかの実施形態は、レーダ撮像システムは、複数の時間ステップにわたって取得されたシーンの測定値を同時に用いることができるという認識に基づいている。このような測定値の系は、レーダ撮像システムのアンテナのサイズによって統御される解像度を超えてレーダ反射率画像の解像度を改善するのに用いることができる。対象物が経時的に移動するとき、異なる時間ステップにおいて、対象物は、異なる位置に位置する可能性があり、非剛体運動によって生じる異なる形状を有する可能性がある。このような対象物の変位及び変形により、測定値の系が、曖昧、すなわち、不良設定になり、解くのが困難又は非実用的なものになる。しかしながら、実施形態は、その代わりに、各レーダ反射率画像と、共通の画像、すなわち、プロトタイプ姿勢にある対象物のレーダ反射率画像との間の変換を特定し、これを用いることによって運動によって導入されるダイバーシティを活用することができる。このように、実施形態は、複数の時間ステップにわたって取得されたシーンの複数の測定値を同時に用いて、プロトタイプ姿勢にある対象物のレーダ反射率画像を生成することができる。
【００２６】
そのために、プロセッサ１３０は、対応する変換を用いて変換された変形形状を有する対象物のレーダ反射率画像を組み合わせて、プロトタイプ姿勢にある対象物のレーダ反射率画像を生成する（１５０）ように構成される。例えば、組み合わせは、プロトタイプ姿勢にある対象物のレーダ反射率画像を特定し、各スナップショットにおいて、対応する変換を用いて変換されたプロトタイプレーダ反射率画像が、対象物のレーダ反射率画像の各々に整合するようになっている。
【００２７】
いくつかの実施形態は、レーダ撮像システムの電磁センサが移動対象物を追跡することを妨げている理由の１つは、センサのアンテナの物理的サイズによって統御される電磁検知の解像度であるという認識に基づいている。具体的には、実用上の理由で、レーダ撮像システムのアンテナのサイズにより、各時間ステップにおいて対象物の粗い画像しか推定することが可能にならない。このような粗い画像は、剛体的かつ有限の変換を受けた対象物を追跡するのに適したものとすることができるが、人間の動きに典型的な任意の非剛体変換を認識しない可能性がある。
【００２８】
いくつかの実施形態は、モノクロビデオカメラ若しくはカラービデオカメラ若しくは赤外線ビデオカメラ等の光学センサ、若しくは深度カメラ、又はそれらの組み合わせは、これらに相応する解像度を有する電磁センサよりも安価であるという認識に基づいている。それゆえ、光学センサは、ターゲットが変形可能であり、かつ運動が非剛体的である場合であっても、ターゲットの運動を追跡するのに用いることができる。さらに、いくつかの実施形態は、変形可能対象物のレーダ撮像が必要でありかつ有用である多数の応用において、対象物は、レーダ撮像システムに十分に接近するとともにレーダ撮像システムに対して可視であり、光学センサが追跡のために十分な精度を提供することができるようになっているという別の認識に基づいている。
【００２９】
いくつかの実施形態は、多数の応用の場合に、必ずしも対象物が現在の時点において有する現在の姿勢が必要であるのではなく、何らかのプロトタイプ姿勢にある対象物のレーダ反射率画像を特定することで十分であるという理解に基づいている。例えば、いくつかのセキュリティ応用の場合、人物のプロトタイプ姿勢は、両手を上方又は側方に伸ばした状態での直立姿勢である。プロトタイプ姿勢で配置された対象物は、対象物が移動するにつれて、変化し得る、すなわち、変形し得る公称形状を有する。
【００３０】
いくつかの実施形態は、光学センサが、絶対モードではなく相対モードにおいてシーン内の対象物を追跡することができるという別の理解に基づいている。例えば、シーンの現在のスナップショットにおける対象物の姿勢及び／又は絶対的な現在の形状を特定するのではなく、光学センサは、対象物の公称形状に対する変形として、対象物の相対形状を特定することができる。実施形態は、光学センサによって特定された対象物の公称形状の変形を、プロトタイプ姿勢にある対象物、例えば、プロトタイプ形状を有する対象物のレーダ反射率画像を再構成するのに用いることができるという理解に基づいている。
【００３１】
図２は、光学センサを用いるいくつかの実施形態によって用いられる相対追跡の概略図を示している。実施形態は、各時点において、移動対象物、例えば人物の現在の変形形状２３０を結果としてもたらす、この対象物の公称形状２１０の変形２２０を特定することによって、この対象物を追跡する。いくつかの実施形態は、光学反射率画像における対象物の変換を示す変形２２０は、レーダ反射率画像における対象物の変換も示すという理解に基づいている。そのために、光学的運動追跡を用いてレーダ再構成を補助することによって、いくつかの実施形態によるレーダ撮像システムは、移動している非常に複雑なターゲット対象物を撮像することを可能にすることができる。
【００３２】
図３は、レーダ反射率画像再構成のためにいくつかの実施形態によって用いられる、光学反射率画像における対象物の形状の変換と、レーダ反射率画像における対象物の変換との間の関係を表すブロック図を示している。例えば、いくつかの実施形態は、変形２２０は、公称形状を有する対象物の光学反射率画像の点のロケーション及び／又は強度の置換とみなすことができるという理解を利用する。具体的には、変形２２０は、公称形状を有する対象物の光学反射率画像のロケーションを置換し、及び／又はその異なる点を除去する、サブサンプリングされた置換３１０とみなすことができる。加えて、変形２２０は、これらの置換された点の強度の置換３２０とみなすことができる。
【００３３】
いくつかの実施形態は、レーダ反射率画像における変換３５０は、プロトタイプ姿勢にある対象物の公称形状の変形に依存して、プロトタイプ姿勢にある対象物のレーダ反射率画像の異なる点を置換及び／又は除去する、サブサンプリングされた置換とみなすことができるという理解に基づいている。そのために、置換３１０は、変換３５０に到達するために保つことができる（３３０）。
【００３４】
他方、レーダ画像再構成の目的では、レーダ反射率画像における各点の反射率は、対象物の変形とともに変化しない。さらに、レーダ反射率画像の点は、対応する光学反射率画像における点に対応する。それゆえ、光学反射率等の異なるモダリティの反射率は、レーダ反射率と同じ対象物の運動及び変形を捕捉することができる。他方、レーダ反射率画像における点の強度は、スナップショット間で同じであるとともに、再構成中に測定値から推定することができる。対象物の変形を推定する際のその使用を超えて、光学反射率の強度及びその置換は、レーダ反射率画像を特定するのには有用でない場合があり、破棄することができる（３４０）。
【００３５】
図４は、レーダ反射率画像再構成のために種々の実施形態によって利用されるいくつかの原理を示す概略図を示している。具体的には、いくつかの実施形態は、同じ姿勢であるが異なる位置にある１つの対象物のレーダ反射率画像のセット４１０を、レーダ反射率画像を再構成する（４２０）のに用いることができるという理解に基づいている。典型的には、画像４１０の解像度は、画像４２０の解像度よりも低い。このような手法により、レーダ反射率画像を取得するのに用いられる電磁センサのコストを削減することが可能になる。典型的には、この状況において、対象物は、レーダ反射率画像４１０が取得される複数の時間ステップにわたる、レーダに対する並進及び回転のみを呈する。
【００３６】
いくつかの実施形態は、この手法は、レーダ反射率画像４４０における対象物が異なる形状に変形する状況、すなわち、対象物が非剛体であり、かつシーン内で移動している状況のために変更することができるという理解に基づいている。具体的には、実施形態は、変換３５０を用いて、異なる形状を有する対象物を有するレーダ反射率画像４４０を、同じ形状、すなわち、プロトタイプ姿勢にある対象物の公称形状を有する対象物を有するレーダ反射率画像４５０に変換する。それらのレーダ反射率画像４５０を再構成して、プロトタイプ姿勢にある対象物の再構成されたレーダ反射率画像４６０を生成することができる。前述と同様に、画像４６０は、画像４４０の解像度よりも高い解像度を有することができる。
【００３７】
例えば、１つの実施形態は、プロトタイプ姿勢で配置された対象物の公称形状を、画像４４０のうちの１つ、例えば、画像４４１内の対象物の形状として選択する。このようにして、選択された形状を有する対象物のレーダ反射率画像４４１と、プロトタイプ姿勢にある対象物の対応する画像４５１との間の変換３５０は、恒等変換である。付加的又は代替的に、１つの実施形態では、プロトタイプ姿勢で配置される対象物の公称形状を示す情報は、例えば、入力インタフェースを介して受信される。
【００３８】
いくつかの実施形態は、同じ対象物の表現を、２つの別個の離散化グリッド、すなわち、対象物を撮像する際の基準系及び座標／インデックス付けシステムにおいて規定することができるという理解に基づいている。第１のグリッドは、対象物自体の上の離散化であり、必ずしもではないが、典型的には、対象物のプロトタイプ姿勢上で規定される。例えば、人間の場合の典型的なプロトタイプ姿勢は、両手を側方に伸ばした状態での直立姿勢である。グリッドは、人間上の点をインデックス付けし、人間が移動するにつれて変形する。しかしながら、点は、人間の解剖学的構造に対して移動しない。例えば、親指の先端における点は、親指が身体の残りの部位に対して位置決めされ得る場所にかかわらず、常に同じインデックスを有する。第２のグリッドは、レーダセンサの正面の空間の離散化である。このグリッドは、典型的には、動径座標又はデカルト座標（矩形座標）であり、センサに対して固定される。
【００３９】
ターゲットがレーダの正面で移動するにつれて、第１のグリッドは、（第１のグリッドは、ターゲットの形状に常に順応するので）変形し、第２のグリッド上の異なる位置を占有する。換言すれば、いくつかの実施形態では、第１のグリッドの点の、第２のグリッド上の点へのマップは、第１のグリッドの変形に対応するサブサンプリングされた置換であり、これは、追跡アルゴリズム、及び運動追跡に用いられる光学センサ（複数の場合もある）から得ることができる。より一般的には、第１のグリッドから第２のグリッドへの表現のマップは、レーダ特性と組み合わされた、追跡アルゴリズム及び光学センサによって得られる線形演算子である。いくつかの実施形態では、このマップは、サブサンプリングされた置換がなければ、ぼやけた若しくはフィルタリングされたサブサンプリングされた置換、又は、連続空間における座標のぼやけた若しくはフィルタリングされたサブサンプリングされた再配置となる場合があり、この再配置は後に離散化され、それゆえ、点がグリッドロケーション間を移動し得る。
【００４０】
レーダ反射率画像再構成の計算コストを削減するために、対象物のこのデュアルグリッド表現により、光学反射率画像とレーダ反射率画像との間の関係を能率化することが可能になる。この変形の知識、及び複数のスナップショットを用いて、ＩＳＡＲに類似しているが、変形を考慮に入れて効率的に改変された技法を用いてターゲット画像を再構成することが可能である。この改変は、困難であり、起こり得るオクルージョン及び／又は追跡誤差を考慮するために、新たに開発されたソルバーを必要とする。
【００４１】
図５は、いくつかの実施形態による、対象物のデュアルグリッド表現５００の概略図を示している。例えば、この例では人間である、変形可能対象物５１０は、プロトタイプ姿勢にある。プロトタイプ形式におけるレーダ反射率画像を構成するために、グリッド５２０を、対象物のプロトタイプ姿勢上に規定することができる。換言すれば、デュアルグリッド表現の第１のグリッド５２０は、対象物自体を離散化するプロトタイプグリッドである。例えば、画像におけるグリッドは、１、２、．．．、Ｎとインデックス付けされたグリッド位置５３０を有する。グリッドにおける各点のレーダ反射率５４０は、ｘ１、ｘ２、．．．、ｘＮと表記される。プロトタイプグリッドをインデックス付けするいくつかの方法があるが、一般に、これらの方法は、図面に示すように、常にシーケンスグリッドにマッピングすることができる。本発明の実施形態において、任意のグリッドインデックス付け手法を用いることができる。
【００４２】
デュアルグリッド表現の第２のグリッドは、シーン自体を離散化するレーダグリッドである。例えば、１つの実施形態では、第２のグリッドは、矩形（デカルト）グリッド５５０である。しかしながら、動径グリッド等の他のグリッドも、異なる実施形態によって用いられる。プロトタイプグリッドと同様に、種々の実施形態によって用いられるレーダグリッドをインデックス付けするいくつかの方法がある。例えば、図５に示す実施形態では、レーダグリッドは、デカルト座標５６０を用いてインデックス付けされる。電磁センサ、すなわち、レーダ５７０及び／又は個々のレーダ送受信機５８０は、既知のロケーションにおいて、レーダグリッド内の位置を有する。
【００４３】
図６は、１つの実施形態による、デュアルグリッド表現を用いて対象物の運動を捕捉する概略図を示している。図６は、プロトタイプ姿勢６００にある対象物、及び、単一のスナップショットにおけるレーダの正面の対象物の姿勢６５０を示している。レーダの正面の対象物の姿勢は、第２のグリッドにおける対象物の変形を表すために、第１のグリッドの変形６４０によって記述することができる。レーダグリッドにおける対象物の反射率は、レーダのハードウェアに関係付けられたレーダフォワード演算子に従って、レーダ６７０及びその個々の送受信機６８０によって観測される。
【００４４】
上記で説明したように、レーダグリッドの変形は、光学センサによって推測することができる。なぜならば、対象物の変換は、レーダモダリティ及び光学モダリティの双方において同じであるためである。それゆえ、光学センサは、光学画像変形を観測し、プロトタイプグリッドの、レーダグリッドへの変形を推測することができる。
【００４５】
図７は、１つの実施形態による、デュアルグリッド表現を用いて対象物の運動によって引き起こされた対象物の変換を捕捉する概略図を示している。本実施形態は、プロトタイプ姿勢にある対象物のレーダ反射率画像のいくつかの点のロケーションを置換し、プロトタイプ姿勢にある対象物の公称形状の変形に依存してプロトタイプ姿勢にある対象物のレーダ反射率画像の異なる点を除去するサブサンプリングされた置換として、各変換を特定する。
【００４６】
具体的には、変形は、サブサンプリングされた座標置換７４５、すなわち、プロトタイプグリッドの座標系におけるインデックスを、レーダグリッドのインデックスにマッピングする変換である。それゆえ、レーダによって観測される対象物の反射率は、プロトタイプグリッドにおける対象物の反射率６１０を、対象物の姿勢と一貫した、レーダグリッドにおける対象物の反射率にマッピングする（７６０）消去を用いた単純な置換である。
【００４７】
より一般的には、いくつかの実施形態では、レーダグリッドにおける変形した対象物の反射率画像は、プロトタイプ姿勢にある対象物の反射率画像の線形変換であり、これは、
【数１】
2021505891.tif 000003
と記述することができ、ここで、ｘは、プロトタイプ姿勢にある対象物のレーダ反射率画像であり、ｚは、レーダグリッドにおける変形した対象物のレーダ反射率画像である。
【００４８】
図８は、いくつかの実施形態による、レーダ反射率画像を取得する電磁センサ、例えば、レーダの概略図を示している。レーダ８７０は、シーンを検知するのに用いられる送受信機８８０（又は別個の送信機及び受信機）を備える。特に、送受信機のうちの１つ以上がシーンに対してパルス８２０を送信する。パルスは、対象物の反射率に従って、対象物８５０によって吸収されるか、又は対象物８５０によって反射される。反射したパルス８３０は、１つ以上の送受信機８８０によって取得される。パルスの送信及び取得は、レーダ制御、パルス送信及び取得システム８９０によって制御され、レーダ制御、パルス送信及び取得システム８９０は、パルス形状及びタイミングを制御するとともに、送受信機のいずれが送信を行うのか及びいずれが受信を行うのかを制御することができる。
【００４９】
システムは、受信パルスに応答して送受信機が生成する信号を取得するようにも構成される。システムは、パルス反射の記録を表すデータｙ８９５を出力する。これらの記録は、反射のサンプル又は反射の関数、例えば、復調、フィルタリング、デチャーピング（de-chirping）、又は当該技術分野において既知の他の前処理関数である。
【００５０】
取得されたデータｙは、ここではＡを用いて表記される当該技術分野においてフォワード演算子としても知られているレーダ取得関数を介した、レーダシーン内の変形した対象物８５０のレーダ反射率画像である、ｚの線形測定値である。それゆえ、単一のスナップショットについての取得されたデータは、
【数２】
2021505891.tif 000004
に等しい。
【００５１】
レーダシステムが十分な数のセンサ及び大きい開口を有する場合、データｙは、変形姿勢にある対象物のレーダ反射率画像であるｚを復元するのに十分なものとすることができる。しかしながら、高解像度で画像を復元するには、大きくかつ高価なレーダレイが必要になる。さらに、特定の変形において、対象物の一部がアレイから可視ではない可能性があり、このことにより、レーダレイサイズにかかわらず、これらのレーダ反射率が復元不能になり得る。
【００５２】
この理由で、いくつかの実施形態のレーダ撮像システムは、異なる変形下にあるレーダ画像のいくつかのスナップショットを取得し、
【数３】
2021505891.tif 000005
ここで、ｉ＝１，．．．，Ｔは、スナップショットのインデックスであり、Ｔは、スナップショットの総数である。種々の実施形態において、スナップショット間の変化は、対象物の変形のみであり、したがって、レーダ反射率画像の変形
【数４】
2021505891.tif 000006
のみである。いくつかの実施形態では、例えば異なるトランスデューサーが各スナップショットを取得するのに用いられる場合、レーダフォワード演算子は、異なるものとすることができる。これは、（３）を、スナップショット依存フォワード演算子を含めるように変更することによって上記のモデルにおいて対応される。
【数５】
2021505891.tif 000007
【００５３】
全てのｉについてＡ＝Ａｉである場合、（４）が（３）を記述することは自明である。
【００５４】
いくつかの実施形態は、対応する変換を用いて変換された変形形状を有する対象物のレーダ反射率画像を組み合わせることによって、プロトタイプ姿勢にある対象物のレーダ反射率画像を再構成する。例えば、複数のスナップショットを用いて、再構成問題は、
【数６】
2021505891.tif 000008
からｘを復元する問題になり、これは、
【数７】
2021505891.tif 000009
が既知であると仮定して、例えば最小二乗逆変換を用いて実行することができる。いくつかの実施形態は、画像ｘを再構成することに対して、スパース性又は平滑性等の追加の正則化制約も課し、これは、部分空間の何らかのより低次元の基底又は大きな辞書においてｘを表現することによって行われ、これはすなわちｘ＝Ｂｈであり、ここで、Ｂは、低次元基底又は辞書であり、ｈは、ｘよりも低次元又はスパースである係数のセットである。代替的又は付加的に、いくつかの実施形態は、ｘに対して低全変動構造、すなわち、その勾配におけるスパース性を課す。全てのこれらの正則化制約は、異なる技法を用いて正則化を行うことによって課すことができる。
【００５５】
いくつかの実施形態は、光学画像等の、異なるモダリティにおいて取得される画像の変形からのレーダ反射率画像の変換
【数８】
2021505891.tif 000010
を特定する。換言すれば、より高い解像度のモダリティを用いることによって、対象物の物理的変形を推測することが可能である。対象物のレーダ反射率画像内の各点の反射率は、点の位置、すなわち対象物の変形とともに変化しないので、異なるモダリティのセンサによって推測される変形は、対象物のレーダ反射率の変形を推測するのに用いることができる。
【００５６】
モノクロカメラ、カラーカメラ、又は赤外線カメラ等の光学センサは、対象物がシーン中を移動するにつれてそれらの対象物の反射率のスナップショットを記録する。或る距離を置いて配置されたこれらのカメラのうちの２つ以上を用いて、当該技術分野において点の深度として知られる、各カメラからの対象物の各点の距離を求めることが可能である。同様に、深度カメラは、深度を求めるのに、光学パルスの飛行時間又は構造化光パターンを用いる。対象物が移動するにつれて光反射率及び／又は対象物の深度を取得することによって、当該技術分野において、対象物の点を追跡する、すなわち、各スナップショットにおいて光学画像又は深度画像の変形から対象物の変形を特定する技法がある。対象物の光学的な反射が、照明、オクルージョン、シャドウイング及び他の影響に起因した変形とともに変化するものの、当該技術分野においてこの変形を特定することが可能である。
【００５７】
したがって、カメラ又は深度センサ等の光学センサを用いて、各スナップショットにおける変形
【数９】
2021505891.tif 000011
を推測することができる。光学センサは、（４）において記述されるように、レーダセンサがレーダ反射率画像のスナップショットを取得するのと同じ時点において、対象物のスナップショットを取得する。このレーダ反射率画像は、その後、レーダ反射率画像を再構成するために、対象物の変形を追跡するのに用いることができる。いくつかの実施形態では、光学センサは、レーダセンサとは異なる時点においてスナップショットを取得してもよい。その場合、レーダがスナップショットを取得する時点における対象物の変形は、補間又はモーションモデリング等の当該技術分野において既知の技法を用いて、複数の光学スナップショットを用いて推測することができる。
【００５８】
図９は、１つの実施形態による、レーダ反射率画像の再構成の概略図を示している。この実施形態では、レーダ撮像システムは、レーダレイ９１０等の１つ以上の電磁センサと、１つ以上の光学センサ９２０とを備える。対象物９３０、例えば人間は、センサがスナップショットを取得する間、レーダ及び光学センサの正面で移動及び変形する。光学センサによって取得されるデータは、光学追跡システム９４０によって処理され、光学追跡システム９４０は、スナップショットごとの対象物及びその変形９５０の追跡を生成する。また、光学追跡システム９４０は、光学変形を対象物のプロトタイプ姿勢にマッピングし、すなわち、スナップショットごとに、マッピング
【数１０】
2021505891.tif 000012
を求める。このマッピングが各レーダスナップショットにおいて取得されたデータとともに用いられることで、対象物のレーダ反射率画像９８０が再構成される（９７０）。再構成されたレーダ反射率画像は、システムによってプロトタイプ姿勢において表すことができ、任意の姿勢において、かつシステム又はそのユーザに適した任意の変更を用いて変換し、例えば、更なる検査のために画像の一部を強調することができる（９９０）。
【００５９】
このように、レーダ撮像システムは、変形形状にある対象物を含む光学反射率画像の点と、公称形状にある対象物を含むプロトタイプ光学反射率画像の点との間の光学的変換を含むように各変形を生成する、光学センサを備える追跡システムを備える。レーダ撮像システムのプロセッサは、光学的変換の関数として変換を求める。
【００６０】
図１０は、いくつかの実施形態によって用いられる、各スナップショットにおける光学センサ及びレーダセンサの正面の対象物の運動及び変形の一例を示している。この例では、人間１０９０がセンサの正面を歩行する。センサは、異なる姿勢にある対象物を有する、異なる時点におけるスナップショットを得る。例えば、図１０では、各スナップショットにおいて、人間は、左から右に歩行するので、センサの正面の異なる位置にあり、人間の足の運びに対する各スナップショットのタイミングに依存して異なる姿勢にある。
【００６１】
図１１は、図１０の例を用いて光学センサによって実行される追跡の概略図を示している。とりわけ、光学反射率画像における対象物の形状の変形と、レーダ反射率画像の対応する変換との間にスナップショットベースの１対１対応がある。
【００６２】
人間１１００上の各点は、各時点においてカメラによって追跡され、次に、プロトタイプ姿勢１１９０における対応する点にマッピングされる。各点は、いくつかのスナップショットにおいて可視であることもあるし、可視でないこともある。例えば、右肩１１１０、右膝１１２０、又は右足首１１３０上の点は、常に可視であることがあるが、一方では、左手１１５０上の点は、身体の背後に手があり、センサに対して可視でない場合（１１６０）、遮蔽されることがある。追跡により、異なるスナップショットにおける点と、プロトタイプ画像における対応する点との間の対応１１８０が生成される。この対応が用いられて、
【数１１】
2021505891.tif 000013
が生成される。いくつかの特定のスナップショット、例えば、１１６０においてセンサに対して点が可視でない場合、
【数１２】
2021505891.tif 000014
は、この点を、レーダグリッドにマッピングせず、すなわち、演算子の対応する列はオールゼロを含む。この意味において、
【数１３】
2021505891.tif 000015
は、光学センサによって特定される特定のスナップショットにおいて可視である点のみをマッピングするように、プロトタイプレーダ画像をサブサンプリングする。
【００６３】
図１２は、いくつかの実施形態による、レーダ撮像システム１２００の異なるコンポーネントのハードウェア図を示している。レーダ撮像システム１２００は、記憶された命令を実行するように構成されたプロセッサ１２２０と、プロセッサによって実行可能な命令を記憶するメモリ１２４０とを備える。プロセッサ１２２０は、シングルコアプロセッサ、マルチコアプロセッサ、コンピューティングクラスター、又は任意の数の他の構成とすることができる。メモリ１２４０は、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、フラッシュメモリ、又は他の任意の適したメモリシステムを含むことができる。プロセッサ１２２０は、バス１２０６を経由して、１つ以上の入力及び出力デバイスに接続される。
【００６４】
これらの命令は、プロトタイプ姿勢にある対象物のレーダ反射率画像を再構成する方法を実施する。そのために、レーダ撮像システム１２００は、プロセッサ１２２０のための実行可能命令を記憶する異なるモジュールを記憶するように適応された記憶デバイス１２３０も備えることができる。記憶デバイスは、上記で説明したように、光学センサデータの測定値１２３４を用いて各スナップショットにおける対象物の変形を推定するように構成された変形モジュール１２３１、光学的変形
【数１４】
2021505891.tif 000016
の推定値である、レーダ反射率画像Ｆｉの変換を得るように構成された変換モジュール１２３２、及び、上記の式（４）において、真の
【数１５】
2021505891.tif 000017
の代わりに推定値Ｆｉを用いるとともに、任意選択で正則化を適用して、ｘについて解くように構成された再構成モジュール１２３３を記憶する。記憶デバイス１２３０は、ハードドライブ、光学ドライブ、サムドライブ、ドライブのアレイ、又はこれらの任意の組み合わせを用いて実施することができる。
【００６５】
レーダ撮像システム１２００は、光学センサ及び電磁センサの測定値１２９５を受信する入力インタフェースを備える。例えば、いくつかの実施態様では、入力インタフェースは、プロセッサ１２２０を、キーボード１２１１及びポインティングデバイス１２１２に接続する、レーダ撮像システム１２００内のヒューマンマシンインタフェース１２１０を備え、ポインティングデバイス１２１２は、とりわけ、マウス、トラックボール、タッチパッド、ジョイスティック、ポインティングスティック、スタイラス、又はタッチスクリーンを含むことができる。
【００６６】
付加的又は代替的に、入力インタフェースは、レーダ撮像システム１２００を、バス１２０６を経由して、ネットワーク１２９０に接続するように適応されたネットワークインタフェースコントローラー１２５０を含むことができる。ネットワーク１２９０を経由して、測定値１２９５を、記憶、及び／又は更なるプロセスのためにトレーニングデータ及び／又は動作データ１２３４として記憶システム１２３０内にダウンロード及び記憶することができる。
【００６７】
レーダ撮像システム１２００は、プロトタイプ姿勢にある対象物のプロトタイプレーダ反射率画像をレンダリングする出力インタフェースを備える。例えば、レーダ撮像システム１２００は、バス１２０６を経由して、レーダ撮像システム１２００をディスプレイデバイス１２６５に接続するように適応されたディスプレイインタフェース１２６０にリンクすることができ、ディスプレイデバイス１２６５は、とりわけ、コンピュータモニター、カメラ、テレビジョン、プロジェクター、又はモバイルデバイスを含むことができる。
【００６８】
例えば、レーダ撮像システム１２００は、レーダ撮像システムを、再構成されたレーダ反射率画像に基づいて制御される異なるシステム１２７５に接続するように適応されたシステムインタフェース１２７０に接続することができる。付加的又は代替的に、レーダ撮像システム１２００は、バス１２０６を経由して、レーダ撮像システム１２００を画像再構成の結果に基づいて動作することができるアプリケーションデバイス１２８５に接続するように適応されたアプリケーションインタフェース１２８０に接続することができる。
【００６９】
いくつかの実施形態は、いくつかの事例において、
【数１６】
2021505891.tif 000018
の推定値Ｆｉは、誤差を含むという認識に基づいている。誤差は、
【数１７】
2021505891.tif 000019
とモデル化することができ、ここで、Ｅｉは、Ｆｉと同様の構造を有するが、より制約されている。換言すれば、Ｅｉは、サブサンプリングされた置換、又は例えばぼけを許容するより一般的な演算子でもある。しかしながら、Ｅｉは、運動追跡における誤差をモデル化し、運動追跡は、一般に正しいので、Ｅｉが実行するマッピングは、推定値Ｆｉが点を配置した位置から少し離れるように点を変位させることを可能にするのみである。要約すれば、システムの運動追跡部から計算されるＦｉは、ターゲットグリッドを概ね正しい位置に配置し、Ｅｉは、この配置に対する小さい補正を行う。
【００７０】
そのために、いくつかの実施形態では、プロセッサは、局所誤差補正を用いて各変換を調整し、プロトタイプ姿勢にある対象物のレーダ画像と、各局所誤差補正とを同時に求める。例えば、プロセッサは、交互最小化、射影、及び制約された正規化のうちの１つ又は組み合わせを用いて、プロトタイプ姿勢にある対象物のレーダ画像と、各局所誤差補正とを同時に求める。
【００７１】
それらの実施形態は、運動追跡誤差Ｅｉは、一般に未知であるという認識に基づいている。そうではなく、誤差が既知である場合、運動誤差を補正することは些細なことになるであろう。それゆえ、また、レーダ撮像システムは、誤差を補正するために、スナップショットからＥｉを推定する。換言すれば、いくつかの実施形態では、レーダ撮像システムのプロセッサは、
【数１８】
2021505891.tif 000020
を解くように構成され、ここで、ｘに加えて、全てのＥｉが未知である。
【００７２】
種々の実施形態が、交互最小化を行うか、又は、Ｅｉ及びｘの外積を推定し、結果として得られる対象物上に低ランク構造を課すことによって、より高次元の空間に持ち上げる等の異なる方法を用いて、誤差を復元する。制約及び／正則化を用いてＥｉの制約された構造を課すことができることに留意されたい。
【００７３】
上記のように、レーダが十分なスナップショットを得たことを仮定すると、推定値を計算し、ｘを復元することができる。そのために、プロセッサは、上記で説明したように、上記の式（６）において、真の
【数１９】
2021505891.tif 000021
の代わりに推定値Ｆｉを用いるとともに、必要に応じて制約及び正則化を適用して、ｘについて解く。追跡システムが誤差を実行することを仮定するか否かを問わず、すなわち、誤差を補正するか否かを問わず、システム全体は、プロトタイプ姿勢においてグリッドによってインデックス付けされる、関心対象物の画像であるｘを復元する。
【００７４】
本発明の上記で説明した実施形態は、多数の方法のうちの任意のもので実施することができる。例えば、実施形態は、ハードウェア、ソフトウェア又はそれらの組み合わせを用いて実施することができる。ソフトウェアで実施される場合、ソフトウェアコードは、単一のコンピュータに設けられるのか又は複数のコンピュータ間に分散されるのかにかかわらず、任意の適したプロセッサ又はプロセッサの集合体において実行することができる。そのようなプロセッサは、１つ以上のプロセッサを集積回路部品に有する集積回路として実装することができる。ただし、プロセッサは、任意の適したフォーマットの回路類を用いて実装することができる。
【００７５】
また、本発明の実施形態は、例が提供された方法として実施することができる。この方法の一部として実行される動作は、任意の適切な方法で順序付けすることができる。したがって、動作が示したものと異なる順序で実行される実施形態を構築することができ、これには、例示の実施形態では一連の動作として示されたにもかかわらず、いくつかの動作を同時に実行することを含めることもできる。
【００７６】
請求項の要素を修飾する、特許請求の範囲における「第１」、「第２」等の序数の使用は、それ自体で、１つの請求項の要素の別の請求項の要素に対する優先順位も、優位性も、順序も暗示するものでもなければ、方法の動作が実行される時間的な順序も暗示するものでもなく、請求項の要素を区別するために、単に、或る特定の名称を有する１つの請求項の要素を、同じ（序数の用語の使用を除く）名称を有する別の要素と区別するラベルとして用いられているにすぎない。
【図１】
2021505891.tif 000022
【図２】
2021505891.tif 000023
【図３】
2021505891.tif 000024
【図４】
2021505891.tif 000025
【図５】
2021505891.tif 000026
【図６】
2021505891.tif 000027
【図７】
2021505891.tif 000028
【図８】
2021505891.tif 000029
【図９】
2021505891.tif 000030
【図１０】
2021505891.tif 000031
【図１１】
2021505891.tif 000032
【図１２】
2021505891.tif 000033
【国際調査報告】
2021505891.tif 000034
2021505891.tif 000035
2021505891.tif 000036