(57)【要約】【課題】計算の複雑性を軽減して、質の高い画像を形成することのできるマイクロ波撮像システムを提供する。【解決手段】撮像システム（１０）は、光学（可視光または近IR）撮像システム（１００）およびマイクロ波撮像システム（２００）を含む。光学撮像システムは、物体（２０）の光学画像を捕捉し、該光学画像を表す光学画像データ（１６５）を生成し、該光学画像データから光学画像情報（１７５）を抽出する。マイクロ波撮像システムは、光学画像情報に応答して、物体のマイクロ波画像を表すマイクロ波画像データを生成する。【選択図】図４
2005351893.tif 000002
【特許請求の範囲】
【請求項１】
物体（２０）の光学画像を捕捉し、該光学画像を表わす光学画像データ（１６５）を生成し、該光学画像データ（１６５）から光学画像情報（１７５）を抽出するよう構成された光学撮像システム（１００）と、
マイクロ波放射（２２０）で前記物体（２０）を照射し、該照射に応答してマイクロ波測定の結果（２４５）を生成するよう動作することができるマイクロ波撮像システムであって、前記光学画像情報（１７５）および該マイクロ波測定結果（２４５）に応答して、該物体（２０）のマイクロ波画像を表わすマイクロ波画像データ（２５５）を生成するよう構成されたマイクロ波撮像システム（２００）と、
を備える、撮像システム（１０）。
【請求項２】
前記マイクロ波撮像システム（２００）は、前記光学画像情報（１７５）に応答して、前記物体（２０）に関連した空間領域に対応するデータ・ポイント（５５０）を識別するよう動作することができ、
さらに、前記マイクロ波撮像システム（２００）は、前記マイクロ波測定結果（２４５）を使用して、前記識別されたデータ・ポイント（５５０）について解き、マイクロ波画像データ（２５５）を生成するよう動作することができる、
請求項１に記載の撮像システム（１０）。
【請求項３】
前記マイクロ波撮像システム（２００）は、前記光学画像情報（１７５）に応答して、前記空間領域に前記マイクロ波放射（２２０）を向けるよう動作することができる、
請求項２に記載の撮像システム（１０）。
【請求項４】
前記空間領域は、前記物体（２０）の周辺（６００）に位置付けられる、
請求項２に記載の撮像システム（１０）。
【請求項５】
前記空間領域は、前記物体（２０）の少なくとも１つの面を含む境界領域（７００）内に位置付けられる、
請求項２に記載の撮像システム（１０）。
【請求項６】
前記マイクロ波撮像システム（２００）は、前記光学画像情報（１７５）に応答して、前記物体（２０）の動きを追跡するよう動作することができる、
請求項１に記載の撮像システム（１０）。
【請求項７】
物体（２０）の画像を形成するための方法であって、
物体（２０）の光学画像を表わす光学画像データ（１６５）を取得するステップ（８２０または９２０）と、
前記光学画像データ（１６５）から、光学画像情報（１７５）を抽出するステップ（８３０または９３０）と、
前記光学画像情報（１７５）と、マイクロ波放射（２２０）による前記物体（２０）に対する照射に応じて行われたマイクロ波測定の結果（２４５）と、に応答して、前記物体（２０）のマイクロ波画像を表わすマイクロ波画像データ（２５５）を生成するステップ（８５０または９５０）と、
を含む、方法。
【請求項８】
前記マイクロ波画像データを生成する前記ステップ（８５０）は、さらに、
前記光学画像情報（１７５）を使用して、前記物体（２０）に関連した空間領域に対応するデータ・ポイント（５５０）を識別するステップ（１０４０）と、
前記マイクロ波測定結果（２４５）を使用して、前記識別されたデータ・ポイント（５５０）について解くステップ（１０７０）と、
を含む、請求項７に記載の方法。
【請求項９】
さらに、前記光学画像情報（１７５）を使用して、前記空間領域に前記マイクロ波放射（２２０）を向けるステップ（１０５０）を含む、
請求項８に記載の方法。
【請求項１０】
前記マイクロ波画像データを生成する前記ステップ（８５０または９５０）は、さらに、
前記光学画像情報（１７５）に応答して、前記物体（２０）の動きを追跡し、前記マイクロ波画像データ（２５５）を生成するステップ（１１００）を含む、
請求項７に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、光学的に補強されるマイクロ波撮像システム及び方法に関する
【背景技術】
【０００２】
典型的なマイクロ波撮像（マイクロ波イメージング）システムは、３０ｃｍ〜０．３３ｃｍの自由空間における波長に対応して、１ＧＨｚ〜１００ＧＨｚの周波数範囲で動作する。比較すると、光学すなわち可視光撮像システムは、０．４μｍ〜０．７μｍの波長に対応して、７５０ＴＨｚ〜４３０ＴＨｚの周波数範囲で動作する。両方とも、本質的に電磁波であるが、波長が異なれば、異なる撮像特性が得られる。例えば、マイクロ波放射は、可視光にとって不透明な物体を貫通することが可能である。結果として、マイクロ波撮像システムは、外部の層の向こう側にある物体の測定結果を得ることができる。
【０００３】
従来からのマイクロ波撮像システムは、物体からのマイクロ波放射(microwave radiation)を測定し、該放射の測定結果に基づいて物体の画像を構成することに依存する。該放射の測定結果は、アンテナ及び隣接する受信回路要素を用いて得られる。アンテナは、単一要素であってもよいし、あるいは、より小さいサブアンテナ要素のアレイから構成されるアンテナであってもよい。さらに、アンテナ及び受信回路は、送信モード、受信モード、または、送信モードと受信モードの組み合わせで動作することができる。
【０００４】
測定されるマイクロ波放射には、物体から散乱する波面の振幅及び位相の一方または両方が含まれる。振幅及び／または位相の測定結果を処理して、物体の画像が構成される。例えば、サンプリングされた波面を、フーリエ(Fourier)に基づくコンピュータ画像構成アルゴリズム(computer image construction algorithm)を用いて構成することができる。フーリエに基づくコンピュータ画像構成アルゴリズムの例については、以下の非特許文献１に記載されている。
【非特許文献１】Ｍｅｈｒｄａｄ  Ｓｏｕｍｅｋｈ、「Ｆｏｕｒｉｅｒ  Ａｒｒａｙ  Ｉｍａｇｉｎｇ」、１９９４年
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、画像構成プロセスは、計算集約的であることが多い。さらに、多くの場合、結果として構成された画像は、解像度の不足、または、スペックル(speckle)のような処理アーティファクトの影響を被る。
【０００６】
従って、本発明の目的は、計算の複雑性を軽減して、質の高い画像を構成するマイクロ波撮像システムを提供することにある。
【課題を解決するための手段】
【０００７】
本発明の実施態様によれば、光学（可視光または近ＩＲ）の撮像システム及びマイクロ波の撮像システムを含む撮像システムが得られる。光学撮像システムは、物体の光学画像を捕捉し、該光学画像を表わす光学画像データを生成し、該光学画像データから光学画像情報を抽出するよう構成されている。マイクロ波撮像システムは、マイクロ波放射で物体を照射し、それに応答してマイクロ波測定の結果を生成するよう動作することができる。マイクロ波撮像システムは、光学画像情報及びマイクロ波測定結果に応答して、物体のマイクロ波画像を表わすマイクロ波画像データを生成するよう構成されている。
【０００８】
一実施態様において、マイクロ波撮像システムは、光学画像情報に応答して、物体に関連した空間領域に対応するデータ・ポイントを識別し、マイクロ波測定結果を使用して、該識別されたデータ・ポイントについて解くよう動作することができる。他の一実施態様では、マイクロ波撮像システムは、物体に関連した空間領域にマイクロ波照射を向けるよう動作することができる。該空間領域は、光学画像情報を使用して識別される。さらに他の一実施態様では、マイクロ波撮像システムは、光学画像情報に応答して、物体の動きを追跡するよう動作することができる。
【０００９】
光学撮像システムは、高速で単純なアルゴリズムを使用して、光学画像情報を抽出する。光学画像情報によって、マイクロ波画像を構成する計算の複雑性を軽減し、物体についてマイクロ波照射の対象となる領域を制限することが可能になり、その結果、解像度を向上させ、マイクロ波画像のアーティファクトを軽減することが可能になる。さらに、本発明によれば、上述のもの以外の、または、それらの代わりとなる、他の特徴及び利点を備えた実施態様が提供される。これらの特徴及び利点の多くは、図面に関連した下記の説明によって明らかにされる。
【発明を実施するための最良の形態】
【００１０】
ここに開示する発明を、本発明の重要な実施形態を示す図面を参照して説明する。
【００１１】
図１は、マイクロ波撮像システム２００が、光学撮像システム１００によって強化された、典型的な撮像システム１０の概略を示す。本明細書において用いられる限りにおいて、「マイクロ波撮像システム」という用語は、マイクロ波の周波数レンジで動作する撮像システムを表わしており、マイクロ波撮像システムによって結果として得られる画像を、「マイクロ波画像」と呼ぶ。さらに、本明細書において用いられる限りにおいて、「光学撮像システム」という用語は、可視光または近ＩＲの周波数レンジで動作する撮像システムを表わしており、光学撮像システムによって結果として得られる画像を、マイクロ波撮像システムによって得られるマイクロ波画像と区別するため、「光学画像」と呼ぶ。
【００１２】
撮像システム１０は、例えば、手荷物または乗客を検査するための空港警備システム、または、任意の他のマイクロ波撮像の用途に使用されることができる。光学撮像システム１００は、光１２０で物体２０を照射するための光源１１０と、該物体からの反射光１３０を受光して、物体２０の光学画像を捕捉するためのカメラ１４０と、を含む。カメラ１４０は、光学画像を捕捉するための１つ以上のカメラ１４０を含む。マイクロ波撮像システム２００は、マイクロ波放射２２０を放出して物体２０を照射するように構成されたマイクロ波ノード２１０及び２３０を含む。マイクロ波ノード２１０及び２３０は、さらに、物体から反射したマイクロ波放射２２５を受信して、物体２０のマイクロ波画像を捕捉するよう構成されている。
【００１３】
図２には、光学撮像システム１００の詳細が示されている。上述したように、光源１１０は、光１２０で物体２０を照射する。光源１１０は、任意の適切な可視光源または近ＩＲ光源とすることができる。例えば、光源１１０は、１つ以上の点光源、１つ以上の視準光源(collimated light source)または構造化光源(structured light source)、１つ以上の光源アレイ、または、光学撮像システム１００に用いるのに適した光源の他の任意の組み合わせといった、１つ以上の発光素子を含むことができる。物体２０からの反射光１３０は、カメラ１４０によって受光される。カメラ１４０が、光学撮像システム１００に最適に配置された１つ以上のカメラを含むことは理解されたい。それぞれのカメラ１４０について、反射光１３０は、レンズ１４５によってカメラ１４０内のセンサ１５０に送られる。センサ１５０は、物体２０の光学画像を捕捉して該光学画像を表わす光学画像データ１６５を生成するため、複数のピクセル１５５を含む。
【００１４】
光学撮像システム１００は、さらに、物体２０の画像を表わす光学画像データ１６５を受け取って、該光学画像データ１６５に処理を施し、光学画像に関連した光学画像情報１７５を抽出するためのプロセッサ１６０を含む。プロセッサ１６０は、マイクロプロセッサ、マイクロコントローラ、プログラマブルロジックデバイス、または、本明細書において説明する機能を実行することができる他のタイプの処理デバイスであることができる。さらに、プロセッサ１６０は、複数のプロセッサを含むこともできるし、あるいは、いくつかのアルゴリズムを実行することができる単一の汎用プロセッサであってもよい。
【００１５】
光学画像情報１７５は、マイクロ波撮像システム２００（図１に示す）によって、物体２０のマイクロ波画像を表わすマイクロ波画像データを生成するのに使用される。例えば、一実施態様では、光学画像情報１７５によって、物体２０に関連した、対象となる空間領域に対応するデータ・ポイントが識別される。該対象となる空間領域に対応する該識別されたデータ・ポイントを使用して、該対象となる空間領域にマイクロ波放射を向けることができ、または、該識別されたデータ・ポイントに対応するマイクロ波測定結果を用いて、マイクロ波画像を構成する(construct)ことができる。他の実施態様では、光学画像情報１７５は、マイクロ波測定結果と物体２０の位置を相関させることによって、物体２０の動きを追跡するのに使用される。
【００１６】
光学画像情報１７５は、マイクロ波撮像システムによる後続の処理に備えて、コンピュータ可読媒体１７０に記憶されることができ、さらに（または）、ディスプレイ１８０に直接出力されることができる。コンピュータ可読媒体１７０は、ランダム・アクセス・メモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、フラッシュ・メモリ、ＥＥＰＲＯＭ、ディスク・ドライブ、コンパクト・ディスク、フロッピ・ディスク、または、テープ・ドライブ、または、他の任意のタイプの記憶装置のような、メモリデバイスであることができる。さらなる処理情報（図示せず）をコンピュータ可読媒体１７０に記憶して、プロセッサ１６０によりアクセスすることができる。例えば、こうした処理情報には、画像データ１６５に処理を施して、画像データ１６５から光学画像情報１７５を抽出するのに用いることのできるアルゴリズムといった、さまざまな処理パラメータを含めることができる。
【００１７】
図３には、マイクロ波撮像システム２００の詳細が示されている。図１に関連して上述したように、マイクロ波ノード２１０及び２３０は、マイクロ波放射２２０で物体２０を照射し、物体２０から反射するマイクロ波放射２２５を受信して、物体２０のマイクロ波画像を捕捉する。マイクロ波ノード２１０及び２３０は、複数のアンテナ素子２１６及び２３６をそれぞれ備える、アンテナ・アレイ２１５及び２３５をそれぞれ含む。アンテナ素子２１６及び２３６は、マイクロ波放射２２０を物体２０に向け、物体２０から反射するマイクロ波放射２２５を受け取る。
【００１８】
マイクロ波ノード２１０及び２３０のタイプ及び用途に従って、１つ以上のマイクロ波ノード２１０及び２３０を使用することができる点を理解されたい。さらに、マイクロ波ノード２１０及び２３０は、点放射源アンテナ、物体からのマイクロ波放射を受信する単方向アンテナ、及び、マイクロ波放射２２０を物体２０に向けて送り、物体２０から反射するマイクロ放射２２５を受け取る双方向アンテナを含む、任意のタイプのマイクロ波アンテナを含むことができる点を理解されたい。例えば、マイクロ波２１０及び２３０は、送信と受信が別個に独立したアンテナ、同じアンテナ・アレイ内に送信と受信が別個に独立したアンテナ素子、送信と受信が別個に独立したアンテナ・アレイ、または、マイクロ波放射の送受信の両方が可能な１つ以上のアンテナまたはアンテナ素子を含むことができる。
【００１９】
アンテナ素子２１６及び２３６は、トランシーバ２１８及び２３８によってそれぞれ制御される。例えば、トランシーバ２１８及び２３８は、アンテナ素子２１６及び２３６をそれぞれ制御して、マイクロ波放射２２０を、物体２０に関連した、対象となる領域（例えば、該物体上の領域、または該物体のまわりの領域）に送る。トランシーバ２１８及び２３８は、さらに、受信する反射マイクロ波放射２２５をモニタして、該受信する反射マイクロ波放射２２５の方向の関数として該反射マイクロ波放射２２５の強度及び／または位相を測定し、マイクロ波放射２２０に対する物体２０の応答特性に対応するマイクロ波測定結果２４５を記録する。
【００２０】
一実施態様では、マイクロ波測定結果２４５は、物体２０から散乱する波面(wavefront)の振幅及び位相の測定結果を含む。測定結果２４５は、該測定結果２４５に応じて物体２０のマイクロ波画像を構成するよう動作するプロセッサ２４０に送られる。例えば、プロセッサ２４０は、フーリエに基づく画像構成アルゴリズムを用いて、マイクロ波画像を構成することができる。プロセッサ２４０は、マイクロプロセッサ、マイクロコントローラ、プログラマブルロジックデバイス、または、本明細書に説明する機能を実行することができる他のタイプの処理デバイスであることができる。さらに、プロセッサ２４０は、複数のプロセッサを含むことができ、あるいは、いくつかのアルゴリズムを実行することができる単一の汎用プロセッサであってもよい。
【００２１】
測定結果２４５は、プロセッサ２４０によって、物体２０のマイクロ波画像を表わすマイクロ波画像データ２５５を生成するのに使用される。マイクロ波画像データ２５５は、マイクロ波撮像システム２００による後続の処理に備えて、コンピュータ可読媒体２５０に記憶されることができ、さらに（または）、ディスプレイ１８０に直接出力されることができる。コンピュータ可読媒体２５０は、ランダム・アクセス・メモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、フラッシュ・メモリ、ＥＥＰＲＯＭ、ディスク・ドライブ、コンパクト・ディスク、フロッピ・ディスク、または、テープ・ドライブ、または、他の任意のタイプの記憶装置のようなメモリデバイスであることができる。さらなる処理情報（図示せず）を、コンピュータ可読媒体２５０に記憶して、プロセッサ２４０によりアクセスすることができる。例えば、こうした処理情報には、測定結果２４５に処理を施して、マイクロ波画像データ２５５を生成するのに用いることができるアルゴリズムといった、さまざまな処理パラメータを含めることができる。
【００２２】
プロセッサ２４０は、さらに、光学撮像システム１００（図２に示す）の光学画像情報１７５を記憶したコンピュータ可読媒体１７０から、該光学画像情報１７５を受け取る。コンピュータ可読媒体１７０は、マイクロ波撮像システム２００によって用いられるものと同じコンピュータ可読媒体２５０であってもよく、あるいは、別個のコンピュータ可読媒体であってもよい。プロセッサ２４０は、マイクロ波画像データ２５５の生成において光学画像情報１７５を使用する。例えば、上述したように、一実施態様では、光学画像情報１７５によって、物体２０に関連した、対象となる空間領域に対応するデータ・ポイントが識別される。プロセッサ２４０は、光学画像情報１７５を使用して、トランシーバ２１８及び２３８を制御し、該対象となる空間領域にマイクロ波放射２２０を向け、または、該識別されたデータ・ポイントに対応する測定結果２４５を使用して、マイクロ波画像を構成する。他の実施態様では、プロセッサ２４０は、光学画像情報１７５を使用して、受け取ったマイクロ波測定結果２４５と、光学画像情報１７５によって識別された物体２０の位置を相関させることにより、物体２０の動きを追跡する。
【００２３】
図４は、本発明の実施態様による、マイクロ波撮像システムが光学撮像システムによって強化された画像処理システム４００のブロック図である。画像処理システム４００は、光学画像プロセッサ１６０及びマイクロ波画像プロセッサ２４０を含む。光学画像プロセッサ１６０は、画像プロセッサ４２０および抽出プロセッサ４３０を含む。一実施態様では、画像プロセッサ４２０及び抽出プロセッサ４３０は、後述する機能を実行するように構成されたＡＳＩＣまたはＦＰＧＡ回路である。他の実施態様では、画像プロセッサ４２０及び抽出プロセッサ４３０は、後述する機能を実行するアルゴリズムを実行するための汎用プロセッサに組み合わせられる。
【００２４】
光学画像プロセッサ１６０は、センサ１５０から、光学画像を表わす画像データ１６５を受け取る。複数のカメラが存在する場合には、それぞれのカメラが、個別の光学画像を光学画像プロセッサ１６０に供給する点は理解されたい。さらに、用いられる光源に依存して、光学画像プロセッサ１６０は、光源の照射パターンに関する情報を得る必要がある場合がある。
【００２５】
画像データ１６５は、Ａ／Ｄ変換器４１０によって、アナログからデジタルに変換され、デジタル画像データ１６５の処理を行う画像プロセッサ４２０に送られる。例えば、センサ１５０が、カラー・フィルタ・アレイを組み込んだカラー・センサである場合、画像プロセッサ４２０は、画像にデモザイク(demosaic)を施すことができる。デモザイクは、各ピクセル位置について欠落しているカラー値を近傍ピクセルから補間するプロセスである。現在では、当該技術において、いくつかのデモザイク方法が知られている。例えば、制限するわけではないが、各種のデモザイク処理には、ピクセル複製(pixel replication)、双線形補間(bilinear interpolation)、及び、中央値補間(median interpolation)が含まれる。画像プロセッサ４２０が実行することのできる他のタイプの処理として、ノイズ・フィルタリング及び画像強調を含めることができる。
【００２６】
抽出プロセッサ４３０は、画像プロセッサ４２０から、処理済み画像データを受け取るよう接続され、該処理済み画像データから光学画像情報１７５を抽出するよう動作する。画像データ１６５から光学画像情報１７５を抽出するために使用することのできる、高速で単純な既知のアルゴリズムがいくつか存在する。例えば、一実施態様では、抽出プロセッサ４３０は、３次元画像に関する画像構成アルゴリズムを使用して、物体の３Ｄ表面を抽出する。３次元画像に関する画像構成プロセスの一例については、譲渡先が共通する、米国特許出願第１０／３９２，７５８号明細書に記載があり、ここでは、照射勾配(illumination gradient)を使用して、物体から反射する照射の強度及び／またはスペクトル特性を空間的に変化させ、物体表面上の空間位置における表面勾配を求める。次に、該表面勾配を使用して、物体の３次元画像を構成する。他の３次元画像構成プロセスには、レーザ三角測量、立体画像形成(stereoscopic imaging)、構造化光、及び、照度差ステレオ(photometric stereo)が含まれる。例えば、各種の３次元画像構成プロセスについては、Ｈｏｒｎ他、「Ｔｏｗａｒｄ  Ｏｐｔｉｍａｌ  Ｓｔｒｕｃｔｕｒｅｄ  Ｌｉｇｈｔ  Ｐａｔｔｅｒｎｓ」、ＩＥＥＥ  Ｐｒｏｃｅｅｄｉｎｇｓ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅｓ  ｏｎ  Ｒｅｃｅｎｔ  Ａｄｖａｎｃｅｓ  ｉｎ  ３−Ｄ  Ｄｉｇｉｔａｌ  Ｉｍａｇｉｎｇ  ａｎｄ  Ｍｏｄｅｌｉｎｇ，Ｏｔｔｏｗａ，Ｏｎｔａｒｉｏ，Ｃａｎａｄａ，Ｍａｙ１２−１５，１９９７、ｐ．２８−３５、及び、Ｂｅｒａｌｄｉｎ他、「Ｏｐｔｉｍｉｚｅｄ  Ｐｏｓｉｔｉｏｎ  Ｓｅｎｓｏｒｓ  ｆｏｒ  Ｆｌｙｉｎｇ−Ｓｐｏｔ  Ａｃｔｉｖｅ  Ｔｒｉａｎｇｕｌａｔｉｏｎ  Ｓｙｓｔｅｍ」、ＩＥＥＥ  Ｐｒｏｃｅｅｄｉｎｇｓ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｒｅｃｅｎｔ  Ａｄｖａｎｃｅｓ  ｉｎ  ３−Ｄ  Ｄｉｇｉｔａｌ  Ｉｍａｇｉｎｇ  ａｎｄ  Ｍｏｄｅｌｉｎｇ，Ｂａｎｆｆ，Ａｌｂｅｒｔｔａ，Ｃａｎａｄａ，Ｏｃｔｏｂｅｒ６−１０，２００３、ｐ．２９−３６に解説されている。
【００２７】
他の実施態様では、抽出プロセッサ４３０は、物体２０の、対象となる特徴を抽出する。本明細書において用いられる限りにおいて、「物体の特徴」という用語には、物体２０の測定値、物体２０の表面上または物体２０内の構成要素、または、物体２０の他のしるし（indicia）が含まれる。さらに他の実施態様では、抽出プロセッサ４３０は、画像データ１６５から、所望の他の任意の情報を抽出する。
【００２８】
光学画像情報１７５は、マイクロ波画像の構成に使用するため、抽出プロセッサ４３０によってマイクロ波プロセッサ２４０に出力される。光学画像情報１７５は、抽出プロセッサ４３０からディスプレイ１８０にも送られる。
【００２９】
マイクロ波プロセッサ２４０は、トランシーバ・ロジック（論理回路）４４０、Ａ／Ｄ変換器４５０、及び、画像構成プロセッサ４６０を含む。一実施態様では、トランシーバ・ロジック４４０及び画像構成プロセッサ４６０は、後述する機能を実行するように構成されたＡＳＩＣまたはＦＰＧＡ回路である。他の実施態様では、トランシーバ・ロジック４４０及び画像構成プロセッサ４６０は、後述する機能を実行するアルゴリズムを実行するための汎用プロセッサに組み合わせられる。
【００３０】
トランシーバ・ロジック４４０は、受信マイクロ波ノード（例えば、ノード２１０）から、散乱波面の振幅及び位相の測定値を含むマイクロ波測定結果２４５を受け取る。受信マイクロ波ノード２１０が、単一アンテナ、アンテナ・アレイ全体、または、１つ以上のアンテナ・アレイ内の１つ以上のアンテナ素子を含むことができる点は理解されたい。マイクロ波測定結果２４５は、Ａ／Ｄ変換器４５０によってアナログからデジタルに変換され、画像作成プロセッサ４６０に送られて、物体のマイクロ波画像が構成される。画像構成プロセッサ４６０は、物体のマイクロ波画像を表わすマイクロ波画像データ２５５を生成し、ディスプレイ１８０に該マイクロ波画像データ２５５を送る。
【００３１】
抽出プロセッサ４３０によって出力される光学画像情報１７５は、トランシーバ・ロジック４４０及び画像構成プロセッサ４６０の一方または両方において受け取られる。一実施形態では、光学画像情報１７５によって、物体２０に関連した、対象となる空間領域に対応するデータ・ポイントが識別される。一実施態様では、トランシーバ・ロジック４４０は、光学画像情報１７５を使用して、送信マイクロ波ノード（例えば、マイクロ波ノード２３０）に送信命令４７０を与え、対象となる空間領域（または領域）にマイクロ波放射２２０を向ける。送信マイクロ波ノード２３０が、単一アンテナ、アンテナ・アレイ全体、または、１つ以上のアンテナ・アレイ内の１つ以上のアンテナ素子を含むことができる点は理解されたい。他の実施態様では、画像構成プロセッサ４６０は、光学画像情報１７５を使用し、識別されたデータ・ポイントに対応する測定結果２４５を用いて、マイクロ波画像を構成する。
【００３２】
例えば、Ｄａｖｉｄ  Ｍ．Ｓｈｅｅｎ他、「Ｔｈｒｅｅ−ｄｉｍｅｎｓｉｏｎａｌ  Ｍｉｌｌｉｍｅｔｅｒ−Ｗａｖｅ  Ｉｍａｇｉｎｇ  ｆｏｒ  Ｃｏｎｃｅａｌｅｄ  Ｗｅａｐｏｎ  Ｄｅｔｅｃｔｉｏｎ」、ＩＥＥＥ  Ｔｒａｎ．Ｏｎ  Ｍｉｃｒｏｗａｖｅ  Ｔｈｅｏｒｙ  ａｎｄ  Ｔｅｃｈｎｉｑｕｅｓ（ＭＴＴ），２００１年９月、第４９巻（第９号）、ｐ．１５８１−１５９２（以降、「Ｓｈｅｅｎ」と呼ぶ）には、従来のマイクロ波画像構成プロセスについての記載がある。Ｓｈｅｅｎの論文では、容積全体（ｘ、ｙ、ｚ）が、そのソリューション（solution、解を求めること）において、離散的に標本化（サンプリング）される。３Ｄ逆フーリエ変換が、該容積全体に対して実施され、これによって、かなりの計算負荷、及び、ノイズとして現れる可能性がある不正確さが導入されることになる。光学画像情報１７５の場合、検査されている物体が占める実際の容積を識別して、該容積におけるどのデータ・ポイントについて、実際、解く(solve)必要があるのかを、判断することができる。このように、空間の離散的標本化(discrete-sampling)の場合、関連するデータ・ポイントのみを取り扱えばよい。分析すべき最大許容容積、及び遭遇する可能性のある最小容積に従って、計算負荷を大幅に軽減することが可能になる。
【００３３】
一例として、物体が１ｍ（横）×２ｍ（縦）×１ｍ（深さ）の場合、物体の容積は、１×１×２＝２ｍ３である。しかし、配向(orientation)が未知であるため、従来のマイクロ波画像構成においては、１．４×１．４×２＝４ｍ３の容積について解かなければならないことがある。
【００３４】
光学画像情報１７５を使用して、物体が占める実際の容積を求めることによって、画像構成プロセッサ４６０は、実際の容積について解きさえすればよいことになり、このため、計算時間が大幅に節約されることになる。この複雑性の低減は、（１）計算の高速化、（２）システムによる測定数の減少（例えば、使用される周波数またはアンテナ／受信機の数の低減）、及び、（３）正確さの向上、すなわち、対象となる、適正に定められた領域外にある物体のエイリアシング「画像」の低減、のうちの１つ以上を達成することができる。さらに、光学画像情報１７５は、物体２０によって誘発される陰影(shadow)に関する知識を供給することができる。どのデータ・ポイントに陰影を施すかを判断することによって、マイクロ波画像においてアーティファクトが軽減された「よりクリーン」な解(solution)が得られ、及び／または、より高速に解が得られることになる。
【００３５】
他の実施態様では、光学画像情報１７５は、受け取ったマイクロ波測定結果２４５と光学画像情報１７５を相関させて、移動中の物体の位置を３次元で求めるのに、画像構成プロセッサ２４０によって使用される３Ｄ物体位置情報を含む。光学プロセッサ１６０は、従来の可視光トラッキング・アルゴリズムを用いることによって、所与の時点におけるポイントのそれぞれを、それより前の時点における対応するポイントと相関させることができる。これによって、マイクロ波プロセッサ２４０は、物体が移動したとしても、マイクロ波画像データ２５５について解くことが可能になる。Ｓｈｉｒａｉ、「Ｅｓｔｉｍａｔｉｏｎ  ｏｆ  ３−Ｄ  Ｐｏｓｅ  ａｎｄ  Ｓｈａｐｅ  ｆｒｏｍ  ａ  Ｍｏｎｏｃｕｌａｒ  Ｉｍａｇｅ  Ｓｅｑｕｅｎｃｅ  ａｎｄ  Ｒｅａｌ−Ｔｉｍｅ  Ｈｕｍａｎ  Ｔｒａｃｋｉｎｇ」、ＩＥＥＥ  Ｐｒｏｃｅｅｄｉｎｇｓ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｒｅｃｅｎｔ  Ａｄｖａｎｃｅｓ  ｉｎ  ３−Ｄ  Ｄｉｇｉｔａｌ  Ｉｍａｇｉｎｇ  ａｎｄ  Ｍｏｄｅｌｉｎｇ，Ｏｔｔｏｗａ，Ｏｎｔａｒｉｏ，Ｃａｎａｄａ，Ｍａｙ  １２−１５，１９９７、ｐ．１３０−１３９、及び、Ｍｅｃｋｅ他、「３−Ｄ  Ｍｏｔｉｏｎ  ａｎｄ  Ｓｈａｐｅ  ｆｒｏｍ  Ｍｕｌｔｉｐｌｅ  Ｉｍａｇｅ  Ｓｅｑｕｅｎｃｅｓ」、ＩＥＥＥ  Ｐｒｏｃｅｅｄｉｎｇｓ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｒｅｃｅｎｔ  Ａｄｖａｎｃｅｓ  ｉｎ  ３−Ｄ  Ｄｉｇｉｔａｌ  Ｉｍａｇｉｎｇ  ａｎｄ  Ｍｏｄｅｌｉｎｇ，Ｂａｎｆｆ，Ａｌｂｅｒｔａ，Ｃａｎａｄａ，Ｏｃｔｏｂｅｒ  ６−１０，２００３、ｐ．１５５−１６２には、トラッキング・アルゴリズムの例についての記載がある。
【００３６】
図５Ａ及び図５Ｂには、ある容積の物体２０の単純化された画像構成が例示されている。図５Ａは、従来の画像構成に相当し、図５Ｂは、本発明の一実施態様に従う画像構成に相当する。図５Ａ及び図５Ｂは、両方とも、３次元に容易に適用可能な２次元の例を示している。
【００３７】
図５Ａの場合、領域全体について解く(solve)のに、複数のデータ・ポイント５５０から構成されるグリッド５００を用いる。空間における物体２０の配向／位置が未知であるため、グリッドは、あらゆる変動に対処しなければならない。従って、図５Ａの場合、グリッド５００内のデータ・ポイント５５０のそれぞれについて解く。対照的に、図５Ｂに示すように、物体２０の位置が分っている（少なくともほぼ分っている）場合、データ・ポイント５５０ａの部分集合５６０についてしか、解く必要がない。
【００３８】
図６には、本発明の他の実施態様に従う、物体２０の周辺の単純化された構成が例示されている。図６には、また、３次元に容易に適用可能な２次元の例が示されている。図６では、図５Ａに示すのと同じグリッド５００が用いられている。しかし、図６の場合、物体２０の周辺６００に対応するデータ・ポイント５５０ｂについてのみ解く。周辺６００は、光学画像情報から識別される。特定の種類の物体（例えば、ゆったりとした服装の人物）に関して、周辺６００は、図６に示すように、該物体周辺のまわりにある「深い」シェル(“deep” shell)内のデータ・ポイントを含むことができる。さらに他の実施態様では、周辺全体について解くのではなく、ビーム形成と同様の技術を用いて、マイクロ波放射を、対象としている特定のデータ・ポイントだけに向けることができる。該特定のデータ・ポイントは、光学画像情報を使用して識別される。
【００３９】
図７Ａ及び図７Ｂには、物体２０の周辺の一部についての、単純化された画像構成が例示されている。図７Ａは、従来の画像構成に相当し、図７Ｂは、本発明の他の実施態様に従う画像構成に相当する。上記の周辺画像構成の手法の利点は、人体がマイクロ波周波数レンジにおいて極めて良好な反射体であるという事実によって増幅される。こうして、例えば、図７Ａ及び図７Ｂにおいて、楕円形は、人体（物体２０）の断面を表わし、三角形は撮像システム１０を表わす。従来のやり方では、人体の反射率のために、撮像システム１０に面した人体部分だけしか画像形成されないにもかかわらず、容積全体を解くこととなる。本発明の実施態様によれば、光学撮像システムで強化されたマイクロ波撮像システムを使用して、人体の周辺の一部に対応するデータ・ポイント５５０ｃを含む境界領域７００が、光学画像情報を用いて識別される。次に、マイクロ波撮像システムは、境界領域７００のデータ・ポイント５５０ｃだけにマイクロ波放射を向け、該データ・ポイント５５０ｃだけについて解く。
【００４０】
図８は、本発明の実施態様に従う、光学的に強化されたマイクロ波撮像システムを用いて、マイクロ波画像を表わすマイクロ波画像データを生成するための典型的なプロセス８００を例示したフローチャートである。このプロセスは、ブロック８１０から開始される。ブロック８２０では、物体の光学画像が、光学撮像システムによって捕捉される。ブロック８３０では、光学画像情報が、光学画像を表わす光学画像データから抽出され、ブロック８４０では、光学画像情報が、マイクロ波撮像システムに供給される。ブロック８５０では、マイクロ波撮像システムが、光学画像情報、及び、マイクロ波撮像システムによってなされたマイクロ波測定の結果に応答して、マイクロ波画像を表わすマイクロ波画像データを生成する。該プロセスは、ブロック８６０で終了する。
【００４１】
図９は、本発明の一実施態様に従う、光学撮像システムによって供給される光学画像情報に応答して、マイクロ波画像を構成するための典型的なプロセス９００を例示したフローチャートである。このプロセスは、ブロック９１０から開始される。ブロック９２０では、物体の光学画像が、光学撮像システムによって捕捉される。ブロック９３０では、光学画像を表わす光学画像データに処理を施して、光学画像情報を抽出する。ブロック９４０では、マイクロ波放射に対する物体のさまざまな応答特性に対応するマイクロ波測定結果が、マイクロ波撮像システムによって捕捉される。ブロック９５０では、マイクロ波撮像システムは、光学画像情報及びマイクロ波測定結果に応答して、物体のマイクロ波画像を表わすマイクロ波画像データを生成する。プロセスはブロック９６０で終了する。
【００４２】
図１０は、本発明の他の実施態様に従う、光学撮像システムによって供給される光学画像情報に応答して、物体の、対象とする領域に、マイクロ波照射を向けるための典型的なプロセス１０００を例示したフローチャートである。プロセスは、ブロック１０１０から開始される。ブロック１０２０では、物体の光学画像が、光学撮像システムによって捕捉される。ブロック１０３０では、光学画像を表わす光学画像データに処理を施して、光学画像情報を抽出する。ブロック１０４０では、物体に関連した空間領域（例えば、対象とする領域）が、光学画像情報を使用して識別される。ブロック１０５０では、識別された空間領域または対象とする領域が、マイクロ波放射によって照射され、ブロック１０６０では、マイクロ波放射に対する物体のさまざまな応答特性に対応するマイクロ波測定結果が、マイクロ波撮像システムによって捕捉される。ブロック１０７０では、マイクロ波撮像システムは、マイクロ波画像を表わすマイクロ波画像データを生成することによって、マイクロ波測定結果から物体のマイクロ波画像を生成する。プロセスはブロック１０８０で終了する。
【００４３】
図１１は、光学撮像システムによって供給される光学画像情報を使用して、物体の動きを追跡し、物体のマイクロ波画像を構成するための典型的なプロセス１１００を例示したフローチャートである。このプロセスは、ブロック１１１０から開始される。ブロック１１２０では、マイクロ波撮像システムが、マイクロ波放射に対する物体のさまざまな応答特性に対応するマイクロ波測定結果の取得を開始する。ブロック１１３０では、物体の光学画像が、光学撮像システムによって捕捉される。ブロック１１４０では、光学画像を表わす光学画像データに処理を施して、光学画像情報を抽出する。ブロック１１５０では、光学画像情報を用いて、物体の位置、及び、マイクロ波放射によって照射された物体上の空間領域が求められる。ブロック１１６０では、マイクロ波測定結果取得プロセスが完了したか否かの判定が行われる。完了していなければ、ブロック１１３０において、物体の、追加の光学画像が捕捉され、ブロック１１４０〜１１５０で処理されて、マイクロ波測定結果と相関させられる物体の新たな位置が求められる。マイクロ波測定結果取得プロセスが完了したならば、ブロック１１７０において、マイクロ波撮像システムが、光学画像情報及びマイクロ波測定結果に応答して、物体のマイクロ波画像を構成する。プロセスは、ブロック１１８０で終了する。
【００４４】
本出願における新規な概念は、広範囲の用途にわたって修正及び変更を加えられることが可能である。従って、特許の範囲は、論述された特定の典型的な教示のいずれにも制限されるものではなく、特許請求の範囲の請求項によって定義される。
【図面の簡単な説明】
【００４５】
【図１】本発明の実施態様に従う、光学（可視光）撮像システムおよびマイクロ波撮像システムを組み合わせた典型的な撮像システムの概略図。
【図２】本発明の実施態様に従う、典型的な光学撮像システムの概略図。
【図３】本発明の実施態様に従う、典型的なマイクロ波撮像システムの概略図。
【図４】本発明の実施態様に従う、光学撮像システムでマイクロ波撮像システムを強化した画像処理システムのブロック図。
【図５Ａ】従来技術に従う、ある容積の物体の単純化された画像構成を例示した図。
【図５Ｂ】本発明の一実施態様に従う、ある容積の物体の単純化された画像構成を例示した図。
【図６】本発明の他の実施態様に従う、物体の周辺の単純化された画像構成を例示した図。
【図７Ａ】従来技術に従う、物体の周辺の一部の単純化された画像構成を例示した図。
【図７Ｂ】本発明の他の実施態様に従う、物体の周辺の一部の単純化された画像構成を例示した図。
【図８】本発明の実施態様に従う、光学撮像システムでマイクロ波撮像システムを強化することによってマイクロ波画像を求めるための、典型的なプロセスを例示したフローチャート。
【図９】本発明の一実施態様に従う、光学撮像システムによって供給される光学画像情報を使用して、マイクロ波画像を構成するための典型的なプロセスを例示したフローチャート。
【図１０】本発明の他の実施態様に従う、光学撮像システムによって供給される光学画像情報を使用して、物体の、対象となる領域に、マイクロ波照射線を向けるための、典型的なプロセスを例示したフローチャート。
【図１１】光学撮像システムによって供給される光学画像情報を使用して、物体の動きを追跡し、物体のマイクロ波画像を構成するための典型的なプロセスを例示したフローチャート。
【符号の説明】
【００４６】
１０    撮像システム
２０    物体
１００  光学撮像システム
１６５  光学画像データ
１７５  光学画像情報
２００  マイクロ波撮像システム
２２０  マイクロ波放射
２４５  マイクロ波測定結果
２５５  マイクロ波画像データ
５５０  データ・ポイント
６００  物体の周辺
７００  境界領域
【図１】
2005351893.tif 000003
【図２】
2005351893.tif 000004
【図３】
2005351893.tif 000005
【図４】
2005351893.tif 000006
【図５Ａ】
2005351893.tif 000007
【図５Ｂ】
2005351893.tif 000008
【図６】
2005351893.tif 000009
【図７Ａ】
2005351893.tif 000010
【図７Ｂ】
2005351893.tif 000011
【図８】
2005351893.tif 000012
【図９】
2005351893.tif 000013
【図１０】
2005351893.tif 000014
【図１１】
2005351893.tif 000015