(57)【要約】融合画像を形成するための方法および装置が説明される。一実施形態では、第１の波長で第１の画像が、第２の波長で第２の画像が生成される。次に、範囲情報が生成され、後に第２の画像と相関するように第１の画像をワープするために用いられる。次に、ワープされた第１の画像は第２の画像と融合され、融合画像を形成する。
2008511080.tif 000002
【特許請求の範囲】
【請求項１】
第１の波長で第１の画像を生成する工程と、
前記第１の波長と異なる第２の波長で第２の画像を生成する工程と、
範囲情報を生成する工程と、
前記範囲情報を用いて、前記第２の画像と相関するように前記第１の画像をワーピングする工程と、
前記ワーピングされた第１の画像を前記第２の画像と融合して前記融合画像を形成する工程と、を含むことを特徴とする融合画像を形成する方法。
【請求項２】
前記ワーピングする工程は、
前記範囲情報を用いて変換データを形成する工程と、
前記変換データを用いて、前記第２の画像と相関するように前記第１の画像をワーピングする工程と、を含むことを特徴とする請求項１に記載の方法。
【請求項３】
前記変換データは変換マトリクスを含むことを特徴とする請求項２に記載の方法。
【請求項４】
前記範囲情報は二次元の奥行きマップを含むことを特徴とする請求項１に記載の方法。
【請求項５】
前記第２の画像は前記範囲情報の生成に用いられることを特徴とする請求項１に記載の方法。
【請求項６】
第１の波長で第１の画像を生成する手段（１１２）と、
前記第１の波長と異なる第２の波長で第２の画像を生成する手段（１１０）と、
範囲情報を生成する手段（１０６）と、
前記範囲情報を用いて、前記第２の画像と相関するように前記第１の画像をワーピングする手段（１０４）と、
前記ワープされた第１の画像を前記第２の画像と融合し、前記融合画像を形成する手段（１０２）と、を含むことを特徴とするプラットフォーム上で融合画像を形成する装置（１００）。
【請求項７】
前記ワーピングする手段は、
前記範囲情報を用いて変換データを形成する手段（１１８）と、
前記変換データを用いて、前記第２の画像と相関するように前記第１の画像をワーピングする手段（１０４）と、を含むことを特徴とする請求項６に記載の装置。
【請求項８】
前記変換データは変換マトリクスを含むことを特徴とする請求項７に記載の装置。
【請求項９】
前記範囲情報は二次元の奥行きマップを含むことを特徴とする請求項６に記載の装置。
【請求項１０】
前記プラットフォームは、自動車、飛行機、ボート、無人車両、またはセキュリティ監視カメラ・システムのうちの少なくとも１つであることを特徴とする請求項６に記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本出願は、その開示全体が参照により本明細書に組み込まれている、２００４年８月２３日に出願した米国仮特許出願第６０／６０３，６０７号の利益を主張するものである。
【０００２】
本発明の実施形態は、一般に画像データを生成するための、具体的には融合画像（ｆｕｓｅｄ  ｉｍａｇｅ）を形成するための方法および装置に関する。
【背景技術】
【０００３】
現在、融合プログラムは、視差状態を無視し得る方法で少なくとも２つのセンサ（例えば、カメラ）が互いに隣り合うように配置されることを想定して、画像位置合わせのために簡単な準同形モデル（ｈｏｍｏｇｒａｐｈｉｃ  ｍｏｄｅｌｓ）を利用する。しかし、２つのセンサの基準線の距離が２つのカメラのうちの１つから場面の目標対象物（ｔａｒｇｅｔ  ｏｂｊｅｃｔ）までの距離に相当するように２つのカメラが分離されている場合、視差が生じることになる。視差は、２つの異なる位置または視点から見られた際に、目標対象物の明らかな位置ずれ（すなわち、位置の差異）として定義されることが可能である。あるいは、視差は観察者の位置の変化による、背景に対するオブジェクトの明らかなずれである。２つの融合センサが同じ場所に（すなわち、事実上、互いの上に）位置し、平行な光軸を有する場合、視差状態は無視し得る。しかし、センサがかなりの距離に分離（例えば、横方向に３０センチメートル分離または縦方向に１メートル分離）されている場合、視差が現れることになる。これにより、センサによって捕捉された画像は奥行きに依存する位置ずれ（ｄｅｐｔｈ−ｄｅｐｅｎｄｅｎｔ  ｍｉｓａｌｉｇｎｍｅｎｔ）を示すことになり、したがって、融合画像の品質を損なう。特に、現在の融合プログラムはセンサの位置決めを明らかにすることができず、このシナリオでは確実な融合画像を形成できないことになる。
【特許文献１】米国特許第５，６４９，０３２号明細書
【特許文献２】米国特許第５，３２５，４４９号明細書
【特許文献３】米国特許第５，４８８，６７４号明細書
【特許文献４】米国特許第５，９６３，６７５号明細書
【発明の開示】
【発明が解決しようとする課題】
【０００４】
したがって、視差状態が現れる場合に、融合画像を形成するための方法および装置が必要である。
【課題を解決するための手段】
【０００５】
一実施形態では、融合画像を形成するための方法および装置が説明される。より具体的には、第１の波長で第１の画像が、第２の波長で第２の画像が生成される。次に、範囲情報が生成され、後に第２の画像と相関するように第１の画像をワープするために用いられる。次に、ワープされた第１の画像は第２の画像と融合され、融合画像を形成する。
【０００６】
したがって、本発明の実施形態の前述の特徴が得られ、かつ詳細に理解できるように、添付の図面に例示される、本発明の実施形態を参照することによって、上に短くまとめられた本発明の前記実施形態のより具体的な説明が得られよう。しかし、添付の図面は本発明の典型的な実施形態のみを例示しており、したがって、本発明はその他の等しく効果的な実施形態を認めることができるため、その範囲を限定するものとはみなされない点に留意されたい。
【発明を実施するための最良の形態】
【０００７】
本発明の実施形態は、視差状態が現れる場合に、融合画像を形成するための方法および装置に関する。図１は、本発明による画像融合システム１００の例示的な実施形態を示す構成図を示す。システムは、範囲センサ（ｒａｎｇｅ  ｓｅｎｓｏｒ）１１６、温度センサ１１２、および画像処理装置１１４を含む。範囲センサ１１６は、場面の目標対象物の奥行き情報を決定するために用いることが可能な任意の種類の（１つまたは複数の）装置を含んでよい。例えば、範囲センサ１１６は、無線探知測距（Ｒａｄｉｏ  Ｄｅｔｅｃｔｉｏｎ  ａｎｄ  Ｒａｎｇｉｎｇ）（ＲＡＤＡＲ）センサ、レーザ探知測距（ＬＡｓｅｒ  Ｄｅｔｅｃｔｉｏｎ  Ａｎｄ  Ｒａｎｇｉｎｇ：ＬＡＤＡＲ）センサ、１対のステレオ・カメラなど（およびその任意の組合せ）を含んでよい。同様に、温度センサ１１２は、近赤外線（ＮＩＲ）センサ（例えば、７００ｎｍから１３００ｎｍの波長）、遠赤外線（ＦＩＲ）センサ（例えば、３０００ｎｍを超える波長）、紫外線センサなどを含んでよい。本実施形態は可視ステレオ・カメラおよび温度「暗視」センサの両方を用いるが、より一般的には本発明は、反射されたものであろうと放射されたものであろうと、望ましいまたは用途に求められ得るような、撮像波長（ｉｍａｇｉｎｇ  ｗａｖｅｌｅｎｇｔｈｓ）の任意の組合せに適用されるものと解釈される。
【０００８】
図１に示されるように、一実施形態では、範囲センサ１１６は、１対のステレオ可視カメラ、すなわち左可視カメラ（ＬＶＣ）１１０および右可視カメラ（ＲＶＣ）１０８を含んでよい。可視カメラ、すなわち可視光カメラは可視光のスペクトル内で画像を捕捉する任意の種類のカメラであってよい。温度センサ１１２は、これには限定されないが、赤外線（ＩＲ）センサなどの熱画像を捕捉することができる任意の装置を含んでよい。画像処理装置１１４は、温度センサ１１２および範囲センサ１１６から捕捉された画像から融合画像を形成する複数のモジュールを含む。画像処理装置１１４は、パーソナル・コンピュータ、プロセッサ、コントローラなどで実行されることが可能なソフトウェア・プログラムとして実施されてよい。あるいは、画像処理装置１１４は、代わりに特定用途向け集積回路、周辺コンポーネント相互接続（ｐｅｒｉｐｈｅｒａｌ  ｃｏｍｐｏｎｅｎｔ  ｉｎｔｅｒｃｏｎｎｅｃｔ：ＰＣＩ）ボードなどを含んでもよい。一実施形態では、画像処理装置１１４は、範囲マップ生成モジュール（ｒａｎｇｅ  ｍａｐ  ｇｅｎｅｒａｔｉｏｎ  ｍｏｄｕｌｅ）１０６、ワーピング・モジュール（ｗａｒｐｉｎｇ  ｍｏｄｕｌｅ）１０４、ルックアップ・テーブル（ＬＵＴ）１１８、および融合モジュール１０２を含む。
【０００９】
範囲マップ生成モジュール１０６は、範囲センサ１１６からの画像入力の受信および二次元の奥行きマップ（すなわち範囲マップ）の形成を担う。一実施形態では、生成モジュール１０６はステレオ画像処理ソフトウェア・プログラムなどとして実施されてよい。ワーピング・モジュール１０４は、ワーピング処理を担う構成要素である。ＬＵＴ１１８は、ワーピング・モジュール１０４によって利用される変換データを含む。融合モジュール１０２は、ワーピング・モジュール１０４および／または温度センサ１１２から画像を得て、最終的な融合画像を形成する構成要素である。
【００１０】
本発明の一実施形態では、左可視カメラ１１０および右可視カメラ１０８各々はそれぞれの画像（すなわち、ＬＶＣ画像２１０およびＲＶＣ画像２０８）を捕捉する。これらの画像は、次いで二次元の範囲マップ２０６を形成するために範囲マップ・ジェネレータ１０６に供給される。図１で、範囲マップ・ジェネレータ１０６は画像処理装置１１４の一部として示されているが、別の実施形態では、このモジュールは範囲センサ１１６内に配置される場合がある。
【００１１】
範囲マップ・ジェネレータ１０６によって形成された範囲マップ２０６は、典型的には、可視カメラから、捕捉された場面内の（１つまたは複数の）特定の目標対象物が配置される距離を表す奥行き情報を含む。範囲マップは、次いで必要な変換データを決定するためにＬＵＴ１１８に供給される。一実施形態では、ＬＵＴ１１８は、移動する対象の奥行きなど、一定の基準に基づき分類される様々な変換マトリクスを含む。例えば、範囲マップは、次に適切な変換マトリクスを選択するためのパラメータとして用いられることが可能な目標対象物の奥行きを提供するために用いられてよい。当業者は適切な変換マトリクスを選択するためにさらなるパラメータが用いられてよいことを理解されよう。変換マトリクスの一例が以下に示される：
【数１】
2008511080.tif 000003
【００１２】
この特定の方程式では、ｚｉｒはｚ軸に沿ったＩＲセンサから対象までの距離を表し、ｚｔｖはｚ軸に沿った可視カメラ（例えば、ＬＶＣ）からの距離を表し、ｚｄはｚ軸に沿った可視カメラからＩＲセンサまでの距離を表し、ｆｔｖは可視カメラの焦点距離を表し、ｆｉｒは赤外線カメラの焦点距離を表し、ｃｉｒは赤外線カメラの画像中心を表し、ｃｔｖは可視カメラの画像中心を表し、ｘｉｒは赤外線カメラ画像内の一点のｘ座標を表し、ｙｉｒは赤外線カメラ画像内の同じ点のｙ座標を表し、ｘｔｖは可視カメラ画像の一点のｘ座標を表し、さらにｙｔｖは可視カメラ画像内の同じ点のｙ座標を表す。
【００１３】
選択されると、変換マトリクスは、融合カメラ（２つの異なる波長で動作する２つのセンサ）、例えば、ＬＶＣ１１０およびＩＲセンサ１１２、からの画像と共に、ワーピング・モジュール１０４に供給される。ワーピング・モジュール１０４は次いで、変換データを用いて、ＬＶＣ画像２１０と相関するようにＩＲセンサ画像２１２をワープする。これは当業者によく知られている処理（例えば、米国特許第５，６４９，０３２号明細書を参照）である。特に、ワーピング・モジュール１０４は、ＩＲセンサ画像２１２およびＬＶＣ画像２１０の両方に対して角錐を生成することによりこれを達成する。したがって、当業者によく知られているように（例えば、米国特許第５，３２５，４４９号明細書を参照）、捕捉されたＬＶＣ画像およびＩＲ画像は、適切にスケーリングされることが可能であるため、当初は同じ寸法でなくてもよい。センサ画像２１２がワープされた後で、融合モジュール１０２は、やはり当業者によく知られている方法（例えば、米国特許第５，４８８，６７４号明細書を参照）で、ワープされたＩＲセンサ画像をＬＶＣ画像２１０と融合する。
【００１４】
図２は本発明の一実施形態の動作を示す。具体的には、図２は、一定の奥行き情報を用いて捕捉された画像を表す範囲マップを利用する平面ベースの位置合わせ手法を例示する。プラットフォームとして自動車を利用するこの実施形態では、１対の可視ステレオ・カメラ（すなわち、左可視カメラ１１０および右可視カメラ１０８）は自動車１２２のフロントガラスの中央部分に別々に取り付けられてよい。この実施形態は、自動車のバンパ上またはその付近に配置される赤外線（ＩＲ）センサ１１２も利用する。融合処理に役立つより大きな重複範囲を得るために、ＩＲセンサ１１２は可視ステレオ・カメラのうちの１つ（例えば、左可視カメラ１１０）に水平方向に近接して配置されるべきである。特に、２つのセンサ（可視カメラのうちの１つおよびＩＲセンサ）の分離は、それぞれのカメラ画像内に奥行きに依存する位置ずれを引き起こす可能性がある視差効果を生み出す。一実施形態では、１対の可視ステレオ・カメラはゲンロック（ｇｅｎｌｏｃｋｅｄ）される。同様に、融合センサ（すなわち、左可視カメラ１１０およびＩＲセンサ１１２）もゲンロックされる。
【００１５】
当初、左右の可視カメラは、そのそれぞれの位置によって異なる角度から画像（例えば、左カメラ画像２１０および右カメラ画像２０８）を捕捉する。これらの画像が取り込まれると、ステレオ画像プログラムは二次元の範囲マップを計算し、生成する。計算された後、この範囲マップはメモリ内またはファームウェア内に記憶され得るルップアップ・テーブル（ＬＵＴ）１１８に入力として供給される。範囲マップから適切なデータ（例えば、対象の奥行き）を用いて、ＬＵＴ１１８は、センサ画像２１２をワープするために用いられることが可能な変換マトリクス方程式などの適切な変換データを形成する。変換マトリクス内の各要素は画像内の対象の奥行き（例えば、範囲センサ１１６までの（１つまたは複数の）対象の距離）の関数である。変換マトリクスは、センサ画像２１２をＬＶＣ画像２１０と位置合わせするために必要とされる必要移動量を計算するために用いられてよい。どの可視画像を用いるかに関して、本発明は限定されない点に留意されたい。
【００１６】
図３は本発明の第２の実施形態の動作を示す。具体的には、図３は特定の画像内に存在する「ブロブ（ｂｌｏｂ）」、すなわち目標対象物の奥行き情報をもっぱら利用する手法を例示する。この実施形態は、ＩＲ画像全体の代わりに、ＩＲ画像のある指定部分がワープされ、融合される点を除いて、上述の手法と異ならない。特に、ワーピング・モジュール１０４がＬＵＴ１１８から変換データを受信したところまで、この手順は図２で説明される処理と同じである。処理のこの時点で、ワーピング装置１０２は目標対象物、すなわち「ブロブ」（すなわち、一定奥行きでの、または一定奥行きに近いピクセルのグループ）をＩＲ画像内で選択する。この特定の実施形態は、所望の目標対象物を選択するために、所与の実施形態の必要に応じて、その範囲値が上限と下限との間にある範囲画像内の全てのピクセルを含むと考えられる「奥行き帯域（ｄｅｐｔｈ  ｂａｎｄｓ）」の概念を用いる。
【００１７】
目標対象物の選択が行われると、ワーピング・モジュール１０４は残りの融合カメラ（例えば、ＬＶＣ１１０）からの画像の座標で、目標対象物、すなわち「ブロブ」をワープする。ＩＲ画像２１２がワープされると、融合モジュール１０２はワープされた画像３０２とＬＶＣ画像２１０とを組み合わせて、融合画像３３０を形成する。時には、結果として生じる融合画像は「目標対象物」のワープおよび融合のみから生み出される角張った境界を示す（ワープされた画像３０２を参照）。これらの場合、当業者によく知られている方法（例えば、米国特許第５，６４９，０３２号を参照）で不連続な境界効果を滑らかにするために、融合モジュール１０２はワープされた画像を混合する。
【００１８】
図４は本発明の第３の実施形態の動作を示す。具体的には、図４は捕捉された融合画像内に存在する各個別のピクセルの奥行き情報を利用する手法を例示する。この実施形態は、個別の変換計算に従って、全体として完全画像（すなわちＩＲ画像のオブジェクト）の代わりに、ＩＲ画像２１２の各個別のピクセルがワープされるという意味で、上述の手法と異なる。したがって、この実施形態は必要な変換データを形成するためにルックアップ・テーブルを利用しない。代わりに、範囲マップ生成モジュール１０６によって形成された二次元の範囲マップが用いられ、ピクセル単位ベースで適用される。範囲マップを用いることによって、本発明はすべてのピクセルからの奥行き情報を利用する。すなわち、ＩＲ画像のすべての部分はピクセル単位ベースで範囲マップを用いてワープされる。この工程が完了すると、残りの融合カメラ（例えば、ＬＶＣ１１０）からの可視画像は、ワープされたＩＲ画像と融合され混合されて、最終的な融合画像を形成する。図３に示された実施形態と同様に、ピクセル間の境界ならびにデータが不足している可能性のある任意の領域を滑らかにするために、融合画像は混合を必要とする場合がある。
【００１９】
図５は、本発明の１つまたは複数の態様による、奥行き情報を利用するための方法５００の例示的な実施形態を示す流れ図を示す。方法５００は、工程５０２から始まり、工程５０４に進み、ここで融合および範囲決定の両方に向けて画像が生成される。一実施形態では、融合画像は第１の画像と第２の画像とを含む。例えば、第１の画像はＩＲセンサ１１２によって形成された熱画像２１２であってよく、第２の画像は範囲センサ１１６のＬＶＣ１１０によって形成された可視画像２１０であってよい。この例では、第２の画像は（ＲＶＣ画像２０８と共に）範囲センサ１１６によって捕捉される１対の可視画像のうちの１つでもある。しかし、本発明はこのように限定されない。範囲センサ１１６が可視センサを含まない場合、可視画像は第３のセンサによって供給されてもよい。別の実施形態では、第１のセンサは紫外線センサを含んでよい。より一般には、第１および第２の融合画像の両方は、典型的には補完的な、異なるスペクトル特性および波長感度を有する任意の２つのセンサによって供給されてよい。
【００２０】
工程５０６で、範囲情報が生成される。一実施形態では、ＬＶＣ１１０およびＲＶＣ１０８によって得られた画像は範囲マップ生成モジュール１０６に供給される。生成モジュール１０６は、視差状態を補うために用いられる二次元の範囲マップを形成する。実施形態に応じて、範囲マップ生成処理は画像処理装置１１４上で、または範囲センサ１１６自体で実施されてよい。
【００２１】
工程５０８で、第１の画像がワープされる。一実施形態では、ＩＲ画像２１２はワーピング・モジュール１０４に供給される。ワーピング・モジュール１０４は、ＩＲ画像２１２を可視画像２１０の座標にワープするために生成モジュール１０６によって形成された範囲情報を利用する。別の実施形態では、範囲情報から引き出された変換データがワーピング処理に利用される。特に、範囲マップは代わりにルックアップ・テーブル（ＬＵＴ）１１８に入力として提供される。ＬＵＴ１１８は、次いでＩＲ画像２１２をワープするために必要な変換データを決定するためのパラメータとして、範囲マップ上に表示された奥行き情報を用いる。この変換データは、範囲センサ１１６を含むカメラから特定距離をおいて目標対象物または場面によって示された視差状態を補うために特に引き出された変換マトリックスであってもよい。
【００２２】
工程５１０で、第１の画像と第２の画像とが融合される。一実施形態では、融合モジュール１０２はＬＶＣ画像２１０をワープされたＩＲ画像と融合する。この処理の結果として、融合画像が形成される。工程５１２では、実施形態に応じて、融合画像は角張った境界または不足しているピクセルを補うために任意で混合されてよい。方法５００は工程５１４で終了する。
【００２３】
図６は、本明細書で説明される機能を実行する際の使用に適した多目的コンピュータの高レベルの構成図を示す。図６に示されるように、システム６００はプロセッサ要素６０２（例えば、ＣＰＵ）、メモリ６０４、例えば、ランダム・アクセス・メモリ（ＲＡＭ）および／または読出し専用メモリ（ＲＯＭ）、画像処理装置モジュール６０５、および様々な入力／出力装置６０６（例えば、テープ・ドライブ、フレキシブルディスク・ドライブ、ハードディスク・ドライブまたはコンパクト・ディスク・ドライブを含むがこれに限定されない記憶装置、受信機、送信機、スピーカ、ディスプレイ、音声合成装置、出力ポート、およびユーザ入力装置（キーボード、キーパッド、マウスなど））を含む。
【００２４】
本発明はソフトウェアおよび／またはソフトウェアとハードウェア、例えば、特定用途向け集積回路（ＡＳＩＣ）、多目的コンピュータまたは任意のその他のハードウェア均等物の使用、との組合せで実行されてよい。一実施形態では、上で議論された機能を実施するために、本発明の画像処理装置モジュールすなわちアルゴリズム６０５はメモリ６０４内にロードされ、前述のように機能を実行するためにプロセッサ６０２によって実行されてもよい。したがって、（関連するデータ構造を含む）本発明の画像処理装置アルゴリズム６０５は、コンピュータ読取可能な媒体、すなわちキャリア、例えば、ＲＡＭメモリ、磁気または光ドライブまたはディスケットなど、に記憶されてよい。
【００２５】
本発明の第１の実施形態の一態様は、２つの映像処理ボード、例えば、Ｓａｒｎｏｆｆ  ＰＣＩ  Ａｃａｄｉａ（商標）ボード（例えば、米国特許第５，９６３，６７５号明細書を参照）上でステレオ・アプリケーションと融合アプリケーションとを個別に実行することである。ステレオ・カメラ（ＬＶＣ１１０およびＲＶＣ１０８）はステレオ・ボードに接続され、ＬＶＣ１１０およびＩＲセンサ１１２は融合ボードに接続される。ホスト・パーソナル・コンピュータ（ＰＣ）はＰＣＩバスを経由して両方のボードを接続する。範囲マップはステレオ・ボードからホストＰＣに送られる。ホストＰＣは、範囲マップからの最も近い対象奥行きに基づきワーピング・パラメータを計算し、その結果を融合ボードに送る。融合アプリケーションは、次いでＩＲセンサ画像２１２をワープし、それをＬＶＣ画像２１０からの画像と融合する。
【００２６】
融合画像を利用することの利点は、所与の場面内のオブジェクトが複数のスペクトル（例えば、赤外線、紫外線、可視光のスペクトルなど）内で検出され得ることである。例えば、夜間に人物と道路標識とが駐車場に配置されるシナリオを考慮されたい。自動車上に取り付けられた可視カメラは道路標識の画像を捕捉でき、標識の用語は自動車のヘッドライトを用いて読み取られることが可能である。しかし、人物が暗色の衣類を着ている場合および／またはヘッドライドの範囲の外にいる場合、可視カメラはその人物を検出できない可能性がある。逆に、熱画像は人物の体温によって人物の熱画像を容易に捕捉することができるが、道路標識の温度は周囲環境と同等であるため、道路標識を捕捉することはできないであろう。さらに、標識上の字体はＩＲセンサを用いることによって検出されないであろう。融合モジュールを用いて熱画像と可視画像とを組み合わせることにより、結果として生じる、人物と標識の両方を含む融合画像が生成されることが可能である。したがって、融合画像の使用は、衝突回避方法およびステアリング方法などの自動車への応用において非常に有利である。
【００２７】
自動車操作において提供される利点に加えて、本発明はボート、無人車両、飛行機など、その他の種類のプラットフォームまたは車両に関して同様の方法で用いられることが可能である。すなわち、本発明は霧、雨、またはその他の悪条件のもとでの航行に支援を提供することができる。同様に、融合画像は異なる医療分野で利用することも可能である。例えば、本発明は医師が臓器や組織の異なる奥行きを観察することを可能にすることによって、医師が外科的処置を実行するのを支援することを可能にし得る。
【００２８】
可動車両および可動オブジェクトに加えて、本発明は、同軸上に設置できない、異なるスペクトル特性を有する２つのカメラからの画像が融合されなければならない、セキュリティおよび監視用途（例えば、セキュリティ監視カメラ・システム）などの静的設備にも適している。例えば、いくつかの用途は、既存の構造により空間が狭く制約される可能性があり、２つのカメラを同軸上に設置することは不可能な場合がある。
【００２９】
様々な実施形態が上に説明されているが、これらは限定としてではなく、例としてのみ提示されている点が理解されるべきである。したがって、好ましい実施形態の広さおよび範囲は上述の例示的な実施形態のいずれによっても限定されるべきではなく、特許請求の範囲およびその均等物によってのみ定義されるべきである。
【図面の簡単な説明】
【００３０】
【図１】本発明による画像処理システムの例示的な実施形態を示す構成図である。
【図２】融合画像の形成の第１の実施形態の動作を示す図である。
【図３】融合画像の形成の第２の実施形態の動作を示す図である。
【図４】融合画像の形成の第３の実施形態の動作を示す図である。
【図５】本発明の１つまたは複数の態様による、融合画像を形成するための方法の例示的な実施形態を示す流れ図である。
【図６】本明細書で説明される処理および方法の実施に適したコンピュータの例示的な実施形態を示す構成図である。
【図１】
2008511080.tif 000004
【図２】
2008511080.tif 000005
【図３】
2008511080.tif 000006
【図４】
2008511080.tif 000007
【図５】
2008511080.tif 000008
【図６】
2008511080.tif 000009
【国際調査報告】
2008511080.tif 000010