(57)【要約】高解像度のパンクロマティック画像およびより低い解像度のマルチスペクトル画像を含む画像対から融合された画像を生成する方法およびシステム。本方法は、パンクロマティック画像型の第一の画像およびマルチスペクトル画像型の第二の画像を定義する画像データを得ること（２０４）を含む。第一の画像は第一の空間解像度および第一のスペクトル解像度をもつ。第二の画像は、第一の空間解像度よりも低い第二の空間解像度および第一のスペクトル解像度より高い第二のスペクトル解像度をもつ。本方法は、第一の画像を第二の空間解像度にダウンサンプリングするための点拡散関数および第二の画像を第一のスペクトル解像度にダウンサンプリングするための重みの集合を同時並行的に計算するステップ（２１２）をも含む。
2010511256.tif 000002
【特許請求の範囲】
【請求項１】
高解像度のパンクロマティック画像およびより低い解像度のマルチスペクトル画像を含む画像対から融合された画像を生成する方法であって：
第一の空間解像度および第一のスペクトル解像度をもつ、パンクロマティック画像型の第一の画像を定義する画像データを取得するステップと；
前記第一の空間解像度よりも低い第二の空間解像度および前記第一のスペクトル解像度より高い第二のスペクトル解像度をもつ、マルチスペクトル画像型の第二の画像を定義する画像データを取得するステップと；
前記第一の画像を前記第二の空間解像度にダウンサンプリングするための点拡散関数および前記第二の画像を前記第一のスペクトル解像度にダウンサンプリングするための重みの集合を同時並行的に計算するステップと；
前記重みの集合を使って、前記第一の空間解像度および前記第二のスペクトル解像度をもつ融合された画像を形成するステップとを有しており、
前記点拡散関数および前記重みの集合が、前記画像対の固有の特性に対して特異的に最適化される、
方法。
【請求項２】
前記計算するステップがさらに、前記画像対をなす各画像が共通の低解像度パン画像にマッピングされるときの輝度の二乗誤差を最小にするよう前記点拡散関数および前記スペクトル重みの集合を計算することを含む、請求項１記載の方法。
【請求項３】
前記共通の低解像度を、前記第二の空間解像度および前記第一のスペクトル解像度となるよう選択するステップをさらに含む、請求項１記載の方法。
【請求項４】
前記計算するステップがさらに、方程式
【数６】
2010511256.tif 000008
においてΨi,jおよびWλについて同時に解くステップを含み、ここで、Pは前記第二の空間解像度にダウンサンプリングされたピクセルの輝度、Wλは前記マルチスペクトル画像をなすスペクトル帯域λについてのスペクトル重み、Mλは前記第二の画像をなす各スペクトル帯域についてのピクセルの輝度値、P0は一定のオフセット値、pi,jは前記パンクロマティック画像をなすピクセルの輝度値、Ψi,jは前記点拡散関数である、請求項１記載の方法。
【請求項５】
Ψi,jおよびWλについて同時に解くための行列方程式を構築するステップをさらに含む、請求項４記載の方法。
【請求項６】
融合された画像を形成する前記方法がさらに、前記融合された画像を前記第二の空間解像度に空間的にダウンサンプリングするために前記点拡散関数を使い、次いで前記融合された画像の各光学帯域の輝度値の、前記第二の画像の各光学帯域の輝度値との整合性を強制するステップを含む、請求項１記載の方法。
【請求項７】
前記強制するステップが、前記融合された画像の各光学帯域の前記輝度値が前記第二の画像の各光学帯域の輝度値と整合しない場合に前記融合された画像の少なくとも一つのピクセル輝度値を自動的に修正することを含む、請求項６記載の方法。
【請求項８】
融合された画像を形成する前記方法がさらに、前記融合された画像を前記第一のスペクトル解像度にスペクトル的にダウンサンプリングするために前記スペクトル重みを使い、次いで前記融合された画像の各ピクセルの輝度値の、前記第一の画像の各ピクセルの輝度値との整合性を強制するステップを含む、請求項１記載の方法。
【請求項９】
前記強制するステップが、前記融合された画像の各ピクセルの前記輝度値が前記第一の画像の各ピクセルの輝度値と整合しない場合に前記融合された画像の少なくとも一つのピクセル輝度値を自動的に修正することを含む、請求項８記載の方法。
【請求項１０】
前記計算するステップに先立って、前記第一の画像中のピクセルの、前記第二の画像中の位置への幾何学的なマッピングを与えるよう、前記画像対に対する位置合わせプロセスを実行するステップを含む、請求項１記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理に、より詳細には異なる解像度、たとえば空間的解像度およびスペクトル解像度をもつ画像を較正するための画像処理方法に関する。
【背景技術】
【０００２】
リモート画像検知の分野において、二つの一般的な画像の型はパンクロマティック画像およびマルチスペクトル画像を含む。パンクロマティック画像は、一つだけの非常に広い帯域で電磁エネルギーを検出するよう設計されたセンサーをもつリモート検知デバイスによって得られる画像である。この一つだけの非常に広い帯域は典型的には可視光の波長のほとんどを含む。パンクロマティック画像は、非常に高い空間的解像度を提供するという利点をもつ。対照的に、マルチスペクトル画像は典型的には、可視光領域および近赤外領域内のいくつかの狭いスペクトル帯域から生成される。その結果、マルチスペクトル画像は一般に、二つ以上の画像データ・セットからなり、各画像データ・セットが光学スペクトルの異なる部分（たとえば、青、緑、赤、赤外）に応答するセンサーによって生成される。マルチスペクトル画像は、同様のパンクロマティック画像からは得られないスペクトル情報を含むので、有益である。しかしながら、マルチスペクトル画像は典型的には、パンクロマティック画像に比べて空間的解像度が低い。
【０００３】
マルチスペクトル画像をパンクロマティック画像の高解像度を用いて向上させることが望ましいことがしばしばある。この結果を達成するために、当技術分野では、画像が組み合わされるまたは「融合される」ことが知られている。一般に、この融合プロセスを達成するために、解決されなければならない二つの主要な問題がある。第一の問題は、二つの画像の位置合わせの必要性に関する。位置合わせプロセスは、パンクロマティック画像中の各ピクセルがマルチスペクトル画像のどこに対応するかの決定を含む。最良の結果のためには、このプロセスは一般に、高い精度をもって達成される必要がある。たとえば、パン画像における各ピクセルが、0.1パンクロマティック・ピクセル半径より細かい精度でマルチスペクトル画像にマッピングされることが望ましい。このマッピングを達成するために、いくつかの従来技術の方法が存在している。融合するプロセスを実行するときに克服されなければならない第二の問題は、融合された画像の輝度値が（１）もとのマルチスペクトル画像および（２）もとのパンクロマティック画像と整合したままとなることを保証することである。項目（１）は、融合された画像における各波長帯域に関連付けられたピクセルについての輝度値に適用されるべき重みについての推定値を得る何らかの手段を必要とする。これらの重みが既知であれば、融合された画像におけるピクセルの輝度値のもとのパンクロマティック画像におけるピクセルとの正確な比較をすることが可能である。項目（２）は、マルチスペクトル画像中の各ピクセルに対応する領域に集団的にマッピングされる融合された画像のある領域内に含まれる各ピクセルに適用されるべき重みの空間的分布を決定する何らかの手段を必要とする。重みの空間的分布が既知であれば、融合された画像の輝度値のマルチスペクトル画像の各帯域における輝度値との正確な比較をすることが可能である。そのような評価は、もとのマルチスペクトル画像と融合された画像との間の輝度値の整合性を保証できる。
【０００４】
画像融合プロセスを実行するために利用される従来のアルゴリズムはいくつかの制限を受ける。たとえば、従来のアルゴリズムは一般に、パンクロマティック画像中の高空間解像度のピクセルがマルチスペクトル画像の高スペクトル解像度のピクセルと組み合わされるまたは融合されるべきである仕方について、単純な想定をする。典型的には、そうした想定は、（１）パンクロマティック画像からの高空間解像度ピクセルが、ボックス平均としてマルチスペクトル画像の低解像度にダウンサンプリングされるという想定と、（２）パンクロマティック画像からのピクセルは、赤、緑および青のスペクトル帯域の均等に重み付けされた平均であるという想定を含む。
【０００５】
いくつかのアルゴリズムは、パンクロマティック画像の高解像度からマルチスペクトル画像の比較的低解像度にピクセルをダウンサンプリングするプロセスに関して、やや洗練されたアプローチも採用している。たとえば、いくつかのアルゴリズムでは、パンクロマティック画像からの高空間解像度のピクセルは、単にボックス平均としてダウンサンプリングされるのではない。その代わり、パンクロマティック画像からの高空間解像度ピクセルがマルチスペクトル画像と整合するピクセルにダウンサンプリングされる仕方を決定するために、点拡散関数（PSF:  point-spread  function）が使用される。PSF（時に機器ライン形（instrument  line  shape）とも称される）は、光の点がセンサーおよび付随する光学系によってぼかされるまたは拡散される仕方の特徴である。したがって、センサーのPSFに関する知識が、パンクロマティック画像からの高空間解像度ピクセルをマルチスペクトル画像にダウンサンプリングするために有用であることができる。特に、PSFは、複数の高解像度ピクセルの個々のピクセルを組み合わせてより低い解像度での単一のより大きなピクセルを形成するための重み付けシステムを定義するために使用できる。しかしながら、従来のアルゴリズムにおけるPSFは単に、開口のようなセンサー幾何データ、焦点面解像度などに基づいて近似されていた。よって、使用されるPSFは、必ずしも、センサー・システムについての真のPSFの精確な表現ではない。さらに、事前計算されたPSFは、位置合わせにおける残留シフト誤差および画像前処理のアーチファクトのような所与の画像対に固有の情報を含まない。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
以上のことに鑑み、パンクロマティック・スペクトル応答を近似するためにマルチスペクトル画像データの各帯域に適用されるべき重みの正確な推定値を得るための改良された方法が必要とされている。所与のマルチスペクトル画像ピクセルに対応するパンクロマティック画像幾何に適用されるべき重みの空間的分布の正確な推定を得ることも必要とされている。重みのこの空間的分布は、より低い解像度のマルチスペクトル画像データを高空間解像度のパンクロマティック画像データと融合するときにマルチスペクトル空間応答を近似するために有利であることができる。
【課題を解決するための手段】
【０００７】
本発明は、高解像度のパンクロマティック画像およびより低い解像度のマルチスペクトル画像を含む画像対から融合された画像を生成する方法およびシステムに関する。本方法は、パンクロマティック画像型の第一の画像およびマルチスペクトル画像型の第二の画像を定義する画像データを得ることによって始まる。第一の画像は第一の空間解像度および第一のスペクトル解像度をもつ。第二の画像は、第一の空間解像度よりも低い第二の空間解像度および第一のスペクトル解像度より高い第二のスペクトル解像度をもつ。その後、画像対に対して位置合わせプロセスが実行されて、第一の画像中の点の第二の画像中の対応する位置への幾何学的なマッピングが与えられる。
【０００８】
本方法は、第一の画像を前記第二の空間解像度にダウンサンプリングするための点拡散関数Ψi,jと、第二の画像を前記第一のスペクトル解像度にダウンサンプリングする重みの集合Wλとを同時並行的に計算するステップをも含む。前記点拡散関数および前記重みの集合は、特に、画像対の独特な特性に対して最適化される。本方法の前記計算するステップは、Ψi,jおよびWλについて同時並行的に解くための行列方程式を構築することを含む。その行列方程式を解くために最小二乗誤差法が有利に使用される。この技術を使って、画像対をなす各画像が共通の低解像度パン画像にマッピングされるときの輝度の二乗誤差を最小にするよう点拡散関数およびスペクトル重みの集合が計算できる。たとえば、共通の低解像度は前記第二の空間解像度および前記第一のスペクトル解像度であることができる。いったん得られたら、前記重みの集合は、前記第一の空間解像度および前記第二のスペクトル解像度を有する融合された画像を形成するために使用される。
【０００９】
上述した計算ステップは有利には、方程式
【数１】
2010511256.tif 000003
においてΨi,jおよびWλについて同時に解くことを含む。ここで、Pは前記第二の空間解像度にダウンサンプリングされたピクセルの輝度、Wλはマルチスペクトル画像をなすスペクトル帯域λについてのスペクトル重み、Mλは第二の画像をなす各スペクトル帯域についてのピクセルの輝度値、P0は一定のオフセット値、pi,jはパンクロマティック画像をなすピクセルの輝度値、Ψi,jは点拡散関数である。前記計算するステップは、Ψi,jおよびWλについて同時に解くための行列方程式を構築することおよび最小二乗あてはめ法を使って前記行列方程式を解くことを含むこともできる。
【００１０】
本方法はまた、有利には、融合された画像を第二の空間解像度に空間的にダウンサンプリングするために計算された点拡散関数を使うことを含む。その後、融合された画像の各光学帯域の輝度値が第二の画像の各光学帯域の輝度値と比較されることができる。何らかの有意な差があれば、このステップにおいて、そのような差が、融合された画像をなすピクセルの輝度値を修正することによって補正されることもできる。
【００１１】
本方法はまた、融合された画像を前記第一のスペクトル解像度にスペクトル的にダウンサンプリングするために前記スペクトル重みを使うことを含む。その後、融合された画像の各光学帯域の各ピクセルの輝度値が、第一の画像の各ピクセルの輝度値と比較されることができる。何らかの有意な差があれば、このステップにおいて、そのような差が、融合された画像をなすピクセルの輝度値を修正することによって補正されることもできる。
【００１２】
もう一つの側面によれば、本発明は、高解像度のパンクロマティック画像およびより低い解像度のマルチスペクトル画像を含む画像対から融合された画像を生成するシステムを含む。本システムは、第一の画像を定義する画像データおよび第二の画像を定義する画像データを記憶するデータ記憶部を含む。第一の画像型はパンクロマティック画像型であり、第二の画像型はマルチスペクトル画像型である。第一の画像は第一の空間解像度および第一のスペクトル解像度をもつ。第二の画像は、第一の空間解像度よりも低い第二の空間解像度をもつ。第二の画像はまた、第一のスペクトル解像度より高い第二のスペクトル解像度をもつ。
【００１３】
本システムはまた、上記したプロセスを実装する命令の好適な集合をプログラムされたコンピュータ処理システムをも含む。そこで、コンピュータ処理システムは、第一の画像を前記第二の空間解像度にダウンサンプリングするための点拡散関数と、第二の画像を前記第一のスペクトル解像度にダウンサンプリングする重みの集合とを同時並行的に計算するよう構成される。コンピュータ処理システムは、前記重みの集合を、前記第一の空間解像度および前記第二のスペクトル解像度を有する融合された画像を形成するために使用するよう構成される。意義深いことに、コンピュータ処理システムによって計算される点拡散関数および重みの集合は、上記の方法を使って画像対の独特の特徴に対して特に最適化される。
【００１４】
以下の図面を参照して実施例を記載する。図面において、同様の参照符号は全図を通じて同様の項目を表す。
【図面の簡単な説明】
【００１５】
【図１】本発明を理解するために有用なコンピュータ処理システムのブロック図である。
【図２】本発明を理解するために有用な空間的／スペクトル較正ソフトウェア・ルーチンの流れ図である。
【図３】パンクロマティック画像およびマルチスペクトル画像を生成するために使用されるセンサーのスペクトル応答の一例を示すプロットである。
【図４】マルチスペクトル画像のスペクトル解像度を減らすためにマルチスペクトル画像のダウンサンプリング処理においてスペクトル重みがどのように使われるかを示す概念図である。
【図５】パンクロマティック画像の空間解像度を減らすためにパンクロマティック画像のダウンサンプリング処理において点拡散関数がどのように使われるかを示す概念図である。
【図６】点拡散関数の一例を示す二次元グラフである。
【発明を実施するための形態】
【００１６】
これから、本発明について、本発明の例示的な実施形態を図示する付属の図面を参照しつつ以下により十全に記載する。しかしながら、本発明は、数多くの異なる形で実施されることができ、ここに記載される実施形態に限定されると解釈すべきではない。たとえば、本発明は、方法、データ処理システムまたはコンピュータ・プログラム・プロダクトとして実施できる。したがって、本発明は、完全にハードウェアの実施形態、完全にソフトウェアの実施形態またはハードウェア／ソフトウェア実施形態の形を取ることができる。
【００１７】
本発明は、一つのコンピュータ・システムにおいて実現されることができる。あるいはまた、本発明は、いくつかの相互接続されたコンピュータ・システムにおいて実現されることができる。本稿に記載される方法を実行するよう適応されたいかなるコンピュータ・システムまたは他の装置も好適である。ハードウェアおよびソフトウェアの典型的な組み合わせは汎用コンピュータ・システムであることができる。汎用コンピュータ・システムは、コンピュータ・システムが本稿に記載される方法を実行するようコンピュータ・システムを制御することができるコンピュータ・プログラムを有することができる。
【００１８】
本発明は、コンピュータ使用可能記憶媒体（たとえば、ハードディスクまたはCD-ROM）上のコンピュータ・プログラム・プロダクトの形を取ることができる。コンピュータ使用可能記憶媒体は、媒体に具現されているコンピュータ使用可能なプログラム・コードを有することができる。本稿での用法では、コンピュータ・プログラム・プロダクトは、本稿に記載される方法の実装を可能にするすべての特徴を有するデバイスを指す。コンピュータ・プログラム、ソフトウェア・アプリケーション、コンピュータ・ソフトウェア・ルーチンおよび／またはこれらの用語の他の変形は、今のコンテキストでは、直接的に、あるいはａ）別の言語、コードもしくは記法への変換またはｂ）異なる物質形での再現の一方または両方ののちに、情報処理機能をもつシステムに特定の機能を実行させるよう意図された命令の集合の、任意の言語、コード、記法におけるいかなる表現をも意味する。
【００１９】
これから、図１ないし図６に関して本発明の実施形態について述べる。本発明のいくつかの実施形態では、画像データを取得し、画像データを位置合わせし、較正係数を決定し、較正係数を特定の画像データに適用することを含む画像融合機能に関する方法、システムおよび装置を提供する。したがって、挙げられた機能を含む実施形態について以下でさらに論じる。
【００２０】
ここで図１を参照すると、コンピュータ処理装置１００のブロック図が与えられている。コンピュータ処理装置１００は、システム・インターフェース１１２、ユーザー・インターフェース１０２、中央処理ユニット１０４、システム・バス１０６、システム・バス１０６を通じてコンピュータ処理装置１００の他の部分に接続され、該他の部分によってアクセス可能であるメモリ１０８、システム・バス１０６に接続されたハードウェア・エンティティ１１０を有する。ハードウェア・エンティティ１１０の少なくともいくつかは、メモリ１０８へのアクセスおよびメモリ１０８の使用に関わる動作を実行する。メモリ１０８はRAM、ディスク・ドライバおよび／またはCD-ROMであってもよい。
【００２１】
ユーザー・インターフェース１０２は、較正アプリケーションおよび／または融合アプリケーションにアクセスし、これを立ち上げる要求を生成するためのユーザー動作を容易にする。ユーザー・インターフェース１０２は、ディスプレイ画面、スピーカーならびにキーパッド、方向パッド、方向ノブおよび／またはマイクロホンのような入力手段を有しうる。
【００２２】
システム・インターフェース１１２は、コンピュータ処理装置１００が、外部コンピュータ処理装置と、LANまたはWANを通じて通信することを許容する。システム・インターフェース１１２はまた、コンピュータ処理装置１００が一つまたは複数の外部データベースとの間でデータを送り、データを取り出すことをも許容する。
【００２３】
メモリ１０８は、I/Oデバイス・ドライバ・プログラム・コードおよびオペレーティング・システム・プログラム・コードを含むことができる。メモリ１０８は、画像データ、較正アプリケーション・プログラム・コードおよび融合アプリケーション・プログラム・コードを含むことができる。本発明のある側面によれば、画像データは、マルチスペクトル画像のような高スペクトル・データを含むことができる。画像データはまた、パンクロマティック画像のような高空間解像度データも含むことができる。
【００２４】
ハードウェア・エンティティ１１０は、マイクロプロセッサ、ASICおよび他のハードウェアを含みうる。ハードウェア・エンティティ１１０は、I/Oデバイス・ドライバおよびオペレーティング・システムをプログラムされたマイクロプロセッサを含みうる。ハードウェア・エンティティ１１０は、較正アプリケーションをプログラムされたマイクロプロセッサをも含みうる。較正アプリケーションは、異なる空間解像度およびスペクトル解像度をもつ画像についての画像データを取得し、異なる画像についての前記画像データを位置合わせし、行列方程式を構築し、行列方程式を解き、特定の画像型についての画像データに較正係数を適用するためのシステムを提供することができる。較正アプリケーションは、図２との関連で下記でより詳細に述べる。ハードウェア・エンティティ１１０はさらに、増加した画像内容を提供するために二つ以上の画像を組み合わせるための融合アプリケーションをプログラムされたマイクロプロセッサを含みうる。
【００２５】
当業者は、図１に示されたコンピュータ処理装置アーキテクチャがコンピュータ処理装置の一つの可能な例であることを理解するであろう。しかしながら、本発明はこの点に関して限定されるものではなく、他のいかなる好適なコンピュータ処理装置アーキテクチャも、限定なしに使用できる。
【００２６】
これから、本発明について図２との関係でより詳細に述べる。本稿で開示される空間的／スペクトル較正プロセスは、パンクロマティック画像およびマルチスペクトル画像の対を融合させるために有用である。図２および付属のテキストは、本発明に基づく空間的／スペクトル較正ソフトウェア・ルーチンを図解する。しかしながら、本稿に開示される空間的／スペクトル較正ソフトウェア・ルーチンはあくまでも例示の目的で与えられるのであり、本発明が示される空間的／スペクトル較正ソフトウェア・ルーチンのみに限定されるのではないことは理解しておくべきである。本発明のルーチンを実行するためのコンピュータ・プログラム・コードが、Java（登録商標）、スモールトーク（Smalltalk）、C++またはビジュアル・ベーシックといったオブジェクト指向のプログラミング言語で書かれることができることは理解しておくべきである。しかしながら、本発明のルーチンを実行するためのコンピュータ・プログラム・コードは、「C」プログラミング言語のような通常の手続き型プログラミング言語で書かれることもできる。
【００２７】
本稿での用法では、「融合（fusing）」または「融合された画像（fused  image）」の用語はそれぞれ、高解像度のパンクロマティック画像を使って比較的低解像度のマルチスペクトル画像の解像度を鮮鋭にするプロセスまたはそのようなプロセスから得られる画像を指す。「画像対（image  pair）」の用語は、高解像度のパンクロマティック画像（panchromatic  image）および同じ表面または同じ主題の比較的低解像度のマルチスペクトル画像（multi-spectral  image）を指す。このように、パンクロマティック画像およびマルチスペクトル画像はそれぞれ、密接に関係した画像データからなる。
【００２８】
再び図２を参照すると、プロセス２００は、ステップ２０２において始まり、ステップ２０４に続くことができる。ステップ２０４では、異なる空間解像度および異なるスペクトル解像度をもつ少なくとも二つの画像を含む画像対について、画像データが得られる。本発明の記述の便宜上、画像対はマルチスペクトル画像とパンクロマティック画像からなると想定する。しかしながら、本発明はこの点に関して限定されるのではないことは理解しておくべきである。異なる空間解像度および異なるスペクトル解像度をもつ他のいかなる画像対も、本稿で記載される本発明の構成を使って融合できる。
【００２９】
第一の画像によって画像化される表面が第二の画像によって画像化される表面と有意に重ならなければ、融合された画像はほとんど価値がないことは当業者には理解されるであろう。したがって、本稿で言及される画像対が共通の主題または共通の表面領域について選択されることが有利であることを理解しておくべきである。たとえば、両画像は地球の共通の地理的領域についてであることができる。
【００３０】
本稿に記載される画像対はさらに、ある種の他の特性をもつと想定される。パンクロマティック画像収集とマルチスペクトル画像収集の間の時間中に乗物および海洋の波のような動くオブジェクトは、二つの画像間で正しく位置合わせされることはありそうにない。よって、位置合わせおよび較正における誤差につながる。両画像の取得の間の時間が数分以上であれば、太陽の位置の変化が、表面の法線が太陽とどのくらいよく方向が揃っているかに基づいて、影の有意な変化および表面の照明の変動につながるであろう。これは、有意な較正および位置合わせ誤差につながりうる。パンクロマティック画像とマルチスペクトル画像の収集の間に数日が経過する場合は、大気条件の有意な変化があることもある。数か月が経過すれば、氷、雪、雨、樹木の落葉、新たな生長に起因する表面属性の有意な変化があることもある。したがって、一般には、そのような誤差を減らすため、各画像対をなすパンクロマティック画像およびマルチスペクトル画像は、ほぼ同じ位置から取得されることが好ましい。これは、位置合わせを著しく単純化し、ほとんどシフト、拡大縮小および回転だけにする。
【００３１】
さらに、パンクロマティック画像およびマルチスペクトル画像の対が互いから非常に短い時間枠内に取得されることが好ましい。たとえば、各画像は、互いから一分以内に取得されることが有利である。それでも、本発明は、これらの基準を満たさない画像対との関連でも、結果は劣化するが、利用できることは理解されるであろう。たとえば、本プロセスは、ほぼ同時に異なるセンサー・プラットフォームを用いて得られた画像対について使用されることもできる。
【００３２】
画像データは、制御処理ユニット１０４によって処理され、メモリ１０８内に記憶されることができる。画像データはピクセル・データを含む。制御処理ユニット１０４は、メモリ１０８にテーブル形式でそのようなピクセル・データを入れるよう構成されることができる。マルチスペクトル画像データについてのピクセル・データは、各ピクセルの電磁波長特性および格子上の位置を含むことができる。パンクロマティック画像に関連付けられたピクセル・データも制御処理ユニット１０４によって処理され、メモリ１０８内に記憶されることができる。パンクロマティック画像についてのピクセル・データは、パンクロマティック画像に関連付けられた各ピクセルについての輝度データを含むことができる。制御処理ユニット１０４は、パンクロマティック画像データが格子上のピクセル位置に関連付けられるよう、テーブル形式に従ってメモリ１０８を埋めるよう構成されることができる。
【００３３】
ひとたび画像が得られたら、処理はステップ２０６に続くことができる。ステップ２０６は、前記少なくとも二つの画像についてのデータの位置合わせに関わる。画像データの異なるセットを位置合わせする技法は当業者にはよく知られている。よって、そのような技法は本稿では詳細に述べはしない。しかしながら、当技術分野で知られているそのようないかなる技法も本発明とともに使用できることは理解しておくべきである。
【００３４】
一般に、位置合わせステップ２０６は、パンクロマティック画像の各点がマルチスペクトル画像においてどこに対応するかの決定を含む。最良の結果のためには、位置合わせプロセスは一般に、高い精度で達成される必要がある。このマッピングを達成するには、いくつかの従来技術の方法が存在する。典型的には、それらの方法は、一つの画像中でいくつかの点を選択し、それらの点が他方の画像中でどこにマッピングされるかを見出し、次いで変換の係数を最適化することを含む。これは、通例、ある画像から別の画像に点をマッピングする二乗誤差を最小にする係数の集合を得ることを許容する最小二乗誤差ソリューションである。融合プロセスにおける最良の結果のために、好ましくは、パンクロマティック画像は、0.1パンクロマティック・ピクセルによって定義される大きさより小さい誤差距離によって定義される精度をもって、マルチスペクトル画像にマッピングされる。
【００３５】
ステップ２０６の位置合わせプロセスは、一方の画像の座標から他方の画像の座標への点のマッピングを決定する。このマッピングは、x1＝ax2＋by2＋x0の形の線形変換のような単純なものでもよいし、あるいはセンサーおよび画像化される表面両方の幾何形状をモデル化する複雑な変換であってもよい。PSFおよびスペクトル重みを較正する追加的なステップは、ピクセルの空間的／スペクトル体積が画像間でどのようにマッピングされるかを定義するために有用であるさらなる情報を提供する。
【００３６】
ステップ２０６で画像データを位置合わせしたのち、プロセスはステップ２１０に続く。パンクロマティック画像およびマルチスペクトル画像からの画像データを適正に組み合わせるまたは融合するためには、二つの較正機能を実行することが必要であることは理解されるであろう。これらの較正機能は、（１）マルチスペクトル画像をなす諸帯域についての輝度値のスペクトル重みを、それらの輝度値がパンクロマティック画像のピクセルにおける輝度値に正確に対応するよう、決定すること；および（２）パンクロマティック画像を形成する複数のピクセルについての輝度値が組み合わされてマルチスペクトル画像の単一の（より低い解像度の）ピクセルの単一の輝度値を形成する仕方を正確に定義する点拡散関数（PSF）を決定すること、である。ステップ２１０は、上述した二つの較正ステップの目的のために正確に使用されることのできる重み付けまたはスケーリング因子の正しい組を決定するプロセスに向けられる。
【００３７】
上記の較正ステップをより十全に理解するためには、まず、これらのステップがなぜ必要かを考えることが助けになる。本稿での用法では、「輝度値（radiance  value）」の用語は一般に、ピクセルに割り当てられたデジタル値であって、そのピクセルによって定義される位置においてセンサーによって受光された光エネルギーの強度を表すことが意図された値をいう。これに関し、これらの輝度値は、二つの異なるセンサーにおいて異なる仕方でスケーリングされうることは理解しておくべきである。したがって、二つの異なるセンサーからの輝度値を意味のある仕方で組み合わせることができる前に、二つの異なるセンサーからの輝度値が好適な重み付け因子を使うことによって何らかの仕方で調節またはスケーリングされなければならないことは理解されるであろう。このプロセスが較正（calibration）と称される。
【００３８】
上に挙げた較正機能（１）および（２）を別個に考慮するのがわかりやすい。較正機能（１）の場合、特定のシーンの完全なマルチスペクトル画像が実際にはいくつかの画像帯域からなることを理解しておく必要がある。いくつかの画像帯域のそれぞれにおいて、センサーは非常に限られた範囲の光学波長に応答する。この概念は図３に図解されている。図３では、四つの異なる帯域の光学波長に対するセンサーの応答を表す曲線３０１、３０２、３０３、３０４を示している。センサーは本質的には、応答曲線３０１、３０２、３０３、３０４によって表される各光学帯域について一つの画像を生成する。この例では、単一のマルチスペクトル画像は、これら四つのスペクトル帯域を使ってセンサーによって得られる画像からなるであろう。当業者は、異なるセンサー・システムはより多くのまたはより少ない光学帯域をもつこともできることを認識するであろう。これに対し、パンクロマティック画像は、ずっと広い範囲の光学波長に応答するセンサーによって得られる単一の画像である。図３では、パンクロマティック・センサーの応答が曲線３００によって示されている。
【００３９】
図３では、さまざまなマルチスペクトル帯域についてのセンサーの応答曲線３０１、３０２、３０３、３０４が、同じ波長についてのパンクロマティック・センサーの応答曲線３００と比べて非常に異なることがありうることが見て取れる。さまざまな光学帯域に対するセンサーの応答性におけるこれらの相違は、パンクロマティック画像に比べたときの、マルチスペクトル画像についての各ピクセルと関連付けられた輝度値の間のスケーリングの差につながる。
【００４０】
較正機能（１）は、マルチスペクトル・センサーによって測定された各ピクセルについての複数の輝度値を、パンクロマティック・センサーから帰結する輝度値のスケーリングに対応するよう、スケーリングすることに向けられる。たとえば、0.5μmにおける曲線３００および３０１によって表されるスペクトル応答を考える。曲線３０１は約1.0のスペクトル応答をもち、一方、パンクロマティック・センサーのスペクトル応答は、約0.35のレンジの平均スペクトル応答を示す。当面、曲線３０１によって定義される波長範囲における曲線３０２の応答を無視すると、曲線３０１の特性をもつセンサーを使ったマルチスペクトル画像におけるピクセルについての輝度値は、該輝度値が曲線３００によって示される応答をもつセンサーによって測定された値に対して適正に較正されるためには、約0.35の重み付け値によってスケーリングされる必要がありそうである。一般に、曲線３００によって定義された応答をもつセンサーを使って得られた輝度値に適正にスケーリングされる総輝度値を得るためには、適正なスペクトル較正は、図３における各スペクトル帯域に関連付けられたピクセル輝度値が足し合わされる必要があることを要求することになる。このプロセスは図４に示されている。
【００４１】
数学的に、以上のプロセスは次のように表せる。式（１）：
【数２】
2010511256.tif 000004
ここで、
Pi,jはダウンサンプリングされた各ピクセルのパン輝度（pan  radiance）；
Wλは各スペクトル帯域についてのスペクトル重み；
Mi,j,λはマルチスペクトル画像をなす各スペクトル帯域についての各ピクセルについての輝度値；
P0は一定のオフセット値である。
【００４２】
ここで図５に目を向けると、上述した較正機能（２）がスペクトル・スケーリングではなく空間的スケーリングに関わることが観察できる。空間的ダウンサンプリングは、パンクロマティック画像からの複数の高解像度のピクセルp00、p01、p10、p11の輝度値をダウンサンプリングして単一のより低い解像度のピクセルについての輝度値を決定することに関わる。高解像度ピクセルからの輝度値の単純な平均プロセスは、光学系、センサーおよびパンクロマティック画像を生成するために実行された可能性のある他の処理に関連する点拡散関数（PSF）を適正に取り入れないため、正確な結果を与えない。
【００４３】
PSFは、光の点が、光学系、センサーおよびパンクロマティック画像の生成に関連する他の画像処理機能によって処理される際に生じるぼかし（blurring）の数学的関数またはテーブルに基づく特徴付けと考えることができる。図６は、この概念を理解するのに有用な、例示的な点拡散関数の図的な表現である。PSFの正確な特徴付けまたは表現は、ピクセルのグループ内の種々の高解像度ピクセルについての輝度値が、より正確に単一のより大きなピクセルにダウンサンプリングされることを許容できる。これは図５に概念的に示されている。図５は、四つの高解像度ピクセルの組が単一のより大きなより低い解像度のピクセルにダウンサンプリングされる様子を示している。ψxによって表されるPSFは、これらのピクセルの輝度値をより大きなピクセルPに関連する単一の値により正確にダウンサンプリングするために、高解像度ピクセルp00、p01、p10、p11のそれぞれに選択的な重み付け因子として作用する。より具体的には、パンクロマティック画像のピクセルについての輝度値はPSFと畳み込みされて、単一のより大きなより低い解像度のピクセルについてのダウンサンプリングされた値を決定する。
【００４４】
以上のプロセスは、数学的には式（２）：
【数３】
2010511256.tif 000005
で表せる。ここで、
pi,jはパンクロマティック画像をなす高解像度ピクセルの輝度値；
Ψi,jは点拡散関数またはPSFである。
【００４５】
式（１）および式（２）は、ダウンサンプリングされた（より低解像度の）パンクロマティック画像を生成する二つの仕方を表している。一方のアプローチはマルチスペクトル画像を出発点とし、他方のアプローチはパンクロマティック画像を出発点とする。しかしながら、両方のアプローチは、より低い解像度のパンクロマティック画像を与える。したがって、Wλ（各スペクトル帯域についてのスペクトル重み）およびΨi,j（点拡散関数またはPSF）についての実際の値を計算するために、上記の式（１）および式（２）を一緒に使うことができる。ダウンサンプリングされた各ピクセルについて、式（３）：
【数４】
2010511256.tif 000006
が成り立つ。ここで、
Pjはダウンサンプリングされた各ピクセルのパン輝度；
Wλは各スペクトル帯域についてのスペクトル重み；
Mλはマルチスペクトル画像（multi-spectral  image）をなす各スペクトル帯域についての各ピクセルについての輝度値；
P0は一定のオフセット値；
pi,jはパンクロマティック画像をなす高解像度ピクセルの輝度値；
Ψi,jは点拡散関数またはPSFである。
【００４６】
上記の式（３）を使って、値Wλ（各スペクトル帯域についてのスペクトル重み）およびΨi,j（点拡散関数）を計算するために行列方程式をまとめることができる。
【００４７】
既知の強度と未知の重みの線形結合である式（３）を、行列形のマルチスペクトル画像に関連付けられた全ピクセルについての線形連立方程式として、次のように書き換えることができる。
【００４８】
Ax＝b        式（４）
ここで、Aはパンクロマティック画像およびマルチスペクトル画像からの指定された輝度値を入れられた行列、xは未知数（PSFおよびスペクトル重み）のベクトル、bは数値定数（たとえば0、1）のベクトルである。行列方程式（４）は、よって、次のように書ける。
【００４９】
【数５】
2010511256.tif 000007
当業者は、前記行列の最初のn×n列はPSFによって変調される高解像度パンクロマティック・ピクセルの部分に関係していることを認識するであろう。これらの値は、前記行列を乗じられるベクトルにおける最初のn×n個の未知数である。前記行列の次のグループの列は、MSI輝度値に負号を付けたものである。これらの値は、スペクトル重みWによって変調され、前記行列を乗じられるベクトルにおける次のグループを表す。前記行列の最後の列は、最初の行以外のすべての値について定数−1である。この−1の値は、一定のオフセットP0を取り入れるために使われ、前記行列を乗じられるベクトルにおける最後の未知数を表す。
【００５０】
前記行列の最初の行は、PSFのn×nの要素が合計して1になるという制約条件を課す。これは、点拡散関数を定義する特定である。この点に関し、式（５）のいちばん右の定数ベクトルの最初の行が値1をもつよう示されていることに気づかれるであろう。また、式（５）のいちばん左では、前記行列の最初の行において、最初のグループの列内の値が1に設定される。これに対し、最初の行内の残りの列の値は0に設定される。これらの値は、PSFの要素である最初のn×n個の未知数を選択するためにこのように選ばれている。
【００５１】
前記行列方程式の第二行は、高解像度パンクロマティック輝度値をPSF（p0,0…pn,n）によってスペクトル的にダウンサンプリングしたものは、スペクトル的にダウンサンプリングされたMSI輝度値（−M0…−Mb）に等しいという要件を強制する。式（５）のいちばん右の定数ベクトルの第二の行の値0がこの均衡を反映する。第二行の構造は、MSI画像中の各ピクセルについて、前記行列方程式における別個の行として繰り返される。当業者は、この行列の所与の行が、マルチスペクトル画像の特定のピクセルについては式（３）に帰着することをすぐ認識するであろう。
【００５２】
p0,0Ψ0,0＋…＋pn,nΨn,n−M0W0−…−MbWb−P0＝0
図２の処理は、ステップ２１２において、行列方程式（４）を解いて、定数オフセットP0を含め空間的PSF重み付け因子Ψi,jおよびスペクトル較正重み付け因子Wλを決定することによって続く。行列方程式（４）によって定義される連立方程式は典型的には、マルチスペクトル画像におけるピクセル数の多さと求められる比較的少数の未知の重みのため、過剰決定系である。前記方程式の解は、よく知られた最小二乗法のような通常の技法を使って見出される。
【００５３】
[AtA]x＝Atb
ここで、行列の転置を左からかけることは対称行列方程式を与える。この形の行列方程式を効率的に解く、多くのよく知られた方法がある。
【００５４】
当業者は、値Wλ（各スペクトル帯域についてのスペクトル重み）およびΨi,j（点拡散関数）はさまざまなダウンサンプリングおよび画像融合プロセスにおける使用のために有利であることをすぐ認識するであろう。たとえば、このようにして得られた重み付け値は、高解像度スペクトル情報をもってパンクロマティック画像を向上させるためにステップ２１６において使用されることができる。
【００５５】
ステップ２１６では、マルチスペクトル画像からの高解像度スペクトル情報が、融合プロセスにおいてパンクロマティック画像をスペクトル的に向上させるために使われる。具体的には、これは、ステップ２１２で決定されたスペクトル帯域のそれぞれについてのスペクトル重み（Wλ）を使うことによって達成できる。このプロセスは、典型的にはいくつかのステップを含むことができる。プロセスは、パンクロマティック画像のいくつかの複製画像を生成することによって始まることができる。特に、画像データのマルチスペクトル帯域のそれぞれについて、一つの画像層が生成されることができる。たとえば、図３に示されるようなマルチスペクトル応答をもつセンサーでは、各応答曲線３０１、３０２、３０３、３０４に関連付けられた各スペクトル帯域について一つで、四つの画像層が生成されることができる。複製パンクロマティック画像のそれぞれは、スペクトル的に向上されたパンクロマティック画像（融合された画像）のための一つの画像層を形成するために使用されることができる。
【００５６】
特定のスペクトル帯域についてのマルチスペクトル画像データおよび重み付け因子は、それぞれのパンクロマティック画像層を修正するために一緒に使用される。具体的には、第一のパンクロマティック画像層における各ピクセルの輝度値は、スケーリングされた輝度値で置換できる。スケーリングされた輝度値は、上記のマッピング技法によってパンクロマティック画像中のその特定のピクセルにマッピングされるマルチスペクトル画像のピクセルについての輝度値を使って得ることができる。各パンクロマティック・ピクセルをスケーリングするために使用されるマルチスペクトル画像からのピクセルの輝度値は、上記で計算された重み付け因子（Wλ）によってスケーリングされる。マルチスペクトル画像のピクセルがより低い空間解像度をもつため、マルチスペクトル画像の一つのピクセルからの輝度値が、パンクロマティック画像層からの複数の高解像度ピクセルのために使用されることができる。このプロセスは、マルチスペクトル画像をなす各光学波長帯域について繰り返されることができる。その結果は、パンクロマティック画像の空間解像度をもつが、マルチスペクトル画像からのスペクトル情報をも含むことができる一組の画像層である。
【００５７】
帰結する融合された画像を更に向上させるために追加的な画像処理ステップが実行されることができる。たとえば、上記の技法を使って計算された点拡散関数がその後、融合された画像をマルチスペクトル画像の空間解像度まで空間的にダウンサンプリングするために使用されることができる。その後、融合された画像の各光学帯域の輝度値がマルチスペクトル画像の各光学帯域の輝度値と比較されることができる。いかなる違いも、融合された画像をなすピクセルの輝度値をマルチスペクトル画像とより密接に一致するよう修正することによって、補正されることができる。
【００５８】
さらに、上記で計算されたスペクトル重みは、融合された画像をパンクロマティック画像のスペクトル解像度にスペクトル的にダウンサンプリングするために使用されることができる。その後、融合された画像の各ピクセルの輝度値は、パンクロマティック画像の各ピクセルの輝度値と比較されることができる。いかなる違いも、融合された画像をなすピクセルの輝度値をパンクロマティック画像とより密接に一致するよう修正することによって、補正されることができる。
【図１】
2010511256.tif 000009
【図２】
2010511256.tif 000010
【図３】
2010511256.tif 000011
【図４】
2010511256.tif 000012
【図５】
2010511256.tif 000013
【図６】
2010511256.tif 000014
【国際調査報告】
2010511256.tif 000015
2010511256.tif 000016