(57)【要約】画像対から融合された画像を生成する方法およびシステム。本方法は、パンクロマティック画像型の第一の画像およびマルチスペクトル画像型の第二の画像を定義する画像データを得ること（２０４）によって始まる。第一の画像は第一の空間解像度および第一のスペクトル解像度をもつ。第二の画像は、第一の空間解像度よりも低い第二の空間解像度および第一のスペクトル解像度より高い第二のスペクトル解像度をもつ。第一の画像と第二の画像は融合されて（２１６）、第一の空間解像度および第二のスペクトル解像度をもつ融合された画像を初期化する。融合されたが像を形成するのを助けるためにぼかし機能が使用される（２２０）。
2010511258.tif 000002
【特許請求の範囲】
【請求項１】
パンクロマティック画像およびマルチスペクトル画像を含む画像対から融合された画像を生成する方法であって：
第一の空間解像度および第一のスペクトル解像度をもつ、パンクロマティック画像型の第一の画像を定義する画像データを取得するステップと；
前記第一の空間解像度よりも低い第二の空間解像度および前記第一のスペクトル解像度より高い第二のスペクトル解像度をもつ、マルチスペクトル画像型の第二の画像を定義する画像データを取得するステップと；
前記第一の画像および前記第二の画像を融合して、前記第一の空間解像度および前記第二のスペクトル解像度をもつ融合された画像を初期化するステップと；
前記融合された画像をなす少なくとも一つのピクセルを、前記第一の画像をなす少なくとも一つのピクセルの輝度値に基づいてぼかすステップとを有する、
方法。
【請求項２】
前記ぼかすステップが、融合された画像をなす前記少なくとも一つのピクセルの非等方的なぼかしを含む、請求項１記載の方法。
【請求項３】
前記ぼかすステップが：
前記融合された画像をなす複数のピクセルから、前記融合された画像におけるある幾何学的位置をもつピクセルを選択するステップと；
前記融合された画像における前記ピクセルの幾何学的位置と同じ幾何学的位置を前記第一の画像内でもつ対応するピクセルを前記第一の画像において識別するステップと、
前記ピクセルについてのぼかされた輝度値を、前記対応するピクセルに隣接する少なくとも一つの隣接ピクセルの輝度値に基づいて計算するステップとを有する、
請求項１記載の方法。
【請求項４】
前記ぼかすステップを、前記融合された画像をなす前記複数のピクセルのそれぞれについて反復することをさらに含む、請求項３記載の方法。
【請求項５】
前記ぼかすステップがさらに：
前記ぼかされた輝度値を、前記隣接ピクセルの対の輝度値に基づいて計算することを含む、
請求項３記載の方法。
【請求項６】
前記ぼかすステップがさらに、前記隣接ピクセルの対を、前記対応するピクセルの両側に位置するピクセルとして選択することを含む、請求項５記載の方法。
【請求項７】
前記ぼかすステップがさらに、前記隣接ピクセルの対を、前記対応するピクセルと第一の所定の方向に整列するよう選択することを含む、請求項６記載の方法。
【請求項８】
前記ぼかしステップはさらに、前記対応するピクセルと前記第一の方向とは異なる少なくとも第二の所定の方向に整列した隣接ピクセルの少なくとも第二の対に基づいて前記ぼかされた輝度値をその後再計算することを含む、請求項７記載の方法。
【請求項９】
前記中心ピクセルの前記ぼかされた輝度値が、前記中心ピクセルに対して四つの異なる動径方向のそれぞれについて再計算される、請求項８記載の方法。
【請求項１０】
前記第一の画像および前記第二の画像を形成するピクセルの輝度値との整合性を検証するために、点拡散関数および重みの集合を使って前記融合された画像を定義するピクセルの輝度値をスケーリングするためのスケーリング因子を決定するステップをさらに有する、請求項１記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理に、より詳細には、パンクロマティック画像（panchromatic  image）およびマルチスペクトル画像（multispectral  image）を含む融合された画像対をなめらかにすることを含む画像処理方法に関する。
【背景技術】
【０００２】
リモート画像検知の分野において、二つの一般的な画像の型はパンクロマティック画像およびマルチスペクトル画像を含む。パンクロマティック画像は、一つだけの非常に広い帯域で電磁エネルギーを検出するよう設計されたセンサーをもつリモート検知デバイスによって得られる画像である。この一つだけの非常に広い帯域は典型的には可視光の波長のほとんどを含む。パンクロマティック画像は、非常に高い空間的解像度を提供するという利点をもつ。対照的に、マルチスペクトル画像は典型的には、可視光領域および近赤外領域内のいくつかの狭いスペクトル帯域から生成される。その結果、マルチスペクトル画像は一般に、二つ以上の画像データ・セットからなり、各画像データ・セットが光学スペクトルの異なる部分（たとえば、青、緑、赤、赤外）に応答するセンサーによって生成される。マルチスペクトル画像は、同様のパンクロマティック画像からは得られないスペクトル情報を含むので、有益である。しかしながら、マルチスペクトル画像は典型的には、パンクロマティック画像に比べて空間的解像度が低い。
【０００３】
マルチスペクトル画像をパンクロマティック画像の高解像度を用いて向上させることが望ましいことがしばしばある。この結果を達成するために、当技術分野では、画像が組み合わされるまたは「融合される」ことが知られている。一般に、この融合プロセスを達成するために、解決されなければならない二つの主要な問題がある。第一の問題は、二つの画像の位置合わせの必要性に関する。位置合わせプロセスは、パンクロマティック画像中の各ピクセルがマルチスペクトル画像のどこに対応するかの決定を含む。最良の結果のためには、このプロセスは一般に、高い精度をもって達成される必要がある。たとえば、パン画像における各ピクセルが、0.1パンクロマティック・ピクセル半径より細かい精度でマルチスペクトル画像にマッピングされることが望ましい。このマッピングを達成するために、いくつかの従来技術の方法が存在している。融合するプロセスを実行するときに克服されなければならない第二の問題は、融合された画像の輝度値が（１）もとのマルチスペクトル画像および（２）もとのパンクロマティック画像と整合したままとなることを保証することである。
【０００４】
画像融合プロセスを実行するために利用される従来のアルゴリズムはいくつかの制限を受ける。たとえば、従来のアルゴリズムは一般に、パンクロマティック画像中の高空間解像度のピクセルがマルチスペクトル画像の高スペクトル解像度のピクセルと組み合わされるまたは融合されるべきである仕方について、単純な想定をする。典型的には、そうした想定は、（１）パンクロマティック画像からの高空間解像度ピクセルが、ボックス平均としてマルチスペクトル画像の低解像度にダウンサンプリングされるという想定と、（２）パンクロマティック画像からのピクセルは、赤、緑および青のスペクトル帯域の均等に重み付けされた平均であるという想定を含む。
【０００５】
いくつかのアルゴリズムは、パンクロマティック画像の高解像度からマルチスペクトル画像の比較的低解像度にピクセルをダウンサンプリングするプロセスに関して、やや洗練されたアプローチも採用している。たとえば、いくつかのアルゴリズムでは、パンクロマティック画像からの高空間解像度のピクセルは、単にボックス平均としてダウンサンプリングされるのではない。その代わり、パンクロマティック画像からの高空間解像度ピクセルがマルチスペクトル画像と整合するピクセルにダウンサンプリングされる仕方を決定するために、点拡散関数（PSF:  point-spread  function）が使用される。PSF（時に機器ライン形（instrument  line  shape）とも称される）は、光の点がセンサーおよび付随する光学系によってぼかされるまたは拡散される仕方の特徴である。したがって、センサーのPSFに関する知識が、パンクロマティック画像からの高空間解像度ピクセルをマルチスペクトル画像にダウンサンプリングするために有用であることができる。特に、PSFは、複数の高解像度ピクセルの個々のピクセルを組み合わせてより低い解像度での単一のより大きなピクセルを形成するための重み付けシステムを定義するために使用できる。しかしながら、従来のアルゴリズムにおけるPSFは単に、開口のようなセンサー幾何データ、焦点面解像度などに基づいて近似されていた。よって、使用されるPSFは、必ずしも、センサー・システムについての真のPSFの精確な表現ではない。さらに、事前計算されたPSFは、位置合わせにおける残留シフト誤差および画像前処理のアーチファクトのような所与の画像対に固有の情報を含まない。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
以上のことに鑑み、マルチスペクトル画像およびパンクロマティック画像を含む画像対を融合させる改良された方法が必要とされている。
【課題を解決するための手段】
【０００７】
本発明は、高解像度のパンクロマティック画像およびより低い解像度のマルチスペクトル画像を含む画像対から融合された画像を生成する方法およびシステムに関する。本方法は、パンクロマティック画像型の第一の画像およびマルチスペクトル画像型の第二の画像を定義する画像データを得ることによって始まる。第一の画像は第一の空間解像度および第一のスペクトル解像度をもつ。第二の画像は、第一の空間解像度よりも低い第二の空間解像度および第一のスペクトル解像度より高い第二のスペクトル解像度をもつ。
【０００８】
本方法はまた、第一の空間解像度および第二のスペクトル解像度をもつ融合された画像を初期化するために第一の画像および第二の画像を融合することをも含む。その後、点拡散関数および重みの集合を使って、第一の画像および第二の画像を形成するピクセルの輝度値に従って融合された画像を定義するピクセルの輝度値をスケーリングするためのスケーリング因子が決定される。このステップは、点拡散関数および重みの集合を使って融合された画像を第一のスペクトル解像度および第二の空間解像度のそれぞれにダウンサンプリングすることを含む。前記スケーリングするステップはさらに、融合された画像のピクセル輝度値を、第二の画像のピクセル輝度値と整合するようスケーリングし、融合された画像をぼかし、融合された画像のピクセル輝度値を、第一の画像のピクセル輝度値と整合するようスケーリングすることを含む。
【０００９】
ぼかしプロセスは、融合された画像をなすピクセルを、第一の画像をなすピクセルの輝度値に基づいてぼかすことを含む。具体的には、ぼかしプロセスは、融合された画像をなすピクセルの非等方的なぼかしを含む。たとえば、ぼかしステップは有利には、融合された画像をなす数多くのピクセルからあるピクセルを選択することを含む。選択されたピクセルは融合された画像におけるある幾何学的位置をもつことになる。その後、第一の画像における対応するピクセルが、融合された画像における前記ピクセルの幾何学的位置と同じ第一の画像内の幾何学的位置をもつものとして識別できる。前記ピクセルについてぼかされた輝度値が、前記対応するピクセルに隣接する少なくとも一つのピクセルの輝度値に基づいて計算される。このぼかしステップは有利には、融合された画像をなすピクセルのそれぞれについて反復される。
【００１０】
より具体的には、ぼかされた輝度値は、隣接ピクセルの対の輝度値に基づいて計算される。隣接ピクセルの対は好ましくは、前記対応するピクセルの両側に位置し、前記対応するピクセルと第一の所定の方向に整列したピクセルを含むよう選択される。ぼかしステップはさらに、その後、前記対応するピクセルと第一の方向とは異なる第二の所定の方向に少なくとも整列した隣接ピクセルの第二の対に少なくとも基づいてぼかされた輝度値を再計算することをも含む。たとえば、中心ピクセルのぼかされた輝度値はその後、中心ピクセルに対して四つの異なる放射方向のそれぞれについて再計算される。異なる方向で計算が実行されるたびに、ぼかされた輝度値はさらに修正されることができ、ついには最終的なぼかされた輝度値が達成される。本発明のある側面によれば、四つの放射方向は、互いから同じだけ角度的に離間されるよう選択される。ぼかしプロセス全体は、融合された画像中の各ピクセルについて有利に反復される。
【００１１】
もう一つの側面によれば、本発明は、高解像度のパンクロマティック画像およびより低い解像度のマルチスペクトル画像を含む画像対から融合された画像を生成する好適な命令の集合をプログラムされたコンピュータ処理システムを含む。本システムは、第一の画像を定義する画像データおよび第二の画像を定義する画像データを記憶するデータ記憶部を含む。第一の画像型はパンクロマティック画像型であり、第二の画像型はマルチスペクトル画像型である。第一の画像は第一の空間解像度および第一のスペクトル解像度をもつ。第二の画像は、第一の空間解像度よりも低い第二の空間解像度をもつ。第二の画像はまた、第一のスペクトル解像度より高い第二のスペクトル解像度をもつ。本コンピュータ処理システムは、上記のように第一の画像および第二の画像を融合するようプログラムされる。さらに、本コンピュータ処理システムは、本稿で記載されるぼかしプロセスを実行するようプログラムされる。
【００１２】
以下の図面を参照して実施例を記載する。図面において、同様の参照符号は全図を通じて同様の項目を表す。
【図面の簡単な説明】
【００１３】
【図１】本発明を理解するために有用なコンピュータ処理システムのブロック図である。
【図２Ａ】パンクロマティック画像をマルチスペクトル画像と融合させるためのプロセスの流れ図である。
【図２Ｂ】パンクロマティック画像をマルチスペクトル画像と融合させるためのプロセスの流れ図である。
【図２Ｃ】パンクロマティック画像をマルチスペクトル画像と融合させるためのプロセスの流れ図である。
【図２Ｄ】パンクロマティック画像をマルチスペクトル画像と融合させるためのプロセスの流れ図である。
【図２Ｅ】パンクロマティック画像をマルチスペクトル画像と融合させるためのプロセスの流れ図である。
【図２Ｆ】パンクロマティック画像をマルチスペクトル画像と融合させるためのプロセスの流れ図である。
【図３】パンクロマティック画像およびマルチスペクトル画像を生成するために使用されるセンサーのスペクトル応答の一例を示すプロットである。
【図４】マルチスペクトル画像のスペクトル解像度を減らすためにマルチスペクトル画像のダウンサンプリング処理においてスペクトル重みがどのように使われるかを示す概念図である。
【図５】パンクロマティック画像の空間解像度を減らすためにパンクロマティック画像のダウンサンプリング処理において点拡散関数がどのように使われるかを示す概念図である。
【図６】点拡散関数の一例を示す二次元グラフである。
【図７】パンクロマティック画像および融合された画像の一部分をなすピクセルを表す概念図である。
【図８】ぼかしプロセスを理解するのに有用なフローチャートである。
【発明を実施するための形態】
【００１４】
これから、本発明について、本発明の例示的な実施形態を図示する付属の図面を参照しつつ以下により十全に記載する。しかしながら、本発明は、数多くの異なる形で実施されることができ、ここに記載される実施形態に限定されると解釈すべきではない。たとえば、本発明は、方法、データ処理システムまたはコンピュータ・プログラム・プロダクトとして実施できる。したがって、本発明は、完全にハードウェアの実施形態、完全にソフトウェアの実施形態またはハードウェア／ソフトウェア実施形態の形を取ることができる。
【００１５】
本発明は、一つのコンピュータ・システムにおいて実現されることができる。あるいはまた、本発明は、いくつかの相互接続されたコンピュータ・システムにおいて実現されることができる。本稿に記載される方法を実行するよう適応されたいかなるコンピュータ・システムまたは他の装置も好適である。ハードウェアおよびソフトウェアの典型的な組み合わせは汎用コンピュータ・システムであることができる。汎用コンピュータ・システムは、コンピュータ・システムが本稿に記載される方法を実行するようコンピュータ・システムを制御することができるコンピュータ・プログラムを有することができる。
【００１６】
本発明は、コンピュータ使用可能記憶媒体（たとえば、ハードディスクまたはCD-ROM）上のコンピュータ・プログラム・プロダクトの形を取ることができる。コンピュータ使用可能記憶媒体は、媒体に具現されているコンピュータ使用可能なプログラム・コードを有することができる。本稿での用法では、コンピュータ・プログラム・プロダクトは、本稿に記載される方法の実装を可能にするすべての特徴を有するデバイスを指す。コンピュータ・プログラム、ソフトウェア・アプリケーション、コンピュータ・ソフトウェア・ルーチンおよび／またはこれらの用語の他の変形は、今のコンテキストでは、直接的に、あるいはａ）別の言語、コードもしくは記法への変換またはｂ）異なる物質形での再現の一方または両方ののちに、情報処理機能をもつシステムに特定の機能を実行させるよう意図された命令の集合の、任意の言語、コード、記法におけるいかなる表現をも意味する。
【００１７】
これから、図１ないし図６に関して本発明の実施形態について述べる。本発明のいくつかの実施形態では、画像データを取得し、画像データを位置合わせし、較正係数を決定し、較正係数を特定の画像データに適用することを含む画像融合機能に関する方法、システムおよび装置を提供する。したがって、挙げられた機能を含む実施形態について以下でさらに論じる。
【００１８】
ここで図１を参照すると、コンピュータ処理装置１００のブロック図が与えられている。コンピュータ処理装置１００は、システム・インターフェース１１２、ユーザー・インターフェース１０２、中央処理ユニット１０４、システム・バス１０６、システム・バス１０６を通じてコンピュータ処理装置１００の他の部分に接続され、該他の部分によってアクセス可能であるメモリ１０８、システム・バス１０６に接続されたハードウェア・エンティティ１１０を有する。ハードウェア・エンティティ１１０の少なくともいくつかは、メモリ１０８へのアクセスおよびメモリ１０８の使用に関わる動作を実行する。メモリ１０８はRAM、ディスク・ドライバおよび／またはCD-ROMであってもよい。
【００１９】
ユーザー・インターフェース１０２は、較正アプリケーションおよび／または融合アプリケーションにアクセスし、これを立ち上げる要求を生成するためのユーザー動作を容易にする。ユーザー・インターフェース１０２は、ディスプレイ画面、スピーカーならびにキーパッド、方向パッド、方向ノブおよび／またはマイクロホンのような入力手段を有しうる。
【００２０】
システム・インターフェース１１２は、コンピュータ処理装置１００が、外部コンピュータ処理装置と、LANまたはWANを通じて通信することを許容する。システム・インターフェース１１２はまた、コンピュータ処理装置１００が一つまたは複数の外部データベースとの間でデータを送り、データを取り出すことをも許容する。
【００２１】
メモリ１０８は、I/Oデバイス・ドライバ・プログラム・コードおよびオペレーティング・システム・プログラム・コードを含むことができる。メモリ１０８は、画像データ、較正アプリケーション・プログラム・コードおよび融合アプリケーション・プログラム・コードを含むことができる。本発明のある側面によれば、画像データは、マルチスペクトル画像のような高スペクトル・データを含むことができる。画像データはまた、パンクロマティック画像のような高空間解像度データも含むことができる。
【００２２】
ハードウェア・エンティティ１１０は、マイクロプロセッサ、ASICおよび他のハードウェアを含みうる。ハードウェア・エンティティ１１０は、I/Oデバイス・ドライバおよびオペレーティング・システムをプログラムされたマイクロプロセッサを含みうる。ハードウェア・エンティティ１１０は、画像融合プロセスを実行するためのコンピュータ・ソフトウェア・ルーチンをプログラムされたマイクロプロセッサをも含みうる。画像融合プロセスは、図２との関連で下記でより詳細に述べる。ハードウェア・エンティティ１１０はさらに、増加した画像内容を提供するために二つ以上の画像を組み合わせるための融合アプリケーションをプログラムされたマイクロプロセッサを含みうる。
【００２３】
当業者は、図１に示されたコンピュータ処理装置アーキテクチャがコンピュータ処理装置の一つの可能な例であることを理解するであろう。しかしながら、本発明はこの点に関して限定されるものではなく、他のいかなる好適なコンピュータ処理装置アーキテクチャも、限定なしに使用できる。
【００２４】
これから、本発明について図２の流れ図との関係でより詳細に述べる。本稿で開示される画像融合プロセスは、パンクロマティック画像およびマルチスペクトル画像の対を融合させるために有用である。しかしながら、図２に開示されるプロセスはあくまでも例示の目的で与えられるのであり、本発明がこの点に関して限定されるのではないことは理解しておくべきである。本発明のプロセスおよびルーチンを実行するためのコンピュータ・プログラム・コードが、Java（登録商標）、スモールトーク（Smalltalk）、C++またはビジュアル・ベーシックといったオブジェクト指向のプログラミング言語で書かれることができることは理解しておくべきである。しかしながら、本発明を実行するためのコンピュータ・プログラム・コードは、「C」プログラミング言語のような通常の手続き型プログラミング言語で書かれることもできる。
【００２５】
本稿での用法では、「融合（fusing）」または「融合された画像（fused  image）」の用語はそれぞれ、高解像度のパンクロマティック画像を使って比較的低解像度のマルチスペクトル画像の解像度を鮮鋭にするプロセスまたはそのようなプロセスから得られる画像を指す。「画像対（image  pair）」の用語は、高解像度のパンクロマティック画像（panchromatic  image）および同じ表面または同じ主題の比較的低解像度のマルチスペクトル画像（multi-spectral  image）を指す。このように、パンクロマティック画像およびマルチスペクトル画像はそれぞれ、密接に関係した画像データからなる。
【００２６】
図２Ａを参照すると、プロセス２００は、ステップ２０２において始まり、ステップ２０４に続くことができる。ステップ２０４では、マルチスペクトル画像とパンクロマティック画像からなる画像対について、画像データが得られる。
【００２７】
パンクロマティック画像によって画像化される表面がマルチスペクトル画像によって画像化される表面と有意に重ならなければ、融合された画像はほとんど価値がないことは当業者には理解されるであろう。したがって、本稿で言及される画像対が共通の主題または共通の表面領域について選択されることが有利であることを理解しておくべきである。たとえば、両画像は地球の共通の地理的領域についてであることができる。
【００２８】
本稿に記載される画像対はさらに、ある種の他の特性をもつと想定される。パンクロマティック画像収集とマルチスペクトル画像収集の間の時間中に乗物および海洋の波のような動くオブジェクトは、二つの画像間で正しく位置合わせされることはありそうにない。よって、位置合わせおよび較正における誤差につながる。両画像の取得の間の時間が数分以上であれば、太陽の位置の変化が、表面の法線が太陽とどのくらいよく方向が揃っているかに基づいて、影の有意な変化および表面の照明の変動につながるであろう。これは、有意な較正および位置合わせ誤差につながりうる。パンクロマティック画像とマルチスペクトル画像の収集の間に数日が経過する場合は、大気条件の有意な変化があることもある。数か月が経過すれば、氷、雪、雨、樹木の落葉、新たな生長に起因する表面属性の有意な変化があることもある。したがって、一般には、そのような誤差を減らすため、各画像対をなすパンクロマティック画像およびマルチスペクトル画像は、ほぼ同じ位置から取得されることが好ましい。これは、位置合わせプロセスを著しく単純化し、ほとんどシフト、拡大縮小および回転だけにする。位置合わせプロセスはステップ２０６との関係でより詳細に論じられる。
【００２９】
パンクロマティック画像およびマルチスペクトル画像の対が互いから非常に短い時間枠内に取得されることが好ましいことは理解されるであろう。たとえば、各画像は、互いから一分以内に取得されることが有利である。それでも、本発明は、これらの基準を満たさない画像対との関連でも、結果は劣化するが、利用できることは理解されるであろう。たとえば、本プロセスは、ほぼ同時に異なるセンサー・プラットフォームを用いて得られた画像対について使用されることもできる。
【００３０】
ステップ２０４では、画像データは、制御処理ユニット１０４によって処理され、メモリ１０８内に記憶されることができる。画像データはピクセル・データを含む。制御処理ユニット１０４は、メモリ１０８にテーブル形式でそのようなピクセル・データを入れるよう構成されることができる。マルチスペクトル画像データについてのピクセル・データは、各ピクセルの電磁波長特性、格子上の位置および輝度値を含むことができる。パンクロマティック画像に関連付けられたピクセル・データも制御処理ユニット１０４によって処理され、メモリ１０８内に記憶されることができる。パンクロマティック画像についてのピクセル・データは、パンクロマティック画像に関連付けられた各ピクセルについての輝度データを含むことができる。制御処理ユニット１０４は、パンクロマティック画像データが格子上のピクセル位置に関連付けられるよう、テーブル形式に従ってメモリ１０８を埋めるよう構成されることができる。
【００３１】
ひとたび画像が得られたら、処理はステップ２０６に続くことができる。ステップ２０６は、前記少なくとも二つの画像についてのデータの位置合わせに関わる。画像データの異なるセットを位置合わせする技法は当業者にはよく知られている。よって、そのような技法は本稿では詳細に述べはしない。しかしながら、当技術分野で知られているそのようないかなる技法も本発明とともに使用できることは理解しておくべきである。
【００３２】
一般に、位置合わせステップ２０６は、パンクロマティック画像の各点がマルチスペクトル画像においてどこに対応するかの決定を含む。最良の結果のためには、位置合わせプロセスは一般に、高い精度で達成される必要がある。このマッピングを達成するには、いくつかの従来技術の方法が存在する。典型的には、それらの方法は、一つの画像中でいくつかの点を選択し、それらの点が他方の画像中でどこにマッピングされるかを見出し、次いで変換の係数を最適化することを含む。これは、通例、ある画像から別の画像に点をマッピングする二乗誤差を最小にする係数の集合を得ることを許容する最小二乗誤差ソリューションである。融合プロセスにおける最良の結果のために、好ましくは、パンクロマティック画像は、0.1パンクロマティック・ピクセルによって定義される大きさより小さい誤差距離によって定義される精度をもって、マルチスペクトル画像にマッピングされる。
【００３３】
ステップ２０６の位置合わせプロセスは、パンクロマティック画像の座標からマルチスペクトル画像の座標への点のマッピングを決定する。このマッピングは：
x1＝ax2＋by2＋x0
の形の線形変換ほど単純なものでもよいし、あるいはセンサーおよび画像化される表面両方の幾何形状をモデル化する複雑な変換であってもよい。上述したように、そのような技術は当技術分野でよく知られている。
【００３４】
ステップ２０６で画像データを位置合わせしたのち、プロセスはある種の較正値（calibration  value）を決定するステップ２１０に続く。これらの較正値は、（１）マルチスペクトル画像をなす諸帯域についての輝度値に適用されて、それらの輝度値がパンクロマティック画像のピクセルにおける輝度値に正確に対応するようにするべきスペクトル重みの集合；および（２）パンクロマティック画像を形成する複数のピクセルについての輝度値が組み合わされてマルチスペクトル画像の単一の（より低い空間解像度の）ピクセルの単一の輝度値を形成する仕方を正確に定義する点拡散関数（PSF）、を含む。
【００３５】
上記の較正値を得るのに必要なステップを論じる前に、まず、これらの較正値がなぜ必要かを考えることが助けになる。本稿での用法では、「輝度値（radiance  value）」の用語は一般に、ピクセルに割り当てられたデジタル値であって、そのピクセルによって定義される位置においてセンサーによって受光された光エネルギーの強度を表すことが意図された値をいう。これに関し、これらの輝度値は、二つの異なるセンサーにおいて異なる仕方でスケーリングされうることは理解しておくべきである。したがって、二つの異なるセンサーからの輝度値を意味のある仕方で組み合わせることができる前に、二つの異なるセンサーからの輝度値が好適な重み付け因子を使うことによって何らかの仕方で調節またはスケーリングされなければならないことは理解されるであろう。
【００３６】
較正値（１）の場合、特定のシーンの完全なマルチスペクトル画像が実際にはいくつかの画像帯域からなることを理解しておく必要がある。いくつかの画像帯域のそれぞれにおいて、センサーは非常に限られた範囲の光学波長に応答する。この概念は図３に図解されている。図３では、四つの異なる帯域の光学波長に対するセンサーの応答を表す曲線３０１、３０２、３０３、３０４を示している。センサーは本質的には、応答曲線３０１、３０２、３０３、３０４によって表される各光学帯域について一つの画像を生成する。この例では、単一のマルチスペクトル画像は、これら四つのスペクトル帯域を使ってセンサーによって得られる画像からなるであろう。当業者は、異なるセンサー・システムはより多くのまたはより少ない光学帯域をもつこともできることを認識するであろう。これに対し、パンクロマティック画像は、ずっと広い範囲の光学波長に応答するセンサーによって得られる単一の画像である。図３では、パンクロマティック・センサーの応答が曲線３００によって示されている。
【００３７】
図３では、さまざまなマルチスペクトル帯域についてのセンサーの応答曲線３０１、３０２、３０３、３０４が、同じ波長についてのパンクロマティック・センサーの応答曲線３００と比べて非常に異なることがありうることが見て取れる。さまざまな光学帯域に対するセンサーの応答性におけるこれらの相違は、パンクロマティック画像に比べたときの、マルチスペクトル画像についての各ピクセルと関連付けられた輝度値の間のスケーリングの差につながる。
【００３８】
較正値（１）は、マルチスペクトル・センサーによって測定された各ピクセルについての複数の輝度値を、パンクロマティック・センサーから帰結する輝度値のスケーリングに対応するよう、スケーリングするために使われる。たとえば、0.5μmにおける曲線３００および３０１によって表されるスペクトル応答を考える。曲線３０１は約1.0のスペクトル応答をもち、一方、パンクロマティック・センサーのスペクトル応答は、約0.35のレンジの平均スペクトル応答を示す。当面、曲線３０１によって定義される波長範囲における曲線３０２の応答を無視すると、曲線３０１の特性をもつセンサーを使ったマルチスペクトル画像におけるピクセルについての輝度値は、該輝度値が曲線３００によって示される応答をもつセンサーによって測定された値に対して適正に較正されるためには、約0.35の重み付け値によってスケーリングされる必要がありそうである。実際上、曲線３００によって定義された応答をもつセンサーを使って得られた輝度値に適正にスケーリングされる総輝度値を得るためには、適正なスペクトル較正は、図３における各スペクトル帯域に関連付けられたピクセル輝度値が足し合わされる必要があることを要求することになる。このプロセスは図４に示されている。
【００３９】
数学的に、以上のプロセスは次のように表せる。式（１）：
【数１】
2010511258.tif 000003
ここで、
Pi,jはダウンサンプリングされた各ピクセルのパン輝度（pan  radiance）；
Wλは各スペクトル帯域についてのスペクトル重み；
Mi,j,λはマルチスペクトル画像をなす各スペクトル帯域についての各ピクセルについての輝度値；
P0は一定のオフセット値である。
【００４０】
ここで図５に目を向けると、上述した較正値（２）の集合がスペクトル・スケーリングではなく空間的スケーリングに関わることが観察できる。空間的ダウンサンプリングは、パンクロマティック画像からの複数の高解像度のピクセルp00、p01、p10、p11の輝度値をダウンサンプリングして単一のより低い解像度のピクセルについての輝度値を決定することに関わる。高解像度ピクセルからの輝度値の単純な平均プロセスは、光学系、センサーおよびパンクロマティック画像を生成するために実行された可能性のある他の処理に関連する点拡散関数（PSF）を適正に取り入れないため、正確な結果を与えない。
【００４１】
PSFは、光の点が、光学系、センサーおよびパンクロマティック画像の生成に関連する他の画像処理機能によって処理される際に生じるぼかし（blurring）の数学的関数またはテーブルに基づく特徴付けと考えることができる。図６は、この概念を理解するのに有用な、例示的な点拡散関数の図的な表現である。PSFの正確な特徴付けまたは表現は、ピクセルのグループ内の種々の高解像度ピクセルについての輝度値が、より正確に単一のより大きなピクセルにダウンサンプリングされることを許容できる。これは図５に概念的に示されている。図５は、四つの高解像度ピクセルの組が単一のより大きなより低い解像度のピクセルにダウンサンプリングされる様子を示している。ψxによって表されるPSFは、これらのピクセルの輝度値をより大きなピクセルPに関連する単一の値により正確にダウンサンプリングするために、高解像度ピクセルp00、p01、p10、p11のそれぞれに選択的な重み付け因子として作用する。より具体的には、パンクロマティック画像のピクセルについての輝度値はPSFと畳み込みされて、単一のより大きなより低い解像度のピクセルについてのダウンサンプリングされた値を決定する。
【００４２】
以上のプロセスは、数学的には式（２）：
【数２】
2010511258.tif 000004
で表せる。ここで、
Pは空間的にダウンサンプリングされたピクセルの輝度値；
pi,jはパンクロマティック画像をなす高解像度ピクセルの輝度値；
Ψi,jは点拡散関数またはPSFである。
【００４３】
式（１）および式（２）は、ダウンサンプリングされた（より低解像度の）パンクロマティック画像を生成する二つの仕方を表している。一方のアプローチはマルチスペクトル画像を出発点とし、他方のアプローチはパンクロマティック画像を出発点とする。しかしながら、両方のアプローチはパンクロマティック画像を与える。したがって、Wλ（各スペクトル帯域についてのスペクトル重み）およびΨi,j（点拡散関数またはPSF）についての実際の値を計算するために、上記の式（１）および式（２）を一緒に使うことができる。ダウンサンプリングされた各ピクセルについて、式（３）：
【数３】
2010511258.tif 000005
が成り立つ。ここで、
Pjはダウンサンプリングされた各ピクセルのパン輝度；
Wλは各スペクトル帯域についてのスペクトル重み；
Mλはマルチスペクトル画像（multi-spectral  image）をなす各スペクトル帯域についての各ピクセルについての輝度値；
P0は一定のオフセット値；
pi,jはパンクロマティック画像をなす高解像度ピクセルの輝度値；
Ψi,jは点拡散関数またはPSFである。
【００４４】
上記の式（３）を使って、値Wλ（各スペクトル帯域についてのスペクトル重み）およびΨi,j（点拡散関数）を計算するために行列方程式をまとめることができる。
【００４５】
既知の強度と未知の重みの線形結合である式（３）を、行列形のマルチスペクトル画像に関連付けられた全ピクセルについての線形連立方程式として、次のように書き換えることができる。
【００４６】
Ax＝b        式（４）
ここで、Aはパンクロマティック画像およびマルチスペクトル画像からの指定された輝度値を入れられた行列、xは未知数（PSFおよびスペクトル重み）のベクトル、bは数値定数（たとえば0、1）のベクトルである。行列方程式（４）は、よって、次のように書ける。
【００４７】
【数４】
2010511258.tif 000006
当業者は、前記行列の最初のn×n列はPSFによって変調される高解像度パンクロマティック・ピクセルの部分に関係していることを認識するであろう。これらの値は、前記行列を乗じられるベクトルにおける最初のn×n個の未知数である。前記行列の次のグループの列は、MSI輝度値に負号を付けたものである。これらの値は、スペクトル重みWによって変調され、前記行列を乗じられるベクトルにおける次のグループを表す。前記行列の最後の列は、最初の行以外のすべての値について定数−1である。この−1の値は、一定のオフセットP0を取り入れるために使われ、前記行列を乗じられるベクトルにおける最後の未知数を表す。
【００４８】
前記行列の最初の行は、PSFのn×nの要素が合計して1になるという制約条件を課す。これは、点拡散関数を定義する特定である。この点に関し、式（５）のいちばん右の定数ベクトルの最初の行が値1をもつよう示されていることに気づかれるであろう。また、式（５）のいちばん左では、前記行列の最初の行において、最初のグループの列内の値が1に設定される。これに対し、最初の行内の残りの列の値は0に設定される。これらの値は、PSFの要素である最初のn×n個の未知数を選択するためにこのように選ばれている。
【００４９】
前記行列方程式の第二行は、高解像度パンクロマティック輝度値をPSF（p0,0…pn,n）によってスペクトル的にダウンサンプリングしたものは、スペクトル的にダウンサンプリングされたMSI輝度値（−M0…−Mb）に等しいという要件を強制する。式（５）のいちばん右の定数ベクトルの第二の行の値0がこの均衡を反映する。第二行の構造は、MSI画像中の各ピクセルについて、前記行列方程式における別個の行として繰り返される。当業者は、この行列の所与の行が、マルチスペクトル画像の特定のピクセルについては式（３）に帰着することをすぐ認識するであろう。
【００５０】
p0,0Ψ0,0＋…＋pn,nΨn,n−M0W0−…−MbWb−P0＝0
図２に示されたフローチャートを再び参照すると、処理は、ステップ２１２において、行列方程式（４）を解いて、定数オフセットP0を含めPSF重み付け因子Ψi,jおよびスペクトル較正重み付け因子Wλを決定することによって続く。行列方程式（４）によって定義される連立方程式は典型的には、マルチスペクトル画像におけるピクセル数の多さと求められる比較的少数の未知の重みのため、過剰決定系である。前記方程式の解は、よく知られた最小二乗法のような通常の技法を使って見出される。
【００５１】
[AtA]x＝Atb
ここで、行列の転置を左からかけることは対称行列方程式を与える。この形の行列方程式を効率的に解く、多くのよく知られた方法がある。それらの技術は当技術分野ではよく知られているので、ここで詳述することはしない。
【００５２】
PSFおよびスペクトル較正のための重み付け因子が計算されたのち、プロセスはステップ２１６に進む。ステップ２１６では、融合された画像が生成される。ステップ２１６で生成された融合された画像は図２のプロセスによって生成される最終的な融合された画像ではない。そうではなく、ステップ２１６で生成された融合された画像は、下記のさらなる処理のために有用な予備的推定または主発点と考えることができる。融合された画像は、ステップ２１６では、マルチスペクトル画像をパンクロマティック画像の空間解像度にアップサンプリングすることによって生成される。ステップ２１６におけるこのアップサンプリング・プロセスは、実際には、図２Ｂに呈示されているいくつかの中間的ステップ２３２ないし２３９からなる。
【００５３】
ここで図２Ｂを参照する。ステップ２１６に記載されるプロセスはステップ２３２で始まることができることが観察できる。ステップ２３２では、ステップ２０６からの位置合わせデータが、マッピング機能を実行するために使用される。このマッピング機能は、マルチスペクトル画像に関連する各ピクセルの中心点をパンクロマティック画像上の対応する位置にマッピングすることを含む。このプロセスのために使用できる数多くの従来式のマッピング技法がある。マルチスペクトル画像からのピクセル中心の多くは、パンクロマティック画像のピクセル位置と精密に揃いはしない。したがって、ステップ２３４は、マルチスペクトル画像に関連するピクセルの中心どうしの間に位置するパンクロマティック・ピクセルにおける輝度値を決定するための補間ステップである。マッピングされたマルチスペクトル画像ピクセルの中心と正確に揃わないそのようなパンクロマティック・ピクセル位置について、補間された輝度値が計算される。結果は、マルチスペクトル画像帯域「N」に対応する融合された画像帯域「N」を生成することである。ステップ２３８において、各マルチスペクトル画像帯域について融合された画像帯域が生成されたかどうかが判定される。生成されていなければ、「N」の値がステップ２３９でインクリメントされ、プロセスは次のマルチスペクトル画像帯域について繰り返される。各マルチスペクトル画像帯域について融合された画像帯域が生成されていたら、融合された画像の初期化は完了され、プロセスは図２Ａのステップ２１８に戻る。
【００５４】
ステップ２１８では、プロセスは、融合された画像を形成するピクセルの輝度値を、マルチスペクトル画像の輝度値と整合するよう制約することによって続く。この脈絡において、融合された画像帯域からのピクセルの輝度値が、マルチスペクトル画像の空間解像度にダウンサンプリングされたときに、対応するマルチスペクトル画像帯域内の同じ幾何学的位置にあるピクセルについての輝度値に等しい場合、前記値が「整合する（consistent）」と言われる。ステップ２１８で言及される整合性を得るプロセスは、実際には図２Ｃに示されるいくつかのステップ２４０ないし２４４からなる。ステップ２４０では、ステップ２１２で計算されたPSFを使って、各融合された画像帯域がマルチスペクトル画像の空間解像度にダウンサンプリングされる。具体的には、このダウンサンプリング・プロセスは、式２を使って実行できる。このダウンサンプリング・プロセスは、マルチスペクトル画像の空間解像度のダウンサンプリングされたピクセルについての輝度値を生成するが、一般に、初期には、ダウンサンプリングされたピクセルについての輝度値はマルチスペクトル画像の対応するピクセルについての輝度値に一致しない。したがって、ステップ２４４において、融合された画像帯域のピクセルについての輝度値が調整される。具体的には、融合された画像帯域からのピクセルの輝度値は、マルチスペクトル画像の空間解像度にダウンサンプリングされたときに、ダウンサンプリングされたピクセルのピクセル輝度値が、画像中の同じ幾何学的位置における対応するマルチスペクトル画像帯域についてのピクセル輝度値により密接に一致するよう、調整される。このプロセスに関わるさまざまなステップが図２Ｄにより詳細に記載されている。
【００５５】
ここで図２Ｄを参照すると、ステップ２４４がステップ２６０ないし２６８からなることが観察できる。ステップ２６０では、第一の融合された画像帯域「M」が選択される。ステップ２６２では、プロセスは、各融合された画像帯域ピクセルについてスケーリング因子を計算することによって続く。スケーリング因子は、好ましくは、帯域「M」でのマルチスペクトル画像の各ピクセルについての輝度値の、融合された画像帯域「M」からダウンサンプリングされた対応するピクセルの輝度値に対する比に基づいて決定される。ステップ２６４では、そのスケーリング因子が、ステップ２４０でダウンサンプリングされた融合された画像帯域「M」のピクセルに適用される。ステップ２６６では、すべての融合された画像帯域についてスケーリングが完了しているかどうかの判定がされる。完了していなければ、ステップ２６８で融合された画像帯域「M」がインクリメントされ、プロセスはステップ２６２に戻って次の帯域についてのスケーリング因子を計算する。すべての融合された画像帯域についてスケーリング値が計算されていたら、プロセスは図２Ａのステップ２２０に戻る。
【００５６】
ステップ２２０では、融合された画像をなす各帯域が空間的にぼかされる。ぼかしは画像処理において使用される普通の技法であって、空間的ぼかしを実行できる数多くの従来式の方法がある。本発明のある好ましい実施形態では、ぼかしは非等方的なぼかし技法を利用して実行される。
【００５７】
ぼかし機能がステップ２２０で当該画像に適用されたのち、図２Ａのプロセスはステップ２２２に続く。ステップ２２２では、融合された画像の輝度値は、パンクロマティック画像のピクセル値と整合するよう、調整される。換言すると、融合された画像ピクセル値は、パンクロマティック画像にスペクトル的にダウンサンプリングされたときに、結果として得られるダウンサンプリングされたピクセルがパンクロマティック画像のピクセル値と整合する輝度値をもつよう、調整される。このプロセスは、実際には、図２Ｅおよび図２Ｆに関係してより詳細に開示されるいくつかのステップからなる。
【００５８】
ここで図２Ｅを参照すると、プロセスはステップ２４６に続くことができる。ステップ２４６では、ステップ２１２で以前に計算されたスペクトル重みが、融合された画像の諸帯域を、パンクロマティック画像のスペクトル解像度にダウンサンプリングするために使用される。このプロセスは式１を使って実行される。
【００５９】
ダウンサンプリング・プロセスは、パンクロマティック画像のスペクトル解像度でのダウンサンプリングされたピクセルについての輝度値を生じるが、一般に、初期には、ダウンサンプリングされたピクセルについての輝度値はパンクロマティック画像の対応するピクセルについての輝度値と整合しない。この脈絡において、融合された画像の諸帯域からのピクセルの輝度値が、マルチスペクトル画像のスペクトル解像度にダウンサンプリングされたときに、対応するパンクロマティック画像内の同じ幾何学的位置にあるピクセルについての輝度値に等しい場合、前記値が「整合する（consistent）」と言われる。したがって、ステップ２５０において、融合された画像の諸帯域のピクセルについての輝度値がそのような整合性を得るために調整される。具体的には、融合された画像帯域からのピクセルの輝度値は、パンクロマティック画像のスペクトル解像度にダウンサンプリングされたときに、ダウンサンプリングされたピクセルのピクセル輝度値が、パンクロマティック画像についてのピクセル輝度値により一致するよう、調整される。このプロセスに関わるさまざまなステップが図２Ｆにおいて、より詳細に記載されている。
【００６０】
ここで図２Ｆを参照すると、ステップ２５０がステップ２７０ないし２７８において、より詳細に記載される。ステップ２７０では、第一の融合された画像帯域「M」が選択される。ステップ２７２では、プロセスは、各融合された画像帯域ピクセルについてスケーリング因子を計算することによって続く。スケーリング因子は、好ましくは、パンクロマティック画像の各ピクセルについての輝度値の、融合された画像の諸帯域からダウンサンプリングされた対応するピクセルの輝度値に対する比に基づいて決定される。ステップ２７４では、そのスケーリング因子が、ステップ２４６でダウンサンプリングされた融合された画像帯域「M」のピクセルに適用される。ステップ２７６では、すべての融合された画像帯域についてスケーリングが完了しているかどうかの判定がされる。完了していなければ、ステップ２７８で融合された画像帯域「M」がインクリメントされ、プロセスはステップ２７２に戻って次の帯域についてのスケーリング値を計算する。すべての融合された画像帯域についてスケーリング値が計算されていたら、プロセスは図２Ａのステップ２２４に戻る。
【００６１】
ステップ２２４では、融合された画像の輝度値が収束したかどうかの判定がなされる。この判定は、ステップ２１８で融合された画像の調整された輝度値がステップ２２２で得られた融合された画像の調整された輝度値に値として十分近いかどうかを判定することに関わることができる。十分高い度合いの収束がステップ２２４で見出されない場合には、プロセスは、融合された画像ピクセル輝度値のさらなる調整のためにステップ２１８ないし２２２に戻ることができる。
【００６２】
ここで、プロセス２００との関係で上記したぼかしステップ２２０について、より詳細に開示する。典型的には、空間的ぼかしは畳み込みプロセスである。畳み込みは、あるピクセルの値の、近隣ピクセルの値に基づく修正である。たとえば、基本的なボックスぼかしプロセス（box-blurring  process）では、画像は、各ピクセルおよびその近傍ピクセルにカーネルと呼ばれる数値マトリクスを乗算することによって畳み込みされる。たとえば、この目的のために3×3マトリクスが使用できる。このマトリクスは、本質的には、画像中の隣り合うピクセルの局所化されたグループに適用される。たとえば、マトリクスは合計９個のピクセルを含む3×3のピクセル・グループに適用できる。畳み込みプロセスにおいて、グループ中の各ピクセルは、適切なマトリクス値を乗算され、総計が合計される。グループ中の中央ピクセルがその合計された値を使って置き換えられた新しい画像が生成される。プロセスは次いでもとの画像中の次のピクセル・グループをもって続く。最終的に、新しい画像中の各ピクセルが、本稿で記載されるぼかしプロセスによって得られた値を使って計算される。そのような通常のぼかしの目的は、画像をなめらかにする〔平滑化する〕ことである。注目すべきことに、この種のぼかしにおいては、すべてのピクセルは同じマトリクスを使って同じ程度ぼかされる。
【００６３】
上記のぼかし技法は多くの用途で有用ではあるものの、本稿に記載されるパンクロマティック画像とマルチスペクトル画像を融合するプロセスに理想的に適しているわけではない。通常のボックスぼかしプロセスは、画像中にさまざまなオブジェクトを含む画像の諸領域内におけるぼかしの度合いを提供しない。しかしながら、それは、画像内のあるオブジェクトを別のオブジェクトから分離する境界をまたいだ平滑化の負の効果をもつ。これは望ましくなく、パンクロマティック画像の高空間解像度を考えれば、必要でもない。したがって、本発明の好ましいぼかしプロセスは、画像の画定された諸領域内のピクセルのより大きなぼかしを提供するとともに、画像のさまざまな領域の間の境界をまたいで広がるピクセルには最小限の量のぼかししか提供しない。たとえば、水の塊を示す画像領域内にあるピクセルのぼかしは、水の塊と周囲の陸地または植生との間の境界領域でのピクセルのぼかしに比べて、大きくすることができる。
【００６４】
本発明では、パンクロマティック画像の高空間解像度が好ましくは、融合された画像内のさまざまな領域の境界を識別するために利用される。パンクロマティック画像における隣接するピクセルの輝度値の突然の変化を使って、融合された画像に現れる異なる材質の境界または縁が示される。そのような突然の変化が生じるところでは、融合された画像のピクセルは最小限にぼかされる。逆に、パンクロマティック画像において隣り合うピクセルが同じような輝度値をもつところでは、融合された画像のピクセルはより大きな度合いまでぼかされる。さらに、このプロセスは、方向依存のぼかし技法を使って実行できる。ここで、融合プロセスと一緒に使うのに好適なぼかし技法の詳細について、図７との関連でより詳細に述べる。
【００６５】
ここで図７を参照すると、パンクロマティック画像７０２および融合された画像７０６の一部分をなすピクセルを表す図が示されている。ぼかしプロセスは、幅3ピクセル、高さ3ピクセルのピクセルのグループまたはブロック７０４、７０８との関連で述べる。この議論の目的のため、パンクロマティック画像からのピクセルのブロック７０４は、画像シーンの、ピクセルのブロック７０８と同じ幾何学的部分からのものであるとする。融合された画像７０６の場合、ピクセルの輝度値はIc,I+1(0°),I-1(0°),I+1(45°),I-1(45°),I+1(90°),I-1(90°),I+1(135°),I-1(135°)と同定される。0°方向では、中央ピクセルIcに隣接する二つのピクセルはI+1(0°),I-1(0°)である。45°方向では、二つの隣接ピクセルはI+1(45°),I-1(45°)である。90°方向では、二つの隣接ピクセルはI+1(90°),I-1(90°)である。最後に、135°方向では、二つの隣接ピクセルはI+1(135°),I-1(135°)である。パンクロマティック画像７０２の場合においても、同様の命名規約を使う。これらのピクセルの輝度値はPc,P+1(0°),P-1(0°),P+1(45°),P-1(45°),P+1(90°),P-1(90°),P+1(135°),P-1(135°)と同定される。
【００６６】
図７では、ピクセルのブロック７０４、７０８は、中央ピクセルとその８つの近傍ピクセルを有するものと見ることができる。平滑化プロセスは本質的には、中央ピクセルIcに対する四つの平滑化処理を含む。すべての平滑化処理は好ましくは、平滑化処理のための通常のSinc(x)関数を使う。Sinc(x)関数は、そのような平滑化処理のために有用なものとして、当技術分野でよく知られている。意義深いことに、Sinc(x)関数の重み付けは、パンクロマティック・ピクセル７０４の輝度値によって決定される。
【００６７】
ある好ましい実施形態によると、平滑化処理は、0°、45°、90°および135°として定義される四つの方向のそれぞれにおいて、中央ピクセルIcに対して実行される。一般に、中央パンクロマティック・ピクセルPcの値が、特定の方向に整列した隣接パンクロマティック・ピクセルの平均と同じまたはほとんど同じであれば、中央の融合ピクセルPcとその隣接ピクセルは画像の共通領域内にある、つまり、その領域は同じオブジェクトまたは材質からなるとの結論を導ける。このことから、中央の融合ピクセルIcおよびその隣接ピクセル（同じ方向に取ったもの）は画像の共通領域内にあると推定できる。したがって、Icに対して最大限のぼかしが実行される。逆に、中央パンクロマティック・ピクセルPcの値がパンクロマティック画像における二つの隣接ピクセルの平均と有意に異なっていれば、中央の融合ピクセルIcの最小限のぼかしが好ましい。このプロセスは、上記の四つの方向のそれぞれについて繰り返される。実効的な結果は、融合された画像７０６の非等方的なぼかしである。これは、有利なことに、領域内でのその画像の平滑化を生じるが、境界をまたいでの平滑化は生じない。
【００６８】
数学的には、以上のぼかし処理は次のように記述できる：
【数５】
2010511258.tif 000007
ここで、重みwはパンクロマティック・ピクセル７０４に基づいており、
【数６】
2010511258.tif 000008
となる。σd2は、パンクロマティック画像全体にわたる
【数７】
2010511258.tif 000009
の平均である。
dは0°、45°、90°および135°として定義される四つの方向を表し、
Sinc(x)＝sin(x)/xは、ぼかされるピクセルIcに適用される畳み込み演算子である。
【００６９】
式（５）において、Icの値は上に定義された各方向dについて逐次反復的に計算される。こうして、ぼかしが方向依存であることが理解されるであろう。さらに、融合された画像のぼかしはパンクロマティック画像中のピクセルの輝度値に依存する。より具体的には、重み付け因子wはパンクロマティック・ピクセル輝度値の２階微分に依存する。
【００７０】
ここで図８を参照すると、ぼかしステップ２２０がより詳細に示されている。ぼかしプロセスはステップ８０２で、ぼかし処理が実行されるべき融合画像からのピクセルIcの選択をもって始まることができる。最終的には融合された画像からの全ピクセルがぼかされるので、プロセスを開始するためのピクセルは重要ではない。したがって、ぼかしプロセスは融合された画像からの任意のピクセルIcをもって開始できる。ステップ８０４では、方向dについて、任意のピクセルIcについてピクセルについてのぼかされた輝度値が計算される。方向dについてのピクセルIcのぼかされた輝度値は、上記の式（５）を使って計算される。
【００７１】
ステップ８０６では、ピクセルIcのぼかされた輝度値が0°、45°、90°および135°として定義される各方向について計算されたかどうかについての判定がなされる。まだ計算されていなければ、ステップ８０８でdの値が45°インクリメントされる。その後、プロセスはステップ８０４に戻って、次の方向dについて、ピクセルIcについてのぼかされた輝度値が計算される。プロセスはこのようにして続き、異なる方向dにおいてぼかしプロセスが実行されるたびに、ピクセルについてのぼかされた輝度値を反復的に修正または更新していき、ついにはピクセルIcについての最終的なぼかされた輝度値が得られる。その後、プロセスはステップ８１０に続く。
【００７２】
ここで記載される本発明の実施形態では、方向は0°、45°、90°および135°として定義されており、よってステップ８０８ではある方向から別の方向に推移するためにdの値は45°インクリメントされるが、本発明が、述べられている方向に限定されないことは理解しておくべきである。たとえば、ピクセルのある種の配列は、すでに同定されたものを超えた追加的な方向を許容することがありうる。したがって、本発明は、ここに記載される特定の方向に限定されるものではない。
【００７３】
ステップ８１０では、融合された画像における全ピクセルについてぼかされた輝度値が計算されたかどうかについての判定がなされる。まだ計算されていなければ、プロセスはステップ８１２に続き、融合された画像における次のピクセルが選択される。たとえば、ぼかしのために選択される次のピクセルIcは、画像中で、ピクセルの行または列における、次の隣接するピクセルであることができる。プロセスはその後、ステップ８０４ないし８０６に戻り、各方向についてぼかされた輝度値が計算される。プロセスはこのようにして１行ずつ、また１列ずつ続くことができ、最終的には画像中の全ピクセルについてぼかされた値が計算される。この技法を使って融合された画像中の全ピクセルがぼかされたら、プロセスはステップ８１４で終了し、その後、ステップ２２２に戻る。
【００７４】
図８のフローチャートおよび本稿の記述は、次のピクセルに進む前に、特定のピクセルについてのぼかされた輝度値が各方向について計算されることを提供することを注意しておくべきである。しかしながら、本発明はこの点に関して限定されるものではない。代替的な構成では、融合された画像中の全ピクセルについて、第一の方向においてぼかされた輝度値が計算されることができる。その後、プロセスは融合された画像中の全ピクセルについて、第二の方向においてぼかされた輝度値を計算することができる。このプロセスは、画像中の全ピクセルがすべての方向においてぼかされるまで繰り返されることができる。
【図１】
2010511258.tif 000010
【図２Ａ】
2010511258.tif 000011
【図２Ｂ】
2010511258.tif 000012
【図２Ｃ】
2010511258.tif 000013
【図２Ｄ】
2010511258.tif 000014
【図２Ｅ】
2010511258.tif 000015
【図２Ｆ】
2010511258.tif 000016
【図３】
2010511258.tif 000017
【図４】
2010511258.tif 000018
【図５】
2010511258.tif 000019
【図６】
2010511258.tif 000020
【図７】
2010511258.tif 000021
【図８】
2010511258.tif 000022
【国際調査報告】
2010511258.tif 000023