(57)【要約】【解決手段】  ２つの画像を関連付ける変換の少なくとも回転パラメータ及び変倍パラメータを判定する方法（２００）が開示される。方法（２００）は、画像の平行移動に対して不変量である各画像の空間領域表現を形成することにより開始する。次に、Log−Polar領域における相関が、表現の間で実行される。相関における大きさのピークの検出後、方法（２００）は、大きさのピークの位置から、回転パラメータ及び変倍パラメータを判定する。【選択図】  図１
2007520762.tif 000002
【特許請求の範囲】
【請求項１】
２つの画像を関連付ける変換の少なくとも回転パラメータ及び変倍パラメータを判定する方法であって、
前記画像の平行移動に対して不変量である前記画像の各々の空間領域表現を形成する工程と、
前記表現の間で、Log−Polar領域における相関を実行する工程と、
前記相関における大きさのピークを検出する工程と、
前記大きさのピークの位置から、前記回転パラメータ及び前記変倍パラメータを判定する工程と
を備えることを特徴とする方法。
【請求項２】
前記画像の前記表現を形成する工程は、前記画像の各々に対して、
フーリエ変換された画像を形成するために、前記画像のフーリエ変換を実行する工程と、
変更されたフーリエ変換された画像を形成するために、前記フーリエ変換された画像の大きさ成分に対して、回転及び変倍に対する定数内で可換である関数を実行する工程と、
前記表現を形成するために、前記変更されたフーリエ変換された画像に対して、逆フーリエ変換を実行する工程と
を備えることを特徴とする請求項１に記載の方法。
【請求項３】
前記画像の前記表現を形成する工程は、前記画像の各々に対して、
フーリエ変換された画像を形成するために、前記画像のフーリエ変換を実行する工程と、
変更されたフーリエの大きさの画像を形成するために、前記フーリエ変換された画像の大きさ成分に対して、回転及び変倍に対する定数内で可換である関数を実行する工程と、
変更されたフーリエの位相画像を形成するために、前記フーリエ変換された画像の位相成分の２次以上の導関数を取得する工程と、
変更されたフーリエ変換された画像を形成するために、前記変更されたフーリエの大きさの画像及び前記変更されたフーリエの位相画像を組み合わせる工程と、
前記表現を形成するために、前記変更されたフーリエ変換された画像に対して、逆フーリエ変換を実行する工程と
を備えることを特徴とする請求項１に記載の方法。
【請求項４】
前記変更されたフーリエの位相画像は、ラプラス演算子を前記フーリエ変換された画像の前記位相成分に対して適用することにより形成されることを特徴とする請求項３に記載の方法。
【請求項５】
前記変更されたフーリエの大きさの画像及び前記変更されたフーリエの位相画像は、前記変更されたフーリエの大きさの画像を前記変更されたフーリエ変換された画像の実数部として使用し、且つ前記変更されたフーリエの位相画像を前記変更されたフーリエ変換された画像の虚数部として使用することにより組み合わされることを特徴とする請求項３又は４に記載の方法。
【請求項６】
２つの画像を関連付ける変換の少なくとも回転パラメータ及び変倍パラメータを判定する方法であって、
回転及び変倍に対する定数内で可換である演算子を前記画像に対して適用することにより、前記画像の各々のマルチチャネル関数を得る工程と、
前記マルチチャネル関数の平行移動に対して不変量である前記マルチチャネル関数の各々の表現を形成する工程と、
前記表現の間で、Log−Polar領域における相関を実行する工程と、
前記相関における大きさのピークを検出する工程と、
前記大きさのピークの位置から、前記回転パラメータ及び前記変倍パラメータを判定する工程と
を備えることを特徴とする方法。
【請求項７】
前記マルチチャネル関数を得る工程は、各画像に対して、
複素カーネル関数で前記画像を畳込む工程と、
前記画像を前記畳込み工程による結果で乗算する工程とを備え、
前記複素カーネル関数は、以下のフーリエ変換
Ｋ（ｕ，ｖ）＝（ｕ＋ｉｖ）／｜ｕ＋ｉｖ｜
を有することを特徴とする請求項６に記載の方法。
【請求項８】
前記マルチチャネル関数を得る工程は、各画像に対して、
複素カーネル関数で前記画像を畳込む工程と、
前記画像を前記畳込み工程による結果で乗算する工程とを備え、
前記複素カーネル関数は、以下のフーリエ変換
Ｋ’（ｕ，ｖ）＝ｕ＋ｉｖ
を有することを特徴とする請求項６に記載の方法。
【請求項９】
前記マルチチャネル関数を得る工程は、各画像に対して、
前記マルチチャネル関数を得るために、前記画像に対してエネルギー演算子を適用する工程を備え、前記エネルギー演算子は、
Ｅ［Ｉ］＝ＩＤ２Ｉ−（ＤＩ）２
により表され、式中、Ｄは微分演算子であることを特徴とする請求項６に記載の方法。
【請求項１０】
前記マルチチャネル関数を得る工程は、各画像に対して、
前記マルチチャネル関数を得るために、前記画像に対してユニモジュラエネルギー演算子を適用する工程を備え、
前記ユニモジュラエネルギー演算子は、
Ｅ’［Ｉ］＝ＩＤ’２Ｉ−（Ｄ’Ｉ）２
により表され、式中、Ｄ’はユニモジュラ微分演算子であることを特徴とする請求項６に記載の方法。
【請求項１１】
前記マルチチャネル関数を得る工程は、前記適用工程の結果を正規化する工程を更に備えることを特徴とする請求項９又は１０に記載の方法。
【請求項１２】
前記マルチチャネル関数を得る工程は、前記画像を前記適用工程による結果で乗算する工程を更に備えることを特徴とする請求項９又は１０に記載の方法。
【請求項１３】
前記マルチチャネル関数を得る工程は、
前記適用工程による結果を正規化する工程と、
前記画像を前記正規化工程による結果で乗算する工程と
を更に備えることを特徴とする請求項９又は１０に記載の方法。
【請求項１４】
前記表現は、前記空間領域に存在することを特徴とする請求項６乃至１３の何れか１項に記載の方法。
【請求項１５】
前記相関は、フーリエ−メリン相関であることを特徴とする請求項１乃至１４の何れか１項に記載の方法。
【請求項１６】
２つの画像を関連付ける変換の少なくとも回転パラメータ及び変倍パラメータを判定する装置であって、
前記画像の平行移動に対して不変量である前記画像の各々の空間領域表現を形成する手段と、
前記表現の間で、Log−Polar領域における相関を実行する手段と、
前記相関における大きさのピークを検出する手段と、
前記大きさのピークの位置から、前記回転パラメータ及び前記変倍パラメータを判定する手段と
を備えることを特徴とする装置。
【請求項１７】
２つの画像を関連付ける変換の少なくとも回転パラメータ及び変倍パラメータを判定する装置であって、
回転及び変倍に対する定数内で可換である演算子を前記画像に対して適用することにより、前記画像の各々のマルチチャネル関数を得る手段と、
前記マルチチャネル関数の平行移動に対して不変量である前記マルチチャネル関数の各々の表現を形成する手段と、
前記表現の間で、Log−Polar領域における相関を実行する手段と、
前記相関における大きさのピークを検出する手段と、
前記大きさのピークの位置から、前記回転パラメータ及び前記変倍パラメータを判定する手段と
を備えることを特徴とする装置。
【請求項１８】
２つの画像を関連付ける変換の少なくとも回転パラメータ及び変倍パラメータを判定するために記憶媒体に格納されたプログラムであって、
前記画像の平行移動に対して不変量である前記画像の各々の空間領域表現を形成する為のコードと、
前記表現の間で、Log−Polar領域における相関を実行する為のコードと、
前記相関における大きさのピークを検出する為のコードと、
前記大きさのピークの位置から、前記回転パラメータ及び前記変倍パラメータを判定する為のコードと
を備えることを特徴とするプログラム。
【請求項１９】
２つの画像を関連付ける変換の少なくとも回転パラメータ及び変倍パラメータを判定するために記憶媒体に格納されたプログラムであって、
回転及び変倍に対する定数内で可換である演算子を前記画像に対して適用することにより、前記画像の各々のマルチチャネル関数を得る為のコードと、
前記マルチチャネル関数の平行移動に対して不変量である前記マルチチャネル関数の各々の表現を形成する為のコードと、
前記表現の間で、Log−Polar領域における相関を実行する為のコードと、
前記相関における大きさのピークを検出する為のコードと、
前記大きさのピークの位置から、前記回転パラメータ及び前記変倍パラメータを判定する為のコードと
を備えることを特徴とするプログラム。
【請求項２０】
２つの画像を関連付ける変換の少なくとも回転パラメータ及び変倍パラメータを判定する方法において、実質的に、添付の図面を参照して記載された通りの方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般に、画像位置合わせに関し、特に、回転、変倍及び平行移動により関連付けられる２つの画像を位置合わせする変換を判定することに関する。
【背景技術】
【０００２】
画像位置合わせは、共通対象物を有する１組の画像の画素間の対応関係を判定する処理である。特に、画像位置合わせは、１組の画像の画素を関連付ける変換のパラメータを判定することを含む。従って、画像位置合わせは、画像整合の重要な面である。ここで、２つの画像の実質的部分を関連付ける幾何学的な変換が存在するという前提の下、２つの画像は、共通対象物に関して比較される。部分的にオーバーラップする一連の画像を取得し、且つ単一の大きな画像を形成するために個々の画像のモザイクを形成する必要がある衛星画像及び医療画像においても、画像位置合わせは使用される。
【０００３】
画像位置合わせは、カメラの校正においても便利である。ここで、既知のオブジェクトの画像が取り込まれ、画像内におけるその既知のオブジェクトの場所が、撮影装置のいくつかの未知のパラメータを判定するために計算される。画像位置合わせの別の応用には、相対的なビデオカメラの向き及びビデオシーケンスにおけるビデオフレーム間の位置を判定するシステムの一部としての応用がある。
【０００４】
画像位置合わせの単純な形式は、２つの画像が平行移動のみを介して関連付けられる場合に使用されてもよい。そのような場合、整合フィルタリング方法が、２つの画像を関連付ける平行移動を見つけるために使用されてもよい。相互相関及び位相相関は、そのような整合フィルタリング方法の２つの例である。
【０００５】
相互相関は、空間領域又は周波数領域において実行されてもよい。画素のｘ座標及びｙ座標の関数である２つの画像Ｉ１（ｘ，ｙ）及びＩ２（ｘ，ｙ）を考慮する。空間領域における２つの画像Ｉ１（ｘ，ｙ）及びＩ２（ｘ，ｙ）の相互相関は、次式により定義される。
【０００６】
【数１】
2007520762.tif 000003
【０００７】
２つの画像Ｉ１（ｘ，ｙ）及びＩ２（ｘ，ｙ）が単純な平行移動（Δｘ，Δｙ）により関連付けられる場合、
【０００８】
【数２】
2007520762.tif 000004
【０００９】
であり、相互相関Ｃ（ｘ’，ｙ’）は、平行移動座標（Δｘ，Δｙ）において最大値を有する。ここで、
【００１０】
【数３】
2007520762.tif 000005
【００１１】
である。
【００１２】
従って、２つの画像Ｉ１（ｘ，ｙ）及びＩ２（ｘ，ｙ）の相互相関Ｃ（ｘ’，ｙ’）を計算することにより、２つの画像Ｉ１（ｘ，ｙ）及びＩ２（ｘ，ｙ）を位置合わせする平行移動（Δｘ，Δｙ）が判定されてもよい。
【００１３】
相互相関は、一般に、高速フーリエ変換（ＦＦＴ）を使用して実行される。画像Ｉｎ（ｘ，ｙ）に対して、離散フーリエ変換
2007520762.tif 000006
が次式により定義される。
【００１４】
【数４】
2007520762.tif 000007
【００１５】
式中、Ｎｘは、ｘ次元における画像寸法であり、Ｎｙは、ｙ次元における画像寸法である。離散逆フーリエ変換
2007520762.tif 000008
は、次式により定義される。
【００１６】
【数５】
2007520762.tif 000009
【００１７】
ＦＦＴは、離散フーリエ変換
2007520762.tif 000010
及びその逆
2007520762.tif 000011
を計算するコンピュータ上効率的な方法である。
【００１８】
相互相関Cは、次式により計算されてもよい：
【００１９】
【数６】
2007520762.tif 000012
【００２０】
式中、
2007520762.tif 000013
は、離散フーリエ変換
2007520762.tif 000014
の複素共役を示す。従って、一方の画像のＦＦＴ
2007520762.tif 000015
及び他方の画像のＦＦＴの複素共役
2007520762.tif 000016
の積の逆ＦＦＴ
2007520762.tif 000017
を取得することにより、式（１）で定義された値と同等である相互相関Ｃの値を含む更なる画像が提供される。
【００２１】
位相相関Ｃ’は、頻繁に使用され且つ次式により定義される別の整合フィルタリング方法である。
【００２２】
【数７】
2007520762.tif 000018
【００２３】
すなわち、画像Ｉ１（ｘ，ｙ）及びＩ２（ｘ，ｙ）の離散フーリエ変換
2007520762.tif 000019
を使用するのではなく、画像の離散フーリエ変換の複素位相部分のみが使用される。画像Ｉ１（ｘ，ｙ）及びＩ２（ｘ，ｙ）が平行移動オフセット（Δｘ，Δｙ）により関連付けられる場合、位相相関Ｃ’は、２つの画像Ｉ１（ｘ，ｙ）及びＩ２（ｘ，ｙ）を関連付ける平行移動座標（Δｘ，Δｙ）において急激に上昇するピークを有し、位相相関Ｃ’のその他の場所において小さな値を有する。
【００２４】
２つの画像Ｉ１（ｘ，ｙ）及びＩ２（ｘ，ｙ）が平行移動のみにより関連付けられる場合、整合フィルタリングが使用されるが、画像Ｉ２（ｘ，ｙ）が画像Ｉ１（ｘ，ｙ）を回転し、変倍した画像となるように、２つの画像Ｉ１（ｘ，ｙ）及びＩ２（ｘ，ｙ）が回転及び変倍変換により関連付けられる場合は、すなわち、
【００２５】
【数８】
2007520762.tif 000020
【００２６】
となる。式中、ｓは変倍因子であり、
2007520762.tif 000021
は回転角度である。未知の回転パラメータ
2007520762.tif 000022
及び変倍パラメータｓは、次式を使用して、画像Ｉ１（ｘ，ｙ）及びＩ２（ｘ，ｙ）をLog−Polar座標空間に変換することにより、判定されてもよい。
【００２７】
【数９】
2007520762.tif 000023
【００２８】
上述の平行移動により、Log−Polar空間における画像Ｉ１（ｘ，ｙ）及びＩ２（ｘ，ｙ）間の関係が次のように導き出される。
【００２９】
【数１０】
2007520762.tif 000024
【００３０】
上述の整合フィルタリング方法は、座標(log s, 
2007520762.tif 000025
)の相関Ｃにおけるピークから変倍パラメータｓ及び回転パラメータ
2007520762.tif 000026
を判定するために使用されてもよい。
【００３１】
画素間の対応関係が平行移動、又は回転及び変倍等の単純な変換ではない場合にも、画像位置合わせは、１組の画像Ｉ１（ｘ，ｙ）及びＩ２（ｘ，ｙ）に対して頻繁に適用される。異なる撮影装置を使用して２つの画像Ｉ１（ｘ，ｙ）及びＩ２（ｘ，ｙ）が取り込まれる場合、又は、同一の撮影装置を使用するが、各画像が撮影装置の異なる構成を使用して取り込まれる場合、それら画像を位置合わせする必要がある可能性がある。そのような場合、変換は平行移動、回転及び変倍を含む。
【００３２】
次式が成立するように、平行移動、並びに回転及び変倍により関連付けられる２つの画像Ｉ１（ｘ，ｙ）及びＩ２（ｘ，ｙ）を考慮する。
【００３３】
【数１１】
2007520762.tif 000027
【００３４】
平行移動、回転及び変倍により関連付けられる画像を位置合わせする現在の方法において、平行移動パラメータが２つの画像間のオーバーラップを大きく減少する場合、広い範囲の画像の種類は、信号対雑音比が低いことによる悪影響を受ける。更に、現在の方法は、コンピュータ計算の非効率をまねく１８０°の不確かさを含む。この不確かさは、実関数のフーリエの大きさが対称的であることの結果である。
【発明の開示】
【発明が解決しようとする課題】
【００３５】
本発明の１つの目的は、既存構成の１つ以上の欠点を実質的に克服すること、又は少なくとも改善することである。
【課題を解決するための手段】
【００３６】
本開示の第１の面によると、２つの画像を関連付ける変換の少なくとも回転パラメータ及び変倍パラメータを判定する方法が提供され、前記方法は、
前記画像の平行移動に対して不変量である前記画像の各々の空間領域表現を形成する工程と、
前記表現の間で、フーリエ−メリン相関を実行する工程と、
前記相関における大きさのピークを検出する工程と、
前記大きさのピークの位置から、前記回転パラメータ及び前記変倍パラメータを判定する工程とを備えることを特徴とする。
【００３７】
本開示の第２の面によると、２つの画像を関連付ける変換の少なくとも回転パラメータ及び変倍パラメータを判定する方法が提供され、前記方法は、
回転及び変倍に対する定数内で可換である演算子を前記画像に対して適用することにより、前記画像の各々のマルチチャネル関数を得る工程と、
前記マルチチャネル関数の平行移動に対して不変量である前記マルチチャネル関数の各々の表現を形成する工程と、
前記表現の間で、フーリエ−メリン相関を実行する工程と、
前記相関における大きさのピークを検出する工程と、
前記大きさのピークの位置から、前記回転パラメータ及び前記変倍パラメータを判定する工程とを備えることを特徴とする。
【００３８】
本開示の別の面によると、上述の方法のうちいずれか１つの方法を実現する装置が提供される。
【００３９】
本開示の別の面によると、上述の方法のうちいずれか１つの方法を実現するコンピュータプログラムを記録したコンピュータ可読媒体を含むコンピュータプログラム製品が提供される。
【００４０】
本発明の他の面も開示される。
【発明を実施するための最良の形態】
【００４１】
１つ以上の添付の図面において、ステップ及び／又は特徴を参照する場合、同一の符号を有するステップ及び／又は特徴は、説明の都合上、指示がない限り、同一の機能又は動作を有する。
【００４２】
尚、画像を位置合わせする現在の方法に関する「背景技術」に含まれる説明は、本発明者又は本出願人による表現として解釈されるべきではなく、そのような方法は、何らかの点で、当技術の周知技術の一部を形成する。
【００４３】
図１は、本発明の実施形態に従って２つの画像を関連付ける変換を判定する方法２００のフローチャートである。ここで、変換は、回転、変倍及び平行移動を含む。２つの画像を関連付ける変換を判定する方法２００は、図２に示されるような汎用コンピュータシステム１００を使用して実現されることが好ましい。図２において、図１の方法は、コンピュータシステム１００内で実行するアプリケーションプログラム等のソフトウェアとして実現されてもよい。特に、２つの画像を関連付ける変換を判定する方法２００のステップは、コンピュータシステム１００により実行されるソフトウェアの命令により実行される。ソフトウェアは、例えば、以下に説明する記憶装置を含むコンピュータ可読媒体に格納されてもよい。ソフトウェアは、コンピュータ可読媒体からコンピュータシステム１００にロードされ、コンピュータシステム１００により実行される。そのようなソフトウェア又はコンピュータプログラムが記録されたコンピュータ可読媒体は、コンピュータプログラム製品である。コンピュータシステム１００においてコンピュータプログラム製品を使用することにより、２つの画像を関連付ける変換を判定するのに有利な装置を達成することが好ましい。
【００４４】
コンピュータシステム１００は、コンピュータモジュール１０１、キーボード１０２及びマウス１０３等の入力装置、並びに、プリンタ１１５及び表示装置１１４を含む出力装置から構成される。変調器−復調器（モデム）トランシーバ装置１１６は、例えば、電話回線１２１又は他の機能媒体を介して接続可能な通信ネットワーク１２０と通信するために、コンピュータモジュール１０１により使用される。モデム１１６は、インターネット、及びローカルエリアネットワーク（ＬＡＮ）又はワイドエリアネットワーク（ＷＡＮ）等の他のネットワークシステムにアクセスするために使用される。モデム１１６は、いくつかの実現方法において、コンピュータモジュール１０１に内蔵されてもよい。
【００４５】
コンピュータモジュール１０１は、通常、少なくとも１つのプロセッサユニット１０５と、例えば半導体ランダムアクセスメモリ（ＲＡＭ）及び読み出し専用メモリ（ＲＯＭ）から構成されるメモリユニット１０６とを含む。モジュール１０１は、ビデオ表示装置１１４に結合するビデオインタフェース１０７、キーボード１０２及びマウス１０３に対する入出力（Ｉ／Ｏ）インタフェース１１３、並びに、モデム１１６及びプリンタ１１５に対するインタフェース１０８を含む多数のＩ／Ｏインタフェースを更に含む。記憶装置１０９が提供され、記憶装置１０９は、通常、ハードディスクドライブ１１０及びフロッピディスク装置１１１を含む。ＣＤ−ＲＯＭドライブ１１２は、通常、不揮発性のデータソースとして提供される。コンピュータモジュール１０１の構成要素１０５〜１１３は、通常、相互接続バス１０４を介して、当業者に周知のコンピュータシステム１００の従来の動作モードで通信する。
【００４６】
通常、アプリケーションプログラムは、ハードディスクドライブ１１０に常駐し、実行の際には、プロセッサ１０５により読み出され且つ制御される。ネットワーク１２０から取り出されるプログラム及び任意のデータの中間記憶装置は、ハードディスクドライブ１１０と共に動作する可能性のある半導体メモリ１０６を使用して達成されてもよい。いくつかの例において、アプリケーションプログラムは、ＣＤ−ＲＯＭ又はフロップディスク上でコード化されてユーザに供給され、対応するドライブ１１２又は１１１を介して読み出されてもよい。あるいは、アプリケーションプログラムは、モデム装置１１６を介してネットワーク１２０からユーザにより読み出されてもよい。本明細書において使用されるように、用語「コンピュータ可読媒体」は、実行及び／又は処理のために、命令及び／又はデータをコンピュータシステム１００に提供することに関係する任意の記憶装置又は伝送媒体を示す。
【００４７】
更に、本発明は、コンピュータプログラムを黙示的に開示する。本明細書において説明される好適な方法１００の各ステップがコンピュータコードにより実行されることは、当業者には明らかであろう。
【００４８】
２つの画像Ｉ１（ｘ，ｙ）及びＩ２（ｘ，ｙ）を関連付ける変換を判定するために使用できる方法が開示される。ここで、この２つの画像は、回転、変倍及び平行移動により関連付けられると仮定される。
【００４９】
【数１２】
2007520762.tif 000028
【００５０】
式中、ｓは変倍因子であり、
2007520762.tif 000029
は回転角度であり、且つ(Δx,Δy)は平行移動である。方法は、２つの段階、すなわち、１８０°まで不確定な回転角度
2007520762.tif 000030
で、未知の変倍及び回転変換を判定する第１段階と、平行移動(Δx, Δy)を判定し、角度の不確かさを解決する第２段階とを含む。変倍、回転及び移動された画像Ｉ２（ｘ，ｙ）のフーリエ変換は、次式により、他方の画像Ｉ１（ｘ，ｙ）に関連付けられる。
【００５１】
【数１３】
2007520762.tif 000031
【００５２】
第１段階において、フーリエ変換
2007520762.tif 000032
の大きさを取得することにより、画像の平行移動の不変量が得られる。
【００５３】
【数１４】
2007520762.tif 000033
【００５４】
平行移動の不変量は、画像の平行移動(Δx, Δy)に依存しない。フーリエの大きさのLog−Polar変換を実行することにより、次のように、２つの画像間のフーリエの大きさの単純な線形関係を導き出す。
【００５５】
【数１５】
2007520762.tif 000034
【００５６】
２つの画像間のフーリエの大きさのLog−Polar再サンプリングの相関は、log s及び
2007520762.tif 000035
におけるピークを含む。これにより、２つの画像Ｉ１（ｘ，ｙ）及びＩ２（ｘ，ｙ）を関連付ける未知の変倍パラメータｓ及び回転角度パラメータ
2007520762.tif 000036
を判定することができる。ここで、回転角度
2007520762.tif 000037
は、１８０°の不確かさを有する。この不確かさは、実関数のフーリエの大きさが対称的であることの結果である。
【００５７】
２つの画像Ｉ１（ｘ，ｙ）及びＩ２（ｘ，ｙ）を関連付ける変換を判定する方法の第２段階は、第２の画像Ｉ２（ｘ，ｙ）に対して可能な回転角度
2007520762.tif 000038
に対するこの時点で既知の変倍及び回転平行移動を元に戻すことにより開始され、部分的に位置合わせされた画像を生成する。部分的に位置合わせされた画像は、第１の画像Ｉ１（ｘ，ｙ）と互いに関連付けられ、２つの画像Ｉ１（ｘ，ｙ）及びＩ２（ｘ，ｙ）間の未知の平行移動(Dx, Dy)を判定する。部分的に位置合わせされた画像と第１の画像I1(x, y)との間の最適な空間相関を与える回転角度
2007520762.tif 000039
は、正確な回転角度
2007520762.tif 000040
であると考えられる。２つの画像I1(x, y)及びI2(x, y)を関連付ける完全な変換が、この時点で分かる。
【００５８】
図１を参照すると、本発明による２つの画像I1(x, y)及びI2(x, y)を関連付ける変換を判定する方法２００のフローチャートが示される。方法２００は、ステップ２０５において、２つの画像I1(x, y)及びI2(x, y)を入力として受信する。画像I1(x, y)及びI2(x, y)は、画像内容において、実質的にオーバーラップすることを前提とする。画像I1(x, y)及びI2(x, y)は、実数値の関数であり、一般に、０と通常１又は２５５である所定の最大値との間の値の配列により表現される。通常、画像I1(x, y)及びI2(x, y)は、ステップ２０５において、記憶装置１０９（図２）から検索される。しかし、画像I1(x, y)及びI2(x, y)は、ネットワーク１２０から受信されてもよく、又はコンピュータシステム１００に接続される撮影装置（不図示）から受信されてもよい。
【００５９】
次に、ステップ２１０及び２７０において、画像位置合わせが実行される。特に、２つの画像I1(x, y)及びI2(x, y)を関連付ける回転パラメータ
2007520762.tif 000041
及び変倍パラメータsが、ステップ２１０において判定され、平行移動(Δx, Δy)がステップ２７０において判定される。方法２００は、ステップ２９０で終了する。ステップ２９０において、実質的に位置決めされた２つの画像I”1(x, y)及びI2(x, y)を含む出力を、表示装置１１４に生成する。あるいは、変倍因子s、回転角度
2007520762.tif 000042
及び平行移動(Δx, Δy)が、表示装置１１４に出力される。
【００６０】
図３は、２つの画像I1(x, y)及びI2(x, y)を関連付ける回転パラメータ
2007520762.tif 000043
及び変倍パラメータsを判定するステップ２１０（図１）を更に詳細に示すフローチャートである。好適な実現方法のステップ２１０は、サブステップ２１２で開始する。サブステップ２１２において、プロセッサ１０５（図２）は、画像I1(x, y)及びI2(x, y)からマルチチャネル関数を得る。好適な実現方法において、各複素画像
2007520762.tif 000044
がフーリエ変換される場合に、非対称的なフーリエの大きさを有する非エルミート結果が生成されるように、プロセッサ１０５は、画像I1(x, y)及びI2(x, y)から複素画像
2007520762.tif 000045
及び
2007520762.tif 000046
を形成する。従って、複素画像
2007520762.tif 000047
をフーリエ-メリン相関に対する入力として使用すると、使用しない場合に存在する１８０°の不確定さが除去される。
【００６１】
複素画像
2007520762.tif 000048
及び
2007520762.tif 000049
は、画像I1(x, y)及びI2(x, y)に対して演算子γ｛｝を適用することにより形成される。ここで、演算子γ｛｝は、回転及び変倍に対する定数内で可換である。すなわち、
【００６２】
【数１６】
2007520762.tif 000050
【００６３】
である。
【００６４】
式中、βは回転因子、ｓは変倍因子、Ｔβ、ｓは回転−変倍変換、且つｇは回転β及び変倍ｓの任意の関数である。
【００６５】
演算子γ｛｝の例は以下を含む。
【００６６】
【数１７】
2007520762.tif 000051
【００６７】
【数１８】
2007520762.tif 000052
【００６８】
【数１９】
2007520762.tif 000053
【００６９】
図５及び図６を参照して、画像In(x, y)から複素画像
2007520762.tif 000054
を形成する好適なステップを以下に説明する。
【００７０】
サブステップ２１２において得られたマルチチャネル関数、好適な実現方法においての複素画像
2007520762.tif 000055
及び
2007520762.tif 000056
であるマルチチャネル関数は、サブステップ２１４においてプロセッサ１０５によりそれぞれ処理され、２つの複素画像
2007520762.tif 000057
及び
2007520762.tif 000058
の各々の表現T1(x, y)及びT2(x, y)を形成する。ここで、表現T1(x, y)及びT2(x, y)は、空間領域において平行移動の不変量である。画像の平行移動により、画像がトリミングされることが理解される。従って、トリミングは独立した画像の変化を平行移動による変化に導入するので、平行移動の不変量は、実質上、平行移動の不変量を意味する。
【００７１】
サブステップ２１４に続くサブステップ２１６において、プロセッサ１０５は、２つの複素画像
2007520762.tif 000059
及び
2007520762.tif 000060
の表現T1(x, y)及びT2(x, y)に対してフーリエ−メリン相関を実行し、位相相関画像を生成する。この位相相関画像において、入力画像I1(x, y)及びI2(x, y)を関連付ける可能性のある回転及び変倍は、孤立するピークにより表現される。図８を参照して、フーリエ−メリン相関を以下に更に詳細に説明する。
【００７２】
表現T1(x, y)及びT2(x, y)が空間領域において平行移動の不変量であるため、フーリエ−メリン相関は、広範囲な値をとる平行移動、回転及び変倍因子により関連付けられる画像I1(x, y)及びI2(x, y)に対して優れた結果をもたらす。そのような優れた結果は、通常、回転、変倍及び平行移動変換により関連付けられる画像に対する増加した整合フィルタ信号対雑音比、並びに、回転、変倍及び平行移動変換により関連付けられない画像間の向上した判別を含む。
【００７３】
方法２００は、サブステップ２１８に継続し、プロセッサ１０５は、位相相関画像内の大きさのピークの場所を検出する。大きさのピークの場所は、２次フィッティングにより補間される。これにより、サブピクセル正確度に対する大きさのピークの場所が検出される。
【００７４】
その後、サブステップ２２０において、プロセッサ１０５は、検出された大きさのピークが所定の閾値より大きい信号対雑音比を有するかを判定する。好適な実現方法において使用される閾値は、１．５である。
【００７５】
大きさのピークが所定の閾値より大きい信号対雑音比を有すると判定される場合、プロセッサ１０５は、サブステップ２２２において、大きさのピークの場所を使用して、２つの画像I1(x, y)及びI2(x, y)を関連付ける変倍パラメータｓ及び回転角度パラメータ
2007520762.tif 000061
を判定する。大きさのピークの場所が（ζ、α）である場合、２つの画像I1(x, y)及びI2(x, y)を関連付ける変倍パラメータｓ及び回転角度パラメータ
2007520762.tif 000062
は、次式である。
【００７６】
【数２０】
2007520762.tif 000063
【００７７】
【数２１】
2007520762.tif 000064
【００７８】
式中、α及び
2007520762.tif 000065
は、図８を参照して以下に説明されるフーリエ-メリン相関のLog-Polar再サンプリングステップ６３０に関連する定数である。
【００７９】
サブステップ２２０において、ピークが有する信号対雑音比が所定の閾値よりも大きくないと判定される場合、画像I1(x, y)及びI2(x, y)は関連付けられないと判断され、方法２００は、サブステップ２５０で終了する。
【００８０】
図４は、２つの画像I1(x, y)及びI2(x, y)を関連付ける平行移動(Δx, Δy)を判定するステップ２７０（図１）を更に詳細に示すフローチャートである。サブステップ２８０において、サブステップ２２２（図３）で判定された回転及び変倍変換が画像I1(x, y)に対して実行されることにより、これらの変換を元に戻し、画像I’1(x, y)を形成する。変換が、複素画像
2007520762.tif 000066
に対して任意に実行されてもよい。回転及び変倍変換された画像I’1(x, y)及び元の画像I2(x, y)は、サブステップ２８２において、位相相関を使用して互いに関連付けられ、別の相関画像を生成する。この相関画像における大きさのピークの位置は、一般に、画像I1(x, y)及びI2(x, y)を関連付ける平行移動(Δx, Δy)に対応する。従って、サブステップ２８４において、プロセッサ１０５は、相関画像内の大きさのピークの場所を検出する。
【００８１】
その後、サブステップ２８６において、プロセッサ１０５は、大きさのピークの場所を使用して、２つの画像I’1(x, y)及びI2(x, y)を関連付ける平行移動パラメータ(Δx, Δy)を判定する。また、同一の平行移動パラメータ(Δx, Δy)が、元の２つの画像I1(x, y)及びI2(x, y)を関連付ける。大きさのピークの場所が(x0, y0)である場合、平行移動(Δx, Δy)は、(-x0, -y0)である。未知の変倍パラメータｓ及び回転角度パラメータ
2007520762.tif 000067
は、サブステップ２２２で判定され、未知の平行移動パラメータ(Δx, Δy)は、サブステップ２８６で判定された。これらのパラメータは、出力を生成するためにステップ２９０（図１）に渡される。
【００８２】
図５は、複素画像
2007520762.tif 000068
を画像In(x, y)から形成するサブステップ２１２（図３）の第１の実現方法を更に詳細に示すフローチャートである。サブステップ３２０において、プロセッサ１０５は、画像In(x, y)を複素カーネル関数kで畳込む。畳込みは、空間領域において実行されてもよく、又はフーリエ領域において乗算の標準的な技術により実行されてもよい。サブステップ３２０において使用される複素カーネル関数kは、次式のフーリエ変換
2007520762.tif 000069
を有する複素カーネル関数である。
【００８３】
【数２２】
2007520762.tif 000070
【００８４】
サブステップ３２０において使用できる別の複素カーネル関数k’は、次式のフーリエ変換
2007520762.tif 000071
を有する複素カーネル関数である。
【００８５】
【数２３】
2007520762.tif 000072
【００８６】
畳込みの結果（(I*k)、ここで*は、畳込みを示す）は、サブステップ３３０において、単位量を得るために正規化される。
【００８７】
【数２４】
2007520762.tif 000073
【００８８】
最後に、サブステップ３４０において、正規化された畳込みの結果Γは、元の画像In(x, y)で乗算され、複素画像
2007520762.tif 000074
を形成する。複素画像
2007520762.tif 000075
は、元の画像In(x, y)と同一の大きさを有し、複素画像
2007520762.tif 000076
における各点は、サブステップ３２０における畳込みにより生成された関連する位相を有する。式（２２）及び（２３）において与えられるカーネルk及びk’に対して、関連する位相は、画像In(x, y)の傾斜方向に関連付けられた量をコード化する。
【００８９】
図６は、複素画像
2007520762.tif 000077
を画像In(x, y)から形成するサブステップ２１２（図３）の第２の（別の）実現方法を更に詳細に示すフローチャートである。サブステップ４２０において、プロセッサ１０５は、画像In(x, y)に非線形演算子を適用し、複素画像を生成する。サブステップ４２０において適用された非線形演算子は、エネルギー演算子であり、次式により表されてもよい。
【００９０】
【数２５】
2007520762.tif 000078
【００９１】
式中、Ｄは、微分演算子である。
【００９２】
【数２６】
2007520762.tif 000079
【００９３】
サブステップ４２０において適用され、複素画像を生成する別の非線形演算子は、ユニモジュラエネルギー演算子である。
【００９４】
【数２７】
2007520762.tif 000080
【００９５】
式中、Ｄ’は、ユニモジュラ微分演算子である。ユニモジュラ微分演算子Ｄ’は、以下のように、フーリエ領域における操作として表されてもよい。
【００９６】
【数２８】
2007520762.tif 000081
【００９７】
サブステップ４２０に続くサブステップ４３０において、画像In(x, y)に適用された非線形演算子の結果が単位係数に正規化されることが好ましく、この正規化の結果が、サブステップ４４０において、元の画像In(x, y)で乗算され、複素画像
2007520762.tif 000082
を形成することが好ましい。あるいは、画像In(x, y)に適用された非線形演算子の結果、すなわち、サブステップ４２０の出力は、複素画像
2007520762.tif 000083
として使用されてもよい。
【００９８】
図７は、空間領域における平行移動の不変量である１つの複素画像
2007520762.tif 000084
の表現Tn(x, y)を形成するサブステップ２１４（図３）で実行される方法を更に詳細に示すフローチャートである。サブステップ２１４は、サブステップ２１２で形成された複素画像
2007520762.tif 000085
を入力として受信する。複素画像
2007520762.tif 000086
の各々は、サブステップ５２０において、プロセッサ１０５により、まずＦＦＴを使用してフーリエ変換され、複素値で構成される画像を生成する。この画像は、サブステップ５３０において、フーリエ変換の複素値の大きさを含む大きさの画像、及びフーリエ変換の複素値の位相を含む位相画像の２つの別々の画像に分離される。サブステップ５６０において、回転及び変倍に対する定数内で可換である関数が、大きさの画像に適用される。好適な実現方法において、大きさの画像は、ランプ関数で乗算され、大きさの画像のハイパスフィルタ処理が施される。サブステップ５７０において、演算子が、位相画像に適用され、平行移動の不変量である位相の２次以上の導関数を取得する。好適な実現方法において、ラプラス演算子が使用される。
【００９９】
サブステップ２１４は、サブステップ５８０に継続し、サブステップ５６０から生成された変更された大きさの画像、及びサブステップ５７０から生成された位相画像のラプラスの取得結果は、次式により組み合わされる。
【０１００】
【数２９】
2007520762.tif 000087
【０１０１】
式中、｜Ｆ｜は、複素画像
2007520762.tif 000088
のフーリエ変換の変更された大きさであり、
2007520762.tif 000089
は、フーリエ変換の位相画像のラプラスである。また、Ａは、次式に対して設定される変倍定数である。
【０１０２】
【数３０】
2007520762.tif 000090
【０１０３】
変倍定数Ａは、再び組み合わされたフーリエの大きさ及び位相情報が略同一の大きさであることを保証する。
【０１０４】
変更された大きさの画像及び位相画像のラプラスを取得した結果を組み合わせた結果が、サブステップ５９０において逆フーリエ変換され、表現Tn(x, y)を生成する。表現Tn(x, y)は、空間領域において、平行移動の不変量である。
【０１０５】
フーリエの大きさ及び位相の他の平行移動の不変量が、サブステップ５６０及び５８０の代わりに使用されてもよい。例えば、以下のようなものがある。
【０１０６】
フーリエの大きさの係数の２乗。
【０１０７】
フーリエの大きさの対数。
【０１０８】
フーリエ変換の対数のラプラス。
【０１０９】
以下のような演算子。
【０１１０】
【数３１】
2007520762.tif 000091
【０１１１】
【数３２】
2007520762.tif 000092
【０１１２】
式中、複素数の対数は、次式により定義される。
【０１１３】
【数３３】
2007520762.tif 000093
【０１１４】
平行移動の不変量は、回転に関して１８０°の不確かさがないことが好ましい。これは、先に列挙した平行移動の不変量のうちフーリエの大きさの係数の２乗以外の全ての平行移動の不変量に対して満足する。
【０１１５】
図８は、空間領域において平行移動の不変量である表現T1(x, y)及びT2(x, y)に対して、フーリエ−メリン相関をサブステップ２１６において実行するサブステップを更に詳細に示すフローチャートである。サブステップ６３０において、表現T1(x, y)及びT2(x, y)の各々は、Log−Polar領域に対して再サンプリングされる。Log−Polar領域に対して再サンプリングするために、Log−Polar領域内の解像度を特定する必要がある。元の画像I1(x, y)及びI2(x, y)が幅Ｎ画素及び高さＭ画素である場合、すなわち、ｘ座標が０とＮ−１との間で変動し、ｙ座標が０とＭ−１との間で変動する場合、空間領域において平行移動の不変量である表現T1(x, y)及びT2(x, y)の中心は、(cx, cy) = (floor(N／2), floor(M／2))に位置付けられる。Log−Polar空間においてＰ画素×
2007520762.tif 000094
画素の範囲を有する画像に対するLog-Polar再サンプリングは、この中心を基準として実行される。原点における特異点を回避するため、表現T1(x, y)及びT2(x, y)の中心周りの半径rmin画素の円板を無視する必要がある。この円板を無視する一方で、Log−olar平面における点(x, y)は、次式のように、点(x, y)における平行移動の不変量の画像を補間することにより決定される。
【０１１６】
【数３４】
2007520762.tif 000095
【０１１７】
【数３５】
2007520762.tif 000096
【０１１８】
【数３６】
2007520762.tif 000097
【０１１９】
式（３５）及び（３６）は、空間領域において、Log−Polar画像が拡張する最大半径を示す。定数rmin、P及び
2007520762.tif 000098
の共通値は、以下のとおりである。
【０１２０】
【数３７】
2007520762.tif 000099
【０１２１】
【数３８】
2007520762.tif 000100
【０１２２】
サブステップ６４０において、プロセッサ１０５は、再サンプリングされた表現T1(x, y)及びT2(x, y)の各々に対してフーリエ変換を実行する。サブステップ６４０に続くサブステップ６５０において、プロセッサ１０５は、再サンプリングされた第２の表現T2(x, y)に対して複素共役を実行する。各フーリエ変換の複素要素の大きさで各複素要素を除算することにより、各フーリエ変換が単位量を有するように、サブステップ６６０において、フーリエ変換は正規化される。正規化されたフーリエ変換は、サブステップ６７０において、乗算される。乗算結果は、サブステップ６８０において、逆フーリエ変換される。その結果、位相相関画像が得られる。
【０１２３】
上述において、本開示の好適な実現方法を説明した。本開示の趣旨の範囲を逸脱せずに、本開示に対して多くの変形及び／又は変更が可能であることが、理解されるであろう。特に、マルチチャネル関数が得られるサブステップ２１２（図３）は無視されてもよいが、空間領域において平行移動に対して不変量である表現が形成されるサブステップ２１４はそのまま維持される。
【０１２４】
方法２００は、唯１つの構成要素を有する画像I1(x, y)及びI2(x, y)に対する動作に関して説明された。カラー画像及びマルチスペクトル装置からの画像等の複数の構成要素の画像もまた、方法２００を使用して相互に位置合わせできる。これは、構成要素の代数的な組合せにより複数の構成要素の各画像から単一の構成要素の画像を形成し、且つそのように生成された単一の構成要素の２つの画像I1(x, y)及びI2(x, y)を位置合わせすることにより達成される。あるいは、第１の複数構成要素の画像の各構成要素を他の複数構成要素の画像の各構成要素に対して、個別に位置合わせすることにより達成されてもよい。
【０１２５】
本明細書において、用語「備える」は、主に「含む」を意味するが、必ずしもそれだけの意味ではなく、「有する」又は「含む」ことを意味する。しかし、用語「備える」は、「のみから成る（consisting only of）」を意味することはない。用語「備える」の語形変化は、それに対応して意味の変化を示す。
【図面の簡単な説明】
【０１２６】
【図１】本発明の実施形態に従って２つの画像を関連付け、且つ回転、変倍及び平行移動を含む変換を判定する方法のフローチャートである。
【図２】説明される構成が実現される汎用コンピュータの概略的なブロック図である。
【図３】図１に示される方法において実行される２つの画像を関連付ける回転パラメータ及び変倍パラメータを判定するステップを更に詳細に示すフローチャートである。
【図４】図１に示される方法において実行される２つの画像を関連付ける平行移動パラメータを判定する工程を更に詳細に示すフローチャートである。
【図５】図３のステップのサブステップであり、実数値を有する画像から複素画像を形成する別の実現方法を更に詳細に示すフローチャートである。
【図６】図３のステップのサブステップであり、実数値を有する画像から複素画像を形成する別の実現方法を更に詳細に示すフローチャートである。
【図７】図３のステップのサブステップであり、１つの複素画像の空間領域において平行移動の不変量である表現を形成する方法を更に詳細に示すフローチャートである。
【図８】図３のステップにおいて実行されるフーリエ−メリン相関を実行する方法を更に詳細に示すフローチャートである。
【図１】
2007520762.tif 000101
【図２】
2007520762.tif 000102
【図３】
2007520762.tif 000103
【図４】
2007520762.tif 000104
【図５】
2007520762.tif 000105
【図６】
2007520762.tif 000106
【図７】
2007520762.tif 000107
【図８】
2007520762.tif 000108
【国際調査報告】
2007520762.tif 000109
2007520762.tif 000110