(57)【要約】【課題】  ２つまたは３つ以上の次元の比較画像解析にとって有益な、より正確でローバストな相違の測定を達成する画像処理方法及び画像処理マシンを提供する。【解決手段】  各ピクセル近傍が第１の画像の共通のターゲットピクセル（４４）を取り囲む空間的にシフトした異なるピクセル近傍（３２、３４、３６、３８、４０）に対応する第１の画像の各組のピクセル値から、第１の組のピクセル近傍値（ＰＮＶ）を計算すること、各ピクセル近傍が第２の画像の共通のターゲットピクセル（４４）を取り囲む空間的にシフトした異なるピクセル近傍（３２、３４、３６、３８、４０）に対応する第２の画像の各組のピクセル値から、第２の組のＰＮＶを計算すること、第１及び第２の組の計算したＰＮＶに少なくとも部分的に基づいて相違度を計算すること、および計算した相違度をマシン可読媒体に記憶すること、を備える、マシン実施された画像処理方法とする。【選択図】          図２
2005339535.tif 000002
【特許請求の範囲】
【請求項１】
マシン実施された画像処理方法であって、
各ピクセル近傍が第１の画像の共通のターゲットピクセル（４４）を取り囲む空間的にシフトした異なるピクセル近傍（３２、３４、３６、３８、４０）に対応する前記第１の画像の各組のピクセル値から、第１の組のピクセル近傍値（ＰＮＶ）を計算すること、
各ピクセル近傍が第２の画像の共通のターゲットピクセル（４４）を取り囲む空間的にシフトした異なるピクセル近傍（３２、３４、３６、３８、４０）に対応する前記第２の画像の各組のピクセル値から、第２の組のＰＮＶを計算すること、
前記第１の組の計算したＰＮＶおよび前記第２の組の計算したＰＮＶに少なくとも部分的に基づいて相違度を計算すること、および、
前記計算した相違度をマシン可読媒体に記憶すること、
を備える、マシン実施された画像処理方法。
【請求項２】
前記相違度は、前記第１の画像および前記第２の画像の所与の座標軸に沿って空間的にシフトした異なる各ピクセル近傍（３２、３４、３６、３８、４０）に対応する各組のピクセル値から計算された第１の組のＰＮＶおよび第２の組のＰＮＶに少なくとも部分的に基づいて、前記所与の座標軸について計算される、請求項１に記載のマシン実施された画像処理方法。
【請求項３】
前記第１の画像および前記第２の画像のそれぞれに関して規定された第１の座標軸、第２の座標軸、および第３の座標軸（Ｘ，Ｙ，Ｚ；Ｘ，Ｙ，ｔ）のそれぞれについて各相違度を計算すること、をさらに含む、請求項２に記載のマシン実施された画像処理方法。
【請求項４】
前記第１の組のＰＮＶおよび前記第２の組のＰＮＶから、それぞれ第１の組の補間された近傍値（ＩＮＶ）および第２の組の補間された近傍値を計算すること、をさらに含む、請求項１に記載のマシン実施された画像処理方法。
【請求項５】
前記第１の画像の前記ターゲットピクセル（４４）について対称であるピクセル近傍（３２）のピクセル値から計算された前記第１の組のＩＮＶおよびＰＮＶは、第１の組のローカル値を形成し、前記第２の画像の前記ターゲットピクセル（４４）について対称であるピクセル近傍（３２）のピクセル値から計算された前記第２の組のＩＮＶおよびＰＮＶは、第２の組のローカル値を形成する、請求項４に記載のマシン実施された画像処理方法。
【請求項６】
前記相違度は、前記第１の組から選択されたローカル値と前記第２の組から選択されたローカル値との差分に少なくとも部分的に基づいて計算される、請求項５に記載のマシン実施された画像処理方法。
【請求項７】
前記相違度は、前記第１の組のローカル値および前記第２の組のローカル値の極値に少なくとも部分的に基づいて計算される、請求項５に記載のマシン実施された画像処理方法。
【請求項８】
前記相違度を計算することは、
前記第２の組のローカル値の極値と、前記第１の画像の前記ターゲットピクセル（４４）について空間的に対称であるピクセル近傍（３２）のピクセル値から計算されたＰＮＶとの間の第１の組の差分を計算すること、および
前記第１の組のローカル値の極値と、前記第２の画像の前記ターゲットピクセル（４４）について空間的に対称であるピクセル近傍（３２）のピクセル値から計算されたＰＮＶとの間の第２の組の差分を計算すること、
を含み、
前記計算した相違度は、前記計算した第１の組の差分および第２の組の差分の各最大値の最小のものに対応する、
請求項７に記載のマシン実施された画像処理方法。
【請求項９】
画像処理マシンであって、
各ピクセル近傍が第１の画像の共通のターゲットピクセル（４４）を取り囲む空間的にシフトした異なるピクセル近傍（３２、３４、３６、３８、４０）に対応する前記第１の画像の各組のピクセル値から、第１の組のピクセル近傍値（ＰＮＶ）を計算し、
各ピクセル近傍が第２の画像の共通のターゲットピクセル（４４）を取り囲む空間的にシフトした異なるピクセル近傍（３２、３４、３６、３８、４０）に対応する前記第２の画像の各組のピクセル値から、第２の組のＰＮＶを計算し、
前記第１の組の計算したＰＮＶおよび前記第２の組の計算したＰＮＶに少なくとも部分的に基づいて相違度を計算し、かつ、
前記計算した相違度をマシン可読媒体に記憶する、
ように動作可能な少なくとも１つのデータ処理モジュール（１４）を備える、画像処理マシン。
【請求項１０】
前記少なくとも１つのデータ処理モジュール（１４）は、前記第１の画像および前記第２の画像の所与の座標軸に沿って空間的にシフトした異なる各ピクセル近傍（３２、３４、３６、３８、４０）に対応する各組のピクセル値から計算された第１の組のＰＮＶおよび第２の組のＰＮＶに少なくとも部分的に基づいて、該所与の座標軸について前記相違度を計算するように動作可能である、請求項９に記載の画像処理マシン。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、相違度の計算に関する。
【背景技術】
【０００２】
相違度（measures of dissimilarity）は、多種多様な画像処理アプリケーションに使用される。画像マッチング、画像分類、画像セグメンテーション、および画像検索を含めて、さまざまなコンピュータビジョンのタスクで、相違度（dissimilarity measures）が頼りにされる。例えば、画像の相違度は、動き推定アルゴリズムおよび１対の立体視画像の対応するピクセルを照合するアルゴリズムに組み込まれてきた。
【０００３】
一般に、相違度は、２つのオブジェクトが互いに異なる程度を定量化するものである。通常、相違度は、オブジェクトを記述する特徴（またはパラメータ）から計算される。画像オブジェクト（または単に「画像」）について、同じシーンの異なる画像（例えば、１対の立体視画像または連続したビデオフレーム）の対応するピクセルは、通常、異なる値を有する。センサの利得、バイアス、雑音、奥行きの不連続性、およびサンプリング等の多くの要因が、同じシーンの異なる画像の対応するピクセル値間の相違に寄与する。
【０００４】
さまざまなピクセル相違度が提案されてきた。このようなピクセル相違度のいくつかは、利得、バイアス、雑音、および奥行きの不連続性を考慮しない。提案された或る１次元ピクセル相違度は、画像サンプリングを考慮しない。このピクセル相違度は、立体視対の左画像および右画像のピクセルを取り囲む線形補間された強度関数を使用する。詳細には、この手法は、立体視対の左画像のピクセルの強度が、当該立体視対の右画像のエピポーラ線に沿ったピクセルを取り囲む線形補間された領域にどれだけ良く適合するかを測定する。同様に、この手法は、右画像のピクセルの強度が、左画像の各ピクセルを取り囲む線形補間された領域にどれだけ良く適合しているかも測定する。これらピクセル間の相違は、２つの測定値の最小値として定義される。
【発明の開示】
【課題を解決するための手段】
【０００５】
この発明は、相違度を計算する方法、マシン、およびマシン可読媒体を特徴とする。
【０００６】
本発明の一態様では、第１の組のピクセル近傍値（ＰＮＶ）は、各ピクセル近傍が第１の画像の共通のターゲットピクセルを取り囲む空間的にシフトした異なるピクセル近傍に対応する第１の画像の各組のピクセル値から計算される。第２の組のＰＮＶは、各ピクセル近傍が第２の画像の共通のターゲットピクセルを取り囲む空間的にシフトした異なるピクセル近傍に対応する第２の画像の各組のピクセル値から計算される。相違度は、第１の組の計算したＰＮＶおよび第２の組の計算したＰＮＶに少なくとも部分的に基づいて計算される。計算した相違度はマシン可読媒体に記憶される。
【０００７】
この発明の他の特徴および利点は、図面および特許請求の範囲を含めて、以下の説明から明らかになる。
【発明を実施するための最良の形態】
【０００８】
以下の説明では、同じ参照番号が同じ要素を識別するために使用される。さらに、図面は、例示の実施の形態の主要な特徴を図的に例示するためのものである。図面は、実際の実施の形態のあらゆる特徴を示すためのものであるとは限らず、図示した要素の相対的な寸法を図示するためのものでもなく、一律の縮尺に従って描かれていない。
【０００９】
以下に詳細に説明する画像処理の実施の形態は、ピクセル近傍に基づいて計算される多次元相違度を組み入れる。これらの相違度は、ローカルな平滑度情報を保持し、それによって、保持しない場合に、ピクセルに関する相違測定手法に存在する雑音アーティファクトおよびサンプリングアーティファクトを削減する。このように、本明細書で説明するこれらの実施の形態は、２つまたは３つ以上の次元の比較画像解析にとって有益な、より正確でローバストな相違の測定を達成する。
【００１０】
図１は、１組の画像１２を処理するシステム１０の一実施の形態を示している。このシステム１０は、ピクセル相違測定モジュール１６を組み込んだ処理モジュール１４を含む。ピクセル相違測定モジュール１６は、画像セット１２から得られる入力値２０から相違度１８を計算する。これらの入力値は、セット１２の画像のピクセル値に対応することもあるし、セット１２の画像のピクセル値から導出された値に対応することもある。処理モジュール１４は、ピクセル相違測定モジュール１６によって計算される相違度１８に少なくとも部分的に依存する出力２２を生成する。例えば、いくつかの実施態様では、処理モジュール１４は、相違度１８に少なくとも部分的に基づいて画像対と画像対との間の動きベクトルの推定値を計算する。他の例示の実施態様では、処理モジュール１４は、画像分類、画像セグメンテーション、画像検索等の１つまたは２つ以上のコンピュータビジョンアルゴリズムに使用される相違度に基づくパラメータ値を計算する。
【００１１】
一般に、システム１０のモジュールは、どの特定のハードウェア構成にも、どの特定のソフトウェア構成にも限定されず、デジタル電子回路、またはコンピュータハードウェア、ファームウェア、デバイスドライバ、もしくはソフトウェアを含めて、あらゆる計算環境または処理環境で実施することができる。例えば、いくつかの実施態様では、デスクトップコンピュータおよびワークステーションコンピュータ、デジタルスチル画像カメラ、デジタルビデオカメラ、プリンタ、スキャナ、およびポータブル電子デバイス（例えば、携帯電話、ラップトップコンピュータおよびノードブックコンピュータ、ならびに個人情報端末）を含めて、多種多様なデジタル電子デバイスおよびアナログ電子デバイスのいずれか１つのハードウェアにこれらのモジュールを組み込むことができる。
【００１２】
画像セット１２は、画像センサが取り込んだ原画像セット（例えば、ビデオ画像シーケンスまたは静止画像シーケンス）に対応することもあるし、このような原画像セットを処理したものに対応することもある。例えば、画像セット１２は、画像センサが取り込んだ原画像セットから選択された画像をサンプリングしたものから成ることもあるし、画像センサが取り込んだ原画像セットを圧縮して解像度が削減されたものまたは解像度が向上したものから成ることもある。
【００１３】
図２は、ピクセル相違測定モジュール１６が相違度１８を計算する方法の一実施の形態を示している。この実施の形態によると、ピクセル相違測定モジュール１６は、第１の画像の各組のピクセル値から第１の組のピクセル近傍値（ＰＮＶ（pixel neighborhood value））を計算する（ブロック３０）。各組のピクセル値は、空間的にシフトした異なるピクセル近傍に対応する。これらの空間的にシフトした異なるピクセル近傍のそれぞれは、第１の画像の共通のターゲットピクセルを取り囲むものである。一般に、ピクセル近傍は、画像セット１２の画像から選択された１組の隣接するピクセルを含む。
【００１４】
いくつかの実施態様では、各ピクセル近傍は、セット１２の画像のｋ×ｋピクセルエリアから成る。ここで、ｋは２以上の整数値を有する。例えば、図３Ａ〜図３Ｅを参照して、一例示の実施態様では、各ピクセル近傍３２、３４、３６、３８、４０が、（「Ｘ」でマーキングした）ターゲットピクセル４４を取り囲む空間的にシフトしたウィンドウ４２内の各３×３ピクセルエリアに対応する。ピクセル近傍３２は、ターゲットピクセル４４に関して空間的に対称であり、他のピクセル近傍のそれぞれは、画像平面の各方向に１ピクセル分、空間的にシフトしている。詳細には、ピクセル近傍３４は、ピクセル近傍３２の左へ１ピクセル、空間的にシフトし、ピクセル近傍３６は、ピクセル近傍３２の右へ１ピクセル、空間的にシフトし、ピクセル近傍３８は、ピクセル近傍３２に対して上へ１ピクセル、空間的にシフトし、ピクセル近傍４０は、ピクセル近傍３２に対して下へ１ピクセル、空間的にシフトしている。
【００１５】
各ＰＮＶを計算するのに使用されるピクセル近傍の個数は予め決定される。いくつかの実施態様では、ピクセル近傍の個数は、ターゲットピクセルの周囲のピクセルの対称的なサンプリングを達成する近傍の個数である。例えば、図３Ａ〜図３Ｅに示す５つのピクセル近傍３２〜４０は、ターゲットピクセル４４の周囲のピクセルの対称的なサンプリングを達成するのに必要とされるものである。ピクセル近傍の個数、ウィンドウ４２のサイズ、およびウィンドウ４２をシフトする方向は、各ＰＮＶを計算するのに使用される異なる組のピクセル近傍を得るために変えることができる。例えば、一例示の実施態様では、図３Ａ〜図３Ｅに示す左方向、右方向、上方向、および下方向の代わりに、ウィンドウ４２の対角方向に沿ってウィンドウ４２をシフトすることができる。他の例示の実施態様では、各ピクセル近傍は、ターゲットピクセルを取り囲む空間的にシフトしたウィンドウ内の５×５ピクセルエリアから成る。このタイプの一実施態様では、５つのピクセル近傍がＰＮＶを計算するのに使用される。これら５つのピクセル近傍は、ターゲットピクセルについて対称である中央ピクセル近傍、ならびに、左方向、右方向、上方向、および下方向のそれぞれに１ピクセルまたは２ピクセルのいずれかだけシフトした４つのピクセル近傍に対応することができる。このタイプの別の実施態様では、９つのピクセル近傍がＰＮＶを計算するのに使用される。これら９つのピクセル近傍は、ターゲットピクセルについて対称である中央ピクセル近傍、ならびに、左方向、右方向、上方向、および下方向のそれぞれに１ピクセルおよび２ピクセルだけシフトした８つのピクセル近傍に対応することができる。
【００１６】
図４は、一例示の十字形近傍４６を示している。ＰＮＶを計算するのに使用できる１組の５つのピクセル近傍は、近傍４６、ならびに、図４に示す矢印によって示された左方向、右方向、上方向、および下方向のそれぞれに１ピクセル、近傍４６を空間的にシフトすることによって得られる４つの近傍から構成することができる。
【００１７】
いくつかの実施の形態では、各ＰＮＶＮ（ｕ，ｖ）は、対応するピクセル近傍Ｎ（ｕ，ｖ）のピクセル値ｐｉｊ（例えば、輝度値）の関数ｆ（）によって計算される。すなわち、
ＰＮＶＮ（ｕ，ｖ）＝ｆ（｛ｐｉｊ｝∀ｉ，ｊ∈Ｎ（ｕ，ｖ））                          （１）
ｕおよびｖの値は、近傍Ｎ（ｕ，ｖ）が基準近傍Ｎ（０，０）に対して左右軸および上下軸に沿ってシフトされるピクセル数をインデックスするものである。基準近傍Ｎ（０，０）は、ターゲットピクセルについて対称であるピクセル近傍とすることができる。いくつかの例示の実施態様では、各ＰＮＶＮ（ｕ，ｖ）は、対応するピクセル近傍Ｎ（ｕ，ｖ）のピクセル値ｐｉｊを合計することによって計算される。
【００１８】
【数１】
2005339535.tif 000003
【００１９】
他の実施態様では、各ＰＮＶＮ（ｕ，ｖ）は、対応するピクセル近傍Ｎ（ｕ，ｖ）のピクセル値ｐｉｊに演算子（Ｆ）を適用することによって計算される。
【００２０】
【数２】
2005339535.tif 000004
【００２１】
この演算子は、ボックスフィルタ、平均値フィルタ、中央値フィルタ、およびガウスフィルタを含めて、多種多様な異なるフィルタリング演算子に対応することができる。
【００２２】
図２に戻って、第１の組のＰＮＶが計算された後、ピクセル相違測定モジュール１６は、第２の画像の各組のピクセル値から第２の組のＰＮＶを計算する（ブロック５０）。各組のピクセル値は、空間的にシフトした異なるピクセル近傍に対応する。これらの空間的にシフトした異なるピクセル近傍のそれぞれは、第２の画像の共通のターゲットピクセルを取り囲むものである。ＰＮＶは、第１の組のＰＮＶが計算されるのと同じ方法で計算される。
【００２３】
ピクセル相違測定モジュール１６は、計算した第１の組のＰＮＶおよび第２の組のＰＮＶに少なくとも部分的に基づいて相違度を計算し（ブロック５２）、計算した相違度をマシン可読媒体に記憶する（ブロック５４）。
【００２４】
図５は、ピクセル相違測定モジュール１６が、計算した第１の組のＰＮＶおよび第２の組のＰＮＶに少なくとも部分的に基づいて相違度を計算する方法の一例示の実施態様を示している。
【００２５】
ピクセル相違測定モジュール１６は、第１の組のＰＮＶおよび第２の組のＰＮＶから、それぞれ第１の組の補間された近傍値（ＩＮＶ（interpolated neighborhood value））および第２の組のＩＮＶを計算する（ブロック５５）。一般に、ＩＮＶは、任意のタイプの線形補間もしくは非線形補間または曲線当てはめ技法を使用して計算することができる。一例示の実施態様では、所与の組のＩＮＶは、ターゲットピクセルについて対称である所与の近傍から計算されたＰＮＶと、この所与の近傍に対して空間的にシフトした近傍のピクセル値から計算されたＰＮＶのそれぞれとの間を線形補間することによって計算される。
【００２６】
例えば、図３Ａ〜図３Ｅに示す実施態様では、図２のブロック３０およびブロック５０において、次の組のＰＮＶ、すなわち｛ＰＮＶ（１）Ｎ（０，０），ＰＮＶ（１）Ｎ（−１，０），ＰＮＶ（１）Ｎ（１，０），ＰＮＶ（１）Ｎ（０，−１），ＰＮＶ（１）Ｎ（０，１）｝および｛ＰＮＶ（２）Ｎ（０，０），ＰＮＶ（２）Ｎ（−１，０），ＰＮＶ（２）Ｎ（１，０），ＰＮＶ（２）Ｎ（０，−１），ＰＮＶ（２）Ｎ（０，１）｝が計算される。ここで、上付き文字（１）は第１の画像を指し、上付き文字（２）は第２の画像を指す。一例示の実施態様では、ＩＮＶは、ＰＮＶを計算するのに使用されたピクセル値近傍の重心間の中間の空間位置における線形補間によって計算される。詳細には、図６を参照して、第１の画像のＩＮＶは以下の式によって計算される。
ＩＮＶ（１）（ｕ，ｖ）＝１／２（ＰＮＶ（１）Ｎ（０，０）＋ＰＮＶ（１）Ｎ（ｕ，ｖ））    （４）
同様に、第２の画像のＩＮＶは以下の式によって計算される。
ＩＮＶ（２）（ｕ，ｖ）＝１／２（ＰＮＶ（２）Ｎ（０，０）＋ＰＮＶ（２）Ｎ（ｕ，ｖ））    （５）
【００２７】
第１の画像のターゲットピクセルについて対称である近傍から計算された第１の組のＩＮＶおよびＰＮＶの和集合は、第１の組のローカル値（ＬＶ（１））を形成し、第２の画像のターゲットピクセルについて対称である近傍から計算された第２の組のＩＮＶおよびＰＮＶの和集合は、第２の組のローカル値（ＬＶ（２））を形成する。すなわち、
ＬＶ（１）（ｕ，ｖ）∈｛ＰＮＶ（１）Ｎ（０，０），ＩＮＶ（１）（ｕ，ｖ）｝  ∀ｕ，ｖ    （６）
ＬＶ（２）（ｕ，ｖ）∈｛ＰＮＶ（２）Ｎ（０，０），ＩＮＶ（２）（ｕ，ｖ）｝  ∀ｕ，ｖ    （７）
【００２８】
ピクセル相違測定モジュール１６は、第１の組のＬＶおよび第２の組のＬＶの極値を特定する（ブロック５６）。いくつかの実施態様では、これらの極値は、ターゲットピクセルに関して対称である中央ピクセル近傍に対してピクセル近傍をシフトする方向に対応する異なる各軸に沿って位置合わせされた計算したＬＶの各サブセットの最小値および最大値に対応する。
【００２９】
例えば、図３Ａ〜図３Ｅに示す実施態様では、次の組のＬＶ、すなわち｛ＰＮＶ（１）Ｎ（０，０），ＩＮＶ（１）（−１，０），ＩＮＶ（１）（１，０），ＩＮＶ（１）（０，−１），ＩＮＶ（１）（０，１）｝および｛ＰＮＶ（２）Ｎ（０，０），ＩＮＶ（２）（−１，０），ＩＮＶ（２）（１，０），ＩＮＶ（２）（０，−１），ＩＮＶ（２）（０，１）｝が計算される。ここで、上付き文字（１）は第１の画像を指し、上付き文字（２）は第２の画像を指す。ブロック５６において、ピクセル相違測定モジュール１６は、異なるシフト方向軸に対応する計算したＬＶのサブセットにおける極値を特定する。図３Ａ〜図３Ｅの例示の実施態様では、左右軸に沿った第１の画像のＬＶのサブセットは、｛ＰＮＶ（１）Ｎ（０，０），ＩＮＶ（１）（−１，０），ＩＮＶ（１）（１，０）｝であり、左右軸に沿った第２の画像のＬＶのサブセットは、｛ＰＮＶ（２）Ｎ（０，０），ＩＮＶ（２）（−１，０），ＩＮＶ（２）（１，０）｝である。上下軸に沿った第１の画像のＬＶのサブセットは、｛ＰＮＶ（１）Ｎ（０，０），ＩＮＶ（１）（０，−１），ＩＮＶ（１）（０，１）｝であり、上下軸に沿った第２の画像のＬＶのサブセットは、｛ＰＮＶ（２）Ｎ（０，０），ＩＮＶ（２）（０，−１），ＩＮＶ（２）（０，１）｝である。第１の画像（１）および第２の画像（２）の左右の極値（ＸＭＩＮ，ＸＭＡＸ）および上下の極値（ＹＭＩＮ，ＹＭＡＸ）は、以下のように定義される。
Ｘ（１）ＭＩＮ＝ｍｉｎ｛ＰＮＶ（１）Ｎ（０，０），ＩＮＶ（１）（−１，０），ＩＮＶ（１）（１，０）｝    （８）
Ｘ（１）ＭＡＸ＝ｍａｘ｛ＰＮＶ（１）Ｎ（０，０），ＩＮＶ（１）（−１，０），ＩＮＶ（１）（１，０）｝    （９）
Ｙ（１）ＭＩＮ＝ｍｉｎ｛ＰＮＶ（１）Ｎ（０，０），ＩＮＶ（１）（０，−１），ＩＮＶ（１）（０，１）｝    （１０）
Ｙ（１）ＭＡＸ＝ｍａｘ｛ＰＮＶ（１）Ｎ（０，０），ＩＮＶ（１）（０，−１），ＩＮＶ（１）（０，１）｝    （１１）
Ｘ（２）ＭＩＮ＝ｍｉｎ｛ＰＮＶ（２）Ｎ（０，０），ＩＮＶ（２）（−１，０），ＩＮＶ（２）（１，０）｝    （１２）
Ｘ（２）ＭＡＸ＝ｍａｘ｛ＰＮＶ（２）Ｎ（０，０），ＩＮＶ（２）（−１，０），ＩＮＶ（２）（１，０）｝    （１３）
Ｙ（２）ＭＩＮ＝ｍｉｎ｛ＰＮＶ（２）Ｎ（０，０），ＩＮＶ（２）（０，−１），ＩＮＶ（２）（０，１）｝    （１４）
Ｙ（２）ＭＡＸ＝ｍａｘ｛ＰＮＶ（２）Ｎ（０，０），ＩＮＶ（２）（０，−１），ＩＮＶ（２）（０，１）｝    （１５）
【００３０】
ピクセル相違測定モジュール１６は、第２の組のＬＶの極値と、第１の画像のターゲットピクセルについて空間的に対称であるピクセル近傍のピクセル値から計算されたＰＮＶとの間の第１の組の差分を計算する（ブロック５８）。シフト方向に対応する軸のそれぞれについて各組の差分が計算される。図３Ａ〜図３Ｅの例示の実施態様では、左右軸の第１の組の差分は、｛ＰＮＶ（１）Ｎ（０，０）−Ｘ（２）ＭＡＸ，Ｘ（２）ＭＩＮ−ＰＮＶ（１）Ｎ（０，０）｝であり、上下軸の第１の組の差分は、｛ＰＮＶ（１）Ｎ（０，０）−Ｙ（２）ＭＡＸ，Ｙ（２）ＭＩＮ−ＰＮＶ（１）Ｎ（０，０）｝である。
【００３１】
ピクセル相違測定モジュール１６は、第１の組のＬＶの極値と、第２の画像のターゲットピクセルについて空間的に対称であるピクセル近傍のピクセル値から計算されたＰＮＶとの間の第２の組の差分を計算する（ブロック６０）。図３Ａ〜図３Ｅの例示の実施態様では、左右軸の第２の組の差分は、｛ＰＮＶ（２）Ｎ（０，０）−Ｘ（１）ＭＡＸ，Ｘ（１）ＭＩＮ−ＰＮＶ（２）Ｎ（０，０）｝であり、上下軸の第２の組の差分は、｛ＰＮＶ（２）Ｎ（０，０）−Ｙ（１）ＭＡＸ，Ｙ（１）ＭＩＮ−ＰＮＶ（２）Ｎ（０，０）｝である。
【００３２】
ピクセル相違測定モジュール１６は、計算した第１の組の差分および第２の組の差分の各最大値の最小のものを相違度として選択する（ブロック６２）。この選択プロセスは各軸について行われる。図３Ａ〜図３Ｅの例示の実施態様では、左右軸の最大値
【００３３】
【数３】
2005339535.tif 000005
【００３４】
および
【００３５】
【数４】
2005339535.tif 000006
【００３６】
が次のように定義される。
【００３７】
【数５】
2005339535.tif 000007
【００３８】
これらの最大値の最小のものが、ピクセル相違測定モジュール１６により、左右相違度ΔＸとして選択される。すなわち、
【００３９】
【数６】
2005339535.tif 000008
【００４０】
同様に、上下軸の最大値
【００４１】
【数７】
2005339535.tif 000009
【００４２】
および
【００４３】
【数８】
2005339535.tif 000010
【００４４】
が、次のように定義される。
【００４５】
【数９】
2005339535.tif 000011
【００４６】
これらの最大値の最小のものが、ピクセル相違測定モジュール１６により、上下相違度ΔＹとして選択される。すなわち、
【００４７】
【数１０】
2005339535.tif 000012
【００４８】
システム１０のいくつかの実施態様では、この結果の多次元相違度ΔＸ、ΔＹは、第１の画像のターゲットピクセルと第２の画像のターゲットピクセルとの間の相違を表すのに使用される。システム１０の他の実施態様では、多次元相違度ΔＸ、ΔＹは、第１の画像のターゲットピクセルを中心としたピクセル近傍と第２の画像のターゲットピクセルを中心としたピクセル近傍との間の相違を表すのに使用される。
【００４９】
上記で詳細に説明した実施の形態は、３次元以上に拡張することができる。例えば、３次元（例えば、３つの空間座標軸を有する画像、または、２つの空間座標軸および１つの時間座標軸を有する画像）でパラメータ化された画像については、次のように相違度を計算することができる。この手法では、第３の次元（例えば、垂直Ｚ軸、または、時間ｔ軸）に沿ってシフトしたピクセル近傍用に、さらに極値項（例えば、ＺＭＩＮ、ＺＭＡＸ、または、ｔＭＩＮ、ｔＭＡＸ）が追加され、各軸について各相違度が計算される。例えば、垂直軸Ｚの最大値
【００５０】
【数１１】
2005339535.tif 000013
【００５１】
および
【００５２】
【数１２】
2005339535.tif 000014
【００５３】
は、次のように定義される。
【００５４】
【数１３】
2005339535.tif 000015
【００５５】
ここで、ＰＮＶ（１）Ｎ（０，０，０）は、第１の画像のターゲットピクセルについて対称である近傍Ｎ（Ｘ，Ｙ，Ｚ）＝Ｎ（０，０，０）について計算されたピクセル近傍値であり、ＰＮＶ（２）Ｎ（０，０，０）は、第２の画像のターゲットピクセルについて対称である近傍Ｎ（０，０，０）について計算されたピクセル近傍値である。これらの最大値の最小のものが、ピクセル相違測定モジュール１６により、垂直相違度ΔＺとして選択される。すなわち、
【００５６】
【数１４】
2005339535.tif 000016
【００５７】
この手法は、任意の個数のパラメータ次元の追加にも同様に拡張することができる。
【００５８】
他の実施の形態は特許請求の範囲の範囲内に含まれる。
【００５９】
本明細書で説明したシステムおよび方法は、どの特定のハードウェア構成にもどの特定のソフトウェア構成にも限定されるものではなく、デジタル電子回路機構、または、コンピュータハードウェア、コンピュータファームウェア、もしくはコンピュータソフトウェアを含めて任意の計算環境または処理環境で実施することができる。一般に、システムは、コンピュータプロセッサによる実行のために、マシン可読記憶デバイスに有形に具現化されたコンピュータプロセス製品に部分的に実施することができる。いくつかの実施の形態では、これらのシステムは、高水準の手続処理言語またはオブジェクト指向処理言語で実施されることが好ましい。しかしながら、これらのアルゴリズムは、必要に応じて、アセンブリ言語またはマシン言語で実施することもできる。いずれにしても、処理言語は、コンパイラ言語であってもよいし、インタプリタ言語であってもよい。本明細書で説明した方法は、例えば、入力データに対して操作を行って出力を生成することによりこれらの方法を実行するプロセスモジュールに編成されたコンピュータプロセッサ実行命令によって実行することができる。適切なプロセッサには、例えば、汎用マイクロプロセッサおよび専用マイクロプロセッサの双方が含まれる。一般に、プロセッサは、読み出し専用メモリおよび／またはランダムアクセスメモリから命令およびデータを受け取る。コンピュータプロセス命令を有形に具現化するのに適した記憶デバイスには、例えば、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリデバイス等の半導体メモリデバイス；内部ハードディスクやリムーバブルディスク等の磁気ディスク；磁気光ディスク；およびＣＤ−ＲＯＭを含めて、あらゆる形式の不揮発性メモリが含まれる。上記技術のいずれも、専用に設計されたＡＳＩＣ（特定用途向け集積回路）によって補完することもできるし、当該ＡＳＩＣに組み込むこともできる。
【図面の簡単な説明】
【００６０】
【図１】画像セットから相違度を計算するように構成されたピクセル相違測定モジュールの一実施の形態を含む画像処理システムの処理モジュールのブロック図である。
【図２】相違度を計算する方法の一実施の形態のフロー図である。
【図３Ａ】異なるピクセル近傍のそれぞれが画像の共通のターゲットピクセルを取り囲む当該異なるピクセル近傍の模式図である。
【図３Ｂ】異なるピクセル近傍のそれぞれが画像の共通のターゲットピクセルを取り囲む当該異なるピクセル近傍の模式図である。
【図３Ｃ】異なるピクセル近傍のそれぞれが画像の共通のターゲットピクセルを取り囲む当該異なるピクセル近傍の模式図である。
【図３Ｄ】異なるピクセル近傍のそれぞれが画像の共通のターゲットピクセルを取り囲む当該異なるピクセル近傍の模式図である。
【図３Ｅ】異なるピクセル近傍のそれぞれが画像の共通のターゲットピクセルを取り囲む当該異なるピクセル近傍の模式図である。
【図４】画像のターゲットピクセルの例示の十字形ピクセル近傍の模式図である。
【図５】図２に示す相違度計算方法の一実施態様のフロー図である。
【図６】１組のピクセル近傍値（ＰＮＶ）、および当該１組のＰＮＶから導出された１組の補間された近傍値（ＩＮＶ）の模式図である。
【符号の説明】
【００６１】
１０  システム
１２  画像セット
１４  処理モジュール
１６  ピクセル相違測定モジュール
１８  相違度
２０  入力値
２２  出力
３２，３４，３６，３８，４０  ピクセル近傍
４２  ウィンドウ
４４  ターゲットピクセル
４６  十字形近傍
【図１】
2005339535.tif 000017
【図２】
2005339535.tif 000018
【図３Ａ】
2005339535.tif 000019
【図３Ｂ】
2005339535.tif 000020
【図３Ｃ】
2005339535.tif 000021
【図３Ｄ】
2005339535.tif 000022
【図３Ｅ】
2005339535.tif 000023
【図４】
2005339535.tif 000024
【図５】
2005339535.tif 000025
【図６】
2005339535.tif 000026