(57)【要約】【課題】カラー画像の位置ずれ量の検出精度を向上することができる画像処理装置、画像処理方法、及び画像処理プログラムを提供する。【解決手段】カラーチャンネル分解処理部２０は、第１画像及び第２画像からグレースケール画像を生成する。フーリエ変換処理部２２は、第１画像及び第２画像の各カラーチャンネル画像に対してフーリエ変換を行い周波数成分画像を生成する。第１画像及び第２画像の周波数成分画像の組からカラーチャンネル毎に、正規化相互パワースペクトル計算部２４は、正規化相互パワースペクトルを計算し、重み係数算出部２６は、重み係数を算出する。正規化相互パワースペクトル加重平均処理部２８は、カラーチャンネル毎の重み係数を用いて加重平均した正規化相互パワースペクトルを算出する。加重平均した正規化相互パワースペクトルを逆フーリエ変換し、位相限定相関関数を求め、そのピーク位置から画像の位置ずれ量を算出する。【選択図】図１
2016005098.tif 000002
【特許請求の範囲】
【請求項１】
入力されたカラーチャンネル数Ｃの第１画像、及び入力されたカラーチャンネル数Ｃの第２画像の各々から得られる各カラーチャンネルの画像に対して、フーリエ変換を行い、各カラーチャンネルについて、前記第１画像及び前記第２画像の各々に対する前記カラーチャンネルの周波数成分画像を生成するフーリエ変換処理部と、
前記第１画像の前記周波数成分画像及び前記第２画像の前記周波数成分画像の組から、前記カラーチャンネル毎に正規化相互パワースペクトルを計算する正規化相互パワースペクトル計算部と、
前記第１画像の前記周波数成分画像及び前記第２画像の前記周波数成分画像の組から、前記カラーチャンネル毎に重み係数を算出する重み係数算出部と、
前記カラーチャンネル毎に、前記正規化相互パワースペクトル計算部で計算した各カラーチャンネルの正規化相互パワースペクトルを、前記重み係数算出部で算出した前記カラーチャンネル毎の重み係数を用いて加重平均した正規化相互パワースペクトルを算出する正規化相互パワースペクトル加重平均処理部と、
を備えた、画像処理装置。
【請求項２】
前記重み係数算出部は、前記第１画像の前記周波数成分画像及び前記第２画像の前記周波数成分画像の組から、前記カラーチャンネル毎の相互パワースペクトルのエネルギーを用いて重み係数を計算する、
請求項１に記載の画像処理装置。
【請求項３】
前記重み係数算出部が、カラーチャンネルｉについて、以下の（Ｉ）式に示す重み関数ｗi（ｋ１、ｋ２）より、カラーチャンネルｉにおける重み係数を計算する、請求項２に記載の画像処理装置。
【数１】
2016005098.tif 000018
ただし、ｐｉ（ｋ１，ｋ２）は、カラーチャンネルｉにおける相互パワースペクトルのエネルギーであり、Ｆｉ（ｋ１，ｋ２）は、前記第１画像のカラーチャンネルｉの周波数成分画像であり、Ｇｉ（ｋ１，ｋ２）は、前記第２画像のカラーチャンネルｉの周波数成分である。
【請求項４】
前記第１画像及び前記第２画像の各々から得られる各カラーチャンネルの画像について、画像の特徴量を計算する画像特徴量計算部と、
前記画像特徴量計算部により前記第１画像及び前記第２画像の各々から得られる各カラーチャンネルの画像について計算された前記画像の特徴量に基づいて、前記カラーチャンネル数Ｃのカラーチャンネルのうちの少なくとも１つのカラーチャンネルに対する、前記第１画像及び前記第２画像の各々から得られるカラーチャンネルの画像を選択する画像選択部と、
を更に備え、
前記フーリエ変換処理部は、前記画像選択部により選択された前記少なくとも１つのカラーチャンネルに対する、前記第１画像及び前記第２画像の各々から得られる前記カラーチャンネルの画像に対して、フーリエ変換を行い、前記周波数成分画像を生成し、
前記正規化相互パワースペクトル計算部は、前記少なくとも１つのカラーチャンネルについて、カラーチャンネル毎に正規化相互パワースペクトルを計算し、
前記重み係数算出部は、前記少なくとも１つのカラーチャンネルについて、カラーチャンネル毎に重み係数を算出する、
請求項１から請求項３のいずれか１項に記載の画像処理装置。
【請求項５】
前記正規化相互パワースペクトル計算部で計算した正規化相互パワースペクトル、及び前記重み係数計算部で算出した重み係数から、予め定められた選択基準に基づいて、少なくとも１つのカラーチャネルについて計算したカラーチャンネル毎の正規化相互パワースペクトル及びカラーチャンネル毎の重み係数を選択する正規化相互パワースペクトル選択部を更に備え、
前記正規化相互パワースペクトル加重平均処理部は、前記正規化相互パワースペクトル選択部で選択された少なくとも１つのカラーチャネルについて計算したカラーチャンネル毎の正規化相互パワースペクトル及びカラーチャンネル毎の重み係数を用いて、各カラーチャンネルの正規化相互パワースペクトルの加重平均を算出する、
請求項１から請求項４のいずれか１項に記載の画像処理装置。
【請求項６】
入力された前記第１画像及び前記第２画像の色空間を変換する色空間変換処理部を更に備え、
前記フーリエ変換処理部は、前記色空間変換処理部により色空間が変換された前記第１画像及び前記第２画像の各々から得られる各カラーチャンネルの画像に対して、フーリエ変換を行い、前記周波数成分画像を生成する、
請求項１から請求項４のいずれか１項に記載の画像処理装置。
【請求項７】
フーリエ変換処理部により、入力されたカラーチャンネル数Ｃの第１画像、及び入力されたカラーチャンネル数Ｃの第２画像の各々から得られる各カラーチャンネルの画像に対して、フーリエ変換を行い、各カラーチャンネルについて、前記第１画像及び前記第２画像の各々に対する前記カラーチャンネルの周波数成分画像を生成するステップと、
正規化相互パワースペクトル計算部により、前記第１画像の前記周波数成分画像及び前記第２画像の前記周波数成分画像の組から、前記カラーチャンネル毎に正規化相互パワースペクトルを計算するステップと、
重み係数算出部により、前記第１画像の前記周波数成分画像及び前記第２画像の前記周波数成分画像の組から、前記カラーチャンネル毎に重み係数を算出するステップと、
正規化相互パワースペクトル加重平均処理部により、前記カラーチャンネル毎に、前記正規化相互パワースペクトル計算部で計算した各カラーチャンネルの正規化相互パワースペクトルを、前記重み係数算出部で算出した前記カラーチャンネル毎の重み係数を用いて加重平均した正規化相互パワースペクトルを算出するステップと、
を備えた、画像処理方法。
【請求項８】
コンピュータを、請求項１から請求項６の何れか１項に記載の画像処理装置の各部として機能させるための画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、及び画像処理プログラムに関する。
【背景技術】
【０００２】
画像の位相情報を用いた画像マッチング方法として、位相限定相関関数（ＰＯＣ関数）を用いた技術である位相限定相関法が知られている。位相限定相関法として、非特許文献１に記載された技術が知られている。
【０００３】
位相限定相関法では、２枚の画像それぞれに対し二次元離散フーリエ変換を施し、両画像の計算結果から正規化相互パワースペクトルを求める。さらに、正規化相互パワースペクトルの二次元逆フーリエ変換を位相限定相関関数（ＰＯＣ関数）と定義し、ＰＯＣ関数の相関ピーク値の座標から、２枚の画像の相対的な位置ずれ量を求める。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】「位相限定相関法に基づく高精度マシンビジョン  −ピクセル分解能の壁を越える画像センシング技術を目指して-」、青木孝文、伊藤康一、柴原琢磨、長嶋聖、Fundamentals Review, Vol.1, No.1, pp.30-40, 2007
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記非特許文献１のように位相限定相関法は、グレースケールの画像に対する手法であり、カラー画像が入力の場合でも、カラー画像をグレースケール画像に変換した後に位相限定相関法を適用している。そのため、画像自体が有している色情報が活用されておらず、本来得られる画像の位置ずれ量の検出精度よりも性能が低下している。特にマルチバンド画像（マルチスペクトル画像、ハイパースペクトル画像、マルチチャンネル画像、及び分光画像等も含む）のように、各バンド（カラーチャンネル）の分光感度特性の違いにより画質が悪い画像が混在している場合には、マルチバンド画像をグレースケール画像化することでマッチングの精度に影響を及ぼす場合がある。
【０００６】
本発明は上記問題点を考慮してなされたものであり、カラー画像の位置ずれ量の検出精度を向上することができる画像処理装置、画像処理方法、及び画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本発明の画像処理装置は、入力されたカラーチャンネル数Ｃの第１画像、及び入力されたカラーチャンネル数Ｃの第２画像の各々から得られる各カラーチャンネルの画像に対して、フーリエ変換を行い、各カラーチャンネルについて、前記第１画像及び前記第２画像の各々に対する前記カラーチャンネルの周波数成分画像を生成するフーリエ変換処理部と、前記第１画像の前記周波数成分画像及び前記第２画像の前記周波数成分画像の組から、前記カラーチャンネル毎に正規化相互パワースペクトルを計算する正規化相互パワースペクトル計算部と、前記第１画像の前記周波数成分画像及び前記第２画像の前記周波数成分画像の組から、前記カラーチャンネル毎に重み係数を算出する重み係数算出部と、前記カラーチャンネル毎に、前記正規化相互パワースペクトル計算部で計算した各カラーチャンネルの正規化相互パワースペクトルを、前記重み係数算出部で算出した前記カラーチャンネル毎の重み係数を用いて加重平均した正規化相互パワースペクトルを算出する正規化相互パワースペクトル加重平均処理部と、を備える。
【０００８】
また、本発明の画像処理装置の前記重み係数算出部は、前記第１画像の前記周波数成分画像及び前記第２画像の前記周波数成分画像の組から、前記カラーチャンネル毎の相互パワースペクトルのエネルギーを用いて重み係数を計算することができる。
【０００９】
また、本発明の画像処理装置は、前記重み係数算出部が、カラーチャンネルｉについて、以下の（Ｉ）式に示す重み関数ｗi（ｋ１、ｋ２）より、カラーチャンネルｉにおける重み係数を計算するようにすることができる。
【００１０】
【数１】
2016005098.tif 000003
【００１１】
ただし、ｐｉ（ｋ１，ｋ２）は、カラーチャンネルｉにおける相互パワースペクトルのエネルギーであり、Ｆｉ（ｋ１，ｋ２）は、前記第１画像のカラーチャンネルｉの周波数成分画像であり、Ｇｉ（ｋ１，ｋ２）は、前記第２画像のカラーチャンネルｉの周波数成分画像である。
【００１２】
また、本発明の画像処理装置は、前記第１画像及び前記第２画像の各々から得られる各カラーチャンネルの画像について、画像の特徴量を計算する画像特徴量計算部と、前記画像特徴量計算部により前記第１画像及び前記第２画像の各々から得られる各カラーチャンネルの画像について計算された前記画像の特徴量に基づいて、前記カラーチャンネル数Ｃのカラーチャンネルのうちの少なくとも１つのカラーチャンネルに対する、前記第１画像及び前記第２画像の各々から得られるカラーチャンネルの画像を選択する画像選択部と、を更に備え、前記フーリエ変換処理部は、前記画像選択部により選択された前記少なくとも１つのカラーチャンネルに対する、前記第１画像及び前記第２画像の各々から得られる前記カラーチャンネルの画像に対して、フーリエ変換を行い、前記周波数成分画像を生成し、前記正規化相互パワースペクトル計算部は、前記少なくとも１つのカラーチャンネルについて、カラーチャンネル毎に正規化相互パワースペクトルを計算し、前記重み係数算出部は、前記少なくとも１つのカラーチャンネルについて、カラーチャンネル毎に重み係数を算出するようにすることができる。
【００１３】
また、本発明の画像処理装置は、前記正規化相互パワースペクトル計算部で計算した正規化相互パワースペクトル、及び前記重み係数計算部で算出した重み係数から、予め定められた選択基準に基づいて、少なくとも１つのカラーチャネルについて計算したカラーチャンネル毎の正規化相互パワースペクトル及びカラーチャンネル毎の重み係数を選択する正規化相互パワースペクトル選択部を更に備え、前記正規化相互パワースペクトル加重平均処理部は、前記正規化相互パワースペクトル選択部で選択された少なくとも１つのカラーチャネルについて計算したカラーチャンネル毎の正規化相互パワースペクトル及びカラーチャンネル毎の重み係数を用いて、各カラーチャンネルの正規化相互パワースペクトルの加重平均を算出するようにすることができる。
【００１４】
また、本発明の画像処理装置は、入力された前記第１画像及び前記第２画像の色空間を変換する色空間変換処理部を更に備え、前記フーリエ変換処理部は、前記色空間変換処理部により色空間が変換された前記第１画像及び前記第２画像の各々から得られる各カラーチャンネルの画像に対して、フーリエ変換を行い、前記周波数成分画像を生成することができる。
【００１５】
また、本発明の画像処理方法は、フーリエ変換処理部により、入力されたカラーチャンネル数Ｃの第１画像、及び入力されたカラーチャンネル数Ｃの第２画像の各々から得られる各カラーチャンネルの画像に対して、フーリエ変換を行い、各カラーチャンネルについて、前記第１画像及び前記第２画像の各々に対する前記カラーチャンネルの周波数成分画像を生成するステップと、正規化相互パワースペクトル計算部により、前記第１画像の前記周波数成分画像及び前記第２画像の前記周波数成分画像の組から、前記カラーチャンネル毎に正規化相互パワースペクトルを計算するステップと、重み係数算出部により、前記第１画像の前記周波数成分画像及び前記第２画像の前記周波数成分画像の組から、前記カラーチャンネル毎に重み係数を算出するステップと、正規化相互パワースペクトル加重平均処理部により、前記カラーチャンネル毎に、前記正規化相互パワースペクトル計算部で計算した各カラーチャンネルの正規化相互パワースペクトルを、前記重み係数算出部で算出した前記カラーチャンネル毎の重み係数を用いて加重平均した正規化相互パワースペクトルを算出するステップと、を備える。
【００１６】
また、本発明の画像処理プログラムは、コンピュータを、本発明の画像処理装置の各部として機能させるためのものである。
【発明の効果】
【００１７】
本発明の画像処理装置、画像処理方法、及び画像処理プログラムによれば、カラー画像の位置ずれ量の検出精度を向上することができる、という効果が得られる。
【図面の簡単な説明】
【００１８】
【図１】第１の実施の形態の画像処理システム（画像処理装置）の概略構成の一例を示す構成図である。
【図２】入力画像について説明するための説明図である。
【図３】入力画像について説明するための説明図である。
【図４】第１の実施の形態における画像処理の流れの一例を示すフローチャートである。
【図５】第２の実施の形態の画像処理システム（画像処理装置）の概略構成の一例を示す構成図である。
【図６】第２の実施の形態における画像処理の流れの一例を示すフローチャートである。
【図７】実施例２−１の画像処理装置の概略構成の一例の一部を示す構成図である。
【図８】実施例２−２の画像処理装置の概略構成の一例の一部を示す構成図である。
【図９】第３の実施の形態の画像処理システム（画像処理装置）の概略構成の一例を示す構成図である。
【図１０】第３の実施の形態における画像処理の流れの一例を示すフローチャートである。
【図１１】第２の実施の形態と第３の実施の形態とを組合せた場合の画像処理システム（画像処理装置）の一例の構成図である。
【図１２】第４の実施の形態の画像処理システム（画像処理装置）の概略構成の一例を示す構成図である。
【図１３】第４の実施の形態における画像処理の流れの一例を示すフローチャートである。
【図１４】第２の実施の形態と第４の実施の形態とを組合せた場合の画像処理システム（画像処理装置）の一例の構成図である。
【図１５】第３−１の実施の形態の画像処理システム（画像処理装置）の概略構成の一例を示す構成図である。
【図１６】第３−２の実施の形態の画像処理システム（画像処理装置）の概略構成の一例を示す構成図である。
【発明を実施するための形態】
【００１９】
以下、図面を参照して本発明の実施の形態を詳細に説明する。なお、本実施の形態は本発明を限定するものではない。本実施の形態の画像処理システム及び画像処理装置は、基準画像（第１画像）と参照画像（第２画像）との画像マッチングのために、第１画像と第２画像との位置ずれ量を出力する機能を有するものである。なお、第１画像及び第２画像を総称する場合は、単に「入力画像」という場合がある。
【００２０】
（第１の実施の形態）
図１には、本実施の形態の画像処理装置１０を備えた画像処理システム１の概略構成の一例を示す構成図である。
【００２１】
本実施の形態の画像処理システム１は、画像処理装置１０、逆フーリエ変換処理部１２、及び位置ずれ量検出部１４を備える。画像処理装置１０は、カラーチャンネル分解処理部２０（２０Ａ、２０Ｂ）、フーリエ変換処理部２２（２２Ａ１〜２２ＡＣ、２２Ｂ１〜２２ＢＣ）、正規化相互パワースペクトル計算部２４（２４１〜２４Ｃ）、重み係数算出部２６（２４１〜２４Ｃ）、及び正規化相互パワースペクトル加重平均処理部２８を備える。
【００２２】
なお、画像処理システム１（画像処理装置１０）におけるこれらの各処理部は、ＣＰＵ（Central  Processing  Unit）、ＲＡＭ（Random  Access  Memory）、及びＲＯＭ（Read  Only  Memory）等を備えたコンピュータにより実現されており、ＣＰＵが、ＲＯＭに記憶されているプログラムを実行することにより、各処理部における詳細を後述する処理が実行される。なお、処理の一部をＧＰＵ（Graphics  Processing  Unit）上に実装してもよい。
【００２３】
本実施の形態の画像処理装置１０（画像処理システム１）には、基準画像であるカラーチャンネル数がＣの第１画像、及び参照画像であるカラーチャンネル数がＣの第２画像が入力される。カラーチャンネル数は、任意である。具体例として、入力画像がＲＧＢ画像の場合は、カラーチャンネル数は「３」（Ｃ＝３）になる。なお、第１画像と第２画像とは、同じ分光感度特性を有する撮影装置で撮影され、カラーチャンネル数は同じである。
【００２４】
また、入力画像の種類は特に限定されず、例えば、実写画像であってもよいし、コンピュータグラフィックスであってもよい。また、例えば、図２に一例を示したＲＧＢカメラ等のカメラを使用し、当該カメラにより撮影された画像を入力画像としてもよい。また例えば、白黒カメラ、及び複数のカラーフィルタ（例えば、バンドパスフィルタ）を使用し、カラーフィルタ毎に画像を撮影し、カラーフィルタの数に応じたカラーチャンネル数の画像を得、得られた画像を入力画像としてもよい。また例えば、白黒カメラ、及び図３に一例を示した内蔵された複数のカラーフィルタを順次変更しながら被写体に、カラーフィルタに応じた色の光を照射する光源を使用し、カラーフィルタ毎に画像を撮影し、カラーフィルタの数に応じたカラーチャンネル数の画像を得、得られた画像を入力画像としてもよい。さらに例えば、二次元の空間情報とハイパースペクトル情報とを取得できるハイパースペクトルカメラ（もしくは、マルチスペクトルカメラ及びマルチバンドカメラ）を用いて、スペクトルの数に応じた画像を得、得られた画像を入力画像としてもよい。
【００２５】
さらに、入力画像の入力方法も、特に限定されるものではない。例えば、上述のようにカメラを使用して撮影された画像を入力画像とする場合は、当該カメラから直接、画像処理装置１０に入力されるようにしてもよい。また例えば、画像記憶装置等の外部装置（図示省略）などに記憶されている画像を入力画像とし、当該外部装置から入力されるようにしてもよい。
【００２６】
カラーチャンネル分解処理部２０（２０Ａ、２０Ｂ）は、入力画像毎に設けられている。カラーチャンネル分解処理部２０Ａには、カラーチャンネル数がＣの第１画像が入力される。また、カラーチャンネル分解処理部２０Ｂには、カラーチャンネル数がＣの第２画像が入力される。なお、以下では、カラーチャンネル分解処理部２０Ａ及びカラーチャンネル分解処理部２０Ｂを総称する場合は、個々を示す符合（Ａ、Ｂ）を付さずにいう。カラーチャンネル分解処理部２０は、カラーチャンネル毎に、入力画像からグレースケール画像を生成する機能を有する。そのため、カラーチャンネル分解処理部２０は、カラーチャンネル数に応じた数（Ｃ）のグレースケール画像が生成される。カラーチャンネル分解処理部２０からは、カラーチャンネルの数に応じた枚数（Ｃ枚）のグレースケール画像（図１、画像１〜画像Ｃ、画像１‘〜画像Ｃ’参照）が出力される。
【００２７】
フーリエ変換処理部２２（２２Ａ１〜２２ＡＣ、２２Ｂ１〜２２ＢＣ）は、カラーチャンネル分解処理部２０で生成されたグレースケール画像毎に設けられている。フーリエ変換処理部２２Ａ１〜２２ＡＣの各々には、画像１〜画像Ｃが入力される。同様に、フーリエ変換処理部２２Ｂ１〜２２ＢＣの各々には、画像１‘〜画像Ｃ’が入力される。なお、以下では、フーリエ変換処理部２２Ａ１〜２２ＡＣ、２２Ｂ１〜２２ＢＣを総称する場合は、個々を示す符合（Ａ１〜ＡＣ、Ｂ１〜ＢＣ）を付さずにいう。
【００２８】
フーリエ変換処理部２２は、入力されたグレースケール画像に対して、空間方向の離散フーリエ変換を行い、周波数成分画像を生成する機能を有する。本実施の形態のフーリエ変換方法の具体例を示す。
【００２９】
カラーチャンネルのインデックスをｉ＝１、・・・、Ｃ（Ｃ：カラーチャンネル数、ＲＧＢ画像の場合は「３」）とする。第１画像ｆｉ（ｎ１，ｎ２）が、Ｎ１×Ｎ２の画素数からなり、第２画像ｇｉ（ｎ１，ｎ２）が、Ｎ１×Ｎ２の画素数からなり、その座標系をｎ１＝−Ｍ１，・・・，Ｍ１、ｎ２＝−Ｍ２，・・・，Ｍ２とすると、Ｎ１＝２Ｍ１＋１，Ｎ２＝２Ｍ２＋１と表される。第１画像及び第２画像に対して、二次元離散フーリエ変換を行った結果、カラーチャネルｉ毎に得られる周波数成分画像をＦｉ（ｋ１，ｋ２）及びＧｉ（ｋ１，ｋ２）とすると、各々、下記（１）式及び（２）式で表すことができる。
【００３０】
【数２】
2016005098.tif 000004
【００３１】
【数３】
2016005098.tif 000005
【００３２】
なお、上記（１）式及び（２）式において、ｋ１、ｋ２、ＷＮ１、ＷＮ２は、下記（３）式で定義される。
【００３３】
【数４】
2016005098.tif 000006
【００３４】
さらに、上記（１）式及び（２）式における演算子
【００３５】
【数５】
2016005098.tif 000007
は、下記（４）式のように表される。
【００３６】
【数６】
2016005098.tif 000008
【００３７】
また、ＡＦｉ（ｋ１，ｋ２）及びＡｇｉ（ｋ１，ｋ２）は振幅成分を表す。さらに、位相成分は、下記（５）式で表される。
【００３８】
【数７】
2016005098.tif 000009
【００３９】
フーリエ変換処理部２２は、入力されたグレースケール画像の周波数成分画像を出力する。
【００４０】
正規化相互パワースペクトル計算部２４（２４１〜２４Ｃ）は、カラーチャンネル毎に設けられている。すなわち、本実施の形態の画像処理装置１０では、Ｃ個の正規化相互パワースペクトル計算部２４（２４１〜２４Ｃ）が設けられている。なお、以下では、正規化相互パワースペクトル計算部２４（２４１〜２４Ｃ）を総称する場合は、個々を示す符合（１〜Ｃ）を付さずにいう。正規化相互パワースペクトル計算部２４には、第１画像及び第２画像の同一カラーチャンネルに対応した周波数成分画像が入力される。
【００４１】
正規化相互パワースペクトル計算部２４は、入力された１組の第１画像の周波数成分画像及び第２画像の周波数成分画像に基づいて、カラーチャンネル毎に正規化相互パワースペクトルを計算する機能を有する。本実施の形態の正規化相互パワースペクトルの計算方法の具体例を示す。
【００４２】
カラーチャンネルｉの周波数成分画像Ｆｉ（ｋ１，ｋ２）及びＧｉ（ｋ１，ｋ２）の相互パワースペクトルＲｉ（ｋ１，ｋ２）は、下記（６）式で与えられる。
【００４３】
【数８】
2016005098.tif 000010
【００４４】
上記（６）式において、Ｇｉ（ｋ１，ｋ２）の複素共役は、下記（７）式で表される。
【００４５】
【数９】
2016005098.tif 000011
【００４６】
さらに、θ（ｋ１，ｋ２）は、θ（ｋ１，ｋ２）＝θＦｉ（ｋ１，ｋ２）−θＧｉ（ｋ１，ｋ２）を表す。そして、カラーチャンネルｉの周波数成分画像Ｆｉ（ｋ１，ｋ２）及びＧｉ（ｋ１，ｋ２）の正規化相互パワースペクトルは、下記（８）式で定義される。
【００４７】
【数１０】
2016005098.tif 000012
【００４８】
正規化相互パワースペクトル計算部２４は、カラーチャンネル毎に計算した正規化相互パワースペクトル、及び入力された周波数成分画像を出力する。
【００４９】
重み係数算出部２６（２５１〜２５Ｃ）は、カラーチャンネル毎に設けられている。すなわち、本実施の形態の画像処理装置１０では、Ｃ個の重み係数算出部２６（２６１〜２６Ｃ）が設けられている。なお、以下では、重み係数算出部２６（２６１〜２６Ｃ）を総称する場合は、個々を示す符合（１〜Ｃ）を付さずにいう。重み係数算出部２６には、第１画像及び第２画像の同一カラーチャンネルに対応した周波数成分画像及び正規化相互パワースペクトル計算部２４から出力されたカラーチャンネル毎の正規化相互パワースペクトルが入力される。
【００５０】
重み係数算出部２６は、周波数成分画像のエネルギーからカラーチャンネル毎に重み係数を計算する機能を有する。本実施の形態の重み係数算出部２６では、重み係数が大きいほど、対応点検出に有効であることを表している。本実施の形態の重み係数の計算方法の具体例を示す。
【００５１】
各カラーチャンネルの重み関数ｗｉ（ｋ１，ｋ２）を、周波数成分画像の相互パワースペクトルのエネルギーを用いて下記（９）式のように定義する。
【００５２】
【数１１】
2016005098.tif 000013
【００５３】
上記（９）式からわかるように、重み関数ｗｉ（ｋ１，ｋ２）は、各カラーチャンネルの相互パワースペクトルのエネルギーの比率に相当する。
【００５４】
重み係数算出部２６は、カラーチャンネル毎に計算された重み係数及び正規化相互パワースペクトル計算部２４で計算されたカラーチャンネル毎の正規化相互パワースペクトルを出力する。なお、重み係数算出部２６は、入力された正規化相互パワースペクトルに対しては、何も処理を行わず、そのまま出力する。出力される正規化相互パワースペクトルと重み係数とはカラーチャンネル（画像１〜画像Ｃ）で紐付けられている。
【００５５】
なお、本実施の形態の画像処理装置１０では、上述したように、正規化相互パワースペクトル計算部２４で計算されたカラーチャンネル毎の正規化相互パワースペクトルは、重み係数算出部２６に入力され、そのまま重み係数算出部２６から出力されるようにしているが、これに限らない。例えば、正規化相互パワースペクトルは、正規化相互パワースペクトル計算部２４から重み係数算出部２６を介さずに、後段の処理部である正規化相互パワースペクトル加重平均処理部２８に出力されるようにしてもよい。
【００５６】
正規化相互パワースペクトル加重平均処理部２８には、各カラーチャンネルに対応する正規化相互パワースペクトルと、各正規化相互パワースペクトルと紐付けられた重み係数とが入力される。
【００５７】
正規化相互パワースペクトル加重平均処理部２８は、各カラーチャンネルの重み係数に基づいて、各カラーチャンネルに対応する正規化相互パワースペクトルの加重平均を算出する機能を有する。このように、加重平均を算出することにより、画像のコントラストやＳ／Ｎ比が低い低画質なカラーチャンネルや、実空間上でのテクスチャの変化に乏しい（対応付けが難しい）カラーチャンネルの影響を抑制することができる。
【００５８】
本実施の形態の正規化相互パワースペクトルの加重平均の算出方法の具体例を示す。
【００５９】
まず、各カラーチャンネルの正規化相互パワースペクトルの加重平均＾ＲＷ（ｋ１，ｋ２）は、下記（１０）式で表すことができる。なお、便宜上、数式等において、「＾（ハット）」などの記号が文字の上に付されている文字を表記する場合、当該記号を文字の前に表記する。
【００６０】
【数１２】
2016005098.tif 000014
【００６１】
上記（１０）式は、ｗｉ（ｋ１，ｋ２）＝１の場合には、正規化相互パワースペクトルの加重平均＾ＲＷ（ｋ１，ｋ２）は、各カラーチャンネルの正規化相互パワースペクトルの平均となる。ここで、上記（９）で定義した重み関数ｗｉ（ｋ１，ｋ２）を上記（１０）に代入すると、正規化相互パワースペクトルの加重平均＾ＲＷ（ｋ１，ｋ２）は、下記（１１）式のように表される。
【００６２】
【数１３】
2016005098.tif 000015
【００６３】
重み関数ｗｉ（ｋ１，ｋ２）は各カラーチャンネルの相互パワースペクトルのエネルギーの比率に相当し、振幅成分が大きいカラーチャンネルほど、振幅成分が小さいカラーチャンネルよりも、加重平均後の正規化相互パワースペクトル＾ＲＷ（ｋ１，ｋ２）に強く影響を与える。このことは、位置ずれ量検出において、ノイズによる検出率低下を抑制する効果があることを表している。
【００６４】
正規化相互パワースペクトル加重平均処理部２８は、第１画像及び第２画像のカラーチャンネル毎の正規化相互パワースペクトルの加重平均＾ＲＷ（ｋ１，ｋ２）を出力する。
【００６５】
逆フーリエ変換処理部１２には、正規化相互パワースペクトル加重平均処理部２８から出力されたカラーチャンネル毎の正規化相互パワースペクトルの加重平均＾ＲＷ（ｋ１，ｋ２）が入力される。逆フーリエ変換処理部１２は、入力されたカラーチャンネル毎の正規化相互パワースペクトルの加重平均＾ＲＷ（ｋ１，ｋ２）に対して、空間方向の離散逆フーリエ変換を行い、位相限定相関関数＾ｒＷ（ｎ１，ｎ２）を算出する機能を有する。
【００６６】
本実施の形態の位相限定相関関数＾ｒＷ（ｎ１，ｎ２）の算出方法の具体例を示す。位相限定相関関数＾ｒＷ（ｎ１，ｎ２）は、下記（１２）式の二次元離散逆フーリエ変換により得られる。なお、下記（１２）式における演算子は、上記（４）式と同様である。
【００６７】
【数１４】
2016005098.tif 000016
【００６８】
逆フーリエ変換処理部１２は、第１画像及び第２画像の位相限定相関関数＾ｒＷ（ｎ１，ｎ２）を出力する。
【００６９】
位置ずれ量検出部１４には、逆フーリエ変換処理部１２から出力された位相限定相関関数＾ｒＷ（ｎ１，ｎ２）が入力される。位置ずれ量検出部１４は、第１画像と第２画像との位置ずれ量を検出する機能を有する。位置ずれ量の具体例としては、平行移動量、傾き量、拡大や縮小率等が挙げられるが、これらに限定されるものではなく、予め定めておけばよい。位置ずれ量の検出方法の具体例としては、第１画像及び第２画像の位相限定相関関数＾ｒＷ（ｎ１，ｎ２）のピーク値の座標から、位置ずれ量を算出することができる。
【００７０】
位置ずれ量検出部１４は、検出した位置ずれ量を出力する。なお、出力先は、特に限定されず、画像処理システム１が備えるユーザインターフェース等であってもよいし、種々の外部装置等であってもよい。
【００７１】
次に、本実施の形態の画像処理システム１（画像処理装置１０）における画像処理の流れの概略について説明する。図４は、本実施の形態の画像処理システム１（画像処理装置１０）における画像処理の流れの一例を表すフローチャートである。
【００７２】
ステップＳ１００では、第１画像及び第２画像が入力されたか否か判定し、第１画像及び第２画像が入力されるまで待機状態となる。一方、第１画像及び第２画像が入力された場合、具体的には、カラーチャンネル分解処理部２０Ａに第１画像が入力され、カラーチャンネル分解処理部２０Ｂに第２画像が入力された場合は、ステップＳ１０２へ進む。
【００７３】
ステップＳ１０２では、カラーチャンネル分解処理部２０が、第１画像及び第２画像を各カラーチャンネルの画像に分解して、カラーチャンネル毎に、フーリエ変換処理部２２に出力する。本処理により、第１画像及び第２画像は、カラーチャンネル毎のグレースケール画像に分解される。
【００７４】
次のステップＳ１０４では、フーリエ変換処理部２２が、カラーチャンネル毎に、第１画像の当該カラーチャンネルの画像及び第２画像の当該カラーチャンネルの画像をフーリエ変換し、カラーチャンネル毎の周波数成分画像を生成し、正規化相互パワースペクトル計算部２４に出力する。具体的には、フーリエ変換処理部２２は、上述したようにカラーチャンネル毎に、第１画像のグレースケール画像を離散フーリエ変換して周波数成分画像を生成し、また、第２画像のグレースケール画像を離散フーリエ変換して周波数成分画像を生成する。生成した第１画像の周波数成分画像と第２画像の周波数成分画像とを正規化相互パワースペクトル計算部２４に出力する。
【００７５】
次のステップＳ１０６では、正規化相互パワースペクトル計算部２４が、カラーチャンネル毎に、上述したように第１画像及び第２画像の周波数成分画像の各々からカラーチャンネル毎の正規化相互パワースペクトルを計算して、重み係数算出部２６に出力する。
【００７６】
次のステップＳ１０８では、重み係数算出部２６が、カラーチャンネル毎に、上述したように第１画像及び第２画像の周波数成分画像のカラーチャンネルの画像信号のエネルギーから、カラーチャンネル毎に重み係数を算出して正規化相互パワースペクトル加重平均処理部２８に出力する。正規化相互パワースペクトル加重平均処理部２８には、カラーチャンネル毎に、正規化相互パワースペクトル及び重み係数が紐付けられて入力される。
【００７７】
次のステップＳ１１０では、正規化相互パワースペクトル加重平均処理部２８が、上述したように各カラーチャンネルに対応する正規化相互パワースペクトル及び周波数インデックス毎の重み係数から、カラーチャンネル毎に、正規化相互パワースペクトルの加重平均を算出して逆フーリエ変換処理部１２に出力する。
【００７８】
次のステップＳ１１２では、逆フーリエ変換処理部１２が、上述したようにカラーチャンネル毎の正規化相互パワースペクトルを加重平均した結果を逆フーリエ変換して位相限定相関関数を算出して位置ずれ量検出部１４に出力する。
【００７９】
次のステップＳ１１４では、位置ずれ量検出部１４が、上述したように、位相限定相関関数に基づいて、第１画像と第２画像との位置ずれ量を検出して位置ずれ量を出力した後、本処理を終了する。
【００８０】
（第２の実施の形態）
本実施の形態は、上述した実施の形態と同様の構成及び動作を含むため、同様の構成及び動作についてはその旨を記し詳細な説明を省略する。
【００８１】
図５は、本実施の形態の画像処理装置１１０を備えた画像処理システム１０１の概略構成の一例を示す構成図である。なお、第１画像及び第２画像を撮影する撮影装置において、各カラーチャンネルの分光感度特性が同じであれば、第１画像及び第２画像のカラーチャンネル数が一致していなくともよい。ただし、この場合は、カラーチャンネルと撮影装置の分光感度間とでの紐付けが必要である。
【００８２】
本実施の形態の画像処理装置１１０は、第１の実施の形態の画像処理装置１０のカラーチャンネル分解処理部２０とフーリエ変換処理部２２との間に、さらに、画像特徴量計算部３０（３０Ａ１〜３０ＡＣ、３０Ｂ１〜３０ＢＣ）及び画像選択部３２を備えている。
【００８３】
画像特徴量計算部３０（３０Ａ１〜３０ＡＣ、３０Ｂ１〜３０ＢＣ）は、カラーチャンネル分解処理部２０で生成されたグレースケール画像毎に設けられている。画像特徴量計算部３０Ａ１〜３０ＡＣの各々には、画像１〜画像Ｃ（グレースケール画像）が入力される。同様に、画像特徴量計算部３０Ｂ１〜３０ＢＣの各々には、画像１‘〜画像Ｃ’（グレースケール画像）が入力される。なお、以下では、画像特徴量計算部３０Ａ１〜３０ＡＣ、３０Ｂ１〜３０ＢＣを総称する場合は、個々を示す符合（Ａ１〜ＡＣ、Ｂ１〜ＢＣ）を付さずにいう。
【００８４】
画像特徴量計算部３０は、入力された各グレースケール画像の特徴量を計算する機能を有している。画像の特徴の種類等は特に限定されず、予め定めておけばよい。画像特徴量としては、例えば、輝度ヒストグラムや、輝度値の分散や平均値及び標準偏差等を用いることができる。このように、画像の特徴を計算することにより、各カラーチャンネルが、画像の位置ずれを検出するための対応点の探索に有効か否かを表す指標が得られる。
【００８５】
画像特徴量計算部３０は、入力された各グレースケール画像及び計算した画像特徴量を紐付けて画像選択部３２へ出力する。
【００８６】
画像選択部３２には、全画像特徴量計算部３０から、各グレースケール画像及び画像特徴量が、入力される。具体的には、画像選択部３２には、第１画像の画像１及び画像１の画像特徴量〜画像Ｃ及び画像Ｃの画像特徴量の組み合わせたカラーチャンネル毎に入力され、また、第２画像の画像１’及び画像１’の画像特徴量〜画像Ｃ’及び画像Ｃ’の画像特徴量の組み合わせたカラーチャンネル毎に入力される。
【００８７】
画像選択部３２は、入力された各グレースケール画像（画像１〜画像Ｃ、画像１’〜画像Ｃ’）から、以降の処理（画像選択部３２以降の後段の機能部における処理）を行うカラーチャンネル画像（グレースケール画像）を選択する機能を有する。なお、カラーチャンネル画像の選択方法は特に限定されない。予め定められた基準に基づいて、画像選択部３２が、基準を満たすカラーチャンネル画像を選択するようにしてもよい。具体例としては、画像特徴量の閾値を予め定めておき、画像選択部３２が、当該閾値以上の画像特徴量を有するカラーチャンネル画像を選択する方法が挙げられる。なお、当該閾値は、予め画像処理装置１０に設定されていてもよいし、ユーザインターフェース（図示省略）等を介して、ユーザが設定や入力するようにしてもよい。また、当該方法に限らず、ユーザインターフェース等に、各カラーチャンネル画像や計算した画像特徴量を表示し、表示されたカラーチャンネル画像や画像特徴量に応じてユーザが指示したカラーチャンネル画像を画像選択部３２が選択するようにしてもよい。このように、カラーチャンネルを選択することにより、対応点の検策に適さないカラーチャンネル画像（例えば、検出精度の低下を招く懸念のあるカラーチャンネル画像）を排除することができるため、以降の処理における対応点の検出精度の低下を抑制することができる。
【００８８】
画像選択部３２は、第１画像から選択したＤ枚のカラーチャンネル画像（グレースケール画像、画像１〜画像Ｄ）及び第２画像から選択したＤ枚のカラーチャンネル画像（グレースケール画像、画像１’〜画像Ｄ’）の各々を、フーリエ変換処理部２２に出力する。なお、画像選択部３２では、出力されるカラーチャンネル画像の枚数は、入力されるカラーチャンネル画像の枚数以下となる。すなわち、第１画像及び第２画像のカラーチャンネル数Ｃと、画像選択部により第１画像及び第２画像の各々から選択されるカラーチャンネル画像の枚数Ｄとは、異なる場合がある（Ｃ≧Ｄ）。
【００８９】
なお、本実施の形態では、画像特徴量計算部３０を介してカラーチャンネル画像（グレースケール画像）が画像選択部３２に入力されるようにしているがこれに限らない。カラーチャンネル画像と当該カラーチャンネル画像の画像特徴量とが紐付けられていればよく、例えば、カラーチャンネル画像は、画像特徴量計算部３０を介さずにカラーチャンネル分解処理部２０から画像選択部３２に入力されてもよい。
【００９０】
以降、フーリエ変換処理部２２、正規化相互パワースペクトル計算部２４、重み係数算出部２６、正規化相互パワースペクトル加重平均処理部２８、逆フーリエ変換処理部１２、及び位置ずれ量検出部１４では、画像選択部３２により選択されたカラーチャンネル画像に対して第１の実施の形態で上述した処理と同様の処理を行う。
【００９１】
また、本実施の形態の画像処理システム１０１（画像処理装置１１０）における画像処理の流れの概略について図６を参照して説明する。図６には、本実施の形態の画像処理システム１０１（画像処理装置１１０）における画像処理の流れの一例を表すフローチャートを示す。図６に示すように、本実施の形態の画像処理では、第１の実施の形態の画像処理（図４参照）のステップＳ１０２とＳ１０６との間に、ステップＳ１０４に代わり、ステップＳ２００〜ステップＳ２０４が設けられている。
【００９２】
本実施の形態の画像処理では、ステップＳ１０２において、カラーチャンネル分解処理部２０が第１画像及び第２画像をグレースケール画像に分解してカラーチャンネル毎に、画像特徴量計算部３０に出力すると、ステップＳ２００へ進む。
【００９３】
ステップＳ２００では、画像特徴量計算部３０が上述したように、各カラーチャンネル画像の画像特徴量を計算する。
【００９４】
次のステップＳ２０２では、画像選択部３２が上述したように、画像特徴量計算部３０で計算された画像特徴量に基づいて入力された各カラーチャンネル画像から以降の処理に使用するカラーチャンネル画像を選択して、各々フーリエ変換処理部２２に出力する。なお、画像選択部３２により選択されなかったカラーチャンネル画像は、以降の処理では使用されない。
【００９５】
次のステップＳ２０４は、第１の実施の形態の画像処理（図４参照）のステップＳ１０４と同様の処理を行うが、本実施の形態のフーリエ変換処理部２２では、選択されたカラーチャンネル画像に対してフーリエ変換を行い、周波数成分画像を生成する。
【００９６】
ステップＳ２０４以降は、第１の実施の形態の画像処理（図４参照）のステップＳ１０６以降の処理を行う。
【００９７】
なお、画像特徴量計算部３０を設ける位置、（画像特徴量を計算するタイミング等）は、本実施の形態（図５参照）に限らない。画像特徴量計算部３０に関する他の例を実施例２−１として以下に説明する。また、画像選択部３２を設ける位置、（画像を選択するタイミング等）は、本実施の形態（図５参照）に限らない。画像選択部３２に関する他の例を実施例２−２として、以下に説明する。
【００９８】
（実施例２−１）
図７には、本実施例の画像処理装置１１０の一例の構成図を示す。なお、図７には、図５に示した画像処理装置１１０と異なる部分のみ示しており、同様の部分の記載は省略している。図７に示した画像処理装置１１０のように、画像特徴量計算部３０（３０Ａ、３０Ｂ）は、カラーチャンネル分解処理部２０の前段に設けられていてもよい。図７に示した画像処理装置１１０では、画像特徴量計算部３０Ａに、第１画像が入力される。また、画像特徴量計算部３０Ｂに第２画像が入力される。各画像特徴量計算部３０（３０Ａ、３０Ｂ）は、カラーチャンネル分解処理部２０でグレースケール画像を生成（各カラーチャンネル画像に分解）する前に、各カラーチャンネル画像の画像特徴量を計算する。画像特徴量の計算方法は、上述した図５に示した画像処理装置１１０の画像特徴量計算部３０と同様にすればよい。
【００９９】
各画像特徴量計算部３０（３０Ａ、３０Ｂ）で計算された画像特徴量は、カラーチャンネル分解処理部２０を介して画像選択部３２に入力されてもよいし、カラーチャンネル分解処理部２０を介さずに画像選択部３２に入力されてもよい。いずれの場合であっても、カラーチャンネルと、画像特徴量とが紐付けられていればよい。
【０１００】
本実施例の画像処理装置１１０における画像処理では、上述した図６に示した画像処理のステップＳ２００の処理を、ステップＳ１００とステップＳ１０２との間で行うようにすればよい。
【０１０１】
このように、カラーチャンネル分解処理部２０で入力画像からグレースケール画像を生成する前に画像特徴量計算部３０（３０Ａ、３０Ｂ）を設けることにより、入力画像の数（本実施例では「２」）に応じて画像特徴量計算部３０を設ければよいため、図５に示した画像処理装置１１０の画像特徴量計算部３０よりも簡略化することができる。
【０１０２】
（実施例２−２）
図８は、本実施例の画像処理装置１１０の一例の構成図を示す。なお、図８には、図５に示した画像処理装置１１０と異なる部分のみ示しており、同様の部分の記載は省略している。カラーチャンネル選択部３３は、画像特徴量計算部３０以降に設けられていればよく、図８に示した画像処理装置１１０のように、カラーチャンネル選択部３３（３３Ａ、３３Ｂ）が、カラーチャンネル分解処理部２０の前段に設けられていてもよい。図８に示した画像処理装置１１０では、画像特徴量計算部３０Ａから出力された第１画像（カラーチャンネル数：Ｃ）、及び第１画像の各カラーチャンネルに紐付けられた画像特徴量がカラーチャンネル選択部３３Ａに入力される。また、画像特徴量計算部３０Ｂから出力された第２画像（カラーチャンネル数：Ｃ）、及び第２画像の各カラーチャンネルに紐付けられた画像特徴量がカラーチャンネル選択部３３Ｂに入力される。
【０１０３】
各カラーチャンネル選択部３３（３３Ａ、３３Ｂ）は、カラーチャンネル分解処理部２０でグレースケール画像を生成（各カラーチャンネル画像に分解）する前に、各画像特徴量計算部３０（３０Ａ、３０Ｂ）で計算された画像特徴量に基づいて、カラーチャンネルを選択する機能を有する。カラーチャンネルの選択方法は、上述した図５に示した画像処理装置１１０の画像選択部３２と同様にすればよい。このようにカラーチャンネルを選択することにより、各カラーチャンネル選択部３３（３３Ａ、３３Ｂ）からは、カラーチャンネル数がＤ（Ｃ≧Ｄ）の入力画像に応じた画像が各々カラーチャンネル分解処理部２０（２０Ａ、２０Ｂ）に出力される。
【０１０４】
本実施例の画像処理装置１１０における画像処理では、上述した図６に示した画像処理のステップＳ２００及びＳ２０２の処理を、ステップＳ１００とステップＳ１０２との間で行うようにすればよい。そして、ステップＳ１０２では、カラーチャンネル分解処理部２０が、カラーチャンネル数がＤの第１画像及び第２画像に応じた画像を各カラーチャンネルの画像に分解し、グレースケール画像を生成して出力する。そのため、本実施例のカラーチャンネル分解処理部２０からは、カラーチャンネル数に応じたＤ枚の画像（画像１〜画像Ｄ、画像１’〜画像Ｄ’）が出力される。
【０１０５】
このように、カラーチャンネル分解処理部２０で入力画像からグレースケール画像を生成する前に画像特徴量計算部３０（３０Ａ、３０Ｂ）及びカラーチャンネル選択部３３（３３Ａ、３３Ｂ）を設けることにより、入力画像の数（本実施例では「２」）に応じて画像特徴量計算部３０を設ければよいため、図５に示した画像処理装置１１０の画像特徴量計算部３０よりも簡略化することができる。さらに、カラーチャンネル選択部３３でカラーチャンネルを選択することにより、カラーチャンネル分解処理部２０（２０Ａ、２０Ｂ）で分解して生成するグレースケール画像の数を減らすことが可能となるため、カラーチャンネル分解処理部２０の処理負荷を低減することができる。
【０１０６】
（第３の実施の形態）
本実施の形態は、上述した各実施の形態と同様の構成及び動作を含むため、同様の構成及び動作についてはその旨を記し詳細な説明を省略する。
【０１０７】
図９は、本実施の形態の画像処理装置２１０を備えた画像処理システム２０１の概略構成の一例を示す構成図である。
【０１０８】
本実施の形態の画像処理装置２１０は、第１の実施の形態の画像処理装置１０の重み係数算出部２６と正規化相互パワースペクトル加重平均処理部２８との間に、さらに、正規化相互パワースペクトル選択部４０を備えている。
【０１０９】
正規化相互パワースペクトル選択部４０には、各カラーチャンネル画像の重み係数及び正規化相互パワースペクトルが入力される。正規化相互パワースペクトル選択部４０は、入力された正規化相互パワースペクトルから、予め定められた選択基準を満たす正規化相互パワースペクトルを選択する機能を有する。正規化相互パワースペクトル選択部４０は、選択した正規化相互パワースペクトルと当該正規化相互パワースペクトルに紐付けられた重み係数とを正規化相互パワースペクトル加重平均処理部２８に出力する。
【０１１０】
正規化相互パワースペクトル選択部４０における正規化相互パワースペクトルの選択方法は特に限定されない。具体例としては、重み係数の閾値を選択基準として予め定めておき、正規化相互パワースペクトル選択部４０が、当該閾値以上の重み係数を有する正規化相互パワースペクトルを選択する方法が挙げられる。なお、当該閾値は、予め画像処理装置２１０に設定されていてもよいし、ユーザインターフェース（図示省略）等を介して、ユーザが設定や入力するようにしてもよい。また、当該方法に限らず、ユーザインターフェース等に、各正規化相互パワースペクトルや重み係数を表示し、表示された正規化相互パワースペクトルや重み係数に応じてユーザが指示した正規化相互パワースペクトルを正規化相互パワースペクトル選択部４０が選択するようにしてもよい。
【０１１１】
以降、正規化相互パワースペクトル加重平均処理部２８、逆フーリエ変換処理部１２、及び位置ずれ量検出部１４では、第１の実施の形態で上述した処理と同様の処理を行う。
【０１１２】
また、本実施の形態の画像処理システム２０１（画像処理装置２１０）における画像処理の流れの概略について図１０を参照して説明する。図１０には、本実施の形態の画像処理システム２０１（画像処理装置２１０）における画像処理の流れの一例を表すフローチャートを示す。図１０に示すように、本実施の形態の画像処理では、第１の実施の形態の画像処理（図４参照）のステップＳ１０８とＳ１１２との間に、ステップＳ１１０に代わり、ステップＳ３００及びＳ３０２が設けられている。
【０１１３】
本実施の形態の画像処理では、ステップＳ１０８において、重み係数算出部２６がカラーチャンネル毎に、第１画像及び第２画像の重み係数を算出して正規化相互パワースペクトル選択部４０に出力すると、ステップＳ３００へ進む。
【０１１４】
ステップＳ３００では、正規化相互パワースペクトル選択部４０が上述したように、正規化相互パワースペクトルを選択する。
【０１１５】
次のステップＳ３０２は、第１の実施の形態の画像処理（図４、ステップＳ１１０参照）と同様の処理を行うが、本実施の形態の正規化相互パワースペクトル加重平均処理部２８では、選択された正規化相互パワースペクトルを加重平均化する。
【０１１６】
ステップＳ３０２以降は、第１の実施の形態の画像処理（図４参照）のステップＳ１１２以降の処理を行う。
【０１１７】
重み係数が小さいカラーチャンネル画像であっても、数が増加すれば、正規化相互パワースペクトル加重平均処理部２８における加重平均の算出結果に影響する場合がある。そのため、本実施の形態のように加重平均を算出する前に、対応点の検出に適さないカラーチャンネル画像を排除しておくことにより、対応点の検出精度の低下を抑制することができる。
【０１１８】
なお、本実施の形態及び上記各実施の形態は、適宜組み合わせることができる。例えば、図１１には、第２の実施の形態（図５参照）の画像処理システム１０１（画像処理装置１１０）と本実施の形態の画像処理システム２０１（画像処理装置２１０）を組合せた場合の画像処理システム３０１（画像処理装置３１０）の一例の概略構成を示す。図１１に示した画像処理システム３０１（画像処理装置３１０）は、第１の実施の形態の（画像処理システム１）画像処理装置１０に、更に、第２の実施の形態において説明した画像特徴量計算部３０及び画像選択部３２と、本実施の形態において説明した正規化相互パワースペクトル選択部４０と、を備えている。画像処理システム３０１（画像処理装置３１０）は、上記第２の実施の形態の画像処理システム１０１（画像処理装置１１０）と本実施の形態の画像処理システム２０１（画像処理装置２１０）との機能を合わせもつ。そのため、上記第２の実施の形態の画像処理システム１０１（画像処理装置１１０）及び本実施の形態の画像処理システム２０１（画像処理装置２１０）両者の効果が得られる。
【０１１９】
また、さらに、画像処理システム３０１（画像処理装置３１０）に、上述した実施例２−１（図７参照）または実施例２−２（図８参照）を組み合わせてもよい。
【０１２０】
（第４の実施の形態）
本実施の形態は、上述した各実施の形態と同様の構成及び動作を含むため、同様の構成及び動作についてはその旨を記し詳細な説明を省略する。
【０１２１】
図１２は、本実施の形態の画像処理装置４１０の概略構成の一例を示す構成図である。図１２に示すように、本実施の形態の画像処理装置４１０は、第１の実施の形態のカラーチャンネル分解処理部２０の前段に、さらに、色空間変換処理部５０（５０Ａ、５０Ｂ）を備えている。なお、その他の構成は、第１の実施の形態の画像処理装置１０（画像処理システム１）と同様であるため、図１２では、記載を省略している。また、以下では、色空間変換処理部５０Ａ及び色空間変換処理部５０Ｂを総称する場合は、個々を示す符合（Ａ、Ｂ）を付さずにいう。
【０１２２】
色空間変換処理部５０Ａには、カラーチャンネル数がＣの第１画像が入力される。また、色空間変換処理部５０Ｂには、カラーチャンネルがＣ’の第２画像が入力される。なお、本実施の形態では、第１画像のカラーチャンネル数Ｃと、第２画像のカラーチャンネル数Ｃ’とは、同一であってもよいし、異なっていてもよい。また、第１画像及び第２画像の色空間は、同一であってもよいし、異なっていてもよい。
【０１２３】
また、色空間変換処理部５０には、色空間の変換に必要な情報が第１画像及び第２画像と共に入力される。色空間の変換に必要な情報とは、変換方法により異なるが、具体例としては、基底ベクトル、分光反射率推定行列もしくは分光反射率の推定に必要な各種情報、及びホワイトバランス調整用の色票や基準白色板の画像等が挙げられる。
【０１２４】
色空間変換処理部５０は、入力画像の色空間を予め定められた色空間に変換する変換処理を行う機能を有する。なお、色空間変換処理部５０における変換処理方法は、空間方向ではなく、ＲＧＢ値で表されるベクトルや分光スペクトル等、色方向に対して行う方法であれば、特に限定されない。例えば、測色値や表色空間（ＣＩＥ−ＸＹＺ、Ｌａｂ、ｘｖＹＣＣ、Ｌｕｖ、ＨＳＶ等）への変換や、主成分展開、ＫＬ展開、フーリエ変換、ウェーブレット変換、分光スペクトルへの変換、反射率または分光反射率への変換、及びホワイトバランスの調整等が挙げられる。変換処理方法の具体例について以下に説明する。
【０１２５】
具体例１としては、主成分ベクトルで張られる色空間へ変換する変換処理方法が挙げられる。当該変換処理方法では、まず、カラーチャンネル数がＣの画像において、座標（ｘ，ｙ）における画素値をＩ（ｘ，ｙ）＝［Ｓ１（ｘ，ｙ），・・・，ＳＣ（ｘ，ｙ）］とする。画像上の全ての画素における画素値をベクトルとみなすと、Ｃ本のＣ次元ベクトルが主成分ベクトルとして求まる。
【０１２６】
また具体例２としては、分光反射率空間へ変換する変換処理方法が挙げられる。画像撮影時の照明光スペクトル、画像撮影に用いたカメラの分光感度特性、及び被写体の分光反射率に関する統計情報を用いることで、例えばウィナー推定法に基づき、座標（ｘ，ｙ）における画素値Ｉ（ｘ，ｙ）＝［Ｓ１（ｘ，ｙ），・・・，ＳＣ（ｘ，ｙ）］から分光反射率の推定が可能である。なお、分光反射率の推定については、非特許文献である、村上百合：「分光反射率の推定理論」、日本写真学会誌、65巻4号、pp.234-239(2002)等に記載されている技術を用いればよい。照明光スペクトル、カメラの分光感度特性、及び被写体の統計情報が可視光波長域の３８０ｎｍ〜７８０ｎｍで１ｎｍ間隔の場合、画素毎に４０１次元の分光反射率ベクトルが得られる。この場合は、カラーチャンネル数４０１の分光反射率画像が得られる。なお、照明光スペクトル等が１０ｎｍ間隔の場合には、分光反射率ベクトルの次元数およびカラーチャンネル数は４１となる。
【０１２７】
また具体例３としては、分光反射率の主成分ベクトルで張られる色空間へ変換する変換処理方法が挙げられる。上記４０１次元の分光反射率ベクトルも、画像上の全画素の分光反射率ベクトルを用いることで４０１本の４０１次元主成分ベクトルが得られる。寄与率を見ると上位１０本程度の主成分を用いることで、累積寄与率が９９％を超えることもある。この場合には、寄与率が上位１０番に入る主成分の主成分画像（カラーチャンネル数：１０）を用いて処理を行った場合でも、具体例２で挙げたカラーチャンネル数が４０１の場合と比較して、同等もしくはそれ以上の精度での、画像の位置ずれ量の検出が実現可能となる。
【０１２８】
また、具体例４としては、仮想的なカラーチャンネルで張られる色空間へ変換する変換処理方法が挙げられる。ウィナー推定法等で推定された分光反射率と、画像を観察する環境の照明光スペクトルを用いることで、画像上の画素毎に分光スペクトルが算出される。更に、仮想的なカメラの分光感度特性を用いて計算機上で撮影シミュレーションを行うことで、仮想的なカメラのカラーチャンネル数（≦分光反射率画像のカラーチャンネル数）と等しいカラー画像が得られる。
【０１２９】
また、具体例５としては、ＣＩＥ−ＸＹＺ空間へ変換する変換処理方法が挙げられる。      
【０１３０】
ウィナー推定法などで推定された分光反射率と、画像を観察する環境の照明光スペクトルを用いることで、画像上の画素毎に分光スペクトルが算出される。算出された分光スペクトルに、人間の目の分光感度特性を表す等色関数を掛け合わせることで、測色値（ＣＩＥ−ＸＹＺ値）が得られる。なお、ＣＩＥ−ＸＹＺ画像のカラーチャンネル数は３である。
【０１３１】
また、具体例６としては、ＣＩＥ−Ｌ＊ａ＊ｂ＊空間へ変換する変換処理方法が挙げられる。ＣＩＥ−Ｌ＊ａ＊ｂ＊値はＣＩＥ−ＸＹＺ値から、下記（１３）式に示した変換式により算出することができる。なお、ＣＩＥ−Ｌ＊ａ＊ｂ＊画像のカラーチャンネル数は３である。
【０１３２】
【数１５】
2016005098.tif 000017
【０１３３】
なお、上記、（１３）式において、Ｘｎ、Ｙｎ、Ｚｎは、基準白色点の ＣＩＥ−ＸＹＺ値である。
【０１３４】
このようにして色空間変換処理部５０により色空間が変換された入力画像は、カラーチャンネル分解処理部２０に出力される。なお、色空間変換処理部５０に入力される入力画像のカラーチャンネル数と、出力される入力画像のカラーチャンネル数とは、同一であってもよいし、異なっていてもよい。
【０１３５】
カラーチャンネル分解処理部２０は、カラーチャンネル毎に、色空間変換処理部５０から入力された入力画像からグレースケール画像を生成する機能を有する。カラーチャンネル分解処理部２０からは、色空間変換処理部５０で変換された色空間のカラーチャンネル数に応じた枚数（本実施の形態ではＬ枚）のカラーチャンネル画像（グレースケール画像、画像１〜画像Ｌ、画像１’〜画像Ｌ’）が出力される。なお、色空間変換処理部５０により入力画像がカラーチャンネル数が異なる色空間に変換された場合は、Ｌ≠Ｃ、Ｃ’となる。
【０１３６】
以降、フーリエ変換処理部２２、正規化相互パワースペクトル計算部２４、重み係数算出部２６、正規化相互パワースペクトル加重平均処理部２８、逆フーリエ変換処理部１２、及び位置ずれ量検出部１４では、第１の実施の形態で上述した処理と同様の処理を行う。
【０１３７】
また、本実施の形態の画像処理システム４０１（画像処理装置４１０）における画像処理の流れの概略について図１３を参照して説明する。図１３には、本実施の形態の画像処理システム４０１（画像処理装置４１０）における画像処理の流れの一例を表すフローチャートを示す。図１３に示すように、本実施の形態の画像処理では、第１の実施の形態の画像処理（図４参照）のステップＳ１００とＳ１０２との間に、ステップＳ４００が設けられている。
【０１３８】
本実施の形態の画像処理では、ステップＳ１００において、第１画像及び第２画像が入力されると、ステップＳ４００へ進む。
【０１３９】
ステップＳ４００では、色空間変換処理部５０が、上述したように第１画像及び第２画像の色空間を変換する。ステップＳ４００以降は、第１の実施の形態の画像処理（図４参照）のステップＳ１０２以降の処理を行う。
【０１４０】
このように、本実施の形態の画像処理システム５０１（画像処理装置５１０）では、色空間変換処理部５０が第１画像及び第２画像の色空間を変換する。そのため、被写体表面の特徴をより明確に表す色空間に変換することができるため、対応点の検出精度を向上させることができる。また、第１画像の色空間と第２画像の色空間が異なる場合（カラーチャンネル数が異なる場合）でも、同一の色空間に変換することができるため、以降の処理を適切に行うことができる。
【０１４１】
なお、本実施の形態及び上記各実施の形態は、適宜組み合わせることができる。例えば、図１４には、第２の実施の形態（図５参照）の画像処理システム１０１（画像処理装置１１０）と本実施の形態の画像処理システム４０１（画像処理装置４１０）を組合せた場合の画像処理システム５０１（画像処理装置５１０）の一例の構成図を示す。図１４に示した画像処理システム５０１（画像処理装置５１０）は、第１の実施の形態の（画像処理システム１）画像処理装置１０に、更に、第２の実施の形態において説明した画像特徴量計算部３０及び画像選択部３２と、本実施の形態において説明した色空間変換処理部５０と、を備えている。画像処理システム５０１（画像処理装置５１０）は、上記第２の実施の形態の画像処理システム１０１（画像処理装置１１０）と本実施の形態の画像処理システム４０１（画像処理装置４１０）との機能を合わせもつ。そのため、上記第２の実施の形態の画像処理システム１０１（画像処理装置１１０）及び本実施の形態の画像処理システム４０１（画像処理装置４１０）両者の効果が得られる。
【０１４２】
なお、図１４に示した画像処理システム５０１における画像処理は、上記画像処理システム１０１における画像処理と画像処理システム４０１における画像処理との組合せであるため、説明を省略する。
【０１４３】
なお、本実施の形態を、上述した実施例２−１（図７参照）及び実施例２−２（図８参照）と組み合わせてもよい。実施例２−１と組み合わせた場合を実施例３−１として、以下に説明する。また、実施例３−２と組み合わせた場合を実施例３−２として、以下に説明する。
【０１４４】
（実施例３−１）
図１５には、本実施例の画像処理装置５１０の一例の構成図を示す。なお、図１５には、図１４に示した画像処理装置５１０と異なる部分のみ示しており、同様の部分の記載は省略している。図１５に示した画像処理装置５１０のように、画像特徴量計算部３０（３０Ａ、３０Ｂ）は、カラーチャンネル分解処理部２０の前段に設けられていてもよい。図１５に示した画像処理装置５１０では、画像特徴量計算部３０Ａに、色空間変換処理部５０により色空間が変換された第１画像が入力される。また、画像特徴量計算部３０Ｂに、色空間変換処理部５０により色空間が変換された第２画像が入力される。各画像特徴量計算部３０（３０Ａ、３０Ｂ）は、カラーチャンネル分解処理部２０でグレースケール画像を生成（各カラーチャンネル画像に分解）する前に、各カラーチャンネル画像の画像特徴量を計算する。画像特徴量の計算方法は、上述した図５に示した画像処理装置１１０の画像特徴量計算部３０と同様にすればよい。
【０１４５】
各画像特徴量計算部３０（３０Ａ、３０Ｂ）で計算された画像特徴量は、カラーチャンネル分解処理部２０を介して画像選択部３２に入力されてもよいし、カラーチャンネル分解処理部２０を介さずに画像選択部３２に入力されてもよい。いずれの場合であっても、カラーチャンネルと、画像特徴量とが紐付けられていればよい。
【０１４６】
なお、図１５に示した本実施例の画像処理システム５０１における画像処理は、上記実施例２−１の画像処理システム１０１における画像処理と画像処理システム４０１における画像処理との組合せであるため、説明を省略する。
【０１４７】
（実施例３−２）
図１６は、本実施例の画像処理装置５１０の一例の構成図を示す。なお、図１６には、図１４に示した画像処理装置５１０と異なる部分のみ示しており、同様の部分の記載は省略している。カラーチャンネル選択部３３は、画像特徴量計算部３０以降に設けられていればよく、図１６に示した画像処理装置５１０のように、カラーチャンネル選択部３３（３３Ａ、３３Ｂ）が、カラーチャンネル分解処理部２０の前段に設けられていてもよい。図１６に示した画像処理装置５１０では、画像特徴量計算部３０Ａから出力された第１画像（カラーチャンネル数：Ｌ）、及び第１画像の各カラーチャンネルに紐付けられた画像特徴量がカラーチャンネル選択部３３Ａに入力される。また、画像特徴量計算部３０Ｂから出力された第２画像（カラーチャンネル数：Ｌ’）、及び第２画像の各カラーチャンネルに紐付けられた画像特徴量がカラーチャンネル選択部３３Ｂに入力される。
【０１４８】
各カラーチャンネル選択部３３（３３Ａ、３３Ｂ）は、カラーチャンネル分解処理部２０でグレースケール画像を生成（各カラーチャンネル画像に分解）する前に、各画像特徴量計算部３０（３０Ａ、３０Ｂ）で計算された画像特徴量に基づいて、カラーチャンネルを選択する機能を有する。カラーチャンネルの選択方法は、上述した図５に示した画像処理装置１１０の画像選択部３２と同様にすればよい。このようにカラーチャンネルを選択することにより、各カラーチャンネル選択部３３（３３Ａ、３３Ｂ）からは、カラーチャンネル数がＳ（Ｌ≧Ｓ）の入力画像に応じた画像が各々カラーチャンネル分解処理部２０（２０Ａ、２０Ｂ）に出力される。
【０１４９】
なお、図１６に示した本実施例の画像処理システム５０１における画像処理は、上記実施例２−２の画像処理システム１０１における画像処理と画像処理システム４０１における画像処理との組合せであるため、説明を省略する。
【０１５０】
なお、上記組合せに限らず、上記各実施の形態及び実施例は適宜、組み合わせることができることはいうまでもない。例えば、第３の実施の形態と第４の実施の形態とを組み合わせてもよい。また例えば、第２の実施の形態、第３の実施の形態、及び第４の実施の形態を組み合わせてもよいし、実施例２−１、第３の実施の形態、及び第４の実施の形態を組み合わせてもよいし、実施例２−２、第３の実施の形態、及び第４の実施の形態を組み合わせてもよい。
【０１５１】
以上説明したように、上記各実施の形態及び各実施例の画像処理システムにおける画像処理装置は、カラーチャンネル分解処理部２０、フーリエ変換処理部２２、正規化相互パワースペクトル計算部２４、重み係数算出部２６、及び正規化相互パワースペクトル加重平均処理部２８を備える。カラーチャンネル分解処理部２０は、第１画像及び第２画像を分解して、グレースケール画像（カラーチャンネル画像）を生成する。フーリエ変換処理部２２は、第１画像及び第２画像の各々から得られる各カラーチャンネルの画像に対して、フーリエ変換を行い、各カラーチャンネルについて、第１画像及び第２画像の各々に対するカラーチャンネルの周波数成分画像を生成する。正規化相互パワースペクトル計算部２４は、各カラーチャンネルについて、第１画像のカラーチャンネルの周波数成分画像及び第２画像のカラーチャンネルの周波数成分画像の組から、カラーチャンネル毎に正規化相互パワースペクトルを計算する。正規化相互パワースペクトル加重平均処理部２８は、カラーチャンネル毎に、正規化相互パワースペクトル計算部で各カラーチャンネルについて計算した正規化相互パワースペクトルを、重み係数算出部で各カラーチャンネルについて算出した重み係数を用いて加重平均した正規化相互パワースペクトルを算出する。重み係数算出部２６は、各カラーチャンネルについて、第１画像のカラーチャンネルの周波数成分画像及び第２画像のカラーチャンネルの周波数成分画像の組から、カラーチャンネル毎に重み係数を算出する。
【０１５２】
このように上記各実施の形態及び各実施例の画像処理システムにおける画像処理装置では、第１画像及び第２画像から、各カラーチャンネル毎に、グレースケール画像（カラーチャンネル画像）を生成しており、各カラーチャンネル毎に、以降の処理を行うため、従来技術では、破棄していた色情報を破棄することなく有効に活用することができる。
【０１５３】
従って、上記各実施の形態の画像処理システムにおける画像処理装置によれば、カラー画像の位置ずれ量の検出精度を向上することができる。
【０１５４】
なお、上記各実施の形態の画像処理システム（画像処理装置）で示したフーリエ変換処理部、正規化相互パワースペクトル計算部、重み係数算出部、及び画像特徴量計算部を設ける数は、一例であり、上記各実施の形態に限定されない。それぞれ、例えば、１個もしくは２個（第１画像用及び第２画像用）またはカラーチャンネル数（Ｃ）個未満でもよく、そこに順次、各画像を入力して、周波数成分画像、正規化相互パワースペクトル、及び重み係数を算出（計算）して出力してもよい。
【０１５５】
なお、上記各実施の形態は一例であり、具体的な構成は本実施の形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計等も含まれ、状況に応じて変更可能であることは言うまでもない。
【符号の説明】
【０１５６】
１、１０１、２０１、３０１、４０１、５０１  画像処理システム
１０、１１０、２１０、３１０、４１０、５１０  画像処理装置
２０  カラーチャンネル分解処理部
２２  フーリエ変換処理部
２４  正規化相互パワースペクトル計算部
２６  重み係数算出部
２８  正規化相互パワースペクトル加重平均処理部
３０  画像特徴量計算部
３２  画像選択部
４０  正規化相互パワースペクトル選択部
５０  色空間変換処理部
【図１】
2016005098.tif 000019
【図４】
2016005098.tif 000020
【図５】
2016005098.tif 000021
【図６】
2016005098.tif 000022
【図７】
2016005098.tif 000023
【図８】
2016005098.tif 000024
【図９】
2016005098.tif 000025
【図１０】
2016005098.tif 000026
【図１１】
2016005098.tif 000027
【図１２】
2016005098.tif 000028
【図１３】
2016005098.tif 000029
【図１４】
2016005098.tif 000030
【図１５】
2016005098.tif 000031
【図１６】
2016005098.tif 000032
【図２】
2016005098.tif 000033
【図３】
2016005098.tif 000034