(57)【要約】【課題】複数の画像を重ねるとき、ノイズを抑制しながら画像を高精度にシフトさせ、高解像度の画像を得る。【解決手段】複数の撮影画像を互いに微小変位シフトさせて重ね合わせる超解像処理において、スペクトル画像を位相シフトさせる画像シフト処理によって対象画像の座標位置をシフトさせる。位相シフト処理では、所定の画像シフト量（Δｘ、Δｙ）に応じた位相差だけ位相シフトさせるフィルタ関数φ（ｕ、ｖ）を求めるとともに、高周波数ほど位相シフト量の大きさを減少させる重み関数Ｗ（ｕ、ｖ）をフィルタ関数φ（ｕ、ｖ）に乗じ、２つの関数の積である加重フィルタ関数Ｆ（ｕ、ｖ）によってスペクトル画像を位相シフトさせる。【選択図】図５
2011180670.tif 000002
【特許請求の範囲】
【請求項１】
複数の画素から構成される画像をスペクトル画像に変換する周波数変換手段と、
画像の座標位置と基準座標位置とのずれから周波数毎に定められる位相差に従い、スペクトル画像を位相シフトさせる位相シフト手段と、
位相シフトされたスペクトル画像を逆周波数変換することにより、座標位置を移動させたシフト画像を生成する逆周波数変換手段とを備え、
前記位相シフト手段が、スペクトル画像の高周波成分を、ずれに応じた位相差よりその大きさが小さい抑制位相差に基づいて位相シフトさせることを特徴とする画像処理装置。
【請求項２】
前記位相シフト手段が、周波数が高くなるほど位相差に対する減少量を大きくすることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記位相シフト手段が、定められた位相差に対して周波数に応じた重み付けをすることを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記位相シフト手段が、スペクトル画像の各周波数を対応する位相差分だけ位相シフトさせるフィルタ関数と、各周波数の位相差を重み付けした重み関数との積である加重フィルタ関数によって、スペクトル画像を位相シフトさせることを特徴とする請求項１乃至２のいずれかに記載の画像処理装置。
【請求項５】
前記重み関数が、周波数領域による窓関数であることを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記周波数変換手段が、ＤＦＴ（離散フーリエ変換）によってスペクトル画像を得ることを特徴とする請求項１乃至５のいずれかに記載の画像処理装置。
【請求項７】
前記逆周波数変換手段が、ＩＤＦＴ（逆離散フーリエ変換）によりシフト画像を得ることを特徴とする請求項１乃至６のいずれかに記載の画像処理装置。
【請求項８】
複数の画素から構成される画像をスペクトル画像に変換し、
画像の座標位置と基準座標位置とのずれから周波数毎に定められる位相差に従い、スペクトル画像を位相シフトさせ、
位相シフトされたスペクトル画像を逆周波数変換することにより、座標位置を移動させたシフト画像を生成する方法であって、
スペクトル画像の少なくとも高周波成分を、ずれに応じた位相差よりその大きさが小さい抑制位相差に基づいて位相シフトさせることを特徴とする画像処理方法。
【請求項９】
それぞれ複数の画素から構成される複数の画像を、複数のスペクトル画像に変換する周波数変換手段と、
画像間の位置ずれを検出する画像位置ずれ検出手段と、
検出された画像間の位置ずれから周波数毎に定められる位相差に従い、シフト対象となるスペクトル画像を位相シフトさせる位相シフト手段と、
それぞれ位相シフトさせた複数のスペクトル画像を逆周波数変換することにより、座標位置を移動させた複数のシフト画像を生成する逆周波数変換手段と、
前記複数のシフト画像を重ね合わせることによって高解像度画像を生成する高解像度生成手段と備え、
前記位相シフト手段が、スペクトル画像の高周波成分を、ずれに応じた位相差よりその大きさが小さい抑制位相差に基づいて位相シフトさせることを特徴とする画像処理装置。
【請求項１０】
請求項９に記載された画像処理装置を備え、一連の画像を撮影可能な撮影装置。
【請求項１１】
サブピクセルレベルで互いに微小距離離れた複数の撮影位置で撮影することによって得られる複数の画像を、複数のスペクトル画像に変換する周波数変換手段と、
あらかじめ定められた撮影位置と実際の撮影位置との差に応じた画像位置ずれを検出する画像位置ずれ検出手段と、
検出された画像位置ずれから周波数毎に定められる位相差に従い、シフト対象となるスペクトル画像を位相シフトさせる位相シフト手段と、
位相シフトさせたスペクトル画像を含む複数のスペクトル画像を逆周波数変換することにより、前記複数の撮影位置の応じた複数の画像を生成する逆周波数変換手段と、
前記複数の画像を合成することによって、前記複数の画像の画素数より多い画素数から成る高解像度画像を生成する高解像度生成手段とを備え、
前記位相シフト手段が、スペクトル画像の高周波成分を、ずれに応じた位相差よりその大きさが小さい抑制位相差に基づいて位相シフトさせることを特徴とする撮影装置。
【請求項１２】
前記画像位置ずれ検出手段が、最小二乗法によって前記複数の画像の中から撮影位置のずれが最も少ない基準画像を定め、基準画像に基づいた撮影位置と実際の撮影位置とのずれに応じた画像位置ずれを検出することを特徴とする請求項１１に記載の撮影装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像センシング、画像解析、超解像処理（super resolution processing）などにおいて利用される画像マッチング（画像レジストレーション）に関し、特に、サブピクセルの精度で画像をシフトさせる画像処理に関する。
【背景技術】
【０００２】
画像センシング、バイオメトリクス、映像信号処理などの分野では、複数の画像を高精度に重ね合わせる画像マッチングが利用されている。画像マッチングは、画像解析、画像照合、高解像度画像の生成といって処理に重要な基本処理であり、画像マッチングに基づいて画像の類似度の評価、あるいは画像の位置あわせを行う。
【０００３】
高解像度画像を生成する超解像処理では、例えば同一被写体に対して連続撮影を行い、複数枚の撮影画像を取得し、画像を重ね合わせる。各画像の撮影ポイントをピクセルサイズ以下、すなわちサブピクセルレベルで微小シフトさせることにより、撮像デバイスの解像度（画素数）を超える画像を得ることができる。あるいは、撮影ポイントを変えずに複数の撮影画像を取得して重ね合わせることによっても、階調の深い高解像度画像を得ることができる（例えば、特許文献１、特許文献２参照）。
【０００４】
複数の画像を重ね合わせる場合、撮影画像の基準位置（標本化位置）からの相対的なずれ量を検出し、サブピクセル精度で画像位置あわせをする必要がある。ずれ量を高精度に検出する方法としては、位相相関法（Phase Correlation Function）が知られている（例えば、非特許文献１、特許文献３参照）。そこでは、２つの画像を周波数（スペクトル）画像に変換した後、スペクトル画像同士を比較して位相差を抽出し、位相差に応じた画像間のずれを検出する。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】Kenji Takita et al., “High-Accuracy Subpixel Image Registration Based on Phase-Only Correlation”, IEICE (the Institute of Electronics, Information and Communication Engineers) Transaction on Fundamentals of Electronics, Communications and Computer sciences, Vol. E86-A, No.8, August 2003
【特許文献】
【０００６】
【特許文献１】米国特許第６０２３５３５号明細書
【特許文献２】特開２００２−１１２００７号公報
【特許文献３】特開２００５−３１８５４８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
画像間のサブピクセルの微小変位を検出し、平行移動、回転などの座標変換によって画像の位置あわせを行う作業は繰り返し作業を行うものであり、一連の画像処理に時間が掛かる。位相相関法を用いた画像処理は、ロバスト性および位置あわせ精度に関して優れているため、画像シフトに関しても、周波数に分離されたスペクトル画像を位相シフトさせるのが望ましい。
【０００８】
しかしながら、検出された画像のずれ、あるいは、あらかじめ定められた画像のシフト量に応じてスペクトル画像をその位相差分だけシフトさせると、高周波数の画像近傍にノイズ（リンギングなど）が生じやすい。そのため、複数の画像を重ね合わせたときにノイズの含まれる画像が生成され、高解像度の画像を得ることができない。
【課題を解決するための手段】
【０００９】
本発明の画像信号処理装置は、複数の画素から構成される画像を周波数から成る画像、すなわちスペクトル画像に変換する周波数変換手段と、画像の座標位置と基準となる座標位置とのずれから周波数毎に求められる位相差に従い、スペクトル画像を位相シフトさせる位相シフト手段と、位相シフトされたスペクトル画像を逆周波数変換することにより、座標位置を移動させた画像（以下、シフト画像という）を生成する逆周波数変換手段とを備える。
【００１０】
ここでは、基準座標位置と対象画像の（距離および方向をもつ）相対的位置の差を「ずれ」として規定し、異なる座標位置をもつ画像間のずれを示すだけでなく、対象画像を所定方向へ所定距離移動させる場合も、そのシフト量を「ずれ」として表す。同じ移動量でも高周波数ほど位相が大きくなることから、周波数毎に異なる位相差がずれに基づいて定められる。
【００１１】
基準座標位置は、様々な位置として設定可能であり、画像マッチングの方法によって設定位置が変わる。例えば、同一の座標位置で複数の画像を重ね合わせる場合、手ぶれなど撮影不具合によって生じた画像間のずれを解消するように、所定画像の座標位置を基準座標位置として定めればよい。
【００１２】
あるいは、複数の画像をサブピクセルレベルだけ微小シフトさせ、画素数のより多い拡大画像を生成する場合、１／ｎ（ｎは整数）ピクセルだけ画素の配列方向に沿って画像シフトさせればよい。また、撮影位置をサブピクセルレベルで微小変位させながら連続撮影して高解像度画像を生成する場合、手ぶれなどの影響で所望する座標位置よりも撮影画像の位置がずれた場合、ずれを解消するように画像をシフトさせることができる。
【００１３】
本発明の画像処理装置は、位相シフト手段が、スペクトル画像の高周波成分を、ずれに応じて定められる位相差よりその大きさが小さい位相差に基づいて位相シフトさせる。ただし、ここでの高周波数は、少なくともナイキスト周波数の１／２以上の周波数帯域に存在する周波数であり、例えばナイキスト周波数に近い成分も含まれる。
【００１４】
スペクトル画像に変換した場合、シフト量は周波数成分によって異なり、高周波数成分ほど位相の量が大きくなる。そのため、シフト量（ずれ量）が求められると、周波数成分毎に異なる位相差が演算によって定められる。しかしながら、本発明では、高周波数成分に対して定められる位相差よりも位相量が小さく設定され、その位相差（以下、抑制位相差という）によって画像シフトが行われる。
【００１５】
そのため、位相シフトによっても高周波数成分の移動量が少ないため、位相シフトしたスペクトル画像を逆周波数変換すると、ノイズの抑制されたシフト画像を得ることができる。高周波数成分に関しては、ずれに対して定められる位相差と一致させなくても、画像シフトさせる移動量がほぼピクセルサイズ以下であれば、視覚特性上、画質評価にあまり影響しない。
【００１６】
周波数変換手段は、任意の手法によって周波数毎に画像を分離するように構成されており、例えば、周波数変換手段はＤＦＴ（離散フーリエ変換）によってスペクトル画像を取得し、逆周波数変換手段はＩＤＦＴ（逆離散フーリエ変換）によりシフト画像を取得する。
【００１７】
周波数が高いほど、シフト画像にノイズが生じる可能性が大きい。これを防ぐため、位相シフト手段は、周波数が高いほど位相差に対する減少量を大きくするのが望ましい。例えば、１／３、あるいは１／２ナイキスト周波数以上においては、位相差に対する減少量を増加させる。
【００１８】
各周波数の位相シフト量を算出するのに関し、「ずれ」の程度を首尾良く反映させるため、各周波数に対する位相差を定める段階と、一連の位相差に対してその大きさを加減する段階とに分けて位相シフト量を算出するのが望ましい。したがって、位相シフト手段は、各周波数に対する位相差に対し、周波数に応じた重み付けを行い、各周波数の最終的な位相差を定めるのがよい。高周波数になるにつれて重み付けを大きくしてもよく、あるいは、段階的に重み付けしてもよい。
【００１９】
特に、スペクトル画像の各周波数を効果的、効率的に位相シフトさせるため、位相シフト手段は、フィルタ関数と重み関数との積である加重フィルタ関数によって、スペクトル画像を位相シフトさせるのが望ましい。フィルタ関数は、スペクトル画像の各周波数を周波数毎に異なる位相差分だけ位相シフトさせる関数であり、加重関数は、周波数に応じて一連の位相差の大きさ重み付けした関数である。
【００２０】
このような２つの関数を組み合わせたフィルタ関数によって位相シフトさせる構成により、対象画像のずれに応じた位相差が決定されるとともに、その位相差に合わせたフィルタ関数を選択、設定可能となる。そして、設定されたフィルタ関数に対して重み関数を乗じることにより、一連の位相差を周波数に応じて重み付けすることができる。
【００２１】
重み関数は、高周波数の位相差、すなわちシフトさせる位相の大きさを低減する関数であればよく、例えば、三角窓、ハミング窓、ハニング窓、ブラックマン窓、あるいはガウス窓など周波数領域に関する窓関数を適用すればよい。
【００２２】
本発明の画像処理方法は、複数の画素から構成される画像をスペクトル画像に変換し、画像の座標位置と基準座標位置とのずれから周波数毎に定められる位相差に従い、スペクトル画像を位相シフトさせ、位相シフトされたスペクトル画像を逆周波数変換することにより、座標位置を移動させたシフト画像を生成する方法であって、スペクトル画像の少なくとも高周波成分を、ずれに応じた位相差よりその大きさが小さい抑制位相差に基づいて位相シフトさせることを特徴とする。
【００２３】
本発明の他の局面における画像処理装置は、例えば複数の静止画像、あるいは動画像を撮影可能な撮影装置に組み入れられる画像処理装置であり、同一撮影位置によって取得される複数の画像を、複数のスペクトル画像に変換する周波数変換手段と、画像間の位置ずれを検出する画像位置ずれ検出手段と、検出された画像間の位置ずれから周波数成分毎に定められる位相差に従い、シフト対象となるスペクトル画像を位相シフトさせる位相シフト手段と、位相シフトさせた画像を含む複数のスペクトル画像を逆周波数変換することにより、同じ撮影位置に応じた複数の画像を生成する逆周波数変換手段と、複数の画像を重ね合わせることによって、複数の画像と同等の画素数から成る高解像度画像を生成する高解像度生成手段とを備え、位相シフト手段が、スペクトル画像の高周波成分を、ずれに応じた位相差よりその大きさが小さい抑制位相差に基づいて位相シフトさせることを特徴とする。
【００２４】
本発明では、所定の画像（基準画像）に対する他の画像の位置ずれを検出し、位相シフト手段が、スペクトル画像の高周波成分を、ずれに応じた位相差よりその大きさが小さい抑制位相差に基づいて位相シフトさせることを特徴とする。撮影位置を精緻に一致させた複数の画像を重ね合わせることによって、ＣＣＤの画素数ど同等の画素数であってもビット深度が大きい高解像度画像が得られる。
【００２５】
本発明の他の局面における画像処理装置は、例えば複数の静止画像、あるいは動画像を撮影可能な撮影装置に組み入れられるとともに、撮影位置を微小に変えながら得られた複数の画像を合成し、撮像素子画素数よりも多い画素数をもつ高解像度画像を生成する画像処理装置であって、サブピクセルレベル（ピクセル以下）で互いに微小距離離れた複数の撮影位置で撮影することによって得られる複数の画像を、複数のスペクトル画像に変換する周波数変換手段と、あらかじめ定められた撮影位置と実際の撮影位置との差に応じた画像位置ずれを検出する画像位置ずれ検出手段と、検出された画像位置ずれから周波数成分毎に定められる位相差に従い、シフト対象となるスペクトル画像を位相シフトさせる位相シフト手段と、位相シフトさせたスペクトル画像を含む複数のスペクトル画像を逆周波数変換することにより、複数の撮影位置の応じた複数の画像を生成する逆周波数変換手段と、複数の画像を合成することによって、複数の画像の画素数より多い画素数から成る高解像度画像を生成する高解像度生成手段とを備え、位相シフト手段が、スペクトル画像の高周波成分を、ずれに応じた位相差よりその大きさが小さい抑制位相差に基づいて位相シフトさせることを特徴とする。
【００２６】
手ぶれ等に起因して実際の撮影位置とは異なる撮影位置で画像を取得しても、サブピクセルレベルで本来の撮影位置に応じた画像を取得することができ、高精度の合成画像が取得される。
【００２７】
複数の撮影位置を設定した場合、高精度に画像を合成するためには、最も位置ずれのない画像を基準画像として他の画像について位相シフト処理するのが望ましい。この場合、画像位置ずれ検出手段が、最小二乗法によって複数の画像の中から撮影位置のずれが最も少ない基準画像を定め、基準画像に基づいた撮影位置と実際の撮影位置とのずれに応じた画像位置ずれを検出するのがよい。
【発明の効果】
【００２８】
このように本発明によれば、複数の画像を重ねるとき、ノイズを抑制しながら画像を高精度にシフトさせることが可能であり、高解像度の画像を得ることができる。
【図面の簡単な説明】
【００２９】
【図１】第１の実施形態である撮影装置のブロック図である。
【図２】画像シフト部のブロック図である。
【図３】空間周波数と位相差との関係を示した図である。
【図４】フィルタ関数に基づいて定められる位相シフト量を示した図である。
【図５】フィルタ関数と重み関数との積である加重フィルタ関数の特性を示した図である。
【図６】第２の実施形態である撮影装置のブロック図である。
【図７】第２の実施形態である撮影装置の画像合成部のブロック図である。
【図８】第３の実施形態である画像合成部のブロック図である。
【発明を実施するための形態】
【００３０】
以下では、図面を参照して本実施形態であるカプセル型内視鏡および電子内視鏡装置について説明する。
【００３１】
図１は、第１の実施形態である撮影装置のブロック図である。
【００３２】
撮影装置１０は、撮像システムの解像度を超える高解像度画像を生成可能な画像処理装置を組み入れた撮影装置であり、ＣＣＤ１２、前処理部１４、システムコントロール回路１６、拡大画像生成部１８、出力部１９、画像シフト部２０を備える。オペレータによるボタン（図示せず）の操作が行われると、同一撮影位置による静止画像の記録動作が実行される。撮影時に撮影ポイントが変動するのを防ぐため、撮影装置１０は支持台、三脚（図示せず）などに設置、固定されている。
【００３３】
撮影動作が実行開始されると、被写体からの光は撮影光学系（図示せず）によって結像され、被写体像がＣＣＤ１２に形成される。そして、ＣＣＤ１２において発生した１フレーム分の画像信号が読み出される。読み出された１フレーム分の画素信号は、前処理部１４において信号処理され、Ｒ，Ｇ，Ｂの画像データが生成される。生成されたＲ，Ｇ，Ｂ画像データは、拡大画像生成部１８と画像シフト部２０へ送られる。
【００３４】
画像シフト部２０では、Ｒ，Ｇ，Ｂ画像データに対して所定量だけ画像をシフトさせる処理がＲ，Ｇ，Ｂ毎に行われ、撮影画像の座標位置を微小にシフトさせた複数の画像データが生成される。拡大画像生成部１８では、基準となる画像データとともに画像シフト部２０によって生成される複数のシフト画像データが重ね合わせられる。これにより、ＣＣＤ１２の画素数を超えた高解像度の拡大画像データが生成される。拡大画像データは、出力部１９を介してモニタなどの周辺機器へ出力されるとともに、記録装置１７へ記録される。
【００３５】
図２は、画像シフト部２０のブロック図である。
【００３６】
画像シフト部２０は、ＤＦＴ（Discrete Fourier Transform；離散フーリエ変換）処理部２２、演算子２３、フィルタ演算部２４、演算子２５、ＩＤＦＴ(Inverse Discrete Fourier Transform；逆離散フーリエ変換)処理部２８、メモリ２９を備える。システムコントロール回路１６は、フィルタ演算部２４、メモリ２９に制御信号を出力する。
【００３７】
画像シフト部２０に入力される画像データｇiは、Ｍ×Ｎピクセルから構成される画像データであり、Ｒ，Ｇ，Ｂ各成分の画像データが入力される。ここでは、撮影画像の中心を基準（原点）とし、画素配列に沿って直交するｘ、ｙ座標を規定する。入力された画像データｇiは、ＤＦＴ処理部２２において２次元ＤＦＴ処理される。これにより、画像データｇiは、周波数成分から成るスペクトル画像データＧiに変換される。
【００３８】
スペクトル画像データＧiは、演算子２５において加重フィルタ関数Ｆに乗じられる。加重フィルタ関数Ｆは、フィルタ関数φと重み関数Ｗの積である位相関数であり、フィルタ演算部２４によって生成されるフィルタ関数φに対し、メモリ２９に格納された重み関数Ｗが乗じられる。加重フィルタ関数Ｆは、周波数成分ごとに定められる画像シフト量（Δｘ、Δｙ）に応じた位相差（以下、必要に応じて位相シフト量という）に基づき、スペクトル画像データＧiを位相シフトさせる。
【００３９】
画像シフト量（Δｘ、Δｙ）は、基準となる撮影画像の座標位置に対するシフト量であり、ピクセルサイズ以下、すなわちサブピクセルサイズに定められている。また、画像シフト量の大きさは、拡大画像サイズ等の条件に従って定められる。例えば、１／２ピクセルサイズの分だけ±ｘ、±ｙ方向にそれぞれ撮影画像をシフトさせ、ＣＣＤ１２の画素数よりも４倍の画素数から構成される拡大画像を生成する。
【００４０】
重み関数Ｗは、スペクトル画像データＧiを位相シフトさせるときの位相シフト量を周波数成分ごとに重み付け調整する関数であり、ここでは窓関数が用いられる。後述するように、重み関数Ｗは、高周波数成分に対して定められた位相シフト量を減少させるように作用する。これにより、本来必要な位相シフト量に比べて抑えられた位相シフト量に基づいて高周波数成分が位相シフトされたスペクトル画像データＧｓが生成される。
【００４１】
位相シフトさしたスペクトル画像データＧｓは、ＩＤＦＴ処理部２８において２次元ＩＤＦＴ（逆離散フーリエ変換）処理される。これにより、入力画像データの座標位置を画像シフト量（Δｘ、Δｙ）に基づいてシフトさせた画像データ（以下、シフト画像データという）ｇｓが生成される。
【００４２】
以下、図３〜図５を参照しながら、画像のサブピクセルシフト処理について詳しく説明する。
【００４３】
図３は、空間周波数成分と位相差との関係を示した図である。図４は、フィルタ関数に基づいて定められる位相シフト量を示した図である。図５は、フィルタ関数と重み関数との積である加重フィルタ関数の特性を示した図である。
【００４４】
本実施形態におけるサブピクセルシフト処理では、周波数成分から成るスペクトル画像をピクセルサイズ以下の画像シフト量（Δｘ、Δｙ）に基づき、位相的にシフトさせる。画像の位相シフト処理では、各周波数成分を維持しながら位相を移動させるフィルタ関数を利用する。フィルタ関数を求める演算方法は、従来公知の位相相関法から導かれるものであり、画像シフト量と位相差との間の相関関係を基調としている。
【００４５】
位相相関法によれば、ｘ−ｙ座標系の原点を中心にする基準の画像ｇ０（ｘ、ｙ）と、１ピクセルだけ＋ｘ方向にシフトした画像ｇ１（ｘ、ｙ）が存在するとき、位相相関法に基づいた以下の式によって、画像d１（ｘ、ｙ）が求められる。
【００４６】
【数１】
2011180670.tif 000003
【００４７】
ここで、Ｇ〜０（ｕ、ｖ）、Ｇ〜１（ｘ、ｙ）は、画像ｇ０（ｘ、ｙ）、ｇ１（ｘ、ｙ）を２次元離散フーリエ変換することによって得られるスペクトル画像を示し、オーバーチルダ「〜」は、複素数であることを示す。また、ＤＦＴ[・]、ＩＤＦＴ[・]を、それぞれＤＦＴ変換、ＩＤＦＴ変換として表す。Ｇ〜０（ｕ、ｖ）は、任意のｕ、ｖに対して｜Ｇ〜０（ｕ、ｖ）｜≠０を満たす（なお、以下の明細書での記載は、数式上での記載とは異なり、「Ｇ〜」のようにオーバーチルダ「〜」をＧに続けて記載する）。
【００４８】
画像ｄ１（ｘ、ｙ）は、任意の画像を１ピクセルだけ＋ｘ方向にシフトする為のＦＩＲフィルタのインパルス応答であり、ｇ１（ｘ、ｙ）とｄ１（ｘ、ｙ）を畳込積分すると、ｇ２（ｘ、ｙ）が得られる。
【００４９】
位相相関法では、スペクトル画像Ｇ〜０（ｘ、ｙ）とＧ〜１（ｘ、ｙ）の商（正規化パワースペクトル）を逆２次元離散フーリエ変換（ＩＤＦＴ変換）した関数（位相相関関数）を用いて相関ピークの座標を求め、その求めたピーク座標を画像間の変位量、ずれとして検出する。
【００５０】
同様に、画像ｇ０（ｘ、ｙ）と１ピクセルだけ＋ｙ方向にシフトした画像ｇ２（ｘ、ｙ）が存在するとき、そのシフトを行う為のインパルス応答ｄ２（ｘ、ｙ）は、位相相関法に基づいた以下の式によって求められる。ただし、Ｇ〜２（ｘ、ｙ）は、画像ｇ２（ｘ、ｙ）を２次元離散フーリエ変換することによって得られるスペクトル画像を表す。
【００５１】
【数２】
2011180670.tif 000004
【００５２】
したがって、基準の画像ｇ０（ｘ、ｙ）に対し（Δｘ、Δｙ）だけシフトさせる為の画像シフト用インパルス応答ｄ（ｘ、ｙ）を用いてシフトさせた画像ｇｍが存在する場合、以下の式が成立する。ただし、Ｇ〜m（ｕ、ｖ）は、画像ｇｍ（ｘ、ｙ）を２次元離散フーリエ変換することによって得られるスペクトル画像を表す。また、サブピクセルの画像シフト量を規定するため、−０．５≦Δｘ、Δｙ≦＋０．５の範囲を満たすことを条件とする。
【００５３】
【数３】
2011180670.tif 000005
【００５４】
（３）式は、座標位置の異なる２つの画像間の位置ずれを求める演算式であるが、逆に、基準画像ｇ０（ｘ、ｙ）に対する画像シフト量（Δｘ、Δｙ）が明らかである場合、シフトの為のインパルス応答ｄ（ｘ、ｙ）を用いて、シフトさせた画像ｇｍを以下の式によって求めることができる。ただし、Ｄ〜（ｕ、ｖ）は、画像シフト用インパルス応答ｄ（ｘ、ｙ）をＤＦＴ変換したスペクトル成分（＝ＤＦＴ［ｄ（ｘ、ｙ）］）を表す。
【００５５】
【数４】
2011180670.tif 000006
【００５６】
ここで、インパルス応答ｄ（ｘ、ｙ）に応じたスペクトルＤ〜（ｕ、ｖ）の偏角ａｒｇをフィルタ関数φ（ｕ、ｖ）として定めると、任意のｕ、ｖに対してスペクトルＤ〜（ｕ、ｖ）の絶対値｜Ｄ〜（ｕ、ｖ）｜＝１であることから、以下の式が成立する。ただし、ｊは虚数単位であり、ｅｘｐ[・]は自然対数ｅの累乗を示す。
【００５７】
【数５】
2011180670.tif 000007
【００５８】
フィルタ関数φ（ｕ、ｖ）は画像シフト量（Δｘ、Δｙ）に応じた偏角、すなわち位相差を定めるが、位相差と画像シフト量の線形性から、（１）、（２）式で示すような１ピクセルずれるときの偏角を単位量として求めることができる。すなわち、フィルタ関数φ（ｕ、ｖ）は、（１）、（２）式で示したｄ１（ｘ、ｙ）、ｄ２（ｘ、ｙ）のスペクトル成分を基調とする以下の式によって規定される。ただし、Ｄ〜１（ｕ、ｖ）、Ｄ〜２（ｕ、ｖ）は、（１）、（２）式で示したｄ１（ｘ、ｙ）、ｄ２（ｘ、ｙ）をＤＦＴ変換して得られるスペクトル成分である。
【００５９】
【数６】
2011180670.tif 000008
【００６０】
（６）式に示すように、フィルタ関数φ（ｕ、ｖ）は、ｘ方向の１ピクセルシフト（ｘ＝１、ｙ＝０）、ｙ方向の１ピクセルシフト（ｘ＝０、ｙ＝１）のスペクトルＤ〜１（ｕ、ｖ）、Ｄ〜２（ｕ、ｖ）に対し、シフト量Δｘ、Δｙをそれぞれ累乗することによって得られる。したがって、画像シフト量（Δｘ、Δｙ）が定められると、その画像シフト量（Δｘ、Δｙ）に応じた位相差だけスペクトル画像を位相シフトさせるフィルタ関数φ（ｕ、ｖ）が一義的に求められる。
【００６１】
図３に示すように、位相差と空間周波数との間には線形関係があり、同じ画像シフト量であっても、高周波数成分ほどシフトさせる位相の大きさ（位相差）が大きくなる。例えば、１／８ピクセル周期の周波数成分でを１ピクセルだけシフトするには、４５度位相を変化させる必要があり、１／４ピクセル周期の周波数成分では９０度位相を変化させる必要がある。
【００６２】
したがって、フィルタ関数φ（ｕ、ｖ）は、ｕ、ｖの各周波数成分に対し、周波数の大きさに比例して増加する位相差（位相シフト量）θ（ｕ、ｖ）を定める。図４では、ｘ、ｙ方向に１ピクセル分だけ画像シフトさせるときの位相差を実線で示し、ｘ、ｙ方向にΔｘ、Δｙだけ画像シフトさせるときの位相差を破線で示している。
【００６３】
なお、Δｘ、Δｙは、上述したように−０．５以上＋０．５以下の範囲であることを条件とする。条件を満たさない場合、入力画像をｘ、ｙ方向に整数倍だけ画素シフトさせる。例えば、Δｘ＝１０．３、Δｙ＝−４．８の場合、入力画像をｘ方向に−１０、ｙ方向に＋５シフトさせ、Δｘ’＝１０．３−１０＝０．３、Δｙ’＝−４．８＋５＝−０．２に調整する。
【００６４】
ところで、フィルタ関数φ（ｕ、ｖ）をそのまま利用してシフト画像を生成すると、高周波数成分の位相シフトによってノイズが生じる。位相シフトは、各周波数成分を変えず位相を前後にずらすため、高周波数成分のピーク値（振幅値）を無理に変動させる。その結果、エッジ部分などの高周波数成分の画像近傍にリンギングなどノイズが生じ、画質を劣化させる。
【００６５】
そこで本実施形態では、周波数成分が高い領域において位相シフト量を減少させる加重フィルタ関数Ｆ（ｕ、ｖ）に基づいてシフト画像ｇｓを生成する。加重フィルタ関数Ｆ（ｕ、ｖ）は、次式に示すように、フィルタ関数φ（ｕ、ｖ）に重み関数Ｗ（ｕ、ｖ）を乗じることによって得られる。ここでは、高周波数成分の位相差を減少させる窓関数が重み関数Ｗ（ｕ、ｖ）として適用されており、例えば、三角窓、ハミング窓、ハニング窓、ブラックマン窓、ガウス窓が使用される。
【００６６】
【数７】
2011180670.tif 000009
【００６７】
重み関数Ｗ（ｕ、ｖ）は、高周波数成分が大きいほど減少量Ｔが大きくするように、周波数成分に応じて重み付けしている。図５には、重み付けを作用させた加重フィルタ関数Ｆ（ｕ、ｖ）による位相シフト量を実線で示しており、フィルタ関数φ（ｕ、ｖ）のみを用いる場合の位相シフト量を破線によって示している。１／２ナイキスト周波数まではフィルタ関数φ（ｕ、ｖ）と位相差θ（ｕ、ｖ）は略同じ値であるが、１／２ナイキスト周波数付近から徐々に減少する。位相シフト量の減少の仕方は、窓関数の特性、すなわち、二次曲線、ガウス曲線等に従う。
【００６８】
加重フィルタ関数Ｆ（ｕ、ｖ）は、高周波数成分の位相シフト量を減少させるため、スペクトル画像の高周波成分は、画像シフト量（Δｘ、Δｙ）に応じた位相シフト量まで位相シフトしない。しかしながら、この位相シフト不足は、視覚特性上、画質に関して大きな影響を及ぼさない。加重フィルタ関数Ｆ（ｕ、ｖ）を用いて位相シフトさせたスペクトル画像Ｇ〜ｓ（ｕ、ｖ）は、以下の式によって得られる。
【００６９】
【数８】
2011180670.tif 000010
【００７０】
したがって、基準となる画像ｇ０（ｘ、ｙ）に対して目標となる画像シフト用インパルス応答ｄ（ｘ、ｙ）＝（Δｘ、Δｙ）が定められたとき、シフト画像ｇｓ（ｘ、ｙ）は以下の式で求められる。
【００７１】
【数９】
2011180670.tif 000011
【００７２】
このように本実施形態によれば、複数の撮影画像を互いに微小変位シフトさせて重ね合わせる超解像処理において、スペクトル画像を位相シフトさせる画像シフト処理によって対象画像の座標位置をシフトさせる。位相シフト処理では、所定の画像シフト量（Δｘ、Δｙ）に応じた位相差だけ位相シフトさせるフィルタ関数φ（ｕ、ｖ）を求めるとともに、高周波数成分ほど位相シフト量の大きさを減少させる重み関数Ｗ（ｕ、ｖ）をフィルタ関数φ（ｕ、ｖ）に乗じ、２つの関数の積である加重フィルタ関数Ｆ（ｕ、ｖ）によってスペクトル画像を位相シフトさせる。これにより、画像シフト量（Δｘ、Δｙ）に基づいて得られた位相シフト量よりも絶対値が小さな位相シフト量（抑制位相差）によって、スペクトル画像の高周波数成分が位相シフトする。
【００７３】
高周波数成分の位相シフト量が少ないため、シフト画像を生成したときに高周波数成分付近でリンギングなどノイズが生じない。そのため、画像の重ね合わせたとき高解像度の拡大画像を得ることができる。
【００７４】
画像シフト量（Δｘ、Δｙ）は任意であり、複数の画像を基準位置に対し１／ｎ（ｎは整数）ピクセルずつ微小シフトさせ、拡大画像を生成するように構成してもよい。また、画像シフト量（Δｘ、Δｙ）の値を変えたときのフィルタ関数をあらかじめメモリに記録し、定められた画像シフト量（Δｘ、Δｙ）に対応するフィルタ関数を読み出すように構成してもよい。
【００７５】
重み関数Ｗ（ｕ、ｖ）による位相シフト量の減少量、および減少量の変化は、図５に示すような減少量、変化に限定されない。例えば、所定の周波数成分から位相シフト量を一定にするような重み付けであってもよい。あるいは、周波数が大きくなるほど位相シフト量を大きくするが、その変化率が徐々に減少するようにしてもよい。フィルタ関数φ（ｕ、ｖ）によって定められる位相シフト量よりも小さい位相シフト量が高周波数において設定されればよい。
【００７６】
重み付けによって位相シフト量を低減する周波数領域は特に制限はなく、１／２ナイキスト周波数より大きい高周波数領域（例えば２／３、３／４ナイキスト周波数以上）に対して重み付けを行ってもよい。あるいは、連続的な周波数領域で連続的に減少量を大きくする重み付けだけでなく、ある周波数成分に対して位相シフト量を減少させてもよい。
【００７７】
周波数変換、逆周波数変換の方式としては、離散フーリエ変換、逆理酸フーリエ変換に限定されず、ウェーブレッド変換、アダマール変換など他の周波数変換、逆周蓮変換を適用してもよい。また、上記一連の画像処理をソフトウェア、すなわちＲＯＭなどの記録媒体に記録されるプログラムによって実行させてもよい。
【００７８】
次に、図６、７を用いて第２の実施形態である撮影装置について説明する。第２の実施形態では、高分解能の撮影画像を生成する。それ以外の構成については、実質的に第１の実施形態と同じである。
【００７９】
図６は、第２の実施形態である撮影装置のブロック図である。
【００８０】
撮影装置１００は、ＣＣＤ１１２、前処理部１１４、システムコントロール回路１１６
画像合成部１１８、出力部１１９を備えたカメラ、カメラ付き携帯電話などの携帯型撮影装置である。静止画像記録のためオペレータによるボタン操作が行われると、撮影動作が実行される。ここでは、２枚の静止画像を連続撮影する。
【００８１】
画像合成部１１６では、２枚の画像をシフトさせずに同じ位置座標でマッチングさせる。このとき、２枚の画像間に相対的位置ずれが生じているかを位相相関法によって検出し、位置ずれが生じている場合、位置ずれを解消するように一方の画像をシフトさせる。２つの画像を重ね合わせた高解像度の画像データは、記録装置１１７へ記録されるとともに、出力部１１９を介して外部のモニタ等へ出力される。
【００８２】
図７は、画像合成部のブロック図である。
【００８３】
第１画像データｇ１と第２画像データｇ２は、それぞれ第１ＤＦＴ処理部１２１、第２ＤＦＴ処理部１２２において２次元離散フーリエ変換される。第１画像データｇ１に対するフーリエ変換処理によって生成される第１スペクトル画像Ｇｉ１と第２画像データｇ２に対するフーリエ変換処理によって生成される第２スペクトル画像Ｇｉ２は、ずれ検出部１３１に送られる。
【００８４】
ずれ検出部１３１では、位相相関法によって画像ｇ１、ｇ２の相対的位置ずれを検出する。撮影時に撮影位置をずらすことなく２つの静止画像を連続的に記録することができれば、画像間の位置ずれは生じない。しかしながら、実際には、手ぶれなどに起因して連続記録中にも撮影位置が微妙に変化し、画像間の位置ずれが生じる。検出されるずれ量（Δｘ、Δｙ）は、フィルタ演算部１２４へ送られる。
【００８５】
フィルタ演算部１２４では、第１の実施形態と同様に、ずれ量（Δｘ、Δｙ）に応じたフィルタ関数φが求められる。そして、演算子１２３においてフィルタ関数φに対し重み関数Ｗを乗じ、加重フィルタ関数Ｆが得られる。
【００８６】
演算子１２５において第１スペクトル画像Ｇｉ１に加重フィルタ関数Ｆを乗じることにより、位相シフトさせたスペクトル画像Ｇｓが生成される。そして、位相シフトしたスペクトル画像Ｇｓは、ＩＤＦＴ処理部１２８において２次元逆離散フーリエ変換される。これにより、シフト画像データｇｓが生成される。
【００８７】
座標位置が同一である第２画像データｇ２とシフト画像データｇｓは、画像加算装置１３１において重ね合わせされる。これにより、ビット深度分解能の高い高分解能静止画像が得られる。すなわち、対応するピクセル間の平均値を算出することにより、Ａ／Ｄ変換ノイズを除去した情報量の多い画素値を求めることができる。
【００８８】
このように第２の実施形態によれば、同じ撮影位置で複数の画像を取得するときに手ぶれ等が生じても、同一位置による複数の画像を重ね合わせることができ、ビット深度のある高解像度画像を得ることができる。
【００８９】
なお、３つ以上の撮影画像を重ね合わせる超解像処理を行ってもよい。また、静止画像の記録動作だけでなく、動画像撮影において得られる一連のフレーム画像を重ね合わせるように構成してもよい。また、内視鏡システムの動画像撮影時において複数のフレーム画像を重ね合わせるとき、カメラ保持によって生じる手ぶれを解消するようにサブピクセルシフトさせてもよい。
【００９０】
次に、図８を用いて、第３の実施形態である撮影装置について説明する。第３の実施形態では、撮影位置をサブピクセルレベルで微小変位させながら複数の撮影画像を取得し、手ぶれなどに起因して生じる撮影画像のずれを補正した後に、複数の撮影画像を合成して高解像度画像を生成する。
【００９１】
図８は、第３の実施形態である撮影装置の画像合成部のブロック図である。なお、撮影装置全体のブロック図は、第２の実施形態と実質的に同じであるため、ここでは省略する。
【００９２】
第３の実施形態における画像合成部２１６は、撮影画像に関して画像のずれを検出するシフト量算出部２３２Ａ〜２３２Ｃと、重み付け処理を行う調整部２４２Ａ〜２４２Ｃとを備える。さらに画像合成部２１６は、スペクトル画像の位相シフト処理を行う画像シフト部２４６Ａ〜２４６Ｃ、そして、複数の撮影画像を合成する加算器２５０を備える。
【００９３】
第３の実施形態では、サブピクセルレベルで撮影、すなわち微小に異なる複数の撮影位置で被写体を撮影する。そして、これらの撮影画像を合成し、撮像素子の画素数よりも大きい画素数で構成される高解像度画像を生成する。具体的には、４つの撮影位置で被写体を撮影し、得られた４つの画像を合成する。
【００９４】
撮影のとき、手ぶれなどに起因して撮影位置がずれる状況が生じると、合成画像は予想される画像とは異なってしまう。そのため、実際の撮影位置にずれがあるか否かを検出し、位相シフト処理によって本来の撮影位置に対応した画像を生成する。例えば、１／２ピクセルだけ撮影位置を順次移動させて被写体を撮影したとき、手ぶれ等によって撮影位置がずれた場合、本来の撮影位置に合わせて画像を位相シフトさせる。
【００９５】
図８では、４つの撮影画像のうち第１画像が本来の撮影位置と実質的に同じ位置で撮影されたものと定め、それ以外の第２〜第４画像については、第１画像を基準とした本来の撮影位置と実際の撮影位置とのずれ量、すなわち位相シフト量を算出する。なお、位相シフト量の算出処理、重み付け処理は、第２の実施形態と同様の処理によって行われる。また、画像合成に関しても、従来公知の方法によって画素数を拡大した高解像度画像を生成する。
【００９６】
ここでは、説明を簡単にするため第１画像を基準画像と設定したが、４つの撮影画像の中でもっともずれ量の少ない画像を基準画像と設定する方法を採用することができる。この場合、システムコントール回路２００は、最小自乗法によって基準画像を選定する。
【００９７】
具体的に説明すると、まず、被写体のある特徴的な一点を基準点として抽出し、４つの画像それぞれにおける基準点の位置座標（ｘ１，ｙ１）、（ｘ２，ｙ２）、（ｘ３，ｙ３）、（ｘ４，ｙ４）を検出する。第１の画像を基準画像と仮定した場合、その他の第２〜第４画像との座標差（ｘ２−ｘ１、ｙ２−ｙ１）、（ｘ３−ｘ１、ｙ３−ｙ１）、（ｘ４−ｘ１、ｙ４−ｙ１）を求める。ただし、ｘ−ｙ座標は、１ピクセルを単位としてＣＣＤ受光面に沿って規定されている。
【００９８】
この座標差から、第２〜第４画像それぞれについて本来の（予定していた）座標位置（ｘｓ２、ｙｓ２）、（ｘｓ３、ｙｓ３）、（ｘｓ４、ｙｓ４）を推定、決定する。そして、決定された座標位置と実際の座標位置の差の自乗和ΔＥを、自乗誤差として算出する。
【００９９】
第２画像、第３画像、そして第４画像についても、同様に自乗誤差を求め、４つの中で最も自乗誤差が少ない画像を基準画像と定める。第１画像以外の画像が基準画像として決定された場合、基準画像の画像データが加算器２５０およびシフト量算出部２３２Ａ〜２３２Ｃへ送信される。それ以外の画像データは、シフト量算出部２３２Ａ〜２３２Ｃへ送信される。
【０１００】
シフト量算出部２３２Ａ〜２３２Ｃは、入力される画像データの本来の撮影位置情報をシステムコントロール回路２００から受信する。そして、実際の撮影位置に基づく基準画像からの距離間隔と、本来の（予定された）撮影位置情報に基づく基準画像からの距離間隔に基づき、位相相関法によってスペクトル画像の画像位置ずれを検出する。
【０１０１】
例えば、６４０×４８０のピクセルから成るＣＣＤを備えた撮影装置において、１／２ピクセルずつ撮影位置を変位させて４つの画像を取得し、１枚の画像（１２８０×９６０）を生成する場合を考える。被写体のある一点を基準として定め、第１〜第４の画像において測定されるその基準点のｘ、ｙ座標が、それぞれ（１００．１、２００．２）、（１０３．７、２０２．４）、（９９．６、２０５．９）、（１０１．９、１９８．６）であったものとする。
【０１０２】
まず、第１の画像を基準画像と仮定して自乗誤差ΔＥを求める。第１〜第４の画像の小数点部分（０．１、０．２）、（０．７、０．４）、（０．６、０．９）、（０．９、０．６）を抽出し、第１の画像を基準としたときの差を求める。第１の画像と第２〜第４の画像との座標差は、それぞれ（０．６、０．２）、（０．５、０．７）、（０．８、０．４）となる。第１の画像は、基準座標（０，０）として定められる。
【０１０３】
算出された座標差から、第２〜第４の画像がそれぞれ（０．５、０．０）、（０．５、０．５）、（０．０、０．５）座標だけ移動した撮影位置の画像であると推測される。すなわち、第１の画像の撮影位置に対し、第２の画像の撮影位置がｘ方向へ１／２ピクセル、第３の画像の撮影位置がｘ、ｙ方向に１／２ピクセル、そして、第４の画像の撮影地がｙ方向に１／２ピクセルだけ相対的に移動させた位置と推定される（ただし、第４の画像については、０．８を−０．２とみなす）。
【０１０４】
そして、推定された本来の撮影位置と実際の撮影位置との差を求めた後、ｘ方向の自乗誤差ΔＥｘ（＝０．１２＋０２＋（−０．２）２）、ｙ方向の自乗誤差ΔＥｙ（＝０．２２＋０．２２＋（−０．１）２）が算出される。同様に、第２の画像、第３の画像、第４の画像を基準と仮定したときの自乗誤差を求める。４つの自乗誤差が求められると、その中で自乗誤差の値が最小の画像を基準画像として選定する。
【０１０５】
このように第３の実施形態によれば、サブピクセルレベルで撮影位置を微小変位させながら撮影することによって複数の画像が生成される。手ぶれ等の理由によって本来の微小シフト位置で撮影が行えなかった場合、位相シフト処理によって本来の撮影位置による画像が生成される。そして、複数の画像を合成することによって高解像度画像を得ることができる。
【０１０６】
なお、第１〜第３実施形態では、高解像度画像生成処理、超解像処理において画像シフト処理を利用する画像マッチングを実行しているが、それ以外の技術分野、例えば、コンピュータビジョン、バイオメトリクス、顕微鏡における画像解析、リモートセンシングにおける画像センシング、動画圧縮など、サブピクセルの精度で画像シフト処理を利用することが必要とされるアプリケーションに適用することも可能である。
【符号の説明】
【０１０７】
１０、１００  撮影装置
２０  画像シフト部
１１６  画像合成部
【図１】
2011180670.tif 000012
【図２】
2011180670.tif 000013
【図３】
2011180670.tif 000014
【図４】
2011180670.tif 000015
【図５】
2011180670.tif 000016
【図６】
2011180670.tif 000017
【図７】
2011180670.tif 000018
【図８】
2011180670.tif 000019