(57)【要約】【課題】観測された低解像度画像にエッジ部分が存在する場合に、再構成された超解像度画像上でもエッジのぼけを防ぎ、鋭敏さを保持できるような画像処理装置及び画像処理プログラムを提供する。【解決手段】画像データ入力部１に入力された低解像度画像フレーム列の基準フレームを基準フレーム選択部４で選択し、基準フレーム上の画像データを用いてエッジ判定用高解像度画像を高解像度画像生成部５で作成する。このエッジ判定用高解像度画像に基づきエッジ画素を検出し、エッジ情報を生成する。射影変換部８で写像された画像データを用いて再構成画像の輝度値を算出するが、輝度値を算出する場合に用いる写像データの参照範囲を、上記エッジ情報により縮小する方向に変更させる。【選択図】        図１
2006350562.tif 000002
【特許請求の範囲】
【請求項１】
同一シーンを撮影して得られる低解像度画像フレーム列を画像再構成領域に逆投影して初期高解像度画像を推定し、この初期高解像度画像から推定されるシミュレーション低解像度画像フレーム列と前記低解像度画像フレーム列との誤差を画像再構成領域に逆投影して超高解像度画像を再構成する画像処理装置において、
前記低解像度画像フレーム列の基準となる画像を基準フレームとして選択する基準フレーム選択部と、
前記基準フレーム選択部で選択された基準フレーム上の画像データを用いてエッジ判定用高解像度画像を生成する高解像度画像生成部と、
前記高解像度画像生成部で生成されたエッジ判定用高解像度画像におけるエッジ判定対象画素とこの画素の近傍画素における輝度値の変化度合いに基づいてエッジ判定対象画素がエッジ画素か否かを判定してエッジ画素に関するエッジ情報を生成するエッジ検出部と、
前記低解像度画像フレーム列の複数フレームの画像データや前記シミュレーション低解像度画像フレーム列と低解像度画像フレーム列との誤差を基準フレーム座標上に写像して前記画像再構成領域を形成する射影変換部と、
前記画像再構成領域に設定される再構成画像における構成点の輝度値を前記射影変換部で写像された画像データを用いて生成する際に、構成点を中心に設定された参照領域内に存在する写像された画素の輝度値を用いて該構成点の輝度値を生成する画像再構成部と、
前記画像再構成部で画像を再構成する際に、エッジ検出部の結果を参照し、射影変換部で写像された画素の周囲に存在する再構成画像の構成点群中のうちエッジ情報を有する構成点については該構成点を中心とする参照領域の大きさを縮小するように変更する再構成参照領域設定部とを備えたことを特徴とする画像処理装置。
【請求項２】
前記再構成参照領域設定部は、前記エッジ情報が水平方向のエッジである場合には参照領域の垂直方向の大きさを縮小するようにしたことを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記再構成参照領域設定部は、前記エッジ情報が垂直方向のエッジである場合には参照領域の水平方向の大きさを縮小するようにしたことを特徴とする請求項１記載の画像処理装置。
【請求項４】
同一シーンを撮影して得られる低解像度画像フレーム列を画像再構成領域に逆投影して初期高解像度画像を推定し、この初期高解像度画像から推定されるシミュレーション低解像度画像フレーム列と前記低解像度画像フレーム列との誤差を画像再構成領域に逆投影して超高解像度画像を再構成する画像処理プログラムにおいて、
コンピュータを、前記低解像度画像フレーム列の基準となる画像を基準フレームとして選択する基準フレーム選択手段と、
前記基準フレーム選択手段で選択された基準フレーム上の画像データを用いてエッジ判定用高解像度画像を生成する高解像度画像生成手段と、
前記高解像度画像生成手段で生成されたエッジ判定用高解像度画像におけるエッジ判定対象画素とこの画素の近傍画素における輝度値の変化度合いに基づいてエッジ判定対象画素がエッジ画素か否かを判定してエッジ情報を生成するエッジ検出手段と、
前記低解像度画像フレーム列の複数フレームの画像データや前記シミュレーション低解像度画像フレーム列と低解像度画像フレーム列との誤差を基準フレーム座標上に写像して前記画像再構成領域を形成する射影変換手段と、
前記画像再構成領域に設定される再構成画像の構成点の輝度値を前記射影変換手段で写像された画像データを用いて生成する際に、構成点を中心に設定された参照領域内に存在する写像された画素の輝度値を用いて該構成点の輝度値を生成する画像再構成手段と、
前記画像再構成部で画像を再構成する際に、エッジ検出部の結果を参照し、射影変換手段で写像された画素の周囲に存在する再構成画像の構成点群中のうちエッジ情報を有する構成点については、該構成点を中心とする参照領域の大きさを縮小するように変更する再構成参照領域設定手段として機能させるための画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、位置ずれのある複数の低解像度画像から高解像度画像を生成する超解像処理を用いた画像処理装置及び画像処理プログラムに関する。
【背景技術】
【０００２】
同一シーンを位置をずらしながら撮影して得られる複数枚の低解像度画像列から高解像度画像を構成する超解像処理と呼ばれる方法がある。広く利用されている再構成型超解像処理では、まず観測された低解像度画像列から初期の高解像度画像を推定し、そこからカメラモデルに基づき観測画像である低解像度画像列の各画素値を推定する。推定された画素値と実際の観測画素値の誤差を最小にするように高解像度画像を更新する。収束するまで更新処理を繰り返すことにより、最終的な超解像度画像を求めている。上記、再構成型超解像処理では、最終的な超解像度画像を得るために、一般的にバックプロジェクション（逆投影）法が用いられている。
【特許文献１】特開２００４−２７２８９５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
バックプロジェクション法では、初期高解像度画像の生成時や推定された画素値と実際の観測画素値の誤差を画像再構成領域に逆投影する場合に、バックプロジェクション関数（ＢＰＦ）を用いているが、このバックプロジェクション関数は、高解像度画像を生成するために画像再構成領域に設定された構成点の近傍の所定領域の画素を参照して重み付けを行い、画像再構成領域の構成点の輝度値を生成するようにしているので、低解像度画像列の画素値が平均化されたものとなり、エッジが存在している場合は、再構成された超解像度画像ではそのエッジに明瞭さはなく、ぼけが生じていた。
【０００４】
本発明は、上述した課題を解決するために創案されたものであり、観測された低解像度画像にエッジ部分が存在する場合に、再構成された超解像度画像上でもエッジのぼけを防ぎ、鋭敏さを保持できるような画像処理装置及び画像処理プログラムを提供することを目的としている。
【課題を解決するための手段】
【０００５】
上記目的を達成するために、請求項１記載の発明は、同一シーンを撮影して得られる低解像度画像フレーム列を画像再構成領域に逆投影して初期高解像度画像を推定し、この初期高解像度画像から推定されるシミュレーション低解像度画像フレーム列と前記低解像度画像フレーム列との誤差を画像再構成領域に逆投影して超高解像度画像を再構成する画像処理装置において、前記低解像度画像フレーム列の基準となる画像を基準フレームとして選択する基準フレーム選択部と、前記基準フレーム選択部で選択された基準フレーム上の画像データを用いてエッジ判定用高解像度画像を生成する高解像度画像生成部と、前記高解像度画像生成部で生成されたエッジ判定用高解像度画像におけるエッジ判定対象画素とこの画素の近傍画素における輝度値の変化度合いに基づいてエッジ判定対象画素がエッジ画素か否かを判定してエッジ情報を生成するエッジ検出部と、前記低解像度画像フレーム列の複数フレームの画像データや前記シミュレーション低解像度画像フレーム列と低解像度画像フレーム列との誤差を基準フレーム座標上に写像して前記画像再構成領域を形成する射影変換部と、前記画像再構成領域に設定される再構成画像における構成点の輝度値を前記射影変換部で写像された画像データを用いて生成する際に、構成点を中心に設定された参照領域内に存在する写像された画素の輝度値を用いて該構成点の輝度値を生成する画像再構成部と、前記画像再構成部で画像を再構成する際に、エッジ検出部の結果を参照し、射影変換部で写像された画素の周囲に存在する再構成画像の構成点群中のうちエッジ情報を有する構成点については、該構成点を中心とする参照領域の大きさを縮小するように変更する再構成参照領域設定部とを備えたことを特徴とする画像処理装置である。
【０００６】
また、請求項２記載の発明は、前記再構成参照領域設定部は、前記エッジ情報が水平方向のエッジである場合には参照領域の垂直方向の大きさを縮小するようにしたことを特徴とする請求項１記載の画像処理装置ある。
【０００７】
また、請求項３記載の発明は、前記再構成参照領域設定部は、前記エッジ情報が垂直方向のエッジである場合には参照領域の水平方向の大きさを縮小するようにしたことを特徴とする請求項１記載の画像処理装置である。
【０００８】
また、請求項４記載の発明は、同一シーンを撮影して得られる低解像度画像フレーム列を画像再構成領域に逆投影して初期高解像度画像を推定し、この初期高解像度画像から推定されるシミュレーション低解像度画像フレーム列と前記低解像度画像フレーム列との誤差を画像再構成領域に逆投影して超高解像度画像を再構成する画像処理プログラムにおいて、コンピュータを、前記低解像度画像フレーム列の基準となる画像を基準フレームとして選択する基準フレーム選択手段と、前記基準フレーム選択手段で選択された基準フレーム上の画像データを用いてエッジ判定用高解像度画像を生成する高解像度画像生成手段と、前記高解像度画像生成手段で生成されたエッジ判定用高解像度画像におけるエッジ判定対象画素とこの画素の近傍画素における輝度値の変化度合いに基づいてエッジ判定対象画素がエッジ画素か否かを判定してエッジ情報を生成するエッジ検出手段と、前記低解像度画像フレーム列の複数フレームの画像データや前記シミュレーション低解像度画像フレーム列と低解像度画像フレーム列との誤差を基準フレーム座標上に写像して前記画像再構成領域を形成する射影変換手段と、前記画像再構成領域に設定される再構成画像の構成点の輝度値を前記射影変換手段で写像された画像データを用いて生成する際に、構成点を中心に設定された参照領域内に存在する写像された画素の輝度値を用いて該構成点の輝度値を生成する画像再構成手段と、前記画像再構成部で画像を再構成する際に、エッジ検出部の結果を参照し、射影変換手段で写像された画素の周囲に存在する再構成画像の構成点群中のうちエッジ情報を有する構成点については、該構成点を中心とする参照領域の大きさを縮小するように変更する再構成参照領域設定手段として機能させるための画像処理プログラムである。
【発明の効果】
【０００９】
本発明によれば、超解像度画像を再構成する過程で、画像再構成領域に設定された再構成画像の構成点の輝度値を求めるときに、構成点の輝度値を算出するために用いる低解像度画像の画素の領域を参照領域として設定しているが、基準フレーム座標上に写像された低解像度画像の画素の周囲に存在する再構成画像の構成点がエッジ情報を有する場合、すなわちエッジを形成している場合であって、その構成点の参照領域内に当該の写像された画素が含まれる場合には、当該構成点を中心として設定された参照領域を減少させるようにしているので、構成点の輝度値を算出するときには、当該低解像度画像の画素の輝度値の寄与を減少させることができ、エッジの鋭さを保存することができる。
【００１０】
また、エッジ情報のエッジ方向が垂直方向のエッジならば、参照領域の水平方向の長さを縮小し、エッジ情報のエッジ方向が水平方向のエッジならば、参照領域の垂直方向の長さを縮小することで、エッジの方向に合わせた適切な処理が行える。
【発明を実施するための最良の形態】
【００１１】
以下、図面を参照して本発明の一実施形態を説明する。図１は本発明による画像処理装置の構成を示す。
【００１２】
画像処理装置は、画像データ入力部１、記憶部２、処理条件設定部３、基準フレーム選択部４、高解像度画像生成部５、エッジ検出部６、再構成参照領域設定部７、射影変換部８、画像再構成部９等で構成されており、観測された画像列や撮影された画像フレーム列などが画像データ入力部１に入力され、所定の画像処理が行われた後、画像再構成部９より、画像データが出力される。図示はしていないが、画像処理装置の各構成部分は、ＣＰＵ等の制御部によりコントロールされるか、各構成部分内設けられた制御部により制御される。また、図１の各構成部は、プログラムとして動作させることもでき、この場合は、コンピュータにより制御される。
【００１３】
まず、異なる角度、距離、時間等の変位をもって同一の対象物（同一のシーン）を撮影した複数フレームの画像や、ビデオ映像における一連のシーケンス等、若干の相違を持つ画像列（観測画像列）を取得する。これらの画像列を低解像度画像フレーム列として画像データ入力部１に入力する。入力された低解像度画像フレーム列は記憶部２に記憶される。
【００１４】
次に、超解像処理に使用する低解像度画像のフレーム数Ｎを決定し、基準フレームを決定する。本実施例では、観測画像列の中間に位置するフレーム（Ｎ／２）を基準フレームとするが、低解像度画像列の最初に位置する画像を基準フレームとしても良く、Ｎ枚の画像のうち、いずれを基準フレームにしても良い。
【００１５】
また、低解像度画像から高解像度画像への拡大率ｒを決定する。これらのデータを処理条件設定部３に入力する。処理条件設定部３は、フレーム数Ｎ、拡大率ｒを記憶部２に、基準フレーム番号を記憶部２と基準フレーム選択部４に送信する。記憶部２は入力された低解像度画像フレーム列の内、Ｎ枚のフレームを射影変換部８へ出力する。また、記憶部２は、拡大率ｒ、基準フレーム番号等も、射影変換部８へ出力する。
【００１６】
図２の上段は、選択されたＮ枚の低解像度画像の一例を示す。上述したように、これら一連の低解像度画像のうち、低解像度画像列の中間に位置するフレーム（Ｎ／２）を基準フレームとしている。
【００１７】
選択されたＮ枚の低解像度画像と拡大率ｒは、記憶部２から基準フレーム選択部４に送られる。基準フレーム選択部４は入力されたＮ枚の低解像度画像のうち基準フレーム（低解像度画像N/2）の画像を選択して高解像度画像生成部５に出力する。
【００１８】
高解像度画像生成部５では、エッジ判定用高解像度画像を基準フレーム上の画像データのみを用いて作成する。まず、拡大率ｒにより基準フレームの画像を拡大し、補間処理により画素を補間していく。図３に補間処理によりエッジ判定用高解像度画像を作成する一例を示す。図３に表示された黒丸が基準フレーム上の画素であり、白丸が補間により生成される画素（補間画素）を示す。また、拡大率ｒ＝２となっている。補間の方法としては、補間画素と補間画素の周囲に存在する基準フレーム上の画素との距離の比で求めた画素値で補間する線形補間を用いるようにしても良く、その他バイキュービック補間、Sｉｎｃ関数による補間等を用いるようにしても良い。
【００１９】
上記のように生成されたエッジ判定用高解像度画像は、高解像度画像生成部５からエッジ検出部６に出力されて、エッジ領域の検出が行われる。エッジ検出部６では、エッジ判定用高解像度画像の各画素についてエッジ検出を行うために所定のエッジ検出方法が用いられる。
【００２０】
例えば、Prewittフィルタを用いてテンプレートマッチングを行い、エッジを検出する方法を図４に示す。図４（ａ）に示す９点の画素（黒丸部分）のうち、中心の画素がエッジ判定対象画素となる。また、図４（ｂ）は水平方向のエッジ検出用のPrewittフィルタを、図４（ｃ）は垂直方向のエッジ検出用のPrewittフィルタを示し、各フィルタに表示されている９個の数値の位置は、図４（ａ）の９点の画素の位置に対応している。
【００２１】
図４（ａ）の９点の画素の輝度値（画素値）に、各画素位置に対応する図４（ｂ）のフィルタの各数値を掛け算し、９個の算出値の和を計算する。また、図４（ａ）の９点の画素の輝度値（画素値）に、各画素位置に対応する図４（ｃ）のフィルタの各数値を掛け算し、９個の算出値の和を計算する。そして、和の絶対値が所定の閾値Ｌを超える場合にエッジと判定するようにする。例えば、図４（ｂ）のフィルタを掛けた結果の値が閾値Ｌを超える場合には、エッジ判定対象画素は水平方向のエッジであると判定され、エッジの位置と方向が記録される。一方、図４（ｃ）のフィルタを掛けた結果の値が閾値Ｌを超える場合には、エッジ判定対象画素は垂直方向のエッジであると判定され、エッジの位置と方向が記録される。
【００２２】
エッジ判定の方法としては、上記のようにエッジ検出フィルタを用いるのではなく、ウェーブレット変換を用いても良い。ウェーブレット変換については、以下のようなことが知られている。
【００２３】
多重スケ−ル輝度勾配平面Ｍ（ｆ（ｘ，ｙ））の各値は、スケールパラメータｊが十分小さいとき、あるＫ＞０が存在し、次式のようになる。
【００２４】
Ｍｊ（ｆ（ｘ，ｙ））＝Ｋ×２ｊα
また、水平方向のウェーブレット変換Ｗ１（ｆ（ｘ，ｙ））の各値は、スケールパラメータｊが十分小さいとき、あるＫ１＞０が存在し、以下のようになる。
【００２５】
Ｗ１ｊ（ｆ（ｘ，ｙ））＝Ｋ１×２ｊα
また、垂直方向のウェーブレット変換Ｗ２（ｆ（ｘ，ｙ））の各値は、スケールパラメータｊが十分小さいとき、あるＫ２＞０が存在し、以下のようになる。
【００２６】
Ｗ２ｊ（ｆ（ｘ，ｙ））＝Ｋ２×２ｊα
ここで、αはリプシッツ指数と呼ばれ、fはαを超えない最大の整数と等しい回数だけ連続微分可能となる。エッジ判定対象画素（ｘ，ｙ）でのリプシッツ指数を計算すれば、連続微分可能回数を推定することができる。一般的には、輝度値の変化が滑らかであるほど、リプシッツ指数が大きくなる。したがって、リプシッツ指数が所定の閾値以下の場合、すなわち連続微分可能回数が所定の閾値以下の場合に、エッジを構成する画素であると判定でき、垂直方向のエッジか水平方向のエッジかの判定も行うことができる。
【００２７】
このような、検出処理が図３の例で示されたエッジ判定用高解像度画像の各画素について行われ、すべての画素についてエッジ判定が行われ、エッジ位置とエッジ方向が記憶されるとエッジ検出処理は終了する。
【００２８】
一方、記憶部２で選択されたＮ枚の低解像度画像は、射影変換部８に入力され、各低解像度画像フレーム上の画素が基準フレーム上へ写像される。低解像度画像フレーム列中の画素を基準フレームの座標上に写像（投影）して、すべての画素を基準フレーム上に集約することを考える。基準フレーム上の座標（ｘ，ｙ）とｋ番目のフレーム上の座標（ｘｋ，ｙｋ）には、以下の関係が成り立つことが知られている。
【００２９】
ｘ＝（ｃｘｋ＋ｄｙｋ＋ｅ）／（ａｘｋ＋ｂｙｋ＋１）
ｙ＝（ｆｘｋ＋ｇｙｋ＋ｈ）／（ａｘｋ＋ｂｙｋ＋１）
これらの式は射影変換と呼ばれａ〜ｈの８個のパラメータにより表される。パラメータ  ａ〜ｈは基準フレーム上の特徴点列を例えば Tomsai らの方法(Carlo Tomasi and Takeo Kanade,  Detection and Tracking of Point Features, Carnegie Mellon University Technical Report CMU-CS, April 1991)  を用いて各低解像度画像上で追跡し、8個以上の対応関係を得ることで求められる。８個のパラメータを求めることで、射影変換式が決定する。決定された射影変換式に従って基準フレーム上に、各低解像度画像フレーム列中の画素をすべて写像する。
【００３０】
次に、処理条件設定部３に入力された拡大倍率ｒを用いて基準フレーム上に写像された画像データと最初から基準フレーム上に存在していた画像データを拡大する。低解像度画像フレームの大きさを幅ｗ、高さｔとすると、再構成画像（超解像度画像）の幅Ｗと高さＴは、Ｗ＝ｒ×ｗ、Ｈ＝ｒ×ｔとなり、高解像度画像生成部５で生成されたエッジ判定用高解像度画像と同じ大きさになる。
【００３１】
図２は、低解像度画像フレーム列の画像データを基準フレーム上に写像し、拡大した状態を示す。拡大率ｒは、２倍の拡大率としている。白丸は基準フレーム上の画素であり、格子の交差点上に位置している。斜線付の丸は、基準フレーム上の画素以外の低解像度画像フレーム上の画素を示している。図では、低解像度画像（N/2）+1と低解像度画像Nの画素の写像のみについて例示しているが、基準フレーム（低解像度画像N/2）を除く低解像度画像１〜低解像度画像Ｎまでに含まれる画素についてすべてが基準フレーム上に写像される。白三角は、画像再構成領域における再構成画像の構成点を示し、この構成点の輝度値（画素値）が、基準フレーム座標上の画像データ、すなわち基準フレームを含む低解像度画像１〜低解像度画像Ｎの画素から算出される。
【００３２】
射影変換部８で写像拡大された画像データは、画像再構成部９に送られる。画像再構成部９では、超解像処理により超解像度画像を復元する。超解像処理のフローを示すのが、図６である。低解像度画像の複数フレームの画素を用いて超解像度画像を作成するため、基本的な超解像法の一つであるバックプロジェクション法（逆投影法）を用いる。
【００３３】
まず、反復回数の初期化、誤差の和の最小値の初期化等を行っておく（Ｓ１）。次に、バックプロジェクション関数（ＢＰＦ：Back Projection Function）と点拡がり関数（ＰＳＦ：Point Spread Function）を決定する（Ｓ２）。バックプロジェクション関数は、観測された低解像度画像列から初期の再構成画像（高解像度画像）を生成するとき、観測された低解像度画像列とシミュレーションにより得られる低解像度画像列間の誤差を再構成画像上に逆投影するときに用いられる。また、点拡がり関数は、カメラモデルと言われるもので、複雑なカメラ（撮像装置）の特性、例えば、カメラのＭＴＦ（Modulation Transfer Function）値、ＣＣＤのローパスフィルターの振る舞い、ピクセル密度やＡＤ変換等の電気的作用などを抽象化したものであり、再構成画像から推定されるシミュレーション低解像度画像フレーム列を生成するときに用いられる。
【００３４】
例えば、ＢＰＦとしては、高域の保存特性に優れるミッチェルフィルタ、ＰＳＦとしてはガウシアンフィルタを選択することができる。これらのフィルタの例を図１１に示す。実線で表示されているのがガウシアンフィルタであり、破線で表示されているのがミッチェルフィルタである。また、図１１の横軸はフィルタ中心からの距離（ピクセル）、縦軸は各フィルタの返す値を示す。各フィルタが値を返せる範囲、すなわちグラフが描かれている範囲を見ると、ガウシアンフィルタは−１．２５ピクセルから１．２５ピクセルまで描かれているので長さとしては２．５ピクセルとなる。他方、ミッチェルフィルタでは、−２ピクセルから２ピクセルまでであり、その長さは４ピクセルとなる。各フィルタが値を返せる範囲は台の大きさと呼ばれており、台の大きさは上記のようにミッチェルフィルタでＳ＝４、ガウシアンフィルタでＲ＝２．５である。
【００３５】
このＢＰＦとＰＳＦの２次元的な台の概念を示すのが、図１２と図１３である。図１２では、バックプロジェクションカーネルの台と示されている円形状の範囲が、再構成画像の構成点（白丸）が影響を受ける範囲であり、その範囲内に存在している低解像度画像の画素（斜線付きの丸）から前記再構成画像の構成点に関する重みが算出される。この台の範囲外に存在する低解像度画像の画素には影響を受けない。円形状の台の中心に存在する再構成画像の構成点を中心として参照する低解像度画像の画素が２次元的に分布している状態となっている。
【００３６】
台の範囲内に存在する低解像度画像の画素と再構成画像の構成点（白丸）との距離に応じてＢＰＦから異なる値が返され、この返された値が重み付け値となる。この重み付け値と重み付けを算出するのに使用された低解像度画像の画素値との積が構成点の輝度を算出する際に寄与することになる。このように、台の範囲は、構成点の輝度値を算出する場合に、構成点を中心として輝度値を算出するために用いる低解像度画像の画素を参照する領域である。
【００３７】
また、図１３に示されている点拡がり関数の台と表されている範囲（参照領域）が、低解像度画像の画素（斜線付きの丸）が影響を受ける範囲であり、ＢＰＦとは逆に、再構成画像上の画素（白丸）から低解像度画像の画素に関する重みが算出される。
【００３８】
ＢＰＦの台の設定については、図１２の例のように円形状の台を設定しても良いが、本実施例では、Ｘ方向の長さＳ１＝Ｓ、Ｙ方向の長さＳ２＝Ｓの正方形状の台（参照領域）を設定することとする。
【００３９】
上記ＢＰＦ、ＰＳＦの設定については、例えば、処理条件設定部３から上記のようにＰＳＦとＢＰＦの関数の選択ができるような構成としておけば、適宜他の関数にＰＳＦとＢＰＦを変更することができる。このようにして、ＰＳＦとＢＰＦの設定を行う（Ｓ２）。次に再構成画像の全ての構成点Ｘに関するＢＰＦの重みの総和を算出する（Ｓ３）。重みの総和を算出する処理（Ｓ３）のフローを示すのが図７である。まず、重みの総和の初期化を行い（Ｓ３１）、写像拡大画像データを射影変換部８より取得する（Ｓ３２）。
【００４０】
一方、エッジ位置とエッジ方向が記録されたエッジ検出データがエッジ検出部６から再構成参照領域設定部７に送られてきており、このエッジ検出データに基づいて参照領域を変更する（Ｓ３３）。この再構成参照領域の設定（台Ｓ１、Ｓ２）の手順を示すのが、図１０である。上述したように、ＢＰＦの参照領域は、初期値は正方形の台に設定されているので、その値に初期化する（Ｓ２１）。低解像度画像上の点ｙの再構成画像領域での座標をＺｙとすると、Ｚｙ（Ｉ，Ｊ）の近傍を囲む４つの構成点についてエッジが存在するかどうかをチェックする（Ｓ２２）。
【００４１】
この判定には、エッジ検出部６からのエッジ領域データを用いる。高解像度画像生成部５で作成されたエッジ判定用高解像度画像の画素と、再構成画像の構成点とは位置や大きさが完全に一致するので、エッジ判定用高解像度画像でエッジと判定された画素に対応する構成点についてはエッジが存在するものと判断される。Ｓ２２でエッジが存在する場合には、垂直方向のエッジか（Ｓ２３）、水平方向のエッジか（Ｓ２５）判断される。
【００４２】
垂直方向のエッジである場合には（Ｓ２３  YES）、４つの構成点のうちエッジが存在すると判断された構成点を中心とした台の水平方向の長さを半分のＳ／２にし（Ｓ２４）、水平方向のエッジである場合には（Ｓ２５  YES）、台の垂直方向の長さを半分のＳ／２にする（Ｓ２６）。垂直方向のエッジでもあり、水平方向のエッジでもある場合には、水平方向の台の長さと垂直方向の台の長さを共に半分のＳ／２にする。他方、Ｚｙ（Ｉ，Ｊ）の近傍を囲む４つの構成点にエッジが存在しない場合には、台の大きさを変更せずに処理を終了する（Ｓ２２  NO）。
【００４３】
図１０の処理の状態を具体的に示すのが、図１４、１５である。図１４は垂直方向にエッジが存在する場合の参照領域の変化を示し、図１５は水平方向にエッジが存在する場合の参照領域の変化を示す。図１４に表示されているＡ、Ｂ、Ｃ、Ｄの黒丸は再構成画像の構成点を示すものであり、高解像度画像生成部５で作成されたエッジ判定用高解像度画像を再構成画像の構成点に重ね合わせた状態を示す。また、構成点Ａ、Ｂ、Ｃ、Ｄは、低解像度画像上の点ｙを再構成画像領域に写像拡大した点Ｚｙ（Ｉ，Ｊ）を格子状に囲む最小の面積を形成する構成点である。このような関係にある構成点を抽出した後、各構成点位置についてエッジが検出されているかどうかをエッジ検出部６からのエッジ検出データに基づき確認する。
【００４４】
エッジ判定用高解像度画像のデータより、画素Ａ、Ｂ、Ｃ、Ｄの各々の輝度が、例えばＩＡ＝１００、ＩＢ＝５０、ＩＣ＝１００、ＩＤ＝５０とすると、垂直方向（Ｙ方向）にエッジがあるとエッジ判定部６で判定される。このエッジ検出データに基づいて、エッジ情報を有する構成点については、エッジの方向に基づき参照領域の大きさを縮小する方向に変更し、再設定する。
【００４５】
例えば、構成点Ｂについて考察すると、構成点Ｂは垂直方向のエッジ情報を有しているので、構成点Ｂを中心とするＢＰＦの台（参照領域）が、初期に設定されたＳ×Ｓの正方形領域から（Ｓ／２）×Ｓの長方形領域に変更される。また、図示はしていないが、構成点Ａ、Ｃ、Ｄのいずれも垂直方向のエッジ情報を有するので、参照領域の水平方向の長さがＳ／２となる。このようにすることにより、少なくとも構成点Ｂ、Ｄの各参照領域には点Ｚｙ（Ｉ，Ｊ）が入らないので、構成点Ｂ、Ｄの輝度値を生成する際に点Ｚｙ（Ｉ，Ｊ）の輝度値が寄与することがなくなり、エッジの鋭敏さが保存される。
【００４６】
図１５についても同様に、Ａ、Ｂ、Ｃ、Ｄの黒丸は再構成画像の構成点を示すものであり、高解像度画像生成部５で作成されたエッジ判定用高解像度画像を再構成画像の構成点に重ね合わせた状態を示す。また、構成点Ａ、Ｂ、Ｃ、Ｄは、再構成画像領域上の低解像度画像の点Ｚｙ（Ｉ，Ｊ）を格子状に囲む最小の面積を形成する構成点である。エッジ判定用高解像度画像のデータより、画素Ａ、Ｂ、Ｃ、Ｄの各々の輝度が、例えばＩＡ＝１００、ＩＢ＝１００、ＩＣ＝５０、ＩＤ＝５０とすると、水平方向（Ｘ方向）にエッジがあるとエッジ判定部６で判定される。
【００４７】
このエッジ検出データに基づいて、エッジ情報を有する構成点については、エッジの方向に基づき参照領域の大きさを縮小する方向に変更し、再設定する。構成点Ｂについて考察すると、構成点Ｂは水平方向のエッジ情報を有しているので、構成点Ｂを中心とするＢＰＦの台（参照領域）が、初期に設定されたＳ×Ｓの正方形領域からＳ×（Ｓ／２）の長方形領域に変更される。
【００４８】
また、図示はしていないが、構成点Ａ、Ｃ、Ｄのいずれも水平方向のエッジ情報を有するので、参照領域の垂直方向の長さがＳ／２となる。このようにすることにより、構成点Ａ、Ｂの各参照領域には点Ｚｙ（Ｉ，Ｊ）が入ることにはなるが、他方、構成点Ｃ、Ｄの各参照領域には点Ｚｙ（Ｉ，Ｊ）が入らずに、輝度値を生成する際に点Ｚｙ（Ｉ，Ｊ）の輝度値が寄与することがなくなり、エッジの鋭敏さが保存される。
【００４９】
なお、図１４、１５において、仮に初期設定の参照領域の大きさＳの値が小さくて、点Ｚｙ（Ｉ，Ｊ）が構成点Ｂの参照領域に最初から入っていない場合には、構成点Ｂがエッジ情報を有していても、初期の参照領域の大きさを変更する必要はなく、初期設定のまま使用する。これは、すべての構成点について適用される。
【００５０】
上記実施例では、点Ｚｙ（Ｉ，Ｊ）の近傍の構成点がエッジ情報を有する場合に、参照領域の大きさを初期設定から半分に変更するようにしているが、Ｓの大きさに応じて半分の縮小比率ではなく他の比率により縮小するようにしても良い。
【００５１】
ところで、ＢＰＦをＨＢとし、ＢＰＦの重みの総和をＳ（Ｘ）、低解像度画像上の点ｙの再構成画像領域での座標をＺｙとすると、Ｓ（Ｘ）＝ΣＨＢ（Ｘ−Ｚｙ）となる。例えば、低解像度画像上の点ｙ＝（ｉ，ｊ）について、まず射影変換部５の射影変換を用いて、基準フレーム上の座標（ｉ’，ｊ’）に変換する。その後（ｉ’，ｊ’）をそれぞれｒ倍して再構成画像領域上の点Ｚｙに移す。
【００５２】
点Ｚｙを格子状に囲む最小の面積を形成する再構成画像の構成点がエッジ情報を有する場合には、上記のように参照領域の大きさを変更し、エッジ情報を有さない場合には初期設定の参照領域のままで、構成点Ｘ（ｐ，ｑ）に関してＨＢにより重みを算出して、Ｓ（Ｘ）に加算する（Ｓ３４）。このようにして、各低解像度画像フレームの画素値を用いて再構成画像上のすべての構成点Ｘに関する重みを算出してＳ（Ｘ）に加算する（Ｓ３５）。
【００５３】
次に、初期高解像度画像を算出する（Ｓ４）。初期高解像度画像の生成処理のフローを図８に示す。再構成画像の初期化を行った後（Ｓ４１）、射影変換部８より写像拡大画像データを取得する（Ｓ４２）。初期高解像度画像上の点Ｘの輝度値（画素値）Ｆ（Ｘ）は、低解像度画像上の点ｙの輝度値をｆ（ｙ）、正規化のための定数をｃとすると、Ｆ（Ｘ）＝Σ（ｆ（ｙ）×（ＨＢ（Ｘ−Ｚｙ））２／ｃＳ（Ｘ））となる。この演算式により、初期高解像度画像を生成する（Ｓ４４）。上記のように生成の過程でＨＢ（Ｘ−Ｚｙ）が使用されるが、このバックプロジェクション関数の参照領域（台）を図１０のフローにしたがって変更する（Ｓ４３）。
【００５４】
図１０、１４、１５については既に説明したので省略するが、点Ｚｙを格子状に囲む最小の面積を形成する再構成画像の構成点がエッジ情報を有する場合には、参照領域の大きさを変更し、エッジ情報を有さない場合には初期設定の参照領域のままで、構成点Ｘ（ｐ，ｑ）に関してＨＢにより重みを算出して、それを二乗したものと輝度値ｆ（ｙ）と掛け算し、ｃＳ（Ｘ）により正規化することにより構成点Ｘに寄与する輝度値が算出される。そして、構成点Ｘを中心とする参照領域に存在するすべての点Ｚｙについて構成点Ｘに寄与する輝度値が算出されると、これらの和が構成点Ｘの輝度値となる。再構成画像のすべての構成点について輝度値が算出された場合に図８の処理は終了する（Ｓ４５）。
【００５５】
次に、再び図６を参照して、Ｓ４で生成された高解像度画像から低解像度画像フレーム列を推定する（Ｓ５）。このシミュレーション低解像度画像フレーム列の算出は次式により行われる。ＰＳＦをＨＰ、反復演算の回数ｎとすると、ｎ＋１回目の反復演算中のｋ番目の低解像度フレーム
ｆｋ（ｎ）は、ｆｋ（ｎ）（ｙ）＝ΣＦ（ｎ）（Ｘ）ＨＰ（Ｘ−Ｚｙ）となる。
【００５６】
Ｓ４、Ｓ５の処理（画像再構成）の概念図を図５に示す。図５（ａ）、（ｂ）に示すように、低解像度画像フレームをすべて基準フレーム上に写像して拡大処理を行い、バックプロジェクション法を用いて再構成画像を構成する構成点を補間していく。構成点の一部は、図２に示すように、基準フレーム上の画素と重なっている場合があり、この場合には、再構成画像の構成点が補間されるというよりは、基準フレーム上の画素の輝度値の補正処理が行われたと言える。他方、図５（ｂ）のように、１枚の初期高解像度画像が構成された後は、この高解像度画像を点拡がり関数を用いてダウンサンプリングして、図５（ｃ）のようなシミュレーション低解像度画像１〜Ｎを得る。
【００５７】
このダウンサンプリングにより得られた低解像度画像フレーム列と観測された（撮影された）低解像度画像フレーム列との差（誤差）をとり、バックプロジェクション関数ＨＢにより重み付けして、再構成画像上での誤差値を算出する（Ｓ６）。図９に誤差算出（Ｓ６）のフローを示す。誤差の和ｅ（Ｘ）を初期化（Ｓ６１）した後、観測低解像度画像１〜Ｎとシミュレーション低解像度画像１〜Ｎの各フレームの対応する画素の輝度値の差をとり、これらのデータを射影変換部８に送信する。射影変換部８では、送信されてきた誤差データを射影変換式を用いて基準フレーム上へ写像し（Ｓ６２）、写像データをｒ倍に拡大する（Ｓ６３）。写像拡大された誤差データは、画像再構成部９に送られ、参照領域の設定が行われる（Ｓ６４）。
【００５８】
写像拡大された誤差データは再構成画像領域上に集約されていることになり、再構成画像上の構成点Ｘにおける誤差ｅ（Ｘ）は、
ｅ（Ｘ）＝Σ（（ｆｋ（ｙ）−ｆｋ（ｎ）（ｙ））×（ＨＢ（Ｘ−Ｚｙ））２／ｃＳ（Ｘ））
となる。（ｆｋ（ｙ）−ｆｋ（ｎ）（ｙ））の部分は、図５で説明すると、図５（ａ）の低解像度画像１〜Ｎと図５（ｃ）のシミュレーション低解像度画像１〜Ｎとの各対応するフレームの対応する画素間で誤差を算出することに相当する。
【００５９】
また、上記のように誤差ｅ（Ｘ）算出の過程でＨＢ（Ｘ−Ｚｙ）が使用されるが、このバックプロジェクション関数の参照領域（台）の設定（Ｓ６４）は、既述したように図１０、１４、１５に示すように行われる。点Ｚｙを格子状に囲む最小の面積を形成する再構成画像の構成点がエッジ情報を有する場合には、参照領域の大きさを変更し、エッジ情報を有さない場合には初期設定の参照領域のままで、構成点Ｘに関してＨＢにより重みを算出して、それを二乗したものと誤差（ｆｋ（ｙ）−ｆｋ（ｎ）（ｙ））と掛け算し、ｃＳ（Ｘ）により正規化することにより構成点Ｘに寄与する誤差の輝度値が算出される（Ｓ６５）。
【００６０】
そして、構成点Ｘを中心とする参照領域に存在するすべての点Ｚｙについて構成点Ｘに寄与する誤差の輝度値が算出されると、これらの和が構成点Ｘの誤差となる。再構成画像のすべての構成点について誤差が算出された場合に図９の処理は終了する（Ｓ６６）。
【００６１】
再び図６を参照し、再構成画像上のすべての構成点における誤差の総和Ｅ＝Σｅ（Ｘ）を求め（Ｓ７）、これを一旦、誤差の最小値Eminとして取り扱い、誤差を再構成画像上へ逆投影する（Ｓ１０）。誤差の再構成画像上への逆投影は、誤差ｅ（Ｘ）を一つ前に再構成された再構成画像に加算することにより行われる。誤差の再構成画像上への逆投影は、反復演算の回数ｎ＝１のときは、上記誤差ｅ（Ｘ）を初期高解像度画像に加算することにより行われる。
【００６２】
次に、誤差が加算された再構成画像から再びシミュレーション低解像度画像列を生成し（Ｓ５）、前記同様、観測低解像度画像列との差（誤差）をとって写像拡大した後、再構成画像のすべての構成点Ｘにおける誤差を算出し（Ｓ６）、再構成画像上での誤差の総和Ｅを算出する（Ｓ７）。この誤差の総和ＥがEminと比較して小さい場合は（Ｓ８YES）、このときの誤差の総和ＥをEminとする（Ｓ９）。そして誤差を再構成画像上へ逆投影する（Ｓ１０）。
【００６３】
誤差の高解像度画像上への逆投影は、誤差ｅ（Ｘ）を一つ前に再構成された高解像度画像に加算することにより行われ、誤差ｅ（Ｘ）を高解像度画像上への逆投影するｎ回目の反復処理は、
Ｆ（ｎ）（Ｘ）＝Ｆ（ｎ−１）（Ｘ）＋ｅ（Ｘ）  となる。
【００６４】
誤差の総和Ｅが最小になるまで、Ｓ５〜Ｓ１０までを繰り返す。誤差の総和Ｅが最小になったときは、Ｆ（ｎ−１）を超解像度画像として処理を終了する。
【００６５】
上述の実施例では、複数毎の低解像度画像フレームから１枚の超解像度画像を生成することについて説明したが、これを複数枚の低解像度画像フレームから複数枚の超解像度画像を生成する場合にも応用することができ、エッジのぼけを防ぐことができる。
【００６６】
また、上述の実施例では再構成参照領域設定部で参照領域の大きさを縮小したが、参照領域を定義するバックプロジェクション関数を切り替えてもよい。 例えば、エッジ情報を有する再構成画像の構成点では低次の多項式を、エッジ情報を有しない該構成点では高次の多項式をバックプロジェクション関数として設定してもよい。
【図面の簡単な説明】
【００６７】
【図１】本発明の画像処理装置の構成を示す図である。
【図２】低解像度画像フレームの各画素を基準フレーム上に写像した様子を示す図である。
【図３】補間処理によりエッジ判定用高解像度画像を作成する状態を示す図である。
【図４】エッジ検出用フィルタの構成を示す図である。
【図５】画像再構成の概念を示す図である。
【図６】超解像処理を示すフローチャート図である。
【図７】ＢＰＦの重みの総和の算出を示すフローチャート図である。
【図８】初期高解像度画像の算出を示すフローチャート図である。
【図９】観測低解像度画像列とシミュレーション低解像度画像列との誤差の算出を示すフローチャート図である。
【図１０】再構成参照領域設定を示すの概念を示すフローチャート図である。
【図１１】ＢＰＦとＰＳＦの一例を示す図である。
【図１２】バックプロジェクションカーネルの台の概念を示す図である。
【図１３】点拡がり関数の台の概念を示す図である。
【図１４】垂直方向にエッジがある場合の参照領域の変更を示す図である。
【図１５】水平方向にエッジがある場合の参照領域の変更を示す図である。
【符号の説明】
【００６８】
１    画像データ入力部
２    記憶部
３    処理条件設定部
４    基準フレーム選択部
５    高解像度画像生成部
６    エッジ検出部
７    再構成参照領域設定部
８    射影変換部
９    画像再構成部
【図１】
2006350562.tif 000003
【図２】
2006350562.tif 000004
【図３】
2006350562.tif 000005
【図４】
2006350562.tif 000006
【図５】
2006350562.tif 000007
【図６】
2006350562.tif 000008
【図７】
2006350562.tif 000009
【図８】
2006350562.tif 000010
【図９】
2006350562.tif 000011
【図１０】
2006350562.tif 000012
【図１１】
2006350562.tif 000013
【図１２】
2006350562.tif 000014
【図１３】
2006350562.tif 000015
【図１４】
2006350562.tif 000016
【図１５】
2006350562.tif 000017