(57)【要約】【課題】折り返し歪を含む複数の入力画像から、折り返し歪が除去された高解像度の出力画像を生成する方法において、入力画像の必要枚数を低減する。【解決手段】各々が４方向（水平、垂直、右斜め及び左斜め方向）の折り返し歪を含む３枚の入力画像を高解像度化することによって、各々が４方向の折り返し歪を含む３枚の中間生成画像を生成する。位置推定部１２は、異なる入力画像間の位置ずれ量を推定する。加重計算部１４は、位置ずれ量と中間生成画像の画像信号から推定した中間生成画像上の輪郭方向とに基づいて、３枚の中間生成画像の夫々に対して画素毎に加重加算係数（ｗ0（ｘ，ｙ）、ｗ1（ｘ，ｙ）、ｗ2（ｘ，ｙ））を算出する。積和部１５は、加重加算係数を用いて３枚の中間生成画像の画像信号を画素毎に加重加算することにより、出力画像を生成する。【選択図】図４
2010033231.tif 000002
【特許請求の範囲】
【請求項１】
互いに位置ずれを含む複数の入力画像から、前記入力画像の解像度よりも高い解像度を有する１枚の出力画像を生成する画像処理装置において、
前記複数の入力画像を高解像度化することによって複数の中間生成画像を生成する高解像度化手段と、
前記位置ずれを表す位置ずれ情報と前記中間生成画像上の輪郭の方向とに基づき、前記複数の中間生成画像の夫々に対して画素毎に加重加算係数を導出する加重加算係数導出手段と、
前記加重加算係数を用いて前記複数の中間生成画像の画像信号を画素毎に加重加算することにより、前記出力画像を生成する積和手段と、を備えた
ことを特徴とする画像処理装置。
【請求項２】
前記加重加算係数導出手段は、
前記複数の中間生成画像の内の１枚以上の中間生成画像に基づいて前記輪郭の方向を推定する輪郭方向推定手段と、
前記位置ずれ情報に基づき、前記中間生成画像に含まれる複数の対象方向における折り返し歪を除去するための歪除去係数を前記対象方向ごとに且つ前記中間生成画像ごとに導出する歪除去係数導出手段と、を備え、
前記輪郭方向分類手段の推定結果と前記歪除去係数とに基づいて前記加重加算係数を導出する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記加重加算係数導出手段は、
前記複数の入力画像の内の１枚以上の入力画像に基づいて前記輪郭の方向を推定する輪郭方向推定手段と、
前記位置ずれ情報に基づき、各中間生成画像に含まれる複数の対象方向における折り返し歪を除去するための歪除去係数を前記対象方向ごとに且つ前記中間生成画像ごとに導出する歪除去係数導出手段と、を備え、
前記輪郭方向分類手段の推定結果と前記歪除去係数とに基づいて前記加重加算係数を導出する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記輪郭方向推定手段は、前記１枚以上の入力画像に対して画素毎に複数の輪郭抽出フィルタを適用して、その適用によって得た結果を高解像度化することにより前記中間生成画像上の各画素位置における輪郭の方向を推定し、推定方向に応じた輪郭方向成分値を前記対象方向ごとに且つ前記画素位置ごとに導出し、
前記加重加算係数導出手段は、前記対象方向ごとに、対応し合う前記輪郭方向成分値と前記歪除去係数の積を求めることで、前記加重加算係数を導出する
ことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
互いに位置ずれを含む複数の入力画像から、前記入力画像の解像度よりも高い解像度を有する１枚の出力画像を生成する画像処理装置において、
前記複数の入力画像を高解像度化することによって複数の第１中間生成画像を生成する高解像度化手段と、
前記位置ずれを表す位置ずれ情報に基づき、前記第１中間生成画像に含まれる複数の対象方向における折り返し歪を除去するための歪除去係数を前記対象方向ごとに且つ前記第１中間生成画像ごとに導出する歪除去係数導出手段と、
前記対象方向ごとに前記歪除去係数を用いて前記複数の第１中間生成画像の画像信号を加重加算することにより前記対象方向ごとに折り返し歪の低減を図り、各々が１つの対称方向の折り返し歪の低減が図られた複数の第２中間生成画像を生成する第１積和手段と、
前記複数の第２中間生成画像に含まれる１枚以上の第２中間生成画像に基づいて、前記第２中間生成画像上の各画素位置における輪郭の方向を推定し、推定方向に応じた輪郭方向成分値を前記対象方向ごとに且つ前記画素位置ごとに導出する輪郭方向推定手段と、
前記輪郭方向成分値を用いて前記複数の第２中間生成画像の画像信号を画素毎に加重加算することにより、前記出力画像を生成する第２積和手段と、を備えた
ことを特徴とする画像処理装置。
【請求項６】
撮影によって複数の画像を取得する撮像手段と、
前記複数の画像を複数の入力画像として受ける、請求項１〜請求項５の何れかに記載の画像処理装置と、を備えた
ことを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及びデジタルカメラ等の撮像装置に関する。本発明は、特に、複数枚の低解像度画像から折り返し歪が除去された高解像度画像を生成する技術に関する。
【背景技術】
【０００２】
複数の低解像度画像から１枚の高解像度画像を生成する画像処理方法が様々に提案されている。これらの方法の内、特許文献１に記載された方法について簡単に説明する。
【０００３】
特許文献１における構成では、標本化位置が互いに異なる複数組のデジタルデータから高解像度化データを生成する。複数組のデジタルデータは、複数の低解像度画像を表し、高解像度化データは高解像度画像を表す。ｋ番目のデジタルデータの標本化位置（Δk）に基づき、下記式（Ａ１）及び（Ａ２）を満たす係数ｗkを算出する。一方で、複数の低解像度画像（複数組のデジタルデータ）の夫々に対してナイキスト周波数以上の高周波成分を通過させるフィルタ処理を行い、該フィルタ処理後の画像を高解像度化する。そして、この高解像度化によって得られた複数の中間高解像度画像を係数ｗkに従って加重加算することにより、折り返し成分が除去された高解像度画像を生成する。
【０００４】
【数１】
2010033231.tif 000003
【０００５】
ここで、
Δkは、ｋ番目のデジタルデータの標本化位置であり、
ｗkは、ｋ番目のデジタルデータに対する重み（加重加算係数）であり、
２πｉにおけるｉは虚数単位である。
【０００６】
画像が一次元画像である場合を想定し、折り返し成分について説明する。標本化によって、アナログ信号である原信号がデジタル信号である標本化信号へと変換される。標本化とは、原信号ｆ（ｘ）とδパルス列（標本化パルス列）ｓ（ｘ）との積をとる操作に相当し、その積ｆ（ｘ）ｓ（ｘ）が、一次元の低解像度画像を表す標本化信号ｄ（ｘ）となる。ｆ（ｘ）、ｓ（ｘ）及びｄ（ｘ）は、実空間上の位置ｘの関数である。ｆ（ｘ）、ｓ（ｘ）及びｄ（ｘ）をフーリエ変換したものを、夫々、Ｆ（ω）、Ｓ（ω）及びＤ（ω）にて表す。Ｆ（ω）、Ｓ（ω）及びＤ（ω）は、角周波数ωの関数である。
【０００７】
今、各低解像度画像において隣接する画素間隔が１であるとする。そうすると、画素間隔の逆数に相当する標本化周波数は２πであり、ナイキスト周波数はπである。尚、πを用いて表した周波数は、角周波数ωである。また、原信号が、ナイキスト周波数の２倍、つまり［−２π，２π］に帯域制限されていると仮定する。図２０（ａ）に、［−２π，２π］に帯域制限された原信号のスペクトルＦ（ω）を示す。
【０００８】
標本化周波数が２πであるため、δパルス列のスペクトルＳ（ω）は、図２０（ｂ）に示す如く、周波数空間上で±ｎ・２πを成分とするインパルス列となる（ｎは整数）。この結果、図２０（ｃ）に示す如く、標本化信号のスペクトルＤ（ω）は、周波数空間上で、スペクトルＦ（ω）と同じ形状のスペクトルを周波数０、±２π、±２×２π、・・・を中心として書き並べたものとなる。原信号がナイキスト周波数以下に帯域制限されていないため、標本化信号には折り返し歪（エイリアシング）が含まれることになる。図２０（ｃ）において、折り返し歪は斜線領域にて表現されている。
【０００９】
標本化信号のスペクトルＤ（ω）の内、周波数０を中心とする、スペクトルＦ（ω）と同じ形状のスペクトル成分を、「基本波」と呼ぶ。標本化信号のスペクトルＤ（ω）の内、周波数±ｎ・２πを中心とする、スペクトルＦ（ω）と同じ形状のスペクトル成分を、「ｎ次高調波」と呼ぶ。
【００１０】
原信号が［−２π，２π］にて帯域制限されている場合、１つの高調波成分（一次高調波）が折り返されて、標本化信号に１つの高調波成分による折り返し成分が折り返し歪として混入する。
【００１１】
特許文献１の方法では、１つの高調波成分による折り返し成分を除去するために、式（Ａ１）及び（Ａ２）の条件式を満たす必要がある。式（Ａ１）は下記式（Ａ１ａ）及び（Ａ１ｂ）に分解されるため、式（Ａ２）と合わせて３種類の条件が必要となる。故に、１つの高調波成分による折り返し成分を除去するためには、合計３枚の低解像度画像が必要となる。
【００１２】
【数２】
2010033231.tif 000004
【００１３】
【特許文献１】特許第３５８３８３１号公報
【発明の開示】
【発明が解決しようとする課題】
【００１４】
上述の方法を二次元画像に適用することを考える。二次元画像では、水平及び垂直方向に複数の画素が等間隔でマトリクス状に配列されている。二次元画像としての各低解像度画像において、隣接する画素間隔は水平及び垂直方向において共に１であるとする。そうすると、標本化周波数は水平及び垂直方向において共に２πであり、ナイキスト周波数は水平及び垂直方向において共にπである。また、原信号が、水平及び垂直方向の夫々においてナイキスト周波数の２倍、つまり［−２π，２π］に帯域制限されていると仮定する。
【００１５】
或る１つの方向に沿った画像信号列にのみに着目し、その１つの方向についての折り返し成分を除去するだけなら、低解像度画像の枚数は３枚で足る。しかしながら、二次元画像では、画像信号が様々な方向に沿って分布するため、各方向について折り返し成分が発生しうる。図２１に、二次元画像についての折り返し成分の発生状況を示す。
【００１６】
図２１は、周波数空間上における基本波の分布及び一次高調波による折り返し成分の分布を示している。図２１において、左右方向は画像の水平方向に対応し、上下方向は画像の垂直方向に対応している。周波数空間を表す座標面上において、ナイキスト周波数の２倍の周波数に沿った境界線は破線矩形９１０によって表現される。図２１において、破線円９２０は、ナイキスト周波数の２倍の周波数以下における基本波の分布を表す。
【００１７】
二次元画像では、水平方向の位置変化に対して画像信号が変化するだけでなく、垂直方向の位置変化に対しても画像信号が変化する。更に、右斜め方向の位置変化に対しても画像信号は変化し、左斜め方向の位置変化に対しても画像信号は変化する。従って、水平及び垂直方向の夫々において原信号がナイキスト周波数以下に帯域制限されていない場合、水平方向に沿った画像信号列のスペクトルの一次高調波、垂直方向に沿った画像信号列のスペクトルの一次高調波、右斜め方向に沿った画像信号列のスペクトルの一次高調波、及び、左斜め方向に沿った画像信号列のスペクトルの一次高調波が折り返されて、それぞれが折り返し歪を生じさせる。図２１の破線円９２１、９２２、９２３、９２４は、夫々、画像の水平方向、垂直方向、右斜め方向、左斜め方向に対応する、一次高調波による折り返し成分を表している。
【００１８】
このように、二次元画像を考えた場合、除去されるべき折り返し成分は周波数空間の対称性から４つとなる。従って、特許文献１の方法を二次元画像に適用する場合は、４つの方向の夫々に対して式（Ａ１）と同等の式が必要となり、結果、２×４＋１＝９より、９種類の画像が必要となる。つまり、折り返し歪が除去された１枚の高解像度画像を生成するために、９枚の低解像度画像が必要となる。故に、特許文献１の方法にて二次元の高解像度画像を得るハードウェアでは、９枚の画像を保存する大容量メモリが必須となる。メモリの容量増大は、当然にコスト増大を招き、実用化を妨げる。
【００１９】
そこで本発明は、折り返し歪を除去するために必要なメモリ容量の低減に寄与する画像処理装置及び撮像装置を提供することを目的とする。
【課題を解決するための手段】
【００２０】
本発明に係る第１の画像処理装置は、互いに位置ずれを含む複数の入力画像から、前記入力画像の解像度よりも高い解像度を有する１枚の出力画像を生成する画像処理装置において、前記複数の入力画像を高解像度化することによって複数の中間生成画像を生成する高解像度化手段と、前記位置ずれを表す位置ずれ情報と前記中間生成画像上の輪郭の方向とに基づき、前記複数の中間生成画像の夫々に対して画素毎に加重加算係数を導出する加重加算係数導出手段と、前記加重加算係数を用いて前記複数の中間生成画像の画像信号を画素毎に加重加算することにより、前記出力画像を生成する積和手段と、を備えたことを特徴とする。
【００２１】
特許文献１の構成の如く位置ずれ情報のみに基づいて加重加算係数を導出するのではなく（図２２も参照）、位置ずれ情報と輪郭方向とに基づいて加重加算係数を導出する。更に、輪郭方向は画像上の位置が異なれば異なりうるので、加重加算係数を画素毎に導出するようにし、導出した加重加算係数を用いて複数の中間生成画像の画像信号を画素毎に加重加算する。これにより、複数方向の折り返し歪が低減された高解像度の出力画像を生成することが可能となる。
【００２２】
この構成によれば、画素毎に輪郭方向に応じた加重加算係数が導出され、画素毎に加重加算係数に従った折り返し歪除去用の加重加算がなされるため、輪郭方向の種類ごとに個別の入力画像を用意する必要はない。即ち、より少ない入力画像枚数にて複数方向の折り返し歪を低減することができる。
【００２３】
具体的には例えば、前記加重加算係数導出手段は、前記複数の中間生成画像の内の１枚以上の中間生成画像に基づいて前記輪郭の方向を推定する輪郭方向推定手段と、前記位置ずれ情報に基づき、前記中間生成画像に含まれる複数の対象方向における折り返し歪を除去するための歪除去係数を前記対象方向ごとに且つ前記中間生成画像ごとに導出する歪除去係数導出手段と、を備え、前記輪郭方向分類手段の推定結果と前記歪除去係数とに基づいて前記加重加算係数を導出する。
【００２４】
更に具体的には例えば、前記輪郭方向推定手段は、前記１枚以上の中間生成画像に対して画素毎に複数の輪郭抽出フィルタを適用することにより前記中間生成画像上の各画素位置における輪郭の方向を推定して、推定方向に応じた輪郭方向成分値を前記対象方向ごとに且つ前記画素位置ごとに導出し、前記加重加算係数導出手段は、前記対象方向ごとに、対応し合う前記輪郭方向成分値と前記歪除去係数の積を求めることで、前記加重加算係数を導出する。
【００２５】
或いは例えば、前記加重加算係数導出手段は、前記複数の入力画像の内の１枚以上の入力画像に基づいて前記輪郭の方向を推定する輪郭方向推定手段と、前記位置ずれ情報に基づき、各中間生成画像に含まれる複数の対象方向における折り返し歪を除去するための歪除去係数を前記対象方向ごとに且つ前記中間生成画像ごとに導出する歪除去係数導出手段と、を備え、前記輪郭方向分類手段の推定結果と前記歪除去係数とに基づいて前記加重加算係数を導出する。
【００２６】
そして例えば、前記輪郭方向推定手段は、前記１枚以上の入力画像に対して画素毎に複数の輪郭抽出フィルタを適用して、その適用によって得た結果を高解像度化することにより前記中間生成画像上の各画素位置における輪郭の方向を推定し、推定方向に応じた輪郭方向成分値を前記対象方向ごとに且つ前記画素位置ごとに導出し、前記加重加算係数導出手段は、前記対象方向ごとに、対応し合う前記輪郭方向成分値と前記歪除去係数の積を求めることで、前記加重加算係数を導出する。
【００２７】
本発明に係る第２の画像処理装置は、互いに位置ずれを含む複数の入力画像から、前記入力画像の解像度よりも高い解像度を有する１枚の出力画像を生成する画像処理装置において、前記複数の入力画像を高解像度化することによって複数の第１中間生成画像を生成する高解像度化手段と、前記位置ずれを表す位置ずれ情報に基づき、前記第１中間生成画像に含まれる複数の対象方向における折り返し歪を除去するための歪除去係数を前記対象方向ごとに且つ前記第１中間生成画像ごとに導出する歪除去係数導出手段と、前記対象方向ごとに前記歪除去係数を用いて前記複数の第１中間生成画像の画像信号を加重加算することにより前記対象方向ごとに折り返し歪の低減を図り、各々が１つの対称方向の折り返し歪の低減が図られた複数の第２中間生成画像を生成する第１積和手段と、前記複数の第２中間生成画像に含まれる１枚以上の第２中間生成画像に基づいて、前記第２中間生成画像上の各画素位置における輪郭の方向を推定し、推定方向に応じた輪郭方向成分値を前記対象方向ごとに且つ前記画素位置ごとに導出する輪郭方向推定手段と、前記輪郭方向成分値を用いて前記複数の第２中間生成画像の画像信号を画素毎に加重加算することにより、前記出力画像を生成する第２積和手段と、を備えたことを特徴とする。
【００２８】
第２の画像処理装置では、複数の入力画像及び位置ずれ情報に基づき、複数の第２中間生成画像が生成される。この際、１つの第２中間生成画像に対して１つの対象方向を対応させ、各第２中間生成画像に含まれる対応対象方向の折り返し歪が低減されるように、各第２中間生成画像を生成する。この後、第２中間生成画像上の輪郭の推定方向に応じた輪郭方向成分値を対象方向ごと且つ画素位置ごとに導出し、輪郭方向成分値を用いて複数の第２中間生成画像の画像信号を画素毎に加重加算する。これにより、複数方向の折り返し歪が低減された高解像度の出力画像を生成することが可能となる。
【００２９】
この構成によれば、画素毎に輪郭方向に応じた輪郭方向成分値が導出され、画素毎に輪郭方向成分値に従った折り返し歪除去用の加重加算がなされるため、輪郭方向の種類ごとに個別の入力画像を用意する必要はない。即ち、より少ない入力画像枚数にて複数方向の折り返し歪を低減することができる。
【００３０】
また例えば、第１又は第２の画像処理装置は、前記複数の入力画像間の前記位置ずれを前記入力画像の画素間隔よりも高い分解能にて検出して前記位置ずれ情報を生成する位置ずれ検出手段を更に備え、前記高解像度化手段は、前記位置ずれ情報に基づいて前記複数の入力画像間の位置合わせを行いつつ前記複数の入力画像の高解像度化を行う。
【００３１】
本発明に係る撮像装置は、撮影によって複数の画像を取得する撮像手段と、前記複数の画像を複数の入力画像として受ける画像処理装置と、を備え、その画像処理装置として、上記の第１又は第２の画像処理装置を用いることを特徴とする。
【発明の効果】
【００３２】
本発明によれば、折り返し歪を除去するために必要なメモリ容量の低減に寄与する画像処理装置及び撮像装置を提供することが可能となる。
【００３３】
本発明の意義ないし効果は、以下に示す実施の形態の説明により更に明らかとなろう。ただし、以下の実施の形態は、あくまでも本発明の一つの実施形態であって、本発明ないし各構成要件の用語の意義は、以下の実施の形態に記載されたものに制限されるものではない。
【発明を実施するための最良の形態】
【００３４】
以下、本発明の実施の形態につき、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。後に第１〜第４実施例を説明するが、まず、各実施例に共通する事項又は各実施例にて参照される事項について説明する。
【００３５】
本実施形態に係る画像処理装置は、３枚の低解像度画像を入力画像として受け、３枚の入力画像に基づいて高解像度画像である１枚の出力画像を生成する。３枚の入力画像は、入力画像ＩＮ0、ＩＮ1及びＩＮ2から成る。入力画像及び出力画像は、共に、二次元画像である。二次元画像は、水平及び垂直方向に複数の画素が等間隔でマトリクス状に配列されて形成される。高解像度画像の解像度は、低解像度画像のそれよりも高く、高解像度画像の水平方向及び垂直方向の画素数は、低解像度画像のそれよりも多い。
【００３６】
入力画像は、二次元の原信号を標本化することによって得られるデジタル画像である。３枚の入力画像は、同一の原信号を標本化することによって生成されるが、標本化位置は３枚の入力画像間で異なる。入力画像ＩＮ0を基準にして考えると、入力画像ＩＮ1は、入力画像ＩＮ0を位置ずれ量（Δ1H，Δ1V）に相当する分だけ位置ずれさせた画像であるとみなすことができ、入力画像ＩＮ2は、入力画像ＩＮ0を位置ずれ量（Δ2H，Δ2V）に相当する分だけ位置ずれさせた画像であるとみなすことができる。
【００３７】
異なる画像間の位置ずれ量は、水平成分及び垂直成分から成る二次元量であり、一般に動きベクトルとも呼ばれる。以下の説明では、位置ずれ量を、入力画像ＩＮ0を基準にして考える。Δ1H及びΔ1Vは、夫々、入力画像ＩＮ0及びＩＮ1間の位置ずれ量の水平成分及び垂直成分であり、Δ2H及びΔ2Vは、夫々、入力画像ＩＮ0及びＩＮ2間の位置ずれ量の水平成分及び垂直成分である。また、便宜上、入力画像ＩＮ0の位置ずれ量を（Δ0H，Δ0V）によって表す。入力画像ＩＮ0が基準となっているため、Δ0H＝Δ0V＝０である。
【００３８】
入力画像において、隣接する画素間隔は水平及び垂直方向において共に１であるとする。そうすると、入力画像についての標本化周波数は水平及び垂直方向において共に２πであり、この標本化のナイキスト周波数は水平及び垂直方向において共にπである。尚、πを用いて表した周波数は、角周波数ωである。また、原信号が、水平及び垂直方向の夫々においてナイキスト周波数の２倍、つまり［−２π，２π］に帯域制限されていると仮定する。
【００３９】
図１は、周波数空間上における、入力画像の基本波の分布及び一次高調波による折り返し成分の分布を示している。図１において、左右方向は画像の水平方向に対応し、上下方向は画像の垂直方向に対応している。周波数空間を表す座標面上において、ナイキスト周波数の２倍の周波数に沿った境界線は破線矩形２１０によって表現される。図１において、破線円２２０は、ナイキスト周波数の２倍の周波数以下における基本波の分布を表す。
【００４０】
上述の如く、水平及び垂直方向の夫々において原信号がナイキスト周波数以下に帯域制限されていない場合、水平方向に沿った画像信号列のスペクトルの一次高調波、垂直方向に沿った画像信号列のスペクトルの一次高調波、右斜め方向に沿った画像信号列のスペクトルの一次高調波、及び、左斜め方向に沿った画像信号列のスペクトルの一次高調波が折り返されて、それぞれが折り返し歪を生じさせる。図１の破線円２２１、２２２、２２３、２２４は、夫々、画像の水平方向、垂直方向、右斜め方向、左斜め方向に対応する、一次高調波による折り返し成分を表している。
【００４１】
４方向（即ち、水平方向、垂直方向、右斜め方向及び左斜め方向）の折り返し成分を特許文献１の方法によって除去するためには９枚の入力画像が必要であったが、本実施形態では、これを３枚の入力画像によって実現する（詳細は後述）。この実現のために、本実施形態では、位置ずれ量（Δ0H，Δ0V）、（Δ1H，Δ1V）及び（Δ2H，Δ2V）を用い、下記式（Ｂ１）〜（Ｂ８）を従って、４方向の折り返し成分（折り返し歪）を除去するための係数ｗkH、ｗkV、ｗkDR及びｗkDLを算出する。
【００４２】
【数３】
2010033231.tif 000005
【００４３】
係数ｗkH、ｗkV、ｗkDR及びｗkDLは、夫々、入力画像又は入力画像に基づく画像（後述の中間生成画像）に含まれる、水平方向の折り返し成分（破線円２２１に対応）、垂直方向の折り返し成分（破線円２２２に対応）、右斜め方向の折り返し成分（破線円２２３に対応）及び左斜め方向の折り返し成分（破線円２２４に対応）を除去するための係数である。より詳細には、係数ｗkHは、原信号の標本化時におけるナイキスト周波数の２倍の周波数帯域に制限された周波数領域［−２π，２π］内に含まれている、水平方向の折り返し成分（折り返し歪）を除去するための係数である（係数ｗkV、ｗkDR及びｗkDLについても同様）。
【００４４】
本実施形態では、図２に示すように、周波数空間上の各周波数領域に対して対応する係数を割り当てる。即ち例えば、実空間において、注目画像領域が図３（ａ）に示す如く水平方向に濃淡変化を有している場合は注目画像領域に対して係数ｗkHを割り当て、且つ、注目画像領域が図３（ｂ）に示す如く垂直方向に濃淡変化を有している場合は注目画像領域に対して係数ｗkVを割り当て、且つ、注目画像領域が図３（ｃ）に示す如く右斜め方向に濃淡変化を有している場合は注目画像領域に対して係数ｗkDRを割り当て、注目画像領域が図３（ｄ）に示す如く左斜め方向に濃淡変化を有している場合は注目画像領域に対して係数ｗkDLを割り当てる。この割り当てを含む、画像処理内容の詳細は後述する。
【００４５】
図３（ａ）〜（ｄ）に示すような濃淡変化が存在する画像領域には、画像上の輪郭が存在する。水平方向、垂直方向、右斜め方向、左斜め方向に沿って濃淡が変化することによって形成される輪郭の方向を、夫々、水平方向、垂直方向、右斜め方向、左斜め方向と定義する。従って例えば、図３（ａ）の画像領域に存在する輪郭の方向は、水平方向である。
【００４６】
＜＜第１実施例＞＞
本発明の第１実施例について説明する。図４は、第１実施例に係る画像処理装置１０の内部ブロック図である。
【００４７】
画像処理装置１０は、外部から入力画像ＩＮ0、ＩＮ1及びＩＮ2の画像信号を取得する入力画像取得部１１と、異なる入力画像間の位置ずれ量（Δ0H，Δ0V）、（Δ1H，Δ1V）及び（Δ2H，Δ2V）を推定する位置推定部１２と、位置推定部１２にて推定された位置ずれ量に基づいて３枚の入力画像を位置合わせしつつ各入力画像を高解像度化することにより高解像度画像である３枚の中間生成画像ＭＩＤ0、ＭＩＤ1及びＭＩＤ2を作成する位置合わせ／高解像度化部１３と、位置推定部１２にて推定された位置ずれ量と中間生成画像に基づいて加重加算係数ｗ0（ｘ，ｙ）、ｗ1（ｘ，ｙ）及びｗ2（ｘ，ｙ）を求める加重計算部１４と、その加重加算係数を用いて３枚の中間生成画像を加重加算することにより出力画像を生成する積和部１５と、を備える。
【００４８】
入力画像（ＩＮ0、ＩＮ1又はＩＮ2）を含む低解像度画像は、水平方向にＵNUM個及び垂直方向にＶNUM個の画素がマトリクス状に二次元配列された画像である。実空間において、低解像度画像上の画素位置を（ｕ，ｖ）にて表す。低解像度画像の左上隅に位置する低解像度画像の原点を基準として、原点の右側のｕ番目に配置され且つ原点の下側ｖ番目に配置される画素の位置が、（ｕ，ｖ）である。画素位置（ｕ，ｖ）に配置される、入力画像ＩＮk上の画素の画像信号をｉｎk（ｕ，ｖ）にて表す。ｋは０、１又は２である。また、画素位置（ｕ，ｖ）に配置される、入力画像ＩＮk上の画素自体もｉｎk（ｕ，ｖ）にて参照することがある。
【００４９】
中間生成画像（ＭＩＤ0、ＭＩＤ1又はＭＩＤ2）及び出力画像を含む高解像度画像は、水平方向にＸNUM個及び垂直方向にＹNUM個の画素がマトリクス状に二次元配列された画像である。実空間において、高解像度画像上の画素位置を（ｘ，ｙ）にて表す。高解像度画像の左上隅に位置する高解像度画像の原点を基準として、原点の右側のｘ番目に配置され且つ原点の下側ｙ番目に配置される画素の位置が、（ｘ，ｙ）である。画素位置（ｘ，ｙ）に配置される、中間生成画像ＭＩＤk上の画素の画像信号をｍｉｄk（ｘ，ｙ）にて表す。また、画素位置（ｘ，ｙ）に配置される、中間生成画像ＭＩＤk上の画素自体もｍｉｄk（ｘ，ｙ）にて参照することがある。画素位置（ｘ，ｙ）に配置される、出力画像上の画素の画像信号をｏｕｔ（ｘ，ｙ）にて表す。また、画素位置（ｘ，ｙ）に配置される、出力画像上の画素自体もｏｕｔ（ｘ，ｙ）にて参照することがある。
【００５０】
画像信号としてのｉｎk（ｕ，ｖ）は、入力画像ＩＮk上の位置（ｕ，ｖ）における画素の信号（輝度信号、色差信号など）のレベルを表す。他の画像信号（ｍｉｄk（ｘ，ｙ）、ｏｕｔ（ｘ，ｙ）など）についても同様である。例えば、画像信号としてのｍｉｄk（ｘ，ｙ）は、中間生成画像ＭＩＤk上の位置（ｘ，ｙ）における画素の信号（輝度信号、色差信号など）のレベルを表す。
【００５１】
高解像度画像の画素数は低解像度画像の画素数よりも多いため、ＸNUM＞ＵNUM且つＹNUM＞ＶNUMが成立する。水平及び垂直方向において、低解像度画像に対する高解像度画像の拡大率が、夫々ＥＮH及びＥＮVであるとき、ＸNUM＝ＥＮH×ＵNUM且つＹNUM＝ＥＮV×ＶNUMが成立する（ＥＮH＞１、ＥＮV＞１）。例えば、ＥＮH＝ＥＮV＝１０である場合、水平及び垂直方向の夫々において、低解像度画像（入力画像）の隣接画素間隔は１であるから高解像度画像（中間生成画像又は出力画像）の隣接画素間隔は０．１となる。
【００５２】
加重計算部１４によって算出されるｗk（ｘ，ｙ）は高解像度画像上の画素位置（ｘ，ｙ）に対する加重加算係数であり、ｗ0（ｘ，ｙ）、ｗ1（ｘ，ｙ）及びｗ2（ｘ，ｙ）は、夫々、中間生成画像ＭＩＤ0、ＭＩＤ1、ＭＩＤ2に対する加重加算係数である。
【００５３】
上述したように、入力画像は折り返し成分を有し、それに伴って入力画像を高解像度化した中間生成画像も折り返し成分を有するが、積和部１５にて生成される出力画像からは折り返し成分（４方向の折り返し成分）が除去されている。尚、本明細書において、折り返し成分（折り返し歪）に関する除去とは、折り返し成分（折り返し歪）の完全なる除去又は折り返し成分（折り返し歪）の一部の除去を意味する。従って、折り返し成分（折り返し歪）に関する除去を「低減」と読み替えることも可能である。以下、入力画像取得部１１の後段の各部位の機能及び／又は構成を詳細に説明する。
【００５４】
［位置推定部］
位置推定部１２は、入力画像ＩＮ0、ＩＮ1及びＩＮ2の画像信号、即ち、入力画像ＩＮk上の各画素の画像信号ｉｎk（ｕ，ｖ）に基づいて、位置ずれ量（Δ0H，Δ0V）、（Δ1H，Δ1V）及び（Δ2H，Δ2V）を求める。この位置ずれ量の導出に当たり、代表点マッチング法、ブロックマッチング法、勾配法などを利用した位置ずれ量推定アルゴリズムを用いる。ここで求められる位置ずれ量は、低解像度画像の画素間隔よりも分解能の高い、所謂サブピクセルの分解能を有している。つまり、低解像度画像内の隣接する２つの画素の間隔よりも短い距離を最小単位として位置ずれ量が算出される。サブピクセルの分解能を有する位置ずれ量の算出方法として、公知の算出方法を用いることができる。例えば、特開平１１-３４５３１５号公報に記載された方法や、“奥富，「ディジタル画像処理」，第二版，ＣＧ−ＡＲＴＳ協会，２００７年３月１日発行”に記載された方法（ｐ．２０５参照）を用いればよい。
【００５５】
［位置合わせ／高解像度化部］
位置合わせ／高解像度化部１３は、位置推定部１２にて求められた位置ずれ量に基づく位置合わせ処理と、各入力画像を高解像度化する高解像度化処理を行う。
【００５６】
位置合わせ処理を説明する。上述したように、入力画像ＩＮ1は、入力画像ＩＮ0を位置ずれ量（Δ1H，Δ1V）に相当する分だけ位置ずれさせた画像であるとみなすことができ、入力画像ＩＮ2は、入力画像ＩＮ0を位置ずれ量（Δ2H，Δ2V）に相当する分だけ位置ずれさせた画像であるとみなすことができる。位置合わせ処理では、これらの位置ずれが打ち消されるように、入力画像ＩＮ1及びＩＮ2の夫々に対して、入力画像ＩＮ0を基準とした位置合わせを行う。この位置合わせは、サブピクセル精度にて実行される。例えば、（Δ1H，Δ1V）＝（０．１，０）である場合、位置合わせ後の入力画像ＩＮ1の位置ずれ量の水平成分及び垂直成分が共にゼロとなるように、入力画像ＩＮ1に対し、水平方向に距離１／１０だけ（即ち、低解像度画像の隣接画素間隔の１／１０に相当する距離だけ）幾何学的変換を施す。この幾何学的変換後の入力画像ＩＮ1が、位置合わせ後の入力画像ＩＮ1である。入力画像ＩＮ2に対しても同様の位置合わせ処理が行われる。
【００５７】
高解像度化処理では、入力画像のナイキスト周波数以上の、入力画像に含まれる高周波成分を通過させる広帯域フィルタを用いて入力画像を補間拡大することにより、入力画像の解像度を高解像度画像のそれと同じにまで増加させ、これによって高解像度画像である中間生成画像を生成する。この高解像度化処理の方法として、公知の方法（例えば特許文献１に記載の方法）を用いることができる。例えば、ＥＮH＝ＥＮV＝１０である場合、入力画像の隣接画素間に９つの補間画素が設定され、その補間画素をも含む画像が中間生成画像として生成される。ｙ＝ｙ0の水平ラインに着目した場合は、下記式（Ｃ１）に従って中間生成画像の各画像信号ｍｉｄk（ｘ，ｙ0）を求めればよい。
【００５８】
【数４】
2010033231.tif 000006
【００５９】
位置合わせ処理後に高解像度化処理を行うことが可能である。位置合わせ処理後に高解像度処理を行うと考えた場合、位置合わせ後の入力画像に対して高解像度化処理を施すことにより中間生成画像が生成される。この場合、式（Ｃ１）におけるｉｎk（ｉ，ｙ0）は、位置合わせ後の入力画像ＩＮkにおける、画素位置（ｉ，ｙ0）の画像信号である。
【００６０】
勿論、位置合わせ処理と高解像度化処理を同時に行うようにしてもよい。或いは、高解像度処理を行った後に、位置合わせ前の中間生成画像に対して位置ずれ量（ΔkH，ΔkV）に基づく位置合わせ処理を行い、これによって、最終的な中間生成画像の画像信号ｍｉｄk（ｘ，ｙ）を求めるようにしてもよい。
【００６１】
［加重計算部］
加重計算部１４は、位置ずれ量（ΔkH，ΔkV）と中間生成画像の画像信号ｍｉｄk（ｘ，ｙ）とに基づいて、中間生成画像の画素毎に加重加算係数ｗk（ｘ，ｙ）を算出する（詳細は後述）。
【００６２】
［積和部］
積和部１５は、加重計算部１４にて算出された加重加算係数ｗk（ｘ，ｙ）と、位置合わせが施され且つ高解像度化された画像データであるｍｉｄk（ｘ，ｙ）とに基づき、下記式（Ｃ２）に従って、出力画像の画素ごとに出力画像の画像信号ｏｕｔ（ｘ，ｙ）を算出する。つまり、３枚の中間生成画像における対応画素位置の画像信号同士が加重加算係数ｗk（ｘ，ｙ）に従って加重加算されるように３枚の中間生成画像を合成し、これによって出力画像を生成する。
【００６３】
【数５】
2010033231.tif 000007
【００６４】
［加重計算部の詳細説明］
加重計算部１４の内部構成及び加重加算係数ｗk（ｘ，ｙ）の算出方法について詳説する。図７は、加重計算部１４の内部ブロック図である。加重計算部１４は、符号３１〜３４によって参照される各部位を備える。
【００６５】
第１係数算出部（歪除去係数導出部）は、位置ずれ量（Δ0H，Δ0V）、（Δ1H，Δ1V）及び（Δ2H，Δ2V）に基づき、上記式（Ｂ１）〜（Ｂ８）に従って、４方向の折り返し成分（折り返し歪）を除去するための係数ｗkH、ｗkV、ｗkDR及びｗkDLを算出する。ｋ＝０、１、２であるから、この係数は計１２個算出される。上述したように、入力画像には折り返し成分（折り返し歪）が含まれているため、入力画像を高解像度化した中間生成画像にも同様の折り返し成分が含まれている。従って、係数ｗkHは、入力画像ＩＮk及び中間生成画像ＭＩＤkに含まれている水平方向における折り返し成分を除去するための歪除去係数と呼べる（ｗkV、ｗkDR及びｗkDLについても同様）。
【００６６】
中間生成画像ＭＩＤ0、ＭＩＤ1及びＭＩＤ2に含まれている水平方向の折り返し成分は、係数ｗ0H、ｗ1H及びｗ2Hを加重加算係数（重み）として用いて中間生成画像ＭＩＤ0、ＭＩＤ1及びＭＩＤ2を合成することにより互いに打ち消され、その合成によって得られた高解像度画像には、水平方向の折り返し成分が含まれなくなる。つまり、“ｗ0Hｍｉｄ0（ｘ，ｙ）＋ｗ1Hｍｉｄ1（ｘ，ｙ）＋ｗ2Hｍｉｄ2（ｘ，ｙ）”を、画素位置（ｘ，ｙ）における画像信号として有する高解像度画像には、水平方向の折り返し成分が含まれない。垂直方向、右斜め方向及び左斜め方向についても同様である。
【００６７】
輪郭抽出部３２は、図３（ａ）に対応する水平方向の輪郭を抽出するフィルタ及び図３（ｂ）に対応する垂直方向の輪郭を抽出するフィルタを、中間生成画像ＭＩＤ0、ＭＩＤ1及びＭＩＤ2の内の１以上の中間生成画像に対して適用することにより、位置（ｘ，ｙ）における水平輪郭値ｈ（ｘ，ｙ）及び垂直輪郭値ｖ（ｘ，ｙ）を算出する。例として、水平方向の輪郭を抽出するフィルタとして、図８（ａ）に示すフィルタ３０１が用いられ、垂直方向の輪郭を抽出するフィルタとして、図８（ｂ）に示すフィルタ３０２が用いられる場合を想定する。フィルタ３０１及び３０２は、３×３のフィルタサイズを有する輪郭抽出フィルタであり、Prewittのエッジ検出オペレータとも呼ばれる。
【００６８】
例えば、中間生成画像ＭＩＤ0のみに基づいて水平輪郭値ｈ（ｘ，ｙ）及び垂直輪郭値ｖ（ｘ，ｙ）を算出する場合は、画素ｍｉｄ0（ｘ，ｙ）を中心とする３×３画素に対してフィルタ３０１及び３０２による空間フィルタリングを行って得たフィルタ出力値がｈ（ｘ，ｙ）及びｖ（ｘ，ｙ）となる。即ち、この場合、
ｈ（ｘ，ｙ）＝
（−１）×ｍｉｄ0（ｘ−１，ｙ−１）＋１×ｍｉｄ0（ｘ＋１，ｙ−１）
＋（−１）×ｍｉｄ0（ｘ−１，ｙ    ）＋１×ｍｉｄ0（ｘ＋１，ｙ    ）
＋（−１）×ｍｉｄ0（ｘ−１，ｙ＋１）＋１×ｍｉｄ0（ｘ＋１，ｙ＋１）、
ｖ（ｘ，ｙ）＝
１×ｍｉｄ0（ｘ−１，ｙ−１）＋（−１）×ｍｉｄ0（ｘ−１，ｙ＋１）
＋１×ｍｉｄ0（ｘ    ，ｙ−１）＋（−１）×ｍｉｄ0（ｘ    ，ｙ＋１）
＋１×ｍｉｄ0（ｘ＋１，ｙ−１）＋（−１）×ｍｉｄ0（ｘ＋１，ｙ＋１）
である。
【００６９】
尚、中間生成画像ＭＩＤ0、ＭＩＤ1及びＭＩＤ2の夫々に対してフィルタ３０１による空間フィルタリングを行い、中間生成画像ＭＩＤ0、ＭＩＤ1及びＭＩＤ2に対して求められた、画素位置（ｘ，ｙ）におけるフィルタ出力値の合計を、ｈ（ｘ，ｙ）として求めても良い。同様に、中間生成画像ＭＩＤ0、ＭＩＤ1及びＭＩＤ2の夫々に対してフィルタ３０２による空間フィルタリングを行い、中間生成画像ＭＩＤ0、ＭＩＤ1及びＭＩＤ2に対して求められた、画素位置（ｘ，ｙ）におけるフィルタ出力値の合計を、ｖ（ｘ，ｙ）として求めても良い。
【００７０】
輪郭方向成分値算出部３３は、水平輪郭値ｈ（ｘ，ｙ）及び垂直輪郭値ｖ（ｘ，ｙ）に基づいて、水平方向に対応する係数ｗkH、垂直方向に対応する係数ｗkV、右斜め方向に対応する係数ｗkDR及び左斜め方向に対応する係数ｗkDLに乗じるべき輪郭方向成分値ｗH（ｘ，ｙ）、ｗV（ｘ，ｙ）、ｗDR（ｘ，ｙ）及びｗDL（ｘ，ｙ）を算出する。この算出方法は後に詳説するとして、先に、第２係数算出部３４の機能について説明する。
【００７１】
第２係数算出部３４は、乗算部４１〜４４と積算部４５〜４７を有する。乗算部４１は、係数ｗ0H、ｗ1H及びｗ2Hの夫々と輪郭方向成分値ｗH（ｘ，ｙ）の積を求めて出力し、乗算部４２は、係数ｗ0V、ｗ1V及びｗ2Vの夫々と輪郭方向成分値ｗV（ｘ，ｙ）の積を求めて出力し、乗算部４３は、係数ｗ0DR、ｗ1DR及びｗ2DRの夫々と輪郭方向成分値ｗDR（ｘ，ｙ）の積を求めて出力し、乗算部４４は、係数ｗ0DL、ｗ1DL及びｗ2DLの夫々と輪郭方向成分値ｗDL（ｘ，ｙ）の積を求めて出力する。積算部４５〜４７は、乗算部４１〜４４の出力を画像番号（ｋ）ごとに合算し、加重加算係数ｗ0（ｘ，ｙ）、ｗ1（ｘ，ｙ）及びｗ2（ｘ，ｙ）を得る。即ち、乗算部４１〜４４及び積算部４５〜４７によって、下記式（Ｃ３ａ）、（Ｃ３ｂ）及び（Ｃ３ｃ）に従う加重加算係数ｗ0（ｘ，ｙ）、ｗ1（ｘ，ｙ）及びｗ2（ｘ，ｙ）が画素位置（ｘ，ｙ）ごとに求められる。
【００７２】
【数６】
2010033231.tif 000008
【００７３】
輪郭方向成分値算出部３３について詳細に説明する。輪郭方向成分値算出部３３によって算出される輪郭方向成分値ｗH（ｘ，ｙ）、ｗV（ｘ，ｙ）、ｗDR（ｘ，ｙ）及びｗDL（ｘ，ｙ）は、夫々、０以上１以下の値をとる。ｗH（ｘ，ｙ）は、中間生成画像（ＭＩＤ0、ＭＩＤ1又はＭＩＤ2）における、画素位置（ｘ，ｙ）を中心とする微小画像領域内の輪郭の方向と、水平方向と、の一致度を表す指標であり、ｗH（ｘ，ｙ）が１に近づくほど、その一致度は高い。同様に、ｗV（ｘ，ｙ）は、中間生成画像（ＭＩＤ0、ＭＩＤ1又はＭＩＤ2）における、画素位置（ｘ，ｙ）を中心とする微小画像領域内の輪郭の方向と、垂直方向と、の一致度を表す指標であり、ｗV（ｘ，ｙ）が１に近づくほど、その一致度は高い。ｗDR（ｘ，ｙ）及びｗDL（ｘ，ｙ）についても同様である。
【００７４】
図９は、輪郭方向成分値算出部３３の内部ブロック図である。輪郭方向成分値算出部３３は、符号５１〜５４によって参照される各部位を備える。
【００７５】
斜め方向判定部５１は、ｈ（ｘ，ｙ）及びｖ（ｘ，ｙ）に基づき、注目画像領域内の輪郭の方向が右斜め方向であるか或いは左斜め方向であるかを判定する。換言すれば、注目画像領域内の輪郭の方向が、右斜め方向と左斜め方向の内のどちらに近いかを推定する。ここで、ｈ（ｘ，ｙ）及びｖ（ｘ，ｙ）に基づいて輪郭方向（又は後述の相関）が判定される注目画像領域とは、中間生成画像（ＭＩＤ0、ＭＩＤ1又はＭＩＤ2）における、画素位置（ｘ，ｙ）を中心とする微小画像領域を指す。輪郭抽出フィルタとして３×３のフィルタが用いられる場合、注目画像領域は３×３画素の画像領域と考えられる。
【００７６】
図１０（ａ）に示す如く、画素位置（ｘ，ｙ）を中心とする注目画像領域内に左斜め方向の輪郭が存在している場合、水平輪郭値ｈ（ｘ，ｙ）と垂直輪郭値ｖ（ｘ，ｙ）の符号は反対になる（つまり、“ｈ（ｘ，ｙ）×ｖ（ｘ，ｙ）＜０”となる）。一方、図１０（ｂ）に示す如く、画素位置（ｘ，ｙ）を中心とする注目画像領域内に右斜め方向の輪郭が存在している場合、水平輪郭値ｈ（ｘ，ｙ）と垂直輪郭値ｖ（ｘ，ｙ）の符号は同一となる（つまり、“ｈ（ｘ，ｙ）×ｖ（ｘ，ｙ）＞０”となる）。よって例えば、斜め方向判定部５１は、デジタルデータｈ（ｘ，ｙ）及びｖ（ｘ，ｙ）の符号ビットの排他的論理和を判定値ｂ１としてセレクタ部５４に出力する。
【００７７】
より具体的には、“ｈ（ｘ，ｙ）×ｖ（ｘ，ｙ）＜０”が成立するときには、画素位置（ｘ，ｙ）を中心とする注目画像領域内の輪郭の方向が右斜め方向よりも左斜め方向に近いと判定し、画素位置（ｘ，ｙ）に対する判定値ｂ１として「１」を出力する。一方、“ｈ（ｘ，ｙ）×ｖ（ｘ，ｙ）＞０”が成立するときには、画素位置（ｘ，ｙ）を中心とする注目画像領域内の輪郭の方向が左斜め方向よりも右斜め方向に近いと判定し、画素位置（ｘ，ｙ）に対する判定値ｂ１として「０」を出力する。判定値ｂ１は、各画素位置に対して個別に出力される。
【００７８】
水平垂直相関値算出部５２は、ｈ（ｘ，ｙ）及びｖ（ｘ，ｙ）に基づき、画素位置（ｘ，ｙ）ごとに相関値ｗ（ｘ，ｙ）を算出する。相関値ｗ（ｘ，ｙ）は、画素位置（ｘ，ｙ）を中心とする注目画像領域内の画素が水平及び垂直方向のどちらの方向に高い相関を有しているかを数値化したものである。相関値ｗ（ｘ，ｙ）は０以上１以下の値をとる。相関値ｗ（ｘ，ｙ）が１に近いほど、垂直方向の相関が高い。即ち、垂直位置が異なる画素間の相関が高い。図１１（ａ）に示す如く、注目画像領域内の輪郭の方向が水平方向であるとき、相関値ｗ（ｘ，ｙ）は、１になる或いは１に近くなる。相関値ｗ（ｘ，ｙ）が０に近いほど、水平方向の相関が高い。即ち、水平位置が異なる画素間の相関が高い。図１１（ｂ）に示す如く、注目画像領域内の輪郭の方向が垂直方向であるとき、相関値ｗ（ｘ，ｙ）は、０になる或いは０に近くなる。具体的には、下記式（Ｃ４）に従って、画素位置（ｘ，ｙ）ごとに、相関値ｗ（ｘ，ｙ）が算出される。
【００７９】
【数７】
2010033231.tif 000009
【００８０】
水平垂直判定部５３は、相関値ｗ（ｘ，ｙ）から０．５を差し引いた値が正及び負の何れであるかに基づいて、即ち、値ｗA（ｘ，ｙ）（＝ｗ（ｘ，ｙ）−０．５）の符号に基づいて、注目画像領域内の画素が水平及び垂直方向のどちらの方向に高い相関を有しているかを判定する。換言すれば、ｗA（ｘ，ｙ）の符号に基づいて、注目画像領域内の輪郭の方向が、垂直方向と水平方向の内のどちらに近いかを推定する。
【００８１】
ｗA（ｘ，ｙ）＞０の時には、垂直方向の相関が高いと判定して（画素位置（ｘ，ｙ）を中心とする注目画像領域内の輪郭の方向が垂直方向よりも水平方向に近いと判定して）、画素位置（ｘ，ｙ）に対する判定値ｂ２として「０」を出力する。一方、ｗA（ｘ，ｙ）＜０の時には、水平方向の相関が高いと判定して（画素位置（ｘ，ｙ）を中心とする注目画像領域内の輪郭の方向が水平方向よりも垂直方向に近いと判定して）、画素位置（ｘ，ｙ）に対する判定値ｂ２として「１」を出力する。よって例えば、水平垂直判定部５３は、デジタルデータｗA（ｘ，ｙ）の符号ビットを判定値ｂ２としてセレクタ部５４に出力すればよい。判定値ｂ２は、各画素位置に対して個別に出力される。
【００８２】
セレクタ部５４には、０、ｗB（ｘ，ｙ）及び（１−ｗB（ｘ，ｙ））が被選択値として入力され、画素位置（ｘ，ｙ）ごとに、輪郭方向成分値ｗH（ｘ，ｙ）、ｗV（ｘ，ｙ）、ｗDR（ｘ，ｙ）及びｗDL（ｘ，ｙ）に対して何れかの被選択値が割り当てられる。ここで、ｗB（ｘ，ｙ）＝｜ｗA（ｘ，ｙ）｜×２、である。この割り当ては、図１２に示す如く、判定値ｂ１及びｂ２に基づいて画素位置（ｘ，ｙ）ごとに行われる。つまり、画素位置（ｘ、ｙ）に対する輪郭方向成分値ｗH（ｘ，ｙ）、ｗV（ｘ，ｙ）、ｗDR（ｘ，ｙ）及びｗDL（ｘ，ｙ）を決定は、画素位置（ｘ，ｙ）に対する判定値ｂ１及びｂ２に基づいて行われる。
【００８３】
具体的には、図１２に示す如く、
（ｂ１，ｂ２）＝（０，０）である時は、ｗH（ｘ，ｙ）＝ｗB（ｘ，ｙ）、ｗV（ｘ，ｙ）＝０、ｗDR（ｘ，ｙ）＝１−ｗB（ｘ，ｙ）且つｗDL（ｘ，ｙ）＝０となるように、（ｂ１，ｂ２）＝（０，１）である時は、ｗH（ｘ，ｙ）＝０、ｗV（ｘ，ｙ）＝ｗB（ｘ，ｙ）、ｗDR（ｘ，ｙ）＝１−ｗB（ｘ，ｙ）且つｗDL（ｘ，ｙ）＝０となるように、（ｂ１，ｂ２）＝（１，０）である時は、ｗH（ｘ，ｙ）＝ｗB（ｘ，ｙ）、ｗV（ｘ，ｙ）＝０、ｗDR（ｘ，ｙ）＝０且つｗDL（ｘ，ｙ）＝１−ｗB（ｘ，ｙ）となるように、（ｂ１，ｂ２）＝（１，１）である時は、ｗH（ｘ，ｙ）＝０、ｗV（ｘ，ｙ）＝ｗB（ｘ，ｙ）、ｗDR（ｘ，ｙ）＝０且つｗDL（ｘ，ｙ）＝１−ｗB（ｘ，ｙ）となるように、各輪郭方向成分値を決定し、決定した各輪郭方向成分値を輪郭方向成分値算出部３３の後段部位に出力する。
【００８４】
判定値ｂ１及びｂ２並びに輪郭方向成分値の意義を考察する。画素位置（ｘ，ｙ）に対する判定値ｂ１及びｂ２によって、画素位置（ｘ，ｙ）を中心とする注目画像領域内の輪郭の方向が、４段階に分類推定される。即ち、その輪郭方向は、（ｂ１，ｂ２）＝（０，０）の時、右斜め方向と水平方向の間（右斜め方向及び水平方向を含む）であると推定され、（ｂ１，ｂ２）＝（０，１）の時、右斜め方向と垂直方向の間（右斜め方向及び垂直方向を含む）であると推定され、（ｂ１，ｂ２）＝（１，０）の時、左斜め方向と水平方向の間（左斜め方向及び水平方向を含む）であると推定され、（ｂ１，ｂ２）＝（１，１）の時、左斜め方向と垂直方向の間（左斜め方向及び垂直方向を含む）であると推定される。判定値ｂ１及びｂ２による４段階分類を行った上で、ｈ（ｘ，ｙ）及びｖ（ｘ，ｙ）に応じてｗB（ｘ，ｙ）を可変させることにより、輪郭方向は更に細かく推定される。
【００８５】
このように、輪郭方向成分値算出部３３及び輪郭抽出部３２は、中間生成画像上の各画素位置における輪郭の方向を推定する機能を有していると言え、その推定結果は、水平輪郭値ｈ（ｘ，ｙ）及び垂直輪郭値ｖ（ｘ，ｙ）に反映されると共に、輪郭方向成分値ｗH（ｘ，ｙ）、ｗV（ｘ，ｙ）、ｗDR（ｘ，ｙ）及びｗDL（ｘ，ｙ）に反映される。つまり、推定方向に応じた輪郭方向成分値が、水平、垂直、右斜め及び左斜めの夫々の方向に対して、画素位置ごとに算出される。
【００８６】
例えば、図３（ａ）に示すような水平方向の輪郭を有する画像領域が、画素位置（ｘ，ｙ）を中心とする注目画像領域であるとき、相関値ｗ（ｘ，ｙ）はｗ（ｘ，ｙ）＝１又はｗ（ｘ，ｙ）≒１となるため、ｂ２＝０となると共にｗB（ｘ，ｙ）＝１又はｗB（ｘ，ｙ）≒１となる。故に、この場合は、４つの輪郭方向成分値の内、水平方向の輪郭方向成分値ｗH（ｘ，ｙ）のみが１又は１に近い値をとり、他の輪郭方向成分値ｗV（ｘ，ｙ）、ｗDL（ｘ，ｙ）及びｗDR（ｘ，ｙ）は０又は０に近い値をとる。
【００８７】
注目画像領域に水平方向の輪郭が含まれている場合、その注目画像領域に対しては、水平方向の折り返し成分を除去するための係数ｗkHが用いられるべきである。よって、画素位置（ｘ，ｙ）における輪郭方向が水平方向であると推定される場合には、ｗH（ｘ，ｙ）のみが１又は１に近い値をとり、ｗV（ｘ，ｙ）、ｗDL（ｘ，ｙ）及びｗDR（ｘ，ｙ）が０又は０に近い値をとるように、各輪郭方向成分値を算出する。仮に、画素位置（ｘ，ｙ）における輪郭方向が完全に水平方向と一致していて、ｗH（ｘ，ｙ）＝１且つｗV（ｘ，ｙ）＝ｗDL（ｘ，ｙ）＝ｗDR（ｘ，ｙ）＝０となった場合は、上記式（Ｃ２）、（Ｃ３ａ）、（Ｃ３ｂ）及び（Ｃ３ｃ）より、ｏｕｔ（ｘ，ｙ）＝ｗ0Hｍｉｄ0（ｘ，ｙ）＋ｗ1Hｍｉｄ1（ｘ，ｙ）＋ｗ2Hｍｉｄ2（ｘ，ｙ）となる。これによって、画素位置（ｘ，ｙ）における、水平方向の輪郭に由来する水平方向の折り返し成分が、出力画像から除去される。
【００８８】
注目画像領域に水平方向の輪郭が含まれている場合を説明したが、注目画像領域に垂直、右斜め又は左斜め方向の輪郭が含まれている場合も同様である。
【００８９】
また例えば、注目画像領域に含まれている輪郭の方向が水平方向と右斜め方向の中間方向を向いているような場合には、その輪郭に由来する折り返し成分を除去するべく、その注目画像領域に対して係数ｗkH及びｗkDRが用いられるべきである。このような場合、注目画像領域に対する判定値ｂ１及びｂ２が０になると共にｗB（ｘ，ｙ）が０．５程度の値をとることになる。結果、ｗH（ｘ，ｙ）及びｗDR（ｘ，ｙ）が０．５程度となって、加重加算係数ｗk（ｘ，ｙ）に係数ｗkH及びｗkDRが反映される（上記式（Ｃ３ａ）、（Ｃ３ｂ）及び（Ｃ３ｃ）を参照）。つまり、上記輪郭に由来する折り返し成分の除去に適した係数ｗkH及びｗkDRが、出力画像の画像信号ｏｕｔ（ｘ，ｙ）の形成に用いられ、良好に折り返し成分が除去される。
【００９０】
本実施例の如く画像処理装置を形成すれば、折り返し成分（折り返し歪）が除去された高解像度画像を得るために必要な低解像度画像の枚数を、特許文献１に記載された方法よりも、少なくすることができる。このため、ハードウェア化が容易となり実用性が高まる。また、高解像度画像の画素ごとに、輪郭方向に応じた加重加算係数が算出されるため、折り返し成分（折り返し歪）の除去の最適化が図られる。
【００９１】
尚、図２２に、特許文献１の手法を応用することによって形成される画像処理装置の概略ブロック図を示す。図２２の画像処理装置では、９枚の入力画像（低解像度画像）から折り返し成分が除去された１枚の出力画像（高解像度画像）が生成される。図２２の画像処理装置では、９枚の入力画像の画像信号ｉｎ0（ｕ，ｖ）〜ｉｎ8（ｕ，ｖ）に基づいて、異なる入力画像間の位置ずれ量（Δ0H，Δ0V）〜（Δ8H，Δ8V）が算出される一方で、９枚の入力画像を高解像度化することにより９枚の中間生成画像の画像信号ｍｉｄ0（ｘ，ｙ）〜ｍｉｄ8（ｘ，ｙ）が算出される。また、位置ずれ量に基づいて９つの加重加算係数（重み）ｗ0〜ｗ8が求められる。位置ずれ量に基づいて９枚の中間生成画像の位置合わせを実行しつつ加重加算係数ｗ0〜ｗ8に従って画像信号ｍｉｄ0（ｘ，ｙ）〜ｍｉｄ8（ｘ，ｙ）を加重加算することにより、折り返し成分が除去された出力画像の画像信号ｏｕｔ（ｘ，ｙ）が得られる。
【００９２】
図２２の画像処理装置では、加重加算係数ｗ0〜ｗ8が位置ずれ量のみに基づいて算出されており、算出された１つの加重加算係数は、その加重加算係数に対応する中間生成画像の全画素に対して共通適用される。
【００９３】
＜＜第２実施例＞＞
本発明の第２実施例について説明する。図１３は、第２実施例に係る画像処理装置１０ａの内部ブロック図である。画像処理装置１０ａは、入力画像取得部１１、位置推定部１２、位置合わせ／高解像度化部１３及び積和部１５を備える。それらは、図４の画像処理装置１０に設けられているものと同じものである。第１実施例で述べた事項は、矛盾なき限り、第２実施例にも適用される。画像処理装置１０ａは、更に、加重計算部１４ａを備える。以下、第１実施例との相違点である、加重計算部１４ａの構成及び機能について説明する。
【００９４】
加重計算部１４ａには、入力画像取得部１１から入力画像ＩＮ0、ＩＮ1及びＩＮ2の画像信号ｉｎ0（ｕ，ｖ）、ｉｎ1（ｕ，ｖ）及びｉｎ2（ｕ，ｖ）が与えられると共に、位置推定部１２から位置ずれ量（Δ0H，Δ0V）、（Δ1H，Δ1V）及び（Δ2H，Δ2V）が与えられる。
【００９５】
図１４は、加重計算部１４ａの内部ブロック図である。加重計算部１４ａは、符号３１、３３、３４、７１及び７２によって参照される各部位を備える。それらの内、第１係数算出部３１、輪郭方向成分値算出部３３及び第２係数算出部３４の構成及び機能は、第１実施例におけるそれらと同じである（図７参照）。従って、第１実施例との相違点である、輪郭抽出部７１及び位置合わせ／高解像度化部７２の機能について説明する。図１５に、輪郭抽出部７１及び位置合わせ／高解像度化部７２の動作概念を示す。
【００９６】
輪郭抽出部７１は、水平方向の輪郭を抽出するフィルタ及び垂直方向の輪郭を抽出するフィルタを、入力画像ＩＮ0、ＩＮ1及びＩＮ2の夫々に対して適用することにより、入力画像ごとに、位置（ｕ，ｖ）における水平輪郭値及び垂直輪郭値を算出する。例として、前者のフィルタとして図８（ａ）に示すフィルタ３０１が用いられ、後者のフィルタとして図８（ｂ）に示すフィルタ３０２が用いられる場合を想定する。
【００９７】
入力画像ＩＮkの位置（ｕ，ｖ）における水平輪郭値及び垂直輪郭値を、夫々、ｈk（ｕ，ｖ）及びｖk（ｕ，ｖ）にて表す。画素ｉｎk（ｕ，ｖ）を中心とする３×３画素に対してフィルタ３０１及び３０２による空間フィルタリングを行って得たフィルタ出力値がｈk（ｕ，ｖ）及びｖk（ｕ，ｖ）である。即ち、
ｈk（ｕ，ｖ）＝
（−１）×ｉｎ0（ｕ−１，ｖ−１）＋１×ｉｎ0（ｕ＋１，ｖ−１）
＋（−１）×ｉｎ0（ｕ−１，ｖ    ）＋１×ｉｎ0（ｕ＋１，ｖ    ）
＋（−１）×ｉｎ0（ｕ−１，ｖ＋１）＋１×ｉｎ0（ｕ＋１，ｖ＋１）、
ｖk（ｕ，ｖ）＝
１×ｉｎ0（ｕ−１，ｖ−１）＋（−１）×ｉｎ0（ｕ−１，ｖ＋１）
＋１×ｉｎ0（ｕ    ，ｖ−１）＋（−１）×ｉｎ0（ｕ    ，ｖ＋１）
＋１×ｉｎ0（ｕ＋１，ｖ−１）＋（−１）×ｉｎ0（ｕ＋１，ｖ＋１）
である。
【００９８】
入力画像ＩＮkに対する空間フィルタリングにより、位置（ｕ，ｖ）に画像信号ｈk（ｕ，ｖ）及びｖk（ｕ，ｖ）を有するエッジ画像が得られる。図１５に示す如く、入力画像ＩＮ0、ＩＮ1及びＩＮ2から得られるエッジ画像を、夫々、ＬＥ0、ＬＥ1及びＬＥ2にて表す。輪郭抽出部７１にて得られたｈk（ｕ，ｖ）及びｖk（ｕ，ｖ）は、位置合わせ／高解像度化部７２に送られる。
【００９９】
位置合わせ／高解像度化部７２は、図１３の位置合わせ／高解像度化部１３が３枚の入力画像ＩＮkに対して行う位置合わせ処理と同様の処理を、３枚のエッジ画像ＬＥkに対して行う。
【０１００】
エッジ画像ＬＥ1は、エッジ画像ＬＥ0を位置ずれ量（Δ1H，Δ1V）に相当する分だけ位置ずれさせた画像であるとみなすことができ、エッジ画像ＬＥ2は、エッジ画像ＬＥ0を位置ずれ量（Δ2H，Δ2V）に相当する分だけ位置ずれさせた画像であるとみなすことができる。位置合わせ／高解像度化部７２は、これらの位置ずれが打ち消されるように、エッジ画像ＬＥ1及びＬＥ2の夫々に対して、エッジ画像ＬＥ0を基準とした位置合わせを行う。この位置合わせは、サブピクセル精度にて実行される。
【０１０１】
位置合わせ／高解像度化部７２は、位置合わせ後のエッジ画像ＬＥ0、ＬＥ1及びＬＥ2の夫々を高解像度化することにより、高解像度エッジ画像ＨＥ0、ＨＥ1及びＨＥ2を生成する。高解像度エッジ画像は、中間生成画像などと同じ解像度を有する高解像度画像の一種である。高解像度化は、補間処理を用いた解像度変換によって実現される。補間処理の手法として、ニアレストネイバー法、バイリニア法、バイキュービック法などの各種の手法を利用可能であり、高解像度エッジ画像ＨＥk上の位置（ｘ，ｙ）に、画像信号ｈk（ｘ，ｙ）及びｖk（ｘ，ｙ）が存在するように解像度変換がなされる。
【０１０２】
その後、位置合わせ／高解像度化部７２は、対応位置の画像信号が足しあわされるように３枚の高解像度エッジ画像ＨＥ0、ＨＥ1及びＨＥ2を合成することにより、合成エッジ画像ＨＥを生成する。合成エッジ画像ＨＥは、中間生成画像などと同じ解像度を有する高解像度画像の一種である。合成エッジ画像ＨＥ上の位置（ｘ，ｙ）には、水平方向に関する画像信号“ｈ0（ｘ，ｙ）＋ｈ1（ｘ，ｙ）＋ｈ2（ｘ，ｙ）”及び垂直方向に関する画像信号“ｖ0（ｘ，ｙ）＋ｖ1（ｘ，ｙ）＋ｖ2（ｘ，ｙ）”が存在する。第２実施例では、 “ｈ0（ｘ，ｙ）＋ｈ1（ｘ，ｙ）＋ｈ2（ｘ，ｙ）”及び“ｖ0（ｘ，ｙ）＋ｖ1（ｘ，ｙ）＋ｖ2（ｘ，ｙ）”が、夫々、位置（ｘ，ｙ）における水平輪郭値ｈ（ｘ，ｙ）及び垂直輪郭値ｖ（ｘ，ｙ）として算出される。
【０１０３】
位置合わせ／高解像度化部７２にて算出された水平輪郭値ｈ（ｘ，ｙ）及び垂直輪郭値ｖ（ｘ，ｙ）は、輪郭方向成分値算出部３３に送られる。その後、加重計算部１４ａでは、ｈ（ｘ，ｙ）及び（ｘ，ｙ）と第１係数算出部３１にて算出された係数ｗkH、ｗkV、ｗkDR及びｗkDLとに基づいて、加重加算係数ｗkが算出される。ｈ（ｘ，ｙ）及びｖ（ｘ，ｙ）が導出された後の加重計算部１４ａの動作は、図７の加重加算部１４のそれと同様である。
【０１０４】
第２実施例の如く画像処理装置を形成しても、第１実施例と同様の効果が得られる。また例えば、入力画像の解像度を２倍に拡大することによって出力画像を生成する場合、低解像度画像（入力画像）にとってのナイキスト周波数は、高解像度画像（出力画像）にとってのナイキスト周波数の半分となる。従って、高解像度画像及び低解像度画像から同一周波数帯の輪郭を抽出することを考えた場合、必要な輪郭抽出フィルタのフィルタサイズは、高解像度画像よりも低解像度画像の方が小さくなる。例えば、或る周波数帯の輪郭を高解像度画像から抽出するに際してＰF×ＱFのフィルタサイズを有するフィルタが必要であるならば、低解像度画像から、それと同じ周波数帯の輪郭を抽出するためのフィルタのフィルタサイズは、ＰF／２×ＱF／２でよい。第２実施例では、低解像度画像である入力画像に対して輪郭抽出処理を行うため、第１実施例との対比おいて、このようなフィルタサイズの低減効果が見込める。フィルタサイズの低減によって、画像処理装置の構成の簡素化が図られる。但し、第２実施例では、位置ずれを含んだ状態で輪郭抽出を行うため、第１実施例と比べて、輪郭方向成分値の算出精度が低くなる。
【０１０５】
尚、上述の例では、３枚の高解像度エッジ画像を合成することによって水平輪郭値ｈ（ｘ，ｙ）及び垂直輪郭値ｖ（ｘ，ｙ）を求めている。即ち、３枚の入力画像からｈ（ｘ，ｙ）及びｖ（ｘ，ｙ）を求めているが、１枚又は２枚の入力画像からｈ（ｘ，ｙ）及びｖ（ｘ，ｙ）を求めるようにしてもよい。例えば、高解像度エッジ画像ＨＥ0上の位置（ｘ，ｙ）における画像信号ｈ0（ｘ，ｙ）及びｖ0（ｘ，ｙ）を夫々ｈ（ｘ，ｙ）及びｖ（ｘ，ｙ）として取り扱うようにしても良い。或いは例えば、“ｈ0（ｘ，ｙ）＋ｈ1（ｘ，ｙ）”をｈ（ｘ，ｙ）として且つ“ｖ0（ｘ，ｙ）＋ｖ1（ｘ，ｙ）”をｖ（ｘ，ｙ）として取り扱うようにしても良い。
【０１０６】
＜＜第３実施例＞＞
本発明の第３実施例について説明する。図１６は、第３実施例に係る画像処理装置１０ｂの内部ブロック図である。画像処理装置１０ｂは、入力画像取得部１１、位置推定部１２及び位置合わせ／高解像度化部１３を備える。それらは、図４の画像処理装置１０に設けられているものと同じものである。第１実施例で述べた事項は、矛盾なき限り、第３実施例にも適用される。画像処理装置１０ｂは、更に、符号２１〜２４によって参照される各部位を備える。以下、第１実施例との相違点である、符号２１〜２４によって参照される各部位の構成及び機能を説明する。
【０１０７】
係数算出部２１は、位置推定部１２からの位置ずれ量（Δ0H，Δ0V）、（Δ1H，Δ1V）及び（Δ2H，Δ2V）に基づいて、係数（歪除去係数）ｗkH、ｗkV、ｗkDR及びｗkDLを算出する。この係数の算出方法は、図７の第１係数算出部３１におけるそれと同じである。
【０１０８】
第１積和部２２には、係数算出部２１から係数ｗkH、ｗkV、ｗkDR及びｗkDLが与えられると共に、位置合わせ／高解像度化部１３から中間生成画像ＭＩＤkの画像信号ｍｉｄk（ｘ，ｙ）が与えられる。
【０１０９】
上述したように、中間生成画像ＭＩＤkには、水平方向、垂直方向、右斜め方向及び左斜め方向の折り返し成分が含まれている。第１積和部２２は、係数ｗkH、ｗkV、ｗkDR及びｗkDLに基づいて、水平方向の折り返し成分が除去された第２中間生成画像ＭＩＤH、垂直方向の折り返し成分が除去された第２中間生成画像ＭＩＤV、右斜め方向の折り返し成分が除去された第２中間生成画像ＭＩＤDR、左斜め方向の折り返し成分が除去された第２中間生成画像ＭＩＤDLを生成する。第２中間生成画像ＭＩＤH、ＭＩＤV、ＭＩＤDR及びＭＩＤDLの夫々は高解像度画像の一種であり、第２中間生成画像ＭＩＤH、ＭＩＤV、ＭＩＤDR及びＭＩＤDL上の位置（ｘ，ｙ）における画像信号を、夫々、ｍｉｄH（ｘ，ｙ）、ｍｉｄV（ｘ，ｙ）、ｍｉｄDR（ｘ，ｙ）及びｍｉｄDL（ｘ，ｙ）にて表す。具体的には、下記式（Ｄ１）〜（Ｄ４）に従って、第２中間生成画像の画像信号が算出される。
【０１１０】
【数８】
2010033231.tif 000010
【０１１１】
加重計算部２３は、第１積和部２２からの画像信号ｍｉｄH（ｘ，ｙ）、ｍｉｄV（ｘ，ｙ）、ｍｉｄDR（ｘ，ｙ）及びｍｉｄDL（ｘ，ｙ）に基づいて、輪郭方向成分値ｗH（ｘ，ｙ）、ｗV（ｘ，ｙ）、ｗDR（ｘ，ｙ）及びｗDL（ｘ，ｙ）を算出する。この輪郭方向成分値は、第２中間生成画像上の各画素位置における輪郭の方向を表す数値であるため、加重計算部２３は、その輪郭の方向を推定する機能を有すると言える。輪郭方向推定部としての加重計算部２３は、推定方向に応じた輪郭方向成分値を、水平、垂直、右斜め及び左斜めの夫々の方向に対して、画素位置ごとに算出する。
【０１１２】
図１７に、加重計算部２３の内部ブロック図を示す。加重計算部２３は、輪郭抽出部８１及び輪郭方向成分値算出部８２を備える。図１８に、加重計算部２３の動作概念を示す。
【０１１３】
輪郭抽出部８１は、水平方向の輪郭を抽出するフィルタ及び垂直方向の輪郭を抽出するフィルタを、第２中間生成画像ＭＩＤH、ＭＩＤV、ＭＩＤDR及びＭＩＤDLの夫々に対して適用することにより、第２中間生成画像ごとに、位置（ｘ，ｙ）における水平輪郭値及び垂直輪郭値を算出する。例として、前者のフィルタとして図８（ａ）に示すフィルタ３０１が用いられ、後者のフィルタとして図８（ｂ）に示すフィルタ３０２が用いられる場合を想定する。
【０１１４】
第２中間生成画像ＭＩＤH、ＭＩＤV、ＭＩＤDR及びＭＩＤDLの位置（ｘ，ｙ）における水平輪郭値を、夫々、ｈH（ｘ，ｙ）、ｈV（ｘ，ｙ）、ｈDR（ｘ，ｙ）及びｈDL（ｘ，ｙ）にて表し、第２中間生成画像ＭＩＤH、ＭＩＤV、ＭＩＤDR及びＭＩＤDLの位置（ｘ，ｙ）における垂直輪郭値を、夫々、ｖH（ｘ，ｙ）、ｖV（ｘ，ｙ）、ｖDR（ｘ，ｙ）及びｖDL（ｘ，ｙ）にて表す。画素ｍｉｄH（ｘ，ｙ）を中心とする３×３画素に対してフィルタ３０１及び３０２による空間フィルタリングを行って得たフィルタ出力値がｈH（ｘ，ｙ）及びｖH（ｘ，ｙ）である。即ち、
ｈH（ｘ，ｙ）＝
（−１）×ｍｉｄH（ｘ−１，ｙ−１）＋１×ｍｉｄH（ｘ＋１，ｙ−１）
＋（−１）×ｍｉｄH（ｘ−１，ｙ    ）＋１×ｍｉｄH（ｘ＋１，ｙ    ）
＋（−１）×ｍｉｄH（ｘ−１，ｙ＋１）＋１×ｍｉｄH（ｘ＋１，ｙ＋１）、
ｖH（ｘ，ｙ）＝
１×ｍｉｄH（ｘ−１，ｙ−１）＋（−１）×ｍｉｄH（ｘ−１，ｙ＋１）
＋１×ｍｉｄH（ｘ    ，ｙ−１）＋（−１）×ｍｉｄH（ｘ    ，ｙ＋１）
＋１×ｍｉｄH（ｘ＋１，ｙ−１）＋（−１）×ｍｉｄH（ｘ＋１，ｙ＋１）
である。ｈV（ｘ，ｙ）、ｈDR（ｘ，ｙ）及びｈDL（ｘ，ｙ）並びにｖV（ｘ，ｙ）、ｖDR（ｘ，ｙ）及びｖDL（ｘ，ｙ）も、同様にして算出される。
【０１１５】
第２中間生成画像ＭＩＤHに対する空間フィルタリングにより、位置（ｘ，ｙ）に画像信号ｈH（ｘ，ｙ）及びｖH（ｘ，ｙ）を有するエッジ画像が得られる。他の第２中間生成画像についても同様である。図１８に示す如く、第２中間生成画像ＭＩＤH、ＭＩＤV、ＭＩＤDR及びＭＩＤDLから得られるエッジ画像を、夫々、ＭＥH、ＭＥV、ＭＥDR及びＭＥDLにて表す。
【０１１６】
輪郭抽出部８１では、対応位置の画像信号が足しあわされるように４枚のエッジ画像ＭＥH、ＭＥV、ＭＥDR及びＭＥDLが合成され、合成エッジ画像ＨＥAが生成される。合成エッジ画像ＨＥAは、中間生成画像などと同じ解像度を有する高解像度画像の一種である。合成エッジ画像ＨＥA上の位置（ｘ，ｙ）には、水平方向に関する画像信号“ｈH（ｘ，ｙ）＋ｈV（ｘ，ｙ）＋ｈDR（ｘ，ｙ）＋ｈDL（ｘ，ｙ）”及び垂直方向に関する画像信号“ｖH（ｘ，ｙ）＋ｖV（ｘ，ｙ）＋ｖDR（ｘ，ｙ）＋ｖDL（ｘ，ｙ）”が存在する。第３実施例では、“ｈH（ｘ，ｙ）＋ｈV（ｘ，ｙ）＋ｈDR（ｘ，ｙ）＋ｈDL（ｘ，ｙ）”及び“ｖH（ｘ，ｙ）＋ｖV（ｘ，ｙ）＋ｖDR（ｘ，ｙ）＋ｖDL（ｘ，ｙ）”が、夫々、位置（ｘ，ｙ）における水平輪郭値ｈ（ｘ，ｙ）及び垂直輪郭値ｖ（ｘ，ｙ）として算出される。
【０１１７】
輪郭方向成分値算出部８２は、輪郭抽出部８１にて算出された水平輪郭値ｈ（ｘ，ｙ）及び垂直輪郭値ｖ（ｘ，ｙ）に基づいて、輪郭方向成分値ｗH（ｘ，ｙ）、ｗV（ｘ，ｙ）、ｗDR（ｘ，ｙ）及びｗDL（ｘ，ｙ）を算出する。輪郭方向成分値の算出方法は、図７の輪郭方向成分値算出部３３によるそれと同じである。
【０１１８】
図１６の第２積和部２４は、加重計算部２３にて算出された輪郭方向成分値と、第１積和部２２にて算出された画像信号ｍｉｄH（ｘ，ｙ）、ｍｉｄV（ｘ，ｙ）、ｍｉｄDR（ｘ，ｙ）及びｍｉｄDL（ｘ，ｙ）とに基づき、下記式（Ｄ５）に従って、出力画像の画素ごとに出力画像の画像信号ｏｕｔ（ｘ，ｙ）を算出する。つまり、第２中間生成画像ＭＩＤH、ＭＩＤV、ＭＩＤDR及びＭＩＤDLにおける対応画素位置の画像信号同士が、輪郭方向成分値ｗH（ｘ，ｙ）、ｗV（ｘ，ｙ）、ｗDR（ｘ，ｙ）及びｗDL（ｘ，ｙ）に従って加重加算されるように第２中間生成画像ＭＩＤH、ＭＩＤV、ＭＩＤDR及びＭＩＤDLを合成し、これによって４方向の折り返し成分が除去された出力画像を生成する。
【０１１９】
【数９】
2010033231.tif 000011
【０１２０】
第３実施例の如く画像処理装置を形成しても、第１実施例と同様の効果が得られる。また、第３実施例では、折り返し成分が除去された画像から輪郭方向成分値が算出されるため、輪郭方向成分値の算出精度が第１実施例よりも高くなる。但し、位置合わせの精度が低い場合は折り返し成分が十分に除去されず、この場合は、複数の中間生成画像によって多重像が形成されて輪郭方向成分値の精度低下が生じる。
【０１２１】
尚、上述の例では、４枚のエッジ画像を合成することによって水平輪郭値ｈ（ｘ，ｙ）及び垂直輪郭値ｖ（ｘ，ｙ）を求めている。即ち、４枚の第２中間生成画像からｈ（ｘ，ｙ）及びｖ（ｘ，ｙ）を求めているが、１枚、２枚又は３枚の第２中間生成画像からｈ（ｘ，ｙ）及びｖ（ｘ，ｙ）を求めるようにしてもよい。例えば、ｈH（ｘ，ｙ）及びｖH（ｘ，ｙ）を夫々ｈ（ｘ，ｙ）及びｖ（ｘ，ｙ）として取り扱うようにしても良い。或いは例えば、“ｈH（ｘ，ｙ）＋ｈV（ｘ，ｙ）”をｈ（ｘ，ｙ）として且つ“ｖH（ｘ，ｙ）＋ｖV（ｘ，ｙ）”をｖ（ｘ，ｙ）として取り扱うようにしても良い。更に或いは例えば、“ｈH（ｘ，ｙ）＋ｈV（ｘ，ｙ）＋ｈDR（ｘ，ｙ）” をｈ（ｘ，ｙ）として且つ“ｖH（ｘ，ｙ）＋ｖV（ｘ，ｙ）＋ｖDR（ｘ，ｙ）”をｖ（ｘ，ｙ）として取り扱うようにしても良い。
【０１２２】
＜＜第４実施例＞＞
本発明の第４実施例について説明する。第４実施例では、第１〜第３実施例に係る画像処理装置を搭載した撮像装置１００を説明する。撮像装置１００は、静止画像の撮影が可能なデジタルスチルカメラ又は動画像の撮影が可能なデジタルビデオカメラである。図１９は、撮像装置１００の概略ブロック図である。撮像装置１００は、符号１０１〜１０４にて参照される各部位を備える。
【０１２３】
撮像部１０１は、光学系と、絞りと、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどから成る撮像素子（固体撮像素子）と、を備える（全て不図示）。撮像素子は、光学系及び絞りを介して入射した被写体を表す光学像を光電変換し、該光電変換によって得られた電気信号を画像処理装置１０２に送る。例えば、撮像部１０１において被写体の画像が所定のフレーム周期にて周期的に撮影され、１つのフレーム周期にて得られる１枚の撮影画像が１枚の入力画像として画像処理部１０２に与えられる。
【０１２４】
画像処理部１０２として、第１、第２又は第３実施例で述べた画像処理装置１０、１０ａａ又は１０ｂが用いられる。画像処理部１０２は、撮像部１０１から送られてきた３枚の撮影画像を３枚の入力画像ＩＮ0、ＩＮ1及びＩＮ2として取り扱った上で第１、第２又は第３実施例にて述べた画像処理を行うことにより、画像信号ｏｕｔ（ｘ，ｙ）にて表現される出力画像を生成する。入力画像ＩＮ0、ＩＮ1及びＩＮ2として取り扱われるべき３枚の撮影画像は、例えば、連続する３つのフレーム周期にて撮影された画像である。
【０１２５】
画像処理部１０２にて生成された出力画像は、液晶ディスプレイ等から成る表示部１０３にて表示される。また、その出力画像の画像信号は、半導体メモリ、磁気ディスク等から成る記録媒体１０４に記録される。
【０１２６】
撮影画像を表す画像信号は、二次元の原信号（即ち、撮像素子上の光学像）を標本化することによって生成される。入力画像ＩＮ0、ＩＮ1及びＩＮ2として取り扱われるべき３枚の撮影画像の標本化位置は、３枚の撮影画像の取得中に撮像装置１００に作用した手ぶれ等によって、異なっている。
【０１２７】
撮像部１０１の光学系に適切なローパスフィルタ特性を持たせることにより、折り返し歪を防止するための帯域制限を実施することができる。但し、様々な要因により、実際の帯域制限は不完全であって、標本化によって得られるデジタルデータ（撮影画像の画像信号）は、或る程度の折り返し歪を含んでいる。このような不完全に帯域制限が成された原信号は、［−２π，２π］にて帯域制限が成された信号と考えることができる。
【０１２８】
尚、第１〜第３実施例における画像処理装置１０、１０ａ又は１０ｂが利用される電子機器の例として撮像装置を例示したが、撮像装置以外の電子機器に画像処理装置１０、１０ａ又は１０ｂを搭載するようにしてもよい。例えば、画像処理部１０２及び表示部１０３を備えた表示装置（不図示）を形成してもよい。
【０１２９】
＜＜変形等＞＞
上述した説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。上述の実施形態の変形例または注釈事項として、以下に、注釈１及び注釈２を記す。各注釈に記載した内容は、矛盾なき限り、任意に組み合わせることが可能である。
【０１３０】
［注釈１］
２つの輪郭抽出フィルタ（即ち、図８（ａ）及び（ｂ）のフィルタ３０１及び３０２）を用いて輪郭方向の推定処理及び輪郭方向成分値の算出処理を行う例を示したが、互いに異なる３以上の輪郭抽出フィルタを用いてそれらの処理を実現しても良い。例えば、水平方向の輪郭を抽出するための輪郭抽出フィルタ３０１と、垂直方向の輪郭を抽出するための輪郭抽出フィルタ３０２と、右斜め方向の輪郭を抽出するための輪郭抽出フィルタ（不図示）と、左斜め方向の輪郭を抽出するための輪郭抽出フィルタ（不図示）と、を用いてそれらの処理を実現してもよい。
【０１３１】
［注釈２］
画像処理装置（１０、１０ａ又は１０ｂ）は、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって実現可能である。ソフトウェアを用いて画像処理装置を構成する場合、ソフトウェアにて実現される部位についてのブロック図は、その部位の機能ブロック図を表すことになる。画像処理装置にて実行されるべき演算処理の全部または一部を、プログラムとして記述し、該プログラムをプログラム実行装置（例えばコンピュータ）上で実行することによって、その演算処理の全部または一部を実現するようにしてもよい。
【図面の簡単な説明】
【０１３２】
【図１】本発明の実施形態に係り、周波数空間上における、入力画像の基本波の分布及び一次高調波による折り返し成分の分布を示す図である。
【図２】図１に対して、周波数空間を複数の周波数領域に分割するための境界線を付記した図である。
【図３】画像の濃淡変化と輪郭方向との関係を示す図である。
【図４】本発明の第１実施例に係る画像処理装置の内部ブロック図である。
【図５】本発明の第１実施例に係る低解像度画像の構成を示す図である。
【図６】本発明の第１実施例に係る高解像度画像の構成を示す図である。
【図７】図４に示される加重計算部の内部ブロック図である。
【図８】水平方向の輪郭を抽出するフィルタの構成を示す図（ａ）と、垂直方向の輪郭を抽出するフィルタの構成を示す図（ｂ）である。
【図９】図７に示される輪郭方向成分算出部の内部ブロック図である。
【図１０】左斜め方向の輪郭が存在している画像領域内の濃淡画像と該画像領域内の画像信号値とを示す図（ａ）、及び、右斜め方向の輪郭が存在している画像領域内の濃淡画像と該画像領域内の画像信号値とを示す図（ｂ）である。
【図１１】垂直方向に高い相関を有する画像を示す図（ａ）、及び、水平方向に高い相関を有する画像を示す図（ｂ）である。
【図１２】図９に示されるセレクタ部５４の入出力信号間の真理値表である。
【図１３】本発明の第２実施例に係る画像処理装置の内部ブロック図である。
【図１４】図１３に示される加重計算部の内部ブロック図である。
【図１５】図１４に示される輪郭抽出部及び位置合わせ／高解像度化部の動作概念図である。
【図１６】本発明の第３実施例に係る画像処理装置の内部ブロック図である。
【図１７】図１６に示される加重計算部の内部ブロック図である。
【図１８】図１６に示される加重計算部の動作概念図である。
【図１９】本発明の第４実施例に係る撮像装置の概略ブロック図である。
【図２０】従来技術に係り、折り返し歪の発生原理を説明するための図である。
【図２１】従来技術に係り、周波数空間上における、二次元画像の基本波の分布及び一次高調波による折り返し成分の分布を示す図である。
【図２２】図４の画像処理装置と対比に供される、他の画像処理装置の内部ブロック図である。
【符号の説明】
【０１３３】
１０、１０ａ、１０ｂ  画像処理装置
１１  入力画像取得部
１２  位置推定部
１３  位置合わせ／高解像度化部
１４、１４ａ  加重計算部
１５  積和部
２１  係数算出部
２２  第１積和部
２３  加重計算部
２４  第２積和部
３１  第１係数算出部
３２  輪郭抽出部
３３  輪郭方向成分値算出部
３４  第２係数算出部
７１  輪郭抽出部
７２  位置合わせ／高解像度化部
８１  輪郭抽出部
８２  輪郭方向成分値算出部
１００  撮像装置
【図１】
2010033231.tif 000012
【図２】
2010033231.tif 000013
【図３】
2010033231.tif 000014
【図４】
2010033231.tif 000015
【図５】
2010033231.tif 000016
【図６】
2010033231.tif 000017
【図７】
2010033231.tif 000018
【図８】
2010033231.tif 000019
【図９】
2010033231.tif 000020
【図１０】
2010033231.tif 000021
【図１１】
2010033231.tif 000022
【図１２】
2010033231.tif 000023
【図１３】
2010033231.tif 000024
【図１４】
2010033231.tif 000025
【図１５】
2010033231.tif 000026
【図１６】
2010033231.tif 000027
【図１７】
2010033231.tif 000028
【図１８】
2010033231.tif 000029
【図１９】
2010033231.tif 000030
【図２０】
2010033231.tif 000031
【図２１】
2010033231.tif 000032
【図２２】
2010033231.tif 000033