(57)【要約】  【課題】  本発明は、低解像度画像を小領域毎に高解像度化することにより、高解像度化するための演算量を低減させた画像処理方法及び画像処理装置を提供することを目的とする。  【解決手段】  高解像画像を取得するための高解像化処理を行う際、高解像度化処理に利用する複数フレームの低解像度実画像において、高解像度化演算する領域を設定する。各低解像度実画像で設定した領域内の画素の画素値を用いて高解像度化演算を行って、その画素に応じた高解像度画像の画素値を取得するとともに、設定する領域を順番に走査することにより、高解像度画像を構成する全画素の画素値を取得することができる。【選択図】      図４
2009037460.tif 000002
【特許請求の範囲】
【請求項１】
注目フレームとなる第１低解像度画像とＭ（１以上の整数）フレームの第２低解像度画像とから高解像度画像を生成する高解像度化部を備える画像処理装置において、
前記高解像度化部による高解像度化処理の対象となる前記第１及び第２低解像度画像それぞれに対して、第１及び第２対象領域を設定する領域切り出し部を備え、
前記高解像度化部が、該領域切り出し部によって設定された前記第１及び第２対象領域の画素値を利用して、前記高解像度画像における前記第１対象領域に対応した領域の画素値を算出するとともに、
前記領域切り出し部が、前記高解像度化部が前記画素値を算出する度に、前記第１低解像度画像における前記第１対象領域の位置を走査させるとともに、前記第２対象領域を前記第１領域に対応した位置に設定することを特徴とする画像処理装置。
【請求項２】
前記第２低解像度画像それぞれと、前記第１低解像度画像との間の動き量を算出する動き量算出部を備え、
前記領域切り出し部が、前記第２低解像度画像それぞれに対して設定する前記第２対象領域を、前記動き量算出部で得られた前記第１低解像度画像との間の動き量に基づいて設定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記高解像度化部が、前記第１及び第２対象領域の画素値より前記高解像度画像の画素値を算出するフィルタによって構成され、
前記第１対象領域を走査させる毎に、前記領域切り出し部で設定される前記第１及び第２対象領域の位置関係に基づいて、前記フィルタのフィルタ係数が更新されることを特徴とする請求項１又は請求項２に記載の画像処理装置。
【請求項４】
前記第１及び第２対象領域の位置関係の組み合わせ毎に、当該組み合わせに応じた前記フィルタのフィルタ係数を記憶するフィルタ係数記憶部を備え、
前記領域切り出し部で設定される前記第１及び第２対象領域の位置関係の組み合わせに応じた前記フィルタ係数を読み出して、前記高解像度化部を構成する前記フィルタのフィルタ係数に設定することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
外部入力又は撮像により複数フレームとなる画像による画像信号が与えられるとともに、該画像信号による画像を高解像度の画像に変換する高解像度化機能を備えた電子機器において、
前記高解像度化機能を実現する画像処理部として、請求項１〜請求項４のいずれかに記載の画像処理装置を備え、前記画像信号による画像を前記低解像度画像として高解像度化処理を行うことで、所望の前記高解像度画像が生成されることを特徴とする電子機器。
【請求項６】
注目フレームとなる第１低解像度画像とＭ（１以上の整数）フレームの第２低解像度画像とから高解像度画像を生成する高解像度化ステップを備える画像処理方法において、
前記高解像度化ステップでの高解像度化処理の対象となる前記第１及び第２低解像度画像それぞれに対して、第１及び第２対象領域を設定する領域切り出しステップを備え、
前記高解像度化ステップにおいて、該領域切り出しステップで設定された前記第１及び第２対象領域の画素値を利用して、前記高解像度画像における前記第１対象領域に対応した領域の画素値を算出するとともに、
前記領域切り出しステップにおいて、前記高解像度化ステップで前記画素値を算出する度に、前記第１低解像度画像における前記第１対象領域の位置を走査させるとともに、前記第２対象領域を前記第１領域に対応した位置に設定することを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、高解像度画像を生成する画像処理方法及び画像処理装置に関するもので、特に、複数の低解像度画像から高解像度画像を生成する超解像処理を行う画像処理方法及び画像処理装置に関する。又、この画像処理装置により生成された高解像度画像を記録又は再生する電子機器に関する。
【背景技術】
【０００２】
近年、各種デジタル技術の発展に伴い、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complimentary Metal Oxide Semiconductor）センサなどの固体撮像素子によりデジタル画像を撮影するデジタルカメラやデジタルビデオなどといった撮像装置や、デジタル画像を表示する液晶ディスプレイやプラズマテレビなどといった表示装置が、広く普及されつつある。そして、このような撮像装置や表示装置で処理されるデジタル画像において、異なる時間に撮影された複数のデジタル画像を用いて、その解像度を高解像度に変換する画像処理技術が提案されている。
【０００３】
このような高解像度変換を行う画像処理技術は、例えば、Ｒ，Ｇ，Ｂなどの微少原色フィルタがモザイク状に配設された単板の固体撮像素子によって撮影を行って得られた、ＣＦＡ（Color Filter Array）画像より、ＲＧＢそれぞれの原色画像を生成する場合や、高解像度のＲＧＢ画像を生成する場合などに利用される。即ち、サンプリングタイミングに相当するサンプリング位置がフレーム間でずれることで、フレーム間でサンプリング間隔が不均等となる複数の低解像度画像となる図２３のような３フレームのＲＧＢ画像が与えられると、この３フレームのＲＧＢ画像を利用した高解像度変換が成される。
【０００４】
このとき、高解像度変換を利用した補間処理がなされることで、図２４に示すように、ＣＦＡ画像によるＲＧＢ画像と同一画素数のＲ画像、Ｇ画像、Ｂ画像それぞれが生成される。即ち、図２３に示す３フレームのＲ画素における画素値を用いた高解像度変換を行うことで、図２４に示すＲ画像が取得され、図２３に示す３フレームのＧ画素における画素値を用いた高解像度変換を行うことで、図２４に示すＧ画像が取得され、図２３に示す３フレームのＢ画素における画素値を用いた高解像度変換を行うことで、図２４に示すＢ画像が取得される。
【０００５】
又、解像度を高解像度に変換する場合は、ＲＧＢの位置関係をそのままとして、高解像度変換を利用することで、その画素数を増加させた図２５に示す高解像度画像となるＲＧＢ画像が形成される。即ち、図２３に示す３フレームのＲＧＢ画素における画素値を用いた高解像度変換を行うことで、図２５に示す高解像度画像におけるＲＧＢ画素の画素値が取得されることとなる。
【０００６】
上述の高解像度変換方法として、位置ズレのある複数の低解像度画像より１つの高解像度画像を推定する超解像処理が提案されている（非特許文献１〜３参照）。そして、高解像度画像から低解像度画像が生成される過程を推定した後、取得した低解像度画像に対して、推定された過程の逆過程に対応した処理を施すことで高解像度画像を生成する再構成型と呼ばれる方式が提案されている。
【０００７】
又、再構成型方式以外の別の方法として、そのフレーム間でサンプリング間隔が不均等となる複数の低解像度画像に基づいて、均等サンプリングされた高解像度画像を再サンプリングした後、画像復元処理などを施すことで、取得した高解像度画像に発生するぼけを除去する。このような高解像度変換方法では、高解像度画像における再サンプリング点との距離に応じて、高解像度変換の演算に利用される低解像度画像それぞれにおける各サンプリング点の画素値に乗算する重み係数が設定される。そして、設定した重み係数によって、高解像度変換の演算に利用される低解像度画像それぞれにおける各サンプリング点の画素値を重み付け平均することによって、高解像度画像における再サンプリング点の画素値が求められる。
【０００８】
例えば、図２６に示すように、高解像度画像における再サンプリング点である画素位置αの画素値Ｖを取得するために、複数フレームの低解像度画像それぞれにおける各サンプリング点（不均等サンプリング点）となる画素位置β１〜β８それぞれの画素値ｖ１〜ｖ８が重み付け平均される。即ち、画素位置β１〜β８それぞれの画素位置αとの距離Ｌ１〜Ｌ８に基づいて、画素値ｖ１〜ｖ８に乗算される重み係数ｗ１〜ｗ８が設定され、以下の（１）式によって、画素位置αの画素値Ｖが算出される。このとき、重み係数ｗ１〜ｗ８は、画素位置αとの距離Ｌ１〜Ｌ８に応じて、その値が指数関数的に変化させるなどのローパス特性を有する。そのため、この重み付け平均を行った後、画像復元処理を行うことで、重み付け平均によるぼけを解消する。
【０００９】
【数１】
2009037460.tif 000003
【００１０】
それに対して、上述した再構成型方式による超解像処理では、まず、複数の低解像度画像より取得される高解像度画像を仮定する（ＳＴＥＰ１）。この仮定した高解像度画像に基づいて、高解像度画像を構築するための複数の低解像度画像それぞれに逆変換して推定する（ＳＴＥＰ２）。そして、逆変換後の低解像度画像と元の低解像度画像とを比較した後（ＳＴＥＰ３）、その比較結果より、変換後の低解像度画像と元の低解像度画像との間における各画素位置での値の差が小さくなるように、高解像度画像を生成する（ＳＴＥＰ４）。そして、変換後の低解像度画像と元の低解像度画像との間における各画素位置での値（以下、「画素値」と呼ぶ）の差が収束するように、ＳＴＥＰ２〜ＳＴＥＰ４の処理を繰り返すことにより、最終的に取得される高解像度画像を実画像に近い画像とすることができる。
【００１１】
この再構成型方式として、ＭＬ（Maximum-Likelihood）法や、ＭＡＰ（Maximum A Posterior）法や、ＰＯＣＳ（Projection Onto Convex Set）法や、ＩＢＰ（Iterative Back Projection）法などが、提案されている。ＭＬ法では、高解像度画像から推定した低解像度画像（以下、「低解像度推定画像」と呼ぶ）の画素値と実際の低解像度画像（以下、「低解像度実画像」と呼ぶ）の画素値との二乗誤差を評価関数とし、この評価関数を最小化する高解像度画像を生成する方法である（非特許文献４参照）。即ち、このＭＬ法による超解像処理は、最尤推定の原理に基づく処理方法である。
【００１２】
又、ＭＡＰ法では、低解像度推定画像と低解像度実画像それぞれの画素値の二乗誤差に高解像度画像の確率情報を付加したものを、評価関数とし、この評価関数を最小化する高解像度画像を生成する方法である（非特許文献５，６参照）。即ち、ＭＡＰ法では、低解像度実画像に対する先見情報に基づく事後確率分布における出現確率を最大とするときの高解像度画像を推定することによって、最適な高解像度画像が取得される。
【００１３】
更に、ＰＯＣＳ法では、高解像度画像と低解像度画像のそれぞれの画素値に関する連立方程式を作成し、その連立方程式を逐次的に解くことにより、高解像度画像の画素値の最適値を取得して高解像度画像を生成する方法である（非特許文献７参照）。又、ＩＢＰ法は、暫定的に計算された高解像度画像から推定される低解像度画像と、実際に取得された低解像画像の誤差を、暫定的な高解像度画像に反復的に逆投影することで（反復逆投影法）、高解像度画像を高精度化する超解像処理方法である（非特許文献８参照）。
【００１４】
このような超解像処理を用いて高解像度画像を取得する画像処理装置として、高解像度画像を所定の小領域に分割し、その小領域の画素値を、その小領域に含まれる低解像度画像の画素値の平均で代表させることで、超解像処理の高速化を図るものが提案されている（特許文献１参考）。即ち、低解像度画像から高解像度画像を推定する計算において、従来方法では、小領域に含まれる全ての観測画素に対して推定計算が必要であるが、特許文献１による超解像処理では小領域毎に１回の推定計算で済む。これにより、高解像度画像を推定する際の演算処理にかかる演算量を抑えることができ、超解像処理の高速化を図ることができる。
【００１５】
更に、この特許文献１で提案されている評価関数を利用して、その評価関数とその評価関数の高解像度画像に対する微分の計算を高速化させる超解像処理方法が、提案されている（特許文献２）。この特許文献２では、超解像処理により得られる高解像度画像、複数フレームの低解像度画像を位置合わせしたときの不等間隔となる画素位置を高解像度画像の画素位置に近似することで得られる平均観測画像、高解像度画像に対して乗算される点広がり関数であるＰＳＦ（Point Spread Function）関数により構成されるＰＳＦ画像、及び、平均観測画像を形成するときの各画素位置毎に近似された画素数を画素値とする重み画像といった４種類の画像を、上述の評価関数及びその評価関数の微分式に利用することで、演算の高速化が図られている。
【特許文献１】特許第３８３７５７５号公報
【特許文献２】特開２００６−３０９６４９号公報
【非特許文献１】Sung, C. P. Min, K. P. Moon, G. K. 共著 "Super-resolution image reconstruction: a technical overview", (Signal processing Magazine, IEEE on Volume 26,Issue 3, May 2003, P.21-36)
【非特許文献２】杉本、奥富、共著「画像の超解像処理」（ロボット学会誌、Vol.23 No.3, pp.305-309,2005.）
【非特許文献３】David Capel, 著 "Image Mosaicing and Super-resolution", (Springer, 2004)
【非特許文献４】Tom, B.C. Katsaggelos, A.K. 共著 "Reconstruction of a high-resolution image by simultaneous registration, restoration, and interpolation of low-resolution images", (Image Processing, Proceedings, International Conference on Volume 2, Oct 1995, P.23-26)
【非特許文献５】Schultz, R.R. Stevenson, R.L. 共著 "Extraction of high-resolution frames from video sequences" (Image Processing, IEEE Transactions on Volume 5, Issue 6, June 1996, P.996-1011)
【非特許文献６】Hardie R.C. Barnard K.J. Armstrong E.E. 共著 "Joint MAP registration and high-resolution image estimation using a sequence of undersampled images" (Image Processing, IEEE Transactions on Volume 6, Issue 12, Dec. 1997 P.1621-1633)
【非特許文献７】Stark, H. Oskoui, P. 共著 "High resolution image recovery from image-plane arrays, using convex projections" (J. Opt. Soc. Am. A, on vol. 6. P.1715-1726, 1989)
【非特許文献８】Michel, I. Peleg, S. 共著 "Improving Resolution by Image Registration" (CVGIP: Graph Models Image Process, on vol. 53. P.231-239, Mar. 1991)
【発明の開示】
【発明が解決しようとする課題】
【００１６】
ところで、特許文献１及び特許文献２の画像処理方法などにおいても採用される再構成型の超解像処理において、最も高精度で頑健な処理が実現されるものとして、ＭＡＰ法が挙げられる。このＭＡＰ法の詳細について、以下に説明する。上述したＳＴＥＰ１〜ＳＴＥＰ４の各処理を行う際、高解像度画像から低解像度画像を推定する評価関数が用いられて、高解像度画像の更新量を算出する演算処理がなされる。この評価関数を中心に説明することで、ＭＡＰ法を説明する。
【００１７】
以下の説明において、推定すべき高解像度画像の画素値全てをベクトル化したものをｘとし、超解像処理に用いるために取得された全フレームの低解像度画像（以下、「低解像度実画像」と呼ぶ）の画素値全てをベクトル化したものをｙとする。ＳＴＥＰ２における逆変換を行う際、その逆変換に利用されるプロセスとして、（１）高解像度画像に施す適当なローパスフィルタ処理、（２）位置ズレに相当する回転・平行移動の適用、（３）高解像度画像から低解像度画像への画素数の間引きといったプロセスが順番に行われる。尚、以下において、この高解像度画像から逆変換されることで推定される低解像度画像を「低解像度推定画像」と呼ぶ。
【００１８】
この（１）〜（３）を合成したプロセスの特性が、行列Ａとして表される。即ち、取得された低解像度実画像の画素値ｙと、推定された高解像度画像の画素値ｘとの関係が、以下の（２）式で表される。尚、（２）式における「ｎ」は、低解像度画像の取得時に生じるノイズである。
ｙ＝Ａｘ＋ｎ    …（２）
【００１９】
この（２）式によって、高解像度画像から変換された低解像度推定画像（Ａｘ）と、取得された低解像度実画像（ｙ）との間の二乗誤差によって、以下の（３）式で表される評価関数Ｅ［ｘ］が得られる。そして、この評価関数Ｅ［ｘ］を最小にする高解像度画像（ｘ）を算出することが、ＭＡＰ法である。
Ｅ［ｘ］＝‖ｙ−Ａｘ‖2＋ｆ（ｘ）  …（３）
【００２０】
尚、（３）式において、その右辺の第１項‖ｙ−Ａｘ‖2が、低解像度推定画像と低解像度実画像それぞれにおける各画素値の二乗誤差の和を表し、その右辺の第２項ｆ（ｘ）が、事前確率モデルに基づく、低解像度推定画像に対する先験情報で正規化項と呼ばれるものである。又、第２項ｆ（ｘ）については、例えば、「高解像度画像には高域成分が少ない」という事前知識に基づき、例えば、ラプラシアンフィルタなどのハイパスフィルタとなる行列式Ｐと、この正規化項の評価関数Ｅ［ｘ］における重みの強さを表すパラメータλによって、以下の（４）式のような構成とされる。
ｆ（ｘ）＝λ‖Ｐｘ‖2  …（４）
【００２１】
この（４）式による正規化項を（３）式に代入することで、評価関数Ｅ［ｘ］が、以下の（５）式のように表される。この（５）式は、高解像度画像の画素数だけ未知数を含む式となるため、例えば、１２８０×９６０画素といった通常の大きさの画像を対象とした場合、その画素数が多いことから、解くことが難しい。そのため、最急降下法や共役勾配法などの繰り返し演算的な手法が利用される。
Ｅ［ｘ］＝‖ｙ−Ａｘ‖2＋λ‖Ｐｘ‖2  …（５）
【００２２】
一方、この（５）式から直接、高解像度画像の画素値ｘを算出するには、この画素値ｘが最小値において、評価関数Ｅ［ｘ］の導関数が「０」となる性質を利用する。即ち、高解像度画像の画素値ｘによる導関数∂Ｅ［ｘ］／∂ｘが、以下の（６）式のように「０」となることで、更に、以下の（７）式のように、高解像度画像の画素値ｘが算出される。
∂Ｅ［ｘ］／∂ｘ＝−ＡT（ｙ−Ａｘ）＋λＰTＰｘ＝０  …（６）
ｘ＝（ＡTＡ＋λＰTＰ）-1ＡTｙ  …（７）
【００２３】
このように、（７）式で得られる（ＡTＡ＋λＰTＰ）-1ＡTを、低解像度実画像の画素値ｙに乗算することによって、高解像度画像の各画素値ｘを取得することができる。しかしながら、超解像処理に利用する低解像度実画像の画素数及びフレーム数、高解像度画像の画素数によって、（ＡTＡ＋λＰTＰ）-1ＡTによる行列の係数で構成されるフィルタのフィルタ係数の数が決まる。
【００２４】
そのため、上述したように、１２８０×９６０画素といった通常の大きさの画像を対象とした場合、高解像度画像の画素値を算出するためのフィルタ係数の数が多くなる。よって、超解像処理を行うためのフィルタを構成する演算回路での回路規模が大きくなるだけでなく、その演算量も莫大な量となり実行不可能となる。このことから、超解像処理において、勾配法などで取得された勾配量によって、高解像度画像を繰り返し更新する必要があり、再現性の高い高解像度画像を取得するには、繰り返し回数を多くする必要があり、その演算に時間がかかる。又、動画撮影時などにおいては、１フレームの撮影時間に上限があるため、その繰り返し回数が制限されるため、再現性の高い高解像度画像が取得できない。
【００２５】
このような問題を鑑みて、本発明は、低解像度画像を小領域毎に高解像度化することにより、高解像度化するための演算量を低減させた画像処理方法及び画像処理装置を提供することを目的とする。又、本発明は、低解像度画像を小領域毎に高解像度化することにより、高解像度化するための演算量を低減させた画像処理装置を備えた電子機器を提供することを目的とする。
【課題を解決するための手段】
【００２６】
上記目的を達成するために、本発明の画像処理装置は、注目フレームとなる第１低解像度画像とＭ（１以上の整数）フレームの第２低解像度画像とから高解像度画像を生成する高解像度化部を備える画像処理装置において、前記高解像度化部による高解像度化処理の対象となる前記第１及び第２低解像度画像それぞれに対して、第１及び第２対象領域を設定する領域切り出し部を備え、前記高解像度化部が、該領域切り出し部によって設定された前記第１及び第２対象領域の画素値を利用して、前記高解像度画像における前記第１対象領域に対応した領域の画素値を算出するとともに、前記領域切り出し部が、前記高解像度化部が前記画素値を算出する度に、前記第１低解像度画像における前記第１対象領域の位置を走査させるとともに、前記第２対象領域を前記第１領域に対応した位置に設定することを特徴とする。
【００２７】
そして、前記第２低解像度画像それぞれと、前記第１低解像度画像との間の動き量を算出する動き量算出部を備え、前記領域切り出し部が、前記第２低解像度画像それぞれに対して設定する前記第２対象領域を、前記動き量算出部で得られた前記第１低解像度画像との間の動き量に基づいて設定するものとしても構わない。
【００２８】
又、前記高解像度化部が、前記第１及び第２対象領域の画素値より前記高解像度画像の画素値を算出するフィルタによって構成され、前記第１対象領域を走査させる毎に、前記領域切り出し部で設定される前記第１及び第２対象領域の位置関係に基づいて、前記フィルタのフィルタ係数が更新されるものとしても構わない。
【００２９】
このような画像処理装置に置いて、前記第１及び第２対象領域の位置関係の組み合わせ毎に、当該組み合わせに応じた前記フィルタのフィルタ係数を記憶するフィルタ係数記憶部を備え、前記領域切り出し部で設定される前記第１及び第２対象領域の位置関係の組み合わせに応じた前記フィルタ係数を読み出して、前記高解像度化部を構成する前記フィルタのフィルタ係数に設定するものとしても構わない。
【００３０】
又、前記高解像度化部において、前記第１及び第２対象領域の画素を高解像度化する際、前記第１対象領域の中央位置に位置する１画素以上の対象画素に対応する前記高解像度画像の画素の画素値を算出するものとしても構わない。このとき、前記高解像度化部において、前記フィルタ係数として、前記高解像度化部で取得する画素に対応した行のフィルタ係数のみが、高解像度化を行うための演算に使用されるものとしても構わない。
【００３１】
更に、前記高解像度化部において、超解像処理を行う評価関数の導関数を０とするための行列の係数となる、上述の（７）式で得られる（ＡTＡ＋λＰTＰ）-1ＡTによって、前記フィルタが構成されるものとしても構わない。又、前記高解像度化部となる前記フィルタが、再構成型の超解像処理による演算を２回繰り返したときに得られる係数によって構成されるものとしても構わない。
【００３２】
本発明の電子機器は、外部入力又は撮像により複数フレームとなる画像による画像信号が与えられるとともに、該画像信号による画像を高解像度の画像に変換する高解像度化機能を備えた電子機器において、前記高解像度化機能を実現する画像処理部として、上述のいずれの画像処理装置を備え、前記画像信号による画像を前記低解像度画像として高解像度化処理を行うことで、所望の前記高解像度画像が生成されることを特徴とする。
【００３３】
又、本発明の画像処理方法は、注目フレームとなる第１低解像度画像とＭ（１以上の整数）フレームの第２低解像度画像とから高解像度画像を生成する高解像度化ステップを備える画像処理方法において、前記高解像度化ステップでの高解像度化処理の対象となる前記第１及び第２低解像度画像それぞれに対して、第１及び第２対象領域を設定する領域切り出しステップを備え、前記高解像度化ステップにおいて、該領域切り出しステップで設定された前記第１及び第２対象領域の画素値を利用して、前記高解像度画像における前記第１対象領域に対応した領域の画素値を算出するとともに、前記領域切り出しステップにおいて、前記高解像度化ステップで前記画素値を算出する度に、前記第１低解像度画像における前記第１対象領域の位置を走査させるとともに、前記第２対象領域を前記第１領域に対応した位置に設定することを特徴とする。
【発明の効果】
【００３４】
本発明によると、低解像度実画像を領域毎に分割して高解像度化するものとするため、従来のように、低解像度実画像の全画素を対象に高解像度化するものと比べ、高解像度化を行うための演算式における係数の数を減らすことができる。よって、高解像度化を行うための演算式における係数の設定が容易になるため、高解像度化するためにフィルタを用いた場合にも、そのフィルタ係数の設定が可能となる。
【００３５】
又、設定するフィルタ係数の数が少ないことから、低解像度実画像それぞれにおける対象領域の位置関係に基づくフィルタ係数を記憶させることができる。これにより、高解像度化するためのフィルタを構成するフィルタ係数について、記憶したフィルタ係数を利用するだけで簡単に高解像度化を行うための演算が可能となる。
【発明を実施するための最良の形態】
【００３６】
本発明の実施の形態について、図面を参照して説明する。尚、以下では、本発明における画像処理方法を行う画像処理装置（以下では、「画像処理部」に相当する）を備えたデジタルカメラやデジタルビデオなどの撮像装置を例に挙げて、説明する。又、後述するが、同様の画像処理装置を備えるものであれば、液晶ディスプレイやプラズマテレビなどの画像のデジタル処理を行う表示装置であっても構わない。
【００３７】
（撮像装置の構成）
まず、撮像装置の内部構成について、図面を参照して説明する。図１は、撮像装置の内部構成を示すブロック図である。
【００３８】
図１の撮像装置は、被写体から入射される光を電気信号に変換するＣＣＤ又はＣＭＯＳセンサなどの固体撮像素子（イメージセンサ）１と、イメージセンサ１から出力されるアナログ信号である画像信号をデジタル信号に変換するＡＦＥ（Analog FrontEnd）２と、外部から入力された音声を電気信号に変換するマイク３と、ＡＦＥ２からのデジタル信号となる画像信号に対して超解像処理を含む各種画像処理を施す画像処理部４と、マイク３からのアナログ信号である音声信号をデジタル信号に変換する音声処理部５と、画像処理部４からの画像信号と音声処理部５からの音声信号とに対してＭＰＥＧ（Moving Picture Experts Group）圧縮方式などの圧縮符号化処理を施す圧縮処理部６と、圧縮処理部６で圧縮符号化された圧縮符号化信号を外部メモリ２０に記録するドライバ部７と、ドライバ部７で外部メモリ２０から読み出した圧縮符号化信号を伸長して復号する伸長処理部８と、伸長処理部８で復号されて得られた画像信号による画像の表示を行うディスプレイ部９と、伸長処理部８からの音声信号をアナログ信号に変換する音声出力回路部１０と、音声出力回路部１０からの音声信号に基づいて音声を再生出力するスピーカ部１１と、各ブロックの動作タイミングを一致させるためのタイミング制御信号を出力するタイミングジェネレータ１２と、撮像装置内全体の駆動動作を制御するＣＰＵ（Central Processing Unit）１３と、各動作のための各プログラムを記憶するとともにプログラム実行時のデータの一時保管を行うメモリ１４と、ユーザからの指示が入力される操作部１５と、ＣＰＵ１３と各ブロックとの間でデータのやりとりを行うためのバス回線１６と、メモリ１４と各ブロックとの間でデータのやりとりを行うためのバス回線１７と、を備える。
【００３９】
この撮像装置において、撮像動作を行うことが操作部１５によって指示されると、イメージセンサ１の光電変換動作によって得られたアナログ信号である画像信号がＡＦＥ２に出力される。このとき、イメージセンサ１では、タイミングジェネレータ１２からのタイミング制御信号が与えられることによって、水平走査及び垂直走査が行われて、画素毎のデータとなる画像信号が出力される。そして、ＡＦＥ２において、アナログ信号となる画像信号がデジタル信号に変換されて、画像処理部４に入力されると、輝度信号及び色差信号の生成を行う信号変換処理などの各種画像処理が施される。
【００４０】
又、この画像処理部４では、操作部１５によってデジタルズームにより、イメージセンサ１より得られた画像信号の高解像度化が求められると、イメージセンサ１からの複数フレーム分の画像信号に基づく超解像処理が施される。更に、この超解像処理が成された画像信号に基づいて、輝度信号及び色差信号が生成される。又、超解像処理が施されるために、後述するが、複数フレームの画像信号の動き量が算出され、その動き量に応じて各フレームの位置合わせが行われる。
【００４１】
そして、画像処理部４で画像処理が施された画像信号が圧縮処理部６に与えられる。このとき、マイク３に音声入力されることで得られたアナログ信号である音声信号が、音声処理部５でデジタル信号に変換されて、圧縮処理部６に与えられる。これにより、圧縮処理部６では、デジタル信号である画像信号及び音声信号に対して、ＭＰＥＧ圧縮符号方式に基づいて、圧縮符号化してドライバ部７に与えて、外部メモリ２０に記録させる。又、このとき、外部メモリ２０に記録された圧縮信号がドライバ部７によって読み出されて伸長処理部８に与えられて、伸長処理が施されて画像信号が得られる。この画像信号がディスプレイ部９に与えられて、現在、イメージセンサ１を通じて撮影されている被写体画像が表示される。
【００４２】
尚、上述では、動画撮影時の動作について説明したが、静止画像撮影が指示された場合においても、マイク３による音声信号の取得がなく、画像信号のみの圧縮信号が外部メモリ２０に記録されるだけとなり、その基本動作については動画撮影時の動作と同様である。又、この静止画像撮影の場合、操作部１５によって撮影された静止画像に対する圧縮信号が外部メモリ２０に記録されるだけでなく、イメージセンサ１によって撮影されている現時点の画像に対する圧縮信号も外部メモリ２０に一時的に記録される。これにより、現在撮影されている画像に対する圧縮信号が伸長処理部８で伸長されることで、イメージセンサ１によって撮影されている現時点の画像がディスプレイ部９に表示され、ユーザが確認することができる。
【００４３】
このように撮像動作を行うとき、タイミングジェネレータ１２によって、ＡＦＥ２、画像処理部４、音声処理部５、圧縮処理部６、及び伸長処理部８に対してタイミング制御信号が与えられ、イメージセンサ１による１フレームごとの撮像動作に同期した動作が行われる。又、静止画像撮影のときは、操作部１５によるシャッタ動作に基づいて、タイミングジェネレータ１２より、イメージセンサ１、ＡＦＥ２、画像処理部４、及び、圧縮処理部６それぞれに対してタイミング制御信号が与えられ、各部の動作タイミングを同期させる。
【００４４】
又、外部メモリ２０に記録された動画又は画像を再生することが、操作部１５を通じて指示されると、外部メモリ２０に記録された圧縮信号は、ドライバ部７によって読み出されて伸長処理部８に与えられる。そして、伸長処理部８において、ＭＰＥＧ圧縮符号方式に基づいて、伸長復号されて、画像信号及び音声信号が取得される。そして、画像信号がディスプレイ部９に与えられて画像が再生されるとともに、音声信号が音声出力回路部１０を介してスピーカ部１１に与えられて音声が再生される。これにより、外部メモリ２０に記録された圧縮信号に基づく動画が音声とともに再生される。又、圧縮信号が画像信号のみより成るときは、ディスプレイ部９に画像のみが再生されることとなる。
【００４５】
（画像処理部における超解像処理の基本動作）
次に、図１に示す撮像装置における画像処理部４が超解像処理を行うときの、この超解像処理の基本動作について、図面を参照して説明する。図２〜図５は、画像処理部４における超解像処理の各動作を説明するための図である。そして、図２が、超解像処理を行うための対象となる低解像度実画像の関係を示す図であり、図３〜図５が、超解像処理を行う際の領域設定を示す図である。
【００４６】
図１の撮像装置における画像処理部４で超解像処理を行う際、まず、超解像処理を行うための低解像度実画像それぞれについて、注目フレームとなる低解像度実画像との並進及び回転による動き量が算出される。そして、超解像処理に利用される低解像度実画像間において、算出した動き量に基づいて、注目フレームとその他のフレームとの位置合わせが成される。
【００４７】
例えば、図２（ａ）に示すように、低解像度実画像Ｆａと低解像度実画像Ｆｂとの間において、並進及び回転による動き量が備えられているものとする。即ち、図２（ｂ）のように、低解像度実画像Ｆａに対して、水平方向にｕ画素及び垂直方向にｖ画素だけ並進でずれた低解像度実画像Ｆｂｘが、更に、図２（ｃ）のように、角度θだけ回転してずれることで、低解像度実画像Ｆａとの関係が図２（ａ）に示すような関係となる低解像度実画像Ｆｂが得られる。
【００４８】
そして、動き量による位置ズレが生じている低解像度実画像に対して、フレーム間の位置合わせがなされると、位置合わせを行った超解像処理の対象となる低解像度実画像に対して、超解像処理を行う領域（以下、「超解像対象領域」とする）設定を行う。このとき、まず、注目フレームとなる低解像度実画像において、超解像の対象となる画素（以下、「超解像対象画素」とする）と超解像対象画素周辺の複数の画素とによって、超解像対象領域が設定される。
【００４９】
又、超解像対象画素として、水平方向にＴｘ画素及び垂直方向にＴｙ画素並んだＴｘ画素×Ｔｙ画素が選択されるとき、水平方向にＴｘ画素だけ超解像対象画素をずらして、順番に超解像対象領域を設定して超解像処理を行う。そして、１行分の画素を超解像対象画素として設定した超解像処理が成されると、垂直方向にＴｙ画素分だけずれた行の画素を超解像対象画素として選択して超解像対象領域の設定を行う。尚、このように、水平方向に順番に選択して１行分の選択を行った後に、垂直方向に行をずらして、再度水平方向に順番に選択する走査動作を、「ラスタ走査」と呼ぶ。
【００５０】
例えば、図３に示すように、１画素×１画素を超解像対象画素Ｇｔとし、この超解像対象画素Ｇｔを中心とした３画素×３画素を超解像対象領域Ｒｔとする場合、１画素ずつ水平方向及び垂直方向それぞれに走査させる、ラスタ走査が成されることで、超解像対象領域Ｒｔが設定される。そして、注目フレームとなる低解像度実画像に対して設定された超解像対象領域に対して、その動き量が１画素以下となる３画素×３画素の領域が、注目フレーム以外の低解像度実画像それぞれにおける超解像対象領域として設定される。
【００５１】
図２（ａ）のような関係となる低解像度実画像Ｆａ，Ｆｂを例に挙げて、ラスタ走査により選択される図３のような超解像対象領域の設定について、簡単に説明する。注目フレームとなる低解像度実画像Ｆａにおいて、図４（ａ）に示すように、超解像対象画素Ｇｔａをラスタ走査させた結果、超解像対象領域Ｒｔａが設定されるものとする。このとき、低解像度実画像Ｆｂに対しては、図２（ａ）のような関係の低解像度実画像Ｆａ，Ｆｂを位置合わせすることによって取得した動き量に基づいて、図４（ｂ）に示すように、超解像対象領域Ｒｔａと重なる超解像対象領域Ｒｔｂが設定される。即ち、低解像度実画像Ｆａの超解像対象領域Ｒｔａと、低解像度実画像Ｆｂの超解像対象領域Ｒｔｂとの間では、その動き量が１画素以下となる。
【００５２】
よって、図５（ａ）のように、低解像度実画像Ｆａに対して、超解像対象画素Ｇｔａをラスタ走査させることで、設定する超解像対象領域Ｒｔａを、水平方向に１行分走査させた後、垂直方向に走査させる。そして、上述したように、このようにしてラスタ走査される超解像対象領域Ｒｔａに重なる位置の超解像対象領域Ｒｔｂが、低解像度実画像Ｆｂに対して設定される。
【００５３】
このとき、上述したように、低解像度実画像Ｆａ，Ｆｂが図２（ａ）に示すような関係となるため、両フレーム間に動き量があるため、低解像度実画像Ｆｂでは、設定される超解像対象領域Ｒｔｂが、超解像対象領域Ｒｔａのようなラスタ走査とならず、フレーム間の動き量が加味された走査となる。よって、低解像度実画像Ｆｂでは、低解像度実画像Ｆａにおいて水平方向に移動する超解像対象領域Ｒｔａと異なり、超解像対象領域Ｒｔｂを水平方向だけでなく、その動き量によっては垂直方向に移動させる。
【００５４】
即ち、図５（ｂ）に示すように、水平方向に１画素毎に超解像対象領域Ｒｔａをずらして設定していくとき、超解像対象領域Ｒｔｂも同様に水平方向に１画素毎ずらして設定する。しかしながら、低解像度実画像Ｆａ，Ｆｂの間に動き量があるため、１画素毎ずらして設定される超解像対象領域Ｒｔａ，Ｒｔｂの間の動き量が、超解像対象領域Ｒｔａ，Ｒｔｂを走査させる毎に大きくなる。
【００５５】
そして、図５（ｂ）に示すように、低解像度実画像Ｆｂにおいて水平方向に１画素ずらして超解像対象領域Ｒｔｂｘを設定したとき、低解像度実画像Ｆａに対して設定された超解像対象領域Ｒｔａとの動き量が大きく、超解像対象領域Ｒｔａ，Ｒｔｂｘの重なる領域が小さくなることがある。このように、超解像対象領域Ｒｔａと重なる領域面積が小さくなると、図５（ｃ）に示すように、更に、垂直方向にも１画素ずらした超解像対象領域Ｒｔｂｙを設定することで、超解像対象領域Ｒｔａと重なる領域面積を大きくすることができる。
【００５６】
このように、注目フレームとなる低解像度実画像に対しては、超解像対象画素の画素数に応じてラスタ走査することで、超解像対象領域が設定される。又、注目フレーム以外の低解像度実画像に対しては、注目フレームとなる低解像度実画像との動き量に基づいて、注目フレームとなる低解像度実画像に対して設定された超解像対象領域と重なる領域面積が大きくなるように、それぞれの超解像対象領域が設定されることとなる。
【００５７】
そして、超解像処理に利用する低解像度実画像それぞれの超解像対象領域が設定されると、超解像処理を行うための演算が施されて、注目フレームとなる低解像度実画像の超解像対象画素に対応した高解像度画素の画素位置における画素値が算出される。即ち、低解像度実画像において、例えば、図３に示すように、超解像対象領域Ｒｔが３画素×３画素の領域となり、その中心位置の１画素を超解像対象画素Ｇｔとするとともに、解像度を縦横２倍とする。この場合、図６に示すように、取得する高解像度画像における６画素×６画素の領域Ｒｈの中央に位置する２画素×２画素の領域Ｇｈにおける４画素について、その画素値が取得されることとなる。
【００５８】
よって、注目フレームとなる低解像度実画像において、超解像対象領域をラスタ走査する毎に、その中心位置に位置する超解像対象画素に対する演算が成されることで、その解像度を縦横それぞれにＶ、Ｈ倍とする高解像画像を取得する場合、この超解像対象画素に対して、縦横それぞれにＶ、Ｈ倍となる領域の画素の画素値が取得される。そして、注目フレームとなる低解像度実画像を構成する全ての画素について、順番に超解像対象画素に設定することで、取得する高解像度画像の全画素の画素値を取得することができる。
【００５９】
（超解像処理の基本概念）
［発明が解決しようとする課題］で述べたように、高解像度画像の画素値全てをベクトル化したｘと、この高解像度画像を取得するための低解像度実画像それぞれの画素値全てをベクトル化したｙとの間で、（２）式（ｙ＝Ａｘ＋ｎ）の関係が成り立つ。そして、この（２）式に基づく、（５）式のような評価関数Ｅ［ｘ］を最小とする高解像度画像（ｘ）を算出する。このような高解像度画像（ｘ）が、評価関数Ｅ［ｘ］による、（６）式のような導関数∂Ｅ［ｘ］／∂ｘを「０」とする高解像度画像（ｘ）を求めることで、算出する。
【００６０】
このように、評価関数Ｅ［ｘ］の導関数∂Ｅ［ｘ］／∂ｘを「０」とすることによって超解像処理を行うが、再構成型においては、取得した高解像度画像から推定される低解像度推定画像と低解像度実画像との差によって、導関数∂Ｅ［ｘ］／∂ｘを取得すると、その値が「０」に近づけるように、高解像度画像を再構成する。この再構成型による超解像処理の概要について、図面を参照して以下に説明する。尚、この超解像処理の概要を説明するにあたって、その説明を簡単にするために、画像データを１次元方向に並んだ複数画素の画素値によるものとするとともに、異なる時間に撮像された２フレームの画像データによる超解像処理が成されるものとする。
【００６１】
又、以下の説明における画素値は、輝度値を示す。そして、図７（ａ）に、イメージセンサ１により撮像される被写体の輝度分布を示し、図７（ｂ）〜（ｄ）に、この被写体が異なる時間にイメージセンサ１により撮像された際の画像データ（低解像度実画像）を示す。又、図８に、図７における低解像度実画像により高解像度画像となる画像データを生成する際のフローチャートを示す。更に、図８では、各フローにおける信号の変遷を模式的に示す。
【００６２】
図７（ａ）に示す輝度分布の被写体に対して、時間Ｔ１にイメージセンサ１によって撮像されたときの第１フレームのサンプル点がＳ１、Ｓ１＋ΔＳ、Ｓ１＋２ΔＳであり、時間Ｔ２（Ｔ１≠Ｔ２）にイメージセンサ１によって撮像されたときの第２フレームのサンプル点がＳ２、Ｓ２＋ΔＳ、Ｓ２＋２ΔＳであるものとする。又、このとき、第１フレームのサンプル点Ｓ１と第２フレームのサンプル点Ｓ２は、手ブレなどが原因となり、その位置にズレが生じているものとする。
【００６３】
そして、サンプル点Ｓ１、Ｓ１＋ΔＳ、Ｓ１＋２ΔＳは、被写体上のサンプル点を示し、図７（ｂ）に示す第１フレームとなる低解像度実画像Ｆａでは、このサンプル点Ｓ１、Ｓ１＋ΔＳ、Ｓ１＋２ΔＳで撮像された輝度値が、画素Ｐ１，Ｐ２，Ｐ３における画素値ｐａ１，ｐａ２，ｐａ３となる。又、サンプル点Ｓ２、Ｓ２＋ΔＳ、Ｓ２＋２ΔＳは、被写体上のサンプル点を示し、図７（ｃ）に示す第２フレームとなる低解像度実画像Ｆｂでは、このサンプル点Ｓ２、Ｓ２＋ΔＳ、Ｓ２＋２ΔＳで撮像された輝度値が、画素Ｐ１，Ｐ２，Ｐ３における画素値ｐｂ１，ｐｂ２，ｐｂ３となる。
【００６４】
これにより、第１フレームとなる低解像度実画像Ｆａの画素Ｐ１，Ｐ２，Ｐ３における画素値ｐａ１，ｐａ２，ｐａ３が図７（ｂ）のような関係となり、又、第２フレームとなる低解像度実画像Ｆｂの画素Ｐ１，Ｐ２，Ｐ３における画素値ｐｂ１，ｐｂ２，ｐｂ３が図７（ｃ）のような関係となる。このように、図７（ｂ）による低解像度実画像Ｆａ及び図７（ｃ）による低解像度実画像Ｆｂそれぞれは、図中の被写体の位置を基準にすると、画素位置が（Ｓ１−Ｓ２）だけずれた状態の画像となる。そして、低解像度実画像Ｆａの画素Ｐ１，Ｐ２，Ｐ３を基準として低解像度実画像Ｆｂを表した場合（即ち、低解像度実画像Ｆｂを低解像度実画像Ｆａに対する動き量（Ｓ１−Ｓ２）分だけ位置ズレ補正した場合）、低解像度実画像Ｆｂが図７（ｄ）のように表される。
【００６５】
そして、図８（ａ）に示すように、位置ズレを補正した図７（ｂ）及び図７（ｄ）のような低解像度実画像Ｆａ，Ｆｂを組み合わせることで、高解像度画像Ｆｘ１を推定する（ＳＴＥＰ３１）。このとき、以下の説明を簡単にするために、例えば、解像度を１次元方向に対して２倍にするものとする。即ち、高解像度画像Ｆｘ１の画素として、低解像度実画像Ｆａ，Ｆｂの画素Ｐ１，Ｐ２，Ｐ３に加えて更に、画素Ｐ１，Ｐ２の中間位置に位置する画素Ｐ４と、画素Ｐ２，Ｐ３の中間位置に位置する画素Ｐ５とが設定されるものとする。
【００６６】
低解像度実画像Ｆａが基準である注目フレームとされると、画素Ｐ１，Ｐ２，Ｐ３での画素値が、低解像度実画像Ｆａにおける画素値ｐａ１，ｐａ２，ｐａ３とされる。又、画素Ｐ４については、画素Ｐ４との画素位置（画素の中心位置）の距離が、低解像度実画像Ｆａにおける画素Ｐ１，Ｐ２の画素位置からの距離よりも低解像度実画像Ｆｂにおける画素Ｐ１の画素位置からの距離の方が近いことより、画素値ｐｂ１とされるものとする。同様に、画素Ｐ５については、画素Ｐ５との画素位置（画素の中心位置）の距離が、低解像度実画像Ｆａにおける画素Ｐ２，Ｐ３の画素位置からの距離よりも低解像度実画像Ｆｂにおける画素Ｐ２の画素位置からの距離の方が近いことより、画素値ｐｂ２とされるものとする。このように、画素Ｐ１〜Ｐ５の画素値をｐａ１，ｐａ２，ｐａ３，ｐｂ１，ｐｂ２と設定して得られた高解像度画像を、高解像度画像Ｆｘ１として推定されるものとしても構わない。
【００６７】
その後、ＳＴＥＰ３１で得られた高解像度画像Ｆｘ１に対して、ダウンサンプリング量やぼけ量や位置ズレ量（動き量に相当）などをパラメータとして備えた変換式による演算を行うことで、図８（ｂ）のように、低解像度実画像Ｆａ，Ｆｂそれぞれに対する推定画像となる低解像度推定画像Ｆａ１，Ｆｂ１を生成する（ＳＴＥＰ３２）。尚、図８（ｂ）では、ｎ回目の処理によって推定された低解像度推定画像、即ち、高解像度画像Ｆｘｎより推定された低解像度実画像Ｆａ，Ｆｂに相当する低解像度推定画像Ｆａｎ，Ｆｂｎを示す。
【００６８】
即ち、高解像度画像Ｆｘ１に基づいて、サンプル点Ｓ１、Ｓ１＋ΔＳ、Ｓ１＋２ΔＳにおける画素値を推定して、取得した画素値ｐａ１１〜ｐａ３１を画素Ｐ１〜Ｐ３の画素値とする低解像度推定画像Ｆａ１を生成する。同様に、高解像度画像Ｆｘ１に基づいて、サンプル点Ｓ２、Ｓ２＋ΔＳ、Ｓ２＋２ΔＳにおける画素値を推定して、取得した画素値ｐｂ１１〜ｐｂ３１を画素Ｐ１〜Ｐ３の画素値とする低解像度推定画像Ｆｂ１を生成する。
【００６９】
そして、図８（ｃ）に示すように、このようにして得られた低解像度推定画像Ｆａ１，Ｆｂ１それぞれと、低解像度実画像Ｆａ，Ｆｂそれぞれとの間における差分を求め、この差分を合成することで、高解像度画像Ｆｘ１に対する差分画像ΔＦｘ１を取得する（ＳＴＥＰ３３）。尚、図８（ｃ）では、ｎ回目の処理によって取得された高解像度画像Ｆｘｎに対する差分画像ΔＦｘｎ、即ち、低解像度推定画像Ｆａｎ，Ｆｂｎと低解像度実画像Ｆａ，Ｆｂとによる差分画像ΔＦａｎ、ΔＦｂｎを合成することで得られた差分画像ΔＦｘｎを示す。
【００７０】
この図８（ｃ）の処理によって、低解像度推定画像Ｆａ１と低解像度実画像Ｆａにおける画素Ｐ１，Ｐ２，Ｐ３での差分（ｐａ１１−ｐａ１）、（ｐａ２１−ｐａ２）、（ｐａ３１−ｐａ３）による差分画像ΔＦａ１、低解像度推定画像Ｆａ２と低解像度実画像Ｆｂにおける画素Ｐ１，Ｐ２，Ｐ３での差分（ｐｂ１１−ｐｂ１）、（ｐｂ２１−ｐｂ２）、（ｐｂ３１−ｐｂ３）による差分画像ΔＦｂ１をそれぞれ求める。即ち、差分画像ΔＦａ１では、差分値（ｐａ１１−ｐａ１）、（ｐａ２１−ｐａ２）、（ｐａ３１−ｐａ３）が画素値となり、差分画像ΔＦｂ１では、差分値（ｐｂ１１−ｐｂ１）、（ｐｂ２１−ｐｂ２）、（ｐｂ３１−ｐｂ３）が画素値となる。
【００７１】
そして、差分画像ΔＦａ１，ΔＦｂ１の画素値を合成することによって、画素Ｆ１〜Ｆ５それぞれにおける差分値を算出して、高解像度画像Ｆｘ１に対する差分画像ΔＦｘ１を取得する。この差分画像ΔＦａ１，ΔＦｂ１の画素値を合成によって差分画像ΔＦｘ１を取得する際、例えば、ＭＬ法やＭＡＰ法では、二乗誤差を評価関数として用いる。即ち、ＭＬ法やＭＡＰ法の評価関数が、差分画像ΔＦａ１，ΔＦｂ１の画素値を二乗してフレーム間で加算した値となる。よって、この評価関数の微分値である勾配は、差分画像ΔＦａ１，ΔＦｂ１の画素値を２倍した値となるため、高解像度画像Ｆｘ１に対する差分画像ΔＦｘ１は、差分画像ΔＦａ１，ΔＦｂ１それぞれの画素値を２倍した値を用いて高解像度化することで算出される。
【００７２】
その後、図８（ｄ）に示すように、得られた差分画像ΔＦｘ１における画素Ｐ１〜Ｐ５の画素値（差分値）が、ＳＴＥＰ１で推定された高解像度画像Ｆｘ１における画素Ｐ１〜Ｐ５の画素値より減算されることで、図７（ａ）に示す輝度分布の被写体に近い画素値となる高解像度画像Ｆｘ２が再構成される（ＳＴＥＰ３４）。尚、図８（ｄ）では、ｎ回目の処理によって取得された高解像度画像Ｆｘ（ｎ＋１）、即ち、高解像度推定画像Ｆｘｎより差分画像ΔＦｘｎが減算されて得られた高解像度画像Ｆｘ（ｎ＋１）を示す。
【００７３】
そして、上述のＳＴＥＰ３２〜ＳＴＥＰ３４の処理を繰り返すことによって、ＳＴＥＰ３３で得られる差分画像ΔＦｘｎの画素値が小さくなり、高解像度画像Ｆｘｎの画素値が、図７（ａ）に示す輝度分布の被写体に近い画素値に収束される。尚、ｎ回目の処理におけるＳＴＥＰ３２及びＳＴＥＰ３４では、前回（ｎ−１回目）の処理におけるＳＴＥＰ３４で得られた高解像度画像Ｆｘｎによって、低解像度推定画像Ｆａｎ，Ｆｂｎ及び高解像度推定画像Ｆｘ（ｎ＋１）が取得される。そして、差分画像ΔＦｘｎの画素値（差分値）が所定値より小さくなったときや、差分画像ΔＦｘｎの画素値（差分値）が収束されたとき、前の処理（ｎ−１回目の処理）におけるＳＴＥＰ３４で得られた高解像度画像Ｆｘｎを、目的の高解像度画像として超解像処理を終了する。
【００７４】
このような繰り返し演算を利用して再構成型の超解像処理を行う際、低解像度実画像の超解像対象領域毎に、上述のＳＴＥＰ３１〜ＳＴＥＰ３４の動作が行われる。このとき、低解像度実画像の超解像対象領域毎に、ＳＴＥＰ３２〜ＳＴＥＰ３４の動作を繰り返し行われることで、その超解像対象画素に対応した、高解像度画像における各画素の画素値が取得される。そして、低解像度実画像における全画素について、超解像対象画素としてＳＴＥＰ３１〜ＳＴＥＰ３４の動作による演算が成されることによって、高解像度画像における全画素の画素値が取得されることとなる。
【００７５】
又、［発明が解決しようとする課題］で述べたように、超解像処理を行うために、（７）式で得られる（ＡTＡ＋λＰTＰ）-1ＡTを、低解像度実画像の画素値ｙに乗算することによっても、高解像度画像の各画素値ｘを取得することができる。即ち、ＦＩＲ（Finite Impulse Response）フィルタのフィルタ係数を、（ＡTＡ＋λＰTＰ）-1ＡTよりなる行列の係数とし、このＦＩＲフィルタに対して、低解像度画像における超解像対象画素の画素値を入力することで、高解像度画像の画素値が取得される。
【００７６】
このとき、上述の図３の例のように、超解像対象領域を３画素×３画素の領域とするとともに、解像度を縦横それぞれに２倍とした高解像度画像を取得するものとした上に、４フレームの低解像度実画像によって高解像度画像を取得するものとする。よって、ベクトルｙの要素は、４フレームそれぞれの低解像度実画像による３画素×３画素の超解像対象領域における各画素の画素値となるとともに、ベクトルｘの要素は、高解像度実画像における６画素×６画素の領域における各画素の画素値となる。即ち、ベクトルｘが、３６（＝４（フレーム）×３（画素）×３（画素））の画素値を要素として備え、ベクトルｙが、３６（＝６（画素）×６（画素））の画素値を要素として備えることとなる。
【００７７】
よって、（ＡTＡ＋λＰTＰ）-1ＡTよりなるＦＩＲフィルタは、上述の例の場合、３６×３６の行列の係数によって構成されることとなる。ところで、低解像度実画像における３画素×３画素の超解像対象領域Ｒｔ（図３参照）に対して画素値が取得される高解像度画像の領域Ｘａ（図６に示す領域Ｒｈに相当）が、図９に示すように、画素Ｘ11〜Ｘ66による６画素×６画素の領域となる。そして、この領域Ｘａにおける画素Ｘ33，Ｘ34，Ｘ43，Ｘ44（図６に示す領域Ｇｈ内の画素に相当）が、低解像度実画像における超解像対象画素Ｇｔ（図３参照）に対応した画素となる。
【００７８】
ところで、高解像度画像の領域Ｘａにおける画素Ｘ11〜Ｘ66それぞれの画素値がベクトルｘとして表されるとき、領域Ｘａにおける画素Ｘ33，Ｘ34，Ｘ43，Ｘ44それぞれが、ベクトルｘにおける、第１５番目、第１６番目、第２１番目、第２２番目の要素となる。よって、（ＡTＡ＋λＰTＰ）-1ＡTよりなるＦＩＲフィルタにおける第１５行目、第１６行目、第２１行目、第２２行目それぞれの要素と、４フレームの低解像度実画像における超解像対象領域の各画素の画素値とによる積和を算出する。この演算を行うことにより、低解像度実画像における超解像対象画素に対応する、高解像度画像の画素Ｘ33，Ｘ34，Ｘ43，Ｘ44それぞれの画素値が得られる。
【００７９】
このように、（ＡTＡ＋λＰTＰ）-1ＡTよりなるＦＩＲフィルタにより超解像処理を施して、高解像度画像を取得する場合は、超解像対象画素に対応する高解像度画像の画素を算出するための行におけるフィルタ係数を、超解像対象領域毎に算出すればよい。そのため、ラスタ走査により低解像度実画像における超解像対象領域を変更する度に、（ＡTＡ＋λＰTＰ）-1ＡTよりなるＦＩＲフィルタに対して、超解像対象画素に対応する高解像度画像の画素を算出するための行におけるフィルタ係数を算出する。そして、このフィルタ係数と全フレームの超解像対象領域における各画素の画素値との積和を求めることによって、高解像度画像における超解像対象画素に対応する画素の画素値を求める。
【００８０】
尚、超解像処理として、ＭＡＰ法を元に説明したが、［背景技術］で挙げたＭＬ法や、ＰＯＣＳ法や、ＩＢＰ法などが、利用されるものとしても構わない。即ち、後述するが、繰り返し計算による超解像処理を行うものとし、その繰り返し回数を２回としたＦＩＲフィルタを採用する際に、その係数を簡単に求めるために、例えば、事前確率モデルによる正規化項（拘束項）を除いたＭＬ法を採用するものとしても構わない。
【００８１】
このような超解像処理を行う画像処理部について、以下に説明する。尚、以下の説明では、画像処理部内に超解像処理を行うためのＦＩＲフィルタが備えられるとともに、そのフィルタ係数が記憶されているものとする。しかしながら、ラスタ走査して設定される超解像対象領域毎に、高解像度画像の画素の画素値が算出されるものであれば、上述した図８に基づくフローに基づく演算を行う回路構成を画像処理部内に備えるものなどのように、他の構成としても構わない。
【００８２】
（画像処理部の構成）
上述の撮像装置における画像処理部の構成について、図１０を参照して説明する。図１０は、本実施形態の撮像装置における画像処理部の構成を示すブロック図である。
【００８３】
図１０に示す画像処理部４は、ＡＦＥ２でデジタル信号とされた複数フレーム分の低解像度実画像となる画像信号を一時的に記憶するフレームメモリ４１と、フレームメモリ４１に記憶された複数フレームの低解像度実画像それぞれの間の動き量を算出する動き量算出部４２と、動き量算出部４２で検出された動き量を記憶する動き量記憶部４３と、超解像処理を行う低解像度実画像それぞれにおける超解像対象領域を指定する領域指定部４４と、領域指定部４４によって指定された各フレームの低解像度実画像における超解像対象領域の画素値をフレームメモリ４１より読み出す領域切り出し部４５と、超解像処理を行うためのフィルタ係数を記憶するフィルタ係数記憶部４６と、領域切り出し部４５より読みだされた画素値に対してフィルタ係数記憶部４６より与えられるフィルタ係数によるフィルタ処理を施すことによって超解像処理を行う超解像処理用フィルタ部４７と、超解像処理用フィルタ部４７でのフィルタ処理によって取得された高解像度画像を記憶するフレームメモリ４８と、フレームメモリ４８に記憶された高解像度画像による画像信号又はＡＦＥ２から直接与えられた画像信号より輝度信号及び色差信号を生成する信号処理部４９と、を備える。
【００８４】
このように構成される画像処理部４は、ＡＦＥ２でデジタル信号とされた複数フレーム分の低解像度実画像に基づいて、高解像度画像を生成するとき、画像処理部４内に構成される全てのブロックが動作することによって、上述したように、超解像対象領域毎に超解像処理が成される。即ち、後述するが、超解像対象領域毎にフレームメモリ４１より各フレームの低解像度実画像の画素値を読み出す。
【００８５】
このとき、超解像処理用フィルタ部４７には、各フレーム間の超解像対象領域の動き量に応じたフィルタ係数がフィルタ係数記憶部４６より与えられる。この与えられたフィルタ係数に基づくフィルタ処理を、フレームメモリ４１より読み出した画素値に施すことによって、超解像対象領域毎の超解像処理が成される。そして、超解像対象領域毎に超解像処理が成された画素値が、高解像度画像の各画素における画素値として、フレームメモリ４８に与えられて記憶される。
【００８６】
尚、操作部１５による高解像度化が要求されていない場合は、ＡＦＥ２でデジタル信号に変換された画像信号が１フレーム毎に信号処理部４９に与えられる。そして、信号処理部４９において、与えられた画像信号から輝度信号及び色差信号を生成し、１フレーム毎、取得された輝度信号及び色差信号を、圧縮処理部６に与えることによって、圧縮処理部６で圧縮符号化される。
【００８７】
（動き量の検出）
図１０のように構成される画像処理部４では、動き量算出部４２において、フレームメモリ４１に記憶されたＮフレームの低解像度実画像に対して、注目フレームである低解像度実画像と、この注目フレーム以外のＮ−１フレームの低解像度実画像との動き量が検出される。このとき、連続する２つの低解像度画像毎に動き量を検出した後、検出した動き量の総和を求めることで、注目フレームとなる低解像度実画像との動き量を求めるものとする。
【００８８】
即ち、動き量の検出は、まず、時間的に連続した２フレームの低解像度画像の一方を基準画像とし、他方を非基準画像として検出される。そして、注目フレームから数えてｎフレーム目となる低解像度画像の場合、注目フレームとなる低解像度画像との動き量が、ｎフレームの低解像度画像間における動き量の総和を求めることで検出される。尚、この動き量の検出については、注目フレームとなる低解像度実画像を基準画像とするとともに、それ以外のＮ−１フレームの低解像度実画像を非基準画像として、注目フレーム以外のＮ−１フレームの低解像度実画像それぞれと注目フレームとなる低解像度実画像との間の動き量が検出されるものとしても構わない。
【００８９】
そして、この動き量の検出において、連続する２フレームの低解像度画像である基準画像と非基準画像との間における回転・並進による動き量が検出される。この動き量検出については、例えば、周知の代表点マッチング法によって、画像間における画素単位の動き量が検出され、その後、１画素内（１画素以下）における動き量について、画素単位の位置ズレ補正された近隣画素の画素値の関係に基づいて検出されるものとしても構わない。以下に、代表点マッチング法と、１画素内における動き量検出とについて、簡単に説明する。
【００９０】
（１）代表点マッチング法
基準画像及び非基準画像それぞれに対して、例えば、図１１に示すように、ａ×ｂの画素群（例えば、３６×３６の画素群）を１つの小領域ｅとして分割し、更に、このｐ×ｑ領域の小領域ｅ群（例えば、６×８の小領域ｅ群）を１つの検出領域Ｅとして分割する。そして、基準画像では、各小領域ｅにおいて、図１２（ａ）のように、小領域ｅを構成するａ×ｂの画素から１つの画素が代表点Ｒとして設定され、又、非基準画像では、各小領域ｅにおいて、図１２（ｂ）のように、小領域ｅを構成するａ×ｂの画素のうちの複数の画素がサンプリング点Ｓとして設定される（例えば、ａ×ｂの画素全てをサンプリング点Ｓとしても構わない）。
【００９１】
このように、小領域ｅ及び検出領域Ｅを設定すると、基準画像と非基準画像の同一位置となる小領域ｅについて、非基準画像の各サンプリング点Ｓの画素値と基準画像の代表点Ｒの画素値との差が、各サンプリング点Ｓでの相関値として求められる。そして、検出領域Ｅ毎に、各小領域ｅ間で代表点Ｒとの相対位置が同一となるサンプリング点Ｓの相関値を、検出領域Ｅを構成する全ての小領域ｅ分だけ累積加算することで、各サンプリング点Ｓにおける累積相関値を取得する。これにより、検出領域Ｅ毎に、代表点Ｒとの相対位置が同一となるｐ×ｑ個のサンプリング点Ｓの相関値が累積加算されることで、サンプリング点の個数分の累積相関値が得られる（例えば、ａ×ｂの画素全てをサンプリング点Ｓとする場合、ａ×ｂ個の累積相関値が得られることとなる）。
【００９２】
このようにして、各検出領域Ｅに対して、各サンプリング点Ｓに対する累積相関値が求められると、各検出領域Ｅにおいて、代表点Ｒと相関性が最も高いと考えられる累積相関値が最小となるサンプリング点Ｓが検出される。そして、各検出領域Ｅでは、累積相関値が最小となるサンプリング点Ｓと代表点Ｒとの動き量が、それぞれの画素位置によって求められる。その後、各検出領域Ｅそれぞれに対して求められた動き量を平均することで、この平均値を、基準画像と非基準画像との間の画素単位による動き量として検出する。
【００９３】
（２）１画素内の動き量検出
上述のように、画素単位による動き量を検出すると、更に、１画素内における動き量が検出される。このとき、例えば、まず、図１１に示す小領域ｅ毎に、基準画像の代表点Ｒとなる画素の画素値と、上述の代表点マッチング法によって得られた動き量によって代表点Ｒと相関性の高いサンプリング点Ｓｘとなる画素及び周辺画素それぞれの画素値との関係によって、１画素内における動き量を検出する。
【００９４】
即ち、各小領域ｅにおいて、基準画像で画素位置（ａｒ，ｂｒ）となる代表点Ｒの画素値Ｌａ（図１３（ａ）参照）と、非基準画像において画素位置（ａｓ，ｂｓ）となるサンプル点Ｓｘの画素値Ｌｂと、サンプル点Ｓｘと水平方向に隣接する画素位置（ａｓ＋１，ｂｓ）の画素値Ｌｃ（図１３（ｂ）参照）と、サンプル点Ｓｘと垂直方向に隣接する画素位置（ａｓ，ｂｓ＋１）の画素値Ｌｄ（図１３（ｂ）参照）との関係によって、１画素内における動き量が検出される。このとき、代表点マッチング法により、基準画素から非基準画像への画素単位の動き量が、（ａｓ−ａｒ，ｂｓ−ｂｒ）となるベクトル量で表される値となる。
【００９５】
又、図１４（ａ）のように、サンプル点Ｓｘとなる画素から水平方向に１画素ずれることで、画素値Ｌｂから画素値Ｌｃに線形的に変化するものとし、図１４（ｂ）のように、サンプル点Ｓｘとなる画素から垂直方向に１画素ずれることで、画素値Ｌｂから画素値Ｌｄに線形的に変化するものとする。そして、この図１４（ａ）及び図１４（ｂ）のような関係より、画素値Ｌｂ，Ｌｃの間で画素値Ｌａとなる水平方向の位置Δｘ（＝（Ｌａ−Ｌｂ）／（Ｌｃ−Ｌｂ））を求めるとともに、画素値Ｌｂ，Ｌｄの間で画素値Ｌａとなる垂直方向の位置Δｙ（＝（Ｌａ−Ｌｂ）／（Ｌｄ−Ｌｂ））を求める。即ち、（Δｘ，Δｙ）で表されるベクトル量が、基準画素と非基準画素との間における、１画素内での動き量として求められる。
【００９６】
このようにして、小領域ｅそれぞれにおける１画素内での動き量を求めると、求めた動き量を平均することで、この平均値を、基準画像と非基準画像との間の１画素内での動き量として検出する。そして、代表点マッチング法によって得られた画素単位による動き量に、求めた１画素内での動き量を加えることによって、基準画像と非基準画像との間における動き量を算出することができる。
【００９７】
そして、この動き量検出により、連続する２フレームの低解像度画像間における動き量が検出されると、注目フレームとなる低解像度画像までの複数フレームの低解像度画像間の動き量の総和を算出することで、注目フレームとなる低解像度画像との動き量が検出される。このようにして検出された注目フレームとなる低解像度画像との動き量は、動き量記憶部４３に与えられて記憶される。尚、動き量検出については、上記の方法を例に挙げて説明したが、画素内における動き量まで検出できるものであれば、他の方法を用いることによって、注目フレームとなる低解像度画像（基準画像）と他の低解像度画像（非基準画像）との動き量を検出するようにしても構わない。
【００９８】
（領域指定）
上述のように、動き量算出部４２において、注目フレーム以外の複数フレームの低解像度実画像それぞれに対して、注目フレームとなる低解像度実画像との動き量が算出されると、フレームメモリ４１に格納された注目フレームとなる低解像度実画像における超解像対象領域が、領域指定される。この注目フレームとなる低解像度実画像における超解像対象領域が指定されると、注目フレーム以外の低解像度実画像それぞれに対して、注目フレームとなる低解像度実画像における超解像対象領域との動き量が１画素以内（以下）となる超解像対象領域が、動き量記憶部４３で記憶された動き量に基づいて算出される。
【００９９】
即ち、４フレームの低解像度実画像Ｆａ〜Ｆｄがフレームメモリ４１に記憶されるとともに、低解像度実画像Ｆａを注目フレームとするとき、まず、低解像度実画像Ｆａに対して、上述の基本動作で説明したように、超解像対象領域をラスタ走査させて、画素値を取得する領域が指定される。そして、注目フレームとなる低解像度実画像Ｆａ以外の低解像度実画像Ｆｂ〜Ｆｄそれぞれに対して、低解像度実画像Ｆａに値して設定された超解像対象領域と重なる超解像対象領域が設定される。
【０１００】
このとき、低解像度実画像Ｆｂ〜Ｆｄそれぞれに対して、注目フレームとなる低解像度実画像Ｆａとの動き量によって、注目フレームとなる低解像度実画像Ｆａを基準とした位置合わせを行う。このように、動き量記憶部４３に記憶された動き量に基づいて、低解像度実画像Ｆｂ〜Ｆｄに対して位置合わせを行うことで、低解像度実画像Ｆｂ〜Ｆｄにおいて、低解像度実画像Ｆａにおける超解像対象領域との動き量が１画素以内となる超解像対象領域が確認される。
【０１０１】
よって、上述の基本動作で説明したように、注目フレームとなる低解像度実画像Ｆａについては、超解像対象画素を走査させる毎に、超解像対象領域をラスタ走査させる。そして、注目フレーム以外の低解像度実画像Ｆｂ〜Ｆｄについては、超解像対象領域をラスタ走査による設定だけでなく、低解像度実画像Ｆａとの動き量に応じて、垂直方向に調整されて設定されることとなる。
【０１０２】
このようにして、フレームメモリ４１に記憶されている複数フレームの低解像度実画像それぞれに対して、超解像処理を行うための超解像対象領域が指定される。このとき、指定された超解像対象領域における画素の画素値を記憶したフレームメモリ４１内の領域アドレスが設定される。そして、領域指定部４４は、低解像度実画像それぞれに対して超解像処理を行うために設定したフレームメモリ４１における領域アドレスを、領域切り出し部４５に通知する。
【０１０３】
これにより、領域切り出し部４５は、領域指定部４４によって指定された領域アドレスの画素値をフレームメモリ４１より読み出すことによって、超解像処理に利用する低解像度実画像それぞれの超解像対象領域における各画素の画素値を読み出す。即ち、フレームメモリ４１に４フレームの低解像度実画像Ｆａ〜Ｆｄが記憶されている場合、領域切り出し部４５によって、低解像度実画像Ｆａ〜Ｆｄそれぞれの超解像対象領域における画素の画素値が、フレームメモリ４１より読み出される。
【０１０４】
尚、上述の基本動作では、超解像対象領域を３画素×３画素の領域としたが、この３画素×３画素の領域では、精度良く超解像化するには不十分である。よって、精度良く超解像化するためには、超解像対象領域として、１０画素×１０画素〜２０画素×２０画素となる領域を設定する必要がある。そのため、領域切り出し部４５によって、４フレームの低解像度実画像Ｆａ〜Ｆｄの超解像対象領域となる画素の画素値が、フレームメモリ４１より読み出されるとき、４００画素〜１６００画素の画素値が読み出されることとなる。以下では、超解像対象領域を１０画素×１０画素として説明する。
【０１０５】
（フィルタ係数の設定）
上述したように、領域切り出し部４５によってフレームメモリ４１より読み出す画素値が記憶されているアドレス領域が指定されるとき、領域指定部４４では、アドレス領域の指定とともに、各低解像度実画像それぞれに対して設定された超解像対象領域の動き量が確認される。このとき、上述したように、画素単位による並進及び回転による動き量による位置合わせが成された後の低解像度実画像に対して、それぞれの超解像対象領域が設定されるため、各低解像度実画像それぞれに対して設定された超解像対象領域の動き量が、１画素以内の動き量となる。
【０１０６】
即ち、注目フレーム以外の低解像度実画像それぞれと注目フレームとなる低解像度実画像との間における、超解像対象領域間の１画素以内の動き量が、フィルタ係数記憶部４６に与えられる。そして、フィルタ係数記憶部４６では、領域指定部４４で確認された超解像対象領域間の動き量に基づいて、超解像処理に利用されるＦＩＲフィルタのフィルタ係数が読み出されて、超解像処理用フィルタ部４７に与えられる。
【０１０７】
この超解像処理用フィルタ部４７では、超解像対象領域をＭ画素×Ｎ画素の領域とし、超解像に利用する低解像度実画像のフレーム数をＦフレームとし、超解像処理によって解像度を縦横それぞれに対してＲｍ倍及びＲｎ倍としたとき、超解像動作に利用するＦＩＲフィルタが、（Ｍ×Ｎ×Ｆ）×（Ｍ×Ｒｍ×Ｎ×Ｒｎ）の行列式によるフィルタで構成される。そして、注目フレームの低解像度実画像において、超解像対象領域の中央となるＭｘ画素×Ｎｘ画素の領域に位置する画素を、超解像対象画素としたとき、高解像度画像において超解像対象画素に対応する画素が、（Ｍｘ×Ｒｍ）画素×（Ｎｘ×Ｒｎ）画素の領域に位置することとなる。
【０１０８】
よって、超解像処理用フィルタ部４７では、上述の基本動作で説明したように、ＦＩＲフィルタを形成する（Ｍ×Ｎ×Ｆ）×（Ｍ×Ｒｍ×Ｎ×Ｒｎ）個のフィルタ係数全てによる演算を行う必要がない。その代わりとして、低解像度実画像による（Ｍ×Ｎ×Ｆ）画素の画素値から、（Ｍｘ×Ｒｍ）画素×（Ｎｘ×Ｒｎ）画素の領域の画素値を算出するために、（Ｍ×Ｎ×Ｆ）×（Ｍｘ×Ｒｍ）×（Ｎｘ×Ｒｎ）個のＦＩＲフィルタ係数を用いればよい。
【０１０９】
そのため、超解像対象画素に対応する高解像度画像の画素の画素値を算出するための、（Ｍ×Ｎ×Ｆ）×（Ｍｘ×Ｒｍ）×（Ｎｘ×Ｒｎ）個のＦＩＲフィルタ係数として、注目フレーム以外の低解像度実画像それぞれと注目フレームとなる低解像度実画像との間における、超解像対象領域間の１画素以内の動き量に応じた値が、フィルタ係数記憶部４６に記憶される。即ち、フィルタ係数記憶部４６では、注目フレーム以外の低解像度実画像それぞれと注目フレームとなる低解像度実画像との間における、超解像対象領域間の１画素以内の動き量の組み合わせを認識すると、その組み合わせに応じた（Ｍ×Ｎ×Ｆ）×（Ｍｘ×Ｒｍ）×（Ｎｘ×Ｒｎ）個のＦＩＲフィルタ係数が読み出される。
【０１１０】
よって、上述したように、４フレームの低解像度実画像Ｆａ〜Ｆｄにおいて、超解像対象領域を１０画素×１０画素の領域とするとともに、高解像度化による解像度を縦横それぞれに２倍とする場合、超解像処理用フィルタ部４７におけるＦＩＲフィルタは、４００×４００（＝（１０×１０×４）×（１０×２×１０×２））個の係数によって構成される。又、注目フレームである低解像度実画像Ｆａにおける超解像対象画素を１画素とするとき、この超解像対象画素に対応する高解像度画像での画素が、２画素×２画素の領域に位置することとなる。
【０１１１】
これらのことより、４フレームの低解像度実画像Ｆａ〜Ｆｄにおける超解像対象領域による４００画素の画素値と、超解像対象画素に対応した４画素に対するＦＩＲフィルタにおける各行の要素との積和によって、高解像度画像における超解像対象画素に対応した画素の画素値が算出される。そのため、超解像処理用フィルタ部４７におけるＦＩＲフィルタにおいて、高解像度画像における超解像対象画素に対応した画素の画素値を算出するために必要なＦＩＲフィルタ係数は、４００（１行の要素の個数）×４行より、１６００個となる。
【０１１２】
又、超解像対象領域は、低解像度実画像間での位置合わせを行って指定されるため、低解像度実画像間における動き量が大きくても、低解像度実画像それぞれの超解像対象領域間の動き量が小さくなる。更に、この超解像対象領域は、低解像度実画像全体に比べて小さい領域となるため、低解像度実画像同士の動き量に回転がある場合も、低解像度実画像それぞれの超解像対象領域間の動き量については、並進のみによって構成されるものとみなすことができる。
【０１１３】
このように、低解像度実画像それぞれの超解像対象領域間の動き量が、１画素以内の値となるとともに、並進のみによって構成されるものとみなせる。そのため、図１５に示すように、１画素について、縦（垂直方向）にαだけ分割するとともに横（水平方向）にβだけ分割し、この１画素内におけるα×β（図１５の場合、５×５）の領域の座標位置によって、超解像対象領域間の動き量を表すことができる。尚、図１５において、注目フレームとなる低解像度実画像Ｆａの画素を実線で示すとともに、注目フレーム以外の低解像度実画像Ｆｂの画素を一点鎖線で示し、１画素以内の動き量を判定するための領域に対する分割線を破線で示す。
【０１１４】
即ち、２フレームの低解像度実画像の超解像対象領域間の重なりが、α×β通りの組み合わせがあることとなる。そのため、Ｆフレームの低解像度実画像の超解像対象領域間の重なりについては、単純に求めると、（α×β）F通りの組み合わせがある。但し、注目フレーム以外のＦ−１フレームの低解像度実画像を入れ替えることで同じ組み合わせを作ることができ、（Ｆ−１）！通りの冗長度が存在するため、（α×β）F／（Ｆ−１）！通りの組み合わせとなる。尚、（Ｆ−１）！は、（Ｆ−１）の階乗を表す。
【０１１５】
これらのことから、上述の４フレームの低解像度実画像Ｆａ〜Ｆｄにおいて、図１５に示すように５×５の領域によって、超解像対象領域の動き量が表される場合、超解像対象領域が、２５3／（３×２×１）通りの組み合わせとなる。そして、上述したように、超解像処理用フィルタ部４７に与えるＦＩＲフィルタ係数の個数が１６００個とされるため、フィルタ係数の値として２バイトのメモリ量を使用する場合、フィルタ係数記憶部４６では、各組み合わせに対するＦＩＲフィルタ係数を記憶するために、約４．２メガバイトの容量が必要となる。又、注目フレーム以外の低解像度実画像Ｆｂ〜Ｆｄによる冗長度を考慮しない場合は、フィルタ係数記憶部４６において、２５メガバイトの容量が必要となる。
【０１１６】
このように、フィルタ係数記憶部４６では、超解像処理に利用される低解像度実画像それぞれの超解像対象領域の動き量の組み合わせに対して、その組み合わせに応じたＦＩＲフィルタ係数が記憶される。よって、領域指定部４４において、注目フレーム以外の低解像度実画像に対して、注目フレームとなる低解像度実画像の超解像対象領域との動き量が算出されて、フィルタ係数記憶部４６に通知されることで、その動き量の組み合わせに応じたＦＩＲフィルタ係数が読み出されて、超解像処理用フィルタ部４７に与えられる。
【０１１７】
このとき、フィルタ係数記憶部４６において、注目フレーム以外の低解像度実画像における超解像対象領域の位置関係による冗長度を考慮して、ＦＩＲフィルタ係数を記憶している場合、動き量の組み合わせに応じて読み出したＦＩＲフィルタ係数について、各行の順番を、超解像処理用フィルタ部４７に与えられる低解像度実画像の順序に応じたものに並び替えるものとしても構わない。又、ＦＩＲフィルタ係数の並び替えを行わずに、ＦＩＲフィルタ係数の並びに応じて、超解像処理用フィルタ部４７に与えられる低解像度実画像の順序を並び替えるものとしても構わない。
【０１１８】
更に、フィルタ係数記憶部４６に記憶されるＦＩＲフィルタ係数について、注目フレーム以外の低解像度実画像における超解像対象領域の位置関係による冗長度を考慮していない場合は、その動き量の組み合わせに応じたＦＩＲフィルタ係数が一意的に決定されることとなる。よって、フィルタ係数記憶部４６において、低解像度実画像それぞれにおける超解像対象領域の位置関係を示す動き量の組み合わせ全てに対して、ＦＩＲフィルタ係数が記憶されている場合は、その動き量の組み合わせによって一意的に決まるＦＩＲフィルタ係数が読み出されて、超解像処理用フィルタ部４７に与えられる。
【０１１９】
（超解像演算処理）
フィルタ係数記憶部４６に記憶されたＦＩＲフィルタ係数が、超解像処理用フィルタ部４７に与えられることで、上述した（ＡTＡ＋λＰTＰ）-1ＡTよりなるＦＩＲフィルタを構成するＦＩＲフィルタ係数のうち、高解像度画像において超解像対象画素に対応した画素位置となる画素の画素値を算出するためのＦＩＲフィルタ係数が与えられることとなる。そして、フレームメモリ４１に記憶された各低解像度実画像より、領域切り出し部４５によって指定された超解像対象領域となる領域アドレスの画素値が順番に与えられて、フィルタ係数記憶部４６からのＦＩＲフィルタ係数との積和が算出される。
【０１２０】
即ち、超解像処理用フィルタ部４７では、（７）式に示すｘ＝（ＡTＡ＋λＰTＰ）-1ＡTｙの演算を、低解像度実画像の超解像対象領域に対して行う。このとき、ＦＩＲフィルタ係数が、高解像度画像において超解像対象画素に対応した画素位置となる画素に対応した行のもののみとされる。よって、高解像度画像において超解像対象画素に対応した画素位置となる画素の画素値が算出されることとなる。このようにして取得した高解像度画像の画素値が、フレームメモリ４８に与えられて、記憶される。このとき、高解像度画像における画素位置に応じたアドレス位置に記憶されるように、フレームメモリ４８に記憶する画素値のアドレス位置が指定される。
【０１２１】
尚、超解像処理用フィルタ部４７において、フィルタ係数記憶部４６に記憶されたＦＩＲフィルタ係数が与えられて、このＦＩＲフィルタ係数で構成されたＦＩＲフィルタによる演算が成されるものとした。しかしながら、上述したように、低解像度実画像の超解像対象領域の動き量の組み合わせを確認する際、１画素を分割した領域によって確認されるため、フィルタ係数記憶部４６に記憶されたＦＩＲフィルタ係数は、低解像度実画像の超解像対象領域の動き量に対して離散的な値となる。
【０１２２】
よって、フィルタ係数記憶部４６に記憶されたＦＩＲフィルタ係数を読み出して、分割した領域との関係により、バイリニア法などによる双線形補間を行うことで、低解像度実画像の超解像対象領域の動き量の組み合わせに最適な値となるＦＩＲフィルタ係数を取得することができる。このようにすることで、超解像処理用フィルタ部４７では、フィルタ係数記憶部４６に記憶されたＦＩＲフィルタ係数を、低解像度実画像の超解像対象領域の動き量に応じて連続的に変化させることができる。そして、フレームメモリ４８に記憶される高解像度画像として、更に高精度な画像を取得することができる。
【０１２３】
上述の各ブロックによる動作が、注目フレームとなる低解像度実画像において、超解像対象画素毎に、超解像対象領域の位置をラスタ走査させて設定するたびに、繰り返し行われることで、超解像対象画素に対応した高解像度画像における画素位置の画素値を順番に取得する。そして、フレームメモリ４１内の注目フレームとなる低解像度実画像の全画素について、それぞれを超解像対象画素として上述の演算処理を終えたとき、高解像度画像を構成する全画素の画素値が取得されて、フレームメモリ４８に記憶される。
【０１２４】
このようにして、生成された高解像度画像をフレームメモリ４８に記憶すると、このフレームメモリ４８に記憶された高解像度画像を構成する画素値による画像信号が、信号処理部４９に与えられる。そして、信号処理部４９では、与えられた１フレームの高解像度画像となる画像信号から輝度信号及び色差信号を生成した後、圧縮処理部６に送出する。
【０１２５】
（超解像処理の別例）
上述の「超解像処理の基本概念」において述べたように、再構成型の超解像処理を行うとき、取得した高解像度画像から推定される低解像度推定画像と低解像度実画像との差によって、評価関数Ｅ［ｘ］の導関数∂Ｅ［ｘ］／∂ｘの値を「０」に近づけるように、高解像度画像を再構成する。よって、超解像処理用フィルタ部４７で用いるＦＩＲフィルタとして、（７）式で得られる（ＡTＡ＋λＰTＰ）-1ＡTによる行列式によるフィルタを例に挙げて説明したが、再構成型の超解像処理による演算を繰り返したときの係数によって構成されるものとしても構わない。
【０１２６】
本例では、超解像処理用フィルタ部４７で用いるＦＩＲフィルタが、再構成型の超解像処理による演算を２回繰り返したときに得られる係数によって構成されるものを、例に挙げて説明する。以下では、本例におけるＦＩＲフィルタについて、再構成型の超解像処理による演算との関係に基づいて説明する。尚、本例においては、超解像処理に用いられる低解像度実画像が３フレームの低解像度実画像Ｆａ〜Ｆｃであるものとする。
【０１２７】
本例の超解像処理によると、評価関数Ｅ［ｘ］の導関数∂Ｅ［ｘ］／∂ｘによる勾配が、低解像度実画像Ｆａ〜Ｆｃにより初期設定された高解像度画像Ｆｘ１と、低解像度実画像Ｆａ〜Ｆｃとによって算出される。即ち、高解像度画像Ｆｘ１より推定される低解像度推定画像Ｆａ１〜Ｆａ３と、低解像度実画像Ｆａ〜Ｆｃとの間における二乗誤差に基づく勾配∂Ｉ／∂ｘが、下記の（８）式のように算出される。尚、高解像度画像Ｆｘ１の画素値によるベクトル表記を「ｘ」とし、低解像度実画像Ｆａ〜Ｆｃそれぞれの画素値によるベクトル表記を「ｙ」とする。
∂Ｉ／∂ｘ＝２ＡT（Ａｘ−ｙ）＋２λＰTＰｘ  …（８）
【０１２８】
そして、この勾配∂Ｉ／∂ｘに基づいて、新たな高解像度画像Ｆｘ２の画素値ｘ１（＝ｘ−∂Ｉ／∂ｘ）が求められる。尚、「ｘ１」は、高解像度画像Ｆｘ２の画素値によってベクトル表記したものである。更に、このようにして求めた高解像度画像Ｆｘ２の画素値ｘ１を用いて、低解像度実画像Ｆａ〜Ｆｃそれぞれの画素値ｙとによる勾配∂Ｊ／∂ｘが、下記の（９）式のように算出される。この勾配∂Ｊ／∂ｘを、高解像度画像Ｆｘ２の画素値ｘ１より減算することで、２回の更新動作による高解像度画像Ｆｘ３の画素値ｘ２（＝ｘ１−∂Ｊ／∂ｘ）が得られる。尚、「ｘ２」は、高解像度画像Ｆｘ３の画素値によってベクトル表記したものである。
∂Ｊ／∂ｘ＝２ＡT（Ａｘ１−ｙ）＋２λＰTＰｘ１  …（９）
【０１２９】
このような演算を行うためのＦＩＲフィルタが、超解像処理用フィルタ部４７に備えられることとなる。以下では、このＦＩＲフィルタを構成するＦＩＲフィルタ係数の算出方法について、図面を参照して、以下に説明する。尚、説明を簡単にするために、超解像処理によって、低解像度実画像の２倍となる解像度の高解像度画像が生成されるものとする。又、フレームメモリ４１より選択される注目フレーム以外のフレームとなる低解像度実画像Ｆｂ，Ｆｃがそれぞれ、注目フレームとなる低解像度実画像Ｆａに対して、水平方向又は垂直方向のいずれか一方向において高解像度画像における画素単位での動き量が発生しているものとする。
【０１３０】
更に、高解像度画像より低解像度推定画像を生成するためのＰＳＦ関数（点広がり関数）が、図１６（ａ）のような３×３のぼけフィルタによって与えられるとともに、評価関数Ｅ［ｘ］における正規化項（拘束項）λＰTＰｘが「０」であるものとする。そして、高解像度画像における注目画素を、図１６（ｂ）に示すように、ｘpq（ｐ、ｑは自然数）としたとき、図１６（ａ）に示す３×３の行列によるＰＳＦボケ関数における係数ｋ１１〜ｋ３３がそれぞれ、高解像度画像の３×３の画素ｘ(p-1)(q-1)〜ｘ(p+1)(q+1)に乗算される。
【０１３１】
図１７（ａ）に示すように、低解像度実画像Ｆｂが、低解像度実画像Ｆａに対して、高解像度画像の１画素分だけ水平方向への動き量を備え、又、図１７（ｂ）に示すように、低解像度実画像Ｆｃが、低解像度実画像Ｆａに対して、高解像度画像の１画素分だけ垂直方向への動き量を備える。即ち、図１８（ａ）に示すように、低解像度実画像Ｆａの画素ｙａ11と初期高解像度画像Ｆｘ１の画素ｘ11とが、その中心位置で重なっているとき、図１８（ｂ）に示すように、低解像度実画像Ｆｂの画素ｙｂ11と初期高解像度画像Ｆｘ１の画素ｘ21とが、その中心位置で重なり、又、図１８（ｃ）に示すように、低解像度実画像Ｆｃの画素ｙｃ11と初期高解像度画像Ｆｘ１の画素ｘ12とが、その中心位置で重なる。
【０１３２】
そして、図１８（ａ）に示すように、低解像度実画像Ｆａの画素ｙａpq（ｐ、ｑは自然数）の中心位置が、初期高解像度画像Ｆｘ１の画素ｘ(2p-1)(2q-1)の中心位置に重なる。又、図１８（ｂ）に示すように、低解像度実画像Ｆｂの画素ｙｂpq（ｐ、ｑは自然数）の中心位置が、初期高解像度画像Ｆｘ１の画素ｘ2p(2q-1)の中心位置に重なる。又、図１８（ｃ）に示すように、低解像度実画像Ｆｃの画素ｙｃpq（ｐ、ｑは自然数）の中心位置が、初期高解像度画像Ｆｘ１の画素ｘ(2p-1)2qの中心位置に重なる。
【０１３３】
（１）低解像度推定画像の画素値
低解像度実画像Ｆａ〜Ｆｃの各画素と初期高解像度画像Ｆｘ１の各画素の位置関係が図１８に示される関係となるとき、初期高解像度実画像Ｆｘ１より推定される低解像度推定画像Ｆａ１〜Ｆｃ１それぞれの各画素値Ａpq〜Ｃpqがそれぞれ、以下の（１０）〜（１２）式で表される。
Ａpq＝k11・x(2p-2)(2q-2)＋k21・x(2p-1)(2q-2)＋k31・x2p(2q-2)
＋k12・x(2p-2)(2q-1)＋k22・x(2p-1)(2q-1)＋k32・x2p(2q-1)
＋  k13・x(2p-2)2q  ＋  k23・x(2p-1)2q  ＋  k33・x2p2q    …（１０）
Ｂpq＝k11・x(2p-1)(2q-2)＋k21・x2p(2q-2)＋k31・x(2p+1)(2q-2)
＋k12・x(2p-1)(2q-1)＋k22・x2p(2q-1)＋k32・x(2p+1)(2q-1)
＋  k13・x(2p-1)2q  ＋  k23・x2p2q  ＋  k33・x(2p+1)2q    …（１１）
Ｃpq＝k11・x(2p-2)(2q-1)＋k21・x(2p-1)(2q-1)＋k31・x2p(2q-1)
＋  k12・x(2p-2)2q  ＋  k22・x(2p-1)2q  ＋  k32・x2p2q
＋k13・x(2p-2)(2q+1)＋k23・x(2p-1)(2q+1)＋k33・x2p(2q+1)  …（１２）
【０１３４】
（２）高解像度画像の各画素位置における勾配
上述のようにして低解像度推定画像Ｆａ１〜Ｆｃ１の画素値が得られると、この低解像度実画像Ｆａ〜Ｆｃの画素値との差によって、初期高解像度画像Ｆｘ１に対する勾配∂Ｉ／∂ｘが算出される。以下に、高解像度画像の注目画素が画素ｘ(2p-1)(2q-1)、ｘ2p(2q-1)、ｘ(2p-1)2qとなる３つの場合の算出方法それぞれについて、説明する。
【０１３５】
（２−ａ）注目画素が画素ｘ(2p-1)(2q-1)であるとき
図１９（ａ）に示すように、初期高解像度画像Ｆｘ１において、注目画素となる画素ｘ(2p-1)(2q-1)を中心とした３×３の画素ｘ(2p-2)(2q-2)〜ｘ2p2qによる領域Ｒに対してフィルタ処理が施される。よって、その中心位置が領域Ｒ内に位置する低解像度実画像Ｆａ〜Ｆｃ及び低解像度推定画像Ｆａ１〜Ｆｃ１の画素値を用いて、画素ｘ(2p-1)(2q-1)の勾配∂Ｉ／∂ｘが算出される。
【０１３６】
即ち、図１９（ａ）に示すように、領域Ｒ内において、初期高解像度画像Ｆｘ１の画素ｘ(2p-1)(2q-1)、ｘ(2p-2)(2q-1)、ｘ2p(2q-1)、ｘ(2p-1)(2q-2)、ｘ(2p-1)2qそれぞれに、低解像度実画像Ｆａの画素ｙａpq、低解像度実画像Ｆｂの画素ｙｂ(p-1)q、ｙｂpq、低解像度実画像Ｆｃの画素ｙｃp(q-1)、ｙｃpqそれぞれが、その中心位置に重なるように位置している。よって、低解像度実画像Ｆａ〜Ｆｃにおける画素値ｙａpq、ｙｂ(p-1)q、ｙｂpq、ｙｃp(q-1)、ｙｃpqと、低解像度推定画像Ｆａ１〜Ｆｃ１における画素値Ａpq、Ｂ(p-1)q、Ｂpq、Ｃp(q-1)、Ｃpqと、図１６に示すＰＳＦボケ関数によって、（１３）式のように、画素ｘ(2p-1)(2q-1)の勾配∂Ｉ／∂ｘが算出される。
∂I/∂x(x(2p-1)(2q-1))＝k22・(  Ａpq  -  yapq  )/K1
＋k12・(Ｂ(p-1)q-yb(p-1)q)/K1
＋k32・(  Ｂpq  -  ybpq  )/K1
＋k21・(Ｃp(q-1)-ycp(q-1))/K1
＋k23・(  Ｃpq  -  ycpq  )/K1  …（１３）
（K1＝k12+k21+k22+k23+k32)
【０１３７】
（２−ｂ）注目画素が画素ｘ2p(2q-1)であるとき
図１９（ｂ）に示すように、初期高解像度画像Ｆｘ１において、注目画素となる画素ｘ2p(2q-1)を中心とした３×３の画素ｘ(2p-1)(2q-2)〜ｘ(2p+1)2qによる領域Ｒに対してフィルタ処理が施される。よって、その中心位置が領域Ｒ内に位置する低解像度実画像Ｆａ〜Ｆｃ及び低解像度推定画像Ｆａ１〜Ｆｃ１の画素値を用いて、画素ｘ2p(2q-1)の勾配∂Ｉ／∂ｘが算出される。
【０１３８】
即ち、図１９（ｂ）に示すように、領域Ｒ内において、初期高解像度画像Ｆｘ１の画素ｘ(2p-1)(2q-1)、ｘ(2p+1)(2q-1)、ｘ2p(2q-1)、ｘ(2p-1)(2q-2)、ｘ(2p-1)2q、ｘ(2p+1)(2q-2)、ｘ(2p+1)2qそれぞれに、低解像度実画像Ｆａの画素ｙａpq、ｙａ(p+1)q、低解像度実画像Ｆｂの画素ｙｂpq、低解像度実画像Ｆｃの画素ｙｃp(q-1)、ｙｃpq、ｙｃ(p+1)(q-1)、ｙｃ(p+1)qそれぞれが、その中心位置に重なるように位置している。よって、低解像度実画像Ｆａ〜Ｆｃにおける画素値ｙａpq、ｙａ(p+1)q、ｙｂpq、ｙｃp(q-1)、ｙｃpq、ｙｃ(p+1)(q-1)、ｙｃ(p+1)qと、低解像度推定画像Ｆａ１〜Ｆｃ１における画素値Ａpq、Ａ(p+1)q、Ｂpq、Ｃp(q-1)、Ｃpq、Ｃ(p+1)(q-1)、Ｃ(p+1)qと、図１６に示すボケ関数によって、（１４）式のように、画素ｘ2p(2q-1)の勾配∂Ｉ／∂ｘが算出される。
∂I/∂x(x2p(2q-1))＝k22・(  Ｂpq  -  ybpq  )/K2
＋k12・(  Ａpq  -  yapq  )/K2
＋k32・(Ａ(p+1)q-ya(p+1)q)/K2
＋k11・(Ｃp(q-1)-ycp(q-1))/K2
＋k13・(  Ｃpq  -  ycpq  )/K2
＋k31・(Ｃ(p+1)(q-1)-yc(p+1)(q-1))/K2
＋k33・(  Ｃ(p+1)q  -  yc(p+1)q  )/K2    …（１４）
（K2＝k12+k22+k32+k11+k13+k31+k33)
【０１３９】
（２−ｃ）注目画素が画素ｘ(2p-1)2qであるとき
図１９（ｃ）に示すように、初期高解像度画像Ｆｘ１において、注目画素となる画素ｘ(2p-1)2qを中心とした３×３の画素ｘ(2p-2)(2q-1)〜ｘ2p(2q+1)による領域Ｒに対してフィルタ処理が施される。よって、その中心位置が領域Ｒ内に位置する低解像度実画像Ｆａ〜Ｆｃ及び低解像度推定画像Ｆａ１〜Ｆｃ１の画素値を用いて、画素ｘ(2p-1)2qの勾配∂Ｉ／∂ｘが算出される。
【０１４０】
即ち、図１９（ｃ）に示すように、領域Ｒ内において、初期高解像度画像Ｆｘ１の画素ｘ(2p-1)(2q-1)、ｘ(2p-1)(2q+1)、ｘ(2p-2)(2q-1)、ｘ2p(2q-1)、ｘ(2p-2)(2q+1)、ｘ2p(2q+1)、ｘ(2p+1)2qそれぞれに、低解像度実画像Ｆａの画素ｙａpq、ｙａp(q+1)、低解像度実画像Ｆｂの画素ｙｂ(p-1)q、ｙｂpq、ｙｂ(p-1)(q+1)、ｙｂp(q+1)、低解像度実画像Ｆｃの画素ｙｃpqそれぞれが、その中心位置に重なるように位置している。よって、低解像度実画像Ｆａ〜Ｆｃにおける画素値ｙａpq、ｙａp(q+1)、ｙｂ(p-1)q、ｙｂpq、ｙｂ(p-1)(q+1)、ｙｂp(q+1)、ｙｃpqと、低解像度推定画像Ｆａ１〜Ｆｃ１における画素値Ａpq、Ａp(q+1)、Ｂ(p-1)q、Ｂpq、Ｂ(p-1)(q+1)、Ｂp(q+1)、Ｃpqと、図１６に示すボケ関数によって、（１５）式のように、画素ｘ2p(2q-1)の勾配∂Ｉ／∂ｘが算出される。
∂I/∂x(x(2p-1)2q)＝k22・(  Ｃpq  -  ycpq  )/K3
＋k21・(  Ａpq  -  yapq  )/K3
＋k23・(Ａp(q+1)-yap(q+1))/K3
＋k11・(Ｂ(p-1)q-yb(p-1)q)/K3
＋k31・(  Ｂpq  -  ybpq  )/K3
＋k13・(Ｂ(p-1)(q+1)-yb(p-1)(q+1))/K3
＋k33・(  Ｂp(q+1)  -  ybp(q+1)  )/K3    …（１５）
（K2＝k21+k22+k23+k11+k13+k31+k33)
【０１４１】
（３）高解像度画像の各画素位置における更新
上述のようにして、高解像度画像の各画素位置における勾配∂Ｉ／∂ｘが算出されると、この勾配が初期高解像度画像Ｆｘ１の各画素値から減算されることで、更新された高解像度画像の画素値が算出される。即ち、画素ｘpqにおける画素値が、勾配∂Ｉ／∂ｘ(ｘpq)によって更新されることで、高解像度画像Ｆｘ２の画素値ｘ１pq（＝ｘpq−∂Ｉ／∂ｘ(ｘpq)）が算出されることとなる。
【０１４２】
このように、上述の（１０）〜（１２）の各処理動作を行うことによって、高解像度画像の更新が行われる。よって、２回目の更新時には、上述の（１０）〜（１２）式によって低解像度推定画像Ｆａ２〜Ｆｃ２の画素値を求める際、更新後の高解像度画像Ｆｘ２の画素値が代入される。即ち、低解像度推定画像Ｆａ２〜Ｆｃ２それぞれの各画素値Ａpq〜Ｃpqがそれぞれ、以下の（１６）〜（１８）式で表される。
Ａpq＝k11・x1(2p-2)(2q-2)＋k21・x1(2p-1)(2q-2)＋k31・x1(2p)(2q-2)
＋k12・x1(2p-2)(2q-1)＋k22・x1(2p-1)(2q-1)＋k32・x1(2p)(2q-1)
＋ k13・x1(2p-2)(2q) ＋ k23・x1(2p-1)(2q) ＋ k33・x1(2p)(2q)   …（１６）
Ｂpq＝k11・x1(2p-1)(2q-2)＋k21・x1(2p)(2q-2)＋k31・x1(2p+1)(2q-2)
＋k12・x1(2p-1)(2q-1)＋k22・x1(2p)(2q-1)＋k32・x1(2p+1)(2q-1)
＋ k13・x1(2p-1)(2q) ＋ k23・x1(2p)(2q) ＋ k33・x1(2p+1)(2q)   …（１７）
Ｃpq＝k11・x1(2p-2)(2q-1)＋k21・x1(2p-1)(2q-1)＋k31・x(2p)(2q-1)
＋ k12・x1(2p-2)(2q) ＋ k22・x1(2p-1)(2q) ＋ k32・x1(2p)(2q)
＋k13・x1(2p-2)(2q+1)＋k23・x (2p-1)(2q+1)＋k33・x(2p)(2q+1)  …（１８）
【０１４３】
このようにして、低解像度推定画像Ｆａ２〜Ｆｃ２それぞれの各画素値を求めると、上述の（１３）〜（１５）式により、高解像度画像の各画素に対する勾配∂Ｊ／∂ｘを算出した後、この勾配∂Ｊ／∂ｘを高解像度画像Ｆｘ１の画素値から減算することで、１回目の更新処理が行われて、高解像度画像Ｆｘ２が生成される。
【０１４４】
このように、３×３の行列によるＰＳＦボケ関数による演算が行われるとき、１回目の更新処理動作において、初期高解像度画像Ｆｘ１における注目画素１画素に対して、高解像度画像Ｆｘにおける注目画素ｘpqを中心とした３×３画素ｘ(p-1)(q-1)〜ｘ(p+1)(q+1)によって構成される画素領域Ｒ（図２０（ａ）参照）内に位置する低解像度実画像及び低解像度推定画像の画素値が必要となる。
【０１４５】
更に、低解像度推定画像の画素値については、上述したように、初期高解像度画像Ｆｘ１における３×３画素をＰＳＦボケ関数に代入することで得られる。そして、画素領域Ｒにおける注目画素ｘpq以外の画素位置に位置する低解像度推定画像の画素を取得するために、初期高解像度画像Ｆｘ１における３×３画素の画素値を利用する。よって、１回目の更新処理動作において、図２０（ｂ）に示すように、初期高解像度画像Ｆｘ１における５×５画素ｘ(p-2)(q-2)〜ｘ(p+2)(q+2)が使用されることとなる。
【０１４６】
即ち、初期高解像度画像Ｆｘ１を１回更新するために、初期高解像度画像Ｆｘ１内の注目画素ｘpqに対して、初期高解像度画像Ｆｘ１における５×５画素ｘ(p-2)(q-2)〜ｘ(p+2)(q+2)の画素値と、初期高解像度画像Ｆｘ１における３×３画素ｘ(p-1)(q-1)〜ｘ(p+1)(q+1)によって構成される画素領域Ｒ内に位置する低解像度実画像Ｆａ〜Ｆｃにおける画素の画素値とが必要となる。
【０１４７】
このようにして得られた高解像度画像Ｆｘ２を更新する場合は、更新後の画素値を用いた処理となる。即ち、高解像度画像Ｆｘ２内の注目画素ｘ１pqに対して、高解像度画像Ｆｘ２における５×５画素ｘ１(p-2)(q-2)〜ｘ１(p+2)(q+2)の画素値と、高解像度画像Ｆｘ２における３×３画素ｘ１(p-1)(q-1)〜ｘ１(p+1)(q+1)によって構成される画素領域Ｒに位置する低解像度実画像Ｆａ〜Ｆｃにおける画素の画素値とが必要となる。
【０１４８】
しかしながら、初期高解像度画像Ｆｘ１から高解像度画像Ｆｘ２に画素値を更新したとき、各画素に対して、初期高解像度画像Ｆｘ１における５×５画素の画素値と、初期高解像度画像Ｆｘ１における３×３画素で構成される画素領域Ｒに位置する低解像度実画像Ｆａ〜Ｆｃにおける画素の画素値とが必要とされる。即ち、高解像度画像Ｆｘ２内の注目画素ｘ１pqに対して使用される高解像度画像Ｆｘ２における５×５画素ｘ１(p-2)(q-2)〜ｘ１(p+2)(q+2)それぞれの画素値が、１回目の更新処理において、初期高解像度画像Ｆｘ１における５×５画素の画素値と、初期高解像度画像Ｆｘ１における３×３画素で構成される画素領域Ｒに位置する低解像度実画像Ｆａ〜Ｆｃにおける画素の画素値とを用いて、算出されている。
【０１４９】
よって、初期高解像度画像Ｆｘ１を２回更新する場合は、注目画素ｘpqに対して、５×５画素ｘ(p-2)(q-2)〜ｘ(p+2)(q+2)それぞれにおける更新された画素値を用いて更に更新することとなる。即ち、５×５画素ｘ(p-2)(q-2)〜ｘ(p+2)(q+2)それぞれを中心として、初期高解像度画像Ｆｘ１における５×５画素の画素値と、初期高解像度画像Ｆｘ１における３×３画素で構成される画素領域Ｒに位置する低解像度実画像Ｆａ〜Ｆｃにおける画素の画素値とが用いられる。このように、初期高解像度画像Ｆｘ１を２回更新する場合は、図２１に示すように、初期高解像度画像Ｆｘ１内の注目画素ｘpqに対して、初期高解像度画像Ｆｘ１における９×９画素ｘ(p-4)(q-4)〜ｘ(p+4)(q+4)の画素値と、初期高解像度画像Ｆｘ１における７×７画素ｘ(p-3)(q-3)〜ｘ(p+3)(q+3)によって構成される画素領域Ｒ１に位置する低解像度実画像Ｆａ〜Ｆｃにおける画素の画素値とが必要となる。
【０１５０】
従って、超解像処理用フィルタ部４７を構成するＦＩＲフィルタは、初期高解像度画像Ｆｘ１における９×９画素の画素値と、初期高解像度画像Ｆｘ１における７×７画素によって構成される画素領域Ｒ１に位置する低解像度実画像Ｆａ〜Ｆｃにおける画素の画素値とが入力されて、注目画素の画素値を出力するフィルタとして構成される。
【０１５１】
そして、このＦＩＲフィルタの係数については、まず、上述したように、（１０）〜（１２）式により得られた低解像度推定画像の画素値を（１３）〜（１５）式に代入して勾配を求める。その後、（１３）〜（１５）式により得られた勾配により更新した高解像度画像の画素値を（１６）〜（１８）式に代入し、これにより得られた低解像度推定画像の画素値を（１３）〜（１５）式に代入して２回目の勾配を求める。そして、（１３）〜（１５）式により得られた勾配により更新する際の減算式を展開することで、初期高解像度画像Ｆｘ１における９×９画素の画素値に乗算された係数と、初期高解像度画像Ｆｘ１における７×７画素によって構成される画素領域Ｒ１に位置する低解像度実画像Ｆａ〜Ｆｃにおける画素の画素値とに乗算される係数とを、ＦＩＲフィルタの係数として取得することができる。
【０１５２】
上述の再構成型の超解像処理で利用した低解像度実画像は、高解像度画像における画素単位での動き量が発生しているものとしているが、サブピクセル単位での動き量が発生するものとしても構わない。
【０１５３】
尚、本例において、上述の再構成型の超解像処理で反復される更新動作が２回行われたときの更新量が算出されるものとしたが、この更新動作が３回以上反復して行われたときの更新量が算出されるものとしても構わない。そして、超解像処理での更新動作がＨ回反復して行われるとともに、ＰＳＦボケ関数が（２Ｋ＋１）×（２Ｋ＋１）の行列により成るものとする。このとき、超解像処理用フィルタ部４７を構成するＦＩＲフィルタは、初期高解像度画像Ｆｘ１における（４Ｈ×Ｋ＋１）×（４Ｈ×Ｋ＋１）画素の画素値と、初期高解像度画像Ｆｘ１における（２（２Ｈ−１）×Ｋ＋１）×（２（２Ｈ−１）×Ｋ＋１）画素によって構成される画素領域Ｒ１に位置する低解像度実画像Ｆａ〜Ｆｃにおける画素の画素値とが入力されて、注目画素の画素値を出力する。
【０１５４】
尚、上述の説明において、図１に示すような構成の撮像装置を例に挙げて、本発明における画像処理方法について説明したが、撮像装置に限らず、液晶ディスプレイやプラズマテレビなどの画像のデジタル処理を行う表示装置においても、本発明における画像処理方法を利用可能である。図２２に、本発明における画像処理方法を行う画像処理装置（「画像処理部」に相当）を備えた表示装置を示す。
【０１５５】
図２２に示す表示装置は、図１に示す撮像装置と同様、画像処理部４、伸長処理部８、ディスプレイ部９、音声出力回路部１０、スピーカ部１１、タイミングジェネレータ１２、ＣＰＵ１３、メモリ１４、操作部１５、及び、バス回線１６，１７を備える。そして、外部で受信した放送信号を選局するチューナ部２１と、チューナ部２１で選局した放送信号を復調する復調部２２と、外部から入力されたデジタル信号となる圧縮信号が入力されるインターフェース２３とを、更に備える。
【０１５６】
この図２２の表示装置は、放送信号を受信する場合は、チューナ部２１で所望のチャンネルの放送信号を選局した後、復調部２２で放送信号を復調することで、ＭＰＥＧ圧縮符号方式による圧縮信号となるデジタル信号が得られる。このデジタル信号が伸長処理部８に与えられると、圧縮信号であるデジタル信号に対して、ＭＰＥＧ圧縮符号方式による伸長処理が施される。
【０１５７】
そして、操作部１５によって画像の高解像度化が指示されると、伸長処理部８で伸長処理して得られた画像信号が、画像処理部４に与えられて、上述の低解像度実画像の選択処理や超解像処理が行われることで、高解像度画像が生成される。その後、生成された高解像度画像による画像信号がディスプレイ部９に与えられて、画像再生がなされる。又、伸長処理部８の伸長処理で得られた音声信号が、音声出力回路部１０を通じてスピーカ部１１に与えられることで、音声が再生出力される。
【０１５８】
又、図１の撮像装置又は図２２の表示装置において、画像処理部４で超解像処理が成される画像について、動画像であっても構わないし、静止画像であっても構わない。尚、上述では、動画像となる画像信号が入力されたときの動作を中心に、各処理動作の説明を行っている。
【産業上の利用可能性】
【０１５９】
本発明は、超解像処理による画像の高解像度化を行う画像処理装置を備えた撮像装置や表示装置に適用することができる。
【図面の簡単な説明】
【０１６０】
【図１】は、本発明の画像処理装置となる画像処理部を備えた撮像装置の内部構成を示すブロック図である。
【図２】は、超解像処理を行うための対象となる低解像度実画像の関係を示す図である。
【図３】は、超解像処理を行う際の低解像度実画像における超解像対象領域と超解像対象画素との関係を示す図である。
【図４】は、注目フレームとなる低解像度実画像における超解像対象領域と、注目フレーム以外の低解像度実画像における超解像対象領域との関係を示す図である。
【図５】は、注目フレームとなる低解像度実画像における超解像対象領域の走査方向と、注目フレーム以外の低解像度実画像における超解像対象領域の走査方向との関係を示す図である。
【図６】は、低解像度実画像での超解像対象画素に相当する高解像度実画像における画素の画素位置を示す図である。
【図７】は、被写体の輝度分布と撮影時間の異なるフレームにおける画像データとの関係を示す図である。
【図８】は、超解像処理におけるフローの概要を説明するための図である。
【図９】は、低解像度実画像における超解像対象領域を超解像処理することで画素値が得られる高解像度画像における領域を示す図である。
【図１０】は、図１に示す撮像装置における画像処理部の内部構成を示すブロック図である。
【図１１】は、代表点マッチング法における検出領域の関係を示す図である。
【図１２】は、基準画像の代表点と非基準画像のサンプリング点との関係を示す図である。
【図１３】は、１画素以内の動き量検出を行う際の基準画像の代表点と非基準画像のサンプリング点との関係を示す図である。
【図１４】は、１画素以内の動き量検出を行う際の基準画像の代表点及び非基準画像のサンプリング点それぞれの画素値の関係を示す図である。
【図１５】は、低解像度実画像における超解像対象領域の１画素以内の動き量を判定するための領域を示す図である。
【図１６】は、ＰＳＦボケ関数の係数と高解像度画像の画素位置との関係を示す図である。
【図１７】は、低解像度実画像Ｆｂ，Ｆｃそれぞれと、現フレームとなる低解像度実画像Ｆａとの位置関係を示す図である。
【図１８】は、低解像度実画像Ｆａ〜Ｆｃそれぞれと、初期高解像度画像Ｆｘ１との位置関係を示す図である。
【図１９】は、初期高解像度画像Ｆｘ１に対して勾配を算出する際の注目画素に対して使用される画素値を示す図である。
【図２０】は、１回目の更新処理動作で利用される高解像度画像における画素範囲を示す図である。
【図２１】は、２回の更新処理動作で利用される高解像度画像における画素範囲を示す図である。
【図２２】は、本発明の画像処理装置となる画像処理部を備えた表示装置の内部構成を示すブロック図である。
【図２３】は、従来の高解像度変換を説明するための低解像度画像の関係を示す図である。
【図２４】は、図２３の低解像度画像に基づく高解像度変換を利用した補間処理を説明するための図である。
【図２５】は、図２３の低解像度画像に基づく高解像度変換処理を説明するための図である。
【図２６】は、重み付け平均により高解像度画像を取得する高解像度変換処理を説明するための図である。
【符号の説明】
【０１６１】
１    イメージセンサ
２    ＡＦＥ
３    マイク
４    画像処理部
５    音声処理部
６    圧縮処理部
７    ドライバ部
８    伸長処理部
９    ディスプレイ部
１０    音声出力回路部
１１    スピーカ部
１２    タイミングジェネレータ
１３    ＣＰＵ
１４    メモリ
１５    操作部
１６，１７    バス回線
２０    外部メモリ
４１，４８    フレームメモリ
４２    動き量算出部
４３    動き量記憶部
４４    領域指定部
４５    領域切り出し部
４６    フィルタ係数記憶部
４７    超解像処理用フィルタ部
４９    信号処理部
【図１】
2009037460.tif 000004
【図２】
2009037460.tif 000005
【図３】
2009037460.tif 000006
【図４】
2009037460.tif 000007
【図５】
2009037460.tif 000008
【図６】
2009037460.tif 000009
【図７】
2009037460.tif 000010
【図８】
2009037460.tif 000011
【図９】
2009037460.tif 000012
【図１０】
2009037460.tif 000013
【図１１】
2009037460.tif 000014
【図１２】
2009037460.tif 000015
【図１３】
2009037460.tif 000016
【図１４】
2009037460.tif 000017
【図１５】
2009037460.tif 000018
【図１６】
2009037460.tif 000019
【図１７】
2009037460.tif 000020
【図１８】
2009037460.tif 000021
【図１９】
2009037460.tif 000022
【図２０】
2009037460.tif 000023
【図２１】
2009037460.tif 000024
【図２２】
2009037460.tif 000025
【図２３】
2009037460.tif 000026
【図２４】
2009037460.tif 000027
【図２５】
2009037460.tif 000028
【図２６】
2009037460.tif 000029