(57)【要約】  【課題】  本発明は、低解像度画像から高解像度画像を取得する超解像処理を静止画及び動画それぞれに対して行って、精度の高い高解像度画像を取得することができる画像処理方法及び画像処理装置を提供することを目的とする。  【解決手段】  高解像度更新量算出部４４３において、高解像度画像から推定される低解像度推定画像と、フレームメモリ４１，４２から与えられる低解像度実画像との間における差分に基づく勾配を求めることで、高解像度画像より減算する更新量を算出する。このとき、フレームメモリ４５に記憶した高解像度画像に基づく高解像度更新量算出部４４３での演算回数について、動画撮影における回数が静止画撮影における回数に比べて少なくなるように設定する。【選択図】      図４
2008306608.tif 000002
【特許請求の範囲】
【請求項１】
複数フレームの低解像度画像から高解像度画像を生成する高解像度画像生成部を備える画像処理装置において、
前記低解像度画像を一時的に記憶する複数の第１フレームメモリと、
前記高解像度画像生成部で生成された前記高解像度画像を一時的に記憶する第２フレームメモリと、
を備え、
前記高解像度画像生成部が、
前記第１フレームメモリに記憶された複数フレームの前記低解像度画像に基づいて前記高解像度画像を生成するとともに、
生成した前記高解像度画像を前記第２フレームメモリに出力した後、前記第２フレームメモリに記憶された前記高解像度画像を用いて、前記高解像度画像を更新する反復演算処理を行い、
単一フレームの前記高解像度画像を生成して出力するとき、前記高解像度画像生成部における前記第２フレームメモリを利用した前記反復演算処理の反復回数を第１回数とし、
複数フレームの前記高解像度画像を連続で生成して出力するとき、前記高解像度画像生成部における前記第２フレームメモリを利用した前記反復演算処理の反復回数を、前記第１回数よりも少なく、且つ０回以上となる第２回数とすることを特徴とする画像処理装置。
【請求項２】
複数の前記第１フレームメモリが直列に接続され、連続して入力される前記低解像度画像が１フレーム毎に記憶され、
前記高解像度画像生成部に対して、複数の前記第１フレームメモリに記憶された前記低解像度画像が並列して出力されることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第１フレームメモリの後段に配置されるとともに、前記第１及び第２フレームメモリとして共通に使用される第３フレームメモリと、
前記第１フレームメモリの最後段からの前記低解像度画像と、前記高解像度画像生成部で生成された前記高解像度画像とを選択して、前記第３フレームメモリに出力する選択部と、
を備え、
単一フレームの前記高解像度画像を生成して出力するとき、前記選択部が前記高解像度画像生成部からの前記高解像度画像を選択して前記第３フレームメモリに出力し、
複数フレームの前記高解像度画像を連続で生成して出力するとき、前記選択部が前記第１フレームメモリの最後段からの前記低解像度画像を選択して前記第３フレームメモリに出力することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記高解像度画像生成部が、
前記複数の低解像度実画像から前記高解像度画像を生成するとともに、前記第２フレームメモリをその一部とする高解像度化処理部と、
該高解像度化処理部によって取得した前記高解像度画像より複数の前記低解像度実画像それぞれと同等となるように推定することで複数の低解像度推定画像を取得する低解像度推定部と、
該低解像度推定部によって得られた前記低解像度推定画像と前記低解像度実画像の差分値に基づいて前記高解像度化処理部で生成する前記高解像度画像の更新量を算出する更新量算出部と、
を備え、
前記高解像度化部において、前回の処理で生成した前記高解像度画像に対して、前記更新量算出部で得た前記更新量による更新を行うことで、前記高解像度画像を更新することを特徴とする請求項１〜請求項３のいずれかに記載の画像処理装置。
【請求項５】
前記更新量算出部が、
前記低解像度実画像それぞれに対して、対応する前記低解像度推定画像との差分値を求めることで、前記低解像度実画像の各画素位置における低解像度更新量を算出する低解像度更新量算出部と、
前記低解像度実画像それぞれに対して、同一画素位置における前記低解像度実画像及び前記低解像度推定画像それぞれの画素値に含まれる画像成分を比較し、当該画像成分の比較結果に基づいて、前記低解像度更新量に乗算する重み係数を生成する重み係数算出部と、
前記低解像度更新量算出部で算出された前記低解像度更新量に、前記重み係数算出部で算出された前記重み係数を乗算した後、前記重み係数が乗算された前記低解像度更新量に基づいて、前記高解像度画像の画素数に合わせた前記高解像度更新量を算出する高解像度更新量算出部と、
を備え、
前記高解像度化処理部において、前回の処理で生成した前記高解像度画像に対して、前記高解像度更新量算出部で算出された前記高解像度更新量による更新を行うことで、前記高解像度画像を更新することを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記重み係数算出部における、前記画像成分の比較結果が、前記低解像度実画像の画素値の前記画像成分を前記低解像度推定画像の画素値の前記画像成分で除算して得られる画像成分の比であり、
当該画像成分の比が１以上の所定値に近い値となると、前記重み係数を１に近い値とし、
当該画像成分の比が前記所定値より遠い値となると、前記重み係数を０に近い値とすることを特徴とする請求項５に記載の画像処理装置。
【請求項７】
外部入力又は撮像により複数フレームとなる画像による画像信号が与えられるとともに、該画像信号による画像を高解像度の画像に変換する高解像度化機能を備えた電子機器において、
前記高解像度化機能を実現する画像処理部として、請求項１〜請求項６のいずれに記載の画像処理装置を備え、前記画像信号による画像を前記低解像度画像として高解像度化処理を行うことで、所望の前記高解像度画像が生成されることを特徴とする電子機器。
【請求項８】
複数フレームの低解像度画像に基づいて高解像度画像を生成する第１ステップと、前記第１ステップで生成した前記高解像度画像の更新量を生成する第２ステップと、を備え、前記第１ステップ及び前記第２ステップを繰り返し行うことで、前記第１ステップで生成される前記高解像度画像を前記第２ステップでの更新量によって更新する画像処理方法であって、
単一フレームの前記高解像度画像を生成して出力するとき、前記第１ステップ及び前記第２ステップによる反復演算処理の反復回数を第１回数とし、
複数フレームの前記高解像度画像を連続で生成して出力するとき、前記第１ステップ及び前記第２ステップによる反復演算処理の反復回数を、前記第１回数よりも少なく、且つ０回以上となる第２回数とすることを特徴とする画像処理方法。
【請求項９】
単一フレームの前記高解像度画像を生成して出力するとき、前記第１ステップで前記高解像度画像を生成するために使用する前記低解像度画像のフレーム数を、第１フレーム数とし、
複数フレームの前記高解像度画像を連続で生成して出力するとき、前記第１ステップで前記高解像度画像を生成するために使用する前記低解像度画像のフレーム数を、第１フレーム数よりも多い第２フレーム数とすることを特徴とする請求項８に記載の画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、高解像度画像を生成する画像処理方法及び画像処理装置に関するもので、特に、複数の低解像度画像から高解像度画像を生成する超解像処理を行う画像処理方法及び画像処理装置に関する。又、この画像処理装置により生成された高解像度画像を記録又は再生する電子機器に関する。
【背景技術】
【０００２】
近年、各種デジタル技術の発展に伴い、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complimentary Metal Oxide Semiconductor）センサなどの固体撮像素子によりデジタル画像を撮影するデジタルカメラやデジタルビデオなどといった撮像装置や、デジタル画像を表示する液晶ディスプレイやプラズマテレビなどといった表示装置が、広く普及されつつある。そして、このような撮像装置や表示装置で処理されるデジタル画像において、異なる時間に撮影された複数のデジタル画像を用いて、その解像度を高解像度に変換する画像処理技術が提案されている。
【０００３】
この高解像度変換方法として、位置ズレのある複数の低解像度画像より１つの高解像度画像を推定する超解像処理が提案されている（非特許文献１参照）。そして、この超解像処理において、生成された高解像度画像を逆変換して、高解像度画像を構築するための元の低解像度画像を推定した後、実際の低解像度画像との比較を行うことで、更に、実際の値に近い高解像度画像を生成する再構成型と呼ばれる方式が提案されている。
【０００４】
この再構成型方式による超解像処理では、まず、複数の低解像度画像より取得される高解像度画像を仮定する（ＳＴＥＰ１）。この仮定した高解像度画像に基づいて、高解像度画像を構築するための複数の低解像度画像それぞれに逆変換して推定する（ＳＴＥＰ２）。そして、逆変換後の低解像度画像と元の低解像度画像とを比較した後（ＳＴＥＰ３）、その比較結果より、変換後の低解像度画像と元の低解像度画像との間における各画素位置での値の差が小さくなるように、高解像度画像を生成する（ＳＴＥＰ４）。そして、変換後の低解像度画像と元の低解像度画像との間における各画素位置での値（以下、「画素値」と呼ぶ）の差が収束するように、ＳＴＥＰ２〜ＳＴＥＰ４の処理を繰り返すことにより、最終的に取得される高解像度画像を実画像に近い画像とすることができる。
【０００５】
この再構成型方式として、ＭＬ（Maximum-Likelihood）法や、ＭＡＰ（Maximum A Posterior）法や、ＰＯＣＳ（Projection Onto Convex Set）法や、ＩＢＰ（Iterative Back Projection）法などが、提案されている。ＭＬ法では、高解像度画像から推定した低解像度画像（以下、「低解像度推定画像」と呼ぶ）の画素値と実際の低解像度画像（以下、「低解像度実画像」と呼ぶ）の画素値との二乗誤差を評価関数とし、この評価関数を最小化する高解像度画像を生成する方法である（非特許文献２参照）。即ち、このＭＬ法による超解像処理は、最尤推定の原理に基づく処理方法である。
【０００６】
又、ＭＡＰ法では、低解像度推定画像と低解像度実画像それぞれの画素値の二乗誤差に高解像度画像の確率情報を付加したものを、評価関数とし、この評価関数を最小化する高解像度画像を生成する方法である（非特許文献３，４参照）。即ち、ＭＡＰ法では、低解像度実画像に対する先見情報に基づく事後確率分布における出現確率を最大とするときの高解像度画像を推定することによって、最適な高解像度画像が取得される。
【０００７】
更に、ＰＯＣＳ法では、高解像度画像と低解像度画像のそれぞれの画素値に関する連立方程式を作成し、その連立方程式を逐次的に解くことにより、高解像度画像の画素値の最適値を取得して高解像度画像を生成する方法である（非特許文献５参照）。又、ＩＢＰ法では、撮影位置が異なるが被写体の画素位置に重なりをもつ複数の低解像度画像から高解像度を生成する方法、即ち、反復逆投影法を用いた超解像処理方法である（非特許文献６参照）。
【０００８】
このような超解像処理を用いて高解像度画像を取得する画像処理装置として、高解像度画像を所定の小領域に分割し、各小領域内に属する全ての画素に対する推定値を、各小領域における代表点となる画素に対する推定値で近似することで、超解像処理の高速化を図るものが提案されている（特許文献１参照）。即ち、高解像度画像から低解像度画像を推定する際、高解像度画像の１つの小領域から推定される低解像度画像の各画素の推定値が、その小領域内の代表点から推定される推定値で一定であるものとされる。これにより、高解像度画像から低解像度画像を推定する際の演算処理にかかる演算量を抑えることができ、超解像処理の高速化を図ることができる。
【特許文献１】特許第３３３７５７５号公報
【非特許文献１】Sung, C. P. Min, K. P. Moon, G. K. 共著 "Super-resolution image reconstruction: a technical overview", (Signal processing Magazine, IEEE on Volume 26,Issue 3, May 2003, P.21-36)
【非特許文献２】Tom, B.C. Katsaggelos, A.K. 共著 "Reconstruction of a high-resolution image by simultaneous registration, restoration, and interpolation of low-resolution images", (Image Processing, Proceedings, International Conference on Volume 2, Oct 1995, P.23-26)
【非特許文献３】Schultz, R.R. Stevenson, R.L. 共著 "Extraction of high-resolution frames from video sequences" (Image Processing, IEEE Transactions on Volume 5, Issue 6, June 1996, P.996-1011)
【非特許文献４】Hardie R.C. Barnard K.J. Armstrong E.E. 共著 "Joint MAP registration and high-resolution image estimation using a sequence of undersampled images" (Image Processing, IEEE Transactions on Volume 6, Issue 12, Dec. 1997 P.1621-1633)
【非特許文献５】Stark, H. Oskoui, P. 共著 "High resolution image recovery from image-plane arrays, using convex projections" (J. Opt. Soc. Am. A, on vol. 6. P.1715-1726, 1989)
【非特許文献６】Michel, I. Peleg, S. 共著 "Improving Resolution by Image Registration" (CVGIP: Graph Models Image Process, on vol. 53. P.231-239, Mar. 1991)
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかしながら、上述で説明した超解像処理は、高解像度画像から推定される低解像度画像（変換後の低解像度画像）と元の低解像度画像との差分が小さくなるように、上述したＳＴＥＰ２〜ＳＴＥＰ４の処理を反復させて繰り返す必要がある。このＳＴＥＰ２〜ＳＴＥＰ４の処理を繰り返す反復回数によって、取得される高解像度画像を実際の画像に近い高精度の画像とすることができる。しかしながら、このような超解像処理は、静止画撮影を対象とするものであり、撮影動作にかかる時間に制限がある動画撮影を対象としていない。
【００１０】
又、高解像度画像を推定するための低解像度画像のフレーム数を多くすることで、高精度の高解像度画像を生成することができるが、高解像度画像推定用の低解像度画像のフレーム数に応じた数のフレームメモリが必要となる。このようにフレームメモリの数を増やすことで超解像処理における反復回数を少なくすることができるが、装置として構成した場合、フレームメモリ数が増加するため、装置が大型化してしまう。
【００１１】
又、特許文献１においては、超解像処理の高速化を図るものとして、領域分割して代表点による低解像度画像の推定を行うものとしている。しかしながら、低解像度画像への推定にかかる処理時間については高速化されるものの、超解像処理における反復処理は、従来のものと同様、行う必要がある。よって、特許文献１による超解像処理においても、静止画撮影を対象とするものであり、撮影動作にかかる時間に制限がある動画撮影を対象としていない。
【００１２】
このような問題を鑑みて、本発明は、低解像度画像から高解像度画像を取得する超解像処理を静止画及び動画それぞれに対して行って、精度の高い高解像度画像を取得することができる画像処理方法及び画像処理装置を提供することを目的とする。又、本発明は、低解像度画像から高解像度画像を取得する超解像処理を静止画及び動画それぞれに対して行って、精度の高い高解像度画像を取得する画像処理装置を備えた電子機器を提供することを目的とする。
【課題を解決するための手段】
【００１３】
上記目的を達成するために、本発明の画像処理装置は、複数フレームの低解像度画像から高解像度画像を生成する高解像度画像生成部を備える画像処理装置において、前記低解像度画像を一時的に記憶する複数の第１フレームメモリと、前記高解像度画像生成部で生成された前記高解像度画像を一時的に記憶する第２フレームメモリと、を備え、前記高解像度画像生成部が、前記第１フレームメモリに記憶された複数フレームの前記低解像度画像に基づいて前記高解像度画像を生成するとともに、生成した前記高解像度画像を前記第２フレームメモリに出力した後、前記第２フレームメモリに記憶された前記高解像度画像を用いて、前記高解像度画像を更新する反復演算処理を行い、単一フレームの前記高解像度画像を生成して出力するとき、前記高解像度画像生成部における前記第２フレームメモリを利用した前記反復演算処理の反復回数を第１回数とし、複数フレームの前記高解像度画像を連続で生成して出力するとき、前記高解像度画像生成部における前記第２フレームメモリを利用した前記反復演算処理の反復回数を、前記第１回数よりも少なく、且つ０回以上となる第２回数とすることを特徴とする。
【００１４】
このような画像処理装置において、複数の前記第１フレームメモリが直列に接続され、連続して入力される前記低解像度画像が１フレーム毎に記憶され、前記高解像度画像生成部に対して、複数の前記第１フレームメモリに記憶された前記低解像度画像が並列して出力される。
【００１５】
このとき、前記第１フレームメモリの後段に配置されるとともに、前記第１及び第２フレームメモリとして共通に使用される第３フレームメモリと、前記第１フレームメモリの最後段からの前記低解像度画像と、前記高解像度画像生成部で生成された前記高解像度画像とを選択して、前記第３フレームメモリに出力する選択部と、を備え、単一フレームの前記高解像度画像を生成して出力するとき、前記選択部が前記高解像度画像生成部からの前記高解像度画像を選択して前記第３フレームメモリに出力し、複数フレームの前記高解像度画像を連続で生成して出力するとき、前記選択部が前記第１フレームメモリの最後段からの前記低解像度画像を選択して前記第３フレームメモリに出力するものとしても構わない。
【００１６】
又、前記高解像度画像生成部が、前記複数の低解像度実画像から前記高解像度画像を生成するとともに、前記第２フレームメモリをその一部とする高解像度化処理部と、該高解像度化処理部によって取得した前記高解像度画像より複数の前記低解像度実画像それぞれと同等となるように推定することで複数の低解像度推定画像を取得する低解像度推定部と、該低解像度推定部によって得られた前記低解像度推定画像と前記低解像度実画像の差分値に基づいて前記高解像度化処理部で生成する前記高解像度画像の更新量を算出する更新量算出部と、を備え、前記高解像度化部において、前回の処理で生成した前記高解像度画像に対して、前記更新量算出部で得た前記更新量による更新を行うことで、前記高解像度画像を更新する。
【００１７】
このような画像処理装置において、前記更新量算出部が、前記低解像度実画像それぞれに対して、対応する前記低解像度推定画像との差分値を求めることで、前記低解像度実画像の各画素位置における低解像度更新量を算出する低解像度更新量算出部と、前記低解像度実画像それぞれに対して、同一画素位置における前記低解像度実画像及び前記低解像度推定画像それぞれの画素値に含まれる画像成分を比較し、当該画像成分の比較結果に基づいて、前記低解像度更新量に乗算する重み係数を生成する重み係数算出部と、前記低解像度更新量算出部で算出された前記低解像度更新量に、前記重み係数算出部で算出された前記重み係数を乗算した後、前記重み係数が乗算された前記低解像度更新量に基づいて、前記高解像度画像の画素数に合わせた前記高解像度更新量を算出する高解像度更新量算出部と、を備え、前記高解像度化処理部において、前回の処理で生成した前記高解像度画像に対して、前記高解像度更新量算出部で算出された前記高解像度更新量による更新を行うことで、前記高解像度画像を更新するものとしても構わない。
【００１８】
このとき、前記重み係数算出部における、前記画像成分の比較結果が、前記低解像度実画像の画素値の前記画像成分を前記低解像度推定画像の画素値の前記画像成分で除算して得られる画像成分の比であり、当該画像成分の比が１以上の所定値に近い値となると、前記重み係数を１に近い値とし、当該画像成分の比が前記所定値より遠い値となると、前記重み係数を０に近い値とする。
【００１９】
そして、前記画像成分の比較結果を、前記低解像度実画像及び前記低解像度推定画像それぞれの画素値に含まれる高周波成分の比としても構わないし、前記低解像度実画像及び前記低解像度推定画像それぞれの画素値による標準偏差の比としても構わないし、前記低解像度実画像及び前記低解像度推定画像それぞれの画素値に含まれるエッジ方向成分の比としても構わない。
【００２０】
本発明の電子機器は、外部入力又は撮像により複数フレームとなる画像による画像信号が与えられるとともに、該画像信号による画像を高解像度の画像に変換する高解像度化機能を備えた電子機器において、前記高解像度化機能を実現する画像処理部として、上述のいずれの画像処理装置を備え、前記画像信号による画像を前記低解像度画像として高解像度画像化処理を行うことで、所望の前記高解像度画像が生成されることを特徴とする。
【００２１】
又、本発明の画像処理方法は、複数フレームの低解像度画像に基づいて高解像度画像を生成する第１ステップと、前記第１ステップで生成した前記高解像度画像の更新量を生成する第２ステップと、を備え、前記第１ステップ及び前記第２ステップを繰り返し行うことで、前記第１ステップで生成される前記高解像度画像を前記第２ステップでの更新量によって更新する画像処理方法であって、単一フレームの前記高解像度画像を生成して出力するとき、前記第１ステップ及び前記第２ステップによる反復演算処理の反復回数を第１回数とし、複数フレームの前記高解像度画像を連続で生成して出力するとき、前記第１ステップ及び前記第２ステップによる反復演算処理の反復回数を、前記第１回数よりも少なく、且つ０回以上となる第２回数とすることを特徴とする。
【００２２】
そして、単一フレームの前記高解像度画像を生成して出力するとき、前記第１ステップで前記高解像度画像を生成するために使用する前記低解像度画像のフレーム数を、第１フレーム数とし、複数フレームの前記高解像度画像を連続で生成して出力するとき、前記第１ステップで前記高解像度画像を生成するために使用する前記低解像度画像のフレーム数を、第１フレーム数よりも多い第２フレーム数とするものとしても構わない。
【発明の効果】
【００２３】
本発明によると、単一フレームの高解像度画像を出力する場合と、複数フレームの高解像度画像を短時間に連続で出力する場合とで、高解像度化処理における反復演算処理の反復回数を異なるものとする。これにより、静止画に対する高解像度化処理と、動画に対する高解像度化処理とを、共通の高解像度化処理を行う回路構成を利用して行うことができる。よって、静止画及び動画それぞれに対して専用の回路構成を必要とせず、装置の大型化を防ぐことができる。
【００２４】
又、低解像度画像及び高解像度画像それぞれを記憶する第１及び第２フレームメモリとして共通に使用される第３フレームメモリを備えるものとすることで、単一フレームの前記高解像度画像を出力する場合と、複数フレームの高解像度画像を短時間に連続で出力する場合とで、高解像度化処理に使用する低解像度画像のフレーム数を異なるものとすることができる。
【００２５】
即ち、動画に対する高解像度化処理を行うときの方が、使用する低解像度画像のフレーム数を多くすることで、反復演算処理の反復回数が少なくなることによる精度の低下を補うことができる。又、静止画に対する高解像度化処理を行うときは、動画に対する高解像度化処理を行うときに低解像度画像を記憶する第１フレームメモリとして利用していた第３フレームメモリを、高解像度画像を記憶する第２フレームメモリとして利用することができる。これにより、フレームメモリを新たに追加する必要がないため、装置を小型化することができる。
【発明を実施するための最良の形態】
【００２６】
本発明の実施の形態について、図面を参照して説明する。尚、以下では、本発明における画像処理方法を行う画像処理装置（以下では、「画像処理部」に相当する）を備えたデジタルカメラやデジタルビデオなどの撮像装置を例に挙げて、説明する。又、後述するが、同様の画像処理装置を備えるものであれば、液晶ディスプレイやプラズマテレビなどの画像のデジタル処理を行う表示装置であっても構わない。
【００２７】
（撮像装置の構成）
まず、撮像装置の内部構成について、図面を参照して説明する。図１は、撮像装置の内部構成を示すブロック図である。
【００２８】
図１の撮像装置は、被写体のから入射される光を電気信号に変換するＣＣＤ又はＣＭＯＳセンサなどの固体撮像素子（イメージセンサ）１と、イメージセンサ１から出力されるアナログ信号である画像信号をデジタル信号に変換するＡＦＥ（Analog FrontEnd）２と、外部から入力された音声を電気信号に変換するマイク３と、ＡＦＥ２からのデジタル信号となる画像信号に対して超解像処理を含む各種画像処理を施す画像処理部４と、マイク３からのアナログ信号である音声信号をデジタル信号に変換する音声処理部５と、画像処理部４からの画像信号と音声処理部５からの音声信号とに対してＭＰＥＧ（Moving Picture Experts Group）圧縮符号方式などの圧縮符号化処理を施す圧縮処理部６と、圧縮処理部６で圧縮符号化された圧縮符号化信号を外部メモリ１５に記録するドライバ部７と、ドライバ部７で外部メモリ２０から読み出した圧縮符号化信号を伸長して復号する伸長処理部８と、伸長処理部８で復号されて得られた画像信号による画像の表示を行うディスプレイ部９と、伸長処理部８からの音声信号をアナログ信号に変換する音声出力回路部１０と、音声出力回路部１０からの音声信号に基づいて音声を再生出力するスピーカ部１１と、各ブロックの動作タイミングを一致させるためのタイミング制御信号を出力するタイミングジェネレータ１２と、撮像装置内全体の駆動動作を制御するＣＰＵ（Central Processing Unit）１３と、各動作のための各プログラムを記憶するとともにプログラム実行時のデータの一時保管を行うメモリ１４と、ユーザからの指示が入力される操作部１５と、ＣＰＵ１３と各ブロックとの間でデータのやりとりを行うためのバス回線１６と、メモリ１４と各ブロックとの間でデータのやりとりを行うためのバス回線１７と、を備える。
【００２９】
（１）動画撮影動作
この撮像装置において、動画撮影動作を行うことが操作部１５によって指示されると、イメージセンサ１の光電変換動作によって得られたアナログ信号である画像信号がＡＦＥ２に出力される。このとき、イメージセンサ１では、タイミングジェネレータ１２からのタイミング制御信号が与えられることによって、水平走査及び垂直走査が行われて、画素毎のデータとなる画像信号が出力される。そして、ＡＦＥ２において、アナログ信号となる画像信号がデジタル信号に変換されて、画像処理部４に入力されると、輝度信号及び色差信号の生成を行う信号変換処理などの各種画像処理が施される。
【００３０】
又、この画像処理部４では、操作部１５によってデジタルズームにより、イメージセンサ１より得られた画像信号の高解像度化が求められると、イメージセンサ１からの複数フレーム分の画像信号に基づく超解像処理が施される。更に、この超解像処理が成された画像信号に基づいて、輝度信号及び色差信号が生成される。又、超解像処理が施されるために、後述するが、複数フレームの画像信号の動き量が算出され、その動き量に応じて各フレームの位置合わせが行われる。
【００３１】
そして、画像処理部４で画像処理が施された画像信号が圧縮処理部６に与えられる。このとき、マイク３に音声入力されることで得られたアナログ信号である音声信号が、音声処理部５でデジタル信号に変換されて、圧縮処理部６に与えられる。これにより、圧縮処理部６では、デジタル信号である画像信号及び音声信号に対して、ＭＰＥＧ圧縮符号方式に基づいて、圧縮符号化してドライバ部７に与えて、外部メモリ２０に記録させる。又、このとき、外部メモリ２０に記録された圧縮信号がドライバ部７によって読み出されて伸長処理部８に与えられて、伸長処理が施されて画像信号が得られる。この画像信号がディスプレイ部９に与えられて、現在、イメージセンサ１を通じて撮影されている被写体画像が表示される。
【００３２】
（２）静止画撮影動作
静止画撮影が指示された場合においても、動画撮影が指示された場合と異なり、マイク３による音声信号の取得がなく、画像信号のみの圧縮信号が圧縮処理部６においてＪＰＥＧ（Joint Photographic Experts Group）圧縮符号方式などの圧縮符号方式によって得られ、外部メモリ２０に記録されるだけとなり、その基本動作については動画撮影時の動作と同様である。又、この静止画撮影の場合、操作部１５によって撮影された静止画像に対する圧縮信号が外部メモリ２０に記録されるだけでなく、イメージセンサ１によって撮影されている現時点の画像に対する圧縮信号も外部メモリ２０に一時的に記録される。これにより、現在撮影されている画像に対する圧縮信号が伸長処理部８で伸長されることで、イメージセンサ１によって撮影されている現時点の画像がディスプレイ部９に表示され、ユーザが確認することができる。
【００３３】
上述のように、静止画像及び動画それぞれに対する撮像動作を行うとき、タイミングジェネレータ１２によって、ＡＦＥ２、映像処理部４、音声処理部５、圧縮処理部６、及び伸長処理部８に対してタイミング制御信号が与えられ、イメージセンサ１による１フレームごとの撮像動作に同期した動作が行われる。又、静止画撮影のときは、操作部１５によるシャッタ動作に基づいて、タイミングジェネレータ１２より、イメージセンサ１、ＡＦＥ２、映像処理部４、及び、圧縮処理部６それぞれに対してタイミング制御信号が与えられ、各部の動作タイミングを同期させる。
【００３４】
（３）動画又は静止画像の再生
又、外部メモリ２０に記録された動画又は静止画像を再生することが、操作部１５を通じて指示されると、外部メモリ２０に記録された圧縮信号は、ドライバ部７によって読み出されて伸長処理部８に与えられる。そして、動画の場合は、伸長処理部８において、ＭＰＥＧ圧縮符号方式に基づいて伸長復号されて、画像信号及び音声信号が取得される。そして、画像信号がディスプレイ部９に与えられて画像が再生されるとともに、音声信号が音声出力回路部１０を介してスピーカ部１１に与えられて音声が再生される。これにより、外部メモリ２０に記録された圧縮信号に基づく動画が音声とともに再生される。
【００３５】
又、静止画像の場合は、伸長処理部８において、ＪＰＥＧ圧縮符号方式に基づいて伸長復号されて、画像信号が取得される。そして、画像信号がディスプレイ部９に与えられて画像が再生される。これにより、外部メモリ２０に記録された圧縮信号に基づく静止画像が再生される。
【００３６】
（超解像処理の基本概念）
次に、上述の撮像装置内の画像処理部４において実行される超解像処理の基本概念について、簡単に説明する。尚、超解像処理の基本概念を説明するにあたって、その説明を簡単にするために、画像データを１次元方向に並んだ複数画素の画素値によるものとするとともに、異なる時間に撮像された２フレームの画像データによる超解像処理が成されるものとする。又、以下の説明における画素値は、輝度値を示す。そして、図２（ａ）に、イメージセンサ１により撮像される被写体の輝度分布を示し、図２（ｂ）〜（ｄ）に、この被写体が異なる時間にイメージセンサ１により撮像された際の画像データ（低解像度実画像）を示す。又、図３に、図２における低解像度実画像により高解像度画像となる画像データを生成する際のフローチャートを示す。更に、図３では、各フローにおける信号の変遷を模式的に示す。
【００３７】
図２（ａ）に示す輝度分布の被写体に対して、時間Ｔ１にイメージセンサ１によって撮像されたときの第１フレームのサンプル点がＳ１、Ｓ１＋ΔＳ、Ｓ１＋２ΔＳであり、時間Ｔ２（Ｔ１≠Ｔ２）にイメージセンサ１によって撮像されたときの第２フレームのサンプル点がＳ２、Ｓ２＋ΔＳ、Ｓ２＋２ΔＳであるものとする。又、このとき、第１フレームのサンプル点Ｓ１と第２フレームのサンプル点Ｓ２は、手ブレなどが原因となり、その位置にズレが生じているものとする。
【００３８】
そして、サンプル点Ｓ１、Ｓ１＋ΔＳ、Ｓ１＋２ΔＳは、被写体上のサンプル点を示し、図２（ｂ）に示す第１フレームとなる低解像度実画像Ｆａでは、このサンプル点Ｓ１、Ｓ１＋ΔＳ、Ｓ１＋２ΔＳで撮像された輝度値が、画素Ｐ１，Ｐ２，Ｐ３における画素値ｐａ１，ｐａ２，ｐａ３となる。又、サンプル点Ｓ２、Ｓ２＋ΔＳ、Ｓ２＋２ΔＳは、被写体上のサンプル点を示し、図２（ｃ）に示す第２フレームとなる低解像度実画像Ｆｂでは、このサンプル点Ｓ２、Ｓ２＋ΔＳ、Ｓ２＋２ΔＳで撮像された輝度値が、画素Ｐ１，Ｐ２，Ｐ３における画素値ｐｂ１，ｐｂ２，ｐｂ３となる。
【００３９】
これにより、第１フレームとなる低解像度実画像Ｆａの画素Ｐ１，Ｐ２，Ｐ３における画素値ｐａ１，ｐａ２，ｐａ３が図２（ｂ）のような関係となり、又、第２フレームとなる低解像度実画像Ｆｂの画素Ｐ１，Ｐ２，Ｐ３における画素値ｐｂ１，ｐｂ２，ｐｂ３が図２（ｃ）のような関係となる。このように、図２（ｂ）による低解像度実画像Ｆａ及び図２（ｃ）による低解像度実画像Ｆｂそれぞれは、図中の被写体の位置を基準にすると、画素位置が（Ｓ１−Ｓ２）だけずれた状態の画像となる。そして、低解像度実画像Ｆａの画素Ｐ１，Ｐ２，Ｐ３を基準として低解像度実画像Ｆｂを表した場合（即ち、低解像度実画像Ｆｂを低解像度実画像Ｆａに対する動き量（Ｓ１−Ｓ２）分だけ位置ズレ補正した場合）、低解像度実画像Ｆｂが図２（ｄ）のように表される。
【００４０】
そして、図３（ａ）に示すように、位置ズレを補正した図２（ｂ）及び図２（ｃ）のような低解像度実画像Ｆａ，Ｆｂを組み合わせることで、高解像度画像Ｆｘ１を推定する（ＳＴＥＰ３１）。このとき、以下の説明を簡単にするために、例えば、解像度を１次元方向に対して２倍にするものとする。即ち、高解像度画像Ｆｘ１の画素として、低解像度実画像Ｆａ，Ｆｂの画素Ｐ１，Ｐ２，Ｐ３に加えて更に、画素Ｐ１，Ｐ２の中間位置に位置する画素Ｐ４と、画素Ｐ２，Ｐ３の中間位置に位置する画素Ｐ５とが設定されるものとする。
【００４１】
低解像度実画像Ｆａが基準である注目フレームとされると、画素Ｐ１，Ｐ２，Ｐ３での画素値が、低解像度実画像Ｆａにおける画素値ｐａ１，ｐａ２，ｐａ３とされる。又、画素Ｐ４については、画素Ｐ４との画素位置（画素の中心位置）の距離が、低解像度実画像Ｆａにおける画素Ｐ１，Ｐ２の画素位置からの距離よりも低解像度実画像Ｆｂにおける画素Ｐ１の画素位置からの距離の方が近いことより、画素値ｐｂ１とされるものとする。同様に、画素Ｐ５については、画素Ｐ５との画素位置（画素の中心位置）の距離が、低解像度実画像Ｆａにおける画素Ｐ２，Ｐ３の画素位置からの距離よりも低解像度実画像Ｆｂにおける画素Ｐ２の画素位置からの距離の方が近いことより、画素値ｐｂ２とされるものとする。このように、画素Ｐ１〜Ｐ５の画素値をｐａ１，ｐａ２，ｐａ３，ｐｂ１，ｐｂ２と設定して得られた高解像度画像を、高解像度画像Ｆｘ１として推定されるものとしても構わない。
【００４２】
その後、ＳＴＥＰ３１で得られた高解像度画像Ｆｘ１に対して、ダウンサンプリング量やぼけ量や位置ズレ量（動き量に相当）などをパラメータとして備えた変換式による演算を行うことで、図３（ｂ）のように、低解像度実画像Ｆａ，Ｆｂそれぞれに対する推定画像となる低解像度推定画像Ｆａ１，Ｆｂ１を生成する（ＳＴＥＰ３２）。尚、図３（ｂ）では、ｎ回目の処理によって推定された低解像度推定画像、即ち、高解像度画像Ｆｘｎより推定された低解像度実画像Ｆａ，Ｆｂに相当する低解像度推定画像Ｆａｎ，Ｆｂｎを示す。
【００４３】
即ち、高解像度画像Ｆｘ１に基づいて、サンプル点Ｓ１、Ｓ１＋ΔＳ、Ｓ１＋２ΔＳにおける画素値を推定して、取得した画素値ｐａ１１〜ｐａ３１を画素Ｐ１〜Ｐ３の画素値とする低解像度推定画像Ｆａ１を生成する。同様に、高解像度画像Ｆｘ１に基づいて、サンプル点Ｓ２、Ｓ２＋ΔＳ、Ｓ２＋２ΔＳにおける画素値を推定して、取得した画素値ｐｂ１１〜ｐｂ３１を画素Ｐ１〜Ｐ３の画素値とする低解像度推定画像Ｆｂ１を生成する。
【００４４】
そして、図３（ｃ）に示すように、このようにして得られた低解像度推定画像Ｆａ１，Ｆｂ１それぞれと、低解像度実画像Ｆａ，Ｆｂそれぞれとの間における差分を求め、この差分を合成することで、高解像度画像Ｆｘ１に対する差分画像ΔＦｘ１を取得する（ＳＴＥＰ３３）。尚、図３（ｃ）では、ｎ回目の処理によって取得された高解像度画像Ｆｘｎに対する差分画像ΔＦｘｎ、即ち、低解像度推定画像Ｆａｎ，Ｆｂｎと低解像度実画像Ｆａ，Ｆｂとによる差分画像ΔＦａｎ、ΔＦｂｎを合成することで得られた差分画像ΔＦｘｎを示す。
【００４５】
この図３（ｃ）の処理によって、低解像度推定画像Ｆａ１と低解像度実画像Ｆａにおける画素Ｐ１，Ｐ２，Ｐ３での差分（ｐａ１１−ｐａ１）、（ｐａ２１−ｐａ２）、（ｐａ３１−ｐａ３）による差分画像ΔＦａ１、低解像度推定画像Ｆａ２と低解像度実画像Ｆｂにおける画素Ｐ１，Ｐ２，Ｐ３での差分（ｐｂ１１−ｐｂ１）、（ｐｂ２１−ｐｂ２）、（ｐｂ３１−ｐｂ３）による差分画像ΔＦｂ１をそれぞれ求める。即ち、差分画像ΔＦａ１では、差分値（ｐａ１１−ｐａ１）、（ｐａ２１−ｐａ２）、（ｐａ３１−ｐａ３）が画素値となり、差分画像ΔＦｂ１では、差分値（ｐｂ１１−ｐｂ１）、（ｐｂ２１−ｐｂ２）、（ｐｂ３１−ｐｂ３）が画素値となる。
【００４６】
そして、差分画像ΔＦａ１，ΔＦｂ１の画素値を合成することによって、画素Ｆ１〜Ｆ５それぞれにおける差分値を算出して、高解像度画像Ｆｘ１に対する差分画像ΔＦｘ１を取得する。この差分画像ΔＦａ１，ΔＦｂ１の画素値を合成によって差分画像ΔＦｘ１を取得する際、例えば、ＭＬ法やＭＡＰ法では、二乗誤差を評価関数として用いる。即ち、ＭＬ法やＭＡＰ法の評価関数が、差分画像ΔＦａ１，ΔＦｂ１の画素値を二乗してフレーム間で加算した値となる。よって、この評価関数の微分値である勾配は、差分画像ΔＦａ１，ΔＦｂ１の画素値を２倍した値となるため、高解像度画像Ｆｘ１に対する差分画像ΔＦｘ１は、差分画像ΔＦａ１，ΔＦｂ１それぞれの画素値を２倍した値を用いて高解像度化することで算出される。
【００４７】
その後、図３（ｄ）に示すように、得られた差分画像ΔＦｘ１における画素Ｐ１〜Ｐ５の画素値（差分値）が、ＳＴＥＰ１で推定された高解像度画像Ｆｘ１における画素Ｐ１〜Ｐ５の画素値より減算されることで、図２（ａ）に示す輝度分布の被写体に近い画素値となる高解像度画像Ｆｘ２が再構成される（ＳＴＥＰ３４）。尚、図３（ｄ）では、ｎ回目の処理によって取得された高解像度画像Ｆｘ（ｎ＋１）、即ち、高解像度推定画像Ｆｘｎより差分画像ΔＦｘｎが減算されて得られた高解像度画像Ｆｘ（ｎ＋１）を示す。
【００４８】
そして、上述のＳＴＥＰ３２〜ＳＴＥＰ３４の処理を繰り返すことによって、ＳＴＥＰ３３で得られる差分画像ΔＦｘｎの画素値が小さくなり、高解像度画像Ｆｘｎの画素値が、図２（ａ）に示す輝度分布の被写体に近い画素値に収束される。尚、ｎ回目の処理におけるＳＴＥＰ３２及びＳＴＥＰ３４では、前回（ｎ−１回目）の処理におけるＳＴＥＰ３４で得られた高解像度画像Ｆｘｎによって、低解像度推定画像Ｆａｎ，Ｆｂｎ及び高解像度推定画像Ｆｘ（ｎ＋１）が取得される。そして、差分画像ΔＦｘｎの画素値（差分値）が所定値より小さくなったときや、差分画像ΔＦｘｎの画素値（差分値）が収束されたとき、前の処理（ｎ−１回目の処理）におけるＳＴＥＰ３４で得られた高解像度画像Ｆｘｎを、目的の高解像度画像として超解像処理を終了する。
【００４９】
そして、本発明の以下の各実施形態において、動画撮影時に超解像処理を行う場合は、上述のＳＴＥＰ３２〜ＳＴＥＰ３４の処理の反復回数を少ない回数に設定し、静止画撮影時に超解像処理を行う場合は、上述のＳＴＥＰ３２〜ＳＴＥＰ３４の処理の反復回数を、動画撮影時に比べて多い回数に設定する。即ち、例えば、動画撮影時における上述のＳＴＥＰ３２〜ＳＴＥＰ３４の処理の反復回数をＮ１としたとき、静止画撮影時における上述のＳＴＥＰ３２〜ＳＴＥＰ３４の処理の反復回数を、Ｎ１よりも多いＮ２とする。又、動画撮影時においては、上述のＳＴＥＰ３２〜ＳＴＥＰ３４の処理の反復回数Ｎ１を１とし、上述のＳＴＥＰ３２〜ＳＴＥＰ３４の処理を１度だけ行うものとし、初期設定画像Ｆｘ１によって高解像度画像Ｆｘ２を推定するものとしても構わない。
【００５０】
上述したフローを基本とする超解像処理として、［背景技術］で挙げたＭＬ法や、ＭＡＰ法や、ＰＯＣＳ法や、ＩＢＰ法などが、画像処理部４で利用される。例えば、ＭＡＰ法が利用される場合、ＳＴＥＰ３３において取得される高解像度画像Ｆｘｎに対する差分画像ΔＦｘｎが、ＭＡＰ法における評価関数を勾配法によって微分した値を画素値とする勾配画像で構成されるものとする。
【００５１】
即ち、各画素位置での二乗誤差を画素値とする最小二乗法によって得られた差分画像ΔＦａｎ、ΔＦｂｎを合成した高解像度画像Ｆｘｎの差分画像に、事後確率分布により拘束される高解像度画像Ｆｘｎの高速画像を加えた後、勾配法によって微分を行うことで、ＳＴＥＰ３３における差分画像ΔＦｘｎに相当する勾配画像を取得する。そして、ＳＴＥＰ３４において、この勾配画像による差分画像ΔＦｘｎを高解像度画像Ｆｘｎより減算することで、高解像度画像Ｆｘ（ｎ＋１）を再構築する。
【００５２】
このような超解像処理を行う画像処理部４を備えた撮像装置の実施形態について、以下に説明する。尚、以下の各実施形態では、画像処理部４の超解像処理の詳細を特徴とするものであり、動画撮影動作、静止画撮影動作、動画再生動作、静止画再生動作それぞれについては、上述の動作で説明した動作を基本とするため、その詳細な説明は省略する。又、以下の各実施形態において、ＭＡＰ法を代表して、画像処理部４による超解像動作について説明する。
【００５３】
＜第１の実施形態＞
本発明の第１の実施形態について、図面を参照して説明する。図４は、本実施形態の撮像装置における画像処理部の構成を示すブロック図である。
【００５４】
本実施形態の撮像装置における画像処理部４は、図４に示すように、ＡＦＥ２でデジタル信号とされた１フレーム分の低解像度実画像となる画像信号を一時的に記憶するフレームメモリ４１と、フレームメモリ４１に記憶された１フレーム分の低解像度実画像が与えられた同様に１フレーム分の低解像度実画像を一時的に記憶するフレームメモリ４２と、ＡＦＥ２より入力される現フレームの低解像度実画像による画像信号とフレームメモリ４１に記憶された現フレームより１フレーム前の低解像度実画像による画像信号とが与えられて動き量（位置ズレ量）を算出する動き量算出部４３と、動き量算出部４３で検出された動き量に基づいてフレームメモリ４１，４２に記憶された２フレームの低解像度実画像に対して超解像処理を行って高解像度画像を生成する超解像処理部４４と、超解像処理部４４で得られた高解像度画像を一時的に記憶して再び超解像処理部４４に与えるフレームメモリ４５と、超解像処理部４４で超解像処理が施された高解像度画像による画像信号又はＡＦＥ２から直接与えられた画像信号より輝度信号及び色差信号を生成する信号処理部４６と、を備える。
【００５５】
更に、超解像処理部４４は、フレームメモリ４１，４２に記憶された２フレーム分の低解像度実画像（図３（ａ）の低解像度実画像Ｆａ，Ｆｂに相当）より初期高解像度画像となる高解像度画像（図３（ａ）の高解像度画像Ｆｘ１に相当）を推定する初期高解像度推定部４４１と、初期高解像度推定部４４１で推定されて得られた高解像度画像とフレームメモリ４５に一時記憶された高解像度画像のいずれか１つを選択して後段に与える選択部４４２と、選択部４４２で選択された高解像度画像とフレームメモリ４１，４２に記憶された２フレーム分の低解像度実画像によって高解像画像の更新量（図３（ｄ）の差分画像ΔＦｘｎに相当）を求める高解像度更新量算出部４４３と、選択部４４２で選択された高解像度画像から高解像度更新量算出部４４３で得られた更新量を減算する減算部４４４と、を備える。
【００５６】
（動き量検出部の動作）
まず、動き量検出部４３の動作について簡単に説明する。まず、動き量検出部４３には、現フレームとなる低解像度実画像ＦａがＡＦＥ２から与えられるとともに、現フレームの１フレーム前の低解像度実画像Ｆｂがフレームメモリ４１から与えられて、位置ズレとなる動き量が検出される。この動き量（位置ズレ量）の検出は、時間的に連続した２フレームの低解像度実画像Ｆａ，Ｆｂのうち、現フレームである低解像度実画像Ｆａを非基準画像とし、もう一方の低解像度実画像Ｆｂを基準画像として検出される。尚、本実施形態では、現フレームでないもう一方の低解像度実画像Ｆｂを基準画像とするものとして説明するが、現フレームとなる低解像度実画像Ｆａを基準画像としても構わない。
【００５７】
この動き量検出については、例えば、周知の代表点マッチング法によって、画像間における画素単位の動き量が検出され、その後、１画素内における動き量について、画素単位の位置ズレ補正された近隣画素の画素値の関係に基づいて検出されるものとしても構わない。以下に、代表点マッチング法と、１画素内における位置ズレ検出とについて、簡単に説明する。
【００５８】
（１）代表点マッチング法
基準画像及び非基準画像それぞれに対して、例えば、図５に示すように、ａ×ｂの画素群（例えば、３６×３６の画素群）を１つの小領域ｅとして分割し、更に、このｐ×ｑ領域の小領域ｅ群（例えば、６×８の小領域ｅ群）を１つの検出領域Ｅとして分割する。そして、基準画像では、各小領域ｅにおいて、図６（ａ）のように、小領域ｅを構成するａ×ｂの画素から１つの画素が代表点Ｒとして設定され、又、非基準画像では、各小領域ｅにおいて、図６（ｂ）のように、小領域ｅを構成するａ×ｂの画素のうちの複数の画素がサンプリング点Ｓとして設定される（例えば、ａ×ｂの画素全てをサンプリング点Ｓとしても構わない）。
【００５９】
このように、小領域ｅ及び検出領域Ｅを設定すると、基準画像と非基準画像の同一位置となる小領域ｅについて、非基準画像の各サンプリング点Ｓの画素値と基準画像の代表点Ｒの画素値との差が、各サンプリング点Ｓでの相関値として求められる。そして、検出領域Ｅ毎に、各小領域ｅ間で代表点Ｒとの相対位置が同一となるサンプリング点Ｓの相関値を、検出領域Ｅを構成する全ての小領域ｅ分だけ累積加算することで、各サンプリング点Ｓにおける累積相関値を取得する。これにより、検出領域Ｅ毎に、代表点Ｒとの相対位置が同一となるｐ×ｑ個のサンプリング点Ｓの相関値が累積加算されることで、サンプリング点の個数分の累積相関値が得られる（例えば、ａ×ｂの画素全てをサンプリング点Ｓとする場合、ａ×ｂ個の累積相関値が得られることとなる）。
【００６０】
このようにして、各検出領域Ｅに対して、各サンプリング点Ｓに対する累積相関値が求められると、各検出領域Ｅにおいて、代表点Ｒと相関性が最も高いと考えられる累積相関値が最小となるサンプリング点Ｓが検出される。そして、各検出領域Ｅでは、累積相関値が最小となるサンプリング点Ｓと代表点Ｒとの動き量が、それぞれの画素位置によって求められる。その後、各検出領域Ｅそれぞれに対して求められた動き量を平均することで、この平均値を、基準画像と非基準画像との間の画素単位による動き量として検出する。
【００６１】
（２）１画素内の動き量検出
上述のように、画素単位による動き量を検出すると、更に、１画素内における動き量が検出される。このとき、例えば、まず、図５に示す小領域ｅ毎に、基準画像の代表点Ｒとなる画素の画素値と、上述の代表点マッチング法によって得られた動き量によって代表点Ｒと相関性の高いサンプリング点Ｓｘとなる画素及び周辺画素それぞれの画素値との関係によって、１画素内における動き量を検出する。
【００６２】
即ち、各小領域ｅにおいて、基準画像で画素位置（ａｒ，ｂｒ）となる代表点Ｒの画素値Ｌａ（図７（ａ）参照）と、非基準画像において画素位置（ａｓ，ｂｓ）となるサンプル点Ｓｘの画素値Ｌｂと、サンプル点Ｓｘと水平方向に隣接する画素位置（ａｓ＋１，ｂｓ）の画素値Ｌｃ（図７（ｂ）参照）と、サンプル点Ｓｘと垂直方向に隣接する画素位置（ａｓ，ｂｓ＋１）の画素値Ｌｄ（図７（ｂ）参照）との関係によって、１画素内における動き量が検出される。このとき、代表点マッチング法により、基準画素から非基準画像への画素単位の動き量が、（ａｓ−ａｒ，ｂｓ−ｂｒ）となるベクトル量で表される値となる。
【００６３】
又、図８（ａ）のように、サンプル点Ｓｘとなる画素から水平方向に１画素ずれることで、画素値Ｌｂから画素値Ｌｃに線形的に変化するものとし、図８（ｂ）のように、サンプル点Ｓｘとなる画素から垂直方向に１画素ずれることで、画素値Ｌｂから画素値Ｌｄに線形的に変化するものとする。そして、図７（ａ）及び図７（ｂ）のような関係より、画素値Ｌｂ，Ｌｃの間で画素値Ｌａとなる水平方向の位置Δｘ（＝（Ｌａ−Ｌｂ）／（Ｌｃ−Ｌｂ））を求めるとともに、画素値Ｌｂ，Ｌｄの間で画素値Ｌａとなる垂直方向の位置Δｙ（＝（Ｌａ−Ｌｂ）／（Ｌｄ−Ｌｂ））を求める。即ち、（Δｘ，Δｙ）で表されるベクトル量が、基準画素と非基準画素との間における、１画素内での動き量として求められる。
【００６４】
このようにして、小領域ｅそれぞれにおける１画素内での動き量を求めると、求めた動き量を平均することで、この平均値を、基準画像Ｆｂと非基準画像Ｆａとの間の画素単位による動き量として検出する。そして、代表点マッチング法によって得られた画素単位による動き量に、求めた１画素内での動き量を加えることによって、基準画像Ｆｂと非基準画像Ｆａとの間における動き量を算出することができる。
【００６５】
上記の方法による動き量検出によって取得された動き量によって、超解像処理に最適となる低解像度画像の選択を行うことができるとともに、フレームメモリ４１に記憶された低解像度実画像Ｆａに対して、フレームメモリ４２に記憶された低解像度実画像Ｆｂを基準とした位置ズレ補正を行うことができる。尚、動き量検出部４３における動き量検出については、上記の方法を例に挙げて説明したが、画素内における動き量まで検出できるものであれば、他の方法を用いることによって、連続する２フレーム分の低解像度実画像間の動き量を検出するようにしても構わない。
【００６６】
（超解像処理部の動作）
次に、このように構成される超解像処理部４４の動作について、図３を参照して説明する。尚、低解像度実画像を含む低解像度画像の画素数をｕとし、初期高解像度画像を含む高解像度画像の画素数をｖとする。そして、ｕ画素による低解像度実画像Ｆａの各画素値がＹａ＝［ｙａ１，ｙａ２，…，ｙａｕ］となり、ｕ画素による低解像度実画像Ｆｂの各画素値がＹｂ＝［ｙｂ１，ｙｂ２，…，ｙｂｕ］となる。画像処理部４における超解像処理が行われるとき、フレームメモリ４１，４２に記憶された２フレーム分の低解像度実画像Ｆａ，Ｆｂが初期高解像度推定部４４１及び高解像度更新量算出部４４３に与えられる。
【００６７】
（１）初期高解像画像による処理
低解像度実画像Ｆａ，Ｆｂが与えられる初期高解像度推定部４４１では、図３（ａ）に示すＳＴＥＰ３１のように、動き量算出部４３で得られた動き量に基づいて、２フレームの低解像度実画像Ｆａ，Ｆｂ間の位置ズレを検出する。そして、低解像度実画像Ｆａ，Ｆｂの各画素値Ｙａ，Ｙｂに対して、動き量により確認された位置ズレを利用した補間処理を施すことで、ｖ画素による初期高解像度画像Ｆｘ１を取得する。尚、高解像度画像Ｆｘ１〜Ｆｘｎそれぞれの各画素値を、Ｘ＝［ｘ１，ｘ２，…，ｘｖ］となるものとする。この初期高解像度推定部４４１で初期高解像度画像Ｆｘ１を生成する際、高解像度画像生成用のフィルタの一部にメディアンフィルタなどによるノイズ低減処理を行うフィルタを用いることや、高解像度画像生成用のフィルタのタップ数を広げることで、Ｓ／Ｎ比（信号／ノイズ比）を高くすることが好ましい。
【００６８】
このようにして初期高解像度推定部４４１から初期高解像度画像Ｆｘ１が出力されると、選択部４４２によって、この初期高解像度画像Ｆｘ１が選択されて、高解像度更新量算出部４４３に与えられる。この高解像度更新量算出部４４３では、動き量算出部４３で得られた動き量が与えられることで、動き量に基づいて、高解像実画像Ｆｘに対する低解像度実画像Ｆａ，Ｆｂそれぞれの位置ズレや低解像化によるぼけが算出される。この動き量より得られる位置ズレやぼけと、ｖ画素の高解像度画像Ｆｘｎからｕ画素の低解像度実画像Ｆａ，Ｆｂに相当する低解像度推定画像Ｆａｎ，Ｆｂｎへのダウンサンプリング量とを含むカメラパラメータ行列Ｗａ，Ｗｂが求められる。
【００６９】
そして、選択部４４２を通じて与えられた初期高解像度画像Ｆｘ１に対して、カメラパラメータ行列Ｗａ，Ｗｂが乗算されることで、図３（ｂ）に示すＳＴＥＰ３２のように、低解像度実画像Ｆａ，Ｆｂに擬似的に類似させた低解像度推定画像Ｆａ１（＝Ｗａ・Ｘ），Ｆｂ１（＝Ｗｂ・Ｘ）が推定される。又、この高解像度更新量算出部４４３は、フレームメモリ４１，４２に記憶された２フレーム分の低解像度実画像Ｆａ，Ｆｂが与えられることで、推定した低解像度推定画像Ｆａ１，Ｆｂ１と低解像度実画像Ｆａ，Ｆｂとの二乗誤差による差分｜Ｗａ・Ｘ−Ｙａ｜2、｜Ｗｂ・Ｘ−Ｙｂ｜2が求められる。
【００７０】
この低解像度推定画像Ｆａ１，Ｆｂ１と低解像度実画像Ｆａ，Ｆｂとの差分による評価関数Ｉが、それぞれの差分の加算値に、選択部４４２で選択された高解像度画像によって得られる拘束項が付加された形で求められる。即ち、求められる評価関数Ｉは、｜Ｗａ・Ｘ−Ｙａ｜2＋｜Ｗｂ・Ｘ−Ｙｂ｜2＋γ｜ＣＸ｜2となる。尚、この評価関数Ｉの拘束項γ｜ＣＸ｜2において、行列Ｃが、事前確率モデルに基づく行列であり、「高解像度画像には高域成分が少ない」という事前知識に基づき、例えば、ラプラシアンフィルタなどのハイパスフィルタによって構成される。又、係数γは、拘束項の評価関数Ｉにおける重みの強さを表すパラメータである。
【００７１】
このようにして求められた評価関数Ｉに対して勾配法によって最小化を行うため、評価関数Ｉに対する勾配∂Ｉ／∂Ｘ（＝２×｛ＷａT・（Ｗａ・Ｘ−Ｙａ）＋ＷｂT・（Ｗｂ・Ｘ−Ｙｂ）＋γＣT・Ｃ・Ｘ｝）が求められる。尚、添え字である「Ｔ」は、転置行列を表す。この更新量となる勾配∂Ｉ／∂Ｘを求めることで、高解像度更新量算出部４４３において、図３（ｃ）によって示すＳＴＥＰ３３における差分画像ΔＦｘ１が求められることとなる。
【００７２】
このようにして算出した勾配∂Ｉ／∂Ｘによる更新量が、高解像度更新量算出部４４３より減算部４４４に与えられると、減算部４４４では、図３（ｄ）におけるＳＴＥＰ３４のように、選択部４４２を介して初期高解像度推定部４４１より与えられる初期高解像度画像Ｆｘ１より、勾配∂Ｉ／∂Ｘによる更新量を減算する。この減算部４４４の減算結果により、ｖ画素の画素値それぞれが（Ｘ−∂Ｉ／∂Ｘ）となる高解像度画像Ｆｘ２が得られる。そして、この新たに得られた高解像度画像Ｆｘ２が減算部４４４より出力されて、フレームメモリ４５に与えられて、一時的に記憶される。
【００７３】
（２）生成後の高解像画像による処理
上述のように、初期高解像度画像Ｆｘ１を取得して、高解像度画像の更新量を勾配∂Ｉ／∂Ｘとし、新たな高解像度画像Ｆｘ２を取得すると、選択部４４２は、フレームメモリ４５に格納された高解像度画像を選択して高解像度更新量算出部４４３に与える。即ち、ｎ（ｎ≧２の整数）回目の演算処理の場合、フレームメモリ４５に格納された高解像度画像Ｆｘｎが選択部４４２によって読み出されて、高解像度更新量算出部４４３に与えられる。
【００７４】
よって、高解像度更新量算出部４４３では、フレームメモリ４５に格納された高解像度画像Ｆｘｎによって、低解像度推定画像Ｆａｎ（＝Ｗａ・Ｘ），Ｆｂｎ（＝Ｗｂ・Ｘ）を推定する。そして、低解像度実画像Ｆａ，Ｆｂ及び低解像度推定画像Ｆａｎ，Ｆｂｎそれぞれにおける二乗誤差による差分｜Ｗａ・Ｘ−Ｙａ｜2、｜Ｗｂ・Ｘ−Ｙｂ｜2が求められる。これにより、評価関関数Ｉに対する勾配∂Ｉ／∂Ｘが、ｎ回目の演算処理における更新量として算出される。
【００７５】
即ち、低解像度推定画像Ｆａｎ，Ｆｂｎと、入力される低解像実画像Ｆａ，Ｆｂ及び高解像度画像Ｆｘｎとによって、更新量となる∂Ｉ／∂Ｘ（＝２×｛ＷａT・（Ｗａ・Ｘ−Ｙａ）＋ＷｂT・（Ｗｂ・Ｘ−Ｙｂ）＋γＣT・Ｃ・Ｘ｝）による差分画像ΔＦｘｎが、高解像度更新量算出部４４３で求められる。そして、減算部４４５において、高解像度更新量算出部４４３で求められた差分画像ΔＦｘｎが、選択部４４２を介してフレームメモリ４５から与えられる高解像度画像Ｆｘｎより減算されて、即ち、Ｘ−∂Ｉ／∂Ｘの演算が行われることで、新たに高解像度画像Ｆｘ（ｎ＋１）が得られる。
【００７６】
そして、超解像処理部４４内において、高解像度更新量算出部４４３による演算処理回数をｎ回に設定している場合は、減算部４４５で新たに得られた高解像度画像Ｆｘ（ｎ＋１）を、減算部４４５から信号処理部４６に出力する。又、超解像処理部４４内において、高解像度更新量算出部４４３による演算処理回数をｎ＋１回以上に設定している場合は、高解像度画像Ｆｘ（ｎ＋１）をフレームメモリ４５に与えて一時記憶して、ｎ＋１回目の演算処理を行う。
【００７７】
（動画撮影時の超解像処理動作）
上述のように超解像処理部４４が動作する撮像装置において、動画撮影が指示されると、１フレームの撮影処理時間が短時間となるため、超解像処理部４４における超解像処理動作にかかる時間を短時間とする必要がある。よって、本実施形態において、動画撮影時に超解像処理が要求された場合、高解像度画像生成処理が初期高解像度画像Ｆｘ１によってのみ生成されるものとし、その処理時間を短時間に設定する。これにより、フレームメモリ４５による高解像度画像の記憶動作を省略することができる。
【００７８】
即ち、イメージセンサ１から出力された画像信号がＡＦＥ２でデジタル信号に変換されて画像処理部４に与えられると、現フレームとなる低解像実画像Ｆａがフレームメモリ４１に格納される。このとき、フレームメモリ４１に格納された１フレーム前のフレームによる低解像実画像Ｆｂが、フレームメモリ４２に格納される。又、ＡＦＥ２からの低解像度実画像Ｆａは動き量検出部４３にも与えられ、フレームメモリ４１に格納されている低解像度実画像Ｆｂとの動き量が検出される。
【００７９】
そして、フレームメモリ４１，４２に格納された低解像度実画像Ｆａ，Ｆｂと、動き検出部４３で検出された動き量とが、超解像処理部４４に与えられて、超解像処理が成される。超解像処理部４４では、初期高解像度推定部４４１において、動き量算出部４３で得られた動き量に基づいて、低解像度実画像Ｆａ，Ｆｂにより初期高解像度画像Ｆｘ１を取得する。この初期高解像度画像Ｆｘ１が、選択部４４２を介して高解像度更新量算出部４４３に与えられると、低解像度実画像Ｆａ，Ｆｂとによって、更新量∂Ｉ／∂Ｘによる差分画像ΔＦｘ１が求められる。そして、減算部４４４において、初期高解像度画像Ｆｘ１から差分画像ΔＦｘ１による更新量∂Ｉ／∂Ｘが減算されることで、高解像度画像Ｆｘ２が取得される。
【００８０】
このようにして超解像処理部４４で得られた高解像度画像Ｆｘ２は、減算部４４４より信号処理部４６に出力されることで、輝度信号及び色差信号が生成される。この画像処理部４の信号処理部４６で生成された高解像度画像に対する輝度信号及び色差信号が、圧縮処理部６に与えられる。この輝度信号及び色差信号による画像信号が、音声処理部５からの音声信号とともに、ＭＰＥＧ圧縮符号化方式によって圧縮符号化処理がなされて、動画用の圧縮符号化信号が生成される。
【００８１】
（静止画撮影時の超解像処理動作）
又、静止画撮影が指示される場合は、動画撮影時と異なり、撮影処理時間が短時間となることがないため、超解像処理部４４における超解像処理動作にかかる時間を長時間とすることができる。よって、動画撮影時に超解像処理が要求された場合と同様、高解像度画像生成処理が初期高解像度画像Ｆｘ１を推定した後、フレームメモリ４５を用いて高解像度画像の設定処理を繰り返す。
【００８２】
即ち、超解像処理部４４で生成された高解像度画像をフレームメモリ４５に記憶した後、このフレームメモリ４５に記憶した高解像度画像に基づいて更新量を算出して、この更新量に基づいた新たな高解像度画像を生成する動作を、複数回繰り返す。尚、この反復回数については、予め設定した回数であっても構わないし、更新量が所定値よりも小さくなるまで繰り返し行う回数であっても構わない。
【００８３】
動画撮影時と同様、イメージセンサ１から出力された画像信号がＡＦＥ２でデジタル信号に変換されて画像処理部４に与えられると、現フレームとなる低解像実画像Ｆａがフレームメモリ４１に格納されるとともに、フレームメモリ４１に格納された１フレーム前のフレームによる低解像実画像Ｆｂが、フレームメモリ４２に格納される。又、ＡＦＥ２及びフレームメモリ４１のそれぞれから低解像度実画像Ｆａ，Ｆｂが動き量検出部４３に与えられて、動き量が算出される。
【００８４】
そして、フレームメモリ４１，４２に格納された低解像度実画像Ｆａ，Ｆｂと、動き量検出部４３からの動き量とが、超解像処理部４４に与えられると、初期高解像度推定部４４１で初期高解像度画像Ｆｘ１が推定される。更に、高解像度更新量算出部４４３で初期高解像度画像Ｆｘ１と低解像度実画像Ｆａ，Ｆｂとによる更新量∂Ｉ／∂Ｘが算出されて、減算部４４４で初期高解像度画像Ｆｘ１より減算することで、高解像度画像Ｆｘ２が得られる。
【００８５】
このようにして超解像処理部４４で得られた高解像度画像Ｆｘ２は、フレームメモリ４５に与えられて、一時的に記憶されると、選択部４４２を介して高解像度更新量算出部４４３に与えられることとなる。その後、上述したように、高解像度更新量算出部４４３では、フレームメモリ４５に格納された高解像度画像Ｆｘｎと、フレームメモリ４１，４２からの低解像度画像Ｆａ，Ｆｂとによって、更新量∂Ｉ／∂Ｘによる差分画像ΔＦｘｎを算出する。
【００８６】
そして、減算部４４４によって、高解像度画像Ｆｘｎから差分画像ΔＦｘｎによる更新量∂Ｉ／∂Ｘを減算して、高解像度画像Ｆｘ（ｎ＋１）を取得する。このとき、ｎ回となる演算処理回数が、予め設定した反復回数となった場合、又は、高解像度更新量算出部４４３で算出された更新量∂Ｉ／∂Ｘが所定値以下となった場合、取得した高解像度画像Ｆｘ（ｎ＋１）を信号処理部４６に出力する。逆に、これらの条件を満たしていない場合は、更に、演算処理を繰り返すために、取得した高解像度画像Ｆｘ（ｎ＋１）をフレームメモリ４５に出力する。
【００８７】
このようにして超解像処理部４４内で演算処理が繰り返し行われて得られた高解像度画像が、信号処理部４６に出力されると、高解像度画像による輝度信号及び色差信号が生成される。この画像処理部４の信号処理部４６で生成された高解像度画像に対する輝度信号及び色差信号が、圧縮処理部６に与えられる。この輝度信号及び色差信号による画像信号が、ＪＰＥＧ圧縮符号化方式によって圧縮符号化処理がなされて、静止画像用の圧縮符号化信号が生成される。
【００８８】
尚、本実施形態においては、動画撮影時において、超解像処理部４４で生成された高解像度画像がフレームメモリ４５に一時記憶されて、再度、超解像のための演算処理が繰り返されずに、信号処理部４６に出力されるものとした。しかしながら、静止画撮影時と同様、フレームメモリ４５に一時記憶して、超解像処理部４４での演算処理を複数回繰り返して得られた高解像度画像を出力するものとしても構わない。このように、動画撮影時において、超解像処理部４４での演算処理を複数回繰り返す場合、上述したように、その反復回数が１フレーム毎の撮影期間に応じた回数に設定され、静止画撮影時における反復回数よりも少ない回数に設定される。
【００８９】
又、動画撮影時において、静止画撮影時に比べて、超解像処理における演算処理の反復回数を少なくするものとしたが、複数フレームを連続に撮影する連続撮影時においても、同様に、超解像処理における演算処理の反復回数を少なくするものとしても構わない。
【００９０】
更に、本実施形態において、超解像処理部４４において、連続して撮像された２フレーム分の低解像度実画像から高解像度画像を取得するものとしたが、３フレーム以上の低解像度実画像によって高解像度画像を生成するものとしても構わない。このとき、高解像度画像生成に使用する低解像度実画像のフレーム数だけフレームメモリを必要とする。又、連続する２フレーム毎に検出された低解像度実画像の動き量を記憶する動き量記憶部を、フレーム数から１つ少ない個数だけ必要とする。
【００９１】
（３フレームによる超解像処理を行う場合の構成）
以下に、３フレーム以上の低解像度実画像から高解像度画像を取得できるものとしたときの、画像処理部４の構成例として、３フレームの低解像度実画像を用いる場合の構成を示す。図９は、本例の画像処理部の構成を示すブロック図である。図９に示す画像処理部の構成において、図４の構成と同一の部分については、同一の符号を付してその詳細な説明は省略する。
【００９２】
図９に示す画像処理部４は、図４の構成と同様、フレームメモリ４１，４２と、動き量検出部４３と、超解像処理部４４と、フレームメモリ４５と、信号処理部４６とを、備え、更に、フレームメモリ４２に記憶された低解像度実画像が与えられて一時的に記憶するフレームメモリ４７と、動き量検出部４３で検出された動き量が与えられて一時的に記憶する動き量記憶部４８と、を備える。
【００９３】
このように構成されるとき、ＡＦＥ２より現フレームとなる低解像度実画像Ｆａが画像処理部４に与えられるとき、フレームメモリ４１に格納されている１フレーム前の低解像度実画像Ｆｂがフレームメモリ４２に与えられるとともに、フレームメモリ４２に格納されている２フレーム前の低解像度実画像Ｆｃがフレームメモリ４７に与えられる。又、ＡＦＥ２からの低解像度実画像Ｆａが動き量検出部４３に与えられることで、低解像度実画像Ｆａ，Ｆｂ間の動き量が検出される。
【００９４】
このとき、既に検出された低解像度実画像Ｆｂ，Ｆｃ間の動き量が、動き量記憶部４８に与えられて一時的に記憶される。更に、動き量検出部４３では、低解像度実画像Ｆｂ，Ｆｃ間の動き量と、低解像度実画像Ｆａ，Ｆｂ間の動き量とを加算することにより、低解像度実画像Ｆａ，Ｆｃ間の動き量を算出する。そして、動き量検出部４３で検出された低解像度実画像Ｆａ，Ｆｃ間の動き量と、動き量記憶部４８に記憶されている低解像度実画像Ｆｂ，Ｆｃ間の動き量とが、超解像処理部４４に与えられる。
【００９５】
そして、フレームメモリ４１，４２，４７に格納された低解像度実画像Ｆａ，Ｆｂ，Ｆｃと、動き量検出部４３及び動き量記憶部４８それぞれからの動き量とが、超解像処理部４４に与えられて、超解像処理が成される。この超解像処理部４４では、初期高解像度推定部４４１において、動き量検出部４３及び動き量記憶部４８それぞれからの動き量に基づいて、連続する３フレームの低解像度実画像Ｆａ〜Ｆｃにより初期高解像度画像Ｆｘ１を取得する。
【００９６】
又、高解像度更新量算出部４４３では、連続した３フレームの低解像度実画像Ｆａ〜Ｆｃと、選択部４４２で選択された高解像度画像とによって、更新量∂Ｉ／∂Ｘで構成される差分画像が求められる。これにより、減算部４４４より、選択部４４２で選択された高解像度画像から、高解像度更新量算出部４４３で取得された差分画像による更新量∂Ｉ／∂Ｘが減算されることで、高解像度画像が生成される。このようにして超解像処理部４４で得られた高解像度画像が、減算部４４４より信号処理部４６に出力されることで、輝度信号及び色差信号が生成されると、圧縮処理部６で圧縮符号化処理がなされて、動画用又は静止画像用の圧縮符号化信号が生成される。
【００９７】
＜第２の実施形態＞
本発明の第２の実施形態について、図面を参照して説明する。図１０は、本実施形態の撮像装置における画像処理部の構成を示すブロック図である。図１０に示す画像処理部の構成において、図９の構成と同一の部分については、同一の符号を付してその詳細な説明は省略する。
【００９８】
本実施形態の撮像装置における画像処理部４は、図１０に示すように、図９の構成におけるフレームメモリ４７が省かれた構成とされるとともに、フレームメモリ４２に記録された１フレームの低解像度実画像と超解像処理部４４で生成された高解像度画像とのいずれかを選択してフレームメモリ４５に与える選択部４９を備える。
【００９９】
このように構成される画像処理部４を備える撮像装置において、選択部４９では、撮影動作が動画撮影時及び静止画撮影時のいずれかによって、選択してフレームメモリ４５に出力する画像が設定される。即ち、動画撮影が指示されると、選択部４９では、フレームメモリ４２からの低解像度実画像が選択される。一方、静止画撮影が指示されると、選択部４９では、超解像処理部４４で生成された高解像度画像が選択される。
【０１００】
よって、動画撮影時においては、フレームメモリ４５が、現フレームの２フレーム前の低解像度実画像を記憶するためのフレームメモリ（図９におけるフレームメモリ４７に相当）として利用され、超解像処理部４４において、図９の構成の画像処理部４と同様、連続する３フレームの低解像度実画像によって高解像度画像が生成される。このとき、フレームメモリ４５は、超解像処理部４４で生成された高解像度画像を再び超解像処理部４４に帰還させるためには使用されない。よって、超解像処理部４４における演算処理は繰り返されることなく、一度だけ行われることとなる。
【０１０１】
このように動作するため、ＡＦＥ２より低解像度実画像Ｆａが入力されると、フレームメモリ４１，４２，４５それぞれに、連続する３フレームの低解像度実画像Ｆａ，Ｆｂ，Ｆｃが与えられて、一時的に記憶されることとなる。そして、動き量検出部４３では、低解像度実画像Ｆｂ，Ｆｃ間の動き量を動き量記憶部４８に与えて一時的に記憶させるとともに、低解像度実画像Ｆａ，Ｆｂ間の動き量を検出する。更に、この動き量検出部４３では、低解像度実画像Ｆａ，Ｆｂ間の動き量と低解像度実画像Ｆｂ，Ｆｃ間の動き量とを加算することで、低解像度実画像Ｆａ，Ｆｃ間の動き量を算出する。そして、フレームメモリ４１，４２，４５からの低解像度実画像Ｆａ〜Ｆｃと、動き量検出部４３及び動き量記憶部４８からの動き量とが、超解像処理部４４に与えられる。
【０１０２】
よって、超解像処理部４４では、初期高解像度推定部４４１（図９参照）において、連続する３フレームの低解像度実画像Ｆａ〜Ｆｃにより初期高解像度画像Ｆｘ１を取得し、又、高解像度更新量算出部４４３（図９参照）において、初期高解像度画像Ｆｘ１と低解像度実画像Ｆａ〜Ｆｃにより更新量∂Ｉ／∂Ｘで構成される差分画像ΔＦｘ１が求められる。このようにして得られた初期高解像度画像Ｆｘ１と差分画像ΔＦｘ１とが減算部４４４（図９参照）に与えられることで、信号処理部４６に出力する高解像度画像Ｆｘ２が取得される。
【０１０３】
一方、静止画撮影時においては、フレームメモリ４５が、超解像処理部４４で生成された高解像度画像を記憶するためのフレームメモリ（図４におけるフレームメモリ４５に相当）として利用され、超解像処理部４４において、図４の構成の画像処理部４と同様、連続する２フレームの低解像度実画像によって高解像度画像が生成される。よって、フレームメモリ４５によって、超解像処理部４４で生成された高解像度画像を、超解像処理部４４の入力側に帰還させて、超解像処理部４４における演算処理が繰り返し行われることとなる。
【０１０４】
このように動作するため、ＡＦＥ２より低解像度実画像Ｆａが入力されると、フレームメモリ４１，４２それぞれに、連続する２フレームの低解像度実画像Ｆａ，Ｆｂが与えられて、一時的に記憶されることとなる。そして、動き量検出部４３では、低解像度実画像低解像度実画像Ｆａ，Ｆｂ間の動き量が検出される。そして、フレームメモリ４１，４２それぞれからの低解像度実画像Ｆａ，Ｆｂと、動き量検出部４３からの動き量とが、超解像処理部４４に与えられる。
【０１０５】
よって、超解像処理部４４では、まず、初期高解像度推定部４４１（図４参照）において、連続する２フレームの低解像度実画像Ｆａ，Ｆｂにより初期高解像度画像Ｆｘ１を取得し、又、高解像度更新量算出部４４３（図４参照）において、初期高解像度画像Ｆｘ１と低解像度実画像Ｆａ，Ｆｂにより更新量∂Ｉ／∂Ｘで構成される差分画像ΔＦｘ１が求められる。このようにして得られた初期高解像度画像Ｆｘ１と差分画像ΔＦｘ１とが減算部４４４（図４参照）に与えられることで、高解像度画像Ｆｘ２が取得されて、フレームメモリ４５に一時記憶される。
【０１０６】
その後、超解像処理部４４における演算処理回数が設定された反復回数に達するまで、又は、高解像度更新量算出部４４３（図４参照）で算出された更新量∂Ｉ／∂Ｘが所定値以下となるまで、高解像度画像Ｆｘｎ及び低解像度実画像Ｆａ，Ｆｂによる高解像度画像Ｆｘ（ｎ＋１）の生成動作が行われる。そして、ｎ回となる演算処理回数が、予め設定した反復回数となった場合、又は、高解像度更新量算出部４４３（図４参照）で算出された更新量∂Ｉ／∂Ｘが所定値以下となった場合、取得した高解像度画像Ｆｘ（ｎ＋１）を信号処理部４６に出力する。
【０１０７】
このように、本実施形態においては、フレームメモリ４５を、動画撮影時における低解像度実画像記憶用のフレームメモリとして利用するとともに、又、静止画撮影時における高解像度画像記憶用のフレームメモリとして利用することができる。よって、動画撮影時においては、超解像処理に使用する低解像度実画像のフレーム数を多くすることで、再現性の高い高解像度画像を生成することができる。一方、静止画撮影時においては、超解像処理における演算の繰り返すことにより、少ないフレーム数の低解像度実画像により再現性の高い高解像度画像を生成することができる。
【０１０８】
尚、本実施形態においては、動画撮影時に連続する３フレームの低解像度実画像によって高解像度画像が生成されるものとしたが、４フレーム以上の低解像度実画像によって生成されるものとしても構わない。このとき、フレームメモリの数を、動画撮影時の超解像処理に利用する低解像度実画像のフレーム数と同数とするとともに、動画撮影時の超解像処理に利用する低解像度実画像のフレーム数より１フレーム少ない低解像度実画像によって、静止画撮影時の超解像処理が実現される。
【０１０９】
＜第３の実施形態＞
本発明の第３の実施形態について、図面を参照して説明する。尚、本実施形態の撮像装置における画像処理装置の構成は、第１の実施形態と同様、図４のブロック図に示す構成とする。又、本実施形態では、第１の実施形態と同様の構成とするが、第２の実施形態の構成と同様としても構わない。
【０１１０】
本実施形態の撮像装置における画像処理部４は、第１の実施形態と異なり、図３の動作フローにおいて、ＳＴＥＰ３３で差分画像ΔＦｘｎを求める際、エッジ成分を多く含むエッジ領域と、エッジ成分の少ない平坦領域とが判断され、そのエッジ成分に応じた係数が領域毎に差分画像ΔＦｘｎに乗算される。即ち、エッジ領域では、求められた差分画像ΔＦｘｎが反映されるようにＳＴＥＰ３４での演算が成されるとともに、平坦領域では、求められた差分画像ΔＦｘｎの影響が小さくなるようにＳＴＥＰ３４での演算が成される。
【０１１１】
よって、以下では、このようにエッジ領域及び平坦領域の検出が成され、この検出した各領域の状況を考慮した超解像処理動作部分、即ち、差分画像ΔＦｘｎの算出動作について、詳細に説明するものとし、第１の実施形態で同一となる動作部分に説明については省略する。
【０１１２】
第１の実施形態における画像処理部４と同様、超解像処理部４４では、初期高解像度推定部４４１において、低解像度実画像Ｆａ，Ｆｂが与えられることで、初期高解像度画像Ｆｘ１が取得される。又、高解像度更新量算出部４４３では、選択部４４２で選択された高解像度実画像Ｆｘｎ（ｎ≧１とし、初期高解像度画像Ｆｘ１も含む）と、低解像度実画像Ｆａ，Ｆｂとによって、評価関数Ｉに対する勾配∂Ｉ／∂Ｘ（＝２×｛ＷａT・（Ｗａ・Ｘ−Ｙａ）＋ＷｂT・（Ｗｂ・Ｘ−Ｙｂ）＋γＣT・Ｃ・Ｘ｝）が求められる。
【０１１３】
更に、このようにして、勾配∂I／∂Ｘが求められるとき、本実施形態では、更に、低解像度実画像Ｆａ，Ｆｂ及び低解像度推定画像Ｆａｎ，Ｆｂｎそれぞれにおける画像成分を確認することで、低解像度実画像Ｆａ，Ｆｂそれぞれに対して、ノイズが多く含まれると推定される領域やエッジ部分の相関性が低い領域が確認される。例えば、低解像度実画像Ｆａ及び低解像度推定画像Ｆａｎそれぞれの画像成分の相関を確認することで、低解像度実画像Ｆａにおける各領域での、ノイズが確認されやすい平坦部分と、誤ってノイズと検出されるエッジを含むエッジ部分との比率を検出する。同様に、低解像度実画像Ｆｂ及び低解像度推定画像Ｆｂｎそれぞれの画像成分の相関を確認することで、低解像度実画像Ｆｂにおける平坦部分とエッジ部分とを検出する。
【０１１４】
そして、低解像度実画像及び低解像度推定画像それぞれについて各領域で推定されるエッジ部分と平坦部分との成分比率に対する相関性（例えば、低解像度実画像及び低解像度推定画像それぞれの画像成分の相関）に応じて、勾配∂Ｉ／∂Ｘにおける、低解像度実画像と低解像度推定画像との間の二乗誤差による差分に与える重み係数ｋを設定する。このとき、エッジ部分と平坦部分との成分比率に対する相関性が低いものと推定される領域（低解像度実画像及び低解像度推定画像それぞれの画像成分の相関がない領域）については、重み係数ｋが０に近い値に設定される。逆に、エッジ部分と平坦部分との成分比率に対する相関性が高いものと推定される領域（低解像度実画像及び低解像度推定画像それぞれの画像成分の相関が大きい領域）については、重み係数ｋが１に近い値に設定される。
【０１１５】
即ち、エッジ部分と平坦部分との成分比率に対する相関性が低いものと推定される領域については、勾配∂Ｉ／∂Ｘにおける、低解像度実画像と低解像度推定画像との間の二乗誤差による差分の影響が小さくなるように、重み係数ｋが設定される。この重み係数ｋは、低解像度実画像Ｆａ，Ｆｂそれぞれの各画素に対して設定される。又、重み係数ｋは、０≦ｋ≦１となる値であり、重み係数ｋが１に近い値となる場合、高解像度画像の更新時において、エッジ成分を含む差分（勾配∂Ｉ／∂Ｘ）の影響を大きく与える。更に、重み係数が０に近い値となる場合、高解像度画像の更新時において、ノイズが低減された初期高解像度画像の値をそのまま利用する。
【０１１６】
よって、低解像度実画像Ｆａの画素値Ｙａ及び低解像度推定画像Ｆａｎの画素値Ｗａ・Ｘそれぞれの画像成分の関係から、低解像度実画像Ｆａに対する係数が、Ｋａ＝［ｋａ１，ｋａ２，…，ｋａｕ］として求められる。同様に、低解像度実画像Ｆｂの画素値Ｙｂ及び低解像度推定画像Ｆｂｎの画素値Ｗｂ・Ｘそれぞれの画像成分の関係から、低解像度実画像Ｆｂに対する係数が、Ｋｂ＝［ｋｂ１，ｋｂ２，…，ｋｂｕ］として求められる。
【０１１７】
このようにして、低解像度実画像Ｆａ，Ｆｂに対して係数Ｋａ，Ｋｂを設定すると、高解像度更新量算出部４４３では、設定した係数を勾配∂Ｉ／∂Ｘにおける（Ｗａ・Ｘ−Ｙａ）、（Ｗｂ・Ｘ−Ｙｂ）に乗算することで、ノイズを考慮した勾配∂Ｊ／∂Ｘ（＝２×｛ＷａT・Ｋａ・（Ｗａ・Ｘ−Ｙａ）＋ＷｂT・Ｋｂ・（Ｗｂ・Ｘ−Ｙｂ）＋γＣT・Ｃ・Ｘ｝）を高解像度画像の更新量として算出する。この更新量となる勾配∂Ｊ／∂Ｘを求めることで、高解像度更新量算出部４４３において、図３（ｃ）によって示すＳＴＥＰ３３における差分画像ΔＦｘｎが求められることとなる。
【０１１８】
このようにして算出した勾配∂Ｊ／∂Ｘによる更新量が、高解像度更新量算出部４４３より減算部４４４に与えられると、減算部４４４では、図３（ｄ）におけるＳＴＥＰ３４のように、選択部４４２より与えられる高解像度画像Ｆｘｎより、勾配∂Ｊ／∂Ｘによる更新量を減算する。この減算部４４４の減算結果により、ｖ画素の画素値それぞれが（Ｘ−∂Ｊ／∂Ｘ）となる高解像度画像Ｆｘ（ｎ＋１）が得られる。そして、この新たに得られた高解像度画像Ｆｘ（ｎ＋１）が減算部４４４より出力されて、フレームメモリ４５又は信号処理部４６に与えられる。
【０１１９】
このように超解像処理部４４において、低解像度実画像における各領域で推定されるノイズの含有量に応じた演算処理がなされることで、超解像処理により得られた高解像画像におけるノイズを低減することができる。そして、動画撮影時における超解像処理部４４での演算処理の反復回数を、静止画撮影時に比べて少ないものに設定し、１フレームの撮影処理時間内で処理可能とする。このとき、例えば、第１及び第２の実施形態で説明したように、繰り返すことなく、初期高解像度画像Ｆｘ１より設定された高解像画像Ｆｘ２が信号処理部４６に出力されるものとしても構わない。又、静止画撮影時においては、超解像処理でのｎ回となる演算処理回数が予め設定した反復回数となった場合、又は、高解像度更新量算出部４４３で算出された更新量∂Ｊ／∂Ｘが所定値以下となった場合、取得した高解像度画像Ｆｘ（ｎ＋１）を信号処理部４６に出力する。
【０１２０】
又、上述の構成では、動画撮影時に連続する２フレームの低解像度実画像によって高解像度画像が生成されるものとしたが、３フレーム以上の低解像度実画像によって生成されるものとしても構わない。更に、第２の実施形態の構成と同様の構成として、超解像処理部４４で生成される高解像度画像を一時的に記憶するフレームメモリ４５が、動画撮影時に、ＡＦＥ２から与えられて超解像処理部４４での高解像度画像の生成に使用される低解像度実画像を記憶されるフレームメモリとして使用されるものとしても構わない。
【０１２１】
更に、超解像処理部４４の高解像度更新量算出部４４３で成される、低解像度実画像における各領域のノイズとエッジの成分比率の相関性を推定するための演算処理の詳細例について、以下で説明する。
【０１２２】
（ノイズ含有量推定に対する演算処理の第１例）
高解像度更新量算出部４４３での、低解像度実画像における各領域のノイズの含有量を推定するための演算処理の詳細の第１例について説明する。本例では、高解像度更新量算出部４４３内において、選択部４４２で選択された高解像度画像Ｆｘｎの高周波成分を通過させる不図示のハイパスフィルタ（ＨＰＦ）と、フレームメモリ４１，４２それぞれからの低解像度実画像Ｆａ，Ｆｂの高周波成分を通過させるＨＰＦ（不図示）とが備えられる。
【０１２３】
このような高解像度更新量算出部４４３では、更に、高解像度画像Ｆｘｎの高周波成分より、低解像度推定画像Ｆａｎ，Ｆｂｎそれぞれの高周波成分を取得する。そして、この低解像度推定画像Ｆａｎ，Ｆｂｎそれぞれの高周波成分と、低解像度実画像Ｆａ，Ｆｂそれぞれの高周波成分との相関関係に基づいて、低解像度実画像と低解像度推定画像との間の二乗誤差による差分に与える係数Ｋａ，Ｋｂが設定される。
【０１２４】
即ち、高解像度更新量算出部４４３に設置される不図示のＨＰＦによって、ｖ画素の高解像度画像Ｆｘｎの高周波成分ＨＸ（＝［ｈｘ１，ｈｘ２，…，ｈｘｖ］）が抽出され、ｕ画素の低解像度実画像Ｆａの高周波成分ＨＹａ（＝［ｈｙａ１，ｈｙａ２，…，ｈｙａｕ］）が抽出され、ｕ画素の低解像度実画像Ｆｂの高周波成分ＨＹｂ（＝［ｈｙｂ１，ｈｙｂ２，…，ｈｙｂｕ］）が抽出される。そして、高解像度画像Ｆｘｎの高周波成分ＨＸに対しては、カメラパラメータ行列Ｗａ，Ｗｂが乗算される。これにより、ｕ画素の低解像度推定画像Ｆａｘの高周波成分Ｗａ・ＨＸ（＝［ｗｈｘａ１，ｗｈｘａ２，…，ｗｈｘａｕ］）と、ｕ画素の低解像度推定画像Ｆｂｘの高周波成分Ｗｂ・ＨＸ（＝［ｗｈｘｂ１，ｗｈｘｂ２，…，ｗｈｘｂｕ］）とが、算出される。
【０１２５】
その後、低解像度実画像Ｆａ及び低解像度推定画像Ｆａｘそれぞれの高周波成分ＨＹａ，Ｗａ・Ｈｘについて、同一画素位置における高周波成分の比率行列Ｒａ（＝［ｒａ１，ｒａ２，…，ｒａｕ］）が求められる。同様に、低解像度実画像Ｆｂ及び低解像度推定画像Ｆｂｘそれぞれの高周波成分ＨＹｂ，Ｗｂ・Ｈｘについて、同一画素位置における高周波成分の比率行列Ｒｂ（＝［ｒｂ１，ｒｂ２，…，ｒｂｕ］）が求められる。このとき、比率行列Ｒａにおける要素となる値ｒａｉが以下の（１）式で算出され、又、比率行列Ｒｂにおける要素となる値ｒｂｉが以下の（２）式で算出される。尚、（１）式及び（２）式におけるｉは、１≦ｉ≦ｕの整数である。
【０１２６】
【数１】
2008306608.tif 000003
【０１２７】
そして、このように算出した比率Ｒａを、低解像度実画像Ｆａと低解像度推定画像Ｆａｎとの相関値として扱う。即ち、比率Ｒａにおける値ｒａｉが所定値ｔｈ１に近い値となるｉ番目の画素については、低解像度実画像Ｆａと低解像度推定画像Ｆａｎとの相関が強いものとし、エッジ部分の構成を多く含む領域の画素であることを確認する。よって、このｉ番目の画素に対する重み係数ｋａｉを１に近い値に決定する。逆に、比率Ｒａにおける値ｒａｉが所定値ｔｈ１から離れた値となるｉ番目の画素については、低解像度実画像Ｆａと低解像度推定画像Ｆａｎとの相関が弱いものとし、ノイズが確認されやすい平坦部分の構成を多く含む領域又はエッジ部分はあるが低解像度実画像と低解像度推定画像との間の相関がとれない領域の画素であることを確認する。よって、このｉ番目の画素に対する重み係数ｋａｉを０に近い値に決定する。このように、比率Ｒａにおける値ｒａｉと所定値ｔｈ１との差の大きさが大きいものほど、重み係数ｋａｉの値が０に近づき、比率Ｒａにおける値ｒａｉと所定値ｔｈ１との差の大きさが小さいものほど、重み係数ｋａｉの値が１に近づくように、ｕ画素の低解像度実画像Ｆａに対する係数行列Ｋａ（＝［ｋａ１，ｋａ２，…，ｋａｕ］）が設定される。
【０１２８】
同様に、上述のように算出した比率Ｒｂを、低解像度実画像Ｆｂと低解像度推定画像Ｆｂｎとの相関値として扱い、比率Ｒｂにおける値ｒｂｉと所定値ｔｈ１との比較を行って、このｉ番目の画素に対する重み係数ｋｂｉの値を決定する。よって、比率Ｒｂにおける値ｒｂｉと所定値ｔｈ１との差の大きさが大きいものほど、重み係数ｋｂｉの値が０に近づき、比率Ｒｂにおける値ｒｂｉと所定値ｔｈ１との差の大きさが小さいものほど、重み係数ｋｂｉの値が１に近づくように、ｕ画素の低解像度実画像Ｆｂに対する係数行列Ｋｂ（＝［ｋｂ１，ｋｂ２，…，ｋｂｕ］）が設定される。
【０１２９】
尚、比率Ｒａ，Ｒｂにおける値ｒａｉ，ｒｂｉと、係数行列Ｋａ，Ｋｂにおける重み係数ｋａｉ，ｋｂｉとの間の関係については、図１１のように表される。尚、以下では、説明を簡単にするために、図１１に示すように、値ｒａｉ，ｒｂｉを共通のｒとし、重み係数ｋａｉ，ｋｂｉを共通のｋとする。即ち、上述の所定値ｔｈ１を１≦ｔｈ１としたとき、高周波成分の比率ｒと重み係数ｋの関係が以下のようになる。又、低解像度実画像と低解像度推定画像に同量のエッジ成分が含まれていた場合、低解像度推定画像はボケを有する画像となるため、分子部分に低解像度実画像の画像成分を備える比率Ｒａ，Ｒｂの値ｒａｉ，ｒｂｉが１以上となるため、所定値ｔｈ１を１≦ｔｈ１に設定する。
【０１３０】
（１）０≦｜ｒ−ｔｈ１｜≦ｔ０（０≦ｔ０≦１−ｔｈ１）の場合
重み係数ｋの値が、ｋ＝１とされる。
（２）ｔ０＜｜ｒ−ｔｈ１｜≦ｔ１（ｔ０＜ｔ１）の場合
重み係数ｋの値が、ｋ＝ｔ０＋１−｜ｒ−ｔｈ１｜とされる。
（３）ｔ１＜｜ｒ−ｔｈ１｜の場合
重み係数ｋの値が、ｋ＝０とされる。
【０１３１】
このようにして、ｕ画素分の係数行列Ｋａ，Ｋｂが算出されることで、ノイズを考慮した勾配∂Ｊ／∂Ｘ（＝２×｛ＷａT・Ｋａ・（Ｗａ・Ｘ−Ｙａ）＋ＷｂT・Ｋｂ・（Ｗｂ・Ｘ−Ｙｂ）＋γＣT・Ｃ・Ｘ｝）を高解像度画像の更新量として算出することができる。よって、低解像度実画像Ｆａ，Ｆｂそれぞれにおいてノイズ含有率の大きい平坦部を多く含む領域における二乗誤差による微分値が、求められる更新量（勾配∂Ｊ／∂Ｘ）に与える影響を小さくすることができる。
【０１３２】
このように、本例においては、ＨＰＦを利用して、低解像度実画像及び低解像度推定画像それぞれの高周波成分を抽出し、この高周波成分の比率によって、低解像度実画像内のエッジ部分と平坦部分との比率の検出を行うことができる。そして、それぞれの画像における高周波成分の頻度が同等となる部分をエッジ部分とすることで、ノイズと判定される成分を含むか又はエッジ部分の相関性が低いと推定される領域の画素に対する更新量を抑制し、超解像処理により得られる高解像度画像のノイズを抑制することができる。
【０１３３】
（ノイズ含有量推定に対する演算処理の第２例）
高解像度更新量算出部４４３での、低解像度実画像における各領域のノイズの含有量を推定するための演算処理の詳細の第２例について説明する。本例では、高解像度更新量算出部４４３内において、第１例と異なり、係数行列Ｋａ，Ｋｂを算出するために、低解像度実画像と低解像度推定画像の相関関係を確認する際に利用する画像成分として、標準偏差を用いる。よって、以下では、標準偏差による低解像度実画像と低解像度推定画像の相関関係に基づく、係数行列Ｋａ，Ｋｂの算出動作について、詳細に説明する。
【０１３４】
本例では、高解像度更新量算出部４４３において、高解像実画像Ｆｘｎ及び低解像度実画像Ｆａ，Ｆｂそれぞれの標準偏差が算出される。即ち、標準偏差を求めるための注目画素と、この注目画素の周囲に近接する複数の周辺画素とによる複数の画素の画素値を用いることによって、画像内の各画素の標準偏差を求める。よって、例えば、３×３の行列配置された９画素が用いられる場合、図１２に示すように、注目画素Ｇ00に対する標準偏差σを求めるとき、注目画素Ｇ00を中央に配置した３×３の行列配置された画素Ｇ(-1)(-1)〜Ｇ11の画素値ｚ(-1)(-1)〜ｚ11に対して以下の（３）式による演算処理が施される。尚、（３）式において、画素Ｇｉｊの画素値がｚｉｊであり、画素Ｇ(-1)(-1)〜Ｇ11の画素値の平均がｚである。
【０１３５】
【数２】
2008306608.tif 000004
【０１３６】
よって、ｖ画素の高解像度画像Ｆｘｎの各画素の画素値Ｘ（＝［ｘ１，ｘ２，…，ｘｖ］）に対して上述の演算処理が成されることで、ｖ画素の各画素に対する標準偏差ＳＸ（＝［ｓｘ１，ｓｘ２，…，ｓｘｖ］）が算出される。そして、この標準偏差ＳＸに対してカメラパラメータ行列Ｗａ，Ｗｂが乗算されることで、低解像度推定画像Ｆａｎの標準偏差Ｗａ・ＳＸ（＝［ｗｓｘａ１，ｗｓｘａ２，…，ｗｓｘａｕ］）、及び、低解像度推定画像Ｆｂｎの標準偏差Ｗｂ・ＳＸ（＝［ｗｓｘｂ１，ｗｓｘｂ２，…，ｗｓｘｂｕ］）が得られる。
【０１３７】
又、ｕ画素の低解像度実画像Ｆａにおける各画素の画素値Ｙａ（＝［ｙａ１，ｙａ２，…，ｙａｕ］）に対して上述の演算処理が成されることで、ｕ画素の各画素に対する標準偏差ＳＹａ（＝［ｓｙａ１，ｓｙａ２，…，ｓｙａｕ］）が算出される。同様に、ｕ画素の低解像度実画像Ｆｂにおける各画素の画素値Ｙｂ（＝［ｙｂ１，ｙｂ２，…，ｙｂｕ］）に対して上述の演算処理が成されることで、ｕ画素の各画素に対する標準偏差ＳＹｂ（＝［ｓｙｂ１，ｓｙｂ２，…，ｓｙｂｕ］）が算出される。
【０１３８】
そして、第１例と同様、低解像度実画像Ｆａ及び低解像度推定画像Ｆａｘそれぞれの標準偏差ＳＹａ，Ｗａ・Ｓｘにより、同一画素位置における標準偏差の比率行列Ｅａ（＝［ｅａ１，ｅａ２，…，ｅａｕ］）が求められるとともに、低解像度実画像Ｆｂ及び低解像度推定画像Ｆｂｘそれぞれの標準偏差ＳＹｂ，Ｗｂ・Ｓｘにより、同一画素位置における標準偏差の比率行列Ｅｂ（＝［ｅｂ１，ｅｂ２，…，ｅｂｕ］）が求められる。このとき、比率行列Ｅａにおける要素となる値ｅａｉが以下の（４）式で算出され、又、比率行列Ｅｂにおける要素となる値ｅｂｉが以下の（５）式で算出される。尚、（４）式及び（５）式におけるｉは、１≦ｉ≦ｕの整数である。
【０１３９】
【数３】
2008306608.tif 000005
【０１４０】
そして、第１例の比率Ｒａと同様、比率Ｅａを低解像度実画像Ｆａと低解像度推定画像Ｆａｎとの相関値として扱う。即ち、比率Ｅａにおける値ｅａｉと所定値ｔｈ１との比較を行って、このｉ番目の画素に対する重み係数ｋａｉの値を決定する。よって、比率Ｅａにおける値ｅａｉと所定値ｔｈ１との差の大きさが大きいものほど、重み係数ｋａｉの値が０に近づき、比率Ｅｂにおける値ｅａｉと所定値ｔｈ１との差の大きさが小さいものほど、重み係数ｋａｉの値が１に近づくように、ｕ画素の低解像度実画像Ｆａに対する係数行列Ｋａ（＝［ｋａ１，ｋａ２，…，ｋａｕ］）が設定される。
【０１４１】
同様に、比率Ｅｂについても、低解像度実画像Ｆｂと低解像度推定画像Ｆｂｎとの相関値として扱い、比率Ｅｂにおける値ｅｂｉと所定値ｔｈ１との比較を行って、このｉ番目の画素に対する重み係数ｋｂｉの値を決定する。よって、比率Ｅｂにおける値ｅｂｉと所定値ｔｈ１との差の大きさが大きいものほど、重み係数ｋｂｉの値が０に近づき、比率Ｅｂにおける値ｅｂｉと所定値ｔｈ１との差の大きさが小さいものほど、重み係数ｋｂｉの値が１に近づくように、ｕ画素の低解像度実画像Ｆｂに対する係数行列Ｋｂ（＝［ｋｂ１，ｋｂ２，…，ｋｂｕ］）が設定される。
【０１４２】
尚、比率Ｅａ，Ｅｂにおける値ｅａｉ，ｅｂｉと、係数行列Ｋａ，Ｋｂにおける重み係数ｋａｉ，ｋｂｉとの間の関係については、図１３のように表される。尚、以下では、説明を簡単にするために、図１３に示すように、値ｅａｉ，ｅｂｉを共通のｅとし、重み係数ｋａｉ，ｋｂｉを共通のｋとする。即ち、上述の所定値ｔｈ１を１≦ｔｈ１（実施例１と同様の理由により、所定値ｔｈ１を１≦ｔｈ１に設定する。）としたとき、高周波成分の比率ｒと重み係数ｋの関係と同様、標準偏差の比率ｅと重み係数ｋの関係が以下のようになる。
【０１４３】
（１）０≦｜ｅ−ｔｈ１｜≦ｔ０（０≦ｔ０≦１−ｔｈ１）の場合
重み係数ｋの値が、ｋ＝１とされる。
（２）ｔ０＜｜ｅ−ｔｈ１｜≦ｔ１（ｔ０＜ｔ１）の場合
重み係数ｋの値が、ｋ＝ｔ０＋１−｜ｅ−ｔｈ１｜とされる。
（３）ｔ１＜｜ｅ−ｔｈ１｜の場合
重み係数ｋの値が、ｋ＝０とされる。
【０１４４】
このｕ画素分の係数行列Ｋａ，Ｋｂが算出されると、第１例と同様、演算処理を行うことで、減算部４４４に与える更新量∂Ｊ／∂Ｘが得られる。このように、本例では、低解像度実画像及び低解像度推定画像それぞれに対して算出した標準偏差の比率によって、低解像度実画像内のエッジ部分と平坦部分との比率の検出を行う。そして、それぞれの画像における標準偏差が同等となる部分をエッジ部分とすることで、ノイズと判定される成分を含むか又はエッジ部分の相関性が低いと推定される領域の画素に対する更新量を抑制し、超解像処理により得られる高解像度画像のノイズを抑制することができる。
【０１４５】
（ノイズ含有量推定に対する演算処理の第３例）
高解像度更新量算出部４４３での、低解像度実画像における各領域のノイズの含有量を推定するための演算処理の詳細の第３例について説明する。本例では、高解像度更新量算出部４４３内において、第１例及び第２例と異なり、係数行列Ｋａ，Ｋｂを算出するために、低解像度実画像と低解像度推定画像の相関関係を確認する際に利用する画像成分として、エッジ方向成分を用いる。よって、以下では、エッジ方向成分による低解像度実画像と低解像度推定画像の相関関係に基づく、係数行列Ｋａ，Ｋｂの算出動作について、詳細に説明する。
【０１４６】
本例では、高解像度更新量算出部４４３において、高解像実画像Ｆｘｎ及び低解像度実画像Ｆａ，Ｆｂそれぞれに対して、各エッジ方向成分に対応した複数種類のエッジ方向フィルタが設けられる。尚、以下では、水平方向のエッジ方向成分を算出する水平エッジ方向フィルタと、垂直方向のエッジ方向成分を算出する垂直エッジ方向とが、高解像実画像Ｆｘｎ及び低解像度実画像Ｆａ，Ｆｂそれぞれに対して設けられるものとする。
【０１４７】
まず、水平エッジ方向フィルタ及び垂直エッジ方向フィルタについて、以下に簡単に説明する。この水平エッジ方向フィルタ及び垂直エッジ方向フィルタでは、水平方向及び垂直方向となるエッジ方向成分を求めるための注目画素と、この注目画素の周囲に近接する複数の周辺画素とによる複数の画素の画素値を用いることによって、画像内の各画素の水平方向及び垂直方向となるエッジ方向成分を求める。尚、以下では、例えば、図１４（ａ）に示す３×３の行列配置された９画素Ｇ(-1)(-1)〜Ｇ11の画素値ｚ(-1)(-1)〜ｚ11が用いられることで、水平方向及び垂直方向となるエッジ方向成分が算出されるものとして説明する。このとき、注目画素Ｇ00に対するエッジ方向成分を求められる。
【０１４８】
まず、水平エッジ方向フィルタにおいては、図１４（ｂ）に示すフィルタによって、注目画素Ｇ00に対して垂直方向で上側に配置される画素Ｇ(-1)(-1)，Ｇ0(-1)，Ｇ1(-1)の画素値ｚ(-1)(-1)，ｚ0(-1)，ｚ1(-1)に対して、「−１」を乗算し、注目画素Ｇ00に対して垂直方向で下側に配置される画素Ｇ(-1)1，Ｇ01，Ｇ11の画素値ｚ(-1)1，ｚ01，ｚ11に対して、「１」を乗算し、注目画素Ｇ00に対して垂直方向で同一位置に配置される画素Ｇ(-1)0，Ｇ00，Ｇ10の画素値ｚ(-1)0，ｚ00，ｚ10に対して、「０」を乗算することで得られた値が、水平方向のエッジ成分ｈとされる。即ち、この水平方向のエッジ成分ｈは、（６）式によって算出される。
【０１４９】
【数４】
2008306608.tif 000006
【０１５０】
よって、このような水平エッジ方向フィルタによって、ｖ画素の高解像度画像Ｆｘｎにおける各画素の画素値Ｘ（＝［ｘ１，ｘ２，…，ｘｖ］）に対して上述の演算処理が成されることで、ｖ画素の各画素に対する水平方向のエッジ方向成分ＯｈＸ（＝［ｏｈｘ１，ｏｈｘ２，…，ｏｈｘｖ］）が算出される。そして、このエッジ方向成分ＯｈＸに対してカメラパラメータ行列Ｗａ，Ｗｂが乗算されることで、低解像度推定画像Ｆａｎの水平方向のエッジ方向成分Ｗａ・ＯｈＸ（＝［ｗｏｈｘａ１，ｗｏｈｘａ２，…，ｗｏｈｘａｕ］）、及び、低解像度推定画像Ｆｂｎの水平方向のエッジ方向成分Ｗｂ・ＯｈＸ（＝［ｗｏｈｘｂ１，ｗｏｈｘｂ２，…，ｗｏｈｘｂｕ］）が得られる。
【０１５１】
そして、ｕ画素の低解像度実画像Ｆａにおける各画素の画素値Ｙａ（＝［ｙａ１，ｙａ２，…，ｙａｕ］）に対して、水平エッジ方向フィルタによる同様の演算処理が成されることで、ｕ画素の各画素に対する水平方向のエッジ方向成分ＯｈＹａ（＝［ｏｈｙａ１，ｏｈｙａ２，…，ｏｈｙａｕ］）が算出される。同様に、ｕ画素の低解像度実画像Ｆｂにおける各画素の画素値Ｙｂ（＝［ｙｂ１，ｙｂ２，…，ｙｂｕ］）に対して、水平エッジ方向フィルタによる同様の演算処理が成されることで、ｕ画素の各画素に対する水平方向のエッジ方向成分ＯｈＹｂ（＝［ｏｈｙｂ１，ｏｈｙｂ２，…，ｏｈｙｂｕ］）が算出される。
【０１５２】
又、垂直エッジ方向フィルタにおいては、図１４（ｃ）に示すフィルタによって、注目画素Ｇ00に対して水平方向で左側に配置される画素Ｇ(-1)(-1)，Ｇ(-1)0，Ｇ(-1)1の画素値ｚ(-1)(-1)，ｚ(-1)0，ｚ(-1)1に対して、「−１」を乗算し、注目画素Ｇ00に対して水平方向で右側に配置される画素Ｇ1(-1)，Ｇ10，Ｇ11の画素値ｚ1(-1)，ｚ10，ｚ11に対して、「１」を乗算し、注目画素Ｇ00に対して水平方向で同一位置に配置される画素Ｇ0(-1)，Ｇ00，Ｇ01の画素値ｚ0(-1)，ｚ00，ｚ01に対して、「０」を乗算することで得られた値が、垂直方向のエッジ成分ｐとされる。即ち、この垂直方向のエッジ成分ｐは、（７）式によって算出される。
【０１５３】
【数５】
2008306608.tif 000007
【０１５４】
よって、このような垂直エッジ方向フィルタによって、ｖ画素の高解像度画像Ｆｘｎにおける各画素の画素値Ｘに対して上述の演算処理が成されることで、ｖ画素の各画素に対する垂直方向のエッジ方向成分ＯｐＸ（＝［ｏｐｘ１，ｏｐｘ２，…，ｏｐｘｖ］）が算出される。そして、このエッジ方向成分ＯｐＸに対してカメラパラメータ行列Ｗａ，Ｗｂが乗算されることで、低解像度推定画像Ｆａｎの垂直方向のエッジ方向成分Ｗａ・ＯｐＸ（＝［ｗｏｐｘａ１，ｗｏｐｘａ２，…，ｗｏｐｘａｕ］）、及び、低解像度推定画像Ｆｂｎの垂直方向のエッジ方向成分Ｗｂ・ＯｐＸ（＝［ｗｏｐｘｂ１，ｗｏｐｘｂ２，…，ｗｏｐｘｂｕ］）が得られる。
【０１５５】
そして、ｕ画素の低解像度実画像Ｆａにおける各画素の画素値Ｙａ（＝［ｙａ１，ｙａ２，…，ｙａｕ］）に対して、垂直エッジ方向フィルタによる同様の演算処理が成されることで、ｕ画素の各画素に対する垂直方向のエッジ方向成分ＯｐＹａ（＝［ｏｐｙａ１，ｏｐｙａ２，…，ｏｐｙａｕ］）が算出される。同様に、ｕ画素の低解像度実画像Ｆｂにおける各画素の画素値Ｙｂ（＝［ｙｂ１，ｙｂ２，…，ｙｂｕ］）に対して、垂直エッジ方向フィルタによる同様の演算処理が成されることで、ｕ画素の各画素に対する垂直方向のエッジ方向成分ＯｐＹｂ（＝［ｏｐｙｂ１，ｏｐｙｂ２，…，ｏｐｙｂｕ］）が算出される。
【０１５６】
このようにして水平方向及び垂直方向のエッジ方向成分が算出されると、低解像度実画像Ｆａ及び低解像度推定画像Ｆａｘそれぞれの同一画素位置における水平方向及び垂直方向それぞれのエッジ成分Ｗａ・ＯｈＸ，Ｗａ・ＯｐＸ，ＯｈＹａ，ＯｐＹａによって、エッジ成分の比率行列Ｄａ（＝［ｄａ１，ｄａ２，…，ｄａｕ］）が求められる。同様に、低解像度実画像Ｆｂ及び低解像度推定画像Ｆｂｘそれぞれの同一画素位置における水平方向及び垂直方向それぞれのエッジ成分Ｗｂ・ＯｈＸ，Ｗｂ・ＯｐＸ，ＯｈＹｂ，ＯｐＹｂによって、エッジ成分の比率行列Ｄｂ（＝［ｄｂ１，ｄｂ２，…，ｄｂｕ］）が求められる。このとき、比率行列Ｄａにおける要素となる値ｄａｉが以下の（８）式で算出され、又、比率行列Ｄｂにおける要素となる値ｄｂｉが以下の（９）式で算出される。尚、（８）式及び（９）式におけるｉは、１≦ｉ≦ｕの整数である。
【０１５７】
【数６】
2008306608.tif 000008
【０１５８】
そして、第１例の比率Ｒａと同様、比率Ｄａを低解像度実画像Ｆａと低解像度推定画像Ｆａｎとの相関値として扱う。即ち、比率Ｄａにおける値ｄａｉと所定値ｔｈ１との比較を行って、このｉ番目の画素に対する重み係数ｋａｉの値を決定する。よって、比率Ｄａにおける値ｄａｉと所定値ｔｈ１との差の大きさが大きいものほど、重み係数ｋａｉの値が０に近づき、比率Ｄｂにおける値ｄａｉと所定値ｔｈ１との差の大きさが小さいものほど、重み係数ｋａｉの値が１に近づくように、ｕ画素の低解像度実画像Ｆａに対する係数行列Ｋａ（＝［ｋａ１，ｋａ２，…，ｋａｕ］）が設定される。
【０１５９】
同様に、比率Ｄｂについても、低解像度実画像Ｆｂと低解像度推定画像Ｆｂｎとの相関値として扱い、比率Ｄｂにおける値ｄｂｉと所定値ｔｈ１との比較を行って、このｉ番目の画素に対する重み係数ｋｂｉの値を決定する。よって、比率Ｄｂにおける値ｄｂｉと所定値ｔｈ１との差の大きさが大きいものほど、重み係数ｋｂｉの値が０に近づき、比率Ｄｂにおける値ｄｂｉと所定値ｔｈ１との差の大きさが小さいものほど、重み係数ｋｂｉの値が１に近づくように、ｕ画素の低解像度実画像Ｆｂに対する係数行列Ｋｂ（＝［ｋｂ１，ｋｂ２，…，ｋｂｕ］）が設定される。
【０１６０】
尚、比率Ｄａ，Ｄｂにおける値ｄａｉ，ｄｂｉと、係数行列Ｋａ，Ｋｂにおける重み係数ｋａｉ，ｋｂｉとの間の関係については、図１５のように表される。尚、以下では、説明を簡単にするために、図１５に示すように、値ｄａｉ，ｄｂｉを共通のｄとし、重み係数ｋａｉ，ｋｂｉを共通のｋとする。即ち、上述の所定値ｔｈ１を１≦ｔｈ１（実施例１と同様の理由により、所定値ｔｈ１を１≦ｔｈ１に設定する。）としたとき、高周波成分の比率ｒと重み係数ｋの関係と同様、エッジ方向成分の比率ｄと重み係数ｋの関係が以下のようになる。
【０１６１】
（１）０≦｜ｄ−ｔｈ１｜≦ｔ０（０≦ｔ０≦１−ｔｈ１）の場合
重み係数ｋの値が、ｋ＝１とされる。
（２）ｔ０＜｜ｄ−ｔｈ１｜≦ｔ１（ｔ０＜ｔ１）の場合
重み係数ｋの値が、ｋ＝ｔ０＋１−｜ｄ−ｔｈ１｜とされる。
（３）ｔ１＜｜ｄ−ｔｈ１｜の場合
重み係数ｋの値が、ｋ＝０とされる。
【０１６２】
このｕ画素分の係数行列Ｋａ，Ｋｂが算出されると、第１例と同様、演算処理を行うことで、減算部４４４に与える更新量∂Ｊ／∂Ｘが得られる。このように、本例では、低解像度実画像及び低解像度推定画像それぞれに対して算出したエッジ方向成分の比率によって、低解像度実画像内のエッジ部分と平坦部分との比率の検出を行う。そして、それぞれの画像におけるエッジ方向成分の値が同等となる部分をエッジ部分とすることで、ノイズと判定される成分を含むか又はエッジ部分の相関性が低いと推定される領域の画素に対する更新量を抑制し、超解像処理により得られる高解像度画像のノイズを抑制することができる。
【０１６３】
尚、本例において、検出するエッジ方向成分を水平方向及び垂直方向を例に挙げて説明したが、水平方向及び垂直方向に限らず、別の方向のエッジ方向成分も検出するものとしても構わない。更に、水平方向及び垂直方向を含む異なる方向のエッジ方向成分を複数検出することで、エッジ部分と平坦部分との比率との検出をより正確に行うことができる。
【０１６４】
又、上述の各実施形態において、超解像処理部４４において超解像処理が成される各フレーム間の位置ズレ補正について、超解像処理部４４内で高解像度画像生成を行う際に、動き量検出部４３や動き量記憶部４８からの動き量に基づいて成されるものとして説明した。しかしながら、各フレーム間の位置ズレ補正を行うための各フレーム毎の位置ズレ補正部が、超解像処理部４４外部に設置される構成としても構わない。
【０１６５】
即ち、図４の構成のように、フレームメモリ４１，４２を備え、連続する２フレームの低解像度画像Ｆａ，Ｆｂが超解像処理部４４に与えられて、高解像度画像Ｆｘを取得する場合、図１６に示す構成のように、図４の構成に位置ズレ補正部５０を追加した構成となる。この位置ズレ補正部５０は、動き量検出部４３の動き量検出動作により、連続する２フレームの低解像度画像Ｆａ，Ｆｂ間における動き量が検出されると、検出された動き量が与えられる。
【０１６６】
そして、位置ズレ補正部５０は、フレームメモリ４１に記憶された現フレームの低解像度実画像Ｆａが与えられることにより、この低解像度実画像Ｆａに対して、動き量検出部４３で算出された動き量に基づいて位置ズレ補正を施す。これにより、フレームメモリ４２に記憶された１フレーム前の低解像度実画像Ｆｂを基準として、低解像度実画像Ｆａの画素位置が補正される。即ち、低解像度実画像Ｆａの画素位置が、基準となる低解像度実画像Ｆｂの画素位置に基づく位置に変更される。このように位置ズレ補正部５０で位置ズレ補正が成された低解像度実画像Ｆａが、フレームメモリ４２からの低解像度実画像Ｆｂとともに超解像処理部４４に与えられて、高解像度画像Ｆｘが生成される。
【０１６７】
又、図９の構成のように、フレームメモリ４１，４２，４７を備え、連続する３フレームの低解像度画像Ｆａ〜Ｆｃが超解像処理部４４に与えられて、高解像度画像Ｆｘを取得する場合、図１７に示す構成のように、図９の構成に位置ズレ補正部５０，５１を追加した構成となる。このとき、動き量検出部４３で検出された低解像度実画像Ｆａ，Ｆｃ間の動き量が位置ズレ補正部５０に与えられるとともに、動き量記憶部４８に記憶されている低解像度実画像Ｆｂ，Ｆｃ間の動き量が位置ズレ補正部５１に与えられる。
【０１６８】
これにより、位置ズレ補正部５０では、フレームメモリ４１に格納された低解像度実画像Ｆａが与えられ、動き量検出部４３で取得された低解像度実画像Ｆａ，Ｆｃ間の動き量に基づいて、低解像度実画像Ｆｃを基準とする位置ズレ補正が成される。又、位置ズレ補正部５１では、フレームメモリ４２に格納された低解像度実画像Ｆｂが与えられ、動き量記憶部４８で取得された低解像度実画像Ｆｂ，Ｆｃ間の動き量に基づいて、低解像度実画像Ｆｃを基準とする位置ズレ補正が成される。このように位置ズレ補正部５０，５１で位置ズレ補正が成された低解像度実画像Ｆａ，Ｆｂが、フレームメモリ４７からの低解像度実画像Ｆｃとともに超解像処理部４４に与えられて、高解像度画像Ｆｘが生成される。
【０１６９】
又、図１０の構成のように、選択部４９を設けることによって、フレームメモリ４５に低解像度実画像又は高解像度画像のいずれかを選択して記憶させる場合、図１８に示す構成のように、図１０の構成に位置ズレ補正部５０，５１と選択部５２とを追加した構成となる。尚、図１７の構成と同様、位置ズレ補正部５０では、フレームメモリ４１に格納された低解像度実画像Ｆａに対して、動き量検出部４３で取得された動き量による位置ズレ補正が成される。又、位置ズレ補正部５１では、フレームメモリ４２に格納された低解像度実画像Ｆｂに対して、動き量記憶部４８で取得された動き量による位置ズレ補正が成される。
【０１７０】
そして、動画撮影時においては、選択部４９でフレームメモリ４２からの低解像度実画像Ｆｂが選択されて、フレームメモリ４５に出力されるとともに、選択部５２では、位置ズレ補正部５１からの低解像度実画像Ｆｂが選択される。又、位置ズレ補正部５０では、低解像度実画像Ｆａ，Ｆｃ間の動き量が動き量検出部４３によって検出されるため、低解像度実画像Ｆａに対して、低解像度実画像Ｆｃを基準とする位置ズレ補正が成される。更に、位置ズレ補正部５１では、低解像度実画像Ｆｂ，Ｆｃ間の動き量が動き量記憶部４８に記憶されているため、低解像度実画像Ｆｂに対して、低解像度実画像Ｆｃを基準とする位置ズレ補正が成される。
【０１７１】
一方、静止画撮影時においては、選択部４９で超解像処理部４４からの高解像度画像Ｆｘが選択されて、フレームメモリ４５に出力されるとともに、選択部５２では、フレームメモリ４２からの低解像度実画像Ｆｂが選択される。又、位置ズレ補正部５０では、低解像度実画像Ｆａ，Ｆｂ間の動き量が動き量検出部４３によって検出されるため、低解像度実画像Ｆａに対して、低解像度実画像Ｆｂを基準とする位置ズレ補正が成される。
【０１７２】
又、上述の説明において、図１に示すような構成の撮像装置を例に挙げて、本発明における画像処理方法について説明したが、撮像装置に限らず、液晶ディスプレイやプラズマテレビなどの画像のデジタル処理を行う表示装置においても、本発明における画像処理方法を利用可能である。図１９に、本発明における画像処理方法を行う画像処理装置（「画像処理部」に相当）を備えた表示装置を示す。
【０１７３】
図１９に示す表示装置は、図１に示す撮像装置と同様、画像処理部４、伸長処理部８、ディスプレイ部９、音声出力回路部１０、スピーカ部１１、タイミングジェネレータ１２、ＣＰＵ１３、メモリ１４、操作部１５、及び、バス回線１６，１７を備える。そして、外部で受信した放送信号を選局するチューナ部２１と、チューナ部２１で選局した放送信号を復調する復調部２２と、外部から入力されたデジタル信号となる圧縮信号が入力されるインターフェース２３とを、更に備える。
【０１７４】
この図１９の表示装置は、放送信号を受信する場合は、チューナ部２１で所望のチャンネルの放送信号を選局した後、復調部２２で放送信号を復調することで、動画再生時には、ＭＰＥＧ圧縮符号方式による圧縮信号となるデジタル信号が得られる。又、静止画像再生時には、ＪＰＥＧ圧縮符号方式による圧縮信号となるデジタル信号が得られる。このデジタル信号が伸長処理部８に与えられると、圧縮信号であるデジタル信号に対して、ＭＰＥＧ圧縮符号方式又はＪＰＥＧ圧縮符号方式による伸長処理が施される。
【０１７５】
そして、操作部１５によって画像の高解像度化が指示されると、伸長処理部８で伸長処理して得られた画像信号が、画像処理部４に与えられて、上述の低解像度実画像の選択処理や超解像処理が行われることで、高解像度画像が生成される。その後、生成された高解像度画像による画像信号がディスプレイ部９に与えられて、画像再生がなされる。又、動画再生時においては、伸長処理部８の伸長処理で得られた音声信号が、音声出力回路部１０を通じてスピーカ部１１に与えられることで、音声が再生出力される。
【産業上の利用可能性】
【０１７６】
本発明は、超解像処理による画像の高解像度化を行う画像処理装置を備えた撮像装置や表示装置に適用することができる。
【図面の簡単な説明】
【０１７７】
【図１】は、本発明の画像処理装置となる画像処理部を備えた撮像装置の内部構成を示すブロック図である。
【図２】は、被写体の輝度分布と撮影時間の異なるフレームにおける画像データとの関係を示す図である。
【図３】は、超解像処理におけるフローの概要を説明するための図である。
【図４】は、本発明の第１の実施形態となる撮像装置の超解像処理部の構成を示すブロック図である。
【図５】は、代表点マッチング法における検出領域の関係を示す図である。
【図６】は、基準画像の代表点と非基準画像のサンプリング点との関係を示す図である。
【図７】は、１画素以内の位置ズレ検出を行う際の基準画像の代表点と非基準画像のサンプリング点との関係を示す図である。
【図８】は、１画素以内の位置ズレ検出を行う際の基準画像の代表点及び非基準画像のサンプリング点それぞれの画素値の関係を示す図である。
【図９】は、本発明の第１の実施形態となる撮像装置の超解像処理部の別の構成例を示すブロック図である。
【図１０】は、本発明の第２の実施形態となる撮像装置の超解像処理部の構成を示すブロック図である。
【図１１】は、ノイズ含有量推定に対する演算処理の第１例における、重み係数と高周波成分の比率との関係を示すグラフである。
【図１２】は、ノイズ含有量推定に対する演算処理の第２例において成される標準偏差算出時の演算処理動作を説明するための図である。
【図１３】は、ノイズ含有量推定に対する演算処理の第２例における、重み係数と標準偏差の比率との関係を示すグラフである。
【図１４】は、ノイズ含有量推定に対する演算処理の第３例において成されるエッジ方向フィルタでの演算処理動作を説明するための図である。
【図１５】は、ノイズ含有量推定に対する演算処理の第３例における、重み係数とエッジ方向の比率との関係を示すグラフである。
【図１６】は、本発明の第１の実施形態となる撮像装置の超解像処理部の別の構成例を示すブロック図である。
【図１７】は、本発明の第１の実施形態となる撮像装置の超解像処理部の別の構成例を示すブロック図である。
【図１８】は、本発明の第２の実施形態となる撮像装置の超解像処理部の別の構成例を示すブロック図である。
【図１９】は、本発明の画像処理装置となる画像処理部を備えた表示装置の内部構成を示すブロック図である。
【符号の説明】
【０１７８】
１    イメージセンサ
２    ＡＦＥ
３    マイク
４    画像処理部
５    音声処理部
６    圧縮処理部
７    ドライバ部
８    伸長処理部
９    ディスプレイ部
１０    音声出力回路部
１１    スピーカ部
１２    タイミングジェネレータ
１３    ＣＰＵ
１４    メモリ
１５    操作部
１６，１７    バス回線
２０    外部メモリ
４１，４２，４５，４７    フレームメモリ
４３    動き量算出部
４４    超解像処理部
４６    信号処理部
４８    動き量記憶部
４９，５２    選択部
５０，５１    位置ズレ補正部
【図１】
2008306608.tif 000009
【図２】
2008306608.tif 000010
【図３】
2008306608.tif 000011
【図４】
2008306608.tif 000012
【図５】
2008306608.tif 000013
【図６】
2008306608.tif 000014
【図７】
2008306608.tif 000015
【図８】
2008306608.tif 000016
【図９】
2008306608.tif 000017
【図１０】
2008306608.tif 000018
【図１１】
2008306608.tif 000019
【図１２】
2008306608.tif 000020
【図１３】
2008306608.tif 000021
【図１４】
2008306608.tif 000022
【図１５】
2008306608.tif 000023
【図１６】
2008306608.tif 000024
【図１７】
2008306608.tif 000025
【図１８】
2008306608.tif 000026
【図１９】
2008306608.tif 000027