(57)【要約】【課題】高解像度の画像を生成する処理を高速化することができるようにする。【解決手段】超解像処理器５１0により求められたフィードバック値はSR画像バッファ５５に記憶されているSR画像に加算され、そのような１回目の加算処理によって得られたSR画像が次の超解像処理器５１1により求められたフィードバック値に加算され、さらに、そのような２回目の加算処理によって得られたSR画像が次の超解像処理器５１2により求められたフィードバック値に加算されるといったように、ガウスザイデル法を用いた超解像処理によってSR画像が生成される。生成されたSR画像は外部に出力されるとともに、スイッチ５３を介してSR画像バッファ５５に供給され、次の超解像処理において用いられる。本発明は、画像を扱う装置に適用することができる。【選択図】図８
2008140012.tif 000002
【特許請求の範囲】
【請求項１】
入力された第１の解像度の画像と、前記第１の解像度より高い第２の解像度の画像との差分を表す前記第２の解像度の差分画像の画素を、入力された前記第２の解像度の画像の画素として加える加算処理を行う加算手段を複数含み、
それぞれ異なる前記第１の解像度の画像と、直前の前記加算処理により得られた前記第２の解像度の画像とを入力として２回目以降の前記加算処理を行い、所定の回数だけ前記加算処理を行うことによって処理結果の前記第２の解像度の画像を生成する画像処理手段を備える
画像処理装置。
【請求項２】
前記加算処理により得られた前記第２の解像度の画像を入力として次の前記加算処理を行うか否かを、前記加算処理により得られた前記第２の解像度の画像に基づいて制御する制御手段をさらに備える
請求項１に記載の画像処理装置。
【請求項３】
前記差分画像を表す信号のゲインの調整を行う調整手段をさらに備える
請求項１に記載の画像処理装置。
【請求項４】
前記差分画像を求めるのに用いられる画像として入力された前記第２の解像度の画像を表す信号のゲインの調整と、求められた前記差分画像を表す信号のゲインの調整のうちの少なくともいずれかを行う調整手段をさらに備える
請求項１に記載の画像処理装置。
【請求項５】
１回目の前記加算処理の入力となる前記第２の解像度の初期画像を生成する生成手段をさらに備え、
撮像されたｎフレーム目の前記第１の解像度の画像を用いて、ｎフレーム目の処理結果の前記第２の解像度の画像を前記画像処理手段が生成する場合、
前記生成手段は、ｎ−１フレーム目の処理結果の前記第２の解像度の画像を構成する一部の画素を、ｎフレーム目の前記第１の解像度の画像をアップサンプリングして得られた画像を構成する画素で置き換えた画像を前記初期画像として生成する
請求項１に記載の画像処理装置。
【請求項６】
前記生成手段は、
撮像して得られたｎフレーム目の前記第１の解像度の画像をアップサンプリングするアップサンプリング処理手段と、
ｎ−１フレーム目の処理結果の前記第２の解像度の画像と、前記アップサンプリング処理手段によるアップサンプリングによって得られた画像に基づいて検出した動きベクトルを用いて、ｎ−１フレーム目の処理結果の前記第２の解像度の画像に動き補償を施す補正手段と、
前記補正手段により動き補償が施されることによって得られた画像のうち、動き補償によって位置が移動したオブジェクトが表示されていた領域の画素を、対応する位置にある領域の、前記アップサンプリング処理手段によるアップサンプリングによって得られた画像の画素で置き換えることによって前記初期画像を生成する画像生成手段と
をさらに備える請求項５に記載の画像処理装置。
【請求項７】
入力された第１の解像度の画像と、前記第１の解像度より高い第２の解像度の画像との差分を表す前記第２の解像度の差分画像の画素を、入力された前記第２の解像度の画像の画素として加える加算処理を行う加算手段を複数備える画像処理装置の画像処理方法において、
それぞれ異なる前記第１の解像度の画像と、直前の前記加算処理により得られた前記第２の解像度の画像とを入力として２回目以降の前記加算処理を行い、所定の回数だけ前記加算処理を行うことによって処理結果の前記第２の解像度の画像を生成するステップを含む
画像処理方法。
【請求項８】
入力された第１の解像度の画像と、前記第１の解像度より高い第２の解像度の画像との差分を表す前記第２の解像度の差分画像の画素を、入力された前記第２の解像度の画像の画素として加える加算処理を行う加算手段を複数備える画像処理装置の画像処理をコンピュータに行わせるプログラムにおいて、
それぞれ異なる前記第１の解像度の画像と、直前の前記加算処理により得られた前記第２の解像度の画像とを入力として２回目以降の前記加算処理を行い、所定の回数だけ前記加算処理を行うことによって処理結果の前記第２の解像度の画像を生成するステップを含む
プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、およびプログラムに関し、特に、高解像度の画像を生成する処理を高速化することができるようにした画像処理装置、画像処理方法、およびプログラムに関する。
【背景技術】
【０００２】
低解像度の画像から高解像度の画像を生成する手法として超解像がある。
【０００３】
超解像とは、重なりを持つ複数の低解像度の画像から、１フレームの高解像度の画像におけるそれぞれの画素の画素値を求めることにより、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)などの撮像素子が有する解像度以上の解像度の画像を再構成する手法である。例えば、高解像度の衛星写真を生成するときなどに超解像は用いられる。
【０００４】
図１、図２は、超解像の原理を示す図である。
【０００５】
図１、図２の上方に示されるａ，ｂ，ｃ，ｄ，ｅ，ｆは、ある被写体を撮像して得られた低解像度の画像（LR(Low Resolution)画像）から求めようとする高解像度の画像（SR(Super Resolution)画像）の画素値、すなわち、SR画像の解像度と同じ解像度で被写体を画素化したときのそれぞれの画素の画素値を表す。
【０００６】
例えば、撮像素子の１つの画素の幅が、被写体を構成する画素の２つ分の幅だけあり、被写体を、その解像度のまま取り込むことができない場合、図１に示されるように、撮像素子の３つの画素のうちの左側の画素においてはａとｂの画素値を混合したＡの画素値が取り込まれ、中央の画素においてはｃとｄの画素値を混合したＢの画素値が取り込まれる。また、右側の画素においてはｅとｆの画素値を混合したＣの画素値が取り込まれる。Ａ，Ｂ，Ｃは、撮像して得られたLR画像を構成する画素の画素値を表す。
【０００７】
手ぶれなどにより、図１の被写体とともに、図１の被写体の位置を基準として、被写体を構成する画素の０．５画素分の幅だけシフトさせた位置の被写体が図２に示されるようにして取り込まれた場合（シフトさせながら取り込まれた場合）、撮像素子の３つの画素のうちの左側の画素においてはａの半分とｂの全体とｃの半分の画素値を混合したＤの画素値が取り込まれ、中央の画素においてはｃの半分とｄの全体とｅの半分の画素値を混合したＥの画素値が取り込まれる。また、右側の画素においてはｅの半分とｆの全体の画素値を混合したＦの画素値が取り込まれる。Ｄ，Ｅ，Ｆも、撮像して得られたLR画像を構成する画素の画素値を表す。
【０００８】
このようなLR画像の撮像結果から下式（１）が求められる。式（１）からａ，ｂ，ｃ，ｄ，ｅ，ｆをそれぞれ求めることによって、撮像素子が有する解像度より高い解像度の画像を得ることが可能になる。
【０００９】
【数１】
2008140012.tif 000003
【００１０】
図３は、バックプロジェクション（Back Projection）による超解像処理によってSR画像を生成する従来の画像処理装置１の構成例を示すブロック図である。
【００１１】
図３の画像処理装置１は例えばデジタルカメラに設けられ、撮像して得られた静止画の処理を行う。
【００１２】
図３に示されるように、画像処理装置１は、超解像処理器１１0乃至１１2、合算回路１２、加算回路１３、およびSR画像バッファ１４から構成される。
【００１３】
撮像して得られたLR画像であるLR0は超解像処理器１１0に入力され、LR1は超解像処理器１１1に入力される。また、LR2は超解像処理器１１2に入力される。LR0乃至LR2は連続して撮像された画像であり、それぞれ撮像範囲に重なりを有している。連続して撮像が行われた場合、通常、撮像結果の画像に写る被写体の範囲はそれぞれ手ぶれなどにより若干ずれたものとなり、完全に一致せずに重なりを一部に有するものとなる。
【００１４】
超解像処理器１１0は、LR0と、SR画像バッファ１４に記憶されているSR画像に基づいて、それらの差分を表す差分画像を生成し、フィードバック値を合算回路１２に出力する。フィードバック値は、SR画像と同じ解像度の差分画像を表す値になっている。
【００１５】
なお、SR画像バッファ１４には、直前に行われた超解像処理によって生成されたSR画像が記憶されている。処理の開始直後であり、SR画像がまだ１フレームも生成されていない場合、例えば、LR0を、SR画像と同じ解像度の画像にアップサンプリングして得られた画像がSR画像バッファ１４に記憶される。
【００１６】
同様に、超解像処理器１１1は、LR1とSR画像バッファ１４に記憶されているSR画像に基づいて、それらの差分を表す差分画像を生成し、生成した差分画像を表すフィードバック値を合算回路１２に出力する。
【００１７】
超解像処理器１１2は、LR2とSR画像バッファ１４に記憶されているSR画像に基づいて、それらの差分を表す差分画像を生成し、生成した差分画像を表すフィードバック値を合算回路１２に出力する。
【００１８】
合算回路１２は、超解像処理器１１0乃至１１2から供給されたフィードバック値を平均化し、平均化して求められた、SR画像と同じ解像度の画像を加算回路１３に出力する。
【００１９】
加算回路１３は、SR画像バッファ１４に記憶されているSR画像と合算回路１２から供給されたSR画像を加算し、加算して得られたSR画像を出力する。加算回路１３の出力は、超解像処理の結果として画像処理装置１の外部に供給されるとともに、SR画像バッファ１４に供給され、記憶される。
【００２０】
図４は、超解像処理器１１n（超解像処理器１１0，１１1，１１2）の構成例を示すブロック図である。
【００２１】
図４に示されるように、超解像処理器１１nは、動きベクトル検出回路２１、動き補償回路２２、ダウンサンプリングフィルタ２３、加算回路２４、アップサンプリングフィルタ２５、逆方向動き補償回路２６から構成される。
【００２２】
SR画像バッファ１４から読み出されたSR画像は動きベクトル検出回路２１と動き補償回路２２に入力され、撮像して得られたLRnは動きベクトル検出回路２１と加算回路２４に入力される。
【００２３】
動きベクトル検出回路２１は、入力されたSR画像とLRnに基づいて、SR画像を基準とした動きベクトルを検出し、検出した動きベクトルを動き補償回路２２と逆方向動き補償回路２６に出力する。
【００２４】
動き補償回路２２は、動きベクトル検出回路２１から供給された動きベクトルに基づいてSR画像に動き補償を施し、動き補償を施して得られた画像をダウンサンプリングフィルタ２３に出力する。動き補償を施して得られた画像に写るオブジェクトの位置は、LRnに写るオブジェクトの位置に近い位置になる。
【００２５】
ダウンサンプリングフィルタ２３は、動き補償回路２２から供給された画像をダウンサンプリングすることによってLRnと同じ解像度の画像を生成し、生成した画像を加算回路２４に出力する。SR画像とLRnから動きベクトルを求め、求めた動きベクトルによって動き補償して得られた画像をLR画像と同じ解像度の画像にすることは、撮像して得られる画像を、SR画像バッファ１４に記憶されているSR画像に基づいてシミュレートすることに相当する。
【００２６】
加算回路２４は、LRnと、そのようにしてシミュレートされた画像の差分を表す差分画像を生成し、生成した差分画像をアップサンプリングフィルタ２５に出力する。
【００２７】
アップサンプリングフィルタ２５は、加算回路２４から供給された差分画像をアップサンプリングすることによってSR画像と同じ解像度の画像を生成し、生成した画像を逆方向動き補償回路２６に出力する。
【００２８】
逆方向動き補償回路２６は、動きベクトル検出回路２１から供給された動きベクトルに基づいて、アップサンプリングフィルタ２５から供給された画像に逆方向の動き補償を施し、逆方向の動き補償を施して得られた画像を表すフィードバック値を合算回路１２に出力する。逆方向の動き補償を施して得られた画像に写るオブジェクトの位置は、SR画像バッファ１４に記憶されているSR画像に写るオブジェクトの位置に近い位置になる。
【００２９】
【非特許文献１】“Improving Resolution by Image Registration”, MICHAL IRANI AND SHMUEL PELEG, Department of Computer Science, The Hebrew University of Jerusalem, 91904 Jerusalem, Israel, Communicated by Rama Chellapa, Received June 16, 1989; accepted May 25, 1990
【発明の開示】
【発明が解決しようとする課題】
【００３０】
バックプロジェクションによる超解像処理は、通常、十分な解像度を有する１フレームのSR画像を得るのに複数回繰り返される。例えば、図３の画像処理装置１により生成され、加算回路１３から出力されたSR画像が十分な解像度を有していない場合、そのSR画像は、SR画像バッファ１４に記憶された後、超解像処理器１１0乃至１１2の入力として再度用いられ、超解像処理が繰り返される。
【００３１】
従って、十分な解像度を有するSR画像を得るまでに時間がかかってしまう。
【００３２】
本発明はこのような状況に鑑みてなされたものであり、高解像度の画像を生成する処理を高速化することができるようにするものである。
【課題を解決するための手段】
【００３３】
本発明の一側面の画像処理装置は、入力された第１の解像度の画像と、前記第１の解像度より高い第２の解像度の画像との差分を表す前記第２の解像度の差分画像の画素を、入力された前記第２の解像度の画像の画素として加える加算処理を行う加算手段を複数含み、それぞれ異なる前記第１の解像度の画像と、直前の前記加算処理により得られた前記第２の解像度の画像とを入力として２回目以降の前記加算処理を行い、所定の回数だけ前記加算処理を行うことによって処理結果の前記第２の解像度の画像を生成する画像処理手段を備える。
【００３４】
前記加算処理により得られた前記第２の解像度の画像を入力として次の前記加算処理を行うか否かを、前記加算処理により得られた前記第２の解像度の画像に基づいて制御する制御手段をさらに設けることができる。
【００３５】
前記差分画像を表す信号のゲインの調整を行う調整手段をさらに設けることができる。
【００３６】
前記差分画像を求めるのに用いられる画像として入力された前記第２の解像度の画像を表す信号のゲインの調整と、求められた前記差分画像を表す信号のゲインの調整のうちの少なくともいずれかを行う調整手段をさらに設けることができる。
【００３７】
１回目の前記加算処理の入力となる前記第２の解像度の初期画像を生成する生成手段をさらに設けることができる。撮像されたｎフレーム目の前記第１の解像度の画像を用いて、ｎフレーム目の処理結果の前記第２の解像度の画像を前記画像処理手段が生成する場合、前記生成手段には、ｎ−１フレーム目の処理結果の前記第２の解像度の画像を構成する一部の画素を、ｎフレーム目の前記第１の解像度の画像をアップサンプリングして得られた画像を構成する画素で置き換えた画像を前記初期画像として生成させることができる。
【００３８】
前記生成手段には、撮像して得られたｎフレーム目の前記第１の解像度の画像をアップサンプリングするアップサンプリング処理手段と、ｎ−１フレーム目の処理結果の前記第２の解像度の画像と、前記アップサンプリング処理手段によるアップサンプリングによって得られた画像に基づいて検出した動きベクトルを用いて、ｎ−１フレーム目の処理結果の前記第２の解像度の画像に動き補償を施す補正手段と、前記補正手段により動き補償が施されることによって得られた画像のうち、動き補償によって位置が移動したオブジェクトが表示されていた領域の画素を、対応する位置にある領域の、前記アップサンプリング処理手段によるアップサンプリングによって得られた画像の画素で置き換えることによって前記初期画像を生成する画像生成手段とをさらに設けることができる。
【００３９】
本発明の一側面の画像処理方法またはプログラムは、それぞれ異なる第１の解像度の画像と、直前の加算処理により得られた第２の解像度の画像とを入力として２回目以降の加算処理を行い、所定の回数だけ加算処理を行うことによって処理結果の第２の解像度の画像を生成するステップを含む。
【００４０】
本発明の一側面においては、それぞれ異なる第１の解像度の画像と、直前の加算処理により得られた第２の解像度の画像とを入力として２回目以降の加算処理が行われ、所定の回数だけ加算処理が行われることによって処理結果の第２の解像度の画像が生成される。
【発明の効果】
【００４１】
本発明の一側面によれば、高解像度の画像を生成する処理を高速化することができる。
【発明を実施するための最良の形態】
【００４２】
以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書又は図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書又は図面に記載されていることを確認するためのものである。従って、明細書又は図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が発明に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外には対応しないものであることを意味するものでもない。
【００４３】
本発明の一側面の画像処理装置（例えば、図５の撮像装置３１）は、入力された第１の解像度の画像と、前記第１の解像度より高い第２の解像度の画像との差分を表す前記第２の解像度の差分画像の画素を、入力された前記第２の解像度の画像の画素として加える加算処理を行う加算手段（例えば、図８の加算回路５２0）を複数含み、それぞれ異なる前記第１の解像度の画像と、直前の前記加算処理により得られた前記第２の解像度の画像とを入力として２回目以降の前記加算処理を行い、所定の回数だけ前記加算処理を行うことによって処理結果の前記第２の解像度の画像を生成する画像処理手段（例えば、図７の画像処理部４２）を備える。
【００４４】
この画像処理装置には、前記加算処理により得られた前記第２の解像度の画像を入力として次の前記加算処理を行うか否かを、前記加算処理により得られた前記第２の解像度の画像に基づいて制御する制御手段（例えば、図１２のループコントロール回路７１0）をさらに設けることができる。
【００４５】
また、前記差分画像を表す信号のゲインの調整を行う調整手段（例えば、図１４のフィードバックゲインコントロール回路８１）をさらに設けることもできる。
【００４６】
前記差分画像を求めるのに用いられる画像として入力された前記第２の解像度の画像を表す信号のゲインの調整と、求められた前記差分画像を表す信号のゲインの調整のうちの少なくともいずれかを行う調整手段（例えば、図１８のテイストコントロール回路１０１，１０２）をさらに設けることもできる。
【００４７】
１回目の前記加算処理の入力となる前記第２の解像度の初期画像を生成する生成手段（例えば、図２５の初期画像生成回路２０６）をさらに設けることもできる。
【００４８】
前記生成手段には、撮像して得られたｎフレーム目の前記第１の解像度の画像をアップサンプリングするアップサンプリング処理手段（例えば、図２６のアップサンプリング処理部２２１）と、ｎ−１フレーム目の処理結果の前記第２の解像度の画像と、前記アップサンプリング処理手段によるアップサンプリングによって得られた画像に基づいて検出した動きベクトルを用いて、ｎ−１フレーム目の処理結果の前記第２の解像度の画像に動き補償を施す補正手段（例えば、図２６の動き補正部２２２）と、前記補正手段により動き補償が施されることによって得られた画像のうち、動き補償によって位置が移動したオブジェクトが表示されていた領域の画素を、対応する位置にある領域の、前記アップサンプリング処理手段によるアップサンプリングによって得られた画像の画素で置き換えることによって前記初期画像を生成する画像生成手段（例えば、図２６の画像生成部２２３）とをさらに設けることができる。
【００４９】
以下、本発明の実施の形態について図を参照して説明する。
【００５０】
図５は、本発明の一実施形態に係る撮像装置３１を示す図である。
【００５１】
撮像装置３１はデジタルカメラであり、ユーザによる操作に応じて静止画を撮像する機能と、所定のフレームレートの動画を撮像する機能を有する。また、撮像装置３１は、そのような撮像機能によって得られたLR画像を用い、解像度の高いSR画像を超解像処理により生成する機能をも有する。
【００５２】
図６は、超解像処理の例を示す図である。
【００５３】
図６の例においては、撮像して得られたLR画像であるLR0乃至LR2に基づいて画像の再構成が行われ、１フレームのSR画像が生成されている。LR0乃至LR2は連続して撮像されたLR画像であり、撮像範囲に重なりを有している。図６のLR0乃至LR2に重ねて示される縦線、横線は説明の便宜上付しているものである。
【００５４】
撮像装置３１においては、SR画像を生成するとき、図６に示されるようなLR画像に加えて、SR画像をも用いて超解像処理が行われる。
【００５５】
図７は、撮像装置３１の構成例を示すブロック図である。
【００５６】
図７に示されるように、撮像装置３１は、撮像部４１、画像処理部４２、および記録部４３から構成される。
【００５７】
撮像部４１は、静止画、動画の撮像を行い、撮像して得られたLR画像を画像処理部４２に出力する。
【００５８】
画像処理部４２は、撮像部４１から供給されたLR画像に基づいて超解像処理を行い、超解像処理によって得られたSR画像を記録部４３に出力する。画像処理部４２による超解像処理は、記録部４３による制御に従って、目標とする解像度を有するSR画像が生成されるまで繰り返される。
【００５９】
記録部４３は、画像処理部４２から供給されたSR画像が十分な解像度を有している場合、そのSR画像をフラッシュメモリなどの所定の記録媒体に記録させるとともに、画像処理部４２を制御して超解像処理を繰り返すのを停止させる。記録媒体に記録されるSR画像の解像度は、撮像部４１に設けられる撮像素子の解像度よりも高くなる。
【００６０】
図８は、図７の画像処理部４２の構成例を示すブロック図である。
【００６１】
図８に示される画像処理部４２の構成は、例えば、静止画の撮像機能を実現するものとして用意され、超解像処理器５１0乃至５１2、加算回路５２0乃至５２2、スイッチ５３、初期画像生成回路５４、およびSR画像バッファ５５から構成される。
【００６２】
図８の例においては、超解像処理器５１0により求められたフィードバック値はSR画像バッファ５５に記憶されているSR画像に加算され、その１回目の加算処理によって得られたSR画像が次の超解像処理器５１1により求められたフィードバック値に加算され、さらに、その２回目の加算処理によって得られたSR画像が次の超解像処理器５１2により求められたフィードバック値に加算されるといったように、ガウスザイデル法を用いた超解像処理によってSR画像が生成されるようになされている。
【００６３】
図３の従来の構成においては、LR画像とSR画像に基づいて求められた複数のフィードバック値が合算回路１２において平均化されてからSR画像に加えられるようになされているが、図８に示されるように、LR画像とSR画像に基づいて求められたフィードバック値によって表されるSR画像に対して、次の超解像処理器によって求められたフィードバック値がすぐに加算されるようにすることにより、フィードバックの回数が多くなり、十分な解像度を有するSR画像を得ることができるまでの時間（収束するまでの時間）を短縮することができる。すなわち、SR画像を得る処理を高速化することができる。
【００６４】
以下、適宜、入力されたLR画像とSR画像を用いて超解像処理器５１0乃至５１2により行われるフィードバック値を求める処理をフィードバック値演算処理といい、フィードバック値により表される画像をSR画像に加算することによって１フレームのSR画像を生成する処理を加算処理という。超解像処理は、フィードバック値演算処理と加算処理が繰り返されることによって実現される。
【００６５】
撮像部４１によって得られたLR画像であるLR0は超解像処理器５１0に入力され、LR1は超解像処理器５１1に入力される。また、LR2は超解像処理器５１2に入力される。LR0乃至LR2は連続して撮像されたLR画像であり、それぞれ撮像範囲に重なりを有している。
【００６６】
超解像処理器５１0は、LR0と、SR画像バッファ５５に記憶されているSR画像に基づいてフィードバック値演算処理を行い、SR画像と同じ解像度の画像を表すフィードバック値を加算回路５２0に出力する。
【００６７】
加算回路５２0は、SR画像バッファ５５に記憶されているSR画像と超解像処理器５１0から供給されたフィードバック値により表されるSR画像を加算し（SR画像バッファ５５に記憶されているSR画像にない画素の画素値として、フィードバック値により表されるSR画像に含まれる画素の画素値を加え）、加算して得られた１フレームのSR画像を１回目の加算処理の結果として出力する。加算回路５２0から出力されたSR画像は超解像処理器５１1と加算回路５２1に入力される。
【００６８】
超解像処理器５１1は、LR1と、加算回路５２0から供給されたSR画像に基づいてフィードバック値演算処理を行い、フィードバック値を加算回路５２1に出力する。
【００６９】
加算回路５２1は、加算回路５２0から供給されたSR画像と超解像処理器５１1から供給されたフィードバック値により表されるSR画像を加算し、加算して得られた１フレームのSR画像を２回目の加算処理の結果として出力する。加算回路５２1から出力されたSR画像は超解像処理器５１2と加算回路５２2に入力される。
【００７０】
超解像処理器５１2は、LR2と、加算回路５２1から供給されたSR画像に基づいてフィードバック値演算処理を行い、フィードバック値を加算回路５２2に出力する。
【００７１】
加算回路５２2は、加算回路５２1から供給されたSR画像と超解像処理器５１2から供給されたフィードバック値により表されるSR画像を加算し、加算して得られたSR画像を３回目の加算処理の結果、すなわち超解像処理の結果として出力する。加算回路５２2から出力されたSR画像は、記録部４３に入力されるとともに、スイッチ５３を介してSR画像バッファ５５に供給され、記憶される。
【００７２】
スイッチ５３は、初期画像生成回路５４により初期画像が生成されたとき、端子ａに接続し、初期画像をSR画像バッファ５５に記憶させる。また、スイッチ５３は、超解像処理の結果として得られたSR画像が加算回路５２2から供給されたとき、端子ｂに接続し、SR画像をSR画像バッファ５５に記憶させる。
【００７３】
初期画像生成回路５４は、ある１フレームのSR画像を超解像処理によって生成することを開始するとき、例えば、LR0をSR画像と同じ解像度の画像にアップサンプリングすることによって初期画像を生成し、生成した初期画像を、端子ａに接続させたスイッチ５３を介してSR画像バッファ５５に記憶させる。
【００７４】
SR画像バッファ５５は、初期画像生成回路５４により生成された初期画像、または、加算回路５２2から供給されたSR画像を記憶する。
【００７５】
図９は、超解像処理器５１n（超解像処理器５１0，５１1，５１2）の構成例を示すブロック図である。
【００７６】
図９に示されるように、超解像処理器５１nは図４の構成と同様の構成を有しており、動きベクトル検出回路６１、動き補償回路６２、ダウンサンプリングフィルタ６３、加算回路６４、アップサンプリングフィルタ６５、および逆方向動き補償回路６６から構成される。
【００７７】
フィードバック値の演算に用いるものとして供給されたSR画像は動きベクトル検出回路６１と動き補償回路６２に入力され、撮像して得られたLRnは動きベクトル検出回路６１と加算回路６４に入力される。超解像処理器５１1の動きベクトル検出回路６１と動き補償回路６２にはSR画像バッファ５５に記憶されているSR画像が入力され、超解像処理器５１1または超解像処理器５１2の動きベクトル検出回路６１と動き補償回路６２には前段に設けられる加算回路５２0，５２1から出力されたSR画像が入力される。
【００７８】
動きベクトル検出回路６１は、入力されたSR画像とLRnに基づいて、SR画像を基準とした動きベクトルを検出し、検出した動きベクトルを動き補償回路６２と逆方向動き補償回路６６に出力する。
【００７９】
動き補償回路６２は、動きベクトル検出回路６１から供給された動きベクトルに基づいてSR画像に動き補償を施し、動き補償を施して得られた画像をダウンサンプリングフィルタ６３に出力する。動き補償を施して得られた画像に写るオブジェクトの位置は、LRnに写るオブジェクトの位置に近い位置になる。
【００８０】
ダウンサンプリングフィルタ６３は、動き補償回路６２から供給された画像をダウンサンプリングすることによってLRnと同じ解像度の画像を生成し、生成した画像を加算回路６４に出力する。SR画像とLRnから動きベクトルを求め、求めた動きベクトルによって動き補償して得られた画像をLR画像と同じ解像度の画像にすることは、撮像して得られる画像をSR画像に基づいてシミュレートすることに相当する。
【００８１】
加算回路６４は、LRnと、そのようにしてシミュレートされた画像の差分を表す差分画像を生成し、生成した差分画像をアップサンプリングフィルタ６５に出力する。
【００８２】
アップサンプリングフィルタ６５は、加算回路６４から供給された差分画像をアップサンプリングすることによってSR画像と同じ解像度の画像を生成し、生成した画像を逆方向動き補償回路６６に出力する。
【００８３】
逆方向動き補償回路６６は、動きベクトル検出回路６１から供給された動きベクトルに基づいて、アップサンプリングフィルタ６５から供給された画像に逆方向の動き補償を施し、逆方向の動き補償を施して得られた画像を表すフィードバック値を加算回路５２nに出力する。逆方向の動き補償を施して得られた画像に写るオブジェクトの位置は、SR画像に写るオブジェクトの位置に近い位置になる。
【００８４】
ここで、図１０のフローチャートを参照して、図８の構成を有する画像処理部４２により行われる超解像処理について説明する。
【００８５】
この処理は、撮像部４１により静止画の撮像が行われ、LR0が超解像処理器５１0に、LR1が超解像処理器５１1に、LR2が超解像処理器５１2にそれぞれ入力されたときに開始される。
【００８６】
ステップＳ１において、初期画像生成回路５４は、例えば、LR0をSR画像と同じ解像度の画像にアップサンプリングすることによって初期画像を生成し、生成した初期画像をスイッチ５３を介してSR画像バッファ５５に記憶させる。撮像部４１により得られたLR0は初期画像生成回路５４にも入力される。
【００８７】
ステップＳ２において、超解像処理器５１0は、LR0と、SR画像バッファ５５に記憶されているSR画像に基づいてフィードバック値演算処理を行い、フィードバック値を加算回路５２0に出力する。フィードバック値演算処理については図１１のフローチャートを参照して後述する。
【００８８】
ステップＳ３において、加算回路５２0は、SR画像バッファ５５に記憶されているSR画像と、ステップＳ２で行われたフィードバック値演算処理により求められ、超解像処理器５１0から供給されたフィードバック値により表されるSR画像を加算し、加算して得られた１フレームのSR画像を１回目の加算処理の結果として出力する。
【００８９】
ステップＳ４において、超解像処理器５１1は、LR1と、加算回路５２0から供給されたSR画像に基づいてフィードバック値演算処理を行い、フィードバック値を加算回路５２1に出力する。
【００９０】
ステップＳ５において、加算回路５２1は、加算回路５２0から供給されたSR画像と、ステップＳ４で行われたフィードバック値演算処理により求められ、超解像処理器５１1から供給されたフィードバック値により表されるSR画像を加算し、加算して得られた１フレームのSR画像を２回目の加算処理の結果として出力する。
【００９１】
ステップＳ６において、超解像処理器５１2は、LR2と、加算回路５２1から供給されたSR画像に基づいてフィードバック値演算処理を行い、フィードバック値を加算回路５２2に出力する。
【００９２】
ステップＳ７において、加算回路５２2は、加算回路５２1から供給されたSR画像と、ステップＳ６で行われたフィードバック値演算処理により求められ、超解像処理器５１2から供給されたフィードバック値により表されるSR画像を加算する。
【００９３】
ステップＳ８において、加算回路５２2は、加算回路５２1から供給されたSR画像と、超解像処理器５１2から供給されたフィードバック値により表されるSR画像を加算して得られたSR画像を超解像処理の結果として記録部４３に出力するとともに、SR画像バッファ５５に記憶させる。
【００９４】
その後、記録部４３においては、加算回路５２2から出力されたSR画像が十分な解像度を有しているか否かが判断され、十分な解像度を有していないと判断された場合、処理はステップＳ２に戻り、以上の処理が繰り返される。繰り返し行われる超解像処理のうちの１回目のフィードバック値演算処理、加算処理においては、ステップＳ８の処理でSR画像バッファ５５に記憶されたSR画像が用いられる。
【００９５】
一方、加算回路５２2から出力されたSR画像が十分な解像度を有していると判断された場合、超解像処理を繰り返すことは停止され、その十分な解像度を有する画像が記録される。
【００９６】
次に、図１１のフローチャートを参照して、図１０のステップＳ２，Ｓ４，Ｓ６において行われるフィードバック値演算処理について説明する。
【００９７】
ステップＳ１１において、動きベクトル検出回路６１は、入力されたSR画像とLRnに基づいて、SR画像を基準とした動きベクトルを検出し、検出した動きベクトルを動き補償回路６２と逆方向動き補償回路６６に出力する。
【００９８】
ステップＳ１２において、動き補償回路６２は、動きベクトル検出回路６１から供給された動きベクトルに基づいてSR画像に動き補償を施し、動き補償を施して得られた画像をダウンサンプリングフィルタ６３に出力する。
【００９９】
ステップＳ１３において、ダウンサンプリングフィルタ６３は、動き補償回路６２から供給された画像をダウンサンプリングすることによってLRnと同じ解像度の画像を生成し、生成した画像を加算回路６４に出力する。
【０１００】
ステップＳ１４において、加算回路６４は、入力されたLRnと、ダウンサンプリング結果としてダウンサンプリングフィルタ６３から供給された画像の差分を表す差分画像を生成し、生成した差分画像をアップサンプリングフィルタ６５に出力する。
【０１０１】
ステップＳ１５において、アップサンプリングフィルタ６５は、加算回路６４から供給された差分画像をアップサンプリングすることによってSR画像と同じ解像度の画像を生成し、生成した画像を逆方向動き補償回路６６に出力する。
【０１０２】
ステップＳ１６において、逆方向動き補償回路６６は、動きベクトル検出回路６１から供給された動きベクトルに基づいて、アップサンプリング結果としてアップサンプリングフィルタ６５から供給された画像に逆方向の動き補償を施し、逆方向の動き補償を施して得られた画像を表すフィードバック値を加算回路５２nに出力する。その後、図１０のステップＳ２，Ｓ４，Ｓ６に戻り、それ以降の処理が行われる。
【０１０３】
図１２は、画像処理部４２の他の構成例を示すブロック図である。図８の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０１０４】
図１２の画像処理部４２の構成は、ループコントロール回路７１0および７１1、スイッチ７２0および７２1がさらに設けられ、ループコントロール回路７１0によるスイッチ７２0の切り替えとループコントロール回路７１1によるスイッチ７２1の切り替えに応じて、加算処理の結果が記録部４３に出力されるのか、または、次の加算処理に用いられるのかが制御される点が、図８の構成と異なる。
【０１０５】
すなわち、図１２の画像処理部４２においては、ループコントロール回路７１0によるスイッチ７２0の切り替えに応じて、加算回路５２0から出力された１回目の加算処理の結果が２回目の加算処理に用いられるのか、または、記録部４３にそのまま出力されるのかが制御され、ループコントロール回路７１1によるスイッチ７２1の切り替えに応じて、加算回路５２1から出力された２回目の加算処理の結果が３回目の加算処理に用いられるのか、または、記録部４３にそのまま出力されるのかが制御されるようになされている。
【０１０６】
例えば、１回目の加算処理の結果として十分な解像度のSR画像が得られていない場合にだけ２回目以降のフィードバック値演算処理、加算処理を行い、加算回路５２1から出力された２回目の加算処理の結果として十分な解像度のSR画像が得られていない場合にだけ３回目のフィードバック値演算処理、加算処理を行うといったように、LR0乃至LR2の各LR画像を用いた処理が終了する毎にSR画像の解像度を確認し、十分な解像度が得られていない場合には次のフィードバック値演算処理、加算処理を行い、反対に、十分な解像度が得られている場合にはそこで処理を打ち切ることにより、場合によってはフィードバック値演算処理、加算処理を少ない回数で終わらせることができ、超解像処理を高速化することが可能となる。
【０１０７】
超解像処理器５１0は、LR0と、SR画像バッファ５５に記憶されているSR画像に基づいてフィードバック値演算処理を行い、フィードバック値を加算回路５２0に出力する。
【０１０８】
加算回路５２0は、SR画像バッファ５５に記憶されているSR画像と超解像処理器５１0から供給されたフィードバック値により表されるSR画像を加算し、加算して得られた１フレームのSR画像を１回目の加算処理の結果として出力する。加算回路５２0から出力されたSR画像は、ループコントロール回路７１0とスイッチ７２0に供給される。
【０１０９】
ループコントロール回路７１0は、加算回路５２0から供給されたSR画像の解像度（画質）を確認し、十分な解像度が得られている場合には、スイッチ７２0を端子ａに接続させることによって、１回目の加算処理の結果のSR画像を記録部４３に出力させる。また、ループコントロール回路７１0は、十分な解像度が得られていない場合には、スイッチ７２0を端子ｂに接続させることによって、１回目の加算処理の結果のSR画像を超解像処理器５１1と加算回路５２1に出力させる。
【０１１０】
ループコントロール回路７１0に対しては、例えば、SR画像の解像度を確認するのに用いられる基準のSR画像が与えられており、その基準のSR画像との差分、最小二乗誤差、共分散などに基づいて、加算処理の結果のSR画像の出力先が判断される。例えば、基準のSR画像との差分が閾値として設定されている差より小さい場合、加算処理の結果のSR画像は記録部４３に出力される。例えば、基準のSR画像としては、SR画像バッファ５５に記録されているSR画像であったり、超解像処理器５２0乃至５２2のいずれかより出力されたSR画像が適宜選択されるようにしてもよい。
【０１１１】
超解像処理器５１1は、LR1と、スイッチ７２0を介して加算回路５２0から供給されたSR画像に基づいてフィードバック値演算処理を行い、フィードバック値を加算回路５２1に出力する。
【０１１２】
加算回路５２1は、スイッチ７２0を介して加算回路５２0から供給されたSR画像と超解像処理器５１1から供給されたフィードバック値により表されるSR画像を加算し、加算して得られた１フレームのSR画像を２回目の加算処理の結果として出力する。加算回路５２1から出力されたSR画像は、ループコントロール回路７１1とスイッチ７２1に供給される。
【０１１３】
ループコントロール回路７１1は、加算回路５２1から供給されたSR画像の解像度を確認し、十分な解像度が得られている場合には、スイッチ７２1を端子ａに接続させることによって、２回目の加算処理の結果のSR画像を記録部４３に出力させる。また、ループコントロール回路７１1は、十分な解像度が得られていない場合には、スイッチ７２1を端子ｂに接続させることによって、２回目の加算処理の結果のSR画像を超解像処理器５１2と加算回路５２2に出力させる。
【０１１４】
ループコントロール回路７１1に対しても、SR画像の解像度を確認するのに用いられる基準のSR画像が与えられている。
【０１１５】
超解像処理器５１2は、LR2と、スイッチ７２1を介して加算回路５２1から供給されたSR画像に基づいてフィードバック値演算処理を行い、フィードバック値を加算回路５２2に出力する。
【０１１６】
加算回路５２2は、スイッチ７２1を介して加算回路５２1から供給されたSR画像と超解像処理器５１2から供給されたフィードバック値により表されるSR画像を加算し、加算して得られた１フレームのSR画像を超解像処理の結果として出力する。加算回路５２2から出力されたSR画像は、記録部４３に供給されるとともに、スイッチ５３を介してSR画像バッファ５５に供給され、記憶される。
【０１１７】
なお、図１２の超解像処理器５１0乃至５１2も、それぞれ、図９に示される構成と同じ構成を有している。
【０１１８】
ここで、図１３のフローチャートを参照して、図１２の構成を有する画像処理部４２により行われる超解像処理について説明する。
【０１１９】
この処理も、撮像部４１により静止画の撮像が行われ、LR0が超解像処理器５１0、LR1が超解像処理器５１1、LR2が超解像処理器５１2にそれぞれ入力されたときに開始される。
【０１２０】
ステップＳ２１において、初期画像生成回路５４は、LR0をアップサンプリングするなどして初期画像を生成し、生成した初期画像をスイッチ５３を介してSR画像バッファ５５に記憶させる。
【０１２１】
ステップＳ２２において、超解像処理器５１0は、LR0と、SR画像バッファ５５に記憶されているSR画像に基づいてフィードバック値演算処理を行い、フィードバック値を加算回路５２0に出力する。ここでは、図１１を参照して説明した処理と同じ処理が行われる。
【０１２２】
ステップＳ２３において、加算回路５２0は、ステップＳ２２で行われたフィードバック値演算処理により求められ、超解像処理器５１0から供給されたフィードバック値により表されるSR画像をSR画像バッファ５５に記憶されているSR画像に加算し、加算して得られた１フレームのSR画像を１回目の加算処理の結果として出力する。
【０１２３】
ステップＳ２４において、ループコントロール回路７１0は、加算回路５２0から供給されたSR画像の画質を確認する。
【０１２４】
ステップＳ２５において、ループコントロール回路７１0は、フィードバック値演算処理などを繰り返すか否かをSR画像の画質の確認結果に基づいて判定する。
【０１２５】
ステップＳ２５においてフィードバック値演算処理を繰り返すと判定された場合、ステップＳ２６において、超解像処理器５１1は、LR1と、スイッチ７２0を介して加算回路５２0から供給されたSR画像に基づいてフィードバック値演算処理を行い、フィードバック値を加算回路５２1に出力する。
【０１２６】
ステップＳ２７において、加算回路５２1は、ステップＳ２６で行われたフィードバック値演算処理により求められ、超解像処理器５１1から供給されたフィードバック値により表されるSR画像を、加算回路５２0から供給されたSR画像に加算し、加算して得られたSR画像を２回目の加算処理の結果として出力する。
【０１２７】
ステップＳ２８において、ループコントロール回路７１1は、加算回路５２1から供給されたSR画像の画質を確認する。
【０１２８】
ステップＳ２９において、ループコントロール回路７１1は、フィードバック値演算処理などを繰り返すか否かをSR画像の画質の確認結果に基づいて判定する。
【０１２９】
ステップＳ２９においてフィードバック値演算処理を繰り返すと判定された場合、ステップＳ３０において、超解像処理器５１2は、LR2と、スイッチ７２1を介して加算回路５２1から供給されたSR画像に基づいてフィードバック値演算処理を行い、フィードバック値を加算回路５２2に出力する。
【０１３０】
ステップＳ３１において、加算回路５２2は、ステップＳ３０で行われたフィードバック値演算処理により求められ、超解像処理器５１2から供給されたフィードバック値により表されるSR画像を、加算回路５２1から供給されたSR画像に加算する。
【０１３１】
ステップＳ３２において、加算回路５２2は、加算回路５２1から供給されたSR画像と、超解像処理器５１2から供給されたフィードバック値により表されるSR画像を加算して得られたSR画像を超解像処理の結果として記録部４３に出力するとともに、SR画像バッファ５５に記憶させる。その後、処理はステップＳ２２に戻り、以上の処理が繰り返される。
【０１３２】
一方、ステップＳ２５，Ｓ２９においてフィードバック値演算処理などを繰り返さないと判定された場合、十分な画質を有していると判断されたSR画像が記録部４３に出力され、処理は終了される。
【０１３３】
図１４は、超解像処理器５１nの他の構成例を示すブロック図である。図９の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０１３４】
図１４の超解像処理器５１nの構成は、逆方向動き補償回路６６の後段にフィードバックゲインコントロール回路８１がさらに設けられる点が図９の構成と異なる。
【０１３５】
フィードバックゲインコントロール回路８１は、逆方向動き補償回路６６から供給されたフィードバック値のゲインを調整し、ゲインを調整して得られたフィードバック値を加算回路５２nに出力する。逆方向動き補償回路６６からは、LRnとSR画像の差分画像をアップサンプリングした画像に逆方向の動き補償を施すことによって得られた画像がフィードバック値として供給されてくる。
【０１３６】
例えば、フィードバックゲインコントロール回路８１は、逆方向動き補償回路６６から供給されたフィードバック値によって表されるSR画像の画像信号の全体の周波数成分を任意倍のものにすることによってゲインを調整したり、周波数成分毎に異なる値を乗算することによってゲインを調整したりする。
【０１３７】
また、フィードバックゲインコントロール回路８１は、ゲインを上げてSR画像に加えたときに画質に悪影響を与えそうな周波数成分の信号については、逆にゲインを下げたりする。画質に悪影響を与えるものであるか否かは、例えば、逆方向動き補償回路６６から供給されたフィードバック値に含まれるノイズの量や、動きベクトル検出時に求められるSAD(Sum of Absolute Difference)等の動きベクトルの信頼度に基づいて判断される。なお、ゲインを調整する処理が画像全体に均一に施されるようにしてもよいし、領域毎に施されるようにしてもよい。
【０１３８】
図１５Ａ乃至Ｄは、フィードバックゲインコントロール回路８１により実現されるゲイン調整の特性の例を示す図である。
【０１３９】
横軸は周波数、縦軸はゲインを表し、図１５Ａに示される特性は、低い周波数成分のゲインを下げ、高い周波数成分のゲインを上げるものになっている。図１５Ｂに示される特性は、低い周波数成分のゲインを上げ、高い周波数成分のゲインを下げるものになっている。図１５Ｃに示される特性は、中間付近の周波数成分のゲインを上げ、それ以外の成分のゲインを下げるものになっている。図１５Ｄに示される特性は、全ての周波数成分のゲインを下げるものになっている。
【０１４０】
ここで、図１６のフローチャートを参照して、図１４の構成を有する超解像処理器５１nにより行われるフィードバック値演算処理について説明する。この処理も、図１０のステップＳ２，Ｓ４，Ｓ６において行われる。
【０１４１】
図１６に示される処理は、ゲインを調整する処理が加えられている点を除いて図１１を参照して説明した処理と同じである。すなわち、ステップＳ４１において、動きベクトル検出回路６１は、入力されたSR画像とLRnに基づいて動きベクトルを検出し、検出した動きベクトルを動き補償回路６２と逆方向動き補償回路６６に出力する。
【０１４２】
ステップＳ４２において、動き補償回路６２は、動きベクトル検出回路６１から供給された動きベクトルに基づいてSR画像に動き補償を施し、動き補償を施して得られた画像をダウンサンプリングフィルタ６３に出力する。
【０１４３】
ステップＳ４３において、ダウンサンプリングフィルタ６３は、動き補償回路６２から供給された画像をダウンサンプリングすることによってLRnと同じ解像度の画像を生成し、生成した画像を加算回路６４に出力する。
【０１４４】
ステップＳ４４において、加算回路６４は、入力されたLRnと、ダウンサンプリング結果としてダウンサンプリングフィルタ６３から供給された画像の差分を表す差分画像を生成し、生成した差分画像をアップサンプリングフィルタ６５に出力する。
【０１４５】
ステップＳ４５において、アップサンプリングフィルタ６５は、加算回路６４から供給された画像をアップサンプリングすることによってSR画像と同じ解像度の画像を生成し、生成した画像を逆方向動き補償回路６６に出力する。
【０１４６】
ステップＳ４６において、逆方向動き補償回路６６は、動きベクトル検出回路６１から供給された動きベクトルに基づいて、アップサンプリング結果としてアップサンプリングフィルタ６５から供給された画像に逆方向の動き補償を施し、逆方向の動き補償を施して得られた画像をフィードバックゲインコントロール回路８１に出力する。
【０１４７】
ステップＳ４７において、フィードバックゲインコントロール回路８１は、逆方向動き補償回路６６から供給された、逆方向の動き補償の結果である画像を表す信号のゲインを調整し、ゲインを調整して得られたフィードバック値を加算回路５２nに出力する。その後、図１０のステップＳ２，Ｓ４，Ｓ６に戻り、それ以降の処理が行われる。
【０１４８】
図１７は、超解像処理器５１nのさらに他の構成例を示すブロック図である。図１４の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０１４９】
図１７の超解像処理器５１nの構成は、フィードバックゲインコントロール回路８１が、逆方向動き補償回路６６の後段ではなく加算回路６４とアップサンプリングフィルタ６５の間に設けられる点で図１４の構成と異なる。すなわち、図１７の構成においては、加算回路６４により求められた差分画像がフィードバックゲインコントロール回路８１に供給され、この段階で差分画像に対してゲインの調整が行われるようになされている。
【０１５０】
このように、フィードバックゲインコントロール回路８１の挿入位置は逆方向動き補償回路６６の後段の位置に限定されるものではない。図１７に示されるように加算回路６４とアップサンプリングフィルタ６５の間にフィードバックゲインコントロール回路８１を挿入するとした場合、アップサンプリングフィルタ６５の機能とフィードバックゲインコントロール回路８１の機能を１つの回路によって実現するようにしてもよい。
【０１５１】
図１８は、超解像処理器５１nの他の構成例を示すブロック図である。図９の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０１５２】
図１８の超解像処理器５１nの構成は、動き補償回路６２の前段にテイストコントロール回路１０１が設けられ、逆方向動き補償回路６６の後段にテイストコントロール回路１０２が設けられる点で図９の構成と異なる。
【０１５３】
図１８に示されるように、フィードバック値の演算に用いられるSR画像は動きベクトル検出回路６１とテイストコントロール回路１０１に供給される。テイストコントロール回路１０１に対しては、ユーザによる操作に応じたテイストパラメータも供給される。テイストパラメータはテイストコントロール回路１０２にも供給される。
【０１５４】
テイストパラメータは、例えば、図１９に示されるようなGUI(Graphical User Interface)を用いてユーザにより調整された値を表すものであり、この値に応じて、処理に用いられるフィルタが選択され、選択されたフィルタに応じた画質のSR画像が超解像処理器５１nにより生成される。図１９の例においては、ユーザはスライドバー１１１をスライドさせることによって値を調整することができるようになされており、現在の調整値が表示部１１２に表示されている。
【０１５５】
図１８の説明に戻り、テイストコントロール回路１０１は、テイストパラメータに応じてフィルタを選択し、選択したフィルタを用いて、SR画像にフィルタリングを施す。テイストコントロール回路１０１は、フィルタリングを施して得られたSR画像を動き補償回路６２に出力する。
【０１５６】
後段の回路においては上述した処理と同様の処理が行われる。すなわち、動き補償回路６２においては、テイストコントロール回路１０１から供給されたSR画像に対して動き補償が施され、動き補償を施して得られた画像が、ダウンサンプリングフィルタ６３においてダウンサンプリングされる。加算回路６４においてはLRnとの差分を表す差分画像が生成され、差分画像をアップサンプリングフィルタ６５においてアップサンプリングした画像に対して、逆方向の動き補償が逆方向動き補償回路６６において施される。逆方向の動き補償を施して得られたSR画像はテイストコントロール回路１０２に供給される。
【０１５７】
テイストコントロール回路１０２は、テイストパラメータに応じてフィルタを選択し、選択したフィルタを用いて、逆方向動き補償回路６６から供給されたSR画像に対してフィルタリングを施す。テイストコントロール回路１０２は、フィルタリングを施して得られたSR画像をフィードバック値として加算回路５２nに出力する。
【０１５８】
図２０Ａ乃至Ｄは、テイストコントロール回路１０１，１０２において選択されるフィルタの特性の例を示す図である。
【０１５９】
図２０Ａ乃至Ｄに示される特性は、それぞれ、図１５Ａ乃至Ｄに示される特性と同じものであり、このようなフィルタの特性が、図２０Ａに示されるようにテイストパラメータに応じて調整される。
【０１６０】
例えば、加算回路５２nから出力されるSR画像の画質が、ぎらつき感が多いようなものであり、それを少なくするようにユーザが調整した場合、テイストコントロール回路１０２によりLPF(Low Pass Filter)が選択され、加算回路５２nから出力されるSR画像の画質がよりマイルドなものになるように調整される。
【０１６１】
ここで、図２１のフローチャートを参照して、図１８の構成を有する超解像処理器５１nにより行われるフィードバック値演算処理について説明する。
【０１６２】
図２１に示される処理は、画質を調整する処理が加えられている点を除いて図１１などを参照して説明した処理と同じである。
【０１６３】
ステップＳ５１において、テイストコントロール回路１０１は、テイストパラメータに応じてフィルタを選択し、選択したフィルタを用いて、供給されたSR画像に対してフィルタリングを施す（テイストコントロールを施す）。テイストコントロール回路１０１は、フィルタリングを施して得られたSR画像を動き補償回路６２に出力する。
【０１６４】
ステップＳ５２において、動きベクトル検出回路６１は、入力されたSR画像とLRnに基づいて動きベクトルを検出し、検出した動きベクトルを動き補償回路６２と逆方向動き補償回路６６に出力する。
【０１６５】
ステップＳ５３において、動き補償回路６２は、動きベクトル検出回路６１から供給された動きベクトルに基づいて、テイストコントロールが施され、テイストコントロール回路１０１から供給されたSR画像に動き補償を施し、動き補償を施して得られた画像をダウンサンプリングフィルタ６３に出力する。
【０１６６】
ステップＳ５４において、ダウンサンプリングフィルタ６３は、動き補償回路６２から供給された画像をダウンサンプリングすることによってLRnと同じ解像度の画像を生成し、生成した画像を加算回路６４に出力する。
【０１６７】
ステップＳ５５において、加算回路６４は、入力されたLRnと、ダウンサンプリング結果としてダウンサンプリングフィルタ６３から供給された画像の差分を表す差分画像を生成し、生成した差分画像をアップサンプリングフィルタ６５に出力する。
【０１６８】
ステップＳ５６において、アップサンプリングフィルタ６５は、加算回路６４から供給された画像をアップサンプリングすることによってSR画像と同じ解像度の画像を生成し、生成した画像を逆方向動き補償回路６６に出力する。
【０１６９】
ステップＳ５７において、逆方向動き補償回路６６は、動きベクトル検出回路６１から供給された動きベクトルに基づいて、アップサンプリング結果としてアップサンプリングフィルタ６５から供給された画像に逆方向の動き補償を施し、逆方向の動き補償を施して得られた画像をテイストコントロール回路１０２に出力する。
【０１７０】
ステップＳ５８において、テイストコントロール回路１０２は、テイストパラメータに応じてフィルタを選択し、選択したフィルタを用いて、逆方向動き補償回路６６から供給されたSR画像に対してフィルタリングを施す。テイストコントロール回路１０２は、フィルタリングを施して得られたSR画像をフィードバック値として加算回路５２nに出力する。その後、図１０のステップＳ２，Ｓ４，Ｓ６に戻り、それ以降の処理が行われる。
【０１７１】
図２２は、超解像処理器５１nのさらに他の構成例を示すブロック図である。図１８の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０１７２】
図２２の超解像処理器５１nの構成は、テイストコントロール回路１０１が、動き補償回路６２の前段ではなくダウンサンプリングフィルタ６３と加算回路６４の間に設けられる点と、テイストコントロール回路１０２が、逆方向動き補償回路６６の後段ではなく加算回路６４とアップサンプリングフィルタ６５の間に設けられる点で図１８の構成と異なる。
【０１７３】
すなわち、図２２の構成においては、ダウンサンプリングフィルタ６３により得られた画像がテイストコントロール回路１０１に供給され、LRnと同じ解像度の画像に対してフィルタリングが施されるようになされている。また、加算回路６４により求められた差分画像がテイストコントロール回路１０２に供給され、この段階で差分画像に対してフィルタリングが施されるようになされている。
【０１７４】
このように、テイストコントロール回路１０１は、差分画像を求める構成である加算回路６４より前段の位置であれば、超解像処理器５１n内のどの位置に設けられるようにしてもよい。また、テイストコントロール回路１０２は、加算回路６４より後段の位置であれば、超解像処理器５１n内のどの位置に設けられるようにしてもよい。例えば、DSF，USFとの合成フィルタによって、テイストコントロール回路１０１，１０２を実現することも可能である。
【０１７５】
なお、テイストコントロール回路１０１とテイストコントロール回路１０２のうち、いずれか一方だけが設けられるようにしてもよい。
【０１７６】
次に、動画の撮像機能を実現する構成について説明する。
【０１７７】
図２３は、撮像装置３１により行われる動画の撮像の概念を示す図である。
【０１７８】
図２３のLRn乃至LRn+5は撮像部４１により撮像されたLR画像であり、超解像処理に用いられる。撮像部４１においては、例えば、３０フレーム／秒のフレームレートでLR画像の撮像が行われる。
【０１７９】
図２３に示されるように、それぞれの超解像処理においては、１回目の処理を除いて、連続して撮像された３フレームのLR画像と、１フレームのSR画像が用いられる。例えば、１回目の超解像処理においては、LRn，LRn+1，LRn+2の３フレームのLR画像が用いられ、１フレームのSR画像であるSRnが生成される。
【０１８０】
また、２回目の超解像処理においては、LRn+1，LRn+2，LRn+3の３フレームのLR画像と、１回目の超解像処理によって生成されたSR画像であるSRnが用いられ、１フレームのSR画像であるSRn+1が生成される。
【０１８１】
３回目の超解像処理においては、LRn+2，LRn+3，LRn+4の３フレームのLR画像と、２回目の超解像処理によって生成されたSR画像であるSRn+1が用いられ、１フレームのSR画像であるSRn+2が生成される。
【０１８２】
このように、撮像装置３１においては、超解像処理によって生成されたSR画像が直後の超解像処理にも用いられ、これにより、例えば、図２４に示されるようにLR画像だけを用いて超解像処理を行う場合に較べて、処理を高速化することができるようになされている。
【０１８３】
図２４は、超解像処理を用いた従来の動画の撮像機能の概念を示す図であり、それぞれの超解像処理においては、連続して撮像された３フレームのLR画像だけが用いられている。例えば、１回目の超解像処理においては、LRn，LRn+1，LRn+2の３フレームのLR画像が用いられ、１フレームのSR画像であるSRnが生成されている。また、２回目の超解像処理においては、LRn+1，LRn+2，LRn+3の３フレームのLR画像が用いられ、１フレームのSR画像であるSRn+1が生成されている。
【０１８４】
図２５は、図２３に示されるように、連続して撮像された３フレームのLR画像と、直前の超解像処理によって得られた１フレームのSR画像を用いて超解像処理を行い、動画の撮像を実現する画像処理部４２の構成例を示すブロック図である。
【０１８５】
図２５の画像処理部４２は、基本的に、静止画の撮像を実現する図３の構成を動画の撮像を実現するものとして拡張したものである。
【０１８６】
図２５に示されるように、画像処理部４２は、超解像処理器２０１0乃至２０１2、動画適用処理回路２０２1，２０２2、合算回路２０３、加算回路２０４、スイッチ２０５、初期画像生成回路２０６、およびSR画像バッファ２０７から構成される。
【０１８７】
撮像して得られたLR画像であるLRnは超解像処理器２０１0、動画適用処理回路２０２1，２０２2、初期画像生成回路２０６に入力され、LRn+1は超解像処理器２０１1と動画適用処理回路２０２1に入力される。LRn+2は超解像処理器２０１2と動画適用処理回路２０２2に入力される。
【０１８８】
超解像処理器２０１0は、LRnと、SR画像バッファ２０７に記憶されているSR画像に基づいてフィードバック値演算処理を行い、フィードバック値を合算回路２０３に出力する。超解像処理器２０１0に入力されるLRnとSR画像には写っている内容に大きな差がなく、超解像処理器２０１0によって求められたフィードバック値により表されるSR画像は基本的に全ての画素の情報を加算処理に使うことができると考えられるから、超解像処理器２０１0の出力は、超解像処理器２０１1，２０１2の出力とは異なり、動画適用処理が施されることなく、そのまま合算回路２０３に出力される。
【０１８９】
超解像処理器２０１1は、LRn+1とSR画像バッファ２０７に記憶されているSR画像に基づいてフィードバック値演算処理を行い、SR画像を表すフィードバック値を動画適用処理回路２０２1に出力する。
【０１９０】
超解像処理器２０１2は、LRn+2とSR画像バッファ２０７に記憶されているSR画像に基づいてフィードバック値演算処理を行い、SR画像を表すフィードバック値を動画適用処理回路２０２2に出力する。
【０１９１】
動画適用処理回路２０２1は、超解像処理器２０１1から供給されたSR画像の画素のうち、SR画像バッファ２０７に記憶されているSR画像に加算するのに用いることができると判断した画素の情報だけをフィードバック値として合算回路２０３に出力する。
【０１９２】
例えば、SR画像バッファ２０７に記憶されているSR画像に加算したときに画質を落としてしまうと考えられる領域の画素はSR画像に加算するのに用いることができない画素として判断され、加算したときに画質の向上に貢献すると考えられる領域の画素だけが動画適用処理によって抽出される。動画の撮像においては、動きの大きいものが被写体になることが多く、フィードバック値演算処理内の１つの処理として動き補償を行ったときに被写体がぼけて写っている画像が得られてしまうことがあるから、この動画適用処理により、そのようにぼけて写っている領域の画素が除かれる。動画適用処理の詳細については後述する。
【０１９３】
動画適用処理回路２０２2は、超解像処理器２０１2から供給されたSR画像の画素のうち、SR画像バッファ２０７に記憶されているSR画像に加算するのに用いることができると判断した画素の情報だけをフィードバック値として合算回路２０３に出力する。
【０１９４】
合算回路２０３は、超解像処理器２０１0、動画適用処理回路２０２1，２０２2から供給されたフィードバック値を平均化し、平均化して求められた、SR画像と同じ解像度の画像を加算回路２０４に出力する。
【０１９５】
加算回路２０４は、SR画像バッファ２０７に記憶されているSR画像と合算回路２０３から供給されたSR画像を加算し、加算して得られたSR画像を出力する。加算回路２０４の出力は、超解像処理の結果として記録部４３に供給されるとともに、SR画像バッファ２０７に供給され、記憶される。
【０１９６】
スイッチ２０５は、初期画像生成回路２０６により初期画像が生成されたとき、端子ａに接続し、初期画像をSR画像バッファ２０７に記憶させる。また、スイッチ２０５は、加算回路２０４からSR画像が供給されたとき、端子ｂに接続し、SR画像をSR画像バッファ２０７に記憶させる。スイッチ２０５は、繰り返される超解像処理のうち、初回の超解像処理が行われるときに端子ａに接続し、２回目以降の超解像処理が行われるときに端子ｂに接続する。
【０１９７】
初期画像生成回路２０６は、撮像して得られたLRnと、超解像処理の処理結果として得られた直前のフレームのSR画像であるSRn-1に基づいて初期画像を生成し、生成した初期画像を、端子ａに接続させたスイッチ２０５を介してSR画像バッファ２０７に記憶させる。例えば、２フレーム目のSR画像を超解像処理によって生成しようとするとき、撮像して得られたLR2と、超解像処理の処理結果として得られたSR画像であるSR1が初期画像生成回路２０６に供給され、３フレーム目のSR画像を超解像処理によって生成しようとするとき、撮像して得られたLR3と、超解像処理の処理結果として得られたSR画像であるSR2が供給される。
【０１９８】
SR画像バッファ２０７は、初期画像生成回路２０６により生成された初期画像、または、加算回路２０４から出力されたSR画像を記憶する。
【０１９９】
図２６は、初期画像生成回路２０６の構成例を示すブロック図である。
【０２００】
図２６に示されるように、初期画像生成回路２０６は、アップサンプリング処理部２２１、動き補正部２２２、および画像生成部２２３から構成される。LRnはアップサンプリング処理部２２１に入力され、SRn-1は動き補正部２２２に入力される。
【０２０１】
アップサンプリング処理部２２１は、LRnを、SR画像と同じ解像度の画像にアップサンプリングし、アップサンプリングして得られた画像を動き補正部２２２と画像生成部２２３に出力する。
【０２０２】
動き補正部２２２は、SRn-1と、アップサンプリング処理部２２１から供給された、LRnのアップサンプリング結果に基づいて、LRnのアップサンプリング結果を基準として動きベクトルを検出し、検出した動きベクトルを用いてSRn-1に動き補償を施す。動き補正部２２２は、動き補償を施して得られた画像を画像生成部２２３に出力する。
【０２０３】
画像生成部２２３は、アップサンプリング処理部２２１から供給されたLRnのアップサンプリング結果と、動き補正部２２２から供給された動き補償の結果に基づいて初期画像を生成し、生成した初期画像をSR画像バッファ２０７に記憶させる。画像生成部２２３は、例えば、動き補正部２２２から供給されたSR画像のうちの動き補償をうまく行うことができない領域の画素を、同じ位置にある領域の、LRnのアップサンプリング結果のSR画像の画素で置き換えることによって初期画像を生成する。
【０２０４】
図２７Ａ乃至Ｃは、初期画像の生成の例を示す図である。
【０２０５】
図２７Ａの左側に示されるLRnはアップサンプリング処理部２２１に入力されるLR画像であり、右側に示されるSRn-1は動き補正部２２２に入力されるSR画像である。LRnとSRn-1の大きさの違いは解像度の違いを表す。LRnはSRn-1の生成に用いられたLRn-1の後に撮像されたものであるから、LRnに写る自動車の位置は、SRn-1に写る自動車の位置より進行方向に移動した位置になっている。LRnとSRn-1の背景はほぼ同じ風景である。
【０２０６】
例えば、このようなLRnがアップサンプリングされ、アップサンプリング結果とSRn-1を用いて動きベクトルが検出される。検出される動きベクトルは、SRn-1に写る自動車の位置から、LRnのアップサンプリング結果に写る自動車の位置に向かうベクトルとなる。そのような動きベクトルを用いてSRn-1に対して動き補償が施された場合、動き補償の結果として、図２７Ｂに示されるようなSR画像が得られる。
【０２０７】
図２７Ｂに示されるSR画像は、図２７ＡのSRn-1と較べて自動車の位置が進行方向に移動したものになっている。領域Ａ1は、SRn-1には写っていない背景の領域であり、この領域Ａ1が、動き補償をうまく行うことができない領域として抽出される。
【０２０８】
図２７Ｃに示されるSR画像は、図２７Ｂに示されるSR画像のうちの領域Ａ1の画素を、LRnのアップサンプリング結果のうちの領域Ａ1と同じ位置にある領域の画素で置き換えた画像である。このように、動き補償をうまく行うことができない領域の画素を、LRnのアップサンプリング結果の画素によって置き換えたSR画像が初期画像として用いられる。なお、図２７Ｃの初期画像に示される領域Ａ1を表す枠は説明の便宜上付しているものであり、実際に画像に写っているものではない。
【０２０９】
このような初期画像の生成が、繰り返し行われる超解像処理のうちの初回の超解像処理の開始時に行われる。
【０２１０】
図２８は、動画適用処理回路２０２1の構成例を示すブロック図である。
【０２１１】
図２８に示されるように、動画適用処理回路２０２1は、差分画像生成部２３１、二値化処理部２３２、拡大処理部２３３、およびマスク処理部２３４から構成される。
【０２１２】
撮像して得られたLRnとLRn+1は差分画像生成部２３１に入力され、超解像処理器２０１1によりフィードバック値演算処理が行われることによって得られたSR画像はマスク処理部２３４に入力される。
【０２１３】
差分画像生成部２３１は、LRnとLRn+1の差分を表す差分画像を求め、求めた差分画像を二値化処理部２３２に出力する。
【０２１４】
二値化処理部２３２は、差分画像生成部２３１から供給された差分画像に基づいて、例えば、LRnとLRn+1の差分がほとんどない領域を１、差分が閾値よりある領域を０で表す二値化画像を生成し、生成した二値化画像を拡大処理部２３３に出力する。
【０２１５】
拡大処理部２３３は、二値化処理部２３２により生成された二値化画像をSR画像と同じ解像度の画像に拡大し、マスク画像としてマスク処理部２３４に出力する。
【０２１６】
マスク処理部２３４は、拡大処理部２３３から供給されたマスク画像を用いて、超解像処理器２０１1から供給されたSR画像にマスク処理を施し、マスク処理を施した結果をフィードバック値として合算回路２０３に出力する。
【０２１７】
図２９Ａ乃至Ｃは、マスク画像の生成の例を示す図である。
【０２１８】
図２９Ａの左側に示されるLRn+1と右側に示されるLRnは差分画像生成部２３１に入力されるLR画像である。例えば、このようなLR画像から差分画像が求められ、二値化される。
【０２１９】
図２９Ｂは二値化画像の例を示す図であり、二値化画像全体のうち、領域Ａ11は、LRn+1とLRnのいずれのLR画像にも背景が写っている領域に対応する領域であり、差分がほとんどないから、この領域が１で表される。
【０２２０】
一方、領域Ａ12は、LRn+1においては自動車が写っている領域、LRnにおいては背景が写っている領域にそれぞれ対応する領域であるから、差分があり、この領域が０で表される。領域Ａ13は、LRn+1においては背景が写っている領域、LRnにおいては自動車が写っている領域にそれぞれ対応する領域であるから、差分があり、この領域も０で表される。
【０２２１】
図２９Ｃに示されるSR画像は、図２９Ｂに示される二値化画像をSR画像と同じ解像度の画像に拡大して得られたマスク画像である。フィードバック値演算処理により得られたSR画像に対して、このようなマスク画像を用いたマスク処理が施される。マスク処理により、フィードバック値演算処理により得られたSR画像のうち、図２９Ｃのマスク画像において黒色で表される領域に対応する領域の画素が０で置き換えられ、そのように一部が０で置き換えられたSR画像がフィードバック値として合算回路２０３に出力される。
【０２２２】
このようなマスク処理がフィードバック値演算処理の結果に施されることにより、動きのはげしい被写体の領域の画素の情報がフィードバックされ、SR画像バッファ２０７に記憶されているSR画像に加えられるのを防ぐことができる。動きのはげしい被写体の領域は、被写体ぶれを起こしている可能性があるから、そのような領域の画素の情報がフィードバックされるのを防ぐことにより、SR画像の画質が劣化するのを防ぐことができる。
【０２２３】
なお、動画適用処理回路２０２2も図２８の構成と同じ構成を有している。動画適用処理回路２０２2においては、LRn+1に替えてLRn+2が用いられ、上述した処理と同様の処理が行われる。
【０２２４】
ここで、図３０のフローチャートを参照して、図２５の構成を有する画像処理部４２により行われる動画撮像時の超解像処理について説明する。
【０２２５】
この処理は、撮像部４１により動画の撮像が行われ、LRnが超解像処理器２０１0、動画適用処理回路２０２1，２０２2、および初期画像生成回路２０６に入力され、LRn+1が超解像処理器２０１1と動画適用処理回路２０２1に入力され、LRn+2が超解像処理器２０１2と動画適用処理回路２０２2に入力されたときに開始される。
【０２２６】
ステップＳ１０１において、初期画像生成回路２０６は初期画像生成処理を実行し、生成した初期画像をSR画像バッファ２０７に記憶させる。初期画像生成処理については図３１のフローチャートを参照して後述する。
【０２２７】
ステップＳ１０２において、超解像処理器２０１0乃至２０１2は、それぞれ、LR画像とSR画像バッファ２０７に記憶されているSR画像に基づいてフィードバック値演算処理を行い、フィードバック値を出力する。
【０２２８】
超解像処理器２０１0においてはLRnとSR画像に基づいて、超解像処理器２０１1においてはLRn+1とSR画像に基づいて、超解像処理器２０１2においてはLRn+2とSR画像に基づいて、それぞれ、図１１を参照して説明した処理と同様の処理が行われる。超解像処理器２０１0から出力されたフィードバック値は合算回路２０３に入力され、超解像処理器２０１1から出力されたフィードバック値は動画適用処理回路２０２1に入力される。超解像処理器２０１2から出力されたフィードバック値は動画適用処理回路２０２2に入力される。
【０２２９】
ステップＳ１０３において、動画適用処理回路２０２1，２０２2は、それぞれ動画適用処理を行い、動画適用処理によって得られたフィードバック値を合算回路２０３に出力する。動画適用処理については図３２のフローチャートを参照して後述する。
【０２３０】
ステップＳ１０４において、合算回路２０３は、超解像処理器２０１0、動画適用処理回路２０２1，２０２2から供給されたフィードバック値を合算し、合算した結果を加算回路２０４に出力する。
【０２３１】
ステップＳ１０５において、加算回路２０４は、合算回路２０３から供給されたフィードバック値により表されるSR画像を、SR画像バッファ２０７に記憶されているSR画像に加算する。
【０２３２】
ステップＳ１０６において、加算回路２０４は、加算して得られたSR画像を記録部４３に出力するとともに、SR画像バッファ２０７に供給し、記憶させる。
【０２３３】
画像処理部４２から出力されたSR画像の解像度が十分な解像度を有していると判断されるまで、ステップＳ１０２以降の処理が繰り返される。
【０２３４】
次に、図３１のフローチャートを参照して、図３０のステップＳ１０１において行われる初期画像生成処理について説明する。
【０２３５】
ステップＳ１１１において、初期画像生成回路２０６のアップサンプリング処理部２２１は、LRnを、SR画像と同じ解像度の画像にアップサンプリングし、アップサンプリングして得られた画像を動き補正部２２２と画像生成部２２３に出力する。
【０２３６】
ステップＳ１１２において、動き補正部２２２は、SRn-1と、アップサンプリング処理部２２１から供給された、LRnのアップサンプリング結果に基づいて動きベクトルを検出する。
【０２３７】
ステップＳ１１３において、動き補正部２２２は、検出した動きベクトルを用いてSRn-1に動き補償を施し、得られた画像を画像生成部２２３に出力する。
【０２３８】
ステップＳ１１４において、画像生成部２２３は、アップサンプリング処理部２２１から供給されたLRnのアップサンプリング結果のSR画像と、動き補正部２２２から供給された動き補償の結果のSR画像を比較し、動き補償の結果のSR画像のうち、動き補償を行うことができない領域を抽出する。
【０２３９】
ステップＳ１１５において、画像生成部２２３は、ステップＳ１１４で抽出した領域の画素を、同じ位置にある領域の、LRnのアップサンプリング結果のSR画像の画素で置き換えることによって初期画像を生成する。その後、図３０のステップＳ１０１に戻り、それ以降の処理が行われる。
【０２４０】
次に、図３２のフローチャートを参照して、図３０のステップＳ１０３において行われる動画適用処理について説明する。ここでは、動画適用処理回路２０２1が行う処理について説明する。同様の処理が動画適用処理回路２０２2においても行われる。
【０２４１】
ステップＳ１２１において、動画適用処理回路２０２1の差分画像生成部２３１は、LRnとLRn+1の差分を表す差分画像を求め、求めた差分画像を二値化処理部２３２に出力する。
【０２４２】
ステップＳ１２２において、二値化処理部２３２は、差分画像生成部２３１から供給された差分画像に基づいて、例えば、LRnとLRn+1の差分がほとんどない領域を１、差分が閾値よりある領域を０で表す二値化画像を生成し、生成した二値化画像を拡大処理部２３３に出力する。
【０２４３】
ステップＳ１２３において、拡大処理部２３３は、二値化処理部２３２により生成された二値化画像をSR画像と同じ解像度（サイズ）の画像に拡大し、マスク画像としてマスク処理部２３４に出力する。
【０２４４】
ステップＳ１２４において、マスク処理部２３４は、拡大処理部２３３から供給されたマスク画像を用いて、超解像処理器２０１1から供給されたSR画像にマスク処理を施し、マスク処理を施した結果をフィードバック値として合算回路２０３に出力する。
【０２４５】
図３３は、動画適用処理回路２０２1の他の構成例を示すブロック図である。
【０２４６】
図２５の例においては、動画適用処理に用いられるLR画像として、LRnが動画適用処理回路２０２1，２０２2に、LRn+1が動画適用処理回路２０２1に、LRn+2が動画適用処理回路２０２2にそれぞれ入力されるものとしたが、LRnに替えて、SR画像バッファ２０７に記憶されているSR画像が入力されるようにすることも可能である。
【０２４７】
図３３の例においては、動画適用処理回路２０２1は、アップサンプリング処理部２４１、差分画像生成部２４２、二値化処理部２４３、およびマスク処理部２４４から構成されており、撮像して得られたLRn+1はアップサンプリング処理部２４１に入力され、SR画像バッファ２０７に記憶されているSR画像は差分画像生成部２４２に入力される。超解像処理器２０１1によりフィードバック値演算処理が行われることによって得られたSR画像はマスク処理部２４４に入力される。
【０２４８】
アップサンプリング処理部２４１は、LRn+1をSR画像と同じ解像度の画像にアップサンプリングし、アップサンプリングして得られた画像を差分画像生成部２４２に出力する。
【０２４９】
差分画像生成部２４２は、LRn+1のアップサンプリング結果とSR画像の差分を表す差分画像を求め、求めた差分画像を二値化処理部２４３に出力する。
【０２５０】
二値化処理部２４３は、差分画像生成部２４２から供給された差分画像に基づいて、例えば、LRn+1のアップサンプリング結果とSR画像の差分がほとんどない領域を１、差分が閾値よりある領域を０で表す二値化画像を生成し、生成した二値化画像をマスク画像としてマスク処理部２４４に出力する。
【０２５１】
マスク処理部２４４は、二値化処理部２４３から供給されたマスク画像を用いて、超解像処理器２０１1から供給されたSR画像に対してマスク処理を施し、マスク処理を施した結果をフィードバック値として合算回路２０３に出力する。
【０２５２】
図３４Ａ乃至Ｃは、マスク画像の生成の例を示す図である。
【０２５３】
図３４Ａの左側に示されるLRn+1はアップサンプリング処理部２４１に入力されるLR画像であり、右側に示されるSR画像は差分画像生成部２４２に入力されるSR画像である。例えば、このようなLR画像がアップサンプリングされ、アップサンプリングの結果とSR画像から差分画像が求められ、二値化される。
【０２５４】
図３４Ｂは二値化画像の例を示す図であり、二値化画像全体のうち、領域Ａ21は、LRn+1のアップサンプリング結果とSR画像のいずれの画像にも背景が写っている領域に対応する領域であり、差分がほとんどないから、この領域が１で表される。
【０２５５】
一方、領域Ａ22は、LRn+1のアップサンプリング結果においては自動車が写っている領域、SR画像においては背景が写っている領域にそれぞれ対応する領域であるから、差分があり、この領域が０で表される。領域Ａ23は、LRn+1のアップサンプリング結果においては背景が写っている領域、SR画像においては自動車が写っている領域にそれぞれ対応する領域であるから、差分があり、この領域も０で表される。
【０２５６】
図３４Ｃに示されるSR画像は、図３４Ｂに示される二値化画像から得られたマスク画像である。超解像処理器２０１1により得られたSR画像に対して、このようなマスク画像を用いたマスク処理が施される。マスク処理により、フィードバック値演算処理により得られたSR画像のうち、図３４Ｃのマスク画像において黒色で表される領域に対応する領域の画素が０で置き換えられ、そのように一部が０で置き換えられたSR画像がフィードバック値として合算回路２０３に出力される。
【０２５７】
このようなマスク処理がフィードバック値演算処理の結果に対して施されることによっても、動きのはげしい被写体の領域の画素の情報がフィードバック値として用いられるのを防ぐことができる。
【０２５８】
動画適用処理回路２０２2も図３３の構成と同じ構成を有するようにすることができる。この場合、動画適用処理回路２０２2においては、LRn+1に替えてLRn+2が用いられ、上述した処理と同様の処理が行われる。
【０２５９】
次に、図３５のフローチャートを参照して、図３３の構成を有する動画適用処理回路２０２1によって行われる動画適用処理について説明する。
【０２６０】
この処理は、図３０のステップＳ１０３において行われる処理である。ここでは、動画適用処理回路２０２1が行う処理について説明する。同様の処理が動画適用処理回路２０２2においても行われる。
【０２６１】
ステップＳ１３１において、アップサンプリング処理部２４１は、LRn+1をSR画像と同じ解像度の画像にアップサンプリングし、アップサンプリングして得られた画像を差分画像生成部２４２に出力する。
【０２６２】
ステップＳ１３２において、差分画像生成部２４２は、LRn+1のアップサンプリング結果とSR画像の差分を表す差分画像を求め、求めた差分画像を二値化処理部２４３に出力する。
【０２６３】
ステップＳ１３３において、二値化処理部２４３は、差分画像生成部２４２から供給された差分画像を二値化することによってマスク画像を生成し、生成したマスク画像をマスク処理部２４４に出力する。
【０２６４】
ステップＳ１３４において、マスク処理部２４４は、二値化処理部２４３から供給されたマスク画像を用いて、超解像処理器２０１1から供給されたSR画像にマスク処理を施し、マスク処理を施した結果をフィードバック値として合算回路２０３に出力する。
【０２６５】
図３６は、動画の撮像を実現する画像処理部４２の他の構成例を示すブロック図である。
【０２６６】
図３６の画像処理部４２においては、連続して撮像された３フレームのLR画像と、直前の加算処理によって得られた１フレームのSR画像を用いてそれぞれの加算処理が行われる。図２５の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０２６７】
図３６の例においては、画像処理部４２は、超解像処理器２０１0乃至２０１2、動画適用処理回路２０２1，２０２2、加算回路２５１0乃至２５１2、スイッチ２０５、初期画像生成回路２０６、およびSR画像バッファ２０７から構成される。
【０２６８】
図３６の画像処理部４２は、ガウスザイデル法を用いた超解像処理によってSR画像を生成する図８の構成を動画の撮像を実現するものとして拡張したものである。
【０２６９】
撮像部４１から供給されたLR画像であるLRnは超解像処理器２０１0、動画適用処理回路２０２1，２０２2、および初期画像生成回路２０６に入力され、LRn+1は超解像処理器２０１1と動画適用処理回路２０２1に入力される。また、LRn+2は超解像処理器２０１2と動画適用処理回路２０２2に入力される。LRn乃至LRn+2は連続して撮像されたLR画像である。
【０２７０】
超解像処理器２０１0は、LRnと、SR画像バッファ２０７に記憶されているSR画像に基づいてフィードバック値演算処理を行い、フィードバック値を加算回路２５１0に出力する。
【０２７１】
加算回路２５１0は、SR画像バッファ２０７に記憶されているSR画像と超解像処理器２０１0から供給されたフィードバック値により表されるSR画像を加算し、加算して得られた１フレームのSR画像を１回目の加算処理の結果として出力する。加算回路２５１0から出力されたSR画像は超解像処理器２０１1と加算回路２５１1に入力される。
【０２７２】
超解像処理器２０１1は、LRn+1と、加算回路２５１0から供給されたSR画像に基づいてフィードバック値演算処理を行い、フィードバック値を動画適用処理回路２０２1に出力する。
【０２７３】
動画適用処理回路２０２1は、超解像処理器２０１1から供給されたSR画像の画素のうち、SR画像に加算するのに用いることができると判断した画素の情報だけをフィードバック値として加算回路２５１1に出力する。
【０２７４】
加算回路２５１1は、加算回路２５１0から供給されたSR画像と動画適用処理回路２０２1から供給されたフィードバック値により表されるSR画像を加算し、加算して得られた１フレームのSR画像を２回目の加算処理の結果として出力する。加算回路２５１1から出力されたSR画像は超解像処理器２０１2と加算回路２５１2に入力される。
【０２７５】
超解像処理器２０１2は、LRn+2と、加算回路２５１1から供給されたSR画像に基づいてフィードバック値演算処理を行い、フィードバック値を動画適用処理回路２０２2に出力する。
【０２７６】
加算回路２５１2は、加算回路２５１1から供給されたSR画像と動画適用処理回路２０２2から供給されたフィードバック値により表されるSR画像を加算し、加算して得られた１フレームのSR画像を超解像処理の結果として出力する。加算回路２５１2から出力されたSR画像は、記録部４３に入力されるとともに、スイッチ２０５を介してSR画像バッファ２０７に供給され、記憶される。
【０２７７】
スイッチ２０５は、初期画像生成回路２０６により初期画像が生成されたとき、端子ａに接続し、初期画像をSR画像バッファ２０７に記憶させる。また、スイッチ２０５は、加算回路２５１2からSR画像が供給されたとき、端子ｂに接続し、SR画像をSR画像バッファ２０７に記憶させる。
【０２７８】
初期画像生成回路２０６は、超解像処理を開始するとき、例えば、図３１を参照して説明したようにして初期画像を生成し、生成した初期画像を、端子ａに接続させたスイッチ２０５を介してSR画像バッファ２０７に記憶させる。
【０２７９】
SR画像バッファ２０７は、初期画像生成回路２０６により生成された初期画像、または、加算回路２５１2から供給されたSR画像を記憶する。
【０２８０】
図３６の例においては、１フレームのSR画像と、３フレームのLR画像が用いられて一連の超解像処理が行われるものとしたが、超解像処理に用いられるLR画像の数は任意である。
【０２８１】
例えば、それぞれの超解像処理が、図３７に示されるように、直前の超解像処理によって生成された１フレームのSR画像と、２フレームのLR画像が用いられることによって行われるようにすることも可能であるし、図３８に示されるように、直前の超解像処理によって生成された１フレームのSR画像と、１フレームのLR画像が用いられることによって行われるようにすることも可能である。
【０２８２】
図３７の例においては、それぞれの超解像処理は、１回目の処理を除いて、連続して撮像された２フレームのLR画像と、１フレームのSR画像が用いられることによって行われている。１回目の超解像処理においては、LRn，LRn+1の２フレームのLR画像が用いられ、１フレームのSR画像であるSRnが生成されている。
【０２８３】
また、２回目の超解像処理においては、LRn+1，LRn+2の２フレームのLR画像と、１回目の超解像処理によって得られたSR画像であるSRnが用いられ、１フレームのSR画像であるSRn+1が生成されている。
【０２８４】
３回目の超解像処理においては、LRn+2，LRn+3の２フレームのLR画像と、２回目の超解像処理によって得られたSR画像であるSRn+1が用いられ、１フレームのSR画像であるSRn+2が生成されている。
【０２８５】
図３８の例においては、それぞれの超解像処理は、１回目の処理を除いて、１フレームのLR画像と、１フレームのSR画像が用いられることによって行われている。１回目の超解像処理においては、LRnの１フレームのLR画像が用いられ、１フレームのSR画像であるSRnが生成されている。例えば、LRnがSR画像と同じ解像度の画像にアップサンプリングされることによってSRnが生成される。
【０２８６】
また、２回目の超解像処理においては、LRn+1の１フレームのLR画像と、１回目の超解像処理によって得られたSR画像であるSRnが用いられ、１フレームのSR画像であるSRn+1が生成されている。
【０２８７】
３回目の超解像処理においては、LRn+2の１フレームのLR画像と、２回目の超解像処理によって得られたSR画像であるSRn+1が用いられ、１フレームのSR画像であるSRn+2が生成されている。
【０２８８】
図３９は、図３８に示されるように、１フレームのLR画像と１フレームのSR画像を用いてそれぞれの超解像処理を行い、動画の撮像を実現する画像処理部４２のさらに他の構成例を示すブロック図である。図３６の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０２８９】
図３９の画像処理部４２は、基本的に、２回目のフィードバック値演算処理、加算処理を行うための構成である超解像処理器２０１1、動画適用処理回路２０２1、加算回路２５１1と、３回目のフィードバック値演算処理、加算処理を行うための構成である超解像処理器２０１2、動画適用処理回路２０２2、加算回路２５１2が除かれている点を除いて、図３６の構成と同じ構成を有している。
【０２９０】
超解像処理器２０１0は、LRnと、SR画像バッファ２０７に記憶されているSR画像に基づいてフィードバック値演算処理を行い、フィードバック値演算処理の結果を加算回路２５１0に出力する。
【０２９１】
加算回路２５１0は、SR画像バッファ２０７に記憶されているSR画像と超解像処理器２０１0から供給されたフィードバック値により表されるSR画像を加算し、加算して得られたSR画像を出力する。加算回路２５１0から出力されたSR画像は、超解像処理の結果として記録部４３に供給されるとともに、スイッチ２０５を介してSR画像バッファ２０７に供給され、記憶される。
【０２９２】
このように、１回の超解像処理に用いるLR画像の数を減らすことにより、超解像処理を高速化することが可能となる。
【０２９３】
なお、図３７に示されるように、１フレームのSR画像と、２フレームのLR画像を用いて超解像処理を行う画像処理部４２は、図３６の画像処理部４２の構成に対して、３回目のフィードバック値演算処理、加算処理を行うための構成である超解像処理器２０１2、動画適用処理回路２０２2、加算回路２５１2を除いたものになる。
【０２９４】
以上においては、LR画像と、直前の超解像処理によって生成されたSR画像が用いられてそれぞれの超解像処理が行われるものとしたが、撮像部４１が、動画の撮像中に静止画の撮像を行うことができる機能を有している場合、LR画像と、それと同じタイミングで撮像された１フレームの静止画を用いて超解像処理が行われるようにしてもよい。この場合、動画の撮像中に撮像された静止画の解像度はLR画像の解像度より大きいものとされる。
【０２９５】
図４０は、LR画像と、動画の撮像中に撮像された１フレームの静止画を用いて行われる超解像処理の概念を示す図である。
【０２９６】
図４０の例においては、４回目の超解像処理が、LRn+3，LRn+4，LRn+5の３フレームのLR画像と、LRn+3の撮像と同時に撮像された１フレームの静止画である静止画n+3を用いて行われている。
【０２９７】
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【０２９８】
図４１は、上述した一連の処理をプログラムにより実行するパーソナルコンピュータの構成の例を示すブロック図である。
【０２９９】
CPU(Central Processing Unit)３０１は、ROM(Read Only Memory)３０２、または記憶部３０８に記憶されているプログラムに従って各種の処理を実行する。RAM(Random Access Memory)３０３には、CPU３０１が実行するプログラムやデータなどが適宜記憶される。これらのCPU３０１、ROM３０２、およびRAM３０３は、バス３０４により相互に接続されている。
【０３００】
CPU３０１にはまた、バス３０４を介して入出力インタフェース３０５が接続されている。入出力インタフェース３０５には、キーボード、マウス、マイクロホンなどよりなる入力部３０６、ディスプレイ、スピーカなどよりなる出力部３０７が接続されている。CPU３０１は、入力部３０６から入力される指令に対応して各種の処理を実行する。そして、CPU３０１は、処理の結果を出力部３０７に出力する。
【０３０１】
入出力インタフェース３０５に接続されている記憶部３０８は、例えばハードディスクからなり、CPU３０１が実行するプログラムや各種のデータを記憶する。通信部３０９は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。
【０３０２】
入出力インタフェース３０５に接続されているドライブ３１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア３１１が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記憶部３０８に転送され、記憶される。
【０３０３】
コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム記録媒体は、図４１に示すように、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)，DVD(Digital Versatile Disc)を含む）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア３１１、または、プログラムが一時的もしくは永続的に格納されるROM３０２や、記憶部３０８を構成するハードディスクなどにより構成される。プログラム記録媒体へのプログラムの格納は、必要に応じてルータ、モデムなどのインタフェースである通信部３０９を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。
【０３０４】
なお、本明細書において、プログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０３０５】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【０３０６】
【図１】超解像の原理を示す図である。
【図２】超解像の原理を示す他の図である。
【図３】従来の画像処理装置の構成例を示すブロック図である。
【図４】超解像処理器の構成例を示すブロック図である。
【図５】本発明の一実施形態に係る撮像装置を示す図である。
【図６】超解像処理の例を示す図である。
【図７】撮像装置の構成例を示すブロック図である。
【図８】画像処理部の構成例を示すブロック図である。
【図９】超解像処理器の構成例を示すブロック図である。
【図１０】撮像装置の超解像処理について説明するフローチャートである。
【図１１】図１０のステップＳ２において行われるフィードバック値演算処理について説明するフローチャートである。
【図１２】画像処理部の他の構成例を示すブロック図である。
【図１３】撮像装置の他の超解像処理について説明するフローチャートである。
【図１４】超解像処理器の他の構成例を示すブロック図である。
【図１５】ゲイン調整の特性の例を示す図である。
【図１６】他のフィードバック値演算処理について説明するフローチャートである。
【図１７】超解像処理器のさらに他の構成例を示すブロック図である。
【図１８】超解像処理器の他の構成例を示すブロック図である。
【図１９】GUIの例を示す図である。
【図２０】フィルタの特性の例を示す図である。
【図２１】さらに他のフィードバック値演算処理について説明するフローチャートである。
【図２２】超解像処理器の他の構成例を示すブロック図である。
【図２３】動画の撮像の概念を示す図である。
【図２４】従来の動画の撮像の概念を示す図である。
【図２５】画像処理部のさらに他の構成例を示すブロック図である。
【図２６】初期画像生成回路の構成例を示すブロック図である。
【図２７】初期画像の生成の例を示す図である。
【図２８】動画適用処理回路の構成例を示すブロック図である。
【図２９】マスク画像の生成の例を示す図である。
【図３０】動画撮像時の超解像処理について説明するフローチャートである。
【図３１】図３０のステップＳ１０１において行われる初期画像生成処理について説明するフローチャートである。
【図３２】図３０のステップＳ１０３において行われる動画適用処理について説明するフローチャートである。
【図３３】動画適用処理回路の他の構成例を示すブロック図である。
【図３４】マスク画像の生成の他の例を示す図である。
【図３５】他の動画適用処理について説明するフローチャートである。
【図３６】画像処理部のさらに他の構成例を示すブロック図である。
【図３７】超解像処理の例を示す図である。
【図３８】超解像処理の他の例を示す図である。
【図３９】画像処理部の他の構成例を示すブロック図である。
【図４０】超解像処理のさらに他の例を示す図である。
【図４１】パーソナルコンピュータの構成例を示すブロック図である。
【符号の説明】
【０３０７】
３１  撮像装置，  ４１  撮像部，  ４２  画像処理部，  ４３  記録部，  ５１0乃至５１2  超解像処理器，  ５２0乃至５２2  加算回路，  ５３  スイッチ，  ５４  初期画像生成回路，  ５５  SR画像バッファ，  ６１  動きベクトル検出回路，  ６２  動き補償回路，  ６３  ダウンサンプリングフィルタ，  ６４  加算回路，  ６５  アップサンプリングフィルタ，  ６６  逆方向動き補償回路
【図１】
2008140012.tif 000004
【図２】
2008140012.tif 000005
【図３】
2008140012.tif 000006
【図４】
2008140012.tif 000007
【図５】
2008140012.tif 000008
【図６】
2008140012.tif 000009
【図７】
2008140012.tif 000010
【図８】
2008140012.tif 000011
【図９】
2008140012.tif 000012
【図１０】
2008140012.tif 000013
【図１１】
2008140012.tif 000014
【図１２】
2008140012.tif 000015
【図１３】
2008140012.tif 000016
【図１４】
2008140012.tif 000017
【図１５】
2008140012.tif 000018
【図１６】
2008140012.tif 000019
【図１７】
2008140012.tif 000020
【図１８】
2008140012.tif 000021
【図１９】
2008140012.tif 000022
【図２０】
2008140012.tif 000023
【図２１】
2008140012.tif 000024
【図２２】
2008140012.tif 000025
【図２３】
2008140012.tif 000026
【図２４】
2008140012.tif 000027
【図２５】
2008140012.tif 000028
【図２６】
2008140012.tif 000029
【図２７】
2008140012.tif 000030
【図２８】
2008140012.tif 000031
【図２９】
2008140012.tif 000032
【図３０】
2008140012.tif 000033
【図３１】
2008140012.tif 000034
【図３２】
2008140012.tif 000035
【図３３】
2008140012.tif 000036
【図３４】
2008140012.tif 000037
【図３５】
2008140012.tif 000038
【図３６】
2008140012.tif 000039
【図３７】
2008140012.tif 000040
【図３８】
2008140012.tif 000041
【図３９】
2008140012.tif 000042
【図４０】
2008140012.tif 000043
【図４１】
2008140012.tif 000044