(57)【要約】【課題】超解像処理とノイズ低減処理を併せて実行する装置および方法を提供する。【解決手段】低解像度画像を入力し、高解像度化としての超解像処理を実行する構成において、ノイズ低減処理も併せて実行する。入力画像を、高い解像度の画像の持つ画素数に合わせるアップサンプル処理を実行し、アップサンプル画像と、第２の解像度を持つ参照画像との差分情報を利用して、参照画像を前記アップサンプル画像の被写体位置に合わせる補正処理により動き補償画像を生成する。この動き補償画像とアップサンプル画像、または動き補償画像とアップサンプル画像をブレンドしたブレンド画像とアップサンプル画像を入力し、例えば統合フィルタ処理と演算処理によって超解像処理とノイズ低減処理を併せて実行した画像を生成する。【選択図】図７
2011237997.tif 000002
【特許請求の範囲】
【請求項１】
第１の解像度の入力画像を、前記第１の解像度より高い第２の解像度の画像の持つ画素数に合わせるアップサンプル処理を実行するアップサンプル部と、
前記アップサンプル画像と、前記第２の解像度を持つ参照画像との差分情報を利用して、前記参照画像を前記アップサンプル画像の被写体位置に合わせる補正処理により動き補償画像を生成する動き補償画像生成部と、
前記アップサンプル画像と前記動き補償画像を画像領域単位で比較し、領域単位の画素値一致度が高い領域ほど参照画像のブレンド比率を高く設定して、前記アップサンプル画像と前記参照画像とのブレンド処理を実行してブレンド画像を生成するブレンド処理部と、
前記ブレンド画像、および前記アップサンプル画像を入力して、前記入力画像の高解像度化処理としての超解像処理と、前記入力画像のノイズ低減処理を実行し、超解像処理画像とノイズ低減処理画像のブレンド画像を生成する出力画像生成部を有する画像処理装置。
【請求項２】
第１の解像度の入力画像を、前記第１の解像度より高い第２の解像度の画像の持つ画素数に合わせるアップサンプル処理を実行するアップサンプル部と、
前記アップサンプル画像と、前記第２の解像度を持つ参照画像との差分情報を利用して、前記参照画像を前記アップサンプル画像の被写体位置に合わせる補正処理により動き補償画像を生成する動き補償画像生成部と、
前記動き補償画像、および前記アップサンプル画像を入力して、前記入力画像の高解像度化処理としての超解像処理と、前記入力画像のノイズ低減処理を実行し、超解像処理画像とノイズ低減処理画像のブレンド画像を生成する出力画像生成部を有する画像処理装置。
【請求項３】
前記出力画像生成部は、
前記ブレンド画像、または前記動き補償画像を前記第１の解像度の構成画素数まで低下させるダウンサンプル処理と、前記第２の解像度の画素数に合わせるアップサンプル処理を実行する統合フィルタと、
演算部によって構成され、
前記演算部は、
前記ブレンド画像、または前記動き補償画像と、前記統合フィルタの出力と、前記アップサンプル部の出力とを入力とした演算処理を実行して、超解像処理画像とノイズ低減処理画像のブレンド画像を生成する請求項１または２に記載の画像処理装置。
【請求項４】
前記統合フィルタは、位相ごとに異なる値を畳み込むポリフェーズフィルタによって構成される請求項３に記載の画像処理装置。
【請求項５】
前記出力画像生成部は、
超解像処理画像とノイズ低減処理画像のブレンド比率を前記演算部に入力するパラメータによって設定する構成である請求項１または２に記載の画像処理装置。
【請求項６】
前記出力画像生成部は、
超解像処理画像とノイズ低減処理画像のブレンド比率を、
（ａ）入力画像の画像領域単位で算出したＩＳＯ感度、
（ｂ）前記アップサンプル部における入力画像に対する画像拡大比率、
（ｃ）入力画像の画像領域単位の画素値の分散値、
少なくとも上記（ａ）〜（ｃ）のいずれかに応じて調整する処理を実行する請求項５に記載の画像処理装置。
【請求項７】
画像処理装置において実行する画像処理方法であり、
アップサンプル部が、第１の解像度の入力画像を、前記第１の解像度より高い第２の解像度の画像の持つ画素数に合わせるアップサンプル処理を実行するアップサンプル処理ステップと、
動き補償画像生成部が、前記アップサンプル画像と、前記第２の解像度を持つ参照画像との差分情報を利用して、前記参照画像を前記アップサンプル画像の被写体位置に合わせる補正処理により動き補償画像を生成する動き補償画像生成ステップと、
ブレンド処理部が、前記アップサンプル画像と前記動き補償画像を画像領域単位で比較し、領域単位の画素値一致度が高い領域ほど参照画像のブレンド比率を高く設定して、前記アップサンプル画像と前記参照画像とのブレンド処理を実行してブレンド画像を生成するブレンド処理ステップと、
出力画像生成部が、前記ブレンド画像、および前記アップサンプル画像を入力して、前記入力画像の高解像度化処理としての超解像処理と、前記入力画像のノイズ低減処理を実行し、超解像処理画像とノイズ低減処理画像のブレンド画像を生成する出力画像生成ステップを実行する画像処理方法。
【請求項８】
画像処理装置において実行する画像処理方法であり、
アップサンプル部が、第１の解像度の入力画像を、前記第１の解像度より高い第２の解像度の画像の持つ画素数に合わせるアップサンプル処理を実行するアップサンプル処理ステップと、
動き補償画像生成部が、前記アップサンプル画像と、前記第２の解像度を持つ参照画像との差分情報を利用して、前記参照画像を前記アップサンプル画像の被写体位置に合わせる補正処理により動き補償画像を生成する動き補償画像生成ステップと、
出力画像生成部が、前記動き補償画像、および前記アップサンプル画像を入力して、前記入力画像の高解像度化処理としての超解像処理と、前記入力画像のノイズ低減処理を実行し、超解像処理画像とノイズ低減処理画像のブレンド画像を生成する出力画像生成ステップを実行する画像処理方法。
【請求項９】
画像処理装置において画像処理を実行させるプログラムであり、
アップサンプル部に、第１の解像度の入力画像を、前記第１の解像度より高い第２の解像度の画像の持つ画素数に合わせるアップサンプル処理を実行させるアップサンプル処理ステップと、
動き補償画像生成部に、前記アップサンプル画像と、前記第２の解像度を持つ参照画像との差分情報を利用して、前記参照画像を前記アップサンプル画像の被写体位置に合わせる補正処理により動き補償画像を生成させる動き補償画像生成ステップと、
ブレンド処理部に、前記アップサンプル画像と前記動き補償画像を画像領域単位で比較し、領域単位の画素値一致度が高い領域ほど参照画像のブレンド比率を高く設定して、前記アップサンプル画像と前記参照画像とのブレンド処理を実行してブレンド画像を生成させるブレンド処理ステップと、
出力画像生成部に、前記ブレンド画像、および前記アップサンプル画像を入力して、前記入力画像の高解像度化処理としての超解像処理と、前記入力画像のノイズ低減処理を実行し、超解像処理画像とノイズ低減処理画像のブレンド画像を生成する出力画像生成ステップを実行させるプログラム。
【請求項１０】
画像処理装置において画像処理を実行させるプログラムであり、
アップサンプル部に、第１の解像度の入力画像を、前記第１の解像度より高い第２の解像度の画像の持つ画素数に合わせるアップサンプル処理を実行させるアップサンプル処理ステップと、
動き補償画像生成部に、前記アップサンプル画像と、前記第２の解像度を持つ参照画像との差分情報を利用して、前記参照画像を前記アップサンプル画像の被写体位置に合わせる補正処理により動き補償画像を生成させる動き補償画像生成ステップと、
出力画像生成部に前記動き補償画像、および前記アップサンプル画像を入力して、前記入力画像の高解像度化処理としての超解像処理と、前記入力画像のノイズ低減処理を実行し、超解像処理画像とノイズ低減処理画像のブレンド画像を生成させる出力画像生成ステップを実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、および画像処理方法、並びにプログラムに関する。特に、画像の解像度を高める超解像処理に併せてノイズ低減処理を実行する画像処理装置、および画像処理方法、並びにプログラムに関する。
【背景技術】
【０００２】
低解像度の画像から高解像度の画像を生成する手法として超解像処理（ＳＲ：Ｓｕｐｅｒ  Ｒｅｓｏｌｕｔｉｏｎ）が知られている。超解像処理（ＳＲ）は低解像度の画像から高解像度の画像を生成する処理である。
【０００３】
超解像処理の一手法として、例えば、低解像度の画像の撮影画像に基づいて、「レンズ、大気散乱によるボケ」、「被写体、カメラ全体の動き」、「撮像素子によるサンプリング」等の撮影条件を示すパラメータを導き出して、これらのパラメータを用いて理想的な高解像度の画像を推定する再構成型超解像手法がある。
この超解像処理の手法について開示した従来技術としては、例えば、特許文献１（特開２００８−１４００１２号公報）がある。
【０００４】
この再構成型超解像手法の手順の概要は以下の通りである。
（１）ボケ、動き、サンプリング等を考慮した画像撮影モデルを数式で表現する。
（２）上記の数式モデルで表現した画像撮影モデルから、コスト算出式を求める。この際、ベイズ理論を用いて事前確立等の正則化項を追加する場合もある。
（３）コストを最小とする画像を求める。
これらの処理によって、高解像度画像を求める手法である。この再構成型超解像手法によって得られる高解像度画像は入力画像に依存するものの、超解像効果(解像度復元効果)は高い。
【０００５】
超解像処理を実行する回路構成例を図１に示す。図１は超解像処理装置１０の回路構成例を示している。
超解像処理装置１０には、解像度を高める処理の対象となる低解像度画像（ｇｎ）３１がアップサンプル部１１に入力され、解像度変換（高解像度化）がなされる。アップサンプル部１１では、生成予定の高解像度画像（ＳＲ処理画像ｆｎ３２）に解像度を合わせる処理を行う。例えば１画素を複数画素に分割する処理（拡大処理）を行う。
【０００６】
動き推定／動き補償画像生成部１２は、前フレームの処理において生成された高解像度画像ｆｎ−１、アップサンプリングした低解像度画像（ｇｎ）３１間の動きの大きさを検出する。具体的には動きベクトルを計算する。さらに、検出した動きベクトルを利用して、高解像度画像ｆｎ−１に対する動き補償処理を行う。これにより高解像度画像ｆｎ−１に動き補償処理が施され、アップサンプリングした低解像度画像ｇｎと被写体の位置が同じに設定された動き補償画像が生成される。
【０００７】
動き判定部１３では、動き補償（ＭＣ）処理により生成された動き補償高解像度画像、及びアップサンプルした低解像度画像を比較して、動き補償（ＭＣ）がうまく適用できていない領域を検出する。例えば被写体自身が動いている場合、動き補償失敗領域が発生する。
【０００８】
高解像度画像ｆｎ−１の動き補償画像と、アップサンプリングした低解像度画像ｇｎと被写体の位置が同じに設定された領域を動き補償成功領域とし、同じ位置に設定されなかった領域を動き領域失敗領域として区別した動き領域情報（αマップ［０：１］）を生成して出力する。動き領域情報（αマップ［０：１］）は、動き補償成功領域〜動き補償失敗領域の信頼度に応じて１〜０の範囲の値を設定したマップである。簡易的に例えば動き補償成功領域を１、動き補償失敗領域を０として設定したマップとして設定することも可能である。
【０００９】
ブレンド処理部１４は、動き推定／動き補償画像生成部１２の生成した高解像度画像ｆｎ−１に対する動き補償結果画像、
アップサンプリング部１１で低解像度画像ｇｎに対してアップサンプリングされたアップサンプル画像、
動き領域情報（αマップ［０：１］）、
これらを入力する。
【００１０】
ブレンド処理部１４は、これらの入力情報を利用して、以下の式に基づいてブレンド結果としてのブレンド画像を出力する。
ブレンド画像＝（１−α）（アップサンプル画像）+α（動き補償結果画像）
このブレンド処理により、動き補償成功領域については動き補償結果画像のブレント比率が高まり、動き補償失敗領域については動き補償結果画像のブレント比率が低められたブレンド画像が生成される。
【００１１】
ボケ付加部１５は、ブレンド処理部１４の生成したブレンド画像を入力して空間解像度の劣化をシミュレーションする処理を行う。例えば、あらかじめ測定しておいた点広がり関数（Ｐｏｉｎｔ  Ｓｐｒｅａｄ  Ｆｕｎｃｔｉｏｎ）をフィルタとして画像へ畳み込みを行う。
【００１２】
ダウンサンプル部１６では、高解像度画像を入力画像と同じ解像度までダウンサンプリング処理を実行する。その後、差分器１７では、ダウンサンプル部１６、低解像度画像ｇｎの画素毎の差分値を計算する。差分値は、アップサンプル部１８でアップサンプル処理が実行される。さらに、逆ボケ付加部１９で、ボケの付加処理と逆の処理を行う。動作としては、ボケ付加部１５で用いた点広がり関数（ＰＳＦ：Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）との相関の計算に相当する処理を行う。
【００１３】
逆ボケ付加部１９の出力は、乗算器２０において予め設定した帰還係数γと乗算後、加算器２１に出力され、プレンド処理部１４の出力するブレンド画像と加算され、出力される。
この加算器２１の出力が入力画像ｇｎ３１を高解像度化した画像（ＳＲ処理画像３２）となる。
【００１４】
この図１に示す超解像処理装置１０の実行する処理を式で示すと以下のように表現することが可能である。
【００１５】
【数１】
2011237997.tif 000003
・・・（式１）
【００１６】
なお、上記式（式１）において、各パラメータは以下のパラメータである。
ｎ：フレーム番号（ｎ−１フレームとｎフレームは例えば動画の連続フレーム）
ｇｎ：入力画像（ｎフレームの低解像度画像）
ｆｎＳＲ：フレームｎの超解像処理結果画像（＝高解像度画像）
ｆｎ−１ＳＲ：フレームｎ−１の超解像処理結果画像（＝高解像度画像）
Ｗｎ：フレームｎのフレームｎ−１に対する動き情報（動きベクトルまたは行列など）
Ｈ：ボケ付加処理（ボケフィルタ行列）
Ｄ：ダウンサンプル処理（ダウンサンプル処理行列）
（Ｗｎｆｎ−１ＳＲ）'：ブレンド処理部の出力するブレンド画像
γＳＲ：帰還係数
ＨＴ：Ｈの転置行列
ＤＴ：Ｄの転置行列
【００１７】
図１に示す超解像処理回路１０による超解像手法では、実効的に以下の処理が行われている。
（ａ）入力画像の折り返し成分（エイリアシング）に基づいて、高周波成分（ナイキスト周波数以上）の成分を推定
（ｂ）低域成分内（ナイキスト周波数以下）の折り返し成分（エイリアシング）を除去、高周波成分（ナイキスト周波数以上）の復元
このような処理を実行している。
【００１８】
しかし、超解像を行うために指定した倍率と元々その画像が縮小される前にもっていた解像度によるエイリアス成分の倍率が一致しない場合には、依然としてエイリアスが画像中に残ってしまうという問題がある。また、動体と判定され補正されなかったエイリアス成分も画像中に残留し、結果としてノイズとなってしまうといったエイリアスに起因したノイズが残留してしまうという問題がある。
【先行技術文献】
【特許文献】
【００１９】
【特許文献１】特開２００８−１４００１２号公報
【発明の概要】
【発明が解決しようとする課題】
【００２０】
本発明は、例えば上記問題点に鑑みてなされたものであり、超解像処理に際してノイズ低減も併せて実行することを可能とした画像処理装置、および画像処理方法、並びにプログラムを提供することを目的とする。
【課題を解決するための手段】
【００２１】
本発明の第１の側面は、
第１の解像度の入力画像を、前記第１の解像度より高い第２の解像度の画像の持つ画素数に合わせるアップサンプル処理を実行するアップサンプル部と、
前記アップサンプル画像と、前記第２の解像度を持つ参照画像との差分情報を利用して、前記参照画像を前記アップサンプル画像の被写体位置に合わせる補正処理により動き補償画像を生成する動き補償画像生成部と、
前記アップサンプル画像と前記動き補償画像を画像領域単位で比較し、領域単位の画素値一致度が高い領域ほど参照画像のブレンド比率を高く設定して、前記アップサンプル画像と前記参照画像とのブレンド処理を実行してブレンド画像を生成するブレンド処理部と、
前記ブレンド画像、および前記アップサンプル画像を入力して、前記入力画像の高解像度化処理としての超解像処理と、前記入力画像のノイズ低減処理を実行し、超解像処理画像とノイズ低減処理画像のブレンド画像を生成する出力画像生成部を有する画像処理装置にある。
【００２２】
さらに、本発明の第２の側面は、
第１の解像度の入力画像を、前記第１の解像度より高い第２の解像度の画像の持つ画素数に合わせるアップサンプル処理を実行するアップサンプル部と、
前記アップサンプル画像と、前記第２の解像度を持つ参照画像との差分情報を利用して、前記参照画像を前記アップサンプル画像の被写体位置に合わせる補正処理により動き補償画像を生成する動き補償画像生成部と、
前記動き補償画像、および前記アップサンプル画像を入力して、前記入力画像の高解像度化処理としての超解像処理と、前記入力画像のノイズ低減処理を実行し、超解像処理画像とノイズ低減処理画像のブレンド画像を生成する出力画像生成部を有する画像処理装置にある。
【００２３】
さらに、本発明の画像処理装置の一実施態様において、前記出力画像生成部は、前記ブレンド画像、または前記動き補償画像を前記第１の解像度の構成画素数まで低下させるダウンサンプル処理と、前記第２の解像度の画素数に合わせるアップサンプル処理を実行する統合フィルタと、演算部によって構成され、前記演算部は、前記ブレンド画像、または前記動き補償画像と、前記統合フィルタの出力と、前記アップサンプル部の出力とを入力とした演算処理を実行して、超解像処理画像とノイズ低減処理画像のブレンド画像を生成する。
【００２４】
さらに、本発明の画像処理装置の一実施態様において、前記統合フィルタは、位相ごとに異なる値を畳み込むポリフェーズフィルタによって構成される。
【００２５】
さらに、本発明の画像処理装置の一実施態様において、前記出力画像生成部は、超解像処理画像とノイズ低減処理画像のブレンド比率を前記演算部に入力するパラメータによって設定する構成である。
【００２６】
さらに、本発明の画像処理装置の一実施態様において、前記出力画像生成部は、超解像処理画像とノイズ低減処理画像のブレンド比率を、
（ａ）入力画像の画像領域単位で算出したＩＳＯ感度、
（ｂ）前記アップサンプル部における入力画像に対する画像拡大比率、
（ｃ）入力画像の画像領域単位の画素値の分散値、
少なくとも上記（ａ）〜（ｃ）のいずれかに応じて調整する処理を実行する。
【００２７】
さらに、本発明の第３の側面は、
画像処理装置において実行する画像処理方法であり、
アップサンプル部が、第１の解像度の入力画像を、前記第１の解像度より高い第２の解像度の画像の持つ画素数に合わせるアップサンプル処理を実行するアップサンプル処理ステップと、
動き補償画像生成部が、前記アップサンプル画像と、前記第２の解像度を持つ参照画像との差分情報を利用して、前記参照画像を前記アップサンプル画像の被写体位置に合わせる補正処理により動き補償画像を生成する動き補償画像生成ステップと、
ブレンド処理部が、前記アップサンプル画像と前記動き補償画像を画像領域単位で比較し、領域単位の画素値一致度が高い領域ほど参照画像のブレンド比率を高く設定して、前記アップサンプル画像と前記参照画像とのブレンド処理を実行してブレンド画像を生成するブレンド処理ステップと、
出力画像生成部が、前記ブレンド画像、および前記アップサンプル画像を入力して、前記入力画像の高解像度化処理としての超解像処理と、前記入力画像のノイズ低減処理を実行し、超解像処理画像とノイズ低減処理画像のブレンド画像を生成する出力画像生成ステップを実行する画像処理方法にある。
【００２８】
さらに、本発明の第４の側面は、
画像処理装置において実行する画像処理方法であり、
アップサンプル部が、第１の解像度の入力画像を、前記第１の解像度より高い第２の解像度の画像の持つ画素数に合わせるアップサンプル処理を実行するアップサンプル処理ステップと、
動き補償画像生成部が、前記アップサンプル画像と、前記第２の解像度を持つ参照画像との差分情報を利用して、前記参照画像を前記アップサンプル画像の被写体位置に合わせる補正処理により動き補償画像を生成する動き補償画像生成ステップと、
出力画像生成部が、前記動き補償画像、および前記アップサンプル画像を入力して、前記入力画像の高解像度化処理としての超解像処理と、前記入力画像のノイズ低減処理を実行し、超解像処理画像とノイズ低減処理画像のブレンド画像を生成する出力画像生成ステップを実行する画像処理方法にある。
【００２９】
さらに、本発明の第５の側面は、
画像処理装置において画像処理を実行させるプログラムであり、
アップサンプル部に、第１の解像度の入力画像を、前記第１の解像度より高い第２の解像度の画像の持つ画素数に合わせるアップサンプル処理を実行させるアップサンプル処理ステップと、
動き補償画像生成部に、前記アップサンプル画像と、前記第２の解像度を持つ参照画像との差分情報を利用して、前記参照画像を前記アップサンプル画像の被写体位置に合わせる補正処理により動き補償画像を生成させる動き補償画像生成ステップと、
ブレンド処理部に、前記アップサンプル画像と前記動き補償画像を画像領域単位で比較し、領域単位の画素値一致度が高い領域ほど参照画像のブレンド比率を高く設定して、前記アップサンプル画像と前記参照画像とのブレンド処理を実行してブレンド画像を生成させるブレンド処理ステップと、
出力画像生成部に、前記ブレンド画像、および前記アップサンプル画像を入力して、前記入力画像の高解像度化処理としての超解像処理と、前記入力画像のノイズ低減処理を実行し、超解像処理画像とノイズ低減処理画像のブレンド画像を生成する出力画像生成ステップを実行させるプログラムにある。
【００３０】
さらに、本発明の第６の側面は、
画像処理装置において画像処理を実行させるプログラムであり、
アップサンプル部に、第１の解像度の入力画像を、前記第１の解像度より高い第２の解像度の画像の持つ画素数に合わせるアップサンプル処理を実行させるアップサンプル処理ステップと、
動き補償画像生成部に、前記アップサンプル画像と、前記第２の解像度を持つ参照画像との差分情報を利用して、前記参照画像を前記アップサンプル画像の被写体位置に合わせる補正処理により動き補償画像を生成させる動き補償画像生成ステップと、
出力画像生成部に前記動き補償画像、および前記アップサンプル画像を入力して、前記入力画像の高解像度化処理としての超解像処理と、前記入力画像のノイズ低減処理を実行し、超解像処理画像とノイズ低減処理画像のブレンド画像を生成させる出力画像生成ステップを実行させるプログラムにある。
【００３１】
なお、本発明のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。
【００３２】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【発明の効果】
【００３３】
本発明の一実施例の構成によれば、超解像処理とノイズ低減処理を併せて実行する装置および方法が実現される。すなわち、低解像度画像を入力し、高解像度化としての超解像処理を実行する構成において、ノイズ低減処理も併せて実行する。具体的には、例えば、入力画像を高い解像度の画像の持つ画素数に合わせるアップサンプル処理を実行し、アップサンプル画像と第２の解像度を持つ参照画像との差分情報を利用して、参照画像をアップサンプル画像の被写体位置に合わせる補正処理により動き補償画像を生成する。この動き補償画像とアップサンプル画像、または動き補償画像とアップサンプル画像をブレンドしたブレンド画像とアップサンプル画像を入力し、例えば統合フィルタ処理と演算処理によって超解像処理とノイズ低減処理を併せて実行した画像を生成する。本構成により超解像処理とノイズ低減処理を併せて実行した画像を生成して出力することができる。
【図面の簡単な説明】
【００３４】
【図１】超解像処理を実行する従来の回路構成例について説明する図である。
【図２】ノイズ低減処理を実行する回路の構成例について説明する図である。
【図３】ノイズ低減処理を実行する構成を変更した画像処理装置の構成例について説明する図である。
【図４】超解像処理を実行する構成を変更した画像処理装置の構成例について説明する図である。
【図５】ノイズ低減処理と超解像処理を実行する画像処理装置の構成のしかたについて説明する図である。
【図６】ノイズ低減処理と超解像処理を実行する画像処理装置の構成のしかたについて説明する図である。
【図７】ノイズ低減処理と超解像処理を実行する画像処理装置の構成例について説明する図である。
【図８】超解像処理を実行する構成を変更した画像処理装置の構成例について説明する図である。
【図９】ノイズ低減処理と超解像処理を実行する画像処理装置の構成のしかたについて説明する図である。
【図１０】ノイズ低減処理と超解像処理を実行する画像処理装置の構成のしかたについて説明する図である。
【図１１】ノイズ低減処理と超解像処理を実行する画像処理装置の構成例について説明する図である。
【図１２】本発明の画像処理装置のハードウェア構成例について説明する図である。
【発明を実施するための形態】
【００３５】
以下、図面を参照しながら本発明の画像処理装置、および画像処理方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行う。
１．超解像処理に併せてノイズ低減処理を実行する画像処理装置について
１−１．ノイズ低減処理回路（ＮＲ回路）を基本構成として、超解像処理回路（ＳＲ回路）を組み合わせた実施例
１−２．超解像処理回路（ＳＲ回路）を基本構成として、ノイズ低減処理回路（ＮＲ回路）を組み合わせた実施例
２．ノイズ低減画像と超解像処理画像のブレンド比率λの設定について
３．画像処理装置のハードウェア構成例について
【００３６】
［１．超解像処理に併せてノイズ低減処理を実行する画像処理装置について］
以下、超解像処理に併せてノイズ低減処理を実行する本発明に従った画像処理装置の構成例について説明する。
なお、基本的な超解像処理回路（ＳＲ回路）は、例えば、先に説明した特許文献１（特開２００８−１４００１２号公報）に記載されている。
また、ノイズ低減処理回路（ＮＲ回路）は、例えば特開２００８−２９４６０１号公報にその基本構成が記載されている。
なお、いずれも本出願人と同一の出願人の発明である。
【００３７】
以下では、
（ａ）超解像処理回路（ＳＲ回路）を基本構成として、ノイズ低減処理回路（ＮＲ回路）を組み合わせた実施例。
（ｂ）ノイズ低減処理回路（ＮＲ回路）を基本構成として、超解像処理回路（ＳＲ回路）を組み合わせた実施例。
これらの２つの実施例について、順次説明する。
いずれの実施例においても、超解像処理とノイズ低減処理が併せて実現される。
【００３８】
［１−１．超解像処理回路（ＳＲ回路）を基本構成として、ノイズ低減処理回路（ＮＲ回路）を組み合わせた実施例］
まず、例えば特開２００８−１４００１２号公報に記載された超解像処理回路（ＳＲ回路）を基本構成として、ノイズ低減処理回路（ＮＲ回路）を組み合わせた実施例について説明する。
【００３９】
超解像処理回路（ＳＲ回路）としては、先に図１を参照して説明した回路が既に知られている。
一方、ノイズ低減処理回路（ＮＲ回路）としては、例えば特開２００８−２９４６０１号公報に記載されたノイズ低減処理回路（ＮＲ回路）がある。図２を参照してこの基本的なノイズ低減処理回路（ＮＲ回路）の構成について説明する。
【００４０】
図２に示すノイズ低減処理回路５０には、ノイズ低減処理の対象となる入力画像７１が入力される。入力画像７１は、動き推定／動き補償画像生成部５１と動き判定部５２に入力される。
【００４１】
動き推定／動き補償画像生成部５１は、前フレームの処理において生成されたノイズ低減画像ｆＮＲｎ−１と、入力画像ｆｎ間の動きの大きさを検出する。具体的には動きベクトルを計算する。さらに、検出した動きベクトルを利用して、前フレームのノイズ低減画像ｆＮＲｎ−１に対する動き補償処理（ＭＣ）を行う。これにより前フレームのノイズ低減画像ｆＮＲｎ−１に動き補償処理が施され、入力画像ｆｎと被写体の位置を同じに設定したた動き補償画像を生成する。ただし、画像内部に動被写体等がある場合などには、動き補償画像に入力画像と被写体位置のずれてしまう画像領域、すなわち動き補償失敗領域が発生することがある。
【００４２】
動き判定部５２では、動き補償（ＭＣ）処理により生成された動き補償画像、及び入力画像を比較して、動き補償（ＭＣ）がうまく適用できていない領域、すなわち、上記の動き補償失敗領域を検出する。例えば上述したように被写体自身が動いている画像部分などに動き補償失敗領域が発生する。
【００４３】
動き判定部５２では、動き推定／動き補償画像生成部５１が前フレームのノイズ低減画像ｆＮＲｎ−１をベースとして生成した動き補償画像と、入力画像ｆｎとの同一の画素位置の画素値を比較し、画素値比較に基づいて被写体位置の同一性を判定する。２つの画像において被写体位置が同じ画素位置に設定されたと判定された画像領域を動き補償成功領域と判定し、同じ位置に設定されていないと判定した領域を動き領域失敗領域とし、これらを区別したマップを生成する。すなわち、動き領域情報（αマップ［０：１］）を生成して出力する。
【００４４】
動き領域情報（αマップ［０：１］）は、成功領域〜失敗領域の信頼度に応じて１〜０の範囲の値を設定したマップである。簡易的に例えば動き補償成功領域を１、動き補償失敗領域を０として設定したマップとして設定することも可能である。
【００４５】
乗算器５３は、動き推定／動き補償画像生成部５１が前フレームのノイズ低減画像ｆＮＲｎ−１をベースとして生成した動き補償画像と、動き判定部５２の生成した動き領域情報（αマップ）の係数αとの乗算処理を実行する。なお、この乗算処理においては、予め規定した帰還係数：γＮＲも併せて乗算する。
【００４６】
一方、乗算器５４は、入力画像７１と、動き判定部５２の生成した動き領域情報（αマップ）の係数αに基づく値（１−α）との乗算処理を実行する。なお、この乗算処理においては、予め規定した帰還係数：γＮＲをαに乗算し、（１−αγＮＲ）を入力画像に乗算する処理を行う。
【００４７】
加算器５５は、乗算器５３と乗算器５４の出力を加算してノイズ低減画像としての出力であるＮＲ処理画像７２を生成して出力する。すなわち、乗算器５３と乗算器５４の出力を以下の式に基づいてブレンドし、ブレンド画像をＮＲ処理画像７２とする。
ＮＲ処理画像＝（１−αγＮＲ）（入力画像）+αγＮＲ（動き補償結果画像）
このブレンド処理は、動き補償成功領域については動き補償結果画像のブレント比率を高め、動き補償失敗領域についてはブレント比率を低めたブレンド処理である。この処理によってＮＲ処理画像７２が生成されて出力される。
【００４８】
この図２に示す画像処理装置５０の実行する処理を式で示すと以下のように表現することが可能である。
【００４９】
【数２】
2011237997.tif 000004
・・・（式２）
【００５０】
なお、上記式（式２）において、各パラメータは以下のパラメータである。
ｎ：フレーム番号（ｎ−１フレームとｎフレームは例えば動画の連続フレーム）
Ｉｉｎ：入力画像（ｎフレームの低解像度画像）
ｆｎＮＲ：フレームｎのノイズ低減画像
ｆｎ−１ＮＲ：フレームｎ−１のノイズ低減画像
Ｗｎ：フレームｎのフレームｎ−１に対する動き情報（動きベクトルまたは行列など）
γＳＲ：帰還係数
【００５１】
以上、図２を参照して基本的なノイズ低減処理回路（ＮＲ回路）の構成と処理について説明した。
なお、先に説明したように、基本的な超解像処理回路（ＳＲ回路）としては図１を参照して説明した回路が既に知られている。
【００５２】
本発明は、例えば図１に示す超解像処理回路（ＳＲ回路）に従った超解像処理と、図２に示すノイズ低減処理回路（ＮＲ回路）に従ったノイズ低減処理も併せて実行する画像処理装置を実現するものである。
以下、実施例１としてこのような超解像処理に併せてノイズ低減処理を実現する画像処理装置の構成例について説明する。
【００５３】
まず、この実施例１の画像処理装置を実現するための回路構成として、
（ａ）構成を変更したノイズ低減処理回路（構成変更ＮＲ回路）
（ｂ）構成を変更した超解像処理回路（構成変更ＳＲ回路）
これらの変更型回路について説明する。
【００５４】
（ａ）構成を変更したノイズ低減処理回路（構成変更ＮＲ回路）は、図２に示す従来型のノイズ低減処理回路（ＮＲ回路）を、図１に示す超解像処理回路（ＳＲ回路）の回路構成に近づけた回路である。
（ｂ）構成を変更した超解像処理回路（構成変更ＳＲ回路）は、図１に示す従来型の超解像処理回路（ＳＲ回路）を、上記（ａ）の構成変更ＮＲ回路に近づけた回路である。
以下、図３、図４を参照してこれらの回路について順次説明する。
【００５５】
（ａ）構成を変更したノイズ低減処理回路（構成変更ＮＲ回路）
図２に示す従来型のノイズ低減処理回路（ＮＲ回路）を、図１に示す超解像処理回路（ＳＲ回路）の回路構成に近づけた回路構成について図３を参照して説明する。
【００５６】
図３の画像処理装置１００は、図２に示すノイズ低減処理回路５０と同様、ノイズ低減処理を実行する画像処理装置である。
図３に示す画像処理装置１００の構成と処理について説明する。画像処理装置１００には、処理対象となる入力画像（ｇｎ）１１１がアップサンプル部１０１に入力され、解像度変換（拡大画像の生成）がなされる。アップサンプル部１１では、例えば１画素を４画素に設定する等の処理により、解像度変換（拡大画像の生成）がなされる。
【００５７】
動き推定／動き補償画像生成部１０２は、前フレームの処理画像ｆｎ−１と、アップサンプリングした低解像度画像（ｇｎ）３１間の動きの大きさを検出する。なお、前フレームの処理画像ｆｎ−１はノイズ低減のなされた処理画像である。
【００５８】
動き推定／動き補償画像生成部１０２は、前フレームの処理画像ｆｎ−１と、アップサンプリングした入力画像（ｇｎ）１１１間の動きの大きさ、具体的には動きベクトルを計算する。さらに、検出した動きベクトルを利用して、前フレーム処理画像ｆｎ−１に対する動き補償処理を行う。これにより前フレーム処理画像ｆｎ−１に動き補償処理が施され、アップサンプリングした入力画像ｇｎと被写体の位置が同じに設定された動き補償画像が生成される。ただし、前述したように移動被写体等の領域では、被写体位置が一致しない動き補償失敗領域となる。
【００５９】
動き判定部１０３では、動き補償（ＭＣ）処理により生成された前フレーム処理画像の動き補償画像と、アップサンプルした入力画像を比較して、動き補償（ＭＣ）がうまく適用できていない領域を検出する。例えば被写体自身が動いている場合、動き補償失敗領域となる。
【００６０】
動き判定部１０３では、前フレーム処理画像ｆｎ−１の動き補償画像と、アップサンプリングした入力画像ｇｎと被写体の位置が同じに設定された領域を動き補償成功領域とし、同じ位置に設定されなかった領域を動き領域失敗領域として区別した動き領域情報（αマップ［０：１］）を生成して出力する。
【００６１】
動き領域情報（αマップ［０：１］）は、動き補償成功領域〜動き補償失敗領域の信頼度に応じて１〜０の範囲の値を設定したマップである。簡易的に例えば動き補償成功領域を１、動き補償失敗領域を０として設定したマップとして設定することも可能である。
【００６２】
ブレンド処理部１０４は、動き推定／動き補償画像生成部１０２の生成した前フレーム処理画像ｆｎ−１の動き補償画像、
アップサンプリング部１０１で入力画像ｇｎに対してアップサンプリングしたアップサンプル画像、さらに、
動き領域情報（αマップ［０：１］）、
これらを入力する。
【００６３】
ブレンド処理部１０４は、これらの入力情報を利用して、以下の式に基づいてブレンド結果としてのブレンド画像を出力する。
ブレンド画像＝（１−α）（アップサンプル画像）+α（動き補償結果画像）
このブレンド処理により、動き補償成功領域については前フレーム処理画像に基づいて生成された動き補償画像のブレント比率が高まり、動き補償失敗領域については動き補償画像のブレント比率が低められたブレンド画像が生成される。
【００６４】
乗算器１０５は、ブレンド処理部１０４の出力するブレンド画像に予め設定した帰還係数γＮＲを乗算する。帰還係数γＮＲは、入力画像に対するブレンド処理画像の加算割合を設定したパラメータであり、例えばユーザが自由に設定できる。
【００６５】
一方、乗算器１０６は、アップサンプリング部１０１で入力画像ｇｎに対してアップサンプリングされたアップサンプル画像と、動き判定部１０３の生成した動き領域情報（αマップ）の係数αに基づく値（１−α）との乗算処理を実行する。なお、この乗算処理においては、予め規定した帰還係数：γＮＲをαに乗算し、（１−αγＮＲ）を入力画像に乗算する処理を行う。
【００６６】
加算器１０７は、乗算器１０５と乗算器１０６の出力を加算して出力である処理画像ｆｎＮＲ１１２を生成して出力する。すなわち、乗算器１０５と乗算器１０６の出力を以下の式に基づいてブレンドし、ブレンド画像をＮＲ処理画像７２とする。
処理画像＝（１−αγＮＲ）（アップサンプル入力画像）+αγＮＲ（前フレーム処理画像の動き補償画像）
【００６７】
このブレンド処理は、動き補償成功領域については前フレームの処理画像に対する動き補償画像のブレント比率を高め、動き補償失敗領域についてはブレント比率を低めたブレンド処理である。この処理によって処理画像ｆｎＮＲ１１２を生成して出力する。
【００６８】
この図３に示す画像処理装置１００の実行する処理を式で示すと以下のように表現することが可能である。
【００６９】
【数３】
2011237997.tif 000005
・・・（式３）
【００７０】
なお、上記式（式３）において、各パラメータは以下のパラメータである。
ｎ：フレーム番号（ｎ−１フレームとｎフレームは例えば動画の連続フレーム）
ｇｎ：入力画像（ｎフレームの低解像度画像）
ｆｎＳＲ：フレームｎの超解像処理結果画像（＝高解像度画像）
ｆｎ−１ＳＲ：フレームｎ−１の超解像処理結果画像（＝高解像度画像）
Ｗｎ：フレームｎのフレームｎ−１に対する動き情報（動きベクトルまたは行列など）
Ｈ：ボケ付加処理（ボケフィルタ行列）
Ｄ：ダウンサンプル処理（ダウンサンプル処理行列）
（Ｗｎｆｎ−１ＳＲ）'：ブレンド処理部の出力するブレンド画像
γＳＲ：帰還係数
ＨＴ：Ｈの転置行列
ＤＴ：Ｄの転置行列
α：αマップの係数（動き補償成功領域〜失敗領域＝１〜０）
【００７１】
なお、図３に示すアップサンプル部１０１の出力は、上記式３の末尾の、
［ＨＴＤＴｇｎ］に対応する。
また、ブレンド処理部１０４の出力は、下式（式４）によって算出される。
【００７２】
【数４】
2011237997.tif 000006
・・・（式４）
【００７３】
図３に示す画像処理装置１００の出力は、基本的に図２を参照して説明したノイズ低減を実行する処理回路（ＮＲ回路）の回路構成要素をすべて含んでおり、ノイズ低減が実現される。
さらに、図３に示す装置は、アップサンプル処理部１０１、ブレンド処理部１０４を有しており、先に図１を参照して説明した超解像処理回路と共通する要素を持つ構成となっている。
【００７４】
（ｂ）構成を変更した超解像処理回路（構成変更ＳＲ回路）
次に、図４を参照して、図１に示す従来型の超解像処理回路（ＳＲ回路）を、上記（ａ）の構成変更ＮＲ回路に近づけた回路について説明する。
【００７５】
図４に示す画像処理装置１５０は、図１に示した超解像処理回路１０と同様、低解像度画像ｇｎ１３１を入力して、超解像処理を実行して高解像度画像ｆｎ（＝ＳＲ処理画像１３２）を出力する。
【００７６】
画像処理装置１５０には、解像度を高める処理の対象となる低解像度画像（ｇｎ）１３１がアップサンプル部１５１に入力され、画素数の変換（画像拡大処理）が実行される。具体的には、アップサンプル部１５１では、入力画像の画素数を出力予定の画像（ＳＲ処理画像ｆｎ１３２）の画素数に合わせる画像拡大処理、例えば１画素を複数画素に分割設定する処理を行う。
【００７７】
動き推定／動き補償画像生成部１５２は、前フレームの処理において生成された高解像度画像ｆｎ−１、アップサンプリングした低解像度画像（ｇｎ）１３１間の動きの大きさを検出する。具体的には動きベクトルを計算する。さらに、検出した動きベクトルを利用して、高解像度画像ｆｎ−１に対する動き補償処理を行う。これにより高解像度画像ｆｎ−１に動き補償処理が施され、アップサンプリングした低解像度画像ｇｎと被写体の位置が同じに設定された動き補償画像が生成される。
【００７８】
動き判定部１５３では、動き補償（ＭＣ）処理により生成された動き補償高解像度画像、及びアップサンプルした低解像度画像を比較して、動き補償（ＭＣ）がうまく適用できていない領域を検出する。例えば被写体自身が動いている場合、動き補償失敗領域が発生する。
【００７９】
高解像度画像ｆｎ−１の動き補償画像と、アップサンプリングした低解像度画像ｇｎと被写体の位置が同じに設定された領域を動き補償成功領域とし、同じ位置に設定されなかった領域を動き領域失敗領域として区別した動き領域情報（αマップ［０：１］）を生成して出力する。動き領域情報（αマップ［０：１］）は、動き補償成功領域〜動き補償失敗領域の信頼度に応じて１〜０の範囲の値を設定したマップである。簡易的に例えば動き補償成功領域を１、動き補償失敗領域を０として設定したマップとして設定することも可能である。
【００８０】
ブレンド処理部１５１は、動き推定／動き補償画像生成部１５２の生成した高解像度画像ｆｎ−１に対する動き補償結果画像、
アップサンプリング部１５１で低解像度画像ｇｎに対してアップサンプリングされたアップサンプル画像、
動き領域情報（αマップ［０：１］）、
これらを入力する。
【００８１】
ブレンド処理部１５４は、これらの入力情報を利用して、以下の式に基づいてブレンド結果としてのブレンド画像を出力する。
ブレンド画像＝（１−α）（アップサンプル画像）+α（動き補償結果画像）
このブレンド処理により、動き補償成功領域については動き補償結果画像のブレント比率が高まり、動き補償失敗領域については動き補償結果画像のブレント比率が低められたブレンド画像が生成される。
【００８２】
図４に示す画像処理装置１５０は、出力画像生成部１７０の構成が図１に示す構成と異なっている。具体的には以下のような変更がなされている。
図１に示す２つのアップサンプル部、すなわちアップサンプル部１１と、アップサンプル部１８をまとめて、図４に示す構成では、１つのアップサンプル部１５１としている。
さらに、図１に示すダウンサンプル部１６と差分器１７を、図４の構成では、統合フィルタ（ポリフェーズフィルタ）１７１に置き換えている。
【００８３】
統合フィルタ（ポリフェーズフィルタ）１７１は、ブレンド処理部１５４の生成するブレンド画像を第１の解像度（低解像度）の画像の構成画素数まで低下させるダウンサンプル処理と、第２の解像度（高解像度）の画像の画素数に合わせるアップサンプル処理を実行する。統合フィルタ（ポリフェーズフィルタ）１７１は、例えばポリフェーズフィルタであり、位相毎に異なる値を畳み込むフィルタリング処理を行う。
【００８４】
なお、この出力画像生成部１７０の構成変更に伴い、統合フィルタ（ポリフェーズフィルタ）１７１の出力に対するＳＲ帰還係数との乗算処理を実行する乗算器１７２、ブレンド処理部の出力するブレンド画像から乗算器１７２の出力を減算させる差分器１７３を設けている。
差分器１７３の出力が、加算器１７５に出力される。
加算器１７５は、入力である低解像度画像１３１に対してアップサンプル部１５１でアップサンプルされた画像に予め設定した帰還係数γＳＲを乗算器１７４において乗算したＳＲフィードバック値と差分器１７３の出力を加算してＳＲ処理画像１３２を生成して出力する。
【００８５】
図４に示す画像処理装置１８０の実行する処理を式で示すと以下のように表現することが可能である。
【００８６】
【数５】
2011237997.tif 000007
・・・（式５）
【００８７】
この式（式５）の第１行は、図１の構成において実行する処理を示す式と同じ式である。第２行、第３行は、式の変形を行った結果であり、第３行の式が図４に示す構成と対応している。
【００８８】
すなわち、アップサンプル部１８１では、逆ボケ付加処理（ＨＴ）とアップサンプル処理（ＤＴ）に相当する処理を実行し、アップサンプル部１８１の出力は、図４中に示すように、以下の式で示すことができる。
ＨＴＤＴｇｎ、
【００８９】
また、統合フィルタ（ポリフェーズフィルタ）１８２は、ブレンド画像を入力画像に相当する第１の解像度（低解像度）の構成画素数まで低下させるダウンサンプル処理と、第２の解像度（高解像度）の画素数に合わせるアップサンプル処理を実行する。例えば位相毎に異なる値を畳み込むフィルタリング処理を行うポリフェーズフィルタによって構成される。
【００９０】
このフィルタリング処理は、
ＨＴＤＴＤＨ、
として示すことができ、統合フィルタ（ポリフェーズフィルタ）１８２の出力は、
（ＨＴＤＴＤＨ）（Ｗｎｆｎ−１ＳＲ）'
となる。
【００９１】
また、図４中の差分器１７３の出力は、図４の（Ａ）に示すように、上記式（式５）の前半部分に対応し、
（１−γＳＲＨＴＤＴＤＨ）（Ｗｎｆｎ−１ＳＲ）'
上記のように示すことができる。
また、乗算器１７４の出力は、図４の（Ｂ）に示すように、上記式（式４）の後半部分に対応し、
γＳＲＨＴＤＴｇｎ、
上記のように示すことができる。
【００９２】
結果として、加算器１７５の出力は、上記式（式５）によって示される値、すなわち、
ｆｎＳＲ＝（１−γＳＲＨＴＤＴＤＨ）（Ｗｎｆｎ−１ＳＲ）'＋γＳＲＨＴＤＴｇｎ、
となる。
この式は、前記した式５の展開から理解されるように、図１の構成における処理と等化であり、図４に示す構成を用いることで、超解像処理結果ｆｎＳＲが出力されることになる。
【００９３】
この図４に示す画像処理装置１８０では、フィルタリング処理は、アップサンプル部１８１と、統合フィルタ（ポリフェーズフィルタ）１８２であり、図１に示す構成と比較して、フィルタ処理の必要となる構成が現象し、結果としてハードウェア構成の小型化、コストダウン、さらに処理の効率化が実現されることになる。
【００９４】
（ｃ）構成変更ＮＲ回路（図３）と、構成変更ＳＲ回路（図４）を統合した画像処理装置
次に、図５以下を参照して図３に示すノイズ低減を行う画像処理装置１００と、図４に示す超解像処理を実現する画像処理装置１８０を併せた画像処理装置の構成例について説明する。
【００９５】
図５には、
（ａ）構成を変更したノイズ低減処理回路（構成変更ＮＲ回路）（＝図３）
（ｂ）構成を変更した超解像処理回路（構成変更ＳＲ回路）（＝図４）
これらの２つの回路を示している。
【００９６】
図５に示す（ａ），（ｂ）の回路は共通の構成要素を持つ。
すなわち、
アップサンプル部、
動き推定／動き補償画像生成部、
動き判定部、
ブレンド処理部、
ここまでの構成は、接続関係も含めてすべて共通の回路構成となっている。
【００９７】
その後段の回路構成が異なっている。
この異なる構成を持つ回路部分を、
（ａ）構成変更ＮＲ回路のＮＲフィルタ１８１、
（ｂ）構成変更ＳＲ回路のＳＲフィルタ１８２、
とする。
【００９８】
ＮＲフィルタ１８１に対する入力と、ＳＲフィルタ１８２に対する入力は、いずれも共通する。すなわち、
ブレンド処理部の出力するブレンド画像、
アップサンプル部の出力するアップサンプル画像、
これらの２つの画像データとなる。
【００９９】
この図５に示す２つの回路（ａ），（ｂ）を統合すると、図６に示す回路となる。図６に示す回路は、図５に示す回路（ａ），（ｂ）の前半の共通要素を省略して、ＮＲフィルタ１８１、ＳＲフィルタ１８２に対して、それぞれブレンド処理部の出力するブレンド画像と、アップサンプル部の出力するアップサンプル画像を入力する設定としている。
【０１００】
図６に示す回路において、
ＮＲフィルタ１８１の出力は、図５（ａ）の回路の出力、すなわち先に図３を参照して説明した構成変更ＮＲ回路の出力に対応し、入力画像のノイズ低減画像となる。
また、
ＳＲフィルタ１８２の出力は、図５（ｂ）の回路の出力、すなわち先に図４を参照して説明した構成変更ＳＲ回路の出力に対応し、入力画像の超解像処理画像となる。
【０１０１】
図６の回路は、これらの２つの出力を予め設定したブレンド比率（λ：１−λ）を用いてブレンドして最終的な出力画像を得る回路である。
【０１０２】
図６に示す回路は、
ノイズ低減画像であるＮＲフィルタ１８１の出力をｆｎＮＲ、
超解像処理画像であるＳＲフィルタ１８２の出力をｆｎＳＲ、
この設定とし、
ノイズ低減画像であるＮＲフィルタ１８１の出力ｆｎＮＲのブレンド比率をλ、
超解像処理画像であるＳＲフィルタ１８２の出力ｆｎＳＲのブレンド比率を（１−λ）、
として各処理画像のブレンド画像ｆｎを出力する回路である。
すなわち、出力画像ｆｎは下式で示される。
ｆｎ＝λｆｎＮＲ＋（１−λ）ｆｎＳＲ、
【０１０３】
上記式、すなわち、図６に示す回路の実行する処理の式を展開すると、以下に示す式（式６）のように展開できる。
【０１０４】
【数６】
2011237997.tif 000008
・・・（式６）
【０１０５】
上記式（式６）の展開式に従った回路を構成することで、超解像処理とノイズ低減処理の双方の処理を実行した結果を出力することができる。
この回路構成例を図７に示す。
【０１０６】
図７に示す画像処理装置２００は、図６に示す回路の具体的な構成例に相当する。すなわち、超解像処理とノイズ低減処理の双方の処理を実行した結果としての画像を出力する画像処理装置である。
【０１０７】
図７に示す画像処理装置２００の、アップサンプル部２０１、動き推定／動き補償画像生成部２０２、動き判定部２０３、ブレンド処理部２０４は、図５の（ａ），（ｂ）の各回路と同じ構成である。すなわち、これらのアップサンプル部２０１、動き推定／動き補償画像生成部２０２、動き判定部２０３、ブレンド処理部２０４は、図３を参照して説明したノイズ低減処理を実行する画像処理装置１００と、図４を参照して説明した超解像処理を実行する画像処理装置１５０とに共通する構成である。
【０１０８】
図７に示す回路の後段において、上記の共通構成の出力であるブレンド画像と、アップサンプル画像を入力して、ノイズ低減画像と超解像処理画像を生成して、さらにこれらをブレンドする処理によって最終的な出力画像を生成する。
図７に示す画像処理装置２００の構成と処理について説明する。
【０１０９】
図７に示す画像処理装置２００は、処理対象となる低解像度画像（ｇｎ）２５１を入力し、解像度を高める超解像処理を実行し、かつノイズ低減処理のなされた画像、すなわち、図７に示すＳＲ＋ＮＲ処理画像（ｆｎ）２５２を生成して出力する。
【０１１０】
処理対象となる低解像度画像（ｇｎ）２５１は、まず、アップサンプル部２０１に入力され、画素数の変換（画像拡大処理）が実行される。具体的には、アップサンプル部２０１では、入力画像の画素数を出力予定の画像（ＳＲ＋ＮＲ処理画像ｆｎ２５２）の画素数に合わせる画像拡大処理、例えば１画素を複数画素に分割設定する処理を行う。すなわち、第１の解像度（低解像度）の入力画像を、第１の解像度（低解像度）より高い第２の解像度（高解像度）の画像の持つ画素数に合わせるアップサンプル処理を実行する。
【０１１１】
動き推定／動き補償画像生成部２０２は、前フレームの処理において生成された処理画像ｆｎ−１、アップサンプリングした低解像度画像（ｇｎ）２５１間の動きの大きさを検出する。具体的には動きベクトルを計算する。さらに、検出した動きベクトルを利用して、前フレームの処理画像ｆｎ−１に対する動き補償処理を行う。これにより前フレームの処理画像ｆｎ−１に動き補償処理が施され、アップサンプリングした低解像度画像ｇｎと被写体の位置が同じに設定された動き補償画像が生成される。なお、前フレームの処理画像ｆｎ−１は、高解像度化処理である超解像処理と、ノイズ低減処理の両処理が実行された画像である。
【０１１２】
動き判定部２０３では、動き補償（ＭＣ）処理により生成された動き補償前フレーム処理画像、及びアップサンプルした低解像度画像を比較して、動き補償（ＭＣ）がうまく適用できていない領域を検出する。例えば被写体自身が動いている場合、動き補償失敗領域が発生する。
【０１１３】
前フレーム処理画像ｆｎ−１の動き補償画像と、アップサンプリングした低解像度画像ｇｎと被写体の位置が同じに設定された領域を動き補償成功領域とし、同じ位置に設定されなかった領域を動き領域失敗領域として区別した動き領域情報（αマップ［０：１］）を生成して出力する。動き領域情報（αマップ［０：１］）は、動き補償成功領域〜動き補償失敗領域の信頼度に応じて１〜０の範囲の値を設定したマップである。簡易的に例えば動き補償成功領域を１、動き補償失敗領域を０として設定したマップとして設定することも可能である。
【０１１４】
ブレンド処理部２０３は、動き推定／動き補償画像生成部２０２の生成した前フレーム処理画像ｆｎ−１に対する動き補償結果画像、
アップサンプリング部２０２で低解像度画像ｇｎに対してアップサンプリングされたアップサンプル画像、
動き領域情報（αマップ［０：１］）、
これらを入力する。
【０１１５】
ブレンド処理部２０３は、これらの入力情報を利用して、以下の式に基づいてブレンド結果としてのブレンド画像を出力する。
ブレンド画像＝（１−α）（アップサンプル画像）+α（動き補償結果画像）
このブレンド処理により、動き補償成功領域については動き補償結果画像のブレント比率が高まり、動き補償失敗領域については動き補償結果画像のブレント比率が低められたブレンド画像が生成される。
【０１１６】
図７に示す画像処理装置２００において、ブレンド処理部２０４以降の回路がブレンド画像、およびアップサンプル画像を入力して、入力画像の高解像度化処理としての超解像処理と、入力画像のノイズ低減処理を実行し、超解像処理画像とノイズ低減処理画像のブレンド画像を生成する出力画像生成部２２０となる。すなわち出力画像生成部２２０は、図６に示すＮＲフィルタ１８１とＳＲフィルタ１８２とその他の演算部を含む回路である。
【０１１７】
超解像処理画像とノイズ低減処理画像のブレンド画像を生成する出力画像生成部２２０は、図７に示す統合フィルタ２０５と、その他の演算部によって構成される。演算部は、乗算器２１１〜２１３、加算器２１４，２１５によって構成される。
【０１１８】
ブレンド処理部２０４以降の出力画像生成部２２０の処理について説明する。
ブレンド処理部２０４の生成したブレンド画像は、統合フィルタ（ポリフェーズフィルタ）２０５と、乗算器２１１に出力される。統合フィルタ（ポリフェーズフィルタ）２０５は、先に図４を参照して説明した統合フィルタ２０５と同様の処理を行う。すなわち、統合フィルタ（ポリフェーズフィルタ）２０５は、ブレンド処理部２０４の生成するブレンド画像を入力画像に対応する第１の解像度（低解像度）の画像の構成画素数まで低下させるダウンサンプル処理と、出力画像に対応する第２の解像度（高解像度）の画像の画素数に合わせるアップサンプル処理を実行する。統合フィルタ（ポリフェーズフィルタ）２０５は、例えばポリフェーズフィルタであり、位相毎に異なる値を畳み込むフィルタリング処理を行う。
【０１１９】
乗算器２１１〜２１３は、予め設定されたパラメータである乗算係数を乗算する。
乗算器２１１は、パラメータ（λγＮＲ＋（１−λ））、
乗算器２１２は、パラメータ（（１−λ）γＳＲ）、
乗算器２１３は、パラメータ（λ（１−γＮＲ）＋（１−λ）γＳＲ）、
これらの係数を乗算するための乗算器である。
なお、
γＮＲは、ノイズ低減処理における帰還係数、
γＳＲは、超解像処理における帰還係数、
λは、ノイズ低減処理画像と超解像処理画像のブレンド比率、
である。
これらの値は、予め設定した値として各乗算器に入力する。
【０１２０】
乗算器２１１は、ブレンド処理部２０４からの出力（Ｗｎｆｎ−１）'に対してパラメータ（λγＮＲ＋（１−λ））を乗算する処理を行う。すなわち、
（λγＮＲ＋（１−λ））×（Ｗｎｆｎ−１）'
上記の乗算処理を実行する。
【０１２１】
乗算器２１２は、統合フィルタ２０５からの出力（ＨＴＤＴＤＨ（Ｗｎｆｎ−１）'に対してパラメータ（（１−λ）γＳＲ）を乗算する処理を行う。すなわち、
（（１−λ）γＳＲ）×（ＨＴＤＴＤＨ（Ｗｎｆｎ−１）'）
上記の乗算処理を実行する。
【０１２２】
乗算器２１３は、アップサンプル部２０１からの出力（ＨＴＤＴｇｎ）に対してパラメータ（λ（１−γＮＲ）＋（１−λ）γＳＲ）を乗算する処理を行う。すなわち、
（λ（１−γＮＲ）＋（１−λ）γＳＲ）×ＨＴＤＴｇｎ
上記の乗算処理を実行する。
【０１２３】
減算器２１４は、乗算器２１１の出力から乗算器２１２の出力を減算する処理を行う。すなわち、
（（λγＮＲ＋（１−λ））×（Ｗｎｆｎ−１）'）−（（（１−λ）γＳＲ）×（ＨＴＤＴＤＨ（Ｗｎｆｎ−１）'）
上記の減算処理を実行する。
【０１２４】
加算器２１５は、加算器２１４の出力と、乗算器２１３の出力を加算する処理を行う。すなわち、
（（λγＮＲ＋（１−λ））×（Ｗｎｆｎ−１）'）−（（（１−λ）γＳＲ）×（ＨＴＤＴＤＨ（Ｗｎｆｎ−１）'）＋（λ（１−γＮＲ）＋（１−λ）γＳＲ）×（ＨＴＤＴｇｎ）
上記の加算処理を実行する。
この結果が出力画像となる。
【０１２５】
上記の出力画像を示す式をまとめると、
（（λγＮＲ＋（１−λ））×（Ｗｎｆｎ−１）'）−（（（１−λ）γＳＲ）×（ＨＴＤＴＤＨ（Ｗｎｆｎ−１）'）＋（λ（１−γＮＲ）＋（１−λ）γＳＲ）×（ＨＴＤＴｇｎ）
＝（λγＮＲ＋（１−λ））−（１−λ）γＳＲＨＴＤＴＤＨ）（Ｗｎｆｎ−１）'＋（λ（１−γＮＲ）＋（１−λ）γＳＲ）×ＨＴＤＴｇｎ
【０１２６】
この図７に示す画像処理装置２００の実行する処理を式で示すと以下のように表現することが可能である。
【０１２７】
【数７】
2011237997.tif 000009
・・・（式７）
【０１２８】
図７の下部にも上記式（式７）と同様の式を示している。
図７に示す式中に示す（１）〜（３）は、各乗算器に対する入力であり、先に説明した乗算パラメータである。すなわち、
（１）乗算器２１１のパラメータ（λγＮＲ＋（１−λ））、
（２）乗算器２１２のパラメータ（（１−λ）γＳＲ）、
（３）乗算器２１３のパラメータ（λ（１−γＮＲ）＋（１−λ）γＳＲ）、
これらのパラメータである。
【０１２９】
図７に示すように、式７は、これらのパラメータと、以下の各値によって構成されている。
統合フィルタの処理：ＨＴＤＴＤＨ、
ブレンド画像：（Ｗｎｆｎ−１）'、
アップサンプル部の出力：ＨＴＤＴｇｎ、
【０１３０】
上記（式７）は、先に説明した式（式６）と同様の式である。すなわち、図７に示す画像処理装置２００により、入力画像である低解像度画像（ｇｎ）２５１は、高解像度化としての超解像処理と、ノイズ低減処理を実行した結果としてのＳＲ＋ＮＲ画像２５２として出力される。
【０１３１】
［１−２．ノイズ低減処理回路（ＮＲ回路）を基本構成として、超解像処理回路（ＳＲ回路）を組み合わせた実施例］
次に、例えば特開２００８−２９４６０１号公報に記載されたノイズ低減処理回路（ＮＲ回路）を基本構成として、超解像処理回路（ＳＲ回路）を組み合わせた実施例について説明する。
【０１３２】
ノイズ低減処理回路（ＮＲ回路）としては、先に図２を参照して説明した回路が既に知られている。
本実施例の画像処理装置の構成の前段階として、上述の実施例１において図４を参照して説明した超解像処理回路（ＳＲ回路）を、さらに変形して図２に示すＮＲ回路に近づけた構成を生成する。
【０１３３】
図８に示す画像処理装置３００は、図４を参照して説明した超解像処理回路（ＳＲ回路）と同様、低解像度画像ｇｎ３２１を入力して、超解像処理を実行して高解像度画像ｆｎ（＝ＳＲ処理画像３２２）を出力する。
【０１３４】
画像処理装置３００には、解像度を高める処理の対象となる低解像度画像（ｇｎ）３２１がアップサンプル部３０１に入力され、画素数の変換（画像拡大処理）が実行される。具体的には、アップサンプル部３０１では、入力画像の画素数を出力予定の画像（ＳＲ処理画像ｆｎ３２２）の画素数に合わせる画像拡大処理、例えば１画素を複数画素に分割設定する処理を行う。すなわち、第１の解像度（低解像度）の入力画像を、第１の解像度（低解像度）より高い第２の解像度（高解像度）の画像の持つ画素数に合わせるアップサンプル処理を実行する。
【０１３５】
動き推定／動き補償画像生成部３０２は、前フレームの処理において生成された高解像度画像ｆｎ−１、アップサンプリングした低解像度画像（ｇｎ）３２１間の動きの大きさを検出する。具体的には動きベクトルを計算する。さらに、検出した動きベクトルを利用して、高解像度画像ｆｎ−１に対する動き補償処理を行う。これにより高解像度画像ｆｎ−１に動き補償処理が施され、アップサンプリングした低解像度画像ｇｎと被写体の位置が同じに設定された動き補償画像［Ｗｎｆｎ−１ＳＲ］が生成される。
【０１３６】
動き判定部３０３では、動き補償（ＭＣ）処理により生成された動き補償画像［Ｗｎｆｎ−１ＳＲ］、及びアップサンプルした入力画像を比較して、動き補償（ＭＣ）がうまく適用できていない領域を検出する。例えば被写体自身が動いている場合、動き補償失敗領域が発生する。
【０１３７】
高解像度画像ｆｎ−１の動き補償画像と、アップサンプリングした低解像度画像ｇｎと被写体の位置が同じに設定された領域を動き補償成功領域とし、同じ位置に設定されなかった領域を動き領域失敗領域として区別した動き領域情報（αマップ［０：１］）を生成して出力する。動き領域情報（αマップ［０：１］）は、動き補償成功領域〜動き補償失敗領域の信頼度に応じて１〜０の範囲の値を設定したマップである。簡易的に例えば動き補償成功領域を１、動き補償失敗領域を０として設定したマップとして設定することも可能である。
【０１３８】
動き補償（ＭＣ）処理により生成された動き補償画像［Ｗｎｆｎ−１ＳＲ］は、さらに、統合フィルタ（ポリフェーズフィルタ）３０４に入力される。統合フィルタ（ポリフェーズフィルタ）３０４は、動き補償画像［Ｗｎｆｎ−１ＳＲ］を第１の解像度（低解像度）の画像の構成画素数まで低下させるダウンサンプル処理と、第２の解像度（高解像度）の画像の画素数に合わせるアップサンプル処理を実行する。統合フィルタ（ポリフェーズフィルタ）３０４は、例えばポリフェーズフィルタであり、位相毎に異なる値を畳み込むフィルタリング処理を行う。
【０１３９】
乗算器３０５は、統合フィルタ（ポリフェーズフィルタ）３０４の出力に対してＳＲ帰還係数（γＳＲ）との乗算処理を実行する。
加算器３０６は、動き補償画像［Ｗｎｆｎ−１ＳＲ］から乗算器３０５の出力を減算する。
さらに、乗算器３０７は、加算器３０６の出力に対して動き判定部３０３の生成する動き領域の判定パラメータであるαとの乗算処理を実行する。なお、αは、前述したように動き補償成功領域〜失敗領域に応じて１〜０の値が設定されたパラメータである。
【０１４０】
一方、乗算器３０８は、入力である低解像度画像３２１に対してアップサンプル部３０１でアップサンプルされた画像［ＨＴＤＴｇｎ］に動き領域の判定パラメータであるαと、予め設定した帰還係数γＳＲを適用した乗算係数［１−α＋αγＳＲ］との乗算処理を実行する。
【０１４１】
加算器３０９は、乗算器３０７の出力と乗算器３０８の出力身を加算して、ＳＲ処理画像３２２を生成して出力する。
【０１４２】
図８に示す画像処理装置３００の実行する処理を式で示すと以下のように表現することが可能である。
【０１４３】
【数８】
2011237997.tif 000010
・・・（式８）
【０１４４】
この式（式８）の第１行は、図４の構成において実行する処理を示す式と同じ式である。第２〜５行は、式の変形を行った結果であり、第５行の式が図８に示す構成と対応している。
【０１４５】
なお、上記式（式８）において、第２行から第３行への変換では、以下のブレンド画像［（Ｗｎｆｎ−１ＳＲ）'］の算出式を適用している。
【０１４６】
【数９】
2011237997.tif 000011
・・・（式９）
【０１４７】
さらに、上記式（式８）において、第４行から第５行への変換では、以下の近似式を適用している。
【０１４８】
【数１０】
2011237997.tif 000012
・・・（式１０）
【０１４９】
次に、図９以下を参照して、先に説明した図２に示すノイズ低減を行う画像処理装置５０と、図８に示す超解像処理を実現する画像処理装置３００を併せた画像処理装置の構成例について説明する。
【０１５０】
図９には、
（ａ）ノイズ低減処理回路（ＮＲ回路）（＝図２）
（ｂ）構成を変更した超解像処理回路（構成変更ＳＲ回路）（＝図８）
これらの２つの回路を示している。
【０１５１】
図９に示す（ａ），（ｂ）の回路は共通の構成要素を持つ。
すなわち、
アップサンプル部、
動き推定／動き補償画像生成部、
動き判定部、
ここまでの構成は、接続関係も含めてすべて共通の回路構成となっている。
【０１５２】
その後段の回路構成が異なっている。
この異なる構成を持つ回路部分を、
（ａ）構成変更ＮＲ回路のＮＲフィルタ４０１、
（ｂ）構成変更ＳＲ回路のＳＲフィルタ４０２、
とする。
【０１５３】
ＮＲフィルタ４０１に対する入力と、ＳＲフィルタ４０２に対する入力は、いずれも共通する。すなわち、
前フレーム動き補償画像、
アップサンプル部の出力するアップサンプル画像、
これらの２つの画像データとなる。
【０１５４】
この図９に示す２つの回路（ａ），（ｂ）を統合すると、図１０に示す回路となる。図１０に示す回路は、図９に示す回路（ａ），（ｂ）の前半の共通要素を省略して、ＮＲフィルタ４０１、ＳＲフィルタ４０２に対して、それぞれ前フレーム動き補償画像と、アップサンプル部の出力するアップサンプル画像を入力する設定としている。
【０１５５】
図１０に示す回路において、
ＮＲフィルタ４０１の出力は、図９（ａ）の回路の出力、すなわち先に図２を参照して説明したＮＲ回路の出力に対応し、入力画像のノイズ低減画像となる。
また、
ＳＲフィルタ４０２の出力は、図９（ｂ）の回路の出力、すなわち先に図８を参照して説明した構成変更ＳＲ回路の出力に対応し、入力画像の超解像処理画像となる。
【０１５６】
図１０の回路は、これらの２つの出力を予め設定したブレンド比率（λ：１−λ）を用いてブレンドして最終的な出力画像を得る回路である。
【０１５７】
図１０に示す回路は、
ノイズ低減画像であるＮＲフィルタ４０１の出力をｆｎＮＲ、
超解像処理画像であるＳＲフィルタ４０２の出力をｆｎＳＲ、
この設定とし、
ノイズ低減画像であるＮＲフィルタ４０１の出力ｆｎＮＲのブレンド比率をλ、
超解像処理画像であるＳＲフィルタ４０２の出力ｆｎＳＲのブレンド比率を（１−λ）、
として各処理画像のブレンド画像ｆｎを出力する回路である。
すなわち、出力画像ｆｎは下式で示される。
ｆｎ＝λｆｎＮＲ＋（１−λ）ｆｎＳＲ、
【０１５８】
上記式、すなわち、図１０に示す回路の実行する処理の式を展開すると、以下に示す式（式１１）のように展開できる。
【０１５９】
【数１１】
2011237997.tif 000013
・・・（式１１）
【０１６０】
上記式（式１１）の展開式に従った回路を構成することで、超解像処理とノイズ低減処理の双方の処理を実行した結果を出力することができる。
この回路構成例を図１１に示す。
【０１６１】
図１１に示す画像処理装置５００は、図１０に示す回路の具体的な構成例に相当する。すなわち、超解像処理とノイズ低減処理の双方の処理を実行した結果としての画像を出力する画像処理装置である。
【０１６２】
図１１に示す画像処理装置５００の、アップサンプル部５０１、動き推定／動き補償画像生成部５０２、動き判定部５０３は、図５の（ａ），（ｂ）の各回路と同じ構成である。すなわち、これらのアップサンプル部５０１、動き推定／動き補償画像生成部５０２、動き判定部５０３は、図２を参照して説明したノイズ低減処理を実行する画像処理装置５０と、図８を参照して説明した超解像処理を実行する画像処理装置３００とに共通する構成である。
【０１６３】
図１１に示す回路の後段において、上記の共通構成の出力である前フレーム動き補償画像と、アップサンプル画像を入力して、ノイズ低減画像と超解像処理画像を生成して、さらにこれらをブレンドする処理によって最終的な出力画像を生成する。
図１１に示す画像処理装置５００の構成と処理について説明する。
【０１６４】
図１１に示す画像処理装置５００は、処理対象となる低解像度画像（ｇｎ）５２１を入力し、解像度を高める超解像処理を実行し、かつノイズ低減処理のなされた画像、すなわち、図１１に示すＳＲ＋ＮＲ処理画像（ｆｎ）５２２を生成して出力する。
【０１６５】
処理対象となる低解像度画像（ｇｎ）５２１は、まず、アップサンプル部５０１に入力され、画素数の変換（画像拡大処理）が実行される。具体的には、アップサンプル部５０１では、入力画像の画素数を出力予定の画像（ＳＲ＋ＮＲ処理画像ｆｎ５２２）の画素数に合わせる画像拡大処理、例えば１画素を複数画素に分割設定する処理を行う。すなわち、第１の解像度（低解像度）の入力画像を、第１の解像度（低解像度）より高い第２の解像度（高解像度）の画像の持つ画素数に合わせるアップサンプル処理を実行する。
【０１６６】
動き推定／動き補償画像生成部５０２は、前フレームの処理において生成された処理画像ｆｎ−１、アップサンプリングした低解像度画像（ｇｎ）５２１間の動きの大きさを検出する。具体的には動きベクトルを計算する。さらに、検出した動きベクトルを利用して、前フレームの処理画像ｆｎ−１に対する動き補償処理を行う。これにより前フレームの処理画像ｆｎ−１に動き補償処理が施され、アップサンプリングした低解像度画像ｇｎと被写体の位置が同じに設定された動き補償画像が生成される。なお、前フレームの処理画像ｆｎ−１は、高解像度化処理である超解像処理と、ノイズ低減処理の両処理が実行された画像である。
【０１６７】
動き判定部５０３では、動き補償（ＭＣ）処理により生成された動き補償前フレーム処理画像、及びアップサンプルした低解像度画像を比較して、動き補償（ＭＣ）がうまく適用できていない領域を検出する。例えば被写体自身が動いている場合、動き補償失敗領域が発生する。
【０１６８】
前フレーム処理画像ｆｎ−１の動き補償画像と、アップサンプリングした低解像度画像ｇｎと被写体の位置が同じに設定された領域を動き補償成功領域とし、同じ位置に設定されなかった領域を動き領域失敗領域として区別した動き領域情報（αマップ［０：１］）を生成して出力する。動き領域情報（αマップ［０：１］）は、動き補償成功領域〜動き補償失敗領域の信頼度に応じて１〜０の範囲の値を設定したマップである。簡易的に例えば動き補償成功領域を１、動き補償失敗領域を０として設定したマップとして設定することも可能である。
【０１６９】
図１１に示す画像処理装置５００において、後段の回路が動き補償画像、およびアップサンプル画像を入力して、入力画像の高解像度化処理としての超解像処理と、入力画像のノイズ低減処理を実行し、超解像処理画像とノイズ低減処理画像のブレンド画像を生成する出力画像生成部５４０となる。すなわち出力画像生成部５４０は、図１０に示すＮＲフィルタ４０１とＳＲフィルタ４０２とその他の演算部を含む回路である。
【０１７０】
超解像処理画像とノイズ低減処理画像のブレンド画像を生成する出力画像生成部５４０は、図１１に示す統合フィルタ５０４と、その他の演算部によって構成される。演算部は、乗算器５０５，５０６，５０８，５０９、加算器５０７，５１０によって構成される。出力画像生成部５４０の処理について説明する。
【０１７１】
動き推定／動き補償画像生成部５０２の生成した前フレーム処理画像ｆｎ−１の動き補償画像［Ｗｎｆｎ−１］は、統合フィルタ（ポリフェーズフィルタ）５０４と、乗算器５０５に出力される。統合フィルタ（ポリフェーズフィルタ）５０４は、先に図８を参照して説明した統合フィルタ３０４と同様の処理を行う。すなわち、統合フィルタ（ポリフェーズフィルタ）５０４は、前フレーム処理画像ｆｎ−１の動き補償画像［Ｗｎｆｎ−１ＳＲ］を入力画像に対応する第１の解像度（低解像度）の画像の構成画素数まで低下させるダウンサンプル処理と、出力画像に対応する第２の解像度（高解像度）の画像の画素数に合わせるアップサンプル処理を実行する。統合フィルタ（ポリフェーズフィルタ）５０４は、例えばポリフェーズフィルタであり、位相毎に異なる値を畳み込むフィルタリング処理を行う。
【０１７２】
乗算器５０５，５０６，５０９は、予め設定されたパラメータである乗算係数を乗算する。
乗算器５０５は、パラメータ（λγＮＲ＋（１−λ））、
乗算器５０６は、パラメータ（（１−λ）γＳＲ）、
乗算器５０９は、パラメータ（λ（１−αγＮＲ）＋（１−λ）（１−α＋αγＳＲ）、
これらの係数を乗算するための乗算器である。
なお、
γＮＲは、ノイズ低減処理における帰還係数、
γＳＲは、超解像処理における帰還係数、
λは、ノイズ低減処理画像と超解像処理画像のブレンド比率、
αは、αマップの係数（動き補償成功領域〜失敗領域＝１〜０）
である。
これらの値は、予め設定した値として各乗算器に入力する。
【０１７３】
乗算器５０５は、動き推定／動き補償画像生成部５０２の生成した前フレーム処理画像ｆｎ−１の動き補償画像［Ｗｎｆｎ−１］に対してパラメータ（λγＮＲ＋（１−λ））を乗算する処理を行う。すなわち、
（λγＮＲ＋（１−λ））×（Ｗｎｆｎ−１）
上記の乗算処理を実行する。
【０１７４】
乗算器５０６は、統合フィルタ５０４からの出力（ＨＴＤＴＤＨ（Ｗｎｆｎ−１）に対してパラメータ（（１−λ）γＳＲ）を乗算する処理を行う。すなわち、
（（１−λ）γＳＲ）×（ＨＴＤＴＤＨ（Ｗｎｆｎ−１））
上記の乗算処理を実行する。
【０１７５】
乗算器５０９は、アップサンプル部５０１からの出力（ＨＴＤＴｇｎ）に対してパラメータ（λ（１−αγＮＲ）＋（１−λ）（１−α＋αγＳＲ）を乗算する処理を行う。すなわち、
（λ（１−αγＮＲ）＋（１−λ）（１−α＋αγＳＲ）×ＨＴＤＴｇｎ
上記の乗算処理を実行する。
【０１７６】
減算器５０７は、乗算器５０５の出力から乗算器５０６の出力を減算する処理を行う。すなわち、
（（λγＮＲ＋（１−λ））×（Ｗｎｆｎ−１））−（（（１−λ）γＳＲ）×（ＨＴＤＴＤＨ（Ｗｎｆｎ−１）））
上記の減算処理を実行する。
【０１７７】
乗算器５０８は、減算器５０７の出力に対して動き判定部の生成する動き補償成功〜失敗に応じたパラメータαを乗算する。すなわち、
α×（（（λγＮＲ＋（１−λ））×（Ｗｎｆｎ−１））−（（（１−λ）γＳＲ）×（ＨＴＤＴＤＨ（Ｗｎｆｎ−１））））
＝α（λγＮＲ＋（１−λ）−（１−λ）γＳＲＨＴＤＴＤＨ）Ｗｎｆｎ−１
上記の乗算処理を実行する。
【０１７８】
加算器５１０は、乗算器５０８の出力と、乗算器５０９の出力を加算する処理を行う。すなわち、
α（λγＮＲ＋（１−λ）−（１−λ）γＳＲＨＴＤＴＤＨ）Ｗｎｆｎ−１＋（λ（１−αγＮＲ）＋（１−λ）（１−α＋αγＳＲ）×ＨＴＤＴｇｎ
上記の加算処理を実行する。
この結果が出力画像となる。
【０１７９】
この図１１に示す画像処理装置５００の実行する処理を式で示すと以下のように表現することが可能である。
【０１８０】
【数１２】
2011237997.tif 000014
・・・（式１２）
【０１８１】
図１１の下部にも上記式（式１２）と同様の式を示している。
図１１に示す式中に示す（１）〜（３）は、各乗算器に対する入力であり、先に説明した乗算パラメータである。すなわち、
（１）乗算器５０５のパラメータ（λγＮＲ＋（１−λ））、
（２）乗算器５０６のパラメータ（（１−λ）γＳＲ）、
（３）乗算器５０９のパラメータ（λ（１−αγＮＲ）＋（１−λ）（１−α＋αγＳＲ））、
これらのパラメータである。
【０１８２】
図１１に示すように、式１２は、これらのパラメータと、以下の各値によって構成されている。
動き判定部の生成パラメータ：α
統合フィルタの処理：ＨＴＤＴＤＨ、
前フレーム動き補償画像：（Ｗｎｆｎ−１）、
アップサンプル部の出力：ＨＴＤＴｇｎ、
【０１８３】
上記（式１２）は、先に説明した式（式１１）と同様の式である。すなわち、図１１に示す画像処理装置５００により、入力画像である低解像度画像（ｇｎ）５２１は、高解像度化としての超解像処理と、ノイズ低減処理を実行した結果としてのＳＲ＋ＮＲ画像５２２として出力される。
【０１８４】
［２．ノイズ低減画像と超解像処理画像のブレンド比率λの設定について］
上述した実施例において、
ノイズ低減処理回路（ＮＲ回路）を基本構成として、超解像処理回路（ＳＲ回路）を組み合わせた実施例として図７に示す画像処理装置２００、
超解像処理回路（ＳＲ回路）を基本構成として、ノイズ低減処理回路（ＮＲ回路）を組み合わせた実施例として図１１に示す画像処理装置５００、
これらの画像処理装置を説明した。
【０１８５】
これらの画像処理装置はいずれも、ノイズ低減画像と超解像処理画像のブレンド比率λを設定して、このブレンド比率に応じて、各処理画像のブレンドを実行して最終的な処理画像を生成して出力している。すなわち、
ノイズ低減画像ｆｎＮＲのブレンド比率をλ、
超解像処理画像ｆｎＳＲのブレンド比率を（１−λ）、
このブレンド比率に応じて２つの処理画像をブレンドしている。ただしλ＝０〜１である。
【０１８６】
このブレンド比率は、予めユーザによって設定された固定値を用いることも可能であるが、その他、以下のような調整地を設定して利用する構成としてもよい。
（ａ）ＩＳＯ感度による調整処理
例えば、動き判定に用いるノイズテーブルを使用して、
ＩＳＯが低い領域については、ノイズが多いことが推定されるので、ノイズ低減（ＮＲ）画像のブレンド比率を高くする（λ＝大）。
【０１８７】
（ｂ）超解像処理（ＳＲ）において使用する画像の拡大比率に応じた調整処理
超解像処理（ＳＲ）において実行するアップサンプル部における画像拡大の拡大比率によってはエイリアスが除去できない場合もある。このような場合は、ノイズ低減（ＮＲ）画像のブレンド比率を高くする（λ＝大）。このブレンド設定とすることで超解像処理（ＳＲ）で除去できないエイリアスを取り除くことが可能となる。
【０１８８】
（ｃ）画素値の分散値に基づいて画素単位で調整する
処理画像の画素値について、所定領域単位で分散値を算出し、
分散の低い領域は、平坦領域であると判断し、ノイズ低減（ＮＲ）画像のブレンド比率を高くする（λ＝大）。
一方、分散の高い領域は、エッジ領域やテクスチャ領域であると判断し、ノイズ低減（ＮＲ）画像のブレンド比率を低くし、超解像処理画像のブレンド比率を高くする（λ＝小）。
例えば上記のようなブレンド比率を設定して、ノイズ低減と超解像処理を併せて実行した画像を生成して出力することができる。
【０１８９】
すなわち、図７、図１１を参照して説明した画像処理装置における出力画像生成部は、超解像処理画像とノイズ低減処理画像のブレンド比率を、
（ａ）入力画像の画像領域単位で算出したＩＳＯ感度、
（ｂ）前記アップサンプル部における入力画像に対する画像拡大比率、
（ｃ）入力画像の画像領域単位の画素値の分散値、
少なくとも上記（ａ）〜（ｃ）のいずれかに応じて調整する処理を実行する構成としてもよい。例えば図７、図１１には示していないが、画像処理装置の制御部において、上記（ａ）〜（ｃ）の値を算出し、予め設定したアルゴリズムに従って算出値に応じたブレンド比率λを設定して出力画像生成部内の演算部に入力する。
【０１９０】
［３．画像処理装置のハードウェア構成例について］
最後に、図１２を参照して、上述した処理を実行する画像処理装置の１つのハードウェア構成例について説明する。ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）９０１は、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）９０２、または記憶部９０８に記憶されているプログラムに従って各種の処理を実行する。例えば、上述の各実施例において説明した超解像処理、ノイズ低減処理を併せた画像処理を実行する。ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）９０３には、ＣＰＵ９０１が実行するプログラムやデータなどが適宜記憶される。これらのＣＰＵ９０１、ＲＯＭ９０２、およびＲＡＭ９０３は、バス９０４により相互に接続されている。
【０１９１】
ＣＰＵ９０１はバス９０４を介して入出力インタフェース９０５に接続され、入出力インタフェース９０５には、キーボード、マウス、マイクロホンなどよりなる入力部９０６、ディスプレイ、スピーカなどよりなる出力部９０７が接続されている。ＣＰＵ９０１は、入力部９０６から入力される指令に対応して各種の処理を実行し、処理結果を例えば出力部９０７に出力する。
【０１９２】
入出力インタフェース９０５に接続されている記憶部９０８は、例えばハードディスクからなり、ＣＰＵ９０１が実行するプログラムや各種のデータを記憶する。通信部９０９は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。
【０１９３】
入出力インタフェース９０５に接続されているドライブ９１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア９１１を駆動し、記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記憶部９０８に転送され記憶される。
【０１９４】
以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
【０１９５】
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【０１９６】
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【産業上の利用可能性】
【０１９７】
以上、説明したように、本発明の一実施例の構成によれば、超解像処理とノイズ低減処理を併せて実行する装置および方法が実現される。すなわち、低解像度画像を入力し、高解像度化としての超解像処理を実行する構成において、ノイズ低減処理も併せて実行する。具体的には、例えば、入力画像を高い解像度の画像の持つ画素数に合わせるアップサンプル処理を実行し、アップサンプル画像と第２の解像度を持つ参照画像との差分情報を利用して、参照画像をアップサンプル画像の被写体位置に合わせる補正処理により動き補償画像を生成する。この動き補償画像とアップサンプル画像、または動き補償画像とアップサンプル画像をブレンドしたブレンド画像とアップサンプル画像を入力し、例えば統合フィルタ処理と演算処理によって超解像処理とノイズ低減処理を併せて実行した画像を生成する。本構成により超解像処理とノイズ低減処理を併せて実行した画像を生成して出力することができる。
【符号の説明】
【０１９８】
１０  超解像処理装置
１１  アップサンプル部
１２  動き推定／動き補償画像生成部
１３  動き判定部
１４  ブレンド処理部
１５  ボケ付加部
１６  ダウンサンプル部
１７  加算器
１８  アップサンプル部
１９  逆ボケ付加部
２０  乗算器
２１  加算器
５０  ノイズ低減処理回路
５１  動き推定／動き補償画像生成部
５２  動き判定部
５３，５４  乗算器
５５  加算器
７１  入力画像
７２  ＮＲ処理画像
１００  画像処理装置
１０１  アップサンプル部
１０２  動き推定／動き補償画像生成部
１０３  動き判定部
１０４  ブレンド処理部
１０５，１０６  乗算器
１０７  加算器
１１１  入力画像
１１２  処理画像
１３１  低解像度画像
１３２  ＳＲ処理画像
１５０  画像処理装置
１５１  アップサンプル部
１５２  動き推定／動き補償画像生成部
１５３  動き判定部
１５４  ブレンド処理部
１７１  統合フィルタ（ポリフェーズフィルタ）
１７２，１７４  乗算器
１７３，１７５  加算器
１８１  ＮＲフィルタ
１８２  ＳＲフィルタ
２００  画像処理装置
２０１  アップサンプル部
２０２  動き推定／動き補償画像生成部
２０３  動き判定部
２０４  ブレンド処理部
２０５  統合フィルタ（ポリフェーズフィルタ）
２１１〜２１３  乗算器
２１４，２１５  加算器
２２０  出力画像生成部
２５１  低解像度画像
２５２  ＳＲ＋ＮＲ処理画像
３００  画像処理装置
３０１  アップサンプル部
３０２  動き推定／動き補償画像生成部
３０３  動き判定部
３０４  統合フィルタ（ポリフェーズフィルタ）
３０５，３０７，３０８  乗算器
３０６，３０９  加算器
３２１  低解像度画像
３２２  ＳＲ処理画像
４０１  ＮＲフィルタ
４０２  ＳＲフィルタ
５００  画像処理装置
５０１  アップサンプル部
５０２  動き推定／動き補償画像生成部
５０３  動き判定部
５０４  統合フィルタ（ポリフェーズフィルタ）
５０５，５０６，５０８，５０９  乗算器
５０７，５１０  加算器
５２１  低解像度画像
５２２  ＳＲ＋ＮＲ処理画像
５４０  出力画像生成部
９０１  ＣＰＵ
９０２  ＲＯＭ
９０３  ＲＡＭ
９０４  バス
９０５  入出力インタフェース
９０６  入力部
９０７  出力部
９０８  記憶部
９０９  通信部
９１０  ドライブ
９１１  リムーバブルメディア
【図１】
2011237997.tif 000015
【図２】
2011237997.tif 000016
【図３】
2011237997.tif 000017
【図４】
2011237997.tif 000018
【図５】
2011237997.tif 000019
【図６】
2011237997.tif 000020
【図７】
2011237997.tif 000021
【図８】
2011237997.tif 000022
【図９】
2011237997.tif 000023
【図１０】
2011237997.tif 000024
【図１１】
2011237997.tif 000025
【図１２】
2011237997.tif 000026