(57)【要約】【課題】画像全体において、ノイズ劣化が視覚によって知覚されずに鮮鋭性を向上できる超解像処理を提供する。【解決手段】複数の解像度変換処理に応じたノイズ情報を取得し、ノイズ情報と入力画像に基づいて、入力画像におけるノイズの知覚しやすさを表したノイズマップを算出し、ノイズマップに基づいて、解像度変換処理が施された複数の画像の加算比率を決定し、加算比率に従って解像度変換処理が施された複数の画像を合成する。【選択図】図２
2015121884.tif 000002
【特許請求の範囲】
【請求項１】
画像処理装置であって、
入力画像に対してそれぞれ異なる解像度変換処理を施す複数の変換手段と、
前記解像度変換処理に応じたノイズ情報を取得する取得手段と、
前記ノイズ情報と前記入力画像に基づいて、前記入力画像におけるノイズの知覚しやすさを表したノイズマップを算出する算出手段と、
前記ノイズマップに基づいて、前記解像度変換処理が施された複数の画像の加算比率を決定する決定手段と、
前記加算比率に従って前記解像度変換処理が施された複数の画像を合成する合成手段とを備えることを特徴とする画像処理装置。
【請求項２】
前記算出手段は、前記複数の変換手段の各々に対応して複数の前記ノイズマップを算出することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記算出手段は、前記複数の変換手段のうちの一つに対応して一つの前記ノイズマップを算出することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記ノイズ情報を記憶する記憶手段を更に備え、
前記取得手段は、前記解像度変換処理のための設定パラメータに応じて前記記憶手段から前記ノイズ情報を取得することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項５】
前記ノイズ情報は、ノイズ量と自己相関関数であることを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記取得手段は、前記入力画像と前記解像度変換処理が施された画像を比較することによって前記ノイズ情報を取得することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項７】
前記算出手段は、
帯域分割されたノイズ画像を前記ノイズ情報に基づいて生成し、帯域分割された入力画像を前記入力画像に基づいて生成する帯域分割手段と、
前記帯域分割されたノイズ画像を前記帯域分割された入力画像に基づいてマスキングするマスク手段と、
前記マスク手段から出力されるマスク化後の帯域分割されたノイズ画像を全帯域で合成して前記ノイズマップを生成する生成手段とを備えることを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
【請求項８】
前記帯域分割されたノイズ画像は、所定のパワーを持つホワイトノイズ画像と前記ノイズ情報に基づいて生成されたものであることを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記帯域分割されたノイズ画像は、前記ノイズ情報から直接生成されたものであることを特徴とする請求項７に記載の画像処理装置。
【請求項１０】
前記帯域分割手段は、周波数特性が円周方向の特性と半径方向の特性との結合で定義されるフィルタに基づいて前記帯域分割されたノイズ画像と前記帯域分割された入力画像を生成することを特徴とする請求項７乃至９の何れか１項に記載の画像処理装置。
【請求項１１】
前記帯域分割手段は、周波数特性が縦方向の特性と横方向の特性との結合で定義されるフィルタに基づいて前記帯域分割されたノイズ画像と前記帯域分割された入力画像を生成することを特徴とする請求項７乃至９の何れか１項に記載の画像処理装置。
【請求項１２】
画像処理装置の制御方法であって、
入力画像に対してそれぞれ異なる解像度変換処理を施す工程と、
前記解像度変換処理に応じたノイズ情報を取得する工程と、
前記ノイズ情報と前記入力画像に基づいて、前記入力画像におけるノイズの知覚しやすさを表したノイズマップを算出する工程と、
前記ノイズマップに基づいて、前記解像度変換処理が施された複数の画像の加算比率を決定する工程と、
前記加算比率に従って前記解像度変換処理が施された複数の画像を合成する工程とを備えることを特徴とする画像処理装置の制御方法。
【請求項１３】
請求項１乃至請求項１１のいずれか１項に記載の画像処理装置としてコンピュータを機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像の解像度を変換する画像処理装置、その方法、及びプログラムに関する。
【背景技術】
【０００２】
テレビやディスプレイなどの表示機器が表示する画像の高解像度に伴い、表示機器に入力される映像コンテンツが、表示される画像の解像度に満たない状況が増加している。このため、低解像度の映像から高解像度の映像を生成する超解像技術の重要性が増している。超解像技術には、大きく分けて学習型と再構成型の2つの手法がある。再構成型超解像技術は、まず初期の高解像度画像を設定し、そこからカメラモデルに基づき低解像度画像を推定し、推定した画像の画素値と実際の観測画素値の誤差を最小にするように高解像度画像を更新することで、超解像画像を取得する手法である。一方、学習型超解像は、入力画像とあらかじめ学習した高解像度画像データベースとを照らし合わせ、高解像度パターンに置き換えることで高解像度画像を得る手法である。なお、再構成型超解像技術を説明する文献として例えば特許文献1があり、学習型超解像技術を説明する文献として例えば特許文献2がある。
【０００３】
一方で、超解像技術にはノイズと鮮鋭感のトレードオフ問題が存在することが知られている。例えば、学習型超解像技術では、一般に、鮮鋭感の高い画像を生成する一方、出力画像にノイズが混合しやすく、破綻した画像が生成されることもある。一方、再構成型超解像では、は一般に、比較的鮮鋭感が低い画像しか生成できないが、出力画像にノイズは発生しない。
【０００４】
このようなトレードオフ問題を解消する技術として、画像に応じて複数の超解像手法を使い分ける方法が提案されている。例えば、特許文献3では、領域に含まれるエッジ量に応じて超解像処理を切り替えることで、ノイズと鮮鋭感の両立を図っている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−１４００１２号公報
【特許文献２】特許第３３２１９１５号公報
【特許文献３】特開２００６−２２１２２１号公報
【０００６】
【非特許文献１】S. Daly, "The Visible Differences Predictor: An algorithm for the assessment of image fidelity," in A.B. Watson, editor, Digital Image and Human Vision, pages 179-206, Cambridge, MA, MIT Press, 1993.
【発明の概要】
【発明が解決しようとする課題】
【０００７】
視覚によるノイズの知覚（見え方）は背景の画像によって変化することは、視覚のマスキング効果として良く知られている。したがって、画像の領域に応じて超解像処理を変更することで、上述した鮮鋭感とノイズのトレードオフの問題の解決が可能となる。しかし、公知技術では、視覚がノイズを知覚しやすい画像の一部でしか効果を得ることが出来なかった。例えば、特許文献3によれば、エッジ量に応じて超解像処理を切り替えるため、エッジ以外の領域では同一の超解像処理が施される。しかしながら、背景によるノイズのマスキング効果は、例えば遠景の森林などのテクスチャ領域など、エッジ以外の領域においても発生する。すなわち、特許文献3による手法では、鮮鋭感とノイズのトレードオフの問題が十分に解決されたとは言えないという課題があった。
【０００８】
本発明は、上記課題に鑑みてなされたものであり、画像全体において、ノイズ劣化が視覚によって知覚されずに鮮鋭性を向上できる超解像処理を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するための一手段として、本発明の画像処理装置は以下の構成を備える。すなわち、入力画像に対してそれぞれ異なる解像度変換処理を施す複数の変換手段と、前記解像度変換処理に応じたノイズ情報を取得する取得手段と、前記ノイズ情報と前記入力画像に基づいて、前記入力画像におけるノイズの知覚しやすさを表したノイズマップを算出する算出手段と、前記ノイズマップに基づいて、前記解像度変換処理が施された複数の画像の加算比率を決定する決定手段と、前記加算比率に従って前記解像度変換処理が施された複数の画像を合成する合成手段とを備える。
【発明の効果】
【００１０】
画像全体において、ノイズ劣化が知覚されずに、鮮鋭性を向上させる超解像処理を実現することが出来る。
【図面の簡単な説明】
【００１１】
【図１】いくつかの実施形態による画像処理装置の構成を示すブロック図。
【図２】第１実施形態による画像処理部の構成を示すブロック図。
【図３】第１実施形態によるノイズマップ算出部の構成を示すブロック図。
【図４】空間視覚特性を示す模式図。
【図５】帯域分割フィルタの円周方向の特性を示す模式図。
【図６】帯域分割フィルタの半径方向の特性を示す模式図。
【図７】帯域分割フィルタによる周波数の帯域分割を表した模式図。
【図８】マスキング強度を示す模式図。
【図９】第１実施形態による画像合成部の構成を示すブロック図。
【図１０】第１実施形態による画像加算部の構成を示すブロック図。
【図１１】第２実施形態による画像処理部の構成を示すブロック図。
【図１２】第２実施形態による画像合成部の構成を示すブロック図。
【図１３】第３実施形態によるノイズマップ算出部の構成を示すブロック図。
【図１４】第４実施形態による画像処理部の構成を示すブロック図。
【図１５】第４実施形態によるノイズ情報取得部の構成を示すブロック図。
【図１６】第４実施形態によるノイズマップ算出部の構成を示すブロック図。
【図１７】第５実施形態によるノイズマップ算出部の構成を示すブロック図。
【図１８】第５実施形態による帯域分割フィルタによる周波数の帯域分割を表した模式図。
【発明を実施するための形態】
【００１２】
［第１実施形態］
本実施形態は、入力された低解像度画像に対して２つの超解像処理を行い、超解像処理後の出力画像を、ノイズを抑制しつつ解像感を増大させるように合成する。この際、入力画像の画像構造に応じたノイズの知覚しやすさをマップ化したノイズマップに基づき、２つの超解像出力画像の混合割合を決定する。これにより、ノイズの知覚されやすい領域にノイズの少ない超解像処理を、ノイズの知覚されにくい領域に解像感の高い超解像処理を割り当てることができ、ノイズ感と鮮鋭感を両立した超解像が可能となる。なお、ノイズ感度モデルに関しては、非特許文献1に詳しい記載がある。
【００１３】
＜画像処理装置の構成＞
図１は、本実施形態による画像処理装置の構成を示すブロック図である。なお、図１は、画像処理装置としてデジタルカメラの構成を示している。撮像部101は、ズームレンズ、フォーカスレンズ、ぶれ補正レンズ、絞り、シャッター、光学ローパスフィルタ、iRカットフィルタ、カラーフィルタ、及び、CMOSやCCDなどのセンサなどから構成され、被写体の光量を検知する。A/D変換部102は、被写体の光量をデジタル値に変換する。信号処理部103は、A/D変換部102で変換されたデジタル値にデモザイキング処理、ホワイトバランス処理、ガンマ処理などを行い、デジタル画像を生成する。画像処理部104は、信号処理部103で生成されたデジタル画像に対してノイズ低減処理を行う。エンコーダ部105は、ノイズ低減後のデジタル画像をJPEG等の映像圧縮フォーマットに変換する処理を行う。メディアインタフェース106は、107のメディア（例えば、ハードディスク、メモリーカード、CFカード、SDカード、USBメモリ）につなぐためのインタフェースである。
【００１４】
CPU108は、各構成の処理全てに関わり、ROM109やRAM110に格納された命令を順に読み込み処理を実行する。また、CPU108は、システムバス115を介して各構成を制御する。ROM109とRAM110は、処理に必要なプログラム、データ、作業領域などをCPU108に提供する。撮像制御部111は、フォーカスを合わせる、シャッターを開く、絞りを調節するなど、CPU108から指示された撮像系の制御を行う。操作部112は、ボタンやモードダイヤルなどが該当し、これらを介して入力されたユーザー指示を受け取る。ユーザー指示としては、ISO感度設定、シャッター速度設定、Ｆ値設定等の撮影設定がある。これらの撮影設定はCPU108で処理が行われ、デジタルカメラの撮影条件に反映されると共に、RAM110に記憶される。D/A変換部113は、画像処理部104でノイズ低減されたデジタル画像に対しアナログ変換を行う。表示部114は、一般的には液晶ディスプレイが広く用いられており、D/A変換部113から受け取った撮影画像の表示を行う。
【００１５】
＜画像処理部104の構成＞
図２は、本実施形態による画像処理部104の構成を示す図である。端子201には、信号処理部103で生成されたデジタル画像信号が入力される。パラメータ取得部202Aと202Bは、それぞれ第一の超解像処理部206と第二の超解像処理部207から指定された、それぞれの処理の設定パラメータを、システムバス115を介してRAM110から取得する。ノイズ特性記憶部203Aと203Bは、それぞれ第一の超解像処理部206と第二の超解像処理部207の処理の設定パラメータに応じたノイズ特性を、テーブルもしくは関係式を用いて関連付けて記憶する。なお、本実施形態でのノイズ特性とは、ノイズ量と自己相関関数からなる。ノイズ情報取得部204Aと204Bは、それぞれパラメータ取得部202Aと202Bより取得した設定パラメータに基づき、それぞれノイズ特性記憶部203Aと203Bからノイズ特性を取得する。
【００１６】
そして、ノイズ情報取得部204Aと204Bは、取得したノイズ特性を画像に含まれるノイズ情報として、それぞれノイズマップ算出部205Aと205Bに送信する。ノイズマップ算出部205Aと205Bは、それぞれノイズ情報取得部204Aと204Bでノイズ情報として取得したノイズ特性と、信号処理部103から入力されたデジタル画像に基づき、画像におけるノイズの知覚されやすさを表現する、ノイズマップを生成する。第一の超解像処理部206及び第二の超解像処理部207は、システムバス115を介して信号処理部103から得られるデジタル画像に対してそれぞれ解像度変換処理を施す。画像合成部208は、第一の超解像処理部206及び第二の超解像処理部207により得られた画像に基づいて加算比率を算出し、算出した加算比率により画像を合成し、一枚の高解像度画像を出力する。端子209からは、超解像処理を施したデジタル画像が出力される。なお、図２における202A〜205Aは、それぞれ202B〜205Bと同じブロックとして構成されてもよい。この場合、第一の超解像処理部206及び第二の超解像処理部207に対応した処理が、並行に、もしくは切り換えられて行われる。
【００１７】
＜ノイズマップ算出部205Aと205Bの構成＞
図３は、本実施形態によるノイズマップ算出部205Aの構成を示す図である。なお、ノイズマップ算出部205Bはノイズマップ算出部205Aと同様の構成を有する。端子301には、信号処理部103で生成されたデジタル画像が入力される。このデジタル画像をiin(x,y)とする。端子302には、ノイズ情報取得部204Aからノイズ情報が入力される。ノイズ画像生成部303は、デジタル画像と同じ位置のホワイトノイズ画像nw(x,y)を、所定のパワーとなる様に生成する。フィルタ部304は、生成されたホワイトノイズ画像nw(x,y)に対して下記の演算を施して、カメラのノイズ画像n(x,y)を推定する。
2015121884.tif 000003
ここでαは、ノイズ情報取得部204Aで取得されたノイズ量に関する補正項である。また、ノイズ情報取得部204Aで取得されたノイズの自己相関関数のフーリエ変換結果と、c(x,y)のパワースペクトラムが一致するように、c(x,y)は求められる。
【００１８】
フーリエ変換部305Aと305Bは、デジタル画像とノイズ画像に対してフーリエ変換を施し、空間周波数情報を生成する。以下、デジタル画像iin(x,y)のフーリエ変換結果をIin(u,v)、ノイズ画像n(x,y)のフーリエ変換結果をN(u,v)とする。空間視覚特性乗算部306Aと306Bは、デジタル画像のフ―リ変換結果Iin(u,v)とノイズ画像のフーリエ変換結果N(u,v)に対し、空間視覚特性であるVTF(u,v)を乗算し、それぞれの乗算結果としてIV(u,v)とNV(u,v)を得る。なお、VTF(u,v)は、VTF(u,v)=VTFsx(u)×VTFsy(v)で定義され、VTFsx(u)は横方向の空間視覚特性、VTFsy(v)は縦方向の空間視覚特性である。これらは、それぞれ下式で定義される。
2015121884.tif 000004
2015121884.tif 000005
ここで、p(mm)は画素ピッチ、R(mm)は視距離、Nxは入力画像の横画素数、Nyは入力画像の縦画素数である。これらの値は、一般的なユーザー観察環境に基づいて定められる。なお、VTFsx(u)並びにVTFsy(v)は、空間視覚特性
2015121884.tif 000006
を視距離と画面ピッチと画素数に応じて周波数空間でサンプリングしたものであり、基本形は同じである。
【００１９】
図４は、空間視覚特性VTF(u,v)の模式図である。図４では、空間視覚特性として、空間周波数に対する視覚による感度が示されている。図４によれば、画像の空間周波数が高くなるにつれて視覚による感度が高くなり、すなわち、画像が見えやすくなりことがわかる。また、画像の空間周波数がより高くなると再び、視覚による感度が低くなり、すなわち、画像が見えにくくなることがわかる。
【００２０】
帯域分割部307Aと307Bはそれぞれ、空間視覚特性乗算部306による乗算結果である空間周波数情報IV(u,v)とNV(u,v)に対し、帯域分割フィルタcortexk,l(u,v)を用いて帯域分割を施す。kは半径方向、lは円周方向の帯域のインデックスである。帯域分割後の空間周波数情報は、それぞれ下式で表現される。Isk,l(u,v)はデジタル画像に対する帯域分割情報、Nsk,l(u,v)はホワイトノイズ画像に対する帯域分割情報である。
2015121884.tif 000007
【００２１】
帯域分割フィルタcortexk,l(u,v)は、半径方向と円周方向を結合し、次のように定義される。
2015121884.tif 000008
2015121884.tif 000009
ここで、cortex_polk,l(ρ,θ) はcortexk,l(u,v)を極座標で表現したものである。Kは半径方向、Lは円周方向の帯域分割数であり、一般にはK=6,L=6を用いる。
【００２２】
上記の式において、fanl(θ)の定義は次の通りである。
2015121884.tif 000010
ここで
2015121884.tif 000011
である。図５は、L=6の場合のfanl(θ)の模式図である。図５において、横軸は正規化周波数、縦軸は応答である。
【００２３】
また、domk(ρ)の定義は次の通りである。
2015121884.tif 000012
ここで
2015121884.tif 000013
である。図６は、K=6の場合のdomk(ρ)の模式図である。図６において、横軸は正規化周波数、縦軸は応答である。
【００２４】
また、base(ρ)の定義は次の通りである。
2015121884.tif 000014
ここで、
2015121884.tif 000015
である。図７は、帯域分割フィルタcortexk,l(u,v)による帯域分割を、横軸、縦軸とも正規化周波数空間で示した模式図である。図７において、各フィルタの半値周波数が太い実線で示されている。
【００２５】
逆フーリエ変換部308Aと308Bは、帯域分割部307による帯域分割フィルタ後の空間周波数情報に対して、逆フーリエ変換を施し、帯域分割画像を生成する。以下では、デジタル画像に対する帯域分割周波数情報Isk,l(u,v)の逆フーリエ変換結果をisk,l(x,y)、ホワイトノイズ画像に対する帯域分割周波数情報Nsk,l(u,v)の逆フーリエ変換結果をnsk,l(x,y)とする。
【００２６】
ノイズマスク部309は、逆フーリエ変換部308Aからの出力である帯域分割画像isk,l(x,y)に基づいて、逆フーリエ変換部308Bからの出力である帯域分割ノイズ画像nsk,l(x,y)に対するマスキングを施す。そして、ノイズマスク部309は、マスク化後のノイズ画像である、知覚されるノイズ画像Pk,l(x,y)を帯域毎に算出する。まず、マスキング強度Tek,l(x,y)を下式により算出する。
2015121884.tif 000016
ここで、
2015121884.tif 000017
であり、本実施形態ではW=6,Q=0.7,b=4,s=0.8とする。
【００２７】
図８は、本実施形態におけるisk,l(x,y)のマスキング強度Tek,l(x,y)の関係を示すグラフである。図８において、横軸はisk,l(x,y)の強度を対数スケールで、縦軸はTek,l(x,y)の強度を対数スケールで表している。このTek,l(x,y)を用いて、ノイズ画像Pk,l(x,y)は、
2015121884.tif 000018
と算出される。ここで、mはiin(x,y)の平均値である。
【００２８】
ノイズマップ合成部310は、下式に基づいて帯域毎の知覚ノイズ画像Pk,l(x,y)を全帯域で合成し、ノイズマップNM1(x,y)を算出する。
2015121884.tif 000019
なお、上記処理と同様にして、ノイズマップ算出部205BはノイズマップNM2(x,y)を算出する。
【００２９】
＜画像合成部208の構成＞
図９は、本実施形態による画像合成部208の構成を表す図である。端子901には、第一の超解像処理部206から第一の超解像処理後のデジタル画像iin1(x,y)が入力される。端子902には、第二の超解像処理部207から第二の超解像処理後のデジタル画像iin2(x,y)が入力される。端子903には、ノイズマップ算出部205Aで算出された第一の超解像処理に対するノイズマップNM1(x,y)が入力される。端子904には、ノイズマップ算出部205Bで算出された第二の超解像処理に対するノイズマップNM2(x,y)が入力される。
【００３０】
重み決定部905は、画像位置(x,y)に応じたiin1(x,y)とiin2(x,y)の二つの画素値の混合重みを示す重みマップW1(x,y)及びW2(x,y) を、ノイズマップ情報NM1(x,y)及びNM2(x,y)に基づいて生成する。ここで、重みマップW1(x,y)及びW2(x,y)は、例えば以下の式により算出され得る。ただし、本実施形態では以下の算出方法に限定されない。
2015121884.tif 000020
2015121884.tif 000021
画像加算部906は、重みマップW1(x,y)及びW2(x,y)に従って、後述のようにデジタル画像iin1(x,y)とデジタル画像iin2(x,y)の合成処理を施す。
【００３１】
＜画像加算部906の構成＞
図１０は、本実施形態による画像加算部906の構成を表す図である。画像加算部906では、重み算出部905で算出された重みマップW1(x,y)及びW2(x,y)を用いて、デジタル画像iin1(x,y)とデジタル画像iin2(x,y)の重み付き加算処理を施す。端子1001には、デジタル画像iin1(x,y)が、端子1002にはデジタル画像iin2(x,y)が入力される。また、端子1006にはデジタル画像iin1(x,y)に対する重みマップW1(x,y)が、端子1007にはデジタル画像iin2(x,y)に対する重みマップW2(x,y)が入力される。係数設定部1008Aと1008Bは、座標に応じた係数をそれぞれ重みマップW1(x,y)とW2(x,y)を参照して乗算部1003Aと1003Bに対して設定する。乗算部1003Aと1003Bは、入力デジタル画像から画素値を読み出し、あらかじめ設定された係数を乗算する。加算器1104は、重みが乗算された各画素値を加算する。
【００３２】
以上、本実施形態によれば、ノイズの知覚されやすさを表現する２つのノイズマップを算出し、これらのマップに基づいて２つの超解像結果を重み付け加算する。これにより、ノイズ劣化の弊害を抑えつつ、鮮鋭性の改善効果が得られる超解像処理を実現することが出来る。なお、本実施形態は２つの超解像処理を合成する場合に関して述べたが、れに限定されない。超解像処理が３つ以上の場合でも、各々の処理に対して重みマップを計算し合成することで、ノイズ劣化の弊害を抑えつつ鮮鋭性の改善効果が得られる超解像処理を実現することが出来る。
【００３３】
［第２実施形態］
第１実施形態では、２つの超解像処理に対してそれぞれノイズマップを算出し、２つのノイズマップから重みを決定していた。この手法では、ノイズの知覚される領域を高精度に判断できる反面、演算量や回路規模が大きくなるという課題があった。そこで本実施形態では、１つのノイズマップから重みを決定するように処理を簡易化する。以下では、第一実施形態からの差分について述べる。
【００３４】
＜画像処理部の構成＞
図１１は、本実施形態による画像処理部104の構成を示す図である。パラメータ取得部202、ノイズ特性記憶部203、ノイズ情報取得部204、ノイズマップ算出部205の構成は図２の202B〜205Bとそれぞれ同様である。すなわち、ノイズマップ算出部205は、第二の超解像処理の設定パラメータに基づいてノイズマップNM2(x,y)を算出する一方、第一の超解像処理の設定パラメータに基づくノイズマップNM1(x,y)は算出されない。画像合成部210は、第二の超解像処理部207により得られた画像に基づいて加算比率を算出し、算出した加算比率により画像を合成し、一枚の高解像度画像を出力する。
【００３５】
＜画像合成部の210構成＞
図１２は、本実施形態による画像合成部210の構成を表す図である。端子1201には、第一の超解像処理部206から第一の超解像処理後のデジタル画像iin1(x,y)が入力される。端子1202には、第二の超解像処理部207から第二の超解像処理後のデジタル画像iin2(x,y)が入力される。端子1203には、ノイズマップ算出部205で算出された、第二の超解像処理に対するノイズマップNM2(x,y)が入力される。重み決定部1205は、画像位置(x,y)に応じたiin1(x,y)とiin2(x,y)の二つの画素値の混合重みを示す重みマップW1(x,y)及びW2(x,y)を、ノイズマップNM2(x,y)と所定の閾値thに基づいて生成する。ここで、重みマップW1(x,y)及びW2(x,y)は、例えば以下の式により算出され得る。ただし、本発明は以下の算出方法に限定されない。
2015121884.tif 000022
2015121884.tif 000023
画像加算部1206は、重みマップに従って、デジタル画像iin1(x,y)とデジタル画像iin2(x,y)の合成処理を施す。
【００３６】
以上、本実施形態によれば、２つの超解像処理に対して１つのノイズマップを算出し、このマップに基づいて２つの超解像結果を重み付け加算する。これにより、第１実施形態より演算量や回路規模を縮小しながらも、第１実施形態と同様の効果を得ることが出来る。なお、本実施形態では、ノイズマップNM2(x,y)に基づいて重みマップが算出される例を説明したが、第一の超解像処理の設定パラメータに基づくノイズマップNM1(x,y)に基づいて重みマップが算出されるようにしても良い。
【００３７】
［第３実施形態］
第１実施形態では、ノイズマップ算出部205Aと205Bに於いて、ノイズの帯域分割画像nsk,l(x,y)を、実際に生成したノイズ画像n(x,y)から生成していた。しかしながら、この方法では、ノイズ画像n(x,y)を計算する必要があり、計算量が大きいという課題があった。そこで本実施形態は、ノイズ特性に関する情報に基づき、ノイズの帯域分割画像nsk,l(x,y)を直接生成することで、処理を簡易化したものである。以下、第１実施形態におけるノイズマップ算出部205Aから変更するノイズマップ算出部211Aについて説明する。なお、ノイズマップ算出部205Bから変更するノイズマップ算出部211Bは、ノイズマップ算出部211Aと同様の構成を有する。
【００３８】
＜ノイズマップ算出部211Aの構成＞
図１３は、本実施形態によるノイズマップ算出部211Aの構成を示す図である。端子1301には、信号処理部103からデジタル画像iin(x,y)が入力される。端子1302には、ノイズ情報取得部204からノイズ情報が入力される。フーリエ変換部305A〜逆フーリエ変換部308Aの処理は、図３と同様であり、説明を省略する。
【００３９】
帯域分割部1303は、ノイズ情報取得部204Aで取得したノイズ特性に関する情報に基づき、帯域分割画像nsk,l(x,y)を生成する。まず、ノイズ情報取得部204Aで取得したノイズの自己相関関数をフーリエ変換し、ノイズのパワースペクトラムC(u,v)を算出する。C(u,v)に基づき、帯域毎のノイズのパワースペクトラムNPSk,l(u,v)を次の様に算出する。ここでkは半径方向のインデックス、lは円周方向のインデックスである。
2015121884.tif 000024
ここで、αはノイズ情報取得部204Aで取得したノイズ量に関する補正項であり、cortexk,l(u,v)は第１実施形態において述べた帯域分割フィルタである。さらにNPSk,l(u,v)の総和をとって、帯域毎のパワーNPk,lを算出する。ここでUは横方向の周波数分割数、Vは縦方向の周波数分割数である。
2015121884.tif 000025
帯域毎のパワーから、帯域分割画像nsk,l(x,y)を一様なベタ画像として次の様に生成する。
2015121884.tif 000026
【００４０】
ノイズマスク部309は、逆フーリエ変換部308Aからの出力である帯域分割画像isk,l(x,y)に基づいて、帯域分割されたノイズ画像nsk,l(x,y)に対するマスキングを施し、知覚されるノイズ画像Pk,l(x,y)を帯域毎に算出する。ノイズマップ合成部310は、帯域毎の知覚ノイズ画像Pk,l(x,y)を合成し、ノイズマップNM1(x,y)を算出する。ノイズマップ合成部310以降の処理は、第１実施形態において述べた処理と同様であり、説明を省略する。
【００４１】
以上、本実施形態によれば、ノイズ画像n(x,y)を計算せず、ノイズの帯域分割画像nsk,l(x,y)を直接生成する。これにより、第１実施形態より演算量や回路規模を縮小しながらも、第１実施形態と同様の効果を得ることが出来る。
【００４２】
［第４実施形態］
第１実施形態では、ノイズ情報取得部204Aと204Bで取得するノイズ情報として、ノイズ量と自己相関関数を利用していた。しかしこの情報は統計的情報に過ぎず、実際に混入しているノイズとは異なる。そこで本実施形態では、実際のデジタル画像から算出したノイズ画像を、ノイズ情報として用いる。以下、第１実施形態からの変更箇所を説明する。
【００４３】
＜画像処理部104の構成＞
図１４は、本実施形態による画像処理部104の構成を示す図である。端子1401には、信号処理部103で処理されたデジタル画像が入力される。ノイズ情報取得部1402Aと1402Bは、信号処理部103から出力されるデジタル画像とそれぞれ第一の超解像処理部206と第二の超解像処理部207から出力されるデジタル画像とを比較し、ノイズ画像を算出する。ノイズマップ算出部1403Aと1403Bは、ノイズ情報取得部1402Aと1402Bでノイズ情報として取得されたノイズ画像と、信号処理部103からのデジタル画像に基づき、画像でのノイズの知覚されやすさを表現する、ノイズマップを生成する。画像合成部208は、第一の超解像処理部206及び第二の超解像処理部207により得られた画像を合成し、一枚の高解像度画像を出力する。端子1404は、超解像処理を施したデジタル画像を出力する。
【００４４】
＜ノイズ情報取得部1402Aの構成＞
図１５は、本実施形態によるノイズ情報取得部1402Aの構成を示す図である。なお、ノイズ情報取得部1402Bはノイズ情報取得部1402Aと同様の構成を有する。端子1501には、信号処理部103からのデジタル画像が入力される。ノイズ低減部1502は、デジタル画像に高域除去処理を施し、ノイズが除去されたノイズ除去画像を生成する。画像減算部1503は、信号処理部103からのデジタル画像から、ノイズ低減部1502からのノイズ除去画像を減ずることで、ノイズ画像を算出する。端子1504は、ノイズ画像を出力する。
【００４５】
＜ノイズマップ算出部1403Aの構成＞
図１６は、本実施形態によるノイズマップ算出部1403Aの構成を示す図である。なお、ノイズマップ算出部1403Bが、ノイズマップ算出部1403Aと同様の構成を有する。端子1601には、信号処理部103からデジタル画像iin(x,y)が入力される。端子1602には、ノイズ情報取得部1402からノイズ情報としてノイズ画像n(x,y)が入力される。フーリエ変換部305Bには、端子1602から直接ノイズ画像n(x,y)が入力される点が第１実施形態と異なる。フーリエ変換部305Aと305B以降の処理は、第１実施形態において述べた処理と同様であり、説明を省略する。
【００４６】
以上、本実施形態によれば、実際のデジタル画像から算出したノイズ画像をノイズ情報として用いる。これにより、ノイズ情報を計算していた第１実施形態よりも演算量や回路規模を縮小しながらも、第１実施形態と同様の効果を得ることが出来る。
【００４７】
［第５実施形態］
第１実施形態では、ノイズマップ算出部205Aと205Bにおける帯域分割部307Aと307Bの処理に、cortexフィルタとして知られるフィルタを用いていた。しかしこの手法によれば、周波数特性が非常に特殊な形のフィルタとなる為、演算処理が重くなる。そこで本実施形態では、第１実施形態におけるcortexフィルタを、通常の縦方向と横方向のフィルタを結合した簡易な帯域分割フィルタに置き換えることで、演算処理を軽くしたものである。以下、第１実施形態におけるノイズマップ算出部205Aから変更するノイズマップ算出部212Aについて説明する。なお、ノイズマップ算出部205Bから変更するノイズマップ算出部212Bは、ノイズマップ算出部212Aと同様の構成を有する。
【００４８】
＜ノイズマップ算出部212Aの構成＞
図１７は、本実施形態によるノイズマップ算出部212の構成を示す図である。端子1701には、信号処理部103からデジタル画像iin(x,y)が入力される。端子1702には、ノイズ情報取得部204Aからノイズ情報が入力される。そして、第１実施形態において述べた処理と同様にして、ノイズ画像生成部303Aとフィルタ部304Aにより、カメラのノイズ画像n(x,y)が推定される。
2015121884.tif 000027
【００４９】
帯域分割部1703は、帯域分割フィルタを用いて帯域分割を施し、帯域分割情報Isk,l(u,v)を生成する。但しここでkは横方向のインデックス、lは縦方向のインデックスである。帯域分割後の空間周波数情報は、それぞれ下式で表現される。Isk,l(u,v)はデジタル画像に対する帯域分割情報、Nsk,l(u,v)はホワイトノイズ画像に対する帯域分割情報である。
2015121884.tif 000028
帯域分割フィルタfilterbankk,l(u,v)は、次のように定義される。
2015121884.tif 000029
ここで、Kは横方向、Lは縦方向の帯域分割数であり、本実施形態ではK=6,L=6を用いる。
【００５０】
図１８は、帯域分割フィルタfilterbankk,l(u,v)による帯域分割を、横軸、縦軸とも正規化周波数空間で示した模式図である。各フィルタの半値周波数を、太い実線で示している。ノイズマスク部309は、帯域分割画像isk,l(x,y)に基づいて帯域分割されたノイズ画像nsk,l(x,y)に対するマスキングを施し、知覚されるノイズ画像Pk,l(x,y)を帯域毎に算出する。ノイズマップ合成部310は、帯域毎の知覚ノイズ画像Pk,l(x,y)を合成し、ノイズマップNM1(x,y)を算出する。ノイズマップ合成部310以降の処理は、第１実施形態において述べた処理と同様であり、説明を省略する。
【００５１】
以上、本実施形態によれば、縦方向と横方向のフィルタを結合した簡易な帯域分割フィルタを用いて帯域分割処理が行われる。これにより、cortexフィルタを用いた第１実施形態よりも演算量や回路規模を縮小しながらも、第１実施形態と同様の効果を得ることが出来る。なお、本実施形態では、周波数域での乗算で帯域分割を行ったが、空間域での畳みこみ演算で実現することも可能である。さらに本実施形態に対しては、ウェーブレットなど公知の帯域分割フィルタを適用することが可能である。
【００５２】
［他の実施形態］
これまでにの述べた実施形態においては、画像合成部の処理において、ノイズマップから計算した重みマップに基づき、複数の超解像画像を合成していた。しかしながら、本発明はこれに限定されず、画像合成部の処理を例えば以下のような処理にしてもよい。
【００５３】
第１実施形態では、ノイズマップから重みマップを直接計算していた。しかしながら、この方法では、隣接画素での重みの変動が大きく、画像合成に伴うノイズが発生してしまうという課題があった。そこで、ノイズマップにローパスフィルタを施したのち、重みマップを算出することで、隣接画素間での重みの変動を抑制してもよい。具体的には、第１実施形態の重みマップW1及びW2を以下のように定義してもよい。
2015121884.tif 000030
2015121884.tif 000031
ここで、Lはローパスフィルタを表し、*はたたみこみ演算を表す。
【００５４】
また、これまでに述べた実施形態では、ノイズマップをもとに、画素ごとに重みマップを計算していた。しかしながらこれらの手法では、重みの算出および合成処理に多大な計算量がかかるという課題があった。そこで、画像を領域分割し、領域ごとに合成重みを決定してもよい。たとえば、１６×１６や３２×３２といった領域ごとにノイズマップの平均値が小さい超解像画像を選択し、統合する処理としてもよい。具体的には、領域分割された第一および第二の超解像処理画像をiin1_sub(x,y)及びiin2_sub(x,y)、ノイズマップをNM1_sub(x,y)及びNM2_sub(x,y)、出力画像をiout(x,y)とすると、
2015121884.tif 000032
と表わされる。
【００５５】
以上、これまでに述べた実施形態によれば、画像全体において、ノイズ劣化が視覚によって知覚されずに鮮鋭性を向上できる超解像処理が可能となる。なお、これまでに述べた実施形態を組み合わせることも可能である。
【００５６】
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【図１】
2015121884.tif 000033
【図２】
2015121884.tif 000034
【図３】
2015121884.tif 000035
【図４】
2015121884.tif 000036
【図５】
2015121884.tif 000037
【図６】
2015121884.tif 000038
【図７】
2015121884.tif 000039
【図８】
2015121884.tif 000040
【図９】
2015121884.tif 000041
【図１０】
2015121884.tif 000042
【図１１】
2015121884.tif 000043
【図１２】
2015121884.tif 000044
【図１３】
2015121884.tif 000045
【図１４】
2015121884.tif 000046
【図１５】
2015121884.tif 000047
【図１６】
2015121884.tif 000048
【図１７】
2015121884.tif 000049
【図１８】
2015121884.tif 000050