(57)【特許請求の範囲】
【請求項１】
入力画像の画素間を補間し初期補間拡大画像を生成する画像拡大部と、
前記初期補間拡大画像から、前記初期補間拡大画像に含まれる高周波数成分を推定し、前記初期補間拡大画像と前記高周波数成分とを合成することで超解像処理画像を生成する超解像処理部と、
前記初期補間拡大画像を入力し、前記初期補間拡大画像において注目画素と周辺に存在する画素との間の変動量が小さな方向の画素の位置情報を参照して前記超解像処理画像に対して平滑化処理を行うフィルタ処理部とを
備えることを特徴とする画像処理装置。
【請求項２】
前記変動量は、前記注目画素の画素データと前記注目画素の周辺に存在する画素の画素データとの差分の絶対値であり、
前記フィルタ処理部は、
前記変動量を勾配として、前記初期補間拡大画像の画素毎に周辺に存在する画素のうち、前記勾配の小さな方向の画素の位置を微小勾配画素位置として検出する勾配方向検出部と、
前記超解像処理画像の画素毎に前記微小勾配画素位置の画素を使った平滑化処理を行う平滑化部とを有する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記勾配方向検出部は、
前記初期補間拡大画像の各画素を第一の注目画素として、前記第一の注目画素の周辺に存在する画素と前記第一の注目画素との差分絶対値を算出する差分絶対値算出部と、
前記差分絶対値が小さい画素から順に所定数の画素を抽出し、その画素位置を前記微小勾配画素位置として出力する画素抽出部とを有し、
前記平滑化部は、
前記超解像処理画像の各画素を第二の注目画素として、前記第二の注目画素の周辺に存在する画素から、前記画素抽出部により決定された画素位置にある前記所定数の画素を選択し重み付け加算することにより平滑化を行う
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記超解像処理部は、予め学習された低解像度画像と高解像度画像との対応関係に基づいて超解像処理を行い、超解像処理画像を得る
ことを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
【請求項５】
前記超解像処理部は、
低解像度の特徴成分と高解像度の特徴成分との対応関係の事例を予め学習することにより得た係数データを記憶する係数データ記憶部と、
前記係数データを用いて、前記低解像度の特徴成分を前記高解像度の特徴成分に変換する高解像度化変換部を有する
ことを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
【請求項６】
前記超解像処理部は、入力された画像を複数の画素から成る矩形の領域であるパッチごとに、予め学習された低解像度画像と高解像度画像との対応関係に基づいて超解像処理を行い、得られた高解像度パッチを平均化する事で超解像処理画像を得る
ことを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
【請求項７】
前記超解像処理部は、
前記初期補間拡大画像をそのパッチごとに低解像度の特徴成分と非特徴成分とに分離する特徴成分分離部と、
前記低解像度の特徴成分を高解像度の特徴成分に変換する高解像度化変換部と、
前記高解像度の特徴成分と前記低解像度の非特徴成分または前記初期補間拡大画像とを合成して高解像度パッチを生成する特徴成分合成部と、
各画素について１つ以上の前記高解像度パッチの値を平均化することで超解像処理画像を生成するパッチ平均化部とを有する
ことを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
【請求項８】
前記超解像処理部は、
前記初期補間拡大画像をそのパッチごとに低解像度の特徴成分を分離する特徴成分分離部と、
前記低解像度の特徴成分を高解像度の特徴成分に変換する高解像度化変換部と、
前記高解像度の特徴成分と前記初期補間拡大画像とを合成して高解像度パッチを生成する特徴成分合成部と、
各画素について１つ以上の前記高解像度パッチの値を平均化することで超解像処理画像を生成するパッチ平均化部と、
前記低解像度の特徴成分と前記高解像度の特徴成分との対応関係の事例を予め学習することにより得た係数データを記憶する係数データ記憶部とを有し、
前記高解像度化変換部は、前記係数データ記憶部に記憶された係数データを用いて、前記低解像度の特徴成分を前記高解像度の特徴成分に変換する
ことを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
【請求項９】
入力画像の画素間を補間し初期補間拡大画像を生成する画像拡大ステップと、
前記初期補間拡大画像から、前記初期補間拡大画像に含まれる高周波数成分を推定し、前記初期補間拡大画像と前記高周波数成分とを合成することで超解像処理画像を生成する超解像処理ステップと、
前記初期補間拡大画像を入力し、前記初期補間拡大画像において注目画素と周辺に存在する画素との間の変動量が小さな方向の画素の位置情報を参照して前記超解像処理画像に対して平滑化処理を行うフィルタ処理ステップとを
備えることを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】  本発明は、超解像処理した画像のノイズを低減する画像処理装置及び画像処理方法に関するものである。
【背景技術】
【０００２】  撮像画像の中から所望の範囲の画像のみを切り出し、拡大することにより電子的にズームを行う機能（デジタルズーム機能）を備えた撮像装置がある。一般的なデジタルズームでは、バイリニア法やバイキュービック法等を用いて画像の拡大処理が行われるが、近年、より解像感の高いデジタルズーム画像を生成することを目的として、入力画像に存在しない高解像度の情報を生成できる超解像処理と呼ばれる手法が用いられるようになってきている。【０００３】  このような超解像処理において、１枚ごとの入力画像から更なる高品質な高解像度化を行なう手法として、学習データベースを用いた超解像処理が知られている。この手法は、例えば、補間された画像において分割されたパッチ毎に、高解像度画像と低解像度画像の対応関係の事例を学習したデータベースを参照するものである。このことにより、入力画像に存在しない高解像度の情報を予測し、高解像度化を行うものである（例えば、特許文献１参照）。なお、「パッチ」とは、複数の画素から成る矩形の領域である。【０００４】  このような学習データベースを用いた超解像処理の課題として、ノイズへの耐性が低いことがある。すなわち、注目パッチにノイズが混入した場合には、そのノイズをもデータベースに用いてしまうので、ノイズを画像特徴として鮮鋭化（強調）してしまう。【０００５】  そこで、ノイズの影響を抑制する方法として、画像の部分領域ごとにノイズ量を測定し、ノイズ量に応じて超解像処理画像とフィルタ処理画像とを選択する手法がある（例えば、特許文献２参照）。高周波領域でかつノイズ量が小さい場合に超解像処理画像を、高周波領域でかつノイズ量が大きい場合にフィルタ処理画像を選択し、出力する。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００３−０１８３９８号公報（第４ページ、第１図）
【特許文献２】ＷＯ２０１２／１７６３６７公報（第３ページ、第１図）
【発明の概要】
【発明が解決しようとする課題】
【０００７】  特許文献２のような超解像処理を行った場合、ノイズ量が大きい場合には、フィルタ処理によってエッジなどの高解像度の情報が生成されず超解像の効果が低減してしまう。【０００８】  本発明は上記のような問題点を解決するためになされたものであり、エッジ成分を保存しながらも超解像処理により増幅されたノイズを低減することが可能な画像処理装置及び画像処理方法を提供するものである。
【課題を解決するための手段】
【０００９】
本発明に係る画像処理装置は、入力画像の画素間を補間し初期補間拡大画像を生成する画像拡大部と、前記初期補間拡大画像から、前記初期補間拡大画像に含まれる高周波数成分を推定し、前記初期補間拡大画像と前記高周波数成分とを合成することで超解像処理画像を生成する超解像処理部と、前記初期補間拡大画像を入力し、前記初期補間拡大画像において注目画素と周辺に存在する画素との間の変動量が小さな方向の画素の位置情報を参照して前記超解像処理画像に対して平滑化処理を行うフィルタ処理部とを備えるものである。
【発明の効果】
【００１０】  本発明によれば、補間拡大画像の画素毎に、周辺に存在する画素のうち、勾配の小さな方向の画素の位置情報を参照して勾配の小さな方向の画素を使った平滑化処理を行うという方式により、エッジ成分を保存しながらも超解像処理の予測誤差によって増幅されたノイズを低減することが可能になる。
【図面の簡単な説明】
【００１１】
【図１】実施の形態１に係る画像処理装置を示すブロック図である。
【図２】実施の形態１に係る超解像処理部の構成例を示すブロック図である。
【図３】入力画像及び入力画像の拡大により得られる低解像度拡大画像を示す図である。
【図４】初期補間拡大画像におけるパッチの配列及び各パッチに含まれる画素を示す図である。
【図５】初期補間拡大画像の各パッチにおける画素の配列と、各画素についての差分値（ｄｌ１〜ｄｌ２５）による列ベクトルの構成要素との対応関係を示す図である。
【図６】超解像処理画像におけるパッチの配列及び各パッチに含まれる画素を示す図である。
【図７】変換により得られた超解像処理画像の特徴量（ｄｈ１〜ｄｈ９）による列ベクトルの構成要素に対応する超解像処理画像の画素の配列を示す図である。
【図８】実施の形態１に係る超解像処理部の構成例を示すブロック図である。
【図９】実施の形態１に係るフィルタ処理部の構成例１を示すブロック図である。
【図１０】実施の形態１に係る勾配方向検出部の構成例を示すブロック図である。
【図１１】実施の形態１に係るフィルタ処理部の構成例２を示すブロック図である。
【図１２】実施の形態２に係る画像処理装置における処理の手順を示すフロー図である。
【図１３】実施の形態２に係る画像処理装置における超解像処理ステップの処理の一例の手順を示すフロー図である。
【発明を実施するための形態】
【実施例１】
【００１２】
図１は、本発明の実施の形態１に係る画像処理装置１００を示すブロック図である。実施の形態１に係る画像処理装置１００は、入力画像Ｄｉｎを拡大し初期補間拡大画像Ｄ１０１を生成する画像拡大部１０１と、初期補間拡大画像Ｄ１０１から、前記初期補間拡大画像Ｄ１０１には含まれない高周波数成分を推定し合成することにより超解像処理画像Ｄ１０２を生成する超解像処理部１０２と、初期補間拡大画像Ｄ１０１を参照して超解像処理画像Ｄ１０２の平滑化を行うフィルタ処理部１０３とを備えている。画像拡大部１０１は、超解像処理部１０２及びフィルタ処理部１０３に初期補間拡大画像Ｄ１０１を出力する。超解像処理部１０２は、フィルタ処理部１０３に超解像処理画像Ｄ１０２を出力する。フィルタ処理部１０３は、出力画像Ｄｏｕｔを出力する。
【００１３】
画像拡大部１０１は、入力画像Ｄｉｎを、バイリニア法又はバイキュービック法などの線形フィルタ演算により画素間を補間し拡大するものである。画像拡大部１０１は、デジタルズームなどの拡大によって得られた初期補間拡大画像Ｄ１０１を出力する。
【００１４】
超解像処理部１０２は、入力画像Ｄｉｎを用いて超解像処理を行うものである。超解像処理部１０２は、超解像処理を行って得られた超解像処理画像Ｄ１０２を出力する。超解像処理部１０２の構成の一例を以下に述べる。
【００１５】  図２は、超解像処理部１０２を示すブロック図である。超解像処理部１０２は、初期補間拡大画像Ｄ１０１を矩形の領域であるパッチごとに低解像度の特徴成分Ｄ２０１Ｈと非特徴成分Ｄ２０１Ｌとに分離する特徴成分分離部２０１と、低解像度の特徴成分Ｄ２０１Ｈを高解像度の特徴成分Ｄ２０２Ｈに変換する高解像度化変換部２０２と、高解像度の特徴成分Ｄ２０２Ｈと非特徴成分Ｄ２０１Ｌを合成して高解像度パッチＤ２０３を生成する特徴成分合成部２０３と、各画素について１つ以上の高解像度パッチの値を平均化することで超解像処理画像Ｄ１０２を生成するパッチ平均化部２０４と、複数の互いに異なるパターンにそれぞれ対応する複数組の係数データＤ２０５を記憶する係数データ記憶部２０５とを備えている。また、高解像度化変換部２０２は、係数データ記憶部２０５から選択した係数データＤ２０５を用いて、低解像度の特徴成分Ｄ２０１Ｈを高解像度の特徴成分Ｄ２０２Ｈに変換する。特徴成分分離部２０１は、高解像度化変換部２０２に低解像度の特徴成分Ｄ２０１Ｈを出力する。また、特徴成分分離部２０１は、特徴成分合成部２０３に非特徴成分Ｄ２０１Ｌを出力する。係数データ記憶部２０５は、高解像度化変換部２０２に係数データＤ２０５を出力する。高解像度化変換部２０２は、特徴成分合成部２０３に高解像度の特徴成分Ｄ２０２Ｈを出力する。特徴成分合成部２０３は、パッチ平均化部２０４に高解像度パッチＤ２０３を出力する。パッチ平均化部２０４は、超解像処理画像Ｄ１０２を出力する。【００１６】
以下、各部の処理をより詳細に説明する。
画像拡大部１０１は、例えば図３（ａ）に示される入力画像Ｄｉｎを拡大し、図３（ｂ）に示される初期補間拡大画像Ｄ１０１を生成する。図３（ａ）及び（ｂ）において、丸印の各々が１つの画素を表す。画像の拡大は、例えば、バイキュービック法により行う。拡大率は水平方向及び垂直方向の各々について例えば２である。図３（ｂ）の初期補間拡大画像Ｄ１０１の画素のうち、黒丸で示される画素は、図３（ａ）に示される入力画像Ｄｉｎの画素と同じ位置にある画素である。
【００１７】  特徴成分分離部２０１は、初期補間拡大画像Ｄ１０１（図３（ｂ））をその矩形の領域であるパッチの画素群ごとに低解像度の特徴成分Ｄ２０１Ｈと非特徴成分Ｄ２０１Ｌとに分離する。【００１８】  初期補間拡大画像Ｄ１０１におけるパッチは、互いに重なり合うように形成される。例えば、図４に示すように、各パッチＬＰｃ１，ＬＰｃ２，ＬＰｃ３，ＬＰｃ４は、ＮＬ×ＮＬ個の画素から成る矩形の領域である。図４においては、ＮＬは５である。この場合、パッチのピッチ（パッチの中心とパッチの中心との間の距離）は水平方向、垂直方向ともに、２画素である。それによって、水平方向に隣接し合うパッチ間には水平方向に３画素が重なる。また、垂直方向に隣接し合うパッチ間には垂直方向に３画素が重なる。  水平方向及び垂直方向におけるパッチのピッチＬＰＰｈ、ＬＰＰｖは、ともに２である。これによって、パッチの中心に位置する画素は、１行おきに、かつ１列おきに配置される。【００１９】  特徴成分分離部２０１は、初期補間拡大画像Ｄ１０１のＮＬ×ＮＬ個の画素から成るパッチＬＰｃ１，ＬＰｃ２，ＬＰｃ３，ＬＰｃ４の各々について、ＮＬ×ＮＬ個の画素の平均値ｌＭｅａｎを求める。また、特徴成分分離部２０１は、求めた平均値ｌＭｅａｎを非特徴成分Ｄ２０１Ｌとして出力する。さらに、特徴成分分離部２０１は、各々の画素の画素値から上記平均値ｌＭｅａｎを減算することで得られるＮＬ×ＮＬ個の差分値を特徴量とする。また、特徴成分分離部２０１は、この特徴量を予め定められた順番で並べることで得られる列ベクトルを、特徴成分Ｄ２０１Ｈとして出力する。【００２０】
例えば、列ベクトルの形成は以下のとおりである。図５（ａ）に示すような、画素Ｐ（１）〜Ｐ（２５）を、その番号（括弧内の数値）で示す順序で取り出す。そして、取り出した画素の差分値ｄｌ１〜ｄｌ２５を特徴量とする。特徴量は、図５（ｂ）に示すように、上から順に並べる。
特徴成分Ｄ２０１Ｈは、上記の通り、各画素の画素値から平均値を減算することで得られる。よって、特徴成分Ｄ２０１Ｈは、当該パッチの高周波数成分であると言える。また、非特徴成分Ｄ２０１Ｌは当該パッチの低周波成分であると言える。
【００２１】  特徴成分分離部２０１は、初期補間拡大画像Ｄ１０１の画像成分のうち、高解像度化変換部２０２での予測に用いられる特徴成分（高周波数成分）のみを分離または抽出する。このように、特徴成分分離部２０１は、高解像度化変換部２０２に対する入力信号を正規化する。【００２２】  高解像度化変換部２０２は、低解像度の特徴成分Ｄ２０１Ｈを高解像度の特徴成分Ｄ２０２Ｈに変換する。特徴成分Ｄ２０２Ｈへの変換には、係数データ記憶部２０５から選択された係数データＤ２０５が用いられる。この変換は、低解像度画像のパッチの特徴成分から、超解像処理画像の対応するパッチの特徴成分への変換である。ここで「位置」に関して「対応する」とは、高解像度画像のパッチの中心の画素位置が、初期補間拡大画像のパッチの中心の画素位置と同じであることを意味する。このことを言い換えると、高解像度画像を初期補間拡大画像に重ねた場合に位置が一致することを意味する。互いに対応する位置に中心を有する初期補間拡大画像のパッチと高解像度画像のパッチとでパッチペアが構成される。【００２３】
超解像処理画像Ｄ１０２におけるパッチも初期補間拡大画像Ｄ１０１におけるパッチと同様に互いに重なり合うように形成される。
例えば、図６に示すように、各パッチＨＰｃ１，ＨＰｃ２，ＨＰｃ３，ＨＰｃ４は、例えばＮＨ×ＮＨ個の画素から成る矩形の領域である。図６においては、ＮＨは３である。この場合、水平方向におけるパッチのピッチＨＰＰｈ及び垂直方向におけるパッチのピッチＨＰＰｖはともに２画素である。それによって、水平方向に隣接し合うパッチ間には水平方向に１画素が重なる。また、垂直方向に隣接し合うパッチ間には垂直方向に１画素が重なる。
【００２４】
図６に示す例では、超解像処理画像Ｄ１０２におけるパッチＨＰｃ１，ＨＰｃ２，ＨＰｃ３，ＨＰｃ４の中心に位置する画素は、１行おきにかつ１列おきに配置されている点で、初期補間拡大画像Ｄ１０１におけるパッチＬＰｃ１，ＬＰｃ２，ＬＰｃ３，ＬＰｃ４と同じである。また、超解像処理画像Ｄ１０２におけるパッチＨＰｃ１，ＨＰｃ２，ＨＰｃ３，ＨＰｃ４の中心は、初期補間拡大画像Ｄ１０１におけるパッチＬＰｃ１，ＬＰｃ２，ＬＰｃ３，ＬＰｃ４の中心と一致している。
【００２５】  係数データＤ２０５は高解像度画像と低解像度画像の各パッチと、高解像画像の対応するパッチの関係を与えるものであり、係数データ記憶部２０５から供給される。【００２６】  ここで、初期補間拡大画像の各パッチの特徴成分Ｄ２０１Ｈを、列ベクトルｎｌｐ、列ベクトルｎｈｐ及び係数データＤ２０５である行列Ｍで定義すると、高解像度化変換部２０２による変換は式（１）で表される。なお、列ベクトルｎｌｐは、（ＮＬ×ＮＬ）個の値をもち、初期補間拡大画像の各パッチを構成する画素の特徴成分値は、ｄｌ１〜ｄｌ（ＮＬ×ＮＬ）である。また、列ベクトルｎｈｐは、（ＮＨ×ＮＨ）個の値をもち、高解像度画像の対応するパッチを構成する画素の特徴成分値は、ｄｈ１〜ｄｈ（ＮＨ×ＮＨ）である。行列Ｍは、（ＮＨ×ＮＨ）行（ＮＬ×ＮＬ）列の成分からなる。【００２７】
【数１】
0005705391.tif 000002
ＮＬ＝５、ＮＨ＝３の場合について式（１）を、行列を用いて書き直すと式（２）のようになる。列ベクトルｎｌｐは、２５個の値をもち、初期補間拡大画像の各パッチを構成する画素の特徴成分値は、ｄｌ１〜ｄｌ２５である。また、列ベクトルｎｈｐは、９個の値をもち、高解像度画像の対応するパッチを構成する画素の特徴成分値は、ｄｈ１〜ｄｈ９である。
【００２８】
【数２】
0005705391.tif 000003
【００２９】  式（２）の左辺は、例えば、図７に示される画素Ｑ（１）〜Ｑ（９）を、その番号（括弧内の数値）で示す順序で取り出して、それらの差分値ｄｈ１〜ｄｈ９を上から順に並べたものである。但し、図７に示される画素Ｑ（１）〜Ｑ（９）は、それぞれ、図５（ａ）に示される画素のうち、中央の３×３の位置、即ち、Ｐ（７），Ｐ（８），Ｐ（９），Ｐ（１２），Ｐ（１３），Ｐ（１４），Ｐ（１７），Ｐ（１８），Ｐ（１９）に対応する位置にあるものである。【００３０】  式（１）及び式（２）は、高解像度の特徴成分Ｄ２０２Ｈの各画素の値が、低解像度の特徴成分Ｄ２０１Ｈの（ＮＬ×ＮＬ）個の全ての画素に対する重み付け加算により与えられることを示している。  行列Ｍは、係数データ記憶部２０５から選択された係数データＤ２０５で構成される行列である。係数データ記憶部２０５は、記憶された複数組の係数データＤ２０５から１組の係数データを選択して、高解像度化変換部２０２に供給する。係数データ記憶部２０５に記憶されている複数組の係数データの各々は、教師画像から生成された低解像度画像の特徴成分Ｄ２０１Ｈと高解像度画像の特徴成分Ｄ２０２Ｈのペアの関係を近似する線形回帰モデルであり、予め学習を行うことで得られる。【００３１】  なお、低解像度の特徴成分Ｄ２０１Ｈから高解像度の特徴成分Ｄ２０２Ｈへの変換は非線形であってもよい。その場合、係数データＤ２０５としては非線形関数の係数を与えるものを用いる。【００３２】  特徴成分合成部２０３は、高解像度の特徴成分Ｄ２０２Ｈと非特徴成分Ｄ２０１Ｌとを合成して高解像度パッチＤ２０３を生成する。【００３３】  特徴成分合成部２０３は、例えば、初期補間拡大画像のパッチの（ＮＬ×ＮＬ）個の画素の平均値ｌＭｅａｎ（＝Ｄ２０１Ｌ）を、高解像度の特徴成分Ｄ２０２Ｈの各成分（各画素についての値）ｄｈ１〜ｄｈ９に加算する。  特徴成分合成部２０３は、特徴成分分離部２０１で分離した非特徴成分（低周波成分）ｌＭｅａｎを高解像度の特徴成分に加算することで、特徴成分分離部２０１で行った正規化を解除する役割をもつ。【００３４】  特徴成分合成部２０３による合成は、式（３）により表される。【００３５】
【数３】
0005705391.tif 000004
式（３）におけるｈｐは、高解像度パッチＤ２０３を構成する画素の画素値を表すＮＨ×ＮＨ個の値ｈ１〜ｈ（ＮＨ×ＮＨ）をもつ列ベクトルである。また、式（３）におけるｎｈｐは、高解像度パッチの特徴成分Ｄ２０２Ｈを構成するＮＨ×ＮＨ個の画素の特徴成分値ｄｈ１〜ｄｈ（ＮＨ×ＮＨ）をもつ列ベクトルである。さらに、式（３）におけるｌＭｅａｎは、非特徴成分Ｄ２０１Ｌを表すスカラー値である。また、式（３）におけるｃは、高解像度の特徴成分（高周波数成分）に対するゲインを調整するスカラー値（定数）である。
ＮＨ＝３の場合について、式（３）を、行列を用いて書き直すと式（４）のようになる。
【００３６】
【数４】
0005705391.tif 000005
【００３７】
式（３）又は（４）において、ｃ＝１とすることによって学習通りの推定結果を得ることができる。
ｃ＞１とすることによって、高解像度の特徴成分（高周波数成分）を意図的に強調（エンハンス）して出力画像の解像感を高めることができる。
式（３）又は式（４）による演算は、高解像度パッチの各々について行われる。
【００３８】
先にも述べたように、パッチは互いに重なりあうように形成されるので、画素の中には複数のパッチに属するものがある。図６の例では、高解像度画像の画素のうち、各パッチの中心に位置する画素Ｐｘｃは、１つのパッチＨＰｃ１に属する。中心画素Ｐｘｃに対し水平方向に隣接する画素Ｐｘａは、２つのパッチＨＰｃ１，ＨＰｃ２に属する。中心画素Ｐｘｃに対し垂直方向に隣接する画素Ｐｘｂは、２つのパッチＨＰｃ１，ＨＰｃ３に属する。中心画素Ｐｘｃに対し斜め方向に隣接する画素Ｐｘｄは４つのパッチＨＰｃ１，ＨＰｃ２，ＨＰｃ３，ＨＰｃ４に属する。
２つのパッチに属する画素については、式（３）又は式（４）による演算の結果（各パッチについて求められた特徴成分ｈｐを構成する、当該画素についての画素値）が２つ得られ、４つのパッチに属する画素については、式（３）又は式（４）による演算の結果が４つ得られる。１つのパッチにのみ属する画素については、式（３）又は式（４）による演算の結果が１つだけ得られる。
【００３９】
パッチ平均化部２０４は、高解像度画像の各画素について１つ以上の高解像度パッチの値（各パッチについて求められた特徴成分ｈｐを構成する、当該画素についての画素値）を平均化することで超解像処理画像Ｄ１０２を生成する。即ち、２つのパッチに属する画素については、２つのパッチの値を平均化し、４つのパッチに属する画素については、４つのパッチの値を平均化し、１つのパッチにしか属さない画素については１つのパッチの値をそのまま出力する。
【００４０】  式（３）又は式（４）による演算は、超解像処理画像Ｄ１０２の各画素について１又は２以上の高解像度パッチによる画素値候補の推定であると言える。１つ以上の高解像度パッチの値の平均化は、１又は２以上の画素値候補の平均（単純平均または加重平均）を求める処理であると言える。この平均化により、最終的な出力画素値が得られる。【００４１】  係数データ記憶部２０５は、高解像度画像と低解像度画像との対応関係を与える係数データをパターン別に複数記憶する。ここで言うパターンとは、画像内の各部における画素値の変化のパターンである。【００４２】
ここで超解像処理部１０２における高解像度化変換部２０２にノイズの混入した低解像度の特徴成分Ｄ２０１Ｈが入力された場合、混入されたノイズは特徴成分の一部となる。その結果、本来参照したい係数データと異なる係数データが参照されてしまい、ノイズが増幅される。増幅されたノイズは、画像劣化として認識される。
【００４３】
また、超解像処理部１０２における係数データ記憶部２０５に記憶されるデータは、低解像度画像の特徴成分と高解像度画像の特徴成分のペアの関係を線形回帰モデルによって近似したものである。学習量の少ない特徴成分などを高解像度化する場合は、近似値である係数データとの演算によって、係数データに含まれる誤差から予測誤差が生じ、ノイズやリンギングが発生する事がある。
【００４４】  なお、図２の超解像処理部１０２においては、高解像度の特徴成分Ｄ２０２Ｈと非特徴成分Ｄ２０１Ｌとを合成して高解像度パッチＤ２０３を生成している。非特徴成分Ｄ２０１Ｌは、初期補間拡大画像Ｄ１０１に対して、低解像度の特徴成分Ｄ２０１Ｈのデータ量が減じられているため、データ量が少なく回路規模またはデータの転送速度などの面で有利である。しかし、解像感を高めるという効果に関しては、図８の超解像処理部１０２Ｂのように高解像度の特徴成分Ｄ２０２Ｈと初期補間拡大画像Ｄ１０１とを合成して高解像度パッチＤ２０３を生成してもよい。図８の超解像処理部１０２Ｂにおける特徴成分分離部２０１、高解像度化変換部２０２、特徴成分合成部２０３、パッチ平均化部２０４及び係数データ記憶部２０５は、図２の超解像処理部１０２における対応するブロックと同様の動作をするものである。【００４５】
次に、画像処理装置１００におけるフィルタ処理部１０３を説明する。フィルタ処理部１０３は、初期補間拡大画像Ｄ１０１を参照して超解像処理画像Ｄ１０２の平滑化を行う。図９は、フィルタ処理部１０３の構成例を表すブロック図である。フィルタ処理部１０３は、勾配方向検出部３０２と平滑化部３０３とを備える。勾配方向検出部３０２は、初期補間拡大画像Ｄ１０１を入力し、平滑化部３０３に勾配の小さな方向の画素の位置情報である微小勾配画素位置Ｄ３０２を出力する。平滑化部３０３は、さらに超解像処理画像Ｄ１０２を入力し、出力画像Ｄｏｕｔを出力する。
勾配方向検出部３０２は、初期補間拡大画像Ｄ１０１の各画素の周辺に存在する画素のうち勾配の小さな画素の位置を検出し微小勾配画素位置として出力する。平滑化部３０３は、前記初期補間拡大画像Ｄ１０１の各画素から、前記勾配方向検出部３０２により決定された微小勾配画素位置Ｄ３０２にある所定数の画素を選択し重み付け加算することにより平滑化を行う。
【００４６】  勾配方向検出部の構成の一例を以下に述べる。図１０は、勾配方向検出部３０２の構成例を表すブロック図である。勾配方向検出部３０２は、差分絶対値算出部４０１と画素抽出部４０２とを備える。差分絶対値算出部４０１は、初期補間拡大画像Ｄ１０１を入力し、画素抽出部４０２に差分絶対値Ｄ４０１を出力する。画素抽出部４０２は、微小勾配画素位置Ｄ３０２を出力する。  差分絶対値算出部４０１は、初期補間拡大画像Ｄ１０１の各画素を第一の注目画素として、該第一の注目画素の周辺に存在する画素について、注目画素との差分絶対値Ｄ４０１を算出する。  画素抽出部４０２は、前記差分絶対値Ｄ４０１が小さい画素から順に所定数の画素を抽出し、その画素位置を前記微小勾配画素位置Ｄ３０２として出力する。【００４７】  差分絶対値算出部４０１は、初期補間拡大画像Ｄ１０１の各画素（Ｘ，Ｙ）を注目画素として差分絶対値Ｄ４０１を算出する。なお、差分絶対値Ｄ４０１は、画素の輝度データの差分値を絶対値化したものである。差分絶対値Ｄ４０１は、注目画素の周辺に存在する画素と注目画素との差分絶対値ＡＢＳ１〜ＡＢＳ８として算出される。差分絶対値Ｄ４０１は、言い換えれば注目画素からの勾配である。また差分絶対値Ｄ４０１を求める演算の例を、式（５）に示す。【００４８】
【数５】
0005705391.tif 000006
ここで、ＩＭＢＣ（Ｘ，Ｙ）は、（Ｘ，Ｙ）における初期補間拡大画像Ｄ１０１の画素値であり、ここでは例えば輝度データの値である。
【００４９】  画素抽出部４０２は、初期補間拡大画像Ｄ１０１の画素（Ｘ，Ｙ）毎に周辺に存在する画素のうち、前記差分絶対値Ｄ４０１が小さい画素、言い換えれば注目画素からの勾配が小さい画素から順にＮ個の微小勾配画素（Ｘ１ｓｔ，Ｙ１ｓｔ）〜（ＸNｔｈ，ＹNｔｈ）を求める。Ｎは、例えば２である。Ｎが２のときの微小勾配画素は、（Ｘ１ｓｔ，Ｙ１ｓｔ），（Ｘ２ｎｄ，Ｙ２ｎｄ）となる。微小勾配画素（Ｘ１ｓｔ，Ｙ１ｓｔ），（Ｘ２ｎｄ，Ｙ２ｎｄ）は、上式（５）において、ＡＢＳ１からＡＢＳ８を昇順でソートしたとき、ＡＢＳ１からＡＢＳ８の中で一番目と二番目に小さい値を与える座標である。【００５０】  この微小勾配画素は、注目画素（Ｘ，Ｙ）が画像内のエッジ上に存在する場合には、エッジ方向に存在する画素が選択される。そのため、後工程には画像内のエッジ情報が伝えられる。このソート処理により、エッジ方向の検出を少ない演算量で実現することができる。  画素抽出部４０２は、微小勾配画素の座標を微小勾配画素位置Ｄ３０２として出力する。【００５１】  微小勾配画素位置の検出は上記のように差分絶対値をソートすることに限定されるものではない。初期補間拡大画像Ｄ１０１の各画素の周辺に存在する画素のうち、所定数Ｎ番目までの勾配の小さな画素の位置を微小勾配画素位置として検出すればよい。【００５２】
平滑化部３０３は、超解像処理画像Ｄ１０２内に含まれる、超解像処理部１０２により誤って強調されたノイズを低減する処理を行う。超解像処理部１０２により誤って強調されたノイズとは、超解像処理の予測誤差である。平滑化部３０３は、勾配方向検出部３０２から得られた微小勾配画素位置Ｄ３０２を利用して、式（６）に示すソート順位に基づいた平滑化フィルタ処理を超解像処理画像Ｄ１０２に対しておこなう。つまり、平滑化部３０３は、超解像処理画像Ｄ１０２の各画素を第二の注目画素として、第二の注目画素の周辺に存在する画素から、画素抽出部４０２により決定された画素位置にある所定数の画素を選択し重み付け加算する。この動作により、平滑化部３０３は、超解像処理画像Ｄ１０２内に含まれるノイズをエッジ方向に拡散させ、出力画像Ｄｏｕｔを算出する。
【００５３】
【数６】
0005705391.tif 000007
ここで、ｉｍＳＲ（Ｘ，Ｙ）は、（Ｘ，Ｙ）における超解像処理画像Ｄ１０２の画素値を表す。また、ｉｍＬＰＦ（Ｘ，Ｙ）は、（Ｘ，Ｙ）における出力画像Ｄｏｕｔの画素値を表す。平滑化部３０３では、定数ＬＰＦＳＴＲによって平滑化の強度を変化させることができる。なお、定数ＬＰＦＳＴＲは、０以上で２以下の実数である。
【００５４】  以上が、実施の形態１に係る画像処理装置１００の動作の説明である。  次に実施の形態１の画像処理装置１００による効果を説明する。  実施の形態１の画像処理装置では、超解像処理後の超解像処理画像に対して行うフィルタ処理部１０３において、勾配方向検出部３０２がソート処理を行い、超解像処理画像Ｄ１０２に存在するエッジの方向を検出できるようにした。【００５５】  これにより、平滑化部３０３でエッジ方向へのＬＰＦ処理が行えるため、従来のＬＰＦ処理のように超解像処理部により予測された超解像処理画像のエッジ成分が拡散する事を防ぐ、言い換えれば超解像の効果低減を防ぐことができる。【００５６】  また前記ソート処理は、少ない演算量でエッジ方向の検出を実現できるため、ハードウェア化に際して回路規模やメモリ容量を抑えることができる。【００５７】  また、フィルタ処理部１０３において、初期補間拡大画像を参照してエッジ方向を検出することで、画像内混入ノイズによる超解像処理部１０２の予測誤差の影響を受けることなくエッジ方向を検出する事が出来る。【００５８】  また、公知のＬＰＦ処理方法（例えばメディアンフィルタ）で行う平滑化の場合、平滑化の方法として画像内の高周波数成分を一律に拡散させるため、高周波数成分に含まれるエッジ成分も拡散してしまい、結果として超解像の効果が低減するが、実施の形態１ではエッジ方向にＬＰＦ処理を行うことで、ノイズを拡散させつつもエッジ成分を保存することを可能としている。【００５９】  また、勾配方向検出部３０２は微分処理（例えばラプラシアンフィルタ）によりエッジ成分画像を導出し、そこから勾配方向を検出してもよい。【００６０】  また平滑化部３０３は式（６）の処理に限らず、補間拡大画像で微小勾配画素位置Ｄ３０２に対応する画素を使って平滑化処理を行っていればよい。【００６１】
なおフィルタ処理部１０３の構成に関して、初期補間拡大画像Ｄ１０１の成分へＬＰＦ処理がかかる事を防ぐための処理として、
超解像処理画像Ｄ１０２と初期補間拡大画像Ｄ１０１の差分から差分画像Ｄ３０１を求める減算部３０１と、
初期補間拡大画像Ｄ１０１の各画素の値に、平滑化部の出力画像の同じ位置の画素の値を加算することにより出力画像Ｄｏｕｔを得る加算部３０４と、をフィルタ処理部１０３の前段と後段に追加してもよい。追加時の構成例を図１１に示す。図１１におけるフィルタ処理部１０３は、減算部３０１、勾配方向検出部３０２、平滑化部３０３及び加算部３０４を備える。減算部３０１は、初期補間拡大画像Ｄ１０１及び超解像処理画像Ｄ１０２を入力し、平滑化部３０３に減算結果Ｄ３０１を出力する。勾配方向検出部３０２は、初期補間拡大画像Ｄ１０１を入力し、平滑化部３０３に微小勾配画素位置Ｄ３０２を出力する。平滑化部３０３は、加算部３０４に平滑化結果Ｄ３０３を出力する。加算部３０４は、さらに初期補間拡大画像Ｄ１０１を入力し、出力画像Ｄｏｕｔを出力する。
【実施例２】
【００６２】
続いて、実施の形態２に係る画像処理方法の動作を説明する。
図１２は、実施の形態２に係る画像処理方法における処理の手順を表す。実施の形態２の画像処理方法の動作としては、まず、画像拡大ステップＳ１１にて、入力画像Ｄｉｎを画像拡大部１０１により拡大し、初期補間拡大画像Ｄ１０１を生成する。
【００６３】
次に超解像処理ステップＳ１２において初期補間拡大画像Ｄ１０１から、初期補間拡大画像に含まれる周波数成分よりも高い周波数成分を推定することで高周波数成分である超解像処理画像（または超解像拡大画像）を生成する。
【００６４】  最後にフィルタ処理ステップＳ１３において、初期補間拡大画像Ｄ１０１を参照し、超解像処理画像Ｄ１０２の平滑化処理を行う。【００６５】
また図１３に超解像処理ステップＳ１２における処理の手順の一例を示す。パッチ選択ステップＳ２１において初期補間拡大画像Ｄ１０１からパッチを一つ選択する。パッチの選択は例えばラスター順に、例えば画像を左上から右下へ（上から下へ、かつ同じ高さ位置においては左から右へ）と言う順に行われる。パッチの選択とともに、入力画像Ｄｉｎ中の対応する局所領域を選択する。
【００６６】  次に、ステップＳ２２からステップＳ２５において、初期補間拡大画像Ｄ１０１のパッチ毎に、特徴成分分離部２０１、係数データ記憶部２０５、高解像度化変換部２０２、及び特徴成分合成部２０３による処理を行う。【００６７】
パッチ毎の処理（ステップＳ２２からステップＳ２５）においては、まず、特徴成分分離ステップＳ２２にて、各パッチを低解像度の特徴成分Ｄ２０１Ｈと非特徴成分Ｄ２０１Ｌとに分離する。
これと並行して、係数データ選択ステップＳ２３において、各パッチに対応する係数データを係数データ記憶部２０５から選択して出力する。
【００６８】  ステップＳ２２及びステップＳ２３の次に、高解像度化変換ステップＳ２４において、ステップＳ２２で得られた低解像拡大画像の各パッチの特徴成分Ｄ２０１Ｈに対して、ステップＳ２３で選択した係数データＤ２０５を用いて演算を行い、低解像度の特徴成分Ｄ２０１Ｈから高解像度の特徴成分Ｄ２０２Ｈへの変換を行う。  次に、ステップＳ２５において、ステップＳ２２で分離した非特徴成分Ｄ２０１Ｌを、ステップＳ２５の出力である高解像度の特徴成分Ｄ２０２Ｈと合成して、高解像度パッチを生成する。【００６９】  次に判定ステップＳ２６において、画像中のすべてのパッチについてのステップＳ２１〜Ｓ２５の処理が行われたか否かの判定を行う。まだ処理されていないパッチがあれば（ステップＳ２６におけるＮＯの場合）、ステップＳ２１に戻り、次のパッチを選択する。【００７０】  ステップＳ２６ですべてのパッチについての処理が終わっていれば、パッチ平均化ステップＳ２７に進み、各画素についてパッチ毎の処理で得られた高解像度パッチの値をパッチ平均化部２０４により平均化し超解像処理画像Ｄ１０２を生成する。【００７１】  なお、画像内のすべてのパッチが終わらなくても、各画素についてそれが属するパッチについての処理が終わったら、直ちに当該画素についてステップＳ２７の処理を行うようにしても良い。この場合、ステップＳ２１〜Ｓ２７の処理と、ステップＳ２７の処理とが並行して行われることになる。【００７２】  上記の画像処理装置を構成する要素の一部又は全部、或いは上記画像処理方法における処理の一部又は全部は、ソフトウェアにより、即ちプログラムされたコンピュータによって実現することができる。【００７３】  以上で説明したように、本発明によれば、回路規模及びメモリ容量を抑えつつ、ハードウェア化に適した構成で、エッジ成分を保存しながらも超解像処理部により増幅された平滑化が可能な超解像による、高画質化を利用することができる。【００７４】  また、以上のように本発明の実施の形態について説明したが、本発明はこれらの実施の形態に限るものではない。
【符号の説明】
【００７５】  １００  画像処理装置、  １０１  画像拡大部、  １０２  超解像処理部、  １０３  フィルタ処理部、２０１  特徴成分分離部、  ２０２  高解像度化変換部、  ２０３  特徴成分合成部、  ２０４  パッチ平均化部、  ２０５  係数データ記憶部、  ３０１  減算部、  ３０２  勾配方向検出部、  ３０３  平滑化部、  ３０４  加算部、  ４０１  差分絶対値検出部、４０２  画素抽出部。
【要約】  回路規模及びメモリ容量を抑えた構成で、エッジ成分を保存しながらも超解像処理により増幅されたノイズを低減することが可能な画像処理装置及び画像処理方法を提供する。本発明画像処理装置において、勾配方向検出部３０２は、第１の画像Ｄ１０１の画素毎に周辺に存在する画素のうち勾配の小さな方向の画素を微小勾配画素位置Ｄ３０２として出力し、平滑化部３０３は、第２の画像Ｄ１０２の各画素を注目画素として、該注目画素の周辺に存在する画素から、微小勾配画素位置Ｄ３０２を使って平滑化処理を行うことにより出力画像ＤＯＵＴの各画素値を得る。【図１】
0005705391.tif 000008
【図２】
0005705391.tif 000009
【図３】
0005705391.tif 000010
【図４】
0005705391.tif 000011
【図５】
0005705391.tif 000012
【図６】
0005705391.tif 000013
【図７】
0005705391.tif 000014
【図８】
0005705391.tif 000015
【図９】
0005705391.tif 000016
【図１０】
0005705391.tif 000017
【図１１】
0005705391.tif 000018
【図１２】
0005705391.tif 000019
【図１３】
0005705391.tif 000020