(57)【特許請求の範囲】
【請求項１】
入力された低解像画像から当該画像の高域成分を生成するための高域生成部と、
前記低解像画像と前記高域成分を帯域合成することによって前記低解像画像よりも解像度の高い高解像画像を生成し出力する帯域合成部を備え、
前記高域生成部は画像に対し位相差のある空間差分を複数取得し、前記複数取得した差分値を画素位置毎に比較し、前記比較の結果、差分値の絶対値が最小である差分値に基づいて当該画素位置の高域成分値を定めること
を特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、前記高域生成部は、水平方向高域成分を生成する第１の高域生成部と、垂直方向高域成分を生成する第２の高域生成部と、対角方向高域成分を生成する第３の高域生成部とを備えており、前記帯域合成部は、入力された前記低解像画像、前記水平方向高域成分、前記垂直方向高域成分、及び前記対角方向高域成分に基づく演算を行って、高解像画像の各画素を生成することを特徴とする画像処理装置。
【請求項３】
請求項２に記載の画像処理装置において、前記帯域合成部の演算は、２次元Ｈａａｒ基底による帯域合成であることを特徴とする画像処理装置。
【請求項４】
請求項２又は３に記載の画像処理装置において、前記第１の高域生成部と前記第２の高域生成部は、位相差のある少なくとも２種類の空間差分を取得し、前記第３の高域生成部は、位相差のある少なくとも４種類の空間差分を取得することを特徴とする画像処理装置。
【請求項５】
請求項２乃至４のいずれか一項に記載の画像処理装置において、第１乃至第３の高域生成部は、差分値の絶対値が最小である差分値として、絶対値が同じで符号が異なる２つの差分値が得られた場合に、当該高域生成部の高域成分値を０とする処理をさらに有することを特徴とする画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置に関し、特に、画像の解像度を向上する装置に関する。
【背景技術】
【０００２】
画像の解像度を向上する手法として補間内挿による手法が用いられる。信号のナイキスト周波数を超える周波数成分を補完することで、補間内挿よりもぼやけの少ない精細な解像度変換手法は超解像技術としていくつか実用に供せられている。
【０００３】
超解像手法の一つとして、高解像画像から低解像画像への変換を仮定し、正則化項を導入することで逆変換を可能として、高解像化を実現する手法がある（特許文献１など）。
【０００４】
また別の超解像技術として、入力画像の高域成分（高周波成分）から、ナイキスト周波数を超える周波数成分を合成する手法が提案されている。このような手法としては、複数の周波数分解フィルタで生成した周波数分解画像を合成して多重化画像を作成し、この多重化画像をフィルタ処理する方法（特許文献２）や、フィルタ処理の後にアップコンバートを行い、その後に非線形演算を利用した鮮鋭化処理を行う方法（特許文献３）があり、ナイキスト周波数を超える周波数成分の合成にはディジタルフィルタ列（特許文献２）や、非線形関数（特許文献３）など比較的平易な演算が用いられる。
【０００５】
さらに、低解像パッチと高解像パッチの対をデータベース化しておき、データベースを参照して低解像画像から高解像画像を得る事例ベース型の超解像手法もある（特許文献４など）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特許第４２１４４０９号公報
【特許文献２】特開２０１４−１１９９４９号公報
【特許文献３】特許第５６２９９０２号公報
【特許文献４】特許第５７４３６１５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、従来の超解像技術では、まだ満足な画像が得られていない。例えば、正則化を用いる超解像手法においては、とくに低解像の単一フレームから高解像画像を得ようとした場合、未知変数の次元数が拘束の次元数を大きく上回り、正則化項の導入によって逆問題を解くには無理が生じる。その結果、近似する画素値が連続するような平板な画調の高解像化結果となってしまう。
【０００８】
特許文献２や特許文献３の超解像手法のように、ナイキスト周波数を超える周波数成分（超ナイキスト成分ともいう。）を入力信号の高域成分から合成する手法では、確実に超ナイキスト成分が付加されることから、見た目の精細感を得ることは可能である。しかし、入力画像の高周波成分から超ナイキスト成分の合成方法が単純であるがために、不自然な超ナイキスト成分を生成してしまう可能性がある。とくに特許文献２の手法にあっては、超ナイキスト成分のパターンが本来あるべきパターンよりもエッジが太ってしまう傾向がある。
【０００９】
データベースを参照する手法は、十分なデータベースが構築されていれば比較的自然な超解像結果が得られる。しかし、データベース化が不十分な場合には、十分にマッチしない低解像パッチに対応する高解像パッチに基づいて高解像化が行われ、見た目で違和感のある高解像画像が生成されてしまう。このとき使われた高解像パッチは実際に画像として存在した絵柄であり、それが（顔画像に別人の目の画像を当てはめるなど）いわば誤用されて高解像化がなされるため違和感は甚大である。
【００１０】
従って、上記のような問題点に鑑みてなされた本発明の目的は、より自然で精細感のある高解像画像を得ることができる画像処理装置を提供することにある。
【課題を解決するための手段】
【００１１】
上記課題を解決するために本発明に係る画像処理装置は、入力された低解像画像から当該画像の高域成分を生成するための高域生成部と、前記低解像画像と前記高域成分を帯域合成することによって前記低解像画像よりも解像度の高い高解像画像を生成し出力する帯域合成部を備え、前記高域生成部は画像に対し位相差のある空間差分を複数取得し、前記複数取得した差分値を画素位置毎に比較し、前記比較の結果、差分値の絶対値が最小である差分値に基づいて当該画素位置の高域成分値を定めることを特徴とする。
【００１２】
また、前記画像処理装置において、前記高域生成部は、水平方向高域成分を生成する第１の高域生成部と、垂直方向高域成分を生成する第２の高域生成部と、対角方向高域成分を生成する第３の高域生成部とを備えており、前記帯域合成部は、入力された前記低解像画像、前記水平方向高域成分、前記垂直方向高域成分、及び前記対角方向高域成分に基づく演算を行って、高解像画像の各画素を生成することが望ましい。
【００１３】
また、前記画像処理装置において、前記帯域合成部の演算は、２次元Ｈａａｒ基底による帯域合成であることが望ましい。
【００１４】
また、前記画像処理装置において、前記第１の高域生成部と前記第２の高域生成部は、位相差のある少なくとも２種類の空間差分を取得し、前記第３の高域生成部は、位相差のある少なくとも４種類の空間差分を取得することが望ましい。
【００１５】
また、前記画像処理装置において、第１乃至第３の高域生成部は、差分値の絶対値が最小である差分値として、絶対値が同じで符号が異なる２つの差分値が得られた場合に、当該高域生成部の高域成分値を０とする処理をさらに有することが望ましい。
【発明の効果】
【００１６】
本発明の画像処理装置によれば、入力された低解像度映像からナイキスト周波数を超える周波数成分を生成するとともに、処理画像のエッジが本来あるべきパターンよりも太ってしまう現象を抑え、より自然で精細感のある高解像画像を得ることが可能となる。
【図面の簡単な説明】
【００１７】
【図１】本発明の画像処理装置の一例を示すブロック図である。
【図２】本発明の画像処理装置の高域生成部の一例を示すブロック図である。
【図３】空間差分演算について説明する図である。
【図４】従来方式の高域生成部の一例を示すブロック図である。
【図５】内挿補間、従来方式、および本発明に係る画像処理装置によって、画像拡大を行った結果の比較である。
【発明を実施するための形態】
【００１８】
以下、本発明の実施の形態について、図面を参照して説明する。
【００１９】
（実施の形態）
図１は、本発明に係る画像処理装置の一例を示すブロック図である。画像処理装置１は入力された低解像画像ＬＬを高解像化し、高解像画像Ｓとして出力する。図１において、画像処理装置１は、３つの高域生成部２（２１乃至２３）と、帯域合成部３とを備える。
【００２０】
高域生成部２１は高域成分ＨＬを、高域生成部２２は高域成分ＬＨを、また高域生成部２３は高域成分ＨＨをそれぞれ生成する。例えば、高域成分ＨＬは水平方向の高域成分すなわち縦のエッジ成分、高域成分ＬＨは垂直方向の高域成分すなわち横のエッジ成分、また高域成分ＨＨは対角方向の高域成分すなわち斜めのエッジ成分をそれぞれ表すものとする。
【００２１】
帯域合成部３は、入力された低解像画像ＬＬと、生成された高域成分ＨＬ、ＬＨおよびＨＨを帯域合成し、低解像画像ＬＬよりも高解像な高解像画像Ｓを生成し出力する。
【００２２】
典型的には、生成された高域成分ＨＬ、ＬＨおよびＨＨの各解像度はいずれも低解像画像ＬＬの解像度と同一とし、高解像画像は低解像画像の解像度の水平および垂直ともに２倍（すなわち、画素数では４倍）の解像度とする。以下、低解像画像ＬＬ、高域成分ＨＬ、ＬＨおよびＨＨの解像度をいずれも水平解像度Ａ、垂直解像度Ｂとし、高解像画像Ｓの解像度を水平解像度２Ａ、垂直解像度２Ｂとする。なお、ＡおよびＢはいずれも自然数とするが、本発明に係る画像処理装置１が効果的に動作する条件はＡ≧３かつＢ≧３である。
【００２３】
以下、画像座標（ｘ，ｙ）における画像Ｐの画素値をＰ（ｘ，ｙ）のように記載し、画像座標は０以上の整数として表現する。また、画像座標（０，０）は画像左上端の画素位置とし、画像座標（ｘ，ｙ）の第１成分ｘは水平右方向、第２成分ｙは垂直下方向にとる。
【００２４】
帯域合成部３は、例えば、２次元Ｈａａｒ基底により帯域合成を行う。すなわち、帯域合成部３は、次式（１）により高解像画像Ｓを生成し出力する。
【００２５】
【数１】
0006661434.tif 000002
【００２６】
あるいは、次式（２）により高解像画像Ｓを生成しても良い。式（１）と式（２）は、等価である。この帯域合成部３の処理により、ナイキスト周波数を超える周波数成分が生成される。
【００２７】
【数２】
0006661434.tif 000003
【００２８】
なお、帯域合成方法は、上記の２次元Ｈａａｒ基底に限られず、例えば、ｎ次のＤａｕｂｅｃｈｉｅｓ基底に基づく帯域合成であっても良い。なお、Ｈａａｒ基底の上記（１）式を利用すると、回路構成が簡単になり回路規模を縮小できる。
【００２９】
図２は、図１における高域生成部２（２１乃至２３）の一例を示すブロック図である。図２の高域生成部２は、Ｎ個の空間差分演算部４（４１乃至４Ｎ）と、Ｎ個の絶対値演算部５（５１乃至５Ｎ）と、比較部６と、選択部７と、増幅部８とを備える。
【００３０】
なお、Ｎは２以上の自然数とする。Ｎの値は高域生成部２１乃至２３において全て同一でなくても構わないし、同一であっても構わない。最も効果的には、水平方向高域成分を生成する高域生成部２１に対してはＮ＝２、垂直方向高域成分を生成する高域生成部２２に対してはＮ＝２、また、対角方向高域成分を生成する高域生成部２３に対してはＮ＝４とする。
【００３１】
空間差分演算部４（４１乃至４Ｎ）はそれぞれ異なる位相（位置）における空間差分（画素値の差分）を求める。
【００３２】
絶対値演算部５ｎ（ｎは１以上Ｎ以下の整数）は、対応する空間差分演算部４ｎの出力する空間差分値に対して、画素位置毎に絶対値をとって出力する。
【００３３】
比較部６は、画素位置毎に絶対値演算部５（５１乃至５Ｎ）の出力した各絶対値を比較し、それらの中で最も小さい絶対値を出力した絶対値演算部５Ｎｍｉｎを特定し、その識別子Ｎｍｉｎを画素位置ごとに出力する。
【００３４】
選択部７は、画素位置毎に、空間差分演算部４（４１乃至４Ｎ）の出力する空間差分値の中から前記識別子Ｎｍｉｎで指定される出力を選択して出力する。
【００３５】
増幅部８は、選択部７の出力に利得ａを掛け、その結果を高域成分出力として出力する。なお、利得ａは実数とし、正値であっても負値であっても０であっても構わない。この利得ａの値は、エッジ部分を強調する度合いに応じて選択される。また、利得ａは、高域生成部２１乃至２３において全て同一でなくても構わない（高域成分ＨＬ、ＬＨ、およびＨＨ用にそれぞれ独立した利得ａＨＬ、ａＬＨ、およびａＨＨを設定しても構わない）し、同一であっても構わない。ただし、高域生成部２１乃至２３に対する利得ａがすべて０であってはならない。
【００３６】
以下、各高域生成部２１乃至２３について、空間差分演算部４（４１乃至４Ｎ）、絶対値演算部５（５１乃至５Ｎ）、比較部６、および選択部７の各実装について具体的に例示する。
【００３７】
（高域生成部２１の実装例）
高域生成部２１が、Ｎ＝２個の空間差分演算部４（４１および４２）を備えるものとして、それらの実装例について説明する。
【００３８】
空間差分演算部４１および空間差分演算部４２はいずれも水平方向の空間差分演算を行うが、互いに水平方向に１画素ずれた差分演算を行う。例えば、空間差分演算部４１の出力を空間差分ＨＬ１、空間差分演算部４２の出力を空間差分ＨＬ２とおいたとき、次式（３）により、各結果を得る。
【００３９】
【数３】
0006661434.tif 000004
【００４０】
図３は、空間差分演算について説明する図である。図３（ａ）は、着目画素Ａを座標（１，１）としたときの空間差分ＨＬ１、ＨＬ２の算出に関係する画素の位置関係を示しており、図３（ｂ）は、空間差分（ｘ方向）の演算結果の例を示す。ＨＬ１は、注目画素Ａとその左隣の画素との差分値であり、ＨＬ２は注目画素Ａとその右隣の画素との差分値である。
【００４１】
絶対値演算部５１は、入力値ＨＬ１（ｘ，ｙ）に対して、その絶対値｜ＨＬ１（ｘ，ｙ）｜を出力する。また、絶対値演算部５２は、入力値ＨＬ２（ｘ，ｙ）に対して、その絶対値｜ＨＬ２（ｘ，ｙ）｜を出力する。
【００４２】
比較部６は、画素位置（ｘ，ｙ）毎に、絶対値｜ＨＬ１（ｘ，ｙ）｜および絶対値｜ＨＬ２（ｘ，ｙ）｜を比較し、その値が最小となる識別子Ｎｍｉｎ（ｘ，ｙ）を求める。すなわち、Ｎｍｉｎ（ｘ，ｙ）は次式（４）で表される。なお、式（４）において、arg minは、argument of the minimum（最小値を与える引数）の略で、関数がその最小値をとる定義域の元全体の成す集合である。
【００４３】
【数４】
0006661434.tif 000005
【００４４】
図３（ｂ）の例では、｜ＨＬ１（１，１）｜＞｜ＨＬ２（１，１）｜であるから、Ｎｍｉｎ（１，１）＝２である。
【００４５】
選択部７は、画素位置（ｘ，ｙ）毎に、空間差分演算部４１の出力する空間差分値ＨＬ１（ｘ，ｙ）および空間差分演算部４２の出力する空間差分値ＨＬ２（ｘ，ｙ）の中から前記識別子Ｎｍｉｎ（ｘ，ｙ）で指定される空間差分演算部４Ｎｍｉｎの出力を選択し、その結果をＨＬ’（ｘ，ｙ）として出力する。したがって、ＨＬ’（ｘ，ｙ）は、次式（５）で表される。
【００４６】
【数５】
0006661434.tif 000006
【００４７】
ここで、空間差分値の絶対値の小さい値が選択されることは、処理後の画像において、パターンのエッジを細くすることを意味する。
【００４８】
増幅部８は、選択部７の出力値ＨＬ’（ｘ，ｙ）に対し利得ａＨＬを掛けることにより、高域成分ＨＬ（ｘ，ｙ）を得る。利得ａＨＬの値は、例えばａＨＬ＝０．５とする。この値は、鮮明な高精細画像が得られるよう、実験的に求めることが望ましく、一般には、０．３〜０．７程度の数値が選ばれる。高域成分ＨＬ（ｘ，ｙ）は、式（６）となる。
【００４９】
【数６】
0006661434.tif 000007
【００５０】
なお、通常の画像処理においては、高域成分ＨＬの演算は上述のとおりとするが、空間差分値ＨＬ１（ｘ，ｙ）と空間差分値ＨＬ２（ｘ，ｙ）の絶対値が同じで符号が反対となる時、高域成分ＨＬ（ｘ，ｙ）の値を０とする処理を追加することが望ましい。隣接画素で空間差分値の絶対値が同じで正負が反転するときに、一方の空間差分値を採用することは、不自然な画像を生成する可能性があるからである。そのような処理としては、比較部６で２つの空間差分値の絶対値が同じで符号が反対であることを判定した場合に、式（５）でＨＬ’（ｘ，ｙ）を０と置き換えるか、或いは、そのような条件のときのみ、式（６）で利得ａＨＬの値を０とすれば良い。
【００５１】
なお、絶対値演算部５（５１および５２）、比較部６、選択部７、および増幅部８の動作をまとめ、一つの手段により演算することも可能であり、次式（７）を実行（式（７）に基づいて実装）しても構わない。
【００５２】
【数７】
0006661434.tif 000008
【００５３】
なお、本実装例では、Ｎ＝２として、注目画素の水平方向に隣接する画素から差分を求めたが、例えば、Ｎ＝４として、注目画素の上下及び対角方向に隣接する画素も利用して、水平方向の差分を求めることも一つの方法である。
【００５４】
（高域生成部２２の実装例）
高域生成部２２が、Ｎ＝２個の空間差分演算部４（４１および４２）を備えるものとして、それらの実装例について説明する。
【００５５】
空間差分演算部４１および空間差分演算部４２はいずれも垂直方向の空間差分演算を行うが、互いに垂直方向に１画素ずれた差分演算を行う。例えば、空間差分演算部４１の出力を空間差分ＬＨ１、空間差分演算部４２の出力を空間差分ＬＨ２とおいたとき、次式（８）により、各結果を得る。
【００５６】
【数８】
0006661434.tif 000009
【００５７】
図３（ａ）に、着目画素Ａを座標（１，１）としたときの空間差分ＬＨ１、ＬＨ２の算出に関係する画素の位置関係を示す。ＬＨ１は、注目画素Ａとその上の画素との差分値であり、ＬＨ２は注目画素Ａとその下の画素との差分値である。
【００５８】
絶対値演算部５１は、入力値ＬＨ１（ｘ，ｙ）に対して、その絶対値｜ＬＨ１（ｘ，ｙ）｜を出力する。また、絶対値演算部５２は、入力値ＬＨ２（ｘ，ｙ）に対して、その絶対値｜ＬＨ２（ｘ，ｙ）｜を出力する。
【００５９】
比較部６は、画素位置（ｘ，ｙ）毎に、絶対値｜ＬＨ１（ｘ，ｙ）｜および絶対値｜ＬＨ２（ｘ，ｙ）｜を比較し、その値が最小となる識別子Ｎｍｉｎ（ｘ，ｙ）を求める。すなわち、Ｎｍｉｎ（ｘ，ｙ）は次式（９）で表される。
【００６０】
【数９】
0006661434.tif 000010
【００６１】
選択部７は、画素位置（ｘ，ｙ）毎に、空間差分演算部４１の出力する空間差分値ＬＨ１（ｘ，ｙ）および空間差分演算部４２の出力する空間差分値ＬＨ２（ｘ，ｙ）の中から前記識別子Ｎｍｉｎ（ｘ，ｙ）で指定される空間差分演算部４Ｎｍｉｎの出力を選択し、その結果をＬＨ’（ｘ，ｙ）として出力する。したがって、ＬＨ’（ｘ，ｙ）は、次式（１０）で表される。
【００６２】
【数１０】
0006661434.tif 000011
【００６３】
増幅部８は、選択部７の出力値ＬＨ’（ｘ，ｙ）に対し利得ａＬＨを掛けることにより、高域成分ＬＨ（ｘ，ｙ）を得る。利得ａＬＨの値は、例えばａＬＨ＝０．５とする。この値は、鮮明な高精細画像が得られるよう、実験的に求めることが望ましく、一般には、０．３〜０．７程度の数値が選ばれる。高域成分ＬＨ（ｘ，ｙ）は、式（１１）となる。
【００６４】
【数１１】
0006661434.tif 000012
【００６５】
なお、高域成分ＬＨの演算についても、空間差分値ＬＨ１（ｘ，ｙ）と空間差分値ＬＨ２（ｘ，ｙ）の絶対値が同じで符号が反対となる時、高域成分ＬＨ（ｘ，ｙ）の値を０とする処理を追加することが望ましい。そのような処理としては、比較部６で２つの空間差分値の絶対値が同じで符号が反対であることを判定した場合に、式（１０）でＬＨ’（ｘ，ｙ）を０と置き換えるか、或いは、そのような条件のときのみ、式（１１）で利得ａＬＨの値を０とすれば良い。これは、水平成分の処理と同様である。
【００６６】
また、絶対値演算部５（５１および５２）、比較部６、選択部７、および利得部８の動作をまとめ、一つの手段により演算することも可能であり、次式（１２）を実行しても構わない。
【００６７】
【数１２】
0006661434.tif 000013
【００６８】
なお、本実装例では、Ｎ＝２として、注目画素の垂直方向に隣接する画素から差分を求めたが、例えば、Ｎ＝４として、注目画素の左右及び対角方向に隣接する画素も利用して、垂直方向の差分を求めることも一つの方法である。
【００６９】
（高域生成部２３の実装例）
高域生成部２３が、Ｎ＝４個の空間差分演算部４（４１乃至４４）を備えるものとして、それらの実装例について説明する。
【００７０】
空間差分演算部４１乃至空間差分演算部４４はいずれも対角方向の空間差分演算を行うが、空間差分演算部４２乃至空間差分演算部４４は空間差分演算部４１に対して水平、垂直および水平・垂直両方向に１画素ずれた差分演算を行う。例えば、空間差分演算部４ｎの出力を空間差分ＨＨｎ（ｎ∈｛１，２，３，４｝）とおいたとき、次式（１３）により、各演算部の結果を得る。
【００７１】
【数１３】
0006661434.tif 000014
【００７２】
図３（ａ）に、着目画素Ａを座標（１，１）としたときの空間差分ＨＨ１、ＨＨ２、ＨＨ３、ＨＨ４の算出に関係する画素の位置関係を示す。
【００７３】
絶対値演算部５ｎ（ｎ∈｛１，２，３，４｝）は、入力値ＨＨｎ（ｘ，ｙ）に対して、その絶対値｜ＨＨｎ（ｘ，ｙ）｜を出力する。
【００７４】
比較部６は、画素位置（ｘ，ｙ）毎に、絶対値｜ＨＨ１（ｘ，ｙ）｜、絶対値｜ＨＨ２（ｘ，ｙ）｜、絶対値｜ＨＨ３（ｘ，ｙ）｜、および絶対値｜ＨＨ４（ｘ，ｙ）｜を比較し、その値が最小となる識別子Ｎｍｉｎ（ｘ，ｙ）を求める。すなわち、Ｎｍｉｎ（ｘ，ｙ）は次式（１４）で表される。
【００７５】
【数１４】
0006661434.tif 000015
【００７６】
選択部７は、画素位置（ｘ，ｙ）毎に、空間差分演算部４１乃至空間差分演算部４４の出力する空間差分値ＨＨ１（ｘ，ｙ）、ＨＨ２（ｘ，ｙ）、ＨＨ３（ｘ，ｙ）、およびＨＨ４（ｘ，ｙ）の中から前記識別子Ｎｍｉｎ（ｘ，ｙ）で指定される空間差分演算部４Ｎｍｉｎの出力を選択し、その結果をＨＨ’（ｘ，ｙ）として出力する。したがって、ＨＨ’（ｘ，ｙ）は、次式（１５）で表される。
【００７７】
【数１５】
0006661434.tif 000016
【００７８】
増幅部８は、選択部７の出力値ＨＨ’（ｘ，ｙ）に対し利得ａＨＨを掛けることにより、高域成分ＨＨ（ｘ，ｙ）を得る。利得ａＨＨの値は、例えばａＨＨ＝０．１とする。この値は、鮮明な高精細画像が得られるよう、実験的に求めることが望ましい。
【００７９】
【数１６】
0006661434.tif 000017
【００８０】
なお、高域成分ＨＨの演算についても、絶対値が最小とされた空間差分値ＨＨｎ（ｘ，ｙ）が２つあり、その２つの空間差分値ＨＨｎの絶対値が同じで符号が反対となる時、高域成分ＨＨ（ｘ，ｙ）の値を０とする処理を追加することが望ましい。そのような処理としては、比較部６で２つの空間差分値の絶対値が同じで符号が反対であることを判定した場合に、式（１５）でＨＨ’（ｘ，ｙ）を０と置き換えるか、或いは、そのような条件のときのみ、式（１６）で利得ａＨＨの値を０とすれば良い。
【００８１】
また、絶対値演算部５（５１乃至５４）、比較部６、選択部７、および利得部８の動作をまとめ、一つの手段により演算することも可能であり、次式（１７）を実行しても構わない。
【００８２】
【数１７】
0006661434.tif 000018
【００８３】
以下に、本発明に係る画像処理装置による高解像化の結果と、従来方式（従来型ウェーブレット超解像）による高解像化の結果の比較例を示す。
【００８４】
ここでは、従来方式として、図１の高域生成部２（２１乃至２３）に換えて、図４に示す従来型高域生成部２０を用いる場合を示す。従来型高域生成部２０は、空間差分演算部２１および畳込部２２により構成される。なお、畳込部２２は、単純な利得の掛け算として実装しても構わない。
【００８５】
従来方式においては畳込部２２においてガウシアンを畳み込むことが行われているが、従来型の高域生成では過剰にエッジが太ってしまうことを問題視し、本発明において解決すべき課題としている。よって、以下では、畳込部２２では畳み込みのガウシアンを最も鋭くした極限として、単純な利得の掛け算（インパルスの掛け算に相当する）を行った。
【００８６】
なお、高域生成部２１用の従来型高域生成部２０、高域生成部２２用の従来型高域生成部２０、および高域生成部２３用の従来型高域生成部２０がそれぞれ出力する高域成分ＨＬ、ＬＨ、ＨＨを、次式（１８）のとおり定義して比較実験を行った。式（１８）は、Ｈａａｒ基底を用いたウエーブレット超解像の一つに相当する。
【００８７】
【数１８】
0006661434.tif 000019
【００８８】
図５に比較実験の結果を示す。図５（ａ）は、アップサンプリングしてＬａｎｃｚｏｓ−３を内挿関数とする補間内挿により２×２倍の画像拡大を行った結果である。補間内挿では拡大前の画像におけるナイキスト周波数以上の情報は再生できないためぼやけの目立った結果となっている。
【００８９】
図５（ｂ）は、図４および式（１８）で示した従来方式（従来型ウェーブレット超解像）による２×２倍の画像拡大の結果である。図５（ａ）の結果よりも精細感があるが、輪郭付近に縁どり感があり、境界の外側に白いライン、内側に黒いラインが見えて、輪郭が太くなる傾向のある結果となっている。これは生成した高域成分のエッジが太っていることに起因する。
【００９０】
図５（ｃ）は本発明に係る画像処理装置によって２×２倍の画像拡大を行った結果である。図５（ａ）および（ｂ）よりも精細感があり、かつ（ｂ）に見られた縁どり状のアーチファクトも軽減されている。したがって、輪郭部がより急峻に見え、自然な画像となっている。本発明は、少ない演算（小さい回路規模）で画像を大きく改善できる。
【００９１】
なお、上述した画像処理装置１として機能させるためにコンピュータを好適に用いることができ、そのようなコンピュータは、画像処理装置１の各機能を実現する処理内容を記述したプログラムを該コンピュータの記憶部に格納しておき、該コンピュータのＣＰＵによってこのプログラムを読み出して実行させることで実現することができる。なお、このプログラムは、コンピュータ読取り可能な記録媒体に記録可能である。
【００９２】
上述の実施形態は代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、実施形態に記載の複数の構成ブロックを１つに組み合わせたり、あるいは１つの構成ブロックを分割したりすることが可能である。
【符号の説明】
【００９３】
１      画像処理装置
２、２１、２２、２３  高域生成部
３      帯域合成部
４、４１、４２、…、４Ｎ  空間差分演算部
５、５１、５２、…、５Ｎ  絶対値演算部
６      比較部
７      選択部
８      増幅部
２０    従来型高域生成部
２１    空間差分演算部
２２    畳込部
【図１】
0006661434.tif 000020
【図２】
0006661434.tif 000021
【図３】
0006661434.tif 000022
【図４】
0006661434.tif 000023
【図５】
0006661434.tif 000024