(57)【要約】【課題】画像データの全周波数帯域におけるノイズの除去を行うとともに、特定の高周波成分を強調して鮮明な画像を得ることが出来る画像処理装置を提供する。【解決手段】ｍ個の分割画像を生成するアダマール変換部３と、第１画像信号レベルの（ｍ−ｎ）個の制限画像を出力し、分割画像を第１画像信号レベルを超えた第２画像信号レベルの範囲内にある画像信号を通過させると共に、第１、第２画像信号レベル間では第１、第２画像信号レベル間を通過する分割画像を反転して通過させてｎ個の強調制限画像を出力するリミッタ部４と、リミッタ部４から出力された制限画像と強調制限画像とから１つの修正画像を生成する逆アダマール変換部５と、１つの修正画像が生成されたタイミングで前記入力画像を遅延させる遅延部６と、遅延させた入力画像から１つの修正画像を減算して、画像のノイズ除去と強調を行う減算部７と、を備える。【選択図】      図１
2007265122.tif 000002
【特許請求の範囲】
【請求項１】
２次元画像からノイズを除去した鮮明な画像を生成する画像処理装置において、
入力画像を、ｍ個（ｍ：４に等しいかそれ以上の整数）の周波数特性を有するｍ個の周波数分割帯域で分割するアダマール変換により、ｍ個の分割画像として生成するアダマール変換部と、
前記ｍ個の分割画像のうち、前記（ｍ−ｎ（ｎ：１に等しいかそれ以上でｍ以下の整数））個の分割画像を、予め定められた第１画像信号レベルの範囲内にある画像信号レベルだけを通過させて前記（ｍ−ｎ）個の制限画像を出力し、残りのｎ個の分割画像を、前記予め定められた第１画像信号レベルを超えた第２画像信号レベルの範囲内にある画像信号を通過させると共に、前記第１、第２画像信号レベル間では前記第１、第２画像信号レベル間を通過する前記残りのｎ個の分割画像を反転して通過させて強調制限画像を出力するｍ個のリミッタ部と、
前記ｍ個のリミッタ部から出力された（ｍ−ｎ）個の制限画像とｎ個の強調制限画像の逆アダマール変換を行って（ｍ−ｎ）個の補正画像とｎ個の強調補正画像から１つの修正画像を生成する逆アダマール変換部と、
前記逆アダマール変換部で１つの修正画像が生成されたタイミングで前記入力画像を出力されるように前記入力画像を遅延させる遅延部と、
前記遅延部で遅延させた前記入力画像から前記１つの修正画像を減算して、前記第１画像信号レベルの範囲内にある画像信号レベルの画像のノイズ除去と前記第２画像信号レベルの範囲内にある画像信号レベルの画像の強調を行う減算部と、
を備えたことを特徴とする画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ＭＰＥＧ等の圧縮符号化された画像データを復号化した画像に対する画質改善を行う画像処理装置に関するものである。
【背景技術】
【０００２】
従来、特許文献１に記載されているように、画像処理装置において、画像データの画質改善を行う方法としては、ローパスフィルタを用いて高域成分のノイズを除去する方法があった。このローパスフィルタを用いて高域成分のノイズを除去する方法では高域成分の画像レベルも低下してしまうので、この低下を補正するためにエンハンス回路を用いて高域成分の強調を行っていた。
図５に特許文献１に記載されている従来の画像処理装置の概要を示す。
【０００３】
図５に示すように従来の画像処理装置は、ＭＰＥＧ復号化器３２と、２次元ＬＰＦ３３と、減算器３４と、コアリング回路３５と、ＭＭＩ３６と、ＣＰＵ３７と、エンハンス回路３８と、加算器３９と、から構成される。
【０００４】
ＭＰＥＧ復号化器３２は、ＭＰＥＧ方式で圧縮符号化された画像データを復号化する。
２次元ＬＰＦ３３は、例えば３×３の２次元フィルターであり、｛１，２，１，２，４，２，１，２，１｝の係数で、画像データの対応するデータと乗算し、乗算結果を１６で除算するフィルターである。このフィルターをかけることにより画像の低域成分の画像データを得る。
【０００５】
減算器３４は、ＭＰＥＧ復号化器３２で復号された画像データから２次元ＬＰＦ３３のフィルターをかけた画像の低域成分の画像データを減算し、高域成分のみを抽出する。
コアリング回路３５は、減算器３４で得られた高域成分に含まれるレベルの小さい信号となっているノイズを除去する。
ＭＭＩ３６は、マンマシーンインターフェース回路であり、ユーザによってコアリング回路３５において除去されるノイズのコアリングレベルのパラメータを入力しＣＰＵ３７を介して送信される。
【０００６】
ＣＰＵ３７は、ＭＭＩ３６から入力されるコアリングレベルのパラメータと後述するエンハンスレベルのパラメータをそれぞれ送信する。
エンハンス回路３８は、コアリング回路３５からノイズを除去した高域成分の画像データを、ＭＭＩ３６からユーザによって入力されるエンハンスレベルのパラメータによって所定レベルに設定する。
【０００７】
加算器３９は、２次元ＬＰＦ３３から低域成分の画像データを、エンハンス回路３８入力から高域成分の画像データを、それぞれ入力して加算し、高域成分が強調された画像データを生成する。
画像信号は高域の周波数成分を強調することにより、エッジ部分が強調され、見た目の鮮鋭度が増すことが知られている。
【０００８】
次に、動作について説明する。
図６（ａ）に示すように、ＭＰＥＧ方式で圧縮符号化された画像データをＭＰＥＧ復号化器３２で復号化した画像データを得る。この画像データにはノイズが含まれているから、２次元ＬＰＦ３３により図６（ｂ）に示すようにノイズを除去した低域成分データとする。
【０００９】
次に、図６（ａ）に示される画像データから図６（ｂ）に示される低域成分データを減算器３４により減算すると図６（Ｃ）に示す高域成分データが得られる。この高域成分データにはノイズが含まれているから、コアリング回路３５により除去すると、図６（ｄ）に示すコアリング後データとなる。
【００１０】
このコアリング後データをエンハンス回路３８によりコアリングして図６（ｅ）に示すコアリング後データを得るから図６（ｂ）に示す低域成分データに加算器３９で加算して図６（ｆ）に示す最終処理画像データを得る。
【００１１】
このようにして、画像データを低域成分と高域成分とに分けることにより、ノイズを除去し、かつ高域成分が強調された良好な画像となる最終処理画像データを得ることが出来る。
【特許文献１】特開２００４−１７２９４４号公報
【発明の開示】
【発明が解決しようとする課題】
【００１２】
しかしながら、上述したように、画像データを低域成分と高域成分とに分けて高域成分のみのノイズ除去を行う従来の画像処理装置では、狭い高周波成分範囲のノイズの除去しか行うことが出来ず、画像データの全周波数帯域におけるノイズ（画像データに含まれる低域ノイズ、符号化によるリンギング状の量子化ノイズ等）の除去を全て行うことが出来ないという問題点があった。
【００１３】
そこで、本発明は、上記のような問題点を解消するためになされたもので、狭い高周波成分範囲のノイズの除去だけではなく、画像データの全周波数帯域におけるノイズの除去を行うとともに、特定の高周波成分を強調して鮮明な画像を得ることが出来る画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【００１４】
本願発明における第１の発明は、２次元画像からノイズを除去した鮮明な画像を生成する画像処理装置において、入力画像を、ｍ個（ｍ：４に等しいかそれ以上の整数）の周波数特性を有するｍ個の周波数分割帯域で分割するアダマール変換によりｍ個の分割画像として生成するアダマール変換部と、前記ｍ個の分割画像のうち、前記（ｍ−ｎ（ｎ：１に等しいかそれ以上でｍ以下の整数））個の分割画像を、予め定められた第１画像信号レベルの範囲内にある画像信号レベルだけを通過させて前記（ｍ−ｎ）個の制限画像を出力し、残りのｎ個の分割画像を、前記予め定められた第１画像信号レベルを超えた第２画像信号レベルの範囲内にある画像信号を通過させると共に、前記第１、第２画像信号レベル間では前記第１、第２画像信号レベル間を通過する前記残りのｎ個の分割画像を反転して通過させて強調制限画像を出力するｍ個のリミッタ部と、前記ｍ個のリミッタ部から出力された（ｍ−ｎ）個の制限画像とｎ個の強調制限画像の逆アダマール変換を行って（ｍ−ｎ）個の補正画像とｎ個の強調補正画像から１つの修正画像を生成する逆アダマール変換部と、前記逆アダマール変換部で１つの修正画像が生成されたタイミングで前記入力画像を出力されるように前記入力画像を遅延させる遅延部と、前記遅延部で遅延させた前記入力画像から前記１つの修正画像を減算して、前記第１画像信号レベルの範囲内にある画像信号レベルの画像のノイズ除去と前記第２画像信号レベルの範囲内にある画像信号レベルの画像の強調を行う減算部と、  を備えたことを特徴とする画像処理装置を提供するものである。
【発明の効果】
【００１５】
本発明の画像処理装置によれば、２次元画像からノイズを除去した鮮明な画像を生成する画像処理装置において、入力画像を、ｍ個（ｍ：４に等しいかそれ以上の整数）の周波数特性を有するｍ個の周波数分割帯域で分割するアダマール変換によりｍ個の分割画像として生成するアダマール変換部と、ｍ個の分割画像のうち、（ｍ−ｎ（ｎ：１に等しいかそれ以上でｍ以下の整数））個の分割画像を、予め定められた第１画像信号レベルの範囲内にある画像信号レベルだけを通過させて（ｍ−ｎ）個の制限画像を出力し、残りのｎ個の分割画像を、予め定められた第１画像信号レベルを超えた第２画像信号レベルの範囲内にある画像信号を通過させると共に、第１、第２画像信号レベル間では第１、第２画像信号レベル間を通過する残りのｎ個の分割画像を反転して通過させて強調制限画像を出力するｍ個のリミッタ部と、ｍ個のリミッタ部から出力された（ｍ−ｎ）個の制限画像とｎ個の強調制限画像の逆アダマール変換を行って（ｍ−ｎ）個の補正画像とｎ個の強調補正画像から１つの修正画像を生成する逆アダマール変換部と、逆アダマール変換部で１つの修正画像が生成されたタイミングで入力画像を出力されるように入力画像を遅延させる遅延部と、遅延部で遅延させた入力画像から１つの修正画像を減算して、第１画像信号レベルの範囲内にある画像信号レベルの画像のノイズ除去と第２画像信号レベルの範囲内にある画像信号レベルの画像の強調を行う減算部と、  を備えたことにより、狭い高周波成分範囲のノイズの除去だけではなく、画像データの全周波数帯域におけるノイズの除去を行うとともに、特定の高周波成分を強調して鮮明な画像を得ることが出来る。
【発明を実施するための最良の形態】
【００１６】
以下に本発明の実施形態に係る画像処理装置について図１〜図４を用いて説明する。
図１は、本発明の実施形態に係る画像処理装置の概要を示す図であり、（Ａ）は構成図を示す図であり、（Ｂ）は、アダマール変換、逆アダマール変換における変換式を示す図である。
図２は、アダマール変換部による４つの周波数特性を示す図であり、（Ａ）は最も低域成分の周波数特性を示す図であり、（Ｂ）は低域成分の次の中域成分の周波数特性を示す図であり、（Ｃ）は中高域成分の周波数特性を示す図であり、（Ｄ）は高域成分の周波数特性を示す図である。
図３は、図２（Ａ）〜図２（Ｄ）の各周波数成分のリミッタ特性を図３（Ａ）〜図３（Ｄ）でそれぞれ対応して個々に示す図である。
図４は、画像データの周波数帯域に対するリミッタ特性を示す図であり、（Ａ）は水平方向の画素数が３６０である画像データの周波数帯域に対するリミッタ特性を示す図であり、（Ｂ）は水平方向の画素数が７２０である画像データの周波数帯域に対するリミッタ特性を示す図である。
【００１７】
図１に示すように、本発明に係る画像処理装置は、復号化処理部２と、アダマール変換部３と、リミッタ（リミッタ部）４と、逆アダマール変換部５と、遅延部６と、減算部７と、から構成される。
復号化処理部２は、例えばＭＰＥＧ方式で圧縮符号化された符号化画像データを復号化し、復号画像データを生成する。
【００１８】
アダマール変換部３は、図１（Ｂ）に示す変換式によるアダマール変換により復号化処理部２で復号化された復号画像データを４つの周波数帯域に分割し、４つの周波数成分を得る。
リミッタ４は、アダマール変換部３で生成された４つの周波数成分のそれぞれにリミッタをかけて低レベル信号成分を生成する。
【００１９】
逆アダマール変換部５は、例えば、図１（Ｂ）のような逆アダマール変換により、リミッタ４で生成された４つの低レベル信号成分に逆アダマール変換をかけて補正用画像データ（修正画像）を生成する。
尚アダマール変換部３、リミッタ４、逆アダマール変換部５は、説明の簡略化のため４つの構成としているが、より高性能を得るために４つ以上のｍ個の構成としてもよいのはもちろんである。
【００２０】
遅延部６は、復号化処理部２で復号化された画像データを遅延させて逆アダマール変換部５から得られる補正用画像データ（修正画像）とタイミングを合わせた遅延復号画像データを生成する。
減算部７は、遅延部６で生成された遅延復号画像データから逆アダマール変換部５で生成された補正用画像データ（修正画像）を減算して画像データを生成する。
【００２１】
次に、動作について説明する。
まず、ＭＰＥＧ方式で圧縮符号化された符号化画像データを入力し、復号化処理部２により、復号化して復号画像データを得る。
【００２２】
そして、アダマール変換部３に復号画像データを入力して、図２（Ａ）〜図２（Ｄ）に示すような４つの周波数成分に変換するアダマール変換により、復号化処理部２で復号化された復号画像データを４つの周波数成分に変換し、４つの周波数成分を得る。
【００２３】
図２のフィルター特性のグラフについて説明すると、横軸に周波数を示す。Ｔはサンプリング周波数で、画素データの画素数が７２０のとき、Ｔ＝１３．５ＭＨｚとする。従ってこのとき画素データに含まれる画像の周波数帯域は１／２Ｔとなる。また縦軸には周波数成分のゲインを示し１．０を最大値とする。
【００２４】
次に、リミッタ４に、アダマール変換部３で生成された４つの周波数成分を入力しそれぞれの周波数成分に図３（Ａ）〜図３（Ｄ）の入出力特性からなるリミッタをかけて低レベル信号成分を生成する。
【００２５】
図３（Ａ）〜図３（Ｄ）に示す入出力特性について説明すると、横軸に周波数成分の入力レベルを示し最大値をｘ、最小値を−ｘとする。縦軸にはリミッタの出力レベルを示し、最大値をｙ、最小値を−ｙとする。
【００２６】
そして、各入出力特性に示す斜線部がリミッタを通過する周波数成分のレベルであり、この図の第一象限と第三象限の斜線部の周波数成分がノイズレベルに相当するから、周波数成分のノイズレベルに応じて斜線部の形状及びレベルを設定する。
【００２７】
図３（Ｃ）、図３（Ｅ）においては、入力の中央部以上のレベル部分が反転して示してあるが、これはこのレベルの周波数成分を強調するために用いるものである。従って入力の低いレベル（例えば最大値を１．０としたとき１０／２５６＝０．０３９）をノイズレベルとし、それ以上のレベル部分を強調部分とする。
ここでは、強調部分は１つとしてあるが１つ以上のｎ個（ｍ以下）でもよいのはもちろんである。
【００２８】
そして、逆アダマール変換部５で、リミッタ４で生成された４つの低レベル信号成分に逆アダマール変換をかけて補正用画像データ（修正画像）を生成する。
この補正用画像データを遅延部６で生成される補正用画像データ（修正画像）とタイミングを合わせた遅延復号画像データから減算部７で減算して画像データを生成する。
【００２９】
この逆アダマール変換部５で生成された補正用画像データ（修正画像）は４つの低レベル信号成分から構成された復号画像データに含まれる全周波数帯域におけるノイズ成分と特定の周波数成分のデータの符号が反転した成分に相当するから、遅延部６で遅延復号画像から補正用画像データ（修正画像）を減算することにより、復号画像データに含まれる全周波数帯域におけるノイズ成分を除去し、特定の周波数を強調したことになる。
【００３０】
尚、アダマール変換部３でアダマール変換により４つの周波数成分に変換しているが、周波数帯は出来るだけ多いほうが強調できる周波数をより細かく設定ができ、効果的であることはいうまでもなく、この４つの周波数帯に限定されるものではなく４つ以上としてもよいのはもちろんである。
【００３１】
一方、リミッタ４で負極性にした信号成分は、減算部７で遅延復号画像に加算されることになり、エンハンス回路を用いなくても、その高域成分をより自然に強調することが出来る。
【００３２】
図４は、画像データの周波数帯域に対するリミッタ特性を示す図であり、図４（Ａ）は水平方向の画素数が３６０である画像データの周波数帯域を複数の縦線で示す領域とすると、この画像データの高域成分を強調するには図２（Ｂ）に示す周波数成分を図４（Ａ）の（２）の入出力特性を有するリミッタにかける。
【００３３】
また、図４（Ｂ）は水平方向の画素数が７２０である画像データの周波数帯域を複数の縦線で示す領域とすると、この画像データの高域成分を強調するには図２（Ｃ）に示す周波数成分を図４（Ｂ）の（２）の入出力特性を有するリミッタにかける。
【００３４】
このようにすれば、画像データからノイズを除去しながら同時に画像データの画素数に応じた高域成分の強調を行うことが出来る。
高域成分の強調は１つのみではなく複数のリミッタで行ってもよいのはもちろんである。
【００３５】
以上述べてきたように、アダマール変換部３で変換された複数(４以上)の周波数成分にそれぞれにリミッタをかけた後、逆アダマール変換部５で１つの補正用画像データとすることにより復号画像データに含まれる全周波数帯域におけるノイズ成分が得られるので、この補正用画像データを復号画像データから減算することによりノイズ成分が減少した画像データを得ることが出来る。
さらに、全周波数帯域におけるノイズの除去を行うとともに、特定の高周波成分を強調することにより鮮明な画像を得ることが出来る。
【図面の簡単な説明】
【００３６】
【図１】本発明の実施形態に係る画像処理装置の概要を示す図であり、（Ａ）は構成図を示す図であり、（Ｂ）は、アダマール変換、逆アダマール変換における変換式を示す図である。
【図２】アダマール変換部による４つの周波数特性を示す図であり、（Ａ）は最も低域成分の周波数特性を示す図であり、（Ｂ）は低域成分の次の中域成分の周波数特性を示す図であり、（Ｃ）は中高域成分の周波数特性を示す図であり、（Ｄ）は高域成分の周波数特性を示す図である。
【図３】図２（Ａ）〜図２（Ｄ）の各周波数成分のリミッタ特性を図３（Ａ）〜図３（Ｄ）でそれぞれ対応して個々に示す図である。
【図４】画像データの周波数帯域に対するリミッタ特性を示す図であり、（Ａ）は水平方向の画素数が３６０である画像データの周波数帯域に対するリミッタ特性を示す図であり、（Ｂ）は水平方向の画素数が７２０である画像データの周波数帯域に対するリミッタ特性を示す図である。
【図５】従来の画像処理装置の概要を示す。
【図６】従来の画像処理装置における各部分の波形図を示す。
【符号の説明】
【００３７】
１・・・画像処理装置、２・・・復号化処理部、３・・・アダマール変換部、４・・・リミッタ（リミッタ部）、５・・・逆アダマール変換部、６・・・遅延部、７・・・減算部
【図１】
2007265122.tif 000003
【図２】
2007265122.tif 000004
【図３】
2007265122.tif 000005
【図４】
2007265122.tif 000006
【図５】
2007265122.tif 000007
【図６】
2007265122.tif 000008