(57)【要約】【課題】圧縮符号化で発生したモスキートノイズを復号時に除去すると共に適切なエンハンス処理を行って、復号画像信号に対してより一層の画質改善を実現できる画像処理方法、画像処理装置、及び画像処理用プログラムを提供する。【解決手段】直交変換等を用いて圧縮され符号化された画像信号を復号した復号画像信号を、低周波信号成分と高周波信号成分とに分離し、前記高周波信号成分について、所定のコアリングレベル以下の信号をゼロに変換し、所定のエンハンスレベルを乗算して、その高周波信号成分を前記低周波信号成分と合成するようにして復号画像信号を再構成するようにした。【選択図】      図１
2004172944.tif 000002
【特許請求の範囲】
【請求項１】
直交変換を用いた所定の符号化方式により符号化された画像データに対して復号化信号処理を施して得た復号画像信号を、低周波信号成分と高周波信号成分とに分離し、前記高周波信号成分に対して、所定のコアリングレベル以下の信号をゼロに変換した後、所定のエンハンスレベルを乗算し、前記低周波信号成分と前記エンハンスレベルの乗算された高周波信号成分とを合成するようにしてノイズ除去された復号画像信号を得ることを特徴とする画像処理方法。
【請求項２】
直交変換を用いた所定の符号化方式により符号化された画像データに対して復号化信号処理を施して得た復号画像信号を、低周波信号成分と高周波信号成分とに分離する分離手段と、
分離された前記高周波信号成分に対して、所定のコアリングレベル以下の信号をゼロに変換させるコアリング手段と、
前記コアリングされた高周波信号成分に対して、所定のエンハンスレベルを乗算するエンハンス手段と、
前記低周波信号成分と前記エンハンス手段から出力される高周波信号成分とを合成する合成手段と、
を備えたことを特徴とする画像処理装置。
【請求項３】
直交変換を用いた所定の符号化方式により符号化された画像データに対して復号化信号処理を施して得た復号画像信号を、低周波信号成分と高周波信号成分とに分離する分離機能と、
分離された前記高周波信号成分に対して、所定のコアリングレベル以下の信号をゼロに変換させるコアリング機能と、
前記コアリングされた高周波信号成分に対して、所定のエンハンスレベルを乗算するエンハンス機能と、
前記低周波信号成分と前記エンハンスされた高周波信号成分とを合成する合成機能と、
をコンピュータに実行させるための画像処理用プログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、ＭＰＥＧなどの圧縮符号化された画像データを復号化した画像に対する画質改善の画像処理方法、画像処理装置、及び画像処理用プログラムに関するものである。そして、この発明は特に、直交変換等を用いた圧縮で発生したモスキートノイズを復号時に除去することを可能とする画像処理方法、画像処理装置、及び画像処理用プログラムを提供することを目的としている。
【０００２】
【従来の技術】
画像信号、音響信号、その他の各種信号をデジタル信号として、伝送，記録再生する場合には、情報量の圧縮伸長技術が用いられている。これは、例えば画像信号や音声信号等のデジタル化に当って、各サンプル値を均等に分割した信号レベルの内の一つの代表値で置き換える直線量子化（均等量子化）を行なっただけでは、伝送，記録再生の対象とされる信号の情報量が、非常に多い状態になるからである。
【０００３】
従来から放送通信の技術分野、記録再生の技術分野においては、例えば、信号の変化の少ない部分で人間の視覚や聴覚が敏感であり、信号の変化の激しい部分ではある程度の誤差があっても、それを検知し難いという人間の視覚や聴覚の性質を、各サンプルあたりの情報量の低減のために利用するということの他に、多くの情報圧縮技術の適用により、伝送，記録再生の対象にされている各種情報についての高能率圧縮技術（情報の高能率符号化技術）の実用化が進められて来ていることは周知のとおりである。
【０００４】
さて、現在実用化されているＶＨＳ（登録商標）方式のＶＴＲからの再生信号を用いて表示された再生画像程度の画質の動画像における１時間当りの情報量は、おおよそ１０９Ｇビットである。また、我国における現行の標準方式のカラーテレビジョン方式の受信画像程度の画質の動画像における１時間当りの情報量は、おおよそ３６０Ｇビットである。これらの情報量よりもさらに大きな情報量を有する画像情報を、実用化されている現行の伝送路や記録媒体を用いて、伝送、記録再生させるために必要とされる画像情報の高能率圧縮方式についての実用化研究も盛んに行なわれている。
【０００５】
ところで、現在、実用的な画像情報の高能率圧縮方式として提唱されている画像情報の高能率圧縮方式では、▲１▼自然画における隣接画素間では相関が高いという、画面内（フレーム内）相関々係を利用して行なう情報量の圧縮（空間的相関々係を利用して行なう情報量の圧縮）、▲２▼時間軸上に並ぶ画面間（フレーム間）相関々係を利用して行なう情報量の圧縮（時間的相関々係を利用して行なう情報量の圧縮）、▲３▼符号の出現確率の偏りによる情報量の圧縮、との３種類の異なる圧縮手段を組合わせて情報量の圧縮を行ない、高能率符号化が達成されるようにしている。前記した▲１▼の画面内（フレーム内）相関々係を利用して行なう画像の情報量の圧縮手段としては、従来から多くの手法が提案されて来ているが、近年になって、Ｋ−Ｌ（カルーネン・レーベ）変換、離散コサイン変換（ＤＣＴ）、離散フーリエ変換、ウオルシュ・アダマール変換、等を代表例とする直交変換が採用されることが多くなった。
【０００６】
例えば、ＩＳＯ（国際標準化機構）の下に設立されたＭＰＥＧ（ＭｏｖｉｎｇＰｉｃｔｕｒｅ  Ｃｏｄｉｎｇ  Ｅｘｐｅｒｔ  Ｇｒｏｕｐ）による国際標準化作業の結果として提唱された画像情報の高能率符号化方式（ＭＰＥＧ１方式，ＭＰＥＧ２方式と呼称されることもある）は、フレーム内符号化と、フレーム間符号化とを組合わせて、動き補償予測やフレーム間予測を施した状態で、動画像情報の高能率符号化を行なうのであるが、前記の直交変換として２次元離散コサイン変換（２次元ＤＣＴ）を採用している。そして、前記の直交変換は、高能率符号化の対象にされる各１枚毎の画面の画像信号について、所定のブロックサイズ（Ｎ×Ｍ画素←横Ｎ画素×縦Ｍラインのブロックサイズ）を有する「単位のブロック」（前記のＭＰＥＧ１方式，ＭＰＥＧ２方式では、８×８画素←横８画素×縦８ラインのブロックサイズのブロックが「単位のブロック」とされている）毎に分割された画像信号について行なわれる。
【０００７】
前記単位のブロック毎に直交変換されることによって得られる（Ｎ×Ｍ）個の直交変換係数（前記のＭＰＥＧ１方式，ＭＰＥＧ２方式では、８×８＝６４個のＤＣＴ変換係数）は、少なくとも前記単位のブロックの１個を含む予め定められた大きさの領域（前記のＭＰＥＧ１方式，ＭＰＥＧ２方式において、「マクロブロック」の用語で呼称されている領域）毎に設定されている「ブロック量子化幅値」によって量子化される。「マクロブロック」とは、ＭＰＥＧ１方式，ＭＰＥＧ２方式で、輝度信号Ｙについての１６×１６画素（横１６画素×縦１６ライン）のブロックサイズの大きさの領域と、２つの色差信号Ｃｒ，Ｃｂのそれぞれについての８×８画素（横８画素×縦８ライン）のブロックサイズの大きさの領域とからなる領域である。
【０００８】
例えば、ＭＰＥＧ１方式，ＭＰＥＧ２方式において、前記「ブロック量子化幅値」は、［マクロブロック量子化特性値（またはマクロブロックの量子化スケール）ＱＳ×量子化マトリクス］として示される。
【０００９】
前記のブロック量子化幅値によって量子化された直交変換係数（例えばＤＣＴ係数）は、それの直流成分（ＤＣ成分）と、交流成分（ＡＣ成分）とに分離される。前記の直交変換係数（例えばＤＣＴ係数）の直流成分は差分符号化され、また直交変換係数（例えばＤＣＴ係数）の交流成分は、ジグザグ走査された後にエントロピー符号化（符号の出現確率の偏りによる情報量圧縮…例えばハフマン方式のような可変長符号化）される。このように変換符号化された画像データはビットストリーム（ビット列）として出力される。
【００１０】
次に、前述のように変換符号化された画像データに対する復号動作は、既述の符号化動作とは逆の操作で行なわれて出力画像が得られるのであるが、高能率符号化の過程において量子化が行なわれている場合には、避けることができない量子化誤差の存在により、出力画像中に量子化ノイズを生じさせる。そして、符号化の対象にされた画像の複雑さが、伝送レートに対して大きな場合に、前記の量子化ノイズが画像の品質を大きく劣化させることになる。従来の一般的なＭＰＥＧの符号化器を図９に、復号化器を図１０に示す。
【００１１】
図９に示す従来のＭＰＥＧ符号化器について簡単に説明する。入力画像は動き補償予測器１で復号化した画像と、入力画像の差分とを差分器２で取ることで時間冗長部分を削減する。
【００１２】
予測の方向は、過去、未来、両方からの３モード存在する。また、これらは１６画素×１６画素のＭＢ（マクロブロック）ごとに切り替えて使用できる。予測方向は入力画像に与えられたピクチャタイプによって決定される。過去からの予測により符号化するモードと、予測をしないでそのＭＢを独立で符号化するモードとの２つのモードが存在するのがＰピクチャーである。また、未来からの予測、過去からの予測、両方からの予測、独立で符号化する４つのモードが存在するのがＢピクチャーである。そして、全てのＭＢを独立で符号化するのがＩピクチャーである。
【００１３】
動き補償は、動き領域をＭＢごとにパターンマッチングを行ってハーフペル精度で動きベクトルを検出し、動き分だけシフトしてから予測する。動きベクトルは水平方向と垂直方向が存在し、何処からの予測かを示すＭＣ（Ｍｏｔｉｏｎ  Ｃｏｍｐｅｎｓａｔｉｏｎ）モードとともにＭＢの付加情報として伝送される。
【００１４】
Ｉピクチャから次のＩピクチャの前のピクチャまでをＧＯＰ（Ｇｒｏｕｐ  Ｏｆ  Ｐｉｃｔｕｒｅ）といい、蓄積メディアなどで使用される場合には、一般に約１５ピクチャ程度が一つのＧＯＰとして使用される。
【００１５】
差分画像はＤＣＴ器３において直交変換が行われる。ＤＣＴ（Ｄｉｓｃｒｅｔｅ  Ｃｏｓｉｎｅ  Ｔｒａｎｓｆｏｒｍ）とは、余弦関数を積分核とした積分変換を有限空間への離散変換する直交変換である。ＭＰＥＧではＭＢを４分割し８×８のＤＣＴブロックに対して、２次元ＤＣＴを行う。一般にビデオ信号は低域成分が多く高域成分が少ないため、ＤＣＴを行うと係数が低域に集中する。
【００１６】
ＤＣＴされた画像データ（ＤＣＴ係数）は量子化器４で量子化が行われる。量子化は量子化マトリックスという８×８の２次元周波数を視覚特性で重み付けした値と、その全体をスカラー倍する量子化スケールという値で乗算した値を量子化値として、ＤＣＴ係数をその量子化値で叙算する。ＭＰＥＧ復号化器（デコーダー）で逆量子化するときは量子化値で乗算することにより、元のＤＣＴ係数に近似している値を得ることになる。
【００１７】
量子化されたデータはＶＬＣ器５で可変長符号化される。量子化された値のうち直流（ＤＣ）成分は予測符号化のひとつであるＤＰＣＭ（ｄｉｆｆｅｒｅｎｔｉａｌ  ｐｕｌｓｅ  ｃｏｄｅ  ｍｏｄｕｌａｔｉｏｎ  ）を使用する。また交流（ＡＣ）成分は  低域から高域にｚｉｇｚａｇ  ｓｃａｎを行い、ゼロのラン長および有効係数値を１つの事象とし、出現確率の高いものから符号長の短い符号を割り当てていくハフマン符号化が行われる。
【００１８】
可変長符号化されたデータは一時バッファ６に蓄えられ、所定の転送レートで符号化データとして出力される。また、その出力されるデータのマクロブロック毎の発生符号量は、符号量制御器２１に送信され、目標符号量に対する発生符号量との誤差符号量を量子化器４にフィードバックして量子化スケールを調整することで符号量制御される。
【００１９】
量子化された画像データは逆量子化器７にて逆量子化、逆ＤＣＴ器８にて逆ＤＣＴされ、加算器９を介して一時、画像メモリ１０に蓄えられたのち、動き補償予測器１において、差分画像を計算するためのリファレンスの復号化画像として使用される。
【００２０】
このようにしてＭＰＥＧ符号化された符号化データを復号化するＭＰＥＧ復号化器（デコーダー）を図１０に示す。
【００２１】
入来する符号化データ（ストリーム）はバッファ１１でバッファリングされ、バッファ１１からのデータはＶＬＤ器１２に入力される。ＶＬＤ器１２では可変長復号化を行い、直流（ＤＣ）成分および交流（ＡＣ）成分を得る。交流（ＡＣ）成分データは低域から高域にｚｉｇｚａｇ  ｓｃａｎの順で８ｘ８のマトリックスに配置される。このデータは逆量子化器１３に入力され、量子化マトリックスにて逆量子化される。逆量子化されたデータは逆ＤＣＴ器１４に入力されて逆ＤＣＴされ、画像データ（復号化データ）として出力される。また、復号化データは一時、画像メモリ１６に蓄えられたのち、動き補償予測器１７において、差分画像を計算するためのリファレンスの復号化画像として使用される。
【００２２】
一般的に、前記した量子化ノイズを生じさせる量子化誤差の内で、低域成分の量子化誤差は、単位のブロック間に相関が無い状態の出力画像歪、所謂ブロック歪を画像中に生じさせ、また、量子化ノイズを生じさせる量子化誤差の内で、高域成分の量子化誤差は、リンギング状の出力画像歪、所謂モスキートノイズをエッジの周辺に生じさせる。ところで、前記のように画像中に生じる量子化ノイズは、画像の平坦部分では特に目立つものである。すなわち、低域から高域にかけて大きな映像信号レベルの変化がある場所に、小さなノイズが加算されているような量子化ノイズの波形の場合には、視覚特性上での感度差が小さいことからノイズは検知され難い。しかし、低域だけに大きな映像信号レベルの変化が存在している場合に、高域に小さなノイズが加算されているときは、前記のノイズが検知され易い。当然のことながら、大きなノイズが加算された場合には、低域，高域の如何に拘らずに致命的を符号化劣化として検知されてしまうことは、いうまでもない。
【００２３】
そして、前記したような量子化ノイズの対策として、従来から採用されてきた方策の１つとして、復号画像における高域成分が少ない部分は、画像信号のノイズまたは量子化ノイズであると仮定し、画像信号の信号レベルが予め定められた信号レベル以下の部分の信号を信号がゼロの部分とみなす、というコアリング技術がある。前記のコアリング技術は古くからアナログ信号の微小なノイズの除去方法として使用されて来ていることは周知のとおりである（例えば、１９９１年２月「放送技術」第１４１頁〜第１４７頁参照）。
【００２４】
また、本願と同一発明者による発明である特開平８−２０５１５８号には、以下の方法が示されている。まず、変換符号化された画像データと付加情報とによるビットストリームを復号して得た復号画像データからブロック量子化幅値検出部で検出された付加情報の内のブロック量子化幅情報と、画像メモリから得た画素アドレスとをコアリングレベルの決定部に与えて、コアリングレベル制御信号を発生させる。コアリング回路のコアリングレベルをブロック量子化幅情報と、画素アドレスとにより変化させることで、ブロック量子化幅値が大きな領域ではコアリングレベルが大きくなるので、エッジを保存しながらモスキートノイズの低減が容易に行なわれる。また単位ブロックの境界付近の画素に対するコアリングレベルが大きなコアリング動作を行なわせて、モスキートノイズとともにブロック歪をも効果的に軽減させる。
【００２５】
【特許文献１】
特開平８−２０５１５８号公報
【００２６】
【発明が解決しようとする課題】
ＭＰＥＧなどの量子化を伴う画像符号化では、高能率符号化しようとしている画像の複雑さの程度が、伝送レートに対して大きな場合には、必ず画像の劣化が大きなものになる。ところで、２次元の視覚特性を考慮したウエイティングマトリクスは、基本的に高域成分に対応するブロック量子化幅値の方が大きく設定されるので、高域側に量子化ノイズが出現しやすい。そこで、復号画像信号を低周波信号成分と高周波信号成分とに分離し、分離した高周波信号成分にコアリング手段を施して、予め定められた信号レベル（コアリングレベル）以下をゼロに変換する。そして、前記低周波信号成分とコアリングされた高周波信号成分とを合成して出力させるようにすることが効果的である。
【００２７】
しかし、前述したような劣化の発生した画像は、比較的量子化幅が大きいことが多いので、コアリングにより高域のノイズであるモスキートノイズだけを除去しても、本質的な画質改善には至らない。即ち、量子化によって画像全体がボケる方向で画質が劣化しており、改善が求められていた。
【００２８】
一方、画質を改善するために、復号画像信号自体に対してエッジ強調を行って解像度を上げるなどのエンハンス技術があるが、エンハンス処理専用にエンハンスフィルタなどが別途必要となり、処理数が増え、コスト増加に繋がるという問題があった。
【００２９】
本発明は、圧縮符号化で発生したモスキートノイズを復号時に除去すると共に適切なエンハンス処理を行って、復号画像信号に対してより一層の画質改善を実現できる画像処理方法、画像処理装置、及び画像処理用プログラムを提供することを目的としている。
【００３０】
【課題を解決するための手段】
そこで、上記課題を解決するために本発明は、下記の画像処理方法、画像処理装置、及び画像処理用プログラムを提供するものである。
（１）  直交変換を用いた所定の符号化方式により符号化された画像データに対して復号化信号処理を施して得た復号画像信号を、低周波信号成分と高周波信号成分とに分離し、前記高周波信号成分に対して、所定のコアリングレベル以下の信号をゼロに変換した後、所定のエンハンスレベルを乗算し、前記低周波信号成分と前記エンハンスレベルの乗算された高周波信号成分とを合成するようにしてノイズ除去された復号画像信号を得ることを特徴とする画像処理方法。
（２）  直交変換を用いた所定の符号化方式により符号化された画像データに対して復号化信号処理を施して得た復号画像信号を、低周波信号成分と高周波信号成分とに分離する分離手段と、
分離された前記高周波信号成分に対して、所定のコアリングレベル以下の信号をゼロに変換させるコアリング手段と、
前記コアリングされた高周波信号成分に対して、所定のエンハンスレベルを乗算するエンハンス手段と、
前記低周波信号成分と前記エンハンス手段から出力される高周波信号成分とを合成する合成手段と、
を備えたことを特徴とする画像処理装置。
（３）  直交変換を用いた所定の符号化方式により符号化された画像データに対して復号化信号処理を施して得た復号画像信号を、低周波信号成分と高周波信号成分とに分離する分離機能と、
分離された前記高周波信号成分に対して、所定のコアリングレベル以下の信号をゼロに変換させるコアリング機能と、
前記コアリングされた高周波信号成分に対して、所定のエンハンスレベルを乗算するエンハンス機能と、
前記低周波信号成分と前記エンハンスされた高周波信号成分とを合成する合成機能と、
をコンピュータに実行させるための画像処理用プログラム。
【００３１】
【発明の実施の形態】
図１〜図４を用いて本発明の実施例を適用した画像処理装置の具体的な内容を詳細に説明する。図１に示す入力端子１に供給される符号化データは、画面内（フレーム内）相関々係を利用する直交変換により画像の情報量の圧縮（空間的相関々係を利用して行なう情報量の圧縮）と、時間軸上に並ぶ画面間（フレーム間）相関々係を利用して行なう情報量の圧縮（時間的相関々係を利用して行なう情報量の圧縮）と、符号の出現確率の偏りによる情報量の圧縮との、３種類の異なる圧縮手段を組合わせて高能率変換符号化された画像データ（例えばＭＰＥＧ１方式，ＭＰＥＧ２方式による画像データ）である。なお、本明細書の以下の記述においては、復号の対象にされている画像データが、ＭＰＥＧ１方式，ＭＰＥＧ２方式による画像データであるとして説明が行なわれている。
【００３２】
ところで、ＭＰＥＧ１方式，ＭＰＥＧ２方式における動画像情報の高能率符号化は、２次元離散コサイン変換（２次元ＤＣＴ）によるフレーム内符号化と、フレーム間符号化とを組合わせ、動き補償予測やフレーム間予測を施した状態で行なわれる。そして、高能率符号化の対象にされた各１枚毎の画面の画像信号は、８×８画素（横８画素×縦８ライン）のブロックサイズの「単位のブロック」毎に分割され、前記の各単位のブロック毎にＤＣＴが行われる。そして、前記の各単位のブロック毎のそれぞれ６４個のＤＣＴ変換係数は「ブロック量子化幅値」で量子化される。
【００３３】
ＭＰＥＧ１方式，ＭＰＥＧ２方式において、前記「ブロック量子化幅値」は、「マクロブロック」の用語で呼称されている領域毎に設定されている「マクロブロック量子化特性値（またはマクロブロックの量子化スケール）ＱＳ」と、「量子化マトリクス」との積によって示される値である。ここで、「マクロブロック」は、輝度信号Ｙについての１６×１６画素（横１６画素×縦１６ライン）のブロックサイズの大きさの領域と、２つの色差信号Ｃｒ，Ｃｂのそれぞれについての８×８画素（横８画素×縦８ライン）のブロックサイズの大きさの領域とからなる領域である。
【００３４】
ＤＣＴ変換係数を被除数とし、「ブロック量子化幅値」を除数として量子化が行われたＤＣＴ係数は、それの直流成分（ＤＣ成分）と、交流成分（ＡＣ成分）とに分離される。前記のＤＣＴ係数の直流成分は差分符号化され、またＤＣＴ係数の交流成分は、ジグザグ走査された後にエントロピー符号化（符号の出現確率の偏りによる情報量圧縮…例えばハフマン方式のような可変長符号化）される。このように変換符号化された画像データには、その画像データの復号時に必要とされる付加情報（例えば、ブロック量子化幅情報であるマクロブロック量子化特性値（またはマクロブロックの量子化スケール）ＱＳ、動きベクトル、予測モード情報等）が付加されてビットストリームとされている。
【００３５】
図１において、このビットストリームが供給されるＭＰＥＧ復号化器３２（図１０に示したものと同様の構成）内の可変長復号部（図１０に示すブロック１２に相当、以下同様）では、エントロピー符号化（可変長符号化）された画像データと、その画像データの復号時に必要とされる付加情報（例えば、ブロック量子化幅情報であるマクロブロック量子化特性値（またはマクロブロックの量子化スケール）ＱＳ、動きベクトル、予測モード情報等）とを復号する。
【００３６】
可変長復号部１２で復号された画像データと、ブロック量子化幅情報とは、逆量子化部１３に供給される。また、動きベクトル、予測モード情報等は、動き補償予測部１７に供給される。可変長復号部１で復号された画像データと、復号された付加情報中のブロック量子化幅情報とが与えられた逆量子化部１３では、逆量子化動作を行なって得たＤＣＴ変換係数を逆直交変換部（逆ＤＣＴ）１４に供給する。
【００３７】
逆直交変換部（逆ＤＣＴ）１４では、単位のブロック毎に２次元の逆ＤＣＴを行なって、周波数領域の画像データを時間軸領域の画像データに逆変換して、それを加算部１５に供給する。加算部１５に供給された時間軸領域の画像データは、フレーム内符号化、フレーム間符号化、の違いを示すコーディングタイプに従って、動き補償予測部１３で動き補償された状態の画像データと加算するか、加算しないかして、出力画像データとされて画像メモリ１６に格納される。ここまでが、図１に示すＭＰＥＧ復号化器３２の動作説明である。
【００３８】
図１に示すＭＰＥＧ復号化器３２の出力は、図３（ａ）に相当する。この画像データを、図１に示す２次元ＬＰＦ３３に入力する。２次元ＬＰＦ３３は、例えば３ｘ３の２次元フィルターであり、｛１，２，１，２，４，２，１，２，１｝の係数で、画像データの対応する画素データと乗算し、乗算結果を１６で除算するフィルターである。このフィルターをかけると、画像の低周波信号成分の画像データが得られる。図３（ｂ）に相当する。
【００３９】
次に、この低周波信号成分の画像データを、ＭＰＥＧ復号化器３２の出力画像データから演算器３４で減算することで、ＭＰＥＧ復号化器３２の出力画像データの高周波信号成分を分離する。分離された高周波成分の画像データは、プラスとマイナスの値を有する。図３（ｃ）に相当する。
【００４０】
この高周波信号成分の画像データは、図１に示すコアリング回路３５に入力される。コアリング回路３５には、ＭＭＩ（マンマシーンインターフェース回路）３６にユーザーによって入力されたコアリングレベルというパラメータがＣＰＵ３７を介して送信される。
【００４１】
コアリングレベルとは、図７に示すように０を中心に±ＣＬというパラメータのことである。コアリングによる画像処理は、値が±ＣＬ以下の信号を０に変換するという処理である。復号画像データにおける高域成分のレベルの小さい信号は、圧縮時に発生したのモスキートノイズであることが多いので、このコアリングによる処理によって、ノイズを除去できることになる。
【００４２】
但し、コンテンツによっては、モスキートノイズが少ない画像もある。そこで、本実施例のように、モスキートノイズの量に応じたコアリングを行えるように、外部のＭＭＩ３６からコアリングレベルを設定できるようにしてもよい。設定の例としては図４に示すように、ユーザーが設定したレベル１、２、３はそれぞれ、コアリングレベル（ＣＬ）の値の２、４、６に相当するように規定する。この値が大きくなるほど、コアリングが多く作用するということになる。図３（ｄ）に相当する。
【００４３】
次に、コアリング回路３５でコアリング処理を施した画像データ高周波信号成分はエンハンス回路３８に入力される、エンハンス回路３８では、コアリング回路３５でレベルの小さいノイズが除去された画像データ高周波信号成分を増幅させる。増幅とは図８のように、例えばば最大値、最小値の間のゲインが、元が１．０と仮定すると、そのゲインをＥＬ倍にするという処理である。ＥＬとはエンハンスレベルである。
【００４４】
エンハンス回路３８には、ＭＭＩ３６にユーザーによって入力されたコアリングレベルというパラメータがＣＰＵ３７を介して送信される。エンハンスレベルの設定方法は図５のようにユーザーが設定したレベル１、２、３はそれぞれ、エンハンスレベル（ＥＬ）の値の１．１２５、１．１８７５、１．２５に相当するように規定する。このようにエンハンスされたデータは図３（ｅ）に相当する。
【００４５】
このエンハンスされた画像データ高周波信号成分は、２次元ＬＰＦ３２の出力データである画像データ低周波信号成分の画像データを演算器３９で加算され、再構成された復号化画像として出力される。
【００４６】
図２は、この画像処理装置の２次元ＬＰＦを、水平と垂直の１次元フィルタに置き換えた例である。１次元のＬＰＦは、例えば｛１，２，１｝の係数で、画像データの対応する画素データと乗算し、計算結果を４で除算するフィルタである。このフィルタをかけると、画像の低周波信号成分の画像データが得られる。それ以外の構成は図１に示すものと同じなので、説明を省略する。１次元で構成するほうが、演算処理が少なくてすむ。しかし、２次元構成のほうが積和演算処理量は増加するが、斜めの帯域を取扱えるという利点が得られる。
【００４７】
このように、上記実施例では、直交変換等を用いて圧縮され符号化された画像信号を復号した復号画像信号を、低周波信号成分と高周波信号成分とに分離し、前記高周波信号成分について、所定のコアリングレベル以下の信号をゼロに変換し、所定のエンハンスレベルを乗算して、その高周波信号成分を前記低周波信号成分と合成するようにして復号画像信号を再構成するようにした。従って、上記実施例は、復号画像信号から効果的にモスキートノイズを除去でき、さらには、モスキートノイズ除去後の画像データをエンハンスしているので、復号画像信号に対してより一層の画質改善効果を実現できる。また、上記実施例は、復号画像信号から分離されコアリングされた高周波信号成分に対してのみのエンハンス処理であるので、復号画像信号全体をエンハンス処理する場合に比べて、大幅に処理量、処理時間、コストを低減できる。
【００４８】
さらにまた、コアリングレベルとエンハンスレベルはユーザーインターフェースにて変更可能としたので、コンテンツによってモスキートのノイズレベルが違う場合でもユーザーの好みで、コアリングとエンハンスのかかり方の強弱を設定できる。
【００４９】
次に、図６を用いて、本発明の画像処理用プログラムの一実施例におけるアルゴリズムフローチャートを説明する。まず、始めにＭＭＩからユーザーによってコアリングレベルとエンハンスレベルを設定する。次にＭＰＥＧ画像の復号化を行う。次に１次元もしくは２次元のＬＰＦを施し、復号画像データの低域周波数成分を得る。次に復号画像データから復号画像データの低域周波数成分を減算する。
【００５０】
次に減算により得られた高域周波数成分の画像データに対して、画素ごとに、±コアリングレベル以下の画素データであるかどうかを判定する。判定の結果ＮＯの画素はそのまま、ＹＥＳの画素データは、レベルを０に変換する。次にその画素データにエンハンスレベルを乗算する。次にまだ画面内に処理対象の画素データが存在するかどうか判定する。まだ有るときには、±コアリングレベル以下の画素データであるかどうかの判定のブロックに戻る。画面内のデータ全てが処理終了となった場合には、処理後の画像データと低周波成分画像データを加算する。
【００５１】
次にＭＰＥＧ符号化画像がまだあるかを判定する。まだある場合には、ＭＰＥＧ復号化のブロックへ戻る。ＭＰＥＧ符号化画像がもう無い場合には、処理終了となる。このようなフローを用いて、本発明の画像処理機能をもつプログラムを実現できる。
【００５２】
なお、本実施例では、画像処理装置として説明したが、ＭＰＥＧなどの符号化データの記録された媒体の再生装置や、符号化データが伝送されてくるシステムの受信装置として使用することも勿論可能である。
【００５３】
【発明の効果】
以上、詳細に説明したところから明らかなように本発明は、直交変換等を用いて圧縮され符号化された画像信号を復号した復号画像信号を、低周波信号成分と高周波信号成分とに分離し、前記高周波信号成分について、所定のコアリングレベル以下の信号をゼロに変換し、所定のエンハンスレベルを乗算して、その高周波信号成分を前記低周波信号成分と合成するようにして復号画像信号を再構成するようにした。従って、本発明は、復号画像信号から効果的にモスキートノイズを除去でき、さらには、モスキートノイズ除去後の画像データをエンハンスしているので、復号画像信号に対してより一層の画質改善効果を実現できる。また、本発明は、復号画像信号から分離されコアリングされた高周波信号成分に対してのみのエンハンス処理であるので、復号画像信号全体をエンハンス処理する場合（例えば、ハイパスフィルターなどを別に設けてエンハンス処理する場合）に比べて、大幅に処理量、処理時間、コストを低減できる。
【図面の簡単な説明】
【図１】本発明の一実施例を適用した画像処理装置を２次元ＬＰＦで実現する装置の構成例を示すブロック図である。
【図２】本発明の一実施例を適用した画像処理装置を１次元ＬＰＦで実現する装置の構成例を示すブロック図である。
【図３】一実施例の画像処理動作を説明するための図である。
【図４】一実施例のユーザー設定値とコアリングレベルの関係を示した説明図である。
【図５】一実施例のユーザー設定値とエンハンスレベルの関係を示した説明図である。
【図６】一実施例の画像処理アルゴリズムのフローチャートである。
【図７】一実施例のコアリングの動作を示す説明図である。
【図８】一実施例のエンハンスの動作を示す説明図である。
【図９】従来のＭＰＥＧ符号化器のブロック図である。
【図１０】従来のＭＰＥＧ復号化器のブロック図である。
【図１】
2004172944.tif 000003
【図２】
2004172944.tif 000004
【図３】
2004172944.tif 000005
【図４】
2004172944.tif 000006
【図５】
2004172944.tif 000007
【図６】
2004172944.tif 000008
【図７】
2004172944.tif 000009
【図８】
2004172944.tif 000010
【図９】
2004172944.tif 000011
【図１０】
2004172944.tif 000012