(57)【特許請求の範囲】
【請求項１】
ブロック歪みを低減する圧縮画像処理方法において、 供給されるブロック歪みを含む初期画像データから、該初期画像データにおける上記ブロック歪みより小さい詳細を実質的に含む第１の中間画像データと、該初期画像データにおける上記ブロック歪みより小さくない詳細を実質的に含む第２の中間画像データとを生成して、上記ブロック歪みより小さい詳細と小さくない詳細とを分離するステップと、 少なくとも上記第２の中間画像データをフィルタリングし、上記ブロック歪みを表す信号の振幅を低減し、変更された第２の中間画像データを生成するステップと、 上記第１の中間画像データと上記変更された第２の中間画像データとを重ね合わせて、ブロック歪みが低減された後処理画像データを生成するステップとを有し、 上記第１及び第２の中間画像データを生成するステップは、非線形フィルタを用いてフィルタリングを行うステップを有し、
上記非線形フィルタは、ブロック歪みの大きさ及び／又は影響をカットオフ及び／又は低減する非線形特性曲線を有するフィルタであり、
上記第１の中間画像データは、上記初期画像データから、上記非線形フィルタによりフィルタリングされた初期画像データを減算して得られ、
上記第２の中間画像データは、上記非線形フィルタによりフィルタリングされた初期画像データから、上記初期画像データに基づいて生成されたブロック歪みも画像の微細構造も含まない第３の中間画像データを減算することにより得られることを特徴とする圧縮画像処理方法。
【請求項２】
上記第３の中間画像データは、上記初期画像データを非線形フィルタによりフィルタリングした後に、線形フィルタによりフィルタリングすることにより得られることを特徴とする請求項１記載の圧縮画像処理方法。
【請求項３】
上記第２の中間画像データを生成するための非線形フィルタによるフィルタリングと、上記第３の中間画像データを生成するための非線形フィルタによるフィルタリングは実質的に同一であることを特徴とする請求項１記載の圧縮画像処理方法。
【請求項４】
上記非線形フィルタは、１５個の係数の範囲を有するメジアンフィルタであることを特徴とする請求項１乃至３いずれか１項記載の圧縮画像処理方法。
【請求項５】
上記変更された第２の中間画像データを生成するステップにおいて行われるフィルタリング処理は、非線形フィルタによるフィルタリング処理であり、該非線形フィルタは、非線形特性曲線に基づくフィルタであることを特徴とする請求項１乃至４いずれか１項記載の圧縮画像処理方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、圧縮された画像におけるブロック歪みを低減させるための圧縮画像処理方法に関する。
【０００２】
【従来の技術】
ビデオ通信、すなわち画像データの伝送及び記録等においては、画像データを記録及び／又は伝送する際、画像データの伝送帯域幅及び／又は記録容量を削減するために、符号化処理が行われる。それに伴い、様々な種類の画像データ符号化技術が開発されている。所謂ＪＰＥＧ、ＭＰＥＧ等の一般的な符号化方法では、記録又は伝送する画像又はフレームをより小さなサイズのブロックに分割する。画像又はフレームをブロックに分割した後、各ブロックに対して符号化変換処理（encoding transformation）が施される。この符号化変換処理としては、例えば、離散コサイン変換（discrete cosine transformation：以下、ＤＣＴという。）が用いられる。符号化変換処理の結果、多数の画素データが同数の変換係数に変換される。ブロックの係数は、ブロックを表す膨大なデータ量が削減されるように、量子化される。
【０００３】
通常、量子化処理により、ある量の画素情報が欠落し、これにより、量子化された変換係数の組に逆符号化変換処理を施して復号された画像を再構築すると、復号画像に所謂ブロック歪み（blocking artefacts）が生じる。このブロック歪みは、隣接する画像ブロック間の境界領域におけて明るさ、コントラスト及び／又は色の不連続として現れる。
【０００４】
重要な情報の欠落量を減らして、ブロック歪みの影響を低減するために、様々なアルゴリズム及び方法が提案されている。
【０００５】
【発明が解決しようとする課題】
欧州特許公開公報ＥＰ０５２６８８５Ａ２号には、ローパスフィルタを用いて効果的にブロック歪みを低減する方法が開示されている。しかしながら、この方法は、デコーダによる処理の一部として実現されているため、符号化処理と復号処理間に関する特別な情報が必要となる。
【０００６】
米国特許第５，７７４，５９７号には、重複コサイン変換（overlapping cosine transforms）を用いた画像の圧縮方法及び伸長方法が開示されている。この方法は、特定の符号化処理を変更することにより、圧縮及び復元されたデジタル画像からブロック歪みを取り除くものである。この方法では、対応するデコーダは、前処理（pre-processing step）を逆に行わなくてはならない。
【０００７】
さらに、欧州特許特許公報ＥＰ０７７１５０７Ｂ１号には、画像データ圧縮雑音を削減するための方法及び装置が開示されている。この装置及び方法では、符号化処理及び復号処理の両方が変更されている。さらに、この装置及び方法では、ブロック歪みを低減するために、符号化されたデータストリームに関する更なる情報を必要とする。
【０００８】
ブロック歪みを低減するための従来の方法の多くは、符号化及び／又は復号処理を変更しなくてはならないという共通点を有している。すなわち、これらの方法は、既に符号化されているデータ素材に対して、純粋な後処理（pure post-processing methods）として適用することができない。
【０００９】
本発明は上述した実情に鑑みてなされたものであり、本発明の目的は、既に圧縮されている画像に対する純粋な後処理として、圧縮処理に用いられた符号化処理と復号処理に関する特別な知識を必要とせず、及び画像の細部を劣化させることなく、圧縮画像におけるブロック歪みを低減する圧縮画像処理方法を提供することである。
【００１０】
【課題を解決するための手段】
上述の目的を達成するために、本発明に係る圧縮画像処理方法は、供給されるブロック歪みを含む初期画像データから、初期画像データにおけるブロック歪みより小さい詳細を実質的に含む第１の中間画像データと、初期画像データにおけるブロック歪みより大きい詳細を実質的に含む第２の中間画像データとを生成して、ブロック歪みより小さい詳細と大きい詳細とを分離するステップと、少なくとも第２の中間画像データをフィルタリングし、ブロック歪みを表す信号の振幅を低減し、変更された第２の中間画像データを生成するステップと、第１の中間画像データと変更された第２の中間画像データとを重ね合わせて、ブロック歪みが低減された後処理画像データを生成するステップとを有する。第１及び第２の中間画像データを生成するステップは、非線形フィルタを用いてフィルタリングを行うステップを有する。
【００１１】
本発明の基本的な原理は、ブロック歪みより小さな画像データの微細構造を分離し、この微細構造を含まないデータに対し、ブロック歪みの大きさ及び／又は影響を低減するためのフィルタリング処理を独立して行う点にある。すなわち、ブロック歪みを低減する従来の技術と異なり、本発明によれば、画像の微細構造を不鮮明にすることなく、ブロック歪みの影響を低減することができる。
【００１２】
さらに、本発明のもう１つの基本的な原理は、初期画像データを非線形フィルタリング処理により分解し、画像の微細構造を表す中間画像データと、ブロック歪みとともにブロック歪みと同等以上の詳細を含む中間画像データとを生成する点にある。線形フィルタを採用した従来の方法と異なり、本発明が用いる非線形フィルタは、画像信号のエッジに対して一様（invariant）であるという利点を有する。したがって、画像の微細構造とブロック歪みとを異なる中間画像データ又は信号サブバンドに完全に分離することができる。これに対して、線形フィルタは、高い周波数成分及び低い周波数成分における全てのサブバンド内のエッジ又はブロック歪みを表す成分を生成するため、画像詳細からブロック歪みを厳密に分離することはできない。
【００１３】
本発明の好ましい実施の形態においては、第１の中間画像データは、初期画像データから、非線形フィルタによりフィルタリングされた初期画像データを減算して得られる。これにより、ブロック歪みと同等以上のサイズの詳細は、この減算により削除されるため、第１の中間画像データは、画像の微細構造のみを含むこととなる。
【００１４】
また、本発明の好ましい実施の形態においては、第２の中間画像データは、非線形フィルタによりフィルタリングされた初期画像データから、ブロック歪みも画像の微細構造も含まない第３の中間画像データを減算することにより得られる。したがって、第２の中間画像データは、初期画像におけるブロック歪みと、これより大きな詳細のみを含むこととなる。
【００１５】
さらに、本発明の好ましい実施の形態においては、第３の中間画像データは、初期画像データを少なくとも線形フィルタによりフィルタリングすることにより得られる。これにより得られた第３の中間画像データは、初期画像データにおける詳細構造もブロック歪みも含まないデータとなる。
【００１６】
初期画像データに対する非線形フィルタリング処理は、第３の中間画像データを生成するための線形フィルタリング処理より先に行うとよい。この２段階のフィルタリング処理は、非線形フィルタの後段に線形フィルタを設けることにより実現できる。
【００１７】
また、第２の中間画像データを生成するための非線形フィルタによるフィルタリングと、第３の中間画像データを生成するための非線形フィルタによるフィルタリングは実質的に同一とするとよい。
【００１８】
特に、非線形フィルタリングにおいては、例えば約１５個の係数の範囲（extension）を有するメジアンフィルタを用いるとよい。この係数は、ブロック歪みの大きさ及びサイズに基づいて適切に選択される。
【００１９】
さらに、本発明の好ましい実施の形態において、変更された第２の中間画像データを生成するステップにおいて行われるフィルタリング処理は、非線形フィルタによるフィルタリング処理であり、非線形フィルタは、信号を一定に減衰させる又はさせない非線形特性曲線に基づくフィルタである。非線形特性曲線を用いる目的は、実質的に他の画像詳細又は構造に影響を与えることなく、ブロック歪みの大きさ及び／又は影響をカットオフ及び／又は低減することにある。
【００２０】
さらに、本発明の好ましい実施の形態においては、フィルタリング処理における係数及び／又は非線形特性曲線は、ブロック歪みのサイズ及び／又は大きさに基づいて自動的に選択される。これにより、可能な限りブロック歪みを低減できるように、圧縮画像処理方法を自動的に調整することができる。例えば、周知のＪＰＥＧアルゴリズム又はＭＰＥＧアルゴリズムにおいては、ブロックサイズは８×８画素であり、ブロック歪みのサイズも、同じ大きさである。
【００２１】
既に符号化され、圧縮されている画像データを処理する従来の方法と異なり、本発明に係る圧縮画像処理方法は、画像を劣化させたり及び／又は画像の微細構造を破損したりしない。さらに、従来の方法と異なり、本発明に係る圧縮画像処理方法では、画像データ又は画像信号の一部のみしかフィルタリングしない。すなわち、本発明では、ブロック歪みを低減する処理を行う前に、信号の分離処理を行う。この分離処理では、画像の微細構造と、ブロック歪みより小さい詳細とを、ブロック歪みと同等以上のオブジェクト及びブロック歪みから分離する。このため、ブロック歪みは、ブロック歪み以上のサイズのオブジェクトのパスに残存し、画像の微細構造及びブロック歪みより小さな詳細に対してはフィルタリング処理は施されない。したがって、画像の微細構造及びブロック歪みより小さな詳細は、劣化することなく、これにより、画像の品質を高く維持しながら画像におけるブロック歪みの影響を低減することができる。
【００２２】
ブロック歪みを低減するために、ブロック歪みを含む信号と、ブロック歪みの振幅を小さくし、重要な画像オブジェクトの規模を大きくした信号との差を算出するとよい。したがって、非線形特性曲線を用いたフィルタリング処理を行うことにより、ブロック歪みの影響を低減することができる。
【００２３】
フィルタリング係数は、ブロック歪みのサイズ又は大きさに基づいて選択することができる。同様に、非線形特性曲線のパラメータもブロック歪みの強度又はサイズに基づいて決定することができる。
【００２４】
本発明は、従来の方法と異なり、圧縮／伸長処理において用いられたブロックサイズを除き、ブロックの位置、量子化係数に関する情報、及び符号化処理又は復号処理に関する詳細な情報を必要としないという利点を有している。したがって、本発明に係る圧縮画像処理方法は、特定の画像データ圧縮方法に拘束されることなく、独立して実行することができる。
【００２５】
もちろん、量子化係数、圧縮方法に関する等を予め得ることにより、画像データにおけるブロック歪みの影響を低減させる能力を向上させることもできる。
【００２６】
本発明に基づく圧縮画像処理方法は、主に、非線形フィルタバンクを用いて、ブロック歪み及び／又は画像詳細を初期画像データから分離する。さらに、本発明に基づく圧縮画像処理方法は、非線形特性曲線を用いて、画像又は画像信号のサブバンドを中間画像データとして処理することによりブロック歪みの影響を低減する。
【００２７】
【発明の実施の形態】
以下、本発明に係る圧縮画像処理方法について、図面を参照して詳細に説明する。
【００２８】
図１は、本発明に係る圧縮画像処理方法を適用し、画像Ｉを変換符号化（transformation encoding）及び復号して初期画像データ（primary image data：以下、ＰＩＤという。）を生成するための圧縮画像処理装置の一部の構成を示すブロック図である。なお、この一部は、従来の装置と同じ構成を有する。
【００２９】
図１に示すように、圧縮画像処理装置１０は、画像Ｉの映像信号をデジタル化及びブロック化するデジタル及びブロック化回路１１と、ブロック化された画像データを離散コサイン変換（discrete cosine transformation：以下、ＤＣＴという。）して変換係数を出力するＤＣＴ回路１２と、変換係数を量子化する量子化器１３と、量子化された変換係数をエントロピ符号化するエントロピ符号化器１４とを備える。
【００３０】
供給される画像Ｉは、デジタル及びブロック化回路１１において、デジタル化され、複数のブロックに分割される。各ブロックの画素データには、ＤＣＴ回路１２において、ＤＣＴが施される。さらに、このＤＣＴ回路１２により得られたブロックの変換係数は、量子化器１３において量子化された後、エントロピ符号化器１４において、エントロピ符号化等の処理が施される。これにより、中間的出力データ（intermediate output）として、画像Ｉの圧縮されたバージョンである圧縮画像データ（compressed image data：以下、ＣＩＤという。）が得られる。
【００３１】
また、圧縮画像処理装置１０は、図１に示すように、圧縮画像データＣＩＤをエントロピ復号して、量子化された変換係数を再生するエントロピ復号器１５と、量子化された変換係数を逆量子化して変換係数を再生する逆量子化器１６と、変換係数を逆ＤＣＴ変換して画素データをブロック毎に再生する逆ＤＣＴ回路１７と、ブロック毎の画素データから画像Ｉのデータを再生する再構築回路１８とを備える。
【００３２】
そして、圧縮画像データＣＩＤには、エントロピ復号器１５において、エントロピ復号処理が施され、逆量子化器１６において逆量子化処理が施され、逆ＤＣＴ回路１７において、ＤＣＴ回路１２の逆の処理である逆ＤＣＴ処理が施され、再構築回路１８において、再構築処理（Rearrangement）が施され、これにより初期画像データＰＩＤとして、伸長されたデータが生成される。再構築回路１８における再構築処理は、初期画像データＰＩＤを後処理するために必要な処理である。
【００３３】
図２は、本発明に係る圧縮画像処理方法を適用した圧縮画像処理装置の要部の構成を示すブロック図である。この要部である第１の部分２０においては、初期画像データＰＩＤを入力データとして処理する。第１の部分２０により、第１、第２及び第３の中間画像データ（intermediate image data）ＩＩＤ１、ＩＩＤ２、ＩＩＤ３が生成される。
【００３４】
すなわち、第１の部分２０は、図２に示すように、初期画像データＰＩＤをフィルタリングして、第３の中間画像データ（intermediate image data）ＩＩＤ３を出力する線型フィルタ２１と、初期画像データＰＩＤを非線形フィルタリングして、非線形フィルタリングされた画像データ（non-linearly filtered image data：以下、ＮＩＤという。）を出力する非線型フィルタ２２と、画像データＮＩＤから第３の中間画像データＩＩＤ３を減算して、第２の中間画像データＩＩＤ２を出力する加算器２３と、初期画像データＰＩＤから画像データＮＩＤを減算して、第１の中間画像データＩＤＤ３を出力する加算器２４とを備える。
【００３５】
第３の中間画像データＩＩＤ３は、線型フィルタ２１において初期画像データＰＩＤを線形フィルタリングすることにより得られる。
【００３６】
第１の部分２０の非線型フィルタ２２は、例えば１５個の係数の範囲を有するメジアンフィルタ（median filter with an extension of about 15 coefficients）であり、この非線形フィルタ２２により初期画像データＰＩＤはフィルタリングされ、非線形フィルタリングされた画像データＮＩＤが生成される。なお、メジアンフィルタの係数は、例えばブロック歪みのサイズ及び／又は大きさに基づいて自動的に選択される。
【００３７】
非線形フィルタリングされた画像データＮＩＤは、加算器２４において、初期画像データＰＩＤから減算され、これにより第１の中間画像データＩＩＤ１が生成される。
【００３８】
また、加算器２３においては、非線形フィルタリングされた画像データＮＩＤから第３の中間画像データＩＩＤ３が減算され、これにより第２の中間画像データＩＩＤ２が生成される。
【００３９】
図２に示す本発明を適用した圧縮画像処理装置の第１の部分２０では、初期画像データＰＩＤが線形フィルタ２１及び非線形フィルタ２２によりフィルタリングされ、それぞれ第３の中間画像データＩＩＤ３と非線形フィルタリングされた画像データＮＩＤが得られるので、この第１の部分２０は、単一の分離フィルタとみなすことができる。さらに、この図２に示すように、第１の中間画像データＩＩＤ１は、画像の微細構造（fine structure）、すなわちブロック歪みより小さな画像の詳細を実質的に含む。また、第２の中間画像データＩＩＤ２は、画像の微細構造は含まず、ブロック歪みより大きい又は同等の画像の詳細（image details）を含み、特にブロックの境界において、大きなオブジェクトに属する画像の詳細とともに、ブロック歪み自体を含む。また、第３の中間画像データＩＩＤ３は、画像の微細構造もブロック歪みも含まず、初期画像データＰＩＤのグレイ値構造（grey value structure）を概略的に表す線形フィルタリングされた画像データである。
【００４０】
図３は、本発明に係る圧縮画像処理方法を適用した圧縮画像処理装置の要部の他の構成を示すブロック図である。この要部である第１の部分３０は、初期画像データＰＩＤから第３の中間画像データＩＩＤ３を得るために、２段の分離フィルタ（double-stage separation filter）を用いる点を除き、図２に示す第１の部分２０と類似する構成を有している。
【００４１】
すなわち、第１の部分３０は、図３に示すように、初期画像データＰＩＤを非線形フィルタリングして、非線形フィルタリングされた画像データＮＩＤを出力する非線形フィルタ３２と、画像データＮＩＤをフィルタリングして、第３の中間画像データを出力する線形フィルタ３１と、画像データＮＩＤから第３の中間画像データＩＩＤ３を減算して、第２の中間画像データＩＩＤ２を出力する加算器３３と、初期画像データＰＩＤから画像データＮＩＤを減算して、第１の中間画像データＩＤＤ３を出力する加算器３４とを備える。
非線形フィルタ３２は、例えばメジアンフィルタであり、この非線形フィルタ２２により初期画像データＰＩＤはフィルタリングされ、非線形フィルタリングされた画像データＮＩＤが生成される。さらに、非線形フィルタリングされた画像データＮＩＤは、線形フィルタ３１において、線形フィルタ２１によりフィルタリングされ、これにより第３の中間画像データＩＩＤ３が生成される。
【００４２】
加算器３４においては、初期画像データＰＩＤから非線形フィルタリングされた画像データＮＩＤが減算され、これにより第１の中間画像ＩＩＤ１が生成される。また、加算器３３においては、非線形フィルタリングされた画像データＮＩＤから第３の中間画像データＩＩＤ３が減算され、これにより第２の中間画像データＩＩＤ２が生成される。
【００４３】
図４は、本発明に係る圧縮画像処理方法を適用した圧縮画像処理装置の要部の構成を示すブロック図である。この要部である第２の部分４０は、図４に示すように、第２の中間画像データをフィルタリングして、変更された第２の中間画像データ（modified second intermediate image data）ＩＩＤ２’を出力する非線形特性曲線（non-linear characteristic curve）フィルタ４１と、第１の中間画像データＩＩＤ１と変更された第２の中間画像データＩＩＤ２’を加算する加算器４２と、加算器４２の出力と第３の中間画像データＩＩＤ３を加算する加算器４３とを備える。
【００４４】
この第２の部分４０には、第１、第２、第３の中間画像データＩＩＤ１、ＩＩＤ２、ＩＩＤ３が供給される。第２の中間画像データＩＩＤ２は、非線形特性曲線フィルタ４１を用いてフィルタリングされ、これにより、補正された第２の中間画像データＩＩＤ２’が生成される。加算器４２では、第１の中間画像データＩＩＤ１と、補正された第２の中間画像データＩＩＤ２’が加算され、さらに、加算器４３において、加算器４２からの加算結果と第３の中間画像データＩＩＤ３とが加算され、ブロック歪みが低減された後処理画像データ（post-processed image data：以下、ＰＰＩＤという。）が得られる。
【００４５】
図５（ａ）及び図５（ｂ）は、図４に示す非線形特性曲線フィルタ４１の非線形入出力特性を示すグラフである。
【００４６】
図５（ｂ）に示すように、出力信号Ｓｏｕｔは、入力信号Ｓｉｎが所定の閾値Ｓｔｈｒを超えない限り０になるように設定され、これにより、Ｓｉｎ＞ＳｔｈｒのときはＳｏｕｔ＝Ｓｉｎが出力され、それ以外のときは０が出力される。
【００４７】
一方、図５（ａ）に示す曲線に基づくフィルタ特性は、出力信号Ｓｏｕｔは、入力信号Ｓｉｎが閾値Ｓｔｈｒ以上のときは入力信号Ｓｉｎから閾値Ｓｔｈｒを減算した値に設定され、これにより、Ｓｉｎ＞ＳｔｈｒのときはＳｏｕｔ＝Ｓｉｎ−Ｓｔｈｒが出力され、それ以外のときは０が出力される。ここで、閾値Ｓｔｈｒは、例えばブロック歪みのサイズ及び／又は大きさに基づいて自動的に選択される。
【００４８】
図６は、図２に示す第１の部分２０と図４に示す第２の部分とを組み合わせた本発明に係る圧縮画像処理方法を適用した圧縮画像処理装置全体の構成を示すブロック図である。なお、各回路の動作は、既に説明したのでここでは省略する。
【００４９】
【発明の効果】
以上のように、本発明に係る圧縮画像処理方法は、供給されるブロック歪みを含む初期画像データから、初期画像データにおけるブロック歪みより小さい詳細を実質的に含む第１の中間画像データと、初期画像データにおけるブロック歪みより大きい詳細を実質的に含む第２の中間画像データとを生成して、ブロック歪みより小さい詳細と大きい詳細とを分離し、少なくとも第２の中間画像データをフィルタリングし、ブロック歪みを表す信号の振幅を低減し、変更された第２の中間画像データを生成し、第１の中間画像データと変更された第２の中間画像データとを重ね合わせて、ブロック歪みが低減された後処理画像データを生成する。第１及び第２の中間画像データの生成は、非線形フィルタを用いて行う。これにより、既に圧縮されている画像に対する純粋な後処理として、圧縮処理に用いられた符号化／復号処理に関する特定の知識に頼ることなく、及び画像の細部を劣化させることなく、圧縮画像におけるブロック歪みを低減することができる。
【図面の簡単な説明】
【図１】本発明を適用した圧縮画像処理装置の一部の構成を示すブロック図である。
【図２】本発明を適用した圧縮画像処理装置の第１の部分の構成を示すブロック図である。
【図３】本発明を適用した圧縮画像処理装置の第１の部分の他の構成を示すブロック図である。
【図４】本発明を適用した圧縮画像処理装置の第２の部分の構成を示すブロック図である。
【図５】非線形特性曲線フィルタの入出力特性を示すグラフである。
【図６】本発明を適用した圧縮画像処理装置の要部の構成を示すブロック図である。
【符号の説明】
２１  線形フィルタ、２２  非線形フィルタ、２３，２４，４２，４３  加算器、４１  非線形特性曲線フィルタ
【図１】
0004975223.tif 000002
【図２】
0004975223.tif 000003
【図３】
0004975223.tif 000004
【図４】
0004975223.tif 000005
【図５】
0004975223.tif 000006
【図６】
0004975223.tif 000007