(57)【要約】【課題】  デジタル圧縮画像を高画質に再生すること。【解決手段】  量子化と、時間的もしくは空間的に異なるデータとの予測を用いて圧縮されているデジタル圧縮データを、伸張し、更に量子化により発生するノイズを除去する圧縮画像ノイズ除去装置において、ノイズの除去対象データを、圧縮時の予測として用いているデータを用いてノイズ除去を行う。【選択図】  図１２
2010239333.tif 000002
【特許請求の範囲】
【請求項１】
デジタル画像圧縮されたストリームを画像データとサブ情報にデコードするＶＬＤ部と、
ＶＬＤ部によりデコードされた画像データを逆量子化する逆量子化部と、
逆量子化されたデータを逆周波数変換する逆周波数変換部と、
ＶＬＤ部によりデコードされたサブ情報を元に動き補償を行う動き補償部と、を備えたデコーダ手段と、
ＶＬＤ部がデコードしたサブ情報を複数ブロック分保持しておく情報保持部と、
デコーダ手段より生成された表示画像と、情報保持部に対してノイズ除去判定を行うノイズ判断部と、
ノイズ判断部によりノイズ除去を行うと判定されたブロックに対して、逆量子化部から出力された画像データと、動き補償部から出力された動き補償データと、情報保持部に保持されたサブ情報と、を用いてノイズ除去を行うノイズ除去部と
ノイズ判断部によりノイズ除去を行うと判定した場合にはノイズ除去部の出力画像を、ノイズ除去を行わないと判定した場合には、デコード手段の出力を表示画像として保持する表示画像保持部と、
を有する事を特徴とする圧縮画像ノイズ除去装置。
【請求項２】
請求項１の圧縮画像ノイズ除去装置において、ノイズ除去部で使用する、サブ情報とは、量子化に用いる量子化値(quanter_scale)と、量子化マトリックス(quantiser_matrix)、イントラDCの量子化幅（intra_dc_precision）の情報である事を特徴とする圧縮画像ノイズ除去装置。
【請求項３】
請求項１の圧縮画像ノイズ除去装置において、ノイズ除去は、逆量子化部出力係数に対して係数を補正することで行い、
その補正された係数値は、ＶＬＤ部から出力されたサブ情報より算出した量子化幅で再量子化した際に、逆量子化部出力の係数値となる範囲内での補正を行う事を特徴とする圧縮画像ノイズ除去装置。
【請求項４】
請求項１の圧縮画像ノイズ除去装置において、ノイズ除去を行うか否かの判断をそのブロックのエッジ情報や量子化値により決定する事を特徴とする圧縮画像ノイズ除去装置。
【請求項５】
請求項１の圧縮画像ノイズ除去装置において、ノイズ除去を行う際の逆量子化係数の補正値は、本ブロックの隣接ブロックの量子化値が小さいブロックの画像データを用いて算出する事を特徴とする圧縮画像ノイズ除去装置。
【請求項６】
請求項１の圧縮画像ノイズ除去装置において、デコード手段は、画像圧縮の国際標準方式であるMPEG2である事を特徴とする圧縮画像ノイズ除去装置。
【請求項７】
請求項１の圧縮画像ノイズ除去装置において、デコード手段は、画像圧縮の国際標準方式であるH.264である事を特徴とする圧縮画像ノイズ除去装置。
【請求項８】
画像データを周波数変換して係数にし、該係数を所定の量子化幅で量子化し、かつ、該量子化幅を示す量子化情報が付加された圧縮画像ストリームが入力される入力手段と、
該入力手段に入力された圧縮画像ストリームに対し、該量子化情報が示す量子化幅を用いて逆量子化し、復元係数にする逆量子化手段と、
該逆量子化手段で逆量子化された復元係数を補正する補正手段と、
該補正手段が補正する範囲を、該量子化情報が示す量子化幅を用いて制限する補正範囲制限手段と、
該補正手段で補正された復元係数を逆周波数変換する逆周波数変換手段と、
該逆周波数変換手段で逆周波数変換された画像データを出力する出力手段と、
を備える再生装置。
【請求項９】
量子化を用いて圧縮されているデジタル圧縮データを、伸張し、更に量子化により発生するノイズを除去する圧縮画像ノイズ除去装置において、
量子化の情報を用いて量子化ノイズの除去を行う事を特徴とする圧縮画像ノイズ除去装置。
【請求項１０】
量子化と、時間的もしくは空間的に異なるデータとの予測を用いて圧縮されているデジタル圧縮データを、伸張し、更に量子化により発生するノイズを除去する圧縮画像ノイズ除去装置において、
ノイズの除去対象データを、圧縮時の予測として用いているデータを用いて、ノイズ除去を行う事を特徴とする圧縮画像ノイズ除去装置。
【請求項１１】
請求項１０の圧縮画像ノイズ除去装置であって、ノイズ除去を行う場合には、ノイズ除去対象領域の量子化値が、ノイズ除去を行うデータの量子化値以下である事を特徴とする圧縮画像ノイズ除去装置。
【請求項１２】
請求項１０の圧縮画像ノイズ除去装置であって、ノイズ除去に用いる量子化誤差のデータは、ノイズ除去対象領域の量子化幅で再量子化した際に、逆量子化部出力の係数値となる範囲内でのある事を特徴とする圧縮画像ノイズ除去装置。
【請求項１３】
請求項１０の圧縮画像ノイズ除去装置であって、ノイズ除去を行う場合には、予測に用いる動きベクトル値が０または、周辺ベクトルと類似している場合にノイズ除去を行う事を特徴とする圧縮画像ノイズ除去装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本特許は，デジタル圧縮画像の再生を行うデジタル映像機器が対象である。
【背景技術】
【０００２】
本技術分野の背景技術として、例えば、特開平6-70173（特許文献１）がある。該公報には「［目的］再生画像におけるリンギングの発生を防止する。［構成］ブロック毎の符号化画像を複合して得た画像の状態からエッジ判定部２２でエッジが存在するかを判定する。エッジを有するブロックについては、平面近似部３２でエッジの両側の領域について平面近似して、近似画像を作成する。そして、この近似画像をＤＣＴして、周波数領域に変換する。そして、これを演算部３８に供給し、周波数領域の復号画像に所定の内分比で加算する。すなわち、演算部において、量子化処理によって失われる高周波領域を付加する。この高周波領域の欠如がリンギングの原因であるため、演算器における処理によって、再生画像におけるリンギングを防止できる。」と記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平6-70173号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
近年，デジタル放送の普及が進んでおり家庭で手軽にハイビジョンの画像を扱えるようになった。このデジタル画像は多くの情報量を有しており、通常は、動画像圧縮の国際標準方式であるMPEG2, H.264等で圧縮される。この圧縮では、画像情報を周波数変換し、高周波成分を量子化によりカットする事で、データ量の削減を行っている。この量子化によるデータ量の削減によって、圧縮画像では、高周波成分の欠落により画像のボケやモスキートノイズが発生する。
【０００５】
これらのノイズの除去に関して、削減された周波数成分を予測する手法が提案されている（特開平6-70173）。しかし、該特許では、対象ブロックの画像情報のみを用いて、近似画像を作成して、その高周波成分を付加する事でノイズ削減を行っている。この近似画像の精度によっては、画像圧縮を行う元の画像（原画像）と異なる画像となってしまい、補正画像と周辺画像と異なってしまい再生画像の品質が低下してしまう場合が考えられる。
【０００６】
特に、通常の動画像圧縮における、量子化幅の制御は、人間の視覚特性に基づいてエッジ部分に対しては、量子化幅を広く設けるため、よりこの近似画像の精度は低くなり、最終的な補正画像の質も低下すると考えられる。
【０００７】
デジタル圧縮画像を再生する際に、量子化により失われた成分を精度良く予測して高画質な再生画像が望まれる。本発明は、圧縮画像を高画質に再生することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、特許請求の範囲に記載の構成を採用する。
【発明の効果】
【０００９】
本発明によれば、圧縮画像を高画質に再生することが出来る。
【００１０】
上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
【図面の簡単な説明】
【００１１】
【図１】第1の実施例における、本発明の基本概念の一面を示した図である。
【図２】第２の実施例の構成を示す図である。
【図３】第３の実施例の構成を示す図である。
【図４】第２の実施例における、周辺ブロックデータの使用を示す図である。
【図５】第２の実施例における、画像信号を仮定した信号を周波数変換した場合のそれぞれの信号成分を示す図である。
【図６】第２の実施例における、図５に示した信号成分を量子化するイメージを示すである。
【図７】第２の実施例における、周辺ブロックデータを使用する場合の構成を示す図である。
【図８】第３の実施例における、原画像評価算出を用いたノイズ除去の構成を示す図である。
【図９】第３の実施例における、係数のテーブル化と係数修正の具体例を示す図である。
【図１０】第４の実施例の構成を示す図である。
【図１１】第５の実施例の構成を示す図である。
【図１２】予測誤差を用いてノイズ除去を行う概念図である。
【図１３】動きベクトルと動きの相関の例である。
【図１４】量子化対象ブロックと動き予測ブロックの違いを示す図である。
【図１５】入力ピクチャ順番と圧縮順番を示す図である。
【図１６】画像適用構成を示す図である。
【図１７】画像適用構成を示す図である。
【発明を実施するための形態】
【００１２】
以下、本発明の実施形態を図面を用いて説明する。
【実施例１】
【００１３】
図を用いて第１の実施例について説明する。本実施例は、本発明の基本概念の一面を説明するものである。図１は、本発明の基本概念の一面を示す図である。図1の(1)は元係数101を表しており、ある成分（値）をもった係数を示している。図1の(2)は、元係数をある量子化幅102で量子化する例を示している。量子化とは、アナログデータなどの連続量を、デジタルデータなどを離散的な値に近似する事である。元係数をある量子化幅で量子化を行うと、元係数の成分が量子化幅により近似され、量子化後係数107となる。
【００１４】
デジタルデータ圧縮の際にも、元係数をそのまま用いるのではなく、この量子化幅と量子化後係数を用いることで、大幅なデータ量の圧縮処理を実現している。
【００１５】
次にこの量子化により圧縮されたデジタルデータの復元方法の説明を行う。復元には、量子化幅と量子化後係数より復元係数105を復元する。この処理は逆量子化と呼ばれる場合もある。この処理は、量子化幅の領域において、中央値に値を復元する例である。この量子化幅のどの位置に復元するかは、量子化側と逆量子化側双方で定義しておく。
【００１６】
この復元した成分である復元係数と復元前の元係数の値の差分を量子化誤差104という。これは、デジタルデータ圧縮により生じたノイズである。この量子化幅と圧縮比の関係については一般的に、量子化幅を大きくするとデータの圧縮比は高くなるが量子化誤差が多くなり、量子化幅を小さくすると量子化誤差が少なくなるがデータ圧縮比は小さくなる。
【００１７】
ここまでの処理の具体例を示す。例えば、元成分が55という値を持っていた場合に、量子化幅20で量子化を行う事を考える。その場合には、圧縮に用いるのは量子化後係数2、量子化幅20という情報となる。この情報を元に逆量子化を行うと量子化幅の中間値に値を復元する場合、復元係数は50となり、量子化誤差として、
（元係数）55−（復元係数）50＝5
が発生してしまう。
【００１８】
この量子化誤差の除去については、復元係数について周辺情報やその成分の性質によりノイズの除去を行うが、ノイズ除去のために復元係数の成分を修正する場合には、106に示す様に逆量子化に用いた量子化幅領域内での成分の修正が必要となる。もし量子化誤差の除去のための処理により、復元係数の成分が106に示す逆量子化に用いた量子化幅領域を越えてしまった場合、それは元係数（原画像）と異なる係数（画像）になってしまったことを意味するからである。よって、ノイズ除去を行い忠実に元係数復元するには、この原理のノイズ除去、すなわち、量子化幅領域を越えない範囲でのノイズ除去を行うことが重要となる。
【実施例２】
【００１９】
本実施例は、画像圧縮方式としてMPEG2（ISO/IEC 13813-2）方式を用いた例とする。しかし本発明では、MPEG2方式に限定せず、その他の圧縮方式（例えば, H.264, MPEG1, MPEG4、JPEG, VC1）等でも実現可能である。
【００２０】
まず本実施例の概要を説明する。画像の圧縮時（エンコーダ側）において、画像情報は周波数成分に分解され量子化される。その際の量子化幅は、量子化値と量子化マトリックスとイントラＤＣの量子化幅でストリームに保存される。デコーダ側では、量子化後の係数と量子化幅の情報を取得する事が出来るので、エンコード時にその係数が量子化時にどの値の範囲にあったかを推測する事は可能である。デコード側でノイズ除去を行う際には、逆量子化後の係数に対して、その量子化幅の範囲に収まる様に値の補正を行う。
【００２１】
図５は、画像信号を仮定した信号を周波数変換した場合のそれぞれの信号成分(５０３〜５１０)を示している。本図５では、簡単化のために８次元の成分に変換した例を示す。MPEG2では、この変換に8x8毎に変換を行うDCT（Discrete Cosine Transform）といわれる周波数変換を用いて、64次元への変換を行う。図５の横軸501は、周波数を示し、右方向に行くにつれて高周波成分である事を表している。図5の縦軸502は、それぞれの周波数成分の値を示し、絶対値が大きいほどその周波数成分が多く存在する事を示している。次に、画像圧縮ではこの周波数成分に対して量子化の処理を行う。
【００２２】
図６に、図５に示した信号成分を量子化するイメージを示す。量子化は、それぞれの信号に対して個別に量子化幅６０１を算出して成分毎に量子化を行う。量子化幅６０１は、符号化を行う処理単位であるマクロブロック毎に与えられた量子化値と、ピクチャ毎に与えられる量子化マトリックスにより決定される。一般的には、高周波成分ほど量子化幅を大きくすることが画像圧縮では好ましい。この量子化幅で成分毎に個別に量子化を行い、量子化後係数と量子化幅をストリームにする事で画像圧縮を実現している。
【００２３】
このストリームのデコード（復元、伸張）については、量子化係数と量子化幅より周波数成分を復元し、その周波数成分を逆周波数変換する事で画像情報に復元する。因みに、量子化に必要な情報としては、MPEG2規格では、量子化値(quantizer_scale)、量子化マトリックス(non_intra/intra_quantizer_matrix)、イントラＤＣ量子化幅（intra_dc_precision）とIntra/Inter切り替え情報（macroblock_intra）とで表記されている。他規格においても、量子化を行うために必要な情報が対象となる。
【００２４】
この画像圧縮前画像と画像復元後画像では、実施例１で説明した様な量子化誤差によりノイズが発生する。このノイズは一般的に、モスキートノイズやブロックノイズと呼ばれている。これらのノイズの除去に関しては、復元画像に各種フィルタを施すことで実現可能である。しかし、ノイズ除去を行う復元画像の修正には、圧縮に用いた量子化幅の範囲内で行わないと圧縮前の画像とは異なる画像になってしまう。ノイズの除去を行い圧縮前の画像を忠実に復元するためには、この原理のノイズ除去を行う必要がある。
【００２５】
図２に本実施例の構成を示す。図２の左部分はMPEG2のデコーダ手段201を示している。MPEG2のVideoストリームは、VLD（Variable Length Decoding）ブロック202に入力され可変長逆符号化によりストリームから、量子化後係数208や量子化幅209を算出するための量子化情報205と、動きベクトル等の動き情報206との変換を行う。量子化後係数は、逆量子化部203にて逆量子化され、逆周波数変換部で逆周波数変換が行われる。量子化幅となる量子化情報205は、VLD部から逆量子化部や情報保持部に出力される。動き情報206は、動き補償部207に出力される。動き補償部では、動き情報により以前の復号画像から予測画像を生成して、逆周波数変換部の情報と加算する事で、表示を行う復号画像210を生成する。この復号画像は、次のピクチャのための参照画像として使用するため動き補償部で保持を行う。以上がデコーダ手段の説明である。これは、通常のMPEG2のデコーダと同様の動作となる。このMPEG2でデコードした画像は、量子化ノイズであるモスキートノイズやブロックノイズを含んでいるので、右側のブロックでノイズ除去を行う。本ノイズ除去は、MPEGのデコード処理のDCTの単位である8x8ブロック毎に行う。
【００２６】
ノイズ判断部250について説明する。デコーダにより生成された復号画像は、ノイズ判断部に入力される。ここでは、デコードを行うブロック単位（MPEG2では8x8画素単位）に復号画像の情報や、量子化情報や、ピクチャ情報や、周辺画像情報より対象ブロックがノイズ除去を行うべきかの判断を行う。圧縮画像のノイズは、エッジ画像を含んでいる場合に多く発生する。これは、エッジには多くの高周波成分が含まれており、この高周波成分が量子化により欠落するために発生する。よって、本ブロックでは、デコーダ手段により生成した復号画像に対してエッジ情報が存在するかの解析を行う。解析方法としては、画素間の差分を取り、差分値がある閾値より大きい場合にはエッジとするなどとして検出を行う。また、エッジ検出用のフィルタを用いても良い。また、対象ブロックの量子化値を解析する事でノイズの判定を行う手法も考えられる。これは、動画像の符号化において人間の視覚特性により高周波のノイズは目立ち難いという特性があり、急峻なエッジを含んだブロックは量子化値を大きくするという傾向がある。よって、本ブロックの量子化値が大きい場合には、その部分にはエッジ情報を含んでいると判断してもよい。更に、両者（画像の情報と量子化の情報を）を用いて総合的に判断する事でより高精度のエッジ検出も可能である。
【００２７】
また、動画像では画像の動きが激しい部分でのノイズは目立ち辛いという特徴がある。よって、動きが激しい部分においては、ノイズ除去を行わない判断をしても良い。
【００２８】
また、ユーザの好みによりノイズ所を行わないモードが存在する場合もある。そのようなユーザ指定によりノイズ除去を行わない判断をしても良い。
【００２９】
ノイズ除去部251について説明する。本ブロックは、ノイズ判断部によりノイズ削除を行うと判断したブロックのみに対してノイズ除去を行う。ノイズ除去の方法としては、画像圧縮時の周波数領域での量子化により欠落したデータを予測する事で行う。本手法の基本的な考え方を下記に示す。復号画像について、周辺画像からの絵柄の推測や、エッジとノイズの切り分けにより、エッジはよりエッジらしく、ノイズは除去する処理を行う。この操作によりノイズ除去を行った予測画像を作成する。周辺画像からの情報利用については後述する。
【００３０】
周波数変換部252について説明する。本ブロックでは、ノイズ除去を行った画像に対して周波数変換を行う。周波数変換の方式としては、逆周波数変換と対応した方式とする。MPEGの場合にはDCTを用いる。
【００３１】
量子化幅チェック部253について説明する。本ブロックでは、量子化後係数と量子化幅からノイズ除去後の画像が、量子化幅内の領域に存在しているかのチェックを行う。
【００３２】
この量子化幅チェックにより、すべての係数が量子化幅に収まる場合には、修正は妥当と判断してその画像を表示画像として表示画保持部254に転送する。量子化幅チェックで量子化幅外になってしまった場合には、その情報を共に再度のノイズ除去部に転送してノイズ除去を行っても良いし、ノイズ除去前の画像を表示画像として表示画像保持部に転送しても良い。
【００３３】
次に、図４を用いて周辺ブロックデータの使用について説明する。図４はデコードが終了した復号画像401を表している。デコードは矩形のマクロブロック402単位に行う。量子化値もこのマクロブロック単位に値を設定する事ができる。図４の左側の図は、背景404とある物体403とが撮影されているシーンであり、量子化ノイズ405は物体と背景を両方含んでいるマクロブロックで多く発生する。この際の量子化値407のきざみ406の例を図４の右側の図に示す。これは、エンコード時に設定した量子化値であり、人間の視覚特性により平坦な部分でより細かく、エッジの部分で荒く量子化されるのが一般的である。このような場合には、あるブロックのノイズ除去を行うための周辺ブロックの情報利用は、量子化値の小さいブロックからの情報を利用した方が、有効な情報を取得できる可能性が高い。これは、この量子化値が小さいブロックでは、高周波データの欠落は少なく、再生画像の品質も良いと考えられる。また、左の図において、物体と背景を含んだブロックについて、背景は背景情報408、物体は物体情報409を用いてノイズ除去を行った方がより効率よくノイズ除去が可能となる。具体的には、この周辺情報をノイズ除去部の予測画像を作成する際の情報として用いる。また、この周辺情報を用いる手法のほかに、過去や未来のフレームの情報を用いる、輝度や色差の情報を用いる等が有効である。
【００３４】
図７に、この周辺ブロックの使用を行うための構成を示す。図２の構成に加えて新たにメモリ部701を追加することで、量子化値と復号画像を保持しておき、ノイズ除去部で用いる。
【００３５】
このメモリ部では、ノイズ除去後のフレームを保持しておき次のフレーム以降のノイズ除去に使用しても良い。この場合には、ノイズ除去後の画像に対して動き情報を用いて動き補償を行い、予測画像としてノイズ除去を行う。
【００３６】
また、メモリ部にて量子化値を保持しておき、その量子化値を用いてノイズ除去に使用しても良い。これは、I-ピクチャとP/B-ピクチャでは量子化の大きさが異なるため、I-ピクチャでの量子化値を継続的に用いてノイズ除去することで、ピクチャごとのノイズ除去を均等に処理する事が可能となり、動画での高画質なノイズ除去を実現できる。
【実施例３】
【００３７】
第２の実施例のノイズ除去は、復号画像にノイズ除去を施し、そのノイズ除去後の画像が量子化幅に収まっているかをチェックする構成であったが、第３の実施例では、デコーダ途中の周波数成分上で修正する実施例について説明する。
【００３８】
図３に、本実施例の構成を示す。図内のデコーダ手段２０１については、第２の実施例と同様のものである。
【００３９】
周波数変換部301について説明する。周波数変換部は、動き補償部から出力された予測画像に対して周波数変換を行う。周波数変換方法については、逆周波数変換部204に対応した手法とする。MPEGの場合にはDCTとする。
【００４０】
そして、周波数変換部と逆量子化部203の出力の加算302を行う。これにより、復号画像をDCTしたものと同様の情報を作成する。301と302の操作は、復号画像の周波数変換情報を取得するための操作であり、デコーダ手段で作成した復号画像に対してDCTを施す方式であっても構わない。
【００４１】
修正幅算出部303について説明する。デコーダ手段より量子化後係数と量子化幅の情報を取得して、復号画像の周波数成分に対して量子化幅の領域を超えない周波数成分の修正幅の計算を行う。
【００４２】
逆周波数変換部305について説明する。本ブロックは、ノイズ除去を行った周波数成分を逆周波数変換して表示画像を作成するブロックである。
【００４３】
表示画像保持部254は、表示画像を保持しておくブロックである。
【００４４】
ノイズ判断部306について説明する。加算機302により生成された復号画像にＤＣＴをかけた情報を入力として、対象ブロックに対してノイズ除去を行うかの判断を行う。基本的には、図のノイズ除去部250と同様の機能を有する。しかし、入力が周波数成分であるため、周波数成分での判断となる。
【００４５】
本ブロックでは、逆周波数変換を行い画像領域でノイズ判断を行ってもよい。また、周辺ブロック、過去、未来のブロックを用いて判断を行ってもかまわない。ただし、その場合には、メモリを用いて判断を行う情報の保持を行っておく必要が生じる。
【００４６】
ノイズ除去部304の説明を行う。ノイズ除去部は、302の加算部より出力された復号画像の周波数成分の情報に対してノイズ除去を行う。この周波数成分でのノイズ除去による値の修正の幅は、修正幅算出部で計算された幅内で修正を行う。この際、修正の方法は以下の方法が考えられる。
・自然画像等の原画像の成分をパターン化し、復号画像の周波数成分に近いパターンとする。
・図８に示す方法（後述する）
前者の方法について、詳しく説明する。これは、周波数成分上でノイズ除去を行う方法である。自然画像や人工画像はノイズが少なくくっきりとした画像であるのが一般的である。それらの画像をＤＣＴ等の周波数変換を用いて周波数変換すると特徴的な変換結果となる。自然画像、人工画像色々なパターンを周波数変換した係数をテーブル化しておく。そして、量子化後の係数に対して一番近いパターンをテーブルから探して量子化後の係数を修正する。
【００４７】
図９に、係数のテーブル化と係数修正の具体例を示す。９０１は、周波数変換係数を表しており、本例では8x8のＤＣＴを用いた場合を想定しているので64係数存在する。左上の係数を直流分成分９０４（ＤＣ成分）として、右方向は横方向成分の低周波成分から高周波成分を表し、下方向は縦方向成分の低周波成分から高周波成分を表している。テーブル化する際には、自然画像や人工画像に対してＤＣＴを施し、低周波のある塊である低域成分郡９０２（図の斜線ブロック）の組み合わせにより、高域成分郡９０３（図の無地ブロック）の成分をテーブル化しておく。これは、量子化後係数は、量子化により高域成分は多く削られており、低域成分は情報が多く残っている場合が多いのでそのような構成にしておくことが望ましい。また、この低域成分郡と高域成分郡との切り分けは、確保できるテーブルのメモリ量により決めることができる。多くのテーブルを確保できる場合には、低域領域郡は広めに、逆の場合には狭めにする必要がある。低域領域郡を広くした方が係数の修正をより正しくできる。
【００４８】
次に、そのテーブルを用いての量子化後係数の修正方法について説明する。デコード時の逆量子化後の係数の低域成分郡係数で上記のテーブルを参照して、高域成分郡を引き出し逆量子化後の係数の高域成分郡の値を修正する。これは、特に逆量子化後の係数の高域成分郡が０であった場合に、テーブルの値を参照して値を入れ替えるのが効果的である。この際には、各広域成分郡について実施例１で説明した量子化幅の確認も行うことが望ましい。
【００４９】
また、図４に示すような周辺のブロックや過去、未来の画像の周波数成分から類似したブロックの情報を参照することで、逆量子化後の係数の修正を行っても良い。
【００５０】
次に後者の説明を行う。図８に、原画像評価算出を用いたノイズ除去の構成を示す。図３の構成に加えて原画像評価算出802ブロックを新たに追加する。
【００５１】
原画像評価算出部は、逆周波数変換部より入力した表示画像に対して、評価関数により、評価値を算出する。この評価関数は、自然画像や人工画像等でより特徴的な数値を示す評価関数が望ましい。また、評価関数の算出にあたっては、処理対象ブロック内部の情報のみを使用するのではなく、周辺ブロックや過去・未来のフレーム内の情報を用いて算出しても良い。その場合には、別途メモリを用いて評価値算出に利用するデータの保持を行っておく。
【００５２】
ノイズ除去部801は、修正幅算出部で算出したノイズ除去部で周波数成分を変更する修正幅内で、加算部302で生成した復号画像の周波数成分情報を修正する。そして、逆周波数変換を行い、現画評価値算出部にて評価値を算出する。その値を再度ノイズ除去部にフィードバックする。その操作を復号画像の周波数成分を修正するたびに行う。そして、評価値が一番原画らしさを示す周波数成分を修正後の成分として採用する。
【００５３】
次に、予測画作成の際の、周辺ブロック情報の使用について説明する。動画像符号化では、量子化値を画像内部のブロック単位で切り替える。例えばＭＰＥＧ２では、16x16画素のブロック単位で切り替える事で、フレーム内の画像の傾向に合わせて画像圧縮を可能としている。この量子化値が小さいブロックでは、高周波データの欠落は少なく、再生画像の品質も良いと考えられる。よって、処理対象ブロックの隣接ブロックを調査し、量子化値が小さいブロックがある場合には、そのブロックの情報を積極的に使用する。具体的には、予測画像生成において、量子化値が小さい隣接ブロックの隣接画素を、本ブロックの予測画像の値とする。こうする事で、ブロック間に生じるブロック歪についても低減する効果が期待できる。この周辺ブロックの量子化情報は、情報保持部により実現する。図３に例を示す。復号画像に対して量子化値のきざみを考慮して周辺ブロックの画像データを利用する。
【実施例４】
【００５４】
本実施例では、H.264（ITU-T H.264）/MPEG4 AVC（ISO/IEC 14496-10）やVC1(マイクロソフトが開発した動画像圧縮方式でありWindows（登録商標） Media Video 9を規格化したもの)の場合の構成について示す。これらの動画像符号化の規格においても、実施例１の原理の元ノイズ除去を行う。また、本実施例は、実施例２の方式とほぼ同様の考え方となるが、取り扱う符号化規格が異なるため符号化ツールが異なり、実施例２の方式をそのまま適用できない。よって、実施例２との差分の部分について特に詳しく説明する。
【００５５】
これらの規格では、復号画像に対してループ内フィルタ（デブロッキングフィルタ）と呼ばれるフィルタリングの処理が実施される。
【００５６】
図１０に本実施例の構成図を示す。Videoのストリームは、VLD部1002にて可変長符号化のデコードを行い、画像データと、量子化値やマトリックスの情報など量子化幅を算出するための量子化情報１００５や動き情報１００６やブロックモード情報等のサブ情報に分けられる。画像データは、逆量子化部1003で逆量子化の処理を行い、逆周波数変換部1004にて逆周波数変換が行われる。この際、逆量子化ブロックには量子化情報が供給される。なお、H.264やVC1では、ブロックの分割サイズが4x4〜8x8で可変サイズとなる。それらの情報は、VLDブロックから各ブロックに供給さえるものとする。
【００５７】
一方、動き情報1006は動き補償部1007に供給され動き補償を行う。この動き補償されたデータと逆周波数変換部を加えることで復号画像1010が生成される。
【００５８】
また、本実施例の規格では、Intra予測というデコードフレーム内の情報のみを用いて予測符号化するモードもあるが、本実施例では、この動き補償部でIntra予測の処理も行う例としている。そして、この復号画像は、デブロッキングフィルタを行うDF部1011にて、ブロックノイズ除去が行われる。これらの処理は、H.264/VC1の通常のデコーダをイメージしておりデコーダ手段1001とする。
【００５９】
復号画像１０１０は、ノイズ判断部1050に入力され、ノイズ除去を行うかの判定を行う。そして、ノイズ除去部1051にてノイズ除去を行う。そして、周波数変換部1052で周波数変換を行い、量子化幅チェック部1053にて量子化幅のチェックを行う。そして、DF2部1055にて  デブロッキングフィルタを施し、表示画像保持部1054に保持され表示される。
【００６０】
ノイズ判断部、ノイズ除去部、量子化幅チェック部について説明する。本ブロックは、基本的には図２のノイズ判断部、ノイズ除去部、量子化幅チェック部と同様の機能を有する。しかし、本実施例の規格では、周波数変換サイズが4x4〜8x8まで可変サイズであるので、その周波数変換サイズに合わせて処理を行う。ブロック分割サイズについては、VLDブロックでのサブ情報からＤＣＴのサイズを取得することで知ることができる。
【００６１】
DF2部について説明する。本ブロックでは、ノイズ除去部でノイズ除去した画像か、ノイズ判断部でノイズ判断が必要ないと判断されたブロックについて、デブロッキングフィルタを施す。但し、ノイズ除去部でノイズ除去を行った画像については、すでにノイズ除去がされているため、本ブロックでデブロッキングフィルタを施さなくても良い。
【００６２】
また、すでにノイズ除去を行った場合でも、その結果に応じてデブロッキングフィルタを行うか、行わないかを切り替えても良い。
【００６３】
また、DF2部は、ノイズ除去部でノイズ除去を行った場合にデブロッキングフィルタを施すか否かの判定を行う以外は、DF部と同様の機能を有するブロックであり、同じ回路を使用しても良い。
【実施例５】
【００６４】
実施例４は、復号画像に対してノイズ除去を行う例であったが、周波数ドメインでノイズ除去を行う例を本実施例に記す。基本的な考え方は、実施例３と同様であるが、取り扱う規格が異なるため符号化ツールが異なりそのままでは適用できない。本実施例では、H.264, VC1の時の差分について詳しく説明する。
【００６５】
図１１は、H.264, VC1等の規格の際の周波数ドメイン上でノイズ除去を行う構成を示している。デコーダ手段１１０１は、図１０のデコーダ手段１００１と同様の構成である。
【００６６】
周波数変換部１１５１は、デコーダ装置内で作成した動き補償後のデータを周波数変換するブロックである。周波数変換する際には、ＤＣＴのブロックサイズに合わせて周波数変換を行う必要ある。これらのＤＣＴブロックの情報は、ＶＬＤブロックから取得することができる。
【００６７】
加算機１１５２、周波数変換部１１５１、ノイズ判断部１１６０、ノイズ除去部１１５５、修正幅算出部１１５３、逆周波数変換部１１５４、表示画像保持部１１５７については、図３の構成とほぼ同様の機能を有している。しかし、本実施例の規格ではＤＣＴのブロックサイズが4x4〜8x8までの可変ブロック分割であり、量子化についても同ブロックサイズで実行されるため、このブロックサイズを意識しての処理となる。
【００６８】
DF2部１１５６について説明する。本ブロックは、図１０のＤＦ２とほぼ同様の機能を有する。
【実施例６】
【００６９】
図１２を用いて、本実施例の基本概念の説明を一次元の信号を例に行う。本実施例は、デジタルデータのノイズ除去を行う際に、ノイズ除去対象データをその後の予測圧縮後のデータを利用してノイズ除去を行う方法である。
【００７０】
まず、基本概念を説明するために、圧縮時1201の説明行う。一番上段の図は、圧縮を行う前の原信号を表しており、横軸1202は時間方向を示しており、原信号は、時間順にn番目信号1203とn+1番目信号1204を表している。本例では、n番目の信号を先頭の信号として説明する。
【００７１】
これらの原信号を圧縮する場合に、量子化と予測を用いて圧縮する例を次の段圧縮方式1205に示す。先頭信号nは、その前の時間に信号が存在しないため、n番目信号のみで量子化1206を行い、圧縮を行うものとする。そして、次にn+1の圧縮を行うが、その際に、このn番目のデータを用いてn+1番目のデータの予測1207を行う。この予測を行う場合には、n番目の量子化を行い、データ圧縮を行った量子化後n 1206を用いて予測を行う必要がある。これは、量子化により発生する誤差を考慮して予測を行わないと、原信号と量子化後の差である量子化誤差1208が予測により次の信号に伝播してしまうためである。
【００７２】
そして、この量子化後のデータを用いて予測を行ったn+1用の予測データ1208と原画像n+1(1204と同様のもの)との差が予測誤差n+1 1209となる。この予測誤差に対しても量子化1210を行い予測誤差の量子化データn+1 1211を作成する。このような、予測と量子化を行いながら圧縮を行う方式が一般的である。
【００７３】
これらの圧縮方法により、作成された圧縮後データの例を1212に示す。圧縮後データとしては、量子化後データ1206のデータ1213、予測1207の際のデータ1214、予測誤差の量子化データn+1 1215の順に構成する。その後は、本図には無いが、次の信号情報の予測のデータ、予測誤差のデータの順に構成されるのが一般的である。
【００７４】
ここで、予測1207の際のデータは、量子化後のデータをどの様に予測データとして用いるかの情報であり、例えば、大きさを変える場合には、拡大・縮小率等が考えられる。２次元データの場合には、ベクトル情報等がこの情報に当てはまる。
【００７５】
そして、この圧縮データを用いて、伸張処理、ノイズ除去の処理を行う。伸張1216は、圧縮後データ1212を元に、データの復元を行う。量子化後nのデータ1213のデータを下に逆量子化を行う事で、伸張データn 1217を作成する。次に、伸張データn+1 1218を予測のデータ1214を用いて、伸張データ1217より予測を行い、そのデータに予測誤差のデータ1215を逆量子化したデータを加算する事で作成する。
【００７６】
この様に伸張したデータに対して、ノイズ除去を行う。伸張データn 1217に対してノイズ除去を行う際には、その伸張データ1217を予測として用いている伸張データ1218を用いてノイズ除去データn 1219を作成する。
【００７７】
これは、原信号に変化が少ない信号を圧縮する場合に、初めの信号や量子化の幅が大きめであった量子化後データ（ノイズの多い信号）が、次の圧縮データの予測誤差として圧縮データに存在している可能性があるため、その予測誤差信号を用いて、ノイズの多い信号のノイズを除去する事が可能となる。
【００７８】
次に、本概念を画像圧縮に応用する。画像圧縮においても、画像圧縮の国際標準方式では、殆どの方式が、予測と量子化を組み合わせた方式となっており、本概念を適用可能である。ただし、画像は２次元で構成さており、量子化は、２次元の小ブロックを定義して周波数領域への変換を行い、予測については、２次元の動きベクトルを定義して、時間的に過去、未来で既に圧縮済みの画像を用いて予測される。国際標準方式としては、定義されていないが、予測に関しては、どう時間に構成された画像の既に圧縮済みの空間方向に予測しても良い。
【００７９】
ノイズ除去を行う際には、その対象画像を、予測としているデータの予測誤差を適用する際には、以下の点を考慮する必要がある。それは、ノイズ除去を行う対象画像の原画像と、それを予測として用いている画像の原画像が大きく異なり、それにより予測誤差が発生している可能性があるということである。その場合には、予測誤差をノイズ対象画像に付加してしまうと所望のノイズ除去ができなくなってしまう。下記のいずれか、または全てを確認することが望ましい。
１．予測に用いる動きベクトルの動きが無い（動きベクトルが0値）、もしくは周辺の動きベクトルと値が類似している
２．予測誤差を量子化した量子化の値と、ノイズ除去対象ブロックの量子化値が同じか前者の方が小さい
３．予測誤差の適用の時に、実施例１で説明したような量子化幅の確認を行う
それぞれについて詳細を説明する。
【００８０】
１．は、原画像が大幅に変化してしまった場合には、動き検出のベクトルも色々な方向を指し示す傾向があるため、その場合には、本概念のノイズ除去を行うのは望ましくない。本ノイズ除去では、類似している原画像がある程度の空間的な大きさで、時間的に続く場合を想定している。同じ原画像が静止して連続して続いている場合には、ある程度の領域で動きベクトル値は０となり、平行移動している場合には、その方向を指し示すのが一般的である。ここで、ある程度の領域とは、少なくてもベクトル探索を行うブロックサイズの２倍以上である。  ２．について説明する。原画像に大きな変化がなかった場合を仮定する。あるピクチャを圧縮した際に発生した量子化誤差（Ｎ１）は、それを予測に用いて生じた予測誤差（Ｙ１）に現れる。その予測誤差を、量子化により圧縮を行うが、Ｎ１に用いた量子化値の幅より、小さな幅で無いと、予測誤差は量子化により欠如してしまう。量子化により予測誤差が欠如してしまうと、本実施例で行おうとしているＮ１の誤差の補填（ノイズ除去）に用いる事が出来ない。
【００８１】
３．について説明する。実施例１でも説明した様に、ノイズ除去を行う際には、量子化幅ないで成分の調整を行う事が望ましい。Ｎ１の誤差を補填するために、そのデータを参照しているＹ１をノイズ除去のデータとして利用するが、利用する際には、Ｎ１を量子化した量子化幅に収まるかの確認をする事が望ましい。
【００８２】
次に、ノイズ除去を行う領域と予測に用いる領域の位置の違いについて図１４を用いて説明する。画像圧縮を行う際には、あるブロックに分割して量子化等の圧縮を行う。ここで、画像n（1401）は、圧縮順番的にn+1（1402）の前に圧縮を行ったフレームで、その画像nを用いて画像n+1を予測に用いた圧縮を行う例とする。画像nは、あるブロック（1403）に分割されて量子化が行われたとする。ちなみに、この量子化を行うブロックサイズは例えば、MPEG1, MPEG2,MPPEG4では8x8、H.264では8x8か4x4, VC1では、8x8, 8x4, 4x8, 4x4画素単位となっている。
【００８３】
今、画像nのあるブロック（1404）に着目して説明する。このブロックのノイズ除去を行う際には、このブロックを画像n+1で予測に用いている領域を、画像n+1の予測ベクトルを用いて算出する。次に同図の下部に画像n+1の予測単位を示す。画像n+1を予測圧縮する場合には、画像をある大きさのブロックに分割してその単位で予測ベクトルの算出を行う。例えば、ある2つのブロック（1405, 1406）に着目すると、予測は、それぞれ画像nの1407, 1408の位置となる。これより、ノイズ除去対象のブロック1404は、色々なブロックの予測が重なることが考えられる。
【００８４】
また、位置によっては、どこからも予測されない位置がある。これについては、以下の方式をとることが望ましい。1404のブロック内の画素について、予測されている部分については、単独であれば、そのデータの予測誤差を対照部分のみに適用する。どこからも参照されていない場合には、その画素のノイズ除去は行なわない。または、その周辺ブロックの予測で用いられている部分の相対位置の画素をノイズ除去に用いる。次に、複数の予測がされている場合を考える。
【００８５】
予測については、図１５に画像圧縮の予測フレームの例を示す。本例ではMPEG2の予測関係を例にとる。図の上段は、圧縮を行う場合の入力フレーム順番（1501）を示す。時間の順にB0->B1->I2->B3->B4->P5の順に入力されたと仮定する。下段に圧縮を行う際の圧縮順番(1502)を示す。この際に、I2を予測として用いるフレームは、B0(1503), B1(1504), P5(1505)となる。同様にP5を予測として予測圧縮を行うのは、B3, B4, P8となる。これより、I2やP5では、複数のピクチャから参照される可能性がある。また、この際には、I2は入力画像の順番から考えると、時間的に近くにあるのはB1, B0, P5の順となる。
【００８６】
これを踏まえて、図１４の複数から予測されている場合にどの予測を採用するかは、以下とするのが望ましい。
・それぞれ予測されているブロックの量子化値を確認して一番小さい量子化値のもの
・再生する場合に時間的に近いフレームのもの
・周辺の予測関係の相関を見て、同じ傾向を示すもの
これらのどちらかまたは両方を確認して最適な予測を採用する。本処理により予測データの選定を行い、上記の予測誤差の選定について実行してノイズ除去を行う。
【００８７】
次に、本方式を画像処理に適用した場合の構成を示す。図１６に構成を示す。本適用の例は図７を例に説明する。図１６の各ブロックは、図７と同様の機能を有するが、本実施例のノイズ除去は、ノイズ除去部（251）の機能として付け加える。また、本実施例の量子化幅のチェックに関しては、量子化チェック部253で行う。
【００８８】
次に、メモリ部(1601)について説明する。メモリ部において、デコードの情報（VLD情報、量子化情報、復号画像、予測画像等）を保持しておき、予測されていると考えるフレーム分終了した時点で、その情報をメモリ部から読み出して除去を行う。この予測されていると考えられるフレーム分とは、MPEG1/2/4では、IPB構成、H.264では、ref_frameやDPBの構成情報等ストリーム解析で判明することができる。しかし、メモリの構成サイズの増大を防ぐために、例えば、I,Pピクチャのみの予測データを用いる等の簡略化をすることも可能である。
【００８９】
また別の構成として、保持する情報も再度読み出し後に復元する構成も考えられる。これは、例えば、図１７において、ストリーム振り分け部（1702）において、ノイズ除去の対象のフレームをデコードする前に先行して、そのフレームを予測している可能性のあるフレームのデコードを行う。例えば、図１５の例であれば、ノイズ除去対象のI2のデコードを行う前に、B0, B1,P5を先行してデコードしておき、その際に、量子化情報や動き情報や誤差画像等の情報をメモリ部（1701）に格納しておく。そして、ノイズ除去対象フレームであるI2のデコードを行い、その際にメモリから必要情報を読み出しノイズ除去部でノイズ除去を行う。
【００９０】
以上、添付図面を参照しながら本発明にかかる好適な実施形態について説明したが、本発明はかかる例に限定されないことは言うまでもない。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。当業者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【００９１】
201  デコーダ手段
202  VLD（Variable Length Decoding）ブロック
208  量子化後係数
209  量子化幅
205  量子化情報
206  動き情報
203  逆量子化部
207  動き補償部
210  復号画像
250  ノイズ判断部
252  周波数変換部
253  量子化幅チェック部
【図１】
2010239333.tif 000003
【図２】
2010239333.tif 000004
【図３】
2010239333.tif 000005
【図４】
2010239333.tif 000006
【図５】
2010239333.tif 000007
【図６】
2010239333.tif 000008
【図７】
2010239333.tif 000009
【図８】
2010239333.tif 000010
【図９】
2010239333.tif 000011
【図１０】
2010239333.tif 000012
【図１１】
2010239333.tif 000013
【図１２】
2010239333.tif 000014
【図１３】
2010239333.tif 000015
【図１４】
2010239333.tif 000016
【図１５】
2010239333.tif 000017
【図１６】
2010239333.tif 000018
【図１７】
2010239333.tif 000019