(57)【要約】【課題】  ブロック単位符号化により符号化された画像データを復号して得た再生画像データに対し、ブロック境界及びその近隣に輪郭部が存在した場合であっても誤動作を行わずに、再生画像に悪影響を与えることなく的確にブロック歪みの低減を行う。【解決手段】  ブロック単位符号化により符号化された画像データを復号して得た再生画像データに対し、ブロック歪み検出部１３により、ブロック境界近辺の画素変化値を用いてブロック歪みの存在及び強度を検出する。検出されたブロック歪み有無検出情報及びブロック歪み強度情報によって、ノイズ低減部１４によりフィルタ処理対象画素範囲を指定し、複数のエッジ保存型平滑化フィルタから一つを選択適用するノイズ低減を行う。これにより、ブロック境界及びその近隣に輪郭部が存在した場合においても、悪影響少なくブロック歪み低減を行うことができる。【選択図】図１
2005079617.tif 000002
【特許請求の範囲】
【請求項１】
所定数の画素からなるブロックを符号化の単位とするブロック単位符号化方式により圧縮符号化された画像データから復号された画像データが入力され、その入力画像データにおけるブロック境界周辺の画像データに対してフィルタ処理を行って、ブロック歪みを低減するブロック歪み低減装置であって、
前記入力画像データに対し、各ブロック境界周辺における複数の画素間の画素変化値を求め、その画素変化値を用いて各ブロック境界におけるブロック歪みの存在及び強度を検出し、ブロック歪み有無検出情報及びブロック歪み強度情報を出力するブロック歪み検出手段と、
前記ブロック歪み有無検出情報及び前記ブロック歪み強度情報に応じて、各ブロック境界周辺における前記フィルタ処理の対象となる画素範囲をそれぞれ指定すると共に、各ブロック境界周辺における前記フィルタ処理に用いるエッジ保存型平滑化フィルタ特性をそれぞれ選択し、選択した各フィルタ特性によるフィルタ処理を、前記指定した各画素範囲の前記入力画像データに対して行うノイズ低減手段と、
を有することを特徴とするブロック歪み低減装置。
【請求項２】
所定数の画素からなるブロックを符号化の単位とするブロック単位符号化方式により圧縮符号化された画像データから復号された画像データを入力画像データとし、前記入力画像データにおけるブロック境界周辺の画像データに対してフィルタ処理を行って、ブロック歪みを低減するブロック歪み低減方法であって、
前記入力画像データに対し、各ブロック境界周辺における複数の画素間の画素変化値を求め、その画素変化値を用いて各ブロック境界におけるブロック歪みの存在及び強度を検出し、ブロック歪み有無検出情報及びブロック歪み強度情報を得るブロック歪み検出手順と、
前記ブロック歪み有無検出情報及び前記ブロック歪み強度情報に応じて、各ブロック境界周辺における前記フィルタ処理の対象となる画素範囲をそれぞれ指定すると共に、各ブロック境界周辺における前記フィルタ処理に用いるエッジ保存型平滑化フィルタ特性をそれぞれ選択し、選択した各フィルタ特性によるフィルタ処理を、前記指定した各画素範囲の前記入力画像データに対して行うノイズ低減手順と、
を有することを特徴とするブロック歪み低減方法。
【請求項３】
所定数の画素からなるブロックを符号化の単位とするブロック単位符号化方式により圧縮符号化された画像データから復号された画像データを入力画像データとし、前記入力画像データにおけるブロック境界周辺の画像データに対してフィルタ処理を行って、ブロック歪みを低減するブロック歪み低減機能をコンピュータに実現させるためのブロック歪み低減用プログラムであって、
前記入力画像データに対し、各ブロック境界周辺における複数の画素間の画素変化値を求め、その画素変化値を用いて各ブロック境界におけるブロック歪みの存在及び強度を検出し、ブロック歪み有無検出情報及びブロック歪み強度情報を得るブロック歪み検出手段と、
前記ブロック歪み有無検出情報及び前記ブロック歪み強度情報に応じて、各ブロック境界周辺における前記フィルタ処理の対象となる画素範囲をそれぞれ指定すると共に、各ブロック境界周辺における前記フィルタ処理に用いるエッジ保存型平滑化フィルタ特性をそれぞれ選択し、選択した各フィルタ特性によるフィルタ処理を、前記指定した各画素範囲の前記入力画像データに対して行うノイズ低減手段として、
コンピュータを機能させるためのブロック歪み低減用プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ブロック単位符号化方式により圧縮符号化された画像データを復号して得られた画像データに対し、ブロック境界及びその近隣に輪郭部が存在した場合においても誤動作を行わずに、圧縮符号化時に発生したブロック歪み（ブロックノイズ）を的確に低減するブロック歪み低減装置、ブロック歪み低減方法、及びブロック歪み低減用プログラムに関する。
【背景技術】
【０００２】
MPEG（Moving Pictures Expert Group）規格などの画像圧縮符号化では、一定サイズのブロック（所定数の画素からなるブロック）に画像を分割し、DCT（Discrete Cosine Transform）等を用いてブロック単位に変換符号化を行う方式（ブロック単位符号化方式）が使用されている。ブロック単位符号化の場合、高圧縮時に量子化誤差によってブロック歪み（ブロックノイズ）が発生しやすい（ブロック歪みが発生すると、復号した場合にブロック境界が歪みとなって見える）。このブロック歪みを低減するために、ブロック歪みが発生するブロック境界にノイズ軽減フィルタを施すことが提案されている。
【０００３】
例えば、下記の特許文献１：特開２００２−２３２８８９号公報では、ブロック歪みを検出し、ブロック境界部分に対して平滑処理を行う方法が提案されている。ブロック歪みを検出することで、ブロック歪み以外の位置にフィルタリングを行うことを避け、再生画像への悪影響を抑えることができる。
【０００４】
この方式は図６に示すフローチャートに従い処理を行う。まず、ブロック境界検出部６１にて対象境界がブロック境界であるかどうかの判別を行う。図２はブロック符号化における単位ブロック境界周辺について示した図である。a1-i1間（境界２１）の境界検出を行う場合、検出対象境界を挟んだ両側５画素（図２におけるa1〜a5、i1〜i5）を検出に用いる。まず、隣接画素差分絶対値diff0〜diff7及び、検出対象境界隣接２画素差分絶対値bound0を以下の式より算出する。
【０００５】
【数１】
2005079617.tif 000003
diff0〜diff7より隣接画素差分絶対値平均diffを以下の式より算出する（図６の処理６１１）。
【０００６】
【数２】
2005079617.tif 000004
bound0がdiffより大きく、且つ、閾値Dより小さい場合に検出対象境界２１をブロック歪みが出現している境界とみなす（図６の判断６１２）。
【０００７】
判断６１２の結果、検出対象境界がブロック歪みとして検出されなかった場合、歪み補正部６２には移行せず、処理は終了する。
【０００８】
判断６１２の結果、検出対象境界がブロック歪みとして検出された場合、歪み補正部６２に移行する。まず、処理６２１にて基準補正量Hを以下の式より算出する。
【０００９】
【数３】
2005079617.tif 000005
Hを用いて処理６２２にて補正を行う。補正はa1-a4、i1-i4を対象とし、境界画素のa1、i1はH/2を補正値として、a1、i1の平均値に近づけるように補正を行う。以下、a2、i2はH/4、a3、i3はH/8、a4、i4はH/16を補正値としてa1、i1の平均値に近づけるように補正を行う。
【００１０】
この方式では、図６に示した一連の処理を全ての隣接画素間について行う。
【特許文献１】特開２００２−２３２８８９号公報
【発明の開示】
【発明が解決しようとする課題】
【００１１】
しかしながら、特許文献１では、例えば近隣画素a1-a2間(diff3)に境界検出対象のa1-i1(bound0)と同レベルの差分をもつ輪郭部が存在し他の隣接画素差分絶対値がごく小さい場合、つまり、ブロック歪みの隣に輪郭部を持つ場合では、歪み補正部６２の処理により、a1-a2間の輪郭部を丸めてしまう。また、ブロック境界a1-i1(bound0)に緩やかな変化の輪郭部が重なってしまった場合、輪郭部をブロック歪みとして検出してしまい、歪み補正部６２の処理により輪郭部を丸めてしまう。このように、ブロック境界及びその近隣に輪郭部が存在した場合、ブロック歪み検出の誤判定、歪み補正の誤動作による再生画像への悪影響は大きい。
【００１２】
本発明は、ブロック単位符号化により符号化された画像データを復号して得た再生画像データに対し、ブロック境界及びその近隣に輪郭部が存在した場合であっても誤動作を行わずに、再生画像に悪影響を与えることなく的確にブロック歪みの低減を行うことができるブロック歪み低減装置、ブロック歪み低減方法、及びブロック歪み低減用プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１３】
そこで、上記課題を解決するために本発明は、下記の装置、方法、及びプログラムを提供するものである。
（１）
所定数の画素からなるブロックを符号化の単位とするブロック単位符号化方式により圧縮符号化された画像データから復号された画像データが入力され、その入力画像データにおけるブロック境界周辺の画像データに対してフィルタ処理を行って、ブロック歪みを低減するブロック歪み低減装置であって、
前記入力画像データに対し、各ブロック境界周辺における複数の画素間の画素変化値を求め、その画素変化値を用いて各ブロック境界におけるブロック歪みの存在及び強度を検出し、ブロック歪み有無検出情報及びブロック歪み強度情報を出力するブロック歪み検出手段（１３）と、
前記ブロック歪み有無検出情報及び前記ブロック歪み強度情報に応じて、各ブロック境界周辺における前記フィルタ処理の対象となる画素範囲をそれぞれ指定すると共に、各ブロック境界周辺における前記フィルタ処理に用いるエッジ保存型平滑化フィルタ特性をそれぞれ選択し、選択した各フィルタ特性によるフィルタ処理を、前記指定した各画素範囲の前記入力画像データに対して行うノイズ低減手段（１４）と、
を有することを特徴とするブロック歪み低減装置。
（２）
所定数の画素からなるブロックを符号化の単位とするブロック単位符号化方式により圧縮符号化された画像データから復号された画像データを入力画像データとし、前記入力画像データにおけるブロック境界周辺の画像データに対してフィルタ処理を行って、ブロック歪みを低減するブロック歪み低減方法であって、
前記入力画像データに対し、各ブロック境界周辺における複数の画素間の画素変化値を求め、その画素変化値を用いて各ブロック境界におけるブロック歪みの存在及び強度を検出し、ブロック歪み有無検出情報及びブロック歪み強度情報を得るブロック歪み検出手順と、
前記ブロック歪み有無検出情報及び前記ブロック歪み強度情報に応じて、各ブロック境界周辺における前記フィルタ処理の対象となる画素範囲をそれぞれ指定すると共に、各ブロック境界周辺における前記フィルタ処理に用いるエッジ保存型平滑化フィルタ特性をそれぞれ選択し、選択した各フィルタ特性によるフィルタ処理を、前記指定した各画素範囲の前記入力画像データに対して行うノイズ低減手順と、
を有することを特徴とするブロック歪み低減方法。
（３）
所定数の画素からなるブロックを符号化の単位とするブロック単位符号化方式により圧縮符号化された画像データから復号された画像データを入力画像データとし、前記入力画像データにおけるブロック境界周辺の画像データに対してフィルタ処理を行って、ブロック歪みを低減するブロック歪み低減機能をコンピュータに実現させるためのブロック歪み低減用プログラムであって、
前記入力画像データに対し、各ブロック境界周辺における複数の画素間の画素変化値を求め、その画素変化値を用いて各ブロック境界におけるブロック歪みの存在及び強度を検出し、ブロック歪み有無検出情報及びブロック歪み強度情報を得るブロック歪み検出手段と、
前記ブロック歪み有無検出情報及び前記ブロック歪み強度情報に応じて、各ブロック境界周辺における前記フィルタ処理の対象となる画素範囲をそれぞれ指定すると共に、各ブロック境界周辺における前記フィルタ処理に用いるエッジ保存型平滑化フィルタ特性をそれぞれ選択し、選択した各フィルタ特性によるフィルタ処理を、前記指定した各画素範囲の前記入力画像データに対して行うノイズ低減手段として、
コンピュータを機能させるためのブロック歪み低減用プログラム。
【発明の効果】
【００１４】
本発明によれば、ブロック単位符号化により符号化された画像データを復号して得た再生画像データに対し、ブロック境界及びその近隣に輪郭部が存在した場合であっても誤動作を行わずに、再生画像に悪影響を与えることなく的確にブロック歪みの低減を行うことができる。
【発明を実施するための最良の形態】
【００１５】
以下、この発明によるブロック歪み低減装置の実施形態について、図を参照しながら説明する。
【実施例１】
【００１６】
図1は、この発明によるブロック歪み低減装置を組み込んだMPEG復号装置である。入力端子１１よりMPEGビットストリームが入力される。入力されたMPEGビットストリームはMPEGデコーダ１２によって、逆量子化、逆DCTなどの処理が行われ、画像データが復元（復号）される。
【００１７】
ブロック歪み検出部１３では、MPEGデコーダ１２より出力された再生画像に対し、各ブロック境界について、ブロック境界及びその近隣の画素間の画素差分値を用いてブロック歪み有無の検出及び歪み強度検出が行われる。
【００１８】
ノイズ低減部１４では、ブロック歪みが存在する再生画像データに対し、ブロック歪み検出部１３からのブロック歪み検出情報（ブロック歪み有無検出情報）及びブロック歪み強度情報を元にフィルタ処理対象画素範囲を指定する。そして、指定したフィルタ処理対象画素範囲に対して、複数のエッジ保存型平滑化フィルタから一つを選択しフィルタ処理を実行することでブロック歪みの低減を行う。
【００１９】
以上の過程を経て、出力端子１５よりブロック歪みが低減された再生画像が出力される。
【００２０】
以下にてブロック歪み検出部１３及びノイズ低減部１４について特に説明する。ブロック歪み検出部１３は、入力された再生画像に対し、各ブロック境界についてブロック境界及びその近隣の画素間の差分値を用いてブロック歪み有無の検出及びブロック歪み強度検出を行い、その結果を出力する。図2はブロック符号化における単位ブロック境界周辺について示した図である。ブロック歪み検出部１３において、ブロック境界２１についてブロック歪み検出を行う場合、ブロック境界２１の隣接画素となるa1,a2,a3,i1,i2,i3を使用して検出を行う。
【００２１】
ブロック境界を挟む画素間(a1-i1)間の画素差分絶対値をbound0、ブロック境界近隣画素の隣接画素間画素差分絶対値を、diff2〜diff5にて表す。これら差分絶対値が大きい場合、その画素間で画素値の変化が激しく起こっていることを示す。そこで、境界画素差分絶対値であるbound0と、その近辺の画素差分絶対値の平均であるAveDiff a、AveDiff i、
【００２２】
【数４】
2005079617.tif 000006
との比較を行う。AveDiff a、AveDiff iに対し、bound0が大きい場合は、ブロック境界がその近辺と比較して大きな変化を起こしていることを示す。ブロック歪みは、ブロック境界が隣接箇所と比較して大きく変化していることから目立つ歪みであるので、ブロック境界画素間の孤立的な画素値変化を検出することでブロック歪みの有無を検出することができる。bound0の大きさ及び、AveDiff a、AveDiff iとの差により、歪みレベル（強度）を決定する。
【００２３】
図3はブロック歪み検出部13での検出過程の一例を示したフローチャートである。処理３１及び処理３２にてブロック境界及びその近隣画素の画素差分絶対値（bound0及びdiff0〜diff3）を算出する。次に処理３３にてブロック境界近辺の画素差分絶対値平均（AveDiff a,AveDiff i）を算出する。最後に処理３４にてbound0とAveDiff a、AveDiff iとの比較によりブロック歪み検出及び歪みレベル検出を行う。
【００２４】
図３ではbound0とAveDiff a、AveDiff iとの比較により4段階のレベル分けを行っており、bound0とAveDiff a、AveDiff Iとの差が小さいDistLevel a1i1=1では、ブロック境界が隣接箇所と比較して変化が小さいとみなし歪みは存在しないと考えられ、bound0とAveDiff a、AveDiff Iとの差が大きくなるに従いDistLevel a1i1も大きくなり、より大きなブロック歪みが発生していると考えられる。
【００２５】
ノイズ低減部１４では、ブロック歪みが存在する再生画像データに対し、ブロック歪み検出部１３からのブロック歪み検出情報及びブロック歪み強度情報を元に、フィルタ処理対象画素範囲を指定すると共に、指定したフィルタ処理対象画素範囲に対して、複数のエッジ保存型平滑化フィルタから一つを選択しフィルタ処理を実行することでブロック歪みの低減を行う。
【００２６】
ブロック歪み検出部１３により、ブロック歪みを検出することができるが、偶然ブロック境界に現れたエッジを誤検出する可能性がある。ノイズ低減処理に一般的なLPFを用いると、誤検出したエッジを丸め解像感を低下させてしまう問題が発生する。そこで、エッジ保存型平滑化フィルタを用いることでこの問題を解決する。エッジ保存型平滑化フィルタにはεフィルタ、リップル修正フィルタ（一例として、吹抜敬彦、「DCT量子化歪みのリップル修正フィルタによる抑圧」、2002年、映像情報メディア学会冬季大会がある）等が知られている。
【００２７】
例えば、εフィルタを使用する場合を以下に示す。εフィルタは非線形フィルタである。図７にεフィルタによる処理のフローチャートを示す。また、図４に示す画素a3を対象とした5tapのεフィルタは、以下の式により求められる。
【００２８】
【数５】
2005079617.tif 000007
εフィルタは図８のように入力に対し非線形の出力となり、上式における画素差分絶対値ABS(ai-a3) が閾値THRより小さい場合に、平滑化の対象となる。すなわち、THRによりフィルタ強度を制御できる。
【００２９】
図９はブロック歪み低減部１４による歪み低減処理の一例を示したフローチャートである。ブロック歪み検出部１３からのブロック歪み検出情報（ブロック歪み有無検出情報）によりエッジ保存型平滑化フィルタのON/OFFを、ブロック歪み強度情報により、歪み強度が強いところにはエッジ保存型平滑化フィルタ強度を強く、フィルタ処理の適用画素範囲を広くするようにフィルタの切り替えを行うことでブロック歪みの低減を行う。
【００３０】
このように、ブロック歪みの有無及び強度により複数のエッジ保存型平滑化フィルタを切り換えて適用することで、ブロック歪み部分及びブロック歪み部分に近接する部分に輪郭部が存在するような状況でも、輪郭部を残したままブロック歪み低減を的確に行うことができる。（元の再生画像に悪影響を与えることなくブロック歪み低減を的確に行える。）
本発明による装置は、上記のようにブロック単位符号化方式により符号化された画像データを再生する復号機器に組み込んで使用してもよいし、既存の復号機器が出力するブロックノイズを含む復元画像データを入力とする独立したブロックノイズ低減装置として使用しても勿論よい。
【００３１】
また、本発明は、ソフトウェアによる実現も可能であり、DSP（デジタルシグナルプロセッサ）等による実現も可能である。即ち、本発明は上述したブロック歪み低減機能をコンピュータに実現させるためのブロック歪み低減用プログラムを含むものである。
【００３２】
図５に、本発明のブロック歪み低減用プログラムの一実施例を適用したデジタル画像データ再生プログラムのフローチャートを示す。（なお、このプログラムによる動作は上述したMPEG復号装置での動作と同様であるので、図５に示す各ステップの詳細な説明はここでは省略する。）
図５に示す動作が開始されると、まず、ステップ５１にて符号化データの入力を受け付け、ステップ５２にて入力符号化データは復号化処理により画像データに復元される。
【００３３】
次からブロック境界単位の処理となり、ステップ５３にてブロック歪み検出情報及びブロック歪み強度情報を作成する。次の判断５４にて、ブロック歪み検出情報により歪みが検出された場合はステップ５５に、検出されなかった場合は、ステップ５４〜５５を飛ばす。
【００３４】
ステップ５５ではブロック歪み強度情報によりフィルタ強度の切り替えを行い、ステップ５６にてエッジ保存型平滑化フィルタを適用することでブロック歪みの低減が行われる。最後に、ステップ５７にてブロック歪みが低減された再生画像データが出力される。
【００３５】
なお、このプログラムは、記録媒体から読みとられてコンピュータに取り込まれてもよいし、通信ネットワークを介して伝送されてコンピュータに取り込まれてもよい。
【００３６】
また、図１に示すデコーダ１２の前段に受信インタフェースを設け、本発明実施例を適用したMPEG復号装置を、ストリーム等で伝送されてくる画像データを受信する受信装置として構成してもよい。
【図面の簡単な説明】
【００３７】
【図１】本発明の一実施例を適用したMPEG復号装置を示すブロック図である。
【図２】ブロック境界周辺の画素配置図である。
【図３】本発明の一実施例を適用したMPEG復号装置におけるブロック歪み検出処理の一例を示すフローチャートである。
【図４】εフィルタの適用画素とその周辺画素図である。
【図５】本発明の一実施例を適用したデジタル画像データ再生プログラムのフローチャートである。
【図６】従来のブロックノイズ低減方法を説明するためのフローチャートである。
【図７】εフィルタの処理を示すフローチャートである。
【図８】εフィルタの入出力特性を示す図である。
【図９】本発明の一実施例を適用したMPEG復号装置におけるブロック歪み低減処理の一例を示すフローチャートである。
【符号の説明】
【００３８】
１２  MPEGデコーダ
１３  ブロック歪み検出部
１４  ノイズ低減部
【図１】
2005079617.tif 000008
【図２】
2005079617.tif 000009
【図３】
2005079617.tif 000010
【図４】
2005079617.tif 000011
【図５】
2005079617.tif 000012
【図６】
2005079617.tif 000013
【図７】
2005079617.tif 000014
【図８】
2005079617.tif 000015
【図９】
2005079617.tif 000016