(57)【特許請求の範囲】
【請求項１】
方形ブロック単位で非可逆符号化され復号化された画像のブロック歪軽減方法において、
復号化された画像の符号化ブロックに該当するブロックで、処理対象ブロックに隣接する画素の一次元列である画素列を参照画素列とし、前記参照画素列に隣接する処理対象ブロック内の画素列について、画素列の方向に移動及び縮小拡大しながら前記参照画素列とのマッチングを求め、マッチングが最も良好となる最適移動及び縮小拡大値を決定する整合推定ステップと、
前記処理対象ブロック内の互いに隣り合った複数の画素列について、前記最適移動及び縮小拡大値を得た画素列とそれぞれの画素列の位置関係から、各画素列についての移動及び縮小拡大である画素シフト量を決定する画素列制御ステップと、
前記処理対象ブロック内で、各画素列の前記画素シフト量に合わせて、各画素列内の各画素を画素列の方向にリサンプリングして画素シフトを行う画像シフトステップと
を含むことを特徴とする符号化ブロック歪軽減方法。
【請求項２】
請求項１の符号化ブロック歪軽減方法であって、
前記画素列と空間的に直交する方向について、ブロック全体での隣接画素値の差とブロック境界部分の画素値の差の関係からブロック形状の歪量を求める歪評価を行う歪評価ステップを含み、
前記ブロック形状の歪量が所定値より大きな場合に前記画素シフトステップを実行することを特徴とする符号化ブロック歪軽減方法。
【請求項３】
方形ブロック単位で非可逆符号化され復号化された画像のブロック歪軽減装置において、
復号化された画像の符号化ブロックに該当するブロックで、処理対象ブロックに隣接する画素の一次元列である画素列を参照画素列とし、前記参照画素列に隣接する処理対象ブロック内の画素列について、画素列の方向に移動及び縮小拡大しながら前記参照画素列とのマッチングを求め、マッチングが最も良好となる最適移動及び縮小拡大値を決定する整合推定手段と、
前記処理対象ブロック内の互いに隣り合った複数の画素列について、前記最適移動及び縮小拡大値を得た画素列とそれぞれの画素列の位置関係から、各画素列についての移動及び縮小拡大である画素シフト量を決定する画素列制御手段と、
前記処理対象ブロック内で、各画素列の前記画素シフト量に合わせて、各画素列内の各画素を画素列の方向にリサンプリングする画素シフト手段と
を含む、符号化ブロック歪軽減装置。
【請求項４】
請求項３の符号化ブロック歪軽減装置であって、
前記画素列と空間的に直交する方向について、ブロック全体での隣接画素値の差とブロック境界部分の画素値の差の関係からブロック形状の歪量を求める歪評価手段を含み、
前記ブロック形状の歪量が所定値より大きな場合に画素シフト手段によりリサンプリングを行ない、画像をシフトさせる、符号化ブロック歪軽減装置。
【発明の詳細な説明】
【技術分野】
【０００１】
テレビジョン映像などの動画像信号を効率的かつ高画質に伝送、蓄積、表示するため、より少ない情報量で動画像信号を符号化する高能率符号化に関連し、画像を方形ブロック単位の処理で符号化復号化した場合に再生画像で生じるブロック状の歪を、再生画像に対する画像処理で軽減する符号化ブロック歪軽減処理に属する。
【背景技術】
【０００２】
＜画像符号化復号化とブロック歪の概説＞
動画像信号の符号化は、動き補償フレーム間予測符号化が一般的となっている。ＭＰＥＧに代表される国際標準規格もこの方式となっている。そこでは、方形ブロック単位での動き補償処理が行われ、予測残差は方形ブロック単位の処理であるＤＣＴ(離散コサイン変換)が行われる。これらの符号化は、基本的に非可逆符号化であり、ビットレートに応じて量子化を粗くする。その結果、量子化誤差が増加して、再生画像の画質劣化となるが、その劣化は符号化処理単位である方形ブロック状となる場合が多い。このようなブロック歪の原因としては、動き補償で生じたブロック歪が残留する場合と、ＤＣＴにおいて各係数が適正に再現されない場合の両方がある。
【０００３】
静止画像の符号化は、ＪＰＥＧ２０００など新しい規格では必ずしも方形ブロック単位の処理を行っていないが、静止画像の主流であるディジタルスチルカメラは、ＤＣＴを用いたＪＰＥＧ規格に準拠しており、情報圧縮率を高くした場合には動画像と同様にブロック歪を生じる。
【０００４】
＜従来例の符号化ブロック歪軽減の概説＞
図３は、符号化ブロック歪軽減の従来例構成を示したものである。この処理は一般的なものであるが、具体的な例としては、Ｈ．２６４（ＭＰＥＧ−４ＡＶＣ）規格の中でデブロックキングフィルタとして使われているものがある。
【０００５】
符号列入力１から入来する符号列は、画像復号化器２１で復号化され再生画像となり、可変水平ＬＰＦ(低域通過フィルタ)２２に与えられる。可変水平ＬＰＦ２２では、再生画像のブロック境界に対して水平方向にフィルタが施され、画像バッファ４に一旦蓄えられえる。続けて画像バッファ４から垂直方向に読み出された再生画像には、可変垂直ＬＰＦ２３でブロック境界に対して垂直方向にフィルタが施される。フィルタリングされた画像は画像出力６から出力される。
【０００６】
可変水平ＬＰＦ２２と可変垂直ＬＰＦ２３のフィルタリングは、ブロック間の境界部分に対してのみ施され、境界部分以外のブロック中央部はフィルタリングされない。このＬＰＦの高い周波数成分の抑圧の程度は、補正量判定器２４から与えられる制御情報に従って変更される。また、ここで用いられるフィルタは一般に非線形フィルタであり、フィルタリングにより画素値が大きく変化する場合は、作用が制限される。
【０００７】
一方、画像復号化器２１は、符号列に多重化されており、復号化の際にも用いる符号化(復号化)処理に関する情報を出力する。具体的には、画像間予測(マクロブロック)モードや量子化ステップ幅などで、それらの情報が補正量判定器２４に与えられる。補正量判定器２４は、符号化(復号化)情報により、適切なフィルタリングの程度を判定し、その情報を可変水平ＬＰＦ２２と可変垂直ＬＰＦ２３に与える。
【０００８】
このような制御が行われるのは、ブロック歪の軽減を行うためのフィルタリングが再生画像自体にも作用するので、フィルタリングが強いとディテールが消失しやすいためである。また、ブロック境界位置のみフィルタリングすると、その位置は画像の動きとは無関係なので、不自然な画像となる場合がある。これらの副作用を軽減するためには、符号化(復号化)方法で制御することが望まれるが、復号化処理の内部からその情報を取り出し、後処理に同期して供給することは、実装上容易ではない。
【０００９】
従来の符号化ブロック歪軽減は、ＬＰＦを基本としたブロック境界のスムージングであり、ブロック間の画素値(レベル)の非連続性を軽減するものとなっている。図４(ａ）にレベル(濃淡)歪として示されるディテールを含まない比較的平坦な部分でのブロック歪は、このような処理で軽減されるが、ブロック歪には図４(ｂ）に形状(位置)歪として示される様なものもある。このような形状(位置)歪は、動画像符号化ではズーミングなどで変形する画像に方形ブロックの動き補償を適用した場合や、動き補償の精度が不十分で、その予測残差が再現されない場合に生じやすい。静止画像符号化では、ＤＣＴで斜め高域成分が削除された場合に生じやすい。
【００１０】
このような形状(位置)歪は、従来のブロック歪軽減である画素値のスムージングでは、境界部の値の差が大きいので作用が制限され、軽減されない場合が多い。また、作用しても境界線と空間的に直交する方向へのフィルタリングなので、歪の軽減にはならない。
【発明の開示】
【発明が解決しようとする課題】
【００１１】
本発明は以上の点に着目してなされたもので、再生画像のブロック境界部分で、相対する画素列間の移動及び拡大縮小のマッチングをとって最適な移動及び拡大縮小値を決め、画素列ごとのリサンプリングで画素をシフトさせ、ブロックの形状自体を変化させることで、形状的に不連続となっているブロック歪までも軽減でき、高画質の再生画像が得られる符号化ブロック歪軽減方法及び符号化ブロック歪軽減装置を提供することを目的とする。
【課題を解決するための手段】
【００１２】
本発明は、上記従来技術の問題点に鑑みてなされたものであり、本発明は、方形ブロック単位で非可逆符号化され復号化された画像のブロック歪軽減において、復号化された画像の符号化ブロックに該当するブロックで、処理対象ブロックに隣接する画素の一次元列である画素列を参照画素列とし、それに隣接する処理対象ブロック内の画素列について、画素列の方向に移動及び縮小拡大しながらマッチングにより最適値を決定し、処理対象ブロック内の互いに隣り合った複数の画素列について、最適値を得た画素列とそれぞれの画素列の位置関係から、各画素列についての画素シフト量を決定し、処理対象ブロック内で画素列の画素シフト量に合わせて、各画素列内の各画素をリサンプリングすることで画素シフトを行う符号化ブロック歪軽減方法及び符号化ブロック歪軽減装置である。
【００１３】
また、本発明は、前記符号化ブロック歪軽減方法であって、画素列と空間的に直交する方向について、ブロック全体での隣接画素値の差とブロック境界部分の画素値の差の関係からブロック形状の歪量を求め、歪量が所定値より大きな場合にのみ前記画素シフトを行う符号化ブロック歪軽減方法及び符号化ブロック歪軽減装置である。
【発明を実施するための最良の形態】
【００１４】
＜符号化ブロック歪軽減の第１の実施の形態＞
本発明の第１の実施の形態符号化ブロック歪軽減について説明する。図１は、その構成を示したもので、図３の従来例とその構成要素は大きく異なる。図１には、図３と比較して、画像復号化器２１は無い、これは、本実施の形態では、符号化(復号化)の情報は用いためである。可変水平ＬＰＦ２２と可変垂直ＬＰＦ２３は、水平画素シフタ３と主直画素シフタ５に置き換わっている。その制御系は、まったく異なる。
【００１５】
従来例では、境界部分の画素値をフィルタリングによりスムージングしていたが、本発明の第１の実施の形態符号化ブロック歪軽減は、画素シフトによりブロック形状を変形させることで、ブロック間の連続性を改善するものである。そのブロックの関係は図５の(ａ）片方向順次に示されように、符号化(復号化)でのブロックと同じブロック位置・順番で処理が行わる。処理対象ブロックに対して、処理済である上と左のブロックが整合推定のために使われ、未処理である下と右は使われない。
【００１６】
＜主たる処理系の処理の流れ＞
画像入力１から入来する画像信号は、一旦画像バッファ２に蓄えられた後、水平画素シフタ３、水平整合推定器７に与えられる。画像バッファ２の出力は必要に応じてブロック単位となるが、ブロックの大きさは８×８画素とする。水平画素シフタ３は、８×８画素を垂直方向に分割し、水平８画素をひとつの画素列とし、垂直方向に８個の画素列を形成する。画素シフトは各画素列に対して行われるが、リサンプリング処理では、８画素より外の画素も用いられる。画素シフトの内容は、画素列制御器８から与えられる画素シフトの情報に従い、画素列ごとに変えられる。
【００１７】
このようにして、水平方向に変形した画像信号は、一旦画像バッファ４に蓄えられた後、垂直方向に読み出され、垂直画素シフタ５、垂直整合推定器９に与えられる。垂直画素シフタ３は、８×８画素を水平方向に分割し、垂直８画素をひとつの画素列とし、水平方向に８個の画素列を形成する。処理の考えは、水平画素シフタ３のものが垂直方向になる以外は共通である。ただし、垂直画素シフタ５の出力は、ブロック単位でなく、通常のラスタースキャン順であることが望まれる。このようにして、垂直方向にも変形した画像信号は、ブロック歪が軽減した画像信号として画像出力６より出力される。
【００１８】
＜整合推定から画素シフトまでの処理の詳細説明＞
水平整合推定器７は、画像バッファ２から隣接ブロックの画素も含めて、画像信号を得る。水平整合推定器７は、境界部分の位置ズレを検出するもので、隣接ブロックの境界部分において、隣接ブロック側の画素列を参照画素列とし、被処理ブロックの画素列を移動及び拡大縮小に対応した複数の信号を得て、参照画素列と比較する。画素列間で平均二乗誤差または絶対値誤差の合計を得て、その最も少ない移動及び拡大縮小を最適値とする。この処理は、ブロックマッチングによる動き推定が２次元ブロックで行っていたものを、一次元の画素列に置き換えたものである。得られた最適な移動及び拡大縮小値は、画素列制御器８に与えられる。
【００１９】
探索する移動及び拡大縮小は、図６の水平方向変化に対応させるものである。探索の範囲と精度は、末端画素で左右１.０画素移動する範囲で、(１／４)画素刻みで行う。この場合、左端の移動が９通り（０,±０.２５,±０.５,±０.７５,±１.０）、右端の移動が９通りなので、８１通りのパターンが存在する。画素列内の各画素は、末端画素の移動に合わせて均等に割り振られる。
【００２０】
画素列制御器８は、得られた最適な移動及び拡大縮小値から、各ブロック内の画素列の画素シフトを決定し、水平画素シフタ３に与える。画素シフトの求め方は図７に示されるが、隣接ブロック側の参照画素列を最適値とし、対象ブロック内の反対側の画素列８をシフト無しとする。間の画素列１から７は、画素列の位置に応じて線形補間して得たものとする。画素列は８個あり、参照画素列と反対画素列は８画素離れているので、画素列がひとつ変わると最適値の(１／８)倍シフト量が変わり、参照画素列に隣接する画素列は、最適値の(７／８)倍のシフト量となる。なお、参照画素列自体は、対象ブロックでないので、画素シフトは行われず、最適値でシフトされる画素列は存在しない。なお、画素列制御器１０は、使用する画素列が参照画素列に対して垂直方向のものである点を除き、主要な機能は、画素列制御器８と同様の処理を実行する。このため、本明細書では、詳細な説明を省略する。
【００２１】
水平画素シフタ７は、与えられた画素シフトに応じて、各画素列のリサンプルを行う。画素シフトにおいて、出力される画素の画面上の表示位置はあくまで固定なので、入力画像に作用するフィルタ係数をダイナミックに変化させる。最も簡単な例として線形補間の場合を図９に示すが、線形補間では画質劣化を生じやすいので、近隣４画素から８画素を用いて、リサンプルフィルタで処理することが望まれる。６画素から中央位置の画素を形成する例を図１０に示す。画素位置の精度は(１／８)画素単位程度で行う。画素の最大シフト量は１画素に満たないものとなっている。
【００２２】
＜符号化ブロック歪軽減の第２の実施の形態＞
本発明の動き補償画像符号化の第２の実施の形態について説明する。図２は、その構成を示したもので、図１の第１の実施の形態と同一構成要素には同一付番を記してある。図２には、図１と比較して垂直歪量評価器１５、水平歪量判定器１６が追加されている。また、画像バッファ１１、１２、画素列制御器１３、１４の入出力が、図１の画像バッファ２、４、画素列制御器８、１０と異なる。処理動作として異なるのは、歪量を観測して歪量が少ない場合には補正を行わない点である。
【００２３】
画像入力１から入来する画像信号は、一旦画像バッファ１１に蓄えられた後、水平画素シフタ３、水平整合推定器７、垂直歪量評価器１６に与えられる。画像シフタ３、水平整合推定器７の動作は同じである。
【００２４】
垂直歪評価器１５は、対象ブロックと上の隣接ブロックについての画像信号を画像バッファ２より得る。処理の様子は図１１に示されるように、対象ブロックの上半分の画素と隣接ブロックの下半分で、垂直方向に隣接する画素間で差分を取り、その平均二乗誤差または平均絶対値差を基準差分として求める。次にふたつのブロックの境界部分の画素間について同様に差分を取り、その平均二乗誤差または平均絶対値差(基準に合わせる)を境界差分として求める。その比(境界差分／基準差分)を求めて所定値と比較し、歪量が所定値より小さい場合は画素シフトを行わないように、画素列制御器１３に情報を与える。所定値は具体的には２.０などである。画素列制御器１３は、垂直歪評価器１１から与えられる垂直方向の歪量情報により、画素シフトの有無が制御される。
【００２５】
一方、水平歪評価器１６は、対象ブロックとその左のブロックについての画像信号を画像バッファ１２より得る。水平歪評価器１６の処理内容は、垂直歪評価器１５の垂直方向の処理が、水平方向に変わる以外は同様である。歪量が所定値より小さい場合は画素シフトを行わないように、画素列制御器１４に情報を与える。画素列制御器１４は、水平歪評価器１６から与えられる水平方向の歪に関する情報により、画素シフトの有無が制御される。
【００２６】
＜符号化ブロック歪軽減の第３の実施の形態＞
本発明の符号化ブロック歪軽減の第３の実施の形態について説明する。構成図は、図１の第１の実施の形態、図２の第２の実施の形態と変わらないが、非処理ブロックと隣接ブロックの関係が異なる。そのブロックの関係は図５の「(ｂ)チェッカードフラグ双方向」に示されるもので、処理されるブロックと処理されないブロックが交互に存在する。これはチェッカードフラグと呼ばれるパターンである。この場合、処理されるブロックの上下左右のブロックは処理されない。処理されるブロックでは、整合推定の位置と画素列制御の方法が第１の実施の形態と異なり、双方向で行われる。
【００２７】
水平整合推定器７、垂直整合推定器９での最適な移動及び拡大縮小値の求め方は、第１の実施の形態と基本的に同じであるが、水平整合推定器７では上ブロックとの隣接部分の他に下ブロックとの隣接部分に付いても、また垂直整合推定器９では左ブロックとの隣接部分の他に右ブロックとの隣接部分に付いても行う。画素列制御器８、１０での画素列シフト設定は、第１の実施の形態では反対側の画素列がそのままに固定されているのに対し、第３の実施の形態では水平方向について図８に示されるように両方が動かされ、途中は両方を結んだ形となる。
【００２８】
第３の実施の形態では、対象ブロックでない、上下左右の隣接ブロックについては、画素シフトがまったく行われない。つまり、半分のブロックではより積極的に補正が行われるが、残り半分のブロックについてはまったく補正が行われないことになる。
【００２９】
以上、説明したように、本発明は、再生画像のブロック境界で、画素列間の移動及び拡大縮小のマッチングを取り、画素列ごとのリサンプリングで画素シフトさせ、ブロック形状を変化させることで、動画像符号化ではズーミングなどで変形する画像に方形ブロックの動き補償を適用した場合や、動き補償の精度が不十分で、その予測残差が再現されない場合に、静止画像符号化では、ＤＣＴで斜め高域成分が削除された場合に生じやすい形状(位置)が不連続となっているブロック歪までも軽減でき、高画質の再生画像が得られる。
【００３０】
また、画素列と空間的に直交する方向に関して、ブロック境界部の差分を他の画素間の差分と比較することで歪量を評価し、歪量が小さい場合には画素シフトを行わないことで、不必要な形状変形を避け、誤変形による画質劣化や、ノイズで形状変形が不安定に変わることなく、的確なブロック歪軽減が可能になる。
【００３１】
本発明の符号化ブロック歪軽減方法および装置は、ＭＰＥＧデコーダ用のＬＳＩとして実装されることが好ましいが、同様の処理を実行するソフトウェア・モジュールによっても実現することができ、当該ソフトウェア・モジュールは、ハードディスク、ＣＤ−ＲＯＭ、ＤＶＤ、ＭＯ、フラッシュメモリ、ＥＥＰＲＯＭなどの装置可読な記録媒体に格納して頒布することができる。
【図面の簡単な説明】
【００３２】
【図１】本発明の第１実施の形態における符号化ブロック歪軽減の構成例を示す図である。
【図２】本発明の第２実施の形態における符号化ブロック歪軽減の構成例を示す図である。
【図３】従来例の符号化ブロック歪軽減の構成例を示す図である。
【図４】２種類のブロック歪の様子を示す図である。
【図５】本発明の符号化ブロック歪軽減処理でのブロック関係の様子を示す図である。
【図６】本発明の符号化ブロック歪軽減処理でのブロック形状変形の様子を示す図である。
【図７】本発明の第１実施の形態のブロック形状変化と画素シフトの様子を示す図である。
【図８】本発明の第２実施の形態のブロック形状変化と画素シフトの様子を示す図である。
【図９】本発明の実施の形態の位相フィルタによる画素シフトの様子を示す図である。
【図１０】本発明の符号化ブロック歪軽減における高次フィルタによる画素シフトの様子を示す図である。
【図１１】本発明の符号化ブロック歪軽減における境界歪量検出の様子を示す図である。
【符号の説明】
【００３３】
１…画像入力端子、２、４、１１、１２…画像バッファ、３…水平画素シフタ、５…垂直画素シフタ、６…画像出力、７…水平整合推定器、８、１０、１３、１４…画素列制御器、９…垂直整合推定器、１１、１５…垂直歪評価器、１２、１６…水平歪評価器、２１…画像復号化器、２２…可変水平ＬＰＦ、２３…可変垂直ＬＰＦ、２４…補正量判定器
【図１】
0004605091.tif 000002
【図２】
0004605091.tif 000003
【図３】
0004605091.tif 000004
【図４】
0004605091.tif 000005
【図５】
0004605091.tif 000006
【図６】
0004605091.tif 000007
【図７】
0004605091.tif 000008
【図８】
0004605091.tif 000009
【図９】
0004605091.tif 000010
【図１０】
0004605091.tif 000011
【図１１】
0004605091.tif 000012