(57)【特許請求の範囲】
【請求項１】
符号化効率が高い場合、その復号画像に発生するブロック歪やモスキート歪を軽減するため、直交変換を使用した高能率符号化伝送による復号画像を入力せしめて画像処理するデブロッキングフィルタにおいて、該フィルタが：入力を共通にする遮断特性の異なる少なくとも一つの低域通過フィルタと；入力画素値と前フレームの同一空間位置の画素値とのフレーム間差の絶対値を入力画素と隣接画素との画素値間差の絶対値で除して画像の動き量を求める手段と；求められた前記画像の動き量に応じ、前記少なくとも一つの低域通過フィルタ出力信号と前記共通の入力信号の中から、動き量が大きいほど通過帯域の狭い信号を選択して出力するよう、画素ごとに適応的に切替処理する信号切替手段と；を具備したことを特徴とするデブロッキングフィルタ。
【請求項２】
前記信号切替手段が、前記直交変換の係数の量子化ステップに対応する量子化パラメータを入力とし、前記量子化ステップの減少に伴い最も通過帯域の狭い前記低域通過フィルタの出力信号から順次に前記信号切替手段の選択肢から除外して選択肢の数を減少させるよう、量子化パラメータによる制限を行う制限手段を備えたことを特徴とする請求項１記載のデブロッキングフィルタ。
【請求項３】
前記動き量を求める手段が、前記フレーム間差の絶対値が予め定められた零を含まない第１のしきい値以下である場合にそのフレーム間差を零に置き換え、かつ、前記画素値間差の絶対値が予め定められた零を含まない第２のしきい値以下である場合にその画素値間差をその第２のしきい値に置き換えて、または、前記第２のしきい値への置き換えのみを行って、動き量を求める除算をおこなうよう構成したことを特徴とする請求項１または２記載のデブロッキングフィルタ。
【請求項４】
前記動き量を求める手段が、前記除算結果に平滑化処理を施す平滑化処理手段をさらに備えたことを特徴とする請求項３記載のデブロッキングフィルタ。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明はＤＣＴ（離散的コサイン変換）など直交変換を基幹技術とする高能率符号化画像（圧縮率の高い帯域圧縮画像伝送技術）の復号画像処理技術に係り、特に、符号化効率が高い場合に復号画像に発生するブロック歪やモスキート歪を低減するデブロッキングフィルタ処理技術に関するものである。
【０００２】
【従来の技術】
国際標準化機関であるＩＳＯ／ＩＥＣ  ＪＴＣ１／ＳＣ２９  ＷＧ１１の第４番目の研究フェーズとしてＭＰＥＧ−４があり、超高能率符号化方式の標準化作業が行われている。この研究の中でデブロッキングフィルタの検討も進められている。
【０００３】
このデブロッキングフィルタは未だ検討段階ではあるが、一例をあげれば、図７に太線で示すようなＶＯＰ（Video Object Plane) の境界２１近傍の画素Ａ，Ｂ，Ｃ，Ｄのうち前後の２画素または上下の２画素のみに低域通過処理を施すフィルタである。低域通過フィルタ処理が施される画素は図７において画素ＢとＣで、動き部分の有無とは無関係にそれぞれ値Ｂ1 とＣ1 で置き換えられる。
Ｂ1 ＝Ｂ＋Ｙ
Ｃ1 ＝Ｃ−Ｙ
だだし、Ｙ＝sign（Ｘ）×Max ｛０，｜Ｘ｜−Max （0, 0.2×｜Ｘ｜−Ｑp ) ｝ここで例えばMax （0, 0.2×｜Ｘ｜−Ｑp ）とは０と0.2 ×｜Ｘ｜−Ｑp のうち大きい方の値をとるという意味である。
また、Ｘ＝（３Ａ−８Ｂ＋８Ｃ−３Ｄ）／１６
Ｑp ：量子化パラメータ
sign（Ｘ）はＸの絶対値には無関係に次の値を与える関数である。
Ｘがプラスの値をとる場合は  sign（Ｘ）＝＋１
Ｘがマイナスの値をとる場合はsign（Ｘ）＝−１
Ｘがゼロの場合は            sign（Ｘ）＝０
【０００４】
一方、画像の動きに応じてフィルタの通過特性を変化させて、画像信号の性質に適応した良質の画像を再生し得るようにしたものとして、例えば、本願人の先の出願になる特開昭５８−２０５３７７号公報記載の「適応型時空間フィルタ」がある。
【０００５】
【発明が解決しようとする課題】
従来の技術で述べたデブロッキングフィルタは、画像のボケ発生防止を重視したため通過帯域を広くしており、ブロックの境界の２画素のみに適用するだけでは大きな効果は期待できなかった。ブロック歪やモスキート歪を効果的に低減するためには、より狭帯域の低域通過フィルタをブロックの境界の２画素だけでなく画素全体にわたって適用する必要がある。しかし、単純に狭帯域の低域通過フィルタを適用したのでは著しく画像がボケてしまう。
【０００６】
一方、画像の動きに応じてフィルタの通過特性を変える従来の動き適応型フィルタでは、動き部分の検出にはフレーム間差が用いられている。これは、内挿補間の画質は専らフレーム間差に依存するからである。しかし、後述するように画像に対する人の視覚特性を利用するためには動き量を動き部分の画面上の移動量としてとらえる必要がある。振幅の大きなエッジと振幅の小さなエッジでは同じ移動量でも異なるフレーム間差となるため、フレーム間差だけを用いてフィルタの通過特性を変える処理をそのままデブロッキングフィルタに適用することはできない。
【０００７】
従って本発明の目的は、これらの問題点を解決しつつ効果的にブロック歪やモスキート歪を低減できるデブロッキングフィルタを提供することにある。
【０００８】
【課題を解決するための手段】
この目的を達成するため、本発明に係るデブロッキングフィルタは、符号化効率が高い場合、その復号画像に発生するブロック歪やモスキート歪を軽減するため、直交変換を使用した高能率符号化伝送による復号画像を入力せしめて画像処理するデブロッキングフィルタにおいて、該フィルタが：入力を共通にする遮断特性の異なる少なくとも一つの低域通過フィルタと；入力画素値と前フレームの同一空間位置の画素値とのフレーム間差の絶対値を入力画素と隣接画素との画素値間差の絶対値で除して画像の動き量を求める手段と；求められた前記画像の動き量に応じ、前記少なくとも一つの低域通過フィルタ出力信号と前記共通の入力信号の中から、動き量が大きいほど通過帯域の狭い信号を選択して出力するよう、画素ごとに適応的に切替処理する信号切替手段と；を具備したことを特徴とするものである。
【０００９】
また、本発明のデブロッキングフィルタは、前記信号切替手段が、前記直交変換の係数の量子化ステップに対応する量子化パラメータを入力とし、前記量子化ステップの減少に伴い最も通過帯域の狭い前記低域通過フィルタの出力信号から順次に前記信号切替手段の選択肢から除外して選択肢の数を減少させるよう、量子化パラメータによる制限を行う制限手段を備える構成とすることができる。
【００１０】
さらにまた、本発明のデブロッキングフィルタは、前記動き量を求める手段が、前記フレーム間差の絶対値が予め定められた零を含まない第１のしきい値以下である場合にそのフレーム間差を零に置き換え、かつ、前記画素値間差の絶対値が予め定められた零を含まない第２のしきい値以下である場合にその画素値間差をその第２のしきい値に置き換えて、または、前記第２のしきい値への置き換えのみを行って、動き量を求める除算をおこなうよう構成することができる。
【００１１】
【発明の実施の形態】
画像に関する人の視覚特性について考察するに、一般的に画像はカメラの蓄積効果により（特別なシャッタを使用しない場合は、カメラは１／６０秒でシャッタを切るシステムと等価であるため蓄積効果が生じる）、動き部分はボケた画像として撮像されるが、視覚的にはボケて見えない。すなわち、視覚特性は、
▲１▼  動き部分に対し高域強調型の特性をもつ。
さらに同じブロック歪であっても、
▲２▼  静止部分の固定パターンはあまり目立たず動き部分の固定パターンが目につく。
しかも、符号化の際、ブロック歪やモスキート歪は動き部分に多く発生する。▲１▼は、画像をＶＴＲ等に録画し通常の速度でこれを再生してみるとそれほどボケで見えないのに、スチル再生すると動き部分が著しくボケて見えることで理解できる。▲２▼は、動き部分に発生した固定パターンは動き物体を目が追うことにより相対的に動いて見えるため、▲１▼の性質で高域が強調されることにより目立つようになることで説明できる。
【００１２】
このような視覚の性質を利用し、画像の動き部分の移動量（以下、動き量という）を検出し、動き量の激しい領域で狭い通過帯域の低域通過フィルタ、動きが緩やかになるにつれて徐々に広い通過帯域の低域通過フィルタ、さらに静止部分ではフィルタをかけないという手法を考えた（請求項１）。この手法は、高能率符号化デコーダの量子化パラメータによらず、デブロッキングフィルタ処理をデコーダ処理と独立に施せるという特徴がある。
【００１３】
また、高能率符号化方式による復号画像の画質劣化は原画像の内容に依存する。すなわち、符号化が難しい画像、易しい画像が存在する。符号化が易しい画像では、量子化ステップの細かい量子化処理が行われる確率が高く、ブロック歪やモスキート歪が発生する可能性は小さいため、低域通過フィルタ処理する必要性は小さい。一方、符号化が難しい画像では、量子化ステップの粗い量子化処理が行われる確率が高く、ブロック歪やモスキート歪が発生しやすいため、低域通過フィルタ処理する必要性が大きい。
【００１４】
そこで、デコーダから量子化特性（量子化ステップの細かい量子化を行うか粗い量子化を行うかを示す指標）を表わすパラメータを取り出し、これを用いて低域通過フィルタ処理に制限を設ければ、さらなる効果が期待できる（請求項２）。但し、この手法を用いるには、デコーダから量子化特性を表わすパラメータを出力してこれをデブロッキングフィルタの入力とすることが必要である。
【００１５】
【実施例】
以下添付図面を参照し実施例により本発明の実施の形態を詳細に説明する。
本発明デブロッキングフィルタの第１および第２の実施例を図１および図２にブロック線図として示す。従来技術におけるデブロッキングフィルタはブロック境界を介して隣接する２画素についてのみをフィルタ出力に置き換えていたが、本発明デブロッキングフィルタでは、フィルタをかけない信号（スルー）と遮断特性の異なるＮ個の低域通過フィルタを動き部分の移動量（動き量）により適応的に切り替え、全ての画素をこのフィルタ出力（スルーを含む）で置き換えている。
【００１６】
図１および図２でフィルタ１は最も通過帯域が広い低域通過フィルタ、フィルタ２は２番目に通過帯域が広い低域通過フィルタ、フィルタＮは最も通過帯域が狭い低域通過フィルタであり、動き量検出回路１はフレーム間差と画素間差をベースとした動き量の検出回路、切替器２，３は動き量検出回路出力またはさらに制限回路出力によりフィルタなしとフィルタ群の各出力の中からひとつを選択して出力するための切替器であり、制限回路４は量子化パラメータにより動き量を制限する回路である。
【００１７】
本発明の第１および第２の実施例で用いられている複数のフィルタ（フィルタ群）の構成例を図３に示す。図３は、２のベキ乗を分母とする簡単なフィルタで水平方向のデブロッキングフィルタ群を構成した例である。フィルタなし（フィルタ０）からフィルタ番号が大きくなるに従いより狭帯域なフィルタとなっている。このフィルタ群のインパルスレスポンスすなわちタップ係数を表１に示す。このフィルタ群では、表１の中心タップに相当する処理対象画素をその画素の動き量に応じてフィルタなし（フィルタ０）〜フィルタ７の出力に置き換えている。図３の遅延素子１Ｄ，２Ｄ，４Ｄ，６Ｄ，７Ｄおよび８Ｄはそれぞれ１，２，４，６，７および８画素遅延素子で、＋を丸で囲んだ記号は加算平均回路（加算して２で割る）である。
【表１】
0003792837.tif 000002
【００１８】
本発明の特徴は、前述したように動き部分の移動量（動き量）に応じて適応的に通過帯域の異なる低域通過フィルタ処理を行う点にあるが、通常のように、動き部分の検出にフレーム間差を用いたのでは、振幅の大きなエッジと振幅の小さなエッジで同じ動きでも異なる値を与えるため、本発明では、動き量がエッジの振幅によらない値となるよう考慮している。
【００１９】
エッジ振幅によらない動きとは動きベクトルに相当する。但し、ここでは動きベクトルの方向は必要なく、動きベクトルの大きさだけが必要である。画素単位に動きベクトルを求める方法の一つに勾配法がある。勾配法とは、図８にその原理を示すように、物体のエッジが移動しているとき、エッジの傾き＝（フレーム間差）／（動き量）すなわち、動き量＝（フレーム間差）／（エッジの傾き）なる関係があることを利用して、動き量をフレーム間差とエッジの傾きの比で求める動きベクトル検出法である。ここで、エッジの傾きとは画素間差であり、このとき、動きベクトルの大きさはフレーム間差と画素間差の比となる。なお、この関係が成り立つには、エッジがなまった波形であることが必要であるが、一般的な画像では動きエッジはカメラの蓄積効果によりなまっているので問題はない。
【００２０】
図８で曲線２２，２３はそれぞれ１フレーム前および現フレームのエッジの波形を表わし、矢印２４は動き量、直線２５，２６はそれぞれフレーム間差およびエッジの傾きを示している。
【００２１】
一般的な勾配法による動きベクトルの表現は、水平、垂直、時間方向の３次元画像の変化（微分）に直交する３次元ベクトルで与えられる。水平ｘ、垂直ｙ、時間ｔの位置における画像の振幅をＡ（ｘ，ｙ，ｔ）で表わすとき、前記３次元ベクトルは、
【数１】
0003792837.tif 000003
を満たす（Ｘ，Ｙ，Ｔ）で与えられる。通常、動きベクトルは１フレーム当りの値であるため、Ｔ＝１として（Ｘ，Ｙ）を求めればよい。
【００２２】
勾配法による動き量検出はブロック構造をもたず、いわば画素単位で動き量を検出できる長所がある反面、画像の平坦部または緩やかな変化部では、エッジの傾きがゼロまたは小さな値になり、除算の分母がゼロまたは小さな値となる演算が生ずる結果、画像に含まれるノイズの影響を受けやすいという欠点がある。そこで、ここでは次のようなしきい値処理を行いこの欠点を補っている。
【００２３】
・分子であるフレーム差は第１のしきい値以下の小さな値をゼロにする。
・分母であるエッジの傾きは第２のしきい値以下の小さな値はそのしきい値の値に置換する。
【００２４】
これらしきい値は、入力信号のノイズに相当する大きさに応じて予め定めておくが、入力が８ビットで表される一般的画像の場合は、５〜１０位の値が適当であることが経験的に確かめられている。
【００２５】
上記勾配法による水平方向の動き量検出の実施例を図４に示す。ただし、除算はハードウエアになじまず、ＲＯＭを用いたテーブル参照方式が現実的である。この場合２つのしきい値処理と除算をひとつの参照テーブルを用いて行うことができる。
【００２６】
図４で遅延素子２Ｄは２画素遅延素子、１フレーム遅延５は１フレームに相当する時間だけ遅延する回路、絶対値化回路６，７はそれぞれ絶対値を計算する回路、第１のしきい値処理回路８は予め定められた第１のしきい値以下の値を零にする回路、第２のしきい値処理回路９は零でない予め定められた第２のしきい値以下の値をそのしきい値の値とする回路、破線で囲まれた部分１０はＲＯＭで置き換え可能という意味、−を丸でかこんだ記号は減算器、÷を四角でかこんだ記号は第１のしきい値処理回路の出力を第２のしきい値処理回路の出力で割る除算回路、平滑化回路１１は２次元低域通過フィルタによる信号の平滑化処理結果に応じたフィルタ番号を出力する回路である。
【００２７】
上記勾配法で得られた動き量に対し、エッジの連続性とフレーム間差の空間的連続性を考慮して平滑化処理を施すと、さらにノイズに対する耐久性が強くなる。平滑化回路の実施例を図５に示す。平滑化回路は低域通過フィルタで実現でき、ここでは一例として３ライン×５画素の平均をとる２次元低域通過フィルタで構成した例を示した。そして、平滑化回路出力を図１または図２の切り替えるべきフィルタ群（スルーを含む）のフィルタの出力数に合わせるため、ＲＯＭによる第１の非線形処理を施している。図５の非線形処理回路１４はＲＯＭなどの参照テーブルによりフィルタ群の低域通過フィルタの出力数に基づくフィルタ番号を出力する回路である。例えば水平方向のフィルタ群として図３のフィルタ群を用いる場合の非線形処理は、平滑化回路出力を非線形処理回路１４に入力して、フィルタ番号を示すその出力を８レベル、すなわち、３ビットとする処理である。非線形処理回路１４で具体的にどのような入出力の対応関係を持たせるかはシステムに応じて実験的に定めればよい。但し、静止部分ではフィルタをスルーにすることが好ましい。
【００２８】
図５で遅延素子１Ｄ，１Ｈはそれぞれ１画素および１ライン遅延素子、加算平均回路１２，１３はそれぞれ信号の加算平均を行う回路、非線形処理回路１４はＲＯＭなどの参照テーブルによりフィルタ群の低域通過フィルタの出力数に合わせたフィルタ番号を出力する回路である。
【００２９】
次に復号画像の画質が原画像に依存することを利用したデブロッキングフィルタについて説明する。
ブロック歪やモスキート歪は原画像の内容に依存し、符号化が易しい画像では量子化ステップの細かい量子化処理が行われる確率が高く、これらの歪みは発生し難い。そこで、ＤＣＴなどの直交変換係数を量子化する量子化特性を表わすパラメータが、高能率符号化装置のデコーダから得られる場合に、このパラメータを利用して切り替えるべきフィルタ群の選択肢を制限することを考えた。
【００３０】
ここで、前述したように量子化パラメータは細かい量子化を行うか粗い量子化を行うかを示す指標であり、例えば、ＭＰＥＧ−２ビデオコーディング勧告ＩＳＯ／ＩＥＣ  １３８１８−２の場合では、量子化パラメータとしてｑｕａｎｔｉｓｅｒ＿ｓｃａｌｅ＿ｃｏｄｅやｑｕａｎｔｉｚｅｒ＿ｓｃａｌｅを用いることができる。
【００３１】
実施例を図６に示す。図６では、量子化パラメータを入力してＲＯＭによる第２の非線形処理を施すようにした実施例を示した。この実施例では、図３のフィルタ群および図５の平滑化回路を用いることを前提に、非線形処理回路１５の出力を８レベルすなわち３ビットとし、切り替えるべきフィルタ群のフィルタの出力数に合わせている。そして、非線形処理回路１５は、量子化パラメータの入力に応じて、量子化ステップの減少に伴い、選技し得る低域通過フィルタの最大のフィルタ番号を予め実験的に求めた対応関係に基づき減少させた上で、その最大のフィルタ番号を出力する。次に、最小値選択回路１６で、図５の動き量から得られたフィルタ番号と量子化パラメータから得られたフィルタ番号のうち、小さい方のフィルタ番号を出力する。こうすることにより、符号化がし易い画像（量子化ステップが細かい画像）では動き量が大きくても通過帯域の広い低域通過フィルタ（図３でフィルタ番号の小さい低域通過フィルタ）により処理がなされ、必要以上に画質劣化を招くことを防止することができる。図６の非線形処理回路１５も非線形処理回路１４とおなじくＲＯＭなどの参照テーブルを用いてフィルタ群の低域通過フィルタの出力数に合わせた制限後のフィルタ番号を出力するよう構成することができる。
【００３２】
以上本発明の実施の形態をいくつかの実施例により説明してきたが、本発明はこれら実施例に限定されることなく、発明の要旨内で各種の変形、変更が可能である。
【００３３】
例えば、本発明の実施例は水平方向のデブロッキングフィルタを例に述べたが、垂直方向のデブロッキングフィルタも画素遅延をライン遅延に、ライン遅延を画素遅延に置き換えて実現できる。実際には、水平方向のデブロッキングフィルタと垂直方向のデブロッキングフィルタをカスケードに接続して用いることになる。但し、垂直方向ブロック歪やモスキート歪は、テレビジョン画面が走査線構造を持つことから水平方向に比較して目立たない。このため、垂直方向の低域通過フィルタは水平方向の低域通過フィルタより広帯域でよい。また、切り替えて用いるフィルタの数も少なくてよい。
【００３４】
本発明実施の形態は、図３、表１に示す７種類の低域通過フィルタ（＋スルー）で実施する場合を例に説明したが、フィルタの個数は少なくともひとつ以上（スルーを含めて２つ以上）あればよく、その数と構成は問わない。
【００３５】
また、本発明実施の形態では、動き量の計算にあたり、分子であるフレーム差に第１のしきい値処理を施す例を説明したが、この場合の第１のしきい値の値はゼロであってもよい。すなわち、第１のしきい値処理は行わなくてもよい。
【００３６】
さらに、本発明実施の形態では、３ライン５画素の２次元低域通過フィルタで平滑化処理を行う例を説明したが、他の平滑化処理の手法として任意のタップ長の論理フィルタによるもの、低域通過フィルタによるもの、また、この両者のカスケード接続によるものなどが考えられる。
【００３７】
【発明の効果】
本発明は、ＤＣＴなど直交変換を基幹技術とする高能率符号化装置のデコーダにおいて符号化効率が高い場合に発生するブロック歪やモスキート歪を低減するデブロッキングフィルタに係わり、画像の動き量を検出して、動いている部分で狭い通過帯域の低域通過フィルタ、動きが遅くなるにつれてより広い通過帯域の低域通過フィルタ、さらに、静止部分はフィルタをスルーにするようデブロッキングフィルタを構成した。その結果、画像の静止部分ではフィルタ処理が施されず、動きが速くなるに従って次第に狭い通過帯域の低域通過フィルタ処理が画素ごとに施されるため、視覚特性を利用したデブロッキングフィルタ処理が実現でき、ボケ感を生ずることなく、効果的にブロック歪やモスキート歪を低減できるようになった。
【図面の簡単な説明】
【図１】本発明第１の実施例構成ブロック線図
【図２】本発明第２の実施例構成ブロック線図
【図３】フィルタ群の構成例ブロック線図
【図４】動き量検出回路の実施例構成ブロック線図
【図５】平滑化回路の実施例構成ブロック線図
【図６】量子化パラメータによる制限回路の実施例構成ブロック線図
【図７】従来技術におけるデブロッキングフィルタを説明する図
【図８】勾配法による動きベクトル検出の原理を説明する図
【符号の説明】
１  動き量検出回路
２，３  切替器
４  制限回路
５  １フレーム遅延
６，７  絶対値化回路
８  第１のしきい値処理回路
９  第２のしきい値処理回路
10  ＲＯＭ（リードオンリメモリ）
11  平滑化回路
12，13  加算平均回路
14，15  非線形処理回路
16  最小値選択回路
【図１】
0003792837.tif 000004
【図２】
0003792837.tif 000005
【図３】
0003792837.tif 000006
【図４】
0003792837.tif 000007
【図５】
0003792837.tif 000008
【図６】
0003792837.tif 000009
【図７】
0003792837.tif 000010
【図８】
0003792837.tif 000011