(57)【要約】【課題】  デブロック処理とデリンギング処理を効率的に行い、消費電力を低減させる。【解決手段】  水平デブロック処理部６１及び垂直デリンギング処理部６２を１組、垂直デブロック処理部７１及び水平デリンギング処理部７２を１組として、処理データ量が所定値より大きくない場合に一方の組の処理を行った後に外部共有メモリ１に書き込み、外部共有メモリから読み出したデータに対して他方の組の処理を行い、処理データ量が所定値より大きい場合にいずれか一方の組の処理のみを行う。【選択図】  図１
2006129086.tif 000002
【特許請求の範囲】
【請求項１】
映像データをブロックごとに分割して周波数変換して量子化した圧縮データのノイズを低減させるノイズ低減装置において、
前記ブロックごとに分割した映像データの水平方向のみのブロック境界を検出してブロックノイズを検出して低減させる水平デブロック処理手段と、
前記ブロックごとに分割した映像データの垂直方向のみのエッジを検出してエッジノイズを検出して低減させる垂直デリンギング処理手段とを、
備えたことを特徴とするノイズ低減装置。
【請求項２】
映像データをブロックごとに分割して周波数変換して量子化した圧縮データのノイズを低減させるノイズ低減装置において、
前記ブロックごとに分割した映像データの垂直方向のみのブロック境界を検出してブロックノイズを検出して低減させる垂直デブロック処理手段と、
前記ブロックごとに分割した映像データの水平方向のみのエッジを検出してエッジノイズを検出して低減させる水平デリンギング処理手段とを、
備えたことを特徴とするノイズ低減装置。
【請求項３】
映像データをブロックごとに分割して周波数変換して量子化した圧縮データのノイズを低減させるノイズ低減装置において、
前記ブロックごとに分割した映像データの水平方向のみのブロック境界を検出してブロックノイズを検出して低減させる水平デブロック処理手段と、
前記ブロックごとに分割した映像データの垂直方向のみのエッジを検出してエッジノイズを検出して低減させる垂直デリンギング処理手段と、
前記ブロックごとに分割した映像データの垂直方向のみのブロック境界を検出してブロックノイズを検出して低減させる垂直デブロック処理手段と、
前記ブロックごとに分割した映像データの水平方向のみのエッジを検出してエッジノイズを検出して低減させる水平デリンギング処理手段と、
前記水平デブロック処理手段及び垂直デリンギング処理手段を１組、前記垂直デブロック処理手段及び水平デリンギング処理手段を１組として、処理データ量が所定値以下の場合に一方の組の処理を行った後にメモリに書き込み、前記メモリから読み出したデータに対して他方の組の処理を行い、処理データ量が所定値より大きい場合にいずれか一方の組の処理のみを行うように制御する制御手段とを、
備えたことを特徴とするノイズ低減装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像データをブロックごとに分割して周波数変換し、量子化した圧縮データのノイズを低減させるノイズ低減装置に関する。
【背景技術】
【０００２】
静止画や動画を圧縮する際に使用するＤＣＴによって画質を落とすノイズが発生することは前々から言われている。ＤＣＴがブロックごとに計算するため、削除するＤＣＴ係数の閾値を上げるとブロック間で隣り合う画素値に格差が生じることがある。これをブロックノイズという。また、ＤＣＴの高域成分を粗く量子化することによって輪郭部分の周りに蚊が飛んでいるように見えるノイズが乗ることがある。これをモスキートノイズという。これらのノイズは高圧縮をかければかけるほど発生しやすくなっている。このノイズを軽減し画質を高めるためにはブロック境界の歪を検出し、これを抑制する処理であるデブロック処理や、画像のエッジ部分に現れるリンギング、モスキートノイズを抑制する処理であるデリンギング処理を施すことが通例となっている。
【０００３】
従来例として、下記の特許文献１におけるデブロック処理は垂直と水平の２方向からの処理を１組として行う形を取り、同様にデリンギング処理も垂直と水平の２方向からの処理を１組として行う形を取っている。そして、図７に示すように垂直・水平の２方向からのデブロック処理を終了してからデリンギング処理を行っている。また、フラグで動作を抑えることも想定し、「デブロック」又は「デリンギング」処理全体を抑える形を取っている。よってフラグでのパターンは、４通り（「デブロック・デリンギング両方の処理を施す」、「デブロックのみ処理を施す」、「デリンギングのみ処理を施す」「両方とも処理をかけない」）となる。また、ソフトウェア上で処理を行うことを前提としており、それに必要なメモリは各処理開始前に必要な分だけ動的に確保し、データを処理・格納し、開放する必要がある。
【特許文献１】特開２０００−５９７６９号公報（要約書）
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、回路をハードウェア上で実装する際には小型化することが望ましく、回路規模を抑えるためには使用するメモリ規模を縮小することが一番である。またデブロック回路のみ、デリンギング回路のみだと、それに特化した処理しかなされないことになりかねない。両方行うと、それだけ回路の消費電力が大きくなる。
【０００５】
本発明は上記従来例の問題点に鑑み、映像データをブロックごとに分割して周波数変換して量子化した圧縮データのノイズを低減させるデブロック処理とデリンギング処理を効率的に行い、消費電力を低減させることができるノイズ低減装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明は上記目的を達成するために、
映像データをブロックごとに分割して周波数変換して量子化した圧縮データのノイズを低減させるノイズ低減装置において、
前記ブロックごとに分割した映像データの水平方向のみのブロック境界を検出してブロックノイズを検出して低減させる水平デブロック処理手段と、
前記ブロックごとに分割した映像データの垂直方向のみのエッジを検出してエッジノイズを検出して低減させる垂直デリンギング処理手段とを備えた。
【０００７】
また、本発明は上記目的を達成するために、
映像データをブロックごとに分割して周波数変換して量子化した圧縮データのノイズを低減させるノイズ低減装置において、
前記ブロックごとに分割した映像データの垂直方向のみのブロック境界を検出してブロックノイズを検出して低減させる垂直デブロック処理手段と、
前記ブロックごとに分割した映像データの水平方向のみのエッジを検出してエッジノイズを検出して低減させる水平デリンギング処理手段とを備えた。
【０００８】
また、本発明は上記目的を達成するために、
映像データをブロックごとに分割して周波数変換して量子化した圧縮データのノイズを低減させるノイズ低減装置において、
前記ブロックごとに分割した映像データの水平方向のみのブロック境界を検出してブロックノイズを検出して低減させる水平デブロック処理手段と、
前記ブロックごとに分割した映像データの垂直方向のみのエッジを検出してエッジノイズを検出して低減させる垂直デリンギング処理手段と、
前記ブロックごとに分割した映像データの垂直方向のみのブロック境界を検出してブロックノイズを検出して低減させる垂直デブロック処理手段と、
前記ブロックごとに分割した映像データの水平方向のみのエッジを検出してエッジノイズを検出して低減させる水平デリンギング処理手段と、
前記水平デブロック処理手段及び垂直デリンギング処理手段を１組、前記垂直デブロック処理手段及び水平デリンギング処理手段を１組として、処理データ量が所定値以下の場合に一方の組の処理を行った後にメモリに書き込み、前記メモリから読み出したデータに対して他方の組の処理を行い、処理データ量が所定値より大きい場合にいずれか一方の組の処理のみを行うように制御する制御手段とを備えた。
【発明の効果】
【０００９】
本発明によれば、デブロック処理とデリンギング処理を必要最低限で行うので、デブロック処理とデリンギング処理を効率的に行い、消費電力を低減させることができる。
【発明を実施するための最良の形態】
【００１０】
以下、図面を参照して本発明の実施の形態について説明する。図１は本発明に係るノイズ低減装置の一実施の形態を示すブロック図、図２は図１の処理Ａ部の構成を詳しく示すブロック図、図３は図１の処理Ｂ部の構成を詳しく示すブロック図、図４は図１のデブロック処理部の差分値検出を示す説明図、図５は図１のデブロック処理部の歪み抑制に使用される画素を示す説明図、図６は図２の空間３タップεフィルタに使用される画素を示す説明図である。
【００１１】
図１では、外部共有メモリ１に格納された処理対象となる領域の画素を、外部メモリコントロール部２により読み出して９本のラインメモリ部４に格納し、ラインメモリコントロール部３によりラインメモリ部４から所望のラインを読み出してセレクタ５により選択し、図２に詳しく示す処理Ａ部６又は図３に詳しく示す処理Ｂ部７によりデブロック、デリンギング処理を施す。処理Ａ部６又は処理Ｂ部７により処理されたデータはセレクタ８、出力フォーマット部９を経由して外部共有メモリ１に格納される。
【００１２】
ノイズ低減処理は２種類用意されている。１つは水平方向の境界に対するデブロック処理（水平デブロック処理部６１）と垂直方向に対するデリンギング処理（垂直デリンギング処理部６２）を行う（後述の文章ではこの処理ステージを処理Ａとする）。もう１つは垂直方向の境界に対するデブロック処理（垂直デブロック処理部７１）と水平方向に対するデリンギング処理（水平デリンギング処理部７２）を行う（後述の文章ではこの処理ステージを処理Ｂとする）。１回目の水平又は垂直方向のブロック領域を中心とした所定の領域ごとに処理を終了したデータは随時外部共有メモリ１へ書き戻される。その後、セレクタ５、８により、１回目のステージ処理後のデータに対して１回目のステージで行われた処理とは別の方向のブロック境界を中心とした所定の領域ごとにデータを読み出し、１回目とは異なる方の処理を行う。処理後のデータは随時外部共有メモリ１へ書き戻される。ラインメモリ部４にはフレーム単位又はフィールド単位で格納する。
【００１３】
また、９本のラインメモリ部４のうち、フィルタのタップ数に応じた本数のラインメモリを用いる。処理Ａの場合、垂直デリンギング処理にかける際に処理対象画素を中心として上下３個の画素を用いてエッジ検出を行うため、７本のラインメモリ（図２参照）を用いる。ラインメモリに格納するデータは、垂直方向に隣接する７ラインである（水平方向の所定の領域内における）。処理Ｂの場合、垂直デブロック処理の際に処理対象画素を中心として３×３のフィルタをかけるため、パラメータ抽出に用いる６ライン＋その上下１ライン（計８ライン）がまず必要となり、次に水平デリンギング処理の際に処理対象画素を中心として３×３のフィルタをかけるため、８ライン＋１ラインの計９本のラインメモリ（図３参照）を用いる。ラインメモリに格納するデータは、垂直方向に隣接する９ライン（水平方向の所定の領域内における）分である。
【００１４】
＜処理Ａ詳細＞
水平デブロック処理部６１と垂直デリンギング処理部６２の全体構成を図２に示す。図２において、入力画像信号は、Ｙ又はＣｂＣｒであり、１２８ビットのデータ幅を持つ。１サイクルで水平方向に隣接する１６画素ずつ、水平デブロック処理部６１におけるそれぞれ７本の差分値パラメータ算出部６１１と遅延部６１２に入力される。各差分値パラメータ算出部６１１では、差分値のパラメータを求め、その相互の関係から７本の水平εフィルタ６１３のそれぞれのタップ数と閾値を求め、各水平εフィルタ６１３に出力する。図４を参照して詳しく説明すると、左右のブロックの水平方向の境界において左側ブロックの右側境界の３画素Ｐ０、Ｐ１、Ｐ２と右側ブロックの左側境界の３画素Ｑ０、Ｑ１、Ｑ２を用いて以下のように注目画素Ｐ１、Ｑ１の差分値（Ｐ１、Ｑ１）を検出し、
差分値（Ｐ１、Ｑ１）＝（Ｐ０＋２×Ｐ１＋Ｐ２−Ｑ０−２×Ｑ１−Ｑ２）／４
差分値（Ｐ１、Ｑ１）が一定範囲内にある場合をブロック境界歪候補とする。差分値（Ｐ１、Ｑ１）が一定範囲より大きい場合はエッジである可能性が高いため、候補から除外する。１ブロック分について、この処理を行い、ブロック境界歪候補となる画素が一定数ある場合、ブロック境界歪とする。
【００１５】
水平デブロック処理部６１における各水平εフィルタ６１３では、各差分値パラメータ算出部６１１で設定されたタップ数、閾値と、遅延部６１２からの原信号によりεフィルタ処理を行う。すなわち、ブロック境界歪ありと判定されたブロック境界の画素について、歪抑制処理を行う。例えば図５に示す、ブロック境界の左側の画素Ｐ２について処理する場合、次式で表わされるフィルタ処理を行う。
Ｐ２' ＝ Ｐ２ −δ（Ｐ２、Ｐ３、Ｎ、ＴＨＲ）
ここで、ＴＨＲは固定の閾値であり、Ｎは弱処理／強処理で値が異なる固定値である。
【００１６】
また、弱処理／強処理の判定は以下の手順に従って行われる。
・境界に隣接する画素Ｐ２とＰ３の画素値の差分が大きい場合→エッジと判断し、処理は行わない。
・上記以外で、Ｐ１−Ｐ２あるいはＰ３−Ｐ４の画素値差分が大きい場合→ブロック境界のすぐ横がエッジである可能性があるため、境界画素（Ｐ２及びＰ３）のみ弱処理を行う。
・上記以外で、Ｐ１−Ｐ３及びＰ２−Ｐ４の画素値差分が大きい場合→境界付近がグラデーションになっている可能性があるため、６画素すべてに弱処理を行う。
・上記以外の場合→６画素すべてに強処理を行う。なお、水平εフィルタ６１３では、外部からの閾値を選択可能であり、また、外部から無処理を選択可能である。
【００１７】
垂直デリンギング処理部６２における垂直エッジ検出部６２１では、水平デブロック処理後の７つの信号に対して、その各信号に対して隣接するラインとの差分をとってエッジを検出し、また、この値から強処理／弱処理／無処理の判断を行う。デブロック処理と同様な隣接画素間の差分値検出からエッジを検出し、エッジからの距離によって空間３タップεフィルタ６２２のεフィルタ処理強度を決定する。エッジ近辺では処理を強く、エッジから離れるに従って処理を弱める。ただしエッジ自体には処理は行わない。
【００１８】
空間３タップεフィルタ６２２では、水平デブロック処理を行った７ラインの信号の中で処理の対象となる中心ラインに対してフィルタ処理を行う。中心ラインとそれに隣接するラインを用いて、中心ラインの各画素に対して空間３タップεフィルタ処理を行い、出力する。例えば図６に示すように３×３画素の中心画素である処理画素Ｐｘとそれに隣接する各画素との各差分を求め、差分値の平均を処理画素Ｐｘに加える。ただし差分値が一定範囲以上の場合は、閾値を差分値とする。閾値の値により処理の強度を変更することができ、閾値を大きくすると処理が強くかかる。なお、空間３タップεフィルタ６２２では、外部からの閾値を選択可能であり（セレクタ６２３）、また、外部から無処理を選択可能である（セレクタ６２４）。
【００１９】
＜処理Ｂ詳細＞
次に図３を参照して垂直デブロック処理部７１と水平デリンギング処理部７２について説明する。図３において、入力画像信号は、Ｙ又はＣｂＣｒで、１２８ビットのデータ幅を持つ。垂直デブロック処理部７１における差分値パラメータ検出部７１１では、垂直方向の境界に対する上下３ライン（計６ライン）において水平位相が同じ６画素から差分値のパラメータａ、ｂ、ｃを求め、その相互の関係から強処理／弱処理／無処理の判断を行い、εフィルタのタップ数と閾値を求め、空間３タップεフィルタ７１２に出力する。垂直デブロック処理部７１における空間タップεフィルタ７１２では、差分値パラメータ検出部７１１で設定されたタップ数と閾値、原信号により空間３タップεフィルタ処理を行う。なお、空間３タップεフィルタ７１２では、外部からの閾値を選択可能であり、また、外部から無処理を選択可能である。
【００２０】
水平デリンギング処理部７２における水平エッジ検出部７２１では、ラインメモリ（図３中では単にｌｍｅｍと記す）ｌｍｅｍ２に格納されている画素を対象として処理を行う。まず、ラインメモリｌｍｅｍｌ、ｌｍｅｍ２、ｌｍｅｍ３に格納されている水平方向に対して同位相の画素を用いて、ラインメモリｌｍｅｍ２の画素に対して垂直ＬＰＦ（係数：１、２、１）を掛ける。次に、垂直ＬＰＦ後の水平方向に隣接する７画素を用いて、それぞれ隣接する画素との差分をとり、この値から強処理／弱処理／無処理の判断を行う。
・水平デリンギング処理部７２における空間３タップεフィルタ７２２では、垂直デブロック処理後のラインメモリｌｍｅｍ２に格納されている画素に対して空間３タップεフィルタ処理を行い、出力する。なお、空間３タップεフィルタ７２２では、外部からの閾値を選択可能であり（セレクタ７２３）、また、外部から無処理を選択可能である（セレクタ７２４）。
【００２１】
ここで、処理Ａ部６と処理Ｂ部７のいずれか一方のみを設ければ、デブロック処理とデリンギング処理を必要最低限で行うので、デブロック処理とデリンギング処理を効率的に行うことができる。また処理Ａと処理Ｂを両方を行うように構成した場合、処理環境によってはこの処理Ａと処理Ｂを両方共通すことができない場合も起こり得る。例えば１０８０ｉや７２０ｐといったハイディフィニション（High Definition）画像を処理する際には外部共有メモリ１とのデータの送受信などで処理Ａ、Ｂを両方共通すことができない可能性もある。そういうときのために処理Ａだけ、又は処理Ｂだけ行うことも可能である。したがって、消費電力を低減させることができる。また、外部共有メモリ１、ラインメモリ部４を使用することによる回路規模を削減することができる。
【図面の簡単な説明】
【００２２】
【図１】本発明に係るノイズ低減装置の一実施の形態を示すブロック図である。
【図２】図１の処理Ａ部の構成を詳しく示すブロック図である。
【図３】図１の処理Ｂ部の構成を詳しく示すブロック図である。
【図４】図１のデブロック処理部の差分値検出を示す説明図である。
【図５】図１のデブロック処理部の歪み抑制に使用される画素を示す説明図である。
【図６】図２の空間３タップεフィルタに使用される画素を示す説明図である。
【図７】従来のノイズ低減装置を示すブロック図である。
【符号の説明】
【００２３】
１  外部共有メモリ
２  外部メモリコントロール部
３  ラインメモリコントロール部
４  ラインメモリ部
５、８  セレクタ
６  処理Ａ部
７  処理Ｂ部
９  出力フォーマット部
６１  水平デブロック処理部
６２  垂直デリンギング処理部
７１  垂直デブロック処理部
７２  水平デリンギング処理部
６１１  差分値パラメータ算出部
６１２  遅延部
６１３  水平εフィルタ
６２１  垂直エッジ検出部
６２２、７１２、７２２  空間３タップεフィルタ
６２３、６２４、７２３、７２４  セレクタ
７１１  差分値パラメータ検出部
７２１  水平エッジ検出部
【図１】
2006129086.tif 000003
【図２】
2006129086.tif 000004
【図３】
2006129086.tif 000005
【図４】
2006129086.tif 000006
【図５】
2006129086.tif 000007
【図６】
2006129086.tif 000008
【図７】
2006129086.tif 000009