(57)【要約】【課題】ビデオ・デブロッキングの方法及び機器【解決手段】　解凍後の画像における画像ブロック間のブロックアーティファクトを軽減するための方法を提供する。この方法は、画像ブロック間の境界線に近接した画素に対応する画素位置の集合を選択することから始まる。次に、解凍された画像を表示するときに挿入される追加フレームの量を判定する。次に、追加フレームの各々について、境界線に近接した画素の集合における各画素と関連付けられている画素値が修正される。次に、画像ブロック間のブロックアーティファクトが軽減されて見えるようにオリジナルフレームと追加フレームとが交互に表示される。【選択図】　　図８
2004120748.tif 000002
【特許請求の範囲】
【請求項１】
　デジタルデータと関連付けられている画像ブロック間の不自然な不連続性を平滑化する
ための方法であって、
　デジタルデータと関連付けられた画像ブロックのブロックベースの画素表現を再構築す
ることからなり、
　ブロックベースの画素表現における隣接画像ブロック間の差が量子化パラメータ以下な
らば、この方法では、
　　少なくとも一つの追加フレームを定義するために境界画素値を修正し、
　　隣接画像ブロック間のブロック境界が見た目に滑らかになるように少なくとも一つの
追加フレームとオリジナルフレームとを交互に表示することを特徴とする。
【請求項２】
　境界画素値は、隣接画像ブロック間の境界の対向する両側に位置する隣接画素位置間で
入れ替えられることを特徴とする請求項１に記載の方法。
【請求項３】
　量子化パラメータはデジタルデータを符号化する段階で設定されることを特徴とする請
求項１に記載の方法。
【請求項４】
　解凍後の画像における画像ブロック間のブロックアーティファクトを軽減するための方
法であって、
　画像ブロック間の境界線に近接した画素に対応する画素位置の集合を選択し、
　解凍後の画像を表示する際に挿入される追加フレームの量を判定し、
　追加フレーム各々について、境界線に近接した画素の集合における各画素と関連付けら
れた画素値を修正し、
　画像ブロック間のブロックアーティファクトが軽減されるようにオリジナルフレームと
追加フレームとを交互に表示することからなることを特徴とする方法。
【請求項５】
　追加フレームの量は少なくとも２つの追加フレームであることを特徴とする請求項４に
記載の方法。
【請求項６】
　追加フレームの量は一つの追加フレームであることを特徴とする請求項４に記載の方法
。
【請求項７】
　追加フレームの各々について、境界線と近接した画素の集合における各画素と関連付け
られた画素値を修正するオペレーションでは、
　画素集合の各画素が１フレーム置きに通電されることを特徴とする請求項６に記載の方
法。
【請求項８】
　さらに、境界線における画素の値間の差が最初に算出され、
　算出された差が量子化パラメータ以上ならば、方法を終了することを特徴とする請求項
４に記載の方法。
【請求項９】
　追加フレームの各々について、境界線と近接した画素の集合における各画素と関連付け
られた画素値を修正するオペレーションでは、
　各画素と関連付けられた画素値が、境界線に近接した画素と関連付けられた画素値の量
でもって、平均化されることを特徴とする請求項４に記載の方法。
【請求項１０】
　画素値の量はフィルタ係数の数に等しいことを特徴とする請求項９に記載の方法。
【請求項１１】
　フィルタ係数の数はフィルタのタップ数に等しいことを特徴とする請求項１０に記載の
方法。
【請求項１２】
　各画素と関連付けられた画素値を平均化する方法のオペレーションは、加重平均値を採
用することを特徴とする請求項１０に記載の方法。
【請求項１３】
　ビデオ画像のフレームにおける隣接ブロック間の境界の不連続性をフィルタリングする
ためのフレームレート変調法であって、
　a）ビデオ画像の第１フレームにおける隣接ブロック間の境界の両側にある隣接画素を
識別し、隣接画素は各々ある画素値と関連付けられ、
　b）隣接画素の画素値に基づいて隣接ブロック間の差を判定し、
　c）第１フレームにおける隣接画像ブロック間の差が量子化パラメータに満たなければ
、
　　隣接画素の各々の画素値が入れ替えられた第２フレームを定義し、
　　ブロック境界が滑らかになった画像を表示するために、各隣接画素と関連付けられる
画素値を交互に表示することによって各隣接画素と関連付けられた画素値を平均化するこ
とからなることを特徴とする方法。
【請求項１４】
　ビデオ画像のフレームにおける各境界画素について、前記オペレーションａ、ｂ、ｃが
実行されることを特徴とする請求項１３に記載の方法。
【請求項１５】
　ブロック境界が滑らかになった画像を表示するために、各隣接画素と関連付けられた画
素値を交互に表示することによって各隣接画素と関連付けられた画素値を平均化する方法
のオペレーションでは、
　隣接画素各々の画素値が１フレーム置きに通電されることを特徴とする請求項１３に記
載の方法。
【請求項１６】
　解凍された画像における画像ブロック間のブロックアーティファクトを減らすためのプ
ログラム命令を有するコンピュータ可読メディアであって、
　画像ブロック間の境界線に近接した画素に対応している画素位置の集合を選択するため
のプログラム命令と、
　解凍後の画像を表示するときに挿入される追加フレームの量を判定するためのプログラ
ム命令と、
　追加フレームの各々について、境界線に近接した画素の集合における各画素と関連付け
られた画素値を修正するためのプログラム命令と、
　画像ブロック間のブロックアーティファクトを最小限に抑えるようにオリジナルフレー
ムと追加フレームとを交互に表示するためのプログラム命令とを有することを特徴とする
コンピュータ可読メディア。
【請求項１７】
　追加フレームの量は１つの追加フレームであることを特徴とする請求項１６に記載のコ
ンピュータ可読メディア。
【請求項１８】
　追加フレームの各々について、境界線に近接した画素の集合における各画素と関連付け
られた画素値を修正するためのプログラム命令には、
　画素集合における各画素を１フレーム置きに通電するためのプログラム命令があること
を特徴とする請求項１７に記載のコンピュータ可読メディア。
【請求項１９】
　追加フレームの各々について、境界線に近接した画素の集合における各画素と関連付け
られた画素値を修正するためのプログラム命令には、
　各画素と関連付けられた画素値を境界線に近接した画素と関連付けられた画素値の量で
もって平均化するためのプログラム命令が入っていることを特徴とする請求項１６に記載
のコンピュータ可読メディア。
【請求項２０】
　画素値の量はフィルタ係数の数に等しいことを特徴とする請求項１９に記載のコンピュ
ータ可読メディア。
【請求項２１】
　解凍後の画像における画像ブロック間のブロックアーティファクトを軽減するためのロ
ジックを有する集積回路チップであって、
　画像ブロック間の境界線に近接した画素に対応している画素位置の集合を選択するため
のロジックと、
　解凍後の画像を表示するときに挿入される追加フレームの量を判定するためのロジック
と、
　追加フレームの各々について、境界線に近接した画素の各々と関連付けられた画素値を
修正するためのロジックと、
　画像ブロック間のブロックアーティファクトが軽減されるようにオリジナルフレームと
追加フレームとを交互に表示するためのロジックとを有することを特徴とする集積回路チ
ップ。
【請求項２２】
　集積回路チップはプリント回路基板上にあることを特徴とする請求項２１に記載の集積
回路チップ。
【請求項２３】
　追加フレームの各々について、境界線に近接した画素の各々と関連付けられた画素値を
修正するためのロジックには、
　境界線と近接した画素と関連付けられた画素値の量で、各画素と関連付けられた画素を
平均化するためのロジックがあることを特徴とする請求項２１に記載の集積回路チップ。
【請求項２４】
　デジタルビデオ画像を表示するための装置であって、
　中央処理ユニットと、
　画像データのフレームを保持するためのメモリと、
　画像デブロッキング回路とからなり、画像デブロッキング回路は、
　　画像データのフレームにおけるブロックの境界線に近接した画素の各々と関連付けら
れた画素値を修正して画像データの追加フレームを定義するための回路と、
　　追加フレームの各々について、境界線に近接した画素の各々と関連付けられている修
正後の画素値によって画像ブロック間のブロックアーティファクトが軽減されるように、
画像データのフレームと画像データの追加フレームとを交互に表示するための回路とを含
むことを特徴とする装置。
【請求項２５】
　画像データのフレームを表示するためのモニタを含むことを特徴とする請求項２４に記
載の装置。
【請求項２６】
　前記画像デブロッキング回路には、
　量子化パラメータを識別するための回路と、
　画像データのブロックで境界線にある画素値の差の量を判定するための回路と、
　量子化パラメータと画素値の差の量との差を判定するための回路とが含まれていること
を特徴とする請求項２４に記載の装置。
【請求項２７】
　前記装置は電池を電源とすることができるようになっていることを特徴とする請求項２
４に記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
　本発明は、一般的には、デジタルビデオ技術に関し、より具体的には、低ビットレート
ビデオ符号化によって発生する隣接画像ブロック間の不自然な不連続性を、不鮮明にして
しまうことなく平滑化するためのアルゴリズムに関する発明である。
【背景技術】
【０００２】
　ＭＰＥＧ−４やＩＴＵ−Ｔ　Ｈ．２６３など、今日の低ビットレートビデオ符号化の規
格には、ビデオ会議やビデオ電話などいろいろな用途を可能にするアルゴリズムが入って
いる。これらの規格並びにそうした規格を採用するシステムは、ビデオデータを圧縮する
にあたり、空間的冗長性だけでなく時間的冗長性も利用する。これらの規格はいろいろな
意味でかなり効果があるが、時には、ブロッキングアーティファクトとも呼ばれる、画像
ブロック間に不自然な不連続性が見える圧縮画像を生成することがある。これらのブロッ
キングアーティファクトは主に圧縮プロセスの量子化ステップに量子化によって生じる。
【０００３】
　図１は、画像データと関連付けられるブロッキングアーティファクトを絵的に表わした
概略図である。ここで、データのフレームfnは、画像データのフレームにおけるブロック
１とブロック２の間にある境界１０２を含んでいる。ブロック１は画素ａ及び画素ｂを含
んでいるのに対し、ブロック２は画素ｃ及び画素ｄを含んでいる。線１００は、画素ａ及
びｂに対する画素ｃ及びｄの画素値を表わす。例えば、線１００は、画素ｃ及びｄが値１
に対応し、画素ａ及びｂは値０に対応するのを表わしている。従って、復号化された映像
には、ブロック１及び２間の境界１０２にブロッキー現象（blocky effect）が現れる。
図２は、ブロッキー現象に起因するオリジナル輝度の歪みと比較したオリジナルの輝度（
intensity）を表わした図である。オリジナル輝度は、急に変わるのではなく、境界１０
２を横切って徐々にスムーズに上昇している。しかしながら、量子化による高周波数係数
の切捨てに起因して、解凍された画像ではブロッキー現象が観察される。
【０００４】
　ブロックベースのコーディングでは、画素の輝度が徐々に変化する原画像のモノトーン
領域がブロック境界を横切る急激な変化の影響が最も顕著で、ブロッキングアーティファ
クトが発生する。離散コサイン変換（ＤＣＴ）では、ＤＣＴ係数の量子化ステップのサイ
ズが可視性のしきい値以上になると、量子化に起因してＡＣ係数の除去によりグレースケ
ール値に不連続性が生じる。こうした不連続性はビデオ画像のフレームにおけるブロック
間の境界ではっきりと目に見えるようになる。
【０００５】
　静止画像コーディング並びにビデオコーディングにおいていろいろなデブロッキングス
キームが提案されており、デブロッキングスキームのほとんどが空間領域（spatial doma
in）で低域フィルタ（low pass）を用いている。ブロッキングアーティファクトは必ずブ
ロック境界にあるという前提のもとに、ブロッキングアーティファクトを軽減するための
よく知られた方法は、凸集合への交互射影法（POCS: projection onto convex sets）の
理論に基づいている。しかしながら、この方法は、反復構造（iteration structure）で
収束時間が長いため、静止画像にしか使えない。
【０００６】
　ビデオコーディングでは、指定のビットレートを維持するために、変換された係数を正
しく量子化しなければならない。量子化の結果、再構築された画像にブロッキー現象が現
れる。このアーティファクトははっきりと目に見えるので、画質を著しく劣化させる。画
質の向上を図る一案は、例えば、空間領域に低域フィルタを用いるなど、復号化した後の
ビデオデータに後処理のステップを用いることである。しかしながら、現在の後処理ステ
ップには、受信装置における所要総計算力の約３０〜４０％を必要とするという問題があ
る。そして、このタイプの電力消耗は、モバイル端末、つまり、薄膜トランジスタ（ＴＦ
Ｔ）技術や、スーパーツイストネマチック（ＳＴＮ）、及びモバイルデジタル薄膜ダイオ
ード（ＭＤ−ＴＦＤ）を組み込んだ端末など、電池式のコンシューマエレクトロニクスに
とっては受容れがたいほど大きい。現在採用されている低域フィルタのもう一つの欠点は
、フィルタリングの時間量に起因して画像の表示に著しい遅れが生じる可能性があること
である。この遅れは、携帯用電子計算システムに関して言えば、こうしたデバイスを制御
する埋め込み型システムのリソースに限りがあるために、特に顕著になる。
【０００７】
【特許文献１】米国再発行特許発明第6,285,801号明細書
【特許文献２】米国再発行特許発明第6,226,050号明細書
【発明の開示】
【発明が解決しようとする課題】
【０００８】
　そこで、先行技術の問題を解決し、電力並びに時間の観点からブロック状アーティファ
クトをより効率的に軽減するリアルタイムアプリケーション用の後処理アルゴリズムを可
能にするための方法及び機器を提供することが求められている。
【課題を解決するための手段】
【０００９】
　大まかに言えば、本発明は、局所特性に基づいて適応非線形フィルタリングによりブロ
ッキングアーティファクトを減らすための方法並びに機器を提供することでこうしたニー
ズに応えるものである。なお、本発明の実現には、方法として、システムとして、あるい
はデバイスとして、といった具合にいろいろな実施方法がある。本発明の実施例をいくつ
か以下に説明する。
【００１０】
　一つの実施例において、デジタルデータと関連付けられる画像ブロック間の不自然な不
連続性を平滑化するための方法を提供する。この方法は、デジタルデータと関連づけた画
像ブロックのブロックベースの画素表現を再構築することから始まる。次に、ブロックベ
ースの画素表現における隣接画像ブロック間の差が量子化パラメータ以下かどうかを判定
する。ブロックベースの画素表現における隣接画像ブロック間の差が量子化パラメータ以
下ならば、この方法では、少なくとも一つの追加フレームを定義するために境界の画素値
を先ず修正した後、平滑なブロック境界になるようにその少なくとも一つの追加フレーム
とオリジナルフレームが交互に表示される。そうすると、見た目には空間平均化と同じ効
果がある。
【００１１】
　もう一つの実施例では、解凍された画像の画図ブロック間のブロックアーティファクト
を減らすための方法を提供する。この方法は、画像ブロック間の境界線に近接した画素に
対応する画素位置の集合を選択することから始まる。次に、解凍後の画像を表示する際に
挿入される追加フレームの量を判定する。次に、境界線と近接した画素の集合における各
画素と関連させた画素値が追加フレーム毎に修正される。次に、画像ブロック間のブロッ
クアーティファクトが軽減されるように、オリジナルフレームと追加フレームとが交互に
表示される。
【００１２】
　また別の実施例では、ビデオイメージのフレームにおける隣接するブロック間の境界に
ある不連続性をフィルタリングするためのフレームレート変調法を提供する。この方法は
、ビデオイメージの第１フレームにおける隣接ブロック間の境界の両側に位置する隣接画
素を識別することから始まる。隣接画素の各々には画素値が関連付けられている。次に、
隣接ブロック間の差が判定される。第１フレームの隣接画像ブロック間の差が量子化パラ
メータ以下ならば、この方法では、隣接画素毎に画素値が入れ替えられた第２フレームを
先ず定義した後、ブロック境界が平滑になった画像を表示するために各隣接画素と関連付
けられた画素値を交互に表示することによって各隣接画素と関連付けられた画素値を平均
化する。
【００１３】
　さらに別の実施例では、解凍された画像における画像ブロック間のブロックアーティフ
ァクトを減らすためのプログラム命令を有するコンピュータ可読メディアを提供する。こ
のコンピュータ可読メディアは、画像ブロック間の境界線に近接した画素に対応する画素
位置の集合を選択するためのプログラム命令を含んでいる。解凍後の画像を表示する際に
挿入される追加フレームの量を判定するためのプログラム命令を提供する。追加フレーム
毎に境界線に近接した画素の集合における各画素と関連付けられた画素値を修正するため
のプログラム命令を含んでいる。画像ブロック間のブロックアーティファクトが軽減され
るように、オリジナルフレームと追加フレームとを交互に表示するためのプログラム命令
も含んでいる。
【００１４】
　また別の実施例では、解凍された画像における画像ブロック間のブロックアーティファ
クトを軽減するためのロジックを有する集積回路チップを提供する。この集積回路チップ
には、画像ブロック間の境界線に近接した画素に対応する画素位置の集合を選択するため
のロジックと、解凍後の画像を表示する際に挿入される追加フレームの量を判定するため
のロジックとが入っている。追加フレーム毎に境界線に近接した画素それぞれと関連付け
られた画素値を修正するためのロジックも含まれている。画像ブロック間のブロックアー
ティファクトが軽減されるように、オリジナルフレームと追加フレームとを交互に表示す
るためのロジックも含んでいる。
【００１５】
　さらに別の実施例では、デジタルビデオ画像を表示するための装置を提供する。この装
置は、中央処理ユニット（ＣＰＵ）及び画図データのフレームを保持するためのメモリを
有する。この装置は画像デブロッキング回路も有する。画像デブロッキング回路には、画
像データのフレームにおけるブロックの境界線に近接した画素それぞれと関連付けられた
画素を修正して画像データの追加フレームを定義するための回路がある。画像ブロック間
のブロックアーティファクトが軽減されるように、オリジナルフレームと追加フレームと
を交互に表示するための回路も含んでいる。
【００１６】
　本発明のその他の態様及び効果については、発明の原理を例をあげて説明している添付
の図面と共に、以下に述べる詳細な説明を読めば明らかになる。
【発明を実施するための最良の形態】
【００１７】
　以下、本発明の実施形態を図面に基づいて説明する。
【実施例１】
【００１８】
　発明を、画像データにおけるフレームの境界にある不連続性を平滑化するための機器並
びに方法として説明する。しかしながら、当業者であれば、これらの具体的な詳細を部分
的に、あるいは全く知らなくても本発明を実施することができることは容易に分かる。そ
の他の場合には、本発明を不要に不明瞭にしないため、よく知られているプロセスのオペ
レーションについての説明を省く。図１及び２については「従来の技術」の項で説明した
。
【００１９】
　本発明の実施例は、好ましくないブラー（ぼやけ）を生じさせずに、画像ブロック間の
不自然な不連続性（ブロッキングアーティファクト）を平滑化するためのアルゴリズムを
提供する。以下にさらに説明するが、本発明は機器、方法、あるいは命令プログラムとし
て実施することができる。本発明の実施例を低ビットレートのビデオ符号化アプリケーシ
ョンに関して説明しているが、実施例は、適していればどんなビデオ符号化アプリケーシ
ョンにも適用することができる。
【００２０】
　１実施例では、画像ブロック間のブロッキングアーティファクトを平滑化するためにフ
レームレート変調を採用している。広く知られているように、フレームレートとは、フラ
ットパネルディスプレイなどで画面をリフレッシュする頻度である。概して、携帯用の装
置に最も広く使用されているフラットパネルディスプレイであるスーパーツイストネマチ
ック型（ＳＴＮ）液晶ディスプレイ（ＬＣＤ）パネルでは、その応答時間は数百ミリ秒台
である。そうした応答時間の遅いパネルは、これらのパネルのリフレッシュレート期間が
一般に１６ミリ秒（ms）程度になることを考えると、パネルの応答時間がパネルのフレー
ムレート期間より大きくなってしまう。そこで、本発明の１実施例では、階調表示数を増
やすために、本明細書で説明するフレームレート変調は、ＳＴＮ　ＬＣＤパネルのこの差
を利用する。別の実施例では、０．５の階調を有する画素を表示するために、画素は１フ
レーム置きに通電される。つまり、2フレームで、各画素が一度交互にオンになる。言い
換えれば、画素が常時オン状態になると、階調が画素の輝度の５０％に見えるように画素
は２フレームごとに表示される。
【００２１】
　図３は、本発明の１実施例による、ビデオ画像の隣接ブロック間のブロック不連続性の
平滑化を達成する交互表示モードを表わす概略図である。１次元表現１１０は、境界１１
２における隣接画素値平均化の結果を表わしている。従って、１次元表現１１８は初期フ
レームfnで、それにおいてブロック境界１１２は線１１６ａで表わされている画素値の変
化と対応している。図形１２０に表わされているように、初期フレーム１１８から、追加
フレームfn2が定義される。フレームfn2（１２０）は初期フレームfn（１１８）に類似し
ているが、フレームfn2（１２０）ではフレームfn（１１８）における画素位置Ｂ及び画
素位置Ｃの画素値が入れ替えられている。従って、フレームfnとフレームfn2が交互に表
示されると、見る人には図形１１０のフレームfn'と同じように見える。すなわち、見る
人には、図形１１０のフレームfn'に線１１４で表わされているように、画素位置Ｂにあ
る画素値及び画素位置Ｃにある画素値は画素位置Ｄの画素値と比べ約５０％少なく見える
。従って、画素値の推移によってブロック境界に急なはね上がりが生じるときのブロック
現象を最小限にするために、境界線１１２におけるブロック不連続性を平滑化する。
【００２２】
　別の実施例では、図形１２２及び１２４で示したフレームを交互に表示することで境界
１１２における画素値が平滑化される。図形１２２において、初期フレームは画素位置Ｂ
の画素値が画素位置Ｃのところに置き換えられている。図形１２４で定義された第２フレ
ームでは画素位置Ｃの画素値が画素位置Ｂに使用されている。なお、図形１２２及び１２
４で表わされたフレームを交互に表示することで、見る人には図形１1０に示されたフレ
ームfn'を見るのと同じようになる。そこでは、画素Ｂ及び画素Ｃの境界の画素値が画素
Ｄの画素値の約５０％である。当業者であれば、フレーム数を変更してどんな階調でも達
成できることは明らかである。１実施例では、ディザマトリックスの大きさが十分である
限り、階調数はディザマトリックスの階数に等しい。
【００２３】
　図４は、ブロック境界におけるブロッキングアーティファクトに対する平滑化の影響を
表わした図である。図形１３０は、画素１３４−４〜１３４−６を有する第２ブロックの
画素と比較した画素１３４−１〜１３４−３を有する第１ブロックの画素値を示している
。図６及び図７でさらに詳細に説明するが、一実施例では、ブロック状アーティファクト
が最小限に抑えられるように、復号化された画素１３４−１〜１３４−６が平均化、つま
り、平滑化される。従って、ブロック境界１１２での急な推移がゆるやかな推移に変わり
、ブロッキングアーティファクトを軽減する。一実施例では、差（Ｄ）が量子化パラメー
タ（ＱＰ）よりも小さければ、本明細書の実施例で説明しているように、復号化された画
素だけがフィルタリングされる。差（Ｄ）がＱＰ以上ならば、ブロック境界１１２での急
な推移は本当のエッジとみなされるので、フレームレート変調を用いたフィルタリングは
実行されない。当業者であれば、量子化パラメータは符号化の段階で設定されることが分
かるだろう。
【００２４】
　図５は、図３に示した実施例の一つを１次元で表わしたもう一つの図である。ここでは
、オリジナルフレームfn（１４０）の画素Ｄ及びＥの位置間に発生する不連続性、つまり
、ブロッキングアーティファクトを平滑化するために先に説明したフレームレート変調が
用いられる。フレームfn1（１４４）とfn2（１４６）を交互に表示してフレームfn'（１
４２）に示されている平滑なブロック境界を達成する。なお、fn1は画素Ｄ及びＥの境界
画素値が入れ替えられているが、fn2はオリジナルのブロック状信号fn（１４０）である
。時間平均化がfn1（１４４）及びfn2（１４６）を交互に表示して達成されているので、
結果として生じる画像fn'（１４２）は、見た目には低域フィルタでフィルタリングされ
た画像と同じで、画素位置Ｄ及びＥの画素値が共に平均化されている。従って、ここで説
明したフレームレート変調は時間のかかる、退屈な空間域低域フィルタリングを不要にし
、それと同時に視覚的に同じ結果を得ることができる。
【００２５】
　図６は、発明の一実施例において、５タップの低域フィルタの効果を有するフレームレ
ート変調を用いてブロッキングアーティファクトを最小限にするためのスキームを１次元
で表わした図である。ここで、境界１１２にブロッキングアーティファクトがあるブロッ
ク状信号fn（１５０）はフレームfn'（１５２）で表わしたように平滑化されている。こ
の実施例では、オリジナルフレーム（１５４）が４つの追加フレームと交互に表示される
。４つの追加フレームfn2（１５６）、fn3（１５８）、fn4（１６０）、fn5（１６２）は
、フレームが交互に表示されると、見る人には境界が平滑に見えるように、ブロックの境
界線１１２の周囲にある画素の値を修正する。当業者であれば、ブロック境界が平滑に見
える効果を達成するために何回でも修正することができることが分かるだろう。すなわち
、図６で画素位置Ｂと画素位置Ｇとの間に起きる推移は２０％ずつの増分になっているが
、表示される追加フレームの数及び構成を変えて任意のパーセンテージの増分にすること
ができる。その上、図６では平滑化の対象を４つの画素位置（ＣからＦ）にしたが、平滑
化の対象となる画素位置の数はいくつでも構わない。言うまでもなく、ブロック境界にあ
る画素の値の差を測定し、その差を量子化パラメータと比較して、本当のエッジが平滑化
されないようにしている。差が量子化パラメータよりも大きければ、図４において説明し
た、本明細書に記載しているフィルタリングは実行されない。
【００２６】
　図７は、本発明の一実施例において、フレームレート変調を用いたデブロッキングの一
般例を１次元で表わした図である。フレーム（Fr）１７０はオリジナルのブロック状信号
を示している。ブロック１には画素位置ａ、ｂ、ｃ、ｄがある。ブロック２には画素位置
ｅ、ｆ、ｇ、ｈがある。なお、画素値を画素位置の大文字で表わしている。例えば、画素
位置ａは画素値Ａを有し、画素位置ｂは画素値Ｂを有するといった具合である。方程式１
８４は、本発明の一実施例におけるｎタップのフィルタの一般例を表わしたものである。
パラメータＮは方程式１８４の中括弧の中の値の合計を表わす。一実施例では、ユーザが
、ぼやける画素位置、つまり、平滑化の対象となる画素位置を選択する。例として、図７
では画素位置ｃ、ｄ、ｅ、ｆを平滑化の対象として選んだが、さらに多くの、あるいはも
っと少ない画素位置を選んでもいい。さらに、説明上、フレームレート変調を用いたデブ
ロッキングの一般例として５タップのフィルタで説明している。従って、選択された画素
は各々、ｎ＝５画素で平均化され、挿入されるフレームの数はｎ−１、つまり、ここでは
４として計算している。すなわち、４つの追加フレームが、オリジナルフレームに追加挿
入される。４つの追加フレームとは、フレーム１（１７２）、フレーム２（１７４）、フ
レーム４（１７８）、フレーム５（１８０）である。オリジナルフレームはフレーム３（
１７６）で表わされている。
【００２７】
　引き続き、図７において、フレーム１〜５（１７２〜１８０）は、各々が画素位置を表
わす画素値と関連付けられている。しかしながら、平滑化の対象として選ばれた画素位置
と関連付けられる画素値は既に修正されている。従って、画素値ｃと関連付けられる画素
値はいまやＡ、Ｂ、Ｃ、Ｄ、Ｅとなる。このように、画素位置ｃは５つの異なる画素値の
平均値からなるある値と関連付けられる。同様に、画素位置ｄと関連付けられる画素値は
Ｂ、Ｃ、Ｄ、Ｅ、Ｆである。分かるように、画素位置Ｅ及びＦも修正された画素値を有し
ている。言うまでもなく、より多く重みをある特定の画素値につける加重平均値など、ど
んなタイプの平均化でも採用することができる。なお、フレーム１〜５（１７２〜１８０
）を交互に表示すると、境界１１２における急な推移が見る人にとってはゆるやかな推移
に見える。見た目に滑らかな境界を図７に１次元のグラフ１８２で示した。従って、Ｎが
５とすると、低域フィルタリングされた画素位置ｃの値は（Ａ＋Ｂ＋Ｃ＋Ｄ＋Ｅ）／５に
なる。当業者であれば、これは時間域でＡ、Ｂ、Ｃ、Ｄ、Ｅを交互に表示することに相当
することが分かるだろう。フィルタリングされた画素位置ｄ、ｅ、ｆの値についても同じ
ことが言える。言い換えれば、ブロック１と関連付けられる画素値をゼロとしブロック２
と関連付けられる画素値を１としたとすれば、グラフ１８２における画素位置ａ及びｂの
各々と関連付けられる画素値はゼロである。画素位置ｃと関連付けられる画素値は１÷５
＝０．２、つまり、ブロック２の画素と関連付けられる画素値の２０％である。画素位置
ｄと関連付けられる画素値は２÷５で、４０％となる。同様に、画素位置ｅと関連付けら
れる画素値は６０％、画素位置ｆと関連付けられる画素値は８０％である。従って、ブロ
ック境界１１２での推移は、ゼロから１００％への急な推移ではなく、より滑らかな推移
に見える。実際、推移はゼロから１まで２０％の増分で段になっている。
【００２８】
　図８は、本発明の一実施例において、解凍後の画像における画像ブロック間のブロック
アーティファクトを軽減するための方法のオペレーションのフローチャートである。この
方法は、画素位置の集合を選択するオペレーション１９０から始まる。画素位置は、隣接
する画像ブロック間の境界線に近接した画素に対応している。ここで、画素位置は、図５
に示されているように、ブロック境界の両側にある２つの隣接する画素とすることができ
る。もしくは、図６及び７において説明したように、ブロック境界の両側の複数の画素と
することもできる。この方法は次にオペレーション１９２に進み、表示パターンに挿入さ
れる追加フレームの量が判定される。一実施例では、フィルタ係数が各々同じ重み付けに
なっている場合、表示パターンに挿入される追加フレームの量はフィルタ係数の数より１
少ない、つまり、フィルタのタップより１少ない。
【００２９】
　図８の方法は次に、オペレーション１９４に進み、そこで追加フレーム各々の境界線に
近接した画素それぞれと関連付けられる画素値が修正される。一実施例では、先に説明し
たようにフレームレート変調で画素値が操作される。例えば、図６及び７において説明し
たように、ブロック境界に近接する領域内でゆるやかなステップパターンになるように、
画素値を修正することができる。別の実施例では、図５において説明したように、各々が
ブロック境界の対向する両側にある２つの画素の位置の画素値を入れ替え又は逆にするこ
とができる。また別の実施例では、第１ブロックから復号化した後の画素の値と第２ブロ
ックから復号化した後の画素の値との差が量子化パラメータより小さいことを判定してか
ら画素値が修正される。この方法は次にオペレーション１９６に進み、オリジナルフレー
ム及び追加フレームが交互に表示される。従って、図５において説明したように、追加フ
レームが一つ挿入されている場合、各フレームは、ブロック境界における画素値に差があ
る場合にはゆるやかな推移にすることでブロックアーティファクトを軽減するために交互
に表示される。すなわち、この実施例では５０％の画素値に見えるようにするために１フ
レーム置きに通電される。なお、本書で説明している実施例はブロック境界全体に適用可
能である。例えば、あるブロックが両側に４つの他のブロックによって境界ができている
場合、ここで説明している画素平均化又は画素スワッピングは両側の選択された画素、つ
まり、各ブロック境界に適用することができる。
【００３０】
　図９は、本発明の一実施例による、画像デブロッキング回路を有する装置の簡約概略図
である。装置２００にはバス２０８でメモリ２０４及び画像デブロッキング回路と通信し
ているＣＰＵ２０２がある。装置２００は画像をモニタ２１０に表示する。言うまでもな
く、モニタ２１０は、装置２００を構成する一部でも、あるいはスタンドアローンのユニ
ットでも構わない。装置２００が、携帯電話、ウェブタブレット、パーソナルデジタルア
シスタントなど、モバイル端末の場合、画像デブロッキング回路２０６は電力消費を最低
限にすると同時にモニタ２１０に表示される画像のブロック状現象を軽減するように構成
される。一実施例では、デブロッキング回路２０６は、図３〜８において説明したように
、画像データのフレームにおける画像ブロック間の境界線を平滑化する。例えば、画像デ
ータのオリジナルフレームと画像データの追加フレームとを交互に表示して画像ブロック
間の境界線に近接する画素の値が平均化されるようにデブロッキング回路機構２０６を構
成することができる。その場合、画像データの追加フレームでは画像ブロック間の境界線
に近接した画素の値が既に変更されている。すなわち、表示される画像のブロッキングア
ーティファクトを最小限にするために先に説明したフレームレート変調がデブロッキング
回路２０６を用いて実行される。当業者であれば、装置２００をハードディスク、ネット
ワーク結合記憶装置など、記憶装置に接続されるように構成できることが分かるだろう。
もしくは、インターネットなど分散型ネットワークから画像データをダウンロードするよ
うに装置２００を構成してもいい。別の実施例では、画像デブロッキング回路を、ホスト
バスアダプタカードなど、プリント配線板に配置している。
【００３１】
　要約すれば、以上説明した発明は、ブロック境界における画素値の推移に起因するブロ
ッキー現象を最小限にするための方法並びにシステムを提供するものである。一実施例で
は、追加フレームを定義するためにブロック境界の対向する両側に位置する画素の画素値
が入れ替えられる。追加フレームはブロッキングアーティファクトを平滑化するためにオ
リジナルフレームと交互に表示される。オリジナルフレームと追加フレームとを交互に表
示することを本書ではフレームレート変調と呼んでいる。フレームレート変調によりブロ
ックアーティファクトが軽減された表示になる。別の実施例では、一つ以上の追加フレー
ムを定義するためにブロック境界両側の画素位置の数が入れ替えられる。ブロック状現象
を最小限にするために、ここでも、一つ以上の追加フレームはオリジナルフレームと交互
に表示される。但し、ブロック境界に真のエッジが定義されている場合には、平滑化アル
ゴリズムは実行されない。
【００３２】
　一つの実施例においては、第１ブロックから復号化された画素の値と第２ブロックから
復号化された画素の値との差によって真のエッジが判定され、その差が符号化の段階で設
定された量子化パラメータと比較される。より具体的に説明すれば、画素値の差が量子化
パラメータよりも大きい場合には、真のエッジがブロック境界に生じるので、この場合に
は平滑化アルゴリズムは実行されない。なお、本書で説明した実施例は、本当のエッジを
ぼやかさず、しかも空間域での退屈な低域フィルタリングをせずに、画像ブロック間のブ
ロッキングアーティファクトを減らすことができる。従って、復号化された信号の質より
も計算力のほうが優先される埋め込み型システムを用いるモバイルメディア端末機器や装
置では、電力を節約しそれと同時にブロッキングアーティファクトを減らす満足できる画
質を上述の実施例により実現することができる。
【産業上の利用可能性】
【００３３】
　上記の実施例を考えれば、本発明はコンピュータシステムに保持されたデータを必要と
するコンピュータでインプリメントされるいろいろなオペレーションを採用できることが
分かる。こうしたオペレーションには物理的数量の物理的な操作を要するオペレーション
がある。必ずしもそうとは限らないが、普通の場合、こうした数量は、保持、転送、組合
せ、比較、又はその他の操作の対象となることが可能な電気信号又は磁気信号の形になっ
ている。さらに、実行される操作は、生成、識別、判定、或いは比較といった用語を用い
て表現される。
【００３４】
　本発明をコンピュータ可読媒体上にコンピュータ可読コードとして実施することもでき
る。コンピュータ可読媒体は、データを保持して後からコンピュータシステムで読み出せ
るものならどんなデータ記憶装置でも構わない。コンピュータ可読媒体の例としては、ハ
ードドライブ、ネットワーク結合記憶装置（ＮＡＳ）、読み取り専用メモリ、ランダムア
クセスメモリ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープや、その他の光学記憶
装置や非光学式記憶装置などがある。コンピュータ可読コードを分散して保持し実行する
ためにコンピュータ可読媒体をネットワーク結合コンピュータシステムで分散することも
できる。
【００３５】
　はっきり理解できるように発明を或る程度詳細に説明してきたが、添付した特許請求の
範囲から逸脱することなく一定の変更及び修正を実施できることは明らかである。従って
、本発明の実施例はあくまで説明のためであり限定するものではない。また、発明を本書
に述べた詳細に限定するべきものではなく、添付の特許請求の範囲の範囲内及び特許請求
の範囲と同等の範囲内で修正することができる。
【図面の簡単な説明】
【００３６】
【図１】画像データと関連付けられたブロッキングアーティファクトを１次元で表わした図。
【図２】解凍後の画像の表現と比較したオリジナル輝度を表わした図。
【図３】本発明の１実施例による、ビデオ画像における隣接ブロック間のブロック不連続性の平滑化を達成する交互表示モードを表わす概略図。
【図４】ブロック境界にあるブロッキングアーティファクトに対する平滑化の効果を表わした図。
【図５】図３に示した実施例のうちの一つを１次元で表わしたもう一つの図。
【図６】本発明の一実施例による、５タップの低域フィルタの効果を有するフレームレート変調を採用してブロッキングアーティファクトを最小限にするためのスキームを１次元で表わした図。
【図７】本発明の一実施例による、フレームレート変調を用いたデブロッキングの一般例を１次元で表わした図。
【図８】本発明の一実施例による、解凍後の画像における画像ブロック間のブロック状アーティファクトを減らすための方法のオペレーションのフローチャート。
【図９】本発明の一実施例による、画像デブロッキング回路機構を有する装置の簡約概略図。
【符号の説明】
【００３７】
２０２　　ＣＰＵ
２０４　　メモリ
２０６　　画像デブロッキング回路
２０８　　バス
２１０　　モニタ
【図１】
2004120748.tif 000003
【図２】
2004120748.tif 000004
【図３】
2004120748.tif 000005
【図４】
2004120748.tif 000006
【図５】
2004120748.tif 000007
【図６】
2004120748.tif 000008
【図７】
2004120748.tif 000009
【図８】
2004120748.tif 000010
【図９】
2004120748.tif 000011