(57)【要約】  MPEG4-FGSにおける周波数重み付け及び関心領域強調は、両方とも、重み付けマトリックスの適用によって、選択された離散コサイン変換(DCT)係数の最下位ビット(LSB)に多くのゼロをシフトインすることによって実現される。このことは、これらの係数を事実上数ビットプレーンシフトアップし、これにより、上記が行われなかった場合よりも早く、これらの係数のビットを拡張階層ビットストリームに現れさせる。従って、これらの係数は、ビットストリームが切り捨てられた場合にシフトされなかったか又はより小さい量シフトされた係数に対して優先される。ここで、MPEG4-FGSスタンダードの拡張階層ビットストリームを修正してシフトインされたゼロがもはや符号化されないようにし、これにより、拡張階層からビットが全く切り捨てられない又は少数のビットしか切り捨てられない場合に圧縮効率を向上させることが提案される。
2005510908.tif 000002
【特許請求の範囲】
【請求項１】
スケーラブルビットストリームの画像を符号化する方法において、画像又は差分画像を変換して変換係数を与えるステップと、前記スケーラブルビットストリームの前記係数を重み付けするステップと、RUN, EOP方式に従って前記係数を符号化するステップとを有し、前記重み付けの結果として導入される前記係数のバイナリ表示のゼロビット値は符号化されない、方法。
【請求項２】
請求項1に記載の方法において、重み付けの結果として導入されるゼロビット値の手前までの前記バイナリ表示のビット値が符号化される、方法。
【請求項３】
請求項1又は2に記載の方法において、前記重み付けは、周波数及び／又は選択的強調である、方法。
【請求項４】
請求項1乃至3の何れか1項に記載の方法において、MPEG4-FGS方法の修正されたバージョンである方法。
【請求項５】
請求項1乃至4の何れか1項に記載の方法において、前記RUN, EOP符号化のための可変長コーディングは、ゼロビットの符号化を考慮するために再最適化される、方法。
【請求項６】
請求項1乃至5の何れか1項に記載の方法において、前記係数は離散コサイン変換係数である、方法。
【請求項７】
請求項6に記載の方法において、ピクセルブロックは差分画像から形成される、方法。
【請求項８】
画像又は差分画像を変換して変換係数を与え、前記スケーラブルビットストリームの前記係数を重み付けし、RUN, EOP方式に従って前記係数を符号化し、ここで前記重み付けの結果として導入される前記係数のバイナリ表示のゼロビット値は符号化されない、ことによって符号化された画像を、復号化する方法において、前記重み付けから生じるゼロを前記符号化されたRUN,EOP係数に再導入するステップと、RUN,EOP復号化を実行するステップと、前記係数を逆重み付けするステップと、周波数領域から変換し直すステップとを有する方法。
【請求項９】
画像又は差分画像を変換して変換係数を与え、前記スケーラブルビットストリームの前記係数を重み付けし、RUN, EOP方式に従って前記係数を符号化し、ここで前記重み付けの結果として導入される前記係数のバイナリ表示のゼロビット値は符号化されない、ことにより画像を符号化するよう動作可能な符号化手段を有する符号化装置。
【請求項１０】
請求項9に記載の符号化装置を有する伝送装置。
【請求項１１】
画像又は差分画像を変換して変換係数を与え、前記スケーラブルビットストリームの前記係数を重み付けし、RUN, EOP方式に従って前記係数を符号化し、ここで前記重み付けの結果として導入される前記係数のバイナリ表示のゼロビット値は符号化されない、ことによって符号化された画像を、復号化するよう動作可能な、又は、前記重み付けから生じるゼロを前記符号化されたRUN,EOP係数に再導入し、RUN,EOP復号化を実行し、前記係数を逆重み付けし、周波数領域から変換し直すことによって画像を復号化するよう動作可能な、復号化手段を有する復号化装置。
【請求項１２】
請求項11に記載の復号化装置を有する画像複製デバイス。
【請求項１３】
画像又は差分画像を変換して変換係数を与え、前記スケーラブルビットストリームの前記係数を重み付けし、RUN, EOP方式に従って前記係数を符号化し、ここで前記重み付けの結果として導入される前記係数のバイナリ表示のゼロビット値は符号化されない、ことによって符号化される画像を有する信号。
【請求項１４】
画像又は差分画像を変換して変換係数を与え、前記スケーラブルビットストリームの前記係数を重み付けし、RUN, EOP方式に従って前記係数を符号化し、ここで前記重み付けの結果として導入される前記係数のバイナリ表示のゼロビット値は符号化されない、ことによって符号化される画像を有する信号が記憶された記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、改善されたビットプレーン圧縮方法に、及び、これを達成する装置に、関する。
【背景技術】
【０００２】
動画を含むデータファイルが、要求される記憶の量又は伝送容量を低下させるために圧縮形式で記憶され、伝送されることは、現在一般的なことである。動画の伝送を可能にするための、所与の動画の組について通信チャネル上でより少ない容量が必要とされるような、画像の小さい転送速度は有利である。
【０００３】
動画を符号化するために、所与の画像が典型的には8ピクセル×8ピクセルのブロックに符号化される離散コサイン変換(DCT)を用いることは、一般的である。DCT変換は、8×8ピクセルブロックを空間領域から周波数領域に変換する。DCT係数はビットプレーン、例えば11ビットプレーンで構成される。なぜなら、DCT係数は一般的に11ビットで符号化されるからである。8×8ピクセルのブロックの第1のビットプレーンは、このブロックの各係数の最上位ビットの全てを有するプレーンを表す。従って、最後のビットプレーンは、特定のブロックの64個の係数(8×8)の各々の最下位ビット(LSB)の全てによって構成される。
【０００４】
ビットレートスケーラビリティは、DCT係数を、各ブロックの最上位プレーンで開始してビットプレーンごとに符号化することによってイネーブルされる。スケーラブル圧縮方法の目標は、いかなる所望の箇所においても切り捨てられることができるビットストリームを生成すると同時に選択されたビットレートについて可能な中で最高の品質を与えることである。従って、主要な目標は、切捨て可能なビットストリームが生成されるので、ビットストリームの最初に最上位情報を配置することである。
【０００５】
毎回ブロックの1つのビットプレーンがビットストリームに入れられる(11個のDCT係数があれば各ブロックは11回スキャン又は処理される)ので、残りのデータから構成されるビットストリームを、画像を再構築するために構成するための異なった方法がある。残りのブロックは、人間の視覚系に対する重要性の順序で処理されることができる。例が以下に挙げられる。
【０００６】
Moving Pictures Expert Group (MPEG)は、MPEG4として知られる標準規格を規定した。この標準規格は、Fine Granular Scalability (FGS)改正案(ISO/IEC 14496-2/AMD 4; document ISO/IEC JTC1/SC29/WG11 N3315)を有する。MPEG4-FGS改正案は、ノンスケーラブル基本階層(即ち送信される情報量を低減するために事前に切り捨てられる(prematurely truncated)ことができない層)及びFGS拡張階層からなるビットストリームを作成する。このFGS拡張階層は、データストリームのビットレートを低減するために切り捨てられてもよい。拡張階層が事前に切り捨てられる場合にビデオ品質を改善するために、特定のDCT係数の品質を強調するために周波数重み付けが用いられることができる。周波数重み付けは、2の累乗である1つ又は複数の定数(例えば2、4、8、16等)によって乗じられる係数値と関連してもよい。係数が4で乗じられる場合、該係数のバイナリ表示の最低位の2つのビットはゼロである。これは、2つのゼロを「シフトイン」すると呼ばれることができる。これらのゼロビットは、必ずしもLSB平面においてのみ出現するわけではなくて、複数の低位ビットプレーンにおいて出現することもできる。MPEG4-FGS、周波数重み付け及び選択的な関心領域強調(enhancement)は、IEEE Transactions on Circuits and Systems for Video Technology Vol 11, No. 3, March 2001のWeiping Liによる「Overview of FGS scalability in MPEG4 Video Standard」において議論されている。この文書は、背景情報、並びに、周波数重み付け、選択的強調及び上述のMPEG4スタンダードの使用に関する利点に関連する情報を提供するために本願明細書に引用したものとする。
【０００７】
また、上記の文書は選択的な関心領域強調と関連し、これは、ここでも用いられており、シフトインされるゼロを生じる。
【０００８】
MPEG4-FGS標準規格は、元の画像データではなく差動データ(即ち元の画像データと基本層に含まれる画像データとの間の差)を符号化する。
【０００９】
MPEG4-FGS改正案では、画像を符号化するビットストリーム中のゼロ値ビットがシフトインされ、複数の低位ビットプレーンのゼロを潜在的に生じさせるので、欠点が生じる。これらは、ゼロビットがビットストリームにおいて符号化されるため拡張階層がカットされないか、又は事前に切り捨てられない場合に、拡張階層の効率を低減する。
【発明の開示】
【発明が解決しようとする課題】
【００１０】
本発明の目的は、上述した欠点に対処することである。更に、本発明の目的は、MPEG4-FGS標準規格よりも高い効率を有するビットプレーン圧縮の方法を提供することでもある。
【課題を解決するための手段】
【００１１】
本発明の第1の側面によれば、スケーラブルビットストリームの画像を符号化する方法は、画像又は差分画像を変換して変換係数を与えるステップと、前記スケーラブルビットストリームの前記係数を重み付けするステップと、RUN, EOP方式に従って前記係数を符号化するステップとを有し、前記重み付けの結果として導入される前記係数のバイナリ表示のゼロビット値は符号化されない。
【００１２】
本発明は、有利に、画像が伝送のために符号化されるときに符号化又は伝送されるビットの数を低減し、これによりシステム要件を低減する。本方法は、特に、スケーラブルビットストリーム成分がほとんど又は全く切り捨てられない状況において有利である。
【００１３】
好適には、重み付けの結果として導入されたゼロビット値よりも少ないバイナリ表示のビット値が符号化される。
【００１４】
好適には、重み付けは周波数重み付け及び／又は選択的関心領域強調である。
【００１５】
好適には、本方法はMPEG4-FGS方法の修正されたバージョンである。
【００１６】
スケーラブルビットストリームは、非スケーラブルビットストリーム成分又は基本階層、及びスケーラブルビットストリーム成分又は拡張階層に符号化されてもよい。
【００１７】
好適には、RUN, EOP符号化のための可変長コーディングは、ゼロビットの非符号化を考慮するために再最適化される。
【００１８】
好適には、係数は離散コサイン変換係数であり、ピクセルブロックの周波数領域への変換から生じる。ピクセルブロックは、好適には、差分画像(即ち元の画像とベース層に含まれる画像データとの間の差)から形成される。画像間の差即ち差信号は、変換ステップの後に計算されてもよい。
【００１９】
本発明の第2の側面によれば、画像又は差分画像を変換して変換係数を与え、前記スケーラブルビットストリームの前記係数を重み付けし、RUN, EOP方式に従って前記係数を符号化し、ここで前記重み付けの結果として導入される前記係数のバイナリ表示のゼロビット値は符号化されない、ことによって符号化された画像を復号化する方法は、前記重み付けから生じるゼロを前記符号化されたRUN,EOP係数に再導入するステップと、RUN,EOP復号化を実行するステップと、前記係数を逆重み付けするステップと、周波数領域から変換し直すステップとを有する。
【００２０】
第3の側面によれば、符号化装置は、画像又は差分画像を変換して変換係数を与え、前記スケーラブルビットストリームの前記係数を重み付けし、RUN, EOP方式に従って前記係数を符号化し、前記重み付けの結果として導入される前記係数のバイナリ表示のゼロビット値は符号化されない、ことにより画像を符号化するよう動作可能な符号化手段を有する。
【００２１】
本装置は、更に伝送手段を含んでもよい。
【００２２】
本装置は、更に視聴手段を含んでもよい。
【００２３】
本発明の第4の側面によれば、伝送装置は上記の符号化装置を組み込む。
【００２４】
本発明の第5の側面によれば、復号化装置は、画像又は差分画像を変換して変換係数を与え、前記スケーラブルビットストリームの前記係数を重み付けし、RUN, EOP方式に従って前記係数を符号化し、ここで前記重み付けの結果として導入される前記係数のバイナリ表示のゼロビット値は符号化されない、ことによって符号化された画像を復号化する復号化手段を有する。
【００２５】
本復号化装置は、視聴手段を含んでもよい。
【００２６】
本発明は、画像又は差分画像を変換して変換係数を与え、前記スケーラブルビットストリームの前記係数を重み付けし、RUN, EOP方式に従って前記係数を符号化し、ここで前記重み付けの結果として導入される前記係数のバイナリ表示のゼロビット値は符号化されない、ことによって符号化される画像を有する信号にも及ぶ。
【００２７】
本発明は、更に、第5の側面の復号化装置を有する画像複製デバイスにも及ぶ。
【００２８】
ここで開示される特徴の全ては、上記のあらゆる側面とあらゆる組み合わせで組み合わせられることができる。
【発明を実施するための最良の形態】
【００２９】
ここで、本発明の特定の実施例は、例示により、添付の図面を参照して説明される。
【００３０】
上記したように、DCT係数の周波数重み付けが復号された画像の品質を相当に改善することができることが示されている。周波数重み付けに加えて、選択された関心領域(ROI)の品質が改善されることができる。
【００３１】
MPEG4-FGSの周波数重み付け及びROI強調の両方は、選択された係数により大きな重みを適用する重み付けマトリックスの適用によって、選択されたDCT係数の最下位ビット(LSB)に多くのゼロをシフトインすることによって実現される。このことは、これらの係数を事実上数ビットプレーンシフトアップし、これにより、上記が行われなかった場合よりも早く、これらの係数のビットを拡張階層ビットストリームに現れさせる。従って、これらの係数は、ビットストリームが切り捨てられた場合に移動されなかったか又はより小さい量移動された係数に対して優先される。
【００３２】
ここで、MPEG4-FGS標準規格の拡張階層ビットストリームを修正してシフトインされたゼロがもはや符号化されないようにし、これにより、拡張階層からビットが全く切り捨てられない又は少数のビットしか切り捨てられない場合に圧縮効率を向上させることが提案される。
【００３３】
MPEG4-FGSは、(RUN, EOP)として知られている技術を用いる。ここで、RUN記号は、ゼロビットのRUN(即ち次の1ビットの前のゼロの数)を表す。EOP記号は、エンドオブプレーン(End Of Plane)を符号化し、他の(RUN, EOP)記号が後続すると値ゼロを有し、最後の(RUN, EOP)記号の場合には値1を有する。
【００３４】
(RUN, EOP)技術は、DCTブロック係数ビットを特定のビットプレーンで標準のジグザグ順序に配列して、上記の通りの値で(RUN, EOP)記号を符号化する。
【００３５】
シフトインされたゼロが正確にどこで発生するかは分かっているので、これらは(RUN,
EOP)符号化の最中には単純に無視されることができる。シフトインされたゼロの位置は、シフトインを生じさせる周波数重み付けマトリックスから知られる。換言すれば、シフトインされたゼロは、RUN値で表されるゼロのラン中では単にカウントされない。デコーダは、更に、このとき符号化されないこれらのゼロの位置も(重み付けマトリックスから)知っており、自身のDCT係数再構築の最中にこれを正しく補償する。
【００３６】
図1は、DCT変換10、周波数重み付け12、(RUN, EOP)符号化(ゼロ無し)14及び伝送16を含む方法を図式的に示す。復号するには、これらのステップは、重み付けマトリックスから知られる位置でDCT係数マトリックスにゼロを挿入し、(RUN, EOP)復号を行い、逆周波数重み付けを行い、逆選択的強調重み付けを行い(これが用いられる場合)、そして、周波数領域から空間領域に変換し返す(DCT)ことにより逆転される。
【００３７】
序文にて述べられたように、MPEG-4-FGSは差分画像を符号化する。差分画像を変換する代わりに、DCT変換10の後で差動信号を作成することは、任意的なステップである。従って、画像情報は変換され、変換係数からの差動信号の生成がこれに続く。
【００３８】
図2は、符号化手段20及び視聴手段21を有する符号化装置18を示し、更に、復号化手段24及び視聴手段26を有する復号化装置22を示す。符号化装置18は、復号するために、符号化された信号を復号化装置22に伝送手段23によって送信してもよい。伝送装置(図示せず)は、符号化装置18を組み込んでもよい。画像複製デバイス(図示せず)は、復号化装置22を組み込んでもよい。
【００３９】
(RUN,
EOP)法によって用いられるVLCが、ここで提案される方法のアプリケーションにおいて再び最適化されることは有利であるが、これは、任意的なものに過ぎない。VLCにおいては、可変長のコード語が各(RUN,EOP)対に割り当てられ、より短いコード語がより頻繁に発生する組合せに割り当てられる。FGSにおいては、よく知られているハフマン符号が可変長コードに用いられる。これらのVLC／ハフマン符号は、種々の(RUN,EOP)組合せの出現の頻度に基づいて設計される。(RUN,EOP)出現は、ラン中でシフトインされたゼロをカウントしないことによって変化しうるので、修正された(RUN,EOP)方法について得られる出現頻度を用いてこれらのコードを再設計することによって、効率(圧縮比)は潜在的に改善されることができる。
【００４０】
ここで説明される方法は、MPEG4-FGS拡張階層の圧縮効率を当該標準規格の通常の適用に対して増加するように適用されることができる。本方法は、特に、拡張階層ビットストリームからビットが全く又はほとんど切り捨てられない高品質の場合において有利である。
【００４１】
従って、ここで開示される本方法は、所与のビットレートにおいてより多くの情報が送信されるのを許可するより効率的な符号化を提供するか、又は、所与のビットレートにおいてより少ない時間での特定の組の画像の伝送を許可する。
【００４２】
標準の(RUN, EOP)スキームを修正してシフトインされたゼロを割り引くことの困難性のため、本発明を(RUN, EOP)法に組み込むことは、直接的又は明らかなものではない。ビットは別個にではなく(RUN, EOP)においてラン(例えばグループ)ごとに扱わなければならないので、本方法を実現する決定は発端からなされなければならない。他の符号化システムにおいては、ビットの別個の処理は、本方法の実現をより直接的なものにしうる。これは特に、シフトインされたビットが、単純に、1つの係数に関連するデータの端にあって、これらビットを伝送しないという手順を自明にする場合に、そうである。
【００４３】
ここで開示される方法は、適切な修正を与えられれば、MPEG4-FGSビットプレーン圧縮方法を用いるあらゆる製品又はシステムで実現されることができる。画像を表示するための視聴手段、半導体デバイス及び類似した部品等を含むコンシューマ電子デバイス等のデバイスは、全て、ここで開示された方法を使用することができる。
【００４４】
上述の実施例は、本発明を制限するのではなく説明しているのであり、当業者は、添付の請求項の範囲から離れることなく代替の実施例を設計することができることに注意されたい。請求項において、括弧内に配置されたいかなる引用符号も当該請求項を制限するように解釈されてはならない。「有する(comprising)」なる用語は、請求項に記載されたもの以外の要素又はステップの存在を排除するものではない。本発明は、幾つかの個別素子を有するハードウェアにより、及び適切にプログラムされたコンピュータによって実行されることができる。幾つかの手段を列挙している装置請求項において、複数のこれらの手段を、ハードウェアの全く同一のアイテムによって具体化することもできる。特定の手段が相互に異なる従属請求項において記載されているという事実のみでは、これらの手段の組合せが有利に用いられることができないということを示すことにはならない。
【図面の簡単な説明】
【００４５】
【図１】本発明の圧縮方法を示すフローチャートである。
【図２】図2は符号化及び復号化装置を示す概略図である。
【図１】
2005510908.tif 000003
【図２】
2005510908.tif 000004
【国際調査報告】
2005510908.tif 000005
2005510908.tif 000006
2005510908.tif 000007