(57)【特許請求の範囲】
【請求項１】
画像の画素に割り当てられた全符号化情報（輝度情報および色情報）を有する全画像が符号化されるイントラ画像符号化モードかまたは時間的に順次の２つの画像の差の情報のみを符号化するインター画像符号化モードで画像符号化を行い、
第１のシェイプアダプティブ変換符号化をインター画像符号化モードのみで行い、
第１のシェイプアダプティブ変換符号化とは異なる第２のシェイプアダプティブ変換符号化をイントラ画像符号化モードにおいて行い、
インター画像符号化モードで行われる第１のシェイプアダプティブ変換符号化において変換画素ｘjの変換係数ｃjを次式
【数１】
0003720850.tif 000012
により形成し、
ただしＮは変換画素を含む変換すべき画像ベクトルの大きさを表し、
ＤＣＴ−Ｎは大きさＮ×Ｎの変換マトリクスを表し、
ｐ，ｋはインデックスを表し、ただしｐ，ｋ∈［０，Ｎ−１］であり、
ここで局所領域内の変換すべき画素の信号エネルギが周波数領域内の変換される画素の信号エネルギに等しく、
イントラ画像符号化モードで行われる第２のシェイプアダプティブ変換符号化において変換画素ｘjの変換係数ｃjを次式
【数２】
0003720850.tif 000013
により形成する、
ことを特徴とする任意の数のピクセルを画素を有する画像オブジェクトを含むデジタル化画像の符号化方法。
【請求項２】
第２のシェイプアダプティブ変換符号化としてシェイプアダプティブ離散コサイン変換を使用する、請求項１記載の方法。
【請求項３】
第１のシェイプアダプティブ変換符号化を端縁画像ブロックにのみ適用する、請求項１記載の方法。
【請求項４】
画像の画素に割り当てられた全復号化情報（輝度情報および色情報）を有する全画像が復号化されるイントラ画像復号化モードかまたは時間的に順次の２つの画像の差の情報のみが復号化されるインター画像復号化モードで画像復号化を行い、
第１のシェイプアダプティブ逆変換符号化をインター画像復号化モードのみで行い、
第１のシェイプアダプティブ逆変換符号化とは異なる第２のシェイプアダプティブ逆変換符号化をイントラ画像復号化モードにおいて行い、
インター画像復号化モードで行われる第１のシェイプアダプティブ逆変換符号化においては変換係数ｃjの変換画素ｘjを次式
【数３】
0003720850.tif 000014
により形成し、
ただしＮは変換画素を含む変換すべき画像ベクトルの大きさを表し、
ＤＣＴ−Ｎは大きさＮ×Ｎの変換マトリクスを表し、
ｐ，ｋはインデックスを表し、ただしｐ，ｋ∈［０，Ｎ−１］であり、
（  ）-1は逆マトリクスであり、
イントラ画像復号化モードで行われる第２のシェイプアダプティブ逆変換符号化において変換画素ｘjの変換係数ｃjを次式
【数４】
0003720850.tif 000015
により形成する、
ことを特徴とする任意の数のピクセルを画素を有する画像オブジェクトを含むデジタル化画像の復号化方法。
【請求項５】
第２のシェイプアダプティブ逆変換符号化としてシェイプアダプティブ離散コサイン変換を使用する、請求項４記載の方法。
【請求項６】
第１のシェイプアダプティブ逆変換符号化を端縁画像ブロックにのみ適用する、請求項４記載の方法。
【発明の詳細な説明】
【０００１】
画像符号化標準Ｈ．２６１，Ｈ．２６３およびＭＰＥＧ１およびＭＰＥＧ２によるビデオ信号の符号化は、ブロックベースの離散コサイン変換ＤＣＴを基礎としている。この方法は一般的にブロックを基礎とした画像符号化原理を用いている。
【０００２】
画像符号化のための別の１つのアプローチはいわゆるオブジェクトを基礎とする画像符号化の原理である。オブジェクトを基礎とする画像符号化では、原画のセグメント化がシーンに現れるオブジェクトとこれらのオブジェクトの別個の符号化とに従って行われる。
【０００３】
図２には画像符号化および画像復号化のための装置が概略的に示されている。
【０００４】
図２には画像を撮影するカメラＫが示されている。カメラＫは例えば任意のアナログカメラＫであり、カメラＫはシーンの画像を撮影し、これらの画像をカメラＫでデジタル化するかまたはアナログで第１のコンピュータＲ１に伝送し、次いで第１のコンピュータＲ１でデジタル化画像Ｂが処理されるかまたはアナログ画像がデジタル化画像Ｂに変換され、デジタル化画像Ｂが処理される。
【０００５】
カメラＫはデジタルカメラＫであってもよく、その場合にはこのカメラＫにより直接にデジタル画像Ｂが撮影され、第１のコンピュータＲ１に供給され処理される。
【０００６】
第１のコンピュータＲ１は、後述するステップを実施する自立した装置、例えばコンピュータの中に設けられている自立したコンピュータカードとして形成することも可能である。
【０００７】
第１のコンピュータＲ１は、一般に後述する方法による画像処理を実施できるユニット、例えば移動端末装置（移動電話機）と見なすことができる。
【０００８】
第１のコンピュータＲ１はプロセッサユニットＰを有し、プロセッサユニットＰにより、画像符号化または画像復号化の後述のステップを実施する。プロセッサユニットＰは例えばバスＢＵを介してメモリＳＰに接続され、メモリＳＰに画像データが記憶される。
【０００９】
一般的に、後述の方法はソフトウェアとしてもハードウェアとしてもあるいは部分的にソフトウェアおよび部分的にハードウェアとしても実現できる。
【００１０】
【外１】
第１のコンピュータＲ１で画像符号化が行われ、圧縮された画像データが伝送媒体
0003720850.tif 000002
を介して第２のコンピュータＲ２に伝送された後に第２のコンピュータＲ２で画像復号化が行われる。
【００１１】
第２のコンピュータＲ２は、第１のコンピュータと同一の構成を有することができる。すなわちメモリＳＰを有することができ、メモリＳＰはバスＢＵを介してプロセッサユニットＰに接続されている。
【００１２】
図３には詳細に画像符号化または画像復号化のための原理的回路図の形で１つの装置が示されており、この装置はブロックを基礎とする画像符号化の範囲内で使用され、また部分的にはオブジェクトを基礎とする画像符号化の範囲内で使用される。
【００１３】
ブロックを基礎とする画像符号化法では、デジタル化画像Ｂは８×８画素ＢＰまたは１６×１６画素ＢＰの大きさ（通常は正方形）のブロックに分割され、画像符号化装置に供給される。
【００１４】
１つの画素には通常は符号化情報、例えば輝度情報（輝度値）または色情報（クロミナンス値）が一義的に割り当てられている。
【００１５】
ブロックを基礎とする画像符号化法では異なる画像符号化モードの間の区別が行われる。
【００１６】
いわゆるイントラ画像符号化モード(Intra-Bildcodierungs-Modus)ではそのつど画像全体が画像の画素に割り当てられるすべての符号化情報により符号化されて伝送される（Ｉ画像）。
【００１７】
いわゆるインター画像符号化モード(Inter-Bildcodierungs-Modus)ではそのつど時間的に順次の２つの画像の差分画像情報のみが符号化されて伝送される（Ｐ画像，Ｂ画像）。
【００１８】
イントラ画像符号化モードとインター画像符号化モードとの間の切換えのために２つのスイッチユニットＳＥが設けられている。インター画像符号化モードを実行するために減算ユニットＳが設けられ、減算ユニットＳで２つの順次の画像Ｂの画像情報の差が形成される。画像符号化のプロセス全体が画像符号化制御ユニットＳＴを介して制御される。符号化すべき画像ブロックＢＢまたは差分画像ブロックＢＢがそれぞれ変換符号化ユニットＤＣＴに供給され、変換符号化ユニットＤＣＴで画素に割り当てられている符号化情報に対して、変換符号化、例えば離散コサイン変換ＤＣＴが適用される。
【００１９】
しかし一般的にそれぞれの任意の変換符号化、例えば離散サイン変換または離散的フーリエ変換を行うことができる。
【００２０】
変換符号化により形成されたスペクトル係数は量子化ユニットＱで量子化され、画像符号化マルチプレクサ（図示せず）に例えばチャネル符号化および／またはエントロピー符号化のために供給される。内部の再構成ループで、量子化されたスペクトル係数は逆量子化ユニットＩＱで逆量子化され、逆変換符号化ユニットＩＤＣＴで逆変換符号化にかけられる。
【００２１】
更にインター画像符号化の場合には加算ユニットＡＥで時間的に先行する各画像の画像情報が加算される。このようにして再構成された画像は画像メモリＳＰに記憶される。画像メモリＳＰの中には、わかりやすく図示するために、動き補償ユニットＭＣがシンボリックに示されている。
【００２２】
更にループフィルタＬＦが設けられ、ループフィルタＬＦはメモリＳＰおよび減算ユニットＳに接続されている。
【００２３】
画像符号化マルチプレクサには付加的に、伝送される画像データの外にモードフラグｐが供給され、モードフラグｐによりそのつどに、イントラ画像符号化とインター画像符号化とのどちらが行われるかが示される。
【００２４】
更にスペクトル係数のための量子化インデックスｑが画像符号化マルチプレクサに供給される。
【００２５】
動きベクトルｖもそのつどに画像ブロックおよび／または例えば４画像ブロックを有するマクロブロックに割り当てられ、画像符号化マルチプレクサに供給される。
【００２６】
更に、ループフィルタＬＦをアクティブまたはイナクティブにするための情報信号ｆが存在している。
【００２７】
【外２】
伝送媒体
0003720850.tif 000003
を介して画像情報が伝送された後、第２のコンピュータＲ２で伝送されたデータの復号化が行われる。このために第２のコンピュータＲ２の中に画像復号化装置が設けられており、この画像復号化装置は例えば図２に示されている装置の再構成ループの構成を有する。
【００２８】
オブジェクトを基礎とする画像符号化法ではそれぞれの画像オブジェクトはまず初めに１つの固定した大きさ、例えば同様に８×８画素の大きさの複数のブロックに分割される。この分割の後、合成する画像ブロックの一部は完全に画像オブジェクトＢＯ内に位置する。この状態は図４に示されている。画像Ｂは少なくとも１つの画像オブジェクトＢＯを含み、画像オブジェクトＢＯは画像オブジェクトＢＯのオブジェクトエッジＯＫにより縁取りされている。更に画像ブロックＢＢが８×８画素ＢＰにより示されている。オブジェクトエッジＯＫの少なくとも一部を含む画像ブロックＢＢが端縁画像ブロックＲＢＢとして示されている。
【００２９】
分割の後に完全に画像オブジェクトＢＯの中に位置する画像ブロックＢＢは、前述のブロックを基礎とする画像符号化法を基礎にして、ブロックを基礎とする通常の離散コサイン変換により符号化できる。しかし端縁画像ブロックＲＢＢは部分的に画像情報により満たされており、特別の方法により符号化しなければならない。
【００３０】
端縁画像ブロックＲＢＢを符号化するために現在のところ２つの基本的なアプローチが存在する。
【００３１】
文献［１］から、端縁画像ブロックＲＢＢの中の画像オブジェクトＢＯの画像情報を、符号化情報を適切な外挿法により補足して、完全な端縁画像ブロックＲＢＢの面を形成することが公知である。このアプローチはパディング(Padding)と称される。補足された面は次いで通常の２次元の離散コサイン変換により符号化される。
【００３２】
これに対して文献［１］および［２］から、所与の画像オブジェクトＢＯが行および列に分離されて変換されることも公知である。このアプローチは、シェイプアダプティブ変換符号化(formangepasste Transformationscodierung)と称され、ＤＣＴを使用する具体的な場合にはシェイプアダプティブＤＣＴと称される。画像オブジェクトＢＯに割り当てられているＤＣＴ係数は、端縁画像ブロックＲＢＢの中の画像オブジェクトＢＯに所属しない画素ＢＰが抑圧されるように定められる。次いで、まず残りの画素ＢＰに行毎に変換が適用され、変換の長さは、この行の残りの画素の数に相当する。これにより得られる係数は水平に配向され、次いで、相応の長さで垂直方向における１次元のＤＣＴが行われる。この場合、イントラ画像符号化に対してもインター画像符号化に対しても同一の方法が適用される。
【００３３】
シェイプアダプティブ変換符号化の前述の公知の方法はとりわけ予測誤差画像において圧縮すべき画像データの圧縮率を比較的劣悪にしか実現できない欠点を有する。
【００３４】
シェイプアダプティブ変換符号化における予測誤差画像の符号化のための公知の規則は、次式の構成を有する変換マトリクスＤＣＴ−Ｎを基礎とする。
【００３５】
【数５】
0003720850.tif 000004
【００３６】
ただしｐ＝０のときγ＝１、その他のときγ＝１であり、
Ｎは変換される画素を含む変換すべき画像ベクトルの大きさを表し、
ＤＣＴ−Ｎは大きさＮ×Ｎの変換マトリクスを表し、
ｐ，ｋはインデックスを表し、ここでｐ，ｋ∈［０，Ｎ−１］である。
【００３７】
公知のやり方では、画像セグメントのシェイプアダプティブＤＣＴは、まず初めにこのセグメントのそれぞれの列が次式（２）により変換され、次いで、これにより得られたデータにこの式（２）を水平方向に適用する。
【００３８】
【数６】
0003720850.tif 000005
【００３９】
しかしこの式（２）は予測誤差画像の符号化にとって最適ではない。
【００４０】
従って本発明の課題は、シェイプアダプティブ変換符号化を画像データのための改善された圧縮率で達成することを可能にする画像符号化および画像復号化のための方法と、画像符号化および画像復号化のための装置とを提供することにある。
【００４１】
この課題は独立請求項に記載の方法により解決される。
【００４２】
デジタル化画像Ｂの符号化のための請求項１に記載の方法では、画像オブジェクトBOの画素ＢＰが修正されたシェイプアダプティブ変換符号化によって符号化される。
【００４３】
この「新しい」シェイプアダプティブ変換符号化は、局所領域内の変換画素の符号化情報の信号エネルギが周波数領域内の変換画素の符号化情報の信号エネルギにほぼ等しくなるように行われる。
【００４４】
言い換えれば、これはシェイプアダプティブ変換符号化が正規直交化されることを意味している。
【００４５】
このやり方の利点は、変換により得られるスペクトル係数をその後で量子化することにより量子化誤差がすべての画素ＢＰにわたって均一に分散され、量子化誤差が通常の８×８画素の画像ブロックの場合と同一の平均値を有することにある。
【００４６】
この方法はとりわけ、画像セグメントの端縁画像ブロックの符号化に適する。
【００４７】
このようにして本方法により大幅に改善された符号化効率が得られる。すなわち同一のデータ速度において、達成可能な画像品質は向上する。後述のように、公知の方法に比べて付加的な計算コスト無しに、約１ｄＢの大幅に改善されたＳＮ比が達成可能である。
【００４８】
従属請求項に記載の方法では、復号化において第１のシェイプアダプティブ逆変換符号化が行われ、この場合も局所領域内の変換すべき画素の符号化情報の信号エネルギは周波数領域内の変換される画素の符号化情報の信号エネルギに等しい。
【００４９】
この方法は、画像符号化の相応の前述の利点を同様に有する。
【００５０】
本方法を実施するための装置では、画素のシェイプアダプティブ変換符号化のための変換符号化装置および／またはシェイプアダプティブ逆変換符号化のための変換復号化ユニットが設けられている。変換符号化ユニットまたは変換復号化ユニットは、局所領域内の変換すべき画素の符号化情報の信号エネルギは周波数領域内の変換される画素の符号化情報の信号エネルギに等しくなるように構成される。
【００５１】
この装置に関しても「新しい」変換符号化の前述の利点が当てはまる。
【００５２】
本発明の有利な実施の形態は従属請求項から明らかである。
【００５３】
本方法の１つの有利な実施形態の１つの利点は、変換すべき画素ｘjの変換係数ｃjを次式により形成する：
【００５４】
【数７】
0003720850.tif 000006
【００５５】
ただしＮは変換される画素を含む変換すべき画像ベクトルの大きさを表し、
ＤＣＴ−Ｎは大きさＮ×Ｎの変換マトリクスを表し、
ｐ，ｋはインデックスを表し、ここでｐ，ｋ∈［０，Ｎ−１］である。
【００５６】
式（３）から分かるように大幅な改善は公知のやり方に対して変換規則の異なる様々なスケーリングによって達成される。
【００５７】
さらに、本発明の実施形態では、有利には、この「新しい」シェイプアダプティブ変換符号化はインター画像符号化モードにおいてのみ実施される。イントラ画像符号化モードにおいては本発明の実施形態では公知のシェイプアダプティブ変換符号化が実施される。
【００５８】
画像符号化のための方法の前述の有利な実施の形態は、相応する逆演算規則による逆変換符号化の式において、画像復号化のための有利な実施の形態としても設けられている。
【００５９】
本方法の有利な実施の形態は、画像符号化のための装置の変換符号化ユニットの構成に対しても同様に有利である。
【００６０】
同様に、画像復号化のための装置に対しても本発明の方法に関連して示された変換符号化の実施形態が設けられ、それぞれ変換符号化ユニットは相応の実施形態が実施されるように構成されている。
【００６１】
本発明の方法も装置も、オブジェクトを基礎とする画像符号化における端縁画像ブロックのシェイプアダプティブ変換符号化においてとりわけ有利に使用可能である。
【００６２】
本発明の１つの実施例を図を用いて詳細に説明する。
【００６３】
図１は個々のステップを概略的に示すフローチャートである。図２はカメラ、２つのコンピュータ、伝送媒体を有する画像符号化のための通常の装置の概略図である。図３はブロックを基礎とする画像符号化のための通常の装置の概略図である。図４は画像オブジェクトおよび画像ブロックおよび端縁画像ブロックを有する画像の概略図である。
【００６４】
オブヘクトを基礎とする画像符号化の範囲内で、デジタル化画像Ｂのセグメント化がシーンの中に現れる画像オブジェクトＢＯに相応して行われ、画像オブジェクトＢＯが別個の符号化が行われる。
【００６５】
このためにそれぞれの画像オブジェクトＢＯは通常はまず初めに、固定した大きさの画像ブロックＢＢ例えば８×８個の画素ＢＰに分割される。分割の後に、この分割により得られる画像ブロックＢＢの一部は完全に画像オブジェクトＢＯの中に位置する。これらのブロックＢＢは、前に引用して説明した方法を介して、ブロックを基礎とする通常の変換符号化により符号化できる。
【００６６】
しかし前述のように端縁画像ブロックＲＢＢは部分的にしか画像情報により充填されておらず、特別な方法により符号化しなければならない。
【００６７】
この方法では第１のコンピュータＲ１で有利には端縁画像ブロックＲＢＢが第１のステップ１０１で変換符号化ユニットＤＣＴに供給される。第１のコンピュータＲ１は図３に示されているモジュールが実施できるように形成されている。
【００６８】
第２のステップ１０２ではそれぞれの端縁画像ブロックＲＢＢに対して、それぞれの端縁画像ブロックＲＢＢの画素ＢＰの符号化情報のために、変換すべき画素ｘjの変換係数ｃjが、次の式に従って形成される。
【００６９】
【数８】
0003720850.tif 000007
【００７０】
Ｎは変換画素を含む変換すべき画像ベクトルの大きさを表し、
ＤＣＴ−Ｎは大きさＮ×Ｎの変換マトリクスを表し、
ｐ，ｋはインデックスを表し、ここでｐ，ｋ∈［０，Ｎ−１］である。
【００７１】
分かりやすく表現すると、変換符号化のための式（３）は局所領域内の変換すべき画素の符号化情報の信号エネルギが周波数領域内の変換される画素の符号化情報の信号エネルギに等しいことを意味する。
【００７２】
シェイプアダプティブ変換符号化として有利にはシェイプアダプティブ離散コサイン変換が使用される。
【００７３】
式（３）は、画像符号化がインター画像符号化モードで行われる場合には変換符号化のために有利に適用される。
【００７４】
画像符号化がイントラ画像符号化モードで行われる場合には有利には、変換画素ｘjの変換係数ｃjが次の式に従って形成される。
【００７５】
【数９】
0003720850.tif 000008
【００７６】
【外３】
符号化された画像情報の伝送（ステップ１０５）の後すなわち量子化（ステップ１０３）の後に、場合に応じて、伝送する画像データのエントロピー符号化（ステップ１０４）が、例えば［１］で説明されている方法に従って行われ、伝送媒体
0003720850.tif 000009
を介して第２のコンピュータＲ２で画像復号化が行われる。
【００７７】
画像復号化では第１のステップ１０６でエントロピー復号化が行われ、第２のステップ１０７で、量子化されたスペクトル係数の逆量子化が行われる。スペクトル係数ｃjは更に、シェイプアダプティブ逆変換符号化（ＩＤＣＴ）に供給される。画像符号化法に対応して、画像復号化のために、この場合にも周波数領域内の変換画素の符号化情報の信号エネルギが局所領域内の画素の符号化情報の信号エネルギにほぼ等しくなるようにシェイプアダプティブ逆変換符号化が行われる。
【００７８】
シェイプアダプティブ逆変換符号化のために画素ｘjがスペクトル変換係数ｃjから次式により形成される（ステップ１０８）。
【００７９】
【数１０】
0003720850.tif 000010
【００８０】
ただしＮは変換画素を含む変換すべき画像ベクトルの大きさであり、
ＤＣＴ−Ｎは大きさＮ×Ｎの変換マトリクスであり、
ｐ，ｋはインデックスであり、ここでｐ，ｋ∈［０，Ｎ−１］であり、
（  ）-は逆マトリクスである。
【００８１】
式（４）によるシェイプアダプティブ逆変換符号化は、有利には画像復号化の範囲内でインター画像復号化モードで行われる。
【００８２】
イントラ画像復号化モードでは有利には、シェイプアダプティブ逆変換符号化が次式により行われる。
【００８３】
【数１１】
0003720850.tif 000011
【００８４】
画像符号化装置には、画素ＢＰのシェイプアダプティブ変換符号化のための変換符号化ユニットＤＣＴが設けられている。変換符号化ユニットＤＣＴは、局所領域内の変換すべき画素の符号化情報の信号エネルギが周波数領域内の変換される画素の符号化情報の信号エネルギにほぼ等しくなるように形成されている。
【００８５】
変換符号化ユニットは有利には、画像符号化法の範囲内で説明したステップが変換符号化ユニットＤＣＴの中で実現されるように形成されている。勿論、方法は本装置の中でソフトウェアとして実現でき、このソフトウェアはプロセッサＰにより処理される。
【００８６】
同様のことが逆変換符号化ユニットＩＤＣＴを有する画像復号化装置にも当てはまる。相応に、逆変換符号化ユニットＩＤＣＴは画像復号化ステップ、とりわけシェイプアダプティブ逆変換符号化ステップが実現されるように形成されている。
【００８７】
本方法も本装置も有利には、デジタル化画像Ｂの画像オブジェクトＢＯの端縁画像ブロックＲＢＢに適用可能である。
【００８８】
要するにこの方法は変換方式のスケーリングを変化することを意味しており、局所領域内の画素の符号化情報の信号エネルギは周波数領域内の画素の符号化情報の信号エネルギに等しくなる。
【００８９】
本発明ではいずれの方法で画像符号化の範囲内の変換画素すなわちスペクトル係数を適用してもよい。すなわち量子化、エントロピー符号化またはチャネル符号化のタイプは本発明にとって重要ではない。
【００９０】
本明細書において引用した文献は次のとおりである。
【００９１】
［１］ISO/IEC JTC1/SC29/WG11,"MPEG-4 Video Verification Model Version 5.0',Doc.N1469,Nov.1996,55〜59頁。
【００９２】
［２］T.Sikora & B.Makai,"Shape Adaptive DCT for Generic Coding of Video",IEEE Transactions on Circuits and Systems for Video Technology, Vol.5,Feb.1995,59〜62頁
【図１】
0003720850.tif 000016
【図２】
0003720850.tif 000017
【図３】
0003720850.tif 000018
【図４】
0003720850.tif 000019