(57)【要約】  第１周波数係数マトリックスの行同士及び列同士のうち少なくとも１つの部分的な交換を行って生成された第２周波数係数マトリックスを、量子化、エントロピ符号化する映像符号化方法、装置及び該符号化方法によって符号化された映像データを復号化する映像復号化方法、装置が開示される。
2013502142.tif 000002
【特許請求の範囲】
【請求項１】
映像符号化方法において、
所定のブロックを離散コサイン変換して第１周波数係数マトリックスを生成する段階と、
所定のアングル・パラメータに基づいて、前記第１周波数係数マトリックスの行同士及び列同士のうち少なくとも１つの部分的な交換を行い、第２周波数係数マトリックスを生成する段階と、
前記第２周波数係数マトリックスを量子化する段階と、
前記アングル・パラメータについての情報と、前記第２周波数係数マトリックスと、をエントロピ符号化する段階と、を含み、
前記アングル・パラメータは、前記行同士及び列同士のうち少なくとも１つの部分的な交換の程度を示すパラメータであることを特徴とする映像符号化方法。
【請求項２】
前記アングル・パラメータは、
オイラー・アングルに係わるパラメータであることを特徴とする請求項１に記載の映像符号化方法。
【請求項３】
前記第２周波数係数マトリックスを生成する段階は、
前記第１周波数係数マトリックスの左側に、前記行同士の部分的な交換を行うマトリックスを乗じ、前記第１周波数係数マトリックスの右側に、前記列同士の部分的な交換を行うマトリックスを乗じる段階を含むことを特徴とする請求項１に記載の映像符号化方法。
【請求項４】
前記行同士の部分的な交換を行うマトリックスは、
【数３】
2013502142.tif 000005
であり、
ここで、
Ａ＝ｃｏｓαｃｏｓγ−ｓｉｎαｃｏｓβｓｉｎγ，
Ｂ＝−ｓｉｎαｃｏｓγ−ｃｏｓαｃｏｓβｓｉｎγ，
Ｃ＝ｓｉｎβｓｉｎγ，
Ｄ＝ｃｏｓαｓｉｎγ＋ｓｉｎαｃｏｓβｃｏｓγ，
Ｅ＝−ｓｉｎαｓｉｎγ＋ｃｏｓαｃｏｓβｃｏｓγ，
Ｆ＝−ｓｉｎβｃｏｓγ，
Ｇ＝ｓｉｎαｓｉｎβ，
Ｈ＝ｃｏｓαｓｉｎβ、
Ｉ＝ｃｏｓβであり、
前記α，β，γは、オイラー・アングルであることを特徴とする請求項３に記載の映像符号化方法。
【請求項５】
互いに異なるアングル・パラメータに対して、前記第１周波数係数マトリックスの行同士及び列同士のうち少なくとも１つの部分的な交換を行い、第２周波数係数マトリックスを生成する段階、前記第２周波数係数マトリックスを量子化する段階、及び前記量子化された第２周波数係数マトリックスをエントロピ符号化する段階を反復遂行し、最も高い圧縮率に対応するアングル・パラメータを選択する段階をさらに含むことを特徴とする請求項１に記載の映像符号化方法。
【請求項６】
前記アングル・パラメータを選択する段階は、
モンテカルロ法を利用し、互いに異なるアングル・パラメータに対して、前記第１周波数係数マトリックスの行同士及び列同士のうち少なくとも１つの部分的な交換を行い、第２周波数係数マトリックスを生成する段階、前記第２周波数係数マトリックスを量子化する段階、及び前記量子化された第２周波数係数マトリックスをエントロピ符号化する段階を反復遂行し、最も高い圧縮率に対応するアングル・パラメータを選択する段階を含むことを特徴とする請求項５に記載の映像符号化方法。
【請求項７】
前記アングル・パラメータを選択する段階は、
前記互いに異なるアングル・パラメータをランダム・シーケンスに対応させる段階と、
互いに異なるアングル・パラメータに対して、前記第１周波数係数マトリックスの行同士及び列同士のうち少なくとも１つの部分的な交換を行い、第２周波数係数マトリックスを生成する段階、前記第２周波数係数マトリックスを量子化する段階、及び前記量子化された第２周波数係数マトリックスをエントロピ符号化する段階を反復遂行し、最も高い圧縮率に対応するアングル・パラメータを選択する段階と、を含み、
前記アングル・パラメータについての情報を符号化する段階は、
前記選択されたアングル・パラメータに対応するランダム・シーケンスの番号を、前記アングル・パラメータについての情報として符号化する段階を含むことを特徴とする請求項５に記載の映像符号化方法。
【請求項８】
前記第２周波数係数マトリックスを生成する段階は、
前記第１周波数係数マトリックスの一部係数だけを含むマトリックスのみ選択する段階と、
アングル・パラメータに基づいて、前記一部係数だけ含むマトリックスの行同士及び列同士のうち少なくとも１つの部分的な交換を行い、第２周波数係数マトリックスを生成する段階と、を含むことを特徴とする請求項１に記載の映像符号化方法。
【請求項９】
映像符号化装置において、
所定のブロックを離散コサイン変換して第１周波数係数マトリックスを生成し、所定のアングル・パラメータに基づいて、前記第１周波数係数マトリックスの行同士及び列同士のうち少なくとも１つの部分的な交換を行い、第２周波数係数マトリックスを生成する周波数変換部と、
前記第２周波数係数マトリックスを量子化する量子化部と、
前記アングル・パラメータについての情報と、前記第２周波数係数マトリックスと、をエントロピ符号化するエントロピ符号化部と、を含み、
前記アングル・パラメータは、前記行同士及び列同士のうち少なくとも１つの部分的な交換の程度を示すパラメータであることを特徴とする映像符号化装置。
【請求項１０】
映像復号化方法において、
所定のアングル・パラメータについての情報及び第２周波数係数マトリックスをエントロピ復号化する段階と、
前記エントロピ復号化された第２周波数係数マトリックスを逆量子化する段階と、
前記アングル・パラメータに基づいて、前記第２周波数係数マトリックスの行同士及び列同士のうち少なくとも１つの部分的な交換を行い、第１周波数係数マトリックスを生成する段階と、
前記第１周波数係数マトリックスを逆離散コサイン変換して所定のブロックを復元する段階と、を含み、
前記アングル・パラメータは、前記行同士及び列同士のうち、少なくとも１つの部分的な交換の程度を示すパラメータであることを特徴とする映像復号化方法。
【請求項１１】
前記アングル・パラメータは、
オイラー・アングルに係わるパラメータであることを特徴とする請求項１０に記載の映像復号化方法。
【請求項１２】
前記第１周波数係数マトリックスを生成する段階は、
前記第２周波数係数マトリックスの左側に、前記行同士の部分的な交換を行うマトリックスを乗じ、前記第２周波数係数マトリックスの右側に、前記列同士の部分的な交換を行うマトリックスを乗じる段階を含むことを特徴とする請求項１０に記載の映像復号化方法。
【請求項１３】
映像復号化装置において、
所定のアングル・パラメータについての情報及び第２周波数係数マトリックスをエントロピ復号化するエントロピ復号化部と、
前記エントロピ復号化された第２周波数係数マトリックスを逆量子化する逆量子化部と、
前記アングル・パラメータに基づいて、前記第２周波数係数マトリックスの行同士及び列同士のうち少なくとも１つの部分的な交換を行い、第１周波数係数マトリックスを生成し、前記第１周波数係数マトリックスを逆離散コサイン変換して所定のブロックを復元する逆周波数変換部と、を含み、
前記アングル・パラメータは、前記行同士及び列同士のうち少なくとも１つの部分的な交換の程度を示すパラメータであることを特徴とする映像復号化装置。
【請求項１４】
コンピュータによって実行される映像符号化方法を遂行するプログラムが記録されたコンピュータで読み取り可能な記録媒体において、前記方法は、
所定のブロックを離散コサイン変換して第１周波数係数マトリックスを生成する段階と、
所定のアングル・パラメータに基づいて、前記第１周波数係数マトリックスの行同士及び列同士のうち少なくとも１つの部分的な交換を行い、第２周波数係数マトリックスを生成する段階と、
前記第２周波数係数マトリックスを量子化する段階と、
前記アングル・パラメータについての情報と、前記第２周波数係数マトリックスと、をエントロピ符号化する段階と、を含み、
前記アングル・パラメータは、前記行同士及び列同士のうち少なくとも１つの部分的な交換の程度を示すパラメータであることを特徴とするコンピュータで読み取り可能な記録媒体。
【請求項１５】
コンピュータによって実行される映像復号化方法を遂行するプログラムが記録されたコンピュータで読み取り可能な記録媒体において、前記方法は、
所定のアングル・パラメータについての情報及び第２周波数係数マトリックスをエントロピ復号化する段階と、
前記エントロピ復号化された第２周波数係数マトリックスを逆量子化する段階と、
前記アングル・パラメータに基づいて、前記第２周波数係数マトリックスの行同士及び列同士のうち少なくとも１つの部分的な交換を行い、第１周波数係数マトリックスを生成する段階と、
前記第１周波数係数マトリックスを逆離散コサイン変換して所定のブロックを復元する段階と、を含み、
前記アングル・パラメータは、前記行同士及び列同士のうち少なくとも１つの部分的な交換の程度を示すパラメータであることを特徴とするコンピュータで読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像符号化／復号化方法及びその装置に係り、さらに詳細には、周波数ドメインの係数を符号化、復号化する方法及びその装置に関する。
【背景技術】
【０００２】
ほとんどの映像符号化／復号化方法及びその装置は、映像圧縮のために、ピクセル・ドメインの映像を周波数ドメインに変換して符号化する。離散コサイン変換（ＤＣＴ：discrete  cosine  transform）は、映像または音声の圧縮に使われる周知の技術である。最近数年間、さらに効率的なコーディング方式を見い出すための多くの試みがあった。オーディオ・コーディングでは、パラメトリック・コーディングがＤＣＴよりさらに好ましい結果を示し、二次元（２Ｄ）データについては、ＫＬＴ（Karhunen  Loeve  transform）係数が最小ビットサイズを有するが、オーバーヘッド情報のサイズが非常に大きくなるという問題点がある。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
本発明の実施形態は、映像の符号化及び復号化方法及びその装置を提供するものである。
【０００４】
また本発明の実施形態は、映像符号化方法及び復号化方法を遂行するプログラムが記録されたコンピュータで読み取り可能な記録媒体を提供するものである。
【課題を解決するための手段】
【０００５】
本発明の一実施形態による映像符号化方法は、所定のブロックを離散コサイン変換して第１周波数係数マトリックスを生成する段階；所定のアングル・パラメータに基づいて、前記第１周波数係数マトリックスの行同士及び列同士のうち少なくとも１つの部分的な交換を行い、第２周波数係数マトリックスを生成する段階；前記第２周波数係数マトリックスを量子化する段階；及び前記アングル・パラメータについての情報と、前記第２周波数係数マトリックスと、をエントロピ符号化する段階；を含み、前記アングル・パラメータは、前記行同士及び列のうち少なくとも１つの部分的な交換の程度を示すパラメータであることを特徴とする。
【０００６】
本発明の一実施形態による映像符号化装置は、所定のブロックを離散コサイン変換して第１周波数係数マトリックスを生成し、所定のアングル・パラメータに基づいて、前記第１周波数係数マトリックスの行同士及び列同士のうち少なくとも１つの部分的な交換を行い、第２周波数係数マトリックスを生成する周波数変換部；前記第２周波数係数マトリックスを量子化する量子化部；及び前記アングル・パラメータについての情報と、前記第２周波数係数マトリックスと、をエントロピ符号化するエントロピ符号化部；を含み、前記アングル・パラメータは、前記行同士及び列同士のうち少なくとも１つの部分的な交換の程度を示すパラメータであることを特徴とする。
【０００７】
本発明の一実施形態による映像復号化方法は、所定のアングル・パラメータについての情報及び第２周波数係数マトリックスをエントロピ復号化する段階；前記エントロピ復号化になった第２周波数係数マトリックスを逆量子化する段階；前記アングル・パラメータに基づいて、前記第２周波数係数マトリックスの行同士及び列同士のうち少なくとも１つの部分的な交換を行い、第１周波数係数マトリックスを生成する段階；及び前記第１周波数係数マトリックスを逆離散コサイン変換して所定のブロックを復元する段階；を含み、前記アングル・パラメータは、前記行同士及び列のうち少なくとも１つの部分的な交換の程度を示すパラメータであることを特徴とする。
【０００８】
本発明の一実施形態による映像復号化装置は、所定のアングル・パラメータについての情報及び第２周波数係数マトリックスをエントロピ復号化するエントロピ復号化部；前記エントロピ復号化された第２周波数係数マトリックスを逆量子化する逆量子化部；前記アングル・パラメータに基づいて、前記第２周波数係数マトリックスの行同士及び列同士のうち少なくとも１つの部分的な交換を行い、第１周波数係数マトリックスを生成し、前記第１周波数係数マトリックスを逆離散コサイン変換して所定のブロックを復元する逆変換部；を含み、前記アングル・パラメータは、前記行同士及び列同士のうち少なくとも１つの部分的な交換の程度を示すパラメータであることを特徴とする。
【０００９】
本発明の一実施形態は、前述の映像符号化方法及び復号化方法を実行するためのプログラムを記録したコンピュータで読み取り可能な記録媒体を提供する。
【発明の効果】
【００１０】
本発明の一実施形態による映像符号化／復号化方法及びその装置は、強力な数学的基礎に基づいて、周波数係数マトリックスをさらに高い圧縮率で符号化することができ、全体映像符号化の圧縮率を大きく向上させることができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の一実施形態による映像符号化装置を図示する図である。
【図２】本発明の一実施形態による映像復号化装置を図示する図である。
【図３】本発明の一実施形態による階層的符号化単位を図示する図である。
【図４】本発明の一実施形態による符号化単位に基づいた映像符号化部を図示する図である。
【図５】本発明の一実施形態による符号化単位に基づいた映像復号化部を図示する図である。
【図６】本発明の一実施形態による最大符号化単位、サブ符号化単位及び予測単位を図示する図である。
【図７】本発明の一実施形態による、符号化単位及び変換単位を図示する図である。
【図８Ａ】本発明の一実施形態による、符号化単位、予測単位及び変換単位の分割形態を図示する図である。
【図８Ｂ】本発明の一実施形態による、符号化単位、予測単位及び変換単位の分割形態を図示する図である。
【図９】本発明の一実施形態による映像符号化装置を図示する図である。
【図１０】本発明の一実施形態による変換部を図示する図である。
【図１１Ａ】本発明の一実施形態による回転変換を図示する図である。
【図１１Ｂ】本発明の一実施形態による回転変換を図示する図である。
【図１１Ｃ】本発明の一実施形態による回転変換を図示する図である。
【図１２】本発明の一実施形態によるオイラー・アングルを図示する図である。
【図１３】本発明の一実施形態による擬似ランダム（pseudo-random）ポイントを図示する図である。
【図１４】本発明の一実施形態による映像復号化装置を図示する図である。
【図１５】本発明の一実施形態による逆変換部を図示する図である。
【図１６】本発明の一実施形態による映像符号化方法について説明するためのフローチャートである。
【図１７】本発明の一実施形態による映像復号化方法について説明するためのフローチャートである。
【発明を実施するための形態】
【００１２】
以下、図面を参照しつつ、本発明の望ましい実施形態について詳細に説明する。本明細書で「映像」は、ビデオの静止映像（still  image）または動映像（moving  image）を示すことができ、ビデオ自体であってもよい。
【００１３】
図１は、本発明の一実施形態による映像符号化装置を図示している。図１を参照すれば、本発明の一実施形態による映像符号化装置１００は、最大符号化単位分割部１１０、符号化深度決定部１２０、映像データ符号化部１３０及び符号化情報符号化部１４０を含む。
【００１４】
最大符号化単位分割部１１０は、最大サイズの符号化単位である最大符号化単位に基づいて、現在ピクチャまたは現在スライスを分割することができる。現在ピクチャまたは現在スライスを少なくとも１つの最大符号化単位で分割することができる。
【００１５】
本発明の一実施形態によれば、最大符号化単位及び深度（depth）を利用して、符号化単位が表現される。前述のように、最大符号化単位は、現在ピクチャの符号化単位において、サイズが最大である符号化単位を示し、深度は、符号化単位が階層的に縮小されたサブ符号化単位のサイズを示す。深度が大きくなりつつ、符号化単位は、最大符号化単位から最小符号化単位まで縮小され、最大符号化単位の深度は、最小深度として定義され、最小符号化単位の深度は、最大深度として定義される。最大符号化単位は、深度が大きくなるにつれて、深度別符号化単位のサイズは縮小するので、ｋ深度のサブ符号化単位は、複数個の（ｋ＋ｎ）深度のサブ符号化単位を含んでもよい（ｋ及びｎは、１であるか、あるいはそれより大きい整数である）。
【００１６】
符号化されるピクチャのサイズが大きくなるにつれて、より大きい単位で映像を符号化すれば、さらに高い映像圧縮率で映像を符号化することができる。しかし、符号化単位を大きくし、そのサイズを固定させてしまえば、変わり続ける映像の特性を反映して効率的に映像を符号化することができない。
【００１７】
例えば、海または空に係わる平坦な領域を符号化するときには、符号化単位を大きくするほど圧縮率が向上しうるが、人またはビルディングに係わる複雑な領域を符号化するときには、符号化単位を小さくするほど圧縮率が向上する。
【００１８】
このために、本発明の一実施形態は、ピクチャまたはスライスごとに異なる最大映像符号化単位を設定し、最大深度を設定する。最大深度は、符号化単位が縮小される最大回数を意味するので、最大深度によって、最大映像符号化単位に含まれた最小符号化単位サイズを可変的に設定することができる。
【００１９】
符号化深度決定部１２０は、最大深度を決定する。最大深度は、Ｒ−Ｄコスト（rate-distortion  cost）計算に基づいて決定されてもよい。最大深度は、ピクチャまたはスライスごとに異なって決定されたり、あるいはそれぞれの最大符号化単位ごとに異なって決定されもする。決定された最大深度は、符号化情報符号化部１４０に出力され、最大符号化単位別映像データは、映像データ符号化部１３０に出力される。
【００２０】
最大深度は、最大符号化単位に含まれる最小サイズの符号化単位、すなわち、最小符号化単位を意味する。言い換えれば、最大符号化単位は、異なる深度によって異なるサイズのサブ符号化単位に分割される。これについては、図８Ａ及び図８Ｂを参照しつつ詳細に後述する。また、最大符号化単位に含まれた異なるサイズのサブ符号化単位は、異なるサイズの処理単位に基づいて、予測されたり、または周波数ドメインに変換される。言い換えれば、映像符号化装置１００は、映像符号化のための複数の処理段階を、多様なサイズ及び多様な形態の処理単位に基づいて遂行することができる。映像データの符号化のためには、予測、周波数ドメインへの変換、エントロピ符号化などの処理段階を経るが、あらゆる段階にわたって、同じサイズの処理単位が利用され、段階別に異なるサイズの処理単位を利用することができる。
【００２１】
例えば、映像符号化装置１００は、符号化単位を予測するために、符号化単位と異なる処理単位を選択することができる。
【００２２】
符号化単位のサイズが２Ｎｘ２Ｎ（ただし、Ｎは正の整数）である場合、予測のための処理単位は、２Ｎｘ２Ｎ、２ＮｘＮ、Ｎｘ２Ｎ、ＮｘＮなどであってもよい。言い換えれば、符号化単位の高さまたは幅のうち少なくとも一つを半分にする形態の処理単位を基にして、動き予測が行われもする。以下、予測の基礎になるデータ単位を「予測単位」とする。
【００２３】
予測モードは、イントラモード、インターモード及びスキップモードのうち少なくとも一つであって、特定予測モードは、特定サイズまたは形態の予測単位についてのみ遂行される。例えば、イントラモードは、正方形である２Ｎｘ２Ｎ，ＮｘＮサイズの予測単位についてのみ遂行されてもよい。また、スキップモードは、２Ｎｘ２Ｎサイズの予測単位についてのみ遂行される。符号化単位内部に複数の予測単位があるならば、それぞれの予測単位に対して予測を遂行し、符号化誤差が最も小さな予測モードが選択されてもよい。
【００２４】
また、映像符号化装置１００は、符号化単位と異なるサイズの処理単位に基づいて、映像データを周波数ドメインに変換することができる。符号化単位の周波数ドメインへの変換のために、符号化単位より小さいか、あるいはそれと同じサイズのデータ単位を基にして、周波数ドメインに変換が行われる。以下、周波数ドメインへの変換の基になる処理単位を「変換単位」とする。周波数変換は、ＤＣＴ（discrete  cosine  transform）またはＫＬＴ（Karhunen-Loeve  transform）であってもよい。
【００２５】
符号化深度決定部１２０は、ラグランジュの乗数（Lagrangian  multiplier）基盤の率−歪曲最適化技法（rate-distortion  optimization）を利用し、最大符号化単位に含まれたサブ符号化単位を決定することができる。言い換えれば、最大符号化単位がいかなる形態の複数のサブ符号化単位に分割されるか決定することができるが、ここで、複数のサブ符号化単位は、深度によってサイズが異なる。その後、映像データ符号化部１３０は、符号化深度決定部１２０で決定された分割形態に基づいて、最大符号化単位を符号化してビットストリームを出力する。
【００２６】
符号化情報符号化部１４０は、符号化深度決定部１２０で決定された最大符号化単位の符号化モードについての情報を符号化する。最大符号化単位の分割形態についての情報、最大深度についての情報及び深度別サブ符号化単位の符号化モードに関する情報を符号化し、ビットストリームを出力する。サブ符号化単位の符号化モードについての情報は、サブ符号化単位の予測単位についての情報、予測単位別予測モード情報、サブ符号化単位の変換単位についての情報などを含んでもよい。
【００２７】
最大符号化単位ごとに異なるサイズのサブ符号化単位が存在し、それぞれのサブ符号化単位ごとに、符号化モードについての情報が決定されねばならないので、１つの最大符号化単位については、少なくとも１つの符号化モードについての情報が決定される。
【００２８】
映像符号化装置１００は、深度が大きくなるにつれて、最大符号化単位の高さ及び幅を半分にして、サブ符号化単位を生成することができる。すなわち、ｋ深度の符号化単位のサイズが２Ｎｘ２Ｎであるならば、ｋ＋１深度の符号化単位のサイズは、ＮｘＮである。
【００２９】
従って、一実施形態による映像復号化装置１００は、映像の特性を考慮した最大符号化単位のサイズ及び最大深度を基にして、それぞれの最大符号化単位ごとに最適の分割形態を決定することができる。映像特性を考慮して、可変的に最大符号化単位のサイズを調節し、異なる深度のサブ符号化単位に最大符号化単位を分割して映像を符号化することによって、多様な解像度の映像をさらに効率的に符号化することができる。
【００３０】
図２は、本発明の一実施形態による映像復号化装置を図示している。図２を参照すれば、本発明の一実施形態による映像復号化装置２００は、映像データ獲得部２１０、符号化情報抽出部２２０及び映像データ復号化部２３０を含む。
【００３１】
映像関連データ獲得部２１０は、映像復号化装置２００が受信したビットストリームをパージングし、最大符号化単位別に映像データを獲得し、映像データ復号化部２３０に出力する。映像データ獲得部２１０は、現在ピクチャまたはスライスに係わるヘッダから、現在ピクチャまたはスライスの最大符号化単位についての情報を抽出することができる。言い換えれば、ビットストリームを最大符号化単位で分割し、映像データ復号化部２３０をして最大符号化単位ごとに映像データを復号化させる。
【００３２】
符号化情報抽出部２２０は、映像復号化装置２００が受信したビット列をパージングし、現在ピクチャに係わるヘッダから、最大符号化単位、最大深度、最大符号化単位の分割形態、サブ符号化単位の符号化モードについての情報を抽出する。分割形態及び符号化モードについての情報は、映像データ復号化部２３０に出力される。
【００３３】
最大符号化単位の分割形態についての情報は、最大符号化単位に含まれた深度によって異なるサイズのサブ符号化単位についての情報を含むことができ、符号化モードについての情報は、サブ符号化単位別に、予測単位についての情報、予測モードについての情報及び変換単位についての情報などを含んでもよい。
【００３４】
映像データ復号化部２３０は、符号化情報抽出部で抽出された情報に基づいて、それぞれの最大符号化単位の映像データを復号化し、現在ピクチャを復元する。最大符号化単位の分割形態についての情報に基づいて、映像データ復号化部２３０は、最大符号化単位に含まれたサブ符号化単位を復号化することができる。復号化過程は、イントラ予測及び動き補償を含む動き予測過程、及び周波数逆変換過程を含んでもよい。
【００３５】
映像データ復号化部２３０は、サブ符号化単位の予測のために、サブ符号化単位別予測単位についての情報及び予測モードについての情報に基づいて、イントラ予測またはインター予測を行うことができる。また、映像データ復号化部２３０は、サブ符号化単位の変換単位についての情報に基づいて、サブ符号化単位ごとに逆変換を行うことができる。
【００３６】
図３は、本発明の一実施形態による階層的符号化単位を図示している。図３を参照すれば、本発明による階層的符号化単位は、幅ｘ高さが６４ｘ６４である符号化単位から、３２ｘ３２、１６ｘ１６、８ｘ８、及び４ｘ４を含んでもよい。正方形の符号化単位以外にも、幅ｘ高さが６４ｘ３２、３２ｘ６４、３２ｘ１６、１６ｘ３２、１６ｘ８、８ｘ１６、８ｘ４、４ｘ８である符号化単位が存在しうる。
【００３７】
図３を参照すれば、解像度が１９２０ｘ１０８０である映像データ３１０に対して、最大符号化単位のサイズは６４ｘ６４、最大深度は２に設定されている。
【００３８】
解像度が１９２０ｘ１０８０である映像データ３２０に対して、最大符号化単位のサイズは６４ｘ６４、最大深度は３に設定されている。解像度が３５２ｘ２８８であるビデオデータ３３０に対して、最大符号化単位のサイズは１６ｘ１６、最大深度は１に設定されている。
【００３９】
解像度が高いか、あるいはデータ量が多い場合、圧縮率向上だけではなく、映像特性を正確に反映するために、符号化サイズの最大サイズが相対的に大きいことが望ましい。従って、映像データ３３０に比べて、解像度が高い映像データ３１０及び３２０は、最大符号化単位のサイズが６４ｘ６４に選択されもする。
【００４０】
最大深度は、階層的符号化単位での総階層数を示す。映像データ３１０の最大深度が２であるから、映像データ３１０の符号化単位３１５は、長軸サイズが６４である最大符号化単位から、深度が増加するにつれて、長軸サイズが３２、１６であるサブ符号化単位まで含んでもよい。
【００４１】
一方、映像データ３３０の最大深度が１であるから、映像データ３３０の符号化単位３３５は、長軸サイズが１６である最大符号化単位から、深度が増加するにつれて、長軸サイズが８である符号化単位まで含んでもよい。
【００４２】
映像データ３２０の最大深度が３であるから、ビデオデータ３２０の符号化単位３２５は、長軸サイズが６４である最大符号化単位から、深度が増加するにつれて、長軸サイズが３２、１６、８、４であるサブ符号化単位まで含んでもよい。深度が増加するほど、さらに小さいサブ符号化単位に基づいて映像を符号化するので、さらに精密な場面を含んでいる映像を符号化するのに適する。
【００４３】
図４は、本発明の一実施形態による符号化単位に基づいた映像符号化部を図示している。
【００４４】
イントラ予測部４１０は、現在フレーム４０５において、イントラモードの予測単位に対してイントラ予測を行い、動き推定部４２０及び動き補償部４２５は、インターモードの予測単位に対して、現在フレーム４０５及び参照フレーム４９５を利用し、インター予測及び動き補償を行う。
【００４５】
イントラ予測部４１０、動き推定部４２０及び動き補償部４２５から出力された予測単位に基づいて、残存値（residual  value）が生成され、生成された残存値は、変換部４３０及び量子化部４４０を経て、量子化された変換係数として出力される。
【００４６】
量子化された変換係数は、逆量子化部４６０、周波数逆変換部４７０を介して、さらに残存値に復元され、復元された残存値は、デブロッキング部４８０及びループ・フィルタリング部４９０を経て後処理され、参照フレーム４９５として出力される。量子化された変換係数は、エントロピ符号化部４５０を経て、ビットストリーム４５５として出力される。
【００４７】
本発明の一実施形態による映像符号化方法によって符号化するために、映像符号化部４００の構成要素であるイントラ予測部４１０、動き推定部４２０、動き補償部４２５、変換部４３０、量子化部４４０、エントロピ符号化部４５０、逆量子化部４６０、周波数逆変換部４７０、デブロッキング部４８０及びループ・フィルタリング部４９０は、いずれも最大符号化単位、深度によるサブ符号化単位、予測単位及び変換単位に基づいて、映像符号化過程を処理する。
【００４８】
図５は、本発明の一実施形態による符号化単位に基づいた映像復号化部を図示している。
【００４９】
ビットストリーム５０５が、パージング部５１０を経て、復号化対象である符号化された映像データ、及び復号化のために必要な符号化情報がパージングされる。符号化された映像データは、エントロピ復号化部５２０及び逆量子化部５３０を経て、逆量子化されたデータとして出力され、周波数逆変換部５４０を経て、残存値に復元される。残存値は、イントラ予測部５５０のイントラ予測の結果、または動き補償部５６０の動き補償結果と加算され、符号化単位別に復元される。復元された符号化単位は、デブロッキング部５７０及びループ・フィルタリング部５８０を経て、次の符号化単位または次のピクチャの予測に利用される。
【００５０】
本発明の一実施形態による映像復号化方法によって復号化するために、映像復号化部４００の構成要素であるパージング部５１０、エントロピ復号化部５２０、逆量子化部５３０、周波数逆変換部５４０、イントラ予測部５５０、動き補償部５６０、デブロッキング部５７０及びループ・フィルタリング部５８０が、いずれも最大符号化単位、深度によるサブ符号化単位、予測単位及び変換単位に基づいて映像復号化過程を処理する。
【００５１】
特に、イントラ予測部５５０、動き補償部５６０は、最大符号化単位及び深度を考慮して、サブ符号化単位内の予測単位及び予測モードを決定し、周波数逆変換部５４０は、変換単位のサイズを考慮して、周波数逆変換を行う。
【００５２】
図６は、本発明の一実施形態による最大符号化単位、サブ符号化単位及び予測単位を図示している。
【００５３】
本発明の一実施形態による映像符号化装置１００及び映像復号化装置２００は、映像特性を考慮して、符号化、復号化を行うために、階層的な符号化単位を利用する。最大符号化単位及び最大深度は、映像の特性によって適応的に設定されたり、あるいはユーザの要求によって、多様に設定されもする。
【００５４】
本発明の一実施形態による符号化単位の階層構造６００は、最大符号化単位６１０の高さ及び幅が６４であり、最大深度が４である場合を図示している。符号化単位の階層構造６００の縦軸に沿って深度が増加し、深度の増加によって、サブ符号化単位６２０ないし６５０の高さ及び幅が縮小される。また、符号化単位の階層構造６００の横軸に沿って、最大符号化単位６１０及びサブ符号化単位６２０ないし６５０の予測単位が図示されている。
【００５５】
最大符号化単位６１０は、深度が０であり、符号化単位のサイズ、すなわち、高さ及び幅が６４ｘ６４である。縦軸に沿って深度が増加し、サイズ３２ｘ３２である深度１のサブ符号化単位６２０、サイズ１６ｘ１６である深度２のサブ符号化単位６３０、サイズ８ｘ８である深度３のサブ符号化単位６４０、サイズ４ｘ４である深度４のサブ符号化単位６５０が存在する。サイズ４ｘ４である深度４のサブ符号化単位６５０は、最小符号化単位である。
【００５６】
図６を参照すれば、それぞれの深度別に、横軸に沿って、予測単位の例示が図示されている。すなわち、深度０の最大符号化単位６１０の予測単位は、サイズ６４ｘ６４の符号化単位６１０と同一であるか、あるいはそれよりも小さいサイズであるサイズ６４ｘ６４の予測単位６１０、サイズ６４ｘ３２の予測単位６１２、サイズ３２ｘ６４の予測単位６１４、サイズ３２ｘ３２の予測単位６１６であってもよい。
【００５７】
深度１のサイズ３２ｘ３２の符号化単位６２０の予測単位は、サイズ３２ｘ３２の符号化単位６２０と同一であるか、あるいはそれよりも小さいサイズであるサイズ３２ｘ３２の予測単位６２０、サイズ３２ｘ１６の予測単位６２２、サイズ１６ｘ３２の予測単位６２４、サイズ１６ｘ１６の予測単位６２６であってもよい。
【００５８】
深度２のサイズ１６ｘ１６の符号化単位６３０の予測単位は、サイズ１６ｘ１６の符号化単位６３０と同一であるか、あるいはそれよりも小さいサイズであるサイズ１６ｘ１６の予測単位６３０、サイズ１６ｘ８の予測単位６３２、サイズ８ｘ１６の予測単位６３４、サイズ８ｘ８の予測単位６３６であってもよい。
【００５９】
深度３のサイズ８ｘ８の符号化単位６４０の予測単位は、サイズ８ｘ８の符号化単位６４０と同一であるか、あるいはそれよりも小さいサイズであるサイズ８ｘ８の予測単位６４０、サイズ８ｘ４の予測単位６４２、サイズ４ｘ８の予測単位６４４、サイズ４ｘ４の予測単位６４６であってもよい。
【００６０】
最後に、深度４のサイズ４ｘ４の符号化単位６５０は、最小符号化単位であり、最大深度の符号化単位であり、予測単位は、サイズ４ｘ４の予測単位６５０である。
【００６１】
図７は、本発明の一実施形態による符号化単位及び変換単位を図示している。
【００６２】
本発明の一実施形態による映像符号化装置１００及び映像復号化装置２００は、最大符号化単位そのまま符号化したり、あるいは最大符号化単位より小さいか、あるいはそれと同じサブ符号化単位で最大符号化単位を分割して符号化する。符号化過程において、周波数ドメインへの変換のための変換単位のサイズは、それぞれの符号化単位より大きくない変換単位として選択される。例えば、現在符号化単位７１０が６４ｘ６４サイズであるとき、３２ｘ３２サイズの変換単位７２０を利用して、周波数ドメインへの変換が行われる。
【００６３】
図８Ａ及び図８Ｂは、本発明の一実施形態による符号化単位、予測単位及び変換単位の分割形態を図示している。
【００６４】
図８Ａは、本発明の一実施形態による符号化単位及び予測単位を図示している。図８Ａの左側は、最大符号化単位８１０を符号化するために、本発明の一実施形態による映像符号化装置１００が選択した分割形態を図示している。映像符号化装置１００は、多様な形態に最大符号化単位８１０を分割し、符号化した後で、多様な分割形態の符号化結果をＲ−Ｄコストに基づいて比較し、最適の分割形態を選択する。最大符号化単位８１０をそのまま符号化することが最適である場合には、図８Ａ及び図８Ｂのように、最大符号化単位８１０を分割せずに、最大符号化単位（８００）を符号化することもできる。
【００６５】
図８Ａの左側を参照すれば、深度０である最大符号化単位８１０を、深度１以上のサブ符号化単位に分割して符号化する。最大符号化単位８１０を４個の深度１のサブ符号化単位に分割した後、全部または一部の深度１のサブ符号化単位を、さらに深度２のサブ符号化単位に分割する。
【００６６】
深度１のサブ符号化単位のうち、右側上部に位置したサブ符号化単位、及び左側下部に位置したサブ符号化単位が、深度２以上のサブ符号化単位に分割された。深度２以上のサブ符号化単位のうち一部は、さらに深度３以上のサブ符号化単位に分割されてもよい。
【００６７】
図８Ｂの右側は、最大符号化単位８１０に係わる予測単位の分割形態を図示している。
【００６８】
図８Ａの右側を参照すれば、最大符号化単位に係わる予測単位８６０は、最大符号化単位８１０と異なって分割されてもよい。言い換えれば、サブ符号化単位各々に係わる予測単位は、サブ符号化単位より小さくともよい。
【００６９】
例えば、深度１のサブ符号化単位のうち、右側下部に位置したサブ符号化単位８５４に係わる予測単位は、サブ符号化単位８５４より小さくともよい。深度２のサブ符号化単位８１４，８１６，８１８，８２８，８５０，８５２のうち、一部サブ符号化単位８１４，８１６，８５０，８５２に係わる予測単位は、サブ符号化単位より小さくともよい。また、深度３のサブ符号化単位８２２，８３２，８４８に係わる予測単位は、サブ符号化単位より小さくともよい。予測単位は、それぞれのサブ符号化単位を高さ方向または幅方向に半分にした形態でもあり、高さ方向及び幅方向に４分した形態でもある。
【００７０】
図８Ｂは、本発明の一実施形態による予測単位及び変換単位を図示している。図８Ｂの左側は、図８Ａの右側に図示された最大符号化単位８１０に係わる予測単位の分割形態を図示し、図８Ｂの右側は、最大符号化単位８１０の変換単位の分割形態を図示している。
【００７１】
図８Ｂの右側を参照すれば、変換単位８７０の分割形態は、予測単位８６０と異なって設定されもする。
【００７２】
例えば、深度１の符号化単位８５４に係わる予測単位が、高さを半分にした形態で選択されたとしても、変換単位は、深度１の符号化単位８５４のサイズと同じサイズに選択される。同様に、深度２の符号化単位８１４，８５０に係わる予測単位が、深度２の符号化単位８１４，８５０の高さを半分にした形態で選択されたとしても、変換単位は、深度２の符号化単位８１４，８５０の本来のサイズと同じサイズに選択されもする。
【００７３】
予測単位よりさらに小さいサイズに変換単位が選択されもする。例えば、深度２の符号化単位８５２に係わる予測単位が、幅を半分にした形態で選択された場合、変換単位は、予測単位よりさらに小サイズである高さ及び幅を半分にした形態に選択されもする。
【００７４】
図９は、本発明の一実施形態による映像符号化装置を図示している。図９に図示された映像符号化装置９００は、図１の映像符号化装置１００または図４の前述の映像符号化部４００に含まれて後述するところの映像符号化過程を遂行するモジュールである。図９を参照すれば、本発明の一実施形態による映像符号化装置９００は、変換部９１０、量子化部９２０及びエントロピ符号化部９３０を含む。
【００７５】
変換部９１０は、所定のブロックを入力されて周波数ドメインに変換する。周波数ドメインへの変換は、離散コサイン変換（ＤＣＴ：discrete  cosine  transform）であって、入力される所定のブロックは、残存ブロックであってもよい。また、入力されるブロックは、図７または図８Ｂと関連して述べた変換単位のブロックであってもよい。変換の結果、入力されたピクセル・ドメインのブロックは、周波数ドメインの係数に変換される。ピクセル・ドメインのブロックを離散コサイン変換し、離散コサイン係数を含むマトリックスを生成する。
【００７６】
また、本発明による変換部９１０は、離散コサイン係数マトリックスの行同士及び列同士のうち少なくとも一つを部分的に交換する後処理を行うが、図１０、図１１Ａないし図１１Ｃを参照しつつ、詳細に説明する。
【００７７】
図１０は、本発明の一実施形態による変換部９１０を図示している。図１０を参照すれば、本発明の一実施形態による変換部９１０は、変換遂行部１０１０及びＲＯＴ（rotational  transform）遂行部１０２０を含む。
【００７８】
変換遂行部１０１０は、所定のブロックを入力されて周波数ドメインへの変換を行い、周波数係数マトリックスを生成する。前述のように、離散コサイン変換を行い、離散コサイン係数を含む周波数係数マトリックスを生成することができる。
【００７９】
ＲＯＴ遂行部１０２０は、変換遂行部１０１０で生成された周波数係数マトリックスを入力され、本発明による回転変換（rotational  transform）を行い、修正された周波数係数マトリックスを生成する。回転変換は、行同士及び列同士のうち少なくとも一つに対して部分的な交換する変換であってもよい。図１１Ａないし図１１Ｃを参照しつつ、回転変換について詳細に説明する。
【００８０】
図１１Ａないし図１１Ｃは、本発明の一実施形態による回転変換を図示している。
【００８１】
本発明によるＲＯＴ遂行部１０２０は、周波数係数マトリックスの行同士及び列同士のうち少なくとも１つの部分的な交換を行う。図１１Ａないし図１１Ｃを参照しつつ、周波数係数マトリックスの行同士及び列同士の交換について説明する。
【００８２】
本発明で、行同士の部分的な交換または列同士の部分的な交換とは、特定行または列の値を、無条件１：１で交換するのではなく、三角関数のような特定関数を利用し、２行または２列同士の値を部分的に交換することを意味する。
【００８３】
例えば、２つの行ＡとＢとの交換は、パラメータａの値によって、次の式（１）のように定義されてもよい。
【００８４】
行Ａ（new）＝ｃｏｓ（ａ）＊行Ａ（old）＋ｓｉｎ（ａ）＊行Ｂ（old）
行Ｂ（new）＝ｓｉｎ（ａ）＊行Ａ（old）＋ｃｏｓ（ａ）＊行Ｂ（old）    （１）
式（１）を参照すれば、パラメータａは、角（angle）の役割をしていることが分かる。従って、本発明ではこのように、ＤＣＴ変換マトリックスの行同士と列同士との部分的な交換の程度を示すパラメータをアングル・パラメータと定義する。
【００８５】
パラメータａの値が０°である場合、交換が起こらない場合を意味する。また、パラメータａの値が９０°である場合、行同士の全部交換が起こる場合を意味する。
【００８６】
また、パラメータａの値が９０°より大きくて１８０°より小さい値を有する場合、行同士の交換と共に、エレメント値の符号（sign）が変更される場合を示す。パラメータａの値が１８０°である場合、行同士の交換が起こらないが、それぞれの行に含まれたエレメントの符号がいずれも変更される。本発明で、列同士の部分的な交換も、前記行同士の部分的な交換と同じ方式で定義される。
【００８７】
図１１Ａは、４ｘ４周波数係数マトリックスを回転変換する場合を図示している。図１１Ａを参照すれば、周波数係数マトリックスの行同士の部分的な交換に、３個のパラメータα１，α２，α３が使われ、列同士の部分的な交換に３個のパラメータα４，α５，α６が使われる。
【００８８】
また、図１１Ｂは、８ｘ８周波数係数マトリックスを回転変換する場合を図示している。図１１Ｂの場合には、α１，α２，α３，α４，α５，α６が行同士の部分的な交換に利用されており、α７，α８，α９，α１０，α１１，α１２が列同士の部分的な交換に利用されている。
【００８９】
図１１Ｃは、１６ｘ１６以上サイズの周波数係数マトリックスを回転変換する場合を図示している。
【００９０】
図１１Ａ、図１１Ｂと関連して述べたように、周波数係数マトリックスのサイズが大きくなるほど、アングル・パラメータの個数は増加する。図１１Ａの４ｘ４周波数係数マトリックスを回転変換するためには、６個のアングル・パラメータが必要であり、図１１Ｂの８ｘ８周波数係数マトリックスを回転変換するためには、全てで１２個のアングル・パラメータが必要である。
【００９１】
周波数係数マトリックスを回転変換し、修正された周波数係数マトリックスを生成し、量子化、エントロピ符号化することによって圧縮率を向上させても、アングル・パラメータの個数が増加してオーバーヘッドが増加するならば、全体データ量は減らない。従って、１所定サイズ、例えば、１６ｘ１６以上サイズの周波数係数マトリックスを回転変換するときには、係数サンプリング（sampling）を利用する。
【００９２】
言い換えれば、ＲＯＴ遂行部１０２０は、図１１Ｃに図示されているように、周波数係数マトリックス１１１０の一部係数のみ含むサンプリングされた周波数係数マトリックス１１２０を選択した後、選択された周波数係数マトリックス１１２０に対して回転変換を行う。周波数係数マトリックス１１１０の残りの部分１１３０については、回転変換を行わない。
【００９３】
大きいサイズの周波数係数マトリックスについても、回転変換の効果が正常に生じるためには、選択された周波数係数マトリックス１１２０に含まれた係数は、映像データの圧縮に影響を及ぼす係数でなければならない。従って、ＲＯＴ遂行部１０２０は、「０」ではない値を有する確率が高い低周波数成分に係わる係数だけ選択して回転変換を行う。
【００９４】
離散コサイン変換のような一般的な周波数係数マトリックスでは、マトリックスの左側上部に低周波数成分に係わる係数が含まれているので、ＲＯＴ遂行部１０２０は、図１１Ｃに図示されているように、周波数係数マトリックス１１１０の左側上部に位置した係数だけを選択して回転変換を行う。図１１Ｃに図示された実施形態では、ＲＯＴ遂行部１０２０で、８ｘ８サイズの周波数係数マトリックス１１２０を、図１１Ｂに図示された回転変換と同じ方法で回転変換する。
【００９５】
図１１Ａに図示された４ｘ４周波数係数マトリックスの回転変換について述べれば、アングル・パラメータα１，α２，α３の適用順序によって、互いに異なる結果が導き出される。すなわち、３つのアングル・パラメータは、互いに独立しているものではない。アングル・パラメータα１をまず適用し、アングル・パラメータα２を適用した場合と、アングル・パラメータα２をまず適用し、アングル・パラメータα１を適用する場合とで、交換の結果として生成される修正された周波数係数マトリックスは異なる。これについて、図１２を参照しつつ詳細に説明する。
【００９６】
図１２は、本発明の一実施形態によるオイラー・アングル（Euler  angles）を図示している。図１２を参照すれば、本発明によるマトリックスの行同士または列同士の交換は、三次元上の座標軸の回転と類似しているということが分かる。すなわち、３つの行または列が、それぞれ三次元座標上のＸ軸，Ｙ軸，Ｚ軸に対応する。
【００９７】
三次元上の座標軸の回転においても、どの軸をまず回転するかによって結果が変わる。従って、三次元上の座標軸の回転を示す方式について多くの試みがあり、そのうち代表的なものがオイラー・アングルである。
【００９８】
図１２で、α，β，γの３つの角は、オイラー・アングルを示している。図１２で、Ｘ軸、Ｙ軸、Ｚ軸は、回転前の座標軸を示し、Ｘ’軸、Ｙ’軸、Ｚ’軸は、回転後の座標軸を示す。Ｎ軸は、ＸＹ平面とＸ’Ｙ’平面との交線（intersection）である。Ｎ軸をline  of  nodesと呼ぶ。
【００９９】
角αは、Ｚ軸を回転軸とするＸ軸とＮ軸との角度である。角βは、Ｎ軸を回転軸とするＺ軸とＺ’軸との角度である。角γは、Ｚ’軸を回転軸とするＮ軸とＸ’軸との角度である。
【０１００】
オイラー・アングルを適用した座標軸の回転をマトリックス状で示せば、次の式（２）の通りである。
【０１０１】
【数１】
2013502142.tif 000003
最初のマトリックスは、Ｚ’軸を回転軸とする回転（rotation around  Ｚ’）を示す。二番目のマトリックスは、Ｎ軸を回転軸とする回転（rotation  around  Ｎ）を示す。三番目のマトリックスは、Ｚ軸を回転軸とする回転（rotation  around  Ｚ）を示す。
【０１０２】
本発明では、マトリックスの行同士と列同士との交換をオイラー・アングルを使用する座標軸の回転で示すことが望ましい。
【０１０３】
再び図９及び図１０を参照すれば、変換部９１０のＲＯＴ遂行部１０２０で、周波数係数マトリックスを回転変換して生成された修正された周波数係数マトリックスは、量子化部９２０に入力される。
【０１０４】
量子化部９２０は、修正された周波数係数マトリックスに含まれた係数を、所定の量子化ステップによって量子化し、エントロピ符号化部９３０は、量子化された修正された周波数係数マトリックスをエントロピ符号化する。エントロピ符号化は、ＣＡＢＡＣ（context-adaptive  binary  arithmetic  coding）またはＣＡＶＬＣ（context-adaptive  variable  length coding）によって行われる。周波数係数マトリックスのサイズが大きく、一部の係数だけ含むマトリックス１１２０についてのみ回転変換を行った場合には、回転変換された一部の係数を含むマトリックス１１２０、及び回転変換されていない残りの部分１１３０を含む全体マトリックス１１１０を量子化し、エントロピ符号化する。
【０１０５】
また、エントロピ符号化部９３０は、変換部９１０で回転変換に利用されたアングル・パラメータもエントロピ符号化するが、映像符号化装置９００が回転変換に利用する最適のアングル・パラメータを決定するための過程は、次の通りである。
【０１０６】
映像符号化装置９００が圧縮を効率的に行うための最適のアングル・パラメータを求めることは、パラメータに対する強いノンスムース依存性（strongly  non-smooth  dependence  on  parameters）を有する古典的なマルチパラメータ問題（multi  parameter  problem）である。このような問題を解決するために、モンテカルロ法（Monte  Carlo  method）が使われる。モンテカルロ法におけるランダム・ポイントの生成には、レーマーの乱数シーケンス（Lemer’s  random  sequence  number）が利用されもする。レーマーのシーケンスを使用することにより、パラメータとして使われるアングル・パラメータ自体を保存したり、あるいは伝送する代わりに、シーケンス番号を示す１つの整数だけを保存したり、あるいは伝送することができる。従って、回転変換に利用されたアングル・パラメータをデコーダ側に知らせるために必要なオーバーヘッドが減少する。
【０１０７】
すなわち、最適のアングル・パラメータ組み合わせを決定するために考慮する事項は、次の通りである。
【０１０８】
１．ＤＣＴ変換マトリックスの可逆変換
２．さらに効率的なコーディングのためのエネルギーの再配置
３．レーマーの数を使用した付加される情報の最小化
図１１Ａないし図１１Ｃを再び参照すれば、周波数係数マトリックスで、回転によって修正される部分は、黒色で、修正されない部分は、白色で示している。図１１Ａの４ｘ４周波数係数マトリックスでは、６個のアングル・パラメータが、行同士と列同士との交換による１５個の係数の修正を示している。図１１Ｂの８ｘ８周波数係数マトリックスでは、１２個のアングル・パラメータが６０個の係数の修正に関係している。
【０１０９】
図１１Ａを参照すれば、行同士の交換のために、３個のアングル・パラメータが必要であり、列同士の交換のために、さらに３個のアングル・パラメータが必要であるということが分かる。従って、４ｘ４ブロックにおいては、６個のアングル・パラメータが必要である。
【０１１０】
図１１Ｂを参照すれば、行同士の交換のために、１２個のアングル・パラメータが必要であり、列同士の交換のために、１２個のアングル・パラメータが必要である。従って、８ｘ８ブロックにおいては、全てで１２個のアングル・パラメータが必要である。
【０１１１】
本発明の一実施形態による映像符号化装置９００の前述した回転変換は、次のような段階を介して行われる。
【０１１２】
１段階−直交交換ファミリーパラメータ化（orthogonal  transform  family  parameterization）
２段階−モンテカルロ法
３段階−レーマーの擬似乱数（Lemer’s  pseudo-random  numbers）
４段階−最適化されたアングル・パラメータのための変域のローカリゼーション（localization  of  diapason  for  optimal  angle  parameters）
５段階−準最適化されたベーシス（quasi-optimal  basis）
前述のように回転変換を利用して映像の圧縮率を向上させても、追加されるパラメータの数が過度に多くなるならば、かえって圧縮を使用せずに、ビデオ信号自体を伝送することが望ましい。言い換えれば、圧縮率と付加パラメータのオーバーヘッドとの間にトレードオフ（trade-off）が存在する。例えば、４ｘ４周波数係数マトリックスで、イメージ信号を圧縮し、ほぼ０に近いサイズにしたとしても、１６個の追加的なパラメータを必要とするならば、回転変換を行うことが不要にもなる。なぜならばそれは、１６個のピクセル値をそのままデコーダに伝送する方がさらに効率的でもあるためである。従って、映像信号を圧縮すると同時に、追加されるオーバーヘッドの最小化が望ましいということが分かる。
【０１１３】
このために、ＲＯＴ遂行部１０２０は、次のような段階を、オーバーヘッドを最小化しつつ、最適のアングル・パラメータを見つけ出す。
【０１１４】
＜１段階−直交変換ファミリーパラメータ化＞
現在データに対する最適交換を選択するために、ベーシス修正が要求される。ベーシスの回転は、ベーシスの変更として選択される。従って、回転アングルの集合は、ベーシス変更を固有に記述する。紹介された回転アングルは、三次元空間で、固体（solid  body）の回転を記述するオイラー・アングルと同じ方式でベーシスの変更を記述する。このような類似性は、このようなアルゴリズムの名称について説明する。
【０１１５】
ベーシス修正の主な方法として、ベーシス回転を選択する。本発明でベーシスの回転は、アングル・パラメータを使用して行われる。アングル・パラメータを利用したベーシスの回転を利用することが、新規アイディアである。本発明で前記アングル・パラメータは、オイラー・アングルであることが望ましい。しかし、マトリックスの行同士及び列同士のうち少なくとも１つの部分的な交換の程度を示すものであるならば、いずれも本発明によるアングル・パラメータになり、従って、本発明によるアングル・パラメータは、オイラー・アングルに限定されるものではない。以下では、オイラー・アングルを使用した実施形態について説明する。
【０１１６】
オイラー・アングル回転は、周波数係数マトリックスＤの左側積Ｒｈｏｒｉｚｏｎｔａｌ及び右側積Ｒｖｅｒｔｉｃａｌを使用して、次の式（３）のように定義される。
【０１１７】
Ｄ’＝ＲｈｏｒｉｚｏｎｔａｌΧＤΧＲｖｅｒｔｉｃａｌ        （３）
（Ｄ’は、回転変換された修正された周波数係数マトリックスである。）
マトリックスＲｈｏｒｉｚｏｎｔａｌは、周波数係数マトリックスＤの行同士の交換を行う。マトリックスＲｖｅｒｔｉｃａｌは、周波数係数マトリックスＤの列同士の交換を行う。
【０１１８】
４ｘ４ブロックにおけるマトリックスＲｈｏｒｉｚｏｎｔａｌの一例は、次の式（４）の通りである。
【０１１９】
【数２】
2013502142.tif 000004
前記式（４）で、α，β，γは、オイラー・アングルである。
【０１２０】
従って、４ｘ４周波数係数マトリックスの場合、オイラー・アングルは、６個のパラメータα１，α２，…，α６の集合によって、１５個の周波数係数の修正を記述する。８ｘ８周波数係数マトリックスについては、１２個のオイラー・アングルα１，α２，…，α１２が６０個の周波数係数の修正を記述する。
【０１２１】
＜２段階−モンテカルロ法＞
自由度が６個のアングル・パラメータ（８ｘ８周波数係数マトリックスの場合、１２個のアングル・パラメータ）に減少した後、最適化の問題をビット節約の観点からチェックする必要がある。すなわち、アングル・パラメータの集合を選択する方法を最適化せねばならないのである。
【０１２２】
このような最適化の問題には、パラメータの高次元ドメイン（６個または１２個のアングル・パラメータ）が使われるという点と、イメージの圧縮が使われたパラメータにノンスムース（non-smooth）に依存するという点に困難さがある。このような問題は、伝統的にモンテカルロ法によって解決された。
【０１２３】
モンテカルロ法の核心を要約すれば、多数の試みを行うことである。すなわち、さまざまなポイントでの圧縮率を測定し、最良のポイントを選択するのである。モンテカルロ法では、多次元ドメインでのランダム・ポイントの品質（quality）が非常に重要である（特に、次元が上昇するにつれて、さらに重要である）。このようなアプリケーションでは、均一なグリッド（uniform  grid）ポイントよりは、擬似ランダム（pseudo-random）ポイントがさらに好まれるということが知られている。簡単には、二次元ケースについて述べれば、図１３の通りである。
【０１２４】
図１３は、本発明の一実施形態による擬似ランダム（pseudo-random）ポイントを図示している。図１３の左側には、均一なグリッドポイントが図示されており、右側には、擬似ランダムによる最初の１６個のポイントが図示されている。
【０１２５】
均一なグリッドポイントを使用する場合、モンテカルロ法の１６個のポイントにもかかわらず、最初のパラメータ（及び二番目のパラメータ）について、単に４個の異なる値だけ検査されている。一方、擬似ランダム・ポイントを使用する場合、１６個のポイントによって、最初のパラメータ（及び二番目のパラメータ）について、１６個の互いに異なる値を検査している。すなわち、擬似ランダム・ポイントを使用する場合、１６個のポイントについて、最初のパラメータと二番目のパラメータとの多様な値について、十分にチェックすることができる。特に、パラメータの数が増加するにつれ、モンテカルロ方式において、均一グリッドポイントよりは、擬似ランダム・ポイントを使用するのが有利であるということが容易に分かるのである。
【０１２６】
＜３段階−レーマーの擬似乱数＞
擬似乱数シーケンス（pseudo-random  sequence）の生成方式には、さまざまがある。最も効率的な方式の１つのレーマーの数を使用することである。これは、人工的に生成される数列であり、均一に分布された実際の乱数に最も近い性質を有している。レーマーの数列を生成するアルゴリズムは周知であるので、本明細書では、詳細な説明を省略する。本発明で目的とするところを満足するためには、少なくとも１０１３個の反復されないポイントを提供せねばならないのである。レーマーの数列は、生成アルゴリズムが知られている人工的な数列であるから、デコーダ側で容易に再計算することができる。
【０１２７】
レーマーの数列を使用することにより、アングル・パラメータの組み合わせを１つの情報（すなわち、ランダム・シーケンス上の番号）を使用してコーディングすることができる。六次元（４ｘ４周波数係数マトリックスの場合）または１２次元（８ｘ８周波数係数マトリックスの場合）パラメータドメインで、アングル・パラメータの組み合わせに対応するランダム・ポイントを生成し、これを利用して圧縮を行って圧縮率を測定した後、最適のポイントを選択する。アングル・パラメータの集合自体を保存したり、あるいは伝送する代わりに、前記最適のパラメータポイントが対応するレーマー・シーケンスの番号を保存したり、あるいは伝送すればよい。
【０１２８】
もしモンテカルロ法で、２ｐ個のポイント、すなわち、アングル・パラメータの組み合わせに対する回転変換を行ったならば、ｐビットの情報だけをオーバーヘッドとして有する。
【０１２９】
＜４段階−最適化されたアングル・パラメータのための変域のローカリゼーション＞
本発明の発明者らは、実験を介して最適化された回転アングルは、０°近くまたは１８０°（πラジアン）近くの値を有するということを発見した。これは、周波数ドメインへの変換ベーシス、例えば、離散コサイン変換ベーシスがすでにほぼ最適化された状態であるということを示す。
【０１３０】
従って、本発明によるアングル・パラメータは、部分的な列同士及び行同士のうち、少なくとも１つの部分的な交換（オイラー・アングルの場合、０°近くのアングル）を行ったり、部分的な交換及びベーシスエレメントの符号の変更（オイラー・アングルの場合、１８０°近くのアングル）を行う必要があるだけである。すなわち、本発明で使われるパラメータの変域（diapason）は、ドメインの特定部分に限定されるが、これをローカリゼーション（localization）という。
【０１３１】
パラメータの変域に係わるローカリゼーションを行うことにより、オーバーヘッドに係わるビット数が減少する。図１３で、検査するポイントが特定部分に限定される場合を仮定すれば、最適のアングル・パラメータ組み合わせを求めるために検査しなければならないポイントの個数が少なくなる。
【０１３２】
また、検査するポイントの数が固定されているならば（すなわち、オーバーヘッドに使用するビット数が固定されている場合）、ローカリゼーションが適用される場合、さらに狭いアングルの範囲内で、さらに多くのポイントを検査できるので、圧縮率がさらに上昇する。
【０１３３】
＜５段階−準最適化されたベーシス＞
前記１段階ないし４段階の具現によって、あらゆるブロック（４ｘ４または８ｘ８、またはそれ以上サイズのブロック）に対する最適化されたベーシスを選択することが可能になる。高いビットレートでは、ブロック当たり８または１０バイトのオーバーヘッドが追加される。ビットレートが低くなる場合、準最適化されたベーシスを選択するのが望ましい。
【０１３４】
準最適化されたベーシスとは、１つのスライスまたはピクチャに含まれたあらゆる変換単位、または一部変換単位の集合に対して、同じ回転を適用することを意味する。それぞれのブロックに対して最適化された回転を適用するならば、イメージ自体に対する圧縮率は上昇するが、オーバーヘッドが増加する。
【０１３５】
１つの変換単位、１つの変換単位集合、１つのスライス、１つのピクチャのうち、いずれの単位に対して同じ回転を適用するかについては、多様な実験によって決定される。
【０１３６】
低いビットレートでは、周波数ドメインへの変換後に、周波数係数マトリックスの多くの部分で、量子化係数値が０になる。従って、かような周波数係数マトリックスについては、敢えて回転変換を適用して回転アングル値についての付加情報を伝送する必要がない。
【０１３７】
要するに、本発明の一実施形態による映像符号化装置９００は、モンテカルロ法を利用して、複数のアングル・パラメータ組み合わせに対して回転変換を行い、量子化過程及びエントロピ符号化する過程を反復遂行し、最適のアングル・パラメータ組み合わせを決定する。また、決定された最適のアングル・パラメータ組み合わせについての情報として、アングル・パラメータそのままではない、アングル・パラメータ組み合わせに対応するレーマーの擬似乱数シーケンスの番号を符号化する。このとき、ローカリゼーションと準最適化されたベーシスとを利用すれば、さらに高い効率で、アングル・パラメータについての情報を符号化することができる。
【０１３８】
図１４は、本発明の一実施形態による映像復号化装置を図示している。図１４に図示された映像復号化装置１４００は、図２の映像復号化装置２００、または図５の前述した映像復号化部４００に含まれ、後述する映像復号化過程を遂行するモジュールである。図１４を参照すれば、本発明の一実施形態による映像復号化装置９００は、エントロピ復号化部１４１０、逆量子化部１４２０及び逆変換部１４３０を含む。
【０１３９】
エントロピ復号化部１４１０は、ビットストリームを受信し、所定ブロックの修正された周波数係数マトリックスをエントロピ復号化する。修正された周波数係数マトリックスは、所定ブロックを周波数ドメインに変換して生成された周波数係数マトリックスに対して回転変換を遂行して生成されたマトリックスである。また、エントロピ復号化部１４１０は、逆回転変換のために回転変換に利用されたアングル・パラメータについての情報を復号化することができる。エントロピ復号化は、エントロピ符号化部９３０と同様に、ＣＡＢＡＣまたはＣＡＶＬＣによって行われる。
【０１４０】
逆量子化部１４２０は、エントロピ復号化部１４１０でエントロピ復号化された修正された周波数係数マトリックスを逆量子化する。符号化時に利用された量子化ステップによって、逆量子化を行う。
【０１４１】
逆変換部１４３０は、修正された周波数係数マトリックスに対して逆回転変換を行って周波数係数マトリックスを生成し、周波数係数マトリックスを逆周波数変換する。図１５を参照しつつ、詳細に説明する。
【０１４２】
図１５は、本発明の一実施形態による逆変換部１４３０を図示している。図１５を参照すれば、本発明の一実施形態による逆変換部１４３０は、逆ＲＯＴ遂行部１５１０及び逆変換遂行部１５２０を含む。
【０１４３】
逆ＲＯＴ遂行部１５１０は、逆量子化部１４２０から受信された逆量子化された修正された周波数係数マトリックスを逆回転変換する。図１１Ａないし図１１Ｃ、図１２及び図１３と関連して述べた回転変換を逆に行う。このとき、エントロピ復号化部１４１０でエントロピ復号化されたアングル・パラメータについての情報を参照し、逆回転変換を行うことができる。アングル・パラメータについての情報によって、修正された周波数係数マトリックスの行同士及び列同士のうち少なくとも１つの部分的な交換を行い、周波数係数マトリックスを生成する。
【０１４４】
周波数係数マトリックス１１１０のうち、一部の係数だけ含むマトリックス１１２０に対して回転変換が行われた場合には、一部の係数だけ含むマトリックス１１２０を逆周波数ドメインに変換し、周波数係数マトリックス１１１０を生成する。
【０１４５】
逆変換遂行部１５２０は、逆ＲＯＴ遂行部１５１０から周波数係数マトリックスを受信し、受信された周波数係数マトリックスを逆周波数変換する。離散コサイン変換を逆に行うことによって、周波数係数マトリックスを逆周波数変換することができる。逆変換の結果、ピクセル・ドメインの所定のブロックが復元される。
【０１４６】
図１６は、本発明の一実施形態による映像符号化方法について説明するためのフローチャートである。図１６を参照すれば、本発明の一実施形態による映像符号化装置は、段階１６１０で、所定のブロックを周波数ドメインに変換して周波数係数マトリックスを生成する。所定のブロックを入力されて離散コサイン変換し、離散コサイン係数を含む周波数係数マトリックスを生成する。
【０１４７】
段階１６２０で、映像符号化装置は、段階１６１０で生成された周波数係数マトリックスの行同士及び列同士のうち少なくとも１つの部分的な交換を行い、修正された周波数係数マトリックスを生成する。周波数係数マトリックスに対して、図１１Ａないし図１１Ｃ、図１２及び図１３と関連して述べた回転変換を行い、修正された周波数係数マトリックスを生成する。
【０１４８】
周波数係数マトリックスのサイズが大きい場合（例えば、１６ｘ１６以上のサイズ）には、周波数係数マトリックスから一部の係数だけ含むマトリックスを選択し、選択された一部の係数だけ含むマトリックスを回転変換することができる。一部の係数だけ含むマトリックスを選択するにあたり、低周波数成分に係わる係数だけ含むマトリックスを選択することもできる。
【０１４９】
段階１６３０で、映像符号化装置は、段階１６２０で生成された修正された周波数係数マトリックスを量子化する。修正された周波数係数マトリックスにと、所定の量子化ステップによって量子化する。
【０１５０】
段階１６４０で、映像符号化装置は、段階１６３０で量子化された修正された周波数係数マトリックスをエントロピ符号化する。ＣＡＢＡＣまたはＣＡＶＬＣによって、エントロピ符号化する。段階１６４０で、映像符号化装置は、段階１６２０で行同士及び列同士のうち少なくとも１つの部分的な交換に利用されたアングル・パラメータについての情報もエントロピ符号化する。アングル・パラメータは、行同士及び列同士のうち少なくとも１つの部分的な交換の程度を示すパラメータである。
【０１５１】
本発明による映像符号化装置は、段階１６２０ないし段階１６４０を、複数のアングル・パラメータ組み合わせに対して反復遂行し、最適のアングル・パラメータを決定することができる。複数のアングル・パラメータ組み合わせに対して符号化を反復し、最上の圧縮率を示すアングル・パラメータを選択する。
【０１５２】
複数のアングル・パラメータ組み合わせは、前述のモンテカルロ法によって選択され、レーマーの擬似乱数に対応しうる。レーマーの擬似乱数に、複数のアングル・パラメータ組み合わせを対応させる場合、段階１６４０で符号化されるアングル・パラメータについての情報は、決定された最適のアングル・パラメータに対応するレーマーの擬似乱数シーケンスの番号であってもよい。
【０１５３】
図１７は、本発明の一実施形態による映像復号化方法について説明するためのフローチャートである。図１７を参照すれば、段階１７１０で、本発明の一実施形態による映像復号化装置は、所定のブロックに係わるビットストリームを受信し、アングル・パラメータについての情報及び修正された周波数係数マトリックスをエントロピ復号化する。修正された周波数係数マトリックスは、周波数係数マトリックスの全部または一部が回転変換されたマトリックスである。
【０１５４】
段階１７２０で、映像復号化装置は、段階１７１０でエントロピ復号化された修正された周波数係数マトリックスを逆量子化する。映像符号化時に利用された量子化ステップによって修正された周波数係数マトリックスの係数を逆量子化する。
【０１５５】
段階１７３０で、映像復号化装置は、段階１７２０で逆量子化された修正された周波数係数マトリックスに対して、行同士及び列同士のうち少なくとも１つの部分的な交換を行い、周波数係数マトリックスを生成する。段階１７１０でエントロピ復号化されたアングル・パラメータについての情報を参照し、図１１Ａないし図１１Ｃ、図１２及び図１３と関連して述べた回転変換を逆に遂行し、周波数係数マトリックスを生成する。
【０１５６】
前述のように、符号化過程で、周波数係数マトリックスの一部係数だけ含むマトリックスが回転変換された場合には、一部係数だけ含むマトリックスを逆回転変換し、周波数係数マトリックスを生成する。
【０１５７】
段階１７４０で、映像復号化装置は、段階１７３０で生成された周波数係数マトリックスを逆周波数変換する。周波数係数マトリックスを逆離散コサイン変換し、ピクセル・ドメインのブロックを復元する。
【０１５８】
前述のように、本発明の一実施形態による映像符号化／復号化方法及びその装置は、強力な数学的基礎に基づいて、周波数係数マトリックスをさらに高い圧縮率で符号化することができ、全体映像符号化の圧縮率を大きく向上させることができる。
【０１５９】
以上のように、本発明は、たとえ限定された実施形態と図面とにより説明されたとしても、本発明が、前記の実施形態に限定されるものではなく、これは、本発明が属する分野で当業者であるならば、かような記載から多様な修正及び変形が可能であろう。従って、本発明の思想は、特許請求の範囲によってよみ把握されるものであり、それと均等であるか、あるいは等価的な変形は、いずれも本発明の思想の範疇に属するものである。また、本発明によるシステムは、コンピュータで読み取り可能な記録媒体に、コンピュータで読み取り可能なコードでもって具現することが可能である。
【０１６０】
例えば、本発明の例示的な実施形態による映像符号化装置、映像復号化装置、映像符号化部及び映像復号化部は、図１、図２、図４、図５、図９、図１０、図１４及び図１５に図示されたような装置のそれぞれのユニットに結合されたバス、前記バスに結合された少なくとも１つのプロセッサを含んでもよい。また、命令、受信されたメッセージまたは生成されたメッセージを保存するために、前記バスに結合され、前述のような命令を遂行するための少なくとも１つのプロセッサに結合されたメモリを含んでもよい。
【０１６１】
また、コンピュータで読み取り可能な記録媒体は、コンピュータシステムによって読み取り可能なデータが保存されるあらゆる種類の記録装置を含む。記録媒体の例としては、ＲＯＭ（read-only  memory）、ＲＡＭ（random-access  memory）、ＣＤ−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光データ保存装置などがあり、またキャリアウェーブ（例えばインターネットを介した伝送）の形態で具現されるものも含む。また、コンピュータで読み取り可能な記録媒体は、ネットワークに連結されたコンピュータシステムに分散され、分散方式でコンピュータで読み取り可能なコードが保存されて実行される。
【図１】
2013502142.tif 000006
【図２】
2013502142.tif 000007
【図３】
2013502142.tif 000008
【図４】
2013502142.tif 000009
【図５】
2013502142.tif 000010
【図６】
2013502142.tif 000011
【図７】
2013502142.tif 000012
【図８Ａ】
2013502142.tif 000013
【図８Ｂ】
2013502142.tif 000014
【図９】
2013502142.tif 000015
【図１０】
2013502142.tif 000016
【図１１Ａ】
2013502142.tif 000017
【図１１Ｂ】
2013502142.tif 000018
【図１１Ｃ】
2013502142.tif 000019
【図１２】
2013502142.tif 000020
【図１３】
2013502142.tif 000021
【図１４】
2013502142.tif 000022
【図１５】
2013502142.tif 000023
【図１６】
2013502142.tif 000024
【図１７】
2013502142.tif 000025
【国際調査報告】
2013502142.tif 000026
2013502142.tif 000027
2013502142.tif 000028