(57)【要約】  時間的スケーラビリティを有するビデオ符号化方法及びその装置、並びに時間的スケーラビリティを有するビデオ復号化方法及びその装置に係り、該ビデオ符号化方法は、ピクチャシーケンスに含まれたピクチャを、時間的サブ階層に分割し、時間的階層アクセスピクチャより後に符号化され、時間的階層アクセスピクチャと同一であるか、あるいはそれより上位の時間的サブ階層に属したピクチャが、時間的階層アクセスピクチャより前に符号化されたピクチャを参照することができるか否かということに基づいて、時間的階層アクセスピクチャを、第１時間的階層アクセスピクチャと、第２時間的階層アクセスピクチャとに分類し、時間的階層アクセスピクチャが含まれる伝送単位データに、第１時間的階層アクセスピクチャ及び第２時間的階層アクセスピクチャを識別するための類型シンタックス情報を付加する。
2015526016.tif 000002
【特許請求の範囲】
【請求項１】
時間的スケーラビリティを有するビデオ符号化方法において、
ピクチャシーケンスに含まれたピクチャを、時間的サブ階層に分割する段階と、
時間的階層アクセスピクチャより後に符号化され、前記時間的階層アクセスピクチャと同一であるか、あるいはそれより上位の時間的サブ階層に属したピクチャが、前記時間的階層アクセスピクチャより前に符号化されたピクチャを参照することができるか否かということに基づいて、前記時間的階層アクセスピクチャを、第１時間的階層アクセスピクチャと、第２時間的階層アクセスピクチャとに分類する段階と、
前記時間的階層アクセスピクチャが含まれる伝送単位データに、前記第１時間的階層アクセスピクチャ、及び前記第２時間的階層アクセスピクチャを識別するための類型シンタックス情報を付加する段階と、を含むことを特徴とするビデオ符号化方法。
【請求項２】
前記分類する段階は、
前記時間的階層アクセスピクチャより後に符号化され、前記時間的階層アクセスピクチャと同一であるか、あるいはそれより上位の時間的サブ階層に属したピクチャが、前記時間的階層アクセスピクチャより前に符号化されたピクチャを参照するように許容する時間的階層アクセスピクチャを、前記第１時間的階層アクセスピクチャに分類し、
前記時間的階層アクセスピクチャより後に符号化され、前記時間的階層アクセスピクチャと同一であるか、あるいはそれより上位の時間的サブ階層に属したピクチャが、前記時間的階層アクセスピクチャより前に符号化されたピクチャを参照するように許容しない時間的階層アクセスピクチャを、前記第２時間的階層アクセスピクチャに分類することを特徴とする請求項１に記載のビデオ符号化方法。
【請求項３】
前記付加する段階は、
前記第１時間的階層アクセスピクチャが含まれる前記伝送単位データのヘッダに、前記第１時間的階層アクセスピクチャが含まれるということを示す第１類型シンタックス情報を付加し、前記第２時間的階層アクセスピクチャが含まれる前記伝送単位データのヘッダに、前記第２時間的階層アクセスピクチャが含まれるということを示す第２類型シンタックス情報を付加することを特徴とする請求項１に記載のビデオ符号化方法。
【請求項４】
前記伝送単位データは、
ネットワーク抽象階層（ＮＡＬ）単位のデータであることを特徴とする請求項１に記載のビデオ符号化方法。
【請求項５】
前記類型シンタックス情報は、
前記ＮＡＬ単位の類型を示す識別子（nal  unit  type）であることを特徴とする請求項４に記載のビデオ符号化方法。
【請求項６】
前記時間的階層アップスイッチングによって符号化されることのないピクチャが含まれる伝送単位データのヘッダに、前記符号化されないピクチャを識別するための類型シンタックス情報を付加する段階をさらに含むことを特徴とする請求項１に記載のビデオ符号化方法。
【請求項７】
時間的スケーラビリティを有するビデオ符号化装置において、
ピクチャシーケンスに含まれたピクチャを、時間的サブ階層に分割して符号化するビデオ符号化部と、
時間的階層アクセスピクチャより後に符号化され、前記時間的階層アクセスピクチャと同一であるか、あるいはそれより上位の時間的サブ階層に属したピクチャが、前記時間的階層アクセスピクチャより前に符号化されたピクチャを参照することができるか否かということに基づいて、前記時間的階層アクセスピクチャを、第１時間的階層アクセスピクチャと、第２時間的階層アクセスピクチャとに分類し、前記時間的階層アクセスピクチャが含まれる伝送単位データに、前記第１時間的階層アクセスピクチャまたは前記第２時間的階層アクセスピクチャを識別するための類型シンタックス情報を付加する多重化部と、を含むことを特徴とするビデオ符号化装置。
【請求項８】
時間的スケーラビリティを有するビデオ復号化方法において、
ピクチャシーケンスに含まれたピクチャを、時間的サブ階層に分割して符号化した伝送単位データを受信する段階と、
前記伝送単位データに含まれた類型シンタックス情報を利用して、下位時間的サブ階層から上位時間的サブ階層への時間的階層アップスイッチングのためにアクセスされる時間的階層アクセスピクチャを含む伝送単位データを識別する段階と、を含み、
前記時間的階層アクセスピクチャは、前記時間的階層アクセスピクチャより後に復号化され、前記時間的階層アクセスピクチャと同一であるか、あるいはそれより上位の時間的サブ階層に属したピクチャが、前記時間的階層アクセスピクチャより前に復号化されたピクチャを参照することができるか否かということに基づいて、第１時間的階層アクセスピクチャと、第２時間的階層アクセスピクチャとに分類されることを特徴とするビデオ復号化方法。
【請求項９】
前記時間的階層アクセスピクチャより後に復号化され、前記時間的階層アクセスピクチャと同一であるか、あるいはそれより上位の時間的サブ階層に属したピクチャが、前記時間的階層アクセスピクチャより前に復号化されたピクチャを参照するように許容する時間的階層アクセスピクチャを、前記第１時間的階層アクセスピクチャに分類し、
前記時間的階層アクセスピクチャより後に復号化され、前記時間的階層アクセスピクチャと同一であるか、あるいはそれより上位の時間的サブ階層に属したピクチャが、前記時間的階層アクセスピクチャより前に復号化されたピクチャを参照するように許容しない時間的階層アクセスピクチャを、前記第２時間的階層アクセスピクチャに分類することを特徴とする請求項８に記載のビデオ復号化方法。
【請求項１０】
前記第１時間的階層アクセスピクチャが含まれる前記伝送単位データのヘッダには、前記第１時間的階層アクセスピクチャが含まれるということを示す第１類型シンタックス情報が含まれ、前記第２時間的階層アクセスピクチャが含まれる前記伝送単位データのヘッダには、前記第２時間的階層アクセスピクチャが含まれるということを示す第２類型シンタックス情報が含まれることを特徴とする請求項８に記載のビデオ復号化方法。
【請求項１１】
前記伝送単位データは、
ネットワーク抽象階層（ＮＡＬ）単位のデータであることを特徴とする請求項８に記載のビデオ復号化方法。
【請求項１２】
前記類型シンタックス情報は、
前記ＮＡＬ単位の類型を示す識別子（nal  unit  type）であることを特徴とする請求項１１に記載のビデオ復号化方法。
【請求項１３】
前記伝送単位データは、
前記時間的階層アップスイッチングによって復号化されないピクチャを含むことを特徴とする請求項８に記載のビデオ復号化方法。
【請求項１４】
時間的スケーラビリティを有するビデオ復号化装置において、
ピクチャシーケンスに含まれたピクチャを、時間的サブ階層に分割して符号化した伝送単位データを受信する受信部と、
前記伝送単位データに含まれた類型シンタックス情報を利用して、下位時間的サブ階層から上位時間的サブ階層への時間的階層アップスイッチングのためにアクセスされる時間的階層アクセスピクチャを含む伝送単位データを識別する逆多重化部と、を含み、
前記時間的階層アクセスピクチャは、前記時間的階層アクセスピクチャより後に復号化され、前記時間的階層アクセスピクチャと同一であるか、あるいはそれより上位の時間的サブ階層に属したピクチャが、前記時間的階層アクセスピクチャより前に復号化されたピクチャを参照することができるか否かということに基づいて、第１時間的階層アクセスピクチャと、第２時間的階層アクセスピクチャとに分類されることを特徴とするビデオ復号化装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオの符号化方式及び復号化方式に係り、具体的には、時間的スケーラビリティを有するように、ビデオを符号化する方法及びその装置、並びにその復号化方法及びその装置に関する。
【背景技術】
【０００２】
ＩＴＵ−Ｔ  Ｈ．２６１、ＩＳＯ／ＩＥＣ  ＭＰＥＧ−１  Visual、ＩＴＵ−ＴＨ．２６２（ＩＳＯ／ＩＥＣ  ＭＰＥＧ−２  Visual）、ＩＴＵ−ＴＨ．２６４、ＩＳＯ／ＩＥＣ  ＭＰＥＧ−４  Visual及びＩＴＵ−ＴＨ．２６４（ＩＳＯ／ＩＥＣ  ＭＰＥＧ−４  ＡＶＣ）のようなビデオコーデックでは、インター予測またはイントラ予測を介して、メクロブロックを予測符号化し、符号化された映像データを各ビデオコーデックで規定された所定フォーマットによって、ビットストリームを生成して出力する。
【０００３】
従来技術によれば、階層的Ｂピクチャ（Hierarchical  Ｂ−picture）またはＭＣＴＦ（motion  compensated  temporal  filtering）などを適用し、時間的スケーラビリティを有するビデオを提供する。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明が解決しようとする技術的課題は、時間的階層スイッチング時にアクセスされる時間的階層アクセスピクチャより後に符号化されるピクチャが、時間的階層アクセスピクチャより前に符号化されたピクチャを、参照ピクチャとして利用可能にすることによって、ビデオの圧縮効率を向上させることである。
【０００５】
また、本発明が解決しようとする技術的課題は、時間的階層アクセスピクチャに対する伝送単位データ、及び時間的階層スイッチング時に復号化されないピクチャに係わる伝送単位データを、ＮＡＬ（network  adaptive  layer）段階で識別するためのものである。
【課題を解決するための手段】
【０００６】
一実施形態によれば、時間的階層アクセスピクチャ以後に復号化されるピクチャが参照することができるピクチャを制限する場合と、制限しない場合とを区別することによって時間的階層アクセスピクチャを分類し、分類された時間的階層アクセスピクチャを識別するための情報を、伝送データ単位に付加する。
【発明の効果】
【０００７】
本発明の実施形態によれば、時間的階層アクセスピクチャ以後に復号化されないピクチャに係わるＮＡＬ単位を識別して廃棄することにより、不要なピクチャの復号化過程をスキップし、ハードウェア資源を節約することができる。また、本発明の実施形態によれば、時間的階層アクセスピクチャより後に符号化されるピクチャが、時間的階層アクセスピクチャより前に符号化されたピクチャを参照ピクチャとして利用可能にすることにより、ビデオの圧縮効率を向上させることができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の一実施形態によるビデオ符号化装置のブロック図である。
【図２】本発明の一実施形態によるビデオ復号化装置のブロック図である。
【図３】本発明の一実施形態による符号化単位の概念を図示する図面である。
【図４】本発明の一実施形態による、符号化単位に基づいた映像符号化部のブロック図である。
【図５】本発明の一実施形態による、符号化単位に基づいた映像復号化部のブロック図である。
【図６】本発明の一実施形態による、深度別符号化単位及びパーティションを図示する図面である。
【図７】本発明の一実施形態による、符号化単位及び変換単位の関係を図示する図面である。
【図８】本発明の一実施形態による深度別符号化情報を図示する図面である。
【図９】本発明の一実施形態による深度別符号化単位を図示する図面である。
【図１０】本発明の一実施形態による、符号化単位、予測単位及び周波数変換単位の関係を図示する図面である。
【図１１】本発明の一実施形態による、符号化単位、予測単位及び周波数変換単位の関係を図示する図面である。
【図１２】本発明の一実施形態による、符号化単位、予測単位及び周波数変換単位の関係を図示する図面である。
【図１３】表１の符号化モード情報による、符号化単位、予測単位及び変換単位の関係を図示する図面である。
【図１４】本発明の一実施形態による、時間的スケーラビリティを有するビデオ符号化装置の構成を示す図面である。
【図１５】一実施形態によって、ピクチャシーケンスに含まれたピクチャを、時間的サブ階層に分割した一例の図面である。
【図１６】一実施形態によって、フレームレートによってディスプレイされるピクチャの一例を示す図面である。
【図１７】一実施形態による、リーディング（leading）ピクチャ及び第１時間的階層アクセスピクチャについて説明するための図面である。
【図１８】一実施形態によって、時間的階層アップスイッチング時に復号化されないリーディングピクチャについて説明するための図面である。
【図１９】本発明の一実施形態によるＮＡＬ単位の構成を示した図面である。
【図２０】一実施形態による、時間的スケーラビリティを有するビデオ符号化方法を示したフローチャートである。
【図２１】本発明の一実施形態による、時間的スケーラビリティのためのビデオ復号化装置の構成を示した図面である。
【図２２】一実施形態による、スケーラビリティを有するビデオ復号化方法を示したフローチャートである。
【発明を実施するための形態】
【０００９】
本発明の一実施形態による、時間的スケーラビリティ（scalability）を有するビデオ符号化方法は、ピクチャシーケンスに含まれたピクチャを、時間的サブ階層に分割する段階と、時間的階層アクセスピクチャより後に符号化され、前記時間的階層アクセスピクチャと同一であるか、あるいはそれより上位の時間的サブ階層に属したピクチャが、前記時間的階層アクセスピクチャより前に符号化されたピクチャを参照することができるか否かということに基づいて、前記時間的階層アクセスピクチャを、第１時間的階層アクセスピクチャと、第２時間的階層アクセスピクチャとに分類する段階と、前記時間的階層アクセスピクチャが含まれる伝送単位データに、前記第１時間的階層アクセスピクチャ、及び前記第２時間的階層アクセスピクチャを識別するための類型シンタックス情報を付加する段階と、を含むことを特徴とする。
【００１０】
一実施形態による時間的スケーラビリティを有するビデオ符号化装置は、ピクチャシーケンスに含まれたピクチャを、時間的サブ階層に分割して符号化するビデオ符号化部；及び時間的階層アクセスピクチャより後に符号化され、前記時間的階層アクセスピクチャと同一であるか、あるいはそれより上位の時間的サブ階層に属したピクチャが、前記時間的階層アクセスピクチャより前に符号化されたピクチャを参照することができるか否かということに基づいて、前記時間的階層アクセスピクチャを、第１時間的階層アクセスピクチャと、第２時間的階層アクセスピクチャとに分類し、前記時間的階層アクセスピクチャが含まれる伝送単位データに、前記第１時間的階層アクセスピクチャまたは前記第２時間的階層アクセスピクチャを識別するための類型シンタックス情報を付加する多重化部；を含むことを特徴とする。
【００１１】
一実施形態による時間的スケーラビリティを有するビデオ復号化方法は、ピクチャシーケンスに含まれたピクチャを、時間的サブ階層に分割して符号化した伝送単位データを受信する段階と、前記伝送単位データに含まれた類型シンタックス情報を利用して、下位時間的サブ階層から上位時間的サブ階層への時間的階層アップスイッチングのためにアクセスされる時間的階層アクセスピクチャを含む伝送単位データを識別する段階と、を含み、前記時間的階層アクセスピクチャは、前記時間的階層アクセスピクチャより後に復号化され、前記時間的階層アクセスピクチャと同一であるか、あるいはそれより上位の時間的サブ階層に属したピクチャが、前記時間的階層アクセスピクチャより前に復号化されたピクチャを参照することができるか否かということに基づいて、第１時間的階層アクセスピクチャと、第２時間的階層アクセスピクチャとに分類されることを特徴とする。
【００１２】
一実施形態による時間的スケーラビリティを有するビデオ復号化装置は、ピクチャシーケンスに含まれたピクチャを、時間的サブ階層に分割して符号化した伝送単位データを受信する受信部；及び前記伝送単位データに含まれた類型シンタックス情報を利用して、下位時間的サブ階層から上位時間的サブ階層への時間的階層アップスイッチングのためにアクセスされる時間的階層アクセスピクチャを含む伝送単位データを識別する逆多重化部；を含み、前記時間的階層アクセスピクチャは、前記時間的階層アクセスピクチャより後に復号化され、前記時間的階層アクセスピクチャと同一であるか、あるいはそれより上位の時間的サブ階層に属したピクチャが、前記時間的階層アクセスピクチャより前に復号化されたピクチャを参照することができるか否かということに基づいて、第１時間的階層アクセスピクチャと、第２時間的階層アクセスピクチャとに分類されることを特徴とする。
【００１３】
以下、添付された図面を参照し、本発明の望ましい実施形態について具体的に説明する。本発明の説明にあたり、映像は、静止映像、動画を含んでビデオとも呼ばれる。また、本発明についての説明にあたり、映像フレームは、ピクチャとも呼ばれる。
【００１４】
図１は、本発明の一実施形態によるビデオ符号化装置のブロック図を図示している。
【００１５】
一実施形態によるビデオ符号化装置１００は、最大符号化単位分割部１１０、符号化単位決定部１２０及び出力部１３０を含む。
【００１６】
最大符号化単位分割部１１０は、映像の現在ピクチャのための最大サイズの符号化単位である最大符号化単位に基づいて、現在ピクチャを区画することができる。現在ピクチャが最大符号化単位より大きければ、現在ピクチャの映像データは、少なくとも１つの最大符号化単位に分割される。一実施形態による最大符号化単位は、サイズ３２ｘ３２，６４ｘ６４，１２８ｘ１２８，２５６ｘ２５６などのデータ単位であり、縦横サイズが８より大きい２の累乗である正方形のデータ単位でもある。映像データは、少なくとも１つの最大符号化単位別に、符号化単位決定部１２０に出力される。
【００１７】
一実施形態による符号化単位は、最大サイズ及び最大深度で特徴づけられる。深度とは、最大符号化単位から、符号化単位が空間的に分割された回数を示し、深度が深くなるほど、深度別符号化単位は、最大符号化単位から最小符号化単位まで分割される。最大符号化単位の深度が最上位深度であり、最小符号化単位が最下位符号化単位と定義される。最大符号化単位は、深度が深くなるにつれ、深度別符号化単位の大きさは小さくなるので、上位深度の符号化単位は、複数個の下位深度の符号化単位を含んでもよい。
【００１８】
前述のように、符号化単位の最大サイズによって、現在ピクチャの映像データを最大符号化単位に分割し、それぞれの最大符号化単位は、深度別に分割される符号化単位を含む。一実施形態による最大符号化単位は、深度別に分割されるので、最大符号化単位に含まれた空間領域（spatial  domain）の映像データは、深度によって階層的に分類される。
【００１９】
最大符号化単位の高さ及び幅を階層的に分割することができる総回数を制限する最大深度及び符号化単位の最大サイズがあらかじめ設定されている。
【００２０】
符号化単位決定部１２０は、深度ごとに最大符号化単位の領域が分割された少なくとも１つの分割領域を符号化し、少なくとも１つの分割領域別に最終符号化結果が出力される深度を決定する。すなわち、符号化単位決定部１２０は、現在ピクチャの最大符号化単位ごとに、深度別符号化単位で映像データを符号化し、最小の符号化誤差が発生する深度を選択し、符号化深度として決定する。決定された符号化深度及び最大符号化単位別の映像データは、出力部１３０に出力される。
【００２１】
最大符号化単位内の映像データは、最大深度以下の少なくとも１つの深度によって、深度別符号化単位に基づいて符号化され、それぞれの深度別符号化単位に基づいた符号化結果が比較される。深度別符号化単位の符号化誤差の比較結果、符号化誤差が最小である深度が選択される。それぞれの最大化符号化単位ごとに、少なくとも１つの符号化深度が決定される。
【００２２】
最大符号化単位の大きさは、深度が深くなるにつれて、符号化単位が階層的に分割されて分割され、符号化単位の個数は増加する。また、１つの最大符号化単位に含まれる同一深度の符号化単位であるとしても、それぞれのデータに係わる符号化誤差を測定し、下位深度への分割いかんが決定される。従って、１つの最大符号化単位に含まれるデータであるとしても、位置によって、深度別符号化誤差が異なるので、位置によって、符号化深度が異なって決定される。従って、１つの最大符号化単位について、符号化深度が一つ以上設定されもし、最大符号化単位のデータは、一つ以上の符号化深度の符号化単位によって区画される。
【００２３】
従って、一実施形態による符号化単位決定部１２０は、現在最大符号化単位に含まれるツリー構造による符号化単位を決定する。一実施形態による「ツリー構造による符号化単位」は、現在最大符号化単位に含まれる全ての深度別符号化単位中、符号化深度として決定された深度の符号化単位を含む。符号化深度の符号化単位は、最大符号化単位内で、同一領域では、深度によって階層的に決定され、他の領域については、独立して決定される。同様に、現在領域に係わる符号化深度は、他の領域に係わる符号化深度と独立して決定される。
【００２４】
一実施形態による最大深度は、最大符号化単位から最小符号化単位までの分割回数と係わる指標である。一実施形態による第１最大深度は、最大符号化単位から最小符号化単位までの全分割回数を示すことができる。一実施形態による第２最大深度は、最大符号化単位から最小符号化単位までの深度レベルの総個数を示すことができる。例えば、最大符号化単位の深度が０であるとするとき、最大符号化単位が１回分割された符号化単位の深度は、１に設定され、２回分割された符号化単位の深度は、２に設定される。その場合、最大符号化単位から４回分割された符号化単位が、最小符号化単位であるならば、深度０，１，２，３及び４の深度レベルが存在するので、第１最大深度は、４に設定され、第２最大深度は、５に設定される。
【００２５】
最大符号化単位の予測符号化及び周波数変換が行われる。予測符号化及び周波数変換も同様に、最大符号化単位ごとに、最大深度以下の深度ごとに、深度別符号化単位を基に行われる。
【００２６】
最大符号化単位が深度別に分割されるたびに、深度別符号化単位の個数が増加するので、深度が深くなるにつれて生成される全ての深度別符号化単位について、予測符号化及び周波数変換を含んだ符号化が行われなければならない。以下、説明の便宜のために、少なくとも１つの最大符号化単位のうち現在深度の符号化単位を基に、予測符号化及び周波数変換について説明する。
【００２７】
一実施形態によるビデオ符号化装置１００は、映像データの符号化のためのデータ単位の大きさまたは形態を多様に選択することができる。映像データの符号化のためには、予測符号化、周波数変換、エントロピー符号化などの段階を経るが、全ての段階にわたって、同一データ単位が使用され、段階別にデータ単位が変更されもする。
【００２８】
例えば、ビデオ符号化装置１００は、映像データの符号化のための符号化単位だけでなく、符号化単位の映像データの予測符号化を行うために、符号化単位と異なるデータ単位を選択することができる。
【００２９】
最大符号化単位の予測符号化のためには、一実施形態による符号化深度の符号化単位、すなわち、それ以上さらに分割されない符号化単位を基に、予測符号化が行われもする。以下、予測符号化の基になる、それ以上さらに分割されない符号化単位を「予測単位」とする。予測単位が分割されたパーティションは、予測単位、並びに予測単位の高さ及び幅のうち少なくとも一つが分割されたデータ単位を含んでもよい。
【００３０】
例えば、サイズ２Ｎｘ２Ｎ（ただし、Ｎは正の整数）の符号化単位が、それ以上分割されない場合、サイズ２Ｎｘ２Ｎの予測単位になり、パーティションの大きさは、２Ｎｘ２Ｎ，２ＮｘＮ，Ｎｘ２Ｎ，ＮｘＮなどでもある。一実施形態によるパーティションタイプは、予測単位の高さまたは幅が対称的な比率に分割された対称的パーティションだけではなく、１：ｎまたはｎ：１のように、非対称的な比率に分割されたパーティション、幾何学的な形態に分割されたパーティション、任意的形態のパーティションなどを選択的に含んでもよい。
【００３１】
予測単位の予測モードは、イントラモード、インターモード及びスキップモードのうち少なくとも一つでもある。例えば、イントラモード及びインターモードは、２Ｎｘ２Ｎ，２ＮｘＮ，Ｎｘ２Ｎ，ＮｘＮサイズのパーティションに対して遂行される。また、スキップモードは、２Ｎｘ２Ｎサイズのパーティションに対してのみ遂行される。符号化単位以内の１つの予測単位ごとに、独立して符号化が行われ、符号化誤差が最小である予測モードが選択される。
【００３２】
また、一実施形態によるビデオ符号化装置１００は、映像データの符号化のための符号化単位だけでなく、符号化単位と異なるデータ単位を基に符号化単位の映像データの周波数変換を行うことができる。
【００３３】
符号化単位の周波数変換のためには、符号化単位より小さいか、あるいはそれと同じ大きさのデータ単位を基に周波数変換が行われる。例えば、周波数変換のためのデータ単位は、イントラモードのためのデータ単位、及びインターモードのためのデータ単位を含んでもよい。
【００３４】
以下、周波数変換の基になるデータ単位は、「変換単位」とする。符号化単位と類似した方式で、符号化単位内の変換単位も、再帰的にさらに小さい大きさの変換単位に分割されながら、符号化単位のレジデュアルデータが、変換深度によって、ツリー構造による変換単位によって区画される。
【００３５】
一実施形態による変換単位についても、符号化単位の高さ及び幅が分割され、変換単位に至るまでの分割回数を示す変換深度が設定される。例えば、サイズ２Ｎｘ２Ｎの現在符号化単位の変換単位の大きさが２Ｎｘ２Ｎであるならば、変換深度０に設定され、変換単位の大きさがＮｘＮであるならば、変換深度１に設定され、変換単位の大きさがＮ／２ｘＮ／２であるならば、変換深度２に設定される。すなわち、変換単位についても、変換深度によって、ツリー構造による変換単位が設定される。
【００３６】
符号化深度別符号化情報は、符号化深度だけではなく、予測関連情報及び周波数変換関連情報が必要である。従って、符号化単位決定部１２０は、最小符号化誤差を発生させた符号化深度だけではなく、予測単位をパーティションに分割したパーティションタイプ、予測単位別予測モード、周波数変換のための変換単位の大きさなどを決定することができる。
【００３７】
一実施形態による最大符号化単位のツリー構造による符号化単位及びパーティションの決定方式については、図３ないし図１３を参照して詳細に説明する。
【００３８】
符号化単位決定部１２０は、深度別符号化単位の符号化誤差を、ラグランジュ乗数（Lagrangian  multiplier）基盤の率・歪曲最適化技法（rate-distortion  optimization）を利用して測定することができる。
【００３９】
出力部１３０は、符号化単位決定部１２０で決定された少なくとも１つの符号化深度に基づいて符号化された最大符号化単位の映像データ及び深度別符号化モードについての情報をビットストリーム形態で出力する。
【００４０】
符号化された映像データは、映像のレジデュアルデータの符号化結果でもある。
【００４１】
深度別符号化モードについての情報は、符号化深度情報、予測単位のパーティションタイプ情報、予測モード情報、変換単位の大きさ情報などを含んでもよい。
【００４２】
符号化深度情報は、現在深度で符号化せず、下位深度の符号化単位で符号化するか否かということを示す深度別分割情報を利用して定義される。現在符号化単位の現在深度が符号化深度であるならば、現在符号化単位は、現在深度の符号化単位で符号化されるので、現在深度の分割情報は、それ以上下位深度に分割されないように定義される。反対に、現在符号化単位の現在深度が符号化深度ではないならば、下位深度の符号化単位を利用した符号化を試みなければならないので、現在深度の分割情報は、下位深度の符号化単位に分割されるように定義される。
【００４３】
現在深度が符号化深度ではないならば、下位深度の符号化単位に分割された符号化単位に対して符号化が行われる。現在深度の符号化単位内に、下位深度の符号化単位が一つ以上存在するので、それぞれの下位深度の符号化単位ごとに、反復して符号化が行われ、同一深度の符号化単位ごとに、再帰的（recursive）符号化が行われる。
【００４４】
１つの最大符号化単位内で、ツリー構造の符号化単位が決定され、符号化深度の符号化単位ごとに、少なくとも１つの符号化モードについての情報が決定されなければならないので、１つの最大符号化単位については、少なくとも１つの符号化モードについての情報が決定される。また、最大符号化単位のデータは、深度によって階層的に区画され、位置別に符号化深度が異なるので、データに対して、符号化深度及び符号化モードについての情報が設定される。
【００４５】
従って、一実施形態による出力部１３０は、最大符号化単位に含まれている符号化単位、予測単位及び最小単位のうち少なくとも一つに対して、当該符号化深度及び符号化モードに係わる符号化情報が割り当てられる。
【００４６】
一実施形態による最小単位は、最下位符号化深度である最小符号化単位が４分割された大きさの正方形のデータ単位であり、最大符号化単位に含まれる全ての符号化単位、予測単位及び変換単位内に含まれる最大サイズの正方形データ単位でもある。
【００４７】
例えば、出力部１３０を介して出力される符号化情報は、深度別符号化単位別符号化情報と、予測単位別符号化情報とに分類される。深度別符号化単位別符号化情報は、予測モード情報、パーティション大きさ情報を含んでもよい。予測単位別に伝送される符号化情報は、インターモードの推定方向についての情報、インターモードの参照映像インデックスについての情報、動きベクトルについての情報、イントラモードのクロマ成分についての情報、イントラモードの補間方式についての情報などを含んでもよい。また、ピクチャ別、スライス別またはＧＯＰ（group  of  picture）別に定義される符号化単位の最大サイズについての情報及び最大深度についての情報は、ビットストリームのヘッダに挿入される。
【００４８】
最大符号化単位分割部１１０及び符号化単位決定部１２０は、映像シーケンスの各映像フレームに対して、符号化単位別に動き予測及び補償を行い、映像シーケンスを構成する各映像フレームの参照フレームを決定し、決定された参照フレームを利用して、各映像フレームを符号化するビデオ符号化階層（video  coding  layer）に該当する。
【００４９】
ビデオ符号化装置１００の最も簡単な形態の実施形態によれば、深度別符号化単位は、１階層上位深度の符号化単位の高さ及び幅を半分にした大きさの符号化単位である。すなわち、現在深度の符号化単位の大きさが２Ｎｘ２Ｎであるならば、下位深度の符号化単位の大きさは、ＮｘＮである。また、２Ｎｘ２Ｎサイズの現在符号化単位は、ＮｘＮサイズの下位深度符号化単位を最大４個含んでもよい。
【００５０】
従って、一実施形態によるビデオ符号化装置１００は、現在ピクチャの特性を考慮して決定された最大符号化単位の大きさ及び最大深度を基に、それぞれの最大符号化単位ごとに、最適の形態及び大きさの符号化単位を決定し、ツリー構造による符号化単位を構成することができる。また、それぞれの最大符号化単位ごとに、多様な予測モード、周波数変換方式などで符号化することができるので、多様な映像サイズの符号化単位の映像特性を考慮して、最適の符号化モードが決定される。
【００５１】
従って、映像の解像度が非常に高いか、あるいはデータ量が非常に多い映像を既存マクロブロック単位で符号化するならば、ピクチャ当たりマクロブロックの数が過度に多くなる。それによって、マクロブロックごとに生成される圧縮情報も多くなるので、圧縮情報の伝送負担が大きくなり、データ圧縮効率が低下する傾向がある。従って、一実施形態によるビデオ符号化装置は、映像の大きさを考慮し、符号化単位の最大サイズを増大させながら、映像特性を考慮して符号化単位を調節することができるので、映像圧縮効率が上昇するのである。
【００５２】
図２は、本発明の一実施形態によるビデオ復号化装置のブロック図を図示している。
【００５３】
一実施形態によるビデオ復号化装置２００は、受信部２１０、映像データ及び符号化情報抽出部２２０及び映像データ復号化部２３０を含む。一実施形態によるビデオ復号化装置２００の各種プロセッシングのための符号化単位、深度、予測単位、変換単位、各種符号化モードについての情報など各種用語の定義は、図１及びビデオ符号化装置１００を参照して説明したところと同一である。
【００５４】
受信部２１０は、符号化されたビデオに対するビットストリームを受信してパーシング（parsing）する。映像データ及び符号化情報抽出部２２０は、パーシングされたビットストリームから、最大符号化単位別に、ツリー構造による符号化単位によって、符号化単位ごとに符号化された映像データを抽出し、映像データ復号化部２３０に出力する。映像データ及び符号化情報抽出部２２０は、現在ピクチャに係わるヘッダから、現在ピクチャの符号化単位の最大サイズについての情報を抽出することができる。
【００５５】
また、映像データ及び符号化情報抽出部２２０は、パーシングされたビットストリームから、最大符号化単位別、にツリー構造による符号化単位に係わる符号化深度及び符号化モードについての情報を抽出する。抽出された符号化深度及び符号化モードについての情報は、映像データ復号化部２３０に出力される。すなわち、ビット列の映像データを最大符号化単位に分割し、映像データ復号化部２３０をして、最大符号化単位ごとに、映像データを復号化させる。
【００５６】
最大符号化単位別符号化深度及び符号化モードについての情報は、一つ以上の符号化深度情報に対して設定され、符号化深度別符号化モードについての情報は、当該符号化単位のパーティションタイプ情報、予測モード情報及び変換単位の大きさ情報などを含んでもよい。また、符号化深度情報として、深度別分割情報が抽出されてもよい。
【００５７】
映像データ及び符号化情報抽出部２２０が抽出した最大符号化単位別符号化深度及び符号化モードについての情報は、一実施形態によるビデオ符号化装置１００のように、符号化端で、最大符号化単位別深度別符号化単位ごとに反復して符号化を行い、最小符号化誤差を発生させると決定された符号化深度及び符号化モードについての情報である。従って、ビデオ復号化装置２００は、最小符号化誤差を発生させる符号化方式により、データを復号化して映像を復元することができる。
【００５８】
一実施形態による符号化深度及び符号化モードに係わる符号化情報は、当該符号化単位、予測単位及び最小単位のうち所定データ単位に対して割り当てられているので、映像データ及び符号化情報抽出部２２０は、所定データ単位別に、符号化深度及び符号化モードについての情報を抽出することができる。所定データ単位別に、当該最大符号化単位の符号化深度及び符号化モードについての情報が記録されているならば、同一符号化深度及び符号化モードについての情報を有している所定データ単位は、同一最大符号化単位に含まれるデータ単位と類推される。
【００５９】
映像データ復号化部２３０は、最大符号化単位別符号化深度及び符号化モードについての情報に基づいて、それぞれの最大符号化単位の映像データを復号化し、現在ピクチャを復元する。すなわち、映像データ復号化部２３０は、最大符号化単位に含まれるツリー構造による符号化単位のうちそれぞれの符号化単位ごとに、判読されたパーティションタイプ、予測モード、変換単位に基づいて符号化された映像データを復号化することができる。復号化過程は、イントラ予測及び動き補償を含む予測過程及び周波数逆変換過程を含んでもよい。
【００６０】
映像データ復号化部２３０は、符号化深度別符号化単位の予測単位のパーティションタイプ情報及び予測モード情報に基づいて、符号化単位ごとに、それぞれのパーティション及び予測モードによって、イントラ予測または動き補償を行うことができる。
【００６１】
また、映像データ復号化部２３０は、最大符号化単位別周波数逆変換のために、符号化深度別符号化単位の変換単位の大きさ情報に基づいて、符号化単位ごとに、それぞれの変換単位によって、周波数逆変換を行うことができる。
【００６２】
映像データ復号化部２３０は、深度別分割情報を利用して、現在最大符号化単位の符号化深度を決定することができる。もし分割情報が、現在深度でそれ以上分割されないということを示しているならば、現在深度が符号化深度である。従って、映像データ復号化部２３０は、現在最大符号化単位の映像データについて、現在深度の符号化単位を、予測単位のパーティションタイプ、予測モード及び変換単位大きさ情報を利用して復号化することができる。
【００６３】
すなわち、符号化単位、予測単位及び最小単位のうち、所定データ単位に対して設定されている符号化情報を観察し、同一分割情報を含んだ符号化情報を保有しているデータ単位が集まり、映像データ復号化部２３０によって、同一符号化モードで復号化する１つのデータ単位と見なされる。
【００６４】
一実施形態によるビデオ復号化装置２００は、符号化過程において、最大符号化単位ごとに、再帰的に符号化を行い、最小符号化誤差を発生させた符号化単位に係わる情報を獲得し、現在ピクチャに係わる復号化に利用することができる。すなわち、最大符号化単位ごとに、最適符号化単位として決定されたツリー構造による符号化単位の符号化された映像データの復号化が可能になる。
【００６５】
従って、高い解像度の映像、またはデータ量が過度に多くの映像でも、符号化端から伝送された最適符号化モードについての情報を利用して、映像の特性に適応的に決定された符号化単位の大きさ及び符号化モードによって、効率的に映像データを復号化して復元することができる。
【００６６】
以下、図３ないし図１３を参照し、本発明の一実施形態による、ツリー構造による符号化単位、予測単位及び変換単位の決定方式について詳細に説明する。
【００６７】
図３、は階層的符号化単位の概念を図示している。
【００６８】
符号化単位の例は、符号化単位の大きさが幅ｘ高さで表現され、サイズ６４ｘ６４である符号化単位から、サイズ３２ｘ３２，１６ｘ１６，８ｘ８を含んでもよい。サイズ６４ｘ６４の符号化単位は、サイズ６４ｘ６４，６４ｘ３２，３２ｘ６４，３２ｘ３２のパーティションに分割され、サイズ３２ｘ３２の符号化単位は、サイズ３２ｘ３２，３２ｘ１６，１６ｘ３２，１６ｘ１６のパーティションに分割され、サイズ１６ｘ１６の符号化単位は、サイズ１６ｘ１６，１６ｘ８，８ｘ１６，８ｘ８のパーティションに分割され、サイズ８ｘ８の符号化単位は、サイズ８ｘ８，８ｘ４，４ｘ８，４ｘ４のパーティションに分割される。
【００６９】
ビデオデータ３１０については、解像度が１９２０ｘ１０８０、符号化単位の最大サイズが６４、最大深度が２に設定されている。ビデオデータ３２０については、解像度が１９２０ｘ１０８０、符号化単位の最大サイズが６４、最大深度が３に設定されている。ビデオデータ３３０については、解像度が３５２ｘ２８８、符号化単位の最大サイズが１６、最大深度が１に設定されている。図３に図示された最大深度は、最大符号化単位から最小符号化単位までの全分割回数を示す。
【００７０】
解像度が高いか、あるいはデータ量が多い場合、符号化効率の向上だけではなく、映像特性を正確に反映させるために、符号化サイズの最大サイズが相対的に大きいことが望ましい。従って、ビデオデータ３３０に比べ、解像度が高いビデオデータ３１０，３２０は、符号化サイズの最大サイズが６４に選択される。
【００７１】
ビデオデータ３１０の最大深度が２であるので、ビデオデータ３１０の符号化単位３１５は、長軸サイズが６４である最大符号化単位から、２回分割されて深度が２階層深くなり、長軸サイズが３２、１６である符号化単位まで含んでもよい。一方、ビデオデータ３３０の最大深度が１であるので、ビデオデータ３３０の符号化単位３３５は、長軸サイズが１６である符号化単位から、１回分割されて深度が１階層深くなり、長軸サイズが８である符号化単位まで含んでもよい。
【００７２】
ビデオデータ３２０の最大深度が３であるので、ビデオデータ３２０の符号化単位３２５は、長軸サイズが６４である最大符号化単位から、３回分割されて深度が３階層深くなり、長軸サイズが３２，１６，８である符号化単位まで含んでもよい。深度が深くなるほど、細部情報の表現能が向上する。
【００７３】
図４は、本発明の一実施形態による、符号化単位に基づいた映像符号化部のブロック図を図示している。
【００７４】
一実施形態による映像符号化部４００は、ビデオ符号化装置１００の符号化単位決定部１２０において、映像データを符号化するのに経る作業を含む。すなわち、イントラ予測部４１０は、現在フレーム４０５において、イントラモードの符号化単位に対してイントラ予測を行い、動き推定部４２０及び動き補償部４２５は、インターモードの現在フレーム４０５及び参照フレーム４９５を利用して、インター推定及び動き補償を行う。
【００７５】
イントラ予測部４１０、動き推定部４２０及び動き補償部４２５から出力されたデータは、周波数変換部４３０及び量子化部４４０を経て、量子化された変換係数として出力される。量子化された変換係数は、逆量子化部４６０、周波数逆変換部４７０を介して、空間領域のデータとして復元され、復元された空間領域のデータは、デブロッキング部４８０及びループ・フィルタリング部４９０を経て後処理され、参照フレーム４９５として出力される。量子化された変換係数は、エントロピー符号化部４５０を介して、ビットストリーム４５５として出力される。
【００７６】
一実施形態によるビデオ符号化装置１００に適用されるためには、映像符号化部４００の構成要素である、イントラ予測部４１０、動き推定部４２０、動き補償部４２５、周波数変換部４３０、量子化部４４０、エントロピー符号化部４５０、逆量子化部４６０、周波数逆変換部４７０、デブロッキング部４８０及びループ・フィルタリング部４９０が、いずれも最大符号化単位ごとに最大深度を考慮し、ツリー構造による符号化単位のうちそれぞれの符号化単位に基づいた作業を遂行しなければならない。
【００７７】
特に、イントラ予測部４１０、動き推定部４２０及び動き補償部４２５は、現在最大符号化単位の最大サイズ及び最大深度を考慮し、ツリー構造による符号化単位のうちそれぞれの符号化単位のパーティション及び予測モードを決定し、周波数変換部４３０は、ツリー構造による符号化単位のうちそれぞれの符号化単位内の変換単位の大きさを決定しなければならない。
【００７８】
図５は、本発明の一実施形態による、符号化単位に基づいた映像復号化部のブロック図を図示している。
【００７９】
ビットストリーム５０５がパーシング部５１０を経て、復号化対象である符号化された映像データ及び復号化のために必要な符号化についての情報がパーシングされる。図５では、パーシング部５１０及びエントロピー復号化部５２０を別個の構成要素として図示しているが、パーシング部５１０で行われる映像データの獲得、及び符号化された映像データと係わる各シンタックス情報を獲得する過程は、エントロピー復号化部５２０で行われるように具現されてもよい。
【００８０】
符号化された映像データは、エントロピー復号化部５２０及び逆量子化部５３０を経て、逆量子化されたデータとして出力され、周波数逆変換部５４０を経て、空間領域の映像データが復元される。
【００８１】
空間領域の映像データに対して、イントラ予測部５５０は、イントラモードの符号化単位に対してイントラ予測を行い、動き補償部５６０は、参照フレーム５８５を共に利用して、インターモードの符号化単位に対して動き補償を行う。
【００８２】
イントラ予測部５５０及び動き補償部５６０を経て復元された映像フレームデータは、デブロッキング部５７０を介して後処理され、復号ピクチャバッファであるＤＰＢ（decoded  picture  buffer）５８０に出力される。ＤＰＢ  ５８０は、参照フレームの保存、映像フレームの表示順序の転換、及び映像フレームの出力のために復号化された映像フレームを保存する復号ピクチャバッファである。ＤＰＢ  ５８０は、復号化された映像フレームを保存する一方、パーシング部５１０またはエントロピー復号化部５２０で出力される映像フレームを、正常に復号化するのに必要な最大バッファサイズを示す最大復号フレーム・バッファリングシンタックス（ｍａｘ＿ｄｅｃ＿frame  buffering）を利用して、映像シーケンスの正常な復号化に必要なバッファの最大サイズを設定する。
【００８３】
ビデオ復号化装置２００の映像データ復号化部２３０で映像データを復号化するために、一実施形態による映像復号化部５００のパーシング部５１０以後の段階別作業が遂行される。
【００８４】
一実施形態によるビデオ復号化装置２００に適用されるためには、映像復号化部５００の構成要素である、パーシング部５１０、エントロピー復号化部５２０、逆量子化部５３０、周波数逆変換部５４０、イントラ予測部５５０、動き補償部５６０、ブロッキング部５７０は、いずれも最大符号化単位ごとに、ツリー構造による符号化単位に基づいて、復号化作業を遂行することができる。特に、イントラ予測部５５０、動き補償部５６０は、ツリー構造による符号化単位ごとに、それぞれパーティション及び予測モードを決定し、周波数逆変換部５４０は、符号化単位ごとに、変換単位の大きさを決定することができる。
【００８５】
図６は、本発明の一実施形態による、深度別符号化単位及びパーティションを図示している。
【００８６】
一実施形態によるビデオ符号化装置１００、及び一実施形態によるビデオ復号化装置２００は、映像特性を考慮するために、階層的な符号化単位を使用する。符号化単位の最大高及び最大幅、最大深度は、映像の特性によって、適応的に決定され、ユーザの要求によって、多様に設定される。既設定の符号化単位の最大サイズによって、深度別符号化単位の大きさが決定されもする。
【００８７】
一実施形態による符号化単位の階層構造６００は、符号化単位の最大高及び最大幅が６４であり、最大深度が４である場合を図示している。一実施形態による符号化単位の階層構造６００の縦軸に沿って深度が深くなるので、深度別符号化単位の高さ及び幅がそれぞれ分割される。また、符号化単位の階層構造６００の横軸に沿って、それぞれの深度別符号化単位の予測符号化の基になる予測単位及びパーティションが図示されている。
【００８８】
すなわち、符号化単位６１０は、符号化単位の階層構造６００において、最大符号化単位であり、深度が０であり、符号化単位の大きさ、すなわち、高さ及び幅が６４ｘ６４である。縦軸に沿って深度が深くなり、サイズ３２ｘ３２である深度１の符号化単位６２０、サイズ１６ｘ１６である深度２の符号化単位６３０、サイズ８ｘ８である深度３の符号化単位６４０、サイズ４ｘ４である深度４の符号化単位６５０が存在する。サイズ４ｘ４である深度４の符号化単位６５０は、最小符号化単位である。
【００８９】
それぞれの深度別に、横軸に沿って、符号化単位の予測単位及びパーティションが配列される。すなわち、深度０のサイズ６４ｘ６４の符号化単位６１０が予測単位であるならば、予測単位は、サイズ６４ｘ６４の符号化単位６１０に含まれるサイズ６４ｘ６４のパーティション６１０、サイズ６４ｘ３２のパーティション６１２、サイズ３２ｘ６４のパーティション６１４、サイズ３２ｘ３２のパーティション６１６に分割される。
【００９０】
同様に、深度１のサイズ３２ｘ３２の符号化単位６２０の予測単位は、サイズ３２ｘ３２の符号化単位６２０に含まれるサイズ３２ｘ３２のパーティション６２０、サイズ３２ｘ１６のパーティション６２２、サイズ１６ｘ３２のパーティション６２４、サイズ１６ｘ１６のパーティション６２６に分割される。
【００９１】
同様に、深度２のサイズ１６ｘ１６の符号化単位６３０の予測単位は、サイズ１６ｘ１６の符号化単位６３０に含まれるサイズ１６ｘ１６のパーティション６３０、サイズ１６ｘ８のパーティション６３２、サイズ８ｘ１６のパーティション６３４、サイズ８ｘ８のパーティション６３６に分割される。
【００９２】
同様に、深度３のサイズ８ｘ８の符号化単位６４０の予測単位は、サイズ８ｘ８の符号化単位６４０に含まれるサイズ８ｘ８のパーティション６４０、サイズ８ｘ４のパーティション６４２、サイズ４ｘ８のパーティション６４４、サイズ４ｘ４のパーティション６４６に分割される。
【００９３】
最後に、深度４のサイズ４ｘ４の符号化単位６５０は、最小符号化単位であり、最下位深度の符号化単位であり、当該予測単位も、サイズ４ｘ４のパーティション６５０だけに設定される。
【００９４】
一実施形態によるビデオ符号化装置１００の符号化単位決定部１２０は、最大符号化単位６１０の符号化深度を決定するために、最大符号化単位６１０に含まれるそれぞれの深度の符号化単位ごとに、符号化を行わなければならない。
【００９５】
同一範囲及び同一サイズのデータを含むための深度別符号化単位の個数は、深度が深くなるほど、深度別符号化単位の個数も増加する。例えば、深度１の符号化単位一つを含むデータに対して、深度２の符号化単位は、四つが必要である。従って、同一データの符号化結果を深度別に比較するために、１つの深度１の符号化単位、及び４つの深度２の符号化単位を利用して、それぞれ符号化されなければならない。
【００９６】
それぞれの深度別符号化のためには、符号化単位の階層構造６００の横軸に沿って、深度別符号化単位の予測単位ごとに符号化を行い、当該深度で最小の符号化誤差である代表符号化誤差が選択される。また、符号化単位の階層構造６００の縦軸に沿って、深度が深くなり、それぞれの深度ごとに符号化を行い、深度別代表符号化誤差を比較し、最小符号化誤差が検索される。最大符号化単位６１０において、最小符号化誤差が発生する深度及びパーティションが、最大符号化単位６１０の符号化深度及びパーティションタイプに選択される。
【００９７】
図７は、本発明の一実施形態による、符号化単位及び変換単位の関係を図示している。
【００９８】
一実施形態によるビデオ符号化装置１００、または一実施形態によるビデオ復号化装置２００は、最大符号化単位ごとに、最大符号化単位より小さいか、あるいはそれと同じ大きさの符号化単位で映像を符号化したり復号化したりする。符号化過程において、周波数変換のための変換単位の大きさはそ、れぞれの符号化単位ほど大きくないデータ単位を基に選択される。
【００９９】
例えば、一実施形態によるビデオ符号化装置１００、または一実施形態によるビデオ復号化装置２００で、現在符号化単位７１０が６４ｘ６４サイズであるとき、３２ｘ３２サイズの変換単位７２０を利用して、周波数変換が行われる。
【０１００】
また、６４ｘ６４サイズの符号化単位７１０のデータを、６４ｘ６４サイズ以下の３２ｘ３２，１６ｘ１６，８ｘ８，４ｘ４サイズの変換単位でそれぞれ周波数変換を行って符号化した後、原本との誤差が最小である変換単位が選択される。
【０１０１】
図８は、本発明の一実施形態による深度別符号化情報を図示している。
【０１０２】
一実施形態によるビデオ符号化装置１００の出力部１３０は、符号化モードについての情報であり、それぞれの符号化深度の符号化単位ごとに、パーティションタイプについての情報８００、予測モードについての情報８１０、変換単位サイズに係わる情報８２０を符号化して伝送することができる。
【０１０３】
パーティションタイプに係わる情報８００は、現在符号化単位の予測符号化のためのデータ単位であり、現在符号化単位の予測単位が分割されたパーティションの形態に係わる情報を示す。例えば、サイズ２Ｎｘ２Ｎの現在符号化単位ＣＵ＿０は、サイズ２Ｎｘ２Ｎのパーティション８０２、サイズ２ＮｘＮのパーティション８０４、サイズＮｘ２Ｎのパーティション８０６、サイズＮｘＮのパーティション８０８のうちいずれか１つのタイプに分割されて利用される。その場合、現在符号化単位のパーティションタイプについての情報８００は、サイズ２Ｎｘ２Ｎのパーティション８０２、サイズ２ＮｘＮのパーティション８０４、サイズＮｘ２Ｎのパーティション８０６及びサイズＮｘＮのパーティション８０８のうち一つを示すように設定される。
【０１０４】
予測モードについての情報８１０は、それぞれのパーティションの予測モードを示す。例えば、予測モードについての情報８１０を介して、パーティションタイプについての情報８００の示すパーティションが、イントラモード８１２、インターモード８１４及びスキップモード８１６のうち一つで予測符号化が行われるかということが設定される。
【０１０５】
また、変換単位サイズについての情報８２０は、現在符号化単位を、いかなる変換単位を基に周波数変換を行うかということを示す。例えば、変換単位は、第１イントラ変換単位サイズ８２２、第２イントラ変換単位サイズ８２４、第１インター変換単位サイズ８２６、第２インター変換単位サイズ８２８のうち一つである。
【０１０６】
一実施形態によるビデオ復号化装置２００の映像データ及び符号化情報抽出部２１０は、それぞれの深度別符号化単位ごとに、パーティションタイプについての情報８００、予測モードについての情報８１０、変換単位サイズに係わる情報８２０を抽出して復号化に利用することができる。
【０１０７】
図９は、本発明の一実施形態による深度別符号化単位を図示している。
【０１０８】
深度の変化を示すために、分割情報が利用される。分割情報は、現在深度の符号化単位が、下位深度の符号化単位に分割されるか否かということを示す。
【０１０９】
深度０及び２Ｎ＿０ｘ２Ｎ＿０サイズの符号化単位９００の予測符号化のための予測単位９１０は、２Ｎ＿０ｘ２Ｎ＿０サイズのパーティションタイプ９１２、２Ｎ＿０ｘＮ＿０サイズのパーティションタイプ９１４、Ｎ＿０ｘ２Ｎ＿０サイズのパーティションタイプ９１６、Ｎ＿０ｘＮ＿０サイズのパーティションタイプ９１８を含んでもよい。予測単位が対称的な比率に分割されたパーティション９１２，９１４，９１６，９１８だけが例示されているが、前述のように、パーティションタイプは、それらに限定されるものではなく、非対称的パーティション、任意的形態のパーティション、幾何学的形態のパーティションなどを含んでもよい。
【０１１０】
パーティションタイプごとに、１つの２Ｎ＿０ｘ２Ｎ＿０サイズのパーティション、２つの２Ｎ＿０ｘＮ＿０サイズのパーティション、２つのＮ＿０ｘ２Ｎ＿０サイズのパーティション、４つのＮ＿０ｘＮ＿０サイズのパーティションごとに、反復して予測符号化が行われなければならない。サイズ２Ｎ＿０ｘ２Ｎ＿０、サイズＮ＿０ｘ２Ｎ＿０、サイズ２Ｎ＿０ｘＮ＿０及びサイズＮ＿０ｘＮ＿０のパーティションについては、イントラモード及びインターモードで予測符号化が行われる。スキップモードは、サイズ２Ｎ＿０ｘ２Ｎ＿０のパーティションについてのみ予測符号化が行われる。
【０１１１】
サイズ２Ｎ＿０ｘ２Ｎ＿０のパーティションタイプ９１２、２Ｎ＿０ｘＮ＿０のパーティションタイプ９１４、及びＮ＿０ｘ２Ｎ＿０のパーティションタイプ９１６のうち一つによる符号化誤差が最小であるならば、それ以上下位深度に分割する必要はない。
【０１１２】
サイズＮ＿０ｘＮ＿０のパーティションタイプ９１８による符号化誤差が最小であるならば、深度０を１に変更しながら分割し（９２０）、深度２及びサイズＮ＿０ｘＮ＿０のパーティションタイプの符号化単位９３０に対して反復して符号化を行い、最小符号化誤差を検索していく。
【０１１３】
深度１及びサイズ２Ｎ＿１ｘ２Ｎ＿１（＝Ｎ＿０ｘＮ＿０）の符号化単位９３０の予測符号化のための予測単位９４０は、サイズ２Ｎ＿１ｘ２Ｎ＿１のパーティションタイプ９４２、サイズ２Ｎ＿１ｘＮ＿１のパーティションタイプ９４４、サイズＮ＿１ｘ２Ｎ＿１のパーティションタイプ９４６、サイズＮ＿１ｘＮ＿１のパーティションタイプ９４８を含んでもよい。
【０１１４】
また、サイズＮ＿１ｘＮ＿１のパーティションタイプ９４８による符号化誤差が最小であるならば、深度１を深度２に変更しながら分割し（９５０）、深度２及びサイズＮ＿２ｘＮ＿２の符号化単位９６０に対して反復して符号化を行い、最小符号化誤差を検索していく。
【０１１５】
最大深度がｄである場合、深度別分割情報は、深度ｄ−１になるまで設定され、分割情報は、深度ｄ−２まで設定される。すなわち、深度ｄ−２から分割され（９７０）、深度ｄ−１まで符号化が行われる場合、深度ｄ−１及びサイズ２Ｎ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）の符号化単位９８０の予測符号化のための予測単位９９０は、サイズ２Ｎ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティションタイプ９９２、サイズ２Ｎ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションタイプ９９４、サイズＮ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティションタイプ９９６、サイズＮ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションタイプ９９８を含んでもよい。
【０１１６】
パーティションタイプのうち、１つのサイズ２Ｎ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティション、２つのサイズ２Ｎ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティション、２つのサイズＮ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティション、４つのサイズＮ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションごとに、反復して予測符号化を介した符号化が行われ、最小符号化誤差が発生するパーティションタイプが検索される。
【０１１７】
サイズＮ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションタイプ９９８による符号化誤差が最小であるとしても、最大深度がｄであるので、深度ｄ−１の符号化単位ＣＵ＿（ｄ−１）は、それ以上下位深度への分割過程を経ず、現在最大符号化単位９００に対する符号化深度が深度ｄ−１に決定され、パーティションタイプは、Ｎ＿（ｄ−１）ｘＮ＿（ｄ−１）に決定される。また、最大深度がｄであるので、深度ｄ−１の符号化単位９８０について、分割情報は設定されない。
【０１１８】
データ単位９９９は、現在最大符号化単位に係わる「最小単位」とすることができる。一実施形態による最小単位は、最下位符号化深度である最小符号化単位が４分割された大きさの正方形のデータ単位でもある。そのような反復的符号化過程を介して、一実施形態によるビデオ符号化装置１００は、符号化単位９００の深度別符号化誤差を比較し、最小の符号化誤差が発生する深度を選択し、符号化深度を決定し、当該パーティションタイプ及び予測モードが、符号化深度の符号化モードに設定される。
【０１１９】
そのように、深度０，１，…，ｄ−１，ｄの全ての深度別最小符号化誤差を比較し、誤差が最小である深度が選択され、符号化深度として決定される。符号化深度、並びに予測単位のパーティションタイプ及び予測モードは、符号化モードについての情報として符号化されて伝送される。また、深度０から符号化深度に至るまで符号化単位が分割されなければならないので、符号化深度の分割情報だけが「０」に設定され、符号化深度を除いた深度別分割情報は、「１」に設定されなければならない。
【０１２０】
一実施形態によるビデオ復号化装置２００の映像データ及び符号化情報抽出部２２０は、符号化単位９００に係わる符号化深度及び予測単位についての情報を抽出し、符号化単位９００を復号化するのに利用することができる。一実施形態によるビデオ復号化装置２００は、深度別分割情報を利用して、分割情報が「０」である深度を符号化深度として把握し、当該深度に係わる符号化モードについての情報を利用して、復号化に利用することができる。
【０１２１】
図１０、図１１及び図１２は、本発明の一実施形態による、符号化単位、予測単位及び周波数変換単位の関係を図示している。
【０１２２】
符号化単位１０１０は、最大符号化単位に対して、一実施形態によるビデオ符号化装置１００が決定した符号化深度別符号化単位である。予測単位１０６０は、符号化単位１０１０において、それぞれの符号化深度別符号化単位の予測単位のパーティションであり、変換単位１０７０は、それぞれの符号化深度別符号化単位の変換単位である。
【０１２３】
深度別符号化単位１０１０は、最大符号化単位の深度が０であるとすれば、符号化単位１０１２，１０５４は、深度が１であり、符号化単位１０１４，１０１６，１０１８，１０２８，１０５０，１０５２は、深度が２であり、符号化単位１０２０，１０２２，１０２４，１０２６，１０３０，１０３２，１０４８は、深度が３であり、符号化単位１０４０，１０４２，１０４４，１０４６は、深度が４である。
【０１２４】
予測単位１０６０において、一部パーティション１０１４，１０１６，１０２２，１０３２，１０４８，１０５０，１０５２，１０５４は、符号化単位が分割された形態である。すなわち、パーティション１０１４，１０２２，１０５０，１０５４は、２ＮｘＮのパーティションタイプであり、パーティション１０１６，１０４８，１０５２は、Ｎｘ２Ｎのパーティションタイプであり、パーティション１０３２は、ＮｘＮのパーティションタイプである。深度別符号化単位１０１０の予測単位及びパーティションは、それぞれの符号化単位より小さいか、あるいはそれと同じである。
【０１２５】
変換単位１０７０において、一部の変換単位１０５２の映像データについては、符号化単位に比べて小サイズのデータ単位で、周波数変換または周波数逆変換が行われる。また、変換単位１０１４，１０１６，１０２２，１０３２，１０４８，１０５０，１０５２，１０５４は、予測単位１０６０において、当該予測単位及びパーティションと比較すれば、互いに異なるサイズまたは形態のデータ単位である。すなわち、一実施形態によるビデオ符号化装置１００、及び一実施形態に他のビデオ復号化装置２００は、同一符号化単位に係わるイントラ予測／動き推定／動き補償作業、及び周波数変換／逆変換作業であるとしても、それぞれ別個のデータ単位を基に行うことができる。
【０１２６】
それによって、最大符号化単位ごとに、領域別に階層的な構造の符号化単位ごとに、再帰的に符号化が行われ、最適符号化単位が決定されることによって、再帰的ツリー構造による符号化単位が構成される。符号化情報は、符号化単位に係わる分割情報、パーティションタイプ情報、予測モード情報、変換単位サイズ情報を含んでもよい。下記表１は、一実施形態によるビデオ符号化装置１００、及び一実施形態によるビデオ復号化装置２００で設定することができる一例を示している。
【０１２７】
【表１】
2015526016.tif 000003
一実施形態によるビデオ符号化装置１００の出力部１３０は、ツリー構造による符号化単位に係わる符号化情報を出力し、一実施形態によるビデオ復号化装置２００の符号化情報抽出部２２０は、受信されたビットストリームから、ツリー構造による符号化単位に係わる符号化情報を抽出することができる。
【０１２８】
分割情報は、現在符号化単位が、下位深度の符号化単位に分割されるか否かということを示す。現在深度ｄの分割情報が０であるならば、現在符号化単位が、現在符号化単位が下位符号化単位にそれ以上分割されない深度が符号化深度であるので、符号化深度に対して、パーティションタイプ情報、予測モード、変換単位サイズ情報が定義される。分割情報によって、１段階さらに分割されなければならない場合には、分割された４個の下位深度の符号化単位ごとに、独立して符号化が行われなければならない。
【０１２９】
予測モードは、イントラモード、インターモード及びスキップモードのうち一つで示すことができる。イントラモード及びインターモードは、全てのパーティションタイプで定義され、スキップモードは、パーティションタイプ２Ｎｘ２Ｎでのみ定義される。
【０１３０】
パーティションタイプ情報は、予測単位の高さまたは幅が対称的な比率に分割された対称的パーティションタイプ２Ｎｘ２Ｎ，２ＮｘＮ，Ｎｘ２Ｎ及びＮｘＮと、非対称的な比率に分割された非対称的パーティションタイプ２ＮｘｎＵ，２ＮｘｎＤ，ｎＬｘ２Ｎ，ｎＲｘ２Ｎを示すことができる。非対称的パーティションタイプ２ＮｘｎＵ及び２ＮｘｎＤは、それぞれ高さが１：３及び３：１に分割された形態であり、非対称的パーティションタイプｎＬｘ２Ｎ及びｎＲｘ２Ｎは、それぞれ幅が１：３及び３：１に分割された形態を示す。
【０１３１】
変換単位サイズは、イントラモードで２種の大きさ、インターモードで２種の大きさに設定される。すなわち、変換単位分割情報が０であるならば、変換単位の大きさは、現在符号化単位のサイズ２Ｎｘ２Ｎに設定される。変換単位分割情報が１であるならば、現在符号化単位が分割された大きさの変換単位が設定される。また、サイズ２Ｎｘ２Ｎである現在符号化単位に係わるパーティションタイプが対称形パーティションタイプであるならば、変換単位の大きさは、ＮｘＮに設定され、非対称形パーティションタイプであるならば、Ｎ／２ｘＮ／２に設定される。
【０１３２】
一実施形態によるツリー構造による符号化単位の符号化情報は、符号化深度の符号化単位、予測単位及び最小単位単位のうち少なくとも一つに対して割り当てられる。符号化深度の符号化単位は、同一符号化情報を保有している予測単位及び最小単位を一つ以上含んでもよい。
【０１３３】
従って、隣接したデータ単位同士それぞれ保有している符号化情報を確認すれば、同一符号化深度の符号化単位に含まれるか否かということが確認される。また、データ単位が保有している符号化情報を利用すれば、当該符号化深度の符号化単位を確認することができるので、最大符号化単位内の符号化深度の分布が類推される。
【０１３４】
従って、その場合、現在符号化単位が周辺データ単位を参照して予測する場合、現在符号化単位に隣接する深度別符号化単位内のデータ単位の符号化情報が直接参照されて利用される。
【０１３５】
他の実施形態において、現在符号化単位が、周辺符号化単位を参照して予測符号化が行われる場合、隣接する深度別符号化単位の符号化情報を利用して、深度別符号化単位内で、現在符号化単位に隣接するデータが検索されることによって、周辺符号化単位が参照される。
【０１３６】
図１３は、表１の符号化モード情報による、符号化単位、予測単位及び変換単位の関係を図示している。
【０１３７】
最大符号化単位１３００は、符号化深度の符号化単位１３０２，１３０４，１３０６，１３１２，１３１４，１３１６，１３１８を含む。そのうち１つの符号化単位１３１８は、符号化深度の符号化単位であるので、分割情報が０に設定される。サイズ２Ｎｘ２Ｎの符号化単位１３１８のパーティションタイプ情報は、パーティションタイプ２Ｎｘ２Ｎ  １３２２，２ＮｘＮ  １３２４，Ｎｘ２Ｎ  １３２６，ＮｘＮ  １３２８，２ＮｘｎＵ  １３３２，２ＮｘｎＤ  １３３４，ｎＬｘ２Ｎ  １３３６及びｎＲｘ２Ｎ  １３３８のうち一つに設定される。
【０１３８】
パーティションタイプ情報が対称形パーティションタイプ２Ｎｘ２Ｎ  １３２２，２ＮｘＮ  １３２４，Ｎｘ２Ｎ  １３２６及びＮｘＮ  １３２８のうち一つに設定されている場合、変換単位分割情報（ＴＵ  size  flag）が０であるならば、サイズ２Ｎｘ２Ｎの変換単位１３４２が設定され、変換単位分割情報が１であるならば、サイズＮｘＮの変換単位１３４４が設定される。
【０１３９】
パーティションタイプ情報が非対称形パーティションタイプ２ＮｘｎＵ  １３３２，２ＮｘｎＤ  １３３４，ｎＬｘ２Ｎ  １３３６及びｎＲｘ２Ｎ  １３３８のうち一つに設定された場合、変換単位分割情報（ＴＵ  size  flag）が０であるならば、サイズ２Ｎｘ２Ｎの変換単位１３５２が設定され、変換単位分割情報が１であるならば、サイズＮ／２ｘＮ／２の変換単位１３５４が設定される。
【０１４０】
図１４は、本発明の一実施形態による、時間的スケーラビリティを有するビデオ符号化装置の構成を示す。図１４を参照すれば、一実施形態によるビデオ符号化装置１４００は、ビデオ符号化部１４１０及び多重化部１４２０を含む。
【０１４１】
ビデオ符号化部１４１０は、前述の図１のビデオ符号化装置１００に対応するものであり、ビデオデータの符号化処理自体を扱うビデオ符号化階層（video  coding  layer）において、前述の階層的符号化単位に基づいて、ビデオデータを符号化する。多重化部１４２０は、通信チャンネルや保存メディア、ビデオ編集システム、メディアフレームワーク（media  framework）などが有するプロトコル（protocol）や保存フォーマットに適する伝送データ単位を利用して、ビデオデータを多重化する。後述するように、多重化部１４２０は、ネットワーク抽象階層（ＮＡＬ：network  abstraction  layer）での伝送単位であるＮＡＬ単位を利用して、ビデオデータを伝送することができる。
【０１４２】
ビデオ符号化部１４１０は、時間的スケーラビリティを有するビデオデータを提供するために、ピクチャシーケンスに含まれたピクチャを時間的サブ階層（temporal  sub-layers）に分割することができる。時間的サブ階層とは、同一時間的識別子（temporal＿ｉｄ）を有するピクチャ、またはそのようなピクチャに係わる情報を含むＮＡＬ単位の集合を意味する。
【０１４３】
多重化部１４２０は、時間的階層アクセスピクチャより後に符号化され、時間的階層アクセスピクチャと同一であるか、あるいはそれより上位の時間的サブ階層に属したピクチャが、時間的階層アクセスピクチャより前に符号化されたピクチャを参照することができるか否かということに基づいて、時間的階層アクセスピクチャを、第１時間的階層アクセスピクチャと、第２時間的階層アクセスピクチャとに分類し、時間的階層アクセスピクチャが含まれる伝送単位データに、第１時間的階層アクセスピクチャ及び第２時間的階層アクセスピクチャを識別するための類型シンタックス情報を付加することができる。復号化順序及び符号化順序は、それぞれ復号化側及び符号化側を基準に、ピクチャの処理順序を意味するものであり、ピクチャの符号化順序は、復号化順序と同一である。従って、以下、本発明の説明にあたり、符号化順序は、復号化順序を意味し、また復号化順序も、符号化順序を意味することができる。
【０１４４】
時間的階層アクセスピクチャは、下位の時間的サブ階層から上位の時間的サブ階層にスイッチングが発生した場合にアクセスされる上位の時間的サブ階層に含まれ、アップスイッチング以後に、最初に符号化（または、復号化）されるピクチャを意味する。後述するように、時間的階層アクセスピクチャは、少なくともアップスイッチング時点で利用可能なピクチャを参照するピクチャでなければならない。第１時間的階層アクセスピクチャは、時間的階層アクセスピクチャより後に符号化され、時間的階層アクセスピクチャと同一であるか、あるいはそれより上位の時間的サブ階層に属したピクチャが、時間的階層アクセスピクチャより前に符号化されたピクチャを参照することができる時間的階層アクセスピクチャを示す。第２時間的階層アクセスピクチャは、時間的階層アクセスピクチャより後に符号化され、時間的階層アクセスピクチャと同一であるか、あるいはそれより上位の時間的サブ階層に属したピクチャが、時間的階層アクセスピクチャより前に符号化されたピクチャを参照することができない時間的階層アクセスピクチャを示す。
【０１４５】
図１５は、一実施形態によって、ピクチャシーケンスに含まれたピクチャを、時間的サブ階層に分割した一例である。図１５及び図１６で、Ｉ、Ｂ、Ｐは、それぞれＩピクチャ、Ｂピクチャ、Ｐピクチャを意味し、Ｉ、Ｂ、Ｐの右側の＃は、ディスプレイ順序を示す。図１５で、矢印方向は、参照方向を示す。例えば、Ｉ０ピクチャ１５００は、Ｂ１ピクチャ１５３１の参照ピクチャとして利用される。
【０１４６】
図１５を参照すれば、ビデオ符号化部１４１０は、図示されているように、ピクチャシーケンスに含まれたピクチャ１５００ないし１５３４を時間的サブ階層に分類し、各時間的サブ階層に含まれたピクチャに、時間的識別子（temporal＿ｉｄ）を割り当てることによって、時間的スケーラビリティを有するビデオデータを提供することができる。
【０１４７】
具体的には、最下位時間的サブ階層に含まれたＩ０ピクチャ１５００及びＰ８ピクチャ１５０１は、temporal＿ｉｄの値として０が設定される。Ｂ４ピクチャ１５１０は、temporal＿ｉｄが１である時間的サブ階層に含まれる。Ｂ２ピクチャ１５２０及びＢ６ピクチャ１５２１は、temporal＿ｉｄが２である時間的サブ階層に含まれる。Ｂ１ピクチャ１５３０、Ｂ６ピクチャ１５３１、Ｂ５ピクチャ１５３３及びＢ７ピクチャ１５３４は、temporal＿ｉｄが３である時間的サブ階層に含まれる。
【０１４８】
図１６は、一実施形態によって、フレームレート（frame  rate）によってディスプレイされるピクチャの一例を示している。
【０１４９】
図１５及び図１６を参照すれば、フレームレートが７．５Ｈｚである場合、最下位時間的サブ階層、すなわち、temporal＿ｉｄが０の値を有するＩ０ピクチャ及びＰ８ピクチャがディスプレイされる。フレームレートが１５Ｈｚである場合、temporal＿ｉｄが０の値を有するＩ０ピクチャ及びＰ８ピクチャ以外に、temporal＿ｉｄが１の値を有するＢ４ピクチャがディスプレイされる。フレームレートが３０Ｈｚである場合temporal＿ｉｄが０、１、２の値を有するＩ０ピクチャ、Ｂ２ピクチャ、Ｂ４ピクチャ、Ｂ６ピクチャ及びＰ８ピクチャがディスプレイされる。フレームレートが６０Ｈｚである場合、temporal＿ｉｄが０、１、２、４の値を有するＩ０ピクチャ、Ｂ１ピクチャ、Ｂ２ピクチャ、Ｂ３ピクチャ、Ｂ４ピクチャ、Ｂ５ピクチャ、Ｂ６ピクチャ、Ｂ７ピクチャ及びＰ８ピクチャがディスプレイされる。
【０１５０】
そのように、時間的スケーラビリティは、フレームレートによって、時間的識別子（temporal＿ｉｄ）の値が所定値以下である全てのピクチャを復号化し、復号化されたピクチャをディスプレイすることによって具現される。言い替えれば、時間的スケーラビリティは、フレームレートによって、所定temporal＿ｉｄ値を有する上位の時間的サブ階層以下の全ての時間的サブ階層に含まれたピクチャを復号化してディスプレイすることによって具現される。
【０１５１】
フレームレートの変化は、時間的階層スイッチング（temporal  layer  switching）と定義される。低いフレームレートから高いフレームレートへの変化は、時間的階層アップスイッチング（up-switching）、高いフレームレートから低いフレームレートへの変化は、時間的階層ダウンスイッチング（down-switching）と定義される。時間的階層ダウンスイッチングは、所定値のtemporal＿ｉｄより大きいピクチャを除去することによって実行されるので、時間的階層ダウンスイッチングは、常時可能である。例えば、再び図１６を参照すれば、フレームレートが３０Ｈｚから７．５Ｈｚに変化する場合、temporal＿ｉｄが０、１、２の値を有するＩ０ピクチャ、Ｂ２ピクチャ、Ｂ４ピクチャ、Ｂ６ピクチャ及びＰ８ピクチャのうちtemporal＿ｉｄが１以上であるピクチャ、すなわち、Ｂ２ピクチャ、Ｂ４ピクチャ、Ｂ６ピクチャを除いたＩ０ピクチャ及びＰ８ピクチャのみを選択してディスプレイすることにより、時間的階層ダウンスイッチングが行われる。
【０１５２】
しかし、時間的階層アップスイッチングが常時可能であるというものではない。一例として、上位の時間的サブ階層に属するピクチャが、アップスイッチング時点で利用可能ではないさらに上位のピクチャを参照する場合には、上位の時間的サブ階層に属するピクチャは、復号化されない。temporal＿ｉｄ＝０である時間的サブ階層から、temporal＿ｉｄ＝１である上位の時間的サブ階層に時間的階層アップスイッチングが発生した場合を仮定する。もしtemporal＿ｉｄ＝１である上位の時間的サブ階層に含まれたピクチャが、アップスイッチング時点で利用可能ではないtemporal＿ｉｄが２以上であるさらに上位の時間的サブ階層に含まれたピクチャを参照ピクチャとして利用するならば、時間的サブ階層アップスイッチングは実行されない。
【０１５３】
従って、時間的階層アップスイッチング時、上位の時間的サブ階層に含まれたピクチャのうち少なくとも時間的階層アップスイッチング時点で利用可能なピクチャを参照するピクチャが、時間的階層アクセスピクチャとして利用されなければならない。
【０１５４】
一方、時間的階層アクセスピクチャ以後に符号化（または、復号化）されるピクチャの予測効率を向上させるために、時間的階層アクセスピクチャより後に符号化されて時間的階層アクセスピクチャと同一であるか、あるいはそれより上位の時間的サブ階層に属したピクチャをして、時間的階層アクセスピクチャより前に符号化されたピクチャを参照させることができる。なぜならば、参照ピクチャとして利用可能な候補が増えるほど、符号化されるピクチャと類似した参照ピクチャを利用する可能性が高いので、参照可能性を拡大させることは、映像の予測効率を向上させるのである。そのような参照を可能にする時間的階層アクセスピクチャを、第１時間的階層アクセスピクチャと定義する。すなわち、第１時間的階層アクセスピクチャは、時間的階層アクセスピクチャより後に符号化され、前記時間的階層アクセスピクチャと同一であるか、あるいはそれより上位の時間的サブ階層に属したピクチャが、前記時間的階層アクセスピクチャより前に符号化されたピクチャを参照するように許容する時間的階層アクセスピクチャを意味する。反対に、そのような参照を禁止する時間的階層アクセスピクチャを、第２時間的階層アクセスピクチャと定義する。すなわち、第２時間的階層アクセスピクチャは、時間的階層アクセスピクチャより後に符号化され、時間的階層アクセスピクチャと同一であるか、あるいはそれより上位の時間的サブ階層に属したピクチャが、時間的階層アクセスピクチャより前に符号化されたピクチャを参照するように許容しない時間的階層アクセスピクチャを意味する。
【０１５５】
図１７は一実施形態によるリーディング（leading）ピクチャ及び第１時間的階層アクセスピクチャについて説明するための図面である。前述のように、Ｉ、Ｂ、Ｐは、それぞれＩピクチャ、Ｂピクチャ、Ｐピクチャを意味し、Ｉ、Ｂ、Ｐの右側の＃は、ディスプレイ順序を示す。また、矢印方向は、参照方向を示す。
【０１５６】
所定ピクチャのリーディングピクチャは、所定ピクチャより後に復号化されるが、所定ピクチャより先にディスプレイされるピクチャを意味する。図１７を参照すれば、Ｂ３ピクチャ１７２０は、Ｂ４ピクチャ１７１０より先にディスプレイされるが、Ｂ４ピクチャ１７１０以後に復号化されるリーディングピクチャである。また、Ｂ３ピクチャ１７２０は、Ｂ４ピクチャ以外に、Ｂ２ピクチャを参照して双方向予測されたと仮定する。Ｂ４ピクチャ１７１０は、同一であるか、あるいはそれより上位の時間的サブ階層に属し、復号化順序上、後に復号化されるＢ３ピクチャ１７２０が、Ｂ４ピクチャ１７１０より前に復号化されるＢ２ピクチャを参照するので、Ｂ４ピクチャ１７１０は、第１時間的階層アクセスピクチャに分類される。
【０１５７】
前述のように、映像の予測効率の側面から、参照ピクチャとして利用可能なピクチャを増加させることは望ましいが、第１時間的階層アクセスピクチャの場合、時間的階層アップスイッチング時に、ピクチャ間の参照関係により、それ以上復号化過程で必要ないピクチャを復号化する場合が発生してしまう。
【０１５８】
図１８は、一実施形態によって、時間的階層アップスイッチング時に復号化されないリーディングピクチャについて説明するための図面である。図１８を参照すれば、最下位時間的サブ階層から、すぐ上位の時間的サブ階層に時間的階層アップスイッチングが起きた場合、時間的階層アクセスピクチャを、Ｂ４ピクチャ１８１０と仮定する。また、Ｂ４ピクチャ１８１０は、Ｂ４ピクチャ１８１０より後に復号化され、Ｂ４ピクチャ１８１０と同一であるか、あるいはそれより上位の時間的サブ階層に属したピクチャが、Ｂ４ピクチャ１８１０より前に復号化されたピクチャを参照することができる第１時間的階層アクセスピクチャであると仮定する。時間的階層アップスイッチングが起きた場合、Ｂ４ピクチャ１８１０のリーディングピクチャであるＢ３ピクチャ１８２０は、参照ピクチャが存在しないために、復号化されない。そのように、第１時間的階層アクセスピクチャの場合には、後順序で復号化されるピクチャが、第１時間的階層アクセスピクチャより先に復号化されるピクチャを参照することを禁止しないために、ピクチャ間の参照関係によって、以後に復号化されないリーディングピクチャが存在する。
【０１５９】
一実施形態によるビデオ符号化装置１４００の多重化部１４２０は、第１時間的階層アクセスピクチャとの関係で、時間的階層アップスイッチング時に復号化されないピクチャを、別途に廃棄（discard）可能なピクチャに分類し、廃棄可能なピクチャであるということを示すように、ＮＡＬ単位のヘッダに、所定nal＿unit＿typeを設定することができる。例えば、図１８のＢ３ピクチャ１８２０は、時間的階層アップスイッチング時に廃棄可能なピクチャに分類される。
【０１６０】
そのように、時間的階層アップスイッチング時に復号化されないピクチャを、別途に廃棄可能なピクチャに分類する理由は、復号化装置で廃棄可能なピクチャを含むＮＡＬ単位を受信する場合、別途の復号化過程をスキップすることによって、ハードウェア資源を節約させるためである。
【０１６１】
多重化部１４２０は、第１時間的階層アクセスピクチャが含まれるＮＡＬ単位のヘッダに、第１時間的階層アクセスピクチャが含まれるということを示す第１類型シンタックス情報（nal  unit  type）を付加し、前記第２時間的階層アクセスピクチャが含まれる前記伝送単位データのヘッダに、前記第２時間的階層アクセスピクチャが含まれるということを示す第２類型シンタックス情報（nal  unit  type）を付加する。
【０１６２】
図１９は、本発明の一実施形態によるＮＡＬ単位の構成を示した図面である。図１９を参照すれば、ＮＡＬ単位１９００は、ＮＡＬヘッダ１９１０及びＲＢＳＰ（raw  byte  sequence  payload）１９２０の２つの部分から構成される。ＲＢＳＰトレイリングビット１９３０は、ＲＢＳＰ  １９２０の長さを８ビットの倍数で表現するために、ＲＢＳＰ  １９２０の最後尾に付けた長さ調節用ビットである。ＲＢＳＰトレイリングビット１９３０は、「１」から始まり、その後ＲＢＳＰ  １９２０の長さによって決定される連続的な「０」で構成され、「１００…」のようなパターンを有し、最初のビット値である「１」を検索することにより、その直前にあるＲＢＳＰ  １９２０の最後のビット位置を決定することができる。
【０１６３】
ＮＡＬヘッダ１９１０には、０の値を有するforbidden＿zero＿bit  １９１１以外に、当該ＮＡＬ単位１９００に、第１時間的階層アクセスピクチャ、第２時間的階層アクセスピクチャ、及び廃棄可能なピクチャが含まれているか否かということを識別するためのnal＿unit＿type  １９１２が設定される。言い替えれば、第１時間的階層アクセスピクチャ、第２時間的階層アクセスピクチャ、及び廃棄可能なピクチャの伝送のための固有のnal＿unit＿typeを有するＮＡＬ単位が利用される。
【０１６４】
表２は、nal＿unit＿typeの値による、ＮＡＬ単位１９００の種類を示した一例である。
【０１６５】
【表２】
2015526016.tif 000004
表２を参照すれば、本発明の一実施形態による時間的階層アクセスピクチャを、ＢＬＴ（broken  link  temporal  layer  access）ピクチャとするとき、第１時間的階層アクセスピクチャ及び第２時間的階層アクセスピクチャそれぞれは、nal＿unit＿typeが６、７の値を有するＮＡＬ単位に含まれて伝送されるのである。
【０１６６】
また、廃棄可能なピクチャをＴＦＤ（tagged  for  discard）ピクチャとするとき、廃棄可能なピクチャは、nal＿unit＿typeが２の値を有するＮＡＬ単位に含まれて伝送される。
【０１６７】
図２０は、一実施形態による、時間的スケーラビリティを有するビデオ符号化方法を示したフローチャートである。図２０を参照すれば、段階２０１０で、ビデオ符号化部１４１０は、ピクチャシーケンスに含まれたピクチャを符号化し、符号化されたピクチャを、時間的サブ階層に分割して出力する。
【０１６８】
段階２０２０で、多重化部１４２０は、時間的階層アクセスピクチャより後に符号化され、時間的階層アクセスピクチャと同一であるか、あるいはそれより上位の時間的サブ階層に属したピクチャが、時間的階層アクセスピクチャより前に符号化されたピクチャを参照することができるか否かということに基づいて、時間的階層アクセスピクチャを、第１時間的階層アクセスピクチャと、第２時間的階層アクセスピクチャとに分類する。前述のように、第１時間的階層アクセスピクチャは、時間的階層アクセスピクチャより後に符号化され、前記時間的階層アクセスピクチャと同一であるか、あるいはそれより上位の時間的サブ階層に属したピクチャが、前記時間的階層アクセスピクチャより前に符号化されたピクチャを参照するように許容する時間的階層アクセスピクチャを意味する。第２時間的階層アクセスピクチャは、時間的階層アクセスピクチャより後に符号化され、時間的階層アクセスピクチャと同一であるか、あるいはそれより上位の時間的サブ階層に属したピクチャが、時間的階層アクセスピクチャより前に符号化されたピクチャを参照するように許容しない時間的階層アクセスピクチャを意味する。
【０１６９】
段階２０３０で、多重化部１４２０は、時間的階層アクセスピクチャが含まれる伝送単位データに、第１時間的階層アクセスピクチャ及び第２時間的階層アクセスピクチャを識別するための類型シンタックス情報を付加する。前述のように、多重化部１４２０は、第１時間的階層アクセスピクチャ、第２時間的階層アクセスピクチャ、及び廃棄可能なピクチャの伝送のための固有のnal＿unit＿typeを有するＮＡＬ単位を利用することができる。
【０１７０】
図２１は、本発明の一実施形態による、時間的スケーラビリティのためのビデオ復号化装置の構成を示した図面である。図２１を参照すれば、一実施形態によるビデオ復号化装置２１００は、ビデオ復号化部２１１０、逆多重化部２１２０及び受信部２１１０を含む。
【０１７１】
受信部２１１０は、図１４のビデオ符号化装置１４００から伝送された伝送単位データ、すなわち、ＮＡＬ単位データを受信する。
【０１７２】
逆多重化部２１２０は、伝送単位データに含まれた識別子を介して、伝送単位データに含まれたピクチャの類型を判断することができる。前述のように、逆多重化部２１２０は、nal＿unit＿typeに基づいて、第１時間的階層アクセスピクチャ、第２時間的階層アクセスピクチャ、及び廃棄可能なピクチャを含むＮＡＬ単位を判別することができる。
【０１７３】
ビデオ復号化部２１３０は、図２の映像復号化装置２００、または図５の映像復号化装置５００に対応するものであり、ビデオ復号化部１９１０は、映像データ及び符号化されたデータを生成するのに利用された符号化単位に係わる分割情報、パーティションタイプ情報、予測モード情報、変換単位サイズ情報、符号化過程と係わるパラメタセット情報を獲得して受信されたピクチャに係わる復号化を行う。
【０１７４】
図２２は、一実施形態による、スケーラビリティを有するビデオ復号化方法を示したフローチャートである。図２２を参照すれば、段階２２１０で、受信部２１１０は、ピクチャシーケンスに含まれたピクチャを、時間的サブ階層に分割して符号化した伝送単位データを受信する。
【０１７５】
段階２２２０で、逆多重化部２１２０は、伝送単位データに含まれた類型シンタックス情報を利用して、下位時間的サブ階層から上位時間的サブ階層への時間的階層アップスイッチングのためにアクセスされる時間的階層アクセスピクチャを含む伝送単位データを識別する。
【０１７６】
本発明はまた、コンピュータで読み取り可能な記録媒体に、コンピュータで読み取り可能なコードとして具現することが可能である。コンピュータで読み取り可能な記録媒体は、コンピュータシステムによって読み取り可能なデータが保存される全種の記録装置を含む。コンピュータで読み取り可能な記録媒体の例としては、ＲＯＭ（read  only  memory）、ＲＡＭ（random  access  memory）、ＣＤ（compact  disc）−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光データ保存装置などが含まれる。また、コンピュータで読み取り可能な記録媒体は、ネットワークに連結されたコンピュータシステムに分散され、分散方式で、コンピュータで読み取り可能なコードでもって保存されて実行される。
【０１７７】
以上、本発明について、その望ましい実施形態を中心に説明した。本発明が属する技術分野で当業者であるならば、本発明が、本発明の本質的な特性から外れない範囲で変形された形態で具現されということを理解することができるであろう。本発明の範囲は、前述の説明ではなく、特許請求の範囲に示されており、それと同等な範囲内にある全ての差異は、本発明に含まれたものであると解釈されなければならないのである。
【図１】
2015526016.tif 000005
【図２】
2015526016.tif 000006
【図３】
2015526016.tif 000007
【図４】
2015526016.tif 000008
【図５】
2015526016.tif 000009
【図６】
2015526016.tif 000010
【図７】
2015526016.tif 000011
【図８】
2015526016.tif 000012
【図９】
2015526016.tif 000013
【図１０】
2015526016.tif 000014
【図１１】
2015526016.tif 000015
【図１２】
2015526016.tif 000016
【図１３】
2015526016.tif 000017
【図１４】
2015526016.tif 000018
【図１５】
2015526016.tif 000019
【図１６】
2015526016.tif 000020
【図１７】
2015526016.tif 000021
【図１８】
2015526016.tif 000022
【図１９】
2015526016.tif 000023
【図２０】
2015526016.tif 000024
【図２１】
2015526016.tif 000025
【図２２】
2015526016.tif 000026
【国際調査報告】
2015526016.tif 000027
2015526016.tif 000028
2015526016.tif 000029
2015526016.tif 000030
2015526016.tif 000031
2015526016.tif 000032