(57)【要約】  復号化器のバッファ管理のための映像符号化方法及び該装置、映像復号化方法及び該装置に係り、該映像符号化方法は、符号化された映像シーケンスの各映像フレームの符号化順序、各映像フレームが参照する参照フレームの符号化順序、各映像フレームの表示順序及び参照フレームの表示順序に基づいて、復号化器において、各映像フレームを復号化するのに必要なバッファの最大サイズ、及び再整列が必要な映像フレームの個数、映像シーケンスを構成する映像フレームのうち、符号化順序と表示順序との差が最大である映像フレームの遅延情報を決定し、バッファの最大サイズを示す第１シンタックス、再整列が必要な映像フレームの個数を示す第２シンタックス、及び遅延情報を示す第３シンタックスを、映像シーケンスの符号化に係わる情報の集合である必須シーケンスパラメータ集合に付加する。
2014533917.tif 000002
【特許請求の範囲】
【請求項１】
映像符号化方法において、
動き予測及び動き補償を行い、映像シーケンスを構成する各映像フレームの参照フレームを決定し、決定された参照フレームを利用して、各映像フレームを符号化する段階と、
前記各映像フレームの符号化順序、前記各映像フレームが参照する参照フレームの符号化順序、前記各映像フレームの表示順序、及び前記参照フレームの表示順序に基づいて、復号化器において、前記各映像フレームを復号化するのに必要なバッファの最大サイズ、及び再整列が必要な映像フレームの個数を決定する段階と、
前記再整列が必要な映像フレームの個数に基づいて、前記映像シーケンスを構成する映像フレームのうち、符号化順序と表示順序との差が最大である映像フレームの遅延情報を決定する段階と、
前記バッファの最大サイズを示す第１シンタックス、前記再整列が必要な映像フレームの個数を示す第２シンタックス、及び前記遅延情報を示す第３シンタックスを、前記映像シーケンスの符号化に係わる情報の集合である必須シーケンスパラメータ集合に付加する段階と、を含むことを特徴とする映像符号化方法。
【請求項２】
前記第１シンタックスは、
前記各映像フレームの符号化順序、及び各映像フレームが参照する参照フレームの符号化順序に基づいて獲得された最大復号フレームバッファリング・シンタックス（ｍａｘ＿ｄｅｃ＿frame＿buffering）であることを特徴とする請求項１に記載の映像符号化方法。
【請求項３】
前記第２シンタックスは、
前記映像シーケンスの映像フレームのうち符号化順序上、先に符号化され、その後符号化される映像フレームより、表示順序上後に表示される映像フレームの最大個数に基づいて獲得されたシンタックス（ｎｕｍ＿reorder＿frames）であることを特徴とする請求項１に記載の映像符号化方法。
【請求項４】
前記第３シンタックスは、
前記映像シーケンスを構成する映像フレームのうち、符号化順序と表示順序との差の最大値（MaxLatencyFrames）と、前記第２シンタックス（ｎｕｍ＿reorder＿frames）との差値を利用して獲得されるシンタックス（ｍａｘ＿latency＿increase）であることを特徴とする請求項１に記載の映像符号化方法。
【請求項５】
映像符号化装置において、
動き予測及び動き補償を行い、映像シーケンスを構成する各映像フレームの参照フレームを決定し、決定された参照フレームを利用して、各映像フレームを符号化する符号化部と、
前記各映像フレームの符号化順序、前記各映像フレームが参照する参照フレームの符号化順序、前記各映像フレームの表示順序、及び前記参照フレームの表示順序に基づいて、復号化器において、前記各映像フレームを復号化するのに必要なバッファの最大サイズ、及び再整列が必要な映像フレームの個数を決定し、前記再整列が必要な映像フレームの個数に基づいて、前記映像シーケンスを構成する映像フレームのうち、符号化順序と表示順序との差が最大である映像フレームの遅延情報を決定し、前記バッファの最大サイズを示す第１シンタックス、前記再整列が必要な映像フレームの個数を示す第２シンタックス、及び前記遅延情報を示す第３シンタックスを、前記映像シーケンスの符号化に係わる情報の集合である必須シーケンスパラメータ集合に付加してビットストリームを生成する出力部を含むことを特徴とする映像符号化装置。
【請求項６】
映像復号化方法において、
ビットストリームから、映像シーケンスを構成する各映像フレームを復号化するのに必要なバッファの最大サイズを示す第１シンタックス、その後復号化される映像フレームより後に表示され、再整列が必要な映像フレームの個数を示す第２シンタックス、及び前記映像シーケンスを構成する映像フレームのうち、復号化順序と表示順序との差が最大である映像フレームの遅延情報を示す第３シンタックスを獲得する段階と、
前記第１シンタックスを利用して、前記復号化器において、前記映像シーケンスを復号化するのに必要なバッファの最大サイズを設定する段階と、
前記ビットストリームから、前記映像フレームを符号化した符号化されたデータを獲得し、獲得された符号化されたデータを復号化し、復号化された映像フレームを獲得する段階と、
前記復号化された映像フレームを、前記復号化器のバッファに保存する段階と、
前記第２シンタックス及び第３シンタックスを利用して、前記復号化器のバッファに保存された映像フレームの出力いかんを決定する段階と、を含み、
前記第１シンタックス、第２シンタックス及び第３シンタックスは、前記映像シーケンスの符号化に係わる情報の集合である必須シーケンスパラメータ集合に含まれたことを特徴とする映像復号化方法。
【請求項７】
前記バッファは、参照フレームの保存、映像フレームの表示順序の転換及び映像フレームの出力のために復号化された映像フレームを保存する復号ピクチャバッファ（ＤＰＢ）であることを特徴とする請求項６に記載の映像復号化方法。
【請求項８】
前記第１シンタックスは、
前記各映像フレームの復号化順序、及び各映像フレームが参照する参照フレームの復号化順序に基づいて獲得された最大復号フレームバッファリング・シンタックス（ｍａｘ＿ｄｅｃ＿frame＿buffering）であることを特徴とする請求項６に記載の映像復号化方法。
【請求項９】
前記第２シンタックスは、
前記映像シーケンスの映像フレームのうち、復号化順序上先に復号化され、その後復号化される映像フレームより表示順序上後に表示される映像フレームの最大個数を利用して獲得されたシンタックス（ｎｕｍ＿reorder＿frames）であることを特徴とする請求項６に記載の映像復号化方法。
【請求項１０】
前記第３シンタックスは、
前記映像シーケンスを構成する映像フレームのうち、復号化順序と表示順序との差の最大値（MaxLatencyFrames）と、前記第２シンタックス（ｎｕｍ＿reorder＿frames）との差値を利用して獲得されたシンタックス（ｍａｘ＿latency＿increase）であることを特徴とする請求項６に記載の映像復号化方法。
【請求項１１】
映像復号化装置において、
ビットストリームから、映像シーケンスを構成する各映像フレームを復号化するのに必要なバッファの最大サイズを示す第１シンタックス、その後復号化される映像フレームより後に表示され、再整列が必要な映像フレームの個数を示す第２シンタックス、及び前記映像シーケンスを構成する映像フレームのうち、復号化順序と表示順序との差が最大である映像フレームの遅延情報を示す第３シンタックスと、前記映像フレームとを符号化した符号化されたデータを獲得する映像データ及び符号化情報抽出部と、
前記符号化されたデータを復号化し、復号化された映像フレームを獲得する復号化部と、
前記復号化された映像フレームを保存するバッファと、を含み、
前記バッファは、前記第１シンタックスを利用して、前記映像シーケンスを復号化するのに必要なバッファの最大サイズを設定し、前記第２シンタックス及び第３シンタックスを利用して、保存された映像フレームの出力いかんを決定し、
前記第１シンタックス、第２シンタックス及び第３シンタックスは、前記映像シーケンスの符号化に係わる情報の集合である必須シーケンスパラメータ集合に含まれたことを特徴とする映像復号化装置。
【請求項１２】
前記バッファは、参照フレームの保存、映像フレームの表示順序の転換及び映像フレームの出力のために復号化された映像フレームを保存する復号ピクチャバッファ（ＤＰＢ）であることを特徴とする請求項１１に記載の映像復号化装置。
【請求項１３】
前記第１シンタックスは、
前記各映像フレームの復号化順序、及び各映像フレームが参照する参照フレームの復号化順序に基づいて獲得された最大復号フレームバッファリング・シンタックス（ｍａｘ＿ｄｅｃ＿frame＿buffering）であることを特徴とする請求項１１に記載の映像復号化装置。
【請求項１４】
前記第２シンタックスは、
前記映像シーケンスの映像フレームのうち、復号化順序上先に復号化され、その後復号化される映像フレームより表示順序上後に表示される映像フレームの最大個数を利用して獲得されたシンタックス（ｎｕｍ＿reorder＿frames）であることを特徴とする請求項１１に記載の映像復号化装置。
【請求項１５】
前記第３シンタックスは、
前記映像シーケンスを構成する映像フレームのうち、復号化順序と表示順序との差の最大値（MaxLatencyFrames）と、前記第２シンタックス（ｎｕｍ＿reorder＿frames）との差値を利用して獲得されたシンタックス（ｍａｘ＿latency＿increase）であることを特徴とする請求項１１に記載の映像復号化装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像の符号化方法、復号化方法及び該装置に係り、さらに具体的には、復号化されたピクチャを保存する復号ピクチャバッファ（decoded  picture  buffer、以下、「ＤＰＢ」とする）の制御及び管理のための情報を効率的に符号化する方法及び該装置、該復号化する方法及び該装置に関する。
【背景技術】
【０００２】
ＩＴＵ−Ｔ  Ｈ．２６１、ＩＳＯ／ＩＥＣ  ＭＰＥＧ−１  Visual、ＩＴＵ−Ｔ  Ｈ．２６２（ＩＳＯ／ＩＥＣ  ＭＰＥＧ−２  Visual）、ＩＴＵ−Ｔ  Ｈ．２６４、ＩＳＯ／ＩＥＣ  ＭＰＥＧ−４  Visual及びＩＴＵ−Ｔ  Ｈ．２６４（ＩＳＯ／ＩＥＣ  ＭＰＥＧ−４  ＡＶＣ）のようなビデオコーデックでは、インター予測またはイントラ予測を介して、マクロブロックを予測符号化し、符号化された映像データを、各ビデオコーデックで規定された所定フォーマットによってビットストリームを生成して出力する。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
本発明が解決しようとする技術的課題は、復号化器のバッファ制御及び該管理のための情報を効率的に符号化する映像符号化方法及び該装置、バッファ制御及び該管理のための情報を利用して、バッファを効率的に管理する映像復号化方法及び該装置を提供するためのものである。
【課題を解決するための手段】
【０００４】
本発明の実施形態によれば、映像シーケンスに含まれたピクチャの復号化に必要なバッファサイズ情報をビットストリームに必須的に付加して伝送し、復号化器は、バッファサイズ情報を利用して、必要なほどのバッファサイズを割り当てて復号化を行うようにする。
【０００５】
また、本発明の実施形態によれば、バッファに保存されたピクチャの出力時点を決定するための情報をビットストリームに必須的に付加して伝送する。
【発明の効果】
【０００６】
本発明の実施形態によれば、映像シーケンスに含まれたピクチャの復号化に必要なバッファサイズ情報をビットストリームに必須的に付加して伝送し、復号化器は、バッファサイズ情報を利用して、必要なほどのバッファサイズを割り当てて復号化を行うようにすることにより、復号化器のシステム資源の浪費を防止することができる。また、本発明の実施形態によれば、バッファに保存されたピクチャの出力時点を決定するための情報をビットストリームに必須的に付加して伝送し、復号化器は、バッファに保存された復号化されたピクチャの出力時点を決定するための情報を利用して、先に復号化された映像フレームの出力いかんをあらかじめ決定することができ、これにより、復号化された映像フレームの出力遅延（output  latency）を防止することができる。
【図面の簡単な説明】
【０００７】
【図１】本発明の一実施形態によるビデオ符号化装置のブロック図である。
【図２】本発明の一実施形態によるビデオ復号化装置のブロック図である。
【図３】本発明の一実施形態による符号化単位の概念を図示する図面である。
【図４】本発明の一実施形態による符号化単位に基づいた映像符号化部のブロック図である。
【図５】本発明の一実施形態による符号化単位に基づいた映像復号化部のブロック図である。
【図６】本発明の一実施形態による深度別符号化単位及びパーティションを図示する図面である。
【図７】本発明の一実施形態による、符号化単位及び変換単位の関係を図示する図面である。
【図８】本発明の一実施形態による、深度別符号化情報を図示する図面である。
【図９】本発明の一実施形態による深度別符号化単位を図示する図面である。
【図１０】本発明の一実施形態による、符号化単位、予測単位及び周波数変換単位の関係を図示する図面である。
【図１１】本発明の一実施形態による、符号化単位、予測単位及び周波数変換単位の関係を図示する図面である。
【図１２】本発明の一実施形態による、符号化単位、予測単位及び周波数変換単位の関係を図示する図面である。
【図１３】表１の符号化モード情報による符号化単位、予測単位及び変換単位の関係を図示する図面である。
【図１４】本発明の一実施形態による映像符号化過程及び復号化過程を階層的に分類した図面である。
【図１５】本発明の一実施形態によるＮＡＬ単位構成を示した図面である。
【図１６Ａ】映像シーケンスの符号化過程で、復号化順序によって必要なＤＰＢの最大サイズ情報について説明するための参照図である。
【図１６Ｂ】映像シーケンスの符号化過程で、復号化順序によって必要なＤＰＢの最大サイズ情報について説明するための参照図である。
【図１７】本発明に係わるビデオコーデック分野で、バンピング過程によってＤＰＢから復号化されたピクチャが出力される過程を示した図面である。
【図１８】本発明の一実施形態による、最大遅延フレーム・シンタックス（MaxLatencyFrames）を利用して、ＤＰＢで復号化されたピクチャを出力する過程について説明する図面である。
【図１９Ａ】本発明の一実施形態による、最大遅延フレーム・シンタックス（MaxLatencyFrames）及び再整列フレーム個数シンタックス（ｎｕｍ＿reorder＿frames）について説明するための図面である。
【図１９Ｂ】本発明の一実施形態による、最大遅延フレーム・シンタックス（MaxLatencyFrames）及び再整列フレーム個数シンタックス（ｎｕｍ＿reorder＿frames）について説明するための図面である。
【図１９Ｃ】本発明の一実施形態による、最大遅延フレーム・シンタックス（MaxLatencyFrames）及び再整列フレーム個数シンタックス（ｎｕｍ＿reorder＿frames）について説明するための図面である。
【図１９Ｄ】本発明の一実施形態による、最大遅延フレーム・シンタックス（MaxLatencyFrames）及び再整列フレーム個数シンタックス（ｎｕｍ＿reorder＿frames）について説明するための図面である。
【図２０】本発明の一実施形態による映像符号化方法を示したフローチャートである。
【図２１】本発明の一実施形態による映像復号化方法を示したフローチャートである。
【発明を実施するための形態】
【０００８】
本発明の一実施形態による映像符号化方法は、動き予測及び動き補償を行い、映像シーケンスを構成する各映像フレームの参照フレームを決定し、決定された参照フレームを利用して、各映像フレームを符号化する段階と、前記各映像フレームの符号化順序、前記各映像フレームが参照する参照フレームの符号化順序、前記各映像フレームの表示順序、及び前記参照フレームの表示順序に基づいて、復号化器において、前記各映像フレームを復号化するのに必要なバッファの最大サイズ、及び再整列が必要な映像フレームの個数を決定する段階と、前記再整列が必要な映像フレームの個数に基づいて、前記映像シーケンスを構成する映像フレームのうち、符号化順序と表示順序との差が最大である映像フレームの遅延（latency）情報を決定する段階と、前記バッファの最大サイズを示す第１シンタックス、前記再整列が必要な映像フレームの個数を示す第２シンタックス、及び前記遅延情報を示す第３シンタックスを、前記映像シーケンスの符号化に係わる情報の集合である必須シーケンスパラメータ集合に付加する段階と、を含むことを特徴とする。
【０００９】
本発明の一実施形態による映像符号化装置は、動き予測及び動き補償を行い、映像シーケンスを構成する各映像フレームの参照フレームを決定し、決定された参照フレームを利用して、各映像フレームを符号化する符号化部；及び前記各映像フレームの符号化順序、前記各映像フレームが参照する参照フレームの符号化順序、前記各映像フレームの表示順序、及び前記参照フレームの表示順序に基づいて、復号化器において、前記各映像フレームを復号化するのに必要なバッファの最大サイズ、及び再整列が必要な映像フレームの個数を決定し、前記再整列が必要な映像フレームの個数に基づいて、前記映像シーケンスを構成する映像フレームのうち、符号化順序と表示順序との差が最大である映像フレームの遅延情報を決定し、前記バッファの最大サイズを示す第１シンタックス、前記再整列が必要な映像フレームの個数を示す第２シンタックス、及び前記遅延情報を示す第３シンタックスを、前記映像シーケンスの符号化に係わる情報の集合である必須シーケンスパラメータ集合に付加してビットストリームを生成する出力部；を含むことを特徴とする。
【００１０】
本発明の一実施形態による映像復号化方法は、ビットストリームから、映像シーケンスを構成する各映像フレームを復号化するのに必要なバッファの最大サイズを示す第１シンタックス、その後復号化される映像フレームより後に表示され、再整列が必要な映像フレームの個数を示す第２シンタックス、及び前記映像シーケンスを構成する映像フレームのうち、復号化順序と表示順序との差が最大である映像フレームの遅延情報を示す第３シンタックスを獲得する段階と、前記第１シンタックスを利用して、前記復号化器において、前記映像シーケンスを復号化するのに必要なバッファの最大サイズを設定する段階と、前記ビットストリームから、前記映像フレームを符号化した符号化されたデータを獲得し、獲得された符号化されたデータを復号化し、復号化された映像フレームを獲得する段階と、前記復号化された映像フレームを、前記復号化器のバッファに保存する段階と、前記第２シンタックス及び第３シンタックスを利用して、前記復号化器のバッファに保存された映像フレームの出力いかんを決定する段階と、を含み、前記第１シンタックス、第２シンタックス及び第３シンタックスは、前記映像シーケンスの符号化に係わる情報の集合である必須シーケンスパラメータ集合に含まれたことを特徴とする。
【００１１】
本発明の一実施形態による映像復号化装置は、ビットストリームから、映像シーケンスを構成する各映像フレームを復号化するのに必要なバッファの最大サイズを示す第１シンタックス、その後復号化される映像フレームより後に表示され、再整列が必要な映像フレームの個数を示す第２シンタックス、及び前記映像シーケンスを構成する映像フレームのうち、復号化順序と表示順序との差が最大である映像フレームの遅延情報を示す第３シンタックスと、前記映像フレームとを符号化した符号化されたデータを獲得する映像データ及び符号化情報抽出部；前記符号化されたデータを復号化し、復号化された映像フレームを獲得する復号化部；前記復号化された映像フレームを保存するバッファ；を含み、前記バッファは、前記第１シンタックスを利用して、前記映像シーケンスを復号化するのに必要なバッファの最大サイズを設定し、前記第２シンタックス及び第３シンタックスを利用して、保存された映像フレームの出力いかんを決定し、前記第１シンタックス、第２シンタックス及び第３シンタックスは、前記映像シーケンスの符号化に係わる情報の集合である必須シーケンスパラメータ集合に含まれたことを特徴とする。
【００１２】
以下、添付された図面を参照しつつ、本発明の望ましい実施形態について具体的に説明する。本発明について説明するにあたり、映像は、静止映像、動画を含み、ビデオとも呼ぶ。また、本発明について説明するにあたり、映像フレームは、ピクチャとも呼ぶ。
【００１３】
図１は、本発明の一実施形態によるビデオ符号化装置のブロック図を図示している。一実施形態によるビデオ符号化装置１００は、最大符号化単位分割部１１０、符号化単位決定部１２０及び出力部１３０を含む。
【００１４】
最大符号化単位分割部１１０は、映像の現在ピクチャのための最大サイズの符号化単位である最大符号化単位に基づいて、現在ピクチャを区画することができる。現在ピクチャが、最大符号化単位より大きければ、現在ピクチャの映像データは、少なくとも１つの最大符号化単位に分割される。一実施形態による最大符号化単位は、サイズ３２ｘ３２，６４ｘ６４，１２８ｘ１２８，２５６ｘ２５６などのデータ単位であり、縦横サイズが８より大きい２の累乗である正方形のデータ単位でもある。映像データは、少なくとも１つの最大符号化単位別に符号化単位決定部１２０に出力される。
【００１５】
一実施形態による符号化単位は、最大サイズ及び深度で特徴づけられる。深度とは、最大符号化単位から、符号化単位が空間的に分割された回数を示し、深度が深くなるほど、深度別符号化単位は、最大符号化単位から最小符号化単位まで分割される。最大符号化単位の深度が最上位深度であり、最小符号化単位が最下位符号化単位と定義される。最大符号化単位は、深度が深くなるにつれ、深度別符号化単位の大きさは小さくなるので、上位深度の符号化単位は、複数個の下位深度の符号化単位を含む。
【００１６】
前述のように、符号化単位の最大サイズによって、現在ピクチャの映像データを最大符号化単位に分割し、それぞれの最大符号化単位は、深度別に分割される符号化単位を含む。一実施形態による最大符号化単位は、深度別に分割されるので、最大符号化単位に含まれた空間領域（spatial  domain）の映像データが深度によって階層的に分類される。
【００１７】
最大符号化単位の高さ及び幅を階層的に分割することができる総回数を制限する最大深度及び符号化単位の最大サイズが、あらかじめ設定されている。
【００１８】
符号化単位決定部１２０は、深度ごとに、最大符号化単位の領域が分割された少なくとも１つの分割領域を符号化し、少なくとも１つの分割領域別に最終符号化結果が出力される深度を決定する。すなわち、符号化単位決定部１２０は、現在ピクチャの最大符号化単位ごとに、深度別符号化単位で映像データを符号化し、最小の符号化誤差が発生する深度を選択して符号化深度として決定する。決定された符号化深度及び最大符号化単位別映像データは、出力部１３０に出力される。
【００１９】
最大符号化単位内の映像データは、最大深度以下の少なくとも１つの深度によって、深度別符号化単位に基づいて符号化され、それぞれの深度別符号化単位に基づいた符号化結果が比較される。深度別符号化単位の符号化誤差の比較結果、符号化誤差が最小である深度が選択される。それぞれの最大化符号化単位ごとに、少なくとも１つの符号化深度が決定される。
【００２０】
最大符号化単位の大きさは、深度が深くなるにつれ、符号化単位が階層的に分割されて分割され、符号化単位の個数は増加する。また、１つの最大符号化単位に含まれる同一深度の符号化単位であるとしても、それぞれのデータに係わる符号化誤差を測定し、下位深度への分割いかんが決定される。従って、１つの最大符号化単位に含まれるデータであるとしても、位置によって、深度別符号化誤差が異なるので、位置によって、符号化深度が異なって決定される。従って、１つの最大符号化単位に対して、符号化深度が一つ以上設定されもし、最大符号化単位のデータは、一つ以上の符号化深度の符号化単位によって区画される。
【００２１】
従って、一実施形態による符号化単位決定部１２０は、現在最大符号化単位に含まれるツリー構造による符号化単位が決定される。一実施形態による「ツリー構造による符号化単位」は、現在最大符号化単位に含まれる全ての深度別符号化単位において、符号化深度として決定された深度の符号化単位を含む。符号化深度の符号化単位は、最大符号化単位内で、同一領域では、深度によって階層的に決定され、他の領域については、独立して決定される。同様に、現在領域に係わる符号化深度は、他の領域に係わる符号化深度と独立して決定される。
【００２２】
一実施形態による最大深度は、最大符号化単位から最小符号化単位までの分割回数に係わる指標である。一実施形態による第１最大深度は、最大符号化単位から最小符号化単位までの全分割回数を示す。一実施形態による第２最大深度は、最大符号化単位から最小符号化単位までの深度レベルの総個数を示す。例えば、最大符号化単位の深度が０であるとするとき、最大符号化単位が１回分割された符号化単位の深度は、１に設定され、２回分割された符号化単位の深度は、２に設定される。その場合、最大符号化単位から４回分割された符号化単位が最小符号化単位であるならば、深度０，１，２，３及び４の深度レベルが存在するので、第１最大深度は、４、第２最大深度は、５に設定される。
【００２３】
最大符号化単位の予測符号化及び周波数変換が行われもする。予測符号化及び周波数変換も同様に、最大符号化単位ごとに、最大深度以下の深度ごとに、深度別符号化単位を基にして行われる。
【００２４】
最大符号化単位が深度別に分割されるたびに、深度別符号化単位の個数が増加するので、深度が深くなるにつれて生成される全ての深度別符号化単位に対して、予測符号化及び周波数変換を含んだ符号化が行われなければならない。以下、説明の便宜のために、少なくとも１つの最大符号化単位のうち現在深度の符号化単位を基にして、予測符号化及び周波数変換について説明する。
【００２５】
一実施形態によるビデオ符号化装置１００は、映像データの符号化のためのデータ単位サイズまたは該形態を多様に選択することができる。映像データの符号化のためには、予測符号化、周波数変換、エントピー符号化などの段階を経るが、全ての段階にわたって同一データ単位が使用されもし、段階別にデータ単位が変更されもする。
【００２６】
例えば、ビデオ符号化装置１００は、映像データの符号化のための符号化単位だけでなく、符号化単位の映像データの予測符号化を行うために、符号化単位と異なるデータ単位を選択することができる。
【００２７】
最大符号化単位の予測符号化のためには、一実施形態による符号化深度の符号化単位、すなわち、それ以上分割されない符号化単位を基に予測符号化が行われる。以下、予測符号化の基盤になるそれ以上分割されない符号化単位を「予測単位」と呼ぶ。予測単位が分割されたパーティションは、予測単位及び予測単位の高さ及び幅のうち少なくとも一つが分割されたデータ単位を含む。
【００２８】
例えば、サイズ２Ｎｘ２Ｎ（ただし、Ｎは、正の整数）の符号化単位が、それ以上分割されない場合、サイズ２Ｎｘ２Ｎの予測単位になり、パーティションの大きさは、２Ｎｘ２Ｎ、２ＮｘＮ、Ｎｘ２Ｎ、ＮｘＮなどでもある。一実施形態によるパーティションタイプは、予測単位の高さまたは幅が対称的な比率に分割された対称的パーティションだけではなく、１：ｎまたはｎ：１のように、非対称的な比率に分割されたパーティション、幾何学的な形態に分割されたパーティション、任意的形態のパーティションなどを選択的に含んでもよい。
【００２９】
予測単位の予測モードは、イントラモード、インターモード及びスキップモードのうち少なくとも一つでもある。例えば、イントラモード及びインターモードは、２Ｎｘ２Ｎ，２ＮｘＮ，Ｎｘ２Ｎ，ＮｘＮサイズのパーティションに対して遂行される。また、スキップモードは、２Ｎｘ２Ｎサイズのパーティションに対してのみ遂行される。符号化単位以内の１つの予測単位ごとに、独立して符号化が行われ、符号化誤差が最小である予測モードが選択される。
【００３０】
また、一実施形態によるビデオ符号化装置１００は、映像データの符号化のための符号化単位だけでなく、符号化単位と異なるデータ単位を基に符、号化単位の映像データの周波数変換を行うことができる。
【００３１】
符号化単位の周波数変換のためには、符号化単位より小さいか、あるいはそれと同じ大きさのデータ単位を基に周波数変換が行われる。例えば、周波数変換のためのデータ単位は、イントラモードのためのデータ単位及びインターモードのためのデータ単位を含む。
【００３２】
以下、周波数変換の基盤になるデータ単位は、「変換単位」と呼ぶ。符号化単位と類似した方式で、符号化単位内の変換単位も、再帰的にさらに小サイズの変換単位に分割されながら、符号化単位の残差データが、変換深度によって、ツリー構造による変換単位によって区画される。
【００３３】
一実施形態による変換単位にについても、符号化単位の高さ及び幅が分割され、変換単位に至るまでの分割回数を示す変換深度が設定される。例えば、サイズ２Ｎｘ２Ｎの現在符号化単位の変換単位の大きさが、２Ｎｘ２Ｎであるならば、変換深度０、変換単位の大きさが、ＮｘＮであるならば、変換深度１、変換単位の大きさが、Ｎ／２ｘＮ／２であるならば、変換深度２に設定される。すなわち、変換単位についても、変換深度によって、ツリー構造による変換単位が設定される。
【００３４】
符号化深度別符号化情報は、符号化深度だけではなく、予測関連情報及び周波数変換関連情報が必要である。従って、符号化単位決定部１２０は、最小符号化誤差を発生させた符号化深度だけではなく、予測単位をパーティションに分割したパーティションタイプ、予測単位別予測モード、周波数変換のための変換単位の大きさなどを決定することができる。
【００３５】
一実施形態による最大符号化単位のツリー構造による符号化単位及びパーティションの決定方式については、図３ないし図１２を参照して詳細に後述する。
【００３６】
符号化単位決定部１２０は、深度別符号化単位の符号化誤差を、ラグランジュ乗数（Lagrangian  multiplier）基盤の率・歪曲最適化技法（rate-distortion  optimization）を利用して、測定することができる。
【００３７】
出力部１３０は、符号化単位決定部１２０で決定された少なくとも１つの符号化深度に基づいて、符号化された最大符号化単位の映像データ及び深度別符号化モードについての情報をビットストリーム状に出力する。
【００３８】
符号化された映像データは、映像の残差データの符号化結果でもある。
【００３９】
深度別符号化モードについての情報は、符号化深度情報、予測単位のパーティションタイプ情報、予測モード情報、変換単位のサイズ情報などを含む。
【００４０】
符号化深度情報は、現在深度で符号化せず、下位深度の符号化単位で符号化するか否かということを示す深度別分割情報を利用して定義される。現在符号化単位の現在深度が符号化深度であるならば、現在符号化単位は、現在深度の符号化単位で符号化されるので、現在深度の分割情報は、それ以上下位深度に分割されないように定義される。一方、現在符号化単位の現在深度が、符号化深度ではないならば、下位深度の符号化単位を利用した符号化を試みなければならないので、現在深度の分割情報は、下位深度の符号化単位に分割されるように定義される。
【００４１】
現在深度が符号化深度ではないならば、下位深度の符号化単位に分割された符号化単位に対して符号化が行われる。現在深度の符号化単位内に、下位深度の符号化単位が一つ以上存在するので、それぞれの下位深度の符号化単位ごとに、反復的に符号化が行われ、同一深度の符号化単位ごとに、再帰的（recursive）符号化が行われる。
【００４２】
１つの最大符号化単位内に、ツリー構造の符号化単位が決定され、符号化深度の符号化単位ごとに、少なくとも１つの符号化モードについての情報が決定されなければならないので、１つの最大符号化単位については、少なくとも１つの符号化モードについての情報が決定される。また、最大符号化単位のデータは、深度によって階層的に区画され、位置別に符号化深度が異なりうる、データに対して、符号化深度及び符号化モードについての情報が設定される。
【００４３】
従って、一実施形態による出力部１３０は、最大符号化単位に含まれている符号化単位、予測単位及び最小単位のうち少なくとも一つについて、当該符号化深度及び符号化モードに係わる符号化情報を割り当てられる。
【００４４】
一実施形態による最小単位は、最下位符号化深度である最小符号化単位が４分割されたサイズの正方形のデータ単位であり、最大符号化単位に含まれる全ての符号化単位、予測単位及び変換単位内に含まれる最大サイズの正方形データ単位でもある。
【００４５】
例えば、出力部１３０を介して出力される符号化情報は、深度別符号化単位別符号化情報と、予測単位別符号化情報とに分類される。深度別符号化単位別符号化情報は、予測モード情報、パーティションサイズ情報を含む。予測単位別に伝送される符号化情報は、インターモードの推定方向についての情報、インターモードの参照映像インデックスについての情報、動きベクトルについての情報、イントラモードのクロマ成分についての情報、イントラモードの補間方式についての情報などを含む。また、ピクチャ、スライスまたはＧＯＰ（group  of  pictures）別に定義される符号化単位の最大サイズについての情報、及び最大深度についての情報は、ビットストリームのヘッダに挿入される。
【００４６】
最大符号化単位分割部１１０及び符号化単位決定部１２０は、映像シーケンスの各映像フレームに対して、符号化単位別に動き予測及び動き補償を行い、映像シーケンスを構成する各映像フレームの参照フレームを決定し、決定された参照フレームを利用して、各映像フレームを符号化するビデオ符号化階層（video  coding  layer）に該当する。
【００４７】
また、後述するように出力部１３０は、復号化器において、映像フレームを復号化するのに必要なバッファの最大サイズを示すシンタックス（ｍａｘ＿ｄｅｃ＿frame＿buffering）、再整列が必要な映像フレームの個数を示すシンタックス（ｎｕｍ＿reorder＿frames）、及び映像シーケンスを構成する映像フレームのうち、符号化順序と表示順序との差が最大である映像フレームの遅延（latency）情報を示すシンタックス（ｍａｘ＿latency＿increase）を、ネットワーク抽象階層（network  abstraction  layer、以下「ＮＡＬ」とする）単位にマッピングし、ビットストリームを生成する。
【００４８】
ビデオ符号化装置１００の最も簡単な形態の実施形態によれば、深度別符号化単位は、１階層上位深度の符号化単位の高さ及び幅を半分にした大きさの符号化単位である。すなわち、現在深度の符号化単位の大きさが２Ｎｘ２Ｎであるならば、下位深度の符号化単位の大きさは、ＮｘＮである。また、２Ｎｘ２Ｎサイズの現在符号化単位は、ＮｘＮサイズの下位深度符号化単位を最大４個含む。
【００４９】
従って、一実施形態によるビデオ符号化装置１００は、現在ピクチャの特性を考慮して決定された最大符号化単位の大きさ及び最大深度を基に、それぞれの最大符号化単位ごとに、最適の形態及び大きさの符号化単位を決定し、ツリー構造による符号化単位を構成することができる。また、それぞれの最大符号化単位ごとに、多様な予測モード、周波数変換方式などで符号化することができるので、多様な映像サイズの符号化単位の映像特性を考慮し、最適の符号化モードが決定される。
【００５０】
従って、映像の解像度が非常に高いか、あるいはデータ量が非常に多い映像を既存マクロブロック単位に符号化するとするなら、ピクチャ当たりマクロブロックの数が過度に多くなる。それにより、マクロブロックごとに生成される圧縮情報も多くなるので、圧縮情報の伝送負担が大きくなっり、ータ圧縮効率が低下するという傾向がある。従って、一実施形態によるビデオ符号化装置は、映像の大きさを考慮し、符号化単位の最大サイズを増大させながら、映像特性を考慮して、符号化単位を調節することができるので、映像圧縮効率が向上する。
【００５１】
図２は、本発明の一実施形態によるビデオ復号化装置のブロック図を図示している。一実施形態によるビデオ復号化装置２００は、受信部２１０、映像データ及び符号化情報抽出部２２０及び映像データ復号化部２３０を含む。一実施形態によるビデオ復号化装置２００の各種プロセシングのための符号化単位、深度、予測単位、変換単位、各種符号化モードについての情報など各種用語の定義は、図１及びビデオ符号化装置１００を参照して説明したところと同一である。
【００５２】
受信部２１０は、符号化されたビデオに係わるビットストリームを受信してパージング（parsing）する。映像データ及び符号化情報抽出部２２０は、パージングされたビットストリームから、最大符号化単位別に、ツリー構造による符号化単位によって、符号化単位ごとに符号化された映像データを抽出し、映像データ復号化部２３０に出力する。映像データ及び符号化情報抽出部２２０は、現在ピクチャに係わるヘッダから、現在ピクチャの符号化単位の最大サイズについての情報を抽出することができる。
【００５３】
また、映像データ及び符号化情報抽出部２２０は、パージングされたビットストリームから、最大符号化単位別に、ツリー構造による符号化単位に係わる符号化深度及び符号化モードについての情報を抽出する。抽出された符号化深度及び符号化モードについての情報は、映像データ復号化部２３０に出力される。すなわち、ビット列の映像データを最大符号化単位に分割し、映像データ復号化部２３０が最大符号化単位ごとに映像データを復号化する。
【００５４】
最大符号化単位別符号化深度及び符号化モードについての情報は、一つ以上の符号化深度情報について設定され、符号化深度別符号化モードについての情報は、当該符号化単位のパーティションタイプ情報、予測モード情報及び変換単位のサイズ情報などを含む。また、符号化深度情報として、深度別分割情報が抽出されもする。
【００５５】
映像データ及び符号化情報抽出部２２０が抽出した最大符号化単位別符号化深度及び符号化モードについての情報は、一実施形態によるビデオ符号化装置１００のように、符号化端で、最大符号化単位別深度別符号化単位ごとに反復的に符号化を行い、最小符号化誤差を発生させると決定された符号化深度及び符号化モードについての情報である。従って、ビデオ復号化装置２００は、最小符号化誤差を発生させる符号化方式によってデータを復号化し、映像を復元することができる。
【００５６】
一実施形態による符号化深度及び符号化モードに係わる符号化情報は、当該符号化単位、当該予測単位及び当該最小単位のうち、所定データ単位について割り当てられているので、映像データ及び符号化情報抽出部２２０は、所定データ単位別に、符号化深度及び符号化モードについての情報を抽出することができる。所定データ単位別に、当該最大符号化単位の符号化深度及び符号化モードについての情報が記録されているとするならば、同一符号化深度及び符号化モードについての情報を有している所定データ単位は、同一最大符号化単位に含まれるデータ単位と類推される。
【００５７】
映像データ復号化部２３０は、最大符号化単位別符号化深度及び符号化モードについての情報に基づいて、それぞれの最大符号化単位の映像データを復号化し、現在ピクチャを復元する。すなわち、映像データ復号化部２３０は、最大符号化単位に含まれるツリー構造による符号化単位のうちそれぞれの符号化単位ごとに、読み取られたパーティションタイプ、予測モード、変換単位に基づいて、符号化された映像データを復号化することができる。復号化過程は、イントラ予測及び動き補償を含む予測過程、及び周波数逆変換過程を含む。
【００５８】
映像データ復号化部２３０は、符号化深度別符号化単位の予測単位のパーティションタイプ情報及び予測モード情報に基づいて、符号化単位ごとに、それぞれのパーティション及び予測モードによって、イントラ予測または動き補償を行うことができる。
【００５９】
また、映像データ復号化部２３０は、最大符号化単位別周波数逆変換のために、符号化深度別符号化単位の変換単位のサイズ情報に基づいて、符号化単位ごとに、それぞれの変換単位によって、周波数逆変換を行うことができる。
【００６０】
映像データ復号化部２３０は、深度別分割情報を利用して、現在最大符号化単位の符号化深度を決定することができる。もし分割情報が現在深度であり、それ以上分割されないということを示しているのであるならば、現在深度が符号化深度である。従って、映像データ復号化部２３０は、現在最大符号化単位の映像データについて、現在深度の符号化単位を、予測単位のパーティションタイプ、予測モード及び変換単位サイズ情報を利用して復号化することができる。
【００６１】
すなわち、符号化単位、予測単位及び最小単位のうち所定データ単位に対して設定されている符号化情報を観察し、同一分割情報を含んだ符号化情報を保有しているデータ単位が集まり、映像データ復号化部２３０によって、同一符号化モードで復号化する１つのデータ単位と見なされる。
【００６２】
また、受信部２１０及び映像データ及び符号化情報抽出部２２０は、復号化器において、映像フレームを復号化するのに必要なバッファの最大サイズを示すシンタックス（ｍａｘ＿ｄｅｃ＿frame＿buffering）、再整列が必要な映像フレームの個数を示すシンタックス（ｎｕｍ＿reorder＿frames）、及び映像シーケンスを構成する映像フレームのうち、復号化順序と表示順序との差が最大である映像フレームの遅延情報を示すシンタックス（ｍａｘ＿latency＿increase）をビットストリームから獲得し、映像データ復号化部２３０に出力するネットワーク抽象階層での復号化過程を遂行する。
【００６３】
一実施形態によるビデオ復号化装置２００は、符号化過程において、最大符号化単位ごとに再帰的に符号化を行い、最小符号化誤差を発生させた符号化単位に係わる情報を獲得し、現在ピクチャに係わる復号化に利用することができる。すなわち、最大符号化単位ごとに、最適符号化単位に決定されたツリー構造による符号化単位の符号化された映像データの復号化が可能になる。
【００６４】
従って、高い解像度の映像、またはデータ量が過度に多い映像でも、符号化端から伝送された最適符号化モードについての情報を利用して、映像の特性に適応的に決定された符号化単位の大きさ及び符号化モードによって、効率的に映像データを復号化して復元することができる。
【００６５】
以下、図３ないし図１３を参照し、本発明の一実施形態によるツリー構造による符号化単位、予測単位及び変換単位の決定方式について詳細に説明する。
【００６６】
図３は、階層的符号化単位の概念を図示している。
【００６７】
符号化単位の例は、符号化単位の大きさが幅ｘ高さで表現され、サイズ６４ｘ６４である符号化単位から、サイズ３２ｘ３２，１６ｘ１６，８ｘ８を含む。サイズ６４ｘ６４の符号化単位は、サイズ６４ｘ６４，６４ｘ３２，３２ｘ６４，３２ｘ３２のパーティションに分割され、サイズ３２ｘ３２の符号化単位は、サイズ３２ｘ３２，３２ｘ１６，１６ｘ３２，１６ｘ１６のパーティションに分割され、サイズ１６ｘ１６の符号化単位は、サイズ１６ｘ１６，１６ｘ８，８ｘ１６，８ｘ８のパーティションに分割され、サイズ８ｘ８の符号化単位は、サイズ８ｘ８，８ｘ４，４ｘ８，４ｘ４のパーティションに分割される。
【００６８】
ビデオデータ３１０については、解像度が１９２０ｘ１０８０、符号化単位の最大サイズが６４、最大深度が２に設定されている。ビデオデータ３２０については、解像度が１９２０ｘ１０８０、符号化単位の最大サイズが６４、最大深度が３に設定されている。ビデオデータ３３０については、解像度が３５２ｘ２８８、符号化単位の最大サイズが１６、最大深度が１に設定されている。図３に図示された最大深度は、最大符号化単位から最小符号化単位までの全分割回数を示す。
【００６９】
解像度が高いか、あるいはデータ量が多い場合、符号化効率の向上だけではなく、映像特性を正確に反映させるために、符号化サイズの最大サイズが相対的に大きいことが望ましい。従って、ビデオデータ３３０に比べ、解像度が高いビデオデータ３１０，３２０は、符号化サイズの最大サイズが６４に選択される。
【００７０】
ビデオデータ３１０の最大深度が２であるので、ビデオデータ３１０の符号化単位３１５は、長軸サイズが６４である最大符号化単位から、２回分割されて深度が２階層深くなり、長軸サイズが３２，１６である符号化単位まで含む。一方、ビデオデータ３３０の最大深度が１であるので、ビデオデータ３３０の符号化単位３３５は、長軸サイズが１６である符号化単位から、１回分割されて深度が１階層深くなり、長軸サイズが８である符号化単位まで含む。
【００７１】
ビデオデータ３２０の最大深度が３であるので、ビデオデータ３２０の符号化単位３２５は、長軸サイズが６４である最大符号化単位から、３回分割されて深度が３階層深くなり、長軸サイズが３２，１６，８である符号化単位まで含む。深度が深くなるほど、細部情報の表現能が向上する。
【００７２】
図４は、本発明の一実施形態による、符号化単位に基づいた映像符号化部のブロック図を図示している。
【００７３】
一実施形態による映像符号化部４００は、ビデオ符号化装置１００の符号化単位決定部１２０において、映像データを符号化するのに経る作業を含む。すなわち、イントラ予測部４１０は、現在フレーム４０５において、イントラモードの符号化単位に対してイントラ予測を行い、動き推定部４２０及び動き補償部４２５は、インターモードの現在フレーム４０５及び参照フレーム４９５を利用して、インター推定及び動き補償を行う。
【００７４】
イントラ予測部４１０、動き推定部４２０及び動き補償部４２５から出力されたデータは、周波数変換部４３０及び量子化部４４０を経て、量子化された変換係数として出力される。量子化された変換係数は、逆量子化部４６０、周波数逆変換部４７０を介して、空間領域のデータに復元され、復元された空間領域のデータは、デブロッキング部４８０及びループ・フィルタリング部４９０を経て後処理され、参照フレーム４９５として出力される。量子化された変換係数は、エントピー符号化部４５０を介して、ビットストリーム４５５として出力される。特に、エントピー符号化部４５０は、復号化器において、映像フレームを復号化するのに必要なバッファの最大サイズを示す最大復号フレームバッファリング・シンタックス（ｍａｘ＿ｄｅｃ＿frame＿buffering）、再整列が必要な映像フレームの個数を示す再整列フレーム個数シンタックス（ｎｕｍ＿reorder＿frames）、及び映像シーケンスを構成する映像フレームの符号化順序と表示順序との差値の最大値を示す最大遅延フレーム・シンタックス（MaxLatencyFrames）、または最大遅延フレーム・シンタックス（MaxLatencyFrames）を決定するための最大遅延増加シンタックス（ｍａｘ＿latency＿increase）をＮＡＬ単位にマッピングし、ビットストリームを生成することができる。特に、本発明の一実施形態によるエントピー符号化部４５０は、復号化器において、映像フレームを復号化するのに必要なバッファの最大サイズを示す最大復号フレームバッファリング・シンタックス（ｍａｘ＿ｄｅｃ＿frame＿buffering）、再整列が必要な映像フレームの個数を示す再整列フレーム個数シンタックス（ｎｕｍ＿reorder＿frames）、及び最大遅延フレーム・シンタックス（MaxLatencyFrames）を決定するための最大遅延増加シンタックス（ｍａｘ＿latency＿increase）を、映像シーケンス全体の符号化に係わる情報を含むヘッダ情報であるシーケンスパラメータセット（sequence  parameter  set、以下「ＳＰＳ」とする）に必須構成要素として含める。
【００７５】
一実施形態によるビデオ符号化装置１００に適用されるためには、映像符号化部４００の構成要素であるイントラ予測部４１０、動き推定部４２０、動き補償部４２５、周波数変換部４３０、量子化部４４０、エントピー符号化部４５０、逆量子化部４６０、周波数逆変換部４７０、デブロッキング部４８０及びループ・フィルタリング部４９０が、いずれも最大符号化単位ごとに、最大深度を考慮して、ツリー構造による符号化単位のうちそれぞれの符号化単位に基づいた作業を遂行しなければならない。
【００７６】
特に、イントラ予測部４１０、動き推定部４２０及び動き補償部４２５は、現在最大符号化単位の最大サイズ及び最大深度を考慮して、ツリー構造による符号化単位のうちそれぞれの符号化単位のパーティション及び予測モードを決定し、周波数変換部４３０は、ツリー構造による符号化単位のうちそれぞれの符号化単位内の変換単位の大きさを決定しなければならない。
【００７７】
図５は、本発明の一実施形態による、符号化単位に基づいた映像復号化部のブロック図を図示している。ビットストリーム５０５が、パージング部５１０を経て、復号化対象である符号化された映像データ、及び復号化のために必要な符号化についての情報がパージングされる。特に、パージング部５１０は、ＳＰＳ（sequence  parameter  set）に必須構成要素として含まれた映像フレームを復号化するのに必要なバッファの最大サイズを示す最大復号フレームバッファリング・シンタックス（ｍａｘ＿ｄｅｃ＿frame＿buffering）、再整列が必要な映像フレームの個数を示す再整列フレーム個数シンタックス（ｎｕｍ＿reorder＿frames）、及び最大遅延フレーム・シンタックス（MaxLatencyFrames）を決定するための最大遅延増加シンタックス（ｍａｘ＿latency＿increase）を、ビットストリームから獲得し、エントピー復号化部５２０に出力する。図５では、パージング部５１０及びエントピー復号化部５２０を別個の構成要素として図示したが、パージング部５１０で遂行される映像データの獲得過程、及び符号化された映像データに係わる各シンタックス情報の獲得過程は、エントピー復号化部５２０で遂行されるように具現されもする。
【００７８】
符号化された映像データは、エントピー復号化部５２０及び逆量子化部５３０を経て、逆量子化されたデータとして出力され、周波数逆変換部５４０を経て、空間領域の映像データが復元される。
【００７９】
空間領域の映像データに対して、イントラ予測部５５０は、イントラモードの符号化単位に対してイントラ予測を行い、動き補償部５６０は、参照フレーム５８５を共に利用して、インターモードの符号化単位に対して動き補償を行う。
【００８０】
イントラ予測部５５０及び動き補償部５６０を経て復元された映像フレームデータは、デブロッキング部５７０を介して後処理され、復号ピクチャバッファであるＤＰＢ  ５８０に出力される。ＤＰＢ  ５８０は、参照フレームの保存、映像フレームの表示順序の転換、及び映像フレームの出力のために復号化された映像フレームを保存する復号ピクチャバッファ（decoded  picture  buffer）である。ＤＰＢ  ５８０は、復号化された映像フレームを保存する一方、パージング部５１０またはエントピー復号化部５２０から出力される映像フレームを正常に復号化するのに必要な最大バッファサイズを示す最大復号フレームバッファリング・シンタックス（ｍａｘ＿ｄｅｃ＿frame＿buffering）を利用して、映像シーケンスの正常な復号化に必要なバッファの最大サイズを設定する。
【００８１】
また、ＤＰＢ  ５８０は、再整列が必要な映像フレームの個数を示す再整列フレーム個数シンタックス（ｎｕｍ＿reorder＿frames）、及び最大遅延フレーム・シンタックス（MaxLatencyFrames）を決定するための最大遅延増加シンタックス（ｍａｘ＿latency＿increase）を利用して、先に復号化されて保存された参照映像フレームの出力いかんを決定することができる。具体的なＤＰＢ  ５８０に保存された参照映像フレームの出力過程については後述する。
【００８２】
ビデオ復号化装置２００の映像データ復号化部２３０で、映像データを復号化するために、一実施形態による映像復号化部５００のパージング部５１０後の段階別作業が遂行される。
【００８３】
一実施形態によるビデオ復号化装置２００に適用されるためには、映像復号化部５００の構成要素であるパージング部５１０、エントピー復号化部５２０、逆量子化部５３０、周波数逆変換部５４０、イントラ予測部５５０、動き補償部５６０、デブロッキング部５７０は、いずれも最大符号化単位ごとに、ツリー構造による符号化単位に基づいて、復号化作業を遂行することができる。特に、イントラ予測部５５０、動き補償部５６０は、ツリー構造による符号化単位ごとに、それぞれパーティション及び予測モードを決定し、周波数逆変換部５４０は、符号化単位ごとに、変換単位の大きさを決定することができる。
【００８４】
図６は、本発明の一実施形態による、深度別符号化単位及びパーティションを図示している。
【００８５】
一実施形態によるビデオ符号化装置１００、及び一実施形態によるビデオ復号化装置２００は、映像特性を考慮するために、階層的な符号化単位を使用する。符号化単位の最大高及び最大幅、最大深度は、映像の特性によって、適応的に決定されもし、ユーザの要求によって、多様に設定されもする。既定符号化単位の最大サイズによって、深度別符号化単位の大きさが決定されてもよい。
【００８６】
一実施形態による符号化単位の階層構造６００は、符号化単位の最大高及び最大幅が６４であり、最大深度が４である場合を図示している。一実施形態による符号化単位の階層構造６００の縦軸に沿って深度が深くなるので、深度別符号化単位の高さ及び幅がそれぞれ分割される。また、符号化単位の階層構造６００の横軸に沿って、それぞれの深度別符号化単位の予測符号化の基盤になる予測単位及びパーティションが図示されている。
【００８７】
すなわち、符号化単位６１０は、符号化単位の階層構造６００において最大符号化単位であり、深度が０であり、符号化単位の大きさ、すなわち、高さ及び幅が６４ｘ６４である。縦軸に沿って深度が深くなり、サイズ３２ｘ３２である深度１の符号化単位６２０、サイズ１６ｘ１６である深度２の符号化単位６３０、サイズ８ｘ８である深度３の符号化単位６４０、サイズ４ｘ４である深度４の符号化単位６５０が存在する。サイズ４ｘ４である深度４の符号化単位６５０は、最小符号化単位である。
【００８８】
それぞれの深度別に横軸に沿って、符号化単位の予測単位及びパーティションが配列される。すなわち、深度０のサイズ６４ｘ６４の符号化単位６１０が予測単位であるならば、予測単位は、サイズ６４ｘ６４の符号化単位６１０に含まれるサイズ６４ｘ６４のパーティション６１０、サイズ６４ｘ３２のパーティション６１２、サイズ３２ｘ６４のパーティション６１４、サイズ３２ｘ３２のパーティション６１６に分割される。
【００８９】
同様に、深度１のサイズ３２ｘ３２の符号化単位６２０の予測単位は、サイズ３２ｘ３２の符号化単位６２０に含まれるサイズ３２ｘ３２のパーティション６２０、サイズ３２ｘ１６のパーティション６２２、サイズ１６ｘ３２のパーティション６２４、サイズ１６ｘ１６のパーティション６２６に分割される。
【００９０】
同様に、深度２のサイズ１６ｘ１６の符号化単位６３０の予測単位は、サイズ１６ｘ１６の符号化単位６３０に含まれるサイズ１６ｘ１６のパーティション６３０、サイズ１６ｘ８のパーティション６３２、サイズ８ｘ１６のパーティション６３４、サイズ８ｘ８のパーティション６３６に分割される。
【００９１】
同様に、深度３のサイズ８ｘ８の符号化単位６４０の予測単位は、サイズ８ｘ８の符号化単位６４０に含まれるサイズ８ｘ８のパーティション６４０、サイズ８ｘ４のパーティション６４２、サイズ４ｘ８のパーティション６４４、サイズ４ｘ４のパーティション６４６に分割される。
【００９２】
最後に、深度４のサイズ４ｘ４の符号化単位６５０は、最小符号化単位であり、最下位深度の符号化単位であり、当該予測単位もサイズ４ｘ４のパーティション６５０だけに設定される。
【００９３】
一実施形態によるビデオ符号化装置１００の符号化単位決定部１２０は、最大符号化単位６１０の符号化深度を決定するために、最大符号化単位６１０に含まれるそれぞれの深度の符号化単位ごとに、符号化を行わなければならない。
【００９４】
同一範囲及び同一サイズのデータを含むための深度別符号化単位の個数は、深度が深くなるほど、深度別符号化単位の個数も増加する。例えば、深度１の符号化単位一つを含むデータについて、深度２の符号化単位は、四つが必要である。従って、同一データの符号化結果を深度別に比較するために、１つの深度１の符号化単位及び４つの深度２の符号化単位を利用して、それぞれ符号化されなければならない。
【００９５】
それぞれの深度別符号化のためには、符号化単位の階層構造６００の横軸に沿って、深度別符号化単位の予測単位ごとに符号化を行い、当該深度で最小である符号化誤差である代表符号化誤差が選択される。また、符号化単位の階層構造６００の縦軸に沿って深度が深くなり、それぞれの深度ごとに符号化を行い、深度別代表符号化誤差を比較し、最小符号化誤差が検索される。最大符号化単位６１０において、最小符号化誤差が発生する深度及びパーティションが、最大符号化単位６１０の符号化深度及びパーティションタイプとして選択される。
【００９６】
図７は、本発明の一実施形態による、符号化単位及び変換単位の関係を図示している。
【００９７】
一実施形態によるビデオ符号化装置１００、または一実施形態によるビデオ復号化装置２００は、最大符号化単位ごとに、最大符号化単位より小さいか、あるいはそれと同じ大きさの符号化単位で、映像を符号化したり復号化したりする。符号化過程において、周波数変換のための変換単位の大きさは、それぞれの符号化単位ほど大きくないデータ単位を基にして選択される。
【００９８】
例えば、一実施形態によるビデオ符号化装置１００、または一実施形態によるビデオ復号化装置２００で、現在符号化単位７１０が６４ｘ６４サイズであるとき、３２ｘ３２サイズの変換単位７２０を利用して周波数変換が行われる。
【００９９】
また、６４ｘ６４サイズの符号化単位７１０のデータについて、６４ｘ６４サイズ以下の３２ｘ３２，１６ｘ１６，８ｘ８，４ｘ４サイズの変換単位で、それぞれ周波数変換を行って符号化した後、原本との誤差が最小である変換単位が選択される。
【０１００】
図８は、本発明の一実施形態による深度別符号化情報を図示している。一実施形態によるビデオ符号化装置１００の出力部１３０は、符号化モードについての情報であり、それぞれの符号化深度の符号化単位ごとに、パーティションタイプについての情報８００、予測モードについての情報８１０、変換単位サイズについての情報８２０を符号化して伝送することができる。
【０１０１】
パーティションタイプについての情報８００は、現在符号化単位の予測符号化のためのデータ単位であり、現在符号化単位の予測単位が分割されたパーティションの形態についての情報を示す。例えば、サイズ２Ｎｘ２Ｎの現在符号化単位ＣＵ＿０は、サイズ２Ｎｘ２Ｎのパーティション８０２、サイズ２ＮｘＮのパーティション８０４、サイズＮｘ２Ｎのパーティション８０６、サイズＮｘＮのパーティション８０８のうちいずれか１つのタイプに分割されて利用される。その場合、現在符号化単位のパーティションタイプについての情報８００は、サイズ２Ｎｘ２Ｎのパーティション８０２、サイズ２ＮｘＮのパーティション８０４、サイズＮｘ２Ｎのパーティション８０６及びサイズＮｘＮのパーティション８０８のうち一つを示すように設定される。
【０１０２】
予測モードについての情報８１０は、それぞれのパーティションの予測モードを示す。例えば、予測モードについての情報８１０を介して、パーティションタイプについての情報８００が示すパーティションが、イントラモード８１２、インターモード８１４及びスキップモード８１６のうち一つで予測符号化が行われるということが設定される。
【０１０３】
また、変換単位サイズについての情報８２０は、現在符号化単位を、いかなる変換単位を基に周波数変換を行うかということを示す。例えば、変換単位は、第１イントラ変換単位サイズ８２２、第２イントラ変換単位サイズ８２４、第１インター変換単位サイズ８２６、第２インター変換単位サイズ８２８のうち一つでもある。
【０１０４】
一実施形態によるビデオ復号化装置２００の映像データ及び符号化情報抽出部２１０は、それぞれの深度別符号化単位ごとに、パーティションタイプについての情報８００、予測モードについての情報８１０、変換単位サイズについての情報８２０を抽出し、復号化に利用することができる。
【０１０５】
図９は、本発明の一実施形態による深度別符号化単位を図示している。
【０１０６】
深度の変化を示すために、分割情報が利用される。分割情報は、現在深度の符号化単位が、下位深度の符号化単位に分割されるか否かということを示す。
【０１０７】
深度０及び２Ｎ＿０ｘ２Ｎ＿０サイズの符号化単位９００の予測符号化のための予測単位９１０は、２Ｎ＿０ｘ２Ｎ＿０サイズのパーティションタイプ９１２、２Ｎ＿０ｘＮ＿０サイズのパーティションタイプ９１４、Ｎ＿０ｘ２Ｎ＿０サイズのパーティションタイプ９１６、Ｎ＿０ｘＮ＿０サイズのパーティションタイプ９１８を含む。予測単位が対称的な比率に分割されたパーティション９１２，９１４，９１６，９１８だけが例示されているが、前述のように、パーティションタイプは、それらに限定されるものではなく、非対称的パーティション、任意的形態のパーティション、幾何学的形態のパーティションなどを含む。
【０１０８】
パーティションタイプごとに、１つの２Ｎ＿０ｘ２Ｎ＿０サイズのパーティション、２つの２Ｎ＿０ｘＮ＿０サイズのパーティション、２つのＮ＿０ｘ２Ｎ＿０サイズのパーティション、４つのＮ＿０ｘＮ＿０サイズのパーティションごとに、反復的に予測符号化が行われなければならない。サイズ２Ｎ＿０ｘ２Ｎ＿０、サイズＮ＿０ｘ２Ｎ＿０、サイズ２Ｎ＿０ｘＮ＿０及びサイズＮ＿０ｘＮ＿０のパーティションについては、イントラモード及びインターモードで予測符号化が行われる。スキップモードはサ、イズ２Ｎ＿０ｘ２Ｎ＿０のパーティションについてのみ予測符号化が行われる。
【０１０９】
サイズ２Ｎ＿０ｘ２Ｎ＿０，２Ｎ＿０ｘＮ＿０及びＮ＿０ｘ２Ｎ＿０のパーティションタイプ９１２，９１４，９１６のうち一つによる符号化誤差が最小であれば、それ以上下位深度に分割する必要ない。
【０１１０】
サイズＮ＿０ｘＮ＿０のパーティションタイプ９１８による符号化誤差が最小であれば、深度０を１に変更しながら分割し（９２０）、深度２及びサイズＮ＿０ｘＮ＿０のパーティションタイプの符号化単位９３０に対して反復的に符号化を行い、最小符号化誤差を検索していく。
【０１１１】
深度１及びサイズ２Ｎ＿１ｘ２Ｎ＿１（＝Ｎ＿０ｘＮ＿０）の符号化単位９３０の予測符号化のための予測単位９４０は、サイズ２Ｎ＿１ｘ２Ｎ＿１のパーティションタイプ９４２、サイズ２Ｎ＿１ｘＮ＿１のパーティションタイプ９４４、サイズＮ＿１ｘ２Ｎ＿１のパーティションタイプ９４６、サイズＮ＿１ｘＮ＿１のパーティションタイプ９４８を含む。
【０１１２】
また、サイズＮ＿１ｘＮ＿１サイズのパーティションタイプ９４８による符号化誤差が最小であれば、深度１を深度２に変更しながら分割して（９５０）、深度２及びサイズＮ＿２ｘＮ＿２の符号化単位９６０に対して反復的に符号化を行い、最小符号化誤差を検索していく。
【０１１３】
最大深度がｄである場合、深度別分割情報は、深度ｄ−１になるまで設定され、分割情報は、深度ｄ−２まで設定される。すなわち、深度ｄ−２から分割され（９７０）、深度ｄ−１まで符号化が行われる場合、深度ｄ−１及びサイズ２Ｎ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）の符号化単位９８０の予測符号化のための予測単位９９０は、サイズ２Ｎ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティションタイプ９９２、サイズ２Ｎ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションタイプ９９４、サイズＮ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティションタイプ９９６、サイズＮ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションタイプ９９８を含む。
【０１１４】
パーティションタイプのうち、１つのサイズ２Ｎ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティション、２つのサイズ２Ｎ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティション、２つのサイズＮ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティション、４つのサイズＮ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションごとに、反復的に予測符号化を介した符号化が行われ、最小符号化誤差が発生するパーティションタイプが検索される。
【０１１５】
サイズＮ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションタイプ９９８による符号化誤差が最小であるとしても、最大深度がｄであるので、深度ｄ−１の符号化単位ＣＵ＿（ｄ−１）は、それ以上下位深度への分割過程を経ず、現在最大符号化単位９００に係わる符号化深度が深度ｄ−１に決定され、パーティションタイプは、Ｎ＿（ｄ−１）ｘＮ＿（ｄ−１）に決定される。また、最大深度がｄであるので、深度ｄ−１の符号化単位９５２については、分割情報は設定されない。
【０１１６】
データ単位９９９は、現在最大符号化単位に係わる「最小単位」とされる。一実施形態による最小単位は、最下位符号化深度である最小符号化単位が４分割された大きさの正方形のデータ単位でもある。そのような反復的符号化過程を介して、一実施形態によるビデオ符号化装置１００は、符号化単位９００の深度別符号化誤差を比較し、最小の符号化誤差が発生する深度を選択して符号化深度を決定し、当該パーティションタイプ及び予測モードが、符号化深度の符号化モードとして設定される。
【０１１７】
かように深度０，１，…，、ｄ−１，ｄの全ての深度別最小符号化誤差を比較し、誤差が最小である深度が選択され、符号化深度として決定される。符号化深度、並びに予測単位のパーティションタイプ及び予測モードは、符号化モードについての情報として符号化されて伝送される。また、深度０から符号化深度に至るまで符号化単位が分割されなければならないので、符号化深度の分割情報だけが「０」に設定され、符号化深度を除いた深度別分割情報は、「１」に設定されなければならない。
【０１１８】
一実施形態によるビデオ復号化装置２００の映像データ及び符号化情報抽出部２２０は、符号化単位９００に係わる符号化深度及び予測単位についての情報を抽出し、符号化単位９１２を復号化するのに利用することができる。一実施形態によるビデオ復号化装置２００は、深度別分割情報を利用して、分割情報が「０」である深度を、符号化深度として把握し、当該深度に係わる符号化モードについての情報を利用して、復号化に利用することができる。
【０１１９】
図１０、図１１及び図１２は、本発明の一実施形態による、符号化単位、予測単位及び周波数変換単位の関係を図示している。
【０１２０】
符号化単位１０１０は、最大符号化単位について、一実施形態によるビデオ符号化装置１００が決定した符号化深度別符号化単位である。予測単位１０６０は、符号化単位１０１０において、それぞれの符号化深度別符号化単位の予測単位のパーティションであり、変換単位１０７０は、それぞれの符号化深度別符号化単位の変換単位である。
【０１２１】
深度別符号化単位１０１０は、最大符号化単位の深度が０であるとすれば、符号化単位１０１２，１０５４は、深度が１であり、符号化単位１０１４，１０１６，１０１８，１０２８，１０５０，１０５２は、深度が２であり、符号化単位１０２０，１０２２，１０２４，１０２６，１０３０，１０３２，１０４８は、深度が３であり、符号化単位１０４０，１０４２，１０４４，１０４６は、深度が４である。
【０１２２】
予測単位１０６０において、一部パーティション１０１４，１０１６，１０２２，１０３２，１０４８，１０５０，１０５２，１０５４は、符号化単位が分割された形態である。すなわち、パーティション１０１４，１０２２，１０５０，１０５４は、２ＮｘＮのパーティションタイプであり、パーティション１０１６，１０４８，１０５２は、Ｎｘ２Ｎのパーティションタイプであり、パーティション１０３２は、ＮｘＮのパーティションタイプである。深度別符号化単位１０１０の予測単位及びパーティションは、それぞれの符号化単位より小さいか、あるいはそれと同じである。
【０１２３】
変換単位１０７０のうち一部変換単位１０５２の映像データについては、符号化単位に比べて、小サイズのデータ単位で、周波数変換または周波数逆変換が行われる。また、変換単位１０１４，１０１６，１０２２，１０３２，１０４８，１０５０，１０５２，１０５４は、予測単位１０６０のうち当該予測単位及びパーティションと比較すれば、互いに異なるサイズまたは形態のデータ単位である。すなわち、一実施形態によるビデオ符号化装置１００、及び一実施形態によるビデオ復号化装置２００は、同一符号化単位に係わるイントラ予測／動き推定／動き補償作業、及び周波数変換／逆変換作業であるとしても、それぞれ別個のデータ単位を基に遂行する。
【０１２４】
それにより、最大符号化単位ごとに、領域別に階層的な構造の符号化単位ごとに、再帰的に符号化が行われ、最適符号化単位が決定されることにより、再帰的ツリー構造による符号化単位が構成される。符号化情報は、符号化単位に係わる分割情報、パーティションタイプ情報、予測モード情報、変換単位サイズ情報を含む。下記表１は、一実施形態によるビデオ符号化装置１００、及び一実施形態によるビデオ復号化装置２００で設定することができる一例を示している。
【０１２５】
【表１】
2014533917.tif 000003
一実施形態によるビデオ符号化装置１００の出力部１３０は、ツリー構造による符号化単位に係わる符号化情報を出力し、一実施形態によるビデオ復号化装置２００の符号化情報抽出部２２０は、受信されたビットストリームから、ツリー構造による符号化単位に係わる符号化情報を抽出することができる。
【０１２６】
分割情報は、現在符号化単位が、下位深度の符号化単位に分割されるか否かということを示す。現在深度ｄの分割情報が０であるならば、現在符号化単位が、下位符号化単位にそれ以上分割されない深度が符号化深度であるので、符号化深度について、パーティションタイプ情報、予測モード、変換単位サイズ情報が定義される。分割情報によって、１段階さらに分割されなければならない場合には、分割された４個の下位深度の符号化単位ごとに、独立して符号化が行われなければならない。
【０１２７】
予測モードは、イントラモード、インターモード及びスキップモードのうち一つで示す。イントラモード及びインターモードは、全てのパーティションタイプで定義され、スキップモードは、パーティションタイプ２Ｎｘ２Ｎでのみ定義される。
【０１２８】
パーティションタイプ情報は、予測単位の高さまたは幅が対称的な比率に分割された対称的パーティションタイプ２Ｎｘ２Ｎ，２ＮｘＮ，Ｎｘ２Ｎ及びＮｘＮと、非対称的な比率に分割された非対称的パーティションタイプ２ＮｘｎＵ，２ＮｘｎＤ，ｎＬｘ２Ｎ，ｎＲｘ２Ｎを示す。非対称的パーティションタイプ２ＮｘｎＵ及び２ＮｘｎＤは、それぞれ高さが１：３及び３：１に分割された形態であり、非対称的パーティションタイプｎＬｘ２Ｎ及びｎＲｘ２Ｎは、それぞれ幅が１：３及び３：１に分割された形態を示す。
【０１２９】
変換単位サイズは、イントラモードで、二種の大きさ、インターモードで、二種の大きさに設定される。すなわち、変換単位分割情報が０であるならば、変換単位の大きさは、現在符号化単位のサイズ２Ｎｘ２Ｎに設定される。変換単位分割情報が１であるならば、現在符号化単位が分割された大きさの変換単位が設定される。また、サイズ２Ｎｘ２Ｎである現在符号化単位に係わるパーティションタイプが、対称形パーティションタイプであるならば、変換単位の大きさは、ＮｘＮに、非対称形パーティションタイプであるならば、Ｎ／２ｘＮ／２に設定される。
【０１３０】
一実施形態によるツリー構造による符号化単位の符号化情報は、符号化深度の符号化単位、予測単位及び最小単位単位のうち少なくとも一つに対して割り当てられる。符号化深度の符号化単位は、同一符号化情報を保有している予測単位及び最小単位を一つ以上含む。
【０１３１】
従って、隣接したデータ単位同士それぞれ保有している符号化情報を確認すれば、同一符号化深度の符号化単位に含まれるか否かということが確認される。また、データ単位が保有している符号化情報を利用すれば、当該符号化深度の符号化単位を確認することができるので、最大符号化単位内の符号化深度の分布が類推される。
【０１３２】
従って、その場合、現在符号化単位が周辺データ単位を参照して予測する場合、現在符号化単位に隣接する深度別符号化単位内のデータ単位の符号化情報が直接参照されて利用される。
【０１３３】
他の実施形態で、現在符号化単位が周辺符号化単位を参照して予測符号化が行われる場合、隣接する深度別符号化単位の符号化情報を利用して、深度別符号化単位内で、現在符号化単位に隣接するデータが検索されることにより、周辺符号化単位が参照されもする。
【０１３４】
図１３は、表１の符号化モード情報による符号化単位、予測単位及び変換単位の関係を図示している。最大符号化単位１３００は、符号化深度の符号化単位１３０２，１３０４，１３０６，１３１２，１３１４，１３１６，１３１８を含む。そのうち１つの符号化単位１３１８は、符号化深度の符号化単位であるので、分割情報が０に設定される。サイズ２Ｎｘ２Ｎの符号化単位１３１８のパーティションタイプ情報は、パーティションタイプ２Ｎｘ２Ｎ  １３２２，２ＮｘＮ  １３２４，Ｎｘ２Ｎ  １３２６，ＮｘＮ  １３２８，２ＮｘｎＵ  １３３２，２ＮｘｎＤ  １３３４，ｎＬｘ２Ｎ  １３３６及びｎＲｘ２Ｎ  １３３８のうち一つに設定される。
【０１３５】
パーティションタイプ情報が、対称形パーティションタイプ２Ｎｘ２Ｎ  １３２２，２ＮｘＮ  １３２４，Ｎｘ２Ｎ  １３２６及びＮｘＮ  １３２８のうち一つに設定されている場合、変換単位分割情報（ＴＵ  size  flag）が０であるならば、サイズ２Ｎｘ２Ｎの変換単位１３４２が設定され、変換単位分割情報が１であるならば、サイズＮｘＮの変換単位１３４４が設定される。
【０１３６】
パーティションタイプ情報が、非対称形パーティションタイプ２ＮｘｎＵ  １３３２，２ＮｘｎＤ  １３３４，ｎＬｘ２Ｎ  １３３６及びｎＲｘ２Ｎ  １３３８のうち一つに設定された場合、変換単位分割情報（ＴＵ  size  flag）が０であるならば、サイズ２Ｎｘ２Ｎの変換単位１３５２が設定され、変換単位分割情報が１であるならば、サイズＮ／２ｘＮ／２の変換単位１３５４が設定される。
【０１３７】
図１４は、本発明の一実施形態による、映像符号化過程及び復号化過程を階層的に分類した図面である。図１の映像符号化装置１００、または図４の映像符号化装置４００で遂行される符号化過程は、図１４に図示されたように、映像符号化処理それ自体を扱うビデオ符号化階層（video  coding  layer、以下「ＶＣＬ」とする）１４１０での符号化過程、並びに符号化された映像データを伝送して保存する下位システム１４３０と、ビデオ符号化階層１４１０との間で符号化された映像データ及び付加情報を、所定フォーマットによるビットストリームに生成するネットワーク抽象階層（network  abstraction  layer）１４２０での符号化過程に分類することができる。図１の映像符号化装置１００の最大符号化単位分割部１１０及び符号化単位決定部１２０における、符号化過程の出力である符号化データ１４１１は、ＶＣＬデータであり、出力部１３０を介して、符号化データ１４１１は、ＶＣＬ  ＮＡＬ単位１４２１にマッピングされる。また、ＶＣＬ  １４１０で符号化されたデータ１４１１を生成するのに利用された符号化単位に係わる分割情報、パーティションタイプ情報、予測モード情報、変換単位サイズ情報のような直接的なＶＣＬ  １４１０の符号化過程に係わる情報も、ＶＬＣ  ＮＡＬ単位１４２１にマッピングされる。符号化過程に係わるパラメータセット情報１４１２は、非ＶＣＬ  ＮＡＬ単位１４２２にマッピングされる。特に、本発明の実施形態によれば、復号化器において、映像フレームを復号化するのに必要なバッファの最大サイズを示す最大復号フレームバッファリング・シンタックス（ｍａｘ＿ｄｅｃ＿frame＿buffering）、再整列が必要な映像フレームの個数を示す再整列フレーム個数シンタックス（ｎｕｍ＿reorder＿frames）、及び最大遅延フレーム・シンタックス（MaxLatencyFrames）を決定するための最大遅延増加シンタックス（ｍａｘ＿latency＿increase）が、非ＶＣＬ  ＮＡＬ単位１４２２にマッピングされる。ＶＣＬ  ＮＡＬ単位１４２１と、非ＶＣＬ  ＮＡＬ単位１４２２は、いずれもＮＡＬ単位であり、ＶＣＬ  ＮＡＬ単位１４２１は、圧縮符号化された映像データを含み、非ＶＣＬ  ＮＡＬ単位１４２２は、映像シーケンスとフレームのヘッダ情報とに対応するパラメータを含む。
【０１３８】
また、図２の映像復号化装置２００または図５の映像復号化装置５００で遂行される復号化過程も、図１４に図示されているように、映像復号化処理そのものを扱うビデオ符号化階層（video  coding  layer）１４１０での復号化過程と、符号化された映像データを受信して読み出す下位システム１４３０と、ビデオ符号化階層１４１０との間で受信されて読み出されたビットストリームから、符号化された映像データ及び付加情報を獲得するネットワーク抽象階層（network  abstraction  layer）１４２０での復号化過程に分類することができる。図２の映像符号化装置２００の受信部２１０、映像データ及び符号化情報抽出部２２０での復号化過程は、ネットワーク抽象階層１４２０での復号化過程に対応し、映像データ復号化部２３０での復号化過程は、ビデオ符号化階層１４１０での復号化過程に対応する。すなわち、受信部２１０、並びに映像データ及び符号化情報抽出部２２０は、ビットストリーム１４３１から、符号化された映像データ、及び符号化されたデータを生成するのに利用された、符号化単位に係わる分割情報、パーティションタイプ情報、予測モード情報、変換単位サイズ情報のような情報を含むＶＣＬ  ＮＡＬ単位１４２１と、符号化過程に係わるパラメータセット情報を含んでいる非ＶＣＬ  ＮＡＬ単位１４２２と、を獲得する。特に、本発明の一実施形態によれば、復号化器において、映像フレームを復号化するのに必要なバッファの最大サイズを示す最大復号フレームバッファリング・シンタックス（ｍａｘ＿ｄｅｃ＿frame＿buffering）、再整列が必要な映像フレームの個数を示す再整列フレーム個数シンタックス（ｎｕｍ＿reorder＿frames）、及び最大遅延フレーム・シンタックス（MaxLatencyFrames）を決定するための最大遅延増加シンタックス（ｍａｘ＿latency＿increase）は、非ＶＣＬ  ＮＡＬ単位１４２２に含まれる。
【０１３９】
図１５は、本発明の一実施形態によるＮＡＬ単位構成を示した図面である。図１５を参照すれば、ＮＡＬ単位１５００は、ＮＡＬヘッダ１５１０及びＲＢＳＰ（raw  byte  sequence  payload）１５２０の２つの部分から構成される。ＲＢＳＰ充填ビット１５３０は、ＲＢＳＰ  １５２０の長さを８ビットの倍数で表現するために、ＲＢＳＰ  １５２０の最後尾に付け入れた長さ調節用ビットである。ＲＢＳＰ充填ビット１５３０は、「１」から始まり、その後ＲＢＳＰ  １５２０の長さによって決定される連続的な「０」から構成され、「１００  …  」のようなパターンを有し、最初のビット値である「１」を検索することにより、その直前にあるＲＢＳＰ  １５２０の最後のビット位置を決定することができる。
【０１４０】
ＮＡＬヘッダ１５１０には、当該ＮＡＬ単位の参照ピクチャになるスライスが含まれているか否かということを示すフラグ情報（ｎａｌ＿ｒｅｆ＿ｉｄｃ）１５１２と、ＮＡＬ単位の種類を示す識別子（ｎａｌ＿unit＿type）１５１３とが含まれる。ＮＡＬヘッダ１５１０の先頭に位置した「１」１５１１は、固定ビットである。
【０１４１】
ＮＡＬ単位１５００は、識別子（ｎａｌ＿unit＿type）１５１３の値により、ＩＤＲ（instantaneous  decoding  refresh）ピクチャ、ＣＲＡ（clean  random  access）ピクチャ、ＳＰＳ、ＰＰＳ（picture  parameter  set）、ＳＥＩ（supplemental  enhancement  information）、適応的パラメータセット（ＡＰＳ：adaptation  parameter  set）などに分類される。表２は、識別子（ｎａｌ＿unit＿type）１５１３の値によって、ＮＡＬ単位１５００の種類を示した一例である。
【０１４２】
【表２】
2014533917.tif 000004
前述のように、本発明の一実施形態によれば、復号化器において、映像フレームを復号化するのに必要なバッファの最大サイズを示す最大復号フレームバッファリング・シンタックス（ｍａｘ＿ｄｅｃ＿frame＿buffering）、再整列が必要な映像フレームの個数を示す再整列フレーム個数シンタックス（ｎｕｍ＿reorder＿frames）、及び最大遅延フレーム・シンタックス（MaxLatencyFrames）を決定するための最大遅延増加シンタックス（ｍａｘ＿latency＿increase）が、ＮＡＬ単位、特に、映像シーケンスのヘッダ情報に該当するＳＰＳの必須構成要素に含まれる。
【０１４３】
以下、本発明の一実施形態による、ＳＰＳの必須構成要素として含まれる復号化器において、映像フレームを復号化するのに必要なバッファの最大サイズを示す最大復号フレームバッファリング・シンタックス（ｍａｘ＿ｄｅｃ＿frame＿buffering）、再整列が必要な映像フレームの個数を示す再整列フレーム個数シンタックス（ｎｕｍ＿reorder＿frames）、及び最大遅延フレーム・シンタックス（MaxLatencyFrames）を決定するための最大遅延増加シンタックス（ｍａｘ＿latency＿increase）を、符号化過程で決定する過程について具体的に説明する。
【０１４４】
本発明の一実施形態による映像復号化装置５００でのように、ＶＣＬ階層で復号化された映像フレームは、映像バッファメモリである復号ピクチャバッファ（ＤＰＢ）５８０に保存される。ＤＰＢ  ５８０内では、短期間に参照されるピクチャを、短期間参照ピクチャ、長期間にわたって参照されるピクチャを、長期間参照ピクチャ、参照されないピクチャを、非参照ピクチャとして保存される各ピクチャをマーキングする。復号化されたピクチャは、そのようなＤＰＢ  ５８０に保存された後、出力順序によって再配列され、出力タイミングまたは他の映像フレームの参照に利用されない指定された時刻に、ＤＰＢ  ５８０から出力される。
【０１４５】
従来のＨ．２６４  ＡＶＣのようなコーデックでは、映像フレームを復元するのに必要なＤＢＰの最大サイズを、プロファイル（profile）及びレベルによって定義したり、あるいは選択的に伝送されるビデオ使用性情報（video  usability  information、以下「ＶＵＩ」とする）を介して定義された。例えば、Ｈ．２６４ＡＶＣコーデックで定義されるＤＰＢの最大サイズについての規定は、以下表３の通りである。
【０１４６】
【表３】
2014533917.tif 000005
表３は、３０Ｈｚ映像について、ＤＰＢの最大サイズを規定したものであり、従来のＨ．２６４  ＡＶＣコーデックでは、ＶＵＩを介して、選択的に伝送されるＤＰＢの最大サイズについてのシンタックス（ｍａｘ＿ｄｅｃ＿frame＿buffering）を利用したり、あるいはＶＵＩに、ＤＰＢの最大サイズ情報が含まれて伝送されない場合には、表３でのように、プロファイル及びレベルによって、事前に定義されたテーブルによって、ＤＰＢの最大サイズを決定する。もし復号化器の解像度が４００ｘ２４０（ＷＱＶＧＡ）であり、出力映像の周波数が３０Ｈｚである場合、ＤＰＢの最大サイズ（ＭａｘＤｐｂSize）は１３、すなわち、復号化された１３個のピクチャを保存するように、ＤＰＢの最大サイズが設定される。
【０１４７】
従来のビデオコーデックでは、そのようなＤＰＢの最大サイズ情報が必須的に伝送されるのではなく、選択的に伝送される。従って、従来のビデオコーデックでは、復号化器において、映像シーケンスを復号化するのに必要なバッファの最大サイズ情報を、いつも利用することができるものではない。ＤＰＢの最大サイズ情報が伝送されない場合、復号化器は、前述の表３でのように、プロファイル及びレベルによって、事前に定義されたＤＰＢの最大サイズ（ＭａｘＤｐｂSize）を利用する。しかし、実際の映像シーケンスの符号化過程及び復号化過程で要求されるＤＰＢの大きさは、表３でのように、既定のＤＰＢの最大サイズ（ＭａｘＤｐｂSize）より小さい場合が多い。従って、表３でのように、プロファイル及びレベルによって事前に設定されたＤＰＢの最大サイズを利用する場合、復号化器のシステム資源を浪費してしまう。また、従来のビデオコーデックによれば、復号化器のＤＰＢサイズが、表３でのように、既定のＤＰＢの最大サイズ（ＭａｘＤｐｂSize）よりは小さいが、実際に映像フレームを復元するのに必要なＤＰＢの大きさより大きいＤＰＢの大きさを有するので、復号化器において、映像シーケンスを復号化することができるにもかかわらず、復号化過程に必要なＤＰＢの最大サイズ情報が伝送されていない場合には、表３でのように、既定のＤＰＢの最大サイズ（ＭａｘＤｐｂSize）を、復号化に必要なＤＰＢの大きさに設定することになるので、復号化を行うことができない場合が発生することがある。従って、本発明の一実施形態による映像符号化方法及び該装置では、ＤＰＢの最大サイズを、ＳＰＳの必須構成要素として含め、復号化装置に伝送し、映像復号化方法及び該装置では、ＳＰＳに含まれたＤＰＢの最大サイズを利用して、ＤＰＢの最大サイズを設定することができる。
【０１４８】
図１６Ａ及び図１６Ｂは、映像シーケンスの符号化過程において、復号化順序によって必要なＤＰＢの最大サイズ情報について説明するための参照図である。
【０１４９】
図１６Ａを参照すれば、符号化器でＩ０、Ｐ１、Ｐ２、Ｐ３、Ｐ４の順序で符号化を行い、図示された矢印方向のピクチャを参照して符号化が行われたと仮定する。復号化順序は、符号化順序と同一に、Ｉ０、Ｐ１、Ｐ２、Ｐ３、Ｐ４の順序で復号化される。図１６Ａのはいで、各ピクチャはすぐ以前に復号化された１つの参照ピクチャのみを参照するので映像シーケンスを正常に復号化するのに必要なＤＰＢの最大サイズ（ＭａｘＤｐｂSize）の大きさは、１である。
【０１５０】
図１６Ｂを参照すれば、符号化器でＩ０、Ｐ２、ｂ１、Ｐ４、ｂ３の順序で、図示された矢印方向のピクチャを参照して符号化が行われたと仮定する。復号化順序は符号化順序と等しいので、Ｉ０、Ｐ２、ｂ１、Ｐ４、ｂ３の順序で復号化される。図１６Ｂの映像シーケンスで、Ｐピクチャは、以前に復号化されたＩピクチャまたはＰピクチャの１つの参照ピクチャのみを参照し、ｂピクチャは、以前に復号化されたＩピクチャまたはＰピクチャの２個の参照ピクチャを参照するので、映像シーケンスを正常に復号化するのに必要なＤＰＢの最大サイズ（ＭａｘＤｐｂSize）は、２である。図１６Ａ及び図１６Ｂに図示されているように、映像シーケンスを正常に復号化するのに必要なＤＰＢの最大サイズは、１または２の相対的に小さい値を有するにもかかわらず、そのようなＤＰＢの最大サイズ情報が別途に伝送されなければ、復号化器においては、ビデオコーデックのプロファイル、レベルなどによって事前に設定されたＤＰＢの最大サイズ情報を利用するしかない。もし復号化器のＤＰＢが最大３の値、すなわち、最大３つの復号化された映像フレームを保存することができ、ＤＰＢの最大サイズ情報がビデオコーデックのプロファイルやレベルによって事前に設定された値であり、表３の一例のように１３に設定される場合を仮定すれば、符号化された映像フレームを復号化するのに十分なＤＰＢの大きさにもかかわらず、プロファイルやレベルによって設定されるＤＰＢの最大サイズである１３よりは小さい値を有するので、復号化器は、符号化された映像フレームを復号化することができないと誤って判断することがある。
【０１５１】
従って、本発明の一実施形態による映像符号化装置１００は、映像シーケンスを構成する各映像フレームの符号化順序（または復号化順序）、及び各映像フレームが参照する参照フレームの符号化順序（または復号化順序）に基づいて、復号化器において、各映像フレームを復号化するのに必要なＤＰＢの最大サイズを示す最大復号フレームバッファリング・シンタックス（ｍａｘ＿ｄｅｃ＿frame＿buffering）を決定し、最大復号フレームバッファリング・シンタックス（ｍａｘ＿ｄｅｃ＿frame＿buffering）を映像シーケンスのヘッダ情報に該当するＳＰＳに含めて符号化器に伝送する。本発明の一実施形態による映像符号化装置１００は、最大復号フレームバッファリング・シンタックス（ｍａｘ＿ｄｅｃ＿frame＿buffering）を、選択的な情報ではない必須な（mandatory）情報としてＳＰＳに含める。
【０１５２】
一方、従来のビデオコーデックにおいて、復号化器のＤＰＢに、復号化されたピクチャを保存するとき、新たに復号化されたピクチャを保存するために、新たな空間が必要な場、合バンピング（bumping）を介して、表示順序（picture  order  count）が最小である参照ピクチャをＤＰＢから出力し、新たな参照ピクチャの保存のための空スペースを確保する。従来のビデオコーデックでの復号化器は、そのようなバンピング処理過程を介して、ＤＰＢから復号化されたピクチャが出力されてこそ、復号化されたピクチャを表示することができる。しかし、そのようにバ、ンピング処理を介して復号化されたピクチャを表示する場合、以前に復号化された参照ピクチャの出力が、バンピング処理時まで遅延されるという問題点が発生する。
【０１５３】
図１７は、本発明に係わる、ビデオコーデック分野で、バンピング過程によってＤＰＢから復号化されたピクチャが出力される過程を示した図面である。図１７でＤＰＢの最大サイズ（ＭａｘＤｐｂSize）は４、すなわち、ＤＰＢは、最大４個の復号化されたピクチャを保存することができる場合であると仮定する。
【０１５４】
図１７を参照すれば、従来のビデオコーデック分野では、真っ先にデコーディングされたＩ０ピクチャが、デコーディング順序上、真っ先に復号化されたにもかかわらず、Ｉ０ピクチャより４フレーム後に復号化されるＰ４フレームがＤＰＢに保存されなければならない場合、バンピング処理を介して、Ｉ０ピクチャがＤＰＢから出力されて表示される。従って、Ｉ０ピクチャの場合、復号化時点から、４フレーム遅延されて出力される。
【０１５５】
従って、本発明の一実施形態による映像復号化装置２００は、映像シーケンス内の任意のフレームより、表示順序上先立つが、復号化順序においては、後にある映像フレームの最大個数を示す最大遅延フレーム・シンタックス（MaxLatencyFrames）を利用して、ＤＰＢに保存される各復号化されたピクチャごとに、ＤＰＢが保存された瞬間から所定の遅延パラメータを設定し、復号化順序によって、映像シーケンス内の各ピクチャを復号化するたびに、ＤＰＢに保存された復号化されたピクチャの遅延パラメータのカウントを１ずつ増加させ、遅延パラメータのカウントが、最大遅延フレーム・シンタックス（MaxLatencyFrames）に逹した復号化されたピクチャをＤＰＢから出力することにより、バンピング過程なしに、ＤＰＢから復号化されたピクチャがさらに迅速に出力されるようにする。すなわち、映像復号化装置２００は、復号化されたピクチャをＤＰＢに保存するとき、ＤＰＢに保存される復号化されたピクチャに、最初に遅延パラメータとして０を割り当て、復号化順序によって、次のピクチャを一つずつ復号化するたびに、ＤＰＢに保存された復号化されたピクチャの遅延パラメータを１ずつ増加させる。そして、ＤＰＢは、保存されている復号化されたピクチャの遅延パラメータと、最大遅延フレーム・シンタックス（MaxLatencyFrames）とを比較し、その遅延パラメータが最大遅延フレーム・シンタックス（MaxLatencyFrames）と同一値を有する復号化されたピクチャをＤＰＢから出力する。
【０１５６】
例えば、最大遅延フレーム・シンタックス（MaxLatencyFrames）が、ｎ（ｎは定数）であるとすれば、復号化順序上、最も先に復号化されてＤＰＢに保存される復号化ピクチャには、遅延パラメータとして０の値が割り当てられる。そして、復号化順序によって、その後の符号化されたピクチャを復号化することにより、最初に復号化されたピクチャの遅延パラメータの値は、１ずつ増加し、その遅延パラメータの値がｎに逹すれば、すなわち、最初復号化されたピクチャ以後、復号化順序上ｎ番目に復号化されるピクチャを復号化した後、ＤＰＢに最初に保存された復号化されたピクチャは、ＤＰＢから出力される。
【０１５７】
図１８は、本発明の一実施形態による、最大遅延フレーム・シンタックス（MaxLatencyFrames）を利用して、ＤＰＢで復号化されたピクチャを出力する過程について説明する図面である。図１８で、ＤＰＢの最大サイズ（ＭａｘＤｐｂSize）は４、すなわち、ＤＰＢは、最大４個の復号化されたピクチャを保存することができ、最大遅延フレーム・シンタックス（MaxLatencyFrames）が０であると仮定する。
【０１５８】
図１８を参照すれば、最大遅延フレーム・シンタックス（MaxLatencyFrames）が０の値を有するので、映像復号化装置２００は、復号化されたピクチャを即座に出力することができる。図１８では、最も極端な場合として、最大遅延フレーム・シンタックス（MaxLatencyFrames）が０である値を有する場合を例示したが、最大遅延フレーム・シンタックス（MaxLatencyFrames）が４より小さい値を有する場合であるならば、ＤＰＢから、バンピング処理過程によって、復号化時点から４フレーム遅延されて出力される場合に比べ、復号化されたピクチャがＤＰＢから出力される時点を前倒しすることができる。
【０１５９】
一方、最大遅延フレーム・シンタックス（MaxLatencyFrames）が小さい値を有するほど、ＤＰＢから復号化されたピクチャの出力時点は前倒しされるが、ＤＰＢに保存された復号化されたピクチャは、符号化器で決定された表示順序と同一表示順序によって表示されなければならないので、以前に復号化された場合でも、その表示順序に逹するまでは、ＤＰＢから出力されてはならない。
【０１６０】
従って、映像符号化装置１００は、映像シーケンスを構成する各映像フレームを符号化するとき、各映像フレームの符号化順序及びその表示順序の差の最大値に基づいて、最大遅延フレームを示すシンタックス（MaxLatencyFrames）を決定し、決定されたシンタックス（MaxLatencyFrames）を、ＳＰＳの必須構成要素に含めて映像復号化装置２００に伝送する。
【０１６１】
また、映像符号化装置１００は、最大遅延フレーム・シンタックス（MaxLatencyFrames）を、直接にＳＰＳに含める代わりに、最大遅延フレーム・シンタックスを決定するための情報を示すシンタックスと、再整列が必要なフレームの個数を示すシンタックスとを最大遅延フレーム・シンタックス（MaxLatencyFrames）の代わりに、ＳＰＳに含めることができる。具体的には、映像符号化装置１００は、映像シーケンスの映像フレームのうち任意の映像フレームを基準に、符号化順序上、先に符号化され、その後符号化される映像フレームより、表示順序上後に表示され、再整列が必要な映像フレームの最大個数を示す再整列フレーム個数シンタックス（ｎｕｍ＿reorder＿frames）を決定し、最大遅延フレーム・シンタックス（MaxLatencyFrames）と、再整列フレーム個数シンタックス（ｎｕｍ＿reorder＿frame）との差値、すなわち、（MaxLatencyFrames−ｎｕｍ＿reorder＿frame）の値を、最大遅延フレーム・シンタックス（MaxLatencyFrames）を決定するための最大遅延フレーム・シンタックス（ｍａｘ＿latency＿increase）として、代わりにＳＰＳに含めてもよい。最大遅延フレーム・シンタックス（MaxLatencyFrames）の代わりに、再整列フレーム個数シンタックス（ｎｕｍ＿reorder＿frames）と、（MaxLatencyFrames−ｎｕｍ＿reorder＿frame）の値を示す最大遅延増加シンタックス（ｍａｘ＿latency＿increase）とがＳＰＳに含まれて伝送される場合、映像復号化装置２００は、（ｎｕｍ＿reorder＿frame＋ｍａｘ＿latency＿increase）の値を利用して、最大遅延フレーム・シンタックス（MaxLatencyFrames）を決定することができる。
【０１６２】
図１９Ａないし図１９Ｄは、本発明の一実施形態による、最大遅延フレーム・シンタックス（MaxLatencyFrames）及び再整列フレーム個数シンタックス（ｎｕｍ＿reorder＿frames）について説明するための図面である。図１９Ａないし図１９Ｄで、ＰＯＣ（picture  order  count）は、表示順序であり、符号化器及び復号化器において、映像シーケンスを構成する映像フレームを符号化する順序、及び復号化する順序は、同一である。また、図１９Ａないし図１９Ｄで、映像シーケンス内の各ピクチャ（Ｆ０ないしＦ９）の上に表示された矢印は、各ピクチャが参照する参照ピクチャを示す。
【０１６３】
図１９Ａを参照すれば、表示順序上、最も最後であり、符号化順序上、２番目に符号化されるＦ８ピクチャは、その表示順序と符号化順序との差値が最大であるピクチャである。また、Ｆ８ピクチャは、Ｆ１ピクチャないしＦ７ピクチャに比べ、先に符号化されるが、その表示順序上、Ｆ２ピクチャないしＦ７ピクチャに比べ、後にあって再整列が必要なピクチャに該当する。従って、図１９Ａに図示された映像シーケンスに対応する再整列フレーム個数シンタックス（ｎｕｍ＿reorder＿frame）は、１である。映像符号化装置１００は、Ｆ８ピクチャの表示順序と符号化順序との差値である７の値を最大遅延フレーム・シンタックス（MaxLatencyFrames）値に設定し、最大遅延フレーム・シンタックス（MaxLatencyFrames）値を、ＳＰＳの必須構成要素として付加し、映像復号化装置２００に伝送することができる。また、映像符号化装置１００は、最大遅延フレーム・シンタックス（MaxLatencyFrames）の値である８と、再整列フレーム個数シンタックス（ｎｕｍ＿reorder＿frame）の値である１との差値である７の値を、最大遅延増加シンタックス（ｍａｘ＿latency＿increase）の値として設定し、最大遅延フレーム・シンタックス（MaxLatencyFrames）の代りに、再整列フレーム個数シンタックス（ｎｕｍ＿reorder＿frame）及び最大遅延増加シンタックス（ｍａｘ＿latency＿increase）を、ＳＰＳの必須構成要素に含めて映像復号化装置２００に伝送することができる。
【０１６４】
映像復号化装置２００は、ＳＰＳに含まれて伝送された再整列フレーム個数シンタックス（ｎｕｍ＿reorder＿frame）及び最大遅延増加シンタックス（ｍａｘ＿latency＿increase）を加算し、最大遅延フレーム・シンタックス（MaxLatencyFrames）を決定し、最大遅延フレーム・シンタックス（MaxLatencyFrames）を利用して、ＤＰＢに保存された復号化されたピクチャの出力時点を、バンピング処理過程なしに決定することができる。
【０１６５】
図１９Ｂの映像シーケンスでは、Ｆ０ピクチャを除いた全てのピクチャの表示順序と符号化順序との差が１である。図１９Ｂの映像シーケンスのピクチャのうち、符号化順序は遅いが、表示順序が早いピクチャが存在するものとして、再整列の必要なピクチャは、Ｆ２ピクチャ、Ｆ４ピクチャ、Ｆ６ピクチャ、Ｆ８ピクチャである。Ｆ２ピクチャ、Ｆ４ピクチャ、Ｆ６ピクチャ、Ｆ８ピクチャを、それぞれ基準として、符号化順序は遅いが、表示順序が早いピクチャは、ただ一つである。例えば、Ｆ２ピクチャより符号化順序は遅いが、表示順序が早いピクチャは、Ｆ１ピクチャ一つだけが存在する。従って、図１９Ｂに図示された映像シーケンスの再整列フレーム個数シンタックス（ｎｕｍ＿reorder＿frame）は、１である。映像符号化装置１００は、最大遅延フレーム・シンタックス（MaxLatencyFrames）値として１を設定し、最大遅延フレーム・シンタックス（MaxLatencyFrames）値を、ＳＰＳの必須構成要素として付加し、映像復号化装置２００に伝送することができる。また、映像符号化装置１００は、最大遅延フレーム・シンタックス（MaxLatencyFrames）の値である１と、再整列フレーム個数シンタックス（ｎｕｍ＿reorder＿frame）の値である１との差値である０の値を、最大遅延増加シンタックス（ｍａｘ＿latency＿increase）の値として設定し、最大遅延フレーム・シンタックス（MaxLatencyFrames）の代りに、再整列フレーム個数シンタックス（ｎｕｍ＿reorder＿frame）及び最大遅延増加シンタックス（ｍａｘ＿latency＿increase）を、ＳＰＳの必須構成要素に含め、映像復号化装置２００に伝送することができる。
【０１６６】
映像復号化装置２００は、ＳＰＳに含まれて伝送された再整列フレーム個数シンタックス（ｎｕｍ＿reorder＿frame）及び最大遅延増加シンタックス（ｍａｘ＿latency＿increase）を加算し、最大遅延フレーム・シンタックス（MaxLatencyFrames）を決定し、最大遅延フレーム・シンタックス（MaxLatencyFrames）を利用して、ＤＰＢに保存された復号化されたピクチャの出力時点を、バンピング処理過程なしに決定することができる。
【０１６７】
図１９Ｃの映像シーケンスで、表示順序上最も最後でありながら、符号化順序上、２番目に符号化されるＦ８ピクチャは、その表示順序と符号化順序との差値が７であり、最大のピクチャである。従って、最大遅延フレーム・シンタックス（MaxLatencyFrames）は、７である。また、Ｆ４ピクチャ及びＦ８ピクチャは、復号化順序上、Ｆ１ピクチャないしＦ３ピクチャより先に符号化され、ＤＰＢに保存されるが、表示順序上、Ｆ１ピクチャないしＦ３ピクチャより遅く表示されて再整列されなければならないピクチャであり、再整列フレーム個数シンタックス（ｎｕｍ＿reorder＿frame）は、２である。映像符号化装置１００は、最大遅延フレーム・シンタックス（MaxLatencyFrames）値として７を設定し、最大遅延フレーム・シンタックス（MaxLatencyFrames）値を、ＳＰＳの必須構成要素として付加し、映像復号化装置２００に伝送することができる。また、映像符号化装置１００は、最大遅延フレーム・シンタックス（MaxLatencyFrames）の値である７と、再整列フレーム個数シンタックス（ｎｕｍ＿reorder＿frame）の値である２との差値である５の値を、最大遅延増加シンタックス（ｍａｘ＿latency＿increase）の値として設定し、最大遅延フレーム・シンタックス（MaxLatencyFrames）の代りに、再整列フレーム個数シンタックス（ｎｕｍ＿reorder＿frame）及び最大遅延増加シンタックス（ｍａｘ＿latency＿increase）を、ＳＰＳの必須構成要素に含め、映像復号化装置２００に伝送することができる。
【０１６８】
映像復号化装置２００は、ＳＰＳに含まれて伝送された再整列フレーム個数シンタックス（ｎｕｍ＿reorder＿frame）及び最大遅延増加シンタックス（ｍａｘ＿latency＿increase）を加算し、最大遅延フレーム・シンタックス（MaxLatencyFrames）を決定し、最大遅延フレーム・シンタックス（MaxLatencyFrames）を利用して、ＤＰＢに保存された復号化されたピクチャの出力時点を、バンピング処理過程なしに決定することができる。
【０１６９】
図１９Ｄの映像シーケンスで、Ｆ４ピクチャ及びＦ８ピクチャは、その表示順序と符号化順序との差値が最大値である３の値を有するピクチャである。従って、最大遅延フレーム・シンタックス（MaxLatencyFrames）は、３である。また、Ｆ１ピクチャに比べ、先に復号化されたＦ２ピクチャ及びＦ４ピクチャは、Ｆ１ピクチャより表示順序が遅れて再整列されなければならないピクチャである。また、Ｆ５ピクチャに比べ、先に復号化されたＦ６ピクチャ及びＦ８ピクチャは、表示順序上、Ｆ５ピクチャより遅く表示されて再整列されなければならないピクチャである。従って、再整列フレーム個数シンタックス（ｎｕｍ＿reorder＿frame）は、２である。映像符号化装置１００は、最大遅延フレーム・シンタックス（MaxLatencyFrames）値として３を設定し、最大遅延フレーム・シンタックス（MaxLatencyFrames）値を、ＳＰＳの必須構成要素として付加し、映像復号化装置２００に伝送することができる。また、映像符号化装置１００は、最大遅延フレーム・シンタックス（MaxLatencyFrames）の値である３と、再整列フレーム個数シンタックス（ｎｕｍ＿reorder＿frame）の値である２との差値である１の値を、最大遅延増加シンタックス（ｍａｘ＿latency＿increase）の値として設定し、最大遅延フレーム・シンタックス（MaxLatencyFrames）の代りに、再整列フレーム個数シンタックス（ｎｕｍ＿reorder＿frame）及び最大遅延増加シンタックス（ｍａｘ＿latency＿increase）を、ＳＰＳの必須構成要素に含め、映像復号化装置２００に伝送することができる。
【０１７０】
映像復号化装置２００は、ＳＰＳに含まれて伝送された再整列フレーム個数シンタックス（ｎｕｍ＿reorder＿frame）及び最大遅延増加シンタックス（ｍａｘ＿latency＿increase）を加算し、最大遅延フレーム・シンタックス（MaxLatencyFrames）を決定し、最大遅延フレーム・シンタックス（MaxLatencyFrames）を利用して、ＤＰＢに保存された復号化されたピクチャの出力時点を、バンピング処理過程なしに決定することができる。
【０１７１】
図２０は、本発明の一実施形態による映像符号化方法を示したフローチャートである。図２０を参照すれば、段階２０１０で、映像符号化装置１００のＶＣＬ階層での符号化を行う最大符号化単位分割部１１０及び符号化単位決定部１２０（以下、「符号化部」と総称する）は、動き予測及び動き補償を行い、映像シーケンスを構成する各映像フレームの参照フレームを決定し、決定された参照フレームを利用して、各映像フレームを符号化する。
【０１７２】
段階２０２０で、出力部１３０は、各映像フレームの符号化順序、各映像フレームが参照する参照フレームの符号化順序、各映像フレームの表示順序、及び前記参照フレームの表示順序に基づいて、復号化器において、各映像フレームを復号化するのに必要なバッファの最大サイズ、及び再整列が必要な映像フレームの個数を決定する。具体的には、出力部１３０は、各映像フレームの符号化順序（または復号化順序）、及び各映像フレームが参照する参照フレームの符号化順序（または復号化順序）に基づいて、復号化器において、各映像フレームを復号化するのに必要なＤＰＢの最大サイズを示す最大復号フレームバッファリング・シンタックス（ｍａｘ＿ｄｅｃ＿frame＿buffering）を決定し、最大復号フレームバッファリング・シンタックス（ｍａｘ＿ｄｅｃ＿frame＿buffering）を、映像シーケンスのヘッダ情報に該当するＳＰＳに含め、符号化器に伝送する。前述のように、出力部１３０は、最大復号フレームバッファリング・シンタックス（ｍａｘ＿ｄｅｃ＿frame＿buffering）を、選択的な情報ではない必須な（mandatory）情報としてＳＰＳに含める。
【０１７３】
段階２０３０で、出力部１３０は、再整列が必要な映像フレームの個数に基づいて、映像シーケンスを構成する映像フレームのうち、符号化順序と表示順序との差が最大である映像フレームの遅延情報を決定する。具体的には、出力部１３０は、映像シーケンスを構成する各映像フレームを符号化するとき、各映像フレームの符号化順序及びその表示順序の差の最大値に基づいて、最大遅延フレームを示すシンタックス（MaxLatencyFrames）を決定する。また、出力部１３０は、映像シーケンスの映像フレームのうち任意の映像フレームを基準に、符号化順序上、先に符号化され、その後符号化される映像フレームより、表示順序上後に表示され、再整列が必要な映像フレームの最大個数を示す再整列フレーム個数シンタックス（ｎｕｍ＿reorder＿frames）を決定し、最大遅延フレーム・シンタックス（MaxLatencyFrames）と、再整列フレーム個数シンタックス（ｎｕｍ＿reorder＿frame）との差値、すなわち、（MaxLatencyFrames−ｎｕｍ＿reorder＿frame）の値を、最大遅延フレーム・シンタックス（MaxLatencyFrames）を決定するための最大遅延フレーム・シンタックス（ｍａｘ＿latency＿increase）としてＳＰＳに含めることができる。最大遅延フレーム・シンタックス（MaxLatencyFrames）の代わりに、再整列フレーム個数シンタックス（ｎｕｍ＿reorder＿frames）と、（MaxLatencyFrames−ｎｕｍ＿reorder＿frame）の値を示す最大遅延増加シンタックス（ｍａｘ＿latency＿increase）とがＳＰＳに含まれて伝送される場合、映像復号化装置２００は、（ｎｕｍ＿reorder＿frame＋ｍａｘ＿latency＿increase）の値を利用して、最大遅延フレーム・シンタックス（MaxLatencyFrames）を決定することができる。
【０１７４】
段階２０４０で、出力部１３０は、バッファの最大サイズを示す最大復号フレームバッファリング・シンタックス（ｍａｘ＿ｄｅｃ＿frame＿buffering）、再整列が必要な映像フレームの個数を示す再整列フレーム個数シンタックス（ｎｕｍ＿reorder＿frames）、及び最大遅延フレーム・シンタックス（MaxLatencyFrames）情報を決定するための最大遅延増加シンタックス（ｍａｘ＿latency＿increase）を、ＳＰＳの必須構成要素に含め、ビットストリームを生成する。
【０１７５】
図２１は、本発明の一実施形態による映像復号化方法を示したフローチャートである。図２１を参照すれば、段階２１１０で、映像データ及び符号化情報抽出部２２０は、ビットストリームから、ネットワーク抽象階層のＮＡＬ単位を獲得し、ＳＰＳを含んでいるＮＡＬ単位からバッファの最大サイズを示す最大復号フレームバッファリング・シンタックス（ｍａｘ＿ｄｅｃ＿frame＿buffering）、再整列が必要な映像フレームの個数を示す再整列フレーム個数シンタックス（ｎｕｍ＿reorder＿frames）、及び最大遅延フレーム・シンタックス（MaxLatencyFrames）情報を決定するための最大遅延増加シンタックス（ｍａｘ＿latency＿increase）を獲得する。
【０１７６】
段階２１２０で、映像データ復号化部２３０に含まれたＤＰＢは、最大復号フレームバッファリング・シンタックス（ｍａｘ＿ｄｅｃ＿frame＿buffering）を利用して、映像シーケンスを復号化するのに必要なバッファの最大サイズを設定する。
【０１７７】
段階２１３０で、映像データ及び符号化情報抽出部２２０は、ＶＣＬ  ＮＡＬ単位に含まれた映像フレームを符号化した符号化されたデータを獲得し、獲得された符号化されたデータを、映像データ復号化部２３０に出力する。映像データ復号化部２３０は、符号化された映像データを復号化し、復号化された映像フレームを獲得する。
【０１７８】
段階２１４０で、映像データ復号化部２３０に含まれたＤＰＢは、復号化された映像フレームを保存する。
【０１７９】
段階２１５０で、ＤＰＢは、再整列フレーム個数シンタックス（ｎｕｍ＿reorder＿frames）及び最大遅延増加シンタックス（ｍａｘ＿latency＿increase）を利用して、保存された復号化されたピクチャの出力いかんを決定する。具体的には、ＤＰＢは、再整列フレーム個数シンタックス（ｎｕｍ＿reorder＿frames）及び最大遅延増加シンタックス（ｍａｘ＿latency＿increase）を加算し、最大遅延フレーム・シンタックス（MaxLatencyFrames）を決定する。ＤＰＢは、保存される各復号化されたピクチャごとに、所定の遅延パラメータを設定し、復号化順序によって、映像シーケンス内の各ピクチャを復号化するたびに、ＤＰＢに保存された復号化されたピクチャの遅延パラメータのカウントを１ずつ増加させ、遅延パラメータのカウントが最大遅延フレーム・シンタックス（MaxLatencyFrames）に逹した復号化されたピクチャを出力する。
【０１８０】
本発明はまた、コンピュータで読み取り可能な記録媒体に、コンピュータで読み取り可能なコードとして具現することが可能である。コンピュータで読み取り可能な記録媒体は、コンピュータシステムによって読み取り可能なデータが保存される全種の記録装置を含む。コンピュータで読み取り可能な記録媒体の例としては、ＲＯＭ（read-only  memory）、ＲＡＭ（random-access  memory）、ＣＤ（compact  disc）−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光データ保存装置などが含まれる。また、コンピュータで読み取り可能な記録媒体は、ネットワークに連結されたコンピュータシステムに分散され、分散方式で、コンピュータで読み取り可能なコードとして保存されて実行される。
【０１８１】
以上、本発明について、その望ましい実施形態を中心に説明した。本発明が属する技術分野で当業者であるならば、本発明が、本発明の本質的な特性からはずれない範囲で変形された形態で具現されるということを理解することができるであろう。本発明の範囲は、前述の説明ではなく、特許請求の範囲に示されており、それと同等な範囲内にある全ての差異は、本発明に含まれたものであると解釈されなければならないのである。
【図１】
2014533917.tif 000006
【図２】
2014533917.tif 000007
【図３】
2014533917.tif 000008
【図４】
2014533917.tif 000009
【図５】
2014533917.tif 000010
【図６】
2014533917.tif 000011
【図７】
2014533917.tif 000012
【図８】
2014533917.tif 000013
【図９】
2014533917.tif 000014
【図１０】
2014533917.tif 000015
【図１１】
2014533917.tif 000016
【図１２】
2014533917.tif 000017
【図１３】
2014533917.tif 000018
【図１４】
2014533917.tif 000019
【図１５】
2014533917.tif 000020
【図１６Ａ】
2014533917.tif 000021
【図１６Ｂ】
2014533917.tif 000022
【図１７】
2014533917.tif 000023
【図１８】
2014533917.tif 000024
【図１９Ａ】
2014533917.tif 000025
【図１９Ｂ】
2014533917.tif 000026
【図１９Ｃ】
2014533917.tif 000027
【図１９Ｄ】
2014533917.tif 000028
【図２０】
2014533917.tif 000029
【図２１】
2014533917.tif 000030
【国際調査報告】
2014533917.tif 000031
2014533917.tif 000032
2014533917.tif 000033
2014533917.tif 000034
2014533917.tif 000035
2014533917.tif 000036