(57)【要約】  スケーラブルビデオ符号化／復号化のために、アップサンプリング倍率によってサンプリング位置別に正確にサンプル値を補間するためにアップサンプリングフィルタを決定する方法に係り、該スケーラブルビデオ符号化のためのアップサンプリング方法は、高解像度映像と低解像度映像との倍率に基づいて、低解像度映像のピクセルと、高解像度映像のピクセルとの位相差を決定し、位相差別に対応するフィルタ係数セットを含むフィルタ係数データのうちから、位相差に対応する少なくとも１つのフィルタ係数セットを選択し、低解像度映像に対してフィルタリングを行い、高解像度映像を生成し、高解像度映像に対して符号化を行って生成された高解像度符号化情報、及び位相差を示すアップサンプリングフィルタ情報を含む向上レイヤビットストリームを生成する。
2016502379.tif 000002
【特許請求の範囲】
【請求項１】
スケーラブルビデオ符号化のためのアップサンプリング方法において、
高解像度映像と低解像度映像との倍率に基づいて、前記低解像度映像のピクセルと、前記高解像度映像のピクセルとの位相差を決定する段階と、
位相差別に対応するフィルタ係数セットを含むフィルタ係数データのうちから、前記決定された位相差に対応する少なくとも１つのフィルタ係数セットを選択する段階と、
前記選択されたフィルタ係数セットを利用して、前記低解像度映像に対してフィルタリングを行い、前記高解像度映像を生成する段階と、
前記高解像度映像に対して符号化を行って生成された高解像度符号化情報、及び前記決定された位相差を示すアップサンプリングフィルタ情報を含む向上レイヤビットストリームを生成する段階と、を含むことを特徴とするアップサンプリング方法。
【請求項２】
前記高解像度映像を生成する段階は、
前記フィルタ係数データが、位相差間隔１／１６による位相差に対応するフィルタ係数セットを含むとき、前記倍率が２：３である場合、ｉ）前記決定された位相差が１／３であるアップサンプリングのために、前記フィルタ係数データにおいて、位相差５／１６に対応するフィルタ係数セットを利用し、ｉｉ）前記決定された位相差が２／３であるアップサンプリングのために、前記フィルタ係数データにおいて、位相差１１／１６に対応するフィルタ係数セットを利用してフィルタリングを行う段階を含むことを特徴とする請求項１に記載のアップサンプリング方法。
【請求項３】
前記高解像度映像を生成する段階は、
前記フィルタ係数データが、位相差間隔１／８による位相差に対応するフィルタ係数セットを含むとき、前記倍率が２：３である場合、ｉ）前記決定された位相差が１／３であるアップサンプリングのために、前記フィルタ係数データにおいて、位相差３／８に対応するフィルタ係数セットを利用し、ｉｉ）前記決定された位相差が２／３であるアップサンプリングのために、前記フィルタ係数データにおいて、位相差５／８に対応するフィルタ係数セットを利用してフィルタリングを行う段階を含むことを特徴とする請求項１に記載のアップサンプリング方法。
【請求項４】
前記位相差を決定する段階は、
前記倍率に基づいて、前記低解像度映像のルマピクセルと、前記高解像度映像のルマピクセルとの位相差を決定する段階と、
カラーフォーマットに基づいて、前記高解像度映像のルマピクセルの位置に対して、前記高解像度映像のクロマピクセルの位置を決定し、前記低解像度映像のクロマ成分ピクセルと、前記位置が決定された高解像度映像のクロマピクセルとの位相差を決定する段階と、を含むことを特徴とする請求項１に記載のアップサンプリング方法。
【請求項５】
前記向上レイヤビットストリームを生成する段階は、
ＳＰＳ（sequence  parameter  set）、ＰＰＳ（picture  parameter  set）及びスライスセグメントヘッダのうち少なくとも一つに、前記アップサンプリングフィルタ情報を収録する段階を含むことを特徴とする請求項１に記載のアップサンプリング方法。
【請求項６】
スケーラブルビデオ復号化のためのアップサンプリング方法において、
向上レイヤビットストリームから、高解像度映像と低解像度映像との倍率に基づいて決定される前記低解像度映像のピクセルと、高解像度映像のピクセルとの位相差を示すアップサンプリングフィルタ情報を獲得する段階と、
位相差別に対応するフィルタ係数セットを含むフィルタ係数データのうちから、前記アップサンプリングフィルタ情報から決定される位相差に対応する少なくとも１つのフィルタ係数セットを選択する段階と、
前記選択されたフィルタ係数セットを利用して、前記低解像度映像に対してフィルタリングを行い、前記高解像度映像を生成する段階と、を含むことを特徴とするアップサンプリング方法。
【請求項７】
前記高解像度映像を生成する段階は、
前記フィルタ係数データが、位相差間隔１／１６による位相差に対応するフィルタ係数セットを含むとき、前記倍率が２：３である場合、ｉ）前記決定された位相差が１／３であるアップサンプリングのために、前記フィルタ係数データにおいて、位相差５／１６に対応するフィルタ係数セットを利用し、ｉｉ）前記決定された位相差が２／３であるアップサンプリングのために、前記フィルタ係数データにおいて、位相差１１／１６に対応するフィルタ係数セットを利用してフィルタリングを行う段階を含むことを特徴とする請求項６に記載のアップサンプリング方法。
【請求項８】
前記高解像度映像を生成する段階は、
前記フィルタ係数データが、位相差間隔１／８による位相差に対応するフィルタ係数セットを含むとき、前記倍率が２：３である場合、ｉ）前記決定された位相差が１／３であるアップサンプリングのために、前記フィルタ係数データにおいて、位相差３／８に対応するフィルタ係数セットを利用し、ｉｉ）前記決定された位相差が２／３であるアップサンプリングのために、前記フィルタ係数データにおいて、位相差５／８に対応するフィルタ係数セットを利用してフィルタリングを行う段階を含むことを特徴とする請求項６に記載のアップサンプリング方法。
【請求項９】
前記フィルタ係数セットを選択する段階は、
前記アップサンプリングフィルタ情報から、前記低解像度映像のルマピクセルと、前記高解像度映像のルマピクセルとの位相差を獲得する段階と、
前記アップサンプリングフィルタ情報から、前記低解像度映像のクロマ成分ピクセルと、前記高解像度映像のクロマ成分ピクセルとの位相差を獲得する段階と、を含み、
カラーフォーマットに基づいて、前記高解像度映像のルマピクセルの位置に対して、前記高解像度映像のクロマピクセルの位置が決定されるとき、前記獲得されたクロマ成分ピクセル間の位相差は、前記低解像度映像のクロマ成分ピクセルと、前記高解像度映像のクロマピクセルとの位相差を示すことを特徴とする請求項６に記載のアップサンプリング方法。
【請求項１０】
前記アップサンプリングフィルタ情報を獲得する段階は、
前記向上レイヤビットストリームにおいて、ＳＰＳ（sequence  parameter  set）、ＰＰＳ（picture  parameter  set）及びスライスセグメントヘッダのうち少なくとも一つから、前記アップサンプリングフィルタ情報を獲得する段階を含むことを特徴とする請求項６に記載のアップサンプリング方法。
【請求項１１】
スケーラブルビデオ符号化装置において、
位相差別に対応するフィルタ係数セットが収録されるフィルタ係数データ保存部と、
低解像度映像に対応する高解像度映像と前記低解像度映像との倍率に基づいて、前記低解像度映像のピクセルと、前記高解像度映像のピクセルとの位相差を決定し、前記フィルタ係数データにおいて前記決定された位相差に対応する少なくとも１つのフィルタ係数セットを選択するフィルタ選択部と、
前記選択されたフィルタ係数セットを利用して、前記低解像度映像に対してフィルタリングを行い、前記高解像度映像を生成するアップサンプリング部と、
前記低解像度映像に対して符号化を行って生成された低解像度符号化情報を含む基本レイヤビットストリームを生成する基本レイヤ符号化部と、
前記高解像度映像に対して符号化を行って生成された高解像度符号化情報、及び前記決定された位相差を示すアップサンプリングフィルタ情報を含む向上レイヤビットストリームを生成する向上レイヤ符号化部と、を含むことを特徴とするスケーラブルビデオ符号化装置。
【請求項１２】
スケーラブルビデオ復号化装置において、
位相差別に対応するフィルタ係数セットが収録されるフィルタ係数データ保存部と、
向上レイヤビットストリームから、高解像度映像と低解像度映像との倍率に基づいて決定される前記低解像度映像のピクセルと、高解像度映像のピクセルとの位相差を示すアップサンプリングフィルタ情報と、高解像度符号化情報とを獲得する向上レイヤ受信部と、
前記フィルタ係数データのうちから、前記アップサンプリングフィルタ情報から決定される位相差に対応する少なくとも１つのフィルタ係数セットを選択するフィルタ選択部と、
前記選択されたフィルタ係数セットを利用して、前記低解像度映像に対してフィルタリングを行い、前記高解像度映像を生成し、前記生成された高解像度映像、及び前記獲得された高解像度符号化情報を利用して、前記高解像度映像を復号化する向上レイヤ復号化部と、
基本レイヤビットストリームから獲得された低解像度符号化情報を利用して、前記低解像度映像を復号化する基本レイヤ復号化部と、を含むことを特徴とするスケーラブルビデオ復号化装置。
【請求項１３】
請求項１に記載のスケーラブルビデオ符号化のためのアップサンプリング方法を具現するためのプログラムが記録されたコンピュータで読み取り可能な記録媒体。
【請求項１４】
請求項６に記載のスケーラブルビデオ復号化のためのアップサンプリング方法を具現するためのプログラムが記録されたコンピュータで読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像アップサンプリングを介するビデオ符号化／復号化方法及びその装置に関する。
【背景技術】
【０００２】
従来技術による映像符号化、復号化方法では、映像を符号化するために、１枚のピクチャをマクロブロックに分割する。その後、インター予測（inter  prediction）またはイントラ予測（intra  prediction）を利用して、それぞれのマクロブロックを予測符号化する。
【０００３】
インター予測は、ピクチャ間の時間的な重複性を除去して映像を圧縮する方法であり、動き推定符号化が代表的な例である。動き推定符号化は、少なくとも１枚の参照ピクチャを利用して、現在ピクチャのブロックをそれぞれ予測する。所定の評価関数を利用して、現在ブロックと最も類似した参照ブロックを所定の検索範囲で検索する。
【０００４】
現在ブロックを参照ブロックに基づいて予測し、現在ブロックから、予測結果として生成された予測ブロックを減算して生成されたレジデュアルブロックを符号化する。このとき、予測をさらに正確に行うために、参照ピクチャの検索範囲に対して補間を行い、画素単位（integer  pel  unit）より小さいピクセル単位のサブピクセルを生成し、生成されたサブピクセルに基づいてインター予測を行う。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明は、アップサンプリング倍率によって、サンプリング位置別に正確にサンプル値を補間するために、アップサンプリングフィルタを決定する方法を提案する。また、スケーラビリティ倍率によって選択された正確なアップサンプリングフィルタを利用して、低解像度映像から高解像度予測映像を生成し、インターレイヤ予測を行うスケーラブルビデオ符号化方法及びスケーラブルビデオ復号化方法を提案する。
【課題を解決するための手段】
【０００６】
多様な実施形態による、スケーラブルビデオ符号化のためのアップサンプリング方法は、高解像度映像と低解像度映像との倍率（scaling  factor）に基づいて、前記低解像度映像のピクセルと、前記高解像度映像のピクセルとの位相差（phase-shift）を決定する段階と、位相差別に対応するフィルタ係数セットを含むフィルタ係数データのうちから、前記決定された位相差に対応する少なくとも１つのフィルタ係数セットを選択する段階と、前記選択されたフィルタ係数セットを利用して、前記低解像度映像に対してフィルタリングを行い、前記高解像度映像を生成する段階と、前記高解像度映像に対して符号化を行って生成された高解像度符号化情報、及び前記決定された位相差を示すアップサンプリングフィルタ情報を含む向上レイヤビットストリームを生成する段階と、を含む。
【発明の効果】
【０００７】
現在アップサンプリング倍率によるサンプリング位置に対応する位相差が特定され、当該位相差に位置するサンプリング位置のサンプル値を決定するためのフィルタ係数が正確に決定されるならば、フィルタ係数を利用したフィルタリングを介して正確なサンプリング位置のサンプル値も正確に決定される。
【図面の簡単な説明】
【０００８】
【図１】多様な実施形態による映像アップサンプリング装置のブロック図である。
【図２】ピクセルのサンプリング位置を図示する図面である。
【図３】原本ピクセルとサンプリング位置との位相差（phase-shift）を図示する図面である。
【図４Ａ】アップサンプリング・フィルタリングのための参照ピクセルの位置を図示する図面である。
【図４Ｂ】アップサンプリング・フィルタリングのための参照ピクセルの位置を図示する図面である。
【図５】４：２：０カラーフォーマットにおいて、低解像度映像のルマピクセルとクロマピクセルとの分布を図示する図面である。
【図６】４：２：０カラーフォーマットの低解像度映像と高解像度映像との倍率が２である場合、低解像度／高解像度ルマピクセルと低解像度／高解像度クロマピクセルとの分布を図示する図面である。
【図７】４：２：０カラーフォーマットの低解像度映像と高解像度映像との倍率が１．５である場合、低解像度／高解像度ルマピクセルと低解像度／高解像度クロマピクセルとの分布を図示する図面である。
【図８】フィルタ係数を選択するための周波数回答曲線のグラフを図示する図面である。
【図９】フィルタ係数を選択するための周波数回答曲線のグラフを図示する図面である。
【図１０】多様な実施形態による、１／１６単位の位相差間隔に対応するアップサンプリング倍率を図示する図面である。
【図１１】多様な実施形態による、位相差間隔１／１６である８タップアップサンプリングフィルタ係数を図示する図面である。
【図１２Ａ】多様な実施形態によるスケーラブルビデオ符号化装置のブロック図である。
【図１２Ｂ】多様な実施形態によるスケーラブルビデオ復号化装置のブロック図である。
【図１３Ａ】多様な実施形態によるスケーラブルビデオ符号化方法のフローチャートである。
【図１３Ｂ】多様な実施形態によるスケーラブルビデオ復号化方法のフローチャートである。
【図１４】多様な実施形態によるスケーラブルビデオ符号化システムのブロック図である。
【図１５Ａ】多様な実施形態による、ツリー構造の符号化単位に基づいたビデオ符号化装置のブロック図である。
【図１５Ｂ】多様な実施形態による、ツリー構造の符号化単位に基づいたビデオ復号化装置のブロック図である。
【図１６】多様な実施形態による符号化単位の概念を図示する図面である。
【図１７Ａ】多様な実施形態による、符号化単位に基づいた映像符号化部のブロック図である。
【図１７Ｂ】多様な実施形態による、符号化単位に基づいた映像復号化部のブロック図である。
【図１８】多様な実施形態による、深度別符号化単位及びパーティションを図示する図面である。
【図１９】多様な実施形態による、符号化単位及び変換単位の関係を図示する図面である。
【図２０】多様な実施形態による深度別符号化情報を図示する図面である。
【図２１】多様な実施形態による深度別符号化単位を図示する図面である。
【図２２】多様な実施形態による、符号化単位、予測単位及び変換単位の関係を図示する図面である。
【図２３】多様な実施形態による、符号化単位、予測単位及び変換単位の関係を図示する図面である。
【図２４】多様な実施形態による、符号化単位、予測単位及び変換単位の関係を図示する図面である。
【図２５】表２の符号化モード情報による、符号化単位、予測単位及び変換単位の関係を図示する図面である。
【図２６】多様な実施形態による、プログラムが保存されたディスクの物理的構造を例示する図面である。
【図２７】ディスクを利用してプログラムを記録して読み取るためのディスクドライブを図示する図面である。
【図２８】コンテンツ流通サービス（content  distribution  service）を提供するためのコンテンツ供給システム（content  supply  system）の全体的構造を図示する図面である。
【図２９】多様な実施形態による、ビデオ符号化方法及びビデオ復号化方法が適用される携帯電話の外部構造を図示する図面である。
【図３０】多様な実施形態による、ビデオ符号化方法及びビデオ復号化方法が適用される携帯電話の内部構造を図示する図面である。
【図３１】多様な実施形態による、通信システムが適用されたデジタル放送システムを図示する図面である。
【図３２】多様な実施形態によるビデオ、符号化装置及びビデオ復号化装置を利用するクラウドコンピューティングシステムのネットワーク構造を図示する図面である。
【発明を実施するための形態】
【０００９】
多様な実施形態による、スケーラブルビデオ符号化のためのアップサンプリング方法は、高解像度映像と低解像度映像との倍率（scaling  factor）に基づいて、前記低解像度映像のピクセルと、前記高解像度映像のピクセルとの位相差（phase-shift）を決定する段階と、位相差別に対応するフィルタ係数セットを含むフィルタ係数データのうちから、前記決定された位相差に対応する少なくとも１つのフィルタ係数セットを選択する段階と、前記選択されたフィルタ係数セットを利用して、前記低解像度映像に対してフィルタリングを行い、前記高解像度映像を生成する段階と、前記高解像度映像に対して符号化を行って生成された高解像度符号化情報、及び前記決定された位相差を示すアップサンプリングフィルタ情報を含む向上レイヤビットストリームを生成する段階と、を含む。
【００１０】
多様な実施形態による前記高解像度映像を生成する段階は、前記フィルタ係数データが、位相差間隔１／１６による位相差に対応するフィルタ係数セットを含むとき、前記倍率が２：３である場合、ｉ）前記決定された位相差が１／３であるアップサンプリングのために、前記フィルタ係数データにおいて、位相差５／１６に対応するフィルタ係数セットを利用し、ｉｉ）前記決定された位相差が２／３であるアップサンプリングのために、前記フィルタ係数データにおいて、位相差１１／１６に対応するフィルタ係数セットを利用してフィルタリングを行う段階を含んでもよい。
【００１１】
多様な実施形態による前記高解像度映像を生成する段階は、前記フィルタ係数データが、位相差間隔１／８による位相差に対応するフィルタ係数セットを含むとき、前記倍率が２：３である場合、ｉ）前記決定された位相差が１／３であるアップサンプリングのために、前記フィルタ係数データにおいて、位相差３／８に対応するフィルタ係数セットを利用し、ｉｉ）前記決定された位相差が２／３であるアップサンプリングのために、前記フィルタ係数データにおいて、位相差５／８に対応するフィルタ係数セットを利用してフィルタリングを行う段階を含んでもよい。
【００１２】
多様な実施形態による前記位相差を決定する段階は、前記倍率に基づいて、前記低解像度映像のルマピクセルと、前記高解像度映像のルマピクセルとの位相差を決定する段階と、カラーフォーマットに基づいて、前記高解像度映像のルマピクセルの位置に対して、前記高解像度映像のクロマピクセルの位置を決定し、前記低解像度映像のクロマ成分ピクセルと、前記位置が決定された高解像度映像のクロマピクセルとの位相差を決定する段階と、を含んでもよい。
【００１３】
多様な実施形態による前記向上レイヤビットストリームを生成する段階は、ＳＰＳ（sequence  parameter  set）、ＰＰＳ（picture  parameter  set）及びスライスセグメントヘッダ（slice  segment  header）のうち少なくとも一つに、前記アップサンプリングフィルタ情報を収録する段階を含んでもよい。
【００１４】
多様な実施形態による、スケーラブルビデオ復号化のためのアップサンプリングを行う方法は、向上レイヤビットストリームから、高解像度映像と低解像度映像との倍率に基づいて決定される前記低解像度映像のピクセルと、高解像度映像のピクセルとの位相差を示すアップサンプリングフィルタ情報を獲得する段階と、位相差別に対応するフィルタ係数セットを含むフィルタ係数データのうちから、前記アップサンプリングフィルタ情報から決定される位相差に対応する少なくとも１つのフィルタ係数セットを選択する段階と、前記選択されたフィルタ係数セットを利用して、前記低解像度映像に対してフィルタリングを行い、前記高解像度映像を生成する段階と、を含んでもよい。
【００１５】
多様な実施形態によるフィルタ係数セットを選択する段階は、前記アップサンプリングフィルタ情報から、前記低解像度映像のルマピクセルと、前記高解像度映像のルマピクセルとの位相差を獲得する段階と、前記アップサンプリングフィルタ情報から、前記低解像度映像のクロマ成分ピクセルと、前記高解像度映像のクロマ成分ピクセルとの位相差を獲得する段階と、を含み、カラーフォーマットに基づいて、前記高解像度映像のルマピクセルの位置に対して、前記高解像度映像のクロマピクセルの位置が決定されるとき、前記獲得されたクロマ成分ピクセル間の位相差は、前記低解像度映像のクロマ成分ピクセルと、前記高解像度映像のクロマピクセルとの位相差を示すことができる。
【００１６】
多様な実施形態による前記アップサンプリングフィルタ情報を獲得する段階は、前記向上レイヤビットストリームにおいて、ＳＰＳ、ＰＰＳ及びスライスセグメントヘッダーのうち少なくとも一つから、前記アップサンプリングフィルタ情報を獲得する段階を含んでもよい。
【００１７】
多様な実施形態によるスケーラブルビデオ符号化装置は、位相差別に対応するフィルタ係数セットが収録されるフィルタ係数データ保存部；低解像度映像に対応する高解像度映像と前記低解像度映像との倍率（scaling  factor）に基づいて、前記低解像度映像のピクセルと、前記高解像度映像のピクセルとの位相差を決定し、前記フィルタ係数データにおいて前記決定された位相差に対応する少なくとも１つのフィルタ係数セットを選択するフィルタ選択部；前記選択されたフィルタ係数セットを利用して、前記低解像度映像に対してフィルタリングを行い、前記高解像度映像を生成するアップサンプリング部；前記低解像度映像に対して符号化を行って生成された低解像度符号化情報を含む基本レイヤビットストリームを生成する基本レイヤ符号化部；及び前記高解像度映像に対して符号化を行って生成された高解像度符号化情報、及び前記決定された位相差を示すアップサンプリングフィルタ情報を含む向上レイヤビットストリームを生成する向上レイヤ符号化部を含む。
【００１８】
多様な実施形態によるスケーラブルビデオ復号化装置は、位相差別に対応するフィルタ係数セットが収録されるフィルタ係数データ保存部；向上レイヤビットストリームから、高解像度映像と低解像度映像との倍率に基づいて決定される前記低解像度映像のピクセルと、高解像度映像のピクセルとの位相差を示すアップサンプリングフィルタ情報と、高解像度符号化情報とを獲得する向上レイヤ受信部；前記フィルタ係数データのうちから、前記アップサンプリングフィルタ情報から決定される位相差に対応する少なくとも１つのフィルタ係数セットを選択するフィルタ選択部；前記選択されたフィルタ係数セットを利用して、前記低解像度映像に対してフィルタリングを行い、前記高解像度映像を生成し、前記生成された高解像度映像、及び前記獲得された高解像度符号化情報を利用して、前記高解像度映像を復号化する向上レイヤ復号化部；及び基本レイヤビットストリームから獲得された低解像度符号化情報を利用して、前記低解像度映像を復号化する基本レイヤ復号化部を含む。
【００１９】
多様な実施形態によるアップサンプリング方法を具現するためのプログラムが記録されたコンピュータで読み取り可能な記録媒体を提案する。多様な実施形態によるスケーラブルビデオ符号化方法を具現するためのプログラムが記録されたコンピュータで読み取り可能な記録媒体を提案する。多様な実施形態によるスケーラブルビデオ復号化方法を具現するためのプログラムが記録されたコンピュータで読み取り可能な記録媒体を提案する。
【００２０】
以下、本明細書に記載された多様な実施形態において、「映像」は、静止画像だけではなく、ビデオのような動画を含んで包括的に指称することができる。
【００２１】
以下、図１ないし図１１を参照し、多様な実施形態によって、位相差を考慮したアップサンプリングフィルタを利用する映像のアップサンプリングについて提案する。また、図１２Ａないし図１４を参照し、多様な実施形態によるアップサンプリングフィルタを利用するスケーラブルビデオ符号化及びスケーラブルビデオ復号化について提案し、以下、図１５ないし図２５を参照してスケーラブルビデオシステムにおいて、各レイヤで遂行されるツリー構造による符号化単位に基づいて、ビデオの符号化及び復号化について提案する。
【００２２】
以下、図１ないし図１１を参照し、多様な実施形態による、位相差を考慮したアップサンプリングフィルタを利用する映像のアップサンプリングについて詳細に説明する
図１は、多様な実施形態による映像アップサンプリング装置１０のブロック図である。
【００２３】
多様な実施形態による対称形／非対称形アップサンプリングフィルタを利用する映像アップサンプリング装置１０は、フィルタ選択部１２、アップサンプリング部１４及びフィルタデータ保存部１６を含む。
【００２４】
映像の補間は、低解像度の映像を高解像度に変換するときに利用される。インターレース（interlace）映像をプログレシッブ（progressive）映像に変換するときに利用されたり、低画質の映像をアップサンプリング（upsampling）し、高画質の映像に変換するときに利用されたりする。
【００２５】
また、ビデオ符号化装置が映像を符号化するとき、動き推定部及び動き補償部は、補間された参照フレームを利用して、インター予測を行う。参照フレームを補間して高画質の映像を生成し、高画質の映像に基づいて、動き推定及び動き補償を行うことにより、インター予測の正確度を高めることができる。同様に、映像復号化装置が映像を復号化するときにも、動き補償部は、補間された参照フレームを利用して、動き補償を行うことにより、インター予測の正確度を高めることができる。
【００２６】
また、スケーラブル符号化装置が、基本レイヤ（base  layer）と向上レイヤ（enhancement  layer）との間のインターレイヤ（inter-layer）予測を行うためにも、基本レイヤ映像を補間してアップサンプリングされた映像が、向上レイヤの予測映像または参照映像として使用される。
【００２７】
多様な実施形態による映像アップサンプリング装置１０は、低解像度映像を入力され、低解像度映像の画素単位（integer  pel  unit）のピクセルを補間し、副画素単位（sub-pel  unit）のピクセル値を生成することができる。入力される映像は、低解像度ビデオのピクチャシーケンス、ピクチャ、フレーム、ブロックでもある。低解像度映像の副画素単位は、高解像度映像の画素単位に対応する。
【００２８】
例えば、低解像度映像と高解像度映像との倍率を、低解像度映像の幅対比の高解像度映像の幅であると定義するとき、低解像度映像と高解像度映像との倍率が１：２であるならば、低解像度映像の画素単位ピクセル間に位置する１／２画素単位のピクセルは、高解像度映像において、画素単位ピクセルに対応する。
【００２９】
従って、低解像度映像の画素単位ピクセルを補間して生成された副画素単位のピクセルは、高解像度映像の画素単位ピクセルに対応する。
【００３０】
多様な実施形態による映像アップサンプリング装置１０は、低解像度映像に対するフィルタリングを介して、アップサンプリングを行い、高解像度映像を生成することができる。特に、低解像度映像に対する補間フィルタリングを介して、副画素単位ピクセルを生成し、低解像度映像の原本画素単位ピクセルと、補間フィルタリングを介して生成された副画素単位ピクセルとのそれぞれの間隔が、画素単位に拡張される。それにより、低解像度映像の原本画素単位ピクセルと副画素単位ピクセルとが、高解像度映像の画素単位ピクセルの位置にそれぞれ対応するように決定される。従って、本明細書において、低解像度映像に対する補間フィルタリングを介して、高解像度映像の画素単位ピクセルが決定され、補間フィルタリング動作は、アップサンプリングのためのフィルタリング動作と理解される。
【００３１】
また、補間フィルタリングを介して、副画素単位ピクセルが新たにサンプリングされるので、補間フィルタリングを介して決定される副画素単位ピクセル位置は、アップサンプリングによって生成されるサンプリング位置にもなる。
【００３２】
低解像度映像のアップサンプリングを介して生成する高解像度映像の倍率（scaling  factor）により、サンプリング位置が異なる。例えば、低解像度映像と高解像度映像との倍率が１：２である場合には、低解像度映像の隣接する２つのピクセル間の１／２ピクセル位置に、１つのサンプリング位置が決定され、等間隔で３つのピクセルがマッピングされる。他の例として、低解像度映像と高解像度映像との倍率が２：３である場合、低解像度映像の隣接する３つのピクセル間に、１／３，２／３画素単位ごとに等間隔で４つのピクセルがマッピングされる。
【００３３】
低解像度映像の画素単位ピクセル位置と、高解像度映像のピクセル位置（サンプリング位置）との間に、位相差が存在する。低解像度映像の画素単位ピクセル位置は、固定的であるので、低解像度映像と高解像度映像との倍率によって、サンプリング位置が決定されるならば、画素単位ピクセルと、高解像度映像のピクセルとの位相差が決定される。
【００３４】
従って、低解像度映像と高解像度映像との倍率によって、低解像度映像のピクセルと、高解像度映像のピクセルとの位相差が決定される。すなわち、低解像度映像と高解像度映像との倍率が異なるならば、位相差も変更される。
【００３５】
サンプリング位置によって、フィルタ係数セットが決定されるので、位相差によって、フィルタ係数セットが決定される。それにより、フィルタデータ保存部１６は、低解像度映像のピクセルと、高解像度映像のピクセルとの位相差別にマッピングされたフィルタ係数セットを保存することができる。例えば、フィルタデータ保存部１６は、位相差１／１６，１／８，１／５，１／４，１／３，３／８，２／５，１／２別に、個別的に設定されたフィルタ係数セットを保存することができる。
【００３６】
多様な実施形態によるフィルタ選択部１２は、高解像度映像と低解像度映像との倍率に基づいて、低解像度映像のピクセルと、高解像度映像のピクセルとの位相差を決定することができる。しかし、１つの倍率に対して、少なくとも１つのサンプリング位置が決定されるので、１つの倍率に対して、少なくとも１つの位相差がマッピングされる。従って、１つの倍率によって、低解像度映像を高解像度映像にアップサンプリングしても、位相差別に異なるフィルタを選択し、アップサンプリング・フィルタリングが行われる。従って、フィルタ選択部１２は、低解像度映像の画素単位ピクセル間に位置するサンプリング位置のピクセル値を生成するためのアップサンプリングフィルタのうちから、位相差に基づいて、異なってアップサンプリングフィルタを選択することができる。
【００３７】
前述のように、サンプリング位置は、低解像度映像と高解像度映像との倍率によって決定される。アップサンプリングフィルタを利用して、低解像度映像に対するフィルタリングを行うことによって獲得した出力値が、サンプリング位置に該当するピクセル値であると決定される。
【００３８】
多様な実施形態によるアップサンプリング部１４は、フィルタ選択部１２で選択されたアップサンプリングフィルタを利用して、サンプリング位置に隣接した画素単位ピクセルを補間し、サンプリング位置のピクセル値を生成することができる。画素単位ピクセルに対するアップサンプリング・フィルタリングは、サンプリング位置に隣接した画素単位ピクセルを含み、画素単位の参照ピクセルに対して、アップサンプリング・フィルタリングを行う動作を含んでもよい。
【００３９】
多様な実施形態によるアップサンプリングフィルタは、アップサンプリングフィルタが一次元フィルタでもある。従って、低解像度映像において、横方向に隣接する画素単位ピクセルに対して、選択されたアップサンプリングフィルタを利用して、フィルタリングを行うことによって、横方向に、アップサンプリングが行われる。低解像度映像において、縦方向に隣接する画素単位ピクセルに対して、選択されたアップサンプリングフィルタを利用して、フィルタリングを行うことによって、縦方向に、アップサンプリングが行われる。従って、低解像度映像に対する横方向及び縦方向でのアップサンプリング・フィルタリングが連続的に行われることにより、高解像度映像のピクセル値が決定される。
【００４０】
多様な実施形態によるフィルタ選択部１２は、アップサンプリングフィルタにおいて、サンプリング位置によって個別的にアップサンプリングフィルタを決定することができる。多様な実施形態によるアップサンプリングフィルタは、サンプリング位置を中心に、同一個数のフィルタ係数によって構成された対称形アップサンプリングフィルタと、異なる個数のフィルタ係数によって構成された非対称形アップサンプリングフィルタを含んでもよい。フィルタ選択部１２は、サンプリング位置によって、個別的に対称形アップサンプリングフィルタまたは非対称形アップサンプリングフィルタを選択することができる。
【００４１】
例えば、７タップアップサンプリングフィルタは、サンプリング位置を中心に、３個のフィルタ係数と、４個のフィルタ係数とから構成される。その場合、７タップアップサンプリングフィルタは、非対称形アップサンプリングフィルタであると見ることができる。
【００４２】
例えば、８タップアップサンプリングフィルタは、サンプリング位置を中心に、４個のフィルタ係数と、４個のフィルタ係数とから構成される。その場合、８タップアップサンプリングフィルタは、対称形アップサンプリングフィルタであると見ることができる。
【００４３】
フィルタ選択部１２において、非対称形アップサンプリングフィルタが選択された場合には、アップサンプリング部１４は、サンプリング位置を中心に、非対称的に位置する画素単位ピクセルを参照してフィルタリングを行う。また、対称形アップサンプリングフィルタが選択された場合には、アップサンプリング部１４は、サンプリング位置を中心に、対称的に位置する画素単位ピクセルを参照してフィルタリングを行う。
【００４４】
多様な実施形態によるフィルタデータ保存部１６は、アップサンプリングフィルタのうちから、アップサンプリングフィルタを利用した補間の結果として発生する周波数応答誤差を最小化するように正規化されたアップサンプリングフィルタのフィルタ係数セットを保存することができる。例えば、解像度７２０ｐの低解像度ビデオを、解像度１０８０ｐの高解像度ビデオにアップサンプリングしたり、ＨＤ級ビデオをフルＨＤ級ビデオにアップサンプリングしたりするために、倍率２：３のアップサンプリングが必要である。フィルタデータ保存部１６に、倍率２：３のためのフィルタ係数セットとして、位相差１／３または２／３のための８タップフィルタ係数｛−１，４，−１１，５２，２６，−８，３，−１｝が保存される。
【００４５】
多様な実施形態によるフィルタデータ保存部１６には、フィルタ係数が整数に拡大された状態で保存されている。例えば、前述の位相差１／３または２／３のための８タップフィルタ係数｛−１，４，−１１，５２，２６，−８，３，−１｝は、フィルタ係数が６４ほど拡大された状態である。その場合、アップサンプリング部１４は、フィルタリング出力値を６４ほど縮小してこそ、サンプリング位置のピクセル値を決定することができる。
【００４６】
多様な実施形態によって、フィルタデータ保存部１６が、位相差間隔１／１６による位相差に対応するフィルタ係数セットを含んでもよい。アップサンプリング部１４は、倍率が２：３である場合、位相差が１／３であるサンプリング位置のためのアップサンプリングのために、フィルタデータ保存部１６に保存されたフィルタ係数データにおいて、位相差５／１６に対応するフィルタ係数セットを選択することができる。アップサンプリング部１４は、倍率が２：３である場合、位相差が２／３であるサンプリング位置のためのアップサンプリングのために、フィルタデータ保存部１６に保存されたフィルタ係数データにおいて、位相差１１／１６に対応するフィルタ係数セットを選択することができる。
【００４７】
他の例として、フィルタデータ保存部１６は、位相差間隔１／８による位相差に対応するフィルタ係数セットを含んでもよい。アップサンプリング部１４は、倍率が２：３である場合、位相差が１／３であるサンプリング位置のためのアップサンプリングのために、フィルタデータ保存部１６に保存されたフィルタ係数データにおいて、位相差３／８に対応するフィルタ係数セットを選択することができる。アップサンプリング部１４は、倍率が２：３である場合、位相差が２／３であるサンプリング位置のためのアップサンプリングのために、フィルタ係数データにおいて、位相差５／８に対応するフィルタ係数セットを選択することができる。
【００４８】
映像アップサンプリング装置１０は、カラー成分別に異なるアップサンプリングフィルタを利用して、映像補間を行うことができる。フィルタ選択部１２は、アップサンプリングフィルタのうちから、サンプリング位置及び現在ピクセルのカラー成分に基づいて、異なってアップサンプリングフィルタを選択することができる。それにより、アップサンプリング部１４は、カラー成分別に個別的に選択されたアップサンプリングフィルタを利用して画素単位ピクセルを補間し、サンプリング位置のピクセル値を生成することができる。
【００４９】
例えば、フィルタ選択部１２は、ルマ成分のアップサンプリングフィルタと、クロマ成分のアップサンプリングフィルタとを異なるように決定することができる。低解像度映像のルマピクセルと、高解像度映像のルマピクセルとの位相差と、低解像度映像のクロマピクセルと、高解像度映像のクロマピクセルとの位相差が異なる。従って、ルマ成分のためのアップサンプリングフィルタと、クロマ成分のためのアップサンプリングフィルタは、それぞれの位相差によって個別的に決定される。
【００５０】
例えば、４：２：０または４：１：１のようなカラーフォーマットに基づいて、ルマピクセルとクロマピクセルとの位置が決定される。特に、クロマピクセルの位置は、ルマピクセルの位置によって決定される。従って、高解像度映像のルマピクセルの位置は、低解像度映像と高解像度映像との倍率によって決定されるが、高解像度映像のクロマピクセルの位置は、高解像度映像のルマピクセルの位置によって決定される。従って、低解像度映像のクロマピクセルと、高解像度映像のクロマピクセルとの位相差は、低解像度映像のルマピクセルと、高解像度映像のルマピクセルとの位相差と異なる。
【００５１】
従って、フィルタ選択部１２は、まず、低解像度映像と高解像度映像との倍率に基づいて、低解像度映像のルマピクセルと、高解像度映像のルマピクセルとの位相差を決定することができる。次に、フィルタ選択部１２は、高解像度映像のルマピクセルの位置に対して、高解像度映像のクロマピクセルの位置を決定し、低解像度映像のクロマ成分ピクセルと、高解像度映像のクロマピクセルとの位相差を決定することができる。
【００５２】
それにより、フィルタ選択部１２は、ルマピクセルのための位相差と、クロマピクセルを位相差とが個別的に決定されるので、ルマピクセルのためのアップサンプリングフィルタと、クロマピクセルのためのアップサンプリングフィルタとも、それぞれの位相差によって個別的に決定される。
【００５３】
多様な実施形態による映像アップサンプリング装置１０は、フィルタ選択部１２、アップサンプリング部１４及びフィルタデータ保存部１６を総括的に制御する中央プロセッサ（図示せず）を含んでもよい。または、フィルタ選択部１２、アップサンプリング部１４及びフィルタデータ保存部１６が、それぞれの自体プロセッサ（図示せず）によって作動し、プロセッサ（図示せず）が相互有機的に作動することにより、映像アップサンプリング装置１０が全体的に作動することもできる。または、多様な実施形態による映像符号化装置１０の外部プロセッサ（図示せず）の制御により、フィルタ選択部１２、アップサンプリング部１４及びフィルタデータ保存部１６が制御されもする。
【００５４】
多様な実施形態による映像アップサンプリング装置１０は、フィルタ選択部１２、アップサンプリング部１４及びフィルタデータ保存部１６の入出力データが保存される１以上のデータ保存部（図示せず）を含んでもよい。映像アップサンプリング装置１０は、データ保存部（図示せず）のデータ入出力を管轄するメモリ制御部（図示せず）を含んでもよい。
【００５５】
多様な実施形態による映像アップサンプリング装置１０は、映像アップサンプリング動作を遂行する回路を含む別個のプロセッサを含んでもよい。また、映像アップサンプリング装置１０は、映像補間モジュールが記録された記録媒体を含み、中央プロセッサが映像補間モジュールを呼び出して駆動させることにより、多様な実施形態による映像アップサンプリング動作を具現する場合も含んでもよい。
【００５６】
現在アップサンプリング倍率によるサンプリング位置に対応する位相差が特定され、当該位相差に位置するサンプリング位置のサンプル値を決定するためのフィルタ係数が正確に決定されるならば、フィルタ係数を利用したフィルタリングを介して、正確なサンプリング位置のサンプル値も正確に決定される。
【００５７】
多様な実施形態による映像アップサンプリング装置１０は、低解像度映像と高解像度映像とのアップサンプリング倍率で必要な位相差別に、正確なサンプル値を決定することができるフィルタ係数セットに係わるフィルタデータをあらかじめ保存している。映像アップサンプリング装置１０は、アップサンプリングを行うたびに、現在低解像度映像と現在高解像度映像との倍率を基に位相差を特定し、フィルタデータにおいて特定された位相差に対応するアップサンプリングフィルタを選択的に利用することもできる。
【００５８】
また、映像アップサンプリング装置１０は、頻繁に利用されるアップサンプリング倍率によって特定される位相差に対応するアップサンプリングフィルタのためのフィルタ係数セットのみを保存し、効率的にアップサンプリング・フィルタリングが行われる。ｐは、正の整数であり、位相差間隔が２＾（−ｐ）であるならば、各位相差は、ｉ＊２＾（−ｐ）と見ることができる（ただし、ｉは、２＾ｐより小さい整数）。頻繁に利用されるアップサンプリング倍率による位相差間隔ｉ＊２＾（−ｐ）のためのフィルタ係数セットのみを利用して、近似値である位相差を選択し、各サンプリング単位でアップサンプリング・フィルタリングも行うことができる。
【００５９】
以下、図２ないし図４Ｂを参照し、映像アップサンプリングのための補間フィルタリングについて詳細に説明する。
【００６０】
図２は、ピクセルのサンプリング位置を図示している。図２を参照すれば、映像アップサンプリング装置１０は、空間ドメインの画素単位のピクセル値、すなわち、所定ブロック２０の「Ｏ」位置のピクセル値間を補間し、サンプリング位置である「Ｘ」位置のピクセル値を生成する。「Ｘ」位置のピクセル値は、αｘ及びαｙによってサンプリング位置が決定される副画素単位のピクセル値である。図２は、所定のブロック２０が４ｘ４である場合を例として挙げて説明するが、ブロックの大きさは４ｘ４に限定されるものではなく、さらに大きいか、あるいはさらに小さいサイズのブロックに対するアップサンプリング・フィルタリングを介して、副画素単位のピクセル値を生成することができるということは、当業者が容易に分かるであろう。
【００６１】
ビデオ処理分野において、現在映像の動き補償及び動き予測のために、動きベクトルが利用される。予測符号化によれば、現在映像を予測するために、以前に復号化された映像が参照され、動きベクトルは、参照映像の所定地点を示す。それにより、動きベクトルは、参照映像の画素単位のピクセルを示す。
【００６２】
しかし、現在映像が参照するピクセルの位置が、参照映像の画素単位のピクセル間に位置する地点でもある。そのような地点を、副画素単位の位置であるという。副画素単位の位置には、ピクセルが存在しないので、画素単位ピクセルのピクセル値を利用して、副画素単位のピクセル値が予測されるだけである。すなわち、画素単位ピクセルに対する補間を介して、副画素単位のピクセル値が推定される。
【００６３】
また、補間フィルタリングを介して、アップサンプリングを行う場合には、画素単位及び副画素単位がサンプリング位置にもなる。
【００６４】
以下、図３、図４Ａ、図４Ｂ及び図４Ｃを参照し、画素単位ピクセルに対する補間方法について詳細に説明する。
【００６５】
図３は原本ピクセルとサンプリング位置との位相差を図示している。図３を参照すれば、映像アップサンプリング装置１０は、空間ドメインにおいて、低解像度映像の画素単位のピクセル値３１及び３３間の補間を行い、サンプリング位置のピクセル値３５を生成する。位相差αによって決定されるサンプリング位置のピクセル値３５である。
【００６６】
そのように、低解像度映像に対する補間を介して、アップサンプリングを行うのであるならば、生成されたサンプリング位置が高解像度映像の画素単位ピクセルになり、サンプリング位置のピクセル値は、高解像度映像のピクセル値にもなる。
【００６７】
図４Ａ及び図４Ｂは、アップサンプリング・フィルタリングのための参照ピクセルの位置を図示している。
【００６８】
図４Ａを参照すれば、低解像度映像の２つのピクセル値３１及び３３間を補間し、サンプリング位置のピクセル値３５を生成するため、ピクセル値３１及び３３を含む隣接した複数の画素単位ピクセルのピクセル値３７及び３９を利用する。言い換えれば，−（Ｍ−１）番目からＭ番目までの２Ｍ個のピクセル値を一次元アップサンプリング・フィルタリングすることにより、０番目ピクセルと１番目ピクセルとの間を補間することができる。
【００６９】
また、図４Ａは、水平方向のピクセル値間を補間する場合を例として挙げて説明したが、垂直方向のピクセル値を利用して、一次元アップサンプリング・フィルタリングが可能である。
【００７０】
図４Ｂを参照すれば、垂直方向に接したＰ０  ４１及びＰ１  ４３間を補間し、垂直方向のサンプリング位置αのピクセル値Ｐ（α）を生成することができる。図４Ａと比較すれば、水平方向に配列されたピクセル値３７及び３９の代わりに、垂直方向に配列されたピクセル値４７及び４９を利用して補間を行うという点のみ異なり、アップサンプリング・フィルタリング方法は、類似している。
【００７１】
図４Ａ及び図４Ｂで例示された方向の一次元アップサンプリング・フィルタリングだけではなく、さらに多様な方向のサンプリング位置のピクセル値が生成されもする。
【００７２】
以下、図５ないし図７を参照し、アップサンプリング・フィルタリングのためのサンプリング位置及び位相差について詳細に説明する。
【００７３】
図５は、４：２：０カラーフォーマットにおいて、低解像度映像５０のルマピクセルとクロマピクセルとの分布を図示している。
【００７４】
４：２：０カラーフォーマットの低解像度映像において、４個のルマピクセル５１，５２，５３，５４に、１個のクロマピクセル５５がマッピングされる。
【００７５】
高解像度映像の幅及び高さがｉＥWidth及びｉＥHeightであり、低解像度映像の幅及び高さがｉＢWidth及びｉＢHeightであるとき、アップサンプリング倍率ｄｓFactorは、低解像度映像の幅対比の高解像度映像の幅の比率（ｉＥWidth／ｉＢWidth）に決定される。
【００７６】
低解像度映像のピクセル間の水平距離（水平位相差）をｉPhaseＸとし、垂直距離（垂直位相差）をｉPhaseＹとする。
【００７７】
低解像度映像のルマピクセル５１，５２，５３，５４の水平補間または垂直補間のための距離displacementは、０であり、クロマピクセル５５の水平補間のための垂直距離displacementは、０であり、垂直補間のための垂直距離displacementは、１／２である。
【００７８】
一般的に、低解像度映像と高解像度映像とのピクセル位置の位相差Phaseは、以下の数式によって決定される。
【００７９】
Phase＝（ｉ＋displacement／２）／ｄｓFactor−displacement／２
従って、アップサンプリング倍率が２であり、低解像度映像ピクセル間の距離が０であるならば、低解像度映像と高解像度映像とのPhaseは、０、１／２でもある。また、アップサンプリング倍率が２であり、低解像度映像ピクセル間の距離が１であるならば、低解像度映像と高解像度映像とのPhaseは、３／８、７／８でもある。
【００８０】
しかし、アップサンプリング倍率が２である場合に可能なPhaseは、０、３／８、７／８、１であり、いずれもサンプリング単位１／１６で表現可能である。従って、下記サンプリング単位１／１６のアップサンプリングを示す数式を介して、高解像度映像のピクセル位置を決定する。
【００８１】
低解像度映像のルマピクセル５１，５２，５３，５４間の水平位相差ｉPhaseＸと垂直位相差ｉPhaseＹは、それぞれ０、０である。クロマピクセル５５に係わる水平位相差ｉPhaseＸは０であり、垂直位相差ｉPhaseＹは１である。
【００８２】
以下の数式（ａａ）において、ｉＲｅｆＰｏｓ１６ＸＸ及びｉＲｅｆＰｏｓ１６ＹＹは、それぞれ低解像度映像に対して、サンプリング単位１／１６のサンプリング位置を示す。
【００８３】
ｉＲｅｆＰｏｓ１６ＸＸ＝（（ｉ＊ｉScaleＸ＋ｉAddＸ）＞＞ｉShiftＸＭ４）−ｉDeltaＸ；
ｉＲｅｆＰｏｓ１６ＹＹ＝（（ｊ＊ｉScaleＹ＋ｉAddＹ）＞＞ｉShiftＹＭ４）−ｉDeltaＹ；          （ａａ）
ｉは、０より大きいか、あるいはそれと同じであり、高解像度映像の幅ｉＥWidthよりは小さい数であり、ｊは、０より大きいか、あるいはそれと同じであり、高解像度映像の高さｉＥHeightよりは小さい数を示す。
【００８４】
前記ｉＲｅｆＰｏｓ１６ＸＸ及びｉＲｅｆＰｏｓ１６ＹＹを決定するための変数ｉScaleＸ、ｉAddＸ、ｉShiftＸＭ４、ｉDeltaＸ、ｉScaleＹ、ｉAddＹ、ｉShiftＹＭ４、ｉDeltaＹは、それぞれ下記数式によって決定される。
【００８５】
ｉShiftＸ＝１６；
ｉShiftＹ＝１６；
ｉAddＸ＝（（（ｉＢWidth＊ｉPhaseＸ）＜＜（ｉShiftＸ−２））＋（ｉＥWidth＞＞１））／ｉＥWidth＋（１＜＜（ｉShiftＸ−５））；
ｉAddＹ＝（（（ｉＢHeight＊ｉPhaseＹ）＜＜（ｉShiftＹ−２））＋（ｉＥHeight＞＞１））／ｉＥHeight＋（１＜＜（ｉShiftＹ−５））；
ｉDeltaＸ＝４＊ｉPhaseＸ；
ｉDeltaＹ＝４＊ｉPhaseＹ；
ｉShiftＸＭ４＝ｉShiftＸ−４；
ｉShiftＹＭ４＝ｉShiftＹ−４；
ｉScaleＸ＝（（ｉＢWidth＜＜ｉShiftＸ）＋（ｉＥWidth＞＞１））／ｉＥWidth；
ｉScaleＹ＝（（ｉＢHeight＜＜ｉShiftＹ）＋（ｉＥHeight＞＞１））／ｉＥHeight；
ルマピクセルであるか、あるいはクロマピクセルであるかということにより、ｉPhaseＸとｉPhaseＹとが異なるので、サンプリング位置ｉＲｅｆＰｏｓ１６ＸＸ及びｉＲｅｆＰｏｓ１６ＹＹが異なる。
【００８６】
また、低解像度映像をアップサンプリング・フィルタリングするために、サンプリング位置が拡張されるならば、サンプリング位置ｉＲｅｆＰｏｓ１６ＸＸ及びｉＲｅｆＰｏｓ１６ＹＹは、それぞれ高解像度映像のピクセル位置ごとに対応するサンプリング位置を示す。
【００８７】
従って、高解像度映像の水平方向位相差ｉPhaseＸＸ及び水平方向ピクセル位置ｉＲｅｆＰｏｓＸＸ、方向垂直方向位相差ｉPhaseＹＹ及び垂直方向ピクセル位置ｉＲｅｆＰｏｓＹＹは、それぞれ、数式ｉＲｅｆＰｏｓ１６ＸＸ及びｉＲｅｆＰｏｓ１６ＹＹを利用して決定される。
【００８８】
ｉPhaseＸＸ＝ｉＲｅｆＰｏｓ１６ＸＸ＆１５；
ｉＲｅｆＰｏｓＸＸ＝ｉＲｅｆＰｏｓ１６ＸＸ＞＞４；
ｉPhaseＹＹ＝ｉＲｅｆＰｏｓ１６ＹＹ＆１５；
ｉＲｅｆＰｏｓＹＹ＝ｉＲｅｆＰｏｓ１６ＹＹ＞＞４；
従って、前記数式（ａａ）によって除算演算なしに、高解像度映像のサンプリング位置、すなわち、ピクセル位置が決定される。
【００８９】
図６及び図７を参照し、アップサンプリング倍率による位相差について詳細に説明する。大きい円６１ピクセルは、低解像度映像５０のルマピクセルを示し、大きい三角形６２ピクセルは、低解像度映像５０のクロマピクセルを示し、小さい円６３ピクセルは、高解像度映像のルマピクセルを示し、小さい三角形６４ピクセルは、高解像度映像のクロマピクセルを示す。
【００９０】
図６は、４：２：０カラーフォーマットの低解像度映像５０及び高解像度映像の倍率が２である場合、低解像度／高解像度ルマピクセルと、低解像度／高解像度クロマピクセルとの分布を図示している。
【００９１】
４：２：０カラーフォーマットにより、低解像度ルマピクセル５１，５２，５３，５４，５６，５７と、低解像度クロマピクセル５５，５８とが位置する。
【００９２】
アップサンプリング倍率２により、低解像度ルマピクセル５１，５２，５３，５４，５６，５７の位置に基づいて、高解像度ルマピクセル６１１，６１３，６１５，６１７，６１９，６２１，６２３，６２５，６２７が位置する。また、４：２：０カラーフォーマットによって、高解像度ルマピクセル６１１，６１３，６１５，６１７，６１９，６２１，６２３，６２５，６２７の位置に基づいて、高解像度クロマピクセル６５１，６５３，６５５，６５７，６５９，６６１が位置する。
【００９３】
ルマピクセルの場合、低解像度映像と高解像度映像との位相差が０、１／２であるということを確認することができる。例えば、低解像度ルマピクセル５１と、高解像度ルマピクセル６１１との水平位相差は０であり、低解像度ルマピクセル５１と、高解像度ルマピクセル６１３との水平位相差は１／２である。低解像度ルマピクセル５１と、高解像度ルマピクセル６１１との垂直位相差は０であり、低解像度ルマピクセル５１と、高解像度ルマピクセル６１７との垂直位相差は１／２である。
【００９４】
クロマピクセルの場合、低解像度映像と高解像度映像との位相差が０、１／２、３／８、７／８でもある。例えば、低解像度クロマピクセル５５と、高解像度クロマピクセル６５１との水平位相差は０であり、低解像度クロマピクセル５５と、高解像度クロマピクセル６５３との水平位相差は１／２である。また、低解像度クロマピクセル５５と、高解像度クロマピクセル６５５との垂直位相差は３／８であり、低解像度クロマピクセル５５と、高解像度クロマピクセル６５９との垂直位相差は７／８である。
【００９５】
図７は、４：２：０カラーフォーマットの低解像度映像と高解像度映像との倍率が１．５である場合、低解像度／高解像度ルマピクセルと、低解像度／高解像度クロマピクセルとの分布を図示している。
【００９６】
４：２：０カラーフォーマットにより、低解像度ルマピクセル５１，５２，５３，５４，５６，５７，５９，６０，６１と、低解像度クロマピクセル５５，５８，６５とが位置する。
【００９７】
アップサンプリング倍率１．５により、低解像度ルマピクセル５１，５２，５３，５４，５６，５７，５９，６０，６１の位置に基づいて、高解像度ルマピクセル７１１，７１３，７１５，７１７，７１９，７２１，７２３，７２５，７２７，７２９，７３１，７３３，７３５，７３７，７３９が位置する。また、４：２：０カラーフォーマットにより、高解像度ルマピクセル７１１，７１３，７１５，７１７，７１９，７２１，７２３，７２５，７２７，７２９，７３１，７３３，７３５，７３７，７３９の位置に基づいて、高解像度クロマピクセル７５１，７５３，７５５，７５７，７５９が位置する。
【００９８】
ルマピクセルの場合、低解像度映像と高解像度映像との位相差が０、１／３、２／３であるということを確認することができる。例えば、低解像度ルマピクセル５１と、高解像度ルマピクセル７１１との水平位相差は０であり、低解像度ルマピクセル５１と、高解像度ルマピクセル７１３との水平位相差は１／３であり、低解像度ルマピクセル５１と、高解像度ルマピクセル７１５との水平位相差は２／３である。低解像度ルマピクセル５１と、高解像度ルマピクセル７１１との垂直位相差は０であり、低解像度ルマピクセル５１と、高解像度ルマピクセル７１９との垂直位相差は１／３であり、低解像度ルマピクセル５１と、高解像度ルマピクセル７２７との垂直位相差は２／３である。
【００９９】
クロマピクセルの場合、低解像度映像と高解像度映像との位相差は、０、１／３、２／３、１／４、７／１２、１１／１２でもある。例えば、低解像度クロマピクセル５５と、高解像度クロマピクセル７５１との水平位相差は０であり、低解像度クロマピクセル５５と、高解像度クロマピクセル７５３との水平位相差は２／３であり、低解像度クロマピクセル６５と、高解像度クロマピクセル７５５との水平位相差は１／３である。また、低解像度クロマピクセル５５と、高解像度クロマピクセル７５１との垂直位相差は１１／１２であり、低解像度クロマピクセル５５と、高解像度クロマピクセル７５７との垂直位相差は７／１２であり、低解像度クロマピクセル５８と、高解像度クロマピクセル７５９との垂直位相差は１／４である。
【０１００】
多様な実施形態による映像アップサンプリング装置１０は、低解像度映像と高解像度映像との位相差によってフィルタを決定し、映像のアップサンプリングを行う。映像アップサンプリング装置１０は、位相差別にマッピングされたフィルタ係数セットを保存しており、保存されたフィルタ係数セットのうちから、現在位相差に対応するフィルタ係数を選択することができる。
【０１０１】
位相差は、サンプリング位置を決定し、サンプリング位置でのサンプル値を正確に決定するためには、当該位相において正確な補間値を決定することができるフィルタ係数によって構成されたフィルタが必要である。従って、映像アップサンプリング装置１０に、あらかじめ高性能のフィルタ係数セットが保存されている必要がある。以下、位相差別に正確な補間値を出力するためのフィルタ係数セットを決定する動作について詳細に説明する。
【０１０２】
＜アップサンプリングフィルタ係数の決定基準＞
サンプリング位置のピクセル値を生成するための画素単位ピクセルに対する補間は、アップサンプリング・フィルタリングを介して具現される。アップサンプリング・フィルタリングを数式で表現すれば、次の通りである。
【０１０３】
【数１】
2016502379.tif 000003
２Ｍ個の画素単位参照ピクセル｛ｐｍ｝＝｛ｐ−Ｍ＋１，ｐ−Ｍ＋２，…，ｐ０，ｐ１，…，ｐＭ｝のベクトルｐと、フィルタ係数｛ｆｍ｝＝｛ｆ−Ｍ＋１，ｆ−Ｍ＋２，…，ｆ０，ｆ１、…，ｆＭ｝のベクトルｆ（ｘ）との内積（dot  product）によって、補間の結果として生成されたピクセル値ｐ（ｘ）が導出される。サンプリング位置αによって、フィルタ係数ｆ（α）が変わり、それにより、補間の結果、ピクセル値ｐ（α）が決定されるので、いかなるアップサンプリングフィルタが選択されるかということ、すなわち、フィルタ係数ｆ（ｘ）がいかように決定されるかということがアップサンプリング・フィルタリングの性能に相当な影響を及ぼす。
【０１０４】
多様な実施形態による多様なアップサンプリングフィルタ生成方法は、整数ではない浮動小数点数（floating  point  number）を生成する演算式に基づいて、フィルタ係数の絶対値は、おおむね１より大きくない。特に、サンプリング位置αによって、整数ではない実数の演算結果が発生する。
【０１０５】
浮動小数点基盤の演算効率より、整数基盤の演算効率の方が高い。それにより、多様な実施形態による映像アップサンプリング装置１０は、アップサンプリング倍率を利用して、フィルタ係数を整数に拡大することにより、アップサンプリング・フィルタリングの演算効率性を向上させることができる。また、ピクセル値のビット深が大きくなることにより、アップサンプリング・フィルタリングの正確度も向上する。
【０１０６】
多様な実施形態による映像アップサンプリング装置１０は、フィルタ係数ｆｍ（α）に所定の値を乗じ、大きい値の係数Ｆｍ（α）を利用して映像を補間することができる。例えば、数式（ｉ）によって、フィルタ係数Ｆｍ（α）は、フィルタ係数ｆｍ（α）から拡大される。
【０１０７】
【数２】
2016502379.tif 000004
演算効率のために、スケーリングの比率は、２ｎの形態でもある。ｎは、０及び正の整数でもある。２ｎほど拡大されたフィルタ係数によるアップサンプリング・フィルタリング結果は、円フィルタ係数によるフィルタリング結果に比べ、ビット深がｎビットほど拡大される。
【０１０８】
拡大されたフィルタ係数Ｆｍ（α）を利用した整数演算アップサンプリング・フィルタリングは、数式（ｉｉ）による。すなわち、拡大されたフィルタ係数Ｆｍ（α）を利用して、アップサンプリング・フィルタリングが行われた後、拡大されたビット深が原本ビット深に復元されなければならない。
【０１０９】
【数３】
2016502379.tif 000005
そのとき、offsetは、２ｎ−１でもある。
【０１１０】
すなわち、多様な実施形態による、拡大されたアップサンプリングフィルタを利用して拡大されたフィルタリング結果は、原本ビットに復元されるために、スケーリングの比率２ｎほど縮小されているので、拡大されたフィルタリング結果のビット深がｎビットほど縮小される。
【０１１１】
もし水平方向の一次元アップサンプリング・フィルタリングと、垂直方向の一次元アップサンプリング・フィルタリングとを介して、２段階アップサンプリング・フィルタリングが行われた場合、総２ｎビットほど縮小される。従って、第１一次元アップサンプリングフィルタがｎ１ビットほど拡大され、第２一次元アップサンプリングフィルタがｎ２ほど拡大された場合、第１一次元アップサンプリング・フィルタリングと、第２一次元アップサンプリング・フィルタリングとを介して２、段階アップサンプリング・フィルタリング後に、ｎ１とｎ２との和２ｎほど縮小される。第１一次元アップサンプリングフィルタは、拡大されていないアップサンプリングフィルタでもある。
【０１１２】
アップサンプリングフィルタ係数ｆｍ（α）の総和は、下記数式（３）のように１である。
【０１１３】
【数４】
2016502379.tif 000006
拡大されたアップサンプリングフィルタのフィルタ係数Ｆｍ（α）のための正規化条件は、数式（４）による必要がある。
【０１１４】
【数５】
2016502379.tif 000007
しかし、数式（４）による正規化条件は、ラウンディングエラー（rounding  error）によって誤差が発生する。多様な実施形態による映像アップサンプリング装置１０は、数式（４）による正規化条件に基づいて、拡大されたフィルタ係数Ｆｍ（α）を四捨五入することができる。正規化のために拡大されたフィルタ係数Ｆｍ（α）のうち一部は、原本値に比べ、所定範囲内で調整される。例えば、拡大されたフィルタ係数は、ラウンディングエラーを補正するために、±１の範囲内で調整される。
【０１１５】
図８及び図９は、フィルタ係数を選択するための周波数応答曲線のグラフを図示している。
【０１１６】
アップサンプリングフィルタの周波数応答曲線を分析し、アップサンプリングフィルタに最も適するフィルタ係数セットを決定することができる。アップサンプリングフィルタの周波数応答曲線を決定するためには、アップサンプリングフィルタ係数ｆｋに対するスペクトラム分析が必要であり、スペクトル分析は、下記数式（５）による。
【０１１７】
【数６】
2016502379.tif 000008
ｆｋ（α）の入力信号周波数ωにより、振幅（amplitude）領域の周波数応答ρ（ω）と、位相領域の周波数応答α（ω）とが変動する。
【０１１８】
図８は、振幅領域の周波数応答曲線グラフ８０を示す。振幅周波数応答曲線グラフ８０の横軸は、周波数ωを示し、縦軸は、振幅周波数応答ρ（ω）を示す。振幅周波数応答ρ（ω）において、理想的な振幅８５は１である。
【０１１９】
図９は、位相領域の周波数応答曲線グラフ９０を示す。位相周波数応答曲線グラフ９０の横軸は、周波数ωを示し、縦軸は、位相周波数応答α（ω）を示す。位相周波数応答α（ω）において理想的な位相９５は、目標位相差θである。
【０１２０】
図８及び図９において、黒色四角形で表示された振幅周波数応答８１及び位相周波数応答９１は、フィルタ係数セット｛−１，５，−１２，５２，２６，−９，４，−１｝／６４によって構成されたアップサンプリングフィルタの周波数応答曲線である。白色四角形で表示された振幅周波数応答８２及び位相周波数応答９２は、フィルタ係数セット｛−１，４，−１１，５３、２５，−８，３，−１｝／６４によって構成されたアップサンプリングフィルタの周波数応答曲線である。白色三角形で表示された振幅周波数応答８３及び位相周波数応答９３は、フィルタ係数セット｛−５，１１，−２４，１０７，５３，−１８、８，−４｝／１２８によって構成されたアップサンプリングフィルタの周波数応答曲線である。黒色三角形で表示された振幅周波数応答８４及び位相周波数応答９４は、フィルタ係数セット｛−１，４，−１１，５２，２６，−８，３，−１｝／６４によって構成されたアップサンプリングフィルタの周波数応答曲線である。
【０１２１】
フィルタ係数セットのうち最も正確なアップサンプリングフィルタを決定するためには、アップサンプリングフィルタの振幅周波数応答ρ（ω）が、理想的な振幅８５  １に近く、位相周波数応答α（ω）は、目標位相差９５  θに近いフィルタを決定することができる。
【０１２２】
例えば、各フィルタ係数セットで構成されたアップサンプリングフィルタの周波数応答曲線のうち、振幅周波数応答ρ（ω）と、理想的な振幅８５）１との誤差幅（∫｜ρ（ω）−１｜ｄω）が最も小さく、位相周波数応答α（ω）と目標位相差（９５）θとの誤差幅（∫｜α（ω）−θ｜ｄω）が最も小さくなるようにするフィルタ係数セットが選択される。
【０１２３】
各周波数ωにおいて、振幅周波数応答ρ（ω）は、数式（２）の出力結果値の絶対値、すなわち、アップサンプリング・フィルタリングの結果値の絶対値に決定され、位相周波数応答α（ω）は、アップサンプリング・フィルタリング結果値の位相を周波数に正規化した値に決定される。
【０１２４】
振幅及び位相周波数応答が、いずれも最小のフィルタ係数セットを選択するために、各フィルタ係数セットを利用して、アップサンプリング・フィルタリングを行った結果の周波数応答曲線の総誤差幅（∫｜ρ（ω）−１｜ｄω＋∫｜α（ω）−θ｜ｄω）を比較し、最小の誤差幅を生成するフィルタ係数セットが、最も正確なアップサンプリングフィルタに決定される。
【０１２５】
図８及び図９において、目標位相差は１／３である。前記４種フィルタ係数セットのうち、最後のフィルタ係数セットの振幅周波数応答８４及び位相周波数応答９４による総誤差幅が最小であるので、目標位相差１／３のためのフィルタ係数セットは、最後のフィルタ係数セット｛−１，４，−１１，５２，２６，−８，３，−１｝／６４に決定される。
【０１２６】
低解像度映像と高解像度映像との倍率によって低、解像度映像ピクセルと高解像度映像ピクセルとの理論的な位相差が決定される。
【０１２７】
下記表１は、各倍率のアップサンプリング過程で発生する位相差を示す。ここで、倍率「ｘＡ／Ｂ」は、「高解像度映像の幅Ａ／低解像度映像の幅Ｂ」を示す。
【０１２８】
【表１】
2016502379.tif 000009
図１０は、多様な実施形態による、１／１６単位の位相差間隔に対応するアップサンプリング倍率を図示している。
【０１２９】
数式（ａａ）によって、低解像度映像をアップサンプリングして生成された高解像度映像のピクセル位置及び位相差は、除算演算なしにも決定されるということは、前述の通りである。数式ａａによれば、頻繁に利用される倍率によるアップサンプリング時、各サンプリング位置で発生する位相差が決定される。反対に、位相差を知ることができれば、低解像度映像の画素単位ピクセルの位置から、高解像度映像のためのサンプリング位置を推定して決定することができる。
【０１３０】
図１０は、位相差間隔が１／１６であるとき、各位相差が発生するアップサンプリング倍率の関係を図示している。
【０１３１】
位相差間隔が１／１６であるならば、選択可能な位相差は１６種であるので、各位相差は、互いに異なる位相差インデックスにマッピングされる。従って、いずれの位相差に対応するフィルタ係数セットを利用してアップサンプリング・フィルタリングが行われたということを示す情報を送受信するために、位相差インデックス情報がシグナリングされる。
【０１３２】
位相差０は、理論的に全ての倍率のアップサンプリング時に発生する位相差である。
【０１３３】
位相差１／１６は、倍率ｘ１６／１５のアップサンプリング時に必要なサンプリング位置を正確に決定することができる。
【０１３４】
位相差１／８（＝２／１６）は、倍率ｘ８／７のアップサンプリング時に必要なサンプリング位置を正確に決定することができる。また、倍率ｘ７／６のアップサンプリング時に必要なサンプリング位置とは、０．０２ほどの誤差があるが、無視できるほどの数値であるので、倍率ｘ７／６のアップサンプリングでも、位相差１／８が利用される。
【０１３５】
位相差１／５（＝３／１５≒３／１６）は、倍率ｘ５／３のアップサンプリング時に必要なサンプリング位置を正確に決定することができる。また、倍率ｘ６／５のアップサンプリング時に必要なサンプリング位置とは、−０．０３ほどの誤差があるが、無視できるほどの数値であるので、倍率ｘ６／５のアップサンプリングでも、位相差１／５が利用される。
【０１３６】
位相差１／４（＝４／１６）は、倍率ｘ４／３，ｘ８／７のアップサンプリング時に必要なサンプリング位置を正確に決定することができる。また、倍率ｘ７／６のアップサンプリング時に必要なサンプリング位置とは、０．０４ほどの誤差があるが、無視できるほどの数値であるので、倍率ｘ７／６のアップサンプリングでも位、相差１／４が利用される。
【０１３７】
アップサンプリング倍率が２：３である場合、位相差１／３であるサンプリング位置が必要であるが、位相差間隔が１／１６である場合、位相差１／３に正確に合う位相差インデックスがない。従って、位相差１／３であるサンプリング位置のために、位相差インデックスのうち、位相差５／１６（≒５／１５＝１／３）のインデックスが割り当てられる。すなわち、位相差１／３（≒５／１６）は、倍率ｘ３／２，ｘ６／５のアップサンプリング時に必要なサンプリング位置を正確に決定することができる。
【０１３８】
位相差３／８（＝６／１６）は、倍率ｘ８／７のアップサンプリング時に必要なサンプリング位置を正確に決定することができる。位相差２／５（＝６／１５≒７／１６）は、倍率ｘ５／３のアップサンプリング時に必要なサンプリング位置を正確に決定することができる。
【０１３９】
位相差１／２（＝８／１６）は、倍率ｘ２，ｘ４／３，ｘ６／５，ｘ８／７位のアップサンプリング時に必要なサンプリング位置を正確に決定することができる。
【０１４０】
位相差インデックスｉが８より大きいとき、位相差インデックスｉが示す位相差θ１と、位相差インデックス（１６−ｉ）が示す位相差θ２との和が１になるので、同一アップサンプリング倍率において、位相差インデックスｉと、位相差インデックス（１５−ｉ）は、同時に発生する。従って、位相差θ１が利用されるアップサンプリング倍率では、位相差θ２も利用される。従って、位相差インデックスｉと、位相差インデックス（１５−ｉ）は、同一アップサンプリング倍率において利用される。
【０１４１】
従って、位相差３／５は、位相差２／５と同様に、倍率ｘ５／３のアップサンプリング時に利用される。位相差５／８は、位相差３／８と同様に、倍率ｘ８／７のアップサンプリング時に利用される。位相差２／３は、位相差１／３と同様に、倍率ｘ３／２，ｘ６／５のアップサンプリング時に利用される。位相差３／４は、位相差１／４と同様に、倍率ｘ４／３，ｘ８／７のアップサンプリング時に利用される。位相差４／５は、位相差１／５と同様に、倍率ｘ５／３，ｘ６／５のアップサンプリング時に利用される。位相差７／８は、位相差１／８と同様に、倍率ｘ８／７，ｘ７／６のアップサンプリング時に利用される。位相差１５／１６は、位相差１／１６と同様に、倍率ｘ１６／１５のアップサンプリング時に利用される。
【０１４２】
以上、図１０の表により、各アップサンプリング倍率で特定位相差が必要であるならば、当該位相差が示すサンプリング位置を決定するためのアップサンプリングフィルタが必要である。以下、図１１を参照し、各位相差が示すサンプリング位置を決定するための８タップフィルタのフィルタ係数セットが例示される。
【０１４３】
図１１は、多様な実施形態による、位相差間隔１／１６である８タップアップサンプリングフィルタ係数を図示している。
【０１４４】
位相差インデックスｉと、各インデックスが示す目標位相差は、図１０と同一である。図１１のフィルタ係数は、６４ほど拡大された値であるということに留意しなければならない。
【０１４５】
位相差０のためのフィルタ係数セットは、｛０，０，０，６４，０，０，０，０｝；
位相差１／１６のためのフィルタ係数セットは、｛０，１，−３，６３，４，−２，１，０｝；
位相差１／８のためのフィルタ係数セットは、｛−１，３，−７，６３，８，−２，０，０｝、または実質的に７タップフィルタ係数である｛−１，２，−５，６２，８，−３，１，０｝；
位相差１／５のためのフィルタ係数セットは、｛−１，４，−９，５９，１５，−６，３，−１｝、または実質的に７タップフィルタ係数である｛−２，５，−１０，６０，１５，−６，２，０｝；
位相差３／１６のためのフィルタ係数セットは、｛−１，３，−８，６０，１３，−４，１，０｝；
位相差１／４のためのフィルタ係数セットは、｛−１，４，−１０，５８，１７，−５，１，０｝；
位相差１／３のためのフィルタ係数セットは、｛−１，４，−１１，５２，２６，−８，３，−１｝；
位相差３／８のためのフィルタ係数セットは、｛−２，５，−１２，５０，３０，−１０，５，−２｝、または実質的に７タップフィルタ係数である｛−１，３，−９，４７，３１，−１０，４，−１｝；
位相差２／５のためのフィルタ係数セットは、｛−１，５，−１２，４７，３２，−１０，４，−１｝；
位相差７／１６のためのフィルタ係数セットは、｛−１，４，−１１，４５，３４，−１０，４，−１｝；
位相差１／２のためのフィルタ係数セットは、｛−１，４，−１１，４０，４０，−１１，４，−１｝でもある。
【０１４６】
図１０で説明したように、位相差インデックスｉと、位相差インデックス（１６−ｉ）は、同一倍率のアップサンプリングで同時に発生し、位相差インデックスｉのためのフィルタ係数と、位相差インデックス（１６−ｉ）のためのフィルタ係数は、逆順関係である。例えば、位相差２／５のためのフィルタ係数セットは、｛−１，５，−１２，４７，３２，−１０，４，−１｝であるのに反し、位相差３／５のためのフィルタ係数セットは、｛−１，４，−１０，３２，４７，−１２，５，−１｝である。
【０１４７】
従って、多様な実施形態による映像アップサンプリング装置１０において、フィルタデータ保存部１６に、図１１で説明した位相差インデックス（または、位相差）と、フィルタ係数セットのルックアップテーブルとが保存される。
【０１４８】
先に図８及び図９を参照して説明したように、フィルタリング応答の振幅領域の周波数応答と、理想振幅１との誤差幅が最小化され、フィルタリング応答の位相領域の周波数応答と、目標位相差θとの誤差幅が最小化されるように決定されたフィルタ係数セットでもある。
【０１４９】
また、フィルタデータ保存部１６に、１／１６ではない他の位相差間隔による位相差と、フィルタ係数セットとのルックアップテーブルや、フィルタタップ数が８タップではない他のフィルタ係数セットと位相差とのルックアップテーブルが保存されもする。
【０１５０】
位相差間隔が１／１６ではない、１／８や１／３２のような２＾（−ｐ）でもある（ｐは、正の整数）。少ないメモリのためには、位相差間隔１／８が有利であり、正確度の向上のためには、１／３２がさらに有利である。
【０１５１】
従って、フィルタ選択部１４は、現在アップサンプリング倍率（スケーリング倍率、またはスケーラビリティ倍率）を基に、必要な位相差を決定し、フィルタデータ保存部１６において、各位相差に対応するフィルタ係数セットを選択し、各位相差が示すサンプリング位置ごとに、アップサンプリング・フィルタリングを行う。
【０１５２】
スケーラブル・ビデオシステムにおいて、低解像度映像は、基本レイヤ映像シーケンスに符号化され、高解像度映像は、向上レイヤ映像シーケンスに符号化される。
【０１５３】
図１２Ａは、多様な実施形態によるスケーラブルビデオ符号化装置１２００のブロック図である。
【０１５４】
多様な実施形態によるスケーラブルビデオ符号化装置１２００は、基本レイヤ符号化部１２１０、向上レイヤ符号化部１２２０、フィルタ選択部１２、アップサンプリング部１４及びフィルタデータ保存部１６を含む。
【０１５５】
多様な実施形態によるスケーラブルビデオ符号化装置１２００は、スケーラブル・ビデオコーディング（scalable  video  coding）方式により、多数の映像シーケンスをレイヤ別に分類してそれぞれ符号化し、レイヤ別に符号化されたデータを含む別個のストリームを出力することができる。スケーラブルビデオ符号化装置１２００は、基本レイヤ映像シーケンス及び向上レイヤ映像シーケンスを、互いに異なるレイヤに符号化することができる。
【０１５６】
基本レイヤ符号化部１２１０が基本レイヤ映像を符号化し、基本レイヤ映像の符号化データを含む基本レイヤストリームを出力することができる。
【０１５７】
向上レイヤ符号化部１２２０が向上レイヤ映像を符号化し、向上レイヤ映像の符号化データを含む向上レイヤストリームを出力することができる。
【０１５８】
例えば、空間的スケーラビリティ（spatial  scalability）に基づいたスケーラブル・ビデオコーディング方式によれば、低解像度映像が基本レイヤ映像として符号化され、高解像度映像が向上レイヤ映像として符号化される。基本レイヤ映像の符号化結果が基本レイヤストリームに出力され、向上レイヤ映像の符号化結果が向上レイヤストリームに出力される。
【０１５９】
また、基本レイヤ及び多数の向上レイヤに対するスケーラブル・ビデオコーディングが行われる。向上レイヤが３以上である場合、基本レイヤ映像、及び最初の向上レイヤ映像、２番目の向上レイヤ映像、…、Ｋ番目の向上レイヤ映像が符号化される。それにより、基本レイヤ映像の符号化結果が基本レイヤストリームに出力され、最初，２番目，…、Ｋ番目の向上レイヤ映像の符号化結果が、それぞれ最初，２番目，…，Ｋ番目の向上レイヤストリームに出力される。
【０１６０】
多様な実施形態によるスケーラブルビデオ符号化装置１２００は、単一レイヤの映像を参照し、現在映像を予測するインター予測（inter  prediction）を行うことができる。インター予測を介して、現在映像と参照映像との動き情報を示すモーションベクトル（motion  vector）、及び現在映像と参照映像とのレジデュ成分（residual）が生成される。
【０１６１】
また、多様な実施形態によるスケーラブルビデオ符号化装置１２００は、基本レイヤ映像を参照して向上レイヤ映像を予測するインターレイヤ予測（inter-layer  prediction）を行うことができる。スケーラブルビデオ符号化装置１２００は、最初の向上レイヤの映像を参照し、２番目の向上レイヤの映像を予測するインターレイヤ予測を行うこともできる。インターレイヤ予測を介して、現在映像と異なるレイヤの参照映像間の位置差成分、及び現在映像と異なるレイヤの参照映像間のレジデュ成分が生成される。
【０１６２】
多様な実施形態によるスケーラブルビデオ符号化装置１２００が２以上の向上レイヤを許容する場合には、マルチレイヤ予測構造によって、１つの基本レイヤ映像と、２以上の向上レイヤ映像とのインターレイヤ予測を行うこともできる。
【０１６３】
基本レイヤシーケンスと、向上レイヤシーケンスとのインターレイヤ予測構造は、追って図１４を参照して詳細に説明する。
【０１６４】
多様な実施形態によるスケーラブルビデオ符号化装置１２００は、各レイヤごとに、ビデオのそれぞれの映像のブロック別に符号化する。ブロックのタイプは、正方形または長方形でもあり、任意の幾何学的形態でもある。一定サイズのデータ単位に制限されるものではない。多様な実施形態によるブロックは、ツリー構造による符号化単位のうちでは、最大符号化単位、符号化単位、予測単位、変換単位などでもある。ツリー構造の符号化単位を含む最大符号化単位は、コーディングブロックツリー（coding  block  tree）、ブロックツリー、ルートブロックツリー（root  block  tree）、コーディングツリー、コーディングルートまたはツリートランク（tree  trunk）などと多様に命名される。ツリー構造による符号化単位に基づいたビデオ符号化／復号化方式は、図１５Ａないし図２５を参照して後述する。
【０１６５】
インター予測及びインターレイヤ予測は、符号化単位、予測単位または変換単位のデータ単位を基に遂行される。
【０１６６】
多様な実施形態による基本レイヤ符号化部１２１０は、基本レイヤ映像に対して、インター予測またはイントラ予測を含むソースコーディング動作を遂行し、シンボルデータを生成することができる。例えば、基本レイヤ符号化部１２１０は、基本レイヤ映像のデータ単位のサンプルに対して、インター予測またはイントラ予測、変換、量子化を行い、シンボルデータを生成し、シンボルデータに対してエントロピー符号化を行い、基本レイヤストリームを生成することができる。
【０１６７】
向上レイヤ符号化部１２２０は、ツリー構造の符号化単位に基づいて、向上レイヤ映像を符号化することができる。向上レイヤ符号化部１２２０は、向上レイヤ映像の符号化単位のサンプルに対して、インター／イントラ予測、変換、量子化を行い、シンボルデータを生成し、シンボルデータに対してエントロピー符号化を行い、向上レイヤストリームを生成することができる。
【０１６８】
多様な実施形態による向上レイヤ符号化部１２２０は、基本レイヤ映像の復元サンプルを利用して、向上レイヤ映像を予測するインターレイヤ予測を行う。向上レイヤ符号化部１２２０は、インターレイヤ予測構造を介して、向上レイヤ映像シーケンスのうち向上レイヤ原本映像を符号化するために、基本レイヤ復元映像を利用して、向上レイヤ予測映像を生成し、向上レイヤ原本映像と、向上レイヤ予測映像との予測誤差を符号化することができる。
【０１６９】
向上レイヤ符号化部１２２０は、向上レイヤ映像に対して、符号化単位または予測単位のようなブロック別に、インターレイヤ予測を行う。向上レイヤ映像のブロックが参照する基本レイヤ映像のブロックを決定することができる。例えば、向上レイヤ映像において、現在ブロックの位置に相応して位置する基本レイヤ映像の復元ブロックが決定される。向上レイヤ符号化部１２２０は、向上レイヤブロックに相応する基本レイヤ復元ブロックを利用して、向上レイヤ予測ブロックを決定することができる。
【０１７０】
向上レイヤ符号化部１２２０は、インターレイヤ予測構造によって、基本レイヤ復元ブロックを利用して決定された向上レイヤ予測ブロックを、向上レイヤ原本ブロックのインターレイヤ予測のための参照映像として利用することができる。
【０１７１】
そのように、基本レイヤ復元映像（ブロック）を利用して、向上レイヤ予測映像（ブロック）を決定するために、基本レイヤ復元映像を向上レイヤ映像の大きさに拡大するためのアップサンプリング動作が必要である。
【０１７２】
多様な実施形態によるスケーラブルビデオ符号化装置１２００は、映像アップサンプリング装置１０のフィルタ選択部１２、アップサンプリング部１４及びフィルタデータ保存部１６を含んでもよい。スケーラブルビデオ符号化装置１２００内において、フィルタ選択部１２、アップサンプリング部１４及びフィルタデータ保存部１６の動作は、図１３Ａを参照して詳細に説明する。図１３Ａは、多様な実施形態によるスケーラブルビデオ符号化方法のフローチャートを図示している。
【０１７３】
まず、基本レイヤ符号化部１２１０は、基本レイヤシーケンスの低解像度映像に対して、ツリー構造の符号化単位を決定することができる。ツリー構造の符号化単位ごとに、予測単位に対するイントラまたはインター予測を行い、変換単位ごとに、変換及び量子化を行い、符号化単位のサンプルを符号化することができる。低解像度映像を符号化して生成された低解像度符号化情報を含む基本レイヤビットストリームを出力することができる。
【０１７４】
また、基本レイヤ符号化部１２１０は、符号化単位別に符号化されたサンプルに対して、さらに変換単位を基に、逆量子化、逆変換を行い、予測単位を基に、イントラ予測または動き補償を行い、各サンプルを復元することができる。従って、基本レイヤ符号化部１２１０は、低解像度復元映像を生成することができる。
【０１７５】
段階１３１０で、フィルタ選択部１２は、基本レイヤ符号化部１２１０で処理する低解像度映像と、向上レイヤ符号化部１２２０で処理する高解像度映像との倍率に基づいて、アップサンプリング・フィルタリングで必要な位相差を決定することができる。
【０１７６】
段階１３２０で、フィルタ選択部１２は、フィルタデータ保存部１６で保存されたルックアップテーブルを利用して、位相差に対応するフィルタ係数セットを決定することができる。すなわち、フィルタ選択部１２は、現在アップサンプリング倍率に必要なフィルタを選択することができる。
【０１７７】
段階１３３０で、アップサンプリング部１６は、フィルタ選択部１２で選択されたアップサンプリングフィルタを利用して、基本レイヤ符号化部１２１０で生成された低解像度復元映像に対してフィルタリングを行い、高解像度予測映像を生成することができる。
【０１７８】
段階１３４０で、向上レイヤ符号化部１２２０は、アップサンプリング部１６によって生成された高解像度予測映像と、高解像度原本映像との予測誤差を、高解像度符号化情報として符号化することができる。また、低解像度映像から高解像度予測映像をアップサンプリングするのに利用された位相差に係わる情報を含むアップサンプリングフィルタ情報が高解像度符号化情報と共に符号化される。従って、向上レイヤ符号化部１２２０は、高解像度符号化情報と、アップサンプリングフィルタ情報とを含む向上レイヤビットストリームを出力することができる。
【０１７９】
アップサンプリングフィルタ情報は、ＳＰＳ（sequence  parameter  set）、ＰＰＳ（picture  parameter  set）及びスライスセグメントヘッダ（slice  segment  header）に収録される。
【０１８０】
多様な実施形態によるスケーラブルビデオ符号化装置１２００は、基本レイヤ符号化部１２１０、向上レイヤ符号化部１２２０、フィルタ選択部１２、アップサンプリング部１４及びフィルタデータ保存部１６を総括的に制御する中央プロセッサ（図示せず）を含んでもよい。または、基本レイヤ符号化部１２１０、向上レイヤ符号化部１２２０、フィルタ選択部１２、アップサンプリング部１４及びフィルタデータ保存部１６がそれぞれの自体プロセッサ（図示せず）によって作動し、プロセッサ（図示せず）が相互有機的に作動することにより、スケーラブルビデオ符号化装置１２００が全体的に作動することもできる。または、スケーラブルビデオ符号化装置１２００の外部プロセッサ（図示せず）の制御により、基本レイヤ符号化部１２１０、向上レイヤ符号化部１２２０、フィルタ選択部１２、アップサンプリング部１４及びフィルタデータ保存部１６が制御されもする。
【０１８１】
多様な実施形態によるスケーラブルビデオ符号化装置１２００は、基本レイヤ符号化部１２１０、向上レイヤ符号化部１２２０、フィルタ選択部１２、アップサンプリング部１４及びフィルタデータ保存部１６の入出力データが保存される１以上のデータ保存部（図示せず）を含んでもよい。スケーラブルビデオ符号化装置１２００は、データ保存部（図示せず）のデータ入出力を管轄するメモリ制御部（図示せず）を含んでもよい。
【０１８２】
多様な実施形態によるスケーラブルビデオ符号化装置１２００は、ビデオ符号化結果を出力するために、内部に搭載されたビデオエンコーディングプロセッサまたは外部ビデオエンコーディングプロセッサと連繋して作動することにより、変換を含んだビデオ符号化動作を遂行することができる。多様な実施形態によるスケーラブルビデオ符号化装置１２００の内部ビデオエンコーディングプロセッサは、別個のプロセッサでもってビデオ符号化動作を具現することができる。また、スケーラブルビデオ符号化装置１２００、中央演算装置またはグラフィック演算装置がビデオエンコーディング・プロセッシングモジュールを含むことにより、基本的なビデオ符号化動作を具現する場合も可能である。
【０１８３】
図１２Ｂは、多様な実施形態によるスケーラブルビデオ復号化装置１２５０のブロック図である。
【０１８４】
多様な実施形態によるスケーラブルビデオ復号化装置１２５０は、インターレイヤＳＡＯパラメータ獲得部２２、インターレイヤオフセット決定部２４、向上レイヤ復号化部１２７０及び基本レイヤ復号化部１２６０を含む。
【０１８５】
多様な実施形態によるスケーラブルビデオ復号化装置１２５０は、スケーラブル符号化方式により、レイヤ別にビットストリームを受信することができる。スケーラブルビデオ復号化装置１２５０が受信するビットストリームのレイヤの個数が限定されるものではない。しかし、説明の便宜のために、以下、スケーラブルビデオ復号化装置１２５０の基本レイヤ復号化部１２６０が基本レイヤストリームを受信して復号化し、向上レイヤ復号化部１２７０が向上レイヤストリームを受信して復号化する実施形態について詳細に説明する。
【０１８６】
例えば、空間的スケーラビリティに基づいたスケーラブルビデオ復号化装置１２５０は、互いに異なる解像度の映像シーケンスが、互いに異なるレイヤに符号化されたストリームを受信することができる。基本レイヤストリームを復号化し、低解像度映像シーケンスが復元され、向上レイヤストリームを復号化し、高解像度映像シーケンスが復元される。
【０１８７】
また、向上レイヤが３以上である場合、最初の向上レイヤストリームから最初の向上レイヤに係わる最初の向上レイヤ映像が復元され、２番目の向上レイヤストリームをさらに復号化すれば、２番目の向上レイヤ映像がさらに復元される。最初の向上レイヤストリームからＫ番目の向上レイヤストリームをさらに復号化すれば、Ｋ番目の向上レイヤ映像がさらに復元されもする。
【０１８８】
スケーラブルビデオ復号化装置１２５０は、基本レイヤストリーム及び向上レイヤストリームから、基本レイヤ映像及び向上レイヤ映像の符号化されたデータを獲得し、さらにインター予測によって生成されたモーションベクトル、及びインターレイヤ予測によって生成された予測情報をさらに獲得することができる。
【０１８９】
例えば、スケーラブルビデオ復号化装置１２５０は、各レイヤ別にインター予測されたデータを復号化し、多数レイヤ間にインターレイヤ予測されたデータを復号化することができる。一実施形態による符号化単位または予測単位を基に、動き補償（motion  compensation）、及びインターレイヤ復号化を介する復元が行われる。
【０１９０】
各レイヤストリームについては、同一レイヤのインター予測を介して予測された復元映像を参照し、現在映像のための動き補償を行うことによって、映像を復元することができる。動き補償は、現在映像のモーションベクトルを利用して決定された参照映像と、現在映像のレジデュ成分とを合成し、現在映像の復元映像を再構成する動作を意味する。
【０１９１】
また、一実施形態によるスケーラブルビデオ復号化装置１２５０は、インターレイヤ予測を介して予測された向上レイヤ映像を復元するために、基本レイヤ映像を参照し、インターレイヤ復号化を行うこともできる。インターレイヤ復号化は、現在映像を予測するために決定された他のレイヤの参照映像と、現在映像のレジデュ成分とを合成し、現在映像の復元映像を再構成する動作を意味する。
【０１９２】
一実施形態によるスケーラブルビデオ復号化装置１２５０は、最初の向上レイヤ映像を参照して予測された２番目の向上レイヤ映像を復元するためのインターレイヤ復号化を行うこともできる。インターレイヤ予測構造は、追って図１４を参照して詳細に説明する。
【０１９３】
スケーラブルビデオ復号化装置１２５０は、ビデオのそれぞれの映像をブロック別に復号化する。一実施形態によるブロックは、ツリー構造による符号化単位のうちでは、最大符号化単位、符号化単位、予測単位、変換単位などでもある。
【０１９４】
基本レイヤ復号化部１２６０は、パージングされた基本レイヤ映像の符号化シンボルを利用して、基本レイヤ映像を復号化することができる。スケーラブルビデオ復号化装置１２５０が、ツリー構造の符号化単位を基に符号化されたストリームを受信するならば、基本レイヤ復号化部１２６０は、基本レイヤストリームの最大符号化単位ごとに、ツリー構造の符号化単位を基に復号化を行うことができる。
【０１９５】
基本レイヤ復号化部１２６０は、最大符号化単位ごとにエントロピー復号化を行い、符号化情報及び符号化されたデータを獲得することができる。基本レイヤ復号化部１２６０は、ストリームから獲得した符号化されたデータに対して逆量子化、逆変換を行い、レジデュ成分を復元することができる。他の実施形態による基本レイヤ復号化部１２６０は、量子化された変換係数のビットストリームを直接受信することもできる。量子化された変換係数に対して逆量子化、逆変換を行った結果、映像のレジデュ成分が復元されもする。
基  本レイヤ復号化部１２６０は、同一レイヤ映像間での動き補償を介して、予測映像とレジデュ成分とを結合し、基本レイヤ映像を復元することができる。
【０１９６】
向上レイヤ復号化部１２７０は、インターレイヤ予測構造によれば、基本レイヤ復元映像のサンプルを利用して、向上レイヤ予測映像を生成することができる。向上レイヤ復号化部１２７０は、向上レイヤストリームを復号化し、インターレイヤ予測による予測誤差を獲得することができる。向上レイヤ復号化部１２７０は、向上レイヤ予測映像に予測誤差を結合することにより、向上レイヤ復元映像を生成することができる。
【０１９７】
多様な実施形態による基本レイヤ復号化部１２６０は、基本レイヤストリームからＳＡＯパラメータを獲得し、基本レイヤ原本映像と基本レイヤ復元映像との符号化誤差を償うことができる。
【０１９８】
具体的に見れば、基本レイヤ復号化部１２６０は、基本レイヤ映像のツリー構造の符号化単位ごとに符号化されたサンプルに対して、変換単位を基に、逆量子化及び逆変換を行い、予測単位を基にイントラ予測または動き補償を行う復号化を介して、サンプルを復元することができる。基本レイヤ復号化部１２６０は、各最大符号化単位のサンプルを復元することにより、復元映像を生成することができる。現在スライスセグメントのインター予測のために、以前スライスセグメントの復元映像が参照される。従って、以前スライスセグメントの復元映像が、現在スライスセグメントのための予測映像に利用される。
【０１９９】
向上レイヤ復号化部１２７０は、向上レイヤビットストリームから、高解像度符号化情報を獲得することができる。高解像度符号化情報から、インターレイヤ予測構造による向上レイヤ予測ブロックと、向上レイヤ原本ブロックとの予測誤差、すなわち、レジデュ成分が獲得される。
【０２００】
多様な実施形態による向上レイヤ復号化部１２７０は、基本レイヤ映像の復元サンプルを利用して、向上レイヤ映像を復元するインターレイヤ予測を行う。向上レイヤ復号化部１２７０は、インターレイヤ予測構造を介して、向上レイヤ映像シーケンスのうち、向上レイヤ原本映像を復元するために、基本レイヤ復元映像を利用して生成された向上レイヤ予測映像を、インターレイヤ予測のための参照映像として利用することができる。
【０２０１】
向上レイヤ復号化部１２７０は、向上レイヤ映像に対して、符号化単位または予測単位のようなブロック別に、インターレイヤ復元を行うことができる。向上レイヤ映像のブロックが参照する基本レイヤ映像のブロックを決定することができる。例えば、向上レイヤ映像において、現在ブロックの位置に相応して位置する基本レイヤ映像の復元ブロックが決定される。向上レイヤ復号化部１２７０は、向上レイヤブロックに相応する基本レイヤ復元ブロックを利用して、向上レイヤ予測ブロックを決定することができる。
【０２０２】
向上レイヤ復号化部１２７０は、インターレイヤ予測構造によって、基本レイヤ復元ブロックを利用して決定された向上レイヤ予測ブロックを、向上レイヤ原本ブロックのインターレイヤ予測のための参照映像として利用することができる。
【０２０３】
そのように、基本レイヤ復元映像（ブロック）を利用し、て向上レイヤ予測映像（ブロック）を決定するために、基本レイヤ復元映像を向上レイヤ映像の大きさに拡大するためのアップサンプリング動作が必要である。
【０２０４】
多様な実施形態によるスケーラブルビデオ復号化装置１２５０は、映像アップサンプリング装置１０のフィルタ選択部１２、アップサンプリング部１４及びフィルタデータ保存部１６を含んでもよい。スケーラブルビデオ復号化装置１２５０内において、フィルタ選択部１２、アップサンプリング部１４及びフィルタデータ保存部１６の動作は、図１３Ｂを参照して詳細に説明する。
【０２０５】
図１３Ｂは、多様な実施形態によるスケーラブルビデオ復号化方法のフローチャートを図示している。
【０２０６】
まず、基本レイヤ復号化部１２６０は、基本レイヤビットストリームから、低解像度符号化情報を獲得し、基本レイヤシーケンスの低解像度映像に対して、ツリー構造の符号化単位を決定することができる。
【０２０７】
基本レイヤ復号化部１２６０は、符号化単位別に、符号化情報からシンボルをパージングし、変換単位を基に、シンボルに対して逆量子化、逆変換を行い、予測単位を基に、イントラ予測または動き補償を行い、各サンプルを復元することができる。従って、基本レイヤ復号化部１２６０は、低解像度復元映像を生成することができる。
【０２０８】
段階１３６０で、向上レイヤ復号化部１２７０は、向上レイヤビットストリームをパージングし、高解像度予測映像と高解像度原本映像との予測誤差を含む高解像度符号化情報を獲得することができる。
【０２０９】
また、向上レイヤ復号化部１２７０は、向上レイヤビットストリームをパージングし、アップサンプリングフィルタ情報を獲得することができる。低解像度映像から高解像度映像をアップサンプリングするのに利用されたフィルタに係わる情報を含むアップサンプリングフィルタ情報を、フィルタ選択部１２に伝達することができる。アップサンプリングフィルタ情報は、ＳＰＳ、ＰＰＳ、スライスセグメントヘッダから獲得される。
【０２１０】
段階１３７０で、フィルタ選択部１２は、アップサンプリングフィルタ情報から、アップサンプリング・フィルタリングで必要な位相差を決定することができる。決定された位相差は、基本レイヤ復号化部１２６０で復元する低解像度映像と、向上レイヤ復号化部１２７０で復元する高解像度映像とのアップサンプリング倍率で必要なサンプリング位置に対応する。フィルタ選択部１２は、フィルタデータ保存部１６で保存されたルックアップテーブルを利用して、位相差に対応するフィルタ係数セットを決定することにより、現在アップサンプリング倍率に必要なフィルタを選択することができる。
【０２１１】
段階１３８０で、アップサンプリング部１６は、フィルタ選択部１２で選択されたフィルタを利用して、基本レイヤ復号化部１２６０で生成された低解像度復元映像に対してフィルタリングを行い、高解像度予測映像を生成することができる。向上レイヤ復号化部１２７０は、向上レイヤビットストリームから獲得したインターレイヤ予測誤差と、高解像度予測映像とを結合することにより、高解像度復元映像を生成することができる。
【０２１２】
様な実施形態によるスケーラブルビデオ復号化装置１２５０は、基本レイヤ復号化部１２６０、向上レイヤ復号化部１２７０、フィルタ選択部１２、アップサンプリング部１４及びフィルタデータ保存部１６を総括的に制御する中央プロセッサ（図示せず）を含んでもよい。または、基本レイヤ復号化部１２６０、向上レイヤ復号化部１２７０、フィルタ選択部１２、アップサンプリング部１４及びフィルタデータ保存部１６がそれぞれの自体プロセッサ（図示せず）によって作動し、プロセッサ（図示せず）が相互有機的に作動することにより、スケーラブルビデオ復号化装置１２５０が全体的に作動することもできる。または、スケーラブルビデオ復号化装置１２５０の外部プロセッサ（図示せず）の制御により、基本レイヤ復号化部１２６０、向上レイヤ復号化部１２７０、フィルタ選択部１２、アップサンプリング部１４及びフィルタデータ保存部１６が制御されもする。
【０２１３】
多様な実施形態によるスケーラブルビデオ復号化装置１２５０は、基本レイヤ復号化部１２６０、向上レイヤ復号化部１２７０、フィルタ選択部１２、アップサンプリング部１４及びフィルタデータ保存部１６の入出力データが保存される１以上のデータ保存部（図示せず）を含んでもよい。スケーラブルビデオ復号化装置１２５０は、データ保存部（図示せず）のデータ入出力を管轄するメモリ制御部（図示せず）を含んでもよい。
【０２１４】
多様な実施形態によるスケーラブルビデオ復号化装置１２５０は、ビデオ符号化結果を出力するために、内部に搭載されたビデオエンコーディングプロセッサまたは外部ビデオエンコーディングプロセッサと連繋して作動することにより、変換を含んだビデオ符号化動作を遂行することができる。多様な実施形態によるスケーラブルビデオ復号化装置１２５０の内部ビデオエンコーディングプロセッサは、別個のプロセッサでもってビデオ符号化動作を具現することができる。また、スケーラブルビデオ復号化装置１２５０、中央演算装置またはグラフィック演算装置がビデオエンコーディング・プロセッシングモジュールを含むことにより、基本的なビデオ符号化動作を具現する場合も可能である。
【０２１５】
以上、図１２Ａ及び図１３Ａを参照して説明した多様な実施形態によるスケーラブルビデオ符号化装置１２００と、図１２Ｂ及び図１３Ｂを参照して説明した多様な実施形態によるスケーラブルビデオ復号化装置１２５０は、インターレイヤ予測のために、正確なアップサンプリングフィルタを選択することができる。
【０２１６】
向上レイヤの高解像度映像のための予測映像を生成するために、基本レイヤの低解像度映像を正確にアップサンプリングするためには、スケーラビリティ倍率、すなわち、アップサンプリング倍率によってサンプリング位置が異なり、サンプリング位置と原本ピクセル位置との位相差が異なる。所定位相差のサンプリング位置をサンプリングするためのフィルタ係数が特定される。
【０２１７】
従って、スケーラブルビデオ符号化装置１２００と、スケーラブルビデオ復号化装置１２５０は、位相差別に対応するフィルタ係数セットを保存し、基本レイヤ復元映像をアップサンプリングするとき、現在スケーラビリティ倍率によって、必要な位相差別のフィルタ係数セットを選択してフィルタリングを行うことによって、正確なサンプリング位置のフィルタ値を決定することができる。従って、スケーラビリティ倍率によって、基本レイヤ復元映像から向上レイヤ予測映像を正確に生成することができる。従って、正確に予測された向上レイヤ映像を利用して、インターレイヤ予測がさらに正確に行われる。
【０２１８】
以下、図１４を参照し、多様な実施形態によるスケーラブルビデオ符号化装置１２００の、基本レイヤ符号化部１２１０と、向上レイヤ符号化部１２２０とで行われるインターレイヤ予測構造について詳細に説明する。
【０２１９】
図１４は、多様な実施形態によるスケーラブルビデオ符号化システム１６００のブロック図である。
【０２２０】
インターレイヤ符号化システム１６００は、基本レイヤ符号化端１６１０、向上レイヤ符号化端１６６０、及び基本レイヤ符号化端１６１０と、向上レイヤ符号化端１６６０との間のインターレイヤ予測端１６５０から構成される。基本レイヤ符号化端１６１０及び向上レイヤ符号化端１６６０は、それぞれ基本レイヤ符号化部１２１０及び向上レイヤ符号化部１２２０の具体的な構成と解釈される。
【０２２１】
基本レイヤ符号化端１６１０は、基本レイヤ映像シーケンスを入力され、映像ごとに符号化する。向上レイヤ符号化端１６６０は、向上レイヤ映像シーケンスを入力され、映像ごとに符号化する。基本レイヤ符号化端１６１０と、向上レイヤ符号化端１６６０との動作のうち重複動作は、同時に後述する。
【０２２２】
ブロック分割部１６１８，１６６８を介して、入力映像（低解像度映像、高解像度映像）は、最大符号化単位、符号化単位、予測単位、変換単位などに分割される。ブロック分割部１６１８，１６６８から出力された符号化単位の符号化のために、符号化単位の予測単位別に、イントラ予測またはインター予測が行われる。予測スイッチ１６４８，１６９８は、予測単位の予測モードが、イントラ予測モードまたはインター予測モードであるかということにより、動き補償部１６４０，１６９０から出力された以前復元映像を参照してインター予測が行われるか、あるいはイントラ予測部１６４５，１６９５から出力された現在入力映像内において、現在予測単位の隣接予測単位を利用して、イントラ予測が行われる。インター予測を介して、予測単位別にレジデュ情報が生成される。
【０２２３】
符号化単位の予測単位別に、予測単位と周辺映像とのレジデュ成分が、変換／量子化部１６２０，１６７０に入力される。変換／量子化部１６２０，１６７０は、符号化単位の変換単位を基に、変換単位別に、変換及び量子化を行い、量子化された変換係数を出力することができる。
【０２２４】
スケーリング／逆変換部１６２５，１６７５は、さらに符号化単位の変換単位別に、量子化された変換係数に対してスケーリング及び逆変換を行い、空間領域のレジデュ成分を生成することができる。予測スイッチ１６４８，１６９８によってインターモードで制御される場合、レジデュ成分は、以前復元映像または隣接予測単位と合成されることにより、現在予測単位を含む復元映像が生成され、現在復元映像は、ストレージ１６３０，１６８０に保存される。現在復元映像は、さらに次に符号化される予測単位の予測モードによって、イントラ予測部１６４５，１６９５／動き補償部１６４０，１６９０に伝達される。
【０２２５】
特に、インターモードの場合、インループ・フィルタリング（in-loop  filtering）部１６３５，１６８５は、ストレージ１６３０，１６８０に保存された復元映像に対して、符号化単位別に、デブロッキング・フィルタリング、原本映像と復元映像との符号化誤差を補償するためのＳＡＯ（sample  adaptive  offset）フィルタリングのうち少なくとも１つのフィルタリングを行う。符号化単位、符号化単位に含まれた予測単位及び変換単位のうち少なくとも一つに対して、デブロッキング・フィルタリング及びＳＡＯフィルタリングのうち少なくとも１つのフィルタリングが行われる。
【０２２６】
デブロッキング・フィルタリングは、データ単位のブロッキング現象を緩和させるためのフィルタリングであり、ＳＡＯフィルタリングは、データ符号化及び復号化によって変形されるピクセル値を補償するためのフィルタリングである。インループ・フィルタリング部１６３５，１６８５によってフィルタリングされたデータは、予測単位別に、動き補償部１６４０，１６９０に伝達することができる。また、ブロック分割部１６１８，１６６８から出力された、次の順序の符号化単位の符号化のために、動き補償部１６４０，１６９０及びブロック分割部１６１８，１６６８が出力した現在復元映像と、次の符号化単位とのレジデュ成分が生成される。
【０２２７】
そのように、入力映像の符号化単位ごとに、前述の符号化動作が反復される。
【０２２８】
また、インターレイヤ予測のために、向上レイヤ符号化端１６６０は、基本レイヤ符号化端１６１０のストレージ１６３０に保存された復元映像を参照することができる。基本レイヤ符号化端１６１０の符号化コントロール部１６１５は、基本レイヤ符号化端１６１０のストレージ１６３０を制御し、基本レイヤ符号化端１６１０の復元映像を向上レイヤ符号化端１６６０に伝達することができる。伝達された基本レイヤ復元映像は、向上レイヤ予測映像として利用される。
【０２２９】
インターレイヤ予測端１６５０の映像アップサンプリング装置１６５５は、基本レイヤと向上レイヤとの映像間で解像度が異なる場合、基本レイヤの復元映像をアップサンプリングし、向上レイヤ符号化端１６６０に伝達することもできる。従って、アップサンプリングされた基本レイヤ復元映像が、向上レイヤ予測映像として利用される。映像アップサンプリング装置１６５５は、図１ないし図１３Ｂを参照して説明した映像アップサンプリング装置１０に対応する。
【０２３０】
向上レイヤ符号化端１６６０の符号化コントロール部１６６５がスイッチ１６９８を制御し、インターレイヤ予測が行われる場合には、インターレイヤ予測端１６５０を介して伝達された基本レイヤ復元映像を参照し、向上レイヤ映像を予測することもできる。
【０２３１】
映像の符号化のために、符号化単位、予測単位、変換単位のための各種符号化モードを設定することができる。例えば、符号化単位に係わる符号化モードとして、深度または分割情報（split  flag）などが設定される。予測単位に係わる符号化モードとして、予測モード、パーティションタイプ、イントラ方向情報、参照リスト情報などが設定される。変換単位に係わる符号化モードとして、変換深度または分割情報などが設定される。
【０２３２】
基本レイヤ符号化端１６１０は、符号化単位のための多様な深度、予測単位に係わる多様な予測モード、多様なパーティションタイプ、多様なイントラ方向、多様な参照リスト、変換単位のための多様な変換深度をそれぞれ適用して符号化を行った結果により、符号化効率が最も高い符号化深度、予測モード、パーティションタイプ、イントラ方向／参照リスト、変換深度などを決定することができる。基本レイヤ符号化端１６１０で決定される前記列挙された符号化モードに限定されるものではない。
【０２３３】
基本レイヤ符号化端１６１０の符号化コントロール部１６１５は、それぞれ構成要素の動作に、多様な符号化モードが適切に適用されるように制御することができる。また、符号化コントロール部１６１５は、向上レイヤ符号化端１６６０のインターレイヤ符号化のために、向上レイヤ符号化端１６６０が基本レイヤ符号化端１６１０の符号化結果を参照し、符号化モードまたはレジデュ成分を決定するように制御することができる。
【０２３４】
例えば、向上レイヤ符号化端１６６０は、基本レイヤ符号化端１６１０の符号化モードを、向上レイヤ映像のための符号化モードとしてそのまま利用したり、基本レイヤ符号化端１６１０の符号化モードを参照し、向上レイヤ映像のための符号化モードを決定することができる。基本レイヤ符号化端１６１０の符号化コントロール部１６１５は、基本レイヤ符号化端１６１０の向上レイヤ符号化端１６６０の符号化コントロール部１６６５の制御信号を制御し、向上レイヤ符号化端１６６０が現在符号化モードを決定するために、基本レイヤ符号化端１６１０の符号化モードから、現在符号化モードを利用することができる。
【０２３５】
特に、一実施形態による向上レイヤ符号化端１６６０は、インターレイヤ予測誤差を、ＳＡＯパラメータを利用して符号化することができる。従って、基本レイヤ復元映像から決定された、向上レイヤ予測映像と向上レイヤ復元映像との予測誤差を、ＳＡＯパラメータのオフセットとして符号化することができる。
【０２３６】
図１４で図示されたインターレイヤ予測方式によるインターレイヤ符号化システム１６００と類似して、インターレイヤ予測方式によるインターレイヤ復号化システムも具現される。すなわち、インターレイヤ復号化システムは、基本レイヤビットストリーム及び向上レイヤビットストリームを受信することができる。インターレイヤ復号化システムの基本レイヤ復号化端で、基本レイヤビットストリームを復号化し、基本レイヤ映像を復元することができる。マルチレイヤビデオのインターレイヤ復号化システムの向上レイヤ復号化端では、基本レイヤ復元映像と、パージングした符号化情報とを利用して向上レイヤビットストリームを復号化し、向上レイヤ映像を復元することができる。
【０２３７】
多様な実施形態によるスケーラブルビデオ復号化装置１２００の符号化部１２において、インターレイヤ予測を行ったのであるならば、スケーラブルビデオ復号化装置１２５０の復号化部２６でも、前述のインターレイヤ復号化システムによって、マルチレイヤ映像を復元することができる。
【０２３８】
一実施形態によるスケーラブルビデオ復号化装置１２００、及び一実施形態によるスケーラブルビデオ復号化装置１２５０において、ビデオデータが分割されるブロックがツリー構造の符号化単位に分割され、符号化単位に対するインターレイヤ予測またはインター予測のために、符号化単位、予測単位、変換単位が利用される場合があるということは、前述の通りである。以下、図１５Ａないし図２５を参照し、一実施形態によるツリー構造の符号化単位及び変換単位に基づいたビデオ符号化方法及びその装置、ビデオ復号化方法及びその装置について開示する。
【０２３９】
原則的に、マルチレイヤビデオのための符号化／復号化過程において、基本レイヤ映像のための符号化／復号化過程と、向上レイヤ映像のための符号化／復号化過程とが別途に行われる。すなわち、マルチレイヤビデオにおいて、インターレイヤ予測が発生する場合には、シングルレイヤビデオの符号化／復号化の結果が相互参照されるが、シンググレイヤビデオごとに、別途の符号化／復号化過程が発生する。
【０２４０】
従って、説明の便宜のために、図１５Ａないし図２５を参照して説明するツリー構造の符号化単位に基づいたビデオ符号化過程及びビデオ復号化過程は、シングルレイヤビデオに対するビデオ符号化過程及びビデオ復号化過程であるので、インター予測及び動き補償について詳細に説明する。しかし、図１２Ａないし図１４を参照して説明したように、ビデオストリーム符号化／復号化のために、基本視点映像と向上レイヤ映像とのインターレイヤ予測及び補償が行われる。
【０２４１】
従って、一実施形態によるスケーラブルビデオ復号化装置１２００の符号化部１２が、ツリー構造の符号化単位に基づいて、マルチレイヤビデオを符号化するためには、それぞれのシングルレイヤビデオごとにビデオ符号化を行うために、図１５Ａのビデオ符号化装置１００を、マルチレイヤビデオのレイヤ個数ほど含み、各ビデオ符号化装置１００ごとに割り当てられたシングルレイヤビデオの符号化を行うように制御することができる。また、スケーラブルビデオ復号化装置１２００は、各ビデオ符号化装置１００の別個単一視点の符号化結果を利用して、視点間予測を行う。それにより、スケーラブルビデオ復号化装置１２００の符号化部１２は、レイヤ別に符号化結果を収録した基本視点ビデオストリームと、向上レイヤビデオストリームとを生成することができる。
【０２４２】
それと類似して、一実施形態によるスケーラブルビデオ復号化装置１２５０の復号化部２６が、ツリー構造の符号化単位に基づいて、マルチレイヤビデオを復号化するためには、受信した基本レイヤビデオストリーム及び向上レイヤビデオストリームに対して、レイヤ別にビデオ復号化を行うために、図１５Ｂのビデオ復号化装置２００を、マルチレイヤビデオのレイヤ個数ほど含み、各ビデオ復号化装置２００ごとに割り当てられたシングルレイヤビデオの復号化を行うように制御することができる、そして、スケーラブルビデオ復号化装置１２５０が、各ビデオ復号化装置２００の別個シングルレイヤの復号化結果を利用して、インターレイヤ補償を行うことができる。それにより、スケーラブルビデオ復号化装置１２５０は、レイヤ別に復元された基本レイヤ映像と、向上レイヤ映像とを生成することができる。
【０２４３】
図１５Ａは、多様な実施形態による、ツリー構造の符号化単位に基づいたビデオ符号化装置１００のブロック図である。
【０２４４】
一実施形態による、ツリー構造による符号化単位に基づいたビデオ予測を伴うビデオ符号化装置１００は、符号化単位決定部１２０及び出力部１３０を含む。以下、説明の便宜のために、一実施形態による、ツリー構造による符号化単位に基づいたビデオ予測を伴うビデオ符号化装置１００は、「ビデオ符号化装置１００」と縮約して指称する。
【０２４５】
符号化単位決定部１２０は、映像の現在ピクチャのための最大サイズの符号化単位である最大符号化単位に基づいて、現在ピクチャを区画することができる。現在ピクチャが最大符号化単位より大きければ、現在ピクチャの映像データは、少なくとも１つの最大符号化単位に分割される。一実施形態による最大符号化単位は、サイズ３２ｘ３２，６４ｘ６４，１２８ｘ１２８，２５６ｘ２５６のようなデータ単位であり、縦横サイズが２の累乗である正方形のデータ単位でもある。
【０２４６】
一実施形態による符号化単位は、最大サイズ及び最大深度で特徴づけられる。深度とは、最大符号化単位から符号化単位が空間的に分割された回数を示し、深度が深くなるほど、深度別符号化単位は、最大符号化単位から最小符号化単位まで分割される。最大符号化単位の深度が最上位深度であり、最小符号化単位が最下位符号化単位と定義される。最大符号化単位は、深度が深くなるにつれ、深度別符号化単位の大きさは小さくなるので、上位深度の符号化単位は、複数個の下位深度の符号化単位を含んでもよい。
【０２４７】
前述のように、符号化単位の最大サイズにより、現在ピクチャの映像データを最大符号化単位に分割し、それぞれの最大符号化単位は、深度別に分割される符号化単位を含んでもよい。一実施形態による最大符号化単位は、深度別に分割されるので、最大符号化単位に含まれた空間領域（spatial  domain）の映像データは、深度によって階層的に分類される。
【０２４８】
最大符号化単位の高さ及び幅を階層的に分割することができる総回数を制限する最大深度及び符号化単位の最大サイズがあらかじめ設定されている。
【０２４９】
符号化単位決定部１２０は、深度ごとに最大符号化単位の領域が分割された少なくとも１つの分割領域を符号化し、少なくとも１つの分割領域別に最終符号化結果が出力される深度を決定する。すなわち、符号化単位決定部１２０は、現在ピクチャの最大符号化単位ごとに、深度別符号化単位で映像データを符号化し、最小の符号化誤差が発生する深度を選択し、符号化深度として決定する。決定された符号化深度及び最大符号化単位別映像データは、出力部１３０に出力される。
【０２５０】
最大符号化単位内衣映像データは、最大深度以下の少なくとも１つの深度によって深度別符号化単位に基づいて符号化され、それぞれの深度別符号化単位に基づいた符号化結果が比較される。深度別符号化単位の符号化誤差の比較結果、符号化誤差が最小である深度が選択される。それぞれの最大化符号化単位ごとに、少なくとも１つの符号化深度が決定される。
【０２５１】
最大符号化単位の大きさは深度が深くなるにつれ、符号化単位が階層的に分割されて分割され、符号化単位の個数は増加する。また、１つの最大符号化単位に含まれる同一深度の符号化単位であるとしても、それぞれのデータに対する符号化誤差を測定し、下位深度への分割いかんが決定される。従って、１つの最大符号化単位に含まれるデータであるとしても、位置によって深度別符号化誤差が異なるので、位置によって符号化深度が異なって決定される。従って、１つの最大符号化単位に対して、符号化深度が１以上設定され、最大符号化単位のデータは、１以上の符号化深度の符号化単位によって区画される。
【０２５２】
従って、一実施形態による符号化単位決定部１２０は、現在最大符号化単位に含まれるツリー構造による符号化単位が決定される。一実施形態による「ツリー構造による符号化単位」は、現在最大符号化単位に含まれる全ての深度別符号化単位において、符号化深度に決定された深度の符号化単位を含む。符号化深度の符号化単位は、最大符号化単位内において、同一領域では深度によって階層的に決定され、他の領域については、独立して決定される。同様に、現在領域に対する符号化深度は、他の領域に係わる符号化深度と独立して決定される。
【０２５３】
一実施形態による最大深度は、最大符号化単位から最小符号化単位までの分割回数と係わる指標である。一実施形態による最大深度は、最大符号化単位から最小符号化単位までの全分割回数を示すことができる。例えば、最大符号化単位の深度が０であるとするとき、最大符号化単位が１回分割された符号化単位の深度は、１に設定され、２回分割された符号化単位の深度は、２に設定される。その場合、最大符号化単位から４回分割された符号化単位が最小符号化単位であるならば、深度０，１，２，３及び４の深度レベルが存在するので、最大深度は、４に設定される。
【０２５４】
最大符号化単位の予測符号化及び変換が行われる。予測符号化及び変換も、同様に最大符号化単位ごとに、最大深度以下の深度ごとに、深度別符号化単位を基に行われる。
【０２５５】
最大符号化単位が深度別に分割されるたびに、深度別符号化単位の個数が増加するので、深度が深くなるにつれて生成される全ての深度別符号化単位に対して、予測符号化及び変換を含んだ符号化が行われなければならない。以下、説明の便宜のために、少なくとも１つの最大符号化単位のうち、現在深度の符号化単位を基に、予測符号化及び変換について説明する。
【０２５６】
一実施形態によるビデオ符号化装置１００は、映像データの符号化のためのデータ単位の大きさまたは形態を多様に選択することができる。映像データの符号化のためには、予測符号化、変換、エントロピー符号化などの段階を経るが、全ての段階にわたって、同一データ単位が使用され、段階別にデータ単位が変更されもする。
【０２５７】
例えば、ビデオ符号化装置１００は、映像データの符号化のための符号化単位だけではなく、符号化単位の映像データの予測符号化を行うために、符号化単位と異なるデータ単位を選択することができる。
【０２５８】
最大符号化単位の予測符号化のためには、一実施形態による符号化深度の符号化単位、すなわち、それ以上さらに分割されない符号化単位を基に予測符号化が行われる。以下、予測符号化の基になる、それ以上さらに分割されない符号化単位を「予測単位」とする。予測単位が分割されたパーティションは、予測単位、及び予測単位の高さ及び幅のうち少なくとも一つが分割されたデータ単位を含んでもよい。パーティションは、符号化単位の予測単位が分割された形態のデータ単位であり、予測単位は、符号化単位と同一サイズのパーティションでもある。
【０２５９】
例えば、サイズ２Ｎｘ２Ｎ（ただし、Ｎは、正の整数）の符号化単位がそれ以上分割されない場合、サイズ２Ｎｘ２Ｎの予測単位になり、パーティションの大きさは、２Ｎｘ２Ｎ、２ＮｘＮ、Ｎｘ２Ｎ、ＮｘＮなどでもある。一実施形態によるパーティションタイプは、予測単位の高さまたは幅が対称的な比率に分割された対称的パーティションだけではなく、１：ｎまたはｎ：１のように、非対称的な比率に分割されたパーティション、幾何学的な形態に分割されたパーティション、任意的形態のパーティションなどを選択的に含んでもよい。
【０２６０】
予測単位の予測モードは、イントラモード、インターモード及びスキップモードのうち少なくとも一つでもある。例えば、イントラモード及びインターモードは、２Ｎｘ２Ｎ，２ＮｘＮ、Ｎｘ２Ｎ、ＮｘＮサイズのパーティションに対して遂行される。また、スキップモードは、２Ｎｘ２Ｎサイズのパーティションに対してのみ遂行される。符号化単位以内の１つの予測単位ごとに、独立して符号化が行われ、符号化誤差が最小である予測モードが選択される。
【０２６１】
また、一実施形態によるビデオ符号化装置１００は、映像データの符号化のための符号化単位だけではなく、符号化単位と異なるデータ単位を基に、符号化単位の映像データの変換を行うことができる。符号化単位の変換のためには、符号化単位より小さいか、あるいはそれと同じ大きさの変換単位を基に変換が行われる。例えば、変換単位は、イントラモードのためのデータ単位、及びインターモードのための変換単位を含んでもよい。
【０２６２】
一実施形態によるツリー構造による符号化単位と類似した方式で、符号化単位内の変換単位も、再帰的にさらに小サイズの変換単位に分割されながら、符号化単位のレジデュアルデータが、変換深度によってツリー構造による変換単位によって区画される。
【０２６３】
一実施形態による変換単位についても、符号化単位の高さ及び幅が分割され、変換単位に至るまでの分割回数を示す変換深度が設定される。例えば、サイズ２Ｎｘ２Ｎの現在符号化単位の変換単位の大きさが２Ｎｘ２Ｎであるならば、変換深度０に設定され、変換単位の大きさがＮｘＮであるならば、変換深度１に設定され、変換単位の大きさがＮ／２ｘＮ／２であるならば、変換深度２に設定される。すなわち、変換単位についても、変換深度によって、ツリー構造による変換単位が設定される。
【０２６４】
符号化深度別符号化情報は、符号化深度だけではなく、予測関連情報及び変換関連情報が必要である。従って、符号化単位決定部１２０は、最小符号化誤差を発生させた符号化深度だけではなく、予測単位をパーティションに分割したパーティションタイプ、予測単位別予測モード、変換のための変換単位の大きさなどを決定することができる。
【０２６５】
一実施形態による最大符号化単位のツリー構造による符号化単位及び予測単位／パーティション、並びに変換単位の決定方式については、図２２ないし図２４を参照して詳しく後述する。
【０２６６】
符号化単位決定部１２０は、深度別符号化単位の符号化誤差をラグランジュ乗数（Lagrangian  multiplier）基盤の率歪曲最適化技法（rate-distortion  optimization）を利用して測定することができる。
【０２６７】
出力部１３０は、符号化単位決定部１２０で決定された少なくとも１つの符号化深度に基づいて符号化された最大符号化単位の映像データ及び深度別符号化モードについての情報を、ビットストリーム形態に出力する。
【０２６８】
符号化された映像データは、映像のレジデュアルデータの符号化結果でもある。
【０２６９】
深度別符号化モードについての情報は、符号化深度情報、予測単位のパーティションタイプ情報、予測モード情報、変換単位のサイズ情報などを含んでもよい。
【０２７０】
符号化深度情報は、現在深度で符号化せず、下位深度の符号化単位で符号化するか否かということを示す深度別分割情報を利用して定義される。現在符号化単位の現在深度が符号化深度であるならば、現在符号化単位は、現在深度の符号化単位で符号化されるので、現在深度の分割情報は、それ以上下位深度に分割されないように定義される。反対に、現在符号化単位の現在深度が符号化深度ではないならば、下位深度の符号化単位を利用した符号化を試みなければならないので、現在深度の分割情報は、下位深度の符号化単位に分割されるように定義される。
【０２７１】
現在深度が符号化深度ではないならば、下位深度の符号化単位に分割された符号化単位に対して符号化が行われる。現在深度の符号化単位内に、下位深度の符号化単位が１以上存在するので、それぞれの下位深度の符号化単位ごとに、反復的に符号化が行われ、同一深度の符号化単位ごとに、再帰的（recursive）符号化が行われる。
【０２７２】
１つの最大符号化単位内で、ツリー構造の符号化単位が決定され、符号化深度の符号化単位ごとに少なくとも１つの符号化モードについての情報が決定されなければならないので、１つの最大符号化単位については、少なくとも１つの符号化モードについての情報が決定される。また、最大符号化単位のデータは、深度によって階層的に区画され、位置別に符号化深度が異なるので、データについて、符号化深度及び符号化モードについての情報が設定される。
【０２７３】
従って、一実施形態による出力部１３０は、最大符号化単位に含まれている符号化単位、予測単位及び最小単位のうち少なくとも一つについて、当該符号化深度及び符号化モードに係わる符号化情報を割り当てられる。
【０２７４】
一実施形態による最小単位は、最下位符号化深度である最小符号化単位が４分割された大きさの正方形のデータ単位である。一実施形態による最小単位は、最大符号化単位に含まれる全ての符号化単位内、予測単位内、パーティション単位内及び変換単位内に含まれる最大サイズの正方形データ単位でもある。
【０２７５】
例えば、出力部１３０を介して出力される符号化情報は、深度別符号化単位別符号化情報と、予測単位別符号化情報とに分類される。深度別符号化単位別符号化情報は、予測モード情報、パーティションサイズ情報を含んでもよい。予測単位別に伝送される符号化情報は、インターモードの推定方向についての情報、インターモードの参照映像インデックスについての情報、動きベクトルについての情報、イントラモードのクロマ成分についての情報、イントラモードの補間方式についての情報などを含んでもよい。
【０２７６】
ピクチャ別、スライスセグメント別またはＧＯＰ（group  of  picture）別に定義される符号化単位の最大サイズについての情報及び最大深度についての情報は、ビットストリームのヘッダ、シーケンスパラメータセットまたはピクチャパラメータセットなどに挿入される。
【０２７７】
また、現在ビデオについて許容される変換単位の最大サイズについての情報、及び変換単位の最小サイズについての情報も、ビットストリームのヘッダ、シーケンスパラメータセットまたはピクチャパラメータセットなどを介して出力される。出力部１３０は、予測と係わる参照情報、予測情報、スライスセグメントタイプ情報などを符号化して出力することができる。
ビ  デオ符号化装置１００の最も簡単な形態の実施形態によれば、深度別符号化単位は、１階層上位深度の符号化単位の高さ及び幅を半分にした大きさの符号化単位である。すなわち、現在深度の符号化単位の大きさが２Ｎｘ２Ｎであるならば、下位深度の符号化単位の大きさは、ＮｘＮである。また、２Ｎｘ２Ｎサイズの現在符号化単位は、ＮｘＮサイズの下位深度符号化単位を最大４個含んでもよい。
【０２７８】
従って、ビデオ符号化装置１００は、現在ピクチャの特性を考慮して決定された最大符号化単位の大きさ及び最大深度を基に、それぞれの最大符号化単位ごとに、最適の形態及び大きさの符号化単位を決定し、ツリー構造による符号化単位を構成することができる。また、それぞれの最大符号化単位ごとに、多様な予測モード、変換方式などで符号化することができるので、多様な映像サイズの符号化単位の映像特性を考慮し、最適の符号化モードが決定される。
【０２７９】
従って、映像の解像度が非常に高いか、あるいはデータ量が非常に多い映像を既存マクロブロック単位で符号化するならば、ピクチャ当たりマクロブロックの数が過度に多くなる。それにより、マクロブロックごとに生成される圧縮情報も多くなるので、圧縮情報の伝送負担が大きくなり、データ圧縮効率が低下する傾向がある。従って、一実施形態によるビデオ符号化装置は、映像の大きさを考慮して符号化単位の最大サイズを増大させながら、映像特性を考慮して符号化単位を調節することができるので、映像圧縮効率が上昇する。
【０２８０】
図１２Ａを参照して説明したスケーラブルビデオ復号化装置１２００は、マルチレイヤビデオのレイヤごとに、シングルレイヤ映像の符号化のために、レイヤ個数ほどのビデオ符号化装置１００を含んでもよい。例えば、基本レイヤ符号化部１２が、１つのビデオ符号化装置１００を含み、向上レイヤ符号化部１４が、向上レイヤの個数ほどのビデオ符号化装置１００を含んでもよい。
【０２８１】
ビデオ符号化装置１００が基本レイヤ映像を符号化する場合、符号化単位決定部１２０は、最大符号化単位ごとに、ツリー構造による符号化単位別に、映像間予測のための予測単位を決定し、予測単位ごとに映像間予測を行う。
【０２８２】
ビデオ符号化装置１００が、向上レイヤ映像を符号化する場合にも、符号化単位決定部１２０は、最大符号化単位ごとに、ツリー構造による符号化単位及び予測単位を決定し、予測単位ごとにインター予測を行う。
【０２８３】
ビデオ符号化装置１００は、向上レイヤ映像を予測するためのインターレイヤ予測誤差を、ＳＡＯを利用して符号化することができる。従って、ピクセル位置別に、予測誤差を符号化する必要なく、予測誤差のサンプル値分布に基づいて、ＳＡＯタイプ及びオフセットに係わる情報のみを利用して、向上レイヤ映像の予測誤差が符号化される。
【０２８４】
図１５Ｂは、多様な実施形態による、ツリー構造の符号化単位に基づいたビデオ復号化装置２００のブロック図である。
【０２８５】
一実施形態による、ツリー構造による符号化単位に基づいたビデオ予測を伴うビデオ復号化装置２００は、受信部２１０、映像データ及び符号化情報抽出部２２０及び映像データ復号化部２３０を含む。以下、説明の便宜のために、一実施形態による、ツリー構造による符号化単位に基づいたビデオ予測を伴うビデオ復号化装置２００は、「ビデオ復号化装置２００」と縮約して指称する。
【０２８６】
一実施形態によるビデオ復号化装置２００の復号化動作のための符号化単位、深度、予測単位、変換単位、各種符号化モードについての情報など各種用語の定義は、図１５Ａ及びビデオ符号化装置１００を参照して説明したところと同一である。
【０２８７】
受信部２１０は、符号化されたビデオに係わるビットストリームを受信してパージングする。映像データ及び符号化情報抽出部２２０は、パージングされたビットストリームから、最大符号化単位別に、ツリー構造による符号化単位によって、符号化単位ごとに符号化された映像データを抽出し、映像データ復号化部２３０に出力する。映像データ及び符号化情報抽出部２２０は、現在ピクチャに係わるヘッダ、シーケンスパラメータセットまたはピクチャパラメータセットから、現在ピクチャの符号化単位の最大サイズについての情報を抽出することができる。
【０２８８】
また、映像データ及び符号化情報抽出部２２０は、パージングされたビットストリームから、最大符号化単位別に、ツリー構造による符号化単位に係わる符号化深度及び符号化モードについての情報を抽出する。抽出された符号化深度及び符号化モードについての情報は、映像データ復号化部２３０に出力される。すなわち、ビット列の映像データを最大符号化単位に分割し、映像データ復号化部２３０をして、最大符号化単位ごとに映像データを復号化させる。
【０２８９】
最大符号化単位別符号化深度及び符号化モードについての情報は、１以上の符号化深度情報について設定され、符号化深度別符号化モードについての情報は、当該符号化単位のパーティションタイプ情報、予測モード情報及び変換単位のサイズ情報などを含んでもよい。また、符号化深度情報として、深度別分割情報が抽出されもする。
【０２９０】
映像データ及び符号化情報抽出部２２０が抽出した最大符号化単位別符号化深度及び符号化モードについての情報は、一実施形態によるビデオ符号化装置１００のように、符号化端で、最大符号化単位別深度別符号化単位ごとに反復的に符号化を行い、最小符号化誤差を発生させることによって決定された符号化深度及び符号化モードについての情報である。従って、ビデオ復号化装置２００は、最小符号化誤差を発生させる符号化方式により、データを復号化して映像を復元することができる。
【０２９１】
一実施形態による符号化深度及び符号化モードに係わる符号化情報は、当該符号化単位、予測単位及び最小単位のうち所定データ単位に対して割り当てられているので、映像データ及び符号化情報抽出部２２０は、所定データ単位別に、符号化深度及び符号化モードについての情報を抽出することができる。所定データ単位別に、当該最大符号化単位の符号化深度及び符号化モードについての情報が記録されているならば、同一符号化深度及び符号化モードについての情報を有している所定データ単位は、同一最大符号化単位に含まれるデータ単位と類推される。
【０２９２】
映像データ復号化部２３０は、最大符号化単位別符号化深度及び符号化モードについての情報に基づいて、それぞれの最大符号化単位の映像データを復号化し、現在ピクチャを復元する。すなわち、映像データ復号化部２３０は、最大符号化単位に含まれるツリー構造による符号化単位のうちそれぞれの符号化単位ごとに、読み取られたパーティションタイプ、予測モード、変換単位に基づいて符号化された映像データを復号化することができる。復号化過程は、イントラ予測及び動き補償を含む予測過程、並びに逆変換過程を含んでもよい。
【０２９３】
映像データ復号化部２３０は、符号化深度別符号化単位の予測単位のパーティションタイプ情報及び予測モード情報に基づいて、符号化単位ごとに、それぞれのパーティション及び予測モードによってイ、ントラ予測または動き補償を行うことができる。
【０２９４】
また、映像データ復号化部２３０は、最大符号化単位別逆変換のために、符号化単位別に、ツリー構造による変換単位情報を読み取り、符号化単位ごとに、変換単位に基づいた逆変換を行うことができる。逆変換を介して、符号化単位の空間領域の画素値が復元される。
【０２９５】
映像データ復号化部２３０は、深度別分割情報を利用して、現在最大符号化単位の符号化深度を決定することができる。もし分割情報が現在深度において、それ以上分割されないということを示しているのであるならば、現在深度が符号化深度である。従って、映像データ復号化部２３０は、現在最大符号化単位の映像データについて、現在深度の符号化単位を、予測単位のパーティションタイプ、予測モード及び変換単位サイズ情報を利用して復号化することができる。
【０２９６】
すなわち、符号化単位、予測単位及び最小単位のうち、所定データ単位について設定されている符号化情報を観察し、同一分割情報を含んだ符号化情報を保有しているデータ単位が集まり、映像データ復号化部２３０によって同一符号化モードで復号化する１つのデータ単位と見なされる。そのように決定された符号化単位ごとに、符号化モードに係わる情報を獲得し、現在符号化単位の復号化が行われる。
【０２９７】
図１２Ｂを参照して説明したスケーラブルビデオ復号化装置１２５０は、受信された基本レイヤ映像ストリーム及び向上レイヤ映像ストリームを復号化し、基本レイヤ映像及び向上レイヤ映像を復元するために、ビデオ復号化装置２００を視点数ほど含んでもよい。
【０２９８】
基本レイヤ映像ストリームが受信された場合には、ビデオ復号化装置２００の映像データ復号化部２３０は、抽出部２２０によって、基本レイヤ映像ストリームから抽出された基本レイヤ映像のサンプルを、最大符号化単位のツリー構造による符号化単位に分けることができる。映像データ復号化部２３０は、基本レイヤ映像のサンプルのツリー構造による符号化単位ごとに、映像間予測のための予測単位別に動き補償を行い、基本レイヤ映像を復元することができる。
【０２９９】
向上レイヤ映像ストリームが受信された場合には、ビデオ復号化装置２００の映像データ復号化部２３０は、抽出部２２０によって、向上レイヤ映像ストリームから抽出された向上レイヤ映像のサンプルを、最大符号化単位のツリー構造による符号化単位に分けることができる。映像データ復号化部２３０は、向上レイヤ映像のサンプルの符号化単位ごとに、映像間予測のための予測単位別に動き補償を行い、向上レイヤ映像を復元することができる。
【０３００】
抽出部２２０は、受信された向上レイヤビットストリームから、ＳＡＯタイプ及びオフセットを獲得し、向上レイヤ予測映像のピクセルごとに、サンプル値の分布によって、ＳＡＯカテゴリーを決定することができるので、ＳＡＯタイプ及びオフセットを利用して、ＳＡＯカテゴリー別オフセットを獲得することができる。従って、ピクセル別に予測誤差を受信しないとしても、映像データ復号化部２３０は、向上レイヤ予測映像の各ピクセルごとに、当該カテゴリー別オフセットを補償し、補償された向上レイヤ予測映像を参照し、向上レイヤ復元映像を決定することができる。
【０３０１】
結局、ビデオ復号化装置２００は、符号化過程において、最大符号化単位ごとに再帰的に符号化を行い、最小符号化誤差を発生させた符号化単位に係わる情報を獲得し、現在ピクチャに係わる復号化に利用することができる。すなわち、最大符号化単位ごとに最適符号化単位として決定されたツリー構造による符号化単位の符号化された映像データの復号化が可能になる。
【０３０２】
従って、高い解像度の映像またはデータ量が過度に多い映像でも、符号化端から伝送された最適符号化モードについての情報を利用して、映像の特性に適応的に決定された符号化単位の大きさ及び符号化モードによって、効率的に映像データを復号化して復元することができる。
【０３０３】
図１６は、多様な実施形態による符号化単位の概念を図示している。
【０３０４】
符号化単位の例は、符号化単位の大きさは、幅ｘ高さで表現され、サイズ６４ｘ６４である符号化単位から、サイズ３２ｘ３２，１６ｘ１６，８ｘ８を含んでもよい。サイズ６４ｘ６４の符号化単位は、サイズ６４ｘ６４，６４ｘ３２，３２ｘ６４，３２ｘ３２のパーティションに分割され、サイズ３２ｘ３２の符号化単位は、サイズ３２ｘ３２，３２ｘ１６，１６ｘ３２，１６ｘ１６のパーティションに分割され、サイズ１６ｘ１６の符号化単位は、サイズ１６ｘ１６，１６ｘ８，８ｘ１６，８ｘ８のパーティションに分割され、サイズ８ｘ８の符号化単位は、サイズ８ｘ８，８ｘ４，４ｘ８，４ｘ４のパーティションに分割される。
【０３０５】
ビデオデータ３１０については、解像度が１９２０ｘ１０８０、符号化単位の最大サイズが６４、最大深度が２に設定されている。ビデオデータ３２０については、解像度が１９２０ｘ１０８０、符号化単位の最大サイズが６４、最大深度が３に設定されている。ビデオデータ３３０については、解像度が３５２ｘ２８８、符号化単位の最大サイズが１６、最大深度が１に設定されている。図１６に図示された最大深度は、最大符号化単位から最小符号化単位までの全分割回数を示す。
【０３０６】
解像度が高いか、あるいはデータ量が多い場合、符号化効率の向上だけではなく、映像特性を正確に反映するために、符号化サイズの最大サイズが相対的に大きいことが望ましい。従って、ビデオデータ３３０に比べ、解像度が高いビデオデータ３１０，３２０は、符号化サイズの最大サイズが６４に選択される。
【０３０７】
ビデオデータ３１０の最大深度が２であるので、ビデオデータ３１０の符号化単位３１５は、長軸サイズが６４である最大符号化単位から、２回分割されて深度が２階層深くなり、長軸サイズが３２、１６である符号化単位まで含んでもよい。一方、ビデオデータ３３０の最大深度が１であるので、ビデオデータ３３０の符号化単位３３５は、長軸サイズが１６である符号化単位から、１回分割されて深度が１階層深くなり、長軸サイズが８である符号化単位まで含んでもよい。
【０３０８】
ビデオデータ３２０の最大深度が３であるので、ビデオデータ３２０の符号化単位３２５は、長軸サイズが６４である最大符号化単位から、３回分割されて深度が３階層深くなり、長軸サイズが３２、１６、８である符号化単位まで含んでもよい。深度が深くなるほど、細部情報の表現能が向上される。
【０３０９】
図１７Ａは、多様な実施形態による符号化単位に基づいた映像符号化部４００のブロック図である。
【０３１０】
一実施形態による映像符号化部４００は、ビデオ符号化装置１００の符号化単位決定部１２０において、映像データの符号化に経る作業を含む。すなわち、イントラ予測部４１０は、現在フレーム４０５において、イントラモードの符号化単位に対してイントラ予測を行い、動き推定部４２０及び動き補償部４２５は、インターモードの現在フレーム４０５及び参照フレーム４９５を利用して、インター推定及び動き補償を行う。
【０３１１】
イントラ予測部４１０、動き推定部４２０及び動き補償部４２５から出力されたデータは、変換部４３０及び量子化部４４０を経て、量子化された変換係数として出力される。量子化された変換係数は、逆量子化部４６０、逆変換部４７０を介して、空間領域のデータに復元され、復元された空間領域のデータは、デブロッキング部４８０及びオフセット補償部４９０を経て後処理され、参照フレーム４９５として出力される。量子化された変換係数は、エントロピー符号化部４５０を経て、ビットストリーム４５５として出力される。
【０３１２】
一実施形態によるビデオ符号化装置１００に適用されるためには、映像符号化部４００の構成要素である、イントラ予測部４１０、動き推定部４２０、動き補償部４２５、変換部４３０、量子化部４４０、エントロピー符号化部４５０、逆量子化部４６０、逆変換部４７０、デブロッキング部４８０及びオフセット補償部４９０が、いずれも最大符号化単位ごとに、最大深度を考慮し、ツリー構造による符号化単位のうち、それぞれの符号化単位に基づいた作業を遂行しなければならない。
【０３１３】
特に、イントラ予測部４１０、動き推定部４２０及び動き補償部４２５は、現在最大符号化単位の最大サイズ及び最大深度を考慮し、ツリー構造による符号化単位のうち、それぞれの符号化単位のパーティション及び予測モードを決定し、変換部４３０は、ツリー構造による符号化単位のうち、それぞれの符号化単位内の変換単位の大きさを決定しなけれればならない。
【０３１４】
図１７Ｂは、多様な実施形態による符号化単位に基づいた映像復号化部５００のブロック図である。
【０３１５】
ビットストリーム５０５がパージング部５１０を経て、復号化対象である符号化された映像データ、及び復号化のために必要な符号化についての情報がパージングされる。符号化された映像データは、エントロピー復号化部５２０及び逆量子化部５３０を経て、逆量子化されたデータとして出力され、逆変換部５４０を経て、空間領域の映像データが復元される。
【０３１６】
空間領域の映像データについて、イントラ予測部５５０は、イントラモードの符号化単位に対してイントラ予測を行い、動き補償部５６０は、参照フレーム５８５を共に利用して、インターモードの符号化単位に対して動き補償を行う。
【０３１７】
イントラ予測部５５０及び動き補償部５６０を経た空間領域のデータは、デブロッキング部５７０及びオフセット補償部５８０を経て後処理され、復元フレーム５９５として出力される。また、デブロッキング部５７０及びループ・フィルタリング部５８０を経て後処理されたデータは、参照フレーム５８５として出力される。
【０３１８】
ビデオ復号化装置２００の映像データ復号化部２３０において映像データを復号化するために、一実施形態による映像復号化部５００のパージング部５１０以後の段階別作業が遂行される。
【０３１９】
一実施形態によるビデオ復号化装置２００に適用されるためには、映像復号化部５００の構成要素である、パージング部５１０、エントロピー復号化部５２０、逆量子化部５３０、逆変換部５４０、イントラ予測部５５０、動き補償部５６０、デブロッキング部５７０及びオフセット補償部５８０が、いずれも最大符号化単位ごとに、ツリー構造による符号化単位に基づいて作業を遂行しなければならない。
【０３２０】
特に、イントラ予測部５５０、動き補償部５６０は、ツリー構造による符号化単位ごとにそれぞれパーティション及び予測モードを決定し、逆変換部５４０は、符号化単位ごとに、変換単位の大きさを決定しなけれればならない。
【０３２１】
図１７Ａの符号化動作及び図１７Ｂの復号化動作は、それぞれ単一レイヤでのビデオストリーム符号化動作及び復号化動作について説明したものである。従って、図１２Ａのスケーラブルビデオ符号化装置１２００が２以上のレイヤのビデオストリームを符号化するならば、レイヤ別に映像符号化部４００を含んでもよい。類似して、図１２Ｂのスケーラブルビデオ復号化装置１２５０が、２以上のレイヤのビデオストリームを復号化するならば、レイヤ別に映像復号化部５００を含んでもよい。
【０３２２】
図１８は、多様な実施形態による、深度別符号化単位及びパーティションを図示している。
【０３２３】
一実施形態によるビデオ符号化装置１００、及び一実施形態によるビデオ復号化装置２００は、映像特性を考慮するために、階層的な符号化単位を使う。符号化単位の最大高及び最幅、最大深度は、映像の特性によって適応的に決定され、ユーザの要求によって多様に設定されもする。あらかじめ設定された符号化単位の最大サイズにより、深度別符号化単位の大きさが決定される。
【０３２４】
一実施形態による符号化単位の階層構造６００は、符号化単位の最大高及び最大幅が６４であり、最大深度が３である場合を図示している。そのとき、最大深度は、最大符号化単位から最小符号化単位までの全分割回数を示す。一実施形態による符号化単位の階層構造６００の縦軸により、深度が深くなるので、深度別符号化単位の高さ及び幅がそれぞれ分割される。また、符号化単位の階層構造６００の横軸に沿って、それぞれの深度別符号化単位の予測符号化の基になる予測単位及びパーティションが図示されている。
【０３２５】
すなわち、符号化単位６１０は、符号化単位の階層構造６００において、最大符号化単位であり、深度が０であり、符号化単位の大きさ、すなわち、高さ及び幅が６４ｘ６４である。縦軸に沿って深度が深くなり、サイズ３２ｘ３２である深度１の符号化単位６２０が存在し、サイズ１６ｘ１６である深度２の符号化単位６３０が存在し、サイズ８ｘ８である深度３の符号化単位６４０が存在する。サイズ８ｘ８である深度３の符号化単位６４０は、最小符号化単位である。
【０３２６】
それぞれの深度別に横軸に沿って、符号化単位の予測単位及びパーティションが配列される。すなわち、深度０のサイズ６４ｘ６４の符号化単位６１０が予測単位であるならば、予測単位は、サイズ６４ｘ６４の符号化単位６１０に含まれるサイズ６４ｘ６４のパーティション６１０、サイズ６４ｘ３２のパーティション６１２、サイズ３２ｘ６４のパーティション６１４、サイズ３２ｘ３２のパーティション６１６に分割される。
【０３２７】
同様に、深度１のサイズ３２ｘ３２の符号化単位６２０の予測単位は、サイズ３２ｘ３２の符号化単位６２０に含まれるサイズ３２ｘ３２のパーティション６２０に分割され、サイズ３２ｘ１６のパーティション６２２に分割され、サイズ１６ｘ３２のパーティション６２４に分割され、サイズ１６ｘ１６のパーティション６２６に分割される。
【０３２８】
同様に、深度２のサイズ１６ｘ１６の符号化単位６３０の予測単位は、サイズ１６ｘ１６の符号化単位６３０に含まれるサイズ１６ｘ１６のパーティション６３０に分割され、サイズ１６ｘ８のパーティション６３２に分割され、サイズ８ｘ１６のパーティション６３４に分割され、サイズ８ｘ８のパーティション６３６に分割される。
【０３２９】
同様に、深度３のサイズ８ｘ８の符号化単位６４０の予測単位は、サイズ８ｘ８の符号化単位６４０に含まれるサイズ８ｘ８のパーティション６４０に分割され、サイズ８ｘ４のパーティション６４２に分割され、サイズ４ｘ８のパーティション６４４に分割され、サイズ４ｘ４のパーティション６４６に分割される。
【０３３０】
一実施形態によるビデオ符号化装置１００の符号化単位決定部１２０は、最大符号化単位６１０の符号化深度を決定するために、最大符号化単位６１０に含まれるそれぞれの深度の符号化単位ごとに符号化を行わなければならない。
【０３３１】
同一範囲及び同一サイズのデータを含むための深度別符号化単位の個数は、深度が深くなるほど、深度別符号化単位の個数も増加する。例えば、深度１の符号化単位一つを含むデータに対して、深度２の符号化単位は、四つが必要である。従って、同一データの符号化結果を深度別に比較するために、１つの深度１の符号化単位、及び４つの深度２の符号化単位を利用して、それぞれ符号化されなければならない。
【０３３２】
それぞれの深度別符号化のためには、符号化単位の階層構造６００の横軸に沿って、深度別符号化単位の予測単位ごとに符号化を行い、当該深度で最小の符号化誤差である代表符号化誤差が選択される。また、符号化単位の階層構造６００の縦軸に沿って深度が深くなり、それぞれの深度ごとに符号化を行い、深度別代表符号化誤差を比較し、最小符号化誤差が検索される。最大符号化単位６１０において、最小符号化誤差が発生する深度及びパーティションが、最大符号化単位６１０の符号化深度及びパーティションタイプに選択される。
【０３３３】
図１９は、多様な実施形態による、符号化単位及び変換単位の関係を図示している。
【０３３４】
一実施形態によるビデオ符号化装置１００、または一実施形態によるビデオ復号化装置２００は、最大符号化単位ごとに、最大符号化単位より小さいか、あるいはそれと同じ大きさの符号化単位で映像を符号化するか復号化する。符号化過程において、変換のための変換単位の大きさは、それぞれの符号化単位より大きくないデータ単位を基に選択される。
【０３３５】
例えば、一実施形態によるビデオ符号化装置１００、または一実施形態によるビデオ復号化装置２００において、現在符号化単位７１０が６４ｘ６４サイズであるとき、３２ｘ３２サイズの変換単位７２０を利用して変換が行われる。
【０３３６】
また、６４ｘ６４サイズの符号化単位７１０のデータを、６４ｘ６４サイズ以下の３２ｘ３２，１６ｘ１６，８ｘ８，４ｘ４サイズの変換単位にそれぞれ変換を行って符号化した後、原本との誤差が最小である変換単位が選択される。
【０３３７】
図２０は、多様な実施形態による深度別符号化情報を図示している。
【０３３８】
一実施形態によるビデオ符号化装置１００の出力部１３０は、符号化モードについての情報として、それぞれの符号化深度の符号化単位ごとに、パーティションタイプについての情報８００、予測モードについての情報８１０、変換単位サイズに係わる情報８２０を符号化して伝送することができる。
【０３３９】
パーティションタイプに係わる情報８００は、現在符号化単位の予測符号化のためのデータ単位として、現在符号化単位の予測単位が分割されたパーティションの形態に係わる情報を示す。例えば、サイズ２Ｎｘ２Ｎの現在符号化単位ＣＵ＿０は、サイズ２Ｎｘ２Ｎのパーティション８０２、サイズ２ＮｘＮのパーティション８０４、サイズＮｘ２Ｎのパーティション８０６、サイズＮｘＮのパーティション８０８のうちいずれか１つのタイプに分割されて利用される。その場合、現在符号化単位のパーティションタイプについての情報８００は、サイズ２Ｎｘ２Ｎのパーティション８０２、サイズ２ＮｘＮのパーティション８０４、サイズＮｘ２Ｎのパーティション８０６及びサイズＮｘＮのパーティション８０８のうち一つを示すように設定される。
【０３４０】
予測モードについての情報８１０は、それぞれのパーティションの予測モードを示す。例えば、予測モードについての情報８１０を介して、パーティションタイプについての情報８００が示すパーティションが、イントラモード８１２、インターモード８１４及びスキップモード８１６のうち一つで予測符号化が行われるかということが設定される。
【０３４１】
また、変換単位サイズについての情報８２０は、現在符号化単位に対して、いかなる変換単位を基に変換を行うかということを示す。例えば、変換単位は、第１イントラ変換単位サイズ８２２、第２イントラ変換単位サイズ８２４、第１インター変換単位サイズ８２６、第２インター変換単位サイズ８２８のうち一つである。
【０３４２】
一実施形態によるビデオ復号化装置２００の映像データ及び符号化情報抽出部２１０は、それぞれの深度別符号化単位ごとに、パーティションタイプについての情報８００、予測モードについての情報８１０、変換単位サイズに係わる情報８２０を抽出し、復号化に利用することができる。
【０３４３】
図２１は、多様な実施形態による深度別符号化単位を図示している。
【０３４４】
深度の変化を示すために、分割情報が利用される。分割情報は、現在深度の符号化単位が、下位深度の符号化単位に分割されるか否かということを示す。
【０３４５】
深度０及び２Ｎ＿０ｘ２Ｎ＿０サイズの符号化単位９００の予測符号化のための予測単位９１０は、２Ｎ＿０ｘ２Ｎ＿０サイズのパーティションタイプ９１２、２Ｎ＿０ｘＮ＿０サイズのパーティションタイプ９１４、Ｎ＿０ｘ２Ｎ＿０サイズのパーティションタイプ９１６、Ｎ＿０ｘＮ＿０サイズのパーティションタイプ９１８を含んでもよい。予測単位が対称的な比率に分割されたパーティション９１２，９１４，９１６，９１８だけが例示されているが、前述のように、パーティションタイプは、それらに限定されるものではなく、非対称的パーティション、任意的形態のパーティション、幾何学的形態のパーティションなどを含んでもよい。
【０３４６】
パーティションタイプごとに、１つの２Ｎ＿０ｘ２Ｎ＿０サイズのパーティション、２つの２Ｎ＿０ｘＮ＿０サイズのパーティション、２つのＮ＿０ｘ２Ｎ＿０サイズのパーティション、４つのＮ＿０ｘＮ＿０サイズのパーティションごとに、反復的に予測符号化が行われなければならない。サイズ２Ｎ＿０ｘ２Ｎ＿０、サイズＮ＿０ｘ２Ｎ＿０、サイズ２Ｎ＿０ｘＮ＿０及びサイズＮ＿０ｘＮ＿０のパーティションについては、イントラモード及びインターモードで予測符号化が行われる。スキップモードはサ、イズ２Ｎ＿０ｘ２Ｎ＿０のパーティションについてのみ予測符号化が行われる。
【０３４７】
サイズ２Ｎ＿０ｘ２Ｎ＿０，２Ｎ＿０ｘＮ＿０及びＮ＿０ｘ２Ｎ＿０のパーティションタイプ９１２，９１４，９１６のうち一つによる符号化誤差が最小であるならば、それ以上下位深度に分割する必要はない。
【０３４８】
サイズＮ＿０ｘＮ＿０のパーティションタイプ９１８による符号化誤差が最小であるならば、深度０を１に変更しながら分割し（９２０）、深度２及びサイズＮ＿０ｘＮ＿０のパーティションタイプの符号化単位９３０に対して反復的に符号化を行い、最小符号化誤差を検索していく。
【０３４９】
深度１及びサイズ２Ｎ＿１ｘ２Ｎ＿１（＝Ｎ＿０ｘＮ＿０）の符号化単位９３０の予測符号化のための予測単位９４０は、サイズ２Ｎ＿１ｘ２Ｎ＿１のパーティションタイプ９４２、サイズ２Ｎ＿１ｘＮ＿１のパーティションタイプ９４４、サイズＮ＿１ｘ２Ｎ＿１のパーティションタイプ９４６、サイズＮ＿１ｘＮ＿１のパーティションタイプ９４８を含んでもよい。
【０３５０】
また、サイズＮ＿１ｘＮ＿１のパーティションタイプ９４８による符号化誤差が最小であるならば、深度１を深度２に変更しながら分割し（９５０）、深度２及びサイズＮ＿２ｘＮ＿２の符号化単位９６０に対して反復的に符号化を行い、最小符号化誤差を検索していく。
【０３５１】
最大深度がｄである場合、深度別符号化単位は、深度ｄ−１になるまで設定され、分割情報は、深度ｄ−２まで設定される。すなわち、深度ｄ−２から分割され（９７０）、深度ｄ−１まで符号化が行われる場合、深度ｄ−１及びサイズ２Ｎ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）の符号化単位９８０の予測符号化のための予測単位９９０は、サイズ２Ｎ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティションタイプ９９２、サイズ２Ｎ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションタイプ９９４、サイズＮ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティションタイプ９９６、サイズＮ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションタイプ９９８を含んでもよい。
【０３５２】
パーティションタイプのうち、１つのサイズ２Ｎ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティション、２つのサイズ２Ｎ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティション、２つのサイズＮ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティション、４つのサイズＮ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションごとに、反復的に予測符号化を介する符号化が行われ、最小符号化誤差が発生するパーティションタイプが検索される。
【０３５３】
サイズＮ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションタイプ９９８による符号化誤差が最小であるとしても、最大深度がｄであるので、深度ｄ−１の符号化単位ＣＵ＿（ｄ−１）は、それ以上下位深度への分割過程を経ず、現在最大符号化単位９００に対する符号化深度が深度ｄ−１に決定され、パーティションタイプは、Ｎ＿（ｄ−１）ｘＮ＿（ｄ−１）に決定される。また、最大深度がｄであるので、深度ｄ−１の符号化単位９８０に対して、分割情報が設定されない。
【０３５４】
データ単位９９９は、現在最大符号化単位に係わる「最小単位」とされる。一実施形態による最小単位は、最下位符号化深度である最小符号化単位が４分割された大きさの正方形のデータ単位でもある。そのような反復的符号化過程を介して、一実施形態によるビデオ符号化装置１００は、符号化単位９００の深度別符号化誤差を比較し、最小の符号化誤差が発生する深度を選択し、符号化深度を決定し、当該パーティションタイプ及び予測モードが符号化深度の符号化モードに設定される。
【０３５５】
そのように、深度０，１，…，ｄ−１、ｄの全ての深度別最小符号化誤差を比較し、誤差が最小である深度が選択され、符号化深度に決定される。符号化深度、並びに予測単位のパーティションタイプ及び予測モードは、符号化モードについての情報として符号化されて伝送される。また、深度０から符号化深度に至るまで符号化単位が分割されなければならないので、符号化深度の分割情報だけが「０」に設定され、符号化深度を除いた深度別分割情報は、「１」に設定されなければならない。
【０３５６】
一実施形態によるビデオ復号化装置２００の映像データ及び符号化情報抽出部２２０は、符号化単位９００に対する符号化深度及び予測単位についての情報を抽出し、符号化単位９１２を復号化するのに利用することができる。一実施形態によるビデオ復号化装置２００は、深度別分割情報を利用して、分割情報が「０」である深度を符号化深度として把握し、当該深度に係わる符号化モードについての情報を利用して、復号化に利用することができる。
【０３５７】
図２２、図２３及び図２４は、多様な実施形態による、符号化単位、予測単位及び変換単位の関係を図示している。
【０３５８】
符号化単位１０１０は、最大符号化単位について、一実施形態によるビデオ符号化装置１００が決定した符号化深度別符号化単位である。予測単位１０６０は、符号化単位１０１０において、それぞれの符号化深度別符号化単位の予測単位のパーティションであり、変換単位１０７０は、それぞれの符号化深度別符号化単位の変換単位である。
【０３５９】
深度別符号化単位１０１０は、最大符号化単位の深度が０であるとすれば、符号化単位１０１２，１０５４は、深度が１であり、符号化単位１０１４，１０１６，１０１８，１０２８，１０５０，１０５２は、深度が２であり、符号化単位１０２０，１０２２，１０２４，１０２６，１０３０，１０３２，１０４８は、深度が３であり、符号化単位１０４０，１０４２，１０４４，１０４６は、深度が４である。
【０３６０】
予測単位１０６０のうち一部パーティション１０１４，１０１６，１０２２，１０３２，１０４８，１０５０，１０５２，１０５４は、符号化単位が分割された形態である。すなわち、パーティション１０１４，１０２２，１０５０，１０５４は、２ＮｘＮのパーティションタイプであり、パーティション１０１６，１０４８，１０５２は、Ｎｘ２Ｎのパーティションタイプであり、パーティション１０３２は、ＮｘＮのパーティションタイプである。深度別符号化単位１０１０の予測単位及びパーティションは、それぞれの符号化単位より小さいか、あるいはそれと同じである。
【０３６１】
変換単位１０７０のうち一部変換単位１０５２の映像データについては、符号化単位に比べ、小サイズのデータ単位で変換または逆変換が行われる。また、変換単位１０１４，１０１６，１０２２，１０３２，１０４８，１０５０，１０５２，１０５４は、予測単位１０６０において、当該予測単位及びパ−ティションと比較すれば、互いに異なる大きさまたは形態のデータ単位である。すなわち、一実施形態によるビデオ符号化装置１００、及び一実施形態に他のビデオ復号化装置２００は、同一符号化単位に係わるイントラ予測／動き推定／動き補償作業、及び変換／逆変換作業であるとしても、それぞれ別個のデータ単位を基に遂行することができる。
【０３６２】
それにより、最大符号化単位ごとに、領域別に階層的な構造の符号化単位ごとに再帰的に符号化が行われ、最適符号化単位が決定されることにより、再帰的ツリー構造による符号化単位が構成される。符号化情報は、符号化単位に係わる分割情報、パーティションタイプ情報、予測モード情報、変換単位サイズ情報を含んでもよい。下記表２は、一実施形態によるビデオ符号化装置１００、及び一実施形態によるビデオ復号化装置２００で設定することができる一例を示している。
【０３６３】
【表２】
2016502379.tif 000010
一実施形態によるビデオ符号化装置１００の出力部１３０は、ツリー構造による符号化単位に係わる符号化情報を出力し、一実施形態によるビデオ復号化装置２００の符号化情報抽出部２２０は、受信されたビットストリームから、ツリー構造による符号化単位に係わる符号化情報を抽出することができる。
【０３６４】
分割情報は、現在符号化単位が下位深度の符号化単位に分割されるか否かということを示す。現在深度ｄの分割情報が０であるならば、現在符号化単位が、現在符号化単位が下位符号化単位にそれ以上分割されない深度が符号化深度であるので、符号化深度について、パーティションタイプ情報、予測モード、変換単位サイズ情報が定義される。分割情報によって、１段階さらに分割されなければならない場合には、分割された４個の下位深度の符号化単位ごとに、独立して符号化が行われなければならない。
【０３６５】
予測モードは、イントラモード、インターモード及びスキップモードのうち一つで示すことができる。イントラモード及びインターモードは、全てのパーティションタイプで定義され、スキップモードは、パーティションタイプ２Ｎｘ２Ｎでのみ定義される。
【０３６６】
パーティションタイプ情報は、予測単位の高さまたは幅が対称的な比率に分割された対称的パーティションタイプ２Ｎｘ２Ｎ，２ＮｘＮ、Ｎｘ２Ｎ及びＮｘＮと、非対称的な比率に分割された非対称的パーティションタイプ２ＮｘｎＵ，２ＮｘｎＤ，ｎＬｘ２Ｎ，ｎＲｘ２Ｎを示すことができる。非対称的パーティションタイプ２ＮｘｎＵ及び２ＮｘｎＤは、それぞれ高さが１：３及び３：１に分割された形態であり、非対称的パーティションタイプｎＬｘ２Ｎ及びｎＲｘ２Ｎは、それぞれ幅が１：３及び３：１に分割された形態を示す。
【０３６７】
変換単位サイズは、イントラモードで２種の大きさ、インターモードで２種の大きさに設定される。すなわち、変換単位分割情報が０であるならば、変換単位の大きさは、現在符号化単位のサイズ２Ｎｘ２Ｎに設定される。変換単位分割情報が１であるならば、現在符号化単位が分割された大きさの変換単位が設定される。また、サイズ２Ｎｘ２Ｎである現在符号化単位に係わるパーティションタイプが対称形パーティションタイプであるならば、変換単位の大きさは、ＮｘＮに設定され、非対称形パーティションタイプであるならば、Ｎ／２ｘＮ／２に設定される。
【０３６８】
一実施形態によるツリー構造による符号化単位の符号化情報は、符号化深度の符号化単位、予測単位及び最小単位単位のうち少なくとも一つに対して割り当てられる。符号化深度の符号化単位は、同一符号化情報を保有している予測単位及び最小単位を１以上含んでもよい。
【０３６９】
従って、隣接したデータ単位同士それぞれ保有している符号化情報を確認すれば、同一符号化深度の符号化単位に含まれるか否かということが確認される。また、データ単位が保有している符号化情報を利用すれば、当該符号化深度の符号化単位を確認することができるので、最大符号化単位内の符号化深度の分布が類推される。
【０３７０】
従って、その場合、現在符号化単位が周辺データ単位を参照して予測する場合、現在符号化単位に隣接する深度別符号化単位内のデータ単位の符号化情報が直接参照されて利用される。
【０３７１】
他の実施形態で、現在符号化単位が、周辺符号化単位を参照して予測符号化が行われる場合、隣接する深度別符号化単位の符号化情報を利用して、深度別符号化単位内で現在符号化単位に隣接するデータが検索されることにより、周辺符号化単位が参照されもする。
【０３７２】
図２５は、表２の符号化モード情報による、符号化単位、予測単位及び変換単位の関係を図示している。
【０３７３】
最大符号化単位１３００は、符号化深度の符号化単位１３０２，１３０４，１３０６，１３１２，１３１４，１３１６，１３１８を含む。そのうち１つの符号化単位１３１８は、符号化深度の符号化単位であるために、分割情報が０に設定される。サイズ２Ｎｘ２Ｎの符号化単位１３１８のパーティションタイプ情報は、パーティションタイプ２Ｎｘ２Ｎ  １３２２，２ＮｘＮ  １３２４，Ｎｘ２Ｎ  １３２６，ＮｘＮ  １３２８，２ＮｘｎＵ  １３３２，２ＮｘｎＤ  １３３４，ｎＬｘ２Ｎ  １３３６及びｎＲｘ２Ｎ  １３３８のうち一つに設定される。
【０３７４】
変換単位分割情報（ＴＵ  size  flag）は、変換インデックスの一種であり、変換インデックスに対応する変換単位の大きさは、符号化単位の予測単位タイプまたはパーティションタイプによって変更される。
【０３７５】
例えば、パーティションタイプ情報が、対称形パーティションタイプ２Ｎｘ２Ｎ  １３２２，２ＮｘＮ  １３２４，Ｎｘ２Ｎ  １３２６及びＮｘＮ  １３２８のうち一つに設定されている場合、変換単位分割情報が０であるならば、サイズ２Ｎｘ２Ｎの変換単位１３４２が設定され、変換単位分割情報が１であるならば、サイズＮｘＮの変換単位１３４４が設定される。
【０３７６】
パーティションタイプ情報が、非対称形パーティションタイプ２ＮｘｎＵ  １３３２，２ＮｘｎＤ  １３３４，ｎＬｘ２Ｎ  １３３６及びｎＲｘ２Ｎ  １３３８のうち一つに設定されている場合、変換単位分割情報（ＴＵ  size  flag）が０であるならば、サイズ２Ｎｘ２Ｎの変換単位１３５２が設定され、変換単位分割情報が１であるならば、サイズＮ／２ｘＮ／２の変換単位１３５４が設定される。
【０３７７】
図２０を参照して説明した変換単位分割情報（ＴＵ  size  flag）は、０または１の値を有するフラグであるが、一実施形態による変換単位分割情報は、１ビットのフラグに限定されるものではなく、設定によって、０、１、２、３、…などに増加し、変換単位が階層的に分割されもする。変換単位分割情報は、変換インデックスの一実施形態として利用される。
【０３７８】
その場合、一実施形態による変換単位分割情報を、変換単位の最大サイズ、変換単位の最小サイズと共に利用すれば、実際に利用された変換単位の大きさが表現される。一実施形態によるビデオ符号化装置１００は、最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報を符号化することができる。符号化された最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報は、ＳＰＳに挿入される。一実施形態によるビデオ復号化装置２００は、最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報を利用して、ビデオ復号化に利用することができる。
【０３７９】
例えば、（ａ）現在符号化単位がサイズ６４ｘ６４であり、最大変換単位サイズが３２ｘ３２であるならば、（ａ−１）変換単位分割情報が０であるとき、変換単位の大きさは、３２ｘ３２に設定され、（ａ−２）変換単位分割情報が１であるとき、変換単位の大きさは、１６ｘ１６に設定され、（ａ−３）変換単位分割情報が２であるとき、変換単位の大きさは、８ｘ８に設定される。
【０３８０】
他の例として、（ｂ）現在符号化単位がサイズ３２ｘ３２であり、最小変換単位サイズが３２ｘ３２であるならば、（ｂ−１）変換単位分割情報が０であるとき、変換単位の大きさは、３２ｘ３２に設定され、変換単位の大きさが３２ｘ３２より小さいことがないので、それ以上の変換単位分割情報が設定されることがない。
【０３８１】
さらに他の例として、（ｃ）現在符号化単位がサイズ６４ｘ６４であり、最大変換単位分割情報が１であるならば、変換単位分割情報は０または１であり、他の変換単位分割情報が設定されることがない。
【０３８２】
従って、最大変換単位分割情報を「MaxTransformSizeIndex」と定義し、最小変換単位サイズを「MinTransformSize」と定義し、変換単位分割情報が０である場合の変換単位サイズを「RootTuSize」と定義するとき、現在符号化単位で可能な最小変換単位サイズ「CurrMinTuSize」は、下記数式（１）のように定義される。
【０３８３】
CurrMinTuSize
＝ｍａｘ（MinTransformSize，RootTuSize／（２＾MaxTransformSizeIndex））    （１）
現在符号化単位で可能な最小変換単位サイズ「CurrMinTuSize」と比較し、変換単位分割情報が０である場合の変換単位サイズである「RootTuSize」は、システム上採択可能な最大変換単位サイズを示すことができる。すなわち、数式（１）によれば、「RootTuSize／（２＾MaxTransformSizeIndex）」は、変換単位分割情報が０である場合の変換単位サイズである「RootTuSize」を、最大変換単位分割情報に相応する回数ほど分割した変換単位サイズであり、「MinTransformSize」は、最小変換単位サイズであるので、それらのうち小さい値が、現在現在符号化単位で可能な最小変換単位サイズ「CurrMinTuSize」でもある。
【０３８４】
一実施形態による最大変換単位サイズ「RootTuSize」は、予測モードによって異なる。
【０３８５】
例えば、現在予測モードがインターモードであるならば、「RootTuSize」は、下記数式（２）によって決定される。数式（２）において、「MaxTransformSize」は、最大変換単位サイズを示し、「PUSize」は、現在予測単位サイズを示す。
【０３８６】
RootTuSize＝ｍｉｎ（MaxTransformSize，PUSize）      （２）
すなわち、現在予測モードがインターモードであるならば、変換単位分割情報が０である場合の変換単位サイズである「RootTuSize」は、最大変換単位サイズ及び現在予測単位サイズのうち小さい値に設定される。
【０３８７】
現在パーティション単位の予測モードがイントラモードであるならば、「RootTuSize」は、下記数式（３）によって決定される。「PartitionSize」は、現在パーティション単位の大きさを示す。
【０３８８】
RootTuSize＝ｍｉｎ（MaxTransformSize，PartitionSize）      （３）
すなわち、現在予測モードがイントラモードであるならば、変換単位分割情報が０である場合の変換単位サイズである「RootTuSize」は、最大変換単位サイズ及び現在パーティション単位サイズのうち小さい値に設定される。
【０３８９】
ただし、パーティション単位の予測モードによって変動する一実施形態による現在最大変換単位サイズ「RootTuSize」は、一実施形態であるのみ、現在最大変換単位サイズを決定する要因がそれに限定されるものではないことに留意しなければならない。
【０３９０】
図１５Ａないし図２５を参照して説明したツリー構造の符号化単位に基づいたビデオ符号化技法により、ツリー構造の符号化単位ごとに、空間領域の映像データが符号化され、ツリー構造の符号化単位に基づいたビデオ復号化技法によって、最大符号化単位ごとに復号化が行われながら、空間領域の映像データが復元され、ピクチャ及びピクチャシーケンスであるビデオが復元される。復元されたビデオは、再生装置によって再生されるか、記録媒体に保存されるか、ネットワークを介して伝送される。
【０３９１】
一方、前述の本発明の実施形態は、コンピュータで実行されるプログラムに作成可能であり、コンピュータで読み取り可能な記録媒体を利用して、前記プログラムを動作させる汎用デジタルコンピュータで具現される。前記コンピュータで読み取り可能な記録媒体は、マグネチック記録媒体（例えば、ＲＯＭ（read  only  memory）、フロッピー（登録商標）ディスク、ハードディスクなど）、光学的判読媒体（例えば、ＣＤ（compact  disc）−ＲＯＭ、ＤＶＤ（digital  versatile  disc）など）のような記録媒体を含む。
【０３９２】
説明の便宜のために、先に図１２Ａないし図２５を参照して説明したスケーラブルビデオ符号化方法及び／またはビデオ符号化方法は、「本発明のビデオ符号化方法」と呼ぶ。また、先に図１２Ａないし図２５を参照して説明したスケーラブルビデオ復号化方法及び／またはビデオ復号化方法は、「本発明のビデオ復号化方法」と呼ぶ。
【０３９３】
また、先に図１２Ａないし図２５を参照して説明したスケーラブルビデオ復号化装置１２００、ビデオ符号化装置１００または映像符号化部４００で構成されたビデオ符号化装置は、「本発明のビデオ符号化装置」と呼ぶ。また、先に図１２Ａないし図２５を参照して説明したスケーラブルビデオ復号化装置１２５０、ビデオ復号化装置２００または映像復号化部５００で構成されたビデオ復号化装置は、「本発明のビデオ復号化装置」と呼ぶ。
【０３９４】
一実施形態によるプログラムが保存されるコンピュータで読み取り可能な記録媒体がディスク２６０００である実施形態について以下で詳細に説明する。
【０３９５】
図２６は、多様な実施形態によるプログラムが保存されたディスク２６０００の物理的構造を例示している。記録媒体としての前述のディスク２６０００は、ハードドライブ、ＣＤ−ＲＯＭディスク、ブルーレイ（登録商標（Blu-ray））ディスク、ＤＶＤディスクでもある。ディスク２６０００は、多数の同心円のトラックＴｒから構成され、トラックは、円周方向に沿って、所定個数のセクタＳｅに分割される。前述の一実施形態によるプログラムを保存するディスク２６０００における特定領域に、前述の量子化パラメータ決定方法、ビデオ符号化方法及びビデオ復号化方法を具現するためのプログラムが割り当てられて保存される。
【０３９６】
前述のビデオ符号化方法及びビデオ復号化方法を具現するためのプログラムを保存する記録媒体を利用して達成されたコンピュータシステムについて、図２７を参照して説明する。
【０３９７】
図２７は、ディスク２６０００を利用して、プログラムを記録して読み取るためのディスクドライブ２６８００を図示している。コンピュータシステム２６７００は、ディスクドライブ２６８００を利用して、本発明のビデオ符号化方法及びビデオ復号化方法のうち少なくとも一つを具現するためのプログラムを、ディスク２６０００に保存することができる。ディスク２６０００に保存されたプログラムを、コンピュータシステム２６７００上で実行するために、ディスクドライブ２６８００によって、ディスク２６０００からプログラムが読み取られ、プログラムがコンピュータシステム２６７００に伝送される。
【０３９８】
図２６及び図２７で例示されたディスク２６０００だけではなく、メモリカード、ＲＯＭカセット、ＳＳＤ（solid  state  drive）にも、本発明のビデオ符号化方法及びビデオ復号化方法のうち少なくとも一つを具現するためのプログラムが保存される。
【０３９９】
前述の実施形態によるビデオ符号化方法及びビデオ復号化方法が適用されたシステムについて説明する。
【０４００】
図２８は、コンテンツ流通サービス（content  distribution  service）を提供するためのコンテンツ供給システム（content  supply  system）１１０００の全体的構造を図示している。通信システムのサービス領域は、所定サイズのセルに分割され、各セルに、ベースステーションになる無線基地局１１７００，１１８００，１１９００，１２０００が設置される。
【０４０１】
コンテンツ供給システム１１０００は、多数の独立デバイスを含む。例えば、コンピュータ１２１００、ＰＤＡ（personal  digital  assistant）１２２００、ビデオカメラ１２３００及び携帯電話１２５００のような独立デバイスが、インターネットサービス・プロバイダ１１２００、通信網１１４００、及び無線基地局１１７００，１１８００，１１９００，１２０００を経て、インターネット１１１００に連結される。
【０４０２】
しかし、コンテンツ供給システム１１０００は、図２８に図示された構造にのみ限定されるものではなく、デバイスが選択的に連結されてもよい。独立デバイスは、無線基地局１１７００，１１８００，１１９００，１２０００を経ずに、通信網１１４００に直接連結されてもよい。
【０４０３】
ビデオカメラ１２３００は、デジタルビデオカメラのように、ビデオ映像を撮影することができる撮像デバイスである。携帯電話１２５００は、ＰＤＣ（personal  digital  communications）方式、ＣＤＭＡ（code  division  multiple  access）方式、Ｗ−ＣＤＭＡ（wideband  code  division  multiple  access）方式、ＧＳＭ（登録商標（global  system  for  mobile  communications））方式及びＰＨＳ（personal  handyphone  system）方式のような多様なプロトコルのうち少なくとも１つの通信方式を採択することができる。
【０４０４】
ビデオカメラ１２３００は、無線基地局１１９００及び通信網１１４００を経て、ストリーミングサーバ１１３００に連結される。ストリーミングサーバ１１３００は、ユーザがビデオカメラ１２３００を使用して伝送したコンテンツをリアルタイム放送でストリーミング伝送することができる。ビデオカメラ１２３００から受信されたコンテンツは、ビデオカメラ１２３００またはストリーミングサーバ１１３００によって符号化される。ビデオカメラ１２３００で撮影されたビデオデータは、コンピュータ１２１００を経て、ストリーミングサーバ１１３００に伝送される。
【０４０５】
カメラ１２６００で撮影されたビデオデータも、コンピュータ１２１００を経て、ストリーミングサーバ１１３００に伝送される。カメラ１２６００は、デジタルカメラのように静止画像及びビデオ映像をいずれも撮影することができる撮像装置である。カメラ１２６００から受信されたビデオデータは、カメラ１２６００またはコンピュータ１２１００によって符号化される。ビデオ符号化及びビデオ復号化のためのソフトウェアは、コンピュータ１２１００がアクセスすることができるＣＤ−ＲＯＭディスク、フロッピー（登録商標）、ハードディスクドライブ、ＳＳＤ、メモリカードのようなコンピュータで読み取り可能な記録媒体に保存される。
【０４０６】
また、携帯電話１２５００に搭載されたカメラによってビデオが撮影された場合、ビデオデータが携帯電話１２５００から受信される。
【０４０７】
ビデオデータは、ビデオカメラ１２３００、携帯電話１２５００またはカメラ１２６００に搭載されたＬＳＩ（large  scale  integrated  circuit）システムによって符号化される。
【０４０８】
一実施形態によるコンテンツ供給システム１１０００において、例えば、コンサートの現場録画コンテンツのように、ユーザがビデオカメラ１２３００、カメラ１２６００、携帯電話１２５００、または他の撮像デバイスを利用して録画されたコンテンツが符号化され、ストリーミングサーバ１１３００に伝送される。ストリーミングサーバ１１３００は、コンテンツデータを要請した他のクライアントに、コンテンツデータをストリーミング伝送することができる。
【０４０９】
クライアントは、符号化されたコンテンツデータを復号化することができるデバイスであり、例えば、コンピュータ１２１００、ＰＤＡ  １２２００、ビデオカメラ１２３００または携帯電話１２５００でもある。従って、コンテンツ供給システム１１０００は、クライアントをして、符号化されたコンテンツデータを受信して再生させる。また、コンテンツ供給システム１１０００は、クライアントをして、符号化されたコンテンツデータを受信してリアルタイムで復号化して再生させ、個人放送（personal  broadcasting）を可能にさせる。
【０４１０】
コンテンツ供給システム１１０００に含まれた独立デバイスの符号化動作及び復号化動作に、本発明のビデオ符号化装置及びビデオ復号化装置が適用される。
【０４１１】
図２９及び図３０を参照し、コンテンツ供給システム１１０００において、携帯電話１２５００の一実施形態について詳細に説明する。
【０４１２】
図２９は、多様な実施形態による、本発明のビデオ符号化方法及びビデオ復号化方法が適用される携帯電話１２５００の外部構造を図示している。携帯電話１２５００は、機能が制限されておらず、応用プログラムを介して、相当部分の機能を変更したり、あるいは拡張したりすることができるスマートフォンでもある。
【０４１３】
携帯電話１２５００は、無線基地局１２０００とＲＦ（radio  frequency）信号を交換するための内蔵アンテナ１２５１０を含み、カメラ１２５３０によって撮影された映像、またはアンテナ１２５１０によって受信されて復号化された映像をディスプレイするためのＬＣＤ（liquid  crystal  display）画面、ＯＬＥＤ（organic  light  emitting  diodes）画面のようなディスプレイ画面１２５２０を含む。スマートフォン１２５１０は、制御ボタン、タッチパネルを含む動作パネル１２５４０を含む。ディスプレイ画面１２５２０がタッチスクリーンである場合、動作パネル１２５４０は、ディスプレイ画面１２５２０のタッチ感知パネルをさらに含む。スマートフォン１２５１０は、音声、音響を出力するためのスピーカ１２５８０、または他の形態の音響出力部と、音声、音響が入力されるマイクロホン１２５５０、または他の形態の音響入力部と、を含む。スマートフォン１２５１０は、ビデオ及び静止画像を撮影するためのＣＣＤカメラのようなカメラ１２５３０をさらに含む。また、スマートフォン１２５１０は、カメラ１２５３０によって撮影されたり、電子メール（Ｅ−mail）に受信されたりするか、あるいは他の形態で獲得されたビデオや静止画像のように、符号化されるか復号化されたデータを保存するための記録媒体１２５７０；及び記録媒体１２５７０を携帯電話１２５００に装着するためのスロット１２５６０；を含んでもよい。記録媒体１２５７０は、ＳＤカードまたはプラスチックケースに内蔵されたＥＥＰＲＯＭ（electrically  erasable  and  programmable  read  only  memory）のような他の形態のフラッシュメモリでもある。
【０４１４】
図３０は、携帯電話１２５００の内部構造を図示している。ディスプレイ画面１２５２０及び動作パネル１２５４０で構成された携帯電話１２５００の各パートを組織的に制御するために、電力供給回路１２７００、動作入力制御部１２６４０、映像符号化部１２７２０、カメラ・インターフェース１２６３０、ＬＣＤ制御部１２６２０、映像復号化部１２６９０、マルチプレクサ／デマルチプレクサ（ＭＵＸ／ＤＥＭＵＸ：multiplexer／demultiplexer）１２６８０、記録／判読部１２６７０、変調／復調（modulation／demodulation）部１２６６０及び音響処理部１２６５０が、同期化バス１２７３０を介して中央制御部１２７１０に連結される。
【０４１５】
ユーザが電源ボタンを動作し、「電源オフ」状態から「電源オン」状態に設定すれば、電力供給回路１２７００は、バッテリパックから携帯電話１２５００の各パートに電力を供給することにより、携帯電話１２５００が動作モードにセッティングされる。
【０４１６】
中央制御部１２７１０は、ＣＰＵ（central  processing  unit）、ＲＯＭ及びＲＡＭ（random  access  memory）を含む。
【０４１７】
携帯電話１２５００が外部に通信データを送信する過程では、中央制御部１２７１０の制御によって、携帯電話１２５００でデジタル信号が生成される、例えば、音響処理部１２６５０では、デジタル音響信号が生成され、映像符号化部１２７２０では、デジタル映像信号が生成され、動作パネル１２５４０及び動作入力制御部１２６４０を介して、メッセージのテキストデータが生成される。中央制御部１２７１０の制御によって、デジタル信号が、変調／復調部１２６６０に伝達されれば、変調／復調部１２６６０は、デジタル信号の周波数帯域を変調し、通信回路１２６１０は、帯域変調されたデジタル音響信号に対して、Ｄ／Ａ変換（digital-analog  conversion）処理及び周波数変換（frequency  conversion）処理を行う。通信回路１２６１０から出力された送信信号は、アンテナ１２５１０を介して、音声通信基地局または無線基地局１２０００に送出される。
【０４１８】
例えば、携帯電話１２５００が通話モードであるとき、マイクロホン１２５５０によって獲得された音響信号は、中央制御部１２７１０の制御によって、音響処理部１２６５０でデジタル音響信号に変換される。生成されたデジタル音響信号は、変調／復調部１２６６０及び通信回路１２６１０を経て送信信号に変換され、アンテナ１２５１０を介して送出される。
【０４１９】
データ通信モードで、電子メールのようなテキストメッセージが伝送される場合、動作パネル１２５４０を利用してメッセージのテキストデータが入力され、テキストデータが、動作入力制御部１２６４０を介して中央制御部１２６１０に伝送される。中央制御部１２６１０の制御により、テキストデータは、変調／復調部１２６６０及び通信回路１２６１０を介して送信信号に変換され、アンテナ１２５１０を介して、無線基地局１２０００に送出される。
【０４２０】
データ通信モードで映像データを伝送するために、カメラ１２５３０によって撮影された映像データが、カメラ・インターフェース１２６３０を介して映像符号化部１２７２０に提供される。カメラ１２５３０によって撮影された映像データは、カメラ・インターフェース１２６３０及びＬＣＤ制御部１２６２０を介して、ディスプレイ画面１２５２０に直ちにディスプレイされる。
【０４２１】
映像符号化部１２７２０の構造は、前述の本発明のビデオ符号化装置の構造と相応する。映像符号化部１２７２０は、カメラ１２５３０から提供された映像データを、前述の本発明のビデオ符号化方式により、符号化し、圧縮符号化された映像データに変換し、符号化された映像データを多重化／逆多重化部１２６８０に出力することができる。カメラ１２５３０の録画中に、携帯電話１２５００のマイクロホン１２５５０によって獲得された音響信号も、音響処理部１２６５０を経て、デジタル音響データに変換され、デジタル音響データは、多重化／逆多重化部１２６８０に伝達される。
【０４２２】
多重化／逆多重化部１２６８０は、音響処理部１２６５０から提供された音響データと共に、映像符号化部１２７２０から提供された符号化された映像データを多重化する。多重化されたデータは、変調／復調部１２６６０及び通信回路１２６１０を介して、送信信号に変換され、アンテナ１２５１０を介して送出される。
【０４２３】
携帯電話１２５００が外部から通信データを受信する過程では、アンテナ１２５１０を介して受信された信号を、周波数復元（frequency  recovery）処理及びＡ／Ｄ変換（analog-digital  conversion）処理を介して、デジタル信号を変換する。変調／復調部１２６６０は、デジタル信号の周波数帯域を復調する。帯域復調されたデジタル信号は、種類によって、ビデオ復号化部１２６９０、音響処理部１２６５０またはＬＣＤ制御部１２６２０に伝達される。
【０４２４】
携帯電話１２５００は、通話モードであるとき、アンテナ１２５１０を介して受信された信号を増幅し、周波数変換及びＡ／Ｄ変換処理を介して、デジタル音響信号を生成する。受信されたデジタル音響信号は、中央制御部１２７１０の制御によって、変調／復調部１２６６０及び音響処理部１２６５０を経て、アナログ音響信号に変換され、アナログ音響信号が、スピーカ１２５８０を介して出力される。
【０４２５】
データ通信モードにおいて、インターネットのウェブサイトからアクセスされたビデオファイルのデータが受信される場合、アンテナ１２５１０を介して、無線基地局１２０００から受信された信号は、変調／復調部１２６６０の処理結果、多重化されたデータを出力し、多重化されたデータは、多重化／逆多重化部１２６８０に伝達される。
【０４２６】
アンテナ１２５１０を介して受信した多重化されたデータを復号化するために、多重化／逆多重化部１２６８０は、多重化されたデータを逆多重化し、符号化されたビデオデータストリームと、符号化されたオーディオデータストリームとを分離する。同期化バス１２７３０により、符号化されたビデオデータストリームは、ビデオ復号化部１２６９０に提供され、符号化されたオーディオデータストリームは、音響処理部１２６５０に提供される。
【０４２７】
映像復号化部１２６９０の構造は、前述の本発明のビデオ復号化装置の構造と相応する。映像復号化部１２６９０は、前述の本発明のビデオ復号化方法を利用して、符号化されたビデオデータを復号化し、復元されたビデオデータを生成し、復元されたビデオデータをＬＣＤ制御部１２６２０を経て、ディスプレイ画面１２５２０に、復元されたビデオデータを提供することができる。
【０４２８】
それにより、インターネットのウェブサイトからアクセスされたビデオファイルのビデオデータが、ディスプレイ画面１２５２にディスプレイされる。それと同時に、音響処理部１２６５も、オーディオデータをアナログ音響信号に変換し、アナログ音響信号をスピーカ１２５８０に提供することができる。それにより、インターネットのウェブサイトからアクセスされたビデオファイルに含まれたオーディオデータも、スピーカ１２５８０で再生される。
【０４２９】
携帯電話１２５００または他の形態の通信端末機は、本発明のビデオ符号化装置及びビデオ復号化装置をいずれも含む送受信端末機であるか、前述の本発明のビデオ符号化装置のみを含む送信端末機であるか、本発明のビデオ復号化装置のみを含む受信端末機でもある。
【０４３０】
本発明の通信システムは、図２９を参照して説明した構造に限定されるものではない。例えば、図３１は、多様な実施形態による通信システムが適用されたデジタル放送システムを図示している。図３１の一実施形態によるデジタル放送システムは、本発明のビデオ符号化装置及びビデオ復号化装置を利用して、衛星ネットワークまたは地上波ネットワークを介して伝送されるデジタル放送を受信することができる。
【０４３１】
具体的に見れば、放送局１２８９０は、電波を介して、ビデオデータストリームを通信衛星または放送衛星１２９００に伝送する。放送衛星１２９００は、放送信号を伝送し、放送信号は、家庭にあるアンテナ１２８６０によって、衛星放送受信機に受信される。各家庭において、符号化されたビデオストリームは、ＴＶ（television）受信機１２８１０、セットトップボックス（set-top  box）１２８７０または他のデバイスによって復号化されて再生される。
【０４３２】
再生装置１２８３０において、本発明のビデオ復号化装置が具現されることにより、再生装置１２８３０が、ディスク及びメモリカードのような記録媒体１２８２０に記録された符号化されたビデオストリームを読み取って復号化することができる。それにより、復元されたビデオ信号は、例えば、モニタ１２８４０で再生される。
【０４３３】
衛星／地上波放送のためのアンテナ１２８６０、またはケーブルＴＶ受信のためのケーブルアンテナ１２８５０に連結されたセットトップボックス１２８７０にも、本発明のビデオ復号化装置が搭載される。セットトップボックス１２８７０の出力データも、ＴＶモニタ１２８８０で再生される。
【０４３４】
他の例として、セットトップボックス１２８７０の代わりに、ＴＶ受信機１２８１０自体に、本発明のビデオ復号化装置が搭載されもする。
【０４３５】
適切なアンテナ１２９１０を具備した自動車１２９２０が、衛星１２８００または無線基地局１１７００から送出される信号を受信することもできる。自動車１２９２０に搭載された自動車ナビゲーションシステム１２９３０のディスプレイ画面に、復号化されたビデオが再生される。
【０４３６】
ビデオ信号は、本発明のビデオ符号化装置によって符号化され、記録媒体に記録されて保存される。具体的に見れば、ＤＶＤレコーダによって映像信号が、ＤＶＤディスク１２９６０に保存されるか、ハードディスクレコーダ１２９５０によって、ハードディスクに映像信号が保存される。他の例として、ビデオ信号は、ＳＤカード１２９７０に保存されもする。ハードディスクレコーダ１２９５０が、一実施形態による本発明のビデオ復号化装置を具備すれば、ＤＶＤディスク１２９６０、ＳＤカード１２９７０、または他の形態の記録媒体に記録されたビデオ信号が、モニタ１２８８０で再生される。
【０４３７】
自動車ナビゲーションシステム１２９３０は、図３０のカメラ１２５３０、カメラ・インターフェース１２６３０及び映像符号化部１２７２０を含まないこともある。例えば、コンピュータ１２１００（図２８）及びＴＶ受信機１２８１０も、図３０のカメラ１２５３０、カメラ・インターフェース１２６３０及び映像符号化部１２７２０を含まないこともある。
【０４３８】
図３２は、多様な実施形態によるビデオ符号化装置及びビデオ復号化装置を利用するクラウドコンピューティング・システムのネットワーク構造を図示している。
【０４３９】
本発明のクラウドコンピューティング・システムは、クラウドコンピューティングサーバ１４１００、ユーザＤＢ（database）１４１００、コンピューティング資源１４２００及びユーザ端末機を含んでなる。
【０４４０】
クラウドコンピューティング・システムは、ユーザ端末機の要請により、インターネットのような情報通信網を介して、コンピューティング資源のオンデマンドアウトソーシングサービスを提供する。クラウドコンピューティング環境において、サービスプロバイダは、互いに異なる物理的な位置に存在するデータセンターのコンピューティング資源を仮想化技術で統合し、ユーザが必要とするサービスを提供する。サービスユーザは、アプリケーション（application）、ストレージ（storage）、運用体制（ＯＳ）、保安（security）などのコンピューティング資源を、各ユーザ所有の端末にストロールして使用するのではなく、仮想化技術を介して生成された仮想空間上のサービスを、所望の時点で所望するほど選んで使用することができる。
【０４４１】
特定サービスユーザのユーザ端末機は、インターネット及び移動通信網を含む情報通信網を介して、クラウドコンピューティングサーバ１４１００に接続する。ユーザ端末機は、クラウドコンピューティングサーバ１４１００から、クラウドコンピューティングサービス、特に、動画再生サービスを提供される。ユーザ端末機は、デストトップＰＣ（personal  computer）１４３００、スマートＴＶ  １４４００、スマートフォン１４５００、ノート型パソコン１４６００、ＰＭＰ（portable  multimedia  player）１４７００、タブレットＰＣ  １４８００など、インターネット接続が可能な全ての電子機器にもなる。
【０４４２】
クラウドコンピューティングサーバ１４１００は、クラウド網に分散している多数のコンピューティング資源１４２００を統合し、ユーザ端末機に提供することができる。多数のコンピューティング資源１４２００は、さまざまなデータサービスを含み、ユーザ端末機からアップロードされたデータを含んでもよい。そのように、クラウドコンピューティングサーバ１４１００は、多くのところに分散している動画データベースを仮想化技術で統合し、ユーザ端末機が要求するサービスを提供する。
【０４４３】
ユーザＤＢ  １４１００には、クラウドコンピューティングサービスに加入しているユーザ情報が保存される。ここで、ユーザ情報は、ログイン情報や、住所、名前など個人信用情報を含んでもよい。また、ユーザ情報は、動画のインデックス（index）を含んでもよい。ここで、インデックスは、再生を完了した動画リストや、再生中の動画リストや、再生中の動画の停止時点などを含んでもよい。
【０４４４】
ユーザＤＢ  １４１００に保存された動画に係わる情報は、ユーザデバイス間に共有される。従って、例えば、ノート型パソコン１４６００から再生要請され、ノート型パソコン１４６００に所定動画サービスを提供した場合、ユーザＤＢ  １４１００に、所定動画サービスの再生ヒストリーが保存される。スマートフォン１４５００から、同一動画サービスの再生要請が受信される場合、クラウドコンピューティングサーバ１４１００は、ユーザＤＢ  １４１００を参照し、所定動画サービスを見い出して再生する。スマートフォン１４５００が、クラウドコンピューティングサーバ１４１００を介して、動画データストリームを受信する場合、動画データストリームを復号化してビデオを再生する動作は、先に図２９及び図３０を参照して説明した携帯電話１２５００の動作と類似している。
【０４４５】
クラウドコンピューティングサーバ１４１００は、ユーザＤＢ  １４１００に保存された所定動画サービスの再生ヒストリーを参照することもできる。例えば、クラウドコンピューティングサーバ１４１００は、ユーザ端末機から、ユーザＤＢ  １４１００に保存された動画に対する再生要請を受信する。動画が、それ以前に再生中であったのであるならば、クラウドコンピューティングサーバ１４１００は、ユーザ端末機からの選択によって、初めから再生するか、あるいは以前停止時点から再生するかということによってストリーミング方法が異なる。例えば、ユーザ端末機が、初めから再生するように要請した場合には、クラウドコンピューティングサーバ１４１００は、ユーザ端末機に当該動画を、最初のフレームからストリーミング伝送する。一方、端末機が、以前停止時点から続けて再生するように要請した場合には、クラウドコンピューティングサーバ１４１００は、ユーザ端末機に、当該動画を停止時点のフレームからストリーミング伝送する。
【０４４６】
そのとき、ユーザ端末機は、図１２Ａないし図２５を参照して説明した本発明のビデオ復号化装置を含んでもよい。他の例として、ユーザ端末機は、図１２Ａないし図２５を参照して説明した本発明のビデオ符号化装置を含んでもよい。また、ユーザ端末機は、図１２Ａないし図２５を参照して説明した本発明のビデオ符号化装置及びビデオ復号化装置をいずれも含んでもよい。
【０４４７】
図１２Ａないし図２５を参照して説明した、ビデオ符号化方法及びビデオ復号化方法、ビデオ符号化装置及びビデオ復号化装置が活用される多様な実施形態について、図２６ないし図３１で説明した。しかし、図１２Ａないし図２５を参照して説明したビデオ符号化方法及びビデオ復号化方法が記録媒体に保存されたり、あるいはビデオ符号化装置及びビデオ復号化装置がデバイスで具現されたりする多様な実施形態は、図２７ないし図３１の実施形態に限定されるものではない。
【０４４８】
以上で開示された多様な実施形態が属する技術分野で当業者であるならば、本明細書で開示された実施形態の本質的な特性から外れない範囲で変形された形態に具現されるということを理解することができるであろう。従って、開示された実施形態は、限定的な観点ではなく、説明的な観点から考慮されなければならない。本明細書の開示範囲は、前述の説明ではなく、特許請求の範囲に示されており、それと同等な範囲内にある全ての差異は、本明細書の開示範囲に含まれていると解釈されなければならないのである。
【図１】
2016502379.tif 000011
【図２】
2016502379.tif 000012
【図３】
2016502379.tif 000013
【図４ａ】
2016502379.tif 000014
【図４ｂ】
2016502379.tif 000015
【図５】
2016502379.tif 000016
【図６】
2016502379.tif 000017
【図７】
2016502379.tif 000018
【図８】
2016502379.tif 000019
【図９】
2016502379.tif 000020
【図１０】
2016502379.tif 000021
【図１１】
2016502379.tif 000022
【図１２Ａ】
2016502379.tif 000023
【図１２Ｂ】
2016502379.tif 000024
【図１３Ａ】
2016502379.tif 000025
【図１３Ｂ】
2016502379.tif 000026
【図１４】
2016502379.tif 000027
【図１５Ａ】
2016502379.tif 000028
【図１５Ｂ】
2016502379.tif 000029
【図１６】
2016502379.tif 000030
【図１７Ａ】
2016502379.tif 000031
【図１７Ｂ】
2016502379.tif 000032
【図１８】
2016502379.tif 000033
【図１９】
2016502379.tif 000034
【図２０】
2016502379.tif 000035
【図２１】
2016502379.tif 000036
【図２２】
2016502379.tif 000037
【図２３】
2016502379.tif 000038
【図２４】
2016502379.tif 000039
【図２５】
2016502379.tif 000040
【図２６】
2016502379.tif 000041
【図２７】
2016502379.tif 000042
【図２８】
2016502379.tif 000043
【図２９】
2016502379.tif 000044
【図３０】
2016502379.tif 000045
【図３１】
2016502379.tif 000046
【図３２】
2016502379.tif 000047
【国際調査報告】
2016502379.tif 000048
2016502379.tif 000049
2016502379.tif 000050
2016502379.tif 000051
2016502379.tif 000052
2016502379.tif 000053
2016502379.tif 000054
2016502379.tif 000055
2016502379.tif 000056
2016502379.tif 000057
2016502379.tif 000058
2016502379.tif 000059
2016502379.tif 000060
2016502379.tif 000061