(57)【要約】  本発明は、多視点ビデオのスケーラブルビデオ符号化方法と復号化方法、かつ、それを具現するためのスケーラブルビデオ符号化放置及び復号化装置に関する。ビデオの映像シーケンスのうち少なくとも一つのルート映像及び残りの映像を複数の階層に分類し、スケーラブル予測符号化のための参照映像変換技法に基づいて、映像シーケンスのうち現在映像の親映像を用いて現在映像についての少なくても一つの参照映像を生成し、少なくとも一つの参照映像を用いて、現在映像を予測符号化するケーラブルビデオ符号化方法が開示される。
2014513896.tif 000002
【特許請求の範囲】
【請求項１】
スケーラブルビデオ符号化方法において、
ビデオの映像シーケンスのうち少なくとも一つのルート映像及び残りの映像を複数の階層に分類する段階と、
階層内の予測及び階層間の予測を含むスケーラブル予測符号化のための参照映像変換技法に基づいて、前記映像シーケンスのうち現在映像の親映像を用いて前記現在映像についての少なくても一つの参照映像を生成する段階と、
前記少なくとも一つの参照映像を用いて、前記現在映像を予測符号化する段階と、を含むことを特徴とするスケーラブルビデオ符号化方法。
【請求項２】
前記ビデオ階層符号化方法は、
前記映像シーケンスの参照関係によるツリー構造に基づいて、前記映像シーケンスのうちそれぞれの映像が参照する親映像を示す親映像インデックス情報を符号化する段階をさらに含むことを特徴とする請求項１に記載のスケーラブルビデオ符号化方法。
【請求項３】
前記階層分類段階は、
２次元ビデオまたは３次元ビデオを含む前記ビデオの前記映像シーケンスを少なくとも一つの映像特性によって分類する段階を含み、
前記映像シーケンスを階層別に分類する映像特性は、前記多視点映像の視点及び解像度を含むことを特徴とする請求項１に記載のスケーラブルビデオ符号化方法。
【請求項４】
前記予測符号化段階は、
前記親映像の復元映像または参照情報のうちいずれか一つを参照して前記現在映像を予測するかどうかを定める段階と、
前記決定如何によって前記親映像の復元映像または参照情報のうち一つを参照して前記現在映像を予測する段階と、を含み、
前記現在映像と前記親映像との参照予測関係によるツリー構造に基づいて、前記現在映像について前記親映像を示す情報、及び前記親映像の復元映像または参照情報のうちいずれか一つを参照するかどうかを示す情報を符号化することを特徴とする請求項１に記載のスケーラブルビデオ符号化方法。
【請求項５】
前記スケーラブルビデオ符号化方法は、
前記参照映像変換技法を示す情報を符号化し、
前記参照映像変換技法は、バイパス技法、スケーリング技法、インターレース方式−プログレッシブ方式転換技法、カラー変換技法、フィルタリング技法、ラッピング技法、加重値付加技法及び階層間補間技法のうち少なくとも一つを含み、
前記参照映像生成段階は、一つの親映像を前記参照映像変換技法に適用し、前記現在映像のための少なくとも一つの参照映像を生成する段階を含むことを特徴とする請求項１に記載のスケーラブルビデオ符号化方法。
【請求項６】
前記参照映像生成段階は、前記現在映像について、前記参照映像変換技法によって生成された少なくとも一つの参照映像を保存する参照映像リストを生成する段階を含み、
前記予測符号化段階は、前記参照映像リストに保存された少なくとも一つの映像を参照して前記現在映像を予測符号化する段階を含むことを特徴とする請求項５に記載のスケーラブルビデオ符号化方法。
【請求項７】
スケーラブルビデオ復号化方法において、
ビデオのビットストリームを受信してパージングし、前記ビデオの映像シーケンスのうち少なくとも一つのルート映像及び残りの映像が複数の階層に分類されて符号化されたデータを抽出する段階と、
階層内の予測及び階層間の予測を含むスケーラブル予測復号化のための参照映像変換技法に基づいて、前記映像シーケンスの復元映像のうち親映像を現在映像についての少なくても一つの参照映像に変換する段階と、
前記少なくとも一つの参照映像を用いて、前記現在映像を予測復号化して復元する段階と、を含むことを特徴とするスケーラブルビデオ復号化方法。
【請求項８】
前記抽出段階は、前記パージングされたビットストリームから、前記映像シーケンスのうちそれぞれの映像が参照する親映像を示す親映像インデックス情報を抽出する段階を含み、
前記参照映像変換段階は、前記親映像インデックス情報に基づいて前記映像シーケンスの参照関係によるツリー構造を分析し、前記現在映像が参照するための前記親映像を前記映像シーケンスの復元映像から検索する段階を含むことを特徴とする請求項７に記載のスケーラブルビデオ復号化方法。
【請求項９】
２次元ビデオまたは３次元ビデオの前記映像シーケンスの階層は、前記映像シーケンスの少なくとも一つの映像特性によって分類され、
前記映像シーケンスを階層別に分類した映像特性は、前記多視点映像の視点及び解像度を含むことを特徴とする請求項７に記載のスケーラブルビデオ復号化方法。
【請求項１０】
前記抽出段階は、
前記現在映像の予測復号化のために、前記親映像の復元映像または参照情報のうちいずれか一つを参照するかどうかを示す参照対象情報をさらに抽出する段階を含むことを特徴とする請求項８に記載のスケーラブルビデオ復号化方法。
【請求項１１】
前記親映像を少なくとも一つの参照映像に変換する段階は、
前記参照映像変換技法は、バイパス技法、スケーリング技法、インターレース方式−プログレッシブ方式転換技法、カラー変換技法、フィルタリング技法、ラッピング技法、加重値付加技法及び階層間補間技法のうち少なくとも一つを含み、
前記参照映像変換段階は、一つの親映像を前記参照映像変換技法に適用して、前記現在映像のための少なくとも一つの参照映像を生成する段階を含むことを特徴とする請求項７に記載のスケーラブルビデオ復号化方法。
【請求項１２】
前記参照映像生成段階は、前記現在映像について、前記参照映像変換技法によって生成された少なくとも一つの参照映像を保存する参照映像リストを生成する段階を含み、
前記復元段階は、前記参照映像リストに保存された少なくとも一つの映像を参照して前記現在映像を予測復号化して復元する段階を含むことを特徴とする請求項１１に記載のスケーラブルビデオ復号化方法。
【請求項１３】
スケーラブルビデオ符号化装置において、
ビデオの映像シーケンスのうち少なくとも一つのルート映像及び残りの映像を複数の階層に分類する階層分類部と、
階層内の予測及び階層間の予測を含むスケーラブル予測符号化のための参照映像変換技法に基づいて、前記映像シーケンスのうち現在映像の親映像を用いて前記現在映像についての少なくても一つの参照映像を生成する参照映像生成部と、
前記少なくとも一つの参照映像を用いて、前記現在映像を予測符号化する予測符号化部と、
前記映像シーケンスのうちそれぞれの映像の予測符号化されたデータについて変換、量子化及びエントロピー符号化を行って、符号化されたビットストリーム及び前記それぞれの映像の親映像を示す親映像インデックス情報を出力する出力部と、を備えることを特徴とするスケーラブルビデオ符号化装置。
【請求項１４】
スケーラブルビデオ復号化装置において、
ビデオのビットストリームを受信してパージングし、前記ビデオの映像シーケンスのうち少なくとも一つのルート映像及び残りの映像が複数の階層に分類され、符号化されたデータを抽出する受信抽出部と、
前記抽出された映像シーケンスの符号化されたデータを復号化し、前記映像シーケンスの残差情報及び参照情報を出力する復号化部と、
階層内の予測及び階層間の予測を含むスケーラブル予測復号化のための参照映像変換技法に基づいて、前記映像シーケンスの復元映像のうち前記親映像を前記現在映像についての少なくても一つの参照映像に変換する参照映像変換部と、
前記少なくとも一つの参照映像、及び前記現在映像の予測情報と残差情報とを用いて前記現在映像を予測復号化して前記ビデオの復元映像を生成する復元部と、を備えることを特徴とするスケーラブルビデオ復号化装置。
【請求項１５】
請求項１及び６に記載の方法をコンピュータで具現するためのプログラムが記録された、コンピュータで読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、多視点ビデオのスケーラブルビデオ符号化方法と復号化方法、かつ、それを具現するためのスケーラブルビデオ符号化放置及び復号化装置に関する。
【背景技術】
【０００２】
３次元ビデオコンテンツを用いる３次元マルチメディア分野が活性化しつつ、３次元ビデオコンテンツのＰ２Ｐ（Ｐｅｅｒ−ｔｏ−Ｐｅｅｒ）またはＮＦＣ（Ｎｅａｒ  Ｆｉｅｌｄ  Ｃｏｍｍｕｎｉｃａｔｉｏｎ）などの通信技術が普遍化しつつある。
【０００３】
多様な解像度の３次元マルチメディア機器が３次元ビデオコンテンツを共有するためには、多様なフォーマットの３次元ビデオコンテンツが伝送される必要がある。しかし、現在３次元ビデオ伝送のための通信規格であるＭＶＣ（Ｍｕｌｔｉｖｉｅｗ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ）規格は、一つのステレオスコピックビデオストリームのみを符号化できるため、ＭＶＣ規格に基づいた３次元ビデオサービスは、構造的に多様なフォーマットの３次元ビデオサービスを提供できない。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明は、多視点ビデオを構成する多様なフォーマットのビデオを階層的に符号化しつつ階層内符号化及び階層間符号化を具現できる、効率的かつ単一化したスケーラブル符号化方法及び装置、スケーラブル復号化方法及び装置を開示する。
【課題を解決するための手段】
【０００５】
スケーラブルビデオ符号化方法は、ビデオの映像シーケンスのうち少なくとも一つのルート映像及び残りの映像を複数の階層に分類する段階と、階層内の予測及び階層間の予測を含むスケーラブル予測符号化のための参照映像変換技法に基づいて、前記映像シーケンスのうち現在映像の親映像を用いて前記現在映像についての少なくても一つの参照映像を生成する段階と、前記少なくとも一つの参照映像を用いて、前記現在映像を予測符号化する段階と、を含む。一実施形態による前記ビデオ階層符号化方法は、２次元ビデオまたは３次元ビデオを含む前記ビデオの前記映像シーケンスを少なくとも一つの映像特性によって分類して符号化できる。一実施形態によるスケーラブル予測符号化は、階層内の予測符号化及び階層間の予測符号化を含む。
【０００６】
一実施形態による前記ビデオ階層符号化方法は、前記映像シーケンスの参照関係によるツリー構造に基づいて、前記映像シーケンスのうちそれぞれの映像が参照する親映像を示す親映像インデックス情報を符号化する段階をさらに含む。
【０００７】
一実施形態によるスケーラブルビデオ復号化方法は、ビデオのビットストリームを受信してパージングし、前記ビデオの映像シーケンスのうち少なくとも一つのルート映像及び残りの映像が複数の階層に分類されて符号化されたデータを抽出する段階と、階層内の予測及び階層間の予測を含むスケーラブル予測復号化のための参照映像変換技法に基づいて、前記映像シーケンスの復元映像のうち親映像を現在映像についての少なくても一つの参照映像に変換する段階と、前記少なくとも一つの参照映像を用いて、前記現在映像を予測復号化して復元する段階と、を含む。
【０００８】
一実施形態によるスケーラブルビデオ復号化方法は、前記パージングされたビットストリームから、前記映像シーケンスのうちそれぞれの映像が参照する親映像を示す親映像インデックス情報を抽出する。
【０００９】
一実施形態によるスケーラブルビデオ符号化装置は、ビデオの映像シーケンスのうち少なくとも一つのルート映像及び残りの映像を複数の階層に分類する階層分類部と、階層内の予測及び階層間の予測を含むスケーラブル予測符号化のための参照映像変換技法に基づいて、前記映像シーケンスのうち現在映像の親映像を用いて前記現在映像についての少なくても一つの参照映像を生成する参照映像生成部と、前記少なくとも一つの参照映像を用いて、前記現在映像を予測符号化する予測符号化部と、前記映像シーケンスのうちそれぞれの映像の予測符号化されたデータについて変換、量子化及びエントロピー符号化を行って、符号化されたビットストリーム及び前記それぞれの映像の親映像を示す親映像インデックス情報を出力する出力部と、を備える。
【００１０】
一実施形態によるスケーラブルビデオ復号化装置は、ビデオのビットストリームを受信してパージングし、前記ビデオの映像シーケンスのうち少なくとも一つのルート映像及び残りの映像が複数の階層に分類され、符号化されたデータを抽出する受信抽出部と、前記抽出された映像シーケンスの符号化されたデータを復号化し、前記映像シーケンスの残差情報及び参照情報を出力する復号化部と、階層内の予測及び階層間の予測を含むスケーラブル予測復号化のための参照映像変換技法に基づいて、前記映像シーケンスの復元映像のうち前記親映像を前記現在映像についての少なくても一つの参照映像に変換する参照映像変換部と、前記少なくとも一つの参照映像、及び前記現在映像の予測情報と残差情報とを用いて前記現在映像を予測復号化して前記ビデオの復元映像を生成する復元部と、を備える。
【００１１】
本発明は、一実施形態によるスケーラブルビデオ符号化方法をコンピュータで具現するためのプログラムが記録された、コンピュータで読み取り可能な記録媒体を含む。本発明は、一実施形態によるスケーラブルビデオ復号化方法をコンピュータで具現するためのプログラムが記録された、コンピュータで読み取り可能な記録媒体を含む。
【図面の簡単な説明】
【００１２】
【図１】一実施形態によるスケーラブルビデオ符号化装置のブロック図である。
【図２】一実施形態によるスケーラブルビデオ復号化装置のブロック図である。
【図３】スケーラブルビデオ符号化／復号化の階層間の予測構造を示す図面である。
【図４】一実施形態によるビデオの映像シーケンスの映像マトリックスを示す図面である。
【図５】一実施形態による映像シーケンスの参照関係によるツリー構造を示す図面である。
【図６】一実施形態による映像シーケンスの階層間の予測のために参照映像変換方式を示す図面である。
【図７】一実施形態による参照映像リストを構成する方式を示す図面である。
【図８】一実施形態によるスケーラブルビデオ符号化装置によって構成されたステレオビデオの階層構造を示す図面である。
【図９】一実施形態によるスケーラブルビデオ復号化装置によって構成された多視点ビデオの階層構造を示す図面である。
【図１０】一実施形態によるスケーラブルビデオ符号化／復号化装置によって、ＭＶＣ方式及びＭＦＣ方式が統合される実施形態を示す図面である。
【図１１】一実施形態によるスケーラブルビデオ符号化装置のフローチャートである。
【図１２】一実施形態によるスケーラブルビデオ復号化装置のブロック図である。
【発明を実施するための形態】
【００１３】
以下、図１ないし図１２を参照して、技術的特徴を具現するためのスケーラブルビデオ符号化方法及びその装置、スケーラブルビデオ復号化方法及びそのザングチイ多様な実施形態を詳述する。
【００１４】
図１は、一実施形態によるスケーラブルビデオ符号化装置のブロック図を示す。一実施形態によるスケーラブルビデオ符号化装置１００は、階層分類部１１０、参照映像生成部１２０、予測符号化部１３０及び出力部１４０を備える。スケーラブルビデオ符号化装置１００には、２次元ビデオ、３次元ビデオ、多視点ビデオなどの映像シーケンスが入力される。
【００１５】
一実施形態による階層分類部１１０は、ビデオの映像シーケンスの映像を複数の階層に分類する。スケーラブルビデオ符号化装置１００に入力された映像シーケンスのうち少なくとも一つのルート映像を含む映像について、階層分類部１１０は、少なくとも一つのルート映像及び残りの映像を映像特性によって階層別に分類する。例えば、入力されたビデオが多視点ビデオである場合、階層分類部１１０は、映像を視点別に分類する。
【００１６】
また、階層分類部１１０は、映像の分類基準を２つ以上に設定できる。したがって、例えば、入力されたビデオが多視点ビデオである場合、階層分類部１１０は、入力された映像を視点及び解像度別に分類することもできる。
【００１７】
一実施形態によるスケーラブルビデオ符号化装置１００は、階層内の予測及び階層間の予測を含むスケーラブル予測符号化を行える。一実施形態による参照映像生成部１２０は、スケーラブル予測符号化のための参照映像変換技法に基づいて、映像シーケンスのうち現在映像の親映像を変換して、現在映像についての少なくても一つの参照映像を生成する。現在映像と参照関係にある一つの親映像が参照映像変換技法に適用され、複数の参照映像が生成される。親映像は、現在映像と異なる階層の映像であっても、同一階層の異なる映像であってもよい。
【００１８】
一実施形態による参照映像変換技法は、バイパス技法、スケーリング技法、インターレース方式−プログレッシブ方式転換技法、カラー変換技法、フィルタリング技法、ラッピング技法、加重値付加技法及び階層間補間技法のうち少なくとも一つを含む。したがって、参照映像生成部１２０は、一つの親映像を一つ以上の参照映像変換技法に適用して、現在映像のための参照映像を一つ以上に生成する。
【００１９】
一実施形態による予測符号化部１３０は、参照映像生成部１２０によって生成された少なくとも一つの参照映像を用いて、現在映像を予測符号化する。
【００２０】
予測符号化部１３０は、現在映像を予測符号化する時、親映像の復元映像または参照情報のうちいずれか一つを参照して現在映像を予測するかどうかを予め定められる。参照情報は、予測による動き情報、予測モード情報、参照インデックス情報などを含む。したがって、予測符号化部１３０は、これについて既定のところによって、親映像の復元映像または参照情報のうち一つを参照して現在映像を予測符号化できる。
【００２１】
参照映像生成部１２０は、現在映像について、参照映像変換技法によって生成された少なくとも一つの参照映像を保存する参照映像リストを生成する。この場合、予測符号化部１３０は、参照映像リストに保存された少なくとも一つの映像を参照して現在映像を予測符号化する。現在映像、親映像、及び参照変換技法の変動によって参照映像リストに収録される参照映像が変更されるため、一実施形態によるスケーラブルビデオ符号化装置１００は、参照映像リストを更新及び管理する参照映像リスト更新部を備える。
【００２２】
一実施形態による出力部１４０は、予測符号化部１３０によって予測符号化されたデータについて、変換、量子化及びエントロピー符号化を行って符号化されたビットストリームを出力する。また一実施形態による出力部１４０は、映像シーケンスの参照関係によるツリー構造に基づいて、映像シーケンスのうちそれぞれの映像が参照する親映像を示す親映像インデックス情報を、映像シーケンスの符号化されたビットストリームと共に出力する。
【００２３】
また出力部１４０は、現在映像と親映像の参照予測関係によるツリー構造に基づいて、現在映像について親映像を示す情報と、親映像の復元映像または参照情報のうちいずれか一つを参照するかどうかを示す情報を符号化して、映像シーケンスの符号化されたビットストリームと共に出力する。
【００２４】
また出力部１４０は、予測符号化のための参照映像変換技法を示す情報を符号化して映像シーケンスの符号化されたビットストリームと共に出力してもよい。一実施形態によって、映像ごとに現在映像の参照映像を生成するために用いられた参照映像変換技法に関する情報が符号化されて伝送されてもよい。
【００２５】
一実施形態による現在映像の親映像インデックス情報、現在映像が親映像の復元映像または参照情報のうちいずれか一つを参照するかどうかを示す情報、及び参照映像変換技法を示す情報は、出力部１４０によって伝送ビットストリームのヘッダーに挿入されてもよい。
【００２６】
図２は、一実施形態によるスケーラブルビデオ復号化装置のブロック図を示す。
【００２７】
一実施形態によるスケーラブルビデオ復号化装置２００は、受信抽出部２１０、復号化部２２０、参照映像変換部２３０及び復元部２４０を備える。
【００２８】
一実施形態による受信抽出部２１０は、２次元ビデオ、３次元ビデオまたは多視点ビデオを含むビデオの符号化されたビットストリームを受信する。受信抽出部２１０が受信したビットストリームは、ビデオの映像シーケンスのうち、少なくとも一つのルート映像を含む映像が複数の階層に分類されてスケーラブル符号化されたデータを含む。
【００２９】
受信抽出部２１０は、受信したビットストリームをパージングして複数の階層別に符号化されたデータを抽出する。例えば、受信抽出部２１０は、多視点ビデオのビットストリームから、視点及び解像度による階層別にスケーラブル符号化されたビットストリームを抽出する。
【００３０】
一実施形態による復号化部２２０は、受信抽出部２１０によってビットストリームから抽出された映像シーケンスの符号化されたデータを復号化して、映像シーケンスの残差情報及び参照情報を出力する。一実施形態による復号化部２２０は、ビットストリームから抽出された符号化されたデータについて、エントロピー復号化、逆量子化、逆変換を経て映像の残差情報及び参照情報を復元する。
【００３１】
一実施形態による参照映像変換部２３０は、スケーラブル予測復号化のための参照映像変換技法に基づいて、映像シーケンスの復元映像のうち親映像を、現在映像についての少なくても一つの参照映像に変換する。一実施形態による復元部２４０は、参照映像変換部２３０によって生成された少なくとも一つの参照映像と、復号化部２２０によって出力された現在映像の予測情報及び残差情報を用いて、現在映像を予測復号化して現在映像の復元映像を生成する。
【００３２】
復元部２４０は、映像シーケンスを予測復号化してビデオの復元映像を生成する。参照映像変換部２３０は、復元部２４０によって復元された以前映像の復元映像のうち現在映像の親映像を検索して、親映像について参照映像変換技法を適用して現在映像の参照映像を生成する。
【００３３】
一実施形態による受信抽出部２１０は、パージングされたビットストリームから親映像インデックス情報を抽出する。この場合、参照映像変換部２３０は、親映像インデックス情報に基づいて映像シーケンスの参照関係によるツリー構造を分析し、映像シーケンスのうち既に復元された復元映像から、現在映像が参照するための親映像を検索する。
【００３４】
一実施形態による受信抽出部２１０は、現在映像の予測復号化のために、親映像の復元映像または参照情報ののうちいずれか一つが参照されるかどうかを示す参照対象情報をビットストリームから抽出する。この場合、一実施形態による復元部２４０は、参照対象情報に基づいて、親映像の復元映像または参照情報のうち一つを参照するかどうかを定め、これによって現在映像を予測復号化して復元映像を生成する。
【００３５】
一実施形態による参照映像変換部２３０は、バイパス技法、スケーリング技法、インターレース方式−プログレッシブ方式転換技法、カラー変換技法、フィルタリング技法、ラッピング技法、加重値付加技法及び階層間補間技法のうち少なくとも一つを含む参照映像変換技法に基づいて、一つの親映像を、現在映像のための少なくとも一つの参照映像に変換する。
【００３６】
一実施形態による参照映像変換部２３０は、現在映像について、参照映像変換技法によって生成された少なくとも一つの参照映像を保存する参照映像リストを生成する。この場合、復元部２４０は、参照映像リストに保存された少なくとも一つの映像を参照して現在映像を予測復号化し、復元映像を出力する。
【００３７】
一実施形態による参照映像変換部２３０は、現在映像、親映像及び参照変換技法が変わるにつれて更新される参照映像を参照映像リストに新たに記録して、参照映像リストを更新して管理することもできる。
【００３８】
一実施形態による受信抽出部２１０は、パージングされたビットストリームから参照映像変換技法情報を抽出する。この場合、参照映像変換部２３０は、参照映像変換技法情報に基づいて、現在映像の一つの親映像から現在映像のための少なくとも一つの参照映像を生成する。
【００３９】
一実施形態によるスケーラブルビデオ符号化装置１００及び一実施形態によるスケーラブルビデオ復号化装置２００は、２次元ビデオ及び３次元ビデオだけではなく多視点ビデオを視点ごとに別個の階層に符号化／復号化でき、同視点であっても異なる解像度のビデオを別個の階層に符号化／復号化できる。また、一実施形態によるスケーラブルビデオ符号化装置１００及び一実施形態によるスケーラブルビデオ復号化装置２００は、同一階層のビデオ間の予測だけではなく他の階層のビデオ間の予測も支援するため、伝送ビート率を効果的に低減させる。
【００４０】
一実施形態によるスケーラブルビデオ符号化装置１００及び一実施形態によるスケーラブルビデオ復号化装置２００によって、ＭＶＣ通信規格が支援する多視点ビデオ符号化／復号化と、ＳＶＣ（Ｓｃａｌａｂｌｅ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ）通信規格が支援する階層的ビデオ符号化／復号化とを同時に具現できるため、多様なフォーマットの多視点ビデオを、単一化されたビデオ符号化／復号化方式によって送受信するビデオ通信サービスが提供される。
【００４１】
図３は、スケーラブルビデオ符号化／復号化の階層間の予測構造を示す。
【００４２】
スケーラブルビデオ符号化／復号化方式によれば、ビデオのうちＧＯＰ（Ｇｒｏｕｐ  ｏｆ  Ｐｉｃｔｕｒｅ）がそれぞれ別個の階層に割り当てられ、階層間の予測ができるため、互いに異なるＧＯＰのピクチャーを参照して予測符号化または予測復号化できる。
【００４３】
すなわち、入力ビデオの一部のピクチャー３５０のうち、ピクチャー３００、３０１、３０２、３０３、３０４の第０  ＧＯＰ、ピクチャー３１０、３１１、３１２、３１３、３１４の第１  ＧＯＰ、及び第２  ＧＯＰのピクチャー３２０、３２１、３２２、３２３、３２４の第２  ＧＯＰは、それぞれ第０階層Ｌａｙｅｒ  ０、第１階層Ｌａｙｅｒ  １、第２階層Ｌａｙｅｒ  ２に割り当てられる。
【００４４】
Ｉピクチャー３００がルートピクチャーまたはＩＤＲ（Ｉｎｓｔａｎｔａｎｅｏｕｓ  Ｄｅｃｏｄｉｎｇ  Ｒｅｆｒｅｓｈ）ピクチャーであり、予測符号化によって同一階層のＢピクチャー３０２、ｂピクチャー３０１、及びＰピクチャー３０４の参照映像になるだけではなく、異なる階層のＢピクチャー３０１及びＰピクチャー３２０の階層間の予測のための参照映像になる。また、一般的に順方向予測は、単一階層予測ではＰＯＣ（Ｐｉｃｔｕｒｅ  Ｏｒｄｅｒ  Ｃｏｕｎｔ）順序上以前のピクチャーのみを参照するが、口座間予測の可能なＰピクチャー３０４、３２０、３２４は、同一階層のＰＯＣ順序上以前ピクチャーと、異なる階層でありながらＰＯＣ順序上同一または以前のピクチャーを参照して順方向予測が行われる。Ｂピクチャー３１０、３０２、３１２、３２２、３１４及びｂピクチャー３０１、３１１、３２１、３０３、３１３、３２３も、同一階層のＰＯＣ順序上以前のピクチャー及び次のピクチャーを参照する双方向予測が行われ、異なる階層の同じＰＯＣ順序のピクチャーを参照する予測符号化が行われてもよい。
【００４５】
一実施形態によるスケーラブルビデオ符号化装置１００及び一実施形態によるスケーラブルビデオ復号化装置２００は、スケーラブルビデオ符号化／復号化方式の予測構造を採択して、２次元ビデオ、３次元ビデオまたは多視点ビデオを所定映像特性によって複数の階層に分類し、階層内の予測だけではなく階層間の予測を用いる。
【００４６】
図４は、一実施形態によるビデオの映像シーケンスの映像マトリックスを示す。
【００４７】
先ず、一実施形態によるスケーラブルビデオ符号化装置１００及び一実施形態によるスケーラブルビデオ復号化装置２００は、スケーラブルビデオ符号化／復号化の階層分類基準を制限せずに階層を分類し、階層と関係なく自由な映像間参照関係を管理するために、ビデオの映像シーケンスのそれぞれの映像を示すためのインデクシングを提案する。
【００４８】
一実施形態による映像インデクシングは、２次元インデクシング方式による。図４に例示された実施形態は、説明の便宜のために２次元インデクシングを開示しているが、３次元インデクシングも可能であり、原理は、映像間参照関係を管理するための多様な形態のインデクシングに幅広く応用される。
【００４９】
一実施形態による映像インデクシング構造は、映像マトリックス４５０の映像４００、４０１、４０２、…、４１５について２次元インデックスを割り当てする。例えば、ＩＤＲ映像であるルート映像４００についてインデックス（０，０）を割り当て、残りの映像４０１、４０２、４０３、…、４１５についても（ｉ，ｊ）形態のインデックスが割り当てられる。インデックス（ｉ，ｊ）のうちｉは、映像マトリックス４５０で行の番号、ｊは、映像マトリックス４５０で列の番号を称することもある。
【００５０】
一実施形態による映像マトリックス４５０に含まれたそれぞれの映像４００、４０１、４０２、…、４１５は、現在映像マトリックス４５０のうち既に復号化された他の映像を自由に参照できる。また、それぞれの映像４００、４０１、４０２、…、４１５のＩ／Ｐ／Ｂ（ｂ）予測モードによって、参照可能なピクチャーのインデックスが収録された参照インデックスリストが予め定義される。また、ユーザが任意に設定した予測モードによって参照可能なピクチャーのインデックスが収録された参照インデックスリストが定義されることもできる。
【００５１】
図５は、一実施形態による映像シーケンスの参照関係によるツリー構造を示す。
【００５２】
映像マトリックス４５０で、映像間予測のための参照関係によってツリー構造５００が構成される。例えば、ツリー構造５００で最上位レベルであるデップス０は、映像マトリックス４５０うち最優先に符号化／復号化されねばならないルート映像４００に割り当てられる。デップス０のルート映像４００を直接参照する映像４１０、４０５、４０４が、デップス１に定められる。また、デップス１である映像４１０、４０５、４０４を参照する映像４１２、４１５、４０９、４０２が、デップス２に定められる。このように、映像マトリックス４５０について、映像間予測のための参照関係によってデップス０、１、２、…のツリー構造５００が構成される。
【００５３】
一実施形態によるスケーラブルビデオ符号化装置１００は、現在映像が参照する親映像を示す親映像インデックス情報を符号化し、符号化された映像データと共に伝送する。また、一実施形態によるスケーラブルビデオ復号化装置２００は、親映像インデックス情報を用いて、受信された映像の参照関係によるツリー構造を分析する。
【００５４】
例えば、一実施形態による親映像インデックス情報は映像ごとに設定され、現在映像の親映像のインデックスを示す。例えば、ツリー構造５００を構成する映像についての親映像インデックス情報を、下記のように設定できる。
【００５５】
Ｒ（０，０）：Ｎ／Ａ
ｅ（２，０）：（０，０）
ｅ（１，０）：（０，０）
ｅ（０，４）：（０，０）
ｅ（２，２）：（２，０）
ｅ（２，４）：（２，０）、（１，０）
ｅ（１，４）：（１，０）、（０，４）
ｅ（０，２）：（０，４）
すなわち、インデックス（０，０）の映像４００は、デップス０のルート映像として他の映像を参照しないため、映像４００についての親映像インデックス情報は設定されない。
【００５６】
また、デップス１であるインデックス（２，０）の映像４１０、インデックス（１，０）の映像４０５、インデックス（０，４）の映像４０４は、ルート映像４００のみを参照するため、親映像インデックス情報が、ルート映像４００のインデックスである（０，０）に設定される。
【００５７】
また、デップス２であるインデックス（２，２）の映像４１２、インデックス（２，４）の映像４１５、インデックス（１，４）の映像４０９、インデックス（０，２）の映像４１２は、デップス１である映像を参照するため、親映像インデックス情報としてそれぞれ参照する親映像のインデックスが設定される。すなわち、インデックス（２，２）の映像４１２はデップス１の映像４１０を参照するため、親映像インデックス情報が（２，０）に設定される。インデックス（２，４）の映像４１５はデップス１の映像４１０、４０５を参照するため、親映像インデックス情報が（２，０）、（１，０）に設定される。インデックス（１，４）の映像４０９はデップス１の映像４０５、４０４を参照するため、親映像インデックス情報が（１，０）、（０，４）に設定される。インデックス（０，２）の映像４０２はデップス１の映像４０４を参照するため、親映像インデックス情報が（０，４）に設定される。
【００５８】
一実施形態によるスケーラブルビデオ符号化装置１００及び一実施形態によるスケーラブルビデオ復号化装置２００は、映像間予測のために、親映像の復号化された映像を参照映像に用いるか、または親映像の参照情報のみを用いて現在映像についての予測符号化／復号化を行える。
【００５９】
また一実施形態によるスケーラブルビデオ符号化装置１００は、現在映像が親映像の復号化された復元映像及び参照情報のうちどちらを用いて予測符号化／復号化するかを定めた後、それによって予測し、映像シーケンスを符号化することもできる。
【００６０】
また、一実施形態によるスケーラブルビデオ符号化装置１００は、現在映像が親映像の復号化された復元映像及び参照情報のうちどちらを用いて予測符号化／復号化するかを示す参照方式情報を符号化し、符号化された映像データと共に伝送する。
【００６１】
一実施形態によるスケーラブルビデオ復号化装置２００は、受信されたビットストリームから参照方式情報を抽出し、これに基づいて現在映像が、親映像の復号化された復元映像及び参照情報のうち一つを用いて予測復号化する。
【００６２】
構造５００によって、現在映像が直接参照する親映像（ｐａｒｅｎｔ  ｉｍａｇｅ）だけではなく、親映像の親映像である先祖映像（ａｎｃｅｓｔｏｒ  ｉｍａｇｅ）を参照して予測符号化または予測復号化が行われてもよい。
【００６３】
図６は、一実施形態による映像シーケンスの階層間の予測のために参照映像変換方式を示す。図６は、一実施形態によるスケーラブルビデオ符号化装置１００の階層分類部１１０が、映像マトリックス６００を第０階層の映像グループ６４０、第１階層の映像グループ６４１、第２階層の映像グループ６４２の３階層に分類した実施形態を図示している。これによって、第０階層の映像グループ６４０は、映像マトリックス６００のうち映像６００、６０１、６０２、６０３、６０４を含み、第１階層の映像グループ６４１は、映像マトリックス６００のうち映像６１０、６１１、６１２、６１３、６１４を含み、第２階層の映像グループ６４２は、映像マトリックス６００のうち映像６２０、６２１、６２２、６２３、６２４を含む。
【００６４】
一実施形態による映像マトリックス６００のインデクシングによれば、映像のインデックス（ｉ，ｊ）のｉ及びｊが、それぞれ映像グループ６４０、６４１、６４２の階層番号及びそれぞれの映像グループ６４０、６４１、６４２内の映像順序に対応する。しかし、これは、映像インデクシングの一例であり、映像インデクシングが必ずしも階層番号と映像順序との組み合わせに限定されるものではない。
【００６５】
一実施形態によるスケーラブルビデオ符号化装置１００は、階層間の予測符号化を支援するため、第０階層の映像グループ６４０、第１階層の映像グループ６４１、第２階層の映像グループ６４２の映像について階層間の予測が行われる。
【００６６】
また、映像マトリックス６００の一実施形態による階層内の予測及び階層間の予測符号化では、Ｉ／Ｂ／Ｐピクチャーの方向性予測モードが定義されているため、ＢピクチャーまたはＰピクチャーの場合、双方向予測または順方向予測の予測方向によって異なるピクチャーを参照する。但し、図３に例示されたスケーラブルビデオ符号化方式のように、異なるの階層のピクチャーならば、同一ＰＯＣのピクチャーが参照されねばならないという制限はない。よって、一実施形態による階層間の予測符号化によれば、異なる階層の映像を参照するに際して、ＰＯＣと関係なくＩ／Ｂ／Ｐピクチャーの方向性予測モードに基づいて親映像が定められる。
【００６７】
一実施形態によるスケーラブルビデオ符号化装置１００は、スケーラブル予測符号化の参照関係によって設定される親映像インデックス情報を符号化して伝送する。したがって、第０階層の映像グループ６４０、第１階層の映像グループ６４１、第２階層の映像グループ６４２の映像ごとに、予測のための親映像を示すインデックスを示す親映像インデックス情報が設定される。スケーラブルビデオ符号化装置１００で、階層間の予測だけではなく階層内の予測もできるため、親映像インデックス情報は、同一階層の親映像のインデックスを含むこともできる。
【００６８】
一実施形態によるスケーラブルビデオ復号化装置２００は、受信されたビットストリームをパージングして抽出された親映像インデックス情報に基づいて映像マトリックス６００のツリー構造を分析し、現在映像の予測復号化のための親映像を検索する。
【００６９】
一実施形態による参照映像生成部１２０は、現在映像の予測のための参照映像を生成するために、現在映像の親映像を参照映像に変換できる。一実施形態による参照映像変換技法６３０によれば、一つの親映像を用いて複数の参照映像を生成する。
【００７０】
参照映像変換技法６３０の多様な変換技法によって、一つの親映像から複数の参照映像が生成される。例えば、参照映像変換技法６３０は、バイパス技法、スケーリング技法、インターレース方式−プログレッシブ方式転換技法、カラー変換技法、フィルタリング技法、ラッピング技法、加重値付加技法及び階層間補間技法などを含む。
【００７１】
すなわち、参照映像変換技法６３０のうちバイパス技法によって、親映像をそのまま参照するために、親映像と同じ参照映像が生成される。参照映像変換技法６３０のうちスケーリング技法によって、親映像が縮小または拡大した参照映像が生成される。
【００７２】
参照映像変換技法６３０のうちインターレース方式−プログレッシブ方式転換技法によって、インターレース方式である親映像がプログレッシブ方式に転換された参照映像が生成されるか、または、プログレッシブ方式である親映像がインターレース方式に転換された参照映像が出力されることもある。
【００７３】
参照映像変換技法６３０のうちカラー変換技法に基づいて、親映像のカラー成分が変形された参照映像が生成されることもある。参照映像変換技法６３０のうちフィルタリング技法に基づいて、親映像について所定フィルタを適用して参照映像が生成されることもある。参照映像変換技法６３０のうちラッピング技法に基づいて、親映像がラッピングされた参照映像が出力されることもある。また参照映像変換技法６３０のうち加重値付加技法に基づいて、親映像について所定加重値が加えられた参照映像が生成される。
【００７４】
また、参照映像変換技法６３０のうち階層間補間技法に基づいて、異なる階層の親映像を補間して参照映像が生成されることもある。
【００７５】
一実施形態によるスケーラブルビデオ符号化装置１００は、それぞれの映像が用いる参照映像変換技法６３０に関する情報を符号化して伝送することもできる。
【００７６】
一実施形態によるスケーラブルビデオ復号化装置２００は、受信されたビットストリームをパージングして参照映像変換技法６３０に関する情報を抽出する。参照映像変換部２３０は、抽出された参照映像変換技法情報に基づいて、現在映像の参照映像変換技法６３０を定め、映像マトリックス６５０のうち先に復元された復元映像から検索された親映像について、参照映像変換技法６３０を適用して変換することで、現在映像の参照映像を生成する。復元部２４０は、参照映像を用いて現在映像について階層内の予測／補償または階層間の予測／補償を行って、現在映像の復元映像を生成する。
【００７７】
図７は、一実施形態による参照映像リストを構成する方式を示す。
【００７８】
一実施形態による参照映像生成部１２０及び一実施形態による参照映像変換部２３０は、現在映像の親映像から生成された多様な参照映像を含む参照映像リストを生成して管理する。
【００７９】
図７に例示された映像マトリックスの映像は、視点別に階層が分類されている。すなわち、第０視点の映像７００、７０１、７０２、７０３、７０４、７０５、７０６、７０７が第０階層の映像グループ７３１を構成し、第１視点の映像７１０、７１１、７１２、７１３、７１４、７１５、７１６、７１７が第１階層の映像グループ７３２を構成している。現在映像の親映像が映像７００、７０１、…、７０６、７０７、７１０、７１１、…、７１６、７１７であれば、親映像を用いて現在映像の参照映像が生成され、参照映像リストに含まれる。
【００８０】
一実施形態による参照映像リストは、一実施形態による参照映像生成部１２０及び一実施形態による参照映像変換部２３０のメモリ７４０に保存される。参照映像リストの参照映像は、メモリ７４０に周期的に循環して保存される。
【００８１】
例えば、メモリ７４０が第１区間７５０、第２区間７５１、第３区間７５２に分割されている場合、第１区間７５０、第２区間７５１及び第３区間７５２にそれぞれ第０階層の映像グループ７３１のうち一部の映像７００、７０１、７０２、第１階層の映像グループ７３２のうち一部の映像７１０、７１１、７１２、また異なる階層の映像グループのうち一部の映像７２０、７２１、７２２が保存される。
【００８２】
第０階層の映像グループ７３１、第１階層の映像グループ７３２及びさらに他の階層の映像グループの映像は、それぞれのグループ内映像順序によってメモリ７４０に循環的に保存される。メモリ７４０のリフレッシュ周期によって、第１区間７５０、第２区間７５１及び第３区間７５２に、第０階層の映像グループ７３１、第１階層の映像グループ７３２及びさらに他の階層の映像グループのうち次の一部の映像が更新されて保存される。
【００８３】
第０階層の映像グループ７３１、第１階層の映像グループ７３２及びさらに他の階層の映像グループの映像がメモリ７４０に保存される時には、一実施形態による多様な参照映像変換技法によって変換されて生成された参照映像が保存されてもよい。よって、参照映像リストに保存された多様な参照映像を用いてスケーラブル予測符号化または復号化が可能である。
【００８４】
図８は、一実施形態によるスケーラブルビデオ符号化装置によって構成されたステレオビデオの階層構造を示す。
【００８５】
一実施形態によるスケーラブルビデオ符号化装置１００は、ステレオスコピックビデオプロファイルのために、視点によって階層が分類された形態のスケーラブルビデオ符号化を具現する。
【００８６】
ステレオスコピックビデオの第０視点のピクチャー８００、８０１、８０２、８０３、８０４が第０階層に分類され、第１視点のピクチャー８１０、８１１、８１２、８１３、８１４が第１階層に分類される。
【００８７】
図８の予測構造８２０によれば、同一視点内のピクチャー間の予測符号化だけではなく、階層間の予測ができるため、第０視点のピクチャー８００、８０１、８０２、８０３、８０４と第１視点のピクチャー８１０、８１１、８１２、８１３、８１４との間に互いに異なる視点のピクチャーを参照して予測符号化される。
【００８８】
現在映像は、参照対象になる異なる視点のピクチャーが、参照映像変換技法によって変換された参照映像を参照して予測符号化される。
【００８９】
一実施形態によるスケーラブルビデオ復号化装置２００は、親映像インデックス情報及び参照映像変換技法情報に基づいて、現在映像と同一視点または異なる視点の親映像及び参照映像変換技法を定める。
【００９０】
これによって、現在映像のための同一視点または異なる視点の参照映像が定められ、現在映像についての階層内の予測復号化または階層間の予測復号化が行われ、現在映像の復元映像が生成される。
【００９１】
図９は、一実施形態によるスケーラブルビデオ復号化装置によって構成された多視点ビデオの階層構造を示す。
【００９２】
一実施形態によるスケーラブルビデオ符号化装置１００は、多視点ビデオプロファイルのために、それぞれの視点ごとに解像度によって階層が分類された形態のスケーラブルビデオ符号化を具現する。
【００９３】
一実施形態によるスケーラブルビデオ符号化装置１００は、多視点ビデオの左視点ピクチャー及び右視点ピクチャーを、それぞれＶＧＡ級解像度のピクチャー及び７２０ｐ級解像度のピクチャーに分類してそれぞれの階層を構成する。
【００９４】
すなわち、左視点のＶＧＡ級ピクチャー９００、９０１、９０２、９０３、９０４が第０階層に分類され、左視点の７２０ｐ級ピクチャー９１０、９１１、９１２、９１３、９１４が第１階層に分類される。また、右視点のＶＧＡ級ピクチャー９２０、９２１、９２２、９２３、９２４が第２階層に分類され、右視点の７２０ｐ級ピクチャー９３０、９３１、９３２、９３３、９３４が第３階層に分類される。
【００９５】
図９の予測構造９５０によれば、同一視点及び同一解像度のピクチャー間の予測符号化だけではなく、階層間の予測ができるため、左視点のＶＧＡ級ピクチャー９００、９０１、９０２、９０３、９０４、左視点の７２０ｐ級ピクチャー９１０、９１１、９１２、９１３、９１４、右視点のＶＧＡ級ピクチャー９２０、９２１、９２２、９２３、９２４及び右視点の７２０ｐ級ピクチャー９３０、９３１、９３２、９３３、９３４の間には、互いに異なる視点のピクチャーまたは互いに異なる解像度のピクチャーを参照して予測符号化される。
【００９６】
参照される異なる視点のピクチャーまたは異なる解像度のピクチャーが参照映像変換技法によって参照映像に変換されるため、現在映像は、異なる視点のピクチャーまたは異なる解像度のピクチャーが変換された参照映像を用いて予測符号化される。
【００９７】
図９の予測構造９５０は、異なる視点の同一解像度の映像を参照するか、または同一視点の異なる解像度の映像を参照する参照関係を含んでいるが、異なる視点の異なる解像度の映像を参照する参照関係が含まれてはいない。しかし、参照映像変換技法のうちスケーリング技法に基づいて親映像の解像度が現在映像と同じく変換されうるため、一実施形態による多視点ビデオのスケーラブルビデオ符号化のための予測構造９５０が異なる視点の異なる解像度の映像を参照する参照関係も含むこともできる。
【００９８】
一実施形態によるスケーラブルビデオ復号化装置２００は、親映像インデックス情報及び参照映像変換技法情報に基づいて、現在映像と同一視点または異なる視点、同一解像度または異なる解像度の親映像及び参照映像変換技法を定める。
【００９９】
これによって、現在映像のための同一視点または異なる視点、同一解像度または異なる解像度の参照映像が定められ、現在映像についての階層間または階層内の予測復号化が行われ、現在映像の復元映像が生成される。
【０１００】
図１０は、一実施形態によるスケーラブルビデオ符号化／復号化装置によって、ＭＶＣ方式及びＭＦＣ（ＭＰＥＧ  Ｆｒａｍｅ  ｃｏｍｐａｔｉｂｌｅ）方式が統合される実施形態を示す。
【０１０１】
ＭＶＣ方式によって符号化されて伝送されるＭＶＣビットストリーム１０１０は、ストレオスコピックビデオを視点によって符号化して左視点ビデオが符号化されたビットストリーム１０１１及び、右視点ビデオが符号化されたビットストリーム１０１２を含む。
【０１０２】
ＭＦＣ方式によって符号化されて伝送されるＭＦＣビットストリーム１０２０は、左視点ビデオ及び右視点ビデオが一つのビデオに合成されて符号化された基本階層ビットストリーム１０２１及び、向上階層ビットストリーム１０２２を含む。ＭＦＣ方式は、解像度によって階層的に符号化する。
【０１０３】
一実施形態によるスケーラブルビデオ符号化装置１００の階層分類部１１０は、階層分類基準を限定しないため、自由に定められる。したがって、一実施形態によるスケーラブルビデオ符号化装置１００は、多視点ビデオを視点によって階層を分類して符号化した左視点ビデオのビットストリーム１０１１及び、右視点ビデオのビットストリーム１０１２を伝送しつつ、同時に解像度によって階層を分類して符号化した基本階層のビットストリーム１０２１及び、向上階層のビットストリーム１０２２を伝送する。
【０１０４】
したがって、一実施形態によるスケーラブルビデオ復号化装置２００は、一実施形態によるスケーラブルビデオ符号化装置１００から伝送された多様な階層のビットストリームを復号化して、多様なフォーマットのビデオを復元し、原本ビデオと同じ解像度のビデオも復元する。よって、フル（Ｆｕｌｌ）解像度の３次元放送サービスが提供されつつ、ユーザやシステムの要求に応じて特定フォーマットの３次元放送サービスが選択的に提供されることもある。
【０１０５】
したがって、既存の規格ごとに異なるフォーマットで提供されたビデオサービスが、一実施形態によるスケーラブルビデオ符号化装置１００及び一実施形態によるスケーラブルビデオ復号化装置２００によって単一化されるため、多様なフォーマットの多視点ビデオサービスが統合的に提供され、３次元ビデオサービスがプール解像度で提供される。また、プール解像度のビデオだけではなく、ユーザの所望のフォーマットのビデオサービスを自由に選択して提供されることもできる。
【０１０６】
図１１は、一実施形態によるスケーラブルビデオ符号化装置のフローチャートを示す。段階１１１０で、入力されたビデオの映像シーケンスのうち少なくとも一つのルート映像及び残りの映像が複数の階層に分類される。２次元ビデオまたは３次元ビデオを含む多視点ビデオの映像シーケンスが入力される。現在映像シーケンスは、任意の基準によって複数の階層に分類され、階層によって符号化される。例えば、複数の視点及び複数の解像度の映像で構成された映像シーケンスは、視点及び解像度別に階層が分類される。
【０１０７】
段階１１２０で、スケーラブル予測符号化のための参照映像変換技法に基づいて、映像シーケンスのうち現在映像の親映像を用いて現在映像についての少なくても一つの参照映像が生成される。一実施形態による参照映像変換技法は、一つ以上の変換技法を含むことができるため、現在映像の一つの親映像について多様な参照映像変換技法が適用されて、現在映像のための少なくとも一つの参照映像が生成される。複数の参照映像は、参照映像リストとして保存されて管理される。
【０１０８】
段階１１３０で、少なくとも一つの参照映像を用いて、現在映像が予測符号化される。映像シーケンスの参照関係によるツリー構造に基づいて、映像シーケンスのうちそれぞれの映像について、親映像を示す親映像インデックス情報が符号化される。また現在映像のための参照映像を生成するために適用された参照映像変換技法に関する情報が符号化されることもできる。
【０１０９】
映像シーケンスについての階層間の予測及び階層内の予測を経て、映像の符号化されたビットストリームと共に親映像インデックス情報及び参照映像変換技法情報が共に伝送される。
【０１１０】
図１２は、一実施形態によるスケーラブルビデオ復号化装置のブロック図を示す。段階１２１０で、ビデオのビットストリームが受信されてパージングされ、ビデオの映像シーケンスのうち少なくとも一つのルート映像及び残りの映像が複数の階層に分類されて符号化されたデータが、ビットストリームから抽出される。映像の符号化されたビットストリームと共に、親映像インデックス情報及び参照映像変換技法情報がビットストリームから抽出される。ビデオのビットストリームから抽出された映像シーケンスの符号化されたデータが復号化され、映像シーケンスの残差情報及び参照情報が復元される。
【０１１１】
段階１２２０で、スケーラブル予測復号化のための参照映像変換技法に基づいて、映像シーケンスの復元映像のうち親映像が、現在映像についての少なくても一つの参照映像に変換される。同一階層の参照映像は、階層内の予測復号化のために用いられ、異なる階層の参照映像は、階層間の予測復号化のために用いられる。
【０１１２】
段階１２１０で抽出された親映像インデックス情報に基づいて映像シーケンスの参照関係によるツリー構造が把握されるため、現在映像が参照するための親映像を映像シーケンスの復元映像から検索できる。また、段階１２１０で抽出された参照映像変換技法情報に基づいて、親映像について参照映像変換技法を適用して現在映像のための参照映像が生成される。複数の参照映像変換技法によって複数の参照映像が生成されてもよい。複数の参照映像は、参照映像リストに保存されて更新され、管理される。
【０１１３】
段階１２３０で、少なくとも一つの参照映像を用いて、現在映像が予測復号化されて復元される。例えば、一実施形態によるスケーラブルビデオ復号化方法によって、２次元ビデオまたは３次元ビデオを含んで多視点ビデオが階層別に復元され、視点別にそれぞれの映像シーケンスが復元されつつ、視点ごとに異なる解像度の映像シーケンスが復元されてもよい。
【０１１４】
したがって、一実施形態によるスケーラブルビデオ符号化方法及び一実施形態によるスケーラブルビデオ復号化方法によって、２次元ビデオまたは３次元ビデオが多様なフォーマットによって階層別に符号化されて伝送されることで、コンテンツ２次元ビデオコンテンツまたは３次元ビデオコンテンツを多様なフォーマットで提供できる多視点ビデオサービスが具現される。また、階層内の予測だけではなく階層間の予測ができて圧縮効率が向上し、２次元ビデオまたは３次元ビデオの多視点ビデオの効率的な圧縮通信が可能である。
【０１１５】
本発明で開示されたブロック図は、原理を具現するための回路を概念的に表現した形態であると当業者に読み取られる。類似して、任意のフローチャート、フローチャート、状態遷移図、擬似コードなどは、コンピュータで読み取り可能な媒体で実質的に表現され、コンピュータまたはプロセッサが明示的に図示されるかどうかに関係なく、このようなコンピュータまたはプロセッサによって実行される多様なプロセスを示すということが当業者に認識される。よって、前述した実施形態はコンピュータで実行されるプログラムで作成でき、コンピュータで読み取り可能な記録媒体を用いて前記プログラムを動作させる汎用デジタルコンピュータで具現される。前記コンピュータで読み取り可能な記録媒体は、マグネチック記録媒体（例えば、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、フロッピー（登録商標）ディスク、ハードディスクなど）、光学的判読媒体（例えば、ＣＤ−ＲＯＭ、ＤＶＤなど）のような記録媒体を含む。
【０１１６】
図面に示された多様な要素の機能は、適当なソフトウェアに関してソフトウェアを実行できるハードウェアだけではなく、専用ハードウェアの利用で提供される。プロセッサによって提供される時、このような機能は単一専用プロセッサ、単一共有プロセッサ、または一部が共有される複数の個別プロセッサによって提供される。また、用語“プロセッサ”または“制御部”の明示的な利用は、ソフトウェアを行えるハードウェアを排他的に称すると解釈されてはならず、制限なしにデジタル信号プロセッサ（ＤＳＰ）のハードウェア、ソフトウェアを保存するための読み込み専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、及び不揮発性保存装置を暗黙的に含む。
【０１１７】
本明細書の請求項で、特定機能を行うための手段として表現された要素は、特定機能を果たす任意の方式を包括し、このような要素は、特定機能を行う回路要素の組み合わせ、または特定機能を果たすためのソフトウェアを行わせるのに好適な回路と結合された、ファームウエア、マイクロコードなどを含む任意の形態のソフトウェアを含む。
【０１１８】
本明細書で原理の‘一実施形態’及びこのような表現の多様な変形の指称は、この実施形態にかかって特定の特徴、構造、特性などが原理の少なくとも一つの実施形態に含まれるということを意味する。よって、表現‘一実施形態で’及び、本明細書の全体にわたって開示された任意の異なる変形例はいずれも、必ずしも同じ実施形態を称するものではない。
【０１１９】
本明細書で、‘ＡとＢのうち少なくとも一つ’の場合で‘〜のうち少なくとも一つ’の表現は、最初のオプション（Ａ）の選択のみ、または２番目に挙げられたオプション（Ｂ）の選択のみ、または両オプション（ＡとＢ）の選択を包括するために使われる。追加的な例として、‘Ａ、Ｂ、及びＣのうち少なくとも一つ’の場合は、最初に挙げられたオプション（Ａ）の選択のみ、または２番目に挙げられたオプション（Ｂ）の選択のみ、または３番目に挙げられたオプション（Ｃ）の選択のみ、または最初及び２番目に挙げられたオプション（ＡとＢ）の選択のみ、または２番目及び３番目に挙げられたオプション（ＢとＣ）の選択のみ、または３個のオプションの選択（ＡとＢとＣ）を包括できる。さらに多い項目が挙げられる場合にも当業者に明らかに拡張解釈される。
【０１２０】
これまで本発明についてその望ましい実施形態を中心として説明した。
【０１２１】
本明細書を通じて開示されたすべての実施形態及び条件付きの例示は、当業者が読者の原理及び概念の理解を助けるための意図で記述したものであり、当業者ならば、本発明が本質的な特性から逸脱しない範囲で変形された形態で具現されるということを理解できるであろう。したがって、開示された実施形態は限定的な観点ではなく説明的な観点で考慮されねばならない。範囲は、前述した説明ではなく特許請求の範囲に現われており、それと同等な範囲内にあるすべての差異は本発明に含まれていると解釈されねばならない。
【図１】
2014513896.tif 000003
【図２】
2014513896.tif 000004
【図３】
2014513896.tif 000005
【図４】
2014513896.tif 000006
【図５】
2014513896.tif 000007
【図６】
2014513896.tif 000008
【図７】
2014513896.tif 000009
【図８】
2014513896.tif 000010
【図９】
2014513896.tif 000011
【図１０】
2014513896.tif 000012
【図１１】
2014513896.tif 000013
【図１２】
2014513896.tif 000014
【国際調査報告】
2014513896.tif 000015
2014513896.tif 000016