(57)【特許請求の範囲】
【請求項１】
２次元映像情報及び奥行き情報に基づいて３次元映像を再構成する映像復号方法であって、
残留奥行き復号が有効か否かを示す残留奥行き復号有効情報を取得するステップであって、現在視点の対象復号領域の前記奥行き情報は、前記残留奥行き復号において、基本視点の奥行き値と前記現在視点の奥行き値との差分奥行き値を指定する残留奥行きに基づいて再構成される、ステップと、
前記残留奥行き復号有効情報が、前記残留奥行き復号が有効であることを示すとき、前記残留奥行き復号が行われるか否かを示す残留奥行き復号指示情報を取得するステップと、
前記残留奥行き復号指示情報が、前記残留奥行き復号が行われることを示すとき、空白フラグを取得するステップであって、前記空白フラグは前記対象復号領域に１又は複数の非零残留奥行き値が存在するか否かを示す、ステップと、
前記空白フラグが、非零残留奥行き値が存在しないことを示す領域の前記残留奥行き復号を省略し、前記空白フラグが、前記１又は複数の非零残留奥行き値が存在することを示す領域の前記残留奥行き復号を行うことによって、前記対象復号領域の前記奥行き情報を再構成するステップと、
を有する映像復号方法。
【請求項２】
前記奥行き情報を再構成するステップは、
前記残留奥行き復号指示情報が、前記残留奥行き復号が行われることを示すとき、１又は複数の非零残留奥行き値が、現在ピクチャの各符号化ブロックの位置に存在するか否かを指定する空白マップ情報を復号するステップと、
前記空白マップ情報に基づいて、空白符号化ブロック位置情報を取得するステップであって、前記空白符号化ブロック位置情報は前記残留奥行き復号が行われない符号化ブロックを指定し、前記残留奥行き復号は、前記空白符号化ブロック位置情報によって指定される符号化ブロックについては省略される、ステップと、
を含む、請求項１に記載の方法。
【請求項３】
前記空白マップ情報は、前記現在ピクチャの符号化ブロックの位置を非零残留奥行き値の存在と１対１にマップする２次元配列情報である、請求項２に記載の方法。
【請求項４】
前記残留奥行き復号有効情報は、シーケンスパラメータ集合（ＳＰＳ）によって通知される、請求項１に記載の方法。
【請求項５】
前記残留奥行き復号有効情報が、前記残留奥行き復号が有効であることを示すとき、前記残留奥行き復号指示情報は前記現在視点の現在ピクチャ内のスライスによって通知される、請求項１に記載の方法。
【請求項６】
前記奥行き情報を再構成するステップは、前記空白フラグが、非零残留奥行き値が前記対象復号領域に存在しないことを示すとき、前記対象復号領域に対応する前記基本視点内の領域の奥行き情報を前記対象復号領域の奥行き情報として設定するステップを含む、請求項１に記載の方法。
【請求項７】
前記奥行き情報を再構成するステップは、
前記対象復号領域の前記残留奥行き値を復号するステップと、
前記空白フラグが、１又は複数の非零残留奥行き値が前記対象復号領域内に存在することを示すとき、前記対象復号領域に対応する前記基本視点内の領域の奥行き情報と、前記の復号された残留奥行き値とに基づいて、前記対象復号領域の前記奥行き情報を再構成するステップと、
を含む、請求項１に記載の方法。
【請求項８】
前記対象復号領域は符号化ブロックであり、
前記残留奥行き復号指示情報が、前記残留奥行き復号が行われることを示すとき、前記空白フラグが符号化ブロック単位に非零残留奥行き値の存在を指定し、
前記奥行き情報は、前記空白フラグに基づいて、前記符号化ブロック単位に再構築される、請求項１に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、フレームフォーマット変換方法及びその方法を使用する装置に関し、より詳しくは、復号方法及び装置に関する。
【背景技術】
【０００２】
多視点映像は、複数の視点（Ｖｉｅｗ）チャネルを利用して臨場感及び没入感を提供する新たな形態のマルチメディア技術である。多視点映像応用は、３次元情報を表現、記憶、送信するにあたって、最も一般的、且つ、挑戦的な応用モデルであり、ユーザにメディアとの対話性を付与してさらに実感のある仮想現実を提供することを目標にする。この技術は、今後、３次元映画、写実的放送、娯楽、医療実習、教育、観光及び文化、遠隔監視、国宝級文化財又は重要伝統文化などの情報記録などの広範囲な応用が期待され、自由視点（Ｆｒｅｅ−ｖｉｅｗｐｏｉｎｔ）ＴＶ応用の場合、メディアの一方的な受け入れではなく、ユーザがメディアの観察方向及び視点を自由に操作することができるため、能動型メディアへの変化を可能にする。しかし、視点の数の増加につれて、映像取得、映像記憶及び送信、映像再現の問題が発生する。特に、映像記憶及び送信において、記憶容量の制限、チャネル帯域の増加は、多視点映像サービスの最も大きい障害要因である。
【０００３】
したがって、多視点映像応用のためには、高い符号化効率、ユーザとの対話性（Ｉｎｔｅｒａｃｔｉｖｉｔｙ）、そして多様なスケーラビリティ（Ｖｉｅｗ ｓｃａｌａｂｉｌｉｔｙ、Ｔｅｍｐｏｒａｌ ｓｃａｌａｂｉｌｉｔｙ）、視点及び時間方向へのランダムアクセスなどを満たす符号化技術が必要である。このような期待及び要求条件は、２００１年から始まったＭＰＥＧ−４ ３ＤＡＶ（３Ｄ音響及び映像）標準化グループの多視点映像符号化方式の標準化にも反映されている。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明の目的は、既存の映像送信レイヤで異なる映像フォーマットを送信する方法を提供することである。
【０００５】
また、本発明の他の目的は、映像送信レイヤで異なる映像フォーマットを送信する方法を実行する装置を提供することである。
【課題を解決するための手段】
【０００６】
前述した本発明の目的を達成するための本発明の一態様による映像復号方法は、符号化された多視点映像圧縮（ＭＶＣ）互換フレームをＭＶＣデコーダで復号するステップと、復号されたＭＶＣ互換フレームを高度（Ａｄｖａｎｃｅｄ）３Ｄフレームに変換するステップと、を含む。映像復号方法は、高度３Ｄフレームを利用して視点合成を実行するステップを更に含む。ＭＶＣ互換フレームは、フレーム互換方式を使用して高度３Ｄフレームの色情報及び奥行き情報を一つのフレームとして生成したフレームである。フレーム互換方式は、チェッカー盤（ｃｈｅｃｋ ｂｏａｒｄ）方式、列インタリーブ（ｃｏｌｕｍｎ ｉｎｔｅｒｌｅａｖｉｎｇ）方式、行インタリーブ（ｒｏｗ ｉｎｔｅｒｌｅａｖｉｎｇ）方式、左右（ｓｉｄｅ−ｂｙ−ｓｉｄｅ）方式、上下（ｔｏｐ ａｎｄ ｂｏｔｔｏｍ）方式のうち少なくとも一つの方式である。高度３Ｄフレームは、色情報及び奥行き情報を含む多視点＋奥行き（ＭＶＤ）方式又は前景背景色情報及び前景背景奥行き情報を含む階層化奥行き映像（ＬＤＶ）方式である。復号されたＭＶＣ互換フレームを高度３Ｄフレームに変換するステップは、高度３ＤフレームがＭＶＤ方式である場合、ＭＶＣ互換フレームに含まれている第１の情報に基づいて色情報を抽出してアップサンプリングし、ＭＶＣ互換フレームに含まれている第２の情報に基づいて奥行き情報を抽出してアップサンプリングするステップである。復号されたＭＶＣ互換フレームを高度３Ｄフレームに変換するステップは、高度３ＤフレームがＬＤＶ方式である場合、ＭＶＣ互換フレームに含まれている第１の情報に基づいて前景色情報又は背景色情報を抽出してアップサンプリングし、ＭＶＣ互換フレームに含まれている第２の情報に基づいて奥行き情報を抽出してアップサンプリングするステップである。復号されたＭＶＣ互換フレームを高度３Ｄフレームに変換するステップは、ＭＶＣ互換フレームを生成するために使われたフレーム互換方法情報を復号し、復号されたフレーム互換方法情報に基づいてＭＶＣ互換フレームを高度３Ｄフレームとして生成するステップである。
【０００７】
前述した本発明の他の目的を達成するための本発明の他の態様による映像復号方法は、符号化を実行しない空白（ｂｌａｎｋ）符号化単位の位置情報を復号するステップと、位置情報に基づいて符号化単位で復号を実行するステップとを含む。符号化を実行しない空白符号化単位の位置情報を復号するステップは、当該スライスに含まれている符号化単位で復号が実行されるかどうかを表示する空白マップ情報を復号し、空白マップ情報に基づいて符号化を実行しない空白符号化単位の位置情報を復号するステップである。映像復号方法は、シーケンスパラメータ集合（ＳＰＳ）ブロックに記憶された空白符号化可否情報に基づいてシーケンスの空白符号化可否を決定するステップと、シーケンスで空白符号化を実行する場合、スライスで空白符号化を実行するかどうかを決定するステップと、を含む。
【０００８】
前述した本発明の他の目的を達成するための、本発明の他の態様による映像符号化装置は、色情報及び奥行き情報をダウンサンプリングするダウンサンプリング部と、ダウンサンプリング部によってダウンサンプリングされた色情報及び奥行き情報を一つのＭＶＣ互換フレームとして生成するフレーム合成部と、を含む。フレーム合成部は、ＭＶＣ互換フレームを生成するために使われたフレーム互換方法情報を生成する。
【０００９】
前述した本発明の他の目的を達成するための、本発明の他の態様による映像復号装置は、ＭＶＣ互換フレームを少なくとも一つの色情報及び少なくとも一つの奥行き情報に分離するフレーム分離部と、フレーム分離部によって分離された色情報及び奥行き情報をアップサンプリングするアップサンプリング部と、を含む。フレーム分離部は、ＭＶＣ互換フレームを生成するために使われたフレーム互換方法情報に基づいてＭＶＣ互換フレームを分離する。
【発明の効果】
【００１０】
前述したように、本発明の実施例に係るフレームフォーマット変換方法及びその方法を使用する装置によると、高度３Ｄ映像を既存のＭＶＣ符号化／復号器を介して送信することができる。したがって、既存の送信システム及び通信レイヤを変更しなくても高度３Ｄコンテンツを活用することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施例に係る高度３Ｄコンテンツを示す概念図である。
【図２】本発明の実施例に係るＭＶＤ方式の高度３ＤコンテンツをＭＶＣ互換フレームに変換する方法を示す概念図である。
【図３】本発明の実施例に係るＬＤＶ方式の高度３ＤコンテンツをＭＶＣ互換フレームに変換する方法を示す概念図である。
【図４】本発明の他の実施例に係る高度３Ｄコンテンツ表現方法を示す概念図である。
【図５】本発明の他の実施例に係る高度３ＤコンテンツをＭＶＣ互換フレームで表現する方法を示す概念図である。
【図６】本発明の他の実施例に係るＭＶＤ方式の高度３ＤコンテンツをＭＶＣ互換フレームに変換する方法を示す概念図である。
【図７】本発明の他の実施例に係るＭＶＣ互換フレームを再びＭＶＤ方式の高度３Ｄコンテンツに復号する方法を示すフローチャートである。
【図８】本発明の他の実施例に係る高度３Ｄフレームを、ＭＶＣを利用して符号化／復号する方法を示す概念図である。
【図９】本発明の実施例に係る符号化を実行するために使われる第１のフォーマット変換部を示す概念図である。
【図１０】本発明の実施例に係る復号を実行するために使われる第２のフォーマット変換部を示す概念図である。
【図１１】本発明の他の実施例に係る空白符号化可否情報を復号する方法を示すフローチャートである。
【発明を実施するための形態】
【００１２】
以降、図面を参照して本発明の実施形態に対して具体的に説明する。本明細書の実施例を説明するにあたって、関連した公知構成又は機能に対する具体的な説明が本明細書の要旨を不明確にすると判断される場合にはその詳細な説明は省略する。
【００１３】
一構成要素が他の構成要素に“連結されている”又は“接続されている”と言及された場合、該当他の構成要素に直接的に連結されていてもよいし、接続されていてもよいが、中間に他の構成要素が存在してもよいと理解しなければならない。また、本発明において、特定構成を“含む”と記述する内容は、該当構成以外の構成を排除するものではなく、追加的な構成を本発明の実施又は本発明の技術的思想の範囲に含むことができることを意味する。
【００１４】
第１、第２などの用語を、多様な構成要素の説明に使うことがあるが、構成要素は、用語によって限定してはならない。用語は、一つの構成要素を他の構成要素から区別する目的にだけ使われる。例えば、本発明の権利範囲を逸脱しない限り、第１の構成要素は第２の構成要素と呼ぶことができ、同様に、第２の構成要素も第１の構成要素と呼ぶことができる。
【００１５】
また、本発明の実施例に示す構成部は、別個の特徴的な機能を示すために独立に図示されるものであり、各構成部が分離されたハードウェア又は一つのソフトウェア構成単位からなることを意味しない。すなわち、各構成部は、説明の便宜上、それぞれの構成部として列挙して含むものであり、各構成部のうち少なくとも２個の構成部を統合して一つの構成部としてもよいし、一つの構成部を複数の構成部に分けて機能を遂行してもよい。このような各構成部の統合された実施例及び分離された実施例も、本発明の本質から逸脱しない限り本発明の権利範囲に含まれる。
【００１６】
また、一部の構成要素は、本発明で本質的な機能を遂行する必須な構成要素ではなく、単に性能を向上させるための選択的構成要素である。本発明は、単に性能向上のために使われる構成要素を除外し、本発明の本質を具現するために必須な構成部だけを含んで具現することができ、単に性能向上のために使われる選択的構成要素を除外した必須構成要素だけを含む構造も本発明の権利範囲に含まれる。
【００１７】
図１は、本発明の実施例に係る高度３Ｄコンテンツを示す概念図である。
【００１８】
高度３Ｄコンテンツは、色情報に奥行き情報を含むフレームコンテンツを意味する。高度３Ｄコンテンツは、再生ステップで送信された映像情報及び奥行き情報を活用し、任意視点の位置で映像を合成することによって、奥行き感のある３Ｄ映像を再生することができる。高度３Ｄ方式を使用する場合、視聴者が奥行き感を調節することができ、また、多視点表示装置で必要な数の視点を連続的な視点で自然に合成することができるという長所がある。
【００１９】
図１の上段は、高度３Ｄ方式のうち、ＭＶＤ方式を示す。
【００２０】
図１の上段は、視点の数が３個である場合のＭＶＤを示す図であり、ＭＶＤフォーマットは、第１の色情報１００、第２の色情報１１０、第３の色情報１２０と、各色情報に対する奥行き情報である第１の奥行き情報１０５、第２の奥行き情報１１５、第３の奥行き情報１２５とを有することができる。すなわち、ＭＶＤ方式の場合、視点に応じて色情報及びそれに対応する奥行き情報を各々生成することができる。
【００２１】
図１の下段は、高度３Ｄ方式のうち、ＬＤＶ方式を示す。
【００２２】
図１の下段を参照すると、ＬＤＶ方式は、前景色情報（ｆｏｒｅｇｒｏｕｎｄ ｔｅｘｔｕｒｅ、ＦＴ）１３０、背景色情報（ｂａｃｋｇｒｏｕｎｄ ｔｅｘｔｕｒｅ、ＢＴ）１４０、前景色情報に対する奥行き情報を有している前景奥行き情報（ｆｏｒｅｇｒｏｕｎｄ ｄｅｐｔｈ、ＦＤ）１３５、背景映像情報に対する奥行き情報を有している背景奥行き情報（ｂａｃｋｇｒｏｕｎｄ ｄｅｐｔｈ、ＢＤ）１４５を含むことができる。
【００２３】
本発明の実施例に係る映像コンテンツ送信方法では、ＭＶＤ及びＬＤＶのような高度３Ｄコンテンツを、ＭＶＣ方法を使用して送信することができ、ＭＶＣエンコーダ又はＭＶＣデコーダで符号化／復号するようにＭＶＣフレーム形態で表現された高度３ＤコンテンツをＭＶＣ互換フレームとして定義することができる。
【００２４】
図２乃至図３は、本発明の他の実施例に係る高度３Ｄコンテンツ表現方法を示す概念図である。
【００２５】
図２は、本発明の実施例に係るＭＶＤ方式の高度３ＤコンテンツをＭＶＣ互換フレームに変換する方法を示す概念図である。
【００２６】
ＭＶＤ方式において、視点の数が２個である場合、左右方式を使用して第１の色情報２１０及び第１の奥行き情報２２０を第１のＭＶＣ互換フレーム２００として生成し、第２の映像情報２４０及び第２の奥行き情報２５０を第２のＭＶＣ互換フレーム２３０として生成することができる。第１のＭＶＣ互換フレーム２００及び第２のＭＶＣ互換フレーム２３０は、ＭＶＣエンコーダ及びＭＶＣデコーダを介して共に符号化／復号することができる。
【００２７】
図３は、本発明の実施例に係るＬＤＶ方式の高度３ＤコンテンツをＭＶＣ互換フレームに変換する方法を示す概念図である。
【００２８】
ＬＤＶ方式で算出された前景色情報３１０及び前景奥行き情報３２０を、左右方式を使用して第１のＭＶＣ互換フレーム３００として生成し、背景色情報３４０及び背景奥行き情報３５０を、左右方式を使用して第２のＭＶＣ互換フレーム３３０として生成することができる。生成された第１のＭＶＣ互換フレーム３００及び第２のＭＶＣ互換フレーム３３０は、ＭＶＣエンコーダ及びＭＶＣデコーダを介して共に符号化／復号することができる。
【００２９】
図４は、本発明の他の実施例に係る高度３Ｄコンテンツ表現方法を示す概念図である。
【００３０】
図４は、上下方式によって高度３ＤコンテンツをＭＶＣ互換フレームに変換する方法を示す。
【００３１】
図４の上段を参照すると、ＭＶＤ方式の高度３Ｄコンテンツの場合、第１の色情報４１０及び第１の奥行き情報４２０を、上下方式を使用して第１のＭＶＣ互換フレーム４００として生成し、第２の色情報４４０及び第２の奥行き情報４５０を、上下方式を使用して第２のＭＶＣ互換フレーム４３０として生成することができる。第１のＭＶＣ互換フレーム４００及び第２のＭＶＣ互換フレーム４３０は、ＭＶＣエンコーダ及びＭＶＣデコーダを介して共に符号化／復号することができる。
【００３２】
図４の下段を参照すると、ＬＤＶ方式で算出された前景色情報４７０及び前景奥行き情報４８０を、上下方式を使用して第１のＭＶＣ互換フレーム４６０として生成し、背景色情報４９３及び背景奥行き情報４９６を、上下方式を使用して第２のＭＶＣ互換フレーム４９０として生成することができる。生成された第１のＭＶＣ互換フレーム４６０及び第２のＭＶＣ互換フレーム４９０は、ＭＶＣエンコーダ及びＭＶＣデコーダを介して共に符号化／復号することができる。
【００３３】
図５は、本発明の他の実施例に係る高度３ＤコンテンツをＭＶＣ互換フレームで表現する方法を示す概念図である。
【００３４】
図５を参照すると、ＭＶＣ互換フレーム表現方式として更に、インタレース方式又はチェックボックス方式を使用することができる。
【００３５】
インタレース方式５００、５２０及びチェックボックス方式５４０、５６０では、前述した左右方式及び上下方式と同様に、色情報及び奥行き情報を一つのフレーム情報として生成してＭＶＣ互換フレームを生成することができる。すなわち、ＭＶＤを使用する高度３Ｄコンテンツの場合、色情報５７０及び奥行き情報５８０、ＬＤＶを使用する高度３Ｄコンテンツ方式では、算出された前景背景色情報５７０及び前景背景奥行き情報５８０に基づいてＭＶＣ互換フレームを生成することができる。インタレース方式５００、５２０及びチェックボックス方式５４０、５６０において、フレームに含まれる第１の情報は色情報となり、第２の情報は奥行き情報となることができる。
【００３６】
前述したフレーム互換方式以外に、二つの情報を一つのフレームで表現することができる方法、例えば、高度３Ｄ方式で表現されたコンテンツ情報を一つの情報で表現する方法を使用してＭＶＣ互換フレームを生成することも可能であり、このような実施例も本発明の権利範囲に含まれる。
【００３７】
前述したように、ＭＶＣエンコーダ又はＭＶＣデコーダで符号化／復号するように、ＭＶＣフレーム形態で表現された高度３ＤコンテンツをＭＶＣ互換フレームとして定義することができ、ＭＶＣ互換フレームは、元来の高度３Ｄの映像情報及び奥行き情報の解像度をダウンサンプリングして表現することができる。ダウンサンプリングされた映像は、復号過程によって、元来の解像度にアップサンプリングされた映像として生成することができる。
【００３８】
以降、本発明の実施例では、説明の便宜上、ＭＶＣ符号化／復号を実行するにあたって、二つのフレームに基づいてＭＶＣ符号化／復号を実行する方法について開示するが、ＭＶＣ符号化／復号は、複数の映像情報に基づいて映像符号化／復号を実行することができる方法であり、ピクチャマトリクス（ＭＯＰ）に基づいて時間的類似度及び視点間類似度（Ｉｎｔｅｒ−ｖｉｅｗ Ｓｉｍｉｌａｒｉｔｙ）などを使用して複数の映像を符号化することができる。すなわち、ＭＶＣ符号化／復号は、複数のフレームに基づいて実行することができる。したがって、高度３Ｄ方法によって複数の映像情報を生成することができ、これに基づいて二つ以上のＭＶＣ互換フレームが生成される。さらに、ＭＶＣ互換フレームに基づいてＭＶＣ符号化／復号を実行することができる。
【００３９】
図６は、本発明の他の実施例に係るＭＶＤ方式の高度３ＤコンテンツをＭＶＣ互換フレームに変換する方法を示す概念図である。
【００４０】
図６を参照すると、高度３Ｄフレームに基づいてＭＶＣ互換フレームを生成する（ステップＳ６００）。
【００４１】
前述したように、ＭＶＤ方式の場合、第１の色情報及び第１の奥行き情報に基づいてＭＶＣ互換第１のフレームを生成することができ、第２の色情報及び第２の奥行き情報に基づいてＭＶＣ互換第２のフレームを生成することができる。ＬＤＶ方式の場合、前景映像情報及び前景奥行き情報に基づいてＭＶＣ互換第１のフレーム及びＭＶＣ互換第２のフレームを生成することができる。前述したように、高度３ＤコンテンツをＭＶＣ互換フレームとして生成するために、左右方式、上下方式、インタレース方式、チェックボックス方式など、多様なフレーム互換方式によってＭＶＣ互換フレームを生成することができる。元来の映像情報及び奥行き情報の解像度を、ＭＶＣ互換フレームを生成する方法によってダウンサンプリングしてＭＶＣ互換フレームを生成することができる。
【００４２】
ＭＶＣ互換フレームに基づいてＭＶＣ符号化を実行する（ステップＳ６１０）。
【００４３】
ＭＶＣ符号化方法は、複数のフレーム間の空間的類似度又は時間的類似度に基づいてフレームの映像情報及び奥行き情報を符号化する方法であり、フレーム互換方法に基づいて生成されたＭＶＣ互換フレームを使用してＭＶＣ符号化を実行することができる。
【００４４】
図７は、本発明の他の実施例に係るＭＶＣ互換フレームを再びＭＶＤ方式の高度３Ｄコンテンツに復号する方法を示すフローチャートである。
【００４５】
図７を参照すると、符号化されたＭＶＣ互換フレームを復号する（ステップＳ７００）。
【００４６】
ＭＶＣエンコーダを介して符号化されたＭＶＣ互換フレームは、ＭＶＣデコーダを利用して復号することができる。
【００４７】
復号されたＭＶＣ互換フレームを高度３Ｄコンテンツに変換する（ステップＳ７１０）。
【００４８】
ＭＶＤ方式又はＬＤＶ方式の映像情報は、復号されたＭＶＣ互換フレームに基づいて、元来の高度３Ｄコンテンツに復号することができる。例えば、ＭＶＤ方式の場合、ＭＶＣ互換フレームは、複数の色情報及び奥行き情報に変換することができ、ＬＤＶ方式の場合、ＭＶＣ互換フレームは、複数の前景色情報及び前景奥行き情報、複数の背景色情報及び背景奥行き情報を含むフレームに変換することができる。
【００４９】
復号されたＭＶＣ互換フレームを元来の高度３Ｄフレームに変換するために、色情報及び奥行き情報をアップサンプリングすることができる。復号されたＭＶＣ互換フレームを高度３Ｄフレームに変換するために、高度３ＤコンテンツをＭＶＣ互換フレームとして生成するために使用した左右方式、上下方式のようなフレーム互換方式に関する情報を受信する。この情報に基づいて元来の高度３Ｄコンテンツを生成することができる。
【００５０】
高度３Ｄコンテンツに基づいて視点合成を実行する（ステップＳ７２０）。
【００５１】
高度３Ｄフレームに含まれている色情報及び奥行き情報を利用して、表示方式に応じた複数の仮想視点（Ｖｉｒｔｕａｌ ｖｉｅｗ）を生成することができる。すなわち、二つの映像情報及び奥行き情報に基づいて多視点レンダリングを介して複数の仮想視点を生成することができる。
【００５２】
合成された映像を出力する(ステップＳ７３０)。
【００５３】
３Ｄ表示装置を介して高度３Ｄコンテンツに基づいた映像を出力することができる。
【００５４】
図８は、本発明の他の実施例に係る高度３Ｄフレームを、ＭＶＣを利用して符号化／復号する方法を示す概念図である。
【００５５】
以降、図８では奥行き情報及び映像情報を別に生成する高度３ＤコンテンツのうちＭＶＤ映像に対して開示するが、ＬＤＶのような異なる高度３Ｄコンテンツにも同様の方法で適用することができる。
【００５６】
図８を参照すると、第１の色情報及び第１の奥行き情報と、第２の色情報及び第２の奥行き情報と、を含むＭＶＤ映像８００に対して第１のフォーマット変換８０５を実行することができる。
【００５７】
第１のフォーマット変換８０５は、前述したように、ＭＶＤ又はＬＤＶのような高度３ＤコンテンツをＭＶＣ互換フレームに変換する方法として、左右方式、上下方式、インタレース方式、チェックボックス方式など、多様な方法を用いることができる。第１のフォーマット変換８０５は、フレーム互換方式に応じて色情報又は奥行き情報の解像度をダウンサンプリングして一つのフレームを生成することができる。
【００５８】
第１のフォーマット変換８０５を介して生成されたＭＶＣ互換フレーム８１０は、一つのフレームに色情報及び奥行き情報を同時に含むことができ、複数のＭＶＣ互換フレーム８１０は、ＭＶＣエンコーダ８２０によってＭＶＣ符号化することができる。
【００５９】
符号化されたＭＶＣ互換フレームは、ＭＶＣデコーダ８３０によってＭＶＣ復号することができ、復号されたＭＶＣ互換フレーム８４０は、符号化を実行したときと反対手順で再び第２のフォーマット変換８５０を実行することができる。第２のフォーマット変換８５０は、第１のフォーマット変換８０５によって、ダウンサンプリングされた復号されたフレームをアップサンプリングして元来映像の解像度で生成することができる。すなわち、第２のフォーマット変換８５０を介して、ダウンサンプリングされて一つのフレームで表現された映像情報及び奥行き情報を再び、それぞれの複数の映像情報及び奥行き情報に復号することができる。
【００６０】
ＭＶＣ互換フレーム８４０は、第２のフォーマット変換８５０を実行して再び高度３Ｄコンテンツ８６０として生成することができる。フォーマット変換された映像情報及び奥行き情報は、視点合成（Ｖｉｅｗ Ｓｙｎｔｈｅｓｉｓ）８７０過程を介して任意の仮想視点のイメージを合成することができる。高度３Ｄ映像の場合、奥行き情報に基づいて複数の視点にワープさせることができ、したがって、連続的な複数の仮想視点を合成することができる。
【００６１】
視点合成された映像は３Ｄ表示装置８８０に基づいて再生することができる。
【００６２】
図９は、本発明の実施例に係る符号化を実行するために用いられる第１のフォーマット変換部を示す概念図である。
【００６３】
図９を参照すると、第１のフォーマット変換部９００は、ダウンサンプリング部９２０及びフレーム合成部９４０を含むことができる。
【００６４】
ダウンサンプリング部９２０は、フレーム互換方式によって、色情報又は奥行き情報の解像度を水平又は垂直方向に減少させることができる。例えば、フレーム互換方式が左右方式である場合、色情報を含むフレームの水平方向の解像度を半分に減少させ、奥行き情報を含むフレームの水平方向の解像度を半分に減少させることができ、上下方式である場合、色情報を含むフレームの垂直方向の解像度を半分に減少させ、奥行き情報を含むフレームの垂直方向の解像度を半分に減少させることができる。
【００６５】
フレーム合成部９４０は、ダウンサンプリング部９２０を介してダウンサンプリングされた映像を一つのフレーム情報として生成することができる。例えば、左右方式である場合、ダウンサンプリングされた色情報フレーム及び奥行き情報フレームを一つのＭＶＣ互換フレームに合成することができる。生成されたＭＶＣ互換フレームは、ＭＶＣエンコーダに供給されて符号化することができる。フレーム合成部では、現在のＭＶＣ互換フレームを生成するために使われたフレーム互換方法に関する情報を生成することができ、現在のＭＶＣフレームを生成するために使われたフレーム互換情報は、ＭＶＣエンコーダで符号化することができる。
【００６６】
図１０は、本発明の実施例に係る復号を実行するために使われる第２のフォーマット変換部を示す概念図である。
【００６７】
図１０を参照すると、第２のフォーマット変換部１０００は、フレーム分離部１０２０及びアップサンプリング部１０４０を含むことができる。
【００６８】
フレーム分離部１０２０では復号された一つのＭＶＣ互換フレームに基づいて二つのフレームを生成することができる。例えば、一つのＭＶＣ互換フレームは、一つの色情報フレーム及び奥行き情報フレームがダウンサンプリングされて含まれている構造であるため、ＭＶＣ互換フレームを生成するために使われたフレーム互換方法に関する情報に基づいて、ＭＶＣ互換フレームを色情報フレーム及び奥行き情報フレームに分離することができる。
【００６９】
フレーム分離部１０２０では、ＭＶＣデコーダで復号されたフレーム互換情報に基づいて、現在のＭＶＣ互換フレームを生成するために使われたフレーム互換方法に関する情報の提供を受けることができ、この情報に基づいてフレームを元来の高度３Ｄコンテンツに分離することができる。
【００７０】
アップサンプリング部１０４０ではフレーム分離部１０２０によって分離されたフレームをアップサンプリングすることができる。フレーム分離部１０２０によって分離されたフレームは、第１のフォーマット変換部でダウンサンプリングされて合成されたフレームであり、解像度が半分に減少したフレームとなる。したがって、フレームの解像度を増加させるためにアップサンプリング部１０４０ではアップサンプリングを実行して元来の高度３Ｄ映像を復元することができる。
【００７１】
表１は、本発明の実施例に係る映像情報表現方法を実行するための構文要素情報を示す。現在の映像情報の生成方式を表現するために、構文要素に対応する情報をＭＶＣ ＳＥＩメッセージに追加してもよい。
【００７２】
【表１】
0005837606.tif 000002
【００７３】
構文要素ｆｒａｍｅ_ｐａｃｋｉｎｇ_ａｒｒａｎｇｅｍｅｎｔ_ｔｙｐｅは、フレームをパックする方法に対する情報を示すことができる。前述したように、高度３ＤコンテンツをＭＶＣ互換フレームとして生成する方法に応じてインデクス（０：チェッカー盤、１：列インタリーブ、２：行インタリーブ、３：左右、４：上下）をマップし、このようなマップ情報に基づいて現在ＭＶＣ互換フレームがどのようなフレームパック方法によってフレームパックされたかを判断することができる。
【００７４】
構文要素ａｄｖａｎｃｅｄ_３ｄ_ｄａｔａ_ｔｙｐｅは、フレームパックされた高度３Ｄ映像がＭＶＤ方式か、ＬＤＶ方式かに関する情報を示すことができる。
【００７５】
以下の表２は、構文構造を示すものであり、ｆｒａｍｅ_ｐａｃｋｉｎｇ_ａｒｒａｎｇｅｍｅｎｔ_ｉｎｆｏ(ｐａｙｌｏａｄｓｉｚｅ)にｆｒａｍｅ_ｐａｃｋｉｎｇ_ａｒｒａｎｇｅｍｅｎｔ_ｔｙｐｅ及びａｄｖａｎｃｅｄ３ｄ_ｄａｔａ_ｔｙｐｅを表現することができる。
【００７６】
【表２】
0005837606.tif 000003
【００７７】
前記の構文要素情報は、例示的にフレームをパックするタイプ情報と、高度３Ｄデータフォーマットを示すための情報とを示すものであり、構文要素情報と構文要素情報に該当する意味とは、他の方式で表現してもよい。また、このような構文要素情報は、個別に使用してもよいし、又は異なる構文要素情報と結合して使用してもよい。
【００７８】
ＭＶＤ方式は、多様な視点で撮影した映像情報及び奥行き情報で構成することができる。このようなＭＶＤ方式を使用する場合、３次元空間上の一点の映像情報及び奥行き情報は、複数の視点の映像情報及び奥行き情報に重なるように表現することができる。符号化を実行するにあたって、重なった映像情報を除去し、他の視点で表現されない部分に関する映像情報及び奥行き情報を算出するための方法として、残留奥行き映像（ＲＤＶ）方式を使用することができる。ＲＤＶデータフォーマットの場合、符号化を実行するとき、重なるデータは除去し、他の視点で表現されない部分の映像情報及び奥行き情報だけを残すため、他の視点と重なる領域は、符号化を実行しない、すなわち符号化するデータが存在しない領域（空白領域）となる。したがって、このような空白ブロックの位置に対して送信する場合、該当領域に対する符号化／復号が実行されないため、符号化／復号複雑度が低くなり、符号化／復号効率が増加する。以降、ＲＤＶデータフォーマットで使用する符号化方式を空白符号化方式という。
【００７９】
表３は、本発明の他の実施例に係る該当シーケンスで空白符号化を実行するかどうかを表示する構文要素を示す。
【００８０】
【表３】
0005837606.tif 000004
【００８１】
表３では、シーケンスパラメータ集合（ＳＰＳ）領域で構文要素ｅｎａｂｌｅ_ｂｌａｎｋ_ｆｌａｇを使用し、現在のシーケンスが空白を使用して空白符号化を実行するＲＤＶ方式のデータか、空白符号化を実行しないＭＶＤ方式のデータかを判断することができる。例えば、ｅｎａｂｌｅ_ｂｌａｎｋ_ｆｌａｇが１である場合、空白符号化を使用するＲＤＶデータと判断し、ｅｎａｂｌｅ_ｂｌａｎｋ_ｆｌａｇが０である場合、空白符号化を使用しないＭＶＤデータと判断することができる。
【００８２】
スライスレベルではスライス別に空白符号化を使用するかどうかを示すことができる。
【００８３】
次の表４は、本発明の実施例に係るスライス別に空白符号化を使用するかどうかを表示する構文要素を示す。
【００８４】
【表４】
0005837606.tif 000005
【００８５】
表４を参照すると、ＳＰＳ単位で構文要素ｅｎａｂｌｅ_ｂｌａｎｋ_ｆｌａｇを介して現在シーケンスで空白符号化を使用すると決定された場合、新たな構文要素であるｕｓｅ_ｂｌａｎｋ_ｆｌａｇを使用してスライス別に空白符号化を使用するかどうかを決定することができる。ｅｎａｂｌｅ_ｂｌａｎｋ_ｆｌａｇが０である場合、ｕｓｅ_ｂｌａｃｋ_ｆｌａｇは０と推定することができる。
【００８６】
表５は、現在の符号化単位が、符号化が実行されない空白符号化単位かどうかを示す表である。
【００８７】
【表５】
0005837606.tif 000006
【００８８】
表５を参照すると、符号化単位で空白符号化を実行するかどうかを新たな構文要素であるｂｌａｎｋ_ｆｌａｇを使用して表現することができる。
【００８９】
符号化単位レベルで、ｂｌａｎｋ_ｆｌａｇは、現在の符号化単位に符号化を実行する情報が存在するかどうかを表すことができる。ｕｓｅ_ｂｌａｎｋ_ｆｌａｇが０である場合、ｂｌａｎｋ_ｆｌａｇ値は０と推定することができる。
【００９０】
表３乃至表５で前述した構文要素は、シーケンス、スライス又は符号化単位で符号化を実行するかどうかに関する情報を表現する一つの実施例に過ぎず、空白符号化を実行するための構文要素情報を多様に表現する実施例が実現できる。例えば、特定の場合、シーケンスレベルから無条件に空白符号化を実行するとき、表３で前述したｅｎａｂｌｅ_ｂｌａｎｋ_ｆｌａｇのような構文要素情報が使われないことがある。したがって、表４及び表５の構文要素表現方法を変更することができる。
【００９１】
図１１は、本発明の他の実施例に係る空白符号化可否情報を復号する方法を示すフローチャートである。
【００９２】
図１１を参照すると、シーケンスで空白符号化を実行するかどうかを判断する（ステップＳ１１００）。
【００９３】
表３で前述したように、ＳＰＳに含まれているｅｎａｂｌｅ_ｂｌａｎｋ_ｆｌａｇ情報を介して、現在のシーケンスで空白符号化を実行すると判断することができる。
【００９４】
空白符号化を実行しない場合、一般的なＭＶＤ復号手順を実行することができる（ステップＳ１１１０）。
【００９５】
スライスレベルで現在のスライスが空白符号化の実行如何情報を復号する（ステップＳ１１２０）。
【００９６】
シーケンスレベルで空白符号化を実行すると判断された場合、スライスレベルで現在スライスが空白符号化を実行するかどうかに対して判断することができる。
【００９７】
現在スライスで空白符号化を実行しない場合、スライスでは一般的な復号手順を介して復号を実行することができる（ステップＳ１１３０）。
【００９８】
現在スライスで空白符号化を実行する場合、該当スライスに含まれる符号化ブロックで空白符号化が実行されるかどうかを示すためのマップ情報である、２次元配列の空白マップを生成することができる。空白マップで空白可否を表現する情報は０に初期化することができる。
【００９９】
空白マップに基づいて符号化単位に対して復号可否を決定する（ステップＳ１１４０）。
【０１００】
現在の符号化単位の空白符号化実行可否を決定するｂｌａｎｋ_ｆｌａｇが１である場合、該当符号化単位の符号化を実行せず、空白マップ情報を表示するＢｌａｎｋＭａｐ[ｘ][ｙ]に１を記録して、現在の符号化単位が符号化を実行しないことを表示することができる。また、空白されて符号化を実行しない符号化単位の場合、周辺符号化単位の画面内予測又は画面間予測を実行するに当たって、参照ブロックとして使われないこともある。空白フラッグが０である場合、該当符号化単位に対して符号化を実行することができる。
【０１０１】
図１０は、表３乃至表５で前述した空白符号化方法に基づいて説明したものであり、本発明の本質から逸脱しない限り、他の空白符号化方法を実行することができる。例えば、シーケンスレベルで該当シーケンスが空白符号化を実行するかどうかを決定するステップを実行しないこともある。
【０１０２】
以上、実施例を参照して説明したが、該当技術分野の熟練された当業者は、特許請求の範囲に記載された本発明の思想及び領域から逸脱しない範囲内で、本発明を多様に修正及び変更可能であることを理解できるであろう。
【図１】
0005837606.tif 000007
【図２】
0005837606.tif 000008
【図３】
0005837606.tif 000009
【図４】
0005837606.tif 000010
【図５】
0005837606.tif 000011
【図６】
0005837606.tif 000012
【図７】
0005837606.tif 000013
【図８】
0005837606.tif 000014
【図９】
0005837606.tif 000015
【図１０】
0005837606.tif 000016
【図１１】
0005837606.tif 000017