(57)【要約】  ヘッダ領域及びデータ領域から構成され、ヘッダ領域には、データ領域に含まれたデータのタイプを示すタイプ情報が含まれたデータユニットでもって三次元映像データを符号化する方法において、三次元映像を提供する基準視点映像データ及び付加視点映像データを符号化し、レガシシステムで定義されたタイプ情報のうち一つである第１ユニットタイプ情報を含むヘッダを、符号化された基準視点映像データに付加して第１データユニットを生成し、レガシシステムで定義されていないタイプ情報のうち一つである第２ユニットタイプ情報を含むヘッダを、符号化された付加視点映像データに付加し、第２データユニットを生成するデータ符号化方法及びその装置、並びに復号化方法及びその装置である。
2013527676.tif 000002
【特許請求の範囲】
【請求項１】
ヘッダ領域及びデータ領域から構成され、前記ヘッダ領域には、前記データ領域に含まれたデータのタイプを示すタイプ情報が含まれたデータユニットでもって三次元映像データを符号化する方法において、
三次元映像を提供する基準視点映像データ及び付加視点映像データを符号化する段階と、
レガシシステムで定義されたタイプ情報のうち一つである第１ユニットタイプ情報を含むヘッダを、前記符号化された基準視点映像データに付加して第１データユニットを生成する段階と、
前記レガシシステムで定義されていないタイプ情報のうち一つである第２ユニットタイプ情報を含むヘッダを、前記符号化された付加視点映像データに付加し、第２データユニットを生成する段階と、を含むことを特徴とするデータ符号化方法。
【請求項２】
前記第１データユニット及び前記第２データユニットを伝送システムに基づいて変換する段階と、
前記変換された第１データユニット及び前記変換された第２データユニットを伝送する段階と、をさらに含むことを特徴とする請求項１に記載のデータ符号化方法。
【請求項３】
前記符号化する段階は、
以前基準視点映像データのみを参照し、次の基準視点映像データを符号化し、以前付加視点映像データのみを参照し、次の付加視点映像データを符号化する段階をさらに含むことを特徴とする請求項２に記載のデータ符号化方法。
【請求項４】
前記第１データユニット及び前記第２データユニットは、
Ｈ．２６４標準によるＮＡＬユニットを含むことを特徴とする請求項１に記載のデータ符号化方法。
【請求項５】
前記第１データユニットに含まれた前記基準視点映像データと、前記第２データユニットに含まれた前記付加視点映像データとが一対の映像データであるか否かを示す対情報が含まれたシグナリング情報を生成する段階をさらに含み、
前記伝送する段階は、前記第１データユニット、前記第２データユニット及び前記シグナリング情報を伝送する段階を含むことを特徴とする請求項２に記載のデータ符号化方法。
【請求項６】
前記シグナリング情報は、
前記付加視点映像データを含む前記第２データユニットのタイプ情報が、前記第２ユニットタイプ情報であるか否かを示す情報を含むことを特徴とする請求項５に記載のデータ符号化方法。
【請求項７】
前記シグナリング情報は、
前記基準視点映像データと、前記付加視点映像データとのうちまず出力される映像データを示す先行視点情報；前記基準視点映像データと、前記付加視点映像データとの多重化方式を示す多重化情報；及び前記基準視点映像データと、前記付加視点映像データとの構成比率を示す構成比率情報；を含むことを特徴とする請求項５に記載のデータ符号化方法。
【請求項８】
前記伝送する段階は、前記第１データユニット及び前記第２データユニットをＭＰＥＧ−２（moving  picture  experts  group−２）伝送システムを介して伝送する段階を含み、
前記シグナリング情報は、ＰＭＴ（program  mapping  table）内の所定領域に含まれることを特徴とする請求項６に記載のデータ符号化方法。
【請求項９】
ヘッダ領域及びデータ領域から構成され、前記ヘッダ領域には、前記データ領域に含まれたデータのタイプを示すタイプ情報が含まれたデータユニットでもって三次元映像データを符号化する方法において、
三次元映像を提供する基準視点映像データ及び付加視点映像データのうち少なくとも一つを符号化する段階と、
データ領域に主画面用データが存在することを示す第１ユニットタイプ情報が含まれたヘッダを、前記符号化された基準視点映像データに付加して第１データユニットを生成する段階と、
データ領域に副画面用データが存在することを示す第２ユニットタイプ情報が含まれたヘッダを、付加視点映像データについての情報に付加し、第２データユニットを生成する段階と、を含むことを特徴とするデータ符号化方法。
【請求項１０】
前記付加視点映像データについての情報は、
基準位置からオブジェクトまでの距離を示す深さマップ情報、左目と右目との両眼視差情報、及び前記付加視点映像データのうち一つであることを特徴とする請求項９に記載のデータ符号化方法。
【請求項１１】
ヘッダ領域及びデータ領域から構成され、前記ヘッダ領域には、前記データ領域に含まれたデータのタイプを示すタイプ情報が含まれたデータユニットを利用して、復号化装置で三次元映像データを復号化する方法において、
レガシシステムで定義されたタイプ情報のうち一つである第１ユニットタイプ情報に基づいて、前記第１ユニットタイプ情報を含むヘッダと、基準視点映像データとで構成された第１データユニットを獲得する段階と、
前記レガシシステムで定義されていないタイプ情報のうち一つである第２ユニットタイプ情報に基づいて、前記第２ユニットタイプ情報を含むヘッダと、付加視点映像データとで構成された第２データユニットを獲得する段階と、
前記第１データユニット及び前記第２データユニットのうち少なくとも一つを復号化する段階と、を含むことを特徴とするデータ復号化方法。
【請求項１２】
前記復号化する段階は、
前記復号化装置が、前記レガシ装置に該当する場合には、前記第２データユニットを廃棄する段階をさらに含むことを特徴とする請求項１１に記載のデータ復号化方法。
【請求項１３】
前記復号化する段階は、
前記第１データユニットに含まれた前記基準視点映像データを、以前に復号化された基準視点映像データのみを参照して復号化し、前記第２データユニットに含まれた前記付加視点映像データを、以前に復号化された付加視点映像データのみを参照して復号化する段階を含むことを特徴とする請求項１１に記載のデータ復号化方法。
【請求項１４】
前記データユニットは、
Ｈ．２６４標準によるＮＡＬユニットを含むことを特徴とする請求項１１に記載のデータ復号化方法。
【請求項１５】
前記第１データユニットと前記第２データユニットとが一対の映像データであるか否かを示す対情報が含まれたシグナリング情報を受信する段階をさらに含み、
前記復号化する段階は、前記シグナリング情報に基づいて、前記第１データユニット及び前記第２データユニットを復号化する段階を含むことを特徴とする請求項１２に記載のデータ復号化方法。
【請求項１６】
前記シグナリング情報は、
前記第２データユニットに、前記第２ユニットタイプ情報が割り当てられたことを示す情報を含むことを特徴とする請求項１５に記載のデータ復号化方法。
【請求項１７】
前記シグナリング情報は、
基準視点映像データ及び付加視点映像データのうちまず出力される映像データを示す先行視点情報；前記基準視点映像データと、前記付加視点映像データとの多重化方式を示す多重化情報；及び前記基準視点映像データと、前記付加視点映像データとの構成比率を示す構成比率情報；をさらに含むことを特徴とする請求項１５に記載のデータ復号化方法。
【請求項１８】
前記第１データユニット及び前記第２データユニットを、ＭＰＥＧ−２伝送システムを介して受信する段階をさらに含み、
前記シグナリング情報は、ＰＭＴ内の所定領域に含まれることを特徴とする請求項１７に記載のデータ復号化方法。
【請求項１９】
ヘッダ領域及びデータ領域から構成され、前記ヘッダ領域には、前記データ領域に含まれたデータのタイプを示すタイプ情報が含まれたデータユニットを利用して三次元映像データを復号化する方法において、
データユニット内のデータ領域に含まれたデータが、主画面用データであるか否かを示す第１ユニットタイプ情報に基づいて、前記第１ユニットタイプ情報を含むヘッダと、基準視点映像データとで構成された第１データユニットを獲得する段階と、
データユニット内のデータ領域に含まれたデータが副画面用データであるか否かを示す第２ユニットタイプ情報に基づいて、前記第２ユニットタイプ情報を含むヘッダと、付加視点映像データとで構成された第２データユニットを生成する段階と、
前記第１データユニットと前記第２データユニットとを復号化する段階と、を含むことを特徴とするデータ復号化方法。
【請求項２０】
前記付加視点映像データについての情報は、
深さマップ情報、両眼視差情報、及び前記付加視点映像データのうち一つであることを特徴とする請求項１９に記載のデータ復号化方法。
【請求項２１】
ヘッダ領域及びデータ領域から構成され、前記ヘッダ領域には、前記データ領域に含まれたデータのタイプを示すタイプ情報が含まれたデータユニットでもって三次元映像データを符号化する装置において、
三次元映像を提供する基準視点映像データ及び付加視点映像データを符号化する符号化部と、
レガシシステムで定義されたタイプ情報のうち一つである第１ユニットタイプ情報を含むヘッダを、前記符号化された基準視点映像データに付加して第１データユニットを生成し、前記レガシシステムで定義されていないタイプ情報のうち一つである第２ユニットタイプ情報を含むヘッダを、前記符号化された付加視点映像データに付加し、第２データユニットを生成するユニット生成部と、を含むことを特徴とするデータ符号化装置。
【請求項２２】
ヘッダ領域及びデータ領域から構成され、前記ヘッダ領域には、前記データ領域に含まれたデータのタイプを示すタイプ情報が含まれたデータユニットでもって三次元映像データを提供する装置において、
三次元映像を提供する基準視点映像データ及び付加視点映像データのうち少なくとも一つを符号化する符号化部と、
データ領域に、主画面用データが存在することを示す第１ユニットタイプ情報が含まれたヘッダを、前記符号化された基準視点映像データに付加して第１データユニットを生成し、データ領域に、副画面用データが存在することを示す第２ユニットタイプ情報が含まれたヘッダを、付加視点映像データについての情報に付加し、第２データユニットを生成するユニット生成部と、を含むことを特徴とするデータ符号化装置。
【請求項２３】
ヘッダ領域及びデータ領域から構成され、前記ヘッダ領域には、前記データ領域に含まれたデータのタイプを示すタイプ情報が含まれたデータユニットを利用して、復号化装置で三次元映像データを復号化する装置において、
レガシシステムで定義されたタイプ情報のうち一つである第１ユニットタイプ情報に基づいて、前記第１ユニットタイプ情報を含むヘッダと、基準視点映像データとで構成された第１データユニットを獲得し、前記レガシシステムで定義されていないタイプ情報のうち一つである第２ユニットタイプ情報に基づいて、前記第２ユニットタイプ情報を含むヘッダと、付加視点映像データとで構成された第２データユニットを獲得するユニット獲得部と、
前記第１データユニット及び前記第２データユニットのうち少なくとも一つを復号化する復号化部と、を含むことを特徴とするデータ復号化装置。
【請求項２４】
ヘッダ領域及びデータ領域から構成され、前記ヘッダ領域には、前記データ領域に含まれたデータのタイプを示すタイプ情報が含まれたデータユニットを利用して三次元映像データを復号化する装置において、
データユニット内のデータ領域に含まれたデータが、主画面用データであるか否かを示す第１ユニットタイプ情報に基づいて、前記第１ユニットタイプ情報を含むヘッダと、基準視点映像データとで構成された第１データユニットを獲得し、データユニット内のデータ領域に含まれたデータが、副画面用データであるか否かを示す第２ユニットタイプ情報に基づいて、前記第２ユニットタイプ情報を含むヘッダと、付加視点映像データとで構成された第２データユニットを獲得するユニット獲得部と、
前記第１データユニットと前記第２データユニットとを復号化する復号化部と、を含むことを特徴とするデータ提供装置。
【請求項２５】
請求項１ないし請求項２０のうち、いずれか一項に記載の方法を具現するためのプログラムが記録されたコンピューターで読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、三次元映像を提供する方法及びその装置に係り、特に、基準視点映像データに係わるタイプ情報及び付加視点映像データに係わるタイプ情報を異なった値に指定するデータ符号化方法及びその装置、並びにデータ復号化方法及びその装置に係わる。
【背景技術】
【０００２】
従来のデジタル放送受信機では、視聴者の入力に基づいて、チューナを所望のチャネルの物理的な周波数に同調させた後、当該周波数の信号のみを選択的に抽出する。受信機は、チャネル復号化部と逆変調化部とを利用して、抽出された信号から伝送ストリームを獲得した後、獲得された伝送ストリームを処理して最終的に出力する。
【０００３】
受信機は、ＰＭＴ（program  mapping  table）に定義されたストリームタイプを参照し、所望のパケットのＰＩＤ（program  ＩＤ）を確認することにより、パケットを選択的に処理する。特に、立体映像の場合、基準視点映像データを示すＰＩＤと、付加視点映像データを示すＰＩＤとをそれぞれＰＭＴで定義することにより、受信機は、立体映像に必要な映像データを選択的に獲得することができる。
【０００４】
従って、受信機で、立体映像を提供するためには、映像データが含まれた伝送パケットとは別途に、ＰＭＴセクションデータを獲得せねばならず、ＭＰＥＧ−２伝送システムではないシステムでは、立体映像を提供するのが容易ではない。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
前記の問題点を解決するための本発明の目的は、タイプ情報が含まれたデータユニットでもって三次元映像データを符号化する方法及びその装置と、復号化する方法及びその装置とを提供するところである。
【課題を解決するための手段】
【０００６】
前記の目的を果たすための本発明の１つの特徴は、ヘッダ領域及びデータ領域から構成され、前記ヘッダ領域には、前記データ領域に含まれたデータのタイプを示すタイプ情報が含まれたデータユニットでもって三次元映像データを符号化する方法において、三次元映像を提供する基準視点映像データ及び付加視点映像データを符号化する段階と、レガシシステムで定義されたタイプ情報のうち一つである第１ユニットタイプ情報を含むヘッダを、前記符号化された基準視点映像データに付加して第１データユニットを生成する段階と、前記レガシシステムで定義されていないタイプ情報のうち一つである第２ユニットタイプ情報を含むヘッダを、前記符号化された付加視点映像データに付加して第２データユニットを生成する段階と、を含むのである。
【０００７】
前記第１データユニット及び前記第２データユニットを伝送システムに基づいて変換する段階と、前記変換された第１データユニット及び前記変換された第２データユニットを伝送する段階と、をさらに含んでもよい。
【０００８】
前記符号化する段階は、以前基準視点映像データのみを参照し、次の基準視点映像データを符号化し、以前付加視点映像データのみを参照し、次の付加視点映像データを符号化する段階をさらに含んでもよい。
【０００９】
前記第１データユニット及び前記第２データユニットは、Ｈ．２６４標準によるＮＡＬ（network  abstraction  layer）ユニットを含んでもよい。
【００１０】
前記第１データユニットに含まれた前記基準視点映像データと、前記第２データユニットに含まれた前記付加視点映像データとが一対の映像データであるか否かを示す対情報が含まれたシグナリング情報を生成する段階をさらに含み、前記伝送する段階は、前記第１データユニット、前記第２データユニット及び前記シグナリング情報を伝送する段階を含んでもよい。
【００１１】
前記シグナリング情報は、前記付加視点映像データを含む前記第２データユニットのタイプ情報が、前記第２ユニットタイプ情報であるか否かを示す情報を含んでもよい。
【００１２】
前記シグナリング情報は、前記基準視点映像データと、前記付加視点映像データとのうちまず出力される映像データを示す先行視点情報、前記基準視点映像データと、前記付加視点映像データとの多重化方式を示す多重化情報、及び前記基準視点映像データと、前記付加視点映像データとの構成比率を示す構成比率情報を含んでもよい。
【００１３】
前記伝送する段階は、前記第１データユニット及び前記第２データユニットを、ＭＰＥＧ−２伝送システムを介して伝送する段階を含み、前記シグナリング情報は、ＰＭＴ内の所定領域に含まれもする。
【００１４】
前記の目的を果たすための本発明の他の実施形態が有する１つの特徴は、ヘッダ領域及びデータ領域から構成され、前記ヘッダ領域には、前記データ領域に含まれたデータのタイプを示すタイプ情報が含まれたデータユニットでもって三次元映像データを提供する方法において、三次元映像を提供する基準視点映像データ及び付加視点映像データのうち少なくとも一つを符号化する段階と、データ領域に主画面用データが存在することを示す第１ユニットタイプ情報が含まれたヘッダを、前記符号化された基準視点映像データに付加して第１データユニットを生成する段階と、データ領域に副画面用データが存在することを示す第２ユニットタイプ情報が含まれたヘッダを、付加視点映像データについての情報に付加し、第２データユニットを生成する段階と、を含むのである。
【００１５】
前記付加視点映像データについての情報は、基準位置からオブジェクトまでの距離を示す深さマップ情報、左目と右目との両眼視差情報、及び前記付加視点映像データのうち一つであってもよい。
【００１６】
本発明の他の実施形態が有する１つの特徴は、ヘッダ領域及びデータ領域から構成され、前記ヘッダ領域には、前記データ領域に含まれたデータのタイプを示すタイプ情報が含まれたデータユニットを利用して、復号化装置で三次元映像データを復号化する方法において、レガシシステムで定義されたタイプ情報のうち一つである第１ユニットタイプ情報に基づいて、前記第１ユニットタイプ情報を含むヘッダと、基準視点映像データとで構成された第１データユニットを獲得する段階と、前記レガシシステムで定義されていないタイプ情報のうち一つである第２ユニットタイプ情報に基づいて、前記第２ユニットタイプ情報を含むヘッダと、付加視点映像データとで構成された第２データユニットを獲得する段階と、前記第１データユニット及び前記第２データユニットのうち少なくとも一つを復号化する段階と、を含むのである。
【００１７】
本発明の他の実施形態が有する１つの特徴は、ヘッダ領域及びデータ領域から構成され、前記ヘッダ領域には、前記データ領域に含まれたデータのタイプを示すタイプ情報が含まれたデータユニットを利用して三次元映像データを復号化する方法において、データユニット内のデータ領域に含まれたデータが、主画面用データであるか否かを示す第１ユニットタイプ情報に基づいて、前記第１ユニットタイプ情報を含むヘッダと、基準視点映像データとで構成された第１データユニットを獲得する段階と、データユニット内のデータ領域に含まれたデータが副画面用データであるか否かを示す第２ユニットタイプ情報に基づいて、前記第２ユニットタイプ情報を含むヘッダと、付加視点映像データとで構成された第２データユニットを生成する段階と、前記第１データユニットと前記第２データユニットとを復号化する段階を含むのである。
【図面の簡単な説明】
【００１８】
【図１】本発明の一実施形態によるデータ符号化装置に係わるブロック図である。
【図２】本発明の一実施形態によるＨ．２６４／ＡＶＣストリームを生成するための階層構造を示す図面である。
【図３】本発明の一実施形態によるＮＡＬユニットを示す図面である。
【図４】ｎａｌ＿unit＿typeフィールドの値によるデータのタイプを示す図面である。
【図５】本発明の一実施形態による基準視点映像データを含む第１  ＮＡＬユニットのヘッダと、付加視点映像データを含む第２  ＮＡＬユニットのヘッダとに係わる一例を示す図面である。
【図６】本発明の一実施形態によるＨ．２６４  ＮＡＬユニットシーケンスに係わる一例を示す図面である。
【図７】本発明の他の実施形態によるＨ．２６４  ＮＡＬユニットシーケンスに係わる一例を示す図面である。
【図８】本発明の一実施形態によるシグナリング情報を示す図面である。
【図９】本発明の他の実施形態によるシグナリング情報を示す図面である。
【図１０】本発明のさらに他の実施形態によるシグナリング情報の一例である。
【図１１Ａ】図１０に図示された「depth＿ｐａｒａｍｓ」フィールドの構造に係わる一例である。
【図１１Ｂ】図１０に図示された「parallax＿ｐａｒａｍｓ」フィールドの構造に係わる一例である。
【図１１Ｃ】図１０に図示された「additional＿view＿ｐａｒａｍｓ」フィールドの構造に係わる一例である。
【図１２】本発明の一実施形態によるシグナリング情報に係わる一例を示す図面である。
【図１３】本発明の一実施形態によるシグナリング情報が含まれたＨ．２６４  ＮＡＬシーケンスに係わる一例を示す図面である。
【図１４】本発明の一実施形態によるシグナリング情報が含まれたＨ．２６４  ＮＡＬシーケンスに係わる他の例を示す図面である。
【図１５】本発明の一実施形態によるデータ復号化装置に係わるブロック図である。
【図１６】本発明の一実施形態によるデータ復号化装置とレガシ装置とでデータを処理する過程を示す図面である。
【図１７】本発明の一実施形態によるデータ符号化方法に係わるフローチャートである。
【図１８】本発明の一実施形態によるデータ復号化方法に係わるフローチャートである。
【発明を実施するための形態】
【００１９】
以下、添付された図面を参照しつつ、本発明の望ましい実施形態について詳細に説明する。
【００２０】
図１は、本発明の一実施形態によるデータ符号化装置１００に係わるブロック図を示している。本発明の一実施形態によるデータ符号化装置１００は、符号化部１１０、及びユニット生成部１２０を含む。データ符号化装置１００は、三次元映像を提供するための三次元映像データを符号化する。本明細書では、データ符号化装置１００がユーザにステレオスコピック映像を提供するために、基準視点映像データ及び付加視点映像データを符号化すると仮定する。しかし、実施形態によっては、データ符号化装置１００が３以上の多視点映像データを符号化することができる。
【００２１】
符号化部１１０は、三次元映像を提供する基準視点映像データ及び付加視点映像データを符号化する。符号化部１１０が映像データを符号化する方式は多様であってもよい。一例として、符号化部１１０は、Ｈ．２６４／ＡＶＣ標準によって、映像データを符号化することができる。
【００２２】
符号化部１１０は、基準視点映像データ及び付加視点映像データが独立的な参照関係を維持するように、基準視点映像データ及び付加視点映像データを符号化する。基準視点映像データ及び付加視点映像データが独立的な参照関係を維持するということは、基準視点映像データを符号化したり復号化するとき、基準視点映像データを参照し（すなわち、付加視点映像データを参照せず）、付加視点映像データを符号化したり復号化するとき、付加視点映像データを参照する（すなわち、基準視点映像データを参照せず）ことを意味する。
【００２３】
映像データを符号化するとき、データ量を減少させるために、全体映像データのうち一部映像データは、他の映像データを参照せずに符号化し、残りの映像データは、以前または以後の一つ以上の映像データを参照して符号化する。
【００２４】
他の映像データを参照せずに符号化する参照映像データが、基準視点映像データだけに存在すると仮定する。その場合、一つ以上の付加視点映像データは、基準視点映像データを参照しなければならないので、付加視点映像データを復号化するためには、基準視点映像データ内の一つ以上の映像データをまず復号化しなければならない。同様に、基準視点映像データが付加視点映像データを参照することもでき、データ復号化装置では、付加視点映像データのみ、または基準視点映像データのみを独立して処理することができないことがある。
【００２５】
一方、本発明では、基準視点映像データ及び付加視点映像データが独立的な参照関係を維持するように、基準視点映像データ及び付加視点映像データを符号化することにより、データ復号化装置では、基準視点映像データを処理する必要なしに、付加映像データのみを処理したり、あるいは付加視点映像データを処理する必要なしに、基準視点映像データのみを処理することができる。
【００２６】
ユニット生成部１２０は、符号化された基準視点映像データ及び符号化された付加視点映像データそれぞれにヘッダを付加し、データユニットを生成する。ユニット生成部１２０は、データ領域及びヘッダ領域から構成されるデータユニットを生成する。ユニット生成部１２０で生成されるデータユニットは、伝送システムには独立的である。すなわち、生成されたデータユニットは、多様な伝送システム（例えば、ｈ．２６４／ＡＶＣ、ＲＴＰ、ＭＰＥＧ−２など）を使って伝送されもする。データユニットと伝送システムとが独立的な関係を維持するためには、ＰＭＴのような他のシグナリング情報なしに、データ領域に含まれたデータのタイプを確認する必要がある。従って、ユニット生成部１２０は、データ領域に含まれたデータのタイプを示す情報をヘッダ領域に含める。以下では、説明の便宜のために、データのタイプを示す情報をユニットタイプ情報と呼ぶ。
【００２７】
ユニット生成部１２０は、基準視点映像データを示すユニットタイプ情報と、付加視点映像データを示すユニットタイプ情報とを異なった値に割り当てる。以下では、ユニット生成部１２０で、ユニットタイプ情報を割り当てる２つの実施形態について説明する。しかし、本発明がこれに限定されるものではない。
【００２８】
一実施形態で、ユニット生成部１２０は、基準視点映像データを示すユニットタイプ情報を、レガシ装置で定義されたタイプ情報のうち一つである第１ユニットタイプ情報に決め、付加視点映像データを示すユニットタイプ情報を、レガシ装置で定義されていないタイプ情報のうち一つである第２ユニットタイプ情報に決める。
【００２９】
レガシ装置は、本発明が適用されるデータ符号化装置１００及びデータ復号化装置の以前に存在する装置であり、三次元映像データを提供することができない二次元データの符号化装置及び復号化装置であってもよい。実施形態によっては、さらに広い概念として、付加視点映像データを示すユニットタイプ情報を識別することができないあらゆる装置をレガシ装置と呼ぶ。
【００３０】
ユニット生成部１２０が、Ｈ．２６４／ＡＶＣ標準に符合するデータユニットを生成する場合を仮定する。ユニット生成部１２０は、符号化されたデータが含まれるデータＲＢＳＰ（raw  byte  sequence  payload）領域及びヘッダ領域から構成されるＮＡＬ（network  abstraction  layer）ユニットを生成する。ユニット生成部１２０は、基準視点映像データが含まれたＮＡＬユニットのヘッダには、レガシシステムで定義されたタイプ情報のうち一つである第１ユニットタイプ情報を含め、付加視点映像データが含まれたＮＡＬユニットのヘッダには、レガシ装置で定義されていないタイプ情報のうち一つである第２ユニットタイプ情報を含める。
【００３１】
他の実施形態では、ユニット生成部１２０は、基準視点映像データを示すユニットタイプ情報を、主画面用データに対応する第１ユニットタイプ情報に決め、付加視点映像データを示すユニットタイプ情報を、副画面用データに対応する第２ユニットタイプ情報に決める。ユニット生成部１２０は、基準視点映像データが含まれたデータユニットに、第１ユニットタイプ情報が含まれたヘッダを付加して第１データユニットを生成し、付加視点映像データが含まれたデータユニットに、第２ユニットタイプ情報が含まれたヘッダを付加して第２データユニットを生成する。
【００３２】
副画面用データは、主画面用データをディスプレイする過程で、ピクセル単位で透明度値を組み合わせるために使われる。副画面用データは、主画面用データと同一な個数のマクロブロックで構成される。副画面用データは、必要な場合に、主画面用データに連続して伝送されるのが一般的であり、伝送されないとしても、主画面用データを成功裏に復号化することができる。
【００３３】
副画面用データは、付加視点映像データそれ自体であるか、付加視点映像データを修復することができる情報（例えば、所定位置からオブジェクトまでの距離を示す深さマップ情報、オブジェクトに対する左目と右目との両眼視差情報）を含んでもよい。
【００３４】
副画面用映像データは、透明度に係わる情報のみを伝達するので、単色（monochrome）に係わる情報である。深さ情報及び両眼視差情報もまた、単色に係わる情報であるので、副画面用映像データを利用して、深さ情報及び両眼視差情報をたやすく伝送することができる。
【００３５】
ユニット生成部１２０が、Ｈ．２６４によるＮＡＬユニットを生成する場合を仮定する。ユニット生成部１２０は、「ｎａｌ＿unit＿type」フィールド値に、副画面用データを示す「１９」を割り当て、「ｎａｌ＿unit＿type＝１９」を含むヘッダを、付加視点映像データに付加し、付加視点映像データが含まれたＮＡＬユニットを生成することができる。
【００３６】
ユニット生成部１２０は、シグナリング情報が含まれた第３データユニットをさらに生成することができる。シグナリング情報には、第１データユニットに含まれた基準視点映像データ、及び第２データユニットに含まれた付加視点映像データが、一対の映像データであるか否かを示す対情報が含まれる。一例として、シグナリング情報には、付加視点映像データを含む第２データユニットのタイプ情報が何であるかを示す情報、基準視点映像データ及び付加視点映像データのうちまず出力される映像データを示す先行視点情報、基準視点映像データ及び付加視点映像データの多重化方式を示す多重化情報、基準視点映像データ及び付加視点映像データの構成比率を示す構成比率情報のうち少なくとも一つを含んでもよい。
【００３７】
データ符号化装置１００は、伝送部（図示せず）をさらに含んでもよい。伝送部（図示せず）は、データ符号化装置１００が使う伝送システムによって、第１データユニット、第２データユニット及び第３データユニットを変換した後、伝送コンテナに搭載して伝送する。一例として、ＭＰＥＧ−２伝送システムを介してデータユニットを伝送する場合、伝送部（図示せず）は、ピクチャ、ＧＯＰ（group  of  picture）のような特定のデータの開始を示す開始符号をデータユニットに付加し、データユニットの形式が伝送システムに合うように調整した後で伝送する。このとき、伝送部（図示せず）は、シグナリング情報をＰＭＴのようなＭＰＥＧ−２伝送システムで定義するテーブルに搭載して伝送することができる。
【００３８】
図２は、本発明の一実施形態によるＨ．２６４／ＡＶＣストリームを生成するための階層構造を示している。本発明の一実施形態によるＨ．２４６／ＡＶＣストリームは、３層の階層２１０，２２０，２３０を通過して生成される。
【００３９】
符号化処理階層２１０は、映像データを符号化する。符号化処理階層２１０は、基準視点映像データ及び付加視点映像データなどの映像データ２１１を、Ｈ．２６４標準によって符号化する。符号化処理階層２１０は、ＰＰＳ（picture  parameter  set）、ＳＰＳ（sequence  parameter  set）のようなパラメータセットや、ＳＥＩのようなシグナリング情報２１２を、異なる符号化方式によって符号化することもあり、符号化しないこともある。
【００４０】
ネットワーク抽象階層（ＮＡＬ）２２０は、ＮＡＬユニット２２１，２２２を生成する。ＮＡＬユニット２２１，２２２は、ヘッダとＲＢＳＰとから構成される。ＲＢＳＰは、データが含まれる領域であり、符号化処理階層で符号化した映像データ２１１、またはシグナリング情報２１２が含まれる。ヘッダには、ＲＢＳＰに含まれるデータのタイプを示す「ｎａｌ＿unit＿type」が含まれる。ＲＢＳＰに基準視点映像データが含まれれば、「ｎａｌ＿unit＿type」値は、レガシ装置で定義されたタイプ情報のうち１つの値を有し、ＲＢＳＰに付加視点映像データが含まれれば、「ｎａｌ＿unit＿type」値は、レガシ装置で定義されていないタイプ情報のうち一つを有することができる。
【００４１】
ネットワーク抽象階層２２０は、ＮＡＬユニット２２１，２２２を使う伝送システムに合うように変形されてもよい。一例として、ＭＰＥＧ−２伝送システムを使う場合には、ピクチャの開始やＧＯＰの開始などを示すバイト列２３４をＮＡＬユニット２２１，２２２に付加し、伝送パケットを生成する。実施形態によっては、ＮＡＬユニット２２１，２２２を使う伝送システムに合うように変形する作業が、後述する伝送階層２３０で遂行されもする。
【００４２】
伝送階層２３０は、伝送パケットを伝送する。伝送階層２３０は、Ｈ．２６４／ＡＶＣ  ２３１、ＲＴＰ  ２３２、ＭＰＥＧ−２  ２３３のうち少なくとも１つの伝送システムを使うことができる。
【００４３】
図３は、本発明の一実施形態によるＮＡＬユニット３００を示している。ＮＡＬユニット３００は、ＮＡＬヘッダ３１０及びＲＢＳＰ  ３２０から構成される。ＲＢＳＰ  ３２０には、伝送しようとするデータが含まれる。例えば、ＲＢＳＰ  ３２０には、符号化された基準視点映像データ、符号化された付加視点映像データ、シグナリング情報などが含まれもする。一実施形態では、ＲＢＳＰ  ３２０に、パッディングビット３３０が付加されもする。
【００４４】
ＮＡＬヘッダ３１０は、ｎａｌ＿ｒｅｆ＿ｉｄｃフィールド３１２及びｎａｌ＿unit＿typeフィールド３１４を含む。ｎａｌ＿ｒｅｆ＿ｉｄｃフィールド３１２は、ＲＢＳＰ  ３２０に含まれたデータが、参照映像データを修復するのに使われるか否かを示す情報である。ｎａｌ＿unit＿typeフィールド３１４は、ＲＢＳＰ  ３２０に含まれたデータのタイプを示す情報である。
【００４５】
図４は、ｎａｌ＿unit＿typeフィールド３１４の値によるデータのタイプを示している。図４を参照すれば、ｎａｌ＿unit＿typeフィールド３１４が、１６〜１８、２１〜２３の値を有する場合は、Ｈ．２６４標準に記載されていない。
【００４６】
ユニット生成部１２０は、基準視点映像データを含むＮＡＬユニットのｎａｌ＿unit＿typeフィールド３１４を、１または４のように、Ｈ．２６４標準で定義された値に設定し、付加視点映像データを含むＮＡＬユニットのｎａｌ＿unit＿typeフィールド３１４を、１６〜１８、２１〜２３（すなわち、Ｈ．２６４標準で定義されていない値）の値に設定する。
【００４７】
当該バージョンの標準によるレガシ装置（すなわち、ｎａｌ＿unit＿typeフィールド３１４が、「１６〜１８、２１〜２３」である場合が定義されていない装置）は、付加視点映像データを含むＮＡＬユニットを解析することができないと判断して処理しない。
【００４８】
一方、本発明によるデータ復号化装置（すなわち、ｎａｌ＿unit＿typeフィールド３１４が「１６〜１８、２１〜２３」である場合は、ＮＡＬユニットが付加視点映像データを含むと約束された装置）は、付加視点映像データが含まれたＮＡＬユニットを処理して三次元映像を提供する。
【００４９】
図５は、本発明の一実施形態による基準視点映像データを含む第１  ＮＡＬユニットのヘッダ５１０と、付加視点映像データを含む第２  ＮＡＬユニットのヘッダ５２０とに係わる一例を示している。
【００５０】
第１  ＮＡＬユニットのヘッダ５１０内の「ｎａｌ＿unit＿type」フィールドは、「５」の値を有する。これは、第１  ＮＡＬユニットのＲＢＳＰ領域には、参照映像データに該当する基準視点映像データが含まれることを示す。
【００５１】
一方、第２  ＮＡＬユニットのヘッダ５２０内の「ｎａｌ＿unit＿type」フィールドは、「１６」の値を有する。現在バージョンのＨ．２６４では、「ｎａｌ＿unit＿type」フィールド値が「１６」である場合を、「reserved」に設定している。すなわち、「ｎａｌ＿unit＿type」フィールド値が「１６」である場合は、既存のレガシ装置では定義されない。これは、第２  ＮＡＬユニットのＲＢＳＰ領域には、付加視点映像データが含まれることを示す。
【００５２】
図６は、本発明の一実施形態によるＨ．２６４  ＮＡＬユニットシーケンスに係わる一例を示している。図６では、本発明の一実施形態によるユニット生成部１２０が、基準視点映像データに係わるユニットタイプ値として、レガシ装置で定義するユニットタイプ値のうち一つを使用し、付加視点映像データを示すユニットタイプ値として、レガシ装置で定義していないユニットタイプ値のうち一つを使うと仮定する。
【００５３】
本発明の一実施形態によるＨ．２６４  ＮＡＬユニットシーケンスは、第１  ＮＡＬユニットグループ６１０と、第２  ＮＡＬユニットグループ６２０とを含み、「ｎａｌ＿unit＿type」フィールドの値をカッコを利用して表示した。
【００５４】
第１  ＮＡＬユニットグループ６１０内のＮＡＬユニット６１１，６１２，６１３，６１４は、「ｎａｌ＿unit＿type」フィールドが「１」または「５」の値を有する。
【００５５】
図４を参照すれば、「ｎａｌ＿unit＿type」フィールドが「１」である場合は、ＮＡＬユニットがＩＤＲではない映像データを含み、「ｎａｌ＿unit＿type」フィールドが「５」である場合は、ＮＡＬユニットがＩＤＲである映像データを含むことが分かる。「ｎａｌ＿unit＿type」フィールドが「１」である場合と、「５」である場合は、レガシ装置で定義されたユニットタイプ値であるので、第１  ＮＡＬユニットグループ６１０は、基準視点映像データを含むということが分かる。
【００５６】
また、第２  ＮＡＬユニットグループ６２０内のＮＡＬユニット６２１，６２２，６２３，６２４は、「ｎａｌ＿unit＿type」フィールドが「１６」の値を有する。
【００５７】
図４を参照すれば「ｎａｌ＿unit＿type」フィールドが「１６」である場合は、レガシ装置で定義されていないユニットタイプ値であるので、第２  ＮＡＬユニットグループ６２０は、付加視点映像データを含むということが分かる。
【００５８】
図７は、本発明の他の実施形態によるＨ．２６４  ＮＡＬユニットシーケンスに係わる一例を示している。図７では、本発明の他の実施形態によるユニット生成部１２０が、基準視点映像データに係わるユニットタイプ値として、主映像用データに対応するユニットタイプ値を使用し、付加視点映像データに係わるユニットタイプ値として、副映像用データに対応するユニットタイプ値を使うと仮定する。
【００５９】
本発明の一実施形態によるＨ．２６４  ＮＡＬユニットシーケンスは、第１  ＮＡＬユニットグループ７１０と、第２  ＮＡＬユニットグループ７２０とを含み、「ｎａｌ＿unit＿type」フィールドの値をカッコを利用して表示した。
【００６０】
第１  ＮＡＬユニットグループ７１０内のＮＡＬユニット７１１，７１２，７１３，７１４は、「ｎａｌ＿unit＿type」フィールドが、「１」または「５」の値を有する。
【００６１】
図４を参照すれば、「ｎａｌ＿unit＿type」フィールドが「１」である場合は、ＮＡＬユニットがＩＤＲではない映像データを含み、「ｎａｌ＿unit＿type」フィールドが「５」である場合は、ＮＡＬユニットがＩＤＲである映像データを含むということが分かる。「ｎａｌ＿unit＿type」フィールドが「１」である場合と、「５」である場合は、ＮＡＬユニットに主映像用データが含まれるので、第１  ＮＡＬユニットグループ７１０は、基準視点映像データを含むということが分かる。
【００６２】
また、第２  ＮＡＬユニットグループ７２０内のＮＡＬユニット７２１，７２２，７２３，７２４は、「ｎａｌ＿unit＿type」フィールドが「１９」の値を有する。図４を参照すれば「ｎａｌ＿unit＿type」フィールドが「１９」である場合は、副映像データに対応するので、第２  ＮＡＬユニットグループ７２０は、付加視点映像データを含むということが分かる。
【００６３】
図８は、本発明の一実施形態によるシグナリング情報を示している。図８では、基準視点映像データ及び付加視点映像データ間の構成情報（例えば、基準視点映像データ及び付加視点映像データ間の対情報）を示すシグナリング情報を新たに定義し、シグナリング情報に、レガシ装置で定義していないユニットタイプ情報を割り当てた。従って、二次元映像のみを再生することができるレガシ装置では、シグナリング情報を処理せずに廃棄するのである。
【００６４】
以下では、シグナリング情報内で、三次元映像データの処理と係わるフィールドについて順次に説明する。
【００６５】
「frame０＿is＿first」フィールド８１０は、第１視点映像データが含まれたフレームがまず伝送されるか、あるいは第２視点映像データが含まれたフレームがまず伝送されるかを示す。
【００６６】
「frame０＿is＿Ｌ」フィールド８２０は、第１視点映像データが含まれたフレームが、左視点映像データ（または基準視点映像データ）であるか、あるいは右視点映像データ（または、付加視点映像データ）であるかを示す。
【００６７】
「frame０＿is＿first」フィールド８１０と、「frame０＿is＿Ｌ」フィールド８２０とを参照し、左視点映像データがまず伝送されるか、右視点映像データがまず伝送されるかが分かる。
【００６８】
「field＿views＿flag」フィールド８３０は、付加視点映像データと、基準視点映像データとが異なった映像フレームで構成されるか、あるいは１つの映像フレーム内で異なったフィールドで構成されるかを示す。
【００６９】
「additional＿view＿ｎａｌ＿type」フィールド８４０は、付加視点映像データを含むＮＡＬユニットのタイプ情報が何であるかを示す。
【００７０】
「additional＿view＿composition＿ratio」フィールド８５０は、基準視点映像データ及び付加視点映像データの構成比率を示す。
【００７１】
図９は、本発明の他の実施形態によるシグナリング情報９００を示している。図９では、既存に使われているシグナリング情報９００内の一つ以上のフィールドを利用して、基準視点映像データ及び付加視点映像データ間の構成情報を示す。
【００７２】
「frame＿packing＿arrangement＿type」フィールド９１０は、基準視点映像データ及び付加視点映像データ間の多重化方式を示す。「frame＿packing＿arrangement＿type」フィールド９１０の値による多重化方式に係わる一例は、次の表１で説明する。
【００７３】
【表１】
2013527676.tif 000003
表１を参照すれば、
「frame＿packing＿arrangement＿type」フィールド９１０の値が「０」である場合には、基準視点映像データ及び付加視点映像データが、チェッカーボード方式によって交差的に配置されて１つのフレームが構成される。
【００７４】
「frame＿packing＿arrangement＿type」フィールド９１０の値が「１」である場合には、基準視点映像データ及び付加視点映像データが行（column）に沿って交差されて１つのフレームが構成される。
【００７５】
「frame＿packing＿arrangement＿type」フィールド９１０の値が「２」である場合には、基準視点映像データ及び付加視点映像データが列（row）に沿って交差されて１つのフレームが構成される。
【００７６】
「frame＿packing＿arrangement＿type」フィールド９１０の値が「３」である場合には、基準視点映像データがフレームの左側に配置され、付加視点映像データがフレームの右側に配置される。
【００７７】
「frame＿packing＿arrangement＿type」フィールド９１０の値が「４」である場合には、基準視点映像データがフレームの上側に配置され、付加視点映像データがフレームの下側に配置される。
【００７８】
「frame＿packing＿arrangement＿type」フィールド９１０の値が「５」である場合には、基準視点映像データ及び付加視点映像データが別途のフレームで構成される。
【００７９】
本発明の一実施形態の他のデータ符号化装置１００では、基準視点映像データ及び付加視点映像データを別途のフレームで構成するので、「frame＿packing＿arrangement＿type」フィールド９１０の値を「５」に設定する。
【００８０】
「current＿frame＿is＿frame０＿flag」フィールド９３０は、第１視点映像データがまず伝送されるか、第２視点映像データがまず伝送されるかを示す。
【００８１】
「content＿interpretation＿type」フィールド９２０は、第１視点映像データが左視点映像データであるか右視点映像データであるかを示す。
【００８２】
シグナリング情報９００は、ＳＥＩの一種であり、図４による「ｎａｌ＿unit＿type」フィールド値が「６」であるＮＡＬユニットを介して伝送されもする。
【００８３】
図１０は、本発明のさらに他の実施形態によるシグナリング情報の一例である。図１０を参照すれば、Ｈ．２６４標準では、副画面用データに係わるヘッダ情報１０００を提供し、副画面用データに係わるヘッダ情報は、図４の「nal＿unit＿type」が「１３」であるＮＡＬユニットに含まれて伝送される。
【００８４】
ヘッダ情報１０００は、「additional＿extension＿flag」フィールド１０１０を含み、「additional＿extension＿flag」フィールド１０１０が「１」に設定されれば、ヘッダ情報１０００内に、付加視点映像データに係わるシグナリング情報１０２０が存在する。
【００８５】
「ａｕｘ＿format＿ｅｘｔ＿ｉｄｃ」フィールド１０２１は、副画面用データに含まれる情報の種類を示す。「ａｕｘ＿format＿ｅｘｔ＿ｉｄｃ」フィールド１０２１が「０」である場合、副画面用データには、深さ情報が含まれ、「ａｕｘ＿format＿ｅｘｔ＿ｉｄｃ」フィールド１０２１が「１」である場合、副画面用データには、両眼視差情報が含まれ、「ａｕｘ＿format＿ｅｘｔ＿ｉｄｃ」フィールド１０２１が「２」である場合、副画面用データには、付加視点映像データが含まれる。
【００８６】
「ａｕｘ＿format＿ｅｘｔ＿ｉｄｃ」フィールド１０２１が「０」である場合、シグナリング情報１０２０には、「depth＿ｐａｒａｍｓ」フィールド１０２２が含まれ、「ａｕｘ＿format＿ｅｘｔ＿ｉｄｃ」フィールド１０２１が「１」である場合、シグナリング情報１０２０には、「parallax＿ｐａｒａｍｓ」フィールド１０２３が含まれ、「ａｕｘ＿format＿ｅｘｔ＿ｉｄｃ」フィールド１０２１が「２」である場合、シグナリング情報１０２０には、「additional＿view＿ｐａｒａｍｓ」フィールド１０２４が含まれる。
【００８７】
「depth＿ｐａｒａｍｓ」フィールド１０２２、「parallax＿ｐａｒａｍｓ」フィールド１０２３及び「additional＿view＿ｐａｒａｍｓ」フィールド１０２４の構造に係わる詳細な説明は、図１１で後述する。
【００８８】
図１１Ａは、図１０に図示された「depth＿ｐａｒａｍｓ」フィールド１０２２の構造に係わる一例である。
【００８９】
図１１Ｂは、図１０に図示された「parallax＿ｐａｒａｍｓ」フィールド１０２３の構造に係わる一例である。
【００９０】
図１１Ａに図示された「depth＿ｐａｒａｍｓ」フィールド１０２２と、図１１Ｂに図示された「parallax＿ｐａｒａｍｓ」フィールド１０２３とに係わる説明は、ＩＳＯ／ＩＥＣ  ２３００２−３に図示されたところと同一であるので、以下では説明を略する。
【００９１】
図１１Ｃは、図１０に図示された「additional＿view＿ｐａｒａｍｓ」フィールド１０２４の構造に係わる一例である。
【００９２】
「additional＿view＿ｎａｌ＿type」フィールド１１３１は、付加視点映像データを含むＮＡＬユニットのタイプ情報が何であるかを示す。
【００９３】
「additional＿view＿is＿Ｌ」フィールド１１３２は、左視点映像データがまず伝送されるか、右視点映像データがまず伝送されるかを示す。
【００９４】
「additional＿view＿field＿flag」フィールド１１３３は、付加視点映像データと基準視点映像データとが異なった映像フレームで構成されるか、あるいは１つの映像フレーム内で、異なったフィールドで構成されるかを示す。
【００９５】
「additional＿view＿composition＿ratio」フィールド１１３４は、基準視点映像データ及び付加視点映像データの構成比率を示す。
【００９６】
図１２は、本発明の一実施形態によるシグナリング情報に係わる一例を示している。図１２では、ＭＰＥＧ−２伝送システムを利用し、Ｈ．２６４／ＡＶＣ映像シーケンスを伝送する場合である。ＰＭＴには、基準視点映像データが搭載される伝送パケットと、付加視点映像データが搭載される伝送パケットとのタイプが「オーディオ／ビデオストリーム」と指定される。ただし、付加視点映像データに係わるシグナリング情報は、ＰＭＴ内の「ＡＶＣ＿video＿descriptor（）」１２００を介して提供される。
【００９７】
「ＡＶＣ＿video＿descriptor（）」１２００は、「additional＿view＿indicator」フィールド１２１０を含む。
【００９８】
「additional＿view＿indicator」フィールド１２１０が「１」に設定されれば、付加視点映像データに係わるシグナリング情報が含まれることを意味し、「additional＿view＿indicator」フィールド１２１０が「０」に設定されれば、付加視点映像データに係わるシグナリング情報が含まれないことを意味する。
【００９９】
図１０に図示されたシグナリング情報１０２０のような付加視点映像データに係わるシグナリング情報が、「additional＿view＿indicator」フィールド１２１０の次の列に含まれもする。
【０１００】
図１３は、本発明の一実施形態によるシグナリング情報が含まれたＨ．２６４  ＮＡＬシーケンスに係わる一例を示している。
【０１０１】
ＳＥＩ  １３３０は、三次元映像データに係わるシグナリング情報を含む。シグナリング情報には、付加視点映像データを含む第２  ＮＡＬユニットグループ１３２０に係わる「ｎａｌ＿unit＿type」値が含まれる。
【０１０２】
図１３では、第２  ＮＡＬユニットグループ１３２０に係わる「ｎａｌ＿unit＿type」値が「１６」に指定される。
【０１０３】
データ復号化装置は、ＳＥＩ  １３３０を介して、第２  ＮＡＬユニットグループ１３２０に係わる「ｎａｌ＿unit＿type」値が「１６」であることを確認した後、「ｎａｌ＿unit＿type」値が「１６」であるＮａｌユニットを獲得する。
【０１０４】
図１４は、本発明の一実施形態によるシグナリング情報が含まれたＨ．２６４  ＮＡＬシーケンスに係わる他の例を示している。図１４では、副映像用データが含まれるＮＡＬユニットグループ１４２０に付加視点映像データを搭載し、付加視点映像データに係わるシグナリング情報をＳＰＳ＿extensionが含まれたＮＡＬユニット１４３０を介して伝送する。
【０１０５】
図１５は、本発明の一実施形態によるデータ復号化装置１５００に係わるブロック図を示している。
【０１０６】
本発明の一実施形態によるデータ復号化装置１５００は、データユニット獲得部１５１０及び復号化部１５２０を含む。
【０１０７】
データユニット獲得部１５１０は、ヘッダ領域及びデータ領域から構成され、ヘッダ領域には、データ領域に含まれたデータのタイプを示すタイプ情報が含まれたデータユニットを獲得する。特に、レガシシステムで定義されたタイプ情報のうち一つである第１ユニットタイプ情報に基づいて、基準視点映像データで構成された第１データユニットを獲得し、レガシシステムで定義されていないタイプ情報のうち一つである第２ユニットタイプ情報に基づいて、付加視点映像データで構成された第２データユニットを獲得する。実施形態によっては、第２データユニットに、付加視点映像データではない付加視点映像データを獲得することができるデータ（例えば、深さ情報、両眼視差情報）が含まれもする。
【０１０８】
データユニット獲得部１５１０は、シグナリング情報が含まれた第３データユニットをさらに含んでもよい。シグナリング情報には、付加視点映像データを含むデータユニットを指示する第２ユニットタイプ情報が何であるかについての情報、基準視点映像データ及び付加視点映像データのうちまず出力される映像データを示す先行視点情報、基準視点映像データ及び付加視点映像データの多重化方式を示す多重化情報、並びに基準視点映像データ及び付加視点映像データの構成比率を示す構成比率情報と共に、基準視点映像データ及び付加視点映像データが一対であるか否かを示す対情報を含む。
【０１０９】
復号化部１５２０は、第１データユニット及び第２データユニットを復号化する。
【０１１０】
レガシ装置が第２データユニットを獲得したら、レガシ装置は、第２ユニットタイプ情報の意味を知らない（一例として、第２ユニットタイプ情報は、リザーブド値に該当する）。レガシ装置は、第２データユニットを復号化せずに廃棄し、第１データユニットのみを処理して二次元映像データを提供するであろう。しかし、本発明によるデータ復号化装置１５００は、第２ユニットタイプ情報を含む第２データユニットには、付加視点映像データが含まれていることを知っているので、第１データユニットと第２データユニットとをいずれも処理し、三次元映像データを提供することができる。
【０１１１】
復号化部１５２０は、第１データユニットに含まれた基準視点映像データを、以前に復号化された基準視点映像データのみを参照して復号化し、第２データユニットに含まれた付加視点映像データを、以前に復号化された付加視点映像データのみを参照して復号化する。基準視点映像データ及び付加視点映像データを互いに参照せずに復号化することができるので、実施形態によっては、基準視点映像データまたは付加視点映像データのみを選択的に復号化することができる。
【０１１２】
復号化部１５２０は、基準視点映像データ及び付加視点映像データの構成情報を示すシグナリング情報を利用し、第１データユニットと第２データユニットとを復号化することができる。
【０１１３】
図１６は、本発明の一実施形態によるデータ復号化装置１６１０とレガシ装置１６２０とでデータを処理する過程を示している。図１６で、基準視点映像データを含むＮＡＬユニットの「ｎａｌ＿unit＿type」値は、「１〜５」のうち一つに指定され、付加視点映像データを含むＮＡＬユニットの「ｎａｌ＿unit＿type」値は、「reserved」された値のうち一つである「１６」に指定される。
【０１１４】
従って、ＮＡＬユニット１６１１，１６１３は、基準視点映像データを含み、ＮＡＬユニット１６１２，１６１４は、付加視点映像データを含む。
【０１１５】
データ復号化装置１６１０は、基準視点映像データが含まれたＮＡＬユニット１６１１，１６１３と、付加視点映像データが含まれたＮＡＬユニット１６１２，１６１４とをいずれも処理して三次元映像を提供する。
【０１１６】
しかし、レガシ装置１６２０は、基準視点映像データが含まれたＮＡＬユニット１６１１，１６１３のみを処理し、付加視点映像データが含まれたＮＡＬユニット１６１２，１６１４は、廃棄する。従って、レガシ装置１６２０によれば、二次元映像データだけが出力される。
【０１１７】
図１７は、本発明の一実施形態によるデータ符号化方法に係わるフローチャートを示している。段階Ｓ１７１０では、三次元映像を提供するための基準視点映像データ及び付加視点映像データを符号化する。段階Ｓ１７２０では、基準視点映像データが含まれた第１データユニットと、付加視点映像データが含まれた第２データユニットとを生成する。第１データユニットのヘッダには、第１データユニットに、基準視点映像データが含まれたことを示す第１ユニットタイプ情報が含まれ、第２データユニットのヘッダには、第２データユニットに、付加視点映像データが含まれることを示す第２ユニットタイプ情報が含まれる。
【０１１８】
第１ユニットタイプ情報としては、レガシ装置で定義されて映像データを示すユニットタイプ情報のうち一つが指定され、第２ユニットタイプ情報としては、レガシ装置で定義されていないユニットタイプ情報のうち一つが指定されもする。
【０１１９】
他の例としては、第１ユニットタイプ情報としては、主映像データを示すユニットタイプ情報が指定され、第２ユニットタイプ情報としては、副映像データを示すユニットタイプ情報が指定されもする。
【０１２０】
図１８は、本発明の一実施形態によるデータ復号化方法に係わるフローチャートを示している。段階Ｓ１８１０では、基準視点映像データが含まれた第１データユニットと、付加視点映像データが含まれた第２データユニットとを獲得する。段階Ｓ１８２０では、第１データユニットと第２データユニットとを復号化し、三次元映像を提供する。
【０１２１】
一方、上述の本発明の実施形態は、コンピューターで実行されもするプログラムに作成可能であり、コンピューターで読み取り可能な記録媒体を利用し、前記プログラムを動作させる汎用デジタルコンピュータで具現されもする。
【０１２２】
前記コンピューターで読み取り可能な記録媒体は、マグネチック記録媒体（例えば、ＲＯＭ（read-only  memory）、フロッピー（登録商標）ディスク、ハードディスクなど）、光学的判読媒体（例えば、ＣＤ−ＲＯＭ、ＤＶＤなど）及びキャリアウエーブ（例えば、インターネットを介し他伝送）のような記録媒体を含む。
【０１２３】
以上、本発明についてその望ましい実施形態を中心に説明した。本発明が属する技術分野で当業者であるならば、本発明が本発明の本質的な特性から外れない範囲で変形された形態に具現される可能性があるということを理解することができであろう。従って、開示された実施形態は、限定的な観点ではなくして、説明的な観点から考慮されなければならない。本発明の範囲は、前述の説明ではなくして、特許請求の範囲に示されており、それと同等な範囲内にいるあらゆる差異は、本発明に含まれたものであると解釈されねばならない。
【図１】
2013527676.tif 000004
【図２】
2013527676.tif 000005
【図３】
2013527676.tif 000006
【図４】
2013527676.tif 000007
【図５】
2013527676.tif 000008
【図６】
2013527676.tif 000009
【図７】
2013527676.tif 000010
【図８】
2013527676.tif 000011
【図９】
2013527676.tif 000012
【図１０】
2013527676.tif 000013
【図１１ａ】
2013527676.tif 000014
【図１１ｂ】
2013527676.tif 000015
【図１１ｃ】
2013527676.tif 000016
【図１２】
2013527676.tif 000017
【図１３】
2013527676.tif 000018
【図１４】
2013527676.tif 000019
【図１５】
2013527676.tif 000020
【図１６】
2013527676.tif 000021
【図１７】
2013527676.tif 000022
【図１８】
2013527676.tif 000023
【国際調査報告】
2013527676.tif 000024
2013527676.tif 000025
2013527676.tif 000026
2013527676.tif 000027