(57)【要約】  三次元映像を提供する三次元映像データ及び三次元映像の再生に必要な三次元詳細情報を含む基礎ストリームを生成し、基礎ストリームを介して生成される伝送ストリームが、三次元映像を提供するものであることを示す三次元簡略情報が含まれたセクションを生成した後、セクション及び基礎ストリームそれぞれに係わる伝送ストリームを生成するストリーム生成方法及びその装置、並びにかようなストリームの処理方法及びその装置である。
2013509076.tif 000002
【特許請求の範囲】
【請求項１】
三次元映像を提供する三次元映像データと、前記三次元映像の再生に必要な三次元詳細情報と、を含む基礎ストリームを生成する段階と、
前記基礎ストリームから生成される伝送ストリームが、三次元映像を提供することを示す三次元簡略情報が含まれたセクションを生成する段階と、
前記セクション及び前記基礎ストリームそれぞれに係わる伝送ストリームを生成する段階と、を含むことを特徴とするストリーム生成方法。
【請求項２】
前記三次元詳細情報は、
前記基礎ストリーム内のシーケンス階層、ＧＯＰ（group  of  pictures）階層、ピクチャ階層のうち少なくとも１つの階層内の所定のフィールドに含まれることを特徴とする請求項１に記載のストリーム生成方法。
【請求項３】
前記三次元詳細情報は、
前記三次元映像データの構成を示す３Ｄ（３−dimensional）モード情報及び前記三次元映像データの視点を示す視点情報のうち少なくとも一つを含むことを特徴とする請求項１に記載のストリーム生成方法。
【請求項４】
前記三次元詳細情報は、
前記三次元映像を提供する基準視点映像データと付加視点映像データとの出力順序を示す出力順序情報をさらに含むことを特徴とする請求項３に記載のストリーム生成方法。
【請求項５】
前記三次元映像を提供する基準視点映像データと付加視点映像データとの合成モード情報、及びサンプリング情報のうち少なくとも一つをさらに含むことを特徴とする請求項３に記載のストリーム生成方法。
【請求項６】
前記三次元詳細情報は、
映像シーケンス内で、前記三次元映像が提供される区間についての情報である三次元区間情報をさらに含むことを特徴とする請求項３に記載のストリーム生成方法。
【請求項７】
前記セクションを生成する段階は、
前記基礎ストリームを介して提供される異なる階層の複数個の映像データについての情報に、前記簡略情報を挿入する段階を含むことを特徴とする請求項１に記載のストリーム生成方法。
【請求項８】
前記複数個の階層を提供する複数個の映像は、
ＳＶＣ（scalability  video  coding）及びＭＶＣ（multi-view  video  coding）のうち少なくとも１つのコーデックよって符号化されたことを特徴とする請求項７に記載のストリーム生成方法。
【請求項９】
前記三次元簡略情報は、
前記三次元映像データの構成についての情報である３Ｄモード情報をさらに含むことを特徴とする請求項７に記載のストリーム生成方法。
【請求項１０】
前記少なくとも１つのセクションは、
プログラムマッピング・テーブルを含むことを特徴とする請求項１に記載のストリーム生成方法。
【請求項１１】
前記セクションを生成する段階は、
デスクリプションデータの使われない予備された（reserved）フィールドに、前記三次元簡略情報を挿入する段階を含むことを特徴とする請求項１に記載のストリーム生成方法。
【請求項１２】
前記三次元簡略情報は、
前記三次元映像を提供する前記伝送ストリームのパケット識別子（ＰＩＤ）であることを特徴とする請求項１に記載のストリーム生成方法。
【請求項１３】
第１伝送ストリームから三次元映像データについての簡略情報を含むセクションを復元するセクション復元部と、
前記簡略情報に基づいて、第２伝送ストリームから三次元映像データを提供する基礎ストリームを復元する基礎ストリーム復元部と、
前記三次元映像データを提供する基礎ストリーム内の所定領域から、前記三次元映像の再生に必要な三次元詳細情報を獲得する詳細情報獲得部と、
前記詳細情報に基づいて、前記基礎ストリームを復号化する復号化部と、を含むことを特徴とするストリーム処理装置。
【請求項１４】
前記三次元詳細情報は、
前記基礎ストリーム内のシーケンス階層、ＧＯＰ階層、ピクチャ階層のうち少なくとも１つの階層内の所定のフィールドに含まれることを特徴とする請求項１３に記載のストリーム処理装置。
【請求項１５】
請求項１に記載の方法を具現するためのプログラムが記録されたコンピュータで読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ストリームを生成する方法及びその装置と、ストリームを処理する方法及びその装置とに係り、特に、既存のシステムと互換性を維持しつつ、三次元映像を提供するストリームを生成する方法及びその装置と、かようなストリームを処理する方法及びその装置とに係わる。
【背景技術】
【０００２】
従来には、二次元映像データを提供する放送システムが主流をなした。しかし、三次元（３Ｄ）映像への視聴者の欲求が増大するにつれて、三次元放送サービスが提供されている。
【０００３】
三次元放送サービスを提供するためには、三次元映像の提供を知らせる情報と、三次元映像データの処理に必要な情報とがシグナリングされねばならない。同時に、既存の二次元放送サービスとの互換を維持せねばならない。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明の一実施形態によれば、ストリームを生成する方法が提供される。
【課題を解決するための手段】
【０００５】
前記問題点を解決するための本発明の一実施形態が有する１つの特徴は、三次元映像を提供する三次元映像データと、前記三次元映像の再生に必要な三次元詳細情報と、を提供する基礎ストリームを生成する段階と、前記基礎ストリームを介して生成される伝送ストリームが三次元映像を提供するものであることを示す三次元簡略情報が含まれた少なくとも１つのセクションを生成する段階と、前記少なくとも１つのセクション及び前記基礎ストリームそれぞれに係わる伝送ストリームを生成する段階と、を含むことである。
【０００６】
前記詳細情報は、前記基礎ストリーム内のシーケンス階層、ＧＯＰ階層、ピクチャ階層のうち少なくとも１つの階層内の所定のフィールドに含まれてもよい。
【０００７】
前記詳細情報は、前記三次元映像データの構成を示す３Ｄモード情報及び前記三次元映像データの視点を示す視点情報のうち少なくとも一つを含んでもよい。
【０００８】
前記詳細情報は、前記三次元映像を提供する基準視点映像データと付加視点映像データとの出力順序を示す出力順序情報をさらに含んでもよい。
【０００９】
前記詳細情報は、前記三次元映像を提供する基準視点映像データと付加視点映像データとの多重化モード情報、及びサンプリング情報のうち少なくとも一つをさらに含んでもよい。
【００１０】
前記詳細情報は、前記三次元映像を提供する付加視点映像データの大きさ情報、全体映像内で、前記付加視点映像データが使われる時間的または空間的な位置を示す位置情報のうち少なくとも一つを含んでもよい。
【００１１】
前記少なくとも１つのセクションを生成する段階は、前記基礎ストリームを介して提供される異なる階層の複数個の映像データそれぞれについての情報に前記簡略情報を挿入する段階を含んでもよい。
【００１２】
前記複数個の階層を提供する複数個の映像は、ＳＶＣ（scalability  video  coding）及びＭＶＣ（multi-view  video  coding）のうち少なくとも１つのコーデックよって符号化されてもよい。
【００１３】
前記簡略情報は、前記三次元映像データの構成についての情報である３Ｄモード情報をさらに含んでもよい。
【００１４】
前記少なくとも１つのセクションは、プログラムマッピング・テーブル（program  mapping  table）を含んでもよい。
【００１５】
本発明の他の実施形態が有する１つの特徴は、第１伝送ストリームから三次元映像データについての簡略情報を含む少なくとも１つのセクションを復元する段階と、前記簡略情報に基づいて、第２伝送ストリームから三次元映像データを提供する基礎ストリームを復元する段階と、前記三次元映像データを提供する基礎ストリーム内の所定領域から、前記三次元映像の再生に必要な三次元詳細情報を獲得する段階と、前記詳細情報に基づいて、前記基礎ストリームを復号化する段階と、を含むことである。
【００１６】
本発明のさらに他の実施形態が有する１つの特徴は、三次元映像を提供する三次元映像データと、前記三次元映像の再生に必要な三次元詳細情報と、を提供する基礎ストリームを生成する基礎ストリーム生成部；前記基礎ストリームを介して生成される伝送ストリームが三次元映像を提供するものであることを示す三次元簡略情報が含まれた少なくとも１つのセクションを生成するセクション生成部；及び前記少なくとも１つのセクション及び前記基礎ストリームそれぞれに係わる伝送ストリームを生成する伝送ストリーム生成部；を含むことである。
【００１７】
本発明のさらに他の実施形態が有する１つの特徴は、第１伝送ストリームから三次元映像データについての簡略情報を含む少なくとも１つのセクションを復元するセクション復元部；前記簡略情報に基づいて、第２伝送ストリームから三次元映像データを提供する基礎ストリームを復元する基礎ストリーム復元部；前記三次元映像データを提供する基礎ストリーム内の所定領域から、前記三次元映像の再生に必要な三次元詳細情報を獲得する詳細情報獲得部；及び前記詳細情報に基づいて、前記基礎ストリームを復号化する復号化部；を含むことである。
【図面の簡単な説明】
【００１８】
【図１】本発明の一実施形態によるストリーム生成装置１００に係わるブロック図である。
【図２】本発明の一実施形態による伝送ストリーム処理装置２００に係わるブロック図である。
【図３】本発明の一実施形態による三次元簡略情報３００に係わる一例を示す図である。
【図４】本発明の一実施形態による三次元詳細情報に係わる一例を示す図である。
【図５】本発明の一実施形態による三次元詳細情報が挿入された基礎ストリームの構造に係わる一例である。
【図６】本発明の一実施形態による左視点映像データ６１０と、右視点映像データ６２０とをサンプリングして合成映像を生成する過程を示す図である。
【図７】本発明の一実施形態による伝送ストリームの多重化過程に係わる一例である。
【図８】本発明の一実施形態による三次元映像データを含む伝送ストリームパケットに係わる一例を示す図である。
【図９Ａ】本発明の一実施形態による伝送ストリームパケットを処理する過程に係わるフローチャートである。
【図９Ｂ】本発明の一実施形態による伝送ストリームパケットを処理する過程に係わるフローチャートである。
【図１０】本発明の一実施形態によるストリーム生成方法に係わるフローチャートである。
【図１１】本発明の一実施形態によるストリーム処理方法に係わるフローチャートである。
【発明を実施するための形態】
【００１９】
以下、添付された図面を参考にしつつ、本発明の望ましい実施形態について詳細に説明する。
【００２０】
図１は、本発明の一実施形態によるストリーム生成装置１００に係わるブロック図を示している。
【００２１】
本発明の一実施形態によるストリーム生成装置１００は、基礎ストリーム生成部１１０、セクション生成部１２０及び伝送ストリーム生成部１３０を含んでもよい。
【００２２】
基礎ストリーム生成部１１０は、三次元映像データと三次元詳細情報とを含む基礎ストリームを生成する。本明細書で三次元映像データは、三次元映像を提供する映像データであり、三次元詳細情報は、三次元映像データを利用した三次元映像の再生に必要な情報（例えば、復号化に必要な情報）である。
【００２３】
三次元詳細情報には、三次元映像データの構成を示す３Ｄ（３−dimensional）モード情報が含まれてもよい。三次元映像を提供するためには、異なる視点の複数個の映像データが必要である。一例として、ステレオスコーピック映像を提供するためには、左視点映像データと、右視点映像データとが順次に左目及び右目に露出されねばならない。３Ｄモード情報は、左視点映像データと右視点映像データとがいかなる方式で構成されるかについての情報であり、左視点映像データと右視点映像データとがそれぞれ別途のピクチャに含まれるか、左視点映像データと右視点映像データとが合成されて１つのピクチャに含まれるか、右視点映像データの代わりに、右視点映像データを復元するのに必要な情報（例えば、デプス（depth）情報、変異（disparity）が提供されるか否かなどを示している。
【００２４】
これ以外にも、三次元詳細情報には、三次元映像を提供するのに必要な多様な情報が含まれる。三次元詳細情報の一実施形態に係わる詳細な説明は、図５で後述する。
【００２５】
セクション生成部１２０は、三次元簡略情報が含まれたセクションを生成する。
【００２６】
デジタル放送は、一つ以上の基礎ストリームが多重化され、多様な伝送媒体とネットワークとを介して伝えられる。一つ以上の基礎ストリームが１つのサービスを形成し、一つ以上のサービスが集まって１つの伝送ストリームを形成する。かような方式で形成された伝送ストリームは、多様な物理媒体を介して伝送される。
【００２７】
放送受信機は、伝送ストリーム中で、視聴者が所望する伝送ストリームだけを選別的に検索して受信する。放送受信機は、それぞれのサービスで提供する個別プログラムに係わる内容及びプログラムの種類に係わる情報を知らねばならない。従って、放送送信機では、サービスを提供する伝送ストリームとは別途の情報を伝送せねばならない。かような別途の情報をサービス情報またはプログラム案内情報であるというが、かような情報を提供する現在のデジタル放送システム規格として現在公開された方式として、ヨーロッパのＤＶＢ（digital  video  broadcasting）方式と、米国のＡＴＳＣ（advanced  television  systems  committee）方式とがある。
【００２８】
セクションは、伝送ストリームを介して伝送されるデータ形式の一つであり、主にサービス情報及びプログラム案内情報のようなサービス関連情報を構成する。サービス関連情報が少なくとも１つのセクションで構成される。セクションで構成されるサービス関連情報としては、プログラム統合テーブル（ＰＡＴ：program  association  table）・プログラムマップテーブル（ＰＭＴ）のようなＰＳＩ（program  specific  information）情報があり、イベント情報テーブル（ＥＩＴ：event  information  table）のようなＳＩ（system  information）情報がある。
【００２９】
ＰＳＩ情報は、ＭＰＥＧ−２システムで規定されたデータであり、ＴＳ（transport  stream）を逆多重化（demuxing）する場合に必要とする情報である。ＳＩ情報は、ヨーロッパ式地上波標準であるＤＶＢでは、ＳＩであり、米国式ＡＴＳＣでは、ＰＳＩＰ（program  and  system  information  protocol）であり、互いに異なる名称で定義しているが、ＥＰＧのようなサービスを提供する類似した機能をなしている。
【００３０】
本発明の一実施形態によるセクション生成部１２０では、三次元簡略情報を挿入して、前述のセクションを生成する。三次元簡略情報は、後述する伝送ストリーム生成部１３０で生成する伝送ストリームが、三次元映像を提供するものであることを示す情報を含んでもよい。
【００３１】
三次元簡略情報を利用して伝送ストリームが三次元映像を提供するか否かを示す方法は、多様である。一例として、セクション生成部１２０は、三次元映像を提供する伝送ストリームのＰＩＤ（packet  identifier）を、従来に使用しない値（すなわち、reserved値）に割り当てることによって、既存の二次元映像受信機では、当該ＰＩＤを含む伝送ストリームを廃棄し（他のＰＩＤ値を有する伝送ストリームだけを処理）、三次元映像受信機では、当該ＰＩＤを含む伝送ストリームを処理して三次元映像を提供することができる。
【００３２】
三次元簡略情報は、伝送ストリームが提供する視点（基準視点、付加視点）を示す視点情報をさらに含んでもよい。それ以外にも、三次元簡略情報には、放送受信機で三次元映像を提供するのに必要なあらゆる情報が含まれてもよい。
【００３３】
三次元簡略情報は、いかなるセクションに挿入されてもよい。一例として、三次元簡略情報は、ＰＭＴに挿入されてもよい。ＳＶＣ（scalability  video  coding）またはＭＶＣ（multi-view  video  coding）によってコーディングされた基礎ストリームが、異なる階層の映像データを含む場合、ＰＭＴには、階層別映像データについての情報が含まれる。セクション生成部１２０は、階層別映像データについての情報を、三次元簡略情報に代替することができる。このとき、３Ｄタイプ情報のように、階層別映像データについての情報に挿入されない情報は、「reserved」領域に新たに定義することができる。他の実施形態としては、セクション生成部１２０が、三次元簡略情報を提供する３Ｄ＿descriptor（）を新たに定義するが、階層別映像データについての情報の構造と同じ構造を使用することができる。このように、ＰＭＴを大きく変形せずに、三次元簡略情報を提供することによって、従来のシステムと互換性を維持することができる。
【００３４】
本発明の三次元簡略情報の一実施形態に係わる詳細な説明は、図３で後述する。
【００３５】
伝送ストリーム生成部１３０は、少なくとも１つのセクションと三次元映像とを提供する基礎ストリームそれぞれに係わる伝送ストリームを生成する。以下では、説明の便宜のために、セクションに係わる伝送ストリームを第１ストリームと命名し、三次元映像を提供する基礎ストリームに係わる伝送ストリームを第２ストリームと命名する。
【００３６】
伝送ストリーム生成部１３０が伝送ストリームを生成する過程は、次の通りである。
【００３７】
ｉ）基礎ストリーム生成部１１０で生成された基礎ストリームをパケット化し、少なくとも１つの基礎ストリームパケット（ＰＲＳ：packetized  elementary  stream）を生成する。基礎ストリームパケットは、基礎ストリームパケット・ヘッダ領域及び基礎ストリームパケット・ペイロード領域に区分され、少なくとも一部の基礎ストリームが、基礎ストリームパケット・ペイロード領域に保存される。
【００３８】
ｉｉ）セクション生成部１２０で生成された少なくとも１つのセクションと、ｉ）過程で生成されたＰＥＳについて、少なくとも１つの伝送ストリーム（ＴＳ：transport  stream）パケットを生成する。伝送ストリームパケットは、固定長のパケットであり、４バイトの伝送ストリームヘッダ領域で始まる。セクションまたは基礎ストリームパケットのデータは、伝送ストリームパケットのヘッダ領域後に続くペイロード領域に挿入されてもよい。
【００３９】
ｉｉｉ）ｉｉ）段階で生成された伝送ストリームパケットを多重化し、伝送ストリームを生成する。伝送ストリームは、少なくとも１つの伝送ストリームパケットの連続である。
【００４０】
一実施形態による三次元映像データストリーム生成装置１００は、生成された伝送ストリームを伝送する伝送部（図示せず）をさらに含んでもよい。また、一実施形態による三次元映像データストリーム生成装置１００は、伝送ストリームを記録媒体に保存する保存部（図示せず）をさらに含んでもよい。
【００４１】
図２は、本発明の一実施形態による伝送ストリーム処理装置２００に係わるブロック図を示している。
【００４２】
本発明の一実施形態による伝送ストリーム処理装置２００は、セクション復元部２１０、基礎ストリーム復元部２２０、詳細情報獲得部２３０及び復号化部２４０を含んでもよい。
【００４３】
セクション復元部２１０は、セクションを含む第１伝送ストリームを処理してセクションを復元する。復元された少なくとも１つのセクションには、三次元映像データについての簡略情報が含まれる。セクション復元部２１０は、図１の伝送ストリーム生成部１３０の反対過程を遂行してセクションを復元する。
【００４４】
具体的には、ｉ）第１伝送ストリームを逆多重化し、少なくとも１つの伝送ストリームパケットを分離する。伝送ストリームは、固定長の伝送ストリームパケットに分離されてもよい。
【００４５】
ｉｉ）ｉ）段階で獲得された少なくとも１つの伝送ストリームパケットを逆パケット化し、少なくとも１つのセクションを復元する。
【００４６】
三次元簡略情報には、三次元映像を提供する伝送ストリームが存在するか否かということと、三次元映像を提供する伝送ストリームに係わる識別情報とが含まれる。具体的には、三次元簡略情報には、三次元映像を提供する伝送ストリームのＰＩＤまたはインデックス値が含まれてもよい。このとき、基準視点の映像データを含む伝送ストリームのＰＩＤと、付加視点の映像データを含む伝送ストリームのＰＩＤとが別途に指定されてもよい。
【００４７】
基礎ストリーム復元部２２０は、三次元簡略情報に基づいて、第２伝送ストリームから三次元映像データを提供する基礎ストリームを復元する。基礎ストリーム復元部２２０は、図１の伝送ストリーム生成部１３０の反対過程を遂行し、三次元映像データを含む基礎ストリームを復元する。
【００４８】
具体的には、ｉ）第２伝送ストリームを逆多重化し、少なくとも１つの伝送ストリームパケットを分離する。伝送ストリームは、固定長の伝送ストリームパケットに分離されてもよい。
【００４９】
ｉｉ）ｉ）段階で獲得された少なくとも１つの伝送ストリームパケットを逆パケット化し、少なくとも１つの基礎ストリームパケットを復元する。
【００５０】
伝送ストリームパケットのヘッダ領域には、伝送ストリームパケットが伝送するデータの種類を示す識別情報であるパケット識別子（ＰＩＤ）が収録されている。セクション復元部２１０で復元したセクションの一種であるＰＭＴには、プログラム別ＰＩＤが含まれているので、基礎ストリーム復元部２２０は、ＰＭＴを介して、第２伝送ストリームを介して伝送される伝送ストリームパケットのＰＩＤを獲得することによって、三次元映像データが含まれた伝送ストリームパケットにアクセス可能である。
【００５１】
ｉｉｉ）ｉｉ）段階で復元された少なくとも１つの基礎ストリームパケットを逆パケット化し、三次元映像データを含む基礎ストリームを復元する。基礎ストリームは、ビデオ、オーディオなどのプログラムであってもよい。
【００５２】
詳細情報獲得部２３０は、三次元映像データを提供する基礎ストリーム内の所定領域から、三次元映像の再生に必要な三次元詳細情報を獲得する。詳細情報獲得部２３０は、基礎ストリーム内のシーケンス階層、ＧＯＰ階層、ピクチャ階層のうち少なくとも１つの階層内の所定のフィールドから、前記詳細情報を獲得することができる。
【００５３】
復号化部２４０は、基礎ストリームのデータを復号化し、三次元映像データを獲得する。三次元映像フォーマットによって、左視点映像データと右視点映像データとが別途のピクチャにそれぞれ含まれるか、あるいは１つのピクチャにいずれも含まれてもよい。
【００５４】
ストリーム処理処置２００は、再生部（図示せず）をさらに含んでもよい。再生部（図示せず）は、復号化された三次元映像データを利用して三次元映像を再生する。実施形態によっては、映像シーケンスの一部は、三次元映像から構成され、残りの部分は、二次元映像によって構成されてもよい。
【００５５】
ストリーム生成装置１００及びストリーム処理処置２００は、新たなデスクリプションを定義し、新たに定義されたデスクリプションを介して、三次元簡略情報を提供したり、あるいは既存に存在するデスクリプションに三次元簡略情報を挿入することも可能である。一例として、「hierarchy  descriptor」は、の関連した複数個の映像データについての情報であり、「hierarchy  descriptor」を介して三次元簡略情報を提供することができる。このように、従来のデータ構造を変形せずに、三次元簡略情報を提供することによって、三次元映像を提供すると同時に、既存の二次元映像システムとの互換性も維持することができる。
【００５６】
ストリーム生成装置１００及びストリーム処理処置２００は、三次元詳細情報を基礎ストリームレベル内の所定の領域に挿入することによって、伝送ストリームパケットに新たなデスクリプションを定義する必要がなく、既存システムとの互換性を維持することができる。
【００５７】
図３は、本発明の一実施形態による三次元簡略情報３００に係わる一例を示している。三次元簡略情報３００は、新たに定義されたデスクリプションであるが、一部フィールドを除けば、従来の「hierarchy  descriptor」の構造と同一である。従って、従来のシステムと互換性を維持することができる。
【００５８】
「descriptor＿tag」３１０フィールドは、デスクリプションのタイプを示す。
【００５９】
「descriptor＿length」３２０フィールドは、デスクリプションの長さを示す。
【００６０】
「３ｄ＿mode」３３０フィールドは、三次元映像データの構造を示す。
【００６１】
次の表１は、「３ｄ＿mode」３３０フィールドの値による三次元映像データの構造に係わる一例である。
【００６２】
【表１】
2013509076.tif 000003
表１で、「３ｄ＿mode」３３０が「００」であるならば、三次元映像データは、「full  picture」タイプを有する。「full  picture」タイプで、左視点映像データと右視点映像データは、別途のピクチャにそれぞれ含まれる。
【００６３】
「３ｄ＿mode」３３０が「０１」であるならば、三次元映像データは、「half  picture」タイプを有する。「half  picture」タイプで、左視点映像データと右視点映像データは、１つのピクチャ内に合成されて存在する。
【００６４】
「３ｄ＿mode」３３０が「１０」であるならば、三次元映像データは、「local  picture」タイプを有する。「local  picture」タイプでは、映像シーケンス内の一部区間（時間または空間）でのみ三次元映像が再生され、残りの区間では、二次元映像が再生され、一部区間で再生される三次元映像データは、付加情報の形態で伝送されたり、あるいはピクチャに含まれてもよい。
【００６５】
「３ｄ＿half＿picture＿type」３４０フィールドは、左視点映像データと右視点映像データとが１つのピクチャに合成された場合、それらの合成方法を示す。
【００６６】
次の表２は、「３ｄ＿half＿picture＿type」３４０フィールドの値による左視点映像データと右視点映像データとの合成方法に係わる一例を示している。
【００６７】
【表２】
2013509076.tif 000004
表２で、「side by side」タイプは、合成ピクチャの左側領域及び右側領域に相応する左視点映像データと右視点映像データとが並んで配列された形態を意味する。
【００６８】
「top  and  bottom」は、合成ピクチャの上端領域及び下端領域に相応する左視点映像データと右視点映像データとが並んで配列された形態を意味する。
【００６９】
「vertical  line  interleaved」は、合成ピクチャの奇数番目の水平ライン及び偶数番号目の水平ラインに相応する左視点映像データ及び右視点映像データが並んで配列された形態を意味する。
【００７０】
「horizontal  line  interleaved」は、合成ピクチャの奇数番目の垂直ライン及び偶数番目の垂直ラインに相応する左視点映像データ及び右視点映像データが並んで配列された形態を意味する。
【００７１】
「checker  board」は、合成ピクチャの画素単位として、水平方向の画素及び垂直方向の画素に相応する左視点映像データ及び右視点映像データが交互に配列された形態である。
【００７２】
「３ｄ＿hierarchy＿type」３５０は、関連した複数個の映像データに使われた符号化方式を示す。一例として、「３ｄ＿hierarchy＿type」３５０は、関連した複数個の映像データが、空間的な階層、時間的階層、品質的な階層のうち、いずれの階層関係を有しているかを示す。
【００７３】
「３ｄ＿hierarchy＿layer＿index」３６０フィールドは、関連した複数個の映像データ等のインデックス値を示す。関連した複数個の映像データが三次元映像データである場合、「３ｄ＿hierarchy＿layer＿index」３６０フィールドは、多視点映像データが含まれた伝送ストリームに係わる識別情報を含むのである。
【００７４】
「３ｄ＿hierarchy＿embedded＿layer＿index」３７０フィールドは、関連した映像データのうち、共に復号化される映像データのインデックスを示す。一例として、基本階層に該当する映像データは、他の映像データと共に復号化される必要がないので、当該フィールドが空いていることがある。一方、向上階層に該当する映像データは、下階層の映像データと共に復号化されねばならないので、共に復号化される映像データのインデックスが「３ｄ＿hierarchy＿channel」３８０フィールドに含まれてもよい。
【００７５】
関連した複数個の映像データが三次元映像データである場合、基準視点映像データに係わる「３ｄ＿hierarchy＿embedded＿layer＿index」３７０フィールドは、存在しないか、あるいは空いており、付加視点映像データに係わる「３ｄ＿hierarchy＿embedded＿layer＿index」３７０フィールドは、基準視点映像データが含まれた伝送ストリームに係わるインデックス値を含んでもよい。
【００７６】
「３ｄ＿hierarchy＿channel」３８０フィールドは、映像データに含まれた放送サービスと関連したチャンネルを示している。
【００７７】
図３では、三次元簡略情報が含まれた新たなデスクリプションを定義した。しかし、前述のように、「hierarchy  descriptor」のような既存のデスクリプションに簡略情報を挿入することもできる。その場合、「３ｄ＿mode」３３０フィールド及び「３ｄ＿half＿picture＿type」３４０フィールドは、「hierarchy  descriptor」に定義されていないので、「３ｄ＿mode」３３０フィールド及び「３ｄ＿half＿picture＿type」３４０フィールドを「hierarchy  descriptor」内の「reserved」領域を介して新たに定義することができる。
【００７８】
図４は、本発明の一実施形態による三次元詳細情報に係わる一例を示している。
【００７９】
「extension＿start＿code＿Identifier」４１０フィールドは、情報のタイプを示す。三次元詳細情報は、新たに定義されるデスクリプションであるから、「extension＿start＿code＿Identifier」４１０フィールドは、「reserved」に該当する値を有することができる。
【００８０】
「３Ｄ＿mode」４２０フィールドは、三次元映像データの構造を示す。「３Ｄ＿mode」４２０フィールドは、図３の「３Ｄ＿mode」３３０フィールドと同一であるので、以下説明を省略する。
【００８１】
「layer＿ｉｄ」４３０フィールドは、関連した複数個の映像データ間の階層を示す。基本階層に該当する基準視点映像データは、「０」の値を有し、向上階層に該当する付加視点映像データは、「１」の値を有することができる。「layer＿ｉｄ」４３０フィールドは、「３Ｄ＿mode」４２０フィールドによる三次元映像データが「full  picture」である場合にのみ定義されてもよい。「３Ｄ＿mode」４２０フィールドによる三次元映像データが、「half  picture」である場合には、関連した映像データが１つのピクチャにいずれも含まれるためである。
【００８２】
また、三次元映像データが「full  picture」である多視点映像データである場合、基本階層映像データの「layer＿ｉｄ」４３０フィールドが、必ずしも「０」の値を有するものではなく、最も左側の視点に該当する映像データの「layer＿ｉｄ」４３０フィールドが、「０」の値を有し、右側視点に行くほど、フィールド値が「０」ずつ増大する。
【００８３】
「３Ｄ＿mode」４２０フィールドによる映像データのタイプが「full  picture」であるならば、フィールド４４１〜４４４が定義され、映像データのタイプが「half  picture」であるならば、フィールド４５１〜４５３が定義され、映像データのタイプが「local  picture」であるならば、フィールド４６１〜４６６フィールドが定義される。
【００８４】
「full＿picture＿type」４４１フィールドは、付加視点映像データの形態を示す。
【００８５】
次の表３は、「full＿picture＿type」４４１フィールドによる付加視点映像データの形態に係わる一例を示している。
【００８６】
【表３】
2013509076.tif 000005
「full＿picture＿type」４４１フィールドが、「００」または「１１」の値を有する場合、基準視点映像データと付加視点映像データとが独立して存在する。
【００８７】
「full＿picture＿type」４４１フィールドが、「０１」、「１０」の値を有する場合、付加視点映像データを獲得するための付加情報（例えば、変異情報、深さ情報）のみが提供される。従って、ストリーム処理装置２００は、基準視点映像データ及び変異（disparity）情報、または基準視点映像データ及び深さ（depth）情報を利用し、付加視点映像データを獲得せねばならない。
【００８８】
「picture＿ｍｕｘ＿enable」４４２フィールドは、関連した複数個の映像データ間の処理順序を示す情報が存在するか否かを示す。三次元映像を再生するためには、基準視点映像（例えば、左視点映像）と付加視点映像（例えば、右視点映像）とが同期を合わせて順次に再生されねばならない。このとき、基準視点映像と付加視点映像との処理（レンダリングまたはディスプレイ）順序が前後が変われば、ユーザは立体感を正しく感じられなくなるので、処理順序を規定する必要がある。
【００８９】
「picture＿ｍｕｘ＿order」４４３フィールドは、基本階層映像データ（例えば、左視点映像データ）と向上階層映像データ（例えば、右視点映像データ）との処理順序を示す。「picture＿ｍｕｘ＿order」４４３フィールドが「０」であるならば、左視点映像データがまず処理された後、右視点映像データが処理される。一方、「picture＿ｍｕｘ＿order」４４３フィールドが「１」であるならば、右視点映像データがまず処理された後、左視点映像データが処理される。
【００９０】
picture＿ｍｕｘ＿factor４４４フィールドは、基本階層映像データより先に処理される向上階層映像データの個数を示す。もし左視点映像データ及び右視点映像データのみで三次元映像を提供するならば、「picture＿ｍｕｘ＿order」４４３フィールドだけで十分である。しかし、セット以上の異なる視点に係わる映像データを利用し、三次元映像を提供するならば、基準視点映像データより先に処理される付加視点映像データの個数が一つ以上であり、その場合、picture＿ｍｕｘ＿factor４４４フィールドを利用する。
【００９１】
「half＿picture＿type」４５１フィールドは、左視点映像データと右視点映像データとが１つのピクチャに含まれた場合、それらの合成方法を示す。「half＿picture＿type」４５１フィールドは、「３ｄ＿half＿picture＿type」３４０フィールドと同一であるので、以下説明を省略する。
【００９２】
「ＬＲ＿flag」４５２フィールドは、１つのピクチャ内で、左視点映像データと右視点映像データとの配置関係を示す。
【００９３】
次の表４は、「ＬＲ＿flag」４５２フィールドによる左視点映像データと右視点映像データとの配置関係に係わる一例を示している。
【００９４】
【表４】
2013509076.tif 000006
前記表４を参考にすれば、「ＬＲ＿flag」４５２フィールド値が０であり、合成タイプが「side  by  side」である場合、合成映像の左側には、左視点映像データが配置され、合成映像の右側には、右視点映像データが配置される。
【００９５】
同様に、「ＬＲ＿flag」４５２フィールド値が０であり、合成タイプが「top  and  bottom」である場合、合成映像の上端には、左視点映像データが配置され、合成映像の下端には、右視点映像データが配置される。
【００９６】
「ＬＲ＿flag」４５２フィールド値が１である場合、右視点映像データ及び左視点映像データの配置が前述の「ＬＲ＿flag」４５２フィールド値が０である場合と正反対となる。
【００９７】
「sampling＿order」４５３フィールドは、左視点映像データと右視点映像データとを合成し、１つのピクチャを生成するときに使われたサンプリング方式を示す。図４では、合成映像を生成するにあたり、連続するラインのうち一本を選択的に抽出するサンプリング方式を使用すると仮定した。しかし、他の実施形態では、連続するラインの平均値を１つのライン値に代替するサンプリング方式が使われもする。
【００９８】
次の表５は、「sampling＿order」４５３フィールド値によって、左視点映像データ６１０と右視点映像データ６２０との合成方法に係わる一例を示している。
【００９９】
【表５】
2013509076.tif 000007
「sampling＿order」４５３フィールドが「０」であるならば、左視点映像データの奇数番目の垂直（あるいは水平）ラインをサンプリングし、右視点映像データの偶数番目の垂直（あるいは水平）ラインをサンプリングする。同様に、「sampling＿order」４５３フィールドが「３」であるならば、左視点映像データの偶数番目の垂直（あるいは水平）ラインをサンプリングし、右視点映像データの偶数番目の垂直（あるいは水平）ラインをサンプリングする。
【０１００】
次の表６は、「sampling＿order」４５３フィールド値が「０」であるとき、左視点映像データと右視点映像データとのサンプリング形態に係わる一例を示している。
【０１０１】
【表６】
2013509076.tif 000008
表６で、「sampling＿order」４５３フィールド値が「０」であり、左視点映像データと右視点映像データとの合成形態が「side  by  side」であるならば、左視点映像データの奇数番目の垂直ラインをサンプリングし、右視点映像データの偶数番目の垂直ラインをサンプリングし、新たな映像データを生成する。
【０１０２】
以下、図６を参考にしつつ、左視点映像データ６１０と右視点映像データ６２０とを「side  by  side」形態で合成する過程について説明する。
【０１０３】
左視点映像データ６１０内では、奇数番目の垂直ラインだけをサンプリングし、右視点映像データ６２０内では、偶数番目の垂直ラインだけをサンプリングする。左視点映像データ６１０と右視点映像データ６２０との前方２本の垂直ラインだけをもって説明すれば、左視点映像データ６１０では、最初の垂直ライン６１１をサンプリングし、２番目の垂直ライン６１２はサンプリングしない。同様に、右視点映像データ６２０では、最初の垂直ライン６２１はサンプリングせず、２番目の垂直ライン６２２をサンプリングする。
【０１０４】
この後、左視点映像データ６１０からサンプリングされた垂直ラインは、合成されたピクチャ６３０の左側に配置され、右視点映像データ６２０からサンプリングされた垂直ラインは、合成されたピクチャ６３０の右側に配置される。
【０１０５】
「local＿layer＿prediction＿horizontal＿size」４６１フィールドは、ピクチャ内で三次元映像として再生される部分の横サイズを示す。
【０１０６】
「local＿layer＿prediction＿vertical＿size」４６２フィールドは、ピクチャ内で三次元映像として再生される部分の縦サイズを示す。
【０１０７】
「local＿layer＿prediction＿horizontal＿offset」４６３フィールドは、三次元映像として再生される部分の横開始位置を示す。
【０１０８】
「local＿layer＿prediction＿vertical＿offset」４６４フィールドは、三次元映像として再生される部分の縦開始位置を示す。
【０１０９】
「local＿layer＿display  horizontal＿size」４６５フィールドは、ピクチャの一部が三次元映像として再生される横サイズのディスプレイを示す。
【０１１０】
「local＿layer＿display＿vertical＿size」（４６６）フィールドは、ピクチャの一部が三次元映像として再生される縦サイズのディスプレイを示す。
【０１１１】
「local＿layer＿display  horizontal＿size」４６５フィールドの値と、「local＿layer＿display＿vertical＿size」（４６６）フィールドの値は、同一である
図５は、本発明の一実施形態による三次元詳細情報が挿入された基礎ストリームの構造に係わる一例である。図５は、ＭＰＥＧ−２ビデオの階層構造を示したものであり、シーケンス階層５１０、ＧＯＰ階層５２０、ピクチャ階層５３０、スライス階層５４０、マクロブロック階層５５０及びブロック階層５６０からなる階層構造である。
【０１１２】
シーケンス階層５１０は、シーケンスヘッダ（sequence  header）５１１、シーケンスエクステンション（sequence  extension）５１２及びＧＯＰデータ（ＧＯＰ  header  and  picture）５１３を含む。
【０１１３】
ＧＯＰ階層５２０は、ＧＯＰヘッダ（header）５２１、ユーザデータ（user  data）５２２及びピクチャデータ（picture）５２３を含む。
【０１１４】
ピクチャ階層５３０は、ピクチャヘッダ（picture  header）５３１、ピクチャコーディング拡張（picture  coding  extension）５３２、ユーザデータ（extension  and  user  data）５３３及びスライスデータ（slice）５３４を含む。
【０１１５】
三次元詳細情報は、各階層内の所定のフィールドに含まれてもよい。一例として、シーケンスヘッダ５１１、ユーザデータ５２２，５３３及びピクチャコーディング拡張５３２のうち少なくとも一つに含まれてもよい。特に、シーケンスヘッダ５１１またはピクチャコーディング拡張５３２を利用する場合、拡張フィールドに含まれたデータのタイプを示すフィールドである「extension  start  code  identifier」で既存に定義された値以外の値（すなわち、reserved値）を定義し、これを、三次元詳細情報を示すこと（例えば、０ｘｆ）によって設定することができる。
【０１１６】
図７は、本発明の一実施形態による伝送ストリームの多重化過程に係わる一例である。
【０１１７】
第１ビデオエンコーダ７１２は、基本階層（例えば、基準視点）に該当する映像データを符号化し、第１多重化部７２２は、基本階層に該当する映像データ及びＰＭＴのようなセクションデータを多重化する。
【０１１８】
第２ビデオエンコーダ７１４は、向上階層（例えば、付加視点）に該当する映像データを符号化し、第２多重化部７２４は、向上階層に該当する映像データまたは向上階層に該当する映像データを生成するための付加情報を多重化する。向上階層に該当する映像データを生成するための付加情報は、基本映像に係わる変異情報、深さ情報、向上階層に該当する映像データそれ自体、三次元コンテンツ関連情報、三次元コンテンツと関連した字幕などを含む。
【０１１９】
このとき、付加視点映像データまたは付加情報が含まれた伝送ストリームパケットは、自体が三次元映像データを提供することを示すために、特定のＰＩＤ（例えば、０００Ｆ）を有する。
【０１２０】
付加視点映像データを生成するための付加情報を、既存の映像データ（例えば、二次元映像データ）と共に多重化するためには、既存システムとの互換性を考慮し、標準で提案しているバッファモデルに背反しないようにせねばならない。このために、パケットタイミングやＰＣＲを調整せねばならない場合が生じることもある。
【０１２１】
第３多重化部７２６は、第１多重化部７２２及び第２多重化部７２４から伝送される伝送ストリームパケット、ＰＡＴ及びＰＳＩＰを多重化する。
【０１２２】
このように、三次元映像データを含む伝送ストリームパケットのＰＩＤを、既存パケットが使用しない値でもって付与することによって、互換性を維持すると同時に、三次元映像を提供することができる。
【０１２３】
図８は、本発明の一実施形態による三次元映像データを含む伝送ストリームパケット８００に係わる一例を示している。
【０１２４】
伝送ストリームパケット８００のＰＩＤ  ８０１は、ペイロード８０２に搭載されたデータのタイプを示す。従って、ストリーム処理処置２００は、ＰＩＤ  ８０１を確認することによって、ペイロード８０２が三次元映像データを含むか否かを判断することができる。
【０１２５】
図９Ａ及び図９Ｂは、本発明の一実施形態による伝送ストリームパケットを処理する過程に係わるフローチャートを示している。
【０１２６】
段階Ｓ９１０では、パケットのＰＩＤが「０ｘ１ＦＦＦ」であるか否かを判断する。パケットのＰＩＤが「０ｘ１ＦＦＦ」であるならば、段階Ｓ９１２を遂行し、当該パケットを廃棄する。
【０１２７】
段階Ｓ９２０では、パケットのＰＩＤが「０ｘ０００Ｆ」であるか否かを判断する。パケットのＰＩＤが「０ｘ０００Ｆ」であるならば、当該パケットは、本発明による三次元映像データを含むと仮定する。従って、パケットのＰＩＤが「０ｘ０００Ｆ」であるならば、段階Ｓ９２２に進んで三次元映像を提供し、そうでなければ、段階Ｓ９３０に進み、従来のように二次元映像を提供する。
【０１２８】
段階Ｓ９３０では、「Adaptation＿field＿control」フィールドが、「０」または「２」であるかを判断する。「Adaptation＿field＿control」フィールドが「０」または「２」であるならば、当該パケットが「Adaptation＿field」を有するので、段階Ｓ９３２を遂行し、「Adaptation＿field」を獲得する。
【０１２９】
段階Ｓ９４０では、「Adaptation＿field＿control」フィールドが、「１」または「２」であるかを判断する。「Adaptation＿field＿control」フィールドが「１」または「２」であるならば、当該パケットが「payload」を有するので、以下の段階でペイロードを抽出する過程を遂行する。
【０１３０】
段階Ｓ９５０では、パケットのＰＩＤがＰＥＳまたはＰＳＩを示すかを判断する。パケットのＰＩＤがＰＥＳを示せば、段階Ｓ９６０を遂行し、パケットのＰＩＤがＰＳＩを示せば、段階Ｓ９７０を遂行する。
【０１３１】
段階Ｓ９６０では、「payload＿unit＿start＿indicator」フィールドが「１」であるか否かを判断する。これは、当該フィールドが「１」に設定されれば、パケット内に新たなＰＥＳパケットが存在するということを示す。「payload＿unit＿start＿indicator」フィールドが「１」であるならば、段階Ｓ９６２を遂行する。段階Ｓ９６２では、ペイロードに含まれたデータを利用し、新たなＰＥＳパケットを復元する。一方、「payload＿unit＿start＿indicator」フィールドが「０」であるならば、段階Ｓ９６４を遂行する。段階Ｓ９６４では、ペイロードに含まれたデータを利用し、以前のＰＥＳパケットを続けて復元する。
【０１３２】
段階Ｓ９７０では、「payload＿unit＿start＿indicator」フィールドが「１」であるか否かを判断する。「payload＿unit＿start＿indicator」フィールドが「１」であるならば、段階Ｓ９７２を遂行する。段階Ｓ９７２では、「pointer＿field」フィールドを介して、ペイロードで新たなＰＳＩが始まる位置を確認する。段階Ｓ９７４では、新たなＰＳＩが始まる位置までのデータを利用し、以前のＰＳＩを復元し、新たなＰＳＩが始まった後からのデータを利用し、新たなＰＳＩを復元する。「payload＿unit＿start＿indicator」フィールドが「０」であるならば、段階Ｓ９７８を遂行する。段階Ｓ９７８では、ペイロードに含まれたデータを利用し、以前のＰＳＩを続けて復元する。
【０１３３】
図１０は、本発明の一実施形態によるストリーム生成方法に係わるフローチャートを示している。
【０１３４】
段階Ｓ１０１０では、三次元映像を提供する三次元映像データ及び三次元映像の再生に必要な三次元詳細情報が含まれた基礎ストリームを生成する。
【０１３５】
段階Ｓ１０２０では、基礎ストリームを介して生成される伝送ストリームが、三次元映像を提供するものであることを示す三次元簡略情報が含まれた少なくとも１つのセクションを生成する。
【０１３６】
段階Ｓ１０３０では、少なくとも１つのセクション及び前記基礎ストリームそれぞれに係わる伝送ストリームを生成する。
【０１３７】
図１１は、本発明の一実施形態によるストリーム処理方法に係わるフローチャートを示している。
【０１３８】
段階Ｓ１１１０では、第１伝送ストリームから、三次元映像データについての簡略情報を含む少なくとも１つのセクションを復元する。簡略情報には、三次元映像データを含む第２伝送ストリームが存在するか否かということと、第２伝送ストリームに係わる識別情報とが含まれる。
【０１３９】
段階Ｓ１１２０では、簡略情報に基づいて、第２伝送ストリームから、三次元映像データを含む少なくとも１つの基礎ストリームを復元する。
【０１４０】
段階Ｓ１１３０では、三次元映像データを提供する少なくとも１つの基礎ストリーム内の所定領域から、三次元映像の再生に必要な三次元詳細情報を獲得する。三次元詳細情報は、三次元映像データの構造を示すモード情報、複数個の映像データが併合された場合における併合形態情報、併合映像を生成するのに使われたサンプリングモード情報のうち少なくとも一つが含まれてもよい。
【０１４１】
段階Ｓ１１４０では、詳細情報に基づいて、基礎ストリームを復号化する。
【０１４２】
一方、前述の本発明の実施形態は、コンピュータで実行することができるプログラムで作成可能であり、コンピュータで読み取り可能な記録媒体を利用し、前記プログラムを動作させる汎用デジタルコンピュータで具現可能である。
【０１４３】
前記コンピュータで読み取り可能な記録媒体は、マグネチック記録媒体（例えば、ＲＯＭ（read-only  memory）、フロッピー（登録商標）ディスク、ハードディスクなど）、光学的判読媒体（例えば、ＣＤ−ＲＯＭ、ＤＶＤ（digital  versatile  disc）など）及びキャリアウェーブ（例えば、インターネットを介した伝送）のような記録媒体を含む。
【０１４４】
以上、本発明についてその望ましい実施形態を中心に説明した。本発明が属する技術分野で当業者であるならば、本発明が本発明の本質的な特性から外れない範囲で変形された形態で具現されるということを理解することができるであろう。従って、開示された実施形態は、限定的な観点ではなくして、説明的な観点から考慮されねばならない。本発明の範囲は、前述の説明ではなくして、特許請求の範囲に示されており、それと同等な範囲内にあるあらゆる差異点は、本発明に含まれたものであると解釈されねばならない。
【図１】
2013509076.tif 000009
【図２】
2013509076.tif 000010
【図３】
2013509076.tif 000011
【図４】
2013509076.tif 000012
【図５】
2013509076.tif 000013
【図６】
2013509076.tif 000014
【図７】
2013509076.tif 000015
【図８】
2013509076.tif 000016
【図９Ａ】
2013509076.tif 000017
【図９Ｂ】
2013509076.tif 000018
【図１０】
2013509076.tif 000019
【図１１】
2013509076.tif 000020
【国際調査報告】
2013509076.tif 000021
2013509076.tif 000022