(57)【特許請求の範囲】
【請求項１】
映像サービスを受信する方法において、
２次元映像サービス及び３次元映像サービスのうち少なくとも一つを含む伝送ストリームを受信するステップと、
前記伝送ストリームから抽出されたPSIP(Program  and  System  Information  Protocol)情報の第１記述子から、前記映像サービスが前記２次元映像サービスまたは前記３次元映像サービスであるか否かを示す２Ｄ/３Ｄ識別情報を抽出するステップと、
前記PSIP情報の第２記述子から、前記３次元映像サービスの基準視点映像データ及び付加視点映像データが提供される形態を示す３Ｄフォーマット情報を抽出するステップと、
前記３Ｄフォーマット情報に基づき、前記伝送ストリームからそれぞれ復元された前記基準視点映像データ及び前記付加視点映像データを用いて前記３次元映像サービスを再生するステップと、を含み、
前記PSIP情報は、EIT(Event  Information  Table)を含み、
前記２Ｄ/３Ｄ識別情報は、前記EITから前記映像サービスのイベント単位毎に抽出されることを特徴とする映像サービス受信方法。
【請求項２】
前記３Ｄフォーマット情報は、前記３次元映像サービスがサイドバイサイドフォーマット、トップアンドボトムフォーマット及びフルピクチャフォーマットのうちいずれかの一つで提供されるかを示すことを特徴とする請求項１に記載の映像サービス受信方法。
【請求項３】
前記３次元映像サービスを再生するステップは、
前記伝送ストリームから復元された第１基本ストリーム及び第２基本ストリームを復元するステップと、
前記第１基本ストリームから抽出された前記基準視点映像データを第１復号化器を用いて復号化するステップと、
前記第２基本ストリームから抽出された前記付加視点映像データを第２復号化器を用いて復号化するステップと、を含むことを特徴とする請求項１に記載の映像サービス受信方法。
【請求項４】
映像サービスを提供するための伝送ストリームを送信する方法において、
３次元映像サービスの基準視点映像データを含む第１基礎ストリームを生成するステップと、
前記３次元映像サービスの付加視点映像データを含む第２基礎ストリームを生成するステップと、
PSIP情報の第１記述子内に、前記映像サービスが２次元映像サービスまたは３次元映像サービスであるか否かを示す２Ｄ/３Ｄ識別情報を挿入するステップと、
前記PSIP情報の第２記述子内に、前記３次元映像サービスの基準視点映像データ及び付加視点映像データが提供される形態を示す３Ｄフォーマット情報を挿入するステップと、
前記第１基礎ストリーム、前記第２基礎ストリーム及び前記PSIP情報を多重化することによって生成された前記伝送ストリームを送信するステップと、を含み、
前記PSIP情報は、EIT(Event  Information  Table)を含み、
前記２Ｄ/３Ｄ識別情報は、前記EITから前記映像サービスのイベント単位毎に抽出されることを特徴とする伝送ストリーム送信方法。
【請求項５】
前記３Ｄフォーマット情報は、前記３次元映像サービスがサイドバイサイドフォーマット、トップアンドボトムフォーマット及びフールピクチャフォーマットのうちいずれかの一つで提供されるかを示すことを特徴とする請求項４に記載の伝送ストリーム送信方法。
【請求項６】
前記第１基礎ストリームを生成するステップは、第１符号化器を用いて前記基準視点映像データを符号化するステップを含み、
前記第２基礎ストリームを生成するステップは、第２符号化器を用いて前記付加視点映像データを符号化するステップを含むことを特徴とする請求項４に記載の伝送ストリーム送信方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタル放送システム環境で３次元映像データを含むデータストリームの送受信に関する。
【背景技術】
【０００２】
既存の２次元デジタル放送システムと互換性を維持しつつ、３次元映像データを再生するためには、３次元映像の特性を表す付加情報が必要である。映像サービスを提供する送信端では、映像の符号化されたデータを伝送し、付加的なチャネルで３次元映像についての付加情報を送信する。映像サービスを提供されようとする受信端では、二つ以上のチャネルを通じて、映像データ及び３次元映像についての付加情報を受信される。
【０００３】
付加的なチャネルを占有しないために、映像データと同じチャネルを通じて、既存のデータに更なるメタデータの形態で３次元映像の付加情報が提供されてもよい。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明の目的は、放送送受信システムでプログラム案内情報を利用して、３次元映像の円滑な再生のための付加情報を送受信する方法及び装置を提供することである。
【課題を解決するための手段】
【０００５】
本発明の一実施形態による３次元映像データストリーム生成方法は、３次元映像データの符号化されたビット列を含む基礎ストリームを生成するステップと、前記基礎ストリームをパケット化して、少なくとも一つの基礎ストリームパケットを生成するステップと、前記３次元映像データのサービス関連情報を含む少なくとも一つのセクションを生成するステップと、前記少なくとも一つのセクションのうち、プログラム案内情報セクションに、前記３次元映像の再生に必要な３次元映像再生情報を挿入するステップと、前記少なくとも一つのセクション及び前記少なくとも一つの基礎ストリームパケットのうち、それぞれについての少なくとも一つの伝送ストリームパケットを生成するステップと、前記生成された伝送ストリームパケットを多重化して、伝送ストリームを生成するステップと、を含む。
【発明の効果】
【０００６】
本発明の一実施形態による３次元映像再生情報が、３次元放送システム、３次元デジタルＴＶシステム、３次元パッケージメディアシステム、コンピュータ上での３次元映像デコーダなどに適用されることで、既存のデジタル放送システムとの互換性を維持しつつ、２次元コンテンツ及び３次元コンテンツを提供する３次元デジタル放送が可能になる。
【０００７】
本発明の実施形態は、伝送ストリーム基盤の伝送システム及び受信システムで使われ、３次元映像再生情報が基礎ストリームパケットレベルで挿入される実施形態は、プログラムストリーム基盤のシステムでも適用される。
【図面の簡単な説明】
【０００８】
【図１】一実施形態による３次元映像データストリーム生成装置のブロック図である。
【図２】一実施形態による３次元映像データストリーム受信装置のブロック図である。
【図３】一実施形態による３次元映像フォーマット情報を示す図である。
【図４】一実施形態による左右配置情報を示す図である。
【図５】一実施形態による時間的区間３次元再生情報の一例を示す図である。
【図６】一実施形態による時間的区間３次元再生情報の他の例を示す図である。
【図７】一実施形態による空間的区間３次元再生情報を示す図である。
【図８】一実施形態による３次元カメラ情報を示す図である。
【図９】一実施形態による低疲労度情報を示す図である。
【図１０】一実施形態による低疲労度範囲を示す図である。
【図１１】一実施形態による左右不一致情報の一例を示す図である。
【図１２】一実施形態による左右不一致情報の他の例を示す図である。
【図１３】一実施形態による左右不一致情報のさらに他の例を示す図である。
【図１４】一実施形態による３次元映像再生情報を示す図である。
【図１５】一実施形態による３次元映像再生情報を利用して、３次元映像サービスを提供するための３次元映像サービスシステムのブロック図である。
【図１６】一実施形態による３次元映像再生情報を生成する３次元映像伝送装置のブロック図である。
【図１７】一実施形態による３次元映像再生情報を利用する３次元映像再生装置のブロック図である。
【図１８】一実施形態によって、３次元映像再生記述子が挿入される記述子領域タグを示す図である。
【図１９】一実施形態によって、記述子領域に挿入された３次元情報開始記述子を示す図である。
【図２０】一実施形態によって、記述子領域に挿入された３次元カメラ記述子を示す図である。
【図２１】一実施形態によって、記述子領域に挿入された低疲労度記述子を示す図である。
【図２２】一実施形態によって、記述子領域に挿入された区間３次元記述子を示す図である。
【図２３】一実施形態によって、記述子領域に挿入された左右不一致記述子を示す図である。
【図２４】一実施形態による３次元映像データストリーム伝送方法を示すフローチャートである。
【図２５】一実施形態による３次元映像データストリーム受信方法を示すフローチャートである。
【発明を実施するための形態】
【０００９】
一実施形態による３次元映像データストリーム生成方法は、３次元映像データの符号化されたビット列を含む基礎ストリームを生成するステップと、前記基礎ストリームをパケット化して、少なくとも一つの基礎ストリームパケットを生成するステップと、前記３次元映像データのサービス関連情報を含む少なくとも一つのセクションを生成するステップと、前記少なくとも一つのセクションのうち、プログラム案内情報セクションに、前記３次元映像の再生に必要な３次元映像再生情報を挿入するステップと、前記少なくとも一つのセクション及び前記少なくとも一つの基礎ストリームパケットのうち、それぞれについての少なくとも一つの伝送ストリームパケットを生成するステップと、前記生成された伝送ストリームパケットを多重化して、伝送ストリームを生成するステップと、を含む。
【００１０】
一実施形態による前記３次元映像再生情報挿入ステップは、前記３次元映像再生情報を含む少なくとも一つの３次元映像再生記述子(descriptor)を生成するステップと、前記プログラム案内情報セクションのうち、イベント情報テーブルセクションの記述子領域に、前記３次元映像再生記述子を挿入するステップと、を含む。
【００１１】
一実施形態による前記３次元映像データストリーム生成方法は、前記伝送ストリームを伝送するステップをさらに含む。また、一実施形態による前記３次元映像データストリーム生成方法は、前記伝送ストリームを保存するステップをさらに含んでもよい。
【００１２】
一実施形態による３次元映像データストリーム受信方法は、受信された伝送ストリームを逆多重化して、少なくとも一つの伝送ストリームパケットを分離するステップと、前記少なくとも一つの伝送ストリームパケットを逆パケット化して、３次元映像データを含む少なくとも一つの基礎ストリームパケット、及び前記３次元映像データのサービス関連情報を含む少なくとも一つのセクションを復元するステップと、前記少なくとも一つの基礎ストリームパケットを逆パケット化して、基礎ストリームを復元するステップと、前記少なくとも一つのセクションのうち、プログラム案内情報セクションから、３次元映像の再生に必要な３次元映像再生情報を抽出するステップと、前記基礎ストリームのデータを復号化して、前記３次元映像データを復元するステップと、を含む。
【００１３】
一実施形態による３次元映像データストリーム受信方法は、前記復元された３次元映像を、前記３次元映像再生情報を利用して再生するステップをさらに含む。
【００１４】
一実施形態による前記３次元映像再生記述子は、該プログラム内に前記３次元映像データストリームを含むということを表す３次元情報開始記述子を含む。
【００１５】
一実施形態による前記３次元映像再生記述子は、前記全体の映像データのうち、３次元に再生される時間的区間または空間的区間を表す区間３次元再生記述子、前記３次元映像を獲得したカメラに関する３次元カメラ記述子、前記３次元映像の再生により発生する視聴違和感を緩和するための低疲労度記述子、及び左視点映像及び右視点映像の不一致状態を表す左右不一致記述子のうち少なくとも一つをさらに含む。
【００１６】
一実施形態による前記３次元情報開始記述子は、前記３次元映像の左視点映像及び右視点映像の構成方式を表す３次元映像フォーマット情報、前記左視点映像及び前記右視点映像の配置順序を表す左右配置情報、前記３次元映像を構成する前記左視点映像及び前記右視点映像の解像度を表すフル解像度情報を含む。
【００１７】
一実施形態による前記３次元映像再生記述子は、前記基礎情報以外に、前記３次元映像の円滑な再生のための付加情報である前記３次元カメラ記述子、前記低疲労度記述子、及び前記左右不一致記述子をさらに含む。
【００１８】
一実施形態による前記左右不一致記述子は、前記左視点映像画素値及び前記右視点映像画素値間のオフセット、前記左視点映像画素値及び前記右視点映像画素値間の線形関数、前記左視点映像画素値及び前記右視点映像画素値間のルックアップテーブルのうち一つを利用して表現される。
【００１９】
一実施形態による前記付加記述子は、それぞれの付加記述子が定義されているか否かを表す指示子(indicator)を含む。
【００２０】
一実施形態による３次元映像データストリーム生成装置は、３次元映像データの符号化されたビット列を含む基礎ストリームを生成する基礎ストリーム生成部と、前記基礎ストリームをパケット化して、少なくとも一つの基礎ストリームパケットを生成する基礎ストリームパケット生成部と、前記３次元映像データのサービス関連情報を記述する少なくとも一つのセクションを生成するセクション生成部と、前記少なくとも一つのセクションのうち、プログラム案内情報セクションに、前記３次元映像の再生に必要な３次元映像再生情報を挿入する３次元映像再生情報挿入部と、前記少なくとも一つのセクション及び前記少なくとも一つの基礎ストリームパケットのうち、それぞれについての少なくとも一つの伝送ストリームパケットを生成する伝送ストリームパケット生成部と、前記生成された伝送ストリームパケットを多重化して、伝送ストリームを生成する伝送ストリーム生成部と、を備える。
【００２１】
一実施形態による前記３次元映像データストリーム生成装置は、前記伝送ストリームを伝送する伝送ストリーム伝送部をさらに備える。
【００２２】
一実施形態による３次元映像データストリーム受信装置は、受信された伝送ストリームを逆多重化して、少なくとも一つの伝送ストリームパケットを分離する伝送ストリーム逆多重化部と、前記少なくとも一つの伝送ストリームパケットを逆パケット化して、３次元映像データを含む少なくとも一つの基礎ストリームパケット、及び前記３次元映像データのサービス関連情報を含む少なくとも一つのセクションを復元する伝送ストリームパケット逆パケット化部と、前記少なくとも一つの基礎ストリームパケットを逆パケット化して、基礎ストリームを復元する基礎ストリームパケット逆パケット化部と、前記少なくとも一つのセクションのうち、プログラム案内情報セクションから、３次元映像の再生に必要な３次元映像再生情報を抽出する３次元映像再生情報抽出部と、前記基礎ストリームのデータを復号化して、３次元映像データを復元する３次元映像復元部と、を備える。
【００２３】
一実施形態による３次元映像データストリーム受信装置は、前記復元された３次元映像を、前記３次元映像再生情報を利用して再生する３次元映像再生部をさらに備える。
【００２４】
一実施形態による３次元映像データストリーム生成方法を具現するためのプログラムが記録されたコンピュータで読み取り可能な記録媒体を含む。また、一実施形態による３次元映像データストリーム受信方法を具現するためのプログラムが記録されたコンピュータで読み取り可能な記録媒体を含む。
【００２５】
以下、図１ないし図２５を参照して、一実施形態によって、３次元映像再生情報及びプログラム案内情報セクションを利用して、３次元映像再生情報を送受信するための３次元映像データストリームの生成及び送受信に関して述べる。
【００２６】
図１は、一実施形態による３次元映像データストリーム生成装置のブロック図である。
【００２７】
一実施形態による３次元映像データストリーム生成装置１００は、基礎ストリーム生成部１１０、基礎ストリームパケット生成部１２０、セクション生成部１３０、３次元映像再生情報挿入部１４０、伝送ストリームパケット生成部１５０、及び伝送ストリーム生成部１６０を備える。
【００２８】
基礎ストリーム生成部１１０は、ビデオ、オーディオなどのマルチメディアの符号化されたビット列を含む基礎ストリーム(elementary  stream)を生成する。特に、基礎ストリーム生成部１１０は、３次元映像の符号化されたビット列を含む基礎ストリームを生成する。
【００２９】
基礎ストリームパケット生成部１２０は、基礎ストリーム生成部１１０から出力された基礎ストリームを受信してパケット化することで、少なくとも一つの基礎ストリームパケット(packetized  elementary  stream: PES)を生成する。基礎ストリームパケットは、基礎ストリームパケットヘッダ領域、及び基礎ストリームパケットペイロード領域に区分され、少なくとも一部の基礎ストリームが、基礎ストリームパケットペイロード領域に保存される。
【００３０】
セクション生成部１３０は、３次元映像のプログラム関連情報に関する少なくとも一つのセクションを生成する。プログラムは、ビデオとオーディオなどのビット列を含む基本単位である。
【００３１】
デジタル放送は、色々な基礎ストリームが多重化されて、色々な伝送媒体とネットワークを通じて伝達される。複数の基礎ストリームは、一つのサービスを形成し、複数のサービスが集まって一つの伝送ストリームを形成し、このように形成されたデータストリームは、多様なネットワークを経て、多様な物理的媒体を経て伝送される。
【００３２】
かかるデータストリームのうち、視聴者が所望するデータストリームを探して受信機に送信し、各サービスで提供する個別プログラムについての内容と、プログラムの種類とについての情報を提供するためには、ＭＰＥＧ(Moving  Picture  Experts  Group)−２で定義しているデータストリーム以外の別途の情報が収録された情報が伝送されねばならない。かかる別途の情報をサービス情報またはプログラム案内情報というが、かかる情報を提供する現在のデジタル放送システム規格で現在公開された方式として、ヨーロッパのＤＶＢ(Digital  Video  Broadcasting)方式や、米国のＡＴＳＣ(Advanced  Television  Systems  Committee)方式がある。
【００３３】
セクションは、伝送ストリームを通じて伝送されるデータ形式の一つであって、主にサービス情報及びプログラム案内情報のようなサービス関連情報を構成する。すなわち、サービス関連情報が少なくても一つのセクションに構成されて分けられる。セクションに構成されるサービス関連情報としては、プログラム統合テーブル(Program  Association  Table:  PAT)、プログラムマップテーブル(Program  Map  Table:  PMT)などのＰＳＩ(Program  Specific  Information)情報があり、イベント情報テーブル(Event  Information  Table:  EIT)のようなＳＩ(System  Information)情報がある。
【００３４】
ＰＳＩ情報は、ＭＰＥＧ−２システムで規定されたデータに伝送ストリームをデマルチプレクシングする場合に必要とする情報である。ＳＩ情報は、ヨーロッパ式地上波標準であるＤＶＢではＳＩと、米国式ＡＴＳＣでは、ＰＳＩＰ(Program  and  System  Information  Protocol)と、異なる名称として定義しているが、ＥＰＧ(Electronic  Program  Guide)のようなサービスを提供する類似した機能を行っている。セクション生成部１３０は、符号化された３次元映像についてのサービス関連情報を含むセクションを生成する。
【００３５】
３次元映像再生情報挿入部１４０は、セクション生成部１３０で生成された少なくとも一つのセクションのうち、プログラム案内情報セクションに、３次元映像の再生に必要な３次元映像再生情報を挿入する。３次元映像再生情報が挿入されたプログラム案内情報セクション及びその他のセクションは、伝送ストリームパケット生成部１５０に出力される。
【００３６】
プログラム案内情報セクションとしては、ＥＰＧ情報が収録されるプログラム案内情報セクションに、３次元映像再生情報を挿入する。ＥＰＧ情報は、放送編成表を意味し、セットトップボックスやＰＶＲ(Personal  Video  Recorder)でユーザーに放送編成表を見せる機能を提供する。
【００３７】
ＥＰＧ情報が収録されたプログラム案内情報セクションとしては、ＥＩＴセクションが利用される。ＥＩＴは、放送編成表のデータを伝達するテーブルであって、個別放送の時間的な順序と細部内容とを提供する。一実施形態による３次元映像再生情報は、ＥＩＴに記述子形式で挿入される。この場合、一実施形態による３次元映像再生情報挿入部１４０は、３次元映像再生情報を含む少なくとも一つの３次元映像再生記述子を生成し、ＥＩＴセクションの記述子領域に３次元映像再生記述子を挿入する。
【００３８】
伝送ストリームパケット生成部１５０は、３次元映像再生情報挿入部１４０で生成された少なくとも一つのセクション、及び基礎ストリームパケット生成部１２０で生成された少なくとも一つの基礎ストリームパケットに対して、少なくとも一つの伝送ストリームパケット(Transport  Stream  Packet:  TS  packet)を生成する。
【００３９】
伝送ストリームパケットは、固定長のパケットであって、４バイトの伝送ストリームヘッダ領域から開始する。セクションまたは基礎ストリームパケットのデータは、伝送ストリームヘッダ領域後に続く伝送ストリームペイロード領域に挿入される。
【００４０】
一実施形態による３次元映像データストリーム生成装置１００は、３次元映像の再生に必要な３次元映像再生情報を、基礎ストリームパケット、伝送ストリームパケットまたはセクションに挿入する。
【００４１】
前述した３次元映像データストリーム生成装置１００は、セクションレベルのプログラム情報に３次元映像再生情報を挿入することで、３次元映像の正確な再生のための必要な情報が伝送される。
【００４２】
伝送ストリーム生成部１６０は、伝送ストリームパケット生成部１５０で生成された少なくとも一つの伝送ストリームパケットを多重化して、伝送ストリームを生成する。伝送ストリームは、少なくとも一つの伝送ストリームパケットの連続である。
【００４３】
一実施形態による３次元映像データストリーム生成装置１００は、生成された伝送ストリームを伝送する伝送部（図示せず）をさらに備える。また、一実施形態による３次元映像データストリーム生成装置１００は、伝送ストリームを記録媒体に保存する保存部（図示せず）をさらに備える。
【００４４】
３次元映像の正確な再生のための３次元映像再生情報は、３次元映像再生情報が開始することを知らせる３次元開始情報を含む。復号化端に対して、３次元映像再生情報の解釈が必要であることを知らせるために、「該データストリームに３次元映像再生情報が収録されており、３次元開始情報から３次元映像再生情報が開始すること」を、３次元開始情報を通じて知らせる。
【００４５】
また、３次元映像の再生のための基礎情報として、３次元映像の左視点映像及び右視点映像の構成方式を表す３次元映像フォーマット情報、左視点映像及び右視点映像の配置順序を表す左右配置情報、及びフル解像度情報が設定される。
【００４６】
そして、３次元映像再生情報の基礎情報がある場合、３次元映像の再生のために付加的に必要な情報として、全体の映像データのうち、３次元に再生される時間的区間または空間的区間を表す区間３次元再生情報、３次元映像を獲得したカメラに関する３次元カメラ情報、３次元映像の再生により発生する視聴違和感を緩和するための低疲労度情報、及び左視点映像及び右視点映像の不一致状態を表す左右不一致情報がさらに設定される。
【００４７】
左右不一致情報は、左視点映像画素値及び右視点映像画素値間のオフセットとして定義される。また、左視点映像画素値及び右視点映像画素値間の線形関数関係を利用して、左右不一致情報が定義される。左右不一致情報の最も精密な表現方式としては、左視点映像画素値及び右視点映像画素値間のルックアップテーブルを利用した表現方式がある。
【００４８】
３次元映像再生情報の付加情報は、その定義如何が可変的であるので、付加情報の定義如何を表す指示子情報を含む。
【００４９】
３次元映像再生情報のより具体的な特性は、図面を参照して後述する。すなわち、３次元映像再生情報として、図３の３次元映像フォーマット情報、図４の左右配置情報、図５及び図６の時間的区間３次元再生情報、図７の空間的区間３次元再生情報、図８の３次元カメラ情報、図９の低疲労度情報、図１１の左右不一致情報を述べる。
【００５０】
また、記述子形式の３次元映像再生記述子は、３次元開始情報に相応する３次元情報開始記述子を含む。また、３次元映像再生記述子は、３次元映像フォーマット情報、３次元カメラ情報、低疲労度情報、及び左右不一致情報にそれぞれ相応する記述子をさらに含む。
【００５１】
所定の映像通信規格による伝送ストリームシステムにおいて、基礎ストリームパケット、伝送ストリームパケット、またはセクション内に既に割り当てられている余裕空間を利用して、３次元映像再生情報が挿入されるので、既存の映像通信規格による伝送ストリームシステムでも、システムの大きい変更なしに、一実施形態による３次元映像データストリーム生成装置１００が適用される。また、既存に割り当てられている情報保存領域を利用するので、更なるチャネル、または更なる情報保存空間は不要である。
【００５２】
また、ＥＩＴセクションは、米国のデジタル放送規格であるＡＴＳＣ方式、またはヨーロッパのデジタル放送規格であるＤＶＢ方式で共通して使われるプログラム案内情報セクションであるので、一実施形態による３次元映像再生情報が挿入されたデータストリームの送受信は、代表的なデジタル放送規格で適用されて、活用可能性が高い。
【００５３】
図２は、一実施形態による３次元映像データストリーム受信装置のブロック図である。
【００５４】
一実施形態による３次元映像データストリーム受信装置２００は、伝送ストリーム逆多重化部２１０、伝送ストリームパケット逆パケット化部２２０、基礎ストリームパケット逆パケット化部２３０、３次元映像再生情報抽出部２４０、３次元映像復元部２５０、及び３次元映像再生部２６０を備える。
【００５５】
伝送ストリーム逆多重化部２１０は、一実施形態による３次元映像データストリーム受信装置２００が受信した伝送ストリームを逆多重化して、少なくとも一つの伝送ストリームパケットを分離する。伝送ストリームは、固定長の伝送ストリームパケットに分離される。
【００５６】
伝送ストリームパケット逆パケット化部２２０は、伝送ストリーム逆多重化部２１０により分離された少なくとも一つの伝送ストリームパケットを逆パケット化して、少なくとも一つの基礎ストリームパケット及び少なくとも一つのセクションを復元する。少なくとも一つの基礎ストリームパケットは、３次元映像データを含み、少なくとも一つのセクションは、３次元映像データのサービス関連情報を含む。
【００５７】
伝送ストリームパケットのヘッダ領域に、伝送ストリームパケットが伝送するデータの種類を表す識別情報であるパケット識別子(packet identifier: PID)が収録されている。プログラムリスト情報は、プログラム統合テーブルに収録されており、プログラム統合テーブルを伝送する伝送ストリームパケットのパケット識別子は、０に規定されている。
【００５８】
伝送ストリームを受信すれば、まず、パケット識別子が０である伝送ストリームパケットを検索して、プログラム統合テーブルを獲得し、プログラム統合テーブルを解釈することで、プログラムマップテーブルを伝送する伝送ストリームパケットのパケット識別子を抽出する。
【００５９】
プログラムマップテーブルは、プログラム単位の情報が収録されているため、プログラムマップテーブルを解釈することで、プログラムを構成するビット列が載せられている伝送ストリームパケットのパケット識別子を決定する。したがって、所望のオーディオ、ビデオなどのプログラムが収録されている伝送ストリームパケットにアクセスできる。
【００６０】
イベント情報テーブルは、あらゆるチャネルについての最小３時間のプログラム内容を提供し、個別プログラムの名称、開始時間、放映期間のような情報を伝達する。これは、ＥＰＧ情報として利用される。
【００６１】
基礎ストリームパケット逆パケット化部２３０は、伝送ストリームパケット逆パケット化部２２０により復元された少なくとも一つの基礎ストリームパケットを逆パケット化して、基礎ストリームを復元する。基礎ストリームは、ビデオ、オーディオなどのプログラムであってもよい。特に、一実施形態による基礎ストリームパケット逆パケット化部２３０により復元される基礎ストリームは、３次元映像の符号化されたデータを収録している。
【００６２】
３次元映像再生情報抽出部２４０は、逆多重化されて復元されたセクションから、３次元映像再生情報を抽出する。一実施形態による３次元映像再生情報抽出部２４０は、復元されたセクションのうち、プログラム案内情報セクションから、３次元映像再生情報を抽出する。
【００６３】
一実施形態による３次元映像再生情報抽出部２４０は、プログラム案内情報セクションの記述子領域から、３次元映像再生記述子を抽出する。この時、プログラム案内情報セクションは、イベント情報テーブルセクションであってもよい。
【００６４】
３次元映像再生記述子は、該プログラム内に前記３次元映像データストリームを含むということを表す３次元情報開始記述子を含む。また、３次元再生記述子は、３次元映像の再生と関連した情報として、３次元映像開始記述子、区間３次元再生記述子、３次元カメラ記述子、低疲労度記述子、及び左右不一致記述子のうち少なくとも一つを含む。
【００６５】
一実施形態による３次元映像データストリーム受信装置２００により抽出されて使われる３次元映像再生情報は、図１を参照して述べた一実施形態による３次元映像データストリーム生成装置１００の３次元映像再生情報に対応する。
【００６６】
したがって、３次元映像再生情報抽出部２４０は、３次元映像再生情報として、３次元映像再生記述子から、３次元映像フォーマット情報、左右配置情報、フル解像度情報、時間的区間３次元再生情報、空間的区間３次元再生情報、３次元カメラ情報、低疲労度情報、及び左右不一致情報を抽出する。
【００６７】
３次元映像復元部２５０は、基礎ストリームのデータを復号化して、３次元映像を復元する。３次元映像フォーマットによって、左視点映像及び右視点映像が分離されて復元される。また、映像シーケンスの部分的に３次元映像及び２次元映像が混合されて復元されもする。
【００６８】
３次元映像再生部２６０は、３次元映像復元部２５０により復号化されて復元された３次元映像を、３次元映像再生情報を利用して３次元再生方式で再生する。
【００６９】
一実施形態による３次元映像データストリーム受信装置２００により、３次元再生システムで認識可能な３次元映像再生情報が抽出されるので、３次元映像の立体感が保証されつつ、３次元映像の視聴による疲労感が低減した３次元コンテンツ放送サービスが提供される。また、既存の２次元映像システムでも使われる既存のデータ構造を逸脱しないので、既存に使われるシステムとの互換性も維持される。また、３次元映像再生情報の受信のための更なるチャネル、更なるデータストリーム、更なる情報保存空間が不要であるので、制限的な環境でも適用可能である。
【００７０】
一実施形態による３次元映像データストリーム生成装置１００、及び一実施形態による３次元映像データストリーム受信装置２００は、３次元放送システム、３次元デジタルＴＶシステム、３次元パッケージメディアシステム、コンピュータ上での３次元映像デコーダなどに適用されることで、既存のデジタル放送システムとの互換性を維持しつつ、２次元コンテンツ及び３次元コンテンツを提供する３次元デジタル放送が可能になる。
【００７１】
以上、本実施形態は、伝送ストリーム基盤の伝送システム及び受信システムを例として説明されているが、３次元映像再生情報が基礎ストリームパケットレベルで挿入される実施形態は、プログラムストリーム基盤のシステムでも適用される。
【００７２】
以下、図３ないし図１４を参照して、一実施形態による３次元映像再生情報を述べる。
【００７３】
図３は、一実施形態による３次元映像フォーマット情報を示す。
【００７４】
３次元映像が立体感を維持して再生されるためには、左視点映像及び右視点映像がいずれも必要である。３次元映像フォーマットは、左視点映像情報及び右視点映像情報をいずれも含むための映像フォーマットであって、３次元コンポジットフォーマット、３次元シーケンシャルフォーマット、及びマルチプルストリームフォーマットがある。
【００７５】
３次元コンポジットフォーマットは、一つのピクチャーに左視点映像及び右視点映像がいずれも配置されている映像フォーマットである。３次元コンポジットフォーマットによれば、既存の符復号化システムをそのまま利用しつつ、３次元映像を復号化して復元した後でレンダリングすることで、３次元映像の再生システムが具現される。
【００７６】
３次元コンポジットフォーマットでは、一つのピクチャーに左視点映像及び右視点映像がいずれも配置されているので、左視点映像及び右視点映像それぞれは、一般的な２次元映像に比べて解像度が低い。しかし、既存の再生システムのフレーム速度が一定の速度以上確保されれば、ほとんどの３次元映像は、既存の再生システムで大きい画質の低下なしに再生される。３次元コンポジットフォーマットは、既存の再生システムを利用できるという点で、最も広く使われている３次元映像フォーマットである。
【００７７】
３次元シーケンシャルフォーマットは、時間軸方向に左視点映像及び右視点映像を配置するフォーマットである。３次元シーケンシャルフォーマットは、左視点フレーム及び右視点フレームが連続的に交互に配置されるフレームシーケンシャルフォーマットと、左視点フィールド及び右視点フィールドが連続的に交互に配置されるフィールドシーケンシャルフォーマットとを含む。フレームシーケンシャルフォーマットは、左視点フレーム及び右視点フレームが、それぞれフレーム率が半減するので、フレーム率が所定の周波数以下である場合にはあまり利用されず、フィールドシーケンシャルフォーマットが広く利用されている。
【００７８】
マルチプルストリームフォーマットは、左／右視点映像ごとに個別ストリームに送受信される映像フォーマットであって、複数の復号化器を必要とするが、既存のシステムと互換性が維持され、フル解像度の映像が再生されるという点で効果的である。左／右視点映像または多視点映像がそれぞれストリーム単位で保存されるため、３次元コンポジットフォーマットまたは３次元シーケンシャルフォーマットに比べて、伝送システムの帯域幅がさらに必要であることが特徴である。
【００７９】
図３の表は、一実施形態による３次元映像データストリーム生成装置１００、及び一実施形態による３次元映像データストリーム受信装置２００が利用できる３次元映像フォーマット情報の値を示す。以下、一実施形態による３次元映像データストリーム生成装置１００、及び一実施形態による３次元映像データストリーム受信装置２００は、３次元映像フォーマット情報を‘3d_format_type’という変数名と称する。
【００８０】
３次元映像フォーマット情報は、サイドバイサイドフォーマット、トップアンドボトムフォーマット、垂直ラインインターリーブドフォーマット、水平ラインインターリーブドフォーマット、格子ボードフォーマット、フレームシーケンシャルフォーマット、フィールドシーケンシャルフォーマット、マルチプルストリームタイプのうち第１視点映像フォーマット、マルチプルストリームタイプのうち第２視点映像フォーマット、深さマップフォーマット、３次元映像のうち２次元映像区間フォーマットがある。
【００８１】
サイドバイサイドフォーマットは、左視点映像及び右視点映像が一つのピクチャー上に左右に配置される形態の映像フォーマットであり、トップアンドボトムフォーマットは、左視点映像及び右視点映像が一つのピクチャー上に上下に配置される形態の映像フォーマットである。
【００８２】
垂直ラインインターリーブドフォーマットは、一つのピクチャーの垂直方向のライン別に、左視点映像のライン及び右視点映像のラインが交互に配置される形態の映像フォーマットであり、水平ラインインターリーブドフォーマットは、一つのピクチャーの水平方向のライン別に、左視点映像のライン及び右視点映像のラインが交互に配置される形態の映像フォーマットである。格子ボードフォーマットは、一つのピクチャーのペル（ｐｅｌ）別に、左視点映像のペル及び右視点映像のペルが交互に配置される形態の映像フォーマットである。
【００８３】
第１視点映像及び第２視点映像が個別的なストリームに挿入された場合、マルチプルストリームタイプのうち第１視点映像フォーマットは、第１視点映像のみが収録される映像フォーマットであり、マルチプルストリームタイプのうち第２視点映像フォーマットは、第２視点映像のみが収録される映像フォーマットである。
【００８４】
深さマップフォーマットは、左右視点映像間の深さ差情報が収録されたマップと、左右視点のうちいずれか一つの視点映像とが送受信される映像フォーマットである。
【００８５】
３次元映像のうち２次元映像区間フォーマットは、３次元映像区間及び２次元映像区間が混合された映像で、２次元映像区間が収録された映像フォーマットである。
【００８６】
‘unsigned  int’は、整数のうち有限であるサブセットの一種を表す。‘3d_format_type’は、７バイトのunsigned  int型の変数であって、０ｘ００ないし０ｘ７Ｆの値を有する。一実施形態によって、‘3d_format_type’の０ｘ００ないし０ｘ０Ａ値に、それぞれサイドバイサイドフォーマット、トップアンドボトムフォーマット、垂直ラインインターリーブドフォーマット、水平ラインインターリーブドフォーマット、格子ボードフォーマット、フレームシーケンシャルフォーマット、フィールドシーケンシャルフォーマット、マルチプルストリームタイプのうち第１視点映像フォーマット、マルチプルストリームタイプのうち第２視点映像フォーマット、深さマップフォーマット、３次元映像のうち２次元映像区間フォーマットが対応することで、３次元映像フォーマット情報が定義される。
【００８７】
‘3d_format_type’の残りの値は、今後追加されるコンテンツのために予約ビットとして設定される。
【００８８】
図４は、一実施形態による左右配置情報を示す。
【００８９】
左視点映像及び右視点映像が反転されて、３次元映像が再生される場合、視聴による疲労感が増加する。したがって、３次元映像フォーマットが左視点映像及び右視点映像をいずれも含むならば、どちらが左視点映像または右視点映像であるか区別されねばならない。左右配置情報は、３次元映像フォーマットに含まれた他の視点映像がそれぞれ左視点映像であるか右視点映像であるかについての情報であって、３次元映像フォーマットと共に定義される。
【００９０】
図４の表は、左右配置情報によって、３次元映像フォーマット（Ｔｙｐｅ）で、左視点映像及び右視点映像の配置順序を示す。一実施形態による３次元映像データストリーム生成装置１００、及び一実施形態による３次元映像データストリーム受信装置２００では、左右配置情報を‘LR_indicator’という変数名と称する。左右配置情報が１である場合(‘LR_indicator=1’)を例として説明すれば、左視点映像及び右視点映像は、それぞれサイドバイサイドフォーマットの左側及び右側に配置される。
【００９１】
同様な方式で、左右配置情報が１である場合(‘LR_indicator=1’)、左視点映像及び右視点映像は、トップアンドボトムフォーマットの上端及び下端に、垂直ラインインターリーブドフォーマットでは、奇数番目のライン及び偶数番目のラインに、水平ラインインターリーブドフォーマットでは、偶数番目のライン及び奇数番目のラインに、格子ボードフォーマットでは、最初のラインの最初のベル及び二番目のラインの最初のペルに、フレームシーケンシャルフォーマットでは、奇数番目のフレーム及び偶数番目のフレームに、フィールドシーケンシャルフォーマットでは、上端のフィールド及び下端のフィールドに、マルチプルストリームタイプフォーマットでは、第１視点映像及び第２視点映像にそれぞれ配置される。
【００９２】
左右配置情報が０である場合(‘LR_indicator=0’)には、前述した場合と逆に、左視点映像及び右視点映像が配置される。多視点映像の場合にも適用可能なマルチプルストリームタイプフォーマットのうち、ステレオ映像である場合には、左視点映像及び右視点映像のみが存在するので、図４の表で定義された左右配置情報が有効になる。
【００９３】
３次元映像フォーマットのうち、サイドバイサイドフォーマット、トップアンドボトムフォーマット、垂直ラインインターリーブドフォーマット、水平ラインインターリーブドフォーマット、及び格子ボードフォーマットなどは、一枚のフレームに左視点映像及び右視点映像が同時に配置される。この場合、左視点映像及び右視点映像は、それぞれの解像度が半減して、一枚の３次元映像フレームに併合される。
【００９４】
ただし、一般的な解像度を支援するマルチメディア再生環境では、左視点映像及び右視点映像がそれぞれフル解像度を維持したままで一つのフレームに併合されて、左視点映像または右視点映像に比べて、２倍の解像度を有する３次元映像が生成されもする。
【００９５】
したがって、左視点映像及び右視点映像が一枚のフレームにいずれも併合されている３次元映像フォーマットについては、左視点映像及び右視点映像のフル解像度が維持されたままで併合されて、２倍の解像度の３次元映像であるか、または左視点映像及び右視点映像が半分の解像度に低下したままで併合されて、フル解像度の３次元映像であるかが識別される必要がある。
【００９６】
これによって、一実施形態による３次元映像データストリーム生成装置１００、及び一実施形態による３次元映像データストリーム受信装置２００では、左視点映像及び右視点映像がフル解像度を維持して、フル解像度の２倍の解像度を有する３次元映像に併合されるか否かを表すフル解像度情報が使われる。フル解像度情報は、‘Full_Res_indicator’という変数名と称する。
【００９７】
３次元映像データストリーム受信装置２００は、ストリームをパージングして、フル解像度情報を獲得する。受信されたデータストリームを復号化して復元された３次元映像は、フル解像度情報を利用して、３次元再生装置に適した３次元映像フォーマットに変換されて、３次元に再生される。
【００９８】
以下、図５ないし図７を参照して、３次元映像フォーマットのうち、３次元映像のうち２次元映像区間フォーマットに関して述べる。３次元映像のうち２次元映像区間フォーマットは、部分的に３次元に再生されるので、３次元映像として認識されねばならない区間である‘区間３次元映像’が定義される必要がある。区間３次元映像は、時間的または空間的に３次元に再生される場合に区分される。
【００９９】
時間的区間３次元映像情報は、相対的な時間または絶対的な時間で表現される。表現方式は、システム環境またはシステム仕様によって調整される。
【０１００】
図５及び図６を参照して、時間的区間３次元再生情報の実施形態が説明され、図７を参照して、空間的区間３次元再生情報の実施形態が説明される。時間的区間３次元再生情報及び空間的区間３次元再生情報は、比較的多くのビットが必要であるので、まず、指示子を利用して、時間的区間３次元再生情報の定義如何、及び空間的区間３次元再生情報の定義如何が提示される。したがって、指示子が０の値に設定される場合には、区間３次元再生情報が定義されてはならない。
【０１０１】
時間的区間３次元再生情報は、３次元に再生される３次元映像のピクチャー個数で表現される。一実施形態による３次元映像データストリーム生成装置１００、及び一実施形態による３次元映像データストリーム受信装置２００では、時間的区間３次元再生情報の定義如何を表す指示子を‘temporal_local_3d_indicator’という変数で表す。
【０１０２】
すなわち、‘temporal_local_3d_indicator’がunsinged  int型として宣言され（５１０）、‘temporal_local_3d_indicator’が‘１’の値として定義される場合（５２０）、時間的区間３次元再生情報として、区間３次元映像のピクチャー個数が‘remaining_3d_pictures’という変数によって定義される（５３０）。一実施形態によって、‘remaining_3d_pictures’のあらゆるビットが１で満たされる場合、該映像シーケンスが終わるまで、３次元再生モードが維持される。
【０１０３】
図６は、一実施形態による時間的区間３次元再生情報の他の例を示す。
【０１０４】
時間的区間３次元再生情報の他の例として、３次元に再生される区間３次元映像の再生時間が定義される。‘temporal_local_3d_indicator’がunsinged  int型として宣言され（６１０）、‘temporal_local_3d_indicator’が‘１’の値として定義される場合（６２０）、時間的区間３次元再生情報として、区間３次元映像の再生時間を表す変数‘DTS_3d_period[]’によって定義される（６３０）。
【０１０５】
‘DTS_3d_period[]’の［］内の数は、再生時間を表し、相対的な時間または絶対的な時間で表現される。３次元再生区間及び２次元再生区間が交互に存在し、３次元再生区間どうし分離されている場合、‘DTS_3d_period[]’は、複数と定義される。また、時間的に分離される３次元再生区間の間を表示するためのマーカービット(‘marker_bit’)が定義される。
【０１０６】
図７は、一実施形態による空間的区間３次元再生情報を示す。
【０１０７】
空間的区間３次元再生情報は、２次元映像及び３次元映像がいずれも表示された一つのフレーム上で、３次元に再生される空間的区間３次元領域の位置と定義される。空間的区間３次元領域の位置は、該３次元領域の左上端エッジの座標値、幅、高さの情報と定義される。
【０１０８】
一実施形態による３次元映像データストリーム生成装置１００、及び一実施形態による３次元映像データストリーム受信装置２００では、空間的区間３次元再生情報の定義如何を表す指示子を‘spatial_local_3d_indicator’という変数で表す。
【０１０９】
すなわち、‘spatial_local_3d_indicator’がunsinged  int型として宣言され（７１０）、‘spatial_local_3d_indicator’が‘１’の値として定義される場合（７２０）、空間的区間３次元再生情報として、空間的区間３次元領域の座標として水平オフセットを表す変数‘horizontal_offset’、垂直オフセットを表す変数‘vertical_offset’、空間的区間３次元領域の幅を表す変数‘local_3d_width’、高さを表す変数‘local_3d_height’が定義される（７３０）。
【０１１０】
７３０は、空間的区間３次元領域が一つである場合に該当するが、空間的区間３次元領域が二つ以上である場合、‘number_of_local_3d’という変数を通じて、空間的区間３次元領域の個数が定義され、それぞれの領域ごとに水平オフセット、垂直オフセット、幅、高さが定義される。
【０１１１】
図８は、一実施形態による３次元カメラ情報を示す。
【０１１２】
カメラ情報は、ステレオ映像では、いずれか一つの視点映像のカメラパラメータを基準として、残りの視点の映像についてのカメラパラメータが相対的な値で表現される。すなわち、左視点映像の座標系を基準として、右視点映像のカメラパラメータが表現されて、左視点映像及び右視点映像のカメラパラメータがいずれも定義される必要なく、相対的な値のみが送受信される。しかし、カメラ情報のうち、焦点距離、主点の座標についての情報は、相対的に表示できない絶対数値であるので、それぞれの視点について別途に定義されねばならない。
【０１１３】
一実施形態による３次元映像データストリーム生成装置１００、及び一実施形態による３次元映像データストリーム受信装置２００では、３次元カメラ情報の変更如何を表す指示子を‘is_cam_params_changed’という変数で表す。３次元カメラ情報は、比較的大きいデータであるので、‘is_cam_params_changed’を通じて、現在の３次元カメラ情報が以前の３次元カメラ情報と比較して変更された場合のみに、新たに定義するようにあらかじめ宣言される必要がある。したがって、３次元カメラ情報が最初に設定されるか、または更新される必要がある場合のみに、‘is_cam_params_changed’が１と定義される。
【０１１４】
例えば、‘is_cam_params_changed’がunsinged  int型として宣言され（８１０）、‘is_cam_params_changed’が‘１’の値として定義される場合（８２０）、３次元カメラ情報として、回転角情報を表す変数‘rotation’、平行移動情報を表す変数‘translation’、第１視点映像の焦点距離情報を表す変数‘primary_focal_length’、第２視点映像の焦点距離情報を表す変数‘secondary_focal_length’、画面縦横比情報を表す変数‘aspect_ratio’、第１視点映像の主点のｘ軸座標情報を表す変数‘primary_principal_point_x’、第１視点映像の主点のｙ軸座標情報を表す変数‘primary_principal_point_y’、第２視点映像の主点のｘ軸座標情報を表す変数‘secondary_principal_point_x’、第２視点映像の主点のｙ軸座標情報を表す変数‘secondary_principal_point_y’が定義される（８３０）。
【０１１５】
立体感を考慮した撮影であれば、同じ仕様のカメラを使用するので、画面縦横比情報は、左／右視点映像または多視点映像について一回のみ定義される。回転角情報及び平行移動情報は、第１視点映像の座標を基準とする第２視点映像の座標の相対的な数値で表現される。焦点距離及び主点情報は、それぞれの視点別に定義される。
【０１１６】
ステレオ映像についての３次元カメラ情報は、図８のように、左視点映像及び右視点映像についてそれぞれ定義されるものではなく、一回のみ定義される。一方、多視点映像の場合にも適用可能なマルチプルストリームタイプフォーマットの場合、いずれか一つの視点映像の座標を基準として、相対的な数値で表示する方式よりは、それぞれの視点ごとに独立してカメラ情報が定義されることが望ましい。
【０１１７】
カメラ情報を利用して、両視点映像を獲得する二つのカメラの配置方式が類推される。一般的に３次元映像が再生される時、交差式カメラ構造である場合より、平行式カメラ構造で獲得された３次元映像が、視聴疲労感が少ない。したがって、３次元カメラ情報を利用したレクティフィケーション(Rectification)作業を通じて、交差式カメラ構造で獲得された３次元映像が、平行式カメラ構造で獲得された３次元映像に変更される。
【０１１８】
３次元カメラ情報を利用して、エピポーララインが決定され、エピポーララインを利用したエピポーラライン制限(Epipolar  line  Constraint)技法を通じて、変移推定(Disparity  estimation)が容易になる。このように、３次元カメラ情報は、レクティフィケーション作業、変移推定だけでなく、多様な後処理作業に利用される。
【０１１９】
図９は、一実施形態による低疲労度情報を示す。
【０１２０】
３次元映像であっても、再生されるディスプレイ画面のサイズによって、立体感が変わりうる。したがって、提供される３次元映像の推奨環境と異なるか、またはさらに悪い再生環境で再生される場合に、視聴疲労度の減少のための後処理作業が行われる必要がある。例えば、推奨ディスプレイ画面のサイズより、実際のディスプレイ画面のサイズがさらに大きい場合、変移が発生して、視聴疲労感が発生する。視聴疲労度の減少のための後処理作業としては、左／右視点映像間の深さマップを抽出して、深さを調節した新たな左視点映像及び右視点映像を生成するか、または中間映像を合成する方法、及び左／右視点映像を平行移動させる方法などがある。低疲労度情報を利用して、どの低疲労度作業を行うか決定される。
【０１２１】
一実施形態による３次元映像データストリーム生成装置１００、及び一実施形態による３次元映像データストリーム受信装置２００では、低疲労度情報の変更如何を表す指示子を‘is_safety_params_changed’という変数で表す。低疲労度情報は、比較的大きいデータであるので、‘is_safety_params_changed’を通じて、現在の低疲労度情報が以前の低疲労度情報と比較して変更された場合のみに、新たに定義されるようにあらかじめ宣言される必要がある。したがって、３次元カメラ情報が最初に設定されるか、または更新される必要がある場合のみに、‘is_safety_params_changed’が１と定義される。
【０１２２】
例えば、‘is_safety_params_changed’がunsinged int型として宣言され（９１０）、‘is_safety_params_changed’が‘１’の値として定義される場合（９２０）、低疲労度情報として、推奨ディスプレイ画面の幅情報を表す変数‘expected_display_width’、推奨ディスプレイ画面の高さ情報を表す変数‘expected_display_height’、推奨視聴距離情報を表す変数‘expected_viewing_distance’、３次元映像コンテンツ内での最小変移情報を表す変数‘min_of_disparity’、３次元映像コンテンツ内での最大変移情報を表す変数‘max_of_disparity’が定義される（９３０）。
【０１２３】
提供される３次元映像コンテンツのスクリーン変移を計算するためには、推奨ディスプレイ画面のサイズ、推奨視聴距離、及び３次元映像内での変移範囲が必要である。推奨ディスプレイ画面の幅情報、高さ情報、及び推奨視聴距離情報を利用して、推奨ディスプレイ画面のサイズ及び推奨視聴距離情報が表現され、３次元映像コンテンツ内での最小変移情報及び最大変移情報を利用して、３次元映像内での変移範囲が表現される。
【０１２４】
したがって、低疲労度情報を利用して、推奨ディスプレイ画面による変移範囲及び実際の変移範囲を比較して、低疲労度作業の実行如何を決定する。
【０１２５】
図１０は、一実施形態による低疲労度範囲を示す。
【０１２６】
３次元映像の視聴疲労度が許容されるスクリーン変移範囲は、±１゜以内に決定される。提供される３次元映像のスクリーン変移範囲は、ディスプレイのサイズ、視聴距離、変移範囲を利用して決定される。許容される視聴疲労度を有するスクリーン変移範囲である低疲労度範囲を計算するためには、実際のディスプレイ画面のピクセルピッチを必要とするが、これは、再生装置で固定された値に決定される。
【０１２７】
図１０を参照して、以下、実際のディスプレイ画面１０００のピクセルピッチは、０．１５９ｍｍ、ディスプレイのサイズは、２．５インチ、解像度は、３２０×２４０である場合を例として、低疲労度範囲を述べる。視聴者の眼間距離１０１０は、６５ｍｍ、視聴距離１０２０は、３００ｍｍと仮定される。推奨深さによる両視線間の差角α、深さが視聴者の位置側に近づく場合の両視線間の差角β、深さが視聴者の位置から遠くなる場合の両視線間の差角γを利用して、変移範囲が計算される。
図１０では、最小変移限界の場合は、差角βに該当し、最大変移限界の場合は、差角γに該当する。すなわち、低疲労度範囲は、±１゜以内であって、｜β−α｜＜１゜及び｜γ−α｜＜１゜でなければならない。例えば、差角αは、１２．３７゜であれば、差角βは、１１．３７゜以上、差角γは、１３．３７゜以下でなければならない。
【０１２８】
また、かかる低疲労度範囲がピクセル単位で表現されるために、ディスプレイ画面１０００のピクセルピッチが利用される。最小変移限界のβが１１．３７゜である場合、ディスプレイ画面１０００上に結ばれる像のサイズは、５．３２ｍｍであり、最大変移限界のγが１３．３７゜である場合、ディスプレイ画面１０００上に結ばれる像のサイズは、５．７３ｍｍである。変移のピクセル単位は、変移をピクセルピッチで割った値で表現される。したがって、最大変移限界ピクセルは、５．７３／０．１５９＝３６ピクセル、最小変移限界ピクセルは、−５．３２／０．１５９＝−３３ピクセルである。ここで、（−）方向は、視聴者方向に近づく方向を表す。
【０１２９】
実際のディスプレイシステムでの最大許容変移範囲の最小変移限界と最大変移限界とを、実際の３次元映像コンテンツの最小変移及び最大変移と比較して、現在の３次元映像コンテンツが低疲労度許容範囲に属しているか否かが分かる。現在の３次元映像コンテンツが低疲労度許容範囲内になければ、低疲労度関連の後処理作業が行われる。
【０１３０】
以下、図１１ないし図１３を参照して、左視点映像及び右視点映像が互いに不一致である程度を表す左右不一致情報を述べる。ステレオ映像（または、多視点映像）を獲得するカメラは複数であるので、同じ仕様のカメラであっても、それぞれの設定状態によって互いに一致しない色感を有する。かかる左視点映像と右視点映像との差は、変移推定のような後処理作業の性能を低下させる。また、左視点映像及び右視点映像が互いに一致しない色感で再生される場合、３次元映像による視聴疲労度が増加する。
【０１３１】
互いに一致しない左視点映像と右視点映像との差を補正する作業が、前処理または後処理作業として行われる。視聴者の必要度に応じて、補正作業は、復号化後に後処理作業が行われてもよい。この場合、復号化後の後処理作業のための左右不一致情報が必要である。
【０１３２】
R=L+offset1        （１）
Ｒは、右視点映像の画素値、Ｌは、左視点映像の画素値、offset1は、左視点映像及び右視点映像間のオフセット値を表す変数である。すなわち、左視点映像と右視点映像との間の不一致情報が、一つのオフセット値として定義される単純なモデルである。図１１の左右オフセット情報は、現在の左視点映像及び右視点映像が単純な左右不一致モデルによるという仮定下で、左右不一致情報に多くのビット数を割り当てることができない場合に望ましい。
【０１３３】
例えば、一実施形態による３次元映像データストリーム生成装置１００、及び一実施形態による３次元映像データストリーム受信装置２００では、左右不一致情報の定義如何を表す指示子を‘imbalance_info_indicator’という変数で表す。左右不一致情報が定義される場合のみに、‘imbalance_info_indicator’が１と定義される。
【０１３４】
式（１）による左右不一致情報のシンタックスによれば、‘imbalance_info_indicator’がunsinged  int型として宣言され（１１１０）、‘imbalance_info_indicator’が‘１’の値として定義される場合（１１２０）、左右不一致情報として、左右オフセット情報を表す変数‘imbalance_offset’が定義される（１１３０）。
【０１３５】
図１２は、一実施形態による左右不一致情報の他の例を示す。
【０１３６】
線形関数による左右不一致モデルは、式（２）による。
【０１３７】
R=scale×L+offset2        （２）
Ｒは、右視点映像の画素値、Ｌは、左視点映像の画素値、scaleは、線形関数の勾配、offset2は、左視点映像及び右視点映像間のオフセット値を表す変数である。すなわち、左視点映像と右視点映像との不一致情報が、左視点映像と右視点映像との線形関係と定義される。勾配情報のための変数‘scale’に割り当てられるビット数は、線形関数の正確度によって調節される。
【０１３８】
式（２）による左右不一致情報のシンタックスによれば、‘imbalance_info_indicator’がunsinged int型として宣言され（１２１０）、‘imbalance_info_indicator’が‘１’の値として定義される場合（１２２０）、左右不一致情報として、左右オフセット情報を表す変数‘imbalance_offset’、左右不一致モデルの線形関数の勾配情報を表す変数‘imbalance_scale’が定義される（１２３０）。
【０１３９】
図１３は、一実施形態による左右不一致情報のさらに他の例を示す。
【０１４０】
ルックアップテーブルによる左右不一致モデルは、式（３）による。
【０１４１】
R[0]=first_value
R[L]=R[L-1]+increment[L-1]        （３）
Ｒは、右視点映像の画素値、Ｌは、左視点映像の画素値、first_valueは、右視点映像画素値の初期値、incrementは、右視点映像画素値の増加量に該当する。左視点映像画素値が１ずつ増加するにつれて、対応する右視点映像画素値は、右視点映像画素値の増加量と定義される。
【０１４２】
式（３）による左右不一致情報によれば、‘imbalance_info_indicator’がunsinged int型として宣言され（１１１０）、‘imbalance_info_indicator’が‘１’の値として定義される場合（１３２０）、左右不一致情報として、右視点映像画素値の初期値を表す変数‘first_value’、右視点映像画素値の増加量を表す変数‘increment’が定義される（１３３０）。
【０１４３】
前述した左右不一致情報は、式（１）、（２）、（３）の順にさらに精巧な左右不一致モデルによる。
【０１４４】
図１４は、一実施形態による３次元映像再生情報を示す。
【０１４５】
一実施形態による３次元映像再生情報が、前述した３次元映像フォーマット情報、左右配置情報、フル解像度情報、空間的区間３次元再生情報、時間的区間３次元再生情報、３次元カメラ情報、低疲労度情報、左右不一致情報をいずれも含む場合、図１４のようなシンタックスが利用される。
【０１４６】
（１４１０）で３次元開始情報が宣言され、（１４２０）、（１４３０）及び（１４４０）で、それぞれ３次元映像再生情報の基礎情報として、３次元映像フォーマット情報‘3d_format_type’、左右配置情報‘LR_indicator’、及びフル解像度情報‘Full_Res_indicator’が宣言される。
【０１４７】
３次元映像再生情報の付加情報は、まず、それぞれのパラメータの定義如何、または変更如何を確認する指示子が宣言される。すなわち、（７１０）及び（５１０）で、空間的区間３次元再生情報の定義如何を表す指示子、及び時間的区間３次元再生情報の定義如何を表す指示子が宣言される。また、（８１０）で、３次元カメラ情報の変更如何を表す指示子が宣言され、（９１０）で、低疲労度情報の変更如何を表す指示子が宣言される。同様に、（１１１０）で、左右不一致情報の定義如何を表す指示子が宣言される。
【０１４８】
図７を参照して前述したように、‘spatial_local_3d_indicator’が‘１’の値として定義される場合（７２０）、空間的区間３次元再生情報として、空間的区間３次元領域の座標の水平オフセット情報及び垂直オフセット情報(‘horizontal_offset’及び‘vertical_offset’)、空間的区間３次元領域の幅情報及び高さ情報(‘local_3d_width’及び‘local_3d_height’)が定義される（７３０）。
【０１４９】
図５を参照して前述したように、‘temporal_local_3d_indicator’が‘１’の値として定義される場合（５２０）、時間的区間３次元再生情報として、区間３次元映像のピクチャー個数情報(‘remaining_3d_pictures’)が定義される（５３０）。
【０１５０】
図８を参照して前述したように、‘is_cam_params_changed’が‘１’の値として定義される場合（８２０）、３次元カメラ情報として、回転角情報(‘rotation’)、平行移動情報(‘translation’)、第１視点映像の焦点距離情報(‘primary_focal_length’)、第２視点映像の焦点距離情報(‘secondary_focal_length’)、画面縦横比情報(‘aspect_ratio’)、第１視点映像の主点のｘ軸座標情報(‘primary_principal_point_x’)、第１視点映像の主点のｙ軸座標情報(‘primary_principal_point_y’)、第２視点映像の主点のｘ軸座標情報(‘secondary_principal_point_x’)、第２視点映像の主点のｙ軸座標情報(‘secondary_principal_point_y’)が定義される（８３０）。
【０１５１】
図９を参照して前述したように、‘is_safety_params_changed’が‘１’の値として定義される場合（９２０）、低疲労度情報として、推奨ディスプレイ画面の幅情報(‘expected_display_width’)、推奨ディスプレイ画面の高さ情報(‘expected_display_height’)、推奨視聴距離情報(‘expected_viewing_distance’)、３次元映像コンテンツ内での最小変移情報(‘min_of_disparity’)、３次元映像コンテンツ内での最大変移情報(‘max_of_disparity’)が定義される（９３０）。
【０１５２】
図１２を参照して前述したように、‘imbalance_info_indicator’が‘１’の値として定義される場合（１２２０）、左右不一致情報として、左右オフセット情報(‘imbalance_offset’)、左右不一致モデルの線形関数の勾配情報(‘imbalance_scale’)が定義される（１２３０）。
【０１５３】
３次元映像再生情報は、場合によって、データストリーム上で相異なる空間に挿入されもする。一実施形態による３次元映像データストリーム生成装置１００は、３次元映像再生情報の重要性によって、データストリーム上に挿入領域を決定する。３次元映像データストリームの復号化過程途中で、逆多重化またはパージング作業が先に行われる領域から、優先順位の高い３次元映像再生情報が配置されることが望ましい。
【０１５４】
例えば、３次元映像フォーマット情報、左右配置情報、及びフル解像度情報が、カメラ情報、低疲労度情報、及び左右不一致情報に比べて優先順位が高ければ、３次元映像フォーマット情報、左右配置情報、及びフル解像度情報に対して、逆多重化またはパージング作業が先に行われるように、データストリーム内に挿入される。
【０１５５】
図１５は、一実施形態による３次元映像再生情報を利用して、３次元映像サービスを提供するための３次元映像サービスシステムのブロック図である。
【０１５６】
生産者から消費者に多様な形態の３次元映像サービスが提供される。例えば、３次元映像サービスは、仮想現実システム、３次元ＵＣＣ(User  Created  Contents)またはＶＯＤ(Video  on  Demand)、３次元広告、３次元放送または映像などを含む。３次元ＵＣＣは、ユーザーのコミュニティを通じて、消費者が直接作って他の消費者に伝達される。放送社は、３次元映像を制作して、空中波やケーブルを通じて伝達することで、視聴者に３次元放送を提供する。３次元映画は、映画社が制作して、配給社を通じて、３次元ＤＶＤ(Digital  Versatile  Disc)または３次元ＢＤ(Blu-ray(登録商)Disc)などを通じて消費者に提供される。
【０１５７】
前述した３次元映像サービスは、伝送ストリーム、プログラムストリーム、ＩＳＯ基盤のメディアファイルフォーマットなどの映像フォーマットで提供される。
【０１５８】
３次元映像サービスシステム１５００は、生産者から消費者に提供される３次元映像サービスの全体的な過程を具現する。３次元映像サービスシステム１５００は、映像獲得部１５１０、前処理部１５１２、符号化部１５１４、通信部１５２０、復号化部１５３０、後処理部１５３２、及び３次元再生部１５３４を備える。映像獲得部１５１０、前処理部１５１２、及び符号化部１５１４は、送信端に含まれ、復号化部１５３０、後処理部１５３２、及び３次元再生部１５３４は、受信端に含まれる。
【０１５９】
映像獲得部１５１０は、二台以上のカメラを利用して、複数個の視点で撮影された多視点映像を獲得する。映像獲得部１５１０のカメラとしては、カラー映像を獲得する一般的なカメラ以外にも、相異なる視点映像間の深さ情報を直ちに獲得できる深さカメラも利用される。
【０１６０】
前処理部１５１２は、映像獲得部１５１０を通じて獲得された映像を、前処理過程を通じて圧縮する準備を行う。前処理過程は、左視点映像及び右視点映像をステレオ映像フォーマットなどの３次元映像フォーマットに併合する過程を行う。また、ビデオ圧縮を行うために必要な事前準備過程が行われる。例えば、カメラ補正を通じて、カメラパラメータが決定されるか、または低疲労度パラメータなどが決定される。また、左視点映像と右視点映像との一致如何が測定されもする。
【０１６１】
符号化部１５１４は、３次元映像を既存の２次元映像フレームに配置して符号化するか、または既存の符号化器を複数台利用することで、既存の符号化方法をそのまま利用できる。また、符号化部１５１４は、ＭＰＥＧ(Moving  Picture  Experts  Group)で規定するＭＶＣ(Multiview  Video  Coding)技法、または３次元ビデオ符号化技法を採択する新たな３次元符号化器を利用して符号化することも可能である。
【０１６２】
通信部１５２０は、圧縮された映像データを、インターネットまたは放送を通じて伝送するか、またはパッケージメディア形態で保存する。通信部１５２０で映像データが伝送されるためには、圧縮された映像データが該システムに合うデータフォーマットに変換されねばならない。
【０１６３】
例えば、ＭＰＥＧ−ＴＳシステムの場合、基礎ストリームの状態から基礎ストリームパケットに変換される。多重化も、変換と幅広く呼ばれる。基礎ストリームパケットの形態のデータは、パッケージメディアとして保存するための用途には、プログラムストリームの形態に変換され、伝送のための用途には、伝送ストリームの形態に変換される。圧縮された映像データが、ＭＰＥＧ−４システムのＩＳＯ基盤のメディアファイルフォーマットに変換される場合、基礎ストリームの形態の映像データに‘moov’ボックスを含むヘッダが付加されたデータストリームが生成されて保存または伝送される。
【０１６４】
映像データの圧縮及び保存／伝送方法は、色々な標準で規定された方法による。一実施形態によって、不一致情報、フル解像度情報、左右配置情報、区間３次元再生情報、カメラ情報、低疲労度情報などを含む３次元映像再生情報は、３次元映像データと共に、前述した多様なデータフォーマットの形態に送信される。
【０１６５】
受信端は、所定のデータフォーマットに変換されたデータを受信した後、復号化部１５３０が認識可能な形態に変換する。受信端が２次元映像のための復号化器を二台以上使用する場合、３次元映像再生情報は、３次元再生部１５３４に直ちに伝達されて、復号化部１５３０により復元された３次元映像が３次元再生されるように使われる。
【０１６６】
後処理部１５３２は、復号化部１５３０により復号化された映像を該３次元再生部１５３４が再生可能な形態に変換する過程を行う。例えば、後処理部１５３２は、３次元映像フォーマットを左視点２次元映像及び右視点２次元映像に分離する。また、後処理部１５３２により、３次元映像のレンダリングだけでなく、カメラ情報及び低疲労度情報を利用した疲労度減少過程が行われる。
【０１６７】
３次元再生部１５３４は、３次元映像再生情報を利用して、多視点映像を３次元に再生する。３次元再生部１５３４は、レンチキュラー方式、バリヤー方式、シャッタ眼鏡方式、偏光眼鏡方式などの３次元再生技法による。
【０１６８】
したがって、３次元映像サービスシステムは、一実施形態による３次元映像再生情報を効果的に圧縮、伝送、受信、復元及び活用できる。
【０１６９】
図１６は、一実施形態による３次元映像再生情報を生成する３次元映像再生情報生成装置のブロック図である。
【０１７０】
一実施形態による３次元映像再生情報生成装置１５４０は、左視点及び右視点に対するステレオ映像についてのパラメータを生成する。一実施形態による３次元映像再生情報生成装置１５４０は、二台のカメラ１５４２、左視点映像キャプチャー装置１５４４、右視点映像キャプチャー装置１５４６、３次元映像構成部１５４８、ビデオ復号化部１５５０、３次元映像再生情報生成部１５６０、及びマルチプレクサ１５７０を備える。
【０１７１】
二台のカメラ１５４２のうち、左視点カメラ及び右視点カメラにより撮影されて、左視点映像キャプチャー装置１５４４及び右視点映像キャプチャー装置１５４６がそれぞれキャプチャーした左視点映像シーケンス及び右視点映像シーケンスが生成される。
【０１７２】
左視点映像シーケンス及び右視点映像シーケンスは、３次元映像構成部１５４８により、サイドバイサイドフォーマット、トップアンドボトムフォーマットなどの３次元映像フォーマットで構成される。３次元映像構成部１５４８は、採択された３次元映像フォーマットによって、３次元映像フォーマット情報、左右配置情報、フル解像度情報、区間３次元再生情報などの再生情報を出力して、マルチプレクサ１５７０へ伝送する。
【０１７３】
かかる３次元映像フォーマットは、ビデオ復号化部１５５０により圧縮され、基礎ストリーム形態に出力される。基礎ストリーム形態の圧縮３次元映像データは、マルチプレクサ１５７０により、伝送ストリーム、プログラムストリーム、ＩＳＯ基盤のメディアファイルフォーマットなどのデータフォーマットに変換される。
【０１７４】
３次元映像再生情報生成部１５６０は、左視点映像キャプチャー装置１５４４及び右視点映像キャプチャー装置１５４６で獲得された左視点映像及び右視点映像の３次元再生のために必要な各種の３次元映像再生情報を生成する。この時、生成される３次元映像再生情報は、カメラ関連のパラメータ、低疲労度関連のパラメータ、不一致情報などを含む。
【０１７５】
３次元映像構成部１５４８により出力された３次元映像フォーマット情報、左右配置情報、フル解像度情報、区間３次元再生情報などの再生情報、及び３次元映像再生情報生成部１５６０により生成されたカメラ関連のパラメータ、低疲労度関連のパラメータ、不一致情報などの３次元映像再生情報は、マルチプレクサ１５７０の３次元映像再生情報挿入部１５７５に入力される。
【０１７６】
３次元映像再生情報挿入部１５７５は、マルチプレクサ１５７０で生成される３次元映像データフォーマットに３次元映像再生情報を挿入する。したがって、マルチプレクサ１５７０により生成される３次元映像データフォーマットには、圧縮された３次元映像データだけでなく、３次元映像再生情報が収録される。
【０１７７】
一実施形態による３次元映像再生情報生成装置１５４０で生成された３次元映像再生情報は、一実施形態による３次元映像データストリーム生成装置１００で利用される。また、３次元映像再生情報生成装置１５４０のマルチプレクサ１５７０は、３次元映像データストリーム生成装置１００に相応する。
【０１７８】
この場合、３次元映像再生情報挿入部１５７５は、３次元映像再生情報をセクションのうちいずれか一つの位置に挿入するか否かを決定する。したがって、３次元映像再生情報挿入部１５７５は、セクション生成部１３０が３次元映像再生情報を所定の位置に挿入するように制御する。
【０１７９】
図１７は、一実施形態による３次元映像再生情報を利用する３次元映像再生装置のブロック図である。
【０１８０】
一実施形態による３次元映像再生装置１５８０は、左視点及び右視点についてのステレオ映像を再生する。一実施形態による３次元映像再生装置１５８０は、デマルチプレクサ１５８２、ビデオ復号化部１５８６、３次元映像分離部１５８８、３次元映像後処理部１５９０、及び３次元映像再生部１５９５を備える。
【０１８１】
３次元映像再生装置１５８０は、伝送ストリーム、プログラムストリーム、またはＩＳＯ基盤のメディアファイルフォーマットの３次元映像データストリームを受信する。デマルチプレクサ１５８２は、受信されたデータストリームを逆多重化して、３次元映像についての基礎ストリームと３次元映像再生情報とを分類して抽出する。
【０１８２】
抽出された３次元映像についての基礎ストリームは、ビデオ復号化部１５８６を通じて３次元映像データが復元される。３次元映像データは、サイドバイサイドフォーマットのような３次元映像フォーマットだけでなく、深さデータが活用されるフォーマット、または二つ以上の基礎ストリームが利用されるフォーマットである。
【０１８３】
デマルチプレクサ１５８２において、３次元映像再生情報抽出部１５８４により抽出された３次元映像再生情報のうち、３次元映像フォーマット情報、左右配置情報、フル解像度情報、区間３次元再生情報、カメラ関連のパラメータ、低疲労度関連のパラメータ、不一致情報などが抽出される。
【０１８４】
３次元映像再生情報のうち、３次元映像フォーマット情報、左右配置情報、フル解像度情報、区間３次元再生情報などは、３次元映像分離部１５８８に出力され、カメラ関連のパラメータ、低疲労度関連のパラメータ、不一致情報などは、３次元映像後処理部１５９０に出力される。
【０１８５】
３次元映像分離部１５８８は、３次元映像フォーマット情報抽出部１５８４により抽出された３次元映像フォーマット情報、左右配置情報、フル解像度情報、区間３次元再生情報などを利用して、３次元映像を左視点映像及び右視点映像に分離する。３次元映像後処理部１５９０は、カメラ関連の情報、低疲労度関連の情報、及び不一致情報を利用して、視聴者が立体疲労感を少なく感じるように３次元映像を補正する。
【０１８６】
３次元映像後処理部１５９０により処理された３次元出力ビデオは、３次元映像再生部１５９５により再生される。
【０１８７】
一実施形態による３次元映像データストリーム受信装置２００は、一実施形態による３次元映像再生装置１５８０に対応する。すなわち、伝送ストリーム逆多重化部２１０、伝送ストリームパケット逆パケット化部２２０、基礎ストリームパケット逆パケット化部２３０、及び３次元映像再生情報抽出部２４０が、デマルチプレクサ１５８２及び３次元映像再生情報抽出部１５８４に対応する。また、３次元映像復元部２５０は、ビデオ復号化部１５８６及び３次元映像分離部１５８８に対応する。３次元映像再生部２６０は、３次元映像後処理部１５９０及び３次元映像再生部１５９５に対応する。
【０１８８】
以下、図１８ないし図２３を参照して、３次元映像再生情報を、セクションのうちプログラム案内情報セクションに挿入した場合に関して述べる。特に、３次元映像再生情報は、セクションの記述子領域に記述子形式で挿入される。
【０１８９】
プログラム案内情報セクションとしては、ＥＰＧ情報が収録されるプログラム案内情報セクションに３次元映像再生情報を挿入する。ＥＰＧ情報は、放送編成表を意味し、セットトップボックスやＰＶＲでユーザーに放送編成表を見せる機能を提供する。
【０１９０】
ＥＰＧ情報が収録されたプログラム案内情報セクションとしては、ＥＩＴセクションが利用される。ＥＩＴは、放送編成表のデータを伝達するテーブルであって、個別放送の時間的な順序と細部内容とを提供する。データは、セクション内に含まれている。一つのセクションで構成されるＥＩＴもあるが、多くの場合、ＥＩＴは、データが多いので、これは、最大８個のセクションに分けられて、パケットに送られる。したがって、ＥＰＧデータを構成するために、複数のセクションをテーブルに組み立てることが必要である。複数のセクションを組み立てて形成されたテーブル内には、個別イベントの情報が含まれている。それをパージングし、ユーザーが容易に見ることができるテーブル形態に再構成して、ＯＳＤ(On  Screen  Display)またはＵＩ(User  Interface)に送れば、ＥＰＧが完成する。
【０１９１】
デジタル放送プログラムは、衛星、ケーブル及び地上に伝達される。一種類のプログラムサービスが複数のオーディオ、ビデオ及びデータストリームで制作され、複数のプログラムサービスは多重化されて、衛星の場合、一つの中継器を通じて伝送されるか、またはケーブル及び地上放送の場合、周波数チャネル帯域を通じて伝達される。このように伝達されるストリームのうち、必要なストリームの伝達位置を把握して、該ストリームを受信する必要があるが、かかる方法を提供することがサービス情報である。
【０１９２】
ヨーロッパのデジタル放送システム規格であるＤＶＢでは、ＭＰＥＧ−２を使用したデジタル放送についてのサービス情報の伝送を規定している。ＭＰＥＧ−２システム階層では、プログラム指定情報のサービス情報を規定している。プログラム指定情報は、受信機が多重化されたストリーム内で特定のストリームを逆多重化し、それをデコーディングする情報が伝達される。プログラム指定情報は、ＭＰＥＧ−２規格で定義しているプログラム統合テーブル（ＰＡＴ）、ＣＡＴ(Conditional  Access  Table)、プログラムマップテーブル（ＰＭＴ）、及びＮＩＴ(Network  Information  Table)がある。
【０１９３】
プログラム統合テーブルは、送信端で提供する各種のサービスについての該プログラムマップテーブルのＰＩＤ情報と、後述するＮＩＴのＰＩＤ情報とを伝達する。そして、ＣＡＴは、送信端で使用している有料放送システムについての情報を伝送し、かかる内容は、有料放送システムによって伝達された内容と異なって定義されて使われる。また、プログラムマップテーブルは、各サービスの種類と共にサービスが伝達される伝送ストリームパケットのＰＩＤ情報と、ＰＣＲ(Program  Clock  Reference)情報が伝達されるＰＩＤ情報とを伝達する。ＮＩＴは、ＭＰＥＧ−２と互換されるようにＤＶＢで規定しており、実際の伝送網の情報が伝達される。
【０１９４】
かかるプログラム指定情報に追加して、視聴者に提供されるサービスと、個別のプログラムについての案内情報とを提供しており、これは、伝送される該伝送網についての情報だけでなく、他の伝送網についての情報まで含む。かかる追加情報のうち一つがＥＩＴである。
【０１９５】
米国のデジタル放送システム規格であるＡＴＳＣ方式のプログラムガイド及びサービス情報では、ＰＳＩＰ(Program  and  System  Information  Protocol)というテーブルの組み合わせでプログラム案内とチャネル伝送情報とを伝送する。
【０１９６】
前述したように、ヨーロッパのＤＶＢ方式で、ＳＩと呼ぶサービス情報内にＮＩＴテーブルを利用し、ＥＩＴ、ＲＳＴ(Running  Status  Table)、ＳＤＴ(Service  Description  Table)、ＴＤＴ(Time  and  Date  Table)を使用して、ＥＰＧ情報が伝送されることと類似している。
【０１９７】
米国のＡＴＳＣ方式では、Ｂａｓｅ−ＰＩＤを有する基礎伝送パケットへＳＴＴ(System  Time  Table)、ＲＲＴ(Rating  Region  Table)、ＭＧＴ(Master  Guide  Table)、ＶＣＴ(Virtual  Channel  Table)の色々な種類のテーブルが伝送され、ＭＧＴで定義するＰＩＤを有する伝送パケットへＥＩＴが伝送され、ＭＧＴで定義する前記と異なるＰＩＤを有する三番目の種類の伝送パケットへＥＴＴ(Extended  Text  Table)を伝送する。
【０１９８】
ＤＶＢ規格では、プログラムを分類するためのＭＰＥＧ−２の固有規格であるＰＳＩ、及び地上、ケーブル、衛星などに伝達されるネットワーク情報とプログラム案内情報とをいずれも含むＤＶＢ−ＳＩ規格を決定して使用している。しかし、ＡＴＳＣ規格では、該伝送チャネルに伝達される情報についての分類と、プログラム案内のようなサービス情報とのためのＰＳＩＰを決定して使用している。ＡＴＳＣ規格は、ＭＰＥＧ−２システム規格の一部であるＰＳＩ規格がなしにも、チャネルの分類が可能であり、ＭＰＥＧ−２に互換されるようにする必要がないにしてもＰＳＩを伝送する。
【０１９９】
ヨーロッパのＤＶＢ方式と米国のＡＴＳＣ方式との相違点があるが、両方式どちらもＥＩＴを使用し、ＥＩＴは、個別プログラム情報を視聴者に提供するために周期的に送受信される。したがって、３次元映像再生情報がＥＩＴに挿入されることで、視聴者の送信端に周期的に提供されることで、３次元映像の円滑な再生が図られる。
【０２００】
セクション形式のデータテーブルは、それぞれ固有な技術内容と記述子とを利用して、多様なサービス関連情報を送るが、例えば、視聴可能年齢を表示するか、または字幕情報、タイムシフト情報などが伝送される。ＥＩＴは、伝送されるプログラム情報を記述するテーブルであって、受信装置は、ＥＩＴの情報を利用して、ＥＰＧなどの電子プログラム案内サービスを具現できる。
【０２０１】
ＥＩＴを具体的に見れば、ＥＩＴには、一定時刻のプログラムの題目と時間開始情報とが収録される。イベントごとに識別子、開始時間プログラム再生時間などが設定される。また、それぞれのイベントごとに記述子領域が割り当てられる。
【０２０２】
図１８は、一実施形態によって、３次元映像再生記述子が挿入される記述子領域タグを示す。
【０２０３】
記述子領域は、プログラムとプログラム要素とを規定するために使われ、あらゆる記述子は、記述子タグ(descriptor_tag)及び記述子長さ(descriptor_length)情報で開始する。記述子タグによって、記述子タイプが識別され、一部の記述子タグは、ユーザーが利用できるユーザープライベート領域に割り当てられている。記述子領域は、プログラム案内情報セクション内に割り当てられ、また、別個の記述子セクションに割り当てられている。
【０２０４】
３次元映像データストリーム生成装置１００、及び３次元映像データストリーム受信装置２００では、プログラム案内情報セクションの一部の記述子領域が、３次元再生記述子のための空間として活用される。
【０２０５】
また、３次元再生記述子は、３次元映像再生情報を五つに分割して、システム仕様及び使用環境によって、それぞれの３次元再生記述子フォーマットが修正または分割されつつ利用される。３次元再生記述子の五つの記述子は、３次元開始情報のための３次元情報開始記述子、３次元カメラ情報のための３次元カメラ記述子、低疲労度情報のための低疲労度記述子、空間的区間３次元再生情報及び時間的区間３次元再生情報のための区間３次元再生記述子、及び左右不一致情報のための左右不一致記述子である。
【０２０６】
総２５６個の記述子タグが存在するが、そのうち、記述子タグ６４ないし２５５の記述子領域は、ユーザーが任意に利用する。したがって、一部のユーザープライベート記述子領域に、３次元映像再生情報を記述子形式で記載する。記述子フォーマットは、システムによって修正または分離される。今後使用可能に、３次元映像の再生のための付加情報を追加できる余裕記述子領域を確保しておく。
【０２０７】
例えば、３次元映像再生情報挿入部１４０は、セクションのプライベートユーザー記述子のうち、２５１番目の記述子タグに３次元カメラ記述子‘3d_camera_descriptor’を、２５２番目の記述子タグに低疲労度記述子‘3d_safety_descriptor’を、２５３番目の記述子タグに区間３次元再生記述子‘local_3d_descriptor’を、２５４番目の記述子タグに左右不一致記述子‘imbalance_descriptor’を、２５５番目の記述子タグに３次元情報開始記述子‘3d_info_descriptor’を割り当てる。
【０２０８】
以下、図１９ないし図２３を参照して、３次元映像データストリーム生成装置１００の一実施形態によって、プログラム案内セクションの記述子に挿入された３次元映像再生情報を述べる。同様に、３次元映像データストリーム受信装置２００は、記述子から３次元映像再生情報を抽出する。
【０２０９】
それぞれのイベントごとに記述子領域を利用することで、２次元プログラム及び３次元プログラムが共存する場合、イベントごとに２次元映像であるか、３次元映像であるかに関する情報がＥＩＴに収録される。
【０２１０】
また、それぞれのプログラムごとに、３次元映像の再生のための付加情報が変動される。例えば、あらゆるプログラムが、３次元カメラ情報、低疲労度情報、または左右不一致情報がいずれも必要なものではない。かかる付加情報を支援するプログラムがあってもよく、なくてもよい。したがって、かかるあらゆる場合を考慮するためには、イベントごとに支援される記述子が定義されることが望ましい。
【０２１１】
図１９は、一実施形態によって、記述子領域に挿入された３次元情報開始記述子を示す。
【０２１２】
３次元情報開始記述子(3d_info_descriptor)１７００は、記述子タグ１７１０、記述子長さ情報１７２０、及び３次元映像再生情報のうち基礎情報１７３０を含む。基礎情報１７３０としては、３次元開始情報(threed_info_start_code)、３次元映像フォーマット情報(3d_format_type)、左右配置情報(LR_indicator)、及びフル解像度情報(Full_Res_indicator)を含む。
【０２１３】
３次元情報開始記述子１７００が最優先的にパージングされるか、または読み取られる部分に配置されることで、復号化端は、該当セクションに前記３次元映像データストリームを含むということを最優先的に判断できる。
【０２１４】
図２０は、一実施形態によって、記述子領域に挿入された３次元カメラ記述子を示す。
【０２１５】
３次元カメラ記述子(3d_camera_descriptor)１８００は、記述子タグ１８１０、記述子長さ情報１８２０、及び図８を参照して前述した３次元カメラ情報１８３０を含む。
【０２１６】
図２１は、一実施形態によって、記述子領域に挿入された低疲労度記述子を示す。
【０２１７】
低疲労度記述子(3d_safety_descriptor)１９００は、記述子タグ１９１０、記述子長さ情報１９２０、及び図９を参照して前述した低疲労度情報１９３０を含む。
【０２１８】
図２２は、一実施形態によって、記述子領域に挿入された区間３次元記述子を示す。
【０２１９】
区間３次元記述子(local_3d_descriptor)２０００は、記述子タグ２０１０、記述子長さ情報２０２０、及び図６を参照して前述した空間的区間３次元再生情報と、時間的区間３次元再生情報とを含む区間３次元再生情報２０３０を含む。
【０２２０】
図２３は、一実施形態によって、記述子領域に挿入された左右不一致記述子を示す。
【０２２１】
左右不一致記述子(imbalance_descriptor)２１００は、記述子タグ２１１０、記述子長さ情報２１２０、及び図１２を参照して前述した左右不一致情報２１３０を含む。
【０２２２】
図２４は、一実施形態による３次元映像データストリーム伝送方法を示すフローチャートである。
【０２２３】
ステップ２２１０で、３次元映像の符号化されたビット列を含む基礎ストリームが生成される。３次元映像は、部分的に３次元映像または２次元映像が混合されている形態である。３次元映像フォーマットは、一つのフレームに左視点映像及び右視点映像がいずれも含まれているフォーマットもあり、相異なる視点映像が相異なるフレームで配置されたフォーマットもある。また、相異なる視点映像は、それぞれ異なる基礎ストリームで構成される。
【０２２４】
ステップ２２２０で、基礎ストリームがパケット化されて、少なくとも一つの基礎ストリームパケットが生成される。
【０２２５】
ステップ２２３０で、３次元映像のプログラム及びサービス関連情報が多重化されて、少なくとも一つのセクションが生成される。セクションは、プログラム統合テーブルセクション、プログラムマップテーブルセクション、条件付きアクセステーブルセクション、イベント情報テーブルセクション、ユーザープライベートセクションなどを含む。
【０２２６】
ステップ２２４０で、少なくとも一つのセクションのうち、プログラム案内情報セクションに、前記３次元映像の再生に必要な３次元映像再生情報が挿入される。プログラム案内情報セクションのうち、イベント情報テーブルセクションの記述子領域に３次元映像再生情報が挿入される。
【０２２７】
ステップ２２５０で、少なくとも一つのセクション及び少なくとも一つの基礎ストリームパケットのうち、それぞれについての少なくとも一つの伝送ストリームパケットが生成される。伝送ストリームパケットは、１８８バイトのパケットであり、４バイトのヘッダ領域と、１８４バイトのペイロード領域とに区分される。
【０２２８】
すなわち、プログラム案内情報セクションに、３次元映像の再生に必要な３次元映像再生情報が挿入される。３次元映像再生情報は、３次元映像フォーマットに関する情報、左視点映像及び右視点映像の配置順序を表す情報、左視点映像及び右視点映像がフル解像度を維持しつつ、３次元映像で構成されるか否かを表す情報、空間的に区間３次元再生が必要な映像に関する情報、時間的に区間３次元再生が必要な映像に関する情報、３次元カメラシステムについての情報、低疲労度作業のために必要な情報、左視点映像及び右視点映像の不一致モデルに関する情報などを含む。
【０２２９】
また、３次元映像再生情報、すなわち、３次元映像フォーマット情報、左右配置情報、フル解像度情報、区間３次元映像再生情報、３次元カメラ情報、低疲労度情報、及び左右不一致情報などは、記述子形式によって、セクションの記述子領域に挿入される。
【０２３０】
ステップ２２６０で、生成された伝送ストリームパケットが多重化されて、伝送ストリームが生成される。
【０２３１】
一実施形態では、伝送ストリーム基盤のシステムを例として、基礎ストリームをパケット化して伝送ストリームに多重化されるが、プログラムストリーム基盤のシステムであれば、基礎ストリームがパケット化されて、プログラムストリームに多重化される。
【０２３２】
所定の映像通信規格による伝送ストリームシステムにおいて、セクション内に既に割り当てられている余裕空間を利用して、３次元映像再生情報が挿入されるので、既存の映像通信規格による伝送ストリームシステムでも、システムの大きい変更なしに、一実施形態による３次元映像データストリーム生成方法が適用される。また、更なる伝送チャネル、情報保存空間の割り当てなしにも、３次元映像再生情報が提供される。
【０２３３】
図２５は、一実施形態による３次元映像データストリーム受信方法を示すフローチャートである。
【０２３４】
一実施形態では、伝送ストリーム基盤のシステムを例として、伝送ストリームを受信して基礎ストリームに逆多重化しているが、プログラムストリーム基盤のシステムであれば、プログラムストリームを受信して、基礎ストリームに逆多重化される。
【０２３５】
ステップ２３１０で、受信された伝送ストリームが逆多重化されて、少なくとも一つの伝送ストリームパケットが分離される。伝送ストリームが１８８バイトの伝送ストリームパケットに逆多重化される。
【０２３６】
ステップ２３２０で、少なくとも一つの伝送ストリームパケットが逆パケット化されて、少なくとも一つの基礎ストリームパケット及び少なくとも一つのセクションが復元される。基礎ストリームパケットには、３次元映像データが分割されて保存されており、セクションには、３次元映像のプログラム及びサービス関連情報が分割されて保存されている。
【０２３７】
ステップ２３３０で、少なくとも一つの基礎ストリームパケットを逆パケット化して、基礎ストリームが復元される。基礎ストリームには、３次元映像データの符号化されたデータなど、ビデオデータまたはオーディオデータが挿入されている。
【０２３８】
ステップ２３４０で、少なくとも一つのセクションのうち、プログラム案内情報セクションから、３次元映像の再生に必要な３次元映像再生情報が抽出される。
【０２３９】
プログラム案内情報セクションのうち、イベント情報テーブルセクションから３次元映像再生情報が抽出される。特に、イベント情報テーブルセクションの記述子領域に記述子形式で挿入されている３次元映像再生情報が抽出される。
【０２４０】
ステップ２３５０で、少なくとも一つの基礎ストリームパケットが逆パケット化されて、基礎ストリームが復元される。基礎ストリームのデータが復号化して、３次元映像が復元される。復元された３次元映像は、先に抽出された３次元映像再生情報を利用して３次元再生方式で再生される。
【０２４１】
一実施形態による３次元映像データストリーム受信方法により、３次元再生システムで認識可能な３次元映像再生情報が抽出されるので、３次元映像の立体感が保証されつつ、３次元映像の視聴による疲労感が減少した３次元コンテンツ放送サービスが提供される。また、既存の２次元映像システムでも使われる既存のデータ構造を逸脱しないので、既存に使われるシステムとの互換性も維持される。
【０２４２】
一方、前述した実施形態は、コンピュータで実行されるプログラムで作成可能であり、コンピュータで読み取り可能な記録媒体を利用して、前記プログラムを動作させる汎用デジタルコンピュータで具現される。前記コンピュータで読み取り可能な記録媒体は、磁気記録媒体（例えば、ＲＯＭ、フロッピー（登録商標）ディスク、ハードディスクなど）、光学的読み取り媒体（例えば、ＣＤ−ＲＯＭ、ＤＶＤなど）及びキャリアウェーブ（例えば、インターネットを通じた伝送）のような記録媒体を含む。
【０２４３】
これまで、本発明について、その望ましい実施形態を中心に述べた。当業者は、本発明が本質的な特性から逸脱しない範囲で、変形された形態に具現可能であるということを理解できるであろう。したがって、開示された実施形態は、限定的な観点ではなく、説明的な観点で考慮されねばならない。本発明の範囲は、前述した説明ではなく、特許請求の範囲に表れており、それと同等な範囲内にあるあらゆる相違点は、本発明に含まれていると解釈されねばならない。
【図１】
0006034420.tif 000002
【図２】
0006034420.tif 000003
【図３】
0006034420.tif 000004
【図４】
0006034420.tif 000005
【図５】
0006034420.tif 000006
【図６】
0006034420.tif 000007
【図７】
0006034420.tif 000008
【図８】
0006034420.tif 000009
【図９】
0006034420.tif 000010
【図１０】
0006034420.tif 000011
【図１１】
0006034420.tif 000012
【図１２】
0006034420.tif 000013
【図１３】
0006034420.tif 000014
【図１４】
0006034420.tif 000015
【図１５】
0006034420.tif 000016
【図１６】
0006034420.tif 000017
【図１７】
0006034420.tif 000018
【図１８】
0006034420.tif 000019
【図１９】
0006034420.tif 000020
【図２０】
0006034420.tif 000021
【図２１】
0006034420.tif 000022
【図２２】
0006034420.tif 000023
【図２３】
0006034420.tif 000024
【図２４】
0006034420.tif 000025
【図２５】
0006034420.tif 000026