(57)【要約】  二次元ビデオ及び三次元ビデオのうち少なくとも一つを含むビデオデータ、ディスプレイ画面上にビデオと共に再生される付加再生情報のデータ及び付加再生情報の三次元再生のための付加再生情報のデプス感情報を含むように、ビデオＥＳ（elementary  stream）、付加データストリーム及び補助情報ストリームを生成し、ビデオＥＳ及び付加データストリームをパケット化し、ビデオＰＥＳ（packetized  elementary  stream）パケット、データＰＥＳパケット及び補助情報パケットを生成し、ビデオＰＥＳパケット、付加データＰＥＳパケット及び補助情報パケットを多重化し、ＴＳ（transport  stream）を生成する付加再生情報の三次元再生のためのマルチメディア・ストリーム生成方法である。
2013511199.tif 000002
【特許請求の範囲】
【請求項１】
マルチメディア・ストリームに係わるＴＳ（transport  stream）ストリームを受信して逆多重化し、ビデオＰＥＳ（packetized  elementary  stream）パケット、オーディオＰＥＳパケット、付加データＰＥＳパケット及び補助情報パケットを抽出する段階と、
前記ビデオＰＥＳパケット、前記オーディオＰＥＳパケット、前記データＰＥＳパケット及び前記補助情報パケットから、二次元ビデオ及び三次元ビデオのうち少なくとも一つを含むビデオデータと共に再生されるための付加再生情報のデータ及び前記付加再生情報の三次元再生のための前記付加再生情報のデプス感情報を含む、ビデオＥＳ、オーディオＥＳ、付加データストリーム及び補助情報ストリームを抽出する段階と、
前記ビデオＥＳ、前記オーディオＥＳ、前記付加データストリーム及び前記補助情報ストリームから、ビデオデータ、オーディオデータ、付加データ及び前記付加再生データを復元し、前記付加再生情報のデプス感情報を抽出する段階と、
前記復元されたビデオの再生と共に、前記復元された付加再生情報のデプス感情報に基づいて、前記付加再生情報を三次元で再生する段階と、を含み、
前記付加再生情報のデプス感情報は、
前記ビデオの三次元再生中、前記付加再生情報のデプス感を調節するための付加再生情報のオフセットについての情報を含むことを特徴とする付加再生情報の三次元再生のためのマルチメディア・ストリーム受信方法。
【請求項２】
前記付加再生情報のデプス感情報は、前記ビデオの三次元再生中、前記付加再生情報のオフセット方向についての情報をさらに含み、
前記付加再生情報の三次元再生段階は、
前記付加再生情報のデプス感情報において、前記付加再生情報のオフセット及びオフセット方向に基づいて、前記付加再生情報を、前記オフセットほど正または負の方向に移動させる段階を含み、
前記オフセットは、前記ビデオデータのデプス、変異及び両眼視差のうち一つで表現された前記付加再生情報の移動量を示すことを特徴とする請求項１に記載の付加再生情報の三次元再生のためのマルチメディア・ストリーム受信方法。
【請求項３】
前記付加再生情報の三次元再生段階は、
前記付加再生情報のオフセット及びオフセット方向に基づいて、（ｉ）前記付加再生情報を、デプスが原点の基本平面に対比して、前記オフセットほど正または負の方向に、移動させる段階と、
（ｉｉ）前記付加再生情報を、前記付加再生情報と共に再生されるビデオのデプス、変異及び両眼視差のうち一つに対比して、前記オフセットほど正または負の方向に、移動させる段階と、
（ｉｉｉ）前記三次元付加再生情報の第１視点付加再生情報及び第２視点付加再生情報のうち１つの視点付加再生情報を、前記オフセットほど正の方向に、残りの視点付加再生情報を、前記オフセットほど負の方向に移動させる段階と、
（ｉｖ）前記三次元付加再生情報の第１視点付加再生情報及び第２視点付加再生情報のうち１つの視点付加再生情報の位置に対比して、残りの視点付加再生情報の位置を、前記オフセットほど移動させる段階と、のうちいずれか１つの段階を含むことを特徴とする請求項２に記載の付加再生情報の三次元再生のためのマルチメディア・ストリーム受信方法。
【請求項４】
前記ビデオＥＳ、オーディオＥＳ、付加データストリーム及び補助情報ストリームの抽出段階は、
前記ビデオＥＳから、前記ビデオと共に、前記ディスプレイ画面上に再生されるクローズドキャプション・データを抽出する段階と、
前記クローズドキャプションの三次元再生のための前記クローズドキャプションのデプス感情報を、前記ビデオＥＳ、前記ビデオＥＳのヘッダ、前記補助情報ストリームのうち少なくとも一つから抽出する段階と、を含むことを特徴とする請求項１に記載の付加再生情報の三次元再生のためのマルチメディア・ストリーム受信方法。
【請求項５】
前記ビデオＥＳ、オーディオＥＳ、付加データストリーム及び補助情報ストリームの抽出段階は、
前記付加データストリームとして、前記ビデオデータと共に再生されるためのサブタイトルデータに係わるサブタイトルデータストリームを抽出する段階と、
前記サブタイトルの三次元再生のための前記サブタイトルがデプス感情報を、前記付加データＰＥＳパケット及び前記付加データＰＥＳパケットのヘッダのうち少なくとも一つから抽出する段階と、をさらに含むことを特徴とする請求項１に記載の付加再生情報の三次元再生のためのマルチメディア・ストリーム受信方法。
【請求項６】
前記マルチメディア・ストリームが、ＡＮＳＩ／ＳＣＴＥ  American  National  Standard  Institute/Society  of  Cable  Telecommunications  Engineers）基盤のケーブル通信システムを介して受信された場合、前記サブタイトルのデプス感情報は、三次元サブタイトルのビットマップ及びフレームのうち少なくとも一つの移動量を示す視差情報、前記三次元サブタイトルのデプス情報及び座標情報のうち少なくとも一つを示すオフセット情報を含むことを特徴とする請求項５に記載の付加再生情報の三次元再生のためのマルチメディア・ストリーム受信方法。
【請求項７】
前記ビデオＥＳ、オーディオＥＳ、付加データストリーム及び補助情報ストリームの抽出段階は、
前記マルチメディア・ストリームが、ＤＶＢ（digital  video  broadcasting）基盤の通信システムを介して受信された場合、前記データストリームのページ構成セグメントの保留フィールドから、現在ページ内の領域別オフセット情報を抽出することを特徴とする請求項５に記載の付加再生情報の三次元再生のためのマルチメディア・ストリーム受信方法。
【請求項８】
前記ビデオＥＳ、オーディオＥＳ、付加データストリーム及び補助情報ストリームの抽出段階は、
前記ビデオと同時に再生されるためのＥＰＧ（electronic  program  guide）データ及び前記ＥＰＧ情報の三次元再生のための前記ＥＰＧ情報のデプス感情報を、前記補助情報ストリームから抽出する段階を含むことを特徴とする請求項１に記載の付加再生情報の三次元再生のためのマルチメディア・ストリーム受信方法。
【請求項９】
前記ビデオＥＳ、オーディオＥＳ、付加データストリーム及び補助情報ストリームの抽出段階は、
前記マルチメディア・ストリームが、ＡＴＳＣ（advanced  television  standards  committee）基盤の通信システムを介して受信された場合、前記ＥＰＧ情報のデプス感情報を、ＡＴＳＣのＰＳＩＰ（program  specific  information  protocol）テーブル内の叙述子フィールドから抽出することを特徴とする請求項８に記載の付加再生情報の三次元再生のためのマルチメディア・ストリーム受信方法。
【請求項１０】
前記ビデオＥＳ、オーディオＥＳ、付加データストリーム及び補助情報ストリームの抽出段階は、
前記マルチメディア・ストリームがＤＶＢ基盤の通信システムを介して受信された場合、前記ＥＰＧ情報のデプス感情報を、ＤＶＢのＳＩ（specific  information）テーブル内の叙述子フィールドから抽出することを特徴とする請求項９に記載の付加再生情報の三次元再生のためのマルチメディア・ストリーム受信方法。
【請求項１１】
二次元ビデオ及び三次元ビデオのうち少なくとも一つを含むビデオデータ、関連オーディオデータ、ディスプレイ画面上に前記ビデオデータと共に再生される付加再生情報のデータ及び前記付加再生情報の三次元再生のための付加再生情報のデプス感情報を含むように、ビデオＥＳ（elementary  stream）、オーディオＥＳ、付加データストリーム及び補助情報ストリームを生成する段階と、
前記ビデオＥＳ、前記オーディオＥＳ及び前記付加データストリームをパケット化し、ビデオＰＥＳ（packetized  elementary  stream）パケット、オーディオＰＥＳパケット、データＰＥＳパケット及び補助情報パケットを生成する段階と、
前記ビデオＰＥＳパケット、前記オーディオＰＥＳパケット、前記付加データＰＥＳパケット及び前記補助情報パケットを多重化し、ＴＳ（transport  stream）を生成する段階と、を含み、
前記付加再生情報のデプス感情報は、前記ビデオデータの三次元再生中、前記付加再生情報のデプス感を調節するための付加再生情報のオフセットについての情報を含むことを特徴とする付加再生情報の三次元再生のためのマルチメディア・ストリーム生成方法。
【請求項１２】
前記付加再生情報の三次元デプス感情報は、前記ビデオデータの三次元再生中、前記テキストのオフセット方向についての情報をさらに含むことを特徴とする請求項１１に記載の付加再生情報の三次元再生のためのマルチメディア・ストリーム生成方法。
【請求項１３】
二次元ビデオ及び三次元ビデオのうち少なくとも一つを含むビデオデータを含むマルチメディア・ストリームに係わるＴＳ（transport  stream）ストリームを受信する受信部と、
前記受信されたＴＳを逆多重化し、ビデオＰＥＳ（packetized  elementary  stream）パケット、オーディオＰＥＳパケット、付加データＰＥＳパケット及び補助情報パケットを抽出し、前記ビデオＰＥＳパケット、前記オーディオＰＥＳパケット、前記付加データＰＥＳパケット及び前記補助情報パケットから、ディスプレイ画面上に、前記ビデオと共に再生される付加再生情報のデータ及び前記付加再生情報の三次元再生のための前記付加再生情報のデプス感情報を含む、ビデオＥＳ（elementary  stream）ストリーム、オーディオＥＳ、付加データストリーム及び補助情報ストリームを抽出する逆多重化部と、
前記ビデオＥＳ、前記オーディオＥＳ、前記付加データストリーム及び前記補助情報ストリームから、ビデオデータ、オーディオデータ、付加データ及び前記付加再生データを復元し、前記付加再生情報の三次元再生のための情報を抽出する復号化部と、
前記復元されたビデオの再生と共に、前記付加再生情報のデプス感情報に基づいて、前記復元された付加再生情報を三次元で再生する再生部と、を含み、
前記付加再生情報のデプス感情報は、前記ビデオデータの三次元再生中、前記付加再生情報のデプス感を調節するための付加再生情報のオフセットについての情報を含むことを特徴とする付加再生情報の三次元再生のためのマルチメディア・ストリーム受信装置。
【請求項１４】
二次元ビデオ及び三次元ビデオのうち少なくとも一つを含むビデオデータ、関連オーディオデータ、ディスプレイ画面上に前記ビデオと共に再生される付加再生情報のデータ及び前記付加再生情報の三次元再生のための前記付加再生情報のデプス感情報を含む、ビデオＥＳ（elementary  stream）、オーディオＥＳ、付加データストリーム及び補助情報ストリームを生成し、前記ビデオＥＳ、前記オーディオＥＳ及び前記付加データストリームをパケット化し、ビデオＰＥＳ（packetized  elementary  stream）パケット、オーディオＰＥＳパケット、付加データＰＥＳパケット及び補助情報パケットを生成するプログラム符号化部と、
前記ビデオＰＥＳパケット、前記オーディオＰＥＳパケット、前記付加データＰＥＳパケット及び前記補助情報パケットを多重化し、ＴＳを生成するＴＳ生成部と、を含み、
前記付加再生情報のデプス感情報は、前記ビデオデータの三次元再生中、前記付加再生情報のデプス感を調節するための付加再生情報のオフセットについての情報を含むことを特徴とする付加再生情報の三次元再生のためのマルチメディア・ストリーム生成装置。
【請求項１５】
請求項１ないし請求項１２のうち、いずれか一項に記載の方法を具現するためのプログラムが記録されたコンピュータで読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、立体ビデオを含むマルチメディアの符号化及び復号化に関する。
【背景技術】
【０００２】
現実感と立体感とを伴った三次元コンテンツへの要求が高まっている。三次元で再生されるように制作された放送用コンテンツまたはプログラムも登場している。
【０００３】
プログラムは、相互関連するビデオ及情報びオーディオ情報を提供し、プログラムまたはチャネルについての付加説明または、日時及び場所のような付加情報を提供するために、ビデオと共に画面上に再生される視覚資料が付加されもする。
【０００４】
例えば、デジタルＴＶ（ＤＴＶ）のクローズドキャプション（closed  caption）は、ＴＶプログラム・ストリーム内の一定領域に存在する字幕データであり、一般的にＴＶ画面上に表示されないが、ユーザの選択によって、ＴＶ画面上に表示されもする。クローズドキャプションは、聴覚障害者のために提供されたり、語学用などの付加的な用途に広く使われている。
【０００５】
デジタルＴＶのサブタイトル（subtitle）は、キャラクタ、ビットマップなどのイメージ、フレーム、アウトラインまたはシャドーなどを利用し、テキストに比べて、視覚的効果が強化された視覚資料であり、ビデオと共に画面上に表示されもする。
【０００６】
デジタルＴＶのＥＰＧ（electronic  program  guide）情報は、ＴＶ画面上に表示され、チャネルまたはプログラム情報を提供するので、視聴者がチャネルを転換したり、現チャネルプログラムの付加情報を確認するために、ＥＰＧ情報を利用することができる。
【０００７】
三次元ビデオが再生される場合、画面上にビデオと共に再生される付加的な視覚資料の処理方式が研究されている。
【発明の概要】
【発明が解決しようとする課題】
【０００８】
本発明は、画面上に三次元ビデオと共に、三次元付加再生情報を安定的に再生するために、ステレオスコーピックビデオを含むマルチメディア・ストリームの符号化及び復号化の方法及び装置が提供される。
【課題を解決するための手段】
【０００９】
本発明の一実施形態による付加再生情報の三次元再生のためのマルチメディア・ストリーム生成方法は、二次元ビデオ及び三次元ビデオのうち少なくとも一つを含むビデオデータ、関連オーディオデータ、ディスプレイ画面上に前記ビデオデータと共に再生される付加再生情報のデータ、及び前記付加再生情報の三次元再生のための情報を含むように、ビデオＥＳ（elementary  stream）、オーディオＥＳ、付加データストリーム及び補助情報ストリームを生成する段階と、前記ビデオＥＳ、前記オーディオＥＳ及び前記付加データストリームをパケット化し、ビデオＰＥＳ（packetized  elementary  stream）パケット、オーディオＰＥＳパケット、データＰＥＳパケット及び補助情報パケットを生成する段階と、前記ビデオＰＥＳパケット、前記オーディオＰＥＳパケット、前記付加データＰＥＳパケット及び前記補助情報パケットを多重化し、ＴＳ（transport  stream）を生成する段階と、を含む。
【発明の効果】
【００１０】
既存のＭＰＥＧ  ＴＳ方式に基づくＤＶＢ方式、ＡＴＳＣ方式、ケーブル方式などの多様な通信方式との互換性を維持し、三次元ビデオの再生と共に、安定して三次元付加再生情報を具現するためのマルチメディア・ストリームが視聴者に提供される。
【図面の簡単な説明】
【００１１】
【図１】一実施形態による付加再生情報の三次元再生のためのマルチメディア・ストリーム生成装置のブロック図である。
【図２】一実施形態による付加再生情報の三次元再生のためのマルチメディア・ストリーム受信装置のブロック図である。
【図３】三次元ビデオ及び三次元付加再生情報が同時に再生される場面を図示する図である。
【図４】三次元ビデオ及び三次元付加再生情報が逆転されて再生される現象を図示する図である。
【図５】各種付加再生データが含まれるＭＰＥＧ（moving  picture  experts  group）ＴＳ（transport  stream）構造を図示する図である。
【図６】第１実施形態によるクローズドキャプション再生部の細部ブロック図である。
【図７】第１実施形態によって、クローズドキャプションのデプス感を調節する画面の透視図を図示する図である。
【図８】第１実施形態によって、クローズドキャプションのデプス感を調節する画面の平面図を図示する図である。
【図９】第１実施形態によるマルチメディア・ストリーム受信装置が三次元キャプション強調情報及びクローズドデータのオフセット情報を利用する方法のフローチャートである。
【図１０】第１実施形態によるマルチメディア・ストリーム受信装置がクローズドキャプションの三次元再生安全性情報を利用する方法のフローチャートである。
【図１１】第１実施形態によるクローズドキャプションの三次元再生安全性情報に基づいて、安全性が保証されない場合に行われる後処理方法の一例を図示する図である。
【図１２】第１実施形態によるクローズドキャプションの三次元再生安全性情報に基づいて、安全性が保証されない場合に行われる後処理方法の他の例を図示する図である。
【図１３】第１実施形態によるクローズドキャプションの三次元再生安全性情報に基づいて、安全性が保証されない場合に行われる後処理方法の他の例を図示する図である。
【図１４】第１実施形態によるクローズドキャプションの三次元再生安全性情報に基づいて、安全性が保証されない場合に行われる後処理方法のさらに他の例を図示する図である。
【図１５】第１実施形態によるクローズドキャプションの三次元再生安全性情報に基づいて、安全性が保証されない場合に行われる後処理方法のさらに他の例を図示する図である。
【図１６】第２実施形態及び第３実施形態によって、サブタイトルの三次元再生のためのデータストリーム生成装置のブロック図である。
【図１７】ＤＶＢ通信方式によるサブタイトルデータの階層的構造を図示する図である。
【図１８】ＤＶＢ通信方式によって、サブタイトルＰＥＳパケットを指すＰＭＴ（program  map  table）内のサブタイトル叙述子の２種表現方式を図示する図である。
【図１９】ＤＶＢ通信方式によって、サブタイトルＰＥＳパケットを指すＰＭＴ（program  map  table）内のサブタイトル叙述子の２種表現方式を図示する図である。
【図２０】ＤＶＢ通信方式によるサブタイトルデータを含むデータストリーム構造の一例を図示する図である。
【図２１】ＤＶＢ通信方式によるコンポジションページの構造の一例を図示する図である。
【図２２】ＤＶＢ通信方式によるサブタイトル復号化モデルのフローチャートである。
【図２３】符号化データバッファ（coded  data  buffer）、構成バッファ（composition  buffer）、ピクセルバッファ（pixel  buffer）に保存されたサブタイトル関連データを図示する図である。
【図２４】符号化データバッファ（coded  data  buffer）、構成バッファ（composition  buffer）、ピクセルバッファ（pixel  buffer）に保存されたサブタイトル関連データを図示する図である。
【図２５】符号化データバッファ（coded  data  buffer）、構成バッファ（composition  buffer）、ピクセルバッファ（pixel  buffer）に保存されたサブタイトル関連データを図示する図である。
【図２６】第２実施形態によるサブタイトルの領域別デプス感調節方式を図示する図である。
【図２７】第２実施形態によるサブタイトルのページ別デプス感調節方式を図示する図である。
【図２８】ケーブル放送方式によるサブタイトルのビットマップ・フォーマットの構成要素を図示する図である。
【図２９】ケーブル放送方式によるサブタイトルの三次元再生のためのサブタイトル処理モデルのフローチャートである。
【図３０】ケーブル放送方式によるサブタイトル処理モデルを介して、サブタイトルがディスプレイキューからグラフィック平面に出力される過程を図示する図である。
【図３１】第３実施形態によるケーブル放送方式によるサブタイトルの三次元再生のためのサブタイトル処理モデルのフローチャートを図示する図である。
【図３２】第３実施形態によって、ケーブル放送方式によるサブタイトルのデプス感を調節する一実施形態を図示する図である。
【図３３】第３実施形態によって、ケーブル放送方式によるサブタイトルのデプス感を調節する他の実施形態を図示する図である。
【図３４】第３実施形態によって、ケーブル放送方式によるサブタイトルのデプス感を調節するさらに他の実施形態を図示する図である。
【図３５】ＥＰＧ情報を伝送するデジタル通信システムのブロック図である。
【図３６】ＡＴＳＣ通信方式によって、ＥＰＧ情報が収録されるＰＳＩＰテーブルを図示する図である。
【図３７】ＤＶＢ通信方式によって、ＥＰＧ情報が収録されるＳＩテーブルを図示する図である。
【図３８】ＥＰＧ情報が図示された画面及びそれぞれの情報のソースを図示する図である。
【図３９】第４実施形態によるＴＳ復号化システムのブロック図である。
【図４０】第４実施形態によるＴＳ復号化システムのうち、ディスプレイ処理部のブロック図である。
【図４１】一実施形態による付加再生情報の三次元再生のためのマルチメディア・ストリーム生成方法のフローチャートである。
【図４２】一実施形態による付加再生情報の三次元再生のためのマルチメディア・ストリーム受信方法のフローチャートである。
【発明を実施するための形態】
【００１２】
本発明の一実施形態による付加再生情報の三次元再生のためのマルチメディア・ストリーム生成方法は、二次元ビデオ及び三次元ビデオのうち少なくとも一つを含むビデオデータ、関連オーディオデータ、ディスプレイ画面上に前記ビデオデータと共に再生される付加再生情報のデータ、及び前記付加再生情報の三次元再生のための情報を含むように、ビデオＥＳ（elementary  stream）、オーディオＥＳ、付加データストリーム及び補助情報ストリームを生成する段階と、前記ビデオＥＳ、前記オーディオＥＳ及び前記付加データストリームをパケット化し、ビデオＰＥＳ（packetized  elementary  stream）パケット、オーディオＰＥＳパケット、データＰＥＳパケット及び補助情報パケットを生成する段階と、前記ビデオＰＥＳパケット、前記オーディオＰＥＳパケット、前記付加データＰＥＳパケット及び前記補助情報パケットを多重化し、ＴＳを生成する段階と、を含む。
【００１３】
一実施形態による前記付加再生情報の三次元再生のための情報は、前記ビデオデータの三次元再生中、前記付加再生情報のデプス感を調節するための付加再生情報のオフセット（offset）の量についての情報を含む。一実施形態による前記テキストのオフセットは、三次元付加再生情報の第１視点付加再生情報及び第２視点付加再生情報間のデプス（depth）差、変異（disparity）及び両眼視差（parallax）のうち１単位で表現された前記三次元付加再生情報の変位（displacement）を示す視差、前記三次元付加再生情報の座標及びデプスのうち少なくとも一つを示すことができる。
【００１４】
一実施形態による前記付加再生情報の三次元再生のための情報は、前記ビデオデータの三次元再生中、前記テキストのオフセット方向についての情報をさらに含んでもよい。一実施形態による前記付加再生情報の三次元再生のための情報は、前記付加再生情報のオフセットが、デプスが原点である基本平面（zero  plane）に対比した第１変位、及び前記付加再生情報と共に再生されるビデオのデプス、変異及び両眼視差のうち少なくとも一つに対比した第２変位のうちいずれか一つで表現されたかを示すオフセットタイプ情報をさらに含んでもよい。一実施形態による前記付加再生情報の三次元再生のための情報は、前記テキストデータの二次元または三次元の識別情報、前記テキストデータの再生時、ビデオを二次元で再生するか否かを示すビデオ二次元再生情報、前記テキストデータが表示される領域の識別情報、前記テキストデータが表示される時間関連情報、及び前記付加再生情報の三次元再生安全性情報のうち少なくとも一つをさらに含んでもよい。
【００１５】
一実施形態による前記ビデオＥＳ、オーディオＥＳ、付加データストリーム及び補助情報ストリーム生成段階は、前記ビデオＥＳに前記ビデオデータと共に、前記ディスプレイ画面上に再生されるためのクローズドキャプション（closed  caption）データを挿入する段階を含んでもよい。一実施形態による前記ビデオＥＳ、オーディオＥＳ、付加データストリーム及び補助情報ストリーム生成段階は、前記クローズドキャプションの三次元再生のための情報を、前記ビデオＥＳ、前記ビデオＥＳのヘッダ、前記付加データのうち少なくとも一つに挿入する段階を含んでもよい。一実施形態による前記クローズドキャプションの三次元再生のための情報は、前記クローズドキャプション・データを代替して、三次元クローズドキャプション強調用データを利用するか否かを示す三次元キャプション強調情報を含んでもよい。
【００１６】
一実施形態による前記ビデオＥＳ、オーディオＥＳ、付加データストリーム及び補助情報ストリーム生成段階は、前記付加データストリームとして、前記ビデオデータと共に、前記ディスプレイ画面上に再生されるサブタイトル（subtitle）データに係わるデータストリームを生成する段階を含んでもよい。一実施形態による前記ビデオＥＳ、オーディオＥＳ、付加データストリーム及び補助情報ストリーム生成段階は、前記サブタイトルの三次元再生のための情報を、前記付加データＰＥＳパケット及び前記付加データＰＥＳパケットのヘッダのうち、少なくとも一つに挿入する段階をさらに含んでもよい。
【００１７】
前記マルチメディア・ストリームがＡＮＳＩ／ＳＣＴＥ（American  National  Strandard  Institute／Society  of  Cable  Telecommunications  Engineers）基盤のケーブル通信システムによって生成される場合、一実施形態による前記サブタイトルの三次元再生のための情報は、三次元サブタイトルのビットマップ及びフレームのうち少なくとも１つの変位を示す視差情報、前記三次元サブタイトルのデプス情報及び座標情報のうち少なくとも一つを示す視差情報を含んでもよい。
【００１８】
一実施形態による前記ビデオＥＳ、オーディオＥＳ、付加データストリーム及び補助情報ストリーム生成段階は、前記マルチメディア・ストリームがＤＶＢ基盤の通信システムによって生成される場合、前記データストリームのページ構成セグメント（page  composition  segment）の保留フィールドに、現在ページ内の領域別オフセット情報を挿入してもよい。
【００１９】
一実施形態による前記ビデオＥＳ、オーディオＥＳ、付加データストリーム及び補助情報ストリーム生成段階は、前記ビデオデータと共に、前記ディスプレイ画面上に再生されるＥＰＧ（electronic  programguide）情報、及び前記ＥＰＧ情報の三次元再生のための情報を前記補助情報ストリームに挿入する段階を含んでもよい。一実施形態による前記ビデオＥＳ、オーディオＥＳ、付加データストリーム及び補助情報ストリーム生成段階は、前記マルチメディア・ストリームがＡＴＳＣ基盤の通信システムによって生成される場合、前記ＥＰＧ情報の三次元再生のための情報は、ＡＴＳＣのＰＳＩＰ（program  specific  information  protocol）テーブル内の叙述子（descriptor）フィールドに挿入される。一実施形態による前記ビデオＥＳ、オーディオＥＳ、付加データストリーム及び補助情報ストリーム生成段階は、前記マルチメディア・ストリームがＤＶＢ基盤の通信システムによって生成される場合、ＤＶＢのＳＩ（service  information）テーブル内の叙述子フィールドに、前記ＥＰＧ情報の三次元再生のための情報を挿入することもできる。
【００２０】
本発明の一実施形態による付加再生情報の三次元再生のためのマルチメディア・ストリーム受信方法は、マルチメディア・ストリームに係わるＴＳを受信して逆多重化し、ビデオＰＥＳパケット、オーディオＰＥＳパケット、付加データＰＥＳパケット及び補助情報パケットを抽出する段階と、前記ビデオＰＥＳパケット、前記オーディオＰＥＳパケット、前記データＰＥＳパケット及び前記補助情報パケットから、二次元ビデオ及び三次元ビデオのうち少なくとも一つを含むビデオデータに対して再生されるための付加再生情報のデータ、及び前記付加再生情報の三次元再生のための情報を含む、ビデオＥＳ、オーディオＥＳ、付加データストリーム及び補助情報ストリームを抽出する段階と、前記ビデオＥＳ、前記オーディオＥＳ、前記付加データストリーム及び前記補助情報ストリームからビデオデータ、オーディオデータ、付加データ、及び前記付加再生データを復元し、前記付加再生情報の三次元再生のための情報を抽出する段階と、前記復元されたビデオの再生と共に、前記復元された付加再生情報の三次元再生のための情報に基づいて、前記付加再生情報を三次元で再生する段階と、を含む。
【００２１】
一実施形態による前記付加再生情報の三次元再生段階は、前記付加再生情報の三次元再生のための情報において、前記付加再生情報のオフセット値及びオフセット方向に基づいて、前記付加再生情報を前記オフセットほど正または負の方向に移動させる段階を含み、前記オフセットは、前記ビデオデータのデプス、変異及び両眼視差のうち一つで表現された前記付加再生情報の変位を示すことができる。
【００２２】
一実施形態による前記付加再生情報の三次元再生段階は、前記ビデオ二次元再生情報に基づいて、前記付加再生情報を三次元で再生するとき、当該ビデオは、二次元で再生する段階を含んでもよい。一実施形態による前記付加再生情報の三次元再生段階は、前記付加再生情報が表示される時間関連情報に基づいて、前記付加再生情報及び当該ビデオを同期化する段階を含んでもよい。
【００２３】
一実施形態による前記付加再生情報の三次元再生段階は、前記付加再生情報の三次元再生安全性情報に基づいて、前記付加再生情報の三次元再生の安全性を決定する段階を含んでもよい。一実施形態による前記付加再生情報の三次元再生段階は、前記付加再生情報の三次元再生安全性があると決定されれば、前記付加再生情報を三次元で再生する段階をさらに含んでもよい。
【００２４】
一実施形態による前記付加再生情報の三次元再生段階は、前記付加再生情報の三次元再生安全性がないと決定されれば、当該ビデオの変異と、前記付加再生情報のオフセットとを比較する段階をさらに含んでもよい。一実施形態による、前記付加再生情報の三次元再生段階は、前記当該ビデオデータの変異と、前記付加再生情報のオフセットとの比較結果、前記付加再生情報のオフセットが、前記当該ビデオデータの変異の安全区間に属すか否かによって、前記テキストデータの三次元再生を決定する段階をさらに含んでもよい。一実施形態による前記付加再生情報の三次元再生段階は、前記当該ビデオの変異と、前記付加再生情報のオフセットとの比較結果、前記付加再生情報のオフセットが、前記当該ビデオの変異の安全区間に属さない場合、前記付加再生情報を後処理作業後に再生する段階をさらに含んでもよい。
【００２５】
一実施形態による前記ビデオＥＳ、オーディオＥＳ、付加データストリーム及び補助情報ストリーム抽出段階は、前記ビデオＥＳから、前記ビデオと共に、前記ディスプレイ画面上に再生されるクローズドキャプション・データを抽出する段階を含んでもよい。一実施形態による前記ビデオＥＳ、オーディオＥＳ、付加データストリーム及び補助情報ストリーム抽出段階は、前記クローズドキャプションの三次元再生のための情報を、前記ビデオＥＳ、前記ビデオＥＳのヘッダ、前記補助情報ストリームのうち少なくとも一つから抽出する段階を含んでもよい。一実施形態による前記クローズドキャプションの三次元再生のための情報は、前記クローズドキャプション・データを代替し、三次元クローズドキャプション強調用データを利用するか否かを示す三次元キャプション強調情報を含んでもよい。一実施形態による前記付加再生情報の三次元再生段階は、前記クローズドキャプションの三次元再生のための情報に基づいて、前記クローズドキャプション・データを三次元で再生することができる。
【００２６】
一実施形態による前記ビデオＥＳ、オーディオＥＳ、付加データストリーム及び補助情報ストリーム抽出段階は、前記付加データストリームとして、前記ビデオデータと同時に再生されるためのサブタイトルデータに係わるサブタイトルデータ・ストリームを抽出する段階を含んでもよい。一実施形態による前記ビデオＥＳ、オーディオＥＳ、付加データストリーム及び補助情報ストリーム抽出段階は、前記サブタイトルの三次元再生のための情報を、前記付加データＰＥＳパケット及び前記付加データＰＥＳパケットのヘッダのうち少なくとも一つから抽出する段階をさらに含んでもよい。
【００２７】
前記マルチメディア・ストリームがＡＮＳＩ／ＳＣＴＥ基盤のケーブル通信システムを介して受信された場合、一実施形態による前記サブタイトルの三次元再生のための情報は、三次元サブタイトルのビットマップ及びフレームのうち少なくとも１つの変位を示す視差情報、前記三次元サブタイトルのデプス情報及び座標情報のうち少なくとも一つを示すオフセット情報を含んでもよい。一実施形態による前記ビデオＥＳ、オーディオＥＳ、付加データストリーム及び補助情報ストリーム抽出段階は、前記マルチメディア・ストリームがＤＶＢ基盤の通信システムを介して受信された場合、前記データストリームのページ構成セグメントの保留フィールドから、現在ページ内の領域別オフセット情報を抽出することができる。一実施形態による前記付加再生情報の三次元再生段階は、前記サブタイトルの三次元再生のための情報に基づいて、前記サブタイトルデータを三次元で再生することができる。
【００２８】
一実施形態による前記ビデオＥＳ、オーディオＥＳ、付加データストリーム及び補助情報ストリーム抽出段階は、前記ビデオと同時に再生されるためのＥＰＧ（electronic  program  guide）データ、及び前記ＥＰＧ情報の三次元再生のための情報を、前記補助情報ストリームから抽出する段階を含んでもよい。一実施形態による前記ビデオＥＳ、オーディオＥＳ、付加データストリーム及び補助情報ストリーム抽出段階は、前記ＥＰＧ情報の三次元再生のための情報を、ＡＴＳＣ−ＰＳＩＰテーブル内の叙述子フィールド、またはＤＶＢ−ＳＩテーブル内の叙述子フィールドから抽出することができる。一実施形態による前記付加再生情報の三次元再生段階は、前記ＥＰＧ情報の三次元再生のための情報に基づいて、前記ＥＰＧ情報を三次元で再生することができる。
【００２９】
本発明の一実施形態による付加再生情報の三次元再生のためのマルチメディア・ストリーム生成装置は、二次元ビデオ及び三次元ビデオのうち少なくとも一つを含むビデオデータ、関連オーディオデータ、ディスプレイ画面上に前記ビデオと共に再生される付加再生情報のデータ、及び前記付加再生情報の三次元再生のための情報を含む、ビデオＥＳ、オーディオＥＳ、付加データストリーム及び補助情報ストリームを生成し、前記ビデオＥＳ、前記オーディオＥＳ及び前記付加データストリームをパケット化し、ビデオＰＥＳストリーム、オーディオＰＥＳパケット、付加データＰＥＳパケット及び補助情報パケットを生成するプログラム符号化部と、及び前記ビデオＰＥＳパケット、前記オーディオＰＥＳパケット、前記付加データＰＥＳパケット及び前記補助情報パケットを多重化し、ＴＳを生成するＴＳ生成部と、を含む。
【００３０】
一実施形態による付加再生情報の三次元再生のためのマルチメディア・ストリーム受信装置は、二次元ビデオ及び三次元ビデオのうち少なくとも一つを含むビデオデータを含むマルチメディア・ストリームに係わるＴＳを受信する受信部と、前記受信されたＴＳを逆多重化し、ビデオＰＥＳパケット、オーディオＰＥＳパケット、付加データＰＥＳパケット及び補助情報パケットを抽出し、前記ビデオＰＥＳパケット、前記オーディオＰＥＳパケット、前記付加データＰＥＳパケット及び前記補助情報パケットから、ディスプレイ画面上に前記ビデオと共に再生される付加再生情報のデータ、及び前記付加再生情報の三次元再生のための情報を含む、ビデオＥＳ、オーディオＥＳ、付加データストリーム及び補助情報ストリームを抽出する逆多重化部と、前記ビデオＥＳ、前記オーディオＥＳ、前記付加データストリーム及び前記補助情報ストリームからビデオデータ、オーディオデータ、付加データ、及び前記付加再生データを復元し、前記付加再生情報の三次元再生のための情報を抽出する復号化部と、前記復元されたビデオの再生と共に、前記付加再生情報の三次元再生のための情報に基づいて、前記復元された付加再生情報を三次元で再生する再生部と、を含む。
【００３１】
本発明の一実施形態による付加再生情報の三次元再生のためのマルチメディア・ストリーム生成方法を具現するためのプログラムが記録されたコンピュータで読み取り可能な記録媒体を含む。また本発明は、一実施形態による付加再生情報の三次元再生のためのマルチメディア・ストリーム受信方法を具現するためのプログラムが記録されたコンピュータで読み取り可能な記録媒体を含む。
【００３２】
以下、図１ないし図４２を参照し、本発明の一実施形態による付加再生情報の三次元再生のためのマルチメディア・ストリーム生成装置及びマルチメディア・ストリーム受信装置と、付加再生情報の三次元再生のためのマルチメディア・ストリーム生成方法及びマルチメディア・ストリーム受信方法とについて説明する。構成要素の目録前に使われる「〜のうち少なくとも一つ」のような表現は、構成要素のリスト全体に対して限定する表現であり、リストにおいてそれぞれの構成要素を限定するためのものではない。
【００３３】
本明細書で付加再生情報は、プログラムと関連して、画面上にビデオと共にディスプレイされる情報であり、クローズドキャプション（closed  caption）、サブタイトル（subtitle）及びＥＰＧ（electronic  program  guide）情報を含んでもよい。本発明は、クローズドキャプション、サブタイトル及びＥＰＧ情報が三次元で再生されるための多様な実施形態を開示する。具体的には、図６ないし図１５を参照して、ＣＥＡ（Consumer  Electronics  Association）方式によるクローズドキャプションに係わる実施形態、図１６ないし図３４を参照して、サブタイトルに係わる実施形態、及び図３５ないし図４０を参照して、ＥＰＧ情報に係わる実施形態について説明する。
【００３４】
図１は、一実施形態による付加再生情報の三次元再生のためのマルチメディア・ストリーム生成装置のブロック図を図示している。
【００３５】
一実施形態による付加再生情報の三次元再生のためのマルチメディア・ストリーム生成装置１００（以下、「マルチメディア・ストリーム生成装置」とする）は、プログラム符号化部１１０、ＴＳ（transport  stream）生成部（１２０）及び伝送部（１３０）を含む。
【００３６】
一実施形態によるプログラム符号化部１１０は、符号化されたビデオデータ、符号化されたオーディオデータと共に、付加再生情報のデータを入力される。以下、説明の便宜のために、画面上にビデオと共にディスプレイされるクローズドキャプション、サブタイトル及びＥＰＧ情報のような付加再生情報のデータとして、ストリーム上に挿入されるデータを「付加再生データ」という。
【００３７】
一実施形態によるプログラム符号化部１１０によって生成されるプログラムのビデオデータは、二次元ビデオデータ及び三次元ビデオデータのうち少なくとも一つを含む。一実施形態によるプログラムと関連した付加再生データは、プログラムに係わるクローズドキャプションデータ、サブタイトルデータ及びＥＰＧデータを含んでもよい。
【００３８】
また、一実施形態による付加再生データは、三次元ビデオデータと共に三次元で再生されるように、付加再生情報のデプス感が調節される。このために、一実施形態によるプログラム符号化部１１０は、符号化されたビデオデータ、符号化されたオーディオデータ、付加再生データと共に、付加再生情報の三次元再生のための情報を含むビデオＥＳ（elementary  stream）、オーディオＥＳ、付加データストリーム及び補助情報ストリームを生成する。
【００３９】
付加データは、ビデオデータ及びオーディオデータ以外のコントロール・データなどの各種データを含んでもよい。補助情報ストリームは、ＰＭＴ（program  map  table）、ＰＡＴ（program  association  table）などのＰＳＩ情報（program  specific  information）、ＡＴＳＣ  ＰＳＩＰ（advanced  television  standards  committee  program  specific  information  protocol）情報またはＤＶＢ  ＳＩ（digital  video  broadcasting  service  information）情報などのセクション情報を含んでもよい。
【００４０】
一実施形態によるプログラム符号化部１１０は、ビデオＥＳ、オーディオＥＳ及び付加データストリームをパケット化し、ビデオＰＥＳ（packetized  elementary  stream）パケット、オーディオＰＥＳパケット、付加データＰＥＳパケットを生成し、補助情報パケットを生成する。
【００４１】
一実施形態によるＴＳ生成部１２０は、プログラム符号化部１１０から出力されたビデオＰＥＳパケット、オーディオＰＥＳパケット、付加データＰＥＳパケット及び補助情報パケットを多重化し、ＴＳを生成する。一実施形態による伝送部１３０は、ＴＳ生成部１２０から出力されたＴＳを、所定チャネルを介して伝送する。
【００４２】
一実施形態によるプログラム符号化部１１０によって、プログラムと共にマルチメディア・ストリームに挿入されて伝送される付加再生情報の三次元再生のための情報は、三次元ビデオの再生時、三次元で再生される付加再生情報のデプス感を調節するための情報を含む。
【００４３】
付加再生情報のデプス感を調節するための情報の一例として、左視点映像のための左視点付加再生情報及び右視点映像のための右視点付加再生情報間のデプス（depth）差、変異（disparity）、両眼視差（parallax）などの視差情報、各視点別付加再生情報の座標情報またはデプス情報などを含む付加再生情報のオフセット情報であってもよい。以下、多様な実施形態で、オフセット情報のうち、変異、座標など、いずれか一つだけ例示されるとしても、各視点別に異なるオフセット情報についても、同じ方式の実施形態が具現される。
【００４４】
一実施形態による付加再生情報のオフセットは、三次元ビデオのうち、第１視点付加再生情報及び第２視点付加再生情報において、１視点の付加再生情報の位置に対比して、残りの視点ビデオについての付加再生情報の変位を示すことができる。また、付加再生情報のオフセットは、現在ビデオのデプス、変異及び両眼視差のうち一つに対比して、視点別付加再生情報の変位を示すこともできる。
【００４５】
また、一実施形態による付加再生情報のオフセットは、付加再生情報の相対的なデプス、変異または両眼視差ではなく、基本平面（zero  parallax、zero  plane）についての付加再生情報の絶対的位置を含むこともできる。
【００４６】
一実施形態による付加再生情報の三次元再生のための情報は、前記付加再生情報のオフセット方向についての情報をさらに含む。一実施形態による付加再生情報のオフセット方向は、三次元ビデオの第１視点付加再生情報に対して正の方向に設定され、第２視点付加再生情報に対して負の方向に設定される。
【００４７】
一実施形態による付加再生情報の三次元再生のための情報は、付加再生情報のオフセット量が、基本平面に対比した絶対的な位置を示す第１オフセットタイプ、及びビデオデータに対比した相対的変位で示す第２オフセットタイプのうち、いずれか一つであるかを示すオフセットタイプ情報をさらに含んでもよい。
【００４８】
また、一実施形態による付加再生情報の三次元再生のための情報は、付加再生情報の二次元／三次元識別情報、付加再生情報の再生時、ビデオデータを二次元で再生するか否かを示すビデオ二次元再生情報、付加再生情報が表示される領域の識別情報、付加再生情報が表示される時間関連情報、及び付加再生情報の三次元再生安全性情報のうち少なくとも一つをさらに含んでもよい。
【００４９】
マルチメディア・ストリームがＭＰＥＧ−２（moving  picture  expert  group−２）基盤のデータ通信システムによって符号化される場合、一実施形態によるプログラム符号化部１１０は、三次元ビデオについての両眼視差情報、変異情報及びデプス情報のうち少なくとも一つを、ビデオＥＳにおいて、parallax  info  extensionフィールド、デプスマップ（depth  map）及びクローズドキャプションデータ・フィールドの保留（reserved）フィールドのうち少なくとも一つに挿入してもよい。
【００５０】
また、マルチメディア・ストリームが、ＩＳＯ（International  Organization  for  Standardization）基盤のメディアファイル・フォーマットで生成される場合、一実施形態によるプログラム符号化部１１０は、三次元ビデオについての両眼視差情報、変異情報及びデプス情報のうち少なくとも一つを、メディアファイル・フォーマット内のステレオスコーピックカメラ及びディスプレイ関連情報が含まれるＳＣＤＩ（stereoscopic  camera  and  display  information）領域に挿入することもできる。
【００５１】
付加再生情報が、クローズドキャプション、サブタイトルまたはＥＰＧ情報であるか否かによって、一実施形態によるプログラム符号化部１１０の動作が異なる。
【００５２】
第１実施形態によるプログラム符号化部１１０は、ＣＥＡ標準によるクローズドキャプション・データをビデオＥＳに挿入する。第１実施形態によるプログラム符号化部１１０は、クローズドキャプションの三次元再生のための情報（以下、「クローズドキャプション三次元再生情報」と縮約する）を、ビデオＥＳ、ビデオＥＳのヘッダまたはセクションに挿入してもよい。第１実施形態によるクローズドキャプション三次元再生情報は、前述の付加再生情報の三次元再生のための情報だけではなく、クローズドキャプション・データを代替し、三次元クローズドキャプション強調用データを利用するか否かを示す三次元キャプション強調情報をさらに含んでもよい。
【００５３】
第２実施形態によるマルチメディア・ストリーム生成装置１００が、ＡＮＳＩ／ＳＣＴＥ（American  National  Standard  Institute／Society  of  Cable  Telecommunications  Engineers）方式に従う場合、第２実施形態によるプログラム符号化部１１０は、ビデオＥＳ、オーディオＥＳだけではなく、サブタイトルデータを含むデータストリームを生成し、サブタイトルＰＥＳパケットを生成することができる。第２実施形態によるプログラム符号化部１１０は、サブタイトルの三次元再生のための情報（以下、「サブタイトル三次元再生情報」と縮約する）を、サブタイトルＰＥＳパケット及びサブタイトルＰＥＳパケットのヘッダのうち少なくとも一つに挿入してもよい。第２実施形態によるサブタイトル三次元再生情報のうちサブタイトル・オフセット情報は、サブタイトルのビットマップ及びフレームのうち少なくとも１つの変位に係わる情報であってもよい。
【００５４】
第２実施形態によるプログラム符号化部１１０は、第２実施形態によるサブタイトルデータ内のサブタイトルメッセージ・フィールドの保留フィールドに、サブタイトルのキャラクタ要素及びフレーム要素にいずれも適用されるオフセット情報を挿入してもよい。または、第２実施形態によるプログラム符号化部１１０は、サブタイトルデータに、サブタイトルのキャラクタ要素についてのオフセット情報、及びフレーム要素についてのオフセット情報を別途に追加的に挿入することもできる。
【００５５】
第２実施形態によるプログラム符号化部１１０は、サブタイトルタイプ情報として、三次元サブタイトルのうち、付加視点サブタイトルについてのサブタイトルタイプ情報を追加することができる。これによって、第２実施形態によるプログラム符号化部１１０は、サブタイトルデータに、付加視点ビデオデータに係わる付加視点サブタイトルの座標情報を追加して挿入してもよい。
【００５６】
第２実施形態によるプログラム符号化部１１０は、サブタイトルタイプ情報として、サブタイトル変異タイプを追加し、サブタイトルデータに、三次元ビデオのうち、基本視点ビデオのサブタイトルに対比した付加視点ビデオのサブタイトルの変異情報を追加して挿入してもよい。
【００５７】
第３実施形態によるマルチメディア・ストリーム生成装置１００がＤＶＢ（digital  video  broadcasting）方式に従う場合、第３実施形態によるプログラム符号化部１１０は、ビデオＥＳ、オーディオＥＳだけではなく、サブタイトルデータを含む付加データストリームを生成し、サブタイトルＰＥＳパケットを生成することができる。この場合、第３実施形態によるプログラム符号化部１１０は、サブタイトルデータを前記データストリーム内のサブタイトル・セグメントの形態で挿入してもよい。
【００５８】
また第３実施形態によるプログラム符号化部１１０は、サブタイトルを三次元で再生するための情報は、ページ構成セグメント（page  composition  segment）内の保留（reserved）フィールドに挿入してもよい。第３実施形態によるプログラム符号化部１１０は、ページ構成セグメントに、サブタイトルのページ別オフセット情報、及びサブタイトルの現在ページ内の領域別オフセット情報のうち少なくとも一つを追加して挿入してもよい。
【００５９】
第４実施形態によるプログラム符号化部１１０は、ビデオデータと同時に再生されるためのＥＰＧ情報と、ＥＰＧ情報の三次元再生のための情報（以下、「ＥＰＧ三次元再生情報」と縮約する）を、セクションに挿入してもよい。
【００６０】
第４実施形態によるマルチメディア・ストリーム生成装置１００がＡＴＳＣ方式に従う場合、第４実施形態によるプログラム符号化部１１０は、ＥＰＧ情報の三次元再生のための情報を、ＡＴＳＣのＰＳＩＰ（program  specific  information  protocol）テーブル内の叙述子（descriptor）フィールドに挿入してもよい。具体的には、ＡＴＳＣのＰＳＩＰテーブルのうち、ＴＶＣＴ（terrestrial  virtual  channel  table）セクション、ＥＩＴ（event  information  table）セクション、ＥＴＴ（extended  text  table）セクション、ＲＲＴ（rating  region  table）セクション及びＳＴＴ（system  time  table）セクションのうち、少なくとも１セクション内の叙述子フィールドに、ＥＰＧ情報の三次元再生のための情報が挿入される。
【００６１】
第４実施形態によるマルチメディア・ストリーム生成装置１００がＤＶＢ方式に従う場合、第４実施形態によるプログラム符号化部１１０は、ＤＶＢのＳＩ（service  information）テーブル内の叙述子フィールドに、ＥＰＧ情報の三次元再生のための情報を挿入してもよい。具体的には、ＳＩテーブルにおいて、ＮＩＴ（network  information  table）セクション、ＳＤＴ（service  description  table）セクション及びＥＩＴ（event  information  table）セクションのうち、少なくとも１セクション内の叙述子フィールドに、ＥＰＧ情報の三次元再生のための情報が挿入される。
【００６２】
従って、一実施形態によるマルチメディア・ストリーム生成装置１００は、ＣＥＡ（consumer  electronics  association）方式によるクローズドキャプション、ＤＶＢ方式またはケーブル放送方式によるサブタイトル、ＡＴＳＣ方式またはＤＶＢ方式によるＥＰＧ情報などの多様な通信方式の付加再生情報を三次元で再生するために、付加再生データ及び付加再生情報の三次元再生のための情報を、ビデオＥＳデータ、データストリームまたは補助ストリームに挿入し、マルチメディアデータと共に伝送することができる。付加再生情報の三次元再生のための情報は、受信端で、ビデオデータの三次元再生と共に、付加再生情報の安定した三次元再生のために利用される。
【００６３】
一実施形態によるマルチメディア・ストリーム生成装置１００によれば、既存ＭＰＥＧＴＳ方式に基づくＤＶＢ方式、ＡＴＳＣ方式、ケーブル方式などの多様な通信方式との互換性を維持し、三次元ビデオの再生と共に、安定して三次元付加再生情報を具現するためのマルチメディア・ストリームが視聴者に提供される。
【００６４】
図２は、一実施形態による付加再生情報の三次元再生のためのマルチメディア・ストリーム受信装置のブロック図を図示している。
【００６５】
一実施形態によるテキストの三次元再生のためのマルチメディア・ストリーム受信装置２００は、受信部２１０、逆多重化部２２０、復号化部２３０及び再生部２４０を含む。
【００６６】
一実施形態による受信部２１０は、二次元ビデオ及び三次元ビデオのうち、少なくとも一つを含むビデオデータを含むマルチメディア・ストリームに係わるＴＳを受信する。マルチメディア・ストリームは、画面上の二次元または三次元で再生されるビデオと共に再生されるためのクローズドキャプション、サブタイトル、ＥＰＧ情報などの付加再生情報のための付加再生データ、及び付加再生情報の三次元再生のための情報を含む。
【００６７】
一実施形態による逆多重化部２２０は、受信部２１０によって受信されたＴＳを入力されて逆多重化し、ビデオＰＥＳパケット、オーディオＰＥＳパケット、付加データＰＥＳパケット及び補助情報データを抽出する。一実施形態による逆多重化部２２０は、ビデオＰＥＳパケット、オーディオＰＥＳパケット、付加データＰＥＳパケット及び補助情報パケットから、ビデオＥＳ、オーディオＥＳ、付加データストリーム及びプログラム関連情報を抽出する。抽出されたビデオＥＳ、オーディオＥＳ、データストリーム及びプログラム関連情報のうちには、付加再生データ及び付加再生情報の三次元再生のための情報が含まれている。
【００６８】
一実施形態による復号化部２３０は、逆多重化部２２０から、ビデオＥＳ、オーディオＥＳ、付加データストリーム及びプログラム関連情報を入力され、入力されたストリームから、ビデオ、オーディオ、付加データ及び付加再生情報を復元し、付加再生情報の三次元再生のための情報を抽出する。
【００６９】
一実施形態による再生部２４０は、復号化部２３０によって復元されたビデオ、オーディオ、付加データ及び付加再生情報を再生する。また、一実施形態による再生部２４０は、付加再生情報の三次元再生のための情報に基づいて、三次元付加再生情報を構成することができる。一実施形態による再生部２４０は、ビデオデータの再生と共に、三次元付加再生情報を三次元で再生することができる。また、一実施形態による再生部２４０は、付加再生情報の三次元再生のための情報に基づいて、三次元付加再生情報をさらに正確に三次元で再生することができる。
【００７０】
一実施形態によるマルチメディア・ストリーム受信装置２００が抽出して利用する付加再生データ及び付加再生情報の三次元再生のための情報は、一実施形態によるマルチメディア・ストリーム伝送装置１００を参考にして説明した付加再生データ及び付加再生情報の三次元再生のための情報に相応する。
【００７１】
一実施形態による再生部２４０は、付加再生情報の三次元再生のために、付加再生情報の三次元再生のための情報のうち、付加再生情報のオフセット情報に基づいて、付加再生情報を、基準位置からオフセットほど正または負の方向に移動させた位置で再生することができる。以下、説明の便宜のために、視差情報、デプス情報及び座標情報のうちいずれか一つのみで例示されるにしても、一実施形態による付加再生情報の三次元再生のための情報のうちオフセット情報は、これに限定されるものではないことは、前述の通りである。
【００７２】
一実施形態による再生部２４０は、付加再生情報のオフセットについての情報、及びオフセット方向についての情報に基づいて、付加再生情報が基本平面に対比して、オフセットほど正または負の方向に移動した位置で表示されるように、付加再生情報を再生することができる。また、一実施形態による再生部２４０は、付加再生情報と共に再生されるビデオのデプス、変異及び両眼視差のうち一つに対比し、オフセットほど正または負の方向に移動した位置で付加再生情報が表示されるように再生することができる。
【００７３】
一実施形態による再生部２４０は、付加再生情報のオフセット情報及びオフセット方向情報に基づいて、三次元付加再生情報のうち、第１視点付加再生情報及び第２視点付加再生情報のうち、１視点付加再生情報が本来位置に対比し、オフセットほど正の方向に移動した位置に表示され、残りの視点付加再生情報が本来位置に対比し、オフセットほど負の方向に移動した位置に表示されるように、三次元付加再生情報を構成し、三次元付加再生情報を三次元で再生することができる。
【００７４】
一実施形態による再生部２４０は、付加再生情報のオフセット情報及びオフセット方向情報に基づいて、１視点付加再生情報が、残りの視点付加再生情報の位置に対比し、オフセットほど移動した位置で表示されるように、三次元付加再生情報を構成し、三次元付加再生情報を三次元で再生することができる。
【００７５】
一実施形態による再生部２４０は、付加再生情報のオフセット情報及びオフセット方向情報に基づいて、現在ビデオについての付加再生情報が、現在ビデオのデプス、変異及び両眼視差のうち一つに対比し、オフセットほど移動した位置に表示されるように、三次元付加再生情報を構成し、三次元付加再生情報を三次元で再生することができる。
【００７６】
一実施形態による再生部２４０は、視点別に独立して設定された付加再生情報の位置情報に基づいて、付加再生情報についてのオフセット情報のうち、第１視点付加再生情報の位置情報に基づいて、第１視点付加再生情報が表示され、第２視点付加再生情報の位置情報に基づいて、第２視点付加再生情報が表示されるように、三次元付加再生情報を構成し、三次元付加再生情報を三次元で再生することができる。
【００７７】
一実施形態による復号化部２３０によって復元されたビデオデータのうち、三次元ビデオがサイドバイサイド・フォーマットの三次元合成フォーマットであってもよい。この場合、一実施形態による再生部２４０は、三次元合成フォーマットを構成する左視点ビデオ及び右視点ビデオに係わる左視点付加再生情報及び右視点付加再生情報が、それぞれオフセットの半分値ほど移動した位置に表示されるように、三次元付加再生情報を構成し、三次元付加再生情報を三次元で再生することができる。
【００７８】
一実施形態による再生部２４０は、付加再生情報の三次元再生のための情報のうち、ビデオ二次元再生情報に基づいて、付加再生情報を三次元で再生するとき、当該ビデオデータは、二次元で再生される。
【００７９】
一実施形態による再生部２４０は、付加再生情報の三次元再生のための情報のうち、付加再生情報が表示される時間関連情報に基づいて、付加再生情報及び当該ビデオを同期化させ、ビデオ及び付加再生情報を三次元で再生することができる。
【００８０】
一実施形態による再生部２４０は、付加再生情報の三次元再生のための情報のうち、付加再生情報の三次元再生安全性情報に基づいて、付加再生情報の三次元再生の安全性を判断した後、付加再生情報の再生方法を決定することができる。一実施形態による再生部２４０は、付加再生情報の三次元再生安全性情報に基づいて安全であると判断されれば、付加再生情報を三次元で再生することができる。一方、一実施形態による再生部２４０は、付加再生情報の三次元再生安全性情報に基づいて、安全性がないと判断されれば、付加再生情報を再生しなかったり、あるいは所定の映像後処理技法を行った後、付加再生情報を再生することができる。
【００８１】
例えば、一実施形態による再生部２４０は、付加再生情報の三次元再生安全性情報に基づいて、安全性がないと判断されれば、当該ビデオの変異と、付加再生情報のオフセットとを比較することができる。当該ビデオの変異と、付加再生情報のオフセットとの比較結果、付加再生情報のオフセットが、当該ビデオの変異の安全区間に属する場合、付加再生情報を三次元で再生することができる。一方、付加再生情報のオフセットが、当該ビデオの変異の安全区間に属さない場合、一実施形態による再生部２４０は、付加再生情報を再生せずに飛び越えることができる。
【００８２】
または、付加再生情報のオフセットが、当該ビデオの変異の安全区間に属さない場合、一実施形態による再生部２４０は、所定映像後処理技法を行った後、付加再生情報を再生することができる。所定映像後処理技法による一例として、一実施形態による再生部２４０は、付加再生情報を、当該ビデオの所定領域に二次元で再生することができる。所定映像後処理技法による他の例として、一実施形態による再生部２４０は、付加再生情報が、当該ビデオの客体より視聴者側にさらに飛び出して位置するように移動させ、付加再生情報を三次元で再生することができる。所定映像後処理技法によるさらに他の例として、一実施形態による再生部２４０は、当該ビデオを二次元で再生し、付加再生情報を三次元で再生することもできる。
【００８３】
一実施形態による再生部２４０は、当該ビデオの変異と、付加再生情報のオフセットとを比較するために、ビデオの変異を抽出したり、あるいは新たに測定することができる。例えば、マルチメディア・ストリームがＭＰＥＧ−２ＴＳ基盤である場合、一実施形態による再生部２４０は、ビデオＥＳにおいて、パララックス・インフォー・エクステンション（parallax_info_extension）フィールド、デプスマップ及びクローズドキャプションデータ・フィールドの保留（reserved）フィールドのうち少なくとも一つから、三次元ビデオについての両眼視差情報、変異情報及びデプス情報のうち少なくとも一つを抽出し、付加再生情報のオフセットと比較することができる。例えば、マルチメディア・ストリームが、ＩＳＯ基盤のメディアファイル・フォーマットである場合、一実施形態による再生部２４０は、メディアファイル・フォーマット内のステレオスコーピックカメラ及びディスプレイ関連情報が含まれるＳＣＤＩ領域から、三次元ビデオについての両眼視差情報、変異情報及びデプス情報のうち少なくとも一つを抽出し、付加再生情報のオフセットと比較することができる。
【００８４】
付加再生情報が、クローズドキャプション、サブタイトルまたはＥＰＧ情報であるかによって、一実施形態によるマルチメディア・ストリーム受信装置２００の動作が異なることがある。
【００８５】
第１実施形態による逆多重化部２２０は、ＴＳからＣＥＡ標準によるクローズドキャプション・データが挿入されているビデオＥＳを抽出することができる。第１実施形態による復号化部２３０は、ビデオＥＳからビデオデータを復元し、これからクローズドキャプション・データを抽出することができる。第１実施形態による復号化部２３０は、クローズドキャプション三次元再生情報を、ビデオＥＳ、ビデオＥＳのヘッダまたはセクションから抽出することができる。
【００８６】
第１実施形態による再生部２４０は、クローズドキャプション三次元再生情報に基づいて、左視点クローズドキャプション及び右視点クローズドキャプションから構成された三次元クローズドキャプションを構成し、三次元クローズドキャプションを三次元で再生することができる。第１実施形態によるクローズドキャプション・データ及びクローズドキャプション三次元再生情報の特性は、第１実施形態にマルチメディア・ストリーム生成装置１００を参考にして説明したところに相応する。
【００８７】
第２実施形態によるマルチメディア・ストリーム受信装置２００が、ＡＮＳＩ／ＳＣＴＥ方式に従う場合、第２実施形態による逆多重化部２２０は、ＴＳからビデオＥＳ、オーディオＥＳだけではなく、サブタイトルデータが含まれた付加データストリームを抽出することができる。これによって、第２実施形態による復号化部２３０は、付加データストリームからサブタイトルデータを抽出することができる。また、第２実施形態による逆多重化部２２０または復号化部２３０は、サブタイトル三次元再生情報を、サブタイトルＰＥＳパケット及びサブタイトルＰＥＳパケットのヘッダのうち少なくとも一つから抽出することができる。
【００８８】
第２実施形態によるサブタイトルデータ及びサブタイトル三次元再生情報の特性は、第２実施形態にマルチメディア・ストリーム生成装置１００を参考にして説明したところに相応する。第２実施形態による復号化部２３０は、第２実施形態によるサブタイトル内のサブタイトルメッセージ・フィールドの保留フィールドから、サブタイトルのキャラクタ要素及びフレーム要素にいずれも適用されるオフセット情報を抽出することができる。第２実施形態による復号化部２３０は、サブタイトルデータ内の、サブタイトルのキャラクタ要素についてのオフセット情報、及びフレーム要素についてのオフセット情報を別途に追加して抽出することもできる。
【００８９】
第２実施形態による復号化部２３０は、サブタイトルタイプ情報として、三次元ビデオデータのうち、第２視点ビデオデータに係わるサブタイトルタイプを確認することができる。これによって、第２実施形態による復号化部２３０は、サブタイトルデータから、第２視点ビデオデータに係わるサブタイトルの座標情報、デプス情報、視差情報などのオフセット情報を追加して抽出することもできる。
【００９０】
第２実施形態による復号化部２３０は、第２実施形態によるサブタイトルタイプ情報に基づいて、現在サブタイトルタイプがサブタイトル変異タイプである場合、サブタイトルデータから、三次元ビデオのうち第１視点サブタイトルに対比した第２視点サブタイトルの変異情報を追加して抽出することができる。
【００９１】
第２実施形態による再生部２４０は、サブタイトル三次元再生情報に基づいて、左視点サブタイトル及び右視点サブタイトルから構成された三次元サブタイトルを構成し、三次元サブタイトルを三次元で再生することができる。
【００９２】
第３実施形態によるマルチメディア・ストリーム受信装置２００がＤＶＢ方式に従う場合、第３実施形態による逆多重化部２２０は、ＴＳからビデオＥＳ、オーディオＥＳだけではなく、サブタイトルデータを含む付加データストリームを抽出することができる。これによって、第２実施形態による復号化部２３０は、付加データストリームからサブタイトル・セグメント形態のサブタイトルデータを抽出することができる。
【００９３】
また、第３実施形態による復号化部２３０は、サブタイトルを三次元で再生するための情報を、ページ構成セグメント内の保留（reserved）フィールドから抽出することができる。第３実施形態による復号化部２３０は、ページ構成セグメントから、サブタイトルのページ別オフセット情報、及びサブタイトルの現在ページ内の領域別オフセット情報のうち、少なくとも一つを追加して抽出することができる。
【００９４】
第３実施形態による再生部２４０は、サブタイトルデータの三次元再生のための情報に基づいて、左視点サブタイトル及び右視点サブタイトルから構成された三次元サブタイルを構成し、三次元サブタイトルを三次元で再生することができる。
【００９５】
第４実施形態によるマルチメディア・ストリーム受信装置２００が、ＡＴＳＣ方式に従う場合、第４実施形態による復号化部２３０は、ＥＰＧ情報の三次元再生のための情報を、ＡＴＳＣのＰＳＩＰ（program  specific  information  protocol）テーブル内の叙述子（descriptor）フィールドから抽出することができる。具体的には、ＡＴＳＣのＰＳＩＰテーブルのうち、ＴＶＣＴ（terrestrial  virtual  channel  table）セクション、ＥＩＴ（event  information  table）セクション、ＥＴＴ（extended  text  table）セクション、ＲＲＴ（rating  region  table）セクション及びＳＴＴ（system  time  table）セクションのうち、少なくとも１セクション内の叙述子フィールドから、ＥＰＧ情報の三次元再生のための情報が抽出される。
【００９６】
第４実施形態によるマルチメディア・ストリーム受信装置２００がＤＶＢ方式に従う場合、第４実施形態による復号化部２３０は、ＤＶＢのＳＩ（service  information）テーブル内の叙述子フィールドから、ＥＰＧ情報の三次元再生のための情報を抽出することができる。具体的には、ＳＩテーブルにおいて、ＮＩＴ（network  information  table）セクション、ＳＤＴ（service  description  table）セクション及びＥＩＴ（event  information  table）セクションのうち、少なくとも１セクション内の叙述子フィールドから、ＥＰＧ情報の三次元再生のための情報が抽出される。
【００９７】
第４実施形態による再生部２４０は、ＥＰＧ情報の三次元再生のための情報に基づいて、左視点ＥＰＧ情報及び右視点ＥＰＧ情報から構成された三次元ＥＰＧ情報を構成し、三次元ＥＰＧ情報を三次元で再生することができる。
【００９８】
従って、一実施形態によるマルチメディア・ストリーム受信装置２００は、ＣＥＡ方式によるクローズドキャプション、ＤＶＢ方式またはケーブル放送方式によるサブタイトル、ＡＴＳＣ方式またはＤＶＢ方式によるＥＰＧ情報などの多様な通信方式の付加再生情報において、受信されたマルチメディア・ストリームから、付加再生データ及び付加再生情報の三次元再生のための情報を抽出することができる。一実施形態によるマルチメディア・ストリーム受信装置２００は、付加再生情報の三次元再生のための情報を利用し、ビデオの三次元再生と共に、付加再生情報を安定した三次元再生することができる。
【００９９】
一実施形態によるマルチメディア・ストリーム受信装置２００によれば、既存ＭＰＥＧＴＳ方式に基づくＤＶＢ方式、ＡＴＳＣ方式、ケーブル方式などの多様な通信方式との互換性を維持し、三次元ビデオの再生と共に、安定して三次元付加再生情報を具現するためのマルチメディア・ストリームが視聴者に提供される。
【０１００】
図３は、三次元ビデオ及び三次元付加再生情報が同時に再生される場面を図示している。
【０１０１】
三次元ディスプレイ装置の三次元ビデオ再生によれば、客体映像３１０が、基本平面３００から視聴者側に飛び出すように再生される。この場合、クローズドキャプション、サブタイトル、ＥＰＧ情報などの付加再生情報が表示されるテキスト画面３２０は、ビデオのあらゆる客体より視聴者側にさらに飛び出すように再生されてこそ、視聴者が三次元ビデオ鑑賞による疲労感または違和感なしに、三次元ビデオを安定して鑑賞することができる。
【０１０２】
図４は、三次元ビデオ及び三次元テキストが逆転されて再生される現象を図示している。
【０１０３】
付加再生情報のデプス、変異または両眼視差情報に誤りがある場合、ビデオの客体映像３１０より付加再生情報画面３２０が視聴者から遠く位置するように再生される逆転現象が発生しうる。このような客体映像３１０及び付加再生情報画面３２０の逆転現象によって、客体映像３１０が付加再生情報画面３２０を隠してしまう。この場合、視聴者は、三次元ビデオ鑑賞による疲労感または違和感を感じることがある。
【０１０４】
図５は、各種付加再生情報が含まれるＭＰＥＧ  ＴＳ構造を図示している。
【０１０５】
ＭＰＥＧ  ＴＳ  ５００は、プログラムを構成するコンテンツのストリームから構成され、具体的には、オーディオＥＳ  ５１０、ビデオＥＳ  ５２０、コントロール・データ５３０及びプログラム関連情報であるＰＳＩＰ（program  specific  information  protocol）５４０から構成される。
【０１０６】
一実施形態によるマルチメディア・ストリーム生成装置１００及び一実施形態によるマルチメディア・ストリーム受信装置２００が処理する付加再生データのうち、第１実施形態によるクローズドキャプション・データは、ビデオＥＳ  ５２０内のピクチャユーザデータ（picture  user  data）領域に、「ｃｃ＿data」の形態で挿入される。具体的な実施形態で、ビデオＥＳ  ５２０が多重化されて構成されるビデオＰＥＳパケット内の「user＿data」フィールド内の「ｃｃ＿data」フィールドにクローズドキャプション・データが挿入されてもよい。
【０１０７】
第２実施形態及び第３実施形態によるサブタイトルデータは、オーディオＥＳ  ５１０またはビデオＥＳ  ５２０とは別途の付加データストリームに挿入され、ＴＳ  ５００に含まれもする。特に、サブタイトルデータは、テキストデータだけではなく、グラフィックデータを含んでもよい。
【０１０８】
第４実施形態によるＥＰＧ情報は、ＰＳＩＰ  ５４０において、所定テーブルに挿入される。
【０１０９】
以下、表１ないし表１２及び図６ないし図１５を参照して、第１実施形態による、クローズドキャプションの三次元再生のためのマルチメディア・ストリームの生成及び受信について説明する。
【０１１０】
第１実施形態によるマルチメディア・ストリーム生成装置１００は、ビデオストリームに、ビデオデータと共にクローズドキャプションを挿入してもよい。第１実施形態によるプログラム符号化部１１０は、クローズドキャプション・データを、ビデオＰＥＳパケット内の「user＿data」フィールド内の「ｃｃ＿data」フィールドに挿入してもよい。下表１は、ＡＴＳＣ方式による「ｃｃ＿data」フィールドのシンタックス（syntax）を図示し、表２は、ＤＶＢ方式による「ｃｃ＿data」フィールドのシンタックスを図示する。「for」ループ（loop）内の「ｃｃ＿data＿１」フィールド及び「ｃｃ＿data＿２」フィールドに、クローズドキャプション・データが挿入されてもよい。
【０１１１】
【表１】
2013511199.tif 000003
【０１１２】
【表２】
2013511199.tif 000004
第１実施形態によるプログラム符号化部１１０は、クローズドキャプションの三次元再生のための情報を、表１及び表２の「ｃｃ＿data」フィールド内の「reserved」フィールドに挿入してもよい。
【０１１３】
第１実施形態によるプログラム符号化部１１０は、クローズドキャプションの二次元／三次元識別情報、クローズドキャプションのオフセット情報及び三次元キャプション強調情報を、「ｃｃ＿data」フィールド内の「reserved」フィールドに挿入してもよい。
【０１１４】
具体的に例を挙げれば、第１実施形態によるプログラム符号化部１１０は、表１及び表２の最初「reserved」フィールドに、下記表３のようなクローズドキャプションの二次元／三次元識別情報「２ｄ＿ＣＣ」を挿入してもよい。
【０１１５】
【表３】
2013511199.tif 000005
第１実施形態による二次元／三次元識別情報「２ｄ＿ＣＣ」は、「２ｄ＿ＣＣ」フィールド次に挿入されるクローズドキャプション・データが、二次元または三次元の再生用であるか示すことができる。
【０１１６】
また、第１実施形態によるプログラム符号化部１１０は、表１及び表２の２番目の「reserved」フィールドに、下記表４のように、三次元キャプション強調情報「enhanced＿ＣＣ」及びクローズドキャプションのオフセット情報「ｃｃ＿offset」を挿入してもよい。
【０１１７】
【表４】
2013511199.tif 000006
第１実施形態による三次元キャプション強調情報「enhanced＿ＣＣ」は、ＤＴＶ  ＣＣデータのクローズドキャプション・データを代替し、三次元クローズドキャプション強調用データを利用するか否かを示すことができる。第１実施形態によるクローズドキャプションのオフセット情報「ｃｃ＿offset」は、ＤＴＶ  ＣＣデータのクローズドキャプションにデプス感を付与するために、左右に移動する変異オフセットを示すことができる。
【０１１８】
第１実施形態によるマルチメディア・ストリーム生成装置１００は、ＡＴＳＣデジタルＴＶストリームのクローズドキャプションのための規格であるＣＥＡ−７０８で規定になったコードセット（code  set）によって、命令語コード（command  character）及びクローズドキャプションのテキストを符号化できる。下記表５は、ＣＥＡ−７０８で規定されたコードセット・マッピングテーブル（code  set  mapping  table）を図示している。
【０１１９】
【表５】
2013511199.tif 000007
コードセット・マッピングテーブルにおいて、Ｃ０グループのコードセットを利用して、アスキー制御コードが表現され、Ｇ０グループのコードセットを利用して、クローズドキャプション・データが表現される。ＣＥＡ−７０８で規定されたコードセット・マッピングテーブルにおいて、Ｃ２グループのコードセットは、拡張制御コードであり、ユーザが任意に定義可能なコードセットである。第１実施形態によるマルチメディア・ストリーム生成装置１００は、Ｃ２グループのコードセットを利用し、第１実施形態によるクローズドキャプションの三次元再生のための情報を設定するための命令語叙述子（command  descriptor）を表現することができる。下記表６は、Ｃ２グループのコードセットテーブルを図示している。
【０１２０】
【表６】
2013511199.tif 000008
具体的な実施形態で、第１実施形態によるマルチメディア・ストリーム生成装置１００は、Ｃ２グループコードセットにおいて、ビット列「０ｘ０８〜０ｘ０ｆ」の２バイトコードセクション（２byte  code  section）を利用し、クローズドキャプションの三次元再生のための情報を命令語コードでもって表現することができる。
【０１２１】
例えば、第１実施形態によるマルチメディア・ストリーム生成装置１００は、クローズドキャプションの三次元再生のための情報を設定するための命令語叙述子「Ｄｅｆｉｎｅ３ＤＩｎｆｏ」を定義することができる。下記表７は、命令語叙述子「Ｄｅｆｉｎｅ３ＤＩｎｆｏ（）」の命令語コードの一例を示している。
【０１２２】
【表７】
2013511199.tif 000009
第１実施形態による命令語叙述子「Ｄｅｆｉｎｅ３ＤＩｎｆｏ（）」のフォーマットが「Ｄｅｆｉｎｅ３ＤＩｎｆｏ（window＿ＩＤ，is＿safety＿check）」であるとき、表７の命令語コードにおいて、「００００１１００」（または「０ｘ０Ｃ」）は、命令語「Ｄｅｆｉｎｅ３ＤＩｎｆｏ」、命令語コードにおいて、「ｉｄ２  ｉｄ１  ｉｄ０  ｓｃ」は、入力パラメータ「ｉｄ」及び「ｓｃ」を示す。パラメータ「ｉｄ」は、クローズドキャプションが表示されるキャプション領域識別子「window＿ＩＤ」であり、３ビットであるから、０から７のうち１つの固有識別子に設定されてもよい。パラメータ「ｓｃ」は、クローズドキャプションの三次元再生安全性情報「is＿safety＿check」を示す。下記表８のように、パラメータ「is＿safety＿check」は、コンテンツに挿入されたクローズドキャプションのオフセット情報の安全性いかんを示すことができる。
【０１２３】
【表８】
2013511199.tif 000010
他の例として、第１実施形態によるマルチメディア・ストリーム生成装置１００は、クローズドキャプションの三次元再生のためのオフセット情報を設定するための命令語叙述子「ＳｅｔＤisｐａｒｉｔｙＴｙｐｅ」を定義することができる。下記表９は、命令語叙述子「ＳｅｔＤisｐａｒｉｔｙＴｙｐｅ」の命令語コードの一例を示す。
【０１２４】
【表９】
2013511199.tif 000011
第１実施形態による命令語叙述子「ＳｅｔＤisｐａｒｉｔｙＴｙｐｅ」のフォーマットが、「ＳｅｔＤisｐａｒｉｔｙＴｙｐｅ（window＿ＩＤ，disparity＿type）」であるとき、表９の命令語コードにおいて、「００００１１００」（または「０ｘ０Ｃ」）は、命令語「ＳｅｔＤisｐａｒｉｔｙＴｙｐｅ」、命令語コードにおいて、「ｉｄ２  ｉｄ１  ｉｄ０  ｄｔ」は、入力パラメータ「ｉｄ」及び「ｄｔ」を示す。
【０１２５】
パラメータ「ｉｄ」は、キャプション領域識別子「window＿ＩＤ」を示す。パラメータ「ｄｔ」は、クローズドキャプションのオフセットタイプ情報「disparity＿type」を示す。下記表１０のように、パラメータ「disparity＿type」は、クローズドキャプションのオフセット値が、スクリーン平面または基本平面を基準に設定された第１オフセットタイプであるか、あるいはビデオの変異を基準に設定された第２オフセットタイプであるかを示すことができる。
【０１２６】
【表１０】
2013511199.tif 000012
従来ＣＥＡ−７０８規格によれば、ＤＴＶ  ＣＣコーディングレイヤ（digital−ＴＶclosed  caption  coding  layer）で、キャプション領域の生成、削除、修正及び表示などを制御するための命令語叙述子「ＳｅｔＷｉｎｄｏｗＤｅｐｔｈ」が利用されている。
【０１２７】
第１実施形態によるマルチメディア・ストリーム生成装置１００は、命令語叙述子「ＳｅｔＷｉｎｄｏｗＤｅｐｔｈ」を変形して利用することができる。第１実施形態によるマルチメディア・ストリーム生成装置１００は、クローズドキャプション復号化手段を具備している受信装置と下位互換性を維持するために、ＣＥＡ７０８規格のコードセット・マッピングテーブルにおいて、拡張制御コードセット領域を利用し、命令語叙述子「ＳｅｔＷｉｎｄｏｗＤｅｐｔｈ」を表現することができる。
【０１２８】
例えば、Ｃ２グループコードセットにおいて、ビット列「０ｘ０８〜０ｘ０ｆ」の２バイト・コードセクションを利用し、第１実施形態によるクローズドキャプションの三次元再生安全性情報「is＿safety＿check」及びオフセットタイプ情報「disparity  type」が表現され、ビット列「０ｘ１０〜０ｘ１７」の３バイト・コードセクション（３byte  code  section）を利用し、オフセット値に係わる情報が追加して表現される。下記表１１は、第１実施形態によるマルチメディア・ストリーム生成装置１００によって変形された命令語叙述子「ＳｅｔＷｉｎｄｏｗＤｅｐｔｈ」の命令語コードの一例を示す。
【０１２９】
【表１１】
2013511199.tif 000013
第１実施形態による命令語叙述子「ＳｅｔＷｉｎｄｏｗＤｅｐｔｈ」のフォーマットが、「ＳｅｔＷｉｎｄｏｗＤｅｐｔｈ（disparity＿type，video＿flat，window＿ＩＤ，is＿safety＿check，offset＿sign，offset）」であるとき、表１１の命令語コードにおいて、「０００１００００」は、命令語「ＳｅｔＷｉｎｄｏｗＤｅｐｔｈ」、命令語コードにおいて、「ｄｔ  ｖｆ  ｉｄ２  ｉｄ１  ｉｄ０  ０  ｓｃ  ｏｓ」は、入力パラメータ「ｄｔ」、「ｖｆ」、「ｉｄ」、「ｓｃ」、「ｏｓ」を、命令語コードにおいて、「ｏｆｆ７  ｏｆｆ６  ｏｆｆ５  ｏｆｆ４  ｏｆｆ３  ｏｆｆ２  ｏｆｆ１  ｏｆｆ０」は、入力パラメータ「ｏｆｆ」を示す。
【０１３０】
パラメータ「ｄｔ」は、クローズドキャプションのオフセットタイプ情報「disparity＿type」を示す。パラメータ「ｖｆ」は、ビデオ二次元再生情報「video＿flat」を示す。パラメータ「ｉｄ２  ｉｄ１  ｉｄ０」の「ｉｄ」は、クローズドキャプションが表示されるキャプション領域識別子「window＿ＩＤ」を示す。パラメータ「ｓｃ」は、クローズドキャプションの三次元再生安全性情報「is＿safety＿check」を示す。パラメータ「ｏｓ」は、クローズドキャプションのオフセット方向情報「offset＿sign」を示す。
【０１３１】
第１実施形態によるマルチメディア・ストリーム受信装置２００は、表１１の命令語叙述子「ＳｅｔＷｉｎｄｏｗＤｅｐｔｈ」を実行する場合、パラメータ「disparity＿type」に基づいて、パラメータ「offset」値が、ビデオＥＳ内で定義されたビデオの変異値を基準に設定された値であると確認されるならば、パラメータ「video＿flat」及び「is＿safety＿check」は、利用されない。
【０１３２】
下記表１２のように、ビデオ二次元再生情報「video＿flat」は、クローズドキャプションの三次元再生時、三次元ビデオの再生状態を三次元再生モードで維持するか否か、または二次元再生モードに転換するか否かを示すことができる。
【０１３３】
【表１２】
2013511199.tif 000014
例えば、第１実施形態によるマルチメディア・ストリーム受信装置２００は、パラメータ「video＿flat」に基づいて、三次元ビデオの再生状態が、三次元再生モードに維持されるように決定されるならば、ディスプレイ装置が、左視点映像及び右視点映像が時連続的に（time-sequentially）再生されるように制御することができる。また、第１実施形態によるマルチメディア・ストリーム受信装置２００は、パラメータ「video＿flat」に基づいて、三次元ビデオの再生状態が二次元再生モードに転換されるものであるならば、三次元ディスプレイ装置が左視点映像同士で時連続的に再生されたり、右視点映像同士で時連続的に再生されるように制御することができる。
【０１３４】
パラメータ「video＿flat」によって、三次元ビデオの再生状態が三次元再生モードに維持されたり、あるいは三次元再生モードから二次元再生モードに転換されても、キャプション領域では、パラメータ「offset＿sign」及びパラメータ「offset」を利用して、クローズドキャプションのオフセットが適用され、クローズドキャプションが三次元で再生される。ただし、三次元ビデオの再生状態が、三次元再生モードから二次元再生モードに転換されるならば、パラメータ「is＿safety＿check」は、利用せずに無視されもする。また、その場合に、パラメータ「offset＿sign」は、クローズドキャプションが視聴者側に飛び出すように、負の方向のオフセットを示すように設定されることが望ましい。
【０１３５】
パラメータ「ｓｃ」は、クローズドキャプションの三次元再生安全性情報「is＿safety＿check」を示す。下記表１３のように、パラメータ「is＿safety＿check」は、クローズドキャプションのオフセット方向（offset  sign）及びオフセットの安全性いかんを示すことができる。
【０１３６】
【表１３】
2013511199.tif 000015
例えば、リアルタイム通信と共に、クローズドキャプションのオフセットがコンテンツ提供者によって安全性が確認されないまま、クローズドキャプションがコンテンツと共に提供される場合、三次元ビデオ及びクローズドキャプションのデプス間の逆転現象が発生したり、あるいは不安定なデプスによって、視聴者に疲労感が誘発される可能性が高い。従って、コンテンツ提供者によって、クローズドキャプションの三次元再生安全性が確保されたか否かを確認するために、パラメータ「is＿safety＿check」が利用されもする。
【０１３７】
従って、第１実施形態によるマルチメディア・ストリーム受信装置２００では、パラメータ「is＿safety＿check」に基づいて、パラメータ「offset＿sign」及び「offset」によって調節されるクローズドキャプションのオフセット（または変異値）が、コンテンツ提供者によって安全性が保証されない場合、受信端固有のクローズドキャプション表示方式によって、キャプション領域にクローズドキャプションに係わるオフセットが適用されもする。
【０１３８】
パラメータ「is＿safety＿check」に、クローズドキャプションのオフセットが、コンテンツ提供者によって安全性が保証される場合、受信端は、パラメータ「offset＿sign」及び「offset」を利用して、クローズドキャプションのオフセットを調節し、クローズドキャプションを再生することができる。
【０１３９】
パラメータ「ｏｓ」は、パラメータ「offset」によって与えられたクローズドキャプションのオフセット値が、負または正の方向の両眼視差であるかを決定する方向情報「offset＿sign」を示す。パラメータ「off」は、クローズドキャプションのオフセット情報であり、パラメータ「ｉｄ」によって選択されたキャプション領域にオフセットを適用するために、二次元形態で生成されたキャプション領域のアンカポイントの位置を左右に移動するためのピクセルの左右変位を示すことができる。
【０１４０】
以上、表１ないし表１３を参照して説明したクローズドキャプションの三次元再生のための情報は、第１実施形態によるマルチメディア・ストリーム生成装置１００によって、ビデオストリームに挿入されて伝送される。第１実施形態によるマルチメディア・ストリーム受信装置２００は、ビデオストリームから以上の表１ないし表１３を参照して説明したクローズドキャプションの三次元再生のための情報を抽出し、クローズドキャプションの三次元再生に利用される。
【０１４１】
以下、図６ないし図１５を参照して、第１実施形態によるマルチメディア・ストリーム受信装置２００が、クローズドキャプションの三次元再生のための情報を利用する実施形態について説明する。
【０１４２】
図６は、一実施形態によるクローズドキャプションの三次元再生のためのマルチメディア・ストリーム受信装置において、クローズドキャプション再生部の細部ブロック図を図示している。
【０１４３】
一実施形態によるクローズドキャプションの三次元再生のためのマルチメディア・ストリーム受信装置において、クローズドキャプション再生部６００は、第１実施形態によるマルチメディア・ストリーム受信装置２００の再生部２４０の他の実施形態であってもよい。一実施形態によるクローズドキャプション再生部６００は、ビデオ復号化器（video  decoder）６２０、クローズドキャプション復号化器（ＣＣ  decoder）６３０、ビデオ平面保存部（video  plane）６４０、クローズドキャプション平面保存部（closed  caption  plane）６５０、三次元クローズドキャプション強調用データ保存部（enhanced  ＣＣ  memory）６６０及びスイッチ（switch）６７０を含む。
【０１４４】
逆多重化器（ＤＥ−ＭＵＸ）６１０によって分離されたクローズドキャプション・データ及びビデオデータが、一実施形態による再生部６００に入力される。クローズドキャプション復号化器６３０は、逆多重化器６１０から入力されたクローズドキャプション・データを復号化して復元する。ビデオ復号化器６２０は、逆多重化器６１０から入力されたビデオデータを復号化して復元する。ビデオ復号化器６２０及びクローズドキャプション復号化器６３０から出力されたビデオデータ及びクローズドキャプション・データは、それぞれビデオ平面保存部６４０及びクローズドキャプション平面保存部６５０に保存されもする。ビデオ平面保存部６４０及びクローズドキャプション平面保存部６５０のビデオデータ及びクローズドキャプション・データが出力されて合成されれば、クローズドキャプション・データが表示されたビデオ画面が出力されもする。
【０１４５】
クローズドキャプション復号化器６３０は、表１，２，３を参照して説明した第１実施形態によるクローズドキャプションフィールド「ｃｃ＿data」内のパラメータ「２ｄ＿ＣＣ」に基づいて、クローズドキャプション・データ「ｃｃ＿data＿１」及び「ｃｃ＿data＿２」を、二次元または三次元で再生するかを決定することができる。
【０１４６】
パラメータ「２ｄ＿ＣＣ」の設定値が０である場合、クローズドキャプション復号化器６３０は、クローズドキャプション・データ「ｃｃ＿data＿１」及び「ｃｃ＿data＿２」を三次元で再生することができる。その場合、クローズドキャプション復号化器６３０は、第１実施形態によるクローズドキャプションフィールド「ｃｃ＿data」内のパラメータ「enhance＿ＣＣ」に基づいて、入力されたクローズドキャプション・データ「ｃｃ＿data＿１」及び「ｃｃ＿data＿２」をそのまま再生するか、または三次元クローズドキャプション強調用データ保存部（enhanced  ＣＣ  memory）６６０に保存された三次元クローズドキャプション強調用データを再生するかを決定することができる。
【０１４７】
例えば、三次元クローズドキャプション強調用データは、イメージなどのグラフィックデータであってもよい。また、三次元クローズドキャプション強調用データ保存部６６０に、左視点映像及び右視点映像のための三次元クローズドキャプション強調用データ６６２，６６４が別途に保存されていてもよい。三次元クローズドキャプション強調用データの利用いかんによって、スイッチ６７０が、クローズドキャプション平面保存部６５０に、三次元クローズドキャプション強調用データ６６２，６６４が出力される動作を制御することができる。
【０１４８】
また、クローズドキャプション復号化器６３０は、第１実施形態によるクローズドキャプションフィールド「ｃｃ＿data」内のパラメータ「ｃｃ＿offset」に基づいて、クローズドキャプション・データを、左視点映像及び右視点映像として画面上にディスプレイするとき、クローズドキャプション・データを横軸方向に、オフセット値ほど移動させた位置で再生することができる。すなわち、三次元合成フォーマットの三次元ビデオ６８０において、左視点映像領域６８２及び右視点映像領域６８４で、左視点クローズドキャプション６８６及び右視点クローズドキャプション６８８が、それぞれオフセット１  offset１及びオフセット２  offset２ほど移動される。
【０１４９】
図７は、第１実施形態によって、クローズドキャプションのデプス感を調節する画面の透視図を図示している。
【０１５０】
第１実施形態によって、クローズドキャプションのオフセット値がデプス５であり、クローズドキャプションの三次元キャプション強調情報に基づいて、ビデオ平面７１０からデプス５ほど飛び出して移動した位置に、三次元クローズドキャプション強調用キャプション平面７２０が表示される実施形態が図示されている。
【０１５１】
図８は、第１実施形態によって、クローズドキャプションのデプス感を調節する画面の平面図を図示している。
【０１５２】
第１実施形態によるマルチメディア・ストリーム受信装置２００の再生部２４０は、左視点映像（left  image）８１０のキャプション領域８１５、及び右視点映像（right  image）８２０のキャプション領域８２５を三次元で再生するために、右視点キャプション領域８２５の位置を、左視点キャプション領域８１５からオフセット８３０ほど調節することができる。この場合、オフセット８３０は、実際のクローズドキャプションの変異値を示し、前述の第１オフセットタイプの第１変位に相応しうる。
【０１５３】
また、第１実施形態によるマルチメディア・ストリーム受信装置２００の再生部２４０は、右視点キャプション領域８４５の位置を、ビデオの変異値８５５からクローズドキャプションのオフセット８６０ほど調節することができる。その場合、クローズドキャプションのオフセット８６０及び映像の変異値８５５の総合が、実際のクローズドキャプションの変異値８５０になり、クローズドキャプションのオフセット８６０が、前述の第２オフセットタイプの第２変位に相応しうる。
【０１５４】
図９は、第１実施形態によるマルチメディア・ストリーム受信装置が、三次元キャプション強調情報及びクローズドデータのオフセット情報を利用する方法のフローチャートを図示している。
【０１５５】
第１実施形態によるマルチメディア・ストリーム受信装置２００の再生部２４０に、ＤＴＶ  ＣＣデータが入力される（段階９１０）。第１実施形態による再生部２４０は、クローズドキャプションの二次元／三次元識別情報「２ｄ＿ＣＣ」の値を確認する（段階９２０）。クローズドキャプションの二次元／三次元識別情報「２ｄ＿ＣＣ」に基づいて、クローズドキャプションが二次元再生用であるならば、ＤＴＶ  ＣＣデータを二次元で再生することができる（段階９３０）。
【０１５６】
クローズドキャプションの二次元／三次元識別情報「２ｄ＿ＣＣ」に基づいて、クローズドキャプションが三次元再生用であるならば、第１実施形態による再生部２４０は、三次元キャプション強調情報「enhance＿ＣＣ」及びクローズドデータのオフセット情報「ｃｃ＿offset」を確認する（段階９４０）。第１実施形態による再生部２４０は、ＤＴＶ  ＣＣデータのうち、クローズドキャプション・データ「ｃｃ＿data＿１」及び「ｃｃ＿data＿２」を復号化する（段階９５０）。段階９６０で、三次元キャプション強調情報「enhance＿ＣＣ」に基づいた判断結果、三次元クローズドキャプションを強調するための三次元クローズドキャプション強調用データを利用しないと決定されるならば、第１実施形態による再生部２４０は、ＤＴＶ  ＣＣデータを三次元で再生することができる（段階９８０）。
【０１５７】
段階９６０で、三次元キャプション強調情報「enhance＿ＣＣ」に基づいた判断結果、三次元クローズドキャプション強調用データを利用すると決定されるならば、第１実施形態による再生部２４０は、三次元クローズドキャプション強調用データを抽出し（段階９７０）、三次元クローズドキャプション強調用データを三次元で再生することができる（段階９８０）。
【０１５８】
図１０は、第１実施形態によるマルチメディア・ストリーム受信装置が、クローズドキャプションの三次元再生安全性情報を利用する方法のフローチャートを図示している。
【０１５９】
第１実施形態によるマルチメディア・ストリーム受信装置２００の再生部２４０に、ＤＴＶ  ＣＣデータが入力されてパージングされる（段階１０１０）。第１実施形態による再生部２４０は、ＤＴＶ  ＣＣデータ内にクローズドキャプションの変異情報「ｃｃ＿offset」を検索する（段階１０１５）。クローズドキャプションの変異情報がなければ、第１実施形態による再生部２４０は、クローズドキャプションを二次元で再生する（段階１０２０）。
【０１６０】
ＤＴＶ  ＣＣデータ内にクローズドキャプションの変異情報が存在するならば、第１実施形態による再生部２４０は、ＤＴＶ  ＣＣデータ内に三次元再生安全性情報（「is＿safety＿check」）を確認する（段階１０２５）。三次元再生安全性情報に基づいて、クローズドキャプションの変異情報の安全性が確保されるならば、第１実施形態による再生部２４０は、クローズドキャプションの変異情報を利用して、クローズドキャプションを三次元で再生する（段階１０３０）。
【０１６１】
三次元再生安全性情報に基づいて、クローズドキャプションの変異情報の安全性が確保されなければ、第１実施形態による再生部２４０は、ビデオストリーム内に、映像に係わる変異情報を検索する（段階１０４０）。例えば、マルチメディア・ストリームが、ＭＰＥＧ−２  ＴＳ方式によって符号化された場合、ビデオＥＳにおいて、パララックス・インフォー・エクステンション・フィールド、デプスマップ及びクローズドキャプションデータ・フィールドの保留フィールドのうち少なくとも一つから、映像に係わる変異情報が検出される。また、マルチメディア・ストリームが、ＩＳＯメディアファイル・フォーマットで符号化された場合、メディアファイル・フォーマット内のＳＣＤＩ領域から、映像に係わる変異情報が検出される。
【０１６２】
ビデオストリーム内に、映像に係わる変異情報があるならば、第１実施形態による再生部２４０は、クローズドキャプションの変異情報と映像の変異情報とを比較し、クローズドキャプションの変異情報が、三次元再生安全区間に属すか否かを判断する（段階１０４５）。
【０１６３】
クローズドキャプションの変異情報が三次元再生安全区間に属するならば、第１実施形態による再生部２４０は、クローズドキャプションの変異情報を利用して、クローズドキャプションを三次元で再生する（段階１０３０）。クローズドキャプションの変異情報が、三次元再生安全区間に属さなければ、第１実施形態による再生部２４０は、クローズドキャプションを再生しないか、あるいは映像後処理作業を行い、安全性確保後にクローズドキャプションを三次元で再生することができる（段階１０７０）。ここで、映像後処理作業の多様な実施形態は、以下、図１１、図１２、図１３、図１４及び図１５を参照して後述する。
【０１６４】
段階１０４０で、ビデオストリーム内に映像に係わる変異情報を検索した結果、ビデオストリーム内に映像に係わる変異情報が存在しなければ、第１実施形態によるマルチメディア・ストリーム受信装置２００で、直接ビデオの変異測定が可能である否かが判断される（段階１０５０）。第１実施形態によるマルチメディア・ストリーム受信装置２００に、映像の変異測定手段が存在するならば、三次元ビデオのステレオ映像に係わる変異測定作業が行われる（段階１０５５）。段階１０５５で測定された映像変異情報を利用し、第１実施形態による再生部２４０は、クローズドキャプションの変異情報と映像の変異情報とを比較し、クローズドキャプションの変異情報が、三次元再生安全区間に属すか否かを判断する（段階１０４５）。段階１０４５の判断結果によって、段階１０３０または１０７０が行われる。
【０１６５】
第１実施形態によるマルチメディア・ストリーム受信装置２００に、映像の変異測定手段が存在しなければ、ユーザ設定によるクローズドキャプション強制出力モードであるか否かが判断されもする（段階１０６０）。クローズドキャプション強制出力モードであるならば、第１実施形態による再生部２４０は、クローズドキャプションの変異情報を利用し、クローズドキャプションを三次元で再生する（段階１０３０）。強制クローズドキャプション出力モードではないなら、第１実施形態による再生部２４０は、クローズドキャプションを再生しないか、あるいは映像後処理作業を行い、安全性確保後にクローズドキャプションを三次元で再生することができる（段階１０７０）。
【０１６６】
図１１は、第１実施形態によるクローズドキャプションの三次元再生安全性情報に基づいて、安全性が保証されない場合に行われる後処理方法の一例を図示している。
【０１６７】
第１実施形態による再生部２４０は、クローズドキャプションの三次元再生安全性情報「is＿safety＿check」に基づいて、安全性が確保されないと判断されれば、三次元映像（３Ｄ  image）１１１０の所定領域に変異情報を有するクローズドキャプション・データ（ＣＣ  data  with  disparity）１１２０を強制的に配置するように出力することができる。
【０１６８】
例えば、第１実施形態による再生部２４０は、三次元映像１１１０を縦方向に縮小し（scale  down）（１１３０）、縮小された三次元映像とクローズドキャプション・データ１１２０とを合成する（merging）（１１４０）。これによる結果映像１１５０は、縦方向に縮小された三次元映像領域１１５２及びクローズドキャプション領域１１５４に区分される。三次元映像領域１１５２及びクローズドキャプション領域１１５４が、互いに重畳しないようにそれぞれ三次元で再生することができる。
【０１６９】
図１２及び図１３は、第１実施形態によるクローズドキャプションの三次元再生安全性情報に基づいて、安全性が保証されない場合に行われる後処理方法の他の例を図示している。
【０１７０】
図１２では、三次元ディスプレイ平面１２１０で、三次元ビデオが再生されることによって、ビデオ客体領域１２２０が固有のデプスほど飛び出して表示される。この場合、クローズドキャプションのテキスト領域１２３０が、三次元ディスプレイ平面１２１０とビデオ客体領域１２２０との間に表示されれば、視聴者１２００は、ビデオ客体とテキストとのデプス感が混同されつつ、めまいまたは疲労感を感じることがある。
【０１７１】
図１３では、ビデオ客体領域１２３０の変異情報が獲得される場合、第１実施形態による再生部２４０は、テキスト領域１２３０を、ビデオ客体領域１２２０より視聴者１２００側に飛び出すように、テキスト領域１２３０の変異情報を調整することができる。また、あらゆる映像ピクセルの変異情報が分かる場合、第１実施形態による再生部２４０は、テキスト領域１２３０のキャプション領域のピクセル位置を、ビデオ客体領域１２２０とデプス順序上で重ならない領域に移動させることができる。
【０１７２】
図１４及び図１５は、第１実施形態によるクローズドキャプションの三次元再生安全性情報に基づいて、安全性が保証されない場合に行われる後処理方法のさらに他の例を図示している。
【０１７３】
図１４では、三次元ディスプレイ平面１４００で、三次元ビデオが再生されることによって、ビデオ客体領域１４１０が固有のデプスほど飛び出して表示されるが、クローズドキャプションのテキスト領域１４２０が、三次元ディスプレイ平面１４００とビデオ客体領域１４１０との間に存在するデプス感の逆転現象が生じている。
【０１７４】
図１５で、第１実施形態による再生部２４０は、三次元ビデオを二次元再生モードに変換して再生する。すなわち、第１実施形態による再生部２４０は、ビデオ客体領域１４１０が、三次元ディスプレイ平面１４００で表示されるように二次元で再生し、テキスト領域１４２０は、固有の変異情報に基づいて、三次元で再生することができる。これによって、ビデオ客体領域１４１０のデプスが０になるので、テキスト領域１４２０とビデオ客体領域１４１０との間のデプス感の逆転現象が解消される。
【０１７５】
第１実施形態によるマルチメディア・ストリーム生成装置１００は、クローズドキャプションに、三次元デプス感を付与するためのクローズドキャプション三次元再生情報を、データストリームに挿入し、ビデオ、オーディオと共に伝送することができる。第１実施形態によるマルチメディア・ストリーム生成装置２００は、受信されたマルチメディア・ストリームから、クローズドキャプション・データ及びクローズドキャプション三次元再生情報を抽出することができる。第１実施形態によるマルチメディア・ストリーム生成装置２００は、クローズドキャプション三次元再生情報に基づいて、クローズドキャプションの安全性を確認し、クローズドキャプションの再生方法を採択することができ、クローズドキャプションのデプス感を調節することができ、クローズドキャプションの三次元再生効果を強調するための強調用クローズドキャプションも利用することができる。これによって、三次元ビデオとクローズドキャプションとが自然に再生される。
【０１７６】
以下、表１４ないし表４８及び図１６ないし図３４を参照して、一実施形態によるサブタイトルの三次元再生のためのマルチメディア・ストリームの生成及び受信について説明する。
【０１７７】
図１６は、サブタイトルデータのマルチメディア・ストリームの生成及び受信方式を図示している。
【０１７８】
シングルプログラム符号化部１６００は、ビデオデータ及びオーディオデータを入力され、それぞれビデオ符号化部（video  encoder）１６１０及びオーディオ符号化部（audio  encoder）１６２０によって符号化され、符号化されたビデオデータ及びオーディオデータは、それぞれパケット化器（packetizer）１６３０，１６４０を経て、ビデオＰＥＳパケット及びオーディオＰＥＳパケットに分解される。また、一実施形態によるシングルプログラム符号化部１６００は、サブタイトル生成部（subtitle  generator  station）１６５０）からサブタイトルデータを入力される。ＰＳＩ生成部１６６０は、ＰＡＴ（program  association  table）及びＰＭＴ（program  map  table）などの各種プログラム関連情報を生成する。
【０１７９】
シングルプログラム符号化部１６００の多重化部（ＭＵＸ（multiplexer））１６７０は、パケット化器１６３０，１６４０から、ビデオＰＥＳパケット及びオーディオＰＥＳパケットだけではなく、ＰＥＳパケット形態のサブタイトルデータパケット及びＰＳＩ生成部１６６０から入力された各種プログラム関連情報をセクション形態で入力され、多重化して１つのプログラムに係わるＴＳを生成して出力する。
【０１８０】
一実施形態によるシングルプログラム符号化部１６００が、ＤＶＢ通信方式またはケーブル通信方式によって、ＴＳを生成して伝送したか否かによって、ＤＶＢセットトップボックス（ＤＶＢ  set-top  box）１６８０またはケーブル・セットトップボックス（cable  set-top  box）１６８５がＴＳを受信してパージングし、ビデオ、オーディオ及びサブタイトルを復元する。ＴＶ  １６９０は、ビデオ及びオーディオを再生し、サブタイトルをビデオ画面上に同期化して再生する。
【０１８１】
第２実施形態または第３実施形態によるマルチメディア・ストリーム生成装置１００は、シングルプログラム符号化部１６００の動作に、三次元ビデオ及びサブタイトルの三次元再生のための情報を追加して挿入して伝送することができる。また、第２実施形態または第３実施形態によるマルチメディア・ストリーム受信装置２００は、ＤＶＢセットトップボックス１６７０またはケーブル・セットトップボックス１６８０、及びＴＶ  １６９０の動作に追加し、三次元ビデオ及びサブタイトルを三次元で再生することができる。
【０１８２】
まず、表１４ないし表３４及び図１７ないし図２７を参照して、第２実施形態によるＤＶＢ通信方式によるサブタイトルの三次元再生のためのマルチメディア・ストリームの生成及び受信について説明する。
【０１８３】
図１７は、ＤＶＢ通信方式によるサブタイトルデータの階層的構造を図示している。
【０１８４】
ＤＶＢ通信方式のディスプレイデータ構造はプログラム（program）レベル１７００、エポック（epoch）レベル１７１０、ディスプレイ（display）シーケンスレベル１７２０、領域（region）レベル１７３０、客体（object）レベル１７４０の階層的構造から構成される。
【０１８５】
具体的には、１つのプログラム単位１７０５は、一つ以上のエポック単位１７１２，１７１４，１７１６から構成される。
【０１８６】
エポック単位は、復号化器がメモリレイアウトが変わらないまま維持される時間単位である。すなわち、１つのエポック単位１７１２は、次のエポック単位１７１４が伝送されるまで、サブタイトル復号化器のメモリに保存される。メモリレイアウトは、ページ状態が、「モード変更」であるページ構成セグメントを受信し、復号化器状態がリセットされることによって変更される。従って、２つの連続的なエポック単位１７１２，１７１４の間には、復号化器にページ状態が「モード変更」であるページ構成セグメントが受信されたことを意味する。１つのエポック単位１７１４は、一つ以上のディスプレイシーケンス単位１７２２，１７２４，１７２６から構成される。
【０１８７】
それぞれのディスプレイシーケンス単位１７２２，１７２４，１７２６は、完全なグラフィック場面を示し、数秒間画面上で維持される。一例として、１つのディスプレイシーケンス単位１７２４は、指定された表示位置を有する一つ以上の領域単位１７３２，１７３４，１７３６から構成される。
【０１８８】
それぞれの領域単位１７３２，１７３４，１７３６は、あらゆるピクセルコードに適用される色相及び透明度を定義するＣＬＵＴテーブル（color  look-up  table）と一対になる。ピクセルデプスは、それぞれの領域単位１７３２，１７３４，１７３６に適用される色相のエントリを示し、２，４，８ビットのピクセルデプスは、それぞれ４，１６，２５６種の色相のピクセルコードを支援する。一例として、１つの領域単位１７３４は、背景色相を定義することができ、当該領域内に表示される一つ以上のグラフィック客体単位１７４２，１７４４，１７４６から構成される。
【０１８９】
図１８及び図１９は、ＤＶＢ通信方式によって、サブタイトルのＰＥＳパケットを指すＰＭＴ（program  map  table）内のサブタイトル叙述子の２種表現方式を図示している。
【０１９０】
１つのサブタイトル・ストリームは、一つ以上のサブタイトル・サービスを伝送することができる。一つ以上のサブタイトル・サービスが１つのパケットに多重化され、１つのＰＩＤ（packet  identifier）情報を割り当てられて伝送されたり、あるいはそれぞれのサブタイトル・サービスが別個のパケットから構成され、別個のＰＩＤ情報を割り当てられてそれぞれ伝送される。プログラムのサブタイトル・サービスに係わるＰＩＤ情報、言語及びページ識別子が、関連ＰＭＴに定義されていなければならない。
【０１９１】
図１８は、一つ以上のサブタイトル・サービスが１つのパケットに多重化された場合のサブタイトル叙述子及びサブタイトルＰＥＳパケットを図示している。一つ以上のサブタイトル・サービスが、１つのＰＥＳパケット１８４０に多重化されて、１つのＰＩＤ情報Ｘを割り当てられ、これによって、サブタイトル・サービスのための複数枚のページ１８４２，１８４４，１８４６も同じＰＩＤ情報Ｘに従属する。
【０１９２】
補助ページ（ancillary  page）１８４６のサブタイトルデータは、互いに異なるサブタイトルデータに対して共有される付属データ１８４２，１８４４である。
【０１９３】
ＰＭＴ  １８００は、サブタイトルデータに係わるサブタイトル叙述子１８１０を含んでもよい。サブタイトル叙述子１８１０は、サブタイトルデータに係わる情報をパケット別に定義し、同じパケット内では、サブタイトル・サービスに係わる情報が、ページ別に分類されもする。すなわち、サブタイトル叙述子１８１０は、ＰＩＤ情報ＸであるＰＥＳパケット１８４０内のサブタイトルデータ１８４２，８１４４，１８４６に係わる情報を含み、ＰＥＳパケット１８４０内のサブタイトルデータのページ１８４２，１８４４別に定義されたサブタイトルデータ情報１８２０，１８３０は、それぞれの言語情報「language」、構成ページ識別子「composition−page＿ｉｄ」及び共有ページ識別子「ancillary−page＿ｉｄ」を含んでもよい。
【０１９４】
図１９は、それぞれのサブタイトル・サービスが、別個のパケットによって構成された場合のサブタイトル叙述子及びサブタイトルＰＥＳパケットを図示している。第１サブタイトル・サービスのための第１ページ１９５０は、第１ＰＥＳパケット１９４０から構成され、第２サブタイトル・サービスのための第２ページ１９７０は、第２ＰＥＳパケット１９６０から構成される。第１ＰＥＳパケット１９４０及び第２ＰＥＳパケット１９６０には、ＰＩＤ情報Ｘ及びＹがそれぞれ割り当てられる。
【０１９５】
ＰＭＴ  １９００のサブタイトル叙述子１９１０は、複数個のサブタイトルＰＥＳパケットのＰＩＤ情報値を含むことができ、複数個のＰＥＳパケットのサブタイトルデータのための情報を、ＰＥＳパケット別に定義することができる。すなわち、サブタイトル叙述子１９１０は、ＰＩＤ情報Ｘである第１ＰＥＳパケット１９４０内のサブタイトルデータのページ１９５０のためのサブタイトル・サービス情報１９２０、及びＰＩＤ情報Ｙである第２ＰＥＳパケット１９６０内のサブタイトルデータのページ１９７０のためのサブタイトル・サービス情報１９３０を含む。
【０１９６】
図２０は、ＤＶＢ通信方式によるサブタイトルデータを含むデータストリーム構造の一例を図示している。
【０１９７】
ＤＶＢ通信方式によるサブタイトルを含むＤＶＢ  ＴＳ  ２０００から、同じＰＩＤ情報が割り当てられたサブタイトルＴＳパケット２００２，２００４，２００６がギャザリング（gathering）され、サブタイトルＰＥＳパケット２０１２，２０１４が構成される。それぞれのＰＥＳパケット２０１２，２０１４の開始部分を構成するサブタイトルデータ２００２，２００６は、当該ＰＥＳパケット２０１２，２０１４のヘッダを構成する。
【０１９８】
それぞれのサブタイトルＰＥＳパケット２０１２，２０１４は、ディスプレイセット２０２２，２０２４を構成する。１つのディスプレイセット２０２２は、複数枚の構成ページ（composition  page）２０４２，２０４４及び補助ページ２０４６を含む。１枚の構成ページ２０４２は、ページ構成セグメント（page  composition  segment）２０５２、領域構成セグメント（region  composition  segment）２０５４、ＣＬＵＴ定義セグメント（ＣＬＵＴ  definition  segment）２０５６及び客体データセグメント（object  data  segment）２０５８を含む。１枚の補助ページ２０４６は、ＣＬＵＴ定義セグメント２０６２及び客体データセグメント２０６４を含む。
【０１９９】
図２１は、ＤＶＢ通信方式による構成ページの構造の一例を図示している。
【０２００】
構成ページ２１００は、１つのディスプレイ定義セグメント２１１０、１つのページ構成セグメント２１２０、一つ以上の領域構成セグメント２１３０，２１４０、一つ以上のＣＬＵＴ定義セグメント２１５０，２１６０、一つ以上の客体データセグメント２１７０，２１８０及び１つのディスプレイセット・セグメント終了領域（end  of  display  set  segment）２１９０を含む。構成ページ２１００は、領域構成セグメント、ＣＬＵＴ定義セグメント、客体データセグメントを複数個ずつ含んでもよい。
【０２０１】
ページ識別子が「１」である構成ページ２１００を構成するセグメント２１１０，２１２０，２１３０，２１４０，２１５０，２１６０，２１７０，２１８０，２１９０に係わるページ識別子「page  ｉｄ」は、いずれも「１」に定義される。それぞれの領域構成セグメント２１３０，２１４０に係わる領域識別子「region  ｉｄ」は、領域別インデックスで設定され、それぞれのＣＬＵＴ定義セグメント２１５０，２１６０に係わるＣＬＵＴテーブル識別子「ＣＬＵＴ  ｉｄ」は、ＣＬＵＴテーブル別にインデックスに設定される。また、それぞれの客体データセグメント２１７０，２１８０に係わる客体識別子「object  ｉｄ」は、客体データ別インデックスに設定される。
【０２０２】
以上、ディスプレイ定義セグメント、ページ構成セグメント、領域構成セグメント、ＣＬＵＴ定義セグメント、客体データセグメント及びディスプレイセット・セグメント終了のシンタックスは、サブタイトル・セグメントの形態で符号化され、サブタイトルＰＥＳパケットのペイロード領域に挿入してもよい。
【０２０３】
表１４は、ＤＶＢサブタイトルＰＥＳパケット内の「ＰＥＳ＿packet＿data＿bytes」フィールドに保存される「ＰＥＳ＿data＿ｆｉｅｌｄ」フィールドのシンタックスを示している。サブタイトルＰＥＳパケットに保存されるサブタイトルデータは、「ＰＥＳ＿data＿field」フィールドの形態で符号化される。
【０２０４】
【表１４】
2013511199.tif 000016
「data＿identifier」フィールドは、現在ＰＥＳパケットデータがＤＶＢサブタイトルデータであることを示すように、「０ｘ２０」値に固定される。「subtitle＿stream＿ｉｄ」フィールドは、現在サブタイトル・ストリームの識別子を含み、「０ｘ００」値に固定される。「end＿ｏｆ＿ＰＥＳ＿data＿field＿marker」フィールドは、現在データフィールドがＰＥＳデータフィールド終了フィールドであるか否かを示す情報を含み、値「１１１１１１１１」に固定される。サブタイトル・セグメント「subtitling＿segment」フィールドのシンタックスは、表１５の通りである。
【０２０５】
【表１５】
2013511199.tif 000017
「ｓｙｎｃ＿byte」フィールドは、「００００  １１１１」値に暗号化される。「segment＿length」フィールド値を基にセグメントが復号化されるとき、同期化いかんを確認し、伝送パケットの遺失（loss）いかんを判断するために、「ｓｙｎｃ＿byte」フィールドが利用される。
【０２０６】
「segment＿type」フィールドは、セグメントデータ・フィールドに含まれたデータ種類に係わる情報を含む。表１６は、「segment＿type」フィールドによって定義されるセグメントタイプを示している。
【０２０７】
【表１６】
2013511199.tif 000018
「page＿ｉｄ」フィールドは、「subtitling＿segment」フィールドに含まれたデータのサブタイトル・サービスの識別子を含む。サブタイトル叙述子で、構成ページ識別子に設定された「page＿ｉｄ」値が割り当てられたサブタイトル・セグメントには、１つのサブタイトル・サービスに係わるサブタイトルデータが含まれる。また、サブタイトル叙述子で、補助ページ識別子に設定された「page＿ｉｄ」値が割り当てられたサブタイトル・セグメントには、複数個のサブタイトル・サービスが共有されるデータを含む。
【０２０８】
「segment＿length」フィールドは、後続する「segment＿data＿field」フィールドに含まれたバイト数情報を含む。「segment＿data＿field」フィールドは、セグメントのペイロード領域であり、ペイロード領域のシンタックスは、セグメントタイプによって変わることがある。セグメントタイプ別ペイロード領域のシンタックスは、以下、表１７，１８，２０，２５，２６及び２８で例示される。
【０２０９】
表１７は、ディスプレイ定義セグメント「display＿definition＿segment」のシンタックスを図示している。
【０２１０】
【表１７】
2013511199.tif 000019
ディスプレイ定義セグメントは、サブタイトル・サービスの解像度を定義することができる。
【０２１１】
「ｄｄｓ＿version＿number」フィールドは、ディスプレイ定義セグメントのバージョン情報を含む。「ｄｄｓ＿version＿number」フィールド値のバージョン番号は、ディスプレイ定義セグメントの内容が変更されるたびに、モジュロ（modulo）１６単位で増加する。
【０２１２】
「display＿window＿flag」フィールド値が「１」に設定される場合、ディスプレイ定義セグメントと関連したＤＶＢサブタイトル・ディスプレイセットは、「display＿width」フィールド及び「display＿height」フィールドで定義されたディスプレイサイズ内で、サブタイトルが表示されるウインドウ領域を定義する。この場合、ディスプレイ定義セグメントで、「display＿window＿horizontal＿position＿minimum」フィールド、「display＿window＿horizontal＿position＿maximum」フィールド、「display＿window＿vertical＿position＿minimum」フィールド及び「display＿window＿vertical＿position＿maximum」フィールド値によって、ディスプレイ内の現在ウインドウ領域のサイズと位置とが定義される。
【０２１３】
「display＿window＿flag」フィールド値が「０」に設定される場合、現在ＤＶＢサブタイトル・ディスプレイセットは、「display＿width」フィールド及び「display＿height」フィールドで定義されたディスプレイサイズ内で、ウインドウ領域なしに直接表現される。
【０２１４】
「display＿width」フィールド及び「display＿height」フィールドは、それぞれディスプレイサイズの最大水平幅情報及び最大垂直高さ情報を含み、それぞれフィールド値が０〜４０９５の範囲で設定される。
【０２１５】
「display＿window＿horizontal＿position＿minimum」フィールドは、ディスプレイ内で、現在ウインドウ領域の水平最小位置情報を含む。すなわち、ディスプレイの左側端ピクセルを基準に、ＤＶＢサブタイトルディスプレイ・ウインドウの左側端ピクセル値が定義される。
【０２１６】
「display＿window＿horizontal＿position＿maximum」フィールドは、ディスプレイ内で、現在ウインドウ領域の水平最大位置情報を含む。すなわち、ディスプレイの左側端ピクセルを基準に、ＤＶＢサブタイトルディスプレイ・ウインドウの右側端ピクセル値が定義される。
【０２１７】
「display＿window＿vertical＿position＿minimum」フィールドは、ディスプレイ内で、現在ウインドウ領域の垂直最小ピクセル位置を含む。すなわち、ディスプレイの上端ラインを基準に、ＤＶＢサブタイトルディスプレイ・ウインドウの最上端ライン値が定義される。
【０２１８】
「display＿window＿vertical＿position＿maximum」フィールドは、ディスプレイ内で、現在ウインドウ領域の垂直最大ピクセル位置情報を含む。すなわち、ディスプレイの上端ラインを基準に、ＤＶＢサブタイトルディスプレイ・ウインドウの最下端ライン値が定義される。
【０２１９】
表１８は、ページ構成セグメント「page＿composition＿segment」のシンタックスを図示している。
【０２２０】
【表１８】
2013511199.tif 000020
「page＿time＿out」フィールドは、ページが有効ではなく、スクリーン上から消えるまでの期間に係わる情報を含み、秒（second）単位で設定される。「page＿version＿number」フィールド値は、ページ構成セグメントのバージョン番号を示し、ページ構成セグメントの内容が変更されるたびに、モジュロ１６単位で増加する。
【０２２１】
「page＿state」フィールドは、ページ構成セグメントで記述されたサブタイトル・ページ・インスタンスの状態（page  state）に係わる情報を含む。「page＿state」フィールド値は、ページ構成セグメントによるサブタイトルページを表示するためのデコーダの動作状態（status）を示すこともできる。表１９は、「page＿state」フィールド値の内容を示している。
【０２２２】
【表１９】
2013511199.tif 000021
「processed＿length」フィールドは、デコーダによって処理される「while」ループ（loop）内に含まれたバイト数情報を含む。「region＿ｉｄ」フィールドは、ページ内の領域に係わる固有識別子を含む。識別されたそれぞれの領域は、ページ構成で定義されたページインスタンスにディスプレイされる。それぞれの領域は、「region＿vertical＿address」フィールド値の昇順（ascending  order）によってページ構成セグメントに収録される。
【０２２３】
「region＿horizontal＿address」フィールドは、ページ内の当該領域の上端左側ピクセルが表示される水平ピクセルの位置情報を含む。「region＿vertical＿address」フィールドは、ページ内の当該領域の上端左、すなわち、ピクセルが表示される垂直ラインの位置情報を定義する。
【０２２４】
表２０は、領域構成セグメント「region＿composition＿segment」のシンタックスを図示している。
【０２２５】
【表２０】
2013511199.tif 000022
【０２２６】
【表２１】
2013511199.tif 000023
「region＿ｉｄ」フィールドは、現在領域の固有識別子を含む。
【０２２７】
「region＿version＿number」フィールドは、現在領域のバージョン情報を含む。（ｉ）「region＿fill＿flag」フィールド値が「１」に設定された場合、（ｉｉ）現在領域のＣＬＵＴテーブルが変更された場合、（ｉｉｉ）現在領域が長さが０ではない客体目録（object  list）を具備する場合のうち、１つの条件が真である場合、現在領域のバージョンが増加する。
【０２２８】
「region＿fill＿flag」フィールド値が「１」に設定される場合、「region＿ｎ−bit＿pixel＿code」フィールドで定義された色相で、現在領域の背景が充填される。
【０２２９】
「region＿width」フィールド及び「region＿height」フィールドは、それぞれ現在領域の水平幅情報及び垂直高さ情報を含み、ピクセル単位で設定される。
【０２３０】
「region＿level＿of＿compatibility」フィールドは、現在領域を復号化するために、デコーダが具備しなければならない最小限のＣＬＵＴタイプ情報を含み、表２１によって定義される。
【０２３１】
【表２２】
2013511199.tif 000024
デコーダが指定された最小限のＣＬＵＴタイプを支援することができない場合、さらに低いレベルのＣＬＵＴタイプを要求する他の領域は、表示されもするが、現在領域は、表示されない。
【０２３２】
「region＿depth」フィールドは、領域のピクセル深さ情報を含み、表２２によって定義される。
【０２３３】
【表２３】
2013511199.tif 000025
「ＣＬＵＴ＿ｉｄ」フィールドは、現在領域に適用されるＣＬＵＴテーブルの識別子を含む。「region＿８−bit＿pixel−code」フィールド値は、「region＿fill＿flag」フィールドが設定された場合、現在領域の背景色として適用される８ビットＣＬＵＴテーブルの色相エントリを定義する。類似した方式で、「region＿４−bit＿pixel−code」フィールド値及び「region＿２−bit＿pixel−code」フィールド値は、それぞれ「region＿fill＿flag」フィールドが設定された場合、現在領域の背景色として適用される４ビットＣＬＵＴテーブルの色相エントリ、及び２ビットＣＬＵＴテーブルの色相エントリを定義する。
【０２３４】
「object＿ｉｄ」フィールドは、現在領域で見られる客体の識別子を含み、「object＿type」フィールドは、表２３で定義された客体タイプ情報を含む。客体タイプは、基底客体または構成客体、ビットマップ、文字または文字列に分類されもする。
【０２３５】
【表２４】
2013511199.tif 000026
「object＿provider＿flag」フィールドは、表２４によって、客体を提供する方式を示している。
【０２３６】
【表２５】
2013511199.tif 000027
「object＿horizontal＿position」フィールドは、現在領域内の客体データが表示される相対的位置であり、現在客体の上端左側ピクセルが表示される水平ピクセルの位置情報を含む。すなわち、現在領域の左側端を基準に、現在客体の左側上端ピクセルまでのピクセル数が定義される。
【０２３７】
「object＿vertical＿position」フィールドは、現在領域内の客体データが表示される相対的位置であり、現在客体の上端左側ピクセルが表示される垂直ラインの位置情報を含む。すなわち、現在領域の上端を基準に、現在客体までの上端ラインまでのラインの本数が定義される。
【０２３８】
「foreground＿pixel＿code」フィールドは、文字の前景色相として選択された８ビットＣＬＵＴテーブルの色相エントリ情報を含む。「background＿pixel＿code」フィールドは、文字の背景色相として選択された８ビットＣＬＵＴテーブルの色相エントリ情報を含む。
【０２３９】
表２５は、ＣＬＵＴ定義セグメント「ＣＬＵＴ＿definition＿segment」のシンタックスを図示している。
【０２４０】
【表２６】
2013511199.tif 000028
「ＣＬＵＴ−ｉｄ」フィールドは、ページ内でＣＬＵＴ定義セグメントに含まれたＣＬＵＴテーブルの識別子を含む。「ＣＬＵＴ＿version＿number」フィールドは、ＣＬＵＴ定義セグメントのバージョン番号を示し、現在セグメントの内容が変更される場合、バージョン番号がモジュロ１６単位で増加する。
【０２４１】
「ＣＬＵＴ＿entry＿ｉｄ」フィールドは、ＣＬＵＴエントリの固有識別子を含み、最初の識別子値は、０である。「２−bit／entry＿ＣＬＵＴ＿flag」フィールド値が「１」に設定される場合、現在ＣＬＵＴテーブルは、２ビットエントリから構成されるが設定され、類似した方式で、「４−bit／entry＿ＣＬＵＴ＿flag」フィールド値または「８−bit／entry＿ＣＬＵＴ＿flag」フィールド値が「１」に設定される場合、現在ＣＬＵＴテーブルは、４ビットエントリまたは８ビットエントリとして構成設定される。
【０２４２】
「full＿range＿flag」フィールド値が「１」に設定される場合、「Ｙ＿value」フィールド、「Ｃｒ＿value」フィールド、「Ｃｂ＿value」フィールド及び「Ｔ＿value」フィールドに対して、フル８ビット解像度が適用される。
【０２４３】
「Ｙ＿value」フィールド、「Ｃｒ＿value」フィールド及び「Ｃｂ＿value」フィールドは、それぞれ入力に対するＣＬＵＴテーブルのＹ出力情報、Ｃｒ出力情報及びＣｂ出力情報を含む。
【０２４４】
「Ｔ＿value」フィールドは、入力に対するＣＬＵＴテーブルの透明度情報を含む。「Ｔ＿value」フィールド値が「０」である場合、透明度がないことを意味する。
【０２４５】
表２６は、客体データセグメント「object＿data＿segment」のシンタックスを図示している。
【０２４６】
【表２７】
2013511199.tif 000029
【０２４７】
【表２８】
2013511199.tif 000030
「object＿ｉｄ」フィールドは、ページ内の現在客体に係わる識別子を含む。「object＿version＿number」フィールドは、現在客体データセグメントのバージョン情報を含み、セグメントの内容が変更されるたびに、バージョン番号が「モジュロ１６」単位で増加する。
【０２４８】
「object＿coding＿method」フィールドは、客体の符号化方法情報を含む。表２７によって、客体は、ピクセルまたは文字列で符号化可能である。
【０２４９】
【表２９】
2013511199.tif 000031
「non＿modifying＿colour＿flag」フィールド値が「１」に指定された場合、ＣＬＵＴテーブルの入力値「１」が修正されない「非修正色相」であることを示す。客体ピクセルに非修正色相が割り当てられれば、基底領域の背景または客体のピクセルは、修正されない。
【０２５０】
「top＿field＿data＿block＿length」フィールドは、最上端フィールドに係わる「pixel−data＿sub−blocks」フィールドに含まれたバイト数情報を含む。「bottom＿field＿data＿block＿length」フィールドは、最下端フィールドに係わる「data＿sub−block」フィールドに含まれたバイト数情報を含む。それぞれの客体で、最上端フィールドのピクセルデータ・サブブロックと最下端フィールドのピクセルデータ・サブブロックは、同じ客体データセグメントを介して定義される。
【０２５１】
「８＿stuff＿bits」フィールドは、「００００  ００００」に固定される。「number＿of＿codes」フィールドは、文字列内の文字コード数情報を含む。「character＿code」フィールド値は、サブタイトル叙述子で識別される文字コード内のインデックスを利用して文字を設定する。
【０２５２】
表２８は、ディスプレイセット・セグメント終了領域（end＿of＿display＿set＿segment）のシンタックスを図示している。
【０２５３】
【表３０】
2013511199.tif 000032
「end＿of＿display＿set＿segment」フィールドは、デコーダに、ディスプレイセットの伝送が完了したことを明確に知らせるために利用される。「end＿of＿display＿set＿segment」フィールドは、それぞれのディスプレイセットに係わり、最後の客体データセグメント「object＿data＿segment」フィールドの次に挿入可能である。また「end＿of＿display＿set＿segment」フィールドは、１つのサブタイトル・ストリーム内で、それぞれのサブタイトル・サービスを区分するためにも利用される。
【０２５４】
図２２は、ＤＶＢ通信方式によるサブタイトル処理モデルのフローチャートを図示している。
【０２５５】
ＤＶＢ通信方式によるサブタイトル処理モデル２２００によれば、サブタイトルデータが含まれたＴＳ  ２２１０が入力され、ＭＰＥＧ−２  ＴＳパケット（transport  stream  packet）に分解され、ＰＩＤフィルタ（ＰＩＤ  filter）を介して、ＭＰＥＧ−２ＴＳパケット中で、サブタイトルに対応するＰＩＤ情報が割り当てられたサブタイトル用ＴＳパケット２２１２，２２１４，２２１６のみ抽出され（段階２２２０）、トランスポート・バッファ（transport  buffer）に出力される。段階２２３０で、トランスポート・バッファは、サブタイトル用ＴＳパケット２２１２，２２１４，２２１６から、サブタイトルＰＥＳパケットを構成して抽出する。それぞれのサブタイトルＰＥＳパケットは、サブタイトルデータが含まれたＰＥＳペイロード及びＰＥＳヘッダから構成される。段階２２４０で、サブタイトル復号化部（subtitle  decoder）が、トランスポート・バッファから出力されたサブタイトルＰＥＳパケットを入力され、画面上に表示されるサブタイトルを構成する。
【０２５６】
サブタイトル復号化段階２２４０は、前処理及びフィルタリング（pre-processor  and  filters）段階（２２５０）、符号化データバッファリング（coded  data  buffer）段階（２２６０）、サブタイトル処理（sutitle  processing）段階（２２７０）及び構成バッファリング（composition  buffer）段階（２２８０）に細分化される。
【０２５７】
例えば、ユーザによって、ＰＭＴ内のページＩＤ情報「page＿ｉｄ」が「１」であるページが選択された場合を仮定する。前処理及びフィルタリング段階（２２５０）は、ＰＥＳペイロード（ＰＥＳ  payload）内の「page＿ｉｄ」が「１」である構成ページ（composition  page）を、ディスプレイ定義セグメント、ページ構成セグメント、領域構成セグメント、ＣＬＵＴ定義セグメント及び客体データセグメントに分解する。分解されたセグメントのうち、一つ以上の客体データセグメント内の一つ以上の客体データは、符号化データバッファに保存され（段階２２６０）、ディスプレイ定義セグメント、ページ構成セグメント、一つ以上の領域構成セグメント及び一つ以上のＣＬＵＴ定義セグメントは、構成バッファに保存される（段階２２８０）。
【０２５８】
サブタイトル処理段階（２２７０）は、符号化データバッファから、一つ以上の客体データを入力され、構成バッファに保存されたディスプレイ情報、ページ構成情報、領域構成情報及びＣＬＵＴ情報に基づいて、一つ以上の客体から構成されたサブタイトルを生成する。
【０２５９】
サブタイトル復号化段階（２２４０）で構成されたサブタイトルは、ピクセルバッファ（pixel  buffer）に保存される（段階２２９０）。
【０２６０】
図２３、図２４及び図２５は、符号化データバッファ（coded  data  buffer）、構成バッファ（composition  buffer）、ピクセルバッファ（pixel  buffer）に保存されたデータを図示している。
【０２６１】
符号化データバッファ２３００に、客体識別子（object  ｉｄ）が１である客体データ２３１０、及び客体識別子が２である客体データ２３２０が保存される。
【０２６２】
構成バッファ２４００に、領域識別子（region  ｉｄ）が１である第１領域２４１０に係わる情報、領域識別子が「２」である第２領域２４２０に係わる情報、及び第１領域２４１０及び第２領域２４２０から構成されたページ構成に係わる情報２４３０が保存される。
【０２６３】
サブタイトル処理段階（２２７０）を介して、符号化データバッファ２３００に保存された客体データ２３１０，２３２０、及び構成バッファ２４００に保存された第１領域２４１０、第２領域２４２０及びページ２４３０に係わる情報に基づいて、領域別サブタイトル客体２５１０，２５２０が配置されたサブタイトルページ２５００がピクセルバッファに保存される。
【０２６４】
以下、表１４ないし表２８及び図１６ないし図２５を参照して説明したＤＶＢ通信方式によるサブタイトルを基に、サブタイトルの三次元再生のための第２実施形態によるマルチメディア・ストリーム生成装置１００、及び第２実施形態によるマルチメディア・ストリーム受信装置２００の動作について、以下、表２９ないし３４及び図２６ないし図２９を参照して説明する。
【０２６５】
第２実施形態によるマルチメディア・ストリーム生成装置１００は、ＤＶＢサブタイトルの三次元再生のための情報を、サブタイトルＰＥＳパケットに挿入してもよい。第２実施形態によるＤＶＢサブタイトルの三次元再生のための情報は、サブタイトルデプスに係わる情報であり、デプス、視差、座標などのオフセット情報を多様な形態で利用することができる。
【０２６６】
具体的な実施形態で、第２実施形態によるマルチメディア・ストリーム生成装置１００のプログラム符号化部１１０は、サブタイトルＰＥＳパケット内の構成ページ内のページ構成セグメントに、ＤＶＢサブタイトルの三次元再生のための情報を挿入してもよい。また、第２実施形態によるプログラム符号化部１１０は、サブタイトルのデプスを定義するためのセグメントを新たに定義し、ＰＥＳパケットに挿入してもよい。
【０２６７】
表２９及び３０はそれぞれ、第２実施形態によるプログラム符号化部１１０によって、ＤＶＢサブタイトルのデプス情報が含まれるように変形された、ページ構成セグメントのシンタックスを例示している。
【０２６８】
【表３１】
2013511199.tif 000033
第２実施形態によるプログラム符号化部１１０は、表１８の基本「page＿composition＿segment（）」内のwhileループ内の「reserved」フィールドに、表２９のように、「region＿offset＿direction」フィールド及び「region＿offset」フィールドを追加して挿入してもよい。例えば、第２実施形態によるプログラム符号化部１１０は、「reserved」フィールドの８ビットを代替し、「region＿offset＿direction」フィールドに１ビットを割り当て、「region＿offset」フィールドに７ビットを割り当てることができる。
【０２６９】
「region＿offset＿direction」フィールドは、現在領域のオフセットの方向性情報を含んでもよい。「region＿offset＿direction」フィールド値が「０」である場合、現在領域のオフセットが正の方向であることが設定され、「１」である場合、負の方向であることが設定される。
【０２７０】
「region＿offset」フィールドは、現在領域のオフセット情報を含んでもよい。二次元用サブタイトルを利用し、左視点サブタイトルまたは右視点サブタイトルを生成するために、「region＿horizontal＿address」フィールド値によって、サブタイトル領域であると定義された現在領域のｘ座標値のピクセル変位が「region＿offset」フィールド値に設定されてもよい。
【０２７１】
【表３２】
2013511199.tif 000034
第２実施形態によるプログラム符号化部１１０は、表２９の変形されたページ構成セグメントに、「region＿offset＿based＿position」フィールドを追加することができる。表１８の基本的なページ構成セグメント内の８ビットの「reserved」フィールドを代替し、１ビットの「region＿offset＿direction」フィールド、６ビットの「region＿offset」フィールド、及び１ビットの「region＿offset＿based＿position」フィールドが割り当てられる。
【０２７２】
「region＿offset＿based＿position」フィールドは、「region＿offset」フィールドのオフセット値が、基本平面を基準に適用されているか、またはビデオのデプスを基準として適用されているかを示すためのフラッグ情報を含んでもよい。
【０２７３】
表３１、３２、３３及び３４は、第２実施形態によるプログラム符号化部１１０が、サブタイトルのデプスを定義するために、新たに定義したデプス定義セグメントである「Depth＿Definitioin＿Segment」フィールドのシンタックスを図示している。
【０２７４】
第２実施形態によるプログラム符号化部１１０は、表１５の「subtitling＿segment」フィールド内の「segment＿data＿field」フィールドに、「Depth＿Definition＿Segment」フィールドなどのサブタイトルのオフセットと関連した情報を、追加的なセグメント形態で挿入してもよい。これによって、第２実施形態によるプログラム符号化部１１０は、サブタイトルタイプの一つとして、デプス定義セグメントを追加することもできる。例えば、第２実施形態によるマルチメディア・ストリーム生成装置１００が、表１６の「subtitle＿type」フィールド値が「０ｘ４０」〜「０ｘ７Ｆ」である、サブタイトルタイプフィールドの保留領域（reserved）における１つの値を利用し、デプス定義セグメントを追加して定義することにより、ＤＶＢサブタイトルシステムとの下位互換性が保証される。
【０２７５】
第２実施形態によるマルチメディア・ストリーム生成装置１００は、ページ単位でサブタイトルのオフセット情報を定義するデプス定義セグメントを新たに生成することができる。デプス定義セグメント「Depth＿Definition＿Segment」フィールドのシンタックスを、表３１及び３２を介してそれぞれ例示する。
【０２７６】
【表３３】
2013511199.tif 000035
「page＿offset＿direction」フィールドは、現在ページに係わるオフセット方向性情報を含んでもよい。「page＿offset」フィールドは、現在ページについてのオフセット情報を含んでもよい。すなわち、「page＿offset」フィールド値は、現在ページのｘ座標値のピクセル変位を示すことができる。
【０２７７】
また、第２実施形態によるプログラム符号化部１１０は、デプス定義セグメントに、「page＿offset＿based＿position」フィールドを追加することができる。「page＿offset＿based＿position」フィールドは、「page＿offset」フィールドのオフセット値が、基本平面を基準に適用されているか、またはビデオのデプスを基準として適用されているかを示すためのフラッグ情報を含んでもよい。
【０２７８】
表３１及び３２のデプス定義セグメントによれば、現在ページに係わって、同じオフセットが適用される。
【０２７９】
また、第２実施形態によるマルチメディア・ストリーム生成装置１００は、領域単位でサブタイトルのオフセット情報を定義するデプス定義セグメントを新たに生成することができる。この場合、「Depth＿Definition＿Segment」フィールドのシンタックスが、表３３及び３４でそれぞれ例示される。
【０２８０】
【表３４】
2013511199.tif 000036
表３３及び３４のデプス定義セグメント内の「page＿ｉｄ」フィールド及び「region＿ｉｄ」フィールドは、ページ構成セグメントの同一フィールドを参照することができる。第２実施形態によるマルチメディア・ストリーム生成装置１００は、新たに定義したデプス定義セグメント内で、forループを介して、現在ページ内の領域別に、サブタイトルのオフセット情報を設定することができる。すなわち、「region＿ｉｄ」フィールドは、現在領域の識別情報を含み、「region＿ｉｄ」フィールド値によって、「region＿offset＿direction」フィールド、「region＿offset」フィールド及び「region＿offset＿based＿position」フィールドが別途に設定される。従って、サブタイトルの領域別に、ｘ座標のピクセル変位が別途に設定される。
【０２８１】
第２実施形態によるマルチメディア・ストリーム受信装置２００は、受信されたＴＳをパージングして構成ページを抽出し、構成ページ内のページ構成セグメント、領域定義セグメント、ＣＬＵＴ定義セグメント、客体データセグメントなどのシンタックスを判読し、これを基に、サブタイトルを構成することができる。また、第２実施形態によるマルチメディア・ストリーム受信装置２００は、表２６ないし３４を参照して、開示されたサブタイトルの三次元再生のための情報を利用し、サブタイトルのページまたは領域のデプス感を調節することができる。以下、図２６及び図２７を参照して、サブタイトルのページ及び領域のデプス感を調節する方法について説明する。
【０２８２】
図２６は、第２実施形態によるサブタイトルの領域別デプス感調節方式を図示している。
【０２８３】
一実施形態によるサブタイトル復号化部２６００は、図２２を参照して説明したＤＶＢ通信方式によるサブタイトル処理モデルにおいて、サブタイトル復号化段階（２２４０）を変形して具現したモデルである。また、一実施形態によるサブタイトル復号化部２６００は、第２実施形態によるマルチメディア・ストリーム受信装置２００の復号化部２３０及び再生部２４０が、サブタイトルを復元し、三次元サブタイトルを構成する動作を行う細部構成要素として理解することもできる。
【０２８４】
一実施形態によるサブタイトル処理部２６００は、前処理及びフィルタリング部（pre-processor  and  filter）２６１０、符号化データバッファ（coded  data  buffer）２６２０、高級サブタイトル処理部（enhanced  subtitle  processing）２６３０及び構成バッファ（composition  buffer）２６４０を含む。前処理及びフィルタリング部２６１０を介して、サブタイトルＰＥＳペイロードにおいて客体データは、符号化データバッファ２６３０に出力され、領域定義セグメント、ＣＬＵＴ定義セグメント、ページ構成セグメント及び客体データセグメントなどのサブタイトル構成情報は、構成バッファ２６４０に出力されもする。一実施形態によれば、ページ構成セグメントに、表２９及び３０で例示された領域別デプス情報が収録される。
【０２８５】
例えば、構成バッファ２６４０に、領域識別子が１である第１領域２６４２に係わる情報、領域識別子が２である第２領域２６４４に係わる情報が保存され、領域別オフセット情報（offset  value  per  region）が含まれたページ構成２６４６に係わる情報が保存されもする。
【０２８６】
高級サブタイトル処理部２６３０は、符号化データバッファ２６２０の客体データ及び構成バッファ２６４０の構成情報を利用してサブタイトルページを構成し、領域ごとにオフセット情報によって移動させることによって、サブタイトルのデプス感を調節することができる。例えば、二次元サブタイトルページ２６５０には、第１領域２６５２及び第２領域２６５４に、それぞれ第１客体及び第２客体が表示される。一実施形態による構成バッファ２６４０に保存されたページ構成２６４６内の領域別オフセット情報に基づいて、第１領域２６５２及び第２領域２６５４が当該オフセットほど移動される。
【０２８７】
すなわち、左視点映像のためのサブタイトルページ２６６０で、第１領域２６５２及び第２領域２６５４が、それぞれ第１領域オフセット（offset  for  region  １）及び第２領域オフセット（offset  for  region  ２）ほど正の方向に移動し、第１左視点領域２６６２及び第２左視点領域２６６４に、それぞれ第１客体及び第２客体が表示されもする。類似した方式で、右視点映像のためのサブタイトルページ２６７０で、第１領域２６７２及び第２領域２６７４が、それぞれ第１領域オフセット及び第２領域オフセットほど負の方向に移動し、第１右視点領域２６７２及び第２右視点領域２６７４に、それぞれ第１客体及び第２客体が表示されもする。
【０２８８】
デプス感が調節されるように、オフセットが適用された三次元サブタイトルページ２６６０，２６７０は、ピクセルバッファに保存されもする。
【０２８９】
図２７は、第２実施形態によるサブタイトルのページ別デプス感調節方式を図示している。
【０２９０】
一実施形態によるサブタイトル処理部２７００は、前処理及びフィルタリング部（pre-processor  and  filter）２７１０、符号化データバッファ（coded  data  buffer）２７２０、高級サブタイトル処理部（enhanced  subtitle  processor）２７３０及び構成バッファ（composition  buffer）２７４０を含む。前処理及びフィルタリング部２７１０を介して、サブタイトルＰＥＳペイロードにおいて客体データは、符号化データバッファ２７３０に出力され、領域定義セグメント、ＣＬＵＴ定義セグメント、ページ構成セグメント及び客体データセグメントなどのサブタイトル構成情報は、構成バッファ２７４０に出力されもする。一実施形態によれば、前処理及びフィルタリング部２７１０により、表３１ないし３４で例示されたデプス定義セグメントのページ別デプスまたは領域別デプス情報が構成バッファ２７４０に伝えられて保存されもする。
【０２９１】
例えば、構成バッファ２７４０に、領域識別子が１である第１領域２７４２に係わる情報、領域識別子が２である第２領域２７４４に係わる情報が保存され、表３１及び３２で例示されたデプス定義セグメントのページ別オフセット情報（offset  value  per  page）が含まれたページ構成２７４６に係わる情報が保存されもする。
【０２９２】
一実施形態による高級サブタイトル処理部２７３０は、符号化データバッファ２７２０の客体データ及び構成バッファ２７４０の構成情報を利用し、サブタイトルページを構成し、ページ別オフセットによってページを移動させることによって、サブタイトルのデプス感を調節することができる。例えば、二次元サブタイトルページ２７５０には、第１領域２７５２及び第２領域２７５４に、それぞれ第１客体及び第２客体が表示される。一実施形態による構成バッファ２７４０に保存されたページ構成２７４６内のページ別オフセット情報に基づいて、第１領域２７５２及び第２領域２７５４が当該オフセットほど移動可能である。
【０２９３】
すなわち、左視点映像のためのサブタイトルページ２７６０は、二次元サブタイトルページ２７５０の位置から、正のｘ軸方向に、現在ページオフセット（offset  for  page）ほど移動する。これによって、第１領域２７５２及び第２領域２７５４も、正のｘ軸方向に、現在ページオフセット（offset  for  page）ほど移動し、第１左視点領域２７６２及び第２左視点領域２７６４に、それぞれ第１客体及び第２客体が表示されもする。
【０２９４】
類似した方式で、右視点映像のためのサブタイトルページ２７７０は、二次元サブタイトルページ２７５０の位置から、負のｘ軸方向に、現在ページオフセット（offset  for  page）ほど移動する。これによって、第１領域２７５２及び第２領域２７５４も、負のｘ軸方向に、現在ページオフセット（offset  for  page）ほど移動し、第１右視点領域２７７２及び第２右視点領域２７７４に、それぞれ第１客体及び第２客体が表示されもする。
【０２９５】
また、表３３及び３４で例示された一実施形態によるデプス定義セグメントの領域別オフセット情報が、構成バッファ２７４０に保存されれば、一実施形態による高級サブタイトル処理部２７３０は、領域別にオフセットが適用されたサブタイトルページを生成し、図２６を参照して説明した左視点映像のためのサブタイトルページ２６６０、及び右視点映像のためのサブタイトルページ２６７０と類似した結果物を生成することができる。
【０２９６】
第２実施形態によるマルチメディア・ストリーム生成装置１００は、ＤＶＢサブタイトルＰＥＳパケットに、サブタイトルデータ及びサブタイトル三次元再生情報を挿入して伝送することができる。サブタイトル三次元再生情報は、三次元サブタイトルの安定した再生のために、コンテンツ提供者によって設定される。これによって、第２実施形態によるマルチメディア・ストリーム受信装置２００は、ＤＶＢ方式によって受信されたマルチメディアのデータストリームを受信し、ＤＶＢサブタイトルデータ及びＤＶＢサブタイトル三次元再生情報を抽出し、三次元ＤＶＢサブタイトルを構成することができる。また、第２実施形態によるマルチメディア・ストリーム受信装置２００は、ＤＶＢサブタイトル三次元再生情報に基づいて、三次元ビデオと三次元サブタイトルとのデプスを調節することによって、三次元ビデオ及びサブタイトル間のデプス逆転現象を含んで、視聴者に疲労感を誘発する問題点を防止することができるので、これによって、視聴者が安定した環境で三次元ビデオを鑑賞することができる。
【０２９７】
以下、表３５ないし表４８及び図２８ないし図３４を参照して、第３実施形態によるケーブル通信方式によるサブタイトルの三次元再生のためのマルチメディア・ストリームの生成及び受信について説明する。
【０２９８】
表３５は、ケーブル通信方式によるサブタイトルメッセージ・テーブル「subtitle  message」のシンタックスを図示している。
【０２９９】
【表３５】
2013511199.tif 000037
【０３００】
【表３６】
2013511199.tif 000038
「table＿ＩＤ」フィールドは、現在「subtitle＿message」テーブルのテーブル識別子を含む。
【０３０１】
「section＿length」フィールドは、「section＿length」フィールドから「ＣＲＣ＿３２」フィールドまでのバイト数情報を含む。「table＿ＩＤ」フィールドから「ＣＲＣ＿３２」フィールドまでの「subtitle＿message」テーブルの最大長は、１キロバイト、すなわち１０２４バイトに該当する。「simple＿bitmap（）」フィールドのサイズによって「subtitle＿message」テーブルのサイズが１キロバイトを超える場合、「subtitle＿message」テーブルは、セグメント構造に分割される。分割されたそれぞれの「subtitle＿message」テーブルのサイズは、１キロバイトに固定され、１キロバイトにならない最後の「subtitle＿message」テーブルは、stuffing叙述子（stuffing  descriptor）を利用して、残余部分が補充される。表３６は、stuffing叙述子「stuffing＿descriptor（）」フィールドのシンタックスを図示している。
【０３０２】
【表３７】
2013511199.tif 000039
「stuffing＿string＿lenght」フィールドは、スタッフィング・ストリングの長さ情報を含む。「suffing＿string」フィールドは、スタッフィング・ストリングを含み、デコーダによって復号化されない。
【０３０３】
表３５の「subtitle  message」テーブルにおいて、「ＩＳＯ＿６３９＿language＿code」フィールドからの「simple＿bitmap（）」フィールドが、「message＿body（）」セグメントから構成される。選択的には、「subtitle＿message」テーブルに「descriptor（）」フィールドが存在する場合、「message＿body（）」セグメントは、「ＩＳＯ＿６３９＿language＿code」フィールドから「descriptor（）」フィールドまで含む。セグメント総合の最大長は、４メガバイトである。
【０３０４】
表３５の「subtitle  message（）」テーブルの「segmentation＿overlay＿included」フィールドは、現在「subtitle＿message（）」テーブルがセグメントから構成されたか否かに係わる情報を含む。「table＿extension」フィールドは、デコーダが「message＿body（）」セグメントを識別できるように割り当てられる固有情報を含む。「last＿segment＿number」フィールドは、サブタイトルの全体メッセージ映像を完成するための最後のセグメントの識別情報を含む。「segment＿number」フィールドは、現在セグメントの識別番号を含む。セグメントの識別情報は、０〜４０９５の範囲で割り当てられる。
【０３０５】
表３５の「subtitle＿message（）」テーブルの「protocol＿version」フィールドは、既存プロトコル・バージョンと根本的に構造が変更される場合、新規プロトコル・バージョン情報を含む。「ＩＳＯ＿６３９＿language＿code」フィールドは、所定規格による言語コード情報を含む。「ｐｒｅ＿clear＿display」フィールドは、現在サブタイトルテキストを再生する前に、全体スクリーンを透明に処理するか否かに係わる情報を含む。「immediate」フィールドは、現在サブタイトルテキストを「display＿ｉｎ＿ＰＴＳ」フィールド値による再生視点ではない、受信後すぐに画面上に再生するか否かに係わる情報を含む。
【０３０６】
「display＿standard」フィールドは、サブタイトルが再生されるディスプレイ規格情報を含む。表３７は「display＿standard」フィールドの内容を図示している。
【０３０７】
【表３８】
2013511199.tif 000040
すなわち、「display＿standard」フィールドによって、ディスプレイ規格が、「解像度７２０ｘ４８０及び秒当たり３０フレーム」、「解像度７２０ｘ５７６及び秒当たり２５フレーム」、「解像度１２８０ｘ７２０及び秒当たり６０フレーム」及び「解像度１９２０ｘ１０８０及び秒当たり６０フレーム」のうち、いずれのディスプレイ規格が現在サブタイトルに適するか設定される。
【０３０８】
表３５の「subtitle＿message（）」テーブルの「display＿ｉｎ＿ＰＴＳ」フィールドは、サブタイトルが再生されるプログラム参照時間情報を含む。このような絶対的表現方式による時間情報をインキュータイム（in-cue  time）という。「immediate」フィールドに基づいて、サブタイトルが直ちに画面に再生される場合、すなわち「immediate」フィールド値が「１」に設定された場合、デコーダは、「display＿ｉｎ＿ＰＴＳ」フィールド値を利用しない。
【０３０９】
現在「subtitle＿message（）」テーブル以後に再生されるインキュータイム情報を有した「subtitle＿message（）」テーブルがデコーダに受信されれば、デコーダは、再生待機中であるサブタイトル・メッセージを廃棄することができる。「immediate」フィールド値が「１」に設定された場合、再生待機中であるあらゆるサブタイトル・メッセージが廃棄される。もしデコーダによって、サービスのためのＰＣＲ情報に不連続現象が発生すれば、再生待機中であるあらゆるサブタイトル・メッセージが廃棄される。
【０３１０】
「display＿duration」フィールドは、サブタイトル・メッセージが表示される持続時間を、ＴＶのフレーム番号で表示した情報を含む。従って、「display＿duration」フィールド値は、「display＿standard」フィールドで定義されたフレームレートと関連する。「display＿duration」フィールド値の持続時間によって、インキュータイムに持続時間が加えられた時間を意味するアウトキュータイム（out-cue  time）が決定される。アウトキューフレームタイムに達すれば、インキュータイムに画面に表示されたサブタイトル・ビットマップは消される。
【０３１１】
「subtitle＿type」フィールドは、現在サブタイトルデータのフォーマット情報を含む。表３８によれば、「subtitle＿type」フィールド値が１である場合、現在サブタイトルデータは、シンプルビットマップ・フォーマットであることを意味する。
【０３１２】
【表３９】
2013511199.tif 000041
「block＿length」フィールドは、「simple＿bitmap（）」フィールドまたは「reserved（）」フィールドの長さ情報を含む。
【０３１３】
「simple＿bitmap（）」フィールドは、サブタイトルのビットマップ・フォーマット情報を含む。まず、図２８を参照して、ビットマップ・フォーマットの構造について述べる。
【０３１４】
図２８は、ケーブル放送方式によるサブタイトルのビットマップ・フォーマットの構成要素を図示している。
【０３１５】
ビットマップ・フォーマットのサブタイトルは、一つ以上の圧縮ビットマップイメージから構成される。それぞれのビットマップイメージは、選択的に四角形の背景フレームを有することができる。例えば、第１ビットマップ２８１０は、背景フレーム２８００を有する。座標系の基準点（０，０）が、左側上端に設定される場合、第１ビットマップ２８１０の座標及び背景フレーム２８００の座標間に、以下の４種の関係式が成立しうる。
【０３１６】
１．背景フレーム２８００の上端水平座標値（ＦＴＨ）は、第１ビットマップ２８１０の上端水平座標値（ＢＴＨ）より小さいか、あるいは同じである（ＦＴＨ≦ＢＴＨ）。
【０３１７】
２．背景フレーム２８００の上端垂直座標値（ＦＴＶ）は、第１ビットマップ２８１０の上端垂直座標値（ＢＴＶ）より小さいか、あるいは同じである（ＦＴＶ≦ＢＴＶ）。
【０３１８】
３．背景フレーム２８００の下端水平座標値（ＦＢＨ）は、第１ビットマップ２８１０の下端水平座標値（ＢＢＨ）より大きいか、あるいは同じである（ＦＢＨ≧ＢＢＨ）。
【０３１９】
４．背景フレーム２８００の下端垂直座標値（ＦＢＶ）は、第１ビットマップ２８１０の下端垂直座標値（ＢＢＶ）より大きいか、あるいは同じである（ＦＢＶ≧ＢＢＶ）。
【０３２０】
ビットマップ・フォーマットのサブタイトルは、アウトライン２８２０とドロップシャドー２８３０とを有することができる。アウトライン２８２０は、０〜１５の範囲で、多様な厚みに定義される。ドロップシャドー２８３０は、右側シャドー（Ｓｒ：shadow  right）及び下端シャドー（Ｓｂ：shadow  bottom；Ｓｂ）に定義され、右側シャドーＳｒ及び下端シャドーＳｂがそれぞれ０〜１５の範囲で、多様な厚みに定義される。
【０３２１】
表３９は、ビットマップ・フォーマット情報「simple＿bitmap（）」フィールドのシンタックスを図示している。
【０３２２】
【表４０】
2013511199.tif 000042
【０３２３】
【表４１】
2013511199.tif 000043
「simple＿bitmap（）」フィールドでは、ビットマップの座標値（bitmap＿top＿Ｈ＿coordinate，bitmap＿top＿Ｖ＿coordinate，bitmap＿bottom＿Ｈ＿coordinate，bitmap＿bottom＿Ｖ＿coordinate）が設定される。
【０３２４】
また「simple＿bitmap（）」フィールドでは、「background＿style」フィールドに基づいて、背景フレームが存在するならば、背景フレームの座標値（frame＿top＿Ｈ＿coordinate，frame＿top＿Ｖ＿coordinate，frame＿bottom＿Ｈ＿coordinate，frame＿bottom＿Ｖ＿coordinate）が設定される。
【０３２５】
また、「simple＿bitmap（）」フィールドでは、「outline＿style」フィールドに基づいて、アウトラインが存在するならば、アウトラインの厚み値（outline＿thickness）が設定される。また、「outline＿style」フィールドに基づいて、ドロップシャドーが存在するならば、ドロップシャドーの右側シャドー及び下端シャドーの厚み値（shadow＿right，shadow＿bottom）が設定される。
【０３２６】
「simple＿bitmap（）」フィールドは、サブタイトル文字の色相情報を含む「character＿color（）」フィールド、サブタイトル背景フレームの色相情報を含む「frame＿color（）」フィールド、サブタイトル・アウトラインの色相情報を含む「outline＿color（）」フィールド及びサブタイトルドロップシャドーの色相情報を含む「shadow＿color（）」フィールドを含んでもよい。
【０３２７】
表４０は、各種「color（）」フィールドのシンタックスを図示している。
【０３２８】
【表４２】
2013511199.tif 000044
１スクリーン上にサブタイトル再生のために表現可能な色相は、最大１６種類である。色相情報は、Ｙ，Ｃｒ，Ｃｂ色相要素別に設定され、色相コードは、それぞれ０〜３１の範囲で決定される。
【０３２９】
「opaque＿enable」フィールドは、サブタイトル色相の透明度情報を含む。「opaque＿enable」ビットに基づいて、サブタイトル色相が不透明であるか、あるいはビデオ色相と５０：５０でブレンドされるように表現可能である。
【０３３０】
図２９は、ケーブル放送方式によるサブタイトルの三次元再生のためのサブタイトル処理モデルのフローチャートを図示している。
【０３３１】
ケーブル放送方式によるサブタイトルの三次元再生のためのサブタイトル処理モデル２９００によれば、ＰＩＤフィルタリング（ＰＩＤ  filtering）段階（２９１０）は、サブタイトル・メッセージが含まれたＴＳ（ＭＰＥＧ−２  ＴＳ  carrying  subtitle  messages）が入力されれば、サブタイトル・メッセージが含まれたＴＳパケットをギャザリングし、トランスポート・バッファに出力する。トランスポート・バッファリング（transport  buffer）段階（２９２０）は、サブタイトル・セグメントが含まれたＴＳパケットを保存する。
【０３３２】
逆パケット化及び逆セグメント化（depacketization  and  desegmeatation）段階（２９３０）は、ＴＳパケットからサブタイトル・セグメントを抽出し、入力バッファリング（input  buffer）段階（２９４０）は、サブタイトル・セグメントを保存し、サブタイトル・セグメントをギャザリングする。圧縮復元及びレンダリング（decompression  and  rendering）段階（２９５０）は、サブタイトル・セグメントからサブタイトルデータを復元してレンダリングし、ディスプレイキューイング（display  queueing）段階（２９６０）は、レンダリングされたサブタイトルデータ及びサブタイトルの再生関連情報をディスプレイキューに保存する。
【０３３３】
ディスプレイキューに保存されたサブタイトルデータは、サブタイトルの再生関連情報に基づいて、画面上の所定領域に配置されてサブタイトルから構成され、サブタイトルは、所定時点で、ＴＶなどのディスプレイ機器のグラフィックプレーン（graphic  plane）（２９７０）に移動する。これによって、ディスプレイ機器は、ビデオ映像と共に、サブタイトルを再生することができる。
【０３３４】
図３０は、ケーブル放送方式によるサブタイトル処理モデルを介して、サブタイトルがディスプレイキューからグラフィック平面に出力される過程を図示している。
【０３３５】
ディスプレイキュー３０００に、サブデータメッセージ別に第１ビットマップデータ及び再生関連情報３０１０、及び第２ビットマップデータ及び再生関連情報３０２０が保存される。再生情報は、ビットマップがスクリーン上に表示され始める開始時間情報（display＿in＿ＰＴＳ）、持続時間情報（display＿duration）、ビットマップ座標情報を含む。ビットマップ座標情報は、ビットマップの左側上端ピクセルの座標値、及び右側下端ピクセルの座標値を含む。
【０３３６】
ディスプレイキュー３０００に保存された情報に基づいて構成されたサブタイトルは、再生情報に基づいた時間情報によって、ピクセルバッファ（グラフィックプレーン）３０７０に保存される。例えば、第１ビットマップデータ及び再生関連情報３０１０及び第２ビットマップデータ及び再生関連情報３０２０に基づいて、ＰＴＳ単位時間４であるとき、第１ビットマップデータが当該座標の位置３０４０に表示されたサブタイトル３０３０が、ピクセルバッファ３０７０に保存される。また、ＰＴＳ単位時間５であるとき、第１ビットマップデータが当該座標位置３０４０に表示され、第２ビットマップデータが当該座標位置３０６０に表示されたサブタイトル３０５０が、ピクセルバッファ３０７０に保存される。
【０３３７】
表３５ないし表４０及び図２８ないし図３０を参照して説明したケーブル通信方式によるサブタイトルを基に、サブタイトルの三次元再生のために変更された第３実施形態によるマルチメディア・ストリーム生成装置１００、及び第３実施形態によるマルチメディア・ストリーム受信装置２００の動作について、以下、表４１ないし４８及び図３１ないし図３４を参照して説明する。
【０３３８】
第３実施形態によるマルチメディア・ストリーム生成装置１００は、ケーブルサブタイトルの三次元再生のための情報を、サブタイトルＰＥＳパケットに挿入してもよい。第３実施形態によるケーブルサブタイトルの三次元再生のための情報は、サブタイトルに係わるデプス、変異またはオフセットについての情報を含んでもよい。
【０３３９】
また、第３実施形態によるマルチメディア・ストリーム受信装置２００は、ケーブル通信方式を介して受信されたＴＳから、ＰＩＤ情報が同じサブタイトルＰＥＳパケットをギャザリングし、ケーブルサブタイトルの三次元再生のための情報を抽出し、ケーブルサブタイトルの三次元再生のための情報を利用し、二次元サブタイトルを三次元サブタイトルに変更して再生することができる。
【０３４０】
図３１は、第３実施形態によるケーブル放送方式によるサブタイトルの三次元再生のためのサブタイトル処理モデルのフローチャートを図示している。
【０３４１】
第３実施形態によるサブタイトル処理モデル３１００の、ＰＩＤフィルタリング段階（PID  filtering）（３１１０）、トランスポート・バッファリング段階（transport  buffering）（３１２０）、逆パケット化及び逆セグメント化段階（depacketization  and  desegmentation）（３１３０）、入力バッファリング段階（input  buffering）（３１４０）、圧縮復元及びレンダリング段階（decompression  and  rendering）（３１５０）及びディスプレイキューイング段階（display  queuing）（３１６０）を介して、ケーブル放送方式によるサブタイトルデータ及びサブタイトル再生関連情報が復元される過程は、図２９を参照して説明したサブタイトル処理モデル２９００の段階２９１０から段階２９６０までの動作と類似している。ただし、ディスプレイキューイング段階（３１６０）で、サブタイトルの三次元再生のための情報が追加してディスプレイキューに保存されもする。
【０３４２】
第３実施形態による三次元サブタイトル変換段階（３Ｄ  subtitle  converting）（３１８０）は、ディスプレイキューイング段階（３１６０）で保存されたサブタイトルデータ及びサブタイトルの三次元再生のための情報を含むサブタイトル再生関連情報に基づいて、三次元で再生することができる三次元サブタイトルを構成することができる。三次元サブタイトルは、ディスプレイ機器のグラフィック平面（graphic  plane）３１７０に出力されもする。
【０３４３】
第３実施形態によるサブタイトル処理モデル３１００は、第３実施形態によるマルチメディア・ストリーム受信装置２００のサブタイトル処理動作を具現するために適用されてもよい。特に、三次元サブタイトル転換（３Ｄ  subtitle  converter）段階（３１８０）は、第３実施形態による再生部２４０の三次元サブタイトル処理動作に相応しうる。
【０３４４】
以下、第３実施形態によるマルチメディア・ストリーム生成装置１００が、サブタイトルの三次元再生のための情報を伝送するための具体的な実施形態、及び第３実施形態によるマルチメディア・ストリーム受信装置２００が、サブタイトルの三次元再生のための情報を利用し、三次元サブタイトルを再生する具体的な実施形態について説明する。
【０３４５】
第３実施形態によるマルチメディア・ストリーム生成装置１００のプログラム符号化部１１０は、サブタイトルＰＥＳパケット内のサブタイトル・メッセージ「subtitle＿message（）」フィールドを利用し、サブタイトルの三次元再生のための情報を挿入してもよい。また、第２実施形態によるプログラム符号化部１１０は、サブタイトルのデプスを定義するための叙述子またはサブタイトルタイプを新たに定義し、ＰＥＳパケットに挿入してもよい。
【０３４６】
表４１及び４２は、それぞれ、第３実施形態によるプログラム符号化部１１０によって、ケーブルサブタイトルのデプス情報が含まれるように変形された、「simple＿bitmap（）」フィールド及び「subtitle＿message（）」フィールドのシンタックスを例示している。
【０３４７】
【表４３】
2013511199.tif 000045
【０３４８】
【表４４】
2013511199.tif 000046
第３実施形態によるプログラム符号化部１１０は、表３９の「simple＿bitmap（）」フィールド内の「reserved（）」フィールド位置に、表４１によって、「３ｄ＿subtitle＿offset」フィールドを挿入してもよい。「３ｄ＿subtitle＿offset」フィールドは、サブタイトルの三次元再生のための左視点映像のためのビットマップ、及び右視点映像のためのビットマップを生成するために、水平座標軸を基準に、ビットマップを移動させる変位を示すオフセット情報を含んでもよい。「３ｄ＿subtitle＿offset」フィールドのオフセット値は、サブタイトル文字と背景フレームとにいずれも同一に適用されてもよい。
【０３４９】
【表４５】
2013511199.tif 000047
【０３５０】
【表４６】
2013511199.tif 000048
第３実施形態によるプログラム符号化部１１０は、表３５の「subtitle＿message（）」フィールド内の「reserved（）」フィールドを代替し、「３ｄ＿subtitle＿direction」フィールドを挿入してもよい。「３ｄ＿subtitle＿direction」フィールドは、サブタイトルの三次元再生のための左視点映像のためのビットマップ、及び右視点映像を生成するためのオフセットの方向情報を含んでもよい。負の方向のオフセットがサブタイトルに適用されれば、サブタイトルをＴＶ画面より前に飛び出して見せ、正の方向のオフセットによれば、サブタイトルがＴＶ画面より後に入り込んで見える現象が生じる。
【０３５１】
オフセットの方向性による特徴を利用し、第３実施形態による再生部２４０は、左視点サブタイトルを基準にオフセットを適用し、右視点サブタイトルを生成することができる。すなわち、「３ｄ＿subtitle＿direction」フィールド値が負の方向を示す場合、第３実施形態による再生部２４０は、左視点サブタイトルのｘ座標値から、オフセット値ほど差し引いた値を右視点サブタイトルのｘ座標値に決定することができる。類似した方式で、「３ｄ＿subtitle＿direction」フィールド値が正の方向を示す場合、第３実施形態による再生部２４０は、左視点サブタイトルのｘ座標値から、オフセット値ほど加えた値を右視点サブタイトルのｘ座標値に決定することができる。
【０３５２】
図３２は、第３実施形態によって、ケーブル放送方式によるサブタイトルのデプス感を調節する一実施形態を図示している。
【０３５３】
第３実施形態によるマルチメディア・ストリーム受信装置２００が、第３実施形態によるサブタイトル・メッセージが含まれたＴＳを受信し、ＴＳを逆多重化し、サブタイトルＰＥＳパケットからサブタイトルデータ及びサブタイトル再生関連情報を抽出する。
【０３５４】
第３実施形態によるマルチメディア・ストリーム受信装置２００は、表４１のビットマップフィールドから、サブタイトルのビットマップ座標関連情報、フレーム座標関連情報及びビットマップデータを抽出することができる。また、第３実施形態によるマルチメディア・ストリーム受信装置２００は、表４１のビットマップフィールドの下位フィールド「３ｄ＿subtitle＿offset」から、三次元サブタイトル・オフセット情報を抽出することができる。
【０３５５】
第３実施形態によるマルチメディア・ストリーム受信装置２００は、表４２のサブタイトル・メッセージ・テーブルから、サブタイトル再生時間関連情報を抽出することができ、また、サブタイトル・メッセージ・テーブルの下位フィールド「３ｄ＿subtitle＿offset＿direction」から、三次元サブタイトル・オフセット方向情報を抽出することができる。
【０３５６】
これによって、ディスプレイキュー３２００に、サブタイトル再生時間関連情報（display＿in＿ＰＴＳ，display＿duration）、三次元サブタイトル・オフセット情報（３ｄ＿subtitle＿offset）、オフセット方向情報（３ｄ＿subtitle＿direction）、サブタイトルのビットマップ座標情報（ＢＴＨ，ＢＴＶ，ＢＢＨ，ＢＢＶ）、及びサブタイトルの背景フレーム座標情報（ＦＴＨ，ＦＴＶ，ＦＢＨ，ＦＢＶ）を含むサブタイトル再生関連情報、並びにサブタイトルデータから構成されたサブタイトル情報セット３２１０が保存されもする。
【０３５７】
三次元サブタイトル転換段階（３１８０）を介して、第３実施形態による再生部２４０は、ディスプレイキュー３２００に保存されたサブタイトル再生関連情報に基づいて、サブタイトルが配置されたサブタイトル構成画面が構成され、グラフィック平面３２７０上に、サブタイトルの構成画面が保存される。
【０３５８】
ピクセルバッファまたはグラフィック平面３２７０に、三次元合成フォーマットであるサイドバイサイド・フォーマットの三次元サブタイトル平面３２２０が保存されもする。サイドバイサイド・フォーマットは、ｘ軸に沿って解像度が半分に低減するので、三次元サブタイトル３２２０を生成するために、ディスプレイキュー３２００に保存されたサブタイトル再生関連情報のうち、基準視点サブタイトルのためのｘ軸座標値、及びサブタイトルのオフセット値を半分にして利用することが望ましい。左視点サブタイトル３２５０及び右視点サブタイトル３２６０のｙ座標値は、ディスプレイキュー３２００に保存されたサブタイトル再生関連情報のうち、サブタイトルのｙ座標値と同一である。
【０３５９】
例えば、ディスプレイキュー３２００に、サブタイトル再生関連情報において、サブタイトル再生時間関連情報として、「display＿in＿ＰＴＳ＝４」及び「display＿duration＝６００」、三次元サブタイトル・オフセット情報として、「３ｄ＿subtitle＿offset＝１０」、三次元サブタイトル・オフセット方向情報として、「３ｄ＿subtitle＿direction＝１」、サブタイトルのビットマップ座標情報として、「（ＢＴＨ，ＢＴＶ）＝（３０，３０）」及び「（ＢＢＨ，ＢＢＶ）＝（６０，４０）」、サブタイトルの背景フレーム座標情報として、「（ＦＴＨ，ＦＴＶ）＝（２０，２０）」及び「（ＦＢＨ，ＦＢＶ）＝（７０，５０）」が保存されている。
【０３６０】
ピクセルバッファ３２７０に保存されるサイドバイサイド・フォーマットの三次元サブタイトル平面３２２０は、左視点サブタイトル平面３２３０及び右視点サブタイトル平面３２４０から構成される。左視点サブタイトル平面３２３０及び右視点サブタイトル平面３２４０の横解像度は、原本解像度に比べて、半分に低減し、左視点サブタイトル平面３２３０の原点座標が、「（ＯＨＬ，ＯＶＬ）＝（０，０）」であるならば、右視点サブタイトル平面３２４０の原点座標は、「（ＯＨＲ，ＯＶＲ）＝（１００，０）」である。
【０３６１】
このとき、左視点サブタイトル３２５０のビットマップ及び背景フレームのｘ座標値も半分に縮小される。すなわち、左視点サブタイトル３２５０のビットマップの左側上端地点のｘ座標値ＢＴＨＬ及び右側下端地点のｘ座標値ＢＢＨＬ、フレームの左側上端地点のｘ座標値ＦＴＨＬ及び右側下端地点のｘ座標値ＦＢＨＬは、それぞれ以下関係式（１），（２），（３）及び（４）によって決定される。
【０３６２】
ＢＴＨＬ＝ＢＴＨ／２    （１）
ＢＢＨＬ＝ＢＢＨ／２    （２）
ＦＴＨＬ＝ＦＴＨ／２    （３）
ＦＢＨＬ＝ＦＢＨ／２    （４）
従って、左視点サブタイトル３２５０のビットマップのｘ座標値ＢＴＨＬ，ＢＢＨＬ，ＦＴＨＬ及びＦＢＨＬは、それぞれ（１）ＢＴＨＬ＝ＢＴＨ／２＝３０／２＝１５；（２）ＢＢＨＬ＝ＢＢＨ／２＝６０／２＝３０；（３）ＦＴＨＬ＝ＦＴＨ／２＝２０／２＝１０；（４）ＦＢＨＬ＝ＦＢＨ／２＝７０／２＝３５に決定される。
【０３６３】
また、右視点サブタイトル３２６０のビットマップ及び背景フレームの横軸解像度も、半分に縮小される。右視点サブタイトル３２６０のビットマップ及び背景フレームのｘ座標値は、右視点サブタイトル平面３２４０の原点（ＯＨＲ，ＯＶＲ）を基準に設定される。これによって、右視点サブタイトル３２６０のビットマップの左側上端地点のｘ座標値ＢＴＨＲ及び右側下端地点のｘ座標値ＢＢＨＲ、フレームの左側上端地点のｘ座標値ＦＴＨＲ及び右側下端地点のｘ座標値ＦＢＨＲは、それぞれ以下関係式（５），（６），（７）及び（８）によって決定される。
【０３６４】
ＢＴＨＲ＝ＯＨＲ＋ＢＴＨＬ±（３ｄ＿subtitle＿offset／２）  （５）
ＢＢＨＲ＝ＯＨＲ＋ＢＢＨＬ±（３ｄ＿subtitle＿offset／２）  （６）
ＦＴＨＲ＝ＯＨＲ＋ＦＴＨＬ±（３ｄ＿subtitle＿offset／２）  （７）
ＦＢＨＲ＝ＯＨＲ＋ＦＢＨＬ±（３ｄ＿subtitle＿offset／２）  （８）
すなわち、右視点サブタイトル３２６０のビットマップ及び背景フレームのｘ座標値は、右視点サブタイトル平面３２４０の原点（ＯＨＲ，ＯＶＲ）を基準に、対応する左視点サブタイトル３２５０のｘ座標値ほど正の方向に移動した位置で、三次元サブタイトル・オフセットほど負の方向または正の方向に移動した位置に設定される。この場合、三次元サブタイトル・オフセット方向情報として、「３ｄ＿subtitle＿direction＝１」であるから、三次元サブタイトル・オフセット方向は、負の方向である。
【０３６５】
従って、右視点サブタイトル３２６０のビットマップ及び背景フレームのｘ座標値ＢＴＨＬ，ＢＢＨＬ，ＦＴＨＬ及びＦＢＨＬは、それぞれ（５）ＢＴＨＲ＝ＯＨＲ＋ＢＴＨＬ−（３ｄ＿subtitle＿offset／２）＝１００＋１５−５＝１１０；（６）ＢＢＨＲ＝ＯＨＲ＋ＢＢＨＬ−（３ｄ＿subtitle＿offset／２）＝１００＋３０−５＝１２５；（７）ＦＴＨＲ＝ＯＨＲ＋ＦＴＨＬ−（３ｄ＿subtitle＿offset／２）＝１００＋１０−５＝１０５；（８）ＦＢＨＲ＝ＯＨＲ＋ＦＢＨＬ−（３ｄ＿subtitle＿offset／２）＝１００＋３５−５＝１３０に決定される。
【０３６６】
これによって、左視点サブタイトル３２５０及び右視点サブタイトル３２６０が、それぞれサブタイトル平面３２３０，３２４０上で、ｘ軸方向にオフセットほど移動した位置に表示された三次元サブタイトルを利用し、ディスプレイ機器は、三次元サブタイトルを三次元で再生することができる。
【０３６７】
また、第２実施形態によるプログラム符号化部１１０は、サブタイトルのデプスを定義するための叙述子及びサブタイトルタイプを新たに定義し、ＰＥＳパケットに挿入してもよい。
【０３６８】
表４３は、第３実施形態によるプログラム符号化部１１０によって新たに定義されたサブタイトルデプス叙述子「subtitle＿depth＿descriptor（）」フィールドのシンタックスを例示している。
【０３６９】
【表４７】
2013511199.tif 000049
一実施形態によるサブタイトルデプス叙述子（「subtitle＿depth＿descriptor（））は、サブタイトルのうち、文字のオフセット方向情報（「character＿offset＿directoin」）、文字のオフセット情報（「character＿offset」）、サブタイトルのうち背景フレームのオフセット方向情報（「frame＿offset＿direction」）、及び背景フレームのオフセット情報（「frame＿offset」）を含んでもよい。
【０３７０】
また、一実施形態によるサブタイトルデプス叙述子（「subtitle＿depth＿descriptor（）」）は、サブタイトルの文字または背景フレームのオフセットが、基本平面を基準に設定されたか、あるいはビデオ客体の変異を基準に設定されたかを示す情報（「offset＿based」）を選択的に含んでもよい。
【０３７１】
図３３は、第３実施形態によって、ケーブル放送方式によるサブタイトルのデプス感を調節する他の実施形態を図示している。
【０３７２】
第３実施形態によるマルチメディア・ストリーム受信装置２００は、表４１のビットマップフィールドから、サブタイトルのビットマップ座標関連情報、フレーム座標関連情報及びビットマップデータを抽出し、表４２のサブタイトル・メッセージ・テーブルから、サブタイトル再生時間関連情報を抽出することができる。また、第３実施形態によるマルチメディア・ストリーム受信装置２００は、表４３のサブタイトルデプス叙述子フィールドから、サブタイトルのうち文字のオフセット方向情報（「character＿offset＿direction」）、文字のオフセット情報（「character＿offset」）、サブタイトルのうち背景フレームのオフセット方向情報（「frame＿offset＿direction」）、及び背景フレームのオフセット情報（「frame＿offset」）をを抽出することができる。
【０３７３】
これによって、ディスプレイキュー３３００に、サブタイトル再生時間関連情報（display＿in＿ＰＴＳ，display＿duration）、サブタイトルのうち文字のオフセット方向情報（character＿offset＿direction）、文字のオフセット情報（character＿offset）、サブタイトルのうち背景フレームのオフセット方向情報（frame＿offset＿direction）、及び背景フレームのオフセット情報（frame＿offset）を含むサブタイトル再生関連情報、並びにサブタイトルデータから構成されたサブタイトル情報セット３３１０が保存されもする。
【０３７４】
例えば、ディスプレイキュー３３００に、サブタイトル再生関連情報において、サブタイトル再生時間関連情報として、「display＿in＿ＰＴＳ＝４」及び「display＿duration＝６００」、サブタイトルのうち文字のオフセット方向情報「character＿offset＿directoin＝１」、文字のオフセット情報として、「character＿offset＝１０」、サブタイトルのうち背景フレームのオフセット方向情報として、「frame＿offset＿direction＝１」及び背景フレームのオフセット情報「frame＿offset＝４」、サブタイトルのビットマップ座標情報として、「（ＢＴＨ，ＢＴＶ）＝（３０，３０）」及び「（ＢＢＨ，ＢＢＶ）＝（６０，４０）」、サブタイトルの背景フレーム座標情報として、「（ＦＴＨ，ＦＴＶ）＝（２０，２０）」及び「（ＦＢＨ，ＦＢＶ）＝（７０，５０）」が保存されている。
【０３７５】
三次元サブタイトル転換段階（３１８０）を介して、ピクセルバッファまたはグラフィック平面３３７０に、三次元合成フォーマットであるサイドバイサイド・フォーマットの三次元サブタイトル平面３３２０が保存されもする。
【０３７６】
図３２を介して説明したところと類似した方式で、ピクセルバッファに保存されるサイドバイサイド・フォーマットの三次元サブタイトル平面３３２０において、左視点サブタイトル平面３３３０上の左視点サブタイトル３３５０のビットマップの左側上端地点のｘ座標値ＢＴＨＬ及び下端地点のｘ座標値ＢＢＨＬ、フレームの左側上端地点のｘ座標値ＦＴＨＬ及び右側下端地点のｘ座標値ＦＢＨＬは、それぞれ（９）ＢＴＨＬ＝ＢＴＨ／２＝３０／２＝１５；（１０）ＢＢＨＬ＝ＢＢＨ／２＝６０／２＝３０；（１１）ＦＴＨＬ＝ＦＴＨ／２＝２０／２＝１０；（１２）ＦＢＨＬ＝ＦＢＨ／２＝７０／２＝３５に決定される。
【０３７７】
また、三次元サブタイトル平面３３２０において、右視点サブタイトル平面３３４０上の右視点サブタイトル３３６０のビットマップの左側上端地点のｘ座標値ＢＴＨＲ及び右側下端地点のｘ座標値ＢＢＨＲ、フレームの左側上端地点のｘ座標値ＦＴＨＲ及び右側下端地点のｘ座標値ＦＢＨＲは、それぞれ以下関係式（１３），（１４），（１５）及び（１６）によって決定される。
【０３７８】
（１３）ＢＴＨＲ＝ＯＨＲ＋ＢＴＨＬ±（character＿offset／２）；
（１４）ＢＢＨＲ＝ＯＨＲ＋ＢＢＨＬ±（character＿offset／２）；
（１５）ＦＴＨＲ＝ＯＨＲ＋ＦＴＨＬ±（frame＿offset／２）；
（１６）ＦＢＨＲ＝ＯＨＲ＋ＦＢＨＬ±（frame＿offset／２）
この場合、三次元サブタイトル・オフセット方向情報として、「character＿offset＿direction＝１」及び「frame＿offset＿direction＝１」であるから、三次元サブタイトル・オフセット方向は、負の方向である。
【０３７９】
従って、右視点サブタイトル３３６０のビットマップ及び背景フレームのｘ座標値ＢＴＨＬ，ＢＢＨＬ，ＦＴＨＬ及びＦＢＨＬは、それぞれ（１３）ＢＴＨＲ＝ＯＨＲ＋ＢＴＨＬ−（character＿offset／２）＝１００＋１５−５＝１１０；（１４）ＢＢＨＲ＝ＯＨＲ＋ＢＢＨＬ−（character＿offset／２）＝１００＋３０−５＝１２５；（１５）ＦＴＨＲ＝ＯＨＲ＋ＦＴＨＬ−（frame＿offset／２）＝１００＋１０−２＝１０８；（１６）ＦＢＨＲ＝ＯＨＲ＋ＦＢＨＬ−（frame＿offset／２）＝１００＋３５−２＝１３３に決定される。
【０３８０】
これによって、左視点サブタイトル３３５０及び右視点サブタイトル３３６０が、それぞれサブタイトル平面３３３０，３３４０上で、ｘ軸方向にオフセットほど移動した位置に配置した三次元サブタイトル３３２０を利用し、三次元ディスプレイ機器は、サブタイトルを三次元で再生することができる。
【０３８１】
第３実施形態によるマルチメディア・ストリーム生成装置１００は、ケーブルサブタイトルタイプであり、サブタイトルの三次元再生のために、付加視点のためのサブタイトルタイプを追加して設定することができる。表４４は、第３実施形態によるマルチメディア・ストリーム生成装置１００によって変形されたサブタイトルタイプのテーブルを例示している。
【０３８２】
【表４８】
2013511199.tif 000050
表４４のサブタイトルタイプの変形例にによれば、第３実施形態によるマルチメディア・ストリーム生成装置１００は、表３８のサブタイトルタイプの基本テーブルにおいて、サブタイトルタイプ・フィールド値が、「２〜１５」範囲である保留領域（reserved）を利用し、サブタイトルタイプ・フィールド値「２」に、サブタイトルの三次元再生のための付加視点サブタイトルタイプ「subtitle＿another＿view」を追加して割り当てることができる。
【０３８３】
第３実施形態によるマルチメディア・ストリーム生成装置１００は、表４４のサブタイトルタイプの変形例にに基づいて、表３５の基本サブタイトル・メッセージ・テーブルを変形することができる。表４５は、サブタイトル・メッセージ・テーブル「subititle＿message（）」の変形例のシンタックスを示している。
【０３８４】
【表４９】
2013511199.tif 000051
【０３８５】
【表５０】
2013511199.tif 000052
すなわち、サブタイトル・メッセージ・テーブルの変形例は、サブタイトルタイプが「subtitle＿another＿view」である場合、付加視点サブタイトル情報を設定するための「subtitle＿another＿view（）」フィールドを追加して含んでもよい。表４６は、一実施形態による「subtitle＿another＿view（）」フィールドのシンタックスを示している。
【０３８６】
【表５１】
2013511199.tif 000053
【０３８７】
【表５２】
2013511199.tif 000054
一実施形態による「subtitle＿another＿view（）」フィールドは、付加視点のためのサブタイトルのビットマップの座標情報（bitmap＿top＿Ｈ＿coordinate，bitmap＿top＿Ｖ＿coordinate，bitmap＿bottom＿Ｈ＿coordinate，bitmap＿bottom＿Ｖ＿coordinate）を含んでもよい。また、一実施形態による「subtitle＿another＿view（）」フィールドは、「background＿style」フィールドに基づいて、付加視点のためのサブタイトルの背景フレームが存在するならば、付加視点のためのサブタイトルの背景フレームの座標情報（frame＿top＿Ｈ＿coordinate，frame＿top＿Ｖ＿coordinate、frame＿bottom＿Ｈ＿coordinate，frame＿bottom＿Ｖ＿coordinate）を含んでもよい。
【０３８８】
また、第３実施形態によるマルチメディア・ストリーム生成装置１００は、付加視点のためのサブタイトルのビットマップ関連座標情報、及び背景フレーム関連情報だけではなく、アウトラインが存在するならば、アウトラインの厚み情報（outline＿thickness）、ドロップシャドーが存在するならば、ドロップシャドーの右側シャドー及び左側シャドーの厚み情報（shadow＿right，shadow＿bottom）を一実施形態による「subtitle＿another＿view（）」フィールドに含めることができる。
【０３８９】
第３実施形態によるマルチメディア・ストリーム受信装置２００は、「subtitle＿another＿view（）」フィールドから、サブタイトルのビットマップの座標情報及び背景フレームの座標情報だけを抽出して利用することによって、データ処理量を減らすこともできる。
【０３９０】
図３４は、第３実施形態によって、ケーブル放送方式によるサブタイトルのデプス感を調節するさらに他の実施形態を図示している。
【０３９１】
第３実施形態によるマルチメディア・ストリーム受信装置２００は、サブタイトルタイプ「subtitle＿another＿view（）」を考慮するように変形された表４５のサブタイトル・メッセージ・テーブルから、サブタイトル再生時間関連情報を抽出し、表４６の「subtitle＿another＿view（）」フィールドから、付加視点サブタイトルのビットマップ座標情報、フレーム座標情報及びビットマップデータを抽出することができる。
【０３９２】
これによって、ディスプレイキュー３４００に、サブタイトル再生時間関連情報（display＿in＿ＰＴＳ，display＿duration）、付加視点のためのサブタイトルのビットマップの座標情報（bitmap＿top＿Ｈ＿coordinate，bitmap＿top＿Ｖ＿coordinate，bitmap＿bottom＿Ｈ＿coordinate，bitmap＿bottom＿Ｖ＿coordinate）、及び付加視点のためのサブタイトルの背景フレームの座標情報（frame＿top＿Ｈ＿coordinate，frame＿top＿Ｖ＿coordinate，frame＿bottom＿Ｈ＿coordinate，frame＿bottom＿Ｖ＿coordinate）を含むサブタイトル再生関連情報、並びにサブタイトルデータから構成されたサブタイトル情報セット３４１０が保存されもする。
【０３９３】
例えば、ディスプレイキュー３４００に、サブタイトル再生関連情報において、サブタイトル再生時間関連情報として、「display＿in＿ＰＴＳ＝４」及び「display＿duration＝６００」、付加視点サブタイトルのビットマップ座標情報として、「bitmap＿top＿Ｈ＿coordinate＝２０」、「bitmap＿top＿Ｖ＿coordinate＝３０」、「bitmap＿bottom＿Ｈ＿coordinate＝５０」、「bitmap＿bottom＿Ｖ＿coordinate＝４０」、及び付加視点サブタイトルの背景フレーム座標情報として、「frame＿top＿Ｈ＿coordinate＝１０」、「frame＿top＿Ｖ＿coordinate＝２０」、「frame＿bottom＿Ｈ＿coordinate＝６０」、「frame＿bottom＿Ｖ＿coordinate＝５０」を含むサブタイトル再生関連情報、サブタイトルのビットマップ座標情報として、「（ＢＴＨ，ＢＴＶ）＝（３０，３０）」及び「（ＢＢＨ，ＢＢＶ）＝（６０，４０）」、サブタイトルの背景フレーム座標情報として、「（ＦＴＨ，ＦＴＶ）＝（２０，２０）」及び「（ＦＢＨ，ＦＢＶ）＝（７０，５０）」が保存されている。
【０３９４】
三次元サブタイトル転換段階（３１８０）を介して、ピクセルバッファまたはグラフィック平面３４７０に、三次元合成フォーマットであるサイドバイサイド・フォーマットの三次元サブタイトル平面３４２０が保存されもする。図３２を介して説明したところと類似した方式で、ピクセルバッファに保存されるサイドバイサイド・フォーマットの三次元サブタイトル平面３４２０において、左視点サブタイトル平面３４３０上の左視点サブタイトル３４５０のビットマップの左側上端地点のｘ座標値ＢＴＨＬ及び右側下端地点のｘ座標値ＢＢＨＬ、背景フレームの左側上端地点のｘ座標値ＦＴＨＬ及び右側下端地点のｘ座標値ＦＢＨＬは、それぞれ（１７）ＢＴＨＬ＝ＢＴＨ／２＝３０／２＝１５；（１８）ＢＢＨＬ＝ＢＢＨ／２＝６０／２＝３０；（１９）ＦＴＨＬ＝ＦＴＨ／２＝２０／２＝１０；（２０）ＦＢＨＬ＝ＦＢＨ／２＝７０／２＝３５に決定される。
【０３９５】
また、三次元サブタイトル平面３４２０において、右視点サブタイトル平面３４４０上の右視点サブタイトル３４６０のビットマップの左側上端地点のｘ座標値ＢＴＨＲ及び右側下端地点のｘ座標値ＢＢＨＲ、フレームの左側上端地点のｘ座標値ＦＴＨＲ及び右側下端地点のｘ座標値ＦＢＨＲは、それぞれ下記関係式（２１），（２２），（２３）及び（２４）によって決定される。
【０３９６】
（２１）ＢＴＨＲ＝ＯＨＲ＋bitmap＿top＿Ｈ＿coordinate／２；
（２２）ＢＢＨＲ＝ＯＨＲ＋bitmap＿bottom＿Ｈ＿coordinate／２；
（２３）ＦＴＨＲ＝ＯＨＲ＋frame＿top＿Ｈ＿coordinate／２；
（２４）ＦＢＨＲ＝ＯＨＲ＋frame＿bottom＿Ｈ＿coordinate／２
従って、右視点サブタイトル３４６０のビットマップのｘ座標値ＢＴＨＬ，ＢＢＨＬ、ＦＴＨＬ及びＦＢＨＬは、それぞれ（２１）ＢＴＨＲ＝ＯＨＲ＋bitmap＿top＿Ｈ＿coordinate／２＝１００＋１０＝１１０；（２２）ＢＢＨＲ＝ＯＨＲ＋bitmap＿bottom＿Ｈ＿coordinate／２＝１００＋２５＝１２５；（２３）ＦＴＨＲ＝ＯＨＲ＋frame＿top＿Ｈ＿coordinate／２＝１００＋５＝１０５；（２４）ＦＢＨＲ＝ＯＨＲ＋frame＿bottom＿Ｈ＿coordinate／２＝１００＋３０＝１３０に決定される。
【０３９７】
これによって、左視点サブタイトル３４５０及び右視点サブタイトル３４６０がそれぞれサブタイトル平面３４３０，３４４０上で、ｘ軸方向にオフセットほど移動した位置に配置した三次元サブタイトル３４２０を利用し、三次元ディスプレイ機器は、サブタイトルを三次元で再生することができる。
【０３９８】
第３実施形態によるマルチメディア・ストリーム生成装置１００は、ケーブルサブタイトルタイプであり、サブタイトルの三次元効果のためのサブタイトル変異タイプを追加して設定される。表４７は、第３実施形態によるマルチメディア・ストリーム生成装置１００によって、サブタイトル変異タイプが追加されるように変形されたサブタイトルタイプのテーブルを例示している。
【０３９９】
【表５３】
2013511199.tif 000055
表４７のサブタイトルタイプの変形例によれば、第３実施形態によるマルチメディア・ストリーム生成装置１００は、表３８のサブタイトルタイプの基本テーブルにおいて保留領域を利用し、サブタイトルタイプ・フィールド値「２」に、サブタイトル変異タイプ「subtitle＿disparity」を追加して割り当てることができる。
【０４００】
第３実施形態によるマルチメディア・ストリーム生成装置１００は、表４７のサブタイトルタイプの変形例に基づいて、サブタイトル変異フィールドを新たに設定することができる。表４８は、一実施形態によるサブタイトル変異フィールド「subtitle＿disparity（）」のシンタックスを示している。
【０４０１】
【表５４】
2013511199.tif 000056
表４８によれば一実施形態によるサブタイトル変異フィールドは、左視点サブタイトル及び右視点サブタイトル間の変異情報を含む「disparity」フィールドを含む。
【０４０２】
第３実施形態によるマルチメディア・ストリーム受信装置２００は、新たに設定されたサブタイトルタイプ「subtitle＿disparity」を考慮するように変形されたサブタイトル・メッセージ・テーブルから、サブタイトル再生時間関連情報を抽出し、表４８の「subtitle＿disparity」フィールドから、三次元サブタイトルの変異情報及びビットマップデータを抽出することができる。これによって、第３実施形態による再生部２４０によって、右視点サブタイトルが左視点サブタイトル３４５０の位置から変異ほど移動した位置に表示することによって構成されたサブタイトルは、三次元ディスプレイ機器によって、三次元で再生される。
【０４０３】
以下、表４９ないし５９及び図３５ないし図４０を参照して、第４実施形態によるＥＰＧ情報の三次元再生のためのマルチメディア・ストリームの生成及び受信について説明する。
【０４０４】
図３５は、ＥＰＧ情報を伝送するデジタル通信システムのブロック図を図示している。
【０４０５】
デジタル通信システム３５００にビデオ信号、オーディオ信号及び関連補助データが入力される。ビデオデータは、ビデオ符号化部（video  encoder）３５１０によって符号化され、オーディオデータは、オーディオ符号化部（audio  encoder）３５２０によって符号化される。符号化されたビデオデータ及びオーディオデータは、それぞれパケット化器（packetizer）３５３０，３５４０を経て、ビデオＰＥＳパケット及びオーディオＰＥＳパケットに分割（segmentation）される。
【０４０６】
ＰＳＩＰ／ＰＳＩ生成部（ＰＳＩＰ／ＳＩ  generator）３５５０は、ＰＡＴ（program  association  table）及びＰＭＴ（program  map  table）を生成し、各種ＰＳＩＰ情報またはＳＩ情報を生成する。このとき、デジタル通信システム３５００は、各種ＥＰＧ情報をＰＳＩＰテーブルまたはＳＩテーブルに挿入してもよい。
【０４０７】
デジタル通信システム３５００がＡＴＳＣ通信方式に従う場合、ＰＳＩＰ／ＰＳＩ生成部（ＰＳＩＰ／ＳＩ  generator）３５５０は、ＰＳＩＰテーブルを生成し、デジタル通信システム３５００がＤＶＢ通信方式に従う場合、ＰＳＩＰ／ＰＳＩ生成部（ＰＳＩＰ／ＳＩ  generator）３５５０は、ＳＩテーブルを生成する。
【０４０８】
デジタル通信システム３５００の多重化部（ＭＵＸ）３５６０は、パケット化器３５３０，３５４０から、ビデオＰＥＳパケット、オーディオＰＥＳパケット、付加データ、及びＰＳＩ生成部３５５０から入力されたＰＳＩテーブル及びＡＴＳＣ−ＰＳＩＰテーブルまたはＤＶＢ−ＳＩテーブルをセクション形態で入力され、多重化して１つのプログラムに係わるＴＳを生成して出力する。
【０４０９】
図３６は、ＡＴＳＣ通信方式によって、ＥＰＧ情報が収録されるＰＳＩＰテーブルを図示している。
【０４１０】
ＡＴＳＣ通信方式によれば、ＰＳＩＰテーブルにＥＰＧ情報が収録される。ＰＳＩＰテーブルは、現在時間と日付に係わる情報が収録されるＳＴＴ（ＳＴＴ：system  time  table）３６１０、放送プログラムの地域別放送視聴等級に係わる情報が収録されるＲＲＴ（ＲＲＴ：rating  region  table）３６２０、ＳＴＴ  ３６１０を除外したあらゆるテーブルのＰＩＤ情報とバージョン情報とが収録されるＭＧＴ（master  guide  table）３６３０、伝送するチャネル番号などのチャネル情報が収録された衛星ＶＣＴ（virtual  channel  table）３４６０、放送プログラムなどのイベントの題目及び開始時間などのイベント情報が収録されるＥＩＴ（event  information  table）３６５０，３６５２，３６５３、及び放送プログラムに係わる背景、あらすじ、登場人物のような詳細な説明などの付加テキスト情報が収録されるＥＴＴ（extended  text  table）３６６０，３６６２，３６６４，３６６６から構成される。すなわち、ＰＳＩＰテーブルに放送プログラムなどのイベントに係わる各種情報が収録される。
【０４１１】
特に、衛星ＶＣＴ  ３４６０は、チャネル別に仮想チャネル識別子source＿ｉｄを含み、仮想チャネル識別子によって、ＥＩＴ  ３６５０，３６５２，３６５３のうち、チャネル別イベント情報が検索される。また、それぞれのＥＴＴ  ３６６０，３６６２，３６６４，３６６６は、対応するＶＣＴ  ３４６０またはＥＩＴ  ３６５０，３６５２，３６５３のテキスト・メッセージを含んでもよい。
【０４１２】
図３７は、ＤＶＢ通信方式によって、ＥＰＧ情報が収録されるＳＩテーブルを図示している。
【０４１３】
ＳＩテーブルは、地上波、ケーブルまたは衛星ネットワークなどの現在放送のネットワーク種類情報が収録されるＮＩＴ（network  information  table）３７１０、サービス名、サービス提供業者などのサービス情報が収録されるＳＤＴ（service  description  table）３７２０、放送プログラムの題目または時間などのイベント関連情報が収録されるＥＩＴ（event  information  table）３７３０及び現在日付と現在時間との情報が収録されるＴＤＴ（time  and  data  table）３７４０から構成される。従って、ＳＩテーブルに放送プログラムなどのイベントに係わる各種情報が収録される。
【０４１４】
以下、ＡＴＳＣ−ＰＳＩＰテーブルにおいて、ＶＣＴテーブルのシンタックスが表４９に、ＲＲＴテーブルのシンタックスが表５０に、ＳＴＴテーブルのシンタックスが表５１に、ＥＩＴテーブルのシンタックスが表５２に、ＥＴＴテーブルのシンタックスが表５３に図示されている。
【０４１５】
【表５５】
2013511199.tif 000057
【０４１６】
【表５６】
2013511199.tif 000058
【０４１７】
【表５７】
2013511199.tif 000059
【０４１８】
【表５８】
2013511199.tif 000060
【０４１９】
【表５９】
2013511199.tif 000061
【０４２０】
【表６０】
2013511199.tif 000062
【０４２１】
【表６１】
2013511199.tif 000063
図３８は、ＥＰＧ情報が図示された画面及びそれぞれの情報のソースを図示している。
【０４２２】
画面３８００上に、ＡＴＳＣ通信方式によるＰＳＩＰテーブルを利用して構成されたＥＰＧ画面３８１０が表示される。ＥＰＧ画面３８１０は、デジタルＴＶシステムが設定した画面上の所定領域に、ＰＳＩＰテーブルに収録されたテキストデータが表示されることによって構成される。この場合、デジタルＴＶシステムは、デジタルＴＶシステムが具備しているイメージ及びフォントを利用し、ＰＳＩＰテーブルに収録されたテキストデータを表示することによって、ＥＰＧ画面３８１０を構成することができる。
【０４２３】
具体的には、ＥＰＧ画面３８１０上に、チャネル名３８２０、チャネル番号３８３０、地域別等級３８４０、放送プログラム名及び再生時間３８５０、放送プログラムに係わる説明テキスト３８６０及び現在時間及び日時３８７０が表示される。
【０４２４】
チャネル名３８２０は、表４９のＶＣＴテーブルにおいて、「short＿name」フィールドの縮約されたチャネル名情報に基づいて決定される。チャネル番号３８３０は、ＶＣＴテーブルにおいて、「major＿channel＿number」フィールドの主要チャネル番号情報、及び「minor＿channel＿number」フィールドの付随チャネル番号情報が組み合わさったチャネル情報に基づいて決定される。
【０４２５】
地域別等級３８４０は、表５０のＲＲＴテーブル内の「rating＿region＿name＿text（）」フィールドの地域名情報と、「ａｂｂｒｅｖ＿rating＿value＿text（）」フィールドまたは「rating＿value＿text（）」フィールドの等級情報とに基づいて決定される。
【０４２６】
放送プログラム名及び再生時間３８５０は、表５２のＥＩＴテーブルにおいて、「title＿text（）」フィールドの放送プログラム名情報に基づいて決定される。
【０４２７】
放送プログラムに係わる説明テキスト３８６０は、表５３のＥＴＴテーブルにおいて、「extended＿text＿message（）」フィールドのイベント説明テキスト情報に基づいて決定される。
【０４２８】
現在時間及び日時３８７０は、表５１のＳＴＴテーブルにおいて、「system＿time」フィールドのシステム時間情報、及び「ＧＰＳ＿ＵＴＣ＿offset」フィールドのＧＰＳ−ＵＴＣ時刻差情報に基づいて決定される。
【０４２９】
表５４は、表５２のＥＴＴテーブルの下位フィールド「ＥＴＭ＿ｉｄ」の構造である。
【０４３０】
【表６２】
2013511199.tif 000064
ＥＴＴテーブルにおいて、「ＥＴＭ＿ｉｄ」フィールドに基づいて、「Channel  ＥＴＭ＿ｉｄ」である場合、現在ＥＴＴテーブルが、いずれのＶＣＴテーブルに対応するかが確認され、「event  ＥＴＭ＿ｉｄ」である場合、現在ＥＴＴテーブルが、いずれのＥＩＴテーブルに対応するかが確認される。対応するチャネルまたはイベントに係わる説明として、現在ＥＴＴテーブルの「extended＿text＿message（）」フィールドのテキスト・メッセージ３８６０が、ＥＰＧ画面３８１０上に表示される。
【０４３１】
従って、１つのＥＰＧ画面３８１０は、複数個のＰＳＩＰテーブルに含まれたＥＰＧデータを利用して構成される。
【０４３２】
表４９ないし表５４及び図３５ないし図３８を参照して説明したＥＰＧを基に、ＥＰＧの三次元再生のために変更された第４実施形態によるマルチメディア・ストリーム生成装置１００、及び第４実施形態によるマルチメディア・ストリーム受信装置２００の動作について、以下、表５５ないし５９及び図３９及び図４０を参照して説明する。
【０４３３】
第４実施形態によるマルチメディア・ストリーム生成装置１００は、三次元ＥＰＧ情報を三次元で再生するためのＥＰＧ三次元再生情報を、ＰＳＩＰテーブルまたはＳＩテーブルに挿入してもよい。第４実施形態によるＥＰＧ三次元再生情報は、三次元ＥＰＧ情報のデプスについての情報として、デプス、変異、両眼視差またはオフセットなどの多様な形態で利用される。
【０４３４】
また、第４実施形態によるマルチメディア・ストリーム受信装置２００は、ＡＴＳＣ通信方式を介して受信されたＴＳからセクションをギャザリングし、ＥＰＧ情報及びＥＰＧ三次元再生情報を抽出し、三次元ＥＰＧ再生情報を利用し、二次元ＥＰＧ情報を三次元ＥＰＧ情報に変更して再生することができる。
【０４３５】
第４実施形態によるマルチメディア・ストリーム生成装置１００は、三次元ＥＰＧ再生情報を叙述子形態で設定することができる。ＰＳＩＰテーブルにおいて、ＥＴＴテーブルを除き、表４９のＶＣＴ、表５０のＲＲＴ、表５１のＳＴＴ、表５２のＥＩＴは、いずれも叙述子フィールド「descriptor（）」を含む。第４実施形態によるマルチメディア・ストリーム生成装置１００は、ＰＳＩＰテーブルの叙述子フィールドに、第４実施形態による三次元ＥＰＧ再生情報を含む三次元ＥＰＧ叙述子を挿入してもよい。ＥＴＴは、叙述子フィールドがないが、「ＥＴＭ＿ｉｄ」フィールドを介して、ＶＣＴまたはＥＩＴと関連し、関連したテーブルの三次元ＥＰＧ叙述子を相続される。
【０４３６】
表５５は、第４実施形態による三次元ＥＰＧ叙述子のシンタックスである。
【０４３７】
【表６３】
2013511199.tif 000065
「descriptor＿tag」フィールドは、三次元ＥＰＧ叙述子「３Ｄ＿ＥＰＧ＿descriptor」フィールドの識別子を含む。「descriptor＿length」フィールドは、「descriptor＿length」フィールドに後続するデータの総バイト数情報を含む。
【０４３８】
「３Ｄ＿ＥＰＧ＿offset」フィールドは、「３Ｄ＿ＥＰＧ＿descriptor」フィールドを含むＰＳＩＰテーブルによって、ＥＰＧ画面上に表示されるＥＰＧ情報のオフセット情報を含む。
【０４３９】
「Video＿Flat」フィールドは、ＥＰＧ情報を三次元で再生するとき、現在放送されるプログラムのビデオを、二次元再生モードに転換して再生するか否かを示すビデオ二次元再生情報を含む。表５６は、ビデオ二次元再生情報「Video＿Flat」の一例である。
【０４４０】
【表６４】
2013511199.tif 000066
「reserved」フィールド及び「addtional＿data（）」フィールドは、今後使われるために保留された領域である。
【０４４１】
以下、ＤＶＢ−ＳＩテーブルにおいて、ＮＩＴテーブルのシンタックスは、表５７に、ＳＤＳテーブルのシンタックスは、表５８に、ＥＩＴテーブルのシンタックスは、表５９に図示されている。
【０４４２】
【表６５】
2013511199.tif 000067
【０４４３】
【表６６】
2013511199.tif 000068
【０４４４】
【表６７】
2013511199.tif 000069
【０４４５】
【表６８】
2013511199.tif 000070
ＤＶＢ通信方式によれば、ＳＩテーブルにおいて、ＮＩＴ、ＳＤＳテーブル、ＥＩＴの叙述子フィールド「descriptor（）」に、ＥＰＧテキスト情報が含まれる。表５５は、第４実施形態によるマルチメディア・ストリーム生成装置１００が、ＳＩテーブルの叙述子フィールドに、第４実施形態による三次元ＥＰＧ再生情報を含む三次元ＥＰＧ叙述子を追加して挿入した一例を図示している。
【０４４６】
第４実施形態によるマルチメディア・ストリーム受信装置２００は、ＤＶＢ通信方式を介して受信されたＴＳからセクションをギャザリングし、ＥＰＧ情報及び三次元ＥＰＧ再生情報を抽出することができる。ＥＰＧが三次元で再生される場合、第４実施形態によるマルチメディア・ストリーム受信装置２００は、三次元ＥＰＧ叙述子を検索し、三次元ＥＰＧ叙述子が存在するならば、三次元ＥＰＧ再生情報を利用し、二次元ＥＰＧ情報を三次元ＥＰＧ情報に変換して再生することができる。
【０４４７】
図３９は、第４実施形態によるＴＳ復号化システムのブロック図を図示している。
【０４４８】
第４実施形態によるＴＳ復号化システム３９００がＴＳを受信すれば、トランスポート逆多重化部（transport  demuxer）３９１０を介して、ビデオビット・ストリーム、オーディオビット・ストリーム、及びＰＳＩＰテーブルまたはＳＩテーブルが分離される。ビデオビット・ストリーム及びオーディオビット・ストリームは、プログラム復号化部３９２０に出力され、ＰＳＩＰテーブルまたはＳＩテーブルは、プログラムガイド処理部（program  guide  processor）３９６０に出力される。
【０４４９】
また、ビデオビット・ストリームは、ビデオ復号化部（video  decoder）３９３０に入力され、復元されたビデオは、ディスプレイ処理部（display  processing）３９４０に出力されもする。オーディオビット・ストリームは、オーディオ復号化部（audio  decoder）３９５０を介して復元される。
【０４５０】
このとき、第４実施形態によるＰＳＩＰテーブルまたはＳＩテーブルは、三次元ＥＰＧ再生情報を含んでいる。例えば、第４実施形態によるＰＳＩＰテーブルまたはＳＩテーブルは、表５５の「３Ｄ＿ＥＰＧ＿descriptor」叙述子を含んでもよい。このようなＰＳＩＰテーブルまたはＳＩテーブルを利用し、三次元ＥＰＧを再生するためのプログラムガイド処理部（program  guide  processor）３９６０及びディスプレイ処理部（display  processing）３９４０の細部動作については、図４０を介して説明する。
【０４５１】
図４０は、第４実施形態によるＴＳ復号化システムのうち、ディスプレイ処理部のブロック図を図示している。
【０４５２】
プログラムガイド処理部３９６０に入力されたＰＳＩＰテーブルまたはＳＩテーブルは、ＰＳＩＰまたはＳＩパージング部（ＰＳＩＰ  or  ＳＩ  parser）４０７０によって分析され、ＥＰＧ構成に必要なＥＰＧ情報及び三次元ＥＰＧ再生情報と、ビデオ二次元再生情報とがＰＳＩＰテーブルまたはＳＩテーブルから抽出される。ＥＰＧ情報、三次元ＥＰＧ再生情報及びビデオ二次元再生情報は、ディスプレイ処理部３９４０のディスプレイ・プロセッサ（display  processor）４０５０に出力されもする。
【０４５３】
復元されたビデオは、左視点映像及び右視点映像に分離され、それぞれ左視点ビデオバッファ（decoded  video  Ｌ  buffer）４０１０及び右視点ビデオバッファ（decoded  video  Ｒ  buffer）４０２０に保存されもする。
【０４５４】
ディスプレイ・プロセッサ４０５０は、三次元ＥＰＧ再生情報に基づいて、三次元ＥＰＧの左視点ＥＰＧ情報及び右視点ＥＰＧ情報を生成し、左視点ＥＰＧ情報及び右視点ＥＰＧ情報をそれぞれ左視点ディスプレイ平面（Ｌ  display  plane）４０３０及び右視点ディスプレイ平面（Ｒ  display  plane）４０４０上に表示する。左視点ＥＰＧが表示された左視点ディスプレイ平面４０３０は、左視点ビデオとブレンド（blending）され、右視点ＥＰＧが表示された右視点ディスプレイ平面４０４０は、右視点ビデオとブレンドされ、スイッチ４０６０によって、交互に再生されることによって、三次元ＥＰＧ情報が表示された三次元ビデオが再生される。
【０４５５】
また、ビデオ二次元再生情報が、ビデオを二次元再生モードに転換して再生するように設定されている場合、ビデオは、二次元で再生されねばならない。例えば、左視点ＥＰＧ情報が表示された左視点ディスプレイ平面４０３０、及び右視点ＥＰＧ情報が表示された右視点ディスプレイ平面４０４０のいずれにも同一視点ビデオがブレンドされれば、ＥＰＧ情報は、三次元で再生され、ビデオは、二次元で再生される。
【０４５６】
ディスプレイ・プロセッサ４０５０が、三次元ＥＰＧ再生情報に基づいて、三次元ＥＰＧ情報の左視点ＥＰＧ情報及び右視点ＥＰＧ情報を生成するために、三次元ＥＰＧオフセットを、二次元ＥＰＧ情報に視点別に異なるように適用することができる。例えば、三次元ＥＰＧオフセットが、ピクセルの左右移動距離である場合、ディスプレイ・プロセッサ４０５０は、二次元ＥＰＧ情報を、ｘ軸に沿って負の方向にオフセットほど移動させることによって、左視点ＥＰＧ情報を生成し、正の方向にオフセットほど移動させることによって、右視点ＥＰＧ情報を生成することができる。または、三次元ＥＰＧオフセットが、左右視点間の変異である場合、ディスプレイ・プロセッサ４０５０は、二次元ＥＰＧ情報を左視点ＥＰＧ情報に固定し、二次元ＥＰＧ情報を、ｘ軸に沿って負または正の方向に、オフセットほど移動させることによって、右視点ＥＰＧ情報を生成することができる。三次元ＥＰＧオフセットの性格によって、ディスプレイ・プロセッサ４０５０が三次元ＥＰＧ情報を生成する方法は、変わることがある。
【０４５７】
第４実施形態によるマルチメディア・ストリーム生成装置１００は、ＥＰＧを三次元で再生するために必要なＥＰＧデータ及びＥＰＧ三次元再生情報を含む三次元ＥＰＧデータ構造を伝送するために、ＡＴＳＣ−ＰＳＩＰテーブルまたはＤＶＢ−ＳＩテーブルに、第４実施形態による三次元ＥＰＧデータ構造を挿入し、ビデオストリーム、オーディオストリームと共に伝送することができる。
【０４５８】
第４実施形態によるマルチメディア・ストリーム生成装置２００は、第４実施形態によるマルチメディア・ストリームを受信してパージングし、抽出されたＡＴＳＣ−ＰＳＩＰテーブルまたはＤＶＢ−ＳＩテーブルから、第４実施形態による三次元ＥＰＧデータ構造を抽出することができる。第４実施形態によるマルチメディア・ストリーム生成装置２００は、ＥＰＧ三次元再生情報に基づいて、三次元ＥＰＧ情報を構成し、ＥＰＧ情報を三次元で再生することができる。また、第４実施形態によるマルチメディア・ストリーム生成装置２００は、ＥＰＧ三次元再生情報に基づいて、三次元ＥＰＧ情報を正確に再生することによって、視聴者が感じることがある視覚的息苦しさのような不便を防止することができる。
【０４５９】
図４１は、一実施形態によるテキストの三次元再生のためのマルチメディア・ストリーム生成方法のフローチャートを図示している。
【０４６０】
段階４１１０で、符号化されたビデオデータ、符号化されたオーディオデータ、付加再生データと共に、付加再生情報の三次元再生のための情報を含むビデオＥＳ、オーディオＥＳ、付加データストリーム及び補助情報ストリームが生成される。一実施形態による付加再生データは、プログラムに係わるクローズドキャプション・データ、サブタイトルデータ及びＥＰＧデータを含んでもよい。
【０４６１】
一実施形態による付加再生情報の三次元再生のための情報は、付加再生情報のデプス感を調節するための左右視点間の変異、デプス差などの視差情報、座標情報及びデプス情報のうち少なくとも一つを示すオフセット情報を含んでもよい。一実施形態による付加再生情報の三次元再生のための情報は、付加再生情報の三次元再生安全性情報、ビデオ二次元再生情報及び三次元再生強調情報などを含んでもよい。
【０４６２】
段階４１２０で、ビデオＥＳ、オーディオＥＳ及び付加データストリームをパケット化し、ビデオＰＥＳパケット、オーディオＰＥＳパケット、付加データＰＥＳパケットが生成され、補助情報パケットが生成される。一実施形態による付加再生情報の三次元再生のための情報及び付加再生データは、ＰＥＳパケットレベルで、ストリームに挿入されもする。
【０４６３】
第１実施形態によるクローズドキャプション・データ及びクローズドキャプション三次元再生情報は、ビデオＥＳ、ビデオＥＳのヘッダまたはセクションに挿入してもよい。第２，３実施形態によるサブタイトルデータ及びサブタイトル三次元再生情報は、サブタイトルＰＥＳパケット及びサブタイトルＰＥＳパケットのヘッダのうち、少なくとも一つに挿入してもよい。第４実施形態によるＥＰＧデータ及びＥＰＧ三次元再生情報は、ＡＴＳＣ−ＰＳＩＰテーブルまたはＤＶＢ＿ＳＩテーブル内の叙述子（descriptor）フィールドに挿入してもよい。
【０４６４】
段階４１３０で、ビデオＰＥＳパケット、オーディオＰＥＳパケット、付加データＰＥＳパケット及び補助情報パケットを多重化し、ＴＳを生成する。生成されたＴＳは、所定チャネルを介して伝送される。
【０４６５】
図４２は、一実施形態によるテキストの三次元再生のためのマルチメディア・ストリーム受信方法のフローチャートを図示している。
【０４６６】
段階４２１０で、ビデオ及び三次元ビデオのうち、少なくとも一つを含むビデオデータを含むマルチメディア・ストリームに係わるＴＳが受信され、逆多重化されたＴＳから、ビデオＰＥＳパケット、オーディオＰＥＳパケット、付加データＰＥＳパケット及び補助情報パケットが抽出される。
【０４６７】
段階４２３０で、ビデオＰＥＳパケット、オーディオＰＥＳパケット、付加データＰＥＳパケット及び補助情報パケットから、ビデオＥＳ、オーディオＥＳ、付加データストリーム及び補助情報ストリームが抽出される。補助情報ストリームは、ＰＳＩ情報、ＡＴＳＣ−ＰＳＩＰ情報、ＤＶＢ−ＳＩ情報などのプログラム関連情報を含んでもよい。抽出されたＰＥＳパケット段階で、付加再生データ及び付加再生情報の三次元再生のための情報が抽出される。
【０４６８】
段階４２３０で、ビデオＥＳ、オーディオＥＳ、付加データストリーム及びプログラム関連情報からビデオ、オーディオ、付加データ及び付加再生情報が復元され、付加再生情報の三次元再生のための情報が抽出される。抽出されたＥＳ段階で、付加再生データ及び付加再生情報の三次元再生のための情報が抽出されもする。
【０４６９】
第１実施形態によるクローズドキャプション・データ及びクローズドキャプション三次元再生情報は、ビデオＥＳ、ビデオＥＳのヘッダまたはセクションから抽出される。第２，３実施形態によるサブタイトルデータ及びサブタイトル三次元再生情報は、サブタイトルＰＥＳパケット及びサブタイトルＰＥＳパケットのヘッダのうち、少なくとも一つから抽出される。第４実施形態によるＥＰＧデータ及びＥＰＧ三次元再生情報は、ＡＴＳＣ−ＰＳＩＰテーブルまたはＤＶＢ＿ＳＩテーブル内の叙述子（descriptor）フィールドから抽出される。
【０４７０】
段階４２４０で、復元されたビデオ、オーディオ、付加データ及び付加再生情報を再生する。一実施形態による付加再生情報の三次元再生のための情報に基づいて、三次元付加再生情報が構成される。ビデオデータの再生と共に、三次元付加再生情報が三次元で再生される。
【０４７１】
また、付加再生情報の三次元再生のための情報に基づいて、付加再生情報のデプス感が調節されて三次元で再生されたり、あるいは付加再生情報のオフセット情報の安全性を確認した後で三次元で再生されるので、視聴者がビデオ及び付加再生情報間の不適切なデプス感のために感じることがある不便さが解消される。
【０４７２】
一方、前述の本発明の実施形態は、コンピュータで実行されるプログラムで作成可能であり、コンピュータで読み取り可能な記録媒体を利用し、前記プログラムを動作させる汎用デジタル・コンピュータで具現される。前記コンピュータで読み取り可能な記録媒体は、マグネチック記録媒体（例えば、ＲＯＭ（read-only  memory）、フロッピー（登録商標）ディスク、ハードディスクなど）、光学的判読媒体（例えば、ＣＤ−ＲＯＭ、ＤＶＤ（digital  versatile  disc）など）のような記録媒体を含む。
【０４７３】
以上、本発明について、その望ましい実施形態を中心に説明した。本発明が属する技術分野で当業者であるならば、本発明が本発明の本質的な特性から外れない範囲で変形された形態で具現されるということを理解することができるであろう。従って、開示された実施形態は、限定的な観点ではなくして、説明的な観点から考慮されねばならない。本発明の範囲は、前述の説明ではなくして、特許請求の範囲に示されており、それと同等な範囲内にあるあらゆる差異点は、本発明に含まれたものであると解釈さればならない。
【図１】
2013511199.tif 000071
【図２】
2013511199.tif 000072
【図３】
2013511199.tif 000073
【図４】
2013511199.tif 000074
【図５】
2013511199.tif 000075
【図６】
2013511199.tif 000076
【図７】
2013511199.tif 000077
【図８】
2013511199.tif 000078
【図９】
2013511199.tif 000079
【図１０】
2013511199.tif 000080
【図１１】
2013511199.tif 000081
【図１２】
2013511199.tif 000082
【図１３】
2013511199.tif 000083
【図１４】
2013511199.tif 000084
【図１５】
2013511199.tif 000085
【図１６】
2013511199.tif 000086
【図１７】
2013511199.tif 000087
【図１８】
2013511199.tif 000088
【図１９】
2013511199.tif 000089
【図２０】
2013511199.tif 000090
【図２１】
2013511199.tif 000091
【図２２】
2013511199.tif 000092
【図２３】
2013511199.tif 000093
【図２４】
2013511199.tif 000094
【図２５】
2013511199.tif 000095
【図２６】
2013511199.tif 000096
【図２７】
2013511199.tif 000097
【図２８】
2013511199.tif 000098
【図２９】
2013511199.tif 000099
【図３０】
2013511199.tif 000100
【図３１】
2013511199.tif 000101
【図３２】
2013511199.tif 000102
【図３３】
2013511199.tif 000103
【図３４】
2013511199.tif 000104
【図３５】
2013511199.tif 000105
【図３６】
2013511199.tif 000106
【図３７】
2013511199.tif 000107
【図３８】
2013511199.tif 000108
【図３９】
2013511199.tif 000109
【図４０】
2013511199.tif 000110
【図４１】
2013511199.tif 000111
【図４２】
2013511199.tif 000112
【国際調査報告】
2013511199.tif 000113
2013511199.tif 000114