(57)【要約】【課題】２次元映像サービスだけではなく、ステレオ基盤の３次元映像サービス、多視点基盤の３次元映像サービスの提供に必要な多視点映像送受信装置及びその方法を提供する。【解決手段】２次元映像やステレオ基盤の３次元映像あるいは多視点基盤の３次元映像などをビデオ合成器を通じて２次元基盤の合成映像に伝送し、その合成映像についてのフォーマット付加情報をともに伝送することによって、受信端では、一つのビデオデコーダを使って合成された２次元映像を先に復号化し、その後端に位置するビデオ復元器では、伝送されたフォーマット付加情報を参照して復号化された合成映像をステレオ基盤の３次元映像あるいは多視点基盤の３次元映像などに復元することができる。【選択図】図１
2010130690.tif 000002
【特許請求の範囲】
【請求項１】
多重化されたストリームを変調して送信する多視点映像送信装置において、
２次元入力映像はもとより、ステレオ基盤の３次元入力映像あるいは多視点３次元入力映像を２次元映像フォーマットに合成するためのビデオ合成器と、
前記合成映像についてのフォーマット付加情報を含んでいるプログラム特性情報（ＰＳＩ）を生成させるためのフォーマット付加情報生成器と、
２次元合成映像を符号化し、これをパケット化するためのビデオエンコーダと、
入力音声を符号化し、これをパケット化するためのオーディオエンコーダと、
前記エンコーダでパケット処理されたそれぞれのパケットストリームとプログラム特性情報（ＰＳＩ）を入力されて一つの伝送ストリームに多重化するための多重化器と、
を含むことを特徴とする多視点映像送信装置。
【請求項２】
前記フォーマット付加情報は、
少なくとも３次元入力映像の視点数、解像度、映像合成形態を表わす情報を含み、前記プログラム特性情報（ＰＳＩ）のうち、ユーザ専用（ＵＳＥＲ  ＰＲＩＶＡＴＥ）フィールドに記録されることを特徴とする請求項１に記載の多視点映像送信装置。
【請求項３】
多重化されたストリームを変調して送信する多視点映像送信装置において、
２次元入力映像はもとより、ステレオ基盤の３次元入力映像あるいは多視点３次元入力映像を２次元映像フォーマットに合成するためのビデオ合成器と、
前記合成映像についてのフォーマット付加情報を生成させるためのフォーマット付加情報生成器と、
２次元合成映像を符号化し、これをパケット化するが、前記合成映像についてのフォーマット付加情報を挿入してパケット化するビデオエンコーダと、
入力音声を符号化し、これをパケット化するためのオーディオエンコーダと、
前記エンコーダでパケット処理されたそれぞれのパケットストリームを伝送ストリームに多重化するための多重化器と、
を含むことを特徴とする多視点映像送信装置。
【請求項４】
前記ビデオエンコーダは、
前記フォーマット付加情報生成器から生成された合成映像についてのフォーマット付加情報を含んでいる基本パケットストリーム（ＰＥＳ）情報を生成して入力映像をパケット化することを特徴とする請求項３に記載の多視点映像送信装置。
【請求項５】
前記フォーマット付加情報は、
少なくとも３次元入力映像の視点数、解像度、映像合成形態を表わす情報を含み、前記基本パケットストリーム（ＰＥＳ）情報のストリームＩＤのうち、予約データストリーム（ｒｅｓｅｒｖｅｄ  ｄａｔａ  ｓｔｒｅａｍ）フィールドに記録されることを特徴とする請求項４に記載の多視点映像送信装置。
【請求項６】
前記ビデオエンコーダは、
前記フォーマット付加情報生成器から生成された合成映像についてのフォーマット付加情報を含んでいる基本ストリームディスクリプタ（ＥＳ＿Ｄｅｓｃｒｉｐｔｅｒ）情報を生成して入力映像をパケット化することを特徴とする請求項３に記載の多視点映像送信装置。
【請求項７】
前記フォーマット付加情報は、
少なくとも３次元入力映像の視点数、解像度、映像合成形態を表わす情報を含み、前記基本ストリームディスクリプタ（ＥＳ＿Ｄｅｓｃｒｉｐｔｅｒ）情報のストリームタイプのうち、ユーザ専用フィールドに記録されることを特徴とする請求項６に記載の多視点映像送信装置。
【請求項８】
復調器を含む多視点映像受信装置において、
復調されて伝送されたストリームを逆多重化するための逆多重化器と、
前記逆多重化器から入力された２次元合成映像に対するビデオ伝送ストリームを復号化するためのビデオデコーダと、
前記逆多重化器から入力されたオーディオ伝送ストリームを復号化するためのオーディオデコーダと、
前記逆多重化器あるいはビデオデコーダから入力される情報から合成映像についてのフォーマット付加情報を抽出するためのフォーマット付加情報抽出器と、
前記合成映像についてのフォーマット付加情報を入力されて、前記復号化された２次元合成映像を２次元入力映像あるいはステレオ基盤の３次元入力映像あるいは多視点３次元入力映像に復元するためのビデオ復元器と、
該復元された映像及び復号化されたオーディオデータを出力するためのビデオ／オーディオ出力部と、
を含むことを特徴とする多視点映像受信装置。
【請求項９】
前記フォーマット付加情報抽出器は、
前記逆多重化器から入力されるプログラム特性情報（ＰＳＩ）のうち、ユーザ専用フィールドに記録されたフォーマット付加情報を抽出することを特徴とする請求項８に記載の多視点映像受信装置。
【請求項１０】
前記フォーマット付加情報抽出器は、
前記ビデオデコーダから入力される基本パケットストリーム（ＰＥＳ）情報のストリームＩＤのうち、予約データストリームフィールドに記録されたフォーマット付加情報を抽出することを特徴とする請求項８に記載の多視点映像受信装置。
【請求項１１】
前記フォーマット付加情報抽出器は、
前記ビデオデコーダから入力される基本ストリームディスクリプタ（ＥＳ＿Ｄｅｓｃｒｉｐｔｅｒ）情報のストリームタイプのうち、ユーザ専用フィールドに記録されたフォーマット付加情報を抽出することを特徴とする請求項８に記載の多視点映像受信装置。
【請求項１２】
多視点映像送信方法において、
２次元入力映像あるいはステレオ基盤の３次元入力映像あるいは多視点３次元入力映像を２次元映像フォーマットに合成する段階と、
前記合成映像についてのフォーマット付加情報を含んでいる情報を生成させる段階と、
２次元合成映像及び入力音声を符号化し、これらをそれぞれパケット化する段階と、
それぞれのパケットストリームと前記フォーマット付加情報を含んでいる情報を一つの伝送ストリームに多重化する段階と、
該多重化された伝送ストリームを変調して送信する段階と、
を含むことを特徴とする多視点映像送信方法。
【請求項１３】
前記フォーマット付加情報を含んでいる情報は、
プログラム特性情報（ＰＳＩ）であって、ユーザ専用フィールドに少なくとも３次元入力映像の視点数、解像度、映像合成形態を表わす情報を含むことを特徴とする請求項１２に記載の多視点映像送信方法。
【請求項１４】
多視点映像送信方法において、
２次元入力映像あるいはステレオ基盤の３次元入力映像あるいは多視点３次元入力映像を２次元映像フォーマットに合成する段階と、
前記合成映像についてのフォーマット付加情報を生成させる段階と、
２次元合成映像を符号化してパケット化するが、その合成映像についてのフォーマット付加情報を挿入してパケット化する段階と、
入力音声を符号化及びパケット化する段階と、
それぞれのパケットストリームを伝送ストリームに多重化する段階と、
該多重化された伝送ストリームを変調して送信する段階と、
を含むことを特徴とする多視点映像送信方法。
【請求項１５】
前記フォーマット付加情報は、
少なくとも３次元入力映像の視点数、解像度、映像合成形態を表わす情報を含み、基本パケットストリーム（ＰＥＳ）情報のストリームＩＤのうち、予約データストリームフィールドに記録されることを特徴とする請求項１４に記載の多視点映像送信方法。
【請求項１６】
前記フォーマット付加情報は、
少なくとも３次元入力映像の視点数、解像度、映像合成形態を表わす情報を含み、基本ストリームディスクリプタ（ＥＳ＿Ｄｅｓｃｒｉｐｔｅｒ）情報のストリームタイプのうち、ユーザ専用フィールドに記録されることを特徴とする請求項１４に記載の多視点映像送信方法。
【請求項１７】
多視点映像受信方法において、
伝送ストリーム（ＴＳ）を復調する段階と、
該復調された伝送ストリームを逆多重化する段階と、
該逆多重化されたビデオ伝送ストリーム及びオーディオ伝送ストリームをそれぞれ復号化する段階と、
逆多重化あるいは復号化されたストリームから合成映像についてのフォーマット付加情報を抽出する段階と、
該抽出された合成映像についてのフォーマット付加情報を参照して、復号化された２次元合成映像を２次元入力映像あるいはステレオ基盤の３次元入力映像あるいは多視点３次元入力映像に復元する段階と、
該復元された映像及び復号化されたオーディオデータを出力する段階と、
を含むことを特徴とする多視点映像受信方法。
【請求項１８】
前記合成映像についてのフォーマット付加情報は、
プログラム特性情報（ＰＳＩ）のユーザ専用フィールドに含まれた情報であって、少なくとも３次元入力映像の視点数、解像度、映像合成形態を表わす情報を含むことを特徴とする請求項１７に記載の多視点映像受信方法。
【請求項１９】
前記合成映像についてのフォーマット付加情報は、
基本パケットストリーム（ＰＥＳ）情報のストリームＩＤのうち、予約データストリームフィールドに含まれた情報であって、少なくとも３次元入力映像の視点数、解像度、映像合成形態を表わす情報を含むことを特徴とする請求項１７に記載の多視点映像受信方法。
【請求項２０】
前記合成映像についてのフォーマット付加情報は、
基本ストリームディスクリプタ（ＥＳ＿Ｄｅｓｃｒｉｐｔｅｒ）情報のストリームタイプのうち、ユーザ専用フィールドに含まれた情報であって、少なくとも３次元入力映像の視点数、解像度、映像合成形態を表わす情報を含むことを特徴とする請求項１７に記載の多視点映像受信方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像送受信装置に係り、特に、２次元映像サービスだけではなく、ステレオ基盤の３次元映像サービス、多視点基盤の３次元映像サービスの提供に必要な多視点（Ｍｕｌｔｉ−Ｖｉｅｗ）映像送受信装置及びその方法に関する。
【背景技術】
【０００２】
次世代３Ｄ情報端末技術の寵児と呼ばれる３Ｄ立体映像技術は、直接的に放送だけではなく、娯楽、宇宙航空、軍事、医療、映画などほぼすべての産業分野にわたって広範囲な影響を及ぼすと予想されるほど、その付加価置も非常に大きいと予想される。
【０００３】
３Ｄ立体映像技術は、１８３８年イギリスのチャールズホイートストン（Ｃｈａｒｌｅｓ  Ｗｈｅａｔｓｔｏｎｅ）がステレオスコープ（Ｓｔｅｒｅｏｓｃｏｐｈ）を発表して以来、国内外研究所及び教育機関などで活発に研究作業を進行している。３Ｄ立体映像は、現実世界である３次元世界のリアリティーを伝達することができる映像媒体であり、臨場感（Ｐｒｅｓｅｎｃｅ  ｆｅｅｌｉｎｇ）、実在感、自然感、鮮明性などの長所を有している。
【０００４】
３Ｄ立体映像技術は、大きく左、右二つの２次元映像を利用したステレオスコピック（Ｓｔｅｒｅｏｓｃｏｐｉｃ）立体映像方式と、物体の散乱情報を利用したホログラフィック（ｈｏｌｏｇｒａｐｈｉｃ）３次元方式とに分類される。人間の視覚構造を模倣して、左、右二つの２次元映像を用いて３次元映像を入出力するステレオ立体映像入出力方式は、現在の技術として具現可能な３次元立体入出力技術であり、最近、ステレオ入出力方式の立体視野を確張するための多視点（Ｍｕｌｔｉ―ｖｉｅｗ：多眼式とも言う）立体映像入出力方式が活発に研究されている。
【０００５】
ステレオ形態の３次元立体映像を伝送するための一般的な方法を紹介すれば、まず、左、右映像に対してそれぞれＭＰＥＧ２−ＴＳでのパケット識別子（ＰＩＤ：Ｐａｃｋｅｔ  Ｉｄｅｎｔｉｆｉｅｒ）を一つずつ付与して多重化伝送する方法があり、第２の方法として、左映像（あるいは、右映像）とこれについての右映像（あるいは、左映像）との視差（ｄｉｓｐａｒｉｔｙ）情報、深さ（ｄｅｐｔｈ）情報、残差（ｒｅｓｉｄｕａｌ）情報などを求めて、それぞれ圧縮した後、多重化伝送する方法がある。
【０００６】
前者の方法では、各パケット識別字（ＰＩＤ）を有している二つのビデオストリームが存在するので、一般２Ｄ基盤のシステムでは、これを区分することができないので互換性に問題があり、後者の方法では、２Ｄ基盤システムと互換性を有するが、ステレオ基盤の３次元立体映像ではない多視点映像を伝送することができる方法がない。また、受信端で既存ＩＰＴＶを含むデジタル放送で使っている一般２Ｄ復号器ではない別途の付加情報処理のための復号器を必要とするという短所を抱いている。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本発明は、前記問題点を解決するために提案されたものであって、受信端で一つのビデオデコーダを使って２次元映像サービスだけではなく、ステレオ基盤の３次元映像サービス、多視点基盤の３次元映像サービスを提供することができる多視点映像送受信装置及びその方法を提供することにある。
【課題を解決するための手段】
【０００８】
前記目的を果たすための本発明の実施形態による多視点映像送信装置は、２次元入力映像はもとより、ステレオ基盤の３次元入力映像あるいは多視点３次元入力映像を２次元映像フォーマットに合成するためのビデオ合成器と、前記合成映像についてのフォーマット付加情報を含んでいるプログラム特性情報（ＰＳＩ）を生成させるためのフォーマット付加情報生成器と、２次元合成映像を符号化し、これをパケット化するためのビデオエンコーダと、入力音声を符号化し、これをパケット化するためのオーディオエンコーダと、前記エンコーダでパケット処理されたそれぞれのパケットストリームとプログラム特性情報（ＰＳＩ）を入力されて一つの伝送ストリームに多重化するための多重化器と、を含むことを特徴とする。
【０００９】
このような多視点映像送信装置で、前記フォーマット付加情報は、少なくとも３次元入力映像の視点数、解像度、映像合成形態を表わす情報を含み、これら情報は、プログラム特性情報（ＰＳＩ）のうち、ユーザ専用（ＵＳＥＲ  ＰＲＩＶＡＴＥ）フィールドに記録されることを特徴とする。
【００１０】
また他の実施形態による多視点映像送信装置は、２次元入力映像はもとより、ステレオ基盤の３次元入力映像あるいは多視点３次元入力映像を２次元映像フォーマットに合成するためのビデオ合成器と、前記合成映像についてのフォーマット付加情報を生成させるためのフォーマット付加情報生成器と、２次元合成映像を符号化し、これをパケット化するが、前記合成映像についてのフォーマット付加情報を挿入してパケット化するビデオエンコーダと、入力音声を符号化し、これをパケット化するためのオーディオエンコーダと、前記エンコーダでパケット処理されたそれぞれのパケットストリームを伝送ストリームに多重化するための多重化器と、を含むことを特徴とする。
【００１１】
このような多視点映像送信装置で、前記ビデオエンコーダは、前記フォーマット付加情報生成器から生成された合成映像についてのフォーマット付加情報を含んでいる基本パケットストリーム（ＰＥＳ）情報を生成して入力映像をパケット化するか、前記フォーマット付加情報生成器から生成された合成映像についてのフォーマット付加情報を含んでいる基本ストリームディスクリプタ（ＥＳ＿Ｄｅｓｃｒｉｐｔｅｒ）情報を生成して入力映像をパケット化することを特徴とする。
【００１２】
基本パケットストリーム（ＰＥＳ）情報を生成して入力映像をパケット化する場合に、前記フォーマット付加情報は、少なくとも３次元入力映像の視点数、解像度、映像合成形態を表わす情報を含み、前記基本パケットストリーム（ＰＥＳ）情報のストリームＩＤのうち、予約データストリーム（ｒｅｓｅｒｖｅｄ  ｄａｔａ  ｓｔｒｅａｍ）フィールドに記録されることを特徴とする。
【００１３】
基本ストリームディスクリプタ（ＥＳ＿Ｄｅｓｃｒｉｐｔｅｒ）情報を生成して入力映像をパケット化する場合には、前記フォーマット付加情報は、少なくとも３次元入力映像の視点数、解像度、映像合成形態を表わす情報を含み、これら情報は、基本ストリームディスクリプタ（ＥＳ＿Ｄｅｓｃｒｉｐｔｅｒ）情報のストリームタイプのうち、ユーザ専用フィールドに記録されることを特徴とする。
【００１４】
一方、本発明の実施形態による復調器を含む多視点映像受信装置は、復調されて伝送されたストリームを逆多重化するための逆多重化器と、前記逆多重化器から入力された２次元合成映像に対するビデオ伝送ストリームを復号化するためのビデオデコーダと、前記逆多重化器から入力されたオーディオ伝送ストリームを復号化するためのオーディオデコーダと、前記逆多重化器あるいはビデオデコーダから入力される情報から合成映像についてのフォーマット付加情報を抽出するためのフォーマット付加情報抽出器と、前記合成映像についてのフォーマット付加情報を入力されて、前記復号化された２次元合成映像を２次元入力映像あるいはステレオ基盤の３次元入力映像あるいは多視点３次元入力映像に復元するためのビデオ復元器と、該復元された映像及び復号化されたオーディオデータを出力するためのビデオ／オーディオ出力部と、を含むことを特徴とする。
【００１５】
このような多視点映像受信装置において、前記フォーマット付加情報抽出器は、前記逆多重化器から入力されるプログラム特性情報（ＰＳＩ）のうち、ユーザ専用フィールドに記録されたフォーマット付加情報を抽出することを特徴とし、
変形実施形態において、前記フォーマット付加情報抽出器は、前記ビデオデコーダから入力される基本パケットストリーム（ＰＥＳ）情報のストリームＩＤのうち、予約データストリームフィールドに記録されたフォーマット付加情報を抽出することを特徴とする。
【００１６】
また他の実施形態で、前記フォーマット付加情報抽出器は、前記ビデオデコーダから入力される基本ストリームディスクリプタ（ＥＳ＿Ｄｅｓｃｒｉｐｔｅｒ）情報のストリームタイプのうち、ユーザ専用フィールドに記録されたフォーマット付加情報を抽出することを特徴とする。
【発明の効果】
【００１７】
前述したような課題の解決手段によれば、本発明は、２次元映像やステレオ基盤の３次元映像あるいは多視点基盤の３次元映像などをビデオ合成器を通じて２次元基盤の合成映像に伝送し、その合成映像についてのフォーマット付加情報をともに伝送することによって、受信端では、一つのビデオデコーダを使って合成された２次元映像を先に復号化し、その後端に位置するビデオ復元器では、伝送されたフォーマット付加情報を参照して復号化された合成映像をステレオ基盤の３次元映像あるいは多視点基盤の３次元映像などに復元することができる。
【００１８】
したがって、本発明は、例えば、ＩＰＴＶのように一つのビデオデコーダのみを採用している抵仕様の受信装置でも、多視点基盤の３次元映像まで再生することができる効果が得られる。
【図面の簡単な説明】
【００１９】
【図１】本発明の実施形態による多視点映像送信装置のブロック構成図である。
【図２】図１に示したビデオ合成器１００の映像合成例示図である。
【図３】本発明の実施形態による多視点映像送信装置の動作を説明するための図である。
【図４】本発明の実施形態による多視点映像受信装置のブロック構成図である。
【図５】本発明の実施形態による多視点映像受信装置の動作を説明するための図である。
【発明を実施するための形態】
【００２０】
以下、本発明の望ましい実施形態を添付図面を参照して詳しく説明する。本発明を説明するに当って、関連した公知機能あるいは構成についての具体的な説明が、本発明の要旨を不明にする恐れがあると判断される場合には、それについでの詳細な説明は省略する。
【００２１】
まず、図１は、本発明の実施形態による多視点映像送信装置のブロック構成図であり、図２は、図１に示したビデオ合成器１００の映像合成形態を例示した図である。
【００２２】
図１と図２とを参照すれば、本発明の実施形態による多視点映像送信装置は、２次元入力映像（２Ｄ  ｖｉｄｅｏ）はもとより、ステレオ基盤の３次元入力映像（ｓｔｅｒｅｏｖｉｄｅｏ）あるいは多視点３次元入力映像を２次元映像フォーマットに合成するためのビデオ合成器１００を含む。
【００２３】
このようなビデオ合成器１００は、図２の（ａ）あるいは（ｂ）に示したように、ステレオ基盤の３次元入力映像、すなわち、左（Ｌ）／右（Ｒ）映像を（ｃ）あるいは（ｄ）のように既定のフォーマットに合わせて２次元映像フォーマットに合成するか、（ｅ）あるいは（ｆ）のような多視点基盤の３次元左（Ｌ）／右（Ｒ）入力映像を（ｇ）あるいは（ｈ）のようなフォーマットの２次元映像フォーマットに合成するか、（ｉ）のような多視点基盤の３次元左（Ｌ）／右（Ｒ）入力映像を（ｊ）あるいは（ｋ）のようなフォーマットの２次元映像フォーマットに合成する。
【００２４】
一方、本発明の実施形態による多視点映像送信装置は、前記合成映像についてのフォーマット付加情報を生成させるためのフォーマット付加情報生成器１１０を含む。フォーマット付加情報生成器１１０は、具現方式によって三種の形態に具現可能である。
【００２５】
第１に、ＭＰＥＧ２−ＴＳフォーマットでのプログラム特性情報（ＰＳＩ）を用いる場合である。すなわち、フォーマット付加情報生成器１１０は、合成映像についてのフォーマット付加情報を含んでいるプログラム特性情報（ＰＳＩ：Ｐｒｏｇｒａｍ  Ｓｐｅｃｉｆｉｃ  Ｉｎｆｏｒｍａｔｉｏｎ）を生成させるが、そのフォーマット付加情報は、少なくとも３次元入力映像の視点数、解像度、映像合成形態を表わす情報を含み、これら情報をプログラム特性情報（ＰＳＩ）のうち、ユーザ専用フィールドに記録して後述する多重化器１４０に出力する。
【００２６】
第２に、ＭＰＥＧ２ビデオストリームのＰＥＳ（Ｐａｃｋｅｔｉｚｅｄ  Ｅｌｅｍｅｎｔａｒｙ  Ｓｔｒｅａｍ）情報を用いる場合である。このために、フォーマット付加情報生成器１１０は、合成映像についてのフォーマット付加情報を生成して後述するビデオエンコーダ１２０に出力する。
【００２７】
第３に、ＭＰＥＧ４／Ｈ．２６４を用いて入力映像を符号化する場合を考慮したものである。このために、フォーマット付加情報生成器１１０は、合成映像についてのフォーマット付加情報を生成して後述するビデオエンコーダ１２０に出力する。第２と第３の場合でも、フォーマット付加情報は、少なくとも３次元入力映像の視点数、解像度、映像合成形態を表わす情報を含む。
【００２８】
一方、ビデオ合成器１００及びフォーマット付加情報生成器１１０の以外に、本発明の実施形態による多視点映像送信装置は、ビデオ合成器１００で合成された２次元合成映像を符号化し、これをパケット化するためのビデオエンコーダ１２０を含む。このようなビデオエンコーダ１２０は、具現方式によってＭＰＥＧ２あるいはＭＰＥＧ４／Ｈ．２６４方式によって入力映像を符号化及びパケット化することができる。したがって、ビデオエンコーダ１２０は、前記フォーマット付加情報生成器１１０から生成された合成映像についてのフォーマット付加情報を含んでいる基本パケットストリーム（ＰＥＳ）情報を生成して入力映像をパケット化するか、前記フォーマット付加情報生成器１１０から生成された合成映像についてのフォーマット付加情報を含んでいる基本ストリームディスクリプタ（ＥＳ＿Ｄｅｓｃｒｉｐｔｅｒ）情報を生成して入力映像をパケット化することができる。
【００２９】
参考までに、基本パケットストリーム（ＰＥＳ）情報を生成して入力映像をパケット化する場合に、フォーマット付加情報は、基本パケットストリーム（ＰＥＳ）情報のストリームＩＤのうち、予約データストリームフィールドに記録され、基本ストリームディスクリプタ（ＥＳ＿Ｄｅｓｃｒｉｐｔｅｒ）情報を生成して入力映像をパケット化する場合には、基本ストリームディスクリプタ（ＥＳ＿Ｄｅｓｃｒｉｐｔｅｒ）情報のストリームタイプのうち、ユーザ専用フィールドに記録される。
【００３０】
前述した構成以外に、本発明の実施形態による多視点映像送信装置は、入力音声（ａｕｄｉｏ）を符号化し、これをパケット化するためのオーディオエンコーダ１３０及び前記エンコーダ１２０、１３０でパケット処理されたそれぞれのパケットストリームを入力されて一つの伝送ストリームに多重化するための多重化器１４０を含む。図示していないが、一般多視点映像送信装置でのように、本発明の実施形態による多視点映像送信装置も、多重化された伝送ストリームを変調するための変造部を含む。
【００３１】
以下、図３を参照して、前述した多視点映像送信装置の動作を敷衍説明する。参考までに、図３は、本発明の実施形態による多視点映像送信装置の動作を説明するための図面を示した図である。
【００３２】
図３を参照して、フォーマット付加情報をプログラム特性情報（ＰＳＩ）に挿入して伝送する場合を先に説明すれば、まず、本発明の実施形態による多視点映像送信装置は、伝送するための映像と音声とを入力（Ｓ１段階）される。該入力された映像、例えば、ステレオ基盤の３次元映像が入力されれば、このような入力映像は、ビデオ合成器１００によって図２の（ｃ）のように水平方向に左（Ｌ）映像と右（Ｒ）映像とが相互交番的に配される方式で２次元映像合成（Ｓ２段階）されてビデオエンコーダ１２０に伝達される。
【００３３】
一方、フォーマット付加情報生成器１１０は、ビデオ合成器１００で２次元映像に合成される合成映像についてのフォーマット付加情報を含んでいるプログラム特性（ＰＳＩ）情報を生成（Ｓ３段階）して多重化器１４０に出力する。プログラム特性情報（ＰＳＩ）は、ビデオ合成器１００に入力された３次元入力映像の視点数（１視点）、解像度、映像合成形態（左右交番配列）を表わす情報を含むが、その情報は、下記表１のようにプログラム特性情報（ＰＳＩ）のうち、ユーザ専用フィールドに記録される。下記表１は、ＰＳＩでのストリームタイプ（ｓｔｒｅａｍ  ｔｙｐｅ）表を例示したものであって、０ｘ８０〜０ｘｆｆ区間がユーザ専用フィールドに該当する。
【表１】
2010130690.tif 000003
【００３４】
ビデオ合成器１００を通じて２次元映像に合成された映像は、引き続きビデオエンコーダ１２０から符号化及びパケット化されて出力（Ｓ４段階）される一方、オーディオエンコーダ１３０でも入力された音声（Ａｕｄｉｏ）が符号化及びパケット化されて出力（Ｓ４段階）される。
【００３５】
このように、ビデオエンコーダ１２０とオーディオエンコーダ１３０とからビデオ及びオーディオパケットストリームが入力されれば、多重化器１４０は、これらそれぞれのパケットストリームとプログラム特性情報（ＰＳＩ）を伝送ストリームに生成した後、一つの伝送（ＴＳ）ストリームに多重化（Ｓ５段階）する。該多重化された一つの伝送ストリーム（３Ｄストリーム）は、引き続き変調器で変調されて送信（Ｓ６段階）される。
【００３６】
以上、前記実施形態では、ＭＰＥＧ２−ＴＳ生成時、フォーマット付加情報含まれたプログラム特性情報（ＰＳＩ）を挿入して多視点映像を送信する方法について説明したが、合成映像についてのフォーマット付加情報を基本パケットストリーム（ＰＥＳ）情報に挿入して多視点映像を送信することもできる。
【００３７】
すなわち、フォーマット付加情報生成器１１０は、まず、合成映像についてのフォーマット付加情報を生成してビデオエンコーダ１２０に出力する。これにより、ビデオエンコーダ１２０は、合成映像を符号化して基本ストリームを生成させ、これを基本ストリームパケットに生成する。この際、ビデオエンコーダ１２０は、フォーマット付加情報生成器１１０から伝達された合成映像についてのフォーマット付加情報を含んでいる基本パケットストリーム（ＰＥＳ）情報を生成させるが、そのフォーマット付加情報は、少なくとも３次元入力映像の視点数、解像度、映像合成形態を表わす情報を含み、これら情報は、下記表２のように基本パケットストリーム（ＰＥＳ）情報のストリームＩＤのうち、予約データストリームフィールドに記録される。下記表２は、ＭＰＥＧ２での修正されたＰＥＳのストリームＩＤを例示したものである。
【表２】
2010130690.tif 000004
【００３８】
前述したように、ビデオエンコーダ１２０で合成映像についてのフォーマット付加情報を含んでいる基本パケットストリーム（ＰＥＳ）情報が生成されて出力されれば、引き続き多重化器１４０では、映像と音声とに対する基本ストリームパケットが多重化されて出力され、変調器を通じて変調されて多視点映像が送信される。
【００３９】
以下、ＭＰＥＧ４／Ｈ．２６４方式で入力映像を符号化する場合を仮定して見れば、ビデオエンコーダ１２０は、フォーマット付加情報生成器１１０を通じて合成映像についてのフォーマット付加情報を入力される。これにより、ビデオエンコーダ１２０は、フォーマット付加情報生成器１１０から伝達された合成映像についてのフォーマット付加情報を含んでいる基本ストリームディスクリプタ（ＥＳ＿Ｄｅｓｃｒｉｐｔｅｒ）情報を生成して入力映像をパケット化する。このような場合、前記フォーマット付加情報は、少なくとも３次元入力映像の視点数、解像度、映像合成形態を表わす情報を含み、これら情報は、下記表３のように基本ストリームディスクリプタ（ＥＳ＿Ｄｅｓｃｒｉｐｔｅｒ）情報のストリームタイプのうち、ユーザ専用フィールド（０ｘ２０〜０ｘ３Ｆ）に記録される。下記表３は、ＭＰＥＧ４での修正されたＥＳ＿ディスクリプタのストリームタイプを例示したものである。
【表３】
2010130690.tif 000005
【００４０】
前述したように、ビデオエンコーダ１２０で合成映像についてのフォーマット付加情報を含んでいる基本ストリームディスクリプタ情報が生成挿入されて符号化及びパケット化完了すれば、引き続き多重化器１４０では、映像と音声とに対するストリームを多重化して出力することによって、結果的に多重化された伝送ストリームは、変調器で変調されて多視点映像に送信される。
【００４１】
以下、多視点映像送信装置によって伝送された多視点映像を再び元の映像に復元するための多視点映像受信装置について敷衍説明する。
【００４２】
図４は、本発明の実施形態による多視点映像受信装置のブロック構成図であり、図５は、本発明の実施形態による多視点映像受信装置の動作を説明するための図面を示した図である。
【００４３】
まず、多視点映像受信装置は、図４に示したように、復調されて伝送されたストリームを逆多重化するための逆多重化器３００と、前記逆多重化器３００から入力された２次元合成映像に対するビデオ伝送ストリームを復号化するためのビデオデコーダ３１０と、前記逆多重化器３００から入力されたオーディオ伝送ストリームを復号化するためのオーディオデコーダ３２０と、前記逆多重化器３００あるいはビデオデコーダ３１０から入力される情報から合成映像についてのフォーマット付加情報を抽出するためのフォーマット付加情報抽出器３３０とを含む。
【００４４】
参考までに、前記フォーマット付加情報抽出器３３０は、前記逆多重化器３００から入力されるプログラム特性情報（ＰＳＩ）のうち、ユーザ専用フィールドに記録されたフォーマット付加情報を抽出することができ、変形された実施形態では、フォーマット付加情報抽出器３００がビデオデコーダ３１０から入力される基本パケットストリーム（ＰＥＳ）情報のストリームＩＤのうち、予約データストリームフィールドに記録されたフォーマット付加情報を抽出する。また他の実施形態で、フォーマット付加情報抽出器３３０は、ビデオデコーダ３１０から入力される基本ストリームディスクリプタ（ＥＳ＿Ｄｅｓｃｒｉｐｔｅｒ）情報のストリームタイプのうち、ユーザ専用フィールドに記録されたフォーマット付加情報を抽出することもできる。
【００４５】
前記構成以外に、多視点映像受信装置は、受信された合成映像についてのフォーマット付加情報をフォーマット付加情報抽出器３３０から入力されて復号化された２次元合成映像を２次元入力映像あるいはステレオ基盤の３次元入力映像あるいは多視点３次元入力映像に復元するためのビデオ復元器３４０と、該復元された映像及び復号化されたオーディオデータを出力するためのビデオ／オーディオ出力部３５０とを基本的にさらに含む。
【００４６】
以下、図５を参照して、多視点映像受信装置の動作を説明すれば、まず、多視点映像送信装置から伝送された伝送ストリーム（ＴＳ）は、多視点映像受信装置の復調器で復調（Ｓ１１段階）される。そして、復調された伝送ストリームは、逆多重化器３００で逆多重化（Ｓ１２段階）される。該逆多重化されたビデオ伝送ストリーム及びオーディオ伝送ストリームは、それぞれビデオデコーダ３１０とオーディオデコーダ３２０とで復号化（Ｓ１３段階）される。
【００４７】
もし、合成映像についてのフォーマット付加情報がプログラム特性情報（ＰＳＩ）に含まれた場合であれば、逆多重化器３００で逆多重化されたプログラム特性情報（ＰＳＩ）は、フォーマット付加情報抽出器３３０に印加される。これにより、フォーマット付加情報抽出器３３０は、プログラム特性情報（ＰＳＩ）のユーザ専用フィールドに記録されたフォーマット付加情報を抽出（Ｓ１４段階）して、ビデオ復元器３４０に出力する。
【００４８】
これとは違って、合成映像についてのフォーマット付加情報が基本パケットストリーム（ＰＥＳ）情報に含まれた場合であれば、フォーマット付加情報抽出器３３０は、ビデオデコーダ３１０から伝達される基本パケットストリーム（ＰＥＳ）情報のストリームＩＤのうち、予約データストリームフィールドに記録されたフォーマット付加情報を抽出（Ｓ１４段階）して、ビデオ復元器３４０に伝達する。
【００４９】
もし、合成映像についてのフォーマット付加情報が基本ストリームディスクリプタ（ＥＳ＿Ｄｅｓｃｒｉｐｔｅｒ）情報に含まれた場合であれば、フォーマット付加情報抽出器３３０は、ビデオデコーダ３１０から伝達される基本ストリームディスクリプタ（ＥＳ＿Ｄｅｓｃｒｉｐｔｅｒ）情報のストリームタイプのうち、ユーザ専用フィールドに記録されたフォーマット付加情報を抽出（Ｓ１４段階）して、ビデオ復元器３４０に伝達する。
【００５０】
このように、フォーマット付加情報抽出器３３０によって合成映像についてのフォーマット付加情報が伝達されれば、ビデオ復元器３４０は、伝達されたフォーマット付加情報を参照して復号化された２次元合成映像を２次元入力映像あるいはステレオ基盤の３次元入力映像あるいは多視点３次元入力映像に復元（Ｓ１５段階）する。したがって、復元された映像及び復号化されたオーディオデータは、ビデオ／オーディオ出力部３５０を通じて出力（Ｓ１６段階）される。
【００５１】
前述したように、本発明は、２次元映像やステレオ基盤の３次元映像あるいは多視点基盤の３次元映像などをビデオ合成器１００を通じて２次元基盤の合成映像に伝送し、その合成映像についてのフォーマット付加情報をＰＳＩあるいはＰＥＳ、ＥＳ＿Ｄｅｓｃｒｉｐｔｅｒ情報に挿入して伝送することによって、受信端では、一つのビデオデコーダ３１０を使って合成された２次元映像を先に復号化し、その後端に位置するビデオ復元器３４０では、伝送されたフォーマット付加情報を参照して復号化された合成映像を元映像（ステレオ基盤の３次元映像あるいは多視点基盤の３次元映像など）に復元することができる。
【００５２】
したがって、本発明は、例えば、ＩＰＴＶのように一つのビデオデコーダのみを採用している抵仕様の受信装置でも、多視点基盤の３次元映像まで再生することができる効果が得られる
【産業上の利用可能性】
【００５３】
本発明は、多視点映像送受信装置及びその方法関連の技術分野に適用可能である。
【符号の説明】
【００５４】
１００：ビデオ合成器
１１０：フォーマット付加情報生成器
１４０：多重化器
１２０：ビデオエンコーダ
１３０：オーディオエンコーダ
３１０：ビデオデコーダ
３２０：オーディオデコーダ
３００：逆多重化器
３３０：フォーマット付加情報抽出器
３４０：ビデオ復元器
３５０：ビデオ／オーディオ出力部
【図１】
2010130690.tif 000006
【図２】
2010130690.tif 000007
【図３】
2010130690.tif 000008
【図４】
2010130690.tif 000009
【図５】
2010130690.tif 000010