(57)【特許請求の範囲】
【請求項１】
2D伝送フォーマットに従う三次元[3D]ビデオ情報の転送のためのデータ・トランスポート・ストリームを生成するために前記3Dビデオ情報を処理する方法であって、
前記3Dビデオ情報は、3Dビデオ・データ及び補助データを有し、
前記3Dビデオ・データは、3D効果を生じさせるために観察者のそれぞれの目に対して表示されるべき左ビュー及び右ビューを少なくとも有し、
前記補助データは、前記3Dビデオ・データ上のオーバレイ領域における表示のために配置され、当該方法は、
メイン配置における前記2D伝送フォーマットにしたがってメイン・ビデオ・データのための2Dフレーム中に前記左ビュー及び前記右ビューの前記3Dビデオ・データを配置し、
前記メイン・ビデオ・データを受信機が再生することを可能にして前記補助データをオーバレイするために受信機のためのパラメータを有する制御データを提供し、
前記メイン配置における前記3Dビデオ・データ、前記補助データ及び前記制御データを含む前記データ・トランスポート・ストリームを組み立てて、当該方法はさらに、
前記3Dビデオ・データの前記左ビュー及び前記右ビュー上にオーバレイされるべき前記補助データの補助左ビュー及び補助右ビュー、前記補助データの2Dバージョン、並びに、前記左ビュー及び前記右ビュー上にオーバレイされるときに補助データの前記2Dバージョンに適用されるべき視差を示す補助視差データを提供し、
前記メイン配置に対応する補助配置における2D伝送フォーマットにしたがって補助データ・ストリーム中に前記補助左ビュー及び前記補助右ビューの前記補助データを配置し、
更なる補助データ・ストリーム中に前記2Dバージョンの前記補助データを配置し、
前記データ・トランスポート・ストリーム中に、前記更なる補助データ・ストリーム、前記補助視差データ、及び、前記更なる補助データ・ストリームを示す視差フォーマット・インジケータを含める、方法。
【請求項２】
前記制御データが、前記2Dフレームにおける前記左ビュー及び前記右ビューの前記3Dビデオ・データの前記メイン配置を示す、前記2D伝送フォーマットの3D拡張にしたがう3Dフォーマット・インジケータを含む、請求項１に記載の方法。
【請求項３】
前記補助配置は、前記メイン配置を示す前記3Dフォーマット・インジケータのみによって示される、請求項２に記載の方法。
【請求項４】
前記補助視差データは、前記左ビュー及び前記右ビュー上にオーバレイされるときのそれぞれの領域中の前記補助データの視差を示す前記オーバレイ領域中の少なくとも１つの領域のための領域視差データを含む、請求項１に記載の方法。
【請求項５】
前記補助データ・ストリームは、前記オーバレイ領域に表示されるべき補助データのページの構成を定めるページ構成構造を有し、前記ページ構成構造は、それぞれの領域の位置及び前記領域視差データを定める、少なくとも１つの領域定義を有する、請求項４に記載の方法。
【請求項６】
前記補助データ・ストリームは、補助データのページ中の領域の構成を定める領域構成構造を有し、前記領域構成構造は、前記領域の前記領域視差データを有する、請求項４に記載の方法。
【請求項７】
前記補助データ・ストリームは、前記オーバレイ領域に表示されるべき補助データのページ中の領域の構成を定める領域構成構造を有し、前記領域構成構造は、グラフィカル・オブジェクトの位置を定める、オブジェクト構造のシーケンスを有し、前記オブジェクト構造は、前記補助視差データを有する視差オブジェクトを含み、又は、前記補助データ・ストリームは、補助データのページのための前記オーバレイ領域を定める、表示定義を有し、前記表示定義は、前記オーバレイ領域の位置及び前記補助視差データを定める、請求項１に記載の方法。
【請求項８】
前記補助データ・ストリームはオブジェクトを有し、前記オブジェクトは、オーバレイされるべきグラフィカル・オブジェクトのピクセル・データを定め、前記補助データ・ストリーム及び前記更なる補助データ・ストリームは、前記補助左ビュー、前記補助右ビュー及び/又は前記補助データの前記2Dバージョンの間でそれぞれの同じオブジェクトを共有するための同じオブジェクトに対するリファレンスを有する、請求項１に記載の方法。
【請求項９】
前記データ・トランスポート・ストリームは、前記2D伝送フォーマットの3D拡張による更なるセグメント・タイプを有し、前記更なるセグメント・タイプは、前記補助視差データを有する立体視差記述子を有する、請求項１に記載の方法。
【請求項１０】
前記データ・トランスポート・ストリームは、前記2D伝送フォーマットの3D拡張にしたがって前記補助視差データを有するパケット化基本ストリーム[ＰＥＳ]データ・パケットを有する、請求項１に記載の方法。
【請求項１１】
前記補助データは字幕を有する請求項１に記載の方法。
【請求項１２】
2D伝送フォーマットに従う三次元[3D]ビデオ情報の転送のためのデータ・トランスポート・ストリームを生成するために前記3Dビデオ情報を処理するための装置であって、
前記3Dビデオ情報は、3Dビデオ・データ及び補助データを有し、
前記3Dビデオ・データは、3D効果を生じさせるために観察者のそれぞれの目に対して表示されるべき左ビュー及び右ビューを少なくとも有し、
前記補助データは、前記3Dビデオ・データ上のオーバレイ領域における表示のために配置され、当該装置は、
メイン配置における前記2D伝送フォーマットにしたがってメイン・ビデオ・データのための2Dフレーム中に前記左ビュー及び前記右ビューの前記3Dビデオ・データを配置し、
前記メイン・ビデオ・データを受信機が再生することを可能にして前記補助データをオーバレイするために受信機のためのパラメータを有する制御データを提供し、
前記メイン配置における前記3Dビデオ・データ、前記補助データ及び前記制御データを含む前記データ・トランスポート・ストリームを組み立てる、
ためのビデオ・プロセッサを有し、
前記ビデオ・プロセッサはさらに、
前記3Dビデオ・データの前記左ビュー及び前記右ビュー上にオーバレイされるべき前記補助データの補助左ビュー及び補助右ビュー、前記補助データの2Dバージョン、並びに、前記左ビュー及び前記右ビュー上にオーバレイされるときに補助データの前記2Dバージョンに適用されるべき視差を示す補助視差データを提供し、
前記メイン配置に対応する補助配置における2D伝送フォーマットにしたがって補助データ・ストリーム中に前記補助左ビュー及び前記補助右ビューの前記補助データを配置し、
更なる補助データ・ストリーム中に前記2Dバージョンの前記補助データを配置し、
前記データ・トランスポート・ストリーム中に、前記更なる補助データ・ストリーム、前記補助視差データ、及び、前記更なる補助データ・ストリームを示す視差フォーマット・インジケータを含める、装置。
【請求項１３】
三次元[3D]ビデオ情報を転送するための信号を記録するコンピュータ可読記録媒体であって、
前記3Dビデオ情報は、3Dビデオ・データ及び補助データを有し、
前記3Dビデオ・データは、3D効果を生じさせるために観察者のそれぞれの目に対して表示されるべき左ビュー及び右ビューを少なくとも有し、
前記補助データは、前記3Dビデオ・データ上のオーバレイ領域における表示のために配置され、前記信号は、
メイン配置における2D伝送フォーマットにしたがってメイン・ビデオ・データのための2Dフレーム中に前記左ビュー及び前記右ビューの前記3Dビデオ・データ、
前記メイン・ビデオ・データを受信機が再生することを可能にして前記補助データをオーバレイするために受信機のためのパラメータを有する制御データ、
伝送のために前記メイン配置における前記3Dビデオ・データ、前記補助データ及び前記制御データを含むデータ・トランスポート・ストリーム、
前記3Dビデオ・データの前記左ビュー及び前記右ビュー上にオーバレイされるべき前記補助データの補助左ビュー及び補助右ビュー、前記補助データの2Dバージョン、並びに、前記左ビュー及び前記右ビュー上にオーバレイされるときに補助データの前記2Dバージョンに適用されるべき視差を示す補助視差データ、
前記メイン配置に対応する補助配置における2D伝送フォーマットにしたがって補助データ・ストリーム中に前記補助左ビュー及び前記補助右ビューの前記補助データ、
更なる補助データ・ストリーム中に前記2Dバージョンの前記補助データ、
前記データ・トランスポート・ストリーム中の、前記更なる補助データ・ストリーム、前記補助視差データ、及び、前記更なる補助データ・ストリームを示す視差フォーマット・インジケータ、を有するコンピュータ可読記録媒体。
【請求項１４】
三次元[3D]ビデオ情報を処理するための受信機であって、
前記3Dビデオ情報は、3Dビデオ・データ及び補助データを有し、
前記3Dビデオ・データは、3D効果を生じさせるために観察者のそれぞれの目に対して表示されるべき左ビュー及び右ビューを少なくとも有し、
前記補助データは、前記3Dビデオ・データ上のオーバレイ領域における表示のために配置され、前記受信機は、
請求項１３に記載の信号を受信するための入力ユニット、
前記補助データ・ストリーム中に提供される前記補助配置中の前記補助データを破棄する一方で、前記更なる補助データ・ストリームから前記補助データを読み出して、前記補助データの前記2Dバージョン及び前記補助視差データに基づいて前記3Dビデオ・データ上のオーバレイ領域に表示するためのオーバレイデータを生成するためのビデオ・プロセッサ、
を有する受信機。
【請求項１５】
三次元[3D]ビデオ情報を処理するためのコンピュータ・プログラムであって、請求項１から請求項１１のいずれか一項に記載の方法をプロセッサに実行されるコンピュータ・プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、三次元［3D］ビデオ情報を処理する方法に関し、3Dビデオ情報は3Dビデオ・データ及び補助データを含み、3Dビデオ・データは、少なくとも、3D効果を生じさせるために観察者のそれぞれの目に対して表示される左ビュー及び右ビューを含み、補助データは、3Dビデオ・データ上のオーバレイ領域における表示のために用意され、当該方法は、
−メイン配置における2D伝送フォーマットにしたがってメイン・ビデオ・データのために2Dフレーム中に左ビュー及び右ビューの3Dビデオ・データを配置し、
−受信機がメイン・ビデオ・データを再生することを可能にして補助データをオーバレイするために受信機にパラメータを示すための制御データを提供し、
−送信のためのメイン配置において3Ｄビデオ・データ、補助データ及び制御データを含むデータ・トランスポート・ストリームを組み立てる。
【０００２】
本発明は、更に、3Dビデオ情報を処理するための装置、3Dビデオ情報を転送するための信号及び三次元［3D］ビデオ情報を処理するための受信機に関する。
【背景技術】
【０００３】
本発明は、3Dビデオ放送の分野に関する。エンターテイメント業界からのますます多くの製品は、3D動画シアターを意図している。これらの製品は、２ビュー・フォーマット（3D効果を発生させるために観察者のそれぞれの目に対して表示される左ビュー及び右ビュー）を用いて、主としてアイウェア補助表示を意図する。業界からの関心は、これらの3D製品を家庭に持ち込むことである。放送事業者は、3Dコンテンツの実験的な送信を開始した（特にライブのスポーツ・イベント）。現在、デジタルビデオ放送（ＤＶＢ）のための規格は、立体視コンテンツを転送するために適応されている。間違いなく早期に用いられるフォーマットは、少なくとも、3D効果を生じさせるために観察者のそれぞれの目に対して表示される左ビュー及び右ビューを含む一般的に用いられるステレオ・フォーマットであり、両方のビューのデータは、例えば、サイド・バイ・サイド（SBS）又はトップ・ボトム（TB）配置において、2Dビデオ・フレームにフォーマットされる。3Dの左及び右ビューを含む2Dフレームは、既存の（2D）ビデオ・チャネルを介して送受信される。
【０００４】
2Dビデオ・データを生成するためのシステム及び装置が知られている（例えばビデオ・サーバ、放送スタジオ又はオーサリング装置）。現在、3D画像データを提供するための同様の3Dビデオ装置が必要とされており、受信3Dビデオ信号を処理するセットトップ・ボックスの様な、3Dビデオ・データをレンダリングするための相補的な3Dビデオ装置が提案されている。3Dビデオ装置は、適切なインタフェース（好ましくはHDMIのような高速デジタル・インタフェース）を介して3Dビデオ・データを転送するためにTVセット又はモニタのような表示装置に接続されることができる。3Dディスプレイは、3Dビデオ装置（例えば受信セクション及び3Dディスプレイを有するテレビ（TV））と一体化されることができる。
【０００５】
国際規格ISO/IEC 14496-10 "Information technology - Coding of audio-visual objects - Part 10: Advanced Video Coding"（第５版、2009-05-15）は、例えばデジタル放送（DVB）のためのビデオ情報のデジタル符号化処理を記述する。ビデオ・データは、表示されるメイン・ビデオのコンテンツを定める。補助データは、メイン・ビデオ・データと組み合わせて表示されることができる任意の他のデータ（例えばグラフィカル・データ又は字幕）を定める。規格及び更に関連する文献は、受信機がメイン・ビデオ・データを再生して補助データをオーバレイすることを可能にするために受信機にパラメータを示すための制御データを定め、送信のためにビデオ・データ、補助データ及び制御データを含むデータ・トランスポート・ストリームを組み立てる。AVC規格は一例であり、例えば、ISO/IEC 13818-2 Generic coding of moving pictures and associated audio information: Videoに記述されるように、高解像度のために、MPEG-2ビデオが用いられることができる。
【０００６】
3Dビデオ・データの符号化及び転送を可能にするために、上記の規格が適応されている。特に、3Dビデオ情報が2Dビデオ・チャネルを介して送信されて、例えば前記のサイド・バイ・サイド（SBS）又はトップ・ボトム（TB）配置において2Dビデオ・フレームでフォーマットされることを示すためにシステムを定めることが提案されている。したがって、3Dビデオ・データは、少なくとも、3D効果を発生させるために観察者のそれぞれの目に対して表示される左ビュー及び右ビューを有し、補助データは、3Dビデオ・データ上のオーバレイ領域における表示のために配置される。左ビュー及び右ビューの3Dビデオ・データは、メイン配置における2D伝送フォーマットにしたがってメイン・ビデオ・データのための2Dフレーム中にフォーマットされる。例えば、上記のISO規格に対する変更において、立体視ビデオ伝達として2Dビデオ・フレームにおけるビデオ・データの左及び右ビューの空間インタリービングを示す新たなSEIメッセージを定めることによって、補足拡張情報（SEI）メッセージと呼ばれる制御データ・メッセージを拡張することが提案されている。空間インタリービングは、例えば、前記のサイド・バイ・サイド（SBS）又はトップ・ボトム（TB）配置、あるいは、チェッカーボード・インタリーブであることができる。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
2Dビデオ・チャネルを介した3Dビデオ情報の提案された転送は、メイン・ビデオ・データが3Dにおいて転送されることを可能にする。しかしながら、字幕のようないかなる補助データも、例えば、Subtitling: ETSI EN 300 743 - Digital Video Broadcasting (DVB); Subtitling systemsのためのDVB規格を用いて転送される必要がある。そのような補助データは、例えばトランスポート・ストリーム中の補助データ・ストリームにおいて別々に転送されることに留意する必要がある。DVBによって参照されることそのようなトランスポート・ストリームの実施例は、規格"ISO/IEC 13818-1 Generic coding of moving pictures and associated audio information: systems"において定められる。通常はユーザによって選択される設定に基づく補助データのオーバレイは、受信端において対応される。メイン・ビデオと同様の補助配置で、例えばSBSでも、補助データをフォーマットすることが検討されることができる。しかしながら、そのようなフォーマットは、受信機における困難さ又は更なるコストを生じさせる可能性がある。
【課題を解決するための手段】
【０００８】
受信機における困難さ及び更なるコストを回避する補助データを含む3Dビデオ情報を転送するためのシステムを提供することが本発明の目的である。
【０００９】
この目的のために、本発明の第１の態様によれば、冒頭の段落に記載されている方法は、さらに、
- 3Dビデオ・データの左ビュー及び右ビューにオーバレイされる補助データの補助左ビュー及び補助右ビュー、補助データの2Dバージョン、並びに、左ビュー及び右ビューにオーバレイされるときに補助データの2Dバージョンに適用される視差を示す補助視差データを提供し、
- メイン配置に対応する補助配置における2D伝送フォーマットにしたがって補助データ・ストリーム中に補助左ビュー及び補助右ビューの補助データを配置し、
- 更なる補助データ・ストリーム中に2Dバージョンの補助データを配置し、
- トランスポート・ストリーム中に、更なる補助データ・ストリーム、補助視差データ及び更なる補助データ・ストリームを示す視差フォーマット・インジケータを含める。
【００１０】
この目的のために、本発明の更なる態様によれば、
- メイン配置における2D伝送フォーマットにしたがってメイン・ビデオ・データのために2Dフレーム中に左ビュー及び右ビューの3Dビデオ・データを配置し、
- 受信機がメイン・ビデオ・データを再生することを可能にして補助データをオーバレイするために受信機にパラメータを示すための制御データを提供し、
- 送信のためのメイン配置において3Ｄビデオ・データ、補助データ及び制御データを含むデータ・トランスポート・ストリームを組み立てるためのビデオ・プロセッサを含む装置が提供され、当該ビデオ・プロセッサはさらに、
- 3Dビデオ・データの左ビュー及び右ビューにオーバレイされる補助データの補助左ビュー及び補助右ビュー、補助データの2Dバージョン、並びに、左ビュー及び右ビューにオーバレイされるときに補助データの2Dバージョンに適用される視差を示す補助視差データを提供し、
- メイン配置に対応する補助配置における2D伝送フォーマットにしたがって補助データ・ストリーム中に補助左ビュー及び補助右ビューの補助データを配置し、
- 更なる補助データ・ストリーム中に2Dバージョンの補助データを配置し、
- トランスポート・ストリーム中に、更なる補助データ・ストリーム、補助視差データ及び更なる補助データ・ストリームを示す視差フォーマット・インジケータを含める。
【００１１】
さらに、信号は、メイン配置における2D伝送フォーマットにしたがうメイン・ビデオ・データのための2Dフレーム中の左ビュー及び右ビューの3Dビデオ・データ、受信機がメイン・ビデオ・データを再生することを可能にして補助データをオーバレイするために受信機にパラメータを示すための制御データ、送信のためのメイン配置中の3Dビデオ・データ、補助データ及び制御データを含むデータ・トランスポート・ストリームを有し、当該信号はさらに、
- 3Dビデオ・データの左ビュー及び右ビューにオーバレイされる補助データの補助左ビュー及び補助右ビュー、補助データの2Dバージョン、並びに、左ビュー及び右ビューにオーバレイされるときに補助データの2Dバージョンに適用される視差を示す補助視差データ、
- メイン配置に対応する補助配置における2D伝送フォーマットにしたがう補助データ・ストリーム中の補助左ビュー及び補助右ビューの補助データ、
- 更なる補助データ・ストリーム中の2Dバージョンの補助データ、
- トランスポート・ストリーム中の、更なる補助データ・ストリーム、補助視差データ及び更なる補助データ・ストリームを示す視差フォーマット・インジケータを有する。
【００１２】
さらに、受信機は、信号を受信するための入力ユニット、及び、補助データ・ストリーム中に提供される補助配置中の補助データを破棄する一方で、更なる補助データ・ストリームから補助データを読み出して、補助データの2Dバージョン及び補助視差データに基づいて3Dビデオ・データ上のオーバレイ領域において表示するためのオーバレイデータを生成するためのビデオ・プロセッサを含む。
【００１３】
3Dビデオ情報を処理するためのコンピュータ・プログラムは、上記で定められる方法をプロセッサに実行させる。
【００１４】
制御データは、ビデオ・フォーマット(SBS、TBなど)を示す制御データ及び補助データのための視差を含む制御データの両方を有することができる。この手段は、補助データがメイン・ビデオ配置に対応する補助配置において転送されるという効果を有する。それに加えて、補助データは、左ビュー及び右ビューにオーバレイされるときに補助データの2Dバージョンに適用される視差を示す補助視差データと組み合わせて2Dバージョンで同時に転送される。補助データの前記二重の送信は、任意の受信機が、メイン・ビデオ及び補助データの組み合わせの容易な3Dレンダリングを促進する補助データのセットを読み出すことを可能にする。有利には、従来の2D受信装置及び新規な3D受信装置の両方が、補助データの二重の送信に基づいて効率的に動作することを可能にされる。さらに、補助配置中に詰め込まれる補助ビューの品質は前記詰め込みの低下した解像度に起因して制限される場合があるが、補助視差データ及び完全な解像度を有する2Dバージョンの存在によって、補助情報の高品質なレンダリングが可能になる。
【００１５】
本発明は以下の認識に基づく。１つの2Dフレーム中に左及び右ビューのメイン・ビデオ・フレームを詰め込むことによって3Dのために既存の2D送信システムを拡張する一方で、すなわち、メイン・ビデオ・データと同様の補助配置(例えばサイド・バイ・サイド)を用いることによって、補助データのための同様のソリューションが存在するように思われる。本発明者らは、この配置は、メイン・ビデオ及び補助データを最初にデコードすることによって入力メイン・ビデオを処理してそれからオーバレイする一般的なビデオ処理アーキテクチャによって処理されることができることを確認した。信号は、その時点まで2D信号のように扱われて、続いて、表示のために必要な画面解像度にスケーリングされる。2Dフレーム中に配置される3Dビューの場合、スケーリングのステップは変更される。左及び右のフレームの時系列的な表示は、それぞれの目のためのシャッタ眼鏡を介して観察されることが仮定される。最初に、左ビュー部分（例えば、SBSにおけるフレームの左半分）が取り出されて、スクリーン解像度にアップスケーリングされて表示される。次に、右ビュー部分（例えば、SBSにおけるフレームの右半分）が取り出されて、スクリーン解像度にアップスケーリングされて表示される。実際には、従来の2Dセットトップ・ボックス(STB)及び3D TVを用いるときに、このアーキテクチャが存在することができる。セットトップ・ボックスは最初に、表示されるべき、例えばHDMIのようなデジタル・インタフェースを介して転送されるべき、表示データを生成する。3D TVは、依然としてSBSフォーマットである表示データを受信する。STBは、SBSメイン・ビデオ上にSBS補助データをオーバレイする。3D TVは、共にオーバレイされたそれぞれの補助データを有する左ビュー及び右ビューを分離する。
【００１６】
しかしながら、本発明者らは、他の3D受信機では異なるアーキテクチャが存在する可能性があることを認識した。メイン・ビデオ・データが最初に分析されて、左及び右ビューが2Dフレーム・フォーマットで配置されるとき、そのようなビデオ・データは最初に2Dフレームから読み出されて分離されて、続いて、完全な左及び右ビューを再生するために(再)スケーリングされる。そして補助データの選択されたストリームは、左及び右ビューにオーバレイされることができる。ここで補助配置における補助データを用いることは、それぞれの部分を選択して、補助データをアップスケールすることのような、更なるステップを必要とする。しかしながら、(完全な解像度を有する)補助データの2Dバージョンは、更なるスケーリングを伴わずに、直接オーバレイされる。同じ補助データは、左及び右ビューの両方にオーバレイされ、視差と呼ばれる予め定められた量だけ水平位置が異なるだけである。視差は、結果として補助データの対応する深さ位置になる。補助データの2Dバージョンをオーバレイするときに、適用される視差の値は、同様にトランスポート・ストリーム中に含まれる補助視差データを介して直接利用可能である。有利には、適用される視差は、スクリーンサイズ、観察距離又は更なる観察パラメータ若しくは設定に基づいてさらに調節されることができる。3Dビデオ・データ及び補助データをレンダリングする際のさまざまな処理環境の問題の詳細な説明は、図2〜4を参照して以下で提供される。
【００１７】
さまざまなビデオ処理アーキテクチャを分析することによって、本発明者らは、まず補助データをオーバレイして続いて2Dフレームからのビューの読み出し及びスケーリングを適用するアーキテクチャにおいて2D及び視差フォーマットを処理することに問題があることを認識した。オーバレイする更なるステップがそのようなアーキテクチャに追加されなければならず、それは相当な更なる処理ハードウェアおよび/またはソフトウェアを必要とする。さらに、補助配置は結果として、補助データに対する、より低い解像度をもたらす。本発明者らは、そのような低下した解像度の影響を調査し、3Dにおけるメイン・ビデオは低下した解像度によってそれ程妨げられないが、グラフィカル・オブジェクト又は字幕のような、補助データに対してはより認識されるように見えた。提案されたソリューション、すなわち、トランスポート・ストリーム中の補助配置中及び補助視差データを有する2Dバージョン中の両方に補助データを含めることによって送信システムを変更することは、首尾良く、多くの場合にソフトウェア・アップデートを介して2D処理装置のアップグレードを可能にしつつ、実際に使用されるビデオ処理アーキテクチャにおけるさまざまな問題及び短所を除去する。
【００１８】
最後に、同じ補助データの第２バージョンを追加することによってトランスポート・ストリームを介して転送されるデータ量を拡大することは、常識に反すると考えられるかもしれないが、それでもやはり、更なるデータの相対的な少ない量、及び、効率的に3Dビデオ上に補助データをオーバレイするためにさまざまな受信機アーキテクチャに対応することにおける相当な利点からみて、許容できることが留意される。
【００１９】
3Dビデオ情報を転送するためのシステムの実施の形態において、制御データは、2Dフレーム中の左ビュー及び右ビューの3Dビデオ・データの前記配置を示す、2D伝送フォーマットの3D拡張による3Dフォーマット・インジケータを含む。これは、受信機が2Dフレーム中の3Dビデオ・データの存在及びフォーマットを直接認識するという利点を有する。
【００２０】
システムの実施の形態において、補助配置は、メイン配置を示す3Dフォーマット・インジケータによってのみ示される。補助データ・ストリームは、実際には、通常の2Dの補助データ・ストリームとは異なってフォーマットされ、一方、この差異のいかなる更なる又は変更されたシグナリング指示も存在しないことに留意する必要がある。これは、ビデオ伝送チャネル中のいかなるレガシー2Dコンポーネントも、この差異を認識せず、通常通りに補助データを見送るかまたは処理するので、有利である。さらに、本発明による新規な受信機は、メイン・ビデオ・データの配置を検出することに基づいて3D補助データに適応することができ、補助データに対応する配置を適用する。
【００２１】
システムの実施の形態において、補助視差データは、左ビュー及び右ビューにオーバレイするときにそれぞれの領域中の補助データの視差を示す、オーバレイ領域中の少なくとも１つの領域のための領域視差データを含む。これは、領域のための視差データが効率的に転送されるという利点を有する。
【００２２】
システムの実施の形態において、補助データ・ストリームはオブジェクトを含み、このオブジェクトは、オーバレイされるべきグラフィカル・オブジェクトのピクセル・データを定め、補助データ・ストリーム及び更なる補助データ・ストリームは、補助左ビュー、補助右ビューおよび/または補助データの2Dバージョン間でそれぞれの同じオブジェクトを共有するために同じオブジェクトに対するリファレンスを含む。オブジェクトは、実際のピクセル・データ、すなわち、オーバレイされるべきグラフィカル・データの低次表現を定める。実際のピクセル・データは、補助データ全体のうち比較的大きい部分を必要とする。本発明者らは、字幕の左及び右ビューが補助配置中に組み合わせられなければならないが、DVB規格の制限を維持しつつ、同じオブジェクトが両方のビュー中に用いられることができることを認識した。標準的なまたは他のシステムの更なる拡張において、2Dバージョンのコンテンツが一組で配置される左及び右補助ビューと同じなので、オブジェクトは2Dバージョンのために用いられることができる。その場合、オブジェクトは、2Dバージョン並びに補助左及び右ビューの両方に適合するようにスケーリングされることができる。有利には、オブジェクトが共有されて、それぞれのグラフィカル・オーバレイのために一度のみ送信される必要があるので、更なる補助データ・ストリームのための合計の必要とされる更なるデータ転送容量は、比較的小さい。
【００２３】
本発明による装置及び方法の更なる好ましい実施の形態は、添付の請求の範囲において与えられ、その開示は本明細書に参照として組み込まれる。特定の方法または装置の従属請求項中に定められる特徴は、他の装置または方法にも同様に適用される。
【００２４】
本発明のこれらの及び他の態様は、以下の記載において一例として説明される実施の形態及び添付の図面から明らかであり、それらを参照して更に説明される。
【図面の簡単な説明】
【００２５】
【図１Ａ】三次元(3D)ビデオ情報を転送するシステムを示す図。
【図１Ｂ】3Dビデオ・データ及び補助データを示す図。
【図２】受信装置におけるビデオ処理システムを示す図。
【図３】3Dビデオ及び補助データの配置を示す図。
【図４】補助配置の処理を示す図。
【図５】ページ構成構造を示す図。
【図６】コンポーネント記述子(の一部)を示す図。
【図７】表示定義構造を示す図。
【図８】領域構成構造を示す図。
【図９】立体視差記述子のためのセグメント・タイプを示す図。
【図１０】視差を定めるパケット化基本ストリーム(PES)データ・パケットを示す図。
【図１１】PESパケットのためのデータ識別子値を示す図。
【発明を実施するための形態】
【００２６】
図は、単に概略的であり、尺度通りに描かれていない。図において、すでに説明された要素に対応する要素は同じ参照符号を有する。
【００２７】
図1Aは、三次元(3D)ビデオ情報を転送するシステムを示す。このシステムは、ブロードキャスト・ネットワーク130を介して送信される信号104を提供する送信機100を有する。受信機110は、入力ユニット112の入力111においてブロードキャスト・ネットワークから信号を受信する。受信機は、3D表示装置120 (例えば3D TVまたは3D投射システム) に、表示データ114を提供する。受信機は、セットトップ・ボックス(STB)または衛星受信機のような別個の装置であることができる。別の態様では、デジタル・チューナ及び内蔵型3Dプロセッサを有するデジタル3D TVの様に、受信機110及び3Dディスプレイ120は、一つの装置に組み合わせられる。
【００２８】
システムは、3Dビデオ・データ及び補助データを含む3Dビデオ情報105を転送するように用意される。例えば受信機100のメイン入力101に提供される3Dビデオ・データは、少なくとも、3D効果を生成するための観察者のそれぞれの目に対して表示される左ビュー及び右ビューを含む。例えば受信機100の補助入力102に提供される補助データは、3Dビデオ・データ上のオーバレイ領域における表示のために配置される(例えば字幕)。補助データの複数のストリームが含まれることができることが留意されるべきである。
【００２９】
システムは、送信機側で、以下の機能を満たす。この機能は、送信機中のビデオ・プロセッサ103において実施されることができるが、専用のコンピュータ・プログラムに基づいてオーサリングシステムにおいても実行されることができる。
【００３０】
メイン・ビデオは、メイン配置における2D伝送フォーマットにしたがってメイン・ビデオ・データのための2Dフレーム中に左ビュー及び右ビューの3Dビデオ・データを配置することによって処理される。2Dフレームにおける3Dビデオのそのようなパッキングは、通常、フレーム・パッキングと呼ばれる。適用可能な伝送規格によって、システムは、受信機がメイン・ビデオ・データを再生することを可能にして補助データをオーバレイするために受信機にパラメータを示すための制御データを提供する。最後に、信号104中のデータ・トランスポート・ストリームは、ブロードキャスト・ネットワーク130を介した送信のためにメイン配置中の3Dビデオ・データ、補助データ及び制御データを含んで組み立てられる。
【００３１】
システムは、さらに、3Dビデオ・データの左ビュー及び右ビュー上にオーバレイされる補助データの補助左ビュー及び補助右ビューを提供すること、メイン配置に対応する補助配置における2D伝送フォーマットにしたがって補助データ・ストリーム中に補助左ビュー及び補助右ビューの補助データを配置することを含む。補助データ・ストリームは、上記のように、トランスポート・ストリーム中に含まれる。
【００３２】
実施の形態において、補助配置(例えば補助左ビュー及び補助右ビューのサイド・バイ・サイドにおける字幕)は、字幕のために利用可能なデータ空間中に適応される。DVBにおいて、表示定義セグメントにより、表示構成が設定されることができる。フルHDサービスのDVB字幕を用いるための３つのオプションが存在する。
a)グラフィック解像度が720x576であり、サービスのフルHD解像度にアップコンバートされる。
b)グラフィック解像度が720x576であり、フルHDビデオの中央に配置される。
c)グラフィック解像度が1920x1080であり、HDサービスの解像度と同じである。
a)において、スクリーンが二等分に分割されなければならないので、１つのビューは字幕のために360ピクセルのみを有する。360ピクセルはアップスケーリングによってスクリーン幅全体に拡散され、それゆえに、解像度は比較的低い。DVBに対して、オプションbによって、字幕は、(半分より小さい)左及び右ビューの小さなセクション上にのみ存在する。オプションc)は、それ自体細密である。しかしながら、用いられる最大720ピクセルの実際の表示のための領域のような、更なる制限がリストされ、１つの領域のみが水平ライン上で可能にされる(互いに隣接するいかなる領域もない)。しかしながら、必要ならばファームウェアのアップグレードの後に改善された品質レベルにおいてSbSメイン・ビデオ上にオーバレイされるSbS字幕に対応するために、少なくとも一方または両方の制限は解除されることができる。
【００３３】
更に、補助データの2Dバージョン、並びに、左ビュー及び右ビューにオーバレイされるときに補助データの2Dバージョンに適用される視差を示す補助視差データも、トランスポート・ストリーム中に含まれる。それゆえに、同じ補助データの第２のバージョンが含まれ、例えば、別個の更なる補助データ・ストリーム中に配置される。なお、有利には、同様に信号を受信するレガシー2D受信機を妨害しないために、更なる補助データ・ストリームは、2D伝送フォーマットにしたがうことができる。しかしながら、以下で説明されるように、補助視差データは、トランスポート・ストリームにおいて利用可能なデータ構造中のさまざまな位置に記憶されることができる。最後に、更なる補助データ・ストリーム、補助視差データ及び視差フォーマット・インジケータが、トランスポート・ストリーム中に含まれる。視差フォーマット・インジケータは更なる補助データ・ストリームを示し、例えば、更なる補助データ・ストリーム中の補助データの存在及び特定のフォーマットを示す。
【００３４】
上述の3Dビデオ情報105を転送するための信号104は、ブロードキャスト・ネットワーク130 (例えば公共TV伝送網、衛星ネットワーク、インターネットなど)を介して転送される。信号において、トランスポート・ストリームは、3Dビデオ情報105を表す。メイン・ビデオ・データのための2Dフレーム中の左ビュー及び右ビューの3Dビデオ・データは、メイン配置におけるDVBのような2D伝送フォーマットにしたがって配置される。それに対して、2D伝送フォーマットは、3Dビデオ情報のために用いられるデータ構造、及び、受信機がメイン・ビデオ・データを再生することを可能にして補助データをオーバレイするために受信機にパラメータを示すための対応する制御データの定義を追加することによって拡張されることができる。データ・トランスポート・ストリームは、送信のためにメイン配置における3Dビデオ・データ、補助データ及び制御データを含む。信号は、上述のように、補助左及び右ビュー、補助データの2Dバージョン並びに補助視差データを更に備える。補助左ビュー及び補助右ビューの補助データは、メイン配置に対応する補助配置における2D伝送フォーマットにしたがって補助データ・ストリーム中にパッケージ化され、2Dバージョンの補助データは、更なる補助データ・ストリーム中にパッケージ化される。トランスポート・ストリームは、更なる補助データ・ストリーム、補助視差データ、及び、更なる補助データ・ストリームを示す視差フォーマット・インジケータを含む。
【００３５】
受信機110は、上述のようにブロードキャスト・ネットワークから信号を受信するための入力ユニット112を有する。補助データ・ストリーム中に提供される補助配置における補助データを破棄する一方で、更なる補助データ・ストリームから補助データを読み出すために、トランスポート・ストリームが読み出されてビデオ・プロセッサ113に接続される。詳細に以下で説明されるように、ビデオ・プロセッサはさらに、補助データの2Dバージョン及び補助視差データに基づいて3Dビデオ・データ上のオーバレイ領域中に表示するためのオーバレイデータを生成する。
【００３６】
図1Bは、3Dビデオ・データ及び補助データを示す。ビデオ・データは、左ビュー150及び右ビュー151を有する。両方のビューは、補助情報のオーバレイを有するように示される。左ビューは、補助データ160(水平開始位置Xに示されるRed and greenという字幕)を有し、右ビューは、補助データ161(すなわち水平開始位置X-nに示される同じ字幕)を有する。値nは、字幕の左バージョンと右バージョンとの間の視差を表す。図は、水平オフセットnが字幕の深さを設定するために適用されるが、ビデオ上に2D字幕が合成されるフィルムにおけるステレオ・フレームの表現として、立体画像を示す。
【００３７】
立体視ビデオを放送するための主要なコンテンツ・デリバリー・プラットホームのうちの１つは、一般的なデジタル・テレビジョン・チャネルであり、本明細書において以下でデジタル放送(DVB)と呼ばれる。DVBは、音声/ビデオ、グラフィクス(字幕など)及びインタラクティブ・アプリケーション(HTML/XMLのJavaアプリケーション)のトランスポート及び関連するシグナリングのための地上、ケーブル、衛星及びモビールのためのさまざまな規格を適用する。ディスプレイ技術における現在の進歩は、大衆消費市場視聴者のための3Dビデオを導入することを可能にしている。したがって、3Dコンテンツの広範囲にわたる配信を可能にするために、DVB規格は、3Dコンテンツのブロードキャストを可能にするように拡張されるべきである。
【００３８】
3Dコンテンツは、2Dコンテンツと比較して、大幅に多くの記憶領域、帯域及び処理を必要とする。このために、最小限の更なるコストで3D経験を提供し、現在の据え付け型のセットトップボックス(STB)と互換性のあるソリューションが研究されている。調査されているソリューションのうちの１つは、2Dフレーム中に立体画像の左ビュー及び右ビューをパッキングするフレームによって、3Dを再生することができるように既存の高度なセットトップ・ボックスを拡張することである。
【００３９】
立体視ビデオは、さらに、字幕のような立体視補助データを必要とする。本明細書において、字幕は、補助データの一例として用いられる。補助データは、更に、メイン・ビデオにオーバレイされる任意のタイプの付加的なグラフィカル・データであることもできる。ステレオ・ビデオ上の字幕のオーバレイは、ビデオ上の水平、垂直及び深さ方向のどこに字幕を配置するかを決定する際の特別な注意を必要とする。適切に実行されないと、字幕オーバレイは背景ビデオと干渉する可能性があり、視覚的アーチファクトを引き起こして、字幕の境界における矛盾する深さ手がかりを生じさせる。これは、字幕の位置において字幕の深さがビデオの深さより小さいときに発生する可能性がある。字幕がビデオの一部を遮蔽し、それで、脳は、字幕がビデオの前にあると予想する。さらに、字幕がビデオ上にコピーされるので、字幕がビデオに穴をあけるように見えて、字幕の境界でアーチファクトを生じさせる。
【００４０】
字幕の正しい配置は、立体視字幕の左及び右画像の視差を変更し、視差または「深さ」がビデオの深さより観察者に近いことを確実にすることによって、実行されることができる。このようにして字幕の視差を調節することの短所は、オーサリングの間の画像の処理を必要とし、それは、立体視字幕の使用を必要として、これは帯域及び再生装置における処理を倍増させることである。
【００４１】
他のアプローチは、2D字幕を用いて、立体視ビデオの左画像及び右画像の両方の上に字幕をコピーすることある。これは、立体視ビデオの左画像部分上に字幕をコピーして、立体視ビデオの右画像部分上にそれをコピーする前に水平方向にそれを移動させることによって、機能する。左ビューと右ビューとの間のオブジェクトの水平移動の量(通常、視差と呼ばれる)は、字幕の深さを決定し、この値は、字幕の位置におけるビデオの視差より大きいべきである。
【００４２】
DVBに基づくシステムのために立体視字幕を実施することに関する問題は、既存の2Dビデオ配信チェーンとの互換性である。１つのオプションは、ビデオと同じパッキング・フォーマット(例えばトップ・ボトム、サイド・バイ・サイドなど)を用いる立体視字幕を用いることである。そのようなパッキングは、本明細書において補助配置と呼ばれる。
【００４３】
図2は、受信装置におけるビデオ処理システムを示す。装置は、例えばデジタル・テレビセットまたはセットトップ・ボックスであることができる。入力ユニット201は、例えばケーブル・ネットワーク、サテライトディッシュなどからビデオ放送信号を受信するための復調装置を含む。復調装置は、入力信号からトランスポート・ストリームを読み出し、トランスポート・ストリームからさまざまなデータ・ストリーム及び制御データを読み出すために、逆スクランブル装置を含むことができる逆多重化ユニット202に接続される。データ・ストリームは、ビデオ及び音声データをデコードするための主復号器203に接続され、補助データ及び制御データをデコードするための補助復号器204に接続される。復号器及び更なる素子は、中央処理ユニット(CPU)、グラフィックス・プロセッサ206、メモリ207及び出力段208に、例えばHDMIまたはLVDSなどに従って、システム・バス209を介して接続される。
【００４４】
いくつかの実施態様において、ビデオ及び字幕の処理パイプラインは異なり別々である。処理及び高帯域動作(例えばA/V復号化及びグラフィック処理(フィルタ動作など))は、専用のASICにおいて実行され、一方、低帯域情報(例えば字幕)の処理は、低電力汎用プロセッサによって実行される。処理パイプラインの最後の最後まで、字幕及びビデオは組み合わせられない。
【００４５】
いくつかの実施態様において、図200中のブロックのいくつかが１つのハードウェアユニット中に組み合わせられるので、いくつかの予見不能の問題は、3Dビデオと組み合わせて字幕を収容することに関して発生する可能性がある。
【００４６】
字幕のためのシグナリングが存在せず字幕が2Dである場合、再生装置は、字幕がビデオの左側及び右側の両方にコピーされるべきであると仮定し、そのような場合、字幕は、スクリーン深さに位置し、字幕の位置のステレオ・ビデオがスクリーンから出てくる場合、ステレオ・ビデオに干渉する可能性がある。ステレオ字幕がビデオの前にみえるように左字幕と右字幕との間の適切な視差を有する立体視字幕を用いることが提案される。字幕に対して、2Dのための既存の配信チェーンにおいて字幕を送信することを可能にするために、ビデオのために用いられるのと同じパッキング方法が用いられる。先に述べたように、補助データは、3Dビデオ・データのメイン配置に対応する補助配置中にパッキングされる。
【００４７】
図3は、3Dビデオ及び補助データの配置を示す。図は、立体視ビデオの左ビュー301及び右ビュー302を示す。ビュー301,302は、１つの2Dフレーム303中にぴったり入るように、水平方向に50%サブサンプリングされる。メイン配置のパッキング方法は、サイド・バイ・サイド(SBS)と呼ばれる。トップ・ボトム又はチェッカーボードのような他の配置も可能である。同じ配置は、左ビュー304及び右ビュー305中の字幕に適用され、補助配置306をもたらす。そして、メイン配置及び補助配置の両方は、受信装置(例えばセットトップ・ボックスのような再生装置または集積化された受信機を有するTV)に送信される。
【００４８】
集積化された受信機を有する再生装置(例えば3D動作可能なTV)の実施の形態において、ビデオ・プロセッサ・アーキテクチャは図2のようであることができ、ブロック206及び203は１つのASIC中に集積化される。最初に、本発明を適用することのないそのような実施の形態の動作不良が議論される。ASICにおいて、SBSビデオ・フレーム307は、左部分308及び右部分(図示せず)に分割される。最初に、左部分がコピーされて、フレームバッファにコピーされる前に元のサイズ309へとアップスケールされる。実施の形態において、字幕は、ブロック205(CPU)によって処理され、ビデオ上にフレームバッファ中でコピーされる。左フレームに対する不当な結果が図310に示され、字幕が追加される前にスケーリング及び処理がビデオに実行されるので、組み合わされた左及び右のSBS字幕は両方とも左フレーム上に終わる。同じことが右のフレームに対して起こる可能性がある。
【００４９】
上記の不当な結果を回避するために、再生装置の実施の形態は、変更された処理順序を備える。SBSビデオ及び字幕の左画像部分及び右画像部分がフレームバッファへコピーされて元のサイズにスケーリングされる前に、SBS字幕はSBSビデオ上へコピーされる必要がある。
【００５０】
図4は、補助配置の処理を示す。図は、上記の変更された処理順序を用いる処理を示す。最初に、A/V復号器203によってデコードされたメイン配置401におけるビデオが示され、それはフレームメモリにコピーされる。補助配置404中の字幕は、データ復号器204によってデコードされ、続いて、CPU205によって、フレームメモリ中のビデオ画像上にコピーされる。そして、立体視出力の左フレームのために、グラフィクス・プロセッサ206は、矩形402によって示されるように、ビデオと字幕が組み合わされたフレームメモリの左部分をコピーする。続いて、グラフィックス・プロセッサ206は、元のサイズへと前記左部分をスケーリングして、その結果を出力フレームバッファにコピーする。結果として生じる左ビュー403が示される。
【００５１】
なお、出力上の字幕の品質は、左ビュー403に見られるように制限される。これは、字幕が、送信されて再生装置において通常サイズにアップスケールされる前に、50%サブサンプリングされているので、道理にかなう。そのうえ、一般的に利用可能な再生装置において、システム・バス209の帯域がASICへ及びASICからメモリへビデオ画像データを頻繁にコピーすることをサポートするほど十分高くない場合があるので、字幕をビデオと一緒に処理されることを可能にするために処理ステップの順序を変えることは容易ではない。したがって、この設定は正しい字幕を提供するが、それがすべての状況において満足であるというわけではない。
【００５２】
上記の問題は、字幕及びビデオが異なる再生装置において処理される態様における差異のために発生する。改善された字幕及び効率的な処理に対応するために、補助配置における立体視字幕を用いるのみでなく、再生装置が深さ矛盾によって引き起こされるアーチファクトを伴わずにステレオ・ビデオ上に字幕をどのように合成するのかを決定することができるように、さらにストリーム中に2D字幕及びシグナリングを提供することが提案される。
【００５３】
DVBシステムのような実際のシステムにおいて、グラフィック又はテキスト（例えば字幕）を送信するためのいくつかの態様が存在する。最も一般的なものは、DVB字幕規格(ETSI EN 300 743)または放送プロファイルMHEG-5(Multimedia & Hypermedia Experts Group; ETSI ES 202 184)に記述されるような更なるデータを用いることである。シグナリング・パラメータは、DVB-SI規格(DVB Specification for Service Information; ETSI EN 300 468)において定義されるように送信されることができる。そのようなシステムは、DVB準拠の再生装置の既存のハードウェア・プラットフォームの変更を必要としない態様で立体視ビデオ上へグラフィクス(例えば字幕)をどのようにオーバレイするのかを示すためのソリューションを必要とする。下記のセクションにおいて、補助データ及び補助視差のフォーマットを通知するためのさまざまなオプションが議論される。
【００５４】
DVB準拠のセットトップ・ボックスまたはTVにおいて、字幕は、送信されるシグナリング・パラメータを検出して解釈する処理をする低電力汎用プロセッサによって、ビデオとは別々に処理される。したがって、適切なソリューションは、ビデオ基本ストリーム中でのシグナリングとは対照的に、字幕ストリーム内でまたは字幕シグナリング中で視差シグナリングを伝達することである。
【００５５】
DVB字幕規格は、テキストまたはグラフィック・オブジェクトの位置決めを通知するためのセグメントと呼ばれる３種類のシグナリング情報を定める。表示定義セグメントは、意図された表示サイズを通知する。ページ構成は、テキスト及びグラフィクスがどのようにビデオ・フレームに配置されるかについて通知する。領域構成セグメントは、２つの重ならない領域にフレームを分割する。テキストまたはグラフィクスを含むオブジェクトは、異なるページ及び領域において用いられることができ、再利用されることができる。
【００５６】
DVB字幕において領域がフレーム中の異なる位置に位置づけられることができるので、その領域におけるグラフィクスまたはテキストのための領域あたりの視差は異なる可能性がある。実施の形態において、補助視差は、例えばオフセット・パラメータとして、領域ごとに転送される。以下は、互換性ある態様においてこれを実行するためのオプションを記述する。
【００５７】
必要とされるオフセットの量は非常に限られる場合があり、左画像と右画像との間の100ピクセルの視差で通常十分である。シフトが対称的に実行されることができるので、視差を保持するフィールドはピクセル・シフトの半分のみを示す必要がある。したがって、ほとんどの目的に対して6ビットで十分であるはずである。
【００５８】
図5はページ構成構造を示す。図は、フィールドのシーケンスにおいてページ構成構造50を表すテーブルを示す。セグメント・タイプ及びセグメント長さが示され、この構造が適用されるページはフィールトpage_idに示される。実施の形態において、視差データの存在は、更なるフィールドreserved A 51中に示される。
【００５９】
実施の形態において、補助視差データは、左ビュー及び右ビューにオーバレイされるときのそれぞれの領域における補助データの視差を示すオーバレイ領域中の少なくとも１つの領域のための領域視差データを含む。図5のテーブルは、Whileループにおける複数の領域のための定義を示す。領域ごとに、フィールドRegion_idにおける識別子並びに水平及び垂直アドレス・フィールドにおける位置が提供される。
【００６０】
実施の形態において、補助データ・ストリームは、オーバレイ領域に表示される補助データのページの構成を定めるページ構成構造50を含む。ページ構成構造50は、それぞれの領域の位置及び領域視差データを定める少なくとも１つの領域定義53を有する。
【００６１】
図7における表示定義セグメント及び図8における領域構成セグメントに注目すると、少数のビットのみが利用可能であり、視差フィールドを正確に示すためには十分ではないことが分かる。しかしながら、図5に示されるページ構成セグメントにおいて、領域ごとにループが存在し、このループは、領域定義のシーケンス53を定める。領域ごとのこのループにおいて、フィールドreserved B 52中に予約される8ビットが存在する。8ビットは、その領域のために適用された視差またはオフセットを示すために十分である。補助視差の値は、更なるフィールドreserved B 52中に示される。このフィールドにおいて、(左ビューを左にシフトし、右ビューを右にシフトする)正の視差のための0-127によって、及び、(左ビューを右にシフトし、右ビューを左にシフトする)負の視差のための128-255によって、Subtitle_disparityが表されることができる。
【００６２】
字幕視差を受信することに加えて、再生装置は、どの字幕ストリームが視差データを伝達するかを認識することが可能である必要がある。DVBの実施の形態において、プログラム・マップ・テーブルが用いられる(サービス情報のためのDVB規格; ETSI EN 300 468)。プログラム・マップ・テーブルまたはPMTは、どのストリームがブロードキャスト中のプログラムの一部であるかを定める。PMTは、どのデータが各々のストリーム中に存在するかを再生装置が知るように、さまざまなストリームを記述するためのいわゆる「コンポーネント記述子」を含む。
【００６３】
図6は、コンポーネント記述子(の一部)を示す。図は、ストリームのコンテンツを定めるコンポーネント記述子テーブル60を示す。ストリーム・コンテンツ・フィールドは、データのタイプを特定する(例えばビデオのための0、音声のための1及び字幕データのための2)。component_type 61はフォーマットを示し、字幕の場合には、どの種類の字幕であるかを示す（例えば、21:9ディスプレイのための字幕、又は、難聴者のためを目的とした字幕）。値の全リストは、ETSI EN 300 468のテーブル26中に見つけることができる。字幕ストリームが視差データを伝達することを示すために、新たなコンポーネント・タイプ値例えば（0x14）が含まれることができる。それゆえに、トランスポート・ストリームにおいて、更なる補助データ・ストリームが含まれ、新たなコンポーネント・タイプ値が更なる補助データ・ストリームを示す視差フォーマット・インジケータを提供する。なお、視差フォーマット・インジケータは、あるいは、トランスポート・ストリーム中にそれぞれの制御データを追加するかまたは修正することによって、異なる態様で提供されることができる。
【００６４】
実施の形態において、トランスポート・ストリームの制御データは、2D伝送フォーマットの3D拡張による3Dフォーマット・インジケータを含む。3Dフォーマット・インジケータは、2Dフレームにおける左ビュー及び右ビューの3Dビデオ・データの前記メイン配置を示す。2D伝送規格の例は、以前に言及された規格ISO/IEC 14496-10である。改正において、例えば、空間インタリーブを示す新たな補足拡張情報(SEI)メッセージにおいて、3Dフォーマット・インジケータが規格に追加されることができる。3Dフォーマット・インジケータはさらに、補助情報のフォーマットを定めることができる。
【００６５】
更なる実施の形態において、補助配置は、メイン配置を示す3Dフォーマット・インジケータによってのみ示される。したがって、基本的にメイン配置を定める3Dフォーマット・インジケータ以外に、補助配置を明示的に示すトランスポート・ストリーム中に含まれる更なる制御情報は存在しない。更なるインジケータが存在しない場合、受信機は、補助情報がメイン配置に対応する補助配置を有するはずであると仮定しなければならない。
【００６６】
なお、3D動作可能ではない既存の再生装置は、図6において定義されるような新たなコンポーネント・タイプを認識せず、したがって、2D字幕ストリーム及び2Dビデオを用いる。したがって、ビデオ及び字幕がサイド・バイ・サイドまたはトップ・ボトムとしてフォーマットされる場合、これは、そのようなレガシー装置(例えば3D TVに接続される既存のHD動作可能なセットトップ・ボックス) において機能する。STBは字幕を正しくオーバレイし、一方、3D TVは画像を分割して、左及び右ビューをアップスケールする。
【００６７】
図7は、表示定義構造を示す。図は、フィールドのシーケンスで表示定義構造70を表すテーブルを示す。セグメント・タイプ及びセグメント長が示され、この構造が適用されるページがフィールドpage_idに示される。この構造は、フィールドdisplay_windowにおいて定義されるような、補助データのページのためのオーバレイ領域を定め、オーバレイ領域の位置を定める。数ビットのみが、予約されたフィールド71において補助データ配置を示すために利用可能である。
【００６８】
変形例において、表示定義セグメントにおける更なるフィールドが定められる。実施の形態において、補助データ・ストリームは、表示定義構造70を含む。更なるフィールドにおいて、オーバレイ領域に適用される補助視差データが定められる。
【００６９】
図8は、領域構成構造を示す。図は、フィールドのシーケンスで領域構成構造80を表す領域構成セグメント・テーブルを示す。セグメント・タイプ及びセグメント長が示され、この構造が適用されるページがフィールドpage_idに示される。複数のフィールドにおいて、数ビットが補助データ配置を示すために利用可能であり、特に、フィールドreserved-1 81において3ビット、フィールドreserved-2 82において2ビット、フィールドreserved-3 83において2ビット及びフィールドreserved-4 84において4ビットが利用可能である。
【００７０】
領域構成セグメントにおいて視差フォーマットを定めるために、図8に示される領域構造セグメントは、下部のオブジェクト定義のシーケンス85において定められるようにオブジェクトごとに４つの予約ビットを有し、各オブジェクトはフィールドreserved-4を有する。これはそれ自体、視差を示すのに十分である。しかしながら、代わりに、これらは、ピクセル精度で、領域の位置に対するオブジェクトごとのオフセットまたは視差を示すために用いられることができる。
【００７１】
領域構成セグメント・テーブル80の残りにおいて、いくつかの他の予約フィールドが存在する。これらの他の予約フィールド81,82,83は、領域ごとのオフセットを示すために用いられることができる。これは、フィールド81中の３つの予約ビットを用い、例えば２つのピクセル精度であり、精度が低く、一方、フィールド82中の2ビットはオフセットの符号を示し、フィールド83中の2ビットは領域セグメントがオフセットフィールドを含むことを示す。
【００７２】
他の代わりの実施の形態は、新たなセグメント・タイプ、立体視差記述子を定めることである。新たなセグメント・タイプによって、予約フィールドを用いることに制限されない。
【００７３】
図9は、立体視差記述子のためのセグメント・タイプを示す。図はテーブル90を示す。新たなセグメント・タイプ(視差セグメントと呼ばれる)は、図7及び8に示されるような他のセグメントのように(ETSI EN 300 743から知られるような)対応するフィールドを有する。第１の新たなフィールド91において、字幕視差値が提供される。Subtitle_disparityは、（左ビューを左にシフトし、右ビューを右にシフトする）正の視差のための0-127、及び、（左ビューを右にシフトし、右ビューを左にシフトする）負の視差のための128-255によって示されることができる。更なる新たなフィールドにおいて、On Screen Displayデータの視差のための第２の新たなフィールド92のような、他の視差値が提供されることができる。
【００７４】
OSD_disparityは、字幕視差と同じ定義を用いることができるが、任意のOSDをどこに配置するかを決定するための再生装置に対する手がかりとして、コンテンツ作成者によって用いられることができる。値0及びFFは、補助データが存在しないことを示すことができる。
【００７５】
他の実施例において、On-screen -Display(OSD)を取り扱うことが議論される。通常の動作の間、受信機は、ユーザ、CIシステムまたはブロードキャスト・チャネルによって引き起こされるイベントに応答してユーザにいくつかの種類のOn Screen Displayメッセージ(OSD)を表示しなければならない場合がある。3D送信の間、誤ったスクリーン深さに同じOSDを表示すると、それが読めなくなる場合がある。3D送信の間、受信機がOSDをどの深さに配置すべきかを知り、適切な深さが見つけられない場合には、受信機がビデオ全体を「後方に」シフトするか又は2Dに切り替えることができることが重要である。受信機が送信について必要とする情報は、3D画像の「ボリューム」であり、それは、「最小及び最大」視差に関して表現されることができる。「最大」視差はユーザから離れる距離であって、大きい正の数値であり、「最小」視差はユーザに向けての距離であって、大きい負の数である。最小視差は、そのOSDがユーザにさらにより近いことを保証するために、受信機によって用いられることができる。しかしながら、それがあまりに近くなる場合、受信機が、スクリーンの後方へとビデオ全体を後ろにシフトすることを選択することができるように最大視差が用いられることができる。しかしながら、受信機は「無限遠」を越えてビデオをシフトすることができないので、その場合には、受信機はビデオを2Dに切り替えることを選択することができる。最小及び最大視差をどこに伝達するかの選択において、放送装置の能力が考慮されなければならない。放送装置は、間違いなくライブの送信の間、リアルタイムで、送信の正確な最小及び最大視差を、これらが非常に高速に変化するので、決して送信することができない。また、実験から、OSDは、特にそれが単に数分間一定であるメッセージを伝達する場合、急激に視差を変えるべきでないことが分かっている。放送装置能力及び可読性に基づいて、最小及び最大視差の論理的位置はEIT中であり、または、サービスが常に3Dである場合、SDT中である。サービスが2Dと3Dとの間で切り替わる場合またはイベントが視差範囲を大きく変更する場合、EITが適切な位置である。サービスが常に3Dであり、放送装置がそれ自体を特定の視差範囲に保つ場合、SDTがより良い位置である。サービスが必ずしも3Dではない場合にのみ、PMTもまた可能な位置であるが、それが変化する場合、それは多くのイベントの後、基本的にPMTバージョン更新を引き起こす「ストリーム・タイプ」変化の間変化する。
【００７６】
ここで、OSD表示を処理するための実施の形態の詳細な態様を与える。なお、OSD処理を実施するためのこれらの手段は、字幕処理と独立に利用されることができる。受信機が適切に立体視3D上にOn-Screen-Display情報をオーバレイすることを望む場合、それは、3Dビデオの深さ範囲に関する情報を必要とする。この記述子は、ピクセル・シフトによって深さ範囲を特定する。ここで特定されるピクセル・シフトは、ビデオ解像度と共に、この記述子が含まれるイベントの間、ビデオの容量囲い（volumetric enclosure）を定める。ビデオの容積情報によって、受信機は、正しくOSD情報を示すための複数の態様を選択することができる。それは、前面にOSDを表示する前にスクリーンの後ろへと、ビデオ全体を後方にシフトすることができる。それは、容積があまりに大きくて、2Dで実行する必要があることを決定することができる。それはさらに、ビデオの深さに影響を与えることなく前面にOSDを単に配置するのに十分に容量が小さいことを決定することができる。
【表１】
0005960133.tif 000002
重要なフィールドは、「最遠」に対応する最大の水平シフトを特定するMaximum_horizontal_shiftであり、一方、minimum_horizontal_shiftは、「最も近い」オブジェクトに対応する最も小さい水平シフトを特定する。例えば、水平シフト値は、各々のビューにおける水平方向でのピクセルの数で水平シフトを示す。ゼロの値は、シフトが適用されないことを意味する。水平シフト値が負である場合、全ての特定されるピクセルは、左ビューにおいて右に、そして右ビューにおいて左にシフトされる。水平シフト値が正である場合、全ての特定されるピクセルは、左ビューにおいて左に、そして右ビューにおいて右にシフトされる。ピクセルのサイズは、ビデオによってPESレベルで特定されるような、ピクセルの水平表示幅のうちの１つである。しかしながら、他の単位(例えばスクリーンサイズのパーセンテージ)が考慮されることができる。
【００７７】
視差セグメントを記述する実施の形態に戻って、更なる実施の形態において、視差セグメントは、すなわち、補助視差データと共に2D字幕を有するビデオ・データ・ストリームにおいて、字幕視差を伝達するために適用され、これは、同じ字幕の補助配置を提供することと組み合わせられても組み合わせられなくてもよい。そのような視差セグメントがパケット化基本ストリーム(PES)中にあるので、多くの異なるものが毎秒送信されることができる。別の態様では、視差セグメントは、スタート・タイミングに対する間接的なまたは明示的な関連するタイミング情報と共に視差のリストを含むことができる。有利には、非常にダイナミックな視差の制御が達成される。図9に示されるように、視差セグメントは、字幕視差情報を含み、さらにOSD視差を含むことができる。セグメントは、特定の領域および/またはオブジェクトの視差を特定するために拡張されることができる。そのような視差セグメントにおいて、領域は、それぞれのregion_idを介して特定される。実際の領域のpage_idは、新たな視差セグメントのpage_idと同じであるべきである。さらに、拡張されたセグメントにおいて、オブジェクトは、それぞれのobject_idを介して特定される。拡張された視差セグメントにおいて、各々がそれらの好ましい視差を有するオブジェクト及び領域のリストが存在することができる。補助配置に対して、深さ位置の動的な挙動は、水平位置が視差に対応するので、オブジェクトの水平位置の新たな値によってregion_composition_segmentsを更新することによって達成されることができる。
【００７８】
動的な挙動の利点は、字幕の視差(深さ)がフレームごとに更新されることができることである。これは、以下の理由のために有用である。ビデオと字幕との間の深さ矛盾は、それが実に悪影響を及ぼすので、回避されるべきである。しかしながら、考えられるあらゆる矛盾を回避するためにあまりにもスクリーンの前に字幕を配置することは、観察者に対して極めて不快感を与える。したがって、本発明者らは、字幕が滑らかに前後に動く必要性を確認した。さらに、動画を観察する間、観察者の目は、話しているキャラクタと字幕との間で切り替わる。字幕がキャラクタと異なる深さにある場合、前後に切り替えるのは大変である。したがって、字幕をキャラクタと同じ深さに配置することが最良である(深さ矛盾を回避しようと試みつつ可能な場合!)。しかし、キャラクタは深さ位置を移動させる場合があるので、字幕はそれとともに動くべきである。
【００７９】
実施の形態において、補助データ・ストリームは、オーバレイ領域に表示される補助データのページ中での領域の構成を定める領域構成構造を含み、領域構成構造は、オブジェクト構造のシーケンスを含み、それらはグラフィカル・オブジェクトの位置を定め、オブジェクト構造は、補助視差データを有する視差オブジェクトを含む。
【００８０】
新たなobject_typeは、視差データを伝達するように定められる。DVB字幕において、字幕のためのピクセル・データは、object_data_fragmentで伝達される。2D規格は、ビットマップまたはキャラクタ・オブジェクトをサポートする。これは、視差データのみを伝達する新たなオブジェクトを有する3Dのために拡張されることができる。オブジェクトのデータ・セクションは、関連するページ及び領域の視差を示す１バイトまたは関連する領域もしくはオブジェクトのピクセルごとの視差を記述する完全なビットマップから成ることができる。
【００８１】
実施の形態において、補助データ・ストリームはオブジェクトを含み、これらのオブジェクトは、例えば上記記載の通り、オーバレイされるべきグラフィカル・オブジェクトのピクセル・データを定める。補助データ・ストリーム及び更なる補助データ・ストリームは、ここで、補助左ビュー、補助右ビューおよび/または補助データの2Dバージョン間でそれぞれの同じオブジェクトを共有するために同じオブジェクトに対するリファレンスを使用する。リファレンスは、他のストリームに適用されることができ、例えば、他のストリームの対応するページを参照する相対的なアドレス指定情報を提供することができる。あるいは、両方のストリームは、１つの多重化されたストリームに組み合わせられることができる。
【００８２】
字幕のオフセットまたは視差を示すためのDVB字幕ストリームにおけるシグナリングは、適切なソリューションであるが、共に字幕のために用いられることができるMHEGまたはテレテキストのための視差シグナリングを直接提供しないという短所を有する。
【００８３】
図10は、視差を定めるパケット化基本ストリーム(PES)データ・パケットを示す。図は、PESパケットを表すテーブル95を示す。このように、パケット化基本ストリーム(PES)データ・パケットは、ISO/IEC13818-1において定められる。他の実施の形態において、例えば追加されたフィールド96に示されるような、ビデオ・フレームまたはプレゼンテーション・タイムスタンプ(PTS)ごとに視差を定めるPMTにおいて別々に通知される新たなPESデータ・パケットを定めることを提案する。この記述子に基づいて、再生装置は、字幕または図形オブジェクトにどれくらいのオフセットを適用するべきかについて決定することができる。
【００８４】
フィールドVideo_min_disparityは、このPESパケットのPTSでビデオの負の視差を示すために0-255の値を有することができる（左フレームの右へのシフト及び右フレームの左へのシフト）。Data_identifierフィールド97は、PESパケットの新たなタイプを示すことができる。新たな値は、データ識別子のために、「視差シグナリング記述子」を示すための予約フィールドのうちの１つに割り当てられることができる。
【００８５】
図11は、PESパケットのためのデータ識別子の値を示す。図は、さまざまなタイプのPESパケットを示す値を有するテーブル98を示す。データ識別子の値は、PESパケットにおいて伝達されるデータのタイプを特定する8ビット値である。新たな値が、「視差シグナリング記述子」を示すために追加される。
【００８６】
本発明は、プログラム可能なコンポーネントを用いてハードウェアおよび/またはソフトウェアで実施されることができることに留意する必要がある。本発明を実施する方法は、図1を参照して説明されるようなシステムのために定められる機能に対応するステップを有する。
【００８７】
本発明が主にDVBを介したブロードキャストを用いる実施の形態によって説明されたが、本発明は、デジタルチャネルを介した(例えばインターネットを介した)ビデオの任意の配信にも適している。明確性のための前記説明が異なる機能ユニット及びプロセッサを参照して本発明の実施の形態を記述したことはいうまでもない。しかしながら、異なる機能ユニットまたはプロセッサ間の機能のいかなる適切な分散も、本発明から逸脱せずに用いられることができることは明らかである。例えば、別々のユニット、プロセッサまたはコントローラによって実行されるために説明される機能は、同じプロセッサまたはコントローラによって実行されることができる。したがって、特定の機能ユニットに対する参照は、厳密な論理的または物理的構造または機構を示すというよりむしろ、単に説明された機能を提供するための適切な手段に対する参照と見なされるべきである。本発明は、ハードウェア、ソフトウェア、ファームウェアまたはこれらの任意の組み合わせを含む任意の適切な形態でも実施されることができる。
【００８８】
本明細書において、「有する」「含む」などの語は、挙げられたもの以外の他の要素又はステップの存在を除外せず、単数で表現された要素はそのような要素が複数存在することを除外せず、いかなる参照符号も請求の範囲を制限せず、本発明は、ハードウェア及びソフトウェアの両方によって実施されることができ、いくつかの「手段」又は「ユニット」は、ハードウェア又はソフトウェアの同じアイテムによって表現される場合があり、プロセッサは、ハードウェア要素と協働して、１つ又は複数のユニットの機能を満たすことができることが留意されるべきである。さらに、本発明は実施の形態に制限されず、本発明は、新規な特徴または上記のまたは相互に異なる従属請求項中に列挙される特徴の任意の組み合わせにもある。
【図１Ａ】
0005960133.tif 000003
【図１Ｂ】
0005960133.tif 000004
【図２】
0005960133.tif 000005
【図３】
0005960133.tif 000006
【図４】
0005960133.tif 000007
【図５】
0005960133.tif 000008
【図６】
0005960133.tif 000009
【図７】
0005960133.tif 000010
【図８】
0005960133.tif 000011
【図９】
0005960133.tif 000012
【図１０】
0005960133.tif 000013
【図１１】
0005960133.tif 000014