(57)【要約】  本発明は、3Dディスプレイでの3Dプライマリ・ビデオ信号及びセカンダリ・ビデオ信号の同時表示を可能にするための三次元(3D)ビデオ信号を生成するための方法に関し、3Dプライマリ・ビデオ信号は、ベース・ビデオ信号及び3D表示を可能にする補助信号を有し、当該方法は、セカンダリ・ビデオ信号として二次元(2D)セカンダリ・ビデオ信号を提供するステップ、及び、3Dビデオ信号を生成するためにベース・ビデオ信号、補助信号及び2Dセカンダリ・ビデオ信号をフォーマットするステップを有する。
2013513990.tif 000002
【特許請求の範囲】
【請求項１】
3Dディスプレイでの3Dプライマリ・ビデオ信号及びセカンダリ・ビデオ信号の同時表示を可能にするための3Dビデオ信号の生成方法であって、前記3Dプライマリ・ビデオ信号は、ベース・ビデオ信号及び3D表示を可能にする補助信号を有し、前記3Dビデオ信号は、多重化された形態のビデオ・ストリームであり、当該方法は、
前記セカンダリ・ビデオ信号として2Dセカンダリ・ビデオ信号を提供するステップ、
ベース・ビデオ・ストリームを生成するために前記ベース・ビデオ信号をフォーマットするステップ、
補助ストリームを生成するために前記補助信号をフォーマットするステップ、
前記ビデオ・ストリームを生成するために前記ベース・ビデオ・ストリームと前記補助ストリームとを多重化するステップ、
前記ビデオ・ストリームに前記2Dセカンダリ・ビデオ信号を含めるステップ、
を有する方法。
【請求項２】
前記ベース・ビデオ信号をフォーマットするステップが、前記ベース・ビデオ・ストリーム中に前記2Dセカンダリ・ビデオ信号を含めるために前記ベース・ビデオ信号と前記2Dセカンダリ・ビデオ信号とを多重化することを含む、請求項１に記載の方法。
【請求項３】
前記補助信号をフォーマットするステップが、前記補助ストリーム中に前記2Dセカンダリ・ビデオ信号を含めるために、前記補助信号と前記2Dセカンダリ・ビデオ信号とを多重化することを含む、請求項１に記載の方法。
【請求項４】
2Dセカンダリ・ビデオ・ストリームを生成するために前記2Dセカンダリ・ビデオ信号をフォーマットするステップをさらに有し、前記多重化するステップが、前記ビデオ・ストリームに前記2Dセカンダリ・ビデオ信号を含めるために、前記2Dセカンダリ・ビデオ・ストリームを前記ベース・ビデオ・ストリーム及び前記補助ストリームと多重化することを含む、請求項１に記載の方法。
【請求項５】
前記3Dビデオ信号にオフセット値を含めるステップをさらに有し、前記オフセット値は、前記3Dディスプレイでの前記2Dセカンダリ・ビデオ信号の表示深さを示す、請求項１に記載の方法。
【請求項６】
前記2Dセカンダリ・ビデオ信号が3Dセカンダリ・ビデオ信号から得られ、当該方法は、前記3Dセカンダリ・ビデオ信号の深さに依存して前記オフセット値を決定するステップをさらに有する、請求項５に記載の方法。
【請求項７】
前記オフセット値がオフセット値のストリームのうちの１つであり、当該方法は、付加拡張情報メッセージ中の前記3Dビデオ信号にオフセット値の前記ストリームを含めるステップをさらに有する、請求項５に記載の方法。
【請求項８】
3Dディスプレイでの3Dプライマリ・ビデオ信号及びセカンダリ・ビデオ信号の同時表示を可能にするための請求項１に記載の方法によって生成された3Dビデオ信号を処理する方法であって、前記3Dプライマリ・ビデオ信号はベース・ビデオ信号及び3D表示を可能にする補助信号を有し、前記3Dビデオ信号は前記セカンダリ・ビデオ信号として2Dセカンダリ・ビデオ信号を有し、前記3Dビデオ信号は、多重化された形態のビデオ・ストリームであり、前記ビデオ・ストリームは、前記2Dセカンダリ・ビデオ信号を有し、さらに補助ストリームと多重化されたベース・ビデオ・ストリームを有し、前記ベース・ビデオ・ストリームは、フォーマットされた形態で、前記ベース・ビデオ信号を有し、前記補助ストリームは、フォーマットされた形態で、前記補助信号を有し、当該方法は、
前記ビデオ・ストリームから前記2Dセカンダリ・ビデオ信号を抽出するステップ、
前記ベース・ビデオ・ストリーム及び前記補助ストリームを前記ビデオ・ストリームから逆多重化するステップ、
前記ベース・ビデオ信号を前記ベース・ビデオ・ストリームから逆フォーマットするステップ、
前記補助信号を前記補助ストリームから逆フォーマットするステップ、
前記3Dディスプレイでの表示深さにおける前記2Dセカンダリ・ビデオ信号の表示のための3D表示信号を提供するために、前記2Dセカンダリ・ビデオ信号を前記ベース・ビデオ信号及び前記補助信号と結合するステップ、
を有する方法。
【請求項９】
請求項１から請求項８のいずれか一項に記載の方法をプロセッサに実行させるコンピュータプログラム。
【請求項１０】
3Dディスプレイでの3Dプライマリ・ビデオ信号及びセカンダリ・ビデオ信号の同時表示を可能にするための3Dビデオ信号であって、前記3Dプライマリ・ビデオ信号はベース・ビデオ信号及び3D表示を可能にする補助信号を有し、前記3Dビデオ信号は前記セカンダリ・ビデオ信号として2Dセカンダリ・ビデオ信号を有し、前記3Dビデオ信号は、多重化された形態のビデオ・ストリームであり、前記ビデオ・ストリームは、前記2Dセカンダリ・ビデオ信号を有し、さらに補助ストリームと多重化されたベース・ビデオ・ストリームを有し、前記ベース・ビデオ・ストリームは、フォーマットされた形態で、前記ベース・ビデオ信号を有し、前記補助ストリームは、フォーマットされた形態で、前記補助信号を有する信号。
【請求項１１】
プライマリ信号コンポーネント及びセカンダリ信号コンポーネントを有し、前記プライマリ信号コンポーネントは、当該プライマリ信号コンポーネントを個別に送信するためにフォーマットされた前記ベース・ビデオ信号を有し、前記セカンダリ信号コンポーネントは、当該セカンダリ信号コンポーネントを個別に送信するためにフォーマットされた前記2Dセカンダリ・ビデオ信号を有する、請求項１０に記載の3Dビデオ信号。
【請求項１２】
請求項１０又は請求項１１に記載の3Dビデオ信号を有する情報キャリア。
【請求項１３】
3Dディスプレイでの3Dプライマリ・ビデオ信号及びセカンダリ・ビデオ信号の同時表示を可能にするための3Dビデオ信号を生成するための信号生成装置であって、前記3Dプライマリ・ビデオ信号は、ベース・ビデオ信号及び3D表示を可能にする補助信号を有し、前記3Dビデオ信号は、多重化された形態のビデオ・ストリームであり、当該装置は、
前記セカンダリ・ビデオ信号として2Dセカンダリ・ビデオ信号を提供する提供手段、及び
ベース・ビデオ・ストリームを生成するために前記ベース・ビデオ信号をフォーマットし、
補助ストリームを生成するために前記補助信号をフォーマットし、
前記ビデオ・ストリームを生成するために前記ベース・ビデオ・ストリームと前記補助ストリームとを多重化し、
前記ビデオ・ストリームに前記2Dセカンダリ・ビデオ信号を含めるためのフォーマット・ユニット、
を有する装置。
【請求項１４】
3Dディスプレイでの3Dプライマリ・ビデオ信号及びセカンダリ・ビデオ信号の同時表示を可能にするための請求項１３に記載の信号生成装置によって生成された3Dビデオ信号を処理するための信号処理装置であって、前記3Dプライマリ・ビデオ信号はベース・ビデオ信号及び3D表示を可能にする補助信号を有し、前記3Dビデオ信号は前記セカンダリ・ビデオ信号として2Dセカンダリ・ビデオ信号を有し、前記3Dビデオ信号は、多重化された形態のビデオ・ストリームであり、前記ビデオ・ストリームは、前記2Dセカンダリ・ビデオ信号を有し、さらに補助ストリームと多重化されたベース・ビデオ・ストリームを有し、前記ベース・ビデオ・ストリームは、フォーマットされた形態で、前記ベース・ビデオ信号を有し、前記補助ストリームは、フォーマットされた形態で、前記補助信号を有し、当該装置は、
前記ベース・ビデオ・ストリーム及び前記補助ストリームを前記ビデオ・ストリームから逆多重化するための逆多重化ユニット、
前記ベース・ビデオ・ストリームから前記ベース・ビデオ信号を逆フォーマットし、前記補助ストリームから前記補助信号を逆フォーマットし、前記ビデオ・ストリームから前記2Dセカンダリ・ビデオ信号を抽出するための逆フォーマット・ユニット、並びに
前記3Dディスプレイでの表示深さにおける前記2Dセカンダリ・ビデオ信号の表示のための3D表示信号を提供するために、前記2Dセカンダリ・ビデオ信号を前記ベース・ビデオ信号及び前記補助信号と結合するための結合ユニット、
を有する装置。
【請求項１５】
前記ベース・ビデオ・ストリームは、フォーマットされた形態で、前記2Dセカンダリ・ビデオ信号と多重化された前記ベース・ビデオ信号を有し、前記逆フォーマット・ユニットは、前記ベース・ビデオ信号及び前記2Dセカンダリ・ビデオ信号を前記ベース・ビデオ・ストリームから逆多重化するようにさらに用意される、請求項１４に記載の信号処理装置。
【請求項１６】
前記補助ストリームが、フォーマットされた形態で、前記2Dセカンダリ・ビデオ信号と多重化された前記補助信号を有し、前記逆フォーマット・ユニットが、前記補助信号及び前記2Dセカンダリ・ビデオ信号を前記補助ストリームから逆多重化するようにさらに用意される、請求項１４に記載の信号処理装置。
【請求項１７】
前記ビデオ・ストリームが、前記ベース・ビデオ・ストリーム及び前記補助ストリームと多重化された2Dセカンダリ・ビデオ・ストリームを有し、前記2Dセカンダリ・ビデオ・ストリームが、フォーマットされた形態で、前記2Dセカンダリ・ビデオ信号を有し、前記逆多重化ユニットが、前記2Dセカンダリ・ビデオ・ストリームを逆多重化するようにさらに用意され、前記逆フォーマット・ユニットが、前記2Dセカンダリ・ビデオ・ストリームから前記2Dセカンダリ・ビデオ信号を逆フォーマットするようにさらに用意される、請求項１４に記載の信号処理装置。
【請求項１８】
前記3Dビデオ信号が、前記3Dディスプレイでの前記2Dセカンダリ・ビデオ信号の前記表示深さを示すオフセット値をさらに有し、前記結合ユニットが、前記オフセット値に依存して、前記2Dセカンダリ・ビデオ信号を前記ベース・ビデオ信号及び前記補助信号と結合するようにさらに用意される、請求項１４に記載の信号処理装置。
【請求項１９】
前記3Dビデオ信号がグラフィック信号をさらに有し、前記オフセット値が、前記3Dディスプレイでの前記グラフィック信号の表示深さを示す、請求項１８に記載の信号処理装置。
【請求項２０】
前記オフセット値が、付加拡張情報メッセージ中の前記3Dビデオ信号に含まれるオフセット値のストリームのうちの１つである、請求項１８に記載の信号処理装置。
【請求項２１】
前記3D表示信号を表示するための前記3Dディスプレイ、放送から前記3Dビデオ信号を受信するための放送受信機、インターネットから前記3Dビデオ信号を受信するためのインターネット受信機及び情報キャリアから前記3Dビデオ信号を読み取るための読取装置のうちの少なくとも１つをさらに有する、請求項１４に記載の信号処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、3Dディスプレイでのプライマリ・ビデオ信号及びセカンダリ・ビデオ信号の同時表示を可能にするための三次元(3D)ビデオ信号の生成に関する。本発明はさらに、前記3Dビデオ信号を処理することに関する。
【背景技術】
【０００２】
動画が次第に3Dで記録されるようになり、3Dディスプレイが市場に登場してきているので、消費者による3Dビデオの再生を可能にする3Dビデオ信号フォーマットを規格化することが望ましい。したがって、規格化のためのさまざまな努力が行われている。例えば、ブルーレイ・ディスク協会は、3Dをブルーレイ・ディスク・フォーマットに組み込むための計画を公表しており、MPEGは、3Dビデオ信号の符号化、復号化、送信及び記憶のための規格を開発している。
【０００３】
さらにまた、現在、長年の間、Picture-in-Picture (PiP)機能が、２つ以上のビデオ信号の同時表示又は再生を可能にするためにディスプレイ及び再生装置中に組み込まれている。例えば、テレビは、同時に２つのビデオ信号を受信することが可能であり、PiP機能を用いて、ビデオ信号のうちの一方を表示するインセット・ウインドウ（inset window）を提供することができ、それによって、このウィンドウは、他方のビデオ信号を表示する他のフルスクリーン・ウインドウの一部を覆う。同様に、セットトップ・ボックスは、同時に２つのビデオ信号を受信することができて、テレビでの表示のためのインセット・ウインドウを含む出力ビデオ信号を生成することができる。
【０００４】
PiP機能は、テレビ視聴者が同時に２つ以上のビデオ信号を観察することを可能にする。例えば、視聴者は、一時的に他のチャネルを観つつ、１つのチャネルのコマーシャルの終了をモニタリングすることを好む場合がある。両方のビデオ信号のコンテンツが互いに関連している場合もある。例えば、フルスクリーン・ウインドウはサッカー試合の第１カメラ視野を表示することができ、そしてインセット・ウインドウは同じサッカー試合の第２カメラ視野を表示することができる。実際、本発明は特に、互いと関連がある同時に表示されるビデオ信号に関する。
【０００５】
PiPによって提供されるインセット・ウインドウの次に、２つ以上のビデオ信号の同時表示を可能にするためのさまざまな他の空間構成が知られている。例えば、２つのビデオ信号は、別途Picture-and-Picture (PAP又はP&P)として知られるサイド・バイ・サイドで表示されることができ、あるいは、４つのビデオ信号がクワッド・ピクチャ・モードで表示されることができる。しかしながら、本発明の説明を容易にするために、同時に２つ以上の関連したビデオ信号を表示するための任意の空間構成は以後PiPと呼ばれる。
【０００６】
PiP機能は、例えばブルーレイ・ディスクに含まれるビデオ・ストリームのような適切なビデオ・ストリームによって提供されることもできる。動画の製作者は、例えば監督又は役者のビデオ解説を含むインセット・ウインドウを提供するために、PiP機能を用いることができる。視聴者は、フルスクリーン・ウインドウに表示されている動画の背景的事項について知るために、このビデオ解説を有効にすることができる。このように、動画及び解説(すなわちプライマリ及びセカンダリ・ビデオ信号)は、ディスクに記憶されるビデオ・ストリーム中に含まれる。
【０００７】
特に消費者がPiP機能を有する二次元(2D)ビデオ信号に慣れているようになったので、PiP機能を有する3Dビデオ信号を提供することが望ましい。
【０００８】
前記3Dビデオ信号中にPiP機能を提供するための既知の方法は、3Dプライマリ・ビデオ信号の隣に3Dセカンダリ・ビデオ信号をさらに提供することである。より具体的には、WO 2008/038205は、3Dディスプレイでの同時表示のための3D画像情報及びセカンダリ3D画像情報を受信するシステムを開示し、画像情報は例えば光学記録担体又はインターネットから受信される。したがって、受信されている3Dビデオ信号は、3Dプライマリ・ビデオ信号の隣に3Dセカンダリ・ビデオ信号を提供することによって、PiP機能を提供する。
【発明の概要】
【発明が解決しようとする課題】
【０００９】
上記の3Dビデオ信号の問題は、そのビットレートが比較的高いことである。3Dビデオ信号の比較的高いビットレートの結果として、3Dビデオ信号を送信するために必要とされる帯域も比較的広い。同様に、3Dビデオ信号を記憶するために必要とされる記憶容量が比較的大きい。最後に、その3Dビデオ信号を符号化及び復号することは、一般的に、比較的多くの計算リソースを必要とする。
【課題を解決するための手段】
【００１０】
3Dディスプレイでのプライマリ・ビデオ信号及びセカンダリ・ビデオ信号の同時表示を可能にする、より小さいビットレートを有する3Dビデオ信号を提供することが本発明の目的である。
【００１１】
本発明の第１の態様において、この目的は、3Dディスプレイでの3Dプライマリ・ビデオ信号及びセカンダリ・ビデオ信号の同時表示を可能にするための3Dビデオ信号を生成するための方法が提供される点において実現され、3Dプライマリ・ビデオ信号は、ベース・ビデオ信号及び3D表示を可能にする補助信号を含み、3Dビデオ信号は多重化された形態のビデオ・ストリームであり、当該方法は、セカンダリ・ビデオ信号として2Dセカンダリ・ビデオ信号を提供するステップ、ベース・ビデオ・ストリームを生成するためにベース・ビデオ信号をフォーマットするステップ、補助ストリームを生成するために補助信号をフォーマットするステップ、ビデオ・ストリームを生成するために補助ストリームとベース・ビデオ・ストリームを多重化するステップ、及び、ビデオ・ストリーム中に2Dセカンダリ・ビデオ信号を含めるステップを有する。
【００１２】
本発明の更なる態様において、3Dディスプレイでの3Dプライマリ・ビデオ信号及びセカンダリ・ビデオ信号の同時表示を可能にするために、上記の方法によって生成されることができる3Dビデオ信号を処理するための方法が提供され、3Dプライマリ・ビデオ信号は、ベース・ビデオ信号及び3D表示を可能にする補助信号を含み、3Dビデオ信号は、セカンダリ・ビデオ信号として2Dセカンダリ・ビデオ信号を含み、3Dビデオ信号は、多重化された形態のビデオ・ストリームであり、ビデオ・ストリームは、2Dセカンダリ・ビデオ信号を含み、さらに補助ストリームと多重化されたベース・ビデオ・ストリームを含み、ベース・ビデオ・ストリームは、フォーマットされた形態で、ベース・ビデオ信号を含み、補助ストリームは、フォーマットされた形態で、補助信号を含み、当該方法は、ビデオ・ストリームから2Dセカンダリ・ビデオ信号を抽出するステップ、ベース・ビデオ・ストリーム及び補助ストリームをビデオ・ストリームから逆多重化するステップ、ベース・ビデオ信号をベース・ビデオ・ストリームから逆フォーマットする（de-format）ステップ、補助ストリームから補助信号を逆フォーマットするステップ、並びに、3Dディスプレイ上の表示深さにおける2Dセカンダリ・ビデオ信号の表示のための3D表示信号を提供するためにベース・ビデオ信号及び補助信号と2Dセカンダリ・ビデオ信号とを結合するステップを有する。
【００１３】
本発明の更なる態様において、プロセッサ・システムに前記方法のいずれかを実行させる命令を有するコンピュータプログラムが提供される。
【００１４】
本発明の更なる態様において、3Dディスプレイでの3Dプライマリ・ビデオ信号及びセカンダリ・ビデオ信号の同時表示を可能にするための3Dビデオ信号が提供され、3Dプライマリ・ビデオ信号は、ベース・ビデオ信号及び3D表示を可能にする補助信号を含み、3Dビデオ信号は、セカンダリ・ビデオ信号として2Dセカンダリ・ビデオ信号を含み、3Dビデオ信号は、多重化された形態のビデオ・ストリームであり、ビデオ・ストリームは、2Dセカンダリ・ビデオ信号を含み、さらに補助ストリームと多重化されたベース・ビデオ・ストリームを含み、ベース・ビデオ・ストリームは、フォーマットされた形態で、ベース・ビデオ信号を含み、補助ストリームは、フォーマットされた形態で、補助信号を含む。
【００１５】
本発明の更なる態様において、前記3Dビデオ信号を有する情報担体が提供される。
【００１６】
本発明の更なる態様において、3Dディスプレイでの3Dプライマリ・ビデオ信号及びセカンダリ・ビデオ信号の同時表示を可能にするための3Dビデオ信号を生成するための信号生成装置が提供され、3Dプライマリ・ビデオ信号は、ベース・ビデオ信号及び3D表示を可能にする補助信号を含み、3Dビデオ信号は、多重化された形態のビデオ・ストリームであり、当該装置は、セカンダリ・ビデオ信号として2Dセカンダリ・ビデオ信号を提供するための提供手段、及び、ベース・ビデオ・ストリームを生成するためにベース・ビデオ信号をフォーマットし、補助ストリームを生成するために補助信号をフォーマットし、ビデオ・ストリームを生成するために補助ストリームとベース・ビデオ・ストリームを多重化し、そして、ビデオ・ストリーム中に2Dセカンダリ・ビデオ信号を含めるためのフォーマット・ユニットを有する。
【００１７】
本発明の更なる態様において、3Dディスプレイでの3Dプライマリ・ビデオ信号及びセカンダリ・ビデオ信号の同時表示を可能にするために上記の信号生成装置により生成されることができる3Dビデオ信号を処理するための信号処理装置が提供され、3Dプライマリ・ビデオ信号は、ベース・ビデオ信号及び3D表示を可能にする補助信号を含み、3Dビデオ信号は、セカンダリ・ビデオ信号として2Dセカンダリ・ビデオ信号を含み、3Dビデオ信号は、多重化された形態のビデオ・ストリームであり、ビデオ・ストリームは、2Dセカンダリ・ビデオ信号を含み、さらに補助ストリームと多重化されたベース・ビデオ・ストリームを含み、ベース・ビデオ・ストリームは、フォーマットされた形態で、ベース・ビデオ信号を含み、補助ストリームは、フォーマットされた形態で、補助信号を含み、当該装置は、ベース・ビデオ・ストリーム及び補助ストリームをビデオ・ストリームから逆多重化するための逆多重化ユニット、ベース・ビデオ・ストリームからベース・ビデオ信号を逆フォーマットし、補助ストリームから補助信号を逆フォーマットし、ビデオ・ストリームから2Dセカンダリ・ビデオ信号を抽出するための逆フォーマット・ユニット、並びに、3Dディスプレイでの表示深さにおける2Dセカンダリ・ビデオ信号の表示のための3D表示信号を提供するためにベース・ビデオ信号及び補助信号と2Dセカンダリ・ビデオ信号とを結合するための結合ユニットを有する。
【００１８】
本発明による手段は、プライマリ・ビデオ信号の隣に、3Dビデオ信号のPiP機能を提供するためのセカンダリ・ビデオ信号を含む3Dビデオ信号を提供する。3Dビデオ信号において、プライマリ・ビデオ信号は3Dプライマリ・ビデオ信号であり、更に、セカンダリ・ビデオ信号は2Dセカンダリ・ビデオ信号として特に提供される。3Dプライマリ・ビデオ信号は、ベース・ビデオ信号及び補助信号を含み、補助信号は、3D表示を可能にするために必要な情報を含む。例えば、3Dプライマリ・ビデオ信号は、左+右(ステレオ)ビデオ信号であることができ、ベース・ビデオ信号は左ビデオ信号であり、補助信号は右ビデオ信号である。3Dプライマリ・ビデオ信号は2D+depthビデオ信号であることもでき、ベース・ビデオ信号は2Dビデオ信号であり、そして補助信号は深さ信号である。そして、ベース・ビデオ信号、補助信号及び2Dセカンダリ・ビデオ信号は、3Dビデオ信号を生成するために、ストリーム・フォーマットに変換されている。
【００１９】
長所として、2Dセカンダリ・ビデオ信号を含む3Dビデオ信号は、3Dセカンダリ・ビデオ信号を含む3Dビデオ信号より低いビットレートを有する。より低いビットレートの理由は、3Dセカンダリ・ビデオ信号は、セカンダリ・ベース・ビデオ信号の隣に、3D表示を可能にする追加のセカンダリ補助信号を含むからである。3Dセカンダリ・ビデオ信号の代わりに2Dセカンダリ・ビデオ信号を提供することによって、セカンダリ補助信号は省略され、したがって、セカンダリ・ビデオ信号のビットレートは低くなる。
【００２０】
本発明はさらに、3Dセカンダリ・ビデオ信号を提供しても、2Dセカンダリ・ビデオ信号を提供することを超える視聴者によるPiP機能の認識に対する効果は驚くほど制限されるとの認識に基づく。視聴者によるPiPの認識に関する3Dセカンダリ・ビデオ信号の効果が制限される理由は２つある。第一に、視聴者は、大部分の時間、3Dプライマリ・ビデオ信号に集中し、セカンダリ・ビデオ信号には集中せず、第二に、セカンダリ・ビデオ信号は一般的にフル・ディスプレイ・スクリーンに対して小さいウィンドウ中に表示されるので、3Dセカンダリ・ビデオの深さは比較的認識するのが難しい。それゆえ、実際には、視聴者は、セカンダリ・ビデオ信号が3Dではなく2Dで提供されていることにほとんど気がつかない。
【００２１】
したがって、この手段は、生成された3Dビデオ信号が3Dセカンダリ・ビデオ信号を含む3Dビデオ信号より低いビットレートを有するという効果を有する。その結果として、より狭い帯域が3Dビデオ信号を送信するために必要とされ、そしてより少ない記憶容量が3Dビデオ信号を記憶するために必要とされる。最後に、3Dビデオ信号を符号化して復号するために、一般的に、より少ない計算リソースを必要とする。長所として、3Dビデオ信号を符号化、復号、送信又は記憶する装置のコストはより低い。
【００２２】
本発明による上記の手段は、3Dビデオ信号として多重化された形態のビデオ・ストリームを提供する。ビデオ・ストリームは、補助ストリームと多重化されたベース・ビデオ・ストリームを含むような多重化された形態である。ベース・ビデオ・ストリームはストリーム・フォーマットに変換されたベース・ビデオ信号を含み、そして補助ストリームはストリーム・フォーマットに変換された補助信号を含む。ベース・ビデオ・ストリーム及び補助ストリームは、前記ストリームを逆多重化することによって、ビデオ・ストリームから得られる。ベース・ビデオ信号は、ストリーム・フォーマットへのベース・ビデオ信号の変換を逆転させることによって得られ、補助信号は、ストリーム・フォーマットへの補助信号の変換を逆転させることによって得られ、そして、2Dセカンダリ・ビデオ信号は、それをビデオ・ストリームから抽出することによって得られる。
【００２３】
この手段は、3Dビデオ信号が１つのビデオ・ストリームであるという効果を有する。１つのビデオ・ストリームは、同時にPiP及び3D機能の両方を提供しつつ、転送のために１つの通信媒体のみ、記録するために１つの記録ユニットのみなどを必要とする。ビデオ・ストリーム自体は、２つの個々のストリーム、すなわち、ベース・ビデオ・ストリーム及び補助ストリームを含み、3Dプライマリ・ビデオ信号は、ベース・ビデオ信号及び補助信号を別々にフォーマットすることによって、２つのストリームから分離される。長所として、２つのストリーム上で3Dプライマリ・ビデオ信号を分離することによって、各々の個々のストリームのビットレートは、3Dプライマリ・ビデオ信号を含む１つのビデオ・ストリームのビットレートより低い。
【００２４】
特に逆フォーマットが展開を含む場合、ストリームを逆フォーマットすることは計算集約的である。対照的に、逆多重化は、あまり計算集約的ではない。したがって、この１つのビデオ・ストリームを逆フォーマットすることは、この１つのビデオ・ストリームを逆多重化すること及び２つのストリームのうちのいずれかのみを逆フォーマットすることより計算集約的である。
【００２５】
その結果として、２つのストリームのいずれかを逆フォーマットするために使用される逆フォーマット・ユニットは、この１つのビデオ・ストリームを逆フォーマットするために使用される逆フォーマット・ユニットより低い計算性能で十分である。同様に、適度な計算性能のみを有する逆フォーマット・ユニットは、この１つのビデオ・ストリームを逆フォーマットすることはできないが、２つの個々のストリームのいずれかを逆フォーマットすることができる。特に、信号処理装置は、この１つのビデオ・ストリームを逆フォーマットするために十分に高い計算性能の逆フォーマット・ユニットは備えていないが、特定の規格に準拠するために、適度な性能の２つの逆フォーマット・ユニットを含む場合がある。したがってこの装置は、たとえこの１つのビデオ・ストリームを逆フォーマットすることが可能ではないとしても、２つの別々のストリームを逆フォーマットすることが可能である。
【００２６】
さらに、適度な計算性能の１つの逆フォーマット・ユニットのみを備える信号処理装置は、ベース・ビデオ信号を提供するためにベース・ビデオ・ストリームを逆フォーマットすることができる。ベース・ビデオ信号は、3Dプライマリ・ビデオ信号の下位互換性の観点から、通常は2Dプライマリ・ビデオ信号である。したがって、信号処理装置は、2Dプライマリ・ビデオ信号を逆フォーマットすることをできる。3Dプライマリ・ビデオ信号が１つのビデオ・ストリームにフォーマットされる場合、そのような装置はプライマリ・ビデオ信号を全く提供することができない。
【００２７】
3Dビデオ信号は、したがって、複数の逆フォーマット・ユニットを有する信号処理装置上でPiP及び3D機能を同時に提供しつつ、2Dビデオ信号のための１つの逆フォーマット・ユニットのみを有する信号処理装置、例えば旧式の2D信号処理装置との下位互換性を可能にする。長所として、2D信号処理装置を有する消費者は、少なくとも3Dビデオ信号の2D機能を楽しむことができる。加えて、製作者は、2D信号処理装置を有する消費者がビデオ・コンテンツを全く再生できないことを心配することなく、3Dビデオ信号フォーマット中にビデオ・コンテンツを提供することによってPiP及び3D機能を有するビデオ・コンテンツを制作して配布するためのコストを低減することができる。
【００２８】
本発明の以下の実施の形態は、3Dビデオ信号が、１つの逆フォーマット・ユニットのみを有する信号処理装置がPiP機能と共にベース・ビデオ信号を提供することを可能にするという効果を達成する。
【００２９】
本発明の実施の形態において、3Dビデオ信号を生成するための方法が提供され、ベース・ビデオ信号をフォーマットするステップは、ベース・ビデオ・ストリーム中に2Dセカンダリ・ビデオ信号を含めるために2Dセカンダリ・ビデオ信号とベース・ビデオ信号を多重化することを含む。
【００３０】
本発明の実施の形態において、3Dビデオ信号を処理するための信号処理装置が提供され、ベース・ビデオ・ストリームは、フォーマットされた形態で、2Dセカンダリ・ビデオ信号と多重化されたベース・ビデオ信号を含み、逆フォーマット・ユニットはさらに、ベース・ビデオ信号及び2Dセカンダリ・ビデオ信号をベース・ビデオ・ストリームから逆多重化するように用意される。
【００３１】
本発明による上記の手段は、さらに2Dセカンダリ・ビデオ信号を含むベース・ビデオ・ストリームを提供する。ベース・ビデオ・ストリームは、ベース・ビデオ信号及び2Dセカンダリ・ビデオ信号をストリーム・フォーマットに多重化して変換することによって生成される。したがって、ベース・ビデオ信号及び2Dセカンダリ・ビデオ信号は、ストリーム・フォーマットへの変換を逆転させることによって、そして前記信号を逆多重化することによってベース・ビデオ・ストリームから得られる。
【００３２】
これらの手段は、2Dセカンダリ・ビデオ信号が特にベース・ビデオ・ストリーム中に含まれるという効果を有する。したがって、ベース・ビデオ・ストリームを逆フォーマットする逆フォーマット・ユニットが、ベース・ビデオ信号及び2Dセカンダリ・ビデオ信号の両方を得る。特に、１つの逆フォーマット・ユニットのみを有する信号処理装置は、2Dプライマリ・ビデオ信号及び2Dセカンダリ・ビデオ信号を提供し、それによりPiP機能を提供するために、ベース・ビデオ・ストリームを逆フォーマットすることができる。したがって、3Dビデオ信号は、１つの逆フォーマット・ユニットのみを有する信号処理装置が、PiP機能と共に2Dプライマリ・ビデオ信号を提供することを可能にする。
【００３３】
本発明の以下の実施の形態は、3Dビデオ信号中にPiP機能を提供する結果として、ベース・ビデオ・ストリームのビットレートが増加しないという効果を達成する。
【００３４】
本発明の実施の形態において、3Dビデオ信号を生成するための方法が提供され、補助信号をフォーマットするステップが、補助ストリーム中に2Dセカンダリ・ビデオ信号を含めるために2Dセカンダリ・ビデオ信号と補助信号を多重化することを含む。
【００３５】
本発明の実施の形態において、3Dビデオ信号を処理するための信号処理装置が提供され、補助ストリームは、フォーマットされた態様で、2Dセカンダリ・ビデオ信号と多重化された補助信号を含み、逆フォーマット・ユニットはさらに、補助信号及び2Dセカンダリ・ビデオ信号を補助ストリームから逆多重化するように用意される。
【００３６】
本発明による上記の手段は、さらに2Dセカンダリ・ビデオ信号を含む補助ストリームを提供する。補助ストリームは、ストリーム・フォーマットに補助信号及び2Dセカンダリ・ビデオ信号を多重化して変換することによって生成される。したがって、補助信号及び2Dセカンダリ・ビデオ信号は、ストリーム・フォーマットへの変換を逆転させることによって、そして前記信号を逆多重化することによって、補助ストリームから得られる。
【００３７】
この手段は、2Dセカンダリ・ビデオ信号が特に補助ストリーム中に含まれること、したがってベース・ビデオ・ストリームがPiP機能の無い3Dビデオ信号のベース・ビデオ・ストリームと同一であるという効果を有する。したがって、ベース・ビデオ・ストリームのビットレートは、3Dビデオ信号中にPiP機能を提供する結果として増加しない。むしろ、補助ストリームのビットレートが増加する。既存の逆フォーマット・ユニットと同様に規格との互換性の理由で、ストリームのビットレートは、ある最大値に制限される。
【００３８】
フォーマットされた補助信号のビットレートは、一般的に、フォーマットされたベース・ビデオ信号のそれより低い。例えば、3Dビデオ信号が2D+depthビデオ信号である場合、深さ情報はピクセル毎に１つの深さ値を含むが、ベース・ビデオ信号は、ピクセル毎に３つの色値(例えばR、G及びB)を含む。したがって、2Dセカンダリ・ビデオ信号をベース・ビデオ・ストリーム中ではなく補助ストリーム中に含めることによって、両方のストリームのビットレートの最大値は低減され、すなわち、ビデオ・ストリーム全体のビットレートは、ベース・ビデオ・ストリームと補助ストリームとの間でより均等に分配される。長所として、ベース・ビデオ信号のみに対して規格で規定される全ての利用可能なビットレートを割り当てることによって、ベース・ビデオ信号のより良好な画像品質が得られる。
【００３９】
本発明の以下の実施の形態は、ベース・ビデオ・ストリーム及び補助ストリームが、PiP機能を持たない3Dビデオ信号のそれぞれのストリームと同じビットレートを有するという効果を達成する。
【００４０】
本発明の実施の形態において、3Dビデオ信号を生成するための方法が提供され、当該方法はさらに、2Dセカンダリ・ビデオ・ストリームを生成するために2Dセカンダリ・ビデオ信号をフォーマットするステップを有し、多重化ステップが、ビデオ・ストリームに2Dセカンダリ・ビデオ信号を含めるために、ベース・ビデオ・ストリーム及び補助ストリームと2Dセカンダリ・ビデオ・ストリームとを多重化することを含む。
【００４１】
本発明の実施の形態において、3Dビデオ信号を処理するための信号処理装置が提供され、ビデオ・ストリームは、ベース・ビデオ・ストリーム及び補助ストリームと多重化された2Dセカンダリ・ビデオ・ストリームを含み、2Dセカンダリ・ビデオ・ストリームは、フォーマットされた形態で、2Dセカンダリ・ビデオ信号を含み、逆多重化ユニットはさらに、2Dセカンダリ・ビデオ・ストリームを逆多重化するように用意され、逆フォーマット・ユニットはさらに、2Dセカンダリ・ビデオ・ストリームから2Dセカンダリ・ビデオ信号を逆フォーマットするように用意される。
【００４２】
本発明による上記の手段は、2Dセカンダリ・ビデオ信号を含む2Dセカンダリ・ビデオ・ストリームを提供する。2Dセカンダリ・ビデオ・ストリームは、2Dセカンダリ・ビデオ信号をストリーム・フォーマットに変換することによって生成されて、ベース・ビデオ・ストリーム及び補助ストリームと2Dセカンダリ・ビデオ・ストリームを多重化することによって、ビデオ・ストリーム中に含まれる。したがって、2Dセカンダリ・ビデオ信号は、前記ストリームを逆多重化することによって、そしてストリーム・フォーマットへの2Dセカンダリ・ビデオ信号の変換を逆転させることによって、ビデオ・ストリームから得られる。
【００４３】
この手段は、2Dセカンダリ・ビデオ信号が別の2Dセカンダリ・ビデオ・ストリーム中に含まれ、ベース・ビデオ・ストリーム及び補助ストリームには含まれないという効果を有する。ベース・ビデオ・ストリーム及び補助ストリームは、したがって、PiP機能を持たない3Dビデオ信号のそれぞれのストリームと同じビットレートを有する。したがって、3Dビデオ信号は、PiP機能を持たない3Dビデオ信号を逆フォーマットするための計算リソースのみを有する２つの逆フォーマット・ユニットを有する信号処理装置と互換性がある。そのような装置はPiP機能を提供することができないが、3Dプライマリ・ビデオ信号は依然として逆フォーマットされることができる。更に、同じ3Dビデオ信号は、2Dセカンダリ・ビデオ・ストリームのための追加の逆フォーマット・ユニットを有する装置においてPiP機能を提供する。さらに、２つの逆フォーマット・ユニットを有するそのような信号処理装置のユーザは、3D機能が好ましいか又はPiP機能が好ましいかを選択することができる。第１の場合において、ベース・ビデオ・ストリーム及び補助ストリームが逆フォーマットされ、後者の場合において、ベース・ビデオ・ストリーム及び2Dセカンダリ・ビデオ・ストリームが逆フォーマットされる。したがって、3Dビデオ信号は、有利には、個人的な好みに従って3D機能とPiP機能との間の選択をする可能性をユーザに提供する。
【００４４】
本発明の実施の形態において、3Dビデオ信号が提供され、3Dビデオ信号はプライマリ信号成分及びセカンダリ信号成分を含み、プライマリ信号成分は、プライマリ信号成分を個別に送信するためにフォーマットされるベース・ビデオ信号を含み、セカンダリ信号成分は、セカンダリ信号成分を個別に送信するためにフォーマットされる2Dセカンダリ・ビデオ信号を含む。
【００４５】
本発明による上記の手段は、2Dプライマリ・ビデオ信号を提供するためのプライマリ信号成分及び2Dセカンダリ・ビデオ信号を提供するためのセカンダリ信号成分を含む3Dビデオ信号を提供する。前記ビデオ信号は、両方の信号成分の個別的な送信を可能にするためにフォーマットされる。したがって、この手段は、3Dビデオ信号の２つの信号成分が、別個の送信チャネルを介して送信若しくは受信されることができる又は別個の情報媒体に記憶されることができるという効果を有する。したがって、より低いビットレートの3Dビデオ信号が、2Dセカンダリ・ビデオ信号を含む3Dビデオ信号のセカンダリ信号成分において実現される。
【００４６】
長所として、消費者は、インターネットから前記セカンダリ信号成分をダウンロードすることによって、その消費者が既に所有するプライマリ・ビデオ信号のPiP機能を便宜に得ることができ、プライマリ・ビデオ信号の製作者は、消費者による購入のために利用可能な前記セカンダリ信号成分を作成することによって追加の収入を得ることができる。
【００４７】
本発明の以下の実施の形態は、3D表示信号中の2Dセカンダリ・ビデオ信号の表示深さが、3Dビデオ信号に含まれるオフセット値を用いて制御されることができるという効果を達成する。
【００４８】
本発明の実施の形態において、3Dビデオ信号を生成するための方法が提供され、当該方法はさらに、3Dビデオ信号中にオフセット値を含めるステップを有し、このオフセット値は、3Dディスプレイでの2Dセカンダリ・ビデオ信号の表示深さを示す。
【００４９】
本発明の実施の形態において、3Dビデオ信号を処理するための信号処理装置が提供され、3Dビデオ信号は、3Dディスプレイでの2Dセカンダリ・ビデオ信号の表示深さを示すオフセット値を更に有し、結合ユニットはさらに、オフセット値に依存して、ベース・ビデオ信号及び補助信号と2Dセカンダリ・ビデオ信号を結合するように用意される。
【００５０】
本発明による上記の手段は、3Dビデオ信号中に含まれるオフセット値を提供し、結合ユニットは、オフセット値によって示される表示深さにおいて3D表示信号中に2Dセカンダリ・ビデオ信号を配置するためにオフセット値を用いる。したがって、この手段は、3D表示信号における2Dセカンダリ・ビデオ信号の表示深さが、オフセット値を用いて制御されることができるという効果を有する。3Dビデオ信号の製作者は、したがって、2Dセカンダリ・ビデオ信号の表示深さを前もって決定することができて、オフセット値によって3Dビデオ信号中に前記表示深さを含めることができる。
【００５１】
長所として、オフセット値は、視聴者のいかなる混乱又は解釈の難しさを防止するために、3Dプライマリ・ビデオ信号の表示深さから明確に分離される2Dセカンダリ・ビデオ信号の表示深さを提供することを可能にする。
【００５２】
刊行物"A Structure for 2D/3D Mixed Service Based on Terrestrial DMB System" by Hyun Lee et al., 3D Conference, 2007, IEEE, May 1st 2007は、3D画像サービス及び2Dビデオ・サービスが１つのビデオ伝送信号中に組み合わせられる2D/3D混合サービスのための送信アーキテクチャを開示する。その刊行物の図7は、2D/3D混合サービスの形態として言及されるPiPの例を示す。この図において、PiPは2D画像であり、そしてその背景は3D画像である。図1及びその対応する説明は、ビデオ伝送信号が、3Dデータファイルのパケットと同様に2Dビデオ・データ・ストリームを生成し、両方を多重化することによって生成されることを示す。
【００５３】
しかしながら、上記の刊行物は、ベース・ビデオ・ストリーム及び補助ストリームとしてフォーマットされる3Dプライマリ・ビデオ信号を開示しない。それはさらに、ビデオ・ストリームがベース・ビデオ・ストリーム及び補助ストリームを多重化することによって生成されることを開示しない。実際、それは、3Dビデオ信号がビデオ・ストリームとして生成されることを開示しない。その代わりに、図1及びその対応する説明は、マルチメディア・オブジェクト転送(MOT)パッケージとして送信される3D画像サービスを示し、パッケージは、パケット・モード・データ・パスを介してビデオ伝送信号中に含まれる。
【図面の簡単な説明】
【００５４】
【図１】3Dビデオ信号を生成するための方法を示す図。
【図２】ビデオ・ストリームを生成するための方法を示す図。
【図３】2Dセカンダリ・ビデオ・ストリームを含むビデオ・ストリームを生成するための方法を示す図。
【図４】オフセット値を含む3Dビデオ信号を生成するための方法を示す図。
【図５】3Dビデオ信号を処理するための方法を示す図。
【図６】3Dビデオ信号を示す図。
【図７】ビデオ・ストリームを示す図。
【図８】2Dセカンダリ・ビデオ・ストリームを含むビデオ・ストリームを示す図。
【図９】3Dビデオ信号を含む情報キャリアを示す図。
【図１０】3Dビデオ信号を生成するための信号生成装置を示す図。
【図１１】3Dビデオ信号を処理するための信号処理装置を示す図。
【図１２】ビデオ・ストリームを処理するための信号処理装置を示す図。
【図１３】2Dセカンダリ・ビデオ・ストリームを含むビデオ・ストリームを処理するための信号処理装置を示す図。
【図１４】オフセット値を含む3Dビデオ信号を示す図。
【図１５】オフセット値を用いるように用意された信号処理装置を示す図。
【図１６】3Dディスプレイ、放送受信機、インターネット受信機及び読取装置を含む信号処理装置を示す図。
【発明を実施するための形態】
【００５５】
図1は、3Dディスプレイでの3Dプライマリ・ビデオ信号301及びセカンダリ・ビデオ信号の同時表示を可能にするための、図6に示されるような3Dビデオ信号300を生成するための方法100のフローチャートである。3Dプライマリ・ビデオ信号301は、将来開発される3Dビデオ信号と同様に任意の現在知られている3Dビデオ信号であることができる。しかしながら、現在知られている3Dビデオ信号は、共通して、ベース・ビデオ信号302及び3D表示を可能にする補助信号303を含む。
【００５６】
例えば、3Dプライマリ・ビデオ301信号は、左+右(ステレオ)ビデオ信号であることができ、ベース・ビデオ信号302は左ビデオ信号であり、そして補助信号303は右ビデオ信号である（逆もまた同じ）。3Dプライマリ・ビデオ信号301は、2D+depthビデオ信号であることもでき、ベース・ビデオ信号302は2Dビデオ信号であり、そして補助信号303は深さ信号である。補助信号303は、'Declipse 2: Multilayer Image-and-Depth with Transparency Made Practical' by B. Barenbrug, Proceedings of Stereoscopic Displays and Applications XX (2009)に説明されるように（その文献は本明細書に参照として組み込まれる）、単なる深さ以上の情報を含むこともできる。同様に、3Dプライマリ・ビデオ信号301は、複数のベース・ビデオ信号及び3D表示を可能にする対応する複数の補助信号を含むマルチビュー+depthビデオ信号であることができる。
【００５７】
3Dディスプレイは、3Dビデオ信号を表示するために適切な任意の現在知られている又は将来の開発される3Dディスプレイであることができる。例えば、3Dディスプレイは、立体視3Dテレビ又は自動立体視レンチキュラ・ベース・マルチビュー3Dディスプレイであることができる。
【００５８】
方法100は、「2Dセカンダリ・ビデオ信号を提供する」ステップ101において、セカンダリ・ビデオ信号として2Dセカンダリ・ビデオ信号304を提供することを含む。このステップにおいて、セカンダリ・ビデオ信号は、2Dセカンダリ・ビデオ信号304として、特に提供される。このステップは、2Dセカンダリ・ビデオ信号304を直接受信する若しくは取得することを含むことができ、又は、最初は3Dセカンダリ・ビデオ信号を受信する若しくは取得することを含むことができる。後者の場合には、このステップはさらに、3Dセカンダリ・ビデオ信号を2Dセカンダリ・ビデオ信号304に変換することを含む。3Dセカンダリ・ビデオ信号が2Dセカンダリ・ベース・ビデオ信号及びセカンダリ補助信号を含む場合、変換は、セカンダリ補助信号を省略し、2Dセカンダリ・ビデオ信号304として2Dセカンダリ・ベース・ビデオ信号を用いること伴うことができる。しかしながら、3Dから2Dへのより複雑な変換も同様に可能である。
【００５９】
方法100はさらに、「3Dビデオ信号を生成する」ステップ102において、3Dビデオ信号300を生成するために、ベース・ビデオ信号302、補助信号303及び2Dセカンダリ・ビデオ信号304をフォーマットする。このステップにおいて、ベース・ビデオ信号302、補助信号303及び2Dセカンダリ・ビデオ信号304は、構造化フォーマットに変換されて、それによって3Dビデオ信号300を生成する。結果として生じる3Dビデオ信号300は、一般的に、１つの情報キャリアに配置されるか又は１つの伝送媒体を介して送信されるが、信号成分に分離されることもでき、信号成分は、異なる情報媒体に配置されるか又は異なる伝送媒体を介して送信される。
【００６０】
図2は3Dビデオ信号を生成するための方法110のフローチャートであり、3Dビデオ信号は多重化された形態のビデオ・ストリーム310である。ビデオ・ストリーム310は情報ユニット(例えばビット又はバイト)の系列であり、情報ユニットはこの特定の場合のビデオ・データを表す。ビデオ・ストリーム310が伝送媒体を介して送信される又は受信される場合、この系列は時系列である。しかしながら、ビデオ・ストリーム310は情報キャリアに記憶されることもでき、その場合には、ビデオ・ストリーム310は位置における情報ユニットの系列である。位置の系列は、位置において厳密にシーケンシャルであり、すなわち、各々の情報ユニットは、物理的に隣り合うものとして前の情報ユニット及び次の情報ユニットのみを有する。しかしながら、より一般的には、情報キャリアは、ビデオ・ストリーム310のシリアル特性を隠ぺいする、基礎をなす構造(例えばファイルシステム)を有する。この場合には、ビデオ・ストリーム310のシリアル特性は、ビデオ・ストリーム310の記憶及び読み出しステップにおいて現れ、その間、ビデオ・ストリーム310は、時系列情報ユニットである。
【００６１】
方法110は、「ベース・ビデオ・ストリームを生成する」ステップ111においてベース・ビデオ・ストリーム311を生成するためにベース・ビデオ信号302をフォーマットすること、及び、「補助ストリームを生成する」ステップ112において補助ストリーム312を生成するために補助信号303をフォーマットすることを含む。信号をフォーマットすることは、ストリームを生成するために信号を構造化フォーマットに変換することを含む。事実上、ストリームは、ストリームが生成された信号のためのコンテナになる。ストリームは、現実にはシリアルであるが、必ずしも信号であるというわけではない。むしろ、ビデオ信号は、現実には一般的に2D又は3Dである。したがって、2Dビデオ信号をフォーマットすることは、ピクセルの時系列を生成するためにピクセル毎に2Dビデオ信号をスキャンすることによって2Dビデオ信号をビデオ・ストリームに変換することが必要である。
【００６２】
この点において、ビデオ・ストリームを説明する際の形容詞「2D」は単にストリームが生成される信号が特に2Dビデオ信号であることを明確化することを意図したものであることが留意されるべきである。したがって、それは、ストリームが現実に「2D」であることを示さない。
【００６３】
ストリームを生成するために信号をフォーマットすることは、さらに、ストリーム中に補助情報を追加することを含む（例えば、メタデータ、ヘッダ情報、誤り訂正情報、同期情報など）。このように、合意した規格に従うストリームが生成されることができる（例えば、MPEG基本ストリーム又はMPEGトランスポート・ストリーム）。フォーマットは、同様に、より低いビットレートを有するビデオ・ストリームを生成するために前記信号を圧縮することを含むことができる。この目的のために、例えばMPEG-2又はH264規格によって規格化されるような広範囲のデータ圧縮技術が、さもなければ必要とされるより少ない情報ユニットを含むストリームに信号を変換するために、用いられることができる。具体例として、補助信号303は、ブルーレイ・ディスク上に前記ストリームを含めるために基本ストリーム中にフォーマットされることができる。
【００６４】
方法110はさらに、「ストリームを多重化する」ステップ113においてビデオ・ストリーム310を生成するために補助ストリーム312とベース・ビデオ・ストリーム311を多重化することを含む。多重化は、複数の信号を１つの単一信号に結合するステップであり、又は、この場合には、複数のストリームを１つの単一ストリームに結合するステップである。多重化の一般的な形式は、単一ビデオ・ストリームを生成するために複数のストリームが時間的にインタリーブされる時分割多重である。したがって、補助ストリーム312とベース・ビデオ・ストリーム311を多重化することによって、多重化された形態で両方のストリームを含む１つのビデオ・ストリーム310が生成される。
【００６５】
最後に、方法110は、「2Dセカンダリ・ビデオ信号を含める」ステップ114においてビデオ・ストリーム310中に2Dセカンダリ・ビデオ信号304を含めることを含む。2Dセカンダリ・ビデオ信号304は、さまざまな態様でビデオ・ストリーム310中に含まれることができる。例えば、2Dセカンダリ・ビデオ信号304は、2Dセカンダリ・ビデオ・ストリーム313を生成するためにフォーマットされることができ、そして前記ストリームは、ビデオ・ストリーム315を生成するためにさらに多重化されることができるか、又は、ビデオ・ストリーム310の最初若しくは最後に含まれることができる。また、2Dセカンダリ・ビデオ信号304は、2Dセカンダリ・ビデオ信号304とベース・ビデオ信号302を多重化して、結果として生じる信号を、ベース・ビデオ・ストリーム311を生成するためにフォーマットすることによって、ビデオ・ストリーム310中に含まれることができる。同様に、2Dセカンダリ・ビデオ信号304は、2Dセカンダリ・ビデオ信号304と補助信号303を多重化して、結果として生じる信号を、補助ストリーム312を生成するためにフォーマットすることによって、ビデオ・ストリーム310中に含まれることができる。また、2Dセカンダリ・ビデオ信号304は、ベース・ビデオ・ストリーム311又は補助ストリーム312に直接多重化されることができる。
【００６６】
図3は、2Dセカンダリ・ビデオ・ストリーム313を含むビデオ・ストリーム315を生成するための方法120のフローチャートである。方法120は、「ベース・ビデオ・ストリームを生成する」ステップ111においてベース・ビデオ・ストリーム311を生成するためにベース・ビデオ信号302をフォーマットするステップ、及び、「補助ストリームを生成する」ステップ112において補助ストリーム312を生成するために補助信号303をフォーマットするステップを有する。さらに、方法120は、「2Dセカンダリ・ビデオ・ストリームを生成する」ステップ123において2Dセカンダリ・ビデオ・ストリーム313を生成するために2Dセカンダリ・ビデオ信号304をフォーマットするステップを有する。さらに、「ストリームを多重化する」ステップ124は、ベース・ビデオ・ストリーム311及び補助ストリーム312と2Dセカンダリ・ビデオ・ストリーム313を多重化し、それによって、ビデオ・ストリーム315中に2Dセカンダリ・ビデオ信号304を含めることを含む。
【００６７】
図4は、オフセット値501を有する3Dビデオ信号500を生成するための方法130のフローチャートである。方法130の第１ステップ131は、図1の「2Dセカンダリ・ビデオ信号を提供する」ステップ101と同一のステップであり、第２ステップ132は、図1の「3Dビデオ信号を生成する」ステップ102と同一である。方法130はさらに、「オフセット値を含める」ステップ134において3Dビデオ信号500中にオフセット値501を含めることを含み、オフセット値501は、3Dディスプレイでの2Dセカンダリ・ビデオ信号304の表示深さを示す。
【００６８】
前記オフセット値501を含めるステップ134をさらに説明するために、3Dディスプレイは基本的に特定の表示深さで情報を示すことを理解する必要がある。表示深さは、ほとんどの場合、3Dビデオ信号によって提供される。これは、間接的には、例えば、左+右(ステレオ)ビデオ信号の左ビデオ信号と右ビデオ信号との間の視差によって、又は、直接的には、例えば2D+depthビデオ信号の深さ信号によることができる。そして、再生装置又は3Dディスプレイは、例えば提供された深さをさらに増幅する又は低減することによって、表示深さを生成するために、提供された深さをさらに修正することができる。
【００６９】
3Dディスプレイは、一般的に、いかなる深さ錯覚も生じない「デフォルトの」表示深さを有する。これは、例えば立体表示の両方のビューが同一の情報を提供する場合である。このデフォルトの表示深さは、一般的に視聴者によってディスプレイ自体の深さにおいて表示されている情報と解釈され、すなわち、3Dディスプレイの「外側に突出して」(つまりディスプレイ面より視聴者に近いように知覚される深さで提供されて)いないか、又は、3Dディスプレイの「内側に窪んで」（つまりディスプレイ面より視聴者から離れているように知覚される深さで提供されて）いない。
【００７０】
視聴者のいかなる混乱又は観察の難しさも防止することのような幾つかの理由により、3Dディスプレイでの2Dセカンダリ・ビデオ信号304の表示深さを制御することが望ましい場合がある。その理由のために、方法130は、3Dディスプレイでの2Dセカンダリ・ビデオ信号304の表示深さを指示してその制御を可能にするために、3Dビデオ信号500にオフセット値501を含める（134）。
【００７１】
方法130はさらに、2Dセカンダリ・ビデオ信号304が3Dセカンダリ・ビデオ信号から得られること、及び、「オフセット値を決定する」ステップ133において3Dセカンダリ・ビデオ信号の深さに依存してオフセット値501を決定することを含む。2Dセカンダリ・ビデオ信号304が3Dセカンダリ・ビデオ信号から導き出される場合、3Dセカンダリ・ビデオ信号の深さは、3Dディスプレイでの2Dセカンダリ・ビデオ信号304の表示深さを示すために用いられることができる。例えば、3Dセカンダリ・ビデオ信号の深さが3Dディスプレイの外側への強い突出を示す場合、3Dディスプレイの外側に強く2Dセカンダリ・ビデオ信号304全体を突出させることによって同様の効果が達成されることができる。また、同様の効果を成し遂げるためにシーン認識が用いられることができ、3Dセカンダリ・ビデオ信号が平坦な風景を含む場合、表示深さ、ひいてはオフセット値501は、2Dセカンダリ・ビデオ信号304が視聴者から可能な限り遠く離れて、すなわち3Dディスプレイ内部に窪んで配置されるように選択されることができる。
【００７２】
図5は、3Dディスプレイでの3Dプライマリ・ビデオ信号301及びセカンダリ・ビデオ信号の同時表示を可能にするために3Dビデオ信号300を処理するための方法200のフローチャートであり、3Dビデオ信号300は、セカンダリ・ビデオ信号として2Dセカンダリ・ビデオ信号304を含む。方法200は、「逆フォーマット化」ステップ201において3Dビデオ信号300からベース・ビデオ信号302、補助信号303及び2Dセカンダリ・ビデオ信号304を逆フォーマットすることを含む。逆フォーマット化は基本的にフォーマット化のステップを逆転させることを伴い、すなわち、ストリームを生成するための信号の変換を逆転させる。本質的に、信号は、ストリームが構成するコンテナから抽出される。逆フォーマット化はさらに、ストリーム中の信号から補助情報（例えばメタデータ、ヘッダ情報、誤り訂正情報、同期情報など）を用いる又は除去することを含む。逆フォーマット化は、ストリームから前記信号を展開することを含むこともできる。この目的のために、例えばMPEG-2又はH264規格によって規格化されるもののような、広範囲のデータ展開技術が用いられることができる。
【００７３】
方法200はさらに、「結合」ステップ202において、3Dディスプレイでのある表示深さにおける2Dセカンダリ・ビデオ信号304の表示のための3D表示信号を提供するために、2Dセカンダリ・ビデオ信号304をベース・ビデオ信号302及び補助信号303に結合することを含む。3Dディスプレイは基本的に入力として１つの3D表示信号を必要とする。結合は、3Dプライマリ・ビデオ信号301を2Dセカンダリ・ビデオ信号304に結合することによって、3D表示信号を提供する。
【００７４】
結合は、主に3Dプライマリ・ビデオ信号のフォーマットに依存して、さまざまな態様で行われることができる。例えば、3Dプライマリ・ビデオ信号301が左+右(ステレオ)ビデオ信号である場合、結合の考えられる態様は、2Dプライマリ・ビデオ信号304のピクセル・データによってベース・ビデオ信号302及び補助信号303のピクセル・データを置き換えることによって、ベース・ビデオ信号302及び補助信号303の両方に2Dプライマリ・ビデオ信号304を結合することである。
【００７５】
3Dプライマリ・ビデオ信号301が2D+depthビデオ信号である場合、結合の考えられる態様は、ベース・ビデオ信号302中に2Dセカンダリ・ビデオ信号304を結合し、2Dセカンダリ・ビデオ信号304がベース・ビデオ信号302に結合された位置の既定の深さ値に補助信号303を設定することである。同様に、3Dプライマリ・ビデオ信号301がマルチビュー+depthビデオ信号である場合、上記のプロセスは、各々のビューに2Dセカンダリ・ビデオ信号304を結合するために、ベース・ビデオ信号302及び補助信号303の各ペアに対して繰り返されなければならない。
【００７６】
PiP機能のさまざまな空間構成が可能である（例えばサイド・バイ・サイド又は特定のサイズ及び位置のはめ込みウィンドウ）。はめ込みウィンドウはさらに、ビデオ合成の分野で知られるような、ルマ・キーイング（luma-keying）、すなわち、輝度の特定の範囲に入るビデオ信号中のピクセルを置き換える処理を用いることにより、任意の形状を有することができる。したがって、3Dプライマリ・ビデオ信号301及び2Dセカンダリ・ビデオ信号304の必要な空間構成が結合ステップの間に考慮される必要がある。１つのオプションは、結合ステップが、例えば一方又は両方のビデオ信号をリサイズする、切り取る又は、移動することによって、前記空間構成を実際に整えることである。他のオプションは、空間構成がすでに整えられており、すなわち、両方のビデオ信号がすでにリサイズされている、切り取られているなどである。この場合には、結合ステップは、2Dセカンダリ・ビデオ信号304のピクセルによって3Dプライマリ・ビデオ信号301中のピクセルを置き換えることに制限される場合がある。
【００７７】
3Dプライマリ・ビデオ信号301及び2Dセカンダリ・ビデオ信号304の「混合」を生じさせることが、より視覚的に訴える場合がある。この目的のために、両方のビデオ信号は、例えばビデオ合成の分野において知られるα合成を用いて、互いに混合されることができる。α合成は、本質的に、PiP機能のための部分に透明な外観を生成するために、両方のビデオ信号のピクセル値の加重和を決定する。
【００７８】
3Dプライマリ・ビデオ信号301及び2Dセカンダリ・ビデオ信号304を混合するときに、好ましくは、それぞれのビデオ信号の深さのレベルが考慮される。この点において、未公開の国際出願IB2009/054160"Depth signal improvement in the presence of alpha"（この文献は参照として本明細書に組み込まれる）は、画像+深さ信号の場合にそのような混合がどのように達成されることができるかを説明する。
【００７９】
図6は、3Dディスプレイでの3Dプライマリ・ビデオ信号301及びセカンダリ・ビデオ信号の同時表示を可能にするための3Dビデオ信号300を示す。3Dプライマリ・ビデオ信号は、ベース・ビデオ信号302及び3D表示を可能にする補助信号303を含み、さらに、3Dビデオ信号300は、セカンダリ・ビデオ信号として2Dセカンダリ・ビデオ信号304を含む。結果として、3Dビデオ信号300は、フォーマットされた形態で、ベース・ビデオ信号302、補助信号303及び2Dセカンダリ・ビデオ信号304を含む。
【００８０】
3Dビデオ信号は、１つの若しくは複数の送信チャネルを介して送信若しくは受信されることができ、又は、１つの又は複数の情報キャリアに記憶されることができる。3Dビデオ信号300を送信するための方法において、3Dビデオ信号は、2Dセカンダリ・ビデオ信号304である3Dビデオ信号のセカンダリ・ビデオ信号を備え、3Dビデオ信号は、送信チャネルを介して送信される。
【００８１】
図7は、補助ストリーム312と多重化されたベース・ビデオ・ストリーム311を含むビデオ・ストリーム310を示し、ベース・ビデオ・ストリーム311は、フォーマットされた態様で、ベース・ビデオ信号302を含み、補助ストリーム312は、フォーマトされた態様で、補助信号303を含む。ビデオ・ストリーム310は、さらに、ベース・ビデオ・ストリーム311又はセカンダリ・ストリーム312中に含まる2Dセカンダリ・ビデオ信号304を有する。
【００８２】
図8は、図7のビデオ・ストリーム310と同様のビデオ・ストリーム315を示す。しかしながら、ビデオ・ストリーム315は、ベース・ビデオ・ストリーム311及び補助ストリーム312と多重化された2Dセカンダリ・ビデオ・ストリーム313をさらに含む。図7のビデオ・ストリーム310と対照的に、2Dセカンダリ・ビデオ信号304は、ベース・ビデオ・ストリーム311又はセカンダリ・ストリーム312中に含まれる代わりに、別個の2Dセカンダリ・ビデオ・ストリーム313中に含まれる。
【００８３】
図9は、3Dビデオ信号300を有する情報キャリア320を示し、3Dビデオ信号300は、一例として、プライマリ信号成分321及びセカンダリ信号成分322に分けられる。情報キャリア320は、任意の適切な情報キャリア(例えばブルーレイ・ディスク、DVDディスク、ハードディスクなど)であることができ、追記不可であっても追記可能であってもよい。前者の場合、情報キャリア320は、製造を通じて3Dビデオ信号300を情報キャリアの物理的マークに変換することによって3Dビデオ信号300を有するように製造される。後者の場合、3Dビデオ信号300は、一般的に、消費者又はコンテンツ作成者によって情報キャリア320上へ記録され、記録するステップは、3Dビデオ信号300を情報キャリア320の物理的マークに変換することを伴う。3Dビデオ信号は、さらに、補助ストリーム312と多重化されたベース・ビデオ・ストリーム311を有する１つのビデオ・ストリーム310であることができる。前記ストリームの論理的多重化は、情報キャリア320上の物理的多重化をもたらす。長所として、物理的多重化は、読み取りユニットの物理的再配置を必要とすることなく、再生装置の読み取りユニットが両方のストリームを読み出すことを可能にする。
【００８４】
図9に示されるプライマリ信号成分321はベース・ビデオ信号302を有し、そしてセカンダリ信号成分322は2Dセカンダリ・ビデオ信号304を有する。ベース・ビデオ信号302及び2Dセカンダリ・ビデオ信号304の両方は、両方の信号成分の個別的な送信を可能にするためにフォーマットされる。その結果として、両方の成分は、情報キャリア320の２つの異なる場所に記憶されることもできる。補助信号303は、プライマリ信号成分321又はセカンダリ信号成分322中に含まれることができるが、第３信号成分中に含まれることもできる。この場合には、補助信号303は、第３信号成分の個別的な送信を可能にするためにフォーマットされる。同様に、プライマリ信号成分321はベース・ビデオ信号302を有することができ、一方、セカンダリ信号成分322は補助信号303を有する。この場合には、2Dセカンダリ・ビデオ信号304は、いずれの信号成分中にも含まれることができる。
【００８５】
両方の信号成分の個別的な記憶又は送信を可能にするフォーマットは、時折、逆多重化された（すなわち、いわゆるout-of-mux）記憶又は送信を可能にするものとしても知られる。3Dビデオ信号300の再生及び表示に際して、再生装置は、バッファリング目的のために、先ず情報キャリア320からセカンダリ信号成分322を読み出して、ローカル・ストレージ(例えば不揮発性メモリ)中に、前記信号成分を記憶することができる。再生装置が情報キャリア320から同時に２つの信号成分を読み出すことができない場合に、そのようなバッファリングが必要とされる場合がある。
【００８６】
続いて、再生装置は、3Dディスプレイでの3Dプライマリ・ビデオ信号301及び2Dセカンダリ・ビデオ信号304の同期再生を提供するために、ローカル・ストレージからセカンダリ信号成分322を読み出すと同時に情報キャリア320からプライマリ信号成分321を読み出すことができる。別の態様では、２つの成分のいずれかは、例えば、3Dビデオ信号300の再生の間にインターネットから直接ストリーミングされることができるか、又は、先ずインターネットからダウンロードされてローカル・ストレージにバッファされることもできる。
【００８７】
実際的な例では、3Dビデオ信号300は、ベース・ビデオ信号302として動画の2Dビデオ信号を含むプライマリ信号成分321を有するブルーレイ・ディスクを消費者が購入することを可能にする。そしてユーザは、おそらくオンライン支払いの後、インターネットから、補助信号303及び2Dセカンダリ・ビデオ信号304を含むセカンダリ信号成分322をダウンロードすることができる。このように、ダウンロードされたセカンダリ信号成分322は、2Dとしてブルーレイ・ディスクに含まれる動画の3D及びPiP機能を可能にする。
【００８８】
図10は、3Dビデオ信号300を生成するための信号生成装置350のブロック図である。装置は、セカンダリ・ビデオ信号として2Dセカンダリ・ビデオ信号304を提供するための提供手段351を有する。第１の変形例において、提供手段351は、外部ソースから2Dセカンダリ・ビデオ信号304を受信するための受信機であることができる。しかしながら、提供手段351は、3Dセカンダリ・ビデオ信号を受信するための受信機であることもでき、3Dセカンダリ・ビデオ信号を2Dセカンダリ・ビデオ信号304に変換するようにさらに用意されることができる。さらに、装置は、3Dビデオ信号300を生成するためにベース・ビデオ信号302、補助信号303及び2Dセカンダリ・ビデオ信号304をフォーマットするためのフォーマット・ユニット352を有する。
【００８９】
図11は、3D表示信号403を生成するために3Dビデオ信号300を処理するための信号処理装置400のブロック図である。装置は、3Dビデオ信号300からベース・ビデオ信号302、補助信号303及び2Dセカンダリ・ビデオ信号304を逆フォーマットするための逆フォーマット・ユニット401を有する。装置は、3Dディスプレイでの表示深さにおける2Dセカンダリ・ビデオ信号304の表示のための3D表示信号403を提供するためにベース・ビデオ信号302及び補助信号303と2Dセカンダリ・ビデオ信号304を結合するための結合ユニット402をさらに有する。その目的のために、3D表示信号403は、3Dディスプレイに直接送信されるか、又は、例えば、3Dディスプレイに送信される前にビデオ改良又はフォーマット変換のために、先ず追加の信号処理装置によって更に処理されることができる。
【００９０】
図12は、3D表示信号403を生成するためにビデオ・ストリーム310を処理するための信号処理装置410のブロック図である。装置は、ベース・ビデオ・ストリーム311及び補助ストリーム312をビデオ・ストリーム310から逆多重化するための逆多重化ユニット411を有する。装置は、ベース・ビデオ・ストリーム311からベース・ビデオ信号302を逆フォーマットして、補助ストリーム312から補助信号303を逆フォーマットして、2Dセカンダリ・ビデオ信号304をビデオ・ストリーム310から抽出するように用意される逆フォーマット・ユニット412を更に有する。
【００９１】
抽出は、基本的に、図2に表される方法110の「2Dセカンダリ・ビデオ信号を含める」ステップと逆のプロセスである。したがって、2Dセカンダリ・ビデオ信号304がビデオ・ストリーム310中に含まれる態様に応じて、前記信号を抽出するためのさまざまなオプションが存在する。例えば、ベース・ビデオ・ストリーム311も補助ストリーム312も2Dセカンダリ・ビデオ信号304を有さない場合、逆フォーマット・ユニット412は、2Dセカンダリ・ビデオ信号をビデオ・ストリームから直接抽出するように用意されることができる。これは、破線によって図12中に示される。
【００９２】
ベース・ビデオ・ストリーム311が、フォーマットされた形態で、2Dセカンダリ・ビデオ信号304と多重化されたベース・ビデオ信号302を有することも可能である。この場合には、逆フォーマット・ユニット412は、ベース・ビデオ信号302及び2Dセカンダリ・ビデオ信号304をベース・ビデオ・ストリーム311から逆多重化するように更に用意される。補助ストリーム312が、フォーマットされた態様で、2Dセカンダリ・ビデオ信号304と多重化された補助信号303を有することも可能である。この場合には、逆フォーマット・ユニット412は、補助信号303及び2Dセカンダリ・ビデオ信号304を補助ストリーム312から逆多重化するように更に用意される。最後に、装置は、図11中に表すのと同じ結合ユニット402を有する。
【００９３】
図13は、3D表示信号403を生成するために2Dセカンダリ・ビデオ・ストリーム313を有するビデオ・ストリーム315を処理するための信号処理装置420のブロック図である。ビデオ・ストリーム315は、ベース・ビデオ・ストリーム311及び補助ストリーム312と多重化される2Dセカンダリ・ビデオ・ストリーム313を有する。したがって、装置は、図12に示される逆多重化ユニット411と同様であるが、ビデオ・ストリーム315から2Dセカンダリ・ビデオ・ストリーム313を逆多重化するように更に用意される逆多重化ユニット421を有する。さらに、逆フォーマット・ユニット422は、図12に示される逆フォーマット・ユニット412と同様であるが、2Dセカンダリ・ビデオ・ストリーム313から2Dセカンダリ・ビデオ信号304を逆フォーマットするように更に用意される。最後に、装置は、図11に表すのと同じ結合ユニット402を有する。
【００９４】
図14は、オフセット値501を備える3Dビデオ信号500を示す。3Dビデオ信号500は、図6中に示される3Dビデオ信号300と同様であるが、さらに、3Dディスプレイでの2Dセカンダリ・ビデオ信号304の表示深さを示すオフセット値501を有する。ブルーレイ・ディスクに含まれる3Dビデオ信号500の以下の例によって説明されるような、オフセット値501が3Dビデオ信号500中に含まれることができる様々な態様が存在する。ここで、ベース・ビデオ信号302、補助信号303、2Dセカンダリ・ビデオ信号304及びオフセット値501は、それらがブルーレイ・ディスク規格のバージョンに従うようにフォーマットされる。この例では、2Dセカンダリ・ビデオ信号は、いわゆるPiP基本ストリーム中にフォーマットされる。ブルーレイ・ディスクはさらに、PiP機能を有する2Dブルーレイ・ディスク上に存在するのと同じデータ構造で記憶されるセカンダリ・ビデオ・ストリームを有し、すなわちそれは、そのいわゆる「STN_table」中に記載されるPiP基本ストリームも有するプレイアイテム中のサブパスとしてリストされる。この文脈において、プレイアイテムは本質的にプレイリストであり、プレイアイテム中のサブパスは本質的に追加のコンポーネントに対するリファレンスであり、「STN_table」は、プレイアイテムのプレゼンテーションの間に選択されることができる全ての基本ストリームをリストするテーブルである。2Dセカンダリ・ビデオ信号304は、さらにout-of-muxであるようにフォーマットされ、ローカル・ストレージに記憶され、3Dプライマリ・ビデオ信号301と同期して又は非同期で表示されることができる。もちろん、これらのオプションの組み合わせも可能である。
【００９５】
オフセット値501は、さまざまな態様で前記ブルーレイ・ディスクに含まれることができる。例えば、オフセット値501は、セカンダリ・ビデオ・ストリームのためのメタデータ中に含まれることができる(すなわちセカンダリ・ビデオ・メタデータ)。これのために、セカンダリ・ビデオ・メタデータは、サブパスがin-mux又はout-of-mux(非)同期PiPストリームを含む基本ストリームであることを示す新たなサブパス・タイプを定めることができる。さらに、オフセット値501を備えるオフセット・メタデータは、サブ・プレイアイテム中の予約フィールドに組み込まれることができる。
【００９６】
オフセット値501は、PiP基本ストリームのためのメタデータ中に含まれることもできる(すなわちPiPメタデータ)。PiPメタデータは、フレーム中のどこにPiPを配置するかを定める。そしてこれらの位置パラメータは、「PiP_offset」値識別子、及び、オフセットが、PiPを前方へ移動させる(すなわち3Dディスプレイの外側に突出させる)ことによって適用されるべきであるか、又は、PiPを後方に移動させる(すなわち3Dディスプレイ内部にへこませる)ことによって適用されるべきであるかを示す「PiP_offset_direction」を有する下記の表に示されているように拡張されることができる。
【表１】
2013513990.tif 000003
【００９７】
PiPのためのオフセット・メタデータは、関連するオフセット・パラメータ値を有する更なる2Dビデオ・ストリームをリストする新たに定義されるテーブルにおいてプレイリストに対する拡張データとして追加されることもできる。さらに、オフセット・データは、フレーム的に正確であることができ、すなわち、オフセット値501は、2Dセカンダリ・ビデオ信号304の特定のフレームのために提供される。そのような場合、3Dビデオ信号は複数のオフセット値501を有することができ、例えば、オフセット値ストリームとしてフォーマットされる。
【００９８】
上記に対する好ましい変形例において、オフセット値501は、以下の情報によって、3Dモードにおいてブルーレイ再生装置によって使用されるプレイリストのSTN_tableを拡張することによって提供される。
【表２】
2013513990.tif 000004
【００９９】
上記の表において、「PiP_offset_sequence_id_ref」フィールドは、オフセット値のストリームを参照するための識別子を特定する。好ましくは、オフセット値のこのストリームは、GOPごとに１つ、MVC SEIメッセージ中の表として伝達される。この文脈において、MVCはMulti View Codedを表し、SEIはSupplemental Enhancement Informationを表し、そしてGOPはGroup-of-Picturesを表す。前記オフセット値の解釈は、さらに、いわゆる「plane_offset_value」及び「plane_offset_direction」に依存する。また、「PiP_Full_Screen_offset_sequence_id_ref」フィールドは、PiPスケーリング・ファクタがフルスクリーンに設定される時のためのオフセット値のストリームを参照するための識別子を特定する。
【０１００】
さらに、オフセット値501又はオフセット値のストリームは、補助ストリーム312又は2Dセカンダリ・ビデオ・ストリーム313中のSEIメッセージ中で伝達されることができる。したがって、3Dビデオ信号を生成するための方法、例えば図4に示される方法は、補助ストリーム312及び/又は2Dセカンダリ・ビデオ・ストリーム313の付加拡張情報メッセージ（supplemental enhancement information message）において3Dビデオ信号500中にオフセット値のストリームを含めるステップを有する。
【０１０１】
また、オフセット値501は、例えば、ビデオ・ストリームのSEIメッセージ中に記憶されるグラフィクス・オフセット値に対する相対的なオフセット値であることができる。したがって、相対的なオフセット値と組み合わせられるグラフィクス・オフセット値は、2Dセカンダリ・ビデオ信号のための絶対オフセット値を決定する。
【０１０２】
図15は、3Dビデオ信号500中に含まれるオフセット値501を用いるように用意される信号処理装置510のブロック図である。装置は、図11の逆フォーマット・ユニット401と同様の逆フォーマット・ユニット511を有し、唯一の違いは、逆フォーマット・ユニット511が、入力として、図6の3Dビデオ信号300ではなく、図14の3Dビデオ信号500を受け取ることである。装置は、図11中に示される結合ユニット402と同様の結合ユニット512をさらに有し、違いは、結合ユニット512が、オフセット値501に依存して、ベース・ビデオ信号302及び補助信号303と2Dセカンダリ・ビデオ信号304を結合するようにさらに用意されることである。
【０１０３】
オフセット値501に依存して前記信号を結合することによって、3Dディスプレイでの2Dセカンダリ・ビデオ信号304の表示深さの制御が可能にされる。例えば、3Dプライマリ・ビデオ信号301が左+右(ステレオ)ビデオ信号である場合、2Dセカンダリ・ビデオ信号304の表示深さは、左ビデオ信号であるベース・ビデオ信号302にオフセット値の半分だけ左にシフトされた2Dセカンダリ・ビデオ信号304を結合することによって制御されることができる。さらに、オフセット値の半分だけ右にシフトされたセカンダリ・ビデオ信号304は、右ビデオ信号である補助信号303に結合される。結合の上記の例では、結合ユニット412においてオフセット値501を組み込むことがメモリ・ポインタの操作によって実現されることができるので、特に計算効率に関して有利である。
【０１０４】
3Dプライマリ・ビデオ信号301が2D+depthビデオ信号である場合、3Dディスプレイでの2Dセカンダリ・ビデオ信号304の表示深さを制御する考えられる態様は、2Dセカンダリ・ビデオ信号304がベース・ビデオ信号302に結合される位置におけるオフセット値501によって示される深さ値に補助信号303を設定することによる。上記の例では、ベース・ビデオ信号は2Dビデオ信号であり、補助信号は深さ信号である。同様に、3Dプライマリ・ビデオ信号301がマルチビュー+depthビデオ信号である場合、2Dセカンダリ・ビデオ信号304は、オフセット値501及びビューの角度から独立してシフトされつつ、ベース・ビデオ信号302の各々に結合され、すなわち、最も左のビューに対して、2Dセカンダリ・ビデオ304は比較的大きく右にシフトされ、一方、最も右のビューに対して、それは比較的大きく左にシフトされる。さらに、補助信号303の各々は、2Dセカンダリ・ビデオ信号304が前記補助信号303に対応するベース・ビデオ信号302に結合される位置におけるオフセット値501によって示される深さ値に設定されなければならない。
【０１０５】
図14に示される3Dビデオ信号500は、グラフィクス信号502をさらに有する。グラフィクス信号502は、視聴者に視覚的情報を提供するために含まれることができる。特にグラフィクス信号が2Dグラフィクス信号である場合、オフセット値501はグラフィクス信号502の表示深さを示す目的で3Dビデオ信号500中に提供されることができる。したがって、特に、同程度の表示深さでグラフィクス信号502及び2Dセカンダリ・ビデオ信号304の両方を表示することが視聴者にとって視覚的に心地よい場合があるので、そのようなオフセット値は、2Dセカンダリ・ビデオ信号304の表示深さの指標として用いられることもできる。いくつかの場合、明確に前記信号を区別することが望ましい場合もある。その場合、グラフィクス信号502のオフセット値501は、2Dセカンダリ・ビデオ信号304のための明確に異なる表示深さを決定するために用いられることができる。
【０１０６】
2Dセカンダリ・ビデオ信号304は、表示を目的とするメタデータによって提供されることもできる(例えば字幕)。この場合には、結合ユニット512は、2Dセカンダリ・ビデオ信号304及び対応する字幕が3Dディスプレイ上の同様の表示深さで表示されるように、オフセット値501に依存して字幕をさらに結合するようにさらに用意されることができる。また、オフセット値501が3Dビデオ信号500中に含まれないか又は視聴者が手動で表示深さを制御することを好むかもしれない。この場合には、信号処理装置510は、さらに、オフセット値501を受信するための受信手段を備えることができる。受信手段は、再生制御プログラムからオフセット値501を受信することができるか、又は、例えばユーザインタフェース若しくはリモコンを用いて視聴者からオフセット値501を受信することができる。
【０１０７】
図16は、3D表示信号403を表示するための3Dディスプレイ601、放送603から3Dビデオ信号300を受信するための放送受信機602、インターネット605から3Dビデオ信号300を受信するためのインターネット受信機604又は情報キャリア607から3Dビデオ信号300を読み出すための読取装置606の任意の組み合わせを有する信号処理装置600のブロック図である。
【０１０８】
信号処理装置600は、テレビ、モニタなどであることができ、例えば、任意のタイプの3D又は2Dディスプレイを備えることができる。例えば、信号処理装置600は自動立体視3Dテレビであることができ、3Dディスプレイはレンチキュラ・ベースのマルチビュー3Dディスプレイであることができ、装置は、3Dディスプレイ501への入力のために必要な3D表示信号403を生成することができる。信号処理装置600はまた、例えばブルーレイ・プレーヤー、ブルーレイ・レコーダ、セットトップ・ボックス、パーソナル・コンピュータ、ハードディスク・レコーダなどであることができ、その場合には、装置は一般的に3Dディスプレイ601を備えない。さらに、装置は、放送受信機602、インターネット受信機604又は読取装置606のうちの１つ又は２つのみを備えることができる。
【０１０９】
放送受信機602は、例えば地上放送、衛星放送又は有線放送を受信するための任意の適切な種類であることができる。インターネット受信機604も、任意の適切なタイプであることができ、例えばADSL、イーサネット、WLAN、UMTSなどによって必要とされるモデム機能を含むか、又は、インタフェース・プロトコル(例えばTCP/IP)であることができる。読取装置606は、情報キャリア607から3Dビデオ信号を読み出すための任意の適切なタイプであることができ、情報キャリア607は任意の適切なタイプである（例えばブルーレイ、DVD、フラッシュメモリ、ROM、RAMなど）。
【０１１０】
いうまでもなく、明確性のための前記説明は、異なる機能ユニットを参照して本発明の実施の形態を説明した。しかしながら、それぞれの機能ユニット又はプロセッサ間での機能の任意の適切な分布が、本発明を損なわずに用いられることができることは明らかである。例えば、個別のプロセッサ又はコントローラによって実行されるとして説明された機能は、同じプロセッサ又はコントローラによって実行されることができる。したがって、特定の機能ユニットに対する参照は、厳密な論理的又は物理的な構造又は組織を示すのではなく、説明された機能を提供するための適切な手段に対する参照としてのみ考えられるべきである。
【０１１１】
本発明は、ハードウェア、ソフトウェア、ファームウェア又はこれらの任意の組み合わせを含む任意の適切な形態で実施されることができる。本発明は、オプションとして、一つ以上のデータプロセッサ及び/又はデジタルシグナルプロセッサ上で動作しているコンピュータソフトウェアとして少なくとも部分的に実施されることができる。本発明の実施の形態の要素及びコンポーネントは、任意の適切な態様で、物理的、機能的及び論理的に実施されることができる。実際、機能は、１つのユニットにおいて、複数のユニットにおいて又は他の機能ユニットの一部として実施されることができる。このように、本発明は、１つのユニットにおいて実施されることができるか、又は、異なるユニット及びプロセッサ間で物理的及び機能的に分配されることができる。
【０１１２】
なお、3Dステレオ・ビデオ信号が例えば3Dプライマリ・ビデオ信号の解像度の４分の１にスケーリングされる場合、そのようなスケーリングされた3Dステレオ・ビデオ信号が提供する深さ印象もまた、一般的には、スケールダウンする。これは、一方では、スケーリングされた3Dステレオ・ビデオ信号の視差値、すなわち左及び右画像間の見かけ上の変位が比例してスケールダウンされる結果である。しかしながら、他方では、深さが視差に反比例するので、このスケーリングの影響が強調される。結果として、スケーリングは、深さ印象に対する顕著な効果を有する場合がある。したがって、セカンダリ・ビデオ信号が3Dプライマリ・ビデオ信号の解像度より低い解像度で利用可能な場合に、2Dセカンダリ・ビデオ信号としてセカンダリ・ビデオ信号を記憶することが特に有利な場合がある。後者は、2Dセカンダリ・ビデオ信号が3Dプライマリ・ビデオ信号の解像度の４分の１以下で記憶される場合に特に有効である。
【０１１３】
本発明は、2Dセカンダリ・ビデオ信号の少なくとも２つ、３つ又はより多くが3Dプライマリ・ビデオ信号に隣接する真のピクチャ・イン・ピクチャのような、様々なPiP実装によって用いられることができ、Picture and Pictureに関連して用いられることもできる。符号化されたオフセットと組み合わせて、本発明は特に、2Dセカンダリ・ビデオ信号が3Dプライマリ・ビデオ信号の中で表示されて、2Dセカンダリ・ビデオ信号の少なくとも２つの辺が3Dプライマリ・ビデオ信号に隣接するピクチャ・イン・ピクチャを実施するために有利である。後者は、ピクチャ・イン・ピクチャがフリーハンドの境界のような不規則な形状の境界を用いて実施される場合に特に当てはまる。そのようなアプリケーションにおいて、深さ方向のオフセットは、2Dセカンダリ・ビデオ信号が深さに関して適切な位置に配置されることを可能にする点で、オフセットのない状況に対する利点を提供する際に役に立つ場合がある。
【０１１４】
オフセットを追加する柔軟性は、3Dプライマリ・ビデオ信号に対する2Dセカンダリ信号のより柔軟な深さに関する位置決めを可能にする。この柔軟性は、例えば技術的に有利な位置、すなわち、
- 3Dプライマリ・ビデオの前、又は、少なくとも、直接隣接する（すなわち（x, y）空間近接）3Dビデオの前であり、したがってより自然な見た目を提供し、すなわち、3Dプライマリ・ビデオを遮蔽する2Dセカンダリが3Dプライマリ・ビデオの前に実際に配置される位置；
- 3Dプライマリ・ビデオ信号中の焦点深さの近くであり、したがって、視聴者が3Dプライマリ・ビデオ信号を観察することから2Dセカンダリ・ビデオ信号を観察することへの切り替えを容易にする位置；
- ゼロ視差面の近くであり、したがって、最大の鮮鋭度を提供する位置；並びに/又は
- 例えばコンテンツの作成者及び/若しくはコンテンツの芸術監督によって決定されるような審美的に心地よい位置；
での位置決めを可能にする。
【０１１５】
適切なオフセット制御を提供することによって、任意の上記のアプローチが組み合わせられることができる。オフセット制御は、異なるレベルの粒度で提供されることができる。例えば、オフセット制御は、フレームごとに提供されることができ、それによって、例えば、3Dプライマリ・ビデオ信号の深さの変動のような3Dプライマリ・ビデオ信号におけるダイナミクスを補償するために、2Dセカンダリ・ビデオ信号の適応配置を可能にする。しかしながら、この場合、時間的連続性が重要であり、変動の量は、3Dプライマリ・ビデオ信号に依存する場合がある（但し依存する必要はない）閾値以下に好ましくは保たれる。
【０１１６】
別の態様では、オフセット制御は、より効率的な符号化を提供するために、グループ・オブ・ピクチャに基づくような、より高い粒度で制御されることができ、好ましくは、粒度は、基礎をなすビデオ圧縮規格の粒度に対応する。またあるいは、オフセット制御は、ショットごとのような、さらにより高いレベルで制御されることができ、それによって、ビデオ信号のオーサリングの間のオフセット生成を容易にして、より効率的な符号化を提供する。本発明がいくつかの実施の形態に関連して説明されたが、それは本願明細書において述べられる特定の形態に制限されることを目的としない。むしろ、本発明の範囲は、添付の請求の範囲によってのみ制限される。加えて、ある特徴が特定の実施の形態に関連して説明されていると思われる場合があるが、当業者は、説明された実施の形態のさまざまな特徴が本発明によって組み合わせられることができることを認識する。請求の範囲において、「有する」「含む」などの用語は、他の要素又はステップの存在を除外しない。
【０１１７】
さらに、個別に列挙された複数の手段、素子又は方法ステップは、例えば１つのユニット又はプロセッサによって実施されることができる。加えて、個々の特徴が異なる請求項中に含まれる場合があるが、これらはおそらく有利には組み合わせられることができ、そして異なる請求項中への包含は、特徴の組み合わせが可能では無い及び/又は有利ではないことを意味しない。また、請求項の１つのカテゴリへの特徴の包含は、このカテゴリへの制限を意味せず、むしろ、特徴が適切に他の請求項カテゴリも同様に適用可能であることを示す。さらに、請求項中の特徴の順序は、特徴が機能する必要がある何らかの特定の順序を意味せず、特に、方法請求項中の個々のステップの順序は、ステップがこの順序で実行される必要があることを意味しない。むしろ、ステップは、任意の適切な順序で実行されることができる。更に、単数での参照は複数を除外しない。"a", "an", "第１", "第２"等は複数を除外しない。請求項中の参照符号は、単に明確な例として提供され、いかなる態様においても請求の範囲を制限するものとして解釈されてはならない。
【図１】
2013513990.tif 000005
【図２】
2013513990.tif 000006
【図３】
2013513990.tif 000007
【図４】
2013513990.tif 000008
【図５】
2013513990.tif 000009
【図６】
2013513990.tif 000010
【図７】
2013513990.tif 000011
【図８】
2013513990.tif 000012
【図９】
2013513990.tif 000013
【図１０】
2013513990.tif 000014
【図１１】
2013513990.tif 000015
【図１２】
2013513990.tif 000016
【図１３】
2013513990.tif 000017
【図１４】
2013513990.tif 000018
【図１５】
2013513990.tif 000019
【図１６】
2013513990.tif 000020
【国際調査報告】
2013513990.tif 000021
2013513990.tif 000022
2013513990.tif 000023