(57)【要約】  本発明は、コンテナフレーム（Ｃ）を含むデジタル立体ビデオストリーム（１０１）を生成する方法であって、前記コンテナフレーム（Ｃ）は、右画像（Ｒ）および左画像（Ｌ）に関する情報を含み、前記デジタル立体ビデオストリーム（１０１）を符号化するときに、前記右画像（Ｒ）および前記左画像（Ｌ）という２つの画像（Ｌ、Ｒ）のいずれか一方のみを含むコンテナフレーム（Ｃ）の領域を特定するよう適合されている少なくとも１つのメタデータ（Ｍ）を入力する、方法に関する。【選択図】図３ｃ
2013526145.tif 000002
【特許請求の範囲】
【請求項１】
コンテナフレーム（Ｃ）を含むデジタル立体ビデオストリーム（１０１）を生成する方法であって、前記コンテナフレーム（Ｃ）は、右画像（Ｒ）および左画像（Ｌ）に関する情報を含み、前記デジタル立体ビデオストリーム（１０１）を符号化するときに、前記右画像（Ｒ）および前記左画像（Ｌ）という２つの画像（Ｌ、Ｒ）のいずれか一方のみを含むコンテナフレーム（Ｃ）の領域を特定するよう適合されている少なくとも１つのメタデータ（Ｍ）を入力する、方法。
【請求項２】
前記デジタル立体ビデオストリームは、クロップ矩形を含む規格に従って符号化され、前記少なくとも１つのメタデータ（Ｍ）は、前記クロップ矩形を定義しており、前記規格と同じシンタックスを利用するとき、前記コンテナフレーム（Ｃ）に含まれている前記２つの画像（Ｌ、Ｒ）のいずれか一方のみを参照する、請求項１に記載の方法。
【請求項３】
前記規格は、Ｈ．２６４／ＡＶＣ規格である、請求項２に記載の方法。
【請求項４】
前記コンテナフレーム（Ｃ）の前記少なくとも１つの領域のサイズは、前記領域の幅／高さになんら変更を加えずとも表示可能である、請求項１から３のいずれか一項に記載の方法。
【請求項５】
前記コンテナフレーム（Ｃ）の前記少なくとも１つの領域は、補間され、フォーマットを変換されることにより、１６／９フォーマットでフルスクリーン表示が可能である、請求項１から３のいずれか一項に記載の方法。
【請求項６】
少なくとも１つの更なるメタデータ（Ｎ）が前記デジタル立体ビデオストリームに入力されて、立体視復号器に対して、前記少なくとも１つのメタデータ（Ｍ）を無視するべきである旨を伝える、請求項１から５のいずれか一項に記載の方法。
【請求項７】
前記少なくとも１つの更なるメタデータ（Ｎ）は、少なくとも１つのＳＩテーブルで、または、Ｈ．２６４／ＡＶＣ規格に従って符号化された前記デジタル立体ビデオストリームに関するＳＥＩメッセージで送信される、請求項６に記載の方法。
【請求項８】
前記少なくとも１つの更なるメタデータ（Ｎ）は、番組が２Ｄか３Ｄかを示すメタデータである、請求項６または７に記載の方法。
【請求項９】
コンテナフレーム（Ｃ）を含むデジタル立体ビデオストリーム（１０１）を符号化するデバイスであって、前記コンテナフレーム（Ｃ）は、右画像（Ｒ）および左画像（Ｌ）に関する情報を含み、請求項１から８のいずれか一項に記載の方法を実装するよう適合された手段を備えることを特徴とする、デバイス（１００）。
【請求項１０】
コンテナフレーム（Ｃ）を含むデジタル立体ビデオストリームから少なくとも１つの２Ｄに準拠した画像を再構築する方法であって、前記コンテナフレーム（Ｃ）は、右画像（Ｒ）および左画像（Ｌ）に関する情報を含み、前記デジタル立体ビデオストリーム（１０１）を復号化するときに、前記右画像（Ｒ）および前記左画像（Ｌ）という２つの画像（Ｌ、Ｒ）のいずれか一方のみを含むコンテナフレーム（Ｃ）の領域を特定するよう適合されている少なくとも１つのメタデータ（Ｍ）を抽出する、方法。
【請求項１１】
前記デジタル立体ビデオストリームは、クロップ矩形を含む規格に従って復号化され、前記少なくとも１つのメタデータ（Ｍ）は、前記クロップ矩形を定義しており、前記規格と同じシンタックスを利用するとき、前記コンテナフレーム（Ｃ）に含まれている前記２つの画像（Ｌ、Ｒ）のいずれか一方のみを参照する、請求項１０に記載の方法。
【請求項１２】
前記規格は、Ｈ．２６４／ＡＶＣ規格である、請求項１１に記載の方法。
【請求項１３】
前記コンテナフレーム（Ｃ）の前記少なくとも１つの領域のサイズは、前記領域の幅／高さになんら変更を加えずとも表示可能である、請求項１０から１２のいずれか一項に記載の方法。
【請求項１４】
前記コンテナフレーム（Ｃ）の前記少なくとも１つの領域は、補間され、フォーマットを変換されることにより、１６／９フォーマットでフルスクリーン表示が可能である、請求項１０から１２のいずれか一項に記載の方法。
【請求項１５】
コンテナフレーム（Ｃ）を含む立体ビデオストリームから少なくとも１つの２Ｄ互換性可能を有する画像を再構築する復号器であって、前記コンテナフレーム（Ｃ）は、右画像（Ｒ）および左画像（Ｌ）に関する情報を含み、請求項１０から１４のいずれか一項に記載の方法を実装する手段を備えることを特徴とする、復号器。
【請求項１６】
デジタル立体ビデオストリームを復号化して、コンテナフレーム（Ｃ）の右画像（Ｒ）および左画像（Ｌ）という２つの画像（Ｌ、Ｒ）を抽出する方法であって、復号器（１１００'）が、前記ビデオストリームが立体視用か否かを示す少なくとも１つのメタデータ（Ｎ）を読み出し、前記ビデオストリームが立体視用である場合には、クロップ矩形を定義する少なくとも１つの更なるメタデータ（Ｍ）に含まれる情報を無視し、前記コンテナフレーム（Ｃ）のシーケンスを一体的に生成して（produced integrally）、前記コンテナフレーム（Ｃ）のシーケンスを、デパッカー（１１０５）に送って、前記デパッカー（１１０５）が、立体ディスプレイ（１１１０'）が必要とする前記右画像（Ｒ）および前記左画像（Ｌ）という２つの画像（Ｌ、Ｒ）を生成する、方法。
【請求項１７】
前記復号器（１１００'）は、前記立体ビデオストリームに関するＳＩフィールドおよび／またはＳＥＩメッセージのコンテンツで、前記左画像（Ｌ）および前記右画像（Ｒ）がどのようにパッキングされているかを示す更なるメタデータ（Ｐ）を、前記デパッカー（１１０５）に送信する、請求項１６に記載の方法。
【請求項１８】
前記デパッカー（１１０５）は、コンテナフレームに含まれており前記左画像（Ｌ）および前記右画像（Ｒ）がどのようにパッキングされているかを示す更なるメタデータ（Ｐ）を読み出す、請求項１６に記載の方法。
【請求項１９】
前記更なるメタデータ（Ｐ）は、合成フレーム（Ｃ）の各領域のクロップ矩形を含む、請求項１７または１８に記載の方法。
【請求項２０】
前記メタデータ（Ｎ）が、前記ビデオストリームが立体視用ではないと示している場合、前記復号器（１１００'）は、前記クロップ矩形を定義している前記少なくとも１つの更なるメタデータ（Ｍ）に含まれている前記情報を読み出して、前記クロップ矩形が定義している画像を前記ディスプレイ（１１１０）に送信する、請求項１６に記載の方法。
【請求項２１】
デジタル立体ビデオストリームを復号化して、前記右画像（Ｒ）および前記左画像（Ｌ）という２つの画像（Ｌ、Ｒ）を抽出する復号器であって、請求項１６から１９のいずれか一項に記載の方法を実装する手段を備える、復号器。
【請求項２２】
デジタル立体ビデオストリームを復号化して、コンテナフレーム（Ｃ）の画像を抽出する復号器であって、請求項２０に記載の方法を実装する手段を備える、復号器。
【請求項２３】
請求項１６から１９の１以上に記載の立体ディスプレイが必要とする立体ビデオストリームの前記右画像および前記左画像を生成するデパッカー（１１０５）。
【請求項２４】
請求項１から８のいずれか一項に記載の少なくとも１つのコンテナフレーム（Ｃ）および少なくとも１つのメタデータ（Ｍ、Ｎ）を備えることを特徴とする立体ビデオストリーム（１１０１）。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタル立体ビデオストリーム（つまり、視聴デバイスで適切な処理を受けると、視聴者に３次元画像として認識される画像シーケンスが生成されるビデオストリーム）を生成する方法に関する。
【０００２】
本方法を利用すると、ユーザは、従来からの（立体視ではない）復号器およびテレビ受像機セットを持っていれば、２Ｄでの画像表示もできる。
【０００３】
本発明はさらに、デジタル形式で立体ビデオストリームを符号化および復号化する符号化デバイスおよび復号化デバイスに関する。
【背景技術】
【０００４】
近年、新たなデジタル技術の登場によって新たな製造ツールの開発が盛んになり、映画製造業界は、立体３Ｄコンテンツの製造に注目して、多大な資源投入を行ってきた。
【０００５】
３Ｄに対する関心は、今や家庭向け製品（つまりテレビ受像機セットでの画像表示）にも拡大されている。例えば、有料ＴＶ運営会社のなかにも、３Ｄの番組の放映を計画しているものがある。
【０００６】
立体ビデオコンテンツの提示方法として最もよく利用されているものは、それぞれ右目用および左目用の２つの独立したビデオストリームを表示して、人の脳で３次元オブジェクトに再構築する、という方法である。
【０００７】
家庭向け製品用の立体コンテンツは、通常高精細なビデオコンテンツであり、大量生産されるメモリ媒体（ＤＶＤまたはブルーレイディスク、光磁気または固体媒体等）で配信されたり、（有線または無線）放送チャネルを介して、または電話通信回線（ＩＰ）を介して配信されたりする場合がある。
【０００８】
しかし、既存の構造の製造環境においては、あるシーンを２つの異なる視点から撮像する立体視ビデオカメラが生成する２つのストリームを別個に転送したり処理したりすることが不可能である。
【０００９】
さらに、最終消費者に届いている配信ネットワークは規模が大きすぎて、単一のサービス提供に２つの独立した高精細ストリームを利用すると不経済である。この結果、製造プロセスにおいて幾つかの方策をとり、コンテンツの転送および実現（fruition）のためのビットレートを低減する必要がある。
【００１０】
２次元および３次元画像の詳細認知の差異の実現に関する研究結果によると、立体コンテンツの解像度が２次元コンテンツの解像度より下がっても、ユーザは品質を許容範囲であると認識する傾向があるらしく、立体画像を構成する２つの画像を１つのフレームにパッキングするための様々な方法が開発されてきている。
【００１１】
例えば、単一の高精細フレームＣ（１９２０ｘ１０８０画素）の場合には、左チャネルおよび右チャネル（今後はＬおよびＲと称する）を構成する２つの画像が、高精細フレームの半分の解像度に等しい水平解像度で取得され、その後、図１ａに示すような１つのフレーム（横並びに配置したフォーマット）に横並びに配置される。
【００１２】
このように、１つの高精細ストリームを、２つの独立したビデオチャネルの転送に利用することもでき、復号時には、２つの半分のフレームを分離して、適切な補間技術を利用することにより再度１６／９フォーマットにすることができる。
【００１３】
同様に、別の方法としては、水平解像度はそのままに、垂直解像度を半分にして、その後、図１ｂに示すように、２つのフレームＬおよびＲを、互いに重ねる（上下に並べるフォーマット）方法もある。
【００１４】
合成フレームからなる立体ビデオストリームは、次に圧縮にかけられ、放送ネットワーク、ＩＰネットワーク、または大容量メモリ媒体での配信前に転送ビットレートを低減される。
【００１５】
高解像度ビデオの配信に現在最もよく利用されている圧縮技術は、Ｈ．２６４／ＡＶＣ規格が定義している技術である。
【００１６】
現在市販されている高精細テレビ受像機セットは、１０８０ｐフォーマットまでの復号が可能なフォーマットをサポートしているＨ．２６４／ＡＶＣ規格の復号器を備えている。
【００１７】
様々なサービスプロバイダ（特に公共放送局）が気にする最も重要な要件の１つが、立体視信号の後方互換性である。
【００１８】
実際、高精細復号器を既に所有しているユーザに放送サービスを楽しんでもらうためには、３Ｄの番組を２Ｄの番組としても表示できることが望ましい。同様に、ＤＶＤ，Ｂｌｕ−ｒａｙ  ｄｉｓｃ３Ｄ、またはインターネットサイト上の３Ｄコンテンツは、２Ｄおよび３Ｄテレビ受像機セットおよびモニタの両方で表示することができることが望ましい。
【００１９】
これは２つの方法での達成が考えられる。１つ目が、１つの番組を２Ｄおよび３Ｄバージョン両方で同時放送することであり、２つ目が、相応しい立体ストリームの符号化技術を採用することである。
【００２０】
もちろん、１つ目の方法には、サービスプロバイダが嫌う帯域幅の無駄が伴う。
【００２１】
２つ目の方法に関しては、当技術分野において、後方互換性立体ストリームの生成方法は幾つか公知のものがある。
【００２２】
これら技術の１つが、いわゆる「深度マップ（depth maps）」を利用するものである（例えば、米国特許出願第２００２／００４８３９５号、第２００４／０１０１０４３号明細書に記載されている）。
【００２３】
実際には、２次元カラービデオには、深度マップを含んだ、互いに補う白黒のビデオ（supplementary black and white video）の形態の信号が関連付けられている。適切な復号器であれば、受信したデータから立体ビデオを再構築することができる。しかし、この技術には、同じ番組の２Ｄおよび３Ｄの送信について上述したものとまさに同じ問題がある。つまり、２つのビデオ信号を並行して送信する必要があり、送信ビットレートが高くなってしまう、という問題である。
【００２４】
別の後方互換性立体ストリーム符号化技術には、例えば「マルチビュー」と称されるものがある。
【００２５】
立体ビデオストリームを構成する左画像および右画像の対は高度に類似しているという特徴を持っているので、２次元ストリームの符号化に利用される時空冗長性抑制技術（space-time redundancy suppression techniques）を、この場合にも利用することができる。実際、撮影点の間の幾何学的距離（瞳孔間隔：interocular distance）に起因する一定のオフセットが差し引かれた場合、右目画像と左目画像との間の差異は小さくなる。
【００２６】
ＭＰＥＧ２規格は、マルチビュープロファイル（ＭＶＰ）と称される仕様の補遺によって拡張された。同様に、後続するＨ．２６４／ＡＶＣ規格も、マルチビュー符号化（ＭＶＣ）仕様を含むことで拡張された。
【００２７】
これら２つの仕様に共通する特徴は、スケーラブル・ビデオ符号化を使用している点である。つまり、立体ビデオストリームを、ベース層（２Ｄベースストリーム）および強化層（enhanced layer：第２のビューをトランスポートする層）に圧縮する。符号化されたストリームのシンタックスを、ＭＰＥＧ２またはＨ.２６４／ＡＶＣ規格に準拠していさえいれば古い世代の復号器でも、２Ｄビデオが復号化できるように調整する。
【００２８】
しかし、立体ストリームを上述したフォーマットのいずれかに符号化するために必要となるビットレートは、放送環境での利用を可能とするには高すぎる。
【発明の概要】
【発明が解決しようとする課題】
【００２９】
従って、本発明の目的の１つは、２Ｄストリームに必要なものと同じ帯域幅を利用して放送業者が配信可能な後方互換性デジタル立体ビデオストリームを生成および再構築する方法の提供である。
【００３０】
本発明の別の目的には、左目画像および右目画像を合成画像にパッキングする手法に関わらず常に利用可能であり、合成フレームの利用に基づいている、後方互換性デジタル立体ビデオストリームの生成および再構築方法の提供である。
【課題を解決するための手段】
【００３１】
本発明のこれらおよびその他の目的は、本記載と一体化されている部分である添付請求項に述べる特徴を含む立体ビデオストリームの生成および再構築方法により達成される。
【００３２】
本発明はさらに、立体ビデオストリームの符号化及び復号化のための符号化デバイスおよび復号化デバイス、並びに、立体ビデオストリームを記載する。
【００３３】
本発明の根底にある一般的な構想は、ビデオストリームの復号結果が２Ｄ復号器および３Ｄ復号器両方で利用可能となるような、あるパッキング技術によってパッキングされた複数のフレームを含むビデオストリームの生成および再構築方法の提供である。
【００３４】
好適な実施形態では、本発明の方法によって、ビデオストリームを、Ｈ．２６４／ＡＶＣ仕様（復号器になんらの変更も加えず）互換性可能を有する２Ｄ復号器により復号化が可能であり、且つ、高精細ディスプレイで表示できるように予め配置しておくことができる。
【００３５】
他方で、立体ディスプレイに連結された適切な復号器によって、立体ストリームを３Ｄで見ることができるようになる。
【００３６】
立体ビデオストリームの後方互換性は、立体ビデオストリーム内に既に存在しているメタデータを符号化段階中に、これまでとは違う使い方をすることで達成される。
【００３７】
このメタデータは、立体ビデオストリームにおける、右目用であっても左目用であっても、なんらかの画像を含む合成フレームの一領域を定義している。
【００３８】
２Ｄ復号器用には、メタデータに、復号器に対して、フレームを復号化したら、復号化した合成画像の一領域（立体ビデオストリームにおける、右目用であっても左目用であってもよい画像を含むもの）のみを出力せよと命令する情報を含ませる。
【００３９】
従って放送業者は、１つの立体ストリームを送信するだけでよく、これが、立体ビデオストリームの復号化ができてもできなくてもよい復号器により適切に処理され、このビデオストリームを、それを処理する復号器の特性に応じて２Ｄまたは３Ｄフォーマットで再生することができるようになる。
【００４０】
本発明の更なる目的および利点は、幾つかの実施形態を示した以下の記載からより明らかになるが、これは非制限的な例示である点に留意されたい。
【図面の簡単な説明】
【００４１】
実施形態を、添付する図面を参照して説明する。以下は図面の簡単な説明である。
【図１ａ】横並びにある立体ビデオストリームの合成フレームを示している。
【図１ｂ】上下の並びにある立体ビデオストリームの合成フレームを示している。
【図１ｃ】別のフォーマットの立体ビデオストリームの合成フレームを示している。
【図２】本発明における立体ビデオストリームの生成デバイスのブロック図である。
【図３ａ】切り出し矩形を破線で示した、図１ａの合成フレームを示している。
【図３ｂ】切り出し矩形を破線で示した、図１ｂの合成フレームを示している。
【図３ｃ】切り出し矩形を破線で示した、図１ｃの合成フレームを示している。
【図４ａ】２Ｄ画像の表示のみが可能なデバイスにおいて、デジタルビデオストリームとして受信されるテレビ画像の実現デバイスのブロック図である。
【図４ｂ】３Ｄ画像の表示も可能なデバイスにおいて、デジタルビデオストリームとして受信されるテレビ画像の実現デバイスのブロック図である。
【発明を実施するための形態】
【００４２】
図２を参照すると、本発明の立体ビデオストリーム１０１を生成するデバイス１００のブロック図が示されている。
【００４３】
デバイス１００は、それぞれが左目Ｌおよび右目Ｒ用の、２つの画像のシーケンス（１０２、１０３）（例えば２つのビデオストリームであってよい）を受信する。
【００４４】
デバイス１００は、２つの画像（２つの画像シーケンス１０２、１０３）を多重化することができる。デバイス１００は、この用途向けに、入力画像の画素を、１つの合成画像Ｃに入力することのできるアセンブラモジュール１０５を含む。
【００４５】
以下の記載において、画像を合成フレームまたはコンテナフレームＣに入力する、という言い回しは、（ハードウェアおよび／またはソフトウェア手段の利用によって）原画像と同じ画素を含む合成フレームＣの一領域を生成する処理を実行する、という意味として捉えられたい。合成画像が図１ａまたは図１ｂに示すタイプである場合、複写ステップで、画素数を水平方向または垂直方向に半分にする必要がある。従って、合成フレームＣに入力された２つの左Ｌおよび右Ｒ画像は、変形されて、水平解像度または垂直解像度が半分になる。
【００４６】
図１ｃに示すような別のフォーマット（a format being alternative to that of Fig. 1c）の立体ビデオストリームの合成フレームでは、入力画像が１２８０ｘ７２０画素（いわゆる７２０ｐフォーマット）である場合（高品質の画像を送信するために利用されるフォーマットの１つではあるが、高精細画像送信用ではない）、両方の画像を含むのに適した合成フレームとは、１９２０ｘ１０８０画素（つまり、１０８０ｐビデオストリームからなる１つのフレーム（１９２０ｘ１０８０画素のプログレッシブフォーマット））である。
【００４７】
このようなケースの場合、２つの右Ｒおよび左Ｌ画像を、歪曲および／またはサンプリング不足になることなく、合成フレームＣに入力することができるが、不利な点は、図１ｃの例にも示しているように、２つの画像のうちいずれかを少なくとも３つの部分に分割する必要がある、という点である。
【００４８】
図１ｃの別のフォーマットでは、第１の画像をコンテナフレームの任意の点に入力することができ（後者において、それぞれ異なる領域に分解（disassemble）する必要がないことを条件として）、第２の画像のフレームの分解およびそのコンテナフレームへの挿入は、異なる数多くの技術を利用して達成可能であるが、この特徴は本発明の目的には関連しない。
【００４９】
いずれの場合であっても、左Ｌおよび右Ｒ画像をコンテナフレームＣに入力する方法は、本発明の方法の実装には影響がない。
【００５０】
コンテナフレームＣのシーケンス１０１からなる立体ビデオストリームを符号化するときには、立体ビデオストリーム１０１を受信する２Ｄ復号器が復号プロセス後に出力する必要がある合成フレームＣの領域に関する情報を含む少なくとも１つのメタデータＭが入力される。
【００５１】
メタデータＭは、図１ｃの例の右目画像のように様々な画像に分解されていない左目Ｌ画像または右目Ｒ画像を含む合成フレームＣの一領域を特定するものである。
【００５２】
立体ビデオストリーム１０１をＨ．２６４／ＡＶＣ規格に従って符号化する場合、メタデータＭは、２００９年３月発行の「一般オーディオビジュアルサービスの高度ビデオ符号化」におけるＩＴＵ  ＴＨ．２６４ドキュメントのセクション７．３．２．１．１「シーケンス・パラメータ・セット・データ・シンタックス」で既に取り扱われている「クロップ矩形」に関するメタデータの代わりに利用すると好適である。
【００５３】
このメタデータは、当初、Ｈ．２６４／ＡＶＣ符号化により、画像を１６ｘ１６画素マクロブロックに分解することができるということに基づいて導入されたが、１０８０は、１６では除算できない数である。従って、符号器が利用する内部シングルフレーム表現フォーマットは、実際のフレームフォーマットと合致しないことがある（１９２０ｘ１０８０フレームでは、Ｈ．２６４／ＡＶＣ符号器は、１９２０ｘ１０８８画素を越える表現を利用するので、８つの空のラインが追加される）。しかし、「クロップ矩形」を記述しており、Ｈ．２６４／ＡＶＣ規格に含まれているメタデータでは、その役割が、復号されたフレームのどの部分を再生用に出力する必要があるかを復号器に教える、というものであるために、表示すべき矩形フレーム部分を、完全に一般的な方法で定義することができる。
【００５４】
実際には、これは、表示すべき部分の範囲を定めるクロップ矩形の水平および垂直方向の辺のフレームエッジ間の距離を定義している（画素数で表される）。
【００５５】
概して、画像クロップ矩形は、他の完全に均等な方法で定義することが可能である。例えば、矩形のある頂点の位置、またはその辺の寸法、または２つの対向する頂点の座標での定義も可能である。
【００５６】
既に標準化されている「クロップ矩形」のメタデータＭを従来とは異なる方法で利用して、従って同じシンタックスを利用することで、合成フレームＣの任意の領域の再生を、Ｈ．２６４／ＡＶＣ仕様に準拠した復号器に対して示すことができるようになる。
【００５７】
図３ａ、図３ｂ、および図３ｃを参照すると、クロップ矩形により範囲を定められた幾つかの領域が、破線によって示されているが、本発明ではこの情報が少なくとも１つのメタデータＭに含まれている必要がある。
【００５８】
例えば図３ａのコンテナフレームＣに示す横並びのフォーマット、および、図３ｃのコンテナフレームＣの別のフォーマットでは、クロップ矩形が示す領域は、コンテナフレームＣの左画像Ｌが占有している領域と整合している。
【００５９】
更なる例である図３ｂのコンテナフレームＣの上下配置のフォーマットでは、クロップ矩形が示す領域は、コンテナフレームＣの右画像Ｒが占有している領域に整合している。
【００６０】
符号化段階が完了すると、立体ストリームは、通信チャネルを介して送信される、および／または、適切な媒体（例えばＣＤ、ＤＶＤ，ブルーレイ、大容量メモリ等）に記録されてよい。
【００６１】
図４ａは、復号器１１００と、表示または視聴デバイス１１１０とからなる２Ｄコンテンツを視聴するための通常のシステムを示している。復号器１１００は、視聴デバイス１１１０（例えばテレビ受像機セット）に対して、２つの画像（つまり、右Ｒ画像および左Ｌ画像）のうちのいずれかを利用可能として、ユーザが、３Ｄコンテンツを２Ｄでも視聴することができるようにする。復号器１１００は、テレビ受像セットとは別のセットトップボックスであってもよいし、テレビ受像機セット自身に内蔵されていてもよい。
【００６２】
同様のことは、コンテナフレームを読み出して、処理することで２Ｄ画像を得るプレーヤ（例えばＤＶＤプレーヤ）にもいえる。
【００６３】
図４ａの参照に戻ると、受信機システムは、（ケーブルまたはアンテナを介して）、合成フレームＣを含む立体ビデオストリーム１１０３を受信する。復号器１１００は、フレームＣのどの部分を利用して、表示または視聴デバイス１１１０にストリームを表示するか、を示すメタデータＭを読み出す。続いて、メタデータＭが指定している合成フレームＣの部分に含まれる画像を抽出して、ディスプレイ１１１０に送信する。
【００６４】
復号器１１００が出力する画像のフォーマットが、ディスプレイ１１１０が生来サポートしているものには含まれない、というケースもある。例えば、横並びフォーマットの１０８０ｐフレームの場合、復号段階で、受像機１１００は、水平方向の長さが高精細のフレームの水平方向の長さの半分であるフレームを出力して、この結果得られるフレームの領域は、９６０ｘ１０８０画素となり、そのフォーマットは８／９となる。
【００６５】
これは、ディスプレイが生来サポートしている画像フォーマットではないが、今日のディスプレイであればすべてに含まれているデバイスが実行することができる適切な補間ステップによって、１９２０ｘ１０８０フォーマットに変換して戻すことができる。このデバイスは、いわゆるスケーラであり、受信したフォーマットを、ユーザが所望するものに適合させる、という役割を果たす（実際、全ての近年のテレビ受像機セットのリモートコントローラは、４／３、１６／９、１４／９、および自動フォーマットのなかから選択することができるボタンを含み、生来のもの以外のフォーマットでの視聴が可能である）。
【００６６】
合成フレームが図１ｃに示すタイプである場合、２Ｄ互換性可能を有する画像のフォーマットは、７２０ｐタイプである。後者は、全てのＨＤＴＶまたはＨＤ準拠（HD Ready）テレビ受像機セットが処理可能な標準的なフォーマットである。従って、スケーラで、準拠している画像を確実に拡張して、フルスクリーンでの表示を行うことができる。
【００６７】
幾つかのテレビ受像機セットに実行したテストの結果、図１ａまたは図１ｂに示すもののような合成フレームを利用した場合であっても、スケーラは、フルスクリーン１６／９フォーマットに変換することで、準拠している画像を正確に表示することができることがわかっている。
【００６８】
しかし３Ｄモードでの立体ビデオの視聴は、立体ビデオストリームに含まれている特殊な信号を認識することのできる手段を備え、クロップ矩形を利用しないでもビデオを復号化できる次世代復号器の利用によってのみ可能である。
【００６９】
これは幾つかの方法で達成可能である。例えば、更なるメタデータＮを追加して、クロップ矩形のみが２Ｄ復号器／テレビ受像機セットに有効である、と示す、という方法もある。
【００７０】
従って、既存の２Ｄ製品は、更新の必要がなく、また、ファームウェア／ハードウェアに変更を加える必要もない。
【００７１】
本発明の好適な実施形態では、原クロップ矩形を利用すべきかすべきでないか、を示すメタデータＮは、単に、それが３Ｄまたは２Ｄ送信であるかを示すメタデータであってよい。
【００７２】
このメタデータＮの送信は、例えば、少なくとも１つのＳＩ（サービス情報）テーブルまたはＨ．２６４ＳＥＩ（補足強化情報: Supplemental Enhancement Information）メッセージを利用して行われて良い。この代わりに、合成フレームの１以上の行を、３Ｄ固有のメタデータの送信専用にすることもできる。
【００７３】
図４ｂは、３Ｄコンテンツの表示に適した受像機システムを示す。このシステムは３つの部分からなり、３つの部分は、それぞれ独立した装置であってもよいし、様々な方法でアセンブルされていてもよい。３つの部分は、復号器１１００'、デパッカー（depacker）１１０５、およびディスプレイ１１１０'である。
【００７４】
図４ａと比較すると、更なるコンポーネント（つまりデパッカー１１０５）が必要であることがわかる。復号器１１００'は、合成フレームＣシーケンス全体を出力する（つまり、クロップ矩形情報は無視される）。先行技術の標準的な復号器は、フレームの復号後に、クロップ矩形に含まれている画像の部分のみを出力することから、ここで利用されるものは、非標準的な復号器である。デパッカー１１０５は、画像Ｌおよび画像Ｒを合成フレームＣから抽出して、ディスプレイ１１１０'自身が必要とするモードでディスプレイ１１１０'に出力する。
【００７５】
こうするために、デパッカー１１０５は、合成フレームの成り立ちを知る必要がある。１つのフォーマットではなく様々なフォーマットを処理するのに適しているデパッカー１１０５は、これらモードを指定するメタデータＰを読み出す必要がある。
【００７６】
このメタデータＰは、ＳＩテーブルまたはＳＥＩメッセージに入力されていてもよいし、または、合成フレームの一行に入力されてもよい。前者の場合には、復号器１１００'がこのメタデータを読み出して、デパッカー１１０５に（例えばＨＤＭＩインタフェースを介して）送信する必要がある。ここで、このインタフェースの仕様が、まさにこの目的で最近更新された点は、言及に値する。後者の場合には、デパッカー１１０５が合成フレーム内に直接メタデータＰを見つけることができるので、状況はより簡単である。
【００７７】
本発明の特徴および利点が、上述の記載から明らかになった。
【００７８】
本発明の第１の利点は、２Ｄ復号器で復号することもできる３Ｄ番組の放送を希望する放送業者が、２つの同時ビデオストリームを送信する必要がなくなり、ビデオストリーム配信にまつわる帯域幅を減らすことができる、という点である。
【００７９】
本発明の第２の利点は、本発明の方法が、左画像および右画像を含むフレームがいかなる形態でコンテナフレームにパッキングされていようと利用可能である、という点である。
【００８０】
立体ビデオストリームの生成および再構築方法、および、関連する生成および再構築デバイスは、本発明の構想の新規な精神を逸脱しないで数多くの変形例が可能である。また、本発明の実際に実施に際しては、例示した詳細を変えた形にしてもよいし、他の技術的に均等物である構成要素で置き換えることもできる。
【００８１】
例えば、上述した記述では、特にＨ．２６４／ＡＶＣ規格について言及した。しかし、これに限られず、本方法は、Ｈ．２６４／ＡＶＣ規格のクロップ矩形の定義に利用されるメタデータに類似したメタデータを利用している他の規格とともに利用されて符号化を実行することもできる。
【００８２】
また、本開示では１０８０ｐフォーマットの合成フレームについて特に言及したが、本発明は、合成フレーム、およびフレームを構成する画像のサイズに依存はしない。従って本発明は合成フレームが７２０ｐサイズであったり、非常に高い解像度のタイプであったりしたとしても適用可能である（いわゆる２ｋおよび４ｋフォーマット、つまり約２，０００または４，０００個のラインがある）。
【００８３】
本発明は、立体ビデオストリームの生成および再構築方法および関連するデバイスに限定はされず、数多くの変形例、改善例、または均等物である部分および要素による置き換えが、本発明の構想の範囲を逸脱せずに可能であるが、これは以下に示す請求項にも明示されている。
【図１ａ】
2013526145.tif 000003
【図１ｂ】
2013526145.tif 000004
【図１ｃ】
2013526145.tif 000005
【図２】
2013526145.tif 000006
【図３ａ】
2013526145.tif 000007
【図３ｂ】
2013526145.tif 000008
【図３ｃ】
2013526145.tif 000009
【図４ａ】
2013526145.tif 000010
【図４ｂ】
2013526145.tif 000011
【国際調査報告】
2013526145.tif 000012
2013526145.tif 000013
2013526145.tif 000014