(57)【特許請求の範囲】
【請求項１】
データ信号を受信するステップであって、前記データ信号は、第１のビデオ解像度において２次元画像を表す第１のビデオ信号および第２のビデオ解像度において３次元画像を表す第２のビデオ信号を含み、前記第２のビデオ解像度は前記第１のビデオ解像度に対して低減されたビデオ解像度である、前記ステップと、
出力表示方式が２次元表示方式である場合には前記第１のビデオ信号を復号するステップと、
前記出力表示方式が前記第２のビデオ解像度を有する第１の３次元表示方式である場合には前記第２のビデオ信号を復号するステップと、
前記出力表示方式が前記第１のビデオ解像度を有する第２の３次元表示方式である場合には、前記第１のビデオ信号および前記第２のビデオ信号を同時に復号するステップであって、前記第１の３次元表示方式は前記第２の３次元表示方式に対して低減されたビデオ解像度を有する、前記ステップと、
を含む、方法。
【請求項２】
前記第１のビデオ信号は左眼画像を含む、請求項１に記載の方法。
【請求項３】
前記第２のビデオ信号は、低減されたビデオ解像度の左眼画像信号および低減されたビデオ解像度の右眼画像信号を含む、請求項２に記載の方法。
【請求項４】
前記第１のビデオ信号および前記第２のビデオ信号を同時に復号する前記ステップは、前記第２のビデオ信号の一部分を変換して、前記第１のビデオ信号の画像サイズと一致させるステップを含む、請求項３に記載の方法。
【請求項５】
前記第２のビデオ信号の一部分を変換して、前記第１のビデオ信号の画像サイズと一致させる前記ステップは、前記低減されたビデオ解像度の右眼画像を前記第１のビデオ信号の前記ビデオ解像度へとスケーリングするステップを含む、請求項４に記載の方法。
【請求項６】
前記スケーリングされた右眼画像は、１０８０ｉの水平方向の分割された画像および７２０ｐの垂直方向の分割された画像のうち少なくとも１つである、請求項５に記載の方法。
【請求項７】
前記データ信号を受信する前記ステップおよび前記復号するステップは、セットトップボックスで実行される、請求項１に記載の方法。
【請求項８】
コンテンツを処理するための装置であって、
データ信号を受信する信号受信器であって、前記データ信号は、第１のビデオ解像度において２次元画像を表す第１のビデオ信号および第２のビデオ解像度において３次元画像を表す第２のビデオ信号を含み、前記第２のビデオ解像度は、前記第１のビデオ解像度に対して低減されたビデオ解像度である、前記信号受信器と、
出力表示方式が２次元表示方式である場合には前記第１のビデオ信号を復号し、前記出力表示方式が前記第２のビデオ解像度を有する第１の３次元表示方式である場合には前記第２のビデオ信号を復号し、前記出力表示方式が前記第１のビデオ解像度を有する第２の３次元表示方式である場合には前記第１のビデオ信号および前記第２のビデオ信号を同時に復号する少なくとも１つのデコーダであって、前記第１の３次元表示方式は前記第２の３次元表示方式に対して低減されたビデオ解像度を有する、前記少なくとも１つのデコーダと、
を備える、前記装置。
【請求項９】
復号された前記第１のビデオ信号及び前記第２のビデオ信号を受信して表示デバイスに出力する、前記少なくとも１つのデコーダに結合されたインターフェースであって、前記出力表示方式を判定する、前記インターフェースをさらに備える、請求項８に記載の装置。
【請求項１０】
前記第１のビデオ信号は、少なくとも１つの左眼画像を含む、請求項９に記載の装置。
【請求項１１】
前記第２のビデオ信号は、１／２解像度の左眼画像および１／２解像度の右眼画像を含んでいる少なくとも１つの１／２解像度の分割スクリーン画像を含む、請求項１０に記載の装置。
【請求項１２】
前記第２のビデオ信号の一部分を、前記第１のビデオ信号の画像サイズと一致させるように変換するサンプルレートコンバータをさらに備える、請求項１１に記載の装置。
【請求項１３】
前記サンプルレートコンバータは、前記１／２解像度の右眼画像を、前記少なくとも１つの左眼画像の前記ビデオ解像度へとスケーリングする、請求項１２に記載の装置。
【請求項１４】
コンテンツを処理するための装置であって、
データ信号を受信する手段であって、前記データ信号は、第１のビデオ解像度において２次元画像を表す第１のビデオ信号および第２のビデオ解像度において３次元画像を表す第２のビデオ信号を含み、前記第２のビデオ解像度は、前記第１のビデオ解像度に対して低減されたビデオ解像度である、前記手段と、
出力表示方式が２次元表示方式である場合には前記第１のビデオ信号を復号するための手段と、
前記出力表示方式が前記第２のビデオ解像度を有する第１の３次元表示方式である場合には前記第２のビデオ信号を復号する手段と、
前記出力表示方式が前記第１のビデオ解像度を有する第２の３次元表示方式である場合には前記第１のビデオ信号および前記第２のビデオ信号を同時に復号する手段であって、前記第１の３次元表示方式は前記第２の３次元表示方式に対して低減されたビデオ解像度を有する、前記手段と、
を備える、前記装置。
【請求項１５】
前記第１のビデオ信号は少なくとも１つの左眼画像を含む、請求項１４に記載の装置。
【請求項１６】
前記第２のビデオ信号は、１／２解像度の左眼画像および１／２解像度の右眼画像を含んでいる少なくとも１つの１／２解像度の分割スクリーン画像を含む、請求項１４に記載の装置。
【請求項１７】
前記第１のビデオ信号および前記第２のビデオ信号を同時に復号する前記手段は、前記第２のビデオ信号の一部分を変換して、前記第１のビデオ信号の画像サイズと一致させる手段を含む、請求項１４に記載の装置。
【請求項１８】
信号を処理する方法であって、
第１のビデオ解像度において２次元画像を表す第１のビデオ信号および第２のビデオ解像度において３次元画像を表す第２のビデオ信号を含む信号を受信するステップであって、前記第２のビデオ解像度は、前記第１のビデオ解像度に対して低減されたビデオ解像度である、前記ステップと、
ビデオコンテンツを見るための表示デバイスの方式を判定するステップと、
前記第１のビデオ信号を復号するステップと、
前記第２のビデオ信号を復号するステップと、
前記表示デバイスの方式が、前記第１のビデオ解像度を有する２次元表示デバイスである場合、前記表示デバイスに対して、復号された前記第１のビデオ信号を含む出力信号を供給するステップと、
前記表示デバイスの方式が、前記第２のビデオ解像度を有する３次元表示デバイスである場合、前記表示デバイスに対して、復号された前記第２のビデオ信号を含む出力信号を供給するステップと、
前記表示デバイスの方式が、前記第１のビデオ解像度を有する３次元表示デバイスである場合には前記表示デバイスに対して、復号された前記第１のビデオ信号と復号された前記第２のビデオ信号の一部分との組合せを含む出力信号を供給するステップと、
を含む、前記方法。
【請求項１９】
信号を処理するための装置であって、
第１のビデオ解像度において２次元画像を表す第１のビデオ信号および第２のビデオ解像度において３次元画像を表す第２のビデオ信号を含むデータ信号を受信するための手段であって、前記第２のビデオ解像度は、前記第１のビデオ解像度に対して、低減されたビデオ解像度である、前記手段と、
ビデオコンテンツを見るための表示デバイスの方式を判定する手段と、
前記第１のビデオ信号を復号する手段と、
前記第２のビデオ信号を復号する手段と、
前記表示デバイスの方式が、前記第１のビデオ解像度を有する２次元表示デバイスである場合、前記表示デバイスに対して、復号された前記第１のビデオ信号を含む出力信号を供給する手段と、
前記表示デバイスの方式が、前記第２のビデオ解像度を有する３次元表示デバイスである場合、前記表示デバイスに対して、復号された前記第２のビデオ信号を含む出力信号を供給する手段と、
前記表示デバイスの方式が、前記第１のビデオ解像度を有する３次元表示デバイスである場合には、前記表示デバイスに対して、復号された前記第１のビデオ信号と復号された前記第２のビデオ信号の一部分との組合せを含む出力信号を供給する手段と、
を備える、前記装置。
【発明の詳細な説明】
【技術分野】
【０００１】
関連仮出願に対する参照
本出願は、米国特許法第１１９条の下で、２０１０年２月１５日に出願した米国特許仮出願第６１／３０４，７１８号の利益を主張するものである。
【０００２】
本開示は、一般に、コンテンツをエンドユーザに配信するためのデジタルコンテンツシステムおよび方法に関し、より具体的には、受信者が、１／２解像度の分割スクリーンの立体ビデオ、最大解像度の２次元（２Ｄ）ビデオ、最大解像度の立体ビデオのうち任意のものを選択して復号することを可能にする、多重化ビデオを符号化して放送するためのシステムおよび低帯域幅の方法に関する。
【背景技術】
【０００３】
テレビ受像機（テレビ）およびメディアセンターを含む家庭用娯楽器具システムは、インターネットとの一体化が進んでおり、ビデオ、映画、テレビ番組、音楽などのコンテンツの、多くの利用可能なソースへのアクセスを提供している。結果として、そのアクセス可能なコンテンツに対する表示およびナビゲートのプロセスに関連して、多数の課題が明らかになっている。
【０００４】
ホームビデオ市場に対して３次元（３Ｄ）表示をテストすることを切望する放送会社は、すべての既存の高解像度（ＨＤ）対応のセットトップボックスと現地で下位互換性のある放送フォーマットを採用することを望んでいる。これらの放送会社は、最近、左と右の立体ビデオ画像の１／２水平解像度の分割スクリーン符号化を用いる３Ｄビデオ放送を開始することを選択した。このシナリオでは、他の分割スクリーンビデオのシナリオと同様、分割スクリーンフォーマットから視聴者が立体ビデオとして感知することができるフォーマットに形式を変換するのは表示デバイスである。
【０００５】
ブルーレイディスク協会（ＢＤＡ）は、３Ｄ対応ブルーレイディスクに記憶される立体ビデオの効率的圧縮に対応するために、多視点映像符号化（ＭＶＣ）としても知られている多視点圧縮アルゴリズムを選択した。ＢＤＡは、３Ｄビデオを、１２８０×７２０ｐ６０または１９２０×１０８０ｐ２４の解像度、およびそれぞれの眼に対して利用可能なフレームレートを用いて符号化するようにも規定している。現世代および前世代のセットトップボックスは、ＭＶＣ符号化ビデオの復号に対応することができず、ＢＤＡによって要求されたのと同等の解像度およびフレームレートでビデオストリームを配信するはずのその他の既知の方法にも対応することができない。結果として、放送会社は、今後、ブルーレイ画質の３Ｄビデオへのアップグレードの道筋を示すようにせきたてられるはずである。しかし、放送会社は、従来のデコーダおよび１／２水平解像度の分割スクリーンビデオを使用している３Ｄビデオの顧客の初期グループのサポートを継続するようにも義務づけられることになる。初期の３Ｄの顧客が使用しているデコーダをアップグレードするための装置交換の費用を放送会社が負担しなければ、この義務が、ＭＶＣ圧縮への切換えの妨げとなる。
【０００６】
したがって、最大解像度の３Ｄビデオの符号化および放送を提供する一方で従来型の２Ｄビデオおよび３Ｄビデオに対応するための技法が必要とされている。
【発明の概要】
【０００７】
本開示の一態様によれば、第１のビデオ解像度で２次元画像を表す第１のビデオ信号および第２の解像度で３次元画像を表す第２のビデオ信号を含むデータ信号を受信するステップと、出力表示方式が２次元表示方式であれば第１のビデオ信号を復号し、出力表示方式が第１の３次元表示方式であれば第２のビデオ信号を復号し、また、出力表示方式が第２の３次元表示方式であれば第１のビデオ信号および第２のビデオ信号を同時に復号するステップとを含む方法が提供される。
【０００８】
本開示の別の態様によれば、コンテンツを処理するための装置は、第１のビデオ解像度で２次元画像を表す第１のビデオ信号および第２の解像度で３次元画像を表す第２のビデオ信号を含むデータ信号を受信する信号受信器と、出力表示方式が２次元表示方式であれば第１のビデオ信号を復号し、出力表示方式が第１の３次元表示方式であれば第２のビデオ信号を復号し、また、出力表示方式が第２の３次元表示方式であれば第１のビデオ信号および第２のビデオ信号を同時に復号する少なくとも１つのデコーダとを含む。
【０００９】
別の態様では、信号を処理する方法が説明される。この方法は、第１のビデオ解像度で２次元画像を表す第１のビデオ信号および第２の解像度で３次元画像を表す第２のビデオ信号を含むデータ信号を受信するステップと、ビデオコンテンツを見るための表示デバイスのタイプを判定するステップと、第１のビデオ信号を復号するステップと、第２のビデオ信号を復号するステップと、表示デバイスに出力信号を供給するステップであって、表示デバイスのタイプが３次元表示デバイスである場合には、出力信号が、第１の復号されたビデオ信号と第２の復号されたビデオ信号の一部分の組合せを含むステップとを含む。
【図面の簡単な説明】
【００１０】
本開示の、これらならびに他の態様、特徴および利点が説明される、または添付図面と関連して読み取られるべき好ましい実施形態の以下の詳細な記述から明らかになる。
【００１１】
図面の全体を通して、類似の参照数字は類似の要素を示す。
【００１２】
【図１】本開示による、ビデオコンテンツを配信するためのシステムの例示的実施形態を示すブロック図である。
【図２】本開示による、従来型の２次元（２Ｄ）を提供する、３次元（３Ｄ）の１／２解像度の分割スクリーン放送システムの例示的実施形態を示すブロック図である。
【図３】本開示による、１／２解像度の分割スクリーン放送を符号化するプロセスの例示的実施形態を示すフローチャートである。
【図４】本開示による、１／２解像度の分割スクリーン放送を復号するプロセスの例示的実施形態を示すフローチャートである。
【図５】本開示による、従来の３次元（３Ｄ）放送および最大解像度の３Ｄ放送用のシステムの例示的実施形態を示すブロック図である。
【図６】本開示による、従来の３次元（３Ｄ）放送および最大解像度の３Ｄ放送を符号化するプロセスの例示的実施形態を示すフローチャートである。
【図７】本開示による、従来の３次元（３Ｄ）放送および最大解像度の３Ｄ放送を復号するプロセスの例示的実施形態を示すフローチャートである。
【図８】本開示による、稠密な視差マップを生成するための受信デバイスの例示的実施形態を示す図である。
【図９】本開示による、稠密な視差マップを生成するプロセスの例示的実施形態を示すフローチャートである。
【００１３】
これらの図面は、本開示の概念を説明するためのものであり、必ずしも本開示を説明するための唯一可能な構成ではないことを理解されたい。
【発明を実施するための形態】
【００１４】
図面に示された要素は、ハードウェア、ソフトウェアまたはそれらの組合せの様々な形態で実装され得ることを理解されたい。好ましくは、これらの要素は、ハードウェアと、プロセッサ、メモリおよび入出力インターフェースを含み得る１つまたは複数の適切にプログラムされた汎用デバイス上のソフトウェアとの組合せで実装される。本明細書では、慣用句「結合された」は、直接接続される、または１つもしくは複数の中間構成要素を介して間接的に接続されることを意味するものと定義される。このような中間構成要素は、ハードウェアの構成要素とソフトウェアベースの構成要素の両方を含むことができる。
【００１５】
本説明は本開示の原理を説明する。したがって、当業者なら、本明細書で明確な記述または説明がなかったとしても、本開示の原理を実施し、その趣旨および範囲の中に含まれている様々な変更を考え出すことができるはずであることが理解されよう。
【００１６】
本明細書に列挙された実例および条件付き言語は、すべて、本開示の原理および本発明者が当技術を促進するために提供した概念に対する読者の理解を支援するための教示を目的としており、このような具体的に列挙された実例および条件に限定されないものと解釈されるべきである。
【００１７】
そのうえ、本開示の原理、態様、および実施形態、ならびにその特定の実例を本明細書に列挙しているあらゆる記述が、その構造上および機能上の等価物を包含するように意図されている。さらに、このような等価物は、現在知られている等価物だけでなく、今後開発される等価物、すなわち同一の機能を遂行するあらゆる開発要素も、構造にかかわらず含むものと意図されている。
【００１８】
したがって、例えば、本明細書に示されたブロック図が、本開示の原理を具現する例示的回路の概念図を表すことが、当業者には理解されよう。同様に、あらゆるフローチャート、流れ図、状態遷移図、擬似コードなどは、コンピュータ可読媒体の中に実質的に表され得てコンピュータまたはプロセッサによって実行され得る様々なプロセスを表すことが、このようなコンピュータまたはプロセッサが明確に示されているか否かにかかわらず理解されよう。
【００１９】
図面に示された様々な要素の機能は、専用ハードウェアならびに適切なソフトウェアと関連してソフトウェアを実行することができるハードウェアを使用することを介して、提供され得る。プロセッサによって提供されるときには、これらの機能を単一の専用プロセッサ、単一の共用プロセッサ、またはいくつかが共用され得る複数の個々のプロセッサによって提供することができる。そのうえ、用語「プロセッサ」または「コントローラ」の明示的使用は、もっぱらソフトウェアを実行することができるハードウェアを指すものと解釈されるべきではなく、デジタル信号プロセッサ（「ＤＳＰ」）のハードウェア、ソフトウェアを記憶するための読出し専用メモリ（「ＲＯＭ」）、ランダムアクセスメモリ（「ＲＡＭ」）、および不揮発性記憶装置を、限定することなく暗黙のうちに含み得る。
【００２０】
従来型の、および／または特定用途向けの、他のハードウェアも含むことができる。同様に、図面に示されたいかなるスイッチも概念的なものでしかない。これらスイッチの機能は、プログラムロジック、専用ロジック、プログラム制御と専用ロジックの相互作用の動作を介して、または手動でさえ実行され得て、状況からより具体的に理解されるように、開発者が特定の技法を選択することができる。
【００２１】
本明細書の特許請求の範囲では、特定の機能を遂行するための手段として表現されたあらゆる要素が、例えば、ａ）その機能を遂行する回路素子の組合せ、またはｂ）あらゆる形式のソフトウェア、したがって、その機能を遂行するために、そのソフトウェアを実行するための適切な回路と組み合わせたファームウェア、マイクロコードなどを含むソフトウェアを含む機能を遂行する、あらゆる方法を包含するように意図されている。そのような特許請求の範囲によって定義される本開示は、様々な列挙された手段によって与えられる機能性が、特許請求の範囲が要求するやり方で互いに組み合わせて一緒に導入されるという事実に存在する。したがって、それらの機能性をもたらすことができるあらゆる手段が、本明細書に示されたものと同等であると考えられる。
【００２２】
本開示は、２Ｄ画像だけを受信して復号すること、左眼画像と右眼画像の両方を含んでいる単一ビデオフレームだけを低減された解像度で受信して復号すること、および改善された解像度の３Ｄ画像を表示するために両方の信号を一緒に受信して復号することを含むいくつかの別々の受信状態に対応するために、２次元（２Ｄ）のコンテンツとともに３次元（３Ｄ）のビデオコンテンツの放送および受信を可能にするためのシステムおよび方法に関する。これらのシステムおよび方法は、例えば、最大解像度の左眼画像を、低減された（すなわち１／２）解像度で組み合わせた左眼画像と右眼画像の両方を有する第２の信号とともに送信することを示す。受信器は、一方または他方の信号を復号することができ、あるいは、能力があるなら両方を復号することができる。受信器が両方の信号を復号するなら、受信器は、例えば、低減された解像度の右眼画像を、復号された最大解像度の左眼画像信号の画像サイズと一致させるように、サンプルレートをアップコンバートすることができる。
【００２３】
最初に、ユーザに対して様々なタイプのビデオコンテンツを配信するためのシステムを説明する。次に、図１に移って、住宅またはエンドユーザにコンテンツを配信するためのシステム１００の実施形態のブロック図が示されている。コンテンツは、映画撮影所またはプロダクション会社などのコンテンツソース１０２から生じる。コンテンツを、２つの形式のうち少なくとも１つで供給することができる。形式の１つは、コンテンツの放送形式とすることができる。放送コンテンツは、一般にＡＢＣ放送局（ＡＢＣ）、ＮＢＣ放送局（ＮＢＣ）、コロンビア放送局（ＣＢＳ）などの全国放送サービスである放送系列会社の管理プログラム１０４に供給される。放送系列会社の管理プログラムは、コンテンツを収集し、蓄積することができ、配信ネットワーク１（１０６）として示された配信するネットワークによるコンテンツの配信をスケジュール設定することができる。配信ネットワーク１（１０６）は、全国センターから１つまたは複数の地域または地方のセンターへの衛星リンク伝送を含むことができる。配信ネットワーク１（１０６）は、無線放送、衛星放送、またはケーブル放送などのローカル配信システムを使用するローカルコンテンツ配信も含むことができる。局所的に配信されるコンテンツは、ユーザの自宅の受信デバイス１０８に供給され、ここでコンテンツは、次にユーザによって検索されることになる。受信デバイス１０８は、多くの形式をとることができ、セットトップボックス／デジタルビデオレコーダ（ＤＶＲ）、ゲートウェイ、モデムなどとして実施され得ることを理解されたい。
【００２４】
第２の形式のコンテンツは、特別コンテンツと称される。特別コンテンツには、例えば映画、ビデオゲーム、他のビデオ要素といった、高額の視聴コンテンツ、ペイパービュー方式コンテンツ、または他のコンテンツとして配信される、他の形式では放送系列会社の管理プログラムに供給されないコンテンツが含まれ得る。多くの場合、特別コンテンツは、ユーザによって要求されたコンテンツであり得る。特別コンテンツを、コンテンツの管理プログラム１１０に配信することができる。コンテンツの管理プログラム１１０は、例えばコンテンツプロバイダ、放送サービス、または配信ネットワークサービスに加入しているインターネットのウェブサイトなどのサービスプロバイダであり得る。コンテンツの管理プログラム１１０は、配信システムの中へインターネットのコンテンツを組み込むことができる。コンテンツの管理プログラム１１０を、個別の配信ネットワーク、配信ネットワーク２（１１２）上のユーザの受信デバイス１０８にコンテンツを配信することができる。配信ネットワーク２（１１２）は、高速の広帯域インターネットタイプの通信システムを含むことができる。放送系列会社の管理プログラム１０４からのコンテンツも、配信ネットワーク２（１１２）のすべてまたは一部分を用いて配信することができ、コンテンツの管理プログラム１１０からのコンテンツが、配信ネットワーク１（１０６）のすべてまたは一部分を用いて配信され得ることに留意することが重要である。また、ユーザは、必ずしもコンテンツの管理プログラム１１０によってコンテンツを管理されることなく、インターネットから配信ネットワーク２（１１２）を介してコンテンツを直接取得することができる。
【００２５】
別個に配信されたコンテンツを利用するためのいくつかの改造が可能であり得る。可能な手法の１つでは、放送コンテンツに対する拡張として、代替表示の提供、購入および取引のオプション、強化材料、および類似の品目などの特別コンテンツが提供される。別の実施形態では、特別コンテンツが、放送コンテンツとして提供されるいくつかのプログラミングコンテンツを完全に置換することができる。最終的に、特別コンテンツは、放送コンテンツと完全に分離したものとすることができ、ユーザが利用することを選択し得る、単なる媒体の代替的形態とすることができる。例えば、特別コンテンツは、それまでは放送コンテンツとして利用できなかった映画のライブラリとすることができる。
【００２６】
図２を参照すると、２次元（２Ｄ）の従来型にも対応する、３次元（３Ｄ）の１／２解像度の分割スクリーン放送向けのシステム２００の実施形態のブロック図が示されている。システム２００は、ビデオコンテンツを符号化して放送するための送信器２０２と、ビデオコンテンツを受信し、復号して、表示デバイスに供給するための受信器２０４とを含む。送信器２０２は、一般に、図１で説明された放送系列会社の管理プログラム１０４など、信号伝送センターに配置された設備とともに含むことができる。送信器２０２によって作成された信号は、配信ネットワーク１（１０６）などの放送ネットワークを通じて受信器２０４に伝送される。受信器２０４は、一般に、ユーザの自宅またはその近くに配置されたセットトップボックス、ゲートウェイ、コンピュータまたは他のネットワークインターフェースデバイスとすることができる。受信器２０４を、携帯情報端末、タブレット、または携帯電話などのモバイルデバイスの中に含むことができる。
【００２７】
送信器２０２は、最大解像度の右眼画像２０６と最大解像度の左眼画像２０８との立体画像対のソースを含む、または取得する。右眼画像２０６および左眼画像２０８は、図１で説明されたコンテンツソース１０２などのコンテンツソースから供給され得る。右眼画像２０６がサンプルレートコンバータ２１０に渡され、左眼画像２０８がサンプルレートコンバータ２１２に渡される。サンプルレートコンバータ２１０、２１２は、各画像の水平方向のサンプルレートを、元の水平サイズの２分の１に変換する。サイズが２分の１の右眼画像２１４とサイズが２分の１の左眼画像２１６が、画像プロセッサ２１８において単一画像へと合成される。
【００２８】
次いで、画像プロセッサ２１８からの合成画像が、エンコーダ２２０に伝送され、Ｍｏｔｉｏｎ  Ｐｉｃｔｕｒｅ  Ｅｎｔｅｒｔａｉｎｍｅｎｔ  Ｇｒｏｕｐ（ＭＰＥＧ）のＨ．２６４／ＭＰＥＧ−４  Ｐａｒｔ  １０規格、Ａｄｖａｎｃｅｄ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ（ＡＶＣ）規格、または類似の圧縮アルゴリズムに従って符号化されて、第１のビットストリーム２２２を形成する。さらに、取得された最大解像度の左眼画像２０８が、エンコーダ２２４に供給され、Ｈ．２６４／ＭＰＥＧ−４  Ｐａｒｔ  １０、ＡＶＣまたは類似の圧縮アルゴリズムに従って符号化されて、第２のビットストリーム２２６を形成する。２つのストリームが同一の圧縮アルゴリズムを用いなくてもよいことに留意することが重要である。例えば、エンコーダ２２０は、エンコーダ２２４が第２のビットストリーム２２６に対して用いる圧縮率より高い、またはより低い圧縮率のＨ．２６４アルゴリズムを用いて第１のビットストリーム２２２を符号化できる。さらに、最大解像度の画像２０８は左眼画像であると識別されているが、その説明は慣行のためでしかない。最大解像度の画像２０８は、替わりに右眼画像として識別することができる。結果として、本開示を通じて、左眼画像に関する説明と右眼画像信号に関する説明が逆になってもよいことが理解される。
【００２９】
エンコーダ２２０からの第１のビットストリーム２２２およびエンコーダ２２４からの第２のビットストリーム２２６が、出力信号プロセッサ２２８に供給される。コントローラ２３０は、識別情報を、生成し、または求めて、この情報をその他の制御情報とともに出力信号プロセッサ２２８に供給する。一実施形態では、コントローラ２３０は、各ビットストリームに対してパケットＩＤを設定する。出力信号プロセッサ２２８は、第１のビットストリーム２２２と第２のビットストリーム２２６とを、信号の一部分として受信デバイス２０４に伝送するために、コントローラ２３０によって供給されたパケットＩＤ情報および制御情報に基づいて単一ビットストリーム２３２へと合成する。コントローラ２３０は、識別ビット、識別バイト、または識別パケットを含むがこれらに限定されないさらなる情報も単一ビットストリーム２３２に追加する。さらに、コントローラ２３０は、上記の識別を用いて、受信デバイスに対して信号の一部分として伝送されるプログラムガイドを生成できる。プログラムガイド情報が含まれていると、受信器２０４は、ビットス
トリーム２３２が含んでいるプログラムコンテンツを識別することができる。
【００３０】
受信器２０４は、ビットストリーム２３２を含む入来信号を処理して、プログラムガイドに基づいてコンテンツを分離する。受信器２０４は、オーディオおよびビデオのコンテンツの記録および再生のために、ハードディスクまたは光ディスクドライブなどの記憶デバイス２３７を含むことができる。処理されたコンテンツは、図１で説明された表示デバイス１１４などの表示デバイスに供給される。表示デバイスは、従来型の２Ｄタイプのディスプレイとすることができ、あるいは先進の３Ｄディスプレイとすることができる。受信デバイス２０４は、表示デバイス自体を含む他のシステムの中に組み込むことができる。いずれの場合も、システムの完全な動作に必要ないくつかの構成要素が、当業者には周知であるため、簡潔さのために示されていない。
【００３１】
受信デバイス２０４では、ビットストリーム２３２などのコンテンツを含む信号が、入力信号受信器２３４で受信される。入力信号受信器２３４は、無線、ケーブル、衛星、イーサネット（登録商標）、ファイバおよび電話線のネットワークを含む、いくつかの可能なネットワークのうちの１つによって供給される信号の受信、復調、および復号に使用されるいくつかの既知の受信器回路のうちの１つとすることができる。所望の入力信号は、制御インターフェース（図示せず）を介して供給されるユーザ入力に基づいて、入力信号受信器２３４において選択して取得され得る。入力信号受信器２３４からの出力信号は、入力ストリームプロセッサ２３６に供給される。入力ストリームプロセッサ２３６は、信号の選択および処理を遂行して、第１のビットストリームと第２のビットストリームのどちらがデコーダに送るのに適切か判断する。入力ストリームプロセッサ２３６は、デバイス２０２およびパケットＩＤによって送られたプログラムガイド、または各ビットストリーム（例えばビットストリーム２２２およびビットストリーム２２６）に関する他の識別情報に基づいて、第１のビットストリームと第２のビットストリームを区別することになる。
【００３２】
さらに、入力ストリームプロセッサ２３６は、受信したビットストリームを記憶デバイス２３７に送ることができる。記憶デバイス２３７により、コントローラ２５４の制御下で、例えばユーザインターフェース（図示せず）から受信した早送り（ＦＦ）および巻き戻し（Ｒｅｗ）などのナビゲーション指示といった命令に基づいて、後ほどコンテンツを取得して再生することが可能になる。記憶デバイス２３７は、ハードディスクドライブ、スタティックランダムアクセスメモリまたはダイナミックランダムアクセスメモリなどの１つまたは複数の集積された大容量電子メモリ、またはコンパクトディスクドライブもしくはデジタルビデオディスクドライブなどの交換可能な光ディスク記憶システムとすることができる。
【００３３】
説明されたように、入力ストリームプロセッサ２３６は、ビットストリームを分離して、デコーダ２３８またはデコーダ２４４のいずれか一方の適切なデコーダに対して第１のビットストリームと第２のビットストリームのうち１つを転送することになる。一実施形態では、入力ストリームプロセッサ２３６が、ビットストリームに合成画像が含まれていると判断した場合には、ビットストリームはデコーダ２３８に送られることになる。デコーダ２３８は、合成画像を、Ｈ．２６４／ＭＰＥＧ−４  Ｐａｒｔ  １０又はＡＶＣなどの１つまたは複数のビデオ圧縮復号アルゴリズムによって、１／２解像度の左眼画像および右眼画像を有する合成画像２４０へと復号する。３Ｄの１／２解像度の出力２４２は、セレクタ２５０に供給される。セレクタ２５０を介して両ビットストリームのどちらをオーディオ／ビデオインターフェース２５２に供給するか判断して制御するために、コントローラ２５４が使用される。以下で、セレクタ２５０およびコントローラ２５４の動作を説明する。
【００３４】
入力ストリームプロセッサ２３６が、ビットストリームに最大解像度の左眼画像２０８が含まれていると判断した場合には、ビットストリームはデコーダ２４４に送られることになる。デコーダ２４４は、１つまたは複数の復号圧縮アルゴリズムによって左眼画像２０８を復号して左眼画像２４６を生成する。次いで、左眼画像は２Ｄの最大解像度の出力信号２４８として出力される。２Ｄの最大解像度の出力信号２４８も、セレクタ２５０に供給される。
【００３５】
コントローラ２５４は、オーディオ／ビデオインターフェース２５２を介して受信デバイス２０４に結合された表示デバイスのタイプを求める。オーディオ／ビデオインターフェース２５２は、光の三原色（ＲＧＢ）などのアナログ信号のインターフェースまたは高解像度マルチメディアインターフェース（ＨＤＭＩ）などのデジタルインターフェースとすることができる。コントローラ２５４は、オーディオ／ビデオインターフェース２５２と通信し、接続されている表示デバイスが２Ｄと３Ｄのどちらか、ということに関する情報をオーディオ／ビデオインターフェース２５２から受信する。例えば、ＨＤＭＩの場合には、コントローラ２５４は、ＨＤＭＩインターフェースを介して表示デバイスと通信することにより、表示デバイスの能力を判定する。しかし、これは、アナログのオーディオ／ビデオ（Ａ／Ｖ）インターフェースとは、一般に不可能である。アナログのＡＶインターフェースによって接続されたとき、表示デバイスのセットアップは、普通にはコントローラによって読み取ることができる受信デバイス２０４上のボタンで、または遠隔操作で駆動される選択を用いてユーザが表示タイプを入力するユーザインターフェーススクリーンで行なわれる。
【００３６】
コントローラ２５４は、表示デバイスのタイプに基づいて、セレクタ２５０を、３Ｄの１／２解像度のビデオ信号または２Ｄの最大解像度のビデオ信号のいずれかの適切な出力信号を出力するように制御する。例えば、コントローラ２５４は、オーディオ／ビデオインターフェース２５２に３Ｄ表示デバイスが結合されていると判断した場合には、３Ｄの１／２解像度の出力２４２を、セレクタ２５０を介してオーディオ／ビデオインターフェース２５２に送ることになる。コントローラ２５４は、オーディオ／ビデオインターフェース２５２に２Ｄの表示デバイスが結合されていると判断した場合には、２Ｄの最大解像度の出力２４８を、セレクタ２５０を介してオーディオ／ビデオインターフェース２５２に送ることになる。上記の処理は、入力信号受信器で受信された信号または記憶デバイス２３７から検索されたコンテンツから始まり得ることを理解されたい。
【００３７】
コントローラ２３０およびコントローラ２５４を、送信器２０２およびセットトップボックス２０４の中にそれぞれ含まれている構成要素のいくつかに対してバスを介して相互接続できることをさらに理解されたい。例えば、コントローラ２５４は、入力ストリーム信号を、記憶デバイス２３７に記憶する、または図示されていない表示デバイスに表示するための信号に変換する変換プロセスを管理できる。コントローラ２５４は、記憶されたコンテンツの検索および再生も管理する。コントローラ２３０およびコントローラ２５４を、コントローラ２３０およびコントローラ２５４向けの情報および命令コードを記憶するための図示されていない制御メモリ（例えばランダムアクセスメモリ、スタティックＲＡＭ、ダイナミックＲＡＭ、読出し専用メモリ、プログラマブルＲＯＭ、フラッシュメモリ、ＥＰＲＯＭ、ＥＥＰＲＯＭなどを含む揮発性または不揮発性のメモリ）にさらに結合することができる。さらに、メモリの実装形態には、単一メモリデバイス、あるいは互いに接続されて、共用の、すなわち共通のメモリを形成する複数のメモリ回路など、いくつかの可能な実施形態が含まれ得る。またさらに、メモリを、バス通信回路の一部分などの他の回路とともに、より大きな回路の中に含むことができる。
【００３８】
図３に移って、１／２解像度の分割スクリーン放送を符号化するプロセス３００の実施形態のフローチャートが示されている。プロセス３００は、主として図２に説明された送信器２０２に関して説明されることになるが、図１に説明された放送系列会社の管理プログラム１０４の中に見られる装置にも同様に含まれ得る。ステップ３０２で、最大解像度の右眼画像が取得される。同様に、ステップ３０４で、最大解像度の左眼画像が取得される。右眼画像と左眼画像を、立体画像の対を形成し、図１で説明されたコンテンツソース１０２などのコンテンツソースから供給することができる。さらに、２つの画像のうちの１つを、２Ｄ画像および２Ｄ−３Ｄの処理技法を用いて、送信器２０２などの送信器デバイスによって生成することができる。ステップ３０６で、右眼画像および左眼画像のそれぞれが、各画像の水平方向のサンプルレートを元の水平サイズの２分の１に変更することによって変換される。次に、ステップ３０８で、２分の１サイズの右眼画像と２分の１サイズの左眼画像が、単一画像へと合成される。２分の１サイズの各画像が、一般に、画像信号の最大水平幅の２分の１を占めることに留意することが重要である。あるいは、各１／２サイズ画像が、格子縞パターンなど、画像信号全体にわたるパターンで散在することができる。
【００３９】
ステップ３１０で、合成画像が、次いでビデオ圧縮符号化アルゴリズムを用いて符号化されて、第１の符号化されたビットストリームを形成する。一実施形態では、合成画像を、Ｈ．２６４／ＭＰＥＧ−４  Ｐａｒｔ  １０、ＡＶＣまたは何らかの類似の圧縮アルゴリズムによって符号化することができる。ステップ３１２で、ステップ３０４からの最大解像度の左眼画像が、ステップ３１０で説明されたものと類似のビデオ圧縮符号化アルゴリズムを用いて符号化されて、第２の符号化されたビットストリームを形成する。
【００４０】
次に、ステップ３１４で、プログラム情報のうちの１つまたはセグメント（例えばビット、バイト、パケット）を形成するために、第１のビットストリームおよび第２のビットストリームに関する情報が取得されて処理される。また、ステップ３１４では、第１のビットストリームと第２のビットストリームが合成されて単一の信号またはビットストリームを形成し、第１のビットストリームおよび第２のビットストリームに関する情報が単一ビットストリームに添付される。一実施形態では、この情報は、プログラムの識別子（ＰＩＤ）として添付される。単一ビットストリーム用のＰＩＤを他のビットストリームからのＰＩＤと組み合わせて、別個のプログラムガイドビットストリームを形成できる。最後に、ステップ３１６で、単一ビットストリームを含んでいる出力信号が伝送される。この出力信号を、図１で説明された配信ネットワーク１０６などの配信ネットワーク上において、伝送信号として伝送することができる。伝送ステップ３１６は、追加のエラー訂正符号化、変調符号化、デジタル／アナログ変換、フィルタリング、およびアナログ信号のアップコンバートなど、信号を伝送するのに必要な追加の信号処理も含むことができる。この出力信号は、プログラムガイドストリームなどの追加情報に加えて他のビットストリームも含むことができる。プログラムガイド情報を、個別のビットストリームとして生成する替わりに、単一ビットストリームに添付することができることに留意することが重要である。
【００４１】
図４に移って、１／２解像度の分割スクリーン放送を復号するための例示的プロセス４００のフローチャートが示されている。プロセス４００は、主として、図２で説明された受信器２０４に関して説明されることになる。プロセス４００を、図１で説明された受信デバイス１０８などの受信デバイスの動作の一部分として使用することができる。ステップ４０２で、他のコンテンツに加えて所望のビットストリーム（例えばビットストリーム２３２）も含んでいる信号が、伝送ネットワークから受信される。信号およびコンテンツを、図１で説明された放送系列の管理プログラム１０４などのネットワークサービスプロバイダによって供給することができ、受信器２３４などの入力信号受信器で受信される。所望のビットストリーム２３２などのビットストリームを含むコンテンツを、記憶デバイス２３７などの記憶デバイス、またはデジタル多用途ディスク（ＤＶＤ）もしくは他の媒体などの他の媒体デバイスから供給することができる。
【００４２】
ステップ４０４で、受信された入力信号が、複数のビットストリームへと分離される。必要に応じて、所望のビットストリーム２３２からの第１および第２のビットストリームのそれぞれが、適切なデコーダに供給される。ステップ４０４は、ビットストリームが合成画像を含んでいるかどうかということに関する判断を含むことができる。ビットストリームが合成画像を含んでいる場合には、ビットストリームは、Ｈ．２６４／ＭＰＥＧ−４  Ｐａｒｔ  １０、ＡＶＣまたは他の類似の圧縮復号プロセスなどの１つまたは複数のビデオ圧縮復号アルゴリズムによって復号されることになる。ステップ４０４における復号が、１／２解像度の合成された左眼画像および右眼画像を生成する。ステップ４０６で、分離されたビットストリームのうちの１つが最大解像度の左眼画像を含んでいると、類似の復号が行なわれる。ステップ４０６における復号は、ステップ４０４で説明されたものと類似のビデオ圧縮復号アルゴリズムを使用することができる。
【００４３】
ステップ４０８で、ビデオコンテンツを表示するのに使用されている表示デバイスのタイプが判断される。一実施形態では、表示デバイスは、オーディオ／ビデオインターフェース２５２などのオーディオ／ビデオインターフェースを介してセットトップボックス２０４に結合される。オーディオ／ビデオインターフェース２５２は、光の三原色（ＲＧＢ）などのアナログ信号のインターフェースまたは高解像度マルチメディアインターフェース（ＨＤＭＩ）などのデジタルインターフェースとすることができる。表示デバイスを、セットトップ２０４の中の受信要素および処理要素と一体化することもできる。ステップ４０８における判定を、表示デバイス識別プロセスによって自動的に遂行される、またはユーザによって選択することができる。
【００４４】
ステップ４０８で判定されたディスプレイのタイプに基づいて、次いで、ステップ４１０で、表示デバイスに適切な出力信号が供給される。一実施形態では、ステップ４０８および４１０は、コントローラ２５４およびセレクタ２５０によって遂行される。例えば、コントローラ２５４は、オーディオ／ビデオインターフェース２５２に３Ｄ表示デバイスが結合されていると判断した場合には、３Ｄの１／２解像度の出力２４２を、セレクタ２５０を介してオーディオ／ビデオインターフェース２５２に送ることになる。コントローラ２５４は、オーディオ／ビデオインターフェース２５２に２Ｄの表示デバイスが結合されていると判断した場合には、２Ｄの最大解像度の出力２４８を、セレクタ２５０を介してオーディオ／ビデオインターフェース２５２に送ることになる。あるいは、ステップ４０８および４１０を、オーディオ／ビデオインターフェース２２またはデコーダ２３８および２４４などの他の要素を使用して遂行することができる。上記の処理は、入力信号受信器で受信した信号または記憶デバイス２３７から取り戻したコンテンツから始めることができることも理解されたい。
【００４５】
次に、図５に移って、従来の３次元（３Ｄ）放送、従来の２Ｄ放送および最大解像度の３Ｄ放送向けのシステムの実施形態のブロック図が示されている。システム５００は、ビデオコンテンツを符号化して放送するための送信器５０２と、例えばセットトップボックス、ゲートウェイ、またはビデオコンテンツを受信し、復号して、表示デバイスに供給するための他のネットワークインターフェースデバイスといった受信デバイス５０４とを含む。受信デバイス５０４を、携帯情報端末、タブレット、または携帯電話などのモバイルデバイスにも含むことができる。以下で説明されることを除けば、送信器５０２および受信デバイス５０４の両方が、図２で説明されたシステム２００と類似のやり方で動作し、相互に調和する。
【００４６】
送信器５０２は、立体画像対の最大解像度の右眼画像および最大解像度の左眼画像を取得する。最大解像度の右眼画像および左眼画像を、コンテンツソースから、または上記で説明された、いくつかの他のやり方で、供給することができる。右眼画像と左眼画像が、合成回路５１１で単一画像へと合成されて、サンプルレートコンバータ５１０に供給される。サンプルレートコンバータ５１０は、合成画像の水平方向のサンプルレートを、元の水平方向のサイズの２分の１に変換する。
【００４７】
サンプルレートコンバータ５１０の出力端は、変換された画像５１８をエンコーダ５２０に供給する。エンコーダ５２０は、上記で説明されたアルゴリズムなどの１つまたは複数のビデオ圧縮アルゴリズムを用いて、画像を符号化する。さらに、取得された最大解像度の左眼画像がエンコーダ５２４に供給され、前述のように１つまたは複数のビデオ圧縮アルゴリズムを用いて符号化される。エンコーダ５２０の出力が第１のビットストリーム５２２として識別され、エンコーダ５２４の出力が第２のビットストリーム５２６として識別されて、これらが出力信号プロセッサ５２８に供給される。信号プロセッサ５２８の出力は、コントローラ５３０の制御下で動作する。コントローラ５３０は、各ビットストリームに対して、パケットＩＤまたは他のストリーム識別子を設定し、出力信号プロセッサ５２８は、第１のビットストリーム５２２と第２のビットストリーム５２６を、パケットＩＤまたは他のストリーム識別子とともに単一ビットストリーム５３２へと合成する。出力信号プロセッサ５２８が、ビットストリーム５３２を含む出力信号を供給し、これが送信器５０２から受信デバイス５０４に伝送される。さらに、コントローラ５３０はプログラムガイドを形成し、これも受信デバイス５０４に伝送される。
【００４８】
プログラムガイドは、パケットＩＤまたは出力ストリーム５３２に関する他の情報、ならびに受信デバイス５０４に伝送される他のビットストリームに関する情報を含むことができる。プログラムガイドは、受信デバイス５０４に対して、ビットストリーム５３２ならびに出力信号の一部分として含まれて伝送されたその他のビットストリームに何が含まれているか通知するのに使用される。プログラムガイドを、個別のビットストリームとして伝送することができる、または出力ビットストリーム５３２に添付することができる。
【００４９】
受信デバイス５０４は、ビットストリーム５３２を処理し、プログラムガイドに基づいてコンテンツを分離する。受信デバイス５０４は、オーディオおよびビデオのコンテンツの記録および再生用の、ハードディスクまたは光ディスクドライブなどの記憶デバイスを含むことができる。処理されたコンテンツは、図１で説明された表示デバイス１１４などの表示デバイスに供給される。表示デバイスは、従来型の２Ｄタイプのディスプレイとすることができ、あるいは先進の３Ｄディスプレイとすることもできる。受信デバイス５０４を、表示デバイス自体を含む他のシステムの中に組み込むことができる。いずれの場合も、システムの完全な動作に必要ないくつかの構成要素が、当業者には周知であるため、簡潔さのために示されていない。
【００５０】
受信デバイス５０４では、ビットストリーム５３２などのコンテンツを含む受信信号が、入力信号受信器５３４に受信される。入力信号受信器５３４は、無線、ケーブル、衛星、イーサネット（登録商標）、ファイバおよび電話線のネットワークを含む、いくつかの可能なネットワークのうちの１つによって供給される信号の受信、復調、および復号に用いられるいくつかの既知の受信器回路のうちの１つとすることができる。所望の入力信号は、制御インターフェース（図示せず）を介して供給されるユーザ入力に基づいて、入力信号受信器５３４で選択して取得され得る。入力信号受信器５３４からの出力信号は、入力ストリームプロセッサ５３６に供給される。入力ストリームプロセッサ５３６は、信号選択および処理を遂行して、第１のビットストリームと第２のビットストリームのどちらをデコーダ５３８またはデコーダ５４４のいずれかの適切なデコーダに送るべきか判断する。入力ストリームプロセッサ５３６は、第１のビットストリームと第２のビットストリームを、送信器５０２によって送られたプログラムガイド情報、パケットＩＤの識別子、またはビットストリーム５３２などの受信したビットストリームに関する他のストリーム識別子に基づいて識別し、かつ区別する。さらに、入力ストリームプロセッサ５３６は、前述のように、必要に応じて、受信したビットストリームを記憶デバイス５３７に送ることができる。
【００５１】
前述のように、入力ストリームプロセッサ５３６は、ビットストリームを分離して、識別または区別がなされたら、デコーダ５３８またはデコーダ５４４のいずれかの適切なデコーダに対して第１のビットストリームおよび第２のビットストリームのうちの１つを供給することになる。一実施形態では、入力ストリームプロセッサ５３６が、ビットストリームに合成画像のビットストリーム（例えばビットストリーム５２２）が含まれていると判断すると、次いで、合成画像のビットストリームがデコーダ５３８に送られることになる。デコーダ５３８は、Ｈ．２６４／ＭＰＥＧ−４  Ｐａｒｔ  １０、Ａｄｖａｎｃｅｄ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ（ＡＶＣ）または他のアルゴリズムによるビデオ圧縮アルゴリズムを用いて、合成画像ビットストリームを復号する。デコーダ５３８は、１／２解像度の左眼画像と右眼画像の合成画像５４０である３Ｄの１／２解像度の出力像信号５４２を生成する。３Ｄの１／２解像度の出力５４２は、コントローラ５５４によって制御されているセレクタ５５０に供給される。セレクタ５５０およびコントローラ５５４の動作は、図２に関連して上記で説明されたセレクタおよびコントローラに類似である。
【００５２】
入力ストリームプロセッサ５３６が、最大解像度の左眼画像（例えばビットストリーム５２６）を含むビットストリームが受信信号の一部分として供給されたものであると判断する、識別する、または区別すると、このビットストリームはデコーダ５４４に供給される。デコーダ５４４では、左眼画像５４６がＨ．２６４／ＭＰＥＧ−４  Ｐａｒｔ  １０、ＡＶＣまたは他の復号プロセスによって復号されて、２Ｄの最大解像度の出力信号５４８（左眼画像）を生成する。デコーダ５４４からの２Ｄの最大解像度の出力信号５４８も、デコーダ５３８の出力と同様に、コントローラ５５４によって制御されているセレクタ５５０に送られる。
【００５３】
３Ｄの１／２解像度の出力信号５４２の１／２解像度の右眼画像部分も、サンプルレートコンバータ５５６に供給される。サンプルレートコンバータ５５６は、画像の右眼部分の水平方向のサンプルレートをアップコンバートして最大解像度に戻す。あるいは、３Ｄの１／２解像度の出力信号５４２の全体をサンプルレートコンバータ５５６に供給することができる。サンプルレートコンバータ５５６は、右眼画像部分をアップコンバートしないうちは、信号の左眼画像部分を棄却するように動作することができる。アップサンプリングされた右眼画像は、１０８０ｉの水平分割画像または７２０ｐの垂直分割画像とすることができる。アップコンバートされた右眼画像信号は、２Ｄの最大解像度の出力信号５４８とともに、デコーダ５４４から合成回路５５７に供給される。合成回路５５７は、アップコンバートされた右眼画像を最大解像度の左眼画像と組み合わせて、左右の最大解像度の出力信号５５８を生成する。この最大解像度の出力信号は、コントローラ５５４によって制御されているセレクタ５５０にも供給される。
【００５４】
サンプルレートコンバータ５５６において、３Ｄの１／２解像度の出力信号５４２の右眼画像部分に対して遂行されるアップコンバージョンに基づいて、２Ｄの最大解像度の出力信号５４８においても何らかの形式のサンプルレート変換を遂行できることに留意することが重要である。例えば、２Ｄの最大解像度の出力信号５４８は１０８０ｉフォーマットとすることができ、一方、アップコンバートされた右部分の信号は７２０Ｐとすることができる。これらの画像を一致させるために、２Ｄの最大解像度の出力信号５４８のサンプルレートを１０８０ｉから７２０Ｐへと変換する必要があり得る。サンプルレートの変換を、デコーダ５４４または別個のサンプルレートコンバータ（図示せず）で遂行することができる。
【００５５】
３Ｄの１／２解像度の出力信号５４２の左眼画像部分の追加のサンプルレート変換も、右眼画像部分とともにサンプルレートコンバータ５５６で遂行することができるが、左眼画像用に２Ｄの最大解像度の出力信号５４８を用いると、より高画質の画像がもたらされる。サンプルレートの変換プロセスが、画像エラーまたは歪みなどの顕著なアーチファクトをもたらすことがある。これらのアーチファクトが右眼画像にしか存在し得ないので、２Ｄの最大解像度の出力信号５４８を用いることにより、視聴者がサンプルレート変換のアーチファクトに気付きにくくなるはずである。
【００５６】
コントローラ５５４は、オーディオ／ビデオインターフェース５５２を介して受信デバイス５０４に結合された表示デバイスのタイプを求める。オーディオ／ビデオインターフェース５５２は、光の三原色（ＲＧＢ）などのアナログ信号のインターフェースまたは高解像度マルチメディアインターフェース（ＨＤＭＩ）などのデジタルインターフェースとすることができる。コントローラ５５４は、オーディオ／ビデオインターフェース５５２と通信して、２Ｄの表示デバイス、３Ｄの従来の表示デバイスまたは３Ｄの最大解像度の表示デバイスがオーディオ／ビデオインターフェース５５２に接続されているかどうかということに関する情報をオーディオ／ビデオインターフェース５５２から受信する。コントローラ５５４は、表示デバイスのタイプに基づいて、セレクタ５５０を、適切な出力信号を出力させるように制御する。例えば、コントローラ５５４が、従来の３Ｄ表示デバイスはオーディオ／ビデオインターフェース５５２に結合されていると判断した場合には、３Ｄの１／２解像度の出力５４２が、セレクタ５５０を介してオーディオ／ビデオインターフェース５５２に送られることになる。コントローラ５５４が、２Ｄの表示デバイスはオーディオ／ビデオインターフェース５５２に結合されていると判断した場合には、２Ｄの最大解像度の出力５４８が、セレクタ５５０を介してオーディオ／ビデオインターフェース５５２に送られることになる。コントローラ５５４が、３Ｄの最大解像度の表示デバイスはオーディオ／ビデオインターフェース５５２に結合されていると判断した場合には、３Ｄの最大解像度の出力５５８が、セレクタ５５０を介してオーディオ／ビデオインターフェース５５２に送られることになる。上記の処理は、入力信号受信器で受信された信号または記憶デバイス５３７から検索されたコンテンツから始まり得ることを理解されたい。
【００５７】
次に、図６に移って、従来の３Ｄ放送、従来の２Ｄ放送および最大解像度の３Ｄ放送を符号化するための例示的プロセス６００のフローチャートが示されている。プロセス６００を、主として図５で説明された送信器５０２に関して説明することになるが、図２で説明された送信器２０２に関して同様に説明することができる、または図１で説明された放送系列会社の管理プログラム１０４に見られる技術に含むこともある。ステップ６０２で、最大解像度の右眼画像が取得される。同様に、ステップ６０４で、最大解像度の左眼画像が取得される。右眼画像および左眼画像を、立体画像対を形成し、図１で説明されたコンテンツソース１０２などのコンテンツソースから供給することができる。さらに、２つの画像のうちの１つを、２Ｄ画像および２Ｄ−３Ｄの処理技法を用いて、送信器５０２などの送信器デバイスによって生成することができる。ステップ６０６で、右眼画像および左眼画像のそれぞれが、各画像の水平方向のサンプルレートを元の水平方向のサイズの２分の１に変更することによって変換される。次に、ステップ６０８で、２分の１サイズの右眼画像と２分の１サイズの左眼画像が、単一画像へと合成される。２分の１サイズの各画像が、一般に、画像信号の最大水平幅の２分の１を占めることに留意することが重要である。あるいは、各１／２サイズ画像が、格子縞パターンなど、画像信号全体にわたるパターンで散在することができる。
【００５８】
ステップ６０２およびステップ６０４で最初に受信した画像信号に関する表示フォーマット次第で、結果として得られる単一画像をできるだけ高度な表示フォーマットで再フォーマットするために、サンプルレートを調節すると有利となり得ることに留意することが重要である。例えば、元の左眼画像および右眼画像が７２０ｐのフォーマットであれば、ステップ６０６におけるサンプルレート変換およびステップ６０８における合成は、１０８０ｐのフォーマットの合成された単一画像を形成するように遂行するべきである。結果として、受信デバイス５０４などの受信器用に使用するために、合成画像信号のためのできるだけ高いビデオ品質を維持して伝送する。
【００５９】
ステップ６１０で、合成画像が、次いでビデオ圧縮符号化アルゴリズムを用いて符号化されて、第１の符号化されたビットストリームを形成する。一実施形態では、合成画像を、Ｈ．２６４／ＭＰＥＧ−４  Ｐａｒｔ  １０、ＡＶＣまたは何らかの類似の圧縮アルゴリズムによって符号化することができる。ステップ６１２で、ステップ６０４からの最大解像度の左眼画像が、ステップ６１０で説明されたのと類似のビデオ圧縮符号化アルゴリズムを用いて符号化されて、第２の符号化されたビットストリームを形成する。
【００６０】
次に、ステップ６１４で、プログラム情報のうちの１つまたはセグメント（例えばビット、バイト、パケット）を形成するために、第１のビットストリームおよび第２のビットストリームに関する情報が取得されて処理される。また、ステップ６１４では、第１のビットストリームと第２のビットストリームが合成されて単一の信号またはビットストリームを形成し、第１のビットストリームおよび第２のビットストリームに関する情報が単一ビットストリームに添付される。一実施形態では、この情報は、プログラムの識別子（ＰＩＤ）として添付される。単一ビットストリーム用のＰＩＤを他のビットストリームからのＰＩＤと組み合わせて、別個のプログラムガイドビットストリームを形成することができる。最後に、ステップ６１６で、単一ビットストリームを含んでいる出力信号が伝送される。この出力信号を、図１で説明された配信ネットワーク１０６などの配信ネットワークによって、伝送信号として伝送することができる。以前に説明されたように、伝送ステップ６１６は、信号を伝送するのに必要な追加の信号処理も含むことができる。この出力信号は、プログラムガイドストリームなどの追加情報に加えて他のビットストリームも含むことができる。プログラムガイド情報を、個別のビットストリームとして形成するのでなく、単一ビットストリームに添付することができることに留意することが重要である。
【００６１】
次に、図７に移って、従来の３Ｄ放送、従来の２Ｄ放送および最大解像度の３Ｄ放送を復号するための例示的プロセス７００のフローチャートが示されている。プロセス７００は、主として図５で説明された受信デバイス５０４に関して説明されることになるが、図２で説明された受信器２０４に関して同様に説明され得る。プロセス７００を、図１で説明された受信デバイス１０８などの受信デバイスの動作の一部分として使用することができる。ステップ７０２で、ビットストリームの中に他のコンテンツに加えて所望のビデオコンテンツを含んでいる信号が、伝送ネットワークから受信される。信号およびコンテンツを、図１で説明された放送系列の管理プログラム１０４などのネットワークサービスプロバイダによって供給することができ、受信器５３４などの入力信号受信器で受信される。ビットストリームを含むコンテンツも、記憶デバイス２３７などの記憶デバイスまたはデジタル多用途ディスク（ＤＶＤ）もしくは他の媒体などの他の媒体デバイスから供給することができる。
【００６２】
ステップ７０３で、受信された入力信号が、複数のビットストリームへと分離される。分離ステップ７０３は、第１のビットストリームの、合成された１／２解像度の３Ｄビデオ画像としての判定および識別、ならびに第２のビットストリームの、最大解像度の２Ｄの左眼画像としての識別など、個々のビットストリームの識別を含む。また、分離ステップ７０３は、識別された第１および第２のビットストリームのそれぞれを、所望のビットストリームから適切なデコーダへ供給する。ステップ７０３における判定および識別に基づいて、ステップ７０４で、１／２解像度の３Ｄビデオ信号である第１のビットストリームが、Ｈ．２６４／ＭＰＥＧ−４  Ｐａｒｔ  １０、ＡＶＣまたは他の類似の圧縮復号プロセスなどの１つまたは複数のビデオ圧縮復号アルゴリズムによって復号される。１／２解像度の３Ｄ信号は、分割スクリーン３Ｄビデオ信号または格子縞ビデオ信号を含むいくつかのフォーマットとすることができる。ステップ７０４における復号が、１／２解像度の合成された左眼画像および右眼画像を生成する。ステップ７０６で、２Ｄの最大解像度の画像信号である第２のビットストリームに対して、類似の復号が行なわれる。ステップ７０６における復号は、ステップ７０４で説明されたものと類似のビデオ圧縮復号アルゴリズムを使用することができる。
【００６３】
ステップ７０８で、１／２解像度の合成画像信号の右眼画像部分は、全サイズで最大解像度の右眼画像信号を生成するように変換されたサンプルレートである。右眼画像信号は最大解像度の信号であるが、このサンプルレート変換が、最大解像度の右眼画像に対して画像アーチファクトを導入するはずであることが理解される。ステップ７１０では、ステップ７０８で生成された、復号して変換された最大解像度の右眼画像と復号された最大解像度の左眼画像が、単一の最大解像度の３Ｄ出力信号へと合成される。ステップ７１０からの単一の最大解像度の３Ｄ出力信号、ステップ７０４からの１／２解像度の３Ｄ出力信号、およびステップ７０６からの最大解像度の２Ｄの（左眼）出力信号が利用可能で表示用に供給されることに留意することが重要である。
【００６４】
次に、ステップ７１２で、上記に生成された出力信号のうちの１つを表示するのに使用される表示デバイスのタイプが判定される。一実施形態では、表示デバイスは、オーディオ／ビデオインターフェース５５２などのオーディオ／ビデオインターフェースを介して受信デバイス５０４に結合される。ステップ７１２における判定を、表示デバイス識別プロセスを介して自動的に遂行することができ、またはユーザによって選択することもできる。一実施形態では、２Ｄの表示デバイスが使用される場合には、最大解像度の２Ｄ出力信号が選択される。３Ｄの表示デバイスが使用される場合には、１／２解像度の３Ｄ解像度出力信号または最大解像度の３Ｄ出力信号のいずれかが選択される。１／２解像度または最大解像度の３Ｄ出力信号の選択を、ユーザによるユーザインターフェースの選択によって行うことができる。別の実施形態では、ステップ７０３で最大解像度の３Ｄ出力信号が利用可能であると判断されれば、最大解像度の３Ｄ出力信号が常に選択される。
【００６５】
ステップ７１２で判定されたディスプレイのタイプに基づいて、次いで、ステップ７１４では、２Ｄの最大解像度の左眼画像信号、１／２解像度の３Ｄの左眼画像および右眼画像の信号、または最大解像度の３Ｄの左眼画像および右眼画像の信号のいずれかである選択された出力信号が表示デバイスに供給される。
【００６６】
システム５００、プロセス６００、およびプロセス７００は、１／２解像度の３Ｄの左眼画像および右眼画像の信号で動作すると説明されているが、他の、部分的な、または低減された解像度の３Ｄ信号も用いられ得ることに留意することが重要である。例えば、（１／２以外の）低減された解像度の左眼画像および（１／２以外の）低減された解像度の右眼画像を含む３Ｄ信号を、右眼画像の解像度とは異なる左眼画像の解像度を有して使用することができる。
【００６７】
プロセス７００の特定のステップを、特定の実装形態に基づいて変更または省略することができる。例えば、ディスプレイ判定ステップ７１２を、復号ステップ７０４および７０６に先立って遂行することができる。使用される表示デバイスのタイプに基づいて、一方または他方の復号ステップを、省略することができる、または無効することができる。
【００６８】
従来の３次元（３Ｄ）放送、従来の２Ｄ放送および最大解像度の３Ｄ放送のためのシステムおよび方法が説明されてきた。受信デバイス５０４が、左眼画像用の従来の２Ｄの放送および従来の３Ｄの分割スクリーン放送を復号することになる。最大解像度の右眼画像は、従来の３Ｄの分割スクリーン放送の右半分をスケーリングすることによって形成される。このように、新規の圧縮技術を必要とすることなく、最大解像度の３Ｄを提供することができる。
【００６９】
前述のように、図２〜図７の実施形態は、３Ｄ放送に用いられるビットストリームを受信して処理することに関するものであり、合成された２つの別々のビットストリームを含んでいるデータ信号を受信するステップを含む。第１のビデオ信号は、第１のビデオ解像度で２次元画像を表し、第２のビデオ信号は、第２の解像度で３次元画像を表す。この実施形態には、出力表示方式が２次元表示方式であれば第１のビデオ信号を復号し、出力表示方式が第１の３次元表示方式であれば第２のビデオ信号を復号し、出力表示方式が第２の３次元表示方式であれば第１のビデオ信号および第２のビデオ信号を同時に復号することも含まれる。
【００７０】
図２〜図７の実施形態は、受信した信号を処理して３Ｄのビデオ出力を供給することにも関する。この実施形態は、第１のビデオ解像度で２次元画像を表す第１のビデオ信号および第２の解像度で３次元画像を表す第２のビデオ信号を含む信号を受信するステップと、ビデオコンテンツを見るための表示デバイスのタイプを判定するステップと、第１のビデオ信号を復号するステップと、第２のビデオ信号を復号するステップと、表示デバイスに出力信号を供給するステップであって、表示デバイスのタイプが３次元表示デバイスである場合には、出力信号が、第１の復号されたビデオ信号と第２の復号されたビデオ信号の一部分の組合せとを含むステップとを含む。
【００７１】
別の実施形態では、受信デバイスにおけるユーザが調整可能な視差マップのためのシステムおよび方法が提供される。このシステムおよび方法は、受信して復号された１対の立体画像、すなわち右眼画像と左眼画像の稠密な視差マップの生成を支援するために、受信デバイスにおいてＨ．２６４エンコーダを使用する。２つの画像は、時間的に連続して並んでエンコーダを通り、動きベクトルなどの符号化情報を生成する。もたらされる動き情報は、立体画像セットにおける画像深さの調節のためのユーザ制御として用いることができる視差マップを生成するのに用いられる。信号伝送に立体画像の送信が含まれていても深さマップの伝送が省略されている場合には、このようなシステムが役に立つ。
【００７２】
次に図８に移ると、稠密な視差マップを生成するための受信デバイス８００の例示的実施形態が示されている。図２および図５に関して上記で説明されたものに類似の要素は、以下の説明以外は詳細には説明されないことを理解されたい。例えば、入力信号受信器８３４、入力ストリームプロセッサ８３６、記憶デバイス８３７、デコーダ８３８および８４４、ならびにサンプルレートコンバータ８５６は、実質的に上記で説明されたように動作して、３Ｄの１／２解像度の出力８４２、２Ｄの最大解像度の出力８４８および３Ｄの最大解像度の出力８５８をセレクタ８５０に供給する。
【００７３】
受信デバイス８００は、セレクタ８５０の出力に結合されたエンコーダ８６０をさらに含む。エンコーダ８６０は、メモリ８６２にも結合される。コントローラ８５４は、メモリ８６２に加えてエンコーダ８６０にも結合される。コントローラ８５４には、ユーザインターフェース８７０が結合されている。
【００７４】
動作においては、セレクタ８５０が、３Ｄの１／２解像度の信号８４２または３Ｄの最大解像度の信号８５８のいずれかを出力すると、エンコーダ８６０は、復号された対の左眼画像および右眼画像を受信して、メモリ８６２の一部分として示されている符号化画像バッファ８６４に記憶する。エンコーダ８６０は、左眼画像を、ＩＤＲ（ｉｎｓｔａｎｔａｎｅｏｕｓ  ｄｅｃｏｄｅ  ｒｅｆｒｅｓｈ）フレームとしても知られている参照画像に設定する。エンコーダ８６０は、参照画像を、４ピクセル×４ピクセル（４×４）の動きブロックを選択するように配分し、Ｐフレームの一方向予測を用いて右眼画像の各４×４のサブブロックに関する動きベクトルを生成する。４ピクセル×４ピクセルのブロックの使用は、標準的技法に基づくものであることに留意することが重要である。しかし、他のブロックサイズも、結果として対応するレベルの差を伴って使用することができる。各４×４ブロックに対する動きベクトルは、符号化画像バッファ８６４に記憶された右眼画像を符号化するのに用いられる。符号化プロセスの所望の出力が、実際の符号化画像ではなく動きベクトルであるので、動きベクトルは、符号化された画像信号から抽出されて、メモリ８６２の一部分としても示される動きベクトルバッファ８６６に記憶される。この情報は、動きベクトルを生成して動きベクトルバッファ８６６に記憶するのに続いて、符号化画像バッファ８６４に記憶される。必要に応じて、エンコーダ８６０は、次の画像対を符号化するために、画像対がすべて処理されるまで画像信号の残存部分を処理する。
【００７５】
符号化画像バッファ８６４および動きバッファ８６６は、単一の共用メモリデバイス８６２上に存在でき、または分離した個々のバッファとすることができることを理解されたい。単一の共用メモリデバイス８６２を有する図８の実施形態では、アービタ８６３が含まれる。アービタ８６３は、メモリ８６２の共用メモリエレメントに対するアクセスを調停する、または管理する。図８には、メモリデバイス８６２にアクセスするクライアントが２つ（すなわちエンコーダ８６０およびコントローラ８５４）しか示されていないが、最も実用的なシステムでは、いくつかの独立したクライアントのすべてが、メモリデバイス８６２などの同一のメモリデバイスにアクセスしようとする。他の実施形態では、メモリアクセスを、個々に制御することができ、コントローラ８５４に類似のコントローラによって制御することができる。アービタ８６３の機能は、各クライアントが、機能ユニットのそれぞれに割り当てられたタスクを達成するために、割り当てられた優先レベルで、十分な帯域幅を有して、十分短い待ち時間でアクセスするように計らうことである。
【００７６】
動きベクトルバッファ８６６に記憶された信号は、あらゆる生成された動きベクトルのあらゆる垂直成分を除去するようにフィルタリングされる。フィルタリングされた結果は、４ピクセル×４ピクセルの画像領域の画像レベルの粒状度を有する左眼画像と右眼画像との間の水平方向の差異の指標として用いられる。数値入力または他の何らかの定量化可能な差の指標として表される、このフィルタリングされた結果は、メモリデバイス８６２の一部分としても示されている視差バッファ８６８に記憶される。上記の機能は、エンコーダ８６０によって遂行されるものと説明、記述されているが、これらの機能の１つまたは複数は、コントローラ８５４または固定機能のハードウェアもしくはハードウェアとソフトウェアの組合せによっても実施され得ることを理解されたい。
【００７７】
視差バッファ８６８に記憶された水平方向の差異値の配列を、水平方向に隣接した差異値の間の差を考慮に入れることによってさらに（例えば空間的に）フィルタリングすることができる。例えば、すぐ左に４×４の画像ブロックＡがあって、すぐ右に４×４の画像ブロックＣがある４×４の画像ブロックＢを考える。ブロックＡにおける左眼画像と右眼画像の間の差異が６であり、ブロックＢにおける左眼画像と右眼画像の間の差異が４であって、ブロックＣにおける左眼画像と右眼画像の間の差異が２であると、差異における漸進的移行が、画像対における左の空間的位置から右の空間的位置への進行の関数として示される。この移行が滑らかであると想定すると、コントローラ８５４は、４×４の画像ブロックＢにわたって、一番左のピクセルに４と６間の差異を割り当て、一番右のピクセルに４と２の間の差異を割り当てることにより、補間することができる。この実例は、左眼画像および右眼画像に対して１つの４×４の領域しか考えない、または組み込んで処理していないが、どちらの方向の領域もさらに組み込む他のフィルタが使用され得る。また、ピクセルレベルの粒状度を有する視差マップを形成し、かつ処理するために、同一のフィルタ原理を垂直方向に適用とすることができる。
【００７８】
必要に応じて、エンコーダ８６０あるいはコントローラ８５４は、オクルージョンマップ（ｏｃｃｌｕｓｉｏｎ  ｍａｐ）を生成する。水平方向または垂直方向に隣接した４×４のブロック間の差異値における急激な変化は、立体画像対における近視野の対象と遠視野の対象の間のエッジの存在の指標を与える。これらのエッジでは、一般的には、左眼が、右眼の視野から遮蔽された近視野の対象の一部分を見ることができ、同様に、左眼に対して遮蔽されている対象の一部分が右眼に見えることになる。これら左眼と右眼の間の視野の目に見える相互排他性の領域は、差異ベクトルの処理中に検出され得るオクルージョンを形成し、後の画像処理ステップに信号伝達される。後の画像処理ステップにおいて、これらの遮蔽された領域には、全体像に適用される処理と別の処理を適用することが有利であり得る。ともに、上記で説明されたピクセルレベルの視差マップとオクルージョンマップは、稠密な視差マップを形成する。ピクセルレベルの視差マップとオクルージョンマップから稠密な視差マップを生成するのに、当技術分野で既知のいくつかの技法があることを理解されたい。
【００７９】
立体ビデオ信号の稠密な視差マップにより、立体画像対の中のすべてのピクセル対の収束深さが明らかになる。この情報が分かって識別されると、受信デバイス８００は、ビデオとグラフィックスとの間の不愉快な深さ競合を回避するために、画像グラフィックスにおいてオーバーレイを示すことができるやり方および位置を判定することができる。また、稠密な視差マップは、受信デバイス８００が、差異およびオクルージョンを認識しているスケーリングアルゴリズムを立体画像対の一方または両方に適用して、感知された立体画像の３Ｄ深さを変更するのを可能にするために用いることができる。これによって、受信デバイス８００は、ユーザに制御された３Ｄ深さなどの特徴を実施することができる。
【００８０】
差異およびオクルージョンを認識しているスケーリングを用いる深さスケーリングにより、立体画像対で感知される深さの範囲を簡単に変更することが可能になる。例えば、画像の深さの範囲は、画像表示面の平面の後ろの最も遠い対象と画像表示面の平面の前の最も遠い対象との間の感知された距離として識別され得る。この深さの範囲は、目に見える立体的な「体積」を表す。一実施形態では、ユーザは、ユーザインターフェース８７０を介した上げ／下げ制御などの簡単なユーザ制御で、この目に見える立体的な「体積」を制御することができる。この制御を、立体画像の深さの感知される範囲を増減させるのに使用することができる。ユーザインターフェース８７０は、遠隔制御装置、受信デバイス８０４上に配置された複数のボタン、受信デバイス８０４が生成して表示デバイスに表示されたユーザの好みのスクリーンなどを含むがこれらに限定されない任意の既知のユーザインターフェースとすることができる。したがって、受信デバイス８０４に稠密な視差マップを生成することにより、ユーザ制御の深さスケーリングを実現することができる。
【００８１】
図９に移って、稠密な視差マップを生成する例示的プロセス９００の流れ図が示されている。プロセス９００の各ステップを、受信デバイス８００で遂行することができる。プロセス９００の各ステップを、図２で説明された受信器２０４または図５で説明された受信デバイス５０４などの他の受信器またはセットトップボックスデバイスで同様に遂行することができる。ステップ９０２で、復号された左眼画像と右眼画像の対が、信号の一部分として受信される。復号された左眼画像と右眼画像の対は、セレクタによって供給され、１／２解像度の３Ｄ画像信号または最大解像度の３Ｄ画像信号とすることができる。さらに、最大解像度の３Ｄ画像信号は、前述のように、１／２解像度の３Ｄ画像信号のサンプルレートを変換した部分を含むことができる。ステップ９０２は、これらの画像を、符号化画像バッファ８６４などのメモリに記憶するステップも含むことができる。
【００８２】
ステップ９０４で、左眼画像が、参照画像すなわちＩＤＲに設定される。いずれの画像も参照画像として設定され得るが、前述のように、左眼画像が最大解像度の画像であり、したがって、参照画像における画像アーチファクトの存在が低減され、または除去されるので、左眼画像を用いるのが有利である。次に、ステップ９０６で、動きブロックのサイズおよび配分が選択される。前述のように、動きブロックのサイズは４×４のピクセルとすることができるが、他のブロックサイズも可能である。ステップ９０８で、左眼画像を参照しながら右眼画像の対応するサブブロックのそれぞれに対するＰフレームの一方向予測を用いて、動きベクトルが生成される。次に、ステップ９１０で、各サブブロックに対して生成された動きベクトルが、右眼画像を符号化するのに用いられる。ステップ９１２で、ステップ９０８および９１０からの動きベクトルの最後の組が、動きベクトルバッファ８６６などのメモリに記憶される。プロセス９００では、こうして説明されたように、左眼画像および右眼画像が、あたかも空間的にではなく時間的に存在するかのように処理される。換言すれば、左眼画像と右眼画像は同時に見えるように意図されているが、動き処理は、左眼画像と右眼画像があたかも時間的に連続して起こるかのように遂行される。
【００８３】
上記で説明された符号化プロセスのステップの所望の出力が、実際の符号化画像ではなく動きベクトルであるので、ステップ９１４で、符号化された画像を記憶するメモリ（例えば符号化画像バッファ８６４）の内容が、廃棄される、または消去される。プロセス９００は、ステップ９１４からステップ９０４に戻って、画像対がすべて符号化され、動きベクトルが処理されるまで、あらゆる残りの画像の対または部分を符号化する。
【００８４】
次に、ステップ９１６で、動きベクトルのフィルタリングの組によって、粒状の視差マップが生成されて記憶される。粒状の視差マップは、画像レベルの粒状度がステップ９０６で選択されたサブブロックサイズに等しい、左眼画像と右眼画像との間の水平方向の差異の指標である。一実施形態では、１組の３つの連続的に配置された動きサブブロックに関する各動きベクトルが、隣接した差異値を判定するために、比較して定量化される。次いで、ステップ９２０で、ピクセルレベルの視差マップを判定するために、水平方向の差異値の配列が、水平方向に隣接した差異値の間の差の値を考慮に入れてさらにフィルタリングまたは補間され、上記で説明されたのと類似のやり方で垂直方向にさらに補間される。
【００８５】
次に、ステップ９２２で、オクルージョンマップが生成される。上記で論じたように、水平方向または垂直方向に隣接したブロック間の差異値のいかなる変化も、立体画像対の中の近視野の対象と遠視野の対象との間のエッジの指標とすることができる。オクルージョンマップを、ステップ９１２で記憶された元の動きベクトル、またはステップ９１６および／または９２０で生成された視差マップのいずれかを用いてステップ９２２で生成することができる。後者では、オクルージョンマップは、動きベクトルを、エッジの存在を強化するやり方でフィルタリングする、または補間することにより、動きベクトルから生成することができる。最後に、ステップ９２４で、ステップ９２０で生成されたピクセルレベルの視差マップとステップ９２２で生成されたオクルージョンマップを組み合わせて、稠密な視差マップを形成する。ピクセルレベルの視差マップとオクルージョンマップから稠密な視差マップを生成するのに、当技術分野で既知のいくつかの技法があることを理解されたい。前述のように、稠密な差異を、ユーザが調整可能な３Ｄ画像の深さ範囲などの特徴を可能にするために使用することができる。
【００８６】
図８および図９で説明された実施形態は、受信デバイスにおける稠密な視差マップの生成に関するものである。この実施形態は、所望のビットストリームを含んでいる信号を受信するステップを含む。所望のビットストリームは、２Ｄの最大解像度の画像信号を、単一の左眼画像または右眼画像、および３Ｄの部分的な、または低減された解像度の左眼画像および低減された解像度の右眼画像を含んでいる低減された（例えば１／２）解像度の画像信号として表す１つまたは複数のビットストリームをさらに含み、また、同ビットストリームへと分離されることができる。これらのビットストリームは、最大解像度または低減された解像度で左眼画像および右眼画像を有する信号を生成するために復号される。この実施形態は、左眼画像を参照画像として符号化するステップと、参照画像としてコード化された左眼画像を用いて右眼画像を予測的にコード化するステップと、右眼画像を符号化する間に生成された動き指標を取得するステップと、動き指標を用いて左眼画像と右眼画像との間の稠密な視差マップを生成するステップとをさらに説明する。
【００８７】
本開示の教示を組み込む実施形態が、本明細書に示されて詳細に説明されてきたが、当業者なら、これらの教示を依然として組み込んでいる他の多くの様々な実施形態を容易に考案することができる。最大解像度の２Ｄビデオ、最大解像度の３Ｄビデオおよび１／２解像度の３Ｄビデオ（これらは例示となるように意図されており、限定するものではない）を符号化して放送するためのシステムおよび低帯域幅の方法の好ましい実施形態を説明してきたが、当業者なら、上記の教示の観点から、改良および変更が可能であることが留意される。したがって、添付の特許請求の範囲によって概説される、本開示の範囲内にある本開示の特定の実施形態において変更が可能であることを理解されたい。
本発明の好ましい実施形態を、以下に示す。
付記１．データ信号を受信するステップ（７０２）であって、前記データ信号は、第１のビデオ解像度において２次元画像を表す第１のビデオ信号および第２の解像度において３次元画像を表す第２のビデオ信号を含む、ステップと、
出力表示方式が２次元表示方式である場合には前記第１のビデオ信号を復号するステップ（７０６）と、
前記出力表示方式が第１の３次元表示方式である場合には前記第２のビデオ信号を復号するステップ（７０４）と、
前記出力表示方式が第２の３次元表示方式である場合には、前記第１のビデオ信号および前記第２のビデオ信号を同時に復号するステップ（７０６、７０４）と、
を含む、方法。
付記２．前記第１のビデオ信号は左眼画像を含む、付記１に記載の方法。
付記３．前記第２のビデオ信号は、低減された解像度の左眼画像信号および低減された解像度の右眼画像信号を含む、付記２に記載の方法。
付記４．前記第１の信号および前記第２の信号を復号する前記ステップは、前記第２のビデオ信号の一部分を変換して、前記第１のビデオ信号の画像サイズと一致させるステップ（７０８）を含む、付記３に記載の方法。
付記５．前記第２のビデオ信号の一部分を変換して、前記第１のビデオ信号の画像サイズと一致させる前記ステップ（７０８）は、前記低減された解像度の右眼画像を前記第１のビデオ信号の前記解像度へとスケーリングするステップを含む、付記４に記載の方法。
付記６．前記スケーリングされた右眼画像は、１０８０ｉの水平方向の分割された画像および７２０ｐの垂直方向の分割された画像のうち少なくとも１つである、付記５に記載の方法。
付記７．前記データ信号を受信する前記ステップおよび前記復号するステップは、セットトップボックスで遂行される、付記１に記載の方法。
付記８．コンテンツを処理するための装置であって、
データ信号（５３２）を受信する信号受信器（５３４）であって、前記データ信号は、第１のビデオ解像度において２次元画像を表す第１のビデオ信号（５２６）および第２の解像度において３次元画像を表す第２のビデオ信号（５２２）を含む、信号受信器と、
出力表示方式が２次元表示方式である場合には前記第１のビデオ信号（５２６）を復号し、前記出力表示方式が第１の３次元表示方式である場合には前記第２のビデオ信号（５２２）を復号し、前記出力表示方式が第２の３次元表示方式である場合には前記第１のビデオ信号および前記第２のビデオ信号（５２６、５２２）を同時に復号する少なくとも１つの復号器（５３８、５４４）と、
を備える、前記装置。
付記９．前記復号された信号を受信して表示デバイスに出力する前記少なくとも１つの復号器（５３８、５４４）に結合されたインターフェース（５５２）であって、前記出力表示方式を判定する、インターフェースをさらに含む、付記８に記載の装置。
付記１０．前記第１のビデオ信号（５２６）は、少なくとも１つの左眼画像を含むことを特徴とする付記９に記載の装置。
付記１１．前記第２のビデオ信号（５２２）は、１／２解像度の左眼画像および１／２解像度の右眼画像を含んでいる少なくとも１つの１／２解像度の分割スクリーン画像を含む、付記１０に記載の装置。
付記１２．前記第２のビデオ信号の一部分を、前記第１のビデオ信号の画像サイズと一致させるように変換するサンプルレートコンバータ（５５６）をさらに備える、付記１１に記載の装置。
付記１３．前記サンプルレートコンバータ（５５６）は、前記１／２解像度の右眼画像を、前記少なくとも１つの左眼画像の前記解像度へとスケーリングする、付記１２に記載の装置。
付記１４．コンテンツを処理するための装置であって、
第１のビデオ解像度において２次元画像を表す第１のビデオ信号および第２の解像度において３次元画像を表す第２のビデオ信号を含むデータ信号を受信する手段（５３４）と、
出力表示方式が２次元表示方式である場合には前記第１のビデオ信号を復号するための手段（５５４）と、
前記出力表示方式が第１の３次元表示方式である場合には前記第２のビデオ信号を復号する手段（５３８）と、
前記出力表示方式が第２の３次元表示方式である場合には前記第１のビデオ信号および前記第２のビデオ信号を同時に復号する手段（５３８、５５４）と、
を備える、前記装置。
付記１５．前記第１のビデオ信号は少なくとも１つの左眼画像を含む、付記１４に記載の装置。
付記１６．前記第２のビデオ信号は、１／２解像度の左眼画像および１／２解像度の右眼画像を含んでいる少なくとも１つの１／２解像度の分割スクリーン画像を含む、付記１４に記載の装置。
付記１７．前記第１の信号および前記第２の信号を復号する前記手段（５３８、５５４）は、前記第２のビデオ信号の一部分を変換して、前記第１のビデオ信号の画像サイズと一致させる手段（５５６）を含む、付記１４に記載の装置。
付記１８．信号を処理する方法であって、
第１のビデオ解像度において２次元画像を表す第１のビデオ信号および第２の解像度において３次元画像を表す第２のビデオ信号を含む信号を受信するステップ（７０２）と、
ビデオコンテンツを見るための表示デバイスのタイプを判定するステップ（７１２）と、
前記第１のビデオ信号を復号するステップ（７０６）と、
前記第２のビデオ信号を復号するステップ（７０４）と、
前記表示デバイスに対して、表示デバイスのタイプが３次元表示デバイスである場合には前記第１の復号されたビデオ信号と前記第２の復号されたビデオ信号の一部分の組合せを含む出力信号を供給するステップ（７１４）と、
を含む、前記方法。
付記１９．信号を処理するための装置であって、
第１のビデオ解像度において２次元画像を表す第１のビデオ信号および第２の解像度において３次元画像を表す第２のビデオ信号を含むデータ信号を受信するための手段（５３４）と、
ビデオコンテンツを見るための表示デバイスのタイプを判定する手段（５５４）と、
前記第１のビデオ信号を復号する手段（５４４）と、
前記第２のビデオ信号を復号する手段（５３８）と、
表示デバイスのタイプが３次元表示デバイスである場合には、前記表示デバイスに対して、前記第１の復号されたビデオ信号と前記第２の復号されたビデオ信号の一部分の組合せを含む出力信号を供給する手段（５５２）と、
を備える、前記装置。
【図１】
0006013920.tif 000002
【図２】
0006013920.tif 000003
【図３】
0006013920.tif 000004
【図４】
0006013920.tif 000005
【図５】
0006013920.tif 000006
【図６】
0006013920.tif 000007
【図７】
0006013920.tif 000008
【図８】
0006013920.tif 000009
【図９】
0006013920.tif 000010