(57)【要約】  本開示は、概して、立体画像および立体ビデオ信号に係り、より詳しくは、立体画像および立体ビデオ信号を、テレビおよび高精細テレビシステム、電話会議、テレビ電話、コンピュータビデオ送信、デジタル映画、および、静止画および動画の立体画像の適切な媒体を介して、または、静止画画像および動画画像の組み合わせにより、さらなるシステム機能を必要とせず既存のインフラストラクチャに準拠する形態で、同時に、既存のインフラストラクチャとの互換性を維持しつつ、より高い解像度の画像の配信を可能とする手段を提供することのできる格納および／または送信を含むその他の用途にも利用可能なエンコード、配信、およびデコードする技術に係る。この技術は、例えば、立体３Ｄ映画を光ディスク、衛星、ブロードキャスト、ケーブル、またはインターネット経由で、現行のインフラストラクチャを利用して消費者に配信する用途等に利用可能である。【選択図】図１
2012523804.tif 000002
【特許請求の範囲】
【請求項１】
立体画像をエンコードする方法であって、
立体ビデオシーケンスを受信する段階と、
前記立体ビデオシーケンスから、ベース層の立体ビデオを生成する段階と、
前記立体ビデオシーケンスから、向上した層の立体ビデオを生成する段階と
を備える方法。
【請求項２】
前記ベース層の立体ビデオを生成する段階は、前記立体ビデオシーケンスをローパスフィルタリングする段階を有し、
前記向上した層の立体ビデオを生成する段階は、前記立体ビデオシーケンスをハイパスフィルタリングする段階を有する請求項１に記載の方法。
【請求項３】
前記ベース層の立体ビデオを、圧縮された立体ベース層に圧縮して、前記向上した層の立体ビデオを、圧縮された立体の向上した層に圧縮する段階をさらに備える請求項１に記載の方法。
【請求項４】
前記立体ベース層と前記圧縮された立体の向上した層とを含む出力ビットストリームを生成する段階をさらに備える請求項３に記載の方法。
【請求項５】
前記出力ビットストリームは、音声データ、および、左・右画像の深さ情報のうちの少なくとも１つを含む請求項４に記載の方法。
【請求項６】
前記向上した層の立体ビデオを生成する段階は、前記立体ビデオシーケンスおよび前記ベース層の立体ビデオの差異を決定する段階を有する請求項１に記載の方法。
【請求項７】
読み取り専用メモリディスク、地上波ブロードキャスト、衛星ブロードキャスト、ケーブルブロードキャスト、インターネットストリーミング、およびインターネットファイル転送からなるグループから選択された配信媒体を介して前記出力ビットストリームを配信する段階をさらに備える請求項５に記載の方法。
【請求項８】
立体信号をエンコードする方法であって、
立体ビデオシーケンスを受信する段階と、
前記立体ビデオシーケンスから、ベース層の立体ビデオを生成する段階と、
前記ベース層の立体ビデオを、圧縮された立体ベース層に圧縮する段階と、
前記立体ビデオシーケンスおよび前記ベース層の立体ビデオの差異から、向上した層の立体ビデオを生成する段階と、
前記向上した層の立体ビデオを、圧縮された立体の向上した層に圧縮する段階と
を備える方法。
【請求項９】
前記ベース層の立体ビデオを生成する段階は、前記立体ビデオシーケンスをローパスフィルタリングする段階を有し、
前記向上した層の立体ビデオを生成する段階は、前記立体ビデオシーケンスをハイパスフィルタリングする段階を有する請求項８に記載の方法。
【請求項１０】
前記圧縮された立体ベース層と前記圧縮された立体の向上した層とから出力ビットストリームを生成する段階をさらに備える請求項８に記載の方法。
【請求項１１】
出力ビットストリームを、前記圧縮された立体ベース層と前記圧縮された立体の向上した層と、並びに、音声データ、および、左・右画像の深さ情報のうちの少なくとも１つとから生成する段階をさらに備える請求項８に記載の方法。
【請求項１２】
読み取り専用メモリディスク、電子物理メモリ格納媒体、地上波ブロードキャスト、衛星ブロードキャスト、ケーブルブロードキャスト、インターネットストリーミング、およびインターネットファイル転送からなるグループから選択された配信媒体を介して前記出力ビットストリームを配信する段階をさらに備える請求項１１に記載の方法。
【請求項１３】
ベース層の立体ビデオコンポーネントおよび向上した層の立体ビデオコンポーネントを含む立体信号を選択的にデコードする装置であって、
入力ビットストリームを受信して、前記入力ビットストリームから、圧縮されたベース層の立体ビデオ、および、圧縮された向上した層の立体ビデオを抽出する抽出モジュールと、
前記圧縮されたベース層の立体ビデオを、ベース層の立体ビデオへと解凍する第１の解凍モジュールと、
前記圧縮された向上した層の立体ビデオの信号を、向上した層の立体ビデオへと解凍する第２の解凍モジュールと
を備える装置。
【請求項１４】
第１のモードにおいては、前記向上した層の立体ビデオからではなく、前記ベース層の立体ビデオから立体ビデオシーケンスを生成して、第２のモードにおいては、前記ベース層の立体ビデオおよび前記向上した層の立体ビデオから、立体ビデオシーケンスを生成する合成モジュールをさらに備える請求項１３に記載の装置。
【請求項１５】
前記抽出モジュールは、さらに、前記入力ビットストリームから、音声データを抽出する請求項１４に記載の装置。
【請求項１６】
前記抽出モジュールは、さらに、前記入力ビットストリームからコンテンツ情報タグを抽出する請求項１４に記載の装置。
【請求項１７】
通信可能に連結された立体視聴覚機器が前記第１のモードおよび前記第２のモードのいずれかに準拠しているか検知するモード選択モジュールをさらに備える請求項１４に記載の装置。
【請求項１８】
前記モード検知モジュールは、通信可能に連結された立体視聴覚機器の、ユーザが定義した設定に基づいて、前記第１のモードおよび前記第２のモードでの動作を決定する請求項１７に記載の装置。
【請求項１９】
前記モード検知モジュールは、通信可能に連結された立体視聴覚機器の検出に基づいて、前記第１のモードおよび前記第２のモードでの動作を決定する請求項１７に記載の装置。
【請求項２０】
読み取り専用メモリディスク、電子物理メモリ格納媒体、地上波ブロードキャスト、衛星ブロードキャスト、ケーブルブロードキャスト、インターネットストリーミング、およびインターネットファイル転送からなるグループから選択された配信媒体から前記入力ビットストリームを受信するレシーバをさらに備える請求項１３に記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本願は、２００９年４月１３日に提出された「全解像度の立体画像の配信システムおよび方法」なる名称の米国仮特許出願番号第６１／１６８，９２５号明細書の優先権を主張しており、これを全ての目的で参照によりここに組み込む。
【０００２】
本開示は、立体画像および立体ビデオに係り、より詳しくは、立体画像および立体ビデオを、従来の２Ｄ配信インフラストラクチャにより、フレームに互換性のある技術を利用してエンコード、配信、およびデコードする技術に係る。
【発明の概要】
【０００３】
本開示は、全解像度の立体３Ｄコンテンツを既存の２Ｄ配信方法（例えば光ディスク、ケーブル、衛星、ブロードキャスト、またはインターネットプロトコル等）を利用する消費者に配信する方法およびシステムを提供する。方法は、消費者が受信する画像ストリームに向上した層を含めることにより、向上した画像の解像度特性を提供する機能を含む。この向上した層は、現在普及している、画像を消費者にトランスポートする方法に準拠している。家庭で３Ｄ画像を受信するデバイス（例えば、ディスクプレーヤ、セットトップボックス、テレビ受像機等）が、向上した層を利用する機能を含んでよい。高品質の３Ｄ画像は、消費者のハードウェアにアップグレードを行う必要を伴わずに受信されてもよい。場合によっては、向上した層を利用しない。消費者は、自身のシステムをアップグレードして、追加機能をサポートするハードウェアおよび／またはソフトウェアを取得することにより、向上した画像品質を受信するという選択を行うことができる。一態様では、ベースの層のデータおよび向上した層のデータを、全解像度のデータから抽出する装置および技術、ベースとなる層のデータおよび向上した層のデータを圧縮する装置および技術、ベースとなる層のデータおよび向上した層のデータを標準的なＭＰＥＧ構造内でトランスポートする装置および技術、ベースとなる層および向上した層を全解像度のデータにリアセンブルする装置および技術、および、全解像度のデータをユーザの表示機器がサポートする好適なフォーマットに変換する装置および技術を開示する。従来のＭＰＥＧまたはＶＣ１圧縮技術を利用して、ベースの層および向上した層の両方を圧縮することもできる。一態様では、高品質の画像を、向上した層のデータを利用することなく、ベースの層のみから再構築する技術も開示される。
【０００４】
一態様では、立体画像をエンコードする方法は、立体ビデオシーケンスを受信する段階と、立体ビデオシーケンスから、ベース層の立体ビデオを生成する段階と、立体ビデオシーケンスから、向上した層の立体ビデオを生成する段階とを備える。方法は、ベース層の立体ビデオを、圧縮された立体ベース層に圧縮して、向上した層の立体ビデオを、圧縮された立体の向上した層に圧縮する段階をさらに備える。ベース層の立体ビデオは、ローパスのベース層と、ハイパスの向上した層とを含んでよい。
【０００５】
別の態様では、立体信号をエンコードする方法は、立体ビデオシーケンスを受信する段階と、立体ビデオシーケンスから、ベース層の立体ビデオを生成する段階とを備える。方法はさらに、ベース層の立体ビデオを、圧縮された立体ベース層に圧縮する段階と、立体ビデオシーケンスおよびベース層の立体ビデオの差異から、向上した層の立体ビデオを生成する段階と、向上した層の立体ビデオを、圧縮された立体の向上した層に圧縮する段階とを備える。
【０００６】
また別の態様では、ベース層の立体ビデオコンポーネントおよび向上した層の立体ビデオコンポーネントを含む立体信号を選択的にデコードする装置は、入力ビットストリームを受信して、前記入力ビットストリームから、圧縮されたベース層の立体ビデオ、および、圧縮された向上した層の立体ビデオを抽出する抽出モジュールを備える。第１の解凍モジュールが、圧縮されたベース層の立体ビデオを、ベース層の立体ビデオへと解凍する。第２の解凍モジュールが、圧縮された向上した層の立体ビデオの信号を、向上した層の立体ビデオへと解凍する。
【０００７】
他の特徴および態様も、以下の詳細な記載を読み、図面を見て、添付請求項を読むことで明らかとなる。
【図面の簡単な説明】
【０００８】
【図１】本開示における立体ビデオをエンコードする装置のブロック概略図である。
【０００９】
【図２】本開示における立体ビデオをデコードする装置のブロック概略図である。
【００１０】
【図３】本開示における立体ビデオをエンコードする別の装置のブロック概略図である。
【００１１】
【図４】本開示における立体ビデオをデコードする別の装置のブロック概略図である。
【００１２】
【図５Ａ】本開示における基数サンプリンググリッドを示す。
【図５Ｂ】本開示における、基数サンプリンググリッドに関連する空間周波数応答を示す。
【００１３】
【図６】本開示におけるアイソトロピックな撮像システムの空間周波数応答を示す。
【００１４】
【図７Ａ】本開示における５点形サンプリンググリッドを示す。
【図７Ｂ】本開示における、５点形サンプリンググリッドに関連する空間周波数応答を示す。
【００１５】
【図８】本開示における人間の視覚系の周波数応答の近似を示す。
【００１６】
【図９Ａ】本開示における、水平解像度の低減した基数サンプリンググリッドを示す。
【図９Ｂ】本開示における、水平解像度の低減した基数サンプリンググリッドに関連する空間周波数応答を示す。
【００１７】
【図１０Ａ】本開示における、垂直解像度の低減した基数サンプリンググリッドを示す。
【図１０Ｂ】本開示における、垂直解像度の低減した基数サンプリンググリッドに関連する空間周波数応答を示す。
【００１８】
【図１１】本開示における、奇数および偶数の５点形サンプリングパターンの定義を示す概略図である。
【００１９】
【図１２】本開示における、５点形サブサンプリング画像を水平方向にスクイズする処理を示す概略図である。
【００２０】
【図１３】本開示における、５点形サブサンプリングされたベースの層および向上した層、および２Ｄダイアモンド畳み込みフィルタを利用する立体画像処理エンコード技術を示す概略図である。
【００２１】
【図１４】本開示における、５点形サブサンプリングされたベースの層および向上した層、および２Ｄダイアモンド畳み込みフィルタを利用するデコーダの立体画像処理デコード技術を示す概略図である。
【００２２】
【図１５】本開示における、５点形サブサンプリングされたベースの層および向上した層、および２Ｄダイアモンドリフト式離散ウェーブレット変換フィルタを利用する立体画像処理エンコード技術を示す概略図である。
【００２３】
【図１６】本開示における、５点形サブサンプリングされたベースの層および向上した層、および２Ｄダイアモンドリフト式離散ウェーブレット変換フィルタを利用する立体画像処理エンコード技術を示す概略図である。
【００２４】
【図１７】本開示における、列をサブサンプリングされたベースの層および向上した層、および１Ｄ水平畳み込みフィルタを利用する立体画像処理エンコード技術を示す概略図である。
【００２５】
【図１８】本開示における、列をサブサンプリングされたベースの層および向上した層、および１Ｄ水平畳み込みフィルタを利用する立体画像処理デコード技術を示す概略図である。
【００２６】
【図１９】本開示における、列をサブサンプリングされたベースの層および向上した層、および１Ｄ垂直畳み込みフィルタを利用する立体画像処理エンコード技術を示す概略図である。
【００２７】
【図２０】本開示における、列をサブサンプリングされたベースの層および向上した層、および１Ｄ垂直畳み込みフィルタを利用する立体画像処理デコード技術を示す概略図である。
【００２８】
【図２１】本開示における、２Ｄダイアモンド形状のローパスフィルタを実装する９ｘ９の畳み込みカーネルの係数の一例を示すテーブルである。
【００２９】
【図２２】本開示における、２帯域の完全な再構築フィルタの周波数応答のＩＤの例を示す。
【００３０】
【図２３】本開示における、向上された画質について修正された２帯域の完全な再構築フィルタの周波数応答のＩＤの例を示す。
【００３１】
【図２４】本開示における、２Ｄの分離不可能リフトフィルタおよび係数のブロック概略図である。
【００３２】
【図２５】本開示における、ダイアモンドローパスフィルタリングされた左画像および右画像からラインインタリーブされたフォーマットに立体画像処理変換を行う技術を示す概略図である。
【００３３】
【図２６】本開示における、ダイアモンドローパスフィルタリングされた左画像および右画像から列をインタリーブされたフォーマットに立体画像処理変換を行う技術を示す概略図である。
【００３４】
【図２７】本開示における、ダイアモンドローパスフィルタリングされた左画像および右画像からフレームインタリーブされたフォーマットに立体画像処理変換を行う技術を示す概略図である。
【００３５】
【図２８】本開示における、全帯域幅の左画像および右画像からラインインタリーブされたフォーマットに立体画像処理変換を行う技術を示す概略図である。
【００３６】
【図２９】本開示における、全帯域幅の左画像および右画像から列をインタリーブされたフォーマットに立体画像処理変換を行う技術を示す概略図である。
【００３７】
【図３０】本開示における、全帯域幅の左画像および右画像からフレームインタリーブされたフォーマットに立体画像処理変換を行う技術を示す概略図である。
【００３８】
【図３１】本開示における、ダイアモンドローパスフィルタリングされた左画像および右画像からＤＬＰダイアモンドフォーマットに立体画像処理変換を行う技術を示す概略図である。
【００３９】
【図３２】本開示における、全帯域幅の左画像および右画像からＤＬＰダイアモンドフォーマットに立体画像処理変換を行う技術を示す概略図である。
【００４０】
【図３３】本開示における、隣り合わせのダイアモンドフィルタリングされた左画像および右画像からＤＬＰダイアモンドフォーマットに立体画像処理変換を行う技術を示す概略図である。
【００４１】
【図３４】従来のＡＴＳＣブロードキャストシステムのブロック概略図である。
【００４２】
【図３５】本開示における、ビデオエレメンタリストリーム（ＥＳ）のためのトランスポートストリーム（ＴＳ）パケット化プロセスを示すブロック概略図である。
【発明を実施するための形態】
【００４３】
＜用語＞
２Ｄとは、二次元の意味である。３Ｄとは、三次元または立体視の、高度なテレビシステムの意味である。ＡＴＳＣとは、委員会名である。ＡＶＣとは、高度なビデオコーディング（Advanced Video Coding）の意味である。ＢＤとは、ブルーレイディスクのことである。ＣＭＦとは、共役ミラーフィルタのことである。ＤＢＳとは、直接ブロードキャストシステムのことである。ＤＣＴとは、離散コサイン変換のことである。ＤＦＴとは、離散フーリエ変換のことである。ＤＬＰとは、デジタル光投影のことである。ＤＶＤとは、デジタル多用途ディスクのことである。ＥＳとは、エレメンタリストリームのことである。ＨＤとは高精細の意味である。ＨＶＳとは、人間の視覚系のことである。ＩＤＷＴとは、逆離散ウェーブレット変換のことである。ＭＰＥＧとは、エムペグ標準のことである。ＭＶＣとは、マルチビュービデオ符号化のことである。ＰＡＴとは、プログラム関連付けテーブルのことである。ＰＥＳとは、パケット化されたエレメンタリストリームことのである。ＰＩＤとは、パケットＩＤのことである。ＰＭＴとは、プログラムマットテーブルのことである。ＰＲとは、完全な再構築のことである。ＰＳＩとは、プログラム特定情報のことである。ＰＴＳとは、提示タイムスタンプのことである。ＰＵＳＩとは、ペイロードユニット開始インジケータのことである。ＱＭＦとは、直交ミラーフィルタのことである。ＳＥＩとは、補助の向上のための情報のことである。ＳＶＣとは、スケーラブルビデオ符号化のことである。ＴＳとはトランスポートストリームのことである。ＶＣ１とは、ＳＭＰＴＥ  ４２１Ｍビデオコーデック規格のことである。  立体（平面立体（plano-stereoscopic）と称する場合もある）３Ｄ画像は、左目画像および右目画像を別個に表示することにより生成される。この種類の画像は、別個のストリームによるもの、または、単一の多重化されたストリームによるものを含む、複数の方法によりディスプレイに配信することができる。別個のストリームを配信するためには、既存のブロードキャスト／家庭用電化製品インフラストラクチャを、ハードウェアおよびソフトウェア双方のレベルにおいて修正する必要がある場合がある。
【００４４】
２Ｄ画像を配信する目的には重要なインフラストラクチャが既に世界的に普及しており、そのなかには、これらに限られはしないが、光ディスク（ＤＶＤ、ブルーレイディスク、およびＨＤ  ＤＶＤ）、衛星、ブロードキャスト、ケーブル、およびインターネットが含まれる。この種類のシステムは、ＭＰＥＧ−２、ＭＰＥＧ−４／ＡＶＣ、またはＶＣ１等の特定の種類の圧縮を処理することができ、２Ｄ画像を対象としている。現在の多重化システムは、立体画像対を、配信システムが単純な２Ｄ画像として取り扱うことのできる２Ｄ画像にする（詳細は、Ｌｉｐｔｏｎ等に対する米国特許第５，１９３，０００号明細書に開示されており、これを参照としてここに組み込む）。ディスプレイでは、多重化された２Ｄ画像を逆多重化することで、左画像と右画像とを切り離すことができる。
【００４５】
既存の信号システムには、時間的に多重化された（フレームまたはフィールドインタリーブされたもの）立体画像ストリームのあるフレームが、左画像、右画像、または２Ｄ（モノ）画像であることを示すことができるものがある（Ｌｉｐｔｏｎ等に対する米国特許第５，５７２，２５０号明細書に開示されており、これを参照としてここに組み込む）。この種類の信号システムは、「インバンド」と称されており、画像のアクティブビュー領域の画素を利用して信号を搬送して、画像視覚データを信号で置き換える、ということを意味している。この技術は、１以上のライン（行）分の画像データの損失につながりうる。
【００４６】
立体対を単一の画像フレームに多重化するためにはいくつかの方法が存在している。１つの方法では、左フレームおよび右フレームの各々をサブサンプリングして、それぞれを２Ｄフレームで利用可能な物理的な画素の半分に充填する。このサブサンプリング技術は、水平方向、垂直方向、または対角線方向に利用することができる。垂直方向または水平方向のサブサンプリング技術においては、結果生じる画像解像度は水平解像度と垂直解像度とが等しく維持されず、知覚される画質が損なわれる。
【００４７】
現在のテレビの慣例では、基数（あるいはデカルト）サンプリング技術が利用されており、この技術では、画素が水平行および垂直列に配置され、通常は水平間隔および垂直間隔が同様である（例えば「正方形の画素」）。図５Ａ、５Ｂは、基数サンプリンググリッド、およびそれに関連する空間周波数応答を示す。基数サンプリングは、アイソトロピックではない空間周波数応答を生成する。つまり、図５Ｂに示すように、対角線方向の解像度が、水平方向または垂直方向の√２（約１．４１）倍であることを意味している。しかし、人間の視覚は水平および垂直方向に、より高い感度を有する。図８は、人間の視覚系（ＨＶＳ）の周波数応答を示す。図６は、真のアイソトロピックな解像度を示し、これにより円状の空間周波数応答が生じる。図９Ａ、図９Ｂは、水平解像度の低減した基数サンプリンググリッド、およびそれに関連する空間周波数応答を示しており、図１０Ａ、図１０Ｂは、本開示における、垂直解像度の低減した基数サンプリンググリッド、およびそれに関連する空間周波数応答を示す。
【００４８】
他の方法としては、画像を対角線方向にサンプリングするものがあり、これは５点形サンプリングと称されている。図７Ａは、本開示における５点形のサンプリンググリッドを示し、図７Ｂは、５点形のサンプリングの空間周波数応答を示す。５点形サンプリングは、基数サンプリングの半分の画素を利用して画像を表す。この方法では、空間周波数応答がダイアモンド形状であり、基数サンプリングの場合と垂直解像度および水平解像度が等しい。対角線方向解像度は、水平解像度および垂直解像度の約０．７０に低減する。水平解像度および垂直解像度は、基数サンプリングのときと全く同じであり、対角線方向解像度のみが低減する点に留意されたい。
【００４９】
対角線サンプリングは、基数サンプリングされた画像が、水平方向および垂直方向に比べて、対角線方向に過度にサンプリングされるということを活用する。加えて、人間の視覚の対角線方向の精度は、垂直方向および水平方向のものより劣る（図８参照）。デカルトサンプリングされた画像をサブサンプリングして、対角線方向の画素をなくすことにより、視覚的に損失が殆ど生じない画像を生成することができる（Ｄｈｅｉｎらに対する米国特許第５，１５９，４５３号明細書、および、「２Ｄスペクトルを利用する、テレビ帯域幅の圧縮」、第１３２回ＳＭＰＴＥ技術カンファレンス、１９９０年１０月に開示されており、これらを参照としてここに組み込む）。
【００５０】
異例の画像（例えば単一画素の市松模様のテストパターン等）によっては、対角線方向のサンプリングを利用することで、視覚画質が低減する可能性があり、低減した画質を取り戻す必要がある場合がある。この問題に対しては、既に幾つかの解決方法が存在している。Ｈ．２２２．０／ＭＰＥＧ−２／システムトランスポートストリームに多数の画像ストリームを搬送する、ＭＰＥＧ−２マルチビュー（ＩＴＵ−ＲレポートＢＴ．２０１７）および、より最近では、マルチビュービデオ符号化（ＭＶＣ、ＩＳＯ／ＩＥＣ１４４９６−１０：２００８修正版１）が提唱されている。
【００５１】
通常の方法で主要なストリームを圧縮して、主要なストリームおよび追加的なストリーム（１または複数）の間の差異をエンコードすることで、画像間の重複を活用してより良い圧縮性能を得ることができる。これら方法は両方とも、２Ｄ配信の既存のインフラストクチャへの用途に制約がある。主要な画像ストリームは、２Ｄストリームとして搬送され表示されるが、追加的なストリーム形成のための追加的な情報は無視される。追加的な画像ストリームをサポートするためには、ディスクプレーヤ、セットトップボックス、またはテレビ受像機におけるデコーダの機能が、マルチビュー機能をサポートしている必要がある。これは、現在設置されているベースではサポートされていない。新たなシステムの適用に成功するためには、ある程度、既存のインフラストラクチャと互換性を持たせて、消費者に別の新しいハードウェアを購入させる必要がないようにするべきである。上述した圧縮システムには、（１）ＭＰＥＧ−２／システム：正式には、ＩＳＯ／ＩＥＣ１３８１８−１およびＩＴＵ−ＴＲｅｃ．Ｈ．２２２．０、（２）ＭＰＥＧ−２／ビデオ：正式にはＩＳＯ／ＩＥＣ１３８１８−２およびＩＴＵ−ＴＲｅｃ．Ｈ．２６２、（３）ＭＰＥＧ−２立体テレビ／マルチビュープロフィール：正式にはレポートＩＴＵ−Ｒ  ＢＴ．２０１７、（４）ＭＰＥＧ−４／ＡＶＣ、正式にはＩＳＯ／ＩＥＣ１４４９６−１０およびＩＴＵ−Ｔ  Ｒｅｃ．Ｈ．２６４、（５）ＭＰＥＧ−４マルチビュービデオ符号化（ＭＶＣ、ＩＳＯ／ＩＥＣ  １４４９６−１０：２００８修正版１）、（６）ＶＣ１：正式にはＳＭＰＴＥ４２１Ｍビデオコーデックが含まれる。
【００５２】
２００８年７月に、ＭＰＥＧは正式に、マルチビュービデオ符号化におけるＩＴＵ−Ｔ  Ｒｅｃ．Ｈ．２６４、および、ＩＳＯ／ＩＥＣ１４４９６−１０高度なビデオ符号化（ＡＶＣ）規格の修正版を承認した。
【００５３】
ＭＰＥＧ委員会は、今までにＭＰＥＧ−１、ＭＰＥＧ−２、およびＭＰＥＧ−４という３つの規格を定義している。各規格は、音声圧縮、ビデオ圧縮、ファイルフォーマッティング、およびパケット化という別個の課題を取り扱っている。
【００５４】
格納および送信において重要なＭＰＥＧ規格は、（７）ＭＰＥＧ−２パート１：システム、（８）ＭＰＥＧ−２パート２：ビデオ、（９）ＭＰＥＧ−４パート１０：ＡＶＣ、ＳＶＣ、およびＭＶＣ拡張を含むビデオ、（１０）立体テレビＭＰＥＧ−２マルチビュープロフィールである。
【００５５】
ＳＭＰＴＥおよびマイクロソフトはＶＣ１を定義しており、これはＳＭＰＴＥ４２１Ｍとして知られている。他のグループでも、基本的なＭＰＥＧおよびＶＣ１規格を構築ブロックとして利用して、（１１）ブルーレイディスク協会（ＢＤＡ）（www.blu-raydisc.com）、（１２）高度テレビシステム委員会（ＡＴＳＣ）（www.atsc.org）、（１３）デジタルビデオブロードキャストプロジェクト（ＤＶＢ）（www.dvd.org）および（１４）ＤＶＤおよびＨＤ−ＤＶＤ等のビデオ格納および送信に関する用途特定規格を定義している。
【００５６】
ＭＰＥＧ−２規格、ＩＳＯ１３８１８は、音声（１３８１８−３）、ビデオ（１３８１８−２）、およびシステム（１３８１８−１）という、圧縮されたマルチメディア信号の送信に関する３つの重要なパートを含んでいる。規格の音声およびビデオのパートは、音声のエレメンタリストリームおよびビデオのエレメンタリストリーム（ＥＳ）を生成する方法を規定している。一般的には、ＥＳは、送信または格納のためのパケット化またはフォーマッティングの前に、ビデオおよび音声エンコーダから出力されたものである。ＥＳは、ＭＰＥＧ規格の最下レベルのストリームである。
【００５７】
ＭＰＥＧ−２ビデオＥＳは、各構造レベルのヘッダがあるような、階層構造を有している。最高レベルのヘッダはシーケンスヘッダであり、そのストリームの画像の水平および垂直サイズ、エンコードされたビデオのフレームレート、およびビットレート等の情報を含んでいる。各圧縮フレームは、画像ヘッダの前に設けられており、その最も重要な情報は画像タイプ：Ｉ、Ｂ、またはＰフレームである。Ｉフレームは、他のフレームを参照せずにデコード可能であり、Ｐフレームは時間的に先行するフレームに依存しており、Ｂフレームは、時間的に先行するフレームおよび時間的に後続するフレームの両方に依存している。ＭＰＥＧ−４／ＡＶＣにおいては、Ｂフレームは、複数の時間的に先行するフレームおよび時間的に後続するフレームに依存している可能性がある。
【００５８】
動き補償予測を行うためには、フレームを１６ｘ１６のサイズの画素のマクロブロックに分割しておく。Ｐフレームの場合には、動きベクトルを各マクロブロックに、符号化された表現の一部として送信することができる。動きベクトルは、前のフレームの近似ブロックを指し示す。符号化プロセスは、現在のブロックおよび近似ブロックの間の差異をとり、送信結果をエンコードする。
【００５９】
差異信号は、８ｘ８の画素のブロックの離散コサイン変換（ＤＣＴ）を計算して、低周波数に重きを置いて係数を量子化してから、量子化された値を損失なくエンコードすることでエンコードされてよい。
【００６０】
ＭＰＥＧ−２規格（パート１）のシステムの部分では、音声ＥＳおよびビデオＥＳの組み合わせ方法が規定されている。システム層が解決する２つの重要な課題は、ビデオエンコーダとビデオデコーダとの間のクロック同期、および、１つのプログラム内のＥＳ間の提示同期である。
【００６１】
エンコーダ／デコーダ同期により、フレームの繰り返しおよび抜け落ちが防止され、ＥＳ同期により、リップ同期を維持することができる。タイムスタンプを挿入することによりこれら機能が両方とも達成される。システムクロックタイムスタンプおよび提示タイムスタンプという２つの種類のタイムスタンプが利用されてよい。システムクロックは、ビデオソースのフレームレートにロックを行い、個々の音声フレームおよびビデオフレームには、システムクロックとの関連でこれらフレームを提示する時をそれぞれ示す提示タイムスタンプでタグ付けする。
【００６２】
ＭＰＥＧ−２パート１は、ストリーム生成において２つの異なる方法を規定しており、それぞれ、格納デバイスに最適化されたものと、ノイズのあるチャネルでの送信用に最適化されたものである。第１のタイプのシステムストリームはプログラムストリームと称され、ＤＶＤで利用される。第２のシステムストリームは、トランスポートストリームと称される。ＭＰＥＧ−２トランスポートストリーム（ＴＳ）がこれら２つの中ではより重要である。トランスポートストリームは、ケーブル送信、ＡＴＳＣ地上波放送、衛星ＤＢＳシステム、およびブルーレイディスク（ＢＤ）に利用されるデジタル規格の基となる。
【００６３】
図３４は、従来のＡＴＳＣブロードキャストシステムのブロック概略図である。ＤＶＤはプログラムストリームを利用するが、これは、プログラムストリームがストリームオーバヘッドの観点から僅かに効率性に優り、ストリームのパースに利用される処理能力を最小限に抑えることができるからである。しかし、ＢＤの設計目的の１つに、デジタル送信されたＴＶ信号のリアルタイム・ディレクトなディスク記録（real-time direct to disk recording）を可能とする、というものがあった。ＴＳを利用することで、ＢＤレコーダが、記録中にリアルタイムにシステムフォーマットをトランスコードする必要がなくなる。
【００６４】
オーディオおよびビデオＥＳをＭＰＥＧ−２トランスポートストリームにパケット化するときには、先ず、ＥＳデータを先ずパケット化されたエレメンタリストリームパケット（ＰＥＳパケット）にカプセル化する。ＰＥＳパケットは可変長であってよい。ＰＥＳパケットは、先ず短いヘッダがあって、その後にＥＳデータが続く。略間違いなく、ＰＥＳヘッダに含まれる最も重要な情報は、提示タイムスタンプ（ＰＴＳ）である。ＰＴＳは、デコーダに対して、プログラムクロックとの関連で音声またはビデオフレームを提示する時を通知する。ＡＴＳＣ規格で指定されている、通常のパケット化方法は、各ビデオフレームを別個のＰＥＳパケットにカプセル化する、というものである。
【００６５】
次に、ＰＥＳパケットは、小さな部分に分割されて、ＴＳパケットのペイロード部分にマッピングされる。ＴＳパケットは１８８バイト長であり、１パケットについての最大ペイロードは１８４バイトである。単一のＰＥＳパケット送信に通常は数多くのＴＳパケットが利用される。４バイトのＴＳパケットヘッダは、同期バイトから始まり、さらに、パケットＩＤ（ＰＩＤ）フィールドおよび「ペイロード＿ユニット＿開始＿インジケータ」（ＰＵＳＩ）ビットを含む。ＰＵＳＩビットは、ＴＳパケットにおけるＰＥＳパケットの開始にフラグをたてるのに利用される。所与のＥＳからの全てのデータは、同じＰＩＤのパケットに含まれている。ＰＥＳパケットヘッダがＴＳパケットで見つかったときには、ＰＵＳＩビットを設定して、ＰＥＳヘッダはペイロードの第１バイトから始まる。デコーダはＴＳパケットヘッダおよびＰＥＳヘッダを取り外すことで、元のＥＳを復元することができる。
【００６６】
最後に、ＴＳパケットは、適合フィールドを含んでいることがあり、これは、４バイトのＴＳヘッダの直ぐ後ろの、いくつかのバイトの剰余フィールドであり、この適合フィールドが存在していることは、ＴＳヘッダの１ビットによるフラグでわかる。略間違いなく、この適合フィールドに含まれる最も重要な情報は、システムクロックのサンプリングである。この種類のサンプリングは、毎秒少なくとも１０回は挿入されてよい。デコーダはこの種類のサンプリングを利用して、ローカルクロックを、エンコーダのクロックにロックしてよい。
【００６７】
数多くの異なるＥＳは、それらを含むＴＳパケットの時分割多重化により多重化することができる。パケットは、所望のＥＳを含んだＰＩＤを有するパケットのみを取得することで、デコーダにより逆多重化することができる。固定長のＴＳパケット同士は、通常のＴＳヘッダの最初のバイトが０ｘ４７であることから、同期しやすい。
【００６８】
図３５は、ビデオエレメンタリストリーム（ＥＳ）のためのトランスポートストリーム（ＴＳ）パケット化プロセスを示す。ＡＴＳＣストリームについては、各画像３５１０が単一のＰＥＳパケット３５３０にカプセル化される。画像ヘッダ３５１２は、先ずＰＥＳヘッダ３５３２が来て、その後に続き、ＰＥＳヘッダ３５１６はその画像のＰＴＳを含んでいる。ＰＥＳパケット３５３０はその後、ＴＳパケット３５５０のペイロード部分３５５４に、一度に１８４バイトがマッピングされる。ビデオストリームがプログラムのシステムクロックサンプリングを含むように選択されたと仮定すると、選択されたビデオパケットのＴＰヘッダ３５５２は、これらサンプリングを含ませるために剰余バイトで補強される。
【００６９】
デコーダは、入力されるＴＳを分析して、そのストリームにどんなプログラムが存在しているかを判断する。最終的には、デコーダは、どのＰＩＤが、プログラムを構成するＥＳを搬送するかを判断することができるべきである。これを実行するために、ＭＰＥＧ  ＴＳは、プログラム特定情報（ＰＳＩ）を搬送する。ＰＳＩは、プログラム関連付けテーブル（ＰＡＴ）とプログラムマップテーブル（ＰＭＴ）という、２つの主要なテーブルを含む。ＴＳはＰＩＤ０に１つのＰＡＴのみを有する。従ってＰＩＤ０は、このテーブルを搬送する目的のためにリザーブされているＰＩＤである。デコーダは、パケットの多重化の分析を、ＰＩＤ０を探すことにより開始することができる。ＰＩＤ０パケットから受信され、パースされると、ＰＡＴは、ＴＳが搬送するプログラム数をデコーダに伝える。各プログラムは、さらにＰＭＴにより定義される。ＰＡＴはまたデコーダに対して、多重化されている各プログラムについてＰＭＴを搬送するパケットのＰＩＤを伝える。
【００７０】
所望のプログラムが選択されると、デコーダは、選択されたプログラムのＰＭＴをパースする。所与のプログラムのＰＭＴは、デコーダに対して、（１）このプログラムの一部であるＥＳの数、（２）これらＥＳを搬送するＰＩＤがどれであるか、（３）各ＥＳのストリームタイプ（音声、ビデオ等）、および（４）このプログラムのシステムタイムクロックサンプリングを搬送するＰＩＤがどれであるかを伝える。この情報により、デコーダは、選択されたプログラムについて全てのパケット搬送ストリームをパースして、ストリームデータを適切なＥＳデコーダにルーティングすることができる。
【００７１】
一実施形態では、立体対の左画像および右画像が、単一のビデオフレームにおいて隣り合わせに並んでおり、５点形サンプリングを利用して水平解像度および垂直解像度を維持することができる。例えば、１９２０ｘ１０８０のＨＤフレームを利用する場合を想定する。元の左画像データおよび右画像データを先ずフィルタリングして、５点形サンプリングして、９６０ｘ１０８０の解像度の新たな画像を生成する。次に各フレームのサンプリングを「スクイズ」して、矩形のサンプリングフォーマットを形成して、左画像および右画像を単一のフレームに隣り合わせに配置する。図１２は、５点形サブサンプリング画像を水平方向にスクイズする処理を示す。合成後には、立体対の左画像が、フレームの左半分を占有して、右画像がフレームの右半分を占有している。
【００７２】
結果生じるフレームは、圧縮しやすくするために、空間および時間両面で相関性を有する。実際のところ、ストリームは、標準的なＭＰＥＧ−２、Ｈ．２６４、またはＶＣ１ビデオエンコーダを利用して圧縮されてよい。５点形サンプリングによって、画素間の垂直および水平方向両方における相関性は、従来の矩形のサンプリングにおけるものと少し異なっている。ＭＰＥＧおよびＶＣ１システムに含まれる、インタレースされたビデオに関して標準的なツールを利用して、５点形サンプリングが生じた差異を効率的に処理することができる。一実施形態では、隣り合わせの立体対のエンコードは、全解像度の２Ｄビデオストリームの符号化に利用されるものと略同じビットレートで行うことができる。
【００７３】
隣り合わせのビデオストリームは、全ての既存のＭＰＥＧ−ＴＳに基づくストリームにより、利用する帯域幅を顕著に増加させることなく搬送することができる。しかし、ＰＳＩ用に新たなストリームタイプを定義して、圧縮されたストリームが２ＤＴＶの代わりに立体ＴＶ情報を搬送していることをデコーダに示すと便利である。
【００７４】
＜ベース層／向上した層ストリーム＞
一実施形態では、隣り合わせの３Ｄビデオ「ベース層」を符号化する。殆どの用途において、このベース層は、許容範囲の３Ｄ品質を提供することができる。全解像度を利用する場合には、新たな向上した層を、別個の符号化されたストリームとしてベース層に追加することができる。ベース層と適切に組み合わせることで、全解像度の左画像および右画像が得られる。隣り合わせの画像のベース層／向上した層のストリームを作成するためには様々な方法が考えられる。
【００７５】
ＭＰＥＧ規格内で向上したストリームを搬送する方法も数々存在している。１つの方法では、別個のトランスポートパケットＰＩＤストリームにデータを挿入する。プログラムマップテーブルは、デコーダに対して、各プログラム内のストリーム数、ストリームタイプ、および、それらが含まれるＰＩＤを伝える。向上したストリームを追加する１つの方法では、別個のＰＩＤストリームを多重化したものに追加することで、ＰＭＴ経由で、このＰＩＤストリームが適切なプログラムの一部であることを示す。ＰＳＩテーブルでは、８ビットのコードを利用してストリームタイプを示すことができる。０ｘ０Ｆ−０ｘ７Ｆの値は、「レザーブ」であり、標準的な本体を選択して、これらの１つを特定のタイプの、向上に関する情報に割り当てることができることを示している。別の方法としては、「ユーザの私的な」データタイプ０ｘ８０−０ｘＦＦの１つを利用して、適用される産業の重みを用いて特定のユーザの私的なデータタイプコードを暫定的な規格として構築する、というものもある。ＡＴＳＣ仕様に準拠させるためには、ＡＴＳＣ規格は０ｘＣ４を超える値しか私的なプログラムエレメントに対して許可していないために、これらの値を選択するべきである（ＡＴＳＣデジタルテレビ規格Ａ／５３、パート３、セクション６．６．２を参照のこと）。
【００７６】
ＭＰＥＧ−２およびＨ．２６４の両方が、立体ＴＶを搬送する規格化されたプロビジョンを有する。元のＭＰＥＧ−２規格は、時間および空間スケーラビリティ両方をサポートする。時間スケーラビリティの背後にあるコンセプトは、ビデオを、ベース層と向上した層という２層に符号化する、というものである。ベース層は、低減したフレームレートでビデオフレームを提供して、向上した層は、ベース層のものの間に時間的に配置される追加フレームを提供することで、フレームレートを増加させる。ベース層は、向上した層のフレームを参照することなく符号化されるので、向上した層をデコードする機能を有さないデコーダでもデコード可能である。向上した層のフレームは、ベース層のフレームまたは向上した層のフレームいずれからも予測可能である。
【００７７】
ベース層のフレームおよび向上した層のフレームの符号化表現は両方とも同じビデオＥＳに含まれている。つまり、層の多重化をＥＳ規格に構築して、ベース層のフレームと向上した層のフレームとを合成するシステムレベルの構造を利用する必要がないようにしている。しかし、これにより、向上した層が別個のＰＩＤストリームに存在しなくなることから、デコーダには処理および帯域幅ペナルティが課されることもある。
【００７８】
Ｈ．２６４規格は、交互のフィールドまたは交互のフレームとして立体符号化を明示的にサポートすることができる。こうするためには、オプションのヘッダ（より詳しくは、補助の向上のための情報またはＳＥＩメッセージ）を画像パラメータセットの後に挿入して、デコーダに対して、符号化されたシーケンスが立体シーケンスであることを伝える（Ｈ．２６４規格、セクションＤ．２．２２参照）。ＳＥＩメッセージは、さらに、立体情報のフィールドまたはフレームインタリーブが利用されたか、および、所与のフレームが左目側または右目側いずれのビューであるかを示す。Ｈ．２６４は、動き補償予測技術を充分利用することで、左フレームまたは右フレームからの所与のフレームの適合予測をサポートする。一方で、ＭＰＥＧ−２において同様、こうすることで、向上した層が別個のＰＩＤストリームに存在しなくなるので、全てのデコーダに対して処理および帯域幅のペナルティが課されてしまう。
【００７９】
ＭＰＥＧ−２およびＭＰＥＧ−４立体、マルチビューサポートによると、通常、２つのビデオストリームのいずれかに品質が偏る（通常は、左目画像のほうが高い画質となる）。
【００８０】
一実施形態では、ベース層および向上した層が、２つの別個のＥＳ（銘々が自身のＰＩＤを有する）として符号化される。ベース層および向上した層を２つのＥＳとして符号化して、これらをともにトランスポート層で多重化することには、コストおよび効率化の観点から利点がある。既存のトランスポートパケットデバイス（例えばマルチプレクサおよびデマルチプレクサ）を、これらストリームの処理に利用することができる。例えば、ベース層および向上した層の立体信号が衛星経由で米国全土のケーブルシステムに配信される場合を想定する。向上した層をサポートするのに適した帯域幅を必要として有するシステムであれば、多重化された信号全体を通過させる。システムが全解像度に向いていない配信業者は、向上した層を搬送するＰＩＤを有するパケットを廃棄してしまうことで、向上した層を前処理工程で落としてしまいがちである。既存のトランスポートストリーム操作インフラストラクチャを利用して、向上した層を必要に応じて追加および除去することができる。これにより、サービスプロバイダが新たに得るべきデバイスおよびツールが最小限に抑えられる。
【００８１】
図１は、立体ビデオをエンコードする装置１００のブロック概略図である。本実施形態では、装置１００は、示されているような配置のエンコーダモジュール１０２、圧縮モジュール１０４、および多重化モジュール１０６を含む。
【００８２】
動作においては、エンコーダモジュール１０２は、立体ビデオシーケンス１１２を受信してよい。入力としての立体ビデオシーケンス１１２は、左目シーケンスと右目シーケンスという２つのビデオシーケンスであってよい。２つのビデオシーケンスは、画像の左半分の左目画像および画像の右半分の右目画像を有する単一のビデオシーケンスに収縮されうる。エンコーダモジュール１０２は、立体ビデオシーケンスから、ベース層の立体ビデオ１１４、および、向上した層の立体ビデオ１１６を生成することができる。向上した層の立体ビデオ１１６は、ベース層の立体ビデオ１１４に存在していない、残りの左画像データおよび右画像データを含んでいる。ベース層の立体ビデオは、ローパスのベース層を含み、向上した層の立体ビデオ１１６は、ハイパスの向上した層を含む。
【００８３】
圧縮モジュール１０４において、ベース層の立体ビデオ１１４は、ベース層の圧縮ビデオ１１８に圧縮されてよく、向上した層の立体ビデオ１１６は、向上した層の圧縮ビデオ１２０に圧縮されてよい。マルチプレクサモジュール１０６は、ベース層の圧縮ビデオ１１８、向上した層の圧縮ビデオ１２０、音声データ１２２、およびその他のデータ１２４を多重化することにより、出力ビットストリーム１３０を生成することができる。他のデータ１２４は、さらなるビュー作成、または、画質向上、３Ｄサブタイトル、メニュー指示、その他の３Ｄ関連のデータコンテンツおよび機能の助けとするためのデコードプロセスに利用する右目画像および左目画像の深さ情報を含んでよい。次いで出力立体ビットストリーム１３０を格納、配信、および／または送信することができる。
【００８４】
組み合わせられた向上した層は、スケーラブル立体画像の情報および深さ両方を含んでおり、マルチファセットのテクスチャをより一般的に配信して、将来の３Ｄ可視化プラットフォームで利用されうるものを形成することができる、後方互換性を有する実施形態である。
【００８５】
向上（剰余）シーケンスを略同時に作成するアルゴリズムを、ベース層の隣り合わせのシーケンスとして作成することができる。さらに、剰余シーケンスを単一の隣り合わせのビデオシーケンスに、情報の実質的な損失なく組み合わせることができる。この制約を満たす方法によってクリティカルなサンプリングが行われると言われている。これは、隣り合わせのベース層の立体対および剰余シーケンスを作成するプロセスによっても、元のシーケンスを表すのに利用されるサンプリング数（つまり画素または実数）が実質的に増加しないことを意味している。離散フーリエ変換（ＤＦＴ）同様に、Ｎ個のサンプリングが入力され、異なる形態のＮ個のサンプリングが出力される。
【００８６】
最終的にこのプロセスにより２つの隣り合わせの立体対の画像が生成され、その一方が本質的にローパスであり、他方が本質にハイパスであり、これら隣り合わせの画像両方が、元の２つの入力画像と同じ解像度を有する。圧縮アーチファクトがない場合には、画像を再度組み合わせて、元の２つの入力画像を立体対から略完全に再生することができる。
【００８７】
ひとたび圧縮エラーが生じてしまうと合成後にはエイリアスを除去することができないが、ベース層および向上した層は、互いに独立して圧縮するほうがよい。圧縮アーチファクトが存在してしまった場合には、エイリアス除去特性を起動可能にしておくほうが好ましい。
【００８８】
図２は、立体ビデオビットストリーム２３０（例えば図１の出力立体ビットストリーム１３０）をデコードする装置２００のブロック概略図である。本実施形態では、装置２００は、示されているような配置の抽出モジュール２０２、解凍モジュール２０４、および合成モジュール２０６を有する。
【００８９】
動作においては、立体ビデオビットストリーム２３０が、送信、配信、またはデータストレージ（例えばケーブル、衛星、ブルーレイディスク等）から受信されてよい。一部の実施形態では、立体ビデオビットストリーム２３０は、バッファ（不図示）を介して受信されてよく、当業者であればその実装についてよく知っている。
【００９０】
抽出モジュール２０２は、デマルチプレクサであってよく、入力ビットストリーム２３０を受信して、入力ビットストリーム２３０から、ベース層の圧縮立体ビデオ２１８と、向上した層の圧縮立体ビデオ２２０とを抽出する機能を有してよい。抽出モジュール２０２は、さらに、入力ビットストリームから音声データ２２２およびその他のデータ２２４（例えば深さ情報）を抽出する機能を有してよい。抽出モジュールはさらに、入力ビットストリーム２３０からコンテンツ情報タグを抽出することができてよく、または、コンテンツ情報タグはベース層の立体ビデオ２１４から抽出されてもよい。
【００９１】
解凍モジュール２０４は、ベース層の圧縮立体ビデオ２１８をベース層の立体ビデオ２１４へと解凍することのできる第１の解凍モジュール２３４を含んでよい。解凍モジュール２０４はさらに、向上した層の圧縮立体ビデオ信号２２０を、向上した層の立体ビデオ２１６へと解凍する機能を有する第２の解凍モジュール２３６を含んでよい。
【００９２】
合成モジュール２０６は、第１のモードにおいて、立体対のビデオシーケンス２１２を、向上した層の立体ビデオ２１６からではなく、ベース層の立体ビデオ２１４から生成することができる。第２のモードにおいては、合成モジュール２０６は、ベース層の立体ビデオ２１４および向上した層の立体ビデオ２１６両方から立体対ビデオシーケンス２１２を生成することができる。合成モジュール２０６は、一部の実施形態では、コンテンツ情報タグを追加することができ、コンテンツ情報タグの一例は、ここに参照として組み込む２００９年８月１日提出の「立体ビデオデータをエンコードおよびデコードする方法および装置」という名称の出願番号第１２／５３４，１２６号明細書に開示されている。
【００９３】
図３は、立体ビデオをエンコードする装置３００のブロック概略図である。本実施形態では、装置３００は、示されているような配置の閉ループのエンコーダ３１４、圧縮器３１６、およびマルチプレクサ３１８を含んでよい。
【００９４】
図４は、立体ビデオをデコードする装置４００のブロック概略図である。本実施形態では、装置４００は、示されているような配置の抽出モジュール４０２、解凍モジュール４０４、および合成モジュール４０６を有する。
【００９５】
図３および図４に示すように、ベース層の圧縮アーチファクトの修正は、ベースエンコーダ３１４およびベース圧縮器３１６の周りのエラーループを閉じることで実装することができる。エンコードされた、圧縮ベース信号と、全解像度のソースとの差異を、向上した層の圧縮器３２０への入力として利用する。一実施形態では、これにより、向上した層のデータサイズが、上述した開ループの実施形態（図１参照のこと）の二倍に向上する。
【００９６】
ベース層のビットストリームにのみアクセスを有するデコーダは、高品質立体ＴＶ信号をデコードすることができ、ベース層のビットストリームおよび向上した層のビットストリームにアクセスを有するデコーダは、全解像度の立体ＴＶ信号をデコードすることができる。
【００９７】
追加の向上した層の情報も、デコードプロセスで利用されることで追加のビューの作成または画質の向上に利用可能な、ビデオデータとしてエンコードされた左画像および右画像の深さ情報を含んでよい。同様のビデオ圧縮技術を利用して、追加の画像情報を圧縮することもできる。
【００９８】
図５Ａは、基数サンプリンググリッド５０２を示し、図５Ｂは、基数サンプリンググリッドに関連する空間周波数応答５０４を示す。図５Ｂに示すように、基数サンプリングはアイソトロピックではない。これは、対角線方向の解像度が、水平方向または垂直方向の解像度よりも、√２（約１．４１）倍大きい。
【００９９】
図１１は、奇数および偶数の５点形サンプリングパターンの定義を示す概略図である。図１１に示すように、基数を用いて（cardinally）サンプリングされた画像は、偶数の５点形（または市松模様）の画素１１０２および奇数の５点形の画素１１０４に分割される。垂直および水平両方向両方において画素がゼロから始まる場合には、偶数の５点形画素１１０２は、ＸおよびＹ座標の合計が偶数である。同様に、奇数の５点形画素１１０４では、ＸおよびＹ座標の合計が奇数である。例えば、基数を用いてサンプリングされた画像の左上の画素は、Ｘ＝０およびＹ＝０であり、偶数の５点形画素である。
【０１００】
図８は、人間の視覚系の周波数応答８００の近似を示す。周波数応答８００が示すように、人間の視覚系（ＨＶＳ）はアイソトロピックではなく、対角線方向よりも基数方向（水平および垂直）の詳細に高い感度を有する。これは、斜め効果として知られている。この効果は、見られる条件および画像コントラストに応じて変化するが、この効果により、ＨＶＳの対角線方向の解像度は、基数方向の約８０％未満に低下する。基数サンプリングの異方性と組み合わせることで、対角線方向の情報を約２倍過剰サンプリングすることができる。
【０１０１】
５点形サンプリングは、図７Ｂおよび図８を比較すると分かるように、ＨＶＳの空間周波数に厳密に一致するダイアモンド形状のスペクトルを有する。５点形のサンプリングは、画像表現のために、基数サンプリングの半分のサンプリングを利用するが、垂直および水平解像度は変わらない。対角線方向の解像度の視覚上の損失は、知覚される解像度に極僅かな効果しか及ぼさない。
【０１０２】
基数サンプリングされた画像は、ダイアモンド形状のパスバンドを有するフィルタにより５点形のサンプリングに変換されてから、余りのサンプリング（市松模様）を破棄する。このようにして得られる画像は、画素が二分の一となるが、全水平解像度および全垂直解像度を有する。
【０１０３】
余りの画素を破棄する際に、奇数または偶数の市松模様の画素を破棄することもできる。片目について、奇数の画素を破棄して、もう片目について、偶数の画素を破棄すると好適である。これにより、テキストの全対角線方向解像度、および３Ｄ立体シーンの、Ｚ＝０平面にある他のオブジェクトを保存することができる。加えて、左画像および右画像のエイリアス成分の位相をずらして除去することができる。このモードは、潜在的に５点形の表示デバイスを利用するＤＬＰベースの表示にもよく適合する。
【０１０４】
左画像および右画像に関する別の方法に、簡潔性および一貫性のために、同じ市松模様のフェーズを利用する、というものがある。
【０１０５】
多重化された立体３Ｄへの用途においては、２つの５点形のサンプリングを施された画像を、１つの基数サンプリングされた画像の空間に収めることもできる。こうすることで、生成、配信、ブロードキャスト、および受信に至るまで、標準的な２Ｄ機器を利用することができるようになる。全画素数が充填プロセスにおいて変わらない限りは、２つの画像を、隣り合わせ、上下、インタリーブされた市松模様、またはその他の所望のパターンに充填することができる。左画像および右画像は、それぞれ異なる解像度であり、解像度は、フレームの位置に応じて変化してよい。一実施形態では、充填は隣り合わせであり、充填されたフォーマットと充填されていないフォーマットとの間の変換に利用されるメモリは最小限である。隣り合わせの充填は以下のように利用されるが、ここに記載する実施形態は、本開示の原理の応用例を示したにすぎず、他の充填技術（例えば上下、５点形等）を利用することもできる。ここにおける図示された実施形態の詳細の参照は、請求項の範囲を制限するものではなく、それ自身が本開示に重要であるとみなされる特徴を記載している。
【０１０６】
図１３は、５点形サブサンプリングされたベースの層および向上した層、および２Ｄダイアモンド畳み込みフィルタを利用する立体画像処理エンコード技術を示す概略図である。技術は、１３０２において全解像度の左画像および右画像の受信から始まる。
【０１０７】
ベース層を生成する際には、１３０４で全解像度の左画像および右画像がローパスフィルタリングされ、次に１３０６で５点形法でデシメーションされる（decimate）。１３０６の５点形フィルタリングでデシメーションされた画素は、次にステップ１３０８で水平方向に廃棄およびスライドさせられる。結果得られる５点形の左画像および右画像は、合算されて、隣り合わせのローパスフィルタリングされた左画像フレームおよび右画像フレームが生成される（１３１０）。
【０１０８】
向上した層を生成する際に、全解像度の左画像および右画像が１３１２でハイパスフィルタリングされ、後に１３１４で５点形でデシメーションされる。１３１４の５点形フィルタリングでデシメーションされた画素は、次に１３１６で水平方向に破棄およびスライドさせられる。結果得られる５点形の左画像および右画像は、１３１８で合算されて、隣り合わせのハイパスフィルタリングされた左画像フレームおよび右画像フレームが生成される。
【０１０９】
図１４は、５点形サブサンプリングされたベースの層および向上した層、および２Ｄダイアモンド畳み込みフィルタを利用するデコーダの立体画像処理デコード技術を示す概略図である。
【０１１０】
動作においては、ステップ１４０４で、ベース層１４０２からの左画像および右画像が、隣り合わせのローパスフィルタリングにより抽出される。１４０６で左画像および右画像を分離して、ステップ１４０８で、これらに対して、５点形法を利用してゼロを充填する。５点形法でゼロ充填されたローパスフィルタリングされた左画像および右画像は、次に１４１０でローパスフィルタリングされる。同様に、１４１４で、向上した層１４１２からの左画像および右画像が、隣り合わせのハイパスフィルタリングにより抽出される。１４１６で左画像および右画像を分離して、ステップ１４１８で、これらに対して、５点形法を利用してゼロを充填する。５点形法でゼロ充填されたハイパスフィルタリングされた左画像および右画像は、次に１４２０でハイパスフィルタリングされる。ローパスおよびハイパスダイアモンドフィルタリングされた立体画像は、次にステップ１４２２で合計されて、ステップ１４２４で全解像度の左画像および右画像が形成される。
【０１１１】
図１３および図１４に示すように、一実施形態では、ダイアモンド形状のローパスおよびハイパス特性を有する２Ｄフィルタが利用される。このローパスおよびハイパスフィルタは、任意の適切な技術による実装が可能である。例えば、プログラム可能フィルタカーネルアレイを利用して、所望のフィルタ特性を得ることができる。図２１は、２Ｄダイアモンドのローパスフィルタアレイを実装するために利用することのできる９ｘ９フィルタカーネル係数のお一例を示すテーブルである。２Ｄダイアモンドのハイパスフィルタは、直交ミラーフィルタリング技術または共役ミラーフィルタリング技術を利用して、独立した設計、または、２Ｄダイアモンドのローパスフィルタからの生成が可能である。これらの技術は、Vaidyanathanによる「マルチレートシステムおよびフィルタバンク」、ＰＴＲプレンティスホール（１９９３）、Vetterli およびKovacevicによる「ウェーブレットおよびサブバンド符号化」、ＰＴＲプレンティスホール（１９９５）、および、Akansu およびHaddadによる「多数解像度の信号解凍：変換‐サブバンド‐ウェーブレット」、アカデミックプレス（１９９２）に開示されており、ここに参照として組み込む。
【０１１２】
図１５および図１６は、分離不可能な２Ｄリフト式離散ウェーブレット変換フィルタを利用する、エンコーダ／デコーダ対の別の実施形態を示す。別の実施形態では、２Ｄの分離不可能な５点形の４ステップリフト形状で利用される公知のCohen-Daubechies-Feauveau（９，７）の双直交スプラインフィルタが利用される。図２１は、各リフトステップにおけるリフト構造および係数が示す。
【０１１３】
図１５の符号化プロセスに従って、動作においては、全解像度の左画像を１５０２で受信する。１５０４で分離不可能なダイアモンドリフト逆離散ウェーブレット変換を全解像度の左画像に行い、次いで１５０６で、隣り合わせのローパスおよびハイパスフィルタリングプロセスを実行する。同様に、全解像度の右画像を１５１２で受信する。１５１４においても、分離不可能なダイアモンドリフト逆離散ウェーブレット変換（ＩＤＷＴ）を全解像度の右画像に実行して、１５１６で隣り合わせのローパスおよびハイパスフィルタリングプロセスを実行する。図１５に示すように、隣り合わせの配置になるよう左側画像１５２２を左側画像１５３２と組み合わせて、画像１５２２でフレーム１５３６の左側を占有させて、画像１５３２でフレーム１５３８の右側を占有させる（ステップ１５１８）。同様に、右側画像１５２４を右側画像１５３４とを隣り合わせの配置になるように組み合わせて、画像１５２４でフレーム１５２６の左側を占有させて、画像１５３４でフレーム１５２８の右側を占有させる（ステップ１５０８）。このようにして、フレーム１５３６／１５３８がベース層を提供して、フレーム１５２６／１５２８が向上した層を提供する。
【０１１４】
ベース層および向上した層のデコードは、図１６に示すシーケンスに則って行うことができる。ここでは、隣り合わせのローパスおよびハイパスフィルタリングされた左画像１６０２、右画像１６１２からそれぞれ構成されるベース層１６２０および向上した層１６３０は、それぞれ隣り合わせに配置されたローパスおよびハイパスフィルタリングされた右画像１６０４、１６１４に変換される。分離不可能なダイアモンドリフトＩＤＷＴをステップ１６０６、１６１６で行うことで、全解像度の右画像１６０８および全解像度の左画像１６１８が出力される。
【０１１５】
リフトとはＪＰＥＧ２０００に好適な実装であるが、通常は、ここに参照として組み込まれるAcharyaおよびTsaiが「画像圧縮のためのＪＰＥＧ２００規格」、ワイリー・インターサイエンス（２００５）が開示している分離可能な矩形の２パス法で利用される。
【０１１６】
直交ミラーフィルタ（ＱＭＦ）、共役ミラーフィルタ（ＣＭＦ）、および、リフト式離散ウェーブレット変換フィルタは、完全な再構築（ＰＲ）フィルタである。完全な再構築フィルタは、さらなる帯域幅を利用せずに入力に同一な出力を与えることができる。これはクリティカルなサンプリング、または、最大デシメーションのフィルタリングと称される。実際のフィルタの周波数カットオフを無限にシャープにすることはできないので、全ての信号情報を転送する場合には、ローパスフィルタおよびハイパスフィルタのパスバンドは重なるべきである。図２４は、１Ｄの例を示す。各サブバンドは、隣接するサブバンド（１または複数）からのエイリアス信号を含むべきである。各サブバンドは、それ自身にエイリアスを有する間に再結合すると、エイリアスが除去され、出力が入力と等しくなる。これが、完全な再構築のフィルタバンクの定義であり、信号処理の当業者にはよく知られている。サブバンドのいずれかがシステムの他のエレメントにより歪められる場合（例えば圧縮アーチファクトにより）、出力が入力とは等しくならなくなり、エイリアス除去が失敗して、他のサブバンドにアーチファクトが生じる可能性がある。
【０１１７】
ウェーブレットのリフティング（スウェルデン）実装により、実質的に完全な再構築フィルタが形成される。双直交２バンドフィルタバンクは分析ローパス、分析ハイパス、合成ローパス、および合成ハイパスという、４つのフィルタ係数のセットを利用する。直交２バンドフィルタバンクは、それぞれローパスおよびハイパス用の２つのフィルタ係数セットと、分析および合成について同じ係数とを利用する。別の実施形態では、１Ｄフィルタバンクが、完全な再構築の形式で、またはそれ以外の形式で利用される。これらフィルタはいずれも、ベース層および向上した層を生成する目的、および、ベース層および向上した層を再合成する目的に適している。
【０１１８】
この一実施形態では、分離不可能な２Ｄリフト式ウェーブレットフィルタをダイアモンド形状のパスバンドとともに利用する。別の実施形態では、設計に応じて完全な再構築フィルタであってもなくてもよい２Ｄダイアモンド畳み込みフィルタを利用する。
【０１１９】
２つの基数サンプリングされたソース画像の立体対は、一対の隣り合わせの画像に、２Ｄ畳み込みフィルタを利用して変換されてよい。一対の隣り合わせの画像のうちの第１の画像は、ベースと称され、ローパスフィルタリングされた左画像および右画像を含む。一対の隣り合わせの画像のうちの第２の画像は、向上したものと称され、ハイパスフィルタリングされた左画像および右画像を含む。図１３に示すように、ベースを生成するためには、基数サンプリングされた画像の各々が２Ｄダイアモンドローパスフィルタリングされて、次に５点形のデシメーションが行われる。これにより各画像において画素数が２分の１に低減する（つまり、クリティカルにサンプリングされる）。この例では、２つの低減された画像がベース画像において隣り合わせになるよう充填されるが、これはソース画像のいずれかと同じサイズである。向上されたものも、ハイパスフィルタリングを利用する点以外は、上述と同様の方法によって生成可能である。
【０１２０】
別の実施形態では、２つの基数サンプリングされたソース画像の立体対を、隣り合わせの画像の対に、２Ｄリフト式離散ウェーブレット変換フィルタを利用して変換することができる。リフト式離散ウェーブレット変換の１つの特徴は、ローパスおよびハイパスのデシメーションされた画像を定位置に、別個のデシメーションステップを利用することなく生成することである。こうすることで、数値計算が顕著に少なくて済むが、結果得られる画像は図１５に示すように再配置され、２つのハイパスフィルタリングされた画像が向上したものとなり、２つのローパス画像がベースとなる。
【０１２１】
別の実施形態では、２つの基数サンプリングされたソース画像の立体対が、１Ｄ水平畳み込みフィルタを利用して、一対の隣り合わせの画像に変換される。一対の隣り合わせの画像のうちの第１の画像は、ベースと称され、ローパスフィルタリングされた左画像および右画像を含む。一対の隣り合わせの画像のうちの第２の画像は、向上されたものと称され、ハイパスフィルタリングされた左画像および右画像を含む。図１７は、列をサブサンプリングされたベースの層および向上した層、および１Ｄ水平畳み込みフィルタを利用するエンコーダを示す概略図である。１７０２で全解像度の左画像および右画像を受信する。図１７に示すように、ベースを生成するには、基数サンプリングされた画像の各々が１７０４で１Ｄの水平ローパスフィルタリングされたものであり、次に１７０６で列をデシメーションされる（column decimation）。デシメーションされた画素はステップ１７０８で水平方向に廃棄およびスライドさせられる。これにより、各画像の画素数を２分の１に低減することができる（クリティカルにサンプリングされる）。この例では、１７１０で２つの低減した画像を、ベース画像において隣り合わせになるように充填するが、これはソース画像のいずれかと同じサイズである。向上されたものも、ステップ１７１４、１７１６、１７１８、１７２０で、ハイパスフィルタリングを利用する点以外は上述と同様の方法を利用して生成することができる。
【０１２２】
別の実施形態では、２つの基数サンプリングされたソース画像の立体対は、一対の上下の画像に、１Ｄ垂直畳み込みフィルタを利用して変換される。一対の上下の画像のうちの第１の画像は、ベースと称され、ローパスフィルタリングされた左画像および右画像を含む。一対の上下の画像のうちの第２の画像は、向上したものと称され、ハイパスフィルタリングされた左画像および右画像を含む。
【０１２３】
図１９は、列をサブサンプリングされたベースの層および向上した層、および１Ｄ垂直畳み込みフィルタを利用するエンコーダを示す。１９０２で全解像度の左画像および右画像が受信される。図１９に示すように、ベースを生成するためには、１９１２で基数サンプリングされた画像の各々を１Ｄ垂直ローパスフィルタリングして、次に１９１４で行をデシメーションする。これにより、各画像の画素数を２分の１に低減することができる（クリティカルにサンプリングされる）。この例では、１９１６で２つの低減した画像を、ベース画像において上下になるように充填するが、これはソース画像のいずれかと同じサイズである。向上されたものも、ステップ１９２２、１９２４、１９２６で、ハイパスフィルタリングを利用する点以外は上述と同様の方法を利用して生成することができる。
【０１２４】
ベース画像および向上した画像の生成に利用されるものがいずれの実施形態であっても、これら画像は、従来の２Ｄ機器およびインフラストラクチャを利用して、それぞれ独立して圧縮、記録、送信、配信、受信、および表示することができる。
【０１２５】
一実施形態ではベース層のみが利用され、向上した層を廃棄する。別の実施形態では、ベース層および向上した層の両方を利用するが、向上した層のデータはヌル、または効果的なヌルであり、無視することができる。ベース層のみを表示に利用する場合には、デコードされたベース層の画像をそのまま（as-is）利用することができ、または、これらを、利用される特定の表示技術が利用するそれぞれ異なるサンプリング配置に変換することもできる。ベース層が２Ｄダイアモンドフィルタリングを利用して生成された場合には、元の基数サンプリングされた画像と比較して、ダイアモンド形状の解像度が提供され、全ダイアモンド解像度が水平方向および垂直方向両方に生じる。ベース層が１Ｄフィルタリングを利用して生成された場合には、水平または垂直解像度が元の基数サンプリングされた画像の約半分になる。
【０１２６】
一実施形態では、ソース画像の全基数解像度は、適切なフィルタを利用してベース画像および向上した画像を再度組み合わせることにより復元することができる。図１４および図１６に示すように、ベースから基数サンプリングされた左画像および右画像を再構築するためには、ベースに含まれる左画像および右画像に５点形のゼロ充填を行い、その次に、畳み込みフィルタリング、２Ｄウェーブレットフィルタリング、または任意の他の適切な２Ｄフィルタを利用して、ダイアモンドローパスフィルタリングする、という方法がある。これにより、各画像の画素数を２倍に増やすことができ、それぞれ元のソース画像のサイズに一致する。結果得られる基数サンプリングされた左画像および右画像は、ダイアモンド形状の空間解像度を有する（図７Ｂ参照）。
【０１２７】
向上した画像も、ハイパスフィルタを利用する点以外は上述と同様の方法で再構築することができる。再構築したベース画像および向上した画像を追加することで得られる左画像および右画像は、図５Ａ、５Ｂに示すような全解像度を有する。
【０１２８】
ベース層および向上した層が図１７に示すように１Ｄ水平フィルタリングを利用して生成された場合にも、全解像度を復元することができる。図１８は、列をサブサンプリングされたベースの層および向上した層、および１Ｄ水平畳み込みフィルタを利用する立体画像処理デコーダを示す概略図である。全解像度は、図１８に示すようなダイアモンド２Ｄ実施形態によっても同様に復元することができる。ベース層１８０２、向上した層１８１２それぞれの左画像および右画像は、１８０４、１８１４で分離される。そして１８０６、１８１６で、列にゼロ充填して、１８０８、１８１８で、それぞれローパスおよびハイパスフィルタリングする。再構築されたベース画像および向上した画像を１８２０で追加することで得られる左画像および右画像は、図５Ａ、５Ｂに示すような全解像度を有する。
【０１２９】
図１９は、列をサブサンプリングされたベースの層および向上した層、および１Ｄ垂直畳み込みフィルタを利用するエンコーダを示すブロック図である。ベース層および向上した層が、図１９に示すようなＩＤ垂直フィルタリングにより生成された場合、図２０に示すダイアモンド２Ｄの実施形態と同様の方法で全解像度を復元することができる。
【０１３０】
図２０は、列をサブサンプリングされたベースの層および向上した層、および１Ｄ垂直畳み込みフィルタを利用する立体画像処理デコード技術を示す概略図である。動作においては、ベース層および向上した層２００２、２０１２が２００４、２０１４で積層を解除され行をゼロ充填され、次いで、２００６、２０１６でそれぞれローパスおよびハイパスフィルタリングが行われる。２０２０で再構築されたベース画像および向上した画像を追加することで得られる左画像および右画像は、図５Ａ、５Ｂに示すように全解像度を有する。
【０１３１】
図２２は、２帯域の完全な再構築フィルタの周波数応答のＩＤの例を示す。いずれの実施形態においても、現行の実装例およびインフラストラクチャとの互換性をもたせるよう、または低減した帯域幅のパラメータ用に、出力される左画像および右画像をベースの、またはローパスフィルタリングされた画像のみから再構築すると好適である。さらに、ベース層の画像のみを生成して、向上した層を配信しないことが好適である場合もある。
【０１３２】
図２３は、向上された画質について修正された２帯域の完全な再構築フィルタの周波数応答のＩＤの例を示す。合成フィルタの特徴（補助のローパスおよびハイパス）を、ベース層を向上した層なしで利用する場合の向上した画質について最適化することができる。こうすることによっても、一致する分析フィルタン対して修正が行われる可能性がある。一実施形態では、約１オクターブ（２倍）のエイリアスが故意的に合成ローパスフィルタに導入される。これは、ハイパスおよびローパスフィルタのカットオフ周波数を、図２３に示す全解像度のパスバンドの中央の約０．７および１．５に設定することで行われる。この技術は、Glennによる「テレビ画像において認識されるシャープネスを向上させるための視覚認識研究」、電子撮像ジャーナル１３（３）、５９７−６０１ページ（２００４年７月）、および「視覚認識に基づくデジタル画像圧縮」、デジタル画像および人間の視覚、Andrew B. Watson, Ed.、ＭＩＴプレス、ケンブリッジ（１９９３）に説明されており、これらをここに参照として組み込む。
【０１３３】
圧縮および配信システムはしばしば、低減された帯域幅を利用する際に利用され、画像が歪む。これは、格納または送信の制約によることがあり、または、リアルタイムネットワーク、システム帯域幅における需要、または制約によることがある。MPEG-4/AVC/MVC/SVCまたはMPEG-2/MVCと比して、多重化された立体画像を利用する利点としては、多重化された画像を、圧縮および配信システムにより常に同様の方法で処理することができるということが挙げられる。これにより、一貫した画質の左画像および右画像を生成することができる。これに対して、ＭＶＣシステムでは、一貫性のない左画像および右画像の歪みを生じる可能性があり、画質が損なわれる。
【０１３４】
ＭＰＥＧ−２およびＶＣ１等の圧縮システムの多重化されていない立体の不利な点は、これらシステムが予測符号化のために２つのフレームしか利用しない（予測対象のフレームの前後のそれぞれ１つずつ）ことである。フレームインタリーブされたシステム（例えばＭＶＣ）においては、これは左画像を右画像のみから予測して、右画像を左画像からのみ予測することを意味する。予測器は、同じ目用の次の／最後のフレームを見ることができないので、圧縮効率が落ちる。
【０１３５】
MPEG-4/AVC/MVC/SVCは、予測用に多数のフレームを利用することができるが、これは標準的なMPEG-4/AVCの拡張であり、現行のインフラストラクチャでは利用できない。多重化された立体画像では、良好な圧縮率を得る目的にMPEG-4/AVCがＭＶＣまたはＳＶＣを必要としない。
【０１３６】
多重化された立体画像では、各画像が左情報および右情報の両方を含み、これらを予測符号化に利用することができ、所与の圧縮されたデータレートでより高い画質を得ることができ、所与の画質でより低い圧縮データレートを得ることができる。
【０１３７】
利用されるＭＰＥＧおよびＶＣ１等の圧縮システムが、インタレースされるビデオの性能を向上させるように設計されたツールまたは特徴を有する場合には、該ツールおよび／または特徴が、スクイズされた５点形のデシメーションされた多重化画像とともに利用されることで、画像に固有のラインごとに１／２画素単位の有効なオフセットにより、圧縮効率を向上させることができる。
【０１３８】
デコーダ側では、ＭＰＥＧまたはＶＣ１パン／スキャン情報が利用され、デコーダに命令することで、隣り合わせの多重化された立体画像の左半分または右半分のみを示させて、２Ｄディスプレイに後方互換性を持たせることができる。好適な画質を達成するには、デコーダが立体３Ｄデコーダと同様のフィルタリングタイプを利用するとよいが、これは簡潔性およびコスト面の理由からであり、デコーダは単純な水平リサイズ機能を利用して、選択された半幅の画像をフルサイズに変換することもできる。
【０１３９】
ダイアモンド形状の画素を有するＤＬＰベースのSmoothPicture（登録商標）ディスプレイを利用すると、表示画素のダイアモンドの形状が信号を光学的にフィルタリングして対角線方向のエアリアスを除去することができるので、単純な水平方向のリサイズを利用することができる。画質を向上させるためには、または、非ダイアモンド形状の画素を有するディスプレイを得るためには、前述した分離不可能なフィルタ等のより洗練された電子フィルタリングを利用すると好適である。
【０１４０】
ベース層および向上した層がデコードされ、全解像度の基数サンプリングされた画像が再構築されると、図２５−図３３に示すように、これを幾つかのディスプレイに依存するフォーマットのいずれか（ＤＬＰ市松模様、ラインインタリーブ、ページフリップ（フレームインタリーブまたはフィールドインタリーブとしても知られている）、および列インタリーブを含む）に変換することもできる。
【０１４１】
図２５は、ダイアモンドローパスフィルタリングされた左画像および右画像からラインインタリーブされたフォーマットに立体画像処理変換を行う技術を示す概略図である。ここでは、ダイアモンドローパスフィルタリングされた左画像および右画像２５０２を、２５０４でオプションとして垂直ローパスフィルタリングしてから、２５０６で行をデシメーションする。そして２５０８で左画像および右画像を一行おきに組み合わせて、ラインインタリーブされた左画像および右画像２５１０を生成する。
【０１４２】
図２６は、ダイアモンドローパスフィルタリングされた左画像および右画像から列をインタリーブされたフォーマットに立体画像処理変換を行う技術を示す概略図である。ここでダイアモンドローパスフィルタリングされた左画像および右画像２６０２は、オプションとして２６０４で水平方向にローパスフィルタリングされてから、２６０６で列をデシメーションされる。その後、左画像および右画像を一列置きに２６０８で組み合わせられて、列をインタリーブされた左画像および右画像２６１０が生成される。
【０１４３】
図２７は、ダイアモンドローパスフィルタリングされた左画像および右画像からフレームインタリーブされたフォーマットに立体画像処理変換を行う技術を示す概略図である。本実施形態では、ダイアモンドローパスフィルタリングされた左画像および右画像２７０２は、２つの画像ストリーム（左および右）にあり、そのそれぞれがフレームレートの一倍である。左画像および右画像２７０２は、２７０４でフレームストアメモリおよびコントローラによりフレームレートを変換され、インタリーブされる。これによりフレームインタリーブされた左画像および右画像２７０６が単一の画像ストリームに生成される（フレームインタリーブされた左画像および右画像はダブルフレームレートである）。
【０１４４】
図２８は、全帯域幅の左画像および右画像からラインインタリーブされたフォーマットに立体画像処理変換を行う技術を示す概略図である。本実施形態においては、全解像度の左画像および右画像２８０２が、オプションとして２８０４で垂直方向にローパスフィルタリングされてから、２８０６で行をデシメーションされる。その後、左画像および右画像を一行置きに２８０８で組み合わせて、ラインをインタリーブされた左画像および右画像２８１０が生成される。
【０１４５】
図２９は、全帯域幅の左画像および右画像から列をインタリーブされたフォーマットに立体画像処理変換を行う技術を示す概略図である。ここでは、全解像度の左画像および右画像２９０２がオプションとして２９０４で水平方向にローパスフィルタリングされてから、２９０６で列をデシメーションされる。左画像および右画像を一列ごとに２９０８で組み合わせて、列をインタリーブされた左画像および右画像２９１０を生成する。
【０１４６】
図３０は、全帯域幅の左画像および右画像からフレームインタリーブされたフォーマットに立体画像処理変換を行う技術を示す概略図である。本実施形態では、全解像度の左画像および右画像３００２が２つの画像ストリーム（左および右）にあり、そのそれぞれがフレームレートの一倍である。左画像および右画像３００２は、３００４でフレーム格納メモリおよびコントローラによりフレームレートを変換され、インタリーブされる。これによりフレームインタリーブされた左画像および右画像３００６が単一の画像ストリームに生成される（フレームインタリーブされた左画像および右画像はダブルフレームレートである）。
【０１４７】
図３１は、ダイアモンドローパスフィルタリングされた左画像および右画像からＤＬＰダイアモンドフォーマットに立体画像処理変換を行う技術を示す概略図である。動作においては、３１０４でダイアモンドローパスフィルタリングされた左画像および右画像３１０２を、５点形デシメーションしてから、３１０６で５点形技術により組み合わせて、５点形インタリーブされた左画像および右画像３１０８を生成する。
【０１４８】
図３２は、全帯域幅の左画像および右画像からＤＬＰダイアモンドフォーマットに立体画像処理変換を行う技術を示す概略図である。ここでは動作において、全解像度の左画像および右画像３２０２を、３２０４でオプションとしてダイアモンドローパスフィルタリングしてから、３２０６で５点形にデシメーションしてから、３２０８で５点形技術により組み合わせて、５点形でインタリーブされた左画像および右画像３２１０を生成する。
【０１４９】
図３３は、隣り合わせのダイアモンドフィルタリングされた左画像および右画像からＤＬＰダイアモンドフォーマットに立体画像処理変換を行う技術を示す概略図である。本実施形態では、隣り合わせのローパスフィルタリングされた左画像および右画像３３０２のスクイズを解除して（５点形に水平方向にスライドさせる）（３３０４）、５点形インタリーブされた左画像および右画像３３０６を生成する。
【０１５０】
光ディスクフォーマット（ブルーレイディスク、ＨＤ−ＤＶＤ、またはＤＶＤ等）を利用して、ここに記載するフォーマットを格納するときに、一実施形態では、ベース層を通常のビデオストリームとして搬送し、向上した層のデータを代わりのビューのビデオストリームとして搬送することができる。現行の機器では、この向上したデータはプレーヤに無視されることで、現行のシステムにおいて、ベース層により高画質を提供しつつ、後方互換性をもたせることができる。将来のプレーヤおよびシステムでは、向上した層のデータを利用して、実質的に完全に基数サンプリングされた解像度の画像を復元することができるようになる。
【０１５１】
現在の信号システムは、時間多重化された（フレームまたはフィールドをインタリーブされた）立体画像ストリームの所与のフレームが左画像、右画像、または２Ｄ（モノ）画像であるかを示すことができるが、これに関しては、Lipton等に対する米国特許第５，５７２，２５０号明細書に開示されており、これをここに参照として組み込む。これらの信号システムは、「インバンド」として記載されており、これらが信号を搬送するために画像のアクティブビュー領域の画素を利用することを意味している。これにより、画像データの１以上のラインまでの損失が生じうる。ここで記載する一実施形態においては、信号ストリームで失われた画像画素データを搬送させるために、向上した層がさらに含まれ、これにより全解像度の画像のみならず信号機能をも提供させている。
【０１５２】
左／右および立体／モノ信号を搬送する別の実施形態に、メタデータ（例えば画像データの解釈法に関する情報または命令を含む、さらなるデータストリームのこと）を利用して、画像データを実質的に無傷にしておく、というものがある。このメタデータストリームは、３Ｄサブタイトル、メニュー命令、その他、３Ｄ関連のデータの実体および機能等の情報を搬送するためにも利用可能である。
【０１５３】
本発明は、本質的な精神および特徴から逸脱せずに他の特定の形態で実施することができる。任意の開示された実施形態を、示されている、および／または、記載されている１以上の他の実施形態と組み合わせることも可能である。これは実施形態の１以上の特徴についても同様である。ここに記載および請求されたステップは、所与の順序で実行される必要はない。ステップは、少なくともある程度は任意の他の順序で実行することができる。
【０１５４】
当業者であれば、ここで利用される「動作可能に連結」および「通信可能に連結」といった用語が、直接連結のみならず、別のコンポーネント、エレメント、回路、またはモジュールを介した間接連結をも含むことを理解するであろう。間接連結においては、介在するコンポーネント、エレメント、回路、またはモジュールは、信号の情報を修正はせず、自身の電流レベル、電圧レベル、および／または電力レベルを調節することができる。
【０１５５】
さらに、現在開示されている実施形態は全ての点で例示であり限定として考えられるべきではない点を理解されたい。本発明の範囲は、前述の記載ではなくて添付請求項により示されており、その均等物の意味および範囲内における全ての変形例をも含むことが意図されている。
【０１５６】
さらに、本願に示すセクションの標題は、３７ＣＦＲ§１．７７に基づく提案と一貫するよう設けているか、そうでなければ、系統付けるために設けている。これらの標題は、本開示から得られる任意の請求項に記載する発明を限定又は特徴付けるものではない。具体的に、また、例示的に、「技術分野」の標題があるが、請求項は、いわゆる技術分野を説明するこの標題下で選択された用語に限定されるべきではない。さらに、「背景技術」における技術の説明は、その技術が本開示における任意の発明の従来技術であることを認めるものと解釈すべきではない。「発明の概要」も請求項に記載する発明を特徴付けると解釈すべきではない。さらに、本開示における単数形での「発明」との言及を、本開示において１つの新規点しかないという議論に使用すべきではない。本開示に関連付けられる複数の請求項の限定によって複数の発明を提示することができ、また、請求項は、それ相応にそれらの発明及びその透過物を定義し、保護する。いかなる場合においても、請求項の範囲は、明細書を鑑みて解釈されるべきであり、本願に記載する標題により制約されるべきではない。
【図１】
2012523804.tif 000003
【図２】
2012523804.tif 000004
【図３】
2012523804.tif 000005
【図４】
2012523804.tif 000006
【図５Ａ】
2012523804.tif 000007
【図５Ｂ】
2012523804.tif 000008
【図６】
2012523804.tif 000009
【図７Ａ】
2012523804.tif 000010
【図７Ｂ】
2012523804.tif 000011
【図８】
2012523804.tif 000012
【図９Ａ】
2012523804.tif 000013
【図９Ｂ】
2012523804.tif 000014
【図１０Ａ】
2012523804.tif 000015
【図１０Ｂ】
2012523804.tif 000016
【図１１】
2012523804.tif 000017
【図１２】
2012523804.tif 000018
【図１３】
2012523804.tif 000019
【図１４】
2012523804.tif 000020
【図１５】
2012523804.tif 000021
【図１６】
2012523804.tif 000022
【図１７】
2012523804.tif 000023
【図１８】
2012523804.tif 000024
【図１９】
2012523804.tif 000025
【図２０】
2012523804.tif 000026
【図２１】
2012523804.tif 000027
【図２２】
2012523804.tif 000028
【図２３】
2012523804.tif 000029
【図２４】
2012523804.tif 000030
【図２５】
2012523804.tif 000031
【図２６】
2012523804.tif 000032
【図２７】
2012523804.tif 000033
【図２８】
2012523804.tif 000034
【図２９】
2012523804.tif 000035
【図３０】
2012523804.tif 000036
【図３１】
2012523804.tif 000037
【図３２】
2012523804.tif 000038
【図３３】
2012523804.tif 000039
【図３４】
2012523804.tif 000040
【図３５】
2012523804.tif 000041
【国際調査報告】
2012523804.tif 000042