(57)【要約】【課題】三次元（３Ｄ）ビデオのためのエンコーディングプロセスを提供すること。【解決手段】  三次元（３Ｄ）ビデオのためのエンコーディングプロセスであって、第１のエンコーダシステムにおいて、第１のベース画像の背景画像を最適に圧縮するステップと、第２のエンコーダシステムにおいて、該最適に圧縮された背景画像と、該第１のベース画像の第１の３Ｄオブジェクトと、第２のベース画像の第２の３Ｄオブジェクトとをエンコードするステップとを含み、該背景画像の該圧縮は、該第２のエンコーダシステムを出る該エンコードされた背景画像ならびに第１および第２の３Ｄオブジェクトのデータレートの関数である、エンコーディングプロセス。【選択図】図５
2011109671.tif 000002
【特許請求の範囲】
【請求項１】
三次元（３Ｄ）ビデオのためのエンコーディングプロセスであって、
第１のエンコーダシステムにおいて、第１のベース画像の背景画像を最適に圧縮するステップと、
第２のエンコーダシステムにおいて、該最適に圧縮された背景画像と、該第１のベース画像の第１の３Ｄオブジェクトと、第２のベース画像の第２の３Ｄオブジェクトとをエンコードするステップと
を含み、
該背景画像の該圧縮は、該第２のエンコーダシステムを出る該エンコードされた背景画像ならびに第１および第２の３Ｄオブジェクトのデータレートの関数である、エンコーディングプロセス。
【請求項２】
前記第１および第２の３Ｄオブジェクトを前記第１および第２のベース画像から分割するステップをさらに含む、請求項１に記載のプロセス。
【請求項３】
前記分割するステップは、３Ｄオブジェクトマスクを作成するステップを含む、請求項２に記載のプロセス。
【請求項４】
前記３Ｄオブジェクトマスクを作成するステップは、前記第１のベース画像の各ピクセルを前記第２のベース画像内の対応するピクセルと比較するステップを含む、請求項３に記載のプロセス。
【請求項５】
前記背景画像を前記第１のベース画像から分割するステップをさらに含む、請求項１に記載のプロセス。
【請求項６】
前記背景画像を最適に圧縮するステップは、該背景画像の各ピクセルのカラービットを減少させるステップを含む、請求項５に記載のプロセス。
【請求項７】
前記背景画像を最適に圧縮するステップは、該背景画像の解像度を減少させるステップをさらに含む、請求項６に記載のプロセス。
【請求項８】
前記第２のエンコーダシステムを出る前記エンコードされた背景画像ならびに第１および第２の３Ｄオブジェクトのデータレートが所定のデータレートよりも大きい場合に、該背景画像の各ピクセルのカラービットの削減および該背景画像の解像度の削減を増加させる、請求項７に記載のプロセス。
【請求項９】
前記背景画像のフレームレートを減少させるステップをさらに含む、請求項８に記載のプロセス。
【請求項１０】
前記第２のエンコーダシステムを出る前記エンコードされた背景画像ならびに第１および第２の３Ｄオブジェクトをモジュレートおよびマルチプレックスするステップをさらに含む、請求項９に記載のプロセス。
【請求項１１】
三次元（３Ｄ）ビデオのためのエンコーディングシステムであって、
第１のベース画像の背景画像を最適に圧縮するように構成されている第１のエンコーダシステムと、
該最適に圧縮された背景画像と、該第１のベース画像の第１の３Ｄオブジェクトと、第２のベース画像の第２の３Ｄオブジェクトとをエンコードするように構成されている第２のエンコーダシステムと
を含み、
該第１のエンコーダシステムによる該背景画像の該圧縮は、該第２のエンコーダシステムを出る該エンコードされた背景画像ならびに第１および第２の３Ｄオブジェクトのデータレートの関数である、エンコーディングシステム。
【請求項１２】
前記第１のエンコーダシステムにおいて、前記第１および第２の３Ｄオブジェクトを前記第１および第２のベース画像から分割し、前記背景画像を該第１のベース画像から分割するようにさらに構成されている、請求項１１に記載のシステム。
【請求項１３】
前記第１のエンコーダシステムにおいて、前記背景画像の各ピクセルのカラービットを減少させるようにさらに構成されている、請求項１２に記載のシステム。
【請求項１４】
前記第１のエンコーダシステムにおいて、前記背景画像の解像度を減少させるようにさらに構成されている、請求項１３に記載のシステム。
【請求項１５】
前記第１のエンコーダシステムにおいて、前記背景画像のフレームレートを減少させるようにさらに構成されている、請求項１４に記載のシステム。
【請求項１６】
前記第２のエンコーダシステムを出る前記エンコードされた背景画像ならびに第１および第２の３Ｄオブジェクトをモジュレートおよびマルチプレックスするように構成されているモジュレータ／マルチプレクサを含む、請求項１５に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
（分野）
本明細書に記載される実施形態は、一般にビデオ圧縮に関し、より具体的には、三次元（３Ｄ）画像ペアの伝送データレートを通常の二次元（２Ｄ）ビデオ画像の伝送データレート内に減少させる、３Ｄビデオの圧縮のためのシステムおよび方法に関する。
【背景技術】
【０００２】
（背景情報）
３Ｄビデオサービスによって視聴者に提供された膨大な視聴経験は、さらに多くの視聴者を毎日、そのようなサービスに引き付けている。高品質３Ｄディスプレイがより入手可能になり、３Ｄコンテンツがかつてよりも早く製作されているが、３Ｄビデオサービスへの要求は、３Ｄビデオの配信を制限する、３Ｄビデオ伝送に要求される超高速のデータレート（すなわち帯域幅）のために達成されておらず、３Ｄビデオサービスを損なっている。３Ｄビデオは、それがマルチビュー画像、すなわち、少なくとも２つのビュー（右目用ビュー／画像と左目用ビュー／画像）を含むために超高速のデータレートを要求する。結果として、３Ｄビデオの伝送のためのデータレートは、単に両方の目に対する単一の画像のみを要求する従来の２Ｄビデオに対する伝送のためのデータレートよりもはるかに高い。従来の圧縮技術はこの問題を解決しない。
【０００３】
従来の、または標準化された３Ｄビデオ圧縮技術（例えば、ＭＰＥＧ−４／Ｈ．２６４ＭＶＣ−Ｍｕｌｔｉ−ｖｉｅｗ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ）は、マルチビューあるいは画像ペア同時放送のデータレートを約２５％減少させるために、ビュー間プレディケーションと同様に時間プレディケーションを利用する。２つのビューに対する単一の画像、すなわち、２Ｄビデオと比較して、圧縮された３Ｄビデオのデータレートは、従来の２Ｄビデオ（２つのビューに対する単一の画像）のデータレートよりもなお７５％大きい。結果としてのデータレートは、３Ｄコンテンツを現行の放送ネットワーク上に送達するにはなお高すぎる。
【０００４】
このように、３Ｄビデオに対する伝送データレート要求を従来の２Ｄビデオの伝送データレート内に減少させて、現行の２Ｄビデオネットワーク上で３Ｄビデオ配信および表示を可能にするシステムおよび方法を提供することが望まれる。
【０００５】
（概要）
本明細書に提供される実施形態は、三次元（３Ｄ）画像ペアの伝送データレートを従来の２Ｄビデオ画像の伝送データレート内に減少させる３Ｄビデオ圧縮のシステムおよび方法に向けられている。本明細書に記載される３Ｄビデオ圧縮のシステムおよび方法は、３Ｄビデオキャプチャーシステムおよび人間の視覚システム（ＨＶＳ）の特性を利用し、３Ｄビデオの３Ｄオブジェクトを高い忠実度に維持する一方で、背景画像の冗長性を減少させる。
【０００６】
一実施形態において、三次元（３Ｄ）ビデオに対するエンコードシステムは、第１のベース画像の背景画像を最適に圧縮するように構成された最適エンコーダシステムと、最適に圧縮された背景画像、第１のベース画像の第１の３Ｄオブジェクト、および第２のベース画像の第２の３Ｄオブジェクトをエンコードするように構成された一般的エンコーダシステムとを含み、最適エンコードシステムによる背景画像の圧縮は、第２のエンコーダシステムを出るエンコードされた背景画像ならびに第１および第２の３Ｄオブジェクトのデータレートの関数である。
【０００７】
動作の際、第１のベース画像の背景画像は最適エンコーダシステムによって最適に圧縮され、最適に圧縮された背景画像は、一般的エンコーダシステムによって、第１のベース画像の第１の３Ｄオブジェクト、および第２のベース画像の第２の３Ｄオブジェクトと共にエンコードされ、背景画像の圧縮は、一般的エンコーダシステムを出るエンコードされた背景画像ならびに第１および第２の３Ｄオブジェクトのデータレートの関数である。
【０００８】
例示的な実施形態の他のシステム、方法、特徴、および利点が、以下の図および詳細な説明の試験の際に当業者に明らかであろう、または明らかになるであろう。
【０００９】
本願は、さらに以下の手段を提供する。
（項目１）
三次元（３Ｄ）ビデオのためのエンコーディングプロセスであって、
第１のエンコーダシステムにおいて、第１のベース画像の背景画像を最適に圧縮するステップと、
第２のエンコーダシステムにおいて、該最適に圧縮された背景画像と、該第１のベース画像の第１の３Ｄオブジェクトと、第２のベース画像の第２の３Ｄオブジェクトとをエンコードするステップと
を含み、
該背景画像の該圧縮は、該第２のエンコーダシステムを出る該エンコードされた背景画像ならびに第１および第２の３Ｄオブジェクトのデータレートの関数である、エンコーディングプロセス。
（項目２）
上記第１および第２の３Ｄオブジェクトを上記第１および第２のベース画像から分割するステップをさらに含む、上記項目に記載のプロセス。
（項目３）
上記分割するステップは、３Ｄオブジェクトマスクを作成するステップを含む、上記項目のいずれか一項に記載のプロセス。
（項目４）
上記３Ｄオブジェクトマスクを作成するステップは、上記第１のベース画像の各ピクセルを上記第２のベース画像内の対応するピクセルと比較するステップを含む、上記項目のいずれか一項に記載のプロセス。
（項目５）
上記背景画像を上記第１のベース画像から分割するステップをさらに含む、上記項目のいずれか一項に記載のプロセス。
（項目６）
上記背景画像を最適に圧縮するステップは、該背景画像の各ピクセルのカラービットを減少させるステップを含む、上記項目のいずれか一項に記載のプロセス。
（項目７）
上記背景画像を最適に圧縮するステップは、該背景画像の解像度を減少させるステップをさらに含む、上記項目のいずれか一項に記載のプロセス。
（項目８）
上記第２のエンコーダシステムを出る上記エンコードされた背景画像ならびに第１および第２の３Ｄオブジェクトのデータレートが所定のデータレートよりも大きい場合に、該背景画像の各ピクセルのカラービットの削減および該背景画像の解像度の削減を増加させる、上記項目のいずれか一項に記載のプロセス。
（項目９）
上記背景画像のフレームレートを減少させるステップをさらに含む、上記項目のいずれか一項に記載のプロセス。
（項目１０）
上記第２のエンコーダシステムを出る上記エンコードされた背景画像ならびに第１および第２の３Ｄオブジェクトをモジュレートおよびマルチプレックスするステップをさらに含む、上記項目のいずれか一項に記載のプロセス。
（項目１１）
三次元（３Ｄ）ビデオのためのエンコーディングシステムであって、
第１のベース画像の背景画像を最適に圧縮するように構成されている第１のエンコーダシステムと、
該最適に圧縮された背景画像と、該第１のベース画像の第１の３Ｄオブジェクトと、第２のベース画像の第２の３Ｄオブジェクトとをエンコードするように構成されている第２のエンコーダシステムと
を含み、
該第１のエンコーダシステムによる該背景画像の該圧縮は、該第２のエンコーダシステムを出る該エンコードされた背景画像ならびに第１および第２の３Ｄオブジェクトのデータレートの関数である、エンコーディングシステム。
（項目１２）
上記第１のエンコーダシステムにおいて、上記第１および第２の３Ｄオブジェクトを上記第１および第２のベース画像から分割し、上記背景画像を該第１のベース画像から分割するようにさらに構成されている、上記項目のいずれか一項に記載のシステム。
（項目１３）
上記第１のエンコーダシステムにおいて、上記背景画像の各ピクセルのカラービットを減少させるようにさらに構成されている、上記項目のいずれか一項に記載のシステム。
（項目１４）
上記第１のエンコーダシステムにおいて、上記背景画像の解像度を減少させるようにさらに構成されている、上記項目のいずれか一項に記載のシステム。
（項目１５）
上記第１のエンコーダシステムにおいて、上記背景画像のフレームレートを減少させるようにさらに構成されている、上記項目のいずれか一項に記載のシステム。
（項目１６）
上記第２のエンコーダシステムを出る上記エンコードされた背景画像ならびに第１および第２の３Ｄオブジェクトをモジュレートおよびマルチプレックスするように構成されているモジュレータ／マルチプレクサを含む、上記項目のいずれか一項に記載のシステム。
（摘要）
三次元（３Ｄ）画像ペアの伝送データレートを従来の２Ｄビデオ画像の伝送データレート内に減少させる３Ｄビデオ圧縮のためのシステムおよび方法。本明細書に記載される３Ｄビデオ圧縮のシステムおよび方法は、ビデオキャプチャーシステムおよび人間の視覚システム（ＨＶＳ）の特性を利用し、３Ｄビデオの３Ｄオブジェクトを高い忠実度に維持する一方で、背景画像の冗長性を減少させる。
【図面の簡単な説明】
【００１０】
例示的な実施形態の詳細が、構造および動作を含めて、類似の参照番号が類似の部分を指す付属の図の研究によって部分的に探り出され得る。図中の要素は尺度を決める必要がなく、代わりに本発明の原理を図示することに強調点が置かれている。さらにすべての図は概念を伝えることが意図されており、相対的なサイズ、形状、および他の詳細な属性が、厳密な意味でまたは正確にというよりはむしろ概略的に図示され得る。
【図１】図１は、現実の世界のオブジェクトを見る、人間の視覚の概略図である。
【図２】図２は、立体的ディスプレイを見る、人間の視覚の概略図である。
【図３】図３は、３Ｄ立体的ビデオのキャプチャーシステムの概略図である。
【図４】図４は、左右の画像ペアの、焦点の合った３Ｄオブジェクトおよび焦点の合っていない背景の概略図である。
【図５】図５は、背景画像の最適圧縮（ＡＣＢＩ）に基づく３Ｄビデオシステムの概略図である。
【図６】図６は、ＡＣＢＩに基づく３Ｄビデオ信号圧縮のためのシステムおよびプロセスの概略図である。
【図７】図７は、ＡＣＢＩに基づく３Ｄビデオ信号圧縮のためのデータレート制御のフローチャートである。
【図８】図８は、ＡＣＢＩに基づく３Ｄビデオ信号圧縮のためのシステムおよびプロセスの概略図である。
【図９】図９は、左および右のビュー画像のピクセル間の差の閾値を最適に設定するためのプロセスのフローチャートである。
【図１０】図１０は、左および右のビュー画像の間の絶対的な差のヒストグラムである。
【００１１】
同様の構造または機能の要素は、一般に図を通して例示的目的のための類似の参照数字によって表わされることに気付かれるべきである。図はただ好ましい実施形態の記載を容易にすることを意図されたものであることにも気付かれるべきである。
【発明を実施するための形態】
【００１２】
（詳細な説明）
以下に開示される追加の特徴および教示の各々は、個別にまたは他の特徴および教示と組み合わせて利用され、３Ｄオブジェクトの分割に基づく背景画像の最適圧縮（ＡＣＢＩ）を用いて強化型３Ｄビデオ信号圧縮を容易にするシステムおよび方法を作成する。多くのこれら追加の特徴および教示を個別にまたは組み合わせて利用する本発明の代表的な実施例が、添付の図を参照してここでさらに詳細に説明される。詳細な説明は、単に本教示の好ましい局面を実施するためのさらなる詳細を当業者に教示するためのものであり、本発明の範囲を限定する意図はない。それゆえ、以下の詳細な説明に開示される特徴およびステップの組み合わせは、本発明を広義に実施するために必ずしも必要ではなく、代わりにただ単に本教示の代表的実施例を特に説明するために教示される。
【００１３】
さらに、代表的実施例の種々の特徴および従属の請求範囲は、本教示の追加の有用な実施を提供するために、特別におよび明白に列挙されてはいない方法で組み合わせられ得る。加えて、本説明および／または請求範囲に開示されるすべての特徴が、特許請求する主題を実施形態および／または特許請求範囲における特徴の構成とは独立に限定する目的のためと同様に、本来の開示目的のために、個別におよび互いに独立に開示されることが意図されていることにはっきりと気付かれるべきである。また、実体の群のすべての数値範囲または指標は、特許請求する主題を限定する目的のためと同様に、本来の開示目的のために、すべてのありうる中間の値または中間の実体を開示することにも気付かれるべきである。
【００１４】
本発明が機能する態様に転ずる前に、人間の視覚システムおよび立体的ビデオ、すなわち、３Ｄビデオのための画像キャプチャーシステムの主要な特性を簡潔に復習することが有用であると考えられる。
【００１５】
人間の視覚システム１０が図１および図２に関して説明される。人間の目１１および１２は、観察される現実の世界の光景におけるオブジェクト、例えば自動車１３に、目のレンズを調節することで自動的に焦点を合わせることができる。焦点距離１５は、２つの目が焦点を合わせられた距離である。人間の視覚の別の重要なパラメータは、輻輳距離１６である。輻輳距離１６は、２つの目の固定軸が収束する距離である。現実の世界では、輻輳距離１６および焦点距離１５は、図１に示されるようにほとんど同じである。
【００１６】
現実の世界の光景において、網膜画像のオブジェクトは、焦点が合った状態が最も鮮明であり、焦点の合っていないまたは焦点距離にないオブジェクトはぼやけている。３Ｄ画像は深さを含むので、ぼやけ度は深さによって変化する。例えば、ぼやけは焦点Ｐにより近い点ではより少なく、焦点Ｐから遠い点ではより高い。ぼやけ度の変化はぼやけ傾斜と呼ばれる。ぼやけ傾斜は、人間の視覚における３Ｄ感知のための重要な因子である。
【００１７】
焦点を合わせるために形状を変化させる目のレンズの能力は、調整と呼ばれる。現実の世界の光景を見るとき、観察者の目は、光景の凝視部分に対するぼやけを最小にするように調整する。図１において、観察者は、オブジェクト（自動車）１３に焦点を合わせるよう目を調整させ、従って、自動車１３は鮮明になり、一方で前景の木１４は焦点が合っていないのでぼやけている。
【００１８】
刺激に対して、すなわち、オブジェクトが見られていると、網膜上で鮮明に焦点を合わせるために、目は、オブジェクトの焦点距離に近い距離に調整されなければならない。許容範囲、または焦点深度はおおよそ＋／−０．３ジオプターである。ジオプターは、メートルで表した視距離の逆数である（Ｃａｍｐｂｅｌｌ，Ｆ．Ｗ．，Ｔｈｅ  Ｄｅｐｔｈ  ｏｆ  ｆｉｅｌｄ  ｏｆ  ｔｈｅ  ｈｕｍａｎ  ｅｙｅ，Ｊｏｕｎａｌ  ｏｆ  Ｍｏｄｅｒｎ  Ｏｐｔｉｃｓ，４，１５７−１６４（１９５７）；Ｈｏｆｆｍａｎ，Ｄ．Ｍ．，ｅｔ  ａｌ．，Ｖｅｒｇｅｎｃｅ−ａｃｃｏｍｏｄａｔｉｏｎ  ｃｏｎｆｌｉｃｔｓ  ｈｉｎｄｅｒ  ｖｉｓｕａｌ  ｐｅｒｆｏｒｍａｎｃｅ  ａｎｄ  ｃａｕｓｅ  ｖｉｓｕａｌ  ｆａｔｉｇｕｅ，Ｊｏｕｒｎａｌ  ｏｆ  Ｖｉｓｉｏｎ  ８（３）：３３，１−３０（２００８）；Ｍａｒｔｉｎ  Ｂａｎｋ，ｅｔｃ．Ｃｏｎｓｅｑｕｅｎｃｅｓ  ｏｆ  Ｉｎｃｏｒｒｅｃｔ  Ｆｏｃｕｓ  Ｃｕｅｓ  ｉｎ  Ｓｔｅｒｅｏ  Ｄｉｓｐｌａｙｓ，Ｉｎｆｏｒｍａｔｉｏｎ  Ｄｉｓｐｌａｙ，ｐｐ１０−１４，Ｖｏｌ．２４，ＮＯ．７（Ｊｕｌｙ  ２００８）を参照）。
【００１９】
２Ｄディスプレイシステムにおいては、全画面が常に焦点が合っている状態である。全画面が常に焦点が合っているので、ぼやけ傾斜はない。平坦な画面を伴う多くの３Ｄディスプレイシステムにおいては、全画面が常に焦点が合っている状態であり、ぼやけ傾斜深度効果を減ずる。しかしながら、この欠点を克服するために、立体的映像ベースのディスプレイ２０は、図２に描写されるように、２つの目２１および２２の各々の個別の画像を提示する。個別の画像内のオブジェクト２８および２９は両眼視差を作成するために水平方向に移動させられ、そして、両眼視差は焦点位置、すなわち、画面２７での焦点距離２５を越えた輻輳距離２６において、輻輳Ｖに対する刺激を作成する。この両眼視差は、それが各目によって見られる画像に、実際の３Ｄ光景を見ているときに目によって経験される差と同様の差を再作成するので、３Ｄ感覚を作成する。
【００２０】
３Ｄビデオ技術は、２つの主要なカテゴリー：容積的なものと、立体的なものに分類される。容積的なディスプレイにおいて、３Ｄオブジェクト上の各点は、単純に３Ｄ容積内の三次元のピクセルとして定義される三次元ピクセルによって表され、三次元ピクセルから出る光は、輻輳と調整の両方に対する修正効果を伴って視聴者の目に届く。しかしながら、容積的なシステムにおけるオブジェクトは、小さいサイズに限られる。本明細書に説明される実施形態は立体的ビデオに向けられている。
【００２１】
立体的ビデオキャプチャーシステム：上記で言及されたように、立体的映像ディスプレイは、１つの画像を左目に提供し、異なる画像を右目に提供するが、これらの画像は両方とも平坦な２Ｄ画像デバイスによって生成される。左目用の画像と右目用の画像とから成る画像のペアは、立体的画像ペアまたは画像ペアと呼ばれる。１つの光景の２つ以上の画像はマルチビュー画像と呼ばれる。本明細書に説明される実施形態は立体的映像ディスプレイに焦点を合わせているが、本明細書に説明されるシステムおよび方法はマルチビュー画像に適用される。
【００２２】
従来の立体的ビデオキャプチャーシステムにおいて、カメラは２組のパラメータを設定することで画像を撮影する。１組のパラメータは、カメラの物理的特性に対する理想的透視投影のジオメトリに関連する。これらのパラメータは、カメラの定数ｆ（画像面とレンズとの間の距離）、光軸と、画像面上に位置される測定基準面の中の画像面との交点である主点、レンズのジオメトリックな歪曲特性、ならびに水平および垂直のスケールファクター、すなわち、行間および列間の距離から成る。
【００２３】
別の組のパラメータは、３Ｄワールドの基準フレームの中におけるカメラ位置に関連する。これらのパラメータは、ワールドの座標フレームとカメラを中心とした３Ｄ座標フレームとの間の剛体変換を決定する。
【００２４】
人間の視覚システム同様に、オブジェクトのキャプチャーされた画像は、焦点が合っている場所で鮮明であり、焦点が合っていない場所ではぼやけている。ぼやけ度は深度によって変化し、ぼやけは焦点により近い点ではぼやけはより少なく、焦点から遠い点ではより高い。ぼやけ傾斜も３Ｄディスプレイの重要な因子である。オブジェクトの画像は焦点の合っていない距離ではぼやけている。
【００２５】
図３に示されるように、従来の立体的映像キャプチャーシステム３０において、２つのカメラ３１および３２は、現実の世界の光景の左右の画像を撮る。両方のカメラは、それらのレンズの調節によって異なる焦点深度面をもたらす。焦点位置にあるオブジェクト、すなわち、自動車３３は、焦点距離３５において各画像内で鮮明であり、一方で、焦点位置をはずれたオブジェクト、すなわち、木３４は、各画像内でいくぶん、ぼやけている。焦点範囲３８内の他のオブジェクトは各画像内でいくぶん鮮明である。
【００２６】
人間の視覚システムおよび立体的映像キャプチャーシステムに照らして、本明細書に説明される、３Ｄビデオコンテンツの圧縮、配信、記憶、および表示のためのシステムおよび方法は、好ましくは焦点の合っている３Ｄオブジェクトの高い忠実度を維持し、一方で、背景および前景画像は、それらの解像度、色の深みに関して、およびフレームレートにさえ関して最適に調節される。
【００２７】
画像ペアにおいて、カメラが焦点を合わせる３Ｄオブジェクトの数は限られている。焦点の合っている３Ｄオブジェクトは詳細部分まで鮮明である。画像ペアの他の部分は背景画像である。背景画像は、画像ペアの背景部分が焦点範囲を外れているので、２Ｄ画像と同様にほとんどまたは全く深度情報を伴わない２Ｄ画像と同様であり、それゆえ、ほとんどまたは全く深度詳細を伴わないでぼやけている。以下でさらに詳細に議論されるように、画像ペアの焦点の合っていない背景部分から焦点の合った３Ｄオブジェクトを分割することによって、３Ｄビデオコンテンツの圧縮が著しく強化され得る。
【００２８】
ぼやけ度およびぼやけ傾斜は、３Ｄオブジェクト（すなわち、画像の焦点の合った部分）を画像の背景（すなわち、画像の焦点の合っていない部分）から分離するために用いられ得る、基本的かつ重要な概念である。より高いぼやけ度の部分は背景画像を構成する。より低いぼやけ度部分は焦点の合ったオブジェクトである。ぼやけ傾斜は、画像内の２点間のぼやけ度の差である。より高いぼやけ傾斜の部分は、焦点の合ったオブジェクトのエッジで発生する。重みは、ぼやけ度の計算のための、ピクセル位置と相関関係にあるパラメータである。
【００２９】
オブジェクトが焦点を合わせられると、画像内の１つのピクセルは、理想的にはオブジェクトの１点によって決められる。オブジェクトが焦点を合わせられていないと、１つのピクセルは、オブジェクトの近接する隣接点によって決められ、ピクセルはぼやけ、スポットのように見える。
【００３０】
デジタル画像に対して、ぼやけ度の定義は数学的に以下のように定義される：
ぼやけ度ｋはぼやけたピクセルを決定するために用いられるピクセルマトリックスディメンションである。
ぼやけ度１：ピクセルはマトリックスＸ±１ピクセルおよびＹ±１の平均；
ぼやけ度２：ピクセルはマトリックスＸ±２ピクセルおよびＹ±２の平均；
ぼやけ度ｋ：ピクセルはマトリックスＸ±ｋピクセルおよびＹ±ｋの平均；
【００３１】
【表１】
2011109671.tif 000003
【００３２】
【表２】
2011109671.tif 000004
表１（Ａ）および２（Ａ）内の数は、焦点の合ったオブジェクトの中心ピクセルに対する各ピクセルの位置に対応する。表１（Ｂ）および２（Ｂ）内の数は各ピクセルの重みに対応し、中心ピクセルの重みが最高であり、すなわち、
Ｗ（０，０）＝２（blur  ｄｅｇｒｅｅ）＝２ｋ 
である。
【００３３】
ピクセルの重みは、以下のように割り当てられる。
２０  ２１  ２２．．．２ｋ−１  ２ｋ  ２ｋ−１  ．．．２２  ２１  ２０
例えば、水平軸および垂直軸上で、
１，２，．．．２ｋ−１，ｗ（０，０），．．．２ｋ−１，２，１
他のセルも表１および表２に示されるように割り当てられる。
【００３４】
ぼやけ度０は、ｋ＝０；Ｗ（０，０）＝１を意味する。他のすべての重み＝０である。それゆえ、ピクセルは焦点を合わせられ、焦点を合わせられたオブジェクト上の関連する点によってのみ決定される。
【００３５】
ぼやけ度は、オブジェクトの焦点の合っていない画像および焦点の合っている画像を撮影することによってテストされ得る。焦点の合っていない画像はＰｃ（０，０）として表される。オブジェクトの焦点の合っている画像の関連する点のピクセルは、Ｐ（０，０）として表される。ぼやけたピクセルは、Ｂｒ＝ｋの場合、
Ｐｂ（０，０）＝１／Ｍ［Σｗ（ｉ，ｊ）Ｐ（ｉ，ｊ）］
によって計算される：式中、Ｍ＝Σｗ（ｉ，ｊ）であり、
ｉは−ｋからｋまで、
ｊは−ｋからｋまでである。
ぼやけ度は、最小絶対差分計算を用いて決定される：
ＭＡＤ＝Ｍｉｎ（｜Ｐｂ（０，０）−Ｐｃ（０，０）｜）
ぼやけ度（Ｂｒ）は、主として１点を計算することで決定され得る。しかしながら、統計的には、ぼやけ度（Ｂｒ）は、絶対差分の最小和または最小二乗平均誤差計算で複数ピクセルの面積として測定されるべきである。
【００３６】
２点ＡおよびＢのぼやけ傾斜（Ｂｇ）は、点Ａのぼやけ度と点Ｂのぼやけ度との差である：
Ｂｇ（Ａ，Ｂ）＝Ｂｒ（Ａ）−Ｂｒ（Ｂ）。
ぼやけ度ｋがより高いときには、ピクセル解像度および色の深みは、人間の視覚では気付かれない認識レベルで有意に減少させられ得る。結果として、圧縮比率はぼやけ度ｋがより高いときにより高くなり得る。
【００３７】
焦点の合っているオブジェクトは、背景部分から画像のぼやけ度およびぼやけ傾斜を用いて分離され得る。焦点の合っているオブジェクトと焦点の合っていないオブジェクトとの比較は図４に示される。しかしながら、ぼやけ度およびぼやけ傾斜の計算は、特に単一の映像または画像（すなわち、２Ｄ）ビデオにおいては、複雑かつ困難であり得る。
【００３８】
３Ｄビデオにおいては、２つ以上の映像または画像が同時に見られる（例えば、左のビューおよび右のビュー）、すなわち、３Ｄビデオの各フレームは２つ以上の画像を含む。２つの映像または画像において背景から焦点の合っているオブジェクトを分割することは、２Ｄビデオより簡単であり、ぼやけ度を直接計算することなく達成され得る。
【００３９】
デジタル画像プロセッシングに対しては、ぼやけはエッジのコントラストおよび高周波部分を減少させるローパスフィルターである。立体的映像または３Ｄビデオにおいては、焦点の合っているオブジェクトは鮮明であり、左の画像と右の画像との間には有意な差があるが、一方で、他の部分、焦点範囲から外れた部分は、なめらかであり、左の画像と右の画像との間のより少ない差を示す。図４に示されるように、焦点の合っているオブジェクトのピクセルは１つの点Ｐであり、焦点の合っていないオブジェクトのピクセルはスポットＳである。左の画像と右の画像との比較は、焦点の合っているオブジェクトを焦点の合っていないオブジェクトまたは背景から区別する。このように、左の画像と右の画像との比較は、左および右の画像の中の焦点の合っているオブジェクトを左および右の画像の中の背景から分離するために用いられ得る。ぼやけ度の差のために、焦点の合っているオブジェクト上のピクセル間の差は、背景画像上のそれよりも大きい。ぼやけ度を計算する代わりに、左および右の画像のピクセル間の差が、焦点の合っているオブジェクトを左および右の画像の中の背景から分割するために用いられ得る。３Ｄオブジェクトを背景から分離するために、閾値差が画像比較に対して設定され得る。ぼやけ度は計算されないが、焦点の合っているオブジェクトの画像の背景からの分割の原理は、ぼやけ度およびぼやけ傾斜の概念に基づいている。
【００４０】
図５、６、７、および８に詳細に転じると、圧縮、伝送、復元、および３Ｄビデオコンテンツの表示のシステムおよび方法が説明され描写される。図５に示されるように、背景画像の最適圧縮（ＡＣＢＩ）に基づく３Ｄビデオシステム８０は、好ましくは信号パーサ９０、最適エンコーダ１００、一般的エンコーダ１３０、および伝送ネットワーク２００に連結されたマルチプレクサ／モジュレータ１４０を含む。エンコードされた信号を表示するために、３Ｄビデオシステム８０は、好ましくはデマルチプレクサ／デモジュレータ１５５、一般的デコーダ１６０、ならびに伝送ネットワーク２００およびディスプレイ３００に連結された最適デコーダ１７０を含む。信号パーサ９０、最適エンコーダ１００、一般的エンコーダ１３０、およびマルチプレクサ／モジュレータ１４０は、単一デバイスまたは、集積回路、ＡＳＩＣチップ、ソフトウェア、またはそれらの組み合わせとしての複数デバイスの一部であり得る。同様にデマルチプレクサ／デモジュレータ１５５、一般的デコーダ１６０、および最適デコーダ１７０は、受信機１５０のような単一デバイスまたは、集積回路、ＡＳＩＣチップ、ソフトウェア、またはそれらの組み合わせとしての複数デバイスの一部であり得る。
【００４１】
信号パーサ９０は３Ｄビデオ信号を左および右の画像に構文解析する。最適エンコーダ１００は３Ｄオブジェクトを背景画像から分割し、背景画像をエンコードまたは圧縮する。最適エンコードされた信号は次に一般的エンコーダ１３０によってエンコードまたは圧縮される。しかしながら、図７に示されるように、一般的エンコーダ１３０を出るエンコードされた信号のデータレートが、伝送ネットワークのデータレート能力（例えばＡＴＳＣにおけるビットレートは約１９メガビット／秒（ｍｂｐｓ）である）よりも大きい場合には、最適エンコーダ１００がそのエンコードパラメータを変更し、新しいエンコードパラメータに従って再度背景画像をエンコードまたは圧縮する。一般的エンコーダ１３０を出るエンコードされた信号のデータレートが、伝送ネットワークのデータレート能力よりも小さいか等しい場合には、信号が伝送／配信ネットワーク２００に伝送される前に、マルチプレクサ／モジュレータ１４０が次に一般的にエンコードされた信号をマルチプレックスおよびモジュレートする。一旦、システム８０のディスプレイ端で受信されると、マルチプレックスおよびモジュレートされた信号は、デマルチプレクサ／デモジュレータ１５５によってデマルチプレックスおよびデモジュレートされる。一般的デコーダ１６０は次にエンコードされた信号をデコードし、最適デコーダ１７０は最適にエンコードされた背景画像を最適にデコードし、左および右の画像ペアを形成するために、背景画像を左および右のオブジェクトと合成させる。画像ペアは次にユーザに表示するためにディスプレイ３００に伝送される。
【００４２】
図６を参照すると、ＡＣＢＩエンコーダ１００のシステムおよびプロセスブロック図が提供される。ＡＣＢＩエンコーダ１００は左および右の画像を信号パーサ９０（図４参照）から受信し、それらを左および右の画像フレームメモリブロック１０３および１０４に格納する。画像コンパレータ１０５は左および右の画像をピクセル毎に比較する。コンパレータによって比較されるべき各ピクセルのパラメータは、映像またはビデオのクラス、例えばカラー映像に対するＲ  Ｇ  ＢまたはＹ  Ｐｒ  Ｐｂによって決定される。左および右の画像のピクセルの比較において、コンパレータ１０５は、左および右のビュー画像のピクセルのパラメータ間の差を計算する。例えば、Ｒ  Ｇ  Ｂの場合、
差＝｜Ｒｌ−Ｒｒ｜＋｜Ｇｌ−Ｇｒ｜＋｜Ｂｌ−Ｂｒ｜
Ｙ  Ｐｒ  Ｐｂの場合、
差＝｜Ｙｌ−Ｙｒ｜。
【００４３】
左および右の画像の各ピクセルのパラメータ間の差は、Ｌ−Ｒ画像フレームメモリブロック１０６に送信され、次に閾値コンパレータ１０７に渡される。閾値コンパレータ１０７によって用いられるパラメータ間の差の閾値は、以前の情報か最適計算のいずれかによって設定される。差の閾値は、通常は３Ｄビデオソースによる。３Ｄビデオコンテンツがビデオゲームおよびアニメーションフィルムのようなコンピューターグラフィックスによって作成された場合には、差の閾値は、映画やＴＶのカメラによる３Ｄビデオコンテンツのそれよりも高くなる。それゆえ、差の閾値は、３Ｄビデオソースに従って設定され得る。よりロバストなアルゴリズムが閾値設定に用いられ得る。例えば、閾値５００の最適計算が図９および１０に提示される。図９は、最適計算のフローチャートである。左および右の画像間の絶対差分がステップ５１０で計算される。次に絶対差分のヒストグラムがステップ５２０で計算される。例示的ヒストグラムが図１０に示される。次に、ステップ５３０がヒストグラムの低値エリアにピークがあるかどうかを決定する。背景ピクセルの差はぼやけのために似ており、背景エリアは大きいので、普通、ヒストグラムの低値には１つのピークがある。低値エリアに１つのピークも見つからない場合には、デフォルトの閾値が図６の１０７において用いられる。低値エリアに１つのピークが見つかった場合には、ステップ５４０が図１０に示されるピークの上限を探す。ピークの限度は次に図６の１０７において閾値として用いられる。
【００４４】
同じ座標の左および右のピクセル間の差が閾値よりも大きい場合、すなわち、左および右のピクセルが焦点の合っているオブジェクトの場合には、次に閾値コンパレータ１０７は、同じピクセル座標に対するマスクデータを１に設定し、閾値よりも小さい場合、すなわち、左および右のピクセルが背景の場合には、閾値コンパレータ１０７は、同じピクセル座標に対するマスクデータを０に設定する。閾値コンパレータ１０７は、オブジェクトマスクまたはフィルタを構築するためにマスクデータを用いるオブジェクトマスク生成器１０８にマスクデータを渡す。
【００４５】
左の画像は左の画像フレームメモリブロック１０３から回収され、３Ｄオブジェクトセレクタ１０９によってオブジェクトマスク生成器１０８から受信したオブジェクトマスクを用いて処理され、左の画像の背景から３Ｄオブジェクトを検出または分割する。すなわち、左の画像の背景のピクセルが３Ｄオブジェクトセレクタ１０９によって０に設定される。左の画像から回収された３Ｄオブジェクトは、左の３Ｄオブジェクトメモリブロック１１３に送信される。
【００４６】
右の画像は右の画像フレームメモリブロック１０４から回収され、３Ｄオブジェクトセレクタ１１０によってオブジェクトマスク生成器１０８から受信したオブジェクトマスクを用いて処理され、右の画像の背景から３Ｄオブジェクトを検出または分割する、すなわち、右の画像の背景のピクセルが３Ｄオブジェクトセレクタ１１０によって０に設定される。右の画像から回収された３Ｄオブジェクトは、右の３Ｄオブジェクトメモリブロック１１４に送信される。
【００４７】
左および右の画像の３Ｄオブジェクトは、３Ｄパラメータ計算機１１５に次々に渡され、計算機は左のオブジェクト画像および右のオブジェクト画像からの３Ｄパラメータを計算または決定してそれらを３Ｄパラメータメモリブロック１１６に格納する。好ましくは、計算された３Ｄパラメータは、例えば、パララックス（ｐａｒａｌｌａｘ）、視差（ｄｉｓｐａｒｉｔｙ）、深度範囲などを含み得る。
【００４８】
背景画像の分割：３Ｄオブジェクトマスク生成器１０８によって生成された３Ｄオブジェクトマスクは、次々にマスク変換器１１１に渡され、反転マスク、すなわち、背景分割マスクまたはフィルタが、３Ｄオブジェクトマスクにおいてゼロを１におよび１をゼロに変化させる反転処理によって３Ｄオブジェクトマスクから作成される。背景画像は、次に背景セレクタ１１２によって、右の画像フレームメモリブロック１０４から渡された右の画像および、反転されたまたは背景の分割マスクを用いてベースのビュー画像から分離される。背景セレクタ１１２は、ベースのビュー画像から回収された、分割された背景画像を、背景画像メモリブロック１１７に渡し、背景ピクセル位置情報を最適コントローラ１１８に渡す。背景の位置情報は、最適コントローラ１１８によって、カラーアダプタ１１９、空間アダプタ１２０、および時間アダプタ１２１によって処理されるべきピクセルを決定するために用いられる。背景セレクタ１１２によってゼロに設定された３Ｄオブジェクトのピクセルは、カラーアダプタ１１９、空間アダプタ１２０、および時間アダプタ１２１によってスキップされる。
【００４９】
現実の世界のビデオにおいて、所与の画像内の焦点の合っている３Ｄオブジェクトのサイズは、動的に変化する。最適コントローラ１１８は、カラーアダプタ１１９、空間アダプタ１２０、および時間アダプタ１２１を、所与の画像内の焦点の合っている３Ｄオブジェクトのサイズと、関連するデータレートとの関数として最適に制御する。最適コントローラ１１８は、ピクセル位置情報を背景セレクタ１１２から受信し、データレートメッセージを一般的エンコーダ１３０から受信し、次に制御信号をカラーアダプタ１１９に送信して、背景画像の各ピクセルのカラービットを減少させる。背景画像の各ピクセルのカラービットは好ましくは、一般的エンコーダ１３０を出るエンコードされた信号のデータレートに依存して、１から３ビット減少させられる。一般的エンコーダのデータレートは、ビデオ、オーディオ、および特定のアプリケーションに対するユーザのデータを含む圧縮された信号ストリームのビットレートである。通常、１ビットの減少が好ましい。一般的エンコーダ１３０を出るエンコードされた信号のデータレートが所与の伝送ネットワークに対する特定値よりも高い場合には、２または３ビットが減少させられる。
【００５０】
最適コントローラ１１８はまた、制御信号を空間アダプタ１２０に送信する。空間アダプタ１２０は、伝送のために背景画像のピクセルを部分抽出し、背景画像の解像度を減少させる。以下の実施例において、背景画像のピクセルは水平方向および垂直方向に半分に減少させられる。ピクセルが減少させられる量は、一般的エンコーダ１３０を出るエンコードされた信号のデータレートにも依存する。カラーアダプタ１１９がカラービットを減少させ、空間アダプタ１２０が解像度を減少させた後に、一般的エンコーダ１３０のデータレートがなお特定のデータレートよりも高い場合には、次に時間アダプタ１２１が背景画像のフレームレートを減少させるために用いられ得る。フレームレートが下がるとデータレートは有意に減少させられる。フレームレートの変化はビデオ品質を劣化し得るので、背景画像のフレームレートを減少させることは通常、好ましくない。従って、時間アダプタ１２１は好ましくはバイパスされた状態に設定される。
【００５１】
図７は、背景画像のための、最適制御ベースの圧縮を用いるエンコーディングおよび伝送のプロセス４００におけるステップを示す。示されるように、背景画像のピクセルパラメータ、すなわち、カラービットおよび解像度は、上記で図６に関連して議論されたようにステップ４１０で最適に圧縮される。背景画像の最適に圧縮されたピクセルは、他の信号要素、すなわち、３Ｄオブジェクトおよびパラメータ、ならびに最適コントローラ１１８からの制御データに従って、ステップ４２０において一般的にエンコードされる。ステップ４３０において、システムは、図６のエンコーダ１３０を去るエンコードされた信号のデータレートが目標データレートまたは伝送ネットワークの特定のデータレート能力よりも大きいかどうかを決定する。データレートが目標データレートよりも大きい場合には、異なる圧縮パラメータの組でステップ４１０が背景画像のピクセル上で繰り返される。ステップ４３０において、図６の一般的エンコーダ１３０は、一般的エンコーダ１３０を出るエンコードされた信号のデータレートを最適コントローラ１１８に送信し、データレートに応じて、最適コントローラ１１８はカラーアダプタ１１９にカラービット削減を増加するように、空間アダプタ１２０に解像度削減を増加するように、および時間アダプタ１２１にフレームレートを減少するように指図し得る。
【００５２】
図６のエンコーダ１３０を去るエンコードされた信号のデータレートが目標データレートまたは伝送ネットワークの特定のデータレート能力よりも大きくない場合には、最適コントローラ１１８は一般的エンコーダ１３０に、エンコードされた信号要素およびデータをマルチプレクサ／モジュレータ１４０に解放するように信号を出し、マルチプレクサ／モジュレータ１４０はステップ４４０においてエンコードされた信号およびデータをモジュレーティング／マルチプレクシングし、次にステップ４５０においてネットワーク２００（図５）を越えて伝送される。
【００５３】
背景画像は焦点が合っておらず、ぼやけているので、解像度および色の深みは３Ｄオブジェクトの人間の視覚システムによる限りの最小認識状態のそれよりも低くあり得る。上述の通り、カラーアダプタ１１９は背景画像を受信し、好ましくは伝送のために背景画像のカラービットを減少させる。例えば、色の深みが色当たり８ビットから色当たり７ビットに減少させられると、または色当たり１０ビットから色当たり８ビットに減少させられると、データレートはおよそ１／８または１／５減少させられる。色の深みは、デコーディングの際に最下位ビットにおいてゼロを追加することで、最小損失で回復させられ得る。
【００５４】
背景画像は焦点が合っておらず、ぼやけているので、背景画像の解像度も、伝送のために好ましくは減少させられる。上述の通り、空間アダプタ１２０は減少させられたカラービットを伴う背景画像を受信し、好ましくは、水平方向および／または垂直方向に背景画像のピクセルを減少させる。例えば、１９２０×１０８０の解像度を有するＨＤフォーマットにおいては、各方向で背景画像の解像度を半分に減少させることが可能であり、デコーディングの際に人間の視覚システムによる限りの最小認識状態を伴って空間的補間によって回復することが可能である。
【００５５】
高画質でないビデオの場合には、背景画像のフレームレートが伝送のために減少させられ得る。時間アダプタ１２１が、どのフレームを伝送し、どのフレームを伝送しないかを決定するために用いられ得る。受信機において、伝送されなかったフレームは時間補間によって回復され得る。しかしながら、背景画像のフレームレートを減少することは、それが、ＭＰＥＧのような主要なビデオ圧縮標準に用いられる運動構成を悪化させるので好ましくない。このように、時間アダプタ１２１は、背景画像の最適圧縮において好ましくはバイパスされる。
【００５６】
背景画像の最適圧縮の処理の後に、データレートは有利なことに有意に減少させられる。いくつかの実施例がデータの削減を説明するために提示される。
【００５７】
実施例１。通常、３Ｄオブジェクトによって包含される平均エリアは全画像エリアの１／４よりも小さい。３Ｄオブジェクトが全画像エリアの１／４を占める場合、背景画像は全画像エリアの３／４を占める。従って、４ピクセルのうちの３ピクセルが背景である。
【００５８】
カラーアダプタ１１９によってピクセル当たり８カラービットがピクセル当たり７カラービットに減少させられると、背景画像のデータレートは背景画像の本来のデータレートの７／８に減少させられる。背景における単一カラービットの削減は人間の視覚システムに対しては気付かれない。
【００５９】
１９２０×１０８０のＨＤフォーマットにおいて、背景画像の解像度は伝送のために水平方向に１／２、および垂直方向に１／２の９６０×５４０の解像度に減少させられる。背景画像の伝送ピクセルは、結果として、本来の背景画像のピクセルの１／４に減少させられる。
【００６０】
この実施例において、時間アダプタ１２１はバイパスされていて、伝送のためのデータ削減に寄与していない。
【００６１】
画像の３Ｄオブジェクトは、好ましくは従来の圧縮を用いて、最高の忠実度で伝送され、従って、全画像のピクセルの１／４を含む３Ｄオブジェクトのピクセルは同じデータレートに維持される。背景画像の最適圧縮（ＡＣＢＩ）ベースのデータレート削減は以下のように計算される：
右の画像における３Ｄオブジェクト（１／４エリア）の本来のデータレートの割合：
１／４×１００％＝２５％
右の画像における背景画像（３／４エリア）の本来のデータレートの割合：
【化１】
2011109671.tif 000005
右の画像の本来のデータレートの割合：
２５％＋１６．４％＝４１．４％
画像ペアの１つの画像、すなわち、右の画像のデータレートは、ＡＣＢＩを用いると、ＡＣＢＩを伴わない本来の右の画像のデータレートのわずか４１．４％である。左と右の画像の背景画像は実質的に同じであるので、右の画像の背景が、受信機において左の画像に対する背景を生成するために用いられ得る。ＡＣＢＩを伴う画像ペアのデータレートは、次に、画像ペアの第２の画像、すなわち、左の画像の３Ｄオブジェクトのデータレート（これも本来の画像のデータレートの２５％である）を、ＡＣＢＩを伴う右の画像のデータレートに追加することで、単一画像のデータレートの関数として計算され得る：
単一画像の本来のデータレートの割合：
４１．４％＋２５％＝６６．４％
結果として、ＡＣＢＩを伴う画像ペアのデータレートは、有利なことにＡＣＢＩを伴わない本来の１つの画像のわずか６６．４％である。
【００６２】
実施例２。この実施例においては、背景の垂直方向の解像度が減少させられ、一方で水平方向の解像度は減少させられない。他のすべてのパラメータは実施例１と同様である。従って、右の画像における背景画像（３／４エリア）の本来のデータレートの割合は：
【化２】
2011109671.tif 000006
右の画像のデータレートの割合は：
２５％＋３２．８％＝５７．８％
画像ペアの１つの画像、すなわち、右の画像のデータレートは、ＡＣＢＩを伴うと、ＡＣＢＩを伴わない右の画像のデータレートの５７．８％である。上述のように、ＡＣＢＩを伴う画像ペアのデータレートは、画像ペアの第２の画像、すなわち、左の画像に対する３Ｄオブジェクトのデータレート（これも本来の画像のデータレートの２５％である）を、ＡＣＢＩを伴う右の画像のデータレートに追加することで、単一画像のデータレートの関数として計算され得る：
単一画像の本来のデータレートの割合：
５７．８％＋２５％＝８２．８％
結果として、ＡＣＢＩを伴う画像ペアのデータレートは、有利なことにＡＣＢＩを伴わない１つの画像のわずか８２．８％である。
【００６３】
実施例３。この実施例において、３Ｄオブジェクトは統計的に全画像エリアの１／２を占め、背景画像は全画像エリアのわずか１／２を占める。従って、画像の半分のピクセルが背景である。
右の画像における３Ｄオブジェクト（１／２エリア）の本来のデータレートの割合：
１／２×１００％＝５０％
背景画像のピクセル当たり８カラービットが１ビット減少させられる；背景画像の解像度は、水平方向に１／２、および垂直方向に１／２減少させられる。右の画像における背景画像（１／２エリア）の本来のデータレートの割合：
【化３】
2011109671.tif 000007
右の画像の本来のデータレートの割合は
５０％＋１１％＝６１％
単一画像の本来のデータレートの割合
６１％＋５０％＝１１１％
結果として、ＡＣＢＩを伴う画像ペアのデータレートは、有利なことにＡＣＢＩを伴わない１つの画像のわずか１１１％である。平均データレートが２Ｄビデオ帯域幅よりも高い、この場合において、最適コントローラ１７３は背景画像のカラービットと空間解像度をさらに減少させるように、また最悪の事態におけるデータのオーバーフローを避けるために背景画像のフレームレートを時間的に減少させることすら行なうようにコマンドを発行する。
【００６４】
ＡＣＢＩおよび現行の圧縮技術によってエンコードされた３Ｄコンテンツは、現行の２Ｄビデオ配信または伝送のネットワーク２００上で大抵の場合送達され得る。現実の世界のビデオにおいて、焦点の合っている３Ｄオブジェクトのサイズは動的に変化する。データレートは、焦点の合っている３Ｄオブジェクトのサイズによって変化する。３Ｄオブジェクトは、大部分のビデオ光景においておそらく半分未満の画像であるので、ＡＣＢＩ圧縮の後の総合的な平均データレートは、２Ｄビデオ帯域幅の半分以下である。しかしながら、さらにおそらく実際の３Ｄビデオの中の３Ｄオブジェクトは、全画像中の１／４未満であると考えられ、データレートはより効率的に圧縮されることが大いに見込まれる。
【００６５】
３Ｄパラメータのソースから受信機への伝送は重要である。３Ｄパラメータは、３Ｄ光景を正確にレンダリングするためにデコーダおよびディスプレイをサポートする。関心の３Ｄパラメータの例は以下を含み得る：
パララックス：表示される２つの立体的画像における対応する点の間の距離。
視差：立体画像デバイスまたは録画された画像上の共役点間の距離。
深度範囲：正の最大許容パララックスを作り出す背景点から負の最大許容パララックスを作り出す前景点までのカメラスペースにおける距離。
【００６６】
いくつかの３Ｄパラメータがビデオキャプチャーシステムによって提供される。いくつかの３Ｄパラメータは、左および右の画像の３Ｄオブジェクトを用いて計算され得る。
【００６７】
ＡＣＢＩ処理の後の一般的エンコーディング：３Ｄオブジェクトの分割およびＡＣＢＩの後、左および右の画像の３ＤオブジェクトおよびＡＣＢＩは一般的エンコーダ１３０によってエンコードされる。一般的エンコーダ１３０は単一のエンコーダまたは複数のエンコーダまたはエンコーダモジュールであり得、好ましくはＭＰＥＧ２、ＭＰＥＧ−４／Ｈ．２６４  ＡＶＣ，ＶＣ−１などのような標準の圧縮技術を用いる。左および右のビューの３Ｄオブジェクトは好ましくは完全な忠実度でエンコードされる。左および右のビューの３Ｄオブジェクトは一般に全画像よりも小さいので、３Ｄオブジェクトを伝送することに必要とされるデータレートはより低い。そのデータレートを減少させるためにＡＣＢＩによって処理された背景画像も一般的エンコーダ１３０に送信される。
【００６８】
３Ｄパラメータは好ましくは一般的エンコーダ１３０によってデータパッケージとしてエンコードされる。最適コントローラ１１８は、制御データおよび制御信号を一般的エンコーダ１３０に送信し、一方で、一般的エンコーダ１３０は、一般的エンコーダ１３０を出るエンコードされた信号のデータレートを最適コントローラ１１８にフィードバックする。最適コントローラ１１８は、一般的エンコーダ１３０を出るエンコードされた信号のデータレートに従って、制御信号をカラーアダプタ１１９、空間アダプタ１２０、および時間アダプタ１２１に適合させる。
【００６９】
一般的エンコーダ１３０からの出力は、以下に記載されるように背景画像（ＢＧ）および制御データ（ＣＤ）とともに、３Ｄオブジェクトのエンコードされた右の画像（Ｒ−３Ｄ）、３Ｄオブジェクトのエンコードされた左の画像（Ｌ−３Ｄ）、および３Ｄパラメータ（３Ｄ  Ｐａｒ）を含むエンコードされたデータパッケージを含む。エンコードされた背景画像、立体的画像ペアのエンコードされた３Ｄオブジェクト、３Ｄパラメータおよび最適コントローラ１１８からの制御データは、マルチプレクサ／モジュレータ１４０によってマルチプレックスおよびモジュレートされ、次に、図５に示されるように、オフエアーブロードキャスタ、ケ−ブルおよび衛星ネットワークのような配信ネットワーク２００に送信され、次に、受信機１５０によって受信される。
【００７０】
左のビューおよび右のビュー画像の回復：図８を参照して、受信されたすべてのビデオデータおよび３Ｄパラメータは、デマルチプレクサ／デモジュレータ１５５によってデモジュレートおよびデマルチプレックスされ、ＭＰＥＧ２、ＭＰＥＧ−４／Ｈ．２６４  ＡＶＣ，ＶＣ−１などのような標準の復元技術を用いる一般的デコーダまたは複数デコーダ１６０に送信される。
【００７１】
左および右の画像のエンコードされた左および右の３Ｄオブジェクトは、一般的デコーダによってデコードされ、左および右の３Ｄオブジェクトメモリ１７１および１７２に渡され格納される。背景画像およびＡＣＢＩ制御データも同様に一般的デコーダ１６０によってデコードされる。ＡＣＢＩ制御データは最適コントローラ１７３に送信される。時間アダプタ１２１が背景画像のフレームレートを減少させる場合には、フレームレート情報が一般的デコーダによってデコードされ、最適コントローラ１７３に送信され、最適コントローラ１７３は制御信号を時間回復モジュール１７４に送信する。最適コントローラ１７３はまた、空間削減およびカラービット削減の情報を、空間回復モジュール１７５およびカラー回復モジュール１７６に送信する。
【００７２】
背景画像は、時間回復モジュール１７４に送信される。時間回復モジュール１７４は好ましくは、フレームレートをフレーム補間によって本来のビデオフレームレートに変換して戻す、フレーム変換器である。前記で議論されたように、フレーム変換は運動補償を含む複雑なプロセスを含み、圧縮プロセスにおいて好ましくはバイパスされる。
【００７３】
空間回復は空間回復モジュール１７５によって、近接の隣接ピクセルによる補間により紛失したピクセルを回復することによって実施される。例えば、背景画像において、ピクセルのいくつかはデコードされ、一方で、他は空間アダプタ１２０における部分抽出のために失われる。
【００７４】
【表３】
2011109671.tif 000008
表３において、以下のピクセルが一般的デコーダによってデコードされる。
Ｐ（０，０），Ｐ（２，０），Ｐ（４，０）
Ｐ（０，２），Ｐ（２，２），Ｐ（４，２）
Ｐ（０，４），Ｐ（２，４），Ｐ（４，４）
以下のピクセルが補間によって回復させられる。
Ｐ（１，０）＝１／２［Ｐ（０，０）＋Ｐ（２，０）］
Ｐ（１，２）＝１／２［Ｐ（０，２）＋Ｐ（２，２）］
Ｐ（０，１）＝１／２［Ｐ（０，０）＋Ｐ（０，２）］
Ｐ（２，１）＝１／２［Ｐ（２，０）＋Ｐ（２，２）］
Ｐ（１，１）＝１／４［Ｐ（１，０）＋Ｐ（１，２）＋Ｐ（０，１）＋Ｐ（２，１）］
すべての紛失したピクセルは、同様の方法で回復させられる。補間方法は、上記のアルゴリズムに限定されない。他の先進的な補間アルゴリズムが同様に用いられ得る。
【００７５】
カラー回復は、カラー回復モジュール１７６によって、ビットのシフト操作を用いて実施される。デコードされた背景画像が７ビットの場合、カラーの８ビットは１ビットの左シフトによって回復させられ得、一方で、カラーの１０ビットは３ビットの左シフトによって回復させられ得る。
【００７６】
背景画像は、左の画像を回復するために左の３Ｄオブジェクトと共に画像合成器１７８に送信される。背景画像はまた、右の画像を回復するために右の３Ｄオブジェクトと共に別の画像合成器１８０に送信される。結果として、立体的画像の左および右の画像がデコードされ、回復させられる。
【００７７】
右のビュー画像および左のビュー画像が、ブロック１９０およびブロック１９１として示される。エンコードされた３Ｄパラメータはデマルチプレクサ１５５によってデマルチプレックスされ、デコーダ１６０によってデコードされ、３Ｄレンダリングおよびディスプレイモジュール１９３に送信される。３Ｄパラメータは、３Ｄ光景を正確にレンダリングするために用いられる。システムまたは視聴者の３Ｄパラメータ操作は、３Ｄレンダリングの品質および視聴者の３Ｄ視聴体験を変更するために提供される。
【００７８】
ＡＣＢＩの２Ｄ下位互換性：２Ｄビデオとの下位互換性を可能にするために、ビデオスイッチ１７９が追加される。左のビュー画像および右のビュー画像が画像合成器１７８および１８０からビデオスイッチ１７９に送信される。左の画像ブロック１９１は、デコードされた左のビュー画像か、デコードされた右（ベース）のビュー画像のいずれかを表示し得る。左の画像ブロック１９１がデコードされた左のビュー画像を表示する場合、モードは３Ｄビューである。左の画像ブロック１９１がデコードされた右のビュー画像を表示する場合、モードは２Ｄビューである。
【００７９】
本明細書に記載される、３Ｄオブジェクトの分割に基づくＡＣＢＩシステムおよびプロセスは、２Ｄビデオ帯域幅の制約との、まさしく下位互換性がある。重大な帯域幅の制約をかかえる放送システムに対して、ビデオ信号の３Ｄコンテンツは２Ｄが配信される下位互換性の態様で配信され得る。コンテンツの単なる２Ｄ成分ではない完全な３Ｄコンテンツを配信するための、追加の帯域幅要求は、最小化される。上記で議論されてきたデータレートの削減推定値は、ＡＣＢＩがデータレートを有意に減少させるので、ＡＣＢＩを用いた圧縮された３Ｄビデオが、２Ｄビデオのために使用される現行のブロードキャスタの帯域幅内に合致することを示した。
【００８０】
２Ｄモードと３Ｄモードとの間の継ぎ目のない切り替え：
３Ｄから２Ｄへの切り替え−視聴者は３Ｄモードで３Ｄコンテンツを見ており、２Ｄプログラムへの変更を決断する。ＡＣＢＩシステムは、３Ｄ視聴から２Ｄ視聴への継ぎ目のない移行を許可する。受信機１５０は、ビデオスイッチ１７９によって左のビューをベースのビュー（右のビュー）画像に切り替え得る。左のビュー画像は、右のビュー画像と同じものになり、３Ｄは継ぎ目なく２Ｄに切り替えられる。視聴者は３Ｄモードを２Ｄモードに切り替えるためにリモートコントローラを用い得、左のビューは右のビューに切り替えられる。両目は同じベースビュービデオを見る。
【００８１】
２Ｄから３Ｄへの切り替え−−視聴者は２Ｄモードで２Ｄコンテンツを見ており、３Ｄプログラムへの変更を決断する。システムは、２Ｄ視聴から３Ｄ視聴への継ぎ目のない移行を許可する。受信機１５０は、ビデオスイッチブロック１７９によって左のビューをベースのビュー（右のビュー）画像から左のビューに切り替え得、従って、２Ｄは継ぎ目なく３Ｄモードに切り替えられる。
【００８２】
前述の明細書において、発明がそれらの特定の実施形態を参照して説明されてきた。しかしながら、種々の修正および変更が本発明のより広義の精神および範囲から逸脱することなく、それらになされ得ることは明らかである。例えば、読者は、本明細書に記載されたプロセスフロー図に示されるプロセス動作の特定の順序および組み合わせが単に例示的なものであり、もしそうでなければ述べられたものであり、本発明が異なるまたは追加のプロセス動作、あるいは、プロセス動作の異なる組み合わせまたは順序を用いて実施され得ることを理解するべきである。別の実施例のように、１つの実施形態の各特徴は、他の実施形態に示される他の特徴と混合され整合され得る。当業者に公知の特徴およびプロセスは、望まれれば同様に組み入れられ得る。加えて、また明らかに、特徴は望まれれば追加され差し引かれ得る。従って、本発明は添付の特許請求範囲およびそれらの均等物にかんがみる場合を除いて限定されるべきでない。
【符号の説明】
【００８３】
９０  信号パーサ
１００  最適エンコーダ
１３０  一般的エンコーダ
１４０  マルチプレクサ／モジュレータ
１５０  伝送ネットワーク
１５５  デマルチプレクサ／デモジュレータ
１６０  一般的デコーダ
１７０  最適デコーダ
３００  ディスプレイ
【図１】
2011109671.tif 000009
【図２】
2011109671.tif 000010
【図３】
2011109671.tif 000011
【図４】
2011109671.tif 000012
【図５】
2011109671.tif 000013
【図６】
2011109671.tif 000014
【図７】
2011109671.tif 000015
【図８】
2011109671.tif 000016
【図９】
2011109671.tif 000017
【図１０】
2011109671.tif 000018