(57)【要約】  3Dディスプレイ63上で表示する間の視覚的乱れを回避するために三次元[3D]ビデオ信号を処理する3Dビデオ装置40, 50が提供される。3Dビデオ信号は、3D効果を発生させるための左ビュー及び右ビューを含む。本発明は、いわゆる汚れたウィンドウ効果、すなわち、両方のビュー中のノイズ間の相関が特定の深さにおいて知覚される3Dノイズをもたらす問題を認識して、解決することに関する。ビデオ・プロセッサ42, 52, 53は、符号化ノイズの前記相関を低減するための前記ビュー間の符号化ノイズの相関に起因する3Dビデオ・データの表示の間に予想される視覚的乱れの少なくとも１つの量に依存して3Dビデオ・データを処理するように用意される。装置は、3Dディスプレイ上で表示するための処理された3Dビデオ・データを転送するための転送手段46, 55を有する。同様に、3Dビデオ信号41及び記録担体が提供される。
2013530556.tif 000002
【特許請求の範囲】
【請求項１】
３Ｄディスプレイ上での表示の間の視覚的乱れを回避するための３Ｄビデオ信号を処理する方法であって、
３Ｄ効果を生じさせるために観察者のそれぞれの眼に表示されるべき左ビュー及び右ビューを少なくとも有する３Ｄビデオ・データを表す前記３Ｄビデオ信号を受信するステップ、
符号化ノイズの相関を低減するために前記ビュー間の符号化ノイズの相関に起因する３Ｄディスプレイ上での前記３Ｄビデオ・データの表示の間に予想される視覚的乱れの少なくとも１つの量に依存して前記３Ｄビデオ・データを処理するステップ、
前記３Ｄディスプレイ上での表示のために処理された３Ｄビデオ・データを転送するステップ、
を有する方法。
【請求項２】
ビデオ・データのブロックに基づく変換規則及び前記ブロックのための符号化パラメータに従って前記３Ｄビデオ・データを符号化するステップ、
少なくとも１つのそれぞれのブロックに対して予想される視覚的乱れの前記少なくとも１つの量を決定するステップ、を有し
前記処理するステップは、ぞれぞれのブロックに対して決定される前記量に依存してそれぞれのブロックのための前記符号化パラメータを調節することを含む、
請求項１に記載の方法。
【請求項３】
前記３Ｄビデオ・データを復号するステップを有し、
前記処理するステップは、前記復号の後に、前記相関を低減するために前記ビューの少なくとも１つにディザリング・ノイズを加えることを含む、
請求項１に記載の方法。
【請求項４】
前記少なくとも１つの量を示す３Ｄノイズ・メタデータを生成するステップを含み、
前記転送するステップは、３Ｄビデオ装置に転送してそこで符号化ノイズの前記相関を低減するために前記３Ｄノイズ・メタデータに従って処理することを可能にするための３Ｄビデオ信号に前記３Ｄメタデータを含めることを含む、請求項１に記載の方法。
【請求項５】
前記３Ｄノイズ・メタデータを有する前記３Ｄビデオ信号を表すマークのトラックを備える記録担体を製造するステップを含む、請求項４に記載の方法。
【請求項６】
前記少なくとも１つの量を示す３Ｄノイズ・メタデータを前記３Ｄビデオ信号から読み出すステップを有し、
前記処理するステップは、
符号化ノイズの前記相関を低減するために前記３Ｄノイズ・メタデータに従って前記３Ｄビデオ・データを処理することを含む、
請求項１に記載の方法。
【請求項７】
３Ｄディスプレイ上での表示の間の視覚的乱れを回避するために３Ｄビデオ信号を処理するための３Ｄビデオ装置であって、
３Ｄ効果を生じさせるために観察者のそれぞれの眼に表示されるべき左ビュー及び右ビューを少なくとも有する３Ｄビデオ・データを表す前記３Ｄビデオ信号を受信するための入力手段、
符号化ノイズの相関を低減するために前記ビュー間の符号化ノイズの相関に起因する３Ｄディスプレイ上での前記３Ｄビデオ・データの表示の間に予想される視覚的乱れの少なくとも１つの量に依存して前記３Ｄビデオ・データを処理するように用意されたビデオ・プロセッサ、
前記３Ｄディスプレイ上での表示のために処理された３Ｄビデオ・データを転送するための転送手段、
を有する３Ｄビデオ装置。
【請求項８】
ビデオ・データのブロックに基づく変換規則及び前記ブロックのための符号化パラメータに従って前記３Ｄビデオ・データを符号化するための符号化器、
少なくとも１つのそれぞれのブロックに対して予想される視覚的乱れの前記少なくとも１つの量を決定し、前記処理において、ぞれぞれのブロックに対して決定される前記量に依存してそれぞれのブロックのための前記符号化パラメータを調節するように用意された前記ビデオ・プロセッサ、
を有する請求項７に記載の３Ｄビデオ装置。
【請求項９】
前記３Ｄビデオ・データを復号するための復号化器を有し、前記ビデオ・プロセッサは、前記復号の後に、前記相関を低減するために前記ビューの少なくとも１つにディザリング・ノイズを加えるように用意される、請求項７に記載の３Ｄビデオ装置。
【請求項１０】
前記ビデオ・プロセッサが、前記復号の後に、観察者の非優位眼のためのビューに対してのみディザリング・ノイズを追加するように用意される、請求項９に記載の３Ｄビデオ装置。
【請求項１１】
前記ビデオ・プロセッサが、
前記少なくとも１つの量を示す３Ｄノイズ・メタデータを前記３Ｄビデオ信号から読み出し、
前記相関を低減するために前記３Ｄノイズ・メタデータに従って前記３Ｄビデオ・データを処理することにより前記処理を行う、
ように用意される、請求項７に記載の３Ｄビデオ装置。
【請求項１２】
前記入力手段が前記３Ｄビデオ信号を読み出すために記録担体を読むための手段を有する請求項７又は請求項１１に記載の３Ｄビデオ装置。
【請求項１３】
３Ｄビデオ信号であって、３Ｄ効果を生じさせるために観察者のそれぞれの眼に対して表示されるべき左ビュー及び右ビュー、並びに、前記ビュー間の符号化ノイズの相関に起因する３Ｄディスプレイ上での前記３Ｄビデオ・データの表示の間に予想される視覚的乱れの少なくとも１つの量を示す３Ｄノイズ・メタデータ、を少なくとも含む３Ｄビデオ・データを有し、当該信号は、前記３Ｄビデオ・データを３Ｄビデオ装置に転送し、そこで符号化ノイズの前記相関を低減するために前記３Ｄノイズ・メタデータに従う前記３Ｄビデオ・データの処理を可能にするための信号である、３Ｄビデオ信号。
【請求項１４】
請求項１３に記載の３Ｄビデオ信号を有する記録担体。
【請求項１５】
３Ｄディスプレイ上での表示の間の視覚的乱れを回避するために３Ｄビデオ信号を処理するためのコンピュータ・プログラムであって、請求項１から請求項６のいずれか一項に記載の方法のそれぞれのステップをプロセッサに実行させるコンピュータ・プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、3Dディスプレイに表示する際の視覚的な乱れを回避するための三次元[3D]ビデオ信号を処理する方法に関し、当該方法は、3D効果を生じさせるために視聴者のそれぞれの眼に対して表示される左ビュー及び右ビューを少なくとも含む3D表示データを表す3Dビデオ信号を受信することを含む。
【０００２】
本発明は、さらに、3Dビデオ装置、3Dビデオ信号、記録担体及びコンピュータ・プログラムに関する。
【０００３】
本発明は、3Dノイズの視認性を低減することによって3D表示装置でのレンダリングを改善するために3Dビデオ・データを処理する分野に関する。
【背景技術】
【０００４】
エンターテイメント業界からの非常に増大しつつある数の作品が、3D動画シアターを狙っている。これらの作品は、２ビュー・フォーマット(3D効果を生じさせるために視聴者のそれぞれの眼に表示される左ビュー及び右ビュー)を用い、主として、眼鏡補助表示が意図される。業界は、これらの3D作品を家庭に持ち込むことに関心がある。現在、ブルーレイ・ディスク(BD)のような光学記録担体を介して立体視コンテンツを配信するための最初の規格が、その最終的な段階にある。放送業界も、3Dコンテンツを家庭に持ち込むことに関心がある。用いられるフォーマットは、確かに初期段階においては、一般的に用いられるステレオ・フォーマットである。
【０００５】
2Dビデオ・データを生成するための装置が知られている(例えばビデオ・サーバ、放送装置又はオーサリング装置)。現在、3D画像データを提供するための同様の3Dビデオ装置が利用可能であり、3Dビデオ・データをレンダリングするための相補的な3Dビデオ装置が提案されている（例えば、光学ディスクのためのプレーヤー又は受信された3Dビデオ信号をレンダリングするセットトップボックス）。3Dビデオ装置は、適切なインタフェース(好ましくはHDMIのような高速デジタルインタフェース)を介して3Dビデオ・データを転送するためにTVセット又はモニタのような表示装置に接続される場合がある。3Dディスプレイは、3Dビデオ装置と一体化されることができる(例えば受信セクション及び3Dディスプレイを有するテレビ(TV))。
【０００６】
文献"Stereo Video Coding System with Hybrid Coding based on Joint Prediction Scheme" by Li-Fu Ding et al, IEEE 0-7803-8834-8/05 page 6082-6085は、左ビュー及び右ビューを有する3Dビデオ・データのための符号化スキームの例を説明する。3Dコンテンツの他の例は、複数の右眼ビュー及び左眼ビューを有する立体視コンテンツである。符号化は、文献の図1及び2に示されるように、１つのビュー(例えば右ビュー)を、他のビューを独立に符号化することに基づいて従属して符号化するように用意される。説明された符号化スキーム及び同様の符号化技術は、両方のビューにおける冗長性を用いることによって、必要なビットレートが低減されるという意味において効率的である。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
上記の立体視コンテンツを家庭に持ち込むために、3Dビデオ・データは、事前に決められたフォーマットにしたがって圧縮される。放送チャネルの、そしてより少ない程度ではあるがBDのリソースが制限されるので、高い圧縮率が適用される。比較的高い圧縮比に起因して、さまざまなアーチファクト及び他の乱れが発生する場合があり、本明細書においては符号化ノイズと呼ばれる。
【０００８】
3Dディスプレイに表示する際の符号化ノイズに起因する視覚的乱れを低減するためのビデオ処理を提供することが本発明の目的である。
【課題を解決するための手段】
【０００９】
この目的のために、本発明の第１の態様によれば、冒頭の段落に記載の方法は、
- 符号化ノイズの相関を低減するために、前記ビュー間の符号化ノイズの相関に起因する3Dディスプレイ(63)上で3Dビデオ・データを表示する間に予想される視覚的乱れの少なくとも１つの量に依存して3Dビデオ・データを処理し、及び
- 3Dディスプレイに表示するために処理された3Dビデオ・データを転送することを含む。
【００１０】
この目的のために、本発明の第２の態様によれば、3Dディスプレイに表示する間の視覚的乱れを回避するために3Dビデオ信号を処理するための3Dビデオ装置は、3D効果を生じさせるために視聴者のそれぞれの眼に対して表示される左ビュー及び右ビューを少なくとも含む3Dビデオ・データを表す3Dビデオ信号を受信するための入力手段、符号化ノイズの相関を低減するために前記ビュー間の符号化ノイズの相関に起因する3Dディスプレイ(63)上で3Dビデオ・データを表示する間に予想される視覚的乱れの少なくとも１つの量に依存して3Dビデオ・データを処理するように用意されるビデオ・プロセッサ、3Dディスプレイに表示するために処理された3Dビデオ・データを転送するための転送手段を有する。
【００１１】
この目的のために、本発明のさらに別の態様では、3Dビデオ信号は、3D効果を生じさせるために視聴者のそれぞれの眼に対して表示される左ビュー及び右ビューを少なくとも含む3Dビデオ・データ、並びに、前記ビュー間の符号化ノイズの相関に起因する3Dディスプレイ上で3Dビデオ・データを表示する間に予想される視覚的乱れの少なくとも１つの量を示す3Dノイズ・メタデータを有し、前記信号は、符号化ノイズの前記相関を低減するために3Dノイズ・メタデータに従って3Dビデオ・データを処理することを可能にするために3Dビデオ・データを3Dビデオ装置へ転送するための信号である。
【００１２】
これらの手段は、視聴者に対して3Dディスプレイ上で表示されるときに、左ビュー及び右ビューにおける符号化ノイズの相関を低減する効果を有する。両方のビューにおけるノイズ間の相関は、例えば特定の深さに位置するスマッジ又は他の乱れのような、知覚されるノイズをもたらす。有利には、相関を低減することによって、任意のそのような乱れは、3Dディスプレイにおいて視聴者に見えにくくなり、不快ではなくなる。
【００１３】
本発明はさらに以下の認識に基づく。従来技術文献は、両方のビューを従属して符号化することを説明する。ビューの依存符号化は、3Dビデオ・データのために一般的に用いられる。3Dデータ・チャネル上のリソースが制限されるので、比較的高い、すなわち、3Dビデオ・データのソース又は作成者の品質基準に従って符号化ノイズが過度に視認されないように可能な限り高い圧縮率が適用される。したがって、実際には、若干の符号化ノイズが存在する。本発明者らは、ステレオ符号化における符号化アーチファクトは特定の深さにおいて知覚されることを観察し、彼らはそれを汚れウィンドウ効果と呼ぶ。この効果は、両方のビューにおいて相関する符号化ノイズに起因して発生する。実際には、アーチファクトのベールが、シーン中のオブジェクトの前に浮かんでいるか、又は時には、シーン中のオブジェクトを前方にインデントしているので、すなわち、１つの知覚される深さ位置に浮かんでいるので、立体視コンテンツは、汚れたウィンドウを通して観察されるように見える。前記汚れたウィンドウの深さ位置は、左及び右ビューにおいて同じ位置を有するオブジェクトの深さ位置と同じである(すなわち、通常はスクリーン深さ)。例えばスクリーンサイズ効果又は視聴者距離を補正するためにビューが水平方向にシフトされる場合（ベースライン・シフトと呼ばれる）、汚れたウィンドウも深さ方向にシフトするが、異なる深さ位置において見えるままである。
【００１４】
一般的に3Dビデオ・データのために用いられる圧縮方法はブロックに基づく。ブロック-グリッド及びブロック・アライメントは、両方のビューに対して一定である。左及び右ビューは独立に符号化されることができるが、より良好な符号化効率を達成するために、共同符号化方法が一般的に用いられる。共同符号化方法は、左ビューと右ビューとの間の相関を活用することを試みる。より高い圧縮率を得るために、両方の画像に存在する情報が一度のみ符号化されることができるか、情報が空間的及び/若しくは時間的関係を用いて符号化されることができるか、並びに/又は、観察者によって知覚されそうにない個々の画像中の情報がビデオ信号から除去される(知覚ベースの符号化)。情報の削除、すなわち損失のある符号化は、高い圧縮率が適用されるときには特に、符号化ノイズを導入する。この符号化ノイズは、モスキート・ノイズからブロッキング・アーチファクトにわたるさまざまなアーチファクトとして認識される場合がある。ブロック・ベースの圧縮スキームでは、符号化ノイズは、一般的に、圧縮方法によって使用されるブロック構造と相関している。
【００１５】
本発明者らは、モスキート・ノイズのような符号化アーチファクトは個々の2D画像ではほとんど認識されることはないが、そのようなアーチファクトは、ステレオ・ペアの左及び右画像が組み合わせて観察されるときには、認識されるようになる可能性があることを認識した。立体視では、異なる画像が各々の眼に適用され、それぞれの画像における差異が、深さ情報を効果的に符号化する。深さを決定するために、人間の視覚システムは、左ビュー中のオブジェクトと右ビュー中の対応するオブジェクトとの水平オフセット(すなわち視差)を、オブジェクトの深さの指標を提供するものとして解釈する。そのような人間の視覚システムにより、我々は、左及び右ビュー中の全てのオブジェクトの視差を解釈して、それに基づいて、深さ順序/シーンの深さ印象を導き出す。しかしながら、人間の視覚的システムは、実際の画像中のオブジェクト及び符号化ノイズに起因するアーチファクトの両方に対して、そのように実行する。
【００１６】
一般的に、符号化ノイズは、符号化の際に使用されるブロック構造に相関する。一般に、このブロック構造は、左ビュー及び右ビュー画像の両方に対して、同じ一つの位置において一定である。符号化のときに、アーチファクトはブロック境界で発生し、例えばブロック化の場合に、これらのブロック化アーチファクトは、左及び右画像中の同じ１つの位置において認識される。結果として、符号化ノイズは、ゼロ視差において、すなわちスクリーン深さにおいて、認識される。左と右との間のベースライン・シフトが適用されるときに、汚れたウィンドウは平行して移動するが、認識できるままである。
【００１７】
実際に、そのようなアーチファクトは、観察者にとって、汚れたウィンドウを通してシーンを見ているように見える。共同符号化方法が用いられる場合、符号化ノイズは本質的に相関している。残念なことに、汚れたウィンドウ効果に気が付くと、それを見るようになり、それによって気が散らされることになる。
【００１８】
上記で説明されるように、汚れたウィンドウ問題は、左ビューと右ビューとの間の相関する符号化ノイズから生じる。したがって、この問題を解決するための手段は、符号化側で相関を回避する若しくは低減するか、又は、復号化側で相関する符号化ノイズの相関を失わせること含む。下記の実施の形態において説明されるように、両方のビュー中の3Dノイズを低減する又は相関を失わせるためのさまざまな態様が存在する。
【００１９】
実施の形態において、本方法は、ビデオ・データのブロックに基づく変換規則及び前記ブロックのための符号化パラメータに従って3Dビデオ・データを符号化するステップ、並びに、少なくとも１つの各ブロックに対して予想される視覚的乱れの少なくとも１つの量を決定するステップを有し、前記処理するステップは、それぞれのブロックに対して決定された量に依存してそれぞれのブロックのための符号化パラメータを調節することを含む。
【００２０】
実施の形態において、装置は、ビデオ・データのブロックに基づく変換規則及び前記ブロックのための符号化パラメータに従って3Dビデオ・データを符号化するための符号器を含み、ビデオ・プロセッサは、少なくとも１つの各ブロックに対して予想される視覚的乱れの少なくとも１つの量を決定し、前記処理において、それぞれのブロックに対して決定された量に依存してそれぞれのブロックのための符号化パラメータを調節するように用意される。
【００２１】
効果は、符号化が、表示の間に予想される視覚的乱れの量に依存して制御されることである。予想される3Dノイズの量及び視認性は、ブロック中の3Dビデオ・データのコンテンツに基づく場合がある（例えば、複雑な画像及び/又は多くの運動若しくは深さ差異）。そのようなブロックでは、いかなる符号化ノイズも認識しにくい。一方、比較的不活発なシーンでは、符号化ノイズは、より不快の原因となる場合がある。同様に、それぞれのブロック中の深さが大きい(すなわち汚れたウィンドウの背後の空間が大きい)場合、その背後に大きい空間を有する汚れたウィンドウの高い視認性に起因して、視覚的乱れの量は多い。続いて、量が多い場合、符号化パラメータは、そのようなブロック中の符号化ノイズを低減するように調節されることができ、それによって、例えば利用可能なビットレートを局所的に増加させることによって、前記相関を低減する。長所として、ビットレート全体がより効率的に用いられることができつつ、汚れたウィンドウ効果を、それが最も認識できるブロック中で低減する。
【００２２】
実施の形態において、本方法は、3Dビデオ・データを復号するステップを含み、前記処理するステップは、前記復号の後、前記相関を低減するためにビューのうちの少なくとも１つにディザリング・ノイズを追加することを含む。
【００２３】
実施の形態において、装置は、3Dビデオ・データを復号するための復号器を含み、ビデオ・プロセッサは、前記復号の後、前記相関を低減するためにビューのうちの少なくとも１つにディザリング・ノイズを追加するように用意される。
【００２４】
ディザリング・ノイズは、表示の間に予想される視覚的乱れの量に基づいて追加される。効果は、ノイズの合計量が幾分増加するものの、相関が低減されることである。ディザリング・ノイズは、左及び/又は右ビューに追加されることができる。実験は、左又は右ビューにディザリング・ノイズを追加することは、符号化ノイズの相関を失わせるために十分であり、最良の画像品質を与えることを示した。
【００２５】
実施の形態において、ビデオ・プロセッサは、前記復号の後、視聴者の非優位眼に対するビューにのみディザリング・ノイズを追加するように用意される。本発明者らは、実際に知覚されるノイズは、ノイズが追加される特定のビューに依存することを示した。ディザリング・ノイズは、大部分の人々にとっては左眼である非優位眼に最もよく適用されることができると思われる。実際には、装置は、どちらの眼が優位であるかを決定するために、ユーザ設定及び/又はテスト・モードを有することができる。
【００２６】
方法の実施の形態において、本方法は、少なくとも１つの量を示す3Dノイズ・メタデータを生成することを含み、転送するステップは、3Dビデオ装置に転送して、そこでの符号化ノイズの前記相関を低減するための3Dノイズ・メタデータに従う処理を可能にするために、3Dビデオ信号に3Dノイズ・メタデータを含めることを含む。効果は、レンダリング側で用いられるべき更なる3Dノイズ・メタデータがソースにおいて生成されることである。例えば、ノイズ・メタデータは、符号化情報(例えば符号化に用いられる量子化ステップ)に基づく。3Dノイズ・メタデータは復号化側へ転送され、そこでそれは、符号化ノイズの前記相関を低減するために3Dノイズ・メタデータに従って3Dビデオ・データを処理するために適用される。例えば、3Dノイズ・メタデータが画像のブロック中のノイズ・レベルを示すとき、各々のブロックに対する復号の間に追加されるディザリング・ノイズの量が、ノイズ・メタデータに基づいて決定される。有利には、符号化ノイズの予想される発生のデータは、3Dビデオ・データの転送元、すなわち一度だけ十分な処理リソースが利用可能であるところにおいて生成される。結果的に、復号器側における(例えば消費者施設における)処理は、比較的安価であることができる。
【００２７】
方法の実施の形態において、本方法は、少なくとも１つの量を示す3Dノイズ・メタデータを3Dビデオ信号から読み出すことを含み、処理のステップは、符号化ノイズの前記相関を低減するために3Dノイズ・メタデータに従って3Dビデオ・データを処理することを含む。
【００２８】
実施の形態において、ビデオ・プロセッサは、少なくとも１つの量を示す3Dノイズ・メタデータを3Dビデオ信号から読み出し、前記相関を低減するために3Dノイズ・メタデータに依存して3Dビデオ・データを処理することによる前記処理のために用意される。更なる実施の形態において、装置は、ビデオ・データのブロックに基づく変換規則及び前記ブロックのための復号化パラメータに従って3Dビデオ・データを復号するように用意される復号器を含み、ビデオ・プロセッサは、前記相関を低減するために3Dノイズ・メタデータに依存してブロックのうちの少なくとも１つにディザリング・ノイズを追加するように用意される。
【００２９】
効果は、上述のように生成された3Dノイズ・メタデータが、3Dビデオ信号と共に受信され、続いて読み出されて、前記相関を低減するために3Dビデオ・データの処理を制御するために用いられることである。有利には、予想される乱れの量は、オフラインで、すなわち転送元側で決定される。更なる実施の形態において、ディザリング・ノイズの量は、3Dノイズ・メタデータに依存してそれぞれのブロックに対して制御され、それによって、視覚的乱れを、それらが最も迷惑となる画像の部分において低減する。
【００３０】
実施の形態において、3Dビデオ信号が記録担体中に含まれ、例えば、トラック中の光学的に読み取り可能なマークのパターンとして埋め込まれる。効果は、利用可能なデータ記憶空間がより効率的に用いられることである。
【００３１】
本発明による方法、3D装置及び信号の更なる好ましい実施の形態は、従属請求項において与えられ、その開示は本明細書に参照によって組み込まれる。
【００３２】
本発明のこれらの及び他の態様は、添付の図面を参照して以下の記載において一例として説明される実施の形態から明らかであり、それらを参照してさらに説明される。
【図面の簡単な説明】
【００３３】
【図１】ビデオ、グラフィクス又は他の視覚的情報のような3D画像データを表示するためのシステムにおける3Dビデオ・データを処理するための装置を示す図。
【図２】ビュー間の相関を低減するための3Dビデオ・プロセッサを示す図。
【図３】プライベート・ユーザー・データSEIメッセージにおける3Dノイズ・メタデータを示す図。
【図４】3Dビデオ信号中の3Dノイズ・メタデータのためのデータ構造を示す図。
【図５】3Dビデオ・データを示す図。
【図６】3Dノイズを含む3Dビデオ・データを示す図。
【図７Ａ】3Dノイズを含む3Dビデオ・データの詳細を示す図。
【図７Ｂ】3Dノイズを含む3Dビデオ・データの詳細を示す図。
【図７Ｃ】3Dノイズを含む3Dビデオ・データの詳細を示す図。
【図７Ｄ】3Dノイズを含む3Dビデオ・データの詳細を示す図。
【図８】3Dノイズの概略例を示す図。
【発明を実施するための形態】
【００３４】
図において、すでに説明された要素に対応する要素は同じ参照符号を有する。
【００３５】
本発明は、観察者のそれぞれの左及び右眼のための複数の画像(ビュー)に基づく任意のタイプの3Dビデオ・データのために用いられることができることに留意すべきである。3Dビデオ・データは、電子的な、デジタル的に符号化されたデータとして利用可能であると仮定される。本発明は、そのような画像データ及びデジタル・ドメインにおける画像データの処理に関する。
【００３６】
3Dビデオ・フォーマットと呼ばれる3Dビデオ・データがフォーマットされて転送されることができる多くの異なる態様が存在する。いくつかのフォーマットは、同様にステレオ情報を伝達するために2Dチャネルを用いることに基づく。例えば、左及び右ビューは、インターレースされることができるか、又は、サイド・バイ・サイド及び上下に配置されることができる。これらの方法は、ステレオ情報を伝達するために解像度を犠牲にする。
【００３７】
図1は、ビデオ、グラフィクス又は他の視覚的情報のような三次元(3D)画像データを表示するためのシステムにおける3Dビデオ・データを処理するための装置を示す。3Dソースと呼ばれる第１の3Dビデオ装置40は、3Dビデオ信号41を、3D表示信号56を転送するために3D表示装置60に接続される3Dプレーヤーと呼ばれる更なる3Dビデオ装置50へ提供して転送する。
【００３８】
図1は、3Dビデオ信号のキャリアとして、記録担体54をよりさらに示す。記録担体は、ディスク形状であり、トラック及び中央ホールを有する。物理的に検出可能なマークのパターンによって構成されるトラックは、１つ以上の情報レイヤ上の実質的に平行な軌道を構成するターンの螺旋又は同心のパターンに従って配置される。記録担体は光学的に読み取り可能であり、光学ディスク(例えばCD、DVD又はBD(ブルーレイ・ディスク))と呼ばれる。情報は、トラックに沿った光学的に検出可能なマーク(例えばピット及びランド)によって情報レイヤに表現される。トラック構造は、同様に、情報のユニット(通常は情報ブロックと呼ばれる)の位置を示すための位置情報(例えばヘッダ及びアドレス)を含む。記録担体54は、DVD又はBDフォーマットのような事前に決められた記録フォーマットにおいて、例えばMPEG2又はMPEG4符号化システムに従って符号化される、ビデオのようなデジタル的に符号化された3D画像データを表す情報を伝達する。
【００３９】
3Dソースは、入力ユニット47を介して受信される3Dビデオ・データを処理するための処理ユニット42を有する。入力3Dビデオ・データ43は、記憶システム、録音スタジオから、3Dカメラなどから、利用可能である。ビデオ・プロセッサ42は、3Dビデオ・データを含む3Dビデオ信号41を生成する。ソースは、ビデオ・プロセッサから出力ユニット46を介して、そして更なる3Dビデオ装置へと、3Dビデオ信号を転送するように、又は、例えば記録担体を介した配信のために3Dビデオ信号を提供するために用意されることができる。3Dビデオ信号は、例えば、符号器48を介して3Dビデオ・データを符号化して事前に決められたフォーマットに従ってフォーマットすることによって、入力3Dビデオ・データ43を処理することに基づく。
【００４０】
3Dビデオ・データを処理するプロセッサ42は、前記ビュー間の符号化ノイズの相関に起因する3Dディスプレイ上で3Dビデオ・データを表示する間に予想される視覚的乱れの量を決定するように用意され、符号化ノイズの前記相関を低減するために決定された量に依存して3Dビデオ・データを処理することを可能にする。プロセッサは、表示されるときに3Dビデオ・データ中に発生する乱れを示す3Dノイズ・メタデータを決定するために、そして、3Dビデオ信号中に3Dノイズ・メタデータを含めるように用意されることができる。処理の実施の形態は、以下でさらに詳細に説明される。
【００４１】
3Dソースは、サーバ、放送装置、記録装置、又は、ブルーレイ・ディスクのような光学記録担体を製造するためのオーサリング及び/若しくは製造システムであることができる。ブルーレイ・ディスクは、ビデオを配信するためのインタラクティブ・プラットホームをコンテンツ作成者に提供する。ブルーレイ・ディスク・フォーマットに関する情報は、視聴覚アプリケーション・フォーマットに関する文書として、ブルーレイ・ディスク協会のウェブサイトから利用可能である（例えば、http://www.blu-raydisc.com/Assets/Downloadablefile/2b_bdrom_audiovisualapplication_0305-12955-15269.pdf）光学記録担体の製造プロセスは、3Dノイズ・メタデータを含むことができる3Dビデオ信号を実現するパターンであるトラックにおけるマークの物理的パターンを提供するステップ、続いて少なくとも１つの記憶レイヤ上にマークの軌道を提供するパターンに従って記録担体の材料を成形するステップを更に備える。
【００４２】
3Dプレーヤー装置は、3Dビデオ信号41を受信するための入力ユニット51を有する。例えば、装置は、DVD又はブルーレイ・ディスクのような光学記録担体54から3Dビデオ情報を読み出すための入力ユニットに接続される光学ディスク・ユニット58を含むことができる。あるいは(又は追加的に)、3Dプレーヤー装置は、ネットワーク45(例えばインターネット又は放送ネットワーク)に接続するためのネットワーク・インタフェース装置59を含むことができ、そのような装置は、通常、セットトップボックスと呼ばれる。3Dビデオ信号は、3Dソース40によって示されるような、遠隔ウェブサイト又はメディア・サーバから読み出されることができる。3Dプレーヤーは、衛星受信機又はメディア・プレーヤーであることもできる。
【００４３】
3Dプレーヤー装置は、表示装置に出力インタフェース・ユニット55を介して転送される3D表示信号56（例えばHDMI規格に従う表示信号）を生成するために3D情報を処理するための入力ユニット51に接続される処理ユニット52を有する（http://hdmi.org/manufacturer/specification.aspxにおいて入手可能な"High Definition Multimedia Interface; Specification Version 1.3a of Nov 10 2006"参照）。処理ユニット52は、表示装置60上での表示のための3D表示信号56中に含まれる画像データを生成するように用意される。
【００４４】
プレーヤー装置は、表示されるときに3Dビデオ・データ中に発生する乱れを示す3Dノイズ・メタデータを決定するように用意される3Dビデオ・データを処理するための更なる処理ユニット53を有することができる。更なる処理ユニット53は、3Dビデオ信号から3Dノイズ・メタデータを読み出すために入力ユニット51に接続されることができ、以下に記載するように3Dビデオの処理を制御するための処理ユニット52に接続される。3Dノイズ・メタデータは、別のチャネルを介して取得されることもでき、又は、3Dビデオ・データを処理することに基づいて局所的に生成されることができる。
【００４５】
3D表示装置60は、3D画像データを表示するための装置である。装置は、3Dプレーヤー50から転送される3Dビデオ・データを含む3D表示信号56を受信するための入力インタフェース・ユニット61を有する。転送された3Dビデオ・データは、3Dディスプレイ63(例えばデュアル又はレンチキュラLCD)で表示するために処理ユニット62において処理される。表示装置60は、任意のタイプの立体視ディスプレイであることができ、3Dディスプレイとも呼ばれ、矢印64によって示される表示深さ範囲を有する。
【００４６】
3Dビデオ装置中のビデオ・プロセッサ(すなわち、3Dビデオ装置50中のプロセッサユニット52,53)は、3Dディスプレイに表示する間の視覚的乱れを回避するために3Dビデオ信号を処理するための以下の機能を実行するように用意される。3Dビデオ信号は、入力手段51,58,59によって受信される。3Dビデオ信号は、デジタル的に符号化された、圧縮されたフォーマットで、3Dビデオ・データを含む。3Dビデオ信号は、少なくとも、3D効果を生じさせるために観察者のそれぞれの眼に対して表示される左ビュー及び右ビューを含む3Dビデオ・データを表す。ビデオ・プロセッサは、前記ビュー間の符号化ノイズの相関に起因する3Dディスプレイ上で3Dビデオ・データを表示する間に予想される視覚的乱れの量を決定するように用意されることができる。ビデオ・プロセッサは、符号化ノイズの前記相関を低減するために前記量に依存して3Dビデオ・データを処理するように用意される。前記相関を低減する又は回避するためのさまざまな技術が以下で議論される。前記量は、同様にプレーヤーにおいて観察者により又はソースにおいて作成者により事前設定されるか、(例えば特定のチャネル又はメディア・ソースに対して)前もって決定されるか、(例えば媒体又はデータ・チャネルの合計ビットレートに基づいて)推定されるか、あるいは、(例えば、圧縮レートが常に低いローエンド・アプリケーションにおいて)一定であることができる。最後に、処理された3Dビデオ・データは、3Dディスプレイで表示するために処理された3Dビデオ・データを転送するための出力インタフェース・ユニット55のような転送手段に接続される。
【００４７】
実施の形態において、前記量は、3Dビデオ信号の圧縮レート、ビットレート及び/又は解像度に基づいて導き出される。例えば、量子化レベルがモニタリングされることができる(Q-モニタリング)。より基本的な実施の形態において、前記量を決定することは、予め定められた閾値ビットレートに基づくか又はユーザ設定に基づくことができる。さらに、前記量は、ビデオ・コンテンツに依存して、例えば画像の複雑度及び/又は運動若しくは深さ差異の量に依存して、3Dノイズの視認性を計算することに基づいて決定されることができる。深さは、視差推定(この目的のためにはかなり粗くてもよい)から、又は、(利用可能な場合)深さマップから、導き出されることができる。複雑な画像では、いかなる符号化ノイズも認識しにくい。一方、比較的不活発なシーンでは、符号化ノイズは、より迷惑でありえる。同様に、画像中の深さが大きい場合(すなわち、いわゆる汚れたウィンドウの背後に多くの空間がある場合)、視覚的乱れの量は、その背後に多くの空間を有する汚れたウィンドウの高い視認性に起因して高い。実際、画像中のテクスチャの複雑度は、ビデオ信号中の高周波数成分から導き出されることができ、画像又はその領域若しくはブロック中の(平均)深さは、視差推定値又は他の深さパラメータに基づいてモニタリングされることができる。更に、量は、画像全体に対して、又は、多少の領域に対して(例えば、より大きい深さを有する上のセクションに対応するための上下のセクション)、又は、(予め定められた、若しくは、3Dノイズの予想される視認性に従って画像を再分割することに基づいて動的に割り当てられる)より多数のブロックに対して、決定されることができる。さらに、前記量を示す非相関化パターンが、符号器によって、又は、符号化された信号の特性に基づいて提供されることができ、そのパターンは、復号化の間か後に、非相関化の方法及び/又は量を制御するために使用されることができる。
【００４８】
２つの画像間の相関を低減することは、符号化、復号化の間又は画像を復号した後に、さまざまな態様で実行されることができる。このように、相関を制御するためのさまざまな技術が、ビデオ処理の分野において知られている。符号化の間、符号化パラメータは、２つのビュー間のアーチファクト及びノイズの相関を低減するために調節されることができる。例えば、量子化が一時的に若しくは局所的に制御されることができ、及び/又は、ビットレート全体が変更されることができる。復号化の間、さまざまなフィルタリング技術が適用されることができるか、又は、パラメータが調節されることができる。例えば、ブロック・ベースの圧縮スキームに起因して発生しているアーチファクトを低減するために、非ブロック化フィルタが、挿入及び/又は調節されることができる。非ブロック化又は更なるフィルタリングは、従属して符号化されたビューのためにのみ、又は、従属して符号化されたビューに対しては異なって、実行されることができる。
【００４９】
実施の形態において、符号化ノイズの前記相関を低減するために決定される量に依存して3Dビデオ・データを処理することは、量に基づいて相関を制御するために上述の技術を調節することによって実行される。例えば、量は、それぞれの3Dビデオ・ソース又は3Dビデオ・プログラムに対して一定の設定であることができる。一定の設定は、個人的な好みに基づいてユーザによって入力されるか又は調節されることができる（例えば、特定のビデオ・ソース、ビデオ・プログラム、TVチャネル、記録担体の型式に対する「3Dノイズを低減する」ための設定、又は、3Dビデオ処理装置に対する一般的な設定）。量は、例えば3Dビデオ・データの合計ビットレート、品質及び/又は解像度に基づいて、動的に決定されることもできる。
【００５０】
実施の形態において、3Dビデオ装置はソース装置40であり、ビデオ・データのブロック及び前記ブロックの符号化パラメータに基づいて変換規則に従って3Dビデオ・データを符号化するためのプロセッサユニット42中の符号器を含む。一般的に言って、圧縮は、可逆技術及び不可逆技術を用いて実行されることができる。可逆技術は、一般的にエントロピー符号化に依存する。しかしながら、可逆圧縮のみによって可能な圧縮利得は、ソース信号のエントロピーに依存する。結果として、達成可能な圧縮比は、一般的に、消費者向けアプリケーションにとっては不十分である。その結果、入力ビデオ・ストリームが分析され、観察者によって知覚される情報損失が最小限に保たれるように情報が符号化される、すなわち、いわゆる知覚に基づく符号化を用いる不可逆圧縮技術が開発された。
【００５１】
最も一般的なビデオ圧縮スキームは、可逆符号化及び不可逆符号化の混合を含む。そのようなスキームの多くは、それぞれ信号分析、量子化及び可変長符号化ステップを含む。離散的コサイン変換(DCT)、ベクトル量子化(VQ)、フラクタル圧縮から、離散的ウェーブレット変換(DWT)に及ぶ、さまざまな圧縮技術が適用されることができる。
【００５２】
一定の間隔で画像をサンプリングして、サンプル中に存在する周波数成分を分析して、人間の目が知覚する画像に影響を及ぼさない周波数を破棄する離散的コサイン変換に基づく圧縮は、不可逆圧縮アルゴリズムである。DCTに基づく圧縮は、JPEG、MPEG、H.261及びH.263のような規格の基礎を形成する。
【００５３】
ビデオ・プロセッサ42は、少なくとも１つのそれぞれのブロックに対して予想される視覚的乱れの少なくとも１つの量を決定することによって視覚的乱れの量を決定するように用意される。3Dノイズは、使用される圧縮タイプ(例えば3D画像中のブロックに対して実行されるDCT)に起因するアーチファクトによって引き起こされる場合がある。続いて、前記処理において、ビデオ・プロセッサは、それぞれのブロックに対して決定された量に依存してそれぞれのブロック又は領域のための符号化パラメータを調節する。例えば、ブロックに対して大きい量が決定されるとき、量子化が調節される。代わりとして又は追加的に、同じ位置でアーチファクトが発生することを回避するために動的に変化するオフセットと共にブロックのような符号化グリッドが用いられことができる。さらに、制御可能な非ブロック化フィルタが、符号器において用いられることができる。冒頭の部分において説明されたように、依存的な右ビューの符号化は、独立に符号化された左ビューに基づくことができる。3D画像データの特定の画像又は期間に対して大きい量が決定されるときに、例えば、前記Joint Prediction Schemeにおいて他のビューに依存するP画像の代わりにI画像を用いる、より依存的でない符号化モードが一時的に設定されることができる。
【００５４】
実施の形態において、ビューのうちの少なくとも１つは、両方のビューに共通する背景に依存して、符号化において使用されるグリッドに対して符号化の前にシフトされる。両方のビュー中のグリッドが背景に対して実質的に同じ位置を有するまで、一方又は両方のビューがシフトパラメータによって水平方向にシフトされる。復号化の後、シフトパラメータによるビューの相補的な逆方向シフトが適用される必要がある。シフトパラメータは、例えば下記の図3及び4を参照して説明される3Dノイズ・メタデータとして、3Dビデオ信号と共に転送されることができる。事実上、3Dノイズは、ここでは背景の深さ位置へ移動されて、したがって、観察者に対する妨害が少ない。シフトは、フレームごとに、あるいは、GOP（group of picture）に対して、キー・フレーム間のビデオの断片に対して、シーンに対して、又は、ビデオ・プログラムのより大きいセクションに対して、決定されることができる。シフトは、さらに、3Dノイズをスクリーン後方の大きい距離(例えば無限遠)に常に移動させる値に予め設定されることができる。
【００５５】
予想される3Dノイズの量及び視認性は、ブロック中の3Dビデオ・データのコンテンツ、例えば複雑な画像コンテンツ及び/又は多くの運動若しくは深さ差異にさらに基づく可能性がある。そのようなブロックでは、あらゆる符号化ノイズは認識しにくい。他方、比較的不活発なシーンでは、符号化ノイズは、より眼障りありえる。さらに、それぞれのブロック中の深さが大きい(すなわち汚れたウィンドウの背後に多くの空間がある)場合、その背後に多くの空間を有する汚れたウィンドウの高い視認性に起因して、視覚的乱れの量は大きい。続いて、量が大きい場合、符号化パラメータはそのようなブロック中の符号化ノイズを低減するために調節されることができ、それによって、例えば利用可能なビットレートを局所的に増加させることにより前記相関を低減する。 
【００５６】
実施の形態において、3Dビデオ装置はプレーヤー装置50であり、そして、ビデオ・プロセッサ52は3Dビデオ・データを復号するための復号器を含む。ビデオ・プロセッサ52は、前記復号化の後、前記相関を低減するためにビューのうちの少なくとも１つにディザリング・ノイズを追加するように用意される。
【００５７】
図2は、ビュー間の相関を低減するための3Dビデオ・プロセッサを示す。入力26は、復号器21への3Dビデオ信号を提供し、復号器は左ビューL及び右ビューRを生成する。復号器21に接続される検出器22は、例えば復号器からの3Dビデオ信号の復号化パラメータに基づいて、予想される視覚的乱れの前記量を決定するように用意される。検出器は、ビューに追加されるべきディザリング・ノイズの量を制御可能に生成するためのディザリング・ノイズ生成器23に接続される。ノイズは、処理されたビデオ・データ左ビューL'を生成するために、加算器24によってビューLに追加される。ノイズは、処理されたビデオ・データ左ビューR'を生成するために、加算器25によってビューRに追加される。ディザリング・ノイズは、左ビューL及び/又は右ビューRに追加されることができる。実験は、左又は右ビューにディザリング・ノイズを追加することは、符号化ノイズの相関を失わせるために十分であり、最善の画像品質を与えることを示した。
【００５８】
表示の間に予想される視覚的乱れの予め設定された又は予め定められた量に基づいて、検出器22によって制御されるディザリング・ノイズの量は一定であることができる。量は、上述の符号器側において前記決定することと同様に、画像全体に対して、画像のセクションに対して又はブロックに対してのいずれかで、動的に決定されることもできる。ディザリング・ノイズは、決定した量に基づいて画像の領域のそれぞれの期間に、同様に追加されることができる。
【００５９】
3Dビデオ装置の更なる実施の形態において、ビデオ・プロセッサは、前記復号化の後、観察者の非優位眼のためのビューにのみディザリング・ノイズを追加するように用意される。ディザリング・ノイズは大部分の人にとっては左眼である非優位眼に最もよく適用されることができる。実際には、装置は、どちらのビューにディザリング・ノイズが追加されるべきかを観察者が制御することを可能にするためにどちらの眼が優位であるかを決定するためのユーザ設定及び/又はテスト・モードを有することができる。なお、実施の形態において、いくつかのディザリング・ノイズ及び/又は更なる非ブロック化は、例えば左ビューに、常に適用される。そのような実施の形態において、3Dノイズの量は、特定のシステム又はアプリケーションに対して一度確立され、そして、ディザリング及び/又はフィルタリングは、前記確立された量に依存して予め設定される。
【００６０】
実施の形態において、3Dビデオ装置はソース40であり、そして、ビデオ・プロセッサ42は、表示の間に予想される視覚的乱れの量を決定するために、決定される少なくとも１つの量を示す3Dノイズ・メタデータを生成する機能を備える。3Dノイズ・メタデータは、例えばオーサリング・システム若しくは後処理機能において別途決定されるか、及び/又は、3Dプレーヤーへ別途転送されることもできる。視覚的乱れの前記量は、例えば、符号化の間に用いられた量子化ステップのような符号化情報に基づいて、上述のように決定されることができる。さらに、符号化の間に使用される任意のプレフィルタリング又は重みづけテーブルのような更なる符号化パラメータが3Dノイズ・メタデータ中に含まれることができる。転送の処理は、3Dビデオ装置に転送してそこで符号化ノイズの前記相関を低減するための3Dノイズ・メタデータに従った処理を可能にするために、3Dビデオ信号中に3Dノイズ・メタデータを含めることができる。
【００６１】
3Dノイズ・メタデータの更なる拡張は、ビデオ・フレーム中にいくつかの領域を定めること、及び、特にその領域に3Dノイズ・メタデータ値を割り当てることである。実施の形態において、領域を選択することは、以下のように実行される。表示領域が複数の領域に細分される。3Dノイズ・メタデータの検出が領域ごとに実行される。例えば、フレーム領域は、２つ以上の領域(例えば水平ストライプ)に分割され、そして領域ごとに、3Dノイズ比値がストリームに追加される。これは、同様に領域に依存して、復号器が処理する（例えばディザリング・ノイズを追加する）自由度を与える。
【００６２】
3Dノイズ・メタデータは、領域に依存する空間フィルタ関数に従って複数の領域の3Dノイズ値を空間的にフィルタリングすることに基づくことができる。例において、表示領域は、符号化スキームに従ってブロックに分割される。各々のブロックにおいて、予想される3Dノイズは別々に計算される。
【００６３】
実施の形態において、3D効果を生じさせるために観察者のそれぞれの眼に対して表示される左ビュー及び右ビューを少なくとも含む3Dビデオ・データを有する3Dビデオ信号は、前記ビュー間の符号化ノイズの相関に起因する3Dディスプレイ上で3Dビデオ・データを表示する間に予想される視覚的乱れの少なくとも１つの量を示す3Dノイズ・メタデータを更に含む。一般に、信号は、3Dビデオ・データを3Dビデオ装置へ転送して、そこで、符号化ノイズの前記相関を低減するために3Dノイズ・メタデータに従って3Dビデオ・データを処理することを可能にするために提供される。実際には、3Dノイズ・メタデータを伝達する3Dビデオ信号は、任意の適切な媒体を介して、例えばTV送信若しくは衛星を介した放送、又は光学ディスクのような記録担体上で、観察者に配信される。それゆえに、記録担体54は、3Dノイズ・メタデータを含む上記の3Dビデオ信号を含む。
【００６４】
実施の形態において、3Dビデオ装置は3Dプレーヤー50であり、ビデオ・プロセッサ53は、3Dビデオ信号から3Dノイズ・メタデータを読み出すことによって視覚的乱れの量を決定するように用意される。3Dノイズ・メタデータは、視覚的乱れの前記少なくとも１つの量を示す。3Dビデオ・プロセッサ52は、前記相関を低減するために3Dノイズ・メタデータに依存して3Dビデオ・データを処理することによって前記処理を調節するように制御される。
【００６５】
あるいは3Dプレーヤー50において相関を低減する代わりに、前記処理は、表示装置60の実施の形態において実行される。3Dビデオ・データ及びオプションとして3Dノイズ・メタデータは、例えばHDMI規格に従って、表示信号56を介して転送される。処理ユニット62は、ここでは、3Dディスプレイ上での3Dビデオ・データの相関を失わせるための上記の機能のいずれかを実行する。それゆえに、処理手段62は、プレーヤー装置における処理手段52, 53のために説明されたような対応する機能のために用意されることができる。更なる実施の形態において、3Dプレーヤー装置及び3Dディスプレイ装置は、１つの装置に一体化される。
【００６６】
上述のように、3Dノイズ・メタデータは、3Dビデオ信号中に含まれることができる。一実施例において、3Dノイズ・メタデータは、MPEG4のような事前に決められた規格伝送フォーマットによるユーザーデータ・メッセージ中に含まれる（例えばH.264符号化ストリームのシグナリング基本ストリーム情報[SEI]メッセージ）。この方法は、H.264/AVC符号化規格に依存する全てのシステムと互換性があるという利点を有する（例えば、ITU-T H.264 及び ISO/IEC MPEG-4 AVC, すなわち、ISO/IEC 14496-10 規格参照）。新たな符号器/復号器は新たなSEIメッセージを実施することができるが、既存の装置はそれらを単に無視する。
【００６７】
図3は、プライベート・ユーザー・データSEIメッセージ中の3Dノイズ・メタデータを示す。3Dビデオ・ストリーム31が概略的に示される。ストリーム中の１つの要素は、復号器にストリームのパラメータを示すシグナリング、いわゆるシグナリング基本ストリーム情報[SEI]メッセージ32である。より具体的には、3Dノイズ・メタデータ33は、ユーザーデータ・コンテナ中に記憶されることができる。3Dノイズ・メタデータは、ノイズ値、信号対雑音比値又は3Dノイズ情報の任意の他の表現の絶対量を含むことができる。
【００６８】
図4は、3Dビデオ信号における3Dノイズ・メタデータのためのデータ構造を示す。例えば、ビデオ信号は、ブルーレイ・ディスクのような事前に決められた3Dフォーマットに従って記録担体に提供されることができる。図に示されるテーブルは、ビデオ・ストリーム中のそれぞれの制御データパケットの文法を定める（特に、共に符号化されるGroup Of Picture(GOP)中の個々の表示ピクチャのための3Dノイズ・メタデータを定めるGOP_structure_map()）。データ構造は、3Dノイズ・メタデータ35のためのフィールドを定める。フィールドは、3Dノイズ量若しくは比、又は、符号化グリッド及び/若しくはフィルタリングを示す復号化制御パラメータのような他の3Dノイズ関連パラメータを含むことができる。構造は、上述のようなより詳細な3Dノイズ・メタデータを提供するために、さらに拡張されることができる（例えば、表示ピクチャ中の領域又はブロックに対して、ある期間の3Dノイズ・メタデータを提供する）。
【００６９】
図5は、3Dビデオ・データを示す。図は、圧縮されていない高品質の3Dビデオ信号の左ビュー71及び右ビュー72を示す。
【００７０】
図6は、3Dノイズがある3Dビデオ・データを示す。図は、図5に示されるビデオ・データから導き出される左ビュー81及び右ビュー82を示す。これらのビューは、ソース側における比較的強力な圧縮によって3Dビデオ・データを最初に符号化した後に生成され、3Dビデオ信号を介して転送し、プレーヤー側における展開によって復号する。ここでさまざまなアーチファクトが認識できる（例えば、左ビュー及び右ビューの両方における白いスポット83、両方のビューにおいて同じであるグリッドにおける境界84を有するブロック化効果）。さまざまなアーチファクトは、両方のビューにおいて実質的に同じ位置で発生し、したがって、通常はスクリーン深さである3D観察者によって知覚される特定の深さ位置を有する。アーチファクトはその深さにおいて「空中に浮かび」、そして事実上いわゆる汚れたウィンドウを形成する。
【００７１】
図7Aは、図6の左ビューのグリッド84において境界を有するブロック化効果のクローズアップを示し、図7Bは、図6の右ビューのグリッド84において境界を有するブロック化効果のクローズアップを示す。同様に、図7Cは、図6の左ビュー中の白いスポット83のクローズアップを示し、図7Dは、図6の右ビュー中の白いスポット83のクローズアップを示す。
【００７２】
図8は、3Dノイズの概略例を示す。図は、山、住宅及び太陽があるシーンの左ビュー91及び右ビュー92を示す。上述のようなDCTブロック・グリッド構造を表すグリッドが示される。背景に対して左へのLビューに対するRビュー中のオブジェクトのシフトは、オブジェクトが飛び出ること、例えば住宅が山の前にあることを意味する。太陽は右にシフトされて、スクリーン後方の無限遠において知覚される。Lビュー及びRビューの中で同じ位置にあるどんなものもスクリーン深さを有する。２つの符号化アーチファクト93, 94は、左ビュー及び右ビューの両方において認識される。第１のアーチファクト93はグリッド中に一致し、両方のビュー中の同じ位置にあり、それゆえに背景の山の前でスクリーン深さに浮かぶ。第２のアーチファクト94もスクリーン深さに浮かぶ。なお、例において、住宅はスクリーンの前に飛び出る。それゆえに、第２のアーチファクトは住宅の後ろにあるように見える。さらに邪魔なことに、そのようなアーチファクトが住宅の領域と一致する場合、それは住宅の前に見えるがその後ろの深さを持つように見えて、すなわち、住宅に穴があるように見える。
【００７３】
いうまでもなく、明確性のための前記説明は、異なる機能ユニット及びプロセッサを参照して本発明の実施の形態を説明した。しかしながら、異なる機能ユニット又はプロセッサ間での機能の任意の適切な分布が本発明を損なわずに用いられることができることは明らかである。例えば、別のユニット、プロセッサ又はコントローラによって実行されると説明された機能は、同じプロセッサ又は制御装置によって実行されることができる。したがって、特定の機能ユニットに対する参照は、のみ厳密な論理的又は物理的構造又は機構を示すのではなく、説明された機能を提供するための適切な手段に対する参照としてのみ理解されるべきである。
【００７４】
本発明は、ハードウェア、ソフトウェア、ファームウェア又はこれらの任意の組み合わせを含む任意の適切な形態で実施されることができる。上記において、大部分の実施の形態が装置として与えられたが、同じ機能が対応する方法によって提供される。そのような方法は、オプションとして、１つ以上のデータプロセッサ及び/又はデジタルシグナルプロセッサ上で動作するコンピュータソフトウェアとして少なくとも部分的に実施されることができる。本発明の実施の形態の要素及びコンポーネントは、任意の適切な態様において、物理的に、機能的に、そして論理的に実施されることができる。実際、機能は、１つのユニットにおいて、複数のユニットにおいて又は他の機能ユニットの一部として、実施されることができる。このように、本発明は、一つのユニットにおいて実施されることができるか又は異なるユニット及びプロセッサ間で物理的に及び機能的に分配されることができる。
【００７５】
本発明は、いくつかの実施の形態に関連して説明されたが、本明細書において述べられる特定の形態に制限されることは意図されない。むしろ、本発明の範囲は、添付の請求項によってのみ制限される。加えて、ある特徴が特定の実施の形態に関連して説明されたと思われるかもしれないが、説明された実施の形態のさまざまな特徴は本発明に従って組み合わせられることができることを当業者は認識する。請求の範囲において、「有する」「含む」等の用語は、他の要素又はステップの存在を除外しない。
【００７６】
さらに、個別にリストされるが、複数の手段、要素又は方法ステップは、例えば１つのユニット又はプロセッサによって実施されることができる。また、個々の特徴が異なる請求項中に含まれる場合があるが、これらは、あるいは都合よく組み合わせられることができ、異なる請求項中に含まれることは、特徴の組み合わせが可能ではないこと及び/又は有利ではないことを意味しない。同様に、請求項の１つのカテゴリに特徴が含まれることは、このカテゴリへの制限を意味せず、特徴が他の請求項カテゴリにも同様に適切に適用可能であることを示す。さらに、請求項中の特徴の順序は、特徴が機能すべきいかなる特定の順序も意味せず、特に、方法の請求項中の個々のステップの順序は、ステップがこの順序で実行される必要があることを意味しない。むしろ、ステップは、任意の適切な順序で実行されることができる。加えて、単数の参照は複数を除外しない。"a", "an", "first", "second"などは、複数を除外しない。請求項中の参照符号は、単に例を明確にするものとして提供され、如何なる態様においても、請求の範囲を制限するものとして解釈されてはならない。
【図１】
2013530556.tif 000003
【図２】
2013530556.tif 000004
【図３】
2013530556.tif 000005
【図４】
2013530556.tif 000006
【図５】
2013530556.tif 000007
【図６】
2013530556.tif 000008
【図７Ａ】
2013530556.tif 000009
【図７Ｂ】
2013530556.tif 000010
【図７Ｃ】
2013530556.tif 000011
【図７Ｄ】
2013530556.tif 000012
【図８】
2013530556.tif 000013
【国際調査報告】
2013530556.tif 000014
2013530556.tif 000015
2013530556.tif 000016