(57)【要約】  装置は、ソース空間観察配置に対して用意された三次元[3D]画像データを、ターゲット空間観察配置における3D表示のための3D表示信号に変換する。3D表示メタデータは、ターゲット空間観察配置における3D表示のターゲット幅Wtを示すターゲット幅データを有する。プロセッサ52,18は、ソース空間観察配置とターゲット空間観察配置との間の差を補償するために、オフセットOによって画像L及びRの相互の水平位置を変更する。プロセッサ52は、オフセットOを計算するために3D画像データに提供されるソース・オフセット・データを読み出して、ソース・オフセット・データに依存してオフセットOを決定する。有利には、観察者に対する3D知覚は、読み出されたソース・オフセット・データに基づいて、スクリーン・サイズに関わらず実質的に等しいように自動的に調整される。
2013504968.tif 000002
【特許請求の範囲】
【請求項１】
ターゲット空間観察配置における観察者に対する3Dディスプレイでの表示のための三次元[3D]画像データを処理するための装置であって、前記3D画像データは、少なくとも、レンダリングされる画像がソース幅をもつソース空間観察配置において左目に対してレンダリングされるべき左画像L及び右目に対してレンダリングされるべき右画像Rを表し、当該装置は、
前記ソース空間観察配置と前記ターゲット空間観察配置との間の差を補償するためにオフセットOによって画像L及びRの相互の水平位置を変更することによって前記3Dディスプレイのための3D表示信号を生成するために前記3D画像を処理するためのプロセッサ、
前記ターゲット空間観察配置において表示される3Dデータのターゲット幅Wtを示すターゲット・データを有する3D表示メタデータを提供するための表示メタデータ手段、
前記ソース空間観察配置における前記ソース幅Ws及び観察者のソース目距離Esに基づいて前記3Ｄ画像データに提供される前記Ｌ画像と前記Ｒ画像との間の視差を示すソース・オフセット・データを読み出すための入力手段であって、前記ソース・オフセット・データが、画像L及びRの相互の水平位置を変更するためのオフセット・パラメータを含む入力手段、
を有し、前記プロセッサがさらに、前記オフセット・パラメータに依存してオフセットOを決定するために用意される、装置。
【請求項２】
前記オフセット・パラメータが、
ターゲット3Dディスプレイの第１ターゲット幅Wt1のための少なくとも第1ターゲット・オフセット値Ot1、
Osd = Es / Wsに基づくソース・オフセット距離比値Osd、
Osp = HPs * Es / Wsに基づくソース水平ピクセル解像度HPsをもつ前記3D画像データのためのソース・オフセット・ピクセル値Osp、
前記ソース空間観察配置におけるディスプレイに対する観察者の基準距離を示すソース観察距離データ、
左画像Lの位置及び右画像Rの位置にわたるオフセットOの分配を示す境界オフセット・データ、
のうちの少なくとも１つを有し、
前記プロセッサは、それぞれの前記オフセット・パラメータに依存して前記オフセットOを決定するために用意される、請求項１に記載の装置。
【請求項３】
前記プロセッサが、
前記第1ターゲット幅Wt1及び前記ターゲット幅Wtの対応関係に依存して前記オフセットOを決定すること、
Otd = Et / Wt - Osdに基づいてターゲット観察者のターゲット目距離Et及び前記ターゲット幅Wtに対してターゲット距離比Otdとして前記オフセットを決定すること、
Op = HPt * Et / Wt - Ospに基づいてターゲット水平ピクセル解像度HPtをもつ前記3D表示信号のためのターゲット観察者のターゲット目距離Et及び前記ターゲット幅Wtに対するピクセル・オフセットOpを決定すること、
前記ソース観察距離データと、前記第１ターゲット・オフセット値、前記ソース・オフセット距離値及び前記ソース・オフセット・ピクセル値のうちの少なくとも１つとの組み合わせに依存してオフセットOを決定すること、
前記境界オフセット・データに依存して左画像Lの位置及び右画像Rの位置にわたる前記オフセットOの分配を決定すること、
のうちの少なくとも１つのために用意される、請求項２に記載の装置。
【請求項４】
前記ソース・オフセット・データが、第１ターゲット幅Wt1のために、第１観察距離のための少なくとも第1ターゲット・オフセット値Ot11及び第２観察距離のための少なくとも第２ターゲット・オフセット値Ot112を有し、前記プロセッサが、前記第1ターゲット幅Wt1及び前記ターゲット幅Wtの対応関係並びに実際の観察距離及び前記第1又は第２観察距離の対応関係に依存して前記オフセットOを決定するために用意される、請求項１に記載の装置。
【請求項５】
前記3Dディスプレイに関する観察者の空間観察パラメータを定める観察者メタデータを提供するための観察者メタデータ手段を有し、前記空間観察パラメータは、
ターゲット目距離Et、
前記3Dディスプレイに対する前記観察者のターゲット観察距離Dt、
のうちの少なくとも１つを含み、
前記プロセッサは、前記ターゲット目距離Et及び前記ターゲット観察距離Dtのうちの少なくとも１つに依存して前記オフセットを決定するために用意される、請求項１又は請求項２に記載の装置。
【請求項６】
前記ソース空間観察配置がソース観察距離Dsを有し、前記プロセッサが、Ocv = O / (1 + Dt / Ds - Wt / Ws)に基づいて、前記3Dディスプレイに対する前記観察者のターゲット観察距離Dtに対して補償されるオフセットCcvを決定するために用意される、請求項１に記載の装置。
【請求項７】
前記ソース3D画像データが前記ソース・オフセット・データを有し、前記プロセッサが、前記ソース3D画像データから前記ソース・オフセット・データを読み出すために用意される、請求項１に記載の装置。
【請求項８】
記録担体から前記ソース3D画像データを読み出すための入力手段を有する、請求項１に記載の装置。
【請求項９】
3D表示装置であり、3D画像データを表示するための前記3Dディスプレイを有する、請求項１に記載の装置。
【請求項１０】
前記プロセッサが、ある表示領域を対象とする前記3D表示信号に、
前記変更に起因して前記表示領域を超える画像データを切り取ること、
前記表示領域を拡張するために前記3D表示信号の左及び/又は右境界にピクセルを追加すること、
前記表示領域内に合わせるために相互に変更されたL及びR画像をスケーリングすること、
前記変更に起因して前記表示領域を超える画像データを切り取り、他方の画像中の対応するデータを削除すること、
のうちの少なくとも１つを適用することによって、前記相互に変更された水平位置に対応するために用意される、請求項１に記載の装置。
【請求項１１】
ターゲット空間観察配置における観察者に対する3Dディスプレイ上での表示のために三次元[3D]画像データを処理するための方法であって、前記3D画像データは、少なくとも、レンダリングされる画像がソース幅をもつソース空間観察配置において左目に対してレンダリングされるべき左画像L及び右目に対してレンダリングされるべき右画像Rを表し、当該方法は、
前記ソース空間観察配置と前記ターゲット空間観察配置との間の差を補償するためにオフセットOによって画像L及びRの相互の水平位置を変更することによって前記3Dディスプレイのための3D表示信号を生成するために前記3D画像を処理するステップ、
前記ターゲット空間観察配置において表示される3Dデータのターゲット幅Wtを示すターゲット幅データを有する3D表示メタデータを提供するステップ、
前記ソース空間観察配置における前記ソース幅Ws及び観察者のソース目距離Esに基づいて前記3Ｄ画像データに提供される前記Ｌ画像と前記Ｒ画像との間の視差を示すソース・オフセット・データを読み出すステップであって、前記ソース・オフセット・データが、画像L及びRの相互の水平位置を変更するためのオフセット・パラメータを含むステップ、
前記オフセット・パラメータに依存してオフセットOを決定するステップ、
を有する方法。
【請求項１２】
ターゲット空間観察配置における観察者に対する3Dディスプレイ上での表示のための三次元[3D]画像データを転送するための3D画像信号であって、
少なくとも、レンダリングされる画像がソース幅をもつソース空間観察配置において左目に対してレンダリングされるべき左画像L及び右目に対してレンダリングされるべき右画像Rを表す前記3D画像データ、
前記ソース空間観察配置における前記ソース幅Ws及び観察者のソース目距離Esに基づいて前記3Ｄ画像データに提供される前記Ｌ画像と前記Ｒ画像との間の視差を示すソース・オフセット・データ、
を有し、前記ソース・オフセット・データは、オフセットOにより画像L及びRの相互の水平位置を変更することによって表示される前記3Dデータのターゲット幅Wtをもつ前記ターゲット空間観察配置と前記ソース空間観察配置との間の差を補償するための前記オフセットOを決定するためのオフセット・パラメータを含む、3D画像信号。
【請求項１３】
前記オフセット・パラメータが、それぞれのオフセット・パラメータに依存して前記オフセットOを決定するための、
ターゲット3Dディスプレイの第１ターゲット幅Wt1のための少なくとも第１ターゲット・オフセット値Ot1、
Osd = Es / Wsに基づくソース・オフセット距離比値Osd、
Osp = HPs * Es / Wsに基づくソース水平ピクセル解像度HPsをもつ前記3D画像データのためのソース・オフセット・ピクセル値Osp、
前記ソース空間観察配置におけるディスプレイに対する観察者の基準距離を示すソース観察距離データ、
左画像Lの位置及び右画像Rの位置にわたるオフセットOの分配を示す境界オフセット・データ、
のうちの少なくとも１つを有する、請求項１２に記載の3D画像信号。
【請求項１４】
前記3D画像データのそれぞれの断片のための前記ソース・オフセット・データの複数のインスタンスを有し、前記断片は、フレーム、グループ・オブ・ピクチャ、ショット、プレイリスト、期間のうちの１つである、請求項１２に記載の3D画像信号。
【請求項１５】
請求項１２から請求項１４のいずれか一項に記載の3D画像信号を表す物理的に検出可能なマークを有する記録担体。
【請求項１６】
観察者に対する3Dディスプレイ上での表示のための三次元[3D]画像データを処理するためのコンピュータプログラムであって、請求項１１に記載の方法をプロセッサに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ターゲット空間観察配置における観察者に対する3Dディスプレイでの表示のための三次元[3D]画像データの処理のための装置に関し、3D画像データは、少なくとも、レンダリングされた画像がソース幅を持つソース空間観察配置において左目に対してレンダリングされる左画像L及び右目に対してレンダリングされる右画像Rを表し、装置は、ソース空間観察配置とターゲット空間観察配置との間の差を補償するためにオフセットOによって画像L及びRの相互の水平位置を変更することによって3Dディスプレイのための3D表示信号を生成するために3D画像データを処理するためのプロセッサを含む。
【０００２】
本発明はさらに、3D画像データの処理の方法に関し、当該方法は、ソース空間観察配置とターゲット空間観察配置との間の差を補償するためにオフセットOによって画像L及びRの相互の水平位置を変更することによって3Dディスプレイのための3D表示信号を生成するために3D画像データを処理するステップを有する。
【０００３】
本発明はさらに、観察者に対する3Dディスプレイでの表示のための3D画像データを転送するための信号及び記録担体に関する。
【０００４】
本発明は、光学ディスク又はインターネットのような媒体を介して3D画像データを提供し、3Dディスプレイでの表示のために3D画像データを処理し、3D画像装置と3D表示装置との間で、3D画像データ(例えば3Dビデオ)を伝達する表示信号を、高速デジタル・インタフェース(例えばHDMI：High Definition Multimedia Interface)を介して転送する分野に関する。
【背景技術】
【０００５】
2Dビデオ・データを供給するための装置が知られている(例えばDVDプレーヤーのようなビデオ・プレーヤー又はデジタル・ビデオ信号を提供するセットトップボックス)。この装置は、TVセット又はモニタのような表示装置に接続される。画像データは、適切なインタフェース(好ましくはHDMIのような高速デジタル・インタフェース)を介して、表示信号によって装置から転送される。現在、三次元(3D)画像データを供給して処理するための3D拡張装置が提案されている。同様に、3D画像データを表示するための装置が提案されている。ソース装置から表示装置に3Dビデオ信号を転送するために、例えば既存のHDMI規格に基づいて、それと互換性がある新たな高データ速度デジタル・インタフェース規格が開発されている。
【０００６】
論文"Reconstruction of Correct 3-D perception on Screens viewed at different distances; by R. Kutka; IEEE transactions on Communications, Vol.42, No.1, January 1994"は、観察者の左目によって知覚される左画像L及び右目によって知覚される右画像Rを提供する三次元ディスプレイを観察している観察者の深さの知覚を記載する。異なるスクリーン・サイズの影響が議論されている。ステレオ画像間にサイズに依存するシフトを適用することが提案される。シフトは、それぞれのスクリーンのサイズ比に依存して計算されて、正しい三次元ジオメトリーを再構成するために十分であるということが判明している。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
Kutkaによる論文は、それぞれのスクリーン・サイズを補償するための式を記載し、ステレオ画像間のサイズ依存シフトが3Dジオメトリーを再構成するために必要かつ十分であることを述べるが、テレビジョン・スクリーンが構築される又は設置されるときに一度のみシフトが調整されなければならず、常に一定に保たれなければならないと結論付ける。
【課題を解決するための手段】
【０００８】
3D画像データのソースにおいて発信者によって実質的に意図されるような3D効果を得るために観察者によって知覚される3D表示信号を介して3D画像を提供することが本発明の目的である。
【０００９】
この目的のために、本発明の第１の態様によれば、冒頭の段落に記載の装置は、ターゲット空間観察配置において表示される3Dデータのターゲット幅Wtを示すターゲット幅データを含む3D表示メタデータを提供するための表示メタデータ手段、ソース空間観察配置におけるソース幅Ws及び観察者のソース目距離Esに基づく3D画像データに提供されるL画像とR画像との間の視差を示すソース・オフセット・データを読み出す入力手段を有し、ソース・オフセット・データは、画像L及びRの相互の水平位置を変更するためのオフセット・パラメータを含み、プロセッサはさらに、オフセット・パラメータに依存してオフセットOを決定するために用意される。
【００１０】
この目的のために、本発明の第２の態様によれば、この方法は、ターゲット空間観察配置において表示される3Dデータのターゲット幅Wtを示すターゲット幅データを含む3D表示メタデータを提供するステップ、ソース空間観察配置におけるソース幅Ws及び観察者のソース目距離Esに基づく3D画像データに提供されるL画像とR画像との間の視差を示すソース・オフセット・データを読み出すステップであって、ソース・オフセット・データは画像L及びRの相互の水平位置を変更するためのオフセット・パラメータを含むステップ、並びに、オフセット・パラメータに依存してオフセットOを決定するステップを有する。
【００１１】
この目的のために、3D画像信号は、少なくともソース空間観察配置において左目に対してレンダリングされる左画像L及び右目に対してレンダリングされる右画像Rを表す3D画像データ、ソース空間観察配置におけるソース幅Ws及び観察者のソース目距離Esに基づく3D画像データに提供されるL画像とR画像との間の視差を示すソース・オフセット・データを有し、ソース・オフセット・データは、オフセットOによって画像L及びRの相互の水平位置を変更することによって、ソース空間観察配置と表示される3Dデータのターゲット幅Wtをもつターゲット空間観察配置との間の差を補償するためのオフセットOを決定するためのオフセット・パラメータを含む。
【００１２】
この方策は、実際の表示のサイズにかかわりなく、ソース空間観察配置において意図されるものと同じ深さ位置をもつようにオブジェクトが現れるように、L画像とR画像との間のオフセットが調整されるという効果をもつ。それに対して、ソース・システムは、ソース空間観察配置におけるソース幅Ws及び観察者のソース目距離Esに基づくL画像とR画像との間の視差を示すソース・オフセット・データを提供する。ソース・オフセット・データは、装置によって読み出されて、オフセットOの実際の値を計算するために利用される。ソース・オフセット・データは、ソース3D画像データ中に存在するか、又は、既知のサイズのディスプレイで表示されるときにソース画像データに適用されるべき視差を示す。表示メタデータ手段は、ターゲット空間観察配置において表示される3Dデータのターゲット幅Wtを示す3D表示メタデータを提供する。実際のオフセットOは、読み出されたソース・オフセット・データ及びターゲット3D表示メタデータ(特にターゲット幅Wt)に基づく。実際のオフセットは、ターゲット幅及び読み出されたソース・オフセット・データに基づいて、例えば目距離E及びソース・オフセットOsを用いて、O = E / Wt - Osによって、容易に計算されることができる。有利には、実際のオフセットは、ソースによって意図されるような3D効果を提供するために、ターゲット観察者に対して表示される3D画像データの幅に自動的に適応され、この適応は、前記ソース・オフセット・データを提供することによってソースの管理下である。
【００１３】
3D画像信号中にソース・オフセット・データを提供することには、ソース・オフセット・データがソース3D画像データに直接結合されるという利点がある。実際のソース・オフセット・データは、入力ユニットによって読み出されて受信装置に知られて、そして上述のようにオフセットの計算のために用いられる。ソース・オフセット・データを読み出すことは、メモリから、別個のデータ信号から、3D画像信号から、ソース・オフセット・データを読み出すことを含むことができ、及び/又は、ネットワークを介したデータベースへのアクセスを実行することができる。信号は、光学記録担体のような記憶媒体に提供されるマークの物理的パターンによって実現されることができる。
【００１４】
ソース・システムは、ソース空間観察配置、すなわち、画像データがオーサリングされて表示に用いられることが意図される基準配置(例えば動画シアター)のための3D画像データを提供することができることが留意されるべきである。装置は、表示信号をターゲット空間観察配置(例えばホームTVセット)に適応させるために3D画像データを処理する能力がある。しかしながら、3D画像データは、標準のTVセット(例えば100cm)のために提供されて、250cmのホーム・シアター・スクリーン上で家庭において表示されることもできる。サイズの差に適応するために、装置は、ターゲット観察者のターゲット目距離Etをもつターゲット空間観察配置における3D表示のターゲット幅Wtを示すターゲット幅データに適応させるようにソース・データを処理する。ターゲット目距離Etは、標準の値に固定されていることができ、又は、それぞれの観察者のために測定されるか若しくは入力されることができる。
【００１５】
実施の形態において、オフセット・パラメータは、以下のうちの少なくとも１つを有する。
- ターゲット3D表示の第１ターゲット幅Wt1のための少なくとも第１ターゲット・オフセット値Ot1。プロセッサ(52)は、第１ターゲット幅Wt1及びターゲット幅Wtの対応関係に依存してオフセットOを決定するために用意される。
- Osd = Es / Wsに基づくソース・オフセット距離比値Osd
- Osp = HPs * Es / Wsに基づくソース水平ピクセル解像度HPsをもつ3D画像データのためのソース・オフセット・ピクセル値Osp
- ソース空間観察配置におけるディスプレイに対する観察者の基準距離を示すソース観察距離データ(42)
- 左画像Lの位置及び右画像Rの位置にわたるオフセットOの分配を示す境界オフセット・データ。
プロセッサ(52)は、それぞれのオフセット・パラメータに依存してオフセットOを決定するために用意される。装置は、以下の態様のうちの１つにおいてそれぞれのオフセット・データを適用するために用意される。
【００１６】
第１ターゲット幅Wt1及び実際のターゲット幅Wtの対応関係に基づいて、受信装置は、提供されるターゲット・オフセット値を直接適用する。また、異なるターゲット幅のための幾つかの値が信号中に含まれることができる。さらに、補間又は外挿が、供給されたターゲット幅と実際のターゲット幅との間の差を補償するために適用されることができる。線形補間が正しく中間値を提供することが留意されるべきである。
【００１７】
提供されたソース・オフセット距離値又はピクセル値に基づいて、実際のオフセットが決定される。計算は、物理サイズで(例えばメートル又はインチで)実行されてその後ピクセルに変換されるか、又は、直接ピクセルで計算される。有利には、オフセットの計算は単純化される。
【００１８】
ソース観察距離に基づいて、ターゲット・オフセットは、実際のターゲット観察距離に対して補償されることができる。視差は、無限より近いオブジェクトに対する観察距離によって影響を及ぼされる。ターゲット観察距離がソース観察距離と比例的に一致しない場合、深さ歪みが発生する。有利には、歪みは、ソース観察距離に基づいて低減されることができる。
【００１９】
境界オフセットに基づいて、ターゲット・オフセットは、左及び右画像にわたり分配される。3D画像データのために提供される分配を適用することは、シフトされたピクセルが境界で切り取られる場合に、特に重要である。
【００２０】
装置の実施の形態において、プロセッサ(52)は、以下のうちの少なくとも１つのために用意される。
- 第１ターゲット幅Wt1及びターゲット幅Wtの対応関係に依存してオフセットOを決定すること;
- Otd = Et / Wt - Osdに基づいてターゲット観察者のターゲット目距離Et及びターゲット幅Wtに対するターゲット距離比Otdとしてオフセットを決定すること;
- Op = HPt * Et / Wt - Ospに基づいてターゲット観察者のターゲット目距離Et及びターゲット水平ピクセル解像度HPtをもつ3D表示信号のためのターゲット幅Wtに対してピクセル・オフセットOpを決定すること；
- ソース観察距離データ並びに第１ターゲット・オフセット値、ソース・オフセット距離値及びソース・オフセット・ピクセル値のうちの少なくとも１つの組み合わせに依存してオフセットOを決定すること;
- 境界オフセット・データに依存して左画像Lの位置及び右画像Rの位置にわたるオフセットOの分配を決定すること。
【００２１】
装置は、定められる関係及び提供されたソース・オフセット・データに基づいて実際のオフセットを決定するために用意される。有利には、オフセットの計算は効率的である。パラメータ目距離(Et)が特定の目距離値を提供する又は取得するために装置を起動することができることに留意されるべきである。あるいは、計算は、目距離の一般的に受け入れられた平均的な値(例えば65mm)に基づくことができる。
【００２２】
装置の実施の形態において、ソース・オフセット・データは、第１ターゲット幅Wt1に対して、少なくとも第１観察距離のための第１ターゲット・オフセット値Ot11及び少なくとも第２観察距離のための第２ターゲット・オフセット値Ot112を含み、プロセッサは、第１ターゲット幅Wt1及びターゲット幅Wtの対応関係及び実際の観察距離及び第１又は第２観察距離の対応関係に依存してオフセットOを決定するために用意される。例えば、実際のオフセットは、ターゲット・オフセット値及び観察距離の二次元テーブルに基づいて実際のターゲット幅Wt及び実際の観察距離の両方に依存して選択されることができる。
【００２３】
なお、観察者距離が比例的に等しい場合（すなわち、スクリーン・サイズの比によって乗じられる基準配置における意図されたソース観察距離）、ターゲット表示に関する実際の3D効果は実質的に等しい。しかしながら、実際の観察距離は異なる場合がある。3D効果はもはや等しくない場合がある。長所として、異なる観察距離のための異なるオフセット値を提供することによって、実際のオフセット値は、実際の観察距離に基づいて決定されることができる。
【００２４】
実施の形態において、装置は、3D表示に関する観察者の空間観察パラメータを定める観察者メタデータを提供するための観察者メタデータ手段を含み、空間観察パラメータは、
-ターゲット目距離Et;
- 3Dディスプレイに対する観察者のターゲット観察距離Dt;
のうちの少なくとも１つを含み、プロセッサは、ターゲット目距離Et及びターゲット観察距離Dtのうちの少なくとも１つに依存してオフセットを決定するために用意される。
【００２５】
観察者メタデータ手段は、3D表示に関するユーザの観察パラメータを決定するために用意される。観察者目距離Etは、入力されるか又は測定されることができ、あるいは、観察者カテゴリ（例えば、子供モード又は年齢）が設定されることができる（成人より小さい目距離を設定する）。同様に、観察距離は、入力されるか又は測定されることができ、あるいは、他のパラメータ値（例えば、通常はディスプレイに近いセンター・スピーカからの距離に対するサラウンド・サウンド設定）から読み出されることができる。これは、実際の観察者目距離がオフセットを計算するために用いられるという利点を有する。
【００２６】
装置の実施の形態において、ソース空間観察配置はソース観察距離Dsをもち、プロセッサは、Ocv = O / (1 + Dt / Ds - Wt / Ws)に基づいて、3Dディスプレイに対する観察者のターゲット観察距離Dtのための補償されたオフセットOcvを決定するために用意される。補償されたオフセットは、観察距離Dt及びソース観察距離Dsの比がスクリーン・サイズ比Wt/Wsと比例的に一致しないターゲット空間観察配置のために決定される。
【００２７】
通常、家庭における観察者距離及びスクリーン・サイズは、映画シアターと一致しない。一般的に、観察者はさらに離れている。上述のオフセット補正は、観察経験を大きなスクリーン上と全く同一にすることができない。本発明者らは、補償されたオフセットが、特にソース・スクリーン近くの深さをもつオブジェクトに対して、改善された観察経験を提供することを見出した。有利には、作成者が通常はオブジェクトの深さをスクリーンの近くの焦点に保つので、補償されたオフセットは、共通のビデオ素材中の多くのオブジェクトを補償する。
【００２８】
装置の実施の形態は、記録担体からソース3D画像データを読み出すための入力手段を含む。他の実施例において、ソース3D画像データはソース・オフセット・データを含み、プロセッサは、ソース3D画像データからソース・オフセット・データを読み出すために用意される。これには、媒体(例えばブルーレイ・ディスク(BD)のような光学記録担体)を介して配信されるソース3D画像データが、入力ユニットによって媒体から読み出されるという利点がある。さらに、ソース・オフセット・データが、ソース3D画像データから都合よく読み出されることができる。
【００２９】
他の更なる実施の形態において、ソース3D画像データは、ソース基準表示サイズ及び観察距離パラメータを含み、プロセッサは、シンク装置(ディスプレイ)にHDMIを通じて送信される出力信号にこれらのパラメータを埋め込むために用意される。ディスプレイは、それ自身が、基準スクリーン・サイズに照らして実際のスクリーン・サイズを調整することによってオフセットを計算するために用意される。
【００３０】
装置の実施の形態において、プロセッサは、ある表示領域を対象とする3D表示信号に、以下のうちの少なくとも１つを適用することによって、前記相互に変更された水平位置に対応するために用意される：
- 前記変更に起因して表示領域を超える画像データを切り取ること；
- 表示領域を拡張するために3D表示信号の左及び/又は右境界にピクセルを追加すること;
- 表示領域中に合わせるために相互に変更されたL及びR画像をスケーリングすること；
- 前記変更に起因して表示領域を超える画像データを切り取り、他方の画像中の対応するデータを削除すること；前記変更に起因して表示領域を超える画像データを切り取り、他方の画像中の対応するデータを削除するときに、カーテンの錯覚が得られる。
【００３１】
装置は、ここで、オフセットを適用した後に3D表示信号を修正するために前記処理オプションのうちの１つに対応する。有利には、水平方向における現在のピクセル数を超えるピクセルを切り取ることは、信号を標準の表示信号解像度内に維持する。有利には、水平方向における現在のピクセル数を超えるピクセルを追加することは、標準の表示信号解像度を拡張するが、表示領域の左及び右端において１つの目に対する幾つかのピクセルが失われることを回避する。最後に、有利には、水平方向における現在のピクセル数を超える任意のピクセルを利用可能な水平ライン上にマップするために画像をスケーリングすることは、信号を標準の表示信号解像度に保ち、表示領域の左及び右端において１つの目に対する幾つかのピクセルが失われることを回避する。
【００３２】
本発明による装置及び方法の更なる好ましい実施の形態は、添付された請求の範囲中に与えられ、その開示は本明細書に参照として組み込まれる。
【００３３】
本発明のこれらの及び他の態様は、以下の詳細な説明に一例として記載される実施の形態及び添付の図面から明らかであり、それらを参照してさらに説明される。
【図面の簡単な説明】
【００３４】
【図１】三次元(3D)画像データを処理するシステム。
【図２】スクリーン・サイズ補償を示す図。
【図３】スクリーン・サイズ補償に対する境界効果を示す図。
【図４】制御メッセージ中のソース・オフセット・データを示す図。
【図５】ソース・オフセット・データを提供するプレイリストの一部を示す図。
【図６】観察距離の補償を示す図。
【図７】観察距離を補償するときのカーテンの使用を示す図。
【図８】カーテンを用いるときの投射された画像を示す図。
【発明を実施するための形態】
【００３５】
図は、単に概略であって、縮尺通りに描かれていない。図において、すでに説明された要素に対応する要素は同じ参照符号を持つ。
【００３６】
図1は、三次元(3D)画像データ(例えばビデオ、グラフィクス又は他の視覚的情報) を処理するためのシステムを示す。3D画像装置10は、3D表示信号56を転送するために3D表示装置13に結合される。
【００３７】
3D画像装置は、画像情報を受信するための入力ユニット51を持つ。例えば、入力ユニットは、DVD又はBlu-rayディスクのような光学記録担体54からさまざまなタイプの画像情報を読み出すための光学ディスク・ユニット58を含むことができる。実施の形態において、入力ユニットは、ネットワーク55 (例えばインターネット又は放送ネットワーク) に接続するためのネットワーク・インタフェース・ユニット59を含むことができ、そのような装置は通常セットトップボックスと呼ばれる。画像データは、遠隔メディア・サーバ57から読み出されることができる。3D画像装置は、衛星受信機、又は、表示信号を直接提供するメディア・サーバ、すなわち、ディスプレイ・ユニットに直接結合される3D表示信号を出力する任意の適切な装置であることもできる。
【００３８】
3D画像装置は、画像インタフェース・ユニット12を介して表示装置に転送される3D表示信号56を生成するための画像情報を処理するための入力ユニット51に結合される画像プロセッサ52を持つ。プロセッサ52は、表示装置13上での表示のための3D表示信号56中に含まれる画像データを生成するために用意される。画像装置は、画像データの表示パラメータ(例えばコントラスト又はカラー・パラメータ)を制御するために、ユーザ制御素子15を備える。
【００３９】
3D画像装置は、メタデータを提供するためのメタデータ・ユニット11を持つ。ユニットは、3D表示の空間表示パラメータを定める3D表示メタデータを提供するための表示メタデータ・ユニット112を持つ。
【００４０】
実施の形態において、メタデータ・ユニットは、3D表示に関する観察者の空間観察パラメータを定める観察者メタデータを提供するための観察者メタデータ・ユニット111を含むことができる。観察者メタデータは、以下の空間観察者パラメータのうちの少なくとも1つを含むことができる：観察者の瞳孔間距離(目距離とも呼ばれる)；3Dディスプレイに対する観察者の観察距離。
【００４１】
3D表示メタデータは、ターゲット空間観察配置における3D表示のターゲット幅Wtを示すターゲット幅データを含む。ターゲット幅Wtは観察領域の有効幅であり、それは通常、スクリーン幅と同じである。観察領域はさらに、異なって、例えば、字幕又はメニューのような他の画像を表示するために利用可能なスクリーンの更なる領域を保持しつつ、スクリーンの一部としての3D表示ウインドウとして選択されることができる。ウインドウは、3D画像データのスケーリングされたバージョン(例えばピクチャ・イン・ピクチャ)であることができる。さらに、ウインドウは、ゲーム又はJavaアプリケーションのようなインタラクティブ・アプリケーションによって用いられることができる。アプリケーションは、ソース・オフセット・データを読み出すことができ、しかるべくウインドウ中に及び/又は周囲領域(メニューなど)中に3Dデータを適応させることができる。ターゲット空間観察配置は、ターゲット観察者のターゲット目距離Etを含むか又は仮定する。ターゲット目距離は、標準の平均的な目距離(例えば65 mm)であると仮定されるか、入力若しくは測定される実際の観察者目距離、又は、観察者によって設定される選択された目距離であることができる。例えば、観察者は、子供が観察者のなかにいるときに、より小さな目距離を持つチャイルド・モードを設定することができる。
【００４２】
上記のパラメータは、3Dディスプレイ及び観察者の幾何学的配置を定める。ソース3D画像データは、少なくとも左目に対してレンダリングされる左画像L及び右目に対してレンダリングされる右画像Rを含む。プロセッサ52は、ターゲット空間観察配置における3Dディスプレイ17上での表示のための3D表示信号56を生成するためにソース空間観察配置に対して用意されるソース3D画像データを処理するように構成される。この処理は、メタデータ・ユニット11から利用可能である3D表示メタデータに依存するターゲット空間配置に基づく。
【００４３】
ソース3D画像データは、以下のようにソース空間観察配置とターゲット空間観察配置との間の差に基づいてターゲット3D表示データに変換される。そのために、ソース・システムは、L画像とR画像との間の視差を示すソース・オフセット・データOsを提供する。例えば、Osは、観察者のソース目距離Esに基づいてソース空間観察配置において表示されるときの、3D画像データの表示幅Wsにおける視差を示すことができる。なお、ソース・システムは、ソース空間観察配置、すなわち、画像データが作られて表示のために用いられることが意図される基準配置（例えば映画館）のための3D画像データを提供する。
【００４４】
入力ユニット51は、ソース・オフセット・データを読み出すために用意される。ソース・オフセット・データは、ソース3D画像データ信号に含まれて、それから読み出されることができる。その他の場合、ソース・オフセット・データは、例えばインターネットを介して、別途転送されることができるか、又は、手動で入力される。
【００４５】
プロセッサ52は、ソース空間観察配置とターゲット空間観察配置との間の差を補償するためにオフセットOによって画像L及びRの相互の水平位置を変更することによって3D表示のための3D表示信号(56)を生成するために3D画像データを処理し、ソース・オフセット・データに依存してオフセットOを決定するために用意される。オフセットは、オフセットOによって画像L及びRの相互の水平位置を変更するために適用される。通常、両方の画像がオフセットの50%だけシフトされるが、代わりに、１つの画像のみが(全オフセットによって)シフトされることができ、あるいは、別の分配が用いられることができる。
【００４６】
実施の形態において、ソース・オフセット・データは、左画像Lの位置及び右画像Rの位置にわたるオフセットOの分配を示す境界オフセット・データを含む。プロセッサは、境界オフセット・データに基づく分配（すなわち、左画像に適用される全オフセットの部分及び右画像に適用されるオフセットの残存する部分）を決定するために用意される。境界オフセットは、3D画像信号中のパラメータであることができる（例えば、図4又は図5に示されるテーブル中の更なる要素）。境界オフセットは、パーセンテージであるか、又は、左シフトのみ、右シフトのみ若しくは両方に対する50%を示すわずかなステータス・ビットであることができる。以下に記載するようにシフトされたピクセルが境界で切り取られる場合、3D画像データ中に含まれる分配を適用することは特に重要である。このオフセットを非対称に分配することは、L及びR画像がシフトされるときに、いくつかのピクセルの喪失を引き起こす切り取りの影響を改善する。画像のタイプに応じて、スクリーンの左又は右端のピクセルは、コンテンツにおいて重要な役割を果たす可能性があり、例えば、それらは、主要な役者の顔の一部か又はいわゆる「ボーダー効果」を回避するために人工的に生成された3Dカーテンである可能性がある。オフセットを非対称に分配することは、観察者が彼らの注意を向けそうにないピクセルを削除する。
【００４７】
なお、オフセットを決定して適用するための機能は以下で詳細に説明される。オフセットを計算して適用することによって、プロセッサは、表示信号をターゲット空間観察配置(例えばホームTVセット)に適応させる。ソース・データは、ターゲット観察者のターゲット目距離Etを備えるターゲット空間観察配置における3D表示のターゲット幅Wtを示すターゲット幅データに適応される。効果は、以下で図2及び3を参照してさらに説明される。
【００４８】
ソース目距離Es及びターゲット目距離Etの両方は、等しいか、標準の値に固定されるか、又は異なる場合がある。一般に、スクリーン・サイズの差に対応するために、オフセットは、ターゲット目距離から差し引かれるソース目距離によって乗じられるターゲット幅とソース幅との比によって計算される。
【００４９】
ターゲット空間観察配置は実際の観察空間における実際のスクリーンの設定を定め、このスクリーンは物理的サイズ及びさらに3D表示パラメータを備えている。観察配置は、実際の観察者・視聴者の位置及び配置(例えば観察者の目に対するディスプレイ・スクリーンの距離)をさらに含むことができる。現在のアプローチでは、１人の観察者のみが存在する場合について観察者が議論されていることが留意されるべきである。明らかに、複数の観察者が存在する場合もあり、空間観察配置の計算及び3D画像処理は、例えば、特定の観察領域又は観察者のタイプに対する平均値、最適値などを用いて、前記大勢のために最良の考えられる3D経験を満たすために適応されることができる。
【００５０】
3D表示装置13は、3D画像データを表示するための装置である。装置は、3D画像装置10から転送される3D画像データを含む3D表示信号56を受信するための表示インタフェース・ユニット14を備えている。表示装置は、ディスプレイの表示パラメータ(例えばコントラスト、カラー又は深さパラメータ)を設定するために、更なるユーザ制御素子16を備えている。転送された画像データは、ユーザ制御素子からの設定コマンドに従って画像処理ユニット18において処理され、3D画像データに基づいて3Dディスプレイ上で3D画像データをレンダリングするための表示制御信号を生成する。装置は、処理された画像データを表示するための表示制御信号を受信する3Dディスプレイ17を備えている(例えばデュアル又はレンチキュラLCD)。表示装置13は、任意のタイプの立体視ディスプレイ(3Dディスプレイとも呼ばれる)であることができ、矢印44によって示される表示深さ範囲を持つ。
【００５１】
実施の形態において、3D画像装置は、メタデータを提供するためのメタデータ・ユニット19を備えている。メタデータ・ユニットは、3D表示の空間表示パラメータを定める3D表示メタデータを提供するための表示メタデータ・ユニット192を備えている。それは、3D表示に関する観察者の空間観察パラメータを定める観察者メタデータを提供するための観察者メタデータ・ユニット191をさらに含むことができる。
【００５２】
実施の形態において、観察者メタデータを提供することは、例えばユーザインタフェース15を介してそれぞれ空間表示又は観察パラメータを設定することによって、3D画像装置において実行される。別の態様では、表示及び/又は観察者メタデータを提供することは、例えばユーザインタフェース16を介してそれぞれのパラメータを設定することによって3D表示装置において実行されることができる。さらに、ソース空間観察配置をターゲット空間観察配置に適応させるための3Dデータの前記処理は、前記装置のうちのいずれかにおいて実行されることができる。
【００５３】
実施の形態において、表示装置中の3D画像処理ユニット18は、ターゲット空間観察配置における3Dディスプレイ上での表示のためのターゲット3D表示データを生成するためにソース空間観察配置に対して用意されるソース3D画像データを処理する機能のために用意される。この処理は、3D画像装置10中のプロセッサ52のために説明された処理と機能的に同じである。
【００５４】
したがって、システムのさまざまな配置において前記メタデータを提供して、3D画像データを処理することは、画像装置又は3D表示装置において提供される。さらに、両方の装置は、１つの多機能装置に組み合わせられることができる。したがって、前記さまざまなシステム配置における両方の装置の実施の形態において、画像インタフェース・ユニット12及び/又は表示インタフェース・ユニット14は、前記観察者メタデータを送信及び/又は受信するために用意されることができる。さらに、表示メタデータが3D表示装置から3D画像装置のインタフェース12までインタフェース14を介して転送されることができる。なお、ソース・オフセット・データ(例えば値Osp)は、3D画像装置によって計算されて、3D表示装置における処理のための3D表示信号中に(例えばHDMI信号中に)含まれることができる。
【００５５】
あるいは、ソース・オフセット・データは、基準表示サイズ及び3D表示信号（例えば、HDMI信号）に3D画像装置によって埋め込まれる観察距離からディスプレイにおいて決定されることができる。
【００５６】
3D表示信号は、適切な高速デジタル・ビデオ・インタフェース(例えば既知のHDMIインタフェース)を通じて転送されることができ（例えば、"High Definition Multimedia Interface Specification Version 1.3a," Nov 10 2006参照）、以下で定められるオフセット・メタデータ及び/又は表示メタデータ(例えば基準表示サイズ及び観察距離)、あるいは、画像装置によって計算されて表示装置によって適用されるべきオフセットを定めるように拡張される。
【００５７】
図1はさらに、3D画像データのキャリアとして、記録担体54を示す。記録担体は、ディスク形状で、トラック及び中央のホールを備えている。物理的に検出可能なマークの系列によって構成されるトラックは、情報レイヤ上の実質的に平行の軌道を構成するターンの螺旋又は同心のパターンにしたがって配置される。記録担体は光学的に読取り可能であり、光学ディスクと呼ばれて、例えばCD、DVD又はBD(ブルーレイ・ディスクである。
情報は、トラックに沿った光学的に検出可能なマーク(例えばピット及びランド)によって情報レイヤに表される。トラック構造はさらに、情報のユニット(通常、情報ブロックと呼ばれる)の位置を示すための位置情報(例えばヘッダ及びアドレス)を含む。記録担体54は、観察者に対する3Dディスプレイ上での表示のためのデジタル的に符号化された3D画像データを表す3D画像信号を実現する物理的マークを備えている。記録担体は、最初にマスタ・ディスクを提供して、続いて、物理的マークのパターンを提供するためのプレス及び/又はモールディングによって製品を複製する方法によって製造されることができる。
【００５８】
以下のセクションは、人による3D奥行知覚の概要を提供する。3Dディスプレイは、それらが、より真に迫った奥行知覚を提供することができるという意味において、2Dディスプレイと異なる。単眼の深さ手がかり及び運動に基づく手がかりのみを示すことができる2Dディスプレイより多くの深さ手がかりをそれらが提供するので、これは達成される。
【００５９】
単眼の(又は静的すなわち2Dの)深さ手がかりは、１つの目を用いて静止画像から取得されることができる。画家は、彼らの絵の中に深さの感覚を生じさせるために、しばしば単眼の手がかりを用いる。これらの手がかりは、相対的なサイズ、地平線に対する高さ、遮蔽、遠近法、テクスチャ勾配及び照明/陰影を含む。
【００６０】
両眼視差は、我々の両方の目が僅かに異なる画像を見るという事実から導き出される奥行の手がかりである。ディスプレイにおいて両眼視差を再現することは、ディスプレイが、左及び右目に対して、各々がディスプレイ上で僅かに異なる画像を見るように、ビューをセグメント化することができることを必要とする。両眼視差を再現することができるディスプレイは、我々が3D又は立体ディスプレイと呼ぶ特別なディスプレイである。3Dディスプレイは、人の目によって実際に知覚される深さ次元に沿って画像を表示することが可能であり、本明細書において表示深さ範囲を持つ3Dディスプレイと呼ばれる。したがって、3Dディスプレイは、左及び右目にL画像及びR画像と呼ばれる異なるビューを提供する。
【００６１】
異なる２つのビューを提供することができる3Dディスプレイは長い間存在していた。これらの大部分は、左及び右目ビューを分離する眼鏡を用いることに基づく。現在、ディスプレイ技術の発達によって、眼鏡を用いることなくステレオ・ビューを提供することができる新たなディスプレイが市場に登場した。これらのディスプレイは、自動立体視ディスプレイと呼ばれる。
【００６２】
図2は、スクリーン・サイズ補償を示す。図は、矢印W1によって示されるソース幅Wsを持つスクリーン22を伴うソース空間観察配置を平面図で示す。観察者に対するソース距離は矢印D1によって示される。ソース空間観察配置は、それに対して基準ソース素材が編集される配置である(例えば映画シアター)。観察者の目(左目= Leye、 右目= Reye)は概略的に示されて、ソース目距離Esをもつと仮定される。
【００６３】
図はさらに、矢印W2によって示されるソース幅Wtを備えるスクリーン23を伴うターゲット空間観察配置を示す。観察者に対するターゲット距離が矢印D2によって示される。ターゲット空間観察配置は、3D画像データが表示される実際の配置である(例えばホーム・シアター)。観察者の目は概略的に示されて、ターゲット目距離Etをもつと仮定される。図において、ソース及びターゲット目は一致し、EsはEtに等しい。さらに、観察距離は、スクリーン幅の比に比例して選択される(したがって、W1/D1=W2/D2)。
【００６４】
図において、仮想的なオブジェクトAは、ReyeによりRAにおいて、及びLeyeによりLAにおいて、スクリーンW1上で観察される。元の画像データがいかなる補償も伴わずにスクリーンW2上に表示されると、RAは、W2上のスケーリングされた位置のRA'になり、同様に、LA -> LA'である。したがって、補償がないと、スクリーンW2上で、オブジェクトAはA'のところで知覚される(したがって、深さ位置が両方のスクリーンで異なるように見える)。さらに、-oo（無限遠）は-oo'となり、もはや真の-ooではなくなる。
【００６５】
以下の補償が、深さ知覚における上記の差を修正するために適用される。W2上のピクセルは、オフセット21によってシフトされる。装置の実施の形態において、プロセッサは、ソース目距離Esと同じターゲット目距離Etに基づく前記変換のために用意される。
【００６６】
装置の実施の形態において、プロセッサは、比Es/Wsを示すソース・オフセット・パラメータを有するソース・オフセット・データに基づく前記補償のために用意される。ソース目距離Es及びソース幅Wsの比のための１つのパラメータ値は、Et/Wtによってターゲット配置における無限遠のオブジェクトのためのオフセット値を決定して、ソース・オフセット値を減ずることによって、オフセット値が計算されることを可能にする。計算は、物理的サイズとして(例えばメートル又はインチとして)実行されてその後ピクセルに変換されるか、又は直接ピクセルに変換されることができる。ソース・オフセット・データは、
Osd = Es/Ws
に基づくソース・オフセット距離値Osdである。プロセッサ52は、
O = Et/Wt-Osd
に基づいて、ターゲット観察者のターゲット目距離Et及びターゲット幅Wtに対するオフセットを決定するために用意される。実際の表示信号は、ピクセルで(すなわちターゲット水平ピクセル解像度HPtで)、通常は表現される。ソース水平ピクセル解像度HPsを有する3D画像データのためのソース・オフセット・ピクセル値Ospは、
Osp = HPs * Es/Ws
に基づく。ピクセルでのオフセットOpのための式は、
Op = O * HPt / Wt = HPt * Et / Wt - Osp
である。式の第１部分は特定のディスプレイに対して一定であるので、それは、
Otp = HPt * Et / Wt
によって、一度だけ計算されることができる。それに関して、前記ソース・オフセット値のみを有する3D画像信号のための計算されるオフセットは、減算
Op = Otp - Osp
である。実施例として、実際の値は、目距離=0.065m、W2 = 1m、W1 = 2m、HP = 1920であり、オフセットOsp = 62.4 ピクセル及びOp = 62.4ピクセルとなる。
【００６７】
図から、Reyeに対してRA'がRA''になり、オブジェクトAがスクリーンW1上と同じ深さで再びスクリーンW2上で観察されるので、訂正されてない深さ位置A'がここで補償されることになる。さらに、位置-oo'は-oo"になり、再び真の-ooになる。
【００６８】
驚くべきことに、補償された深さは全てのオブジェクトに対して正しく、言い換えると、オフセットに起因して、全てのオブジェクトは同じ深さに現れ、したがって、ターゲット空間観察配置における深さ印象はソース空間観察配置中と(例えば、意図される大きなスクリーンに関するディレクターと)同一である。
【００６９】
オフセットを計算するために、例えば、記録担体に記憶されるか又はネットワークを介して配信される3D画像データ信号に提供されるソース・オフセット・データOsとして、ソースの元のオフセットが既知である必要がある。ターゲット・スクリーンサイズWtも表示メタデータとして知られている必要がある。表示メタデータは、上述のHDMI信号から導き出されることができるか、又はユーザによって入力されることができる。
【００７０】
プレーヤーは、(Os及びWtに基づく)計算されたオフセットを適用するべきである。特定のオフセットを適用することによって、オブジェクトAが劇場中と正確に同じ場所で観察されることが分かる。これは全てのオブジェクトに対して真である、したがって、観察経験は家庭において正確に同じものである。それゆえに、実際のスクリーン・サイズとソース配置の差は修正される。あるいは、ディスプレイは、3D表示画像信号中に埋め込まれるオフセットからの計算されたオフセットを適用するか、又は、例えばHDMI上の3D表示画像信号中に埋め込まれる基準スクリーン幅及び観察距離から、オフセットを計算する。
【００７１】
実施の形態において、装置(プレーヤー及び/又はディスプレイ)は、観察者が異なるオフセットを設定することを可能にすることができる。例えば、装置は、ユーザが、オフセットをスケーリングするための好みを、例えば名目上のオフセットの75%に、設定することを可能にすることができる。
【００７２】
装置の実施の形態において、装置は、3D表示に関する観察者の空間観察パラメータを定める観察者メタデータを提供するための観察者メタデータ手段を含み、空間観察パラメータはターゲット目距離Etを含む。実際の観察者目距離は、オフセットを計算するために用いられる。観察者が目距離を実際に入力することができるか、測定が実行されることができるか、又は、観察者カテゴリが設定されることができる(例えばチャイルド・モード又は年齢)。カテゴリは、異なるターゲット目距離(例えば成人のためより小さい子供のための目距離)を設定するために装置によって変換される。
【００７３】
図3は、スクリーン・サイズ補償に対する境界効果を示す。図は、図2と同様の平面図であり、そして、矢印W1によって示されるソース幅Wsをもつスクリーン34を備えているソース空間観察配置を示す。観察者に対するソース距離は矢印D1によって示される。図は、さらに、矢印W2によって示されるソース幅Wtをもつスクリーン35を備えているターゲット空間観察配置を示す。観察者に対するターゲット距離は矢印D2によって示される。図において、ソース及びターゲット目は一致し、EsはEtに等しい。さらに、観察距離は、スクリーン幅の比に比例して選択された(したがって、W1/D1=W2/D2)。上で説明されたように、矢印31,32,33によって示されるオフセットがスクリーン・サイズ差を補償するために適用される。
【００７４】
図において、仮想的なオブジェクトETが、スクリーンW1の左端の境界にあり、スクリーンW1 34の深さのところにあると想定される。オブジェクトは、L画像中において及び訂正されてないR画像中においてもET'として示される。オフセット31をR画像に適用した後、オブジェクトはET"において示される。観察者は、ここでも元の深さでオブジェクトを知覚する。同様に、位置-oo'は-oo"になり、したがって、オブジェクトは再び真の-ooにある。
【００７５】
しかしながら、スクリーンW2の右端の境界において、スクリーンW2がEB'のところで終わるので、スクリーンW2上のオブジェクトEB'はEB"にシフトされることができないために、問題が発生する。それゆえに、境界において、すなわち、L画像及びR画像がオフセット(通常は各々の画像に対してオフセットの50%だが、全オフセットを異なって分割することも可能である)に従って両方ともシフトされる場合は両方の境界において、対策が必要であり。いくつかのオプションがここで説明される。装置は、オフセットを適用した後に3D表示信号を変更するための前記処理オプションのうちの１つを提供する。
【００７６】
装置の実施の形態において、プロセッサは、以下のうちの少なくとも１つを、ある表示領域を対象とする3D表示信号に適用することによって、前記相互に変更された水平位置を調節するために用意される。
- 前記変更に起因して表示領域をはみ出す画像データを切り取ること;
- 表示領域を拡張するために3D表示信号の左及び/又は右境界にピクセルを追加すること;
- 表示領域内に合わせるために相互に変更されたL及びR画像をスケーリングすること。
- 前記変更に起因して表示領域をはみ出す画像データを切り取り、他方の画像中の対応するデータを消すこと。前記変更に起因して表示領域をはみ出す画像データを切り取り、他方の画像中の対応するデータを消すときに、カーテンの錯覚が起こる。
【００７７】
第１処理オプションは、水平方向におけるピクセルの現在の数を超過している任意のピクセルを切り取ることである。切り取りは、標準の表示信号解像度に信号を維持する。図において、これは、ET''の左部分は切り取られなければならず、例えば黒いピクセルで満たされることを意味する。右境界において、右目によって観察されるEBは補正なしでEB'にマップされ、オフセット補正の後、EB''になる。しかしながら、EB'の右のピクセルは表示されることができず、破棄される。
【００７８】
実施の形態において、水平解像度は、元の解像度に対して僅かに拡大される。例えば、3D画像データの水平解像度は1920ピクセルであり、表示信号中の解像度は2048ピクセルに設定される。水平方向においてピクセルの現在の数を超過するピクセルを追加することは、標準の表示信号解像度を拡張するが、表示領域の左及び右端において１つの目のためのいくつかのピクセルを失うことを回避する。
【００７９】
なお、最大の物理的オフセットは常に目距離未満である。基準スクリーンW1が非常に大きく(例えば大きいシアターのための20m)、そしてユーザ・スクリーンが非常に小さい(例えば小さいラップトップ・コンピュータのための0,2 m)場合、上のオフセット式によって定まるオフセットは、目距離の約99%である。そのような小さいスクリーンのためのピクセルの拡張は、大体、0,065 / 0,2 * 1920 = 624ピクセルであり、合計は1920+624=2544ピクセルである。合計解像度は、2560ピクセル(高解像度表示信号にとって一般的な値)に設定されることができ、それは非常に小さいスクリーンのためのオフセットに対応する。0,4m幅のスクリーンに対して、最大の拡張は、0,065 / 0,4 * 1920 = 312ピクセルである。したがって、そのような信号を表示することが可能であるために、スクリーン水平サイズは、(「最大のオフセット」に対応する値によって)拡大されなければならない。なお、3D表示の実際のスクリーン・サイズは、スクリーンの物理的サイズに対して期待される最大のオフセットに従って選択されることができ、すなわち、およそ目距離によって物理的スクリーン幅を拡張する。
【００８０】
その代わりに又は付加的に、L及びR画像は、利用可能な水平解像度に(水平方向におけるピクセルの元の数を超過する任意のピクセルを含む)ピクセルの総数をマップするために、スケール・ダウンされることができる。したがって、表示信号は、標準の表示信号解像度内に合わせられる。0,2mスクリーンのための上の実際的な例において、拡張された2544の解像度は、1920にスケール・ダウンされる。スケーリングは、水平方向にのみ適用されるか(元のアスペクト比のわずかな変形をもたらす)、又は、垂直方向にも適用され、スクリーン上及び/又は下に多少の黒い帯領域をもたらす。スケーリングは、表示領域の左及び右端において１つの目のためのピクセルが失われることを回避する。スケーリングは、表示信号を生成する前にソース装置によって、又は、既にオフセットが適用されて上述の拡張された水平解像度をもつ3D表示信号を受信する3D表示装置において、適用される。利用可能な水平ライン上で水平方向においてピクセルの現在の数を超過する任意のピクセルをマップするために画像をスケーリングすることは、標準の表示信号解像度内に信号を維持して、表示領域の左及び右端において１つの目のためのいくかのピクセルを失うことを回避する。
【００８１】
その代わりに又は付加的に、第１処理オプション(切り取り)に対する拡張として、R画像が切り取られる場合、L画像中の対応する領域が削除される。図7を参照して、オフセット33がR画像に適用されるときに、先だって説明されるように、その画像中の領域71が切り取られる。知覚的に、これは、以前はスクリーンから飛び出しているオブジェクト（一部の観察者によって素晴らしいと考えられる効果）が今では(部分的に)スクリーンの背後にある可能性があることを意味する。この「飛び出し」効果を復元するために、元のスクリーン34の位置と同一であるユーザからの距離においてスクリーンの右側にカーテンの錯覚を生成することが可能である。言い換えると、オフセットの適用前にスクリーンから飛び出していたオブジェクトは、依然として飛び出す錯覚を携えるが、ここでは、元の表示の位置に存在する人工的に生成されたカーテンに対するものである。このカーテン錯覚を生成するために、切り取られる右画像中の領域に対応する左画像中の領域は削除される(黒によって上書きされる)。
【００８２】
これは、図8においてさらに示される。上図において、ソースL及びR画像81は、L画像のオブジェクト84(黒)及びR画像の対応するオブジェクト85(グレー)によって示される。オフセット33がRソース画像に適用されると、切り取られた領域87及びR画像に挿入される黒い領域86を伴う結果82が得られ、結果として、より少ない程度の「突出」をもたらす。更なるステップにおいて、L画像の領域88も黒に設定されて結果として83をもたらし、元のスクリーン34の位置においてスクリーンの右側にカーテンの錯覚を生じさせる。オフセット33が右に対する部分的オフセット及び左画像に対する反対側の相補的オフセットに分割される場合、(ユーザから同じ距離における)表示の左側の同様のカーテンが、右画像の左側における対応する領域を削除することによって生成されることができる。
【００８３】
上記の代わりのオプションは、組み合わせられることができて及び/又は部分的に適用されることができる。例えば、水平方向において相当なスケーリングを適用することは、コンテンツ所有者及び/又は観察者によってしばしば好まれない。スケーリングは、制限されて、スケーリング後のオフセット・ピクセルの量における多少の切り取りと組み合わせられることができる。同様に、シフトは、対称に又は非対称に実行されることができる。どのように切り取るか及び/又はシフトするかを作者が制御するためのフラグ又はパラメータが3D画像信号中に含まれることができる（例えば、-50から+50のスケール。0は対称を意味し、-50は全て左側で切り取り、+50は全て右側で切り取る）。シフトパラメータは、実際のシフトを決定するために計算されたオフセットによって乗じられる。
【００８４】
3D画像信号は、基本的に、少なくとも左目に対してレンダリングされる左画像L及び右目に対してレンダリングされる右画像Rを表すソース3D画像データを含む。加えて、3D画像信号は、ソース・オフセット・データ並びに/又は基準スクリーン・サイズ及び観察距離を含む。なお、信号は、図1に示されるよう光学記録担体54のような記憶媒体に提供されるマークの物理的パターンによって実現されることができる。ソース・オフセット・データは、3D画像信号のフォーマットに従って、ソース3D画像データに直接結合される。フォーマットは、ブルーレイ・ディスク(BD)のような既知の記憶フォーマットに対する拡張であることができる。ソース・オフセット・データ及び/又はオフセット・データ及び/又は基準スクリーン・サイズ及び観察距離を含むためのさまざまなオプションが以下で説明される。
【００８５】
図4は、制御メッセージ中のソース・オフセット・データを示す。制御メッセージは、どのように信号を処理するべきか（例えば、拡張されたBDフォーマット中にMVC依存基本ビデオ・ストリームの一部として）について復号器に通知するための3D画像信号中に含まれるサイン・メッセージであることができる。サイン・メッセージは、MPEGシステムにおいて定義されるSEIメッセージのようにフォーマットされる。テーブルは、ビデオ・データ中の特定の時点のためのオフセット・メタデータの文法を示す。
【００８６】
3D画像信号において、ソース・オフセット・データは少なくとも基準オフセット41を含み、これは、ソース・スクリーンサイズ(図2のW1)でのソース目距離Esにおける、ソース・オフセットを示す。更なるパラメータが含まれることができる:ソース空間観察配置におけるスクリーンに対する観察者の基準距離42(図2のD1)。例において、ソース・オフセット・データは、ビデオ及びグラフィクス・オフセット・メタデータ中に又は立体視ビデオのためのSTN_table中のPlayList中に記憶される。更なるオプションは、特定のターゲット・スクリーン幅のための左及び右ビューのピクセルのシフトの量を示すオフセット・メタデータを実際に含むことである。上で説明されるように、このシフトは、異なる表示サイズを補償するために、異なる角度視差を生成する。
【００８７】
なお、他のオフセット・メタデータは、従属する符号化されたビデオ・ストリーム中のサイン・メッセージ中に記憶されることができる。一般的に、従属のストリームは、「R」ビューのためのビデオを伝達するストリームである。ブルーレイ・ディスク規格は、これらのサイン・メッセージがストリーム中に含まれて、プレーヤーによって処理される必要があることを定める。図4は、基準オフセット41と共にメタデータ情報の構造がサイン・メッセージ中でどのように伝達されるのかを示す。基準オフセットは、フレーム毎に含まれる。あるいは、ソース・オフセット・データは、プレイリストを介して、より大きい断片に対して、例えばピクチャのグループに対して、ショットに対して、ビデオ・プログラム全体に対して提供されることなどができる。
【００８８】
実施の形態において、ソース・オフセット・データは、図4に示されるように、同様に基準観察距離42を含む。基準を見ている距離は、実際のターゲット観察距離が上で説明されるように比例して正しいかを確認するために用いられることができる。同様に、基準観察距離は、以下で説明されるように、ターゲット・オフセットを適応させるために用いられることができる。
【００８９】
図5は、ソース・オフセット・データを提供するプレイリストの一部を示す。テーブルは、3D画像信号中に含まれて、立体視ビュー・テーブルにおけるストリームの定義を示す。ソース・オフセット・データの量を低減するために、Reference Offset 51(そして、オプションとしてReference_viewing_distance 52)が、ここではBD規格のPlayList中に記憶される。これらの値は、動画全体を通して一貫していることができ、フレーム・ベースで通知される必要はない。PlayListは、一緒に表示を構成するプレイアイテムのシーケンスを示すリストであり、プレイアイテムは、開始及び終了時刻をもち、どのストリームがPlayItemの継続時間の間に再生されるべきかを記載する。3D立体視ビデオの再生のために、そのようなテーブルは、STN_table_for_Stereoscopicと呼ばれる。テーブルは、プレイアイテムの間にデコードされて表示されるべきであるストリームを識別するためのストリーム識別子のリストを提供する。(SS_dependent_view_blockとよばれる)右目ビューを含む従属のビデオ・ストリームのためのエントリーは、図5に示されているように、スクリーン・サイズ及び観察距離パラメータを含む。
【００９０】
なお、基準観察距離42、52は、実際の観察者に対するソース空間観察配置の設定を与えるオプションのパラメータである。装置は、基準スクリーン・サイズ及びターゲット・スクリーンサイズの比に基づく最適のターゲット観察距離Dt
Dt = Dref * Wt / Ws
を計算するために用意される。
【００９１】
ターゲット観察距離は観察者に示されることができ、例えばグラフィカル・ユーザインタフェースを介して表示される。実施の形態において、観察者システムは、実際の観察距離を測定して、例えば、観察者が正しいターゲット観察距離のところにいるときは例えば緑色のインジケータ、観察者が近すぎるか遠すぎるときには異なる色によって、観察者に最適の距離を示すために用意される。
【００９２】
3D画像信号の実施の形態において、ソース・オフセット・データは、少なくとも、ターゲット幅Wt及び第１ターゲット幅Wt1の比に依存してオフセットOt1に基づいて画像L及びRの相互の水平位置の前記変更を可能にするためのターゲット3D表示の対応する第１ターゲット幅Wt1のための第１ターゲット・オフセット値Ot1を含む。第１ターゲット幅Wt1及び実際のディスプレイ・スクリーン上の実際のターゲット幅Wtの対応に基づいて、受信装置は、提供されたターゲット・オフセット値を直接適用する。同様に、異なるターゲット幅のための少数の値が信号中に含まれることができる。さらに、与えられたターゲット幅と実際のターゲット幅との間の差を補正するために補間又は外挿が適用されることができる。なお、線形補間は、正しく中間値を提供する。
【００９３】
異なるターゲット幅のための多少の値のテーブルは、同様に、適用される実際のオフセットをコンテンツ作成者が制御すること、例えばそれぞれのターゲット・スクリーンサイズにおける3D効果のための作成者の好みに基づいてオフセットに更なる補正を追加することを可能にする。
【００９４】
立体視3Dデータがその中で伝達されることを可能にするために3D画像信号にスクリーン・サイズに依存するシフトを追加することは、3D画像信号をレンダリングするディスプレイの表示スクリーン・サイズとコンテンツ著者によって定められるシフトとの間の関係を定めることを含むことができる。
【００９５】
単純化された実施の形態において、この関係は、スクリーン・サイズとシフトとの間の関係、好ましい実施の形態において一定である関係のパラメータを含むことによって表されることができる。しかしながら、より広範囲のソリューションに対応して、コンテンツ著者に柔軟性を提供するために、この関係は、3D画像信号中のテーブルによって好ましくは提供される。データストリーム中にそのようなデータを組み込むことによって、著者は、スクリーン・サイズに依存するシフトが適用されるべきか否かを制御することができる。さらに、ユーザ好み設定を考慮することも可能になる。
【００９６】
好ましくは、提案されるシフトは、任意のグラフィクス・オーバレイと立体視ビデオ信号の両方に適用される。
【００９７】
本発明及び上記テーブルの考えられるアプリケーションは、BD規格に3D拡張を提供するためのアプリケーションである。
【００９８】
好ましい実施の形態において、SDS Preferenceフィールドが、ユーザの再生装置の出力モードの好みを示す再生装置ステータス・レジスタに追加される。以下でPSR21と呼ばれるこのレジスタは、スクリーン・サイズに依存するシフト(SDS)を適用するためのユーザ好みを示すことができる。
【００９９】
好ましい実施の形態において、SDS Statusフィールドは、再生装置のStereoscopic Mode Statusを示す再生装置ステータス・レジスタに追加され、以下において、このレジスタはPSR22と呼ばれる。SDS Statusフィールドは、好ましくは、現在適用されているシフトの値を示す。好ましい実施の形態において、Screen Widthフィールドは、再生装置の出力をレンダリングする装置の表示能力を示す再生装置ステータス・レジスタ（以下でPSR23と呼ばれる）に追加される。好ましくは、Screen Widthフィールド値は、通知を通して表示装置自体から取得されるが、代わりに、このフィールド値は、再生装置のユーザによって提供される。
【０１００】
好ましい実施の形態において、スクリーン幅とシフトとの間の関係を定めるエントリーを提供するために、Playlist拡張データにテーブルが追加される。より好ましくは、テーブル中のエントリーは、16ビットのエントリーである。好ましくは、テーブルエントリはさらに、SDS Preference設定をくつがえすためのフラグを提供する。あるいは、テーブルは、Clip Information拡張データ中に含まれる。
【０１０１】
PlayList拡張データにおける包含のためのSDS_table()の例が以下で表1として提供される。
【表１】
2013504968.tif 000003
【０１０２】
長さフィールドは、好ましくは、この長さフィールドの直後からSDS_table()の終わりまでのSDS_table()のバイト数を示し、好ましくは、長さフィールドは16ビットであり、更にオプションとして、それは32ビットとして選択される。
【０１０３】
overrule_user_preferenceフィールドは、好ましくは、ユーザ好みの適用を許可するか又はブロックする可能性を示し、さらに好ましくは、1bの値はユーザの好みが無効にされることを示し、0bの値はユーザの好みが優先することを示す。このテーブルがClip Information拡張データ中に含まれる場合、overrule_user_preferenceフィールドは、好ましくはテーブルから分離されて、Playlist拡張データ中に含まれる。
【０１０４】
number_of_entriesフィールドはテーブルに存在するエントリーの数を示し、screen_widthフィールドは好ましくはスクリーンの幅を示す。より好ましくは、このフィールドは、cmで有効ピクチャ領域の幅を定める。
【０１０５】
sds_directionフラグは、好ましくはオフセット方向を示し、そしてsds_offsetフィールドは、好ましくは、２で割られるピクセルのオフセットを示す。
【０１０６】
表2は、出力モードの好みを示す再生装置ステータス・レジスタの好ましい実施態様を示す。PSR21と呼ばれるこのレジスタは、ユーザの出力モード・プリファランスを表す。SDSプリファランス・フィールドの0bの値はSDSが適用されないことを意味し、SDSプリファランス・フィールド中の1bの値はSDSが適用されることを意味する。出力モード・プリファランスの値が0bであるとき、SDSプリファランスも0bに設定される。
【０１０７】
好ましくは、再生装置ナビゲーション・コマンド及び/又は、BDの場合、BD-Javaアプリケーションは、この値を変更することができない。
【表２】
2013504968.tif 000004
【０１０８】
表３は、再生装置の立体視モード・ステータスを示す再生装置ステータス・レジスタの好ましい実施態様を示し、このステータス・レジスタは以下でPSR22と呼ばれる。PSR22は、BD-ROMプレーヤーの場合の現在の出力モード及びPG TextST Alignmentを表す。PSR22に含まれる出力モードの値が変更されるとき、プライマリ・ビデオ、PG TextST及びインタラクティブ・グラフィック・ストリームの出力モードが、それに応じて変更される。
【０１０９】
PSR22中に含まれるPG TextST Alignmentの値が変更されるとき、PG Text ST Alignmentはそれに応じて変更される。
【０１１０】
表３の中で、フィールドSDS Directionは、オフセット方向を示す。SDSオフセット・フィールドは、２で割られるピクセルのオフセット値を含む。SDS Direction及びSDS Offsetの値が変更されるとき、プレーヤーのビデオ出力の左ビューと右ビューとの間の水平オフセットは、それに応じて変更される。
【表３】
2013504968.tif 000005
【０１１１】
表４は、以下でPSR23と呼ばれる、表示能力を示す再生装置ステータス・レジスタの好ましい実施の形態を示す。好ましくは以下で本願明細書において示されるスクリーン幅フィールドは、cmで接続されているTVシステムのスクリーン幅を示す。0bの値は、好ましくは、スクリーン幅が未定義又は未知であることを意味する。
【表４】
2013504968.tif 000006
【０１１２】
他の実施の形態において、オフセットを適用する装置はディスプレイである。この実施の形態において、表１からのオフセット及び基準スクリーン・サイズ又は幅及び基準観察距離は、画像又は再生装置(BDプレーヤー)によってHDMI上でディスプレイに送信される。再生装置中のプロセッサは、例えば、HDMIベンダー固有のInfoFrameに基準表示メタデータを埋め込む。HDMIにおけるInfoFrameは、HDMIインタフェースを通じて送信されるパケット中に含まれる値の表である。そのようなInfoFrameのフォーマットの一部の例が表５中に以下で示される。
【表５】
2013504968.tif 000007
【０１１３】
下記の表６は、表示メタデータ(例えばターゲット・オフセット及び基準スクリーン幅)を伝達するために用いられることができる２種類のベンダー固有infoframeを示す。表1からのオフセット及び/若しくは基準スクリーン幅パラメータがISO23002-3パラメータにおいて伝達されるか、又は、新たなメタデータ・タイプが、特に表１からの表示メタデータを送信するために定義される。
【表６】
2013504968.tif 000008
3D_Metadata_type = 001の場合、3D_Metadata_1...Nは、以下の値で満たされる。
2013504968.tif 000009
あるいは、ターゲット・オフセット並びに基準スクリーン幅及び距離は、ISO23002-3において定義される視差情報フィールド中で伝達される。ISO23002-3は以下のフィールドを定める。
3D_Metadata_1 = parallax_zero[15...8]
3D_Metadata_2 = parallax_zero[7...0]
3D_Metadata_3 = parallax_scale[15...8]
3D_Metadata_4 = parallax_scale[7...0]
3D_Metadata_5 = dref[15...8]
3D_Metadata_6 = dref[7...0]
3D_Metadata_7 = wref[15...8]
3D_Metadata_8 = wref[7...0]
我々は、オフセット並びに基準スクリーン幅及び観察距離が、以下のようにISO 23002-3メタデータ・フィールド中で伝達されることを提案する。
parallax_zero = sds_offset (表1参照)
parallax_scale = sds_direction
dref = view_distance
wref = screenwidth
sds_offset、sds_direction、view_distance及びscreenwidthの全てが、供給される必要があるというわけではない。一実施例において、sds_offset及びsds_directionのみが供給される。これらは、式に基づいて又は図4中のような表を用いて先に記載されるように画像装置中で計算されることができる。この場合には、表示装置は、オフセットを3Dソース画像データに直接適用する。
【０１１４】
他の実施例において、view_distance及びscreenwidthだけが、画像装置と表示装置との間のインタフェース上でメタデータとして供給される。この場合には、表示装置は、ソース3D画像データに適用されるオフセットを計算する必要がある。
【０１１５】
さらに別の実施の形態において、図4中のような表は、画像装置によって表示装置に転送される。表示装置は、ソース画像データに適用されるそのような表から適切なオフセットを選択するために、(それ自身の)ターゲット表示サイズ及び/又は距離についての自身の知識を用いる。以前の実施の形態に勝る利点は、それが、ソース画像データに適用されるオフセット上の少なくとも一部の制御を残すことである。
【０１１６】
単純化された実施の形態において、基準スクリーン幅及び観察距離のみが、ディスク上の3Dソース画像データに提供される。この単純化された場合において、基準スクリーン幅及び観察距離のみがディスプレイに送信され、ディスプレイが、実際のスクリーン幅に関するこれらの値に従ってオフセットを計算する。この場合には、SDS_tableは不要であり、基準スクリーン幅及び観察距離は、ビデオ・コンテンツに関するパラメータ(例えばビデオ・フォーマット、フレームレートなど)を含む既存のテーブル（AppInfoBDMVテーブル）中に埋め込まれる。AppInfoBDMVのセクションは、基準スクリーン幅及び観察距離パラメータを有するこの表の拡張の例として表7中に以下で提供される。
【表７】
2013504968.tif 000010
length:この表中のバイト数を示す。
video_format:このフィールドは、ディスクに含まれてHDMI上でディスプレイに送信されるコンテンツのビデオ・フォーマットを示す（例えば1920x1080p）。
frame_rate:このフィールドは、HDMIインタフェースを通じてディスプレイに送信されるコンテンツのフレームレートを示す。
ref_screenwidth: cmでのディスプレイの基準スクリーン幅。0の値は、スクリーン幅が未定義又は未知であることを意味する。
ref_view_distance: cmでのディスプレイに対する基準観察距離。0の値は、観察距離が未定義又は未知であることを意味する。
【０１１７】
したがって、テーブル5〜7を参照して説明される上記実施例において、三次元(3D)画像データ(例えばビデオ、グラフィクス又は他の視覚的情報)を処理するシステムは、3D表示信号を転送するために3D表示装置に結合される3D画像装置を含む。この実施の形態において、本発明による3D画像装置は、ソース空間観察配置におけるソース幅Ws及び観察者のソース目距離Esに基づく3D画像データに提供されるL画像とR画像との間の視差を示すソース・オフセット・データを読み出すための入力手段(51)、並びに、3D表示信号を出力するための出力手段を有し、3D画像装置は、ソース空間観察配置におけるソース幅Ws及び観察者のソース目距離Esに基づく3D画像データに提供されるL画像とR画像との間の視差を示す少なくともソース・オフセット・データを示す3D表示信号メタデータを追加するように適応されることを特徴とする。
【０１１８】
本発明のこの実施例による3D表示装置は、L及びR画像を有する3D表示信号を受信し、ソース空間観察配置とターゲット空間観察配置との間の差を補償するために、オフセットOによって画像L及びRの相互の水平位置を変更するように適応され、
- ターゲット空間観察配置において表示される3Dデータのターゲット幅Wtを示すターゲット・データを含む3D表示メタデータを提供するための表示メタデータ手段(112,192)、
- ソース空間観察配置におけるソース幅Ws及び観察者のソース目距離Esに基づく3D画像データに提供されるL画像とR画像との間の視差を示すソース・オフセット・データを3D表示信号から抽出するための手段を有し、3D表示装置は、ソース・オフセット・データに依存してオフセットOを決定するようにさらに用意される。
【０１１９】
したがって、テーブル5〜7を参照して説明されるシステムの実施の形態は、機械的反転に対応し、3Dソース装置によって実行される処理の一部が、3D表示装置によって実行される。したがって、本発明の更なる実施の形態において、3D表示装置は、本発明の他の実施の形態において記載されるような3D画像処理を実行することができる(画像切り取り、再スケーリング、サイド・カーテンを追加することなど)。
【０１２０】
本発明の更なる改善において、ピクチャ・イン・ピクチャ(PIP)の場合のシフトを処理する能力が、同様に対処される。
【０１２１】
立体画像における深さの量は、画像のサイズ及び画像に対する観察者の距離によって決まる。立体視PIPを導入するとき、PIPのためにいくつかのスケーリング・ファクタが用いられる場合があるので、この問題はさらに顕著である。各々のスケーリング・ファクタは、立体視PIPにおける深さの異なる知覚につながる。
【０１２２】
ブルーレイ・ディスクの場合における特定の実施の形態によれば、PIPアプリケーションのためのスケーリング・ファクタは、従属ビデオ・ストリームにおいて伝達されるオフセット・メタデータ・ストリームの選択に関連付けられて、選択されるオフセット・メタデータは(直接的又は間接的にスケーリング・ファクタを通して)PIPのサイズによって決まる。
【０１２３】
以下の情報の断片のうちの少なくとも１つが、PIPのスケーリング/サイズとオフセット・メタデータ・ストリームとを関連づけることを可能にするために必要である。
- 立体視PIPのためのエントリーによりSTN_table_SSを拡張する。これは、現在定義されているSTN_table_SSに"secondary _video_stream"エントリーを追加することによって実行される。
- その新たなエントリーにおいて、PIPのためにどのオフセット・ストリームを選択すべきかを特定するために、PIP_offset_reference_IDを追加する。PIPのスケーリング・ファクタがプレイリストのpip_metadata拡張データにおいて定められているので、それは、プレイリストごとに、スケーリングされるPIPのための唯一のスケーリング・ファクタが存在することを意味する。更に、PIPのフルスクリーン・バージョンのためのPIP_offset_reference_IDが存在する。
-オプションとして、オフセットを有する立体視ビデオ及びオフセットを有する2Dビデオを可能にするようにエントリーを拡張する。
- オプションとして、立体視PIPが字幕をサポートする場合、同様に、これらのエントリーは、立体視字幕のために、そして2D+オフセットに基づく字幕のために、拡張されることを必要とする。2D+オフセットPIPに対して、PiP字幕はPiP自体と同じオフセットを用いると仮定する。
【０１２４】
以下は既知のSTN_table_SSにおける変更の詳細な例である。
2013504968.tif 000011
ここで、表において、以下のセマンティックスが用いられる。
PiP_offset_sequence_id_ref: このフィールドは、オフセット値のストリームを参照するための識別子を特定する。オフセット値のこのストリームは、GOP毎に１つであるMVC SEIメッセージ中のテーブルとして伝達される。適用されるオフセットの量は、plane_offset_value及びplane_offset_directionによって決まる。
PiP_Full_Screen_offset_sequence_id_ref: このフィールドは、PiPスケーリング・ファクタがフルスクリーンに対して設定される場合のためのオフセット値のストリームを参照するための識別子を特定する。
is_SS_PiP: PiPが立体視ストリームであるかどうかを示すフラグ。
stream_entry(): ディスク上のTransportstream中のPiPストリームを含むパケットのPIDを含む。
stream_attributes(): ビデオの符号化タイプを示す。
SS_PiP_offset_sequence_id_ref: このフィールドは、立体視PIPのためのオフセット値のストリームを参照するための識別子を特定する。
SS_PiP_PG_textST_offset_sequence_id_ref: このフィールドは、立体視PiPの字幕のためのオフセット値のストリームを参照するための識別子を特定する。
dialog_region_offset_valid_flag: テキスト・ベースの字幕に適用されるオフセットの量を示す。
Left_eye_SS_PIP_SS_PG_textST_stream_id_ref: このフィールドは、立体視PiPのための左目立体視字幕ストリームのための識別子を示す。
Right_eye_SS_PIP_SS_PG_textST_stream_id_ref: このフィールドは、立体視PiPのための右目立体視字幕ストリームのための識別子を示す。
SS_PiP_SS_PG_text_ST_offset_sequence_id_ref: このフィールドは、立体視PiPの立体視字幕のためのオフセット値のストリームを参照するための識別子を特定する。
SS_PiP_Full_Screen_SS_PG_textST_offset_sequence_id_ref: このフィールドは、フル・スクリーンモードにおける立体視PiPの立体視字幕のためのオフセット値のストリームを参照するための識別子を特定する。
【０１２５】
図6は、観察距離の補償を示す。図は、図2と同様の平面図であり、矢印W1によって示されるソース幅Wsを有するスクリーン62をもつソース空間観察配置を示す。観察者に対するソース距離Dsは、矢印D1によって示される。図は同様に、矢印W2によって示されるソース幅Wtを有するスクリーン61をもつターゲット空間観察配置を示す。観察者に対するターゲット距離Dtは、矢印D3によって示される。図において、ソース及びターゲット目は一致し、EsはEtに等しい。最適の観察距離D2は、スクリーン幅の比に比例して選択された(よって、W1/D1=W2/D2)。矢印63によって示される対応する最適のオフセットは上で説明されるようにスクリーン・サイズ差を補償するために観察距離補償なしで適用される。
【０１２６】
しかしながら、実際の観察距離D3は、最適の距離D2から逸脱する。実際、家庭での観察者距離は、D2/D1=W2/W1と一致しない場合があり、一般的に、観察者はさらに離れている。したがって、上述のオフセット補正は、大きなスクリーンと全く同じビュー経験をもたらすことができない。我々はここで、観察者がD3（>D2）のところにいると仮定する。ソース観察者はソース・スクリーン62の前でオブジェクトを見て、そのオブジェクトは、大きなスクリーンに対してより近くで観察されると、観察者により近づく。しかしながら、名目上のオフセット補正が適用され、D3において観察されると、小さいスクリーン上に表示されるオブジェクトは、意図されるよりも観察者から遠くに現れる。
【０１２７】
大きなスクリーン深さのところに配置されるオブジェクトは、小さい(オフセット補償された)スクリーン上でD3のところで観察されると、大きなスクリーン深さの背後のオブジェクトになる。オブジェクトがソース・スクリーン上で観察されるときのその意図された深さ(すなわち大きなスクリーン深さ)に依然として現れるように、矢印63によって示される観察距離Ocvに対して補償されるオフセットによる間違った位置決めを補償することが提案される。例えば、映画はソース配置であり、家庭はターゲット配置である。観察距離の差に適応させるためのオフセットの補償は、矢印64によって示されて、以下の通りに計算される。3Dディスプレイに対する観察者のターゲット観察距離Dtに対する補償されたオフセットOcv、及び、ソース観察距離Dsをもつソース空間観察配置は、
Ocv = O / (1 + Dt / Ds - Wt / Ws )
に基づいて決定される。別の態様では、ピクセル解像度HPt及びスクリーン・サイズに基づいて、式は、
Ocv(pix) = E * (1-Wt / Ws) * Ds /(Dt + Ds - Wt / Ws * Ds) / Wt * HPt
となる。
【０１２８】
補償されたオフセットは、ターゲット空間観察配置に対して決定され、観察距離Dt及びソース観察距離Dsの比は、スクリーン・サイズ比Wt/Wsと比例的に一致しない。
【０１２９】
なお、視差と深さとの間の関係は非線形であるが、限られた範囲(大きなスクリーン周辺の深さ)は、線形に近似されることができる。したがって、オブジェクトの深さが大きなスクリーンから離れ過ぎていない場合には、それらは、観察距離補償されたオフセットを適用すると、小さなスクリーン上でD3のところで観察されるときに「歪みがない」ように見える。
【０１３０】
オブジェクトが大きなスクリーンから比較的遠く離れている場合、若干の歪みが存在するが、補償されたオフセットによって、これは概して最小限に維持される。ディレクターが通常は大部分のオブジェクトが大きなスクリーン周辺に(おおよそ対称的に分散されて)存在するように取り計らうことが想定される。したがって、大部分の場合において、歪みは最小限である。なお、意図されるより観察者が画面から遠い場合、深さは少なくとも部分的に補償されるが、オブジェクトが小さ過ぎる。補償は、最大の深さ補正と知覚される2Dサイズとの間の中庸を達成する。
【０１３１】
ソース・スクリーン幅がWs = Es / Osによって計算されることができることが留意されるべきである。スクリーン・サイズ比は、(同じ目距離を仮定して)ソース・オフセットOs及びターゲット・オフセットOの比によって置き換えられることができ、これは、
Ocv = O / (1 + Dt / Ds - Os / O ) 
をもたらす。
【０１３２】
実施の形態において、オフセット値及び観察距離のテーブルは3D画像信号中に含まれることができる。ここで、いくつかのカメラ・ショットに対して前記歪みが最小でない場合、コンテンツ作成者は、さまざまなホーム・スクリーンサイズ及び距離のためのオフセット情報を含むテーブルを介して、補償されたオフセットを変更することができる。そのようなテーブルは、新たなフレーム若しくはGOPごとに、又は新たなカメラ・ショットにおいて、3D画像信号中に含まれることができ、オブジェクト距離の重心は、大きなスクリーン距離と異なる。前記反復的なテーブルを介して、オフセットは、人の観察者にとって快適である速度で変更されることができる。
【０１３３】
本発明は、プログラム可能な成分を用いてハードウェア及び/又はソフトウェア中に実施されることができることに留意する必要がある。本発明は、プログラム可能なコンポーネントを用いて、ハードウェア及び/又はソフトウェアで実施されることができる。本発明を実施するための方法は、以下のステップを有する。第１ステップは、3D表示の空間表示パラメータを定める3D表示メタデータを提供する。更なるステップは、ターゲット空間観察配置における3Dディスプレイ上での表示のための3D表示信号を生成するためにソース空間観察配置に対して用意されるソース3D画像データを処理する。上述のように、3D表示メタデータは、ターゲット観察者のターゲット目距離Etをもつターゲット空間観察配置における3D表示のターゲット幅Wtを示すターゲット幅データを含む。本方法はさらに、装置のために上述のソース・オフセット・データを提供して適用するステップを含む。
【０１３４】
本発明が主にブルーレイ・ディスクを用いる実施の形態によって説明されたが、本発明は同様に任意の3D信号、転送又は記憶フォーマット（例えばインターネットを介した配信のためのフォーマット）に適している。さらに、ソース・オフセット・データは、3D画像信号中に含まれることもできるし、又は別途提供されることもできる。ソース・オフセット・データは、さまざまな態様で、例えば事前に決められた合計スクリーン・サイズに対してメートル、インチ及び/又はピクセルで、提供されることができる。本発明は、ハードウェア、ソフトウェア、ファームウェア又はこれらの任意の組み合わせを含む任意の適切な形式で実施されることができる。本発明は、オプションとして、例えばオーサリング又は表示設定における方法として、あるいは少なくとも部分的に、１つ以上のデータ・プロセッサ及び/又はデジタル・シグナル・プロセッサ上で動作するコンピュータ・ソフトウェアとして、実施されることができる。
【０１３５】
明確性のための前記説明が異なる機能ユニット及びプロセッサを参照して本発明の実施の形態を記載したことはいうまでもない。しかしながら、本発明はこれらの実施の形態に限られず、記載された新規な特徴又は特徴の組み合わせにもある。異なる機能ユニット又はプロセッサ間における機能の任意の適切な分散が用いられることができる。例えば、別々のユニット、プロセッサ又はコントローラによって実行されることが示される機能は、同じプロセッサ又はコントローラによって実行されることができる。したがって、特定の機能ユニットに対する参照は、厳密な論理的又は物理的構造又は構成を示すのではなく、記載された機能を提供するための適切な手段を単に参照するものとしてみなされるべきである。
【０１３６】
さらに、個別に挙げられているが、複数の手段、要素又は方法ステップは、例えば単一のユニット又はプロセッサによって実施されることができる。加えて、個々の特徴が異なる請求項中に含まれる場合があるが、これらはおそらく都合よく組み合わせられることができ、異なる請求項中に含まれることは、特徴の組み合わせが利用できない及び/又は有利ではないことを意味しない。さらに、特徴が１つの請求項カテゴリに含まれることは、このカテゴリへの限定を意味せず、特徴は適切に他の請求項カテゴリに同様に適用可能であることを示す。さらに、請求項中の特徴の順序は、特徴が機能すべき如何なる特定の順序をも意味せず、特に、方法の請求項中の個々のステップの順序は、ステップがこの順序で実行されるべきであることを意味しない。むしろ、ステップは、任意の適切な順序で実行されることができる。更に、単数の参照は複数を除外しない。"a", "an", "first", "second"などは複数を除外しない。請求項中の参照符号は、単に実施例を明確にするものとして提供され、いかなる態様においても請求の範囲を制限するものとして解釈されてはならない。
「有する」「含む」などの用語は、挙げられたもの以外の他の要素又はステップの存在を除外しない。
【図１】
2013504968.tif 000012
【図２】
2013504968.tif 000013
【図３】
2013504968.tif 000014
【図４】
2013504968.tif 000015
【図５】
2013504968.tif 000016
【図６】
2013504968.tif 000017
【図７】
2013504968.tif 000018
【図８】
2013504968.tif 000019
【国際調査報告】
2013504968.tif 000020
2013504968.tif 000021
2013504968.tif 000022