(57)【要約】  本発明は、ターゲット３次元ディスプレイデバイスで使用するために３次元ビデオ信号データを生成しかつ再ターゲットする方法及びシステムであって、３次元ビデオ信号が、多視点ディスプレイデバイスを駆動するのに適した３次元ビデオデータと、基準３次元ディスプレイデバイスのための３次元ビデオデータの視差マッピングを示す基準視差マッピングデータとを備え、基準視差マッピングと、基準３次元ディスプレイデバイスの特性及びターゲット３次元ディスプレイデバイスの対応する特性とに基づいて、ターゲット視差マッピングが導出され、得られたターゲット視差マッピングは、ターゲット視差マッピングデータを使用して３次元ビデオデータをターゲット３次元ビデオデータに再ターゲットするために使用される方法及びシステムに関する。
2016521488.tif 000002
【特許請求の範囲】
【請求項１】
ターゲット３次元ディスプレイデバイスで使用するために３次元ビデオ信号データを再ターゲットする方法であって、前記方法は、
−  前記３次元ビデオ信号を受信するステップであって、前記３次元ビデオ信号が、
−  多視点ディスプレイデバイスを駆動するのに適した３次元ビデオデータと、
−  基準３次元ディスプレイデバイスのための前記３次元ビデオデータの視差マッピングを示す基準視差マッピングデータと
を備えるステップと、
−  前記基準視差マッピングと、前記基準３次元ディスプレイデバイスの特性及び前記ターゲット３次元ディスプレイデバイスの対応する特性とに基づいて、ターゲット視差マッピングを導出するステップと、
−  前記ターゲット視差マッピングデータを使用して、前記３次元ビデオデータをターゲット３次元ビデオデータに再ターゲットするステップと
を含む、方法。
【請求項２】
前記ターゲット３次元ディスプレイデバイスが、前記基準３次元ディスプレイデバイスに比べて、特徴的要素を表示するためのより大きい視差範囲を有するという条件の下で、前記ターゲット視差マッピングの導出が、前記より大きい視差範囲内での前記基準視差マッピングデータと線形視差マッピングとの重み付け加算を含む、請求項１に記載の方法。
【請求項３】
前記ターゲット視差マッピングが、target_disparity_mapping(x)に対応し、target_disparity_mapping(x)=
((1-beta)・reference_disparity_mapping(x))+
(beta・linear_approximation_reference_disparity_mapping(x))
であり、
reference_disparity_mapping(x)が、ｘに関する前記基準視差マッピングに対応し、
linear_approximation_ref_disparity(x)が、
点（dmin,reference_disparity_mapping(dmin))及び
(dmax,reference_disparity_mapping(dmax))を通る線形視差マッピングに対応する、
請求項２に記載の方法。
【請求項４】
前記基準視差マッピングが、前記基準３次元ディスプレイデバイスの特性を使用して生成され、それにより、前記基準視差マッピングが、前記３次元ビデオデータでの特徴的要素の前記視差を、前記特徴的要素を表現するのに適した前記基準３次元ディスプレイデバイスの所定の視差範囲にマッピングする、請求項１に記載の方法。
【請求項５】
前記３次元ビデオ信号が、前記導出で使用される前記基準３次元ディスプレイデバイスの前記特性を更に含む、請求項１乃至４のいずれか一項に記載の方法。
【請求項６】
前記基準ディスプレイの前記特性が、
−  ブラー／視差曲線、
−  鮮鋭度／視差曲線、
−  ブラー／視差範囲、
−  鮮鋭度／視差範囲、
−  特徴的／視差範囲、
−  所定の鮮鋭度基準を超える鮮鋭度を有する、３次元画像を表示するのに適した視差範囲を示す鮮鋭度／視差データ、及び／又は
−  所定のブラー尺度未満のブラーを有する、３次元画像を表示するのに適した視差範囲を示すブラー／視差データ
の１つを含む、請求項１乃至４のいずれか一項に記載の方法。
【請求項７】
３次元ビデオ信号を生成する方法であって、前記３次元ビデオ信号が、ターゲット３次元ディスプレイデバイスに再ターゲットするのに適しており、前記方法が、
−  多視点ディスプレイデバイスを駆動するのに適した３次元ビデオデータを取得するステップと、
−  基準３次元ディスプレイデバイスの特性を取得するステップと、
−  基準３次元ディスプレイデバイスのための前記３次元ビデオデータの視差マッピングを示す基準視差マッピングデータを生成するステップと、
−  前記３次元ビデオ信号を生成するステップとを含み、ここで、前記３次元ビデオ信号を生成するステップが、前記３次元ビデオデータと前記基準視差マッピングデータとを複合するステップを含む、
方法。
【請求項８】
前記基準視差マッピングデータを生成するステップが、前記基準３次元ディスプレイデバイスの前記特性を使用するステップを含み、それにより、前記基準視差マッピングが、前記３次元ビデオデータでの特徴的要素の前記視差を、前記特徴的要素を表現するのに適した前記基準３次元ディスプレイデバイスの所定の視差範囲にマッピングする、請求項７に記載の方法。
【請求項９】
前記３次元ビデオ信号を生成するステップが、前記３次元ビデオデータと、前記基準視差マッピングデータと、前記基準３次元ディスプレイデバイスの前記特性とを複合するステップを含む、請求項８に記載の方法。
【請求項１０】
ターゲット３次元ディスプレイデバイスで使用するために３次元ビデオ信号を再ターゲットするためのシステムであって、前記システムは、
−  前記３次元ビデオ信号を受信する受信機であって、前記３次元ビデオ信号が、
−  多視点ディスプレイデバイスを駆動するのに適した３次元ビデオデータと、
−  基準３次元ディスプレイデバイスのための前記３次元ビデオデータの視差マッピングを示す基準視差マッピングデータと
を備える受信機と、
−  前記基準視差マッピングと、前記基準３次元ディスプレイデバイスの特性及び前記ターゲット３次元ディスプレイデバイスの対応する特性とに基づいて、ターゲット視差マッピングを導出する導出部と、
−  前記ターゲット視差マッピングデータを使用して、前記３次元ビデオデータをターゲット３次元ビデオデータに再ターゲットするコンバータと
を備える、システム。
【請求項１１】
前記ターゲット３次元ディスプレイデバイスが、前記基準３次元ディスプレイデバイスに比べて、特徴的要素を表示するためのより大きい視差範囲を有するという条件の下で、前記導出部が、前記より大きい視差範囲内での前記基準視差マッピングデータと線形視差マッピングとの重み付け加算を含めて、前記ターゲット視差マッピングを導出する、請求項１０に記載のシステム。
【請求項１２】
前記ターゲット視差マッピングが、target_disparity_mapping(x)に対応し、target_disparity_mapping(x)=
((1-beta)・reference_disparity_mapping(x))+
(beta・linear_approximation_reference_disparity_mapping(x))
であり、
reference_disparity_mapping(x)が、ｘに関する前記基準視差マッピングに対応し、
linear_approximation_ref_disparity(x)が、点(xmin,reference_disparity_mapping(xmin))及び(xmax,reference_disparity_mapping(xmax))を通る線形視差マッピングに対応する、
請求項１１に記載のシステム。
【請求項１３】
前記基準視差マッピングが、前記基準３次元ディスプレイデバイスの特性を使用して生成され、それにより、前記基準視差マッピングが、前記３次元ビデオデータでの特徴的要素の前記視差を、前記特徴的要素を表現するのに適した前記基準３次元ディスプレイデバイスの所定の視差範囲にマッピングする、請求項１０に記載のシステム。
【請求項１４】
前記３次元ビデオ信号が、前記導出部によって使用される前記基準３次元ディスプレイデバイスの前記特性を更に含む、請求項１０乃至１３のいずれか一項に記載のシステム。
【請求項１５】
前記基準ディスプレイの前記特性が、
−  ブラー／視差曲線、
−  鮮鋭度／視差曲線、
−  ブラー／視差範囲、
−  鮮鋭度／視差範囲、
−  特徴的／視差範囲、
−  所定の鮮鋭度基準を超える鮮鋭度を有する、３次元画像を表示するのに適した視差範囲を示す鮮鋭度／視差データ、及び／又は
−  所定のブラー尺度未満のブラーを有する、３次元画像を表示するのに適した視差範囲を示すブラー／視差データ
の少なくとも１つを含む、請求項１０乃至１３のいずれか一項に記載のシステム。
【請求項１６】
請求項１０乃至１３に記載のシステムのいずれか１つを備える、３次元ディスプレイデバイス。
【請求項１７】
３次元ビデオ信号を生成するためのシステムであって、前記３次元ビデオ信号が、ターゲット３次元ディスプレイデバイスに再ターゲットするのに適しており、前記システムが、
−  多視点ディスプレイデバイスを駆動するのに適した３次元ビデオデータを受信する受信機と、
−  基準３次元ディスプレイデバイスの特性を獲得する獲得ユニットと、
−  基準視差マッピングデータを生成する第１の生成器であって、前記基準視差マッピングデータが、基準３次元ディスプレイデバイスのための前記３次元ビデオデータの視差マッピングを示す第１の生成器と、
−  前記３次元ビデオ信号を生成する第２の生成器とを備え、前記３次元ビデオ信号の生成が、前記３次元ビデオデータと、前記基準視差マッピングデータとを複合することを含む、
システム。
【請求項１８】
前記第１の生成器が、前記基準３次元ディスプレイデバイスの前記特性を使用して前記基準視差マッピングを生成し、それにより、前記基準視差マッピングが、前記３次元ビデオデータでの特徴的要素の前記視差を、前記特徴的要素を表現するのに適した前記基準３次元ディスプレイデバイスの所定の視差範囲にマッピングする、請求項１７に記載のシステム。
【請求項１９】
前記第２の生成器が、少なくとも、前記３次元ビデオデータと、前記基準視差マッピングデータと、前記基準３次元ディスプレイデバイスの前記特性とを複合することによって、前記３次元ビデオ信号を生成する、請求項１８に記載のシステム。
【請求項２０】
ターゲット３次元ディスプレイデバイスに再ターゲットするのに適した３次元ビデオ信号であって、
−  多視点ディスプレイデバイスを駆動するのに適した３次元ビデオデータと、
−  基準３次元ディスプレイデバイスのための前記３次元ビデオデータの視差マッピングを示す基準視差マッピングデータと
を備える、３次元ビデオ信号。
【請求項２１】
請求項２０に記載の３次元ビデオ信号を備える、データキャリア。
【請求項２２】
３次元ビデオ信号を再ターゲットするためのコンピュータプログラムであって、請求項１乃至４の何れか一項に記載の方法を実行するための命令を含む、コンピュータプログラム。
【請求項２３】
請求項２２に記載のコンピュータプログラムを備える、コンピュータプログラム。
【請求項２４】
３次元ビデオ信号を生成するためのコンピュータプログラムであって、請求項７乃至９の何れか一項に記載の方法を実行するための命令を含む、コンピュータプログラム。
【請求項２５】
請求項２４に記載のコンピュータプログラムを備えるコンピュータプログラム製品。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、３次元画像信号を再ターゲットするための方法、３次元画像信号を生成するための方法、３次元画像信号を再ターゲットするためのシステム、３次元画像信号を生成するためのシステム、３次元画像信号、３次元画像信号を保持するデータキャリア、３次元画像信号を再ターゲットするためのコンピュータプログラム、３次元画像信号を生成するためのコンピュータプログラム、３次元画像信号を再ターゲットするためのコンピュータプログラムを記憶するためのコンピュータプログラム製品、及び３次元画像信号を生成するためのコンピュータプログラムを記憶するためのコンピュータプログラム製品に関する。
【背景技術】
【０００２】
ここ２０年にわたり、３次元表示技術は更に成熟している。３次元（３Ｄ）ディスプレイデバイスは、見られているシーンの異なるビューを閲覧者の各眼に提供することによって、視覚体験に第３の次元（深度）を加える。
【０００３】
その結果、現在、３次元画像／ビデオ信号を閲覧するための様々な方法がある。一方で、眼鏡ベースの３次元ディスプレイシステムがあり、ユーザは、左眼と右眼に異なる画像を提供される。他方、シーンの３次元ビューを閲覧者の裸眼に提供する裸眼立体視３次元ディスプレイシステムもある。
【０００４】
眼鏡ベースのシステムでは、能動／受動眼鏡が、閲覧者のそれぞれの眼のために画面上に表示される異なる画像を分離するためのフィルタを提供する。眼鏡を用いない又は裸眼立体視システムでは、デバイスは、大抵は多視点ディスプレイであり、これは、例えばバリアやレンチキュラの形態での光指向手段を使用して、左の画像を左眼に、右の画像を右眼に送る。
【０００５】
標準の３Ｄシネマでは、閲覧者の眼のための左ビューと右ビューを分離するために眼鏡が使用される。例えば、毎秒（画像データの）２４フレームではなく、ステレオシステムでは、毎秒４８フレームが提供され得る。即ち、左眼に対して２４フレーム、及び右眼に対して２４フレームである。ステレオペアの左フレームは、右フレームとはわずかに異なる同じシーンのビューを含む。この情報は、人間の脳によって合成され、知覚される３次元画像又はビデオをもたらす。
【０００６】
３次元画像を知覚するために使用される手がかりの１つは、パララックスであり、即ち、２つのビュー間に、物体の見掛けの位置の見掛けのずれがある。３次元画像信号を提供するシステムにおいて存在する問題は、そこに含まれるパララックス情報が、典型的には、特定の３次元ディスプレイシステム／デバイスに最適化されていることである。その結果、信号に含まれるパララックス情報は、別のタイプの３次元ディスプレイシステム／デバイス上での表示には適していないことがある。
【０００７】
従って、３次元入力信号を表示するために使用される３次元ディスプレイデバイスの性能への入力３次元信号の適合の必要性がある。
【発明の概要】
【発明が解決しようとする課題】
【０００８】
本発明者らは、特に、大きな深度効果を表示する裸眼立体視３次元ディスプレイシステム／デバイスに関して、即ち左右の物体がより顕著な視差を有するとき、これが画像のブラーをもたらすことを観察した。
【課題を解決するための手段】
【０００９】
本発明の第１の態様は、ターゲット３次元ディスプレイデバイスで使用するために３次元ビデオ信号データを再ターゲットする方法であって、３次元ビデオ信号を受信するステップであって、３次元ビデオ信号が、多視点ディスプレイデバイスを駆動するのに適した３次元ビデオデータと、基準３次元ディスプレイデバイスのための３次元ビデオデータの視差マッピングを示す基準視差マッピングデータとを備えるステップを含む方法に関する。更に、この方法は、基準視差マッピングと、基準３次元ディスプレイデバイスの特性及びターゲット３次元ディスプレイデバイスの対応する特性とに基づいて、ターゲット視差マッピングを導出するステップと、ターゲット視差マッピングデータを使用して、３次元ビデオデータをターゲット３次元ビデオデータに再ターゲットするステップとを含む。
【００１０】
本発明は、ターゲット３次元ディスプレイデバイスへの３次元ビデオデータの効率的な再ターゲットを効果的に可能にする。このために、本発明は、基準３次元ディスプレイの基準視差マッピングを含み、基準視差マッピングが、再ターゲットのためにターゲット３次元ディスプレイデバイスによって使用され得る。基準視差マッピングは、３次元ビデオデータに依存し、好ましくは、経時的にマッピングを画像コンテンツに適合させる時変数である。基準マッピングは、コンテンツ作成者によって提供され得て、基準３次元ディスプレイデバイスの既知の特性を使用して生成される。
【００１１】
更に、ターゲット３次元ディスプレイデバイスで、ターゲット３次元ディスプレイデバイスの対応する特性が既知であると考えられる。これらの対応する特性は、ディスプレイの寿命にわたって安定であるので、例えば、ターゲットディスプレイデバイス内のフラッシュメモリ又は別の不揮発性記憶装置に埋め込まれて利用可能であり得る。その後、ディスプレイ製造業者、組立て業者、又はターゲット３次元ディスプレイデバイスのそのような特性を測定／決定している別の当事者が、これらをディスプレイデバイスに格納することができる。
【００１２】
ターゲット３次元ディスプレイデバイスは、このデータを検索し、検索されたデータを、基準３次元信号の特性と比較することができる。本発明は、１つ又は複数の標準化されたディスプレイデバイスの使用を可能にし、それらの特性は、特性不揮発性記憶装置に格納されることもある。この手法を使用すれば、どの特定の標準化された基準ディスプレイに基準視差マッピングが関連付けられるかを３次元ビデオ信号において示すのに十分であり得る。ただ１つの標準化されたディスプレイデバイスの場合には、そのようなインジケータは冗長であり得る。
【００１３】
代替として、３次元ビデオ信号は、基準３次元ディスプレイデバイスの特性を含むことができ、それにより、システムに融通性を与え、１つ又は複数のターゲットディスプレイデバイスに関する基準視差マッピングをコンテンツ作成者が提供できるようにする。
【００１４】
ターゲット３次元ディスプレイデバイスは、基準３次元ディスプレイデバイスの特性と自身の対応する特性とを比較することができ、それを基に、この比較の結果及び基準視差マッピングに基づいてターゲット視差マッピングを生成することを決定する。
【００１５】
歴史的に、３次元のディスプレイデバイスは、時を経るにつれてより良い品質の３Ｄ出力を実現しているので、（例えば所定のブラー基準を超える）ブラーを実質的に有さずに３次元ディスプレイデバイスがコンテンツを表示することができる視差範囲は、時を経るにつれて増加すると予想される。その結果、現在の基準ディスプレイデバイスに関して生成されるコンテンツは、将来の改良されたディスプレイデバイスに関する最良の視差マッピングを提供しないことがあり、その論拠は、そのようなコンテンツが、美的観点から、コンテンツ深度を現在利用可能な表示深度／視差に最良にマッピングする基準視差マッピングを含むことである。
【００１６】
本発明は、ターゲット３次元ディスプレイデバイスが、そのターゲット３次元ディスプレイデバイスにより良く適する３次元視差マッピングを生成するのに必要な情報を提供されるので、将来のディスプレイデバイスに関しても洗練された改良を効果的に可能にする。
【００１７】
特に、本出願の文脈で、深度と視差は、同じ文脈で使用される。単純化された深度は視差と反比例し、従って、深度領域での処理は、典型的には、視差領域でも等価性を有する。深度と視差はどちらも、例えば多視点（２つ以上）のビデオ信号の左眼ビューと右眼ビューの間の画像パララックスに関する情報を提供する。
【００１８】
３次元ビデオ信号に含まれる３次元画像データは、好ましくは、多視点出力を生成するために使用され得る３次元画像データである。３次元画像データは、例えば、画像ベースのレンダリングに適した関連の深度及び／又は視差マップを有するただ１つのビューに関係することがあり、又は、より好ましくは、１つ又は複数の関連の深度マップを有するステレオ信号を含む。この信号は有益である。なぜなら、この信号は、損失なくステレオコンテンツの再現を可能にし、しかしまた、ｎ視点（ｎ＞２）ディスプレイのためのコンテンツのレンダリングの際に、オクルージョンのない領域を埋めるのに有用なステレオ信号情報のそれぞれのビューを提供するからである。
【００１９】
更に、本発明は、明示的な深度又は視差情報が提供されないが、３次元画像信号が、深度／視差マップをリアルタイムで導出するのに十分なコンテンツを提供することができる状況でも使用され得る。例えば、深度マップのないステレオコンテンツの場合、よく知られた技法を使用して深度／視差マップが推定され得る。しかし、距離が異なることがあり、幾つかのシーンに関しては、ステレオコンテンツのみに基づいてそのような深度／視差マップを正確に導出するのは難しいことがある。
【００２０】
好ましい実施形態では、基準視差マッピングが、基準３次元ディスプレイデバイスの特性を使用して生成され、それにより、基準視差マッピングが、３次元ビデオデータでの特徴的要素の視差を、その特徴的要素を表現するのに適した基準３次元ディスプレイデバイスの所定の視差範囲にマッピングする。
【００２１】
この手法の利点は、典型的には鮮鋭な（即ち所定のブラー閾値よりも低いブラーを有する）表現を必要とする３次元画像信号内の要素に関して、これが実際に提供され得ることである。
【００２２】
より好ましい実施形態では、ターゲット３次元ディスプレイデバイスが、基準３次元ディスプレイデバイスに比べて、特徴的要素を表示するためのより大きい視差範囲を有するという条件の下で、ターゲット視差マッピングの導出が、より大きい視差範囲内での基準視差マッピングデータと線形視差マッピングとの重み付け加算を含む。
【００２３】
この手法を使用すると、視差マッピングは、理想的なユニティマッピング（即ち、入力が出力である）により近くなるが、使用される負と正の視差の量は実質的に保たれる。更に、この改良方法は、知覚的に好ましい結果を提供することが実験的に確認された。
【００２４】
更に好ましくは、ターゲット視差マッピングが、
target_disparity_mapping(x)に対応し、ここで、
target_disparity_mapping(x)=((1-beta)・reference_disparity_mapping(x))+
(beta・linear_approximation_reference_disparity_mapping(x))
であり、ここで、
reference_disparity_mapping(x)は、ｘに関する基準視差マッピングに対応し、
linear_approximation_ref_disparity(x)は、点(dmin,reference_disparity_mapping(dmin))及び(dmax,reference_disparity_mapping(dmax))を通る線形視差マッピングに対応する。
【００２５】
上記の手法は、良好な結果を与えることを示している。なぜなら、この手法は、視差マッピングに存在する線形性を実質的に保ち、更に、入力視差と存在する対称性を出力視差でも保つからである。
【００２６】
基準３次元ディスプレイデバイスの特性は、好ましくは、視差の関数としてディスプレイのブラーを示す曲線の形態でブラー／視差範囲の１つを備える。理想的には、再マッピングを改良するために、ブラーは、標準化されたブラー基準に基づく。代替として、反転鮮鋭度視差曲線が提供され得る。単純化されたシステムでは、同様のタイプの情報が、ブラーが最小である好ましい視差範囲を示すブラー／視差範囲の形態で提供され得る。同様に、鮮鋭度／視差範囲が提供され得る。一般に対称的な性質により、ブラー範囲又は鮮鋭度範囲は、ただ１つの視差値を使用して特徴付けられ得る。
【００２７】
本発明の第２の態様は、３次元ビデオ信号を生成する方法であって、３次元ビデオ信号が、ターゲット３次元ディスプレイデバイスに再ターゲットするのに適しており、方法が、多視点ディスプレイデバイスを駆動するのに適した３次元ビデオデータを取得するステップと、基準３次元ディスプレイデバイスの特性を取得するステップと、基準３次元ディスプレイデバイスのための３次元ビデオデータの視差マッピングを示す基準視差マッピングデータを生成するステップと、３次元ビデオ信号を生成するステップとを含み、ここで、３次元ビデオ信号を生成するステップが、３次元ビデオデータと基準視差マッピングデータとを複合するステップを含む方法に関する。
【００２８】
そのようにして生成された３次元画像信号は、本発明の第１の態様による方法への入力として機能することができる。
【００２９】
好ましくは、基準視差マッピングデータを生成するステップが、基準３次元ディスプレイデバイスの特性を使用するステップを含み、それにより、基準視差マッピングが、３次元ビデオデータでの特徴的要素の視差を、その特徴的要素を表現するのに適した基準３次元ディスプレイデバイスの所定の視差範囲にマッピングする。これは、３次元ビデオデータでの特徴的要素に関する視差をより良く取り扱うことを可能にするターゲット３次元ディスプレイデバイスの機能をもたらす。
【００３０】
特に、特徴的要素は、一般に閲覧者の注目を引く例えば顔等の要素に対応し、そのような特徴的物体は、美的な観点からのブラーの使用は除き、好ましくは鮮鋭に（即ちブラーがないように）ディスプレイデバイス上に表現される。
【００３１】
より好ましくは、３次元ビデオ信号の生成は、３次元ビデオデータと、基準視差マッピングデータと、基準３次元ディスプレイデバイスの特性とを複合するステップを含むこの特徴により、ターゲットデバイスにおいて１つ又は複数の基準ディスプレイデバイスの特性を定義する必要はなく、複数の基準デバイスの場合に、基準ディスプレイデバイスを選択する必要はない。
【００３２】
本発明の第３の態様は、ターゲット３次元ディスプレイデバイスで使用するために３次元ビデオ信号を再ターゲットするためのシステムであって、３次元ビデオ信号を受信するように構成された受信機であって、３次元ビデオ信号が、多視点ディスプレイデバイスを駆動するのに適した３次元ビデオデータと、基準３次元ディスプレイデバイスのための３次元ビデオデータの視差マッピングを示す基準視差マッピングデータとを備える受信機を備えるシステムに関する。このシステムは、更に、基準視差マッピングと、基準３次元ディスプレイデバイスの特性及びターゲット３次元ディスプレイデバイスの対応する特性とに基づいて、ターゲット視差マッピングを導出するように構成された導出部と、ターゲット視差マッピングデータを使用して、３次元ビデオデータをターゲット３次元ビデオデータに再ターゲットするように構成されたコンバータとを備える。
【００３３】
本発明の第４の態様は、本明細書で上述した３次元ビデオ信号を再ターゲットするためのシステムを備える３次元ディスプレイデバイスに関する。
【００３４】
本発明の第５の態様は、３次元ビデオ信号を生成するためのシステムであって、３次元ビデオ信号が、ターゲット３次元ディスプレイデバイスに再ターゲットするのに適しており、システムが、多視点ディスプレイデバイスを駆動するのに適した３次元ビデオデータを受信するように構成された受信機と、基準３次元ディスプレイデバイスの特性を獲得するように構成された獲得ユニットと、基準視差マッピングデータを生成するように構成された第１の生成器であって、基準視差マッピングデータが、基準３次元ディスプレイデバイスのための３次元ビデオデータの視差マッピングを示す第１の生成器と、３次元ビデオ信号を生成するように構成された第２の生成器とを備え、３次元ビデオ信号の生成が、３次元ビデオデータと、基準視差マッピングデータとを複合することを含むシステムに関する。
【００３５】
本発明の第６の態様は、ターゲット３次元ディスプレイデバイスに再ターゲットするのに適した３次元ビデオ信号であって、多視点ディスプレイデバイスを駆動するのに適した３次元ビデオデータと、基準３次元ディスプレイデバイスのための３次元ビデオデータの視差マッピングを示す基準視差マッピングデータとを備える３次元ビデオ信号に関する。
【００３６】
更に、本発明は、３次元ビデオ信号を再ターゲットのためのコンピュータプログラムであって、上述したような再ターゲット方法を実行するための命令を備えるコンピュータプログラムに関する。
【００３７】
更に、本発明は、３次元ビデオ信号を生成するためのコンピュータプログラムであって、上述したような生成方法を実行するための命令を備えるコンピュータプログラムに関する。
【００３８】
更に、本発明は、上述した３次元ビデオ信号を備えるデータキャリア、上述した再ターゲットのためのコンピュータプログラムを備えるデータキャリア、又は上述したような生成のためのコンピュータプログラムを備えるデータキャリアに関する。適切なデータキャリアの例は、不揮発性記憶機能を提供するデータキャリア、例えば、光ディスク、ハードディスク、又は固体記憶デバイスである。
【００３９】
本発明のこれら及び他の態様、特徴、及び利点は、本明細書で以下に述べる実施形態を参照すれば明らかになり、解明されよう。
【００４０】
本発明の実施形態を、単に例として、図面を参照して述べる。
【図面の簡単な説明】
【００４１】
【図１】基準３次元ディスプレイデバイスのブラーと表示視差の曲線を示すグラフを示す図である。
【図２】ターゲット３次元ディスプレイデバイスのブラーと表示視差の曲線を示すグラフを示す図である。
【図３】基準視差マッピングと、基準３次元ディスプレイデバイスとターゲット３次元ディスプレイデバイスとの特性の比較とに基づいた、ターゲット視差マッピングの導出を示すグラフを示す図である。
【図４】３次元ビデオ信号を生成する方法の流れ図である。
【図５】３次元ビデオ信号を生成するためのシステムのブロック図である。
【図６】ターゲット３次元ディスプレイデバイスでの使用のために３次元ビデオ信号データを再ターゲットする方法の流れ図である。
【図７】ターゲット３次元ディスプレイデバイスで使用するために３次元ビデオ信号を再ターゲットするためのシステムのブロック図である。
【図８】深度から出力／表示視差値への経路を示す図式表現を示す図である。
【発明を実施するための形態】
【００４２】
本発明者らは、ターゲット３次元ディスプレイデバイス上へのレンダリングのために、３次元ビデオ信号にメタデータを追加して、その信号に含まれる３次元ビデオデータの再ターゲット又は再マッピングを可能にすることを提案する。
【００４３】
典型的には、コンテンツは、コンテンツ作成者によって、美的観点から意図された通りに３次元ビデオ信号をレンダリングすることができる理想的なディスプレイデバイス用に作成されることを本発明者らは認識した。しかし、実用時、実際のディスプレイデバイス上にそのようなコンテンツがレンダリングされるとき、これは常に実現可能なわけではない。その結果、３次元ビデオでの視差が再マッピングされなければならないことがあり得る。これが行われるべき様式は、ターゲットディスプレイデバイスでは明らかでないことがあり、又は容易に決定されないことがある。
【００４４】
この問題に対処するために、本発明者らは、基準３次元ディスプレイデバイスに関するメタデータを３次元画像信号に追加することを提案する。このメタデータは、一方では、画像信号に含まれる実際の３次元ビデオデータに基づく。他方では、これは、ディスプレイデバイスの特性に基づく。
【００４５】
本発明を使用するために構成されるターゲット３Ｄディスプレイデバイスは、自身の性能を認識している必要がある。これらの性能は、典型的には、デバイスの製造業者によって、再ターゲットソフトウェアに利用可能にされる。情報は、不揮発性記憶装置で、又はＲＯＭ若しくは他の永久記憶装置を使用して利用可能にされ得る。この情報を使用して、ターゲットディスプレイデバイスは、その特性を基準３Ｄディスプレイデバイスの特性に関係付けることができる。
【００４６】
ターゲット３Ｄディスプレイデバイスは、本発明による３次元信号を受信するとき、基準３Ｄデバイスの特性を自身の特性に関係付ける必要がある。このために、全てのターゲットディスプレイが、１つ又は複数の基準ディスプレイデバイスの特性を提供されてよく、又は代替として、そのような特性が３次元画像信号に含まれていてよい。
【００４７】
ターゲット３次元ディスプレイデバイスは、両方の特性を利用可能であるとき、基準視差マッピングに基づいて、改良された視差マッピングを得ることが可能であるか否かに関する評価を行うことができる。
【００４８】
例えば、ターゲット３Ｄディスプレイデバイスが自身のブラー／視差関係を知っている状況を考える。即ち、ターゲット３Ｄディスプレイデバイスは、ブラー尺度が所定の閾値よりも低い状態で表示され得る輝度画素での表示視差の範囲を知っている。次に、ターゲット３Ｄディスプレイデバイスが３次元画像信号を受信する状況を考察する。３次元画像信号は、３次元データと、基準３Ｄディスプレイデバイスに関する付随する基準視差マッピングとを、基準３Ｄディスプレイデバイスのブラー／視差関係と共に含む。
【００４９】
次に、ターゲット３Ｄディスプレイデバイスは、自身のブラー／視差関係を基準３Ｄディスプレイデバイスのブラー／視差関係と比較することができる。
【００５０】
１つのシナリオでは、ブラー／視差関係は、ただ１つの対称的な視差範囲、即ち特徴的視差範囲に凝縮され得る。特徴的視差範囲は、３次元ビデオデータの理想的に特徴的な要素がマッピングされる視差範囲に一致する。特徴的物体は、それらの視差がこの視差範囲内に入るようにマッピングされるときには鮮鋭なままである。
【００５１】
ターゲット３Ｄディスプレイデバイスの特徴的視差範囲が基準３Ｄディスプレイデバイスの視差範囲よりも大きく、基準視差マッピングが有意な「コンパンディング」を示すとき、より良い品質の視差マッピングを導出する余地があり得る。
【００５２】
本発明者らの洞察は、元の恒等曲線をより近く近似し（入力視差＝出力視差）、しかし基準視差マッピングの線形性を保つことが有益であるというものである。
【００５３】
このために、本発明者らは、より大きな視差範囲内での基準視差マッピングデータと線形視差マッピングとの重み付け加算を含むターゲット視差マッピングを提案する。
【００５４】
図１は、基準３Ｄディスプレイデバイスのブラー曲線のグラフを示し、水平軸に、輝度画素での表示視差が見られる。垂直軸には、ブラー尺度が見られる。ブラーレベル３での破線は、基準３Ｄディスプレイデバイスが、比較的狭い特徴的視差範囲を有することを示す。即ち、特徴的物体は、曲線が閾値よりも低い視差範囲に対応する視差範囲上にマッピングされるべきである。この範囲は、特徴的視差範囲と称されることがある。なぜなら、これは、特徴的画像要素が実質的に鮮鋭なままであるようにマッピングされるはずの視差範囲、即ち周波数損失（又はブラー）が特定の閾値よりも低い視差範囲であるからである。
【００５５】
図２は、ターゲット３Ｄディスプレイデバイスのブラー曲線のグラフを示す。特に、ターゲット３Ｄディスプレイデバイスの特徴的範囲は、基準３Ｄディスプレイデバイスの特徴的範囲よりも実質的に広い。これは、ターゲット３Ｄディスプレイデバイスが、特徴的物体に関してより広い視差範囲を有することを示唆する。
【００５６】
この例では、ターゲット３Ｄディスプレイデバイスと基準３Ｄディスプレイデバイスとの特徴的範囲間の比は、２である。
【００５７】
図３は、本発明を使用して、基準３Ｄディスプレイデバイスに関して提供された視差マッピングがどのように改良され得るかを示す。図３における細い黒線は、３次元画像信号において３次元ビデオデータと併せて受信された基準視差マッピングを表す。このグラフから分かるように、基準マッピングはかなり平坦である。即ち、入力視差の全範囲が、かなり狭い出力範囲上にマッピングされる。この図はまた、恒等曲線と一致する細い点線も示す。
【００５８】
本発明者らの洞察は、再マッピング時に、好ましくは、基準マップの線形性ができるだけ保たれるべきであるというものである。しかし、利用可能な余地がある場合、曲線は、理想的なマッピング、即ち恒等曲線により近付けられるべきである。
【００５９】
これを行うのに特に有利な様式は、基準及びターゲットディスプレイデバイスの特徴的視差範囲に基づいて改善度を導出し、この改善度を使用して、基準視差マッピングと基準視差マッピングの線形近似との重み付け加算を行うというものである。この改善度は、alphaと称される。
alpha=Star/Sref
１よりも大きいalphaの値に関して、好ましくは、以下のようにして、基準視差マッピングを改良する。
beta=1/alpha
target_disparity_mapping(x)=
((1-beta)・reference_disparity_mapping(x))+
(beta・linear_approximation_reference_disparity_mapping(x))
ここで、
reference_disparity_mapping(x)は、ｘに関する基準視差マッピングに対応し、
linear_approximation_ref_disparity(x)は、点(dmin,reference_disparity_mapping(dmin))及び(dmax,reference_disparity_mapping(dmax))を通る線形視差マッピングに対応する。
【００６０】
この処理法の利点は、入力コンテンツ視差範囲全体に関して、表示視差が対称的に（垂直に）分布されたままであることである。正と負の表示視差に関してブラー関係が対称的であるので、これは重要である。
【００６１】
１よりも小さいalphaの値に関しては、ダウンスケールされる線形近似linear_approximation_ref_disparity(x)の周りでの変化が対称的なままであるようにミキシングが取り扱われるべきである。
【００６２】
代替として、ミキシングは、ゼロ表示視差曲線を用いて実施され得て、即ち、ターゲット視差マッピングは、alphaを使用したスケーリングによって垂直方向で適合される。
【００６３】
特に、滑らかな曲線を導出することによって、更なる改良が可能である。例えば、ターゲットデバイスは、内部点に関して３点差分を使用し、端点で片側差分を使用してキュービックHermiteスプラインを適用することによって、得られた視差マッピングから滑らかな連続的な曲線を導出し、Fritch-Carlson法を適用することによって単調性を保つことができる。
【００６４】
なお、ビデオでの特徴検出はかなり注目されており、多様な効率的な特徴検出メカニズムが知られていることに留意されたい。完全を期すために、“Salient Object Detection: A Benchmark, by Ali Borji et al”を参照する。これは、http://ilab.usc.edu/borji/papers/paperBorji.pdfからダウンロードされた。この文献は、３５種の最新の特徴検出モデルの比較を含む。
【００６５】
図４は、ターゲット３次元ディスプレイデバイスでの使用のために３次元ビデオ信号データを再ターゲットする方法の簡略流れ図を示す。この方法は、３次元ビデオ信号が受信されるステップ４０１を含み、３次元ビデオ信号は、多視点ディスプレイデバイスを駆動するのに適した３次元ビデオデータと、基準視差マッピングデータとを備える。基準視差マッピングデータは、基準３次元ディスプレイデバイスのための３次元ビデオデータの視差マッピングを示す。更に、この方法は、基準視差マッピングと、基準３次元ディスプレイデバイスの特性及びターゲット３次元ディスプレイデバイスの対応する特性とに基づいて、ターゲット視差マッピングを導出するステップ４０２を含む。本明細書で前述したように、ターゲット３次元ディスプレイデバイスの特性は、ターゲットディスプレイデバイスに利用可能であり、デバイス自体に記憶されていてよく、又はリクエストに応じてアクセス可能でもよい。例えば、それらは、デバイスにダウンロード可能でよい。更にまた、基準デバイスの特性は、ターゲットデバイスに予め配布されて埋め込まれていてもよく、又は３次元画像信号自体の中で提供されてもよい。
【００６６】
更に、この方法は、ターゲット視差マッピングデータを使用して、３次元ビデオデータをターゲット３次元ビデオデータに再ターゲットするステップ４０３を含む。入力３次元ビデオデータが、いわゆる画像及び深度フォーマットでコンテンツを含む場合、再ターゲットは、画像及び付随する画面上視差を生成することを含むことがある。代替として、画像ベースのレンダリングが含まれるとき、これはまた、適切な画面上視差を有する多視点画像信号を生成するための画像ベースのレンダリングを含むこともある。
【００６７】
図５は、３次元ビデオ信号を生成する方法の簡略流れ図を示し、この３次元ビデオ信号は、ターゲット３次元ディスプレイデバイスに再ターゲットするのに適している。この方法は、多視点ディスプレイデバイスを駆動するのに適した３次元ビデオデータを取得するためのステップ５０１と、基準３次元ディスプレイデバイスの特性を取得するためのステップ５０２とを含む。これら２つのステップの間に直接の相互依存性はないので、それらは当然、並行して実行されてもよく、又は逆順で実行されてもよい。
【００６８】
更に、この方法は、基準３次元ディスプレイデバイスのための３次元ビデオデータの視差マッピングを示す基準視差マッピングデータを生成するステップ５０３と、３次元ビデオ信号を生成するためのステップ５０４とを含み、ここで、３次元ビデオ信号を生成するステップは、３次元ビデオデータと基準視差マッピングデータとを複合するステップを含む。
【００６９】
図６は、ターゲット３次元ディスプレイデバイス２０で使用するために３次元ビデオ信号７４を再ターゲットするためのシステム１０を示す。システム１０は、３次元ビデオ信号７４を受信するように構成された受信機３０を備える。３次元ビデオ信号は、光ディスク、ハードディスク、又は不揮発性固体記憶デバイス等のデータキャリア７１からのものであり得る。代替として、３次元ビデオ信号は、ネットワーク接続７２を介して、又はワイヤレスインターフェース７３を介して受信されてもよく、インターフェース７３は、場合によってはブロードキャストインターフェースでよい。
【００７０】
３次元ビデオ信号７４は、多視点ディスプレイデバイスを駆動するのに適した３次元ビデオデータと、基準視差マッピングデータとを含む。基準視差マッピングデータは、基準３次元ディスプレイデバイス（図示せず）に関する３次元ビデオデータに関する視差マッピングを示す。ブロック図において、情報は、多重分離されて、導出部４０に伝送される。導出部は、基準視差マッピングと、基準３次元ディスプレイデバイスの特性及びターゲット３次元ディスプレイデバイスの対応する特性とに基づいて、ターゲット視差マッピングを導出するように構成される。このために、導出部は、不揮発性記憶装置７０から特性データ７８の一部又は全てを検索することができ、又は代替として、多重分離された３次元画像信号７５から基準デバイスの特性を取得することができる。
【００７１】
ターゲット視差マッピングが計算されると、ターゲット視差マッピングデータは、３次元ビデオデータと共にコンバータ５０に伝送され、コンバータ５０は、ターゲット視差マッピングデータを使用して、３次元ビデオデータをターゲット３次元ビデオデータ７７に再ターゲットするように構成される。次いで、ターゲット３次元ビデオデータ７７は、ターゲットディスプレイ６０に伝送され得る。
【００７２】
特に、本発明はまた、ターゲットディスプレイ６０と、一体型の再ターゲットシステム１０とを備える一体型のターゲット３次元ディスプレイデバイス２０も想定する。
【００７３】
図示される例示的デバイスでは、３次元ビデオデータが基準視差マッピングデータと共に伝送されるが、代替として、３次元ビデオデータが、導出部４０をバイパスして、受信機３０からコンバータ５０に直接転送されてもよいことが当業者には明らかであろう。
【００７４】
図７は、３次元ビデオ信号７４を生成するためのシステム１１０を示し、この３次元ビデオ信号は、ターゲット３次元ディスプレイデバイスに再ターゲットするのに適している。このために、システムは、多視点ディスプレイデバイスを駆動するのに適した３次元ビデオデータ１０１を受信するように構成された受信機１２０を備える。更に、システムは、基準３次元ディスプレイデバイスの特性１０２を獲得するように構成された獲得ユニット１３０を備える。このために、特定のタイプのディスプレイデバイス用のコンテンツを生成するための生成器が使用される場合には、システム１１０は、基準３次元ディスプレイデバイスの特性１０２を含む不揮発性記憶装置１６０を備えることができる。代替として、これらの特性１０２’は、外部ソースからのものでもよい。
【００７５】
更に、システム１１０は、基準視差マッピングデータ１０４を生成するように構成された第１の生成器１４０を備え、基準視差マッピングデータ１０４は、基準３次元ディスプレイデバイスのための３次元ビデオデータ１０５の視差マッピングを示す。第１の生成器１４０は、獲得ユニット１３０によって送信された特性１０３、及び受信機１２０によって受信された３次元ビデオデータ１０５を受信するように構成される。
【００７６】
更に、システム１１０は、３次元ビデオ信号７４を生成するように構成された第２の生成器１５０を備え、３次元ビデオ信号７４の生成は、３次元ビデオデータ１０５と、第１の生成器から受信された基準視差マッピングデータ１０４とを複合することを含む。
【００７７】
ビデオ画像信号のためのメタデータ符号化
ビデオ画像信号を生成するとき、いわゆるＳＥＩメッセージに追加の情報を符号化することが可能である。ＳＥＩメッセージは、例えば、ＡＶＣ（ISO/IEC14496-10:2012-Information technology-Coding of audio-visual objects-Part210:Advanced Video Coding）又はＨＥＶＣ（ISO/IEC23008-2:201x/FDIS-Information technology-High efficiency coding and media 13 delivery in heterogeneous environments-Part2:High efficiency video coding）ベースのビデオシーケンスに追加され得る。そのようなメタデータは、ビデオ画像信号を再ターゲットするために追加のデータを提供するために使用され得る。デバイス相互接続リンク（ＨＤＭＩ（登録商標）等）を介するメタデータ要素の伝送も対応され得る。
【００７８】
好ましくは、メタデータは、ユーザデータ無登録ＳＥＩメッセージに含まれる。より好ましくは、これらのＳＥＩメッセージは、３次元ビデオデータと共に提供される深度又は視差情報を含む基本ストリームに含まれる。
【００７９】
搬送方法に応じて、深度は、ビデオと深度又は視差とを含むただ１つの基本ストリームで伝送されてよく、又は代替として、好ましい搬送方法に応じて、別個の視差／深度基本ストリームとして伝送されてもよい。
【００８０】
ＳＥＩメタデータメッセージコンテナシンタックスの一例が以下に提供される。
【００８１】
【表１】
2016521488.tif 000003
【００８２】
特に、ここで、uuid_xxxxは、メタデータのタイプを示すための識別子として使用され得て、受信データをパースするアプリケーションが、メタデータを認識し、適切なアクションを行って、提供された情報に基づいて３次元ビデオ画像信号を再ターゲットできるようにする。更に、metadata_typeフィールドは、ＳＥＩメッセージコンテナに含まれるメタデータのタイプに関する追加情報を提供するために使用され得る。
【００８３】
深度／視差処理情報
有利には、ＳＥＩメタデータを使用して、基準視差マッピングに関係付けられる、又は基準３次元ディスプレイデバイスの特性に関する追加情報を提供することができる。
【００８４】
ＳＥＩメッセージは、フレームアキュレートな位置でストリームに挿入され得て、従って、必要とされるときに視差マッピングを正確に調節するために使用され得る。この情報は、深度／視差処理情報とも称され得る。
【００８５】
深度処理情報メッセージは、符号化されたビデオシーケンス中に存在するとき、少なくともあらゆるＩＤＲアクセスユニット（＝瞬時復号更新アクセスユニット；Instantaneous Decoding Refresh access unit）と共に含まれることが推奨される。このようにすると、深度処理情報メッセージは、必要とされるときに任意のアクセスユニットで更新され得て、次のアクセスユニットまで有効である。
【００８６】
深度処理情報メッセージは、深度フォーマット情報、及び限られた深度を有するディスプレイに深度がどのように再マッピングされるべきかに関する情報を提供するために使用され得る。当然、これらのメッセージに含まれる情報は、他の機能との整合性のために含まれ得る他のＳＥＩメッセージ中の重複し得る情報と整合性があるように配慮されるべきである。
【００８７】
深度フォーマット情報は、ディスプレイデバイスが深度マップデータを画素での視差値に変換できるようにするパラメータを含む。符号化されたビデオと共に深度処理情報を含むことによって、コンテンツ所有者／クリエータは、全てのあり得るターゲットディスプレイの特性に関する詳細な知識を有する必要なく、受信するディスプレイに関して、深度マップ値から視差値へのマッピングを最適化することができる。
【００８８】
深度処理フォーマットの一部は、望ましい場合、例えば特徴的物体が閲覧者に向かうように又は離れるように移動しているときに、フレームアキュレートに更新され得る。再マッピング情報は、入力視差値と、限られた深度範囲を有するターゲットディスプレイでの視差に関係する出力値との関係を定義する曲線によって、信号／ビットストリームに含まれ得る。
【００８９】
当然、幾つかのタイプの再マッピングが併用されてもよい。例えば、単純なデバイスに関しては、線形スケーリング等、単純な固定視差マッピングが定義され得る。しかし、より先進のシステムでは、そのようなデータが利用可能な場合には、本発明によるマッピングが利用され得る。
【００９０】
図８は、深度から入力／コンテンツ視差へ、更に出力視差へ、更には出力視差から表示視差への図式表現を示す。まず、ここでは［０，２５５］の範囲内の入力／コンテンツ深度値が、範囲［dmin，dmax］内の入力／コンテンツ視差値にマッピングされる。基準及びターゲット３Ｄディスプレイデバイスの「ブラー特性」に基づいて、基準視差マッピングの結果に変換を適用することによって、改良が実現される。
【００９１】
固定ブラーモデル再マッピングの場合、ターゲット３次元ディスプレイデバイスにおいて、知覚される水平解像度が、多かれ少なかれ同様の劣化モデルに従う視差の増加と共に劣化すると仮定される。
【００９２】
これらのディスプレイに関して、視差の関数としての水平解像度劣化は、ただ１つのパラメータalphaによって特徴付けられ得る。ディスプレイのalpha値は、標準化された方法に従って製造業者によって決定されることを必要とされる。
【００９３】
曲線を決定するために使用された基準ディスプレイのalpha値は、メタデータと共に含まれる。ターゲットディスプレイデバイスは、曲線を適用し、基準ディスプレイとターゲットディスプレイとのalphaの比に応じて、出力値を線形にスケールする。その結果、ターゲットデバイスでの鮮鋭度劣化が、基準デバイスでの鮮鋭度劣化と多少類似する。
【００９４】
視差スケーリングが線形であるので、コンテンツ作成者によって元の視差に適用された任意の曲線、即ち美的意図を表現するスタジオで適用された任意のマッピングは、影響を及ぼされない。
【００９５】
ブラー曲線の符号化のシンタックスの一例が、以下の表２に提供される。
【００９６】
【表２】
2016521488.tif 000004
【００９７】
表２で、depth_coding_formatは、深度がビットストリームに含まれる様式を示す。更に、depth_source_typeは、コンテンツのソースを指定することができる。これは、例えば、コンテンツが、ＣＧＩコンテンツ、プロフェッショナルムービーコンテンツ、オフラインプロダクトブロードキャストコンテンツ、又はリアルタイムブロードキャストコンテンツであるか否かを示すことができる。このようにすると、入力コンテンツの性質は明白であり、深度の可能な品質に基づいて、及び／又は例えばシーンの変化が正確に検出可能であるか／符号化されるかに基づいて結論を導くことを可能にする。
【００９８】
depth_representation値は、深度情報が符号化される様式の意味を定義する。例えば、depth_representationは、８ビット値の場合には、深度が、一様に量子化された０〜２５５（両端含む）であることを示すことができる。代替として、深度値の代わりに視差値が使用されていることが示され得る。
【００９９】
入力フォーマットで深度値が使用されている場合、好ましくは、d_minは、復号された深度値０に一致するテクスチャビューの輝度画素での入力視差値を定義する。特に、ここで、入力視差は、コンテンツ作成者によって想定される視差に対応し、従って、この視差は、コンテンツ視差とも称され得る。好ましくは、d_minの負の値は、画面の前方の仮想位置に対応する。それと同時に、好ましくは、d_maxは、復号された深度値２５５に一致するテクスチャビューの輝度画素での入力視差値を定義する。従って、論理的には、d_maxはd_minよりも大きく、d_minとd_maxとが、深度値が一様にマッピングされる視差範囲を定義する。
【０１００】
代替として、視差値が使用されているときは、入力／コンテンツ視差への深度のマッピングに関する情報を提供する必要はない。
【０１０１】
更に、再マッピングタイプは、固定ブラーモデル再マッピングが使用されるべきかどうか、又は別の再マッピング方法が使用されるべきかどうかを示すために使用され得る。
【０１０２】
視差再マッピングは、表２に示されるように、幾つかのノードを使用して表現され得る。num_curve_nodesが０でないとき、これは、限られた深度範囲を有する裸眼立体視ディスプレイ上での３Ｄビデオコンテンツの表示を最適化するために、再マッピング曲線に従って入力／コンテンツ視差値に（非線形）再マッピングが適用されるべきであることを示す。
【０１０３】
このフィールドは、再マッピング曲線を定義するために、メタデータに含まれるノードの数を指定する。このフィールドは、remapping_typeが固定ブラーに設定される場合には、０に設定されるべきである。更に、disparity_in[j]は、再マッピング曲線の第ｊのノードの入力視差値を定義する。メタデータに含まれるノードは、増加する入力視差値を有する。最初の入力視差値は、値d_min以上でなければならない。最後の入力視差値は、d_max以下でなければならない。
【０１０４】
更に、curve_out[j]は、曲線の第ｊのノードの出力値を定義する。この曲線出力値は、ｊの増加と共に増加すべきである。
【０１０５】
ターゲットデバイスは、内部点に関して３点差分を使用し、端点で片側差分を使用してキュービックHermiteスプラインを適用することによって、ノードから滑らかな連続的な曲線を導出し、Fritch-Carlson法を適用することによって単調性を保つことができる。
【０１０６】
深度／視差入力が明示的に提供された３次元画像信号を参照して本発明を述べてきたが、本発明は、基準視差マッピングと、基準及びターゲット３Ｄディスプレイデバイスの特性とが利用可能であるという条件の下で、深度又は視差データがない多視点コンテンツの立体視画像の再ターゲットのためにも使用され得る。
【０１０７】
深度又は視差データがない場合、ステレオ及び／又は多視点コンテンツに基づいて深度又は視差データが推定され得て、よく知られている画像ベースのレンダリング技法を使用して、再マッピングされた視差を考慮に入れた１つ又は複数の新たなビューがレンダリングされ得る。
【０１０８】
簡潔には、本発明は、入力深度及び／又は視差データを出力又は表示視差データに有利にマッピングするために使用され得る。本発明は、特に、裸眼立体視多視点ディスプレイデバイスに有用である。なぜなら、これらは、典型的には、利用され得る視差範囲がより限られているからである。
【０１０９】
本発明は、ハードウェア、ソフトウェア、ファームウェア、又はこれらの任意の組合せを含む任意の適切な形態で実装され得る。任意選択的に、本発明は、少なくとも一部、１つ又は複数のデータ処理装置及び／又はデジタル信号処理装置上で動作するコンピュータソフトウェアとして実装され得る。本発明の一実施形態の要素及び構成要素は、任意の適切な様式で物理的、機能的、及び論理的に実装され得る。実際に、機能は、ただ１つのユニットで、複数のユニットで、又は他の機能ユニットの一部として実装され得る。従って、本発明は、単一のユニットで実装されても、又は異なるユニット、回路、及び処理装置の間に物理的及び機能的に分散されてもよい。
【０１１０】
本発明を幾つかの実施形態に関連して述べてきたが、本発明は、本明細書に記載される特定の形態に限定されることは意図されていない。本発明の範囲は、添付の特許請求の範囲によってのみ限定される。更に、ある特徴が特定の実施形態に関連して述べられているように見えることがあるが、本発明に従って上記の実施形態の様々な特徴が複合され得ることを当業者は理解されよう。特許請求の範囲において、用語「備える」は、他の要素又はステップの存在を除外しない。
【０１１１】
更に、複数の手段、要素、回路、又は方法ステップが個別に列挙されているが、例えばただ１つの単一の回路、ユニット、又は処理装置によって実装されてもよい。更に、個々の特徴が異なる請求項に含まれることがあるが、これらは、場合によっては有利に組み合わされ得る。異なる請求項への包含は、特徴の組合せが実現可能でない及び／又は有利でないことを示唆しない。また、請求項の１つのカテゴリーへの特徴の包含は、このカテゴリーへの限定を示唆せず、特徴が他の請求項カテゴリーにも適宜同様に利用可能であることを示す。更に、請求項内での特徴の順序は、それらの特徴が実施されなければならない任意の特定の順序を示唆せず、特に、方法クレームでの個々のステップの順序は、この順序でステップが行われなければならないことを示唆しない。ステップは、任意の適切な順序で実施され得る。更に、単数形への言及は、複数を除外しない。従って、「ある（a、an）」、「第１の」、「第２の」等への言及は、複数を排除しない。特許請求の範囲における参照符号は、単に明瞭にするための例として提供され、特許請求の範囲を限定するものとは解釈されないものとする。
【図４】
2016521488.tif 000005
【図５】
2016521488.tif 000006
【図６】
2016521488.tif 000007
【図７】
2016521488.tif 000008
【図１】
2016521488.tif 000009
【図２】
2016521488.tif 000010
【図３】
2016521488.tif 000011
【図８】
2016521488.tif 000012
【国際調査報告】
2016521488.tif 000013