"深度画像ベースレンダリングDIBRベース3次元3Dビデオデータの視覚的品質を定量化するために目標メトリック36、60を得るための方法であって、DIBRベース3Dビデオデータ138、156を使用して歪み制限画像ビューを生成することになる理想深度マップ62、70を推定することと、前記理想深度マップ62、70と前記DIBRベース3Dビデオデータ34、140、158の生成において使用される深度マップ28、58との定量比較に基づいて、1つ以上の歪みメトリック64、72を導出することと、導出された前記1つ以上の歪みメトリック64、142、160に基づいて前記DIBRベース3Dビデオデータの視覚的品質を定量化するために前記目標メトリック36、60を計算することと、を備える、方法。前記歪みメトリックの各々が、前記DIBRベース3Dビデオデータを閲覧するときに予想される3D閲覧視覚的不快感の測定値を示す、請求項1に記載の方法。前記理想深度マップを推定することが、以下の式に従って前記理想深度マップを推定することを含み、上式で、Igが、前記DIBRベース3Dビデオデータから生成されたビューを表し、Ioが元の画像を表し、Zが、前記DIBRベース3Dビデオデータの前記深度マップを表し、Fが、前記DIBRベース3Dビデオデータから異なるビューを生成するために使用される仮想3D撮像装置の焦点距離を表し、Bが、前記DIBRベース3Dビデオデータから異なるビューを生成するために使用される前記仮想3D撮像装置のベースラインを表す、請求項1に記載の方法。前記理想深度マップを推定することが、以下の式に従って前記理想深度マップを推定することを含み、上式で、IRが基準ビューを表し、Igが、前記DIBRベース3Dビデオデータから生成されたビューを表し、ZLが、元の左眼ビューからの前記DIBRベース3Dビデオデータの深度マップを表し、ZRが、元の右眼ビューからの前記DIBRベース3Dビデオデータの深度マップを表し、kが第1の定数を表し、hが第2の定数を表し、Fが、前記DIBRベース3Dビデオデータから追加のビューを生成するために使用される前記仮想3D画像撮像装置の焦点距離を表し、Bが、前記DIBRベース3Dビデオデータから追加のビューを生成するために使用される前記仮想3D画像撮像装置のベースラインを表す、請求項1に記載の方法。前記理想深度マップを推定することが、以下の式に従って前記理想深度マップを推定することを含み、上式で、IRが基準ビューを表し、Igが、前記DIBRベース3Dビデオデータから生成されるビューを表し、Fが、前記DIBRベース3Dビデオデータから追加のビューを生成するために使用される前記仮想3D画像撮像装置の焦点距離を表し、Bが、前記DIBRベース3Dビデオデータから前記追加のビューを生成するために使用される前記仮想3D画像撮像装置のベースラインを表し、関数fIR,Igが、前記基準ビューIR中の画素の各ブロックと、前記基準ビューの前記ブロックに水平シフトを適用した後の生成された前記ビューIg中の画素の各対応するブロックとの間の強度の差を表し、前記水平シフトの量が、その特定のブロックにおける平均視差であり、前記平均視差が前記基準ビューの深度マップの関数である、請求項1に記載の方法。前記1つ以上の歪みメトリックを導出することが、空間的誤差外れ値SO歪みメトリックと時間的誤差外れ値TO歪みメトリックとのうちの1つ以上を導出することを備える、請求項1に記載の方法。前記1つ以上の歪みメトリックを導出することが、理想深度マップと前記DIBRベース3Dビデオデータの前記深度マップとの間の差の標準偏差として空間的誤差外れ値SO歪みメトリックを導出することと、前記理想深度マップと、前記3Dビデオの2つの連続するフレームのための前記DIBRベース3Dビデオデータの前記深度マップとの間の差の標準偏差として時間的誤差外れ値TO歪みメトリックを導出することと、を備え、前記方法が、DIBRベース3Dビデオデータと次のDIBRベース3Dビデオデータとを生成するために使用される深度マップ間の差の標準偏差として時間的不整合TI歪みメトリックを導出することを更に備え、前記目標メトリックを計算することが、前記SO、TO及びTI歪みメトリックの各々を0~1の範囲に正規化することと、以下の式に従って前記目標メトリックを計算することとを備え、上式で、3VQMが前記目標メトリックを表し、SO、TO及びSIが、前記正規化されたSO、TO及びTI歪みメトリックを表し、a、b、及びcが、トレーニングシーケンスによって決定される定数を表し、kがスケーリングファクタを表す、請求項1に記載の方法。前記DIBRベース3Dビデオデータが、与えられたビューを更に含み、前記方法が、1つ以上のパラメータに従って3Dビデオデータから前記深度マップを推定することであって、前記3Dビデオデータが左ビューと右ビューとを含み、与えられた前記ビューが前記左ビューと前記右ビューとのうちの1つから選択される、推定することと、前記目標メトリックによって識別される欠陥を補正するために、前記3Dビデオデータのための前記深度マップを推定するために使用される前記1つ以上のパラメータを修正することと、を更に備える、請求項1に記載の方法。前記DIBRベース3Dビデオデータが、与えられたビューを更に含み、前記方法が、符号化DIBRベース3Dビデオデータを生成するために、1つ以上のパラメータに従って前記DIBRベース3Dビデオデータの前記深度マップと与えられた前記ビューとを符号化することと、前記目標メトリックによって識別される欠陥を補正するために、前記深度マップと与えられた前記ビューとのうちの1つ以上を符号化するために使用される前記1つ以上のパラメータを修正することと、を更に備える、請求項1に記載の方法。前記3Dビデオデータが、与えられたビューを更に含み、前記方法が、前記深度マップと与えられた前記ビューとを生成するために、1つ以上のパラメータに従って前記深度マップの符号化バージョンと与えられた前記ビューの符号化バージョンとを復号することと、前記目標メトリックによって識別される欠陥を補正するために、前記深度マップの前記符号化バージョンと与えられた前記ビューの前記符号化バージョンとを復号するために使用される前記1つ以上のパラメータを修正することとを更に備える、請求項1に記載の方法。前記DIBRベース3Dビデオデータが、与えられたビューを更に含み、前記方法が、前記3Dビデオデータを生成するために、1つ以上のパラメータに従って前記深度マップと与えられた前記ビューとから3Dビデオデータの左ビュー又は右ビューのいずれかを再構成することであって、与えられた前記ビューが前記3Dビデオデータの前記左ビュー又は前記右ビューのいずれかとして選択される、再構成することと、前記目標メトリックによって識別される欠陥を補正するために、前記左ビュー又は前記右ビューのいずれかを再構成するために使用される前記1つ以上のパラメータを修正することと、を更に備える、請求項1に記載の方法。深度画像ベースレンダリングDIBRベース3次元3Dビデオデータの視覚的品質を定量化するために目標メトリック36、60を得る機器であって、前記機器12、14が、前記3D目標メトリック36、60を計算する3D分析ユニット24、48を備え、前記3D分析ユニット24、48が、DIBRベース3Dビデオデータ34を使用して歪み制限画像ビューを生成することになる理想深度マップ62、70を推定する理想深度推定ユニット82と、前記理想深度マップ62、70と前記DIBRベース3Dビデオデータ34の前記生成において使用される深度マップ28、58との定量比較に基づいて、1つ以上の歪みメトリック64、72を導出する歪みメトリック計算ユニット84と、導出された前記1つ以上の歪みメトリック64、72に基づいてDIBRベースビデオデータ34の視覚的品質を定量化するために前記目標メトリック36、60を計算する目標メトリック計算ユニット86とを含む、機器12、14。前記歪みメトリックの各々が、前記DIBRベース3Dビデオデータを閲覧するときに予想される3D閲覧視覚的不快感の測定値を示す、請求項12に記載の機器。前記理想深度マップ推定ユニットが、以下の式に従って前記理想深度マップを推定し、上式で、Igが、前記DIBRベース3Dビデオデータから生成されたビューを表し、Ioが元の画像を表し、Zが、前記DIBRベース3Dビデオデータの前記深度マップを表し、Fが、前記DIBRベース3Dビデオデータから異なるビューを生成するために使用される仮想3D撮像装置の焦点距離を表し、Bが、前記DIBRベース3Dビデオデータから異なるビューを生成するために使用される前記仮想3D撮像装置のベースラインを表す、請求項12に記載の機器。前記理想深度マップ推定ユニットが、以下の式に従って前記理想深度マップを推定し、上式で、IRが基準ビューを表し、Igが、前記DIBRベース3Dビデオデータから生成されたビューを表し、ZLが、元の左眼ビューからの前記DIBRベース3Dビデオデータの深度マップを表し、ZRが、元の右眼ビューからの前記DIBRベース3Dビデオデータの深度マップを表し、kが第1の定数を表し、hが第2の定数を表し、Fが、前記DIBRベース3Dビデオデータから追加のビューを生成するために使用される前記仮想3D画像撮像装置の焦点距離を表し、Bが、前記DIBRベース3Dビデオデータから追加のビューを生成するために使用される前記仮想3D画像撮像装置のベースラインを表す、請求項12に記載の機器。前記理想深度マップ推定ユニットが、以下の式に従って前記理想深度マップを推定し、上式で、IRが基準ビューを表し、Igが、前記DIBRベース3Dビデオデータから生成されるビューを表し、Fが、前記DIBRベース3Dビデオデータから追加のビューを生成するために使用される前記仮想3D画像撮像装置の焦点距離を表し、Bが、前記DIBRベース3Dビデオデータから前記追加のビューを生成するために使用される前記仮想3D画像撮像装置のベースラインを表し、関数fIR,Igが、前記基準ビューIR中の画素の各ブロックと、前記基準ビューの前記ブロックに水平シフトを適用した後の生成された前記ビューIg中の画素の各対応するブロックとの間の強度の差を表し、前記水平シフトの量が、その特定のブロックにおける平均視差であり、前記平均視差が前記基準ビューの深度マップの関数である、請求項12に記載の機器。前記歪みメトリック計算ユニットが、理想深度マップと前記DIBRベース3Dビデオデータの前記深度マップとの間の差の標準偏差として空間的誤差外れ値SO歪みメトリックを導出し、前記理想深度マップと、前記3Dビデオの2つの連続するフレームのための前記DIBRベース3Dビデオデータの前記深度マップとの間の差の標準偏差として時間的誤差外れ値TO歪みメトリックを導出し、DIBRベース3Dビデオデータと次のDIBRベース3Dビデオデータとを生成するために使用される深度マップ間の差の標準偏差として時間的不整合TI歪みメトリックを導出し、前記目標メトリック計算ユニットが、前記SO、TO及びTI歪みメトリックの各々を0~1の範囲に正規化し、以下の式に従って前記目標メトリックを計算し、上式で、3VQMが前記目標メトリックを表し、SO、TO及びSIが、正規化された前記SO、TO及びTI歪みメトリックを表し、a、b、及びcが、トレーニングシーケンスによって決定される定数を表し、kがスケーリングファクタを表す、請求項1に記載の機器。前記DIBRベース3Dビデオデータが、与えられたビューを更に含み、1つ以上のパラメータに従って3Dビデオデータから前記深度マップを推定することと、前記目標メトリックによって識別される欠陥を補正するために、前記3Dビデオデータのための前記深度マップを推定するために使用される前記1つ以上のパラメータを修正することと、を行い、前記3Dビデオデータが左ビューと右ビューとを含み、与えられた前記ビューが前記左ビューと前記右ビューとのうちの1つから選択される、深度推定ユニットを更に含む、請求項12に記載の機器。前記DIBRベース3Dビデオデータが、与えられたビューを更に含み、符号化DIBRベース3Dビデオデータを生成するために、1つ以上のパラメータに従って前記DIBRベース3Dビデオデータの前記深度マップと与えられた前記ビューとを符号化することと、前記目標メトリックによって識別される欠陥を補正するために、前記深度マップと与えられた前記ビューとのうちの1つ以上を符号化するために使用される前記1つ以上のパラメータを修正することと、を行う3Dビデオエンコーダを更に含む、請求項12に記載の機器。前記3Dビデオデータが、与えられたビューを更に含み、前記深度マップと与えられた前記ビューとを生成するために、1つ以上のパラメータに従って前記深度マップの符号化バージョンと与えられた前記ビューの符号化バージョンとを復号することと、前記目標メトリックによって識別される欠陥を補正するために、前記深度マップの前記符号化バージョンと与えられた前記ビューの前記符号化バージョンとを復号するために使用される前記1つ以上のパラメータを修正することと、を行う3Dビデオデコーダを更に備える、請求項12に記載の機器。前記DIBRベース3Dビデオデータが、与えられたビューを更に含み、前記3Dビデオデータを生成するために、1つ以上のパラメータに従って前記深度マップと与えられた前記ビューとから3Dビデオデータの左ビュー又は右ビューのいずれかを再構成することと、前記目標メトリックによって識別される欠陥を補正するために、前記左ビュー又は前記右ビューのいずれかを再構成するために使用される前記1つ以上のパラメータを修正することとを行い、与えられた前記ビューが前記3Dビデオデータの前記左ビュー又は前記右ビューのいずれかとして選択される、ビュー再構成ユニットを更に備える、請求項12に記載の機器。深度画像ベースレンダリングDIBRベース3次元3Dビデオデータの視覚的品質を定量化するために目標メトリック36、60を得る装置であって、DIBRベース3Dビデオデータ34を使用して歪み制限画像ビューを生成することになる理想深度マップ62、70を推定するための手段82と、前記理想深度マップと前記DIBRベース3Dビデオデータ34の前記生成において使用される深度マップ62、70との定量比較に基づいて、1つ以上の歪みメトリック64、72を導出するための手段84と、導出された前記1つ以上の歪みメトリック64、72に基づいて前記DIBRベース3Dビデオデータ34の視覚的品質を定量化するために前記目標メトリック36、60を計算するための手段86と、を備える、装置12、14。前記歪みメトリックの各々が、前記DIBRベース3Dビデオデータを閲覧するときに予想される3D閲覧視覚的不快感の測定値を示す、請求項22に記載の装置。以下の式に従って前記理想深度マップを推定するための手段を更に備え、上式で、Igが、前記DIBRベース3Dビデオデータから生成されたビューを表し、Ioが元の画像を表し、Zが、前記DIBRベース3Dビデオデータの前記深度マップを表し、Fが、前記DIBRベース3Dビデオデータから異なるビューを生成するために使用される仮想3D撮像装置の焦点距離を表し、Bが、前記DIBRベース3Dビデオデータから異なるビューを生成するために使用される前記仮想3D撮像装置のベースラインを表す、請求項22に記載の装置。以下の式に従って前記理想深度マップを推定するための手段を更に備え、上式で、IRが基準ビューを表し、Igが、前記DIBRベース3Dビデオデータから生成されたビューを表し、ZLが、元の左眼ビューからの前記DIBRベース3Dビデオデータの深度マップを表し、ZRが、元の右眼ビューからの前記DIBRベース3Dビデオデータの深度マップを表し、kが第1の定数を表し、hが第2の定数を表し、Fが、前記DIBRベース3Dビデオデータから追加のビューを生成するために使用される前記仮想3D画像撮像装置の焦点距離を表し、Bが、前記DIBRベース3Dビデオデータから追加のビューを生成するために使用される前記仮想3D画像撮像装置のベースラインを表す、請求項22に記載の装置。以下の式に従って前記理想深度マップを推定するための手段を更に備え、上式で、IRが基準ビューを表し、Igが、前記DIBRベース3Dビデオデータから生成されるビューを表し、Fが、前記DIBRベース3Dビデオデータから追加のビューを生成するために使用される前記仮想3D画像撮像装置の焦点距離を表し、Bが、前記DIBRベース3Dビデオデータから前記追加のビューを生成するために使用される前記仮想3D画像撮像装置のベースラインを表し、関数fIR,Igが、前記基準ビューIR中の画素の各ブロックと、前記基準ビューの前記ブロックに水平シフトを適用した後の生成された前記ビューIg中の画素の各対応するブロックとの間の強度の差を表し、前記水平シフトの量が、その特定のブロックにおける平均視差であり、前記平均視差が前記基準ビューの深度マップの関数である、請求項22に記載の装置。空間的誤差外れ値SO歪みメトリックと時間的誤差外れ値TO歪みメトリックとのうちの1つ以上を導出するための手段を更に備える、請求項22に記載の装置。理想深度マップと前記DIBRベース3Dビデオデータの前記深度マップとの間の差の標準偏差として空間的誤差外れ値SO歪みメトリックを導出するための手段と、前記理想深度マップと、前記3Dビデオの2つの連続するフレームのための前記DIBRベース3Dビデオデータの前記深度マップとの間の差の標準偏差として時間的誤差外れ値TO歪みメトリックを導出するための手段と、DIBRベース3Dビデオデータと次のDIBRベース3Dビデオデータとを生成するために使用される深度マップ間の差の標準偏差として時間的不整合TI歪みメトリックを導出するための手段と、前記SO、TO及びTI歪みメトリックの各々を0~1の範囲に正規化するための手段と、以下の式に従って前記目標メトリックを計算するための手段とを更に備え、上式で、3VQMが前記目標メトリックを表し、SO、TO及びSIが、正規化された前記SO、TO及びTI歪みメトリックを表し、a、b、及びcが、トレーニングシーケンスによって決定される定数を表し、kがスケーリングファクタを表す、請求項22に記載の装置。前記DIBRベース3Dビデオデータが、与えられたビューを更に含み、1つ以上のパラメータに従って3Dビデオデータから前記深度マップを推定するための手段と、前記目標メトリックによって識別される欠陥を補正するために、前記3Dビデオデータのための前記深度マップを推定するために使用される前記1つ以上のパラメータを修正するための手段と、を更に備え、前記3Dビデオデータが左ビューと右ビューとを含み、与えられた前記ビューが前記左ビューと前記右ビューとのうちの1つから選択される、請求項22に記載の装置。前記DIBRベース3Dビデオデータが、与えられたビューを更に含み、符号化DIBRベース3Dビデオデータを生成するために、1つ以上のパラメータに従って前記DIBRベース3Dビデオデータの前記深度マップと与えられた前記ビューとを符号化するための手段と、前記目標メトリックによって識別される欠陥を補正するために、前記深度マップと与えられた前記ビューとのうちの1つ以上を符号化するために使用される前記1つ以上のパラメータを修正するための手段と、を更に備える、請求項22に記載の装置。前記3Dビデオデータが、与えられたビューを更に含み、前記深度マップと与えられた前記ビューとを生成するために、1つ以上のパラメータに従って前記深度マップの符号化バージョンと与えられた前記ビューの符号化バージョンとを復号するための手段と、前記目標メトリックによって識別される欠陥を補正するために、前記深度マップの前記符号化バージョンと与えられた前記ビューの前記符号化バージョンとを復号するために使用される前記1つ以上のパラメータを修正すための手段と、を更に備える、請求項22に記載の装置。前記DIBRベース3Dビデオデータが、与えられたビューを更に含み、前記3Dビデオデータを生成するために、1つ以上のパラメータに従って前記深度マップと与えられた前記ビューとから3Dビデオデータの左ビュー又は右ビューのいずれかを再構成するための手段と、前記目標メトリックによって識別される欠陥を補正するために、前記左ビュー又は前記右ビューのいずれかを再構成するために使用される前記1つ以上のパラメータを修正するための手段と、を更に備え、与えられた前記ビューが前記3Dビデオデータの前記左ビュー又は前記右ビューのいずれかとして選択される、請求項22に記載の装置。実行されたとき、1つ以上のプロセッサに、DIBRベース3Dビデオデータ34を使用して歪み制限画像ビューを生成することになる理想深度マップ62、70を推定することと、前記理想深度マップ62、70と前記DIBRベース3Dビデオデータ34の前記生成において使用される深度マップ28、58との定量比較に基づいて、1つ以上の歪みメトリック64、72を導出することと、導出された前記1つ以上の歪みメトリック64、72に基づいて前記DIBRベース3Dビデオデータの視覚的品質を定量化するために前記目標メトリック36、60を計算することと、を行わせる命令を備える、非一時的コンピュータ可読媒体。前記歪みメトリックの各々が、前記DIBRベース3Dビデオデータを閲覧するときに予想される3D閲覧視覚的不快感の測定値を示す、請求項33に記載の非一時的コンピュータ可読媒体。前記1つ以上のプロセッサに、以下の式に従って前記理想深度マップを推定させる命令を更に備え、上式で、Igが、前記DIBRベース3Dビデオデータから生成されたビューを表し、Ioが元の画像を表し、Zが、前記DIBRベース3Dビデオデータの前記深度マップを表し、Fが、前記DIBRベース3Dビデオデータから異なるビューを生成するために使用される仮想3D撮像装置の焦点距離を表し、Bが、前記DIBRベース3Dビデオデータから異なるビューを生成するために使用される前記仮想3D撮像装置のベースラインを表す、請求項33に記載の非一時的コンピュータ可読媒体。前記1つ以上のプロセッサに、以下の式に従って前記理想深度マップを推定させる命令を更に備え、上式で、IRが基準ビューを表し、Igが、前記DIBRベース3Dビデオデータから生成されたビューを表し、ZLが、元の左眼ビューからの前記DIBRベース3Dビデオデータの深度マップを表し、ZRが、元の右眼ビューからの前記DIBRベース3Dビデオデータの深度マップを表し、kが第1の定数を表し、hが第2の定数を表し、Fが、前記DIBRベース3Dビデオデータから追加のビューを生成するために使用される前記仮想3D画像撮像装置の焦点距離を表し、Bが、前記DIBRベース3Dビデオデータから追加のビューを生成するために使用される前記仮想3D画像撮像装置のベースラインを表す、請求項33に記載の非一時的コンピュータ可読媒体。前記1つ以上のプロセッサに、以下の式に従って前記理想深度マップを推定させる命令を更に備え、上式で、IRが基準ビューを表し、Igが、前記DIBRベース3Dビデオデータから生成されるビューを表し、Fが、前記DIBRベース3Dビデオデータから追加のビューを生成するために使用される前記仮想3D画像撮像装置の焦点距離を表し、Bが、前記DIBRベース3Dビデオデータから前記追加のビューを生成するために使用される前記仮想3D画像撮像装置のベースラインを表し、関数fIR,Igが、前記基準ビューIR中の画素の各ブロックと、前記基準ビューの前記ブロックに水平シフトを適用した後の生成された前記ビューIg中の画素の各対応するブロックとの間の強度の差を表し、前記水平シフトの量が、その特定のブロックにおける平均視差であり、前記平均視差が前記基準ビューの深度マップの関数である、請求項33に記載の非一時的コンピュータ可読媒体。前記1つ以上のプロセッサに、空間的誤差外れ値SO歪みメトリックと時間的誤差外れ値TO歪みメトリックとのうちの1つ以上を導出させる命令を更に備える、請求項33に記載の非一時的コンピュータ可読媒体。前記1つ以上のプロセッサに、理想深度マップと前記DIBRベース3Dビデオデータの前記深度マップとの間の差の標準偏差として空間的誤差外れ値SO歪みメトリックを導出することと、前記理想深度マップと、前記3Dビデオの2つの連続するフレームのための前記DIBRベース3Dビデオデータの前記深度マップとの間の差の標準偏差として時間的誤差外れ値TO歪みメトリックを導出することと、DIBRベース3Dビデオデータと次のDIBRベース3Dビデオデータとを生成するために使用される深度マップ間の差の標準偏差として時間的不整合TI歪みメトリックを導出することと、前記SO、TO及びTI歪みメトリックの各々を0~1の範囲に正規化することと、以下の式に従って前記目標メトリックを計算することとを行わせる命令を更に備え、上式で、3VQMが前記目標メトリックを表し、SO、TO及びSIが、正規化された前記SO、TO及びTI歪みメトリックを表し、a、b、及びcが、トレーニングシーケンスによって決定される定数を表し、kがスケーリングファクタを表す、請求項33に記載の非一時的コンピュータ可読媒体。前記DIBRベース3Dビデオデータが、与えられたビューを更に含み、前記1つ以上のプロセッサに、1つ以上のパラメータに従って3Dビデオデータから前記深度マップを推定することであって、前記3Dビデオデータが左ビューと右ビューとを含み、与えられた前記ビューが前記左ビューと前記右ビューとのうちの1つから選択される、推定することと、前記目標メトリックによって識別される欠陥を補正するために、前記3Dビデオデータのための前記深度マップを推定するために使用される前記1つ以上のパラメータを修正することとを行わせる命令を更に備える、請求項33に記載の非一時的コンピュータ可読媒体。前記DIBRベース3Dビデオデータが、与えられたビューを更に含み、前記1つ以上のプロセッサに、符号化DIBRベース3Dビデオデータを生成するために、1つ以上のパラメータに従って前記DIBRベース3Dビデオデータの前記深度マップと与えられた前記ビューとを符号化することと、前記目標メトリックによって識別される欠陥を補正するために、前記深度マップと与えられた前記ビューとのうちの1つ以上を符号化するために使用される前記1つ以上のパラメータを修正することとを行わせる命令を更に備える、請求項33に記載の非一時的コンピュータ可読媒体。前記3Dビデオデータが、与えられたビューを更に含み、前記1つ以上のプロセッサに、前記深度マップと与えられた前記ビューとを生成するために、1つ以上のパラメータに従って前記深度マップの符号化バージョンと与えられた前記ビューの符号化バージョンとを復号することと、前記目標メトリックによって識別される欠陥を補正するために、前記深度マップの前記符号化バージョンと与えられた前記ビューの前記符号化バージョンとを復号するために使用される前記1つ以上のパラメータを修正することとを行わせる命令を更に備える、請求項33に記載の非一時的コンピュータ可読媒体。前記DIBRベース3Dビデオデータが、与えられたビューを更に含み、前記1つ以上のプロセッサに、前記3Dビデオデータを生成するために、1つ以上のパラメータに従って前記深度マップと与えられた前記ビューとから3Dビデオデータの左ビュー又は右ビューのいずれかを再構成することと、前記目標メトリックによって識別される欠陥を補正するために、前記左ビュー又は前記右ビューのいずれかを再構成するために使用される前記1つ以上のパラメータを修正することとを行わせる命令を更に備え、与えられた前記ビューが前記3Dビデオデータの前記左ビュー又は前記右ビューのいずれかとして選択される、請求項33に記載の非一時的コンピュータ可読媒体。図1は、本開示で説明する目標3次元3D品質メトリック3DQM導出技術を実装する例示的なシステム10を示すブロック図である。図1の例では、システム10は発信源機器12と表示装置14とを含み、発信源機器12と表示装置14とはワイヤレス通信チャネル15を介して互いに通信する。発信源機器12は、パーソナルコンピュータ、ワークステーション、携帯情報端末PDA:personaldigitalassistant、所謂スマートフォンを含むモバイルフォン、又はソフトウェア及び、特に、マルチメディアソフトウェアを実行することが可能な汎用プロセッサを備える他のタイプの機器など、汎用マルチメディア機器を含み得る。発信源機器14は、代替的に、ビデオカムコーダ、デジタルビデオディスクDVDプレーヤ、テレビジョン、セットトップボックスSTB、コンパクトディスクCDプレーヤ、デジタルメディアプレーヤ例えば、所謂MP3プレーヤ、又はMP3/MP4一体型プレーヤ、及びadvancedaudiocoding、Windows登録商標メディアビデオWMV及びWaveformオーディオビデオWAVフォーマットを含む他のフォーマットを再生する他のメディアプレーヤ、デジタルビデオレコーダDVR、全地球測位システムGPS機器、又は1つ以上のマルチメディアアプリケーションのセットに専用であり、一般に、マルチメディアソフトウェアのローディングと実行とのユーザ制御を可能にしない、他の機器など、専用マルチメディア機器を備え得る。表示装置14は、一般的に、表示器を介したビデオ再生が可能な任意の機器を表す。表示装置16は、3Dビデオ表示装置又はハイブリッド2D/3Dビデオ表示装置と呼ばれることがあるテレビジョンTV表示器、若しくは3Dビデオデータを表示することが可能な他のタイプの表示装置を備え得る。表示装置14は、代替的に、ラップトップ、パーソナルメディアプレーヤPMP、デスクトップコンピュータ、ワークステーション、PDA、及びポータブルDVDプレーヤなどのポータブルデジタルメディアプレーヤなど、表示器をもつ他の機器を備え得る。説明のために、表示装置14は、発信源機器12とワイヤレス通信するワイヤレスフル3Dテレビジョンを表すと仮定する。但し、本開示の技術は、ワイヤレスフル3Dテレビジョンに限定されるべきではなく、様々な機器の異なる構成に関して幾つかの異なる方法で実装され得る。例えば、表示装置ではなく、本技術は、セットトップボックス、又は3D対応表示器又はテレビジョンとは別個のものであるが、3D対応表示器又はテレビジョンとインターフェースする他の個別のビジュアル機器又はオーディオ/ビジュアル機器に関して実装され得る。本開示で使用するフル3D表示器は、3Dビデオデータを容易に表示し、3Dビデオデータの閲覧を可能にするために必要なハードウェア論理、モジュール、ユニット、ソフトウェア又は他の構成要素の全てを統合する3D表示器を指す。本開示で使用する3D対応表示器は、3Dビデオデータの受信、復号、提示及び閲覧を可能にするための論理、モジュール、ユニット、ソフトウェア又は他の構成要素の全てを含まない3D表示器を指す。3D対応表示器は、概して、3Dビデオデータの受信、復号、プレゼンテーション及び閲覧を可能にするために別個の機器、ハードウェアカード又は他の構成要素を必要とする。発信源機器12は、制御ユニット16とインターフェース18とを含む。制御ユニット16は、1つ以上のプロセッサ図1に図示せずを表し得、そのプロセッサは、ストレージ機器例えば、ディスクドライブ、又はオプティカルドライブ、又はメモリ例えば、フラッシュメモリ、ランダムアクセスメモリ又はRAM、若しくは本開示で説明する技術をプログラマブルプロセッサに実行させるための例えば、コンピュータプログラム又は他の実行ファイルの形態の命令を記憶する他のタイプの揮発性又は不揮発性メモリなどの、コンピュータ可読記憶媒体同じく、図1に図示せずに記憶された、ソフトウェア又はコンピュータプログラムを定義するために使用されるソフトウェア命令など、ソフトウェア命令を実行する。代替的に、制御ユニット16は、1つ以上の集積回路、1つ以上の特定用途向け集積回路ASIC、1つ以上の特定用途向け専用プロセッサASSP、1つ以上のフィールドプログラマブルゲートアレイFPGAなどの、専用ハードウェア、又は本開示で説明する技術を実行するための専用ハードウェアの上記の例のいずれかの組合せを備え得る。インターフェース18は、表示装置14などの別の機器とワイヤレス通信するインターフェースを表す。図1の例には示されていないが、発信源機器12は、他の機器とのワイヤード又はワイヤレス接続を介して通信するために追加のインターフェースを含み得る。これらの追加のインターフェースは、例えば、Bluetooth登録商標インターフェース、ワイヤレスセルラーインターフェース、高解像度マルチメディアインターフェースHDMI、マイクロHDMI、ユニバーサルシステムバスUSBインターフェース、externalSerialAdvancedTechnologyAttachmentインターフェース、シリアルインターフェース、セパレートビデオsビデオインターフェース、コンポーネントビデオインターフェース、RCAインターフェース、又は別の機器と通信するための他のタイプのワイヤード若しくはワイヤレスインターフェースを備え得る。図1の例では、発信源機器12の制御ユニット16は、1つ以上のハードウェアユニット又はソフトウェアと1つ以上のハードウェアユニットとの組合せとして集合的に又は別々に実装され得る幾つかのユニット20~24を含む。深度推定ユニット20は、左ビュー26Aと右ビュー26Bとを含む3Dビデオデータ26に基づいて深度情報28を推定するユニットを表す。3Dビデオデータ26は、第1の2D撮像装置、例えば、第1のカメラと、第2の2D撮像装置、例えば、第2のカメラとを含む3D撮像装置を使用してキャプチャされ得、第1及び第2の2D撮像装置は、人間の頭部内の人間の左眼及び右眼の配置を模倣するように配置される。第1の2D撮像装置は、人間の左眼からのシーンのビューを模倣する2Dビデオデータを取得し得、一方、第2の2D撮像装置は、人間の右眼からの同じシーンのビューを模倣する2Dビデオデータを取得し得る。左ビュー26Aは、第1の2D撮像装置によって取得される2Dビデオデータを表し、右ビュー26Bは、第2の2D撮像装置によって取得される2Dビデオデータを表す。説明しやすいように図1に示されていないが、発信源機器12は、上記の3D撮像装置など、3Dビデオデータ26を取得するための追加のユニット、モジュール、論理、ハードウェア又は他の構成要素を含み得る。代替的に、発信源機器12は、3Dビデオデータ26を記憶するためのアーカイブ又はリポジトリとして働き得る。幾つかの事例において、発信源機器12は、発信源機器12内に含まれるインターフェース18を介して3Dビデオデータ26をワイヤレス受信し得る。幾つかの事例において、これらの外部機器は、3Dビデオデータを発信源機器12内に記憶するためにインターフェース18を介して発信源機器12とインターフェースし得る。3Dビデオエンコーダ22は、圧縮された形で3Dビデオデータ26と深度情報28とを符号化するユニットを表す。より詳細には、3Dビデオエンコーダ22は、深度画像ベースレンダリングDIBRを可能にする形で3Dビデオデータ26のビュー26A、26Bのうちの1つと深度情報28とを符号化するユニットを表す。DIBRは、与えられたビューと深度情報とから仮想ビューをレンダリングすることを伴う。DIBRの利益は、2つのビューではなく左ビュー及び右ビューのうちのただ1つだけが送信されるだけでよいということである。更に、DIBRは、他のビューよりもサイズがかなり小さくなり得るグレースケール画像又は所謂深度マップとして一般に与えられる深度情報を与える。DIBRを実装するデコーダは、次いで、深度マップと与えられたビューとから送られないビューをレンダリングするか、又はさもなければ生成し得る。3Dビデオエンコーダ22は、更に、3Dビデオデータ26を更に圧縮するために、ビュー26A、26Bのうちの与えられた1つと深度情報28とを圧縮し得る。3Dビデオエンコーダは、ビュー26A、26Bのうちの1つを圧縮するためのビュー符号化ユニット30と、深度情報28を圧縮するための深度符号化ユニット32とを含む。3Dビデオエンコーダは、符号化されたビューと深度情報とを符号化DIBRベース3Dビデオデータ34としてフォーマットするか、又はさもなければパッケージング又はカプセル化し得る。3D分析ユニット24は、符号化DIBRベース3Dビデオデータ34の品質を客観的に評価する3D品質メトリック363DQM36を生成するために、本開示で説明する技術を実行するか、又はさもなければ実装するユニットを表す。3DQMを、本開示では3Dビデオ品質メトリック3VQMと呼ぶこともある。深度推定ユニット20及び3Dビデオエンコーダ22とは別個のユニットとして示されているが、3D分析ユニット24は、代替的に、本開示の以下でより詳細に説明する技術を実行するか、又はさもなければ実装するために、深度推定ユニット20及び3Dビデオエンコーダ22の一方若しくは両方に統合され得る。図1の例に更に示すように、表示装置14は、発信源機器12の制御ユニット16と実質的に同様であり得る制御ユニット38と、発信源機器12のインターフェース18と実質的に同様であり得るインターフェース40とを含む。表示装置14はまた、シャッターメガネ、偏光メガネ又は色メガネを必要とし得る立体表示器とコンテンツを3Dで閲覧するためにメガネ又は他の機器を必要としない裸眼立体表示器とを含む、表示装置14の閲覧者による消費のための3Dビデオデータを提示することが可能な任意の表示器を表す3D表示器42を含む。3D表示器42は、有機発光ダイオードOLED表示器、発光ダイオードLED表示器、プラズマ表示器、及び陰極線管CRT表示器を含む、任意のタイプの表示器を備え得る。表示装置14の制御ユニット16は、1つ以上のハードウェアユニット又はソフトウェアと1つ以上のハードウェアユニットとの組合せとして集合的に又は別々に実装され得る幾つかのユニット44~48を含む。3Dビデオデコーダ44は、与えられたビュー50Aを生成するために符号化DIBRベース3Dビデオデータ34を復号するユニットを表し、その符号化DIBRベース3Dビデオデータ34は、説明のために、左ビュー50Aと深度情報52とであると仮定する。3Dビデオデコーダ44は、ビュー復号ユニット54と深度復号ユニット56とを含む。3Dビデオデコーダ44は、ソフトウェア又は命令を実行することによって本開示で説明する幾つかの機能を実装することも実装しないこともある別個のハードウェアユニットとして個別に、若しくは単一のハードウェアユニットとしてビュー復号ユニット54と深度復号ユニット56とを実装し得る。ビュー復号ユニット54は、与えられたビュー50Aを生成するためにDIBRベースビデオデータ34の符号化された与えられたビューを復号するユニットを表す。深度復号ユニット56は、深度情報58を生成するために符号化された深度マップ又は深度情報を復号するユニットを表す。ビュー再構成ユニット46は、与えられたビュー50Aと深度情報58とに基づいて右ビュー50Bを再構成するためにDIBRを実装する。右ビュー50Bは、この理由のために再構成ビュー50B再構成右ビュー50Bと呼ばれることがある。ビュー再構成ユニット46は、右ビュー50Bを再構成するために深度推定ユニット20によって実装される動作とは逆の動作を実装し得る。ビュー再構成ユニット46は、深度画像ベースレンダリングDIBRを実行し得、DIBRは、1つのビューからの、即ち、この例では与えられたビューからのコンテンツを他のビュー中の所定のロケーションにマッピングするために深度マップを使用することを伴う、ビュー再構成ユニット46が実装する動作又はプロセスである。ビュー再構成ユニット46は、次いで、しばしば穴holeと呼ばれる生成されたビュー中の空のロケーションを埋めるために様々なプロセスを実装し得る。3D分析ユニット48にとって利用可能な情報の差を考慮するために、以下でより詳細に説明する理由のために増強されるが、3D分析ユニット48は、3D分析ユニット24によって実行される技術と同様の、本開示で説明する技術を実行する。最初に、発信源機器12は、3Dビデオデータ26を受信し得る。幾つかの事例では、発信源機器12は、発信源機器12の内部に含まれるか、又はワイヤード接続若しくはワイヤレス接続のいずれかを介して発信源機器12に結合された3D撮像装置から3Dビデオデータ26を受信する。代替的に、上記のように、発信源機器12は、インターフェース18又は上記に記載した他の追加のインターフェースのうちの1つを介して3Dビデオデータ26を受信する。発信源機器12は、次いで、表示装置14にインターフェース18とワイヤレス通信チャネル15とを介して配信するためのこの3Dビデオデータ26を圧縮するために3Dビデオデータ26を符号化する。図1の例に示されていないが、制御ユニット16は、3Dビデオデータ26を符号化して表示装置14に転送することを開始するためにユーザが対話し得る1つ以上のユーザインターフェースを提示するユーザインターフェースユニット又はモジュールを含み得る。3Dビデオデータ26の符号化及び配信が開始されると、発信源機器12の制御ユニット16は、深度情報28を決定するための深度推定ユニット20を呼び出す。制御ユニット16はまた、ビュー26A、26Bのうちの1つと深度情報28とを符号化するための3Dビデオエンコーダ22を呼び出す。上記のように、3Dビデオエンコーダ22が左ビュー26Aを符号化すると仮定する。この仮定が与えられれば、3Dビデオエンコーダ22は、左ビュー26Aを符号化するためのビュー符号化ユニット20と、深度情報28を符号化するための深度符号化ユニット32とを呼び出す。3Dビデオエンコーダ22は、符号化DIBRベース3Dビデオデータ34を出力し、その符号化DIBRベース3Dビデオデータ34は、表示装置14にインターフェース18とワイヤレス通信チャネル15とを介して送信される。インターフェース40は、この符号化DIBRベース3Dビデオデータ34を受信し、このビデオデータ34を表示装置14内に含まれる制御ユニット38の3Dビデオデコーダ44に転送する。3Dビデオデコーダ44は、符号化された左ビュー26Aを復号するためのビュー復号ユニット54を呼び出す。ビュー復号ユニット54は、与えられたビュー50Aを生成するために符号化左ビュー26を復号する。3Dビデオデコーダ44はまた、符号化DIBRベース3Dビデオデータ34の符号化された深度情報28を復号するための深度復号ユニット56を呼び出す。深度復号ユニット56は、深度情報58を生成するために符号化深度情報28を復号する。制御ユニット38は、右ビュー50Bを再構成するためのビュー再構成ユニット46を呼び出し、その後、ビュー再構成ユニット46は、DIBRを使用して与えられたビュー50Aと深度情報58とに基づいて再構成された右ビュー50Bを形成する。左ビュー50A及び右ビュー50Bは、3D表示器42に3Dビデオデータ50として転送され、その3D表示器42は、3D表示器42の閲覧者にこの3Dビデオデータ50を提示する。DIBRベース符号化及びDIBRベース復号のこのプロセス全体にわたって、3D分析ユニット24、48の各々は、本開示で説明する技術に従って、それぞれ3DQM36及び60を決定する。最初に発信源機器12の3D分析ユニット24を参照すると、3D分析ユニット24は、以下でより詳細に説明する本開示の技術に従って、DIBRベース3Dビデオデータを使用して歪み制限画像ビューを生成することになる理想深度マップを推定する。手短に言えば、3D分析ユニット24は、少なくとも生成された又は再構成されたビューに基づいて理想深度マップを推定する。即ち、図1の例に示されていないが、3Dビデオエンコーダ22はまた、表示装置14の3Dビデオデコーダ44と同様の3Dビデオデコーダを含む。同様に、深度推定ユニット20はまた、DIBRを実装し、3Dビデオエンコーダ22内に含まれる3Dビデオデコーダの出力から生成されたビューを再構成するための、ビュー再構成ユニット46と同様のビュー再構成ユニット46を含み得る。制御ユニット16は、深度推定と、選択されたビュー、即ち、この例では左ビュー26Aと深度情報28とのその後の符号化とを可能にするためのこれらの復号ユニットとビュー再構成ユニットとを含む。従って、深度推定ユニット20は、復号された深度情報58’と復号された左ビュー50A’とに基づいて再構成された右ビュー50B’を出力し得る。3D分析ユニット24は、次いで、少なくとも生成された又は再構成されたビュー50B’に基づいて理想深度マップ62DM62を生成する。単一の基準ビュー又は与えられたビューと深度マップとを含むDIBRベースビデオデータのみではなく、3Dビデオデータ26全体が与えられれば、3D分析ユニット24は、元のビュー、即ち、右ビュー26Bと生成された又は再構成されたビュー50B’との関数として理想深度マップ62を計算し得る。3D分析ユニット24が取得された3Dビデオデータ26へのアクセスを有するこの所謂フル基準fullreferenceコンテキストは、より正確な深度マップ62を与え得る。このフル基準コンテキストに関して説明したが、3D分析ユニット24は、所謂簡約基準reducedreferenceコンテキストと無基準noreferenceコンテキストとを含む、他のコンテキストに関して本開示で説明する技術を実装し得、その両方については以下でより詳細に説明する。一般に、発信源機器12の3D分析ユニット24は、フル基準コンテキスト又は簡約基準コンテキストのいずれかで理想深度マップ62を計算し、一方、3D分析ユニット48は、簡約基準コンテキスト又は無基準コンテキストのいずれかでそれの深度マップ70を計算する。これらの2つの3D分析ユニット24がどのように理想深度マップ62、70を計算するかの違いは、以下でより詳細に説明するように、3Dビデオデータの利用可能性による。フル基準コンテキストは、3Dビデオデータ26が完全に利用可能である場合、即ち、ビュー26A、26Bのうちのただ1つではなくビュー26Aと26Bの両方が利用可能である場合を指す。簡約基準コンテキストは、左ビュー26Aと右ビュー26Bの両方のための深度マップが与えられるが、ビュー26A、26Bのうちの1つだけが与えられるという点で、3Dビデオデータ26が部分的にしか利用可能でない場合を指す。無基準コンテキストは、3Dビデオデータ26が、DIBRベース3Dビデオデータ、即ち、左ビューと右ビューのうちの1つだけと深度マップ又は他の深度情報とを備えるビデオデータのみを含む場合を指す。3D分析ユニット24は、次いで、理想深度マップ62と所定の深度情報又は深度マップ28との定量比較を通して1つ以上の歪みメトリック64メトリック64を導出する。3D分析ユニット24は、例えば、理想深度マップ62と深度マップ28との間の差の標準偏差としてメトリック64のうちの1つ以上を導出し得る。代替又は追加として、3D分析ユニット24は、3Dビデオデータ26の第1のフレームについての理想深度マップ62と深度マップ28との間の差と、3Dビデオデータ26の第2のフレームについての理想深度マップ62と深度マップ28との間の差との変化の標準偏差としてメトリック64のうちの1つ以上を導出し得る。代替又は追加として、3D分析ユニット24は、3Dビデオデータ24の第1のフレームについて計算した深度マップ28と3Dビデオデータ24の第2のフレームについて計算した深度マップ28との間の差の標準偏差としてメトリック64のうちの1つ以上を導出し得る。3D分析ユニット24は、次いで、導出された歪みメトリック64に基づいて3DQM36を計算する。幾つかの事例では、3D分析ユニット24は、歪みメトリック64の全ての数学的組合せとして3DQM36を生成する。他の事例では、3D分析ユニット24は、歪みメトリック64のサブセットのみの組合せとして3DQM36を計算する。とにかく、3DQM36は、それが主観的に導出されたメトリックの組合せとして計算されていないという点で目標メトリックobjectivemetricを表す。代わりに、3D分析ユニット24は、これらのメトリック64が所定の深度マップ28と目標理想深度マップobjectiveidealdepthmap62の推定との比較を通して導出されるという点で客観的に導出されたメトリック64の組合せとして3DQM36を計算する。この理想深度マップ62は、DIBRベースビデオデータを使用して画像ビュー中に限定された歪みを生成することになる基準深度マップ62を表し、従って、得られた符号化DIBRベース3Dビデオデータ34をそれに対して評価するための目標標準objectivestandardを与える。従って、疑似3DQMを導出するために、深度マップ28と深度マップ58’との従来の比較であって、深度マップ28が、深度推定ユニット20によって実行される深度推定による誤差を本質的に含み得る、比較を実行するのではなく、3D分析ユニット24はこれらの固有の誤差を補正する形でこの深度マップ62を計算するので、目標理想深度マップ62は、これらの固有の誤差を回避する。更に、3D分析ユニット24は、得られた3Dビデオデータ50を閲覧する際に知覚される視覚的不快感と見なされ得るものを考慮するために導出されるメトリック64の関数として3DQM36を生成する。言い換えれば、疑似3DQMを計算するために幾つかの深度メトリックを従来の2Dメトリックに盲目的に組み合わせるのではなく、3D分析ユニット24は、知覚される視覚的不快感を考慮するように3DQM36を計算するために、本開示で説明する技術を実装する。3D分析ユニット24が3DQM36を計算すると、3D分析ユニット24は、深度推定ユニット20及び3Dビデオエンコーダ22の各々に3DQM36を送信し得、その深度推定ユニット20及び3Dビデオエンコーダ22の各々は、次いで、3DQM36によって識別される少なくとも何らかの視覚的不快感を補正するために、この3DQM36に基づいて1つ以上のパラメータを更新し得る。代替的に、3D分析ユニット24は、深度推定ユニット20及び3Dビデオエンコーダ22の各々に対して1つ以上のパラメータ66、68の新しいセットを生成し、深度推定ユニット20及び3Dビデオエンコーダ22の各々にこれらの新しいパラメータ66及び68を転送し得る。これらの新しいパラメータ66及び68は、3DQM36によって識別される符号化DIBRベース3Dビデオデータ34を閲覧するときに予想される知覚される視覚的不快感を補正しようとする試みにおいて、深度推定及び符号化を調整するように深度推定ユニット20及び3Dビデオエンコーダ22を効果的に再構成する。3D分析ユニット24は、一般に、符号化DIBRベース3Dビデオデータ34を閲覧するときに予想される知覚される視覚的不快感を補正するために、深度推定ユニット20及び3Dビデオエンコーダ22の動的な、即ち、リアルタイム又はほぼリアルタイムな再構成を可能にするために深度推定ユニット20によって実行される深度推定と3Dビデオエンコーダ22によって実行される符号化と同時にこのプロセス全体を実行する。上記のように、3D分析ユニット48は、同様に、3DQM60を計算する。3D分析ユニット48は、3D分析ユニット24が異なる情報に基づいて理想深度マップDM70を推定し得ることを除いて、3D分析ユニット24に実質的に同様であり得る。3D分析ユニット24は、やはり、再構成された右ビュー50Bに少なくとも部分的に基づいて深度マップ70を推定する。しかしながら、両方のビュー26A、26Bが送られるとこれらのビュー26A、26Bのうちのただ1つのみと深度情報又は深度マップ28とを送るという節約がなくなるので、DIBRベース方式を使用する目的を無にすることになるので、3D分析ユニット48は、元の右ビュー26Bへのアクセスを有しないことがあり、一般に有しない。従って、3D分析ユニット48は、概して、簡約基準コンテキスト又は無基準コンテキストのいずれかにあり、右ビュー26Bへのアクセスなしに理想深度マップ70を決定する。3D分析ユニット24と実質的に同様の方法で、3D分析ユニット48は、理想深度マップ70と再構成された深度マップ58とに基づいて歪みメトリック72のうちの1つ以上を導出するか、又はさもなければ計算する。この場合も、3D分析ユニット24と同様に、3D分析ユニット48は、メトリック72に基づいて3DQM60を計算し、この3DQM60を3Dビデオデコーダ44とビュー再構成ユニット46とに与え、その結果、これらのユニット44、46は、3DQM60によって識別される知覚される閲覧者不快感を考慮するためにそれらのそれぞれのパラメータを更新し得る。代替的に、3D分析ユニット48は、3DQM60に基づいてパラメータ74及び76を決定し、3Dビデオデコーダ44を決定されたパラメータ74で更新し、ビュー再構成ユニット46をパラメータ76で更新し得る。これらの新しいパラメータ74及び76は、3DQM60によって識別される符号化DIBRベース3Dビデオデータ34を閲覧するときに予想される知覚される視覚的不快感を補正しようとする試みにおいて、復号及びビュー再構成を調整するように3Dビデオデコーダ44及びビュー再構成ユニット46を効果的に再構成する。3D分析ユニット48は、一般に、符号化DIBRベース3Dビデオデータ34を閲覧するときに予想される知覚される視覚的不快感を補正するために、3Dビデオデコーダ44及びビュー再構成ユニット46の動的な再構成、即ち、リアルタイム又はほぼリアルタイムな再構成を可能にするために3Dビデオデコーダ44によって実行される復号とビュー再構成ユニット46によって実行されるビュー再構成とに並行してこのプロセス全体を実行する。3D表示器42は、次いで、3D表示器42の1人又は複数人の閲覧者へのプレゼンテーションのための復号された3Dビデオデータ50を提示し得る。このようにして、左ビューと右ビューとの両方について計算される従来の2D品質メトリックに依拠し、次いで、これらのメトリックを組み合わせて深度情報を無視する何らかの疑似3DQMを形成するのではなく、本開示で説明する技術は、目標理想深度マップに関して歪みを評価する真の3DQMを構築する。DIBRにおいて、例えば、間違った推定、数値丸め及び圧縮アーティファクトによる深度マップ中の誤差は、相対画素ロケーションの誤差及び再構成されたビュー50Bの画素値の大きさの誤差をもたらす。再構成されたビュー50B中でのこれらの誤差の視覚効果は、テクスチャエリアの周りで有意な強度変化の形で空間的に顕著になり、平坦領域の周りでちらつきの形で時間的に顕著になる。DIBRベース3Dビデオ中の視覚的不快感は、更に、物体色の不一致など、過大な視差、高速変化する視差、様々な深度キュー間の幾何学的歪み及び不整合inconsistencyを含む幾つかのファクタから生じ得る。本開示で説明する技術は、3DQM36及び60によって識別される視覚的不快感を潜在的に動的に補正するために、3DQM36及び60の形でDIBRベース3Dビデオの視覚的品質を客観的に定量化する。更に、本技術は、レート歪み圧縮アルゴリズムの方法と同様の方法で実装され得る。即ち、レート歪み圧縮アルゴリズムでは、復元されたビデオ中により多くのアーティファクトを潜在的にもたらすことのトレードオフとしてワイヤレスチャネルを介した帯域幅消費を低減するために、例えば、残差値を量子化することによってビデオの圧縮が高められ得る。これらの圧縮システムでは、圧縮を低減して、復元されたビデオにアーティファクトをもたらすことを低減し得るが、これにより、より多くのワイヤレス帯域幅を消費するより大きいファイルが生じ得る。3DQM36又は60などの3DQMは、圧縮及び深度推定を通してもたらされるアーティファクトを識別し、レート制約付きrateconstrained圧縮アルゴリズムに関して上記で説明したトレードオフと同様のトレードオフを生じるパラメータ調整を推進し得る。この意味で、3DQMは、より多くのアーティファクトをもたらすという犠牲を払って圧縮を高めるためか、又は帯域幅消費が増加するという犠牲を払って圧縮を低減するために使用され得る。この点において、3DQMは、特定のアプリケーションに適するようにDIBRベース3Dビデオデータの生成及び圧縮の適合が可能であり得る。即ち、3DQMは、圧縮におけるレート歪みトレードオフと同様である、正確な深度マップの推定に関与する計算の複雑さと、これらの画像にもたらされるアーティファクトとの間のトレードオフを行い得る。そのようなトレードオフを可能にすることによって、3DQMは、セルラーフォン、ラップトップコンピュータ、所謂ネットブック、携帯情報端末PDAなどのモバイル機器中など、処理リソース又はバッテリーリソースが限定されるモバイルアプリケーション又は埋込みリアルタイムアプリケーションにおける3Dビデオデータ技術の実装を可能にし得る。上記では2ビューシステムに関して説明したが、本技術は、3つ以上のビューが3D表示器に与えられ、複数の異なるビューを表示することを可能にする、マルチビュー3Dシステムにおいて実装され得る。例えば、幾つかの3D表示器は、3D表示器に対して閲覧者がどこにいるのかに応じて複数のビューを表示することができる。表示器の左側の閲覧者は、3D表示器に対して正面の閲覧者、又は3D表示器の左側の閲覧者とは異なるビューを受け取り得る。これらの3D表示器は、これらのビューの各々を同時に表示し得、これらのビューの各々の符号化及び復号は、本開示で説明するDIBRプロセスを使用して進められ得る。この点において、これらのビューの各々に3DQMを与えるために、又はこれらのビューにグループとして3DQMを与えるために本技術が採用され得、これらの1つ以上の3DQMは、これらのビューを閲覧するときに発生することが予想される少なくとも何らかの視覚的不快感の識別及び潜在的なその後の補正を可能にし得る。従って、本開示では、説明を簡単にするために2ビューシステムに関して説明するが、本技術はマルチビューシステムにおいて採用され得る。図2は、本開示で説明する技術の様々な態様を実装する3D分析ユニット80の例を示すブロック図である。3D分析ユニット80は、図1の例に示す3D分析ユニット24又は48のいずれかを表し得、3D分析ユニット80についての以下の説明の様々な部分は、3D分析ユニット24及び48の各々に適用され得る。幾つかの事例では、3D分析ユニット24及び48の各々は互いに実質的に同様であり得、従って3D分析ユニット80は、概して3D分析ユニット24及び48の両方を表し得る。他の例では、3D分析ユニット24は、特定のコンテキスト、例えば、上記のフル基準コンテキストに適応され得、従って、3D分析ユニット80は、この適応された3D分析ユニット24を部分的に表すにすぎない。同様に、3D分析ユニット48は、特定のコンテキスト、例えば、上記の無基準コンテキストに適応され得、従って、3D分析ユニット80は、この適応された3D分析ユニット48を部分的に表すにすぎない。図2の例に示すように、3D分析ユニット80は、理想深度推定ユニット82と、歪みメトリック計算ユニット84と、3DQM計算ユニット86と、パラメータ生成ユニット88とを含む。これらのユニット82~88の各々は、ハードウェア又はハードウェアとソフトウェアの組合せのいずれかとして別々に実装され得る。代替的に、ユニット82~88のうちの1つ以上は、ハードウェア又はハードウェアとソフトウェアの組合せのいずれかとして集合的に実装され得る。理想深度推定ユニット82は、概して、理想深度を推定し、理想深度マップ90を出力するユニットを表す。理想深度推定ユニット82は、3Dビデオデータの異なるレベルの利用可能性に基づいて理想深度マップ90を推定する幾つかのユニット92~96を含む。フル基準ユニット92は、DIBRベース3Dビデオデータのみではなく3Dビデオデータへの完全な利用可能性があるとき理想深度マップ90を推定する。即ち、フル基準ユニット92は、元のビュー98と元のビュー又は再構成されたビュー100再構成ビュー100の再構成とに基づいて理想深度マップ90を推定する。フル基準ユニット92はまた、決定された深度情報102深度情報102と、焦点距離103及び3D撮像装置の2Dカメラの中心間の直線距離として測定されるベースライン105などの3D撮像装置パラメータとに基づいてこの理想深度マップ90を推定する。焦点距離103及びベースライン105について、図7に関して以下でより詳細に説明する。幾つかの事例では、これらの3D撮像装置パラメータは、実際の3D撮像装置のパラメータではなく、3D撮像装置をモデル化するために一般に使用されるパラメータを表す一般的なパラメータにすぎないという点で、これらのパラメータは、仮想3D撮像装置のパラメータを反映し得る。数学的に、フル基準ユニット92によって実行されるフル基準推定は、以下の式1によって表され得る。上式で、変数ZIDEALは理想深度マップ90を指し、変数Fは焦点距離103を指す。上式1の変数Bはベースライン105を指し、変数kは定数値を指し、変数Ioは元のビュー又は画像98を指し、変数Igは生成された又は再構成されたビュー又は画像100を指し、変数Zは深度情報102の深度マップを指す。本開示におけるビュー又は画像への言及は、各ビュー又は画像を形成する実際の画素値を指す。計算された理想深度マップは、グレースケール値の2次元アレイとして計算される。簡約基準ユニット94は、同じく理想深度マップ90を推定するが、3Dビデオデータの簡約化された又は部分的な利用可能性があるときには異なる簡約基準コンテキストで理想深度マップ90を推定する。即ち、簡約基準ユニット94は、与えられたビュー104と再構成されたビュー100とに基づいて理想深度マップ90を推定する。簡約基準ユニット94はまた、決定された深度情報102と、3D撮像装置パラメータと、焦点距離103と、ベースライン105とに基づいてこの理想深度マップ90を推定する。深度情報102に関して、簡約基準ユニット94は、概して、左ビューのための深度マップと右ビューのための深度マップの両方を必要とする。深度推定ユニット20などの深度推定ユニットは、概して、左ビュー及び右ビューの各々に対応するこれらの深度マップの両方を与えることが可能であり、図1の例に示す深度情報28は、これらの深度マップの両方を含み得る。深度符号化ユニット32は、これらの深度マップの両方を符号化し、符号化DIBRベース3Dビデオデータ34としてこれらを送信し得る。数学的に、簡約基準ユニット94によって実行される簡約基準推定は、以下の式2によって表され得る。上式で、変数ZIDEALは理想深度マップ90を指し、変数Fは焦点距離103を指す。上式2の変数Bはベースライン105を指し、変数kは定数値を指し、変数hは、図7に関して以下でより詳細に説明するシフトセンサカメラモデルによる、センサの中心に対する投影の中心の水平方向へのシフトを指し、変数IRは、基準又は与えられたビュー又は画像104与えられたビュー104を指し、変数Igは、生成された又は再構成されたビュー又は画像100を指し、変数ZLは深度情報102の左深度マップを指し、ZRは深度情報102の右深度マップを指す。無基準ユニット96は、理想深度マップ90を推定するが、DIBRベース3Dビデオデータしかないときには、無基準コンテキストと呼ばれる更に別のコンテキストで理想深度マップ90を推定する、更に別のユニットを表す。即ち、無基準ユニット96は、与えられたビュー104と再構成されたビュー100とに基づいて理想深度マップ90を推定する。簡約基準ユニット94はまた、深度情報102と、3D撮像装置パラメータと、焦点距離103と、ベースライン105とに基づいてこの理想深度マップ90を推定する。数学的に、簡約基準ユニット94によって実行される無基準推定は、以下の式3によって表され得る。上式で、変数ZIDEALは理想深度マップ90を指し、変数Fは焦点距離103を指す。上式3の変数Bはベースライン105を指し、変数IRは、基準又は与えられたビュー又は画像104与えられたビュー104を指し、変数Igは、生成された又は再構成されたビュー又は画像100を指し、変数Zは深度情報102の深度マップを指す。式3の関数fは、IRとIgとの対応するブロック間の平均視差dを計算し、IR中の対応するブロックに値dだけシフトを適用する関数を指す。関数fは、次いで、シフトされたIRと生成されたビューIgとの間の強度差を出力する。歪みメトリック計算ユニット84は、理想深度マップ推定90に基づいて歪みメトリックを計算するユニットを表す。より詳細には、歪みメトリック計算ユニット84は、深度情報102と理想深度マップ推定90との深度マップ間の差の定量的尺度として歪みメトリックを計算し得る。深度情報102と理想深度マップ推定90との間の差が常に視覚的不快感を識別するとは限らないが、深度における不整合誤差inconsistenterrorは視覚的不快感を生じる。このために、整合誤差consistenterrorは視覚的不快感を生じないことがあるので、幾つかの歪みメトリックは、誤差ではなく不整合を測定する。例えば、空間領域において、特定の深度平面にわたる整合又は均一誤差は、その平面全体を一方向にシフトさせ、そのような誤差の知覚効果は、知覚される深度のわずかな増加又は減少を生じることになり、そのわずかな増加又は減少は、概して、多くの視覚的不快感をもたらさない。しかしながら、深度における不整合誤差は、物体色の不一致による深度キューの不整合の形で視覚的不快感を発生させる色画素/ブロックの変位をもたらす。従って、歪みメトリック計算ユニット84は、単に誤差を識別するのではなく、不整合を評価する歪みメトリックを計算する。理想深度推定90と、以下で説明する歪みメトリック112~116などの1つ以上の歪みメトリックとを比較する際に、歪みメトリック計算ユニット84は、深度マップ推定及び圧縮によって生じた誤差、並びに、例えば、穴埋めアルゴリズム及びビデオ圧縮プロセスのために合成又は生成された有色ビデオ自体の処理によって生じた誤差を取込む。理想深度マップ推定90は、所定の深度と有色ビデオ自体との関数として生成されるので、生成された有色ビデオの処理によって生じた誤差が識別される。歪みメトリック計算ユニット84は、空間的誤差外れ値SO歪みメトリックユニット106SO歪みメトリックユニット106と、時間的誤差外れ値TO歪みメトリックユニット108TO歪みメトリックユニット108と、時間的不整合TI歪みメトリックユニット110TI歪みメトリックユニット110とを含む。SO歪みメトリックユニット106は、理想深度マップ推定90に基づいてSO歪みメトリック112を計算するユニットを表す。特に、SO歪みメトリックユニット106は、深度情報102の所定の深度マップと理想深度マップ推定90との間の差の標準偏差としてSO歪みメトリック112を計算し、そのSO歪みメトリック112は、以下の式4によって数学的に表され得る。上式で、変数SOは、SO歪みメトリック112を指し、stdΔZは、深度情報102の深度マップと理想深度マップ推定90との間の差の標準偏差を指す。SO歪みメトリックユニット106は、3Dビデオデータの所定の画像又はフレームの空間的不整合を効果的に定量化する。SO歪みメトリック112は、概して、前処理によって生じた雑音と、3Dビデオデータを生成するために使用されるラッピングプロセスにおける誤りinaccuracyの両方をキャプチャする。ラッピングは、概して、2D画像で多角形などの3Dボリュームをラッピングすることを指す。ラッピングは、固有の近似並びにカメラのモデル化近似を伴い得る。深度の処理なしに合成又は再構成された画像の視差は、カメラから理想的に収集された画像の視差とまったく同じではない。従って、異なる深度平面でのシフトは完全には一致しないことになる。深度マップと理想深度マップ推定との間の差の中のこれらの誤差と処理による誤差とを分離するために、この差の標準偏差を使用して外れ値を計算する。これらの外れ値は、深度マップ処理不適当な平面シフトによるエッジによって生じた雑音である。このようにして、SOは、深度マップ処理と不適当な平面シフトとによって生じた外れ値を識別する。TO歪みメトリックユニット108は、理想深度マップ推定90に基づいてTO歪みメトリック114を計算するユニットを表す。特に、TO歪みメトリックユニット108は、3Dビデオデータの後続のフレームのための深度情報102の所定の深度マップと、同じ後続のフレームのための理想深度マップ推定9との間の差から減算された、3Dビデオデータの所定のフレームのための深度情報102の所定の深度マップと、同じフレームのための理想深度マップ推定90との間の差の標準偏差としてTO歪みメトリック114を計算し、そのTO歪みメトリック114は、以下の式5によって数学的に表され得る。上式5の変数TOは、TO歪みメトリック114を指し、stdΔZt1-ΔZtは、3Dビデオデータの後続のフレームt1のための深度情報102の所定の深度マップと、同じ後続のフレームのための理想深度マップ推定9との間の差から減算された、3Dビデオデータの所定のフレームtのための深度情報102の所定の深度マップと、同じフレームのための理想深度マップ推定90との間の差の標準偏差を指す。TO歪みメトリックユニット106は、時間的不整合を効果的に定量化し、その時間的不整合は、著しい強度変化の形でテクスチャ付きのエリアの周りと、ちらつきの形で平坦な領域の周りとで空間的に顕著になり得る。TOの背後にある理由は、雑音によってもたらされる誤差は時間的に不整合であるが、同じラッピングプロセスが両方のフレームを生成するので、エッジは、時間的に整合したものになるということである。この点において、TO歪みメトリック114は、SO中でエッジをフィルタ処理して除去し、雑音寄与のみを維持する。高速変化する視差又は不整合は、視覚的不快感の別の発生源であり、主に、深度推定及び穴埋めアルゴリズム又は圧縮中の誤差によって生じる。これらの不整合は、TI歪みメトリック116によって識別され得、TI歪みメトリックユニット110は、このTI歪みメトリック116を計算するユニットを表す。TI歪みメトリックユニット110は、以下の式6に従ってTI歪みメトリック116を計算し得る。上式で、変数TIは、TI歪みメトリック116を指し、stdZt1-Ztは、3Dビデオデータの所定のフレームtのための深度情報102と3Dビデオデータの後続のフレームt1のための深度情報102との間の差の標準偏差を指す。幾つかの例示的な歪みメトリック112~116について上記で説明したが、本開示で説明する技術は、これらの例示的な歪みメトリック112~116に限定されるべきではなく、3Dビデオデータの予想される視覚的不快感を評価するための他のタイプの歪みメトリックを含み得る。3DQM計算ユニット86は、歪みメトリック112~116などの歪みメトリックのうちの1つ以上に基づいて3DQM118を計算するユニットを表す。3DQM計算ユニット86は、3DQM118を形成するために歪みメトリック112~116を組み合わせるより前に歪みメトリック112~116を正規化し得るか、又はさもなければ調整し得る。3DQM計算ユニット86は、以下の例示的な式7に従って3DQM118を計算し得る。上式7で、変数3DQMは3DQM118を指し、変数SOはSO歪みメトリック112を指し、変数TOはTO歪みメトリック114を指し、変数TIはTI歪みメトリック116を指し、変数Kは、MOS平均オピニオンスコア:MeanOpinionScore範囲上にマッピングするために[1~5]の範囲内で最終3DQMメトリックをスケーリングするための定数を指し、変数a、b及びcは、トレーニングシーケンスによって決定された定数値を表す。実際には、3DQM計算ユニット86は、3DQM118が決定された3Dビデオデータを閲覧するときに閲覧者が受けることが予想される少なくとも何らかの視覚的不快感を識別するためにこの3DQM118を生成する。パラメータ生成ユニット88は、3DQM118に基づいてパラメータ120を生成するユニットを表す。パラメータ生成ユニット88は、3DQM118によって識別される少なくとも何らかの視覚的不快感を補正するためにパラメータ120を生成する。パラメータ生成ユニット88は、3D分析ユニット80が動作するコンテキストに応じて、深度推定ユニット20などの深度推定ユニットと、3Dビデオエンコーダ22などの3Dビデオデコーダと、3Dビデオデコーダ44などの3Dビデオエンコーダと、ビュー再構成ユニット46などのビュー再構成ユニットとのうちのいずれかを更新するパラメータ120を決定し得る。例えば、3D分析ユニット80は、発信源機器12など、3Dビデオデータを発信する発信源機器内で動作し得る。3D分析ユニット80が、例示のために3D分析ユニット24を表すと仮定すると、3D分析ユニット80は、左ビュー26Aと右ビュー26Bの両方を含むフル3Dビデオデータ26を受信する。3D分析ユニット80はまた、標準で事前構成されるか、又は焦点距離103とベースライン105とを受信する。更に、3D分析ユニット80は、深度推定ユニット20からの再構成された右ビュー50B’の形で再構成された右ビュー100を受信する。3D分析ユニット80は、更に、深度情報28の形で深度情報102を受信し、深度情報102は、左ビュー26Aに対応する左深度マップと右ビュー26Bに対応する右深度マップとを備え得る。この受信された情報に基づいて、3D分析ユニット80の理想深度推定ユニット82は、3D分析ユニット80が、左ビュー26Aと右ビュー26Bの両方と、左深度マップと右深度マップの両方を備える深度情報28とを受信したことを考慮してフル基準ユニット92を呼び出す。呼び出されると、フル基準ユニット92は、次いで、上記に記載した式1に従って、図1の発信源機器12のコンテキストでは理想深度マップ62を表す、理想深度マップ推定90を計算する。フル基準ユニット92は、歪みメトリック計算ユニット84に理想深度マップ62を出力する。理想深度マップ62を受信すると、歪みメトリック計算ユニット84は、対応する式3~6に従って歪みメトリック112~116の各々を計算するためのSO歪みメトリックユニット106と、TO歪みメトリックユニット108と、TI歪みメトリックユニット110との各々を呼び出す。図1の発信源機器12のコンテキストでは、歪みメトリック112~116はメトリック64を表す。ユニット106~110は、3DQM計算ユニット86に歪みメトリック64を出力する。3DQM計算ユニット86は、図1の発信源機器12のコンテキストでは3DQM36を表す、3DQM118を計算する。3DQM計算ユニット86は、次いで、パラメータ生成ユニット88に3DQM36を出力し、パラメータ生成ユニット88は、図1の発信源機器12のコンテキストでは、パラメータ66、68を含むパラメータ120を出力する。フル基準コンテキストに関して説明したが、3D分析ユニット80はまた、3Dビデオデータ又はコンテンツを取得しないか、又はさもなければ発信しない、3Dビデオデータを記憶するにすぎない発信源機器内に実装され得る。この記憶された3Dビデオデータは、左ビューと右ビューとに対応する深度マップと、ビュー26A、26Bのうちのただ1つのみとを含み得る。この所謂ハーフ基準コンテキストでは、理想深度マップ90を計算するためのフル基準ユニット92を呼び出すのではなく、理想深度推定ユニット84は、理想深度マップ90を計算するための簡約又はハーフ基準ユニット94を呼び出し、理想深度マップ90は、この場合も図1の発信源機器12のコンテキストでは、理想深度マップ62を表す。しかしながら、全ての他の点において、3D分析ユニット80は、フル基準インスタンスに関して上記で説明した3D分析ユニットと同様に動作する。別の例として、3D分析ユニット80は、表示装置14など、3Dビデオデータを発信する表示装置内で動作し得る。3D分析ユニット80が、例示のために3D分析ユニット48を表すと仮定すると、3D分析ユニット80は、与えられた左ビュー50Aと再構成された右ビュー50Bとを含むDIBRベース3Dビデオデータ50を受信する。3D分析ユニット80はまた、焦点距離103とベースライン105とを受信する。3D分析ユニット80は、更に、深度情報58の形で深度情報102を受信し、深度情報102は、与えられた左ビュー50Aに対応する左深度マップを備え得る。この受信された情報に基づいて、3D分析ユニット80の理想深度推定ユニット82は、3D分析ユニット80が、ただ1つの与えられたビュー50と深度情報58の形の対応する左深度マップとを受信したことを考慮して無基準ユニット96を呼び出す。呼び出されると、無基準ユニット96は、上記に記載した式3に従って、図1の表示装置14のコンテキストでは理想深度マップ70を表す、理想深度マップ推定90を計算する。フル基準ユニット92は、歪みメトリック計算ユニット84に理想深度マップ62を出力する。理想深度マップ62を受信すると、歪みメトリック計算ユニット84は、対応する式4~6に従って歪みメトリック112~116の各々を計算するためのSO歪みメトリックユニット106と、TO歪みメトリックユニット108と、TI歪みメトリックユニット110との各々を呼び出す。図1の表示装置14のコンテキストでは、歪みメトリック112~116はメトリック72を表す。ユニット106~110は、3DQM計算ユニット86に歪みメトリック72を出力する。3DQM計算ユニット86は、図1の表示装置14のコンテキストでは3DQM60を表す、3DQM118を計算する。3DQM計算ユニット86は、次いで、パラメータ生成ユニット88に3DQM60を出力し、パラメータ生成ユニット88は、図1の表示装置14のコンテキストでは、パラメータ74、76を含むパラメータ120を出力する。フル基準コンテキストに関して説明したが、3D分析ユニット80はまた、深度情報102の形で右深度マップと左深度マップの両方を含むDIBRベース3Dビデオデータを受信する表示装置内に実装され得る。この所謂ハーフ基準コンテキストでは、理想深度マップ90を計算するための無基準ユニット96を呼び出すのではなく、理想深度推定ユニット84は、理想深度マップ90を計算するための簡約又はハーフ基準ユニット94を呼び出し、理想深度マップ90は、この場合も図1の表示装置12のコンテキストでは、理想深度マップ70を表す。しかしながら、全ての他の点において、3D分析ユニット80は、フル基準インスタンス及び無基準インスタンスに関して上記で説明した3D分析ユニットと同様に動作し得る。図3は、本開示で説明する3次元3D品質メトリック導出技術の様々な態様を実装する際の、図1の例に示す発信源機器12などの発信源機器の例示的な動作を示すフローチャートである。図1の発生源12に関して説明したが、本技術は、符号化DIBRベース3Dビデオデータを生成するために3Dビデオデータを符号化することが可能な任意の機器によって実装され得る。最初に、発信源機器12の制御ユニット16は、深度推定ユニット20を呼び出して、上記で説明した方法で深度情報28を計算する130。3Dビデオエンコーダ22は、ビュー符号化ユニット30を呼び出して、ビュー26A、26Bのうちの1つを符号化し132、説明のために、ビュー符号化ユニット30は左ビュー26Aを符号化すると仮定する。3Dビデオエンコーダ22はまた、深度符号化ユニット32を呼び出して、深度情報28を符号化する134。3Dビデオエンコーダ22は、符号化DIBRベース3Dビデオデータ34を出力する。3Dビデオエンコーダ22はまた、ビュー符号化ユニット30を呼び出して、符号化された左ビューを復号して、復号された左ビュー50A’を出力する。ビデオ符号化は、残差データを決定するために符号化ビューを復号するので、この復号は、ビデオ符号化のルーチン態様であり、その残差データは、復号された左ビュー50A’と後続の左ビューとの間の差である。同様に、深度符号化ユニット32は、符号化された深度情報を復号して、復号された深度情報58’を生成する。深度符号化ユニット32は、深度推定ユニット20に復号された深度情報58’を出力する。復号された左ビュー50A’と復号された深度情報58’とに基づいて、深度推定ユニット20は、ビュー26A、26Bのうちの他方を再構成し、その他方は、図1の例では、再構成された右ビュー50B’として示されている136。3D分析ユニット24は、上記で説明したように、少なくとも再構成された右ビュー50B’に基づいて、理想深度マップ62を計算する138。3D分析ユニット24は、次いで、上記で説明した方法で、理想深度マップ62に基づいて歪みメトリック64を導出する140。また、上記で説明したように、3D分析ユニット24は、歪みメトリック64に基づいて3DQM36を計算する142。更に、3D分析ユニット24は、3DQM36に基づいてパラメータ66、68を生成する144。3D分析ユニット24は、3Dビデオデータ26を閲覧するときに予想される識別された視覚的不快感のうちの少なくとも一部を補正するためにパラメータ66、68を生成する。これらのパラメータ66、68を使用して、3D分析ユニット24は、深度推定ユニット20と深度符号化ユニット32とを構成する146。図4は、本開示で説明する技術の様々な態様を実装する際の、図1の例に示す表示装置14などの表示装置の例示的な動作を示すフローチャートである。図1の表示装置14に関して説明したが、本技術は、DIBRベース3Dビデオデータを生成するために符号化DIBRベース3Dビデオデータを復号することが可能な任意の機器によって実装され得る。最初に、表示装置14の制御ユニット38は、3Dビデオデコーダ44を呼び出して、符号化DIBRベース3Dビデオデータ34を復号する。符号化DIBRベース3Dビデオデータ34は、符号化された与えられたビューと符号化された深度情報とを含む。3Dビデオデコーダ44は、ビュー復号ユニット54を呼び出して、与えられたビューを復号し、与えられたビュー50Aを生成する150。3Dビデオデコーダ44は同じく、深度復号ユニット56を呼び出して、符号化された深度情報を復号し、復号された深度情報58を生成する152。制御ユニット38は、次いで、ビュー再構成ユニット46を呼び出し、ビュー再構成ユニット46は、復号された深度情報58と復号された与えられたビュー50Aとから再構成されたビュー50Bを再構成する154。制御ユニット38は、更に、ビュー50Bの再構成の後に3D分析ユニット48を呼び出す。3D分析ユニット48は、上記で説明した方法で、少なくとも再構成されたビュー50Bに基づいて理想深度マップ70を計算する156。3D分析ユニット48は、次いで、上記で説明したように、理想深度マップ70に基づいて歪みメトリック72を導出する158。また、上記で説明したように、3D分析ユニット48は、歪みメトリック72に基づいて3DQM60を計算する160。3D分析ユニット48は、更に、3DQM60に基づいてパラメータ74、76を生成する162。3D分析ユニット24は、3Dビデオデータ50を閲覧するときに予想される識別された視覚的不快感のうちの少なくとも一部を補正するためにパラメータ74、76を生成する。これらの生成されたパラメータ74、76を使用して、3D分析モジュール48は、3Dビデオデコーダ44とビュー再構成ユニット46とを構成する164。図5は、3D品質メトリックを計算するために本開示で説明する技術の様々な態様を実装する際の、図2の例に示す3D分析ユニット80などの3D分析ユニットの例示的な動作を示すフローチャートである。最初に、3D分析ユニット80は、再構成されたビュー100と、深度情報102と、元のビュー98と与えられたビュー104とのうちの1つ以上との形で情報を受信する170。3D分析ユニット80は、この情報を受信したことに応答して理想深度推定ユニット82を呼び出す。理想深度推定ユニット82は、次いで、受信された情報に基づいてコンテキストを決定する172。例えば、理想深度推定ユニット82が、元のビュー98と、再構成されたビュー100と、これらのビューの両方のための深度マップを含む深度情報102とを受信すると仮定すると、理想深度推定ユニット82は、3D分析ユニット80が動作するコンテキストがフル基準コンテキストであると決定する。従って、受信された情報はフル基準情報として特徴づけられ得る。このフル基準コンテキストを決定するとはい174、理想深度推定ユニット82は、フル基準ユニット92を呼び出す。フル基準ユニット92は、上記に記載した式1を実装して、決定されたフル基準情報に基づいて理想深度マップ90を計算する176。別の例として、理想深度推定ユニット82が、再構成されたビュー100と、与えられたビュー104と、左ビューと右ビューの両方のための深度マップとのみを受信すると仮定すると、理想深度推定ユニット82は、3D分析ユニット80が動作するコンテキストが簡約基準コンテキストであると決定する。従って、受信された情報は簡約基準情報として特徴づけられ得る。理想深度推定ユニット82は、次いで、3D分析ユニット80が、フル基準コンテキストではなくいいえ174簡約基準コンテキストで動作するはい178と決定する。この決定に応答して、理想深度推定ユニット82は、簡約基準ユニット94を呼び出す。簡約基準ユニット94は、上記に記載した式2を実装して、簡約基準情報に基づいて理想深度マップ推定90を計算する180。更に別の例として、理想深度推定ユニット82が、再構成されたビュー100と、与えられたビュー104と、左ビューと右ビューとのうちの1つのための深度マップとのみを受信すると仮定すると、理想深度推定ユニット82は、3D分析ユニット80が動作するコンテキストが無基準コンテキストであると決定する。従って、受信された情報は無基準情報として特徴づけられ得る。理想深度推定ユニット82は、次いで、3D分析ユニット80が、フル基準コンテキストでもいいえ174、簡約基準コンテキストでもいいえ178動作しないと決定する。その結果、理想深度推定ユニット82は無基準ユニット96を呼び出す。無基準ユニット96は、上記に記載した式3を実装して、無基準情報に基づいて理想深度マップ推定90を計算する182。とにかく、理想深度推定ユニット82は、歪みメトリック計算ユニット84に理想深度マップ推定90を出力する。理想深度推定ユニット82からこれを受信することに応答して、歪みメトリック計算ユニット84は、メートルユニット106~110を呼び出す。メトリックユニット106~110は、次いで、上記に記載した対応する式4~6に従って、理想深度マップ推定90に基づいてメトリック112~116を計算する184。深度メトリック計算ユニット84は、3DQM計算ユニット86にこれらのメトリック112~116を出力する。これらのメトリック112~116を受信することに応答して、3DQM計算ユニット86は、上記に記載した式7に従って、歪みメトリック112~116に基づいて3DQM118を計算する186。3D計算ユニット86は、パラメータ生成ユニット88に3DQM118を出力する。3DQM118を受信することに応答して、パラメータ生成ユニット88は、3DQM118に基づいてパラメータ120を生成する188。図6は、本開示で説明する技術に従って生成される3DQMの主観的分析を与えるグラフ190を示す図である。グラフ190は、図1の3DQM36、60及び図2の3DQM118などの3DQMにとって可能な値を定義するy軸192を含む。グラフ190はまた、平均オピニオンスコアを定義するx軸194を含み、スコア1は非常に悪い評価を表し、スコア2は悪い評価を表し、スコア3は普通という評価を表し、4のスコアは良いという評価を表し、5のスコアは非常に良いという評価を表す。グラフ190はまた、グラフ190中で実線として示されている第1の線196を含む。この線196は、平均オピニオンスコアが生成された、閲覧者によって評価された3Dビデオデータと同じ3Dビデオデータのための3DQMの理想値を識別する。特に、線196は、3DQMスコア0が平均オピニオンスコア0に対応し、3DQMスコア1が平均オピニオンスコア1に対応し、以下同様に、このように線形的に続くことを示す。グラフ190は、更に、理想線196から離れた正及び負の標準偏差1シグマを識別する破線198A、198Bのセットを与える。更に、グラフ190は、理想線196からの外れ値境界を定義する線200A、200Bの第2のセットを含む。グラフ190はまた、フル基準コンテキストと無基準コンテキストの両方で計算された3DQMのための幾つかのデータポイントを採用する。フル基準3DQMと無基準3DQMの両方は、一般的に、理想線196の線198A、198Bによって識別される1標準偏差内にある。詳細には、結果の2乗平均RMS誤差は約0.6158に等しくなり、平均オピニオンスコアの標準偏差は約0.7885である。2乗平均誤差が平均オピニオンスコアの標準偏差よりも小さいことを考慮すると、概して、3DQMが極めて正確であると結論付けられ得る。フル基準3DQMと無基準3DQMとのための相関係数は約0.8942に等しく、結果がコヒーレントであることを示し、一方、外れ値比は0であり、全ての3DQM値が整合していることを示す。この点について、3DQMは、主観的閲覧者結果を近似し得、従って、3Dビデオデータの閲覧経験を改善するか又は少なくとも可能にするために、3Dビデオデータの自動補正を可能にし得る。上記で説明した3DQMなど、3DTVのための目標品質メトリックは、DIBRアルゴリズム、深度マップ圧縮、深度マップ推定、穴埋め技術、及び表示向上の品質の進歩のために非常に重要なものであり得る。3DQM特有のものである理想深度マップ推定はまた、上記で説明した方法で深度マップ推定における不良画素補正のための改良ステップとして使用され得るので、重要となり得る。特に、深度推定の不正確さが特定の画像の視覚的品質にどのくらい影響を及ぼすのかを定量化することは、正確な深度マップの推定に関与する計算の複雑さと、これらの画像にもたらされるアーティファクトとの間のトレードオフを可能にし得、そのトレードオフは、圧縮の際のレート歪みトレードオフと同様である。このトレードオフ態様は、特に、処理リソース又はバッテリーリソースが限定される埋込みリアルタイムアプリケーションにおいて適用可能であり得る。3DQM技術の実装形態は、誤差ベースのメトリックと比較して、深度マップ圧縮の際のビットの割振りのためのより効率的なレート歪み基準を可能にする深度マップアーティファクトによる知覚歪みの実際の計算をも可能にし得る。この場合も、2ビューシステムに関して上記で説明したが、本技術は、3つ以上のビューが3D表示器に与えられ、複数の異なるビューを表示することを可能にするマルチビュー3Dシステムにおいて実装され得る。この点において、これらのビューの各々に3DQMを与えるために、又はこれらのビューにグループとして3DQMを与えるために本技術が採用され得、これらの1つ以上の3DQMは、これらのビューを閲覧するときに発生することが予想される少なくとも何らかの視覚的不快感の識別及び潜在的なその後の補正を可能にし得る。従って、本開示では、説明を簡単にするために2ビューシステムに関して説明するが、本技術はマルチビューシステムにおいて採用され得る。図7は、シフトセンサカメラモデルを示す図220である。シフトセンサカメラモデルは、3D撮像装置を効果的にモデル化し得、このために、仮想3D撮像装置を表し得る。図220では、ポイント222A、222Bは、それぞれ、左眼2D撮像装置及び右眼2D撮像装置の中心点を表す。これらのポイント222A、222B間の水平距離は、上記のように、ベースラインと呼ばれ、文字Bによって示される。中心の各々から焦点への距離は、同じく焦点距離と呼ばれ、文字Fとして図220に示す。図220の文字hは、センサの中心に対する投影の中心の水平方向へのシフトを指す。これらの様々な文字B、F及びhは、少なくとも何らかの予想される視覚的不快感を補正するために、異なる3DQM値に応答して改変され得るシフトセンサカメラモデルの変数を指す。これらの変数はまた、式2及び3など、上記の様々な式中で使用された変数に対応する。本明細書に説明される技術は、ハードウェア、ファームウェア、又は任意のその組合せにおいて実施され得る。ハードウェアは、場合によっては、ソフトウェアをも実行し得る。モジュール、ユニット又は構成要素として説明した特徴は、集積論理機器において一緒に、又は個別であるが相互運用可能な論理機器として別々に実装され得る。場合によっては、様々な特徴は、集積回路チップ又はチップセットなどの集積回路機器として実装され得る。ソフトウェアで実装された場合、これらの技術は、実行されると、上記で説明した方法の1つ以上をプロセッサに実行させる命令を備えるコンピュータ可読媒体によって少なくとも部分的に実現され得る。コンピュータ可読媒体は、パッケージング材料を含むことがある、コンピュータプログラム製品の一部を形成し得る。コンピュータ可読媒体は、ランダムアクセスメモリRAM、同期ダイナミックランダムアクセスメモリSDRAM、読取り専用メモリROM、不揮発性ランダムアクセスメモリNVRAM、電気消去可能プログラマブル読取り専用メモリEEPROM、フラッシュメモリ、磁気又は光学データ記憶媒体などのコンピュータデータ記憶媒体を備え得る。本技術は、追加又は代替として、命令又はデータ構造の形態でコードを搬送又は通信し、コンピュータによってアクセス、読取り、及び/又は実行され得るコンピュータ可読通信媒体によって、少なくとも部分的に実現され得る。コード又は命令は、1つ以上のDSP、汎用マイクロプロセッサ、ASIC、フィールドプログラマブルロジックアレイFPGA、又は他の等価な集積又はディスクリート論理回路など、1つ以上のプロセッサによって実行され得る。従って、本明細書で使用するプロセッサという用語は、前述の構造、又は本明細書で説明する技術の実装に好適な他の構造のいずれかを指す。更に、幾つかの態様では、本明細書で説明する機能を、専用のソフトウェアモジュール又はハードウェアモジュールの内部に与え得る。本開示はまた、本開示で説明した技術の1つ以上を実装する回路を含む様々な集積回路機器のいずれかを企図する。そのような回路は、単一の集積回路チップ、又は所謂チップセット中の複数の相互運用可能な集積回路チップで提供され得る。そのような集積回路機器は様々な適用例において使用され得、適用例の幾つかは携帯電話ハンドセットなどのワイヤレス通信機器での使用を含み得る。本開示の様々な例について説明した。これら及び他の例は以下の特許請求の範囲に入る。"