(57)【特許請求の範囲】
【請求項１】
映像データを符号化する工程であって、
復号化映像データを再形成するために適用される伝達関数を記述するための第１のメタデータ構造を生成して、前記復号化映像データよりも高いダイナミックレンジまたは広い色域のうちの少なくとも１つを有する出力映像データを生成する工程であって、前記第１のメタデータ構造は、ピクチャのシーケンスまたはグループオブピクチャに関連付けられ、前記第１のメタデータ構造を生成する工程は、
前記伝達関数を表すデータをいくつかのセグメントへと分割する工程であって、前記セグメントは、連続するピボットポイントのペアによって定義され、連続する前記ピボットポイントの数はＰ個であり、前記ピボットポイントは、第１のピボットポイントと最後のピボットポイントとを含み、Ｐは整数である、分割する工程と、
ピボットポイントの前記数を示す値を格納するために前記第１のメタデータ構造内にセルを割り当て、前記割り当てられたセル内に前記値Ｐを格納する工程と、
前記第１のメタデータ構造内にＰ個のピボットポイントセルを割り当てる工程と、
前記Ｐ個のピボットポイントを表すデータ値を前記Ｐ個のピボットポイントセル内に格納する工程と、
各セグメントにそれぞれの方程式をフィッティングする工程であって、各方程式はＮ個の係数値を有し、Ｎは前記セグメントの特性に基づいて変化する整数である、フィッティングする工程と、
前記最後のピボットポイントを除く各ピボットポイントについて、
前記第１のメタデータ構造内にＮ＋１個のセルを割り当てる工程と、
前記Ｎ＋１個のセルの最初のセル内に前記セグメントについての前記値Ｎを格納する工程と、
前記Ｎ＋１個のセルの残りのＮ個のセル内に前記Ｎ個の係数値を格納する工程と、を含む、前記第１のメタデータ構造を生成する工程と、
ピクチャ、スライス、処理ウィンドウまたはサブピクチャ要素に関連付けられた第２のメタデータ構造を生成する工程であって、前記第２のメタデータ構造内にセルを割り当てる工程と、前記第２のメタデータ構造の前記割り当てられたセル内に、前記伝達関数を識別するデータを格納する工程とを含む、前記第２のメタデータ構造を生成する工程と、
前記映像データを符号化し、符号化された前記映像データに前記第１および第２のメタデータ構造を含める工程と、を含む前記映像データを符号化する工程、
を備える、方法。
【請求項２】
前記第１のメタデータ構造内に第１のオフセットセルおよび第２のオフセットセルを割り当てる工程と、
入力データが前記伝達関数に適用される前に、前記第１のオフセットセル内に、前記入力データに加えられる第１のオフセット値を格納する工程と、
前記第２のオフセットセル内に、前記伝達関数に適用される前記入力データに起因する出力データに加えられる第２のオフセット値を格納する工程と、
をさらに備える、請求項１に記載の方法。
【請求項３】
前記伝達関数は、第１の伝達関数であり、前記方法は、
前記第１のメタデータ構造に第２の伝達関数を記述するメタデータを追加する工程であって、
前記第２の伝達関数を表すデータをいくつかのセグメントへと分割する工程であって、前記いくつかのセグメントは、第１のピボットポイントと最後のピボットポイントとを含むＱ個のピボットポイントによって定義され、ＱはＰと異なる整数である、分割する工程と、
ピボットポイントの前記数を示す値を格納するために前記第１のメタデータ構造内にセルを割り当て、前記割り当てられたセル内に前記値Ｑを格納する工程と、
前記第１のメタデータ構造内にＱ個のピボットポイントセルを割り当てる工程と、
前記Ｑ個のピボットポイントを表すデータ値を前記Ｑ個のピボットポイントセル内に格納する工程と、
各セグメントに方程式をフィッティングする工程であって、各方程式はＮ個の係数値を有し、Ｎは前記セグメントの特性に基づいて変化する整数である、フィッティングする工程と、
前記最後のピボットポイントを除く各ピボットポイントについて、
前記第１のメタデータ構造内にＮ＋１個のセルを割り当てる工程と、
前記Ｎ＋１個のセルの最初のセル内に前記セグメントについての前記値Ｎを格納する工程と、
前記Ｎ＋１個のセルの残りのＮ個のセル内に前記Ｎ個の係数値を格納する工程と、を含む、前記メタデータを追加する工程と、をさらに備え、
前記第２のメタデータ構造の前記割り当てられたセル内に格納された前記データは、前記ピクチャ、前記スライス、前記処理ウィンドウまたは前記サブピクチャ要素の特性に基づいて、前記第１の伝達関数または前記第２の伝達関数のうちの１つを示す、請求項１に記載の方法。
【請求項４】
前記セグメントを定義する前記方程式は、最後のセグメントを除く各セグメントを定義する前記方程式のエンドポイントが次の連続セグメントを定義する前記方程式の開始ポイントであるように制限され、
各セグメントについて、Ｎは、前記セグメントにフィッティングされた前記方程式の次数に等しい整数である、請求項１に記載の方法。
【請求項５】
前記セグメントを定義する前記方程式は、最後のセグメントを除く各セグメントを定義する前記方程式のエンドポイントが次の連続セグメントを定義する前記方程式の開始ポイントであるように制限され、
前記セグメントを定義する前記方程式は、第１のセグメントを除く各セグメントを定義する前記方程式の傾きが、前記セグメントと以前の隣接セグメントとが交わる前記ピボットポイントで前記以前の隣接セグメントを定義する前記方程式の傾きと一致するようにさらに制限され、
各セグメントについて、Ｎは前記セグメントにフィッティングされた前記方程式の次数−１に等しい整数である、請求項１に記載の方法。
【請求項６】
前記復号化映像データは、輝度成分ならびに第１および第２のクロミナンス成分を含み、
前記伝達関数は、関数Ｙ／Ｙ’を表し、Ｙ’は前記復号化映像データの輝度成分であり、Ｙは、前記復号化映像データよりも高いダイナミックレンジまたは広い色域のうちの少なくとも１つを有する、対応する輝度成分であり、
前記方法は、
前記第２のメタデータ構造内にフラグセルを割り当て、クロスチャネルスケーリングを示すデータ値を前記フラグセル内に格納する工程と、
各クロミナンス成分について、
伝達関数識別セルを割り当てる工程と、
前記クロミナンス成分に用いられる伝達関数を識別するデータを前記伝達関数識別セル内に格納する工程と、
をさらに備える、請求項１に記載の方法。
【請求項７】
ルックアップテーブル（ＬＵＴ）として構成されたメモリと、
符号化映像信号を表すビットストリームを受信するように構成された映像復号化システムであって、前記映像復号化システムに、
復号化映像データを生成するために前記ビットストリームを復号化する工程と、
前記ビットストリームのシーケンスまたはグループオブピクチャから第１のメタデータ構造を抽出する工程と、
前記第１のメタデータ構造から、ピボットポイントの数Ｐと、Ｐ番目のピボットポイントを除く各ピボットポイントについてのそれぞれの係数の数Ｎと、を表すデータを抽出する工程であって、ＮおよびＰは整数である、工程と、
前記第１のメタデータ構造から、Ｐ個のピボットポイントと、前記Ｐ番目のピボットポイントを除く各ピボットポイントについてのＮ個の係数と、を抽出する工程と、
抽出された前記ピボットポイントおよび係数から、前記Ｐ番目のピボットポイントを除く前記Ｐ個のピボットポイントに対応するＰ−１個の伝達関数セグメントを含む伝達関数を再生する工程と、
データ値を生成して、再生された前記伝達関数に応じて前記ＬＵＴ内に再生データ値を格納する工程と、
前記ビットストリームからのピクチャ、スライス、処理ウィンドウまたはサブピクチャ要素から第２のメタデータ構造を抽出する工程と、
前記第２のメタデータ構造から前記伝達関数の識別子を抽出する工程と、
前記ＬＵＴへの入力として前記ピクチャ、前記スライス、前記処理ウィンドウまたは前記サブピクチャ要素に対応する復号化映像データを適用することにより、前記ＬＵＴの出力として再形成映像データを生成する工程と、
を行わせるプログラム命令を含む映像復号化システムと、
を備える、装置。
【請求項８】
前記プログラム命令は、前記復号化システムに、
前記第１のメタデータ構造から第１のオフセット値および第２のオフセット値を抽出する工程と、
前記ＬＵＴに前記復号化映像データを適用する前に、前記復号化映像データに前記第１のオフセット値を加える工程と、
前記ＬＵＴによって提供される出力データに前記第２のオフセット値を加える工程と、
をさらに行わせる、請求項７に記載の装置。
【請求項９】
前記メモリは、第１のＬＵＴおよび第２のＬＵＴとして構成され、前記伝達関数は、第１の伝達関数であり、前記第１のＬＵＴ内の前記データ値を生成するために使用され、
前記プログラム命令は、前記復号化システムに、
前記第１のメタデータ構造から、ピボットポイントの数Ｑと、Ｑ番目のピボットポイントを除く各ピボットポイントについてのそれぞれの係数の数Ｎと、を表すデータを抽出する工程であって、Ｑは整数である、工程と、
前記第１のメタデータ構造から、Ｑ個のピボットポイントと、各ピボットポイントについての前記Ｎ個の係数と、を表すデータを抽出する工程と、
前記Ｑ個の抽出されたピボットポイントおよびそれぞれの係数から、伝達関数を再生する工程と、
データ値を生成して、再生された前記伝達関数に応じて前記第２のＬＵＴ内に再生データ値を格納する工程と、
を行わせる、請求項７に記載の装置。
【請求項１０】
前記プログラム命令は、前記復号化システムに、第１のピボットポイントと最後のピボットポイントとを除く各ピボットポイントについて追加の係数を生成する工程をさらに行わせ、前記追加の係数は、前記以前のピボットポイントに対応する前記伝達関数セグメントの前記ピボットポイントでの前記値に対応する、請求項７に記載の装置。
【請求項１１】
前記プログラム命令は、前記復号化システムに、第１のピボットポイントと最後のピボットポイントとを除く各ピボットポイントについて第１および第２の追加の係数を生成する工程をさらに行わせ、前記第１の追加の係数は、前記以前のピボットポイントに対応する前記伝達関数セグメントの前記ピボットポイントでの前記値に対応し、第２の係数は、前記以前のピボットポイントに関連付けられた前記係数により示される前記ピボットポイントでの傾きに対応する、請求項７に記載の装置。
【請求項１２】
前記プログラム命令は、前記復号化システムに、
前記第２のメタデータ構造からクロスチャネルスケーリングフラグを抽出する工程をさらに行わせ、
前記クロスチャネルスケーリングフラグに応じて、前記プログラム命令は、前記復号化器に、
前記第２のメタデータ構造から、復号化された映像信号の各クロミナンスチャネルについてクロスチャネルＬＵＴスケーリングインデックスを抽出する工程と、
前記クロスチャネルＬＵＴスケーリングインデックスにより示されるＬＵＴに復号化クロミナンスデータに対応する復号化輝度データを適用すること、および、再形成クロミナンスデータを生成するために前記ＬＵＴによって生成された出力データによって前記復号化クロミナンスデータを乗算することによって、前記再形成クロミナンスデータを生成する工程と
を行わせる、請求項７に記載の装置。
【請求項１３】
前記プログラム命令は、前記復号化システムに、
前記第１のメタデータ構造から第１および第２のオフセット値を抽出する工程と、
前記ＬＵＴに前記復号化輝度データを適用する前に、前記復号化クロミナンスデータに前記第１のオフセット値を加える工程と、
前記再形成クロミナンスデータを生成するために前記ＬＵＴによって生成される出力データに前記第２のオフセット値を加える工程と、
をさらに行わせる、請求項１２に記載の装置。
【請求項１４】
第１および第２のメタデータ構造を含む符号化映像ビットストリームを保持するように構成されたメモリと、
映像データを符号化するための符号化システムであって、前記符号化システムは、前記符号化システムに、復号化映像データを再形成するために適用される伝達関数を記述するための前記第１のメタデータ構造を生成して、前記復号化映像データよりも高いダイナミックレンジおよび広い色域のうちの少なくとも１つを有する出力映像データを生成する工程を行わせるプログラム命令を含み、前記第１のメタデータ構造は、ピクチャのシーケンスまたはグループオブピクチャに関連付けられ、前記プログラム命令は、前記符号化システムに、
前記伝達関数を表すデータをいくつかのセグメントへと分割する工程であって、前記セグメントは、第１のピボットポイントと最後のピボットポイントとを含むＰ個の連続するピボットポイントによって定義され、Ｐは整数である、分割する工程と、
ピボットポイントの前記数を示す値を格納するために前記第１のメタデータ構造内にセルを割り当て、前記割り当てられたセル内に前記値Ｐを格納する工程と、
前記第１のメタデータ構造内にＰ個のピボットポイントセルを割り当てる工程と、
Ｐ個のピボットポイントを表すデータ値を前記Ｐ個のピボットポイントセル内に格納する工程と、
各セグメントにそれぞれの方程式をフィッティングする工程であって、各方程式はＮ個の係数値を有し、Ｎは前記セグメントの特性に基づいて変化する整数である、フィッティングする工程と、
前記最後のピボットポイントを除く各ピボットポイントについて、
前記第１のメタデータ構造内にＮ＋１個のセルを割り当てる工程と、
前記Ｎ＋１個のセルの最初のセル内に前記セグメントについての前記値Ｎを格納する工程と、
前記Ｎ＋１個のセルの残りのＮ個のセル内にＮ個の係数値を格納する工程と、
前記映像データのピクチャ、スライス、処理ウィンドウまたはサブピクチャ要素に関連付けられた第２のメタデータ構造を生成する工程であって、前記符号化システムに、前記第２のメタデータ構造内にセルを割り当てる工程と、前記第２のメタデータ構造の前記割り当てられたセル内に、前記伝達関数を識別するデータを格納する工程とを行わせる命令を含む、前記第２のメタデータ構造を生成する工程と、
前記映像データを符号化し、前記ビットストリーム内の符号化された前記映像データに前記第１および第２のメタデータ構造を含める工程と、
を行わせる、符号化システムと、
を備える、装置。
【請求項１５】
前記プログラム命令は、前記符号化システムに、
前記第１のメタデータ構造内に第１のオフセットセルおよび第２のオフセットセルを割り当てる工程と、
入力データが前記伝達関数に適用される前に、前記第１のオフセットセル内に、前記入力データに加えられる第１のオフセット値を格納する工程と、
前記第２のオフセットセル内に、前記伝達関数に適用される前記入力データに起因する出力データに加えられる第２のオフセット値を格納する工程と、
をさらに行わせる、請求項１４に記載の装置。
【請求項１６】
前記伝達関数は、第１の伝達関数であり、前記プログラム命令は、前記符号化システムに、
前記第１のメタデータ構造に第２の伝達関数を記述するメタデータを追加する工程であって、前記符号化システムに、
前記第２の伝達関数を表すデータをいくつかのセグメントへと分割する工程であって、前記いくつかのセグメントは、第１のピボットポイントと最後のピボットポイントとを含むＱ個のピボットポイントによって定義され、ＱはＰと異なる整数である、分割する工程と、
ピボットポイントの前記数を示す値を格納するために前記第１のメタデータ構造内にセルを割り当て、前記割り当てられたセル内に前記値Ｑを格納する工程と、
前記第１のメタデータ構造内にＱ個のピボットポイントセルを割り当てる工程と、
前記Ｑ個のピボットポイントを表すデータ値を前記Ｑ個のピボットポイントセル内に格納する工程と、
各セグメントに方程式をフィッティングする工程であって、各方程式はＮ個の係数値を有し、Ｎは前記セグメントの特性に基づいて変化する整数である、フィッティングする工程と、
前記最後のピボットポイントを除く各ピボットポイントについて、
前記第１のメタデータ構造内にＮ＋１個のセルを割り当てる工程と、
前記Ｎ＋１個のセルの最初のセル内に前記セグメントについての前記値Ｎを格納する工程と、
前記Ｎ＋１個のセルの前記残りのＮ個のセル内に前記Ｎ個の係数値を格納する工程と、を行わせる命令を含む、前記メタデータを追加する工程をさらに行わせ、
前記第２のメタデータ構造の前記割り当てられたセル内に格納された前記データは、前記ピクチャ、前記スライス、前記処理ウィンドウまたは前記サブピクチャ要素の特性に基づいて、前記第１の伝達関数および前記第２の伝達関数のうちの１つを示す、請求項１４に記載の装置。
【請求項１７】
前記セグメントを定義する前記方程式は、最後のセグメントを除く各セグメントを定義する前記方程式のエンドポイントが次の連続セグメントを定義する前記方程式の開始ポイントであるように制限され、
各セグメントについて、Ｎは、前記セグメントにフィッティングされた前記方程式の次数に等しい整数である、請求項１４に記載の装置。
【請求項１８】
前記セグメントを定義する前記方程式は、最後のセグメントを除く各セグメントを定義する前記方程式のエンドポイントが次の連続セグメントを定義する前記方程式の開始ポイントであるように制限され、
前記セグメントを定義する前記方程式は、第１のセグメントを除く各セグメントを定義する前記方程式の傾きが、前記セグメントと以前の隣接セグメントとが交わる前記ピボットポイントで前記以前の隣接セグメントを定義する前記方程式の傾きと一致するようにさらに制限され、
各セグメントについて、Ｎは前記セグメントにフィッティングされた前記方程式の次数−１に等しい整数である、請求項１４に記載の装置。
【請求項１９】
前記復号化映像データは、輝度成分ならびに第１および第２のクロミナンス成分を含み、
前記伝達関数は、関数Ｙ／Ｙ’を表し、Ｙ’は前記復号化映像データの輝度成分であり、Ｙは、前記復号化映像データよりも高いダイナミックレンジおよび広い色域のうちの少なくとも１つを有する、対応する輝度成分であり、
前記プログラム命令は、前記符号化システムに、
前記第２のメタデータ構造内にフラグセルを割り当て、クロスチャネルスケーリングを示すデータ値を前記フラグセル内に格納する工程と、
各クロミナンス成分について、
伝達関数識別セルを割り当てる工程と、
前記クロミナンス成分に用いられる伝達関数を識別するデータを前記伝達関数識別セル内に格納する工程と、
を行わせる、請求項１４に記載の装置。
【請求項２０】
プロセッサに、
復号化映像データを生成するために符号化映像ビットストリームを復号化する工程と、
前記ビットストリームのシーケンスまたはグループオブピクチャから第１のメタデータ構造を抽出する工程と、
前記第１のメタデータ構造から、ピボットポイントの数Ｐと、Ｐ番目のピボットポイントを除く各ピボットポイントについてのそれぞれの係数の数Ｎと、を表すデータを抽出する工程であって、ＮおよびＰは整数である、工程と、
前記第１のメタデータ構造から、Ｐ個のピボットポイントと、前記Ｐ番目のピボットポイントを除く各ピボットポイントについてのＮ個の係数と、を抽出する工程と、
抽出された前記ピボットポイントおよび係数から、前記Ｐ番目のピボットポイントを除く前記Ｐ個のピボットポイントに対応するＰ−１個の伝達関数セグメントを含む伝達関数を再生する工程と、
データ値を生成して、再生された前記伝達関数に応じて前記ＬＵＴ内に再生データ値を格納する工程と、
前記ビットストリームからのピクチャ、スライス、処理ウィンドウまたはサブピクチャ要素から第２のメタデータ構造を抽出する工程と、
前記第２のメタデータ構造から前記伝達関数の識別子を抽出する工程と、
前記ＬＵＴへの入力として前記ピクチャ、前記スライス、前記処理ウィンドウまたは前記サブピクチャ要素に対応する復号化映像データを適用することにより、前記ＬＵＴの出力として再形成映像データを生成する工程と
を行わせるプログラム命令を含む、非一時的なコンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、高ダイナミックレンジ（ＨＤＲ：Ｈｉｇｈ  Ｄｙｎａｍｉｃ  Ｒａｎｇｅ）および／または広色域（ＷＣＧ：Ｗｉｄｅ  Ｃｏｌｏｒ  Ｇａｍｕｔ）映像シーケンスの映像符号化および復号化の分野に関し、特に、このようなシーケンスを符号化するため、および、復号化映像シーケンスからＨＤＲおよび／またはＷＣＧ映像シーケンスを回復するために使用される伝達関数を格納および送信するための方法に関する。
【背景技術】
【０００２】
ＨＤＲ映像およびＷＣＧ映像は、従来の標準ダイナミックレンジ（ＳＤＲ：Ｓｔａｎｄａｒｄ  Ｄｙｎａｍｉｃ  Ｒａｎｇｅ）映像よりも広範な輝度および色値を提供する。たとえば、従来の映像は、輝度および色の範囲が制限され得るため、画像の取り込み、符号化、および／または表示に際して、暗部またはハイライトの詳細が失われてしまう可能性がある。これに対して、ＨＤＲおよび／またはＷＣＧ映像では、より広範な輝度および色情報を取り込めるため、映像がより自然かつ実際に近い形で人間の眼に映ることになる。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
しかし、ＭＰＥＧ−４高度映像符号化（ＡＶＣ：Ａｄｖａｎｃｅｄ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ）および高効率映像符号化（ＨＥＶＣ：Ｈｉｇｈ  Ｅｆｆｉｃｉｅｎｃｙ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ）などの多くの一般的な映像符号化および復号化方式は、直接、ＨＤＲまたはＷＣＧ映像を取り扱うようには設計されていない。このように、ＨＤＲおよびＷＣＧ映像情報は通常、その情報がこれらの映像圧縮アルゴリズムのうちの１つを使用して符号化されることができる前に、他のフォーマットへと変換される。
【０００４】
例えば、ＥＸＲファイルフォーマットなどのＨＤＲ映像フォーマットは、１０個の有効ビット、５個の指数ビットおよび１個の符号ビットを有する１６ビット半精度浮動小数点値で、赤、緑、青（ＲＧＢ）色空間の色を記述する。これらの値は、潜在的な強度および色値の広い範囲をカバーする。ＳＤＲ映像は、非ＨＤＲおよび非ＷＣＧ映像の色を表現するために８または１０ビット整数値を採用する。多くの既存の映像圧縮アルゴリズムは、ＳＤＲ映像での使用向けであり、したがって、８または１０ビット整数値の受信を予期する。映像ダイナミックレンジを実質的に減少させることなく、または、大きな歪みを導入することなく、圧縮アルゴリズムが協働可能な１０ビット値へと１６ビット半精度浮動小数点色値を量子化することは困難であり得る。
【０００５】
いくつかの符号化器は、均一量子化の前に非線形値へと入力映像からの線形値を変換する符号化伝達関数を使用する。非限定的な例として、符号化伝達関数は、量子化範囲の一端または両端での輝度および／または色（クロミナンス）値を圧縮するガンマ関数を含み得、これにより、より大きな範囲が、符号化器に提供される８または１０ビット値で表され得る。しかし、符号化器が非線形値へと線形入力値を変換するために符号化伝達関数を使用する場合であっても、符号化伝達関数は、入力映像の内容に応じて変化しないように固定であり得る。例えば、符号化器の符号化伝達関数は、０から１０，０００ニットまで（カンデラ毎平方メートル、すなわちｃｄ／ｍ２）などのＨＤＲ範囲内のすべての可能な入力値を、８ビット値については０から２５５までまたは１０ビット値については０から１０２３までの範囲の特定の非線形値に静的にマッピングするために定義することができる。しかし、入力映像がその範囲の一部のみに入力値を含む場合、固定マッピングによって量子化レベルの割り当てが不十分となり、再生画像中に量子化歪みが生じる可能性がある。例えば、主に青空を示すピクチャは、青の多くの類似した色合いを有する可能性があるが、それらの青の色合いは、符号化伝達関数が定義されている全範囲の小さな部分を占める可能性がある。このように、同系の青の色合いは同じ値に量子化され得る。この量子化は、輪郭削りまたはバンディングとして視聴者に知覚され得、青の量子化された色合いは、色合い間のより自然な遷移の代わりに、画面上に表示される空を横切ってバンド状に延びる。
【０００６】
さらに、人間の視覚系の精神物理学的研究では、特定の場所でのコントラストレベルへの視聴者の感度は、その場所自体の実際のレベルよりも周囲の場所の平均明るさに、より依存する可能性があることが示されている。しかし、多くの符号化伝達関数は、これを考慮せず、代わりに、周囲画素の特性を考慮に入れない固定変換関数またはテーブルを使用する。
【課題を解決するための手段】
【０００７】
映像データ符号化器は、メタデータを含む第１の自己参照データ構造（以下、メタデータ構造と称する）を生成して、映像データへと復号化映像データを再形成するために復号器によって適用される１つ以上の伝達関数を記述する。符号化器は、Ｐ個のピボットポイントに対して伝達関数をセグメント化し、構造内に値Ｐを格納する。次いで、復号化器は、Ｐ個のピボットポイントを格納するためにメタデータ構造内にＰ個のセルを割り当てる。各伝達関数セグメントは、Ｎ個の係数を有するそれぞれの方程式に、方程式の次数に基づいてフィッティングされる。符号化器は、Ｐ番目のピボットポイントを除く各ピボットポイントについてＮ＋１個のセルを割り当て、第１のセルにおける数Ｎおよび残りのセルにおけるＮ個の係数を格納する。符号化器は、映像データセットに適用される伝達関数を識別するデータを含む、映像データセットに関連付けられた第２のメタデータ構造を生成する。符号化器は、第１および第２のメタデータ構造を含む映像データを符号化する。
【０００８】
本発明のさらなる詳細については、添付の図面を用いて説明する。
【図面の簡単な説明】
【０００９】
【図１】符号化システムおよび復号化システムを含む映像符号化システムの実施形態を示す図。
【図２Ａ】２つまでの色ボリューム変換処理および２つの伝達関数を使用して、非ＨＤＲ、非ＷＣＧ映像符号化器と互換性のある符号化ビットストリームへと入力ＨＤＲおよび／またはＷＣＧ映像シーケンスを符号化し、逆色ボリューム変換処理および伝達関数を使用する相補的映像復号化器で復号化映像へと符号化ビットストリームを復号化するための処理の第１の例を示す図。
【図２Ｂ】２つまでの色ボリューム変換処理および２つの伝達関数を使用して、非ＨＤＲ、非ＷＣＧ映像符号化器と互換性のある符号化ビットストリームへと入力ＨＤＲおよび／またはＷＣＧ映像シーケンスを符号化し、逆色ボリューム変換処理および伝達関数を使用する相補的映像復号化器で復号化映像へと符号化ビットストリームを復号化するための処理の第１の例を示す図。
【図３Ａ】符号化器によって使用される符号化伝達関数が知覚正規化演算と組み合わされ、復号化器によって使用される逆符号化伝達関数が逆知覚正規化処理と組み合わされた、非ＨＤＲ、非ＷＣＧ映像符号化器および復号化器を使用して入力ＨＤＲおよび／またはＷＣＧ映像シーケンスを符号化および復号化するための処理の第２の例を示す図。
【図３Ｂ】符号化器によって使用される符号化伝達関数が知覚正規化演算と組み合わされ、復号化器によって使用される逆符号化伝達関数が逆知覚正規化処理と組み合わされた、非ＨＤＲ、非ＷＣＧ映像符号化器および復号化器を使用して入力ＨＤＲおよび／またはＷＣＧ映像シーケンスを符号化および復号化するための処理の第２の例を示す図。
【図４】図２Ａおよび図３Ａに示す符号化器によって適用され得る例示的な符号化伝達関数を示すグラフ。
【図５】図２Ｂおよび図３Ｂに示す復号化器によって適用され得る例示的な逆符号化伝達関数を示すグラフ。
【図６Ａ】逆符号化伝達関数を記述するメタデータの格納を示すデータ図。
【図６Ｂ】逆符号化伝達関数を記述するメタデータの格納を示すデータ図。
【図７Ａ】逆符号化伝達関数を記述するメタデータの格納を示すデータ図。
【図７Ｂ】逆符号化伝達関数を記述するメタデータの格納を示すデータ図。
【図７Ｃ】逆符号化伝達関数を記述するメタデータの格納を示すデータ図。
【図８】逆符号化伝達関数を記述するメタデータの格納を示すデータ図。
【発明を実施するための形態】
【００１０】
以下に説明する例示的なシステムおよび方法は、効率的にＨＤＲおよび／またはＷＣＧ映像を圧縮するために、符号化伝達関数を適応させ、または、ＨＤＲおよび／またはＷＣＧ映像データを別様に変換および／または再分配し、これにより、該データは、ＨＥＶＣ（高効率映像符号化）、Ｈ．２６４／ＭＰＥＧ−４  ＡＶＣ（高度映像符号化）またはＭＰＥＧ−２符号化器などの非ＨＤＲ、非ＷＣＧ符号化器によって量子化および符号化され得、そして、受信器でＨＤＲおよび／またはＷＣＧデータの少なくとも一部を回復するために再構成され得る。伝達関数は、入力映像のグループオブピクチャ、ピクチャまたはサブピクチャウィンドウのレベルでの実際の映像内容に基づき得る。これらの映像処理は、潜在的な値の全範囲にわたってとする代わりに入力映像データの時間的および／または空間的セグメントに実際に存在する色および／または強度情報を圧縮する非線形値の曲線またはトーンマップを生成することによって達成され得る。このように、非線形値が均一に量子化される場合、均一量子化によって導入されるノイズおよび／または歪みを、人間の視聴者によって知覚されにくくなるように最小限に抑えることができる。加えて、入力映像データを圧縮して符号化するために使用される符号化伝達関数に関するメタデータ情報は、復号化器に送信される自己参照メタデータ構造へと効率的に挿入される。復号化器は、映像データを復号化する際に、対応する逆演算を実行するためにルックアップテーブル（ＬＵＴ）としてこの伝達関数を回復する。
【００１１】
図１は、符号化器システム１００と復号化器システム１５０とを含む映像符号化システムの実施形態を示す。符号化器１００システムは、入力映像を符号化ビットストリーム１０９へと符号化、トランスコードおよび／または圧縮するよう構成された、プロセッサ（デジタルシグナルプロセッサ（ＤＳＰ）または専用映像プロセッサを含む）、メモリ、回路および／または他のハードウェアおよびソフトウェア要素を含むことができる。符号化器システム１００は、例えば、ＨＥＶＣ（高効率映像符号化）、Ｈ．２６４／ＭＰＥＧ−４  ＡＶＣ（高度映像符号化）またはＭＰＥＧ−２などの映像符号化フォーマットおよび／または圧縮方式に従って符号化ビットストリーム１０９を生成するように構成することができる。
【００１２】
例示的な符号化器システム１００は、映像源１０２からＨＤＲおよび／またはＷＣＧ映像データを受信する。システム１００は、プリプロセッサ１０４を含み、これは、ＨＤＲおよび／またはＷＣＧデータを適応的に処理し、これにより、該データは符号化器１０６およびメモリ１０５を用いて符号化され得る。符号化器１０６は、参照ピクチャキャッシュ１１８内の参照ピクチャを用いて映像データを符号化するＭａｉｎ  １０  ＨＥＶＣ符号化器であり得る。符号化映像データは、メモリ１０５に記憶され得、これはまた、復号化器１０６および／またはプリプロセッサ１０４によって使用されるデータ、例えば伝達関数および／またはトーンマップを実装するルックアップテーブルを記憶し得る。プリプロセッサ１０４および符号化器１０６は共有メモリ１０５を使用するものとして示されているが、それらは別個のメモリを使用し得ることが企図される。符号化データは、復号化器システム１５０の受信器１１０へビットストリーム１０９として送信器１０８を使用して送信され得る。送信器および受信器は、有線、無線または光接続を含む、任意の送信方法を使用し得る。１つの実施形態では、送信器は、インターネットプロトコル（ＩＰ）パケットとして符号化映像データをフォーマットして、ネットワークを介して受信器１１０にＩＰパケットを送信し得る。ネットワークは、直交振幅変調（ＱＡＭ：Ｑｕａｄｒａｔｕｒｅ  Ａｍｐｌｉｔｕｄｅ  Ｍｏｄｕｌａｔｉｏｎ）を使用するデジタルケーブルテレビ接続、または、他のデジタル伝送メカニズムであり得る。ネットワークは、有線ケーブルネットワーク、光ファイバネットワークまたは無線ネットワークであり得る。ネットワークは、プライベートネットワークまたはグローバル情報ネットワーク（例えば、インターネット（登録商標））であり得る。符号化映像データの送信に加えて、送信器１００は、プリプロセッサ１０４によって実行される処理を記述するメタデータ１２２を送信する。メタデータ１２２は別個の信号として示されているが、メタデータ１２２は、例えば画像エッセンス、画像シーケンス、グループオブピクチャ（ＧＯＰ：Ｇｒｏｕｐ  ｏｆ  Ｐｉｃｔｕｒｅｓ）、ピクチャ、スライスまたは他のサブピクチャ要素のビットストリーム内またはヘッダ内の付加拡張情報（ＳＥＩ：Ｓｕｐｐｌｅｍｅｎｔａｌ  Ｅｎｈａｎｃｅｍｅｎｔ  Ｉｎｆｏｒｍａｔｉｏｎ）または映像ユーザビリティ情報（ＶＵＩ：Ｖｉｄｅｏ  Ｕｓａｂｉｌｉｔｙ  Ｉｎｆｏｒｍａｔｉｏｎ）として、ビットストリーム１０９に含まれ得る。ＳＥＩまたはＶＵＩは、矩形の処理ウィンドウを識別し得、該ウィンドウは、入力画像データのｘおよびｙ座標と、識別された処理ウィンドウ上で符号化器によって実行される処理を定義する特定のメタデータとによって定義される。メタデータは、送信ビットストリームの帯域幅の一部を使用する。したがって、符号化器システム１００から復号化器システム１５０へ送信されるメタデータの量を低減することが望ましい。
【００１３】
復号化器システム１５０は、受信器１１０でビットストリーム１０９を受信し、符号化ビットストリーム１０９をディスプレイ１１６での提示のために復号化ＨＤＲおよび／またはＷＣＧ映像へと復号化、トランスコードおよび／または解凍するよう構成された、プロセッサ、メモリ、回路および／または他のハードウェアおよびソフトウェア要素を含むことができる。復号化器システム１５０は、Ｈ．２６５  ＨＥＶＣ、Ｈ．２６４／ＭＰＥＧ−４  ＡＶＣまたはＭＰＥＧ−２などの映像符号化フォーマットおよび／または圧縮方式に従って復号化器１１２を使用して符号化ビットストリーム１０９を復号化するように構成することができる。非限定的な例として、いくつかの実施形態では、復号化器１１２は、参照ピクチャキャッシュ１２０に格納された参照画像を使用するＭａｉｎ  １０  ＨＥＶＣ復号化器とすることができる。復号化器１１２は、メモリ１１１に結合されており、メモリ１１１は、符号化ビットストリームを保持し、また、逆伝達関数および／またはトーンマップを実装するルックアップテーブルなどの、復号化器１１２および／またはポストプロセッサ１１４が使用するデータを保持し得る。復号化器１１２およびポストプロセッサ１１４は、共有メモリ１１１を使用するものとして示されているが、それらは別個のメモリを使用し得ることが企図される。映像データが復号化された後、該データはポストプロセッサ１１４によって処理され、ポストプロセッサ１１４は、符号化器から受信したメタデータに応じて、プリプロセッサ１０４によって実行される処理を逆転させ、ＨＤＲおよび／またはＷＣＧ映像データを再生する。復号化ＨＤＲおよび／またはＷＣＧ映像データを、テレビ、モニタまたは他のディスプレイ１１６上での再生など、再生用のディスプレイデバイスに出力することができる。
【００１４】
いくつかの実施形態では、符号化器システム１００および／または復号化器システム１５０は、専用のハードウェアデバイスとすることができる。他の実施形態では、符号化器システム１００および／または復号化器システム１５０は、サーバ、コンピュータまたは映像処理デバイスなどの他のハードウェア上で実行されるソフトウェアプログラムとすることができ、または、それらを使用することができる。非限定的な例として、符号化器システム１００は、映像サービスプロバイダによって運用される映像符号化器とすることができ、一方、復号化器システム１５０は、コンシューマテレビディスプレイに接続された、ケーブルボックスなどのセットトップボックスの一部とすることができる。
【００１５】
映像源１０２によって提供される入力映像データは、画像フレームのシーケンス、グループオブピクチャ（ＧＯＰ）または画像エッセンスを含むことができる。いくつかの実施形態では、ピクチャ内の色は、色空間または色モデルに応じて１つ以上の値を使用してデジタル的に記述することができる。非限定的な例として、ピクチャ内の色は、色が赤チャネル、緑チャネルおよび青チャネルの値の組み合わせにより記述されたＲＧＢ色モデルを用いて示すことができる。
【００１６】
入力映像データは、高ダイナミックレンジ（ＨＤＲ）および／または広色域（ＷＣＧ）で記述される輝度および／またはクロミナンス値を伴う１つ以上のフレームシーケンスを有するＨＤＲ映像とすることができる。非限定的な例として、高ダイナミックレンジを有する映像は、非ＨＤＲ映像よりも広い範囲の可能な値のスケールで示される輝度値を有することができ、広色域を使用する映像は、少なくともいくつかのチャネルで非ＷＣＧ映像よりも広い範囲の可能な値の色モデルにて発現されるその色を有することができる。このように、ＨＤＲ入力映像は、標準または非ＨＤＲ映像よりも広い範囲の輝度および／またはクロミナンス値を有することができる。
【００１７】
いくつかの実施形態では、ＨＤＲ入力映像データは、色チャネルあたり８または１０ビットなどのより低いビット深度を用いて色値を表す非ＨＤＲフォーマットに対して、高ビット深度フォーマット内のＲＧＢ値で示されるその色を有することができる。非限定的な例として、ＨＤＲ入力映像データは、各色チャネルについて（１０個の有効ビット、５個の指数ビットおよび１つの符号ビットを有する）１６ビット浮動小数点値を用いて線形光ＲＧＢ領域で表されるＲＧＢ色値を伴うＥＸＲファイルフォーマットとすることができる。
【００１８】
図２Ａに示すように、符号化器システム２００は、処理データの１０ビット値への量子化、クロミナンス情報のダウンサンプリング、および、Ｍａｉｎ  １０  ＨＥＶＣ符号化器などの既存の符号化器２１６を使用して得られたデータの符号化の前に、第１の（中間）色変換演算（色ボリューム変形）２０２、第１の伝達関数２０４、第２の（最終）色変換演算２０６、第２の（符号化）伝達関数２０８および任意選択の知覚正規化演算２１０を、線形ＨＤＲ  ＲＧＢデータに適用することができる。ブロック２０２、２０４、２０６、２０８および２１０は、映像内容の１つ以上の時間的および／または空間的局所化特性に基づいて、非線形曲線上の値へと映像源２０２からの線形ＨＤＲ  ＲＧＢ値を変換する圧縮および知覚マッピング演算を実装する。
【００１９】
非限定的な例として、知覚マッピング演算は、映像データセットの内容に合わせて調整することができ、これは、意図される最大サンプル値または最小サンプル値、最小明るさ、平均明るさ、ピーク明るさ、最大コントラスト比、累積分布関数、量子化ステップサイズおよび／またはデータセット内の任意の他の要因に基づいて、ＨＤＲ／ＷＣＧ映像データの全てまたは一部を含み得る。いくつかの実施形態では、このような特性をデータセットについて予め決定して指定することができる。あるいは、特性を、処理の様々な段階における、映像の色成分または輝度成分のヒストグラムまたは統計解析により求めることができる。１つの例では、デジタル画像データは、伝達関数またはトーンマッピング演算を適用する前に、処理ウィンドウへとセグメント化され得る。各処理ウィンドウの１つ以上の成分（例えば、Ｙ’ＣｂＣｒ）は、例えば、最小サンプル値、最大サンプル値、平均サンプル値、値、および最大コントラスト（例えば、最大サンプル値の最小サンプル値に対する比）を決定するために分析され得る。これらの値は、単一成分または２つ以上の成分の組み合わせについて計算され得る。これらの値は、処理ウィンドウに適用するための知覚マッピング（例えば、符号化伝達関数および知覚正規化）を決定するために分析され得る。
【００２０】
例示的な知覚マッピングは、符号化器２１６を用いてより効率的にＨＤＲ映像データを符号化できるように、グローバルまたはローカルな時間的または空間的範囲上の入力映像データの内容に合わせて調整される非線形曲線上の線形色情報を再分配するように構成されており、これにより、該データは、図２Ｂに示す復号化システム２２０内のＨＤＲ映像データとして復号化および再構成され得る。後述するように、入力映像の内容に基づく他の色空間への線形色値の変換および非線形曲線の適用は、均一量子化演算を介して導入される歪みおよび／またはノイズのリスクを低減しながら、再構成画像にＨＤＲおよび／またはＷＣＧ詳細を提供することができる。いくつかの実施形態では、映像フレームの一部に存在する、および／または、人間の視聴者に最も知覚されやすい強度および色相の範囲に、より大きな数のビットおよび／または量子化レベルを割り当てることができ、一方、色チャネルに存在しない、および／または、視聴者に知覚されにくい強度および色相に、より小さなビットおよび／または量子化レベルを割り当てることができる。
【００２１】
非限定的な例として、入力映像データが夜間に起こるシーンを表す場合、その画像は主に、ＲＧＢ領域で実質的に一緒に束ねられる暗色を含む可能性がある。このようなシーンでは、ＲＧＢ領域内のより明るい色は、存在しないか、またはまれである可能性がある。このような状況では、シーン内に存在しない値を省略または強調抑制しつつ、クロミナンスおよび輝度値が、シーン内に実際に存在するクロミナンスおよび輝度値の範囲を含む１つ以上の非線形曲線に再分配されるように、結合知覚マッピングを適応させることができる。このように、以前に一緒に束ねられた暗いクロミナンスおよび輝度値を、（より大きな数の均一量子化ステップを割り当てられた）非線形値の曲線に実質的に均一に広げることができ、一方、あまり一般的ではない、より明るい値を、一緒に圧縮する（より少ない数の量子化ステップを割り当てる）ことができ、あるいは、それらがシーンに存在しない場合には省略すら行うことができる。暗い値を曲線上に広げることができるので、非線形曲線上の値を離散値またはコードワードへと均一に量子化する場合であっても、それらの間の微細な違いを区別することができる。
【００２２】
上述のように、知覚マッピング演算は、ピクチャのシーケンス、単一ピクチャまたはサブピクチャウィンドウについて入力映像の内容に応じて異なる非線形伝達関数を適用するよう変更することができるように、適応的とすることができる。サブピクチャ処理により、処理ウィンドウ、スライス、ＡＶＣのマクロブロックまたはＨＥＶＣの符号化ツリー単位（ＣＴＵ：Ｃｏｄｉｎｇ  Ｔｒｅｅ  Ｕｎｉｔ）などの、同じピクチャの異なるサブエリアを、その内容に基づいて異なるように処理することができる。他の実施形態または状況では、知覚マッピング演算を、異なるピクチャについてピクチャレベルで変更することができる。さらに他の実施形態または状況では、知覚マッピング演算を、異なるグループオブピクチャ（ＧＯＰ）または画像エッセンスなどのピクチャの異なるシーケンスについて、超（ｓｕｐｒａ）ピクチャレベルで変更することができる。知覚マッピング演算を、ＲＧＢ、Ｙ’ＣｂＣｒ、Ｘ’Ｙ’Ｚ’またはＩ’ＰＴ色空間などの任意の所望の色空間にて適用することができる。ピクチャの特定シーケンス、単一ピクチャまたはサブピクチャ要素を表す映像データの内容は、映像データによって表される画素値のヒストグラムを生成することによって決定され得る。例えば、比較的暗いエリアおよび比較的明るいエリアの両方を有する画像は、例えば四分木アルゴリズムを使用してセグメント化され得、これにより、暗いエリアからのデータが処理ウィンドウの１つのセットになり、明るいエリアからのデータはウィンドウの別のセットになる。暗いエリアのウィンドウに適用される知覚マッピングは、明るいエリアに適用されるものとは異なり得、両エリアにおける詳細を維持して再生ＨＤＲ画像に表示することができる。
【００２３】
１つの実施態様では、知覚正規化ブロック２１０および／または符号化伝達関数ブロック２０８は、知覚的にマッピングされたＹ’ＣｂＣｒ値を生成するために、色変換ブロック２０６によって提供されるＹ’ＣｂＣｒ値に知覚マッピング伝達関数を適用することができる。いくつかの実施形態では、知覚マッピング演算は、関連する知覚的にマッピングされたＹ’ＣｂＣｒ値にＹ’ＣｂＣｒ値をマッピングする３Ｄルックアップテーブル（ＬＵＴ）または複数の１ＤのＬＵＴを使用することができる。他の実施形態では、知覚マッピング演算は、各色成分を変換するために１つ以上の数式を使用することができる。非限定的な例として、知覚マッピング演算は次のような数式を使用して値を変換することができる：Ｙ’＿ＰＭ＝ｆ（Ｙ’，Ｃｂ，Ｃｒ）Ｃｂ＿ＰＭ＝ｇ（Ｙ’，Ｃｂ，Ｃｒ）Ｃｒ＿ＰＭ＝ｈ（Ｙ’，Ｃｂ，Ｃｒ）。この例では、関数は各々、入力として３つのＹ’ＣｂＣｒ値を取り、知覚的にマッピングされたＹ’ＣｂＣｒ値を出力することができる。
【００２４】
符号化伝達関数を実装するために１つ以上のＬＵＴまたは方程式が使用される場合、符号化システム１００から復号化システム１５０へと対応する逆符号化伝達関数を定義するメタデータを送信することが望ましい場合がある。異なるグループオブピクチャ、ピクチャまたはサブピクチャ処理ウィンドウについて異なる符号化関数を使用し得るので、符号化システム１００は、ＬＵＴおよび／または方程式のそれぞれを記述するメタデータを復号化システム１５０へ送信し得る。以下のマテリアルは、効率的なデータ構造（すなわちメタデータ構造）、および、このメタデータを格納して送信するための方法を記述し、これにより、メタデータは、符号化システム１００と復号化システム１５０との間で、全信号帯域幅のうち比較的少量を消費する。
【００２５】
図２Ａに示すように、例示的な符号化器２００はＨＤＲ／ＷＣＧ線形ＲＧＢデータセット上に第１の色変換演算２０２を行う。この演算は、中間線形色空間、例えば、ＬＭＳ、ＸＹＺまたはＹＣｂＣｒへと線形ＲＧＢ値を変形する。この変形は、ＲＧＢデータの冗長性を低減し、データを、より圧縮に資するフォーマットにする。しかし、入力データのフォーマットに応じて、ブロック２０２は、まったく色変換を行わないか、または、単一フレームの異なる部分を含む映像シーケンスの異なる部分に異なる色変換演算を実行し得ることが企図されている。色変換演算２０２はまた、実行された変換演算、および、シーケンス、フレームまたは画像のどの部分にそれが実行されたか、を示すメタデータを生成し得る。単に変形を識別する代わりに、メタデータは、ブロック２０２により適用される色変形演算の逆を表す行列係数を含み得る。逆係数を含むメタデータの代わりに、それが色ボリューム変換演算２０２にて使用された係数を含み得ること、および、逆係数が復号化器２０４で生成され得ることが企図される。色変換演算２０２は、第１の伝達関数２０４により処理することがより容易な色空間内のデータを生成し得る。
【００２６】
伝達関数２０４は、値のより小さい範囲へと明るいおよび／または暗い画素値を圧縮するガンマ関数であり得る。あるいは、伝達関数２０４は知覚量子化（ＰＱ：Ｐｅｒｃｅｐｔｕａｌ  Ｑｕａｎｔｉｚａｔｉｏｎ）伝達関数などの知覚伝達関数であり得る。別の代替として、色変換映像データの変形をまったくもたらさない恒等関数であり得る。この関数は、輝度チャネルにのみ、または、各チャネルに適用することができ、異なる関数が、映像シーケンスの異なる部分および／またはシーケンスにおける異なるフレームまたはフレームの部分に適用され得る。例えば、画像の比較的暗いエリアの輝度チャネルに適用されるガンマまたはＰＱ伝達関数は、その画像エリア内のクロミナンスチャネルデータに適用される関連演算（例えば、クロスチャネルスケーリング演算）をもたらし得る。ブロック２０４はまた、適用された変形の逆、および、それが適用された画像データの部分を記述するメタデータも生成する。このメタデータは、線形、二次、三次またはより高次の方程式として逆伝達関数を記述するパラメータを含み得る。完全な伝達関数は、逆伝達関数の各セグメントをモデル化する、線形、二次または三次方程式の係数を指定するために、例えば、線形二次、三次またはより高次のスプライン曲線フィッティング演算を使用して、これらの値から生成され得る。これらの方法を用いて、伝達関数は、ピボットポイントの各連続ペアを結合する関数について線形、二次、三次またはより高次の方程式のピボットポイントおよび係数のシーケンスとして指定され得る。
【００２７】
次いで、ブロック２０４からの色変換および変形データは、ブロック２０６において最終的な色変換演算の対象となる。この色変換処理は、例えば、特にＷＣＧ画像データについて、より知覚圧縮に適しているＩ’ＰＴまたはＹ’ＣｂＣｒなどの色空間に映像データを変換し得る。ブロック２０６は、知覚正規化および量子化のための処理がより容易である１つ以上の色空間へと画像のシーケンス、単一画像または画像の部分を変換し得る。ブロック２０２と同様に、ブロック２０６によって実行される色変換は、恒等関数であり得、その結果、変換はない。あるいは、異なる色変形演算が、映像データの異なる部分上で実行され得る。さらに、ブロック２０６は、実行された色変換、および、それが適用された映像データの部分（超フレーム、フレームまたはサブフレーム）を記述するメタデータを生成することができる。このメタデータは、単にデータの部分および適用された変換を識別し得る。あるいは、変換を識別する代わりに、メタデータは、３×３変換行列の係数を含み得る。上述したように、メタデータは、ブロック２０６によって実行された色変換またはその逆を記述し得る。
【００２８】
ブロック２０６の後、二度色変換された映像データが、第２の伝達関数２０８の対象となる。関数２０８は、人間の視覚系によって重要であると知覚される映像情報を強調すること、および、重要でないと知覚される映像情報を強調抑制することによって、量子化および符号化のための映像データを準備する符号化伝達関数であり得る。伝達関数２０８は、人間の知覚にデータを適合させる関数であり得、例えば、処理される映像データの部分における画像内容、意図される最大サンプル値および最小サンプル値、最大明るさまたは輝度コントラストおよび／または量子化ステップサイズに基づいて選択することができるガンマ成分を有するスティーブンスのべき法則（Ｓｔｅｖｅｎｓ’  ｐｏｗｅｒ  ｌａｗ）またはウェーバーの法則（Ｗｅｂｅｒ  ｌａｗ）の伝達関数であり得る。ブロック２０８は、複数の伝達関数を含み得、そのうちの１つは、特定の映像データセットについて選択される。伝達関数２０８は、輝度画素のコントラスト感度を考慮するために画像を調整し得、輝度サンプルに適用される変形に基づいて、対応するクロミナンスサンプルを再マッピングし得る。この関数は、処理ウィンドウなどの、フレームのシーケンス、単一フレームまたはフレームの部分を含み得る映像データセットに適用され得る。前処理ステージ内の他のブロックと同様に、符号化伝達関数ブロック２０８は、適用された伝達関数またはその逆、および、それが適用されたフレームまたはフレームの部分を記述するメタデータを生成することができる。このメタデータは、パラメトリックに、または、値のシーケンスによって伝達関数を記述し得る。適用される伝達関数のパラメータは、伝達関数に提供される映像データを分析することによって決定され得る。
【００２９】
１つの実施態様では、複数の逆伝達関数は、様々なデータセットに適用される複数の伝達関数に対応して定義され得る。複数の逆伝達関数を記述する情報は、比較的高いレベル（例えば、画像エッセンス、シーケンスまたはＧＯＰレベル）で画像データにシグナリングされ得、複数の逆伝達関数のうちの特定の１つは、特定のデータセット（例えば、画像、スライスまたはサブ画像処理ウィンドウ）に適用されるように選択され得る。
【００３０】
映像データは、例えば、画像データに四分木分解を適用することにより、処理ウィンドウへと分割され得、これにより、各リーフのデータは、特性値（例えば、最大サンプル値および最小サンプル値、最大明るさまたは輝度コントラストおよび／または量子化ステップサイズ）を有する。あるいは、四分木アルゴリズムは、四分木の各リーフにおける画像データの所定割合（例えば、８０〜９５％）が（１つまたは複数の）所定範囲内のデータ値を有するように、画像を分割し得る。別の代替では、処理ウィンドウは、カラリストによって決定されるように、所望の主観的目標を達成するためにトーンマッピングが適用される領域として指定されることができる。領域形状は、矩形、円形等とすることができ、形状、位置、サイズ等のパラメータを指定することができる。処理ウィンドウを識別する場合、処理ウィンドウ内の映像データの各映像成分の最大値、平均値および最小値を決定して、伝達関数ブロック２０８にこれらの値を供給することが望ましい場合がある。例えば、システムは、ビンへと画像画素を分割する処理ウィンドウ上でヒストグラムを実行すること、および、処理ウィンドウ内の画素のある割合（例えば、８０〜９５％）にまたがる連続ビンのセットを選択することによって、最小値、平均値および最大値を決定し得る。最小データ値は、最小データ値を含むビンによって定義される最小値であり得、最大データ値は、最大データ値を含むビンによって定義される最大値であり得、平均値は、全ての選択ビンのすべての値の平均値または中央値であり得る。次いで、ブロック２０８は、符号化伝達関数および／または知覚正規化器２１０を適応させ（例えば、あらかじめ定義された伝達関数の特定の１つを選択して）、最小値未満のおよび／または最大値よりも大きい値に割り当てられた量子化ステップの数を減少させながら、最小値と最大値との間に割り当てられた量子化ステップの数を増加させる。適応は、処理ウィンドウを識別するデータをも含むメタデータに記載される。このメタデータは、ビットストリームで復号化器に送られ、これにより、逆知覚正規化および逆符号化伝達関数が、ビットストリームから復号化されたデータに適用され得る。メタデータは、複数の逆伝達関数が取得され得るデータ、ならびに、選択伝達関数を記述するパラメータを含み得、これにより、選択逆伝達関数をルックアップテーブル（ＬＵＴ）として再構成し得る。
【００３１】
処理ウィンドウの識別が、符号化伝達関数ブロック２０８によって実行されるものとして記述されている場合、それが復号化器の他の構成要素によって実行され得ることが企図される。例えば、それは、（図１に示す）映像源１０２によって、または、中間色変換ブロック２０２によって実行され得る。処理ウィンドウへと個々のフレームを分割することに加えて、同じアルゴリズムが、それらの共通の特性によってデジタル映像データのフレームをグループ化するために、および／または、個々のフレームの特性を識別するために使用され得る。共通の特性を有するデジタル映像データの部分を符号化処理の早期において識別することは有利であり得、これにより、色変換処理および圧縮伝達関数処理の両方が同一の部分に合わせて調整され得る。
【００３２】
符号化伝達関数２０８の後、映像データセットは、ブロック２１０で知覚正規化の対象となり得る。このステップは、映像データのゲイン（スケーリング）およびオフセットを調整し、映像データの知覚圧縮をフレームのグループおよび／またはフレームにわたって、より均一にする。知覚正規化はまた、対応する輝度サンプル上で実行される処理についてクロミナンスサンプルを補償するためにクロスチャネル処理を行い得る。ゲインおよびオフセット値またはそれらの逆、ならびに、それらが適用された画像データの部分の識別は、メタデータとして提供される。均一に知覚変換されたデータを伝達関数２０４および２０８が生成する場合、または、映像データにとって均一に知覚変換されることが重要でない場合、知覚正規化は使用されなくてもよい。
【００３３】
Ｍａｉｎ  １０  ＨＥＶＣ符号化器を使用するこの例では、伝達関数２０８および／または任意選択の知覚正規化処理２１０によって提供される正規化知覚圧縮データは、量子化器２１２にて１０ビット値に量子化される。伝達関数２０８および／または知覚正規化器２１０の出力サンプルが浮動小数点値である場合、量子化器２１２は、浮動小数点から１０ビット固定小数点値へ画素サンプルを変換し得る。出力サンプルがＮビット固定小数点値（Ｎ＞１０）である場合、量子化器は、Ｎビットサンプルの１０個の最上位ビット（ＭＳＢ：Ｍｏｓｔ  Ｓｉｇｎｉｆｉｃａｎｔ  Ｂｉｔ）を選択し得、または、１１番目ビットに基づいてこれらの値を丸め得る。ブロック２０２、２０４、２０６、２０８および２１０によって実行される前処理のため、より知覚的に顕著な画像データが、より知覚的に顕著でないデータよりもより多くの数の量子化レベルを受け取る。量子化器２１２が色成分についてスカラーまたはベクトル量子化を採用し得ることが企図される。
【００３４】
次に、ブロック２１４は、クロミナンス情報をダウンサンプリングして４：２：０画素へと４：４：４画素を変換する。クロミナンスサンプルの解像度低下は、輝度よりも低い空間解像度で色を知覚する人間の視覚系にとって、気付かれにくいものである。クロミナンス情報をダウンサンプリングするために実行される処理を定義するメタデータは、符号化器のダウンサンプリングブロック２１４からのメタデータに追加される。このメタデータは、例えば、ダウンサンプリングされたデータを生成するために使用された二次元空間フィルタまたはダウンサンプリングされたデータから空間的にアップサンプリングされたデータを生成する逆フィルタのカーネルを記述し得る。メタデータはまた、サブサンプリング演算で任意の位相シフトオフセットを指定し得る。次いで、符号化器２１６は、前処理され、量子化およびダウンサンプリングされたデータを符号化し、出力ビットストリームを生成する。１つの実施形態では、メタデータは、付加拡張情報（ＳＥＩ）または映像ユーザビリティ情報（ＶＵＩ）データとしてビットストリームで符号化される。ブロック２１４は４：４：４画素を４：２：０画素に変換するものとして示されているが、他の変換、例えば、４：４：４画素から４：２：２または４：１：１画素フォーマットへの変換が実行され得ることが企図される。これらの代替のダウンサンプリングフォーマットのいずれかがブロック２１４によって生成される場合、対応するアップサンプリングが、復号化システムにおける対応するブロックによって実行されるであろう。
【００３５】
図２Ｂに示す復号化システム２２０は、復号化器２２２でビットストリームを受信する。例示のＭａｉｎ  １０  ＨＥＶＣ復号化器２２２は、メタデータを抽出し、符号化器２１６により実行される符号化演算を逆転させて４：２：０画素フォーマットで１０ビット映像データを生成する。クロミナンスダウンサンプラ２１４によって生成されるメタデータは、アップサンプラ２２４に適用され、アップサンプラ２２４は、例えば空間補間フィルタに４：２：０サンプルを適用することにより、４：２：０サンプルから４：４：４画素フォーマットサンプルを再構成する。これらのサンプルは、浮動小数点値に４：４：４画素サンプルを変換する、または、固定小数点サンプルにゼロ値の上位ビットを追加し得る逆量子化器２２６に提供される。逆量子化器２２６によって実行される演算は、量子化器２１２によって実行される量子化演算を逆転させる傾向がある。
【００３６】
ブロック２２８は、知覚正規化ブロック２１０から受信したメタデータに基づいて、相補的ゲインおよびオフセット演算を実行して、知覚正規化フィルタ２１０によって実行されるゲインおよびオフセット調整を逆転させる。同様に、ブロック２３０は、符号化伝達関数２０８の逆である伝達関数を適用する。これは、メタデータ内のパラメータから発生する逆スティーブンス法則または逆ウェーバー法則伝達関数であり得、または、それは、線形化またはより高次の特性の適用フィルタ特性またはラインセグメントのいずれかのサンプルを表すメタデータの値から再生される伝達関数であり得る。上記のように、複数の逆伝達関数が、シーケンスまたはＧＯＰレベルにおいて指定されていてもよく、これらの伝達関数のうちの１つが、映像データセット（例えば、フレームまたはサブフレーム）について、映像データセットの内容に応じてシグナリングされ得る。
【００３７】
同様に、復号化器２２０のブロック２３２、２３４および２３６はそれぞれ、ブロック２０６によって実行される最終的な色変換演算、ブロック２０４によって実行される第１の伝達関数および符号化器２００のブロック２０２によって実行される中間色変換演算を逆転させる。これらの演算は、メタデータによって示されるように色変換演算および伝達関数に関連付けられた（１つまたは複数の）フレームの領域を表すデータセットに対してのみ実行される。逆色変換ブロック２３６によって提供される出力データは、再構成された線形ＨＤＲおよび／またはＷＣＧ  ＲＧＢ信号である。画像暗部の詳細およびテクスチャならびに画像の暗部と明部との両方の色値などの知覚的に重要なデータは、再構成データに保存される一方、知覚的にあまり重要でないデータは失われ得る。図２Ａおよび図２Ｂに示されているシステムならびに以下の図３Ａおよび図３Ｂに示されているシステムは、線形ＨＤＲ  ＲＧＢデータを受信して再構成するように示されているが、それらが他のＨＤＲおよび／またはＷＣＧデータを受信および再構成し得ることが企図される。
【００３８】
図３Ａおよび図３Ｂは、図２Ａおよび図２Ｂに示されている符号化および復号化システムの変形例を記載している。図３Ａおよび図３Ｂに示すブロックの多くは、同じ番号を有する図２Ａおよび図２Ｂ内のブロックと同じである。簡潔にするため、これらのブロックの演算は、個別には本明細書中に記載されていない。一方の図２Ａおよび図２Ｂならびに他方の図３Ａおよび図３Ｂにおける違いの１つは、知覚再形成ブロック３０４、および、図３Ｂに示す対応する逆知覚再形成ブロック３２７である。ブロック３０４は、符号化伝達関数３０６を知覚正規化演算３０８と組み合わせ、同様に、ブロック３２７は、逆知覚正規化演算３２６および逆符号化伝達関数ブロック３２８を組み合わせる。
【００３９】
図２Ａおよび図２Ｂに示すシステム２００および２２０の間の、図３Ａおよび図３Ｂに示す各システム３００および３２０に対する別の違いは、処理ストリームにおけるクロミナンスダウンサンプリング処理３０２およびクロミナンスアップサンプリング処理３３０の位置である。図３Ａにおいて、ダウンサンプリング処理３０２は、最終的な色変換処理２０６によって提供されたデータ上で演算される。同様に、図３Ｂにおいて、アップサンプリング処理３３０によって提供されるアップサンプリング出力値は、処理２０６の逆である逆色変換処理２３２に適用される。ダウンサンプリングおよびアップサンプリング処理の再配置により、ダウンサンプリングされたクロミナンス値を有する画素に対して知覚再形成処理が実行されることとなる。この変形例により、図２Ａに示す対応ブロック２０８，２１０および２１２ならびに図２Ｂに示すブロック２２６、２２８および２３０によって処理されるよりも、図３Ａに示すブロック３０６、３０８、３１０ならびに図３Ｂに示すブロック３２４、３２６および３２８によって処理されるクロミナンスサンプルがより少なくなるので、より少ない処理をもたらし得る。上記のように、符号化伝達関数３０６を伴って知覚正規化処理３０８によって実行されるオフセットおよびゲイン調整を含める工程と、逆符号化伝達関数３２８を伴って逆知覚正規化処理３２６によって実行されるオフセットおよびゲイン調整を含める工程とにより、さらなる処理の低減を達成し得る。したがって、図３Ａおよび図３Ｂに示す符号化器および復号化器システムは、図２Ａおよび図２Ｂに示す符号化器および復号化器よりもより効率的であり得る。
【００４０】
１つの例では、入力色成分をｘ（例えばＹ，Ｃｂ，Ｃｒ）とすると、ｆ（ｘ）として、すなわちｆ（ｘ）に基づいて、逆再スケーリングの出力を計算することができる。Ｎ個のセグメントを有する区分関数について、Ｎ個の関数ｆｉ（ｘ）は、０≦ｉ＜Ｎとして、以下のように定義することができる。
【００４１】
【数１】
0006609056.tif 000002
【００４２】
１つの実施態様では、本明細書でピボットと称されるＮ＋１個のセグメント境界ポイントｘｉと、区分関数についてのパラメータとをシグナリングすることができる。ｆｉ（ｘ）が次数Ｍｉを有する多項式である場合、多項式を記述するメタデータは、Ｍｉ＋１個のパラメータを含む。シグナリング値に基づいて、逆再形成伝達関数に対応するＬＵＴを、復号化システム１５０において再構成することができる。異なるＬＵＴを、各色成分について使用することができ、どのＬＵＴが所与の画像またはサブ画像処理ウィンドウにおける所与の色成分について再成形するために使用されるかについての指示も、メタデータにてシグナリングすることができる。複数（Ｌ個）の逆再形成伝達関数をシグナリングするために使用されるメタデータの量を低減するために、Ｌ個のＬＵＴについての対応する区分関数を、符号化システム１００から復号化システム１５０へと送信されるメタデータを含む自己参照メタデータ構造にてシグナリングし得る。
【００４３】
図４および図５はそれぞれ、例示的な再形成伝達関数および逆伝達関数を示す。図４に示す関数４１０、４２０および４３０は、それぞれ異なったガンマ値を有するガンマ符号化伝達関数であり、図５に示す関数５１０、５２０および５３０は、対応する逆ガンマ伝達関数である。逆伝達関数５１０は、４つのピボットポイントによって定義される３つのセグメントへと分割される。最初のピボットポイントＡ、および最終ピボットポイントＮは、すべての３つの伝達関数について共通である。関数５１０は、ピボットポイントＡおよびＮに加えて２つのピボットポイント５１０Ｂおよび５１０Ｃを有する。ピボットポイントＡおよび５１０Ｂ間のセグメントがほぼ線形である（例えば、その線形係数の５％未満である二次係数を有する）ことに留意されたい。ポイント５１０Ｂおよび５１０Ｃ間のセグメントは曲線を示し、したがって、有意な二次および三次係数を有し得る。ピボットポイント５１０ＣおよびピボットポイントＮ間のセグメントも、ほぼ線形である。
【００４４】
曲線５２０によって定義される伝達関数は、ポイントＡおよび５２０Ｂ間のセグメントがほぼ線形であり、ポイント５２０Ｂおよび５２０Ｃ間のセグメントが曲線であり、ポイント５２０ＣおよびＮ間のセグメントがほぼ線形であるという点で、５１０によって定義されたものと同様である。曲線５３０は、より多数のピボットポイントを有する伝達関数を示し、この場合は６個、すなわち、Ａ、５３０Ｂ、５３０Ｃ、５３０Ｄ、５３０ＥおよびＮである。一方でポイントＡおよび５３０Ｂ間、他方でポイント５３０ＥおよびＮ間のセグメントの両方は、ほぼ線形である。伝達関数５３０は、４つのピボットポイント５３０Ｂ、５３０Ｃ、５３０Ｄおよび５３０Ｅによって定義された３つの曲線セグメントを有している。
【００４５】
以下のマテリアルは、（図１に示す）符号化システム１００から復号化システム１５０に送信されたメタデータで伝達関数がどのように表されるかについて定義する例示の構文を提示する。また、図５に示す例示の逆伝達関数について形成されたメタデータ構造の例を以下に説明する。
【００４６】
表１および表２の例示の構文では、いくつかの再形成伝達関数ＮｕｍＬｕｔＲｅｓｈａｐｅが、メタデータにてシグナリングされ得、インデックス値ｌｕｔ＿ｒｅｓｈａｐｅ＿ｉｎｄｅｘ［ｃ］が、特定の映像データセットの色成分ｃについて逆再形成関数を選択するために使用され得ることが提案されている。したがって、ＮｕｍＬｕｔＲｅｓｈａｐｅ  ＬＵＴ（表１に示されている）を定義するメタデータは、比較的高いレベル（例えば画像エッセンス、シーケンスまたはＧＯＰ）でメタデータに含まれ得る一方、映像データセットの色成分に使用するための特定ＬＵＴ（表２に示されている）のｒｅｓｈａｐｅｉｎｇ＿ｉｄを指定するメタデータが、より低いレベル（例えばピクチャ、スライスまたは処理ウィンドウ）におけるメタデータ内にあり得る。以下のマテリアルは、復号化器１５０における逆再形成演算において使用されるメタデータに関する。したがって、簡略化のために、本明細書に記載する逆再形成演算を単に再形成演算と称する場合がある。
【００４７】
【表１】
0006609056.tif 000003
【００４８】
【表２】
0006609056.tif 000004
【００４９】
表１および表２に使用される記述子は、メタデータ値の特性を記述する。ｕ（ｎ）記述子は、ｎビット符号なし整数を指す。ｕ（１）記述子はまた、１ビットブール値も指し得る。ｓｅ（ｖ）記述子は、可変長符号付き整数値を指す。１つの実施形態では、この記述子は、指数ゴロム符号化（Ｅｘｐ−Ｇｏｌｏｍｂ−ｃｏｄｅｄ）値を示す。同様に、ｕｅ（ｖ）記述子は、指数ゴロム符号化値でもあり得る可変長符号なし整数値を指す。
【００５０】
表１および表２のデータ構文は、ＬＵＴがメタデータに含まれている場合に使用されるであろうデータの量に対して、映像復号化器に複数の再形成伝達関数ＬＵＴをシグナリングするのに使用されるメタデータ量を低減するためにデータ項目がどのように割り当てられるかを決定するエントリを含む、自己参照メタデータ構造について説明する。下記の項目は、画像エッセンス、映像シーケンスまたはピクチャについて逆伝達関数をシグナリングするために使用されるメタデータの構文で使用される。
【００５１】
以下のように、表１および表２で使用される用語を定義する。
０に等しいｎｕｍ＿ｌｕｔ＿ｒｅｓｈａｐｅ＿ｇｒｅａｔｅｒ１＿ｆｌａｇは、メタデータが単一の再形成ＬＵＴ関数を含むことを指定する（すなわちＮｕｍＬｕｔＲｅｓｈａｐｅ＝１）。ｎｕｍ＿ｌｕｔ＿ｒｅｓｈａｐｅ＿ｇｒｅａｔｅｒ１＿ｆｌａｇが１に等しい場合、メタデータは、複数の再形成ＬＵＴ関数を含む。
【００５２】
ｎｕｍ＿ｌｕｔ＿ｒｅｓｈａｐｅ＿ｍｉｎｕｓ２に＋２を行えば、ｎｕｍ＿ｌｕｔ＿ｒｅｓｈａｐｅ＿ｇｒｅａｔｅｒ１＿ｆｌａｇ＝１の場合、再形成ＬＵＴ関数（ＮｕｍＬｕｔＲｅｓｈａｐｅ）の数を指定する。ｎｕｍ＿ｌｕｔ＿ｒｅｓｈａｐｅ＿ｍｉｎｕｓ２の値は、０〜１４の範囲である。上述したように、複数の再形成伝達関数は、画像エッセンス、シーケンス、グループオブピクチャまたはピクチャについてのメタデータに含まれ得る。この値は、さらにストレージ要件を低減するために再形成伝達関数の数「マイナス２」として格納される。上記のように、ｎｕｍ＿ｌｕｔ＿ｒｅｓｈａｐｅ＿ｇｒｅａｔｅｒ＿１＿ｆｌａｇ＝０の場合、メタデータは、単一の伝達関数を含む。ｎｕｍ＿ｌｕｔ＿ｒｅｓｈａｐｅ＿ｇｒｅａｔｅｒ１＿ｆｌａｇ＝１であり、ｎｕｍ＿ｌｕｔ＿ｒｅｓｈａｐｅ＿ｍｉｎｕｓ＿２＝０である場合、メタデータは、２つの再形成伝達関数を含む。ｎｕｍ＿ｌｕｔ＿ｒｅｓｈａｐｅ＿ｍｉｎｕｓ＿２の最大値が１４であるため、最大数１６個の再形成伝達関数が、この例示のデータ構文によりメタデータで許可される。再形成伝達関数の数を指定することにより、特定の画像または画像シーケンスの要件に一致するようにメタデータの量を調整することができ、これにより、メタデータは、復号化器によって使用される伝達関数の数のみを含む。
【００５３】
ｌｕｔ＿ｒｅｓｈａｐｅ＿ｉｄは、メタデータ内の１つの再形成伝達関数についてのＬＵＴ  ｉｄ番号を指定する。ｌｕｔ＿ｒｅｓｈａｐｅ＿ｉｄの値は、０〜１５の範囲であり得る。ｌｕｔ＿ｒｅｓｈａｐｅ＿ｉｄが存在しない場合、それは０に等しいと推定される。
【００５４】
ｓｉｇｎａｌ＿ｒｅｓｈａｐｅ＿ｎｕｍ＿ｐｉｖｏｔｓ＿ｍｉｎｕｓ２［ｋ］に＋２を行えば、ｌｕｔ＿ｒｅｓｈａｐｅ＿ｉｄ＝ｋを有する再形成伝達関数について区分セグメント化関数におけるピボット値の数が指定される。ｓｉｇｎａｌ＿ｒｅｓｈａｐｅ＿ｎｕｍ＿ｐｉｖｏｔｓ＿ｍｉｎｕｓ２［ｋ］の値は、０〜７の範囲であり、９つもの数のピボットポイントを可能とする。メタデータは、少なくとも１つの伝達関数を含み、図４および図５を参照して以下に説明するように、伝達関数は、少なくとも２つのピボットポイント（エンドポイント）を有するので、ピボットポイントの数が０または１である必要がない。ピボットポイントの数を指定することにより、固定数のピボットポイントを想定するシステムに対してメタデータの量が低減される。
【００５５】
ｓｉｇｎａｌ＿ｒｅｓｈａｐｅ＿ｃｏｄｅｄ＿ｐｉｖｏｔ＿ｖａｌｕｅ［ｋ］［ｉ］は、伝達関数ｋのピボットポイントｉについてピボット値を指定する。ピボット値の各ペアは、伝達関数の区分セグメントを形成する。ｓｉｇｎａｌ＿ｒｅｓｈａｐｅ＿ｃｏｄｅｄ＿ｐｉｖｏｔ＿ｖａｌｕｅ［ｋ］［ｉ］の値は、０〜１０２３の範囲である。これらのピボット値は、適切な入力値に対応するよう、実際の値にスケーリングまたはマッピングされ得る。
【００５６】
ｐｏｌｙ＿ｏｒｄｅｒ［ｋ］［ｉ］は、伝達関数ｋおよびセグメントｉについて区分再形成関数の多項式の次数を指定する。ｐｏｌｙ＿ｏｒｄｅｒ［ｋ］［ｉ］の値は０〜３の範囲である。この値は、上記方程式（１）に示すように、伝達関数ｋの関数ｆｉ（ｘ）で使用される係数の数を指定する。
【００５７】
ｐｏｌｙ＿ｃｏｅｆ［ｋ］［ｉ］［ｊ］は、区分セグメント化関数ｋのピボットポイントｉおよびｉ＋１間の伝達関数セグメントについて多項式係数ｊを指定する。ｐｏｌｙ＿ｃｏｅｆ［ｋ］［ｉ］［ｊ］の値は−１０２４〜＋１０２３（両端を含む）の範囲である。これらの係数は、例えば、線形、二次および三次方程式へ伝達関数のセグメントをフィッティングすること、および、セグメントを定義する方程式として最小誤差を有するフィッティング方程式を選択することによって、生成され得る。選択された方程式の係数は、メタデータ構造におけるセグメントの多項式係数である。
【００５８】
成分ｃ当たりのＬＵＴ再形成関数は、以下のように区分多項式関数を用いて計算することができ、ここで、テーブルｋ＝ｌｕｔ＿ｒｅｓｈａｐｅ＿ｉｎｄｅｘ［ｃ］が用いられ、０≦ｋ＜ＮｕｍＬｕｔＲｅｓｈａｐｅである。入力値はｘであり、ｉ番目のセグメントについて出力値はｆ（ｘ）として計算される。これらの出力値は、適切な出力値に対応するようにスケーリングまたは正規化され得る。
【００５９】
【数２】
0006609056.tif 000005
【００６０】
ここで
ｘ＿ｉ＝ｓｉｇｎａｌ＿ｒｅｓｈａｐｅ＿ｃｏｄｅｄ＿ｐｉｖｏｔ＿ｖａｌｕｅ［ｋ］［ｉ］；
ａ＿ｉｊ＝ｐｏｌｙ＿ｃｏｅｆ［ｋ］［ｉ］［ｊ］；
Ｍ＿ｉ＝ｐｏｌｙ＿ｏｒｄｅｒ［ｋ］［ｉ］；
０≦ｉ≦ｓｉｇｎａｌ＿ｒｅｓｈａｐｅ＿ｎｕｍ＿ｐｉｖｏｔｓ＿ｍｉｎｕｓ２［ｋ］
図６Ａは、図５に示す伝達関数５１０および５２０に表１に示す構文を適用することによって形成されたメタデータ構造を示すデータ図である。明確にするために、データフィールドの名前は、表１に示す名前に対して、図６Ａにおいて簡略化されている。表１の１行目および図６のブロック６０２において、構文は、ｎｕｍ＿ｌｕｔ＿ｒｅｓｈａｐｅ＿ｇｒｅａｔｅｒ１＿ｆｌａｇを１にセットし、これは、メタデータ構造が複数の再形成伝達関数についてメタデータを含むことを示す。次に、表１の３行目（ブロック６０４）は、ｎｕｍ＿ｌｕｔ＿ｒｅｓｈａｐｅ＿ｍｉｎｕｓ２を１にセットし、これは、メタデータ構造が３つのＬＵＴを含むことを示す。第１のＬＵＴのｌｕｔ＿ｒｅｓｈａｐｅ＿ｉｄは、表１の６行目（ブロック６０６）での構文に応じて０に設定される。構文の８行目（図６のブロック６０８）では、第１のＬＵＴについて、ｓｉｇｎａｌ＿ｒｅｓｈａｐｅ＿ｎｕｍ＿ｐｉｖｏｔｓ＿ｍｉｎｕｓ２が２に設定され、これは、第１のＬＵＴ（ＬＵＴ  ０）を生成する関数が４つのピボットポイントを有することを示す。次いで、４つのピボットの値は、表１に示す構文の９〜１０行目のｆｏｒループに応じて、メタデータ構造（６１０で示されるブロック）へと入力される。最後に、構文の１２〜１５行目のｆｏｒループにおいて、各ピボットポイントについて、ピボットポイントと次のピボットポイントとの間の曲線を定義する方程式の次数が、メタデータ構造に入力され（ブロック６１２）、１に方程式の次数を加えた数に等しい係数の数が続く（ブロック６１４）。この処理は、第２および第３のＬＵＴについて繰り返される（ｌｕｔ＿ｒｅｓｈａｐｅ＿ｉｄ＝１およびｌｕｔ＿ｒｅｓｈａｐｅ＿ｉｄ＝２）（ブロック６１６、６１８、６２０および６２２）。
【００６１】
開示されたメタデータ構造は自己参照的であるので、該メタデータ構造は、必要とされる場合にのみデータスペースを割り当てる。さらに、構造が非線形方程式を可能とするため、メタデータから実装される伝達関数は、同数のピボットポイントを有する線形補間セグメント化関数よりも優れた伝達関数をモデル化する。
【００６２】
表１に示す再形成パラメータ構文は、画像エッセンス、画像シーケンス、グループオブピクチャまたはピクチャで使用するための複数の逆伝達関数を定義する。各ピクチャ、または、スライスまたは処理ウィンドウなどの各サブピクチャ要素の各成分（例えばＹ，Ｃｂ，Ｃｒ）は、メタデータ内のこれらの伝達関数の１つを指定し得る。伝達関数は、表１に示す構文により形成されたメタデータ構造へとインデックスとして指定される。このインデックスを指定するための構文を、表２に示す。この構文により、１〜３個のインデックス（例えばＹ，Ｃｂ，Ｃｒ）を各画像データセット（例えば、フレーム、スライスまたは処理ウィンドウ）について指定することが可能となる。以下の項目は、ピクチャ、または、スライスまたは処理ウィンドウなどのサブピクチャ要素について、このインデックスを指定するための構文に使用される。
【００６３】
ｌｕｔ＿ｒｅｓｈａｐｅ＿ｉｎｄｅｘ［ｃ］は、色成分ｃについて使用するために再形成ＬＵＴ関数のインデックスを指定する。ｌｕｔ＿ｒｅｓｈａｐｅ＿ｉｎｄｅｘ［ｃ］の値は０〜１５の範囲である。ｌｕｔ＿ｒｅｓｈａｐｅ＿ｉｎｄｅｘ［ｃ］が存在しない場合、それは０に等しいと推定される。図６Ｂに示すように、例示の再形成ＩＤメタデータ構造は、３つの値、Ｙ＿ｌｕｔ＿ｉｎｄｅｘ、Ｃｂ＿ｌｕｔ＿ｉｎｄｅｘおよびＣｒ＿ｌｕｔ＿ｉｎｄｅｘを含む。各値は、図６Ａに示すｌｕｔ＿ｒｅｓｈａｐｅ＿ｉｄの１つに対応する。
【００６４】
表１および表２の構文を使用して、ＬＵＴは、比較的多数の映像データセットについて定義され得、そして、ピクチャデータセットについてまたは処理ウィンドウデータセットについてメタデータにｌｕｔ＿ｒｅｓｈａｐｅ＿ｉｎｄｅｘ［ｃ］を含めることにより、各データセットについてテーブルの１つがシグナリングされ得る。したがって、表１および表２に示す構文から形成されたメタデータ構造は、符号化システム１００から復号化システム１５０に伝達関数をシグナリングするための効率的な方法を提供する。
【００６５】
上述の表１に示した再形成パラメータ構文を、ピクチャパラメータセット（ＰＰＳ：Ｐｉｃｔｕｒｅ  Ｐａｒａｍｅｔｅｒ  Ｓｅｔ）の一部としてピクチャレベルで、グループオブピクチャ（ＧＯＰ）レベルで、シーケンスパラメータセット（ＳＰＳ：Ｓｅｑｕｅｎｃｅ  Ｐａｒａｍｅｔｅｒ  Ｓｅｔ）および／または映像パラメータセット（ＶＰＳ：Ｖｉｄｅｏ  Ｐａｒａｍｅｔｅｒ  Ｓｅｔ）の一部としてシーケンスレベルで、シグナリングすることができる。それはまた、映像データセットの付加拡張情報（ＳＥＩ）および／または映像ユーザビリティ情報（ＶＵＩ）にも含まれ得る。例えば、複数の伝達関数を定義する表１の再形成パラメータを、ＳＰＳレベルでシグナリングすることができ、特定のデータセット（表２）に使用するための特定の関数を、ＰＰＳ、スライスまたは処理ウィンドウレベルでシグナリングすることができる。図示の構文要素データタイプは例示であり、所望のパラメータ値の精度および範囲に基づいて変更することができる。値は、伝達関数およびＬＵＴ値の計算に使用される。上記シグナリングは、定義することができる「再形成（またはＬＵＴ）パラメータセット」を効率的に指定することに留意されたい。あるいは、上記シグナリングは、ピクチャレベル未満でシグナリングするのに適している。１つの例では、ピクチャの四分木分割をシグナリングすることができ、各パーティションについておよび／または各パーティションの各成分についての再形成ＬＵＴ関数を、表２に示すようにｌｕｔ＿ｒｅｓｈａｐｅ＿ｉｎｄｅｘ［ｃ］値を使用してシグナリングすることができる。
【００６６】
１つの色成分についての、上述した逆再形成演算を、出力値ｆ（ｘ）に入力値ｘをマッピングするためのＬＵＴを生成するために使用することができ、ｆ（ｘ）＝ＬＵＴ（ｘ）であり、ｘは、ＬＵＴテーブルの値をインデックス付けするために使用される。より一般的には、マッピング演算はｆ（ｘ）＝ＬＵＴ（ｘ＋ｏｆｆｓｅｔ＿１）＋ｏｆｆｓｅｔ＿２で与えられることができ、ｏｆｆｓｅｔ＿１はＬＵＴへの入力オフセットであり、ｏｆｆｓｅｔ＿２は出力オフセットであり、ＬＵＴの出力値に適用される。これらのオフセットは、ｏｆｆｓｅｔ＿１については水平に、ｏｆｆｓｅｔ＿２については垂直に、図５に示す曲線をシフトさせる効果を有する。ｏｆｆｓｅｔ＿１およびｏｆｆｓｅｔ＿２の値は、固定であり得る、または、所与のユースケースについてシグナリングされ得るオフセット値である。これらは、伝達関数の各セグメントについてシグナリングすることができるか、または、全伝達関数について一度シグナリングすることができる。表３は、例示の構文を示し、ｏｆｆｓｅｔ＿１およびｏｆｆｓｅｔ＿２は、伝達関数についてシグナリングされる。
【００６７】
【表３】
0006609056.tif 000006
【００６８】
表３に示した構文を使用して生成された例示のメタデータ構造が、図７Ａに示されている。メタデータ構造における最初の８つの要素は、図６Ａに示すものと同じである。図６Ａと図７Ａとの間の違いは、値ｌｕｔ＿ｏｆｆｓｅｔ＿１（ブロック７０２）およびｌｕｔ＿ｏｆｆｓｅｔ＿２（ブロック７０４）である。
【００６９】
ｌｕｔ＿ｏｆｆｓｅｔ＿１［ｋ］は、入力ＬＵＴ値についてのオフセット値を指定する。この値は、ＬＵＴ出力値を得るために、入力値ｘに加算される。ｌｕｔ＿ｏｆｆｓｅｔ＿１［ｋ］の値は、−１０２４〜＋１０２３（両端を含む）の範囲を有する符号付き整数である。
【００７０】
ｌｕｔ＿ｏｆｆｓｅｔ＿２［ｋ］は、出力ＬＵＴ値についてのオフセット値を指定する。この値は、再形成色成分値（例えばＹ，Ｃｂ，Ｃｒ）を得るためにＬＵＴ出力値に加算される。ｌｕｔ＿ｏｆｆｓｅｔ＿２［ｋ］の値は、−１０２４〜＋１０２３（両端を含む）の範囲を有する符号付き整数である。
【００７１】
別の例では、１つの色成分についての逆再形成演算は、別の色成分の関数に基づくＬＵＴを用いた演算に基づくことができる。このことの１つの適用は、ＨＤＲ−ＳＤＲ互換可逆トーンマッピングで説明される。この例では、クロミナンスチャネル逆再形成演算が、クロスチャネル輝度入力Ｙ’によってインデックス付けされた輝度ＬＵＴによって提供される値を乗じた復号化クロミナンス入力値Ｃ＿ｘ’に基づいて、クロミナンス出力Ｃ＿ｘを計算し、これにより、Ｃ＿ｘ＝ｆ（Ｃ＿ｘ’）＝ＬＵＴ（Ｙ／Ｙ’）＊Ｃ＿ｘ’となり、ＬＵＴは、クロスチャネル輝度出力ＹのＹ’に対する比である。Ｙ’は、輝度ＬＵＴのインデックス付けに使用される同一位置の輝度入力値である。同一位置の輝度入力値の例を以下に示す。この逆再形成演算を示すために、メタデータ構造は、表４にて以下に示すように、各色成分についてｃｒｏｓｓ＿ｃｈａｎｎｅｌ＿ｌｕｔ＿ｓｃａｌｉｎｇ＿ｆｌａｇ［ｃ］およびｃｒｏｓｓ＿ｃｈａｎｎｅｌ＿ｌｕｔ＿ｓｃａｌｉｎｇ＿ｉｎｄｅｘ［ｃ］をシグナリングする要素を含み得る。この構文を使用して生成される例示のメタデータ構造は、図７Ｂに示されている。表４および図７Ｂに示すｒｅｓｈａｐｉｎｇ  ｉｄ構文は、表１または表３ならびに図６Ａおよび図７Ａにそれぞれ示されている再形成パラメータと共に使用され得る。クロスチャネル演算にて適用される伝達関数は、ＬＵＴ（Ｙ／Ｙ’）として示されているが、ＬＵＴ（Ｃｒ／Ｙ’）またはＬＵＴ（Ｃｂ／Ｙ’）などの他の伝達関数を使用し得ることが企図される。
【００７２】
【表４】
0006609056.tif 000007
【００７３】
１に等しいｃｒｏｓｓ＿ｃｈａｎｎｅｌ＿ｌｕｔ＿ｓｃａｌｉｎｇ＿ｆｌａｇ［ｃ］は、同一位置チャネルのｃｒｏｓｓ＿ｃｈａｎｎｅｌ＿ｌｕｔ＿ｓｃａｌｉｎｇ＿ｉｎｄｅｘ［ｃ］によってインデックス付けされたｌｕｔ＿ｒｅｓｈａｐｅ＿ｉｎｄｅｘ［ｃ］によって与えられるＬＵＴでの乗算を用いて色成分ｃについての逆再形成演算が実行されることを指定する。そうでなければ、ｃｒｏｓｓ＿ｃｈａｎｎｅｌ＿ｌｕｔ＿ｓｃａｌｉｎｇ＿ｆｌａｇ［ｃ］は０に等しく、チャネルｃによってインデックス付けされたｌｕｔ＿ｒｅｓｈａｐｅ＿ｉｎｄｅｘ［ｃ］によって与えられるＬＵＴを用いて色成分ｃについての逆再形成演算が行われる。
【００７４】
ｃｒｏｓｓ＿ｃｈａｎｎｅｌ＿ｌｕｔ＿ｓｃａｌｉｎｇ＿ｉｎｄｅｘ［ｃ］は、クロスチャネルＬＵＴ逆再形成演算をどれにインデックス付けすべきかについて色成分のインデックスを指定する。存在しない場合、ｃｒｏｓｓ＿ｃｈａｎｎｅｌ＿ｌｕｔ＿ｓｃａｌｉｎｇ＿ｉｎｄｅｘ［ｃ］の値は、ｃに等しいと推定される。ｃｒｏｓｓ＿ｃｈａｎｎｅｌ＿ｌｕｔ＿ｓｃａｌｉｎｇ＿ｉｎｄｅｘ［ｃ］の値は０〜２の範囲を有する。
【００７５】
図７Ｂは、表４の構文を使用して生成された例示のメタデータ構造を示す。このメタデータ構造は、表６Ａまたは表７Ａに示す構文を使用して指定された伝達関数を用いてピクチャまたはサブピクチャ要素に関連付けられ得る。表７Ｂに示すように、輝度データについて使用するためのＬＵＴのインデックスは、ブロック７０６によって示されるセル内にある。次に、ブロック７０８において輝度クロスチャネルフラグは、ブロック７１０が再形成演算で使用するためのクロスチャネル成分を示すデータを含むことを示す１に設定され、この場合、０は輝度チャネルを示す。ブロック７１２は、Ｃｂクロミナンス成分について使用するためのＬＵＴのインデックスを保持する。この成分について、クロスチャネルフラグは、クロスチャネルスケーリングがＣｂクロミナンス成分について使用されないことを示す０（ブロック７１４）である。次に、ブロック７１６は、Ｃｒクロミナンス成分についてのＬＵＴインデックスを保持する。ブロック７１８のＣｒクロスチャネルフラグは、Ｃｒ成分について使用するためのクロスチャネルインデックスがブロック７２０にあることを示す。この場合、この値は０であり、同一位置の輝度成分の値が使用されることを示す。
【００７６】
別の構文例では、輝度ＬＵＴ再形成テーブルインデックスをシグナリングすることができる（ｌｕｔ＿ｒｅｓｈａｐｅ＿ｉｎｄｅｘ［０］）が、クロミナンスＬＵＴ再形成テーブルインデックスは、クロスチャネルスケーリングが使用されない場合（ｃｒｏｓｓ＿ｃｈａｎｎｅｌ＿ｌｕｔ＿ｓｃａｌｉｎｇ＿ｆｌａｇ＝０）にのみシグナリングされる。クロスチャネルスケーリングが使用される場合（ｃｒｏｓｓ＿ｃｈａｎｎｅｌ＿ｌｕｔ＿ｓｃａｌｉｎｇ＿ｆｌａｇ＝１）、クロミナンスデータは、（例えば上述のように）入力クロミナンス値で乗算するための同一位置の輝度クロスチャネル値によってインデックス付けされた輝度ＬＵＴ（ｌｕｔ＿ｒｅｓｈａｐｅ＿ｉｎｄｅｘ［０］）を使用して修正され、一方、輝度データは、入力輝度値で乗算するために輝度値によってインデックス付けされた輝度ＬＵＴを使用する。表５に示したものなどの構文を、この再形成演算についてのメタデータを指定するために使用することができる。
【００７７】
【表５】
0006609056.tif 000008
【００７８】
表５において、１に等しいｃｒｏｓｓ＿ｃｈａｎｎｅｌ＿ｌｕｔ＿ｓｃａｌｉｎｇ＿ｆｌａｇは、色成分ｃについての逆再形成演算が、ｎｕｍ＿ｌｕｔ＿ｒｅｓｈａｐｅ＿ｇｒｅａｔｅｒ１＿ｆｌａｇが１に等しい場合に同一位置の輝度チャネルによってインデックス付けされるｌｕｔ＿ｒｅｓｈａｐｅ＿ｉｎｄｅｘ［０］によって与えられるＬＵＴでの乗算を用いて、または、ｎｕｍ＿ｌｕｔ＿ｒｅｓｈａｐｅ＿ｇｒｅａｔｅｒ１＿ｆｌａｇが０に等しい場合に０に等しいｌｕｔ＿ｒｅｓｈａｐｅ＿ｉｄを伴うデフォルトＬＵＴによって、行われることを指定する。ｃｒｏｓｓ＿ｃｈａｎｎｅｌ＿ｌｕｔ＿ｓｃａｌｉｎｇ＿ｆｌａｇが０に等しい場合、色成分ｃについての逆再形成演算は、ｎｕｍ＿ｌｕｔ＿ｒｅｓｈａｐｅ＿ｇｒｅａｔｅｒ１＿ｆｌａｇが１に等しい場合にチャネルｃによってインデックス付けされるｌｕｔ＿ｒｅｓｈａｐｅ＿ｉｎｄｅｘ［ｃ］によって与えられるＬＵＴを用いて、または、ｎｕｍ＿ｌｕｔ＿ｒｅｓｈａｐｅ＿ｇｒｅａｔｅｒ１＿ｆｌａｇが０に等しい場合に０に等しいｌｕｔ＿ｒｅｓｈａｐｅ＿ｉｄを伴うデフォルトＬＵＴによって、行われる。図７Ｃは、ｃｒｏｓｓ＿ｃｈａｎｎｅｌ＿ｌｕｔ＿ｓｃａｌｉｎｇ＿ｆｌａｇが０であるとともにｎｕｍ＿ｌｕｔ＿ｒｅｓｈａｐｅ＿ｇｒｅａｔｅｒ１＿ｆｌａｇが１である場合、表５の構文から生成され得る例示的なメタデータ構造を示す。この場合、異なるＬＵＴが、各色成分（Ｙ，Ｃｂ，Ｃｒ）についてＨＤＲ／ＷＣＧデータを再生するために使用される。
【００７９】
例示的な逆再形成処理は以下の通りである。輝度逆再形成について、入力は、輝度位置（ｉ，ｊ）および復号化輝度値Ｙ’（ｉ，ｊ）であり、出力は、再形成輝度値Ｙ（ｉ，ｊ）である。ｃｒｏｓｓ＿ｃｈａｎｎｅｌ＿ｌｕｔ＿ｓｃａｌｉｎｇ＿ｆｌａｇ＝１の場合は、
【００８０】
【数３】
0006609056.tif 000009
【００８１】
であり、そうでなければ、
【００８２】
【数４】
0006609056.tif 000010
【００８３】
であり、ＬＵＴ＿Ｙは方程式（２）から導かれる。
クロミナンス逆再形成について、入力は、クロミナンスサンプル位置（ｉ，ｊ）、復号化クロミナンス値Ｃ’（ｉ，ｊ）および復号化同一位置輝度値Ｙ’（ｉ’ｊ’）である。出力は、再形成クロミナンス値Ｃ（ｉ，ｊ）である。ｃｒｏｓｓ＿ｃｈａｎｎｅｌ＿ｌｕｔ＿ｓｃａｌｉｎｇ＿ｆｌａｇ＝１の場合は、
【００８４】
【数５】
0006609056.tif 000011
【００８５】
であり、そうでなければ、
【００８６】
【数６】
0006609056.tif 000012
【００８７】
であり、（ｉ，ｊ）＝（ｉ’／２，ｊ’／２）であって、ＬＵＴ＿Ｃは、方程式（２）から導かれる。
別の例では、ウェーバーの法則の第２の変形例の場合について、
【００８８】
【数７】
0006609056.tif 000013
【００８９】
であり、ＣＮは、最大コントラスト比であって、ＬＵＴ（ｘ／ｘ’）についての多項式近似は、ｓｉｇｎａｌ＿ｒｅｓｈａｐｅ＿ｎｕｍ＿ｐｉｖｏｔｓ＿ｍｉｎｕｓ２［ｋ］＝０を伴うｆ（ｘ）を有し、多項式係数ａｉｊは方程式（８）によって決定される。
【００９０】
【数８】
0006609056.tif 000014
【００９１】
これらのパラメータの計算を低減するために、対数の底を変更する（例えば、底を２とする）こと、ならびに、係数のスケーリングを行うことができる。
クロスチャネルスケーリングの例では、サブサンプリングクロミナンスデータについて、同一位置の輝度値を、隣接輝度値の関数、例えば平均値、最小値、最大値、または中央値であるように選択することができる。例えば、４：２：０サブサンプリングについて、最近傍の４つの輝度サンプル値の平均を使用することができる。また、所与の輝度位置における視覚応答も隣接輝度値の関数であるので、輝度値の近傍のフィルタリング演算（例えば、双線形、非分離型、または分離可能フィルタリング）を用いることができる。同一位置の輝度値を決定するために使用するためのマッピング関数または演算を示すために、フラグをシグナリングすることができる。
【００９２】
輝度チャネルでの乗算を含むクロミナンスチャネル逆再形成演算について、輝度チャネルから導入されたノイズは、以下の形の乗法ノイズであり得る。
【００９３】
【数９】
0006609056.tif 000015
【００９４】
ｘはオリジナル信号であり、ｎｉは輝度サンプルｘｉについて量子化後に添加されるノイズである。サブサンプリングが適用されない場合、復号化器側での再形成クロミナンスチャネル信号は、Ｃ＿ｘ＝ｆ（Ｃ＿ｘ’）＝ＬＵＴ（ｘ＋ｎ）＊Ｃ＿ｘ’である。４：２：０サブサンプリングの場合、サブサンプリング中にｍ個の同一位置輝度サンプルが使用されると仮定すると、以下のように近似値で乗法ノイズを低減することが望ましいであろう。
【００９５】
【数１０】
0006609056.tif 000016
【００９６】
対数状の（例えばｌｏｇ２）関数が方程式（１０）に適用される場合、１／ｍを伴う対応演算を、ｍ＝４の場合に右シフトで計算することができるであろう。計算演算を簡単にするために、ＬＵＴ内のパラメータも２の倍数になるように設計することができる。
【００９７】
上記マテリアルでは、線形方程式によってモデル化された伝達関数のセグメントについて２つのパラメータ、二次方程式によってモデル化されたセグメントについて３つのパラメータ、および、三次方程式によってモデル化されたセグメントについて４つのパラメータを指定しているが、セグメントごとにシグナリングまたは指定するパラメータの数を、セグメントに課せられた条件に基づいて減少させ得ることが提案される。
【００９８】
区分関数ｆｉ（ｘ）についてのＭｉ次多項式は、Ｍｉ＋１個のパラメータａｉｊによって指定され、０≦ｊ≦Ｍｉである。しかし、制約が関数に課されている場合、独立パラメータの数を、制約の数によって減少させ得る。区分関数上の合理的制約の例は、全体的な関数が、内部セグメント境界（最初と最後の境界を除く）で連続であることを必要とすることである。別の制約は、（拡張）区分関数が、境界で同一の傾斜を有することを要求することであり得る。
【００９９】
二次（Ｍｉ＝２）である区分関数の例について、セグメント境界が連続するように制約される場合、１による区分関数でシグナリングされるパラメータの数を削減することができる。これを達成する１つの方法は、まずｉ＝０セグメント関数パラメータａ００、ａ０１、ａ０２、ｘ０およびｘ１をシグナリングすることである。しかし、ｉ＝１セグメントについては、以前のパラメータに基づいてａ１０がａ１０＝ｆ０（ｘ１）として計算することができるので、パラメータａ１１、ａ１２およびｘ２のみ、シグナリングされる必要がある。同様に、ｉ＝２セグメントについては、パラメータａ２１、ａ２２およびｘ３のみ、シグナリングされる必要があり、以下同様である。一般的に、ｉ番目のセグメント（ｉ≧１）について、ａｉ０をシグナリングする必要はないが、ａｉ０＝ｆｉ−１（ｘｉ）から計算することができる。
【０１００】
内部セグメント境界で連続的であるとともに滑らか（境界を横切って同じ傾き）である二次多項式セグメントの場合について、２による区分関数についてシグナリングするパラメータの数を削減することができる。１つの例では、ｉ＝０セグメント関数パラメータａ００、ａ０１、ａ０２、ｘ０およびｘ１が、まずシグナリングされる。ｉ＝１セグメントについては、以前のパラメータに基づいてａ１０がａ１０＝ｆ０（ｘ１）として計算することができ、ａ１１がａ１１＝ａ０１＋２ａ０２（ｘ１−ｘ０）として計算することができるので、パラメータａ１２およびｘ２のみ、シグナリングされる必要がある。一般的に、ｉ番目のセグメント（ｉ≧１）について、以下のようにａｉ０およびａｉ１を計算することができる。
【０１０１】
【数１１】
0006609056.tif 000017
【０１０２】
【数１２】
0006609056.tif 000018
【０１０３】
この場合についてのパラメータをシグナリングするための対応する例示的な構文は以下の表６に示され、構文に起因する例示的なメタデータ構造は、図８に示されている。
【０１０４】
【表６】
0006609056.tif 000019
【０１０５】
上述したように、より高次の多項式をセグメントについて使用することができる。例えば、Ｍｉ＋１パラメータで指定されるＭｉ次多項式について、２つの制約が課される場合（例えば、境界における連続性および傾き）、他の２つのパラメータは以前のセグメント上の制約から導くことができるので、第１のセグメントを除くすべてについてＭｉ−１個のパラメータのみ、シグナリングする必要がある。より高次の多項式によって、さらなる自由度を所望のＴＦに整合させることができる。セグメントについて境界で連続性または傾きの制約が課されていない場合には、多項式のすべてのパラメータを、セグメントについてシグナリングすることができる一方、境界制約を有する追加のセグメントについては、より少ないパラメータをシグナリングすることができる。他の例は、混合次数の多項式セグメントを含むことができ、課される制約が、シグナリングされるパラメータの数を減らす。また、ｉ＝０セグメントパラメータセットがまずシグナリングされた一方で、他の例では、他のパラメータがそこから計算される、異なるセグメントパラメータセットをシグナリングすることができる。別の例では、境界値ｘｉ（ピボット）を指定する代わりに、ｆ（ｘｉ）の値を代わりにシグナリングすることも可能である。これらの値およびパラメータは、計算演算を簡単にするために等間隔または２の倍数になるように選択することができる。
【０１０６】
図８は、表６に示す構文を使用して生成され得る例示的なメタデータ構造を示す。すべての方程式が二次であると仮定され、より少ない係数が入力されていることを除き、この構造は、図７Ａに示す構造と同様である。ブロック８０２、８０４および８０６に示すように、３つの係数が第１のセグメントについて指定されている。しかし、第２および第３のセグメントについては、最後の係数（ブロック８０８および８１０において係数２）のみが指定されている。これは、係数０および１が共通のピボットポイントで以前のセグメントのエンドポイントと傾きとから計算され得るからである。
【０１０７】
上記において、例を、特定のデバイス、装置、システム、構文および／または方法に関連して説明してきたが、この説明は単なる例としてなされたのであって、限定としてではないことが明らかに理解されるであろう。特定の実施形態は、例えば、命令実行システム、装置、システムまたはマシンによる使用またはそれと関連しての使用のための非一時的なコンピュータ可読記憶媒体に実装され得る。コンピュータ可読記憶媒体は、特定の実施形態によって説明したように、方法を実行するかまたはメタデータ構造を保持するためにコンピュータシステムを制御するための命令を含む。１つ以上のコンピュータプロセッサによって実行されると、命令は、特定の実施形態に記載されているものを実行するように動作可能であり得る。
【０１０８】
特許請求の範囲で使用される場合、単語「含む（ｃｏｍｐｒｉｓｅ）」またはその派生語は、特許請求の範囲に記載の構造または方法における他の要素またはステップの存在を除外することを意図していない、非排他的な意味で使用されている。本明細書の説明においておよび以下の特許請求の範囲を通して使用される際に、文脈が別様に明確に指示しない限り、「１つの（ａ、ａｎ）」および「該、前記（ｔｈｅ）」は複数への言及を含む。また、本明細書の説明においておよび以下の特許請求の範囲を通して使用される際に、文脈が別様に明確に指示しない限り、「において、における、内の、内に、（ｉｎ）」の意味は、「において、における、内の、内に、（ｉｎ）」および「の上の、の上で（ｏｎ）」を含む。
【０１０９】
上記の説明は、特定の実施形態の態様を実装し得る方法の例とともに種々の実施形態を示しており、以下の特許請求の範囲によって定義されるように特定の実施形態の柔軟性および利点を説明するために提示され、これらの実施形態のみであると見なされるべきではない。当業者は、上記開示および以下の特許請求の範囲に基づいて、特許請求の範囲によって定義されるその範囲から逸脱することなく、他の構成、実施形態、実施態様および均等物を採用し得ることを理解するであろう。したがって、明細書および図面は、限定的な意味ではなく例示として捉えられるべきであり、全てのこのような変形は、特許請求の範囲内に含まれることが意図されている。利益、利点、課題の解決策、および、任意の利益、利点または解決策をより顕著に生起または発生させ得る（１つもしくは複数の）任意の要素は、特許請求の範囲のいずれかまたはすべての重要な、必要な、または必須の特徴または要素として解釈されるべきではない。本発明は、本出願の係属中に行われる任意の補正および発行時のそれらの特許請求の範囲のすべての均等物を含む、添付の特許請求の範囲によってのみ定義される。
【図１】
0006609056.tif 000020
【図２Ａ】
0006609056.tif 000021
【図２Ｂ】
0006609056.tif 000022
【図３Ａ】
0006609056.tif 000023
【図３Ｂ】
0006609056.tif 000024
【図４】
0006609056.tif 000025
【図５】
0006609056.tif 000026
【図６Ａ】
0006609056.tif 000027
【図６Ｂ】
0006609056.tif 000028
【図７Ａ】
0006609056.tif 000029
【図７Ｂ】
0006609056.tif 000030
【図７Ｃ】
0006609056.tif 000031
【図８】
0006609056.tif 000032