(57)【要約】  いくつかの実施形態において、第１の画像を含む第１のダイナミックレンジにおける画像群を有する入力映像ストリームを受信する、エンコーダデバイスを開示する。デバイスは、第１の画像を表現する第２の画像を受信する。デバイスは、第１および第２の画像についての統計データを取得する。デバイスは、第１の時間遅延にて、入力映像ストリームからシーンカットデータを決定し、シーンカットデータを第１のスライディングウィンドウに格納する。デバイスは、第２の時間遅延にて、第２のスライディングウィンドウおよび決定されたシーンカットデータに基づき、第１の平滑化マッピング関数を決定する。デバイスは、第３の時間遅延にて、第３のスライディングウィンドウおよび決定されたシーンカットデータに基づき、第２の平滑化マッピング関数を決定する。デバイスは、第３の時間遅延にて、第１および第２の平滑化マッピング関数に基づき、第１の画像についてのコンポーザメタデータを生成する。
2021510885.tif 000002
【特許請求の範囲】
【請求項１】
処理システムを用いるルマおよび／またはクロマ再構成メタデータ生成の方法であって、
第１の画像を含む第１のダイナミックレンジにおける画像群を有する入力映像ストリームを受信する工程と、
前記入力映像ストリームの前記第１の画像を表現する第２の画像を受信する工程であって、前記第２の画像は第２のダイナミックレンジを有し、前記第２のダイナミックレンジは前記第１のダイナミックレンジよりも高い、工程と、
前記第１および前記第２の画像についての統計データを取得し、前記統計データをバッファに格納する工程であって、前記取得された統計データは、前記第１および第２の画像についての輝度および色差の統計を含む、工程と、
第１の時間遅延にて、前記第１の画像と、前記入力映像ストリーム中で時間的に前記第１の画像より後の１つ以上の先読み画像と、前記入力映像ストリーム中で時間的に前記第１の画像より前の１つ以上の後読み画像と、を含む第１のスライディングウィンドウにおいて、前記統計データに基づきシーンカットデータを決定する工程と、
第２の時間遅延にて、第２のスライディングウィンドウにおいて、前記統計データおよび決定されたシーンカットデータに基づき、前記第１の画像の輝度値を前記第１のダイナミックレンジから前記第２のダイナミックレンジへマッピングするための第１のマッピング関数を決定する工程と、
第３の時間遅延にて、第３のスライディングウィンドウにおいて、前記第１のマッピング関数および前記決定されたシーンカットデータに基づき、前記第１のマッピング関数に平滑化演算を行うことにより、第２のマッピング関数を決定する工程と、
前記第３の時間遅延にて、前記第３のスライディングウィンドウにおいて、前記統計データおよび前記決定されたシーンカットデータに基づき、前記第１の画像のクロマ値を前記第１のダイナミックレンジから前記第２のダイナミックレンジへマッピングするための第３のマッピング関数を決定する工程と、
前記第３の時間遅延にて、前記第２および前記第３のマッピング関数に基づき、前記第１の画像についてのコンポーザメタデータを生成する工程であって、前記生成されたコンポーザメタデータは、表示の際に前記第１の画像を前記第１のダイナミックレンジから前記第２のダイナミックレンジへマッピングするためにターゲットディスプレイデバイスによって使用されるものである、工程と、
を包含する方法。
【請求項２】
前記処理システムはリニアエンコーダであり、前記リニアエンコーダは、入力フレームと、対応するコンポーザメタデータとの間に、設定可能な時間遅延を有する、請求項１に記載の方法。
【請求項３】
前記第１、第２、および第３のスライディングウィンドウの各々は、時間をかけて前記入力映像ストリームの連続部分を受け取るバッファであり、前記部分の各々は、１組の連続する画像についてのデータを格納し、前記バッファが時間をかけて前記入力映像ストリーム上をスライドするようなものとなっている、先行請求項のいずれかに記載の方法。
【請求項４】
前記第１、第２、および第３のスライディングウィンドウは、設定可能なバッファ長を有するリングメモリバッファとして実装される、先行請求項のいずれかに記載の方法。
【請求項５】
前記統計データは、設定可能なバッファ長を有する統計リングバッファにおいて取得され、前記バッファ長は、前記第１、第２、および第３のスライディングウィンドウの前記バッファ長に基づき設定される、請求項４に記載の方法。
【請求項６】
前記第２のスライディングウィンドウを実装する前記リングメモリバッファは、前記第１および第２の画像のヒストグラム統計を格納し、前記ヒストグラム統計は、それぞれ前記第１または前記第２の画像の画素に対する符号語を代表する１つ以上のビンを含む、請求項４に記載の方法。
【請求項７】
前記ヒストグラム統計は、それぞれ前記第１または前記第２の画像の画素に対する前記符号語を所定の個数のオーバーラップしないビンに分割することにより、ダウンサンプリングされる、請求項９に記載の方法。
【請求項８】
前記第１のマッピング関数を決定する工程は、第１および第２の累積ヒストグラムに基づき輝度マッピング関数を決定することを含み、前記第１および前記第２の累積ヒストグラムは、それぞれ前記第１および第２の画像の輝度統計から算出される、先行請求項のいずれかに記載の方法。
【請求項９】
前記第２のマッピング関数は、逆方向再構成ルックアップテーブル（ＢＬＵＴ）である、請求項９に記載の方法。
【請求項１０】
異なるウィンドウ長の１つ以上の平滑化ウィンドウを用いて、前記検出されたシーンカットデータに基づき、前記第１のマッピング関数に平滑化演算を行う工程をさらに含む、請求項１０に記載の方法。
【請求項１１】
前記コンポーザメタデータを生成するために、前記第２のマッピング関数を区分的多項式の係数に変換する工程をさらに含む、請求項１０または請求項１１に記載の方法。
【請求項１２】
前記第３のマッピング関数を決定する工程は、最小二乗問題を解くことにより、前記第１および前記第２の画像の画素のクロマ統計に基づき多変量重回帰（ＭＭＲ）行列係数を算出することを含む、先行請求項のいずれかに記載の方法。
【請求項１３】
ディスプレイマネジメントシステムにより実行されるとき請求項１〜１３のいずれかに記載の方法を前記システムに実行させる命令を格納した、非一時的な機械可読媒体。
【請求項１４】
請求項１〜１３のいずれかに記載の方法を実行するように構成されたメモリおよび処理システムを備える、ディスプレイマネジメントシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願への相互参照
本願は、２０１８年２月２８日付け出願の米国仮特許出願第６２／６３６，３８８号および２０１８年２月２８日付け出願の欧州特許出願第１８１５９０５５．５号に基づく優先権を主張するものであり、各出願の開示内容を全て本願に援用する。
【０００２】
技術分野
本開示は、広く画像／映像に関する。より詳細には、本開示は、画像／映像処理のためのリニアエンコーダに関する。
【背景技術】
【０００３】
背景
本明細書において、用語「ダイナミックレンジ」（ＤＲ）は、人間の視覚システム（ＨＶＳ）が画像においてある範囲の強度（例えば、輝度、ルマ）（例えば、最暗の黒（暗部）から最明の白（ハイライト）まで）を知覚する能力に関連し得る。この意味では、ＤＲはシーン−リファード（ｓｃｅｎｅ−ｒｅｆｅｒｒｅｄ）の強度に関する。ＤＲはまた、ディスプレイデバイスが特定の幅を有する強度範囲を妥当にまたは近似的に描画する能力にも関連し得る。この意味では、ＤＲは、ディスプレイ−リファード（ｄｉｓｐｌａｙ−ｒｅｆｅｒｒｅｄ）の強度に関する。本明細書中の任意の箇所において、ある特定の意味が特に明示的に指定されている場合を除いて、この用語はどちらの意味としても（例えば、区別なく）使用できるものとする。
【０００４】
本明細書において、ハイダイナミックレンジ（ＨＤＲ）という用語は、人間の視覚システム（ＨＶＳ）において１４〜１５桁ほど以上にわたるＤＲ幅に関する。実際において、人間が広範囲の強度範囲を同時に知覚し得るＤＲは、ＨＤＲに対して幾分端折られ得る。本明細書において、エンハンストダイナミックレンジ（ＥＤＲ）または視覚ダイナミックレンジ（ＶＤＲ）という用語は、個別にまたは区別なく、人間の視覚システム（ＨＶＳ）（眼球運動を含み、シーンまたは画像にわたってある程度の明順応変化を可能にする）が、あるシーンまたは画像中において知覚可能なＤＲに関する。本明細書において、ＥＤＲは、５〜６桁にわたるＤＲに関連し得る。従って、真のシーンリファードのＨＤＲに対しては幾分狭いものの、ＥＤＲは広いＤＲ幅を表し、ＨＤＲとも呼ばれ得る。本明細書において、「ｉＤＭ」（逆ディスプレイマッピング化信号（ｉｎｖｅｒｓｅ  ｄｉｓｐｌａｙ−ｍａｐｐｅｄ  ｓｉｇｎａｌ）の略）という用語もまた、入力スタンダードダイナミックレンジ（ＳＤＲ）信号に基づき生成されたＥＤＲまたはＨＤＲ信号のことを指すことがある。
【０００５】
実際において、画像は１つ以上の色成分（例えばルマＹおよびクロマＣｂおよびＣｒ）を有しており、各色成分は、画素あたりｎビットの精度（例えばｎ＝８またはｎ＝１０）で表される。例えば、線形輝度符号化（ｌｉｎｅａｒ  ｌｕｍｉｎａｎｃｅ  ｃｏｄｉｎｇ）を用いた場合、ｎ≦８の画像（例えばカラー２４ビットＪＰＥＧ画像）または時折ｎ≦１０の画像はスタンダードダイナミックレンジとされ、ｎ＞８の画像はエンハンストダイナミックレンジの画像とされる。
【０００６】
あるディスプレイについての基準（ｒｅｆｅｒｅｎｃｅ）電気光学伝達関数（ＥＯＴＦ）は、入力映像信号の明度（ｃｏｌｏｒ  ｖａｌｕｅｓ）（例えば輝度）からそのディスプレイによって生成される出力スクリーン明度（例えばスクリーン輝度）への関係を特徴づける。例えば、その開示内容を全て本願に援用するＩＴＵ  Ｒｅｃ．ＩＴＵ−Ｒ  ＢＴ．  １８８６、「Ｒｅｆｅｒｅｎｃｅ  ｅｌｅｃｔｒｏ−ｏｐｔｉｃａｌ  ｔｒａｎｓｆｅｒ  ｆｕｎｃｔｉｏｎ  ｆｏｒ  ｆｌａｔ  ｐａｎｅｌ  ｄｉｓｐｌａｙｓ  ｕｓｅｄ  ｉｎ  ＨＤＴＶ  ｓｔｕｄｉｏ  ｐｒｏｄｕｃｔｉｏｎ」（Ｍａｒｃｈ  ２０１１）では、陰極線管（ＣＲＴ）の測定された特性に基づいて、フラットパネルディスプレイについての基準ＥＯＴＦを定義している。ある映像ストリームが与えられたとき、そのＥＯＴＦに関する情報は、典型的にはメタデータとしてビットストリーム中に埋め込まれる。本明細書において、「メタデータ」の語は、符号化ビットストリームの一部として送信され、デコーダが復号化画像を描画することを助ける、任意の補助的情報に関する。そのようなメタデータは、本明細書に記載の、色空間または色域情報、リファレンスディスプレイパラメータ、および補助的な信号パラメータ、ならびにその他のタイプのメタデータを含むが、これらに限定されない。
【０００７】
ほとんどのコンシューマー用デスクトップディスプレイは現在、２００〜３００ｃｄ／ｍ２またはニトの輝度をサポートしている。ほとんどのコンシューマー用ＨＤＴＶは３００〜５００ニトの範囲であるが、新しいモデルは１０００ニト（ｃｄ／ｍ２）に達する。このようなディスプレイはしたがって、ＨＤＲやＥＤＲに対し、より低いダイナミックレンジ（ＬＤＲ）（またはスタンダードダイナミックレンジ（ＳＤＲ）とも呼ばれる）の典型例となる。ＨＤＲコンテンツはより高いダイナミックレンジ（例えば１，０００ニトから５，０００ニト以上）をサポートするＨＤＲディスプレイ上に表示されることがある。そのようなディスプレイは、高輝度能力（例えば０から１０，０００ニトなど）をサポートする代替的なＥＯＴＦを用いて定義され得る。そのようなＥＯＴＦの一例が、その開示内容を全て本願に援用するＳＭＰＴＥ  ＳＴ  ２０８４：２０１４「Ｈｉｇｈ  Ｄｙｎａｍｉｃ  Ｒａｎｇｅ  ＥＯＴＦ  ｏｆ  Ｍａｓｔｅｒｉｎｇ  Ｒｅｆｅｒｅｎｃｅ  Ｄｉｓｐｌａｙｓ」に定義されている。一般的に、限定しないが、本開示の方法はＳＤＲよりも高い任意のダイナミックレンジに関連する。
【発明の概要】
【０００８】
発明の概要
発明の第１の態様は、処理システムを用いるルマおよび／またはクロマ再構成メタデータ生成の方法に関する。方法は、第１の画像を含む第１のダイナミックレンジにおける画像群を有する入力映像ストリームを受信する工程と、入力映像ストリームの第１の画像を表現する第２の画像を受信する工程であって、第２の画像は第２のダイナミックレンジを有し、第２のダイナミックレンジは第１のダイナミックレンジよりも高い、工程と、第１および第２の画像についての統計データを取得する工程であって、取得された統計データは第１および第２の画像についての輝度および色差の統計を含む、工程と、統計データをバッファに格納する工程と、を包含する。方法はさらに、第１の時間遅延にて、第１の画像と、入力映像ストリーム中で時間的に第１の画像より後の１つ以上の先読み（ｌｏｏｋ  ａｈｅａｄ）画像と、入力映像ストリーム中で時間的に第１の画像より前の１つ以上の後読み（ｌｏｏｋ  ｂａｃｋ）画像とを含む第１のスライディングウィンドウ（Ｌ３）において、統計データに基づきシーンカットデータを決定する工程と、第２の時間遅延にて、第２のスライディングウィンドウ（Ｌ２）において、統計データおよび決定されたシーンカットデータに基づき、第１の画像の輝度値を第１のダイナミックレンジから第２のダイナミックレンジへマッピングするための第１のマッピング関数を決定する工程と、第３の時間遅延にて、第３のスライディングウィンドウ（Ｌ１）において、第１のマッピング関数および決定されたシーンカットデータに基づき第１のマッピング関数に対して平滑化演算（ｓｍｏｏｔｈｉｎｇ  ｏｐｅｒａｔｉｏｎ）を行うことにより、第２のマッピング関数を決定する工程と、第３の時間遅延にて、第３のスライディングウィンドウ（Ｌ１）において、統計データおよび決定されたシーンカットデータに基づき、第１の画像のクロマ値を第１のダイナミックレンジから第２のダイナミックレンジへマッピングするための第３のマッピング関数を決定する工程と、第３の時間遅延にて、第２および第３のマッピング関数に基づき、第１の画像についてのコンポーザメタデータを生成する工程であって、生成されたコンポーザメタデータは、表示の際に第１の画像を第１のダイナミックレンジから第２のダイナミックレンジへマッピングするためにターゲットディスプレイデバイスによって使用されるものである、工程と、を包含する。
【０００９】
「スライディングウィンドウ」とは、基本的に１組の画像フレームを指し、このようなスライディングウィンドウにおいて、画像の統計データに基づき様々な処理ステップが実行される。具体的には、第１のスライディングウィンドウ（Ｌ３）は、第１の時間遅延における第１の画像と、入力映像ストリーム中で時間的に第１の画像より後の１つ以上の先読み画像と、入力映像ストリーム中で時間的に第１の画像より前の１つ以上の後読み画像と、を含む。第２のスライディングウィンドウ（Ｌ２）は、第２の時間遅延における第２の画像と、入力映像ストリーム中で時間的に第２の画像より後の１つ以上の先読み画像と、入力映像ストリーム中で時間的に第２の画像より前の１つ以上の後読み画像と、を含む。第３のスライディングウィンドウ（Ｌ１）は、第３の時間遅延における第３の画像と、入力映像ストリーム中で時間的に第３の画像より後の１つ以上の先読み画像と、入力映像ストリーム中で時間的に第３の画像より前の１つ以上の後読み画像と、を含む。
【００１０】
各スライディングウィンドウは、先行のスライディングウィンドウによって生成された出力を格納するために、リングメモリバッファとして実装され得る。リングメモリバッファは常に、ちょうど１「ウィンドウ」分の（ａ  “ｗｉｎｄｏｗ”  ｏｆ）出力データの連続ストリームを含むことになる。
【００１１】
「時間遅延」とは、フレームベースの時間スケールにおける遅れを指し、データ従属性（ｄａｔａ−ｄｅｐｅｎｄｅｎｃｙ）に関連することに留意されたい。連続する演算を含むいくつかの演算が１タイムフレームにおいて行われてもよく、いくつかのフレームが次の「時間遅延」の前に処理される。実際には、次の時間遅延は、前の演算が完了され得るようなものとして特異的に選択される。具体的には、必要とされる時間遅延は、最低でも特定のスライディングウィンドウにおける「先読み」フレームの枚数に等しくなければならない。
【００１２】
ある時間遅延における処理は、以前の時間遅延における処理の結果に少なくとも部分的に基づき得る。例えば、第２および第３の時間遅延における（第２および第３のスライディングウィンドウを用いる）処理は、第１の時間遅延において第１のスライディングウィンドウを用いて決定されたシーンカットデータに基づくことができる。このようなシーンカットデータを使用することにより、より小さい「サブウィンドウ」を規定して、この、より小さいウィンドウにおける画像のデータを当該処理に用いるようにすることが可能である。
【図面の簡単な説明】
【００１３】
図面の簡単な説明
同様の部材に同様の参照符号を付した添付図面の各図において、本発明の実施形態を限定する事なく例示する。
【００１４】
【図１】図１は、ある実施形態による、再構成技術を用いるデータ符号化および復号化のプロセス例を示している。
【図２】図２は、ある実施形態による、符号化のプロセス例を示している。
【図３】図３は、ある実施形態による、リファレンスＥＤＲを用いるまたは用いない符号化のプロセス例を示している。
【図４】図４は、ある実施形態による、リニアエンコーディングのための、３レベルのスライディングウィンドウフレームワークのアーキテクチャ例を示している。
【図５Ａ】図５Ａは、いくつかの実施形態による、図４における３レベルのスライディングウィンドウフレームワークのプロセス例を示している。
【図５Ｂ】図５Ｂは、いくつかの実施形態による、図４における３レベルのスライディングウィンドウフレームワークのプロセス例を示している。
【図６】図６は、ある実施形態による、図５Ａ〜５Ｂの３レベルのスライディングウィンドウフレームワークにおけるリングバッファ構造の例を示している。
【図７】図７は、１つ以上の実施形態による、方法を示すフローチャートである。
【図８】図８は、ある実施形態による、リファレンスＥＤＲを用いるエンコーダ例のブロック図を示している。
【図９】図９は、１つ以上の実施形態による、方法を示すフローチャートである。
【図１０】図１０は、１つ以上の実施形態による、方法を示すフローチャートである。
【図１１】図１１は、ある実施形態による、リファレンスＥＤＲを用いないエンコーダ例のブロック図を示している。
【図１２】図１２は、１つ以上の実施形態による、方法を示すフローチャートである。
【図１３】図１３は、ある実施形態による、ＤＭスライディングウィンドウを用いてＤＭ統計を推定するプロセスの一例を示している。
【図１４】図１４は、本明細書に記載の１つ以上の実施形態を実装または実行するために使用されることが可能な、データ処理システムの一例を示している。
【発明を実施するための形態】
【００１５】
実施形態例の説明
発明の様々な実施形態および態様を、以下に説明される詳細に関して記述し、付随の図面により、これらの様々な実施形態を例示する。以下に続く説明および図面は、発明を例示するものであり、発明を限定するように解釈されるべきではない。本発明の様々な実施形態を完全に理解できるように、数々の具体的な詳細を述べる。但し、いくつかの例において、本発明の実施形態の簡潔な説明を与えるために、周知のまたは従来的な細部については述べない。
【００１６】
本明細書において「一実施形態」または「ある実施形態」と述べるとき、その実施形態とともに説明される特定の要素、構造、または特徴は、発明の少なくとも１つの実施形態に含まれ得ることが意味される。本明細書の様々な箇所に「一実施形態において」という語句が現れるとき、必ずしもその全てが同一の実施形態を指しているとは限らない。以下の図に表すプロセスは、ハードウェア（例えば、回路、専用論理回路など）、ソフトウェア、または両方の組み合わせを含む、処理ロジックにより実行される。これらのプロセスを、いくつかの逐次的な演算という観点から以下に説明するが、説明された演算のいくつかは、異なる順序で実行されてもよいものと理解されたい。さらに、いくつかの演算は、逐次的ではなく並行的に実行されてもよい。
【００１７】
本明細書において、用語「ＰＤＦ」は確率分布関数を指す。「ＣＤＦ」は累積分布関数を指す。ＳＤＲまたはＨＤＲヒストグラムを、それぞれＳＤＲまたはＨＤＲ画像の１つ以上における符号語の分布に基づき構築することができ、このヒストグラムにより、ＰＤＦが表現され得る。「符号語」は、カラー画素またはグレースケール画素を表すビット情報のシーケンスを指す。例えば、「００００００００」は８ビット符号語における画素色の黒を表現し得る。「符号語ビン」または「ビン」は、符号語の所定のシーケンスまたは組における、特定の符号語を指す。本明細書において、用語「ＰＱ」は知覚的な輝度振幅（ｌｕｍｉｎａｎｃｅ  ａｍｐｌｉｔｕｄｅ）の量子化を指す。人間の視覚システムは、光レベルの増大に対して非常に非線形的に反応する。人間が刺激を見る能力は、その刺激の輝度、その刺激の大きさ、その刺激を構成する空間周波数、および、その刺激を見ている瞬間までに目が適応した輝度レベルに影響される。一実施形態において、知覚的量子化器関数は、線形入力グレイレベルを、人間の視覚システムにおけるコントラスト感度閾値によりマッチした出力グレイレベルにマッピングする。ＰＱマッピング関数の一例が、その開示内容を全て本願に援用する、ＳＭＰＴＥ  ＳＴ  ２０８４：２０１４「Ｈｉｇｈ  Ｄｙｎａｍｉｃ  Ｒａｎｇｅ  ＥＯＴＦ  ｏｆ  Ｍａｓｔｅｒｉｎｇ  Ｒｅｆｅｒｅｎｃｅ  Ｄｉｓｐｌａｙｓ」に記載されている。ここでは、ある固定刺激サイズに対して、それぞれの輝度レベル（即ち、刺激レベル）について、最高感度の適応レベルおよび最高感度の空間周波数（ＨＶＳモデルによる）に応じて、その輝度レベルにおける最小可視コントラストステップを選択する。物理的な陰極線管（ＣＲＴ）装置の応答曲線を表しており、人間の視覚システムの応答の仕方に対して非常に大まかな類似性を偶然有し得る従来のガンマ曲線と比較して、ＰＱ曲線は、比較的シンプルな関数モデルを用いながら人間の視覚システムの本当の視覚応答を模擬している。
【００１８】
例えば、ＳＭＰＴＥ  ＳＴ  ２０８４によれば、１ｃｄ／ｍ２において、１つの１２ビット符号値または符号語は約０．００４８ｃｄ／ｍ２の相対変化に相当する。しかし、１，０００ｃｄ／ｍ２においては、１つの１２ビット符号値または符号語は約２．２４ｃｄ／ｍ２の相対変化に相当する。この非線形的量子化は、人間の視覚システム（ＨＶＳ）の非線形的なコントラスト感度に対応するために必要である。
【００１９】
いくつかの実施形態により、ルマおよびクロマ成分におけるＳＤＲからＨＤＲへの変換マッピングを規定するメタデータを生成するための、リニアエンコーダを開示する。一実施形態において、システムが入力映像ストリームを受信する。システムは、第１のバッファ中に、入力映像ストリームの第１組の連続部分についての統計データを、時間をかけて格納する。第１のバッファは、各連続部分につき、コンテンツにおけるあるシーンの終了とコンテンツにおける次のシーンの開始とを示すデータなどの、シーンカットデータを表す出力を提供することになる。システムは、第２のバッファ中に、入力映像ストリームの第２組の連続部分についての統計データを、時間をかけて格納する。第２のバッファは、第１のバッファから提供された各出力を受け取る。第２のバッファは、各連続部分につき、輝度マッピング値を表す出力を提供することになる。システムは、第３のバッファ中に、入力映像ストリームの第３組の連続部分についての統計データを、時間をかけて格納する。第３のバッファは、第２のバッファから提供された各出力を受け取る。第３のバッファは、各連続部分につき、クロママッピング値を表す出力を提供することになる。システムは、対応付けられた輝度マッピング値および対応付けられたクロママッピング値に基づき、入力映像ストリームにおける第１の画像についてのメタデータを生成する。メタデータは、ターゲットディスプレイにより使用されて、第１の画像に基づくが第１の画像よりも高いダイナミックレンジを有する、第２の画像を生成することになる。
【００２０】
いくつかの実施形態により、ＥＤＲリファレンスを用いてルマおよびクロマ成分におけるＳＤＲからＨＤＲへの変換マッピングを規定するメタデータを生成するための、リニアエンコーダを開示する。一実施形態において、システムが、第１の画像を含む第１のダイナミックレンジにおける画像群を有する入力映像ストリームを受信する。システムは、入力映像ストリームの第１の画像を表現する第２の画像を受信する。第２の画像は第２のダイナミックレンジを有し、第２のダイナミックレンジは第１のダイナミックレンジよりも高い。システムは、第１および第２の画像についての統計データを取得する。システムは、第１の時間遅延にて、入力映像ストリーム中の画像群を表現するデータからシーンカットデータを決定し、シーンカットデータを第１のスライディングウィンドウに格納する。シーンカットデータは、第１の画像の統計データと、入力映像ストリーム中で時間的に第１の画像より後の１つ以上の先読み画像の統計データと、入力映像ストリーム中で時間的に第１の画像より前の１つ以上の後読み画像の統計データとに基づき、決定される。システムは、第２の時間遅延にて、第２のスライディングウィンドウおよび決定されたシーンカットデータに基づき、第１の画像の輝度値を第１のダイナミックレンジから第２のダイナミックレンジへマッピングするための第１のマッピング関数を決定する。システムは、第３の時間遅延にて、第３のスライディングウィンドウおよび決定されたシーンカットデータに基づき、第１の画像のクロマ値を第１のダイナミックレンジから第２のダイナミックレンジへマッピングするための第２のマッピング関数を決定する。システムは、第３の時間遅延にて、第１および第２のマッピング関数に基づき、第１の画像についてのコンポーザメタデータを生成する。生成されたコンポーザメタデータは、表示の際に第１の画像を第１のダイナミックレンジから第２のダイナミックレンジへマッピングするためにターゲットディスプレイデバイスによって使用される。
【００２１】
いくつかの実施形態により、３次元（３Ｄ）マッピング統計を用いてルマおよびクロマ成分におけるＳＤＲからＨＤＲへの変換マッピングを規定するメタデータを生成するための、リニアエンコーダを開示する。一実施形態において、システムが、第１のダイナミックレンジにおける第１の画像を含む、１組の画像を有する入力映像ストリームを受信する。システムは、第１のダイナミックレンジにおける第１の画像と、第１の画像に対応する第２のダイナミックレンジにおける第２の画像と、についての３Ｄマッピング統計を生成する。ここで、第２のダイナミックレンジは第１のダイナミックレンジよりも高い。システムは、３Ｄマッピング統計に基づき多変量重回帰（ｍｕｌｔｉｖａｒｉａｔｅ  ｍｕｌｔｉｐｌｅ  ｒｅｇｒｅｓｓｉｏｎ）（ＭＭＲ）統計を決定することにより、第１の画像に基づき第２の画像のクロマチャネル値を推定するためのクロママッピング関数を生成する。システムはコンポーザメタデータを生成する。コンポーザメタデータは、表示の際に第１の画像のクロマチャネルを第１のダイナミックレンジから第２のダイナミックレンジへマッピングするためにターゲットディスプレイデバイスによって使用されるものである、クロママッピング関数を含み得る。
【００２２】
いくつかの実施形態により、ＥＤＲリファレンスを用いずにルマおよびクロマ成分におけるＳＤＲからＨＤＲへの変換マッピングを規定するメタデータを生成するための、リニアエンコーダを開示する。一実施形態において、システムが、第１の画像を含む第１のダイナミックレンジにおける画像群を有する入力映像ストリームを受信する。システムは、入力映像ストリームの第１の画像についての統計データを取得する。ここで統計データは、第１の画像に由来する、画像に関連した１つ以上の特徴量を含む。システムは、第１の時間遅延にて、第１の画像の統計データと、入力映像ストリーム中で時間的に第１の画像より後の１つ以上の先読み画像の統計データと、入力映像ストリーム中で時間的に第１の画像より前の１つ以上の後読み画像の統計データとに基づいて、入力映像ストリーム中の画像群を表現するデータからシーンカットデータを決定し、シーンカットデータを第１のスライディングウィンドウに格納する。システムは、第２の時間遅延にて、第２のスライディングウィンドウおよび機械学習モデルに基づき、第１の画像の輝度値を第１のダイナミックレンジから第２のダイナミックレンジへマッピングするための第１のマッピング関数を決定する。ここで、第２のダイナミックレンジは第１のダイナミックレンジよりも高い。システムは、第３の時間遅延にて、第１および第２のマッピング関数に基づき、第１の画像についてのコンポーザメタデータを生成する。ここで第２のマッピング関数は、機械学習モデルに基づき、第１の画像のクロマカラーチャネルを第１のダイナミックレンジから第２のダイナミックレンジへマッピングする。生成されたコンポーザメタデータをターゲットディスプレイデバイスが使用して、第２のダイナミックレンジにおいて第１の画像に対応する、第２の画像を表示する。
【００２３】
本明細書において、「再構成」という用語は、ＨＤＲ画像に対する前処理演算（例えば、スケーリング、量子化など）であって、画像を当初のビット深度からより低いまたは同一のビット深度の画像へとマッピングすることにより、既存の符号化規格およびデバイスを用いつつ、より効率的な符号化を可能にする演算を指す。「逆方向再構成」は、ＳＤＲからＨＤＲへのマッピングまたは前処理演算のことを表すために用いられる。本発明者らの理解によれば、多種多様なＳＤＲおよびＨＤＲディスプレイならびに／またはデコーダ機器の表示性能をサポートするために使用することが可能な、映像データを符号化および復号化するための改良技術が望まれる。
【００２４】
映像供給処理パイプラインの例
映像供給用のほとんどのデジタルインターフェース、例えばＳｅｒｉａｌ  Ｄｉｇｉｔａｌ  Ｉｎｔｅｒｆａｃｅ（ＳＤＩ）などは、現在、各成分につき画素あたり１２ビットに制限されている。さらに、圧縮規格、例えばＨ．２６４（またはＡＶＣ）およびＨ．２６５（またはＨＥＶＣ）などのほとんどの実用的な実装は、現在、各成分につき画素あたり１０ビットに制限されている。既存のインフラストラクチャおよび圧縮規格内において、約０．００１から１０，０００ｃｄ／ｍ２（またはニト）のダイナミックレンジを有するＨＤＲコンテンツをサポートするためには、効率的な符号化および／または量子化が必要である。さらに、ＳＤＲコンテンツをＨＤＲコンテンツに変換するためのメタデータを、各フレームにつき、オンザフライで生成するエンコーダが求められている。
【００２５】
図１は、ある実施形態による、ルマおよびクロマ再構成を用いるデータ符号化および復号化のプロセス例１００を表している。一実施形態の中で、エンコーダ１００−Ｅにおいて、映像シーケンスは、ハイダイナミックレンジ（ＥＤＲ、１０２）およびスタンダードダイナミックレンジ（ＳＤＲ、１０４）フォーマットの両方において利用可能であり得る。入力１０２は、ある特定のＥＯＴＦ（例えば、ガンマ、ＳＴ２０８４）に従って符号化されていてもよい。ある実施形態において、このＥＤＲシーケンス（本明細書中においてまたｉＤＭ  ＥＤＲとも呼ぶ）は、逆マッピング処理（ｉＤＭ）１４０を用いてＳＤＲシーケンスに基づき生成されてもよい。
【００２６】
入力ＥＤＲおよびＳＤＲ信号を与えられると、ルマ再構成１０５−Ａおよびクロマ再構成１０５−Ｂ処理を適用することにより、逆方向または逆再構成関数１２０のためのパラメータ１０８を生成し得る。パラメータ１０８は、デコーダにおいてＳＤＲ入力に適用されるとき、表示のためのＨＤＲ出力を生成することが可能である。
【００２７】
再構成１０５の後、当初の入力ＳＤＲ映像信号１０４は符号化ブロック１１０に引き渡されて、スマートフォンなどのハンドヘルドデバイス、テレビ受像機、セットトップボックス、映画館などの復号化および再生デバイスへと、下流に向けて供給されることになる。いくつかの実施形態において、符号化ブロック１１０は、符号化ビットストリーム１１２を生成するための、ＡＴＳＣ、ＤＶＢ、ＤＶＤ，ブルーレイおよびその他の供給フォーマットに規定されるような音声および映像エンコーダを含み得る。符号化データ１１２および逆方向再構成パラメータ１０８は、符号化ビットストリームへと多重化されることにより、格納または下流の復号化デバイスへ供給されることが可能である。
【００２８】
ある実施形態において、逆方向再構成パラメータ１０８は、静的予測係数または動的（非静的）予測係数（例えば機械学習の方法で生成されるなどの）を含み得る。これらの予測係数を受信器１００−Ｄ（例えば逆再構成関数１２０）が直接用いることにより、ＨＤＲ画像のＨＤＲ画素値の一部または全部を、ＳＤＲ画像１０４の対応するＳＤＲ画素値から予測することが可能である。
【００２９】
受信器１００−Ｄにおいて、符号化データ１１２を復号化ユニット１１５によって復号化することにより、ＳＤＲ信号１０４と同一またはこれに近い近似を表す、復号化信号１１７を生成することが可能である。
【００３０】
後方互換性を有するＳＤＲデコーダにおいて、復号化信号１１７は、ＳＤＲディスプレイ１３０へ直接に表示されてよい。ＨＤＲデコーダにおいて、復号化１１５に引き続き、復号化信号１１７は、受信された逆方向再構成パラメータ１０８を用いて生成される逆方向または逆再構成関数１２０により、処理され得る。逆再構成により、受信ＳＤＲ信号（例えばＳＤＲ信号１１７）を、ＨＤＲディスプレイ１２５へ表示されることになる、（より高い）ダイナミックレンジ信号１０２の近似に変換することが可能である。逆再構成は、別々の逆ルマ再構成１２０−Ａ関数と逆クロマ再構成１２０−Ｂ関数とを含んでもよい。再構成器１０５による変換次第では、逆再構成関数１２０はまた、逆トーンマッピング、色変換などのさらなる（逆）処理をも含むことがある。いくつかの実施形態において、逆方向または逆再構成関数１２０は、例えばＡＶＣまたはＨＥＶＣ映像デコーダにおける逆量子化器の一部として、デコーダ１１５における逆量子化器と統合されてもよい。いくつかの実施形態において、逆方向再構成パラメータ１０８についての情報は、メタデータ、ＳＥＩメッセージングなどを用いて下流デバイス（デコーダなど）へ通信され得る。
【００３１】
ルマおよびクロマ再構成ならびにコンポーザメタデータ
本明細書において、「コンポーザメタデータ」（ＣＭ）という用語は、ＥＤＲデータ（１２２）の復元（合成）をサポートするためにエンコーダ（１００−Ｅ）からデコーダ（１００−Ｄ）へと通信される、任意のメタデータを指す。このようなメタデータは、デコーダにおける逆または逆方向再構成（１２０）のために要求される、全ての逆方向再構成パラメータ（１０８）を含むことができる。
【００３２】
ｆＬ（Ｉ）は順方向ルマ再構成関数を表し、ｆＬ−１（Ｉ）は、デコーダＳＤＲデータ１１７のルマ成分に適用されるとき、推定ＥＤＲ出力１２２のルマ成分１２２＿Ｌを生成することが可能な、その逆関数を表すものとする。ある実施形態において、ｆＬ−１（Ｉ）関数は区分的な関数として通信されてもよい。このような関数は、ａ）ＳＤＲ入力における入力符号語の範囲をセグメントに分割する１組のピボットポイントと、ｂ）各セグメントにおける多項式の次数と、ｃ）各セグメントにおける多項式係数とにより、完全に表現されることが可能である。
【００３３】
ある実施形態において、クロマ再構成は、多変量重回帰（ＭＭＲ）予測器を使用して行われ得る。このようなＭＭＲ予測器の例は米国特許第８，８１１，４９０号に見出すことができ、この特許の開示内容を全て本願に援用する。このような予測器は逆方向再構成行列Ｍにより特徴付けられるものであり、この行列は、復号化ＳＤＲデータ１１７に適用されるとき、推定ＥＤＲ出力のクロマ成分１２２＿Ｃを生成する。
【００３４】
ゆえに、限定はせずに、ある実施形態においてコンポーザメタデータ１０８は、ｆＬ−１（Ｉ）のパラメトリックな表現と、逆方向再構成行列Ｍとを含み得る。コンポーザメタデータは、各シーケンスにつき１回、毎シーンにつき１回、各フレームにつき１回、またはフレームのクラスタもしくはグループにつき１回などの、異なるレベルの時間間隔で更新され得る。
【００３５】
いくつかの実施形態において、生成器１０５は、累積分布関数（ＣＤＦ）ベースのヒストグラム近似またはＣＤＦマッチングにより、メタデータまたは逆方向再構成パラメータを生成する。このようなＣＤＦマッチングの例は、米国仮特許出願シリアル番号第６２／３８５，３０７号、「Ｃｏｄｉｎｇ  ｏｆ  Ｈｉｇｈ  Ｄｙｎａｍｉｃ  Ｒａｎｇｅ  Ｖｉｄｅｏ  Ｕｓｉｎｇ  Ｓｅｇｍｅｎｔ−Ｂａｓｅｄ  Ｒｅｓｈａｐｉｎｇ」に見出すことができ、この出願の開示内容を全て本願に援用する。
【００３６】
一実施形態において、逆方向再構成関数（またはパラメータ）は、逆方向再構成ルックアップテーブル（ＢＬＵＴ）を含む。いくつかの実施形態において、逆方向再構成関数｛Ｔｊ，ｂ｝を規定または指定する逆方向再構成データ（例えば、解析関数、非解析関数、ルックアップテーブル、シーケンスなど）は、ＳＤＲ画像とともに下流デバイスへ供給される、画像メタデータの一部として包含され得る。
【００３７】
いくつかの実施形態において、２次の区分的多項式を使用することにより、ルマチャネルについての逆方向再構成関数｛Ｔｊ，ｂ｝を表現してもよい。いくつかの実施形態において、逆方向再構成メタデータは、多項式区分の集合を規定する多項式係数、ピボット、オフセットなどを含み、このメタデータは、ＳＤＲ画像とともに下流デバイスへと供給される、画像メタデータの一部として包含され得る。
【００３８】
ＳＤＲ画像と逆方向再構成パラメータまたはメタデータとを受信する下流デバイスは、逆方向再構成メタデータを用いることにより、シーン毎（メタデータがシーン毎の場合）または画像毎（メタデータが画像毎の場合）に逆方向再構成関数を決定または復元できる。その後、逆方向再構成関数をＳＤＲ画像に適用して、ＨＤＲ画像を復元することが可能である。
【００３９】
一実施形態において、各カラーチャネル（Ｉ、ＣＴ、またはＣｐ）は、単一チャネルの予測器によって近似されることができる。一実施形態において、各単一チャネル予測器は、特定のカラーチャネルのための対応する逆マッピング関数から導出されることが可能な、逆方向再構成ルックアップテーブル（ＢＬＵＴ）に対応する。逆マッピング関数または逆方向再構成関数は、図１の生成器１０５などの、逆方向再構成関数生成器によって生成されることができる。逆方向再構成ルックアップテーブルまたはマッピングテーブルは、ＳＤＲ符号語をＨＤＲ符号語にマッピングするＳＤＲ／ＨＤＲの対を含んでもよいし、またはその逆でもよい。一実施形態において、ルックアップテーブルまたはマッピングテーブルに基づき、メタデータが、ＳＤＲデータとともに下流のデコーダへ送信され得るようなものとして生成される。下流のデコーダは、メタデータおよび対応するＳＤＲ画像から、ＨＤＲ画像を復元することが可能である。ある別の実施形態において、逆方向再構成関数は、データベース中のピクチャサンプルの各カラーチャネルにおけるヒストグラムを集約することによって生成されてもよい。集約されたヒストグラムを、その後、ＣＤＦベースのヒストグラム近似のための入力ｉＤＭヒストグラムとして用いることにより、逆方向再構成関数を生成することが可能である。その後、これらの逆方向再構成関数から、メタデータを生成できる。このメタデータを対応するＳＤＲ画像（群）に適用することにより、ＨＤＲ画像を復元することが可能である。
【００４０】
リニアエンコーディング 
図２は、ある実施形態による、リニアエンコーディングのプロセス例を示している。リニアエンコーディングとは、一定のフィードイン（ｆｅｅｄ−ｉｎ）とフィードアウト（ｆｅｅｄ−ｏｕｔ）を伴いつつ符号化することを指す。リニアエンコーダは、入力データを受け入れるたびに出力データを供給することが可能である。リニアエンコーダは、時間をかけて入力データ全体を受け入れ、受け取った入力データ全体を格納および処理することにより、データ全体に対する出力を供給する符号化システムとは異なる。いくつかのシナリオにおいて、リニアエンコーダは、入力フレームと、対応する出力フレームとの間に、一定だが設定可能な遅延を有する。例えば、安定した動作状態において、リニアエンコーダは入力画像を受け入れると同時に、以前のタイムフレームからの別の入力画像に対するＲＰＵメタデータ（例えばコンポーザメタデータおよびＤＭメタデータ、ここでＤＭメタデータはターゲットディスプレイに固有の情報を含む）を出力することが可能である。一実施形態において、リニアエンコーダは、リアルタイムのライブ放送からリアルタイムの入力データフィードを受け取り、遅れた出力を提供することができる。
【００４１】
リニアエンコーディングは、「オンザフライ」の符号化を行うことにより、デコーダにおいてＳＤＲをＨＤＲ（またはＥＤＲ）に変換するための、リファレンスピクチャユニット（ＲＰＵ）（例えば逆方向再構成パラメータを含む）メタデータを生成することが可能である。リニアエンコーダは、予め格納されたまたはライブのスタンダードダイナミックレンジ（ＳＤＲ）映像コンテンツを符号化することができる。将来のピクチャ情報を利用可能な、シーンベースまたはセグメントベースのエンコーダとは異なり、リニアエンコーダは、少数の先読みフレームのみを有することができる。ＲＰＵ生成は、オンザフライでリニアエンコーダにより行われ、ＲＰＵは、受信器／デコーダへ送信される前にＳＤＲビットストリームとミックスされる。言い換えれば、リニアエンコーダは、ワンパス（ｏｎｅ−ｐａｓｓ）ソリューションであり得る。
【００４２】
図３は、ある実施形態による、リファレンスＥＤＲ画像を用いるまたは用いないリニアエンコーディングのプロセス例を表す。処理３００は、２つの演算モードを備える。いくつかの実施形態によると、リニアエンコーダ３０３は、「ＨＤＲリファレンス使用」（ｗｉｔｈ  ＨＤＲ  ｒｅｆｅｒｅｎｃｅ）モードまたは「ＨＤＲリファレンス不使用」（ｗｉｔｈｏｕｔ  ａｎ  ＨＤＲ  ｒｅｆｅｒｅｎｃｅ）モードにおいて演算を行うことが可能であり、入力３０１がＨＤＲリファレンス画像を含んでいるか、または入力３０１がヌル入力であるかに従って、演算モードが設定される。「ＨＤＲリファレンス使用」モードにおいては、入力ＳＤＲフレーム（または画像）３０２とこれに対応するリファレンスＨＤＲフレーム３０１とが一緒に、出力ＲＰＵメタデータ３０４を生成する。リファレンスＨＤＲコンテンツ３０１は、各入力ＳＤＲフレームにつき予め生成されてもよいし、または外部の逆ＤＭ（ＥｉＤＭ）モジュールを用いるなどしてオンザフライで生成されてもよい。生成された出力ＲＰＵメタデータ３０４は、ＳＤＲ入力３０２のルマおよびクロマ成分をＨＤＲコンテンツ３０１にマッピングするための、動的マッピングパラメータを含み得る。
【００４３】
「ＨＤＲリファレンス不使用」モードにおいては、入力ＳＤＲフレーム（または画像）３０２のみを用いて、出力ＲＰＵメタデータ３０４が生成される。生成された出力ＲＰＵメタデータ３０４は、ＳＤＲ入力３０２のルマ成分をＨＤＲコンテンツ３０１にマッピングするための動的マッピングパラメータと、ＳＤＲ入力３０２のクロマ成分をＨＤＲコンテンツ３０１にマッピングするための静的マッピングパラメータと、を含み得る。いくつかの実施形態において、出力ＲＰＵメタデータ３０４はディスプレイマネジメント（ＤＭ）メタデータを含むことができ、これをデコーダが解釈することにより、ＨＤＲコンテンツを特定のターゲットディスプレイにおいて表示することが可能である。
【００４４】
リニアエンコーディングアーキテクチャ
図４は、ある実施形態による、リニアエンコーディングのための、３レベルのスライディングウィンドウフレームワークのアーキテクチャ例を示している。アーキテクチャ４００は、「ＨＤＲリファレンス使用」モードと「ＨＤＲリファレンス不使用」モードの両方によって用いられ得る。いくつかの実施形態において、アーキテクチャ４００は、図４に示すＬ１、Ｌ２、およびＬ３ウィンドウなどの、１レベル以上のスライディングウィンドウ構造を備える。スライディングウィンドウ構造は、ＳＤＲ／ＨＤＲ入力フレーム（または画像）についてのフレームレベルの統計を格納するための、リングバッファ（またはキュー）データ記憶装置によって実装され得る。一実施形態において、新しいデータがスライディングウィンドウの任意のメモリバッファに挿入されるとき、スライディングウィンドウの当該メモリバッファにおける最も古いデータが置き換えられる。各スライディングウィンドウのデータは、次のレベルのスライディングウィンドウにおける統計データを算出するために、次のレベルのスライディングウィンドウに引き渡されることが可能である。例えば、図４を参照しつつ、アーキテクチャ４００は、Ｌ１、Ｌ２、およびＬ３ウィンドウを備える。アーキテクチャ４００が時刻ｔにおける新しい入力フレーム（例えば現入力フレーム）を受信すると、平均演算や重み付き線形／非線形演算などのスライディングウィンドウ演算を用いて、時刻ｔ−ｔ３におけるフレームについてのＬ３フレームレベル統計が算出される。ここで、ｔ３はＬ３ウィンドウに関連付けられた遅延を表す。この出力は、Ｌ２ウィンドウのための、時刻ｔ−ｔ３における統計データ（例えばＬ２ウィンドウへの入力）として用いられることになる。
【００４５】
Ｌ３ウィンドウからの出力は、Ｌ２ウィンドウへと挿入される。挿入されたＬ３出力データに基づき、時刻ｔ−ｔ２−ｔ３におけるＬ２フレームレベル統計が算出される。ここでｔ２はＬ２ウィンドウに関連付けられた遅延を表す。Ｌ２ウィンドウの出力は、Ｌ１ウィンドウのための、時刻ｔ−ｔ２−ｔ３における統計データ（例えばＬ１ウィンドウへの入力）として用いられることになる。
【００４６】
Ｌ２ウィンドウからの出力はＬ１ウィンドウへと挿入される。挿入されたＬ２ウィンドウデータに基づき、時刻ｔ−ｔ１−ｔ２−ｔ３におけるＬ１フレームレベル統計が算出される。ここで、ｔ１はＬ１ウィンドウに関連付けられた遅延を表す。この出力は、時刻ｔ−ｔ１−ｔ２−ｔ３における代表統計データ（例えば最終出力データ）として用いられることになる。出力データは、本３レベルのウィンドウアーキテクチャに基づき、総計ｔ１＋ｔ２＋ｔ３の時間遅延（ｌａｔｅｎｃｙ  ｄｅｌａｙ）を有するであろう。上述のように、Ｌ１、Ｌ２、およびＬ３ウィンドウは、新しいデータがいずれかのウィンドウに挿入されるとき、当該ウィンドウの最も古いデータが置換または廃棄（ｒｅｔｉｒｅｄ）されるような、リングバッファであり得る。このようにして、バッファの各々は、入力映像ストリームの連続部分についての統計データを時間をかけて格納し、連続部分に基づき次のバッファへ出力を提供することにより、しばらく後に最終出力データを生成する。
【００４７】
図５Ａは、ある実施形態による、図４における３レベルのスライディングウィンドウフレームワークのプロセス例を示している。処理５００は、図３のエンコーダ３０３などの、リニアエンコーダによって行われることが可能である。処理５００または処理ロジックは、オンザフライに、ワンフレームイン・ワンフレームアウト式（ｏｎｅ−ｆｒａｍｅ−ｉｎ  ｏｎｅ−ｆｒａｍｅ−ｏｕｔ  ｆａｓｈｉｏｎ）で、ＨＤＲリファレンスを用いてまたは用いずに、ＳＤＲフレームからＲＰＵ（コンポーザおよびＤＭ）メタデータを生成できる。一実施形態において、処理ロジックはフレーム処理のための４ステップを備える。ステップ１において、処理ロジックは、統計リングバッファ５０２の中に、時刻ｔにおける現入力フレーム５０１の統計を収集する。統計リングバッファ５０２は、過去（ｐｒｉｏｒ）フレームのリストについての統計データを格納することができる。ステップ２において、処理ロジックは、格納された統計データを用いて、第１のフレーム（時刻＝
【数１】
2021510885.tif 000003
におけるフレーム）に新しいシーンが含まれているかどうかを識別する、シーンカットデータを決定する。処理ロジックは、Ｌ３ウィンドウ５０３を用いてシーンカットデータを決定できる。Ｌ３ウィンドウ５０３は、時刻＝
【数２】
2021510885.tif 000004
における第１のフレームと、「先読み」フレームとしての
【数３】
2021510885.tif 000005
枚のフレームと、「後読み」フレームとしての
【数４】
2021510885.tif 000006
枚のフレームと、に対応し得る。シーンカットデータは、Ｌ２およびＬ１ウィンドウなどの後続のウィンドウにより、さらなるフレーム処理のために使用されることが可能である。
【００４８】
ステップ３において、処理ロジックは、ＣＤＦマッチング演算を行うことにより、第２のフレーム（時刻＝
【数５】
2021510885.tif 000007
におけるフレーム）についてルマチャネルのＢＬＵＴを生成する。さらに、第２のフレーム（時刻＝
【数６】
2021510885.tif 000008
におけるフレーム）に対応する、この生成されたＢＬＵＴに対し、Ｌ２ウィンドウ５０４を用いて平滑化演算が行われる。Ｌ２ウィンドウ５０４は、第２のフレーム（時刻＝
【数７】
2021510885.tif 000009
）と、「先読み」フレームとしての
【数８】
2021510885.tif 000010
枚のフレームと、「後読み」フレームとしての
【数９】
2021510885.tif 000011
枚のフレームと、に対応し得る。処理ロジックは、生成されたＢＬＵＴがＬ１ウィンドウのための統計データ（例えばＬ１ウィンドウへの入力）として使用される前に、Ｌ２平滑化範囲（例えば、Ｌ２ウィンドウに対応するフレーム群の部分集合）について、生成されたＢＬＵＴに平滑化演算を行う。
【００４９】
ステップ４において、処理ロジックは、第３のフレーム（時刻＝
【数１０】
2021510885.tif 000012
）に対応する、以前に生成されたＢＬＵＴに対し、Ｌ１ウィンドウ（５０５）を用いて平滑化演算を行うことが可能である。Ｌ１ウィンドウ（５０５）は、第３のフレーム（時刻＝
【数１１】
2021510885.tif 000013
）と、「先読み」フレームとしての
【数１２】
2021510885.tif 000014
枚のフレームと、「後読み」フレームとしての
【数１３】
2021510885.tif 000015
枚のフレームと、に対応し得る。処理ロジックは、平滑化されたＢＬＵＴを近似的な区分的多項式に変換する前に、Ｌ１平滑化範囲（例えば、Ｌ１ウィンドウに対応するフレーム群の部分集合）について、以前に生成されたＢＬＵＴに平滑化演算を行うことができる。さらに処理ロジックは、第３のフレーム（時刻＝
【数１４】
2021510885.tif 000016
）のクロマ成分をＳＤＲからＨＤＲへマッピングするための、ＭＭＲ係数を解き求める。クロマチャネルについてのＭＭＲ係数と、ルマチャネルについての平滑化されたＢＬＵＴ（区分的多項式に変換される）は、その後一緒に用いられて、現出力結果、例えば、第３のフレーム（時刻＝
【数１５】
2021510885.tif 000017
）に対応する出力ＲＰＵメタデータ（５０６）における出力結果を生成する。
【００５０】
上述のように、各レベルの演算処理は、ある範囲のフレームに由来する統計データを使用して次のレベルのための中間出力を生成する、スライディングウィンドウを含む。例えば、Ｌ３スライディングウィンドウは、第１のフレームおよびその近傍フレームについての統計データを用いて、後続のＬ２スライディングウィンドウのための出力を生成することが可能である。Ｌ２スライディングウィンドウは、第２のフレームおよびその近傍フレームに由来する統計データを用いて、後続のＬ１スライディングウィンドウのための出力を生成することが可能である。Ｌ１スライディングウィンドウは、第３のフレームおよびその近傍フレームに由来する統計データを用いて、出力ＲＰＵメタデータを生成することが可能である。いかなる瞬間においても、処理ロジックは、現入力フレームを受け取りつつ、以前に格納されたフレームについてのＲＰＵメタデータを同時に生成することができる。現入力フレームについてのＲＰＵメタデータは、その後、後続の処理サイクルにおいて処理されることになる。このようにして、入力フレームは、１入力１出力式（ｏｎｅ−ｉｎｐｕｔ  ｏｎｅ−ｏｕｔｐｕｔ  ｆａｓｈｉｏｎ）で処理されることが可能である。但し、現入力フレームについての出力ＲＰＵメタデータを生成する前に、いくつかの将来フレームを処理する必要があるため、現入力フレームを処理するにあたっては、一定の遅延（各レベルに由来する「先読み」フレームの総数に等しい）が存在する。図５Ｂは、ある実施形態による、図４における３レベルのスライディングウィンドウフレームワークのプロセス例を示している。図５Ｂを参照しつつ、処理５５０は、Ｌ１、Ｌ２、およびＬ３スライディングウィンドウにおける「先読み」フレームに係る遅延に対応する総遅延を有する。すなわち、遅延は「先読み」フレームのみによって導入される。というのも、これらの将来フレームは、現フレームについてのメタデータを生成する前に処理される必要があるからである。
【００５１】
図６は、ある実施形態による、図５Ａの３レベルのスライディングウィンドウフレームワークにおけるリングバッファ構造の例を示している。リングバッファ構造６００は、上述のような、入力フレームのシーケンスについてのオンザフライの統計を保持するための、３レベルのＬ３、Ｌ２、およびＬ１スライディングウィンドウ６０２〜６０４ならびに統計ウィンドウ６０１を備え得る。いくつかの実施形態において、ウィンドウはリングメモリバッファである。これらのバッファは、各処理サイクルの後に、より古いフレームデータに割り当てられたメモリが再利用される、あるいはデータが置換されるようなものとして、一定のサイズを有することが可能である。バッファは、先入れ先出し（ＦＩＦＯ）キューと概念的に同様であり、新しい統計がバッファにおける最も古い統計に置き換わるようなものとして、リング式（ｒｉｎｇ  ｆａｓｈｉｏｎ）で更新されるように設計され得る。但し、バッファ長は、バッファオーバーフローを回避できるように予め決定されている必要がある。
【００５２】
Ｌ３、Ｌ２、およびＬ１ウィンドウ６０２〜６０４において、そのリングバッファ長（またはサイズ）は、各ウィンドウの２つの端点間の差異であってよい。Ｌ３、Ｌ２、およびＬ１ウィンドウ６０２〜６０４の最小バッファ長は、シーン検出のための最小長フレーム要件および／または平滑化範囲要件に基づき、予め決定されることが可能である。
【００５３】
統計ウィンドウ（または統計リングバッファ）６０１の最小長（またはサイズ）（ηｂｕｆで表す）は、各ウィンドウにおける先読みおよび後読みフレームの枚数の関数として算出され得る。例えば、
【数１６】
2021510885.tif 000018
であり、ここで、ｐ∈｛ａ，ｂ｝およびｑ∈｛１，２，３｝は、Ｌ１、Ｌ２、およびＬ３ウィンドウにおける、後読みおよび先読みの長さをそれぞれ指す。図６を参照しつつ、一実施形態において、統計リングバッファ６０１の最小長は、
【数１７】
2021510885.tif 000019
である。
【００５４】
ここで、統計のうちのいくつかの累計を格納するために、リングバッファ長にさらなる１スペースが割り当てられている。また、これらのデータはリング式、すなわち最も古い値を新しい値で置き換えることにより格納されるので、合同算術（ｍｏｄｕｌｏ  ｍａｔｈ）を用いることにより、統計リングバッファまたはスライディングウィンドウリングバッファにおける特定のフレーム統計の位置を決定できる。いくつかの実施形態において、Ｌ３、Ｌ２、およびＬ１ウィンドウリングバッファ６０２〜６０４ならびに統計リングバッファ６０１は、環状リスト、コレクション（ｃｏｌｌｅｃｔｉｏｎｓ）、クラスオブジェクト、および／またはラップアラウンドカウンタ（ｗｒａｐ−ａｒｏｕｎｄ  ｃｏｕｎｔｅｒｓ）であり得る。
【００５５】
図７は、１つ以上の実施形態による、方法を例示するフローチャートである。方法または処理７００は、ソフトウェア、ハードウェア、またはこれらの組み合わせを含み得る、処理ロジックにより実行されることが可能である。例えば、処理７００は、図３のエンコーダ３０３によって実行されてもよい。図７を参照しつつ、ブロック７０１において、処理ロジックは入力映像ストリームを受信する。ブロック７０２において、処理ロジックは、第１のバッファ中に、入力映像ストリームの第１組の連続部分についての統計データを、時間をかけて格納する。第１のバッファは、各連続部分につき、シーンカットデータを表す出力を提供することになる。ブロック７０３において、処理ロジックは、第２のバッファ中に、入力映像ストリームの第２組の連続部分についての統計データを、時間をかけて格納する。第２のバッファは、第１のバッファから提供された各出力を受け取る。第２のバッファは、各連続部分につき、輝度マッピング値を表す出力を提供することになる。ブロック７０４において、処理ロジックは、第３のバッファ中に、入力映像ストリームの第３組の連続部分についての統計データを、時間をかけて格納する。第３のバッファは、第２のバッファから提供された各出力を受け取る。第３のバッファは、各連続部分につき、クロママッピング値と平滑化輝度マッピング値とを表す出力を提供することになる。ブロック７０５において、処理ロジックは、対応付けられた平滑化輝度マッピング値および対応付けられたクロママッピング値に基づき、入力映像ストリームにおける第１の画像についてのメタデータを生成する。メタデータは、ターゲットディスプレイにより使用されて、第１の画像に基づくが第１の画像よりも高いダイナミックレンジを有する、第２の画像を生成することになる。いくつかの実施形態において、非一時的な機械可読媒体が、ディスプレイマネジメントシステムにより実行されるとき方法７００における方法をシステムに実行させる命令を、格納する。いくつかの実施形態において、メモリと処理システムとを備えるディスプレイマネジメントシステムが、方法７００における方法を実行するように構成される。
【００５６】
リファレンスＥＤＲを用いた場合
図８は、ある実施形態による、リファレンスＥＤＲを用いるエンコーダ例のブロック図を示している。エンコーダ８００は、図３におけるエンコーダ３０３などのエンコーダであり得る。エンコーダ８００は、オンザフライに、ワンフレームイン・ワンフレームアウト式で、ＨＤＲリファレンスを用いて、映像ストリームのＳＤＲフレームからＲＰＵ（コンポーザおよびＤＭ）メタデータを生成できる。一実施形態において、エンコーダ８００は、ＥｉＤＭ８０３、統計収集８０４、シーンカット検出（Ｌ３）８０５、ルマＢＬＵＴ生成（Ｌ２）８０６、ルマＢＬＵＴ平滑化（Ｌ１）８０７、多項式近似（Ｌ１）８０８、およびクロマＭＭＲ推定（Ｌ１）８０９などのモジュールを備える。ＥｉＤＭ８０３は、ＳＤＲ入力フレーム８０１を用いて、オンザフライのＨＤＲリファレンスフレーム８０２を生成できる。統計収集８０４は、ＳＤＲおよびＨＤＲフレーム８０１〜８０２についての統計を収集できる。シーンカット検出（Ｌ３）８０５は、入力ＳＤＲフレームにおける新しいシーンを識別する、シーンカットデータを決定できる。ルマＢＬＵＴ生成（Ｌ２）８０６は、入力ＳＤＲフレームのルマ成分をＨＤＲフレームにマッピングする、ルマ再構成関数を生成できる。ルマＢＬＵＴ平滑化（Ｌ１）８０７は、生成されたルマ再構成関数に平滑化アルゴリズムを適用できる。多項式近似（Ｌ１）８０８は、ルマ再構成関数を近似して多項式関数にすることができ、これにより、ルマ再構成関数は多項式係数に落とし込まれて、データ格納および／またはデータ送信が低減され得る。クロマＭＭＲ推定（Ｌ１）８０９は、入力ＳＤＲフレームのクロマ成分をＨＤＲフレームにマッピングする、クロマ再構成関数を生成できる。これらのルマおよびクロマ再構成関数を用いることにより、出力ＲＰＵメタデータ８１０を生成することが可能である。
【００５７】
いくつかの実施形態において、エンコーダ８００は、出力ＲＰＵメタデータ８１０を４ステップで生成する。各ステップは、図５における統計ウィンドウ（５０２）、Ｌ３、Ｌ２、およびＬ１スライディングウィンドウ（５０３、５０４、および５０５）などの、１つ以上のスライディングウィンドウを用いて、次のスライディングウィンドウのための中間出力を生成することが可能である。
【００５８】
【数１８】
2021510885.tif 000020
は、時刻＝ｔにおけるＳＤＲフレームであり、
【数１９】
2021510885.tif 000021
はその、ｉＤＭリファレンスＨＤＲフレームであるものとする。
【数２０】
2021510885.tif 000022
は、それぞれ
【数２１】
2021510885.tif 000023
におけるＹ、Ｃｂ、およびＣｒチャネルのｉ番目の画素値であるものとする。
【数２２】
2021510885.tif 000024
は、それぞれ 
【数２３】
2021510885.tif 000025
におけるＹ、Ｃｂ、およびＣｒチャネルのｉ番目の画素値であるものとする。ステップ１において、リファレンスＥｉＤＭ８０３は、オンザフライでリファレンスＥＤＲフレーム８０２を生成する。一実施形態において、ＥｉＤＭ８０３は外部の逆ＤＭ（ＥｉＤＭ）モジュールである。一実施形態において、リファレンスＥＤＲフレーム８０２は、各入力ＳＤＲフレームにつき予め生成される。時刻＝ｔにおける入力ＳＤＲフレーム（ＳＤＲフレーム８０１の一部としての）に関し、統計収集８０４は、この入力ＳＤＲフレームとその対応するリファレンスＥＤＲフレーム（リファレンスＥＤＲフレーム８０２の一部としての）とについての統計を収集または集約し、これらの統計を、図５Ａの統計リングバッファ５０２などの統計リングバッファに格納する。統計収集８０４は、入力ＳＤＲフレームおよび／またはリファレンスＨＤＲについて、限定はしないが、シーンカット統計と、ルマ最小および最大統計と、ルマヒストグラム統計と、クロマＭＭＲ統計と、を含む統計を集める。シーンカット統計は、映像ストリームのＳＤＲフレームにおける新しいシーンを検出するものである。ルマ最小および最大統計ならびにルマヒストグラム統計は、ルマ再構成関数を推定および生成するために使用される。クロマＭＭＲ統計は、クロマ再構成関数を推定および生成するために使用される。
【００５９】
ルマヒストグラム統計は、その開示内容を全て本願に援用する２０１６年１０月５日付け出願の「Ｉｎｖｅｒｓｅ  Ｌｕｍａ−Ｃｈｒｏｍａ  Ｍａｐｐｉｎｇｓ  ｗｉｔｈ  Ｈｉｓｔｏｇｒａｍ  Ｔｒａｎｓｆｅｒ  ａｎｄ  Ａｐｐｒｏｘｉｍａｔｉｏｎ」という表題の米国仮出願第６２／４０４，３０７号、および、その開示内容を全て本願に援用する２０１８年１月１６日付け出願の「Ｓｅｇｍｅｎｔ−Ｂａｓｅｄ  Ｒｅｓｈａｐｉｎｇ  ｆｏｒ  Ｃｏｄｉｎｇ  Ｈｉｇｈ  Ｄｙｎａｍｉｃ  Ｒａｎｇｅ  Ｖｉｄｅｏ」という表題のＰＣＴ出願第ＰＣＴ／ＵＳ２０１８／０１３９０４号に記載された、ルマ再構成関数を生成する累積分布関数（ＣＤＦ）マッチングアルゴリズムのための入力としての、ルマヒストグラムを含む。ＣＤＦマッチングアルゴリズムは、ルマ再構成関数を生成するために、後続のステップにおいて行われ得る。
【００６０】
一実施形態において、演算負荷を低減するために、統計収集８０４は、入力ＳＤＲフレームのＳＤＲ符号語を、等間隔ｗｂ（例えば１６ビット入力データにおいてｗｂ＝６５，５３６／Ｍ）を有するＭ個のオーバーラップしないビン（例えばＭ＝１６、３２、または６４）へと分割して、正規化ダイナミックレンジ（例えば（０，１］）をカバーすることができる。ＳＤＲおよびＥＤＲにおけるビンの個数をそれぞれＭｓおよびＭｖで表し、対応するビン間隔をそれぞれｗｂＳ  およびｗｂＶで表す。ある別の実施形態において、演算負荷をさらに低減するために、ＳＤＲ／ＨＤＲヒストグラムは、各ビンが以前のタイムフレームまたは処理サイクルからの対応するビン値に初期化されるような、累積的なやり方で格納される（例えば
【数２４】
2021510885.tif 000026
）。上付きの添え字「Ｃ」は累計を表すことに留意されたい。以下の表１は、累積ルマヒストグラム統計の収集を例示している。
【表１】
2021510885.tif 000027
【００６１】
一実施形態において、統計収集８０４は、クロマチャネルの再構成関数を生成するための、ＭＭＲ多項式のためのクロマＭＭＲ統計を収集することができる。
【数２５】
2021510885.tif 000028
に由来する画素値を
【数２６】
2021510885.tif 000029
で表すことにする。
【００６２】
一実施形態において、ＭＭＲ多項式は、２次のＭＭＲ多項式である。ある別の実施形態において、ＭＭＲ多項式は、３次のＭＭＲ多項式である。例えば、２次のＭＭＲ多項式（例えば
【数２７】
2021510885.tif 000030
）は、
【数２８】
2021510885.tif 000031
に基づき
【数２９】
2021510885.tif 000032
として構成され得る。ここで
【数３０】
2021510885.tif 000033
は、ＰＣ個の画素を有する
【数３１】
2021510885.tif 000034
についての、ダウンサンプリングされたＹ成分のｉ番目の画素値である。
【００６３】
ｉＤＭクロマ値と、逆方向ＭＭＲを用いて予測されたクロマ値とを、それぞれ
【数３２】
2021510885.tif 000035
と置く。ここでｃ０およびｃ１は、２つのクロマチャネルである。一実施形態において、入力フレーム画素またはイメージ画素は、演算負荷を低減するためにダウンサンプリングされる。例えば、ある入力フレームに対し、全ての画素を用いてＭＭＲ推定アルゴリズムのためのＭＭＲ行列を形成するのではなく、ｒｄｓ個毎に１個の画素を、当該入力フレームの代表画素として用いる。ここでｒｄｓは、ダウンサンプリング比率を表す。ＰＣは当該画像中のクロマ画素数であることを想起されたい。ゆえに、ＭＭＲ行列の次元（ｄｉｍｅｎｓｉｏｎｓ）はＰＣからＰｄｓへと低減され、ここで
【数３３】
2021510885.tif 000036
である。
【００６４】
このとき、ＰＣ個のクロマ画素をＰｄｓ個の画素へと低減された画像についての予測クロマ行列、ｉＤＭクロマ行列、およびＭＭＲ行列は、それぞれ
【数３４】
2021510885.tif 000037
と表され得る。
【００６５】
あるＭＭＲ逆方向再構成行列（例えば
【数３５】
2021510885.tif 000038
）を用いることにより、リファレンスクロマ値
【数３６】
2021510885.tif 000039
に最も近い予測クロマ値
【数３７】
2021510885.tif 000040
を予測する。予測値を
【数３８】
2021510885.tif 000041
と置く。ここで
【数３９】
2021510885.tif 000042
である。ゆえに、行列ＡおよびＢに係る統計を現入力フレームについて収集することにより、クロマ逆方向再構成関数を生成することが可能であって、ここで
【数４０】
2021510885.tif 000043
である。
【００６６】
一実施形態において、演算負荷を低減するために、行列ＡおよびＢは累積的なやり方で格納される。表２において、クロマ統計収集のプロセス例を示す。
【表２】
2021510885.tif 000044
【００６７】
図８における４ステップのプロセスのステップ２において、シーンカット検出８０５は、Ｌ３スライディングウィンドウを用いて、収集されたシーンカット統計に基づき新しいシーンカットを決定できる。例えば、シーンカットの発生は、
【数４１】
2021510885.tif 000045
に対するＬ３（シーンカット検出）ウィンドウに由来するフレーム群の、シーンカット統計を用いて算出され得る。今、
【数４２】
2021510885.tif 000046
は、
【数４３】
2021510885.tif 000047
に対するシーンカット検出ウィンドウの、左右境界における時刻インデックスであるものとする。ここで、
【数４４】
2021510885.tif 000048
である。シーンカット検出ウィンドウの左右フレームを、それぞれ
【数４５】
2021510885.tif 000049
と置く。
【数４６】
2021510885.tif 000050
は、現入力フレームであることに留意されたい。シーンカット検出８０５は、このとき、時刻＝
【数４７】
2021510885.tif 000051
におけるフレーム群（例えばフレーム
【数４８】
2021510885.tif 000052
を境界とするウィンドウ）に対応するシーンカット統計を用いて、時刻＝
【数４９】
2021510885.tif 000053
におけるフレームについてのシーンカットを検出することが可能である。
【００６８】
一実施形態において、シーンカット検出８０５は、時刻＝
【数５０】
2021510885.tif 000054
におけるフレームに新しいシーンが含まれているか否かを示す、二値のシーンカットフラグ（例えば
【数５１】
2021510885.tif 000055
）を出力する。一実施形態において、シーンカットデータはリングバッファに格納されて、（Ｌ２およびＬ１）ウィンドウに対する入力として、引き続き使用されることになる。
【００６９】
図８における４ステップのプロセスのステップ３において、ルマＢＬＵＴ生成８０６は、Ｌ２ウィンドウの画像フレーム群に対応するヒストグラム統計にＣＤＦマッチングを適用することにより、時刻＝
【数５２】
2021510885.tif 000056
におけるフレームについての逆方向ルックアップテーブル（ＢＬＵＴ）を生成する。例えば、ルマＢＬＵＴ生成８０６は、Ｌ２スライディングウィンドウに対応するＳＤＲおよびＨＤＲヒストグラムにＣＤＦマッチングを適用することにより、
【数５３】
2021510885.tif 000057
についてのルマＢＬＵＴを生成し得る。ルマＢＬＵＴ生成８０６は、まず、Ｌ２ウィンドウに対応するフレーム群のシーン境界を識別できる。この場合、もしもシーンが１フレームのみを有するならば、そのフレームのみがＬ２ウィンドウにおいて考慮される。映像ストリームにおける最初および最後のフレームは、シーンカットを有するものと考えられることに留意されたい。例えば、
【数５４】
2021510885.tif 000058
は、Ｌ２スライディングウィンドウの左右ウィンドウ境界における時刻インデックスを表し、
【数５５】
2021510885.tif 000059
は、
【数５６】
2021510885.tif 000060
についての左右シーン境界を表すものとする。従って、
【数５７】
2021510885.tif 000061
である。
【００７０】
シーン境界を確立した後に、
【数５８】
2021510885.tif 000062
に対するＬ２ウィンドウの左右の時刻境界は、それぞれ
【数５９】
2021510885.tif 000063
として決定され得る。
【００７１】
Ｌ２ウィンドウのフレーム群の左右終端を、それぞれ
【数６０】
2021510885.tif 000064
と置く。
【数６１】
2021510885.tif 000065
はそれぞれ、ＳＤＲおよびＨＤＲ  ＣＤＦのｂ番目のビン値であり、
【数６２】
2021510885.tif 000066
は、暫定ＢＬＵＴのｂ番目のビン値であるものとする。Ｌ２ウィンドウの出力は、
【数６３】
2021510885.tif 000067
についてのルマＢＬＵＴ（例えば
【数６４】
2021510885.tif 000068
）である。一実施形態において、ルマＢＬＵＴは、時刻ドメインに亘っての累計として格納され、
【数６５】
2021510885.tif 000069
で表される。図８における、４ステップのプロセスのステップ２は、表３に例示され得る。表３のステップＧにおけるミッドトーン平滑化のための平滑化ウィンドウサイズは、ＳＤＲフレームビット深度に基づき決定されることが可能であり、例えば
【数６６】
2021510885.tif 000070
である。
【表３】
2021510885.tif 000071
2021510885.tif 000072
【００７２】
上述のように、ステップ３において、ルマＢＬＵＴ生成８０６は、Ｌ２ウィンドウを用いて入力ＳＤＲフレームのルマ成分をリファレンスＨＤＲフレームにマッピングし、
【数６７】
2021510885.tif 000073
についてのルマＢＬＵＴを生成することが可能である。
【００７３】
ステップ４において、エンコーダ８００は、Ｌ１ウィンドウを用いて、以前に生成された
【数６８】
2021510885.tif 000074
についてのルマＢＬＵＴに平滑化演算を行うことができる。エンコーダ８００はその後、区分的多項式（例えばルマ再構成関数）を近似することにより、格納および／またはデータ送信を低減し得る。さらにエンコーダ８００は、Ｌ１ウィンドウを用いて、
【数６９】
2021510885.tif 000075
についてのクロマＭＭＲマッピング係数を生成することが可能である。
【００７４】
例えば、
【数７０】
2021510885.tif 000076
は、
2021510885.tif 000077
に対する左右Ｌ１ウィンドウ境界の時刻インデックスを表すものとする。Ｌ２ウィンドウと同様に、一実施形態において、ルマＢＬＵＴ平滑化８０７はまず、シーンカット情報を用いて、Ｌ１ウィンドウの中でフレーム
【数７１】
2021510885.tif 000078
のシーンの境界を検出する。
【数７２】
2021510885.tif 000079
は、
【数７３】
2021510885.tif 000080
についての左右シーン境界を表すものとする。
【数７４】
2021510885.tif 000081
であり、
【数７５】
2021510885.tif 000082
が従っているものとする。もしもシーンが１フレームのみを有するならば、そのフレームのみがＬ１ウィンドウにおいて考慮される。
【００７５】
【数７６】
2021510885.tif 000083
に対するＬ１ウィンドウの左右境界は、このとき
【数７７】
2021510885.tif 000084
と決定され得る。ゆえに、Ｌ１ウィンドウの左右フレームは
【数７８】
2021510885.tif 000085
である。表４において、ステップ４の平滑化演算を例示する。ここで
【数７９】
2021510885.tif 000086
は、最終ルマＢＬＵＴのｂ番目のビンである。
【表４】
2021510885.tif 000087
【００７６】
一実施形態において、多項式近似８０８は、曲線あてはめ（ｃｕｒｖｅ  ｆｉｔｔｉｎｇ）アルゴリズムを使用して、平滑化されたルマＢＬＵＴを、多項式係数を有する区分的多項式に変換する。例えば、ルマＢＬＵＴ（例えば入力ＳＤＲ符号語から出力ＥＤＲ符号語へのマッピングのための逆方向再構成ルックアップテーブル）は、複数のセクションに分割され、各セクションは、より高次の多項式（例えば区分的多項式）に曲線あてはめされる。多項式の係数またはルママッピング関数は、その後、ＲＰＵコンポーザメタデータ８１０を生成するために使用されることが可能である。
【００７７】
一実施形態において、クロマＭＭＲ推定８０９は、最小二乗問題（ｌｅａｓｔ  ｓｑｕａｒｅ  ｐｒｏｂｌｅｍ）を解くことより、ステップ１において収集された累計行列ＡおよびＢを用いてＭＭＲ係数行列を推定する。ＭＭＲ推定方法は、予測ＨＤＲフレームのクロマ成分と、リファレンスＨＤＲフレームのクロマ成分との間の、「全体的な」誤差を最小化することに依拠する。表５において、ＭＭＲ行列係数の生成を例示する。ここで
【数８０】
2021510885.tif 000088
は、
【数８１】
2021510885.tif 000089
についてのＭＭＲ係数行列である。
【表５】
2021510885.tif 000090
【００７８】
ひとたびＭＭＲ行列係数を解き求めると、エンコーダ８００はその後、解き求められたＭＭＲ行列係数（例えばクロマチャネル）を、近似されたルマ区分的多項式係数（例えばルマチャネル）とともにＲＰＵメタデータ８１０へ挿入する。ここで、ＲＰＵメタデータ８１０はフレーム
【数８２】
2021510885.tif 000091
に対応し、
【数８３】
2021510885.tif 000092
である。
【００７９】
上述のように、エンコーダ８００の４ステップは、オンザフライに、ワンフレームイン・ワンフレームアウト式で、ＨＤＲリファレンスを用いて、ＳＤＲフレームからＲＰＵメタデータを生成することが可能である。一実施形態にて、ステップ１において、処理ロジックは、統計リングバッファ（５０２）の中に、時刻ｔにおける現入力フレーム（５０１）の統計を収集する。統計リングバッファ（５０２）は、過去フレーム群のリストについての統計データを格納する。ステップ２において、処理ロジックは、格納された統計データを用いて、時刻＝
【数８４】
2021510885.tif 000093
における第１のフレームに新しいシーンが含まれているかどうかを識別する、シーンカットデータを決定する。ここで
【数８５】
2021510885.tif 000094
は、Ｌ３ウィンドウ（５０３）に関連付けられた遅延を表す。Ｌ３ウィンドウ（５０３）は、第１の時間遅延に関連付けられた第１のフレームに対応し得る。シーンカットデータ（例えばＬ３ウィンドウの出力）は、Ｌ２およびＬ１ウィンドウなどの後続のウィンドウにより、さらなるフレーム処理のために使用されることが可能である。ステップ３において、Ｌ２スライディングウィンドウは、第２の時間遅延に関連付けられた第２のフレームの複数の近傍フレームに由来する統計データと、Ｌ３ウィンドウに由来するシーンカットデータとを用いて、後続のＬ１スライディングウィンドウのための出力を生成できる。ステップ４において、Ｌ１スライディングウィンドウは、第３の時間遅延に関連付けられた第３のフレームの複数の近傍フレームに由来する統計データを用いて、出力ＲＰＵメタデータを生成できる。
【００８０】
図９は、１つ以上の実施形態による、ルマおよび／またはクロマ再構成の方法を示すフローチャートである。方法または処理９００は、ソフトウェア、ハードウェア、またはこれらの組み合わせを含み得る、処理ロジックにより実行されることが可能である。例えば、処理９００は、図３のエンコーダ３０３によって実行されてもよい。図９を参照しつつ、ブロック９０１において、処理ロジックは、第１の画像を含む第１のダイナミックレンジにおける画像群を有する入力映像ストリームを受信する。ブロック９０２において、処理ロジックは、入力映像ストリームの第１の画像を表現する、第２の画像を受信する。第２の画像は、第１のダイナミックレンジよりも高い第２のダイナミックレンジを有する。ブロック９０３において、処理ロジックは、第１および第２の画像についての統計データを取得する。統計データは、シーンカット統計、ルマ統計、およびクロマ統計を含む。統計データは、新しいシーンを識別するシーンカットデータ、ルマ成分マッピング関数、およびクロマ成分マッピング関数を生成するために、１つ以上のスライディングウィンドウによって使用される。ブロック９０４において、処理ロジックは、第１の時間遅延にて、入力映像ストリーム中の画像群を表現するデータからシーンカットデータを決定し、シーンカットデータを第１のスライディングウィンドウに格納する。シーンカットデータは、第１の画像の統計データと、入力映像ストリーム中で時間的に第１の画像より後の、１つ以上の先読み画像の統計データと、入力映像ストリーム中で時間的に第１の画像より前の、１つ以上の後読み画像の統計データとに基づき、決定される。ブロック９０５において、処理ロジックは、第２の時間遅延にて、第２のスライディングウィンドウおよび決定されたシーンカットデータに基づき、第１の画像の輝度値を第１のダイナミックレンジから第２のダイナミックレンジへマッピングするための第１のマッピング関数を決定する。ブロック９０６において、処理ロジックは、第３の時間遅延にて、第３のスライディングウィンドウおよび決定されたシーンカットデータに基づき、第１のマッピング関数に平滑化演算を適用することにより、第２のマッピング関数を決定する。ブロック９０７において、処理ロジックは、第３の時間遅延にて、第３のスライディングウィンドウおよび決定されたシーンカットデータに基づき、第１の画像のクロマ値を第１のダイナミックレンジから第２のダイナミックレンジへマッピングするための第３のマッピング関数を決定する。ブロック９０８において、処理ロジックは、第３の時間遅延にて、第２および第３のマッピング関数に基づき、第１の画像についてのコンポーザメタデータを生成する。生成されたコンポーザメタデータをターゲットディスプレイデバイスが使用して、表示のために、第１の画像を第１のダイナミックレンジから第２のダイナミックレンジへマッピングする。
【００８１】
色アーチファクトに対して３Ｄ平坦化マッピングテーブル（３Ｄ−ＦＭＴ）を用いる再構成
先述のＭＭＲ近似方法は、ＭＭＲ最適化処理において各画素に均等な重みが与えられるゆえ、画素ベースの方法として説明することができる。先述のＭＭＲ最適化処理は、予測ＨＤＲフレームのクロマ成分とリファレンスＨＤＲフレームのクロマ成分との間の「全体的な」誤差を最小化することに依拠しているため、少数個の画素（例えばマイノリティ画素（ｍｉｎｏｒｉｔｙ  ｐｉｘｅｌｓ））について、たとえ個々の誤差はより大きいとしても、その累積的効果は「全体的な」誤差に比べて小さくなり得る。稀に、入力ＳＤＲフレームのマイノリティ画素のせいで、赤い色の斑点（ｃｏｌｏｒ  ｐａｔｃｈｅｓ）や緑／ピンクの色味（ｃｏｌｏｒｉｎｇ）などの色アーチファクトが予測ＨＤＲフレームに現れることがある。いくつかの例において、画像の総画素に比して、マイノリティ画素は約０．０５％であり得る。これらの色アーチファクトを避けるために、符号語ビンベースの方法（例えば３Ｄ平坦化マッピングテーブル（３Ｄ−ＦＭＴ）法）を使用することにより、ＳＤＲ画像をＨＤＲ画像にマッピングするためのＭＭＲ係数行列を近似することができる。
【００８２】
いくつかの実施形態において、
【数８６】
2021510885.tif 000095
行列（先述の画素ベースの方法は、画素値を
【数８７】
2021510885.tif 000096
行列として有していた）の各エントリは、３Ｄ  ＳＤＲヒストグラムの符号語ビンを有する。各エントリまたはビンには、他のエントリと均等な重みが与えられる。３Ｄ  ＳＤＲヒストグラムは、３Ｄマッピングテーブルに対応する。基本的には、先述の、統計を収集するステップ１の中で、行列ＡおよびＢの算出を以下のように変更することにより、色アーチファクトが低減される。
【００８３】
色アーチファクトに対して３Ｄ−ＦＭＴを用いるＭＭＲ行列ＡおよびＢの算出
いくつかの実施形態において、ＳＤＲ画像は、３つのルマおよびクロマ成分の各々につき一定数の
【数８８】
2021510885.tif 000097
個のビンを用いて、３チャネル値（Ｙ、Ｃ０、およびＣ１）へ量子化される。４：２：０クロマチャネルと次元（ｄｉｍｅｎｓｉｏｎｓ）をマッチさせるために、ダウンサンプリングされたルマ信号（
【数８９】
2021510885.tif 000098
）が用いられることに留意されたい。量子化されたＳＤＲ画像は、３Ｄマッピングテーブルに対応する３Ｄヒストグラム（
【数９０】
2021510885.tif 000099
の）を算出するために用いられる。
【００８４】
フレーム
【数９１】
2021510885.tif 000100
についての３Ｄヒストグラムのビン群を
【数９２】
2021510885.tif 000101
と表すことにする。ここで、
【数９３】
2021510885.tif 000102
であり、
【数９４】
2021510885.tif 000103
は、３次元（３Ｄ）における総計
【数９５】
2021510885.tif 000104
個のビンを含む。各３Ｄビンは、当該３チャネル量子化値を有するある個数の画素を表すビンインデックス
【数９６】
2021510885.tif 000105
により、特定されることができる。
【００８５】
各ＳＤＲ３ＤビンにおけるＥＤＲクロマ合計もまた、算出される。
【数９７】
2021510885.tif 000106
は、マッピング化された（ｍａｐｐｅｄ）ＥＤＲクロマ値群であって、当該ビンに属する符号語を有するＥＤＲクロマ（例えばＣ０およびＣ１）画素値の合計を、各ビンが含むようなものとする。以下の表６は、量子化（ｑｕａｎｔｉｚｉｎｇ）３Ｄ  ＳＤＲヒストグラムと、マッピング化されたＥＤＲクロマ値と、を取得するステップの例を示している。
【表６】
2021510885.tif 000107
【００８６】
【数９８】
2021510885.tif 000108
は、
【数９９】
2021510885.tif 000109
番のＳＤＲビンの中央を表すものとする。フレーム固有の下付き添え字を
【数１００】
2021510885.tif 000110
またはビン代表値において省略することにより、これらのビン代表値を全てのフレームのために用いてよいことが示されている。一実施形態において、ビン代表値は予め算出されて、全てのフレームのために固定される。表７において、ビン代表値
【数１０１】
2021510885.tif 000111
を取得するためのステップを例示する。
【表７】
2021510885.tif 000112
【００８７】
次に、ＥＤＲクロマ値をそれぞれのビンにおけるＳＤＲ画素数（時刻＝ｔにおける入力ＳＤＲフレームの）で平均することにより、平均３ＤマッピングＥＤＲクロマ値を取得することができる。一実施形態において、時刻＝ｔにおける現フレームにつき、対応する画素を有しない３Ｄ  ＳＤＲヒストグラムビンが識別されて、破棄される。表８において、
【数１０２】
2021510885.tif 000113
（例えば、それぞれのビンにおけるＳＤＲ画素数で平均されたＥＤＲクロマ値の３Ｄマッピング）について、平均を取得するためのステップを例示する。
【数１０３】
2021510885.tif 000114
は、対応する画素を有した（例えば
【数１０４】
2021510885.tif 000115
の）総計ｋ個のビンのインデックスであることに留意されたい。
【表８】
2021510885.tif 000116
【００８８】
【数１０５】
2021510885.tif 000117
番のビンに対するＥＤＲクロマベクトルを
2021510885.tif 000118
と置く。各
【数１０６】
2021510885.tif 000119
番のビンに対し、
【数１０７】
2021510885.tif 000120
行列の成分である３Ｄ−ＦＭＴベクトルは、
【数１０８】
2021510885.tif 000121
であり得る。
【００８９】
先述のように、少なくとも１つの対応するＳＤＲ画素を有した、ｋ個のビンが存在する。一実施形態において、行列ＡおよびＢは、これらのｋ個のビンからの、ＳＤＲビン代表値およびＥＤＲクロマ値を用いて決定される。例えば、時刻＝ｔにおける入力フレームについての行列
【数１０９】
2021510885.tif 000122
および Vt
は、
【数１１０】
2021510885.tif 000123
であり得る。
【００９０】
これらの行列の次元（ｄｉｍｅｎｓｉｏｎｓ）は、先述の画素ベースの方法とは異なるであろうことに留意されたい。なぜならば、ＭＭＲ推定に用いられる非ゼロのＳＤＲビンは、ｋ個存在するのであって、総ＳＤＲフレーム画素数（ｋよりも遥かに大きいことがある）個存在するわけではないからである。ここでｋは、フレーム毎に変動し得る。
【００９１】
次に、現フレームについての統計または行列ＡおよびＢを、    
【数１１１】
2021510885.tif 000124
2021510885.tif 000125
として取得することができる。
【００９２】
一実施形態において、演算負荷を低減するために、行列ＡおよびＢは累計として格納されてもよい。表９において、３Ｄ−ＦＭＴを用いるＭＭＲ統計算出の一例を示す。
【表９】
2021510885.tif 000126
【００９３】
図１０は、１つ以上の実施形態による、３Ｄ−ＦＭＴを用いるルマ／クロマ再構成の方法を示すフローチャートである。方法または処理１０００は、ソフトウェア、ハードウェア、またはこれらの組み合わせを含み得る、処理ロジックにより実行されることが可能である。例えば、処理１０００は、図３のエンコーダ３０３によって実行されてもよい。図１０を参照しつつ、ブロック１００１において、処理ロジックは、第１のダイナミックレンジにおける第１の画像を含む、１組の画像を有する入力映像ストリームを受信する。ブロック１００２において、処理ロジックは、第１の画像と、第１の画像に対応する第２のダイナミックレンジにおける第２の画像と、についての３Ｄマッピング統計（または３Ｄ  ＳＤＲおよびＥＤＲヒストグラム）を生成する。ここで、第２のダイナミックレンジは第１のダイナミックレンジよりも高い。ブロック１００３において、処理ロジックは、３Ｄマッピング統計に基づき多変量重回帰（ＭＭＲ）統計（例えば行列ＡおよびＢ）を決定することにより、第１の画像に基づき第２の画像のクロマチャネル値を推定するためのクロママッピング関数を生成する。ブロック１００４において、処理ロジックはコンポーザメタデータを生成する。ここでコンポーザメタデータは、表示の際に第１の画像のクロマチャネルを第１のダイナミックレンジから第２のダイナミックレンジへマッピングするためにターゲットディスプレイデバイスによって使用されるものである、クロママッピング関数を含む。いくつかの実施形態において、非一時的な機械可読媒体が、ディスプレイマネジメントシステムにより実行されるとき方法１０００における方法をシステムに実行させる命令を、格納する。いくつかの実施形態において、ディスプレイマネジメントシステムは、方法１０００における方法を実行するように構成されたメモリと処理システムとを備える。
【００９４】
リファレンスＥＤＲを使用しない場合
図１１は、ある実施形態による、リファレンスＥＤＲを用いないエンコーダ例のブロック図を示している。エンコーダ１１００は、図３におけるエンコーダ３０３などのエンコーダであり得る。エンコーダ１１００は、オンザフライに、ワンフレームイン・ワンフレームアウト式で、ＨＤＲリファレンスを用いずに、映像ストリームのＳＤＲフレームからＲＰＵ（コンポーザおよびＤＭ）メタデータを生成できる。一実施形態において、エンコーダ１１００は、予めトレーニングされたモデル１１０１、統計収集８０４、シーンカット検出（Ｌ３）８０５、ルマＢＬＵＴ生成（Ｌ２）８０６、ルマＢＬＵＴ平滑化（Ｌ１）８０７、および多項式近似（Ｌ１）８０８などのモジュールを備える。予めトレーニングされたモデル１１０１は、クロマ再構成関数を生成するための、一般線形モデル（ｇｅｎｅｒａｌ  ｌｉｎｅａｒ  ｍｏｄｅｌ）（ＧＬＭ）を含み得る。ＧＬＭは、トレーニング統計から予め決定もしくは予め構成されてもよいし、または画像のライブラリに基づき予めトレーニングされてもよい。一実施形態において、クロマ再構成関数は静的ＭＭＲ係数を含む。
【００９５】
統計収集８０４は、ＳＤＲおよびＨＤＲフレーム８０１〜８０２についての統計を収集することができる。シーンカット検出（Ｌ３）８０５は、入力ＳＤＲフレームにおける新しいシーンを識別する、シーンカットデータを決定できる。ルマＢＬＵＴ生成（Ｌ２）８０６は、入力ＳＤＲフレームのルマ成分をＨＤＲフレームにマッピングする、ルマ再構成関数を生成できる。ルマＢＬＵＴ平滑化（Ｌ１）８０７は、生成されたルマ再構成関数に平滑化アルゴリズムを適用できる。多項式近似（Ｌ１）８０８は、ルマ再構成関数を近似して多項式関数にすることができ、これにより、ルマ再構成関数は多項式係数に落とし込まれて、データ格納およびデータ送信が低減される。ルマおよびクロマ再構成関数は、出力ＲＰＵメタデータ８１０を生成するために使用され得る。
【００９６】
いくつかの実施形態において、エンコーダ１１００は、出力ＲＰＵメタデータ８１０を４ステップで生成する。各ステップは、図５における統計ウィンドウ（５０２）、Ｌ３、Ｌ２、およびＬ１スライディングウィンドウ（５０３、５０４、および５０５）などの、１つ以上のスライディングウィンドウを用いて、中間出力を生成することが可能である。
【００９７】
図１１を参照しつつ、ステップ１において、時刻＝ｔにおける入力ＳＤＲフレーム（ＳＤＲフレーム８０１の一部としての）に関し、統計収集８０４は、この入力ＳＤＲフレームについての統計を収集または集約し、これらの統計を、図５Ａの統計リングバッファ５０２などの統計リングバッファに格納する。統計収集８０４は、入力ＳＤＲフレームについて、限定はしないが、シーンカット統計と、ルマ最小、平均、および最大統計と、ルマヒストグラム統計と、クロマサチュレーション（ｃｈｒｏｍａ  ｓａｔｕｒａｔｉｏｎ）統計と、を含む統計を収集できる。シーンカット統計は、映像ストリームのＳＤＲフレームにおける新しいシーンを検出するものである。ルマ最小、平均、および最大統計、ならびにルマヒストグラム統計は、ルマ再構成関数を動的に推定および生成するために使用される。クロマサチュレーション統計は、クロマ再構成関数を正規化するために使用される。
【００９８】
まず、統計収集８０４は、クロマおよびダウンサンプリングされたルマ（ｄｏｗｎ−ｓａｍｐｌｅｄ  ｌｕｍａ）ＳＤＲ画素値を用いて正規化された（０と１の間に）ＳＤＲフレーム（
【数１１２】
2021510885.tif 000127
で表す）について、統計を集める。いくつかの実施形態において、収集された統計は、ルマヒストグラムおよびクロマサチュレーション値を含む。いくつかの実施形態において、ルマヒストグラムと、ルマビンにおけるクロマサチュレーションとは、表１０に示すように取得され得る。いくつかの実施形態において、ルマおよびクロマビンの総数は、それぞれＮＬ＝ＮＣ＝８に初期化される。
【表１０】
2021510885.tif 000128
【００９９】
先述の図８のステップ２と同様であり得る図１１のステップ２において、シーンカット検出８０５は、収集されたシーンカット統計を用いて、ＳＤＲフレーム
【数１１３】
2021510885.tif 000129
についてシーンカットの発生またはシーンカットデータを決定する。シーンカットデータは、最も古いシーンカットデータを更新することにより、リングバッファに格納されることが可能である。シーンカットデータは、後続のステップのための入力として使用され得る。
【０１００】
ステップ３において、ルマＢＬＵＴ生成８０６は、予め収集された平均化統計（ａｖｅｒａｇｉｎｇ  ｓｔａｔｉｓｔｉｃｓ）を用いて、
【数１１４】
2021510885.tif 000130
についてのルマＢＬＵＴ（例えば
【数１１５】
2021510885.tif 000131
）を生成する。収集された平均化統計は、ＳＤＲフレームを表す１つ以上の特徴ベクトル（ｆｅａｔｕｒｅ  ｖｅｃｔｏｒｓ）を含み得る。いくつかの実施形態において、特徴ベクトルは、限定はしないが、ｉ）最小／最大／平均ＳＤＲ画素値の累乗の平均（ａｖｅｒａｇｅｄ  ｏｒｄｅｒｓ）
【数１１６】
2021510885.tif 000132
と、ｉｉ）平均化ルマヒストグラム値（ａｖｅｒａｇｅｄ  ｌｕｍａ  ｈｉｓｔｏｇｒａｍ  ｖａｌｕｅｓ）（
【数１１７】
2021510885.tif 000133
）、例えば
【数１１８】
2021510885.tif 000134
と、ｉｉｉ）ルマビンにおける平均化クロマサチュレーション値（ａｖｅｒａｇｅｄ  ｃｈｒｏｍａ  ｓａｔｕｒａｔｉｏｎ  ｖａｌｕｅｓ）（
【数１１９】
2021510885.tif 000135
）、例えば
【数１２０】
2021510885.tif 000136
とを含み得る。特徴ベクトルは、一般線形モデル（ＧＬＭ）ベースの予測のために使用され得る。
【０１０１】
【数１２１】
2021510885.tif 000137
は、
2021510885.tif 000138
についてのｊ番目の特徴ベクトルにおける、ｋ番目の個別の特徴量を表すものとする。一実施形態において、各特徴ベクトルは、１次元ベクトルを成すように連結された特徴量（ｆｅａｔｕｒｅ  ｖａｌｕｅｓ）から成る。例えば、
【数１２２】
2021510885.tif 000139
であり、ここでＧｊ（ｊ＝０，１，２，…）は、ｊ番目の特徴ベクトルにおける特徴の総数である。一実施形態において、最小／最大／平均ＳＤＲ値の１乗、２乗、３乗、および４乗が、ＧＬＭベースの予測のための特徴量として用いられる。この場合、
【数１２３】
2021510885.tif 000140
は１２個の特徴を有し、
【数１２４】
2021510885.tif 000141
は８個の特徴（ＮＬ＝８）を有し、そして
【数１２５】
2021510885.tif 000142
は８個の特徴（ＮＣ＝８）を有しており、総計で２８個の特徴となる。
【０１０２】
【数１２６】
2021510885.tif 000143
は、左右ウィンドウ境界の時刻インデックスを表すものとする。一実施形態において、ルマＢＬＵＴ８０６生成は、シーンカット検出８０５により生成されたシーンカットデータに基づき、フレーム
【数１２７】
2021510885.tif 000144
についてのシーン境界を決定できる。
【数１２８】
2021510885.tif 000145
は、
【数１２９】
2021510885.tif 000146
についての左右シーン境界であるものとする。
【数１３０】
2021510885.tif 000147
に対するＬ２ウィンドウの左右境界は、ゆえにそれぞれ
【数１３１】
2021510885.tif 000148
である。 Ｌ２ウィンドウの、対応する左右フレームは、ゆえにそれぞれ
【数１３２】
2021510885.tif 000149
である。表１１において、上記のようなＬ２ウィンドウのフレーム群について平均された特徴量の算出例を示す。
【表１１】
2021510885.tif 000150
【０１０３】
次に、一実施形態において、２８個の特徴量を連結することにより、時刻＝
【数１３３】
2021510885.tif 000151
におけるフレームについての総特徴ベクトル（ｔｏｔａｌ  ｆｅａｔｕｒｅ  ｖｅｃｔｏｒ）
【数１３４】
2021510885.tif 000152
を生成することができる。例えば、
【数１３５】
2021510885.tif 000153
である。
【０１０４】
ある別の実施形態において、総特徴ベクトル
【数１３６】
2021510885.tif 000154
は、２８個の特徴量の部分集合を連結することにより、生成されてもよい。総特徴ベクトル
【数１３７】
2021510885.tif 000155
はその後、ＧＬＭモデルに適用されることが可能である。
【０１０５】
【数１３８】
2021510885.tif 000156
は、ＧＬＭモデルの係数（または重み）行列であるものとする。一実施形態において、
【数１３９】
2021510885.tif 000157
は、ＳＤＲ−ＥＤＲ画像データベースを用いて予め算出される。このとき、現フレームについてのｋ点ルマＢＬＵＴベクトル
【数１４０】
2021510885.tif 000158
は、ＧＬＭモデルにより
2021510885.tif 000159
などと表現され得る。
【０１０６】
一実施形態において、ｋ点ルマＢＬＵＴベクトルをクリッピングし、補間し、そして再びクリッピングすることにより、中間ルマＢＬＵＴを生成する。一実施形態において、ｋ点ルマＢＬＵＴベクトルをその後、非減少な挙動における単調性を維持するように処理することにより、
【数１４１】
2021510885.tif 000160
すなわち時刻＝
【数１４２】
2021510885.tif 000161
におけるフレームについてのルマＢＬＵＴが、取得される。
【数１４３】
2021510885.tif 000162
は、ｂ番目のＳＤＲ符号語からマッピングされた正規化ＥＤＲを表すことに留意されたい。
【０１０７】
クロマ再構成関数を生成するために、ルマＢＬＵＴ生成８０６は、予めトレーニングされたモデル１１０１から、静的ＭＭＲ係数を取得することができる。静的ＭＭＲ係数は、トレーニングデータに基づき予め算出されて、全てのＳＤＲフレームに亘り同一に保持されることが可能である。一実施形態において、静的ＭＭＲ係数は、あるシーンのみに亘り同一に保持されてもよい。
【０１０８】
ステップ４において、Ｌ１ウィンドウを用いる平滑化演算を、先行ステップから算出されたルマＢＬＵＴに適用することにより、
【数１４４】
2021510885.tif 000163
についての最終出力ルマＢＬＵＴを算出することが可能である。シーンカット情報
【数１４５】
2021510885.tif 000164
を使用することにより、Ｌ１ウィンドウ境界を決定することができる。
【数１４６】
2021510885.tif 000165
は、最終ルマＢＬＵＴのｂ番目のビンであることを想起されたい。
【数１４７】
2021510885.tif 000166
に対するＬ１ウィンドウの左右境界は、図８に関して先述したステップ４と同様に決定され得る。最終出力ルマＢＬＵＴは、その後、区分的多項式に変換されることが可能である。このルマ区分的多項式と固定されたクロマＭＭＲ係数とを用いることにより、フレーム
【数１４８】
2021510885.tif 000167
についてのＲＰＵメタデータ（例えばコンポーザメタデータ）を生成できる。ここで、
【数１４９】
2021510885.tif 000168
である。
【０１０９】
図１２は、１つ以上の実施形態による、リファレンスＥＤＲを用いないルマおよび／またはクロマ再構成の方法を示すフローチャートである。方法または処理１２００は、ソフトウェア、ハードウェア、またはこれらの組み合わせを含み得る、処理ロジックにより実行されることが可能である。例えば、処理１２００は、図３のエンコーダ３０３によって実行されてもよい。図１２を参照しつつ、ブロック１２０１において、処理ロジックは、第１の画像を含む第１のダイナミックレンジにおける画像群を有する入力映像ストリームを受信する。ブロック１２０２において、処理ロジックは、入力映像ストリームの第１の画像についての統計データを取得する。ここで統計データは、第１の画像に由来する、画像に関連した１つ以上の特徴量を含む。ブロック１２０３において、処理ロジックは、第１の時間遅延にて、第１の画像の統計データと、入力映像ストリーム中で時間的に第１の画像より後の１つ以上の先読み画像の統計データと、入力映像ストリーム中で時間的に第１の画像より前の１つ以上の後読み画像の統計データとに基づいて、入力映像ストリーム中の画像群を表現するデータからシーンカットデータを決定し、シーンカットデータを第１のスライディングウィンドウに格納する。ブロック１２０４において、処理ロジックは、第２の時間遅延にて、第２のスライディングウィンドウおよび機械学習モデルに基づき、第１の画像の輝度値を第１のダイナミックレンジから第２のダイナミックレンジへマッピングするための第１のマッピング関数を決定する。ブロック１２０５において、処理ロジックは、第３の時間遅延にて、第３のスライディングウィンドウおよび決定されたシーンカットデータに基づき、第１のマッピング関数に平滑化演算を行うことにより、第２のマッピング関数を決定する。ブロック１２０６において、処理ロジックは、第３の時間遅延にて、第２および第３のマッピング関数に基づき、第１の画像についてのコンポーザメタデータを生成する。ここで第３のマッピング関数は、機械学習モデルに基づき、第１の画像のクロマカラーチャネルを第１のダイナミックレンジから第２のダイナミックレンジへマッピングする。生成されたコンポーザメタデータをターゲットディスプレイデバイスが使用して、第２のダイナミックレンジにおいて第１の画像に対応する、第２の画像を表示する。いくつかの実施形態において、非一時的な機械可読媒体が、ディスプレイマネジメントシステムにより実行されるとき方法１２００における方法をシステムに実行させる命令を、格納する。いくつかの実施形態において、ディスプレイマネジメントシステムは、方法１２００における方法を実行するように構成されたメモリおよび処理システムを備える。
【０１１０】
ディスプレイマネジメント（ＤＭ）メタデータの算出
いくつかの実施形態において、図３におけるエンコーダ３０３などのエンコーダは、ＤＭメタデータを算出し、ＤＭメタデータを含むＲＰＵメタデータを生成する。ＤＭメタデータは、様々なニト値まで表示し得る性能を有する特定のターゲットディスプレイに描画するための情報を含むことが可能である。例えば、ＤＭメタデータは、ｍｉｎ＿ＰＱ、ｍａｘ＿ＰＱ、ａｖｇ＿ＰＱ、ａｎｃｈｏｒ＿ＰＱ、およびａｎｃｈｏｒ＿ｐｏｗｅｒなどの、１つ以上の表示情報（ｄｉｓｐｌａｙ  ｉｎｆｏｒｍａｔｉｏｎ）を含むことができる。ｍｉｎ＿ＰＱは、１２ビットＰＱ符号化における現シーンの最小輝度値を規定し得る。ｍａｘ＿ＰＱは、１２ビットＰＱ符号化における現シーンの最大輝度値を規定し得る。ａｖｇ＿ＰＱは、１２ビットＰＱ符号化における現シーンのミッドポイント輝度値を規定し得る。ａｎｃｈｏｒ＿ＰＱは、１２ビットＰＱ符号化における現フレームの画質のために最適化された平均明度を規定し得る。ａｎｃｈｏｒ＿ｐｏｗｅｒは、１２ビットＰＱ符号化における現フレームのパワーマネージメント（ｐｏｗｅｒ  ｍａｎａｇｅｍｅｎｔ）のために最適化された平均明度を規定し得る。
【０１１１】
いくつかの実施形態において、図３におけるエンコーダ３０３などのエンコーダのプロセッサは、一切のシーン情報無しに、現出力フレームについてのＤＭメタデータを推定する。一実施形態において、プロセッサは全てのフレームについて、ｍｉｎ＿ＰＱ＝０かつｍａｘ＿ＰＱ＝４０９５に設定する。一実施形態において、ＥＤＲリファレンスフレームを伴うＳＤＲフレームに対し、プロセッサは、フレーム
【数１５０】
2021510885.tif 000169
についてのフレーム平均（例えば、ａｖｇ＿ＰＱ）
【数１５１】
2021510885.tif 000170
値を、ＲＧＢドメインのＥＤＲ画像を用いて
【数１５２】
2021510885.tif 000171
として算出する。一実施形態において、ＥＤＲリファレンスフレームを伴わないＳＤＲフレームに対し、ａｖｇ＿ＰＱは、ＳＤＲルマヒストグラムのルマ成分と、総称的な（例えば任意のＬｘ）スライディングウィンドウにて算出されたＢＬＵＴとに基づき、
【数１５３】
2021510885.tif 000172
として算出され得る。これらの計算の例は、２０１７年６月１６日付け出願の「Ｅｆｆｉｃｉｅｎｔ  Ｅｎｄ−ｔｏ−Ｅｎｄ  Ｓｉｎｇｌｅ  Ｌａｙｅｒ  Ｉｎｖｅｒｓｅ  Ｄｉｓｐｌａｙ  Ｍａｎａｇｅｍｅｎｔ  Ｃｏｄｉｎｇ」という表題の米国仮出願第６２／５２０，８３２号に見出すことができ、この出願の開示内容を全て本願に援用する。
【０１１２】
いくつかの実施形態において、ａｖｇ＿ＰＱはいずれの特定のシーンにおいても平均化されている必要があるため、当該フレームの数についてのウィンドウベースの平均化が、シーン情報無しにａｖｇ＿ＰＱ（例えば、
【数１５４】
2021510885.tif 000173
）に適用され得る。例えば、図１３を参照しつつ、ＥＤＲリファレンス「使用」モードにおいて、シーンが検出された後にフレーム
【数１５５】
2021510885.tif 000174
の両側について長さ
【数１５６】
2021510885.tif 000175
のウィンドウを用いることにより、遅延を導入せずに当該フレームについてのａｖｇ＿ＰＱを決定できる。
【０１１３】
一実施形態の中で、「ＥＤＲリファレンス不使用」モードにおいて、Ｌ１ウィンドウにて生成された出力ルマＢＬＵＴに基づき、先読みおよび後読みの長さがそれぞれ
【数１５７】
2021510885.tif 000176
であるウィンドウを用いてウィンドウベースの平均化を適用することにより、ａｖｇ＿ＰＱが生成される。例えば、
【数１５８】
2021510885.tif 000177
時間単位のさらなる出力遅延が導入されるであろう。この場合、フレームのＲＰＵデータに対する総出力遅延は
【数１５９】
2021510885.tif 000178
となり、フレームベースの平均推定は
【数１６０】
2021510885.tif 000179
として算出される。ここで、ｔｋは
【数１６１】
2021510885.tif 000180
に亘る。その後、この区間に亘っての平均を算出することにより、現出力フレーム
【数１６２】
2021510885.tif 000181
についての最終ａｖｇ＿ＰＱが取得される。
【０１１４】
一実施形態において、この
【数１６３】
2021510885.tif 000182
時間単位の遅延を回避するために、エンコーダは、少なくともＬ２ウィンドウから取得された中間（または平滑化されていない）ルマＢＬＵＴ（例えば
【数１６４】
2021510885.tif 000183
）に基づき、フレーム平均を推定することができる。例えば、出力ＢＬＵＴ（
【数１６５】
2021510885.tif 000184
）に対する近似として用いられるＬ２レベルのルマＢＬＵＴに基づき、フレーム平均は、
【数１６６】
2021510885.tif 000185
として算出されてもよい。ここで、ｔｋは（−τＤＭ，τＤＭ）に亘る。この場合、長さ
【数１６７】
2021510885.tif 000186
の対称的なウィンドウを、Ｌ２ウィンドウからの出力が取得された後に用いることにより、ａｖｇ＿ＰＱを算出できる。結果として、これらの計算は、リニアエンコーディング方法にさらなる遅延を一切付加しない。
【０１１５】
図１３は、
【数１６８】
2021510885.tif 000187
の総遅延を伴うフレーム平均算出の一例を示している。
【数１６９】
2021510885.tif 000188
は、シーンカット情報を用いて図８のステップ４と同様なやり方で決定された、入力フレームｆｔについての左右ＤＭウィンドウ境界の時刻インデックスを表すものとする。このとき
【数１７０】
2021510885.tif 000189
は、
【数１７１】
2021510885.tif 000190
として算出され得る。ここで
【数１７２】
2021510885.tif 000191
は
【数１７３】
2021510885.tif 000192
についての左右シーン境界である。
【０１１６】
図１３に表すように
【数１７４】
2021510885.tif 000193
であるとき、左右シーン境界はＬ１ウィンドウのものと同一になることができ、ａｖｇ＿ＰＱ推定出力フレームは、最終出力フレーム
【数１７５】
2021510885.tif 000194
と同一になり得る。この場合、ａｖｇ＿ＰＱ演算により、さらなる遅延は一切導入されない。従って、この場合の総演算遅延は
【数１７６】
2021510885.tif 000195
である。
【０１１７】
次に、
【数１７７】
2021510885.tif 000196
すなわちフレーム
【数１７８】
2021510885.tif 000197
についてのスライディングウィンドウベースのａｖｇ＿ＰＱが、
【数１７９】
2021510885.tif 000198
として算出され得る。表１２において、スライディングウィンドウベースのａｖｇ＿ＰＱ算出の一例を示す。
【表１２】
2021510885.tif 000199
【０１１８】
一実施形態において、
【数１８０】
2021510885.tif 000200
についてのａｖｇ＿ＰＱ は、
【数１８１】
2021510885.tif 000201
として推定され得る。ここで、Ｃｌｉｐ３（ｍｉｎ，ｍａｘ，ｖａｌ）は、ｍｉｎで下からクリッピングされ、かつｍａｘで上からクリッピングされたｖａｌとして、定義される。ある別の実施形態において、
【数１８２】
2021510885.tif 000202
についてのａｖｇ＿ＰＱは、Ｃｌｉｐ３（（ｍｉｎ＿ＰＱ＋ΔＬ１ＡｖｇＭｉｎ），  ｍａｘ＿ＰＱ，  ａｖｇ＿ＰＱ）として推定されてもよい。  
【０１１９】
いくつかの実施形態において、ａｎｃｈｏｒ＿ＰＱおよびａｎｃｈｏｒ＿ｐｏｗｅｒ値は、２０１７年６月１６日付け出願の「Ｅｆｆｉｃｉｅｎｔ  Ｅｎｄ−ｔｏ−Ｅｎｄ  Ｓｉｎｇｌｅ  Ｌａｙｅｒ  Ｉｎｖｅｒｓｅ  Ｄｉｓｐｌａｙ  Ｍａｎａｇｅｍｅｎｔ  Ｃｏｄｉｎｇ」という表題の米国仮出願第６２／５２０，８３２号に見られる例により、１つ以上のフレームベース統計値に基づいて算出されることができ、この出願の開示内容を全て本願に援用する。
【０１２０】
例えば、ＥＤＲリファレンスを伴うＳＤＲのシナリオにおいて、フレームベース統計値は、
【数１８３】
2021510885.tif 000203
などの、ＲＧＢドメインのＥＤＲ画像を用いて算出された値を含み得る。
【０１２１】
例えば、ＥＤＲリファレンスを「伴わない」ＳＤＲのシナリオにおいて、フレームベース統計値は、
【数１８４】
2021510885.tif 000204
などの、ＳＤＲルマヒストグラムのルマ成分と、Ｌ２スライディングウィンドウを用いて算出されたＢＬＵＴと、を使用して算定された値を含み得る。
【０１２２】
これらの計算の例は、２０１７年６月１６日付け出願の「Ｅｆｆｉｃｉｅｎｔ  Ｅｎｄ−ｔｏ−Ｅｎｄ  Ｓｉｎｇｌｅ  Ｌａｙｅｒ  Ｉｎｖｅｒｓｅ  Ｄｉｓｐｌａｙ  Ｍａｎａｇｅｍｅｎｔ  Ｃｏｄｉｎｇ」という表題の米国仮出願第６２／５２０，８３２号に見出すことができ、この出願の開示内容を全て本願に援用する。
【０１２３】
図１４は、図３におけるエンコーダ３０３などのエンコーダを実装するために使用されることが可能な、データ処理システムの一例を示している。本明細書に記載のシステムおよび方法は、汎用コンピュータシステム、専用コンピュータシステム、または汎用および専用コンピュータシステムの混成を含む、様々な異なるデータ処理システムおよびデバイスにより実装されることが可能である。本明細書に記載の方法のいずれかを使用できるデータ処理システムは、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、組み込み電子機器、またはその他の電子機器を含む。
【０１２４】
図１４は、ある実施形態による、データ処理システムハードウェアのブロック図である。図１４は、データ処理システムの様々なコンポーネントを例示しているが、これらのコンポーネントを相互接続する何らかの特定のアーキテクチャや方式（ｍａｎｎｅｒ）を表すようには意図されていないことに、留意されたい。というのも、そのような細部は、本発明にとって密接に関係しないからである。また、図１４に示されるよりも少ないまたはより多いコンポーネントを有する他のタイプのデータ処理システムを、本発明の１つ以上の実施形態とともに用いてもよいことが理解されるであろう。
【０１２５】
図１４に示すように、データ処理システムは、システムの様々なコンポーネントを相互接続するために役立つ、１つ以上のバス１３０９を備える。１つ以上のプロセッサ１３０３は、当該分野で知られるように、１つ以上のバス１３０９へ結合される。メモリ１３０５は、ＤＲＡＭもしくは不揮発性ＲＡＭであってもよいし、またはフラッシュメモリもしくはその他のタイプのメモリ、あるいはそのようなメモリデバイスの組み合わせであってもよい。本メモリは、当該分野で知られる技術を用いて１つ以上のバス１３０９へ結合される。データ処理システムはまた、不揮発性メモリ１３０７をも備えることができる。これは、システムから電力が除去された後でもデータを維持する、ハードディスクドライブもしくはフラッシュメモリ、または光磁気ドライブもしくは磁気メモリ、あるいは光学ドライブその他のタイプのメモリシステムであり得る。不揮発性メモリ１３０７およびメモリ１３０５は、ともに、既知のインターフェースおよび接続技術を用いて１つ以上のバス１３０９へ結合される。ディスプレイコントローラ１３２２は、ソースディスプレイデバイス１３２３に表示されることになる表示データを受信するために、１つ以上のバス１３０９へと結合される。ソースディスプレイデバイス１３２３は、タッチスクリーンを提供するための統合タッチ入力（ｉｎｔｅｇｒａｔｅｄ  ｔｏｕｃｈ  ｉｎｐｕｔ）を含むことができる。データ処理システムはまた、１つ以上の入出力（Ｉ／Ｏ）コントローラ１３１５をも備えることができ、これは、１つ以上のマウス、タッチスクリーン、タッチパッド、ジョイスティック、および当該分野で知られるものを含むその他の入力デバイス、ならびに出力デバイス（例えばスピーカ）などの、１つ以上のＩ／Ｏデバイスのためのインターフェースを提供する。カラリストは、これらの１つ以上の入力デバイスを用いて、１つ以上の画像についてカラートリムを調整することができる。入出力デバイス１３１７は、当該分野で知られるように、１つ以上のＩ／Ｏコントローラ１３１５を介して結合される。
【０１２６】
図１４において、不揮発性メモリ１３０７およびメモリ１３０５は、ネットワークインターフェースを介してではなく、直接に１つ以上のバスへ結合されることが示されている。しかし、本発明は、ネットワークインターフェース（モデムまたはＥｔｈｅｒｎｅｔインターフェースなど）を介してデータ処理システムへ結合されたネットワーク記憶装置などの、システムから離れた（ｒｅｍｏｔｅ）不揮発性メモリを利用してもよいことが、理解されるであろう。バス１３０９は、当該分野で周知のように、様々なブリッジ、コントローラおよび／またはアダプタを介し、互いに接続されることができる。一実施形態において、Ｉ／Ｏコントローラ１３１５は、ＵＳＢ周辺機器を制御するためのＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）アダプタ、ＩＥＥＥ１３９４準拠周辺機器のためのＩＥＥＥ１３９４コントローラ、Ｔｈｕｎｄｅｒｂｏｌｔ周辺機器を制御するためのＴｈｕｎｄｅｒｂｏｌｔコントローラ、のうち１つ以上を含む。一実施形態において、１つ以上のネットワークデバイス１３２５を、バス１３０９に結合することができる。ネットワークデバイス１３２５は、カメラなどからの画像を受信する有線ネットワークデバイス（例えばＥｔｈｅｒｎｅｔ）または無線ネットワークデバイス（例えば、Ｗｉ−Ｆｉ、Ｂｌｕｅｔｏｏｔｈ）であり得る。
【０１２７】
本発明の１つ以上の実施形態を、少なくとも部分的にソフトウェアにおいて実施してもよいことは、本明細書から明らかであろう。すなわち、本技術は、非一時的な機械可読記憶媒体（例えばＤＲＡＭまたはフラッシュメモリ）などの記憶媒体に格納された命令のシーケンスを実行する１つ以上のプロセッサに応答して、データ処理システムにおいて行われ得る。様々な実施形態において、ハードワイヤード回路をソフトウェア命令と組み合わせて用いることにより、本発明を実装してもよい。ゆえに本技術は、ハードウェア回路とソフトウェアとの何らかの特定の組み合わせや、データ処理システムにより実行される命令の何らかの特定のソースに限定されるものではない。
【０１２８】
上記の明細書において、本発明を、その具体的な実施形態例に関して記述した。これらに対し、以下に続く請求項に示されるような発明のより広い意図と範囲から離れることなく、様々な変更を加え得ることは明らかであろう。従って、本明細書および図面は、限定的な意味ではなく、例示的な意味で捉えられるべきである。
【０１２９】
別々の実施形態を以下に詳細に記述する。しかし、これらの実施形態を、部分的または完全に、組み合わせたり改変したりしてもよいことに留意されたい。
【０１３０】
実施形態１は、画像データを処理する方法である。方法は、入力映像ストリームを受信する工程を含む。方法は、第１のバッファ中に、入力映像ストリームの第１組の連続部分についての統計データを、時間をかけて格納する工程を含む。第１のバッファは、各連続部分につき、シーンカットデータを表す出力を提供することになる。方法は、第２のバッファ中に、入力映像ストリームの第２組の連続部分についての統計データを、時間をかけて格納する工程を含む。第２のバッファは、第１のバッファから提供された各出力を受け取る。第２のバッファは、各連続部分につき、輝度マッピング値を表す出力を提供することになる。方法は、第３のバッファ中に、入力映像ストリームの第３組の連続部分についての統計データを、時間をかけて格納する工程を含む。第３のバッファは、第２のバッファから提供された各出力を受け取る。第３のバッファは、各連続部分につき、クロママッピング値を表す出力を提供することになる。方法は、対応付けられた輝度マッピング値および対応付けられたクロママッピング値に基づき、入力映像ストリームにおける第１の画像についてのメタデータを生成する工程を含む。メタデータは、ターゲットディスプレイにより使用されて、第１の画像に基づくが第１の画像よりも高いダイナミックレンジを有する、第２の画像を生成することになる。いくつかの実施形態において、輝度マッピング値は、平滑化された輝度マッピング値である。
【０１３１】
実施形態２は、ディスプレイマネジメントシステムにより実行されるとき実施形態１に記載の方法をシステムに実行させる命令を格納した、非一時的な機械可読媒体である。
【０１３２】
実施形態３は、実施形態１に記載の方法を実行するように構成されたメモリおよび処理システムを備える、ディスプレイマネジメントシステムである。
【０１３３】
実施形態４は、処理システムを用いるルマおよび／またはクロマ再構成の方法である。方法は、第１の画像を含む第１のダイナミックレンジにおける画像群を有する、入力映像ストリームを受信する工程を包含する。方法は、入力映像ストリームの第１の画像を表現する、第２の画像を受信する工程を含む。第２の画像は第２のダイナミックレンジを有し、第２のダイナミックレンジは第１のダイナミックレンジよりも高い。方法は、第１および第２の画像についての統計データを取得する工程を含む。方法は、第１の時間遅延にて、入力映像ストリーム中の画像群を表現するデータからシーンカットデータを決定し、シーンカットデータを第１のスライディングウィンドウに格納する工程を含む。シーンカットデータは、第１の画像の統計データと、入力映像ストリーム中で時間的に第１の画像より後の１つ以上の先読み画像の統計データと、入力映像ストリーム中で時間的に第１の画像より前の１つ以上の後読み画像の統計データとに基づき、決定される。方法は、第２の時間遅延にて、第２のスライディングウィンドウおよび決定されたシーンカットデータに基づき、第１の画像の輝度値を第１のダイナミックレンジから第２のダイナミックレンジへマッピングするための第１のマッピング関数を決定する工程を含む。方法は、第３の時間遅延にて、第３のスライディングウィンドウおよび決定されたシーンカットデータに基づき、第１のマッピング関数に平滑化演算を行うことにより、第２のマッピング関数を決定する工程を含む。方法は、第３の時間遅延にて、第３のスライディングウィンドウおよび決定されたシーンカットデータに基づき、第１の画像のクロマ値を第１のダイナミックレンジから第２のダイナミックレンジへマッピングするための第３のマッピング関数を決定する工程を含む。方法は、第３の時間遅延にて、第２および第３のマッピング関数に基づき、第１の画像についてのコンポーザメタデータを生成する工程を含む。生成されたコンポーザメタデータは、表示の際に第１の画像を第１のダイナミックレンジから第２のダイナミックレンジへマッピングするために、ターゲットディスプレイデバイスによって使用される。
【０１３４】
実施形態５は実施形態４に記載の方法であって、ここで、コンポーザメタデータは、ワンオペレーションとして入力映像ストリームから入力画像を受け取って出力コンポーザメタデータを生成することにより、１入力が１出力に帰結するように、リニア式で生成される。
【０１３５】
実施形態６は実施形態４に記載の方法であって、ここで、第１、第２、および第３のスライディングウィンドウの各々は、時間をかけて入力映像ストリームの連続部分を受け取るバッファであり、これらの部分の各々は、１組の連続する画像についてのデータを格納し、バッファが時間をかけて入力映像ストリーム上をスライドするようなものとなっている。
【０１３６】
実施形態７は実施形態４に記載の方法であって、ここで、第１、第２、および第３のスライディングウィンドウは、設定可能なバッファ長を有するリングメモリバッファを含む。
【０１３７】
実施形態８は実施形態７に記載の方法であって、ここで、統計データは、設定可能なバッファ長を有する統計リングバッファにおいて取得される。バッファ長は、第１、第２、および第３のスライディングウィンドウのバッファ長に基づき設定される。
【０１３８】
実施形態９は実施形態４に記載の方法であって、ここで、取得された統計データは、第１および第２の画像についてのシーンカットデータ統計、輝度統計、および色差統計を含む。
【０１３９】
実施形態１０は実施形態４に記載の方法であって、ここで、第１のスライディングウィンドウは、第１のスライディングウィンドウの対応する画像群における新しいシーンに対応する、１つ以上のシーンカットフラグを含む。シーンカットフラグは、各シーンにつき第１のマッピング関数に適用される平滑化を引き起こすことになる。
【０１４０】
実施形態１１は実施形態４に記載の方法であって、ここで、第２のスライディングウィンドウは、第１および第２の画像のヒストグラム統計を含む。ヒストグラム統計は、それぞれ第１または第２の画像の画素に対する符号語を代表する、１つ以上のビンを含む。
【０１４１】
実施形態１２は実施形態１１に記載の方法であって、ここで、ヒストグラム統計は、演算負荷を低減するためのダウンサンプリングされた第１および第２の画像を含む。第１および第２の画像は、それぞれ第１または第２の画像の画素に対する符号語を所定の個数のオーバーラップしないビンに分割することにより、ダウンサンプリングされる。
【０１４２】
実施形態１３は実施形態４に記載の方法であって、ここで、第１のマッピング関数を決定する工程は、第１および第２の累積ヒストグラムに基づき輝度マッピング関数を決定することを含む。第１および第２の累積ヒストグラムは、それぞれ第１および第２の画像の輝度統計から算出される。
【０１４３】
実施形態１４は実施形態１３に記載の方法であって、さらに、異なるウィンドウ長の１つ以上の平滑化ウィンドウを用いて、検出されたシーンカットデータに基づき、第１のマッピング関数に平滑化演算を行う工程を含む。
【０１４４】
実施形態１５は実施形態１３に記載の方法であって、さらに、コンポーザメタデータを生成するために、第２のマッピング関数を区分的多項式の係数に変換する工程を含む。
【０１４５】
実施形態１６は実施形態４に記載の方法であって、ここで、第２のマッピング関数を決定する工程は、最小二乗問題を解くことにより、第１および第２の画像の画素のクロマ統計に基づき多変量重回帰（ＭＭＲ）行列係数を算出することを含む。
【０１４６】
実施形態１７は実施形態１６に記載の方法であって、ここで、最小二乗問題を解くことは、差異関数を最小化することを含む。
【０１４７】
実施形態１８は実施形態４に記載の方法であって、さらに、入力映像ストリームの１つ以上の画像に色空間変換を行う工程を含む。
【０１４８】
実施形態１９は実施形態４に記載の方法であって、ここで、コンポーザメタデータは、第１の画像とは別個の画像メタデータの一部として、映像信号においてターゲットディスプレイデバイスまで搬送される。
【０１４９】
実施形態２０は実施形態４に記載の方法であって、さらに、第４のスライディングウィンドウに基づきディスプレイマネジメント（ＤＭ）メタデータを生成する工程を含む。ＤＭメタデータをターゲットディスプレイデバイスが使用して、ターゲットディスプレイのために最適化された第２の画像を生成する。
【０１５０】
実施形態２１は実施形態４に記載の方法であって、ここで、コンポーザメタデータを生成する工程は、各画像につき固有のメタデータを生成することを含む。
【０１５１】
実施形態２２は実施形態４に記載の方法であって、ここで、コンポーザメタデータを生成する工程は、入力映像ストリームの各シーンにつき固有のメタデータを生成することを含む。
【０１５２】
実施形態２３は実施形態４に記載の方法であって、ここで、第１または第２の画像の少なくとも１つは、ＩＰＴ  ＰＱ（ＩＣｔＣｐ）色空間、ＹＣｂＣｒ色空間、ＲＧＢ色空間、Ｒｅｃ．２０２０色空間、Ｒｅｃ．７０９色空間、エンハンストもしくはエクステンデッドダイナミックレンジ（ＥＤＲ）色空間、ガンマ／ＨＬＧ／ＰＱ色空間、またはスタンダードダイナミックレンジ（ＳＤＲ）色空間、のうち１つにおいて表現される。
【０１５３】
実施形態２４は実施形態４に記載の方法であって、ここで、第１の画像は、８、９、１０、または１１＋ビットのうち１つのビット深度を有する。
【０１５４】
実施形態２５は実施形態４に記載の方法であって、ここで、第２の画像は、８、９、１０、１１、１２、１３、１４、または１５＋ビットのうち１つのビット深度を有する。
【０１５５】
実施形態２６は、ディスプレイマネジメントシステムにより実行されるとき実施形態４〜２５のいずれかに記載の方法をシステムに実行させる命令を格納した、非一時的な機械可読媒体である。
【０１５６】
実施形態２７は、実施形態４〜２５のいずれかに記載の方法を実行するように構成されたメモリおよび処理システムを備える、ディスプレイマネジメントシステムである。
【０１５７】
実施形態２８は、３次元（３Ｄ）マッピング統計を用いる、プロセッサによるルマ／クロマ再構成の方法である。方法は、第１のダイナミックレンジにおける第１の画像を含む、１組の画像を有する入力映像ストリームを受信する工程を包含する。方法は、第１の画像と、第１の画像に対応する第２のダイナミックレンジにおける第２の画像と、についての３Ｄマッピング統計を生成する工程を含む。ここで、第２のダイナミックレンジは第１のダイナミックレンジよりも高い。方法は、３Ｄマッピング統計に基づき多変量重回帰（ＭＭＲ）統計を決定することにより、第１の画像に基づき第２の画像のクロマチャネル値を推定するためのクロママッピング関数を生成する工程を含む。方法は、コンポーザメタデータを生成する工程を含む。コンポーザメタデータは、表示の際に第１の画像のクロマチャネルを第１のダイナミックレンジから第２のダイナミックレンジへマッピングするためにターゲットディスプレイデバイスによって使用されるものである、クロママッピング関数を含む。
【０１５８】
実施形態２９は実施形態２８に記載の方法であって、ここで、３Ｄマッピング統計は、第１の画像の量子化を表現する３Ｄヒストグラムを含む。第１の画像は、以下の工程によって量子化される。すなわち、３Ｄヒストグラムにおける複数のビンを初期化する工程であって、各ビンは対応するカラーチャネルを有するある個数の画素を表す、工程と、第１の画像の複数の画素をスキャンする工程と、スキャンされた画素のカラーチャネルに対応する複数のビンの各々につき、カウンタをインクリメントする工程と、である。
【０１５９】
実施形態３０は実施形態２９に記載の方法であって、ここで、３Ｄヒストグラムは、入力映像ストリームの時間的に将来の入力画像群に亘り一定である最大ビン数を有する。
【０１６０】
実施形態３１は実施形態３０に記載の方法であって、ここで、３Ｄヒストグラムの各次元は、第１の画像のカラーチャネルに対応する。
【０１６１】
実施形態３２は実施形態２８に記載の方法であって、ここで、第２の画像についての３Ｄマッピング統計は、平均化された３Ｄクロマチャネルマッピング値（３Ｄ  ｃｈｒｏｍａ  ｃｈａｎｎｅｌｓ  ｍａｐｐｉｎｇ  ｖａｌｕｅｓ）を含む。
【０１６２】
実施形態３３は実施形態２８に記載の方法であって、ここで、平均化された３Ｄクロマチャネルマッピング値は、当該カラーチャネルの各々につき別々の値である。
【０１６３】
実施形態３４は実施形態２８に記載の方法であって、ここで、多変量重回帰（ＭＭＲ）統計を決定することは、３Ｄ平坦化マッピングテーブルに基づき多変量重回帰（ＭＭＲ）統計を決定することを含む。各３Ｄ平坦化マッピングテーブルは、ルマ／クロママッピングがマジョリティ画素バイアス（ｍａｊｏｒｉｔｙ  ｐｉｘｅｌ  ｂｉａｓ）を有しないように、第１の画像の複数のビンの１つを表す。
【０１６４】
実施形態３５は実施形態３４に記載の方法であって、ここで、３Ｄ平坦化マッピングテーブルは、３Ｄヒストグラムのビンの中央の値を表す複数の平坦化されたマッピング値に基づき、算出される。
【０１６５】
実施形態３６は実施形態３５に記載の方法であって、ここで、コンポーザメタデータを生成する工程は、ＭＭＲ統計についての最小二乗問題を解くことによりＭＭＲ係数を生成することを含む。
【０１６６】
実施形態３７は実施形態３６に記載の方法であって、ここで、ＭＭＲ統計は累計ＭＭＲ行列を含む。
【０１６７】
実施形態３８は実施形態３６に記載の方法であって、ここで、ＭＭＲ統計についての最小二乗問題を解くことは、差異関数を最小化することを含む。
【０１６８】
実施形態３９は実施形態２８に記載の方法であって、さらに、入力映像ストリームの１つ以上のフレームに色空間変換を行う工程を含む。
【０１６９】
実施形態４０は実施形態２８に記載の方法であって、ここで、コンポーザメタデータは、第１の画像とは別個の映像フレームメタデータの一部として、映像信号においてターゲットディスプレイデバイスまで搬送される。
【０１７０】
実施形態４１は実施形態２８に記載の方法であって、ここで、コンポーザメタデータを生成する工程は、各映像フレームにつき固有のメタデータを生成することを含む。
【０１７１】
実施形態４２は実施形態２８に記載の方法であって、ここで、コンポーザメタデータを生成する工程は、入力映像ストリームの各シーンにつき固有のメタデータを生成することを含む。
【０１７２】
実施形態４３は実施形態２８に記載の方法であって、ここで、第１または第２の画像の少なくとも１つは、ＩＰＴ  ＰＱ（ＩＣｔＣｐ）色空間、ＹＣｂＣｒ色空間、ＲＧＢ色空間、Ｒｅｃ．２０２０色空間、Ｒｅｃ．７０９色空間、エクステンデッドダイナミックレンジ（ＥＤＲ）色空間、ガンマ／ＨＬＧ／ＰＱ色空間、またはスタンダードダイナミックレンジ（ＳＤＲ）色空間、のうち１つにおいて表現される。
【０１７３】
実施形態４４は実施形態２８に記載の方法であって、ここで、第１の画像は、８、９、１０、または１１＋ビットのうち１つのビット深度を有する。
【０１７４】
実施形態４５は実施形態２８に記載の方法であって、ここで、第２の画像は、８、９、１０、１１、１２、１３、１４、または１５＋ビットのうち１つのビット深度を有する。
【０１７５】
実施形態４６は、ディスプレイマネジメントシステムにより実行されるとき実施形態２８〜４５のいずれかに記載の方法をシステムに実行させる命令を格納した、非一時的な機械可読媒体である。
【０１７６】
実施形態４７は、実施形態２８〜４５のいずれかに記載の方法を実行するように構成されたメモリおよび処理システムを備える、ディスプレイマネジメントシステムである。
【０１７７】
実施形態４８は、処理システムを用いるルマおよび／またはクロマ再構成の方法である。方法は、第１の画像を含む第１のダイナミックレンジにおける画像群を有する、入力映像ストリームを受信する工程を包含する。方法は、入力映像ストリームの第１の画像についての統計データを取得する工程を含む。統計データは、第１の画像に由来する、画像に関連した１つ以上の特徴量を含む。方法は、第１の時間遅延にて、第１の画像の統計データと、入力映像ストリーム中で時間的に第１の画像より後の１つ以上の先読み画像の統計データと、入力映像ストリーム中で時間的に第１の画像より前の１つ以上の後読み画像の統計データとに基づき、入力映像ストリーム中の画像群を表現するデータからシーンカットデータを決定し、シーンカットデータを第１のスライディングウィンドウに格納する工程を含む。方法は、第２の時間遅延にて、第２のスライディングウィンドウおよび機械学習モデルに基づき、第１の画像の輝度値を第１のダイナミックレンジから第２のダイナミックレンジへマッピングするための第１のマッピング関数を決定する工程を含む。方法は、第３の時間遅延にて、第３のスライディングウィンドウに基づき第１のマッピング関数に平滑化演算を行うことにより、第２のマッピング関数を決定する工程を含む。方法は、第３の時間遅延にて、第１および第２のマッピング関数に基づき、第１の画像についてのコンポーザメタデータを生成する工程を含む。ここで第２のマッピング関数は、機械学習モデルに基づき、第１の画像のクロマカラーチャネルを第１のダイナミックレンジから第２のダイナミックレンジへマッピングする。生成されたコンポーザメタデータをターゲットディスプレイデバイスが使用して、第２のダイナミックレンジにおいて第１の画像に対応する、第２の画像を表示する。
【０１７８】
実施形態４９は実施形態４８に記載の方法であって、ここで、コンポーザメタデータは、ワンオペレーションとして入力映像ストリームから入力画像を受け取って出力コンポーザメタデータを生成することにより、１入力が１出力に帰結するような、リニア式で生成される。
【０１７９】
実施形態５０は実施形態４８に記載の方法であって、ここで、第１および第２のスライディングウィンドウの各々は、時間をかけて入力映像ストリームの連続部分を受け取るバッファであり、これらの部分の各々は、１組の連続する画像についてのデータを格納し、バッファが時間をかけて入力映像ストリーム上をスライドするようなものとなっている。
【０１８０】
実施形態５１は実施形態４８に記載の方法であって、ここで平滑化演算は、第３のスライディングウィンドウにおいて、シーンカットデータに基づき第１のマッピング関数に行われる。
【０１８１】
実施形態５２は実施形態５１に記載の方法であって、ここで、第１、第２、および第３のスライディングウィンドウは、設定可能なバッファ長を有するリングメモリバッファを含む。
【０１８２】
実施形態５３は実施形態５２に記載の方法であって、ここで、統計データは、設定可能なバッファ長を有する統計リングバッファにおいて取得される。バッファ長は、第１、第２、および第３のスライディングウィンドウのバッファ長に基づき設定される。
【０１８３】
実施形態５４は実施形態４８に記載の方法であって、ここで、取得された統計データは、第１の画像についての、シーンカットデータ、最小／最大／平均輝度値、輝度ヒストグラム、および輝度ヒストグラムの各ビンにおけるクロマサチュレーション値を含む。
【０１８４】
実施形態５５は実施形態５４に記載の方法であって、ここで、輝度ヒストグラムは、演算負荷を低減するためのダウンサンプリングされた第１の画像に対応する。第１の画像は、第１の画像の画素に対する符号語を所定の個数のオーバーラップしないビンに分割することにより、ダウンサンプリングされる。
【０１８５】
実施形態５６は実施形態４８に記載の方法であって、ここで、画像に関連した１つ以上の特徴量は、第１の画像の最小、最大、および平均画素値の、１乗、２乗、３乗、および４乗（ｏｒｄｅｒｓ）の平均の組み合わせを含む。
【０１８６】
実施形態５７は実施形態４８に記載の方法であって、ここで、画像に関連した１つ以上の特徴量は、平均化された輝度ヒストグラムを含む。
【０１８７】
実施形態５８は実施形態４８に記載の方法であって、ここで、画像に関連した１つ以上の特徴量は、輝度ヒストグラムのビンにおける平均されたクロマサチュレーション値を含む。
【０１８８】
実施形態５９は実施形態４８に記載の方法であって、ここで、第１のスライディングウィンドウは、第１のスライディングウィンドウの対応する画像群における新しいシーンに対応する、１つ以上のシーンカットフラグを含む。
【０１８９】
実施形態６０は実施形態４８に記載の方法であって、ここで、機械学習モデルは、画像に関連した１つ以上の特徴量に基づき、第２の画像の輝度値を予測する。
【０１９０】
実施形態６１は実施形態４８に記載の方法であって、ここで、機械学習モデルは一般線形モデル（ＧＬＭ）を含む。
【０１９１】
実施形態６２は実施形態４８に記載の方法であって、さらに、コンポーザメタデータを生成するために、第１のマッピング関数を区分的多項式の係数に変換する工程を含む。
【０１９２】
実施形態６３は実施形態４８に記載の方法であって、さらに、第４のスライディングウィンドウに基づきディスプレイマネジメント（ＤＭ）メタデータを生成する工程を含む。ＤＭメタデータをターゲットディスプレイデバイスが使用して、ターゲットディスプレイのために最適化された第２の画像を生成する。
【０１９３】
実施形態６４は実施形態４８に記載の方法であって、さらに、入力映像ストリームの１つ以上の画像に色空間変換を行う工程を含む。
【０１９４】
実施形態６５は実施形態４８に記載の方法であって、ここで、コンポーザメタデータは、第１の画像とは別個の画像メタデータの一部として、映像信号においてターゲットディスプレイデバイスまで搬送される。
【０１９５】
実施形態６６は実施形態４８に記載の方法であって、ここで、コンポーザメタデータを生成する工程は、各画像につき固有のメタデータを生成することを含む。
【０１９６】
実施形態６７は実施形態４８に記載の方法であって、ここで、コンポーザメタデータを生成する工程は、入力映像ストリームの各シーンにつき固有のメタデータを生成することを含む。
【０１９７】
実施形態６８は実施形態４８に記載の方法であって、ここで、第１または第２の画像の少なくとも１つは、ＩＰＴ  ＰＱ（ＩＣｔＣｐ）色空間、ＹＣｂＣｒ色空間、ＲＧＢ色空間、Ｒｅｃ．２０２０色空間、Ｒｅｃ．７０９色空間、エクステンデッドダイナミックレンジ（ＥＤＲ）色空間、ガンマ／ＨＬＧ／ＰＱ色空間、またはスタンダードダイナミックレンジ（ＳＤＲ）色空間、のうち１つにおいて表現される。
【０１９８】
実施形態６９は実施形態４８に記載の方法であって、ここで、第１の画像は、８、９、１０、または１１＋ビットのうち１つのビット深度を有する。
【０１９９】
実施形態７０は実施形態４８に記載の方法であって、ここで、第２の画像は、８、９、１０、１１、１２、１３、１４、または１５＋ビットのうち１つのビット深度を有する。
【０２００】
実施形態７１は、ディスプレイマネジメントシステムにより実行されるとき実施形態４８〜７０のいずれかに記載の方法をシステムに実行させる命令を格納した、非一時的な機械可読媒体である。
【０２０１】
実施形態７２は、実施形態４８〜７０のいずれかに記載の方法を実行するように構成されたメモリおよび処理システムを備える、ディスプレイマネジメントシステムである。
【０２０２】
以下の表１３は、表記法のリストを示している
【表１３】
2021510885.tif 000205
2021510885.tif 000206
2021510885.tif 000207
2021510885.tif 000208
【０２０３】
本発明の様々な態様を、以下に続く列挙実施形態例（ｅｎｕｍｅｒａｔｅｄ  ｅｘａｍｐｌｅ  ｅｍｂｏｄｉｍｅｎｔｓ）（ＥＥＥ）から理解することができる。
１．  処理システムを用いるルマおよび／またはクロマ再構成の方法であって、
第１の画像を含む第１のダイナミックレンジにおける画像群を有する入力映像ストリームを受信する工程と、
前記入力映像ストリームの前記第１の画像を表現する第２の画像を受信する工程であって、前記第２の画像は第２のダイナミックレンジを有し、前記第２のダイナミックレンジは前記第１のダイナミックレンジよりも高い、工程と、
前記第１および前記第２の画像についての統計データを取得する工程と、
第１の時間遅延にて、前記入力映像ストリーム中の画像群を表現するデータからシーンカットデータを決定し、前記シーンカットデータを第１のスライディングウィンドウに格納する工程であって、前記シーンカットデータは、前記第１の画像の前記統計データと、前記入力映像ストリーム中で時間的に前記第１の画像より後の１つ以上の先読み画像の統計データと、前記入力映像ストリーム中で時間的に前記第１の画像より前の１つ以上の後読み画像の統計データとに基づき決定される、工程と、
第２の時間遅延にて、第２のスライディングウィンドウおよび前記決定されたシーンカットデータに基づき、前記第１の画像の輝度値を前記第１のダイナミックレンジから前記第２のダイナミックレンジへマッピングするための第１のマッピング関数を決定する工程と、
第３の時間遅延にて、第３のスライディングウィンドウおよび前記決定されたシーンカットデータに基づき、前記第１のマッピング関数に平滑化演算を行うことにより、第２のマッピング関数を決定する工程と、
前記第３の時間遅延にて、前記第３のスライディングウィンドウおよび前記決定されたシーンカットデータに基づき、前記第１の画像のクロマ値を前記第１のダイナミックレンジから前記第２のダイナミックレンジへマッピングするための第３のマッピング関数を決定する工程と、
前記第３の時間遅延にて、前記第２および前記第３のマッピング関数に基づき、前記第１の画像についてのコンポーザメタデータを生成する工程であって、前記生成されたコンポーザメタデータは、表示の際に前記第１の画像を前記第１のダイナミックレンジから前記第２のダイナミックレンジへマッピングするためにターゲットディスプレイデバイスによって使用されるものである、工程と、
を包含する方法。
２．  前記コンポーザメタデータは、ワンオペレーションとして前記入力映像ストリームから入力画像を受け取って出力コンポーザメタデータを生成することにより、１入力が１出力に帰結するような、リニア式で生成される、ＥＥＥ１に記載の方法。
３．  前記第１、第２、および第３のスライディングウィンドウの各々は、時間をかけて前記入力映像ストリームの連続部分を受け取るバッファであり、前記部分の各々は、１組の連続する画像についてのデータを格納し、前記バッファが時間をかけて前記入力映像ストリーム上をスライドするようなものとなっている、先行ＥＥＥのいずれかに記載の方法。
４．  前記第１、第２、および第３のスライディングウィンドウは、設定可能なバッファ長を有するリングメモリバッファを含む、先行ＥＥＥのいずれかに記載の方法。
５．  前記統計データは、設定可能なバッファ長を有する統計リングバッファにおいて取得され、前記バッファ長は、前記第１、第２、および第３のスライディングウィンドウの前記バッファ長に基づき設定される、ＥＥＥ４に記載の方法。
６．  前記取得された統計データは、前記第１および第２の画像についてのシーンカットデータ統計、輝度統計、および色差統計を含む、先行ＥＥＥのいずれかに記載の方法。
７．  前記第１のスライディングウィンドウは、前記第１のスライディングウィンドウの対応する画像群における新しいシーンに対応する、１つ以上のシーンカットフラグを含み、前記シーンカットフラグは、各シーンにつき前記第１のマッピング関数に適用される平滑化を引き起こすことになる、先行ＥＥＥのいずれかに記載の方法。
８．  前記第２のスライディングウィンドウは、前記第１および第２の画像のヒストグラム統計を含み、前記ヒストグラム統計は、それぞれ前記第１または前記第２の画像の画素に対する符号語を代表する１つ以上のビンを含む、先行ＥＥＥのいずれかに記載の方法。
９．  前記ヒストグラム統計は、演算負荷を低減するためのダウンサンプリングされた第１および第２の画像を含み、前記第１および前記第２の画像は、それぞれ前記第１または前記第２の画像の画素に対する前記符号語を所定の個数のオーバーラップしないビンに分割することにより、ダウンサンプリングされる、ＥＥＥ８に記載の方法。
１０．  前記第１のマッピング関数を決定する工程は、第１および第２の累積ヒストグラムに基づき輝度マッピング関数を決定することを含み、前記第１および前記第２の累積ヒストグラムは、それぞれ前記第１および第２の画像の輝度統計から算出される、先行ＥＥＥのいずれかに記載の方法。
１１．  異なるウィンドウ長の１つ以上の平滑化ウィンドウを用いて、前記検出されたシーンカットデータに基づき、前記第１のマッピング関数に平滑化演算を行う工程をさらに含む、ＥＥＥ１０に記載の方法。
１２．  前記コンポーザメタデータを生成するために、前記第２のマッピング関数を区分的多項式の係数に変換する工程をさらに含む、ＥＥＥ１０またはＥＥＥ１１に記載の方法。
１３．  前記第２のマッピング関数を決定する工程は、最小二乗問題を解くことにより、前記第１および前記第２の画像の画素のクロマ統計に基づき多変量重回帰（ＭＭＲ）行列係数を算出することを含む、先行ＥＥＥのいずれかに記載の方法。
１４．  前記最小二乗問題を解くことは、差異関数を最小化することを含む、ＥＥＥ１３に記載の方法。
１５．  前記入力映像ストリームの１つ以上の画像に色空間変換を行う工程をさらに含む、先行ＥＥＥのいずれかに記載の方法。
１６．  前記コンポーザメタデータは、前記第１の画像とは別個の画像メタデータの一部として、映像信号においてターゲットディスプレイデバイスまで搬送される、先行ＥＥＥのいずれかに記載の方法。
１７．  第４のスライディングウィンドウに基づきディスプレイマネジメント（ＤＭ）メタデータを生成する工程であって、前記ＤＭメタデータをターゲットディスプレイデバイスが使用して、前記ターゲットディスプレイのために最適化された前記第２の画像を生成する、工程をさらに含む、先行ＥＥＥのいずれかに記載の方法。
１８．  前記コンポーザメタデータを生成する工程は、各画像につき固有のメタデータを生成することを含む、先行ＥＥＥのいずれかに記載の方法。
１９．  前記コンポーザメタデータを生成する工程は、前記入力映像ストリームの各シーンにつき固有のメタデータを生成することを含む、先行ＥＥＥのいずれかに記載の方法。
２０．  前記第１または前記第２の画像の少なくとも１つは、ＩＰＴ  ＰＱ（ＩＣｔＣｐ）色空間、ＹＣｂＣｒ色空間、ＲＧＢ色空間、Ｒｅｃ．２０２０色空間、Ｒｅｃ．７０９色空間、エクステンデッドダイナミックレンジ（ＥＤＲ）色空間、ガンマ／ＨＬＧ／ＰＱ色空間、またはスタンダードダイナミックレンジ（ＳＤＲ）色空間のうち１つにおいて表現される、先行ＥＥＥのいずれかに記載の方法。
２１．  前記第１の画像は、８、９、１０、または１１＋ビットのうち１つのビット深度を有する、先行ＥＥＥのいずれかに記載の方法。
２２．  前記第２の画像は、８、９、１０、１１、１２、１３、１４、または１５＋ビットのうち１つのビット深度を有する、先行ＥＥＥのいずれかに記載の方法。
２３．  ディスプレイマネジメントシステムにより実行されるときＥＥＥ１〜２２のいずれかに記載の方法を前記システムに実行させる命令を格納した、非一時的な機械可読媒体。
２４．  ＥＥＥ１〜２２のいずれかに記載の方法を実行するように構成されたメモリおよび処理システムを備える、ディスプレイマネジメントシステム。
２５．  ３次元（３Ｄ）マッピング統計を用いる、プロセッサによるルマ／クロマ再構成の方法であって、
第１のダイナミックレンジにおける第１の画像を含む、１組の画像を有する入力映像ストリームを受信する工程と、
前記第１の画像と、前記第１の画像に対応する第２のダイナミックレンジにおける第２の画像と、についての３Ｄマッピング統計を生成する工程であって、前記第２のダイナミックレンジは前記第１のダイナミックレンジよりも高い、工程と、
前記３Ｄマッピング統計に基づき多変量重回帰（ＭＭＲ）統計を決定することにより、前記第１の画像に基づき前記第２の画像のクロマチャネル値を推定するためのクロママッピング関数を生成する工程と、
コンポーザメタデータを生成する工程であって、前記コンポーザメタデータは、表示の際に前記第１の画像のクロマチャネルを前記第１のダイナミックレンジから前記第２のダイナミックレンジヘマッピングするためにターゲットディスプレイデバイスによって使用されるものである、前記クロママッピング関数を含む、工程と、
を包含する方法。
２６．  前記３Ｄマッピング統計は、前記第１の画像の量子化を表現する３Ｄヒストグラムを含み、前記第１の画像は、
前記３Ｄヒストグラムにおける複数のビンを初期化する工程であって、各ビンは対応するカラーチャネルを有するある個数の画素を表す、工程と、
前記第１の画像の複数の画素をスキャンする工程と、
前記スキャンされた画素のカラーチャネルに対応する前記複数のビンの各々につき、カウンタをインクリメントする工程と、
によって量子化される、ＥＥＥ２５に記載の方法。
２７．  前記３Ｄヒストグラムは、前記入力映像ストリームの時間的に将来の入力画像群に亘り一定である最大ビン数を有する、ＥＥＥ２６に記載の方法。
２８．  前記３Ｄヒストグラムの各次元は、前記第１の画像のカラーチャネルに対応する、ＥＥＥ２７に記載の方法。
２９．  前記第２の画像についての前記３Ｄマッピング統計は、平均化された３Ｄクロマチャネルマッピング値（３Ｄ  ｃｈｒｏｍａ  ｃｈａｎｎｅｌｓ  ｍａｐｐｉｎｇ  ｖａｌｕｅｓ）を含む、ＥＥＥ２５〜２８のいずれかに記載の方法。
３０．  前記平均化された３Ｄクロマチャネルマッピング値は、当該カラーチャネルの各々につき別々の値である、ＥＥＥ２９に記載の方法。
３１．  多変量重回帰（ＭＭＲ）統計を決定することは、３Ｄ平坦化マッピングテーブルに基づき多変量重回帰（ＭＭＲ）統計を決定することを含み、各３Ｄ平坦化マッピングテーブルは、前記ルマ／クロママッピングがマジョリティ画素バイアスを有しないように、前記第１の画像の前記複数のビンの１つを表す、ＥＥＥ２５〜３０のいずれかに記載の方法。
３２．  前記３Ｄ平坦化マッピングテーブルは、３Ｄヒストグラムのビンの中央の値を表す複数の平坦化されたマッピング値に基づき算出される、ＥＥＥ３１に記載の方法。
３３．  コンポーザメタデータを生成する工程は、前記ＭＭＲ統計についての最小二乗問題を解くことによりＭＭＲ係数を生成することを含む、ＥＥＥ３２に記載の方法。
３４．  前記ＭＭＲ統計は累計ＭＭＲ行列を含む、ＥＥＥ３３に記載の方法。
３５．  前記ＭＭＲ統計についての最小二乗問題を解くことは、差異関数を最小化することを含む、ＥＥＥ３４に記載の方法。
３６．  前記入力映像ストリームの１つ以上のフレームに色空間変換を行う工程をさらに含む、ＥＥＥ２５〜３５のいずれかに記載の方法。
３７．  前記コンポーザメタデータは、前記第１の画像とは別個の映像フレームメタデータの一部として、映像信号においてターゲットディスプレイデバイスまで搬送される、ＥＥＥ２５〜３６のいずれかに記載の方法。
３８．  前記コンポーザメタデータを生成する工程は、各映像フレームにつき固有のメタデータを生成することを含む、ＥＥＥ２５〜３７のいずれかに記載の方法。
３９．  前記コンポーザメタデータを生成する工程は、前記入力映像ストリームの各シーンにつき固有のメタデータを生成することを含む、ＥＥＥ２５〜３８のいずれかに記載の方法。
４０．  前記第１または前記第２の画像の少なくとも１つは、ＩＰＴ  ＰＱ（ＩＣｔＣｐ）色空間、ＹＣｂＣｒ色空間、ＲＧＢ色空間、Ｒｅｃ．２０２０色空間、Ｒｅｃ．７０９色空間、エクステンデッドダイナミックレンジ（ＥＤＲ）色空間、ガンマ／ＨＬＧ／ＰＱ色空間、またはスタンダードダイナミックレンジ（ＳＤＲ）色空間のうち１つにおいて表現される、ＥＥＥ２５〜３９のいずれかに記載の方法。
４１．  前記第１の画像は、８、９、１０、または１１＋ビットのうち１つのビット深度を有する、ＥＥＥ２５〜４０のいずれかに記載の方法。
４２．  前記第２の画像は、８、９、１０、１１、１２、１３、１４、または１５＋ビットのうち１つのビット深度を有する、ＥＥＥ２５〜４１のいずれかに記載の方法。
４３．  ディスプレイマネジメントシステムにより実行されるときＥＥＥ２５〜４２のいずれかに記載の方法を前記システムに実行させる命令を格納した、非一時的な機械可読媒体。
４４．  ＥＥＥ２５〜４２のいずれかに記載の方法を実行するように構成されたメモリおよび処理システムを備える、ディスプレイマネジメントシステム。
４５．  処理システムを用いるルマおよび／またはクロマ再構成の方法であって、
第１の画像を含む第１のダイナミックレンジにおける画像群を有する入力映像ストリームを受信する工程と、
前記入力映像ストリームの第１の画像についての統計データを取得する工程であって、前記統計データは、前記第１の画像に由来する、画像に関連した１つ以上の特徴量を含む、工程と、
第１の時間遅延にて、前記第１の画像の前記統計データと、前記入力映像ストリーム中で時間的に前記第１の画像より後の１つ以上の先読み画像の統計データと、前記入力映像ストリーム中で時間的に前記第１の画像より前の１つ以上の後読み画像の統計データとに基づき、前記入力映像ストリーム中の画像群を表現するデータからシーンカットデータを決定し、前記シーンカットデータを第１のスライディングウィンドウに格納する工程と、
第２の時間遅延にて、第２のスライディングウィンドウおよび機械学習モデルに基づき、前記第１の画像の輝度値を前記第１のダイナミックレンジから第２のダイナミックレンジへマッピングするための第１のマッピング関数を決定する工程と、
第３の時間遅延にて、第３のスライディングウィンドウおよび前記決定されたシーンカットデータに基づき、前記第１のマッピング関数に平滑化演算を行うことにより、第２のマッピング関数を決定する工程と、
前記第３の時間遅延にて、前記第２のマッピング関数と、第３のマッピング関数とに基づき、前記第１の画像についてのコンポーザメタデータを生成する工程であって、前記第３のマッピング関数は、前記機械学習モデルに基づき、前記第１の画像のクロマカラーチャネルを前記第１のダイナミックレンジから前記第２のダイナミックレンジへマッピングするものであり、前記生成されたコンポーザメタデータをターゲットディスプレイデバイスが使用して、前記第２のダイナミックレンジにおいて前記第１の画像に対応する、第２の画像を表示する、工程と、
を包含する方法
４６．  前記コンポーザメタデータは、ワンオペレーションとして前記入力映像ストリームから入力画像を受け取って出力コンポーザメタデータを生成することにより、１入力が１出力に帰結するような、リニア式で生成される、ＥＥＥ４５に記載の方法。
４７．  前記第１および第２のスライディングウィンドウの各々は、時間をかけて前記入力映像ストリームの連続部分を受け取るバッファであり、前記部分の各々は、１組の連続する画像についてのデータを格納し、前記バッファが時間をかけて前記入力映像ストリーム上をスライドするようなものとなっている、ＥＥＥ４５または４６に記載の方法。
４８．  前記平滑化演算は、前記第３のスライディングウィンドウにおいて、前記シーンカットデータに基づき前記第１のマッピング関数に行われる、ＥＥＥ４５〜４７のいずれかに記載の方法。
４９．  前記第１、第２、および第３のスライディングウィンドウは、設定可能なバッファ長を有するリングメモリバッファを含む、ＥＥＥ４８に記載の方法。
５０．  前記統計データは、設定可能なバッファ長を有する統計リングバッファにおいて取得され、前記バッファ長は、前記第１、第２、および第３のスライディングウィンドウの前記バッファ長に基づき設定される、ＥＥＥ４９に記載の方法。
５１．  前記取得された統計データは、前記第１の画像についての、シーンカットデータ、最小／最大／平均輝度値、輝度ヒストグラム、および輝度ヒストグラムの各ビンにおけるクロマサチュレーション値を含む、ＥＥＥ４５〜５０のいずれかに記載の方法。
５２．  前記輝度ヒストグラムは、ダウンサンプリングされたヒストグラムを含み、前記ダウンサンプリングされたヒストグラムは、前記第１の画像の画素に対する符号語を所定の個数のオーバーラップしないビンに分割することにより、ダウンサンプリングされる、ＥＥＥ５１に記載の方法。
５３．  前記画像に関連した１つ以上の特徴量は、前記第１の画像の最小、最大、および平均画素値の、１乗、２乗、３乗、および４乗（ｏｒｄｅｒｓ）の平均の組み合わせを含む、ＥＥＥ４５〜５２のいずれかに記載の方法。
５４．  前記画像に関連した１つ以上の特徴量は、平均化された輝度ヒストグラムを含む、ＥＥＥ４５〜５３のいずれかに記載の方法。
５５．  前記画像に関連した１つ以上の特徴量は、輝度ヒストグラムのビンにおける平均されたクロマサチュレーション値を含む、ＥＥＥ４５〜５４のいずれかに記載の方法。
５６．  前記第１のスライディングウィンドウは、前記第１のスライディングウィンドウの対応する画像群における新しいシーンに対応する、１つ以上のシーンカットフラグを含む、ＥＥＥ４５〜５５のいずれかに記載の方法。
５７．  前記機械学習モデルは、前記画像に関連した１つ以上の特徴量に基づき、前記第２の画像の輝度値を予測する、ＥＥＥ４５〜５６のいずれかに記載の方法。
５８．  前記機械学習モデルは一般線形モデル（ＧＬＭ）を含む、ＥＥＥ４５〜５７のいずれかに記載の方法。
５９．  前記コンポーザメタデータを生成するために、前記第１のマッピング関数を区分的多項式の係数に変換する工程をさらに含む、ＥＥＥ４５〜５８のいずれかに記載の方法。
６０．  第４のスライディングウィンドウに基づきディスプレイマネジメント（ＤＭ）メタデータを生成する工程であって、前記ＤＭメタデータをターゲットディスプレイデバイスが使用して、前記ターゲットディスプレイのために最適化された前記第２の画像を生成する、工程をさらに含む、ＥＥＥ４５〜５９のいずれかに記載の方法。
６１．  前記入力映像ストリームの１つ以上の画像に色空間変換を行う工程をさらに含む、ＥＥＥ４５〜６０のいずれかに記載の方法。
６２．  前記コンポーザメタデータは、前記第１の画像とは別個の画像メタデータの一部として、映像信号においてターゲットディスプレイデバイスまで搬送される、ＥＥＥ４５〜６１のいずれかに記載の方法。
６３．  前記コンポーザメタデータを生成する工程は、各画像につき固有のメタデータを生成することを含む、ＥＥＥ４５〜６２のいずれかに記載の方法。
６４．  前記コンポーザメタデータを生成する工程は、前記入力映像ストリームの各シーンにつき固有のメタデータを生成することを含む、ＥＥＥ４５〜６３のいずれかに記載の方法。
６５．  前記第１または前記第２の画像の少なくとも１つは、ＩＰＴ  ＰＱ（ＩＣｔＣｐ）色空間、ＹＣｂＣｒ色空間、ＲＧＢ色空間、Ｒｅｃ．２０２０色空間、Ｒｅｃ．７０９色空間、エクステンデッドダイナミックレンジ（ＥＤＲ）色空間、ガンマ／ＨＬＧ／ＰＱ色空間、またはスタンダードダイナミックレンジ（ＳＤＲ）色空間のうち１つにおいて表現される、ＥＥＥ４５〜６４のいずれかに記載の方法。
６６．  前記第１の画像は、８、９、１０、または１１＋ビットのうち１つのビット深度を有する、ＥＥＥ４５〜６５のいずれかに記載の方法。
６７．  前記第２の画像は、８、９、１０、１１、１２、１３、１４、または１５＋ビットのうち１つのビット深度を有する、ＥＥＥ４５〜６６のいずれかに記載の方法。
６８．  ディスプレイマネジメントシステムにより実行されるときＥＥＥ４５〜６７のいずれかに記載の方法を前記システムに実行させる命令を格納した、非一時的な機械可読媒体。
６９．  ＥＥＥ４５〜６７のいずれかに記載の方法を実行するように構成されたメモリおよび処理システムを備える、ディスプレイマネジメントシステム。
【図１】
2021510885.tif 000209
【図２】
2021510885.tif 000210
【図３】
2021510885.tif 000211
【図４】
2021510885.tif 000212
【図５Ａ】
2021510885.tif 000213
【図５Ｂ】
2021510885.tif 000214
【図６】
2021510885.tif 000215
【図７】
2021510885.tif 000216
【図８】
2021510885.tif 000217
【図９】
2021510885.tif 000218
【図１０】
2021510885.tif 000219
【図１１】
2021510885.tif 000220
【図１２】
2021510885.tif 000221
【図１３】
2021510885.tif 000222
【図１４】
2021510885.tif 000223
【手続補正書】
【提出日】令和2年10月29日(2020.10.29)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
処理システムを用いるルマおよび／またはクロマ再構成メタデータ生成の方法であって、
第１の画像を含む第１のダイナミックレンジにおける画像群を有する入力映像ストリームを受信する工程と、
前記入力映像ストリームの前記第１の画像を表現する第２の画像を受信する工程であって、前記第２の画像は第２のダイナミックレンジを有し、前記第２のダイナミックレンジは前記第１のダイナミックレンジよりも高い、工程と、
前記第１および前記第２の画像についての統計データを取得し、前記統計データをバッファに格納する工程であって、前記取得された統計データは、前記第１および第２の画像についての輝度および色差の統計を含む、工程と、
第１の時間遅延にて、前記第１の画像と、前記入力映像ストリーム中で時間的に前記第１の画像より後の１つ以上の先読み画像と、前記入力映像ストリーム中で時間的に前記第１の画像より前の１つ以上の後読み画像と、を含む第１のスライディングウィンドウにおいて、前記統計データに基づきシーンカットデータを決定する工程と、
第２の時間遅延にて、第２のスライディングウィンドウにおいて、前記統計データおよび決定されたシーンカットデータに基づき、前記第１の画像の輝度値を前記第１のダイナミックレンジから前記第２のダイナミックレンジへマッピングするための第１のマッピング関数を決定する工程と、
第３の時間遅延にて、第３のスライディングウィンドウにおいて、前記第１のマッピング関数および前記決定されたシーンカットデータに基づき、前記第１のマッピング関数に平滑化演算を行うことにより、第２のマッピング関数を決定する工程と、
前記第３の時間遅延にて、前記第３のスライディングウィンドウにおいて、前記統計データおよび前記決定されたシーンカットデータに基づき、前記第１の画像のクロマ値を前記第１のダイナミックレンジから前記第２のダイナミックレンジへマッピングするための第３のマッピング関数を決定する工程と、
前記第３の時間遅延にて、前記第２および前記第３のマッピング関数に基づき、前記第１の画像についてのコンポーザメタデータを生成する工程であって、前記生成されたコンポーザメタデータは、表示の際に前記第１の画像を前記第１のダイナミックレンジから前記第２のダイナミックレンジへマッピングするためにターゲットディスプレイデバイスによって使用されるものである、工程と、
を包含する方法。
【請求項２】
前記処理システムはリニアエンコーダであり、前記リニアエンコーダは、入力フレームと、対応するコンポーザメタデータとの間に、設定可能な時間遅延を有する、請求項１に記載の方法。
【請求項３】
前記第１、第２、および第３のスライディングウィンドウの各々は、時間をかけて前記入力映像ストリームの連続部分を受け取るバッファであり、前記部分の各々は、１組の連続する画像についてのデータを格納し、前記バッファが時間をかけて前記入力映像ストリーム上をスライドするようなものとなっている、請求項１または２に記載の方法。
【請求項４】
前記第１、第２、および第３のスライディングウィンドウは、設定可能なバッファ長を有するリングメモリバッファとして実装される、請求項１から３のいずれかに記載の方法。
【請求項５】
前記統計データは、設定可能なバッファ長を有する統計リングバッファにおいて取得され、前記バッファ長は、前記第１、第２、および第３のスライディングウィンドウの前記バッファ長に基づき設定される、請求項４に記載の方法。
【請求項６】
前記第２のスライディングウィンドウを実装する前記リングメモリバッファは、前記第１および第２の画像のヒストグラム統計を格納し、前記ヒストグラム統計は、それぞれ前記第１または前記第２の画像の画素に対する符号語を代表する１つ以上のビンを含む、請求項４に記載の方法。
【請求項７】
前記ヒストグラム統計は、それぞれ前記第１または前記第２の画像の画素に対する前記符号語を所定の個数のオーバーラップしないビンに分割することにより、ダウンサンプリングされる、請求項６に記載の方法。
【請求項８】
前記第１のマッピング関数を決定する工程は、第１および第２の累積ヒストグラムに基づき輝度マッピング関数を決定することを含み、前記第１および前記第２の累積ヒストグラムは、それぞれ前記第１および第２の画像の輝度統計から算出される、請求項１から７のいずれかに記載の方法。
【請求項９】
前記第２のマッピング関数は、逆方向再構成ルックアップテーブル（ＢＬＵＴ）である、請求項１に記載の方法。
【請求項１０】
異なるウィンドウ長の１つ以上の平滑化ウィンドウを用いて、前記検出されたシーンカットデータに基づき、前記第１のマッピング関数に平滑化演算を行う工程をさらに含む、請求項１に記載の方法。
【請求項１１】
前記コンポーザメタデータを生成するために、前記第２のマッピング関数を区分的多項式の係数に変換する工程をさらに含む、請求項１０に記載の方法。
【請求項１２】
前記第３のマッピング関数を決定する工程は、最小二乗問題を解くことにより、前記第１および前記第２の画像の画素のクロマ統計に基づき多変量重回帰（ＭＭＲ）行列係数を算出することを含む、請求項１から１１のいずれかに記載の方法。
【請求項１３】
ディスプレイマネジメントシステムにより実行されるとき請求項１から１２のいずれかに記載の方法を前記システムに実行させる命令を格納した、非一時的な機械可読媒体。
【請求項１４】
請求項１から１２のいずれかに記載の方法を実行するように構成されたメモリおよび処理システムを備える、ディスプレイマネジメントシステム。
【国際調査報告】
2021510885.tif 000224
2021510885.tif 000225