(57)【特許請求の範囲】
【請求項１】
プロセッサを用いる、セグメントベースのルマおよび／またはクロマ再構成のための方法であって、
第１のダイナミックレンジにある入力映像信号を受信するステップと、
前記入力映像信号をセグメントに分割するステップであって、各セグメントは、１シークエンスの連続する固定長の一次フレームおよび１つ以上のブロックの連続する二次フレームを含み、２つの連続するセグメントについて、前記セグメントのうちの一方についての二次フレームは、他方のセグメントの一次フレームとオーバーラップし、前記入力映像信号の各セグメントは、最初のセグメントを除いて、前記１シークエンスの連続する一次フレームの前に位置する、２つのルックバックオーバーラップサブセグメントおよび１つのルックバックシーンカットオーバーラップサブセグメントを形成する連続する二次フレームの先頭ルックバックブロックと、最後のセグメントを除いて、２つのルックアヘッドオーバーラップサブセグメントおよび１つのルックアヘッドシーンカットオーバーラップサブセグメントを形成する連続する二次フレームの末尾ルックアヘッドブロックとを含む、ステップと、
ノードプロセッサによって処理されるセグメントについて、
前記セグメント中の前記一次および二次フレームのそれぞれを、第２のダイナミックレンジにある二次映像信号の対応する一次および二次フレームに変換するステップであって、前記第２のダイナミックレンジは、前記第１のダイナミックレンジよりも高い、ステップと、
前記セグメント中の、前記入力映像信号の入力映像フレームおよび前記二次映像信号の二次映像フレームの画素値の統計データを収集するステップであって、前記セグメント中の前記入力映像フレームおよび前記二次映像フレームの輝度ピクセル値についてのヒストグラムを計算するステップを含む、ステップと、
前記セグメント中の前記入力映像フレームのフレームについてのシーンカット情報を収集するステップと、
前記セグメント中の前記一次フレームおよび前記セグメント中の前記二次フレームの第１の部分を含む前記入力映像信号の連続するフレームの第１のサブセグメントを生成するステップであって、前記セグメント中の前記入力映像フレームおよび前記二次映像フレームの画素値の統計データを収集するステップは、
前記第１のサブセグメント中の前記入力映像フレームの輝度ピクセル値の第１のヒストグラムを計算するステップと、
対応する前記二次映像フレームの輝度ピクセル値の第２のヒストグラムを計算するステップとを含む、ステップと、
前記入力映像信号の前記第１のサブセグメント中の各フレームｊについて、
前記入力映像フレームおよび前記二次映像フレームの画素値の収集された前記統計データを、第１のスライディングウィンドウにわたって平滑化するステップであって、前記第１のスライディングウィンドウは、前記第１のサブセグメントのフレームを中心とし、前記入力映像フレームの範囲内で検出される前記セグメント中の任意の数のシーンカットに基づいて境界づけられており、前記第１のスライディングウィンドウは、平滑化オーバーラップ
【数１】
0006684971.tif 000101
、前記第１のサブセグメントの前記フレームｊについての最も近い左のシーンカット
【数２】
0006684971.tif 000102
および
前記第１のサブセグメントの前記フレームｊについての最も近い右のシーンカット
【数３】
0006684971.tif 000103
に依存するフレーム範囲を有し、平滑化は、前記第１のヒストグラムおよび前記第２のヒストグラムに基づいて、前記第１のサブセグメント中の前記フレームについて平滑化された第１のヒストグラムおよび平滑化された第２のヒストグラムを生成するステップを含む、ステップと、
平滑化された前記統計データに基づいて、前記第１のサブセグメント中の前記フレームの輝度値を前記第１のダイナミックレンジから前記第２のダイナミックレンジにマッピングするための、第１のルママッピングを決定するステップであって、前記第１のサブセグメント中のフレームについて、前記第１のルママッピングを計算するステップは、
前記フレームについての第１の累積分布関数（ＣＤＦ）を、前記平滑化された第１のヒストグラムに基づいて計算するステップと、
前記フレームについての第２の累積分布関数を、前記平滑化された第２のヒストグラムに基づいて計算するステップと、
前記第１のルママッピングを、前記第１のＣＤＦおよび第２のＣＤＦのマッチングに基づいて、計算するステップとを含む、ステップと、
前記入力映像信号の前記セグメント中の各一次フレームについて、
第２のスライディングウィンドウにわたって前記第１のルママッピングを平滑化するステップであって、前記第２のスライディングウィンドウは、前記一次フレームを中心とし、前記セグメント中の任意の数のシーンカットに基づいて境界づけられ、前記第２のスライディングウィンドウは、平滑化オーバーラップ
【数４】
0006684971.tif 000104
、前記一次フレームについての前記最も近い左のシーンカット
【数５】
0006684971.tif 000105
および
前記一次フレームについての前記最も近い右のシーンカット
【数６】
0006684971.tif 000106
に依存するフレーム範囲を有し、前記一次フレームの輝度値を前記第１のダイナミックレンジから前記第２のダイナミックレンジにマッピングするための第２のルママッピングを決定する、ステップと、
前記統計データおよび多変量多重回帰（ＭＭＲ）予測モデルに基づいて、前記一次フレームのクロマ値を前記第１のダイナミックレンジから前記第２のダイナミックレンジにあるクロマ値にマッピングするためのクロママッピングを決定し、前記クロママッピングを前記第２のスライディングウィンドウにわたって平滑化するステップと、
前記第２のルママッピングおよび前記クロママッピングに基づいて、前記セグメント中の前記フレームについてのコンポーザメタデータを生成するステップであって、前記コンポーザメタデータは、前記第２のルママッピングのパラメータ表現および逆方向再構成行列Ｍを含む、ステップと、
を含む方法。
【請求項２】
統計データを収集するステップは、
前記第１のダイナミックレンジにある前記入力映像信号の入力映像フレームおよび前記第２のダイナミックレンジにある前記二次映像信号の対応する二次映像フレームを含む１対の画像について、
前記入力映像フレーム中の画素値の第１の画像ヒストグラムを計算するステップと、
前記二次映像フレーム中の画素値の第２の画像ヒストグラムを計算するステップと、
を含む、請求項１に記載の方法。
【請求項３】
前記方法は、前記入力映像フレームの画素値を使用して前記二次映像フレームの予測された画素値を生成するために使用される前記ＭＭＲ予測モデルにしたがって、
【数７】
0006684971.tif 000107
を計算するステップをさらに含み、
ｊは、前記入力映像信号中の前記入力映像フレームのインデックスを表し、Ｔは、行列の転置を表し、
【数８】
0006684971.tif 000108
は、前記二次映像フレームの画素値を含み、
【数９】
0006684971.tif 000109
は、前記入力映像フレームの値を含む、請求項２に記載の方法。
【請求項４】
前記予測モデルは、
【数１０】
0006684971.tif 000110
と表現され、
【数１１】
0006684971.tif 000111
は、前記二次映像フレームの前記予測された画素値を表し、Ｍは、前記予測モデルを特徴づける前記逆方向再構成行列を表す、請求項３に記載の方法。
【請求項５】
前記セグメント中の一次フレームについて、前記クロママッピングを計算するステップは、
前記第２のスライディングウィンドウ内のすべてのフレームのＡjおよびＢjの値に基づいて、前記セグメント中の前記一次フレームについて更新されたＡjおよびＢｊの値を計算するステップと、
前記更新されたＡjおよびＢｊの値に基づいて前記平滑化クロママッピングを決定するステップと、
を含む、請求項３または４に記載の方法。
【請求項６】
前記更新されたＡjおよびＢｊの値を計算し、前記平滑化クロママッピングを決定するステップは、
【数１２】
0006684971.tif 000112
および
【数１３】
0006684971.tif 000113
を計算するステップをさらに含み、
ＡおよびＢは、前記一次フレームについての前記更新されたＡjおよびＢｊの値を表し、
【数１４】
0006684971.tif 000114
は、前記平滑化クロママッピングのパラメータ行列を表し、
【数１５】
0006684971.tif 000115
は、前記第２のスライディングウィンドウ内の開始および終了フレームを表す、請求項５に記載の方法。
【請求項７】
前記フレームの前記クロママッピングについてのコンポーザメタデータは、前記
【数１６】
0006684971.tif 000116
行列の要素を含む、請求項６に記載の方法。
【請求項８】
前記第１のルママッピングを前記第２のスライディングウィンドウにわたって平滑化するステップは、前記第１のルママッピングを前記第２のスライディングウィンドウにわたって平均化するステップを含む、請求項１〜７のいずれかに記載の方法。
【請求項９】
前記第２のルママッピングに基づいて前記フレームについてのコンポーザメタデータを生成するステップは、
前記第２のルママッピングを区分的関数のパラメータ表現として表すステップ
を含む、請求項１〜８のいずれかに記載の方法。
【請求項１０】
前記セグメントについて送信されるメタデータの量を、コンポーザメタデータ圧縮ステップを適用することによって低減するステップをさらに含み、
前記コンポーザメタデータ圧縮ステップは、
前記セグメントの前記一次フレームをフレームの非オーバーラップクラスタに分割するステップと、
各クラスタ内のアンカーフレームを決定するステップと、
各クラスタ内の前記アンカーフレームについてのみコンポーザメタデータを送信するステップと、
を含む、請求項１〜９のいずれかに記載の方法。
【請求項１１】
前記一次フレームをクラスタに分割するステップは、
前記セグメントの第１の一次フレームを前記第１のクラスタの第１のアンカーフレームとして表すステップと、
前記セグメント中の各後の一次フレームについて、前記後のフレームと前記第１のアンカーフレームとの間の類似性尺度を計算するステップと、
前記類似性尺度が閾値より低い場合、前記後のフレームを前記第１のクラスタに割り当て、そうでなければ、新しいクラスタを生成するステップであって、前記後のフレームは、前記新しいクラスタのアンカーフレームとして表される、ステップと、
を含む、請求項１０に記載の方法。
【請求項１２】
前記一次フレームをクラスタに分割するステップは、
前記セグメント中の前記フレームについてバイナリマップ（Ｂi,j）を生成するステップであって、１に等しい、前記バイナリマップの要素（ｉ，ｊ）は、前記セグメント中のフレームｉおよびｊ間の類似性尺度が閾値より低いことを表す、ステップと、
ａ）ｋが新しいクラスタαの開始フレームを表すとするステップと、
ｂ）フレームｋの後の各フレームｊについて、Ｂj,k＝１であるフレームｋの後のフレームのセットを見つけ、それらをカウントするステップと、
ｃ）ステップｂ）に基づいて、最も長く続く類似フレームを見つけ、それらを前記クラスタα内の前記フレームセットに含めるステップと、
ｄ）前記最も長く続くフレームを前記アンカーフレームとして表すステップと、
を含む、請求項１０または１１に記載の方法。
【請求項１３】
プロセッサを備え、請求項１〜１２に記載の方法のいずれか１つを行うように構成された装置。
【請求項１４】
請求項１〜１２に記載のいずれかに係る方法を実行するためのコンピュータ読み取り可能な命令を記憶する非一時的なコンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願の相互参照
本願は、２０１７年１月１８日に出願された米国仮特許出願第６２／４４７，５１７号および同日に出願された欧州特許出願第１７１５２００４．２号に基づく優先権を主張するものであり、両出願の開示内容を全て本願に援用する。
【０００２】
本発明は、画像全般に関する。より詳細には、本発明の一実施形態は、セグメントベース再構成を使用して、ハイダイナミックレンジの映像信号を符号化することに関する。
【背景技術】
【０００３】
本明細書において、用語「ダイナミックレンジ」（ＤＲ）は、人間の視覚系（ＨＶＳ）が画像においてある範囲の強度（例えば、輝度、ルマ）（例えば、最も暗いグレー（黒）から最も明るい白（ハイライト）まで）を知覚する能力に関し得る。この意味では、ＤＲは、「シーン−リファード（ｓｃｅｎｅ−ｒｅｆｅｒｒｅｄ）」な強度に関する。ＤＲはまた、ディスプレイデバイスが特定幅を有する強度範囲を十分にまたは近似的に描画する能力にも関し得る。この意味では、ＤＲは、「ディスプレイ−リファード（ｄｉｓｐｌａｙ−ｒｅｆｅｒｒｅｄ）」な強度に関する。本明細書中のいずれの箇所においても、一方の特定の意味が特に重要であると明示されない限り、この用語は、どちらの意味にも（例えば、交換可能に）使用できるものとする。
【０００４】
本明細書において、ハイダイナミックレンジ（ＨＤＲ）という用語は、人間の視覚系（ＨＶＳ）においておよそ１４〜１５桁にわたるＤＲ幅に関する。実際、人間は、幅広い強度範囲を同時に知覚し得るが、そのＤＲは、ＨＤＲに対して幾分端折られ得る。本明細書において、エンハンストダイナミックレンジ（ＥＤＲ）または視覚ダイナミックレンジ（ＶＤＲ）という用語は、個別にまたは交換可能に、人間の視覚系（ＨＶＳ）（眼球運動を含み、シーンまたは画像全体においてある程度の明順応変化を可能にする）がシーンまたは画像において知覚可能なＤＲに関する。本明細書において、ＥＤＲは、５〜６桁にわたるＤＲに関し得る。従って、ＥＤＲは、真のシーンリファードなＨＤＲに対しては幾分狭いものの、広いＤＲ幅を表し、ＨＤＲとも呼ばれ得る。
【０００５】
実際、画像は、１つ以上の色成分（例えば、ルマＹならびにクロマＣｂおよびＣｒ）を有し、各色成分は、１画素あたりｎビットの精度（例えば、ｎ＝８）で表される。線形輝度符号化（ｌｉｎｅａｒ  ｌｕｍｉｎａｎｃｅ  ｃｏｄｉｎｇ）を使用する場合、ｎ≦８の画像（例えば、カラー２４ビットＪＰＥＧ画像）は、スタンダードダイナミックレンジの画像とされ、ｎ＞８の画像は、エンハンストダイナミックレンジの画像とされる。ＥＤＲおよびＨＤＲ画像はまた、Ｉｎｄｕｓｔｒｉａｌ  Ｌｉｇｈｔ  ａｎｄ  Ｍａｇｉｃが開発したＯｐｅｎＥＸＲファイルフォーマットなどの高精度の（例えば、１６ビット）浮動小数点フォーマットを使用して、格納および配布され得る。
【０００６】
あるディスプレイについてのリファレンス電気−光伝達関数（ＥＯＴＦ）は、入力映像信号の色値（ｃｏｌｏｒ  ｖａｌｕｅｓ）（例えば、輝度）間の関係を特徴づけて、そのディスプレイによって作成される出力スクリーン色値（例えば、スクリーン輝度）を出力する。例えば、Ｒｅｆ．［１］において、ＩＴＵ  Ｒｅｃ．ＢＴ．１８８６は、陰極線管（ＣＲＴ）の測定された特性に基づいて、フラットパネルディスプレイ用のリファレンスＥＯＴＦを規定している。ある映像ストリームが与えられると、そのＥＯＴＦに関する情報が、典型的にはメタデータとしてビットストリーム中に埋め込まれる。本明細書において、用語「メタデータ」は、符号化されたビットストリームの一部として送信され、デコーダによる復号化画像の描画を補助する、任意の補助情報に関する。そのようなメタデータは、本明細書において記載されるような、色空間または色域情報、リファレンスディスプレイパラメータ、および補助信号パラメータなどを含み得るが、それらに限定されない。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ほとんどのコンシューマー用デスクトップディスプレイは、現在２００〜３００ｃｄ／ｍ２またはニトの輝度をサポートしている。ほとんどのコンシューマー用ＨＤＴＶは、３００〜５００ニトの範囲であるが、新しいモデルは、１０００ニト（ｃｄ／ｍ２）に達する。従って、そのような従来ディスプレイは、ＨＤＲやＥＤＲに対し、より低いダイナミックレンジ（ＬＤＲ）（スタンダードダイナミックレンジ（ＳＤＲ）とも呼ばれる）の典型例である。撮像機器（例えば、カメラ）およびＨＤＲディスプレイ（例えば、Ｄｏｌｂｙ  ＬａｂｏｒａｔｏｒｉｅｓのＰＲＭ−４２００プロフェッショナルリファレンスモニター）における進歩によってＨＤＲコンテンツの普及が進むにつれ、ＨＤＲコンテンツは、カラーグレーディングされ、より高いダイナミックレンジ（例えば１０００ニトから５０００ニト以上）をサポートするＨＤＲディスプレイ上に表示され得る。そのようなディスプレイは、高輝度能力（例えば、０〜１００００ニト）をサポートする別のＥＯＴＦを用いて規定され得る。そのようなＥＯＴＦの一例が、ＳＭＰＴＥ  ＳＴ  ２０８４：２０１４（Ｒｅｆ．［２］）に規定されている。本開示の方法は、概して、ＳＤＲよりも高い任意のダイナミックレンジに関するが、これに限定されない。
【０００８】
本明細書において、用語「再構成」は、ＨＤＲ画像に対するスケーリング、量子化などの前処理操作を指し、元のビット深度からより低いかまたは同一のビット深度の画像へとマッピングすることで、既存の符号化規格および機器を用いてより効率的な符号化を行うことを可能にすることを言う。エンコーダによって用いられる「逆方向（ｂａｃｋｗａｒｄ）または逆（ｉｎｖｅｒｓｅ）再構成」パラメータを、メタデータを用いて符号化ビットストリームの一部として受信機に伝え、準拠デコーダが「逆」または「逆方向再構成」操作を適用することにより、元の信号をそのフルダイナミックレンジで復元し得る。再構成は、ＨＤＲ信号の色成分のうちのいずれかまたは全てに対して適用し得る。いつかの実施形態において、再構成はまた、例えばディレクターの監督下において彩色者によって指定される色または「見え」の正確性などに関しての、元の画像の芸術的な意図を、符号化された画像において維持するという要件によって拘束され得る。
【０００９】
既存の再構成技術は、典型的にはシーンベース（ｓｃｅｎｅ−ｂａｓｅｄ）である。本明細書において、映像シークエンス（１シークエンスのフレーム／画像）についての用語「シーン」とは、同様の輝度、カラーおよびダイナミックレンジ特性を共通に有する映像シークエンス中の一続きの連続するフレームを指し得る。シーンベースの方法は、シーン全体にアクセスできる映像ワークフローパイプラインにおいては十分に機能するが、コンテンツプロバイダがクラウドベースのマルチプロセッシングを使用することも少なくない。クラウドベースのマルチプロセッシングにおいては、映像ストリームをセグメントに分割した後で、各セグメントがクラウドにおける個々のコンピューティングノードによって独立して処理される。本明細書において、用語「セグメント」は、映像シークエンス中の一続きの連続するフレームを表す。セグメントは、シーンの一部であってもよいし、あるいは１つ以上の複数のシーンを含んでもよい。このように、シーンの処理は、複数のプロセッサにわたって分割され得る。本発明者らの理解によれば、既存の符号化方式を改善するために、ＨＤＲ映像のセグメントベース再構成を行うための改善された技術が開発される。
【００１０】
本節に記載されたアプローチは、検討され得るアプローチではあるが、必ずしもこれまでに着想または検討されてきたアプローチではない。従って、特に断らない限り、本節に記載されたアプローチはいずれも、本節に記載されているというだけで従来技術とみなされるべきではない。同様に、特に断らない限り、１つ以上のアプローチに関して特定される問題が、本節に基づいて、いずれかの先行技術分野においてすでに認識されていると考えるべきではない。
【図面の簡単な説明】
【００１１】
本発明の一実施形態を添付の図面に図において例を用いて説明するが、それらに限定されない。図面において、同様の参照符号は、同様の要素を指す。
【００１２】
【図１】図１は、本発明の一実施形態に係る再構成技術を使用するデータ符号化および復号化のための一処理例を示す。
【図２】図２は、本発明の一実施形態に係る逆方向ルマ再構成関数の一例を示す。
【図３】図３は、本発明の一実施形態に係る２段階分散的再構成処理の一例を示す。
【図４】図４は、本発明の一実施形態に係る１段階分散的再構成処理の一例を示す。
【図５】図５は、本発明の一実施形態に係るセグメントベース再構成のための拡張セグメント構造の一例を示す。
【図６Ａ】図６Ａは、本発明の一実施形態に係るコンポーザメタデータクラスタを決定するための一処理例を示す。
【図６Ｂ】図６Ｂは、図６Ａに示す処理に係るコンポーザメタデータクラスタの決定の一例を示す。
【発明を実施するための形態】
【００１３】
ハイダイナミックレンジ（ＨＤＲ）画像のためのセグメントベース再構成技術を説明する。以下の説明において、便宜上、本発明を完全に理解できるように、多くの詳細事項を説明する。ただし、これらの詳細事項が無くても本発明が実施可能であることは明白であろう。他方、本発明の説明を不必要に煩雑にしたり、不明瞭にしたり、難読化したりしないように、周知の構造およびデバイスの細かな詳細までは説明しない。
【００１４】
概要
本明細書において説明する例示の実施形態は、受信したＳＤＲ画像に基づいてデコーダにおいてＨＤＲ画像を構成するために、エンコーダからデコーダに送信される、コンポーザメタデータを生成することに関する。第１の実施形態において、プロセッサは、第１のダイナミックレンジ（例えば、ＳＤＲ）にある代表的な入力映像クリップのデータベースにアクセスし、その入力映像クリップを、第１のダイナミックレンジよりも高い第２のダイナミックレンジ（例えば、ＥＤＲまたはＨＤＲ）にある出力クリップに変換する。プロセッサは、入力映像クリップのフレームに基づいて第１のダイナミックレンジにある輝度画素値の第１のヒストグラムを計算し、出力映像クリップのフレームに基づいて第２のダイナミックレンジにある輝度画素値の第２のヒストグラムを計算する。プロセッサは、第１のヒストグラムに基づいて第１のダイナミックレンジにあるルマ画素値についての第１のルマ累積分布関数（ＣＤＦ）を計算し、第２のヒストグラムに基づいて、第２のダイナミックレンジにある輝度画素値についての第２のルマＣＤＦを計算する。プロセッサは、第１および第２のＣＤＦに基づいて、第１のダイナミックレンジにある画素の輝度値を第２のダイナミックレンジにマッピングするためのルママッピングを計算する。入力および出力映像データから集められた統計データならびにクロマ予測モデルに基づいて、プロセッサは、第１のダイナミックレンジにある画素値のクロマ値を第２のダイナミックレンジにあるクロマ値にマッピングするためのクロママッピングを計算する。次いで、プロセッサは、ルママッピングおよびクロママッピングに基づいて、第１のダイナミックレンジにおけるすべての符号化対象フレームについて、スタティックなコンポーザメタデータを生成する。
【００１５】
第２の実施形態において、プロセッサは、第１のダイナミックレンジにある入力映像信号を受信し、その入力映像信号を複数のセグメントに分割する。各セグメントは、別個のノードプロセッサに分散される。あるノードプロセッサは、自身のセグメント中の入力映像信号の各フレームを、第２のダイナミックレンジにある第２の映像信号の対応するフレームに変換する。ここで、第２のダイナミックレンジは、第１のダイナミックレンジよりも高い。ノードプロセッサは、自身のセグメント中の入力映像フレームおよび第２の映像フレームに基づいて統計データを生成する。ノードプロセッサは、自身のセグメント中の入力映像フレームのフレームについてシーンカット情報を収集する。ポストプロセッサにおいて、１つ以上のセグメントからのシーンカット情報に基づいてシーン境界が特定される。ポストプロセッサは、シーン境界内のすべてのフレームの生成された統計に基づいて更新された統計を生成し、ａ）更新された統計に基づく、シーン境界内のフレームの輝度値を第１のダイナミックレンジから第２のダイナミックレンジにマッピングするためのルママッピング、およびｂ）更新された統計に基づく、シーン境界内のフレームのクロマ値を第１のダイナミックレンジから第２のダイナミックレンジにマッピングするためのクロママッピングを決定する。次いで、ポストプロセッサは、ルママッピングおよびクロママッピングに基づいて、シーン境界内のフレームについてコンポーザメタデータを生成する。
【００１６】
第３の実施形態において、プロセッサは、第１のダイナミックレンジにある入力映像信号を受信し、その入力映像信号を複数のセグメントに分割する。各セグメントは、一次フレーム（５１０）および二次（パディング化）フレームを含む。ここで、２つの連続するセグメントについて、そのセグメントのうちの一方についてのパディング化フレームは、他方のセグメントの一次フレームとオーバーラップする。各セグメントは、１つのノードプロセッサによって処理される。ノードプロセッサは、自身のセグメント中の入力映像信号の一次およびパディング化フレームのそれぞれを、第２のダイナミックレンジ（４１７）内の第２の映像信号の対応する一次およびパディング化フレームに変換する。ここで、第２のダイナミックレンジは、第１のダイナミックレンジよりも高い。ノードプロセッサは、自身のセグメント中の入力映像フレームおよび第２の映像フレームに基づいて、統計データ（４２０）を集め、自身のセグメント中の入力映像フレームのフレームについてのシーンカット情報（４２５）を収集する。ノードプロセッサは、自身のセグメント中の一次フレームおよび自身のセグメント中のパディング化フレームの第１部分を含む入力映像の第１のサブセグメントを生成し、次いで、入力映像（４３０）の第１のサブセグメント中の各フレームについて、ａ）第１のサブセグメントのフレームを中心とし、セグメント中のシーンカットに基づいて調節された第１のスライディングウィンドウに基づいて、平滑化された統計データの第１のサポートフレームセット（５３０）を計算し、ｂ）統計データおよび第１のサポートフレームセットに基づいて、第１のサブセグメント中のフレームの輝度値を第１のダイナミックレンジから第２のダイナミックレンジにマッピングするための第１のルママッピングを決定する。次に、ノードプロセッサは、入力映像（４３５）のセグメント中の各一次フレームについて、ａ）一次フレームを中心とし、セグメント中のシーンカットに基づいて調節された第２のスライディングウィンドウに基づいて、平滑化された第１のルママッピングの第２のサポートフレームセット（５４５）を計算し、ｂ）第１のマッピングおよび第２のサポートフレームセットに基づいて、一次フレームの輝度値を第１のダイナミックレンジから第２のダイナミックレンジにマッピングするための第２のルママッピングを決定し、ｃ）統計データおよび第２のサポートフレームセットに基づいて、一次フレームのクロマ値を第１のダイナミックレンジから第２のダイナミックレンジにあるクロマ値にマッピングするためのクロママッピングを決定する。次いで、ノードプロセッサは、第２のルママッピングおよびクロママッピングに基づいて、セグメント中のフレームについてコンポーザメタデータを生成する。
【００１７】
映像供給処理パイプラインの例
信号再構成
現在、映像供給用のほとんどのデジタルインターフェース、例えばＳｅｒｉａｌ  Ｄｉｇｉｔａｌ  Ｉｎｔｅｒｆａｃｅ（ＳＤＩ）などは、各成分につき画素あたり１２ビットに制限されている。さらに、ほとんどの圧縮規格の実用的な態様、例えばＨ．２６４（またはＡＶＣ）およびＨ．２６５（またはＨＥＶＣ）などは、各成分につき画素あたり１０ビットに制限されている。したがって、既存のインフラストラクチャおよび圧縮規格内において、約０．００１から１０，０００ｃｄ／ｍ２（またはニト）のダイナミックレンジを有するＨＤＲコンテンツをサポートするためには、効率的な符号化および／または量子化が必要である。
【００１８】
図１は、本発明の一実施形態に係るルマおよびクロマ再構成を使用するデータ符号化（１００−Ｅ）および復号化（１００−Ｄ）のための一処理例（１００）を示す。エンコーダ（１００−Ｅ）において、映像シークエンスは、ハイダイナミックレンジ（ＥＤＲ、１０２）およびスタンダードダイナミックレンジ（ＳＤＲ、１０４）フォーマットの両方で利用可能であり得る。一実施形態において、ＥＤＲシークエンス（本明細書において、ｉＤＭ  ＥＤＲとも称する）は、逆マッピング処理（ｉＤＭ）（１４０）を使用して、ＳＤＲシークエンスに基づいて生成され得る。そのようなマッピング処理についての例は、Ｒｅｆ．［４］およびＲｅｆ．［５］に記載されている。入力（１０２）は、特定のＥＯＴＦ（例えば、ガンマ、ＳＴ２０８４など）にしたがって符号化され得る。
【００１９】
入力ＥＤＲおよびＳＤＲ信号が与えられると、本明細書において説明するように、ルマ再構成（１０５−Ａ）およびクロマ再構成（１０５−Ｂ）処理を適用して、逆方向あるいは逆再構成関数（１２０）のためのパラメータ（１０８）を生成し得る。逆方向あるいは逆再構成関数（１２０）は、デコーダにおいてＳＤＲ入力に適用されると、ＥＤＲ入力（１０２）を生成する。
【００２０】
再構成（１０５）の後、元の入力ＳＤＲ映像信号（１０４）は、下流のテレビ受像機、セットトップボックス、映画館などの復号化・再生機器に供給するために、符号化ブロック（１１０）に送られる。いくつかの実施形態において、符号化ブロック（１１０）は、符号化されたビットストリーム（１１２）を生成するための、ＡＴＳＣ、ＤＶＢ、ＤＶＤ、ブルーレイおよびその他の供給フォーマットに規定されるような音声および映像エンコーダを含み得る。符号化データ（１１２）および逆方向再構成パラメータ（１０８）は、１つの符号化ビットストリームに多重化され、記録される、あるいは復号化機器に供給される。
【００２１】
受信機（１００−Ｄ）において、符号化データ（１１２）は、復号化ユニット（１１５）によって復号化され、ＳＤＲ信号（１０４）と同一または近い近似を表す復号化信号（１１７）が生成される。
【００２２】
後方互換性ＳＤＲデコーダにおいて、復号化信号（１１７）は、ＳＤＲディスプレイ（１３０）に直接に表示され得る。ＨＤＲデコーダにおいて、復号化（１１５）に続いて、復号化信号（１１７）は、受信した逆方向再構成パラメータ（１０８）を使用して生成された逆方向あるいは逆再構成関数（１２０）によって処理され得る。逆再構成は、受信したＳＤＲ信号を（より高い）ダイナミックレンジ信号（１０２）の近似に変換し、これがＨＤＲディスプレイ（１２５）上に表示される。逆再構成は、別々の逆ルマ再構成（１２０−Ａ）およびクロマ再構成（１２０−Ｂ）を含み得る。再構成器（１０５）の変換によっては、逆再構成（１２０）はまた、逆トーンマッピング、カラー変換などの追加の（逆）処理を含み得る。いくつかの実施形態において、逆方向あるいは逆再構成関数（１２０）は、デコーダ（１１５）において逆量子化器と一体化され得る（例えば、ＡＶＣまたはＨＥＶＣ映像デコーダにおいて逆量子化器の一部としてなどである）。いくつかの実施形態において、逆方向再構成パラメータ（１０８）についての情報は、メタデータ、ＳＥＩメッセージングなどを使用してダウンストリームデバイス（例えば、デコーダなど）に伝えられ得る。
【００２３】
ルマおよびクロマ再構成およびコンポーザメタデータ
本明細書において、用語「コンポーザメタデータ」（ＣＭ）は、エンコーダ（１００−Ｅ）からデコーダ（１００−Ｄ）に伝えられ、ＥＤＲデータ（１２２）の復元（合成（ｃｏｍｐｏｓｉｔｉｎｇ））をサポートする任意のメタデータを指す。そのようなメタデータは、デコーダにおいて逆あるいは逆方向再構成（１２０）に必要な逆方向再構成パラメータ（１０８）のすべてを含む。
【００２４】
ｆＬ（Ｉ）が順方向ルマ再構成関数を表し、ｆＬ−１（Ｉ）がその逆関数を表すとする。ｆＬ−１（Ｉ）は、デコーダＳＤＲデータ（１１７）のルマ成分に適用されると、推定ＥＤＲ出力（１２２）のルマ成分（１２２＿Ｌ）を生成する。一実施形態において、ｆＬ−１（Ｉ）関数は、区分的関数として伝えられ得る。そのような関数は、ａ）ＳＤＲ入力内の入力符号語の範囲をセグメントに分割する一セットのピボットポイント（ｐｉｖｏｔ  ｐｏｉｎｔ）、ｂ）各セグメント中の多項式の次数、およびｃ）各セグメント中の多項式係数によって完全に表すことができる。
【００２５】
一実施形態において、クロマ再構成は、多変量多重回帰（ＭＭＲ）予測器を使用して行われ得る。そのようなＭＭＲ予測器の例は、米国特許第８，８１１，４９０号（Ｒｅｆ．［３］）に見られ得る。そのような予測器は、逆方向再構成行列Ｍによって特徴づけられる。逆方向再構成行列Ｍは、復号化ＳＤＲデータ（１１７）に適用されると、推定ＥＤＲ出力のクロマ成分（１２２_Ｃ）を生成する。
【００２６】
このように、限定はしないが、一実施形態において、コンポーザメタデータ（１０８）は、ｆＬ−１（Ｉ）のパラメータ表現および逆方向再構成行列Ｍを含み得る。コンポーザメタデータは、異なるレベルの時間間隔で更新され得る。例えば、１シークエンス毎に１回、１シーン毎に１回、１フレーム毎に１回、または複数のフレームからなるクラスタまたはグループ毎に１回などでである。１フレーム毎にコンポーザメタデータを生成すると、全体の映像品質を高くし得るが、エンコーダ上におけるより高い演算リソース、および全体のビットレートにおけるより大きなオーバーヘッドが必要となる。本発明において、コンポーザメタデータを生成するための三つの異なる技術を提示する。各技術は、それぞれ異なるトレードオフに対処する。それらの方法は、
・スタティックなルマ・クロマ再構成アーキテクチャ。この方法は、演算リソースが非常に限られた環境に適しており、コンポーザメタデータについて最小のオーバーヘッドを有する。
・集中的後処理（ｃｅｎｔｒａｌｉｚｅｄ  ｐｏｓｔ−ｐｒｏｃｅｓｓｉｎｇ）方法を使用する２段階分散的ソリューション。この方法は、コンポーザメタデータについてのオーバーヘッドが低く、非常に強力な後処理ノードを有する並列ベース演算環境に最も適する。
・フレームのオーバーラップセグメントを使用する１段階分散的ソリューション。この方法は、コンポーザメタデータについてのオーバーヘッドが中程度であり、そのオーバーヘッドは、新規のＣＭ圧縮技術を使用してさらに低減できる。
次に、これらの方法のそれぞれをより詳細に説明する。
【００２７】
スタティック再構成アーキテクチャ
スタティック合成方法の下で、コンポーザメタデータは、常に同じ（固定）である。代表的なＳＤＲリファレンスクリップのデータベースが与えられると、いずれかの利用可能な逆マッピング技術（１４０）を使用して対応する１セットのＥＤＲピクチャを生成し得る。次いで、この１対のＳＤＲ／ＥＤＲデータに基づいて、固定の１セットのコンポーザメタデータを生成できる。
【００２８】
ルマ再構成について、一実施形態において、ＳＤＲ／ＥＤＲ対の累積分布関数（ＣＤＦ）のマッチングに基づく方法を使用して、ルマ再構成関数を生成し得る（Ｒｅｆ．［６］）。
【００２９】
【数１】
0006684971.tif 000002
は、ＳＤＲデータ中のｊ番目フレームでのi番目画素値のカラー成分を表すものとする。ここで、ｙは、輝度（例えば、ＹＣｂＣｒのＹ）およびｃ０、ｃ１は、クロミナンス（例えば、ＹＣｂＣｒにおけるＣｂおよびＣｒ）を表す。
【数２】
0006684971.tif 000003
は、逆ＤＭ（ｉＤＭ）ＥＤＲデータ中のｊ番目フレームでの対応するｉ番目画素値のカラー成分を表す。各フレーム中の画素数をＰと表す。ＳＤＲ信号におけるビット深度をＳＤＲ＿ビット深度と表し、ＥＤＲ信号におけるビット深度をＥＤＲ＿ビット深度と表すとすると、すべての可能なＳＤＲおよびＥＤＲ値の数は、それぞれＮＳ＝２ＳＤＲ＿ビット深度およびＮＶ＝２ＥＤＲ＿ビット深度によって与えられる。
【００３０】
Ｒｅｆ．［６］に記載されているように、ＣＤＦベースのルマ再構成は、ＳＤＲ値をＥＤＲ値にマッピングして、それらの対応する累積密度関数が一致するようにする。これを達成するために、典型的には、以下の演算が必要となる。
・オプションとして、演算負荷を低減するために、入力ＳＤＲ符号語を、等しいインターバルｗｂ（例えば、１６ビット入力データについて、ｗｂ＝６５，５３６／Ｍ）を有するＭ個のオーバーラップのないビン（例えば、Ｍ＝１６、３２、または６４）に分割し、全正規化ダイナミックレンジ（例えば、（０，１］）をカバーする。ＳＤＲおよびＥＤＲ内のビン数をそれぞれＭＳおよびＭＶと表し、対応するインターバルをｗｂＳおよびｗｂＶと表す。
・ＳＤＲおよびｉＤＭ  ＥＤＲ入力
【数３】
0006684971.tif 000004
の両方の輝度値についてのヒストグラムを計算する。
・ＳＤＲおよびｉＤＭ  ＥＤＲ入力（例えば、
【数４】
0006684971.tif 000005
）の両方について、ヒストグラムを使用して、正規化（例えば、［０  １］における）ＣＤＦを計算する。
・ＣＤＦ マッピングを適用する。各ＳＤＲサンプル点について、そのＣＤＦ値を見つけ、そしてＳＤＲ  ＣＤＦ値をカバーするＣＤＦを有するＥＤＲ値を特定する。このマッピングを、
【数５】
0006684971.tif 000006
と表す。例えば、
【数６】
0006684971.tif 000007
となるようなｋについて、
【数７】
0006684971.tif 000008
すなわち、ビン（または値）ｂ中のすべてのＳＤＲ値は、ＥＤＲ値
【数８】
0006684971.tif 000009
にマッピングされる。
・１セットの
【数９】
0006684971.tif 000010
値が与えられると、それらの値は、クリップおよび平滑化されて、区分的表現によってよりよく表現されるようにでき、最終のマッピングＴｂが生成される。
付録Ａは、疑似コードの、上記ステップの一実装例を提供する。図２は、上記および付録Ａのステップを使用して、一実施形態に係る、８ビットＳＤＲ入力値についてのＳＤＲ−ＥＤＲ再構成関数の一例を示す。
【００３１】
ＳＤＲドメイン内の画素を以下のベクトルで表す。
【数１０】
0006684971.tif 000011
あるＭＭＲ予測モデルが与えられたとき、Ｓｊｉ中の成分値の組み合わせに基づいて、対応するＭＭＲ多項式ベクトル
【数１１】
0006684971.tif 000012
を構築できる。例えば、一実施形態において、二次クロス積（ｓｅｃｏｎｄ  ｏｒｄｅｒ  ｗｉｔｈ  ｃｒｏｓｓ−ｐｒｏｄｕｃｔｓ）ＭＭＲ表現を使用して、ベクトル
【数１２】
0006684971.tif 000013
は、１５個の値を使用して以下のように表され得る。
【数１３】
0006684971.tif 000014
式（２）において、いくつかの実施形態において、いくつかの項を削除して、演算負荷を低減してもよい。例えば、このモデルにおいて、クロマ成分のうちの１つだけを使用してもよく、または特定の高次クロス成分を完全に削除してもよい。限定しないが、別の線形または非線形予測器を用いてもよい。
【００３２】
ｉＤＭ  ＥＤＲ信号のクロマ成分を以下のように表す。
【数１４】
0006684971.tif 000015
逆方向ＭＭＲを介して予測されるクロマ値を以下のように表す。
【数１５】
0006684971.tif 000016
クロマ再構成において、その目標は、予測されたＥＤＲ値
【数１６】
0006684971.tif 000017
が
【数１７】
0006684971.tif 000018
に最も近づくようなＭＭＲ逆方向再構成行列Ｍを生成することである。Ｐ個のクロマ画素を有するピクチャについて、
【数１８】
0006684971.tif 000019
とする。
【００３３】
予測されたＨＤＲ値（１２２_Ｃ）を以下のように表す。
【数１９】
0006684971.tif 000020
その場合、Ｆ個のフレームを有するデータベース全体について、同じシーン内の全体の歪みを最小にする行列Ｍを得たいことになる。
【数２０】
0006684971.tif 000021
式（３）の解は、各フレームｊについての統計量
【数２１】
0006684971.tif 000022
を得て、データベース中のすべてのフレームについてこれらの値を以下のように積算することによって得ることができる。
【数２２】
0006684971.tif 000023
スタティッククロマ逆方向再構成パラメータは、以下によって得られる。
【数２３】
0006684971.tif 000024
【００３４】
スタティック再構成アルゴリズムを使用すると、映像シークエンス全体に同じコンポーザメタデータが利用可能となるので、コンポーザメタデータについてのオーバーヘッドが非常に小さくなる。この低いオーバーヘッドは、全体の品質がより低くなるという犠牲を有し得る。例えば、復元ＥＤＲ画像がリファレンスｉＤＭ  ＥＤＲデータよりも明るく見え得るし、暗い領域においては部分的に詳細が失われ得る。色の正確性も損なわれ得る。
【００３５】
２段階シーンベースの分散的再構成
図３は、２段階分散的方法を使用してコンポーザメタデータを生成するための一処理例を示す。この方法は、映像シークエンス中の各シーンについて新しいコンポーザメタデータを生成することを可能にし、それによりスタティック再構成方法よりも良い輝度およびカラー正確性を可能にするが、コンポーザメタデータについてのオーバーヘッドがより高くなるという犠牲を有する。
【００３６】
一実施形態において、２段階再構成方法は、クラウドベースのマルチプロセッシング演算システム上に設けられ得る。段階１において、中央ディスパッチノード（３０５）は、ＳＤＲ入力の固定数のフレームをｎ個の並列ノード（３１０）に処理のために送り出し得る。このフレームセットは、１つ以上のシーンの一部であり得る。オプションとして、シーンカット検出を向上させるために、ノードｎにおけるいくつかのフレームは、近傍のノードにおけるフレームとオーバーラップしてもよい。
【００３７】
図３に示すように、１セグメントの入力ＳＤＲデータ（３１２）が与えられると、各ノード（３１０−０、３１０−ｎ−１）は、以下の動作を行う。ａ）対応するｉＤＭ  ＥＤＲフレーム（３１７）を生成するための逆マッピング（１４０、３１５）、ｂ）スタティック再構成方法において説明したような統計収集（３１９）（例えば、輝度ヒストグラム
【数２４】
0006684971.tif 000025
およびクロマベース行列
【数２５】
0006684971.tif 000026
を生成する）、ｃ）シーンカット情報がＳＤＲ映像メタデータの一部として利用可能でないか、または中央ディスパッチプロセッサから利用可能でない場合に、各フレームがシーンカットに対応するかどうかを決定するためのシーンカット検出（３１４）（例えば、フレームｊが新しいシーンを開始するならば、ＳＣｊ＝１）。シーンカット情報およびフレーム統計情報は、更なる処理のために、中央後処理ノード（３２０）に送られる。
【００３８】
第２の段階において、後処理ノード（３２０）は、受信したＳＣｊ情報を使用して、各シーン境界を特定し、各シーンについて、上記と同じ技術（例えば、式（１）〜（６））を使用するが、各シーン内で生成された統計データのみを考慮することによって、ルマおよびクロマ逆方向再構成関数について適切なメタデータを生成する。例えば、ステップ（３２５）において、シーン（ｋ）がフレームｆｓとｆｅとの間にあると判断されるとする。このとき、シーンｋについて更新されたＳＤＲおよびＥＤＲヒストグラムが、
【数２６】
0006684971.tif 000027
として生成され、ｋ番目シーンについてのルマ再構成関数は、ステップ（３３０）において上記のように生成される。同様に、更新されたクロマ関連行列は、以下のように計算される。
【数２７】
0006684971.tif 000028
最適な再構成行列Ｍｋは、式（６）を使用して生成され得る。
【００３９】
２段階アプローチは、フレーム毎にＣＭデータを更新するよりも、より小さなコンポーザメタデータオーバーヘッドで、より良い全体のピクチャ品質を可能にする。しかし、並列処理は、統計の収集だけに限定されるので、シーンベースのコンポーザメタデータを生成するためには、強力な後処理ノードが必要となる。より演算効率の良い方法を次に説明する。
【００４０】
１段階セグメントベースの分散的再構成
図４は、一実施形態に係る１段階分散的方法を使用してコンポーザメタデータを生成するための一処理例を示す。このアーキテクチャは、中央ポストプロセッサを必要としなくなるが、各ノードでの処理が増加するという犠牲を有する。ここで、このアーキテクチャは、以下の３つの追加の処理ステップを含む。Ｌ２平滑化（４３０）、Ｌ１平滑化（４３５）、およびＣＭ圧縮（４４０）である。いくつかの実施形態において、ＣＭ圧縮はまた、中央後処理ノード（不図示）によって行われ得る。次に、これらのステップのそれぞれをより詳細に説明する。
【００４１】
図３の処理のように、１シークエンスのＦＮ個の全フレームが与えられると、各ノード（おそらくは映像の最後のセグメントを処理するノードを除く）（４１０）は、映像の固定インターバルの１セグメントを規定する１セットのフレーム（Ｆｔ）を受信する。典型的なセグメントサイズの長さは、１０〜３０秒の範囲にある。例えば、２４ｆｐｓにおいて、セグメントは、全部で７２０個のフレームまたはピクチャを有し得る。１シーンは、複数のセグメントに跨り得る。１セグメントは、複数のシーンからのフレームを含み得る。多くのアプリケーションにおいて、一旦符号化ジョブが各ノードに送られると、ノード間で情報を渡さないことが非常に好ましい。
【００４２】
シーンを複数のセグメントに分割する場合、エンコーダは、局所最適化を介して、各サブシーンを個別に符号化する。この場合には、このシーン内において、画像特性の不連続（例えば、唐突な輝度変化または唐突なカラー変化など）が見られるであろう。この問題に対処するための１つのアプローチは、拡張またはパディング化セグメントを使用することによるものである。ここで、パディング化セグメントは、複数のコンピュータノードによって部分的に処理され得る。例えば、図５に示すように、一実施形態において、ノードｔにおいて符号化された、固定セグメント５１０は、後でノードｔ−１によって符号化されるルックバック（ｌｏｏｋ−ｂａｃｋ）オーバーラップサブセグメント５０２−ｂ、５０４−ｂ、および５０６−ｂ、ならびに後でノードｔ＋１によって符号化されるルックアヘッド（ｌｏｏｋ−ａｈｅａｄ）オーバーラップサブセグメント５０２−ａ、５０４−ａ、および５０６−ａによってパディング化される。このアプローチは、境界においてより良い遷移（ｔｒａｎｓｉｔｉｏｎ）を与える。一好適な実施形態において、ノード間通信の必要をなくすために、オーバーラップ符号化を行わない。すなわち、ノードｔは、セグメントＦｔ中のフレームを圧縮するだけである。しかし、再構成関数およびコンポーザメタデータは、拡張またはパディング化セグメントからの統計に基づいて生成される。
【００４３】
映像シークエンス中のフレームの総数をＦＮと表す。現在のセグメントｔ中のフレームの数をＦｔと表す。最後のセグメントを除いて、限定しないが、Ｆｔをすべての他のセグメントについて定数とし、Ｆに等しいとする。完全な（ｆｕｌｌ−ｌｅｎｇｔｈ）映像内のセグメント数をＴと表すと、
【数２８】
0006684971.tif 000029
であり、最後のセグメントは、ＦＮ−（Ｔ−１）Ｆ個のフレームを有することになる。ｊは、完全な映像シークエンスレベルにおけるフレームインデックスを表すものとする。
【００４４】
シーンカットオーバーラップ（ＳＣＯ）についての長さを
【数２９】
0006684971.tif 000030
と表し（５０２−ｂまたは５０２−ａ）、Ｌ１平滑化オーバーラップについての長さを
【数３０】
0006684971.tif 000031
と表し（５０６−ｂまたは５０６−ａ）、Ｌ２平滑化オーバーラップについての長さを
【数３１】
0006684971.tif 000032
と表す（５０４−ｂまたは５０４−ａ）。このとき、各セグメントについての全ルックアヘッドオーバーラップ長さ（例えば、５０６−ａ＋５０４−ａ＋５０２−ａ）（最後のセグメントを除く）は、
【数３２】
0006684971.tif 000033
となる。ここで、Ａ＝ステートメント？Ｂ：Ｃという式は、ステートメントが真ならばＡ＝Ｂであり、そうでなければＡ＝Ｃであることを表す。同様に、各セグメント（第１のセグメントを除く）についての全ルックバックオーバーラップ長さは、
【数３３】
0006684971.tif 000034
となる。このとき、ノードｔは、総数のフレーム（４１２）を受信することになる。総数のフレーム（４１２）は、
【数３４】
0006684971.tif 000035
に等しい。マッピング（４１５）を使用して、各ノードにおいて、ＳＤＲフレームのそれぞれは、ＥＤＲフレーム（４１７）に変換されることになる。
【００４５】
一般に、図５は、以下のセグメントの特徴を示す。
・
【数３５】
0006684971.tif 000036
によって決定されるプライマリｔ、またはＬ１セグメント（５１０）。
・
【数３６】
0006684971.tif 000037
によって決定される拡張Ｌ１セグメント、またはＬ２セグメント（５３５）。
・
【数３７】
0006684971.tif 000038
によって決定される拡張Ｌ２セグメント、またはＬ３セグメント（５２５）。
・式（１１）によって規定される拡張プライマリｔセグメント（５４０）。
【００４６】
シーンカット検出
各ノード内で、ステップ（４２５）において、Ｌ３セグメント
【数３８】
0006684971.tif 000039
中のフレームの範囲内において、シーンカットが各フレームｊについて検出される。ここで、
【数３９】
0006684971.tif 000040
【００４７】
ｊ番目フレームについて、シーンカットの決定は、フレームｊを中心とする
【数４０】
0006684971.tif 000041
個のフレーム（例えば、
【数４１】
0006684971.tif 000042
）を有するスライディングシーンカット検出ウィンドウ（５２０）に基づく。各フレームｊについてのシーンカットスライディングウィンドウ（５２０）は、範囲
【数４２】
0006684971.tif 000043
を有する。ここで、
【数４３】
0006684971.tif 000044
であり、拡張プライマリｔセグメント（５４０）の全範囲内のフレームのすべてにアクセスしている。
【００４８】
この範囲内の各フレームｊについてのシーンカット決定をＳＣｊと表す。ここで、例えば、ＳＣｊ＝１は、フレームｊにおいて新しいシーンの検出を示す。一例として、図５に示すように、シーンカット検出アルゴリズムは、Ｌ３セグメント（５２５）中の４個のシーンカット（シーン０、１、２、および３）を検出した。
【００４９】
一実施形態において、ステップ（４２０）において、
【数４４】
0006684971.tif 000045
などのフレームベース統計はまた、Ｌ３セグメント
【数４５】
0006684971.tif 000046
のフレーム範囲内で収集される。次のステップは、これらの統計を平滑化して、任意の数のシーンカットを考慮に入れることである。
【００５０】
レベル２平滑化
各ノード内において、レベル２平滑化（４３０）（定義は後述）は、各フレームｊを中心にした
【数４６】
0006684971.tif 000047
個のフレーム（例えば、
【数４７】
0006684971.tif 000048
）を有するスライディングＬ２ウィンドウ（５３０）を使用して、およびＬ２セグメント
【数４８】
0006684971.tif 000049
中のフレームの範囲内で行われる。ここで、
【数４９】
0006684971.tif 000050
【００５１】
一実施形態において、Ｌ２スライディングウィンドウ（５３０）は、拡張Ｌ２平滑化 入力範囲（５２５）内で検出された任意の数のシーンカットにしたがって、調節（境界づけ）され得る。フレームｊについての最も近い左のシーンカットを
【数５０】
0006684971.tif 000051
と表し、フレームｊについての最も近い右のシーンカットを
【数５１】
0006684971.tif 000052
と表す。各フレームｊについて、Ｌ２スライディングウィンドウは、以下のフレーム範囲を有する。
【数５２】
0006684971.tif 000053
【００５２】
表１に示すように、Ｌ３範囲内の各フレームについてのヒストグラムが与えられたとき、Ｌ２平滑化は、フレームｊについて、フレームｊを中心とするＬ２スライディングウィンドウ内に含まれるすべてのフレームに基づいて、ヒストグラムおよび他の統計を生成することを指す（式（１５）を参照）。例えば、フレームｊについてのＳＤＲヒストグラムは、以下のように求められる。
【数５３】
0006684971.tif 000054
【００５３】
レベル１平滑化
各ノード内で、Ｌ１平滑化（４３５）（定義は後述）は、Ｌ１スライディングウィンドウ（５４５）を使用して、Ｌ１範囲
【数５４】
0006684971.tif 000055
（５１０）内のフレームについて行われ得る。ここで、
【数５５】
0006684971.tif 000056
【００５４】
Ｌ２スライディングウィンドウと同様に、Ｌ１スライディングウィンドウはまた、その入力範囲（５３５）内のシーンカットにしたがって、調節（境界づけ）される。フレームｊについて最も近い左のシーンカットを
【数５６】
0006684971.tif 000057
と表し、フレームｊについて最も近い右のシーンカットを
【数５７】
0006684971.tif 000058
と表す。各フレームｊについて、Ｌ１スライディングウィンドウは、
【数５８】
0006684971.tif 000059
によって境界づけられる。
【００５５】
表２および３に示すように、Ｌ２範囲内の各フレームについて計算された逆ルマ再構成ＬＵＴまたは他の統計が与えられたとき、Ｌ１平滑化は、フレームｊについて、フレームｊを中心とするＬ１スライディングウィンドウ内に含まれるすべてのフレームに基づいて新しい統計データを生成することを指す（式（１７）を参照）。
【００５６】
ルマ再構成
ルマ再構成は、Ｌ２およびＬ１レベル平滑化の両方を使用して行われる。
ステップは、表１および２において疑似コードによってより詳細に記載されるが、以下を含む。
ａ）Ｌ３セグメント（例えば、
【数５９】
0006684971.tif 000060
など）の各フレームにおける統計を計算する。
ｂ）Ｌ２平滑化を生成されたＬ２平滑化統計データに適用して、ＣＤＦを生成する。
ｃ）ＣＤＦマッチング（後述）を適用して、逆ルマ再構成ＬＵＴ
【数６０】
0006684971.tif 000061
を生成する。
ｄ）Ｌ１平滑化（例えば、平均化）を適用して、計算された
【数６１】
0006684971.tif 000062
値を平滑化して、最終の
【数６２】
0006684971.tif 000063
ＬＵＴを
【数６３】
0006684971.tif 000064
として決定する。これは、区分的多項式を使用して、近似することができる。
【００５７】
ウィンドウ化Ｌ１およびＬ２平滑化技術は、任意の誤シーンカット検出を補償することに役立ち、また後で、最終的に送信される必要のあるコンポーザメタデータを、同様のメタデータをより良く検出することによって、低減（「圧縮」）することを補助する。
【表１】
0006684971.tif 000065
【表２】
0006684971.tif 000066
【００５８】
一実施形態において、クロマ再構成は、Ｌ１平滑化だけを使用して行われる。一例示の実施形態を表３に示す。
【表３】
0006684971.tif 000067
【００５９】
いくつかの実施形態において、セグメントが１つ以上の完全なシーン（例えば、図５におけるシーン１）を含む場合、Ｌ３セグメント（５２５）内で生成された統計を使用して、シーン全体についてコンポーザメタデータを生成することによって計算を簡略化することが可能であり得る。そのような実施形態において、Ｌ１およびＬ２平滑化は、既知のシーンの外側のフレームについて（例えば、図５においては、シーン０ならびにシーン２および３内のフレームについて）のみ行われ得る。そのようなアプローチは、より正確なシーン検出に依存する。フェードインおよびフェードアウトはまた、フェードイン−フェードアウト検出器がシーンカット検出器の上にさらに追加されなければ、そのようなアプローチに影響を及ぼす。これに対して、スライディングウィンドウアプローチは、誤シーンカット検出においてより良い弾力性（ｒｅｓｉｌｉｅｎｃｅ）を有する。
【００６０】
コンポーザメタデータ（ＣＭ）圧縮
特に低ビットレートにおいて、コンポーザメタデータを送信するために必要なオーバーヘッドを低減することが望ましい。一実施形態において、ＣＭ圧縮（４４０）中に、ＣＭ送信シンタックスは、コンポーザメタデータ繰り返しフラグ、例えばｕｓｅ＿ｐｒｅｖ＿ｃｍ＿ｆｌａｇを含み得る。コンポーザメタデータ繰り返しフラグは、１に設定された場合、デコーダに対して、前に送信した１セットのメタデータを再使用できることを示す。例えば、スタティック再構成器アーキテクチャについて、そのような繰り返しフラグは、どのＩＤＲ（即時復号化リフレッシュ）インスタンスについても送信され得る。同様に、２段階分散的処理において、繰り返しフラグは、どのＩＤＲインスタンスにおいても、各新しいシーンの開始時に送信され得る。１段階分散的アーキテクチャについて、コンポーザメタデータは、各フレームについて変化し得るので、ＣＭオーバーヘッドを低減する機構が所望される。このＣＭ低減は、各コンピューティングノード（例えば、「ＣＭ圧縮」ブロック（４４０）の一部）内、または中央後処理ノードにおいてのいずれで行われてもよい。
【００６１】
一実施形態において、ＣＭが各フレームについて計算され得るとしても、新しいＣＭデータは、それらの値が著しく異なる場合のみ送信される。一例として、フレームｉおよびｊについての２つの逆方向ルマ再構成関数が与えられたとすると、それらの類似性は、以下のように計算され得る。
【数６４】
0006684971.tif 000068
【００６２】
あるいは、各フレーム（例えば、
【数６５】
0006684971.tif 000069
）におけるアクティブルマ範囲を考慮し、範囲
【数６６】
0006684971.tif 000070
内のみの類似性を以下のように計算してもよい。
【数６７】
0006684971.tif 000071
ここで、δ（例えば、δ＝０）は、必要に応じ、利用可能な帯域幅に依存して調節できる安全マージンを示す。
【００６３】
Ｆ個のフレームを有するセグメントを考慮すると、一実施形態において、各セグメントは、サブパーティションまたはクラスタ（例えば、Θαと表す）に細分される。ここで、各サブパーティションは、代表的なアンカーフレーム（例えば、Ｒα）によって表され得る。次いで、コンポーザメタデータを送信する際、各サブパーティションのアンカーフレームについてのＣＭデータのみが送られることになる。
【００６４】
例えば、セグメントが与えられると、一実施形態において、第１のフレームをそのアンカーフレームとして選択し得る。次いで、各その後のフレームについて、アンカーフレームとの類似性を計算し得る。類似性が閾値（例えば、Δ）（例えば、Δ＝１／２１０）よりも小さい場合、コンポーザメタデータは、再使用され得る。そうでなければ、新しいアンカーフレームを有する新しいクラスタが生成される。その処理は、セグメント中のすべてのフレームについて、またはシークエンス全体について、繰り返され得る。表４に、一実施形態に係る、この処理の一例を疑似コードで記載する。
【表４】
0006684971.tif 000072
【００６５】
上記のシングルパス方法は、欲張りな（ｇｒｅｅｄｙ）方法である。この方法は、新しいアンカーとして、類似性テストをパスしなかった第１のフレームを単に取る。この処理は、１回の走査で簡単に行うことができる。しかし、この方法は、シークエンスの後半のより良いアンカーフレームを見逃し得る。言い換えると、ＣＭデータに関して、代表的な（またはアンカー）フレームがクラスタにおける第１のフレームである必要がない。
【００６６】
一実施形態において、図６Ａにも示すように、より効率的な２パス方法が使用され得る。第１のパス（６１０）において、バイナリマップＢｉ，ｊ
が、
【数６８】
0006684971.tif 000073
となるように生成される。
次いで、新しいクラスタおよびそれらのアンカーフレームが以下のように決定され得る。
ａ）（ステップ６１５）：ｋが新しいクラスタαの開始フレームを表すとする。
ｂ）（ステップ６２０）：フレームｋの後の各フレームｊについて、Ｂｊ，ｋ＝１である、フレームｋの後のフレームセットを見つけ、それらをカウントする。カウント値をＣｊと表す。
【数６９】
0006684971.tif 000074
ｃ）（ステップ６３０）：最も長く続く類似フレームを見つけ、それらをクラスタαないのフレームセットΘα
に含める。
【数７０】
0006684971.tif 000075
ｄ）アンカーフレームとして、最も長く続くフレームを決定する。
【数７１】
0006684971.tif 000076
ｅ）開始フレームを次のクラスタに移動し、セグメント（または、映像シークエンス）中の最後のフレームまで、ステップａ）から繰り返す。
【数７２】
0006684971.tif 000077
【００６７】
図６Ｂは、この処理の８個のフレームを有するセグメントについての一例を示す。バイナリマップＢｉ，ｊ（６０５）を考える。クラスタ０（６０７−０）について、最も長く続く類似のフレームは、４個であり、フレーム番号２は、アンカーフレームであると考えられる。クラスタ１（６０７−１）について、最も長く続く類似のフレームは、３個であり、このクラスタ内のフレーム番号１（または、セグメント中のフレーム番号５）は、このクラスタ内のアンカーフレームであると考えられる。
【００６８】
表５に、上記２パス処理の一例を疑似コードで記載する。
【表５】
0006684971.tif 000078
0006684971.tif 000079
【００６９】
以下の文献のそれぞれは、その全体が本明細書にて参照により援用される。
文献
［１］ＩＴＵ−Ｒ  ＢＴ．１８８６，“Ｒｅｆｅｒｅｎｃｅ  ｅｌｅｃｔｒｏ−ｏｐｔｉｃａｌ  ｔｒａｎｓｆｅｒ  ｆｕｎｃｔｉｏｎ  ｆｏｒ  ｆｌａｔ  ｐａｎｅｌ  ｄｉｓｐｌａｙｓ  ｕｓｅｄ  ｉｎ  ＨＤＴＶ  ｓｔｕｄｉｏ  ｐｒｏｄｕｃｔｉｏｎ，”ＩＴＵ，Ｍａｒｃｈ  ２０１１．
［２］ＳＭＰＴＥ  ＳＴ  ２０８４：２０１４“Ｈｉｇｈ  Ｄｙｎａｍｉｃ  Ｒａｎｇｅ  ＥＯＴＦ  ｏｆ  Ｍａｓｔｅｒｉｎｇ  Ｒｅｆｅｒｅｎｃｅ  Ｄｉｓｐｌａｙｓ，”ＳＭＰＴＥ，２０１４．
［３］Ｇ−Ｍ．Ｓｕらによる米国特許第８，８１１，４９０号，“Ｍｕｌｔｉｐｌｅ  ｃｏｌｏｒ  ｃｈａｎｎｅｌ  ｍｕｌｔｉｐｌｅ  ｒｅｇｒｅｓｓｉｏｎ  ｐｒｅｄｉｃｔｏｒ，”２０１４．
［４］Ｎ．Ｘｕらによる米国特許出願公開第２０１６０２５３７９２号，“Ｇｕｉｄｅｄ  Ｃｏｌｏｒ  Ｇｒａｄｉｎｇ  ｆｏｒ  ａｎ  Ｅｘｔｅｎｄｅｄ  Ｄｙｎａｍｉｃ  Ｒａｎｇｅ  Ｉｍａｇｅ”
［５］Ｎ．Ｘｕらによる米国特許出願公開第２０１６０３５８３１９号，“Ｍｅｔｈｏｄｓ  ａｎｄ  Ｓｙｓｔｅｍ  ｆｏｒ  Ｉｎｖｅｒｓｅ  Ｔｏｎｅ  Ｍａｐｐｉｎｇ”
［６］Ｈ．Ｋａｄｕらによる米国仮特許出願公開シリアル番号６２／３８５，３０７，  “Ｃｏｄｉｎｇ  ｏｆ  Ｈｉｇｈ  Ｄｙｎａｍｉｃ  Ｒａｎｇｅ  Ｖｉｄｅｏ  Ｕｓｉｎｇ  Ｓｅｇｍｅｎｔ−Ｂａｓｅｄ  Ｒｅｓｈａｐｉｎｇ，”２０１６年９月９日に出願
付録Ａ
スタティックルマ再構成
ｉＤＭ  ＥＤＲ画像のｊ番目のフレーム内の最小および最大ルマ値を
【数７３】
0006684971.tif 000080
と表す。ｊ番目のＳＤＲフレーム内の最小および最大ルマ値を
【数７４】
0006684971.tif 000081
と表す。
Ａ．統計を収集する
【表６】
0006684971.tif 000082
Ｂ．逆方向再構成関数を得る
【表７】
0006684971.tif 000083
0006684971.tif 000084
0006684971.tif 000085
【００７０】
コンピュータシステム実装例
本発明の実施形態は、電子回路およびコンポーネントで構成された１つまたは複数のコンピュータシステム、マイクロコントローラ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）または他のコンフィギュラブルまたはプログラマブルロジックデバイス（ＰＬＤ）などの集積回路（ＩＣ）デバイス、離散時間またはデジタル信号プロセッサ（ＤＳＰ）、特定用途向けＩＣ（ＡＳＩＣ）、および／または、このようなシステム、デバイスまたはコンポーネントを１つ以上含む装置、を用いて実施し得る。このコンピュータおよび／またはＩＣは、本明細書に記載のようなエンハンストダイナミックレンジを有する画像のセグメントベースのルマおよびクロマ再構成に関する命令を行い、制御し、または実行し得る。このコンピュータおよび／またはＩＣは、本明細書に記載の再構成プロセスに関する様々なパラメータまたは値のいずれを演算してもよい。画像および映像実施形態は、ハードウェア、ソフトウェア、ファームウェア、および、その様々な組み合わせで実施され得る。
【００７１】
本発明の特定の態様は、本発明の方法をプロセッサに行わせるためのソフトウェア命令を実行するコンピュータプロセッサを含む。例えば、ディスプレイ、エンコーダ、セットトップボックス、トランスコーダなどにおける１つ以上のプロセッサは、そのプロセッサがアクセス可能なプログラムメモリ内にあるソフトウェア命令を実行することによって、上記のようなＨＤＲ画像のセグメントベースのルマおよび／またはクロマ再構成に関する方法を実装し得る。本発明は、プログラム製品の形態で提供されてもよい。このプログラム製品は、データプロセッサによって実行された時に本発明の方法をデータプロセッサに実行させるための命令を含む１セットの、コンピュータ読み取り可能な信号を格納する任意の非一時的媒体を含み得る。本発明によるプログラム製品は、非常に多様な形態のいずれであってもよい。例えば、このプログラム製品は、フロッピーディスク、ハードディスクドライブを含む磁気データ記憶媒体、ＣＤ  ＲＯＭ、ＤＶＤを含む光学データ記憶媒体、ＲＯＭ、フラッシュＲＡＭなどを含む電子データ記憶媒体、などの物理的媒体を含み得る。このプログラム製品上のコンピュータ可読信号は、任意に、圧縮または暗号化されていてもよい。
【００７２】
上記においてコンポーネント（例えば、ソフトウェアモジュール、プロセッサ、アセンブリ、デバイス、回路など）に言及している場合、そのコンポーネントへの言及（「手段」への言及を含む）は、そうでないと明記されている場合を除いて、前記コンポーネントの機能を果たす（例えば、機能的に均等である）あらゆるコンポーネント（上記した本発明の実施形態例に出てくる機能を果たす開示の構造に対して構造的には均等でないコンポーネントも含む）を、前記コンポーネントの均等物として、含むものと解釈されるべきである。
【００７３】
均等物、拡張物、代替物、その他
効率的なＨＤＲ画像の、セグメントベースのルマおよびクロマ再構成に関する実施形態例を上述した。この明細書中において、各実装毎に異なり得る多数の具体的な詳細に言及しながら本発明の実施形態を説明した。従って、本発明が如何なるものかおよび出願人は如何なるもの本発明と意図しているかについての唯一且つ排他的な指標は、後の訂正を含む、これら請求項が生じる具体的な形態の、本願から生じる１組の請求項である。前記請求項に含まれる用語に対して本明細書中に明示したあらゆる定義が、請求項内で使用される前記用語の意味を決定するものとする。よって、請求項に明示的に記載されていない限定事項、構成要素、性質、特徴、利点または属性は、いかなる形であれ請求の範囲を限定するものではない。従って、本明細書および図面は、限定的ではなく、例示的であると認識されるべきものである。
【００７４】
本発明の様々な側面は、以下に列挙する例示的実施形態（ｅｎｕｍｅｒａｔｅｄ  ｅｘａｍｐｌｅ  ｅｍｂｏｄｉｍｅｎｔｓ：ＥＥＥｓ）から理解され得る。
ＥＥＥ１．
プロセッサを用いる、セグメントベースのルマおよび／またはクロマ再構成のための方法であって、
第１のダイナミックレンジにある入力映像信号（１０４）を受信するステップと、
前記入力映像信号をセグメントに分割するステップであって、各セグメントは、一次フレーム（５１０）およびパディング化フレームを含み、２つの連続するセグメントについて、前記セグメントのうちの一方についてのパディング化フレームは、他方のセグメントの一次フレームとオーバーラップする、ステップと、
ノードプロセッサによって処理されるセグメント（４１２）について、
前記セグメント中の前記入力映像信号の前記一次およびパディング化フレームのそれぞれを、第２のダイナミックレンジ（４１７）内の第２の映像信号の対応する一次およびパディング化フレームに変換する（４１５）ステップであって、前記第２のダイナミックレンジは、前記第１のダイナミックレンジよりも高い、ステップと、
前記セグメント中の前記入力映像フレームおよび前記第２の映像フレームに基づいて統計データ（４２０）を収集するステップと、
前記セグメント中の前記入力映像フレームのフレームについてのシーンカット情報（４２５）を収集するステップと、
前記セグメント中の前記一次フレームおよび前記セグメント中の前記パディング化フレームの第１の部分を含む前記入力映像の第１のサブセグメントを生成するステップと、
前記入力映像（４３０）の前記第１のサブセグメント中の各フレームについて、
前記第１のサブセグメントの前記フレームを中心とし、前記セグメント中のシーンカットに基づいて調節された第１のスライディングウィンドウに基づいて第１のサポートフレームセット（５３０）を計算するステップと、
前記統計データおよび前記第１のサポートフレームセットに基づいて、前記第１のサブセグメント中の前記フレームの輝度値を前記第１のダイナミックレンジから前記第２のダイナミックレンジにマッピングするための、第１のルママッピングを決定するステップと、
前記入力映像（４３５）の前記セグメント中の各一次フレームについて、
前記一次フレームを中心とし、前記セグメント中のシーンカットに基づいて調節された第２のスライディングウィンドウに基づいて、第２のサポートフレームセット（５４５）を計算するステップと、
前記第１のマッピングおよび前記第２のサポートフレームセットに基づいて、前記一次フレームの輝度値を前記第１のダイナミックレンジから前記第２のダイナミックレンジにマッピングするための、第２のルママッピングを決定するステップと、
前記統計データおよび前記第２のサポートフレームセットに基づいて、前記一次フレームのクロマ値を前記第１のダイナミックレンジから前記第２のダイナミックレンジにあるクロマ値にマッピングするための、クロママッピングを決定するステップと、
前記第２のルママッピングおよび前記クロママッピングに基づいて、前記セグメント中の前記フレームについてのコンポーザメタデータを生成するステップと、
を含む方法。
ＥＥＥ２．
統計データを収集するステップは、
前記第１のダイナミックレンジにある前記入力映像信号のフレームおよび前記第２のダイナミックレンジにある前記第２の映像信号の対応するフレームを含む１対の画像について、
前記入力映像フレーム中の画素値の第１の画像ヒストグラムを計算するステップと、
前記第２の映像フレーム中の画素値の第２の画像ヒストグラムを計算するステップと、
を含む、請求項１の方法。
ＥＥＥ３．
前記方法は、前記入力映像フレームの画素値を使用して前記第２の映像フレームの予測された画素値を生成するために使用される予測モデルにしたがって、
【数７５】
0006684971.tif 000086
を計算するステップをさらに含み、
ｊは、前記入力信号中の前記入力映像フレームのインデックスを表し、Ｔは、行列の転置を表し、
【数７６】
0006684971.tif 000087
は、前記第２の映像フレームの画素値を含み、
【数７７】
0006684971.tif 000088
は、前記入力映像フレームの値を含む、ＥＥＥ２の方法。
ＥＥＥ４．
前記予測モデルは、
【数７８】
0006684971.tif 000089
と表現され、
【数７９】
0006684971.tif 000090
は、前記第２の映像フレームの前記予測された画素値を表し、Ｍは、前記予測モデルを特徴づける行列を表す、ＥＥＥ３の方法。
ＥＥＥ５．
前記セグメント中の一次フレームについて、前記クロママッピングを計算するステップは、
前記一次フレームの前記第２のサポートフレームセット中のすべてのフレームのＡｊおよびＢｊの値に基づいて、前記セグメント中の前記一次フレームについて更新されたＡｊおよびＢｊの値を計算するステップと、
前記更新されたＡｊおよびＢｊの値に基づいて前記クロママッピングを決定するステップと、
を含む、ＥＥＥ３または４の方法。
ＥＥＥ６．
前記更新されたＡｊおよびＢｊの値ならびに前記クロママッピングを計算するステップは、
【数８０】
0006684971.tif 000091
および
【数８１】
0006684971.tif 000092
を計算するステップをさらに含み、ＡおよびＢは、前記一次フレームについての前記更新されたＡｊおよびＢｊの値を表し、
【数８２】
0006684971.tif 000093
は、前記クロママッピングのパラメータ行列を表し、
【数８３】
0006684971.tif 000094
は、前記セグメント中の前記一次フレームについての前記第２のサポートフレームセット内の開始および終了フレームを表す、ＥＥＥ５の方法。
ＥＥＥ７．
前記フレームの前記クロママッピングについてのコンポーザメタデータは、前記
【数８４】
0006684971.tif 000095
行列の要素を含む、ＥＥＥ６の方法。
ＥＥＥ８．
前記第１のサブセグメント中のフレームについて、前記第１のルママッピングを計算するステップは、
前記フレームの更新された第１のヒストグラムを、前記第１のサブセグメント中の前記フレームの前記第１のサポートフレームセット中のすべてのフレームの前記第１のヒストグラムに基づいて、計算するステップと、
前記フレームの更新された第２のヒストグラムを、前記第１のサブセグメント中の前記フレームの前記第１のサポートフレームセット中のすべてのフレームの前記第２のヒストグラムに基づいて、計算するステップと、
前記フレームについての第１の累積分布関数（ＣＤＦ）を、前記更新された第１のヒストグラムに基づいて、計算するステップと、
前記フレームについての第２の累積分布関数を、前記更新された第２のヒストグラムに基づいて、計算するステップと、
前記第１のルママッピングを、前記第１のおよび第２のＣＤＦに基づいて、計算するステップと、
を含む、ＥＥＥ２〜７のいずれかの方法。
ＥＥＥ９．
前記セグメント中の一次フレームについて、前記第２のルママッピングを計算するステップは、
前記一次フレームについての前記第２のルママッピングを、前記一次フレームの前記第２のサポートフレームセット中のすべてのフレームの前記第１のルママッピングを平均化することによって、計算するステップ
を含む、ＥＥＥ８の方法。
ＥＥＥ１０．
前記第２のルママッピングに基づいて前記フレームについてのコンポーザメタデータを生成するステップは、
前記第２のルママッピングを区分的関数のパラメータ表現として表すステップ
を含む、ＥＥＥ９の方法。
ＥＥＥ１１．
前記セグメントについて送信されるメタデータの量を、コンポーザメタデータ圧縮ステップを適用することによって低減するステップ
をさらに含み、
前記コンポーザメタデータ圧縮ステップは、
前記セグメントの前記一次フレームをフレームの非オーバーラップクラスタに分割するステップと、
各クラスタ内のアンカーフレームを決定するステップと、
各クラスタ内の前記アンカーフレームについてのみコンポーザメタデータを送信するステップと、
を含む、ＥＥＥ１〜１０のいずれかの方法。
ＥＥＥ１２．
前記一次フレームをクラスタに分割するステップは、
前記セグメントの第１の一次フレームを前記第１のクラスタの第１のアンカーフレームとして表すステップと、
前記セグメント中の各後の一次フレームについて、前記後のフレームと前記第１のアンカーフレームとの間の類似性尺度を計算するステップと、
前記類似性尺度が閾値より低い場合、前記後のフレームを前記第１のクラスタに割り当て、そうでなければ、新しいクラスタを生成するステップであって、前記後のフレームは、前記新しいクラスタのアンカーフレームとして表される、ステップと、
を含む、ＥＥＥ１１の方法。
ＥＥＥ１３．
前記一次フレームをクラスタに分割するステップは、
前記セグメント中の前記フレームについてバイナリマップ（Ｂi，j）を生成するステップであって、１に等しい、前記バイナリマップの要素（ｉ，ｊ）は、前記セグメント中のフレームｉおよびｊ間の類似性尺度が閾値より低いことを表す、ステップと、
ａ）ｋが新しいクラスタαの開始フレームを表すとするステップと、
ｂ）フレームｋの後の各フレームｊについて、Ｂｊ，ｋ＝１であるフレームｋの後のフレームのセットを見つけ、それらをカウントするステップと、
ｃ）ステップｂ）に基づいて、最も長く続く類似フレームを見つけ、それらを前記クラスタα内の前記フレームセットに含めるステップと、
ｄ）前記最も長く続くフレームを前記アンカーフレームとして表すステップと、
を含む、ＥＥＥ１１または１２の方法
ＥＥＥ１４．
１つ以上のプロセッサを用いる、セグメントベースのルマおよび／またはクロマ再構成のための方法であって、
第１のダイナミックレンジにある入力映像信号（１０４）を受信するステップと、
前記入力映像信号をセグメント（３１２）に分割するステップと、
ノードプロセッサによって処理されるセグメント（３１２）について、
前記セグメント中の前記入力映像信号の各フレームを第２のダイナミックレンジ（３１７）内の第２の映像信号の対応するフレームに変換する（３１５）ステップであって、前記第２のダイナミックレンジは、前記第１のダイナミックレンジより高い、ステップと、
前記セグメント中の前記入力映像フレームおよび前記第２の映像フレームに基づいて統計データ（３１９）を生成するステップと、
前記セグメント中の前記入力映像フレームの前記フレームについてシーンカット情報（３１４）を収集するステップと、
ポストプロセッサにおいて、
１つ以上のセグメントからのシーンカット情報に基づいて、シーン境界（３２５）を特定するステップと、
前記シーン境界内のすべてのフレームの生成された統計に基づいて、更新された統計を生成するステップと、
前記更新された統計に基づいて、前記シーン境界内の前記フレームの輝度値を前記第１のダイナミックレンジから前記第２のダイナミックレンジにマッピングするためのルママッピング（３３０）を決定するステップと、
前記更新された統計に基づいて、前記シーン境界内の前記フレームのクロマ値を前記第１のダイナミックレンジから前記第２のダイナミックレンジにマッピングするためのクロママッピング（３３０）を決定するステップと、
前記ルママッピングおよび前記クロママッピングに基づいて、前記シーン境界内の前記フレームについてコンポーザメタデータを生成するステップと、
を含む方法。
ＥＥＥ１５．
統計データを収集するステップは、
前記第１のダイナミックレンジにある前記入力映像信号のフレームおよび前記第２のダイナミックレンジにある前記第２の映像信号の対応するフレームを含む１対の画像について、
前記入力映像フレーム中の画素値の第１の画像ヒストグラムを計算するステップと、
前記第２の映像フレーム中の画素値の第２の画像ヒストグラムを計算するステップと、
を含む、ＥＥＥ１４の方法。
ＥＥＥ１６．
前記方法は、前記入力映像フレームの画素値を使用して前記第２の映像フレームの予測された画素値を生成するために使用される予測モデルにしたがって、
【数８５】
0006684971.tif 000096
を計算するステップをさらに含み、
ｊは、前記入力信号中の前記入力映像フレームのインデックスを表し、Ｔは、行列の転置を表し、
【数８６】
0006684971.tif 000097
は、前記第２の映像フレームの画素値を含み、
【数８７】
0006684971.tif 000098
は、前記入力映像フレームの値を含む、ＥＥＥ１５の方法。
ＥＥＥ１７．
前記予測モデルは、
【数８８】
0006684971.tif 000099
と表現され、
【数８９】
0006684971.tif 000100
は、前記第２の映像フレームの前記予測された画素値を表し、Ｍは、前記予測モデルを特徴づける行列を表す、ＥＥＥ１６の方法。
ＥＥＥ１８．
前記シーン境界内のフレームについて、前記クロママッピングを計算するステップは、
前記シーン境界内のすべてのフレームのＡｊおよびＢｊの値に基づいて、前記セグメント中の前記一次フレームについて更新されたＡｊおよびＢｊの値を計算するステップと、
前記更新されたＡｊおよびＢｊの値に基づいて前記クロママッピングを決定するステップと、
を含む、ＥＥＥ１６または１７の方法。
ＥＥＥ１９．
前記シーン境界内のフレームについて、前記ルママッピングを計算するステップは、
前記フレームの更新された第１のヒストグラムを、前記シーン境界内のすべてのフレームの前記第１のヒストグラムに基づいて、計算するステップと、
前記フレームの更新された第２のヒストグラムを、前記シーン境界内のすべてのフレームの前記第２のヒストグラムに基づいて、計算するステップと、
前記フレームについての第１の累積分布関数（ＣＤＦ）を、前記更新された第１のヒストグラムに基づいて、計算するステップと、
前記フレームについての第２の累積分布関数を、前記更新された第２のヒストグラムに基づいて、計算するステップと、
前記ルママッピングを、前記第１のおよび第２のＣＤＦに基づいて、計算するステップと、
を含む、ＥＥＥ１５〜１８のいずれかの方法。
ＥＥＥ２０．
プロセッサを備え、ＥＥＥ１〜１９に記載した方法のいずれか１つを行うように構成された装置。
ＥＥＥ２１．
ＥＥＥ１〜１９のいずれかに係る方法を実行するためのコンピュータ読み取り可能な命令を記憶する非一時的なコンピュータ読み取り可能な記憶媒体。
【図１】
0006684971.tif 000117
【図２】
0006684971.tif 000118
【図３】
0006684971.tif 000119
【図４】
0006684971.tif 000120
【図５】
0006684971.tif 000121
【図６Ａ】
0006684971.tif 000122
【図６Ｂ】
0006684971.tif 000123