(57)【要約】      （修正有）【課題】ＨＤＲビデオにおけるフレームをフィルタリングすることによりベースレイヤーを生成するトーンマッピングシステムを提供する。【解決手段】トーンマッピングシステムは、次にベースレイヤーから導出されたトーンマッピングパラメータ、例えば、平均輝度または最大輝度値を使用するトーンカーブ、を生成する。トーンパラメータが一旦同定されると、システムは、時間フィルタリングを実行し、トーンカーブパラメータの現在の値と、ＨＤＲビデオにおける少なくとも一つの以前のフレームのトーンカーブパラメータの値との不一致を平滑化する。トーンマッピングシステムは、時間フィルタリングされたトーンカーブをベースレイヤーに適用して、時間コヒーレントレイヤーを生成する。時間コヒーレントベースレイヤーは、ＨＤＲビデオから導出された詳細レイヤーと組み合わせることにより、トーンマッピングされたビデオのフレームを生成する。【選択図】なし【特許請求の範囲】
【請求項１】
一つのハイダイナミックレンジ（ＨＤＲ）ビデオの一つのフレームを使用する一つのベースレイヤーを生成すること；
該ベースレイヤーから一つのトーンカーブパラメータを導出すること；
該トーンカーブパラメータを時間フィルタリングすること；および
該時間フィルタリングされたトーンカーブパラメータから導出された一つのトーンカーブを使用する一つの時間コヒーレントベースレイヤーを生成すること
を含む、方法。
【請求項２】
前記ベースレイヤーで前記ＨＤＲビデオの前記フレームを除算することにより一つの詳細レイヤーを生成することを更に含む、請求項１記載の方法。
【請求項３】
前記詳細レイヤーと前記時間コヒーレントベースレイヤーとを組み合わせて一つのトーンマッピングされたビデオの一つのフレームを生成することを更に含む、請求項２記載の方法。
【請求項４】
前記ベースレイヤーを生成することは：
少なくとも２つの次元で前記ＨＤＲビデオの前記フレームを空間的にフィルタリングして前記ベースレイヤーを生成することを含む、請求項１記載の方法。
【請求項５】
前記ＨＤＲビデオの前記フレームは、前記ベースレイヤーを生成する際には時間フィルタリングされない、請求項４記載の方法。
【請求項６】
前記トーンカーブを使用する前記時間コヒーレントベースレイヤーを生成することにより、前記ＨＤＲビデオの前記フレームの色範囲を圧縮する、請求項１記載の方法。
【請求項７】
トーンカーブパラメータを時間フィルタリングすることは：
前記ＨＤＲビデオにおける以前の一つのフレーム中、以前に測定された一つのトーンカーブパラメータ値に一つの第一の加重を適用すること；
前記ＨＤＲビデオの前記フレームの前記トーンカーブパラメータの一つの現在の値に一つの第二の加重を適用すること；および
該加重された以前の測定値と該加重された現在の値とを組み合わせて前記トーンカーブパラメータの一つの調整値を生成し、ここで該トーンカーブは該調整値を使用することで導出されること、
を含む、請求項１記載の方法。
【請求項８】
前記トーンカーブは前記ベースレイヤーの輝度値を前記時間コヒーレントベースレイヤーの対応する輝度値に対してマッピングする、請求項１記載の方法。
【請求項９】
コンピュータ可読プログラムコードを内蔵したコンピュータ可読記憶媒体であって、該コンピュータ可読プログラムコードは一つのプロセッサにより以下の：
一つのハイダイナミックレンジ（ＨＤＲ）ビデオの一つのフレームを使用する一つのベースレイヤーを生成すること；
該ベースレイヤーから一つのトーンカーブパラメータを導出すること；
該トーンカーブパラメータを時間フィルタリングすること；および
該時間フィルタリングされたトーンカーブパラメータから導出された一つのトーンカーブを使用する一つの時間コヒーレントベースレイヤーを生成すること
を実行可能にする、コンピュータ可読記憶媒体。
【請求項１０】
コンピュータ可読プログラムコードを更に含む請求項９記載のコンピュータプログラム製品であって、該コンピュータ可読プログラムコードは：
前記ＨＤＲビデオの前記フレームを前記ベースレイヤーで除算することにより一つの詳細レイヤーを生成する；および
前記詳細レイヤーを前記時間コヒーレントベースレイヤーと組み合わせることにより一つのトーンマッピングされたビデオの一つのフレームを生成する
ように構成されたコンピュータ可読プログラムコードである、請求項９記載のコンピュータプログラム製品。
【請求項１１】
前記ベースレイヤーを生成することは、コンピュータ可読プログラムコードを含み、該コンピュータ可読プログラムコードは、少なくとも２つの次元で前記ＨＤＲビデオの前記フレームを空間的にフィルタリングして前記ベースレイヤーを生成する
ように構成されたコンピュータ可読プログラムコードである、請求項９記載のコンピュータプログラム製品。
【請求項１２】
前記ＨＤＲビデオの前記フレームは、前記ベースレイヤーを生成する際には時間フィルタリングされない、請求項８記載のコンピュータプログラム製品。
【請求項１３】
前記トーンカーブを使用する前記時間コヒーレントベースレイヤーを生成することにより、前記ＨＤＲビデオの前記フレームの前記色範囲を圧縮する、請求項９記載のコンピュータプログラム製品。
【請求項１４】
トーンカーブパラメータを時間フィルタリングすることはコンピュータ可読プログラムコードを含み、該コンピュータ可読プログラムコードは：
前記ＨＤＲビデオにおける一つの以前のフレームの、一つの以前に測定されたトーンカーブパラメータ値に一つの第一の加重を適用する；
前記ＨＤＲビデオの前記フレームの前記トーンカーブパラメータの一つの現在の値に一つの第二の加重を適用する；
該加重された以前の測定値と該加重された現在の値とを組み合わせて前記トーンカーブパラメータの一つの調整値を生成し、ここで該トーンカーブは該調整値を使用することで導出される
ように構成されたコンピュータ可読プログラムコードである、請求項９記載のコンピュータプログラム製品。
【請求項１５】
一つのコンピュータプロセッサ；および
一つのプログラムを含む一つまたはそれ以上のメモリであって、該コンピュータプロセッサで実行される際に、該プログラムは以下の：
一つのハイダイナミックレンジ（ＨＤＲ）ビデオの一つのフレームを使用する一つのベースレイヤーを生成すること；
該ベースレイヤーから一つのトーンカーブパラメータを導出すること；
該トーンカーブパラメータを時間フィルタリングすること；および
該時間フィルタリングされたトーンカーブパラメータから導出された一つのトーンカーブを使用する一つの時間コヒーレントベースレイヤーを生成する
ことを含む一つの動作を実行する、該メモリ
を含むトーンマッピングシステム。
【請求項１６】
前記動作は、以下の：
前記ベースレイヤーで前記ＨＤＲビデオの前記フレームを除算することにより一つの詳細レイヤーを生成すること；および
前記詳細レイヤーと前記時間コヒーレントベースレイヤーとを組み合わせて一つのトーンマッピングされたビデオの一つのフレームを生成すること、
を更に含む、請求項１５記載のシステム。
【請求項１７】
前記ベースレイヤーを生成することは：
少なくとも２つの次元で前記ＨＤＲビデオの前記フレームを空間的にフィルタリングして前記ベースレイヤーを生成することを含む、請求項１５記載のシステム。
【請求項１８】
前記ＨＤＲビデオの前記フレームは、前記ベースレイヤーを生成する際には時間フィルタリングされない、請求項８記載のシステム。
【請求項１９】
前記トーンカーブを使用する前記時間コヒーレントベースレイヤーを生成することにより、前記ＨＤＲビデオの前記フレームの色範囲を圧縮する、請求項１５記載のシステム。
【請求項２０】
該トーンカーブパラメータを時間フィルタリングすることは：
前記ＨＤＲビデオにおける一つの以前のフレームの、一つの以前に測定されたトーンカーブパラメータ値に一つの第一の加重を適用すること；
前記ＨＤＲビデオの前記フレームの前記トーンカーブパラメータの一つの現在の値に一つの第二の加重を適用すること；および
該加重された以前の測定値と該加重された現在の値とを組み合わせて前記トーンカーブパラメータの一つの調整値を生成し、ここで該トーンカーブは該調整値を使用することで導出されること、
を含む、請求項１５記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本明細書において示される実施形態は、一般に、ハイダイナミックレンジ（ＨＤＲ）ビデオ用のトーンマッピングの実行に関する。
【背景技術】
【０００２】
トーンマッピングは、典型的にはハイダイナミックカラーレンジをサポートしない表示装置（例えば、モニター、テレビジョン、携帯機器の表示部等）にＨＤＲビデオが出力され得る前に実行される。ＨＤＲビデオの色の範囲は、表示装置により出力され得る色の範囲を超えることがある。そのため、トーンマッピングは、ＨＤＲビデオのフレームを、表示装置の色範囲内にある色をもつ対応するフレームに変換する。さらに、トーンマッピングは、ビデオを出力する表示装置の性能に適するように、カメラ（このカメラがＨＤＲビデオを生成する）によって撮影しながら輝度レベルを調整することができる。
【発明の概要】
【０００３】
本実施形態は、ＨＤＲビデオのフレームを使用するベースレイヤーを生成することと、ベースレイヤーからトーンカーブパラメータを導出することを含む方法を記載する。本方法はトーンカーブパラメータを時間フィルタリングすることと時間フィルタリングされたトーンカーブパラメータから導出されたトーンカーブを使用する時間コヒーレントベースレイヤーを生成することを含む。
【０００４】
本実施形態は、ＨＤＲビデオのフレームを使用するベースレイヤーを生成し、このベースレイヤーからトーンカーブパラメータを導出するための、プロセッサで実行可能なコンピュータ可読プログラムコードを備えたコンピュータ可読記憶媒体を記載する。このプログラムコードは、トーンカーブパラメータを時間フィルタリングし、且つ時間フィルタリングされたトーンカーブパラメータから導出されたトーンカーブを使用する時間コヒーレントベースレイヤーを生成することも実行可能である。
【０００５】
本実施形態は、一つのコンピュータプロセッサ及び、このコンピュータプロセッサで実行される際に、一つの操作を実行する一つのプログラムを格納する一つまたはそれ以上のメモリを含むトーンマッピングシステムを記載する。この操作は一つのＨＤＲビデオの一つのフレームを使用する一つのベースレイヤーを生成することおよびこのベースレイヤーから一つのトーンカーブパラメータを導出することを含む。この操作は、トーンカーブパラメータを時間フィルタリングすること、および時間フィルタリングされたトーンカーブパラメータから導出された一つのトーンカーブを使用する一つの時間コヒーレントベースレイヤーを生成することをも含む。
【図面の簡単な説明】
【０００６】
上述した態様が達成され且つ詳細に理解可能となるように、前記に簡単に概要を示した、本発明の実施形態は、添付された図面を参照することで、具体的に説明され得る。
【０００７】
しかしながら、添付された図面は、本発明の典型的な実施形態のみを示し、そのため発明の範囲を制限するものとみなすべきではなく、その他の同様に効果的な実施形態まで本発明に対して認められることに留意すべきである。
【０００８】
【図１】本明細書に記載される一実施形態に従った、ＨＤＲビデオをトーンマッピングされたビデオに変換するためのフローチャートである。
【図２】本明細書に記載される一実施形態に従った、トーンカーブを時間フィルタリングするためのフローチャートである。
【図３】本明細書に記載される一実施形態に従った、ＨＤＲビデオをトーンマッピングされたビデオに変換するためのフローチャートである。
【図４】本明細書に記載される一実施形態に従った、トーンマッピング技術の目視比較を示す。
【図５】本明細書に記載される一実施形態に従った、トーンマッピングを実行するためのコンピュータシステムのブロック図を示す。
【０００９】
理解し易くするために、図面で共通する同一の要素を示すために、可能であれば、同一の参照番号が使用されている。一実施形態に開示される要素は、特別に記述せずとも、別の実施形態で有利に使用され得ることが考えられる。
【発明を実施するための形態】
【００１０】
時間的コヒーレンス性はＨＤＲビデオトーンマッピング技術の慢性的な問題である。一般的には、時間的コヒーレンス性はＨＤＲビデオの個別のフレームで実行されるトーンマッピングがフレーム毎に一致する度合いを表す。トーンマッピングされたコンテンツに時間的コヒーレンス性が欠如すると、人の目で認識可能な連続するフレーム間で、急激な明るさの変化（例えばフラッシュ）として度々現われる。これらのフラッシュはビデオトーンマッピングの使用を制限してきた。「ハイダイナミックビデオの時間的コヒーレントローカルトーンマッピング」と題された米国特許出願第１４／１２１，０９１号は、ここで参照として組み込まれるが、時間コヒーレント方法でローカルビデオトーンマッピングを実行するための技術を記載する。本明細書に記載される実施形態は、比較的少ないコンピューティング資源を要求可能なローカルビデオトーンマッピングを実行するための技術を記載する。
【００１１】
ある実施形態において、トーンマッピングシステムは一つのＨＤＲビデオにおける一つのフレームをフィルタリングすることにより一つのベースレイヤーを生成する。次いでこのベースレイヤーから一つのトーンマッピングパラメータ、―例えばこのベースレイヤーの平均輝度または最大輝度値が導出される。このトーンパラメータが一旦同定されると、システムは、時間フィルタリングを実行し、ＨＤＲビデオにおける一つの現フレーム用のトーンカーブパラメータの値と、少なくとも一つの前フレームのトーンカーブパラメータの値との不一致を平滑化する。トーンカーブパラメータの値を時間フィルタリングすることにより、トーンマッピングシステムは、得られたトーンマッピングされたビデオにおけるフレーム間の急激な明るさの変化またはフラッシュを減少または除去できる。その上、本明細書に記載される実施形態は、ベースレイヤー全体に時間フィルタリングを実行する必要はなく、コンピュータを駆使した処理が非常に少ないであろうトーンカーブパラメータに対してのみ時間フィルタリングを実行する。トーンマッピングシステムは時間フィルタリングされたトーンカーブをベースレイヤーに適用して時間コヒーレントレイヤーを生成する。
【００１２】
ある実施形態において、トーンマッピングシステムは、ベースレイヤーを、ＨＤＲビデオストリームにおける対応するフレームで除算することにより詳細レイヤーを生成する。トーンマッピングシステムは時間コヒーレントレイヤーと詳細レイヤーを結合してトーンマッピングされたビデオのフレームを得る。これらのフレームは、ユーザー装置に表示可能であり、この装置は色の範囲が制限されているものの、元のＨＤＲビデオにおける色の対比および詳細の大部分は依然として保持される。トーンカーブを、詳細レイヤーではなく、ベースレイヤーに適用する一つの利点は、そのようにすることで、トーンカーブをベースレイヤーと詳細レイヤーの両方に適用する場合に損失してしまうはずの、ＨＤＲビデオにおける詳細を大部分保持することである。
【００１３】
図１は本明細書に記載される一実施形態による、ＨＤＲビデオをトーンマッピングされたビデオに変換させるためのシステムフロー１００である。フロー１００において、ボックスは、一つのトーンマッピングシステムの機能を表し、丸はトーンマッピングシステムにおいて生成または記憶されたデータを示す。図示されるように、フロー１００はＨＤＲビデオ１０５がトーンマッピングシステムで受信されると開始する。ＨＤＲビデオ１０５はトーンマッピングシステムに（例えばコンプリートメディアプレゼンテーションとして）記憶され得るか、あるいはより小さい処理用チャンクにおけるシステムへ送信可能である。一般的に、フロー１００はＨＤＲビデオ１０５の個別のフレームをトーンマッピングされたビデオ１５０のフレームに変換させるための技術を表す。別の表現でいうと、トーンマッピングされたビデオ１５０はＨＤＲビデオ１０５のフレームと同様な色の対比と詳細（例えばエッジおよびテクスチャ）を有し得るがＨＤＲビデオ１０５よりも少ない色の範囲を有し得る。
【００１４】
トーンマッピングシステムは空間フィルター１１０を使用してＨＤＲビデオ１０５の一つのフレームを処理する。本実施例では、フロー１００の空間フィルター１１０は一つの透過性ガイデッドフィルター（ＰＧＦ）でありこれはＨＤＲビデオ１０５の一つのフレームを受信し且つ一つのベースレイヤー１１５を出力する。一般的に、ベースレイヤー１１５はＨＤＲビデオフレームにおけるピクセルの輝度値を表す。ある実施形態では、ベースレイヤー１１５を生成するために、ＰＧＦ１１０はＨＤＲビデオ１０５におけるフレームを時間ではなく空間的（例えばピクセル面上のＸおよびＹ次元）に処理する。ある実施形態では、ＰＧＦ１１０は、一つの均一なグリッド上でのピクセルの位置により規定される一つの空間的局所的近傍を決定することにより、一つのＨＤＲフレームにおける各ピクセルを空間的にフィルタリングする。あるピクセルに対する空間的局所的近傍は、その与えられたピクセルの空間的近くに存在する２つまたはそれ以上のピクセル一式として規定される。
【００１５】
ある実施形態では、ＰＧＦ１１０は、それ以前のフィルターフレームを考慮せずに、―すなわち時間フィルタリングを実行することなく、ベースレイヤー１１５を生成する。ＸおよびＹ空間次元におけるフレームのフィルタリングはフレームを時間的、―すなわち、時間次元においてフィルタリングするよりも、計算時間およびリソースが少なくて済む可能性がある。したがって、このｘｙＰＧＦ１１０はフレームを時間的及び空間的両方で処理する一つのフィルターよりも、受信した一つのフレームをより早く処理し得る。
【００１６】
加えて、トーンマッピングシステムはＨＤＲビデオフレームを処理するためにアーティストインタラクション１２０を許容する。ある実施例では、一人の技術者がＨＤＲビデオ１０５におけるハイライトまたは他の特性を変更するためにカラーグレーディングを実行し得る。これらの芸術的変更は本明細書において芸術的設定として参照される。以前のトーンマッピング技術では、一人の技術者は、芸術的設定および得られたトーンマッピングされたビデオ１５０の出力に応じて、ＨＤＲビデオ１０５を修正するために、トーンマッピングシステムに対して数日ではなくとも数時間待つ必要があり得る。もし技術者が得られたトーンマッピングビデオ１５０を好まない場合、技術者は芸術的設定を変更し、且つ、ＨＤＲビデオ１０５をトーンマッピングされたビデオ１５０に変換するためトーンマッピングシステムを再度待つ。
【００１７】
本明細書に記載される実施形態は技術者に対してリアルタイムのフィードバックを提供するために利用可能である。すなわち、フロー１００は、技術者により行われた色の変更が瞬時にまたはほとんど瞬時に、―例えば数秒間で、トーンマッピングされたビデオ１５０を生成するのに利用されるような方法で実行可能である。したがって、技術者はトーンマッピングされたビデオ１５０を生成するために、トーンマッピングシステムに対して数時間待つ必要がなく、技術者自身が行った変更に係るフィードバックをほとんど瞬時に受信することができる。
【００１８】
芸術的設定およびベースレイヤーを使用すると、トーンマッピングシステムはトーン‐カーブ‐スペース時間フィルタリング１２５を実行する。一般的に、トーン‐カーブ‐スペース時間フィルタリング１２５は、時間フィルタリングされたトーンカーブを生成し、このトーンカーブはベースレイヤーを処理して時間コヒーレントベースレイヤー１４０を生成するために使用され得る。トーン‐カーブ‐スペース時間フィルタリング１２５の詳細は図２に記載される。
【００１９】
図２は、本明細書に記載される一実施形態における、トーンカーブを時間フィルタリングするための方法２００のフローチャートである。ブロック２０５では、トーンマッピングシステムはベースレイヤーから一つのトーンカーブパラメータを同定する。一般的に、トーンカーブパラメータはベースレイヤーから導出された一つの統計値である。ある実施形態では、トーンカーブパラメータは、ベースレイヤーから導出された一つの照度値である。例えば、トーンマッピングシステムはベースレイヤーにおけるピクセルを各々評価し、ベースレイヤーの平均輝度値、最大輝度値、または最小輝度値を同定し得る。平均輝度値、最大輝度値または最小輝度値は、一つのトーンカーブを生成するのに利用可能な適切なトーンカーブパラメータの３つの実施例に過ぎない。当業者は、別の画像統計パラメータが、トーンカーブパラメータとして代わりに利用できるベースレイヤーから導出可能であることを認識するであろう。その上、方法２００は一つのトーンカーブパラメータを導出することを説明しているが、トーンマッピングシステムは、組合せまたは加重可能な複数のトーンカーブパラメータを導出可能である。
【００２０】
ブロック２１０では、トーンマッピングシステムは、前フレームから導出されたトーンカーブパラメータ値を使用するトーンカーブパラメータを時間フィルタリングする。すなわち、トーンマッピングシステムは、前トーンカーブパラメータ値を使用する現フレーム用トーンカーブパラメータを修正する。例えば、トーンマッピングシステムは、前ベースレイヤーから導出された平均輝度値を使用する現ベースレイヤーに対して導出された平均輝度値を調整し、それらの値の差異を減少させることができる。
【００２１】
ベースレイヤーから導出されたトーンカーブパラメータは、ＨＤＲビデオにおける異なるフレーム間を大幅に変更可能である。例えば、ＨＤＲビデオにおける２つのフレームを、ユーザーが観た際には輝度に関してほとんど変化がみられないとしても、これらのフレームに関するトーンカーブパラメータ値は、様々な理由によって依然として大きく変わり得る。トーンカーブパラメータが時間フィルタリングされない場合には、ユーザーは上述したように得られたトーンマッピングされたビデオにおけるフラッシュに気づくであろう。したがって、ブロック２１０では、トーンマッピングシステムはトーンカーパラメータの過去の値を使用して、一つの新たなフレームを処理する際には、トーンカーブパラメータにおける変化量を制限または変更する。
【００２２】
方程式１は、トーンカーブパラメータを時間フィルタリングするためにトーンマッピングシステムにより処理され得る計算例を表す。ある実施形態では、方程式１は、ドーンカーブパラメータの線形または凸結合である。
【数１】
2017049992.tif 000002
【００２３】
方程式１では、
2017049992.tif 000003
はトーンカーブパラメータの現在の値であり、ｐｔ−１は前フレームのトーンカーブパラメータの値である。この変数ｐｔは時間フィルタリングされたトーンカーブパラメータであり、次いでこれは以下に記載されるように一つのトーンカーブを生成するために使用される。このαは現在の値に対してトーンカーブパラメータの以前の値を加重するユーザー定義のパラメータである。
【００２４】
方程式１において、トーンマッピングシステムは第一の加重値（例えば、α）をトーンカーブパラメータの以前の値（ｐｔ−１）に適用し、且つ第二の加重値（例えば、１−α）をトーンカーブパラメータ
2017049992.tif 000004
の現在の値に適用する。アルファの値が増加するにつれて、トーンカーブパラメータの現在の値と以前の値との間のより少ない偏差または変化が許される。別の表現では、以前の値と現在の値の差を減少させるように、以前のトーンカーブパラメータへの加重をより大きくする。逆にいうと、アルファの値が減少するにつれて、トーンカーブパラメータの現在の値と以前の値とのより大きな偏差または変化が許される。アルファの値を低くすると、現在のフレームと以前のフレーム間の輝度の突然の変化を許すことになり、さもなければこれはアルファの値が増加した場合には除去または減少され得る。
【００２５】
システムオペレーターは、ＨＤＲビデオに存在する特定の媒体に適するようにアルファの値を設定し得る。例えば、ＨＤＲビデオがフレーム間で輝度の急激な変化がある場合に（例えば花火のビデオまたはストロボ）、技術者は次いでアルファ値をゼロ付近に選択しフレーム間の急激な輝度の変化を含むトーンマッピングされたビデオを出力し得る。しかしながら、ＨＤＲビデオにおける輝度の変化がわずかであれば、―例えばビデオが屋外で一定の太陽光で撮られる場合には、―技術者はアルファのより高い値を選択し、フレーム間におけるトーンカーブパラメータのいかなる変化も減少させて得られたトーンマッピングされたビデオが意図しないフラッシュを含まないようにし得る。すなわち、ＨＤＲビデオにおける輝度の変化を特徴づけることにより、システムオペレーターは、アルファ値を調整し、フレーム間の輝度の意図した変化をトーンマッピングされたビデオに保持することと、トーンカーブパラメータが変化することで生じる不要なフラッシュやちらつきを減少させることとのバランスをとることができる。
【００２６】
方程式１は、現在のフレームおよび以前のフレームに対するトーンカーブパラメータ値を加重することによって、一つの時間フィルタリングされたトーンカーブパラメータ（ｐｔ）を生成することを示しているが、別の実施形態では、トーンマッピングシステムは、トーンマッピングシステムにより以前に処理された複数のフレームからトーンカーブパラメータ値を使用する調整されたトーンカーブパラメータを生成し得る。例えば、以前のフレーム由来のトーンカーブパラメータ（例えばｐｔ−１）のみを使用する代わりに、このトーンマッピングシステムは、以前の５つのトーンカーブパラメータ値の平均値を使用し得る。以前のトーンカーブパラメータの一つの移動平均を維持することによって、トーンマッピングシステムは現在のトーンカーブパラメータを時間フィルタリングしトーンマッピングされたビデオの意図しないフラッシュを防ぐことができる。
【００２７】
その上、トーンカーブパラメータを時間フィルタリングすることにより、トーンマッピングシステムはベースレイヤー自身を時間フィルタリングすることを防ぐ。すなわち、ある実施形態で、ベースレイヤー（これは何百万ものピクセルを含み得る）の各ピクセルを時間フィルタリングするよりもむしろ、トーンマッピングシステムはパラメータの以前の値を使用するトーンカーブパラメータをただ時間フィルタリングするだけである。そうすることでトーンマッピングシステムをリアルタイムで実行できる。
【００２８】
ブロック２１５では、トーンマッピングシステムは時間フィルタリングされたトーンカーブパラメータ（例えばｐｔ）から一つのトーンカーブを生成する。一般的に、トーンカーブは入力輝度と出力輝度の間の一つマッピンングであり得る。トーンカーブにより、トーンマッピングシステムは、ＨＤＲビデオにおけるピクセルの色の範囲を、非ＨＤＲのユーザー装置、―例えばテレビジョン、スマートフォンまたはタブレットのディスプレイ、コンピューター・モニター等により使用されているより狭い色の範囲に圧縮することができる。本明細書に記載される実施形態では、単一のトーンカーブを生成し利用することが記載されているが、トーンマッピングシステムはベースレイヤーを処理するための複数のトーンカーブを生成し（または予め定義された複数のトーンカーブを使用し）、時間コヒーレントベースレイヤーを得ることができる。
【００２９】
ブロック２２０では、トーンマッピングシステムは芸術的設定に応じてトーンカーブを調整する。図１では、アーティストインタラクション１２０は、芸術的設定を生成し、これは次にトーン‐カーブ‐スペース時間フィルタリング１２５に供給される。例えば、技術者はトーンカーブの一部をハイライトに変更して特定の色または色の範囲を強調することを希望することがある。これらの芸術的設定はトーンカーブの形状を変更させる。
【００３０】
しかしながら、トーンカーブを変更するために芸術的設定を使用することは、必須要件ではない。方法２００では、リアルタイムでトーンマッピングされたビデオを調整するために芸術的設定を使用することができるが、方法２００は、アーティストインタラクションを全く必要とせずに実行可能である。この状況では、トーンカーブはベースレイヤーから導出された一つのトーンカーブパラメータ（あるいは複数のトーンカーブパラメータ）だけを使用して生成される。
【００３１】
ブロック２２５では、トーンマッピングシステムは調整されたトーンカーブをベースレイヤーに適用することにより時間コヒーレントベースレイヤーを得る。言い換えると、トーンマッピングシステムはトーンカーブで規定される入力輝度と出力輝度との関係性を使用し、ベースレイヤーにおけるピクセルの輝度値を調整する。トーンカーブは時間フィルタリングトーンカーブパラメータを使用して生成されるため、トーンカーブをベースレイヤーに適用することにより一つの時間コヒーレントベースレイヤーが得られ、ここで以前のフレームのベースレイヤーに関連した輝度値における意図しない変化が軽減される。
【００３２】
さらに、トーンカーブを（ベースレイヤーおよび詳細レイヤーの両方よりも）ベースレイヤーだけに適用することの利点の一つは、そのようにすることで、ローカルトーンマッピングオペレーションを実行できることによる芸術的自由が保持されることである。ベースレイヤーと詳細レイヤーとを別個に処理することにより詳細レイヤーにおける特徴の視認性の正確なコントロールが可能となる。さらに、トーンカーブパラメータはＨＤＲビデオから直接導出されるよりもベースレイヤーから導出される場合に、より安定的である（すなわち、フレーム間におけるトーンカーブパラメータの変化がより小さい）。これは、ベースレイヤーを生成するために使用されたフィルターがＨＤＲビデオにおける輝度値の局所変化を減少させ且つ外れ値を除去するためである。したがって、ベースレイヤーからトーンカーブパラメータを導出することはトーンカーブパラメータにおける時間差を安定化させ且つ上述のフラッシュを軽減させることにも役立つ。
【００３３】
図１におけるフロー１００に戻ると、トーン‐カーブ‐スペース時間フィルタリング１２５を実行すると、時間コヒーレントベースレイヤー１４０を得る。トーンマッピングされたビデオ１５０を生成するために、トーンマッピングシステムは時間コヒーレントベースレイヤー１４０と一つの詳細レイヤー１３５とを組み合わせる。詳細レイヤー１３５はＨＤＲビデオ１０５の各ピクセルを、ベースレイヤー１１５の対応するピクセルで除算することにより導出される。言い換えると、ベースレイヤー１１５を生成するために使用された同一のＨＤＲビデオフレームをベースレイヤー１１５で除算することにより詳細レイヤー１３５を得る。この除算ファンクション１３０はＨＤＲビデオフレームから輝度を除去するが、詳細レイヤー１３５に記憶されているテクスチャおよびエッジ情報は残される。フロー１００に示されないが、技術者は詳細レイヤー１３５を変更するための芸術的設定を提供できる。例えば、技術者は詳細レイヤー１３５の一つのエッジを鋭くすること、または一つのテクスチャを調整することを希望できる。これらの変更は詳細レイヤー１３５に対して直接行うことができる。
【００３４】
トーンマッピングシステムは、１ピクセル毎の乗算ファンクション１４５を使用して、詳細レイヤー１３５と時間コヒーレントベースレイヤー１４０を組み合わせてトーンマッピングされたビデオ１５０の一つのフレームを生成する。一般的に、トーンマッピングされたビデオ１５０はＨＤＲビデオ１５０と同様な色対比および詳細（例えば同様なテクスチャ）を含む一方で狭い色範囲を有する。ある実施形態では、乗算ファンクション１４５は色の増幅を実行するために加重される。しかしながら、別の実施形態では、乗算ファンクション１４５は加重されず、且つ詳細のレベルはトーンカーブにより制御される、―すなわちベースレイヤーが大幅に圧縮されると、その結果詳細はより明瞭となり、またその逆もある。
【００３５】
フロー１００はＨＤＲビデオ１０５における各フレームに対して繰り返す。そうすることで、トーンマッピングシステムは各フレームに対して一つのベースレイヤー１１５を生成し、ベースレイヤー１１５からトーンカーブパラメータの値を同定し、そしてトーンカーブパラメータを時間フィルタリングする。このパラメータから生成された一つのトーンカーブを使用すると、トーンカーブパラメータの時間フィルタリング１２５を行い、且つ一つのトーンカーブを生成することにより、一つの時間コヒーレントベースレイヤー１４０を得て、これを詳細レイヤー１３５と組み合わせてトーンマッピングされたビデオ１５０を生成する。
【００３６】
図３は、本明細書に記載される一実施形態に従った、ＨＤＲビデオをトーンマッピングされたビデオに変換するための一つのシステムフロー３００である。フロー３００は、アーティストインタラクション１２０がプリセット３０５に置き換わっていることを除けば図１のフロー１００と同一である。ある実施形態では、フロー３００は、ＨＤＲビデオ１０５が生中継用の場合であって、トーンマッピングシステム３００がフロー３００を使用してＨＤＲビデオ１０５をトーンマッピングされたビデオ１５０に変換し、これを次いでユーザー装置に放送する場合に好ましいであろう。例えば、トーンマッピングされたビデオ１５０は、一つの配信ネットワーク（例えば一つのケーブルまたは衛星プロバイダ）に送信され、ユーザー装置に伝えられ得る。
【００３７】
遅延を最小限にするために、ＨＤＲビデオを観て芸術的設定を提供する技術者の代わりに、トーンマッピングシステムはプリセット３０５を使用してトーン‐カーブ‐スペース時間フィルタリング１２５により生成されたトーンカーブを変更させる。芸術的設定と同様に、プリセット３０５はＨＤＲビデオ１０５のハイライトまたは色分布を調整することができる。プリセット３０５はＨＤＲビデオ１０５が生成される前に同定可能であるため、トーンマッピングシステムはプリセット３０５を使用してトーンカーブが計算されたら直ちにトーンカーブを調整できる。したがって、トーンマッピングシステムはリアルタイムでフロー３００を実行し、スポーツイベント、ライブコンサート、ニュース生中継、および最小遅延を要する同様な類のためにトーンマッピングされたビデオ１５０を生成する。
【００３８】
図４は、本明細書に記載された一実施形態による、トーンマッピング技術の一つの目視比較を示す。特に、図４は、本明細書に記載された技術と、米国特許出願第１４／１２１，０９１号に記載された技術とを使用して生成されたトーンマッピングされた画像間の比較を示す。図示されるように、これらの画像間の差異は、無視できるものである。したがって、本明細書に記載された技術は、品質を犠牲にすることなく、ビデオまたはリアルタイム放送を編集するためにリアルタイムのフィードバックを生成するのに利用可能である。
【００３９】
図５は本明細書に記載される一実施形態における、トーンマッピングを実行するための一つのコンピュータシステム５００のブロック図を表す。コンピュータシステム５００（例えば一つのトーンマッピングシステム）は一つのプロセッサ５０５とメモリ５１０を備える。コンピュータシステム５００は一つのネットワークに接続される単一の計算装置（例えば一つのサーバー）、または複数の計算装置を備え得る。例えば、コンピュータシステム５００は一つのデータセンターまたは一つのクラウドサービスとなり得る。
【００４０】
プロセッサ５０５は一つまたはそれ以上の処理要素を表し、各要素がマルチコアを備え得る。メモリ５１０は揮発性または不揮発性メモリ素子、例えば主記憶装置、ハードディスク、クラウドストレージおよび同様な類を備え得る。図示されるように、メモリ５１０は一つのトーンマッピングアプリケーション５１５を記憶しており、これは図１および図３に示されたフローを実行する。このトーンマッピングアプリケーション５１５は、ＨＤＲビデオをトーンマッピングされたビデオに変換するためのソフトウェアプログラムをいくつでも備え得る。さらに、別の実施形態において、コンピュータシステム５００はハードウェアコンポーネントを備え、フロー１００およびフロー３００に示される一つまたはそれ以上の工程を実行する。例えば、特定用途向け集積回路（ＡＳＩＣ）またはフィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）は、フロー１００およびフロー３００における工程の一つまたは全てを実行するために利用可能である。
【００４１】
前述では、本発明の実施形態について説明されている。しかしながら、本発明は実施形態に記載される特定の態様に限定されないことは理解すべきである。むしろ、前述の特徴および要素のいかなる組合せも、異なる実施形態に関連していようといまいと、本発明を実行し且つ実践するために考慮されている。さらに、本発明の実施形態は他の可能な解決策および／または従来技術を超えた利点を達成し得るけれども、特定の利点がある実施形態で達成されるかどうかは本発明の限定要因にはならない。したがって、本明細書に記載される態様、特徴、実施形態および利点は、単に例示に過ぎず、且つ請求項に明示されている箇所を除く添付された請求項の要素または限定とみなされない。同様に、「本発明」への言及は、本明細書に記載される発明の主題の一般化として解釈されるべきではなく、且つ請求項に明示的に記載された箇所を除く、添付の請求項の要素または限定事項として考慮されるべきではない。
【００４２】
当業者に理解されるように、本発明の態様はシステム、方法またはコンピュータプログラム製品として具現化可能である。したがって、本発明の態様は、完全なハードウェア形態、完全なソフトウェア形態（ファームウェア、常駐ソフトウェア、マイクロコード、その他を含む)、または、ソフトウェア態様及びハードウェア態様の組み合わせ形態を採用することが可能であり、これらは全て本願において「回路」、「モジュール」または「システム」と一般的に言及されてよい。さらに、本発明の態様は、内蔵されたコンピュータ可読プログラムコードを有する一つ以上のコンピュータ可読媒体に具現化されたコンピュータプログラム製品の形態を採用することができる。
【００４３】
一つまたはそれ以上のコンピュータ可読媒体のうちの任意の組み合わせが使用されてよい。コンピュータ可読媒体は、一つのコンピュータ可読信号媒体または一つのコンピュータ可読記憶媒体であってよい。コンピュータ可読記憶媒体は、例えば、電子的、磁気的、光学的、電磁的、赤外線的または半導体的なシステム、装置、またはデバイス、またはそれらの適切な任意の組合せであるが、これらに限定されない。コンピュータ可読記憶媒体のより具体的な例（完全に網羅されていないリスト）は以下に列挙する：一つまたはそれ以上のワイヤを有する配線、携帯可能なコンピュータディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、消去可能でプログラム可能なリードオンリメモリ（ＥＰＲＯＭまたはフラッシュメモリ）、光ファイバー、携帯可能なコンパクトディスクリードオンリメモリ（ＣＤ−ＲＯＭ）、光ストレージデバイス、磁気ストレージデバイス、またはそれらの適切な任意の組み合わせである。本明細書に照らして、コンピュータ可読記憶媒体は、命令実行システム、装置またはデバイスにより使用される、または接続して使用されるプログラムを格納、または記憶可能な任意の有形的表現媒体となり得る。
【００４４】
コンピュータ可読信号媒体は、内蔵されたコンピュータ可読プログラムコードを備えた伝搬データ信号を、例えばベースバンドにおいて、または搬送波の一部として含み得る。このような伝搬信号は、電磁的形式、光学的形式、またはそれらの適切な任意の組合せを含む多様な任意の形式を採用し得るがこれらに限定されない。コンピュータ可読信号媒体は、任意のコンピュータ可読媒体とすることができ、このコンピュータ可読媒体は、コンピュータ可読記憶媒体ではなく、且つ命令実行システム、装置またはデバイスにより使用される、または接続して使用されるプログラムを通信、伝搬、または伝送可能である。
【００４５】
コンピュータ可読媒体に内蔵されたプログラムコードは、無線、有線、光ファイバーケーブル、ＲＦ、その他、またはそれらの適切な任意の組合せを含むがこれらに限定されない、適切な任意の媒体を使用して送信され得る。
【００４６】
本発明の態様に関し、操作を実行するためのコンピュータプログラムコードは、Ｊａｖａ、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋、または同様な類のオブジェクト指向プログラミング言語、および「Ｃ」プログラミング言語または類似のプログラミング言語のような、従来の手続き型プログラミング言語を含む、一つ以上のプログラミング言語の任意の組合せで記述され得る。プログラムコードはユーザーのコンピュータで全体的に、ユーザーのコンピュータで部分的に、スタンドアロンのソフトウェアパッケージとして、ユーザコンピュータ上で部分的に、およびリモートコンピュータで部分的に、またはリモートコンピュータまたはサーバーで全体的に実行可能である。後者の場合、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）またはワイドエリアネットワーク（ＷＡＮ）を含む、任意のタイプのネットワークを通してユーザーのコンピュータに連結可能であり、または、外部のコンピュータ（例えばインターネットサービスプロバイダを使用するインターネットを通して）に対して連結可能である。
【００４７】
本発明の態様は、以下に、本発明の実施形態における、方法、装置（システム）およびコンピュータプログラム製品のフローチャート図および／またはブロック図を参照することにより説明される。フローチャート図および／またはブロック図の各ブロック、およびフローチャート図および／またはブロック図のブロックの組合せは、コンピュータプログラム命令により実行可能であることを理解するであろう。これらのコンピュータプログラム命令は汎用コンピュータ、専用コンピュータ、または別のプログラム可能なデータ処理装置の一つのプロセッサに提供されて、一つのコンピュータを製造することが可能であり、コンピュータまたは他のプログラム可能なデータ処理装置のプロセッサを介して実行される命令によって、フローチャートおよび／またはブロック図の一つのまたは複数のブロックに規定された機能／行動を実行するための手段を生成する。
【００４８】
これらのコンピュータプログラム命令はコンピュータ可読媒体にも記憶可能であり、このコンピュータ可読媒体は、一つのコンピュータ、別のプログラム可能なデータ処理装置、または他のデバイスを特有の方法で機能するように指令することができ、コンピュータ可読媒体に記憶されている命令が、フローチャートおよび／またはブロック図の一つのまたは複数のブロックに規定された機能／行動を実行する命令を含む製造品を製造する。
【００４９】
コンピュータプログラム命令は、一つのコンピュータ、他のプログラム可能なデータ処理装置、または他のデバイスにもロード可能であり、該コンピュータ、他のプログラム可能な装置、または他のデバイス上で実行される一連の操作ステップを生じさせ、一つのコンピュータ実施プロセスを生成することにより、該コンピュータまたは他のプログラム可能な装置で実行する命令は、フローチャートおよび／またはブロック図の一つまたは複数のブロックに規定された機能／行動を実行するためのプロセスを提供するようにする。
【００５０】
本発明の実施形態は、クラウドコンピューティングインフラを通してエンドユーザーに提供可能である。クラウドコンピューティングとは一般的に一つのネットワークを介した一つのサービスとして拡張可能なコンピューティング資源の提供をいう。より公式には、クラウドコンピューティングとは、コンピュータ機能として定義可能であり、このコンピュータ機能は、コンピューティング資源およびその基礎となる技術アーキテクチャ（例えばサーバー、記憶装置、ネットワーク）との間の抽象化を提供することで、便利で、オンデマンドなネットワークアクセスを、最小限の経営努力またはサービス提供者の相互作用で、迅速にセットアップされまたはリリースされ得る設定可能なコンピューティング資源の共用プールに、実行させることができる。したがって、クラウドコンピューティングは、コンピューティング資源を提供するのに用いられてきた基本となる物理的システム（またはそれらのシステムの場所）を考慮することなく、その「クラウド」において、ユーザーが、バーチャルコンピューティング資源（例えば、記憶装置、データ、アプリケーション、および完全に仮想化されたコンピューティングシステムでさえ）にアクセスすることができるようにする。
【００５１】
典型的には、クラウドコンピューティング資源はユーザーに使用回数によってユーザーに提供され、ここでユーザーは実際に使用したコンピューティング資源に対してのみ課金される（例えば、ユーザーにより消費された保存スペース量、またはユーザーによりインスタンスを作成された仮想化システムの数）。ユーザーはいつでもクラウドに存在するあらゆる資源にアクセスでき、且つインターネット上のどこからでもアクセスできる。本発明に照らして、ユーザーはクラウドで利用可能なアプリケーション（例えばトーンマッピングアプリケーション５１５）または関連データにアクセスできる。例えば、トーンマッピングアプリケーション５１５はクラウド内のコンピュータシステムで実行できＨＤＲビデオをトーンマッピングされたビデオに変換できる。このような場合には、トーンマッピングアプリケーション５１５はＨＤＲビデオを処理することができ、クラウド内の記憶場所で、得られたトーンマッピングビデオを保存できる。そのようにすることで、ユーザーは、クラウドに接続されたネットワーク（例えば、インターネット）に付随する任意のコンピュータシステムから、この情報にアクセスすることができる。
【００５２】
図中のフローチャートおよびブロック図は、本発明の多様な実施形態に関するアーキテクチャ、機能、およびシステム、方法およびコンピュータプログラム製品の可能な実行の操作を図示する。この点で、フローチャートまたはブロック図の各ブロックは一つのモジュール、セグメント、またはコードの一部を表し、これは、特定された論理機能を実施するための一つまたはそれ以上の実行可能命令を含む。いくつかの代替的な実施では、ブロックに記載された機能は、図に記載されたのとは異なる順序で生じ得ることにも留意すべきである。例えば、連続して示された２つのブロックは、実際に、関連する機能に応じて、実質同時に実行されたり、あるいはそれらブロックが時には、逆の順序または順序が狂って実行されたりする。ブロック図および／またはフローチャート図の各ブロック、およびブロック図および／またはフローチャート図のブロックの組合せは、特定の機能または行動を実行する専用ハードウェアベースのシステムにより、または専用ハードウェアとコンピュータ命令との組合せにより実行可能であることにも留意すべきであろう。
【００５３】
上記は本発明の実施形態に関連する一方で、本発明の別のおよび追加の実施形態はその基本的な範囲を逸脱することなく、考案され得るものであり、且つその範囲は以下の請求項により規定される。
【図１】
2017049992.tif 000005
【図２】
2017049992.tif 000006
【図３】
2017049992.tif 000007
【図５】
2017049992.tif 000008
【図４】
2017049992.tif 000009
【外国語明細書】
2017049992000001.pdf