(57)【要約】      （修正有）【課題】視覚効果とも呼ばれるコンピュータ生成画像成分を有するＬＤＲ画像を逆トーンマッピングする方法及び機器を提供する。【解決手段】第１のＬＤＲ画像は、少なくとも１つのコンピュータ生成画像成分がレンダリングされ且つＬＤＲ参照画像又は背景プレート内に合成されることから得られるステップ、第１のＬＤＲ画像の一部と、前記第１のＬＤＲ画像に第１の通過の逆トーンマッピングを適用することによって得られる第１の中間ＨＤＲ画像のそれぞれの一部とから抽出される情報に応じてＨＤＲ照明指示を決定するステップ、ＬＤＲ参照画像に第２の通過の逆トーンマッピングを適用することによって第２の中間ＨＤＲ画像を得るステップ、及びコンピュータ生成画像成分がＨＤＲ照明指示を使用してレンダリングされ、且つ第２の中間ＨＤＲ画像内に合成されることから第１のＨＤＲ画像を得るステップを含む。【選択図】図１
2018170007.tif 000002
【特許請求の範囲】
【請求項１】
第１のＬＤＲ画像と呼ばれる、少なくとも１つのコンピュータ生成画像成分を有する低ダイナミックレンジ画像を、第１のＨＤＲ画像と呼ばれる、前記少なくとも１つのコンピュータ生成画像成分を有する高ダイナミックレンジ画像に逆トーンマッピングするための方法であって、
−  前記第１のＬＤＲ画像にアクセスすることであって、前記第１のＬＤＲ画像は、少なくとも１つのコンピュータ生成画像成分がレンダリングされ且つＬＤＲ参照画像内に合成されることによって得られる、アクセスすること
を含む、方法において、
−  前記第１のＬＤＲ画像の一部と、前記第１のＬＤＲ画像に逆トーンマッピングを適用することによって得られる第１の中間高ダイナミックレンジＨＤＲ画像のそれぞれの一部とから抽出される情報に応じてＨＤＲ照明指示を決定すること、
−  前記ＬＤＲ参照画像に前記逆トーンマッピングを適用することによって第２の中間ＨＤＲ画像を得ること、
−  前記少なくとも１つのコンピュータ生成画像成分が前記ＨＤＲ照明指示を使用してレンダリングされ、且つ前記第２の中間ＨＤＲ画像内に合成されることから前記第１のＨＤＲ画像を得ること
を更に含むことを特徴とする、方法。
【請求項２】
少なくとも１つの透明オブジェクトに関係する前記少なくとも１つのコンピュータ生成画像成分のサブセットを選択することを更に含み、
少なくとも１つのコンピュータ生成画像成分の前記選択されたサブセットは、前記ＬＤＲ参照画像内に含められ、
前記選択されたサブセット内にない前記コンピュータ生成画像成分は、ＨＤＲ照明指示を使用してレンダリングされ、且つ前記第２の中間ＨＤＲ画像内に合成される、請求項１に記載の方法。
【請求項３】
前記ＨＤＲ照明指示を決定することは、前記第１のＬＤＲ画像の一部と前記第１の中間ＨＤＲ画像のそれぞれの一部との差から係数を決定することを更に含み、前記係数は、前記少なくとも１つのコンピュータ生成画像成分の光源の振幅に適用される、請求項１又は２に記載の方法。
【請求項４】
前記ＨＤＲ照明指示を決定することは、前記第１のＬＤＲ画像の一部と前記第１の中間ＨＤＲ画像のそれぞれの一部との差から輝度依存係数を決定することを更に含み、前記輝度依存係数は、ＬＤＲ画像内にレンダリングされる前記少なくとも１つのコンピュータ生成画像成分の輝度に関して前記少なくとも１つのコンピュータ生成画像成分の光源の振幅に適用される、請求項１又は２に記載の方法。
【請求項５】
前記ＨＤＲ照明指示は、前記少なくとも１つのコンピュータ生成画像成分に更に応じたものである、請求項１〜４の何れか一項に記載の方法。
【請求項６】
前記ＬＤＲ参照画像は、ＭＰＥＧ−４ビデオ符号化規格を使用して符号化され、及びシーンオブジェクト又は光源の少なくとも１つは、ＭＰＥＧ−４のBinary Format for Sceneを使用して符号化される、請求項１〜５の何れか一項に記載の方法。
【請求項７】
第１のＬＤＲ画像と呼ばれる、少なくとも１つのコンピュータ生成画像成分を有する低ダイナミックレンジ画像を、第１のＨＤＲ画像と呼ばれる、前記少なくとも１つのコンピュータ生成画像成分を有する高ダイナミックレンジ画像に逆トーンマッピングするための装置であって、
−  前記第１のＬＤＲ画像にアクセスするための手段であって、前記第１のＬＤＲ画像は、少なくとも１つのコンピュータ生成画像成分がレンダリングされ且つＬＤＲ参照画像内に合成されることによって得られる、手段
を含む、装置において、
−  前記第１のＬＤＲ画像の一部と、前記第１のＬＤＲ画像に逆トーンマッピングを適用することによって得られる第１の中間高ダイナミックレンジＨＤＲ画像のそれぞれの一部とから抽出される情報に応じてＨＤＲ照明指示を決定するための手段、
−  前記ＬＤＲ参照画像に前記逆トーンマッピングを適用することによって第２の中間ＨＤＲ画像を得るための手段、
−  前記コンピュータ生成画像成分が前記ＨＤＲ照明指示を使用してレンダリングされ、且つ前記第２の中間ＨＤＲ画像内に合成されることから前記第１のＨＤＲ画像を得るための手段
を更に含むことを特徴とする、装置。
【請求項８】
少なくとも１つの透明オブジェクトに関係する前記少なくとも１つのコンピュータ生成画像成分のサブセットを選択するための手段を更に含み、
少なくとも１つのコンピュータ生成画像成分の前記選択されたサブセットは、前記ＬＤＲ参照画像内に含められ、
前記選択されたサブセット内にない前記コンピュータ生成画像成分は、前記ＨＤＲ照明指示を使用してレンダリングされ、且つ前記第２の中間ＨＤＲ画像内に合成される、請求項７に記載の装置。
【請求項９】
前記ＨＤＲ照明指示は、前記第１のＬＤＲ画像の一部と前記第１の中間ＨＤＲ画像のそれぞれの一部との差から決定される係数に応じたものであり、前記係数は、前記少なくとも１つのコンピュータ生成画像成分の光源の振幅に適用される、請求項７又は８に記載の装置。
【請求項１０】
前記ＨＤＲ照明指示は、前記第１のＬＤＲ画像の一部と前記第１の中間ＨＤＲ画像のそれぞれの一部との差から決定される輝度依存係数に応じたものであり、前記輝度依存係数は、ＬＤＲ画像内にレンダリングされる前記少なくとも１つのコンピュータ生成画像成分の輝度に関して前記少なくとも１つのコンピュータ生成画像成分の光源の振幅に適用される、請求項７又は８に記載の装置。
【請求項１１】
前記ＨＤＲ照明指示は、前記少なくとも１つのコンピュータ生成画像成分に更に応じたものである、請求項７〜１０の何れか一項に記載の装置。
【請求項１２】
前記ＬＤＲ参照画像は、ＭＰＥＧ−４ビデオ符号化規格を使用して符号化され、及びシーンオブジェクト又は光源の少なくとも１つは、ＭＰＥＧ−４のBinary Format for Sceneを使用して符号化される、請求項７〜１１の何れか一項に記載の装置。
【請求項１３】
−  モバイル装置、
−  通信装置、
−  ゲーム機、
−  セットトップボックス、
−  ＴＶ受像機、
−  Blu-Rayディスクプレーヤ、
−  プレーヤ、
−  タブレット（又はタブレットコンピュータ）、
−  ラップトップ、
−  ディスプレイ、
−  カメラ、及び
−  復号チップ
を含む組に属する、請求項７〜１２の何れか一項に記載の装置。
【請求項１４】
請求項１〜６の何れか一項に記載の方法のステップを実施するためにプロセッサによって実行可能なプログラムコード命令を含む、コンピュータプログラム。
【請求項１５】
コンピュータによって実行されると、請求項１〜６の何れか一項に記載の方法のステップを前記コンピュータに実行させる命令を含む、コンピュータプログラム可読媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、高ダイナミックレンジのイメージングの分野に関し、とりわけ視覚効果を含む低ダイナミックレンジコンテンツの逆トーンマッピングの問題に対処する。
【背景技術】
【０００２】
この節は、以下に記載の及び／又は特許請求の範囲に記載の本発明の様々な態様に関係し得る技術の様々な側面を読者に紹介することを目的とする。この解説は、本発明の様々な態様のよりよい理解を促進するための背景情報を読者に与えるのに有用であると考えられる。従って、これらの記述は従来技術の承認としてではなく、かかる観点から読まれるべきことを理解すべきである。
【０００３】
色、輝度、及びコントラストの拡張範囲を表示することを可能にする最近の表示技術の進展が始まっている。画像コンテンツの輝度又は明度範囲の拡張を可能にする技術は、ＨＤＲと短縮されることが多い高ダイナミックレンジイメージングとして知られている。ＨＤＲ画像は、従来の（以下では低ダイナミックレンジのＬＤＲと呼ぶ）画像よりも高い白レベル、高いコントラスト、又は高いビット深度の少なくとも１つを有する。今日、ＨＤＲ画像に拡張する必要がある大量のレガシＬＤＲコンテンツ、例えばＨＤＴＶブロードキャストコンテンツ又は古典的な映画映写向けにカラーグレーディングされた長編映画が入手可能である。
【０００４】
ＨＤＲディスプレイ装置向けにＬＤＲコンテンツを準備するには、反転又は逆トーンマッピングオペレータ（ｉＴＭＯ）が使用される。このアルゴリズムは、元のシーンの見た目を回復又は再形成することを目的として画像コンテンツ内の輝度レベル、コントラスト、色相、及びクロマを処理する。典型的には、ｉＴＭＯは、従来の（即ちＬＤＲ）画像を入力として取り、その画像の色の輝度範囲を大域的な方法で拡張し、次いで暗領域又は明領域を局所的に処理して画像内の色のＨＤＲでの見た目を向上させる。通常の方法で生成されるＨＤＲ画像は信頼できるが、ＨＤＲ画像を再形成するときにＬＤＲ画像内にある雑音、クリッピング、及び量子化が増幅されることがある。これは、視覚効果を含む画像で特に問題である。
【０００５】
今日の映画製作だけでなくゲーミングでは、視覚効果（以下ではＶＦＸと呼ぶ）は、実写場面（以下では自然画像と呼ぶ）中に画像を捕捉するワークフローとは別にコンピュータ生成画像を作成及び／又は操作するプロセスを範囲に含む。非限定的な例では、ＶＦＸは、意図する最終的な画像（以下ではＶＦＸを含む画像と呼ぶ）を生成するために自然画像に加えられるアニメのオブジェクト及びキャラクタ、照明効果、火、煙、霧等の透明オブジェクト等の人工的に作成される視覚要素を含む。一部のＶＦＸは、照明効果、例えば鏡面反射及び投影に結び付けられ、とりわけ画像内の暗部又は明部を引き起こす。ＶＦＸは、シーン内の光の放射、反射、透過、及び吸収の物理モデルから作成されることが多い。これらの物理的な光のモデルは、いわゆるＶＦＸアセットの一部である。ＶＦＸアセットは、ＶＦＸの生成に必要な全ての光情報、形状情報、テクスチャ情報、及び動きに関連する情報を含む。物理的な光のモデルは、高い数値精度を使用する。これらのモデルから画像がレンダリングされる。このステップは、例えば、１０ビット又は１２ビット／カラーチャネル及び画素への量子化によって高精度の効果が通常限られた精度の画像へ固められるステップである。ゲーミングに関係する別の例によれば、MPEG-4 Part 11による音声映像ストリーム内でＭＰＥＧ−４のBinary Format for Scene（ＢＩＦＳ）を使用し、画像及び合成オブジェクトが消費者装置に伝送される。消費者装置は合成オブジェクトをレンダリングし、レンダリングした合成オブジェクトを画像内に挿入する。この種の人工画像は、ここでも画像信号の量子化を上限とする高精度の光輝部、飽和色、及び他の照明効果を示す。ＶＦＸに関係するＬＤＲ画像の部分は、著しい光輝部、暗影、飽和色、及び概して高い表示品位の照明効果を示すため、ＶＦＸを含むＬＤＲ画像から逆トーンマッピング法によって生成されたＨＤＲ画像内のＶＦＸの質が低いことは特に問題である。とりわけ、かかるＨＤＲ画像の一部がクリッピング、輝度圧縮、詳細の欠如、飽和度の修正、雑音増幅、及びバンディングに直面することが予期され得る。
【０００６】
画像の部分に応じた異なるｉＴＭＯ又は反復的なｉＴＭＯプロセス等の幾つかのｉＴＭＯの解決策が存在するが、それらの方法の何れもＶＦＸと共に生成される画像の特殊性に対処しない。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
上記の内容に鑑みて、ＶＦＸを有するＨＤＲ画像の表示品位を向上させることを目的とする新規のｉＴＭＯが求められている。本原理の注目すべき概念は、逆トーンマッピングの第１の通過を使用してＬＤＲ画像からＨＤＲ画像を生成し、ｉＴＭＯの第１の通過によって得られるＨＤＲ画像からの情報を使用して、ＶＦＸなしのＨＤＲ画像内で使用するためのＶＦＸを再生成することである。
【課題を解決するための手段】
【０００８】
本開示の第１の態様によれば、第１のＬＤＲ画像（ＶＦＸありのＬＤＲ）と呼ばれる、少なくとも１つのコンピュータ生成画像成分（又は少なくとも１つの視覚効果若しくは少なくとも１つの合成成分）を有する低ダイナミックレンジ画像を、第１のＨＤＲ（ＶＦＸありのＨＤＲ）画像と呼ばれる、少なくとも１つのコンピュータ生成画像成分（又は視覚効果）を有する高ダイナミックレンジ画像に逆トーンマッピングするための方法が開示される。この方法は、第１のＬＤＲ画像にアクセスすることであって、第１のＬＤＲ画像は、少なくとも１つのコンピュータ生成画像成分（ＶＦＸアセット）がレンダリングされ且つＬＤＲ参照画像（ＶＦＸなしのＬＤＲ）内に合成されることによって得られる、アクセスすること、前記第１のＬＤＲ画像の一部と、第１の中間ＨＤＲ画像のそれぞれの一部とから抽出される情報に応じてＨＤＲ照明指示を決定することであって、第１の中間高ダイナミックレンジＨＤＲ画像のそれぞれの一部は、第１のＬＤＲ画像に対して又は改変形態では第１のＬＤＲ画像の下位部分に対して逆トーンマッピングを適用することによって得られる、決定すること、前記ＬＤＲ参照画像に前記逆トーンマッピングを適用することによって第２の中間ＨＤＲ画像を得ること、少なくとも１つのコンピュータ生成画像成分（ＶＦＸアセット）がＨＤＲ照明指示を使用してレンダリングされ、且つ第２の中間ＨＤＲ画像内に合成されることから第１のＨＤＲ画像を得ることを含む。従って、より高い白レベル、より高いコントラスト、又はより高いビット深度の少なくとも１つを有するＨＤＲ画像内でＶＦＸが生成されるため、ＶＦＸに関係するＬＤＲ画像の部分内のクリッピング、輝度圧縮、詳細の欠如、飽和度の修正、雑音増幅、及びバンディングが回避される。有利には、ＶＦＸに関係するＨＤＲ画像内の部分の画質が大幅に向上し、なぜなら、それらの部分に関してＶＦＸアセットから情報が完全に取得されるからである。従って、参照ＬＤＲ画像は、視覚効果の挿入先である自然画像に対応し、視覚効果は、参照画像を捕捉するワークフローとは別に作成されるコンピュータ生成画像成分である。従って、第１の高ダイナミックレンジ（ＶＦＸありのＨＤＲ）画像を得るために使用されるＨＤＲ照明情報が、トーンマップ済みの第１の低ダイナミックレンジ（ＶＦＸありのＬＤＲ）画像のサンプルと、参照画像に（換言すれば、合成に使用する自然画像に）逆トーンマッピングを適用することによって計算される第１の中間ＨＤＲ画像の対応するサンプルとから生成される。
【０００９】
特定の実施形態によれば、この方法は、少なくとも１つの透明オブジェクトに関係する少なくとも１つのコンピュータ生成画像成分のサブセットを選択することを更に含み、少なくとも１つのコンピュータ生成画像成分の選択されたサブセットは、ＬＤＲ参照画像内に含められ、選択されたサブセット内にないコンピュータ生成画像成分は、ＨＤＲ照明指示を使用してレンダリングされる。従って、２通過ｉＴＭＯ方法では、逆トーンマッピング内で問題を起こす視覚効果又はコンピュータ生成画像成分の部分のみが処理される。この改変形態では、参照ＬＤＲ画像は、コンピュータ生成画像成分の一部を含むように更に処理される自然画像に結果として対応する。
【００１０】
別の特定の実施形態によれば、ＨＤＲ照明指示を決定することは、第１のＬＤＲ画像の一部と第１の中間ＨＤＲ画像のそれぞれの一部との差から係数を決定することを更に含み、係数は、少なくとも１つのコンピュータ生成画像成分（ＶＦＸアセット）の光源の振幅に適用される。
【００１１】
別の特定の実施形態によれば、ＨＤＲ照明指示を決定することは、第１のＬＤＲ画像の一部と第１の中間ＨＤＲ画像のそれぞれの一部との差から輝度依存係数を決定することを更に含み、輝度依存係数は、ＬＤＲ画像内にレンダリングされる少なくとも１つのコンピュータ生成画像成分の輝度に関して少なくとも１つのコンピュータ生成画像成分（ＶＦＸアセット）の光源の振幅に適用される。
【００１２】
別の特定の実施形態によれば、ＨＤＲ照明指示は、少なくとも１つのコンピュータ生成画像成分に更に応じたものである。有利には、最終的なＶＦＸありのＨＤＲ画像の差異を最小化するために、この方法が反復的に適用され、ＨＤＲ照明指示を変えることによって最終的なＶＦＸありのＨＤＲ画像を第１の中間ＨＤＲ画像と比較する。
【００１３】
別の特定の実施形態によれば、ＬＤＲ参照画像は、ＭＰＥＧ−４ビデオ符号化規格を使用して符号化され、及びシーンオブジェクト又は光源の少なくとも１つは、ＭＰＥＧ−４のBinary Format for Scene（ＢＩＦＳ）を使用して符号化される。有利には、この実施形態は、ＬＤＲ画像の自動ｉＴＭＯ処理を好都合に可能にし、従って消費者装置又はコンテンツ制作のコスト削減に結び付けることができる。
【００１４】
本開示の第２の態様によれば、第１のＬＤＲ（ＶＦＸありのＬＤＲ）画像と呼ばれる、少なくとも１つのコンピュータ生成画像成分を有する低ダイナミックレンジ画像を、第１のＨＤＲ（ＶＦＸありのＨＤＲ）画像と呼ばれる、少なくとも１つのコンピュータ生成画像成分を有する高ダイナミックレンジ画像に逆トーンマッピングするための装置が開示される。この装置は、第１のＬＤＲ画像にアクセスするための手段であって、第１のＬＤＲ画像は、少なくとも１つのコンピュータ生成画像成分（ＶＦＸアセット）がレンダリングされ且つＬＤＲ参照画像（ＶＦＸなしのＬＤＲ）内に合成されることから得られる、手段、第１のＬＤＲ画像の一部と、第１の中間ＨＤＲ画像のそれぞれの一部とから抽出される情報に応じてＨＤＲ照明指示を決定するための手段であって、第１の中間高ダイナミックレンジＨＤＲ画像のそれぞれの一部は、第１のＬＤＲ画像に逆トーンマッピングを適用することによって得られる、手段、ＬＤＲ参照画像に逆トーンマッピングを適用することによって第２の中間ＨＤＲ画像を得るための手段、コンピュータ生成画像成分（ＶＦＸアセット）がＨＤＲ照明指示を使用してレンダリングされ、且つ第２の中間ＨＤＲ画像内に合成されることから第１のＨＤＲ画像を得るための手段を含む。
【００１５】
特定の実施形態によれば、この装置は、開示した方法をその実施形態の何れかによって実施するプロセッサを含む。
【００１６】
特定の実施形態によれば、この装置は、
−  モバイル装置、
−  通信装置、
−  ゲーム機、
−  セットトップボックス、
−  ＴＶ受像機、
−  Blu-Rayディスクプレーヤ、
−  プレーヤ、
−  タブレット（又はタブレットコンピュータ）、
−  ラップトップ、
−  ディスプレイ、
−  カメラ、及び
−  復号チップ
を含む組に属する。
【００１７】
本開示の第３の態様によれば、本開示の第１の態様による方法のステップを実施するためにプロセッサによって実行可能なプログラムコード命令を含む、コンピュータプログラムが提供される。
【００１８】
本開示の第４の態様によれば、非一時的コンピュータ可読媒体上に記憶され、且つ本開示の第１の態様による方法のステップを実施するためにプロセッサによって実行可能なプログラムコード命令を含むコンピュータプログラム製品が提供される。
【００１９】
第５の態様によれば、プロセッサ可読媒体であって、開示する方法の少なくとも何れかのステップをプロセッサに実行させるための命令をその中に記憶しているプロセッサ可読媒体が開示される。
【００２０】
第６の態様によれば、コンピュータによって読取可能であり、開示する方法の何れかを実行するためにコンピュータによって実行可能な命令のプログラムを有形に具体化する非一時的プログラム記憶装置が開示される。
【００２１】
明示的に記載していないが、本発明の実施形態は任意の組合せ又は部分組合せで使用することができる。例えば、本発明は記載の色変換に限定されず、任意の調節可能なパラメトリック関数を補間目的で使用することができる。
【００２２】
加えて、方法に関して説明する任意の特性又は実施形態が、開示する方法を処理することを目的とする装置及びプログラム命令を記憶するコンピュータ可読記憶媒体に適合する。
【００２３】
図面を参照し、本開示の上記の及び他の目的、特徴、及び利点が本開示の実施形態についての以下の説明から明らかになる。
【図面の簡単な説明】
【００２４】
【図１】本開示の第１の実施形態による、ＶＦＸを有するＬＤＲ画像を逆トーンマッピングするための方法を示すフローチャートである。
【図２】本開示の第２の実施形態による、ＶＦＸを有するＬＤＲ画像を逆トーンマッピングするための方法を示すフローチャートである。
【図３】本開示による、ＶＦＸを有するＬＤＲ画像を逆トーンマッピングするための機器の構造を示す概略図である。
【発明を実施するための形態】
【００２５】
以下の解説では、本技法の特定の実施形態の具体的詳細を限定目的ではなく説明目的で記載する。これらの具体的詳細とは別に他の実施形態が使用され得ることが当業者によって理解されるであろう。更に一部の例では、不要な詳細によって説明を不明瞭にしないために、よく知られている方法、インタフェース、回路、及び装置についての詳細な説明を省略している。
【００２６】
記載する機能の一部又は全ては、専用の機能を実行するために相互接続されるアナログ及び／又は離散論理ゲート、ＡＳＩＣ、ＰＬＡ等のハードウェア回路を使用して実装できることを当業者であれば理解するであろう。同様に、機能の一部又は全ては、１つ又は複数のデジタルマイクロプロセッサ又は汎用コンピュータと共にソフトウェアプログラム及びデータを使用して実装することができる。
【００２７】
次に、本開示の第１の実施形態による、ＶＦＸを有するＬＤＲ画像を逆トーンマッピングするための方法１００を示すための図１を参照する。第１の実施形態によれば、予備ステップＳ１００では、ＶＦＸなしのＬＤＲ、ＬＤＲ参照画像、又はＬＤＲ背景プレートと呼ばれるＶＦＸなしの所与のＬＤＲ画像と、所与のＶＦＸアセットを使用してレンダリングされるＬＤＲ画像とを合成することにより、ＶＦＸありのＬＤＲと呼ばれるＶＦＸを有するＬＤＲ画像が作成された。即ち、レンダリングはＶＦＸアセットからＬＤＲ人工画像を作る。次いで、ＬＤＲ人工画像とＬＤＲ参照画像とを合成によってマージする。このＬＤＲレンダリング／合成ステップＳ１００は、第１の実施形態の方法の範囲外である。この第１の実施形態では、ＶＦＸありのＬＤＲ画像のみが必要である。しかし、この方法の入力情報に応じて、ＬＤＲレンダリング／合成ステップＳ１００は、第２の実施形態に関して以下で記載する方法の一部であり得ることを当業者であれば理解するであろう。非限定的な例によれば、ＶＦＸアセットは、合成のキャラクタ、合成の車、合成の火、合成の怪物等の２Ｄオブジェクト又は３Ｄオブジェクトの形状、テクスチャ、表面反射、動き、又は位置を含む。他の非限定的な例によれば、ＶＦＸアセットは、街灯、火明かり、月明かり等の光源の光度、色、サイズ、動き、又は位置を含む。本発明では、Addison-Wesleyから出版された「3D Computer Graphics」という名称のAlan Wattの文献（２６７〜３１１頁）で開示されている３Ｄ投影及び光線追跡に基づく、よく知られているレンダリング技法を使用する。まず、全ての３Ｄオブジェクトの全ての面から到来する光量を光線追跡が明らかにし、次いで画像を形成するためにそれらのオブジェクトが２Ｄ面内に投影される。この予備ステップＳ１００では、レンダリングされる画像がＬＤＲ画像であり、従ってレンダリングされる画像の白レベル、コントラスト、又はビット深度がＬＤＲ照明指示を使用して低ダイナミックレンジ色座標に適合される。ＬＤＲ照明指示は、ＬＤＲ画像を対象とする鏡面反射及び投影等、ＶＦＸアセットの照明効果を制御する。次いで、合成が、レンダリングによって作成した画像を既存の画像内に統合する。合成には、知られている方法、中でもAlan Wattの文献（１５０〜１５１頁）で説明されているような、Ｚ−バッファリング法及び透過法又はコンピュテーショナルフォトグラフィ並びに合成及び混合に関するそのレクチャ内でTamara Bergによって説明されているような混合法を使用する。従って、このＬＤＲレンダリング及び合成の予備ステップＳ１００は、ＶＦＸを有するＬＤＲ画像を出力する。
【００２８】
次いで、最初のステップＳ１１０では、ＶＦＸを有するＬＤＲ画像にアクセスする。上記で明らかにしたように、ＶＦＸを有するＬＤＲ画像は、低ダイナミックレンジＬＤＲ照明指示を使用してレンダリングされる少なくとも１つの視覚効果をＬＤＲ参照画像内に合成することによって得られる。例えば、ＶＦＸを有するＬＤＲ画像は装置３のメモリから取得される。
【００２９】
第２のステップＳ１２０では、ＶＦＸありのＬＤＲ画像に逆トーンマッピングオペレータを適用することにより、第１の中間高ダイナミックレンジＨＤＲ、ＶＦＸありの第１のＨＤＲ画像を得る。ｉＴＭＯと呼ぶ逆トーンマッピングオペレータは、低い白レベル、低いコントラスト、及び小さいビット深度の少なくとも１つを有するＬＤＲ画像を高い白レベル、高いコントラスト、及び高いビット深度の少なくとも１つを有するＨＤＲ画像に変換することができる。任意の逆トーンマッピング技法が本原理に適合する。非限定的な例によれば、同一出願人の欧州特許出願公開第３０８７７３０  Ａ１号で記載されている技法が使用される。この技法は、低ダイナミックレンジコンテンツのダイナミックレンジを拡張して、著しく高いピーク輝度を有するディスプレイ装置向けにそのコンテンツを準備することを開示する。これはＬＤＲ画像の色の輝度、とりわけその輝度のコントラスト範囲を変更することにより、ＬＤＲ画像の色を選択的且つ動的に再マップすることによって行われる。欧州特許出願公開第３０８７７３０  Ａ１号によれば、画素の空間的近傍にある画素の色の輝度値の高周波を抽出し、画像の各画素（ｐ）の輝度Ｙ（ｐ）を拡張輝度Ｙｅｘｐ（ｐ）へ逆トーンマッピングすることによって画像の画素（ｐ）ごとに画素輝度向上値Ｙenhance（ｐ）が取得され、拡張輝度Ｙｅｘｐ（ｐ）は、画素の輝度Ｙ（ｐ）をその画素に関して得られる画素拡張指数値Ｅ’（ｐ）で冪算したものと、画素に関して得られる画素輝度向上値を１以上の指数パラメータｃで冪算したものとの積によって得られる。
【００３０】
即ち、Ｙｅｘｐ（ｐ）＝Ｙ（ｐ）Ｅ’（ｐ）ｘ［Ｙenhance（ｐ）］ｃが成立する。
【００３１】
指数パラメータｃは、画素輝度向上値によってもたらされる詳細の向上量を制御する。従って、ｃの大きい値は画像のエッジのコントラストを徐々に高める。好ましくはｃ＝１．５の値を使用する。従って、この第１の通過のｉＴＭＯステップＳ１２０は、本原理が向上させることに重点的に取り組む、ＶＦＸを有する第１のＨＤＲ画像を出力する。
【００３２】
第３のステップＳ１３０では、ＶＦＸを有するＬＤＲ画像の一部及びＶＦＸを有する第１の中間ＨＤＲ画像のそれぞれの一部に応じて抽出される情報からＨＤＲ照明指示を決定する。有利には、ＨＤＲ照明指示は、ＨＤＲ照明指示によって制御されるＶＦＸのレンダリングＳ１５０によって作り出されるＨＤＲ画像が、第２のｉＴＭＯステップＳ１４０内で生成されるＶＦＸなしの第２のＨＤＲ中間画像内に良好にフィットするものである。ＬＤＲ照明指示に関して明らかにしたように、非限定的な例では、ＨＤＲ照明指示は、ＨＤＲ画像を対象とする鏡面反射及び投影等、ＶＦＸアセットの照明効果を制御する。次いで、合成ステップＳ１６０は、見た目が自然な最終的なＨＤＲ画像を与える。以下で説明するように、このＨＤＲ向けＶＦＸのレンダリングは、ｉＴＭＯアルゴリズムによる光輝部及び投影等の強い照明効果のＬＤＲ色座標内への表現に起因する輝度圧縮、詳細の欠如、飽和度の修正、並びにとりわけクリッピング及び雑音増幅を回避することを当業者であれば理解するであろう。実際、ＶＦＸに対応する画像色を作り出す際にｉＴＭＯは直接関与しない。
【００３３】
ＨＤＲ照明指示の決定は一連の入力情報を活用する。第１の入力情報は、ＶＦＸを有するＬＤＲ画像と、第１の中間ＨＤＲ画像、ＶＦＸありの第１のＨＤＲと呼ばれるＶＦＸを有する第１のＨＤＲとの比較結果である。実際、ＬＤＲ画像内に含まれる全てのＶＦＸは、その色、特にその輝度について修正される。従って、その修正を観察する比較は、有利にはＶＦＸを含む（ＬＤＲ又は第１のＨＤＲ）画像の部分に属する画素に限られる。そのために、第２の入力情報はＶＦＸアセットである。観察されるＶＦＸの色修正は、ＶＦＸアセットの形状、テクスチャ、反射、及び動き、並びにＶＦＸに関係するＶＦＸありのＬＤＲ画像及びＶＦＸありの第１のＨＤＲ画像の部分の光度、色、サイズ、及び動きに結び付けられる。このようにして、画像内にレンダリングされるＶＦＸアセットの形状、テクスチャ、反射、及び動きが、第１の中間ＨＤＲ画像内で観察されるＶＦＸの修正済みの色に近づくようにＨＤＲ照明指示が計算される。即ち、画像内にレンダリングされるＶＦＸアセットの形状、テクスチャ、反射、及び動きと、第１の中間ＨＤＲ画像内で観察されるＶＦＸの修正済みの色との差は最小限である。ＨＤＲ照明を使用し、第１のＨＤＲ画像内のＶＦＸは最高品質でレンダリングすることによって再生成され得る一方、第１の中間ＨＤＲ画像内に存在するＶＦＸは、クリッピング及びバンディング等のｉＴＭＯの既知の制約に直面する。言及した最小限の差は様々な方法で理解され得る。第１の信号ベースの方法は、レンダリングされる全ての色とＶＦＸありの第１のＨＤＲ内の色との最小限の差を狙うことである。第２の物理ベースの方法は現実感を狙うことであり、従ってレンダリングされる黒レベル、レンダリングされる白レベル、レンダリングされる色域等の物理的要素のＶＦＸありの第１のＨＤＲに対する調整を狙うことである。
【００３４】
次に、第１の改変形態について説明し、この改変形態は、単一且つ非透明のざらざらしたランバートＶＦＸオブジェクト及び光源で構成されるＶＦＸアセットに適合される。加えて、この第１の改変形態では、オブジェクト面上の照明効果（陰影付け）又はシーン内の照明効果（投影）がオブジェクト面上の光の拡散反射によって特徴付けられることになっている。従って、この第１の改変形態では、反射光の大域的増加及び可視光源の振幅の大域的増加によってＨＤＲ効果が特徴付けられる。本原理によれば、ＶＦＸアセットのＬＤＲ光源の振幅に或る係数を適用することによってＨＤＲ照明が推定される。この係数は、第１の中間ＨＤＲ画像及びＶＦＸを有するＬＤＲ画像の選択部分を比較することによって求められる。輝度圧縮又は飽和度の修正等、ｉＴＭＯ効果の不所望の影響を回避するために、選択部分は、明るいオブジェクト面又は白いオブジェクト面上の強い拡散反射等の物理的特性効果を含む。クリッピング等、ｉＴＭＯ効果の不所望の影響を回避するために、選択部分は可視光源を含まない。雑音増幅又はバンディング等、ｉＴＭＯ効果の不所望の影響を回避するために、選択部分は、第１の中間ＨＤＲ画像及びＶＦＸを有するＬＤＲ画像のそれぞれの幾つかの近傍画素を含む。次いで、第１の中間ＨＤＲ画像及びＶＦＸを有するＬＤＲ画像の関連画素の輝度比の選択部分にわたる平均を計算することにより、光源のための係数を得る。改変形態では、この係数は、ＶＦＸアセットの光源の振幅に適用するための線形乗法比である。
【００３５】
別の改変形態では、最終的なＶＦＸありのＨＤＲ画像を反復的に計算し、最終的なＶＦＸありのＨＤＲ画像を第１の中間ＨＤＲ画像と比較し、係数を変えることによってそれらの２つの画像の差を反復的に最小化することにより、ＶＦＸアセットに応じてこの係数を任意選択的に洗練させることができる。
【００３６】
この実施形態は、従来のｉＴＭＯによってクリップされる可能性がある可視光源を含むＶＦＸありのＬＤＲ画像にとりわけ良好に適合する。
【００３７】
具体的には、この実施形態は、投影のより優れた範囲拡張を可能にする場合があり、なぜなら、可視光源が活用され得るからである。実際には、投影は、光源光が第２のオブジェクトに届くのを第１のオブジェクトが妨げる場合に生じる。この第２のオブジェクト上の投影は周囲のシーンよりもはるかに暗いことが多く、非常に小さいＬＤＲ色座標を有する画像領域をもたらす。ＬＤＲ色座標はゼロまでクリップされ、又はゼロに近い値まで動的に強く圧縮されることさえあり得る。係数は、ＶＦＸありのＬＤＲ画像のゼロに近い値ではなくＬＤＲ光源の振幅に適用されるため、高精度のＶＦＸありのＨＤＲ画像を作成するためにＶＦＸアセットの精度が有利に活用される。
【００３８】
拡散反射及び鏡面反射によって特徴付けられる、いわゆる非透明ＶＦＸオブジェクトに特に適合される第２の改変形態も記載する。即ち、画像内のＶＦＸは光輝部を含む。ＨＤＲ効果は幾らかの非線形の光の増加によって表される。実際に光輝部は、通常、光輝部の中心における非常に明るい色及び光輝部の縁における相対的に暗い画素を含む、大きいダイナミックレンジの色を含む。ｉＴＭＯは、通常、非線形であるため、このような大きいダイナミックレンジはｉＴＭＯによって非線形の方法で修正される。ＶＦＸありのＬＤＲ画像からＨＤＲ照明指示を推定するために光輝部を考慮する。ＬＤＲ光源の振幅に適用される輝度依存係数Ｆ（Ｌ）を決定するために、光輝部があるＶＦＸの選択部分内でＶＦＸありのＬＤＲ画像と第１の中間ＨＤＲ画像とを比較する。光源に関する輝度依存係数は、輝度に依存する曲線Ｆ（Ｌ）として表わされ、この曲線Ｆ（Ｌ）は、｛Ｌ，Ｆ（Ｌ）｝が｛Ｌ，Ｒ｝に近づくように｛Ｌ，Ｒ｝の輝度比の組に曲線を適合することによって得られる。これらの組では、輝度値Ｌは、ＶＦＸありのＬＤＲ画像の選択部分の画素の輝度であり、比率Ｒは、この画素の輝度Ｌ及び第１の中間ＨＤＲ画像の関連画素の輝度の逆比である。次いで、ＶＦＸアセットの振幅に輝度依存係数Ｆ（Ｌ）を以下の方法で適用する。光源Ｓごとに、白いランバート基準面上でＬＤＲ画像内にレンダリングされる輝度値ＬＳを決定する。次いで、係数Ｆ（ＬＳ）をこの光源の振幅に適用する。
【００３９】
具体的には、この実施形態は、鏡面反射のより優れた範囲拡張を更に可能にする。拡散反射とは対照的に、鏡面反射は、大量の光が反射されるオブジェクトの光沢面において生じる。この効果は画像内のいわゆる光輝部をもたらす。鏡面反射は、大量の入射光により光輝部領域内で色座標の輝度圧縮、詳細の欠如、及びクリッピングさえもその最大正当レベルにおいてしばしば引き起こす。例えば、色座標の範囲が０〜１０２３の場合、鏡面反射の領域内の色座標がクリップされる可能性があり、多くの場合、１０２３までクリップされるか又は少なくとも１０２３に近い値へ強く動的に圧縮される。この場合もやはり、輝度依存係数がＶＦＸありのＬＤＲ画像のクリップ値又は圧縮値ではなくＶＦＸアセットに適用されるため、高精度のＶＦＸありのＨＤＲ画像を作成するためにＶＦＸアセットの精度及び質が有利に活用される。
【００４０】
かかる改変形態に対処するために、任意選択的なステップＳ１７０は、透明オブジェクトに関係する少なくとも１つの視覚効果のサブセットを選択する。透明オブジェクトに関係する視覚効果はＬＤＲ参照画像内に含められ、視覚効果の非選択サブセット（即ち選択内にない視覚効果（存在する場合））のみがＨＤＲ照明指示を使用してステップＳ１５０でレンダリングされる。有利には、選択ステップＳ１７０は、様々な種類のＶＦＸアセットに対して本原理を実施することを更に可能にし、全てのＶＦＸが逆トーンマッピングにおける品質問題を起こさない。合成及びレンダリングステップＳ１８０によってＬＤＲ参照画像が生成され、本原理に従って使用される。換言すれば、選択ステップＳ１７０は、ＨＤＲ照明指示を画像から対象を絞って決定することを実施できるようにし、即ち、この決定は、第１の改変形態及び第２の改変形態でそれぞれ説明したように拡散反射に関するＨＤＲ照明指示又は鏡面反射に関するＨＤＲ照明指示を対象とする。より全般的な方法では、選択ステップＳ１７０は、画像からのＨＤＲ照明指示の単純化された決定を実施できるようにし、かかる単純化された決定はＶＦＸアセットが霧、ガラス、煙等の部分的に透明なオブジェクトを含む場合に良好に適合する。画像内にレンダリングされると、これらのオブジェクト及び関係する照明効果は、透明性により、極めて非線形の挙動により、空間的に不変の性質により特徴付けられ、必ずしもＬＤＲ色座標内のクリッピング若しくは圧縮特性を示すとは限らず、又はそれらの特性は美術的ワークフロー内で許容可能であり得る。ＨＤＲ照明指示を決定する単純化された実装形態を可能にするために、ＶＦＸサブセットの選択は、例えば、そのような部分的に透明なオブジェクトを選択ＶＦＸアセットから除外する。
【００４１】
第４のステップＳ１４０では、ＬＤＲ参照画像に逆トーンマッピングを適用することにより、第２の中間ＨＤＲ画像、ＶＦＸなしの第２のＨＤＲを得る。別の改変形態によれば、ｉＴＭＯステップＳ１２０内で見られるのと同じ逆トーンマッピング技法が使用され、又は異なる逆トーンマッピング技法が使用される。このステップは、向上したＶＦＸを有するＨＤＲ画像を作り出す第２の合成ステップＳ１６０にＨＤＲ画像、ＶＦＸなしの第２のＨＤＲを与え、ＶＦＸはＨＤＲ照明指示を用いてレンダリングされる。ＶＦＸアセットの選択の改変形態によれば、ＬＤＲ参照画像がＶＦＸを全く含まず、又は選択Ｓ１７０から除外されたＶＦＸの限られたサブセットを含むことを当業者であれば理解するであろう。
【００４２】
最後の第５のステップＳ１６０では、ＨＤＲ照明指示を使用してレンダリングされる視覚効果を第２の中間ＨＤＲ画像内に合成することにより、向上したＶＦＸありのＨＤＲ画像を得る。ＶＦＸがＨＤＲ色座標内に直接レンダリングされるため、開示する方法は、一部のＶＦＸのＬＤＲ色座標内のクリッピング、圧縮、及び雑音増幅を防ぎ、ＨＤＲを使う画像内のアーティファクトを減らす。
【００４３】
図２は、本開示の第２の実施形態による、ＶＦＸを有するＬＤＲ画像を逆トーンマッピングするための方法２００を示す。第２の実施形態は第１の実施形態と処理の面でほぼ同様であり、下記では好ましくは違いが明らかにされる。第１の実施形態による方法１００に関して記載したその組合せの何れにおける種々の特徴も第２の実施形態による方法２００に適合する。第２の実施形態では、ＭＰＥＧ  ４ビデオ符号化規格を使用して入力ＬＤＲ参照画像を符号化し、ＭＰＥＧ−４のBinary Format for Scene（ＢＩＦＳ）を使用してシーンオブジェクト又は光源（ＶＦＸアセット）の少なくとも１つを符号化する。第２の実施形態は、ゲーム機又は仮想現実ヘッドマウントディスプレイ等の消費者装置内で実装されるように良好に適合する。第２の実施形態によれば、ステップＳ２１０では、ＭＰＥＧ−４  ＬＤＲビデオストリームからＶＦＸありのＬＤＲ画像を生成する。有利には、第２の実施形態は、シーンオブジェクトに関係する画像部分内で画質が向上したＨＤＲストリームを生成することを可能にする。従って、第１のステップＳ２１０では、ＶＦＸありのＬＤＲ画像にアクセスすることは、（ＭＰＥＧ４ストリーム、ストリームのビデオ成分から復号される）ＬＤＲ参照画像を、（同じくＭＰＥＧ４ストリーム、ストリームのＢＩＦＳ成分から復号される）ＶＦＸのレンダリングによって得られるＬＤＲ画像と合成することを含む。
【００４４】
第２のステップＳ２２０では、ＶＦＸありのＬＤＲ画像に逆トーンマッピングオペレータを適用することにより、第１の中間高ダイナミックレンジＨＤＲ、ＶＦＸありの第１のＨＤＲ画像を得る。
【００４５】
第３のステップＳ２３０では、第１の実施形態の方法の任意の改変形態によって明らかにしたように、ＶＦＸアセット（即ちシーン及び光源）、並びにＶＦＸありのＬＤＲ画像の一部及び第１の中間ＨＤＲ画像のそれぞれの一部に応じて抽出される情報からＨＤＲ照明指示を決定する。
【００４６】
第４のステップＳ２４０では、ＬＤＲ参照画像に逆トーンマッピングを適用することにより、第２の中間ＨＤＲ画像、ＶＦＸなしの第２のＨＤＲを得る。
【００４７】
最後の第５のステップＳ２５０では、ＨＤＲ照明指示を使用してレンダリングされる視覚効果を第２の中間ＨＤＲ画像内に合成することにより、向上したＶＦＸありのＨＤＲ画像を得る。
【００４８】
図３は、例示的且つ非限定的実施形態による、視覚効果を有する低ダイナミックレンジ画像を逆トーンマッピングするための装置３の例示的アーキテクチャを表す。逆トーンマッピング装置３は、図１又は図２に関して説明した方法の何れも実行するように構成される。逆トーンマッピング装置３は、内蔵メモリ３２０（例えば、ＲＡＭ、ＲＯＭ、及び／又はＥＰＲＯＭ）と共に、例えばＣＰＵ、ＧＰＵ、及び／又はＤＳＰ（デジタル信号プロセッサ）を含み得る１個又は複数個のプロセッサ３１０を含む。逆トーンマッピング装置３は、入力情報を取得し、出力情報を表示し、且つ／又は利用者がコマンド及び／若しくはデータを入力することを可能にするようにそれぞれ適合される１つ又は複数の入力／出力インタフェース３３０（例えば、キーボード、マウス、タッチパッド、ウェブカメラ）、及び逆トーンマッピング装置３の外にあってもよい電源３４０を含む。逆トーンマッピング装置は、１つ又は複数のネットワークインタフェース（不図示）も含み得る。逆トーンマッピング装置は、レンダリング及び合成のための１つ若しくは複数の専用ハードウェアモジュール、又は様々なステップを逐次的に若しくは並列に処理するための１つ若しくは複数のｉＴＭＯを更に含み得る（不図示）。第１の実施形態によれば、ＶＦＸありのＬＤＲ画像、ＶＦＸアセット、及びＬＤＲ参照画像を情報源から取得し、メモリ３２０内に記憶することができる。第２の実施形態によれば、ビデオストリームを情報源から取得しメモリ３２０内に記憶することができ、ビデオストリームは、例えば、ＭＰＥＧ−４のBinary Format for Scene（ＢＩＦＳ）を使用してビデオ及びシーンオブジェクトを符号化するMPEG-4 Part 11に準拠する。その後、ＶＦＸありのＬＤＲ画像をローカルに生成し、メモリ３２０内に記憶する。
【００４９】
異なる実施形態によれば、ＶＦＸありのＨＤＲ画像は、宛先、例えばＨＤＲディスプレイ装置に送信され得る。一例として、画像のＶＦＸありのＨＤＲ画像版がリモートメモリ又はローカルメモリ３２０、例えばビデオメモリ、ＲＡＭ、ハードディスク内に記憶される。改変形態では、ＶＦＸありのＨＤＲ画像が記憶域インタフェース、例えば大容量記憶域、ＲＯＭ、フラッシュメモリ、光ディスク、又は磁気支持とのインタフェースに送信され、且つ／又は通信インタフェース、例えば二地点間リンク、通信バス、一地点対多地点リンク、又はブロードキャストネットワークへのインタフェース上で伝送される。
【００５０】
例示的且つ非限定的実施形態によれば、逆トーンマッピング装置３は、メモリ３２０内に記憶されるコンピュータプログラムを更に含む。コンピュータプログラムは、逆トーンマッピング装置３、とりわけプロセッサ３１０によって実行されると、図１（又は図２）に関して説明した方法を逆トーンマッピング装置３が実行することを可能にする命令を含む。改変形態によれば、コンピュータプログラムが逆トーンマッピング装置３の外で非一時的デジタルデータ支持上に、例えば全て当技術分野で知られているＨＤＤ、ＣＤ−ＲＯＭ、ＤＶＤ、読取専用及び／又はＤＶＤドライブ、ＤＶＤリード／ライトドライブ等の外部記憶媒体上に記憶される。従って、逆トーンマッピング装置３は、コンピュータプログラムを読み取るための機構を含む。更に逆トーンマッピング装置３は、対応するＵＳＢポート（不図示）経由で１つ又は複数のユニバーサルシリアルバス（ＵＳＢ）型の記憶装置（例えば、「メモリスティック」）にアクセスすることができる。
【００５１】
例示的且つ非限定的実施形態によれば、逆トーンマッピング装置３はこれだけに限定されないが、
−  モバイル装置、
−  通信装置、
−  ゲーム機、
−  セットトップボックス、
−  ＴＶ受像機、
−  タブレット（又はタブレットコンピュータ）、
−  ラップトップ、
−  ビデオプレーヤ、即ちBlu-Rayディスクプレーヤ、
−  ディスプレイ、
−  カメラ、及び
−  復号チップ
であり得る。
【図１】
2018170007.tif 000003
【図２】
2018170007.tif 000004
【図３】
2018170007.tif 000005
【外国語明細書】
2018170007000001.pdf