(57)【要約】      （修正有）【課題】より高いダイナミックレンジを有するＨＤＲ（「高ダイナミックレンジ」）画像を、より低いダイナミックレンジを有するＬＤＲ（「低ダイナミックレンジ」）画像から生成するための技法を提供する。【解決手段】第１のひな型（ｅｐｉｔｏｍｅ）と呼ばれる、第１のダイナミックレンジを有する画像のひな型を得るステップ１１と、第１のダイナミックレンジを有する画像を第２のダイナミックレンジを有する画像および第１のひな型から生成するステップ１２と、を含む。【選択図】図１
2016201800.tif 000002
【特許請求の範囲】
【請求項１】
第１のダイナミックレンジを有する少なくとも１つの画像を、前記第１のダイナミックレンジより低い第２のダイナミックレンジを有する画像から生成するための方法であって、
−  第１のひな型と呼ばれる、第１のダイナミックレンジを有する前記画像のひな型を得るステップ（１１）と、
−  第１のダイナミックレンジを有する前記画像を第２のダイナミックレンジを有する前記画像および前記第１のひな型から生成するステップ（１２）と、
を含む、前記方法。
【請求項２】
第１のダイナミックレンジを有する前記画像を生成するステップ（１２）は、
−  第２のひな型と呼ばれる第２のダイナミックレンジを有する前記画像のひな型を、第２のダイナミックレンジを有する前記画像から決定するステップと、
−  前記第２のひな型と第２のダイナミックレンジを有する前記画像との間の変換マップを決定するステップと、
−  前記変換マップを前記第１のひな型に適用し、第１のダイナミックレンジを有する前記画像を生成するステップと、
を含む、請求項１に記載の方法。
【請求項３】
第１のダイナミックレンジを有する前記画像を生成するステップは、第１のダイナミックレンジを有するアップサンプリングされた画像を生成するために、第２のダイナミックレンジを有する前記画像をアップサンプリングすることをさらに含む、請求項１又は２に記載の方法。
【請求項４】
−  第２のダイナミックレンジを有する推定された画像を、第１の反復のために第１のダイナミックレンジを有する前記画像から、または以降の反復のために第１のダイナミックレンジを有する前記補正された画像から得るステップ、
−  第２のダイナミックレンジを有する前記画像と第２のダイナミックレンジを有する前記推定された画像との推定誤差を決定するステップ、および
−  前記推定誤差に応答して、第１のダイナミックレンジを有する前記画像を補正し、第１のダイナミックレンジを有する補正された画像を得るステップ
のうちの少なくとも１つの反復を含む、請求項１から３のいずれかに記載の方法。
【請求項５】
第１のダイナミックレンジを有する少なくとも１つの画像を復号するための方法であって、
−  前記第１のダイナミックレンジより低い第２のダイナミックレンジを有する画像を復号するステップ（４１１）と、
−  第１のひな型と呼ばれる、第１のダイナミックレンジを有する前記画像のひな型を復号するステップ（４１２）と、
−  第１のダイナミックレンジを有する前記画像を第２のダイナミックレンジを有する前記画像および前記第１のひな型から生成するステップ（４２）と、
を含む、前記方法。
【請求項６】
第１のダイナミックレンジを有する前記画像を生成するステップは、
−  第２のひな型と呼ばれる第２のダイナミックレンジを有する前記画像のひな型を、第２のダイナミックレンジを有する前記画像から決定するステップと、
−  前記第２のひな型と第２のダイナミックレンジを有する前記画像との間の変換マップを決定するステップと、
−  前記変換マップを前記第１のひな型に適用し、第１のダイナミックレンジを有する前記画像を生成するステップと、
を含む、請求項５に記載の方法。
【請求項７】
第１のダイナミックレンジを有する前記画像を生成するステップは、第１のダイナミックレンジを有するアップサンプリングされた画像を生成するために、第２のダイナミックレンジを有する前記画像をアップサンプリングすることをさらに含む、請求項５又は６に記載の方法。
【請求項８】
−  第２のダイナミックレンジを有する推定された画像を、第１の反復のために第１のダイナミックレンジを有する前記画像から、または以下の反復のために第１のダイナミックレンジを有する前記補正された画像から得るステップ、
−  第２のダイナミックレンジを有する前記画像と第２のダイナミックレンジを有する前記推定された画像との推定誤差を決定するステップ、および
−  前記推定誤差に応答して、第１のダイナミックレンジを有する前記画像を補正し、第１のダイナミックレンジを有する補正された画像を得るステップ
のうちの少なくとも１つの反復を含む、請求項５に記載の方法。
【請求項９】
第１のダイナミックレンジを有する少なくとも１つの画像を符号化するための方法であって、
−  第１のひな型と呼ばれる、第１のダイナミックレンジを有する前記画像のひな型を決定するステップ（３１）と、
−  前記第１のダイナミックレンジより低い第２のダイナミックレンジを有する画像を得るステップ（３２）と、
−  第２のダイナミックレンジを有する前記画像を符号化するステップ（３３１）と、
−  前記第１のひな型を符号化するステップ（３３２）と、
を含む、前記方法。
【請求項１０】
第１のダイナミックレンジを有する少なくとも１つの画像を、前記第１のダイナミックレンジより低い第２のダイナミックレンジを有する画像から生成するためのデバイスであって、
−  第１のひな型と呼ばれる、第１のダイナミックレンジを有する前記画像のひな型を得るためのモジュール（５１）と、
−  第１のダイナミックレンジを有する前記画像を第２のダイナミックレンジを有する前記画像および前記第１のひな型から生成するためのモジュール（５２）と、
を備える、前記デバイス。
【請求項１１】
第１のダイナミックレンジを有する前記画像を生成することは、
−  第２のひな型と呼ばれる第２のダイナミックレンジを有する前記画像のひな型を、第２のダイナミックレンジを有する前記画像から決定することと、
−  前記第２のひな型と第２のダイナミックレンジを有する前記画像との間の変換マップを決定することと、
−  前記変換マップを前記第１のひな型に適用し、第１のダイナミックレンジを有する前記画像を生成することと、
を含む、請求項１０に記載のデバイス。
【請求項１２】
第１のダイナミックレンジを有する前記画像を生成することは、第１のダイナミックレンジを有するアップサンプリングされた画像を生成するために、第２のダイナミックレンジを有する前記画像をアップサンプリングすることをさらに含む、請求項１０又は１１に記載のデバイス。
【請求項１３】
第１のダイナミックレンジを有する少なくとも１つの画像を復号するためのデバイスであって、
−  前記第１のダイナミックレンジより低い第２のダイナミックレンジを有する画像を復号するためのモジュール（７１）と、
−  第１のひな型と呼ばれる、第１のダイナミックレンジを有する前記画像のひな型を復号するためのモジュール（７２）と、
−  第１のダイナミックレンジを有する前記画像を、第２のダイナミックレンジを有する前記画像および前記第１のひな型から生成するためのモジュール（７３）と、
を備える、前記デバイス。
【請求項１４】
第１のダイナミックレンジを有する前記画像を生成することは、
−  第２のひな型と呼ばれる第２のダイナミックレンジを有する前記画像のひな型を、第２のダイナミックレンジを有する前記画像から決定することと、
−  前記第２のひな型と第２のダイナミックレンジを有する前記画像との間の変換マップを決定することと、
−  前記変換マップを前記第１のひな型に適用し、第１のダイナミックレンジを有する前記画像を生成することと、
を含む、請求項１３に記載のデバイス。
【請求項１５】
第１のダイナミックレンジを有する前記画像を生成することは、第１のダイナミックレンジを有するアップサンプリングされた画像を生成するために、第２のダイナミックレンジを有する前記画像をアップサンプリングすることをさらに含む、請求項１３又は１４に記載のデバイス。
【請求項１６】
第１のダイナミックレンジを有する少なくとも１つの画像を符号化するためのデバイスであって、
−  第１のひな型と呼ばれる、第１のダイナミックレンジを有する前記画像のひな型を決定するためのモジュール（６１）と、
−  前記第１のダイナミックレンジより低い第２のダイナミックレンジを有する画像を得るためのモジュール（６２）と、
−  第２のダイナミックレンジを有する前記画像を符号化するためのモジュール（６３）と、
−  前記第１のひな型を符号化するためのモジュール（６４）と
を備える、前記デバイス。
【請求項１７】
プロセッサによって実行されることが可能であり、下記方法を実施するためのプログラムコード命令を含むコンピュータプログラム製品が記録されている非一時的なコンピュータ可読媒体であって、前記方法は、
−  第１のひな型（ｅｐｉｔｏｍｅ）と呼ばれる、第１のダイナミックレンジを有する画像のひな型を得るステップと、
−  第１のダイナミックレンジを有する前記画像を第２のダイナミックレンジを有する画像および前記第１のひな型から生成するステップと、
を含む、前記非一時的なコンピュータ可読媒体。
【請求項１８】
第１のダイナミックレンジを有する前記画像を生成するステップは、
−  第２のひな型と呼ばれる第２のダイナミックレンジを有する前記画像のひな型を、第２のダイナミックレンジを有する前記画像から決定するステップと、
−  前記第２のひな型と第２のダイナミックレンジを有する前記画像との間の変換マップを決定するステップと、
−  前記変換マップを前記第１のひな型に適用し、第１のダイナミックレンジを有する前記画像を生成するステップと、
を含む、請求項１７に記載の非一時的なコンピュータ可読媒体。
【請求項１９】
第１のダイナミックレンジを有する前記画像を生成するステップは、第１のダイナミックレンジを有するアップサンプリングされた画像を生成するために、第２のダイナミックレンジを有する前記画像をアップサンプリングすることをさらに含む、請求項１７又は１８に記載の非一時的なコンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像、またはビデオとも呼ばれる画像のシーケンスの処理に関する。
【０００２】
より詳細には、本開示は、より高いダイナミックレンジを有する少なくとも１つの画像、たとえばＨＤＲ（「高ダイナミックレンジ」）画像を、より低いダイナミックレンジを有する少なくとも１つの画像、たとえばＬＤＲ（「低ダイナミックレンジ」）画像または現在のダイナミックレンジ画像から生成するための技法を提供する。
【０００３】
本開示は、ＨＤＲビデオの制作、分配、およびレンダリングに関連する任意の応用例に特に適合される。本開示は、ビデオ圧縮および表現に関するが、レンダリングとしても知られる画像エンハンスメントにも関する。
【０００４】
特に、本開示は、高ダイナミックレンジを有する画像またはビデオの符号化および復号を改善することを目的とする。
【０００５】
また、本開示の少なくとも１つの実施形態は、逆トーンマッピング演算子または超解像技法を改善することを目的とする。
【背景技術】
【０００６】
このセクションは、下記の、および／または下記で特許請求されている本開示の様々な特徴に関連し得る様々な技術特徴を読者に紹介することが意図されている。この考察は、本開示の様々な特徴のよりよい理解を容易にするために背景情報を読者に提供する助けになると考えられる。したがって、これらの記述は、この観点から読まれるべきであり、従来技術の認めることとして読まれるべきでないことを理解されたい。
【０００７】
ダイナミックレンジは、定義によれば、所与の方向で移動する光の単位面積当たりの光度の測光尺度であるルミナンス（ルミナンスはｃｄ／ｍ2で表される）に対応する変化可能な量の最大可能な値と最小可能な値との間の比である。
【０００８】
より低いダイナミックレンジを有する画像／ビデオからより高いダイナミックレンジを有する画像／ビデオを生成するために、異なる技法が提案されている。
【０００９】
第１の知られている技法は、より感度がよいセンサ（ＲＥＤまたはＨＡＲＲＩカメラなど）、マルチカメラセットアップ（視差がなく、１つが露出過度、１つが露出不足のカメラを有するステレオリグを使用する）、または時間的なブラケティング（同じ画像を異なる開口で連続的に撮影する）の使用に依拠して、ＨＤＲ画像／ビデオを直接取り込む。
【００１０】
しかし、そのようなデバイスは非常に高価であり、取り込まれたＨＤＲ画像は、符号化され送信されるように、より低いダイナミックレンジで変換されることを必要とする。
【００１１】
さらに、時間的なブラケティングは、ビデオでは動きのぼけが生み出されるので、主に写真／静止画像に使用される。
【００１２】
第２の知られている技法は、手動の作成に依拠する。色管理プロセス中、基準ディスプレイ上でのレンダリングに基づいて画像の色および輝度を拡張することが可能である。そのような技法は、映画に実施される従来の後処理である。
【００１３】
しかし、そのような技法は時間がかかり、自然な光を有する画像を生成しない。
【００１４】
第３の知られている技法は、逆トーンマッピング演算子（ｉＴＭＯ）に依拠する。ｉＴＭＯは、あるレンジからより高いレンジにダイナミクスを拡張するために使用される。そのような演算子は、すべての画素に同じ展開関数が使用される全演算子、または展開関数がコンテンツによって変わる局所演算子など、使用される画像処理アルゴリズムに基づいて分類され得る。
【００１５】
しかし、そのような演算子は、局所的な変動を有し、時間的に一貫した現実的なＨＤＲビデオを得ることが困難であるため、今日、十分に効率的なものではない。これは、減じたデータセットから情報を外挿しようと試みるとき一般的な問題である。
【００１６】
本開示は、上述の欠点の少なくとも１つを克服する。
【発明の概要】
【００１７】
本開示は、第１のダイナミックレンジを有する少なくとも１つの画像を、上記第１のダイナミックレンジより低い第２のダイナミックレンジを有する画像から生成するための方法であって、
−  第１のひな型（ｅｐｉｔｏｍｅ）と呼ばれる、第１のダイナミックレンジを有する上記画像のひな型を得るステップと、
−  第１のダイナミックレンジを有する上記画像を第２のダイナミックレンジを有する上記画像および上記第１のひな型から生成するステップとを含む方法に関する。
【００１８】
したがって、本開示は、より高いダイナミックレンジを有する画像またはビデオのひな型の使用できることを仮定して、より高いダイナミックレンジ（第１のダイナミックレンジ）を有する画像またはビデオを、より低いダイナミックレンジ（第２のダイナミックレンジ）を有する画像またはビデオから効率的に生成するための新規の技法を提案する。
【００１９】
そのようなひな型は、第１のひな型とも呼ばれ、より低いダイナミックレンジを有する画像またはビデオをより高いダイナミックレンジを有する画像またはビデオに変換する助けとなるように使用することができる情報またはメタデータを含む。
【００２０】
具体的には、第１のダイナミックレンジを有する画像は、高ダイナミックレンジ（ＨＤＲ）画像であり、第２のダイナミックレンジを有する画像は、低ダイナミックレンジ（ＬＤＲ）画像である。ＨＤＲ画像は、現実のシーンに見出される強度レベルの範囲をより正確に表すことができる。
【００２１】
本開示の一実施形態によると、第１のダイナミックレンジを有する上記画像は、上記第１のひな型から得られた現実の光情報で生成される。
【００２２】
したがって、現実の光情報を含む第１のひな型を使用し、従来技術の技法より現実的に、より高いダイナミックレンジを有する画像を生成することができる。
【００２３】
このような実施形態は、逆トーンマッピング演算子（ｉＴＭＯ）を改善するための手段を提供する。
【００２４】
本開示の他の実施形態によると、第１のダイナミックレンジを有する画像を生成するステップは、
−  第２のひな型と呼ばれる第２のダイナミックレンジを有する上記画像のひな型を、第２のダイナミックレンジを有する上記画像から決定するステップと、
−  上記第２のひな型と第２のダイナミックレンジを有する上記画像との間のマッピング関数を決定するステップと、
−  上記マッピング関数を上記第１のひな型に適用し、第１のダイナミックレンジを有する上記画像を生成するステップとを含む。
【００２５】
したがって、第２のひな型から第２のダイナミックレンジを有する画像に進むことを可能にするマッピング関数を第１のひな型に適用し、第１のダイナミックレンジを有する画像を生成することができる。
【００２６】
第１の例によると、上記マッピング関数は、上記第２のひな型と第２のダイナミックレンジを有する上記画像との間の変換マップである。
【００２７】
そのような変換マップは、第２のひな型の構築中に作り上げられ得る。
【００２８】
第２の例によると、上記マッピング関数は、第２のダイナミックレンジを有する上記画像内の少なくとも１つのブロックと、上記第２のひな型内のＫ個のパッチとの間の一次結合であり、Ｋは、Ｋ＞１など整数である。
【００２９】
この第２の例によると、上記マッピング関数は、局所線形埋込み（ＬＬＥ）関数から決定され得る。
【００３０】
したがって、マッピング関数を決定するステップは、上記第２のひな型内の上記Ｋ個のパッチの各パッチ
【００３１】
【数１】
2016201800.tif 000003
【００３２】
に適用されることになる重みｗi,kを決定し、
【００３３】
【数２】
2016201800.tif 000004
【００３４】
など第２のダイナミックレンジを有する上記画像内の少なくとも１つのブロックｘiを得ることを含み、ここで
【００３５】
【数３】
2016201800.tif 000005
【００３６】
であり、Ｋは、第２のダイナミックレンジを有する上記画像の１つのブロックから得られる上記第２のひな型内のパッチの数である。
【００３７】
上記マッピング関数を上記第１のひな型に適用するステップは、上記第２のひな型内の上記Ｋ個のパッチについて、上記第１のひな型内のＫ個の対応するパッチ（たとえば、Ｋ個の共存パッチ）を決定することを含む。
【００３８】
次いで、
【００３９】
【数４】
2016201800.tif 000006
【００４０】
など、第１のダイナミックレンジを有する上記画像の少なくとも１つのブロックｙiを再構築するために、重みｗi,kが上記第１のひな型内の上記Ｋ個の対応するパッチの各パッチ
【００４１】
【数５】
2016201800.tif 000007
【００４２】
に適用される。
【００４３】
第３の例によると、上記マッピング関数は、回帰関数、たとえば線形回帰またはカーネル回帰から決定される。
【００４４】
他の実施形態によると、第１のダイナミックレンジを有する上記画像を生成するステップは、第１のダイナミックレンジを有するアップサンプリングされた画像を生成するために、第２のダイナミックレンジを有する上記画像をアップサンプリングすることをさらに含む。
【００４５】
このようにして、より高いダイナミックレンジへのアップサンプリングおよび変換は、同時に、または２つの連続するステップで実施され得る。
【００４６】
他の実施形態によると、上記生成方法は、
−  第２のダイナミックレンジを有する推定された画像を、第１の反復のために第１のダイナミックレンジを有する上記画像から、または以下の反復のために第１のダイナミックレンジを有する上記補正された画像から得るステップ、
−  第２のダイナミックレンジを有する上記画像と第２のダイナミックレンジを有する上記推定された画像との推定誤差を決定するステップ、および
−  上記推定誤差に応答して、第１のダイナミックレンジを有する上記画像を補正し、第１のダイナミックレンジを有する補正された画像を得るステップのうちの少なくとも１つの反復を含む。
【００４７】
そのような反復的な逆投影技法を使用し、第１のダイナミックレンジを有する上記画像が一貫したものであるか否かをチェックすることができる。
【００４８】
また、本開示は、第１のダイナミックレンジを有する少なくとも１つの画像を符号化するための方法であって、
−  第１のひな型と呼ばれる、第１のダイナミックレンジを有する上記画像のひな型を決定するステップと、
−  上記第１のダイナミックレンジより低い第２のダイナミックレンジを有する画像を得るステップと、
−  第２のダイナミックレンジを有する上記画像を符号化するステップと、
−  上記第１のひな型を符号化するステップとを含む方法に関する。
【００４９】
そのような符号化方法は、記憶または送信するために、第２のダイナミックレンジを有する画像および第１のひな型を符号化することを提案する。
【００５０】
第１のダイナミックレンジを有する画像を符号化する代わりに、本開示によると、第２のダイナミックレンジを有する画像と、第１のダイナミックレンジを有する画像に関する情報を含む第１のひな型とを符号化することが提案される。
【００５１】
この符号化は、送信されることになるデータのサイズの削減を可能にする。
【００５２】
さらに、ひな型の送信は、第２のダイナミックレンジを有する画像またはビデオを、復号側で第１のダイナミックレンジを有する画像またはビデオに変換する助けとなる。
【００５３】
さらに、そのようなひな型は、従来のＬＤＲ画像またはビデオとの逆方向互換性と共に、ＨＤＲ画像またはビデオを符号化するために標準化および送信され得る。
【００５４】
具体的には、符号化側では、第２のダイナミックレンジを有する画像は、たとえばトーンマッピング演算子を使用して第１のダイナミックレンジを有する画像を第２のダイナミックレンジを有する画像にダウンコンバートすることによって得られる。
【００５５】
別の例によると、第２のダイナミックレンジを有する上記画像は、上記符号化側にて、たとえば取込みデバイスから直接使用可能になり得る。
【００５６】
また、本開示は、第１のダイナミックレンジを有する少なくとも１つの画像を復号するための方法であって、
−  上記第１のダイナミックレンジより低い第２のダイナミックレンジを有する画像を復号するステップと、
−  第１のひな型と呼ばれる、第１のダイナミックレンジを有する上記画像のひな型を復号するステップと、
−  第１のダイナミックレンジを有する上記画像を第２のダイナミックレンジを有する上記画像および上記第１のひな型から生成するステップとを含む方法に関する。
【００５７】
具体的には、第１のダイナミックレンジを有する画像を第２のダイナミックレンジを有する画像および第１のひな型から生成するステップは、上記の生成方法を実施することができる。
【００５８】
したがって、提案されている本開示は、第１のダイナミックレンジを有する元の画像／ビデオに関する何らかの情報が使用できることを仮定して、ＨＤＲ画像／ビデオのような第１のダイナミックレンジを有する画像／ビデオの符号化および復号を改善するための新規の解決策を提供する。
【００５９】
具体的には、提案されている開示は、ＨＤＲ画像／ビデオの送信／圧縮の問題に、第１のダイナミックレンジを有する画像を符号化および送信する代わりに、第１のダイナミックレンジを有する画像のひな型と、第２のダイナミックレンジを有する画像とを符号化および送信することによって対処する。
【００６０】
また、本開示は、第１のダイナミックレンジを有する少なくとも１つの画像を、上記第１のダイナミックレンジより低い第２のダイナミックレンジを有する画像から生成するためのデバイスであって、
−  第１のひな型と呼ばれる、第１のダイナミックレンジを有する上記画像のひな型を得るためのモジュールと、
−  第１のダイナミックレンジを有する上記画像を第２のダイナミックレンジを有する上記画像および上記第１のひな型から生成するためのモジュールとを備えるデバイスに関する。
【００６１】
そのようなデバイスは、本明細書で上述されている生成方法を実施するように特に適合され得る。それは、当然ながら、本開示の一実施形態による生成方法に関する異なる特徴を含むことができ、それらを組み合わせることも、別々にとることもできる。したがって、このデバイスの特徴および利点は、生成方法のものと同じであり、あまり十分に詳しくは記載されていない。
【００６２】
さらに、本開示は、第１のダイナミックレンジを有する少なくとも１つの画像を符号化するためのデバイスであって、
−  第１のひな型と呼ばれる、第１のダイナミックレンジを有する上記画像のひな型を決定するためのモジュールと、
−  上記第１のダイナミックレンジより低い第２のダイナミックレンジを有する画像を得るためのモジュールと、
−  第２のダイナミックレンジを有する上記画像を符号化するためのモジュールと、
−  上記第１のひな型を符号化するためのモジュールとを備えるデバイスに関する。
【００６３】
このようなデバイスは、本明細書で上述されている符号化方法を実施するように特に適合され得る。それは、当然ながら、本開示の一実施形態による符号化方法に関する異なる特徴を含むことができ、それらを組み合わせることも、別々にとることもできる。したがって、このデバイスの特徴および利点は、符号化方法のものと同じであり、あまり十分に詳しくは記載されていない。
【００６４】
さらに、本開示は、第１のダイナミックレンジを有する少なくとも１つの画像を復号するためのデバイスであって、
−  上記第１のダイナミックレンジより低い第２のダイナミックレンジを有する画像を復号するためのモジュールと、
−  第１のひな型と呼ばれる、第１のダイナミックレンジを有する上記画像のひな型を復号するためのモジュールと、
−  第１のダイナミックレンジを有する上記画像を、第２のダイナミックレンジを有する上記画像および上記第１のひな型から生成するためのモジュールとを備えるデバイスに関する。
【００６５】
もう一度、そのようなデバイスは、本明細書で上述されている復号方法を実施するように特に適合され得る。それは、当然ながら、本開示の一実施形態による復号方法に関する異なる特徴を含むことができ、それらを組み合わせることも、別々にとることもできる。したがって、このデバイスの特徴および利点は、復号方法のものと同じであり、あまり十分に詳しくは記載されていない。
【００６６】
本開示の他の特徴は、生成方法および／または符号化方法および／または復号方法を実施するように適合されたソフトウェアコードを含む、通信ネットワークからダウンロード可能な、および／またはコンピュータによって読取り可能な媒体上に記録された、および／またはプロセッサによって実行可能なコンピュータプログラム製品に関し、このソフトウェアコードは、上記の方法のうちの少なくとも１つのステップを実施するように適合される。
【００６７】
さらに、本開示は、プロセッサによって実行されることが可能であり、前述の方法のうちの少なくとも１つのステップを実施するためのプログラムコード命令を含むコンピュータプログラム製品が記録されている非一時的なコンピュータ可読媒体に関する。
【００６８】
開示されている実施形態と範囲が等しいいくつかの特徴が下記に記載されている。これらの特徴は、本開示がとる可能性があるいくつかの形態の簡単な概要を読者に提供するために提示されているにすぎないこと、また、これらの特徴は、本開示の範囲を限定するものではないことを理解されたい。実際には、本開示は、下記に記載されていないことがある様々な特徴を包含することがある。
【図面の簡単な説明】
【００６９】
本開示は、添付の図を参照して、決して限定的なものでない以下の実施形態および実行例によってよりよく理解され、例示されることになる。
【図１】本開示の一実施形態による、第１のダイナミックレンジを有する画像を第２のダイナミックレンジを有する画像から生成するための方法の主なステップを示す流れ図である。
【図２】本開示の一実施形態による、ＬＤＲからＨＤＲへの変換およびアップスケール化に適用される超解像技法の図である。
【図３】本開示の一実施形態による、第１のダイナミックレンジを有する画像を符号化するための方法の主なステップの図である。
【図４】本開示の一実施形態による、第１のダイナミックレンジを有する画像を復号するための方法の主なステップの図である。
【図５】図１による生成方法を実施するデバイスのブロック図である。
【図６】図３による符号化方法を実施するデバイスのブロック図である。
【図７】図４による復号方法を実施するデバイスのブロック図である。
【発明を実施するための形態】
【００７０】
図１および図３から図７では、表されているブロックは、純粋に機能的なエンティティであり、必ずしも物理的に別々のエンティティに対応しない。すなわち、これらは、ソフトウェア、ハードウェアの形態で開発されることも、１または複数のプロセッサを含めて１または複数の集積回路内で実施されることもあり得る。
【００７１】
本開示の図および説明は、本開示を明確に理解するために関連がある要素を示すために簡素化されており、一方、見やすくするためにひな型的な符号化デバイスおよび／または復号デバイスに見出される多数の他の要素を省いている。
【００７２】
５．１  第１のダイナミックレンジを有する画像／ビデオを第２のダイナミックレンジを有する画像／ビデオから生成する
５．１．１  一般原理
第１のダイナミックレンジを有する少なくとも１つの画像を上記第１のダイナミックレンジより低い第２のダイナミックレンジを有する画像から生成するための方法の主なステップが図１に示されている。
【００７３】
たとえば、第１のダイナミックレンジを有する画像がＨＤＲ画像であり、第２のダイナミックレンジを有する画像がＬＤＲ画像であると考えてみよう。
【００７４】
第１のステップ１１中、第１のひな型またはＨＤＲひな型と呼ばれる第１のダイナミックレンジを有する画像（ＨＤＲ画像）のひな型が得られる。
【００７５】
ひな型手法は、画像内の繰り返されるコンテンツを利用することによって画像内の冗長な情報（テクスチャ）を削減することを目的とする。異なる技法を使用し、第１のひな型を構築することができる。たとえば、Ｈ．Ｈｏｐｐｅ（“Ｆａｃｔｏｒｉｎｇ  Ｒｅｐｅａｔｅｄ  Ｃｏｎｔｅｎｔ  Ｗｉｔｈｉｎ  ａｎｄ  Ａｍｏｎｇ  Ｉｍａｇｅｓ”−ＡＣＭ  Ｔｒａｎｓａｃｔｉｏｎ  ｏｎ  Ｇｒａｐｈｉｃｓ，ｖｏｌ．２７，ｎｏ．３，ｐｐ．１−１０，２００８）もしくはＳ．Ｃｈｅｒｉｇｕｉ（“Ｅｐｉｔｏｍｅ−ｂａｓｅｄ  ｉｍａｇｅ  ｃｏｍｐｒｅｓｓｉｏｎ  ｕｓｉｎｇ  ｔｒａｎｓｌａｔｉｏｎａｌ  ｓｕｂ−ｐｅｌ  ｍａｐｐｉｎｇ”−Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ＩＥＥＥ  ＭＭＳＰ  ２０１１）に開示されている技法、またはＰＣＴ出願国際公開第２０１２／０９７９１９号パンフレット（”Ｍｅｔｈｏｄ  ａｎｄ  ｄｅｖｉｃｅ  ｆｏｒ  ｅｘｔｒａｃｔｉｎｇ  ａｎ  ｅｐｉｔｏｍｅ”−ＴＨＯＭＳＯＮ  ＬＩＣＥＮＳＩＮＧ）に開示されている技法を、符号化側で使用可能な第１のダイナミックレンジを有する元の画像に適用して、第１のひな型を計算することができる。これらの技法は、任意のタイプの画像／ビデオのために記載されているので、これらは当然ながらＨＤＲ画像／ビデオに当てはまる。
【００７６】
さらに、第１のひな型の符号化を、従来のＬＤＲ画像／ビデオとの逆方向互換性と共にＨＤＲ画像を符号化するために標準化し送信することができる。
【００７７】
第２のステップ１２中、第１のダイナミックレンジを有する画像（ＨＤＲ画像）が第２のダイナミックレンジを有する画像（ＬＤＲ画像）および第１のひな型（ＨＤＲひな型）から生成される。
【００７８】
換言すれば、本開示は、より高いダイナミックレンジを有するＨＤＲ画像を得るために、より低いダイナミックレンジを有するＬＤＲ画像の画素のルミナンス値を変更することを目的とする。
【００７９】
たとえば、第１のひな型は、復号器によって受信することができ、復号器は、第１のひな型、および第２のダイナミックレンジを有する画像から、第１のダイナミックレンジを有する画像を生成することができる。したがって、第１のひな型は、ＬＤＲからＨＤＲへの変換の助けとなるように使用される。
【００８０】
次に、第１のダイナミックレンジを有する画像を第２のダイナミックレンジを有する画像および第１のひな型から生成する第２のステップ１２についてより詳細に述べよう。
【００８１】
５．１．２  現実の光情報を使用する
本開示の少なくとも１つの実施形態によると、現況技術からの逆トーンマッピング演算子を、上述の技法を使用して改善することができる。
【００８２】
一般に、Ｂａｎｔｅｒｌｅ  ｅｔ  ａｌ．ｉｎ  “Ｒｅａｌ−Ｔｉｍｅ  Ｈｉｇｈ  Ｆｉｄｅｌｉｔｙ  Ｉｎｖｅｒｓｅ  Ｔｏｎｅ  Ｍａｐｐｉｎｇ  ｆｏｒ  Ｌｏｗ  Ｄｙｎａｍｉｃ  Ｒａｎｇｅ  Ｃｏｎｔｅｎｔ”，ｉｎ  ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ＥｕｒｏＧｒａｐｈｉｃｓ  ２０１３に記載のものなどｉＴＭＯが、あるレンジからより高いものにダイナミクスを拡張するために使用される。
【００８３】
この技法によると、最初に、カメラ応答関数を使用して、またはガンマを除去して、ＬＤＲ画像が線形化される。次いで、線形化された画像は、写真演算子の逆数を使用して伸長され、これは、制御可能な非線形の膨張曲線をもたらす。これは、
【００８４】
【数６】
2016201800.tif 000008
【００８５】
として定義され、ここで、Ｌw（ｘ）は、線形化された画像の画素ｘにおける伸長されたルミナンスであり、Ｌd（ｘ）は、入力線形化ＬＤＲルミナンスであり、Ｌwhiteは、曲線の引き伸ばしを決定し、βはパラメータであり、所望の最大ルミナンス出力を決定する。
【００８６】
次いで、光源サンプルが、サンプリングアルゴリズム、たとえば中央値切捨てを使用して、線形化されたＬＤＲ画像から抽出される。次いで、スムースフィールドΛが、密度推定を
【００８７】
【数７】
2016201800.tif 000009
【００８８】
として使用して生成され、ここで、ｘは、評価するための現在の画素の位置であり、Ωは、中心ｘおよび半径ｒsの球の内側のサンプルのセットであり、Ｖは、Ωの体積であり、Ψpは、ｐ番目のサンプルのパワーであり、Ｋは、
ｒmax：フィルタリングの強さを変更する、帯域幅と呼ばれる密度推定子のパラメータ
【００８９】
【数８】
2016201800.tif 000010
【００９０】
：ｘ周りの元の画像のサブ空間（またはカーネルのサイズ）
ｙp：サブ空間
【００９１】
【数９】
2016201800.tif 000011
【００９２】
内に含まれるｘ周りのサンプルのセット
によって定義されるカーネル密度推定子である。
【００９３】
サンプリング中、大きな低ルミナンスエリアがあるため、いくつかの孤立したサンプルが生成され得る。これらは、孤立した異常値（ｏｕｔｌｉｅｒ）、すなわち伸長されることを必要としないエリアを作り出す可能性がある。この問題は、｜｜Ω｜｜＜ｎｓｍｉｎである場合、密度推定を無効にするセットをクランプすることによって解決することができ、ここでｎｓｍｉｎは閾値である。
【００９４】
スムースフィールドΛが計算され、交差両方向性フィルタ（ｃｒｏｓｓ−ｂｉｌａｔｅｒａｌ  ｆｉｌｔｅｒ）を使用してフィルタリングされた後で、ＨＤＲ画像の最終ルミナンス値を得るために、伸長された値Ｌw（ｘ）および線形化されたＬＤＲルミナンス値Ｌd（ｘ）が、Λ（ｘ）を重みとして使用して線形内挿される。
【００９５】
本開示の少なくとも１つの実施形態により既存のｉＴＭＯを改善するために、Λ（ｘ）重みは、ＬＤＲ画像からの現実の光状態の拡張の代わりに、第１のひな型から決定される現実の光状態に基づくものとすることができる。
【００９６】
従来技術の技法による「ブラインド外挿」は、実際に、人工的な光を生み出す可能性があるが、ひな型は、現実の値を保証する。したがって、ひな型は、疎である場合でさえ、ｉＴＭＯが使用することができる現実の光情報を提供する。
【００９７】
その場合、近傍マッチング基準を使用し、ＨＤＲ画像を生成するためにＬＤＲ画像の光を拡張することを可能にする重み係数マップである光マップまたは拡張マップ（ｅｘｐａｎｄ  ｍａｐ）（Ｂａｎｔｅｒｌｅによる命名）から最も近いひな型チャートを見出すことができる。あるいは、同じ場所からのひな型（存在するとき）を使用し、外挿された値を現実の値によって置き換えることができる。次いで、空間フィルタリングが光マップを平滑化する。この技法は、すべての種類のｉＴＭＯに当てはまることに留意されたい。
【００９８】
現在のブロックについて近傍マッチングひな型を見出すために、１つの解決策は、現在のブロックとすべてのひな型ブロックとの差を計算し、最低の差を有するものを選択すること（近傍マッチ）からなる。この差は、ＬＤＲブロックとＨＤＲブロックとの光レベル差を考慮するために、ブロックの平均ルミナンス値を除去した後で計算され得る。あるいは、ＨＤＲひな型を、（前述のように）最初にＬＤＲひな型に変換して、次いで同じ光領域内の差を計算することができる。
【００９９】
したがって、ステップ１２中、第１のダイナミックレンジを有する画像を、第１のひな型から得られた現実の光情報で生成することができる。
【０１００】
５．１．３  マッピング関数を決定する
本開示の少なくとも１つの実施形態によると、マッピング関数を使用して、第１のダイナミックレンジを有する画像を第２のダイナミックレンジを有する画像および第１のひな型から生成することができる。
【０１０１】
そのようなマッピング関数は、第２のひな型と呼ばれる第２のダイナミックレンジを有する画像のひな型と、第２のダイナミックレンジを有する画像との間で決定され得、次いで、第１のダイナミックレンジを有する画像を生成するために第１のひな型に適用され得る。
【０１０２】
第２のひな型は、たとえば前述のＨ．Ｈｏｐｐｅによって、Ｓ．Ｃｈｅｒｉｇｕｉによって開示されているもの、または国際公開第２０１２／０９７９１９号パンフレットに開示されている技法など、任意の技法を使用して決定され得る。たとえば、第１のひな型および第２のひな型は、適切な情報が両ひな型に含まれるように、同じ技法を使用して計算され得る。他の例によると、第２のひな型は、第１のひな型の計算に使用される第１の画像のブロックより同じ位置に位置する第２の画像のブロックから計算される。
【０１０３】
マッピング関数は、異なるタイプのものとすることができる。
【０１０４】
第１の例によると、マッピング関数は、第２のひな型と第２のダイナミックレンジを有する画像との間の変換マップである。この変換マップは、第２のひな型を第２のダイナミックレンジを有する画像にマッピングするために設計された１組の割当てベクトルを含む。
【０１０５】
そのような変換マップは、たとえば、Ｓ．Ｃｈｅｒｉｇｕｉによって開示されたひな型を計算するための上述の技法を使用してひな型と共に出力される。
【０１０６】
したがって、第１のダイナミックレンジを有する画像は、変換マップを第１のひな型に適用することによって、すなわち、第２のひな型を第２のダイナミックレンジを有する画像にマッピングするために設計されたものより同じ割当てベクトルを第１のひな型に適用することによって、単純に生成され得る。
【０１０７】
第２の例によると、マッピング関数は、局所線形埋込み技法（ＬＬＥ）から決定され、第２のダイナミックレンジを有する画像内の少なくとも１つのブロックと、第２のひな型内のＫ個のパッチとの間の一次結合であり、ここでＫ＞１である（パッチは、ひな型から抽出される１つのテクスチャ情報である）。
【０１０８】
この第２の例によると、第２のダイナミックレンジを有する画像内の少なくとも１つのブロックｘiを得るために第２のひな型内の上記Ｋ個のパッチの各パッチ
【０１０９】
【数１０】
2016201800.tif 000012
【０１１０】
に割り当てられることになる重みｗi,kが、
【０１１１】
【数１１】
2016201800.tif 000013
【０１１２】
などで決定され、ここで
【０１１３】
【数１２】
2016201800.tif 000014
【０１１４】
であり、Ｋは、第２のダイナミックレンジを有する画像の１つのブロックから得られる第２のひな型内のパッチの数である。
【０１１５】
第２のひな型内の上記Ｋ個のパッチは、第１のひな型内で選択されるＫ個の対応するパッチから決定される。
【０１１６】
次いで、
【０１１７】
【数１３】
2016201800.tif 000015
【０１１８】
など、第１のダイナミックレンジを有する画像の少なくとも１つのブロックｙiを再構築するために、重みｗi,kが第１のひな型内の上記Ｋ個の対応するパッチの各パッチ
【０１１９】
【数１４】
2016201800.tif 000016
【０１２０】
に適用される。
【０１２１】
ＬＬＥ関数を使用する代わりに、非局所平均（ＮＬＭ）関数を使用し、マッピング関数を決定することができる。
【０１２２】
たとえば、第３の例によると、マッピング関数は、線形回帰またはカーネル回帰を使用して決定される。次いで、たとえばＬＬＥの代わりに、線形回帰またはカーネル回帰など別の局所学習技法を使用することができる。
【０１２３】
たとえば、第２のダイナミックレンジを有する画像の各重なり合うブロック（重なり係数は、調整することができ、８×８ブロックについて７に設定することができるパラメータである）について、第２のひな型内のＫ近傍（Ｋ−ＮＮ）パッチを求めて探索する。第１のひな型内の対応する（すなわち、共存する、または同じ位置にある）パッチもまた選択され、したがって回帰（線形回帰またはカーネル回帰）を使用してマッピング関数Ｆ1を学習するために使用されるパッチの対を形成する。
【０１２４】
次いで、多変量線形回帰を考えると、｜｜（Ｍh）T−（Ｍl）TＦ1T｜｜2を最小にする関数Ｆ1を求めて探索する問題である。
【０１２５】
そのような関数は、｜｜Ｙ−ＸＢ｜｜2の形態にあり、したがって線形回帰モデルＹ＝ＸＢ＋Ｅに対応する。
【０１２６】
そのような関数の最小化は、最小二乗推定子Ｆ1＝Ｍh（Ｍl）T（Ｍl（Ｍl）T）-1をもたらす。
【０１２７】
ここで、Ｍhは、その列が第１のひな型パッチ
【０１２８】
【数１５】
2016201800.tif 000017
【０１２９】
によって形成される行列であり、Ｍlは、その列が第２のひな型の対応するパッチ
【０１３０】
【数１６】
2016201800.tif 000018
【０１３１】
によって形成される行列であり、ｉ＝１．．．Ｋであり、（．）Tは、転置演算子である。
【０１３２】
第２のひな型パッチ
【０１３３】
【数１７】
2016201800.tif 000019
【０１３４】
は、第２のダイナミックレンジを有する画像からとられ、それらの位置は、第１のひな型パッチ
【０１３５】
【数１８】
2016201800.tif 000020
【０１３６】
の位置と一致する。
【０１３７】
５．１．４  超解像技法を改善する
超解像技法もまた、上述の技法を使用して改善することができる。
【０１３８】
より具体的には、従来の超解像技法は、未知の高解像度（ＨＲ）画像を回復するために１組の低解像度（ＬＲ）画像を融合しようと試みる。
【０１３９】
たとえば、ＩＥＥＥ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｉｍａｇｅ  Ｐｒｏｃｅｓｓｉｎｇ（ＩＣＩＰ）２０１３，“Ｏｐｔｉｍｉｚｅｄ  Ｎｅｉｇｈｂｏｒ  Ｅｍｂｅｄｄｉｎｇｓ  Ｆｏｒ  Ｓｉｎｇｌｅ−Ｉｍａｇｅ  Ｓｕｐｅｒ−Ｒｅｓｏｌｕｔｉｏｎ”Ｍ．  Ｔｕｒｋａｎ  ｅｔ  ａｌ．およびＩＥＥＥ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｉｍａｇｅ  Ｐｒｏｃｅｓｓｉｎｇ（ＩＣＩＰ）２０１４，“Ｉｔｅｒａｔｅｄ  Ｎｅｉｇｈｂｏｒ−Ｅｍｂｅｄｄｉｎｇｓ  Ｆｏｒ  Ｉｍａｇｅ  Ｓｕｐｅｒ−Ｒｅｓｏｌｕｔｉｏｎ”Ｍ．  Ｔｕｒｋａｎ  ｅｔ  ａｌ．において、外部情報またはデータベースを使用しない単一の低解像度画像からのピラミッド型の超解像（ＳＲ）法が提案されている。この方法は、低解像度画像および高解像度画像のパッチ空間の局所的な幾何学的類似性に依拠する。近傍の入力（平均減算された、またはされていない）ＬＲパッチの固有の幾何学的特性が、入力ＬＲパッチ、およびＬＲ画像のアクロススケール（ｔｈｅ  ａｃｒｏｓｓ  ｓｃａｌｅｓ）からとられたそのＫ近傍（Ｋ−ＮＮ）から得られる。
【０１４０】
局所的なＬＲジオメトリは、そのＫ−ＮＮからの入力ＬＲパッチの局所線形埋込み（ＬＬＥ）再構築係数で線形的に特徴付けられる。次いで、ＨＲ埋込みが、局所的なＬＲジオメトリがＨＲパッチ空間内に保存されていると想定することによって、入力ＬＲパッチの見出されたＫ−ＮＮの対応する（平均減算された、またはされていない）ＨＲの親から推定（錯覚）される。次いで、現在のＨＲパッチの推定値が、入力ＬＲパッチの平均値を加算することによって得られる。ＬＲ画像内の各パッチについて、近傍のＬＲの局所的なジオメトリを保存して、ＨＲ埋込みが計算されている。標的ＨＲ画像における局所的な互換性および平滑度制約を実施するために、パッチ間の重なり合いが可能な限り可能にされる。
【０１４１】
次いで、重なり領域画素を、疎な表現をベースとする重み付け尺度に応じて線形的に組み合わせることができる。この方法では、入力ＬＲパッチおよび推定されたＨＲパッチの連結が、ＬＲ画像およびそのアクロススケールからとられたＬＲ画像パッチおよびＨＲ画像パッチから構成される辞書にわたって分解されている。指数関数的カーネルを使用して、これらのパッチは、それらの表現の疎度に応じて重み付けされる。すなわち、最も疎な表現に最高の重みが与えられる、などである。
【０１４２】
本開示の少なくとも１つの実施形態によると、どの超解像技法も、ひな型の使用可能性のおかげで改善され得る。たとえば、上記の多層方式を、ダイナミックレンジの拡張に適合させることができる。
【０１４３】
たとえば、図２に示されているように、ＬＲ画像に対応する第２のダイナミックレンジを有する画像２１、およびその第２のひな型２２を考えてみよう。また、我々が得たいと望むＨＲ画像に対応する第１のダイナミックレンジを有する画像２４の第１のひな型２３も考えてみよう。この例では、我々が生成したいと望む第１のダイナミックレンジを有する画像が、第２のダイナミックレンジを有する画像に比べてアップサンプリングされると考える。したがって、アップサンプリングとダイナミックレンジ変換は共に、同時に、または２つの連続するステップで実施され得る。
【０１４４】
一例として、ＬＬＥ線形内挿は、たとえば図２においてＫ＝２で、Ｋ−ＮＮパッチを使用して行われ得る。Ｋ−ＮＮパッチは、第２のひな型２２内で探索され、対応するパッチは、第１のひな型２３内で識別される。
【０１４５】
したがって、重みｗi,kが、「ＬＲ」データに対して計算され、第１のひな型２３内のＫ個の対応するパッチに適用され、画像／ビデオのＨＤＲバージョンを再構築する。
【０１４６】
重みｗi,kは、
【０１４７】
【数１９】
2016201800.tif 000021
【０１４８】
として計算され、ここで
【０１４９】
【数２０】
2016201800.tif 000022
【０１５０】
であり、ｉは、内挿されることになる第２のダイナミックレンジを有する画像内のブロックｘi（ＬＤＲブロック）の現在の場所であり、ｋは、第２のひな型（ＬＤＲひな型）内のＫ−ＮＮ選択されたパッチ
【０１５１】
【数２１】
2016201800.tif 000023
【０１５２】
のインデックスである。
【０１５３】
換言すれば、
第２のひな型２２内の各パッチ
【０１５４】
【数２２】
2016201800.tif 000024
【０１５５】
、
【０１５６】
【数２３】
2016201800.tif 000025
【０１５７】
にそれぞれ適用される重みｗi,1、ｗi,2は、第２のダイナミックレンジを有する画像２１内の少なくとも１つのブロックｘiを得るために、
【０１５８】
【数２４】
2016201800.tif 000026
【０１５９】
などで決定される。
【０１６０】
ＬＬＥは、重みｗi,kを計算するとき平均ルミナンス値を除去することに留意されたい。
【０１６１】
重みｗi,kが計算された後で、それらは、
【０１６２】
【数２５】
2016201800.tif 000027
【０１６３】
など、第１のダイナミックレンジを有する画像の少なくとも１つのブロックｙiを再構築するために、それらを第１のひな型内のＫ個の対応するパッチの各パッチ
【０１６４】
【数２６】
2016201800.tif 000028
【０１６５】
に適用することができる。
【０１６６】
換言すれば、ＨＤＲブロックを再構築するために、線形内挿が第１のひな型内のパッチ
【０１６７】
【数２７】
2016201800.tif 000029
【０１６８】
から実施され、ここで、パッチ
【０１６９】
【数２８】
2016201800.tif 000030
【０１７０】
は、第２のひな型内で選択されたパッチ
【０１７１】
【数２９】
2016201800.tif 000031
【０１７２】
の第１のひな型内の共存する（ｉ，ｋ）Ｋ−ＮＮパッチである。
【０１７３】
たとえば、第１のダイナミックレンジを有する画像２４の少なくとも１つのブロックｙi（ＨＤＲブロック）を再構築するために、重みｗi,1、ｗi,2が、第１のひな型２３内の各パッチ
【０１７４】
【数３０】
2016201800.tif 000032
【０１７５】
、
【０１７６】
【数３１】
2016201800.tif 000033
【０１７７】
にそれぞれ適用される。
【０１７８】
具体的には、ＬＲ／ＬＤＲレイヤ内のパッチ／ブロックのサイズは、ＨＲ／ＨＤＲレイヤのサイズより小さい（この比は、ＨＲレイヤ対ＬＲレイヤの解像度の比である）。
【０１７９】
したがって、既存の超解像技法は、本開示を使用して改善され得る。
【０１８０】
対応するマップがひな型と共に使用可能である場合、Ｋ−ＮＮ探索はもはや必要ないことに留意されたい。
【０１８１】
さらに、上記のように、マッピング関数もまた、ＬＬＥの代わりに、線形回帰またはカーネル回帰などＮＬＭを使用して決定することができる。
【０１８２】
５．１．５  変形形態
図２に示されている本開示の１つの実施形態によると、第１のダイナミックレンジを有する画像を生成するステップは、第１のダイナミックレンジを有するアップサンプリングされた画像を生成するために、第２のダイナミックレンジを有する上記画像をアップサンプリングすることをさらに含む。
【０１８３】
このようにして、より高いダイナミックレンジへのアップサンプリングおよび変換は、同時に実施され得る。他の実施形態によると、より高いダイナミックレンジへのアップサンプリングおよび変換は、２つの連続するステップで実施される。
【０１８４】
他の実施形態によると、第１のダイナミックレンジを有する画像を生成するステップは、
−  第２のダイナミックレンジを有する推定された画像を、第１の反復のために第１のダイナミックレンジを有する上記画像から、または以下の反復のために第１のダイナミックレンジを有する上記補正された画像から得るステップ、
−  第２のダイナミックレンジを有する上記画像と第２のダイナミックレンジを有する上記推定された画像との推定誤差を決定するステップ、および
−  推定誤差に応答して、第１のダイナミックレンジを有する上記画像を補正して、第１のダイナミックレンジを有する補正された画像を得るステップのうちの少なくとも１つの反復を含む。
【０１８５】
生成された画像が一貫したものであるかどうかチェックするために使用される反復的な逆投影技法を、任意選択で、ダイナミックレンジ変換（ＨＤＲ再構築）、またはＨＤＲ再構築とアップスケール化の両方のために追加することができる。逆投影は、再構築されたＨＤＲ（／ＨＲ）画像をＬＤＲ（／ＬＲ）画像にダウンコンバートし、使用可能なＬＤＲ（／ＬＲ）との差を計算し、この差をＨＤＲ（／ＨＲ）差にアップコンバートして戻し、それを再構築されたＨＤＲ（／ＬＲ）に追加することにある。
【０１８６】
アップスケール化動作のためには、動的動作のためにＴＭＯ演算子およびｉＴＭＯ演算子の使用可能性を想定するとき、線形内挿フィルタが使用される。
【０１８７】
さらに、重なり合うブロックのための上記の技法は、重なり合わないブロックのために使用され得る。
５．２  第１のダイナミックレンジを有する画像／ビデオを第２のダイナミックレンジを有する画像／ビデオから符号化／復号する
第１のダイナミックレンジを有する少なくとも１つの画像を、上記第１のダイナミックレンジより低い第２のダイナミックレンジを有する画像から生成するための方法を使用し、第１のダイナミックレンジを有する画像／ビデオの符号化／復号を改善することができる。
【０１８８】
ＨＤＲ画像／ビデオの符号化／復号、特に送信／圧縮の問題に対処するために、異なる技法が提案されている。
【０１８９】
たとえば、ＪＰＥＧは、ＨＤＲ画像をサポートするためにそのコーディング方式の拡張を、またＲＧＢＥとして知られる共有指数浮動小数点色フォーマット、および他の１６ビットおよび３２ビット固定小数点色成分表現を介してやはりＨＤＲをサポートするＪＰＥＧ−ＸＲフォーマットを標準化した。
【０１９０】
また、ＭＰＥＧは、ＭＰＥＧ  ＨＥＶＣのためのＨＤＲビデオのサポートを検討している。
【０１９１】
しかし、そのような技法は、送られることになるデータのサイズに、または再構築された画像の制限された品質に悩まされている。
【０１９２】
５．２．１  符号化器
本開示による、第１のダイナミックレンジを有する少なくとも１つの画像を符号化するための方法の主なステップが図３に示されている。
【０１９３】
第１のステップ３１中、第１のダイナミックレンジを有する画像、たとえばＨＤＲ画像のひな型が決定される。元のＨＤＲ画像は、実際に符号化側で使用可能とすることができる。
【０１９４】
第２のステップ３２中、上記第１のダイナミックレンジより低い第２のダイナミックレンジを有する画像、たとえばＬＤＲ画像が得られる。
【０１９５】
たとえば、ＬＤＲ画像は、トーンマッピング演算子を使用してＨＤＲ画像から得られる。点線で示された変形形態では、ＬＤＲ画像は、符号化側にて、たとえば取込みデバイスから直接使用可能である。
【０１９６】
第３のステップ３３中、第２のダイナミックレンジを有する画像（ＬＤＲ）、および第１のひな型（ＨＤＲひな型）が符号化される。第１のひな型は、メタデータ符号化のための任意のデバイスを使用して符号化され得る（３３１）。それは、従来の符号化方式または専用のものを使用して符号化され得る。第２のダイナミックレンジを有する画像は、任意の画像またはビデオ符号化器（ＭＰＥＧ、ＪＰＥＧ、．．．）を使用して符号化され得る（３３２）。
【０１９７】
次いで、復号器側で第１および第２のダイナミックレンジの画像／ビデオバージョンを再構築するために、ＬＤＲ画像／ビデオおよびＨＤＲひな型を、たとえば２つの異なるネットワーク（ブロードキャストおよびＩＰ）もしくは２つのＩＰリンクを使用することによって別々に、または、たとえばＬＤＲ画像／ビデオおよびＨＤＲひな型を同じストリーム内で共に多重化することによって同時に送信することができる。したがって、ひな型は、ＨＤＲ画像／ビデオを符号化するために使用されるメタデータとみなされ得る。
【０１９８】
第１のひな型は、専用のＭＰＥＧ  ＳＥＩメッセージとして、関連の画像（たとえば、ＭＰＥＧにおけるデプスマップと同様のもの）として、プライベートデータとして、またはたとえばＭＰＥＧ−２  ＴＳシンタックスを使用して送信され得る。
【０１９９】
ひな型が疎である場合、低いビットレートが使用されるべきであることに留意されたい。
【０２００】
５．２．２  復号器
本開示による、第１のダイナミックレンジを有する少なくとも１つの画像を復号するための方法の主なステップが図４に示されている。
【０２０１】
復号の第１のステップ４１中、第２のダイナミックレンジを有する画像（ＬＤＲ）および第１のひな型（ＨＤＲひな型）が復号される。第１のひな型は、メタデータ復号のための任意のデバイスを使用して復号され得る（４１１）。それは、従来の復号方式または専用のものを使用して復号され得る。第２のダイナミックレンジを有する画像は、任意の画像またはビデオ復号器（ＭＰＥＧ、ＪＰＥＧ、．．．）を使用して復号され得る（４１２）。
【０２０２】
第２のステップ４２中、第１のダイナミックレンジを有する画像（ＨＤＲ）が、第２のダイナミックレンジを有する画像および第１のひな型（復号されたもの）から生成または再構築される。
【０２０３】
第１のダイナミックレンジを有するそのような画像は、上記の生成方法を使用して生成され得る。
【０２０４】
５．３  デバイス
図５は、本開示の一実施形態による、第１のダイナミックレンジを有する少なくとも１つの画像を第２のダイナミックレンジを有する画像から生成するためのデバイスの一例を概略的に示す。生成デバイスの本質的な要素だけが示されている。
【０２０５】
そのような生成デバイスは、少なくとも、
−  第１のひな型と呼ばれる、第１のダイナミックレンジを有する画像のひな型を得るためのモジュール５１と、
−  第１のダイナミックレンジを有する画像を第２のダイナミックレンジを有する画像および第１のひな型から生成するためのモジュール５２と、
−  揮発性メモリなど記憶手段５３と、
−  デバイスの不揮発性メモリ内に記憶されたアプリケーションおよびプログラムを実行するための１または複数のプロセッサ５４と、
−  生成デバイスの機能を実施するための当業者に周知の様々なモジュールおよびすべての手段を接続するための内部バスＢ１とを備える。
【０２０６】
図６は、本開示の一実施形態による、第１のダイナミックレンジを有する少なくとも１つの画像を符号化するためのデバイスの一例を示す。符号化デバイスの本質的な要素だけが示されている。
【０２０７】
そのような符号化デバイスは、少なくとも、
−  第１のひな型と呼ばれる、第１のダイナミックレンジを有する上記画像のひな型を決定するためのモジュール６１と、
−  上記第１のダイナミックレンジより低い第２のダイナミックレンジを有する画像を得るためのモジュール６２と、
−  第２のダイナミックレンジを有する画像を符号化するためのモジュール６３と、
−  上記第１のひな型を符号化するためのモジュール６４と、
−  揮発性メモリなど記憶手段６５と、
−  デバイスの不揮発性メモリ内に記憶されたアプリケーションおよびプログラムを実行するための１または複数のプロセッサ６６と、
−  符号化デバイスの機能を実施するための当業者に周知の様々なモジュールおよびすべての手段を接続するための内部バスＢ２とを備える。
【０２０８】
図７は、本開示の一実施形態による、第１のダイナミックレンジを有する少なくとも１つの画像を復号するためのデバイスの一例を示す。復号デバイスの本質的な要素だけが示されている。
【０２０９】
そのような復号デバイスは、少なくとも、
−  上記第１のダイナミックレンジより低い第２のダイナミックレンジを有する画像を復号するためのモジュール７１と、
−  第１のひな型と呼ばれる、第１のダイナミックレンジを有する上記画像のひな型を復号するためのモジュール７２と、
−  第１のダイナミックレンジを有する画像を第２のダイナミックレンジを有する上記画像および上記第１のひな型から生成するためのモジュール７３と、
−  揮発性メモリなど記憶手段７４と、
−  デバイスの不揮発性メモリ内に記憶されたアプリケーションおよびプログラムを実行するための１または複数のプロセッサ７５と、
−  復号デバイスの機能を実施するための当業者に周知の様々なモジュールおよびすべての手段を接続するための内部バスＢ３とを備える。
【０２１０】
そのような生成デバイス、符号化デバイス、および／または復号デバイスは、それぞれ、純粋にソフトウェアによる実現、純粋にハードウェアによる実現（たとえば、ＡＳＩＣ、ＦＰＧＡ、ＶＬＳＩ．．．のような専用コンポーネント）により実施することも、デバイス内に集積されたいくつかのエレクトロニクスコンポーネントのものである、またはハードウェア要素とソフトウェア要素の混合の形態であることもできる。
【０２１１】
図における流れ図および／またはブロック図は、本開示の様々な実施形態によるシステム、方法、およびコンピュータプログラム製品の可能な実現の構成、動作、および機能を示す。これに関して、流れ図またはブロック図内の各ブロックは、指定された論理機能を実施するための１または複数の実行可能命令を含むモジュール、セグメント、またはコードの一部分を表すことができる。
【０２１２】
たとえば、第１のダイナミックレンジを有する画像のひな型を得るためのモジュール５１、および第１のダイナミックレンジを有する画像を生成するためのモジュール５２は、生成デバイスのメモリ内に記憶されたソフトウェアコンポーネントとして提供されてもよい。１または複数の処理ユニット５４は、様々なソフトウェアプログラムおよび／またはソフトウェアコンポーネントの命令のセットを実行し、様々な実施形態のとおりに、第１のダイナミックレンジを有する画像のひな型を得て、第１のダイナミックレンジを有する画像を第２のダイナミックレンジを有する画像および第１のひな型から生成するそれぞれの機能を実施するように構成されてもよい。
【０２１３】
第１のダイナミックレンジを有する画像のひな型を決定するためのモジュール６１、第２のダイナミックレンジを有する画像を得るためのモジュール６２、第２のダイナミックレンジを有する画像を符号化するためのモジュール６３、および上記第１のひな型を符号化するためのモジュール６４もまた、符号化デバイスのメモリ内に記憶されたソフトウェアコンポーネントとして提供されてもよい。１または複数の処理ユニット６６は、様々なソフトウェアプログラムおよび／またはソフトウェアコンポーネントの命令のセットを実行し、様々な実施形態のとおりに、第１のダイナミックレンジを有する画像のひな型を決定し、第２のダイナミックレンジを有する画像を得て、第２のダイナミックレンジを有する画像を符号化し、上記第１のひな型を符号化するそれぞれの機能を実施するように構成されてもよい。
【０２１４】
第２のダイナミックレンジを有する画像を復号するためのモジュール７１、第１のダイナミックレンジを有する画像のひな型を復号するためのモジュール７２、および第１のダイナミックレンジを有する画像を生成するためのモジュール７３は、復号デバイスのメモリ内に記憶されたソフトウェアコンポーネントとして提供されてもよい。１または複数の処理ユニット７５は、様々なソフトウェアプログラムおよび／またはソフトウェアコンポーネントの命令のセットを実行し、様々な実施形態のとおりに、第２のダイナミックレンジを有する画像を復号し、第１のひな型と呼ばれる、第１のダイナミックレンジを有する画像のひな型を復号し、第１のダイナミックレンジを有する画像を第２のダイナミックレンジを有する画像および第１のひな型から生成するそれぞれの機能を実施するように構成されてもよい。
【０２１５】
また、いくつかの代替の実施形態では、ブロック内に記載の機能は、図に記載の順序から外れて行われてもよい。たとえば、含まれる機能に応じて、連続して示されている２つのブロックは、実際には、実質的に同時に実行されてもよく、またはそれらのブロックは、逆の順序で実行されることがあってもよく、またはブロックは、交互の順序で実行されてもよい。また、ブロック図および／または流れ図の各ブロック、ならびにブロック図および／または流れ図のブロックの組合せは、指定された機能もしくは行為を実施する専用ハードウェアをベースとするシステム、または専用ハードウェアとコンピュータ命令の組合せによって実施され得る。明示的に記載されていないが、本実施形態は、任意の組合せまたはサブコンビネーションで使用され得る。
【０２１６】
当業者には理解されるように、本原理の特徴は、システム、方法、コンピュータプログラム、またはコンピュータ可読媒体として具体化され得る。したがって、本原理の特徴は、全体的にハードウェアの実施形態、全体的にソフトウェアの実施形態（ファームウェア、常駐ソフトウェア、マイクロコードなどを含む）、またはソフトウェアの特徴とハードウェアの特徴を組み合わせる実施形態の形態をとることができ、これらをすべて、本明細書では、全体的に「回路」「モジュール」または「システム」と呼ぶことができる。さらに、本原理の特徴は、コンピュータ可読記憶媒体の形態をとることができる。１または複数のコンピュータ可読記憶媒体の任意の組合せが使用されてもよい。
【０２１７】
コンピュータ可読記憶媒体は、１または複数のコンピュータ可読媒体内に含まれ、コンピュータによって実行可能なコンピュータ可読プログラムコードが含まれるコンピュータ可読プログラム製品の形態をとることができる。本明細書で使用されるコンピュータ可読記憶媒体は、情報を記憶するための本来固有の能力、ならびに情報をそこから取り出すための本来固有の能力を考えると、非一時的な記憶媒体と考えられる。コンピュータ可読記憶媒体は、たとえば、それだけには限らないが、電子、磁気、光、電磁、赤外線、もしくは半導体のシステム、装置、もしくはデバイス、または前述のものの任意の好適な組合せとすることができる。本原理を適用することができるコンピュータ可読記憶媒体のより特定の例を提供するが、以下、すなわちポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読出し専用メモリ（ＲＯＭ）、消去可能プログラム可能な読出し専用メモリ（ＥＰＲＯＭもしくはフラッシュメモリ）、ポータブルコンパクトディスク読出し専用メモリ（ＣＤ−ＲＯＭ）、光記憶デバイス、磁気記憶デバイス、または前述のものの任意の好適な組合せは、当業者には容易に理解されるように、例示的なものにすぎず、網羅的なリストではないことを理解されたい。
【図１】
2016201800.tif 000034
【図５】
2016201800.tif 000035
【図６】
2016201800.tif 000036
【図７】
2016201800.tif 000037
【図２】
2016201800.tif 000038
【図３】
2016201800.tif 000039
【図４】
2016201800.tif 000040
【外国語明細書】
2016201800000001.pdf