(57)【要約】      （修正有）【課題】高ダイナミックレンジフレームおよびインポーズされる低ダイナミックレンジフレームの両方を符号化するための効率的な方法を提供する。【解決手段】バックライトフレームを高ダイナミックレンジ（ＨＤＲ）フレームから決定するステップと、ＨＤＲフレームおよびバックライトフレームに対応する残差フレームを算出するステップと、インポーズされるフレーム（ＩＭＦ）から算出される残差フレームの予測子を使用して残差フレームを予測符号化するステップと、を備える符号化方法およびデバイスであって、インポーズされるフレームはＨＤＲフレームの低ダイナミックレンジバージョンである。【選択図】図１
2017017684.tif 000002
【特許請求の範囲】
【請求項１】
フレームを符号化するための方法であって、
−  バックライトフレームを前記フレームから決定する（１０１）ステップと、
−  前記フレームおよび前記バックライトフレームに対応する残差フレームを算出する（１０３）ステップと、
−  前記残差フレームを、インポーズされるフレーム（ＩＭＦ）から算出される（１０９）前記残差フレームの予測子を使用して予測符号化する（１１０）ステップであって、前記インポーズされるフレームは、符号化される前記フレームの低ダイナミックバージョンである、前記予測符号化する（１１０）ステップと、
を含むことを特徴とする、前記方法。
【請求項２】
前記インポーズされるフレーム、および、符号化される前記フレームは、異なってカラーグレーディングを有する、請求項１に記載の方法。
【請求項３】
前記インポーズされるフレーム、および、符号化される前記フレームは、異なる色空間で表現される、請求項１に記載の方法。
【請求項４】
前記残差フレームの前記予測子は、前記インポーズされるフレームの復号されたバージョンから算出される、請求項１〜３のいずれか一項に記載の方法。
【請求項５】
前記残差フレームの前記予測子を算出するステップは、カラーマッピング関数（ＣＭＦ）を使用することにより、前記インポーズされるフレームの前記復号されたバージョンを前記残差フレームにマッピングするステップを含む、請求項１〜４のいずれか一項に記載の方法。
【請求項６】
前記カラーマッピング関数は、３Ｄカラールックアップテーブルを使用する、請求項５に記載の方法。
【請求項７】
前記バックライトフレームは、前記インポーズされるフレームからさらに決定される、請求項１〜６のいずれか一項に記載の方法。
【請求項８】
前記バックライトフレームを決定するステップは、前記フレームの各々の成分を、前記フレームＩＭＦの成分で除算するステップを含む、請求項７に記載の方法。
【請求項９】
予測符号化する（１１０）前に、前記残差フレームをマッピングする（１０６）ステップと、前記バックライトフレームを決定する前に、前記インポーズされるフレームの各々の成分を逆マッピングする（１１３）ステップと、をさらに含む、請求項１〜８のいずれか一項に記載の方法。
【請求項１０】
前記残差フレームを予測符号化する（１１０）ステップは、ＳＨＶＣ標準に準拠する、請求項１〜９のいずれか一項に記載の方法。
【請求項１１】
フレームを少なくとも１つのビットストリームから復号するための方法であって、
−  バックライトフレームを、ビットストリームを少なくとも部分的に復号することにより取得する（１０４、１０５）ステップと、
−  ビットストリームを少なくとも部分的に復号することにより、復号されるインポーズされるフレームを取得する（１１２）ステップであって、前記復号されるインポーズされるフレームは、復号される前記フレームの低ダイナミックバージョンである、前記取得する（１１２）ステップと、
−  予測子
【数１】
2017017684.tif 000092
を、前記復号されるインポーズされるフレームから取得するステップと、
−  ビットストリームを少なくとも部分的に復号することにより、および、前記復号されるインポーズされるフレームから取得された前記予測子を使用することにより、復号される残差フレームを予測復号する（１１０１）ステップと、
−  前記復号される残差フレーム、および前記復号されるバックライトフレームに対応する前記フレームを復号するステップと、
を含む、前記方法。
【請求項１２】
−  ３ＤカラーＬＵＴに関するパラメータを、ビットストリームを少なくとも部分的に復号することにより取得するステップと、
−  前記予測子を、前記復号されるインポーズされるフレーム、および前記取得されたパラメータから取得するステップと、
をさらに含む、請求項１１に記載の方法。
【請求項１３】
前記予測子は、３ＤカラーＬＵＴの各々の領域に対する特定の予測子
【数２】
2017017684.tif 000093
を含む、請求項１１または１２に記載の方法。
【請求項１４】
復号される残差フレームを予測復号する（１１０１）ステップは、ＳＨＶＣ標準に準拠する、請求項１１〜１３のいずれか一項に記載の方法。
【請求項１５】
フレームを符号化するためのデバイスであって、
−  バックライトフレームを前記フレームから決定することと、
−  前記フレームおよび前記バックライトフレームに対応する残差フレームを算出することと、
−  前記残差フレームを、インポーズされるフレームから算出された前記残差フレームの予測子を使用して予測符号化することであって、前記インポーズされるフレームは、符号化される前記フレームの低ダイナミックバージョンである、前記予測符号化することと、
を行うように構成されたプロセッサーを備えることを特徴とする、前記デバイス。
【請求項１６】
フレームを少なくとも１つのビットストリームから復号するためのデバイスであって、
−  バックライトフレームを、ビットストリームを少なくとも部分的に復号することにより取得する（１０４、１０５）ことと、
−  フレーム、復号されるインポーズされるフレームを、ビットストリームを少なくとも部分的に復号することにより取得する（１１２）ことであって、前記復号されるインポーズされるフレームは、復号される前記フレームの低ダイナミックバージョンである、前記取得する（１１２）ことと、
−  予測子
【数３】
2017017684.tif 000094
を、前記復号されるインポーズされるフレームから取得することと、
−  復号される残差フレームを、ビットストリームを少なくとも部分的に復号することにより、および、前記復号されるインポーズされるフレームから取得された前記予測子を使用することにより予測復号する（１１０１）ことと、
−  前記復号される残差フレーム、および前記復号されるバックライトフレームに対応する前記フレームを復号することと、
を行うように構成されたプロセッサーを備えることを特徴とする、前記デバイス。
【請求項１７】
コンピュータプログラム製品であって、このプログラムがコンピュータ上で実行されるときに、請求項１に記載の符号化方法の前記ステップを実行するためのプログラムコードの命令を備える、前記コンピュータプログラム製品。
【請求項１８】
コンピュータプログラム製品であって、このプログラムがコンピュータで実行されるときに、請求項１１に記載の復号方法の前記ステップを実行するためのプログラムコードの命令を備える、前記コンピュータプログラム製品。
【請求項１９】
プロセッサー可読媒体であって、プロセッサーに、請求項１に記載の符号化方法の少なくとも前記ステップを実行させるための命令が記憶される、前記プロセッサー可読媒体。
【請求項２０】
プロセッサー可読媒体であって、プロセッサーが、請求項１１に記載の復号方法の少なくとも前記ステップを実行させるための命令が記憶される、前記プロセッサー可読媒体。
【請求項２１】
プログラムコードの命令を保持する非一時的ストレージ媒体であって、前記プログラムがコンピューティングデバイスで実行されるときに、請求項１〜１４のいずれか一項に記載の方法のステップを実行する、前記非一時的ストレージ媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は一般的には、フレーム／ビデオ符号化および復号に関する。特に本開示の技術分野は、フレームであって、その画素値が高ダイナミックレンジに属するフレームの、および、フレームであって、その画素値がより低いダイナミックレンジに属するフレームの符号化／復号に関係付けられるものである。
【背景技術】
【０００２】
本セクションは、読者に、下記で説明および／または特許請求される本開示の様々な態様に関係付けられ得る、技術の様々な態様を紹介することを意図している。この議論は、読者に背景情報を提供して、本開示の様々な態様を容易により良く理解することに役立つと確信する。したがって、これらの説明は、この観点から読むべきであり、従来技術の自白として読むべきでないことを理解すべきである。
【０００３】
標準ダイナミックレンジフレーム（ＳＤＲフレーム）はフレームであるが、その輝度値が、制限される数のビット（８または１０であることが最も多い）によって表される。この限定的な表現は、特に、暗い、および明るい輝度範囲での小さな信号変動の正しいレンダリングを可能としない。高ダイナミックレンジフレーム（ＨＤＲフレーム）では信号表現は、信号の高い正確度をその全部の範囲にわたって維持するために拡張される。ＨＤＲフレームでは画素値は通常、最も普及したフォーマットがｏｐｅｎＥＸＲ半精度浮動小数点（ｈａｌｆ−ｆｌｏａｔ）フォーマット（ＲＧＢ成分当たり１６ビット、すなわち、画素当たり４８ビット）である、浮動小数点フォーマット（各々の成分に対して３２ビットまたは１６ビット、すなわち、浮動小数点または半精度浮動小数点のいずれか）で、または、ｌｏｎｇ型の表現、典型的には少なくとも１６ビットによる整数で表される。
【０００４】
ＨＤＲフレームを符号化するための典型的な手法は、レガシーな符号化方式（ＳＤＲフレームを符号化するように初期に構成される）によりフレームを符号化するために、フレームのダイナミックレンジを低減することである。
【０００５】
よく知られている手法によると、バックライトフレームが、入力ＨＤＲフレームの輝度成分から決定される。次いで、残差フレームが、入力ＨＤＲフレームをバックライトフレームで除算することにより取得され、バックライトフレームおよび残差フレームの両方が、Ｈ．２６４／ＡＶＣ（（「Ａｄｖａｎｃｅｄ  ｖｉｄｅｏ  ｃｏｄｉｎｇ  ｆｏｒ  ｇｅｎｅｒｉｃ  ａｕｄｉｏｖｉｓｕａｌ  Ｓｅｒｖｉｃｅｓ」，  ＳＥＲＩＥＳ  Ｈ：  ＡＵＤＩＯＶＩＳＵＡＬ  ＡＮＤ  ＭＵＬＴＩＭＥＤＩＡ  ＳＹＳＴＥＭＳ，  Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ  ＩＴＵ−Ｔ  Ｈ．２６４，  Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ  Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ  Ｓｅｃｔｏｒ  ｏｆ  ＩＴＵ，  Ｊａｎｕａｒｙ  ２０１２）．）またはＨＥＶＣ、ＳＨＶＣ（「Ｈｉｇｈ  Ｅｆｆｉｃｉｅｎｃｙ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ」，  ＳＥＲＩＥＳ  Ｈ：  ＡＵＤＩＯＶＩＳＵＡＬ  ＡＮＤ    ＭＵＬＴＩＭＥＤＩＡ  ＳＹＳＴＥＭＳ，  Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ  ＩＴＵ−Ｔ  Ｈ．２６５，  Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ  Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ  Ｓｅｃｔｏｒ  ｏｆ  ＩＴＵ，  Ｏｃｔｏｂｅｒ  ２０１４）などのレガシーな符号化器により符号化される。
【０００６】
そのような符号化手法は、ＨＤＲフレームを、ＨＤＲフレームの輝度成分から取得されたバックライトフレームで除算することにより、ＳＤＲフレームを自動的に生成する。
【０００７】
結果的に、ＳＤＲフレームがインポーズされるとき、すなわち、ＳＤＲフレームが符号化の入力であり、さらに符号化されるとき、そのような符号化手法は適応されない。なぜなら、インポーズされるＳＤＲフレームに（視覚コンテンツの点で）十分に近いＨＤＲフレームから自動的な低ダイナミックレンジフレームを得る見込みが実際上ないためである。
【０００８】
これは例えば、２つの異なるカラーグレーディング：ＨＤＲフレームから取得されたＳＤＲフレームに対するもの、および、ＨＤＲフレームそれ自体に対するものをスタジオから取得することが期待される、映画向けの使用例で起こる。その場合、ＨＤＲフレームを符号化するための通常のバックライトベースの方法から、芸術的にグレーディングされるＳＤＲフレームに（視覚コンテンツの点で）十分に近い、（ＳＤＲフレームをバックライトフレームで除算することで）自動的なＳＤＲフレームを得ることは、実際上不可能である。
【発明の概要】
【０００９】
本開示は、フレームを符号化するための方法であって、
−  バックライトフレームをそのフレームから決定するステップと、
−  そのフレームおよびそのバックライトフレームに対応する残差フレームを算出するステップと、
−  その残差フレームを、インポーズされるフレームから算出されたその残差フレームの予測子を使用して予測符号化するステップであって、上記インポーズされるフレームは、符号化されるそのフレームの低ダイナミックバージョンである、予測符号化するステップと、
を含む、その方法によって、従来技術の欠点の一部を改善することを企図している。
【００１０】
これは、ＨＤＲフレームおよびインポーズされるＳＤＲフレームの両方を符号化するための高い効率的な方法を提供するものである。なぜなら、その残差フレームは、その残差フレームに視覚コンテンツの点で類似する、そのインポーズされるＳＤＲフレームから取得された予測子を使用して予測符号化されるためである。これは、符号化されるその残差フレームのそのダイナミックを低減し、したがって、そのインポーズされるＳＤＲフレームおよびそのＨＤＲフレームを独立して符号化する符号化方法と比較して、符号化効率を増大する。
【００１１】
さらに、上記の映画向けの使用例では、芸術的な意図（カラーグレード、その他…）は、そのＨＤＲフレームおよびそのインポーズされるＳＤＲフレームの両方に対して維持される。
【００１２】
次に、その方法は、典型的には８〜１２ビットの、低から中間のビット深度符号化器を使用するのみであり、そのことは、通常のインフラストラクチャとの後方互換性を確実にする。
【００１３】
実施形態によると、その残差フレームのその予測子は、そのインポーズされるフレームの復号されたバージョンから算出される。
【００１４】
実施形態によると、その残差フレームのその予測子を算出するステップは、そのインポーズされるフレームのその復号されたバージョンを、その残差フレームに、カラーマッピング関数によりマッピングするステップを備える。
【００１５】
実施形態によると、そのカラーマッピング関数は、３Ｄカラールックアップテーブルを使用する。
【００１６】
実施形態によると、そのバックライトフレームは、そのインポーズされるフレームからさらに決定される。
【００１７】
実施形態によると、そのバックライトフレームを決定するステップは、そのフレームの各々の成分を、そのフレームＩＭＦの成分で除算するステップを備える。
【００１８】
実施形態によると、その方法は、予測符号化する前に、その残差フレームをマッピングし、そのバックライトフレームを決定する前に、そのインポーズされるフレームの各々の成分を逆マッピングするステップをさらに備える。
【００１９】
実施形態によると、その残差フレームを予測符号化するステップは、ＳＨＶＣ標準に準拠する。
【００２０】
本開示は、フレームを少なくとも１つのビットストリームから復号するための方法にさらに関する。その方法は、
−  バックライトフレームを、ビットストリームを少なくとも部分的に復号することにより取得するステップと、
−  復号されたインポーズされるフレームを、ビットストリームを少なくとも部分的に復号することにより取得するステップであって、上記復号されたインポーズされるフレームは、復号されるそのフレームの低ダイナミックバージョンである、取得するステップと、
−  予測子を、その復号されたインポーズされるフレームから取得するステップと、
−  復号された残差フレームを、ビットストリームを少なくとも部分的に復号することにより、および、その復号されたインポーズされるフレームから取得されたその予測子を使用することにより予測復号するステップと、
−  その復号された残差フレーム、およびその復号されたバックライトフレームに対応するそのフレームを復号するステップと、
を備える。
【００２１】
実施形態によると、その方法は、
−  ３ＤカラーＬＵＴに関係付けられるパラメータを、ビットストリームを少なくとも部分的に復号することにより取得するステップと、
−  その予測子を、その復号されたインポーズされるフレーム、およびその取得されたパラメータから取得するステップと、
をさらに備える。
【００２２】
実施形態によると、その予測子は、３ＤカラーＬＵＴの各々の領域に対する特定の予測子を備える。
【００２３】
実施形態によると、復号された残差フレームを予測復号するステップは、ＳＨＶＣ標準に準拠する。
【００２４】
その態様の他のものによると、本開示は、その上記の方法を実装するように構成されたプロセッサーを備えるデバイスと、コンピュータプログラム製品であって、このプログラムがコンピュータ上で実行されるときに、その上記の方法のそのステップを実行するためのプログラムコードの命令を備える、そのコンピュータプログラム製品と、プロセッサー可読媒体であって、そのプロセッサー可読媒体内に、プロセッサーが、その上記の方法の少なくともそのステップを実行することを引き起こすための命令が記憶される、そのプロセッサー可読媒体と、プログラムコードの命令であって、上記プログラムがコンピューティングデバイス上で実行されるときに、その上記の方法のステップを実行するための、そのプログラムコードの命令を搬送する、非一時的ストレージ媒体と、に関する。
【００２５】
本開示の特定の性質、ならびに、本開示の他の対象、利点、特徴、および使用は、付随する図面との連関で取り上げられる好ましい実施形態の、以下の説明から明らかになろう。
【図面の簡単な説明】
【００２６】
実施形態は、以下の図への参照によって説明される。
【図１】本原理の例によるフレームＩを符号化するための方法のステップのブロック図である。
【図２】本原理の例によるフレームＩを符号化するための方法のステップのブロック図である。
【図３】本原理の例による方法のステップのブロック図である。
【図４】本原理の例による方法のステップのブロック図である。
【図５】本原理の例による方法のステップのブロック図である。
【図６】本原理の例による３ＤカラーＬＵＴを創作するための方法のフローチャートである。
【図７】３ＤカラーＬＵＴの例を示す図である。
【図８】３ＤカラーＬＵＴの例を示す図である。
【図９】カラーマッピング関数が３ＤカラーＬＵＴを使用するときの、ステップ１０９のサブステップの図である。
【図１０】フレームをバックライトフレームで除算することにより算出される残差フレームを表すビットストリームを復号するための、本原理の例による方法のステップのブロック図である。
【図１１】デバイスのアーキテクチャの例を示す図である。
【図１２】通信ネットワークを介して通信する２つのリモートデバイスを示す図である。
【発明を実施するための形態】
【００２７】
本開示は、本明細書で以降、本開示の実施形態が示される、添付の図を参照することによってより完全に説明される。しかしながら本開示は、多くの代替の形式で実施され得るものであり、本明細書で説明される実施形態に制限されると解釈されるべきではない。したがって、本開示は様々な変更および代替形式が可能であるが、その特定の実施形態が、図面で例として示され、本明細書で詳細に説明される。しかしながら、本開示を、開示される個別の形式に制限する意図はなく、反対に本開示は、特許請求の範囲により定義されるような、本開示の趣旨および範囲の内部に在る、すべての変更、等価物、および代替物を包含するためのものであることが理解されるべきである。類似の番号は、図の説明の全体を通して類似の要素を指す。
【００２８】
本明細書で使用される専門用語は、個別の実施形態を説明することの目的のみのためのものであり、本開示に関して制限的であることは意図されない。単数形式「ａ」、「ａｎ」、および「ｔｈｅ」は、本明細書で使用される際に、文脈でそうでないことを明確に示さない限り複数形式も含むことを意図する。用語「備える（ｃｏｍｐｒｉｓｅｓ）」、「備える（ｃｏｍｐｒｉｓｉｎｇ）」、「含む（ｉｎｃｌｕｄｅｓ）」、および／または「含む（ｉｎｃｌｕｄｉｎｇ）」は、本明細書で使用されるときに、説明される特徴、整数、ステップ、動作、要素、および／または構成要素の存在を指定するが、１つまたは複数の、他の特徴、整数、ステップ、動作、要素、構成要素、および／またはそれらの群の、存在または追加を排除しないことがさらに理解されよう。さらに、ある要素が別の要素に「対応する（ｒｅｓｐｏｎｓｉｖｅ  ｔｏ）」または「接続される」と言うとき、それは、その別の要素に直接対応する、もしくは接続される場合があり、または、介在要素が存在する場合がある。対照的に、要素が他の要素に「直接対応する」または「直接接続される」と言うとき、介在要素は存在しない。本明細書で使用される際に、用語「および／または」は、関連付けられる列挙される項目の１つまたは複数の任意の、およびすべての組み合わせを含み、「／」と略す場合がある。
【００２９】
第１の、第２の、等の用語が、様々な要素を説明するために本明細書で使用され得るが、これらの用語によりこれらの要素が制限されるべきではないことが理解されよう。これらの用語は、１つの要素を別のものから区別するためにのみ使用される。例えば、本開示の教示から逸脱することなく、第１の要素は第２の要素と名付けられ得るものであり、同様に、第２の要素は第１の要素と名付けられ得る。
【００３０】
図の一部は、通信の主方向を示すために、通信経路上に矢印を含むが、通信は、描写される矢印に対して反対方向で行われ得ることが理解されるべきである。
【００３１】
一部の実施形態は、各々のブロックが、指定の論理関数を実装するための、回路要素、モジュール、または、１つもしくは複数の実行可能命令を含むコードの部分を表す、ブロック図および動作フローチャートに関して説明される。他の実装では、ブロックで記される機能は、記される順序から外れて行われ得ることがさらには留意されるべきである。例えば、連続で示される２つのブロックは、現実には、実質的に同時的に実行され得るものであり、またはブロックは時には、必然的に含まれる機能性に応じて逆順序で実行され得る。
【００３２】
本明細書での「１つの実施形態」または「実施形態」への言及は、実施形態との関連で説明される個別の特徴、構造、または特性が、本開示の少なくとも１つの実装に含まれ得ることを意味する。本明細書の様々な所での語句「１つの実施形態で」または「実施形態によると」の出現は、必ずしもすべてが同じ実施形態を指してはおらず、別々の、または代替的実施形態は、必ずしも他の実施形態に関して相互に排他的ではない。
【００３３】
特許請求の範囲に出現する参照番号は、例としてのみのものであり、特許請求の範囲の範囲への制限的な影響を有さないものとする。
【００３４】
明示的に説明されないが、本実施形態および変形形態は、任意の組み合わせまたはサブコンビネーションで用いられ得る。
【００３５】
本開示は、フレームを符号化／復号することに対して説明されるが、フレームのシーケンス（ビデオ）の符号化／復号への拡張となる。なぜなら、シーケンスの各々のフレームは、下記で説明されるように順次的に符号化／復号されるためである。
【００３６】
図１は、本原理の例によるフレームＩを符号化するための方法のステップのブロック図を示す。
【００３７】
ステップ１００でモジュールＩＣは、符号化されるフレームＩの少なくとも１つの成分Ｉjを取得する。
【００３８】
以下では、成分Ｉj=1は、フレームＩの輝度成分であり、成分Ｉj≠1は、符号化されるフレームＩの色成分である。
【００３９】
例えば、フレームＩが色空間（Ｘ，Ｙ，Ｚ）に属するとき、輝度成分Ｉ1は、成分Ｙの変換ｆ（．）により取得され、例えばＩ1＝ｆ（Ｙ）である。
【００４０】
フレームＩが色空間（Ｒ，Ｇ，Ｂ）に属するとき、輝度成分Ｉ1は、例えば、
Ｉ1＝ｇ（０．２１２７．Ｒ＋０．７１５２．Ｇ＋０．０７２２．Ｂ）
により与えられる線形結合の関数により、７０９色域で取得される。
【００４１】
ステップ１０１でモジュールＢＡＭは、バックライトフレームＢａの成分Ｂａjを、フレームＩの各々の成分Ｉjから決定する。
【００４２】
図３で例示されるステップ１０１の実施形態によると、モジュールＢＩは、バックライトフレームＢａの成分Ｂａjを、
【００４３】
【数１】
2017017684.tif 000003
【００４４】
により与えられる、形状関数
【００４５】
【数２】
2017017684.tif 000004
【００４６】
の重み付けされる線形結合であるとして決定するものであり、ここで
【００４７】
【数３】
2017017684.tif 000005
【００４８】
は、成分Ｂａjに対する重み付け係数である。
【００４９】
したがって、バックライトフレームＢａの成分Ｂａjを成分Ｉjから決定することは、バックライトフレームＢａの成分Ｂａjが成分Ｉjに適合するために、最適な重み付け係数（および可能性として、さらには、前もって知られていないならば、最適な形状関数）を見出すことにある。
【００５０】
成分Ｂａjに対する重み付け係数
【００５１】
【数４】
2017017684.tif 000006
【００５２】
を見出すための多くのよく知られている方法が存する。例えば、最小平均二乗誤差方法を使用して、成分Ｂａjと成分Ｉjとの間の平均二乗誤差を最小化することが可能である。
【００５３】
本開示は、バックライトフレームＢａを取得するための任意の特定の方法に制限されない。
【００５４】
形状関数は、（例えばＬＥＤでなされ、したがって各々の形状関数は１つのＬＥＤの応答に対応する）ディスプレイバックライトの真の物理的応答であってもよく、または、輝度成分に最も良好に適合するための純粋な数学的構造であってもよいことに留意すべきである。
【００５５】
この実施形態によると、ステップ１０１から出力されるバックライトフレームＢａは、式（１）により与えられる少なくとも１つの成分を備えるバックライトフレームＢａである。
【００５６】
図４で例示されるステップ１０１の実施形態によると、モジュールＢＭは、（式（１）により与えられる）バックライトフレームＢａの少なくとも１つの成分Ｂａjを、モジュールＨＬにより取得された平均値Ｌmeanによって調節（ｍｏｄｕｌａｔｅ）する。
【００５７】
バックライトフレームの少なくとも１つの成分を、フレームの成分の平均値によって調節することは、フレームの成分と残差フレームの成分との間の大域的な輝度コヒーレンスを改善し、例えば、フレーム内の明るい領域は残差フレーム内で明るく見え、フレーム内の暗い領域は残差フレーム内で暗く見える。
【００５８】
複数の成分が、これらの成分のダイナミックレンジを、それらのトーンを変更することなく低減するために、同じ平均値によって調節される。
【００５９】
この実施形態によると、ステップ１０１から出力されるバックライトフレームＢａは、調節されるバックライトフレームである。
【００６０】
実施形態によると、モジュールＨＬは、平均値Ｌmeanを、全体のルミナンス成分Ｉ1にわたって算出するように構成される。
【００６１】
この実施形態の変形形態によると、モジュールＨＬは、
【００６２】
【数５】
2017017684.tif 000007
【００６３】
により平均値Ｌmeanを算出するように構成され、ここでβは、１より小さい係数であり、Ｅ（Ｘ）は、成分Ｉ1の数学的期待値（平均）である。
【００６４】
この最後の変形形態は、フレームＩがフレームのシーケンスに属するときに、通常非常に迷惑な一時的な平均明るさの不安定性の原因となる極めて高い値の数個の画素により、平均値Ｌmeanが影響を受けることを防止するものであるため、有利である。
【００６５】
本開示は、平均値Ｌmeanを算出するための特定の実施形態に制限されない。
【００６６】
図５で例示される変形形態によると、モジュールＮは、フレームに対して（または、フレームＩがフレームのシーケンスに属するならば、すべてのフレームに対して）、１での中間灰色成分
【００６７】
【数６】
2017017684.tif 000008
【００６８】
を得るように、（式（１）により与えられる）バックライトフレームＢａの少なくとも１つの成分Ｂａjを、ルミナンス平均値Ｅ（Ｂａ1）により正規化する。
【００６９】
【数７】
2017017684.tif 000009
【００７０】
次いでモジュールＢＭは、１での中間灰色成分
【００７１】
【数８】
2017017684.tif 000010
【００７２】
を、成分Ｉjの平均値Ｌmeanによって、以下の関係
【００７３】
【数９】
2017017684.tif 000011
【００７４】
を使用することにより調節するように構成され、ここでｃｓｔmodは調節係数であり、αは、１より小さい、典型的には０．３から０．５の間の、別の調節係数である。
【００７５】
この変形形態によると、ステップ１０１から出力されるバックライトフレームＢａｌは、式（２）により与えられる少なくとも１つの成分
【００７６】
【数１０】
2017017684.tif 000012
【００７７】
を備えるバックライトフレームである。
【００７８】
調節係数ｃｓｔmodは、残差フレームに対する良好なルックとなる明るさを得るために調節され、バックライトフレームを取得することのプロセスに高度に依存することに留意すべきである。例えば、最小平均二乗により取得されたすべての成分に対して、
【００７９】
【数１１】
2017017684.tif 000013
【００８０】
である。
【００８１】
実際には、線形性により、バックライトフレームの成分Ｂａjを調節するためのすべての演算は、バックライト係数
【００８２】
【数１２】
2017017684.tif 000014
【００８３】
に、補正因子（ｃｏｒｒｅｃｔｉｎｇ  ｆａｃｔｏｒ）として供給され、その因子は、係数
【００８４】
【数１３】
2017017684.tif 000015
【００８５】
を新しい係数
【００８６】
【数１４】
2017017684.tif 000016
【００８７】
に変換し、結果として
【００８８】
【数１５】
2017017684.tif 000017
【００８９】
を得る。
【００９０】
ステップ１０２（図１）で、ステップ１０１から出力されるバックライトフレームＢａを決定するために必要とされるデータが、符号化器ＥＮＣ１により符号化され、ビットストリームＦ１内に追加され、そのビットストリームＦ１は、記憶され、および／または、通信ネットワークを介して送信され得る。
【００９１】
例えば、符号化されるデータは、既知の非適応的形状関数が使用されるときは、重み付け係数
【００９２】
【数１６】
2017017684.tif 000018
【００９３】
または
【００９４】
【数１７】
2017017684.tif 000019
【００９５】
に制限されるが、形状関数Ψiは、例えば、より良好な適合のためのいくらか最適な数学的構造の例では、事前に知られておらず、したがってビットストリームＦ１内で符号化される場合もある。そのため、すべての重み付け係数
【００９６】
【数１８】
2017017684.tif 000020
【００９７】
または
【００９８】
【数１９】
2017017684.tif 000021
【００９９】
（および可能性として、形状関数
【０１００】
【数２０】
2017017684.tif 000022
【０１０１】
）が、ビットストリームＦ１内で符号化される。
【０１０２】
有利には、重み付け係数
【０１０３】
【数２１】
2017017684.tif 000023
【０１０４】
または
【０１０５】
【数２２】
2017017684.tif 000024
【０１０６】
は、ビットストリームＦ１のサイズを低減するために、符号化される前に量子化される。
【０１０７】
別の例によると、バックライトフレームＢａの各々の成分Ｂａjは、符号化器ＥＮＣ１によりビットストリームＦ１内で符号化される画像であると考えられる。
【０１０８】
ステップ１０３で残差フレームＲｅｓは、フレームＩを、復号されたバージョンのバックライトフレームで除算することにより算出される。
【０１０９】
バックライトフレームの復号されたバージョンを使用して、符号化器側および復号器側の両方での同じバックライトフレームを確実にすることが有利であり、したがってこれは、最終的な復号されたフレーム
【０１１０】
【数２３】
2017017684.tif 000025
【０１１１】
のより良好な精密度につながる。
【０１１２】
より精密には、モジュールＩＣから取得されたフレームＩの各々の成分Ｉjは、バックライトフレームの成分の復号されたバージョン
【０１１３】
【数２４】
2017017684.tif 000026
【０１１４】
で除算される。この除算は画素ごとに行われる。
【０１１５】
例えば、フレームＩの成分Ｒ、Ｇ、またはＢが色空間（Ｒ，Ｇ，Ｂ）で表現されるとき、成分Ｒｅｓ1、Ｒｅｓ2、およびＲｅｓ3が、以下のように取得される。
【０１１６】
【数２５】
2017017684.tif 000027
【０１１７】
【数２６】
2017017684.tif 000028
【０１１８】
【数２７】
2017017684.tif 000029
【０１１９】
例えば、フレームＩの成分Ｘ、Ｙ、またはＺが色空間（Ｘ，Ｙ，Ｚ）で表現されるとき、成分Ｒｅｓ1、Ｒｅｓ2、およびＲｅｓ3が、以下のように取得される。
【０１２０】
【数２８】
2017017684.tif 000030
【０１２１】
【数２９】
2017017684.tif 000031
【０１２２】
【数３０】
2017017684.tif 000032
【０１２３】
一実施形態によると、ステップ１０４で、バックライトフレームの少なくとも１つの成分の復号されたバージョン
【０１２４】
【数３１】
2017017684.tif 000033
【０１２５】
が、復号器ＤＥＣ１によりビットストリームＦ１を少なくとも部分的に復号することにより取得される。
【０１２６】
上述したように、バックライトフレームの成分を取得するために必要とされる一部のデータ、ステップ１０１の出力が、符号化され（ステップ１０２）、次いで、ビットストリームＦ１を少なくとも部分的に復号することにより取得されている。
【０１２７】
上記で与えられる例の後に続いて、重み付け係数
【０１２８】
【数３２】
2017017684.tif 000034
【０１２９】
（および可能性として、形状関数
【０１３０】
【数３３】
2017017684.tif 000035
【０１３１】
）が次いで、ステップ１０４の出力として取得される。
【０１３２】
次いでステップ１０５でモジュールＢＡＧは、バックライトフレームの成分の復号されたバージョン
【０１３３】
【数３４】
2017017684.tif 000036
【０１３４】
を、重み付け係数
【０１３５】
【数３５】
2017017684.tif 000037
【０１３６】
、および、一部の知られている非適応的形状関数、または形状関数
【０１３７】
【数３６】
2017017684.tif 000038
【０１３８】
のいずれかから、
【０１３９】
【数３７】
2017017684.tif 000039
【０１４０】
により生成する。
【０１４１】
別の例によると、バックライトフレームの成分の復号されたバージョン
【０１４２】
【数３８】
2017017684.tif 000040
【０１４３】
は、ビットストリームＦ１を復号することにより直接取得される。
【０１４４】
ステップ１０６でモジュールＭＡＰは、少なくとも１つのトーンマッピングされる成分Ｒｅｓjvを、残差フレームＲｅｓの少なくとも１つの成分Ｒｅｓjをトーンマッピングすることにより取得するものであり、そのことは、その少なくとも１つのトーンマッピングされる成分Ｒｅｓjvから築造される、視認可能な残差フレームＲｅｓvを得るためのものである。
【０１４５】
残差フレームＲｅｓは、そのダイナミックレンジが高すぎるために、および、この残差フレームＲｅｓの復号されたバージョンが高い可視アーチファクトを示すために、視認可能でない場合があるように思われるかもしれない。残差フレームの少なくとも１つの成分をトーンマッピングすることは、トーンマッピングされる残差フレームが、符号化されるフレーム内の元のシーンと比較して、シーンの、適度に良好な堅実にトーンマッピングされるバージョンを芸術的にレンダリングするという意味で、視認可能な残差フレームを提供する。したがって、この方法は、視認可能な残差フレームが、高ダイナミックレンジを扱うことができない従前の装置により復号および／または表示され得るため、後方互換性を有する。
【０１４６】
視認可能なＳＤＲフレームを、符号化される残差フレームから自動的に提供する能力は重要な利点である。なぜならそれは、バックライトフレームおよび残差フレームの両方を後処理して、ＨＤＲフレーム（ビデオ）を復号することに専用化されていない、標準ＳＤＲ  ＴＶセットおよび受信デバイスを持っている顧客に、ＨＤＲフレーム（ビデオ）を配信することを可能とするためである。
【０１４７】
さらに、高度に空間的に相関される（および、フレームの同じシーケンスの他のフレームに時間的に相関される）トーンマッピングされる残差フレームＲｅｓ、およびバックライトフレームが、別々に符号化されるため、そのような方法によりＨＤＲフレームを符号化することは、効率的な符号化方式につながる。したがって、符号化利得は、トーンマッピングされる残差フレームの高い圧縮率の、および、バックライトフレームを符号化するためのデータのわずかな量のために達せられる。
【０１４８】
本開示は、任意の特定のマッピング演算子に制限されない。この単一の条件は、トーンマッピング演算子は可逆的なものとするということである。
【０１４９】
例えば、Ｒｅｉｎｈａｒｄにより定義されるトーンマッピング演算子が使用され得る（Ｒｅｉｎｈａｒｄ，  Ｅ．，  Ｓｔａｒｋ，  Ｍ．，  Ｓｈｉｒｌｅｙ，  Ｐ．，  ａｎｄ  Ｆｅｒｗｅｒｄａ，  Ｊ．，「Ｐｈｏｔｏｇｒａｐｈｉｃ  ｔｏｎｅ  ｒｅｐｒｏｄｕｃｔｉｏｎ  ｆｏｒ  ｄｉｇｉｔａｌ  ｆｒａｍｅｓ，」  ＡＣＭ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ｇｒａｐｈｉｃｓ  ２１  （Ｊｕｌｙ  ２００２）、または、Ｂｏｉｔａｒｄ，  Ｒ．，  Ｂｏｕａｔｏｕｃｈ，  Ｋ．，  Ｃｏｚｏｔ，  Ｒ．，  Ｔｈｏｒｅａｕ，  Ｄ．，  ＆  Ｇｒｕｓｏｎ，  Ａ．  （２０１２）。Ｔｅｍｐｏｒａｌ  ｃｏｈｅｒｅｎｙ  ｆｏｒ  ｔｏｎｅ  ｖｉｄｅｏ  ｍａｐｐｉｎｇ。Ａ．  Ｍ．  Ｊ．  ｖａｎ  Ｅｉｊｋ，  Ｃ．  Ｃ．  Ｄａｖｉｓ，  Ｓ．  Ｍ．  Ｈａｍｍｅｌ，  ＆  Ａ．  Ｋ．  Ｍａｊｕｍｄａｒ  （Ｅｄｓ．），  Ｐｒｏｃ．  ＳＰＩＥ  ８４９９，  Ａｐｐｌｉｃａｔｉｏｎｓ  ｏｆ  Ｄｉｇｉｔａｌ  Ｆｒａｍｅ  Ｐｒｏｃｅｓｓｉｎｇ  （ｐ．  ８４９９０Ｄ−８４９９０Ｄ−１０）において）。
【０１５０】
ステップ１０６の実施形態によると、残差フレームの成分Ｒｅｓjをマッピングすることは、残差フレームの成分Ｒｅｓ1の画素値に応じたガンマ補正またはＳＬｏｇ補正のいずれかを含む。
【０１５１】
視認可能な残差フレームＲｅｓvの成分
【０１５２】
【数３９】
2017017684.tif 000041
【０１５３】
が次いで、例えば、
【０１５４】
【数４０】
2017017684.tif 000042
【０１５５】
により与えられ、ここでＡは定数値であり、γjは、例えば１／２．４に等しい、ガンマ曲線の係数である。
【０１５６】
あるいは、視認可能な残差フレームＲｅｓvの成分
【０１５７】
【数４１】
2017017684.tif 000043
【０１５８】
は、例えば、
【０１５９】
【数４２】
2017017684.tif 000044
【０１６０】
により与えられ、ここでａj、ｂj、ｃjは、０および１が不変であるように決定されるＳＬｏｇ曲線の係数であり、ＳＬｏｇ曲線の導関数は、１より下でガンマ曲線により延長されるときに、１において連続的である。したがってａj、ｂj、ｃjは、パラメータγjの関数である。
【０１６１】
一実施形態によると、残差フレームの成分に関係のあるガンマ−Ｓｌｏｇ曲線のパラメータγjは、符号化器ＥＮＣ１により符号化され、ビットストリームＦ１内に追加される。
【０１６２】
ガンマ補正を残差フレームＲｅｓのルミナンス成分に適用することは、暗い領域を引き上げるが、明るい画素の焼き付きを回避できるほどにはハイライトを低下させない。
【０１６３】
ＳＬｏｇ補正を残差フレームＲｅｓのルミナンス成分上で供給することは、ハイライトを十分低下させるが、暗い領域を引き上げない。
【０１６４】
したがって、ステップ１０６の好ましい実施形態によると、モジュールＭＡＰは、残差フレームＲｅｓの成分の画素値によって、ガンマ補正またはＳＬｏｇ補正のいずれかを適用する。
【０１６５】
暗い、および明るい情報の損失がないような、ガンマおよびＳＬｏｇ補正は、高い精密度を伴う、残差フレームおよびバックライトフレームからのＨＤＲフレームの再構築につながる。さらにガンマおよびＳ−ｌｏｇ補正は、再構築されるＨＲＤフレーム、および、視認可能な残差フレームの両方で、平坦にクリッピングされるエリアを回避する。
【０１６６】
例えば、残差フレームＲｅｓの成分の画素値が、（１に等しい）閾値より下であるとき、ガンマ補正が適用され、そうでない場合、ＳＬｏｇ補正が適用される。
【０１６７】
構築により、視認可能な残差フレームＲｅｓvの成分は通常、上記のガンマ−Ｓｌｏｇ組み合わせの使用を特に効率的になすと、フレームＩの関連付けられる成分の明るさに依存して、１により近い、またはより近くない平均値を有する。
【０１６８】
方法の実施形態によると、ステップ１０７でモジュールＳＣＡは、残差フレームの少なくとも１つの成分Ｒｅｓjまたは
【０１６９】
【数４３】
2017017684.tif 000045
【０１７０】
を、符号化（ステップ１１０）の前に、その成分をスケール化因子ｃｓｔscalingにより乗算することによりスケール化する。
【０１７１】
残差フレームの成分ｊをスケール化することは、残差フレームから取得されたフレームの平均灰色を、視認および符号化の両方に対する妥当な値にする。
【０１７２】
次いで、残差フレームＲｅｓsの、結果として生じる成分
【０１７３】
【数４４】
2017017684.tif 000046
【０１７４】
が、方法の実施形態によると、
【０１７５】
【数４５】
2017017684.tif 000047
【０１７６】
により与えられる。
【０１７７】
好ましくは、スケール化因子ｃｓｔscalingは、残差フレームの成分の値を０から最大値２N−１にマッピングするように定義され、ここでＮは、符号化器ＥＮＣ２による符号化のための入力として可能とされるビットの数である。
【０１７８】
これは当然ながら、ルミナンス値１（おおよそ、残差フレームの成分の平均値である）を、中間灰色ルミナンス値２N-1にマッピングすることにより取得される。したがって、標準数のビットＮ＝８を伴う残差フレームの成分に対して、１２０に等しいスケール化因子は、２7＝１２８での中性灰色に非常に近付けられるため、非常に堅実な値である。
【０１７９】
方法の実施形態によると、ステップ１０８でモジュールＣＬＩは、残差フレームの少なくとも１つの成分を、符号化の前にクリッピングして、そのダイナミックレンジを、例えば符号化器ＥＮＣ２の能力によって定義される、目標とされるダイナミックレンジＴＤＲに制限する。
【０１８０】
残差フレームをクリッピングすることは、ビット数の制限を確実にし、それを符号化するための従前の符号化／復号方式の使用を可能とする。さらには符号化／復号方式は、既存のインフラストラクチャ（コーデック、ディスプレイ、配信チャネル、その他）との後方互換性がある。なぜなら、低ダイナミックレンジ、典型的には８〜１０ビットを有する残差フレームのみが、フレームの低ダイナミックレンジバージョンを表示するために、そのようなインフラストラクチャによって送信され得るためである。バックライトデータを内包する小さなビットストリームが、フレームの元のバージョン（すなわち、ＨＤＲフレーム）を配信するために、専用のインフラストラクチャによってサイドコンテナ（side container）内で搬送され得る。
【０１８１】
この最後の実施形態によると、結果として生じる残差フレームＲｅｓcの成分
【０１８２】
【数４６】
2017017684.tif 000048
【０１８３】
が、例えば、方法の実施形態によると、
【０１８４】
【数４７】
2017017684.tif 000049
【０１８５】
により与えられる。
【０１８６】
本開示は、そのようなクリッピング（ｍａｘ（．））に制限されるものではなく、任意の種類のクリッピングに拡張される。
【０１８７】
方法の実施形態によると、スケール化実施形態およびクリッピング実施形態を組み合わせると、
【０１８８】
【数４８】
2017017684.tif 000050
【０１８９】
により与えられる残差フレームＲｅｓscの成分
【０１９０】
【数４９】
2017017684.tif 000051
【０１９１】
をもたらす。
【０１９２】
残差フレームの成分のマッピングおよびスケール化は、パラメトリックプロセスである。パラメータは、固定される、またはされない場合があり、後者の例ではそれらは、符号化器ＥＮＣ１によりビットストリームＦ１内で符号化され得る。
【０１９３】
方法の実施形態によると、ガンマ補正の定数値γ、スケール化因子ｃｓｔscalingは、ビットストリームＦ１内で符号化されるパラメータであり得る。
【０１９４】
パラメータα、ｃｓｔmod、ｃｓｔscaling、γj、βの選定は、ポストプロダクションおよびカラーグレーディングでの専門家の嗜好（ｔａｓｔｅ）に従って、コンテンツに最も良好に適するマッピングの選定のための余地を与えることが留意され得る。
【０１９５】
他方でユニバーサルパラメータが、多種多様なフレームのすべてに受け入れ可能となるように定義される場合がある。その場合、ビットストリームＦ１内で符号化されるパラメータはない。
【０１９６】
本開示によると、ステップ１１０で残差フレームＲｅｓ（Ｒｅｓv、Ｒｅｓs、またはＲｅｓc）は、符号化器ＥＮＣ２により、予測子Ｐｒｅｄを使用して予測符号化され、ビットストリームＦ２内に追加され、そのビットストリームＦ２は、記憶され、および／または、通信ネットワークを介して送信され得る。
【０１９７】
本開示によると、ステップ１０９で、残差フレームＲｅｓ（Ｒｅｓv、Ｒｅｓs、またはＲｅｓc）の予測子Ｐｒｅｄは、インポーズされるフレームＩＭＦの復号されたバージョン
【０１９８】
【数５０】
2017017684.tif 000052
【０１９９】
、すなわちステップ１１２の出力から算出される。
【０２００】
用語「インポーズされる」は、フレームＩＭＦが残差フレームＲｅｓ（Ｒｅｓv、Ｒｅｓs、またはＲｅｓc）に関して異なることを表す。フレームＩＭＦは、フレームＩの低ダイナミックレンジバージョンである。フレームＩＭＦおよびフレームＩは、芸術家により異なってカラーグレーディングされている、および／または、異なる色空間（例えば、フレームＩＭＦに対するＲｅｃ．７０９、および、フレームＩに対するＲＥＣ．２０２０色空間）で表現される場合がある。
【０２０１】
ステップ１０９の実施形態によると、予測子Ｐｒｅｄを算出することは、インポーズされるフレームＩＭＦの復号されたバージョン
【０２０２】
【数５１】
2017017684.tif 000053
【０２０３】
を、残差フレームＲｅｓ（Ｒｅｓv、Ｒｅｓs、またはＲｅｓc）に、カラーマッピング関数（ＣＭＦ）によりマッピングすることを含む。
【０２０４】
これは、予測符号化器ＥＮＣ２の符号化効率を改善するものである。なぜなら、この場合、残差フレームと予測子Ｐｒｅｄとの間で算出される残差のダイナミックが低減されるためである。
【０２０５】
カラーマッピング関数ＣＭＦは、フレームＩおよびＩＭＦの色空間に、ならびに、コンテンツそれ自体にもまた依存し得る。実際、フレームコンテンツ創作では、一部の色補正が、フレームＩもしくはフレームＩＭＦのいずれか、または両方に関して、コンテンツ創作者芸術的意図に応じて動作させられる（カラーグレーディング、その他…）。フレームＩおよびＩＭＦの成分に適用されるこれらの色変換は異なり得る。したがって一般的な例では、カラーマッピング関数ＣＭＦは、単純な決定論的色空間変換に低減されない。
【０２０６】
実施形態によると、カラーマッピング関数ＣＭＦは、シンタックスに対するＨＥＶＣサブセクションＦ．７．３．２．３．５  「Ｃｏｌｏｕｒ  ｍａｐｐｉｎｇ  ｏｃｔａｎｔｓ  ｓｙｎｔａｘ」、および、セマンティクスに対するサブセクションＦ．７．４．３．３．５  「Ｃｏｌｏｕｒ  ｍａｐｐｉｎｇ  ｏｃｔａｎｔｓ  ｓｅｍａｎｔｉｃｓ」で定義されるような、３Ｄカラールックアップテーブル（３ＤカラーＬＵＴ）を使用する。
【０２０７】
３ＤカラーＬＵＴは通常、３Ｄ色空間に対する、図７で描写されるようなオクタントのグリッドとして表される。グリッドは、色空間をＮ個の領域Ｒｉに分割するものであり、ここでｉ∈［０，Ｎ−１］であり、Ｎは整数である。領域区分は、対称または非対称（等しくなく割られる）のいずれかであり得る。領域は、オクタントとも言う。少なくとも１つのパラメータが、ＨＥＶＣのサブセクションＦ．７．３．２．３．４  「Ｇｅｎｅｒａｌ  ｃｏｌｏｕｒ  ｍａｐｐｉｎｇ  ｔａｂｌｅ  ｓｙｎｔａｘ」、および、Ｆ．７．３．２．３．５  「Ｃｏｌｏｕｒ  ｍａｐｐｉｎｇ  ｏｃｔａｎｔｓ  ｓｙｎｔａｘ」で説明されるように、各々のオクタントに関連付けられる。カラーマッピング関数ＣＭＦは次いで、すべてのオクタントが、少なくとも１つの関連付けられるパラメータを有するときに定義される。通常、カラーマッピング関数ＣＭＦは、ＨＥＶＣで、サブセクションＨ．８．１．４．３．１  「Ｃｏｌｏｕｒ  ｍａｐｐｉｎｇ  ｐｒｏｃｅｓｓ  ｏｆ  ｌｕｍａ  ｓａｍｐｌｅ  ｖａｌｕｅｓ」、および、Ｈ．８．１．４．３．２  「Ｃｏｌｏｕｒ  ｍａｐｐｉｎｇ  ｐｒｏｃｅｓｓ  ｏｆ  ｃｈｒｏｍａ  ｓａｍｐｌｅ  ｖａｌｕｅｓ」で説明される補間関数にさらに関連付けられる。
【０２０８】
図２で例示される方法の実施形態によると、ステップ１００でモジュールＩＣは、フレームＩＭＦの少なくとも成分ＩＭＦjを取得する。
【０２０９】
残差フレームＲｅｓvの少なくとも１つの成分がスケール化されるとき（ステップ１０７）、ステップ２００でモジュールＩＳＣＡは、逆スケール化をフレームＩＭＦの少なくとも１つの成分ＩＭＦjに、その成分をパラメータ
【０２１０】
【数５２】
2017017684.tif 000054
【０２１１】
で除算することにより適用し、そのパラメータは、ローカルメモリから、または、復号器ＤＥＣ１によるビットストリームＦ１の少なくとも部分的な復号によってのいずれかで取得される。
【０２１２】
ステップ１１３でモジュールＩＭＡＰは、ステップ１００から、またはステップ２００からのいずれかで取得された少なくとも１つの成分の逆マッピングされたバージョンを、その少なくとも１つの取得された成分に逆マッピング演算子を適用することにより取得する。その逆マッピング演算子は、ステップ１０６での残差フレームの成分に適用されるマッピング演算子の逆である。
【０２１３】
パラメータ
【０２１４】
【数５３】
2017017684.tif 000055
【０２１５】
は、ローカルメモリから、または、復号器ＤＥＣ１によるビットストリームＦ１の少なくとも部分的な復号によってのいずれかで取得される。
【０２１６】
以下では、フレームＩＭＦの成分の逆スケール化されるバージョン（ステップ２００の出力）、または、その逆マッピングされるバージョン（ステップ１１３の出力）は、成分ＩＩＭＦjと呼ばれる。
【０２１７】
ステップ１０３で成分Ｄj、ステップ１０１の入力が、次いで、フレームＩの各々の成分Ｉjを成分ＩＩＭＦjで除算することにより算出される。
【０２１８】
ステップ１０１でモジュールＢＡＭは、バックライトフレームＢａの成分Ｂａjを、各々の成分Ｄから、フレームＩの成分Ｉjに対して上述したように決定する。
【０２１９】
図６は、本開示の例示的な実施形態による３ＤカラーＬＵＴを創作するための方法のフローチャートを示す。
【０２２０】
ステップ６０で、３ＤカラーＬＵＴの構造が決定される。ここで３ＤカラーＬＵＴは通常、３Ｄ色空間に対して、上記で説明されたような、および、図７上で示されるようなオクタントを表すパラメータにより表される。
【０２２１】
ステップ６１で、一部の領域は、ことによると複数のオクタントＲkに分離され得る。
【０２２２】
ステップ６２で、各々の領域Ｒkに対して、少なくとも１つのパラメータが、各々のオクタントに対して、フレームＩＭＦの復号されたバージョンの画素ｐから、または、カラー値がその領域Ｒkに属するそれらの画素ｐの一部から、および、残差フレームＲｅｓ（または、本開示の実施形態によるＲｅｓv、Ｒｅｓs、もしくはＲｅｓc）内の空間的に対応する画素ｐ’から決定される。
【０２２３】
変形形態によると、フレームＩＭＦの復号されたバージョンの画素のサブセット（例えば、２つからの１つ）のみが、プロセスを加速するために考えられる。
【０２２４】
変形形態によると、空間的に対応する画素ｐ’は、同じ位置に配置される（ｃｏｌｏｃａｔｅｄ）画素、または、空間的変換（例えば、アップサンプリングされる、並進、その他）を受ける対応する空間的位置を有する画素のいずれかである。
【０２２５】
したがって、オクタントに関連付けられるパラメータは、より低い数のパラメータが１回でのハンドルであるために、計算を容易にする領域ごとにローカルに決定される。
【０２２６】
ステップ６２の実施形態によると、現在の領域Ｒkのオクタントに関連付けられる少なくとも１つのパラメータを決定することはカラーマッピング関数ＣＭＦkのパラメータを決定することを含み、そのパラメータは、フレームＩＭＦの復号されたバージョンの画素ｐ（または、それらのサブセット）であって、それらのカラー値がその領域Ｒkに属する、画素ｐ（または、それらのサブセット）のカラー値
【０２２７】
【数５４】
2017017684.tif 000056
【０２２８】
の（カラーマッピング関数ＣＭＦkにより）再マッピングされるバージョンと、残差フレームＲｅｓ（Ｒｅｓv、またはＲｅｓs、またはＲｅｓc）内の空間的に対応する画素ｐ’のカラー値Ｒｅｓ（ｐ）との間の距離を最小化する。例えば、領域Ｒkに対するＣＭＦkのパラメータは、以下の式を最小化するものである。
【０２２９】
【数５５】
2017017684.tif 000057
【０２３０】
ここでｄｉｓｔは距離計量である。例えば、ｄｉｓｔはＬ１ノルムまたはＬ２ノルムである。
【０２３１】
変形形態によると、ｄｉｓｔは、重み付けされる差である。
【０２３２】
例によると、ＣＭＦkのパラメータは、よく知られている最小二乗誤差最小化技法により決定される。
【０２３３】
ＣＭＦkのパラメータが決定されると、次いで領域Ｒkのオクタントのパラメータが決定される。オクタントＯｃ（ｘ，ｙ，ｚ）に対して、その関連付けられるパラメータ値は、ＣＭＦk（Ｏｃ（ｘ，ｙ，ｚ））としてセットされる。
【０２３４】
数学的に言えば、残差フレームＲｅｓが３つの成分を備えるとき、カラーマッピング関数ＣＭＦkは、３ｘ３マトリックスパラメータ
【０２３５】
【数５６】
2017017684.tif 000058
【０２３６】
、および、３つのオフセットパラメータ
【０２３７】
【数５７】
2017017684.tif 000059
【０２３８】
を伴うパラメトリックモデルであり得るものであり、その場合、領域Ｒkに対する予測子Ｐｒｅｄkの成分
【０２３９】
【数５８】
2017017684.tif 000060
【０２４０】
は、
【０２４１】
【数５９】
2017017684.tif 000061
【０２４２】
により与えられ、ここでΔ1（ｐ）、Δ2（ｐ）、およびΔ3（ｐ）は、成分Ｒｅｓ1（それぞれ、Ｒｅｓ2およびＲｅｓ3）の値と、現在のオクタント座標の関係のある成分との間の差である。パラメータ
【０２４３】
【数６０】
2017017684.tif 000062
【０２４４】
は、３ＤカラーＬＵＴから取得される。
【０２４５】
ＳＨＶＣセクションＨ．８．１．４．３で説明されるような変形形態では、Δ1（ｐ）、Δ2（ｐ）、およびΔ3（ｐ）は、成分Ｒｅｓ1（それぞれ、Ｒｅｓ2およびＲｅｓ3）の値である。
【０２４６】
本開示は、オフセット関数を伴う３ｘ３マトリックスの使用に制限されるものではなく、それらの偏導関数を提供する任意のパラメトリックマッピング関数への拡張となり得る。
【０２４７】
フレームＩＭＦの復号されたバージョンはフレームの第１のシーケンスにより置き換えられ得ること、および、残差フレームはフレームの第２のシーケンスにより置き換えられ得ることに留意されたい。この例では、各々の領域またはオクタントＲkに対して、パラメータは、フレームの第１のシーケンスの画素ｐ（それらのカラー値がその領域Ｒkに属する）のカラー値の再マッピングされるバージョンから、および、フレームの第２のシーケンス内の空間的に対応する画素ｐ’のカラー値から決定される。この例では、フレームの第２のシーケンス内の空間的に対応する画素ｐ’は、画素ｐが属するフレームに時間的に整合するフレームに属する。
【０２４８】
いくつかのカラーパラメータが、３ＤカラーＬＵＴの各々のオクタント、例えば、ＲＧＢカラー値、Ｙ’ＣｂＣｒ、またはＹＵＶなどの４つのカラー値に関連付けられ得る。
【０２４９】
式（３）の最小化は、常に解を有するとは限らない。実際、最小化はマトリックス逆変換を使用する。一部の例では、マトリックスは悪く構成され、逆変換は失敗する（例えば、マトリックスの行列式は零である）。さらに、画素であって、それらのカラー値が、与えられる領域内に在る、画素の数が、閾値より下であるとき、最小化は正確でない。この例では、その距離を最小化することがその領域Ｒkに対して失敗するとき、カラーパラメータを取得することは、その領域のパラメータを、Ｒkを包囲する領域のパラメータから補間すること、または、それらを直接、その現在の領域を包囲する領域に関して算出される色変換のパラメータから算出することを含む。例えば、Ｒkのカラーパラメータは、図８上で例示されるような、領域Ｒkを包囲する領域Ｒ’kに対して決定されるパラメータによって、３ｘ３マトリックスおよびオフセット関数から算出される。
【０２５０】
変形形態によると、領域Ｒkのカラーパラメータは、領域Ｒ’kのカラーパラメータから補間される。
【０２５１】
変形形態によると、領域Ｒkのカラーパラメータは、領域Ｒ’kのカラーパラメータから予測され、残差が符号化される。
【０２５２】
実施形態によると、パラメータＰａｒａｍは、符号化器ＥＮＣ１により符号化され、ビットストリームＦ１内に追加される。これらのパラメータＰａｒａｍは、３ＤカラーＬＵＴのオクタント、残差フレームの各々の画素が属するオクタントを決定するデータ、および、各々のカラーマッピング関数のパラメータ
【０２５３】
【数６１】
2017017684.tif 000063
【０２５４】
に関連付けられ得る。変形形態では、３ＤカラーＬＵＴのオクタント、および／または、各々のカラーマッピング関数のパラメータ
【０２５５】
【数６２】
2017017684.tif 000064
【０２５６】
に関連付けられるパラメータは符号化されない。
【０２５７】
本開示の変形形態によると、同じパラメータ｛ａj，ｂj，ｃj，ｄj  ∀ｊ＝１，２，３｝が、各々のカラーマッピング関数ＣＭＦkに対して使用される。
【０２５８】
図９は、カラーマッピング関数ＣＭＦが、画素ｐのマッピングされるカラー値を決定するために３ＤカラーＬＵＴを使用するときの、ステップ１０９のサブステップの図を示す。
【０２５９】
ステップ１０９０で、フレームＩＭＦの復号されたバージョンの与えられる画素ｐに対して、画素ｐが属するオクタントＣＯが決定される。これは、３ＤカラーＬＵＴの各々の次元が２項に（ｄｙａｄｉｃａｌｌｙ）区分されるときに、画素ｐの色成分の第１のＮ個のＭＳＢ（最上位ビット）の値をベースに容易に決定され得る。
【０２６０】
オプションとして、ステップ１０９１で、ＨＥＶＣの章Ｈ．８．１．４．３．１で、および、ＪＣＴＶＣ−Ｑ００４８＿ｒ１で、章「２．１  （ｙ，ｕ，ｖ）  ｔｒｉｐｌｅｔ  ａｄｊｕｓｔｍｅｎｔ  ｗｈｅｎ  ｐｈａｓｅ  ａｌｉｇｎｍｅｎｔ  ｉｓ  ｅｎａｂｌｅｄ」で説明されるように、成分の一部の調整が適用される。例えば、輝度およびクロミナンス成分の画素が整合しないとき（典型的には、４：２：０フォーマットが使用されるとき）、輝度およびクロミナンス成分の画素の空間的場所が調整され（テクスチャおよび動きの再サンプリング）、または、ビット深度が同じでないとき、成分のビット深度がさらには適応させられる。例えば、ＪＣＴＶＣ−Ｒ１０３０＿ｖ６の章Ｈ．８．１．４．３．１で示されるように、ビット深度は、以下の量だけシフトさせられ得る。
【０２６１】
ｎＭａｐｐｉｎｇＳｈｉｆｔ  ＝  １０  ＋  ＢｉｔＤｅｐｔｈＣｍＩｎｐｕｔＹ  −  ＢｉｔＤｅｐｔｈＣｍＯｕｔｐｕｔＹ
したがって、ステップ１０９２で、残差フレームの画素に関連付けられる予測されるカラー値が、式（４）により与えられる。
【０２６２】
オプションとして、ステップ１０９１での整合および／または適応が行われたとき、ステップ１０９３で、逆整合および／または適応が、予測される（マッピングされる）カラー値に適用される。
【０２６３】
図１０は、フレームをバックライトフレームで除算することにより算出される残差フレームを表すビットストリームを復号するための、本開示の実施形態による方法のステップのブロック図を示す。
【０２６４】
上述したように、ステップ１０４および１０５で、復号されたバックライトフレーム
【０２６５】
【数６３】
2017017684.tif 000065
【０２６６】
が、復号器ＤＥＣ１によるビットストリームＦ１の少なくとも部分的な復号により取得される。ビットストリームＦ１は、ローカルに記憶され、または、通信ネットワークから受信されている場合がある。
【０２６７】
ステップ１１２で、復号されたフレーム
【０２６８】
【数６４】
2017017684.tif 000066
【０２６９】
が、ビットストリームＦ３の少なくとも部分的な復号により取得される。
【０２７０】
ステップ１１００で、予測子
【０２７１】
【数６５】
2017017684.tif 000067
【０２７２】
が、フレーム
【０２７３】
【数６６】
2017017684.tif 000068
【０２７４】
、および、３ＤカラーＬＵＴに関係のある一部のパラメータ
【０２７５】
【数６７】
2017017684.tif 000069
【０２７６】
から取得される。パラメータ
【０２７７】
【数６８】
2017017684.tif 000070
【０２７８】
は、メモリから、または、ビットストリームＦ１の少なくとも部分的な復号によってのいずれかで取得される。
【０２７９】
これらのパラメータＰａｒａｍは、３ＤカラーＬＵＴのオクタント、残差フレームの各々の画素が属するオクタントを決定するデータ、および、各々のカラーマッピング関数のパラメータ
【０２８０】
【数６９】
2017017684.tif 000071
【０２８１】
に関連付けられ得る。
【０２８２】
変形形態では、３ＤカラーＬＵＴ（のオクタント）、および／または、各々のカラーマッピング関数のパラメータ
【０２８３】
【数７０】
2017017684.tif 000072
【０２８４】
に関連付けられるカラーパラメータは、ローカルメモリから取得される。
【０２８５】
次いで、予測子
【０２８６】
【数７１】
2017017684.tif 000073
【０２８７】
がグリッド構造を有する３ＤカラーＬＵＴの各々の領域Ｒkのオクタント、および、領域Ｒkに関係のある各々のカラーマッピング関数のパラメータ
【０２８８】
【数７２】
2017017684.tif 000074
【０２８９】
に関連付けられるパラメータから取得される。
【０２９０】
ステップ１１０１で、復号された残差フレーム
【０２９１】
【数７３】
2017017684.tif 000075
【０２９２】
が、復号器ＤＥＣ２によるビットストリームＦ２の少なくとも部分的な復号により、および、予測子
【０２９３】
【数７４】
2017017684.tif 000076
【０２９４】
を使用することにより予測復号される。ビットストリームＦ２は、ローカルに記憶され、または、通信ネットワークから受信されている場合がある。
【０２９５】
ステップ１１０１の実施形態によると、予測子は、３ＤカラーＬＵＴの各々の領域Ｒkに対する特定の予測子
【０２９６】
【数７５】
2017017684.tif 000077
【０２９７】
を備える。
【０２９８】
次いで方法は、残差フレームの各々の画素ｐ’が属するオクタントＣＯを決定するデータを、ビットストリームＦ１を少なくとも部分的に復号することにより取得し、領域Ｒkに属する、復号された残差フレーム
【０２９９】
【数７６】
2017017684.tif 000078
【０３００】
の各々の画素ｐ’のカラー値が、復号器ＤＥＣ２によりビットストリームＦ２を少なくとも部分的に予測復号することにより、および、領域Ｒkに関連する予測子
【０３０１】
【数７７】
2017017684.tif 000079
【０３０２】
を使用することにより復号される。
【０３０３】
ステップ１１０２で、復号されたフレーム
【０３０４】
【数７８】
2017017684.tif 000080
【０３０５】
の成分が、復号された残差フレーム
【０３０６】
【数７９】
2017017684.tif 000081
【０３０７】
の成分
【０３０８】
【数８０】
2017017684.tif 000082
【０３０９】
を、復号されたバックライトフレーム
【０３１０】
【数８１】
2017017684.tif 000083
【０３１１】
の成分
【０３１２】
【数８２】
2017017684.tif 000084
【０３１３】
により乗算することにより取得される。
【０３１４】
ステップ１０４の実施形態によると、パラメータ
【０３１５】
【数８３】
2017017684.tif 000085
【０３１６】
および／または
【０３１７】
【数８４】
2017017684.tif 000086
【０３１８】
がさらには、ローカルメモリから、または、復号器ＤＥＣ１によるビットストリームＢ１の少なくとも部分的な復号によってのいずれかで取得される。
【０３１９】
方法によると、ステップ２００でモジュールＩＳＣＡは、復号された残差フレーム
【０３２０】
【数８５】
2017017684.tif 000087
【０３２１】
の少なくとも１つの成分
【０３２２】
【数８６】
2017017684.tif 000088
【０３２３】
を、その成分をパラメータ
【０３２４】
【数８７】
2017017684.tif 000089
【０３２５】
で除算することにより供給している。
【０３２６】
ステップ１１３でモジュールＩＭＡＰは、ステップ１１０１の出力、または、ステップ２００の出力のいずれかである、取得される少なくとも１つの成分の逆マッピングされたバージョンを、その少なくとも１つの取得された成分に逆マッピング演算子を適用することにより取得する。
【０３２７】
実施形態によると、モジュールＩＭＡＰはパラメータγjを使用する。
【０３２８】
例えば、パラメータγjはガンマ曲線を定義し、逆トーンマッピングは、ガンマ曲線から、復号された残差フレーム
【０３２９】
【数８８】
2017017684.tif 000090
【０３３０】
の画素値に対応する値を見出すことにある。
【０３３１】
復号器ＤＥＣ１、ＤＥＣ２、およびＤＥＣ３は、それぞれ符号化器ＥＮＣ１、ＥＮＣ２、およびＥＮＣ３により符号化されているデータを復号するように構成される。
【０３３２】
符号化器ＥＮＣ１、ＥＮＣ２、およびＥＮＣ３（ならびに、復号器ＤＥＣ１、ＤＥＣ２、およびＤＥＣ３）は、特定の符号化器（復号器）に制限されるものではなく、エントロピー符号化器（復号器）が必要な場合、Ｈｕｆｆｍａｎｎ符号器、算術符号器、または、Ｈ．２６４／ＡＶＣもしくはＨＥＶＣで使用されるＣａｂａｃに類するコンテキスト適応符号器などのエントロピー符号化器が有利である。
【０３３３】
符号化器ＥＮＣ１およびＥＮＣ３（ならびに、復号器ＤＥＣ１およびＤＥＣ３）は、例えば、ＪＰＥＧ、ＪＰＥＧ２０００、ＭＰＥＧ２、ｈ２６４／ＡＶＣ、またはＨＥＶＣのような、損失を伴うフレーム／ビデオ符号器とすることができる特定の符号化器には制限されない。
【０３３４】
符号化器ＥＮＣ２（および復号器ＤＥＣ２）は、ＪＰＥＧ、ＪＰＥＧ２０００、ＭＰＥＧ２、Ｈ．２６４／ＡＶＣ、またはＨＥＶＣなどの予測子を使用する任意の予測符号化器に制限されない。
【０３３５】
符号化器ＥＮＣ１、ＥＮＣ２、およびＥＮＣ３（復号器ＤＥＣ１、ＤＥＣ２、およびＤＥＣ３）は、例えば、符号化器（復号器）が標準ＳＨＶＣに準拠するなど、同じ符号化器（それぞれ、同じ復号器）であり得る。単一のビットストリームが次いで、ビットストリームＦ１、Ｆ２、およびＦ３により搬送されるデータを備えて生成される。
【０３３６】
本開示の実施形態によると、ビットストリームＦ１により搬送されるデータ、および／または、ビットストリームＦ３により搬送されるデータは、補助画像であって、そのシンタックスがＨ２６４／ＡＶＣ、ＨＥＶＣ、またはＳＨＶＣ標準のいずれかに準拠する、補助画像として符号化される。補助画像は、コンテンツのメインストリーム（メインビデオ）に実際に対応する、いわゆる「主符号化画像」への追加で、Ｈ２６４／ＡＶＣ、またはＨＥＶＣ、またはＳＨＶＣ標準で定義されている。補助画像は通常、３Ｄアプリケーションに対する、アルファ合成、クロミナンス強調情報、または深度情報などの追加的なフレーム情報のトランスポートを可能にする。
【０３３７】
本開示の実施形態によると、予測符号化される残差フレームは、ビットストリームＦ２に、主画像であって、そのシンタックスがＨ．２６４／ＡＶＣまたはＨＥＶＣ標準のいずれかに準拠する、主画像として組み込まれる。
【０３３８】
これは、Ｈ．２６４／ＡＶＣまたはＨＥＶＣ標準のいずれかを完全に順守する、ならびに、３ＤカラーＬＵＴを使用して、予測符号化される残差フレームを復号するために必要とされるデータ、符号化されるインポーズされるフレームＩＭＦ、および、バックライトフレームＢａｌを決定するために必要とされるデータを備える、単一のビットストリームを得ることを可能とする。表示の前に行われる補助データの復号方法は、ＨＥＶＣ仕様に準拠し、したがって、手を加えずに、そのすでに指定された形式で使用される。
【０３３９】
本開示の実施形態によると、ステップ１０１から出力されるバックライトフレームＢａｌ、およびフレームＩＭＦは、特定のフレームパッキング構成方式によって単一のフレームＳＦにパックされる。符号化器は、フレームＳＦをビットストリーム内に符号化する。
【０３４０】
実施形態によると、単一のフレームＳＦは、特定のフレームパッキング構成方式に依存する符号化パラメータによって符号化される。
【０３４１】
この実施形態の変形形態によると、符号化パラメータは、単一のフレームＳＦが２つの別個のスライス、すなわちフレームＩＭＦを含むスライスと、バックライトフレームＢａｌを含む他のスライスとに符号化されるように定義される。これらのスライスはさらには、用いられる標準符号化方式（Ｈ．２６４／ＡＶＣ、ＨＥＶＣ、ＪＰＥＧ２０００）によって、スライス群、タイル、タイル群、プレシンクト（precinct）の形式をとり得る。
【０３４２】
この変形形態は有利である。なぜならそれは、特定の処理、すなわちそのような特定の符号化が、バックライトフレームまたはフレームＩＭＦのそれぞれに適用されること、およびフレームＩＭＦまたはバックライトフレームのそれぞれに適用されないことを可能とするためである。
【０３４３】
したがって、ビットストリームは、２つの別個のパックされる構成フレーム：フレームＩＭＦおよびバックライトフレームのサンプルを含む単一のフレームＳＦを備える。復号器は、ビットストリームを少なくとも部分的に復号し、フレームＩＭＦ、および、必要とされるならばバックライトフレームを、復号された単一のフレームＳＦから取得する。
【０３４４】
図１〜５および９〜１０上では、モジュールは、区別可能な物理ユニットと関連してもよく、または関連しなくてもよい機能ユニットである。例えばこれらのモジュール、またはそれらの一部は、まとめて固有の構成要素もしくは回路に導入されてもよく、または、ソフトウェアの機能性に寄与してもよい。一方、一部のモジュールは可能性として、別々の物理エンティティから構成され得る。本開示と互換性がある装置は、純粋なハードウェアを使用して、例えばＡＳＩＣ、もしくはＦＰＧＡ、もしくはＶＬＳＩ、すなわちそれぞれ≪特定用途向け集積回路≫、≪フィールドプログラマブルゲートアレイ≫、≪超大型集積回路≫等の専用のハードウェアを使用して、または、デバイスに組み込まれるいくつかの集積された電子構成要素から、または、ハードウェア構成要素およびソフトウェア構成要素の組み合わせから、実装される。
【０３４５】
図１１は、図１〜５および９〜１０との関係で説明される方法を実装するように構成され得る、デバイス１２０の例示的なアーキテクチャを表す。
【０３４６】
デバイス１２０は、データおよびアドレスバス１２１により一体にリンクされる、以下の要素：
−  例えばＤＳＰ（または、ディジタル信号プロセッサー）であるマイクロプロセッサ１２２（または、ＣＰＵ）、
−  ＲＯＭ（または、読出し専用メモリ）１２３、
−  ＲＡＭ（または、ランダムアクセスメモリ）１２４、
−  アプリケーションからの送信するデータの受信のためのＩ／Ｏインターフェイス１２５、および、
−  バッテリ１２６、
を備える。
【０３４７】
変形形態によると、バッテリ１２６はデバイスの外部にある。図１１のこれらの要素の各々は、当業者によりよく知られており、さらには開示されない。上述したメモリの各々において、本明細書で使用される単語≪レジスタ≫は、小さな容量のエリア（いくらかのビット）に、または、非常に大きなエリア（例えば、全体のプログラム、または、大きな量の受信もしくは復号されたデータ）に対応し得る。ＲＯＭ１２３は、少なくともプログラムおよびパラメータを備える。本開示による方法のアルゴリズムは、ＲＯＭ１２３に記憶される。スイッチオンされるとき、ＣＰＵ１２２は、プログラムをＲＡＭにアップロードし、対応する命令を実行する。
【０３４８】
ＲＡＭ１２４はレジスタ内に、ＣＰＵ１２２により実行され、デバイス１２０のスイッチオンの後にアップロードされるプログラムと、レジスタ内の入力データと、レジスタ内の方法の異なる状態での中間データと、レジスタ内の方法の実行のために使用される他の変数と、を備える。
【０３４９】
本明細書で説明される実装は、例えば、方法もしくはプロセス、装置、ソフトウェアプログラム、データストリーム、または信号で実装され得る。実装の単一の形式の文脈でのみ議論した（例えば、方法またはデバイスとしてのみ議論した）場合でも、議論した特徴の実装は、他の形式（例えば、プログラム）でも実装され得る。装置は例えば、適切なハードウェア、ソフトウェア、およびファームウェアで実装され得る。方法は例えば、例えばコンピュータ、マイクロプロセッサ、集積回路、またはプログラマブル論理デバイスを一般的に含む処理デバイスを指す、例えばプロセッサーなどの装置で実装され得る。プロセッサーはさらには、例えば、エンドユーザ間の情報の通信を容易にする、コンピュータ、セル電話、ポータブル／パーソナルディジタルアシスタント（「ＰＤＡ」）、および他のデバイスなどの、通信デバイスを含む。
【０３５０】
符号化または符号化器の特定の実施形態によると、フレームＩは発生源から取得される。例えば発生源は、
−  ローカルメモリ（１２３または１２４）、例えば、ビデオメモリ、またはＲＡＭ（または、ランダムアクセスメモリ）、フラッシュメモリ、ＲＯＭ（または、読出し専用メモリ）、ハードディスク、
−  ストレージインターフェイス（１２５）、例えば、マスストレージ、ＲＡＭ、フラッシュメモリ、ＲＯＭ、光学ディスク、または磁気支持体とのインターフェイス、
−  通信インターフェイス（１２５）、例えば、ワイヤラインインターフェイス（例えば、バスインターフェイス、ワイドエリアネットワークインターフェイス、ローカルエリアネットワークインターフェイス）、またはワイヤレスインターフェイス（ＩＥＥＥ８０２．１１インターフェイス、またはＢｌｕｅｔｏｏｔｈ（登録商標）インターフェイスなど）、および、
−  フレーム取り込み回路（例えば、例えばＣＣＤ（または、電荷結合素子）、またはＣＭＯＳ（または、相補型金属酸化物半導体）などのセンサ）、
を備えるセットに属する。
【０３５１】
復号または復号器の異なる実施形態によると、復号されたフレーム
【０３５２】
【数８９】
2017017684.tif 000091
【０３５３】
は送り先に送出され、具体的には送り先は、
−  ローカルメモリ（１２３または１２４）、例えば、ビデオメモリ、またはＲＡＭ、フラッシュメモリ、ハードディスク、
−  ストレージインターフェイス（１２５）、例えば、マスストレージ、ＲＡＭ、フラッシュメモリ、ＲＯＭ、光学ディスク、または磁気支持体とのインターフェイス、
−  通信インターフェイス（１２５）、例えば、ワイヤラインインターフェイス（例えば、バスインターフェイス（例えばＵＳＢ（または、ユニバーサルシリアルバス））、ワイドエリアネットワークインターフェイス、ローカルエリアネットワークインターフェイス、ＨＤＭＩ（登録商標）（高精細度マルチメディアインターフェイス（High Definition Multimedia Interface））インターフェイス）、またはワイヤレスインターフェイス（ＩＥＥＥ８０２．１１インターフェイス、ＷｉＦｉ（登録商標）、またはＢｌｕｅｔｏｏｔｈ（登録商標）インターフェイスなど）、および、
−  ディスプレイ、
を備えるセットに属する。
【０３５４】
符号化または符号化器の異なる実施形態によると、ビットストリームＢＦおよび／またはＦは送り先に送出される。例えば、ビットストリームＦおよびＢＦの１つ、または、ビットストリームＦおよびＢＦの両方は、ローカルまたはリモートメモリ、例えば、ビデオメモリ（１２４）、またはＲＡＭ（１２４）、ハードディスク（１２３）に記憶される。変形形態では、１つまたは両方のビットストリームは、ストレージインターフェイス（１２５）、例えば、マスストレージ、フラッシュメモリ、ＲＯＭ、光学ディスク、もしくは磁気支持体とのインターフェイスに送出され、および／または、通信インターフェイス（１２５）、例えば、ポイントツーポイントリンク、通信バス、ポイントツーマルチポイントリンク、もしくはブロードキャストネットワークへのインターフェイスを介して送信される。
【０３５５】
復号または復号器の異なる実施形態によると、ビットストリームＢＦおよび／またはＦは発生源から取得される。例示的にはビットストリームは、ローカルメモリ、例えば、ビデオメモリ（１２４）、ＲＡＭ（１２４）、ＲＯＭ（１２３）、フラッシュメモリ（１２３）、またはハードディスク（１２３）から読出される。変形形態では、ビットストリームは、ストレージインターフェイス（１２５）、例えば、マスストレージ、ＲＡＭ、ＲＯＭ、フラッシュメモリ、光学ディスク、もしくは磁気支持体とのインターフェイスから受信され、および／または、通信インターフェイス（１２５）、例えば、ポイントツーポイントリンク、バス、ポイントツーマルチポイントリンク、もしくはブロードキャストネットワークへのインターフェイスから受信される。
【０３５６】
異なる実施形態によると、図１〜６および１０との関係で説明される符号化方法を実装するように構成されるデバイス１２０は、
−  移動可能デバイス、
−  通信デバイス、
−  ゲームデバイス、
−  タブレット（または、タブレットコンピュータ）、
−  ラップトップ、
−  静止画カメラ、
−  ビデオカメラ、
−  符号化チップ、
−  静止イメージサーバー、および、
−  ビデオサーバー（例えば、ブロードキャストサーバー、ビデオオンデマンドサーバー、またはウェブサーバー）、
を備えるセットに属する。
【０３５７】
異なる実施形態によると、図１０との関係で説明される復号方法を実装するように構成されるデバイス６０は、
−  移動可能デバイス、
−  通信デバイス、
−  ゲームデバイス、
−  セットトップボックス、
−  ＴＶセット、
−  タブレット（または、タブレットコンピュータ）、
−  ラップトップ、
−  ディスプレイ、および、
−  復号チップ、
を備えるセットに属する。
【０３５８】
図１２で例示される実施形態によると、通信ネットワークＮＥＴを介しての２つのリモートデバイスＡとＢとの間の送信コンテキストで、デバイスＡは、図１または２との関係で説明されるようなフレームを符号化するための方法を実装するように構成される手段を備え、デバイスＢは、図１０との関係で説明されるような復号するための方法を実装するように構成される手段を備える。
【０３５９】
本明細書で説明される様々なプロセスおよび機能の実装は、多様な異なる機器またはアプリケーション、特に例えば、機器またはアプリケーションで実施され得る。そのような機器の例は、符号化器、復号器、復号器からの出力を処理するポストプロセッサー、符号化器への入力を提供するプリプロセッサー、ビデオ符号器、ビデオ復号器、ビデオコーデック、ウェブサーバー、セットトップボックス、ラップトップ、パーソナルコンピュータ、セル電話、ＰＤＡ、および他の通信デバイスを含む。明らかなように、機器は移動可能であり、さらには、移動可能な乗物に設置され得る。
【０３６０】
さらに、方法は、プロセッサーにより実行される命令により実装され得るものであり、そのような命令（および／または、実装により生み出されるデータ値）は、例えば、集積回路、ソフトウェア搬送波、または、例えば、ハードディスク、コンパクトディスケット（「ＣＤ」）、光学ディスク（例えば、しばしばディジタルバーサタイルディスクまたはディジタルビデオディスクと呼ばれるＤＶＤなど）、ランダムアクセスメモリ（「ＲＡＭ」）、もしくは読出し専用メモリ（「ＲＯＭ」）などの、他のストレージデバイスなどの、プロセッサー可読媒体上に記憶され得る。命令は、プロセッサー可読媒体上で有形に実施されるアプリケーションプログラムを形成し得る。命令は例えば、ハードウェア、ファームウェア、ソフトウェア、または組み合わせでのものであり得る。命令は例えば、オペレーティングシステム、別々のアプリケーション、または、その２つの組み合わせに見出され得る。プロセッサーは、したがって例えば、プロセスを実行するように構成されるデバイス、および、プロセスを実行するための命令を有する（ストレージデバイスなどの）プロセッサー可読媒体を含むデバイスの両方として特徴付けられ得る。さらにプロセッサー可読媒体は、命令に加えて、または命令の代わりに、実装により生み出されるデータ値を記憶し得る。
【０３６１】
当業者には明らかになるように、実装は、例えば記憶または送信され得る情報を搬送するためにフォーマットされる多様な信号を生成し得る。情報は例えば、方法を実行するための命令、または、上述した実装の１つにより生成されるデータを含み得る。例えば信号は、データとして、上述した実施形態のシンタックスを書込むため、もしくは読出すための規則を搬送するために、または、データとして、上述した実施形態により書込まれる実際のシンタックス値を搬送するためにフォーマットされ得る。そのような信号は例えば、電磁波（例えば、スペクトルの無線周波数小部分を使用する）として、または、ベースバンド信号としてフォーマットされ得る。フォーマットすることは例えば、データストリームを符号化すること、および、搬送波を、符号化されるデータストリームによって変調することを含み得る。信号が搬送する情報は例えば、アナログまたはディジタル情報であり得る。信号は、知られているように、多様な異なるワイヤードまたはワイヤレスリンクを介して送信され得る。信号は、プロセッサー可読媒体上に記憶され得る。
【０３６２】
いくつかの実装が説明された。それでも、様々な変更がなされ得ることが理解されよう。例えば異なる実装の要素は、他の実装を生み出すために、組み合わされ、補完され、変更され、または除去され得る。さらに、当業者は、他の構造およびプロセスが、開示されるものの代わりになり得るものであり、結果として生じる実装は、開示される実装と、少なくとも実質的に同じ機能を、少なくとも実質的に同じ方途で実行して、少なくとも実質的に同じ結果を達成することを理解するであろう。したがって、これらおよび他の実装は、本出願により企図されるものである。
【図１】
2017017684.tif 000095
【図２】
2017017684.tif 000096
【図３】
2017017684.tif 000097
【図４】
2017017684.tif 000098
【図５】
2017017684.tif 000099
【図６】
2017017684.tif 000100
【図７】
2017017684.tif 000101
【図８】
2017017684.tif 000102
【図９】
2017017684.tif 000103
【図１０】
2017017684.tif 000104
【図１１】
2017017684.tif 000105
【図１２】
2017017684.tif 000106
【外国語明細書】
2017017684000001.pdf