(57)【要約】  ビデオを、ビデオを局所的に後処理するためのウィンドウ処理座標を搬送するビットストリームに符号化するための方法及び装置が提示される。このような方法は、−  前記ビデオの少なくとも１つの写真をヒットストリームに符号化すること（３０１）と、−  少なくとも１つのSupplemental Enhancement Informationネスティングメッセージを符号化すること（３０２）とを含み、前記少なくとも１つのSupplemental Enhancement Informationネスティングメッセージを符号化することは、−  前記写真内の領域の位置を表す少なくとも１つのパラメータセットを符号化すること（３０３）と、−  少なくとも１つのSupplemental Enhancement Informationメッセージを符号化すること（３０４）とを含み、前記少なくとも１つのSupplemental Enhancement Informationメッセージは、前記写真の前記領域に含まれるピクセルを処理するための処理情報を符号化する。
2019512985.tif 000002
【特許請求の範囲】
【請求項１】
ビデオを符号化する方法であって、
−  前記ビデオの少なくとも１つの写真をビットストリームに符号化すること（３０１）と、
−  Supplemental Enhancement Informationネスティングメッセージを符号化すること（３０２）と
を含み、前記Supplemental Enhancement Informationネスティングメッセージを符号化することは、
−  前記写真内の領域の数を示すパラメータを符号化すること（３０３）と、
−  前記領域の各々について、前記写真内の前記領域の位置を表す少なくとも１つのパラメータを符号化すること（３０３）と、
−  前記Supplemental Enhancement Informationネスティングメッセージ中にネスティングされるSupplemental Enhancement Informationメッセージの数を示すパラメータを符号化すること（３０４）と、
−  前記Supplemental Enhancement Informationネスティングメッセージ中にネスティングされる各Supplemental Enhancement Informationメッセージについて、処理情報を符号化すること（３０４）と、
−  各領域と、前記少なくとも１つのSupplemental Enhancement Informationネスティングメッセージ中にネスティングされる少なくとも１つのSupplemental Enhancement Informationメッセージとの関連付けを表す情報を符号化すること（３０４）と
を含む、方法。
【請求項２】
コード化されたビデオを表すビットストリームを復号する方法であって、
−  前記ビデオの少なくとも１つの写真を前記ビットストリームから復号すること（４０１）と、
−  Supplemental Enhancement Informationネスティングメッセージを復号すること（４０２）と
を含み、前記Supplemental Enhancement Informationネスティングメッセージを復号することは、
−  前記写真内の領域の数を示すパラメータを復号すること（４０３）と、
−  前記領域の各々について、前記写真内の前記領域の位置を表す少なくとも１つのパラメータを復号すること（４０３）と、
−  前記Supplemental Enhancement Informationネスティングメッセージ中にネスティングされるSupplemental Enhancement Informationメッセージの数を示すパラメータを復号すること（４０４）と、
−  前記Supplemental Enhancement Informationネスティングメッセージ中にネスティングされる各Supplemental Enhancement Informationメッセージについて、処理情報を復号すること（３０４）と、
−  各領域と、前記少なくとも１つのSupplemental Enhancement Informationネスティングメッセージ中にネスティングされる少なくとも１つのSupplemental Enhancement Informationメッセージとの関連付けを表す情報を復号すること（３０４）と
を含む、方法。
【請求項３】
ビデオを符号化する装置であって、
−  前記ビデオの少なくとも１つの写真をビットストリームに符号化する手段と、
−  Supplemental Enhancement Informationネスティングメッセージを符号化する手段と
を含み、前記Supplemental Enhancement Informationネスティングメッセージを符号化する前記手段は、
−  前記写真内の領域の数を示すパラメータを符号化する手段と、
−  前記領域の各々について、前記写真内の前記領域の位置を表す少なくとも１つのパラメータを符号化する手段と、
−  前記Supplemental Enhancement Informationネスティングメッセージ中にネスティングされるSupplemental Enhancement Informationメッセージの数を示すパラメータを符号化する手段と、
−  前記Supplemental Enhancement Informationネスティングメッセージ中にネスティングされる各Supplemental Enhancement Informationメッセージについて、処理情報を符号化する手段と、
−  各領域と、前記少なくとも１つのSupplemental Enhancement Informationネスティングメッセージ中にネスティングされる少なくとも１つのSupplemental Enhancement Informationメッセージとの関連付けを表す情報を符号化する手段と
を含む、装置。
【請求項４】
コード化されたビデオを表すビットストリームを復号する装置であって、
−  前記ビデオの少なくとも１つの写真を前記ビットストリームから復号する手段と、
−  Supplemental Enhancement Informationネスティングメッセージを復号する手段と
を含み、前記Supplemental Enhancement Informationネスティングメッセージを復号する前記手段は、
−  前記写真内の領域の数を示すパラメータを復号する手段と、
−  前記領域の各々について、前記写真内の前記領域の位置を表す少なくとも１つのパラメータを復号する手段と、
−  前記Supplemental Enhancement Informationネスティングメッセージ中にネスティングされるSupplemental Enhancement Informationメッセージの数を示すパラメータを復号する手段と、
−  前記Supplemental Enhancement Informationネスティングメッセージ中にネスティングされる各Supplemental Enhancement Informationメッセージについて、処理情報を復号する手段と、
−  各領域と、前記少なくとも１つのSupplemental Enhancement Informationネスティングメッセージ中にネスティングされる少なくとも１つのSupplemental Enhancement Informationメッセージとの関連付けを表す情報を復号する手段と
を含む、装置。
【請求項５】
プロセッサによって実行されるときに、請求項１に記載の方法を実行するためのソフトウェアコード命令を含むコンピュータプログラム。
【請求項６】
プロセッサによって実行されるときに、請求項２に記載の方法を実行するためのソフトウェアコード命令を含むコンピュータプログラム。
【請求項７】
コード化されたビデオを表すビットストリームであって、
−  前記ビデオの１つの写真を表すコード化されたデータと、
−  少なくとも１つのSupplemental Enhancement Informationネスティングメッセージと
を含み、前記少なくとも１つのSupplemental Enhancement Informationネスティングメッセージは、
−  前記写真内の領域の数を示すパラメータと、
−  前記領域の各々について、前記写真内の前記領域の位置を表す少なくとも１つのパラメータと、
−  前記Supplemental Enhancement Informationネスティングメッセージ中にネスティングされるSupplemental Enhancement Informationメッセージの数を示すパラメータと、
−  前記Supplemental Enhancement Informationネスティングメッセージ中にネスティングされる各Supplemental Enhancement Informationメッセージについての処理情報と、
−  各領域と、前記少なくとも１つのSupplemental Enhancement Informationネスティングメッセージ中にネスティングされる少なくとも１つのSupplemental Enhancement Informationメッセージとの関連付けを表す情報と
を含む、ビットストリーム。
【発明の詳細な説明】
【技術分野】
【０００１】
１．技術分野
ビデオをビットストリームにコード化する方法及び装置が開示される。対応する復号方法及び装置がさらに開示される。
【背景技術】
【０００２】
２．背景技術
メタデータは、ビデオのコンテンツ制作ステージ中又はビデオの復号ステージの直前に生成される。このようなメタデータは、ビデオのバリューチェーン全体に沿って送信され、それにより典型的にはテレビ（ＴＶ）又はセットトップボックス（ＳＴＢ）等の受信機においてポスト復号プロセスが供給される。例えば、このようなメタデータは、受信機又はレンダラがビデオの写真を再構成する際、画像品質若しくはユーザにとってのビデオの認識を改善するため、又は受信機の能力に応じてビデオレンダリングを調整するために適用されるパラメータを含み得る。
【０００３】
ＳＭＰＴＥ標準は、例えば、静的メタデータに関するＳＭＰＴＥ  ＳＴ  ２０８６、制作環境で使用されるコンテンツ依存又は動的メタデータに関するＳＭＰＴＥ  ＳＴ  ２０９４等、このようなメタデータを定義している。より詳細には、ＳＴ  ２０９４標準は、処理ウィンドウ又は関心対象領域（ＲＯＩ）ごとに適用可能なメタデータを定義している。
【０００４】
このようなメタデータは、例えば、外部コンバータ又はレンダラにおいて実行されるポスト復号プロセスにより使用されるようにするために、ビデオ配信ステージ中にビデオシーケンスのコード化されたビットストリームと共に搬送される必要があり得る。
【０００５】
Supplemental Enhancement Information（ＳＥＩ）メッセージは、Ｈ．２６ｘ標準において明示されている。このようなメッセージにより、メタデータをビデオシーケンスのコード化されたビットストリームと共に搬送することが可能となる。
【０００６】
例えば、幾つかのＳＥＩメッセージは、カラーリマッピング又はポストフィルタリング等のための後処理パラメータを搬送し得る。
【０００７】
しかしながら、このようなＳＥＩメッセージは、再構成された写真全体、すなわち写真上のすべてのピクセル上に適用される後処理パラメータを搬送する。
【０００８】
ＳＴ  ２０９４で定義されているウィンドウ／ＲＯＩ処理を可能にする信号処理又はメカニズムは存在しない。
【０００９】
１つの解決策は、別の手段を通じて、各処理ＳＥＩメッセージに関連する処理ウィンドウ座標を伝送することであろう。しかしながら、これによってメタデータキャリアの数が倍増し、メタデータを緩めるか又は不適正に処理する（処理ウィンドウと処理メタデータとの誤った組合せ／順序又は誤った関連付け）リスクが高まる。
【発明の概要】
【００１０】
したがって、処理ＳＥＩメッセージを画像上でローカルに適用するようになされた符号化／復号方法が求められている。
【００１１】
３．概要
本発明の原理のある態様によれば、ビデオを符号化する方法であって、
−  前記ビデオの少なくとも１つの写真をビットストリームに符号化することと、
−  少なくとも１つのSupplemental Enhancement Informationネスティングメッセージを符号化することと
を含み、前記少なくとも１つのSupplemental Enhancement Informationネスティングメッセージを符号化することは、
−  前記写真内の領域の位置を表す少なくとも１つのパラメータセットを符号化することと、
−  少なくとも１つのSupplemental Enhancement Informationメッセージを符号化することと
を含み、前記少なくとも１つのSupplemental Enhancement Informationメッセージは、前記写真の前記領域に含まれるピクセルを処理するために処理情報、例えばメタデータを復号する、方法が開示される。
【００１２】
本開示により、ビデオの写真を後処理するために、ビデオシーケンスのコード化されたビットストリームを領域ごとの情報と共に搬送することができる。したがって、後処理情報を搬送するＨ．２６ｘ標準による既存のＳＥＩメッセージが再使用可能である。したがって、後処理ＳＥＩメッセージを再定義する必要がない。有利には、本開示は、既存の後処理ＳＥＩメッセージに対し、このようなＳＥＩメッセージにウィンドウ処理を追加することにより、新たな機能を提供する。ウィンドウ処理パラメータは、一貫して同じ情報搬送メカニズム内で関連付けられる。
【００１３】
ビデオを符号化する装置であって、
−  前記ビデオの少なくとも１つの写真をビットストリームに符号化する手段と、
−  少なくとも１つのSupplemental Enhancement Informationネスティングメッセージを符号化する手段と
を含み、前記少なくとも１つのSupplemental Enhancement Informationネスティングメッセージを符号化する前記手段は、
−  前記写真内の領域の位置を表す少なくとも１つのパラメータを符号化する手段と、
−  少なくとも１つのSupplemental Enhancement Informationメッセージを符号化する手段と
を含み、前記少なくとも１つのSupplemental Enhancement Informationメッセージは、前記写真の前記領域に含まれるピクセルを処理するための処理情報を符号化する、装置が開示される。
【００１４】
変形形態において、ビデオを符号化する装置であって、ビデオの少なくとも１つの写真にアクセスするように構成された通信インタフェースと、少なくとも１つのプロセッサであって、
−  少なくとも１つのアクセスされた写真をビットストリームに符号化することと、
−  少なくとも１つのSupplemental Enhancement Informationネスティングメッセージを符号化することと
を行うように構成された少なくとも１つのプロセッサとを含み、前記少なくとも１つのSupplemental Enhancement Informationネスティングメッセージを符号化することは、
−  前記写真内の領域の位置を表す少なくとも１つのパラメータを符号化することと、
−  少なくとも１つのSupplemental Enhancement Informationメッセージを符号化することと
を含み、前記少なくとも１つのSupplemental Enhancement Informationメッセージは、前記写真の前記領域に含まれるピクセルを処理するための処理情報を符号化する、装置が開示される。
【００１５】
１つの実施形態によれば、少なくとも１つのSupplemental Enhancement Informationネスティングメッセージを符号化することは、前記写真内の、前記少なくとも１つのSupplemental Enhancement Informationメッセージが適用される領域の数を示すパラメータをさらに符号化することを含む。このような実施形態により、写真内の、ＳＥＩネスティングメッセージ中に含まれるＳＥＩメッセージを適用すべき幾つかの領域又は処理ウィンドウを定義することが可能となる。したがって、バンド幅の利用が最適化される。
【００１６】
本発明の原理の別の実施形態によれば、少なくとも１つのSupplemental Enhancement Informationネスティングメッセージを符号化することは、Supplemental Enhancement Informationメッセージの数を示すパラメータをさらに符号化することを含む。このような実施形態により、幾つかの後処理ＳＥＩメッセージを、写真の１つ又は複数の領域について定義された１つのＳＥＩネスティングメッセージ中に含めることが可能となる。したがって、それによって同じ意図の又は同じペイロードタイプの幾つかのＳＥＩメッセージを伝送する必要性が低下し、それは、幾つかの処理ウィンドウが重なった場合に後処理動作に関する黙示的な順序をさらに提供する。
【００１７】
本発明の原理のある態様によれば、コード化されたビデオを表すビットストリームを復号する方法であって、
−  前記ビデオの少なくとも１つの写真を前記ビットストリームから復号し、復号された写真を供給することと、
−  少なくとも１つのSupplemental Enhancement Informationネスティングメッセージを復号することであって、
−  前記復号された写真内の領域の位置を表す少なくとも１つのパラメータセットを復号することと、
−  少なくとも１つのSupplemental Enhancement Informationメッセージを復号することと
を含む、復号することと
を含み、前記少なくとも１つのSupplemental Enhancement Informationメッセージは、前記復号された写真の前記領域に含まれるピクセルを処理するための処理情報を含む、方法が開示される。
【００１８】
コード化されたビデオを表すビットストリームを復号する装置であって、
−  前記ビデオの少なくとも１つの写真を前記ビットストリームから復号して、復号された写真を得る手段と、
−  少なくとも１つのSupplemental Enhancement Informationネスティングメッセージを復号する手段と
を含み、前記少なくとも１つのSupplemental Enhancement Informationネスティングメッセージを復号する前記手段は、
−  前記復号された写真内の領域の位置を表す少なくとも１つのパラメータを復号する手段と、
−  少なくとも１つのSupplemental Enhancement Informationメッセージを復号する手段と
を含み、前記少なくとも１つのSupplemental Enhancement Informationメッセージは、前記復号された写真の前記領域に含まれるピクセルを処理するための処理情報を含む、装置が開示される。
【００１９】
変形形態において、復号装置であって、少なくとも１つのストリームにアクセスするように構成された通信インタフェースと、少なくとも１つのプロセッサであって、
−  前記ビデオの少なくとも１つの写真を前記アクセスされたビットストリームから復号し、復号された写真を得ることと、
−  少なくとも１つのSupplemental Enhancement Informationネスティングメッセージを復号することと
を行うように構成された少なくとも１つのプロセッサとを含み、前記少なくとも１つのSupplemental Enhancement Informationネスティングメッセージを復号することは、
−  前記復号された写真内の領域の位置を表す少なくとも１つのパラメータを復号することと、
−  少なくとも１つのSupplemental Enhancement Informationメッセージを復号することと
を含み、前記少なくとも１つのSupplemental Enhancement Informationメッセージは、前記復号された写真の前記領域内に含まれるピクセルを処理するための処理情報を含む、復号装置が開示される。
【００２０】
１つの実施形態によれば、少なくとも１つのSupplemental Enhancement Informationネスティングメッセージを復号することは、前記写真内の、前記少なくとも１つのSupplemental Enhancement Informationメッセージを適用する領域の数を示すメッセージをさらに復号することを含む。
【００２１】
本発明の原理の別の実施形態によれば、少なくとも１つのSupplemental Enhancement Informationネスティングメッセージを復号することは、Supplemental Enhancement Informationメッセージの数を示すパラメータをさらに復号することを含む。
【００２２】
本実施形態は、コンピュータ可読記憶媒体であって、本開示に記載されている実施形態の何れか１つによりビデオをコード化するための命令をその上に記憶したコンピュータ可読記憶媒体も提供する。
【００２３】
本実施形態は、コンピュータ可読記憶媒体であって、本開示に記載されている実施形態の何れか１つによりビデオを復号するための命令をその上に記憶したコンピュータ可読記憶媒体も提供する。
【００２４】
コード化されたビデオを表すビットストリームであって、
−  前記ビデオの１つの写真を表すコード化されたデータと、
−  少なくとも１つのSupplemental Enhancement Informationネスティングメッセージと
を含み、前記少なくとも１つのSupplemental Enhancement Informationネスティングメッセージは、
−  前記写真内の領域の位置を表す少なくとも１つのパラメータと、
−  少なくとも１つのSupplemental Enhancement Informationメッセージと
を含み、前記少なくとも１つのSupplemental Enhancement Informationメッセージは、前記写真の前記領域に含まれるピクセルを処理するための処理情報を符号化する、ビットストリームも開示される。
【００２５】
非一時的プロセッサ可読媒体であって、その上にビットストリームが記憶されており、ビットストリームは、
−  前記ビデオの１つの写真を表すコード化されたデータと、
−  少なくとも１つのSupplemental Enhancement Informationネスティングメッセージと
を含み、前記少なくとも１つのSupplemental Enhancement Informationネスティングメッセージは、
−  前記写真内の領域の位置を表す少なくとも１つのパラメータと、
−  少なくとも１つのSupplemental Enhancement Informationメッセージと
を含み、前記少なくとも１つのSupplemental Enhancement Informationメッセージは、前記写真の前記領域に含まれるピクセルを処理するための処理情報を符号化する、非一時的プロセッサ可読媒体が開示される。
【００２６】
１つの実装形態によれば、本明細書で前述されたビデオをコード化するか又はビデオを復号する方法の異なるステップは、ビデオをコード化／復号する装置のデータプロセッサによって実行されることが意図された１つ又は複数のソフトウェアプログラム又はソフトウェアモジュールプログラム命令によって実行され、これらのソフトウェア命令は、本発明の原理による方法の異なるステップの実行を命じるように設計されている。
【００２７】
コンピュータ又はデータプロセッサによって実行されることが可能なコンピュータプログラムであって、本明細書で前述されたビデオをコード化する方法のステップ又はビデオを復号する方法のステップの実行を命じる命令を含むコンピュータプログラムも開示される。
【００２８】
このプログラムは、あらゆるプログラミング言語を使用でき、ソースコード、オブジェクトコード若しくはソースコードとオブジェクトコードとの中間コード、例えば部分的に編集されたコードの形態、又は他のあらゆる所望の形態をとることができる。
【００２９】
情報キャリアは、プログラムを記憶できるあらゆるエンティティ又は装置であり得る。例えば、キャリアは、ＲＯＭ、例えばＣＤ  ＲＯＭ若しくはマイクロエレクトロニック回路ＲＯＭ等の記憶手段、又は再び磁気記録手段、例えばフロッピディスク若しくはハードディスクドライブを含むことができる。
【００３０】
再び、情報キャリアは、電子又は光ケーブルを介して、又は無線により、又は他の手段により伝送可能な電気又は光信号等の伝送可能キャリアであり得る。本発明の原理によるプログラムは、特にインターネット型ネットワークにアップロードできる。
【００３１】
変形形態として、情報キャリアは、プログラムの組み込まれた集積回路であり得、回路は、対象の方法を実行するように又はその実行において使用されるようになされている。
【００３２】
１つの実施形態によれば、方法／装置は、ソフトウェア及び／又はハードウェアコンポーネントによって実行され得る。この点において、「モジュール式」又は「ユニット」という用語は、本明細書では、ソフトウェアコンポーネント及びハードウェアコンポーネント、又はハードウェア及びソフトウェアコンポーネントの集合に同等に対応する。
【００３３】
ソフトウェアコンポーネントは、関係するモジュールのために本明細書で後述される１つの機能又は機能の集合を実行できる１つ若しくは複数のコンピュータプログラム、プログラムの１つ若しくは複数のサブプログラム、又はより一般的にプログラム若しくはソフトウェアの何れかの要素に対応する。このようなソフトウェアコンポーネントは、物理的エンティティ（端末、サーバ等）のデータプロセッサによって実行され、この物理的エンティティのハードウェアリソース（メモリ、記録媒体、通信バス、入力／出力電子基板、ユーザインタフェース等）にアクセスできる。
【００３４】
同様に、ハードウェアコンポーネントは、関係するモジュールのために本明細書で後述される１つの機能又は機能の集合を実行できるハードウェアユニットの何れかの要素に対応する。それは、ソフトウェアを実行するためのプログラム可能なハードウェアコンポーネント又はプロセッサを内蔵したコンポーネント、例えば集積回路、スマートカード、メモリカード、ファームウェアを実行するための電子基板等であり得る。
【図面の簡単な説明】
【００３５】
４．図面の簡単な説明
【図１】本発明の原理のある実施形態による、ビデオを表し、領域ごとの後処理パラメータをＳＥＩネスティングメッセージ中に搬送するビットストリームを符号化及び復号するための例示的なシステムを示す。
【図２Ａ】ビデオからの写真を、コード化されたビデオデータにコード化するための例示的なコーダのブロック図を示す。
【図２Ｂ】ＮＡＬユニットの原理によるコード化された写真のための例示的なアクセスユニットを示す。
【図２Ｃ】コード化されたビデオデータから、ビデオからの写真を復号するための例示的なデコーダのブロック図を示す。
【図３】ある実施形態によるビデオを符号化する例示的な方法のブロック図を示す。
【図４】ある実施形態によるビデオを復号する例示的な方法のブロック図である。
【図５】１つの実施形態で使用され得る例示的なエンコーダを示す。
【図６】１つの実施形態で使用され得る例示的なデコーダを示す。
【図７】写真内で定義された後処理を適用すべきウィンドウの例示的な処理を示す。
【発明を実施するための形態】
【００３６】
５．実施形態の説明
図１は、本発明の原理のある実施形態による、ビデオを、領域ごとの後処理パラメータをＳＥＩネスティングメッセージに搬送するビットストリームにコード化するための例示的なシステム（１１０）と、前記対応するビットストリームを復号するための例示的なシステム（１０９）とを示す。
【００３７】
図１は、ビデオコンテンツを生成するようになされたビデオ制作モジュール１００を含む。ビデオ制作モジュールは、制作プラットフォームであり得、これは、例えば、ビデオコンテンツを捕捉するためのカメラと、制作者又はカラリストが、捕捉されたライブコンテンツに対して作業して、そのビデオコンテンツに関連する情報、例えばメタデータを生成することができるようにするためのインタフェースとを含む。このような情報により、例えばビデオの写真のカラーグレーディングを行うことによって画像品質を改善し、又はクリエイティブな人々の芸術的意図をよりよく表現することが可能となる。
【００３８】
例えば、受信機の能力に応じて、送信されたビデオのレンダリング品質を調整する必要があり得る。例えば、ＨＤＲ（ハイダイナミックレンジ）写真は、ＳＤＲ（標準ダイナミックレンジ）ディスプレイ又はＨＤＭＩ（登録商標）（高精細マルチメディアインタフェース）等のＳＤＲインタフェースによってサポートされないことがあり得る。この場合、レンダラ又はレンダラの上流の機器（例えば、ＳＴＢ、Blu-ray（登録商標）プレイヤ）が受信したビデオの写真を処理して、ディスプレイの特性又はディスプレイによりサポートされるフォーマットに合わせて調整し得る。レンダリングステージでコンテンツクリエータの芸術的意図を保持するために、そのような処理を制御することが望ましい。
【００３９】
このような処理は、ビデオの写真に関連する後処理情報／メタデータを生成することにより、コンテンツンクリエータにより制御可能である。下記において、「情報」という用語は、「メタデータ」の代わりに使用され得る。そのために、ビデオ制作モジュール１００は、メタデータ生成モジュール１０１を含み、これは、そのような後処理メタデータ（ＭＤ）をビデオ制作モジュールのインタフェースへのコンテンツクリエータの入力に従って出力する。
【００４０】
一例として、図７は、カラリストが、後処理を適用すべき２つの領域Ｒ１、Ｒ２を定義した写真を示す。例えば、カラリストは、まず領域Ｒ１のユーザの認識を強調するために領域Ｒ１に適用すべき処理（又はカラーグレーディング）パラメータＰ１を定義する。次に、カラリストは、ユーザが領域Ｒ２に注目しないようにするために領域Ｒ２に適用すべき処理パラメータＰ２を定義する。この図では、領域は、長方形である。しかしながら、本発明の原理は、長方形以外の領域、例えば楕円、円又は任意の他のパラメトリック形状にも適用される。
【００４１】
写真（又はビデオ）をカラーグレーディングすることは、写真（又はビデオ）の色を変更／強調するプロセスである。通常、写真のカラーグレーディングは、カラーボリューム（色空間及び／又はダイナミックレンジ）の変更又はこの写真に関する色域の変更を含む。したがって、同じ写真の２つの異なるカラーグレーディングバージョンは、この写真の、その値が異なるカラーボリューム（又は色域）で表現されたバージョン、又はその写真の、その色の少なくとも１つが異なるカラーグレードに従って変更／強調されたバージョンである。これには、例えば、カラリストからのユーザインタラクションが含まれ得る。カラリストは、捕捉された写真の第一のカラーグレーディングバージョンの色値に対する制御を、幾つかの色値を微調整／微調節することによって行い、場合により局所的な変化（局所的な信号特性に関して調節するため）で芸術的意図を吹き込む。
【００４２】
カラリストにより定義された制御パラメータは、次に領域Ｒ１のためのパラメータＰ２及び領域Ｒ２のためのＰ２のセットにより表現される。このようなパラメータＰ１及びＰ２のセットは、レンダリング前に適用する後処理メタデータを定義する。ある実施形態によれば、後処理メタデータは、ビデオコンテンツの写真の少なくとも１つの領域に適用される。パラメータＭＤのセットは、したがって、写真内の領域（Ｒ１、Ｒ２）の位置特定を可能にする座標と、領域に適用すべき後処理ステップを定義するパラメータ（Ｐ１、Ｐ２）とを含む。
【００４３】
図１に戻ると、ビデオ制作モジュール１００は、ビデオコンテンツを写真シーケンス（ＰＩＣ）及びメタデータセット（ＭＤ）の形態で入力としてビデオエンコーダ１０２に供給する。
【００４４】
このようなビデオエンコーダ１０２は、本発明の原理のある実施形態により、ビデオの写真ＰＩＣのビットストリームへの符号化と、メタデータセット（ＭＤ）の前記ビットストリームへの符号化とを実行する。ビデオエンコーダ１０２は、写真ＰＩＣの符号化をＨ．２６６、ＨＥＶＣ／Ｈ．２６５、ＡＶＣ／Ｈ．２６４又は何れかの所有権保護されたビデオコーディングシステム等の何れかのビデオコーディング標準に従って実行する。
【００４５】
従来、ビデオエンコーダ１０２は、図２Ａに示されるように、ブロックごとのビデオ符号化のための幾つかのモジュールを含み得る。符号化すべき写真ＰＩＣがエンコーダ１０２に入力される。エンコーダ１２０は、写真のうち、コード化すべきブロックのためのコーディングモードを例えばレート／歪最適化に基づいて選択するためのコード選択ユニットを含み、このようなコード選択ユニットは、
−  写真のうち、コード化すべき１つの現在のブロックと参照写真との間の動きを推測するための動き推測モジュールと、
−  推測される動きを用いて現在のブロックを予測するための動き補償モジュールと、
−  現在のブロックを空間的に予測するためのイントラ予測モジュールと
を含む。
【００４６】
モード選択ユニットは、デコーダで同じブロック予測を実行するために、予測ブロックＰＲＥＤと、ビットストリーム内でコード化すべき対応するシンタックス要素とを供給する。
【００４７】
次に、コード化すべき写真のブロック及び予測ブロックＰＲＥＤから残留ブロックＲＥＳが得られる。残留ブロックＲＥＳは、変換モジュールによって変換され、量子化モジュールによって量子化されて、量子化された残留変換係数ＣＯＥＦが供給される。
【００４８】
シンタックス要素及び量子化された残留変換係数ＣＯＥＦは、次にエントロピコーディングモジュールに入力されて、コード化されたビデオデータが供給される。
【００４９】
量子化された残留変換係数ＣＯＥＦは、逆量子化モジュール及び逆変換モジュールによって処理されて、残留ブロックＲＥＳ’が再構成される。予測ブロックＰＲＥＤが再構成される残留ブロックＲＥＳ’に追加されて、ブロックが再構成され、再構成された現在の写真ＲＥＣが形成される。再構成された現在の写真ＲＥＣは、次に、ビデオコンテンツの次の写真を符号化するための参照写真として後で使用するために参照フレームメモリに追加される。
【００５０】
図１に戻ると、ある実施形態によれば、エンコーダ１０２は、コード化されたビデオデータ及びメタデータセットＭＤを含む符号化されたビットストリームＳＴＲを供給するようになされたストリーム生成モジュール１０８も含む。
【００５１】
コード化されたビデオデータをトランスポート層にマッピングするために、ビデオコード化標準のほとんどは、Network Abstraction Layer Unit（ＮＡＬＵ）原理を使用する。この原理によれば、コード化されたビデオデータは、ＮＡＬユニットと呼ばれるデータユニットシーケンスへ整理され、アクセスユニットに形成される。
【００５２】
図２Ｂに示されるように、アクセスユニットＡＵは、まとめて同じ出力時間に対応する写真を表す１つ又は複数のＮＡＬユニットの群を含む。アクセスユニット内の１つ又は複数のＮＡＬユニットは、まとめて同じ出力時間に対応する写真を構成する１つ又は複数のビデオコーディング層（ＶＣＬ）ＮＡＬユニット（２３、２４）の群と、ゼロ又はそれを超える非ＶＣＬ  ＮＡＬユニット（すなわちＶＣＬ  ＮＡＬユニットではないＮＡＬユニット）とを含む。
【００５３】
ＶＣＬ  ＮＡＬユニットは、コード化されたビデオデータのスライスセグメントを搬送する。非ＶＣＬ  ＮＡＬユニットは、典型的に制御情報を含む。
【００５４】
アクセスユニット内に存在し得る１つのタイプの非ＶＣＬ  ＮＡＬユニットは、Supplemental Enhancement Information（ＳＥＩ）ＮＡＬユニットであり、これは、復号されたビデオ信号の可用性を向上させ得るが、一般的にはそのために必要でない補足的データを含む。ＳＥＩメッセージは、コード化されたビデオデータに関連する各種のメタデータを含み得、これは、例えば、写真出力タイミング、表示、色空間の解釈及び／又はフレームパッキングに関連する情報を提供し得る。
【００５５】
図１に戻ると、ストリーム生成モジュール１０８は、ビデオコンテンツの１つの写真について、写真ＰＣＩに対応するコード化されたビデオデータをアクセスユニットのＶＣＬ  ＮＡＬユニットへ整理し、メタデータセットＭＤをＳＥＩ  ＮＡＬユニットに符号化し、これは、以下では処理ウィンドウネスティングＳＥＩメッセージと呼ばれる。
【００５６】
本開示の１つの実施形態において、このような処理ウィンドウネスティングＳＥＩメッセージは、、シンタックス要素のセマンティクスが以下のとおりである、表１により示されるような以下の構造を有する。
【００５７】
【表１】
2019512985.tif 000003
【００５８】
pw_idは、１つ又は複数の処理ウィンドウの目的を特定するために使用され得る特定番号を含む。pw_idの値は、０〜２３２−２の範囲（両端値を含む）とする。
【００５９】
０〜２５５及び５１２〜２３１−１のpw_idの値は、用途により決定されて使用され得る。２５６〜５１１及び２３１〜２３２−２のpw_idの値は、ＩＴＵ−Ｔ｜ＩＳＯ／ＩＥＣが将来使用するために留保される。２５６〜５１１（両端値を含む）又は２３１〜２３２−２（両端値を含む）のpw_idの値に遭遇したデコーダは、それを無視する。
【００６０】
pw_rect_left_offset、pw_right_offset、pw_rect_top_offset及びpw_rect_bottom_offsetは、メタデータセット内の写真のサンプルを、写真座標で明示される長方形の領域として特定する。存在しない場合、pw_rect_left_offset、pw_rect_right_offset、pw_rect_top_offset及びpw_rect_bottom_offsetは、０と等しいと推測される。
【００６１】
処理ウィンドウは、４：４：４彩度フォーマットについて特定される。これは、色サンプル、すなわちピクセルと共にpw_rect_left_offsetからpic_width_in_luma_samples-(pw_rect_right_offset+1)への水平写真座標及びpw_rect_top_offsetからpic_height_in_luma_sample-(pw_rect_bottom_offset+1)への垂直写真座標（両端値を含む）を含み、pic_width_in_luma_sampelsは、水平軸による写真の輝度成分のピクセル数に対応し、pic_height_in_luma_samplesは、垂直軸による写真の輝度座標のピクセル数に対応する。
【００６２】
(pw_rect_left_offset+pw_rect_righ_offset)の値は、pic_width_in_luma_samplesより小さいものとし、(pw_rect_top_offset+pw_rect_bottom_offset)の値は、pic_height_in_luma_samplesより小さいものとする。
【００６３】
pw_nesting_zero_bitは、０と等しいものとする。
【００６４】
領域が長方形ではない場合、写真内のその領域の位置特定を可能にするパラメータは、pw_rect_left_offset、pw_right_offset、pw_rect_top_offset及びpw_rec_bottom_offsetと異なり得る。一例として、円の場合、その中心の位置とその半径とは、写真内のその位置の特定を可能にするパラメータである。
【００６５】
シンタックス構造「sei_message()」は、強調情報、すなわち表１に示される写真座標により定義される長方形の領域に含まれるピクセルに適用されるべき後処理パラメータを含むＳＥＩメッセージに対応する。
【００６６】
表１により示される実施形態によれば、１つのＳＥＩメッセージのみが、処理ウィンドウネスティングＳＥＩメッセージ中で定義される領域に適用されることになる。その領域に適用されるべきＳＥＩメッセージは、処理ウィンドウネスティングＳＥＩメッセージ中にネスティングされるメッセージである。
【００６７】
他の実施形態によれば、処理ウィンドウネスティングメッセージは、現在の写真内の、ＳＥＩメッセージが適用される領域の数を示すパラメータと、ある領域に適用されるべきＳＥＩメッセージの数を示すパラメータとを含み得る。
【００６８】
処理ウィンドウネスティングＳＥＩメッセージの構造の別の実施形態が表２に示されている。表２において、ウィンドウと特定のＳＥｉメッセージとの間の関係、より正確にはある領域と特定のＳＥＩメッセージとの関連付けは、セマンティクスにおいて又はアプリケーションレベルで示され得る。「sei_message()」と領域との関連付けも追加の関連付けテーブルで特定され得る。
【００６９】
【表２】
2019512985.tif 000004
【００７０】
（前の実施形態に対する）追加のセマンティクスは、以下のとおりである：pw_rect_cnt_minus1プラス１は、ｉ番目にネスティングされたsei_message()中の処理ウィンドウ（すなわち領域）の数を特定する。pw_rect_cnt_minus1の値は、０〜１５（両端値を含む）の範囲とする。
【００７１】
pw_rect_left_offset[i]、pw_right_offset[i]、pw_rect_top_offset[i]及びpw_rect_bottom_offset[i]は、ｉ番目のメタデータセット中の写真のサンプルを、写真座標において明示される長方形の領域として明示する。存在しない場合、pw_rect_left_offset[i]、pw_rect_right_offset[i]、pw_rect_top_offset[i]及びpw_rect_bottom_offset[i]は、０と等しいと推定される。
【００７２】
処理ウィンドウは、４：４：４彩度フォーマットについて特定される。これは、色サンプルと共にpw_rect_left_offset[i]からpic_width_in_luma_samples-(pw_rect_right_offset[i]+1)への水平写真座標及びpw_rect_top_offset[i]からpic_height_in_luma_sample-(pw_rect_bottom_offset[i]+1)への垂直写真座標（両端値を含む）を含む。
【００７３】
(pw_rect_left_offset[i]+pw_rect_righ_offset[i])の値は、pic_width_in_luma_samplesより小さいものとし、(pw_rect_top_offset[i]+pw_rect_bottom_offset[i])の値は、pic_height_in_luma_samplesより小さいものとする。
【００７４】
pw_set_cnt_minus1プラス１は、処理ウィンドウネスティングメッセージ中に含まれるＳＥＩメッセージ構造の数を明示する。
【００７５】
sei_message()は、インタラクティブループ内で呼ばれた場合、同じ（すなわち同じペイロードタイプ）であると考えられ得ることに留意されたい。
【００７６】
処理ウィンドウネスティングＳＥＩメッセージの構造の別の実施形態が表３Ａ又は３Ｂに示されている。表３Ａでは、ＳＥＩメッセージ（sei_message()）が領域ごとに定義される一方、表３Ｂでは、定義されたすべての領域に適用される１つのＳＥＩメッセージが定義される。
【００７７】
【表３】
2019512985.tif 000005
【００７８】
【表４】
2019512985.tif 000006
【００７９】
この現在の実施形態に関するセマンティクスは、前述の前の実施形態と同じである。
【００８０】
ストリーム生成モジュール１０８は、メタデータセットＭＤを、すべてのシンタックス要素を表１〜３で上述した実施形態の何れかに従って符号化することにより符号化する。シンタックス要素は、エントロピコーダ、例えば図２Ａのエントロピコーダにより符号化され得る。
【００８１】
図１のストリーム生成モジュール１０８は、ビデオコンテンツのすべての又は特定の数の写真ＰＩＣ（写真群、すなわちＧＯＰに対応する）がエンコーダ１０２により符号化されたとき、又は例えばライブコンテンツの各写真の符号化後に動作し得る。ストリーム生成モジュール１０８は、その後、符号化されたストリームＳＴＲを送信機１０３に供給し、このようなストリームが送信されるようにする。
【００８２】
送信機１０３は、符号化されたビットストリームＳＴＲを受信し、符号化されたビットストリームを１つ又は複数の出力信号ＳＩＧにおいて送信する。典型的な送信機は、例えば、エラー補正コーディングの提供、信号内のデータのインタリービング、信号内のエネルギーのランダム化及びモジュレータ（図示せず）を使用した１つ又は複数のカメラへの信号の変調の１つ又は複数等の機能を実行する。送信機１０３は、アンテナ（図示せず）を含んでいるか、又はそれと接続され得る。さらに、送信機１０３の実装形態は、変調器に限定され得る。送信機１０３は、衛星、ケーブル、電話線又は地上放送等、様々な媒体で出力信号を送信し得る。出力信号は、インターネット又は他の何れかのネットワークで送信され得る。図１に示されるシステムはまた、記憶ユニット（図示せず）と通信可能に連結され得る。１つの実装形態において、記憶ユニットは、エンコーダ１０２に連結され、エンコーダ１０２からの符号化されたビットストリームを記憶する。別の実施形態において、記憶ユニットは、送信機１０３に連結され、送信機１０３からのビットストリームを記憶する。記憶ユニットは、異なる実装形態において、標準ＤＶＤ、Blu-Rayディスク、ハードドライブ又は他の何れかの記憶デバイスの１つ又は複数であり得る。
【００８３】
１つ又は複数の信号ＳＩＧは、次に復号システム１０９により受信される。このような復号システム１０９は、例えば、携帯電話、コンピュータ、セットトップボックス、テレビ、光ディスクプレイヤ又は符号化されたビデオを受信し、例えば復号されたビデオ信号を表示（例えば、ユーザに対する表示）のため、処理のため、又は記憶のために提供する他の装置であり得る。
【００８４】
復号システム１０９は、データ情報を受信し、処理することができる。受信するシステム又は装置１０９は、符号化された信号ＳＩＧを受信するための受信機１０４を含む。
【００８５】
受信機１０４は、例えば、符号化された写真を表す複数のビットストリームを有するプログラム信号を受信するようになされ得る。典型的な受信機は、例えば、変調され、符号化されたデータ信号の受信、復調器（図示せず）を用いた１つ又は複数のキャリアからのデータ信号の復調、信号内のエネルギーのデランダマイズ、信号中のデータのデインタリービング及び信号のエラー補正復号の１つ又は複数等の機能を実行する。受信機１０４は、アンテナ（図示せず）を含むか又はそれと接続され得る。受信機１０４の実装形態は、復調器に限定され得る。
【００８６】
次に、受信機１０４は、符号化されたビットストリームＳＴＲをビデオデコーダ１０５に供給する。
【００８７】
ビデオデコーダ１０５は、ビットストリームＳＴＲを解析して、復号する写真に対応するアクセスユニットＡＵを抽出するようになされたストリームパーサ（図示せず）を含む。ストリームパーサは、ＡＵから、アクセスユニットのＶＬＣ  ＮＡＬユニット及びＳＥＩ  ＮＡＬユニットからコード化されたビデオデータを抽出するようにもなされている。ストリームパーサは、例えば、処理ウィンドウネスティングＳＥＩメッセージをＳＥＩ  ＮＡＬユニットから抽出する。処理ウィンドウネスティングＳＥＩメッセージをＳＥＩ  ＮＡＬユニットから抽出する処理ウィンドウネスティングＳＥＩメッセージのシンタックス要素は、コード化ステージ中に使用されるシンタックスに従って復号される。例えば、シンタックス要素は、図２Ｃのエントロピデコーダにより復号される。処理ウィンドウネスティングＳＥＩメッセージの復号により、後処理メタデータセットＭＤを得ることができる。
【００８８】
処理ウィンドウネスティングＳＥＩメッセージの復号は、ストリームパーサ自体により、又はメッセージ内で定義される後処理ステップを適用するようになされたポストプロセッサにより実行され得る。メタデータセットＭＤは、写真内の、後処理が適用される領域の位置特定を可能にする座標（左オフセット、右オフセット、上オフセット及び下オフセット）及びその領域に適用される後処理ステップを定義するパラメータを含む。メタデータセットＭＤは、同じ後処理が適用される幾つかの領域及び／又は異なる後処理が適用される幾つかの領域を含み得る。
【００８９】
次に、コード化されたビデオデータは、ビデオデコーダ１０５のビデオ復号モジュールに渡される。ビデオデコーダ１０５は、図２Ｃに示されているようなビデオ復号モジュールを含み得る。
【００９０】
図２Ｃに示されるように、ビデオコード化データは、エントロピ復号モジュールに渡され、これは、エントロピ復号を実行して、量子化された係数ＣＯＥＦを逆量子化モジュールに、またシンタックス要素を予測モジュールに供給する。
【００９１】
量子化された係数ＣＯＥＦは、逆量子化モジュールによって逆量子化され、逆変換モジュールによって逆変換されて、残留ブロックデータＲＥＳ’が供給される。予測モジュールは、シンタックス要素に従って、また現在のブロックがインタ予測された場合にはモーション補償モジュールを用い、現在のブロックが空間的に予測された場合にはイントラ予測モジュールを用いて予測ブロックＰＲＥＤを構築する。再構成された写真Ｄ＿ＰＩＣは、予測ブロックＰＲＥＤ及び残留ブロックＲＥＳ’を加えることによって得られる。再構成された写真Ｄ＿ＰＩＣは、後に参照フレームとして使用するために参照フレームメモリに追加される。
【００９２】
再構成された写真Ｄ＿ＰＩＣは、その後、ビデオデコーダ１０５により出力される。
【００９３】
図１に戻ると、ビデオデコーダ１０５により出力された再構成された写真Ｄ＿ＰＩＣは、メタデータセットＭＤと共にポストプロセッサ１０６に入力される。幾つかの実施形態において、デコーダ装置１０５は、セットトップボックス内に含まれ得る。
【００９４】
ポストプロセッサ１０６は、メタデータセットＭＤ中で定義された後処理パラメータを、メタデータセットＭＤ中で示された座標により定義される領域に適用する。一例として、図７は、再構成された写真Ｄ＿ＰＩＣの、後処理Ｐ１及びＰ２をそれぞれ適用すべき２つの領域Ｒ１及びＲ２を示す。例えば、領域Ｒ１のためのカラーグレーディング又は処理動作を定義する第一のパラメータセットＰ１は、処理ウィンドウＳＥＩメッセージ中にネスティングされるＳＥＩメッセージにコード化されており、領域Ｒ２のための別のカラーグレーディング又は処理動作を定義する第二のパラメータセットＰ２は、処理ウィンドウＳＥＩメッセージ中にネスティングされる別のＳＥＩメッセージにコード化されている。このような例は、表２又は３に示されるようなシンタックスを用いて１つの処理ウィンドウネスティングＳＥＩメッセージに、又は表１により示されるシンタックスを用いて２つの別々の処理ウィンドウネスティングＳＥＩメッセージ中にコード化され得る。
【００９５】
図７の例において、ポストプロセッサ１０６は、後処理パラメータＰ１を、写真Ｄ＿ＰＩＣの領域Ｒ１に含まれるピクセルに適用し、後処理パラメータＰ２を、Ｄ＿ＰＩＣの領域Ｒ２に含まれるピクセルに適用する。
【００９６】
ポストプロセッサ１０６は、次に、処理された写真Ｐ−ＰＩＣをレンダラ１０７に出力する。
【００９７】
幾つかの実施形態において、ポストプロセッサ１０６は、レンダラ１０７又はデコーダ装置１０５に含まれ得る。
【００９８】
したがって、レンダラ１０７は、例えば、テレビの画面、コンピュータモニタ、コンピュータ（記憶、処理又は表示用）又は他の何れかの記憶、処理若しくは表示装置であり得る。
【００９９】
レンダラ１０７は、デコーダ１０５及びポストプロセッサ１０６と同じ装置に埋め込まれ得る。
【０１００】
本開示の１つの実施形態は、ビデオをコード化する方法に関する。図３は、本開示の１つの実施形態によるこのようなビデオのコード化方法のブロック図を示す。
【０１０１】
ビデオコード化方法は、ステップ３００から始まる。ステップ３０１では、ビデオの写真がビットストリームに符号化される。例えば、図２Ａに関して説明した、写真をコード化する符号化装置が使用され得る。ステップ３０２では、少なくとも１つのSupplemental Enhancement Informationネスティングメッセージが符号化される。このようなＳＥＩネスティングメッセージは、本開示では処理ウィンドウＳＥＩメッセージとも呼ばれる。ステップ３０２は、前記写真内の領域の位置を表すパラメータの少なくとも１つのセットを符号化するサブステップ３０３を含む。例えば、このようなパラメータセットは、図７の領域Ｒ１の座標であり得、これは、写真の左境界からの左オフセット、写真の右境界から定義される右オフセット、写真の上境界から定義される上オフセット及び写真の下境界から定義される下オフセットにより定義される。このような座標により、その写真内の長方形の領域Ｒ１を定義できる。したがって、領域Ｒ１からのピクセルは、後処理中に容易に位置特定され得る。
【０１０２】
ステップ３０２は、少なくとも１つのSupplemental Enhancement Informationメッセージ（ＳＥＩ）を符号化するサブステップ３０４も含む。このようなＳＥＩメッセージのペイロードは、その写真の前記領域に含まれるピクセルを処理するための処理メタデータを符号化する。このようなＳＥＩメッセージ中で符号化するシンタックス及びパラメータは、その領域に行われる処理のタイプに依存する。本開示の利点は、既存のＳＥＩメッセージの再使用が可能となることである。したがって、このようなＳＥＩメッセージのシンタックス及びコード化についてここでさらに説明しない。このようなＳＥＩメッセージの例は、ＡＣＶ／Ｈ．２６４又はＨＥＶＣ／ＩＴＵ−Ｔ  Ｈ２６５  High Efficiency Video Coding等の標準の定義において開示されている。このようなＳＥＩメッセージは、２０１５年４月のＩＴＵ−Ｔ  Ｈ．２６５の付属書Ｅで定義されている。セクション２．１５のtone_mapping_info()、セクションＤ２．１４のpost_filter_hint()及びセクションＤ２．３２のcolour_remapping_info()は、ネスティングＳＥＩにネスティングされ得るこのようなＳＥＩメッセージの例である。
【０１０３】
ステップ３０１及び３０２は、コード化する必要のあるビデオコンテンツの各写真について実行される。ステップ３０２は、制作ステージ中に１つの写真についてメタデータが生成されたか否かに応じて、ビデオコンテンツの幾つかの写真に対してのみ必要であり得る。
【０１０４】
次に、ビデオコード化方法は、ステップ３０５で終了する。
【０１０５】
別の実施形態によれば、ステップ３０２は、前記写真内で前記少なくとも１つのＳＥＩメッセージを適用する領域の数Ｒを示すパラメータの符号化を実行するサブステップ３０６（図示せず）をさらに含む。この実施形態において、前記写真内のＲ個の領域は、後処理を必要とし、これらのＲ個の領域の各々の座標を符号化する必要がある。
【０１０６】
したがって、このような数が１より大きい場合、サブステップ３０３は、Ｒ個の領域の各々の座標が符号化されるまで繰り返される。このような実施形態は、表２又は３に示されている。
【０１０７】
別の実施形態によれば、ステップ３０２は、後処理ＳＥＩメッセージの数Ｎを示すパラメータの符号化を実行するサブステップ３０７をさらに含む。この実施形態において、Ｎ個のＳＥＩメッセージ、すなわち後処理パラメータのＮ個のセットをＳＥＩネスティングメッセージ中で符号化しなければならない。したがって、このような数が１より大きい場合、サブステップ３０４は、Ｎ個と等しい数のＳＥＩメッセージが符号化されるまで繰り返される。このような実施形態は、表２に示されている。
【０１０８】
本開示の１つの実施形態は、ビデオを復号する方法を示す。図４は、本開示の１つの実施形態によるこのようなビデオの復号方法のブロック図を示す。
【０１０９】
ビデオ復号方法は、ステップ４００から始まる。ステップ４０１では、ビデオの写真がビットストリームから復号され、復号された写真が供給される。例えば、図２Ｃに関して説明した写真を復号するための復号装置が使用され得る。ステップ４０２では、少なくとも１つのSupplemental Enhancement Informationネスティングメッセージが復号される。このようなＳＥＩネスティングメッセージは、本開示では処理ウィンドウＳＥＩメッセージとも呼ばれる。ステップ４０２は、前記写真内の領域の位置を表す少なくとも１つのパラメータセットを復号するサブステップ４０３を含む。例えば、このようなパラメータセットは、図７の領域Ｒ１の座標であり得、これは、写真の左境界からの左オフセット、写真の右境界から定義される右オフセット、写真の上境界から定義される上オフセット及び写真の下境界から定義される下オフセットにより定義される。このような座標により、写真内の長方形の領域Ｒ１を定義することが可能となる。また、したがって、領域Ｒ１のピクセルは、後処理中に容易に位置特定できる。
【０１１０】
ステップ４０２は、少なくとも１つのSupplemental Enhancement Informationメッセージ（ＳＥＩ）を復号するサブステップ４０４も含む。このようなＳＥＩメッセージのペイロードは、写真の前記領域に含まれるピクセルを処理するための処理メタデータを含む。
【０１１１】
ステップ４０１及び４０２は、復号する必要のあるビデオコンテンツの各写真について実行される。ステップ４０２は、タイプ処理ウィンドウネスティングメッセージのＳＥＩネスティングメッセージを含む少なくとも１つのＳＥＩ  ＮＡＬユニットが現在の写真に対応するアクセスユニット内に存在する場合にのみ必要であり得る。このようなＳＥＩ  ＮＡＬユニットがアクセスユニット内にない場合、これは、領域ごとの処理のためのメタデータがビデオコード化データと共に送信されなかったことを意味する。その後、ビデオ復号方法は、ステップ４０５で終了する。
【０１１２】
別の実施形態によれば、ステップ４０２は、前記写真内の、前記少なくとも１つのＳＥＩメッセージが適用される領域の数Ｒを示すパラメータの復号を実行するサブステップ４０６（図示せず）をさらに含む。この実施形態において、前記写真内のＲ個の領域を後処理する必要があり、これらのＲ個の領域の各々の座標を復号する必要がある。
【０１１３】
したがって、このような数が１より大きい場合、サブステップ４０３は、Ｒ個の領域の各々の座標が復号されるまで繰り返される。このような実施形態は、表２又は３に示されている。
【０１１４】
別の実施形態によれば、ステップ４０２は、ＳＥＩメッセージの数Ｎを示すパラメータの復号を実行するサブステップ４０７をさらに含む。この実施形態において、Ｎ個のＳＥＩメッセージ、すなわち後処理パラメータのＮ個のセットをＳＥＩネスティングメッセージ中で復号しなければならない。したがって、このような数が１より大きい場合、サブステップ４０４は、Ｎ個と等しい数のＳＥＩメッセージが復号されるまで繰り返される。このような実施形態は、表２に示されている。
【０１１５】
図５は、ある実施形態によるビデオをコード化する装置（ＥＮＣＯＤＥＲ）の簡略化した構造を示す。このようなビデオコード化装置は、図１〜３に関して上述した本発明の原理によるビデオのコード化方法を実行するように構成される。図５のエンコーダ装置は、一例として、図１において説明されているエンコーダ１０２であり得る。
【０１１６】
図５に示される例において、エンコーダ装置は、処理ユニットＰＲＯＣを含み、これは、例えば、プロセッサを備え、メモリＭＥＭに記憶されたコンピュータプログラムＰＧにより駆動され、本発明の原理によるビデオコード化方法を実行する。
【０１１７】
エンコーダ装置ＥＮＣＯＤＥＲは、
−  前記ビデオの少なくとも１つの写真をビットストリームに符号化することと、
−  少なくとも１つのSupplemental Enhancement Informationネスティングメッセージを符号化することと
を行うように構成され、前記少なくとも１つのSupplemental Enhancement Informationネスティングメッセージを符号化する際、エンコーダは、
−  前記写真内の領域の位置を表す少なくとも１つのパラメータセットを符号化することと、
−  少なくとも１つのSupplemental Enhancement Informationを符号化することと
を行うようにさらに構成され、前記少なくとも１つのSupplemental Enhancement Informationメッセージは、前記写真の前記領域に含まれるピクセルを処理するための処理メタデータを符号化する。
【０１１８】
初期化において、コンピュータプログラムＰＧのコード命令は、例えば、ＲＡＭ（図示せず）にロードされ、その後、処理ユニットＰＲＯＣのプロセッサによって実行される。処理ユニットＰＲＯＣのプロセッサは、コンピュータプログラムＰＧの命令に従って、上述したビデオコード化方法のステップを実行する。
【０１１９】
任意選択により、エンコーダ装置ＥＮＣＯＤＥＲは、符号化されたビットストリームをデコーダに送信するための通信ユニットＣＯＭを含む。
【０１２０】
エンコーダ装置ＥＮＣＯＤＥＲは、コード化すべき写真、前記写真内の領域の位置を表すパラメータセット及び符号化するための処理メタデータを受信するためのインタフェースも含む。
【０１２１】
図６は、ある実施形態によるビデオを復号する装置（ＤＥＣＯＤＥＲ）の簡略化した構造を示す。このようなビデオ復号装置は、図１〜４に関して上述した本発明の原理によるビデオの復号方法を実行するように構成される。図６の復号装置は、一例として、図１において説明されているデコーダ１０５であり得る。
【０１２２】
図５に示される例において、デコーダ装置は、処理ユニットＰＲＯＣを含み、これは、例えば、プロセッサを備え、メモリＭＥＭに記憶されたコンピュータプログラムＰＧにより駆動され、本発明の原理によるビデオ復号方法を実行する。
【０１２３】
デコーダ装置ＤＥＣＯＤＥＲは、
−  前記ビデオの少なくとも１つの写真を前記ビットストリームから復号して、復号された写真を供給することと、
−  少なくとも１つのSupplemental Enhancement Informationネスティングメッセージを復号することと
を行うように構成され、前記少なくとも１つのSupplemental Enhancement Informationネスティングメッセージを復号する際、デコーダは、
−  前記復号された写真内の領域の位置を表す少なくとも１つのパラメータセットを復号することと、
−  少なくとも１つのSupplemental Enhancement Informationメッセージを復号することと
を行うようにさらに構成され、前記少なくとも１つのSupplemental Enhancement Informationメッセージは、前記復号された写真の前記領域に含まれるピクセルを処理するための処理メタデータを含む。
【０１２４】
初期化において、コンピュータプログラムＰＧのコード命令は、例えば、ＲＡＭ（図示せず）にロードされ、その後、処理ユニットＰＲＯＣのプロセッサによって実行される。処理ユニットＰＲＯＣのプロセッサは、コンピュータプログラムＰＧの命令に従って、上述したビデオ復号方法のステップを実行する。
【０１２５】
任意選択により、復号装置ＤＥＣＯＤＥＲは、符号化されたビットストリームをエンコーダから受信するための通信ユニットＣＯＭを含む。
【０１２６】
デコーダ装置ＤＥＣＯＤＥＲは、ポストプロセッサと通信して、前記写真内の領域の位置を表す復号されたパラメータセット及び前記復号された写真内の前記領域のピクセルに適用する復号された処理メタデータを送信するようになされたインタフェースも含む。
【図１】
2019512985.tif 000007
【図２Ａ】
2019512985.tif 000008
【図２Ｂ】
2019512985.tif 000009
【図２Ｃ】
2019512985.tif 000010
【図３】
2019512985.tif 000011
【図４】
2019512985.tif 000012
【図５】
2019512985.tif 000013
【図６】
2019512985.tif 000014
【図７】
2019512985.tif 000015
【国際調査報告】
2019512985.tif 000016
2019512985.tif 000017
2019512985.tif 000018