(57)【要約】  符号化された映像表現（１２）を提供するための映像符号器（２）であって、映像符号器（２）が、複数の符号化パラメータ（２０、２２、２６、３０）を記述する符号化されたパラメータ情報、符号化された映像コンテンツ情報、ならびに符号化された映像表現（１２）を別の符号化された映像表現とマージできるか否か、および／または、どのようにしてマージできるかを指示する１つまたは複数のマージ識別子を含む映像ストリーム（１２）を提供するように構成される、映像符号器（２）。【選択図】図１
2022501889.tif 000002
【特許請求の範囲】
【請求項１】
符号化された映像表現（１２）を提供するための映像符号器（２）であって、
前記映像符号器（２）が、複数の符号化パラメータ（２０、２２、２６、３０）を記述する符号化されたパラメータ情報、符号化された映像コンテンツ情報、ならびに前記符号化された映像表現（１２）を別の符号化された映像表現とマージできるか否か、および／または、どのようにしてマージできるかを指示する１つまたは複数のマージ識別子を含む映像ストリーム（１２）を提供するように構成される、映像符号器（２）。
【請求項２】
どの複雑さを使用するかが、前記パラメータ情報によって定義されたパラメータ値に基づいて決定される、請求項１に記載の映像符号器（２）。
【請求項３】
前記マージ識別子が、複数の符号化パラメータ（２０、２２、２６、３０）の連結である、請求項１または２に記載の映像符号器（２）。
【請求項４】
前記マージ識別子が、複数の符号化パラメータ（２０、２２、２６、３０）の連結のハッシュ値である、請求項１から３のいずれか一項に記載の映像符号器（２）。
【請求項５】
前記マージ識別子が、マージ手順の複雑さを表すマージ識別子タイプ（４０、４２、４４）を指示する、請求項１から４のいずれか一項に記載の映像符号器（２）。
【請求項６】
前記マージ識別子タイプ（４０、４２、４４）の値がマージプロセスを指示し、前記映像符号器が、前記マージ識別子タイプの以下の値、すなわち、
パラメータセット（２０、２２、２６）の書き換えによるマージプロセスを表す前記マージ識別子タイプ（４０）の第１の値、
パラメータセット（２０、２２、２６）およびスライスヘッダ（３０）の書き換えによるマージプロセスを表す前記マージ識別子タイプ（４２）の第２の値、
ならびに、パラメータセット（２０、２２、２６）、スライスヘッダ（３０）、およびスライスペイロード（３２）の書き換えによるマージプロセスを表す前記マージ識別子タイプ（４４）の第３の値、のうちの少なくとも２つを切り替えるように構成される、請求項５に記載の映像符号器（２）。
【請求項７】
複数のマージ識別子が、マージ手順の異なる複雑さと関連付けられている、請求項１から６のいずれか一項に記載の映像符号器（２）。
【請求項８】
前記符号器（２）が、前記マージ識別子の提供のために評価される前記符号化パラメータ（２０、２２、２６、３０）が映像シーケンスのすべてのユニットにおいて同一であるか否かをチェックし、前記チェックに依存して前記マージ識別子を提供するように構成される、請求項１から７のいずれか一項に記載の映像符号器（２）。
【請求項９】
前記複数の符号化パラメータ（２０、２２、２６、３０）が、完全な画素復号によるマージよりも複雑さが少ないマージを可能にするために異なる映像ストリームにおいて同一でなければならないマージ関連パラメータを含み、
前記映像符号器（２）が、前記マージ関連パラメータに基づいて前記１つまたは複数のマージ識別子を提供するように構成される、請求項１から８のいずれか一項に記載の映像符号器（２）。
【請求項１０】
前記マージ関連パラメータが、以下のパラメータ、すなわち、タイル境界における動き制約を記述するパラメータ、画像群（ＧＯＰ）構造に関する情報、クロマ符号化フォーマットを記述するパラメータおよびルマ符号化フォーマットを記述するパラメータ、高度動きベクトル予測を記述するパラメータ、サンプル適応オフセットを記述するパラメータ、時間的動きベクトル予測を記述するパラメータ、ならびにループフィルタを記述するパラメータ、のうちの１つまたは複数または全部を含む、請求項９に記載の映像符号器（２）。
【請求項１１】
マージ手順の第１の複雑さと関連付けられたマージ識別子が、前記第１の複雑さよりも高いマージ手順の第２の複雑さと関連付けられたマージパラメータが、第１の符号化パラメータセットの真のサブセットである第２の符号化パラメータセットに基づいて決定されるときに、前記第１の符号化パラメータセットに基づいて決定される、請求項１から７のいずれか一項に記載の映像符号器（２）。
【請求項１２】
前記第２の複雑さよりも高いマージ手順の第３の複雑さと関連付けられたマージ識別子が、前記第２の符号化パラメータセットの真のサブセットである第３の符号化パラメータセットに基づいて決定される、請求項１１に記載の映像符号器（２）。
【請求項１３】
前記映像符号器（２）が、前記マージ手順の前記第１の複雑さと関連付けられた前記マージ識別子を、スライスヘッダおよびスライスペイロードを不変のままにして複数のスライスに適用可能なパラメータセットを変更するだけの２つの異なる映像ストリームのマージを可能にするために前記映像ストリームにおいて等しくなければならない符号化パラメータセットに基づいて決定するように構成される、請求項１１または１２に記載の映像符号器（２）。
【請求項１４】
前記映像符号器（２）が、前記第１の複雑さと関連付けられた前記マージ識別子を、以下のパラメータ、すなわち、
タイルおよび画像境界における動き制約を指示するパラメータ、
前記ＧＯＰ構造を定義するパラメータ、
参照画像セットを記述するパラメータ、
クロマフォーマットを記述するパラメータ、
基準量子化パラメータおよびクロマ量子化パラメータを記述するパラメータ、
ビット深度ルマ／クロマを記述するパラメータ、
初期到着遅延に関するパラメータおよびパラメータ初期削除遅延を含む仮想の参照復号器パラメータを記述するパラメータ、
符号化ブロック構造を記述するパラメータ、
変換最小および／または最大サイズを記述するパラメータ、
パルス符号変調ブロックの使用法を記述するパラメータ、
高度動きベクトル予測を記述するパラメータ、
サンプル適応オフセットを記述するパラメータ、
時間的動きベクトル予測を記述するパラメータ、
イントラ平滑化を記述するパラメータ、
依存スライスを記述するパラメータ、
符号隠蔽を記述するパラメータ、
重み付き予測を記述するパラメータ、
トランスクワントバイパスを記述するパラメータ、
エントロピー符号化同期を記述するパラメータ、
ループフィルタを記述するパラメータ、
パラメータセットＩＤを含むスライスヘッダ値を記述するパラメータ、
参照画像セットを含むスライスヘッダ値を記述するパラメータ、
ならびに、暗黙的な符号化変換ユニット・アドレス・通知の使用法を記述するパラメータ、のうちの１つまたは複数または全部に基づいて決定するように構成される、請求項１１から１２のいずれか一項に記載の映像符号器（２）。
【請求項１５】
前記映像符号器（２）が、前記マージ手順の前記第２の複雑さと関連付けられた前記マージ識別子を、スライスペイロードを不変のままにして複数のスライスに適用可能なパラメータセットを変更し、スライスヘッダも変更する２つの異なる映像ストリームのマージを可能にするために前記映像ストリームにおいて等しくなければならない符号化パラメータセットに基づいて決定するように構成される、請求項１１から１４のいずれか一項に記載の映像符号器（２）。
【請求項１６】
前記映像符号器（２）が、前記第２の複雑さと関連付けられた前記マージ識別子を、以下のパラメータ、すなわち、
タイルおよび画像境界における動き制約を指示するパラメータ、
ＧＯＰ構造を定義するパラメータ、
クロマフォーマットを記述するパラメータ、
ビット深度ルマ／クロマを記述するパラメータ、
符号化ブロック構造を記述するパラメータ、
変換最小および／または最大サイズを記述するパラメータ、
パルス符号変調ブロックの使用法を記述するパラメータ、
高度動きベクトル予測を記述するパラメータ、
サンプル適応オフセットを記述するパラメータ、
時間的動きベクトル予測を記述するパラメータ、
イントラ平滑化を記述するパラメータ、
符号隠蔽を記述するパラメータ、
トランスクワントバイパスを記述するパラメータ、
エントロピー符号化同期を記述するパラメータ、
ループフィルタを記述するパラメータ、ならびに
参照画像セットを含むスライスヘッダ値を記述するパラメータ、のうちの１つまたは複数または全部に基づいて決定するように構成される、請求項１１から１５のいずれか一項に記載の映像符号器（２）。
【請求項１７】
前記映像符号器（２）が、前記マージ手順の前記第３の複雑さと関連付けられた前記マージ識別子を、複数のスライスに適用可能なパラメータセットを変更し、スライスヘッダおよびスライスペイロードも変更するが、完全な画素復号および画素再符号化を実行されない２つの異なる映像ストリームのマージを可能にするために前記映像ストリームにおいて等しくなければならない符号化パラメータセットに基づいて決定するように構成される、請求項１２から１６のいずれか一項に記載の映像符号器（２）。
【請求項１８】
前記映像符号器（２）が、前記第３の複雑さと関連付けられた前記マージ識別子を、以下のパラメータ、すなわち、
タイルおよび画像境界における動き制約を指示するパラメータ、
前記ＧＯＰ構造を定義するパラメータ、
クロマフォーマットを記述するパラメータ、
ビット深度ルマ／クロマを記述するパラメータ、
高度動きベクトル予測を記述するパラメータ、
サンプル適応オフセットを記述するパラメータ、
時間的動きベクトル予測を記述するパラメータ、ならびに
ループフィルタを記述するパラメータ、のうちの１つまたは複数または全部に基づいて決定するように構成される、請求項１１から１７のいずれか一項に記載の映像符号器（２）。
【請求項１９】
前記映像符号器（２）が、第２の複雑さよりも低いマージ手順の第１の複雑さと関連付けられている第１のマージ識別子を取得するために、マージ手順の前記第２の複雑さと関連付けられている、第２のマージ識別子と、前記第２のマージ識別子の前記決定において考慮されていない１つまたは複数の符号化パラメータとの連結にハッシュ関数を適用するように構成される、請求項１から１８のいずれか一項に記載の映像符号器（２）。
【請求項２０】
前記映像符号器（２）が、第３の複雑さよりも低いマージ手順の第２の複雑さと関連付けられている第２のマージ識別子を取得するために、マージ手順の前記第３の複雑さと関連付けられている、第３のマージ識別子と、前記第３のマージ識別子の前記決定において考慮されていない１つまたは複数の符号化パラメータとの連結にハッシュ関数を適用するように構成される、請求項１から１９のいずれか一項に記載の映像符号器（２）。
【請求項２１】
複数の符号化された映像表現（１２ａ、１２ｂ）に基づいてマージされた映像表現（６０）を提供するための映像マージャ（５０）であって、
前記映像マージャ（５０）が、複数の符号化パラメータ（２０、２２、２６、３０）を記述する符号化されたパラメータ情報、符号化された映像コンテンツ情報、ならびに前記符号化された映像表現（１２ａ）を別の符号化された映像表現（１２ｂ）とマージできるか否か、および／または、どのようにしてマージできるかを指示する１つまたは複数のマージ識別子を含む複数の映像ストリーム（１２ａ、１２ｂ）を受け取るように構成され、
前記映像マージャ（５０）が、マージ方法の使用法に関して、前記マージ識別子に依存して決定するように構成される、映像マージャ（５０）。
【請求項２２】
前記映像マージャ（５０）が、前記マージ識別子に依存して、複数のマージ方法の中から、マージ方法を選択するように構成される、請求項２１に記載の映像マージャ（５０）。
【請求項２３】
前記映像マージャ（５０）が、以下のマージ方法、すなわち、
スライスヘッダ（３０）およびスライスペイロード（３２）を不変のままにして複数のスライス（２８）に適用可能なパラメータセット（２０、２２、２６）を変更するだけの前記映像ストリーム（１２ａ、１２ｂ）のマージである、第１のマージ方法、
スライスペイロード（３２）を不変のままにして複数のスライス（２８）に適用可能なパラメータセット（２０、２２、２６）を変更し、スライスヘッダ（３０）も変更する前記映像ストリーム（１２ａ、１２ｂ）のマージである、第２のマージ方法、
ならびに、複数のスライス（２８）に適用可能なパラメータセット（２０、２２、２６）を変更し、スライスヘッダ（３０）およびスライスペイロード（３２）も変更するが、前記１つまたは複数のマージ識別子に依存した完全な画素復号および画素再符号化を実行されない前記映像ストリーム（１２ａ、１２ｂ）のマージである、第３のマージ方法、のうちの少なくとも２つから選択するように構成される、請求項２２に記載の映像マージャ（５０）。
【請求項２４】
前記映像マージャ（５０）が、前記１つまたは複数のマージ識別子に依存して、完全な画素復号および画素再符号化を使用した映像ストリームのマージである第４のマージ方法を選択的に使用するように構成される、請求項２３に記載の映像マージャ（５０）。
【請求項２５】
前記映像マージャ（５０）が、同じ所与のマージ方法と関連付けられた２つ以上の映像ストリームのマージ識別子を比較し、前記比較の結果に依存して前記所与のマージ方法を使用してマージを実行するか否かの判断を実行するように構成される、請求項２２から２４のいずれか一項に記載の映像マージャ（５０）。
【請求項２６】
前記映像マージャ（５０）が、前記比較により、前記所与のマージ方法と関連付けられた前記２つ以上の映像ストリームの前記マージ識別子が等しいことが指示される場合、前記所与のマージ方法を使用してマージを選択的に実行するように構成される、請求項２５に記載の映像マージャ（５０）。
【請求項２７】
前記映像マージャ（５０）が、前記比較により、前記所与のマージ方法と関連付けられた前記２つ以上の映像ストリームの前記マージ識別子が異なることが指示される場合、前記所与のマージ方法よりも高い複雑さを有するマージ方法を使用するように構成される、請求項２５に記載の映像マージャ（５０）。
【請求項２８】
前記映像マージャ（５０）が、前記比較により、前記所与のマージ方法と関連付けられた２つ以上の映像ストリームの前記マージ識別子が等しいことが指示される場合、前記所与のマージ方法を使用した前記映像ストリームのマージを可能にするために前記２つ以上の映像ストリームにおいて等しくなければならない符号化パラメータ（２０、２２、２６、３０）を選択的に比較するように構成され、
前記映像マージャ（５０）が、前記符号化パラメータ（２０、２２、２６、３０）の前記比較により、前記符号化パラメータが等しいことが指示される場合、前記所与のマージ方法を使用してマージを選択的に実行するように構成され、
前記映像マージャ（５０）が、前記符号化パラメータの前記比較により、前記符号化パラメータが違いを含むことが指示される場合、前記所与のマージ方法よりも高い複雑さを有するマージ方法を使用してマージを実行するように構成される、請求項２７に記載の映像マージャ（５０）。
【請求項２９】
前記映像マージャ（５０）が、異なる複雑さを有するマージ方法と関連付けられたマージ識別子を比較するように構成され、
前記映像マージャ（５０）が、マージされるべき前記２つ以上の映像ストリームにおいて関連付けられたマージ識別子が等しい最低の複雑さのマージ方法を使用して前記２つ以上の映像ストリームをマージするように構成される、請求項２１から２８のいずれか一項に記載の映像マージャ（５０）。
【請求項３０】
前記映像マージャ（５０）が、異なる複雑さを有するマージ方法と関連付けられたマージ識別子を比較するように構成され、
前記映像マージャ（５０）が、マージされるべき前記２つ以上の映像ストリームにおいて関連付けられたマージ識別子が等しい最低の複雑さのマージ方法を識別するように構成され、
前記映像マージャが、識別されたマージ方法を使用したマージを可能にするためにマージされるべき前記２つ以上の映像ストリームにおいて等しくなければならない、符号化パラメータセット（２０、２２、２６、３０）を比較するように構成され、
前記映像マージャ（５０）が、前記比較により、前記識別されたマージ方法と関連付けられた前記符号化パラメータセットの前記符号化パラメータ（２０、２２、２６、３０）がマージされるべき前記映像ストリームにおいて等しいことが指示される場合、前記識別されたマージ方法を使用して前記２つ以上の映像ストリームを選択的にマージするように構成される、請求項２２から２９のいずれか一項に記載の映像マージャ（５０）。
【請求項３１】
前記映像マージャ（５０）が、マージされるべき異なる映像ストリームのマージ識別子間の１つまたは複数の違いに依存してどの符号化パラメータがマージプロセスにおいて変更されるべきかを決定するように構成される、請求項２２から３０のいずれか一項に記載の映像マージャ（５０）。
【請求項３２】
前記映像マージャ（５０）が、マージされるべき異なる映像ストリームの、前記所与の複雑さよりも低い複雑さを有するマージ方法と関連付けられた、マージ識別子間の１つまたは複数の違いに依存して、どの符号化パラメータが所与の複雑さを有するマージ方法において変更されるべきかを決定するように構成される、請求項３１に記載の映像マージャ（５０）。
【請求項３３】
前記映像マージャ（５０）が、マージされるべき前記映像ストリームの符号化パラメータ（２０、２２、２６、３０）に基づいて、マージされるべきすべての前記映像ストリームのスライス（２８）と関連付けられている、結合符号化パラメータを取得し、
前記結合符号化パラメータを前記マージされた映像ストリーム（６０）に含める、ように構成される、請求項２１から３２のいずれか一項に記載の映像マージャ（５０）。
【請求項３４】
前記映像マージャ（５０）が、前記マージされた映像ストリーム（６０）に含められるべき変更されたスライスを取得するために、個々のビデオスライス（２８）と個別に関連付けられた符号化パラメータを適応させるように構成される、請求項３３に記載の映像マージャ（５０）。
【請求項３５】
前記適応された符号化パラメータが、前記マージされた符号化された映像表現の画像サイズを表すパラメータを含み、前記画像サイズが、マージされるべき前記符号化された映像表現の前記画像サイズに基づいて計算される、請求項３４に記載の映像マージャ（５０）。
【請求項３６】
符号化された映像表現を提供するための方法であって、
複数の符号化パラメータ（２０、２２、２６、３０）を記述する符号化されたパラメータ情報、符号化された映像コンテンツ情報、ならびに前記符号化された映像表現（１２）を別の符号化された映像表現とマージできるか否か、および／または、どのようにしてマージできるかを指示する１つまたは複数のマージ識別子を含む映像ストリーム（１２）を提供すること、を含む、方法。
【請求項３７】
複数の符号化された映像表現に基づいてマージされた映像表現を提供するための方法であって、
複数の符号化パラメータ（２０、２２、２６、３０）を記述する符号化されたパラメータ情報、符号化された映像コンテンツ情報、ならびに前記符号化された映像表現（１２ａ）を別の符号化された映像表現（１２ｂ）とマージできるか否か、および／または、どのようにしてマージできるかを指示する１つまたは複数のマージ識別子を含む複数の映像ストリーム（１２ａ、１２ｂ）を受け取ることと、
前記マージ識別子に依存して、複数のマージ方法の中から、マージ方法を選択することと、を含む、方法。
【請求項３８】
２つ以上の映像ストリームをマージするためのマージ方法であって、
符号化された映像コンテンツ情報を不変のままにして異なる映像ストリームの符号化パラメータ情報に基づいて共通の符号化パラメータ情報を提供することと、
前記不変の符号化された映像コンテンツ情報に基づいて前記マージ手順を選択すること、
前記選択されたマージ手順を使用して２つ以上の映像ストリームをマージすることと、を含む、マージ方法。
【請求項３９】
コンピュータ上で動作するときに、請求項３６から３８のいずれか一項に記載の方法を実行するためのプログラムコードを有するコンピュータプログラム。
【請求項４０】
請求項３６から３８のいずれか一項に記載の方法によって生成されたデータストリーム。
【請求項４１】
符号化された映像表現（１２）を提供するための映像符号器（２）であって、
前記映像符号器（２）が、複数の所定の機能レベルのうちの機能レベルを有する映像復号器との映像ストリームの互換性を記述する、粗い粒度機能需要情報を提供するように構成され、
前記映像符号器（２）が、前記符号化された映像表現を復号するために前記所定の機能レベルのうちの１つと関連付けられた許容可能な機能需要のどの分率が必要であるかを記述する、および／または前記符号化された映像表現（１２）が、許容可能な機能需要のどの分率を、その機能需要が前記所定の機能レベルのうちの１つと一致するマージされた映像ストリーム（６０）に寄与するかを記述する、細かい粒度機能需要情報を提供するように構成される、映像符号器（２）。
【請求項４２】
前記映像符号器（２）が、前記細かい粒度機能需要情報が比率値およびパーセンテージ値を含むような、前記細かい粒度機能需要情報を提供するように構成される、請求項４１に記載の映像符号器（２）。
【請求項４３】
前記映像符号器（２）が、前記細かい粒度機能需要情報が、前記粗い粒度機能需要情報によって記述される前記所定の機能レベルを参照する比率値またはパーセンテージ値を含むような、前記細かい粒度機能需要情報を提供するように構成される、請求項４１または４２に記載の映像符号器（２）。
【請求項４４】
前記映像符号器（２）が、前記細かい粒度機能需要情報が参照情報および分率情報を含むような、前記細かい粒度機能需要情報を提供するように構成され、
前記参照情報が、前記分率情報が前記所定の機能レベルのうちのどれを参照するかを記述する、請求項４１から４３のいずれか一項に記載の映像符号器（２）。
【請求項４５】
前記映像符号器（２）が、前記細かい粒度機能需要情報が、前記符号化された映像表現（６０）の前記機能需要を、複数の基準に対する機能需要に関して記述するような前記細かい粒度機能需要情報を提供するように構成される、請求項４１から４４のいずれか一項に記載の映像符号器（２）。
【請求項４６】
前記映像符号器（２）が、前記細かい粒度機能需要情報が異なる基準に関連した複数の分率値を含むような、前記細かい粒度機能需要情報を提供するように構成される、請求項４１から４５のいずれか一項に記載の映像符号器（２）。
【請求項４７】
前記映像符号器（２）が、前記細かい粒度機能需要情報が、以下の基準、すなわち、
１秒あたりの最大許容ルマサンプルの量の分率、
最大画像サイズの分率、
最大ビットレートの分率、
バッファ占有量の分率、および
最大タイル数の分率、のうちの少なくとも２つを記述する複数の分率値を含むような前記細かい粒度機能需要情報を提供するように構成される、請求項４１から４６のいずれか一項に記載の映像符号器（２）。
【請求項４８】
前記映像符号器が、そのような解像度の前記細かい粒度機能需要情報を提供するように構成される、請求項４１から４７のいずれか一項に記載の映像符号器（２）。
【請求項４９】
複数の符号化された映像表現に基づいてマージされた映像表現（６０）を提供するための映像マージャ（５０）であって、
前記映像マージャ（５０）が、複数の符号化パラメータ（２０、２２、２６、３０）を記述する符号化されたパラメータ情報、符号化された映像コンテンツ情報、複数の所定の機能レベルのうちの機能レベルを有する映像復号器との映像ストリームの互換性を記述する、粗い粒度機能需要情報、および細かい粒度機能需要情報を含む複数の映像ストリーム（１２ａ、１２ｂ）を受け取るように構成され、
前記映像マージャ（５０）が、前記粗い粒度機能需要情報および前記細かい粒度機能需要情報に依存して前記２つ以上の映像ストリームをマージするように構成される、映像マージャ（５０）。
【請求項５０】
前記映像マージャ（５０）が、前記細かい解像度機能需要情報に依存してどの映像ストリームをマージされた映像ストリーム（６０）に含めることができるか否かを判断するように構成される、請求項４９に記載の映像マージャ（５０）。
【請求項５１】
前記映像マージャ（５０）が、前記細かい解像度機能需要情報に依存して前記２つ以上の映像ストリームをマージすることによって有効なマージされた映像ストリーム（６０）を取得することができるか否かを判断するように構成される、請求項４９または５０に記載の映像マージャ（５０）。
【請求項５２】
前記映像マージャ（５０）が、マージされるべき複数の映像ストリームの細かい粒度機能需要情報を要約するように構成される、請求項４９から５１のいずれか一項に記載の映像マージャ（５０）。
【請求項５３】
前記細かい粒度機能需要情報が、前記符号化された映像表現の前記機能需要を、複数の基準に対する機能需要に関して記述し、
前記映像マージャ（５０）が、前記細かい粒度機能需要情報によって記述される、マージされるべき前記複数の映像ストリームの機能需要の組み合わせが、すべての基準に対して所定の限度内にあるか否かを判断するように構成される、請求項４９から５２のいずれか一項に記載の映像マージャ（５０）。
【請求項５４】
前記細かい粒度機能需要情報が、異なる基準に関連した複数の分率値を含む、請求項４９から５３のいずれか一項に記載の映像マージャ（５０）。
【請求項５５】
前記細かい粒度機能需要情報が、以下の基準、すなわち、
１秒あたりの最大許容ルマサンプルの量の分率、
最大画像サイズの分率、
最大ビットレートの分率、
バッファ占有量の分率、
最大タイル数の分率、のうちの少なくとも２つを記述する複数の分率値を含む、請求項４９から５４のいずれか一項に記載の映像マージャ（５０）。
【請求項５６】
映像復号器であって、前記映像復号器が、請求項２１から３６、および４９から５５のいずれか一項に記載の映像マージャを含む、映像復号器。
【請求項５７】
符号化された映像表現（１２）を提供するための方法であって、
複数の所定の機能レベルのうちの機能レベルを有する映像復号器との映像ストリームの互換性を記述する、粗い粒度機能需要情報を提供すること、を含み、
映像符号器が、前記符号化された映像表現を復号するために前記所定の機能レベルのうちの１つと関連付けられた許容可能な機能需要のどの分率が必要であるかを記述する、および／または許容可能な機能需要のどの分率を、前記符号化された映像表現が、その機能需要が前記所定の機能レベルのうちの１つと一致する、マージされた映像ストリームに寄与するかを記述する、細かい粒度機能需要情報を提供するように構成される、方法。
【請求項５８】
複数の符号化された映像表現に基づいてマージされた映像表現を提供するための方法であって、
複数の符号化パラメータを記述する符号化されたパラメータ情報、符号化された映像コンテンツ情報、複数の所定の機能レベルのうちの機能レベルを有する映像復号器との映像ストリームの互換性を記述する、粗い粒度機能需要情報、および細かい粒度機能需要情報を含む複数の映像ストリームを受け取ること、を含み、
映像マージャが、前記粗い粒度機能需要情報および前記細かい粒度機能需要情報に依存して前記２つ以上の映像ストリームをマージするように構成される、方法。
【請求項５９】
コンピュータ上で動作するときに、請求項５７または５８に記載の方法を実行するためのプログラムコードを有するコンピュータプログラム。
【請求項６０】
請求項５７または５８に記載の方法によって生成されたデータストリーム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像の符号化／復号に関する。
【背景技術】
【０００２】
映像合成は、複数の映像ソースの合成がユーザに提示される多数の用途で使用される。一般的な例が、例えば、広告やユーザインターフェースのための、オーバーレイの映像コンテンツとのピクチャ・イン・ピクチャ（ｐｉｃｔｕｒｅ−ｉｎ−ｐｉｃｔｕｒｅ（ＰｉＰ））合成および融合である。画素領域でのそのような合成を生成するには、計算が複雑であり、単一のハードウェア復号器またはそれ以外の限られたリソースを備えたデバイス上では実行不可能でさえあり得る入力映像ビットストリームの並列復号が必要である。例えば、現在のＩＰＴＶシステム設計では、対応するセット・トップ・ボックスが合成を実行し、それらの複雑さ、分配および限られた寿命のために主要なサービスコスト要因である。これらのコスト要因の削減が、セット・トップ・ボックスの機能を仮想化しようとする継続的な努力、例えば、ユーザインターフェース生成のクラウドリソースへのシフトの動機になっている。そのようなアプローチでは、映像復号器のみ、いわゆるゼロクライアントが、顧客宅内に残る唯一のハードウェアである。そのようなシステム設計の最先端技術は、トランスコーディングに基づく、すなわち、復号、画素領域の合成、および搬送前または搬送中の再符号化の、その最も単純な形での合成である。完全な復号および符号化サイクルから作業負荷を削減するために、画素領域ではなく変換係数領域での操作がＰｉＰ合成についてまず提案された。それ以来、個々の合成ステップを融合または短縮し、それらを現在のビデオコーデックに適用するための多数の技法が提案された。しかしながら、一般的な合成のためのトランスコーディングに基づくアプローチは依然として計算が複雑であり、システムのスケーラビリティを損なう。トランスコーディングのアプローチによっては、そのような合成は、レート歪み（ｒａｔｅ  ｄｉｓｔｏｒｔｉｏｎ（ＲＤ））性能に影響を及ぼす可能性もある。
【０００３】
加えて、タイル上に構築される広範な用途が存在し、タイルは、隣接するタイルから独立して符号化された映像平面の空間サブセットである。３６０°ビデオ用のタイルベースのストリーミングシステムは、３６０°ビデオを、様々な解像度のサブビットストリームに符号化され、現在のユーザの見る向きに応じてクライアント側で単一のビットストリームにマージされるタイルに分割することによって機能する。サブビットストリームのマージを伴う別の用途は、例えば、従来の映像コンテンツとバナー広告との結合である。さらに、サブビットストリームの再結合は、複数のユーザが個々の映像ストリームを、ストリームが最終的にマージされる受信機に送信する、ビデオ会議システムにおいても重要な部分になり得る。さらに、映像がタイルに分割され、タイル符号化が別々の独立したインスタンスに分配されるタイルベースのクラウド符号化システムは、結果として得られるタイルビットストリームが単一のビットストリームにマージして戻される前のフェイルセーフチェックに依拠する。これらすべての用途において、既知の適合性点を用いた単一の映像復号器での復号を可能にするためにストリームがマージされる。ここでのマージとは、ビットストリームまたは画素値の再構築のエントロピー符号化されたデータの完全な復号操作および符号化操作を必要としない軽量のビットストリーム書き換えを意味する。しかしながら、ビットストリームマージの形成の成功、すなわち、結果として得られるマージされたビットストリームの適合性を保証するために使用される技法は、非常に異なる適用シナリオに由来するものであった。
【０００４】
例えば、従来（レガシー）のコーデックは、符号器が、画像間のインター予測を、タイルまたは画像の境界内に限定されるように、すなわち、同じタイルに属さないか、または画像境界の外側に位置するサンプル値または構文要素値を使用せずに制約する、動き制約タイルセット（Ｍｏｔｉｏｎ  Ｃｏｎｓｔｒａｉｎｅｄ  Ｔｉｌｅ  Ｓｅｔ（ＭＣＴＳ））と呼ばれる技法をサポートする。この技術の起源は、関心領域（Ｒｅｇｉｏｎ  ｏｆ  Ｉｎｔｅｒｅｓｔ（ＲＯＩ））復号であり、ＲＯＩ復号では復号器は、解像不能な依存関係に遭遇し、ドリフトを回避することなく、ビットストリームおよび符号化画像の特定のサブセクションのみを復号することができる。このコンテキストでの別の最先端技術が、適用されたビットストリーム構造、すなわち、画像の順序およびインター予測の参照構造の指示を与える、ストラクチャ・オブ・ピクチャ（Ｓｔｒｕｃｔｕｒｅ  ｏｆ  Ｐｉｃｔｕｒｅｓ（ＳＯＰ））ＳＥＩメッセージである。この情報は、２つのランダム・アクセス・ポイント（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｐｏｉｎｔ（ＲＡＰ））間の画像ごとに、ピクチャ・オーダ・カウント（Ｐｉｃｔｕｒｅ  Ｏｒｄｅｒ  Ｃｏｕｎｔ（ＰＯＣ））値、アクティブなシーケンス・パラメータ・セット（Ｓｅｑｕｅｎｃｅ  Ｐａｒａｍｅｔｅｒ  Ｓｅｔ（ＳＰＳ））識別子、アクティブなＳＰＳへの参照画像セット（Ｒｅｆｅｒｅｎｃｅ  Ｐｉｃｔｕｒｅ  Ｓｅｔ（ＲＰＳ））インデックスを要約することによって提供される。この情報に基づき、トランスコーダ、ミドルボックスまたはメディア対応ネットワークエンティティ（ｍｅｄｉａ−ａｗａｒｅ  ｎｅｔｗｏｒｋ  ｅｎｔｉｔｙ（ＭＡＮＥ））またはメディアプレーヤが、ビットレートの調整、コマ落とし、早送りなどの、ビットストリームの操作または変更するのを支援できるビットストリーム構造を識別することができる。
【０００５】
上記の例示的な通知の技法の両方が、簡単ではない構文変更または完全なトランスコーディングさえもなしでサブビットストリームの軽量マージを実行できるか否かを理解する際に不可欠であるが、これらは決して十分ではない。より詳細には、このコンテキストにおける軽量マージは、わずかな書き換え操作のみでソースビットストリームのＮＡＬユニットをインターリーブして、すなわち、一緒に使用されるパラメータセットを新しい画像サイズおよびタイル構造と共に記述して、マージされるべきすべてのビットストリームが別々のタイル領域に位置するようにすることを特徴とする。マージの複雑さの次のレベルは、理想的には、スライスヘッダ内の可変長符号を変更することのないスライスヘッダ要素のわずかな書き換えによって構成される。マージの複雑さのさらなるレベルが存在し、これらのレベルは、例えば、スライスデータに対してエントロピー符号化を再実行して、エントロピー符号化されているが、映像の復号および符号化を伴う完全なトランスコードと比較して有益であり、むしろ軽量とみなすことができる画素値の再構築を必要とせずに変更できる特定の構文要素を変更するためのものであり、軽量とはみなされない。
【０００６】
マージされたビットストリームでは、すべてのスライスが同じパラメータセットを参照する必要がある。元のビットストリームのパラメータセットが大幅に異なる設定を使用する場合、パラメータセットの構文要素の多くがスライスヘッダおよびスライスペイロードの構文にさらなる影響を及ぼし、その影響の程度が異なるため、軽量マージが不可能な場合がある。構文要素が含まれる復号プロセスの下流に行くほど、マージ／書き換えがより複雑になる。（パラメータセットおよびその他の構造の）構文依存関係のいくつかの注目すべき一般的なカテゴリを以下のように区別することができる。
Ａ．構文の存在指示
Ｂ．値計算の依存関係
Ｃ．スライスペイロードの符号化ツール制御
ａ．復号プロセスの初期に使用される構文（係数符号隠蔽、ブロック分割制限など）
ｂ．復号プロセスの後期に使用される構文（動き補正（ｍｏｔｉｏｎ  ｃｏｍｐ）、ループフィルタなど）または一般的な復号プロセス制御（参照画像、ビットストリーム順序）
Ｄ．ソース・フォーマット・パラメータ
【０００７】
カテゴリＡでは、パラメータセットは、様々なツールの多数の存在フラグ（ｄｅｐｅｎｄｅｎｔ＿ｓｌｉｃｅ＿ｓｅｇｍｅｎｔｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇやｏｕｔｐｕｔ＿ｆｌａｇ＿ｐｒｅｓｅｎｔ＿ｆｌａｇなど）を含む。そのようなフラグに違いがある場合、フラグを結合パラメータセットにおいて有効であるように設定することができ、マージ前に構文要素を含まなかったビットストリーム内のスライスのマージされたスライスヘッダに、デフォルト値を明示的に書き込むことができ、すなわち、この場合、マージは、パラメータセットおよびスライスヘッダの構文への変更を必要とする。
【０００８】
カテゴリＢでは、パラメータセットの構文の通知された値が、計算において、他のパラメータセットまたはスライスヘッダのパラメータと一緒に使用されてもよく、例えば、ＨＥＶＣでは、スライスのスライス量子化パラメータ（ｑｕａｎｔｉｚａｔｉｏｎ  ｐａｒａｍｅｔｅｒ（ＱＰ））が、スライスの残差信号の変換係数の量子化の粗さを制御するために使用される。ビットストリームにおけるスライスＱＰの通知（ＳｌｉｃｅＱｐＹ）は、以下のようにピクチャ・パラメータ・セット（ｐｉｃｔｕｒｅ  ｐａｒａｍｅｔｅｒ  ｓｅｔ（ＰＰＳ））レベルでのＱＰ通知に依存する。
ＳｌｉｃｅＱｐＹ＝２６＋ｉｎｉｔ＿ｑｐ＿ｍｉｎｕｓ２６（ＰＰＳからの）＋ｓｌｉｃｅ＿ｑｐ＿ｄｅｌｔａ（スライスヘッダからの）
【０００９】
（マージされた）符号化ビデオ画像内のすべてのスライスが同じアクティブ化されたＰＰＳを参照する必要があるため、マージされるべきである個々のストリームのＰＰＳのｉｎｉｔ＿ｑｐ＿ｍｉｎｕｓ２６の違いが、ｉｎｉｔ＿ｑｐ＿ｍｉｎｕｓ２６の新しい共通の値を反映するようなスライスヘッダの調整を必要とする。すなわち、この場合、マージは、カテゴリ１の場合と同様に、パラメータセットおよびスライスヘッダの構文への変更を必要とする。
【００１０】
カテゴリＣでは、さらなるパラメータセットの構文要素が、スライスペイロードのビットストリーム構造に影響を及ぼす符号化ツールを制御する。サブカテゴリＣ．ａとサブカテゴリＣ．ｂとは、復号プロセスのどのくらい下流に構文要素が含まれるか、および（これに関連して）これらの構文要素への変更と関連付けられる複雑さ、すなわち、構文要素がエントロピー符号化と画素レベル再構築との間のどこに含まれるかに応じて区別することができる。
【００１１】
例えば、カテゴリＣ．ａの１つの要素は、符号化された変換係数の符号データの導出を制御するｓｉｇｎ＿ｄａｔａ＿ｈｉｄｉｎｇ＿ｅｎａｂｌｅｄ＿ｆｌａｇである。符号データ隠蔽を容易に非アクティブ化することができ、対応する推測される符号データがスライスペイロードに明示的に書き込まれる。ただし、このカテゴリでのスライスペイロードへのそのような変更では、画素ごとのマージ映像を再度符号化する前に完全な復号によって画素領域に進む必要がない。別の例は、推測されるブロック分割の決定であり、または推測される値をビットストリームに容易に書き込むことができる任意の他の構文である。すなわち、この場合、マージは、パラメータセット、スライスヘッダの構文、およびエントロピー復号／符号化を必要とするスライスペイロードへの変更を必要とする。
【００１２】
しかしながら、サブカテゴリＣ．ｂは、復号のずっと下流のプロセスに関連する構文要素を必要とし、したがって、複雑な復号プロセスの多くが、いずれにせよ、残りの復号ステップを回避することが実装上および計算上望ましくない方法で実行される必要がある。例えば、動き補償制約「時間的動き制約タイルセットＳＥＩ（ストラクチャ・オブ・ピクチャ情報）メッセージ」または「ＳＥＩメッセージ」などの様々な復号プロセス関連の構文に接続された構文要素の違いにより画素レベルのトランスコーディングが回避できなくなる。サブカテゴリＣ．ａとは対照的に、完全な画素レベルのトランスコーディングなしでは変更できない方法でスライスペイロードに影響を及ぼす符号器の決定が多数ある。
【００１３】
カテゴリＤでは、異なる値によりサブビットストリームをマージするために画素レベルのトランスコーディングを不可避とするパラメータセットの構文要素（ｃｈｒｏｍａ＿ｆｏｒｍａｔ＿ｉｄｃによって指示されるクロマサブサンプリングなど）がある。すなわち、この場合、マージは、完全な復号、画素レベルのマージおよび完全な符号化のプロセスを必要とする。
【００１４】
上記のリストは決して網羅的ではないが、広範なパラメータが様々な方法でサブビットストリームの共通のビットストリームへのマージのメリットに影響を及ぼすこと、およびこれらのパラメータを追跡および解析することに手間がかかることが明らかになる。
【発明の概要】
【発明が解決しようとする課題】
【００１５】
本発明の目的は、映像ビットストリームを効率的にマージするためのビデオコーデックを提供することにある。
【課題を解決するための手段】
【００１６】
この目的は、本出願の特許請求の範囲の主題によって達成される。
【００１７】
本発明の基礎をなす基本的な考え方は、複数の映像ストリームのマージの改善が１つまたは複数のマージ識別子を含めることによって達成されることである。このアプローチにより、計算リソースの負荷を軽減するとともに、マージプロセスを加速することが可能になる。
【００１８】
本発明の実施形態によれば、映像符号器は、複数の符号化パラメータを記述する符号化されたパラメータ情報、符号化された映像コンテンツ情報、すなわち、パラメータ情報によって定義された符号化パラメータを使用して符号化された情報、ならびに符号化された映像表現を別の符号化された映像表現とマージできるか否か、および／または、どのようにして、例えば、どの複雑さを使用して、マージできるかを指示する１つまたは複数のマージ識別子を含む映像ストリームを提供するように構成される。どの複雑さを使用するかは、パラメータ情報によって定義されたパラメータ値に基づいて決定され得る。マージ識別子は、２つの異なる符号化された映像表現を所定の複雑さを使用してマージすることができるようにするために２つの異なる符号化された映像表現において等しくなければならない、複数の符号化パラメータの連結であり得る。加えて、マージ識別子は、２つの異なる符号化された映像表現を所定の複雑さを使用してマージできるようにするために２つの異なる符号化された映像表現において等しくなければならない、複数の符号化パラメータの連結のハッシュ値であり得る。
【００１９】
本発明の実施形態によれば、マージ識別子は、パラメータセットの書き換えによりマージするか、またはパラメータセットおよびスライスヘッダの書き換えによりマージするか、またはパラメータセット、スライスヘッダ、スライスペイロードの書き換えによりマージするマージ手順または、一般的に、「適切な」マージ方法の複雑さを表すマージ識別子タイプを指示することができ、マージ識別子は、マージ識別子タイプに関連付けられており、マージ識別子タイプに関連付けられたマージ識別子は、２つの異なる符号化された映像表現が、マージ識別子タイプによって表されるマージ手順の複雑さを使用してマージ可能であるように、２つの異なる符号化された映像表現において等しくなければならない符号化パラメータを含む。マージ識別子タイプの値はマージプロセスを指示することができ、映像符号器は、マージ識別子タイプの以下の値、すなわち、パラメータセットの書き換えによるマージプロセスを表すマージ識別子タイプの第１の値、パラメータセットおよびスライスヘッダの書き換えによるマージプロセスを表すマージ識別子タイプの第２の値、ならびにパラメータセット、スライスヘッダ、およびスライスペイロードの書き換えによるマージプロセスを表すマージ識別子タイプの第３の値、のうちの少なくとも２つを切り替えるように構成される。
【００２０】
本発明の実施形態によれば、複数のマージ識別子がマージ手順の異なる複雑さと関連付けられており、例えば、各識別子は、マージ手順のパラメータセット／ハッシュおよびタイプを指示する。符号器は、マージ識別子の提供のために評価される符号化パラメータが映像シーケンスのすべてのユニットにおいて同一であるか否かをチェックし、チェックに依存してマージ識別子を提供するように構成され得る。
【００２１】
本発明の実施形態によれば、複数の符号化パラメータは、完全な画素復号によるマージよりも複雑さが少ないマージを可能にするために、異なる映像ストリーム、すなわち、符号化された映像表現において同一でなければならないマージ関連パラメータを含むことができ、映像符号器は、マージ関連パラメータに基づいて１つまたは複数のマージ識別子を提供するように構成され、すなわち、２つの符号化された映像表現間に共通のパラメータがない場合には、完全な画素復号が実行され、すなわち、マージプロセスの複雑さを軽減する可能性がない。マージ関連パラメータは、以下のパラメータ：タイル境界における動き制約、例えば、動き制約タイルセットの補助強化情報（ｍｏｔｉｏｎ  ｃｏｎｓｔｒａｉｎ  ｔａｉｌ  ｓｅｔ  ｓｕｐｐｌｅｍｅｎｔａｌ  ｅｎｈａｎｃｅｍｅｎｔ  ｉｎｆｏｒｍａｔｉｏｎ（ＭＣＴＳ  ＳＥＩ））を記述するパラメータ、画像群（ｇｒｏｕｐ  ｏｆ  ｐｉｃｔｕｒｅ（ＧＯＰ））構造、すなわち、符号化順序の表示順序へのマッピング、ランダム・アクセス・ポイント指示、例えば、ＳＯＰ：ストラクチャ・オブ・ピクチャを用いた時間的階層化、ＳＥＩに関する情報、クロマ符号化フォーマットを記述するパラメータおよびルマ符号化フォーマットを記述するパラメータ、例えば、少なくともクロマフォーマットおよびビット深度のルマ／クロマを含むセット、高度動きベクトル予測を記述するパラメータ、サンプル適応オフセットを記述するパラメータ、時間的動きベクトル予測を記述するパラメータ、ならびにループフィルタを記述するパラメータおよびその他の符号化パラメータ、のうちの１つまたは複数または全部を含み、すなわち、パラメータセット（参照画像セット、基準量子化パラメータなどを含む）、スライスヘッダ、スライスペイロードが、２つの符号化された映像表現をマージするために書き換えられる。
【００２２】
本発明の実施形態によれば、マージ手順の第１の複雑さと関連付けられたマージ識別子が、第１の複雑さよりも高いマージ手順の第２の複雑さと関連付けられたマージパラメータが、第１の符号化パラメータセットの真のサブセットである第２の符号化パラメータセットに基づいて決定されるときに、第１の符号化パラメータセットに基づいて決定され得る。第２の複雑さよりも高いマージ手順の第３の複雑さと関連付けられたマージ識別子が、第２の符号化パラメータセットの真のサブセットである第３の符号化パラメータセットに基づいて決定され得る。映像符号器は、マージ手順の第１の複雑さと関連付けられたマージ識別子を、符号化パラメータセット、例えば、スライスヘッダおよびスライスペイロードを不変のままにして複数のスライスに適用可能なパラメータセットを変更するだけの映像ストリームのマージ、すなわち、パラメータセットの書き換え（のみ）によるマージプロセスを可能にするために２つの異なる映像ストリーム、例えば、符号化された映像表現において等しくなければならない第１のセットに基づいて決定するように構成される。映像符号器は、マージ手順の第２の複雑さと関連付けられたマージ識別子を、符号化パラメータセット、例えば、スライスペイロードを不変のままにして複数のスライスに適用可能なパラメータセットを変更し、スライスヘッダも変更する映像ストリームのマージ、すなわち、パラメータセットおよびスライスヘッダの書き換えによるマージプロセスを可能にするために２つの異なる映像ストリーム、例えば、符号化された映像表現において等しくなければならない第２のセットに基づいて決定するように構成され得る。映像符号器は、マージ手順の第３の複雑さと関連付けられたマージ識別子を、符号化パラメータセット、例えば、複数のスライスに適用可能なパラメータセットを変更し、スライスヘッダおよびスライスペイロードも変更するが、完全な画素復号および画素再符号化を実行されない映像ストリームのマージ、すなわち、パラメータセット、スライスヘッダ、およびスライスペイロードの書き換えによるマージプロセスを可能にするために２つの異なる映像ストリーム、例えば、符号化された映像表現において等しくなければならない第３のセットに基づいて決定するように構成され得る。
【００２３】
本発明の実施形態によれば、提供された複数の符号化された映像表現、例えば、映像ストリームに基づいてマージされた映像表現を提供するための映像マージャ、映像マージャは、複数の符号化パラメータを記述する符号化されたパラメータ情報、符号化された映像コンテンツ情報、すなわち、パラメータ情報によって定義された符号化パラメータを使用して符号化された情報、ならびに符号化された映像表現を別の符号化された映像表現とマージできるか否か、および／または、どのようにして、例えば、どの複雑さを使用して、マージできるかを指示する１つまたは複数のマージ識別子を含む複数の映像ストリームを受け取るように構成され、映像マージャは、マージ方法の使用法、例えば、マージタイプ、マージプロセスに関して、マージ識別子に依存して、すなわち、異なる映像ストリームのマージ識別子の比較に依存して決定するように構成される。映像マージャは、マージ識別子に依存して、複数のマージ方法の中から、マージ方法を選択するように構成される。映像マージャは、以下のマージ方法、すなわち、１つまたは複数のマージ識別子に依存した異なる複雑さを有するマージ方法である、スライスヘッダおよびスライスペイロードを不変のままにして複数のスライスに適用可能なパラメータセットを変更するだけの映像ストリームのマージである、第１のマージ方法、スライスペイロードを不変のままにして複数のスライスに適用可能なパラメータセットを変更し、スライスヘッダも変更する映像ストリームのマージである、第２のマージ方法、ならびに複数のスライスに適用可能なパラメータセットを変更し、スライスヘッダおよびスライスペイロードも変更するが、完全な画素復号および画素再符号化を実行されない映像ストリームのマージである、第３のマージ方法、のうちの少なくとも２つから選択するように構成され得る。
【００２４】
本発明の実施形態によれば、映像マージャは、同じ所与のマージ方法と関連付けられるか、または同じマージ識別子タイプと関連付けられた２つ以上の映像ストリームのマージ識別子を比較し、比較の結果に依存して所与のマージ方法を使用してマージを実行するか否かの判断を実行するように構成される。映像マージャは、比較により、所与のマージ方法と関連付けられた２つ以上の映像ストリームのマージ識別子が等しいことが指示される場合、所与のマージ方法を使用してマージを選択的に実行するように構成され得る。映像マージャは、マージ識別子の比較により、所与のマージ方法と関連付けられた２つ以上の映像ストリームのマージ識別子が異なることが指示される場合、すなわち、符号化パラメータ自体をさらに比較することなく、比較されたマージ識別子が関連付けられている所与のマージ方法よりも高い複雑さを有するマージ方法を使用するように構成され得る。映像マージャは、マージ識別子の比較により、所与のマージ方法と関連付けられた２つ以上の映像ストリームのマージ識別子が等しいことが指示される場合、所与のマージ方法を使用した映像ストリームのマージを可能にするために２つ以上の映像ストリームにおいて等しくなければならない符号化パラメータを選択的に比較するように構成されてもよく、映像マージャは、前記符号化パラメータ、すなわち、所与のマージ方法を使用した映像ストリームのマージを可能にするために２つ以上の映像ストリームにおいて等しくなければならない符号化パラメータの比較により、符号化パラメータが等しいことが指示される場合、所与のマージ方法を使用してマージを選択的に実行するように構成され、映像マージャは、前記符号化パラメータの比較により、符号化パラメータが違いを含むことが指示される場合、所与のマージ方法よりも高い複雑さを有するマージ方法を使用してマージを実行するように構成される。
【００２５】
本発明の実施形態によれば、映像マージャは、異なる複雑さを有するマージ方法と関連付けられたマージ識別子を比較する、すなわち、ハッシュを比較するように構成されてもよく、映像マージャは、マージされるべき２つ以上の映像ストリームにおいて関連付けられたマージ識別子が等しい最低の複雑さのマージ方法を識別するように構成され、映像マージャは、識別されたマージ方法を使用したマージを可能にするためにマージされるべき２つ以上の映像ストリームにおいて等しくなければならない、符号化パラメータのハッシュバージョンではなく、符号化パラメータセット、すなわち、個々の符号化パラメータを比較するように構成され、異なる、通常はオーバーラップする符号化パラメータセットが、異なる複雑さのマージ方法と関連付けられており、映像マージャは、比較により、識別されたマージ方法と関連付けられた符号化パラメータセットの符号化パラメータがマージされるべき映像ストリームにおいて等しいことが指示される場合、識別されたマージ方法を使用して２つ以上の映像ストリームを選択的にマージするように構成され、映像マージャは、比較により、識別されたマージ方法と関連付けられた符号化パラメータセットの符号化パラメータが違いを含むことが指示される場合、その識別されたマージ方法よりも高い複雑さを有するマージ方法を使用して２つ以上の映像ストリームをマージするように構成される。映像マージャは、例えば、マージされるべき異なる映像ストリームの、同じマージ方法または「マージ識別子タイプ」と関連付けられた、マージ識別子間の１つまたは複数の違いに依存して、どの符号化パラメータがマージプロセス、すなわち、映像ストリームのマージにおいて変更されるべきかを決定するように構成される。
【００２６】
本発明の実施形態によれば、映像マージャは、マージされるべき映像ストリームの符号化パラメータに基づいて、マージされるべきすべての映像ストリームのスライスと関連付けられている、結合符号化パラメータまたは結合符号化パラメータセット、例えば、シーケンス・パラメータ・セットＳＰＳおよびピクチャ・パラメータ・セットＰＰＳを取得し、例えば、１つの符号化された映像表現と他の符号化された映像表現のすべての符号化パラメータの値が同じである場合に、結合符号化パラメータをマージされた映像ストリームに含めるように構成され、符号化パラメータは、符号化された映像表現の符号化パラメータ間に違いがある場合には、共通のパラメータをコピーすることによって更新され、符号化パラメータは、メインの（すなわち、一方がメインであり、他方がサブである）符号化された映像表現に基づいて更新され、例えば、いくつかの符号化パラメータが、映像ストリームの組み合わせ、例えば、合計画像サイズに従って適応され得る。映像マージャは、マージされた映像ストリームに含められるべき変更されたスライスを取得するために、個々のビデオスライスと個別に関連付けられた、例えば、スライスヘッダにおいて定義された、または、例えば、最低よりも高い複雑さを有するマージ方法を使用するときの、符号化パラメータを適応させるように構成される。適応された符号化パラメータは、マージされた符号化された映像表現の画像サイズを表すパラメータを含み、画像サイズは、マージされるべき符号化された映像表現の画像サイズに基づいて、すなわち、それぞれの次元で、それらの空間配置のコンテキストにおいて計算される。
【００２７】
本発明の実施形態によれば、提供された符号化された映像表現、すなわち、映像ストリームを提供するための映像符号器、映像符号器は、複数の所定の機能レベルのうちの機能レベルを有する映像復号器との映像ストリームの互換性、例えば、映像復号器による映像ストリームの復号可能性を記述する、粗い粒度機能需要情報（ａ  ｃｏａｒｓｅ  ｇｒａｎｕｌａｒｉｔｙ  ｃａｐａｂｉｌｉｔｙ  ｄｅｍａｎｄ  ｉｎｆｏｒｍａｔｉｏｎ）、例えば、レベル情報、レベル３またはレベル４またはレベル５、を提供するように構成されてもよく、映像符号器は、符号化された映像表現を復号するために所定の機能レベルのうちの１つと関連付けられた許容可能な機能需要のどの分率（ｆｒａｃｔｉｏｎ）、すなわち、復号器機能が必要であるかを記述する、および／または許容可能な機能需要のどの分率、すなわち、「マージされたビットストリームのレベル制限」を、符号化された映像表現、すなわち、サブビットストリームが、その機能需要が所定の機能レベルのうちの１つと一致する、すなわち、その機能需要が許容可能な機能需要以下である、映像ストリームがマージされるマージされた映像ストリームに寄与するかを記述する、細かい粒度機能需要情報、例えば、マージレベル制限情報を提供するように構成され、「所定の機能レベルのうちの１つと一致するマージされたビットストリームの許容可能な機能需要」は、「マージされたビットストリームのレベル制限」に対応する。映像符号器は、細かい粒度機能需要情報が、所定の機能レベルのうちの１つを参照する比率値またはパーセンテージ値を含むような、細かい粒度機能需要情報を提供するように構成される。映像符号器は、細かい粒度機能需要情報が参照情報および分率情報を含むような、細かい粒度機能需要情報を提供するように構成され、参照情報は、細かい粒度機能需要情報が全体として所定の機能レベルのうちの１つの分率を記述するように、分率情報が所定の機能レベルのうちのどれを参照するかを記述する。
【００２８】
本発明の実施形態によれば、提供された複数の符号化された映像表現、すなわち、映像ストリームに基づいてマージされた映像表現を提供するための映像マージャ、映像マージャは、複数の符号化パラメータを記述する符号化されたパラメータ情報、符号化された映像コンテンツ情報、例えば、パラメータ情報によって定義された符号化パラメータを使用して符号化された情報、複数の所定の機能レベルのうちの機能レベルを有する映像復号器との映像ストリームの互換性、すなわち、映像復号器による映像ストリームの復号可能性を記述する、粗い粒度機能需要情報、例えば、レベル情報、レベル３またはレベル４またはレベル５、および細かい粒度機能需要情報、例えば、マージレベル制限情報を含む複数の映像ストリームを受け取るように構成されてもよく、映像マージャは、粗い粒度機能需要情報および細かい粒度機能需要情報に依存して２つ以上の映像ストリームをマージするように構成される。映像マージャは、すなわち、許容可能な機能需要に違反することなく、すなわち、マージされた映像ストリームの機能需要が細かい解像度機能需要情報に依存した所定の機能レベルのうちの１つと一致するように、どの映像ストリームをマージされた映像ストリームに含めることができるか、また含めるかを判断するように構成され得る。映像マージャは、例えば、許容可能な機能需要に違反しない、すなわち、マージされた映像ストリームの機能需要が所定の機能レベルのうちの１つと一致するような、有効なマージされた映像ストリームを、細かい解像度機能需要情報に依存して２つ以上の映像ストリームをマージすることによって取得できるか否かを判断するように構成され得る。映像マージャは、例えば、どの映像ストリームを含めることができるかを判断するために、または有効なマージされた映像ストリームを取得できるか否かを判断するために、マージされるべき複数の映像ストリームの細かい粒度機能需要情報を要約するように構成される。
【００２９】
本発明の好ましい実施形態を、以下で図を参照して説明する。
【図面の簡単な説明】
【００３０】
【図１】本発明の実施形態によるビットストリームマージ概念を実施することができる映像符号器の一例として、符号化された映像表現を提供するための装置を示すブロック図である。
【図２】本発明の実施形態によるビットストリーム構造の一例を示す概略図である。
【図３】本発明の実施形態によるビットストリームマージ概念を実施することができる映像符号器の別の例として、符号化された映像表現を提供するための装置を示すブロック図である。
【図４】本発明の実施形態による符号化パラメータの一例を示す概略図である。
【図５ａ】図４に示される詳細なシーケンス・パラメータ・セット（ＳＰＳ）の例を示す図である。
【図５ｂ】図４に示される詳細なシーケンス・パラメータ・セット（ＳＰＳ）の例を示す図である。
【図６ａ】図４に示す詳細なピクチャ・パラメータ・セット（ＰＰＳ）の例を示す図である。
【図６ｂ】図４に示す詳細なピクチャ・パラメータ・セット（ＰＰＳ）の例を示す図である。
【図７ａ】図４に示す詳細なスライスヘッダの例を示す図である。
【図７ｂ】図４に示す詳細なスライスヘッダの例を示す図である。
【図７ｃ】図４に示す詳細なスライスヘッダの例を示す図である。
【図７ｄ】図４に示す詳細なスライスヘッダの例を示す図である。
【図８】図４に示す補助強化情報（ＳＥＩ）メッセージにおける詳細なストラクチャ・オブ・ピクチャを示す図である。
【図９】図４に示すＳＥＩメッセージにおける詳細な動き制約タイルセットを示す図である。
【図１０】本発明の実施形態によるビットストリームマージ概念を実施することができる映像マージャの一例として、マージされた映像表現を提供するための装置を示すブロック図である。
【図１１】本発明の実施形態によるマージの複雑さの判断プロセスを示す概略図である。
【図１２】マージされるべき複数の映像表現のビットストリーム構造および本発明のビットストリームマージ概念によるマージされた映像表現のビットストリーム構造を示す概略図である。
【図１３】本発明の実施形態によるビットストリームマージ概念を実施することができる映像マージャの別の例として、マージされた映像表現を提供するための装置を示すブロック図である。
【図１４】本発明の実施形態によるマージされた映像表現の機能需要情報を提供する映像符号器の一例として、符号化された映像表現を提供するための装置を示すブロック図である。
【図１５】本発明の実施形態によるマージされた映像表現の機能需要情報を提供する映像マージャの一例として、マージされた映像表現を提供するための装置を示すブロック図である。
【発明を実施するための形態】
【００３１】
以下の説明では、限定ではなく説明を目的として、特定の実施形態、手順、技法、などといった具体的な詳細を述べる。これらの具体的な詳細は別として他の実施形態も用いられ得ることが当業者には理解されるであろう。例えば、以下の説明は、非限定的な例示的な用途を使用して進められるが、この技術は、任意のタイプのビデオコーデックに適用され得る。場合によっては、不要な詳細で説明を分かりにくくしないように、周知の方法、インターフェース、回路およびデバイスの詳細な説明が省かれる。
【００３２】
以下の説明では、同等または等価の機能を有する同等または等価の要素が、同等または等価の参照符号で表されている。
【００３３】
本明細書の発明は、ＶＶＣ（Ｖｅｒｓａｔｉｌｅ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ）などの将来のビデオコーデックに、一緒にリーガルビットストリームにマージされ得るサブビットストリームの識別または所与のレベルの複雑さ（ｃｏｍｐｌｅｘｉｔｙ）で一緒にリーガルビットストリームにマージすることができないサブストリームの識別を可能にする指示を各サブビットストリームに入れる手段を提供することである。この指示は、以下では「マージ識別子」と呼ばれ、「マージ識別子タイプ」と呼ばれる指示を介して適切なマージ方法に関する情報をさらに提供する。２つのビットストリームが「マージ識別子」およびその同じ値を有するものとすると、サブビットストリームを所与のレベルのマージの複雑さ（関連するマージ方法）で新しい結合ビットストリームにマージすることが可能である。
【００３４】
図１に、符号化パラメータ決定メンバ１４およびマージ識別子提供６を含む符号器コア４を含む提供された（入力された）映像ストリーム１０に基づいて符号化された映像表現、すなわち、符号化された映像ストリーム１２を提供するために映像符号器２を示す。提供された映像ストリーム１０ならびに符号化された映像ストリーム１２は、例えば、図２に簡略化された構成として示されるような、ビットストリーム構造をそれぞれ有する。このビットストリーム構造は、複数のネットワーク抽象化層（Ｎｅｔｗｏｒｋ  Ａｂｓｔｒａｃｔｉｏｎ  Ｌａｙｅｒ（ＮＡＬ））ユニットから構成され、各ＮＡＬユニットは、様々なパラメータおよび／またはデータ、例えば、シーケンス・パラメータ・セット（ＳＰＳ）２０、ピクチャ・パラメータ・セット（ＰＰＳ）２２、瞬時復号器リフレッシュ（ｉｎｓｔａｎｔａｎｅｏｕｓ  ｄｅｃｏｄｅｒ  ｒｅｆｒｅｓｈ（ＩＤＲ））２４、補助強化情報（ＳＥＩ）２６、および複数のスライス２８を含む。ＳＥＩ２６は、様々なメッセージ、すなわち、ストラクチャ・オブ・ピクチャ、動き制約タイルセットなどを含む。スライス２８は、ヘッダ３０およびペイロード３２を含む。符号化パラメータ決定メンバ１４は、ＳＰＳ２０、ＰＰＳ２２、ＳＥＩ２６およびスライスヘッダ３０に基づいて符号化パラメータを決定する。ＩＤＲ２４は、必ずしも本発明による符号化パラメータを決定する要因ではないが、符号化パラメータを決定するためにＩＤＲ２４を任意選択で含めることもできる。マージ識別子提供６は、符号化された映像ストリームを別の符号化された映像ストリームとマージできるか否か、および／または、どのようにして（どの複雑さで）マージできるかを指示するマージ識別子を提供する。マージ識別子は、例えば、パラメータセットの書き換えによりマージするか、またはパラメータセットおよびスライスヘッダの書き換えによりマージするか、またはパラメータセット、スライスヘッダ、スライスペイロードの書き換えによりマージするマージ手順の複雑さ、または、一般的に、「適切な」マージ方法に関連付けられたことを表すマージ識別子タイプを指示するマージ識別子を決定し、マージ識別子はマージ識別子タイプに関連付けられており、マージ識別子タイプと関連付けられたマージ識別子は、２つの異なる符号化された映像表現が、マージ識別子タイプによって表されるマージ手順の複雑さを使用してマージ可能であるように、２つの異なる符号化された映像表現において等しくなければならない符号化パラメータを含む。
【００３５】
結果として、符号化された映像ストリーム１２は、複数の符号化パラメータ、符号化された映像コンテンツ情報および１つまたは複数のマージ識別子を記述する符号化されたパラメータ情報を含む。この実施形態では、マージ識別子は、符号化パラメータに基づいて決定される。しかしながら、マージ識別子値は、符号器オペレータの望みに従って設定され、クローズドシステムでは十分な衝突回避の保証がほとんどない可能性もある。ＤＶＢ（Ｄｉｇｉｔａｌ  Ｖｉｄｅｏ  Ｂｒｏａｄｃａｓｔｉｎｇ）、ＡＴＳＣ（Ａｄｖａｎｃｅｄ  Ｔｅｌｅｖｉｓｉｏｎ  Ｓｙｓｔｅｍｓ  Ｃｏｍｍｉｔｔｅｅ）などの第三者エンティティが、それらのシステム内で使用されるべきマージ識別子の値を定義することもできる。
【００３６】
マージ識別子タイプは、図３から図９を使用して本発明による別の実施形態を考慮して以下のように説明する。
【００３７】
図３に、符号器コア４およびマージ識別器６ａを含む符号器２（２ａ）を示し、符号器２ａにおけるデータフローを示す。マージ識別器６ａは、マージタイプを指示するためのマージ識別子としてハッシュ値を提供する第１のハッシュメンバ１６ａおよび第２のハッシュメンバ１６ｂを含む。すなわち、マージ値は、以下でハッシュセットと呼ばれる、ビットストリームの構文要素（符号化パラメータ）の定義されたセットの符号化された値の連結からマージ値が形成され得る。マージ識別子値も、符号化された値の上記の連結を、ＭＤ５、ＳＨＡ−３または任意の他の適切な関数などの周知のハッシュ関数に与えることによって形成され得る。図３に示されるように、入力映像ストリーム１０は入力映像情報を含み、入力映像ストリーム１０は符号器コア４で処理される。符号器コア４は入力映像コンテンツを符号化し、符号化された映像コンテンツ情報はペイロード３２に格納される。符号化パラメータ決定メンバ１４は、ＳＰＳ、ＰＰＳ、スライスヘッダおよびＳＥＩメッセージを含むパラメータ情報を受け取る。パラメータ情報は、各対応するユニットに格納され、マージ識別子提供６ａで受け取られ、すなわち、第１のハッシュメンバ１６ａおよび第２のハッシュメンバ１６ｂでそれぞれ受け取られる。第１のハッシュメンバ１６ａは、例えば、符号化パラメータに基づいてマージ識別子タイプ２を指示するハッシュ値を生成し、第２のハッシュメンバ１６ｂは、例えば、符号化パラメータに基づいてマージ識別子タイプ１を指示するハッシュ値を生成する。
【００３８】
ハッシュセットの内容、すなわち、マージ識別子値を形成するために連結される構文要素（すなわち、マージパラメータ）値によって、上記の構文カテゴリに関するマージ可能性指示の品質が決定される。
【００３９】
例えば、マージ識別子タイプは、以下のように、マージ識別子に関する適切なマージ方法、すなわち、ハッシュセットに組み込まれた構文要素に対応する異なるレベルのマージ可能性を指示する。
タイプ０：パラメータセットの書き換えによるマージのためのマージ識別子
タイプ１：パラメータセットおよびスライスヘッダの書き換えによるマージのためのマージ識別子
タイプ２：パラメータセット、スライスヘッダ、およびスライスペイロードの書き換えによるマージのためのマージ識別子
【００４０】
例えば、用途のコンテキストにおいてマージされるべき２つの入力サブビットストリームが与えられた場合、デバイスは、マージ識別子およびマージ識別子タイプの値を比較し、２つのサブビットストリームに対してマージ識別子タイプと関連付けられた方法を使用する可能性について結論を出すことができる。
【００４１】
以下の表に、構文要素カテゴリと関連付けられたマージ方法との間のマッピングを示す。
＜表１＞
2022501889.tif 000003
【００４２】
すでに上述したように、構文カテゴリは決して網羅的ではないが、広範なパラメータが様々な方法でサブビットストリームの共通のビットストリームへのマージのメリットに影響を及ぼすこと、およびこれらのパラメータを追跡および解析することに手間がかかることが明らかになる。加えて、構文カテゴリとマージ方法（タイプ）とは完全には対応しておらず、したがって、例えば、カテゴリＢにはいくつかのパラメータが必要であるが、マージ方法１には同じパラメータは不要である。
【００４３】
デバイスが適用可能なマージ方法を容易に識別することを可能にするために、上記のマージ識別子タイプ値のうちの２つ以上によるマージ識別子値が生成され、ビットストリームに書き込まれる。マージ方法（タイプ）０はマージ識別子タイプの第１の値を指示し、マージ方法（タイプ）１はマージ識別子タイプの第２の値を指示し、マージ方法（タイプ）２はマージ識別子タイプの第３の値を指示する。
【００４４】
以下の例示的な構文がハッシュセットに組み込まれる必要がある。
＜タイルおよび画像境界における動き制約を指示する時間的動き制約タイルセットＳＥＩメッセージ（マージ方法０、１、２、構文カテゴリＣ．ｂ）＞
＜ＧＯＰ構造（すなわち、符号化順序の表示順序へのマッピング、ランダム・アクセス・ポイント指示、時間的階層化、参照構造）を定義するストラクチャ・オブ・ピクチャ情報ＳＥＩメッセージ（マージ方法０、１、２、構文カテゴリＣ．ｂ）＞
＜パラメータセットの構文要素値＞
参照画像セット（マージ方法０、構文カテゴリＢ）
クロマフォーマット（マージ方法０、１、２、構文カテゴリＤ）
基準ＱＰ、クロマＱＰオフセット（マージ方法０、構文カテゴリＢ）
ビット深度ルマ／クロマ（マージ方法０、１、２、構文カテゴリＤ）
＜ｈｒｄパラメータ＞
初期到着遅延（マージ方法０、構文カテゴリＢ）
初期削除遅延（マージ方法０、構文カテゴリＢ）
＜符号化ツール＞
符号化ブロック構造（最大／最小ブロックサイズ、推測される分割）（マージ方法０、１、構文カテゴリＣ．ａ）
変換サイズ（最小／最大）（マージ方法０、１、構文カテゴリＣ．ａ）
ＰＣＭブロック使用法（マージ方法０、１、構文カテゴリＣ．ａ）
高度動きベクトル予測（マージ方法０、１、２、構文カテゴリＣ．ｂ）
サンプル適応オフセット（マージ方法０、構文カテゴリＣ．ｂ）
時間的動きベクトル予測（マージ方法０、１、２、構文カテゴリＣ．ｂ）
イントラ平滑化（マージ方法０、１、構文カテゴリＣ．ａ）
依存スライス（マージ方法０、構文カテゴリＡ）
符号隠蔽（マージ方法０、１、構文カテゴリＣ．ａ）
重み付き予測（マージ方法０、構文カテゴリＡ）
トランスクワントバイパス（ｔｒａｎｓｑｕａｎｔ  ｂｙｐａｓｓ）（マージ方法０、１、構文カテゴリＣ．ａ）
エントロピー符号化同期（マージ方法０、１、構文カテゴリＣ．ａ）（Ｓｋｕｐ４）
ループフィルタ（マージ方法０、１、２、構文カテゴリＣ．ｂ）
＜スライスヘッダ値＞
パラメータセットＩＤ（マージ方法０、構文カテゴリＣ．ａ）
参照画像セット（マージ方法０、１、構文カテゴリＢ）
＜暗黙的なＣＴＵアドレスシグナリングｃｐ．の使用法（欧州特許出願ＥＰ１８１５３５１６によって参照されている）（マージ方法０、構文カテゴリＡ）＞
【００４５】
すなわち、マージ識別子タイプの第１の値、すなわち、タイプ０では、構文要素（パラメータ）、つまりタイルおよび画像境界における動き制約、ＧＯＰ構造、参照画像セット、クロマフォーマット、基準量子化パラメータおよびクロマ量子化パラメータ、ビット深度ルマ／クロマ、初期到着遅延に関するパラメータおよびパラメータ初期削除遅延を含む仮想の参照復号器パラメータ、符号化ブロック構造、変換最小および／または最大サイズ、パルス符号変調ブロックの使用法、高度動きベクトル予測、サンプル適応オフセット、時間的動きベクトル予測、イントラ平滑化を記述する、依存スライス、符号隠蔽、重み付き予測、トランスクワントバイパス、エントロピー符号化同期、ループフィルタ、パラメータセットＩＤを含むスライスヘッダ値、参照画像セットを含むスライスヘッダ値、ならびに暗黙的な符号化変換ユニット・アドレス・通知の使用法がハッシュセットに組み込まれる必要がある。
【００４６】
マージ識別子タイプの第２の値、すなわち、タイプ１では、構文要素（パラメータ）、つまりタイルおよび画像境界における動き制約、ＧＯＰ構造、クロマフォーマット、ビット深度ルマ／クロマ、符号化ブロック構造、変換最小および／または最大サイズ、パルス符号変調ブロックの使用法、高度動きベクトル予測、サンプル適応オフセット、時間的動きベクトル予測、イントラ平滑化、符号隠蔽、トランスクワントバイパス、エントロピー符号化同期、ループフィルタ、ならびに参照画像セットを含むスライスヘッダ値。
【００４７】
マージ識別子タイプの第３の値、すなわち、タイプ２では、構文要素（パラメータ）、つまりタイルおよび画像境界における動き制約、ＧＯＰ構造、クロマフォーマット、ビット深度ルマ／クロマ、高度動きベクトル予測、サンプル適応オフセット、時間的動きベクトル予測、ループフィルタ。
【００４８】
図４に、本発明の実施形態による符号化パラメータの一例を示す概略図を示す。図４において、参照符号４０はタイプ０を表し、タイプ０に属する構文要素は点線で指示されている。参照符号４２はタイプ１を表し、タイプ１に属する構文要素は通常の線で指示されている。参照符号４４はタイプ２を表し、タイプ２に属する構文要素は破線で指示されている。
【００４９】
図５ａおよび図５ｂは、シーケンス・パラメータ・セット（ＳＰＳ）２０の一例であり、タイプ０に必要な構文要素は参照符号４０で指示されている。同様に、タイプ１に必要な構文要素は参照符号４２で指示されており、タイプ２に必要な構文要素は参照符号４４で指示されている。
【００５０】
図６ａおよび図６ｂは、ピクチャ・パラメータ・セット（ＰＰＳ）２２の一例であり、タイプ０に必要な構文要素は参照符号４０で指示されており、タイプ１に必要な構文要素は参照符号４２で指示されている。
【００５１】
図７ａから図７ｄは、スライスヘッダ３０の一例であり、図７ｃに参照符号４０で指示されているようにタイプ０にはスライスヘッダの１つの構文要素のみが必要である。
【００５２】
図８は、ストラクチャ・オブ・ピクチャ（ＳＯＰ）２６ａの一例であり、すべての構文要素がＳＯＰに属することがタイプ２に必要である。
【００５３】
図９は、動き制約タイルセット（ＭＣＴＳ）２６ｂの一例であり、すべての構文要素がＭＣＴＳに属することがタイプ２に必要である。
【００５４】
上記のように、図３のマージ識別器６ａは、ハッシュメンバ１６ａおよびハッシュメンバ１６ｂでハッシュ関数を使用してマージ識別子値を生成する。ハッシュ関数を使用して２つ以上のマージ識別子値が生成される場合、ハッシュは、第１のマージ識別子に関してハッシュセット内の追加の要素を包含する第２のマージ識別子のハッシュ関数への入力が、ハッシュ関数への入力の連結にそれぞれの構文要素値の代わりに第１のマージ識別子（ハッシュ結果）を使用するという意味で、接続されている。
【００５５】
加えて、マージ識別子の存在はまた、ハッシュセットに組み込まれた構文要素が、符号化された映像シーケンス（ＣＶＳ）、および／または、ビットストリームのすべてのアクセスユニット（ａｃｃｅｓｓ  ｕｎｉｔ（ＡＵ））において同じ値を有する保証も提供する。さらに、この保証は、パラメータセットのプロファイル／レベル構文における制約フラグの形を有する。
【００５６】
マージプロセスは、図１０から図１３を使用して本発明による別の実施形態を考慮して以下のように説明する。
【００５７】
図１０に、複数の符号化された映像表現に基づいてマージされた映像ストリームを提供するための映像マージャを示す。映像マージャ５０は、入力映像ストリーム１２（図１２に指示される１２ａおよび１２ｂ）が受信される受信機５２、マージ方法識別器５４およびマージプロセッサ５６を含む。マージされた映像ストリーム６０は復号器に伝送される。映像マージャ５０が復号器に含まれる場合、マージされた映像ストリームは、マージされた映像ストリームを表示するためにユーザ機器または任意の他の装置に伝送される。
【００５８】
マージプロセスは、上記のマージ識別子およびマージ識別子タイプによって駆動される。マージプロセスは、パラメータセットの生成とＮＡＬユニットのインターリーブのみを実行することができ、これは、マージ識別子タイプ値０、すなわち、第１の複雑さと関連付けられたマージの最も軽量な形である。図１２に、第１の複雑さのマージ方法の一例を示す。図１２に指示されるように、パラメータセット、すなわち、映像ストリーム１２ａのＳＰＳ１および映像ストリーム１２ｂのＳＰＳ２がマージされ（ＳＰＳ１およびＳＰＳ２に基づいてマージされたＳＰＳが生成される）、映像ストリーム１２ａのＰＰＳ１および映像ストリーム１２ｂのＰＰＳ２がマージされる（ＰＰＳ１およびＰＰＳ２に基づいてマージされたＰＰＳが生成される）。ＩＤＲは任意選択のデータであり、したがって、説明を省く。加えて、マージされた映像ストリーム６０として示されているように映像ストリーム１２ａのスライス１，１およびスライス１，２ならびに映像ストリーム１２ｂのスライス２，１およびスライス２，２がインターリーブされる。図１０および図１２では、２つの映像ストリーム１２ａおよび映像ストリーム１２ｂが例として入力されている。しかしながら、より多くの映像ストリームが入力され、同じ方法でマージされてもよい。
【００５９】
必要に応じてマージプロセスは、マージ識別子タイプ値１、すなわち、第２の複雑さと関連付けられる、ＮＡＬユニットインターリーブ中のビットストリーム内のスライスヘッダの書き換えも含むことができる。さらに最後に、マージ識別子タイプ値２、すなわち、第３の複雑さと関連付けられる、ＮＡＬユニットインターリーブ中のエントロピー復号および符号化を必要とするスライスペイロード内の構文要素が調整される必要がある場合がある。マージ識別子およびマージ識別子タイプは、実行されるべきマージプロセスのうちの１つの選択およびその詳細の決定を駆動する。
【００６０】
マージプロセスへの入力は、空間配置も表す入力サブビットストリームのリストである。プロセスへの出力はマージされたビットストリームである。一般に、すべてのビットストリーム・マージ・プロセスにおいて、新しい出力ビットストリームのパラメータセットが生成される必要があり、これは入力サブビットストリームのパラメータセット、例えば、第１の入力サブビットストリームに基づくものとすることができる。パラメータセットの必要な更新は、画像サイズを含む。例えば、出力ビットストリームの画像サイズは、それぞれの次元の、それらの空間配置のコンテキストでの入力サブビットストリームの画像サイズの和として計算される。
【００６１】
すべての入力サブビットストリームがマージ識別子およびマージ識別子タイプの少なくとも１つのインスタンスの同じ値を有することがビットストリーム・マージ・プロセスの要件である。一実施形態では、すべてのサブビットストリームがマージ識別子の同じ値を有するマージ識別子タイプの最低値と関連付けられたマージプロセスが実行される。
【００６２】
例えば、特定のマージ識別子タイプ値を有するマージ識別子値の差分が、マージプロセスにおいて、そのマージ識別子値が一致するマージ識別子タイプの差分値に従ってマージプロセスの詳細を決定するために使用される。例えば、図１１に示されるように、マージ識別子タイプ値が０に等しい第１のマージ識別子７０は、２つの入力サブビットストリーム７０ａ、７０ｂ間で一致しないが、マージ識別子タイプ値が１に等しい第２のマージ識別子８０は２つの入力サブビットストリーム８０ａ、８０ｂ間で一致する場合、第１のマージ識別子７０のビット位置の違いは、すべてのスライスでの調整を必要とする（スライスヘッダに関連した）構文要素を指示する。
【００６３】
図１３に、受信機（図示されない）、マージ方法識別器がマージ識別子比較器５４ａおよび符号化パラメータ比較器５４ｂを含む、ならびにマージプロセッサ５６を含む映像マージャ５０（５０ａ）を示す。入力映像ストリーム１２がマージ識別子値としてハッシュ値を含む場合、各入力映像ストリームの値はマージ識別子比較器５４ａで比較される。例えば、両方の入力映像ストリームが同じマージ識別子値を有する場合、各入力映像ストリームの個々の符号化パラメータが符号化パラメータ比較器５４ｂで比較される。符号化パラメータ比較結果に基づいて、マージ方法が決定され、マージプロセッサ５６が、決定されたマージ方法を使用して入力映像ストリーム１２をマージする。マージ識別子値（ハッシュ値）がマージ方法も指示する場合、個々の符号化パラメータの比較は不要である。
【００６４】
上記では、３つのマージ方法、第１の複雑さ、第２の複雑さおよび第３の複雑さのマージ方法が説明されている。第４のマージ方法は、完全な画素復号および画素再符号化を使用した映像ストリームのマージである。第４のマージ方法は、３つすべてのマージ方法が適用できない場合に適用される。
【００６５】
図１４および図１５を使用して本発明による別の実施形態を考慮して、マージ結果のレベルを識別するためのプロセスを以下に説明する。マージ結果のレベルの識別は、サブビットストリームに情報を配置すること、そのサブビットストリームを組み込んだマージされたビットストリームのレベル制限に対するサブビットストリームの寄与がどれほど大きいかを意味する。
【００６６】
図１４に、符号化パラメータ決定１４を含む符号器コア、マージ識別子提供（図示されない）、および粒度機能提供器８を含む符号器２（２ｂ）を示す。
【００６７】
一般に、サブビットストリームが結合ビットストリームにマージされることになる場合、個々のサブビットストリームが、潜在的なマージされたビットストリームが順守しなければならないコーデックシステムのレベル固有の制限にどのように寄与するかについての指示は、リーガル結合ビットストリームの作成を確実にするために不可欠である。従来、コーデックレベルの粒度はかなり粗いものであり、例えば、７２０ｐ、１０８０ｐまたは４Ｋなどの識別主要解像度であるが、マージレベル制限の指示は、ずっと細かい粒度を必要とする。この従来のレベル指示の粒度は、マージされたビットストリームへの個々のサブビットストリームの寄与を表すには不十分である。マージされるべきタイルの数が事前には未知であるものとすると、柔軟性とビットレートコストとの合理的なトレードオフを見つける必要があるが、これは、一般に、従来のレベル制限の粒度をはるかに超える。１つの例示的な使用例が、サービス提供者が、３６０度ビデオにつき１２タイル、２４タイルまたは９６タイルなどの異なるタイル構造からの選択の自由を必要とする３６０度映像ストリームであり、各タイルストリームは、等しいレート分布を想定すると、８Ｋなどの全体のレベル制限の１／１２、１／２４または１／９６に寄与することになる。さらに、例えば、映像平面にわたる均一な品質を達成するための、タイル間の不均一なレート分布を想定すると、任意の細かい粒度が必要になり得る。
【００６８】
そのような通知（ｓｉｇｎａｌｉｎｇ）は、例えば、通知された比率および／または追加で通知されたレベルのパーセンテージになる。例えば、参加者が４人の会議シナリオでは、各参加者は、指示、すなわち、粗い粒度機能情報に含まれるレベル情報も含む、リーガルレベル３のビットストリームを送信することになり、指示は、送信ビットストリームがレベル５の制限の１／３および／または３３％を順守することを示し、すなわち、この情報は、細かい粒度機能情報に含まれ得る。複数のそのようなストリームの受信機、すなわち、図１５に示されるような映像マージャ５０（５０ｂ）は、例えば、よって、３つのそのようなビットストリームがレベル５を順守する単一の結合ビットストリームにマージ可能であり得ることを知ることができる。
【００６９】
粒度機能情報は、比率および／またはパーセンテージの指示を値のベクトルとして有していてもよく、各次元はコーデックレベル制限の別の態様、例えば、１秒あたりの最大許容ルマサンプルの量、最大画像サイズ、ビットレート、バッファ占有量、タイルの数などに関する。加えて、比率および／またはパーセンテージは、映像ビットストリームの一般的なコーデックレベルを指す。
【００７０】
いくつかの態様が装置またはシステムの文脈で説明されているが、これらの態様が、ブロックまたはデバイスが方法ステップまたは方法ステップの特徴に対応する、対応する方法の説明も表すことは明らかである。同様に、方法ステップの文脈で説明された態様も、対応する装置および／またはシステムのブロックまたは項目または特徴の説明を表す。方法ステップの一部または全部が、例えば、マイクロプロセッサ、プログラマブルコンピュータ、または電子回路のようなハードウェア装置によって（またはハードウェア装置を使用して）実行されてもよい。いくつかの実施形態では、最も重要な方法ステップのうちの１つまたは複数がそのような装置によって実行され得る。
【００７１】
本発明のデータストリームは、デジタル記憶媒体に格納することができ、またはインターネットなどの無線伝送媒体や有線伝送媒体といった伝送媒体で伝送することができる。
【００７２】
特定の実施要件に応じて、本発明の実施形態を、ハードウェアまたはソフトウェアで実施することができる。実施態様は、それぞれの方法が実行されるようにプログラマブル・コンピュータ・システムと協働する（または協働することができる）、電子的に読み取り可能な制御信号が格納されたデジタル記憶媒体、例えば、フロッピーディスク、ＤＶＤ、Ｂｌｕ−Ｒａｙ、ＣＤ、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭまたはフラッシュメモリを使用して実行することができる。したがって、デジタル記憶媒体はコンピュータ可読であり得る。
【００７３】
本発明によるいくつかの実施形態は、本明細書に記載される方法のうちの１つが実行されるように、プログラマブル・コンピュータ・システムと協働することができる、電子的に読み取り可能な制御信号を有するデータキャリアを含む。
【００７４】
一般に、本発明の実施形態は、プログラムコードを有するコンピュータプログラム製品として実施することができ、プログラムコードは、コンピュータプログラム製品がコンピュータ上で動作すると、方法のうちの１つを実行するように動作する。プログラムコードは、例えば、機械可読キャリアに格納され得る。
【００７５】
他の実施形態は、機械可読キャリアに格納された、本明細書に記載される方法のうちの１つを実行するためのコンピュータプログラムを含む。
【００７６】
言い換えると、本発明の方法の一実施形態は、したがって、コンピュータプログラムがコンピュータ上で動作するときに本明細書に記載される方法のうちの１つを実行するためのプログラムコードを有するコンピュータプログラムである。
【００７７】
本発明の方法の別の実施形態は、したがって、本明細書に記載される方法のうちの１つを実行するためのコンピュータプログラムが記録されているデータキャリア（またはデジタル記憶媒体、またはコンピュータ可読媒体）である。データキャリア、デジタル記憶媒体、または記録された媒体は通常、有形および／または非一時的である。
【００７８】
本発明の方法の別の実施形態は、したがって、本明細書に記載される方法のうちの１つを実行するためのコンピュータプログラムを表すデータストリームまたは信号のシーケンスである。データストリームまたは信号のシーケンスは、例えば、データ通信接続を介して、例えばインターネットを介して転送されるように構成され得る。
【００７９】
別の実施形態は、本明細書に記載される方法のうちの１つを実行するように構成または適合された処理手段、例えば、コンピュータ、またはプログラマブル・ロジック・デバイスを含む。
【００８０】
別の実施形態は、本明細書に記載される方法のうちの１つを実行するためのコンピュータプログラムがインストールされたコンピュータを含む。
【００８１】
本発明による別の実施形態は、本明細書に記載される方法のうちの１つを実行するためのコンピュータプログラムを受信機に（例えば、電子的または光学的に）転送するように構成された装置またはシステムを含む。受信機は、例えば、コンピュータ、モバイルデバイス、メモリデバイスなどであり得る。装置またはシステムは、例えば、コンピュータプログラムを受信機に転送するためのファイルサーバを含み得る。
【００８２】
いくつかの実施形態では、プログラマブル・ロジック・デバイス（例えば、フィールド・プログラマブル・ゲート・アレイ）を使用して、本明細書に記載される方法の機能の一部または全部が実行され得る。いくつかの実施形態では、フィールド・プログラマブル・ゲート・アレイが、本明細書に記載される方法のうちの１つを実行するためにマイクロプロセッサと協働し得る。一般に、これらの方法は、好ましくは、任意のハードウェア装置によって実行される。
【００８３】
本明細書に記載される装置は、ハードウェア装置を使用して、またはコンピュータを使用して、またはハードウェア装置とコンピュータの組み合わせを使用して実施され得る。
【００８４】
本明細書に記載される装置、または本明細書に記載される装置の任意の構成要素は、少なくとも部分的に、ハードウェアとして、および／またはソフトウェアとして実施され得る。
【００８５】
本明細書に記載される方法は、ハードウェア装置を使用して、またはコンピュータを使用して、またはハードウェア装置とコンピュータの組み合わせを使用して実行され得る。
【００８６】
本明細書に記載される方法、または本明細書に記載される方法の任意の構成要素は、少なくとも部分的に、ハードウェアによって、および／またはソフトウェアによって実施され得る。
【００８７】
上述した実施形態は、本発明の原理の単なる例示である。当業者には本明細書に記載される構成および詳細の改変および変形が明らかになることを理解されたい。したがって、本明細書において実施形態の記述および説明として提示された具体的な詳細によってではなく、添付された特許請求の範囲によってのみ限定されることが意図されている。
【図１】
2022501889.tif 000004
【図２】
2022501889.tif 000005
【図３】
2022501889.tif 000006
【図４−１】
2022501889.tif 000007
【図４−２】
2022501889.tif 000008
【図４−３】
2022501889.tif 000009
【図４−４】
2022501889.tif 000010
【図５ａ】
2022501889.tif 000011
【図５ｂ】
2022501889.tif 000012
【図６ａ】
2022501889.tif 000013
【図６ｂ】
2022501889.tif 000014
【図７ａ】
2022501889.tif 000015
【図７ｂ】
2022501889.tif 000016
【図７ｃ】
2022501889.tif 000017
【図７ｄ】
2022501889.tif 000018
【図８】
2022501889.tif 000019
【図９】
2022501889.tif 000020
【図１０】
2022501889.tif 000021
【図１１】
2022501889.tif 000022
【図１２】
2022501889.tif 000023
【図１３】
2022501889.tif 000024
【図１４】
2022501889.tif 000025
【図１５】
2022501889.tif 000026
【手続補正書】
【提出日】令和3年5月7日(2021.5.7)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
符号化された映像表現（１２）を提供するための映像符号器（２）であって、
前記映像符号器（２）が、複数の所定の機能レベルのうちの機能レベルを有する映像復号器との映像ストリームの互換性を記述する、粗い粒度機能需要情報を提供するように構成され、
前記映像符号器（２）が、前記符号化された映像表現を復号するために前記所定の機能レベルのうちの１つと関連付けられた許容可能な機能需要のどの分率が必要であるかを記述する、および／または前記符号化された映像表現（１２）が、許容可能な機能需要のどの分率を、その機能需要が前記所定の機能レベルのうちの１つと一致するマージされた映像ストリーム（６０）に寄与するかを記述する、細かい粒度機能需要情報を提供するように構成される、映像符号器（２）。
【請求項２】
前記映像符号器（２）が、前記細かい粒度機能需要情報が比率値およびパーセンテージ値を含むような、前記細かい粒度機能需要情報を提供するように構成される、請求項１に記載の映像符号器（２）。
【請求項３】
前記映像符号器（２）が、前記細かい粒度機能需要情報が、前記粗い粒度機能需要情報によって記述される前記所定の機能レベルを参照する比率値またはパーセンテージ値を含むような、前記細かい粒度機能需要情報を提供するように構成される、請求項１または２に記載の映像符号器（２）。
【請求項４】
前記映像符号器（２）が、前記細かい粒度機能需要情報が参照情報および分率情報を含むような、前記細かい粒度機能需要情報を提供するように構成され、
前記参照情報が、前記分率情報が前記所定の機能レベルのうちのどれを参照するかを記述する、請求項１から３のいずれか一項に記載の映像符号器（２）。
【請求項５】
前記映像符号器（２）が、前記細かい粒度機能需要情報が、前記符号化された映像表現（６０）の前記機能需要を、複数の基準に対する機能需要に関して記述するような前記細かい粒度機能需要情報を提供するように構成される、請求項１から４のいずれか一項に記載の映像符号器（２）。
【請求項６】
前記映像符号器（２）が、前記細かい粒度機能需要情報が異なる基準に関連した複数の分率値を含むような、前記細かい粒度機能需要情報を提供するように構成される、請求項１から５のいずれか一項に記載の映像符号器（２）。
【請求項７】
前記映像符号器（２）が、前記細かい粒度機能需要情報が、以下の基準、すなわち、
１秒あたりの最大許容ルマサンプルの量の分率、
最大画像サイズの分率、
最大ビットレートの分率、
バッファ占有量の分率、および
最大タイル数の分率、のうちの１つ以上を記述する１つ以上の分率値を含むような前記細かい粒度機能需要情報を提供するように構成される、請求項１から６のいずれか一項に記載の映像符号器（２）。
【請求項８】
前記映像符号器が、そのような解像度の前記細かい粒度機能需要情報を提供するように構成される、請求項１から７のいずれか一項に記載の映像符号器（２）。
【請求項９】
複数の符号化された映像表現に基づいてマージされた映像表現（６０）を提供するための映像マージャ（５０）であって、
前記映像マージャ（５０）が、複数の符号化パラメータ（２０、２２、２６、３０）を記述する符号化されたパラメータ情報、符号化された映像コンテンツ情報、複数の所定の機能レベルのうちの機能レベルを有する映像復号器との映像ストリームの互換性を記述する、粗い粒度機能需要情報、および細かい粒度機能需要情報を含む複数の映像ストリーム（１２ａ、１２ｂ）を受け取るように構成され、
前記映像マージャ（５０）が、前記粗い粒度機能需要情報および前記細かい粒度機能需要情報に依存して前記２つ以上の映像ストリームをマージするように構成される、映像マージャ（５０）。
【請求項１０】
前記映像マージャ（５０）が、前記細かい粒度機能需要情報に依存してどの映像ストリームをマージされた映像ストリーム（６０）に含めることができるか否かを判断するように構成される、請求項９に記載の映像マージャ（５０）。
【請求項１１】
前記映像マージャ（５０）が、前記細かい粒度機能需要情報に依存して前記２つ以上の映像ストリームをマージすることによって有効なマージされた映像ストリーム（６０）を取得することができるか否かを判断するように構成される、請求項９または１０に記載の映像マージャ（５０）。
【請求項１２】
前記映像マージャ（５０）が、マージされるべき複数の映像ストリームの細かい粒度機能需要情報を要約するように構成される、請求項９から１１のいずれか一項に記載の映像マージャ（５０）。
【請求項１３】
前記細かい粒度機能需要情報が、前記符号化された映像表現の前記機能需要を、複数の基準に対する機能需要に関して記述し、
前記映像マージャ（５０）が、前記細かい粒度機能需要情報によって記述される、マージされるべき前記複数の映像ストリームの機能需要の組み合わせが、すべての基準に対して所定の限度内にあるか否かを判断するように構成される、請求項９から１２のいずれか一項に記載の映像マージャ（５０）。
【請求項１４】
前記細かい粒度機能需要情報が、異なる基準に関連した複数の分率値を含む、請求項９から１３のいずれか一項に記載の映像マージャ（５０）。
【請求項１５】
前記細かい粒度機能需要情報が、以下の基準、すなわち、
１秒あたりの最大許容ルマサンプルの量の分率、
最大画像サイズの分率、
最大ビットレートの分率、
バッファ占有量の分率、および
最大タイル数の分率、のうちの１つ以上を記述する１つ以上の分率値を含む、請求項９から１４のいずれか一項に記載の映像マージャ（５０）。
【請求項１６】
映像復号器であって、前記映像復号器が、請求項９から１５のいずれか一項に記載の映像マージャを含む、映像復号器。
【請求項１７】
符号化された映像表現（１２）を提供するための方法であって、
複数の所定の機能レベルのうちの機能レベルを有する映像復号器との映像ストリームの互換性を記述する、粗い粒度機能需要情報を提供すること、を含み、
映像符号器が、前記符号化された映像表現を復号するために前記所定の機能レベルのうちの１つと関連付けられた許容可能な機能需要のどの分率が必要であるかを記述する、および／または許容可能な機能需要のどの分率を、前記符号化された映像表現が、その機能需要が前記所定の機能レベルのうちの１つと一致する、マージされた映像ストリームに寄与するかを記述する、細かい粒度機能需要情報を提供するように構成される、方法。
【請求項１８】
複数の符号化された映像表現に基づいてマージされた映像表現を提供するための方法であって、
複数の符号化パラメータを記述する符号化されたパラメータ情報、符号化された映像コンテンツ情報、複数の所定の機能レベルのうちの機能レベルを有する映像復号器との映像ストリームの互換性を記述する、粗い粒度機能需要情報、および細かい粒度機能需要情報を含む複数の映像ストリームを受け取ること、を含み、
映像マージャが、前記粗い粒度機能需要情報および前記細かい粒度機能需要情報に依存して前記２つ以上の映像ストリームをマージするように構成される、方法。
【請求項１９】
コンピュータ上で動作するときに、請求項１７または１８に記載の方法を実行するためのプログラムコードを有するコンピュータプログラム。
【請求項２０】
請求項１７または１８に記載の方法によって生成されたデータストリーム。
【請求項２１】
提供された映像表現（１２）を復号するための映像復号器であって、
前記映像復号器が、複数の符号化パラメータ（２０、２２、２６、３０）を記述する符号化されたパラメータ情報、符号化された映像コンテンツ情報、複数の所定の機能レベルのうちの機能レベルを有する映像復号器との映像ストリームの互換性を記述する、粗い粒度機能需要情報、および細かい粒度機能需要情報を含む複数のサブ映像ストリーム（１２ａ、１２ｂ）を含む前記映像表現（１２）を受け取るように構成され、
前記映像復号器が、前記細かい粒度機能需要情報によって記述される、マージされるべき前記複数のサブ映像ストリームの機能需要の組み合わせが、順守されるべき所定の制限と一致するか否かを判断するように構成される、映像復号器。
【請求項２２】
前記映像符号化器は、受信した粗い粒度機能需要情報および細かい粒度機能需要情報を解析して、前記能力レベルおよび許容される機能需要の一部の指示を取得するように構成される請求項２１に記載の映像復号器。
【請求項２３】
前記細かい粒度機能需要情報は、複数の基準に対する機能需要の観点から符号化ビデオ表現の機能需要を記述し、
前記映像復号器は、マージされる複数の映像ストリームの結合された機能需要がすべての基準に対して所定の制限内にある場合に、マージされる複数の映像ストリームのマージされた機能需要が一致することを決定するように構成される、請求項２１又は２２に記載の映像復号器。
【請求項２４】
前記細かい粒度機能需要情報は、異なる基準に関連する複数の分率値を含む、請求項２１から２３のいずれか一項に記載の映像復号器。
【請求項２５】
前記細かい粒度機能需要情報は、以下の基準、すなわち、
１秒あたりの最大許容ルマサンプルの量の分率、
最大画像サイズの分率、
最大ビットレートの分率、
バッファ占有量の分率、及び
最大タイル数の分率、のうちの１つ以上を記述する１つ以上の分率値を含む、請求項２１から２４のいずれか一項に記載の映像復号器。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像の符号化／復号に関する。
【背景技術】
【０００２】
映像合成は、複数の映像ソースの合成がユーザに提示される多数の用途で使用される。一般的な例が、例えば、広告やユーザインターフェースのための、オーバーレイの映像コンテンツとのピクチャ・イン・ピクチャ（ｐｉｃｔｕｒｅ−ｉｎ−ｐｉｃｔｕｒｅ（ＰｉＰ））合成および融合である。画素領域でのそのような合成を生成するには、計算が複雑であり、単一のハードウェア復号器またはそれ以外の限られたリソースを備えたデバイス上では実行不可能でさえあり得る入力映像ビットストリームの並列復号が必要である。例えば、現在のＩＰＴＶシステム設計では、対応するセット・トップ・ボックスが合成を実行し、それらの複雑さ、分配および限られた寿命のために主要なサービスコスト要因である。これらのコスト要因の削減が、セット・トップ・ボックスの機能を仮想化しようとする継続的な努力、例えば、ユーザインターフェース生成のクラウドリソースへのシフトの動機になっている。そのようなアプローチでは、映像復号器のみ、いわゆるゼロクライアントが、顧客宅内に残る唯一のハードウェアである。そのようなシステム設計の最先端技術は、トランスコーディングに基づく、すなわち、復号、画素領域の合成、および搬送前または搬送中の再符号化の、その最も単純な形での合成である。完全な復号および符号化サイクルから作業負荷を削減するために、画素領域ではなく変換係数領域での操作がＰｉＰ合成についてまず提案された。それ以来、個々の合成ステップを融合または短縮し、それらを現在のビデオコーデックに適用するための多数の技法が提案された。しかしながら、一般的な合成のためのトランスコーディングに基づくアプローチは依然として計算が複雑であり、システムのスケーラビリティを損なう。トランスコーディングのアプローチによっては、そのような合成は、レート歪み（ｒａｔｅ  ｄｉｓｔｏｒｔｉｏｎ（ＲＤ））性能に影響を及ぼす可能性もある。
【０００３】
加えて、タイル上に構築される広範な用途が存在し、タイルは、隣接するタイルから独立して符号化された映像平面の空間サブセットである。３６０°ビデオ用のタイルベースのストリーミングシステムは、３６０°ビデオを、様々な解像度のサブビットストリームに符号化され、現在のユーザの見る向きに応じてクライアント側で単一のビットストリームにマージされるタイルに分割することによって機能する。サブビットストリームのマージを伴う別の用途は、例えば、従来の映像コンテンツとバナー広告との結合である。さらに、サブビットストリームの再結合は、複数のユーザが個々の映像ストリームを、ストリームが最終的にマージされる受信機に送信する、ビデオ会議システムにおいても重要な部分になり得る。さらに、映像がタイルに分割され、タイル符号化が別々の独立したインスタンスに分配されるタイルベースのクラウド符号化システムは、結果として得られるタイルビットストリームが単一のビットストリームにマージして戻される前のフェイルセーフチェックに依拠する。これらすべての用途において、既知の適合性点を用いた単一の映像復号器での復号を可能にするためにストリームがマージされる。ここでのマージとは、ビットストリームまたは画素値の再構築のエントロピー符号化されたデータの完全な復号操作および符号化操作を必要としない軽量のビットストリーム書き換えを意味する。しかしながら、ビットストリームマージの形成の成功、すなわち、結果として得られるマージされたビットストリームの適合性を保証するために使用される技法は、非常に異なる適用シナリオに由来するものであった。
【０００４】
例えば、従来（レガシー）のコーデックは、符号器が、画像間のインター予測を、タイルまたは画像の境界内に限定されるように、すなわち、同じタイルに属さないか、または画像境界の外側に位置するサンプル値または構文要素値を使用せずに制約する、動き制約タイルセット（Ｍｏｔｉｏｎ  Ｃｏｎｓｔｒａｉｎｅｄ  Ｔｉｌｅ  Ｓｅｔ（ＭＣＴＳ））と呼ばれる技法をサポートする。この技術の起源は、関心領域（Ｒｅｇｉｏｎ  ｏｆ  Ｉｎｔｅｒｅｓｔ（ＲＯＩ））復号であり、ＲＯＩ復号では復号器は、解像不能な依存関係に遭遇し、ドリフトを回避することなく、ビットストリームおよび符号化画像の特定のサブセクションのみを復号することができる。このコンテキストでの別の最先端技術が、適用されたビットストリーム構造、すなわち、画像の順序およびインター予測の参照構造の指示を与える、ストラクチャ・オブ・ピクチャ（Ｓｔｒｕｃｔｕｒｅ  ｏｆ  Ｐｉｃｔｕｒｅｓ（ＳＯＰ））ＳＥＩメッセージである。この情報は、２つのランダム・アクセス・ポイント（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｐｏｉｎｔ（ＲＡＰ））間の画像ごとに、ピクチャ・オーダ・カウント（Ｐｉｃｔｕｒｅ  Ｏｒｄｅｒ  Ｃｏｕｎｔ（ＰＯＣ））値、アクティブなシーケンス・パラメータ・セット（Ｓｅｑｕｅｎｃｅ  Ｐａｒａｍｅｔｅｒ  Ｓｅｔ（ＳＰＳ））識別子、アクティブなＳＰＳへの参照画像セット（Ｒｅｆｅｒｅｎｃｅ  Ｐｉｃｔｕｒｅ  Ｓｅｔ（ＲＰＳ））インデックスを要約することによって提供される。この情報に基づき、トランスコーダ、ミドルボックスまたはメディア対応ネットワークエンティティ（ｍｅｄｉａ−ａｗａｒｅ  ｎｅｔｗｏｒｋ  ｅｎｔｉｔｙ（ＭＡＮＥ））またはメディアプレーヤが、ビットレートの調整、コマ落とし、早送りなどの、ビットストリームの操作または変更するのを支援できるビットストリーム構造を識別することができる。
【０００５】
上記の例示的な通知の技法の両方が、簡単ではない構文変更または完全なトランスコーディングさえもなしでサブビットストリームの軽量マージを実行できるか否かを理解する際に不可欠であるが、これらは決して十分ではない。より詳細には、このコンテキストにおける軽量マージは、わずかな書き換え操作のみでソースビットストリームのＮＡＬユニットをインターリーブして、すなわち、一緒に使用されるパラメータセットを新しい画像サイズおよびタイル構造と共に記述して、マージされるべきすべてのビットストリームが別々のタイル領域に位置するようにすることを特徴とする。マージの複雑さの次のレベルは、理想的には、スライスヘッダ内の可変長符号を変更することのないスライスヘッダ要素のわずかな書き換えによって構成される。マージの複雑さのさらなるレベルが存在し、これらのレベルは、例えば、スライスデータに対してエントロピー符号化を再実行して、エントロピー符号化されているが、映像の復号および符号化を伴う完全なトランスコードと比較して有益であり、むしろ軽量とみなすことができる画素値の再構築を必要とせずに変更できる特定の構文要素を変更するためのものであり、軽量とはみなされない。
【０００６】
マージされたビットストリームでは、すべてのスライスが同じパラメータセットを参照する必要がある。元のビットストリームのパラメータセットが大幅に異なる設定を使用する場合、パラメータセットの構文要素の多くがスライスヘッダおよびスライスペイロードの構文にさらなる影響を及ぼし、その影響の程度が異なるため、軽量マージが不可能な場合がある。構文要素が含まれる復号プロセスの下流に行くほど、マージ／書き換えがより複雑になる。（パラメータセットおよびその他の構造の）構文依存関係のいくつかの注目すべき一般的なカテゴリを以下のように区別することができる。
Ａ．構文の存在指示
Ｂ．値計算の依存関係
Ｃ．スライスペイロードの符号化ツール制御
ａ．復号プロセスの初期に使用される構文（係数符号隠蔽、ブロック分割制限など）
ｂ．復号プロセスの後期に使用される構文（動き補正（ｍｏｔｉｏｎ  ｃｏｍｐ）、ループフィルタなど）または一般的な復号プロセス制御（参照画像、ビットストリーム順序）
Ｄ．ソース・フォーマット・パラメータ
【０００７】
カテゴリＡでは、パラメータセットは、様々なツールの多数の存在フラグ（ｄｅｐｅｎｄｅｎｔ＿ｓｌｉｃｅ＿ｓｅｇｍｅｎｔｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇやｏｕｔｐｕｔ＿ｆｌａｇ＿ｐｒｅｓｅｎｔ＿ｆｌａｇなど）を含む。そのようなフラグに違いがある場合、フラグを結合パラメータセットにおいて有効であるように設定することができ、マージ前に構文要素を含まなかったビットストリーム内のスライスのマージされたスライスヘッダに、デフォルト値を明示的に書き込むことができ、すなわち、この場合、マージは、パラメータセットおよびスライスヘッダの構文への変更を必要とする。
【０００８】
カテゴリＢでは、パラメータセットの構文の通知された値が、計算において、他のパラメータセットまたはスライスヘッダのパラメータと一緒に使用されてもよく、例えば、ＨＥＶＣでは、スライスのスライス量子化パラメータ（ｑｕａｎｔｉｚａｔｉｏｎ  ｐａｒａｍｅｔｅｒ（ＱＰ））が、スライスの残差信号の変換係数の量子化の粗さを制御するために使用される。ビットストリームにおけるスライスＱＰの通知（ＳｌｉｃｅＱｐＹ）は、以下のようにピクチャ・パラメータ・セット（ｐｉｃｔｕｒｅ  ｐａｒａｍｅｔｅｒ  ｓｅｔ（ＰＰＳ））レベルでのＱＰ通知に依存する。
ＳｌｉｃｅＱｐＹ＝２６＋ｉｎｉｔ＿ｑｐ＿ｍｉｎｕｓ２６（ＰＰＳからの）＋ｓｌｉｃｅ＿ｑｐ＿ｄｅｌｔａ（スライスヘッダからの）
【０００９】
（マージされた）符号化ビデオ画像内のすべてのスライスが同じアクティブ化されたＰＰＳを参照する必要があるため、マージされるべきである個々のストリームのＰＰＳのｉｎｉｔ＿ｑｐ＿ｍｉｎｕｓ２６の違いが、ｉｎｉｔ＿ｑｐ＿ｍｉｎｕｓ２６の新しい共通の値を反映するようなスライスヘッダの調整を必要とする。すなわち、この場合、マージは、カテゴリ１の場合と同様に、パラメータセットおよびスライスヘッダの構文への変更を必要とする。
【００１０】
カテゴリＣでは、さらなるパラメータセットの構文要素が、スライスペイロードのビットストリーム構造に影響を及ぼす符号化ツールを制御する。サブカテゴリＣ．ａとサブカテゴリＣ．ｂとは、復号プロセスのどのくらい下流に構文要素が含まれるか、および（これに関連して）これらの構文要素への変更と関連付けられる複雑さ、すなわち、構文要素がエントロピー符号化と画素レベル再構築との間のどこに含まれるかに応じて区別することができる。
【００１１】
例えば、カテゴリＣ．ａの１つの要素は、符号化された変換係数の符号データの導出を制御するｓｉｇｎ＿ｄａｔａ＿ｈｉｄｉｎｇ＿ｅｎａｂｌｅｄ＿ｆｌａｇである。符号データ隠蔽を容易に非アクティブ化することができ、対応する推測される符号データがスライスペイロードに明示的に書き込まれる。ただし、このカテゴリでのスライスペイロードへのそのような変更では、画素ごとのマージ映像を再度符号化する前に完全な復号によって画素領域に進む必要がない。別の例は、推測されるブロック分割の決定であり、または推測される値をビットストリームに容易に書き込むことができる任意の他の構文である。すなわち、この場合、マージは、パラメータセット、スライスヘッダの構文、およびエントロピー復号／符号化を必要とするスライスペイロードへの変更を必要とする。
【００１２】
しかしながら、サブカテゴリＣ．ｂは、復号のずっと下流のプロセスに関連する構文要素を必要とし、したがって、複雑な復号プロセスの多くが、いずれにせよ、残りの復号ステップを回避することが実装上および計算上望ましくない方法で実行される必要がある。例えば、動き補償制約「時間的動き制約タイルセットＳＥＩ（ストラクチャ・オブ・ピクチャ情報）メッセージ」または「ＳＥＩメッセージ」などの様々な復号プロセス関連の構文に接続された構文要素の違いにより画素レベルのトランスコーディングが回避できなくなる。サブカテゴリＣ．ａとは対照的に、完全な画素レベルのトランスコーディングなしでは変更できない方法でスライスペイロードに影響を及ぼす符号器の決定が多数ある。
【００１３】
カテゴリＤでは、異なる値によりサブビットストリームをマージするために画素レベルのトランスコーディングを不可避とするパラメータセットの構文要素（ｃｈｒｏｍａ＿ｆｏｒｍａｔ＿ｉｄｃによって指示されるクロマサブサンプリングなど）がある。すなわち、この場合、マージは、完全な復号、画素レベルのマージおよび完全な符号化のプロセスを必要とする。
【００１４】
上記のリストは決して網羅的ではないが、広範なパラメータが様々な方法でサブビットストリームの共通のビットストリームへのマージのメリットに影響を及ぼすこと、およびこれらのパラメータを追跡および解析することに手間がかかることが明らかになる。
【発明の概要】
【発明が解決しようとする課題】
【００１５】
本発明の目的は、映像ビットストリームを効率的にマージするためのビデオコーデックを提供することにある。
【課題を解決するための手段】
【００１６】
この目的は、本出願の特許請求の範囲の主題によって達成される。
【００１７】
本発明の基礎をなす基本的な考え方は、複数の映像ストリームのマージの改善が１つまたは複数のマージ識別子を含めることによって達成されることである。このアプローチにより、計算リソースの負荷を軽減するとともに、マージプロセスを加速することが可能になる。
【００１８】
本発明の実施形態によれば、映像符号器は、複数の符号化パラメータを記述する符号化されたパラメータ情報、符号化された映像コンテンツ情報、すなわち、パラメータ情報によって定義された符号化パラメータを使用して符号化された情報、ならびに符号化された映像表現を別の符号化された映像表現とマージできるか否か、および／または、どのようにして、例えば、どの複雑さを使用して、マージできるかを指示する１つまたは複数のマージ識別子を含む映像ストリームを提供するように構成される。どの複雑さを使用するかは、パラメータ情報によって定義されたパラメータ値に基づいて決定され得る。マージ識別子は、２つの異なる符号化された映像表現を所定の複雑さを使用してマージすることができるようにするために２つの異なる符号化された映像表現において等しくなければならない、複数の符号化パラメータの連結であり得る。加えて、マージ識別子は、２つの異なる符号化された映像表現を所定の複雑さを使用してマージできるようにするために２つの異なる符号化された映像表現において等しくなければならない、複数の符号化パラメータの連結のハッシュ値であり得る。
【００１９】
本発明の実施形態によれば、マージ識別子は、パラメータセットの書き換えによりマージするか、またはパラメータセットおよびスライスヘッダの書き換えによりマージするか、またはパラメータセット、スライスヘッダ、スライスペイロードの書き換えによりマージするマージ手順または、一般的に、「適切な」マージ方法の複雑さを表すマージ識別子タイプを指示することができ、マージ識別子は、マージ識別子タイプに関連付けられており、マージ識別子タイプに関連付けられたマージ識別子は、２つの異なる符号化された映像表現が、マージ識別子タイプによって表されるマージ手順の複雑さを使用してマージ可能であるように、２つの異なる符号化された映像表現において等しくなければならない符号化パラメータを含む。マージ識別子タイプの値はマージプロセスを指示することができ、映像符号器は、マージ識別子タイプの以下の値、すなわち、パラメータセットの書き換えによるマージプロセスを表すマージ識別子タイプの第１の値、パラメータセットおよびスライスヘッダの書き換えによるマージプロセスを表すマージ識別子タイプの第２の値、ならびにパラメータセット、スライスヘッダ、およびスライスペイロードの書き換えによるマージプロセスを表すマージ識別子タイプの第３の値、のうちの少なくとも２つを切り替えるように構成される。
【００２０】
本発明の実施形態によれば、複数のマージ識別子がマージ手順の異なる複雑さと関連付けられており、例えば、各識別子は、マージ手順のパラメータセット／ハッシュおよびタイプを指示する。符号器は、マージ識別子の提供のために評価される符号化パラメータが映像シーケンスのすべてのユニットにおいて同一であるか否かをチェックし、チェックに依存してマージ識別子を提供するように構成され得る。
【００２１】
本発明の実施形態によれば、複数の符号化パラメータは、完全な画素復号によるマージよりも複雑さが少ないマージを可能にするために、異なる映像ストリーム、すなわち、符号化された映像表現において同一でなければならないマージ関連パラメータを含むことができ、映像符号器は、マージ関連パラメータに基づいて１つまたは複数のマージ識別子を提供するように構成され、すなわち、２つの符号化された映像表現間に共通のパラメータがない場合には、完全な画素復号が実行され、すなわち、マージプロセスの複雑さを軽減する可能性がない。マージ関連パラメータは、以下のパラメータ：タイル境界における動き制約、例えば、動き制約タイルセットの補助強化情報（ｍｏｔｉｏｎ  ｃｏｎｓｔｒａｉｎ  ｔａｉｌ  ｓｅｔ  ｓｕｐｐｌｅｍｅｎｔａｌ  ｅｎｈａｎｃｅｍｅｎｔ  ｉｎｆｏｒｍａｔｉｏｎ（ＭＣＴＳ  ＳＥＩ））を記述するパラメータ、画像群（ｇｒｏｕｐ  ｏｆ  ｐｉｃｔｕｒｅ（ＧＯＰ））構造、すなわち、符号化順序の表示順序へのマッピング、ランダム・アクセス・ポイント指示、例えば、ＳＯＰ：ストラクチャ・オブ・ピクチャを用いた時間的階層化、ＳＥＩに関する情報、クロマ符号化フォーマットを記述するパラメータおよびルマ符号化フォーマットを記述するパラメータ、例えば、少なくともクロマフォーマットおよびビット深度のルマ／クロマを含むセット、高度動きベクトル予測を記述するパラメータ、サンプル適応オフセットを記述するパラメータ、時間的動きベクトル予測を記述するパラメータ、ならびにループフィルタを記述するパラメータおよびその他の符号化パラメータ、のうちの１つまたは複数または全部を含み、すなわち、パラメータセット（参照画像セット、基準量子化パラメータなどを含む）、スライスヘッダ、スライスペイロードが、２つの符号化された映像表現をマージするために書き換えられる。
【００２２】
本発明の実施形態によれば、マージ手順の第１の複雑さと関連付けられたマージ識別子が、第１の複雑さよりも高いマージ手順の第２の複雑さと関連付けられたマージパラメータが、第１の符号化パラメータセットの真のサブセットである第２の符号化パラメータセットに基づいて決定されるときに、第１の符号化パラメータセットに基づいて決定され得る。第２の複雑さよりも高いマージ手順の第３の複雑さと関連付けられたマージ識別子が、第２の符号化パラメータセットの真のサブセットである第３の符号化パラメータセットに基づいて決定され得る。映像符号器は、マージ手順の第１の複雑さと関連付けられたマージ識別子を、符号化パラメータセット、例えば、スライスヘッダおよびスライスペイロードを不変のままにして複数のスライスに適用可能なパラメータセットを変更するだけの映像ストリームのマージ、すなわち、パラメータセットの書き換え（のみ）によるマージプロセスを可能にするために２つの異なる映像ストリーム、例えば、符号化された映像表現において等しくなければならない第１のセットに基づいて決定するように構成される。映像符号器は、マージ手順の第２の複雑さと関連付けられたマージ識別子を、符号化パラメータセット、例えば、スライスペイロードを不変のままにして複数のスライスに適用可能なパラメータセットを変更し、スライスヘッダも変更する映像ストリームのマージ、すなわち、パラメータセットおよびスライスヘッダの書き換えによるマージプロセスを可能にするために２つの異なる映像ストリーム、例えば、符号化された映像表現において等しくなければならない第２のセットに基づいて決定するように構成され得る。映像符号器は、マージ手順の第３の複雑さと関連付けられたマージ識別子を、符号化パラメータセット、例えば、複数のスライスに適用可能なパラメータセットを変更し、スライスヘッダおよびスライスペイロードも変更するが、完全な画素復号および画素再符号化を実行されない映像ストリームのマージ、すなわち、パラメータセット、スライスヘッダ、およびスライスペイロードの書き換えによるマージプロセスを可能にするために２つの異なる映像ストリーム、例えば、符号化された映像表現において等しくなければならない第３のセットに基づいて決定するように構成され得る。
【００２３】
本発明の実施形態によれば、提供された複数の符号化された映像表現、例えば、映像ストリームに基づいてマージされた映像表現を提供するための映像マージャ、映像マージャは、複数の符号化パラメータを記述する符号化されたパラメータ情報、符号化された映像コンテンツ情報、すなわち、パラメータ情報によって定義された符号化パラメータを使用して符号化された情報、ならびに符号化された映像表現を別の符号化された映像表現とマージできるか否か、および／または、どのようにして、例えば、どの複雑さを使用して、マージできるかを指示する１つまたは複数のマージ識別子を含む複数の映像ストリームを受け取るように構成され、映像マージャは、マージ方法の使用法、例えば、マージタイプ、マージプロセスに関して、マージ識別子に依存して、すなわち、異なる映像ストリームのマージ識別子の比較に依存して決定するように構成される。映像マージャは、マージ識別子に依存して、複数のマージ方法の中から、マージ方法を選択するように構成される。映像マージャは、以下のマージ方法、すなわち、１つまたは複数のマージ識別子に依存した異なる複雑さを有するマージ方法である、スライスヘッダおよびスライスペイロードを不変のままにして複数のスライスに適用可能なパラメータセットを変更するだけの映像ストリームのマージである、第１のマージ方法、スライスペイロードを不変のままにして複数のスライスに適用可能なパラメータセットを変更し、スライスヘッダも変更する映像ストリームのマージである、第２のマージ方法、ならびに複数のスライスに適用可能なパラメータセットを変更し、スライスヘッダおよびスライスペイロードも変更するが、完全な画素復号および画素再符号化を実行されない映像ストリームのマージである、第３のマージ方法、のうちの少なくとも２つから選択するように構成され得る。
【００２４】
本発明の実施形態によれば、映像マージャは、同じ所与のマージ方法と関連付けられるか、または同じマージ識別子タイプと関連付けられた２つ以上の映像ストリームのマージ識別子を比較し、比較の結果に依存して所与のマージ方法を使用してマージを実行するか否かの判断を実行するように構成される。映像マージャは、比較により、所与のマージ方法と関連付けられた２つ以上の映像ストリームのマージ識別子が等しいことが指示される場合、所与のマージ方法を使用してマージを選択的に実行するように構成され得る。映像マージャは、マージ識別子の比較により、所与のマージ方法と関連付けられた２つ以上の映像ストリームのマージ識別子が異なることが指示される場合、すなわち、符号化パラメータ自体をさらに比較することなく、比較されたマージ識別子が関連付けられている所与のマージ方法よりも高い複雑さを有するマージ方法を使用するように構成され得る。映像マージャは、マージ識別子の比較により、所与のマージ方法と関連付けられた２つ以上の映像ストリームのマージ識別子が等しいことが指示される場合、所与のマージ方法を使用した映像ストリームのマージを可能にするために２つ以上の映像ストリームにおいて等しくなければならない符号化パラメータを選択的に比較するように構成されてもよく、映像マージャは、前記符号化パラメータ、すなわち、所与のマージ方法を使用した映像ストリームのマージを可能にするために２つ以上の映像ストリームにおいて等しくなければならない符号化パラメータの比較により、符号化パラメータが等しいことが指示される場合、所与のマージ方法を使用してマージを選択的に実行するように構成され、映像マージャは、前記符号化パラメータの比較により、符号化パラメータが違いを含むことが指示される場合、所与のマージ方法よりも高い複雑さを有するマージ方法を使用してマージを実行するように構成される。
【００２５】
本発明の実施形態によれば、映像マージャは、異なる複雑さを有するマージ方法と関連付けられたマージ識別子を比較する、すなわち、ハッシュを比較するように構成されてもよく、映像マージャは、マージされるべき２つ以上の映像ストリームにおいて関連付けられたマージ識別子が等しい最低の複雑さのマージ方法を識別するように構成され、映像マージャは、識別されたマージ方法を使用したマージを可能にするためにマージされるべき２つ以上の映像ストリームにおいて等しくなければならない、符号化パラメータのハッシュバージョンではなく、符号化パラメータセット、すなわち、個々の符号化パラメータを比較するように構成され、異なる、通常はオーバーラップする符号化パラメータセットが、異なる複雑さのマージ方法と関連付けられており、映像マージャは、比較により、識別されたマージ方法と関連付けられた符号化パラメータセットの符号化パラメータがマージされるべき映像ストリームにおいて等しいことが指示される場合、識別されたマージ方法を使用して２つ以上の映像ストリームを選択的にマージするように構成され、映像マージャは、比較により、識別されたマージ方法と関連付けられた符号化パラメータセットの符号化パラメータが違いを含むことが指示される場合、その識別されたマージ方法よりも高い複雑さを有するマージ方法を使用して２つ以上の映像ストリームをマージするように構成される。映像マージャは、例えば、マージされるべき異なる映像ストリームの、同じマージ方法または「マージ識別子タイプ」と関連付けられた、マージ識別子間の１つまたは複数の違いに依存して、どの符号化パラメータがマージプロセス、すなわち、映像ストリームのマージにおいて変更されるべきかを決定するように構成される。
【００２６】
本発明の実施形態によれば、映像マージャは、マージされるべき映像ストリームの符号化パラメータに基づいて、マージされるべきすべての映像ストリームのスライスと関連付けられている、結合符号化パラメータまたは結合符号化パラメータセット、例えば、シーケンス・パラメータ・セットＳＰＳおよびピクチャ・パラメータ・セットＰＰＳを取得し、例えば、１つの符号化された映像表現と他の符号化された映像表現のすべての符号化パラメータの値が同じである場合に、結合符号化パラメータをマージされた映像ストリームに含めるように構成され、符号化パラメータは、符号化された映像表現の符号化パラメータ間に違いがある場合には、共通のパラメータをコピーすることによって更新され、符号化パラメータは、メインの（すなわち、一方がメインであり、他方がサブである）符号化された映像表現に基づいて更新され、例えば、いくつかの符号化パラメータが、映像ストリームの組み合わせ、例えば、合計画像サイズに従って適応され得る。映像マージャは、マージされた映像ストリームに含められるべき変更されたスライスを取得するために、個々のビデオスライスと個別に関連付けられた、例えば、スライスヘッダにおいて定義された、または、例えば、最低よりも高い複雑さを有するマージ方法を使用するときの、符号化パラメータを適応させるように構成される。適応された符号化パラメータは、マージされた符号化された映像表現の画像サイズを表すパラメータを含み、画像サイズは、マージされるべき符号化された映像表現の画像サイズに基づいて、すなわち、それぞれの次元で、それらの空間配置のコンテキストにおいて計算される。
【００２７】
本発明の実施形態によれば、提供された符号化された映像表現、すなわち、映像ストリームを提供するための映像符号器、映像符号器は、複数の所定の機能レベルのうちの機能レベルを有する映像復号器との映像ストリームの互換性、例えば、映像復号器による映像ストリームの復号可能性を記述する、粗い粒度機能需要情報（ａ  ｃｏａｒｓｅ  ｇｒａｎｕｌａｒｉｔｙ  ｃａｐａｂｉｌｉｔｙ  ｄｅｍａｎｄ  ｉｎｆｏｒｍａｔｉｏｎ）、例えば、レベル情報、レベル３またはレベル４またはレベル５、を提供するように構成されてもよく、映像符号器は、符号化された映像表現を復号するために所定の機能レベルのうちの１つと関連付けられた許容可能な機能需要のどの分率（ｆｒａｃｔｉｏｎ）、すなわち、復号器機能が必要であるかを記述する、および／または許容可能な機能需要のどの分率、すなわち、「マージされたビットストリームのレベル制限」を、符号化された映像表現、すなわち、サブビットストリームが、その機能需要が所定の機能レベルのうちの１つと一致する、すなわち、その機能需要が許容可能な機能需要以下である、映像ストリームがマージされるマージされた映像ストリームに寄与するかを記述する、細かい粒度機能需要情報、例えば、マージレベル制限情報を提供するように構成され、「所定の機能レベルのうちの１つと一致するマージされたビットストリームの許容可能な機能需要」は、「マージされたビットストリームのレベル制限」に対応する。映像符号器は、細かい粒度機能需要情報が、所定の機能レベルのうちの１つを参照する比率値またはパーセンテージ値を含むような、細かい粒度機能需要情報を提供するように構成される。映像符号器は、細かい粒度機能需要情報が参照情報および分率情報を含むような、細かい粒度機能需要情報を提供するように構成され、参照情報は、細かい粒度機能需要情報が全体として所定の機能レベルのうちの１つの分率を記述するように、分率情報が所定の機能レベルのうちのどれを参照するかを記述する。
【００２８】
本発明の実施形態によれば、提供された複数の符号化された映像表現、すなわち、映像ストリームに基づいてマージされた映像表現を提供するための映像マージャ、映像マージャは、複数の符号化パラメータを記述する符号化されたパラメータ情報、符号化された映像コンテンツ情報、例えば、パラメータ情報によって定義された符号化パラメータを使用して符号化された情報、複数の所定の機能レベルのうちの機能レベルを有する映像復号器との映像ストリームの互換性、すなわち、映像復号器による映像ストリームの復号可能性を記述する、粗い粒度機能需要情報、例えば、レベル情報、レベル３またはレベル４またはレベル５、および細かい粒度機能需要情報、例えば、マージレベル制限情報を含む複数の映像ストリームを受け取るように構成されてもよく、映像マージャは、粗い粒度機能需要情報および細かい粒度機能需要情報に依存して２つ以上の映像ストリームをマージするように構成される。映像マージャは、すなわち、許容可能な機能需要に違反することなく、すなわち、マージされた映像ストリームの機能需要が細かい解像度機能需要情報に依存した所定の機能レベルのうちの１つと一致するように、どの映像ストリームをマージされた映像ストリームに含めることができるか、また含めるかを判断するように構成され得る。映像マージャは、例えば、許容可能な機能需要に違反しない、すなわち、マージされた映像ストリームの機能需要が所定の機能レベルのうちの１つと一致するような、有効なマージされた映像ストリームを、細かい解像度機能需要情報に依存して２つ以上の映像ストリームをマージすることによって取得できるか否かを判断するように構成され得る。映像マージャは、例えば、どの映像ストリームを含めることができるかを判断するために、または有効なマージされた映像ストリームを取得できるか否かを判断するために、マージされるべき複数の映像ストリームの細かい粒度機能需要情報を要約するように構成される。
【００２９】
本発明の実施形態によれば、提供された映像表現を復号するための映像復号器が提供され、映像復号器は、複数の符号化パラメータを記述する符号化されたパラメータ情報、符号化された映像コンテンツ情報、複数の所定の機能レベルのうちの機能レベルを有する映像復号器との映像ストリームの互換性を記述する、粗い粒度機能需要情報、および細かい粒度機能需要情報を含む、複数のサブ映像ストリーム、すなわち、ビットストリーム全体の複数のサブビットストリームを含む映像表現を受け取るように構成され、すなわち、それぞれの情報は例えばＳＥＩメッセージで搬送され、映像復号器は、細かい粒度機能需要情報によって記述される、マージされるべき複数のサブ映像ストリームの機能需要の組み合わせが、順守されるべき所定の制限、すなわち、復号器のレベル固有の制限と一致するか否かを判断するように構成される。映像復号器は、機能レベルの指示および許容可能な機能需要の分率を取得するために、受け取った粗い粒度機能需要情報および細かい粒度機能需要情報をパースするようにさらに構成され得る。
【００３０】
本発明の好ましい実施形態を、以下で図を参照して説明する。
【図面の簡単な説明】
【００３１】
【図１】本発明の実施形態によるビットストリームマージ概念を実施することができる映像符号器の一例として、符号化された映像表現を提供するための装置を示すブロック図である。
【図２】本発明の実施形態によるビットストリーム構造の一例を示す概略図である。
【図３】本発明の実施形態によるビットストリームマージ概念を実施することができる映像符号器の別の例として、符号化された映像表現を提供するための装置を示すブロック図である。
【図４】本発明の実施形態による符号化パラメータの一例を示す概略図である。
【図５ａ】図４に示される詳細なシーケンス・パラメータ・セット（ＳＰＳ）の例を示す図である。
【図５ｂ】図４に示される詳細なシーケンス・パラメータ・セット（ＳＰＳ）の例を示す図である。
【図６ａ】図４に示す詳細なピクチャ・パラメータ・セット（ＰＰＳ）の例を示す図である。
【図６ｂ】図４に示す詳細なピクチャ・パラメータ・セット（ＰＰＳ）の例を示す図である。
【図７ａ】図４に示す詳細なスライスヘッダの例を示す図である。
【図７ｂ】図４に示す詳細なスライスヘッダの例を示す図である。
【図７ｃ】図４に示す詳細なスライスヘッダの例を示す図である。
【図７ｄ】図４に示す詳細なスライスヘッダの例を示す図である。
【図８】図４に示す補助強化情報（ＳＥＩ）メッセージにおける詳細なストラクチャ・オブ・ピクチャを示す図である。
【図９】図４に示すＳＥＩメッセージにおける詳細な動き制約タイルセットを示す図である。
【図１０】本発明の実施形態によるビットストリームマージ概念を実施することができる映像マージャの一例として、マージされた映像表現を提供するための装置を示すブロック図である。
【図１１】本発明の実施形態によるマージの複雑さの判断プロセスを示す概略図である。
【図１２】マージされるべき複数の映像表現のビットストリーム構造および本発明のビットストリームマージ概念によるマージされた映像表現のビットストリーム構造を示す概略図である。
【図１３】本発明の実施形態によるビットストリームマージ概念を実施することができる映像マージャの別の例として、マージされた映像表現を提供するための装置を示すブロック図である。
【図１４】本発明の実施形態によるマージされた映像表現の機能需要情報を提供する映像符号器の一例として、符号化された映像表現を提供するための装置を示すブロック図である。
【図１５】本発明の実施形態によるマージされた映像表現の機能需要情報を提供する映像マージャの一例として、マージされた映像表現を提供するための装置を示すブロック図である。
【図１６】レベル情報を指示する補助強化情報（ＳＥＩ）メッセージ構文の構造例を示す図である。
【発明を実施するための形態】
【００３２】
以下の説明では、限定ではなく説明を目的として、特定の実施形態、手順、技法、などといった具体的な詳細を述べる。これらの具体的な詳細は別として他の実施形態も用いられ得ることが当業者には理解されるであろう。例えば、以下の説明は、非限定的な例示的な用途を使用して進められるが、この技術は、任意のタイプのビデオコーデックに適用され得る。場合によっては、不要な詳細で説明を分かりにくくしないように、周知の方法、インターフェース、回路およびデバイスの詳細な説明が省かれる。
【００３３】
以下の説明では、同等または等価の機能を有する同等または等価の要素が、同等または等価の参照符号で表されている。
【００３４】
本明細書の発明は、ＶＶＣ（Ｖｅｒｓａｔｉｌｅ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ）などの将来のビデオコーデックに、一緒にリーガルビットストリームにマージされ得るサブビットストリームの識別または所与のレベルの複雑さ（ｃｏｍｐｌｅｘｉｔｙ）で一緒にリーガルビットストリームにマージすることができないサブストリームの識別を可能にする指示を各サブビットストリームに入れる手段を提供することである。この指示は、以下では「マージ識別子」と呼ばれ、「マージ識別子タイプ」と呼ばれる指示を介して適切なマージ方法に関する情報をさらに提供する。２つのビットストリームが「マージ識別子」およびその同じ値を有するものとすると、サブビットストリームを所与のレベルのマージの複雑さ（関連するマージ方法）で新しい結合ビットストリームにマージすることが可能である。
【００３５】
図１に、符号化パラメータ決定メンバ１４およびマージ識別子提供６を含む符号器コア４を含む提供された（入力された）映像ストリーム１０に基づいて符号化された映像表現、すなわち、符号化された映像ストリーム１２を提供するために映像符号器２を示す。提供された映像ストリーム１０ならびに符号化された映像ストリーム１２は、例えば、図２に簡略化された構成として示されるような、ビットストリーム構造をそれぞれ有する。このビットストリーム構造は、複数のネットワーク抽象化層（Ｎｅｔｗｏｒｋ  Ａｂｓｔｒａｃｔｉｏｎ  Ｌａｙｅｒ（ＮＡＬ））ユニットから構成され、各ＮＡＬユニットは、様々なパラメータおよび／またはデータ、例えば、シーケンス・パラメータ・セット（ＳＰＳ）２０、ピクチャ・パラメータ・セット（ＰＰＳ）２２、瞬時復号器リフレッシュ（ｉｎｓｔａｎｔａｎｅｏｕｓ  ｄｅｃｏｄｅｒ  ｒｅｆｒｅｓｈ（ＩＤＲ））２４、補助強化情報（ＳＥＩ）２６、および複数のスライス２８を含む。ＳＥＩ２６は、様々なメッセージ、すなわち、ストラクチャ・オブ・ピクチャ、動き制約タイルセットなどを含む。スライス２８は、ヘッダ３０およびペイロード３２を含む。符号化パラメータ決定メンバ１４は、ＳＰＳ２０、ＰＰＳ２２、ＳＥＩ２６およびスライスヘッダ３０に基づいて符号化パラメータを決定する。ＩＤＲ２４は、必ずしも本発明による符号化パラメータを決定する要因ではないが、符号化パラメータを決定するためにＩＤＲ２４を任意選択で含めることもできる。マージ識別子提供６は、符号化された映像ストリームを別の符号化された映像ストリームとマージできるか否か、および／または、どのようにして（どの複雑さで）マージできるかを指示するマージ識別子を提供する。マージ識別子は、例えば、パラメータセットの書き換えによりマージするか、またはパラメータセットおよびスライスヘッダの書き換えによりマージするか、またはパラメータセット、スライスヘッダ、スライスペイロードの書き換えによりマージするマージ手順の複雑さ、または、一般的に、「適切な」マージ方法に関連付けられたことを表すマージ識別子タイプを指示するマージ識別子を決定し、マージ識別子はマージ識別子タイプに関連付けられており、マージ識別子タイプと関連付けられたマージ識別子は、２つの異なる符号化された映像表現が、マージ識別子タイプによって表されるマージ手順の複雑さを使用してマージ可能であるように、２つの異なる符号化された映像表現において等しくなければならない符号化パラメータを含む。
【００３６】
結果として、符号化された映像ストリーム１２は、複数の符号化パラメータ、符号化された映像コンテンツ情報および１つまたは複数のマージ識別子を記述する符号化されたパラメータ情報を含む。この実施形態では、マージ識別子は、符号化パラメータに基づいて決定される。しかしながら、マージ識別子値は、符号器オペレータの望みに従って設定され、クローズドシステムでは十分な衝突回避の保証がほとんどない可能性もある。ＤＶＢ（Ｄｉｇｉｔａｌ  Ｖｉｄｅｏ  Ｂｒｏａｄｃａｓｔｉｎｇ）、ＡＴＳＣ（Ａｄｖａｎｃｅｄ  Ｔｅｌｅｖｉｓｉｏｎ  Ｓｙｓｔｅｍｓ  Ｃｏｍｍｉｔｔｅｅ）などの第三者エンティティが、それらのシステム内で使用されるべきマージ識別子の値を定義することもできる。
【００３７】
マージ識別子タイプは、図３から図９を使用して本発明による別の実施形態を考慮して以下のように説明する。
【００３８】
図３に、符号器コア４およびマージ識別器６ａを含む符号器２（２ａ）を示し、符号器２ａにおけるデータフローを示す。マージ識別器６ａは、マージタイプを指示するためのマージ識別子としてハッシュ値を提供する第１のハッシュメンバ１６ａおよび第２のハッシュメンバ１６ｂを含む。すなわち、マージ値は、以下でハッシュセットと呼ばれる、ビットストリームの構文要素（符号化パラメータ）の定義されたセットの符号化された値の連結からマージ値が形成され得る。マージ識別子値も、符号化された値の上記の連結を、ＭＤ５、ＳＨＡ−３または任意の他の適切な関数などの周知のハッシュ関数に与えることによって形成され得る。図３に示されるように、入力映像ストリーム１０は入力映像情報を含み、入力映像ストリーム１０は符号器コア４で処理される。符号器コア４は入力映像コンテンツを符号化し、符号化された映像コンテンツ情報はペイロード３２に格納される。符号化パラメータ決定メンバ１４は、ＳＰＳ、ＰＰＳ、スライスヘッダおよびＳＥＩメッセージを含むパラメータ情報を受け取る。パラメータ情報は、各対応するユニットに格納され、マージ識別子提供６ａで受け取られ、すなわち、第１のハッシュメンバ１６ａおよび第２のハッシュメンバ１６ｂでそれぞれ受け取られる。第１のハッシュメンバ１６ａは、例えば、符号化パラメータに基づいてマージ識別子タイプ２を指示するハッシュ値を生成し、第２のハッシュメンバ１６ｂは、例えば、符号化パラメータに基づいてマージ識別子タイプ１を指示するハッシュ値を生成する。
【００３９】
ハッシュセットの内容、すなわち、マージ識別子値を形成するために連結される構文要素（すなわち、マージパラメータ）値によって、上記の構文カテゴリに関するマージ可能性指示の品質が決定される。
【００４０】
例えば、マージ識別子タイプは、以下のように、マージ識別子に関する適切なマージ方法、すなわち、ハッシュセットに組み込まれた構文要素に対応する異なるレベルのマージ可能性を指示する。
タイプ０：パラメータセットの書き換えによるマージのためのマージ識別子
タイプ１：パラメータセットおよびスライスヘッダの書き換えによるマージのためのマージ識別子
タイプ２：パラメータセット、スライスヘッダ、およびスライスペイロードの書き換えによるマージのためのマージ識別子
【００４１】
例えば、用途のコンテキストにおいてマージされるべき２つの入力サブビットストリームが与えられた場合、デバイスは、マージ識別子およびマージ識別子タイプの値を比較し、２つのサブビットストリームに対してマージ識別子タイプと関連付けられた方法を使用する可能性について結論を出すことができる。
【００４２】
以下の表に、構文要素カテゴリと関連付けられたマージ方法との間のマッピングを示す。
＜表１＞
2022501889.tif 000027
【００４３】
すでに上述したように、構文カテゴリは決して網羅的ではないが、広範なパラメータが様々な方法でサブビットストリームの共通のビットストリームへのマージのメリットに影響を及ぼすこと、およびこれらのパラメータを追跡および解析することに手間がかかることが明らかになる。加えて、構文カテゴリとマージ方法（タイプ）とは完全には対応しておらず、したがって、例えば、カテゴリＢにはいくつかのパラメータが必要であるが、マージ方法１には同じパラメータは不要である。
【００４４】
デバイスが適用可能なマージ方法を容易に識別することを可能にするために、上記のマージ識別子タイプ値のうちの２つ以上によるマージ識別子値が生成され、ビットストリームに書き込まれる。マージ方法（タイプ）０はマージ識別子タイプの第１の値を指示し、マージ方法（タイプ）１はマージ識別子タイプの第２の値を指示し、マージ方法（タイプ）２はマージ識別子タイプの第３の値を指示する。
【００４５】
以下の例示的な構文がハッシュセットに組み込まれる必要がある。
＜タイルおよび画像境界における動き制約を指示する時間的動き制約タイルセットＳＥＩメッセージ（マージ方法０、１、２、構文カテゴリＣ．ｂ）＞
＜ＧＯＰ構造（すなわち、符号化順序の表示順序へのマッピング、ランダム・アクセス・ポイント指示、時間的階層化、参照構造）を定義するストラクチャ・オブ・ピクチャ情報ＳＥＩメッセージ（マージ方法０、１、２、構文カテゴリＣ．ｂ）＞
＜パラメータセットの構文要素値＞
参照画像セット（マージ方法０、構文カテゴリＢ）
クロマフォーマット（マージ方法０、１、２、構文カテゴリＤ）
基準ＱＰ、クロマＱＰオフセット（マージ方法０、構文カテゴリＢ）
ビット深度ルマ／クロマ（マージ方法０、１、２、構文カテゴリＤ）
＜ｈｒｄパラメータ＞
初期到着遅延（マージ方法０、構文カテゴリＢ）
初期削除遅延（マージ方法０、構文カテゴリＢ）
＜符号化ツール＞
符号化ブロック構造（最大／最小ブロックサイズ、推測される分割）（マージ方法０、１、構文カテゴリＣ．ａ）
変換サイズ（最小／最大）（マージ方法０、１、構文カテゴリＣ．ａ）
ＰＣＭブロック使用法（マージ方法０、１、構文カテゴリＣ．ａ）
高度動きベクトル予測（マージ方法０、１、２、構文カテゴリＣ．ｂ）
サンプル適応オフセット（マージ方法０、構文カテゴリＣ．ｂ）
時間的動きベクトル予測（マージ方法０、１、２、構文カテゴリＣ．ｂ）
イントラ平滑化（マージ方法０、１、構文カテゴリＣ．ａ）
依存スライス（マージ方法０、構文カテゴリＡ）
符号隠蔽（マージ方法０、１、構文カテゴリＣ．ａ）
重み付き予測（マージ方法０、構文カテゴリＡ）
トランスクワントバイパス（ｔｒａｎｓｑｕａｎｔ  ｂｙｐａｓｓ）（マージ方法０、１、構文カテゴリＣ．ａ）
エントロピー符号化同期（マージ方法０、１、構文カテゴリＣ．ａ）（Ｓｋｕｐ４）
ループフィルタ（マージ方法０、１、２、構文カテゴリＣ．ｂ）
＜スライスヘッダ値＞
パラメータセットＩＤ（マージ方法０、構文カテゴリＣ．ａ）
参照画像セット（マージ方法０、１、構文カテゴリＢ）
＜暗黙的なＣＴＵアドレスシグナリングｃｐ．の使用法（欧州特許出願ＥＰ１８１５３５１６によって参照されている）（マージ方法０、構文カテゴリＡ）＞
【００４６】
すなわち、マージ識別子タイプの第１の値、すなわち、タイプ０では、構文要素（パラメータ）、つまりタイルおよび画像境界における動き制約、ＧＯＰ構造、参照画像セット、クロマフォーマット、基準量子化パラメータおよびクロマ量子化パラメータ、ビット深度ルマ／クロマ、初期到着遅延に関するパラメータおよびパラメータ初期削除遅延を含む仮想の参照復号器パラメータ、符号化ブロック構造、変換最小および／または最大サイズ、パルス符号変調ブロックの使用法、高度動きベクトル予測、サンプル適応オフセット、時間的動きベクトル予測、イントラ平滑化を記述する、依存スライス、符号隠蔽、重み付き予測、トランスクワントバイパス、エントロピー符号化同期、ループフィルタ、パラメータセットＩＤを含むスライスヘッダ値、参照画像セットを含むスライスヘッダ値、ならびに暗黙的な符号化変換ユニット・アドレス・通知の使用法がハッシュセットに組み込まれる必要がある。
【００４７】
マージ識別子タイプの第２の値、すなわち、タイプ１では、構文要素（パラメータ）、つまりタイルおよび画像境界における動き制約、ＧＯＰ構造、クロマフォーマット、ビット深度ルマ／クロマ、符号化ブロック構造、変換最小および／または最大サイズ、パルス符号変調ブロックの使用法、高度動きベクトル予測、サンプル適応オフセット、時間的動きベクトル予測、イントラ平滑化、符号隠蔽、トランスクワントバイパス、エントロピー符号化同期、ループフィルタ、ならびに参照画像セットを含むスライスヘッダ値。
【００４８】
マージ識別子タイプの第３の値、すなわち、タイプ２では、構文要素（パラメータ）、つまりタイルおよび画像境界における動き制約、ＧＯＰ構造、クロマフォーマット、ビット深度ルマ／クロマ、高度動きベクトル予測、サンプル適応オフセット、時間的動きベクトル予測、ループフィルタ。
【００４９】
図４に、本発明の実施形態による符号化パラメータの一例を示す概略図を示す。図４において、参照符号４０はタイプ０を表し、タイプ０に属する構文要素は点線で指示されている。参照符号４２はタイプ１を表し、タイプ１に属する構文要素は通常の線で指示されている。参照符号４４はタイプ２を表し、タイプ２に属する構文要素は破線で指示されている。
【００５０】
図５ａおよび図５ｂは、シーケンス・パラメータ・セット（ＳＰＳ）２０の一例であり、タイプ０に必要な構文要素は参照符号４０で指示されている。同様に、タイプ１に必要な構文要素は参照符号４２で指示されており、タイプ２に必要な構文要素は参照符号４４で指示されている。
【００５１】
図６ａおよび図６ｂは、ピクチャ・パラメータ・セット（ＰＰＳ）２２の一例であり、タイプ０に必要な構文要素は参照符号４０で指示されており、タイプ１に必要な構文要素は参照符号４２で指示されている。
【００５２】
図７ａから図７ｄは、スライスヘッダ３０の一例であり、図７ｃに参照符号４０で指示されているようにタイプ０にはスライスヘッダの１つの構文要素のみが必要である。
【００５３】
図８は、ストラクチャ・オブ・ピクチャ（ＳＯＰ）２６ａの一例であり、すべての構文要素がＳＯＰに属することがタイプ２に必要である。
【００５４】
図９は、動き制約タイルセット（ＭＣＴＳ）２６ｂの一例であり、すべての構文要素がＭＣＴＳに属することがタイプ２に必要である。
【００５５】
上記のように、図３のマージ識別器６ａは、ハッシュメンバ１６ａおよびハッシュメンバ１６ｂでハッシュ関数を使用してマージ識別子値を生成する。ハッシュ関数を使用して２つ以上のマージ識別子値が生成される場合、ハッシュは、第１のマージ識別子に関してハッシュセット内の追加の要素を包含する第２のマージ識別子のハッシュ関数への入力が、ハッシュ関数への入力の連結にそれぞれの構文要素値の代わりに第１のマージ識別子（ハッシュ結果）を使用するという意味で、接続されている。
【００５６】
加えて、マージ識別子の存在はまた、ハッシュセットに組み込まれた構文要素が、符号化された映像シーケンス（ＣＶＳ）、および／または、ビットストリームのすべてのアクセスユニット（ａｃｃｅｓｓ  ｕｎｉｔ（ＡＵ））において同じ値を有する保証も提供する。さらに、この保証は、パラメータセットのプロファイル／レベル構文における制約フラグの形を有する。
【００５７】
マージプロセスは、図１０から図１３を使用して本発明による別の実施形態を考慮して以下のように説明する。
【００５８】
図１０に、複数の符号化された映像表現に基づいてマージされた映像ストリームを提供するための映像マージャを示す。映像マージャ５０は、入力映像ストリーム１２（図１２に指示される１２ａおよび１２ｂ）が受信される受信機５２、マージ方法識別器５４およびマージプロセッサ５６を含む。マージされた映像ストリーム６０は復号器に伝送される。映像マージャ５０が復号器に含まれる場合、マージされた映像ストリームは、マージされた映像ストリームを表示するためにユーザ機器または任意の他の装置に伝送される。
【００５９】
マージプロセスは、上記のマージ識別子およびマージ識別子タイプによって駆動される。マージプロセスは、パラメータセットの生成とＮＡＬユニットのインターリーブのみを実行することができ、これは、マージ識別子タイプ値０、すなわち、第１の複雑さと関連付けられたマージの最も軽量な形である。図１２に、第１の複雑さのマージ方法の一例を示す。図１２に指示されるように、パラメータセット、すなわち、映像ストリーム１２ａのＳＰＳ１および映像ストリーム１２ｂのＳＰＳ２がマージされ（ＳＰＳ１およびＳＰＳ２に基づいてマージされたＳＰＳが生成される）、映像ストリーム１２ａのＰＰＳ１および映像ストリーム１２ｂのＰＰＳ２がマージされる（ＰＰＳ１およびＰＰＳ２に基づいてマージされたＰＰＳが生成される）。ＩＤＲは任意選択のデータであり、したがって、説明を省く。加えて、マージされた映像ストリーム６０として示されているように映像ストリーム１２ａのスライス１，１およびスライス１，２ならびに映像ストリーム１２ｂのスライス２，１およびスライス２，２がインターリーブされる。図１０および図１２では、２つの映像ストリーム１２ａおよび映像ストリーム１２ｂが例として入力されている。しかしながら、より多くの映像ストリームが入力され、同じ方法でマージされてもよい。
【００６０】
必要に応じてマージプロセスは、マージ識別子タイプ値１、すなわち、第２の複雑さと関連付けられる、ＮＡＬユニットインターリーブ中のビットストリーム内のスライスヘッダの書き換えも含むことができる。さらに最後に、マージ識別子タイプ値２、すなわち、第３の複雑さと関連付けられる、ＮＡＬユニットインターリーブ中のエントロピー復号および符号化を必要とするスライスペイロード内の構文要素が調整される必要がある場合がある。マージ識別子およびマージ識別子タイプは、実行されるべきマージプロセスのうちの１つの選択およびその詳細の決定を駆動する。
【００６１】
マージプロセスへの入力は、空間配置も表す入力サブビットストリームのリストである。プロセスへの出力はマージされたビットストリームである。一般に、すべてのビットストリーム・マージ・プロセスにおいて、新しい出力ビットストリームのパラメータセットが生成される必要があり、これは入力サブビットストリームのパラメータセット、例えば、第１の入力サブビットストリームに基づくものとすることができる。パラメータセットの必要な更新は、画像サイズを含む。例えば、出力ビットストリームの画像サイズは、それぞれの次元の、それらの空間配置のコンテキストでの入力サブビットストリームの画像サイズの和として計算される。
【００６２】
すべての入力サブビットストリームがマージ識別子およびマージ識別子タイプの少なくとも１つのインスタンスの同じ値を有することがビットストリーム・マージ・プロセスの要件である。一実施形態では、すべてのサブビットストリームがマージ識別子の同じ値を有するマージ識別子タイプの最低値と関連付けられたマージプロセスが実行される。
【００６３】
例えば、特定のマージ識別子タイプ値を有するマージ識別子値の差分が、マージプロセスにおいて、そのマージ識別子値が一致するマージ識別子タイプの差分値に従ってマージプロセスの詳細を決定するために使用される。例えば、図１１に示されるように、マージ識別子タイプ値が０に等しい第１のマージ識別子７０は、２つの入力サブビットストリーム７０ａ、７０ｂ間で一致しないが、マージ識別子タイプ値が１に等しい第２のマージ識別子８０は２つの入力サブビットストリーム８０ａ、８０ｂ間で一致する場合、第１のマージ識別子７０のビット位置の違いは、すべてのスライスでの調整を必要とする（スライスヘッダに関連した）構文要素を指示する。
【００６４】
図１３に、受信機（図示されない）、マージ方法識別器がマージ識別子比較器５４ａおよび符号化パラメータ比較器５４ｂを含む、ならびにマージプロセッサ５６を含む映像マージャ５０（５０ａ）を示す。入力映像ストリーム１２がマージ識別子値としてハッシュ値を含む場合、各入力映像ストリームの値はマージ識別子比較器５４ａで比較される。例えば、両方の入力映像ストリームが同じマージ識別子値を有する場合、各入力映像ストリームの個々の符号化パラメータが符号化パラメータ比較器５４ｂで比較される。符号化パラメータ比較結果に基づいて、マージ方法が決定され、マージプロセッサ５６が、決定されたマージ方法を使用して入力映像ストリーム１２をマージする。マージ識別子値（ハッシュ値）がマージ方法も指示する場合、個々の符号化パラメータの比較は不要である。
【００６５】
上記では、３つのマージ方法、第１の複雑さ、第２の複雑さおよび第３の複雑さのマージ方法が説明されている。第４のマージ方法は、完全な画素復号および画素再符号化を使用した映像ストリームのマージである。第４のマージ方法は、３つすべてのマージ方法が適用できない場合に適用される。
【００６６】
図１４および図１５を使用して本発明による別の実施形態を考慮して、マージ結果のレベルを識別するためのプロセスを以下に説明する。マージ結果のレベルの識別は、サブビットストリームに情報を配置すること、そのサブビットストリームを組み込んだマージされたビットストリームのレベル制限に対するサブビットストリームの寄与がどれほど大きいかを意味する。
【００６７】
図１４に、符号化パラメータ決定１４を含む符号器コア、マージ識別子提供（図示されない）、および粒度機能提供器８を含む符号器２（２ｂ）を示す。
【００６８】
一般に、サブビットストリームが結合ビットストリームにマージされることになる場合、個々のサブビットストリームが、潜在的なマージされたビットストリームが順守しなければならないコーデックシステムのレベル固有の制限にどのように寄与するかについての指示は、リーガル結合ビットストリームの作成を確実にするために不可欠である。従来、コーデックレベルの粒度はかなり粗いものであり、例えば、７２０ｐ、１０８０ｐまたは４Ｋなどの識別主要解像度であるが、マージレベル制限の指示は、ずっと細かい粒度を必要とする。この従来のレベル指示の粒度は、マージされたビットストリームへの個々のサブビットストリームの寄与を表すには不十分である。マージされるべきタイルの数が事前には未知であるものとすると、柔軟性とビットレートコストとの合理的なトレードオフを見つける必要があるが、これは、一般に、従来のレベル制限の粒度をはるかに超える。１つの例示的な使用例が、サービス提供者が、３６０度ビデオにつき１２タイル、２４タイルまたは９６タイルなどの異なるタイル構造からの選択の自由を必要とする３６０度映像ストリームであり、各タイルストリームは、等しいレート分布を想定すると、８Ｋなどの全体のレベル制限の１／１２、１／２４または１／９６に寄与することになる。さらに、例えば、映像平面にわたる均一な品質を達成するための、タイル間の不均一なレート分布を想定すると、任意の細かい粒度が必要になり得る。
【００６９】
そのような通知（ｓｉｇｎａｌｉｎｇ）は、例えば、通知された比率および／または追加で通知されたレベルのパーセンテージになる。例えば、参加者が４人の会議シナリオでは、各参加者は、指示、すなわち、粗い粒度機能情報に含まれるレベル情報も含む、リーガルレベル３のビットストリームを送信することになり、指示は、送信ビットストリームがレベル５の制限の１／３および／または３３％を順守することを示し、すなわち、この情報は、細かい粒度機能情報に含まれ得る。複数のそのようなストリームの受信機、すなわち、図１５に示されるような映像マージャ５０（５０ｂ）は、例えば、よって、３つのそのようなビットストリームがレベル５を順守する単一の結合ビットストリームにマージ可能であり得ることを知ることができる。
【００７０】
図１５には、受信機５２およびマージプロセッサ５６を含む映像マージャが示されており、映像マージャには複数の映像ストリームが入力される。映像マージャは、映像復号器に含まれていてもよく、または、図には示されていないが、受信機が復号器として機能してもよい。復号器（図には示されていない）は、複数のサブビットストリーム、複数の符号化パラメータ、粗い粒度機能情報および細かい粒度機能情報を含むビットストリームを受け取る。粗い粒度機能情報および細かい粒度機能情報はＳＥＩメッセージで搬送され、復号器は受け取った情報をパースし、レベルおよび分率を復号器の使用可能なレベル制限に変換する。次いで、復号器は、復号器が処理しているビットストリームが表現された制限を実際に順守しているか否かをチェックする。チェックされた結果は映像マージャまたはマージプロセッサに提供される。したがって、すでに述べたように、映像マージャが、複数のサブビットストリームが単一の結合ビットストリームにマージ可能であることを知り得ることが可能である。
【００７１】
粒度機能情報は、比率および／またはパーセンテージの指示を値のベクトルとして有していてもよく、各次元はコーデックレベル制限の別の態様、例えば、１秒あたりの最大許容ルマサンプルの量、最大画像サイズ、ビットレート、バッファ占有量、タイルの数などに関する。加えて、比率および／またはパーセンテージは、映像ビットストリームの一般的なコーデックレベルを指す。
【００７２】
図１６に、レベル情報を指示する補助強化情報（ＳＥＩ）メッセージ構文の構造例を示す。
勧告ＩＴＵ−Ｔ  Ｈ．２６６に記載されているように、参照符号１００によって指示される構文’’ｓｌｉ＿ｎｏｎ＿ｓｕｂｐｉｃ＿ｌａｙｅｒｓ＿ｆｒａｃｔｉｏｎ［ｉ］［ｋ］’’は、Ｈｔｉｄがｋに等しいときに０に等しいｓｐｓ＿ｎｕｍ＿ｓｕｂｐｉｃｓ＿ｍｉｎｕｓ１を有するｔａｒｇｅｔＣｖｓｓ内の層と関連付けられたビットストリームレベル制限の第ｉの分率を指示する。ｖｐｓ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１が０に等しい場合またはビットストリームにｓｐｓ＿ｎｕｍ＿ｓｕｂｐｉｃｓ＿ｍｉｎｕｓ１が０に等しい層がない場合、ｓｌｉ＿ｎｏｎ＿ｓｕｂｐｉｃ＿ｌａｙｅｒｓ＿ｆｒａｃｔｉｏｎ［ｉ］［ｋ］は０に等しくなる。ｋがｓｌｉ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１より小さく、ｓｌｉ＿ｎｏｎ＿ｓｕｂｐｉｃ＿ｌａｙｅｒｓ＿ｆｒａｃｔｉｏｎ［ｉ］［ｋ］が存在しない場合、ｓｌｉ＿ｎｏｎ＿ｓｕｂｐｉｃ＿ｌａｙｅｒｓ＿ｆｒａｃｔｉｏｎ［ｉ］［ｋ＋１］に等しいと推測される。すなわち、構文１００は、指示されたレベル（ｓｌｉ＿ｒｅｆ＿ｌｅｖｅｌ＿ｉｄｃ）に関する、またはパラメータセット内の一般的なレベル通知に関するレベル分率を記述する。この構文は、サブピクチャなしの層、すなわち、画像平面全体にのみ適用される。
【００７３】
図１６の参照符号１０２で指示される構文’’ｓｌｉ＿ｒｅｆ＿ｌｅｖｅｌ＿ｉｄｃ［ｉ］［ｋ］’’は、Ｈｔｉｄがｋに等しい場合の勧告ＩＴＵ−Ｔ  Ｈ．２６６の付録で指定されているように、各サブピクチャシーケンスが準拠する第ｉのレベルを指示する。ビットストリームは、勧告ＩＴＵ−Ｔ Ｈ．２６６の付録で指定される値以外のｓｌｉ＿ｒｅｆ＿ｌｅｖｅｌ＿ｉｄｃ［ｉ］［ｋ］の値を含まないものとする。ｓｌｉ＿ｒｅｆ＿ｌｅｖｅｌ＿ｉｄｃ［ｉ］［ｋ］の他の値は、ＩＴＵ−Ｔ  ｜  ＩＳＯ／ＩＥＣによる将来の使用のために予約されている。ｓｌｉ＿ｒｅｆ＿ｌｅｖｅｌ＿ｉｄｃ［０］［ｋ］の値はビットストリームのｇｅｎｅｒａｌ＿ｌｅｖｅｌ＿ｉｄｃと等しいとすることおよびｓｌｉ＿ｒｅｆ＿ｌｅｖｅｌ＿ｉｄｃ［ｉ］［ｋ］の値は、０より大きいｉおよびｉより大きいｍの任意の値について、ｓｌｉ＿ｒｅｆ＿ｌｅｖｅｌ＿ｉｄｃ［ｍ］［ｋ］以下であるとすることがビットストリーム適合の要件である。ｋがｓｌｉ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１より小さく、ｓｌｉ＿ｒｅｆ＿ｌｅｖｅｌ＿ｉｄｃ［ｉ］［ｋ］が存在しない場合、ｓｌｉ＿ｒｅｆ＿ｌｅｖｅｌ＿ｉｄｃ［ｉ］［ｋ＋１］に等しいと推測される。この構文は、特に分率通知のための指示されたレベルを記述する。
【００７４】
やはり勧告ＩＴＵ−Ｔ  Ｈ．２６６に記載されているように、図１６の参照符号１０４で指示される構文’’ｓｌｉ＿ｒｅｆ＿ｌｅｖｅｌ＿ｆｒａｃｔｉｏｎ＿ｍｉｎｕｓ１［ｉ］［ｊ］［ｋ］’’プラス１は、Ｈｔｉｄがｋに等しいときに０より大きいｓｐｓ＿ｎｕｍ＿ｓｕｂｐｉｃｓ＿ｍｉｎｕｓ１を有するｔａｒｇｅｔＣｖｓｓ内の層のｉに等しいサブピクチャインデックスを有するサブピクチャについての、ｓｌｉ＿ｒｅｆ＿ｌｅｖｅｌ＿ｉｄｃ［ｉ］［ｋ］と関連付けられたレベル制限の第ｉの分率を指定する。ｋがｓｌｉ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１より小さく、ｓｌｉ＿ｒｅｆ＿ｌｅｖｅｌ＿ｆｒａｃｔｉｏｎ＿ｍｉｎｕｓ１［ｉ］［ｊ］［ｋ］が存在しない場合、ｓｌｉ＿ｒｅｆ＿ｌｅｖｅｌ＿ｆｒａｃｔｉｏｎ＿ｍｉｎｕｓ１［ｉ］［ｊ］［ｋ＋１］に等しいと推測される。この構文は、構文１００と似ているが、そのようなサブピクチャを有する層内の個々のサブピクチャに適用される。
【００７５】
以下では、個別に、または本明細書に記載される特徴および機能および詳細のいずれかと組み合わせて使用することができる、本発明の追加の実施形態および態様を説明する。
【００７６】
第１の態様は、符号化された映像表現を提供するための映像符号器に関し、映像符号器は、複数の符号化パラメータを記述する符号化されたパラメータ情報、符号化された映像コンテンツ情報、ならびに符号化された映像表現を別の符号化された映像表現とマージできるか否かおよび／またはどのようにしてマージできるかを指示する１つまたは複数のマージ識別子を含む映像ストリームを提供するように構成される。
【００７７】
第１の態様を参照する第２の態様によれば、映像符号器では、どの複雑さを使用するかは、パラメータ情報によって定義されたパラメータ値に基づいて決定される。
【００７８】
第１または第２の態様を参照する第３の態様によれば、映像符号器では、マージ識別子は、複数の符号化パラメータの連結である。
【００７９】
第１から第３の態様のいずれかを参照する第４の態様によれば、映像符号器では、マージ識別子は、複数の符号化パラメータの連結のハッシュ値である。
【００８０】
第１から第４の態様のいずれかを参照する第５の態様によれば、映像符号器では、マージ識別子は、マージ手順の複雑さを表すマージ識別子タイプを指示する。
【００８１】
第５の態様を参照する第６の態様によれば、映像符号器では、マージ識別子タイプの値はマージプロセスを指示し、映像符号器は、マージ識別子タイプの以下の値、すなわち、パラメータセットの書き換えによるマージプロセスを表すマージ識別子タイプの第１の値、パラメータセットおよびスライスヘッダの書き換えによるマージプロセスを表すマージ識別子タイプの第２の値、ならびにパラメータセット、スライスヘッダ、およびスライスペイロードの書き換えによるマージプロセスを表すマージ識別子タイプの第３の値、のうちの少なくとも２つを切り替えるように構成される。
【００８２】
第１から第６の態様のいずれかを参照する第７の態様によれば、映像符号器では、複数のマージ識別子が、マージ手順の異なる複雑さと関連付けられている。
【００８３】
第１から第７の態様のいずれかを参照する第８の態様によれば、符号器は、マージ識別子の提供のために評価される符号化パラメータが映像シーケンスのすべてのユニットにおいて同一であるか否かをチェックし、チェックに依存してマージ識別子を提供するように構成される。
【００８４】
第１から第８の態様のいずれかを参照する第９の態様によれば、映像符号器では、複数の符号化パラメータは、完全な画素復号によるマージよりも複雑さが少ないマージを可能にするために異なる映像ストリームにおいて同一でなければならないマージ関連パラメータを含み、映像符号器は、マージ関連パラメータに基づいて１つまたは複数のマージ識別子を提供するように構成される。
【００８５】
第９の態様を参照する第１０の態様によれば、映像符号器では、マージ関連パラメータは、以下のパラメータ、すなわち、タイル境界における動き制約を記述するパラメータ、画像群（ＧＯＰ）構造に関する情報、クロマ符号化フォーマットを記述するパラメータおよびルマ符号化フォーマットを記述するパラメータ、高度動きベクトル予測を記述するパラメータ、サンプル適応オフセットを記述するパラメータ、時間的動きベクトル予測を記述するパラメータ、ならびにループフィルタを記述するパラメータ、のうちの１つまたは複数または全部を含む。
【００８６】
第１から第７の態様のいずれかを参照する第１１の態様によれば、映像符号器では、マージ手順の第１の複雑さと関連付けられたマージ識別子が、第１の複雑さよりも高いマージ手順の第２の複雑さと関連付けられたマージパラメータが、第１の符号化パラメータセットの真のサブセットである第２の符号化パラメータセットに基づいて決定されるときに第１の符号化パラメータセットに基づいて決定される。
【００８７】
第１１の態様を参照する第１２の態様によれば、映像符号器では、第２の複雑さよりも高いマージ手順の第３の複雑さと関連付けられたマージ識別子が、第２の符号化パラメータセットの真のサブセットである第３の符号化パラメータセットに基づいて決定される。
【００８８】
第１１または第１２の態様を参照する第１３の態様によれば、映像符号器は、マージ手順の第１の複雑さと関連付けられたマージ識別子を、スライスヘッダおよびスライスペイロードを不変のままにして複数のスライスに適用可能なパラメータセットを変更するだけの映像ストリームのマージを可能にするために２つの異なる映像ストリームにおいて等しくなければならない符号化パラメータセットに基づいて決定するように構成される。
【００８９】
第１１または第１２の態様を参照する第１４の態様によれば、映像符号器は、第１の複雑さと関連付けられたマージ識別子を、以下のパラメータ、すなわち、
タイルおよび画像境界における動き制約を指示するパラメータ、
ＧＯＰ構造を定義するパラメータ、
参照画像セットを記述するパラメータ、
クロマフォーマットを記述するパラメータ、
基準量子化パラメータおよびクロマ量子化パラメータを記述するパラメータ、
ビット深度ルマ／クロマを記述するパラメータ、
初期到着遅延に関するパラメータおよびパラメータ初期削除遅延を含む仮想の参照復号器パラメータを記述するパラメータ、
符号化ブロック構造を記述するパラメータ、
変換最小および／または最大サイズを記述するパラメータ、
パルス符号変調ブロックの使用法を記述するパラメータ、
高度動きベクトル予測を記述するパラメータ、
サンプル適応オフセットを記述するパラメータ、
時間的動きベクトル予測を記述するパラメータ、
イントラ平滑化を記述するパラメータ、
依存スライスを記述するパラメータ、
符号隠蔽を記述するパラメータ、
重み付き予測を記述するパラメータ、
トランスクワントバイパスを記述するパラメータ、
エントロピー符号化同期を記述するパラメータ、
ループフィルタを記述するパラメータ、
パラメータセットＩＤを含むスライスヘッダ値を記述するパラメータ、
参照画像セットを含むスライスヘッダ値を記述するパラメータ、ならびに
暗黙的な符号化変換ユニット・アドレス・通知の使用法を記述するパラメータ、のうちの１つまたは複数または全部に基づいて決定するように構成される。
【００９０】
第１１から第１４の態様のいずれかを参照する第１５の態様によれば、映像符号器は、マージ手順の第２の複雑さと関連付けられたマージ識別子を、スライスペイロードを不変のままにして複数のスライスに適用可能なパラメータセットを変更し、スライスヘッダも変更する映像ストリームのマージを可能にするために２つの異なる映像ストリームにおいて等しくなければならない符号化パラメータセットに基づいて決定するように構成される。
【００９１】
第１１から第１５の態様のいずれかを参照する第１６の態様によれば、映像符号器は、第２の複雑さと関連付けられたマージ識別子を、以下のパラメータ、すなわち、
タイルおよび画像境界における動き制約を指示するパラメータ、
ＧＯＰ構造を定義するパラメータ、
クロマフォーマットを記述するパラメータ、
ビット深度ルマ／クロマを記述するパラメータ、
符号化ブロック構造を記述するパラメータ、
変換最小および／または最大サイズを記述するパラメータ、
パルス符号変調ブロックの使用法を記述するパラメータ、
高度動きベクトル予測を記述するパラメータ、
サンプル適応オフセットを記述するパラメータ、
時間的動きベクトル予測を記述するパラメータ、
イントラ平滑化を記述するパラメータ、
符号隠蔽を記述するパラメータ、
トランスクワントバイパスを記述するパラメータ、
エントロピー符号化同期を記述するパラメータ、
ループフィルタを記述するパラメータ、ならびに
参照画像セットを含むスライスヘッダ値を記述するパラメータ、のうちの１つまたは複数または全部に基づいて決定するように構成される。
【００９２】
第１１から第１６の態様のいずれかを参照する第１７の態様によれば、映像符号器は、マージ手順の第３の複雑さと関連付けられたマージ識別子を、複数のスライスに適用可能なパラメータセットを変更し、スライスヘッダおよびスライスペイロードも変更するが、完全な画素復号および画素再符号化を実行しない映像ストリームのマージを可能にするために２つの異なる映像ストリームにおいて等しくなければならない符号化パラメータセットに基づいて決定するように構成される。
【００９３】
第１１から第１７の態様のいずれかを参照する第１８の態様によれば、映像符号器は、第３の複雑さと関連付けられたマージ識別子を、以下のパラメータ、すなわち、
タイルおよび画像境界における動き制約を指示するパラメータ、
ＧＯＰ構造を定義するパラメータ、
クロマフォーマットを記述するパラメータ、
ビット深度ルマ／クロマを記述するパラメータ、
高度動きベクトル予測を記述するパラメータ、
サンプル適応オフセットを記述するパラメータ、
時間的動きベクトル予測を記述するパラメータ、ならびに
ループフィルタを記述するパラメータ、のうちの１つまたは複数または全部に基づいて決定するように構成される。
【００９４】
第１から第１８の態様のいずれかを参照する第１９の態様によれば、映像符号器は、第２の複雑さよりも低いマージ手順の第１の複雑さと関連付けられている第１のマージ識別子を取得するために、マージ手順の第２の複雑さと関連付けられている、第２のマージ識別子と、第２のマージ識別子の決定において考慮されていない１つまたは複数の符号化パラメータとの連結にハッシュ関数を適用するように構成される。
【００９５】
第１から第１９の態様のいずれかを参照する第２０の態様によれば、記映像符号器は、第３の複雑さよりも低いマージ手順の第２の複雑さと関連付けられている第２のマージ識別子を取得するために、マージ手順の第３の複雑さと関連付けられている、第３のマージ識別子と、第３のマージ識別子の決定において考慮されていない１つまたは複数の符号化パラメータとの連結にハッシュ関数を適用するように構成される。
【００９６】
第２１の態様は、複数の符号化された映像表現に基づいてマージされた映像表現を提供するための映像マージャに関し、映像マージャは、複数の符号化パラメータを記述する符号化されたパラメータ情報、符号化された映像コンテンツ情報、ならびに符号化された映像表現を別の符号化された映像表現とマージできるか否かおよび／またはどのようにしてマージできるかを指示する１つまたは複数のマージ識別子を含む複数の映像ストリームを受け取るように構成され、映像マージャは、マージ方法の使用法に関して、マージ識別子に依存して決定するように構成される。
【００９７】
第２１の態様を参照する第２２の態様によれば、映像マージャは、マージ識別子に依存して、複数のマージ方法の中から、マージ方法を選択するように構成される。
【００９８】
第２２の態様を参照する第２３の態様によれば、映像マージャは、以下のマージ方法、すなわち、スライスヘッダおよびスライスペイロードを不変のままにして複数のスライスに適用可能なパラメータセットを変更するだけの映像ストリームのマージである、第１のマージ方法、
スライスペイロードを不変のままにして複数のスライスに適用可能なパラメータセットを変更し、スライスヘッダも変更する映像ストリームのマージである、第２のマージ方法、
ならびに、１つまたは複数のマージ識別子に依存して、複数のスライスに適用可能なパラメータセットを変更し、スライスヘッダおよびスライスペイロードも変更するが、完全な画素復号および画素再符号化を実行しない映像ストリームのマージである、第３のマージ方法、
のうちの少なくとも２つから選択するように構成される。
【００９９】
第２３の態様を参照する第２４の態様によれば、映像マージャは、１つまたは複数のマージ識別子に依存して、完全な画素復号および画素再符号化を使用した映像ストリームのマージである第４のマージ方法を選択的に使用するように構成される。
【０１００】
第２２から第２４の態様のいずれかを参照する第２５の態様によれば、映像マージャは、同じ所与のマージ方法と関連付けられた２つ以上の映像ストリームのマージ識別子を比較し、比較の結果に依存して所与のマージ方法を使用してマージを実行するか否かの判断を実行するように構成される。
【０１０１】
第２５の態様を参照する第２６の態様によれば、映像マージャは、比較により、所与のマージ方法と関連付けられた２つ以上の映像ストリームのマージ識別子が等しいことが指示される場合、所与のマージ方法を使用してマージを選択的に実行するように構成される。
【０１０２】
第２５の態様を参照する第２７の態様によれば、映像マージャは、比較により、所与のマージ方法と関連付けられた２つ以上の映像ストリームのマージ識別子が異なることが指示される場合、所与のマージ方法よりも高い複雑さを有するマージ方法を使用するように構成される。
【０１０３】
第２７の態様を参照する第２８の態様によれば、映像マージャは、比較により、所与のマージ方法と関連付けられた２つ以上の映像ストリームのマージ識別子が等しいことが指示される場合、所与のマージ方法を使用した映像ストリームのマージを可能にするために２つ以上の映像ストリームにおいて等しくなければならない符号化パラメータを選択的に比較するように構成され、映像マージャは、前記符号化パラメータの比較により、符号化パラメータが等しいことが指示される場合、所与のマージ方法を使用してマージを選択的に実行するように構成され、
映像マージャは、前記符号化パラメータの比較により、符号化パラメータが違いを含むことが指示される場合、所与のマージ方法よりも高い複雑さを有するマージ方法を使用してマージを実行するように構成される。
【０１０４】
第２１から第２８の態様のいずれかを参照する第２９の態様によれば、映像マージャは、異なる複雑さを有するマージ方法と関連付けられたマージ識別子を比較するように構成され、映像マージャは、マージされるべき２つ以上の映像ストリームにおいて関連付けられたマージ識別子が等しい最低の複雑さのマージ方法を使用して２つ以上の映像ストリームをマージするように構成される。
【０１０５】
第２２から第２９の態様のいずれかを参照する第３０の態様によれば、映像マージャは、異なる複雑さを有するマージ方法と関連付けられたマージ識別子を比較するように構成され、映像マージャは、マージされるべき２つ以上の映像ストリームにおいて関連付けられたマージ識別子が等しい最低の複雑さのマージ方法を識別するように構成され、映像マージャは、識別されたマージ方法を使用したマージを可能にするためにマージされるべき２つ以上の映像ストリームにおいて等しくなければならない、符号化パラメータを比較するように構成され、映像マージャは、比較により、識別されたマージ方法と関連付けられた符号化パラメータセットの符号化パラメータがマージされるべき映像ストリームにおいて等しいことが指示される場合、識別されたマージ方法を使用して２つ以上の映像ストリームを選択的にマージするように構成される。
【０１０６】
第２２から第３０の態様のいずれかを参照する第３１の態様によれば、映像マージャは、マージされるべき異なる映像ストリームのマージ識別子間の１つまたは複数の違いに依存してどの符号化パラメータがマージプロセスにおいて変更されるべきかを決定するように構成される。
【０１０７】
第３１の態様を参照する第３２の態様によれば、映像マージャは、マージされるべき異なる映像ストリームの、所与の複雑さよりも低い複雑さを有するマージ方法と関連付けられた、マージ識別子間の１つまたは複数の違いに依存して、どの符号化パラメータが所与の複雑さを有するマージ方法において変更されるべきかを決定するように構成される。
【０１０８】
第２１から第３２の態様のいずれかを参照する第３３の態様によれば、映像マージャは、マージされるべき映像ストリームの符号化パラメータに基づいて、マージされるべきすべての映像ストリームのスライスと関連付けられている、結合符号化パラメータを取得し、結合符号化パラメータをマージされた映像ストリームに含めるように構成される。
【０１０９】
第３３の態様を参照する第３４の態様によれば、映像マージャは、マージされた映像ストリームに含められるべき変更されたスライスを取得するために、個々のビデオスライスと個別に関連付けられた符号化パラメータを適応させるように構成される。
【０１１０】
第３４の態様を参照する第３５の態様によれば、映像マージャでは、適応された符号化パラメータは、マージされた符号化された映像表現の画像サイズを表すパラメータを含み、画像サイズは、マージされるべき符号化された映像表現の画像サイズに基づいて計算される。
【０１１１】
第３６の態様は、複数の符号化パラメータを記述する符号化されたパラメータ情報、符号化された映像コンテンツ情報、ならびに符号化された映像表現を別の符号化された映像表現とマージできるか否かおよび／またはどのようにしてマージできるかを指示する１つまたは複数のマージ識別子を含む映像ストリームを提供することを含む、符号化された映像表現を提供するための方法に関する。
【０１１２】
第３７の態様は、複数の符号化パラメータを記述する符号化されたパラメータ情報、符号化された映像コンテンツ情報、ならびに符号化された映像表現を別の符号化された映像表現とマージできるか否かおよび／またはどのようにしてマージできるかを指示する１つまたは複数のマージ識別子を含む複数の映像ストリームを受け取ることと、マージ識別子に依存して、複数のマージ方法の中から、マージ方法を選択することと、を含む、複数の符号化された映像表現に基づいてマージされた映像表現を提供するための方法に関する。
【０１１３】
第３８の態様は、符号化された映像コンテンツ情報を不変のままにして異なる映像ストリームの符号化パラメータ情報に基づいて共通の符号化パラメータ情報を提供することと、不変の符号化された映像コンテンツ情報に基づいてマージ手順を選択することと、選択されたマージ手順を使用して２つ以上の映像ストリームをマージすることと、を含む、２つ以上の映像ストリームをマージするためのマージ方法に関する。
【０１１４】
第３９の態様は、コンピュータ上で動作するときに、第３６から第３８の態様による方法のいずれかを実行するためのプログラムコードを有するコンピュータプログラムに関する。
【０１１５】
第４０の態様は、第３６から第３８の態様による方法のいずれかによって生成されたデータストリームに関する。
【０１１６】
いくつかの態様が装置またはシステムの文脈で説明されているが、これらの態様が、ブロックまたはデバイスが方法ステップまたは方法ステップの特徴に対応する、対応する方法の説明も表すことは明らかである。同様に、方法ステップの文脈で説明された態様も、対応する装置および／またはシステムのブロックまたは項目または特徴の説明を表す。方法ステップの一部または全部が、例えば、マイクロプロセッサ、プログラマブルコンピュータ、または電子回路のようなハードウェア装置によって（またはハードウェア装置を使用して）実行されてもよい。いくつかの実施形態では、最も重要な方法ステップのうちの１つまたは複数がそのような装置によって実行され得る。
【０１１７】
本発明のデータストリームは、デジタル記憶媒体に格納することができ、またはインターネットなどの無線伝送媒体や有線伝送媒体といった伝送媒体で伝送することができる。
【０１１８】
特定の実施要件に応じて、本発明の実施形態を、ハードウェアまたはソフトウェアで実施することができる。実施態様は、それぞれの方法が実行されるようにプログラマブル・コンピュータ・システムと協働する（または協働することができる）、電子的に読み取り可能な制御信号が格納されたデジタル記憶媒体、例えば、フロッピーディスク、ＤＶＤ、Ｂｌｕ−Ｒａｙ、ＣＤ、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭまたはフラッシュメモリを使用して実行することができる。したがって、デジタル記憶媒体はコンピュータ可読であり得る。
【０１１９】
本発明によるいくつかの実施形態は、本明細書に記載される方法のうちの１つが実行されるように、プログラマブル・コンピュータ・システムと協働することができる、電子的に読み取り可能な制御信号を有するデータキャリアを含む。
【０１２０】
一般に、本発明の実施形態は、プログラムコードを有するコンピュータプログラム製品として実施することができ、プログラムコードは、コンピュータプログラム製品がコンピュータ上で動作すると、方法のうちの１つを実行するように動作する。プログラムコードは、例えば、機械可読キャリアに格納され得る。
【０１２１】
他の実施形態は、機械可読キャリアに格納された、本明細書に記載される方法のうちの１つを実行するためのコンピュータプログラムを含む。
【０１２２】
言い換えると、本発明の方法の一実施形態は、したがって、コンピュータプログラムがコンピュータ上で動作するときに本明細書に記載される方法のうちの１つを実行するためのプログラムコードを有するコンピュータプログラムである。
【０１２３】
本発明の方法の別の実施形態は、したがって、本明細書に記載される方法のうちの１つを実行するためのコンピュータプログラムが記録されているデータキャリア（またはデジタル記憶媒体、またはコンピュータ可読媒体）である。データキャリア、デジタル記憶媒体、または記録された媒体は通常、有形および／または非一時的である。
【０１２４】
本発明の方法の別の実施形態は、したがって、本明細書に記載される方法のうちの１つを実行するためのコンピュータプログラムを表すデータストリームまたは信号のシーケンスである。データストリームまたは信号のシーケンスは、例えば、データ通信接続を介して、例えばインターネットを介して転送されるように構成され得る。
【０１２５】
別の実施形態は、本明細書に記載される方法のうちの１つを実行するように構成または適合された処理手段、例えば、コンピュータ、またはプログラマブル・ロジック・デバイスを含む。
【０１２６】
別の実施形態は、本明細書に記載される方法のうちの１つを実行するためのコンピュータプログラムがインストールされたコンピュータを含む。
【０１２７】
本発明による別の実施形態は、本明細書に記載される方法のうちの１つを実行するためのコンピュータプログラムを受信機に（例えば、電子的または光学的に）転送するように構成された装置またはシステムを含む。受信機は、例えば、コンピュータ、モバイルデバイス、メモリデバイスなどであり得る。装置またはシステムは、例えば、コンピュータプログラムを受信機に転送するためのファイルサーバを含み得る。
【０１２８】
いくつかの実施形態では、プログラマブル・ロジック・デバイス（例えば、フィールド・プログラマブル・ゲート・アレイ）を使用して、本明細書に記載される方法の機能の一部または全部が実行され得る。いくつかの実施形態では、フィールド・プログラマブル・ゲート・アレイが、本明細書に記載される方法のうちの１つを実行するためにマイクロプロセッサと協働し得る。一般に、これらの方法は、好ましくは、任意のハードウェア装置によって実行される。
【０１２９】
本明細書に記載される装置は、ハードウェア装置を使用して、またはコンピュータを使用して、またはハードウェア装置とコンピュータの組み合わせを使用して実施され得る。
【０１３０】
本明細書に記載される装置、または本明細書に記載される装置の任意の構成要素は、少なくとも部分的に、ハードウェアとして、および／またはソフトウェアとして実施され得る。
【０１３１】
本明細書に記載される方法は、ハードウェア装置を使用して、またはコンピュータを使用して、またはハードウェア装置とコンピュータの組み合わせを使用して実行され得る。
【０１３２】
本明細書に記載される方法、または本明細書に記載される方法の任意の構成要素は、少なくとも部分的に、ハードウェアによって、および／またはソフトウェアによって実施され得る。
【０１３３】
上述した実施形態は、本発明の原理の単なる例示である。当業者には本明細書に記載される構成および詳細の改変および変形が明らかになることを理解されたい。したがって、本明細書において実施形態の記述および説明として提示された具体的な詳細によってではなく、添付された特許請求の範囲によってのみ限定されることが意図されている。
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】図１６
【補正方法】追加
【補正の内容】
【図１６】
2022501889.tif 000028
【国際調査報告】
2022501889.tif 000029
2022501889.tif 000030
2022501889.tif 000031
2022501889.tif 000032