(57)【要約】  第１の態様によれば、改善された圧縮効率は、現在のブロックの隣接サンプルの集合をニューラルネットワークに適用することによって画像の現在のブロックのイントラ予測信号が決定されるイントラ予測モードの集合をブロック単位の画像コーデックにサポートさせることによって、実現される。本出願の第２の態様は、ニューラルネットワークベースイントラ予測モードを費やすのに加えて、またはこれに代えて、イントラ予測モードの集合を含むかまたはこれと一致する複数のイントラ予測モードから１つのイントラ予測モードを選択するために使用されるランクまたは確率値を隣接サンプルの集合に適用することによってイントラ予測モードの集合の各々のランクまたは確率値を決定するための専用のニューラルネットワークの使用により、モード選択がより効率的になり得ることである。
2020537445.tif 000002
【特許請求の範囲】
【請求項１】
データストリーム（１２）から画像（１０）をブロック単位でデコードするための装置であって、前記装置は、少なくともイントラ予測モードの集合（７２）を備える複数（６６）のイントラ予測モードをサポートし、これにしたがって前記画像の現在のブロック（１８）のためのイントラ予測信号が、前記現在のブロック（１８）の隣接サンプルの第１の集合（６０）をニューラルネットワーク（８０）に適用することによって決定され、前記装置は、
前記現在のブロック（１８）のために前記複数（６６）のイントラ予測モードから１つのイントラ予測モードを選択（６８）し、
前記１つのイントラ予測モードを使用して前記現在のブロック（１８）を予測（７１）する
ように構成されている、装置。
【請求項２】
可変長コードを使用して前記データストリーム（１２）からインデックス（７０ｂ）をデコードし、
前記インデックス（７０ｂ）を使用して前記選択を実行する
ように構成されている、請求項１に記載の装置。
【請求項３】
イントラ予測モードの順序リストを取得するために、前記現在のブロック（１８）の近傍に関連する前記データストリーム（１２）の第１部分（９７）に応じてイントラ予測モードの前記集合（７２）のランキングを決定し、
前記第１部分以外の前記データストリーム（１２）の第２部分（９８）に応じてイントラ予測モードの前記順序リストから前記１つのイントラ予測モードを選択する
ように構成されている、請求項１または２に記載の装置。
【請求項４】
イントラ予測モードの前記集合（７２）の各イントラ予測モードについて、イントラ予測モードの順序リストを取得するために、隣接サンプルの第２の集合（８６）をさらなるニューラルネットワークに適用することによってランクを決定し、
前記データストリーム（１２）からインデックス（７０ｂ）を前記順序リストにデコードし、
前記インデックス（７０ｂ）および前記順序リストを使用して前記選択を実行する
ように構成されている、請求項１または２に記載の装置。
【請求項５】
可変長コードを使用して、前記データストリーム（１２）から前記インデックス（７０ｂ）を前記順序リストにデコードするように構成されている、請求項４に記載の装置。
【請求項６】
イントラ予測モードの前記集合（７２）の各イントラ予測モードについて、隣接サンプルの第２の集合（８６）をさらなるニューラルネットワークに適用することによって確率値（１２０）を決定し、
前記確率値（１２０）を使用して、前記データストリーム（１２）から、インデックス（７０ｂ）をイントラ予測モードの前記集合（７２）にエントロピーデコードし、
前記インデックス（７０ｂ）を使用して前記選択を実行する
ように構成されている、請求項１または２に記載の装置。
【請求項７】
隣接サンプルの前記第１の集合（６０）は、隣接サンプルの前記第２の集合（８６）と一致する、請求項３から６のいずれか一項に記載の装置。
【請求項８】
イントラ予測モードの前記集合（７２）の各々は、排他的に、前記現在のブロック（１８）の隣接サンプルの前記第１の集合（６０）から前記現在のブロック（１８）のための前記イントラ予測信号を一意に決定する、請求項１から７のいずれか一項に記載の装置。
【請求項９】
前記複数のイントラ予測モードは、前記現在のブロック（１８）がＤＣ値で満たされるＤＣモード、または前記現在のブロック（１８）の隣接サンプルの第３の集合から導出された前記現在のブロック（１８）と一緒に、所定の方向に沿って前記現在のブロック（１８）内に空間サンプル値分布を投影することによって前記イントラ予測信号が決定される方向モード、のうちの１つ以上を含む、イントラ予測モードのさらなる集合をさらに備える、請求項１から８のいずれか一項に記載の装置。
【請求項１０】
前記複数のイントラ予測モードは、現在のブロック（１８）の前記イントラ予測信号が、線形関数を使用して前記現在のブロック（１８）の隣接サンプルの第３の集合から決定されるイントラ予測モードのさらなる集合をさらに備え、隣接サンプルの前記第１の集合（６０）の濃度は隣接サンプルの前記第３の集合の濃度よりも高い、請求項１から９のいずれか一項に記載の装置。
【請求項１１】
前記複数のイントラ予測モードから前記１つのイントラ予測モードを選択する際に、イントラ予測モードの前記集合またはイントラ予測モードの前記さらなる集合から前記１つのイントラ予測モードを選択するように、前記データストリーム（１２）内の１つのフラグに応答するように構成されている、請求項１０または１１に記載の装置。
【請求項１２】
画像（１０）をデータストリーム（１２）にブロック単位でエンコードするための装置であって、前記装置は、少なくともイントラ予測モードの集合（７２）を備える複数のイントラ予測モードをサポートし、これにしたがって前記画像（１０）の現在のブロック（１８）のための前記イントラ予測信号が、前記現在のブロック（１８）の隣接サンプルの第１の集合（６０）をニューラルネットワーク（８０）に適用することによって決定され、前記装置は、
前記現在のブロック（１８）のために前記複数のイントラ予測モードから１つのイントラ予測モードを選択（９０）し、
前記１つのイントラ予測モードを使用して前記現在のブロック（１８）を予測する
ように構成されている、装置。
【請求項１３】
可変長コードを使用してインデックス（７０ｂ）を前記データストリーム（１２）にエンコードし、前記インデックス（７０ｂ）は前記選択を表している
ように構成されている、請求項１２に記載の装置。
【請求項１４】
イントラ予測モードの順序リストを取得するために、前記現在のブロック（１８）の近傍に関連する前記データストリーム（１２）の第１部分（９７）に応じてイントラ予測モードの前記集合（７２）のランキングを決定し、
イントラ予測モードの前記順序リストから前記１つのイントラ予測モードを選択し、
イントラ予測モードの前記順序リストからの前記選択を表すように、前記第１部分（９７）以外の前記データストリーム（１２）の第２部分（９８）を形成する
ように構成されている、請求項１２または１３に記載の装置。
【請求項１５】
イントラ予測モードの前記集合（７２）の各イントラ予測モードについて、イントラ予測モードの順序リストを取得するために、隣接サンプルの第２の集合（８６）をさらなるニューラルネットワークに適用することによってランクを決定し、
前記データストリーム（１２）に、インデックス（７０ｂ）を前記順序リストにエンコードする
ように構成されており、
前記インデックス（７０ｂ）は、前記順序リストから前記１つのイントラ予測モードを選択する、
請求項１２または１４に記載の装置。
【請求項１６】
可変長コードを使用して、前記データストリーム（１２）から前記インデックスを前記順序リストにデコードするように構成されている、請求項１５に記載の装置。
【請求項１７】
イントラ予測モードの前記集合（７２）の各イントラ予測モードについて、隣接サンプルの第２の集合（８６）をさらなるニューラルネットワークに適用することによって確率値（１２０）を決定し、
前記確率値（１２０）を使用して、前記データストリーム（１２）に、インデックス（７０ｂ）をイントラ予測モードの前記集合（７２）にエントロピーエンコードし、前記インデックス（７０ｂ）は前記１つのイントラ予測モードを指す
ように構成されている、請求項１２または１３に記載の装置。
【請求項１８】
隣接サンプルの前記第１の集合（６０）は、隣接サンプルの前記第２の集合（８６）と一致する、請求項１４から１７のいずれか一項に記載の装置。
【請求項１９】
イントラ予測モードの前記集合（７２）の各々は、排他的に、前記現在のブロック（１８）の隣接サンプルの前記第１の集合（６０）から前記現在のブロック（１８）のための前記イントラ予測信号を一意に決定する、請求項１２から１８のいずれか一項に記載の装置。
【請求項２０】
前記複数のイントラ予測モードは、前記現在のブロック（１８）がＤＣ値で満たされるＤＣモード、または前記現在のブロック（１８）の隣接サンプルの第３の集合から導出された前記現在のブロック（１８）と一緒に、所定の方向に沿って前記現在のブロック（１８）内に空間サンプル値分布を投影することによって前記イントラ予測信号が決定される方向モード、のうちの１つ以上を含む、イントラ予測モードのさらなる集合をさらに備える、請求項１２から１９のいずれか一項に記載の装置。
【請求項２１】
前記複数のイントラ予測モードは、現在のブロック（１８）の前記イントラ予測信号が、線形関数を使用して前記現在のブロック（１８）の隣接サンプルの第３の集合から選択されるイントラ予測モードのさらなる集合をさらに備え、隣接サンプルの前記第１の集合（６０）の濃度は隣接サンプルの前記第３の集合の濃度よりも高い、請求項１２から２０のいずれか一項に記載の装置。
【請求項２２】
データストリーム（１２）に、前記１つのイントラ予測モードがイントラ予測モードの前記集合（７２）の要素であるかイントラ予測モードの前記さらなる集合の要素であるかを示す１つのフラグを提供するように構成されている、請求項１９または２０に記載の装置。
【請求項２３】
ブロック単位の画像符号化のためのイントラ予測モードの集合（７２）を設計するための装置であって、
イントラ予測モードの前記集合（７２）の各々について、第１テストブロックの予測信号（１１８）を取得するように、前記第１画像テストブロック（１１４）に隣接する隣接サンプル（１１６）の第１の集合（６０）を第１ニューラルネットワーク（８０）に、およびイントラ予測モードの前記集合（７２）の各々について、前記それぞれのイントラ予測モードの確率を示す確率値（１２０）を取得するように、前記第１画像テストブロックに隣接する隣接サンプルの第２の集合（８６）を第２ニューラルネットワーク（８４）に、適用し、
イントラ予測モードの前記集合（７２）の各々について、前記それぞれのイントラ予測モードのために取得された前記予測信号（１１８）を使用して、予測誤差符号化およびモード信号伝達に関連する符号化コストのコスト推定（１２４）を決定（１２２）し、
最低符号化コスト推定の前記イントラ予測モードのために取得された前記予測信号（１１８）に応じて残差レート推定を形成する第１加数、および最低符号化コスト推定の前記イントラ予測モードのために取得された前記予測信号（１１８）および前記確率値（１２０）に応じてモードシグナリング側情報レート推定を形成する第２加数を有する符号化コスト関数を低減するように、前記第１ニューラルネットワーク（８０）の第１パラメータ（１１３）および前記第２ニューラルネットワーク（８４）の第２パラメータ（１１１）を更新（１１０）し、
第２画像テストブロックに隣接する隣接サンプルを、更新された前記第１および第２パラメータ（１１３、１１１）を用いて、前記第１ニューラルネットワーク（８０）に、および前記第２ニューラルネットワーク（８４）に適用する
ように構成されている、装置。
【請求項２４】
前記第１および第２ニューラルネットワーク（８０、８４）は、
線形および非線形関数のシーケンスであって、前記第１および第２パラメータ（１１３、１１１）は前記線形関数の重みを備える、シーケンス、
ニューロン層のシーケンスを形成する線形および非線形関数のシーケンス、または
ニューロンの層のシーケンスであって、前記第１および第２パラメータ（１１３、１１１）は相互接続されたニューロン間で転送される信号強度を制御する重みを備える、シーケンス
である、請求項２３に記載の装置。
【請求項２５】
イントラ予測モードの前記集合（７２）の各々について、前記それぞれのイントラ予測モードのために取得された前記予測信号（１１８）および前記確率値（１２０）を使用して、予測誤差符号化およびモード信号伝達に関連する符号化コストの前記コスト推定を決定する
ように構成されている、請求項２３または２４に記載の装置。
【請求項２６】
イントラ予測モードの前記集合（７２）の各々について、前記それぞれのイントラ予測モードおよび前記第１画像テストブロックの元の歪みのないバージョンのために取得された前記予測信号（１１８）を予測誤差符号化レート推定にマッピングする第１加数と、前記それぞれのイントラ予測モードのために取得された前記確率値（１２０）をモード信号伝達レート推定にマッピングする第２加数との合計として、予測誤差符号化およびモード信号伝達に関連する符号化コストの前記コスト推定を決定する
ように構成されている、請求項２３から２５のいずれか一項に記載の装置。
【請求項２７】
前記符号化コスト関数の第２加数は、最低符号化コスト推定の前記イントラ予測モードの交差エントロピーを示す全てのイントラ予測モードのために取得された前記確率値（１２０）の関数として、最低符号化コスト推定の前記イントラ予測モードのために取得された前記予測信号（１１８）に応じて前記モードシグナリング側情報レート推定を形成する
請求項２３から２６のいずれか一項に記載の装置。
【請求項２８】
前記符号化コスト関数の第１加数は、前記それぞれのイントラ予測モードおよび前記第１画像テストブロックの元の歪みのないバージョンのために取得された前記予測信号（１１８）の関数として、最低符号化コスト推定の前記イントラ予測モードのために取得された前記予測信号（１１８）に応じて前記残差レート推定を形成する
請求項２３から２７のいずれか一項に記載の装置。
【請求項２９】
複数の画像テストブロックの次の画像テストブロックの適用のために１つの画像テストブロックに対して更新された前記第１および第２パラメータ（１１３、１１１）を使用して、前記複数の画像テストブロックの前記適用、決定、および更新を順次繰り返す
ように構成されている、請求項２３から２８のいずれか一項に記載の装置。
【請求項３０】
前記複数の画像テストブロックを、より効率的に符号化可能な未細分の第１の集合、およびより効率的に符号化可能であってサブブロックに細分された第２の集合に細分し、前記第１の集合の次の画像テストブロックの適用のために１つの画像テストブロックに対して更新された前記第１および第２パラメータ（１１３、１１１）を使用して、前記第１の集合の画像テストブロックの前記適用、決定、および更新を順次繰り返す
ように構成されている、請求項２３から２９のいずれか一項に記載の装置。
【請求項３１】
勾配降下を使用して前記更新を実行する
ように構成されている、請求項２３から３０のいずれか一項に記載の装置。
【請求項３２】
隣接サンプルの前記第１の集合（６０）は、隣接サンプルの前記第２の集合（８６）と一致する、請求項２３から３１のいずれか一項に記載の装置。
【請求項３３】
データストリーム（１２）から画像（１０）をブロック単位でデコードするための装置であって、前記装置は複数のイントラ予測モードをサポートし、前記装置は、
前記複数（６６）のイントラ予測モードの少なくともイントラ予測モードの集合（７２）の各々について、現在のブロック（１８）に隣接する隣接サンプルの第１の集合（６８）をニューラルネットワーク（８０）に適用することによって、ランクまたは確率値（１２０）を決定し、
前記現在のブロック（１８）について、前記ランクまたは確率値（１２０）を使用して、前記複数のイントラ予測モードから１つのイントラ予測モードを選択し、
前記１つのイントラ予測モードを使用して、前記現在のブロック（１８）を予測する
ように構成されている、装置。
【請求項３４】
イントラ予測モードの順序リストを取得するために前記ランクにしたがってイントラ予測モードの前記集合（７２）を順序付け、
可変長コードを使用して前記データストリーム（１２）からインデックス（７０ｂ）をデコードし、
前記インデックス（７０ｂ）および前記順序リストを使用して前記選択を実行する
ように構成されている、請求項３３に記載の装置。
【請求項３５】
前記確率値（１２０）を使用して、前記データストリーム（１２）から、インデックス（７０ｂ）をイントラ予測モードの前記集合（７２）にエントロピーデコードし、
前記インデックス（７０ｂ）を使用して前記選択を実行する
ように構成されている、請求項３３または３４に記載の装置。
【請求項３６】
イントラ予測モードの前記集合（７２）の各々は、排他的に、前記現在のブロック（１８）の隣接サンプルの第２の集合（８６）から前記現在のブロック（１８）のための前記イントラ予測信号を一意に決定する、請求項３３から３５のいずれか一項に記載の装置。
【請求項３７】
前記複数のイントラ予測モードは、前記現在のブロック（１８）がＤＣ値で満たされるＤＣモード、または前記現在のブロック（１８）の隣接サンプルの第３の集合から導出された前記現在のブロック（１８）と一緒に、所定の方向に沿って前記現在のブロック（１８）内に空間サンプル値分布を投影することによって前記イントラ予測信号が決定される方向モード、のうちの１つ以上を備える、請求項３３から３６のいずれか一項に記載の装置。
【請求項３８】
それに基づいて前記現在のブロック（１８）が前記複数のイントラ予測モードにしたがって予測される隣接サンプルの集合の濃度は、前記複数のイントラ予測モードの間で異なる、請求項３３から３７のいずれか一項に記載の装置。
【請求項３９】
画像（１０）をデータストリーム（１２）にブロック単位でエンコードするための装置であって、前記装置は複数のイントラ予測モードをサポートし、前記装置は、
前記複数のイントラ予測モードの少なくともイントラ予測モードの集合（７２）の各々について、現在のブロック（１８）に隣接する隣接サンプルの第１の集合（６８）をニューラルネットワーク（８０）に適用することによって、ランクまたは確率値（１２０）を決定し、
前記現在のブロック（１８）について、前記ランクまたは確率値（１２０）を使用して、前記複数のイントラ予測モードから１つのイントラ予測モードを選択（９０）し、
前記１つのイントラ予測モードを使用して、前記現在のブロック（１８）を予測する
ように構成されている、装置。
【請求項４０】
イントラ予測モードの順序リストを取得するために前記ランクにしたがってイントラ予測モードの前記集合（７２）を順序付け、
可変長コードを使用してインデックス（７０ｂ）を前記データストリーム（１２）にエンコードする
ように構成されており、
前記インデックス（７０ｂ）は、前記順序リスト内の前記１つのイントラ予測モードにインデックスを付ける、
請求項３９に記載の装置。
【請求項４１】
前記確率値（１２０）を使用して、イントラ予測モードの前記集合（７２）へのインデックス（７０ｂ）を前記データストリーム（１２）にエントロピーエンコードするように構成されており、
前記インデックス（７０ｂ）は、イントラ予測モードの前記集合（７２）内の前記１つのイントラ予測モードにインデックスを付ける、
請求項３９または４０に記載の装置。
【請求項４２】
前記複数（６６）のイントラ予測モードの各々は、排他的に、前記現在のブロック（１８）の隣接サンプルの第２の集合（８６）から前記現在のブロック（１８）のための前記イントラ予測信号を一意に決定する、請求項３９から４１のいずれか一項に記載の装置。
【請求項４３】
前記複数（６６）のイントラ予測モードは、前記現在のブロック（１８）がＤＣ値で満たされるＤＣモード、または前記現在のブロック（１８）の隣接サンプルの第３の集合から導出された前記現在のブロック（１８）と一緒に、所定の方向に沿って前記現在のブロック（１８）内に空間サンプル値分布を投影することによって前記イントラ予測信号が決定される方向モード、のうちの１つ以上を備える、請求項３９から４２のいずれか一項に記載の装置。
【請求項４４】
それに基づいて前記現在のブロック（１８）が前記複数（６６）のイントラ予測モードにしたがって予測される隣接サンプルの集合の濃度は、前記複数（６６）のイントラ予測モードの間で異なる、請求項３９から４３のいずれか一項に記載の装置。
【請求項４５】
ブロック単位の画像符号化のためのイントラ予測モードの集合（７２）の間での選択を支援するためのニューラルネットワーク（８４）を設計するための装置であって、
イントラ予測モードの前記集合（７２）の各々を使用して、イントラ予測モードの前記集合（７２）の各々について、第１テストブロックの予測信号（１１８）を取得するように、前記第１画像テストブロックに隣接する隣接サンプルの第１の集合（６８）から前記第１画像テストブロックを推定（１７０）し、イントラ予測モードの前記集合（７２）の各々について、前記それぞれのイントラ予測モードの確率を示す確率値（１２０）を取得するように、隣接サンプルの前記第１の集合（６８）を前記ニューラルネットワーク（８４）に適用し、
イントラ予測モードの前記集合（７２）の各々について、前記それぞれのイントラ予測モードのために取得された前記予測信号（１１８）を使用して、予測誤差符号化およびモード信号伝達に関連する符号化コストのコスト推定を決定し、
最低符号化コスト推定の前記イントラ予測モードのために取得された前記予測信号（１１８）に応じて残差レート推定を形成する第１加数、および最低符号化コスト推定の前記イントラ予測モードのために取得された前記予測信号（１１８）および前記確率値（１２０）に応じてモードシグナリング側情報レート推定を形成する第２加数を有する符号化コスト関数を低減するように、前記ニューラルネットワーク（８４）のパラメータを更新し、
前記更新されたパラメータを用いて第２予測テキストブロックおよび隣接サンプルのその集合の前記予測および適用をやり直す
ように構成されている、装置。
【請求項４６】
前記ニューラルネットワークは、
線形および非線形関数のシーケンスであって、前記パラメータは線形関数重みを備える、シーケンス、
ニューロン層のシーケンスを形成する線形および非線形関数のシーケンス、または
ニューロンの層のシーケンスであって、前記パラメータは層と接続されたニューロン間で転送される信号強度を制御する重みを備える、シーケンス
である、請求項４５に記載の装置。
【請求項４７】
イントラ予測モードの前記集合（７２）の各々について、前記それぞれのイントラ予測モードのために取得された前記予測信号（１１８）および前記確率値（１２０）を使用して、予測誤差符号化およびモード信号伝達に関連する符号化コストの前記コスト推定を決定する
ように構成されている、請求項４５または４６に記載の装置。
【請求項４８】
イントラ予測モードの前記集合（７２）の各々について、前記それぞれのイントラ予測モードおよび前記第１画像テストブロックの元の歪みのないバージョンのために取得された前記予測信号（１１８）を予測誤差符号化レート推定にマッピングする第１加数と、前記それぞれのイントラ予測モードのために取得された前記確率値（１２０）をモード信号伝達レート推定にマッピングする第２加数との合計として、予測誤差符号化およびモード信号伝達に関連する符号化コストの前記コスト推定を決定する
ように構成されている、請求項４５から４７のいずれか一項に記載の装置。
【請求項４９】
前記符号化コスト関数の第２加数は、最低符号化コスト推定の前記イントラ予測モードの交差エントロピーを示す全てのイントラ予測モードのために取得された前記確率値（１２０）の関数として、最低符号化コスト推定の前記イントラ予測モードのために取得された前記予測信号（１１８）に応じて前記モードシグナリング側情報レート推定を形成する
請求項４５から４８のいずれか一項に記載の装置。
【請求項５０】
前記符号化コスト関数の第１加数は、前記それぞれのイントラ予測モードおよび前記第１画像テストブロックの元の歪みのないバージョンのために取得された前記予測信号（１１８）の関数として、最低符号化コスト推定の前記イントラ予測モードのために取得された前記予測信号（１１８）に応じて前記残差レート推定を形成する
請求項４５から４９のいずれか一項に記載の装置。
【請求項５１】
複数の画像テストブロックの次の画像テストブロックの適用のために１つの画像テストブロックに対して更新された前記パラメータを使用して、前記複数の画像テストブロックの前記予測、適用、決定、および更新を順次繰り返す
ように構成されている、請求項４５から５０のいずれか一項に記載の装置。
【請求項５２】
勾配降下を使用して前記更新を実行する
ように構成されている、請求項４５から５１のいずれか一項に記載の装置。
【請求項５３】
データストリーム（１２）から画像（１０）をブロック単位でデコードする方法であって、少なくともイントラ予測モードの集合（７２）を備える複数（６６）のイントラ予測モードをサポートし、これにしたがって前記画像の現在のブロック（１８）のための前記イントラ予測信号が、前記現在のブロック（１８）の隣接サンプルの第１の集合（６０）をニューラルネットワーク（８０）に適用することによって決定され、前記方法は、
前記現在のブロック（１８）のために前記複数（６６）のイントラ予測モードから１つのイントラ予測モードを選択（６８）するステップと、
前記１つのイントラ予測モードを使用して前記現在のブロック（１８）を予測（７１）するステップと
を備える方法。
【請求項５４】
画像（１０）をデータストリーム（１２）にブロック単位でエンコードする方法であって、少なくともイントラ予測モードの集合（７２）を備える複数のイントラ予測モードをサポートし、これにしたがって前記画像（１０）の現在のブロック（１８）のための前記イントラ予測信号が、前記現在のブロック（１８）の隣接サンプルの第１の集合（６０）をニューラルネットワーク（８０）に適用することによって決定され、前記方法は、
前記現在のブロック（１８）のために前記複数のイントラ予測モードから１つのイントラ予測モードを選択（９０）するステップと、
前記１つのイントラ予測モードを使用して前記現在のブロック（１８）を予測するステップと
を備える方法。
【請求項５５】
ブロック単位の画像符号化のためのイントラ予測モードの集合（７２）を設計する方法であって、
イントラ予測モードの前記集合（７２）の各々について、第１テストブロックの予測信号（１１８）を取得するように、前記第１画像テストブロック（１１４）に隣接する隣接サンプル（１１６）の第１の集合（６０）を第１ニューラルネットワーク（８０）に、およびイントラ予測モードの集合（７２）の各々について、前記それぞれのイントラ予測モードの確率を示す確率値（１２０）を取得するように、前記第１画像テストブロックに隣接する隣接サンプルの第２の集合（８６）を第２ニューラルネットワーク（８４）に、適用するステップと、
イントラ予測モードの前記集合（７２）の各々について、前記それぞれのイントラ予測モードのために取得された前記予測信号（１１８）を使用して、予測誤差符号化およびモード信号伝達に関連する符号化コストのコスト推定（１２４）を決定（１２２）するステップと、
最低符号化コスト推定の前記イントラ予測モードのために取得された前記予測信号（１１８）に応じて残差レート推定を形成する第１加数、および最低符号化コスト推定の前記イントラ予測モードのために取得された前記予測信号（１１８）および前記確率値（１２０）に応じてモードシグナリング側情報レート推定を形成する第２加数を有する符号化コスト関数を低減するように、前記第１ニューラルネットワーク（８０）の第１パラメータ（１１３）および前記第２ニューラルネットワーク（８４）の第２パラメータ（１１１）を更新（１１０）するステップと、
第２画像テストブロックに隣接する隣接サンプルを、更新された前記第１および第２パラメータ（１１３、１１１）を用いて、前記第１ニューラルネットワーク（８０）に、および前記第２ニューラルネットワーク（８４）に適用するステップと
を備える方法。
【請求項５６】
データストリーム（１２）から画像（１０）をブロック単位でデコードする方法であって、複数のイントラ予測モードをサポートし、前記方法は、
前記複数（６６）のイントラ予測モードの少なくともイントラ予測モードの集合（７２）の各々について、現在のブロック（１８）に隣接する隣接サンプルの第１の集合（６８）をニューラルネットワーク（８０）に適用することによって、ランクまたは確率値（１２０）を決定するステップと、
前記現在のブロック（１８）について、前記ランクまたは確率値（１２０）を使用して、前記複数のイントラ予測モードから１つのイントラ予測モードを選択するステップと、
前記１つのイントラ予測モードを使用して、前記現在のブロック（１８）を予測するステップと
を備える方法。
【請求項５７】
画像（１０）をデータストリーム（１２）にブロック単位でエンコードする方法であって、複数のイントラ予測モードをサポートし、前記方法は、
前記複数のイントラ予測モードの少なくともイントラ予測モードの集合（７２）の各々について、現在のブロック（１８）に隣接する隣接サンプルの第１の集合（６８）をニューラルネットワーク（８０）に適用することによって、ランクまたは確率値（１２０）を決定するステップと、
前記現在のブロック（１８）について、前記ランクまたは確率値（１２０）を使用して、前記複数のイントラ予測モードから１つのイントラ予測モードを選択（９０）するステップと、
前記１つのイントラ予測モードを使用して、前記現在のブロック（１８）を予測するステップと
を備える方法。
【請求項５８】
ブロック単位の画像符号化のためのイントラ予測モードの集合（７２）の間での選択を支援するためのニューラルネットワーク（８４）を設計する方法であって、前記方法は、
イントラ予測モードの前記集合（７２）の各々を使用して、イントラ予測モードの前記集合（７２）の各々について、第１テストブロックの予測信号（１１８）を取得するように、前記第１画像テストブロックに隣接する隣接サンプルの第１の集合（６８）から前記第１画像テストブロックを推定（１７０）し、イントラ予測モードの前記集合（７２）の各々について、前記それぞれのイントラ予測モードの確率を示す確率値（１２０）を取得するように、隣接サンプルの前記第１の集合（６８）を前記ニューラルネットワーク（８４）に適用するステップと、
イントラ予測モードの前記集合（７２）の各々について、前記それぞれのイントラ予測モードのために取得された前記予測信号（１１８）を使用して、予測誤差符号化およびモード信号伝達に関連する符号化コストのコスト推定を決定するステップと、
最低符号化コスト推定の前記イントラ予測モードのために取得された前記予測信号（１１８）に応じて残差レート推定を形成する第１加数、および最低符号化コスト推定の前記イントラ予測モードのために取得された前記予測信号（１１８）および前記確率値（１２０）に応じてモードシグナリング側情報レート推定を形成する第２加数を有する符号化コスト関数を低減するように、前記ニューラルネットワーク（８４）のパラメータを更新するステップと、
前記更新されたパラメータを用いて第２予測テキストブロックおよび隣接サンプルのその集合の前記予測および適用をやり直すステップと
を備える方法。
【請求項５９】
コンピュータ上で実行されると、請求項５３から５８のいずれか一項に記載の方法を実行するための、プログラムコードを有するコンピュータプログラム。
【請求項６０】
請求項５４から５７のいずれか一項に記載の方法を使用して生成されたデータストリーム。
【発明の詳細な説明】
【技術分野】
【０００１】
本出願は、ＨＥＶＣまたはＨＥＶＣの任意の後継などのビデオコーデックで使用可能なものなどのブロック単位の画像符号化のための改善されたイントラ予測モード概念に関する。
【背景技術】
【０００２】
イントラ予測モードは、画像およびビデオ符号化で広く使用されている。ビデオ符号化では、イントラ予測モードは動き補償予測モードなどのインター予測モードなどその他の予測モードと競合する。イントラ予測モードでは、現在のブロックは、隣接サンプル、すなわちエンコーダ側に関する限り既にエンコードされ、デコーダ側に関する限り既にデコードされているサンプルに基づいて、予測される。率直に言えば、隣接サンプル値は、現在のブロックのデータストリームで予測残差を送信して現在のブロックの予測信号を形成するように、現在のブロックに外挿される。予測信号が良好であるほど予測残差が低くなり、したがって予測残差を符号化するために必要なビット数が少なくなる。
【０００３】
効果的であるためには、ブロック単位の画像符号化環境でのイントラ予測に効果的なフレームワークを形成するために、いくつかの態様を考慮すべきである。たとえば、コーデックによってサポートされるイントラ予測モードの数が大きいほど、デコーダに選択を通知するためのサイド情報レート消費が大きくなる。一方、サポートされるイントラ予測モードの集合は、良好な予測信号、すなわち低予測残差となる予測信号を提供できるべきである。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本出願は、改善されたイントラ予測モード概念を使用する場合にブロック単位の画像コーデックのより効率的な圧縮を可能にするイントラ予測モード概念を提供しようとするものである。
【課題を解決するための手段】
【０００５】
この目的は、本出願の独立請求項の主題によって達成される。
【０００６】
本出願の第１の態様によれば、改善された圧縮効率は、現在のブロックの隣接サンプルの集合をニューラルネットワークに適用することによって画像の現在のブロックのイントラ予測信号が決定されるイントラ予測モードの集合をブロック単位の画像コーデックにサポートさせることによって、実現される。この集合は、完全にサポートされた複数のイントラ予測モード、または単にその適切な小集合を形成し得る。サポートされた複数のイントラ予測モードのうち、１つは現在のブロック向けに選択され、現在のブロックは１つのイントラ予測モード、すなわち選択されたものを使用して予測される。データストリームには、選択されたイントラ予測モードを示す、現在のブロックのインデックスが提供され得る。ブロック単位の画像コーデックに、その間で現在のブロックの選択が実行される２つ以上のニューラルネットワークベースイントラ予測モードを提供することで、より高い尤度で特定のブロックのために予測誤差の低い予測信号を見つけるように、これらのニューラルネットワークベースイントラ予測モードを設計できるようにする。加えて、ニューラルネットワークイントラ予測モード設計は、イントラ予測モード選択のサイド情報が費やされた場合に、このサイド情報オーバヘッドが低く維持され得るような方法で実行され得る。これは、イントラ予測モード設計が、イントラ予測画像ブロック間で選択頻度が相互に異なるようにニューラルネットワークベースイントラ予測モードを自由に生成できる、という事実によって実現可能となる。言い換えると、複数のニューラルネットワークベースイントラ予測モードを費やすことにより、これらのモードの設計は、これらの統計的な選択頻度がエントロピー符号化を招くように選択信号伝達に適合するようなやり方で、ヒューリスティックに設計されたイントラ予測モード集合からの選択と比較してより低いサイド情報オーバヘッドを感知できるようになる。たとえば、選択されたイントラ予測モードを指すインデックスは、可変長コードを使用して、またはエントロピー符号化を使用して符号化されてもよく、ニューラルネットワークベースイントラ予測モードは、イントラ予測モード間のモード選択のための平均信号伝達オーバヘッドが減少または最小化されるように、それらの選択頻度または頻度分布が可変長コードに適合するような、またはそれらの頻度分布がエントロピーコードの基礎となるサンプル統計に適合するような方法で、設計されてもよい。
【０００７】
本出願の第２の態様は、ニューラルネットワークベースイントラ予測モードを費やすのに加えて、またはこれに代えて、イントラ予測モードの集合を含むかまたはこれと一致する複数のイントラ予測モードから１つのイントラ予測モードを選択するために使用されるランクまたは確率値を隣接サンプルの集合に適用することによってイントラ予測モードの集合の各々のランクまたは確率値を決定するための専用のニューラルネットワークの使用により、モード選択がより効率的になり得ることである。イントラ予測モードから選択するためのサイド情報オーバヘッドは、完全に除外されるか、またはニューラルネットワークを使用することによってより効率的になり得る。
【０００８】
上述のニューラルネットワークの設計に関する限り、本出願は、そのパラメータを適切に決定するための多くの実施形態を提供する。
【０００９】
本出願の有利な実装は、従属請求項の主題である。本出願の好適な実施形態は、以下の図面を参照して後述される。
【図面の簡単な説明】
【００１０】
【図１】本出願の実施形態が実装され得る一般的な例として、画像をデータストリームにエンコードするためのエンコーダを示す概略ブロック図である。
【図２】図１によるエンコーダのより具体的な例のブロック図である。
【図３】図１のエンコーダに適合し、本出願の実施形態が実装され得るデコーダの一例として役立つデコーダを示す概略ブロック図である。
【図４】図２のエンコーダに適合する、図３のデコーダのより具体的な例のブロック図である。
【図５】イントラ予測を使用してブロックを処理することに関する本出願の実施形態によるエンコーダおよびデコーダにおける動作モードを示す概略図である。
【図６】いくつかのニューラルネットワークベースイントラ予測モードを備える本出願の実施形態によるデコーダを示す概略ブロック図である。
【図７ａ】使用されるイントラ予測モードがニューラルネットワークベースイントラ予測モードの集合の要素であるか否かを示すフレックと共に、データストリーム内でインデックスをニューラルネットワークベースイントラ予測モードの順序リスト内に送信しながら、ニューラルネットワークベースイントラ予測モードおよびこれらのモードのニューラルネットワークベースの順序付けをサポートする実施形態による、エンコーダおよびデコーダの動作モードを示す概略図である。言うまでもなく、異なる頻度が決定９０によって決定されることを利用するように、インデックスは可変長符号化を使用して符号化され得る。
【図７ｂ】フレック信号伝達が使用されない点で図７ａとは異なる概略図である。
【図７ｃ】モード順序付けがニューラルネットワークを使用して制御されない点で図７ｂとは異なる概略図である。
【図７ｄ】モード信号伝達におけるニューラルネットワーク支援がモード順序付けではなくエントロピーエンコード／デコードにおける確率分布推定の制御に使用される点で、図７ａとは異なる概略図である。
【図８】一実施形態によるニューラルネットワークベースイントラ予測モードの集合を設計するための装置を示す図である。
【図９ａ】ニューラルネットワークベースであるか否かにかかわらずサポートされたイントラ予測モードを順序付けるためにニューラルネットワークが使用される実施形態による、エンコーダおよびデコーダの動作モードを示す概略図である。
【図９ｂ】サポートされたイントラ予測モードの集合へのインデックスのエントロピーデコード／エンコードの確率分布推定を制御するためにニューラルネットワークベースが使用される点で、図９ａとは異なる概略図である。
【図１０】一実施形態によるブロック単位の画像符号化のためにイントラ予測モードの集合の中から支援および選択するためのニューラルネットワークを設計するための装置を示す図である。
【発明を実施するための形態】
【００１１】
以下、イントラ予測を使用するときのより効果的な圧縮の実現を支援する様々な実施形態が記載される。いくつかの実施形態は、ニューラルネットワークベースのイントラ予測モードの集合を費やすことによって圧縮効率の増加を実現する。後者のものは、たとえばヒューリスティックに設計された別のイントラ予測モードに追加されてもよく、または排他的に提供されてもよい。別の実施形態は、複数のイントラ予測モード間の選択を実行するために、ニューラルネットワークを使用する。そしてさらに別の実施形態は、今議論されたばかりの特徴の両方を利用する。
【００１２】
本出願の以下の実施形態の理解を容易にするために、後に概説される本出願の実施形態が組み込まれる、可能なエンコーダおよびこれに適合するデコーダの提示から、説明を始める。図１は、画像１０をデータストリーム１２にブロック単位でエンコードするための装置を示す。装置は、参照符号１４を使用して示されており、静止画像エンコーダまたはビデオエンコーダであり得る。言い換えると、画像１０は、エンコーダ１４が、画像１０を含むビデオ１６をデータストリーム１２にエンコードするように構成されているときにビデオ１６からの現在の画像であってもよく、またはエンコーダ１４が画像１０をデータストリーム１２に排他的にエンコードしてもよい。
【００１３】
前述のように、エンコーダ１４は、ブロック単位で、またはブロックベースで、エンコードを実行する。これに対して、エンコーダ１４は画像１０をブロックに細分し、この単位でエンコーダ１４は画像１０をデータストリーム１２にエンコードする。画像１０のブロック１８への可能な細分化の例は、以下により詳細に明記される。一般に、細分化は、一定サイズのブロック１８となる可能性があり、これは行および列に配置されたブロックのアレイを示唆しており、または画像１０の画像領域全体または画像１０の予備分割からツリーブロックのアレイへのマルチツリー細分化を開始する階層的マルチツリー細分化の使用などによって異なるブロックサイズのブロック１８となる可能性もあるが、これらの例は、画像１０をブロック１８に細分化する他の可能な方法を除外するように扱われるものではない。
【００１４】
さらに、エンコーダ１４は、画像１０を予測的にデータストリーム１２にエンコードするように構成された予測エンコーダである。特定のブロック１８では、これは、エンコーダ１４がブロック１８の予測信号を決定して、予測残差、すなわち予測信号がブロック１８内の実際の画像コンテンツから逸脱する予測残差を、データストリーム１２にエンコードすることを意味する。
【００１５】
エンコーダ１４は、特定のブロック１８の予測信号を導出するように異なる予測モードをサポートし得る。以下の実施形態において重要となる予測モードは、ブロック１８の内部が画像１０の隣接する既にエンコードされたサンプルから空間的に予測される、イントラ予測モードである。画像１０のデータストリーム１２へのエンコード、および相応に対応するデコード手順は、ブロック１８の間で定義された特定の符号化順序２０に基づくことができる。たとえば、符号化順序２０は、たとえば左から右へ各行を横断して上から下まで行単位などのラスタ走査順序でブロック１８を横断してもよい。階層的マルチツリーベースの細分化の場合、ラスタ走査順序は各階層レベル内で適用されてもよく、ここで深さ優先横断順序が適用されてもよく、すなわち特定の階層レベルのブロック内のリーフノートが、符号化順序２０にしたがって同じ親ブロックを有する同じ階層レベルのブロックに先行してもよい。符号化順序２０に応じて、ブロック１８の隣接する既にエンコードされたサンプルは、通常、ブロック１８の１つ以上の側に配置され得る。本明細書に提示される例の場合、たとえば、ブロック１８の隣接する既にエンコードされたサンプルは、ブロック１８の上に、および左に配置されている。
【００１６】
イントラ予測モードは、エンコーダ１４によってサポートされる唯一のものでなくてもよい。たとえば、エンコーダ１４がビデオエンコーダである場合、エンコーダ１４はまた、ビデオ１６の以前にエンコードされた画像からブロック１８が一時的に予測されるイントラ予測モードもサポートし得る。このようなイントラ予測モードは動き補償予測モードであってもよく、これにしたがって、ブロック１８の予測信号が複製として導出される部分の相対空間オフセットを示すこのようなブロック１８について、動きベクトルが通知される。加えて、または代わりに、エンコーダ１４がマルチビューエンコーダである場合のインタービュー予測モード、またはブロック１８の内部がそのまま、すなわちいかなる予測もなしに符号化される非予測モードなど、その他の非イントラ予測モードもまた利用可能であり得る。
【００１７】
本出願の説明の焦点をイントラ予測モードに合わせることから始める前に、図２に関連して記載されるように、可能なブロックベースのエンコーダ、すなわちエンコーダ１４の可能な実装の、より具体的な実施形態であり、次いでそれぞれ図１および図２に適合するデコーダの２つの対応する実施形態を提示する。
【００１８】
図２は、図１のエンコーダ１４の可能な実装、すなわち、これはほぼ一例であって本出願はこの種の予測残差符号化に限定されないものの、エンコーダが予測残差をエンコードするための変換符号化を使用するように構成されているものを示す。図２によれば、エンコーダ１４は、その後予測残差エンコーダ２８によってデータストリーム１２にエンコードされる予測残差信号２６を取得するように、インバウンド信号、すなわち画像１０、またはブロックベースで現在のブロック１８から対応する予測信号２４を減算するように構成された、減算器２２を備える。予測残差エンコーダ２８は、非可逆符号化段２８ａおよび可逆符号化段２８ｂから構成される。非可逆段２８ａは、予測残差信号２６を受信し、予測残差信号２６のサンプルを量子化する量子化器３０を備える。既に上記で述べられたように、本例は、予測残差信号２６の変換符号化を使用し、したがって、非可逆符号化段２８ａは、残差信号２６を表す変換された係数で行われる量子化器３０の量子化でこのようなスペクトル分解予測残差２６を変換するように、減算器２２と量子化器３０との間に接続された変換段３２を備える。変換は、ＤＣＴ、ＤＳＴ、ＦＦＴ、アダマール変換などであり得る。次に、変換および量子化された予測残差信号３４は、量子化された予測残差信号３４をデータストリーム１２にエントロピー符号化するエントロピーコーダである可逆符号化段２８ｂによって、可逆符号化を受ける。エンコーダ１４は、変換および量子化された予測残差信号３４から予測残差信号をデコーダでも利用可能な方法で再構成するように、量子化器３０の出力に接続された予測残差信号再構成段３６をさらに備え、すなわち符号化損失は量子化器３０であることを考慮している。この目的のため、予測残差再構成段３６は、量子化器３０の量子化の逆を実行する逆量子化器３８を備え、上述の特定の変換例のいずれかの逆などのスペクトル分解の逆など、変換器３２によって実行される変換に対する逆変換を実行する逆変換器４０がこれに続く。エンコーダ１４は、再構成された信号すなわち再構成例を出力するように、逆変換器４０による出力として再構成された予測残差信号および予測信号２４を加算する加算器４２を備える。この出力は、後にこれに基づいて予測信号２４を決定するエンコーダ１４の予測器４４に供給される。図１に関して既に上記で論じられた全ての予測モードをサポートするのは、予測器４４である。図２はまた、エンコーダ１４がビデオエンコーダである場合に、エンコーダ１４はまた、フィルタリングされた後にインター予測ブロックに対して予測器４４の基準画像を形成する完全に再構成された画像をフィルタリングするインループフィルタ４６も備え得ることを示している。
【００１９】
既に上述したように、エンコーダ１４はブロックベースで動作する。後続の説明では、対象のブロックベースは、画像１０をブロックに細分するものであり、このために、イントラ予測モードは、それぞれ予測器４４またはエンコーダ１４によってサポートされた集合または複数のイントラ予測モードから選択され、選択されたイントラ予測モードが個別に実行される。しかしながら、画像１０が細分される他の種類のブロックもまた存在し得る。たとえば、画像１０がインター符号化されるかイントラ符号化されるかという上述の決定は、ブロック１８から逸脱する粒度またはブロックの単位で行われてもよい。たとえば、インター／イントラモード決定は、画像１０が細分される符号化ブロックのレベルで実行されてもよく、各符号化ブロックは予測ブロックに細分される。イントラ予測が使用されると決定されたエンコードブロックを有する予測ブロックは、イントラ予測モード決定に各々細分される。これに対して、これらの予測ブロックの各々について、どのサポートされたイントラ予測モードがそれぞれの予測ブロックに使用されるべきかが決定される。これらの予測ブロックは、ここで対象となるブロック１８を形成する。インター予測に関連付けられた符号化ブロック内の予測ブロックは、予測器４４によって異なる扱い方をされる。これらは、動きベクトルを決定し、動きベクトルが指す基準画像内の場所からこのブロックの予測信号を複製することによって、基準画像からインター予測される。別のブロック細分化は、変換器３２および逆変換器４０による変換が実行される単位での変換ブロックへの細分化に関する。変換されたブロックは、たとえば、符号化ブロックをさらに細分化した結果であり得る。当然ながら、本明細書に明記される例は限定的なものとして扱われるべきではなく、他の例もまた存在する。完全性のためにのみ、符号化ブロックへの細分化は、たとえばマルチツリー細分化を使用してもよく、予測ブロックおよび／または変換ブロックは、やはりマルチツリー細分化を使用して符号化ブロックをさらに細分化することによって得られることに、留意する。
【００２０】
図１のエンコーダ１４に適合するブロック単位デコードのためのデコーダまたは装置が、図３に示されている。このデコーダ５４はエンコーダ１４の逆を行い、すなわちこれはデータストリーム１２からブロック単位で画像１０をデコードし、この目的のために、複数のイントラ予測モードをサポートする。図１に関して上記で論じられたその他全ての可能性は、デコーダ５４に対しても有効である。これに対して、デコーダ５４は、静止画像デコーダまたはビデオデコーダであってもよく、全ての予測モードおよび予測可能性もまた、デコーダ５４によってサポートされる。エンコーダ１４とデコーダ５４との違いは主に、たとえば、符号化レートおよび／または符号化歪みに依存し得る何らかのコスト関数を最小化するために、何らかの最適化の示唆にしたがってエンコーダ１４が符号化決定を選ぶまたは選択するという事実にある。これらの符号化オプションまたは符号化パラメータの１つは、利用可能またはサポートされたイントラ予測モードの中で現在のブロック１８に使用すべきイントラ予測モードの選択を含み得る。次に、選択されたイントラ予測モードは、データストリーム１２内の現在のブロック１８についてエンコーダ１４によって通知されてもよく、デコーダ５４はブロック１８についてデータストリーム１２内のこの信号伝達を使用して選択をやり直す。同様に、ブロック１８への画像１０の細分化は、エンコーダ１４内で最適化を受けてもよく、対応する細分化情報はデータストリーム１２内で搬送され、デコーダ５４は細分化情報に基づいてブロック１８への画像１０の細分化を回復してもよい。上記を要約すると、デコーダ５４はブロックベースで動作する予測デコーダであってもよく、イントラ予測モードに加えて、デコーダ５４は、たとえばデコーダ５４がビデオデコーダである場合、インター予測モードなどの別の予測モードをサポートしてもよい。デコードにおいて、デコーダ５４はまた、図１に関して上記で論じられた符号化順序２０を使用してもよく、この符号化順序２０はエンコーダ１４およびデコーダ５４の両方で従われるので、エンコーダ１４およびデコーダ５４の両方で同じ隣接サンプルが現在のブロック１８に利用可能である。したがって、不要な繰り返しを回避するために、画像１０のブロックへの細分化に関する限り、たとえば予測に関する限り、および予測残差の符号化に関する限り、エンコーダ１４の動作モードの説明がデコーダ５４にも適用される。違いは、エンコーダ１４が最適化によっていくつかの符号化オプションまたは符号化パラメータを選択して、データストリーム１２内で、またはデータストリーム１２内に、符号化パラメータを通知または挿入し、これはその後、予測、細分化などをやり直すように、デコーダ５４によってデータストリーム１２から導出される、という事実にある。
【００２１】
図４は、図３のデコーダ５４の可能な実装、すなわち図２に示されるような図１のエンコーダ１４の実装に適合するものを示す。図４のエンコーダ５４の多くの要素は図２の対応するエンコーダで生じるものと同じなので、これらの要素を示すために、図４ではアポストロフィを付けた同じ参照符号が使用される。特に、加算器４２’、オプションのインループフィルタ４６’、および予測器４４’は、図２のエンコーダと同じ方法で予測ループ内に接続される。追加４２’に適用される、再構成、すなわち逆量子化および再変換された予測残差信号は、エントロピーエンコーダ２８ｂのエントロピー符号化を逆転するエントロピーデコーダ５６のシーケンスによって導出され、エンコード側の場合とまったく同じように、逆量子化器３８’および逆変換器４０’から構成された残差信号再構成段３６’がこれに続く。デコーダの出力は、画像１０の再構成である。画像１０の再構成は、加算器４２’の出力で、または代わりにインループフィルタ４６’の出力で、直接利用可能であり得る。画質を改善するために画像１０の再構成に何らかのポストフィルタリングを施すために、デコーダの出力に何らかのポストフィルタが配置されてもよいが、このオプションは図４に示されていない。
【００２２】
繰り返すが、図４に関して、図２に関して上記で述べられた説明は、エンコーダのみが符号化オプションに関して最適化タスクおよび関連する決定を実行することを除き、図４にも適用される。しかしながら、ブロック細分化、予測、逆量子化、および再変換に関する全ての説明もまた、図４のデコーダ５４に適用される。
【００２３】
本出願の可能な実施形態の説明を進める前に、上記の例に関していくつかの注記が行われる。上記では明示的に述べられていないが、ブロック１８がいずれの形状を有してもよいことは明白である。これはたとえば、長方形または二次形状であってもよい。また、エンコーダ１４およびデコーダ５４の動作モードの上記説明はしばしば「現在のブロック」１８に言及するものの、イントラ予測モードが選択される各ブロックについてエンコーダ１４およびデコーダ５４が相応に動作することは、明白である。上述のように、他のブロックもあってもよいが、以下の説明は、イントラ予測モードが選択される、画像１０が細分されるこれらのブロック１８に焦点を当てる。
【００２４】
イントラ予測モードが選択される特定のブロック１８の状況を要約するために、図５が参照される。図５は、現在のブロック１８、すなわち現在エンコードまたはデコードされているブロックを示す。図５は、隣接サンプル６２、すなわち空間的に隣接するブロック１８を有するサンプル６２の集合６０を示す。ブロック１８内のサンプル６４は、予測されるべきである。したがって、導出される予測信号は、ブロック１８内の各サンプル６４の予測である。既に上記で論じられたように、各ブロック１８について複数６６の予測モードが利用可能であり、ブロック１８がイントラ予測される場合、この複数６６のモードは単にインター予測モードを備える。隣接サンプル集合６０に基づいてブロック１８の予測信号を予測７１するために使用される複数６６からイントラ予測モードの１つを決定するために、エンコーダ側およびデコーダ側で選択６８が実行される。以下でさらに説明される実施形態は、利用可能なイントラ予測モード６６に関して異なっており、選択６８に関する動作モードは、たとえば、ブロック１８に関する選択６８に関してデータストリーム１２内でサイド情報が設定されるか否かを示唆する。しかしながら、これらの実施形態の説明は、数学的な詳細を提供する具体的説明から始まる。この最初の実施形態によれば、イントラ予測される特定のブロック１８の選択は、対応するサイド情報信号伝達７０およびデータストリームに関連付けられており、複数６６のイントラ予測モードは、ニューラルネットワークベースイントラ予測モードの集合７２ならびにヒューリスティック設計のさらなるイントラ予測モードの集合７４を備える。モード７４のイントラ予測モードの１つは、たとえば、いくつかの平均値が隣接サンプル集合６０に基づいて決定されてこの平均値がブロック１８内の全てのサンプル６４に割り当てられる、ＤＣ予測モードであってもよい。加えて、または代わりに、集合７４は、角度インター予測モードと呼ばれ得るインター予測モードを備えてもよく、これにしたがって、隣接サンプル集合６０のサンプル値は特定のイントラ予測方向に沿ってブロック１８内に複製され、このイントラ予測方向は、このような角度イントラ予測モード間で異なる。図５は、データストリーム１２が、複数６６のイントラ予測モードからの選択６８に関して任意選択的に存在するサイド情報７０に加えて、上記で論じられたように、符号化でエンコードされた予測残差が変換ドメインにおける量子化を伴う変換符号化を任意選択的に含む部分７６を備えることを、示している。
【００２５】
特に、本出願の特定の実施形態の以下の説明の理解を容易にするために、図６は、エンコーダおよびデコーダにおけるイントラ予測ブロックの一般的な動作モードを示す。図６は、それに基づいてイントラ予測が実行される隣接サンプル集合６０と共に、ブロック１８を示す。なお、この集合６０は、濃度、すなわちブロック１８の予測信号を決定するためのそれぞれのイントラ予測モードにしたがって実際に使用される集合６０のサンプルの数に関して、複数６６のイントラ予測モードのイントラ予測モード間で異なる可能性があることに、留意すべきである。しかしながら、理解を容易にするために、これは図６には示されていない。図６は、エンコーダおよびデコーダが、集合７２のニューラルネットワークベースイントラ予測モードの各々について１つのニューラルネットワーク８００から８０ＫＢ−１を有することを示している。集合６０は、集合７２の間で対応するイントラ予測モードを導出するように、それぞれのニューラルネットワークに適用される。これに加えて、図６は、入力、すなわち隣接サンプルの集合６０に基づいて、集合７４の１つ以上のイントラ予測モードの１つ以上の予測信号、たとえばＤＣモード予測信号および／または角度イントラ予測モード予測信号を提供するものとして、１つのブロック８２をむしろ代表的に示す。以下の説明は、ｉ＝０…ＫＢ−１を有するニューラルネットワーク８０ｉのパラメータがどのようにして有利に決定され得るかについて示す。以下に明記される特定の実施形態はまた、集合６０と一致してもしなくてもよい隣接サンプルの集合８６に基づいて、集合７２の各ニューラルネットワークベースイントラ予測モードの確率値を提供するための専用の別のニューラルネットワーク８４を、エンコーダおよびデコーダに提供する。ニューラルネットワーク８４がモード選択のためのサイド情報７０をより効果的にするのを支援するときにこのように提供される確率値。たとえば、以下に説明される実施形態では、イントラ予測モードのうちの１つを指すために可変長コードが使用され、少なくとも集合７２に関する限り、ニューラルネットワーク８４によって提供された確率値は、集合７２内のニューラルネットワークベースイントラ予測モードのためのニューラルネットワーク８４によって出力された確率値にしたがって順序付けられたイントラ予測モードの順序リストへのインデックスとして、サイド情報７０内の可変長コードを使用できるようにし、これによりサイド情報７０の符号化率を最適化または低下させることが、想定される。これに対して、図６に示されるように、モード選択６８は、さらなるニューラルネットワーク８４によって提供される確率値、ならびにデータストリーム１２内のサイド情報７０の両方に基づいて、効果的に実行される。
【００２６】
１．イントラ予測を実行するニューラルネットワークのパラメータをトレーニングするアルゴリズム
2020537445.tif 000003
をビデオフレームのブロック、すなわちブロック１８とする。
2020537445.tif 000004
は
2020537445.tif 000005
個のピクセルを有すると仮定する。固定色成分では、
2020537445.tif 000006
を
2020537445.tif 000007
のビデオ信号のコンテンツとする。
2020537445.tif 000008
を
2020537445.tif 000009
の要素と見なす。
2020537445.tif 000010
個のピクセルを有し、既に再構成された画像
2020537445.tif 000011
が入手可能な
2020537445.tif 000012
の近傍
2020537445.tif 000013
、すなわちサンプル集合６０および８６が存在すると仮定するが、これらはあるいは異なってもよい。イントラ予測関数とは、関数
2020537445.tif 000014
を意味する。
2020537445.tif 000015
を
2020537445.tif 000016
の予測器と見なす。
【００２７】
次に説明されるのは、データ駆動型の最適化アプローチを介して、典型的なハイブリッドビデオ符号化規格、すなわち集合７２で生じる可能性のあるいくつかのブロック
2020537445.tif 000017
のイントラ予測関数を設計するためのアルゴリズムである。この目標を達成するために、以下の主要な設計上の特徴を考慮した。
【００２８】
１．実施する最適化アルゴリズムにおいて、予測残差を通知するために費やすと予想できるビット数を特に含むコスト関数の適切な近似値を使用したい。
【００２９】
２．異なる信号特性を処理できるようにするために、いくつかのイントラ予測を共同でトレーニングしたい。
【００３０】
３．イントラ予測をトレーニングするとき、どのイントラモードが使用されるべきかを通知する必要があるビット数を考慮しなければならない。
【００３１】
４．既に定義されたイントラ予測、たとえばＨＥＶＣイントラ予測の集合を維持し、補完的予測として我々の予測をトレーニングしたい。
【００３２】
５．典型的なハイブリッドビデオ符号化規格は通常、所与のブロック
2020537445.tif 000018
が分割され得るいくつかのブロック形状をサポートする。
【００３３】
次の４つのセクションでは、これらの要件の各々にどのように対処し得るかが説明される可能性がある。より正確には、セクション１．１では、最初のアイテムにどのように対処するかを説明する。セクション１．２では、アイテム２から３をどのように処理するかが説明される。セクション１．４では、アイテム４をどのように考慮するかが説明される。最後に、セクション１．５では、最後のアイテムにどのように対処するかが説明される。
【００３４】
１．１  ビデオコーデックのレート関数に近似する損失関数をトレーニングするためのアルゴリズム
ビデオコーデックで使用される既知のパラメータを決定するためのデータ駆動型のアプローチは、通常、トレーニング例の所与の集合に対する所定の損失関数を最小化しようとする最適化アルゴリズムとして設定される。通常、数値最適化アルゴリズムが実際に機能するために、後者の損失関数は、いくつかの平滑度要件を満たすべきである。
【００３５】
一方、ＨＥＶＣのようなビデオエンコーダは、レート歪みコスト
2020537445.tif 000019
を最小化することによって決定を行うときに最適に機能する。ここで、
2020537445.tif 000020
はデコードされたビデオ信号であり、
2020537445.tif 000021
はレート、すなわちビデオ信号を符号化するために必要なビット数である。また、
2020537445.tif 000022
は、選択された量子化パラメータに依存するラグランジュパラメータである。
【００３６】
真の関数
2020537445.tif 000023
は、典型的には非常に複雑であり、データ駆動型の最適化アルゴリズムに供給できる閉じた式では与えられない。したがって、関数
2020537445.tif 000024
全体、または少なくともレート関数
2020537445.tif 000025
のいずれかを、区分ごとの平滑な関数によって近似させる。
【００３７】
より正確には、以前のように、
2020537445.tif 000026
をビデオフレーム１０の所与のブロック１／とし、
2020537445.tif 000027
を固定色成分中の
2020537445.tif 000028
における対応するビデオ信号とする。
2020537445.tif 000029
は
2020537445.tif 000030
個のピクセルを有すると仮定する。次に、予測候補
2020537445.tif 000031
について、予測残差
2020537445.tif 000032
を検討する。所与の量子化パラメータおよび所与の変換について、
2020537445.tif 000033
を、真のビデオエンコーダが
2020537445.tif 000034
の量子化変換を通知するために必要なレートとする。また、
2020537445.tif 000035
を、
2020537445.tif 000036
の逆量子化および逆変換によって生じる再構成誤差とする。次に、
2020537445.tif 000037
が
2020537445.tif 000038
の適切な近似値として機能し、
2020537445.tif 000039
が
2020537445.tif 000040
の適切な近似値として機能するように、区分ごとに平滑な関数
2020537445.tif 000041
を決定したい。
【００３８】
何らかの
2020537445.tif 000042
を固定し、所定の「アーキテクチャ」、すなわち区分ごとの平滑な関数
2020537445.tif 000043
を固定し、次いで
2020537445.tif 000044
を求めて、関数
2020537445.tif 000045
および
2020537445.tif 000046
を
2020537445.tif 000047
としてモデル化する。
【００３９】
重み
2020537445.tif 000048
および
2020537445.tif 000049
を決定するために、所与のハイブリッドビデオ符号化規格を使用する典型的なエンコーダ上で、予測残差
2020537445.tif 000050
、
2020537445.tif 000051
、および対応するレート歪み値
2020537445.tif 000052
のトレーニング例の巨大な集合を収集するが、それぞれ何らかの有限な大きいインデックス集合
2020537445.tif 000053
のレート値
2020537445.tif 000054
に過ぎない。次に、以下の式を最小化または少なくとも小さくするように、
2020537445.tif 000055
および
2020537445.tif 000056
を見出そうとする。
2020537445.tif 000057
このタスクでは、通常、（確率的）勾配降下アプローチを使用する。
【００４０】
１．２  固定ブロック形状の予測のトレーニング
このセクションでは、所与のブロック
2020537445.tif 000058
１８、ｓｔ７２のもの、および既に再構成されたサンプルの領域
2020537445.tif 000059
６０の
2020537445.tif 000060
イントラ予測を設計するために設定するアルゴリズムについて説明する。
【００４１】
我々の予測の所定の「アーキテクチャ」が与えられていると仮定する。これは、何らかの固定の
2020537445.tif 000061
について、関数
2020537445.tif 000062
（１）
が与えられること、および「重み」
2020537445.tif 000063
を決定したいことを意味し、こうして
2020537445.tif 000064
としてイントラ予測が与えられ、ここで
2020537445.tif 000065
について
2020537445.tif 000066
（２）
とする。
【００４２】
以下のセクションで、この点について詳細を述べる。（２）の関数は、図６のニューラルネットワーク８００〜８０ＫＢ−１を定義する。
【００４３】
次に、以下の第２パラメータ依存関数を使用して設計しようとしているイントラモードの信号伝達コストをモデル化する。
2020537445.tif 000067
（３）
ここでも、
2020537445.tif 000068
について、以下によって
2020537445.tif 000069
を定義する。
2020537445.tif 000070
（４）
再びセクション１．３で、図６のニューラルネットワーク８４を表す（４）の関数が例に与えられる。
【００４４】
以下の関数が与えられると仮定する。
2020537445.tif 000071
この関数は、たとえば、サイド情報７０に使用されるＶＬＣコード長分布、すなわちサイド情報７０によって集合７２のｃａｄ  ｐｏｎｉｔｅ  ｍｏｒｅに関連付けられたコード長を定義する。
【００４５】
次に、
2020537445.tif 000072
を
2020537445.tif 000073
によって定義する。
【００４６】
とりあえず、
2020537445.tif 000074
の
2020537445.tif 000075
番目の成分
2020537445.tif 000076
は、トレーニングする
2020537445.tif 000077
番目のイントラモードを通知するために必要とされるビット数をモデル化する。
2020537445.tif 000078
がセクション２．１で定義される関数である場合、所与の
2020537445.tif 000079
、再構成画像
2020537445.tif 000080
、および元の画像
2020537445.tif 000081
について、
2020537445.tif 000082
により、最小の
2020537445.tif 000083
を表し、その特性は全ての
2020537445.tif 000084
に対して
2020537445.tif 000085
とする。
2020537445.tif 000086
はイントラモードの信号伝達の真のビット数をモデル化するので、その勾配はゼロもしくは未定義である。したがって、
2020537445.tif 000087
のみでは、勾配降下ベースのアルゴリズムを介して重み
2020537445.tif 000088
を最適化するのに十分ではない。したがって、ソフトマックス関数を使用して関数
2020537445.tif 000089
を確率分布に変換することによって、イントラモードの交差エントロピーも呼び出す。後者の関数の定義を思い出す。
2020537445.tif 000090
について、
2020537445.tif 000091
に
2020537445.tif 000092
のｉ番目の成分を示させる。次に、ソフトマックス関数
2020537445.tif 000093
は、
2020537445.tif 000094
として定義される。
【００４７】
勾配の更新では、後者の確率分布に対して、残差のレートとモード
2020537445.tif 000095
の交差エントロピーとの合計を最小化しようと試みる。したがって、ブロック
2020537445.tif 000096
の損失関数
2020537445.tif 000097
を
2020537445.tif 000098
2020537445.tif 000099
（５）
として定義し、ここで
2020537445.tif 000100
である。
【００４８】
（５）の損失関数が与えられると、データ駆動型の最適化によって重み
2020537445.tif 000101
を決定する。したがって、有限な大きいインデックス集合
2020537445.tif 000102
について、
2020537445.tif 000103
での画像
2020537445.tif 000104
および
2020537445.tif 000105
での対応する再構成画像
2020537445.tif 000106
のトレーニング例の集合
2020537445.tif 000107
が与えられた場合、式
2020537445.tif 000108
（６）
を最小化する重み
2020537445.tif 000109
を見つけるために、たとえば（確率的）勾配降下法に基づいて、最適化アルゴリズムを適用する。
【００４９】
１．３  関数
2020537445.tif 000110
および
2020537445.tif 000111
の仕様
このセクションでは、関数
2020537445.tif 000112
および
2020537445.tif 000113
の形式をより正確に定義する。繰り返しになるが、ニューラルネットワーク８０および８４を定義するものがあることを思い出して欲しい。これらの関数の各々は、１）アフィン変換
2020537445.tif 000114
または２）非線形活性化関数
2020537445.tif 000115
のいずれかである関数の構成物のシーケンスからなる。
【００５０】
アフィン変換
2020537445.tif 000116
とは、
2020537445.tif 000117
の形式のマップを意味し、ここで
2020537445.tif 000118
は線形変換であり、すなわち全ての
2020537445.tif 000119
、
2020537445.tif 000120
について
2020537445.tif 000121
を満たし、
2020537445.tif 000122
である。各線形マップ
2020537445.tif 000123
は、
2020537445.tif 000124
の行列によって完全に決定され、すなわちベクトル
2020537445.tif 000125
に一意に対応する。したがって、各アフィン関数
2020537445.tif 000126
は、
2020537445.tif 000127
の重みによって、すなわちベクトル
2020537445.tif 000128
によって、完全に決定される。各
2020537445.tif 000129
について、前述の方法で
2020537445.tif 000130
に対応する一意のアフィン変換について
2020537445.tif 000131
を記述するものとする。
【００５１】
非線形活性化関数
2020537445.tif 000132
とは、
2020537445.tif 000133
の形式の関数を意味する。
【００５２】
ここで、
2020537445.tif 000134
は
2020537445.tif 000135
の
2020537445.tif 000136
番目の成分を示し、
2020537445.tif 000137
は
2020537445.tif 000138
の
2020537445.tif 000139
番目の成分を示す。最後に、
2020537445.tif 000140
は、
2020537445.tif 000141
（７）
の形式、または
2020537445.tif 000142
（８）
の形式であってもよいが、ただしこれらの例は、本出願の実施形態をこれらの明示的な例に限定するように解釈されるべきではない。
2020537445.tif 000143
またはその他いずれかの非線形関数などのその他の式も使用され得る。あるいは、たとえば
2020537445.tif 000144
は区分ごとの平滑な関数であってもよい。
【００５３】
これで、関数
2020537445.tif 000145
は以下のようになる。固定の
2020537445.tif 000146
では、
2020537445.tif 000147
、
2020537445.tif 000148
を用いる
2020537445.tif 000149
および
2020537445.tif 000150
が与えられるので、
2020537445.tif 000151
となる。
【００５４】
ここで、
2020537445.tif 000152
、
2020537445.tif 000153
、および
2020537445.tif 000154
は（１）の通りである。次に、
2020537445.tif 000155
を用いる
2020537445.tif 000156
について、
2020537445.tif 000157
を定義する。
【００５５】
したがって、
2020537445.tif 000158
は、パラメータ
2020537445.tif 000159
を使用してパラメータ化されたニューラルネットワーク８０ｉを記述する。これは、本例ではシーケンス内で交互に適用される、線形関数
2020537445.tif 000160
および非線形関数
2020537445.tif 000161
のシーケンスであり、パラメータ
2020537445.tif 000162
は、
2020537445.tif 000163
の線形関数の重みを備える。線形関数
2020537445.tif 000164
および非線形関数
2020537445.tif 000165
のシーケンスでは、線形関数
2020537445.tif 000166
とこれに続く非線形関数
2020537445.tif 000167
のペアは、たとえばｊ番目の層などのニューロン層を表し、ニューラルネットワークのフィードフォワード方向でこのニューロン層ｊに先行する先行ノードの数は、
2020537445.tif 000168
の次元ｍによって決定され、
2020537445.tif 000169
の列の数およびニューロン層ｊ自体のニューロンの数は、
2020537445.tif 000170
の次元ｎ、その行の数によって決定される。
2020537445.tif 000171
の各行は、それぞれ信号強度に関して制御する重みを組み込み、ｍ個の先行ニューロンの各々の活性化は、それぞれの行に対応するニューロン層ｊのそれぞれのニューロンに転送される。
2020537445.tif 000172
は、ニューロン層ｊの各ニューロンについて、それ自身の活性化への転送された先行ニューロン活性化のその線形結合の非線形マッピングを制御する。上記の例では、このようなニューロン層が
2020537445.tif 000173
個ある。層ごとのニューロンの数は異なってもよい。ニューロン層の数
2020537445.tif 000174
は、様々なニューラルネットワーク８０ｊの間で、すなわち異なるｊに対して、異なってもよい。なお、非線形関数は、ニューロン層ごとに、もしくはニューロンごとに、あるいはその他何らかの単位で、異なってもよいことに留意する。
【００５６】
同様に、関数
2020537445.tif 000175
は以下のようになる。固定の
2020537445.tif 000176
では、
2020537445.tif 000177
、
2020537445.tif 000178
を用いる
2020537445.tif 000179
および
2020537445.tif 000180
が与えられるので、
2020537445.tif 000181
となる。
【００５７】
ここで、
2020537445.tif 000182
、
2020537445.tif 000183
、および
2020537445.tif 000184
は（３）の通りである。次に、
2020537445.tif 000185
を用いる
2020537445.tif 000186
について、
2020537445.tif 000187
を定義する。
【００５８】
したがって、
2020537445.tif 000188
は、パラメータ
2020537445.tif 000189
を使用してパラメータ化されたニューラルネットワーク８４を記述する。これは、予測信号計算に関してニューロン層について上記で説明したように、線形関数
2020537445.tif 000190
および非線形関数
2020537445.tif 000191
のシーケンスとなる。ニューラルネットワーク８４のニューロン層の数
2020537445.tif 000192
は、ニューラルネットワーク８０ｉのニューロン層の数
2020537445.tif 000193
の１つ以上とは異なり得る。
【００５９】
１．４  既存の予測を考慮に入れたトレーニング
既に存在するイントラ予測を補完する予測をトレーニングできるように、前のセクションのアルゴリズムを拡張する。
【００６０】
つまり、
2020537445.tif 000194
を、既に利用可能な固定されたイントラ予測関数の集合とする。たとえば、
2020537445.tif 000195
は、ＨＥＶＣのＤＣ予測または平面予測、およびＨＥＶＣにしたがって定義された角度予測から構成され得る。これら全ての予測はまた、再構成されたサンプルの予備的な平滑化も含み得る。また、関数
2020537445.tif 000196
が与えられ、これにより、
2020537445.tif 000197
は、元の画像
2020537445.tif 000198
に与えられた
2020537445.tif 000199
に適用される
2020537445.tif 000200
番目のイントラ予測関数
2020537445.tif 000201
の損失をモデル化する。
【００６１】
次に、損失関数を、（５）から以下の損失関数に拡張する。
2020537445.tif 000202
（９）
2020537445.tif 000203
前のセクションの終わりからの注記を維持して、トレーニング例の大きい集合における
2020537445.tif 000204
（１０）
を最小化することによって、重み
2020537445.tif 000205
を決定する。
【００６２】
この目的のため、通常は最初に（６）を最適化することによって重みを見出し、次いで（１０）を最適化する重みを見出すためにこれらの重みで初期化する。
【００６３】
１．５  いくつかのブロック形状の予測の共同トレーニング
このセクションでは、典型的なビデオ符号化規格で、様々な方法でブロックをより小さいサブブロックに分割し、より小さいサブブロックに対してイントラ予測を実行することが通常は可能であることを、予測のトレーニングにおいてどのように考慮するかを説明した。
【００６４】
つまり、何らかの
2020537445.tif 000206
について、各
2020537445.tif 000207
が
2020537445.tif 000208
に隣接するように、許容可能なブロック
2020537445.tif 000209
の集合
2020537445.tif 000210
が、領域
2020537445.tif 000211
の集合と共に与えられると仮定する。通常、
2020537445.tif 000212
は、
2020537445.tif 000213
の左および上の２つの長方形の和集合である。
【００６５】
各
2020537445.tif 000214
について
2020537445.tif 000215
となるように、ブロック
2020537445.tif 000216
が存在すると仮定する。
2020537445.tif 000217
を
2020537445.tif 000218
のべき集合とする。次に、
2020537445.tif 000219
について、集合
2020537445.tif 000220
が与えられ、このため各
2020537445.tif 000221
についてブロック
2020537445.tif 000222
が直和
2020537445.tif 000223
として記述され得ると仮定する。
【００６６】
所与の色成分について、
2020537445.tif 000224
を
2020537445.tif 000225
の画像とし、限定により、これを各
2020537445.tif 000226
に対する
2020537445.tif 000227
の画像
2020537445.tif 000228
と見なす。また、
2020537445.tif 000229
の再構成画像
2020537445.tif 000230
が存在し、限定により、これを各
2020537445.tif 000231
に対する
2020537445.tif 000232
の画像
2020537445.tif 000233
と見なすと仮定する。
【００６７】
セクション１．２の注記を維持して、各
2020537445.tif 000234
について、
2020537445.tif 000235
個のイントラ予測関数
2020537445.tif 000236
の重みの集合として
2020537445.tif 000237
を求め、モード予測関数
2020537445.tif 000238
の重みとして
2020537445.tif 000239
を求める。全ての
2020537445.tif 000240
について、これらの重みを以下のようにまとめて決定する。
2020537445.tif 000241
および重み
2020537445.tif 000242
、
2020537445.tif 000243
、
2020537445.tif 000244
、
2020537445.tif 000245
の所与の集合について、
2020537445.tif 000246
とする。
【００６８】
また、
2020537445.tif 000247
について、
2020537445.tif 000248
を
2020537445.tif 000249
として定義する。
【００６９】
セクション１．４と同様に、各
2020537445.tif 000250
について、イントラ予測関数の空の可能性のある集合
2020537445.tif 000251
が利用可能であると仮定する。
2020537445.tif 000252
とする。
【００７０】
次に、損失関数
2020537445.tif 000253
を以下のように定義する。集合を含めることにより、集合
2020537445.tif 000254
に対して順序付け
2020537445.tif 000255
を行う。
2020537445.tif 000256
を、
2020537445.tif 000257
内の全ての極小元の集合とする。
2020537445.tif 000258
について、
2020537445.tif 000259
とし、ここで後者の関数は（９）と同様である。
【００７１】
次に、
2020537445.tif 000260
とし、
2020537445.tif 000261
は全ての
2020537445.tif 000262
について既に
2020537445.tif 000263
で定義されていると仮定する。
【００７２】
次に、
2020537445.tif 000264
2020537445.tif 000265
を定義する。
【００７３】
最後に、
2020537445.tif 000266
の画像
2020537445.tif 000267
のトレーニング例の固定集合
2020537445.tif 000268
と仮定して、
2020537445.tif 000269
を最小化するかまたは少なくとも小さくすることによって、
2020537445.tif 000270
、
2020537445.tif 000271
を決定する。
【００７４】
通常、最初に各
2020537445.tif 000272
について個別に（９）を最小化することによって、重み
2020537445.tif 000273
、
2020537445.tif 000274
を初期化する。
【００７５】
２  ビデオコーデックへのトレーニング済みニューラルネットワークの統合
所与の色成分について、所与のブロック
2020537445.tif 000275
のビデオ信号のコンテンツがデコーダによって生成される、ハイブリッドビデオ符号化規格を検討する。
2020537445.tif 000276
を
2020537445.tif 000277
のピクセル数とする。また、デコーダが自由に
2020537445.tif 000278
の再構成画像
2020537445.tif 000279
を有するように、
2020537445.tif 000280
を
2020537445.tif 000281
の固定された近傍とする。
2020537445.tif 000282
を
2020537445.tif 000283
のピクセル数とする。次に、
2020537445.tif 000284
を
2020537445.tif 000285
の要素と見なす。コーデックは、現在のブロック
2020537445.tif 000286
１０に対する予測符号化によって動作すると仮定する。次に、
2020537445.tif 000287
の要素と見なす
2020537445.tif 000288
の予測信号
2020537445.tif 000289
を生成するためにデコーダが実行できる以下のステップの著作権を主張する。
【００７６】
１．デコーダは、固定数
2020537445.tif 000290
、関数
2020537445.tif 000291
、すなわち８４、ならびに重み
2020537445.tif 000292
および重み
2020537445.tif 000293
を自由に有し、後者の重みは、前のセクションで説明されたトレーニングアルゴリズムによって事前に決定される。
【００７７】
２．デコーダは、ビットストリームから、サイド情報７０の一部であって以下のオプションのいずれかがまさに真であるか否かを示すフラグを再構成する：［ｌａｂｅｌ＝）
【００７８】
（ｉ）予測
2020537445.tif 000294
のうちの１つ、すなわち集合７２からのモードが使用され
【００７９】
（ｉｉ）予測
2020537445.tif 000295
のうちのいずれも、すなわち７４のうちの１つも使用されない、たとえば
ここでは、関数
2020537445.tif 000296
は（２）と同様である。
【００８０】
３．ステップ２のオプション２が真である場合、デコーダは、基礎となるハイブリッドビデオ符号化規格と同様に所与のブロック１０を進める。
【００８１】
４．ステップ２のオプション１が真である場合、デコーダは、（４）にしたがって定義された関数
2020537445.tif 000297
、すなわち８４を、再構成画像
2020537445.tif 000298
に適用する。
2020537445.tif 000299
を
2020537445.tif 000300
として定義する。次に、正確に以下の２つのオプションのうちの１つによってデコーダが数値
2020537445.tif 000301
を定義するように、規格が変更される。
【００８２】
（ｉ）デコーダは、
2020537445.tif 000302
によって集合
2020537445.tif 000303
の確率分布
2020537445.tif 000304
を定義し、データストリーム１２から基礎となる規格で使用されるエントロピー符号化エンジンを介してやはりサイド情報７０の一部であるインデックス
2020537445.tif 000305
を解析するために後者の確率分布
2020537445.tif 000306
を使用し、
2020537445.tif 000307
を定義する。
【００８３】
（ｉｉ）デコーダは、
2020537445.tif 000308
が全ての
2020537445.tif 000309
について
2020537445.tif 000310
を用いる最小数である
2020537445.tif 000311
を適用することによって、および
2020537445.tif 000312
が全ての
2020537445.tif 000313
で
2020537445.tif 000314
を有するような最小数である
2020537445.tif 000315
を適用することによって、順列
2020537445.tif 000316
を帰納的に定義する。
【００８４】
次に、デコーダは、ビットストリーム１２から、やはりデータストリーム１２の一部である一意のインデックス
2020537445.tif 000317
を再構成し、
2020537445.tif 000318
を適用する。
【００８５】
後者のインデックス
2020537445.tif 000319
を解析するためのコード設計では、
2020537445.tif 000320
である場合、およびエントロピー符号化エンジンによって使用される全ての関連する基礎となる確率が等しい確率に設定される場合に、インデックス
2020537445.tif 000321
に通知するために必要とされるビット数はインデックス
2020537445.tif 000322
に通知するためのビット数以下であることが要求される。
【００８６】
５．ステップ２のオプション１が真である場合、およびデコーダが前のステップ４にしたがってインデックス
2020537445.tif 000323
を決定した場合、デコーダは、予測信号
2020537445.tif 000324
を
2020537445.tif 000325
として、すなわち選択されたニューラルネットワーク８０ｍを使用して、生成７１する。次に、デコーダは、
2020537445.tif 000326
を予測信号として使用する、基礎となるハイブリッドビデオ符号化規格と同様に進行する。
【００８７】
その設計がデータ駆動型の学習アプローチに基づくイントラ予測関数の、既存のハイブリッドビデオコーデックへの統合。説明には２つの主要な部分があった。最初の部分では、イントラ予測関数のオフライントレーニングの具体的なアルゴリズムについて説明した。第２の部分では、所与のブロックの予測信号を生成するために、ビデオデコーダがどのように後者の予測関数を使用し得るかを説明した。
【００８８】
したがって、セクション１．１から２で上述したのは、とりわけ、データストリーム１２から画像１０をブロック単位でデコードするための装置である。装置５４は、少なくとも、現在のブロック１８の隣接サンプルの第１の集合６０をニューラルネットワーク８０ｉに適用することによって画像１０の現在のブロック１８のイントラ予測信号が決定されるイントラ予測モードの集合７２を備える、複数のイントラ予測モードをサポートする。装置５４は、現在のブロック１８について、複数６６のイントラ予測モードから１つのイントラ予測モードを選択６８するように構成されており、この１つのイントラ予測モードを使用して、すなわち選択された対応するニューラルネットワーク８０ｍを使用して、現在のブロック１８を予測７１する。セクション２で提示されたデコーダは、集合７２のニューラルネットワークベースのものに加えてサポートされた複数６６のイントラ予測モード内のイントラ予測モード７４を有していたが、これは単なる例であり、その通りでなくてもよい。さらに、セクション１および２における上記の説明は、デコーダ５４がさらなるニューラルネットワーク８４を使用せず、備えていない点において、異なってもよい。上記の最適化に関して、これは、
2020537445.tif 000327
を見出すためにセクション１．２で提示された内部品質における第２の加算器が、任意の確率値ニューラルネットワーク関数ＧＢに適用される関数ＭＢの連結である必要はないことを意味する。むしろ、選択の頻度がＭＢの符号化率表示に適切に従うような方法でニューラルネットワーク８０ｉの適切なパラメータを決定するものの最適化アルゴリズム。たとえば、デコーダ５４は、データストリーム１２から、可変長コードを使用してブロック１８のインデックスをデコードでき、このコード長はＭＢに示され、デコーダ５４はこのインデックスに基づいて選択６８を実行する。インデックスは、サイド情報７０の一部である。
【００８９】
セクション２で上述された説明のさらなる代替は、デコーダ５４が代わりに、データストリームの第１部分ではなく第２部分に応じてイントラ予測モードの順序リストから最終的に使用されるイントラ予測モードを選択してイントラ予測モードの順序リストを取得するために、現在のブロック１８の近傍に関連するデータストリームの第１部分に応じてニューラルネットワークベースイントラ予測モードの集合７２からランキングを導出し得ることである。「第１部分」は、たとえば、現在のブロック１８に隣接する１つ以上のブロックに関する符号化パラメータまたは予測パラメータに関連し得る。そして「第２部分」は、たとえば、ニューラルネットワークベースイントラ予測モード集合７２を指す、またはそのインデックスである、インデックスであり得る。上記で概説されたセクション２に沿って解釈すると、デコーダ５４は、イントラ予測モードの集合７２の各イントラ予測モードについて、集合７２の各イントラ予測モードのランクを決定するために、隣接サンプルの集合８６をこれに適用してこれらの確率値を順序付けることによって確率値を決定し、これによってイントラ予測モードの順序リストを取得する、さらなるニューラルネットワーク８４を備える。次に、サイド情報７０の一部としてのデータストリーム１２内のインデックスは、順序リストへのインデックスとして使用される。ここで、インデックスは、ＭＢがコード長を示す可変長コードを使用して符号化され得る。そしてセクション２で説明されたように、アイテム４ｉにおいて、さらなる代替実施形態によれば、デコーダ５４は、集合７２へのインデックスのエントロピー符号化を効率的に実行するように、集合７２の各ニューラルネットワークベースイントラ予測モードについてさらなるニューラルネットワーク８４によって決定された、たった今言及した確率値を使用し得る。特に、サイド情報７０の一部であって集合７２へのインデックスとして使用されるこのインデックスの記号アルファベットは、集合７２内のモードの各々について記号または値を備え、ニューラルネットワーク８４によって提供される確率値は、上記説明によるニューラルネットワーク８４設計の場合、これらの確率値が実際の記号統計を厳密に表すという点において、十分なエントロピー符号化をもたらす確率値を提供する。このエントロピー符号化では、たとえば、確率間隔区分エントロピー（ＰＩＰＥ）符号化などの算術符号化が使用され得る。
【００９０】
好ましくは、集合７２のイントラ予測モードのいずれにとっても追加の情報は必要ない。各ニューラルネットワーク８０ｉは、たとえばセクション１および２の上記説明にしたがってエンコーダおよびデコーダ向けに有利にパラメータ化されると、データストリームにおける追加のガイダンスをまったく伴わずに、現在のブロック１８の予測信号を導出する。既に上記で示したように、集合７２内のニューラルネットワークベースのもの以外の他のイントラ予測モードの存在は任意である。これらは、集合７４によって上記で示されている。これに関して、集合６０、すなわちイントラ予測７１への入力を形成する隣接サンプルのセットを選択する１つの可能な方法は、この集合６０が集合７４のイントラ予測モード、すなわちヒューリスティックなものに対して同じになるように選択され、ニューラルネットワークベースイントラ予測モードのための集合６０は、集合６０に含まれる隣接サンプルの数に関してより大きく、イントラ予測７１に影響を及ぼすことに、留意すべきである。言い換えると、集合６０の濃度は、集合７４の他のモードと比較して、ニューラルネットワークベースイントラ予測モード７２にとってより大きくなり得る。たとえば、集合７４のいずれかのイントラ予測モードの集合６０は、左と上などブロック１８の辺まで一緒に延在する一次元線に沿った隣接サンプルを単に備えてもよい。ニューラルネットワークベースイントラ予測モードの集合６０は、ブロック１８の上述の辺に沿って延在するが、集合７４のイントラ予測モードでは集合６０でのサンプル１つ分のみよりも広い、Ｌ字型部分をカバーする。このようにして、ニューラルネットワークベースイントラ予測モードは、相応に低い予測残差を有するより良いイントラ予測をもたらし得る。
【００９１】
セクション２で上述したように、データストリーム１２でイントラ予測されたブロック１８に搬送されるサイド情報７０は、一般にブロック１８の選択されたイントラ予測モードが集合７２の要素か集合７４の要素かを示すフレックを備え得る。しかしながら、このフレックは、たとえば、集合７２および７４の両方を含む複数６６のイントラ予測モード全体へのインデックスを示すサイド情報７０を有する、単なるオプションである。
【００９２】
たった今議論した代替は、以下において、図７ａから図７ｄに関して簡単に論じられる。図面は、デコーダおよびエンコーダの両方を同時に、すなわちイントラ予測されたブロック１８に関するそれらの機能の点から、定義する。イントラ符号化ブロック１８に関するエンコーダ動作モードとデコーダ動作モードとの違いは、一方では、エンコーダが、たとえば、何らかのコスト関数最小化の意味で最良のものを９０において決定するように、利用可能なイントラ予測モード６６の全てまたは少なくともいくつかを実行し、エンコーダはデータストリーム１２を形成する、すなわちそこに日付を符号化するが、デコーダは、それぞれデコードおよび読み取りをすることによってそこからデータを導出する、という事実である。図７ａは、上記で概説された代替の動作モードを示しており、これにしたがって、ブロック１８のサイド情報７０内のフラグ７０ａは、ステップ９０でエンコーダによってブロック１８の最良のモードであると決定されたイントラ予測モードが集合７２に含まれるか、すなわち、ニューラルネットワークベースイントラ予測モードであるか、または集合７４に含まれるか、すなわち非ニューラルネットワークベースイントラ予測モードの１つであるかを示す。エンコーダは、相応にデータストリーム１２にフラグ７０ａを挿入し、その一方でデコーダは、これをそこから回収する。図７ａは、決定されたイントラ予測モード９２が集合７２に含まれると仮定する。次に、別個のニューラルネットワーク８４は、集合７２の各ニューラルネットワークベースイントラ予測モードについて確率値を決定し、これらの確率値を使用して、集合７２、またはより正確にはその中のニューラルネットワークベースイントラ予測モードは、その確率値の降順など、確率値にしたがって順序付けられ、これにより、イントラ予測モードの順序リスト９４を生成する。次に、サイド情報７０の一部であるインデックス７０ｂは、エンコーダによってデータストリーム１２に符号化され、デコーダによってそこからデコードされる。したがって、デコーダは、集合７２および７４のどの集合かを決定できる。ブロック１８に使用されるイントラ予測モードは、集合７２に配置され、使用されるイントラ予測モードが集合７２内に配置される場合には、集合７２の順序付け９６を実行する。決定されたイントラ予測モードが集合７４内に配置される場合には、インデックスもまたデータストリーム１２で送信される可能性がある。したがって、デコーダは、選択６８を相応に制御することによって、決定されたイントラ予測モードを使用して、ブロック１８の予測信号を生成することができる。
【００９３】
図７ｂは、フラグ７０ａがデータストリーム１２内に存在しない代替を示す。代わりに、順序リスト９４は、集合７２のイントラ予測モードのみならず集合７４のイントラ予測モードも備えない。サイド情報７０内のインデックスは、このさらに大きい順序リストへのインデックスとなり、決定されたイントラ予測モード、すなわち最適化９０となるよう決定されたものを示す。ニューラルネットワーク８４が７２内でのみニューラルネットワークベースイントラ予測モードに確率値を提供する場合、集合７４のイントラ予測モードに対する集合７２のイントラ予測モードのランキングは、順序リスト９４内の集合７４のモードに先行するため、またはこれらを互いに交互に配置するために、集合７２のニューラルネットワークベースイントラ予測モードを必然的に配置するなど、他の手段によって決定されてもよい。つまり、デコーダは、データストリーム１２からインデックスを導出し、ニューラルネットワーク８４から出力された確率値を使用して複数のイントラ予測モード６６から順序リスト９４を導出して順序リスト９４へのインデックスとしてインデックス７０を使用することができる。図７ｃは、さらなる変形例を示す。図７ｃは、フラグ７０ａを使用しない場合を示すが、フラグは代替的に使用され得る。図７ｃが対象とする問題は、エンコーダもデコーダもニューラルネットワーク８４を使用しない可能性に関する。むしろ、順序付け９６は、１つ以上の隣接ブロック１８に関するデータストリーム１２、すなわちこのような１つ以上の隣接ブロックに関係するデータストリーム１２の部分９８で搬送される符号化パラメータなど、他の手段によって導出される。
【００９４】
図７ｄは、図７ａのさらなる変形例、すなわち、通常は参照符号１００を使用して示される、インデックス７０ｂがエントロピー符号化を使用して符号化され、エントロピーデコードを使用してデータストリーム１２からデコードされる変形例を示す。エントロピー符号化１００に使用されるサンプル統計または確率分布は、上記で説明されたように、ニューラルネットワーク８４によって出力された確率値によって制御され、これはインデックス７０ｂのエントロピー符号化を非常に効率的にする。
【００９５】
全ての実施形態７ａから７ｄについて、集合７４モードが存在しないことは事実である。したがって、それぞれのモジュール８２は欠落している可能性があり、フラグ７０ａはいずれにせよ不要である。
【００９６】
さらに、いずれの図にも示されていないが、エンコーダおよびデコーダにおけるモード選択６８は、いかなる明示的なシグナリング７０もなくても、すなわちいかなるサイド情報も費やさず、互いに同期できることが明らかである。むしろ、選択は、順序リスト９４の最初のものを必然的に取ることによって、または１つ以上の隣接ブロックに関する符号化パラメータに基づいて順序リスト９４へのインデックスを導出することによってなど、その他の手段から導出されることが可能である。図８は、ブロック単位の画像符号化に使用される集合７２のイントラ予測モードの集合を設計するための装置を示す。装置１０８は、ニューラルネットワーク８００から８０ＫＢ−１ならびにニューラルネットワーク８４のパラメータ化可能なバージョンを継承または備える、パラメータ化可能なネットワーク１０９を備える。ここで、図８では、個々のユニット、すなわち、ニューラルネットワークベースイントラ予測モード０の確率値を提供するためのニューラルネットワーク８４０からニューラルネットワークベースイントラ予測モードＫＢ−１に関連付けられた確率値を提供するためのニューラルネットワーク８４ＫＢ−１として示されている。ニューラルネットワーク８４をパラメータ化するためのパラメータ１１１およびニューラルネットワーク８００から８０ＫＢ−１をパラメータ化するためのパラメータ１１３は、アップデータ１１０によって、これらのニューラルネットワークのそれぞれのパラメータ入力に入力または適用される。装置１０８は、対応する隣接サンプル集合１１６と共に、リザーバまたは複数の画像テストブロック１１４へのアクセスを有する。これらのブロック１１４およびそれらの関連する隣接サンプル集合１１６のペアは、装置１０８によって順次使用される。特に、現在の画像テストブロック１１４は、ニューラルネットワーク８０が集合７２の各ニューラルネットワークベースイントラ予測モードに予測信号１１８を提供し、各ニューラルネットワーク８０がこれらのモードの各々に確率値を提供するように、パラメータ化可能なニューラルネットワーク１０９に適用される。この目的のために、これらのニューラルネットワークは、現在のパラメータ１１１および１１３を使用する。
【００９７】
上記の説明では、画像テストブロック１１４を示すためにｒｅｃが使用されており、
2020537445.tif 000328
（ｒｅｃ）はモードＢの予測残差１１８であり、確率値は
2020537445.tif 000329
（ｒｅｃ）は確率値１２０である。各モード０．．．Ｋｂ−１について、それぞれのモードについて取得された予測信号１１８に基づいてそれぞれのモードのコスト推定を計算する、装置１０８に含まれるコスト推定器１２２がある。上記の例では、コスト推定器１２２は、セクション１．２の不等式の右側および左側に示されるようなコスト推定を計算した。つまり、ここでは、コスト推定器１２２は、各モードについて、対応する確率値１２０も使用した。しかしながら、これは既に上記で論じられたようなケースである必要はない。しかしながら、コスト推定は、いずれの場合も２つのアドインの合計であり、そのうちの１つは、上記の不等式で
2020537445.tif 000330
を有する項として示される予測残差の符号化コストの推定であり、他方のアドインは、モードを示すための符号化コストを推定する。予測残差に関連する符号化コストの推定を計算するために、コスト推定器１２２は、現在の画像テストブロック１１４の素のコンテンツも取得する。ニューラルネットワーク８０および８４は、適用される入力において、対応する隣接サンプル集合１１６を有する。コスト推定器１２２によって出力された通りのコスト推定１２４は、関連付けられたコスト推定を最小化する、または最小コスト推定を有するモードを決定する最小コスト選択器１２６によって受信される。上記の数学的表記では、これは
2020537445.tif 000331
であった。アップデータは、この最適モードを受信し、最低符号化推定のイントラ予測モードのために取得された予測信号１１８に応じて残差レート推定を形成する第１のアドイン、および選択器１２６によって示されたとおりの最低符号化コスト推定のイントラ予測モードのために取得された予測信号および確率値に基づいてモードシグナリング側情報レート推定を形成する第２のアドインを有する符号化コスト関数を使用する。上記で示されたように、これは勾配距離を使用して行われ得る。したがって、符号化コスト関数は微分可能であり、上記の数学的表現では、この関数の例は式５に示された。ここで、モードシグナリング側情報レート推定に関連する第２のアドインは、最低符号化コスト推定のイントラ予測モードについて交差エントロピーを計算した。
【００９８】
したがって、アップデータ１１０は、符号化コスト関数を低減するようにパラメータ１１１および１１３を更新しようとし、その後これらの更新されたパラメータ１１１および１１３は、複数１１２の次の画像テストブロックを処理するように、パラメータ化可能なニューラルネットワーク１０９によって使用される。セクション１．５に関して上記で論じられたように、主として、イントラ予測がレート歪みの意味でブロック細分化なしに行われることが好ましい回帰的な更新プロセスのために、画像テストブロック１１４およびこれらの関連付けられた隣接サンプル集合１１６のこれらのペアが適用されることを制御するメカニズムがあってもよく、これにより、いずれにせよそのサブブロック単位の符号化のコスト効率がより良い画像テストブロックに基づいて、パラメータ１１１および１１３が過度に最適化されるのを回避する。
【００９９】
これまでのところ、上記で論じられた実施形態は主に、エンコーダおよびデコーダが、それらのサポートされたイントラ予測モード６６内に、ニューラルネットワークベースイントラ予測モードの集合を有する場合に関係している。図９ａおよび図９ｂに関して論じられた実施形態によれば、これは必ずしもそうである必要はない。図９ａは、図７ａに関して上記で提示された説明との違いに焦点を当ててその説明が提供される実施形態にしたがって、エンコーダおよびデコーダの動作モードを概説しようとするものである。複数６６のサポートされたイントラ予測モードは、ニューラルネットワークベースイントラ予測モードを備えても備えなくてもよく、非ニューラルネットワークベースイントラ予測モードを備えても備えなくてもよい。したがって、サポートされたモード６６の各々に対応する予測信号を提供するためにエンコーダおよびデコーダにそれぞれ含まれる図９ａのモジュール１７０は、必ずしもニューラルネットワークではない。既に上記で示されたように、このようなイントラ予測モードはニューラルネットワークベースであってもよく、またはこれらはヒューリスティックに動機付けされ、ＤＣイントラ予測モードまたは角度イントラ予測モードまたはその他に基づいて予測信号を計算してもよい。したがって、これらのモジュール１７０は、予測信号コンピュータとして示されることが可能である。しかしながら、図９ａの実施形態によるエンコーダおよびデコーダは、ニューラルネットワーク８４を備える。ニューラルネットワーク８４は、複数６６のイントラ予測モードが順序リスト９４となり得るように、隣接サンプル集合８６に基づいて、サポートされたイントラ予測モード６６の確率値を計算する。ブロック１８のデータストリーム１２内のインデックス７０は、この順序リスト９４を指す。したがって、ニューラルネットワーク８４は、イントラ予測モード信号伝達のために費やされるサイド情報レートを下げるのを助ける。
【０１００】
図９ｂは、複数６６の各モードのニューラルネットワーク８４に対して決定された確率値にしたがって、確率またはその単純な統計を制御する、すなわちエンコーダ／デコーダでのエントロピーデコード／エンコードのエントロピー確率分布を制御すると共に、順序付けの代わりに、インデックス７０のエントロピーデコード／エンコード１００が使用される、図９ａの代替を示す。
【０１０１】
図１０は、ニューラルネットワーク８４を設計またはパラメータ化するための装置を示す。したがって、イントラ予測モードの集合６６から選択するのを支援するためのニューラルネットワークを設計する装置１０８である。ここで、集合６６の各モードについて、ニューラルネットワーク８４を一緒に形成するための対応するニューラルネットワークブロックがあり、装置１０８のパラメータ化可能なニューラルネットワーク１０９は、単にこれらのブロックに関してパラメータ化可能である。しかしながら、各モードについて、図１０によれば、パラメータ可能でなくてもよい予測信号コンピュータ１７０もある。したがって、図１０の装置１０８は、対応する予測信号コンピュータ１７０によって計算されたとおりの予測信号１１８に基づいて、および任意選択的に、このモードの対応するニューラルネットワークブロックによって決定されたとおりの対応する確率値に基づいて、各モードのコスト推定を計算する。得られたコスト推定１２４に基づいて、最小コスト選択器１２６は最小コスト推定のモードを選択し、アップデータ１１０はニューラル８４のパラメータ１１１を更新する。
【０１０２】
以下は、図７ａから図７ｄおよび図９ａおよび図９ｂの説明に関して注記される。図７ａから図７ｄの実施形態のいくつかでも使用される図９ａおよび図９ｂの実施形態の共通の特徴は、最適化プロセス９０においてエンコーダ側で決定されたモードをデコーダに通知するためのサイド情報７０に関連付けられたオーバヘッドを改善または低減するためのニューラルネットワーク値の確率値という事実であった。しかしながら、図７ａから図７ｄの実施形態に関して上記で示されたように、図９ａおよび図９ｂの実施形態が、モード選択に関してデータストリーム１２内でサイド情報７０がまったく費やされない程度に変化し得ることは、明らかである。むしろ、各モードについてニューラルネットワーク８４によって出力された確率値は、必然的にエンコーダとデコーダとの間のモード選択を同期するために使用され得る。その場合、モード選択に関してエンコーダ側で最適化決定９０はないだろう。むしろ、集合６６の間で使用されるモードは、同じ方法でエンコーダ側およびデコーダ側で決定される。データストリーム１２でサイド情報７０をまったく使用しないように変化したとき、図７ａから図７ｄの対応する実施形態に関して類似の説明が該当する。しかしながら、図９ａおよび図９ｂの実施形態に戻ると、興味深いのは、エンコーダに関する限り、確率値に対する順序付けまたは確率分布推定の依存性はサイド情報の解釈を変化させるという点において、デコーダ側の選択プロセス６８はニューラルネットワークによって出力された確率値に依存しているものの、確率値への依存性は、たとえば、順序リストへのインデックスのそれぞれの可変長符号化を使用する、またはニューラルネットワークの確率値に依存する確率分布推定を伴うエントロピーエンコード／デコードを使用する、データストリーム１２へのサイド情報７０の符号化に影響するのみならず、最適化ステップ９０にも影響することである。ここで、サイド情報７０を送信するための符号化率が考慮されてもよく、したがってこれは決定９０に影響を及ぼす可能性がある。
【０１０３】
いくつかの態様は装置の文脈で説明されてきたが、これらの態様が対応する方法の説明も表すことは明らかであり、ブロックまたはデバイスは、方法ステップまたは方法ステップの特徴に対応する。同様に、方法ステップの文脈で説明された態様は、対応する装置の対応するブロックまたはアイテムまたは特徴の説明も表す。方法ステップの一部または全ては、たとえば、マイクロプロセッサ、プログラム可能なコンピュータ、または電子回路などのハードウェア装置によって（またはこれを使用して）実行されてもよい。いくつかの実施形態では、最も重要な方法ステップのうちの１つ以上が、このような装置によって実行されてもよい。
【０１０４】
本発明のエンコードされたデータストリームは、デジタル記憶媒体上に記憶されることが可能であり、またはインターネットなどの無線送信媒体または有線送信媒体のような送信媒体で送信されることが可能である。
【０１０５】
特定の実装要件に応じて、本発明の実施形態は、ハードウェアまたはソフトウェアで実装され得る。本実装は、それぞれの方法が実行されるようにプログラム可能なコンピュータシステムと協働する（または協働可能な）、電子可読制御信号が記憶された、フロッピーディスク、ＤＶＤ、Ｂｌｕ−ｒａｙ（登録商標）、ＣＤ、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、またはフラッシュメモリなどのデジタル記憶媒体を使用して、実行され得る。したがって、デジタル記憶媒体はコンピュータ可読であり得る。
【０１０６】
本発明によるいくつかの実施形態は、本明細書に記載される方法の１つが実行されるように、プログラム可能なコンピュータシステムと協働することが可能な、電子可読制御信号を有するデータキャリアを備える。
【０１０７】
一般に、本発明の実施形態は、プログラムコードを有するコンピュータプログラム製品として実装されることが可能であり、プログラムコードは、コンピュータプログラム製品がコンピュータ上で実行されると、方法の１つを実行するように動作する。プログラムコードは、たとえば、機械可読キャリア上に記憶されてもよい。
【０１０８】
別の実施形態は、機械可読キャリア上に記憶された、本明細書に記載される方法の１つを実行するためのコンピュータプログラムを備える。
【０１０９】
したがって、言い換えると、本発明の方法の実施形態は、コンピュータプログラムがコンピュータ上で実行されると、本明細書に記載される方法の１つを実行するためのプログラムコードを有するコンピュータプログラムである。
【０１１０】
したがって、本発明の方法のさらなる実施形態は、本明細書に記載される方法の１つを実行するためのコンピュータプログラムを備え、それが記録された、データキャリア（またはデジタル記憶媒体またはコンピュータ可読媒体）である。データキャリア、デジタル記憶媒体、または記録媒体は、典型的には有形および／または非一時的である。
【０１１１】
したがって、本発明の方法のさらなる実施形態は、本明細書に記載される方法の１つを実行するためのコンピュータプログラムを表すデータストリームまたは信号のシーケンスである。データストリームまたは信号のシーケンスは、たとえばインターネットを介して、たとえばデータ通信接続を介して転送されるように構成されてもよい。
【０１１２】
さらなる実施形態は、本明細書に記載される方法の１つを実行するように構成または適合された、たとえばコンピュータまたはプログラマブル論理デバイスなどの処理手段を備える。
【０１１３】
さらなる実施形態は、本明細書に記載される方法の１つを実行するためのコンピュータプログラムがインストールされたコンピュータを備える。
【０１１４】
本発明によるさらなる実施形態は、本明細書に記載される方法の１つを実行するためのコンピュータプログラムを受信機に（たとえば、電子的または光学的に）送信するように構成された、装置またはシステムを備える。受信機は、たとえば、コンピュータ、モバイルデバイス、メモリデバイスなどであり得る。装置またはシステムは、たとえば、コンピュータプログラムを受信機に転送するためのファイルサーバを備えてもよい。
【０１１５】
いくつかの実施形態では、プログラマブル論理デバイス（たとえばフィールドプログラマブルゲートアレイ）は、明細書に記載される方法の機能の一部または全てを実行するために使用され得る。いくつかの実施形態では、フィールドプログラマブルゲートアレイは、本明細書に記載される方法の１つを実行するためにマイクロプロセッサと協働し得る。一般に、方法は、好ましくはいずれかのハードウェア装置によって実行される。
【０１１６】
本明細書に記載される装置は、ハードウェア装置を使用して、またはコンピュータを使用して、またはハードウェア装置およびコンピュータの組み合わせを使用して、実装され得る。
【０１１７】
本明細書に記載される装置、または本明細書に記載される装置の任意の構成要素は、少なくとも部分的にハードウェアおよび／またはソフトウェアで実装され得る。
【０１１８】
本明細書に記載される方法は、ハードウェア装置を使用して、またはコンピュータを使用して、またはハードウェア装置およびコンピュータの組み合わせを使用して、実行され得る。
【０１１９】
本明細書に記載される方法、または本明細書に記載される装置の任意の構成要素は、少なくとも部分的にハードウェアおよび／またはソフトウェアによって実行され得る。
【０１２０】
上記の実施形態は、本発明の原理を単に例示するものである。本明細書に記載される配置および詳細の修正および変形は、当業者にとって明らかとなることが理解される。したがって、差し迫った特許請求の範囲のみによって限定され、本明細書の実施形態の記載および説明によって提示される特定の詳細によっては限定されないことが意図される。
【図１】
2020537445.tif 000332
【図２】
2020537445.tif 000333
【図３】
2020537445.tif 000334
【図４】
2020537445.tif 000335
【図５】
2020537445.tif 000336
【図６】
2020537445.tif 000337
【図７ａ】
2020537445.tif 000338
【図７ｂ】
2020537445.tif 000339
【図７ｃ】
2020537445.tif 000340
【図７ｄ】
2020537445.tif 000341
【図８】
2020537445.tif 000342
【図９ａ】
2020537445.tif 000343
【図９ｂ】
2020537445.tif 000344
【図１０】
2020537445.tif 000345
【手続補正書】
【提出日】令和2年6月9日(2020.6.9)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
データストリーム（１２）から画像（１０）をブロック単位でデコードするための装置であって、前記装置は、少なくともイントラ予測モードの集合（７２）を備える複数（６６）のイントラ予測モードをサポートし、これにしたがって前記画像の現在のブロック（１８）のためのイントラ予測信号が、前記現在のブロック（１８）の隣接サンプルの第１の集合（６０）をニューラルネットワーク（８０）または各線形関数にそれぞれの非線形関数が続く１つ以上の線形関数のシーケンスに適用することによって決定され、前記装置は、
前記現在のブロック（１８）のために前記複数（６６）のイントラ予測モードから１つのイントラ予測モードを選択（６８）し、
前記１つのイントラ予測モードを使用して前記現在のブロック（１８）を予測（７１）する
ように構成されている、装置。
【請求項２】
可変長コードを使用して前記データストリーム（１２）からインデックス（７０ｂ）をデコードし、
前記インデックス（７０ｂ）を使用して前記選択を実行する
ように構成されている、請求項１に記載の装置。
【請求項３】
イントラ予測モードの順序リストを取得するために、前記現在のブロック（１８）の近傍に関連する前記データストリーム（１２）の第１部分（９７）に応じてイントラ予測モードの前記集合（７２）のランキングを決定し、
前記第１部分以外の前記データストリーム（１２）の第２部分（９８）に応じてイントラ予測モードの前記順序リストから前記１つのイントラ予測モードを選択する
ように構成されている、請求項１または２に記載の装置。
【請求項４】
イントラ予測モードの前記集合（７２）の各イントラ予測モードについて、イントラ予測モードの順序リストを取得するために、隣接サンプルの第２の集合（８６）を、さらなるニューラルネットワーク、または各さらなる線形関数にそれぞれのさらなる非線形関数が続く１つ以上のさらなる線形関数のさらなるシーケンスに適用することによって、ランクを決定し、
前記データストリーム（１２）からインデックス（７０ｂ）を前記順序リストにデコードし、
前記インデックス（７０ｂ）および前記順序リストを使用して前記選択を実行する
ように構成されている、請求項１または２に記載の装置。
【請求項５】
可変長コードを使用して、前記データストリーム（１２）から前記インデックス（７０ｂ）を前記順序リストにデコードするように構成されている、請求項４に記載の装置。
【請求項６】
イントラ予測モードの前記集合（７２）の各イントラ予測モードについて、隣接サンプルの第２の集合（８６）をさらなるニューラルネットワークまたは１つ以上のさらなる線形関数の前記さらなるシーケンスに適用することによって確率値（１２０）を決定し、
前記確率値（１２０）を使用して、前記データストリーム（１２）から、インデックス（７０ｂ）をイントラ予測モードの前記集合（７２）にエントロピーデコードし、
前記インデックス（７０ｂ）を使用して前記選択を実行する
ように構成されている、請求項１または２に記載の装置。
【請求項７】
隣接サンプルの前記第１の集合（６０）は、隣接サンプルの前記第２の集合（８６）と一致する、請求項３から６のいずれか一項に記載の装置。
【請求項８】
イントラ予測モードの前記集合（７２）の各々は、排他的に、前記現在のブロック（１８）の隣接サンプルの前記第１の集合（６０）から前記現在のブロック（１８）のための前記イントラ予測信号を一意に決定する、請求項１から７のいずれか一項に記載の装置。
【請求項９】
前記複数のイントラ予測モードは、前記現在のブロック（１８）がＤＣ値で満たされるＤＣモード、または前記現在のブロック（１８）の隣接サンプルの第３の集合から導出された前記現在のブロック（１８）と一緒に、所定の方向に沿って前記現在のブロック（１８）内に空間サンプル値分布を投影することによって前記イントラ予測信号が決定される方向モード、のうちの１つ以上を含む、イントラ予測モードのさらなる集合をさらに備える、請求項１から８のいずれか一項に記載の装置。
【請求項１０】
前記複数のイントラ予測モードは、現在のブロック（１８）の前記イントラ予測信号が、線形関数を使用して前記現在のブロック（１８）の隣接サンプルの第３の集合から決定されるイントラ予測モードのさらなる集合をさらに備え、隣接サンプルの前記第１の集合（６０）の濃度は隣接サンプルの前記第３の集合の濃度よりも高い、請求項１から９のいずれか一項に記載の装置。
【請求項１１】
前記複数のイントラ予測モードから前記１つのイントラ予測モードを選択する際に、イントラ予測モードの前記集合またはイントラ予測モードの前記さらなる集合から前記１つのイントラ予測モードを選択するように、前記データストリーム（１２）内の１つのフラグに応答するように構成されている、請求項１０または１１に記載の装置。
【請求項１２】
画像（１０）をデータストリーム（１２）にブロック単位でエンコードするための装置であって、前記装置は、少なくともイントラ予測モードの集合（７２）を備える複数のイントラ予測モードをサポートし、これにしたがって前記画像（１０）の現在のブロック（１８）のためのイントラ予測信号が、前記現在のブロック（１８）の隣接サンプルの第１の集合（６０）をニューラルネットワーク（８０）または各線形関数にそれぞれの非線形関数が続く１つ以上の線形関数のシーケンスに適用することによって決定され、前記装置は、
前記現在のブロック（１８）のために前記複数のイントラ予測モードから１つのイントラ予測モードを選択（９０）し、
前記１つのイントラ予測モードを使用して、前記現在のブロック（１８）を予測する
ように構成されている、装置。
【請求項１３】
可変長コードを使用してインデックス（７０ｂ）を前記データストリーム（１２）にエンコードし、前記インデックス（７０ｂ）は前記選択を表している
ように構成されている、請求項１２に記載の装置。
【請求項１４】
イントラ予測モードの順序リストを取得するために、前記現在のブロック（１８）の近傍に関連する前記データストリーム（１２）の第１部分（９７）に応じてイントラ予測モードの前記集合（７２）のランキングを決定し、
イントラ予測モードの前記順序リストから前記１つのイントラ予測モードを選択し、
イントラ予測モードの前記順序リストからの前記選択を表すように、前記第１部分（９７）以外の前記データストリーム（１２）の第２部分（９８）を形成する
ように構成されている、請求項１２または１３に記載の装置。
【請求項１５】
イントラ予測モードの前記集合（７２）の各イントラ予測モードについて、イントラ予測モードの順序リストを取得するために、隣接サンプルの第２の集合（８６）を、さらなるニューラルネットワーク、または各さらなる線形関数にそれぞれのさらなる非線形関数が続く１つ以上のさらなる線形関数のさらなるシーケンスに適用することによって、ランクを決定し、
前記順序リストへのインデックス（７０ｂ）を前記データストリーム（１２）にエンコードする
ように構成されており、
前記インデックス（７０ｂ）は、前記順序リストから前記１つのイントラ予測モードを選択する、
請求項１２または１４に記載の装置。
【請求項１６】
可変長コードを使用して、前記データストリーム（１２）から前記インデックスを前記順序リストにデコードするように構成されている、請求項１５に記載の装置。
【請求項１７】
イントラ予測モードの前記集合（７２）の各イントラ予測モードについて、隣接サンプルの第２の集合（８６）をさらなるニューラルネットワーク、または各さらなる線形関数にそれぞれのさらなる非線形関数が続く１つ以上のさらなる線形関数のさらなるシーケンスに適用することによって、確率値（１２０）を決定し、
前記確率値（１２０）を使用して、前記データストリーム（１２）に、インデックス（７０ｂ）をイントラ予測モードの前記集合（７２）にエントロピーエンコードし、前記インデックス（７０ｂ）は前記１つのイントラ予測モードを指す
ように構成されている、請求項１２または１３に記載の装置。
【請求項１８】
隣接サンプルの前記第１の集合（６０）は、隣接サンプルの前記第２の集合（８６）と一致する、請求項１４から１７のいずれか一項に記載の装置。
【請求項１９】
イントラ予測モードの前記集合（７２）の各々は、排他的に、前記現在のブロック（１８）の隣接サンプルの前記第１の集合（６０）から前記現在のブロック（１８）のための前記イントラ予測信号を一意に決定する、請求項１２から１８のいずれか一項に記載の装置。
【請求項２０】
前記複数のイントラ予測モードは、前記現在のブロック（１８）がＤＣ値で満たされるＤＣモード、または前記現在のブロック（１８）の隣接サンプルの第３の集合から導出された前記現在のブロック（１８）と一緒に、所定の方向に沿って前記現在のブロック（１８）内に空間サンプル値分布を投影することによって前記イントラ予測信号が決定される方向モード、のうちの１つ以上を含む、イントラ予測モードのさらなる集合をさらに備える、請求項１２から１９のいずれか一項に記載の装置。
【請求項２１】
前記複数のイントラ予測モードは、現在のブロック（１８）の前記イントラ予測信号が、線形関数を使用して前記現在のブロック（１８）の隣接サンプルの第３の集合から選択されるイントラ予測モードのさらなる集合をさらに備え、隣接サンプルの前記第１の集合（６０）の濃度は隣接サンプルの前記第３の集合の濃度よりも高い、請求項１２から２０のいずれか一項に記載の装置。
【請求項２２】
データストリーム（１２）に、前記１つのイントラ予測モードがイントラ予測モードの前記集合（７２）の要素であるかイントラ予測モードの前記さらなる集合の要素であるかを示す１つのフラグを提供するように構成されている、請求項１９または２０に記載の装置。
【請求項２３】
現在のブロック（１８）の隣接サンプルの第１の集合（６０）を、第１ニューラルネットワーク（８０）またはイントラ予測モードに関連付けられた１つ以上の第１線形関数の第１シーケンスに適用することによって前記現在のブロック（１８）のイントラ予測信号が決定されるブロック単位の画像符号化のためのイントラ予測モードの集合（７２）の各々について、前記第１ニューラルネットワーク（８０）または各第１線形関数にそれぞれの第１非線形関数が続く１つ以上の第１線形関数の前記第１シーケンスをトレーニングするための装置であって、
イントラ予測モードの前記集合（７２）の各々について、第１画像テストブロック（１１４）に隣接する隣接サンプル（１１６）の第１の集合（６０）を、イントラ予測モードの前記集合（７２）の各々について、前記第１テストブロックの予測信号（１１８）を取得するように、前記第１ニューラルネットワーク（８０）または前記それぞれのイントラ予測モードに関連付けられた１つ以上の第１線形関数に、および前記第１画像テストブロックに隣接する隣接サンプルの第２の集合（８６）を、イントラ予測モードの前記集合（７２）の各々について、前記それぞれのイントラ予測モードの確率を示す確率値（１２０）を取得するように、第２ニューラルネットワーク（８４）、または各第２線形関数にそれぞれの第２非線形関数が続く１つ以上の第２線形関数の第２シーケンスに、適用し、
イントラ予測モードの前記集合（７２）の各々について、前記それぞれのイントラ予測モードのために取得された前記予測信号（１１８）を使用して、予測誤差符号化およびモード信号伝達に関連する符号化コストのコスト推定（１２４）を決定（１２２）し、
最低符号化コスト推定のイントラ予測モードのために取得された前記予測信号（１１８）に応じて残差レート推定を形成する第１加数、および最低符号化コスト推定の前記イントラ予測モードのために取得された前記予測信号（１１８）および前記確率値（１２０）に応じてモードシグナリング側情報レート推定を形成する第２加数を有する符号化コスト関数を低減するように、イントラ予測モードの前記集合（７２）および前記第２ニューラルネットワーク（８４）の第２パラメータ（１１１）または１つ以上の第２線形関数の第２シーケンスの各々について、前記第１ニューラルネットワーク（８０）の第１パラメータ（１１３）または１つ以上の第１線形関数の第１シーケンスを更新（１１０）し、
第２画像テストブロックに隣接する隣接サンプルを、更新された前記第１および第２パラメータ（１１３、１１１）を用いて、イントラ予測モードの前記集合の各々について前記第１ニューラルネットワーク（８０）または１つ以上の第１線形関数の第１シーケンスに、および前記第２ニューラルネットワーク（８４）または１つ以上の第２線形関数の第２シーケンスに適用する
ように構成されている、装置。
【請求項２４】
隣接サンプル（１１６）の前記第１の集合（６０）を前記第１ニューラルネットワーク（８０）に、および隣接サンプルの前記第２の集合（８６）を前記第２ニューラルネットワーク（８４）に適用するように構成されており、
前記第１および第２ニューラルネットワーク（８０、８４）は、
線形および非線形関数のシーケンスであって、前記第１および第２パラメータ（１１３、１１１）は前記線形関数の重みを備える、シーケンス、
ニューロン層のシーケンスを形成する線形および非線形関数のシーケンス、または
ニューロンの層のシーケンスであって、前記第１および第２パラメータ（１１３、１１１）は相互接続されたニューロン間で転送される信号強度を制御する重みを備える、シーケンス
である、請求項２３に記載の装置。
【請求項２５】
イントラ予測モードの前記集合（７２）の各々について、前記それぞれのイントラ予測モードのために取得された前記予測信号（１１８）および前記確率値（１２０）を使用して、予測誤差符号化およびモード信号伝達に関連する符号化コストの前記コスト推定を決定する
ように構成されている、請求項２３または２４に記載の装置。
【請求項２６】
イントラ予測モードの前記集合（７２）の各々について、前記それぞれのイントラ予測モードおよび前記第１画像テストブロックの元の歪みのないバージョンのために取得された前記予測信号（１１８）を予測誤差符号化レート推定にマッピングする第１加数と、前記それぞれのイントラ予測モードのために取得された前記確率値（１２０）をモード信号伝達レート推定にマッピングする第２加数との合計として、予測誤差符号化およびモード信号伝達に関連する符号化コストの前記コスト推定を決定する
ように構成されている、請求項２３から２５のいずれか一項に記載の装置。
【請求項２７】
前記符号化コスト関数の第２加数は、最低符号化コスト推定の前記イントラ予測モードの交差エントロピーを示す全てのイントラ予測モードのために取得された前記確率値（１２０）の関数として、最低符号化コスト推定の前記イントラ予測モードのために取得された前記予測信号（１１８）に応じて前記モードシグナリング側情報レート推定を形成する
請求項２３から２６のいずれか一項に記載の装置。
【請求項２８】
前記符号化コスト関数の第１加数は、前記それぞれのイントラ予測モードおよび前記第１画像テストブロックの元の歪みのないバージョンのために取得された前記予測信号（１１８）の関数として、最低符号化コスト推定の前記イントラ予測モードのために取得された前記予測信号（１１８）に応じて前記残差レート推定を形成する
請求項２３から２７のいずれか一項に記載の装置。
【請求項２９】
複数の画像テストブロックの次の画像テストブロックの適用のために１つの画像テストブロックに対して更新された前記第１および第２パラメータ（１１３、１１１）を使用して、前記複数の画像テストブロックの前記適用、決定、および更新を順次繰り返す
ように構成されている、請求項２３から２８のいずれか一項に記載の装置。
【請求項３０】
前記複数の画像テストブロックを、より効率的に符号化可能な未細分の第１の集合、およびより効率的に符号化可能であってサブブロックに細分された第２の集合に細分し、前記第１の集合の次の画像テストブロックの適用のために１つの画像テストブロックに対して更新された前記第１および第２パラメータ（１１３、１１１）を使用して、前記第１の集合の画像テストブロックの前記適用、決定、および更新を順次繰り返す
ように構成されている、請求項２３から２９のいずれか一項に記載の装置。
【請求項３１】
勾配降下を使用して前記更新を実行する
ように構成されている、請求項２３から３０のいずれか一項に記載の装置。
【請求項３２】
隣接サンプルの前記第１の集合（６０）は、隣接サンプルの前記第２の集合（８６）と一致する、請求項２３から３１のいずれか一項に記載の装置。
【請求項３３】
データストリーム（１２）から画像（１０）をブロック単位でデコードするための装置であって、前記装置は複数のイントラ予測モードをサポートし、前記装置は、
前記複数（６６）のイントラ予測モードの少なくともイントラ予測モードの集合（７２）の各々について、現在のブロック（１８）に隣接する隣接サンプルの第１の集合（６８）を、ニューラルネットワーク（８４）または各線形関数にそれぞれの非線形関数が続く１つ以上の線形関数のシーケンスに適用することによって、ランクまたは確率値（１２０）を決定し、
前記現在のブロック（１８）について、前記ランクまたは確率値（１２０）を使用して、前記複数のイントラ予測モードから１つのイントラ予測モードを選択し、
前記１つのイントラ予測モードを使用して、前記現在のブロック（１８）を予測する
ように構成されている、装置。
【請求項３４】
イントラ予測モードの順序リストを取得するために前記ランクにしたがってイントラ予測モードの前記集合（７２）を順序付け、
可変長コードを使用して前記データストリーム（１２）からインデックス（７０ｂ）をデコードし、
前記インデックス（７０ｂ）および前記順序リストを使用して前記選択を実行する
ように構成されている、請求項３３に記載の装置。
【請求項３５】
前記確率値（１２０）を使用して、前記データストリーム（１２）から、インデックス（７０ｂ）をイントラ予測モードの前記集合（７２）にエントロピーデコードし、
前記インデックス（７０ｂ）を使用して前記選択を実行する
ように構成されている、請求項３３または３４に記載の装置。
【請求項３６】
イントラ予測モードの前記集合（７２）の各々は、排他的に、前記現在のブロック（１８）の隣接サンプルの第２の集合（８６）から前記現在のブロック（１８）のための前記イントラ予測信号を一意に決定する、請求項３３から３５のいずれか一項に記載の装置。
【請求項３７】
前記複数のイントラ予測モードは、前記現在のブロック（１８）がＤＣ値で満たされるＤＣモード、または前記現在のブロック（１８）の隣接サンプルの第３の集合から導出された前記現在のブロック（１８）と一緒に、所定の方向に沿って前記現在のブロック（１８）内に空間サンプル値分布を投影することによって前記イントラ予測信号が決定される方向モード、のうちの１つ以上を備える、請求項３３から３６のいずれか一項に記載の装置。
【請求項３８】
それに基づいて前記現在のブロック（１８）が前記複数のイントラ予測モードにしたがって予測される隣接サンプルの集合の濃度は、前記複数のイントラ予測モードの間で異なる、請求項３３から３７のいずれか一項に記載の装置。
【請求項３９】
画像（１０）をデータストリーム（１２）にブロック単位でエンコードするための装置であって、前記装置は複数のイントラ予測モードをサポートし、前記装置は、
前記複数のイントラ予測モードの少なくともイントラ予測モードの集合（７２）の各々について、現在のブロック（１８）に隣接する隣接サンプルの第１の集合（６８）を、ニューラルネットワーク（８４）または各線形関数にそれぞれの非線形関数が続く１つ以上の線形関数のシーケンスに適用することによって、ランクまたは確率値（１２０）を決定し、
前記現在のブロック（１８）について、前記ランクまたは確率値（１２０）を使用して、前記複数のイントラ予測モードから１つのイントラ予測モードを選択（９０）し、
前記１つのイントラ予測モードを使用して、前記現在のブロック（１８）を予測する
ように構成されている、装置。
【請求項４０】
イントラ予測モードの順序リストを取得するために前記ランクにしたがってイントラ予測モードの前記集合（７２）を順序付け、
可変長コードを使用してインデックス（７０ｂ）を前記データストリーム（１２）にエンコードする
ように構成されており、
前記インデックス（７０ｂ）は、前記順序リスト内の前記１つのイントラ予測モードにインデックスを付ける、
請求項３９に記載の装置。
【請求項４１】
前記確率値（１２０）を使用して、イントラ予測モードの前記集合（７２）へのインデックス（７０ｂ）を前記データストリーム（１２）にエントロピーエンコードするように構成されており、
前記インデックス（７０ｂ）は、イントラ予測モードの前記集合（７２）内の前記１つのイントラ予測モードにインデックスを付ける、
請求項３９または４０に記載の装置。
【請求項４２】
前記複数（６６）のイントラ予測モードの各々は、排他的に、前記現在のブロック（１８）の隣接サンプルの第２の集合（８６）から前記現在のブロック（１８）のための前記イントラ予測信号を一意に決定する、請求項３９から４１のいずれか一項に記載の装置。
【請求項４３】
前記複数（６６）のイントラ予測モードは、前記現在のブロック（１８）がＤＣ値で満たされるＤＣモード、または前記現在のブロック（１８）の隣接サンプルの第３の集合から導出された前記現在のブロック（１８）と一緒に、所定の方向に沿って前記現在のブロック（１８）内に空間サンプル値分布を投影することによって前記イントラ予測信号が決定される方向モード、のうちの１つ以上を備える、請求項３９から４２のいずれか一項に記載の装置。
【請求項４４】
それに基づいて前記現在のブロック（１８）が前記複数（６６）のイントラ予測モードにしたがって予測される隣接サンプルの集合の濃度は、前記複数（６６）のイントラ予測モードの間で異なる、請求項３９から４３のいずれか一項に記載の装置。
【請求項４５】
ブロック単位の画像符号化のためのイントラ予測モードの集合（７２）の間での選択を支援するためのニューラルネットワーク（８４）または各線形関数にそれぞれの非線形関数が続く１つ以上の線形関数のシーケンスを設計するための装置であって、
イントラ予測モードの前記集合（７２）の各々を使用して、イントラ予測モードの前記集合（７２）の各々について、第１テストブロックの予測信号（１１８）を取得するように、前記第１画像テストブロックに隣接する隣接サンプルの第１の集合（６８）から前記第１画像テストブロックを推定（１７０）し、イントラ予測モードの前記集合（７２）の各々について、前記それぞれのイントラ予測モードの確率を示す確率値（１２０）を取得するように、隣接サンプルの前記第１の集合（６８）を前記ニューラルネットワーク（８４）または各線形関数にそれぞれの非線形関数が続く１つ以上の線形関数のシーケンスに適用し、
イントラ予測モードの前記集合（７２）の各々について、前記それぞれのイントラ予測モードのために取得された前記予測信号（１１８）を使用して、予測誤差符号化およびモード信号伝達に関連する符号化コストのコスト推定を決定し、
最低符号化コスト推定の前記イントラ予測モードのために取得された予測信号（１１８）に応じて残差レート推定を形成する第１加数、および最低符号化コスト推定の前記イントラ予測モードのために取得された前記予測信号（１１８）および前記確率値（１２０に応じてモードシグナリング側情報レート推定を形成する第２加数を有する符号化コスト関数を低減するように、前記ニューラルネットワーク（８４）または１つ以上の線形関数のシーケンスのパラメータを更新し、
更新されたパラメータを用いて第２予測テキストブロックおよび隣接サンプルのその集合の前記予測および適用をやり直す
ように構成されている、装置。
【請求項４６】
前記ニューラルネットワークは、
線形および非線形関数のシーケンスであって、前記パラメータは線形関数重みを備える、シーケンス、
ニューロン層のシーケンスを形成する線形および非線形関数のシーケンス、または
ニューロンの層のシーケンスであって、前記パラメータは層と接続されたニューロン間で転送される信号強度を制御する重みを備える、シーケンス
である、請求項４５に記載の装置。
【請求項４７】
イントラ予測モードの前記集合（７２）の各々について、前記それぞれのイントラ予測モードのために取得された前記予測信号（１１８）および前記確率値（１２０）を使用して、予測誤差符号化およびモード信号伝達に関連する符号化コストの前記コスト推定を決定する
ように構成されている、請求項４５または４６に記載の装置。
【請求項４８】
イントラ予測モードの前記集合（７２）の各々について、前記それぞれのイントラ予測モードおよび前記第１画像テストブロックの元の歪みのないバージョンのために取得された前記予測信号（１１８）を予測誤差符号化レート推定にマッピングする第１加数と、前記それぞれのイントラ予測モードのために取得された前記確率値（１２０）をモード信号伝達レート推定にマッピングする第２加数との合計として、予測誤差符号化およびモード信号伝達に関連する符号化コストの前記コスト推定を決定する
ように構成されている、請求項４５から４７のいずれか一項に記載の装置。
【請求項４９】
前記符号化コスト関数の第２加数は、最低符号化コスト推定の前記イントラ予測モードの交差エントロピーを示す全てのイントラ予測モードのために取得された前記確率値（１２０）の関数として、最低符号化コスト推定の前記イントラ予測モードのために取得された前記予測信号（１１８）に応じて前記モードシグナリング側情報レート推定を形成する
請求項４５から４８のいずれか一項に記載の装置。
【請求項５０】
前記符号化コスト関数の第１加数は、前記それぞれのイントラ予測モードおよび前記第１画像テストブロックの元の歪みのないバージョンのために取得された前記予測信号（１１８）の関数として、最低符号化コスト推定の前記イントラ予測モードのために取得された前記予測信号（１１８）に応じて前記残差レート推定を形成する
請求項４５から４９のいずれか一項に記載の装置。
【請求項５１】
複数の画像テストブロックの次の画像テストブロックの適用のために１つの画像テストブロックに対して更新された前記パラメータを使用して、前記複数の画像テストブロックの前記予測、適用、決定、および更新を順次繰り返す
ように構成されている、請求項４５から５０のいずれか一項に記載の装置。
【請求項５２】
勾配降下を使用して前記更新を実行する
ように構成されている、請求項４５から５１のいずれか一項に記載の装置。
【請求項５３】
データストリーム（１２）から画像（１０）をブロック単位でデコードする方法であって、少なくともイントラ予測モードの集合（７２）を備える複数（６６）のイントラ予測モードをサポートし、これにしたがって、現在のブロック（１８）の隣接サンプルの第１の集合（６０）の前記イントラ予測信号をニューラルネットワーク（８０）または各線形関数にそれぞれの非線形関数が続く１つ以上の線形関数のシーケンスに適用することによって前記画像の前記現在のブロック（１８）の前記イントラ予測信号が決定され、前記方法は、
前記現在のブロック（１８）のために前記複数（６６）のイントラ予測モードから１つのイントラ予測モードを選択（６８）するステップと、
前記１つのイントラ予測モードを使用して前記現在のブロック（１８）を予測（７１）するステップと
を備える、方法。
【請求項５４】
画像（１０）をデータストリーム（１２）にブロック単位でエンコードする方法であって、少なくともイントラ予測モードの集合（７２）を備える複数のイントラ予測モードをサポートし、これにしたがって前記画像（１０）の現在のブロック（１８）のためのイントラ予測信号が、前記現在のブロック（１８）の隣接サンプルの第１の集合（６０）をニューラルネットワーク（８０）または各線形関数にそれぞれの非線形関数が続く１つ以上の線形関数のシーケンスに適用することによって決定され、前記方法は、
前記現在のブロック（１８）のために前記複数のイントラ予測モードから１つのイントラ予測モードを選択（９０）するステップと、
前記１つのイントラ予測モードを使用して前記現在のブロック（１８）を予測するステップと
を備える方法。
【請求項５５】
現在のブロック（１８）の隣接サンプルの第１の集合（６０）を、第１ニューラルネットワーク（８０）またはイントラ予測モードに関連付けられた１つ以上の第１線形関数の第１シーケンスに適用することによって前記現在のブロック（１８）のイントラ予測信号が決定されるブロック単位の画像符号化のためのイントラ予測モードの集合（７２）の各々について、前記第１ニューラルネットワーク（８０）または各第１線形関数にそれぞれの第１非線形関数が続く１つ以上の第１線形関数の前記第１シーケンスをトレーニングするための方法であって、
イントラ予測モードの前記集合（７２）の各々について、第１画像テストブロック（１１４）に隣接する隣接サンプル（１１６）の第１の集合（６０）を、イントラ予測モードの前記集合（７２）の各々について、前記第１テストブロックの予測信号（１１８）を取得するように、前記第１ニューラルネットワーク（８０）またはそれぞれのイントラ予測モードに関連付けられた１つ以上の線形第１関数に、および前記第１画像テストブロックに隣接する隣接サンプルの第２の集合（８６）を、イントラ予測モードの前記集合（７２）の各々について、前記それぞれのイントラ予測モードの確率を示す確率値（１２０）を取得するように、第２ニューラルネットワーク（８４）、または各第２線形関数にそれぞれの第２非線形関数が続く１つ以上の第２線形関数の第２シーケンスに、適用するステップと、
イントラ予測モードの前記集合（７２）の各々について、前記それぞれのイントラ予測モードのために取得された前記予測信号（１１８）を使用して、予測誤差符号化およびモード信号伝達に関連する符号化コストのコスト推定（１２４）を決定（１２２）するステップと、
最低符号化コスト推定のイントラ予測モードのために取得された前記予測信号（１１８）に応じて残差レート推定を形成する第１加数、および最低符号化コスト推定の前記イントラ予測モードのために取得された前記予測信号（１１８）および前記確率値（１２０）に応じてモードシグナリング側情報レート推定を形成する第２加数を有する符号化コスト関数を低減するように、イントラ予測モードの前記集合および前記第２ニューラルネットワーク（８４）の第２パラメータ（１１１）または１つ以上の第２線形関数の第２シーケンスの各々について、前記第１ニューラルネットワーク（８０）の第１パラメータ（１１３）または１つ以上の第１線形関数の第１シーケンスを更新（１１０）するステップと、
第２画像テストブロックに隣接する隣接サンプルを、更新された前記第１および第２パラメータ（１１３、１１１）を用いて、イントラ予測モードの前記集合の各々について前記第１ニューラルネットワーク（８０）または第１線形関数の第１シーケンスに、および前記第２ニューラルネットワーク（８４）または第２線形関数の第２シーケンスに適用するステップと
を備える方法。
【請求項５６】
データストリーム（１２）から画像（１０）をブロック単位でデコードする方法であって、複数のイントラ予測モードをサポートし、前記方法は、
前記複数（６６）のイントラ予測モードの少なくともイントラ予測モードの集合（７２）の各々について、現在のブロック（１８）に隣接する隣接サンプルの第１の集合（６８）を、ニューラルネットワーク（８０）または各線形関数にそれぞれの非線形関数が続く１つ以上の線形関数のシーケンスに適用することによって、ランクまたは確率値（１２０）を決定するステップと、
前記現在のブロック（１８）について、前記ランクまたは確率値（１２０）を使用して、前記複数のイントラ予測モードから１つのイントラ予測モードを選択するステップと、
前記１つのイントラ予測モードを使用して、前記現在のブロック（１８）を予測するステップと
を備える方法。
【請求項５７】
画像（１０）をデータストリーム（１２）にブロック単位でエンコードする方法であって、複数のイントラ予測モードをサポートし、前記方法は、
前記複数のイントラ予測モードの少なくともイントラ予測モードの集合（７２）の各々について、現在のブロック（１８）に隣接する隣接サンプルの第１の集合（６８）を、ニューラルネットワーク（８０）または各線形関数にそれぞれの非線形関数が続く１つ以上の線形関数のシーケンスに適用することによって、ランクまたは確率値（１２０）を決定するステップと、
前記現在のブロック（１８）について、前記ランクまたは確率値（１２０）を使用して、前記複数のイントラ予測モードから１つのイントラ予測モードを選択（９０）するステップと、
前記１つのイントラ予測モードを使用して、前記現在のブロック（１８）を予測するステップと
を備える方法。
【請求項５８】
ブロック単位の画像符号化のためのイントラ予測モードの集合（７２）の間での選択を支援するためのニューラルネットワーク（８４）または各線形関数にそれぞれの非線形関数が続く１つ以上の線形関数のシーケンスを設計する方法であって、前記方法は、
イントラ予測モードの前記集合（７２）の各々を使用して、イントラ予測モードの前記集合（７２）の各々について、第１テストブロックの予測信号（１１８）を取得するように、前記第１画像テストブロックに隣接する隣接サンプルの第１の集合（６８）から前記第１画像テストブロックを推定（１７０）し、イントラ予測モードの前記集合（７２）の各々について、前記それぞれのイントラ予測モードの確率を示す確率値（１２０）を取得するように、隣接サンプルの前記第１の集合（６８）を前記ニューラルネットワーク（８４）または１つ以上の線形関数のシーケンスに適用するステップと、
イントラ予測モードの前記集合（７２）の各々について、前記それぞれのイントラ予測モードのために取得された前記予測信号（１１８）を使用して、予測誤差符号化およびモード信号伝達に関連する符号化コストのコスト推定を決定するステップと、
最低符号化コスト推定の前記イントラ予測モードのために取得された予測信号（１１８）に応じて残差レート推定を形成する第１加数、および最低符号化コスト推定の前記イントラ予測モードのために取得された前記予測信号（１１８）および前記確率値（１２０に応じてモードシグナリング側情報レート推定を形成する第２加数を有する符号化コスト関数を低減するように、前記ニューラルネットワーク（８４）または１つ以上の線形関数のシーケンスのパラメータを更新するステップと、
更新されたパラメータを用いて第２予測テキストブロックおよび隣接サンプルのその集合の前記予測および適用をやり直すステップと
を備える方法。
【請求項５９】
コンピュータ上で実行されると、請求項５３から５８のいずれか一項に記載の方法を実行するための、プログラムコードを有するコンピュータプログラム。
【請求項６０】
請求項５４から５７のいずれか一項に記載の方法を使用して生成されたデータストリーム。
【請求項６１】
現在のブロック（１８）の隣接サンプルの第１の集合（６０）を第１ニューラルネットワーク（８０）またはイントラ予測モードに関連付けられた１つ以上の第１線形関数の第１シーケンスに適用することによって前記現在のブロック（１８）の前記イントラ予測信号が決定されるブロック単位の画像符号化のためのイントラ予測モードの集合（７２）の各々について、第１ニューラルネットワーク（８０）、または各第１線形関数にそれぞれの第１非線形関数が続く１つ以上の第１線形関数の前記第１シーケンスを記憶するデジタル記憶媒体であって、イントラ予測モードの前記集合（７２）の各々について、前記第１ニューラルネットワーク（８０）または１つ以上の第１線形関数の第１シーケンスは、請求項５５に記載の方法によって取得される、デジタル記憶媒体。
【請求項６２】
データストリーム（１２）から画像（１０）をブロック単位でデコードするための装置であって、前記装置は、少なくともイントラ予測モードの集合（７２）を備える複数（６６）のイントラ予測モードをサポートし、各々これにしたがって前記画像の現在のブロック（１８）のためのイントラ予測信号が、前記現在のブロック（１８）の隣接サンプルの第１の集合（６０）をニューラルネットワーク（８０）または各線形関数にそれぞれの非線形関数が続く１つ以上の線形関数のシーケンスに適用することによって決定され、これはそれぞれのイントラ予測モードに関連付けられており、前記装置は、
前記現在のブロック（１８）について、前記データストリーム内のモード信号伝達にしたがってイントラ予測モードの前記集合（６６）から１つのイントラ予測モードを選択（６８）し、
前記１つのイントラ予測モードを使用して前記現在のブロック（１８）を予測（７１）する
ように構成されており、
イントラ予測モードの前記集合（７２）の各々について、前記ニューラルネットワーク（８０）または１つ以上の線形関数のシーケンスは、請求項５５に記載の方法によって取得される、装置。
【請求項６３】
データストリーム（１２）から画像（１０）をブロック単位でデコードする方法であって、前記方法は、少なくともイントラ予測モードの集合（７２）を備える複数（６６）のイントラ予測モードをサポートし、各々これにしたがって前記画像の現在のブロック（１８）のためのイントラ予測信号が、前記現在のブロック（１８）の隣接サンプルの第１の集合（６０）をニューラルネットワーク（８０）または各線形関数にそれぞれの非線形関数が続く１つ以上の線形関数のシーケンスに適用することによって決定され、これはそれぞれのイントラ予測モードに関連付けられており、前記方法は、
前記現在のブロック（１８）について、前記データストリーム内のモード信号伝達にしたがってイントラ予測モードの前記集合（６６）から１つのイントラ予測モードを選択（６８）するステップと、
前記１つのイントラ予測モードを使用して前記現在のブロック（１８）を予測（７１）するステップと、
を備え、
イントラ予測モードの前記集合（７２）の各々について、前記ニューラルネットワーク（８０）または１つ以上の線形関数のシーケンスは、請求項５５に記載の方法によって取得される、方法。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本出願は、ＨＥＶＣまたはＨＥＶＣの任意の後継などのビデオコーデックで使用可能なものなどのブロック単位の画像符号化のための改善されたイントラ予測モード概念に関する。
【背景技術】
【０００２】
イントラ予測モードは、画像およびビデオ符号化で広く使用されている。ビデオ符号化では、イントラ予測モードは動き補償予測モードなどのインター予測モードなどその他の予測モードと競合する。イントラ予測モードでは、現在のブロックは、隣接サンプル、すなわちエンコーダ側に関する限り既にエンコードされ、デコーダ側に関する限り既にデコードされているサンプルに基づいて、予測される。率直に言えば、隣接サンプル値は、現在のブロックのデータストリームで予測残差を送信して現在のブロックの予測信号を形成するように、現在のブロックに外挿される。予測信号が良好であるほど予測残差が低くなり、したがって予測残差を符号化するために必要なビット数が少なくなる。
【０００３】
効果的であるためには、ブロック単位の画像符号化環境でのイントラ予測に効果的なフレームワークを形成するために、いくつかの態様を考慮すべきである。たとえば、コーデックによってサポートされるイントラ予測モードの数が大きいほど、デコーダに選択を通知するためのサイド情報レート消費が大きくなる。一方、サポートされるイントラ予測モードの集合は、良好な予測信号、すなわち低予測残差となる予測信号を提供できるべきである。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本出願は、改善されたイントラ予測モード概念を使用する場合にブロック単位の画像コーデックのより効率的な圧縮を可能にするイントラ予測モード概念を提供しようとするものである。
【課題を解決するための手段】
【０００５】
この目的は、本出願の独立請求項の主題によって達成される。
【０００６】
本出願の第１の態様によれば、改善された圧縮効率は、現在のブロックの隣接サンプルの集合をニューラルネットワークに適用することによって画像の現在のブロックのイントラ予測信号が決定されるイントラ予測モードの集合をブロック単位の画像コーデックにサポートさせることによって、実現される。この集合は、完全にサポートされた複数のイントラ予測モード、または単にその適切な小集合を形成し得る。サポートされた複数のイントラ予測モードのうち、１つは現在のブロック向けに選択され、現在のブロックは１つのイントラ予測モード、すなわち選択されたものを使用して予測される。データストリームには、選択されたイントラ予測モードを示す、現在のブロックのインデックスが提供され得る。ブロック単位の画像コーデックに、その間で現在のブロックの選択が実行される２つ以上のニューラルネットワークベースイントラ予測モードを提供することで、より高い尤度で特定のブロックのために予測誤差の低い予測信号を見つけるように、これらのニューラルネットワークベースイントラ予測モードを設計できるようにする。加えて、ニューラルネットワークイントラ予測モード設計は、イントラ予測モード選択のサイド情報が費やされた場合に、このサイド情報オーバヘッドが低く維持され得るような方法で実行され得る。これは、イントラ予測モード設計が、イントラ予測画像ブロック間で選択頻度が相互に異なるようにニューラルネットワークベースイントラ予測モードを自由に生成できる、という事実によって実現可能となる。言い換えると、複数のニューラルネットワークベースイントラ予測モードを費やすことにより、これらのモードの設計は、これらの統計的な選択頻度がエントロピー符号化を招くように選択信号伝達に適合するようなやり方で、ヒューリスティックに設計されたイントラ予測モード集合からの選択と比較してより低いサイド情報オーバヘッドを感知できるようになる。たとえば、選択されたイントラ予測モードを指すインデックスは、可変長コードを使用して、またはエントロピー符号化を使用して符号化されてもよく、ニューラルネットワークベースイントラ予測モードは、イントラ予測モード間のモード選択のための平均信号伝達オーバヘッドが減少または最小化されるように、それらの選択頻度または頻度分布が可変長コードに適合するような、またはそれらの頻度分布がエントロピーコードの基礎となるサンプル統計に適合するような方法で、設計されてもよい。
【０００７】
本出願の第２の態様は、ニューラルネットワークベースイントラ予測モードを費やすのに加えて、またはこれに代えて、イントラ予測モードの集合を含むかまたはこれと一致する複数のイントラ予測モードから１つのイントラ予測モードを選択するために使用されるランクまたは確率値を隣接サンプルの集合に適用することによってイントラ予測モードの集合の各々のランクまたは確率値を決定するための専用のニューラルネットワークの使用により、モード選択がより効率的になり得ることである。イントラ予測モードから選択するためのサイド情報オーバヘッドは、完全に除外されるか、またはニューラルネットワークを使用することによってより効率的になり得る。
【０００８】
上述のニューラルネットワークの設計に関する限り、本出願は、そのパラメータを適切に決定するための多くの実施形態を提供する。
【０００９】
本出願の有利な実装は、従属請求項の主題である。本出願の好適な実施形態は、以下の図面を参照して後述される。
【図面の簡単な説明】
【００１０】
【図１】本出願の実施形態が実装され得る一般的な例として、画像をデータストリームにエンコードするためのエンコーダを示す概略ブロック図である。
【図２】図１によるエンコーダのより具体的な例のブロック図である。
【図３】図１のエンコーダに適合し、本出願の実施形態が実装され得るデコーダの一例として役立つデコーダを示す概略ブロック図である。
【図４】図２のエンコーダに適合する、図３のデコーダのより具体的な例のブロック図である。
【図５】イントラ予測を使用してブロックを処理することに関する本出願の実施形態によるエンコーダおよびデコーダにおける動作モードを示す概略図である。
【図６】いくつかのニューラルネットワークベースイントラ予測モードを備える本出願の実施形態によるデコーダを示す概略ブロック図である。
【図７ａ】使用されるイントラ予測モードがニューラルネットワークベースイントラ予測モードの集合の要素であるか否かを示すフレックと共に、データストリーム内でインデックスをニューラルネットワークベースイントラ予測モードの順序リスト内に送信しながら、ニューラルネットワークベースイントラ予測モードおよびこれらのモードのニューラルネットワークベースの順序付けをサポートする実施形態による、エンコーダおよびデコーダの動作モードを示す概略図である。言うまでもなく、異なる頻度が決定９０によって決定されることを利用するように、インデックスは可変長符号化を使用して符号化され得る。
【図７ｂ】フレック信号伝達が使用されない点で図７ａとは異なる概略図である。
【図７ｃ】モード順序付けがニューラルネットワークを使用して制御されない点で図７ｂとは異なる概略図である。
【図７ｄ】モード信号伝達におけるニューラルネットワーク支援がモード順序付けではなくエントロピーエンコード／デコードにおける確率分布推定の制御に使用される点で、図７ａとは異なる概略図である。
【図８】一実施形態によるニューラルネットワークベースイントラ予測モードの集合を設計するための装置を示す図である。
【図９ａ】ニューラルネットワークベースであるか否かにかかわらずサポートされたイントラ予測モードを順序付けるためにニューラルネットワークが使用される実施形態による、エンコーダおよびデコーダの動作モードを示す概略図である。
【図９ｂ】サポートされたイントラ予測モードの集合へのインデックスのエントロピーデコード／エンコードの確率分布推定を制御するためにニューラルネットワークベースが使用される点で、図９ａとは異なる概略図である。
【図１０】一実施形態によるブロック単位の画像符号化のためにイントラ予測モードの集合の中から支援および選択するためのニューラルネットワークを設計するための装置を示す図である。
【発明を実施するための形態】
【００１１】
以下、イントラ予測を使用するときのより効果的な圧縮の実現を支援する様々な実施形態が記載される。いくつかの実施形態は、ニューラルネットワークベースのイントラ予測モードの集合を費やすことによって圧縮効率の増加を実現する。後者のものは、たとえばヒューリスティックに設計された別のイントラ予測モードに追加されてもよく、または排他的に提供されてもよい。別の実施形態は、複数のイントラ予測モード間の選択を実行するために、ニューラルネットワークを使用する。そしてさらに別の実施形態は、今議論されたばかりの特徴の両方を利用する。
【００１２】
本出願の以下の実施形態の理解を容易にするために、後に概説される本出願の実施形態が組み込まれる、可能なエンコーダおよびこれに適合するデコーダの提示から、説明を始める。図１は、画像１０をデータストリーム１２にブロック単位でエンコードするための装置を示す。装置は、参照符号１４を使用して示されており、静止画像エンコーダまたはビデオエンコーダであり得る。言い換えると、画像１０は、エンコーダ１４が、画像１０を含むビデオ１６をデータストリーム１２にエンコードするように構成されているときにビデオ１６からの現在の画像であってもよく、またはエンコーダ１４が画像１０をデータストリーム１２に排他的にエンコードしてもよい。
【００１３】
前述のように、エンコーダ１４は、ブロック単位で、またはブロックベースで、エンコードを実行する。これに対して、エンコーダ１４は画像１０をブロックに細分し、この単位でエンコーダ１４は画像１０をデータストリーム１２にエンコードする。画像１０のブロック１８への可能な細分化の例は、以下により詳細に明記される。一般に、細分化は、一定サイズのブロック１８となる可能性があり、これは行および列に配置されたブロックのアレイを示唆しており、または画像１０の画像領域全体または画像１０の予備分割からツリーブロックのアレイへのマルチツリー細分化を開始する階層的マルチツリー細分化の使用などによって異なるブロックサイズのブロック１８となる可能性もあるが、これらの例は、画像１０をブロック１８に細分化する他の可能な方法を除外するように扱われるものではない。
【００１４】
さらに、エンコーダ１４は、画像１０を予測的にデータストリーム１２にエンコードするように構成された予測エンコーダである。特定のブロック１８では、これは、エンコーダ１４がブロック１８の予測信号を決定して、予測残差、すなわち予測信号がブロック１８内の実際の画像コンテンツから逸脱する予測残差を、データストリーム１２にエンコードすることを意味する。
【００１５】
エンコーダ１４は、特定のブロック１８の予測信号を導出するように異なる予測モードをサポートし得る。以下の実施形態において重要となる予測モードは、ブロック１８の内部が画像１０の隣接する既にエンコードされたサンプルから空間的に予測される、イントラ予測モードである。画像１０のデータストリーム１２へのエンコード、および相応に対応するデコード手順は、ブロック１８の間で定義された特定の符号化順序２０に基づくことができる。たとえば、符号化順序２０は、たとえば左から右へ各行を横断して上から下まで行単位などのラスタ走査順序でブロック１８を横断してもよい。階層的マルチツリーベースの細分化の場合、ラスタ走査順序は各階層レベル内で適用されてもよく、ここで深さ優先横断順序が適用されてもよく、すなわち特定の階層レベルのブロック内のリーフノートが、符号化順序２０にしたがって同じ親ブロックを有する同じ階層レベルのブロックに先行してもよい。符号化順序２０に応じて、ブロック１８の隣接する既にエンコードされたサンプルは、通常、ブロック１８の１つ以上の側に配置され得る。本明細書に提示される例の場合、たとえば、ブロック１８の隣接する既にエンコードされたサンプルは、ブロック１８の上に、および左に配置されている。
【００１６】
イントラ予測モードは、エンコーダ１４によってサポートされる唯一のものでなくてもよい。たとえば、エンコーダ１４がビデオエンコーダである場合、エンコーダ１４はまた、ビデオ１６の以前にエンコードされた画像からブロック１８が一時的に予測されるイントラ予測モードもサポートし得る。このようなイントラ予測モードは動き補償予測モードであってもよく、これにしたがって、ブロック１８の予測信号が複製として導出される部分の相対空間オフセットを示すこのようなブロック１８について、動きベクトルが通知される。加えて、または代わりに、エンコーダ１４がマルチビューエンコーダである場合のインタービュー予測モード、またはブロック１８の内部がそのまま、すなわちいかなる予測もなしに符号化される非予測モードなど、その他の非イントラ予測モードもまた利用可能であり得る。
【００１７】
本出願の説明の焦点をイントラ予測モードに合わせることから始める前に、図２に関連して記載されるように、可能なブロックベースのエンコーダ、すなわちエンコーダ１４の可能な実装の、より具体的な実施形態であり、次いでそれぞれ図１および図２に適合するデコーダの２つの対応する実施形態を提示する。
【００１８】
図２は、図１のエンコーダ１４の可能な実装、すなわち、これはほぼ一例であって本出願はこの種の予測残差符号化に限定されないものの、エンコーダが予測残差をエンコードするための変換符号化を使用するように構成されているものを示す。図２によれば、エンコーダ１４は、その後予測残差エンコーダ２８によってデータストリーム１２にエンコードされる予測残差信号２６を取得するように、インバウンド信号、すなわち画像１０、またはブロックベースで現在のブロック１８から対応する予測信号２４を減算するように構成された、減算器２２を備える。予測残差エンコーダ２８は、非可逆符号化段２８ａおよび可逆符号化段２８ｂから構成される。非可逆段２８ａは、予測残差信号２６を受信し、予測残差信号２６のサンプルを量子化する量子化器３０を備える。既に上記で述べられたように、本例は、予測残差信号２６の変換符号化を使用し、したがって、非可逆符号化段２８ａは、残差信号２６を表す変換された係数で行われる量子化器３０の量子化でこのようなスペクトル分解予測残差２６を変換するように、減算器２２と量子化器３０との間に接続された変換段３２を備える。変換は、ＤＣＴ、ＤＳＴ、ＦＦＴ、アダマール変換などであり得る。次に、変換および量子化された予測残差信号３４は、量子化された予測残差信号３４をデータストリーム１２にエントロピー符号化するエントロピーコーダである可逆符号化段２８ｂによって、可逆符号化を受ける。エンコーダ１４は、変換および量子化された予測残差信号３４から予測残差信号をデコーダでも利用可能な方法で再構成するように、量子化器３０の出力に接続された予測残差信号再構成段３６をさらに備え、すなわち符号化損失は量子化器３０であることを考慮している。この目的のため、予測残差再構成段３６は、量子化器３０の量子化の逆を実行する逆量子化器３８を備え、上述の特定の変換例のいずれかの逆などのスペクトル分解の逆など、変換器３２によって実行される変換に対する逆変換を実行する逆変換器４０がこれに続く。エンコーダ１４は、再構成された信号すなわち再構成例を出力するように、逆変換器４０による出力として再構成された予測残差信号および予測信号２４を加算する加算器４２を備える。この出力は、後にこれに基づいて予測信号２４を決定するエンコーダ１４の予測器４４に供給される。図１に関して既に上記で論じられた全ての予測モードをサポートするのは、予測器４４である。図２はまた、エンコーダ１４がビデオエンコーダである場合に、エンコーダ１４はまた、フィルタリングされた後にインター予測ブロックに対して予測器４４の基準画像を形成する完全に再構成された画像をフィルタリングするインループフィルタ４６も備え得ることを示している。
【００１９】
既に上述したように、エンコーダ１４はブロックベースで動作する。後続の説明では、対象のブロックベースは、画像１０をブロックに細分するものであり、このために、イントラ予測モードは、それぞれ予測器４４またはエンコーダ１４によってサポートされた集合または複数のイントラ予測モードから選択され、選択されたイントラ予測モードが個別に実行される。しかしながら、画像１０が細分される他の種類のブロックもまた存在し得る。たとえば、画像１０がインター符号化されるかイントラ符号化されるかという上述の決定は、ブロック１８から逸脱する粒度またはブロックの単位で行われてもよい。たとえば、インター／イントラモード決定は、画像１０が細分される符号化ブロックのレベルで実行されてもよく、各符号化ブロックは予測ブロックに細分される。イントラ予測が使用されると決定されたエンコードブロックを有する予測ブロックは、イントラ予測モード決定に各々細分される。これに対して、これらの予測ブロックの各々について、どのサポートされたイントラ予測モードがそれぞれの予測ブロックに使用されるべきかが決定される。これらの予測ブロックは、ここで対象となるブロック１８を形成する。インター予測に関連付けられた符号化ブロック内の予測ブロックは、予測器４４によって異なる扱い方をされる。これらは、動きベクトルを決定し、動きベクトルが指す基準画像内の場所からこのブロックの予測信号を複製することによって、基準画像からインター予測される。別のブロック細分化は、変換器３２および逆変換器４０による変換が実行される単位での変換ブロックへの細分化に関する。変換されたブロックは、たとえば、符号化ブロックをさらに細分化した結果であり得る。当然ながら、本明細書に明記される例は限定的なものとして扱われるべきではなく、他の例もまた存在する。完全性のためにのみ、符号化ブロックへの細分化は、たとえばマルチツリー細分化を使用してもよく、予測ブロックおよび／または変換ブロックは、やはりマルチツリー細分化を使用して符号化ブロックをさらに細分化することによって得られることに、留意する。
【００２０】
図１のエンコーダ１４に適合するブロック単位デコードのためのデコーダまたは装置が、図３に示されている。このデコーダ５４はエンコーダ１４の逆を行い、すなわちこれはデータストリーム１２からブロック単位で画像１０をデコードし、この目的のために、複数のイントラ予測モードをサポートする。図１に関して上記で論じられたその他全ての可能性は、デコーダ５４に対しても有効である。これに対して、デコーダ５４は、静止画像デコーダまたはビデオデコーダであってもよく、全ての予測モードおよび予測可能性もまた、デコーダ５４によってサポートされる。エンコーダ１４とデコーダ５４との違いは主に、たとえば、符号化レートおよび／または符号化歪みに依存し得る何らかのコスト関数を最小化するために、何らかの最適化の示唆にしたがってエンコーダ１４が符号化決定を選ぶまたは選択するという事実にある。これらの符号化オプションまたは符号化パラメータの１つは、利用可能またはサポートされたイントラ予測モードの中で現在のブロック１８に使用すべきイントラ予測モードの選択を含み得る。次に、選択されたイントラ予測モードは、データストリーム１２内の現在のブロック１８についてエンコーダ１４によって通知されてもよく、デコーダ５４はブロック１８についてデータストリーム１２内のこの信号伝達を使用して選択をやり直す。同様に、ブロック１８への画像１０の細分化は、エンコーダ１４内で最適化を受けてもよく、対応する細分化情報はデータストリーム１２内で搬送され、デコーダ５４は細分化情報に基づいてブロック１８への画像１０の細分化を回復してもよい。上記を要約すると、デコーダ５４はブロックベースで動作する予測デコーダであってもよく、イントラ予測モードに加えて、デコーダ５４は、たとえばデコーダ５４がビデオデコーダである場合、インター予測モードなどの別の予測モードをサポートしてもよい。デコードにおいて、デコーダ５４はまた、図１に関して上記で論じられた符号化順序２０を使用してもよく、この符号化順序２０はエンコーダ１４およびデコーダ５４の両方で従われるので、エンコーダ１４およびデコーダ５４の両方で同じ隣接サンプルが現在のブロック１８に利用可能である。したがって、不要な繰り返しを回避するために、画像１０のブロックへの細分化に関する限り、たとえば予測に関する限り、および予測残差の符号化に関する限り、エンコーダ１４の動作モードの説明がデコーダ５４にも適用される。違いは、エンコーダ１４が最適化によっていくつかの符号化オプションまたは符号化パラメータを選択して、データストリーム１２内で、またはデータストリーム１２内に、符号化パラメータを通知または挿入し、これはその後、予測、細分化などをやり直すように、デコーダ５４によってデータストリーム１２から導出される、という事実にある。
【００２１】
図４は、図３のデコーダ５４の可能な実装、すなわち図２に示されるような図１のエンコーダ１４の実装に適合するものを示す。図４のエンコーダ５４の多くの要素は図２の対応するエンコーダで生じるものと同じなので、これらの要素を示すために、図４ではアポストロフィを付けた同じ参照符号が使用される。特に、加算器４２’、オプションのインループフィルタ４６’、および予測器４４’は、図２のエンコーダと同じ方法で予測ループ内に接続される。追加４２’に適用される、再構成、すなわち逆量子化および再変換された予測残差信号は、エントロピーエンコーダ２８ｂのエントロピー符号化を逆転するエントロピーデコーダ５６のシーケンスによって導出され、エンコード側の場合とまったく同じように、逆量子化器３８’および逆変換器４０’から構成された残差信号再構成段３６’がこれに続く。デコーダの出力は、画像１０の再構成である。画像１０の再構成は、加算器４２’の出力で、または代わりにインループフィルタ４６’の出力で、直接利用可能であり得る。画質を改善するために画像１０の再構成に何らかのポストフィルタリングを施すために、デコーダの出力に何らかのポストフィルタが配置されてもよいが、このオプションは図４に示されていない。
【００２２】
繰り返すが、図４に関して、図２に関して上記で述べられた説明は、エンコーダのみが符号化オプションに関して最適化タスクおよび関連する決定を実行することを除き、図４にも適用される。しかしながら、ブロック細分化、予測、逆量子化、および再変換に関する全ての説明もまた、図４のデコーダ５４に適用される。
【００２３】
本出願の可能な実施形態の説明を進める前に、上記の例に関していくつかの注記が行われる。上記では明示的に述べられていないが、ブロック１８がいずれの形状を有してもよいことは明白である。これはたとえば、長方形または二次形状であってもよい。また、エンコーダ１４およびデコーダ５４の動作モードの上記説明はしばしば「現在のブロック」１８に言及するものの、イントラ予測モードが選択される各ブロックについてエンコーダ１４およびデコーダ５４が相応に動作することは、明白である。上述のように、他のブロックもあってもよいが、以下の説明は、イントラ予測モードが選択される、画像１０が細分されるこれらのブロック１８に焦点を当てる。
【００２４】
イントラ予測モードが選択される特定のブロック１８の状況を要約するために、図５が参照される。図５は、現在のブロック１８、すなわち現在エンコードまたはデコードされているブロックを示す。図５は、隣接サンプル６２、すなわち空間的に隣接するブロック１８を有するサンプル６２の集合６０を示す。ブロック１８内のサンプル６４は、予測されるべきである。したがって、導出される予測信号は、ブロック１８内の各サンプル６４の予測である。既に上記で論じられたように、各ブロック１８について複数６６の予測モードが利用可能であり、ブロック１８がイントラ予測される場合、この複数６６のモードは単にインター予測モードを備える。隣接サンプル集合６０に基づいてブロック１８の予測信号を予測７１するために使用される複数６６からイントラ予測モードの１つを決定するために、エンコーダ側およびデコーダ側で選択６８が実行される。以下でさらに説明される実施形態は、利用可能なイントラ予測モード６６に関して異なっており、選択６８に関する動作モードは、たとえば、ブロック１８に関する選択６８に関してデータストリーム１２内でサイド情報が設定されるか否かを示唆する。しかしながら、これらの実施形態の説明は、数学的な詳細を提供する具体的説明から始まる。この最初の実施形態によれば、イントラ予測される特定のブロック１８の選択は、対応するサイド情報信号伝達７０およびデータストリームに関連付けられており、複数６６のイントラ予測モードは、ニューラルネットワークベースイントラ予測モードの集合７２ならびにヒューリスティック設計のさらなるイントラ予測モードの集合７４を備える。モード７４のイントラ予測モードの１つは、たとえば、いくつかの平均値が隣接サンプル集合６０に基づいて決定されてこの平均値がブロック１８内の全てのサンプル６４に割り当てられる、ＤＣ予測モードであってもよい。加えて、または代わりに、集合７４は、角度インター予測モードと呼ばれ得るインター予測モードを備えてもよく、これにしたがって、隣接サンプル集合６０のサンプル値は特定のイントラ予測方向に沿ってブロック１８内に複製され、このイントラ予測方向は、このような角度イントラ予測モード間で異なる。図５は、データストリーム１２が、複数６６のイントラ予測モードからの選択６８に関して任意選択的に存在するサイド情報７０に加えて、上記で論じられたように、符号化でエンコードされた予測残差が変換ドメインにおける量子化を伴う変換符号化を任意選択的に含む部分７６を備えることを、示している。
【００２５】
特に、本出願の特定の実施形態の以下の説明の理解を容易にするために、図６は、エンコーダおよびデコーダにおけるイントラ予測ブロックの一般的な動作モードを示す。図６は、それに基づいてイントラ予測が実行される隣接サンプル集合６０と共に、ブロック１８を示す。なお、この集合６０は、濃度、すなわちブロック１８の予測信号を決定するためのそれぞれのイントラ予測モードにしたがって実際に使用される集合６０のサンプルの数に関して、複数６６のイントラ予測モードのイントラ予測モード間で異なる可能性があることに、留意すべきである。しかしながら、理解を容易にするために、これは図６には示されていない。図６は、エンコーダおよびデコーダが、集合７２のニューラルネットワークベースイントラ予測モードの各々について１つのニューラルネットワーク８００から８０ＫＢ−１を有することを示している。集合６０は、集合７２の間で対応するイントラ予測モードを導出するように、それぞれのニューラルネットワークに適用される。これに加えて、図６は、入力、すなわち隣接サンプルの集合６０に基づいて、集合７４の１つ以上のイントラ予測モードの１つ以上の予測信号、たとえばＤＣモード予測信号および／または角度イントラ予測モード予測信号を提供するものとして、１つのブロック８２をむしろ代表的に示す。以下の説明は、ｉ＝０…ＫＢ−１を有するニューラルネットワーク８０ｉのパラメータがどのようにして有利に決定され得るかについて示す。以下に明記される特定の実施形態はまた、集合６０と一致してもしなくてもよい隣接サンプルの集合８６に基づいて、集合７２の各ニューラルネットワークベースイントラ予測モードの確率値を提供するための専用の別のニューラルネットワーク８４を、エンコーダおよびデコーダに提供する。ニューラルネットワーク８４がモード選択のためのサイド情報７０をより効果的にするのを支援するときにこのように提供される確率値。たとえば、以下に説明される実施形態では、イントラ予測モードのうちの１つを指すために可変長コードが使用され、少なくとも集合７２に関する限り、ニューラルネットワーク８４によって提供された確率値は、集合７２内のニューラルネットワークベースイントラ予測モードのためのニューラルネットワーク８４によって出力された確率値にしたがって順序付けられたイントラ予測モードの順序リストへのインデックスとして、サイド情報７０内の可変長コードを使用できるようにし、これによりサイド情報７０の符号化率を最適化または低下させることが、想定される。これに対して、図６に示されるように、モード選択６８は、さらなるニューラルネットワーク８４によって提供される確率値、ならびにデータストリーム１２内のサイド情報７０の両方に基づいて、効果的に実行される。
【００２６】
１．イントラ予測を実行するニューラルネットワークのパラメータをトレーニングするアルゴリズム
2020537445.tif 000346
をビデオフレームのブロック、すなわちブロック１８とする。
2020537445.tif 000347
は
2020537445.tif 000348
個のピクセルを有すると仮定する。固定色成分では、
2020537445.tif 000349
を
2020537445.tif 000350
のビデオ信号のコンテンツとする。
2020537445.tif 000351
を
2020537445.tif 000352
の要素と見なす。
2020537445.tif 000353
個のピクセルを有し、既に再構成された画像
2020537445.tif 000354
が入手可能な
2020537445.tif 000355
の近傍
2020537445.tif 000356
、すなわちサンプル集合６０および８６が存在すると仮定するが、これらはあるいは異なってもよい。イントラ予測関数とは、関数
2020537445.tif 000357
を意味する。
2020537445.tif 000358
を
2020537445.tif 000359
の予測器と見なす。
【００２７】
次に説明されるのは、データ駆動型の最適化アプローチを介して、典型的なハイブリッドビデオ符号化規格、すなわち集合７２で生じる可能性のあるいくつかのブロック
2020537445.tif 000360
のイントラ予測関数を設計するためのアルゴリズムである。この目標を達成するために、以下の主要な設計上の特徴を考慮した。
【００２８】
１．実施する最適化アルゴリズムにおいて、予測残差を通知するために費やすと予想できるビット数を特に含むコスト関数の適切な近似値を使用したい。
【００２９】
２．異なる信号特性を処理できるようにするために、いくつかのイントラ予測を共同でトレーニングしたい。
【００３０】
３．イントラ予測をトレーニングするとき、どのイントラモードが使用されるべきかを通知する必要があるビット数を考慮しなければならない。
【００３１】
４．既に定義されたイントラ予測、たとえばＨＥＶＣイントラ予測の集合を維持し、補完的予測として我々の予測をトレーニングしたい。
【００３２】
５．典型的なハイブリッドビデオ符号化規格は通常、所与のブロック
2020537445.tif 000361
が分割され得るいくつかのブロック形状をサポートする。
【００３３】
次の４つのセクションでは、これらの要件の各々にどのように対処し得るかが説明される可能性がある。より正確には、セクション１．１では、最初のアイテムにどのように対処するかを説明する。セクション１．２では、アイテム２から３をどのように処理するかが説明される。セクション１．４では、アイテム４をどのように考慮するかが説明される。最後に、セクション１．５では、最後のアイテムにどのように対処するかが説明される。
【００３４】
１．１  ビデオコーデックのレート関数に近似する損失関数をトレーニングするためのアルゴリズム
ビデオコーデックで使用される既知のパラメータを決定するためのデータ駆動型のアプローチは、通常、トレーニング例の所与の集合に対する所定の損失関数を最小化しようとする最適化アルゴリズムとして設定される。通常、数値最適化アルゴリズムが実際に機能するために、後者の損失関数は、いくつかの平滑度要件を満たすべきである。
【００３５】
一方、ＨＥＶＣのようなビデオエンコーダは、レート歪みコスト
2020537445.tif 000362
を最小化することによって決定を行うときに最適に機能する。ここで、
2020537445.tif 000363
はデコードされたビデオ信号であり、
2020537445.tif 000364
はレート、すなわちビデオ信号を符号化するために必要なビット数である。また、
2020537445.tif 000365
は、選択された量子化パラメータに依存するラグランジュパラメータである。
【００３６】
真の関数
2020537445.tif 000366
は、典型的には非常に複雑であり、データ駆動型の最適化アルゴリズムに供給できる閉じた式では与えられない。したがって、関数
2020537445.tif 000367
全体、または少なくともレート関数
2020537445.tif 000368
のいずれかを、区分ごとの平滑な関数によって近似させる。
【００３７】
より正確には、以前のように、
2020537445.tif 000369
をビデオフレーム１０の所与のブロック１／とし、
2020537445.tif 000370
を固定色成分中の
2020537445.tif 000371
における対応するビデオ信号とする。
2020537445.tif 000372
は
2020537445.tif 000373
個のピクセルを有すると仮定する。次に、予測候補
2020537445.tif 000374
について、予測残差
2020537445.tif 000375
を検討する。所与の量子化パラメータおよび所与の変換について、
2020537445.tif 000376
を、真のビデオエンコーダが
2020537445.tif 000377
の量子化変換を通知するために必要なレートとする。また、
2020537445.tif 000378
を、
2020537445.tif 000379
の逆量子化および逆変換によって生じる再構成誤差とする。次に、
2020537445.tif 000380
が
2020537445.tif 000381
の適切な近似値として機能し、
2020537445.tif 000382
が
2020537445.tif 000383
の適切な近似値として機能するように、区分ごとに平滑な関数
2020537445.tif 000384
を決定したい。
【００３８】
何らかの
2020537445.tif 000385
を固定し、所定の「アーキテクチャ」、すなわち区分ごとの平滑な関数
2020537445.tif 000386
を固定し、次いで
2020537445.tif 000387
を求めて、関数
2020537445.tif 000388
および
2020537445.tif 000389
を
2020537445.tif 000390
としてモデル化する。
【００３９】
重み
2020537445.tif 000391
および
2020537445.tif 000392
を決定するために、所与のハイブリッドビデオ符号化規格を使用する典型的なエンコーダ上で、予測残差
2020537445.tif 000393
、
2020537445.tif 000394
、および対応するレート歪み値
2020537445.tif 000395
のトレーニング例の巨大な集合を収集するが、それぞれ何らかの有限な大きいインデックス集合
2020537445.tif 000396
のレート値
2020537445.tif 000397
に過ぎない。次に、以下の式を最小化または少なくとも小さくするように、
2020537445.tif 000398
および
2020537445.tif 000399
を見出そうとする。
2020537445.tif 000400
このタスクでは、通常、（確率的）勾配降下アプローチを使用する。
【００４０】
１．２  固定ブロック形状の予測のトレーニング
このセクションでは、所与のブロック
2020537445.tif 000401
１８、ｓｔ７２のもの、および既に再構成されたサンプルの領域
2020537445.tif 000402
６０の
2020537445.tif 000403
イントラ予測を設計するために設定するアルゴリズムについて説明する。
【００４１】
我々の予測の所定の「アーキテクチャ」が与えられていると仮定する。これは、何らかの固定の
2020537445.tif 000404
について、関数
2020537445.tif 000405
（１）
が与えられること、および「重み」
2020537445.tif 000406
を決定したいことを意味し、こうして
2020537445.tif 000407
としてイントラ予測が与えられ、ここで
2020537445.tif 000408
について
2020537445.tif 000409
（２）
とする。
【００４２】
以下のセクションで、この点について詳細を述べる。（２）の関数は、図６のニューラルネットワーク８００〜８０ＫＢ−１を定義する。
【００４３】
次に、以下の第２パラメータ依存関数を使用して設計しようとしているイントラモードの信号伝達コストをモデル化する。
2020537445.tif 000410
（３）
ここでも、
2020537445.tif 000411
について、以下によって
2020537445.tif 000412
を定義する。
2020537445.tif 000413
（４）
再びセクション１．３で、図６のニューラルネットワーク８４を表す（４）の関数が例に与えられる。
【００４４】
以下の関数が与えられると仮定する。
2020537445.tif 000414
この関数は、たとえば、サイド情報７０に使用されるＶＬＣコード長分布、すなわちサイド情報７０によって集合７２のｃａｄ  ｐｏｎｉｔｅ  ｍｏｒｅに関連付けられたコード長を定義する。
【００４５】
次に、
2020537445.tif 000415
を
2020537445.tif 000416
によって定義する。
【００４６】
とりあえず、
2020537445.tif 000417
の
2020537445.tif 000418
番目の成分
2020537445.tif 000419
は、トレーニングする
2020537445.tif 000420
番目のイントラモードを通知するために必要とされるビット数をモデル化する。
2020537445.tif 000421
がセクション２．１で定義される関数である場合、所与の
2020537445.tif 000422
、再構成画像
2020537445.tif 000423
、および元の画像
2020537445.tif 000424
について、
2020537445.tif 000425
により、最小の
2020537445.tif 000426
を表し、その特性は全ての
2020537445.tif 000427
に対して
2020537445.tif 000428
とする。
2020537445.tif 000429
はイントラモードの信号伝達の真のビット数をモデル化するので、その勾配はゼロもしくは未定義である。したがって、
2020537445.tif 000430
のみでは、勾配降下ベースのアルゴリズムを介して重み
2020537445.tif 000431
を最適化するのに十分ではない。したがって、ソフトマックス関数を使用して関数
2020537445.tif 000432
を確率分布に変換することによって、イントラモードの交差エントロピーも呼び出す。後者の関数の定義を思い出す。
2020537445.tif 000433
について、
2020537445.tif 000434
に
2020537445.tif 000435
のｉ番目の成分を示させる。次に、ソフトマックス関数
2020537445.tif 000436
は、
2020537445.tif 000437
として定義される。
【００４７】
勾配の更新では、後者の確率分布に対して、残差のレートとモード
2020537445.tif 000438
の交差エントロピーとの合計を最小化しようと試みる。したがって、ブロック
2020537445.tif 000439
の損失関数
2020537445.tif 000440
を
2020537445.tif 000441
2020537445.tif 000442
（５）
として定義し、ここで
2020537445.tif 000443
である。
【００４８】
（５）の損失関数が与えられると、データ駆動型の最適化によって重み
2020537445.tif 000444
を決定する。したがって、有限な大きいインデックス集合
2020537445.tif 000445
について、
2020537445.tif 000446
での画像
2020537445.tif 000447
および
2020537445.tif 000448
での対応する再構成画像
2020537445.tif 000449
のトレーニング例の集合
2020537445.tif 000450
が与えられた場合、式
2020537445.tif 000451
（６）
を最小化する重み
2020537445.tif 000452
を見つけるために、たとえば（確率的）勾配降下法に基づいて、最適化アルゴリズムを適用する。
【００４９】
１．３  関数
2020537445.tif 000453
および
2020537445.tif 000454
の仕様
このセクションでは、関数
2020537445.tif 000455
および
2020537445.tif 000456
の形式をより正確に定義する。繰り返しになるが、ニューラルネットワーク８０および８４を定義するものがあることを思い出して欲しい。これらの関数の各々は、１）アフィン変換
2020537445.tif 000457
または２）非線形活性化関数
2020537445.tif 000458
のいずれかである関数の構成物のシーケンスからなる。
【００５０】
アフィン変換
2020537445.tif 000459
とは、
2020537445.tif 000460
の形式のマップを意味し、ここで
2020537445.tif 000461
は線形変換であり、すなわち全ての
2020537445.tif 000462
、
2020537445.tif 000463
について
2020537445.tif 000464
を満たし、
2020537445.tif 000465
である。各線形マップ
2020537445.tif 000466
は、
2020537445.tif 000467
の行列によって完全に決定され、すなわちベクトル
2020537445.tif 000468
に一意に対応する。したがって、各アフィン関数
2020537445.tif 000469
は、
2020537445.tif 000470
の重みによって、すなわちベクトル
2020537445.tif 000471
によって、完全に決定される。各
2020537445.tif 000472
について、前述の方法で
2020537445.tif 000473
に対応する一意のアフィン変換について
2020537445.tif 000474
を記述するものとする。
【００５１】
非線形活性化関数
2020537445.tif 000475
とは、
2020537445.tif 000476
の形式の関数を意味する。
【００５２】
ここで、
2020537445.tif 000477
は
2020537445.tif 000478
の
2020537445.tif 000479
番目の成分を示し、
2020537445.tif 000480
は
2020537445.tif 000481
の
2020537445.tif 000482
番目の成分を示す。最後に、
2020537445.tif 000483
は、
2020537445.tif 000484
（７）
の形式、または
2020537445.tif 000485
（８）
の形式であってもよいが、ただしこれらの例は、本出願の実施形態をこれらの明示的な例に限定するように解釈されるべきではない。
2020537445.tif 000486
またはその他いずれかの非線形関数などのその他の式も使用され得る。あるいは、たとえば
2020537445.tif 000487
は区分ごとの平滑な関数であってもよい。
【００５３】
これで、関数
2020537445.tif 000488
は以下のようになる。固定の
2020537445.tif 000489
では、
2020537445.tif 000490
、
2020537445.tif 000491
を用いる
2020537445.tif 000492
および
2020537445.tif 000493
が与えられるので、
2020537445.tif 000494
となる。
【００５４】
ここで、
2020537445.tif 000495
、
2020537445.tif 000496
、および
2020537445.tif 000497
は（１）の通りである。次に、
2020537445.tif 000498
を用いる
2020537445.tif 000499
について、
2020537445.tif 000500
を定義する。
【００５５】
したがって、
2020537445.tif 000501
は、パラメータ
2020537445.tif 000502
を使用してパラメータ化されたニューラルネットワーク８０ｉを記述する。これは、本例ではシーケンス内で交互に適用される、線形関数
2020537445.tif 000503
および非線形関数
2020537445.tif 000504
のシーケンスであり、パラメータ
2020537445.tif 000505
は、
2020537445.tif 000506
の線形関数の重みを備える。線形関数
2020537445.tif 000507
および非線形関数
2020537445.tif 000508
のシーケンスでは、線形関数
2020537445.tif 000509
とこれに続く非線形関数
2020537445.tif 000510
のペアは、たとえばｊ番目の層などのニューロン層を表し、ニューラルネットワークのフィードフォワード方向でこのニューロン層ｊに先行する先行ノードの数は、
2020537445.tif 000511
の次元ｍによって決定され、
2020537445.tif 000512
の列の数およびニューロン層ｊ自体のニューロンの数は、
2020537445.tif 000513
の次元ｎ、その行の数によって決定される。
2020537445.tif 000514
の各行は、それぞれ信号強度に関して制御する重みを組み込み、ｍ個の先行ニューロンの各々の活性化は、それぞれの行に対応するニューロン層ｊのそれぞれのニューロンに転送される。
2020537445.tif 000515
は、ニューロン層ｊの各ニューロンについて、それ自身の活性化への転送された先行ニューロン活性化のその線形結合の非線形マッピングを制御する。上記の例では、このようなニューロン層が
2020537445.tif 000516
個ある。層ごとのニューロンの数は異なってもよい。ニューロン層の数
2020537445.tif 000517
は、様々なニューラルネットワーク８０ｊの間で、すなわち異なるｊに対して、異なってもよい。なお、非線形関数は、ニューロン層ごとに、もしくはニューロンごとに、あるいはその他何らかの単位で、異なってもよいことに留意する。
【００５６】
同様に、関数
2020537445.tif 000518
は以下のようになる。固定の
2020537445.tif 000519
では、
2020537445.tif 000520
、
2020537445.tif 000521
を用いる
2020537445.tif 000522
および
2020537445.tif 000523
が与えられるので、
2020537445.tif 000524
となる。
【００５７】
ここで、
2020537445.tif 000525
、
2020537445.tif 000526
、および
2020537445.tif 000527
は（３）の通りである。次に、
2020537445.tif 000528
を用いる
2020537445.tif 000529
について、
2020537445.tif 000530
を定義する。
【００５８】
したがって、
2020537445.tif 000531
は、パラメータ
2020537445.tif 000532
を使用してパラメータ化されたニューラルネットワーク８４を記述する。これは、予測信号計算に関してニューロン層について上記で説明したように、線形関数
2020537445.tif 000533
および非線形関数
2020537445.tif 000534
のシーケンスとなる。ニューラルネットワーク８４のニューロン層の数
2020537445.tif 000535
は、ニューラルネットワーク８０ｉのニューロン層の数
2020537445.tif 000536
の１つ以上とは異なり得る。
【００５９】
１．４  既存の予測を考慮に入れたトレーニング
既に存在するイントラ予測を補完する予測をトレーニングできるように、前のセクションのアルゴリズムを拡張する。
【００６０】
つまり、
2020537445.tif 000537
を、既に利用可能な固定されたイントラ予測関数の集合とする。たとえば、
2020537445.tif 000538
は、ＨＥＶＣのＤＣ予測または平面予測、およびＨＥＶＣにしたがって定義された角度予測から構成され得る。これら全ての予測はまた、再構成されたサンプルの予備的な平滑化も含み得る。また、関数
2020537445.tif 000539
が与えられ、これにより、
2020537445.tif 000540
は、元の画像
2020537445.tif 000541
に与えられた
2020537445.tif 000542
に適用される
2020537445.tif 000543
番目のイントラ予測関数
2020537445.tif 000544
の損失をモデル化する。
【００６１】
次に、損失関数を、（５）から以下の損失関数に拡張する。
2020537445.tif 000545
（９）
2020537445.tif 000546
前のセクションの終わりからの注記を維持して、トレーニング例の大きい集合における
2020537445.tif 000547
（１０）
を最小化することによって、重み
2020537445.tif 000548
を決定する。
【００６２】
この目的のため、通常は最初に（６）を最適化することによって重みを見出し、次いで（１０）を最適化する重みを見出すためにこれらの重みで初期化する。
【００６３】
１．５  いくつかのブロック形状の予測の共同トレーニング
このセクションでは、典型的なビデオ符号化規格で、様々な方法でブロックをより小さいサブブロックに分割し、より小さいサブブロックに対してイントラ予測を実行することが通常は可能であることを、予測のトレーニングにおいてどのように考慮するかを説明した。
【００６４】
つまり、何らかの
2020537445.tif 000549
について、各
2020537445.tif 000550
が
2020537445.tif 000551
に隣接するように、許容可能なブロック
2020537445.tif 000552
の集合
2020537445.tif 000553
が、領域
2020537445.tif 000554
の集合と共に与えられると仮定する。通常、
2020537445.tif 000555
は、
2020537445.tif 000556
の左および上の２つの長方形の和集合である。
【００６５】
各
2020537445.tif 000557
について
2020537445.tif 000558
となるように、ブロック
2020537445.tif 000559
が存在すると仮定する。
2020537445.tif 000560
を
2020537445.tif 000561
のべき集合とする。次に、
2020537445.tif 000562
について、集合
2020537445.tif 000563
が与えられ、このため各
2020537445.tif 000564
についてブロック
2020537445.tif 000565
が直和
2020537445.tif 000566
として記述され得ると仮定する。
【００６６】
所与の色成分について、
2020537445.tif 000567
を
2020537445.tif 000568
の画像とし、限定により、これを各
2020537445.tif 000569
に対する
2020537445.tif 000570
の画像
2020537445.tif 000571
と見なす。また、
2020537445.tif 000572
の再構成画像
2020537445.tif 000573
が存在し、限定により、これを各
2020537445.tif 000574
に対する
2020537445.tif 000575
の画像
2020537445.tif 000576
と見なすと仮定する。
【００６７】
セクション１．２の注記を維持して、各
2020537445.tif 000577
について、
2020537445.tif 000578
個のイントラ予測関数
2020537445.tif 000579
の重みの集合として
2020537445.tif 000580
を求め、モード予測関数
2020537445.tif 000581
の重みとして
2020537445.tif 000582
を求める。全ての
2020537445.tif 000583
について、これらの重みを以下のようにまとめて決定する。
2020537445.tif 000584
および重み
2020537445.tif 000585
、
2020537445.tif 000586
、
2020537445.tif 000587
、
2020537445.tif 000588
の所与の集合について、
2020537445.tif 000589
とする。
【００６８】
また、
2020537445.tif 000590
について、
2020537445.tif 000591
を
2020537445.tif 000592
として定義する。
【００６９】
セクション１．４と同様に、各
2020537445.tif 000593
について、イントラ予測関数の空の可能性のある集合
2020537445.tif 000594
が利用可能であると仮定する。
2020537445.tif 000595
とする。
【００７０】
次に、損失関数
2020537445.tif 000596
を以下のように定義する。集合を含めることにより、集合
2020537445.tif 000597
に対して順序付け
2020537445.tif 000598
を行う。
2020537445.tif 000599
を、
2020537445.tif 000600
内の全ての極小元の集合とする。
2020537445.tif 000601
について、
2020537445.tif 000602
とし、ここで後者の関数は（９）と同様である。
【００７１】
次に、
2020537445.tif 000603
とし、
2020537445.tif 000604
は全ての
2020537445.tif 000605
について既に
2020537445.tif 000606
で定義されていると仮定する。
【００７２】
次に、
2020537445.tif 000607
2020537445.tif 000608
を定義する。
【００７３】
最後に、
2020537445.tif 000609
の画像
2020537445.tif 000610
のトレーニング例の固定集合
2020537445.tif 000611
と仮定して、
2020537445.tif 000612
を最小化するかまたは少なくとも小さくすることによって、
2020537445.tif 000613
、
2020537445.tif 000614
を決定する。
【００７４】
通常、最初に各
2020537445.tif 000615
について個別に（９）を最小化することによって、重み
2020537445.tif 000616
、
2020537445.tif 000617
を初期化する。
【００７５】
２  ビデオコーデックへのトレーニング済みニューラルネットワークの統合
所与の色成分について、所与のブロック
2020537445.tif 000618
のビデオ信号のコンテンツがデコーダによって生成される、ハイブリッドビデオ符号化規格を検討する。
2020537445.tif 000619
を
2020537445.tif 000620
のピクセル数とする。また、デコーダが自由に
2020537445.tif 000621
の再構成画像
2020537445.tif 000622
を有するように、
2020537445.tif 000623
を
2020537445.tif 000624
の固定された近傍とする。
2020537445.tif 000625
を
2020537445.tif 000626
のピクセル数とする。次に、
2020537445.tif 000627
を
2020537445.tif 000628
の要素と見なす。コーデックは、現在のブロック
2020537445.tif 000629
１０に対する予測符号化によって動作すると仮定する。次に、
2020537445.tif 000630
の要素と見なす
2020537445.tif 000631
の予測信号
2020537445.tif 000632
を生成するためにデコーダが実行できる以下のステップの著作権を主張する。
【００７６】
１．デコーダは、固定数
2020537445.tif 000633
、関数
2020537445.tif 000634
、すなわち８４、ならびに重み
2020537445.tif 000635
および重み
2020537445.tif 000636
を自由に有し、後者の重みは、前のセクションで説明されたトレーニングアルゴリズムによって事前に決定される。
【００７７】
２．デコーダは、ビットストリームから、サイド情報７０の一部であって以下のオプションのいずれかがまさに真であるか否かを示すフラグを再構成する：［ｌａｂｅｌ＝）
【００７８】
（ｉ）予測
2020537445.tif 000637
のうちの１つ、すなわち集合７２からのモードが使用され
【００７９】
（ｉｉ）予測
2020537445.tif 000638
のうちのいずれも、すなわち７４のうちの１つも使用されない、たとえば
ここでは、関数
2020537445.tif 000639
は（２）と同様である。
【００８０】
３．ステップ２のオプション２が真である場合、デコーダは、基礎となるハイブリッドビデオ符号化規格と同様に所与のブロック１０を進める。
【００８１】
４．ステップ２のオプション１が真である場合、デコーダは、（４）にしたがって定義された関数
2020537445.tif 000640
、すなわち８４を、再構成画像
2020537445.tif 000641
に適用する。
2020537445.tif 000642
を
2020537445.tif 000643
として定義する。次に、正確に以下の２つのオプションのうちの１つによってデコーダが数値
2020537445.tif 000644
を定義するように、規格が変更される。
【００８２】
（ｉ）デコーダは、
2020537445.tif 000645
によって集合
2020537445.tif 000646
の確率分布
2020537445.tif 000647
を定義し、データストリーム１２から基礎となる規格で使用されるエントロピー符号化エンジンを介してやはりサイド情報７０の一部であるインデックス
2020537445.tif 000648
を解析するために後者の確率分布
2020537445.tif 000649
を使用し、
2020537445.tif 000650
を定義する。
【００８３】
（ｉｉ）デコーダは、
2020537445.tif 000651
が全ての
2020537445.tif 000652
について
2020537445.tif 000653
を用いる最小数である
2020537445.tif 000654
を適用することによって、および
2020537445.tif 000655
が全ての
2020537445.tif 000656
で
2020537445.tif 000657
を有するような最小数である
2020537445.tif 000658
を適用することによって、順列
2020537445.tif 000659
を帰納的に定義する。
【００８４】
次に、デコーダは、ビットストリーム１２から、やはりデータストリーム１２の一部である一意のインデックス
2020537445.tif 000660
を再構成し、
2020537445.tif 000661
を適用する。
【００８５】
後者のインデックス
2020537445.tif 000662
を解析するためのコード設計では、
2020537445.tif 000663
である場合、およびエントロピー符号化エンジンによって使用される全ての関連する基礎となる確率が等しい確率に設定される場合に、インデックス
2020537445.tif 000664
に通知するために必要とされるビット数はインデックス
2020537445.tif 000665
に通知するためのビット数以下であることが要求される。
【００８６】
５．ステップ２のオプション１が真である場合、およびデコーダが前のステップ４にしたがってインデックス
2020537445.tif 000666
を決定した場合、デコーダは、予測信号
2020537445.tif 000667
を
2020537445.tif 000668
として、すなわち選択されたニューラルネットワーク８０ｍを使用して、生成７１する。次に、デコーダは、
2020537445.tif 000669
を予測信号として使用する、基礎となるハイブリッドビデオ符号化規格と同様に進行する。
【００８７】
その設計がデータ駆動型の学習アプローチに基づくイントラ予測関数の、既存のハイブリッドビデオコーデックへの統合。説明には２つの主要な部分があった。最初の部分では、イントラ予測関数のオフライントレーニングの具体的なアルゴリズムについて説明した。第２の部分では、所与のブロックの予測信号を生成するために、ビデオデコーダがどのように後者の予測関数を使用し得るかを説明した。
【００８８】
したがって、セクション１．１から２で上述したのは、とりわけ、データストリーム１２から画像１０をブロック単位でデコードするための装置である。装置５４は、少なくとも、現在のブロック１８の隣接サンプルの第１の集合６０をニューラルネットワーク８０ｉに適用することによって画像１０の現在のブロック１８のイントラ予測信号が決定されるイントラ予測モードの集合７２を備える、複数のイントラ予測モードをサポートする。装置５４は、現在のブロック１８について、複数６６のイントラ予測モードから１つのイントラ予測モードを選択６８するように構成されており、この１つのイントラ予測モードを使用して、すなわち選択された対応するニューラルネットワーク８０ｍを使用して、現在のブロック１８を予測７１する。セクション２で提示されたデコーダは、集合７２のニューラルネットワークベースのものに加えてサポートされた複数６６のイントラ予測モード内のイントラ予測モード７４を有していたが、これは単なる例であり、その通りでなくてもよい。さらに、セクション１および２における上記の説明は、デコーダ５４がさらなるニューラルネットワーク８４を使用せず、備えていない点において、異なってもよい。上記の最適化に関して、これは、
2020537445.tif 000670
を見出すためにセクション１．２で提示された内部品質における第２の加算器が、任意の確率値ニューラルネットワーク関数ＧＢに適用される関数ＭＢの連結である必要はないことを意味する。むしろ、選択の頻度がＭＢの符号化率表示に適切に従うような方法でニューラルネットワーク８０ｉの適切なパラメータを決定するものの最適化アルゴリズム。たとえば、デコーダ５４は、データストリーム１２から、可変長コードを使用してブロック１８のインデックスをデコードでき、このコード長はＭＢに示され、デコーダ５４はこのインデックスに基づいて選択６８を実行する。インデックスは、サイド情報７０の一部である。
【００８９】
セクション２で上述された説明のさらなる代替は、デコーダ５４が代わりに、データストリームの第１部分ではなく第２部分に応じてイントラ予測モードの順序リストから最終的に使用されるイントラ予測モードを選択してイントラ予測モードの順序リストを取得するために、現在のブロック１８の近傍に関連するデータストリームの第１部分に応じてニューラルネットワークベースイントラ予測モードの集合７２からランキングを導出し得ることである。「第１部分」は、たとえば、現在のブロック１８に隣接する１つ以上のブロックに関する符号化パラメータまたは予測パラメータに関連し得る。そして「第２部分」は、たとえば、ニューラルネットワークベースイントラ予測モード集合７２を指す、またはそのインデックスである、インデックスであり得る。上記で概説されたセクション２に沿って解釈すると、デコーダ５４は、イントラ予測モードの集合７２の各イントラ予測モードについて、集合７２の各イントラ予測モードのランクを決定するために、隣接サンプルの集合８６をこれに適用してこれらの確率値を順序付けることによって確率値を決定し、これによってイントラ予測モードの順序リストを取得する、さらなるニューラルネットワーク８４を備える。次に、サイド情報７０の一部としてのデータストリーム１２内のインデックスは、順序リストへのインデックスとして使用される。ここで、インデックスは、ＭＢがコード長を示す可変長コードを使用して符号化され得る。そしてセクション２で説明されたように、アイテム４ｉにおいて、さらなる代替実施形態によれば、デコーダ５４は、集合７２へのインデックスのエントロピー符号化を効率的に実行するように、集合７２の各ニューラルネットワークベースイントラ予測モードについてさらなるニューラルネットワーク８４によって決定された、たった今言及した確率値を使用し得る。特に、サイド情報７０の一部であって集合７２へのインデックスとして使用されるこのインデックスの記号アルファベットは、集合７２内のモードの各々について記号または値を備え、ニューラルネットワーク８４によって提供される確率値は、上記説明によるニューラルネットワーク８４設計の場合、これらの確率値が実際の記号統計を厳密に表すという点において、十分なエントロピー符号化をもたらす確率値を提供する。このエントロピー符号化では、たとえば、確率間隔区分エントロピー（ＰＩＰＥ）符号化などの算術符号化が使用され得る。
【００９０】
好ましくは、集合７２のイントラ予測モードのいずれにとっても追加の情報は必要ない。各ニューラルネットワーク８０ｉは、たとえばセクション１および２の上記説明にしたがってエンコーダおよびデコーダ向けに有利にパラメータ化されると、データストリームにおける追加のガイダンスをまったく伴わずに、現在のブロック１８の予測信号を導出する。既に上記で示したように、集合７２内のニューラルネットワークベースのもの以外の他のイントラ予測モードの存在は任意である。これらは、集合７４によって上記で示されている。これに関して、集合６０、すなわちイントラ予測７１への入力を形成する隣接サンプルのセットを選択する１つの可能な方法は、この集合６０が集合７４のイントラ予測モード、すなわちヒューリスティックなものに対して同じになるように選択され、ニューラルネットワークベースイントラ予測モードのための集合６０は、集合６０に含まれる隣接サンプルの数に関してより大きく、イントラ予測７１に影響を及ぼすことに、留意すべきである。言い換えると、集合６０の濃度は、集合７４の他のモードと比較して、ニューラルネットワークベースイントラ予測モード７２にとってより大きくなり得る。たとえば、集合７４のいずれかのイントラ予測モードの集合６０は、左と上などブロック１８の辺まで一緒に延在する一次元線に沿った隣接サンプルを単に備えてもよい。ニューラルネットワークベースイントラ予測モードの集合６０は、ブロック１８の上述の辺に沿って延在するが、集合７４のイントラ予測モードでは集合６０でのサンプル１つ分のみよりも広い、Ｌ字型部分をカバーする。このようにして、ニューラルネットワークベースイントラ予測モードは、相応に低い予測残差を有するより良いイントラ予測をもたらし得る。
【００９１】
セクション２で上述したように、データストリーム１２でイントラ予測されたブロック１８に搬送されるサイド情報７０は、一般にブロック１８の選択されたイントラ予測モードが集合７２の要素か集合７４の要素かを示すフレックを備え得る。しかしながら、このフレックは、たとえば、集合７２および７４の両方を含む複数６６のイントラ予測モード全体へのインデックスを示すサイド情報７０を有する、単なるオプションである。
【００９２】
たった今議論した代替は、以下において、図７ａから図７ｄに関して簡単に論じられる。図面は、デコーダおよびエンコーダの両方を同時に、すなわちイントラ予測されたブロック１８に関するそれらの機能の点から、定義する。イントラ符号化ブロック１８に関するエンコーダ動作モードとデコーダ動作モードとの違いは、一方では、エンコーダが、たとえば、何らかのコスト関数最小化の意味で最良のものを９０において決定するように、利用可能なイントラ予測モード６６の全てまたは少なくともいくつかを実行し、エンコーダはデータストリーム１２を形成する、すなわちそこに日付を符号化するが、デコーダは、それぞれデコードおよび読み取りをすることによってそこからデータを導出する、という事実である。図７ａは、上記で概説された代替の動作モードを示しており、これにしたがって、ブロック１８のサイド情報７０内のフラグ７０ａは、ステップ９０でエンコーダによってブロック１８の最良のモードであると決定されたイントラ予測モードが集合７２に含まれるか、すなわち、ニューラルネットワークベースイントラ予測モードであるか、または集合７４に含まれるか、すなわち非ニューラルネットワークベースイントラ予測モードの１つであるかを示す。エンコーダは、相応にデータストリーム１２にフラグ７０ａを挿入し、その一方でデコーダは、これをそこから回収する。図７ａは、決定されたイントラ予測モード９２が集合７２に含まれると仮定する。次に、別個のニューラルネットワーク８４は、集合７２の各ニューラルネットワークベースイントラ予測モードについて確率値を決定し、これらの確率値を使用して、集合７２、またはより正確にはその中のニューラルネットワークベースイントラ予測モードは、その確率値の降順など、確率値にしたがって順序付けられ、これにより、イントラ予測モードの順序リスト９４を生成する。次に、サイド情報７０の一部であるインデックス７０ｂは、エンコーダによってデータストリーム１２に符号化され、デコーダによってそこからデコードされる。したがって、デコーダは、集合７２および７４のどの集合かを決定できる。ブロック１８に使用されるイントラ予測モードは、集合７２に配置され、使用されるイントラ予測モードが集合７２内に配置される場合には、集合７２の順序付け９６を実行する。決定されたイントラ予測モードが集合７４内に配置される場合には、インデックスもまたデータストリーム１２で送信される可能性がある。したがって、デコーダは、選択６８を相応に制御することによって、決定されたイントラ予測モードを使用して、ブロック１８の予測信号を生成することができる。
【００９３】
図７ｂは、フラグ７０ａがデータストリーム１２内に存在しない代替を示す。代わりに、順序リスト９４は、集合７２のイントラ予測モードのみならず集合７４のイントラ予測モードも備えない。サイド情報７０内のインデックスは、このさらに大きい順序リストへのインデックスとなり、決定されたイントラ予測モード、すなわち最適化９０となるよう決定されたものを示す。ニューラルネットワーク８４が７２内でのみニューラルネットワークベースイントラ予測モードに確率値を提供する場合、集合７４のイントラ予測モードに対する集合７２のイントラ予測モードのランキングは、順序リスト９４内の集合７４のモードに先行するため、またはこれらを互いに交互に配置するために、集合７２のニューラルネットワークベースイントラ予測モードを必然的に配置するなど、他の手段によって決定されてもよい。つまり、デコーダは、データストリーム１２からインデックスを導出し、ニューラルネットワーク８４から出力された確率値を使用して複数のイントラ予測モード６６から順序リスト９４を導出して順序リスト９４へのインデックスとしてインデックス７０を使用することができる。図７ｃは、さらなる変形例を示す。図７ｃは、フラグ７０ａを使用しない場合を示すが、フラグは代替的に使用され得る。図７ｃが対象とする問題は、エンコーダもデコーダもニューラルネットワーク８４を使用しない可能性に関する。むしろ、順序付け９６は、１つ以上の隣接ブロック１８に関するデータストリーム１２、すなわちこのような１つ以上の隣接ブロックに関係するデータストリーム１２の部分９８で搬送される符号化パラメータなど、他の手段によって導出される。
【００９４】
図７ｄは、図７ａのさらなる変形例、すなわち、通常は参照符号１００を使用して示される、インデックス７０ｂがエントロピー符号化を使用して符号化され、エントロピーデコードを使用してデータストリーム１２からデコードされる変形例を示す。エントロピー符号化１００に使用されるサンプル統計または確率分布は、上記で説明されたように、ニューラルネットワーク８４によって出力された確率値によって制御され、これはインデックス７０ｂのエントロピー符号化を非常に効率的にする。
【００９５】
全ての実施形態７ａから７ｄについて、集合７４モードが存在しないことは事実である。したがって、それぞれのモジュール８２は欠落している可能性があり、フラグ７０ａはいずれにせよ不要である。
【００９６】
さらに、いずれの図にも示されていないが、エンコーダおよびデコーダにおけるモード選択６８は、いかなる明示的なシグナリング７０もなくても、すなわちいかなるサイド情報も費やさず、互いに同期できることが明らかである。むしろ、選択は、順序リスト９４の最初のものを必然的に取ることによって、または１つ以上の隣接ブロックに関する符号化パラメータに基づいて順序リスト９４へのインデックスを導出することによってなど、その他の手段から導出されることが可能である。図８は、ブロック単位の画像符号化に使用される集合７２のイントラ予測モードの集合を設計するための装置を示す。装置１０８は、ニューラルネットワーク８００から８０ＫＢ−１ならびにニューラルネットワーク８４のパラメータ化可能なバージョンを継承または備える、パラメータ化可能なネットワーク１０９を備える。ここで、図８では、個々のユニット、すなわち、ニューラルネットワークベースイントラ予測モード０の確率値を提供するためのニューラルネットワーク８４０からニューラルネットワークベースイントラ予測モードＫＢ−１に関連付けられた確率値を提供するためのニューラルネットワーク８４ＫＢ−１として示されている。ニューラルネットワーク８４をパラメータ化するためのパラメータ１１１およびニューラルネットワーク８００から８０ＫＢ−１をパラメータ化するためのパラメータ１１３は、アップデータ１１０によって、これらのニューラルネットワークのそれぞれのパラメータ入力に入力または適用される。装置１０８は、対応する隣接サンプル集合１１６と共に、リザーバまたは複数の画像テストブロック１１４へのアクセスを有する。これらのブロック１１４およびそれらの関連する隣接サンプル集合１１６のペアは、装置１０８によって順次使用される。特に、現在の画像テストブロック１１４は、ニューラルネットワーク８０が集合７２の各ニューラルネットワークベースイントラ予測モードに予測信号１１８を提供し、各ニューラルネットワーク８０がこれらのモードの各々に確率値を提供するように、パラメータ化可能なニューラルネットワーク１０９に適用される。この目的のために、これらのニューラルネットワークは、現在のパラメータ１１１および１１３を使用する。
【００９７】
上記の説明では、画像テストブロック１１４を示すためにｒｅｃが使用されており、
2020537445.tif 000671
（ｒｅｃ）はモードＢの予測残差１１８であり、確率値は
2020537445.tif 000672
（ｒｅｃ）は確率値１２０である。各モード０．．．Ｋｂ−１について、それぞれのモードについて取得された予測信号１１８に基づいてそれぞれのモードのコスト推定を計算する、装置１０８に含まれるコスト推定器１２２がある。上記の例では、コスト推定器１２２は、セクション１．２の不等式の右側および左側に示されるようなコスト推定を計算した。つまり、ここでは、コスト推定器１２２は、各モードについて、対応する確率値１２０も使用した。しかしながら、これは既に上記で論じられたようなケースである必要はない。しかしながら、コスト推定は、いずれの場合も２つの加数の合計であり、そのうちの１つは、上記の不等式で
2020537445.tif 000673
を有する項として示される予測残差の符号化コストの推定であり、他方の加数は、モードを示すための符号化コストを推定する。予測残差に関連する符号化コストの推定を計算するために、コスト推定器１２２は、現在の画像テストブロック１１４の素のコンテンツも取得する。ニューラルネットワーク８０および８４は、適用される入力において、対応する隣接サンプル集合１１６を有する。コスト推定器１２２によって出力された通りのコスト推定１２４は、関連付けられたコスト推定を最小化する、または最小コスト推定を有するモードを決定する最小コスト選択器１２６によって受信される。上記の数学的表記では、これは
2020537445.tif 000674
であった。アップデータは、この最適モードを受信し、最低符号化推定のイントラ予測モードのために取得された予測信号１１８に応じて残差レート推定を形成する第１加数、および選択器１２６によって示されたとおりの最低符号化コスト推定のイントラ予測モードのために取得された予測信号および確率値に基づいてモードシグナリング側情報レート推定を形成する第２加数を有する符号化コスト関数を使用する。上記で示されたように、これは勾配降下を使用して行われ得る。したがって、符号化コスト関数は微分可能であり、上記の数学的表現では、この関数の例は式５に示された。ここで、モードシグナリング側情報レート推定に関連する第２のアドインは、最低符号化コスト推定のイントラ予測モードについて交差エントロピーを計算した。
【００９８】
したがって、アップデータ１１０は、符号化コスト関数を低減するようにパラメータ１１１および１１３を更新しようとし、その後これらの更新されたパラメータ１１１および１１３は、複数１１２の次の画像テストブロックを処理するように、パラメータ化可能なニューラルネットワーク１０９によって使用される。セクション１．５に関して上記で論じられたように、主として、イントラ予測がレート歪みの意味でブロック細分化なしに行われることが好ましい回帰的な更新プロセスのために、画像テストブロック１１４およびこれらの関連付けられた隣接サンプル集合１１６のこれらのペアが適用されることを制御するメカニズムがあってもよく、これにより、いずれにせよそのサブブロック単位の符号化のコスト効率がより良い画像テストブロックに基づいて、パラメータ１１１および１１３が過度に最適化されるのを回避する。
【００９９】
これまでのところ、上記で論じられた実施形態は主に、エンコーダおよびデコーダが、それらのサポートされたイントラ予測モード６６内に、ニューラルネットワークベースイントラ予測モードの集合を有する場合に関係している。図９ａおよび図９ｂに関して論じられた実施形態によれば、これは必ずしもそうである必要はない。図９ａは、図７ａに関して上記で提示された説明との違いに焦点を当ててその説明が提供される実施形態にしたがって、エンコーダおよびデコーダの動作モードを概説しようとするものである。複数６６のサポートされたイントラ予測モードは、ニューラルネットワークベースイントラ予測モードを備えても備えなくてもよく、非ニューラルネットワークベースイントラ予測モードを備えても備えなくてもよい。したがって、サポートされたモード６６の各々に対応する予測信号を提供するためにエンコーダおよびデコーダにそれぞれ含まれる図９ａのモジュール１７０は、必ずしもニューラルネットワークではない。既に上記で示されたように、このようなイントラ予測モードはニューラルネットワークベースであってもよく、またはこれらはヒューリスティックに動機付けされ、ＤＣイントラ予測モードまたは角度イントラ予測モードまたはその他に基づいて予測信号を計算してもよい。したがって、これらのモジュール１７０は、予測信号コンピュータとして示されることが可能である。しかしながら、図９ａの実施形態によるエンコーダおよびデコーダは、ニューラルネットワーク８４を備える。ニューラルネットワーク８４は、複数６６のイントラ予測モードが順序リスト９４となり得るように、隣接サンプル集合８６に基づいて、サポートされたイントラ予測モード６６の確率値を計算する。ブロック１８のデータストリーム１２内のインデックス７０は、この順序リスト９４を指す。したがって、ニューラルネットワーク８４は、イントラ予測モード信号伝達のために費やされるサイド情報レートを下げるのを助ける。
【０１００】
図９ｂは、複数６６の各モードのニューラルネットワーク８４に対して決定された確率値にしたがって、確率またはその単純な統計を制御する、すなわちエンコーダ／デコーダでのエントロピーデコード／エンコードのエントロピー確率分布を制御すると共に、順序付けの代わりに、インデックス７０のエントロピーデコード／エンコード１００が使用される、図９ａの代替を示す。
【０１０１】
図１０は、ニューラルネットワーク８４を設計またはパラメータ化するための装置を示す。したがって、イントラ予測モードの集合６６から選択するのを支援するためのニューラルネットワークを設計する装置１０８である。ここで、集合６６の各モードについて、ニューラルネットワーク８４を一緒に形成するための対応するニューラルネットワークブロックがあり、装置１０８のパラメータ化可能なニューラルネットワーク１０９は、単にこれらのブロックに関してパラメータ化可能である。しかしながら、各モードについて、図１０によれば、パラメータ可能でなくてもよい予測信号コンピュータ１７０もある。したがって、図１０の装置１０８は、対応する予測信号コンピュータ１７０によって計算されたとおりの予測信号１１８に基づいて、および任意選択的に、このモードの対応するニューラルネットワークブロックによって決定されたとおりの対応する確率値に基づいて、各モードのコスト推定を計算する。得られたコスト推定１２４に基づいて、最小コスト選択器１２６は最小コスト推定のモードを選択し、アップデータ１１０はニューラル８４のパラメータ１１１を更新する。
【０１０２】
以下は、図７ａから図７ｄおよび図９ａおよび図９ｂの説明に関して注記される。図７ａから図７ｄの実施形態のいくつかでも使用される図９ａおよび図９ｂの実施形態の共通の特徴は、最適化プロセス９０においてエンコーダ側で決定されたモードをデコーダに通知するためのサイド情報７０に関連付けられたオーバヘッドを改善または低減するためのニューラルネットワーク値の確率値という事実であった。しかしながら、図７ａから図７ｄの実施形態に関して上記で示されたように、図９ａおよび図９ｂの実施形態が、モード選択に関してデータストリーム１２内でサイド情報７０がまったく費やされない程度に変化し得ることは、明らかである。むしろ、各モードについてニューラルネットワーク８４によって出力された確率値は、必然的にエンコーダとデコーダとの間のモード選択を同期するために使用され得る。その場合、モード選択に関してエンコーダ側で最適化決定９０はないだろう。むしろ、集合６６の間で使用されるモードは、同じ方法でエンコーダ側およびデコーダ側で決定される。データストリーム１２でサイド情報７０をまったく使用しないように変化したとき、図７ａから図７ｄの対応する実施形態に関して類似の説明が該当する。しかしながら、図９ａおよび図９ｂの実施形態に戻ると、興味深いのは、エンコーダに関する限り、確率値に対する順序付けまたは確率分布推定の依存性はサイド情報の解釈を変化させるという点において、デコーダ側の選択プロセス６８はニューラルネットワークによって出力された確率値に依存しているものの、確率値への依存性は、たとえば、順序リストへのインデックスのそれぞれの可変長符号化を使用する、またはニューラルネットワークの確率値に依存する確率分布推定を伴うエントロピーエンコード／デコードを使用する、データストリーム１２へのサイド情報７０の符号化に影響するのみならず、最適化ステップ９０にも影響することである。ここで、サイド情報７０を送信するための符号化率が考慮されてもよく、したがってこれは決定９０に影響を及ぼす可能性がある。
【０１０３】
いくつかの態様は装置の文脈で説明されてきたが、これらの態様が対応する方法の説明も表すことは明らかであり、ブロックまたはデバイスは、方法ステップまたは方法ステップの特徴に対応する。同様に、方法ステップの文脈で説明された態様は、対応する装置の対応するブロックまたはアイテムまたは特徴の説明も表す。方法ステップの一部または全ては、たとえば、マイクロプロセッサ、プログラム可能なコンピュータ、または電子回路などのハードウェア装置によって（またはこれを使用して）実行されてもよい。いくつかの実施形態では、最も重要な方法ステップのうちの１つ以上が、このような装置によって実行されてもよい。
【０１０４】
本発明のエンコードされたデータストリームは、デジタル記憶媒体上に記憶されることが可能であり、またはインターネットなどの無線送信媒体または有線送信媒体のような送信媒体で送信されることが可能である。
【０１０５】
特定の実装要件に応じて、本発明の実施形態は、ハードウェアまたはソフトウェアで実装され得る。本実装は、それぞれの方法が実行されるようにプログラム可能なコンピュータシステムと協働する（または協働可能な）、電子可読制御信号が記憶された、フロッピーディスク、ＤＶＤ、Ｂｌｕ−ｒａｙ（登録商標）、ＣＤ、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、またはフラッシュメモリなどのデジタル記憶媒体を使用して、実行され得る。したがって、デジタル記憶媒体はコンピュータ可読であり得る。
【０１０６】
本発明によるいくつかの実施形態は、本明細書に記載される方法の１つが実行されるように、プログラム可能なコンピュータシステムと協働することが可能な、電子可読制御信号を有するデータキャリアを備える。
【０１０７】
一般に、本発明の実施形態は、プログラムコードを有するコンピュータプログラム製品として実装されることが可能であり、プログラムコードは、コンピュータプログラム製品がコンピュータ上で実行されると、方法の１つを実行するように動作する。プログラムコードは、たとえば、機械可読キャリア上に記憶されてもよい。
【０１０８】
別の実施形態は、機械可読キャリア上に記憶された、本明細書に記載される方法の１つを実行するためのコンピュータプログラムを備える。
【０１０９】
したがって、言い換えると、本発明の方法の実施形態は、コンピュータプログラムがコンピュータ上で実行されると、本明細書に記載される方法の１つを実行するためのプログラムコードを有するコンピュータプログラムである。
【０１１０】
したがって、本発明の方法のさらなる実施形態は、本明細書に記載される方法の１つを実行するためのコンピュータプログラムを備え、それが記録された、データキャリア（またはデジタル記憶媒体またはコンピュータ可読媒体）である。データキャリア、デジタル記憶媒体、または記録媒体は、典型的には有形および／または非一時的である。
【０１１１】
したがって、本発明の方法のさらなる実施形態は、本明細書に記載される方法の１つを実行するためのコンピュータプログラムを表すデータストリームまたは信号のシーケンスである。データストリームまたは信号のシーケンスは、たとえばインターネットを介して、たとえばデータ通信接続を介して転送されるように構成されてもよい。
【０１１２】
さらなる実施形態は、本明細書に記載される方法の１つを実行するように構成または適合された、たとえばコンピュータまたはプログラマブル論理デバイスなどの処理手段を備える。
【０１１３】
さらなる実施形態は、本明細書に記載される方法の１つを実行するためのコンピュータプログラムがインストールされたコンピュータを備える。
【０１１４】
本発明によるさらなる実施形態は、本明細書に記載される方法の１つを実行するためのコンピュータプログラムを受信機に（たとえば、電子的または光学的に）送信するように構成された、装置またはシステムを備える。受信機は、たとえば、コンピュータ、モバイルデバイス、メモリデバイスなどであり得る。装置またはシステムは、たとえば、コンピュータプログラムを受信機に転送するためのファイルサーバを備えてもよい。
【０１１５】
いくつかの実施形態では、プログラマブル論理デバイス（たとえばフィールドプログラマブルゲートアレイ）は、明細書に記載される方法の機能の一部または全てを実行するために使用され得る。いくつかの実施形態では、フィールドプログラマブルゲートアレイは、本明細書に記載される方法の１つを実行するためにマイクロプロセッサと協働し得る。一般に、方法は、好ましくはいずれかのハードウェア装置によって実行される。
【０１１６】
本明細書に記載される装置は、ハードウェア装置を使用して、またはコンピュータを使用して、またはハードウェア装置およびコンピュータの組み合わせを使用して、実装され得る。
【０１１７】
本明細書に記載される装置、または本明細書に記載される装置の任意の構成要素は、少なくとも部分的にハードウェアおよび／またはソフトウェアで実装され得る。
【０１１８】
本明細書に記載される方法は、ハードウェア装置を使用して、またはコンピュータを使用して、またはハードウェア装置およびコンピュータの組み合わせを使用して、実行され得る。
【０１１９】
本明細書に記載される方法、または本明細書に記載される装置の任意の構成要素は、少なくとも部分的にハードウェアおよび／またはソフトウェアによって実行され得る。
【０１２０】
上記の実施形態は、本発明の原理を単に例示するものである。本明細書に記載される配置および詳細の修正および変形は、当業者にとって明らかとなることが理解される。したがって、差し迫った特許請求の範囲のみによって限定され、本明細書の実施形態の記載および説明によって提示される特定の詳細によっては限定されないことが意図される。
【国際調査報告】
2020537445.tif 000675
2020537445.tif 000676
2020537445.tif 000677
2020537445.tif 000678
2020537445.tif 000679