Способ и устройство для кодирования и декодирования видео на основе реализации нейронной сети CABAC

1. Способ кодирования видео, содержащий этапы, на которых:
осуществляют доступ к бину синтаксического элемента, связанного с текущим блоком в кадре видео;
определяют контекст для бина синтаксического элемента, причем данный контекст связан с упомянутым синтаксическим элементом; и
выполняют энтропийное кодирование бина синтаксического элемента на основе этого определенного контекста;
причем при упомянутом осуществлении доступа к бину синтаксического элемента
определяют, для синтаксического элемента, предсказание синтаксического элемента посредством применения нейронной сети в отношении данных, закодированных перед упомянутым синтаксическим элементом, каковые данные, закодированные перед синтаксическим элементом, содержат пространственную и временную информацию касаемо ранее закодированного блока или текущего блока; и
определяют бин синтаксического элемента на основе значения, представляющего собой разность между предсказанием и синтаксическим элементом.
2. Способ по п.1, в котором синтаксический элемент представляет собой флаг, и значение, представляющее собой разность между предсказанием и синтаксическим элементом, является значением XOR между предсказанием и флагом.
3. Способ по п.1, в котором синтаксический элемент представляет собой целочисленное значение, и значение, представляющее собой разность между предсказанием и синтаксическим элементом, является разностью между предсказанием и значением синтаксического элемента.
4. Способ по п.1, в котором предсказание синтаксического элемента, выводимое из нейронной сети, является вектором, задающим вероятности для каждого возможного значения синтаксического элемента, и при этом значение, представляющее собой разность между предсказанием и синтаксическим элементом, является кодовым словом для каждого из значений синтаксического элемента на основе связанной с ним вероятности с использованием кодирования Хаффмана.
5. Способ по п.1, в котором упомянутые данные, закодированные перед синтаксическим элементом, содержат по меньшей мере одно из:
- значений ранее закодированных синтаксических элементов одного и того же типа по соседству с текущим блоком;
- восстановленных выборок в L-форме текущего блока;
- выборок предсказания текущего блока;
- восстановленных остатков текущего блока;
- выборок в L-форме опорного блока для текущего блока, когда текущий блок закодирован в интер-режиме;
- поля движения для текущего блока, когда текущий блок закодирован в интер-режиме;
- выборок предсказания текущего блока, сгенерированного с компенсацией движения с использованием упомянутого поля движения;
- параметра квантования;
- размера текущего блока.
6. Способ декодирования видео, содержащий этапы, на которых:
осуществляют доступ к закодированному бину синтаксического элемента, связанного с текущим блоком в кадре закодированного видео;
определяют контекст для бина синтаксического элемента, связанный с упомянутым синтаксическим элементом; и
выполняют энтропийное декодирование закодированного бина синтаксического элемента на основе этого определенного контекста;
причем при упомянутом энтропийном декодировании
определяют, для синтаксического элемента, предсказание синтаксического элемента посредством применения нейронной сети в отношении данных, декодированных перед упомянутым синтаксическим элементом, каковые данные, декодированные перед синтаксическим элементом, содержат пространственную и временную информацию касаемо ранее декодированного блока или текущего блока;
определяют синтаксический элемент на основе этого определенного предсказания синтаксического элемента и декодированного бина синтаксического элемента, при этом декодированный бин синтаксического элемента является значением, представляющим собой разность между предсказанием и синтаксическим элементом.
7. Способ по п.6, в котором синтаксический элемент представляет собой флаг, и значение, представляющее собой разность между предсказанием и синтаксическим элементом, является значением XOR между предсказанием и флагом.
8. Способ по п.6, в котором синтаксический элемент представляет собой целочисленное значение, и значение, представляющее собой разность между предсказанием и синтаксическим элементом, является разностью между предсказанием и значением синтаксического элемента.
9. Способ по п.6, в котором предсказание синтаксического элемента, выводимое из нейронной сети, является вектором, задающим вероятности для каждого возможного значения синтаксического элемента, и при этом значение, представляющее собой разность между предсказанием и синтаксическим элементом, является кодовым словом для каждого из значений синтаксического элемента на основе связанной с ним вероятности с использованием кодирования Хаффмана.
10. Способ по п.6, в котором упомянутые данные, декодированные перед синтаксическим элементом, содержат по меньшей мере одно из:
- значений ранее декодированных синтаксических элементов одного и того же типа по соседству с текущим блоком;
- восстановленных выборок в L-форме текущего блока;
- выборок предсказания текущего блока;
- восстановленных остатков текущего блока;
- выборок в L-форме опорного блока для текущего блока, когда текущий блок закодирован в интер-режиме;
- поля движения для текущего блока, когда текущий блок закодирован в интер-режиме;
- выборок предсказания текущего блока, сгенерированного с компенсацией движения с использованием упомянутого поля движения;
- параметра квантования;
- размера текущего блока.
11. Устройство для кодирования видео, содержащее память и один или более процессоров, выполненных с возможностью:
осуществлять доступ к бину синтаксического элемента, связанного с текущим блоком в кадре видео;
определять контекст для бина синтаксического элемента, связанный с упомянутым синтаксическим элементом; и
выполнять энтропийное кодирование бина синтаксического элемента на основе этого определенного контекста;
причем один или более процессоров дополнительно выполнены с возможностью:
определять посредством нейронной сети, для синтаксического элемента, предсказание синтаксического элемента в отношении данных, закодированных перед упомянутым синтаксическим элементом, каковые данные, закодированные перед синтаксическим элементом, содержат пространственную и временную информацию касаемо ранее закодированного блока или текущего блока; и
определять бин синтаксического элемента на основе значения, представляющего собой разность между предсказанием и синтаксическим элементом.
12. Устройство по п.11, при этом синтаксический элемент представляет собой флаг, и значение, представляющее собой разность между предсказанием и синтаксическим элементом, является значением XOR между предсказанием и флагом.
13. Устройство по п.11, при этом синтаксический элемент представляет собой целочисленное значение, и значение, представляющее собой разность между предсказанием и синтаксическим элементом, является разностью между предсказанием и значением синтаксического элемента.
14. Устройство по п.11, при этом предсказание синтаксического элемента, выводимое из нейронной сети, является вектором, задающим вероятности для каждого возможного значения синтаксического элемента, и при этом значение, представляющее собой разность между предсказанием и синтаксическим элементом, является кодовым словом для каждого из значений синтаксического элемента на основе связанной с ним вероятности с использованием кодирования Хаффмана.
15. Устройство по п.11, при этом упомянутые данные, закодированные перед упомянутым синтаксическим элементом, содержат по меньшей мере одно из:
- значений ранее закодированных синтаксических элементов одного и того же типа по соседству с текущим блоком;
- восстановленных выборок в L-форме текущего блока;
- выборок предсказания текущего блока;
- восстановленных остатков текущего блока;
- выборок в L-форме опорного блока для текущего блока, когда текущий блок закодирован в интер-режиме;
- поля движения для текущего блока, когда текущий блок закодирован в интер-режиме;
- выборок предсказания текущего блока, сгенерированного с компенсацией движения с использованием упомянутого поля движения;
- параметра квантования;
- размера текущего блока.
16. Устройство для декодирования видео, содержащее память и один или более процессоров, выполненных с возможностью:
осуществлять доступ к закодированному бину синтаксического элемента, связанного с текущим блоком в кадре закодированного видео;
определять контекст для бина синтаксического элемента, связанный с упомянутым синтаксическим элементом; и
выполнять энтропийное декодирование закодированного бина синтаксического элемента на основе этого определенного контекста;
причем один или более процессоров дополнительно выполнены с возможностью:
определять посредством нейронной сети, для синтаксического элемента, предсказание синтаксического элемента в отношении данных, декодированных перед упомянутым синтаксическим элементом, каковые данные, декодированные перед синтаксическим элементом, содержат пространственную и временную информацию касаемо ранее декодированного блока или текущего блока;
определять синтаксический элемент в отношении этого определенного предсказания синтаксического элемента и декодированного бина синтаксического элемента, при этом декодированный бин синтаксического элемента является значением, представляющим собой разность между предсказанием и синтаксическим элементом.
17. Устройство по п.16, при этом синтаксический элемент представляет собой флаг, и значение, представляющее собой разность между предсказанием и синтаксическим элементом, является значением XOR между предсказанием и флагом.
18. Устройство по п.16, при этом синтаксический элемент представляет собой целочисленное значение, и значение, представляющее собой разность между предсказанием и синтаксическим элементом, является разностью между предсказанием и значением синтаксического элемента.
19. Устройство по п.16, при этом предсказание синтаксического элемента, выводимое из нейронной сети, является вектором, задающим вероятности для каждого возможного значения синтаксического элемента, и при этом значение, представляющее собой разность между предсказанием и синтаксическим элементом, является кодовым словом для каждого из значений синтаксического элемента на основе связанной с ним вероятности с использованием кодирования Хаффмана.
20. Устройство по п.16, при этом упомянутые данные, декодированные перед синтаксическим элементом, содержат по меньшей мере одно из:
- значений ранее декодированных синтаксических элементов одного и того же типа по соседству с текущим блоком;
- восстановленных выборок в L-форме текущего блока;
- выборок предсказания текущего блока;
- восстановленных остатков текущего блока;
- выборок в L-форме опорного блока для текущего блока, когда текущий блок закодирован в интер-режиме;
- поля движения для текущего блока, когда текущий блок закодирован в интер-режиме;
- выборок предсказания текущего блока, сгенерированного с компенсацией движения с использованием упомянутого поля движения;
- параметра квантования;
- размера текущего блока.