СПОСОБЫ И УСТРОЙСТВО ДЛЯ УТОЧНЕНИЯ ПРОГНОЗИРОВАНИЯ ДЛЯ УТОЧНЕНИЯ ВЕКТОРА ДВИЖЕНИЯ НА СТОРОНЕ ДЕКОДЕРА С ПОМОЩЬЮ ОПТИЧЕСКОГО ПОТОКА

1. Способ декодирования видеосигнала, включающий:
прием битового потока кодированных видеоданных, причем битовый поток включает в себя по меньшей мере один блок видеоданных, а блок включает в себя множество подблоков;
выведение вектора движения, включая процесс выведения вектора движения на основе декодера (DMVR), для по меньшей мере одного подблока в блоке для генерирования уточненного вектора движения для каждого подблока;
компенсацию движения на основе подблоков для по меньшей мере одного подблока для генерирования прогнозирования на основе подблоков в каждом подблоке;
получение пространственного градиента для прогнозирования в каждом подблоке;
определение смещения вектора движения каждого пикселя в каждом подблоке;
получение параметров изменения интенсивности в каждом подблоке на основе пространственных градиентов и смещений вектора движения с помощью уравнения оптического потока; и
уточнение прогнозирования в каждом подблоке на основе полученных параметров изменения интенсивности.
2. Способ по п. 1, отличающийся тем, что определение смещения вектора движения каждого пикселя в каждом подблоке включает:
для каждого указанного подблока определение посредством линейного регрессионного моделирования смещений вектора движения на основе смещений вектора движения и местоположений центра указанного подблока и по меньшей мере двух других подблоков, смежных с указанным подблоком,
причем прогнозирование на основе подблоков генерируют в виде прогнозирования яркости каждого пикселя в каждом подблоке, и
изменение интенсивности представляет собой изменение интенсивности яркости на пиксель в каждом подблоке.
3. Способ по п. 1, отличающийся тем, что компенсация движения на основе подблоков использует аффинную модель движения с 6 параметрами для по меньшей мере одного из подблоков, и при этом определение смещения вектора движения каждого пикселя указанного по меньшей мере одного подблока дополнительно включает:
определение смещения вектора движения с использованием первого, второго и третьего соседних подблоков по меньшей мере одного подблока;
оценку ошибки моделирования для анализа регрессии с использованием указанного по меньшей мере одного подблока; и
если рассчитанное значение ошибки моделирования превышает пороговое значение для по меньшей мере одного подблока, в рамках данного способа при декодировании не используется смещение вектора движения для по меньшей мере одного подблока.
4. Способ по п. 1, отличающийся тем, что компенсация движения на основе подблоков использует аффинную модель движения с 6 параметрами для по меньшей мере одного из подблоков, и при этом определение смещения вектора движения каждого пикселя по меньшей мере одного подблока дополнительно включает:
использование указанных по меньшей мере одного подблока и первого, второго и третьего соседних подблоков по меньшей мере одного подблока при определении смещения вектора движения.
5. Способ по п. 1, отличающийся тем, что компенсация движения на основе подблоков использует аффинную модель движения с 6 параметрами для по меньшей мере одного из подблоков, и при этом определение смещения вектора движения каждого пикселя по меньшей мере одного подблока включает:
xx
xy
yx
yy
x
y
для указанного по меньшей мере одного подблока и по меньшей мере двух подблоков, смежных с указанным по меньшей мере одним подблоком, решение при помощи линейного регрессионного моделирования для параметров a, a, a, a, b и b, уравнение
Xoffset
Yoffset
где MV и MV представляют собой горизонтальную и вертикальную составляющие одного смещения MV, а и представляют собой горизонтальную и вертикальную координаты местоположения центра соответствующего подблока соответственно.
xx
xy
yx
yy
x
y
6. Способ по п. 5, отличающийся тем, что получение параметров изменения интенсивности для по меньшей мере одного подблока, для которого компенсация движения подблока с использованием аффинного моделирования движения с 6 параметрами включает решение следующих уравнений для параметров a, a, a, a, b и b:
x(i,j)
xx
xy
x
Δv = ai + aj + b
y(i,j)
yx
yy
y
Δv = ai + aj + b
y(i,j)
где i и представляют собой горизонтальную и вертикальную координаты соответственно каждого сэмпла/пикселя, представляет собой изменение яркости в горизонтальном направлении для сэмпла/пикселя в координате (i,j), а Δv представляет собой изменение яркости в вертикальном направлении для сэмпла/пикселя в координате (i,j).
7. Способ по п. 5, отличающийся тем, что при компенсации движения на основе подблоков используется аффинная модель движения с 4 параметрами для по меньшей мере одного другого подблока из множества подблоков, и при этом следующие предположения используются в связи с указанным по меньшей мере одним другим подблоком:
xx
yy
a = a
xy
yx
a = -a
8. Способ по п. 7, отличающийся тем, что по меньшей мере один другой подблок из множества подблоков, для которого используется аффинная модель движения с 4 параметрами, представляет собой подблок, расположенный на левой границе и/или верхней границе блока.
9. Способ по п. 1, отличающийся тем, что компенсация движения на основе подблоков включает:
использование аффинной модели движения с 6 параметрами для по меньшей мере некоторых подблоков;
использование аффинной модели движения с 4 параметрами для указанных по меньшей мере некоторых подблоков;
оценку частоты ошибок аффинной модели движения с 6 параметрами;
оценку частоты ошибок аффинной модели движения с 4 параметрами;
определение того, какая из аффинных моделей (с 4 или с 6 параметрами) имеет более низкую частоту ошибок; и
выбор результатов модели с более низкой частотой ошибок для использования при получении параметров изменения интенсивности в каждом подблоке.
10. Способ по п. 1, отличающийся тем, что уточнение прогнозирования в каждом подблоке на основе полученных параметров изменения интенсивности включает:
взвешивание полученных параметров изменения интенсивности на весовой коэффициент; и
добавление взвешенного изменения интенсивности к каждому пикселю в каждом подблоке,
причем прием битового видеопотока включает в себя прием весового коэффициента для взвешивания полученных параметров изменения интенсивности в битовом видеопотоке, а
весовой коэффициент в битовом потоке сигнализируют на уровне изображения.
11. Декодер устройства, включающий в себя любое устройство из передатчика, приемника, процессора и запоминающего устройства, причем декодер выполнен с возможностью
приема битового потока кодированных видеоданных, причем битовый поток включает в себя по меньшей мере один блок видеоданных, а блок включает в себя множество подблоков;
выведения вектора движения, включая процесс выведения вектора движения на основе декодера (DMVR), для каждого подблока в блоке для генерирования уточненного вектора движения для каждого подблока;
компенсации движения на основе подблоков для генерирования прогнозирования на основе подблоков в каждом подблоке;
получения пространственного градиента для каждого сеанса прогнозирования в каждом подблоке;
определения смещения вектора движения каждого пикселя в каждом подблоке;
получения параметров изменения интенсивности в каждом подблоке на основе пространственных градиентов и смещений вектора движения с помощью уравнения оптического потока; и
уточнения прогнозирования в каждом подблоке на основе полученных параметров изменения интенсивности.
12. Декодер по п. 11, выполненный с возможностью определения смещения вектора движения каждого пикселя в каждом подблоке, дополнительно выполнен с возможностью определения посредством линейного регрессионного моделирования смещений вектора движения на основе смещений вектора движения и местоположений центра указанного подблока и по меньшей мере двух других подблоков, смежных с указанным подблоком,
причем прогнозирование на основе подблоков генерируют в виде прогнозирования яркости каждого пикселя в каждом подблоке, и
изменение интенсивности представляет собой изменение интенсивности яркости на пиксель в каждом подблоке.
13. Декодер по п. 11, дополнительно выполненный с возможностью:
использования аффинной модели движения с 6 параметрами для по меньшей мере одного из подблоков для компенсации движения на основе подблоков, а также
определения смещения вектора движения каждого пикселя указанного по меньшей мере одного подблока, включая:
определение смещения вектора движения с использованием первого, второго и третьего соседних подблоков по меньшей мере одного подблока;
оценку ошибки моделирования для анализа регрессии с использованием указанного по меньшей мере одного подблока; и
если рассчитанное значение ошибки моделирования превышает пороговое значение для по меньшей мере одного подблока, при декодировании не используется смещение вектора движения для по меньшей мере одного подблока.
14. Декодер по п. 11, дополнительно выполненный с возможностью:
использования аффинной модели движения с 6 параметрами для по меньшей мере одного из подблоков для компенсации движения на основе подблоков, а также
определения смещения вектора движения каждого пикселя по меньшей мере одного подблока с использованием указанного по меньшей мере одного подблока и первого, второго и третьего соседних подблоков по меньшей мере одного подблока при определении смещения вектора движения.
15. Декодер по п. 11, дополнительно выполненный с возможностью использования аффинной модели движения с 6 параметрами для по меньшей мере одного из подблоков для компенсации движения на основе подблоков, причем определение смещения вектора движения каждого пикселя по меньшей мере одного подблока включает в себя:
xx
xy
yx
yy
x
y
для указанного по меньшей мере одного подблока и по меньшей мере двух подблоков, смежных с указанным по меньшей мере одним подблоком, решение при помощи линейного регрессионного моделирования для параметров a, a, a, a, b и b, уравнение
Xoffset
Yoffset
где MV и MV представляют собой горизонтальную и вертикальную составляющие одного смещения MV, а и представляют собой горизонтальную и вертикальную координаты местоположения центра соответствующего подблока соответственно.
xx
xy
yx
yy
x
y
16. Декодер по п. 15, дополнительно выполненный с возможностью получения параметров изменения интенсивности для по меньшей мере одного подблока, для которого компенсация движения подблока с использованием аффинного моделирования движения с 6 параметрами включает решение следующих уравнений для параметров a, a, a, a, b и b:
x(i,j)
xx
xy
x
Δv = ai + aj + b
y(i,j)
yx
yy
y
Δv = ai + aj + b
y(i,j)
где i и представляют собой горизонтальную и вертикальную координаты соответственно каждого сэмпла/пикселя, представляет собой изменение яркости в горизонтальном направлении для сэмпла/пикселя в координате (i,j), а Δv представляет собой изменение яркости в вертикальном направлении для сэмпла/пикселя в координате (i,j).
17. Декодер по п. 15, дополнительно выполненный с возможностью использования аффинной модели движения с 4 параметрами для по меньшей мере одного другого подблока из множества подблоков для компенсации движения на основе подблоков, и при этом следующие предположения используются в связи с указанным по меньшей мере одним другим подблоком:
xx
yy
a = a
xy
yx
a = -a
18. Декодер по п. 17, в котором по меньшей мере один другой подблок из множества подблоков, для которых используется аффинная модель движения с 4 параметрами, представляет собой подблок, расположенный на левой границе и/или верхней границе блока.
19. Декодер по п. 11, дополнительно выполненный с возможностью выполнения следующих действий для компенсации движения на основе подблоков:
использование аффинной модели движения с 6 параметрами для по меньшей мере некоторых подблоков;
использование аффинной модели движения с 4 параметрами для указанных по меньшей мере некоторых подблоков;
оценка частоты ошибок аффинной модели движения с 6 параметрами;
оценка частоты ошибок аффинной модели движения с 4 параметрами;
определение того, какая из аффинных моделей (с 4 или с 6 параметрами) имеет более низкую частоту ошибок; и
выбор результатов модели с более низкой частотой ошибок для использования при изменении интенсивности в каждом подблоке.
20. Декодер по п. 11, дополнительно выполненный с возможностью уточнения прогнозирования в каждом подблоке на основе полученных параметров изменения интенсивности, включает:
взвешивание полученных параметров изменения интенсивности на весовой коэффициент; и
добавление взвешенного изменения интенсивности к интенсивности каждого пикселя в каждом подблоке,
причем прием битового видеопотока включает в себя прием весового коэффициента для взвешивания полученных параметров изменения интенсивности в битовом видеопотоке, а
весовой коэффициент в битовом потоке сигнализируют на уровне изображения.