СПОСОБ КОДИРОВАНИЯ ИЗОБРАЖЕНИЙ, СПОСОБ ДЕКОДИРОВАНИЯ ИЗОБРАЖЕНИЙ, КОДЕР, ДЕКОДЕР И НОСИТЕЛЬ ДАННЫХ
IMAGE ENCODING METHOD, IMAGE DECODING METHOD, ENCODER, DECODER AND DATA CARRIER

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ
[0001] Варианты осуществления настоящего изобретения относятся к технической области кодирования и декодирования видео, и, в частности, к способам кодирования и декодирования изображений, кодеру, декодеру и носителю данных.
ПРЕДПОСЫЛКИ ИЗОБРЕТЕНИЯ
[0002] В тестовой платформе эталонного программного обеспечения для универсального кодирования видео (VVC) предложена новая технология внутреннего кодирования, внутреннее предсказание на основе матриц (Matrix-based Intra Prediction, MIP). MIP представляет собой технологию внутреннего предсказания на основе нейронных сетей, а именно значение яркости текущего блока предсказывают с использованием многослойной нейронной сети на основе смежного восстановленного блока яркости. Более конкретно, как в традиционном внутреннем режиме, когда режим MIP применяют для внутреннего предсказания, входные данные для MIP также представляют собой данные смежных блоков яркости, в строке сверху и столбце слева, от текущего блока, тогда как выходные данные представляют собой предсказанное значение компонента яркости текущего блока. Конкретный процесс предсказания разделяют на три этапа: понижающая дискретизация, матричное векторное умножение и интерполяция.
[0003] Однако, когда для предсказания яркости применяют режим MIP, параметры для блоков яркости разных размеров также могут быть разными. Поэтому для хранения большого количества параметров требуется наличие относительно большого пространства памяти, и поиск и вызов параметров в процессе предсказания также увеличивают общее время и дополнительно уменьшают эффективность кодирования и декодирования.
СУЩНОСТЬ ИЗОБРЕТЕНИЯ
[0004] В вариантах осуществления настоящего изобретения предоставлены способы кодирования и декодирования изображений, кодер, декодер и носитель данных, которые могут сокращать пространство памяти и общее время, требуемые в процессе кодирования и декодирования, и эффективно повышают эффективность кодирования и декодирования, на основе обеспечения производительности кодирования и декодирования.
[0005] Технические решения вариантов осуществления настоящего изобретения реализованы следующим образом.
[0006] В вариантах осуществления настоящего изобретения предоставлен способ кодирования изображений, который может быть применен к кодеру и включать следующие этапы.
[0007] Перед тем, как обработка кодирования выполняется в соответствии с режимом MIP, унификационная модификация выполняется на начальных параметрах сдвига вправо, соответствующих разным размерам и разным номерам режима MIP, в соответствии с параметром смещения. Параметр смещения указывает число сдвигаемых вправо битов предсказанного значения.
[0008] Когда обработка кодирования выполняется в соответствии с режимом MIP, обработка кодирования выполняется в соответствии с параметром смещения.
[0009] В вариантах осуществления настоящего изобретения предоставлен способ декодирования изображений, который может быть применен к декодеру и включать следующие этапы.
[0010] Перед тем, как обработка декодирования выполняется в соответствии с режимом MIP, унификационная модификация выполняется на начальных параметрах сдвига вправо, соответствующих разным размерам и разным номерам режима MIP, в соответствии с параметром смещения. Параметр смещения указывает число сдвигаемых вправо битов предсказанного значения.
[0011] Когда обработка декодирования выполняется в соответствии с режимом MIP, обработка декодирования выполняется в соответствии с параметром смещения.
[0012] В вариантах осуществления настоящего изобретения предоставлен кодер, который может содержать первую секцию модификации и секцию кодирования.
[0013] Первая секция модификации может быть приспособлена, перед выполнением обработки кодирования в соответствии с режимом MIP, выполнять унификационную модификацию на начальных параметрах сдвига вправо, соответствующих разным размерам и разным номерам режима MIP, в соответствии с параметром смещения, где параметр смещения указывает число сдвигаемых вправо битов предсказанного значения.
[0014] Секция кодирования может быть приспособлена выполнять, когда обработка кодирования выполняется в соответствии с режимом MIP, обработку кодирования в соответствии с параметром смещения.
[0015] В вариантах осуществления настоящего изобретения предоставлен декодер, который может содержать вторую секцию модификации и секцию декодирования.
[0016] Вторая секция модификации может быть приспособлена, перед выполнением обработки декодирования в соответствии с режимом MIP, выполнять унификационную модификацию на начальных параметрах сдвига вправо, соответствующих разным размерам и разным номерам режима MIP, в соответствии с параметром смещения, где параметр смещения указывает число сдвигаемых вправо битов предсказанного значения.
[0017] Секция декодирования может быть приспособлена выполнять, когда обработка декодирования выполняется в соответствии с режимом MIP, обработку декодирования в соответствии с параметром смещения.
[0018] В вариантах осуществления настоящего изобретения предоставлен кодер. Кодер может содержать первый процессор, первое запоминающее устройство, хранящее команды, исполнимые первым процессором, первый интерфейс связи и первую шину, приспособленную для соединения первого процессора, первого запоминающего устройства и первого интерфейса связи. Команды могут быть исполнены первым процессором для реализации способа кодирования изображений, как упомянуто выше.
[0019] В вариантах осуществления настоящего изобретения предоставлен декодер. Декодер может содержать второй процессор, второе запоминающее устройство, хранящее команды, исполнимые вторым процессором, второй интерфейс связи и вторую шину, приспособленную для соединения второго процессора, второго запоминающего устройства и второго интерфейса связи. Команды могут быть исполнены вторым процессором для реализации способа декодирования изображений, как упомянуто выше.
[0020] В вариантах осуществления настоящего изобретения предоставлен машиночитаемый носитель данных, на котором хранится программа, применяемая к кодеру и декодеру. Программа может быть исполнена процессором для реализации способов кодирования и декодирования изображений, таких как упомянуты выше.
[0021] В вариантах осуществления настоящего изобретения предоставлены способы кодирования и декодирования изображений, кодер, декодер и носитель данных. Кодер, перед выполнением обработки кодирования в соответствии с режимом MIP, выполняет унификационную модификацию на начальных параметрах сдвига вправо, соответствующих разным размерам и разным номерам режима MIP, в соответствии с параметром смещения, где параметр смещения указывает число сдвигаемых вправо битов предсказанного значения, и, при выполнении обработки кодирования в соответствии с режимом MIP, выполняет обработку кодирования в соответствии с параметром смещения. Декодер, перед выполнением обработки декодирования в соответствии с режимом MIP, выполняет унификационную модификацию на начальных параметрах сдвига вправо, соответствующих разным размерам и разным номерам режима MIP, в соответствии с параметром смещения и, при выполнении обработки декодирования в соответствии с режимом MIP, выполняет обработку декодирования в соответствии с параметром смещения. В соответствии со способами кодирования и декодирования изображений настоящего изобретения унификационная модификация выполняется на определенном числе сдвигаемых вправо битов предсказанного значения с использованием параметра смещения, чтобы гарантировать, что все блоки яркости разных размеров и с разными номерами режима MIP имеют одинаковое значение sW. Поэтому нет необходимости запрашивать и вызывать значение sW во время обработки кодирования и декодирования, можно уменьшить сложность алгоритма MIP и на основании обеспечения производительности кодирования и декодирования пространство памяти и общее время, требующиеся в процессе кодирования и декодирования, можно уменьшить и можно эффективно повысить эффективность кодирования и декодирования.
КРАТКОЕ ОПИСАНИЕ ГРАФИЧЕСКИХ МАТЕРИАЛОВ
[0022] Фиг. 1 представляет собой схему планировки 67 режимов предсказания для внутреннего предсказания.
[0023] Фиг. 2 представляет собой схему кодирования в режиме MIP.
[0024] Фиг. 3 представляет собой схему планировки смежного с верхней стороны блока яркости и смежного с левой стороны блока яркости для текущего блока.
[0025] Фиг. 4 представляет собой схему планировки для определения прямого режима (Direct Mode, DM).
[0026] Фиг. 5 представляет собой структурную схему системы кодирования видео.
[0027] Фиг. 6 представляет собой структурную схему системы декодирования видео.
[0028] Фиг. 7 представляет собой блок-схему первой реализации способа кодирования изображений согласно варианту осуществления настоящего изобретения.
[0029] Фиг. 8 представляет собой блок-схему второй реализации способа кодирования изображений согласно варианту осуществления настоящего изобретения.
[0030] Фиг. 9 представляет собой блок-схему первой реализации способа декодирования изображений согласно варианту осуществления настоящего изобретения.
[0031] Фиг. 10 представляет собой блок-схему второй реализации способа декодирования изображений согласно варианту осуществления настоящего изобретения.
[0032] Фиг. 11 представляет собой первую структурную схему кодера согласно варианту осуществления настоящего изобретения.
[0033] Фиг. 12 представляет собой вторую структурную схему кодера согласно варианту осуществления настоящего изобретения.
[0034] Фиг. 13 представляет собой первую структурную схему декодера согласно варианту осуществления настоящего изобретения.
[0035] Фиг. 14 представляет собой вторую структурную схему декодера согласно варианту осуществления настоящего изобретения.
ПОДРОБНОЕ ОПИСАНИЕ
[0036] Технические решения в вариантах осуществления настоящего изобретения будут ясно и полностью описаны ниже в сочетании с графическими материалами в вариантах осуществления настоящего изобретения. Необходимо понимать, что конкретные варианты осуществления, описанные здесь, в настоящем изобретении применены не для ограничения связанного применения, а лишь для объяснения. В дополнение также необходимо отметить, что для удобства описания на графических материалах представлены только те части, которые связаны с настоящим изобретением.
[0037] Для изображений видео в VVC принято аффинное линейное взвешенное внутреннее предсказание, предложенное в Joint Video Experts Team (JVET)-N0217, переименованное во внутреннее предсказание на основе матриц, т. е. MIP. Согласно этой технологии для разных размеров блоков внутреннего кодирования яркости в процессе внутреннего предсказания яркости добавляют разные количества режимов MIP.
[0038] Для передачи более подробного краевого направления, представленного в естественном видео, 33 угловых режима внутреннего предсказания яркости, определенные в высокоэффективном кодировании видеоизображений (HEVC), в VVC расширены до 65. Фиг. 1 представляет собой схему планировки 67 режимов предсказания для внутреннего предсказания. Как представлено на фиг. 1, номера с 2 по 66 указателей стрелок представляют 65 угловых режимов внутреннего предсказания, и существует еще два режима, не являющихся угловыми, а именно планарный режим с номером 0 и режим постоянного тока (Direct Current, DC) с номером 1. Поэтому процесс внутреннего предсказания для VVC включает два режима, не являющихся угловыми, и 65 угловых режимов. Здесь 67 режимов предсказания называют обычными режимами для внутреннего предсказания.
[0039] MIP представляет собой технологию внутреннего предсказания на основе нейронных сетей, а именно значение яркости текущего блока предсказывают с использованием многослойной нейронной сети на основе смежных восстановленных пикселей. Более конкретно, с помощью технологии MIP блоки кодирования яркости делят на три типа в соответствии с размером блока внутреннего кодирования яркости. Полагают, что размер блока кодирования яркости равен W×H, где W является параметром ширины, а H является параметром высоты. Блоки кодирования яркости могут быть разделены на три типа в соответствии с размером блока кодирования яркости.
[0040] Блок кодирования яркости размером 4×4 является блоком яркости первого типа, блоки кодирования яркости с размерами 8×4, 4×8 и 8×8 являются блоками яркости второго типа, а блок кодирования яркости других размеров является блоком яркости третьего типа.
[0041] Для этих трех типов блоков внутреннего кодирования яркости в технологии MIP M режимов MIP добавляют на основе 67 обычных режимов внутреннего предсказания. Для блоков яркости первого типа M=35. Для блоков яркости второго типа M=19. Для блоков яркости третьего типа M=11.
[0042] Более конкретно, технологию MIP применяют только к внутреннему предсказанию яркости. Как в традиционном режиме, входные данные для MIP также представляют собой данные строки сверху и столбца слева от текущего блока, тогда как выходные данные представляют собой предсказанное значение текущего блока. Конкретный процесс предсказания разделяют на три этапа: усреднение, матричное векторное умножение и интерполяция. То есть эти три этапа могут быть выполнены на входных восстановленных значениях яркости смежных пикселей, находящихся в строке сверху и столбце слева, для получения предсказанного значения компонента яркости текущего блока.
[0043] Фиг. 2 представляет собой схему кодирования в режиме MIP. Как представлено на фиг. 2, предсказание яркости в режиме MIP конкретно реализуют следующим образом.
top
left
top
left
red
[0044] На этапе S1 выполняют операцию усреднения на смежных с верхней стороны опорных точках текущего блока для получения вектора bdry, всего N значений, и выполняют операцию усреднения на смежных с левой стороны опорных точках текущего блока для получения вектора bdry, всего N значений. Когда текущий блок является блоком кодирования яркости первого типа, N=2. Когда текущий блок является блоком кодирования яркости второго типа или третьего типа, N=4. Вектор bdry и вектор bdry образуют новый вектор bdry, после чего выполняют следующие операции.
k
k
[0045] На этапе S2 получают соответствующие матрицу A и смещение b посредством номера k режима, относящегося к режиму MIP, и часть предсказанных значений текущего блока, идентифицированных пересекающимися линиями на фиг. 2, вычисляют по следующей формуле (1):
[0046]
[0047] На этапе S3 выполняют линейную интерполяцию для получения остаточных предсказанных значений Predred в текущем блоке.
[0048] Необходимо отметить, что для процесса реализации кодирования текущего блока необходимо, чтобы конкретный режим кодирования для внутреннего предсказания был записан в сжатый поток кода так, чтобы декодер мог извлекать информацию о режиме, чтобы определять, является применяемый конкретный режим традиционным режимом или режимом MIP, и если это традиционный режим, то определять конкретный традиционный режим, а если это режим MIP, то определять конкретный режим MIP.
[0049] Во внутреннем предсказании для VVC для каждого блока кодирования яркости сравнивают издержки скорости-искажения RDcost, соответствующие 67 традиционным режимам и M режимам MIP, и для кодирования выбирают оптимальный режим из 67 традиционных режимов и M режимов MIP. Для сокращения битовой служебной нагрузки для VVC применяют технологию внутреннего режима кодирования на основе списка наиболее вероятных режимов (Most Probable Modes, MPM).
[0050] Необходимо отметить, что поскольку расширение опорной линии и внутреннее подразделение (ISP) применяют к режимам только в списке MPM, когда оба флага extendrefflag и ispflag равны 0, а именно не применяется опорная линия и не выполняется разделение подблоками, кодировать mpmflag не требуется и положение оптимального режима в списке MPM кодируют прямо.
[0051] Для создания списка MPM и списка MIPMPM, во время внутреннего предсказания яркости для VVC, если оптимальным режимом, выбранным для текущего блока, является традиционный режим, необходимо создать список MPM, содержащий 6 наиболее вероятных традиционных режимов; а если оптимальным режимом, выбранным для текущего блока, является режим MIP, необходимо создать список MIPMPM, содержащий 3 наиболее вероятных режима MIP.
[0052] Фиг. 3 представляет собой схему планировки смежного с верхней стороны блока яркости и смежного с левой стороны блока яркости для текущего блока. Как представлено на фиг. 3, эти два списка выводят в соответствии с оптимальными режимами для смежного с верхней стороны блока (A) яркости и смежного с левой стороны блока (L) яркости для текущего блока, представленного на фиг. 3.
[0053] Кроме того, для создания списка MIPMPM, во внутреннем предсказании для VVC, если оптимальный режим для текущего блока является режимом MIP, необходимо создавать список MIPMPM. Во время создания списка MIPMPM сначала требуется получить режим MIP ABOVE_MIP, соответствующий оптимальному режиму для смежного с верхней стороны блока яркости, и режим MIP LEFT_MIP, соответствующий оптимальному режиму для смежного с левой стороны блока яркости.
[0054] Кроме того, после того как получены LEFT_MIP и ABOVE_MIP, список MIPMPM, содержащий 3 наиболее вероятных режима MIPMPM, может быть создан следующим методом. В списке MIPMPM номер представляет собой номер режима MIP, и этот номер находится в диапазоне от 0 до (M-1). Для блока яркости первого типа номер равен от 0 до 34. Для блока яркости второго типа номер равен от 0 до 18. Для блока яркости третьего типа номер равен от 0 до 10.
[0055] Если LEFT_MIP доступен (не -1), LEFT_MIP вносят в MIPMPMlist.
[0056] Если ABOVE_MIP доступен (не -1), ABOVE_MIP вносят в MIPMPMlist после контроля по избыточности.
[0057] Если LEFT_MIP недоступен (-1) и ABOVE_MIP недоступен (-1), добавляют список по умолчанию, чтобы наполнить MIPMPMlist, согласно типу текущего блока после контроля по избыточности.
[0058] Списком по умолчанию для блоков яркости первого типа является {17, 34, 5}.
[0059] Списком по умолчанию для блоков яркости второго типа является {0, 7, 16}.
[0060] Списком по умолчанию для блоков яркости третьего типа является {1, 4, 6}.
[0061] Дополнительно необходимо отметить, что в процессе внутреннего предсказания цветности для VVC существует основанный на корреляции компонентов DM, состоящий в том, что внутреннее предсказание текущего блока цветности может быть выполнено с использованием режима внутреннего предсказания для центрального положения паритетного блока кодирования яркости, соответствующего текущему блоку. Фиг. 4 представляет собой схему планировки определения DM. Как представлено на фиг. 4, поскольку технология MIP применяется только к блокам кодирования яркости, когда режим внутреннего предсказания для положения CR на фиг. 4 является режимом MIP, режим MIP требуется отобразить в традиционный режим согласно «таблице отображения режимов MIP в традиционные» для внутреннего предсказания текущего блока цветности.
[0062] То есть с внедрением технологии MIP, в процессе внутреннего предсказания, когда создают список MIPMPM, необходимо отображать традиционный режим в режим MIP, а когда создают список MPM и определяют DM, необходимо отображать режим MP в традиционный режим.
[0063]
Таблица 1
Традиционный режим
Режим MIP
0
1
2
0
17
0
5
1
17
0
1
2, 3
17
10
3
4, 5
9
10
3
6,7
9
10
3
8, 9
9
10
3
10, 11
9
10
0
12, 13
17
4
0
14, 15
17
6
0
16, 17
17
7
4
18, 19
17
7
4
20, 21
17
7
4
22, 23
17
5
5
24, 25
17
5
1
26, 27
5
0
1
28, 29
5
0
1
30, 31
5
3
1
32, 33
5
3
1
34, 35
34
12
6
36, 37
22
12
6
38, 39
22
12
6
40, 41
22
12
6
42, 43
22
14
6
44, 45
34
14
10
46, 47
34
14
10
48, 49
34
16
9
50, 51
34
16
9
52, 53
34
16
9
54, 55
34
15
9
56, 57
34
13
9
58, 59
26
1
8
60, 61
26
1
8
62, 63
26
1
8
64, 65
26
1
8
66
26
1
8
[0064] В дополнение, необходимо отображать режим MIP в традиционный режим в процессе создания списка MPM и процессе получения DM. Более конкретно, режимы 35/19/11 MIP отображают в 67 традиционных режимов согласно «таблице отображения режимов MIP в традиционные». Для трех типов блоков яркости три «таблицы отображения режимов MIP в традиционные» представлены как таблица 2, таблица 3 и таблица 4.
[0065]
Таблица 2
Режим MIP
0
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
Традиционный режим
0
18
18
0
18
0
12
0
18
2
18
12
18
18
1
18
18
0
Режим MIP
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
Традиционный режим
0
50
0
50
0
56
0
50
66
50
56
50
50
1
50
50
50
[0066]
Таблица 3
Режим MIP
0
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
Традицион-ный режим
0
1
0
1
0
22
18
18
1
0
1
0
1
0
44
0
50
1
0
[0067]
Таблица 4
Режим MIP
0
1
2
3
4
5
6
7
8
9
10
Традиционный режим
1
1
1
1
18
0
1
0
1
50
0
[0068] Фиг. 5 представляет собой структурную схему системы кодирования видео. Как представлено на фиг. 5, система 100 кодирования видео содержит такие компоненты, как модуль 101 преобразования и квантования, модуль 102 внутренней оценки, модуль 103 внутреннего предсказания, модуль 104 компенсации движения, модуль 105 оценки движения, модуль 106 обратного преобразования и обратного квантования, модуль 107 анализа управления фильтром, модуль 108 фильтрации для удаления блочности и фильтрации для адаптивного смещения выборки (SAO), модуль 109 кодирования информации заголовка и адаптивного двоичного арифметического кодирования на основе контекста (CABAC) и модуль 110 буфера для декодированного изображения. Фиг. 6 представляет собой структурную схему системы декодирования видео. Как представлено на фиг. 6, система 200 декодирования видео содержит такие компоненты, как модуль 201 декодирования информации заголовка и декодирования CABAC, модуль 202 обратного преобразования и обратного квантования, модуль 203 внутреннего предсказания, модуль 204 компенсации движения, модуль 205 фильтрации для удаления блочности и фильтрации для SAO и модуль 206 буфера для декодированного изображения. После обработки видеоизображения посредством компонентов в системе 100 кодирования видео, таких как модуль 101 преобразования и квантования, модуль 102 внутренней оценки, модуль 103 внутреннего предсказания, модуль 104 компенсации движения, модуль 105 оценки движения, модуль 108 фильтрации для удаления блочности и фильтрации для SAO и модуль 109 кодирования информации заголовка и CABAC, поток кода видеоизображения выводится. Поток кода вводится в систему 200 декодирования видео и обрабатывается посредством компонентов в системе 200 декодирования видео, таких как модуль 201 декодирования информации заголовка и декодирования CABAC, модуль 202 обратного преобразования и обратного квантования, модуль 203 внутреннего предсказания и модуль 204 компенсации движения, чтобы наконец восстановить исходное видео изображение.
[0069] В соответствии с параметром высоты и параметром ширины текущий блок может иметь 25 размеров. Более конкретно, в стандарте определено, что максимальный размер блока яркости составляет 128×128. Однако максимальный размер элемента преобразования составляет 64×64, необходимо выполнять разбиение с помощью квадродерева на блоке яркости размера 128×128 так, чтобы максимальный размер блока яркости составлял 64×64. Таблица 5 представляет собой схематическую таблицу размеров блоков яркости, как представлено в таблице 5.
[0070]
Таблица 5
(4×4)
(4×8)
(4×16)
(4×32)
(4×64)
(8×4)
(8×8)
(8×16)
(8×32)
(8×64)
(16×4)
(16×8)
(16×16)
(16×32)
(16×64)
(32×4)
(32×8)
(32×16)
(32×32)
(32×64)
(64×4)
(64×8)
(64×16)
(64×32)
(64×64)
[0071] На известном уровне техники режим MIP ограничен согласно параметру высоты и параметру ширины текущего блока. Более конкретно, если отношение ширины к высоте текущего блока больше 4 или отношение высоты к ширине больше 4, текущий блок не кодируют согласно режиму MIP. В таблице 6 продемонстрированы ограничения для размеров блоков яркости в режиме MIP на известном уровне техники, как представлено в таблице 6.
[0072]
Таблица 6
(4×4)
(4×8)
(4×16)
(4×32)
(4×64)
(8×4)
(8×8)
(8×16)
(8×32)
(8×64)
(16×4)
(16×8)
(16×16)
(16×32)
(16×64)
(32×4)
(32×8)
(32×16)
(32×32)
(32×64)
(64×4)
(64×8)
(64×16)
(64×32)
(64×64)
[0073] На известном уровне техники для блока яркости первого типа (соответствующего блоку яркости 4×4), применяющего режим MIP, имеется два верхних смежных и левых смежных блока яркости соответственно, и предсказанный блок 4×4 генерируют посредством матричной операции. Для блока яркости второго типа (соответствующего блоку яркости 4×8, 8×4 или 8×8), применяющего режим MIP, имеется четыре верхних смежных и левых смежных блока яркости соответственно, и предсказанный блок 4×4 генерируют посредством матричной операции. Для блока яркости третьего типа, применяющего режим MIP (соответствующего блоку яркости другого размера), имеется четыре верхних смежных и левых смежных блока яркости соответственно, и предсказанный блок 4×8 (блок яркости 4×16), предсказанный блок 8×4 (блок яркости 16×4) или предсказанный блок 8×8 (блок яркости другого размера) генерируют посредством матричной операции. Поскольку предсказанный блок, не являющийся квадратным, может быть сгенерирован для блока яркости третьего типа, нечетные строки матрицы требуется извлечь во время вычисления.
[0074] Кроме того, в грамматике MipSizeId представляет тип применения MIP, numModes представляет число режимов MIP, boundarySize представляет число блоков яркости, полученных путем понижающей дискретизации, в верхней опорной строке или левом опорном столбце, predW представляет параметр ширины предсказанного блока, predH представляет параметр высоты предсказанного блока и predC представляет длину стороны матрицы для MIP. В таблице 7 представлена грамматическая взаимосвязь, соответствующая режиму MIP на известном уровне техники. Как представлено в таблице 7, MipSizeId, numModes, boundarySize, predW, predH и predC в грамматике образуют следующие взаимосвязи.
[0075]
Таблица 7
MipSizeId
numModes
boundarySize
predW
predH
predC
0
35
2
4
4
4
1
19
4
4
4
4
2
11
4
Min(nTbW, 8)
Min(nTbH, 8)
8
[0076] Кроме того, в грамматике значение 0 MipSizeId представляет блок яркости 4×4, значение 1 представляет блок яркости 4×8, 8×4 или 8×8, а значение 2 представляет блок яркости другого размера. numModes представляет общее число режимов MIP, а именно имеется всего 35 для блока яркости 4×4, всего 19 для блока яркости 4×8, 8×4 или 8×8 и всего 11 для блока яркости другого размера. boundarySize представляет, что смежные блоки яркости в строке сверху или столбце слева от текущего блока в итоге подвергнуты понижающей дискретизации до двух или четырех смежных блоков яркости.
[0077] На известном уровне техники предсказание яркости, выполняемое кодером в режиме MIP, может быть реализовано по следующей формуле (2):
[0078]
[0079] Здесь mWeight и vBias представляют собой матрицу весов и матрицу смещений, полученные путем глубокого обучения в каждом режиме MIP соответственно. Более конкретно, mWeight представляет собой матрицу весов каждого режима MIP, а vBias представляет собой матрицу смещений каждого режима MIP. sB представляет собой сдвиг влево матрицы смещений, oW представляет собой округленное зарезервированное значение, а sW представляет собой сдвиг вправо общего предсказанного значения. Для получения значений sW в разных режимах MIP требуется поиск по таблице.
[0080] На основании JVET-N1001-v7, когда генерируют матрицу предсказания для MIP, кодер определяет, следует ли извлекать предсказанные значения нечетных строк через переменные incW и incH, а именно следующим образом:
[0081]
[0082]
[0083]
[0084]
[0085]
[0086] .
[0087] Здесь incW=2 или incH=2 представляет, что требуется извлечение по параметру ширины или параметру высоты.
[0088] В таблице 8 представлены грамматические описания относительно sW на известном уровне техники. Как представлено в таблице 8, тогда и только тогда, когда MipSizeId равен 1, то есть размер текущего блока составляет 4×8, 8×4 или 8×8 и номер режима MIP равен 3, 8, 12 или 17, значение sW равно 9, а значения sW во всех других режимах MIP равняются 8. Поскольку значения sW в режимах MIP представлены в отображении, значения sW во всех режимах могут быть получены посредством таблицы 8.
[0089]
[0090] Таблица 9 представляет собой матрицу mWeight, когда MipSizeId равен 1 и номер режима MIP равен 3 и 12.
[0091]
Таблица 9
218
-56
9
-3
411
-76
12
-4
448
94
-45
6
23
-15
2
-3
-1
476
77
-34
-5
-2
1
-3
1
-16
466
61
5
-4
1
-3
-38
2
-3
0
260
358
-77
8
122
-39
1
-1
463
-25
-11
-2
405
54
-41
5
121
-33
2
-6
107
402
16
-12
3
-4
1
-6
5
-1
-1
0
-62
267
375
-73
-25
3
-4
-1
108
466
-28
-11
58
-25
-3
-1
418
96
-35
-3
301
18
-15
5
229
-21
-4
-7
-1
-3
-2
-2
24
-95
291
297
3
1
-5
-2
-30
103
464
-29
-16
0
-6
0
41
429
70
-13
27
-5
-2
1
303
193
-13
-1
[0092] Таблица 10 представляет собой матрицу vBias, когда MipSizeId равен 1 и номер режима MIP равен 3 и 12.
[0093]
Таблица 10
1
2
3
1
1
3
3
3
2
4
4
4
3
5
5
5
[0094] Таблица 11 представляет собой матрицу mWeight, когда MipSizeId равен 1 и номер режима MIP равен 8 и 17. Таблица 12 представляет собой матрицу vBias, когда MipSizeId равен 1 и номер режима MIP равен 8 и 17.
[0095]
Таблица 11
-91
23
13
8
209
261
72
24
-26
-22
14
13
88
306
114
35
-16
18
-16
5
31
327
135
39
-11
11
30
-19
3
325
142
41
12
-4
1
1
-14
273
227
26
3
10
-3
-5
6
231
249
34
1
8
5
-9
10
214
262
37
-1
11
4
-7
15
208
259
40
5
0
4
-4
6
92
340
78
4
6
1
-5
6
113
329
75
2
13
2
-8
6
123
319
75
1
13
6
-10
9
136
303
74
6
1
4
-5
8
38
217
252
4
10
1
-7
9
58
313
141
3
12
4
-8
11
70
327
114
2
14
4
-7
14
82
314
110
[0096]
Таблица 12
-7
-10
-11
-11
-10
-14
-17
-18
-11
-15
-19
-21
-10
-17
-21
-22
[0097] Из-за разных грамматических описаний относительно sW в разных режимах MIP в таблице 8, когда кодер выполняет предсказание яркости в соответствии с режимом MIP, если MipSizeId текущего блока равен 1, а именно текущий блок является блоком яркости второго типа (блок яркости размером 4×8, 8×4 или 8×8), и номера режима MIP, соответствующие текущему блоку кодирования, представляют режимы 3, 8, 12 и 17, значение sW может отличаться от других режимов и, следовательно, алгоритм не является унифицированным. Кроме того, отправка запросов в таблицу 8 повышает временную сложность алгоритма, а пространство для таблицы 8 также занимает пространство памяти. То есть, когда режим MIP применяется для предсказания яркости, параметры для блоков яркости разных размеров также могут быть разными, так что относительно большое пространство памяти требуется для хранения большого числа параметров, а поиск и вызов параметров в процессе предсказания также продлевает общее время и дополнительно уменьшает эффективность кодирования и декодирования.
[0098] Для устранения указанных выше недостатков в настоящем изобретении раскрывается способ кодирования изображений. Значения sW, соответствующие номерам 3, 8, 12 и 17 режима MIP, блока яркости второго типа модифицируют так, чтобы гарантировать, что значения sW, соответствующие всем номерам режима MIP, являются одинаковыми, благодаря чему уменьшается пространство памяти, а операция поиска в таблице опускается, сокращая общее время.
[0099] Согласно способу кодирования изображений в настоящем изобретении может быть затронута часть, относящаяся к внутреннему предсказанию, в гибридной схеме кодирования видео, а именно способ в основном применяют к модулю 103 внутреннего предсказания при кодировании видео и модулю 203 внутреннего предсказания при декодировании видео, и он действует как на кодер, так и на декодер.
[00100] Необходимо отметить, что в вариантах осуществления настоящего изобретения для вычисления параметра, получаемого путем обучения на основе метода машинного обучения, согласно способам кодирования и декодирования изображений в настоящем изобретении унификационная модификация может быть выполнена на sW в соответствии с параметром смещения с фиксированным численным значением, и соответствующие матрицу весов и матрицу смещений модифицируют одновременно. Настоящее изобретение не ограничено модифицированием значений sW, соответствующих номерам 3, 8, 12 и 17 режима MIP, блока яркости второго типа, напротив, унификационную модификацию выполняют на разных значениях вычисляемого параметра sW, получаемого путем обучения посредством метода машинного обучения после изменения конкретного параметра (включая разные комбинации параметров, таких как размер, режим и значение сдвига вправо).
[00101] В следующих вариантах осуществления способы кодирования и декодирования изображений в настоящем изобретении схематически описаны в качестве примеров со значениями sW, соответствующими номерам 3, 8, 12 и 17 режима MIP, блока яркости второго типа.
[00102] Технические решения в вариантах осуществления настоящего изобретения будут ясно и полностью описаны ниже в сочетании с графическими материалами в вариантах осуществления настоящего изобретения.
[00103] В варианте осуществления настоящего изобретения фиг. 7 представляет собой блок-схему первой реализации способа кодирования изображений согласно варианту осуществления настоящего изобретения. Как представлено на фиг. 7, в варианте осуществления настоящего изобретения способ кодирования изображений для кодера может включать следующие этапы.
[00104] На этапе 101, перед выполнением обработки кодирования в соответствии с режимом MIP выполняют унификационную модификацию на начальных параметрах сдвига вправо, соответствующих разным размерам и разным номерам режима MIP, в соответствии с параметром смещения, при этом параметр смещения указывает число сдвигаемых вправо битов предсказанного значения.
[00105] В варианте осуществления настоящего изобретения перед выполнением обработки кодирования в соответствии с режимом MIP кодер может сначала устанавливать параметр смещения, используемый для указания числа смещаемых битов.
[00106] Необходимо отметить, что в варианте осуществления настоящего изобретения на основании формулы (2) параметр смещения представляет собой sW в формуле (2), а именно параметр смещения является числом сдвига вправо общего предсказанного значения. То есть, когда предсказание яркости выполняют на текущем блоке, параметр смещения предназначен для указания числа сдвигаемых вправо битов общего предсказанного значения текущего блока.
[00107] Кроме того, в варианте осуществления настоящего изобретения кодер может устанавливать параметр смещения равным фиксированному положительному целому числу перед выполнением обработки кодирования в соответствии с режимом MIP. То есть, после того как кодер устанавливает параметр смещения для любого текущего блока независимо от размера текущего блока и номера режима MIP, соответствующего текущему блоку, определяют параметр смещения, используемый для текущего блока.
[00108] Необходимо отметить, что в варианте осуществления настоящего изобретения кодер, при выполнении унификационной модификации на начальных параметрах сдвига вправо, соответствующих разным размерам и разным номерам режима MIP, в соответствии с параметром смещения, может устанавливать параметр смещения равным любому положительному целому числу. Более конкретно, кодер может предпочтительно устанавливать параметр sW смещения равным 6, или предпочтительно устанавливать параметр sW смещения равным 7, или предпочтительно устанавливать параметр sW смещения равным 8, или может также предпочтительно устанавливать параметр sW смещения равным 9.
[00109] Например, в таблице 13 представлено первое грамматическое описание относительно sW в настоящем изобретении. В варианте осуществления настоящего изобретения, когда кодер выполняет унификационную модификацию на начальных параметрах сдвига вправо, соответствующих разным размерам и разным номерам режима MIP, в соответствии с параметром смещения, для блока яркости размера 4×8, 8×4 или 8×8 и соответствующих номеру 3, 8, 12 или 17 режима MIP, соответствующий им sW может быть установлен равным численному значению, такому же как sW, соответствующий другому блоку яркости, а именно sW, соответствующий блоку яркости размера 4×8, 8×4 или 8×8 и соответствующий номеру 3, 8, 12 или 17 режима MIP, устанавливают равным 8, когда sW, соответствующий другому блоку яркости, равен 8, так что разные текущие блоки могут иметь одинаковый параметр sW смещения.
[00110]
[00111] Например, в таблице 14 представлено второе грамматическое описание относительно sW в настоящем изобретении. В варианте осуществления настоящего изобретения, когда кодер выполняет унификационную модификацию на начальных параметрах сдвига вправо, соответствующих разным размерам и разным номерам режима MIP, в соответствии с параметром смещения, для блока яркости размера 4×8, 8×4 или 8×8 и соответствующих номеру 3, 8, 12 или 17 режима MIP, соответствующий им sW может быть установлен равным численному значению, такому же как sW, соответствующий другому блоку яркости, а именно sW, соответствующий блоку яркости размера 4×8, 8×4 или 8×8 и соответствующий номеру 3, 8, 12 или 17 режима MIP, устанавливают равным 7, когда sW, соответствующий другому блоку яркости, равен 7, так что разные текущие блоки могут иметь одинаковый параметр sW смещения.
[00112]
[00113] Например, в таблице 15 представлено второе грамматическое описание относительно sW в настоящем изобретении. В варианте осуществления настоящего изобретения, когда кодер выполняет унификационную модификацию на начальных параметрах сдвига вправо, соответствующих разным размерам и разным номерам режима MIP, в соответствии с параметром смещения, для блока яркости размера 4×8, 8×4 или 8×8 и соответствующих номеру 3, 8, 12 или 17 режима MIP, соответствующий им sW может быть установлен равным численному значению, такому же как sW, соответствующий другому блоку яркости, а именно sW, соответствующий блоку яркости размера 4×8, 8×4 или 8×8 и соответствующий номеру 3, 8, 12 или 17 режима MIP, устанавливают равным 8, когда sW, соответствующий другому блоку яркости, равен 8, так что разные текущие блоки могут иметь одинаковый параметр sW смещения.
[00114]
[00115] Как представлено в таблице 8, на известном уровне техники разные текущие блоки могут соответствовать разным параметрам sW смещения. Более конкретно, тогда и только тогда, когда MipSizeId равен 1, а именно текущий блок является блоком яркости второго типа, для которого размер равен 4×8, 8×4 или 8×8, и номер режима MIP равен 3, 8, 12 или 17, значение sW отличается от значений sW, соответствующих всем другим номерам режима MIP. Поэтому кодеру при кодировании текущего блока требуется запрашивать и вызывать параметр sW смещения в соответствии с размером и номером режима MIP текущего блока, что продлевает общее время и уменьшает эффективность кодирования и декодирования. В дополнение, требуется хранить таблицу грамматического описания sW, так что пространство памяти увеличивается. В сравнении с известным уровнем техники, согласно решению настоящего изобретения параметр sW смещения может быть установлен сначала так, чтобы гарантировать, что параметры sW смещения, соответствующие всем блокам яркости разных размеров и разным номерам режима MIP, установлены равными одному и тому же значению перед выполнением обработки кодирования в соответствии с режимом MIP, так что нет необходимости запрашивать и вызывать параметр sW смещения в соответствии с размером и номером режима MIP текущего блока при кодировании текущего блока, при этом кодеру также не требуется хранить таблицу грамматического описания sW, пространство памяти и общее время, требующиеся в процессе кодирования и декодирования, можно дополнительно уменьшить и можно эффективно повысить эффективность кодирования и декодирования.
[00116] Необходимо отметить, что в варианте осуществления настоящего изобретения, хотя кодер устанавливает все параметры sW смещения, соответствующие разным размерам и разным номерам режима MIP, равными одному и тому же значению, при установке параметра sW смещения, тогда и только тогда, когда MipSizeId равен 1, а именно текущий блок является блоком яркости второго типа, размер которого равен 4×8, 8×4 или 8×8, и номер режима MIP равен 3, 8, 12 или 17, значение sW отличается от значений sW, соответствующих всем другим номерам режима MIP. Поэтому кодер устанавливает параметры sW смещения, соответствующие размерам 4×8, 8×4 и 8×8 и номерам режима MIP 3, 8, 12 и 17, при выполнении унификационной модификации sW на начальных параметрах сдвига вправо, соответствующих разным размерам и разным номерам режима MIP, в соответствии с параметром смещения.
[00117] В варианте осуществления настоящего изобретения процесс, в котором кодер выполняет унификационную модификацию на начальных параметрах сдвига вправо, соответствующих разным размерам и разным номерам режима MIP, в соответствии с параметром смещения, состоит в том, чтобы, когда один из начальных параметров сдвига вправо отличается от параметра смещения, приводить начальный параметр сдвига вправо к параметру смещения, чтобы гарантировать, что число сдвигаемых вправо битов всех предсказанных значений, соответствующее всем размерам и всем номерам режима MIP, является одинаковым.
[00118] На этапе 102, когда обработку кодирования выполняют в соответствии с режимом MIP, обработку кодирования выполняют в соответствии с параметром смещения.
[00119] В варианте осуществления настоящего изобретения после того как кодер выполняет унификационную модификацию на начальных параметрах сдвига вправо, соответствующих разным размерам и разным номерам режима MIP, в соответствии с параметром смещения, когда кодер выполняет обработку кодирования в соответствии с режимом MIP, обработка кодирования может быть выполнена на основании установленного параметра смещения.
[00120] Необходимо отметить, что в варианте осуществления настоящего изобретения кодер, после установки параметра смещения и при выполнении обработки кодирования в соответствии с режимом MIP, может прямо выполнять обработку кодирования на текущем блоке в соответствии с параметром смещения. Поэтому на основании обеспечения производительности кодирования и декодирования пространство памяти и общее время, требующиеся в процессе кодирования и декодирования, можно уменьшить и можно эффективно повысить эффективность кодирования и декодирования.
[00121] В вариантах осуществления настоящего изобретения, кроме того, фиг. 8 представляет собой блок-схему второй реализации способа кодирования изображений согласно варианту осуществления настоящего изобретения. Как представлено на фиг. 8, после того как кодер выполняет унификационную модификацию на начальных параметрах сдвига вправо, соответствующих разным размерам и разным номерам режима MIP, в соответствии с параметром смещения, а именно после этапа 101, способ кодирования изображений для кодера может дополнительно включать следующие этапы.
[00122] На этапе 103, начальную матрицу весов и начальную матрицу смещений модифицируют в соответствии с заданным вычислительным правилом для получения модифицированной матрицы весов и модифицированной матрицы смещений, при этом начальная матрица весов и начальная матрица смещений соответствуют начальному параметру сдвига вправо, подвергающемуся унификационной модификации.
[00123] В варианте осуществления настоящего изобретения кодер, после выполнения унификационной модификации на начальных параметрах сдвига вправо, соответствующих разным размерам и разным номерам режима MIP, в соответствии с параметром смещения, может модифицировать начальную матрицу весов и начальную матрицу смещений в соответствии с заданным вычислительным правилом, таким образом получая модифицированную матрицу весов и модифицированную матрицу смещений.
[00124] Необходимо отметить, что в варианте осуществления настоящего изобретения начальная матрица весов и начальная матрица смещений соответствуют начальному параметру сдвига вправо, подвергающемуся унификационной модификации.
[00125] Необходимо отметить, что в варианте осуществления настоящего изобретения заданное вычислительное правило может быть приспособлено так, чтобы обновлять соответствующие начальную матрицу весов и начальную матрицу смещений, когда размер равен 4×8, 8×4 или 8×8 и номер режима MIP равен 3, 8, 12 или 17.
[00126] Кроме того, в варианте осуществления настоящего изобретения после того как кодер устанавливает параметр смещения, а именно изменяет параметр смещения, соответствующий размеру 4×8, 8×4 или 8×8 и номеру 3, 8, 12 или 17 режима MIP, для предотвращения ухудшения производительности кодирования и декодирования кодер может дополнительно выполнять обработку по обновлению над соответствующими начальной матрицей весов и начальной матрицей смещений, таким образом получая модифицированную матрицу весов и модифицированную матрицу смещений.
[00127] Необходимо отметить, что в варианте осуществления настоящего изобретения, когда размер равен 4×8, 8×4 или 8×8 и номер режима MIP равен 3, 8, 12 или 17, кодер, при получении модифицированной матрицы весов и модифицированной матрицы смещений в соответствии с заданным вычислительным правилом, может обновлять соответствующие начальную матрицу весов и начальную матрицу смещений с помощью нескольких разных методов. Например, когда размер равен 4×8, 8×4 или 8×8 и номер режима MIP равен 3, 8, 12 или 17, кодер может обновлять значение A любого элемента в начальной матрице весов, устанавливая его равным A/2, и одновременно обновлять значение B любого элемента в начальной матрице смещений, устанавливая его равным B/2, в соответствии с вычислительным правилом округления в меньшую сторону, таким образом получая модифицированную матрицу весов и модифицированную матрицу смещений. A и B являются целыми числами. Кроме того, кодер может также обновлять значение A любого элемента в начальной матрице весов, устанавливая его равным A/2, и одновременно обновлять значение B любого элемента в начальной матрице смещений, устанавливая его равным B/2, в соответствии с вычислительным правилом округления в большую сторону, таким образом получая модифицированную матрицу весов и модифицированную матрицу смещений. Кроме того, кодер может также обновлять значение A любого элемента в начальной матрице весов, устанавливая его равным A/2, и одновременно обновлять значение B любого элемента в начальной матрице смещений, устанавливая его равным B/2, в соответствии с вычислительным правилом округления, таким образом получая модифицированную матрицу весов и модифицированную матрицу смещений.
[00128] На этапе 104, обработку кодирования выполняют в соответствии с параметром смещения, модифицированной матрицей весов и модифицированной матрицей смещений.
[00129] В варианте осуществления настоящего изобретения, когда кодер выполняет обработку кодирования в соответствии с режимом MIP, обработка кодирования может быть выполнена на основании установленного параметра смещения, модифицированной матрицы весов и модифицированной матрицы смещений.
[00130] Необходимо отметить, что в варианте осуществления настоящего изобретения после того как кодер устанавливает параметр смещения, для предотвращения ухудшения производительности кодирования и декодирования, соответствующие начальную матрицу весов и начальную матрицу смещений также обновляют для получения модифицированной матрицы весов и модифицированной матрицы смещений, и, когда обработка кодирования выполняется в соответствии с режимом MIP, обработка кодирования может быть выполнена на текущем блоке в соответствии с параметром смещения, модифицированной матрицей весов и модифицированной матрицей смещений. Поэтому на основании обеспечения производительности кодирования и декодирования пространство памяти и общее время, требующиеся в процессе кодирования и декодирования, могут быть уменьшены и может быть эффективно повышена эффективность кодирования и декодирования.
[00131] Необходимо отметить, что в варианте осуществления настоящего изобретения кодер после установки параметра смещения может также прямо выполнять обработку кодирования на текущем блоке в соответствии с параметром смещения, начальной матрицей весов и начальной матрицей смещений. То есть кодер после завершения установки параметра смещения может также не обновлять соответствующие начальную матрицу весов и начальную матрицу смещений.
[00132] На известном уровне техники, когда режим MIP применяется для предсказания яркости текущего блока, число битов, которые требуется сдвинуть вправо, не является единообразным, то есть параметры sW смещения являются разными. В способе кодирования изображений, раскрытом в настоящем изобретении, параметр смещения устанавливают единообразно, так что реализация режимов MIP является более простой и более единообразной. Кроме того, поскольку параметры sW смещения на известном уровне техники являются разными, необходимо хранить таблицу sW, представляющую число сдвигаемых вправо битов, и запрашивать и вызывать sW, соответствующий текущему блоку, в процессе вычисления для определения числа битов, которые требуется сдвигать вправо, предсказанного значения, вычисленного в режиме MIP. В способе кодирования изображений, раскрытом в настоящем изобретении, параметр смещения устанавливают единообразно, так что нет необходимости хранить таблицу sW, представляющую число сдвигаемых вправо битов, при этом экономится пространство памяти и опускается обработка по запросу и вызову sW.
[00133] Кроме того, в варианте осуществления настоящего изобретения кодер после установки параметра смещения может дополнительно обновлять соответствующие начальную матрицу весов и начальную матрицу смещений во избежание значительной потери производительности кодирования и декодирования. Более конкретно, согласно унифицированному стандарту испытаний для VVC, метрики DB по битрейту на Y, U и V равны 0,00%, -0,02% и -0,02% соответственно, и в результате испытываемый интервал из 24 кадров демонстрирует производительность кодирования и декодирования, подобную испытываемому интервалу из 8 кадров.
[00134] Согласно способу кодирования изображений, раскрытому в варианте осуществления настоящего изобретения, кодер, перед выполнением обработки кодирования в соответствии с режимом MIP, выполняет унификационную модификацию на начальных параметрах сдвига вправо, соответствующих разным размерам и разным номерам режима MIP, в соответствии с параметром смещения, где параметр смещения указывает число сдвигаемых вправо битов предсказанного значения, и, при выполнении обработки кодирования в соответствии с режимом MIP, выполняет обработку кодирования в соответствии с параметром смещения. В соответствии со способами кодирования и декодирования изображений, раскрытыми в настоящем изобретении, унификационную модификацию выполняют над числом сдвигаемых вправо битов предсказанного значения с использованием параметра смещения, чтобы гарантировать, что все блоки яркости разных размеров и с разными номерами режима MIP имеют одинаковое значение sW, так что нет необходимости запрашивать и вызывать значение sW во время обработки декодирования, сложность алгоритма MIP можно уменьшить и на основании обеспечения производительности кодирования и декодирования можно уменьшить пространство памяти и общее время, требующиеся в процессе кодирования и декодирования, и можно эффективно повысить эффективность кодирования и декодирования.
[00135] На основании вышеупомянутых вариантов осуществления в другом варианте осуществления настоящего изобретения, когда размер равен 4×8, 8×4 или 8×8 и номер режима MIP равен 3, 8, 12 или 17, способ, с помощью которого кодер получает модифицированную матрицу весов и модифицированную матрицу смещений в соответствии с заданным вычислительным правилом, может включать следующие этапы.
[00136] На этапе 103a значения всех элементов в начальной матрице весов приводят к значениям того же двоичного порядка величины, что и у значения элемента другой матрицы весов, в соответствии с вычислительным правилом округления в меньшую сторону для получения модифицированной матрицы весов.
[00137] На этапе 103b значения всех элементов в начальной матрице смещений приводят к значениям того же двоичного порядка величины, что и у значения элемента другой матрицы смещений, в соответствии с вычислительным правилом округления в меньшую сторону для получения модифицированной матрицы смещений.
[00138] В варианте осуществления настоящего изобретения, когда размер равен 4×8, 8×4 или 8×8 и номер режима MIP равен 3, 8, 12 или 17, кодер может приводить значения всех элементов в начальной матрице весов к значениям того же двоичного порядка величины, что и у значения элемента другой матрицы весов, в соответствии с вычислительным правилом округления в меньшую сторону и одновременно приводить значения всех элементов в начальной матрице смещений к значениям того же двоичного порядка величины, что и у значения элемента другой матрицы смещений, таким образом получая модифицированную матрицу весов и модифицированную матрицу смещений.
[00139] На основании таблицы 9, таблица 16 представляет собой модифицированную матрицу весов, когда MipSizeId равен 1 и номера режима MIP равны 3 и 12. Как представлено в таблице 16, кодер обновляет значение A каждого элемента в таблице 9, устанавливая его равным A/2, в соответствии с вычислительным правилом округления в меньшую сторону, таким образом получая модифицированную матрицу весов, когда MipSizeId равен 1 и номера режима MIP равны 3 и 12.
[00140]
Таблица 16
109
-28
4
-2
205
-38
6
-2
224
47
-23
3
11
-8
1
-2
-1
238
38
-17
-3
-1
0
-2
0
-8
233
30
2
-2
0
-2
-19
1
-2
0
130
179
-39
4
61
-20
0
-1
231
-13
-6
-1
202
27
-21
2
60
-17
1
-3
53
201
8
-6
1
-2
0
-3
2
-1
-1
0
-31
133
187
-37
-13
1
-2
-1
54
233
-14
-6
29
-13
-2
-1
209
48
-18
-2
150
9
-8
2
114
-11
-2
-4
-1
-2
-1
-1
12
-48
145
148
1
0
-3
-1
-15
51
232
-15
-8
0
-3
0
20
214
35
-7
13
-3
-1
0
151
96
-7
-1
[00141] На основании таблицы 10, таблица 17 представляет собой модифицированную матрицу смещений, когда MipSizeId равен 1 и номера режима MIP равны 3 и 12. Как представлено в таблице 17, кодер обновляет значение B каждого элемента в таблице 10, устанавливая его равным B/2, в соответствии с вычислительным правилом округления в меньшую сторону, таким образом получая модифицированную матрицу смещений, когда MipSizeId равен 1 и номера режима MIP равны 3 и 12.
[00142]
Таблица 17
0
1
1
0
0
1
1
1
1
2
2
2
1
2
2
2
[00143] На основании таблицы 11, таблица 18 представляет собой модифицированную матрицу весов, когда MipSizeId равен 1 и номера режима MIP равны 8 и 17. Как представлено в таблице 18, кодер обновляет значение A каждого элемента в таблице 11, устанавливая его равным A/2, в соответствии с вычислительным правилом округления в меньшую сторону, таким образом получая модифицированную матрицу весов, когда MipSizeId равен 1 и номера режима MIP равны 8 и 17.
[00144]
Таблица 18
-46
11
6
4
104
130
36
12
-13
-11
7
6
44
153
57
17
-8
9
-8
2
15
163
67
19
-6
5
15
-10
1
162
71
20
6
-2
0
0
-7
136
113
13
1
5
-2
-3
3
115
124
17
0
4
2
-5
5
107
131
18
-1
5
2
-4
7
104
129
20
2
0
2
-2
3
46
170
39
2
3
0
-3
3
56
164
37
1
6
1
-4
3
61
159
37
0
6
3
-5
4
68
151
37
3
0
2
-3
4
19
108
126
2
5
0
-4
4
29
156
70
1
6
2
-4
5
35
163
57
1
7
2
-4
7
41
157
55
[00145] На основании таблицы 12, таблица 19 представляет собой модифицированную матрицу смещений, когда MipSizeId равен 1 и номера режима MIP равны 8 и 17. Как представлено в таблице 22, кодер обновляет значение B каждого элемента в таблице 12, устанавливая его равным B/2, в соответствии с вычислительным правилом округления в меньшую сторону, таким образом получая модифицированную матрицу смещений, когда MipSizeId равен 1 и номера режима MIP равны 8 и 17.
[00146]
Таблица 19
-4
-5
-6
-6
-5
-7
-9
-9
-6
-8
-10
-11
-5
-9
-11
-11
[00147] В варианте осуществления настоящего изобретения, когда размер равен 4×8, 8×4 или 8×8 и номер режима MIP равен 3, 8, 12 или 17, способ получения модифицированной матрицы весов и модифицированной матрицы смещений кодером в соответствии с заданным вычислительным правилом может включать следующие этапы.
[00148] На этапе 103c значения всех элементов в начальной матрице весов приводят к значениям того же двоичного порядка величины, что и у значения элемента другой матрицы весов, в соответствии с вычислительным правилом округления в большую сторону для получения модифицированной матрицы весов.
[00149] На этапе 103d значения всех элементов в начальной матрице смещений приводят к значениям того же двоичного порядка величины, что и у значения элемента другой матрицы смещений, в соответствии с вычислительным правилом округления в большую сторону для получения модифицированной матрицы смещений.
[00150] В варианте осуществления настоящего изобретения, когда размер равен 4×8, 8×4 или 8×8 и номер режима MIP равен 3, 8, 12 или 17, кодер может приводить значения всех элементов в начальной матрице весов к значениям того же двоичного порядка величины, что и у значения элемента другой матрицы весов, в соответствии с вычислительным правилом округления в большую сторону и одновременно приводить значения всех элементов в начальной матрице смещений к значениям того же двоичного порядка величины, что и у значения элемента другой матрицы смещений, таким образом получая модифицированную матрицу весов и модифицированную матрицу смещений.
[00151] На основании таблицы 9, таблица 20 представляет собой модифицированную матрицу весов, когда MipSizeId равен 1 и номера режима MIP равны 3 и 12. Как представлено в таблице 20, кодер обновляет значение A каждого элемента в таблице 9, устанавливая его равным A/2, в соответствии с вычислительным правилом округления в большую сторону, таким образом получая модифицированную матрицу весов, когда MipSizeId равен 1 и номера режима MIP равны 3 и 12.
[00152]
Таблица 20
109
-28
5
-1
206
-38
6
-2
224
47
-22
3
12
-7
1
-1
0
238
39
-17
-2
-1
1
-1
1
-8
233
31
3
-2
1
-1
-19
1
-1
0
130
179
-38
4
61
-19
1
0
232
-12
-5
-1
203
27
-20
3
61
-16
1
-3
54
201
8
-6
2
-2
1
-3
3
0
0
0
-31
134
188
-36
-12
2
-2
0
54
233
-14
-5
29
-12
-1
0
209
48
-17
-1
151
9
-7
3
115
-10
-2
-3
0
-1
-1
-1
12
-47
146
149
2
1
-2
-1
-15
52
232
-14
-8
0
-3
0
21
215
35
-6
14
-2
-1
1
152
97
-6
0
[00153] На основании таблицы 10, таблица 21 представляет собой модифицированную матрицу смещений, когда MipSizeId равен 1 и номера режима MIP равны 3 и 12. Как представлено в таблице 21, кодер обновляет значение B каждого элемента в таблице 10, устанавливая его равным B/2, в соответствии с вычислительным правилом округления в большую сторону, таким образом получая модифицированную матрицу смещений, когда MipSizeId равен 1 и номера режима MIP равны 3 и 12.
[00154]
Таблица 21
1
1
2
1
1
2
2
2
1
2
2
2
2
3
3
3
[00155] На основании таблицы 11, таблица 22 представляет собой модифицированную матрицу весов, когда MipSizeId равен 1 и номера режима MIP равны 8 и 17. Как представлено в таблице 22, кодер обновляет значение A каждого элемента в таблице 11, устанавливая его равным A/2, в соответствии с вычислительным правилом округления в большую сторону, таким образом получая модифицированную матрицу весов, когда MipSizeId равен 1 и номера режима MIP равны 8 и 17.
[00156]
Таблица 22
-45
12
7
4
105
131
36
12
-13
-11
7
7
44
153
57
18
-8
9
-8
3
16
164
68
20
-5
6
15
-9
2
163
71
21
6
-2
1
1
-7
137
114
13
2
5
-1
-2
3
116
125
17
1
4
3
-4
5
107
131
19
0
6
2
-3
8
104
130
20
3
0
2
-2
3
46
170
39
2
3
1
-2
3
57
165
38
1
7
1
-4
3
62
160
38
1
7
3
-5
5
68
152
37
3
1
2
-2
4
19
109
126
2
5
1
-3
5
29
157
71
2
6
2
-4
6
35
164
57
1
7
2
-3
7
41
157
55
[00157] На основании таблицы 12, таблица 23 представляет собой модифицированную матрицу смещений, когда MipSizeId равен 1 и номера режима MIP равны 8 и 17. Как представлено в таблице 23, кодер обновляет значение B каждого элемента в таблице 12, устанавливая его равным B/2, в соответствии с вычислительным правилом округления в большую сторону, таким образом получая модифицированную матрицу смещений, когда MipSizeId равен 1 и номера режима MIP равны 8 и 17.
[00158]
Таблица 23
-3
-5
-5
-5
-5
-7
-8
-9
-5
-7
-9
-10
-5
-8
-10
-11
[00159] В варианте осуществления настоящего изобретения, кроме того, когда размер равен 4×8, 8×4 или 8×8 и номер режима MIP равен 3, 8, 12 или 17, способ получения модифицированной матрицы весов и модифицированной матрицы смещений кодером в соответствии с заданным вычислительным правилом может включать следующие этапы.
[00160] На этапе 103e значения всех элементов в начальной матрице весов приводят к значениям того же двоичного порядка величины, что и у значения элемента другой матрицы весов, в соответствии с вычислительным правилом округления для получения модифицированной матрицы весов.
[00161] На этапе 103f значения всех элементов в начальной матрице смещений приводят к значениям того же двоичного порядка величины, что и у значения элемента другой матрицы смещений, в соответствии с вычислительным правилом округления для получения модифицированной матрицы смещений.
[00162] В варианте осуществления настоящего изобретения, когда размер равен 4×8, 8×4 или 8×8 и номер режима MIP равен 3, 8, 12 или 17, кодер может приводить значения всех элементов в начальной матрице весов к значениям того же двоичного порядка величины, что и у значения элемента иной матрицы весов, в соответствии с вычислительным правилом округления и одновременно приводить значения всех элементов в начальной матрице смещений к значениям того же двоичного порядка величины, что и у значения элемента иной матрицы смещений, таким образом получая модифицированную матрицу весов и модифицированную матрицу смещений.
[00163] На основании таблицы 9, таблица 24 представляет собой модифицированную матрицу весов, когда MipSizeId равен 1 и номера режима MIP равны 3 и 12. Как представлено в таблице 24, кодер обновляет значение A каждого элемента в таблице 9, устанавливая его равным A/2, в соответствии с вычислительным правилом округления, таким образом получая модифицированную матрицу весов, когда MipSizeId равен 1 и номера режима MIP равны 3 и 12.
[00164]
Таблица 24
109
-28
5
-2
206
-38
6
-2
224
47
-23
3
12
-8
1
-2
-1
238
39
-17
-3
-1
1
-2
1
-8
233
31
3
-2
1
-2
-19
1
-2
0
130
179
-39
4
61
-20
1
-1
232
-13
-6
-1
203
27
-21
3
61
-17
1
-3
54
201
8
-6
2
-2
1
-3
3
-1
-1
0
-31
134
188
-37
-13
2
-2
-1
54
233
-14
-6
29
-13
-2
-1
209
48
-18
-2
151
9
-8
3
115
-11
-2
-4
-1
-2
-1
-1
12
-48
146
149
2
1
-3
-1
-15
52
232
-15
-8
0
-3
0
21
215
35
-7
14
-3
-1
1
152
97
-7
-1
[00165] На основании таблицы 10, таблица 25 представляет собой модифицированную матрицу смещений, когда MipSizeId равен 1 и номера режима MIP равны 3 и 12. Как представлено в таблице 25, кодер обновляет значение B каждого элемента в таблице 10, устанавливая его равным B/2, в соответствии с вычислительным правилом округления, таким образом получая модифицированную матрицу смещений, когда MipSizeId равен 1 и номера режима MIP равны 3 и 12.
[00166]
Таблица 25
1
1
2
1
1
2
2
2
1
2
2
2
2
3
3
3
[00167] На основании таблицы 11, таблица 26 представляет собой модифицированную матрицу весов, когда MipSizeId равен 1 и номера режима MIP равны 8 и 17. Как представлено в таблице 26, кодер обновляет значение A каждого элемента в таблице 11, устанавливая его равным A/2, в соответствии с вычислительным правилом округления, таким образом получая модифицированную матрицу весов, когда MipSizeId равен 1 и номера режима MIP равны 8 и 17.
[00168]
Таблица 26
-46
12
7
4
105
131
36
12
-13
-11
7
7
44
153
57
18
-8
9
-8
3
16
164
68
20
-6
6
15
-10
2
163
71
21
6
-2
1
1
-7
137
114
13
2
5
-2
-3
3
116
125
17
1
4
3
-5
5
107
131
19
-1
6
2
-4
8
104
130
20
3
0
2
-2
3
46
170
39
2
3
1
-3
3
57
165
38
1
7
1
-4
3
62
160
38
1
7
3
-5
5
68
152
37
3
1
2
-3
4
19
109
126
2
5
1
-4
5
29
157
71
2
6
2
-4
6
35
164
57
1
7
2
-4
7
41
157
55
[00169] На основании таблицы 12, таблица 27 представляет собой модифицированную матрицу смещений, когда MipSizeId равен 1 и номера режима MIP равны 8 и 17. Как представлено в таблице 30, кодер обновляет значение B каждого элемента в таблице 12, устанавливая его равным B/2, в соответствии с вычислительным правилом округления, таким образом получая модифицированную матрицу смещений, когда MipSizeId равен 1 и номера режима MIP равны 8 и 17.
[00170]
Таблица 27
-4
-5
-6
-6
-5
-7
-9
-9
-6
-8
-10
-11
-5
-9
-11
-11
[00171] Согласно способу кодирования изображений, раскрытому в вариантах осуществления настоящего изобретения, кодер, перед выполнением обработки кодирования в соответствии с режимом MIP, выполняет унификационную модификацию на начальных параметрах сдвига вправо, соответствующих разным размерам и разным номерам режима MIP, в соответствии с параметром смещения, где параметр смещения используют для указания числа сдвигаемых вправо битов предсказанного значения, и, при выполнении обработки кодирования в соответствии с режимом MIP, выполняет обработку кодирования в соответствии с параметром смещения. В соответствии со способами кодирования и декодирования изображений, раскрытыми в настоящем изобретении, унификационную модификацию выполняют над числом сдвигаемых вправо битов предсказанного значения с использованием параметра смещения, чтобы гарантировать, что все блоки яркости разных размеров и с разными номерами режима MIP имеют одинаковое значение sW, так что нет необходимости запрашивать и вызывать значение sW во время обработки кодирования и декодирования, сложность алгоритма MIP можно уменьшить и на основании обеспечения производительности кодирования и декодирования можно уменьшить пространство памяти и общее время, требующиеся в процессе кодирования и декодирования, и можно эффективно повысить эффективность кодирования и декодирования.
[00172] В другом варианте осуществления настоящего изобретения фиг. 9 представляет собой блок-схему первой реализации способа декодирования изображений согласно варианту осуществления настоящего изобретения. Как представлено на фиг. 9, в варианте осуществления настоящего изобретения способ декодирования изображений для декодера может включать следующие операции.
[00173] На этапе 201, перед выполнением обработки декодирования в соответствии с режимом MIP, выполняют унификационную модификацию на начальных параметрах сдвига вправо, соответствующих разным размерам и разным номерам режима MIP, в соответствии с параметром смещения, при этом параметр смещения указывает число сдвигаемых вправо битов предсказанного значения.
[00174] В варианте осуществления настоящего изобретения перед выполнением обработки декодирования в соответствии с режимом MIP, декодер может сначала устанавливать параметр смещения, используемый для указания числа смещаемых битов.
[00175] Необходимо отметить, что в варианте осуществления настоящего изобретения на основании формулы (2) параметр смещения представляет собой sW в формуле (2), а именно параметр смещения является числом сдвига вправо общего предсказанного значения. То есть, когда предсказание яркости выполняют на текущем блоке, параметр смещения предназначен для указания числа сдвигаемых вправо битов общего предсказанного значения текущего блока.
[00176] Кроме того, в варианте осуществления настоящего изобретения декодер может устанавливать параметр смещения равным фиксированному положительному целому числу перед выполнением обработки декодирования в соответствии с режимом MIP. То есть, после того как декодер устанавливает параметр смещения для любого текущего блока независимо от размера текущего блока и номера режима MIP, соответствующего текущему блоку, определяют параметр смещения, используемый для текущего блока.
[00177] Необходимо отметить, что в варианте осуществления настоящего изобретения декодер, при выполнении унификационной модификации на начальных параметрах сдвига вправо, соответствующих разным размерам и разным номерам режима MIP, в соответствии с параметром смещения, может устанавливать параметр смещения равным любому положительному целому числу. Более конкретно, декодер может предпочтительно устанавливать параметр sW смещения равным 6, или предпочтительно устанавливать параметр sW смещения равным 7, или предпочтительно устанавливать параметр sW смещения равным 8, или может также предпочтительно устанавливать параметр sW смещения равным 9.
[00178] На известном уровне техники разные текущие блоки могут соответствовать разным параметрам sW смещения. Более конкретно, тогда и только тогда, когда MipSizeId равен 1, а именно текущий блок является блоком яркости второго типа, для которого размер равен 4×8, 8×4 или 8×8, и номер режима MIP равен 3, 8, 12 или 17, значение sW отличается от значений sW, соответствующих всем другим номерам режима MIP. Поэтому декодеру при декодировании текущего блока требуется запрашивать и вызывать параметр sW смещения в соответствии с размером и номером режима MIP текущего блока, что продлевает общее время и уменьшает эффективность кодирования и декодирования. В дополнение, требуется хранить таблицу грамматического описания sW, так что пространство памяти увеличивается. В сравнении с известным уровнем техники, согласно решению настоящего изобретения параметр sW смещения может быть установлен сначала так, чтобы гарантировать, что параметры sW смещения, соответствующие всем блокам яркости разных размеров и разным номерам режима MIP, установлены равными одному и тому же значению перед выполнением обработки декодирования в соответствии с режимом MIP, так что нет необходимости запрашивать и вызывать параметр sW смещения в соответствии с размером и номером режима MIP текущего блока при декодировании текущего блока, при этом декодеру также не требуется хранить таблицу грамматического описания sW, пространство памяти и общее время, требующиеся в процессе кодирования и декодирования, можно дополнительно уменьшить и можно эффективно повысить эффективность кодирования и декодирования.
[00179] Необходимо отметить, что в варианте осуществления настоящего изобретения, хотя декодер устанавливает все параметры sW смещения, соответствующие разным размерам и разным номерам режима MIP, равными одному и тому же значению, при установке параметра sW смещения, тогда и только тогда, когда MipSizeId равен 1, а именно текущий блок является блоком яркости второго типа, размер которого равен 4×8, 8×4 или 8×8, и номер режима MIP равен 3, 8, 12 или 17, значение sW отличается от значений sW, соответствующих всем другим номерам режима MIP. Поэтому декодер устанавливает параметры sW смещения, соответствующие размерам 4×8, 8×4 и 8×8 и номерам режима MIP 3, 8, 12 и 17, при выполнении унификационной модификации sW на начальных параметрах сдвига вправо, соответствующих разным размерам и разным номерам режима MIP, в соответствии с параметром смещения.
[00180] В варианте осуществления настоящего изобретения процесс, в котором декодер выполняет унификационную модификацию на начальных параметрах сдвига вправо, соответствующих разным размерам и разным номерам режима MIP, в соответствии с параметром смещения, состоит в том, чтобы, когда начальный параметр сдвига вправо отличается от параметра смещения, приводить начальный параметр сдвига вправо к параметру смещения, чтобы делать так, чтобы число сдвигаемых вправо битов всех предсказанных значений, соответствующее всем размерам и всем номерам режима MIP, было одинаковым.
[00181] На этапе 202, когда обработку декодирования выполняют в соответствии с режимом MIP, обработку декодирования выполняют в соответствии с параметром смещения.
[00182] В варианте осуществления настоящего изобретения после того как декодер выполняет унификационную модификацию на начальных параметрах сдвига вправо, соответствующих разным размерам и разным номерам режима MIP, в соответствии с параметром смещения, когда декодер выполняет обработку декодирования в соответствии с режимом MIP, обработка декодирования может быть выполнена на основании установленного параметра смещения.
[00183] Необходимо отметить, что в варианте осуществления настоящего изобретения декодер, после установки параметра смещения и при выполнении обработки декодирования в соответствии с режимом MIP, может прямо выполнять обработку декодирования на текущем блоке в соответствии с параметром смещения. Поэтому на основании обеспечения производительности кодирования и декодирования пространство памяти и общее время, требующиеся в процессе кодирования и декодирования, можно уменьшить и можно эффективно повысить эффективность кодирования и декодирования.
[00184] В вариантах осуществления настоящего изобретения, кроме того, фиг. 10 представляет собой блок-схему второй реализации способа декодирования изображений согласно варианту осуществления настоящего изобретения. Как представлено на фиг. 10, после того как декодер выполняет унификационную модификацию на начальных параметрах сдвига вправо, соответствующих разным размерам и разным номерам режима MIP, в соответствии с параметром смещения, а именно после этапа 201, способ декодирования изображений для декодера может дополнительно включать следующие этапы.
[00185] На этапе 203, начальную матрицу весов и начальную матрицу смещений модифицируют в соответствии с заданным вычислительным правилом для получения модифицированной матрицы весов и модифицированной матрицы смещений, при этом начальная матрица весов и начальная матрица смещений соответствуют начальному параметру сдвига вправо, подвергающемуся унификационной модификации.
[00186] В варианте осуществления настоящего изобретения декодер, после выполнения унификационной модификации на начальных параметрах сдвига вправо, соответствующих разным размерам и разным номерам режима MIP, в соответствии с параметром смещения, может модифицировать начальную матрицу весов и начальную матрицу смещений в соответствии с заданным вычислительным правилом, таким образом получая модифицированную матрицу весов и модифицированную матрицу смещений.
[00187] Необходимо отметить, что в варианте осуществления настоящего изобретения начальная матрица весов и начальная матрица смещений соответствуют начальному параметру сдвига вправо, подвергающемуся унификационной модификации.
[00188] Необходимо отметить, что в варианте осуществления настоящего изобретения заданное вычислительное правило может быть приспособлено так, чтобы обновлять соответствующие начальную матрицу весов и начальную матрицу смещений, когда размер равен 4×8, 8×4 или 8×8 и номер режима MIP равен 3, 8, 12 или 17.
[00189] Кроме того, в варианте осуществления настоящего изобретения после того как декодер устанавливает параметр смещения, а именно изменяет параметр смещения, соответствующий размеру 4×8, 8×4 или 8×8 и номеру 3, 8, 12 или 17 режима MIP, для предотвращения ухудшения производительности кодирования и декодирования декодер может дополнительно выполнять обработку по обновлению над соответствующими начальной матрицей весов и начальной матрицей смещений, таким образом получая модифицированную матрицу весов и модифицированную матрицу смещений.
[00190] Необходимо отметить, что в варианте осуществления настоящего изобретения, когда размер равен 4×8, 8×4 или 8×8 и номер режима MIP равен 3, 8, 12 или 17, декодер, при получении модифицированной матрицы весов и модифицированной матрицы смещений в соответствии с заданным вычислительным правилом, может обновлять соответствующие начальную матрицу весов и начальную матрицу смещений с помощью нескольких разных методов. Например, когда размер равен 4×8, 8×4 или 8×8 и номер режима MIP равен 3, 8, 12 или 17, декодер может обновлять значение A любого элемента в начальной матрице весов, устанавливая его равным A/2, и одновременно обновлять значение B любого элемента в начальной матрице смещений, устанавливая его равным B/2, в соответствии с вычислительным правилом округления в меньшую сторону, таким образом получая модифицированную матрицу весов и модифицированную матрицу смещений. A и B являются целыми числами. Кроме того, декодер может также обновлять значение A любого элемента в начальной матрице весов, устанавливая его равным A/2, и одновременно обновлять значение B любого элемента в начальной матрице смещений, устанавливая его равным B/2, в соответствии с вычислительным правилом округления в большую сторону, таким образом получая модифицированную матрицу весов и модифицированную матрицу смещений. Кроме того, декодер может также обновлять значение A любого элемента в начальной матрице весов, устанавливая его равным A/2, и одновременно обновлять значение B любого элемента в начальной матрице смещений, устанавливая его равным B/2, в соответствии с вычислительным правилом округления, таким образом получая модифицированную матрицу весов и модифицированную матрицу смещений.
[00191] На этапе 204, обработку декодирования выполняют в соответствии с параметром смещения, модифицированной матрицей весов и модифицированной матрицей смещений.
[00192] В варианте осуществления настоящего изобретения, когда декодер выполняет обработку декодирования в соответствии с режимом MIP, обработка декодирования может быть выполнена на основании установленного параметра смещения, модифицированной матрицы весов и модифицированной матрицы смещений.
[00193] Необходимо отметить, что в варианте осуществления настоящего изобретения после того как декодер устанавливает параметр смещения, для предотвращения ухудшения производительности кодирования и декодирования, соответствующие начальную матрицу весов и начальную матрицу смещений также обновляют для получения модифицированной матрицы весов и модифицированной матрицы смещений, и, когда обработка декодирования выполняется в соответствии с режимом MIP, обработка декодирования может быть выполнена на текущем блоке в соответствии с параметром смещения, модифицированной матрицей весов и модифицированной матрицей смещений. Поэтому на основании обеспечения производительности кодирования и декодирования пространство памяти и общее время, требующиеся в процессе кодирования и декодирования, могут быть уменьшены и может быть эффективно повышена эффективность кодирования и декодирования.
[00194] Необходимо отметить, что в варианте осуществления настоящего изобретения декодер после установки параметра смещения может также прямо выполнять обработку декодирования на текущем блоке в соответствии с параметром смещения, начальной матрицей весов и начальной матрицей смещений. То есть декодер после завершения установки параметра смещения может также не обновлять соответствующие начальную матрицу весов и начальную матрицу смещений.
[00195] На известном уровне техники, когда режим MIP применяется для предсказания яркости текущего блока, число битов, которые требуется сдвинуть вправо, не является единообразным, то есть параметры sW смещения являются разными. В способе декодирования изображений, раскрытом в настоящем изобретении, параметр смещения устанавливают единообразно, так что реализация режимов MIP является более простой и более единообразной. Кроме того, поскольку параметры sW смещения на известном уровне техники являются разными, необходимо хранить таблицу sW, представляющую число сдвигаемых вправо битов, и запрашивать и вызывать sW, соответствующий текущему блоку, в процессе вычисления для определения числа битов, которые требуется сдвигать вправо, предсказанного значения, вычисленного в режиме MIP. В способе декодирования изображений, раскрытом в настоящем изобретении, параметр смещения устанавливают единообразно, так что нет необходимости хранить таблицу sW, представляющую число сдвигаемых вправо битов, при этом экономится пространство памяти и опускается обработка по запросу и вызову sW.
[00196] Согласно способу декодирования изображений, раскрытому в варианте осуществления настоящего изобретения, декодер, перед выполнением обработки декодирования в соответствии с режимом MIP, выполняет унификационную модификацию на начальных параметрах сдвига вправо, соответствующих разным размерам и разным номерам режима MIP, в соответствии с параметром смещения, где параметр смещения указывает число сдвигаемых вправо битов предсказанного значения, и, при выполнении обработки декодирования в соответствии с режимом MIP, выполняет обработку декодирования в соответствии с параметром смещения. В соответствии со способами кодирования и декодирования изображений, раскрытыми в настоящем изобретении, унификационную модификацию выполняют над числом сдвигаемых вправо битов предсказанного значения с использованием параметра смещения, чтобы гарантировать, что все блоки яркости разных размеров и с разными номерами режима MIP имеют одинаковое значение sW, так что нет необходимости запрашивать и вызывать значение sW во время обработки кодирования и декодирования, сложность алгоритма MIP можно уменьшить и на основании обеспечения производительности кодирования и декодирования можно уменьшить пространство памяти и общее время, требующиеся в процессе кодирования и декодирования, и можно эффективно повысить эффективность кодирования и декодирования.
[00197] На основании вышеупомянутых вариантов осуществления в другом варианте осуществления настоящего изобретения фиг. 11 представляет собой первую структурную схему кодера согласно варианту осуществления настоящего изобретения. Как представлено на фиг. 11, кодер 300, раскрытый в варианте осуществления настоящего изобретения, может содержать первую секцию 301 модификации и секцию 302 кодирования.
[00198] Первая секция 301 модификации приспособлена, перед выполнением обработки кодирования в соответствии с режимом MIP, выполнять унификационную модификацию на начальных параметрах сдвига вправо, соответствующих разным размерам и разным номерам режима MIP, в соответствии с параметром смещения. Параметр смещения указывает число сдвигаемых вправо битов предсказанного значения.
[00199] Секция 302 кодирования приспособлена, когда обработка кодирования выполняется в соответствии с режимом MIP, выполнять обработку кодирования в соответствии с параметром смещения.
[00200] Первая секция 301 модификации в частности приспособлена, когда начальный параметр сдвига вправо отличается от параметра смещения, приводить начальный параметр сдвига вправо к параметру смещения, чтобы делать так, чтобы число сдвигаемых вправо битов всех предсказанных значений, соответствующее всем размерам и всем номерам режима MIP, было одинаковым.
[00201] Фиг. 12 представляет собой вторую структурную схему кодера согласно варианту осуществления настоящего изобретения. Как представлено на фиг. 12, кодер 300, раскрытый в варианте осуществления настоящего изобретения, может также содержать первый процессор 303, первое запоминающее устройство 304, хранящее команды, исполнимые первым процессором 303, первый интерфейс 305 связи и первую шину 306, приспособленную для соединения первого процессора 303, первого запоминающего устройства 304 и первого интерфейса 305 связи.
[00202] Кроме того, в варианте осуществления настоящего изобретения первый процессор 303 приспособлен, перед выполнением обработки кодирования в соответствии с режимом MIP, выполнять унификационную модификацию на начальных параметрах сдвига вправо, соответствующих разным размерам и разным номерам режима MIP, в соответствии с параметром смещения, где параметр смещения указывает число сдвигаемых вправо битов предсказанного значения, и при выполнении обработки кодирования в соответствии с режимом MIP выполнять обработку кодирования в соответствии с параметром смещения.
[00203] В дополнение, каждый функциональный модуль в варианте осуществления может быть интегрирован в обрабатывающий блок, каждый блок также может существовать независимо, и два или более чем два блока также могут быть интегрированы в один блок. Интегрированный блок может быть реализован в форме аппаратного обеспечения, а также может быть реализован в форме функционального модуля программного обеспечения.
[00204] При реализации в форме программного функционального модуля и продаже или использовании не как самостоятельного продукта интегрированный блок может храниться на машиночитаемом носителе данных. Исходя из такого понимания, техническое решение варианта осуществления по существу или части, вносящие вклад в уровень техники, или все техническое решение или его часть могут быть воплощены в форме программного продукта, и компьютерный программный продукт хранится на носителе данных, содержащем множество команд, предназначенных для обеспечения исполнения компьютерным устройством (которое может представлять собой персональный компьютер, сервер, сетевое устройство и т. п.) или процессором всех или части операций способа в варианте осуществления. Носитель данных включает различные носители, которые могут хранить программные коды, такие как U-диск, мобильный жесткий диск, постоянное запоминающее устройство (ROM), оперативное запоминающее устройство (RAM), магнитный диск или оптический диск.
[00205] В варианте осуществления настоящего изобретения предоставлен кодер. Кодер, перед выполнением обработки кодирования в соответствии с режимом MIP, выполняет унификационную модификацию на начальных параметрах сдвига вправо, соответствующих разным размерам и разным номерам режима MIP, в соответствии с параметром смещения, где параметр смещения указывает число сдвигаемых вправо битов предсказанного значения, и, при выполнении обработки кодирования в соответствии с режимом MIP, выполняет обработку кодирования в соответствии с параметром смещения. В соответствии со способами кодирования и декодирования изображений, раскрытыми в настоящем изобретении, унификационная модификация выполняется на определенном числе сдвигаемых вправо битов предсказанного значения с использованием параметра смещения, чтобы гарантировать, что все блоки яркости разных размеров и с разными номерами режима MIP имеют одинаковое значение sW. Поэтому нет необходимости запрашивать и вызывать значение sW во время обработки кодирования и декодирования, можно уменьшить сложность алгоритма MIP и на основании обеспечения производительности кодирования и декодирования пространство памяти и общее время, требующиеся в процессе кодирования и декодирования, можно уменьшить и можно эффективно повысить эффективность кодирования и декодирования.
[00206] Фиг. 13 представляет собой первую структурную схему декодера согласно варианту осуществления настоящего изобретения. Как представлено на фиг. 13, декодер 400, раскрытый в варианте осуществления настоящего изобретения, может содержать вторую секцию 401 модификации и секцию 402 декодирования.
[00207] Вторая секция 401 модификации приспособлена, перед выполнением обработки декодирования в соответствии с режимом MIP, выполнять унификационную модификацию на начальных параметрах сдвига вправо, соответствующих разным размерам и разным номерам режима MIP, в соответствии с параметром смещения. Параметр смещения указывает число сдвигаемых вправо битов предсказанного значения.
[00208] Секция 402 декодирования приспособлена, когда обработка декодирования выполняется в соответствии с режимом MIP, выполнять обработку декодирования в соответствии с параметром смещения.
[00209] Вторая секция 401 модификации в частности приспособлена, когда начальный параметр сдвига вправо отличается от параметра смещения, приводить начальный параметр сдвига вправо к параметру смещения, чтобы делать так, чтобы число сдвигаемых вправо битов всех предсказанных значений, соответствующее всем размерам и всем номерам режима MIP, было одинаковым.
[00210] Фиг. 14 представляет собой вторую структурную схему декодера согласно варианту осуществления настоящего изобретения. Как представлено на фиг. 14, декодер 400, раскрытый в варианте осуществления настоящего изобретения, может также содержать второй процессор 403, второе запоминающее устройство 404, хранящее команды, исполнимые вторым процессором 403, второй интерфейс 405 связи и вторую шину 406, приспособленную для соединения второго процессора 403, второго запоминающего устройства 404 и второго интерфейса 405 связи.
[00211] Кроме того, в варианте осуществления настоящего изобретения второй процессор 403 приспособлен, перед выполнением обработки декодирования в соответствии с режимом MIP, выполнять унификационную модификацию на начальных параметрах сдвига вправо, соответствующих разным размерам и разным номерам режима MIP, в соответствии с параметром смещения, где параметр смещения указывает число сдвигаемых вправо битов предсказанного значения, и, при выполнении обработки декодирования в соответствии с режимом MIP, выполнять обработку декодирования в соответствии с параметром смещения.
[00212] В дополнение, каждый функциональный модуль в варианте осуществления может быть интегрирован в обрабатывающий блок, каждый блок также может существовать независимо, и два или более чем два блока также могут быть интегрированы в один блок. Интегрированный блок может быть реализован в форме аппаратного обеспечения, а также может быть реализован в форме функционального модуля программного обеспечения.
[00213] При реализации в форме программного функционального модуля и продаже или использовании не как самостоятельного продукта интегрированный блок может храниться на машиночитаемом носителе данных. Исходя из такого понимания, техническое решение варианта осуществления по существу или части, вносящие вклад в уровень техники, или все техническое решение или его часть могут быть воплощены в форме программного продукта, и компьютерный программный продукт хранится на носителе данных, содержащем множество команд, предназначенных для обеспечения исполнения компьютерным устройством (которое может представлять собой персональный компьютер, сервер, сетевое устройство и т. п.) или процессором всех или части операций способа в варианте осуществления. Носитель данных включает различные носители, которые могут хранить программные коды, такие как USB флеш-накопитель, мобильный жесткий диск, ROM, RAM, магнитный диск или оптический диск.
[00214] В варианте осуществления настоящего изобретения предоставлен кодер. Декодер, перед выполнением обработки декодирования в соответствии с режимом MIP, выполняет унификационную модификацию на начальных параметрах сдвига вправо, соответствующих разным размерам и разным номерам режима MIP, в соответствии с параметром смещения и, при выполнении обработки декодирования в соответствии с режимом MIP, выполняет обработку декодирования в соответствии с параметром смещения. В соответствии со способами кодирования и декодирования изображений, раскрытыми в настоящем изобретении, унификационная модификация выполняется на определенном числе сдвигаемых вправо битов предсказанного значения с использованием параметра смещения, чтобы гарантировать, что все блоки яркости разных размеров и с разными номерами режима MIP имеют одинаковое значение sW. Поэтому нет необходимости запрашивать и вызывать значение sW во время обработки кодирования и декодирования, можно уменьшить сложность алгоритма MIP и на основании обеспечения производительности кодирования и декодирования пространство памяти и общее время, требующиеся в процессе кодирования и декодирования, можно уменьшить и можно эффективно повысить эффективность кодирования и декодирования.
[00215] В вариантах осуществления настоящего изобретения предоставлен машиночитаемый носитель данных, на котором хранятся одна или более программ. Программы исполняются процессором для реализации способов, как описано в вышеупомянутых вариантах осуществления.
[00216] Более конкретно, программные команды, соответствующие способу кодирования изображений, в вариантах осуществления могут быть сохранены на носителе данных, таком как оптический диск, жесткий диск и U-диск. Когда программные команды, соответствующие способу кодирования изображений, на носителе данных считываются или исполняются электронным устройством, включаются следующие операции.
[00217] Перед тем, как обработка кодирования выполняется в соответствии с режимом MIP, унификационная модификация выполняется на начальных параметрах сдвига вправо, соответствующих разным размерам и разным номерам режима MIP, в соответствии с параметром смещения. Параметр смещения указывает число сдвигаемых вправо битов предсказанного значения.
[00218] Когда обработка кодирования выполняется в соответствии с режимом MIP, обработка кодирования выполняется в соответствии с параметром смещения.
[00219] Более конкретно, программные команды, соответствующие способу декодирования изображений, в вариантах осуществления могут быть сохранены на носителе данных, таком как оптический диск, жесткий диск и U-диск. Когда программные команды, соответствующие способу декодирования изображений, на носителе данных считываются или исполняются электронным устройством, включаются следующие операции.
[00220] Перед тем, как обработка декодирования выполняется в соответствии с режимом MIP, унификационная модификация выполняется на начальных параметрах сдвига вправо, соответствующих разным размерам и разным номерам режима MIP, в соответствии с параметром смещения. Параметр смещения указывает число сдвигаемых вправо битов предсказанного значения.
[00221] Когда обработка декодирования выполняется в соответствии с режимом MIP, обработка декодирования выполняется в соответствии с параметром смещения.
[00222] Специалистам в данной области техники может быть понятно, что вариант осуществления настоящего изобретения может быть представлен как способ, система или компьютерный программный продукт. Поэтому настоящее изобретение может принимать форму варианта осуществления в виде аппаратного обеспечения, варианта осуществления в виде программного обеспечения или варианта осуществления, сочетающего программное обеспечение и аппаратное обеспечение. Более того, настоящее изобретение может принимать форму компьютерного программного продукта, реализованного на одном или более доступных для компьютера носителях данных (включая, но без ограничения, дисковое запоминающее устройство, оптическое запоминающее устройство и т.п.), содержащего доступные для компьютера программные коды.
[00223] Настоящее изобретение описано со ссылкой на блок-схемы и/или структурные схемы для реализации способа, устройства (системы) и компьютерного программного продукта согласно вариантам осуществления настоящего изобретения. Необходимо понимать, что каждый поток операций и/или блок в блок-схемах и/или структурных схемах и комбинации потоков операций и/или блоков в блок-схемах и/или структурных схемах реализаций могут быть реализованы посредством команд компьютерной программы. Эти команды компьютерной программы могут быть предусмотрены для универсального компьютера, специализированного компьютера, встроенного процессора или процессора другого программируемого устройства обработки данных для создания машины, так чтобы создавать устройство для реализации функции, указанной в одном потоке операций или нескольких потоках операций в блок-схемах и/или одном блоке или нескольких блоках в структурных схемах реализации, посредством команд, исполняемых посредством компьютера или процессора другого программируемого устройства обработки данных.
[00224] Эти команды компьютерной программы могут также быть сохранены в машиночитаемом запоминающем устройстве, которое может направлять работу компьютера или другого программируемого устройства обработки данных определенным образом, так чтобы создавать продукт, содержащий устройство команд, посредством команд, хранящихся в машиночитаемом запоминающем устройстве. Устройство команд реализует функцию, заданную в одном потоке операций или нескольких потоках операций в блок-схемах и/или одном блоке или нескольких блоках в структурных схемах реализации.
[00225] Эти команды компьютерной программы могут дополнительно быть загружены на компьютер или другое программируемое устройство обработки данных, так что на компьютере или другом программируемом устройстве обработки данных выполняется последовательность этапов для создания реализуемой компьютером обработки и этапы для реализации функции, заданной в одном потоке операций или нескольких потоках операций в блок-схемах и/или одном блоке или нескольких блоках в структурных схемах реализации, обеспечиваются командами, исполняемыми на компьютере или другом программируемом устройстве обработки данных.
[00226] Описанное выше представляет собой только предпочтительные варианты осуществления настоящего изобретения и не предназначено для ограничения объема правовой охраны настоящего изобретения.
ПРОМЫШЛЕННАЯ ПРИМЕНИМОСТЬ
[00227] В вариантах осуществления настоящего изобретения предоставлены способы кодирования и декодирования изображений, кодер, декодер и носитель данных. Кодер, перед выполнением обработки кодирования в соответствии с режимом MIP, выполняет унификационную модификацию на начальных параметрах сдвига вправо, соответствующих разным размерам и разным номерам режима MIP, в соответствии с параметром смещения, где параметр смещения указывает число сдвигаемых вправо битов предсказанного значения, и, при выполнении обработки кодирования в соответствии с режимом MIP, выполняет обработку кодирования в соответствии с параметром смещения. Декодер, перед выполнением обработки декодирования в соответствии с режимом MIP, выполняет унификационную модификацию на начальных параметрах сдвига вправо, соответствующих разным размерам и разным номерам режима MIP, в соответствии с параметром смещения и, при выполнении обработки декодирования в соответствии с режимом MIP, выполняет обработку декодирования в соответствии с параметром смещения. В соответствии со способами кодирования и декодирования изображений настоящего изобретения унификационную модификацию выполняют над числом сдвигаемых вправо битов предсказанного значения с использованием параметра смещения, чтобы гарантировать, что все блоки яркости разных размеров и с разными номерами режима MIP имеют одинаковое значение sW, так что нет необходимости запрашивать и вызывать значение sW во время обработки кодирования и декодирования, сложность алгоритма MIP можно уменьшить и на основании обеспечения производительности кодирования и декодирования можно уменьшить пространство памяти и общее время, требующиеся в процессе кодирования и декодирования, и можно эффективно повысить эффективность кодирования и декодирования.