СПОСОБ СЖАТИЯ ЦИФРОВОГО ПОТОКА ВИДЕОСИГНАЛА В ТЕЛЕВИЗИОННОМ КАНАЛЕ СВЯЗИ
METHOD OF COMPRESSING DIGITAL VIDEO STREAM IN TELEVISION COMMUNICATION CHANNEL

Предлагаемое изобретение относится к области цифрового телевидения и может быть использовано для сжатия цифрового потока видеосигнала в телевизионном канале связи.
Проблема сокращения цифрового потока в телевидении сохраняет свою актуальность и в настоящее время. Широкая полоса частот, занимаемая цифровым сигналом, является главным препятствием при передаче его по каналам связи. В то же время цифровые методы позволяют создать новый тип ТВ аппаратуры, более надежный, стабильный, компактный и технологичный.
В настоящее время известно более 100 способов преобразования аналогового сигнала изображения в цифровой. Все способы основаны на использовании одного из видов модуляции: импульсно-кодовой (ИКМ), дифференциальной импульсно-кодовой (ДИКМ) и дельта-модуляции (ДМ). Кроме того, способы различаются видом обработки аналогового сигнала перед аналого-цифровым преобразованием (АЦП) и видом последующей обработки первичного цифрового сигнала. На всех этапах преобразования сигнала учитываются свойства изображения и зрительного анализатора, что позволяет достигнуть максимальной эффективности процесса преобразования сигнала в целом.
Резервы для уменьшения цифрового потока без ущерба качеству воспроизводимого изображения заключены в специфике ТВ сигнала, обладающего значительной информационной избыточностью, которую условно делят на статистическую, физиологическую (психофизическую), пространственную (внутрикадровую) и временную. Следует также отметить, что резких границ здесь нет. Психофизическая и статическая избыточности связаны с временной и пространственной избыточностями.
Примером сокращения психофизической избыточности может служить способ передачи градаций яркости от крупных и мелких деталей (внутрикадровая избыточность) и особенности восприятия движущихся объектов - временная (межкадровая избыточность).
В большинстве случаев видеопоследовательности (ТВ изображение) содержат избыточность в двух направлениях - временном и пространственном. Главное статистическое свойство, на котором основана аппаратура сжатия, - межэлементная корреляция, включающая предположение о коррелированности последовательных кадров видеоданных. Таким образом, значения отдельных элементов изображения могут быть предсказаны либо по значениям ближайших элементов внутри одного кадра (внутрикадровое кодирование), либо по значениям элементов, расположенных в ближайших кадрах (межкадровое кодирование и компенсация перемещения).
В некоторых случаях, например, при смене сюжета, временная корреляция между ближайшими кадрами очень низка. В таких случаях решающую роль играет внутрикадровая корреляция, то есть пространственная корреляция элементов изображения. Однако если корреляция между последовательными кадрами видеоданных высока, желательно устранить межкадровую избыточность. При этом применяемые методы преобразования изображения основаны на том, что его цифровой эквивалент (сигнал ИКМ) приводится к виду, удобному для сокращения избыточной информации. Наиболее эффективным методом является преобразование видеоинформации из временной области в спектральную. Результат преобразования представляет собой совокупность спектральных коэффициентов, которые характеризуют амплитуды пространственных частот изображения.
Из рассмотренных ортогональных преобразований стандартом MPEG рекомендовано использовать дискретно-косинусное преобразование (ДКП), являющееся частным случаем двумерного преобразования Фурье.
ДКП осуществляет перевод отдельных блоков изображения, размер которых определен 8×8 элементов (или 16×16), из пространственной области значений временного сигнала в область пространственных частот спектральной плоскости коэффициентов (фиг.1). В результате массиву исходных значений сигнала (фиг.1, а) соответствует массив из такого же числа коэффициентов, представляющих собой амплитуды этих косинусных составляющих (фиг.1, б).
Двумерное ДКП ведется по формуле:
где
(x,y)
f - отсчеты изображения с пространственными координатами x, y (от 0 до N-1);
N - размер блока изображения (N×N элементов);
(m,n)
F - коэффициенты, характеризующие изображение в спектральной плоскости m, n (от 0 до N-1).
(m,n)
(x,y)
ДКП является обратимым: по распределению F обратным преобразованием однозначно восстанавливается в декодирующем устройстве f из имеющихся трасформант:
(m,n)
R
B
Квантование является важным звеном обработки сигнала, на котором происходят потери. Оно определяет точность хранения результатов ДКП и коэффициент сжатия. При квантовании каждое из значений ДКП делится на коэффициент квантования Q (табл.1), индивидуальный для каждой пространственной частоты, который берется из заранее определенной таблицы коэффициентов квантования размером 8×8 (естественно, она должна быть одинаковой для кодера и декодера). Эта таблица может быть взята по умолчанию или формируется кодером для конкретных изображений и передается декодеру вместе со сжатыми данными. Для сигнала цветного изображения таблицы могут различаться для разных компонент (Y, C, C). При декодировании исходные величины приближенно восстанавливаются путем умножения на фактор квантования. Сказанное поясняется табл.1.
Таблица 1
139
144
149
153
155
155
155
155
1260
-1
-12
-6
2
-2
-2
2
144
151
153
156
159
156
156
156
-22
-17
-6
-3
-3
0
1
-1
150
155
160
163
158
156
156
156
-11
-10
-1
2
1
-1
-1
-1
159
161
165
160
160
159
159
159
-7
-2
0
2
1
0
0
0
159
160
161
162
162
155
155
155
0
-1
1
1
-1
-1
1
2
161
161
161
161
160
157
157
157
2
0
1
-1
-1
2
2
0
162
162
161
163
162
157
157
157
-1
-1
0
-1
0
2
1
-1
162
162
161
161
163
158
158
158
-3
1
-3
-1
2
1
-1
-1
Выборки оригинала f<sub>(x,y)</sub>
Коэффициенты ДКП (округлены) f<sub>(m,n)</sub>
8
11
10
16
24
40
51
61
158
0
-1
0
0
0
0
0
12
12
14
19
26
58
60
55
-2
-1
0
0
0
0
0
0
14
13
16
24
40
57
69
56
-1
-1
0
0
0
0
0
0
14
17
22
29
51
87
80
62
-1
0
0
0
0
0
0
0
18
22
37
56
68
109
103
77
0
0
0
0
0
0
0
0
24
35
55
64
81
104
113
92
0
0
0
0
0
0
0
0
49
64
78
87
103
121
120
101
0
0
0
0
0
0
0
0
72
92
95
98
112
100
103
99
0
0
0
0
0
0
0
0
Таблица квантовая Q<sub>(m,n)</sub>
Коэффициент после квантования C<sub>q(m,n)</sub>
1264
0
-10
0
0
0
0
0
142
144
147
150
152
153
154
154
-24
-12
0
0
0
0
0
0
149
150
153
155
156
157
156
156
-14
-13
0
0
0
0
0
0
157
158
159
161
161
160
159
158
-14
0
0
0
0
0
0
0
162
162
163
163
162
160
158
157
0
0
0
0
0
0
0
0
162
162
162
162
161
158
156
155
0
0
0
0
0
0
0
0
160
161
161
161
160
158
156
154
0
0
0
0
0
0
0
0
160
160
161
162
161
160
158
157
0
0
0
0
0
0
0
0
160
161
163
164
164
163
161
160
Коэффициенты после обратного квантования <img file="00000005.tif" he="8" wi="10" img-content="undefined" img-format="tif" />
Восстановленные величины отсчетов <img file="00000006.tif" he="8" wi="9" img-content="undefined" img-format="tif" />
Из таблицы видно, что восстановленное изображение отличается от оригинала незначительно.
Наиболее известными стандартами сжатия изображений являются MPEG-1, MPEG-2, MPEG-4, MPEG-7, JPEG и вейвлет-преобразование. В телевизионном вещании нашел применение стандарт MPEG-2. Другие методы сжатия изображений при экспериментах дали худшие результаты: неудовлетворительно качество, сложность технической реализации, недостаточная эффективность сжатия цифрового потока.
Устранение внутрикадровой и межкадровой избыточности в стандарте MPEG является наиболее эффективным. Изменить стандарт в ТВ вещании практически невозможно, так как это связано с большими экономическими затратами. Но в прикладном телевидении и специальных системах цифрового телевидения, не связанных с принятыми стандартами, применение других методов сжатия цифрового потока не вызовет существенных трудностей.
Стандарт MPEG-2 не регламентирует методы сжатия видеосигнала, а только определяет, как должен выглядеть битовый поток кодированного сигнала, поэтому конкретные алгоритмы являются коммерческой тайной фирм - производителей оборудования. Однако существуют общие принципы и процесс сжатия цифрового потока видеосигнала может быть разбит на ряд последовательных операций: преобразование аналогового сигнала в цифровую форму (АЦП), предварительная обработка, дискретное косинусное преобразование (ДКП), квантование и кодирование.
MPEG-2, в отличие от MPEG-1, дает возможность обработки чересстрочных изображений. В MPEG-1 для кодирования таких изображений приходилось предварительно объединить два поля в один кадр и только после этого подавать сигнал на вход кодера. Однако процедура приводила к заметным искажениям типа жалюзи и расческа. В MPEG-2 введена концепция полевого и кадрового кодирования. При полевом кодировании два поля одного кадра кодируются раздельно как самостоятельные изображения. Каждое поле разбивается на непересекающиеся макроблоки (8×8) или (16×16) пикселей (элементов) и к ним применяется ДКП. Кадровое кодирование предполагает построчное объединение двух полей в один кадр и обработку его как обычного изображения с прогрессивным разложением.
MPEG-2 определяет два типа ДКП для макроблоков: кадровое и полевое. Кадровое ДКП действует аналогично MPEG-1: макроблок отсчетов яркости 16×16 пикселей разбивается на 4 блока 8×8 пикселей в соответствии с их расположением. Полевое ДКП берет 8 строк из нечетного поля для верхних двух блоков и 8 строк из четного поля для нижних блоков, образуя нечетные и четные поля макроблока, как показано на фиг.2.
Полевое ДКП более эффективно при существенном различии между полями, например, при наличии движения по вертикали. Полевое кодирование может использовать только полевое предсказание, у кадрового кодирования возможности шире - допускается применение кадрового предсказания или полевого. В последнем случае ищется сопряжение отдельно нечетного и четного полей макроблока в каждом из двух полей опорного кадра и выбирается лучший результат.
Таким образом, в стандарте MPEG-2 кодер и декодер трактуют видеоданные как состоящие либо из 25 изображений в секунду с постоянным разрешением по вертикали, либо из 50 изображений в секунду с половинным разрешением по вертикали. Очевидно, что в обоих случаях объем информации на входе кодирующего устройства один и тот же. Полевая структура лучше подходит для компрессии изображений с быстрым движением, обеспечивая меньше артефактов. То есть она хороша для сюжетов с большим количеством движения, но хуже подходит при пространственной избыточности, обеспечивая худшее сжатие неподвижных изображений с точки зрения минимизации артефактов. Для кадровой или прогрессивной структуры справедливы, соответственно, обратные выводы. Выбор между кадровой и полевой структурами осуществляет специалист для достижения максимального уровня качества изображения.
После предварительной обработки разностные ошибки предсказания или сами макроблоки подвергаются ДКП, в результате которого исходная матрица блоков преобразуется в матрицу коэффициентов (фиг.3). Коэффициенты в матрице располагаются по возрастанию частот в вертикальном и горизонтальном направлениях. Другими словами, ДКП-матрицу можно рассматривать как двумерный фильтр в двух направлениях. При этом основная энергия концентрируется около нулевых частот. После квантования этих коэффициентов происходит преобразование их в одномерную последовательность. Алгоритм упорядочивания коэффициентов заключается в том, что в результате сканирования матрицы объединяются в серии с описанием их длины и местоположения (фиг.3). Одним из вариантов такого алгоритма является зигзагообразное сканирование, при котором преобразование начинается с левого верхнего угла и заканчивается в правом нижнем. Квантование полученной после ДКП-матрицы производится с учетом чувствительности глаза к различным пространственным частотам. Зрение человека наиболее чувствительно к градациям яркости крупных деталей, поэтому для коэффициентов, соответствующих нулевым частотам, шаг квантования должен быть минимальным. Для более высоких пространственных частот применяется квантование на меньшее число уровней.
При построении системы сжатия цифрового потока в канале связи необходимо учитывать особенности зрения при восприятии мелких деталей разной протяженности и ориентации в плоскости xy (фиг.1). Известно, что передача тонких вертикальных черно-белых линий по каналу связи требует широкой полосы частот, а тонкие горизонтальные линии передаются низкими частотами, хотя разрешение глаза при восприятии вертикальных и горизонтальных линий является одинаковым.
Это надо учитывать при сокращении цифрового потока, чтобы в некоторых полях превалировали тонкие горизонтальные линии, которые передаются низкими частотами. Эти особенности позволяют дополнительно уменьшить избыточность цифрового сигнала путем прореживания отсчетов цифрового потока в кодирующем устройстве. В декодирующем устройстве проводится обратная операция - интерполяция, которая восстанавливает исходное количество отсчетов.
Подобные способы сокращения цифрового потока часто используются в телевидении, например, в вейвлет-преобразовании.
В стандарте MPEG-2 используется также и межкадровое кодирование, которое значительно повышает эффективность сжатия цифрового потока.
При межкадровом кодировании, основанном на временной избыточности, возможны различные способы предсказания. В зависимости от этого изображения (кадры) в своей временной последовательности подразделяются на следующие типы:
- I-кадры (intra), опорные, являются основными и кодируются без обращения к другим кадрам, то есть с использованием информации только этого кадра. Вид кодирования - внутрикадровый, обеспечивающий умеренное сжатие. Предсказание для них не формируется. Все остальные кадры анализируются процессором, который сравнивает их с опорным, а также между собой.
- Р-кадры (predictive - предсказанные), при передаче которых используется межкадровое кодирование путем предсказания с компенсацией движения по ближайшему предшествующему 1-кадру или Р-кадру. Если макроблок в Р-кадре не может быть описан с использованием компенсации движения, что случается при появлении неизвестного объекта, то он кодируется тем же способом, что и макроблок в I-кадре. Р-кадры сжаты в 3 раза сильнее, чем I-кадры, и служат опорными для поступающих Р и В-кадров.
- В-кадры (bidirectional - двунаправленные), которые передаются с межкадровым кодированием путем предсказания с компенсацией движения по ближайшим к ним как спереди, так и сзади I-кадрам и Р-кадрам, а сами не могут использоваться для предсказания других кадров (некоторые фрагменты В-кадра могут кодироваться внутрикадровым методом).
Таким образом, в стандарте MPEG-2 используются 3 вида кодирования: внутрикадровое, межкадровое вперед с компенсацией движения, межкадровое двунаправленное также с компенсацией движения.
Полученные кадры объединяются в группы последовательных кадров (GOP). Каждая последовательность начинается с I-кадра и состоит из переменного числа Р- и В-кадров.
В начале сюжета должен стоять I-кадр, в конце В-кадр. Увеличивать долю В-кадров можно только в рамках одного сюжета, иначе возникнут большие ошибки предсказания и компенсации движения. Поскольку типичная длительность группы кадров (во временном представлении 0,5 с - 12 кадров) значительно меньше характерного расстояния между границами сюжетов, то в большинстве случаев жесткое задание структуры группы кадров не приводит к существенным визуальным ошибкам из-за того, что смена сюжета попадает внутрь группы кадров.
Рассмотрим пример последовательности кадров:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
I
В
В
Р
В
В
Р
В
В
Р
В
В
Р
В
В
I
В
В
Р
В
Здесь кадры с 1 по 15 образуют группу кадров. Число кадров в группе может быть и другим, но они всегда начинаются с I-кадра. Р-кадр 4 предсказывается по I-кадру 1, Р-кадр 7 - по Р-кадру 4, Р-кадр 10 - по Р-кадру 7 и т.д. I-кадр передается с внутрикадровым кодированием независимо от всех предшествующих ему кадров. В-кадры 2 и 3 предсказываются по I-кадру 1 и Р-кадру 4, В-кадры 5 и 6 - по Р-кадрам 4 и 7 и т.д. В-кадры 14 и 15 предсказываются по I-кадру 16 и Р-кадру 13. Перед кодированием порядок следования кадров изменяется, так как каждый В-кадр должен идти после обоих кадров по которым он предсказывается:
1
4
2
3
7
5
6
10
8
9
13
11
12
16
14
15
19
17
18
22
I
Р
В
В
Р
В
В
Р
В
В
Р
В
В
I
В
В
Р
В
В
Р
В таком порядке кадры кодируются и передаются, а в процессе декодирования восстанавливается исходный порядок кадров. Изменение порядка передачи кадров В, В, Р объясняется тем, что при их декодировании на приемном конце системы потребуются кадры I и Р.
Изображение типа В компрессированы наиболее глубоко. Если Р-кадры требуют для своей передачи в 3 раза меньше битов, чем I-кадры, то в В изображениях число битов для большинства сюжетов в 2-5 раз меньше, чем в Р. Как следствие, страдает помехоустойчивость В-кадров. Поэтому для защиты от возможных ошибок изображения В не используются для предсказания других кадров.
Из рассмотренных способов сокращения (уменьшения) цифрового потока в канале связи, являющиеся наиболее близким и предлагаемому техническому решению, заслуживает внимания метод передачи и приема цифровой информации по стандарту MPEG-2, который возьмем за прототип предлагаемого изобретения. Проведенный выше анализ работы системы MPEG-2 показывает, что она имеет и недостатки. Известно, что степень сжатия цифрового потока напрямую зависит от корреляции между элементами изображения. В MPEG-2 межкадровое кодирование между I- и Р-кадрами осуществляется через 3 кадра (поля), а не через 1 кадр (поле). Это в сильной степени ослабляет корреляционные связи между элементами и соответственно ухудшает эффективность сокращения избыточности изображения. Хотя этот недостаток и компенсируется двунаправленным предсказанием В-кадров, но при этом снижается помехоустойчивость и качество изображения В-кадров.
Естественно, перестановка Р-, В1- и В2-кадров существенно усложняет построение системы, делая ее громоздкой и дорогой. При этом упомянутые усложнения системы не всегда себя оправдывают в смысле получения высокого качества изображения.
Следует отметить, что двунаправленное предсказание позволяет прервать возникший трек ошибки в группе кадров, если ошибка возникла в В-кадрах. В I- и Р-кадрах трек ошибки будет продолжаться до начала следующего опорного кадра I.
Повышение эффективности сжатия В-кадров сопровождается потерей качества изображения в этих кадрах, но за счет боле высокого качества изображения I- и Р-кадров визуально наш глаз ухудшения качества всего изображения не замечает. Кроме того, имеются определенные трудности при определении вектора движения объекта в соседних кадрах в связи с изменением порядка следования В- и Р-кадров. В то же время любые изменения стандарта MPEG-2 могут привести к снижению эффективности кодирования.
Устранение вышеназванных недостатков позволит создать более простую и не менее эффективную систему сжатия цифрового потока для прикладного и вещательного телевидения.
Как было отмечено выше, наиболее близким техническим решением (прототипом предлагаемого изобретения) является способ сжатия цифрового потока видеосигнала по стандарту MPEG-2, работа которого подробно была рассмотрена выше и в работе (Локшин В.А. Цифровое вещание: от студии к телезрителю. / Под ред. Л.С.Виленчика. - М.: Сайрус системе, 2001. - 448 с.)
Реализация прототипа предполагает следующую последовательность действий (относительно яркостного сигнала):
- изображение достраивается до кратного «16-ти» количества элементов (пикселов) по строкам и столбцам, чтобы обеспечить разбиение изображения на целое число макроблоков;
- изображение разбивается на последовательность макроблоков, каждый из которых состоит из 4 блоков 8*8 элементов, несущих информацию о яркости объекта (фиг.2);
- образование опорных (I-кадров (полей)) и разностных (Р-, В-кадров (полей)) сигналов;
- определение вектора движения блоков;
- дискретно-косинусное преобразование (ДКП);
- квантование и кодирование коэффициентов ДКП;
- мультиплексирование данных цифрового потока;
- регулирование скорости потока данных, подлежащих передаче.
Отмеченные ранее недостатки прототипа затрудняют его внедрение в прикладное телевидение.
Целью предлагаемого изобретения является сужение полосы частот канала связи, а также повышение эффективности цифрового преобразования видеосигнала, заключающееся в дополнительном сокращении объема цифровой информации при достаточно простой технической реализации.
Поставленная цель достигается тем, что, как и в прототипе, последовательность полей (а не кадров) делится на группы. В группе есть поля 3-х типов (фиг.4):
- O-поля - изображения, играющие роль опорных при восстановлении других изображений. Предсказание для них не формируется, используют внутриполевое кодирование;
- N-четные поля - изображения, кодируемые путем предсказания на основе предыдущего поля в пределах одного кадра, используют межполевое кодирование, в результате которого образуется межстрочная разность двух соседних строк нечетного и четного полей;
- М-нечетные поля - кодируемые с предсказанием на основе предыдущего нечетного поля из другого кадра.
1
4
Буквами на фиг.4 обозначается их тип, а цифрами 1, 2, 3,… - порядок поступления их на вход компрессора. В группе 10 полей (5 кадров). Начинается группа с изображения типа О, подвергается только внутриполевой компрессии. В изображениях полей N- и М-типа устраняется как пространственная, так и временная избыточности. Число полей (кадров) в группе может быть иным, чем это представлено на фиг.4, и легко варьируется путем изменения частоты следования импульсов U и соответственно U. Стрелки на фиг.4 определяют порядок предсказания: для N - в пределах одного кадра, и М - в пределах 2-х соседних кадров для нечетных полей.
Изображения N-полей содержат в основном тонкие горизонтальные линии разной протяженности (низкочастотные составляющие). При движении в изображениях N-полей появляются ВЧ-составляющие.
Изображения М-полей содержат в основном высокочастотные составляющие, отражают межкадровую разность в пределах нечетных полей соседних кадров. Здесь НЧ-составляющие появляются при резкой смене сюжетов.
При передаче малоподвижных объектов в изображениях М-полей сигнал практически равен нулю, а сигнал от N-полей отличен от нуля. ВЧ-составляющие в N-полях появляются от передачи наклонных линий. После образования разностных сигналов N-полей перед матрицей ДКП для дополнительного сокращения цифрового потока осуществим прореживание (децимацию) сигналов от N-полей как в горизонтальном, так и вертикальном направлениях. Эта операция правомерна и не ухудшает качество изображения, так как частота дискретизации для N-полей слишком велика. В декодирующем устройстве проведем обратную операцию - интерполяцию, восстанавливая потерянную информацию. Подобные операции положены в основу сокращения цифрового потока в вейвлет-преобразованиях в НЧ- и ВЧ-каналах.
Операции прореживания отсчетов и интерполяции можно провести также и для сигналов от М-полей. В декодирующем устройстве восстановление пропущенных отсчетов осуществляется путем использования одномерного цифрового фильтра с конечной импульсной характеристикой.
Такие устройства являются интерполяторами. Безусловно, реализация интерполирования связана с определенными неточностями восстановления сигнала по его отсчетам, однако, она необходима для осуществления операций с целью получения исходных значений сигналов. При отсутствии интерполяции в декодирующем устройстве высокочастотные компоненты разностных сигналов могут быть потеряны, а в видеосигнале появятся мешающие НЧ-компоненты.
В результате проведенных преобразований цифровой поток в N-полях дополнительно уменьшается примерно в 4 раза.
Как и в стандарте MPEG-2 применим в системе сжатия энтропийное кодирование и определение вектора движений в М-полях. В N-полях компенсацию движения можно не учитывать, так как они расположены в тех же кадрах что и О- и М-поля, кроме того, она нарушит работу интерполятора в декодирующем устройстве или значительно усложнит его построение.
Подытоживая сказанное, видим, что эффективность сокращения цифрового потока O-полей является наиболее низкой по сравнению с М- и N-полями и примерно равна по эффективности 1-полям в стандарте MPEG-2. Зато качество изображения здесь выше, чем в М- и N-полях. Эффективность сжатия в М-полях примерно одинакова с Р-полями, а в N-полях она несколько выше, чем в В-полях, так как в N-полях осуществляется прореживание (передискретизация) значений сигналов матрицы ДКП (до матрицы коэффициентов) в горизонтальном и вертикальном направлениях (фиг.5 и 6).
Кроме того, для улучшения визуального качества изображения по предлагаемому способу нечетные и четные поля в каждой группе кадров меняются местами: в 1 группе - (O,N), (M,N), (M,N), …, а во 2-й группе - (N,O), (N,M), (N,M), … и т.д. (фиг.4, а'). Такая перестановка полей в силу особенностей зрительного восприятия зрения приводит к существенному улучшению визуального качества изображения в целом, то есть визуально происходит образование опорного кадра (O,N)+(N,O). В приемнике, естественно, должна быть восстановлена исходная очередность следования полей.
Возможен еще один вариант перестановки полей в кадрах (фиг.4, а'') - перестановка нечетных и четных полей во всей видеопоследовательности кадров: (O,N), (N,M), (M,N), (N,M), (M,N), (N,O), … и т.д. При нечетном числе (2n+1) полей в группе кадров О- и N-поля, а также (М- и N-поля), периодически меняются местами, что более предпочтительно. Здесь визуально формируется виртуальный опорный кадр: (O,N) плюс (N,O). В нашем случае (фиг.4, а'') визуально кадры (O,N) и (N,O) накладываются друг на друга через 4 кадра, образуя опорный кадр.
Из рассмотренных вариантов последний является предпочтительнее, так как частота перестановки полей здесь более высокая, чем в первом варианте.
То есть если зрителю поочередно предъявлять кадры (поля) изображения с высокой и низкой четкостью, то глаз в целом воспринимает изображение с высокой четностью. В прототипе такая возможность повышения визуального качества изображения отсутствует.
Реализация способа предполагает следующую последовательность действий (относительно яркостного сигнала):
- изображение достраивается до кратного «16» количества элементов (пикселов) по строкам и столбцам, чтобы обеспечить разбиение изображения на целое число макроблоков:
- 1-й вариант: перестановка местами нечетных и четных полей в каждой группе кадров для улучшения визуального качества изображения: в 1 группе - (O,N), (M,N), (M,N),…, а во 2-й группе - (N,O), (N,M), (N,M), … и т.д. (фиг.4, а');
- 2-й вариант: перестановка местами нечетных и четных полей во всей видеопоследовательности кадров: (O,N), (N,M), (M,N), (N,M)…(N,O), (M,N), (N,M), (M,N), … и т.д. (фиг.4, а'');
- изображение разбивается на последовательность макроблоков, каждый из которых состоит из четырех блоков 8*8 элементов, несущих информацию о яркости объекта (фиг.5) для кадрового и полевого кодирований;
- образование опорных (O-полей) и разностных (М- и N-полей) сигналов;
- прореживание отсчетов в матрицах значений разностных сигналов яркости по строкам и столбцам в четных полях каждого кадра (фиг.6 и 8);
- дискретно-косинусное преобразование значений сигнальной матрицы в матрицу коэффициентов;
- квантование и энтропийное кодирование коэффициентов ДКП;
- определение векторов движения блоков в подвижном изображении и энтропийное кодирование;
- мультиплексирование данных цифрового потока;
- регулирование скорости потока данных, подлежащих передаче;
- декодирование принятых сообщений происходит в обратном порядке процессам, происходящим в кодирующем устройстве.
Сравнение заявляемого решения с прототипом выявило признаки, отличающие заявляемое решение от прототипа, что позволяет сделать вывод о соответствии заявляемого способа критерию «существенные отличия».
Существенными отличиями предлагаемого способа являются:
- применяются для каждой группы кадров одновременно полевое и кадровое кодирование. В MPEG-2 используется только кадровое или только полевое кодирование в зависимости от характера передаваемого изображения, что значительно усложняет аппаратуру;
- значительно более сильная корреляция между сравниваемыми сигналами, а следовательно, и более эффективное устранение избыточности из телевизионных сообщений. В прототипе корреляционные связи между сравниваемыми сигналами значительно слабее, чем в предлагаемом способе;
- прореживание отсчетов в матрицах значений одного из разностных сигналов яркости по строкам и столбцам в четных полях каждого кадра;
- перестановка местами нечетных и четных полей во всей видеопоследовательности кадров для улучшения визуального качества изображения.
Возможны различные схемные решения, обеспечивающие такое сокращение цифрового потока в канале связи.
Рассмотрим реализацию способа на примере устройства, изображенного на фиг.7 (кодирующее устройство) и фиг.9 (декодирующее устройство).
Кратко рассмотрим работу кодирующего устройства.
Структурная схема кодера (фиг.7) отображает лишь основные операции, выполняемые при кодировании и обеспечивающие получение выходного потока данных с требуемыми параметрами.
В кодере реализуются два режима кодирования: внутрикадровое и межкадровое с предсказанием и компенсацией движения.
Примечание
Для облегчения понимания физических процессов, протекающих в схеме, будем рассматривать видеопоследовательность кадров без перестановки полей (фиг.4, а).
На схеме представлены только те узлы и блоки, которые характеризуют особенности данного способа сокращения цифрового потока информации.
Работа схемы также поясняется диаграммами напряжений, представленными на фиг.4.
Входной видеосигнал с ИКМ поступает на блок предварительной обработки сигналов (БПО).
В БПО сигналов осуществляются следующие преобразования:
- изображение достраивается до кратного «16» количества элементов (пикселов) по строкам и столбца;
- перестановка местами нечетных и четных полей в видеопоследовательности кадров;
- изображение разбивается на последовательность макроблоков, каждый из которых состоит из четырех блоков 8×8 элементов, несущих информацию о яркости.
Аналогичные преобразования осуществляются и с сигналами цветности в формате 4:2:0. Далее в блоках 2, 3, 4, 5, 8 происходит образование опорных и разностных сигналов М и N. Управляющие сигналы U1, U2, U5 (фиг.4) координируют работу названых блоков. В блоке 9 осуществляется передискретизация (прореживание) сигналов N-полей в горизонтальном и вертикальном направлениях.
x,y
(m,n)
Все макроблоки O-полей кодируются в режиме внутриполевого кодирования. С этой целью входной сигнал ИКМ поступает на блок ДКП по верхнему каналу. В ДКП 6 и 10 происходит преобразование матриц значений сигналов f в матрицы коэффициентов Фурье F. В квантователе происходит кодирование коэффициентов ДКП в соответствии с формулой:
где Q(m,n) - коэффициенты квантования, задаваемые в виде таблицы из 8×8 целых чисел (таблица 1, Q);
ρ - параметр, определяющий степень сжатия изображения;
Round - операция округления до ближайшего целого значения;
q
q
C(m,n) - полученные в результате данной операции квантованные коэффициенты ДКП, которые могут быть как положительными, так и отрицательными (табл. 1, C).
Квантование полученной после ДКП матрицы коэффициентов производится с учетом чувствительности глаза к различным пространственным частотам, причем при передаче более ВЧ компонентов возможна большая погрешность, то есть их можно квантовать на меньшее число уровней. Для крупных деталей коэффициенты ДКП квантуются на большее число уровней.
В результате выполнения операций деления и округления многие коэффициенты ДКП становятся равными нулю. Именно квантование создает возможность уменьшения числа двоичных символов, необходимых для представления информации о коэффициентах ДКП, то есть сжатия изображения. В то же время квантование является источником необратимых потерь информации при сжатии. Выбор конкретной таблицы квантования Q предоставляется на усмотрение пользователя.
В блоках «Энтропийное кодирование» (21-23) осуществляется кодирование с переменной длиной кодовых слов.
-1
-1
п
с
п
В петле обратной связи (деквантователь Кв (15), блок обратного дискретного косинусного преобразования - ДКП (14) и предсказатели (12 и 19), ЗУ которых могут содержать несколько предыдущих полей (τ=Т+1/2Т, τ=2 Т)) происходит формирование предсказанного поля.
Оценка движения ОД (18) осуществляется путем сравнения текущего изображения, поступающего на вход кодера, с изображением, находящимся в ЗУ (19) и используемым для предсказания. Через блок 16 на вход ОД (18) поступают сигналы О- и М-полей.
Предсказатель в системе не просто память для хранения предшествующих полей (кадров), но и устройство, которое при формировании предсказания отыскивает из массива данных, находящихся в его памяти, блок, согласованный с блоками текущего кадра. Для этого в предсказатель заводятся данные о векторах движения. Сигнал предсказания также подвергается энтропийному кодированию (23) и мультиплексируется (24) в общий цифровой поток с коэффициентами ДКП. Основные цифровые потоки О, М, N с выходов блоков 21 и 22 мультиплексируются (24) в один поток. В общий цифровой поток мультиплексируются сигналы с выхода определителя векторов движения ОД (18). В блоках 21, 22 и 23 осуществляется дополнительное сокращение цифрового потока.
Общий цифровой поток после мультиплексора Мп (24) поступает на вход буферного запоминающего устройства БЗУ (26), работающего по принципу: «первым вошел - первым вышел». Необходимость введения в систему БЗУ объясняется следующими обстоятельствами. В зависимости от детальности движения и характера передаваемого движения в существенной степени может меняться скорость цифрового потока на выходе блоков кодирования 21, 22, 23 с переменной длиной. При возрастании в изображении уровня ВЧ компонентов, при быстроменяющихся сюжетах скорость потока данных на выходе компрессора возрастает. Это возрастание может приводить к превышению возможностей канала передачи по его пропускной способности. Ограничение скорости кодированного цифрового потока осуществляется реализацией обратной связи, в которую включена буферная память 26 и квантователи 7, 11.
Для оптимизации работы системы желательно поддерживать уровень заполнения БЗУ приблизительно постоянным. Если БЗУ переполняется, то будет происходить потеря данных, то есть ухудшение качества изображения. Если БЗУ освобождается, то по каналу связи передаются "пустые" блоки, что приводит к снижению эффективности канала связи. Обратная связь степень заполнения БЗУ поддерживает постоянной.
q
Сущность действия обратной связи (ОС) заключается в следующем. Если передается мелкоструктурное изображение и заполнение БЗУ увеличивается (память переполняется), то под воздействием ОС увеличивается параметр квантования ρ коэффициентов ДКП (формула 3). При этом число бит на каждый коэффициент уменьшается, и уровень потока данных поддерживается примерно постоянным. Наоборот, при передаче «гладких» изображений квантование становится более точным (параметр ρ в формуле 3 уменьшается, а коэффициенты квантования C - табл.1 - увеличиваются). Такой метод соответствует свойствам человеческого зрения: на мелкоструктурных изображениях менее заметны неточности в пределах уровней яркости. Конечно, изменение масштаба квантования в зависимости от содержания изображения отражается на качестве воспроизводимого изображения, изменяется уровень шумов квантования. Включенное в цепь обратной связи устройство управления коэффициентом сжатия УКС 25 повышает ее быстродействие. В результате, благодаря действию обратной связи, степень заполнения буферной памяти (БЗУ) в среднем поддерживается постоянной.
Наиболее предпочтительными схемами кодирующего устройства системы ONM является схема, изображенная на фиг.7, где прореживание отсчетов осуществляется до ДКП. Более высокая эффективность сжатия здесь объясняется более сильной связью между элементами в блоке, чем между коэффициентами ДКП. Схема фиг.7 обеспечивает более высокое качество изображения, чем схема, где прореживание осуществляется после ДКП. Выбор той или иной схемы кодирования определяется техническими данными на проектирование системы.
Прореживание отчетов по сравнению с общеизвестными имеет свои особенности, которые улучшают визуальную четкость изображения N-полей (фиг.8):
- в 2, 6, 10, …, (4n-2) N-полях передаются только 2, 6, 10, …, (4z-2) строки с половинным количеством отсчетов (2, 4, 6, 8, …, - прореживание) (фиг.8, в). Информация в 4, 8, 12,… строках не передается;
- в 4, 8, 12, …, (4n) N-полях передаются строки с номерами (фиг.8, г) 4, 8, 12, …, (4z), а информация в 2, 6, 10, … строках не передается. (Здесь n и z-порядковые номера: 1, 2, 3, 4, 5, 6, …).
Такой порядок прореживания отсчетов в N-полях повышает визуальную четкость N-полей до исходной, так как создается виртуальный полноценный N-полукадр (поле) из двух смежных полей при использовании 1-го варианта перестановки полей. Следует отметить, что в результате прореживания N-полей ортогональная структура отсчетов сохраняется, что весьма важно для ДКП.
-1
Декодирующее устройство (фиг.9) осуществляет обратный процесс преобразования видеосигнала из цифровой формы в аналоговую. В декодирующем устройстве (фиг.9) выполняются операции декодирования кодов переменной длины (декодирование энтропийного кода) 3, 6, деквантование 4, 7, обратное ДКП (ДКП) 5, 8 и восстанавливается исходная последовательность полей с импульсно-кодовой модуляцией (ИКМ).
-1
-1
П
П
с
Декодер содержит буферное запоминающее устройство (БЗУ) 1, демультиплексор (ДМп) 2 для разделения цифровых потоков, декодеры кодов с переменной длиной кодовых слов (декодирование энтропийного кода) сигналов полей О, N, М, деквантователи (Кв) 4, 7, блоки обратного дискретного косинусного преобразования (ДКП) 5, 8 и восстанавливания отсчетов (↑2) 9, предсказатели и запоминающие устройства 12, 14 с задержкой сигналов на  и τ=2Т (Т, Т - длительность поля и строки), аналогичные соответствующим блокам кодера.
Тактовая частота восстанавливается с использованием данных из декодирующего потока.
БЗУ на входе декодера выполняет функцию согласования постоянной скорости передачи двоичных символов во входном потоке данных с процессами в декодере, то есть восстанавливается исходная скорость цифрового потока кодера без учета регулировки УКС (фиг.7).
-1
С выхода буферного запоминающего устройства кодированные данные изображения и значения параметров квантования поступают на блоки декодирования энтропийного кода 3,6 и далее на деквантователи (Кв) 4, 7, а сигналы векторов движения поступают на блок декодирования энтропийного кода 10 и предсказатель 12.
В результате выполненных преобразований на выходе электронного коммутатора ЭК 17 получаем исходную последовательность O-, N- и М-полей с импульсно-кодовой модуляцией (ИКМ).
Рассмотрим более подробно процесс образования исходных сигналов O-, М- и N-полей.
-1
Цифровой сигнал с выхода блока ДКП 5 содержит опорный сигнал O-полей, передаваемый с внутрикадровым кодированием, и разностный сигнал М-полей (межкадровая разность двух нечетных полей соседних кадров). Во втором канале, кроме декодирования энтропийного кода, деквантования и обратного ДКП 8, в сигнале N происходит восстановление (интерполяция) пропущенных отсчетов в блоке 9. Восстановление ИКМ в сигналах N и М происходит следующим образом.
-1
З
П
При появлении сигнала О на выходе ДКП 5 электронный коммутатор 17 пропускает сигнал «О» на выход схемы (положение 1 переключателя). Одновременно сигнал О через сумматор 11 поступает на предсказатель 14 (запоминающее устройство ЗУ на время  - одного поля и полстроки ) и через схему И 13 на предсказатель 12 (ЗУ с τ=2Т). При появлении сигнала N в сумматоре 15 происходит сложение его с задержанным опорным O-сигналом и образование ИКМ сигнала N, который через блок 16 поступает через ЭК 17 на выход схемы (переключатель в положение 2).
З
П
Сигнал М поступает на сумматор 11, где происходит его сложение с задержанным на τ=2Т опорным сигналом "О". С выхода сумматора 11 восстановленный М-сигнал с ИКМ через блок 16 поступает через ЭК 17 (переключатель в положение 2) на выход схемы.
Таким образом, все три сигнала (О, N и М) с ИКМ, пройдя в блоке 18 обратную перестановку полей, приобретают исходную очередность следования полей О, N, М (фиг.4, а) и могут быть поданы на ЦАП (на схеме не показан).
Подводя итоги сказанному, можно сделать следующие выводы:
1. Предложенный способ выгодно отличается от существующих способов сжатия цифрового потока видеосигнала в канале связи. Не уступая в эффективности сжатия цифрового потока стандарту MPEG-2, предложенный способ значительно проще и легче реализуется на практике. Известные способы сжатия цифрового потока MPEG-4, MPEG-7, вейвлет-преобразование сложнее предложенного способа в смысле технической реализации, поэтому ограничены в своем применении. В прототипе невозможна перестановка полей для повышения визуальной четкости: в предлагаемом способе поля с высокой и пониженной четкостью меняются местами это создает виртуальный полноценный кадр. Этого в MPEG-2 нет, так как перестановка кадров (полей) осуществляется только для получения межкадровой (полевой) разностей, а кадры (поля) высокой и низкой четкости занимают при воспроизведении всегда свое определенное место в группе кадров.
Качество изображения в предложенном способе выше, чем в прототипе благодаря перестановке соседних полей в видеопоследовательности кадров.
2. При необходимости система сжатия цифрового потока по предлагаемому способу легко переходит в режим работы «опорного кадра», когда передается последовательность полей, состоящая из кадров: (О,N), (N,О), (O,N), …, то есть поля О и N в каждом кадре меняются местами. В результате произведенной перестановки полей визуальная четкость изображения повышается. Все кадры визуально воспроизводятся с качеством изображения опорного кадра (виртуального).
Переход работы системы в режим работы «опорного поля (кадра)» в прикладном телевидении может осуществляться автоматически по сигналу тревоги.
3. В системе, построенной по предлагаемому способу, имеются большие резервы для повышения эффективности сжатия цифрового потока.
Рассмотрим пример повышения эффективности сжатия цифрового потока по предлагаемому способу.
Пусть на вход кодирующего устройства поступает сигнал ИКМ с ортогональным расположением отсчетов в кадре (фиг.10, а). В нечетных М-полях для сохранения визуальной четкости структура отсчетов прореживается один раз в горизонтальном направлении в шахматном порядке (фиг.10, г): в 1, 5, 9, 13, …, (4n-3) строках передаются только нечетные элементы, а в 3, 7, 11, 15, …, (4n-1) строках - четные элементы. Такая передискретизация улучшает визуальную горизонтальную четкость. В четных N-полях сигнал по горизонтали прореживается дважды, то есть передается только каждый 4-й элемент по строке, но в шахматном порядке. По вертикали передаются все строки. Методика прореживания и восстановления отсчетов остается прежней (фиг.10, в, г) и визуальная четкость изображения в целом понижается незначительно.
В нашем случае предполагается восстановление частоты отсчетов N-полей до первоначального значения, поэтому заметной потери качества изображения не будет. Естественно, перед прореживанием для уменьшения искажений стоит ФНЧ, который в схеме (фиг.7) для упрощения не показан.
Дополнительное прореживание отсчетов в рассмотренном случае повышает эффективность системы в сокращении цифрового потока более чем в 2 раза. В прототипе такая возможность отсутствует.
4. Значительно более сильные, чем в прототипе, корреляционные связи между сравниваемыми элементами обеспечивают эффективное устранение избыточности из телевизионных сообщений и делают систему перспективной при ее модернизации.
Приведем схемы кодирующего и декодирующего устройств, реализующие предлагаемый способ сжатия цифрового потока видеосигнала, к виду, требуемому при оформлении заявки (фиг.11 и 12).
На чертежах приведены следующие обозначения:
Для фиг.11:
- блок предварительной обработки - 1;
- устройство вычитания - 2;
- ключевая схема И-3, 4, 8, 16;
- устройство сложения - 5, 13, 17;
- дискретно-косинусное преобразование - 6, 10;
- квантователи - 7, 11;
- блок прореживания сигналов N - 9;
3
П
3
П
- предсказатели с τ=1Т и τ=2Т - 12, 19;
-1
- блок обратного ДКП - 14;
- деквантователь кв - 15;
- определитель движения - 18;
- мультиплексор - 24;
- устройство управления коэффициентом сжатия - 25;
- буферное запоминающее устройство - 26.
Для фиг.12:
- буферное запоминающее устройство - 1;
- демультиплексор - 2;
- декодер энтропийного кода - 3, 6, 10;
- деквантователь - 4, 7;
- блок обратного дискретного косинусного преобразования - 5, 8;
- блок интерполирования отсчетов в канале N-полей - 9;
- сумматоры - 11, 15, 16;
3
П
3
П
- предсказатели: τ=2Т - 12, τ=1Т - 14;
- электронный коммутатор - 17;
- блок обратной перестановки полей - 18.
На схемах представлены только те узлы и блоки, которые характеризуют особенности данного способа сжатия цифрового потока видеосигнала в канале связи.
Рассмотрим кратко последовательность преобразований цифрового видеосигнала в представленных схемах (фиг.11 и 12).
Цифровой видеосигнал с ИКМ поступает на блок предварительной обработки сигнала 1, в котором происходит образование блоков изображения и перестановка нечетных и четных полей в последовательности кадров. С выхода блока 1 сигнал по верхнему каналу через ключевую схему 3 и сумматор 5 поступает на блок дискретного косинусного преобразования ДКП 6. В вычитателе 2 образуются два разностных сигнала М- и N-полей. Сигнал М-полей через ключ 4 и сумматор 5 поступает на блок ДКП 6. В блоках ДКП происходит преобразование матриц значений сигналов в матрицу коэффициентов ряда Фурье. Другой сигнал N-полей через ключ 8 и блок прореживания 9 поступает на ДКП 10. С блоков ДКП 6 и 10 сигналы О, М и N, пройдя квантование 7 и 11 и энтропийное кодирование 21 и 22, поступают на мультиплексор 24.
-1
-1
3
П
В петле обратной связи, охватывающей блоки: деквантователь кв 15, блок обратного косинусного преобразования ДКП 14, сумматоры 13, 17 и 20, предсказатели 12 с  и 19 с τ=2Т, полученный задержанный сигнал обратной связи в блоке 2 вместе с сигналом, поступающем с БПО, образует разностные сигналы М и N. Кроме того, с выхода БПО 1 входной сигнал через ключевую схему 16 поступает на определитель движения 18, на второй вход которого поступает задержанный сигнал полей О и М и определяется вектор движения, который, пройдя блок энтропийного кодирования 23, поступает на вход мультиплексора 24. Далее объединенный в мультиплексоре цифровой поток поступает на вход буферного запоминающего устройства БЗУ 26. С помощью БЗУ 26, блока управления коэффициентом сжатия УКС 25, квантователей 7 и 11, мультиплексора 24 осуществляется выравнивание скорости цифрового потока в канале связи независимо от содержания передаваемого изображения. Этим самым повышается эффективность использования канала связи, пропускная способность которого ограничена. Скомпрессированный цифровой поток с выхода БЗУ 26 поступает в канал связи.
В приемном (декодирующем) устройстве скомпрессированный сигнал поступает на вход буферного запоминающего устройства БЗУ 1, в котором восстанавливается исходная плотность цифрового потока, то есть данные из БЗУ считываются неравномерно во времени.
-1
-1
С выходов демультиплексора 2 кодированные данные изображения и векторов движения поступают на блоки энтропийного кодирования 3, 6, 10. Разностные и опорные сигналы О, N и М поступают на деквантователи Кв 4, 7 и блоки обратного косинусного преобразования ДКП 5, 8. В блоке 9 происходит восстановление (интерполяция) пропущенных отсчетов в изображении N-полей. Далее из разностных сигналов N- и М-полей в блоках 11-15 происходит восстановление исходной структуры N- и М-полей с ИКМ. С помощью блоков 10, 11 и 12 из сигналов векторов движения образуются сигналы М-полей подвижных изображений. В предсказателе 14 с запоминающим устройством ЗУ  хранится предыдущее значение сигнала для образования в сумматоре 15 текущего значения сигнала N. Аналогичную функцию выполняет и предсказатель 12 для сигналов М-полей.
1
-1
При приеме сигналов опорного O-поля переключатель электронного коммутатора находится в положении 1 - сигнал О проходит на выход схемы. На управляющий вход ЭК 17 поступают импульсы U опорного поля О. При приеме макроблоков М- и N-полей переключатель ЭК находится в положении 2. В этом случае формирование выходного сигнала происходит путем поэлементного сложения поступающих с блоков обратного ДКП 5, 8 значений разностей с предсказанным макроблоком, формируемым из элементов ранее декодированных изображений О- и М-полей с использованием декодированных векторов движения в М-полях (блоки 10, 11, 12). С выхода ЭК 17 декомпрессированный цифровой поток с ИКМ поступает на блок обратной перестановки полей ОПП 18, в котором восстанавливается исходная последовательность полей.
Преимуществом предлагаемого изобретения является улучшение качества изображения при относительно более простой схемной его реализации, что имеет не только экономический, но и социальный эффект, так как может найти широкое применение во многих областях цифрового телевидения.
Литература
1. Лебедев Д.С., Цуккерман И.И. Телевидение и теория информации. - Л.: Энергия, 1965. - 219 с.
2. Цифровое телевидение. / Кривошеев М.И., Виленчик Л.С. и др. - М.: Связь, 1980. - 260 с.
3. Цифровое кодирование телевизионных изображений. / Цуккерман И.И., Кац Б.М. и др. - М.: Радио и связь, 1983. - 239 с.
4. Методы передачи изображений. Сокращение избыточности. / Уильям Прэтт, Давид Д.Сакрисон и др. / Перевод с англ. - М.: Радио и связь, 1983. - 284 с.
5. Трофимов Б.Е., Куликовский О.В. Передача изображений в цифровой форме. - М.: Связь, 1980. - 120 с.
6. У.Прэтт. Цифровая обработка изображений. - М.: Издательство "Мир", 1982, Т.1-Т.2. - 790 с.
7. Кретцмер (Kretzmer E.R.) Reduce-alphabet representation of television signals, "Conv Rec. IRE", 1956, 4, - c.140.
8. Грэхем (Graham R.E.). Communication theory applied to television coding "Acta Electronica", 1957/58, N1-2. - c.333.
9. Ануфриев И.К. Использование цифровых методов обработки сигналов в телевидении. // Средства связи. - 1989, №4. - с.3-6.
10. Смирнов В.М., Сорин В.Я. Передача цифровых ТВ сигналов методами двумерного кодирования. - Техника средств связи. Сер. Техника телевидения, вып.6, 1987. - С.31-37.
11. Ярославский. Введение в цифровую обработку изображений. - М.: «Советское радио», 1979. - 312 с.
12. Быков Р.Е. Теоретические основы телевидения. - Санкт-Петербург: Изд. «Лань», 1990. - 287 с.
13. Левченко В.Н. Спутниковое телевидение. - «BHV - Санкт-Петербург»: «Издательство Арлит», 1998. - 288 с.
14. Н.Н.Красильников. Теория передачи и восприятия изображений. - М.: Радио и связь, 1986. - 246 с.
15. Птачек М. Цифровое телевидение. Теория и техника. / Пер. с чеш. / Под ред. Л.С.Виленчика. - М.: Радио и связь. 1990. - 528 с.
16. Безруков В.Н. Разработка и применение элементов теории преобразование сигналов изображений в системах прикладного телевидения. Авторская диссертация на соискание ученой степени доктора технических наук. - М.: 1996. - 45 с.
17. Зубарев Ю.Б., Кривошеев М.И., Красносельский И.Н. Цифровое телевизионное вещание. - М.: 2001. - 521 с.
18. Телевидение: Учебник для ВУЗов. / Под ред. В.Е.Джаконии. - М.: Радио и связь, 2004. - 615 с.
19. Цифровая обработка телевизионных и компьютерных изображений. / Под ред. Ю.Б.Зубарева и В.П.Дворковича. - М.: МЦНТИ. 1997. - 255 с.
20. Локшин Б.А. Цифровое вещание: - от студии к телезрителю. - М.: 2001. - 446 с.
21. Смирнов А.В. Основы цифрового телевидения. - М.: 2001. - 224 с.
22. Брайс Р. Справочник по цифровому телевидению. Пер. с англ. - г.Жуковский: Эра, 2001. - 230 с.
23. Цифровое преобразование изображений. / Под ред. Проф. Р.Е.Быкова. - М.: Горячая линия - Телеком, 2003. - 230 с.
24. Смирнов А.В., Пескин А.Е. Цифровое телевидение: - от теории к практике. - М.: Горячая линия - Телеком, 2005. - 352 с.
25. Владо Демьяновски. Библия охранного телевидения. / Пер. с англ. - М.: «Ай-Эс-Эс Пресс», 2003. - 344 с.
26. Петраков А.В., Лагутин B.C. Телеохрана. - М.: Энергоиздат. - 1998. 372 с.
27. Гласман. К. «MPEG - это просто». // Журнал «625», 2000, №3. - с.5-45.
28. Преобразование стандартов. Применение технических решений. // Журнал «625». 2005. №7. - с.79.
29. Гласман К. Видеокомпенсация. // Журнал «625». 1997. №7. - с.60.
30. Балобанов В.Г. Способ передачи и приема цифрового телевизионного сигнала. Авторское свидетельство №1642594. Бюл. 14. - 1991.
31. Балобанов В.Г. Способ сжатия видеосигнала в цифровой форме. Патент №2012157. Бюл. №8. - 1994.
32. Безруков В.Н., Балобанов В.Г. Способ передачи дополнительной информации по телевизионному каналу. Авторское свидетельство №586572. Бюл. №48. - 1977.
33. Артюшенко В.М., Шелухин О.И., Афонин М.Ю. Цифровое сжатие видеоинформации и звука: Учебное пособие. / Под ред. Артюшенко В.М. - М.: Изд. Торг. Корпорации «Дашков и Ко». 2003. - 426 с.34. Катаев С.И., Хромой Б.П., Безруков В.Н., Балобанов В.Г. Авторское Свидетельство №301675. Бюллетень изобретений №14, 1971.