УСТРОЙСТВО КОМПРЕССИИ ВИДЕОДАННЫХ
DEVICE FOR COMPENSATING FOR VIDEO DATA

Изобретение относится к телевизионным системам, в частности к системам, в которых телевизионный сигнал передается по одному каналу или нескольким параллельным каналам при ширине полосы пропускания каждого канала меньшей, чем ширина спектра телевизионного сигнала, и может быть использовано в устройствах кодирования видеоданных, работающих в реальном масштабе времени, для обеспечения эффективной компрессии за счет существенного снижения пространственно-временной избыточности данных благодаря применению трехмерного вейвлет-преобразования.
Существующие в настоящее время устройства компрессии видеоданных, использующие вейвлет-преобразование, либо не устраняют временную избыточность соседних кадров видеопоследовательности, либо не могут быть реализованы в качестве систем реального времени из-за высокой вычислительной сложности.
Известно устройство «Wavelet based coding using motion compensated filtering based on both single and multiple reference frames» (патент US 7042046 B2 от 09.03.2006) того же назначения, что и предлагаемое, но не имеющее с ним общих признаков, и состоящее из последовательно соединенных блока разделения (partition), блока оценки движения (motion estimation), блока временной фильтрации (temporal filtering), блока пространственной декомпозиции (spatial decomposition), блока квантования коэффициентов (significance encoding) и блока энтропийного кодирования (entropy encoding), причем выход блока оценки движения соединен со вторым входом блока энтропийного кодирования.
Недостаток данного устройства заключается в большой вычислительной сложности вследствие использования алгоритма Motion Compenstaion Time Filtering для устранения временной корреляции соседних кадров видеопоследовательности, что затрудняет его применение в системах сжатия видеоданных, работающих в реальном времени.
Известно устройство «Signal processing method, picture encoding apparatus and picture decoding apparatus» (патент US 2001/0028404 от 11.10.2001) того же назначения, что и предлагаемое, и состоящее из последовательно соединенных блока вейвлет-преобразования (wavelet transform), блока преобразования коэффициентов (coefficient transform) и блока энтропийного кодирования (entropy coding). По функциональному признаку данное устройство принято за прототип.
Недостатки данного устройства заключаются в низкой эффективности сжатия данных вследствие того, что не ставится и не решается задача устранения временной корреляции между соседними кадрами видеопоследовательности.
Сущностью изобретения является устройство эффективной компрессии видеоданных, использующее адаптивное дискретное вейвлет-преобразование во временной области для снижения временной избыточности соседних кадров видеопоследовательности.
Достигаемый технический результат заключается в существенном увеличении коэффициента сжатия за счет применения адаптивного вейвлет-преобразования во временной области и увеличении быстродействия - за счет использования КИХ-фильтров для обработки видеоданных во временной области.
Сопоставительный анализ с прототипом показывает, что предлагаемое устройство отличается тем, что к последовательно соединенным блоку двумерного вейвлет-преобразования, блоку квантования коэффициентов преобразования и блоку энтропийного кодирования подсоединен новый элемент - блок временной декорреляции - причем выход блока временной декорреляции является входом блока двумерного вейвлет-преобразования.
Следовательно, устройство удовлетворяет критерию «новизна».
Сравнение с другими техническими решениями показывает, что предлагаемое устройство обладает повышенным коэффициентом сжатия видеоданных, а также пониженными вычислительные затратами.
Изобретение поясняется следующими графическими материалами:
фиг.1 - Функциональная схема устройства компрессии видеоданных;
фиг.2 - Функциональная схема блока временной декорреляции;
фиг.3 - Схема преобразования последовательности кадров параллельно-последовательным преобразователем;
фиг.4 - Функциональная схема блока, реализующего один уровень вейвлет-преобразования;
фиг.5 - Пространственно-временная структура входных данных;
фиг.6 - Функциональная схема блока определения номера канала с максимальной энергией;
фиг.7 - Функциональная схема блока двумерного вейвлет-преобразования;
фиг.8 - Схема двухуровневого двумерного вейвлет-преобразования входного кадра.
Устройство компрессии видеоданных (фиг.1) состоит из последовательно соединенных блока временной декорреляции 1, блока двумерного вейвлет-преобразования 2, блока квантования коэффициентов преобразования 3 и блока энтропийного кодирования 4.
Устройство компрессии видеоданных работает по принципу устранения пространственно-временной избыточности за счет применения трехмерного вейвлет преобразования, последующего квантования и статистического (энтропийного) кодирования коэффициентов преобразования и работает следующим образом.
На вход устройства компрессии видеоданных поступает последовательность из 16 кадров. В блоке временной декорреляции 1 осуществляется попиксельное адаптивное вейвлет-преобразование вдоль временной оси. На выходе блока временной декорреляции 1 формируется последовательность из 16 кадров, причем концентрация энергии входного сигнала (последовательности кадров) уменьшается с увеличением номера кадра в выходной последовательности. Выходная последовательность кадров блока временной декорреляции 1 поступает на вход блока двумерного вейвлет-преобразования 2, где происходит вычисление двумерного вейвлет-преобразования для каждого кадра в отдельности. Полученные для каждого кадра коэффициенты вейвлет-преобразования поступают в блок квантования коэффициентов преобразования 3. Для кадров, имеющих больший порядковый номер в выходной последовательности блока временной декорреляции 1, квантование осуществляется грубее, чем для кадров, имеющих меньший порядковый номер. Квантованные коэффициенты поступают на вход блока энтропийного кодирования 4, в котором осуществляется сжатие данных на основе их статического распределения.
Блок временной декорреляции 1 (фиг.2) состоит из параллельно-последовательного преобразователя 9 и последовательно соединенных блока первого уровня вейвлет-преобразования 5, блока второго уровня вейвлет-преобразования 6, блока третьего уровня вейвлет-преобразования 7 и блока четвертого уровня вейвлет-преобразования 8, причем первый А и второй В выходы блока четвертого уровня вейвлет-преобразования 8 соединены с первым А и вторым В входами параллельно-последовательного преобразователя соответственно, второй выход В блока третьего уровня вейвлет преобразования - с третьим входом С параллельно-последовательного преобразователя 9, второй выход В блока второго уровня вейвлет-преобразования 6 - с четвертым входом D параллельно-последовательного преобразователя 9, а второй выход В блока первого уровня вейвлет-преобразования 5 - с пятым входом Е параллельно-последовательного преобразователя 9.
Блок временной декорреляции 1 работает следующим образом. На вход блока первого уровня вейвлет-преобразования 5 поступает последовательность из 16 кадров. В блоке первого уровня вейвлет-преобразования 5 осуществляется попиксельная фильтрация входных данных вдоль временной оси. На первый выход А блока первого уровня вейвлет-преобразования 5 выдается последовательность из восьми кадров, содержащая низкочастотные (информативные) детали входной последовательности, а на втором выходе В - последовательность из восьми кадров, содержащая высокочастотные детали. Последовательность кадров, содержащая низкочастотные детали, подается на вход блока второго уровня вейвлет-преобразования 6. Блоки первого 5, второго 6, третьего 7 и четвертого 8 уровней вейвлет-преобразования работают идентичным образом. Полученные посредством вейвлет-преобразования данные поступают на вход параллельно-последовательного преобразователя 9, где они преобразуются в последовательность кадров в соответствии со схемой на фиг.3.
1
2
3
4
1
2
3
4
1
2
3
4
1
2
3
4
Блоки первого 5, второго 6, третьего 7 и четвертого 8 уровней вейвлет-преобразования идентичны по своей структуре (фиг.4) и состоят из последовательно соединенных низкочастотного вейвлет-фильтра h 10 и дециматора 11, последовательно соединенных низкочастотного вейвлет-фильтра h 12 и дециматора 13, последовательно соединенных низкочастотного вейвлет-фильтра h 14 и дециматора 15, последовательно соединенных низкочастотного вейвлет-фильтра h 16 и дециматора 17, последовательно соединенных высокочастотного вейвлет-фильтра g 18 и дециматора 19, последовательно соединенных высокочастотного вейвлет-фильтра g 20 и дециматора 21, последовательно соединенных высокочастотного вейвлет-фильтра g 22 и дециматора 23, последовательно соединенных высокочастотного вейвлет-фильтра g 24 и дециматора 25, последовательно соединенных блока определения номера канала с максимальной энергией 26 и мультиплексора 27, причем выход дециматора 11 соединен с первым входом А блока определения номера канала с максимальной энергией 26 и первым входом данных А1 мультиплексора 27, выход дециматора 13 - со вторым входом В блока определения номера канала с максимальной энергией 26 и вторым входом данных А2 мультиплексора 27, выход дециматора 75 - с третьим входом С блока определения номера канала с максимальной энергией 26 и третьим входом данных A3 мультиплексора 27, выход дециматора 17 - с четвертым входом D блока определения номера канала с максимальной энергией 26 и четвертым входом данных А4 мультиплексора 27, выход дециматора 19 - с пятым входом данных В1 мультиплексора 27, выход дециматора 27 - с шестым входом данных В2 мультиплексора 27, выход дециматора 23 - с седьмым входом данных ВЗ мультиплексора 27, выход дециматора 25 - с восьмым входом данных В4 мультиплексора 27, а входы низкочастотных вейвлет-фильтров h 10, h 12, h 14, h 16 и высокочастотных вейвлет-фильтров g 18, g 20, g 22, g 24 совмещены.
Блоки первого 5, второго 6, третьего 7 и четвертого 8 уровней вейвлет-преобразования идентичны и работают следующим образом. На вход вейвлет-фильтров 10, 72, 14, 16, 18, 20, 22, 24 поступает временной ряд компонентов яркости или цветности пикселей, имеющих одинаковое пространственное положение в обрабатываемой последовательности кадров (фиг.5). В низкочастотных вейвлет-фильтрах происходит выделение наиболее информативных составляющих входного сигнала, а в высокочастотных вейвлет-фильтрах - детализирующей информации [1]. Полученные после фильтрации сигналы прореживаются в два раза и подаются на входы мультиплексора 27. Прореженные выходные сигналы низкочастотных вейвлет-фильтров поступают на вход блока определения номера канала с максимальной энергией 26, который генерирует номер низкочастотного вейвлет-фильтра, выходной сигнал которого обладает максимальной энергией, что соответствует лучшей локализации энергии сигнала в низкочастотной области. Номер канала с максимальной энергией подается на вход адреса Adr мультиплексора 27, который пропускает на свои выходы прореженные выходные сигналы пары вейвлет-фильтров h-g, обладающие лучшей локализацией энергии в низкочастотной области. На выходе А мультиплексора 27 генерируется низкочастотный сигнал, а на выходе В - высокочастотный. Таким образом, в блоках первого 5, второго 6, третьего 7, четвертого 8 уровня осуществляется адаптивное вейвлет-преобразование входной последовательности кадров во временной области, сосредотачивающее энергию сигнала в низкочастотной области.
Блок определения номера канала с максимальной энергией 26 (фиг.6) состоит из четырех идентичных каналов 30-34 и селектора номера канала 34, причем выход первого канала 30 соединен с первым входом А, выход второго канала 31 - со вторым входом В, выход третьего канала 32 - с третьим входом С, а выход четвертого канала 33 - с четвертым входом D селектора номера канала 34; вход первого канала 30 совмещен с первым входом А, вход второго канала 31 - со вторым входом В, вход третьего канала 32 - с третьим входом С, вход четвертого канала - с четвертым входом D блока определения номера канала с максимальной энергией 26.
Первый канал 30 состоит из последовательно соединенных блока возведения в квадрат 28 и накапливающего сумматора 29.
Блок определения номера канала с максимальной энергией 26 работает следующим образом. Каналы 30-33 вычисляют оценку энергии входного сигнала и подают ее значение на вход селектора номера канала 34, который выбирает номер канала с максимальным значением оценки энергии. Первый канал 30 реализует вычисление оценки энергии входного сигнала по формуле:
где x[t] - входной сигнал, N - количество отсчетов после децимации выходного сигнала соответствующего низкочастотного вейвлет-фильтра (для первого уровня вейвлет-преобразования N=8, для второго - N=4, для третьего - N=2, для четвертого N=1).
Сброс накапливающего сумматора 29 происходит в момент начала новой последовательности кадров.
1
2
3
4
1
2
3
4
Вейвлет-фильтры h 10, h 12, h 14, h 16, g 18, g 20, g 22, g 24 являются КИХ-фильтрами и построены в соответствии с прямой структурой нерекурсивных линейных дискретных систем [2]
1
Низкочастотный вейвлет-фильтр h 10 имеет вектор коэффициентов:
h1
T
b=[0,01639; -0,04146; -0,06737; 0,38611; 0,81272; 0,41701; -0,07649; -0,05943; 0,02368; 0,00561; -0,00182; -0,00072].
1
Высокочастотный вейвлет-фильтр g 18 имеет вектор коэффициентов:
g1
T
b=[-0,00072; 0,00182; 0,00561; -0,02368; -0,05943; 0,07649; 0,41701; -0,81272; 0,38611; 0,06737; -0,04146; -0,01б39].
2
Низкочастотный вейвлет-фильтр h 12 имеет вектор коэффициентов:
h2
T
b=[0,23038; 0,71485; 0,63088; -0,02798; -0,18703; 0,03084; 0,03288;-0,0106].
2
Высокочастотный вейвлет-фильтр g 20 имеет вектор коэффициентов:
g2
T
b=[-0,0106; -0,03288; 0,03084; 0,18703; -0,02798; -0,63088; 0,71485, -0.23037].
3
Низкочастотный вейвлет-фильтр h 14 имеет вектор коэффициентов:
h3
T
b=[0,03222; -0,0126; -0,09922; 0,29786; 0,80374; 0,49762; -0,02963; -0,07577].
3
Высокочастотный вейвлет-фильтр g 22 имеет вектор коэффициентов:
g3
T
b=[-0,07577; 0,02964; 0,49762; -0,80374; 0,29786; 0,09922; -0,0126;-0,03222].
4
Низкочастотный вейвлет-фильтр h 16 имеет вектор коэффициентов:
h4
T
b=[0,17678; 0,53033; 0,53033; 0,17678].
4
Высокочастотный вейвлет-фильтр g 24 имеет вектор коэффициентов:
g4
T
b=[-0,01381; -0,04143; 0,05248; 0,26793; -0,07182; -0,96675; 0,96675; 0,07182; -0,26793; -0,05248; 0,041432; 0,01381].
Блок двумерного вейвлет-преобразования 2 (фиг.7) состоит из N идентичных последовательно соединенных каскадов дискретного вейвлет-преобразования 27, 28.
Блок двумерного вейвлет-преобразования 2 работает следующим образом. На вход первого каскада дискретного вейвлет-преобразования 27 поступает кадр видеопоследовательности. Каждый каскад дискретного вейвлет-преобразования осуществляет разбиение кадра на высокочастотные и низкочастотные составляющие путем применения одного уровня дискретного вейвлет-преобразования отдельно к строкам и столбцам по следующему алгоритму:
,
,
1
где k - индекс строки,
2
k - индекс столбца,
W - ширина входного изображения,
Н - высота входного изображения,
L - низкочастотная составляющая (НЧ) сигнала,
Н - высокочастотная составляющая (ВЧ) сигнала,
1
2
f[k, k] - входное изображение,
1
2
z[k, k] - выходное изображение,
T
h=[0.01639; -0,04146; -0,06737; 0,38611; 0,81272; 0,41701; -0,07649; -0,05943; 0,02368; 0,00561; -0,00182; -0,00072],
T
g=[-0,00072; 0,00182; 0,00561; -0,02368; -0,05943; 0,07649; 0,41701; -0,81272; 0,38611; 0,06737; -0,04146; -0,01639],
h
g
N=N=12.
На вход следующего каскада дискретного вейвлет-преобразования поступает низкочастотная составляющая выходного сигнала предыдущего каскада, т.е. данные с индексами:
Количество каскадов N дискретного вейвлет-преобразования находится из ограничения:
0
0
где Н - высота входного кадра, W - ширина входного кадра.
Блок квантования коэффициентов преобразования 3 может быть реализован с использованием известного алгоритма векторного квантования коэффициентов вейвлет-преобразования, описанного в [3].
Блок энтропийного кодирования 4 может быть реализован с использованием известного целочисленного алгоритма арифметического сжатия, описанного в [4].
Предлагаемое устройство позволяет эффективно сжимать видеоданные за счет снижения пространственно-временной избыточности данных и обладает низкой вычислительной сложностью благодаря применению КИХ-фильтров для фильтрации видеоданных во временной области и, следовательно, может быть применено в системах кодирования видеоданных, работающих в реальном масштабе времени.
Источники информации
1. В.И.Воробьев, В.Г.Грибунин. Теория и практика вейвлет-преобразования. - СПб: ВУС. 1999, с.44.
2. А.И.Солонина, Д.А.Улахович, С.М.Арбузов, Е.Б.Соловьева. Основы цифровой обработки сигналов: Курс лекций. Изд. 2-е испр. и перераб. - СПб.: БХВ-Петербург, 2005. - С.155-156.
3. Seung-Kwon P., Lee-Sup К.. A Real-Time Wavelet Vector Quantization Algorithm and Its VLSI Architecture. IEEE transactions on circuits and systems for video technology, vol.10, №3, april 2000.
4. P.G.Howard, J.S.Vitter. Practical Implementations of Arithmetic Coding. Brown University, Department of Computer Science, Technical Report No. 92-18, Revised version, April 1992.