Способ повышения чувствительности и частоты кадров видеокамер
METHOD FOR INCREASING SENSITIVITY AND FRAME RATE OF VIDEO CAMERAS

Изобретение относится к способам повышения чувствительности и частоты кадров видеокамер.
Одним из способов повышения чувствительности видеокамер за счет увеличения отношения сигнал/шум является аппаратный биннинг, представляющий собой процесс суммирования зарядов смежных пикселей матрицы приемника излучения в один суперпиксель в процессе считывания информации из матрицы перед оцифровкой (Способы улучшения чувствительности камер видеонаблюдения // Настройка видеонаблюдения, август 2019. URL: http://zapishemvse.ru/sposoby-uluchsheniya-chuvstvitelnosti-kamer-videonablyudeniya/; Цыцулин А.К., Зубакин И.А., Левко Г.В., Морозов А.В. Измерение качества видеоинформации, формируемой телекамерой // Вопросы радиоэлектроники. Техника телевидения. 2016, вып. 4. С. 26-32).
При этом замедляется темп считывания и оцифровки пикселей, что позволяет увеличить частоту кадров в системе (Биннинг // Спецтелетехника, 2004. URL: http://www.sptt.ru/sptt/docs.php?l=1&part=3).
Основным недостатком применения процедуры биннинга является снижение пространственного разрешения видеокамер (патенты RU2542928, RU2543974).
Известен способ осуществления биннинга в датчике изображения (патент CN CN110198422), который включает в себя сортировку пикселей, выполняемую путем суммирования зарядов нескольких пикселей вдоль диагонального направления и считываются для формирования цифрового сигнала первой диагональной суммы. Затем первый диагональный суммарный сигнал может быть сохранен в памяти. Далее второй диагональный суммирующий сигнал генерируется путем объединения сигналов напряжения, считанных со второй группы пикселей, расположенных вдоль второго диагонального направления, и вторая диагональ считывается из суммирующего сигнала матрицы пикселей.
С помощью третьего набора пикселей, расположенных вдоль первого диагонального направления суммирования заряда, генерируется ортогональный суммирующий сигнал.
Недостатком данного способа является недостаточное повышение пространственного разрешения изображения.
Данное техническое решение является наиболее близким аналогом к заявленному изобретению и может выступать в качестве прототипа.
Задачей, на решение которой направлено данное изобретение, является создание способа обработки видеокадров видеокамеры на основе проведения процедуры биннинга с восстановлением пиксельного размера, обеспечивающего повышение чувствительности и частоты кадров видеокамер при обеспечении высокого пространственного разрешения видеокамер с незначительными для наблюдателя потерями.
Техническим результатом предлагаемого изобретения является повышение чувствительности и частоты кадров видеокамер при достижении повышенного пространственного разрешения.
Достижение указанного технического результата осуществляется за счет реализации способа повышения чувствительности и частоты кадров видеокамер, основанного на использовании процедуры биннинга смежных пикселей матрицы приемника излучения для последовательности видеокадров, отличающегося тем, что биннинг в видеокадрах выполняют со сдвигом, по крайней мере, на один пиксель матрицы приемника излучения по диагонали так, что в соседних видеокадрах образуется пространственно-временная решетка с шахматным расположением значений яркостей полученных в результате биннинга пикселей, затем считывают видеокадры, полученные посредством биннинга, с повышенной или исходной кадровой частотой и оцифровывают их, после чего размеры данных видеокадров увеличивают путем введения в их матричную структуру нулевых столбцов и строк, а затем последовательность увеличенных видеокадров подвергают интерполяции с помощью трехмерного интерполяционного пространственно-временного фильтра нижних частот с областью пропускания в виде октаэдра.
В альтернативных вариантах реализации предлагаемого способа, процедура биннинга может осуществляться четырьмя различными путями. При этом для каждого альтернативного варианта осуществления процедуры биннинга в предлагаемом способе определенным образом выполняется процедура увеличения восстанавливаемых видеокадров.
В одном из альтернативных вариантов осуществления способа, в нечетных видеокадрах биннинг начинают с (n+1) столбца и строки матрицы приемника излучения, а в четных видеокадрах – с первых столбца и строки матрицы приемника излучения, где n = 1,2,… – сдвиг в пикселях по диагонали матрицы приемника излучения.
Причем, при реализации данного варианта проведения процедуры биннинга в предлагаемом способе, размеры восстанавливаемых видеокадров увеличивают путем добавления (k-1) нулевых столбцов и строк между столбцами и строками матричной структуры восстанавливаемых видеокадров и при необходимости с краю нее, а в матричную структуру нечетных восстанавливаемых видеокадров слева и сверху добавляют n нулевых столбцов и строк, где k = 2,3,4,… – кратность биннинга.
В другом альтернативном варианте осуществления способа, в нечетных видеокадрах биннинг начинают с первых столбца и строки матрицы приемника излучения, а в четных видеокадрах – с (n+1) столбца и строки матрицы приемника излучения, где n = 1,2,… – сдвиг в пикселях по диагонали матрицы приемника.
Причем, при реализации данного варианта проведения процедуры биннинга в предлагаемом способе, размеры восстанавливаемых видеокадров увеличивают путем добавления (k-1) нулевых столбцов и строк между столбцами и строками матричной структуры восстанавливаемых видеокадров и при необходимости с краю нее, а в матричную структуру четных восстанавливаемых видеокадров слева и сверху добавляют n нулевых столбцов и строк, где k = 2,3,4,…- кратность биннинга.
В другом альтернативном варианте осуществления способа, в нечетных видеокадрах биннинг начинают с (n+1) столбца и первой строки матрицы приемника излучения, а в четных видеокадрах – с первого столбца и (n+1) строки матрицы приемника излучения, где n = 1,2,… – сдвиг в пикселях по диагонали матрицы приемника излучения.
Причем, в случае реализации данного варианта проведения процедуры биннинга в предлагаемом способе, размеры восстанавливаемых видеокадров увеличивают путем добавления (k-1) нулевых столбцов и строк между столбцами и строками матричной структуры восстанавливаемых видеокадров и при необходимости с краю нее, в матричную структуру нечетных восстанавливаемых видеокадров слева добавляют n нулевых столбцов, а в матричную структуру четных восстанавливаемых видеокадров сверху добавляют n нулевых строк, где k = 2,3,4,… – кратность биннинга.
В другом альтернативном варианте осуществления способа, в нечетных видеокадрах биннинг начинают с первого столбца и (n+1) строки матрицы приемника излучения, а в четных кадрах – с (n+1) столбца и первой строки матрицы приемника излучения, где n = 1,2,… – сдвиг в пикселях по диагонали матрицы приемника излучения.
Причем, в случае реализации данного варианта проведения процедуры биннинга в предлагаемом способе, размеры восстанавливаемых видеокадров увеличивают путем добавления (k-1) нулевых столбцов и строк между столбцами и строками матричной структуры восстанавливаемых видеокадров и при необходимости с краю нее, в матричную структуру нечетных восстанавливаемых видеокадров сверху добавляют n нулевых строк, а в матричную структуру четных восстанавливаемых видеокадров слева добавляют n нулевых столбцов, где k = 2,3,4,… – кратность биннинга.
Таким образом значения яркостей пикселей увеличиваемых кадров, полученных в результате биннинга, перемежают нулевыми столбцами и строками так, что в любых двух соседних кадрах формируется пространственно-временная решетка с шахматным расположением значений яркостей пикселей, полученных в результате биннинга. После чего производят формирование выходной последовательности восстановленных видеокадров путем последовательного считывания с повышенной или исходной кадровой частотой данных каждого увеличенного нечетного и соответствующего увеличенного четного кадров, при этом снимаемые выходные сигналы обрабатывают с помощью трехмерного интерполяционного пространственно-временного фильтра нижних частот с областью пропускания в виде октаэдра.
Реализация предлагаемого способа позволяет повысить чувствительность и частоту кадров видеокамер с незначительными для наблюдателя потерями пространственного разрешения в реальном масштабе времени и может найти применение в различных областях обработки изображений, в том числе системах видеонаблюдения, техническом зрении, в медицине, неразрушающем контроле и т.п.
Далее изобретение будет описано по ссылкам на графические материалы.
Фиг.1 – вариант выполнения процедуры биннинга 2×2 пикселей матрицы приемника излучения в последовательности видеокадров перед оцифровкой в случае, когда в нечетных видеокадрах биннинг начинают с (n+1) столбца и строки матрицы приемника излучения, а в четных видеокадрах – с первых столбца и строки матрицы приемника излучения, где n=1 – сдвиг в пикселях по диагонали матрицы приемника излучения, где 1 – последовательность видеокадров, 2 – нечетный видеокадр, 3 – четный видеокадр, 4 – значение яркости полученного пикселя в результате биннинга.
Фиг.2 – схема восстановления размера видеокадров в последовательности, полученных в результате биннинга 2x2, когда в нечетных видеокадрах биннинг начинают с (n+1) столбца и строки матрицы приемника излучения, а в четных видеокадрах – с первых столбца и строки матрицы приемника излучения, n=1 – сдвиг в пикселях по диагонали матрицы приемника излучения, k=2 – кратность биннинга, где 5 – нулевые строки, вводимые в матричную структуру восстанавливаемых видеокадров, 6 – нулевые столбцы, вводимые в матричную структуру восстанавливаемых видеокадров, 7 – нулевой столбец, введенный в нечетный видеокадр, 8 – нулевая строка, введенная в нечетный видеокадр.
1
2
3
1
2
3
Фиг. 3 – результирующая пространственно-частотная характеристика восстанавливающего трехмерного интерполяционного пространственно-временного фильтра нижних частот в виде поверхности уровня K (ν,ν,ν) = 0,8 для положительного октанта трехмерной области нормированных частот {ν,ν,ν}.
Фиг. 4 – структурная схема восстанавливающего трехмерного интерполяционного пространственно-временного фильтра нижних частот, где 9 – трехмерное рекурсивно-нерекурсивного звено , 10 – двумерное рекурсивно-нерекурсивное звено  , 11 – одномерное рекурсивно-нерекурсивное звено .
На начальном этапе осуществления предлагаемого способа выполняют процедуру биннинга смежных пикселей матрицы приемника излучения для последовательности видеокадров так, что в нечетных кадрах биннинг производят со сдвигом, по край ней мере, на один пиксель матрицы приемника излучения по диагонали по отношению к четным видеокадрам, при этом в соседних видеокадрах образуется пространственно-временная решетка с шахматным расположением значений яркостей пикселей.
Затем последовательность видеокадров, полученных с помощью процедуры биннинга и характеризующихся низким разрешением, считывают с повышенной или исходной кадровой частотой и оцифровывают.
С целью восстановления исходных размеров видеокадров в последовательности, в их матричную структуру добавляют нулевые столбцы и строки, после чего производят формирование последовательности выходных сигналов путем последовательного считывания с повышенной или исходной кадровой частотой данных каждого увеличенного нечетного и соответствующего увеличенного четного видеокадров, при этом снимаемые выходные сигналы обрабатывают с помощью трехмерного интерполяционного пространственно-временного фильтра нижних частот, который выполняют с областью пропускания в виде октаэдра.
Согласованная со спектрами реальных видеоизображений и с пространственно-частотной характеристикой зрения область пропускания восстанавливающего трехмерного интерполяционного пространственно-временного фильтра нижних частот в виде октаэдра позволяет при восстановлении видеоизображений по дискретным отсчетам наилучшим образом выделять из дискретного спектра основной спектр изображения исходного разрешения и подавлять побочные составляющие и высокочастотные шумы, что позволяет восстанавливать пространственное разрешение изображений с незначительными для наблюдателя потерями [см., например, Дрынкин В.Н. Разработка и применение многомерных цифровых фильтров. М.: ФГУП «ГосНИИАС», 2016].
Предлагаемый способ повышения чувствительности и частоты кадров видеокамер осуществляется следующим образом.
Раскрытый выше способ может реализовываться в нескольких предпочтительных вариантах.
Процедура биннинга, выполняемая на начальном этапе в предлагаемом способе, может осуществляться четырьмя различными путями. При этом для каждого альтернативного варианта осуществления процедуры биннинга, в предлагаемом способе определенным образом выполняется процедура увеличения восстанавливаемых видеокадров до исходного размера.
Согласно первому варианту реализации способа, в нечетных видеокадрах биннинг начинают с (n+1) столбца и строки матрицы приемника излучения, а в четных видеокадрах – с первых столбца и строки матрицы приемника излучения, где n = 1,2, … – сдвиг в пикселях по диагонали матрицы приемника излучения.
Причем, после считывания и оцифровки полученной последовательности видеокадров, размеры восстанавливаемых видеокадров увеличивают путем добавления (k-1) нулевых столбцов и строк между столбцами и строками матричной структуры восстанавливаемых видеокадров и при необходимости с краю нее, а в матричную структуру нечетных восстанавливаемых видеокадров слева и сверху добавляют n нулевых столбцов и строк, где k = 2,3,4,… – кратность биннинга.
Согласно второму варианту осуществления способа, в нечетных видеокадрах биннинг начинают с первых столбца и строки матрицы приемника излучения, а в четных видеокадрах – с (n+1) столбца и строки матрицы приемника излучения, где n = 1,2,… – сдвиг в пикселях по диагонали матрицы приемника.
Причем, после считывания и оцифровки полученной последовательности видеокадров, размеры восстанавливаемых видеокадров увеличивают путем добавления (k-1) нулевых столбцов и строк между столбцами и строками матричной структуры восстанавливаемых видеокадров и при необходимости с краю нее, а в матричную структуру четных восстанавливаемых видеокадров слева и сверху добавляют n нулевых столбцов и строк, где k = 2,3,4,… – кратность биннинга.
Согласно третьему варианту осуществления способа, в нечетных видеокадрах биннинг начинают с (n+1) столбца и первой строки матрицы приемника излучения, а в четных видеокадрах – с первого столбца и (n+1) строки матрицы приемника излучения, где n = 1,2,… – сдвиг в пикселях по диагонали матрицы приемника излучения.
Причем, после считывания и оцифровки полученной последовательности видеокадров, размеры восстанавливаемых видеокадров увеличивают путем добавления (k-1) нулевых столбцов и строк между столбцами и строками матричной структуры восстанавливаемых видеокадров и при необходимости с краю нее, в матричную структуру нечетных восстанавливаемых видеокадров слева добавляют n нулевых столбцов, а в матричную структуру четных восстанавливаемых видеокадров сверху добавляют n нулевых строк, где k = 2,3,4,… – кратность биннинга.
Согласно четвертому варианту осуществления способа, в нечетных видеокадрах биннинг начинают с первого столбца и (n+1) строки матрицы приемника излучения, а в четных кадрах – с (n+1) столбца и первой строки матрицы приемника излучения, где n = 1,2,… – сдвиг в пикселях по диагонали матрицы приемника излучения.
Причем, после считывания и оцифровки полученной последовательности видеокадров, размеры восстанавливаемых видеокадров увеличивают путем добавления (k-1) нулевых столбцов и строк между столбцами и строками матричной структуры восстанавливаемых видеокадров и при необходимости с краю нее, в матричную структуру нечетных восстанавливаемых видеокадров сверху добавляют n нулевых строк, а в матричную структуру четных восстанавливаемых видеокадров слева добавляют n нулевых столбцов, где k = 2,3,4,… кратность биннинга.
На фиг.1 представлен вариант исполнения процедуры биннинга 2x2 смежных пикселей матрицы приемника излучения для последовательности видеокадров (1), включающей в себя нечетные (2) и четные (3) видеокадры при условиях проведения биннинга соответствующих первому варианту его осуществления.
При этом в нечетных видеокадрах (2) биннинг производят со сдвигом, на один пиксель матрицы приемника излучения по диагонали (n=1) по отношению к четным видеокадрам (3), при этом в соседних видеокадрах образуется пространственно-временная решетка с шахматным расположением значений яркостей пикселей (4).
На фиг.2. представлен вариант осуществления восстановления размера видеокадров в последовательности (1), полученных в результате биннинга 2x2, при условиях его проведения согласно первому варианту.
В этом случае для восстановления исходных размеров видеокадров в последовательности (1) размеры восстанавливаемых видеокадров увеличивают путем добавления по одному нулевому столбцу (6) между столбцами матричной структуры восстанавливаемых видеокадров (2, 3) и по одной нулевой строке (5) между строками матричной структуры восстанавливаемых видеокадров (2, 3) (k=2), а в матричную структуру нечетных восстанавливаемых видеокадров слева добавляют нулевой столбец (7), а сверху добавляют нулевую строку (8).
Для осуществления трехмерного интерполяционного пространственно-временного фильтра нижних частот с областью пропускания в виде октаэдра может быть использована комбинированная структура, представляющая собой каскадное включение трехмерного, двумерного и одномерного рекурсивно-нерекурсивных звеньев. При данном способе осуществления пространственно-частотная характеристика восстанавливающего трехмерного интерполяционного пространственно-временного фильтра нижних частот  будет иметь вид:
,
(1)
где , ,  – соответственно пространственно-частотные характеристики трехмерного, двумерного и одномерного рекурсивно-нерекурсивных звеньев.
3
При этом конфигурация области пропускания восстанавливающего трехмерного интерполяционного пространственно-временного фильтра нижних частот в виде октаэдра в направлении временных частот ν формируется трехмерным рекурсивно-нерекурсивным звеном, содержащем память на кадр :
,
(2)
где
(3)
представляет собой пространственно-частотную характеристику двумерной нерекурсивной цепи обратной связи;
m – размер апертуры (в элементах) импульсной характеристики двумерного звена, 3 ≤ m ≥ k и принимает нечетные значения из множества N,  – полюс аналогового фильтра-прототипа.
1
2
Конфигурация области пропускания восстанавливающего трехмерного интерполяционного пространственно-временного фильтра нижних частот в плоскости пространственных частот изображения {ν,ν} формируется двумерным рекурсивно-нерекурсивным звеном, содержащем память на строку
,
(4)
где
(5)
представляет собой пространственно-частотную характеристику одномерной нерекурсивной цепи обратной связи.
1
Частота среза восстанавливающего трехмерного интерполяционного пространственно-временного фильтра нижних частот в направлении частот ν формируется одномерным рекурсивно-нерекурсивным звеном, содержащем память на элемент строки :
,
(6)
где коэффициент цепи обратной связи  вычисляется по формуле
.
(7)
Описанный фильтр может быть осуществлен аппаратным путем как элемент видеосистемы, интегрированный в видеокамеру, например, на базе программируемой логической интегральной схемы.
Рассмотрим пример получения практически реализуемой структуры восстанавливающего трехмерного интерполяционного пространственно-временного фильтра нижних частот с областью пропускания в виде октаэдра для m = 3. Зададимся Чебышевским одномерным аналоговым прототипом, имеющим при неравномерности частотной характеристики в полосе пропускания δ = 1 дБ один вещественный полюс  = -1,9652267, примем а = 0,8 и аппроксимируем выражения (3) и (5) соответствующими тригонометрическими рядами:
, (8)
.
(9)
При этом согласно формуле (7) β = -0,716. Коэффициент γ из соображений устойчивости выбирается равным 0,81.
1
2
3
1
2
3
На фиг. 3 показана результирующая пространственно-частотная характеристика восстанавливающего трехмерного интерполяционного пространственно-временного фильтра нижних частот в виде поверхности уровня K(ν,ν,ν) = 0,8 для положительного октанта трехмерной области нормированных частот {ν,ν,ν}.
Для получения передаточной функции восстанавливающего трехмерного интерполяционного пространственно-временного фильтра нижних частот по формуле (1) в виде, пригодном для реализации, на основании формулы Эйлера  заменяется , где  представляет собой z-преобразование на единичной окружности.
При этом можно получить передаточную функцию восстанавливающего трехмерного интерполяционного пространственно-временного фильтра нижних частот в виде:
,
(10)
где
,
(11)
, (12)
представляют собой память на кадр видеоизображения,
– память на строку видеоизображения,
– память на элемент строки видеоизображения.
Предлагаемый способ повышения чувствительности и частоты кадров видеокамер можно осуществить с помощью устройства повышения чувствительности и частоты кадров видеокамер, которое содержит модуль бинаризации, осуществляющий биннинг смежных пикселей матрицы приемника излучения в соответствии с одним из описанных выше путей, считывание и оцифровку пикселей, полученных с помощью биннинга, повышенной чувствительности с повышенной или исходной кадровой частотой, и модуль реконструирования, включающий в себя субмодуль увеличения размеров видеокадров, осуществляющий восстановление размера видеокадров одним из описанных выше путей в соответствии с предлагаемым способом, и субмодуль трехмерного интерполяционного пространственно-временного фильтра нижних частот, осуществляющий восстановление видеокадров увеличенного размера.
Причем для формирования трехмерной области пропускания упомянутого восстанавливающего трехмерного интерполяционного пространственно-временного фильтра нижних частот в виде октаэдра применяется комбинированная структура, представляющая собой каскадное включение трехмерного, двумерного и одномерного рекурсивно-нерекурсивных звеньев.
При этом указанные модули и субмодули в составе описываемого устройства повышения чувствительности и частоты кадров видеокамер подключены так, что вход модуля бинаризации подключен ко входу указанного устройства, а выход – к входу субмодуля увеличения размеров видеокадров, а выход субмодуля увеличения размеров видеокадров подключен ко входу субмодуля трехмерного интерполяционного пространственно-временного фильтра нижних частот, а выход субмодуля трехмерного интерполяционного пространственно-временного фильтра нижних частот подключен к выходу описываемого устройства.
На фиг. 4 изображен пример осуществления восстанавливающего трехмерного интерполяционного пространственно-временного фильтра нижних частот с областью пропускания в виде октаэдра.
1
1
2
2
1
2
На вход фильтра нижних частот с выхода субмодуля увеличения размеров видеокадров поступает последовательность следующих с повышенной или исходной кадровой частотой нечетных x(n,n) и четных x(n,n) видеокадров, полученных с помощью биннинга и увеличенных нулевыми столбцами и строками в соответствии с раскрытыми выше путями альтернативных вариантов осуществления биннинга.
Восстановление (интерполяция) пикселей осуществляется с помощью каскадно включенных трехмерного рекурсивно-нерекурсивного звена  (9), содержащего память на кадр , двумерного рекурсивно-нерекурсивного звена (10), содержащего память на строку, и одномерного рекурсивно-нерекурсивного звена  (11), содержащего память на элемент строки .
2
1
В трехмерном звене для m=3 значение текущего элемента строки (пикселя) текущего видеокадра (например, x) по цепи рекурсивной обратной связи складывается в сумматоре Σ1 с нерекурсивно взвешенными в соответствии с выражением (11) двумя предыдущими элементами двух предыдущих строк, двумя соответствующими элементами двух предыдущих строк, двумя предыдущими элементами соответствующей строки и соответствующим элементом соответствующей строки предыдущего (например, x) кадра. Затем полученное значение по цепи нерекурсивной прямой связи усредняется в сумматоре Σ2 с соответствующим элементом строки предыдущего кадра.
В двумерном звене значение текущего элемента строки (пикселя) текущего кадра по цепи рекурсивной обратной связи складывается в сумматоре Σ3 с нерекурсивно взвешенными в соответствии с выражением (12) восемью предыдущими элементами и одним соответствующим элементом предыдущей строки текущего кадра, а затем по цепи нерекурсивной прямой связи полученное значение усредняется в сумматоре Σ4 с соответствующим элементом предыдущей строки текущего кадра.
В одномерном звене значение текущего элемента текущей строки текущего кадра по цепи рекурсивной обратной связи складывается в сумматоре Σ5 со взвешенным в соответствии с выражением (7) на коэффициент β значением предыдущего элемента строки текущего кадра, а затем по цепи нерекурсивной прямой связи полученное значение усредняется в сумматоре Σ6 с тем же самым предыдущим элементом текущей строки текущего кадра.
1
2
3
С выхода фильтра нижних частот снимается видеопоследовательность восстановленных видеокадров изображения x(n,n,n), обладающих повышенной чувствительностью и следующих с повышенной или исходной кадровой частотой, с незначительными для наблюдателя потерями пространственного разрешения.