ВЫСОКОСКОРОСТНАЯ ИНТЕЛЛЕКТУАЛЬНАЯ ВИДЕОКАМЕРА ДЛЯ РЕГИСТРАЦИИ И АНАЛИЗА ИЗОБРАЖЕНИЙ БЫСТРОПРОТЕКАЮЩИХ ПРОЦЕССОВ

Полезная модель относится к области телевизионной техники, а именно, к системам высокоскоростной видеосъемки, цифровые видеокамеры которых выполнены на основе матричных видеосенсоров и микропроцессорных блоков, предназначенных для управления процессом регистрации объектов и процессов с быстроизменяющейся интенсивностью излучения, быстропротекающих во времени и пространстве. В частности, полезная модель видеокамеры предназначена для регистрации и интеллектуального анализа изображений газотермических процессов напыления (например, плазменного, детонационно-газового и других видов напыления) частиц порошкового материала на поверхность изделий с целью получения упрочняющих защитных покрытий на изделия.
Известна ПЗС-видеокамера [1], являющаяся в определенной степени аналогом заявляемой здесь полезной модели, включающая в себя объектив, высокоскоростной матричный приемник с зарядовой связью (ПЗС), блок формирования управляющих сигналов ПЗС-матрицы, блок усиления видеосигнала и обработки видеосигнала ПЗС-матрицы и блок автоматической регулировки экспозиции с микропроцессором.
Ее техническим результатом в условиях быстро меняющейся интенсивности излучения исследуемого объекта является повышение скорости определения и установки требуемой величины экспозиции за счет создания устройства, в котором требуемое время экспозиции (время накопления сигнала на фотоприемниках ПЗС-матрицы) определяется с помощью фотодиода, площадь которого равна площади светочувствительной поверхности ПЗС-матрицы.
Одним из недостатков такой быстродействующей ПЗС-видеокамеры является отсутствие у нее запоминающих элементов и устройств, с помощью которых имелась бы возможность записывать и сохранять в памяти поток изображений с необходимой частотой кадров. Следовательно, другим недостатком является отсутствие блока обработки и интеллектуального анализа изображений, из-за чего видеокамера не может быть использована для исследования быстропротекающих физических процессов. Еще одним недостатком является то, что в составе ПЗС-видеокамеры нет интерфейсов для подключения к монитору, на котором оператору можно было бы просматривать хотя бы отдельные кадры изображений быстропротекающих физических процессов.
Из известных цифровых видеокамер наиболее близкой по технической сущности и в качестве прототипа к заявляемой полезной модели является высокоскоростная интеллектуальная видеокамера регистрации и обработки потока видеоизображений [2, 3], выполненная на основе высокоскоростного КМОП ФД матричного видеосенсора CMV2000 фирмы CMOSIS и отладочной платы DIGILENT ATLYS SPARTAN-6 FPGA DEVELOPMENT BOARD).
Видеокамера-прототип содержит две платы: плату, на которой наряду с креплением для объектива реализован первичный оптический модуль с объективом и видеосенсором, и плату, на которой реализован основной модуль со встроенными микропроцессорными блоками, предназначенными для управления процессом регистрации и интеллектуальной обработки изображений быстропротекающих физических процессов. Кроме того, основной модуль в отличие от первого аналога (ПЗС-видеокамеры, [1]) позволяет с определенной степенью «прореживания» передавать поток изображений на внешний персональный компьютер (ПК), а результаты интеллектуальной обработки потока изображений выводить на внешний монитор ПК, непосредственно подключенный через разъем к порту HDMI отладочной платы DIGILENT ATLYS SPARTAN-6 FPGA DEVELOPMENT BOARD). Плата первичного оптического модуля представляет собой четырехслойную печатную плату с расположенным в центре высокоскоростным матричным видеосенсором CMV2000 и креплением для объектива. Модель видеосенсора имеет высокое разрешение 2048×1088 пикселей и обеспечивает частоту сканирования до 340 кадров в секунду при полном разрешении кадра, и более высокую частоту кадров (до нескольких тысяч кадров в секунду) при неполном разрешении. При передаче данных от видеосенсора в блок обработки сигнала максимальная скорость по дифференциальным каналам составляет 7680 Мбит/с. Для управления видеосенсором и работой видеокамеры в целом, а также для интеллектуальной обработки потока изображений и передачи видеоизображений на внешние носители памяти используется отладочная плата Digilent Atlys Spartan-6 FPGA Development Board. Основным компонентом отладочной платы является ПЛИС архитектуры FPGA серии Spartan 6 LX45 фирмы Xilinx (43661 логических ячеек), работающей на частоте 500 МГц. Также на отладочной плате имеются: микросхемы памяти DDR2 (объемом 128 Мбайт), контроллер Gigabit Ethernet, 2 порта USB для программирования и обмена данными.
Видеокамера-прототип работает следующим образом. Данные от видеосенсора, поступая в основной модуль, в зависимости от параметров настройки видеокамеры передаются на ПК одним из двух режимов. Первый режим предполагает передачу данных видеоизображений, обработанных в блоке интеллектуальной обработки видеокамеры по запрограммированному алгоритму. После обработки видеоизображений результаты обработки и анализа изображений передаются на ПК для последующего сохранения и дополнительного анализа информации. Этот режим работы предусматривает возможность вывода исходных видеоизображений и результирующих диаграмм и графиков, полученных в результате вычислений, на внешний монитор ПК, подключенный посредством разъема HDMI непосредственно к отладочной плате DIGILENT ATLYS SPARTAN-6 FPGA DEVELOPMENT. Второй режим предусматривает передачу регистрируемых видеокамерой изображений без всякой обработки на ПК для их последующего сохранения и математической обработки.
Недостатком видеокамеры-прототипа является определенная степень ограниченности вычислительных ресурсов ПЛИС, из-за чего производится упрощенная интеллектуальная обработка видеоизображений исследуемых быстропротекающих процессов. Отсутствие в видеокамере устройства с большим объемом памяти для записи в него потока изображений вынудило часть ресурсов ПЛИС (часть логических ячеек и блоков ОЗУ), которые можно было использовать для обработки видеоизображений, использовать для реализации программного IP-ядра, предназначенного для организации канала связи Gigabit Ethernet (GigE-канал) с внешним ПК, из-за скоростных ограничений которого только примерно 1/8 часть данных удается передавать на ПК. Кроме того, в качестве еще одного недостатка можно отметить, что для отображения результатов обработки и анализа видеоизображений используется внешний монитор ПК, что делает систему менее мобильной.
Заявляемая полезная модель решает задачу повышения производительности блока регистрации, обработки и интеллектуального анализа потока изображений процессов с быстроизменяющейся интенсивностью излучения, регистрируемых высокоскоростной видеокамерой, более чем в 3,5 раза по сравнению с прототипом. Встраиваемое специализированное программное обеспечение (СПО) в систему на кристалле (СнК) позволяет производить быстродействующую (параллельную) обработку потока изображений, на основе которой производится «интеллектуальный» анализ динамики поведения определенных объектов исследуемых процессов, в частности определяются распределения скоростей и концентрации частиц по гетерогенному потоку частиц в газотермической струе при напылении упрочняющих защитных покрытий на изделия для последующей оптимизации технологии напыления.
Высокоскоростная интеллектуальная видеокамера для регистрации и анализа изображений быстропротекающих процессов - сущность полезной модели.
Задача решается за счет того, что в полезной модели, содержащей аналогичный прототипу первичный оптический модуль (с объективом и высокоскоростным КМОП ФД матричным видеосенсором CMOSIS CMV2000 на 4-хслойной плате) и модернизированный основной модуль (на отдельной печатной плате с набором микросхем питания и памяти, кнопок управления, разъемов и интерфейсов сопряжения), используется СнК (Z-7020SoC), в составе которой ПЛИС (XC7Z020CLG484) сопряжена высокоскоростной аппаратно реализованной шиной с аппаратно реализованным двухъядерным процессором ARM Cortex-А9. ПЛИС XC7Z020CLG484 имеет 85000 логических ячеек (почти в 2 раза больше, чем в ПЛИС прототипа) и работает на частоте 866 МГц (в 1,732 раза выше, чем в ПЛИС прототипа), что позволило увеличить количество конвейеров параллельной обработки изображений вдвое по сравнению видеокамерой- прототипом и увеличить производительность обработки изображений не менее, чем в 3,5 раза. Ускорению параллельной конвейерной обработки способствовала замена микросхем памяти (объемом 128 Мб в прототипе) на микросхемы памяти DDR3 объемом 512 Мб, использование высокоскоростной аппаратно реализованной шины, аппаратного контроллера динамической памяти, интерфейса видеосенсора в виде IP-ядра. В состав видеокамеры дополнительно введен RAID-массив, позволяющий с помощью RAID-контроллера в виде IP-ядра сохранять в своей памяти полный поток кадров изображений, регистрируемых практически в реальном режиме времени высокоскоростным видеосенсором CMOSIS CMV2000.
Кроме того, наличие двухъядерного процессора в СнК позволяет передать ему от ПЛИС часть сервисных функций (ранее выполнявшиеся в ПЛИС прототипа): сервисные функции по конфигурированию режимов работы видеокамеры с помощью графического интерфейса, по отображению результатов обработки изображений, функции управления периферией в реальном режиме времени, в т.ч. использование аппаратных интерфейсов Ethernet и USB, встроенных в процессорную систему двухъядерного процессора. В результате чего, высвобождается примерно 35% дополнительных ресурсов ПЛИС для выполнения ею основных трудоемких операций.
По сравнению с прототипом в состав видеокамеры введен компактный дисплей, на который выводятся результаты обработки и интеллектуального анализа изображений в виде гистограмм, графиков и числовых значений, отображающих динамику быстропротекающих процессов. Данные функции реализованы благодаря двухъядерному процессору, позволяющему воспроизводить данные, записанные в RAID-массив.
Еще одной отличительной особенностью является возможность для обновления программного обеспечения и конфигурации ПЛИС видеокамеры с внешних USB-накопителей через USB-порт и не требуется использования внешних специализированных аппаратных средств. Таким образом, определенные алгоритмы обработки изображений можно загружать непосредственно при включении видеокамеры, например, возможно производить кодирование видеоданных в стандартах MPEG-2, H.264 с помощью программного обеспечения, выполняемого двухъядерным процессором в отличие от видеокамеры-прототипа, в которой такого кодирования не осуществляется.
Высокоскоростная интеллектуальная видеокамера для регистрации и анализа изображений быстропротекающих процессов работает следующим образом, фиг. 1. Изображение исследуемого объекта формируется объективом 1 и проецируется на матричный видеосенсор 2. Блок управления видеосенсором 7 посредством интерфейса видеосенсора 6 осуществляет управление настройкой режима работы видеосенсора 2 и процессом регистрации изображений. Блок управления видеосенсором 7 реализован в виде программного IP-ядра в программируемой логике 5 (в блоках ОЗУ и логических ячейках ПЛИС) системы на кристалле 3. Сформированное видеосенсором изображение посредством интерфейса видеосенсора 6 передается в блок обработки изображения 8, в котором по заданным алгоритмам происходит обработка изображения и вычисление результирующих данных для дальнейшего отображения в виде гистограмм, графиков и числовых значений на дисплее консоли 19. Обработка данных в блоке 8 осуществляется с использованием динамической памяти 10 (микросхемы DDR3), предназначенной для хранения промежуточных результатов. Обмен данными между блоками 8 и 10 осуществляется посредством высокоскоростной аппаратно реализованной шины данных 9 и контроллером динамической памяти 11. Результаты обработки и анализа изображений из блока 8 с помощью шины 9 и ядер 12, 13 процессорной системы 4 передаются в блок аппаратной периферии 14, после чего отображаются на дисплее консоли 19 в доступном для восприятия оператором виде. Кроме того, данные исходных изображений с помощью RAID-контроллера 15 записываются (дублируются) в полном объеме в RAID-массиве 16. Посредством ядер 12, 13 процессорной системы 4 производится конфигурирование режимов работы видеокамеры с помощью графического программного интерфейса. С помощью блока аппаратной периферии 14 осуществляется взаимодействие с персональным компьютером 17 посредством 01§Е-порта 18 (поток зарегистрированных изображений передается в ПК для дальнейшей обработки). Для загрузки управляющей программы видеокамеры с алгоритмами обработки изображений используется Flash-память 20 видеокамеры. USB-порт 21 используется для обновления программного обеспечения видеокамеры с внешних USB накопителей. Одно из ядер процессора 12, 13 используется для отображения пользовательского интерфейса и для управления видеокамерой, а другое ядро используется для обработки и анализа изображений.
Выводы: за счет использования в полезной модели системы на кристалле, которая по сравнению с ПЛИС прототипа имеет больший вычислительный ресурс и работает на более высокой частоте, решается задача повышения производительности блока регистрации, обработки и интеллектуального анализа потока изображений процессов с быстроизменяющейся интенсивностью излучения, регистрируемых высокоскоростной видеокамерой, более чем в 3,5 раза по сравнению с прототипом.
Литература
1. Патент РФ №59923 МПК H04N 5/235 (2006.01), Бюл. №36 от 27.12.2006
2. Постоев А.И., Рябченко И.К., Иордан В.И. Реализация отладочного модуля регистратора потока видеоизображений на основе платы DIGILENT ATLYS SPARTAN-6 FPGA DEVELOPMENT BOARD // Многоядерные процессоры, параллельное программирование, ПЛИС, системы обработки сигналов: сб. статей Всероссийской научно-практической конференции, 28 февраля 2013. - Барнаул: Барнаул, 2013. - 176 с. - С. 9-13.
3. Рябченко И.К., Постоев А.И., Иордан В.И. Программно-аппаратная реализация модуля обработки изображений потока частиц в составе интеллектуальной цифровой видеокамеры // Известия вузов. Физика. - 2013. - Т. 56. - №8/3. - С. 342-347.