Метод вычисления плотного оптического потока на ПЛИС в реальном времени
Authors: БРАТУЛИН А В. , НИКИФОРОВ М Б. , БЕЛЯКОВ П В. , ХОЛОПОВ Е Ю. 
Published: January 2025

Одной из наиболее актуальных проблем, связанных с разработкой систем технического зрения, является проблема обнаружения и выделения объектов, находящихся в поле зрения датчика изображений. Область использования технологий автоматического обнаружения объектов и выделения объектов включает в себя задачи поиска и спасения, космический мониторинг Земли, анализ движения транспортных средств, контроль движения воздушного транспорта. Объекты могут быть неподвижными и движущимися. Движение на видеоизображении формализуется таким понятием, как оптический поток. Оптический поток является базовым инструментом для обработки и анализа видеопоследовательностей, а его вычисление наиболеераспространенный подход к обнаружению движущихся объектов.В статье рассмотрены особенности аппаратной реализации на ПЛИС метода вычисления плотного оптического потока на видеоизображении высокой четкости. Разработанный метод построен на базе корреляционноэкстремального алгоритма поиска минимальной суммы абсолютных разностей яркостей пикселей окон в окрестностях текущей точки соседних кадров видеоизображения. Приведено подробное описание основных этапов данного алгоритма. Рассмотрен принцип распараллеливания и конвейеризации, позволяющийминимизировать объем вычислений, благодаря повторному использованию промежуточных результатов, полученных на предыдущих шагах. Описанный подход позволяет вычислять оптический поток для каждого пикселя в темпе поступления входного видеоизображения. Проанализированы аппаратные затраты при реализации метода на ПЛИСXilinxZynq Ultra Scale, входящей в состав отладочной платы Xilinx Zynq Ultra Scale MPSoC ZCU102 Evaluation Kit.

One of the most actual problems in the technical vision systems is the problem of objects detection and selection in the field of the image sensor view. Applications of objects automatic detection and object allocation technologies include search and rescue tasks, space monitoring of the Earth, traffic analysis, air traffic control, etc. Objects can be stationary and moving. The movement in the video can be formalized in a term such as optical flow. Optical flow is the basic tool for processing and analyzing video sequences, and its calculation is the most common approach to the detection of moving objects. The article describes the features of the hardware implementation of the FPGA method for calculating the dense optical flow on highdefinition video. The developed method is based on the correlationextreme algorithm for finding the minimum sum of absolute differences in the brightness of the pixels of the windows in the vicinity of the current point of neighboring frames of the video. A detailed description of the main stages of this algorithm is given. The principle of parallelization and pipelization, which allows us to minimize the amount of calculations due to the reuse of intermediate results obtained in the previous steps, is considered. The described approach allows us to calculate the optical flow for each pixel at the rate of input video. The hardware implementation cost of the method on the Xilinx Zynq Ultra Scale FPGA, which is part of the Xilinx Zynq Ultra Scale MPSoC ZCU102 Evaluation Kit, is considered.