Анализ экспериментальных теневых изображений течений методами компьютерного зрения
Authors: Doroshchenko I.A. 
Published: May 2023

In this study, two examples of physical experiment automation using computer vision and deep learning techniques are considered. The first of them involves the use of classical computer vision techniques to detect and track the oblique shock wave on the experimental shadowgraph images. This was achieved using Canny edge detection and Hough transform, which allowed to obtain the line equation corresponding to the oblique shock wave. By automatically calculating the angle of this wave for each frame in the video, the process of extracting quantitative information from flow visualizations was significantly accelerated. In the second example, a convolutional neural network was trained to identify four classes of objects on the shadowgraph images, namely vertical shock waves, bow shocks, plumes, and opaque particles in the flow. The custom object detection model is based on the up-todate YOLOv8 architecture. To realize this task, a dataset of 1493 labeled shadowgraph images was collected. The model showed excellent performance during the learning process, with model precision and mAP50 scores exceeding 0.9. It was successfully applied to detect objects on the shadowgraph images, demonstrating the potential of deep learning techniques for automating the processing of flow visualizations. Overall, this study highlights the significant benefits of combining classical computer vision algorithms with deep learning techniques in the automation of physical experiments. However, classical algorithms demand the writing additional code to extract the required information. The deep neural networks can perform this task automatically, provided that a well-annotated dataset is available. This approach offers a promising avenue for accelerating the analysis of flow visualizations and the extraction of quantitative information in physical experiments. computer vision, digital image processing, object detection, convolutional neural networks, flow visualization, shock wave, bow shock

В данном исследовании рассматриваются два примера автоматизации физических экспериментов с использованием методов компьютерного зрения и глубокого обучения. В первом из них были применены классические алгоритмы компьютерного зрения для обнаружения и отслеживания косого скачка уплотнения на экспериментальных теневых изображениях: метод выделения границ Кэнни и преобразование Хафа. Получив уравнение прямой, соответствующей косому скачку уплотнения, угол ее наклона автоматически рассчитывался для каждого кадра видео. Во втором примере была обучена сверточная нейронная сеть для определения четырех классов объектов на теневых изображениях: вертикальных ударных волн, головных ударных волн, термиков и непрозрачных частиц в потоке. Модель основана на современной архитектуре YOLOv8. Для реализации этой задачи был создан набор данных из 1493 размеченных теневых изображений. Модель показала хорошие метрики в процессе обучения: точность модели и оценка mAP50 превысили 0,9. Она была успешно применена для обнаружения объектов на теневых изображениях. Было продемонстрировано, что применение классических алгоритмов компьютерного зрения и глубокого обучения может значительно ускорить обработку визуализаций потоков и извлечение количественной информации. Однако классические алгоритмы обычно не могут использоваться напрямую и требуют от исследователя написания дополнительного кода для извлечения необходимой информации. Глубокие нейронные сети могут выполнить эту задачу автоматически, и единственное, что требуется, это разметка и сбор большего набора данных.