IDENTIFICATION OF MAIN TYPES OF FEED CROPS AND WEEDS ON IMAGES FROM THE FIELDS BУ ARTIFICIAL INTELLIGENCE TECHNIQUES
Authors: Хрящёв В.В. , Ключников А.С. , Котов Н.В. , Ларионов Р.В. 
Published: November 2023

Использование аэрофотосъёмки существенно расширяет инструментарий агрономов. Целесообразно для автоматизации обработки больших объёмов данных, получаемых с беспилотного летательного аппарата, применить технологии искусственного интеллекта. Практическое применение технологий искусственного интеллекта требует предварительного обучения нейронных сетей. Процесс обучения предполагает обработку большого количества примеров изображений, на которых представлены объекты интересующих классов. Создание таких «примеров» возможно путём анализа и обработки информации на экспериментально собранных изображениях, т.е. разметки. В работе рассмотрены сети ResNet-34, MobilenetV2. Предложен новый алгоритм подготовки данных для использования методов машинного обучения в задаче идентификации основных типов кормовых культур и сорняков на изображениях. Алгоритм исследован на изображениях, полученных на высоте 5 метров с камеры беспилотного летательного аппарата. Разрешение изображений 1600x1300 пикселей с тремя каналами в следующем порядке: синий, красный, зелёный. Суммарно сформирован набор из 3000 патчей, распределённый на подвыборки: тренировочная, тестовая, валидационная. Сравнение результатов тестовой прогонки изображений через нейросети, прошедшие обучение, показали высокую сходимость с результатами валидации, что говорит о перспективности применения разработанного алгоритма. Экспериментально показано, что точность распознавания целевых объектов предобученных нейросетей на изображении возрастает десятикратно.

The use of aerial photography significantly expands the tools of agronomists. It is advisable to use artificial intelligence technologies to automate the processing of large amounts of data received from an unmanned aerial vehicle. The practical application of artificial intelligence technologies requires preparatory training of neural networks. The learning process involves processing a large number of example images that represent objects of interest classes. The creation of such "examples" is possible by analyzing and processing information on experimentally collected images, i.e. markings. The work deals with ResNet-34 and MobilenetV2 networks. A new algorithm for preparing data for using machine learning methods in the task of identifying the main types of feed crops and weeds in images was proposed. The algorithm was investigated in images obtained at a height of 5 meters from an unmanned aerial vehicle camera. The image resolution 1600x1300 pixels with three channels in the following order: blue, red, green. In total, a set of 3000 patches was formed, distributed into subsamples: training, test, validation. Comparison of the results of the test run of images through neural networks that have been trained showed high convergence with the validation results, which indicates the promise of using the developed algorithm. Experimentally, it has been shown that recognition accuracy of target objects of pre-trained neural networks in an image increases tenfold.