ALGORITHM FOR IMPROVING THE ACCURACY OF CLASSIFICATION DECISIONS ON IMBALANCED AGRICULTURAL DATA
Authors: Зеленчук Н.А. , Альсова О.К. 
Published: September 2024

В статье представлены результаты исследования методов устранения дисбаланса классов в сельскохозяйственных данных. Целью работы является повышение качества классификации несбалансированных сельскохозяйственных данных с помощью предложенного алгоритма, состоящего в использовании одиночных или однородных ансамблевых алгоритмов классификации с предварительным использованием балансирования классов методами семплирования. Использование алгоритма позволит получать более высокую классификационную точность, чем при непосредственном использовании одиночных алгоритмов классификации к несбалансированным данным. Предложенный алгоритм был реализован в программе для решения задачи классификации сельскохозяйственных показателей на основе применения комплекса методов интеллектуального анализа данных и машинного обучения. Также предложен и исследован алгоритм решения проблемы несбалансированности данных, основанный на комбинации методов SMOTE и увеличения выборки. Проведенные вычислительные эксперименты на примере данных об уровнях засоренности сельскохозяйственных участков и их обусловливающих факторах показали, что применение алгоритмов семплирования для устранения дисбаланса классов на одиночных моделях-классификаторах, а также применение ансамблевых алгоритмов значительно повышает точность результатов классификации. Предложенная комбинация методов семплирования на всех классификаторах позволила увеличить значения мер точности в среднем на 3% в сравнении со SMOTE. Оптимальным вариантом решения проблемы несбалансированности классов в исследуемых данных оказался метод увеличения выборки. Для прогнозирования уровней засоренности наиболее важными являются классы (уровни) «высокий» и «средний», поскольку эти уровни могут негативно влиять на урожайность культурных растений. Применение методов семплирования позволило повысить точность предсказаний на этих уровнях в среднем на 9.3% при классификации с помощью одиночный моделей и на 2% на однородных ансамблях. Наибольшую эффективность по точности классификации показал алгоритм градиентного бустинга при семплировании данных с использованием предложенной комбинации методов балансирования классов. Значение AUC составило на тестовой выборке 0.8954, что говорит о высокой точности построенного классификатора.
The article presents research results on methods for addressing class imbalance in agricultural data. The aim of the study is to enhance the classification quality of imbalanced agricultural data using a proposed algorithm. This algorithm utilizes single or homogeneous ensemble classification algorithms with prior class balancing through sampling methods. Using this algorithm allows achieving higher classification accuracy compared to directly applying single classification algorithms to imbalanced data. The proposed algorithm has been implemented in software designed for classifying agricultural indicators, employing a comprehensive set of data mining and machine learning methods. Additionally, an algorithm addressing data imbalance has been proposed and studied, based on a combination of SMOTE and oversampling methods. Computational experiments, conducted on the levels of crop infestation in agricultural fields and their influencing factors, demonstrated that applying sampling algorithms to single classifier models and using ensemble algorithms significantly improves classification accuracy. The suggested combination of sampling methods across all classifiers increased accuracy measures by an average of 3% compared to using SMOTE alone. The optimal solution found for addressing class imbalance in the studied data was oversampling. For predicting levels of crop infestation, the «high» and «medium» classes are particularly crucial due to their potential negative impact on crop yields. Applying sampling methods improved prediction accuracy for these levels by an average of 9.3% using single models and by 2% using homogeneous ensembles. The gradient boosting algorithm showed the highest classification accuracy when using data sampled with the proposed combination of class balancing methods. The AUC value on the test set was 0.8954, indicating high accuracy of the constructed classifier.