Технология повышения качества обучения искусственной нейронной сети в задачах управления объектами дорожно-транспортной инфраструктуры

Технология повышения качества обучения искусственной нейронной сети в задачах управления объектами дорожно-транспортной инфраструктуры

М.И. Булатов, Н.В. Елисеева, В.Е. Петров

Аннотация—Исследование проведено в области машинного обучения с акцентом на повышение качества обучения искусственных нейронных сетей в контексте управления объектами дорожно-транспортной инфраструктуры. Неправильно выбранные параметры обучения искусственной нейронной сети могут привести к ситуациям, в результате которых глобальный минимум не будет достигнут, что негативно скажется на точности сети. Исследования направлены на разработку методов, которые позволяют оптимизировать процесс обучения, основываясь на анализе изменений градиентов весов. Это позволяет повысить точность и надежность нейронной сети в условиях управления транспортными объектами. Предложен алгоритм, основанный на отслеживании активности изменений параметров нейронной сети через анализ изменений градиентов весов. Алгоритм позволяет диагностировать процесс обучения и принимать решения о корректировке параметров с целью оптимизации обучения нейронной сети в задачах управления дорожно-транспортной инфраструктурой. Разработана технология применения искусственных нейронных сетей в управлении дорожно-транспортной инфраструктурой. Проведено исследование алгоритма на наборе данных СГРАК-10. Разработанный алгоритм представляет собой важный инструмент для повышения качества обучения искусственной нейронной сети в задачах управления объектами дорожно-транспортной инфраструктуры. Возможность анализа и корректировки обучения на основе динамики изменений градиентов значительно улучшает эффективность процесса обучения и повышает шансы на достижение необходимых результатов.

Ключевые слова—Алгоритм отслеживания изменений градиентов, Обучение искусственной нейронной сети, Технология повышения качества обучения, Управление объектами дорожно-транспортной.

I. Введение

Развитие интеллектуальных транспортных систем является приоритетным направлением научно-

Статья получена 10 марта 2024.

Булатов Марат Ильясович, аспирант, МГТУ «СТАНКИН», Россия mail: mbulatov625@yandex.ru).

Елисеева Наталья Владимировна, к.т.н., МГТУ «СТАНКИН», Россия (e-mail::n.eliseeva@stankin.ru).

Петров Валерий Евгеньевич, к.т.н., МГТУ «СТАНКИН», Россия mail:v.petrov@stankin.ru).

технического развития Российской Федерации. Высокие темпы развития транспортной сети, рост числа транспортных средств ставят новые задачи повышения эффективности управления, обеспечения доступности и безопасности объектов дорожно-транспортной инфраструктуры.

Нарушения в транспортной инфраструктуре приводят к значительным потерям средств, времени и ресурсов.

В последние годы проблема нарушений в транспортной инфраструктуре стала одним из главных вызовов для органов управления дорожным движением и правопорядка. Распространенные виды нарушений включают превышение скорости, проезд на красный свет, неправильный обгон, агрессивное вождение и использование мобильных устройств во время вождения. Эти нарушения не только увеличивают риск дорожно-транспортных происшествий, но и создают негативное воздействие на безопасность участников дорожного движения и общественное благополучие.

Одним из инструментов интеллектуализации транспортных систем является применение искусственных нейронных сетей, позволяющих системам.

II. Применение искусственных нейронных сетей в управлении дорожно-транспортной

ИНФРАСТРУКТУРОЙ

Одним из инструментов интеллектуализации транспортных систем является применение искусственных нейронных сетей, позволяющих системам предсказывать [1-2] и адаптироваться к изменениям в транспортной инфраструктуре [3-4]. Научные работы в области искусственных нейронных сетей направлены на совершенствование алгоритмов обучения и методов построения сетей для достижения требуемых критериев качества их работы. Одним из таких критериев является ошибка обучения, как оценка разности между требуемым результатом и результатом на выходе работы нейронной сети после обучения.

Работа направлена на повышении качества обучения нейронных сетей в контексте оптимизации процессов управления. В ходе обучения нейронной сети важно эффективно изменять веса сети для минимизации ошибки ее работы. Исследования направлены на разработку методов, которые позволяют оптимизировать процесс

обучения, основываясь на анализе изменений градиентов весов. Это позволяет повысить точность и надежность нейронной сети в условиях управления транспортными объектами [5-6].

Неправильно выбранные параметры обучения искусственной нейронной сети могут привести к ситуациям, в результате которых глобальный минимум не будет достигнут, что негативно скажется на точности сети.

Основанный на значениях градиентов алгоритм позволяет отследить изменение градиента во время процесса обучения.

Работа авторов направлена на повышении качества обучения нейронных сетей в контексте оптимизации процессов управления.

III. Технология применения искусственных

НЕЙРОННЫХ СЕТЕЙ В УПРАВЛЕНИИ ДОРОЖНО-ТРАНСПОРТНОЙ ИНФРАСТРУКТУРОЙ

Важным элементом успешного внедрения нейронных сетей в управление дорожно-транспортной инфраструктурой является правильный выбор и подготовка данных. Нейронные сети требуют качественных и разнообразных данных для обучения, а также тщательного анализа их структуры.

Помимо этого, необходимо уделить особое внимание выбору архитектуры нейронной сети. Различные задачи управления дорожно-транспортной инфраструктурой могут требовать разных типов нейронных сетей и их конфигураций. Правильный выбор архитектуры позволит достичь оптимальных результатов.

В процессе обучения нейронных сетей также необходимо учитывать особенности временных рядов данных, а также специфику типов данных, используемых в управлении дорожно-транспортной инфраструктурой. Это включает в себя работу с географическими данными, трафиком, погодными условиями и другими факторами, оказывающими влияние на дорожное движение.

Для успешного применения нейронных сетей также рекомендуется использовать методы кросс-валидации, что позволит оценить производительность моделей на различных подвыборках данных и сделать выводы о их обобщающей способности.

Наконец, важно учитывать распространенные ошибки и проблемы, с которыми можно столкнуться при использовании нейронных сетей в управлении дорожно-транспортной инфраструктурой, а также предложить рекомендации по их предотвращению.

Описание подходов и рекомендаций для успешного применения нейронных сетей в управлении дорожно-транспортной инфраструктурой:

1. Особое внимание к качеству данных.

Необходимо уделить особое внимание анализу и проверке качества данных, собранных для обучения нейронной сети.

Проведение тщательного анализа данных позволит выявить потенциальные проблемы, такие как аномалии, выбросы и пропущенные значения, и предпринять необ-

ходимые шаги для их исправления.

2. Изучение различных архитектур нейронных сетей.

Изучение различных архитектур нейронных сетей, таких как CNN, RNN, LSTM, позволит выбрать наиболее подходящую для решения задачи управления дорожно-транспортной инфраструктурой.

Исследование специализированных моделей, адаптированных к задачам управления дорожно-транспортной инфраструктурой, может оказаться полезным.

3. Акцент на процессе обучения и валидации модели.

Применение методов кросс-валидации для оценки

производительности модели позволит получить более объективные результаты и обеспечить ее обобщающую способность.

Регулярный мониторинг процесса обучения и анализ метрик помогут избежать переобучения и недообучения модели.

4. Использование методов регуляризации и оптимизации.

Внедрение методов регуляризации, таких как L1 и L2, поможет предотвратить переобучение и повысить обобщающую способность модели.

Экспериментирование с различными оптимизаторами позволит найти наиболее эффективный для конкретной задачи управления дорожно-транспортной инфраструктурой.

5. Постоянное обновление и адаптация модели.

Установка системы мониторинга в реальном времени

и регулярное обновление модели помогут адаптировать ее к изменяющимся условиям и требованиям.

Внедрение новых данных и адаптация модели помогут поддерживать ее актуальность и эффективность.

6. Прозрачность и документация процесса.

Ведение подробной документации о процессе обучения, параметрах модели и результатов экспериментов обеспечит прозрачность и воспроизводимость работы.

Документация позволит лучше понимать принятые решения и облегчит совместную работу в команде.

IV. Требования к обучению искусственной нейронной СЕТИ

В ходе обучения нейронной сети важно эффективно изменять веса сети для минимизации ошибки ее работы. Исследования направлены на разработку методов, которые позволяют оптимизировать процесс обучения, основываясь на анализе изменений градиентов весов. Это позволяет повысить точность и надежность нейронной сети в условиях управления транспортными объектами.

Неправильно выбранные параметры обучения искусственной нейронной сети могут привести к ситуациям, в результате которых глобальный минимум не будет достигнут, что негативно скажется на точности сети.

Основанный на значениях градиентов алгоритм позволяет отследить изменение градиента во время процесса обучения.

A. Типы данных

К задачам управления в транспортной сети относятся задачи мониторинга загруженности пассажирских

транспортных средств, мониторинга парковочных объектов, консолидации данных о возникновении нештатных ситуаций, управление процессами устранения нештатных ситуаций и их последствий.

Основные требования к нейронным сетям для прогнозирования и управления транспортным потоком включают:

1) Способность к обработке больших объемов данных: Нейронные сети должны быть способны эффективно обрабатывать большие объемы данных о транспортном потоке, включая временные ряды и пространственные данные.

2) Умение распознавать сложные закономерности: Транспортные системы могут быть сложными и динамичными, поэтому нейронные сети должны быть способны распознавать сложные закономерности и взаимосвязи в данных.

3) Устойчивость к шуму и изменениям: Транспортные данные могут быть подвержены шумам и изменениям, поэтому нейронные сети должны быть устойчивыми к таким возмущениям и способными обобщать информацию.

4) Способность к адаптации и обучению на ходу: Транспортные системы могут меняться со временем, и нейронные сети должны быть способны адаптироваться к изменяющимся условиям и обучаться на ходу, чтобы оставаться актуальными и эффективными.

В. Временные ряды данных

В контексте управления транспортной инфраструктурой временные ряды данных могут включать в себя различные параметры, которые измеряются и записываются в течение определенного периода времени с целью анализа, прогнозирования и оптимизации работы транспортной системы. Вот некоторые примеры временных рядов данных в этом контексте:

1) Данные о трафике: это включает в себя информацию о количестве транспортных средств, скорости движения, плотности трафика и другие параметры, которые измеряются и записываются на определенных участках дороги в разные временные интервалы (например, каждые 5 минут или каждый час).

2) Информация о состоянии дороги: временные ряды данных также могут включать в себя информацию о состоянии дорожного покрытия, наличии препятствий, аварий, ремонтных работ и других событиях, влияющих на транспортный поток.

3) Данные о работе светофоров и сигнальных систем: это включает временные ряды, отражающие изменения сигналов светофоров, тайминги циклов светофорных систем, информацию о координации светофоров на перекрестках и т. д.

4) Данные о использовании общественного транспорта: временные ряды данных могут также отображать информацию о расписаниях движения общественного транспорта, пассажиропотоке, загруженности маршрутов и другие параметры, связанные с использованием общественного транспорта в разное

время суток и дни недели. 5) Метеорологические данные: данные о погодных условиях, включая температуру, осадки, ветер и другие метеорологические факторы, также могут представлять собой временные ряды данных, которые влияют на транспортную инфраструктуру и движение транспортных средств.

Анализ временных рядов данных в контексте управления транспортной инфраструктурой позволяет выявлять паттерны, прогнозировать изменения в транспортном потоке, оптимизировать работу светофоров и других систем управления транспортом, а также принимать эффективные решения для улучшения транспортной доступности и безопасности.

В работах [1-3] представлены примеры применения нейронных сетей в задачах управления объемами дорожного движения, где они доказали свою применимость и эффективность.

V. АЛГОРИТМ ОБУЧЕНИЯ искусственной нейронной СЕТИ

В текущем виде обучение искусственной нейронной сети очевидно не идеально. Это связано с тем, что нет четкого понимания о том: как правильно выбрать параметры сети; как построить процесс обучения.

Авторы научных трудов формируют методическую базу работы с искусственными нейронными сетями в формате рекомендаций по разработке архитектуры сети в контексте решения различных предметных задач. Однако данные рекомендации носят недостаточно формальный характер. Например, определено, что рекомендацией для работы с изображениями является свёрточный слой, но нет чётких указаний по тому: сколько слоёв должна иметь сеть; сколько фильтров должно быть в каждом из них; какой размер должен быть у этих фильтров; некоторые другие, менее значимые моменты, такие как паддинг, шаг фильтров и прочее [7].

Ещё одним важным моментов является построение процесса обучения сети, потому как даже если сеть правильно организована, но обучения не эффективно, результат также с большой долей вероятности будет неудовлетворительным [8-9].

Предложенный алгоритм направлен на отслеживание динамики изменений параметров искусственной нейронной сети в контексте управления объектами дорожно-транспортной инфраструктуры. Он основывается на анализе изменений градиентов весов, позволяя оптимизировать процесс обучения и повысить точность работы нейронной сети.

А. Описание алгоритма

Цель алгоритма состоит в отслеживании динамики изменения параметров нейронной сети. Это позволяет выявить и скорректировать неравномерность обучения сети, что особенно важно при управлении дорожно-транспортной инфраструктурой. Высокая динамика изменения весов может указывать на проблемы с локальными минимумами функции потерь, требующими

коррекции обучения.

B. Роль градиента в алгоритме

Алгоритм основывается на вычислении значений градиентов весов нейронной сети. Изменение градиента характеризует изменение параметров сети. Зафиксировав изменения градиентов относительно предыдущих итераций, алгоритм обеспечивает более точную оценку изменений весов, что позволяет оптимизировать процесс обучения и избежать проблем с локальными минимумами.

Алгоритм предоставляет возможность

автоматизировать процесс анализа и коррекции параметров обучения, что повышает эффективность и надежность работы нейронной сети в управлении дорожно-транспортной инфраструктурой.

C. Этапы алгоритма

Алгоритм состоит из нескольких этапов, каждый из которых играет важную роль в оценке и корректировке процесса обучения нейронной сети в контексте управления дорожно-транспортной инфраструктурой.

1. Получение и сравнение градиентов.

На этом этапе получаются значения градиентов весов нейронной сети для текущего шага обучения (У^е)).

Градиенты сравниваются с предыдущими значениями (УДО)), вычисляется их разность и модуль для оценки изменений.

I = ^

2. Формирование показателей изменений. Рассчитывается разница между изменениями градиентов текущей и предыдущей итерации.

Это позволяет оценить динамику изменения градиентов весов и определить относительные величины изменений.

с11 =

3. Корректировка средних значений изменений градиентов.

На этом этапе происходит корректировка средних значений изменений градиентов весов нейронной сети.

Средние значения пересчитываются, учитывая текущие изменения градиентов и предыдущие средние значения.

Доли корректировки определяются параметрами к\ и к2, обеспечивая адаптацию к новым значениям градиентов.

УмПМ) = к УмКМ) + к2 УУ

Каждый этап алгоритма играет ключевую роль в обеспечении точности обучения нейронной сети, адаптируя параметры обучения в реальном времени и повышая эффективность управления дорожно-транспортной инфраструктурой.

Б. Корректировка работы алгоритма Выбор градиентов для обработки:

• возможно объединение значений градиента для опти-

мизации процесса;

• группировка градиентов может ускорить работу, но

может негативно сказаться на статистике;

• рекомендуется для слоёв свёртки, где веса фильтров

имеют чёткое разделение. Выбор коэффициентов корректировки средних значений изменений градиентов весов сети:

• корректировка происходит путём суммирования до-

лей текущих и предыдущих значений изменений градиентов;

• рекомендуется выбирать небольшие доли для ста-

бильности алгоритма. Поведение алгоритма в начале работы:

• необходимо определить начальные значения градиен-

тов и среднего изменения градиентов;

• выбор параметров влияет на начальные результаты

работы алгоритма; Выбор сохранения динамики изменений градиентов весов нейронной сети:

• рекомендуется сохранять динамику изменений весов

слоёв и сети в целом.

• детальное сохранение может быть полезным при

наличии вычислительных ресурсов.

Е. Выявленные недостатки алгоритма

Некоторые веса обновляются редко и могут сильно влиять на динамику изменений.

Масштабирование значений градиентов и исключение редко обновляемых весов может решить эту проблему.

VI. Апробация алгоритма

Использован набор данных CIFAR-10, состоящий из 60000 цветных изображений разрешением 32x32 пикселя. В наборе представлено 10 классов, каждый из которых содержит 6000 изображений. Всего 50000 обучающих изображений и 10000 тестовых изображений.

Результаты исследования алгоритма приведены на рис. 1, 2.

V

в £

-а

Ï0

СЁМ

5 е-'

10000 »000 юм» 40000 soooo

Итерации обучения

Рис. 1 Относительное изменение градиентов весов

0 10000 20000 30000 40000 50000

Итерации алгоритма

[10] Y. Nesterov, A method for unconstrained convex minimization problem with the rate of convergence O(1/k2)," Dokl. Akad. Nauk. SSSR, vol. 269, no. 3, p. 543, 1983.

[11] D. Zeiler, ADADELTA: An Adaptive Learning Rate Method. 2012.

[12] P. Kingma, J. Lei, "Adam: a Method for Stochastic Optimization," In 3rd International Conference on Learning Representations ICLR, 2015, pp1-13.

[13] S. P. Bingulac, "On the compatibility of adaptive controllers (Published Conference Proceedings style)," In Proc. 4th Annu. Allerton Conf. Circuits and Systems Theory, New York, 1994, pp. 8-16.

Рис. 2 График ошибки обучения

Наблюдается возрастание активности изменений градиентов нейронной сети. Это может означать попадание в локальный минимум. В данном случае предположение подтвердилось. После преодоления области локального минимума за счёт повышения скорости обучения, ошибку искусственной нейронной сети на тестовой выборке удалось снизить ошибку на 52 процента. Время работы алгоритма при этом составляет 13 процентов от времени вычислений одной итерации обучения.

VII. Заключение

Разработанный алгоритм представляет собой важный инструмент для повышения качества обучения искусственной нейронной сети в задачах управления объектами дорожно-транспортной инфраструктуры. Возможность анализа и корректировки обучения на основе динамики изменений градиентов значительно улучшает эффективность процесса обучения и повышает шансы на достижение необходимых результатов.

Библиография

[1] H.Khelifi; A.Belouahri, "The Impact of Big Data Analytics on Traffic Prediction," In 2022 International Conference on Advanced Aspects of Software Engineering (ICAASE), IEEE, September 2022, pp. 1-6.

[2] J.C. Chedjou, K. Kyamakya, "Cellular neural networks based local traffic signals control at a junction/intersection," In Proceedings of the 1st IFAC Conference on Embedded Systems 2012 (CESCIT-2012), Wurzburg, Germany, 3-5 April, 2012, pp. 81-85.

[3] S. Araghi, A. Khosravi, D. Creighton, "Optimal design of traffic signal controller, using neural networks and fuzzy logic systems," In Proceedings of the International Joint Conference on Neural Networks 2014 (IJCNN), Beijing, China, 6-11 July, 2014, pp. 42-47.

[4] G.B. Castro, J.C. Martini, A. Hirakawa, "Biologically-inspired neural network for traffic signal control," In Proc. of 17th International Conference on Intelligent Transportation Systems 2014 (ITSC), Quingdao, China, 8-11 October, 2014, pp. 2144-2149.

[5] W. Rawat, Z. Wang, "Deep convolutional neural networks for image classification: A comprehensive review," Neural Comp., vol. 29, no. 9, pp. 2352-2449, 2017.

[6] M. Yousef, K. F. Hussain, U. S. Mohammed, "Accurate, data-efficient, unconstrained text recognition with convolutional neural networks," Pattern Recognit., vol. 108, p. 107482, 2020.

[7] Y. Shen, et al., "Learning semantic representations using convolutional neural networks for web search," In WWW '14, 2014, pp. 373374.

[8] P. Yu, X. Yan, "Stock price prediction based on deep neural networks," Neural Comput Appl, vol. 32, no. 6, pp. 1609-1628, 2020.

[9] N. Qian, "On the momentum term in gradient descent learning algorithms," Neural Netw., vol. 12, pp. 145-151, 1999.

Technology for Improving the Quality of Training Artificial Neural Networks in Road Transport Infrastructure Object Management

Tasks

M.I. Bulatov, N.V. Eliseeva, V.E. Petrov

Abstract—The study is conducted in the field of machine learning with a focus on improving the training quality of artificial neural networks in the context of managing road traffic infrastructure objects. Incorrectly chosen training parameters for an artificial neural network can lead to situations in which the global minimum is not reached, which will negatively affect the accuracy of the network. Research is aimed at developing methods that optimize the learning process based on the analysis of changes in weight gradients. This allows you to increase the accuracy and reliability of the neural network in terms of managing transport facilities. The authors propose an algorithm based on tracking the activity of changes in neural network parameters through the analysis of weight gradient variations. This algorithm allows diagnosing the training process and making decisions to adjust parameters aiming at optimizing the neural network training in tasks related to managing road traffic infrastructure. A technology has been developed for the use of artificial neural networks in the management of road transport infrastructure. The algorithm was studied on the CIFAR-10 data set. The developed algorithm is an important tool for improving the quality of training of an artificial neural network in problems of managing road transport infrastructure objects. The ability to analyze and adjust training based on the dynamics of changes in gradients significantly improves the efficiency of the learning process and increases the chances of achieving the required results.

Keywords—Gradient Change Tracking Algorithm, Artificial Neural Network Training, Training Quality Improvement Technology, Road Transport Object Management.

References

[1] H.Khelifi; A.Belouahri, "The Impact of Big Data Analytics on Traffic Prediction," In 2022 International Conference on Advanced Aspects of Software Engineering (ICAASE), IEEE, September 2022, pp. 1-6.

[2] J.C. Chedjou, K. Kyamakya, "Cellular neural networks based local traffic signals control at a junction/intersection," In Proceedings of

the 1st IFAC Conference on Embedded Systems 2012 (CESCIT-2012), Wurzburg, Germany, 3-5 April, 2012, pp. 81-85.

[3] S. Araghi, A. Khosravi, D. Creighton, "Optimal design of traffic signal controller, using neural networks and fuzzy logic systems," In Proceedings of the International Joint Conference on Neural Networks 2014 (IJCNN), Beijing, China, 6-11 July, 2014, pp. 42-47.

[4] G.B. Castro, J.C. Martini, A. Hirakawa, "Biologically-inspired neural network for traffic signal control," In Proc. of 17th International Conference on Intelligent Transportation Systems 2014 (ITSC), Quingdao, China, 8-11 October, 2014, pp. 2144-2149.

[5] W. Rawat, Z. Wang, "Deep convolutional neural networks for image classification: A comprehensive review," Neural Comp., vol. 29, no. 9, pp. 2352-2449, 2017.

[6] M. Yousef, K. F. Hussain, U. S. Mohammed, "Accurate, data-efficient, unconstrained text recognition with convolutional neural networks," Pattern Recognit., vol. 108, p. 107482, 2020.

[7] Y. Shen, et al., "Learning semantic representations using convolutional neural networks for web search," In WWW '14, 2014, pp. 373374.

[8] P. Yu, X. Yan, "Stock price prediction based on deep neural networks," Neural Comput Appl, vol. 32, no. 6, pp. 1609-1628, 2020.

[9] N. Qian, "On the momentum term in gradient descent learning algorithms," Neural Netw., vol. 12, pp. 145-151, 1999.

[10] Y. Nesterov, A method for unconstrained convex minimization problem with the rate of convergence O(1/k2)," Dokl. Akad. Nauk. SSSR, vol. 269, no. 3, p. 543, 1983.

[11] D. Zeiler, ADADELTA: An Adaptive Learning Rate Method. 2012.

[12] P. Kingma, J. Lei, "Adam: a Method for Stochastic Optimization," In 3rd International Conference on Learning Representations ICLR, 2015, pp1-13.

[13] S. P. Bingulac, "On the compatibility of adaptive controllers (Published Conference Proceedings style)," In Proc. 4th Annu. Allerton Conf. Circuits and Systems Theory, New York, 1994, pp. 8-16.

About of authors

Marat I. Bulatov, graduate student, MSTU "STANKIN", Russia (e-mail:

mbulatov625@yandex.ru).

Natalya V. Eliseeva, Ph.D., MSTU "STANKIN", Russia (e-

mail::n.eliseeva@stankin.ru).

Valery E. Petrov, Ph.D., MSTU "STANKIN", Russia (e-mail:

v.petrov@stankin.ru).