REINFORCEMENT LEARNING ALGORITHM FOR DECENTRALIZED MULTI-AGENT SYSTEMS BASED ON EXCHANGE OF EXPERIENCE AND TRAINING OF AGENTS IN RANDOM INTERACTION
Authors: Дубенко Ю.В. , Рудешко Н.А. 
Published: October 2022

Представлен разработанный новый алгоритм обучения с подкреплением для децентрализованных многоагентных систем, основанный на обмене опытом и обучении агентов случайному взаимодействию. Определены основные проблемы многоагентного обучения с подкреплением. Описан класс децентрализованных многоагентных систем, основанных на случайном взаимодействии агентов, которое приводит к возникновению интеллектуального глобального поведения, не контролируемого отдельными агентами. Определена актуальная задача для децентрализованных систем, реализованных на основе парадигмы обучения с подкреплением. Указано, что конечная цель обучения взаимодействию между собой - максимизация среднего подкрепления. Предложены алгоритмы, применение которых ведёт к достижению этой цели, такие как алгоритм обучения агентов случайному взаимодействию, а также алгоритм формирования подгрупп агентов-подчиненных на основе «области видимости» агента-лидера. Для проверки эффективности предложенного алгоритма обучения с подкреплением для децентрализованных многоагентных систем, основанного на обмене опытом и обучении агентов случайному взаимодействию, была выбрана задача поиска агентами выхода из лабиринта. Приведены результаты выполнения алгоритма на модели, разработанной в среде Microsoft Unity. От имеющихся аналогов алгоритм отличается применением способа формирования подгрупп агентов-подчиненных на основании «области видимости» агента-лидера с целью снижения размерности «информационных сообщений» и с учетом аппаратной составляющей агента при реализации обмена опытом
Here we present the developed new reinforcement learning algorithm for decentralized multi-agent systems based on the exchange of experience and training agents for random interaction. We listed the main problems of multi-agent reinforcement learning. We described a class of decentralized multi-agent systems based on random interaction of agents, which leads to the emergence of intelligent global behavior not controlled by individual agents. We defined an urgent task for decentralized systems implemented on the basis of the reinforcement learning paradigm. We indicated that the ultimate goal of learning to interact with each other is to maximize the average reinforcement. We proposed algorithms, the application of which leads to the achievement of this goal, such as the algorithm for training agents in random interaction, as well as the algorithm for forming subgroups of subordinate agents based on the “visibility area” of the leader agent. To test the effectiveness of the proposed reinforcement learning algorithm for decentralized multi-agent systems, based on the exchange of experience and training agents for random interaction, we chose the task of finding agents to exit the maze. We presented the results of the algorithm execution on a model developed in the Microsoft Unity environment. The algorithm differs from the existing analogs by using the method of forming subgroups of subordinate agents based on the “visibility area” of the leader agent in order to reduce the dimension of “information messages” and taking into account the agent’s hardware component when implementing the exchange of experience