METHOD OF REUSE AND EXCHANGE OF EXPERIENCE IN THE COLLECTIVE INTERACTION OF INTELLIGENT AGENTS
Authors: Дубенко Ю.В. 
Published: March 2022

Определены проблемы обмена и воспроизведения опыта, сгенерированного различными агентами, в задаче многоагентного обучения с подкреплением. Кратко рассмотрены другие работы автора статьи в области многоагентного обучения с подкреплением многоагентных систем, а также выводы из этих работ. Определено, что к числу проблем многоагентного обучения с подкреплением относятся проблемы обмена и воспроизведения опыта, сгенерированного различными агентами. Рассмотрена централизованная многоагентная система, основанная на принципах обучения с подкреплением. Описаны виды агентов, которые включает данная система: агент-менеджер, обладающий мощным аппаратным обеспечением, осуществляющий управление группой агентов в рамках реализации обучения с подкреплением для централизованных многоагентных систем, и агент-подчинённый, предназначенный для непосредственного решения практических задач. Приведён стандартный алгоритм обмена опытом между агентами. Предложены решения проблемы приоритета применения опыта, полученного при решении задач различных типов, и проблемы адаптации и применения опыта, формализованного в виде макродействий. Показано, что применение макродействий может обеспечить меньшее время достижения состояния поставленной задачи - выхода агентами из лабиринта, по сравнению со стандартными алгоритмами. Разработана компьютерная модель в среде Unity для проверки эффективности предложенного метода повторного применения имеющегося опыта решения задач, формализованного в виде макродействий, приведены результаты применения этой модели. Представлен подход к «классификации опыта» для интеллектуальных агентов, согласно которому опыт интеллектуального агента может быть разделен на две группы - «элементарный опыт» и «ситуативный опыт»
I determined the problems of exchange and reproduction of experience generated by different agents in the problem of multi-agent reinforcement learning. I briefly considered my other works in the field of multi-agent reinforcement learning and multi-agent systems, as well as conclusions from these works. I determined that among the problems of multi-agent reinforcement learning are the problems of exchange and reproduction of experience generated by different agents. Here I considered a centralized multi-agent system based on the principles of reinforcement learning and described the types of agents that this system includes: an agent-manager with powerful hardware that manages a group of agents as part of the implementation of reinforcement learning for centralized multi-agent systems, and a subordinate agent designed to directly solve practical problems. I give a standard algorithm for the exchange of experience between agents and propose solutions to the problem of the priority of applying experience gained in solving problems of various types and the problem of adapting and applying experience formalized in the form of macro-actions. I show that the use of macro-actions can provide a shorter time to reach the state of the task of exiting the labyrinth by agents compared to standard algorithms. I developed a computer model in the Unity environment to test the effectiveness of the proposed method of re-applying the existing experience in solving problems, formalized in the form of macro-actions, and presented the results of applying this model and an approach to the "classification of experience" for intelligent agents, according to which the experience of an intelligent agent can be divided into two groups - "elementary experience" and "situational experience"