ANALYSIS OF THE APPLICATION OF PARAMETRIC REWARD FUNCTIONS IN REINFORCEMENT LEARNING ALGORITHMS
Authors: Кашко В.В. , Олейникова С.А. , Акинина Ю.С. 
Published: September 2024

объектом исследования являются интеллектуальные шагающие роботы, работающие с помощью алгоритмов обучения с подкреплением. В данных алгоритмах цель задаётся посредствам значений функции вознаграждения, от выбора которой напрямую зависят скорость и результат обучения. Исходя из наличия множества факторов, влияющих на выполнение действий агента, возникает задача подбора каждого параметра, входящего в данную функцию. Данные параметры подбираются, исходя из наилучших с точки зрения лица принимающего решения последствий для агента. Одновременно необходимо принимать решение о стратегии выбора. Исследуются существующие подходы к формированию функции вознаграждения многофакторных систем, выявление проблем, возникающих при выборе «некачественной» функции вознаграждения, анализ применения параметрических функций. Исследование осуществлялось с использованием разработанного приложения, имитирующего действие интеллектуального агента, основанного на обучении с подкреплением с разными функциями вознаграждения. Получение опытных данных производилось с использованием табличного алгоритма Q – обучения на примере симуляции игры «Замёрзшее озеро». Все результаты получены на одних и тех же параметрах алгоритма, но с разными распределениями вознаграждений. Таким образом, проведено экспериментальное исследование, позволяющее сделать выводы о специфике построения функции вознаграждения. Новизна заключается в выработке рекомендаций, позволяющих получить наилучший эффект вознаграждения в алгоритмах обучения с подкреплением

the object of study in this article is intelligent walking robots working using reinforcement learning algorithms. In these algorithms, the goal is set through the values of the reward function, the choice of which directly determines the speed and result of learning. Based on the presence of many factors influencing the execution of the agent’s actions, the task arises of selecting each parameter included in this function. These parameters are selected based on the best consequences for the agent from the point of view of the decision maker. At the same time, it is necessary to decide on the selection strategy. Based on this, the purpose of the work is to study existing approaches to the formation of the reward function of multifactor systems, identify problems that arise when choosing a “low-quality” reward function, and analyze the use of parametric functions. The study was carried out using a developed application that simulates the action of an intelligent agent based on reinforcement learning with different reward functions. Obtaining experimental data was carried out using the tabular Q-learning algorithm using the example of a simulation of the game “Frozen Lake”. All results were obtained using the same algorithm parameters, but with different reward distributions. Thus, an experimental study was conducted that allows us to draw conclusions about the specifics of constructing the reward function. The novelty lies in the development of recommendations to obtain the best reward effect in reinforcement learning algorithms