Повышение доходности торгового агента на основе метода Q-learning посредством использования производных финансовых показателей
Authors: Гурин А.С. , Гурин Я.С. , Горохова Р.И. , Корчагин С.А. , Никитин П.В. 
Published: December 2024

Повышению доходности торговых агентов уделялось и продолжает уделяться огромное внимание. В статье рассматриваются различные подходы к решению указанной проблемы, одним из которых является обучение с подкреплением активно используемое для решения задач алгоритмической торговли. Повышение эффективности (доходности) алгоритмической торговли возможно двумя способами, с одной стороны, усовершенствование алгоритмов, с другой стороны обогащение данных, которые передаются на вход алгоритмам. В исследовании проведено подтверждение целесообразности применения производных финансовых показателей для задач применения торговых алгоритмов на основе алгоритмов обучения с подкреплением. Основная идея реализации исследования направлена на получение результатов работы торгового агента на основе Q-learning на технических показателях и на производных технических показателях (агент реализован на Python). Проведено обоснование выбора метода Q-learning для решения поставленной задачи, рассмотрены основы принятия решения, политика, стратегия, обучение с подкреплением. В работе рассмотрены вопросы повышения эффективности (доходности) торгового агента на основе алгоритма Q-learning посредством передачи ему производных технических показателей, определены и обоснованы производные технические показатели, проверены результаты работы торгового агента на технических показателях и на производных технических показателях. В исследовании, представленном в статье, проведена эмпирическая проверка возможности создания синтетических финансовых признаков для повышения эффективности алгоритмов обучения, кроме того, проведена проверка получения необходимых результатов при применении алгоритмов обучения с подкреплением. Проведено эмпирическое подтверждение, что применение производных финансовых показателей для повышения эффективности (доходности) торговых агентов на основе метода Q-learning с применением алгоритмов обучения с подкреплением является целесообразным.
Increasing the profitability of sales agents has been and continues to be given great attention. The article discusses various approaches to solving this problem, one of which is reinforcement learning, which is actively used to solve algorithmic trading problems. Increasing the efficiency (profitability) of algorithmic trading is possible in two ways, on the one hand, improving the algorithms, on the other hand, enriching the data that is transmitted to the input to the algorithms. The study confirmed the feasibility of using derived financial indicators for the tasks of applying trading algorithms based on reinforcement learning algorithms. The main idea of ​​the research implementation is aimed at obtaining the results of the sales agent's work based on Q-learning on technical indicators and on derived technical indicators (the agent is implemented in Python). The substantiation of the choice of the Q-learning method for solving the problem is carried out, the basics of decision-making, policy, strategy, and reinforcement learning are considered. The paper considers the issues of increasing the efficiency (profitability) of a sales agent based on the Q-learning algorithm by transferring derivative technical indicators to him, determined and substantiated derived technical indicators, verified the results of a sales agent's work on technical indicators and derived technical indicators. In the study presented in the article, an empirical test of the possibility of creating synthetic financial features to improve the efficiency of learning algorithms was carried out, in addition, the verification of obtaining the necessary results when using reinforcement learning algorithms was carried out. Empirical confirmation has been carried out that the use of derived financial indicators to increase the efficiency (profitability) of sales agents based on the Q-learning method with the use of reinforcement learning algorithms is expedient.