Применение глубокого обучения с подкреплением в алгоритмической торговле
Authors: Никитин П.В. , Горохова Р.И. , Корчагин С.А. , Красников В.С. 
Published: December 2024

На текущий момент существует большой объем литературы по торговле на бирже. Очевидно, что с каждым годом математическая база работ усложняется вместе с увеличением вычислительной мощности, машины за единицу времени могут обрабатывать больше метрик от года к году и выдавать более точные решения. Применение глубокого обучения уже хорошо зарекомендовало себя, так как применение такого подхода дало качественный скачок в алгоритмической торговле. В статье представлен алгоритм торговли длинными контрактами одним активом на финансовом рынке на языке программирования Python с применением нейронной сети LSTM при помощи библиотеки Keras, который используется в качестве демонстрационного примера по дисциплине «Обучение с подкреплением». Формализовано модель LSTM решает проблему исчезающих градиентов, которая может удерживать градиент целевой функции относительно сигнала состояния. В применении к нашей задаче такое улучшение модели позволяет собирать данные о тех или иных паттернах изменения цены, то есть при предсказании цены следующего шага опираемся не только на данные предыдущего шага, но и на более ранние данные, когда было схожее состояние среды. Коэффициент Шарпа используется для определения оптимальной стратегии и принятия решения в каждый момент времени применения. Определены оптимальный минимальный временной промежуток для работы модели; задержка передачи сигнала от момента изменения ситуации на рынке до приема сигнала моделью, которая будет бесконечно малой, а вычислительную мощность будем считать бесконечно большой. Эти допущения дают право говорить: при изменении ситуации на рынке модель мгновенно готова среагировать и принять решение о продаже, покупке или удержании актива.

At the moment, there is a large volume of literature on exchange trading. Obviously, every year the mathematical base of work is becoming more complicated along with an increase in computing power, machines can process more metrics from year to year and produce more accurate solutions per unit of time. The use of deep learning has already proven itself well, as the application of this approach has given a quantum leap in algorithmic trading. The article presents an algorithm for trading long contracts with one asset in the financial market in the Python programming language using the LSTM neural network using the Keras library, which is used as a demo example in the Reinforcement Learning discipline. The formalized LSTM model solves the vanishing gradient problem, which can hold the gradient of the objective function relative to the state signal. As applied to our problem, such an improvement in the model allows us to collect data on certain patterns of price changes, that is, when predicting the price of the next step, we rely not only on the data of the previous step, but also on earlier data, when there was a similar state of the environment. Sharpe Ratio is used to determine the optimal strategy and make decisions at each time of application. The optimal minimum time period for the model operation has been determined; the signal transmission delay from the moment the market situation changes until the signal is received by the model, which will be infinitely small, and the computing power will be considered infinitely large. These assumptions give the right to say: when the market situation changes, the model is instantly ready to react and make a decision to sell, buy or hold an asset.