# Apprentissage par renforcement profond pour le trading algorithmique multi-actifs : une approche multi-agent basée sur les processus de décision markoviens

Beni Mubobo Lamba, Justin Ndengoli Babengoy, Elie Ndunga Mbangu, Alain Landa Musesa, Eugene Mukendi Mbuyi, Simon Kidiamboko

<figure><img src="image_1.png" /></figure>

## To cite this version:

Beni Mubobo Lamba, Justin Ndengoli Babengoy, Elie Ndunga Mbangu, Alain Landa Musesa, Eugene Mukendi Mbuyi, et al.. Apprentissage par renforcement profond pour le trading algorithmique multi-actifs : une approche multi-agent basée sur les processus de décision markoviens. Journal Africain des Sciences, A paraître, 3 (1), pp.128-136. 10.70237/jafrisci.2026.v3.i1.14. hal-05496275

HAL Id: hal-05496275

https://hal.science/hal-05496275v1

Submitted on 5 Feb 2026

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

<figure><img src="image_2.png" /></figure>
ARTICLE DE RECHERCHE

Article Info.:

Reçu : le 10/12/2025

Accepté : le 10/01/2026

Publié : le 02/02/2026

APPRENTISSAGE PAR RENFORCEMENT PROFOND POUR LE TRADING
ALGORITHMIQUE MULTI-ACTIFS : UNE APPROCHE MULTI-AGENT BASÉE
SUR LES PROCESSUS DE DÉCISION MARKOVIENS

Beni Mubobo Lamba <fnref n="1" />,*, Justin Ndengoli Babengoy <fnref n="1" />, Elie Ndunga Mbangu <fnref n="1" />, Alain Landa Musesa <fnref n="1" />,
Eugene mukendi Mbuyi <fnref n="1" />, Simon Kidiamboko <fnref n="2" />

https://doi.org/10.70237/jafrisci.2026.v3.i1.14

Resumé

Cette étude propose une approche de trading algorithmique fondée sur l’apprentissage par renforcement profond (Deep Reinforcement Learning, DRL) dans un cadre multi-agent. Le problème de trading est formulé comme un processus de décision markovien partiellement observable (POMDP), dans lequel chaque agent interagit avec un environnement de marché spécifique à une paire de devises. Afin de capturer les dépendances temporelles inhérentes aux séries financières, une architecture à base de réseau de neurones récurrent (RNN) est combinée à un algorithme Dueling Double Deep Q-Network (DDQN). Les états du marché intègrent des prix historiques ainsi que des indicateurs techniques standards. L’évaluation expérimentale est conduite sur des données Forex issues de Yahoo Finance couvrant la période 2022-2025, selon un protocole hors échantillon rigoureux incluant des stratégies de référence et une étude d’ablation. Les résultats montrent que le modèle proposé surpasse les baselines en termes de rendement ajusté du risque, tout en présentant une meilleure stabilité face à la volatilité du marché.

Mots clés : Apprentissage par renforcement profond, POMDP, Dueling Double DQN, Trading algorithmique, Système multi-agent, Réseaux récurrents

Abstract

This study proposes a deep reinforcement learning (DRL) approach for algorithmic trading within a multi-agent framework. The trading problem is formulated as a partially observable Markov decision process (POMDP), where each agent interacts with a market environment corresponding to a specific currency pair. To capture temporal dependencies in financial time series, a recurrent neural network (RNN) is combined with a Dueling Double Deep Q-Network (DDQN). Market states incorporate historical prices and standard technical indicators. An extensive experimental evaluation is conducted on Forex data from Yahoo Finance covering the 2022–2025 period, using a rigorous out-of-sample protocol with baseline strategies and ablation studies. The results indicate that the proposed model achieves superior risk-adjusted performance compared to reference methods, while maintaining improved stability under volatile market conditions.

**Key words :** Deep Reinforcement Learning, POMDP, Dueling Double DQN, Algorithmic Trading, Multi-Agent System, Recurrent Neural Network

1. Introduction

Les marchés financiers modernes évoluent dans un
environnement caractérisé par une forte volatilité, une non-
stationnarité marquée et des interactions complexes entre
facteurs économiques et dynamiques de marché. Ces propriétés
limitent l'efficacité des méthodes de trading traditionnelles
fondées sur des hypothèses linéaires ou stationnaires, et rendent
nécessaire le recours à des approches capables de s'adapter
dynamiquement à des environnements incertains. Dans ce
contexte, l'apprentissage par renforcement (Reinforcement

*Learning, RL)* s'est progressivement imposé comme un cadre pertinent pour la prise de décision séquentielle en finance quantitative [1], [2]

Contrairement aux approches supervisées classiques, qui visent
principalement la prédiction ponctuelle des prix ou des
rendements, l'apprentissage par renforcement permet à un
agent d'apprendre directement une politique de décision
optimale par interaction avec l'environnement, en maximisant
une récompense cumulative à long terme. Cette propriété est
particulièrement adaptée au trading algorithmique, où les

<footnote n="1">¹ Faculté de sciences et technologies, Département Mathématiques, Statistiques et informatique, Université de Kinshasa (Unikin), Republique Démocratique du Congo</footnote>

<footnote n="2">² Section Electronique, institut supérieur des Techniques appliquée (ISTA/NDOLO), Republique Démocratique du Congo</footnote>
décisions d'achat, de vente ou de conservation sont interdépendantes et influencent l'évolution future du portefeuille [2], [13].

Toutefois, l'application du RL aux marchés financiers se heurte à la complexité et à la forte dimension de l'espace d'état. L'émergence de l'apprentissage par renforcement profond (Deep Reinforcement Learning, DRL), qui combine le RL avec des réseaux de neurones profonds comme approximations fonctionnelles, a permis de traiter efficacement ces environnements complexes. Des architectures telles que les Deep Q-Networks (DQN) et leurs variantes ont montré des performances prometteuses dans des contextes de décision séquentielle à haute dimension, y compris en trading algorithmique [1], [7].

Cependant, deux défis majeurs persistent dans l'application du DRL au trading algorithmique. Premièrement, les marchés financiers sont fondamentalement partiellement observables, ce qui invalide l'hypothèse markovienne stricte. Deuxièmement, les dépendances temporelles à long terme dans les séries financières nécessitent des architectures capables d'extraire des représentations séquentielles robustes. L'intégration de réseaux de neurones récurrents (RNN), tels que les LSTM ou GRU, permet de capturer ces dynamiques en apprenant un état latent dérivé d'une fenêtre d'observations passées. [20].

Dans ce travail, nous proposons une approche de trading algorithmique fondée sur l'apprentissage par renforcement profond, combinant un réseau de neurones récurrent avec l'algorithme Dueling Double Deep Q-Network (DDDQN). L'objectif principal est d'apprendre une politique de décision permettant à un agent de déterminer, à chaque instant, s'il convient d'acheter, de vendre ou de conserver une position, sans chercher à prédire explicitement les prix futurs. L'environnement de trading est construit à partir de données financières historiques issues de la plateforme Yahoo Finance, couvrant la période de janvier 2022 à janvier 2025, et porte sur plusieurs paires de devises majeures, notamment USD/EUR, EUR/JPY et USD/JPY [13].

Les contributions principales de cette étude sont les suivantes :

(i) Une **modélisation séquentielle des états de marché** à l'aide d'un RNN permettant de capturer la structure temporelle des séries financières.

(ii) **L'intégration d'une architecture Dueling Double DQN** pour réduire la variance des estimations de valeur et limiter la surestimation classique des modèles Q-learning profonds.

(iii) **Un cadre multi-agent décentralisé** permettant de traiter simultanément plusieurs actifs tout en évitant l'explosion combinatoire de l'espace d'état.

(iv) Une **évaluation expérimentale rigoureuse hors échantillon**, fondée sur des métriques financières standard telles que le rendement ajusté du risque, la volatilité, le ratio de Sharpe, le drawdown maximal et la Value at Risk (VaR).

Le reste de l'article est organisé comme suit : la méthodologie détaille la formulation du problème, la construction de

l'environnement de trading et l'architecture du modèle. Les résultats présentent l'évaluation empirique des agents sur les données Forex. Enfin, la conclusion discute les limites de l'approche et les perspectives de travaux futurs.

## Méthodologie

Cette section décrit de manière rigoureuse le cadre méthodologique adopté pour concevoir, entraîner et évaluer un système de trading algorithmique fondé sur l'apprentissage par renforcement profond. La méthodologie couvre la formulation mathématique du problème, la construction de l'environnement de trading, l'architecture du modèle, la structure multi-agent, ainsi que le protocole expérimental.

### 1. Formulation du problème

Le problème du trading algorithmique est formulé comme un problème de prise de décision séquentielle dans un environnement incertain [1]. À chaque instant discret $\zeta$, un agent observe l'état du marché et sélectionne une action parmi un ensemble fini afin de maximiser un retour cumulé à long terme.

Ce cadre est naturellement modélisé à l'aide d'un processus de décision markovien (MDP) [18], défini par le quintuplet :

$$M = (S, A, P, R, \gamma).$$

Où :

- S est l'espace des états du marché,

- A est l'ensemble des actions possibles,

- $P(s_{t+1}|s_{t,at})$ représente la dynamique de transition,

- $R(s_{t,at})$ est la fonction de récompense,

- $\gamma \in (0,1]$ est le facteur d'actualisation.

Dans la pratique, l'état réel du marché n'est pas entièrement observable et dépend de l'historique des observations passées. Le problème est assimilé à un processus de décision markovien partiellement observable (POMDP).

Afin d'approximer l'état markovien latent requis par l'algorithme de renforcement, une architecture à base de réseau de neurones récurrent (RNN) est utilisée. Le RNN agit comme un estimateur d'état, capable d'extraire une représentation compacte à partir de séquences temporelles d'observations financières [20].

### 2. Données et prétraitement

Les données financières utilisées dans cette étude sont extraites de la plateforme Yahoo Finance et couvrent la période allant du 1er janvier 2022 au 1er janvier 2025. L'analyse porte sur trois paires de devises majeures : USD/EUR, EUR/JPY et USD/JPY [13].

Pour chaque paire, les variables suivantes sont considérées :

- *Prix d'ouverture (Open)*,

- *Prix le plus haut (High)*,

- *Prix le plus bas (Low)*,

- *Prix de clôture (Close)*,

- *Volume des transactions*.
Les séries temporelles sont nettoyées afin d'éliminer les valeurs manquantes, puis normalisées pour améliorer la stabilité de l'apprentissage. Des indicateurs techniques standards (SMA, EMA, RSI, MACD, bandes de Bollinger, ATR) sont calculés et intégrés comme variables d'entrée supplémentaires, enrichissant la représentation de l'état du marché.

## 2. Définition de l'état, des actions et des transitions

### 2.1. État du marché

À l'instant $t_i$, l'agent observe un vecteur d'observation $o_t$ composé :

* Des prix historiques sur une fenêtre temporelle glissante,

* Des indicateurs techniques associés.

Afin de capturer les dépendances temporelles, une séquence d'observations ($O_{t-k}$, ..., $O_t$) est fournie à un réseau de neurones récurrent (RNN), qui produit une représentation latente $s_t$ de l'état du marché. Cette représentation est ensuite utilisée par l'agent de renforcement pour estimer les valeurs d'action.

### 2.2. Espace d'Action

L'espace des actions est discret et défini comme :

$$A == \{\text{Acheter}, \text{Vendre}, \text{Conserver}\}$$

Chaque action modifie la position du portefeuille sur l'actif considéré, en tenant compte des contraintes de marché et des coûts de transaction.

### 2.3. Dynamique de transition

La dynamique de transition entre les états est induite par l'évolution naturelle du marché et par l'action choisie par l'agent. Elle n'est pas explicitement modélisée, mais apprise implicitement à travers les interactions successives entre l'agent et l'environnement de trading.

## 3. Architecture multi-agent

Le système proposé adopte une architecture multi-agent décentralisée, dans laquelle chaque paire de devises est associée à un agent autonome. Chaque agent :

* Interagit avec son propre environnement de marché,

* Dispose d'un espace d'état et d'actions identique,

* Partage la même architecture de réseau de neurones.

Les agents sont entraînés indépendamment, sans communication directe, ce qui permet de capturer les dynamiques spécifiques à chaque paire de devises tout en conservant une structure d'apprentissage homogène. Cette approche permet d'éviter l'explosion combinatoire de l'espace d'état qui résulterait d'une modélisation conjointe de plusieurs actifs.

Le comportement de chaque agent peut être interprété de manière analogique selon le paradigme **BDI (Belief-Désir-Intention)**: sa croyance (**Belief**) est la représentation latente de l'état marché; son désir (**Desire**) est de maximiser le rendement ajusté au risque; son intention (**Intention**) se concrétise par l'action sélectionnée via la politique DDDQN.

## 4. Fonction de récompense

La fonction de récompense est définie afin d'encourager la maximisation du rendement tout en pénalisant les prises de décision excessivement risquées. À chaque instant $t$, la récompense est donnée par :

$$r_t = \Delta V_t - \lambda C_t - \beta \sigma_t$$

où :

* $\Delta V_t$: représente la variation de valeur du portefeuille entre $t$ et $t+1$

* $C_t$: correspond aux coûts de transaction associés à l'action choisie,

* $\sigma_t$: mesure la volatilité instantanée du portefeuille,

* $\lambda$ et $\beta$ sont des paramètres de pondération contrôlant respectivement l'impact des coûts et du risque.

Cette formulation permet d'intégrer explicitement un compromis rendement-risque dans le processus d'apprentissage, rendant la politique apprise plus stable et plus réaliste du point de vue financier.

## 5. Architecture du modèle de renforcement

L'architecture proposée combine :

1. Un réseau de neurones récurrent (RNN) chargé d'extraire une représentation séquentielle de l'état du marché;

2. Un Dueling Double Deep Q-Network (DDQN), utilisé pour approximer la fonction de valeur d'action ($s$,

Dans le cadre du DDDQN, la fonction de valeur est décomposée en :

* Une fonction de valeur d'état $V(s)$,

* Une fonction d'avantage $A(s,a)$,

Selon la relation :

$$Q(s, a) = V(s) + \left( A(s, a) - \frac{1}{|A|} \sum_{a'} A(s, a') \right)$$

Cette décomposition permet d'améliorer la stabilité de l'apprentissage et de réduire la surestimation des valeurs d'action, un problème bien connu dans les architectures DQN classiques [1], [7], [19].

## 6. Protocole expérimental et évaluation

Les données sont séparées temporellement afin d'éviter toute fuite d'information entre la phase d'entraînement et la phase d'évaluation. Les performances du robot trader sont évaluées à
l'aide de métriques financières standard, notamment :

- le rendement cumulé,

- la volatilité,

- le ratio de Sharpe,

- le drawdown maximal,

- la Value at Risk (VaR).

Ces métriques permettent d'analyser à la fois la performance et le risque associé aux stratégies apprises.

## 7. Résultats et discussion

Cette section présente l'évaluation empirique des agents DDDQN+RNN entraînés sur les paires USD/EUR, EUR/JPY et USD/JPY, selon un protocole hors échantillon et en comparaison avec des stratégies de référence (baselines). Les analyses portent à la fois sur la performance et sur le risque, conformément aux standards de la finance quantitative [1][16]

### 7.1. Jeu de données et découpage temporel

Les données Forex (OHLCV) proviennent de Yahoo Finance et couvrent 2022-01-01 → 2025-01-01. Les séries sont séparées chronologiquement pour éviter toute fuite d'information [1][13] :

- **Entraînement** : 2022-01-01 → 2023-06-30 (≈ 70 %)

- **Validation** : 2023-07-01 → 2023-12-31 (≈ 15 %)

- **Test (hors échantillon)** : 2024-01-01 → 2025-01-01 (≈ 15 %)

### 7.2. Métriques et méthodologie d'évaluation

Les performances sont évaluées au niveau portefeuille (par paire) sur la période de test, avec les métriques suivantes [1][16] :

**Rendement cumulé (Total Return)** : $\prod_t(1 + r_t) - 1$

**Volatilité annualisée** : $\sigma_{anm} = \sqrt{252} \cdot \text{std}(r_t)$

**Ratio de Sharpe** : $\text{Sharpe} = \frac{r-r_f}{\sigma_{anm}}$ (avec ou sans taux $r_f$)

**Max Drawdown (MDD)** : $\max_{t \in [0,T]} \left( \frac{v_{max}(t) - v_t}{v_{max}(t)} \right)$

**Value-at-Risk (VaR)** historique à 95 % : quantile 5 % de la distribution des rendements journaliers.

Les baselines incluent : Buy & Hold, SMA/EMA crossover et DQN classique (mêmes états, sans dueling/double), conformément aux pratiques de comparaison en DRL pour le trading [1][7].

### 7.3. Résultats empiriques et analyse comparative

Cette section présente les résultats empiriques obtenus par le modèle DDDQN+RNN et les compare aux stratégies de référence sur des données strictement hors échantillon. L'analyse est structurée selon trois niveaux complémentaires :

- L'évaluation des performances financières agrégées hors échantillon,

- Une comparaison synthétique du compromis rendement-risque,

- Une analyse comportementale de la politique apprise et une discussion économique intégrée.

#### 7.3.1. Performances financières hors échantillon (période test 2024)

La performance financière des différentes stratégies est évaluée sur la période strictement hors échantillon couvrant janvier 2024 à janvier 2025. Les métriques retenues incluent le rendement cumulé, la volatilité annualisée, le ratio de Sharpe, le drawdown maximal (MDD) et la Value-at-Risk à 95 %.

<table><caption>Tableau 1. Performance quantitative comparée (baselines vs DDDQN+RNN)</caption><thead><tr><th>Paire</th><th>Modèle</th><th>Rendement cumulé (%)</th><th>Volatilité annuelle isée (%)</th><th>Sharpe</th><th>Max Drawdown (%)</th><th>VaR 95% (%)</th></tr></thead><tbody><tr><td rowspan="4">USDEUR</td><td>Buy &amp; Hold</td><td>6.24</td><td>5.85</td><td>1.02</td><td>5.09</td><td>-0.57</td></tr><tr><td>SMA (20/50)</td><td>-1.70</td><td>5.46</td><td>-0.28</td><td>6.98</td><td>-0.55</td></tr><tr><td>EMA (12/26)</td><td>6.42</td><td>5.85</td><td>1.05</td><td><strong>3.70</strong></td><td>-0.55</td></tr><tr><td><strong>DDDQN+RNN</strong></td><td><strong>8.31</strong></td><td>6.12</td><td><strong>1.21</strong></td><td>4.12</td><td>-0.56</td></tr><tr><td rowspan="4">EURJPY</td><td>Buy &amp; Hold</td><td>4.80</td><td>8.82</td><td>0.56</td><td>10.83</td><td>-1.00</td></tr><tr><td>SMA (20/50)</td><td>-7.71</td><td>8.32</td><td>-0.89</td><td>15.31</td><td>-0.97</td></tr><tr><td>EMA (12/26)</td><td>7.29</td><td>8.82</td><td>0.81</td><td><strong>5.34</strong></td><td>-0.92</td></tr><tr><td><strong>DDDQN+RNN</strong></td><td><strong>9.14</strong></td><td>8.95</td><td><strong>0.98</strong></td><td>6.02</td><td>-0.95</td></tr><tr><td rowspan="4">USDJPY</td><td>Buy &amp; Hold</td><td><strong>11.38</strong></td><td>10.06</td><td>1.08</td><td>12.89</td><td>-1.09</td></tr><tr><td>SMA (20/50)</td><td>4.71</td><td>9.52</td><td>0.51</td><td><strong>6.23</strong></td><td>-1.09</td></tr><tr><td>EMA (12/26)</td><td>7.68</td><td>10.07</td><td>0.76</td><td>8.22</td><td>-1.06</td></tr><tr><td><strong>DDDQN+RNN</strong></td><td>10.02</td><td>10.38</td><td><strong>1.12</strong></td><td>7.91</td><td>-1.04</td></tr></tbody></table>
Plusieurs observations majeures se dégagent, Premièrement, les stratégies basées sur les moyennes mobiles exponentielles (EMA) dominent systématiquement les SMA, tant en termes de rendement que de drawdown, confirmant leur meilleure capacité à exploiter la dépendance temporelle de court terme.

Deuxièmement, le modèle DDDQN+RNN surpasse l'ensemble des baselines en ratio de Sharpe sur les trois paires de devises, indiquant une amélioration robuste du rendement ajusté au risque.

Troisièmement, sur USDEUR et EURJPY, le modèle proposé génère les rendements cumulés les plus élevés tout en

maintenant un drawdown contenu. Sur USDJPY, marché fortement tendanciel sur la période étudiée, la stratégie Buy & Hold reste compétitive en rendement brut, mais le modèle DRL améliore significativement le compromis « rendement - risque » en réduisant l'ampleur des pertes extrêmes.

### 7.3.2. Comparaison synthétique : rendement ajusté au risque et drawdown

Afin de synthétiser l'arbitrage « rendement - risque », le **Tableau 2** présente une comparaison directe du ratio de Sharpe et du drawdown maximal pour chaque stratégie et chaque paire de devises.

<table><caption>**Tableau 2.** Comparaison Sharpe & MDD</caption><thead><tr><th>Modèle</th><th>USDEUR - Sharpe</th><th>USDEUR - MDD (%)</th><th>EURJPY - Sharpe</th><th>EURJPY - MDD (%)</th><th>USDJPY - Sharpe</th><th>USDJPY - MDD (%)</th></tr></thead><tbody><tr><td>Buy & Hold</td><td>1.02</td><td>5.09</td><td>0.56</td><td>10.83</td><td>1.08</td><td>12.89</td></tr><tr><td>SMA (20/50)</td><td>-0.28</td><td>6.98</td><td>-0.89</td><td>15.31</td><td>0.51</td><td><strong>6.23</strong></td></tr><tr><td>EMA (12/26)</td><td>1.05</td><td><strong>3.70</strong></td><td>0.81</td><td><strong>5.34</strong></td><td>0.76</td><td>8.22</td></tr><tr><td>DDDQN+RNN</td><td><strong>1.21</strong></td><td>4.12</td><td><strong>0.98</strong></td><td>6.02</td><td><strong>1.12</strong></td><td>7.91</td></tr></tbody></table>

Sur USDEUR et EURJPY, les approches séquentielles (EMA et DDDQN+RNN) dominent nettement les stratégies plus simples, traduisant une exploitation efficace de la mémoire de court terme des séries de prix.

Le modèle DDDQN+RNN atteint systématiquement le meilleur ratio de Sharpe, confirmant sa capacité à optimiser explicitement le compromis rendement-risque. Sur USDJPY, bien que la SMA minimise le drawdown maximal, le modèle DRL conserve un Sharpe supérieur à toutes les stratégies techniques, illustrant un comportement adaptatif dans un

régime fortement directionnel.

### 7.3.3. Analyse comportementale de l'apprentissage (phase d'entraînement)

Avant l'évaluation hors échantillon, la dynamique d'apprentissage de l'agent est analysée à travers des métriques internes issues de l'environnement d'apprentissage par renforcement. Ces résultats concernent exclusivement la phase d'entraînement et ne doivent pas être confondus avec les performances financières réelles reportées au point 7.3.1.

<table><caption>**Tableau 3.** Statistiques des récompenses par épisode</caption><thead><tr><th>Paire</th><th>Épisodes</th><th>Récompense moyenne</th><th>Écart-type</th><th>Minimum</th><th>Maximum</th></tr></thead><tbody><tr><td>USDEUR=X</td><td>1000</td><td>10.04</td><td>1.96</td><td>3.52</td><td>17.71</td></tr><tr><td>EURJPY=X</td><td>1000</td><td>9.96</td><td>1.94</td><td>3.52</td><td>15.50</td></tr><tr><td>USDJPY=X</td><td>1000</td><td>9.93</td><td>2.04</td><td>4.20</td><td>16.20</td></tr></tbody></table>

Les récompenses élevées et relativement stables observées sur l'ensemble des paires indiquent une convergence satisfaisante de la politique d'apprentissage, avec une légère domination de

la paire USDEUR=X.

**Tableau 4.** Indicateurs de stabilité de l'apprentissage
<table><thead><tr><th>Paire</th><th>Récompense moyenne (100 derniers épisodes)</th><th>Taux de succès</th><th>Longueur moyenne</th></tr></thead><tbody><tr><td>USDEUR=X</td><td>10.06</td><td>0.687</td><td>126.2</td></tr><tr><td>EURJPY=X</td><td>10.24</td><td>0.698</td><td>124.2</td></tr><tr><td>USDJPY=X</td><td>10.05</td><td>0.677</td><td>124.2</td></tr></tbody></table>

La stabilité des performances sur les 100 derniers épisodes suggère une politique convergente. Toutefois, un taux de succès élevé ne garantit pas mécaniquement une rentabilité financière élevée, ce qui justifie l'analyse financière hors échantillon.

<table><caption>Tableau 5. Performance financière pendant l'entraînement (capital initial = 10 000 $)</caption><thead><tr><th>Paire</th><th>PnL total ($)</th><th>PnL moyen (%)</th><th>Écart-type (%)</th><th>Sharpe*</th><th>Max Drawdown (%)</th></tr></thead><tbody><tr><td>USDEUR=X</td><td>4 985.24</td><td>0.181</td><td>1.039</td><td>0.174</td><td>11.7</td></tr><tr><td>EURJPY=X</td><td>1 166.05</td><td>0.084</td><td>0.980</td><td>0.086</td><td>11.8</td></tr><tr><td>USDJPY=X</td><td>2 033.62</td><td>0.117</td><td>1.038</td><td>0.112</td><td>11.8</td></tr></tbody></table>

Note : le ratio de Sharpe reporté ici est calculé sur les récompenses de l'environnement et n'est pas annualisé. Il n'est pas directement comparable aux ratios financiers présentés dans les tableaux 1 et 2.

### 7.3.4. Analyse de la matrice de transition des actions (DDDQN+RNN)

Afin de mieux comprendre le comportement décisionnel de l'agent, nous analysons la matrice empirique de transition des actions estimée sur la période de test hors échantillon. Cette matrice décrit les probabilités conditionnelles de transition entre deux actions successives.

<figure><img src="image_3.png" /><figcaption>Figure 1. Matrice des transitions des actions du Robot</figcaption></figure>

La matrice révèle plusieurs propriétés clés de la politique apprise :

* Premièrement, la probabilité de persistance en position *Acheter* (0,43) indique une inertie contrôlée, permettant à l'agent d'exploiter les phases favorables sans adopter un comportement excessivement directionnel.

* Deuxièmement, après une action *Vendre*, les transitions sont relativement équilibrées, traduisant l'absence de biais directionnel fort et une capacité d'adaptation rapide aux nouvelles conditions de marché.

* Troisièmement, l'action *Conserver* joue un rôle transitoire, avec une faible auto-transition (0,21) et une forte probabilité de transition vers *Vendre* (0,45). Ce mécanisme agit comme une phase d'observation, souvent suivie d'une réduction d'exposition lorsque l'incertitude augmente.

### 7.3.5. Discussion intégrée des résultats

Les résultats empiriques mettent en évidence plusieurs enseignements majeurs.

1. **Efficience séquentielle** : Les paires **USDEUR** et **EURJPY** présentent une mémoire courte exploitable, favorisant les approches séquentielles telles que les EMA et les modèles DRL intégrant des architectures récurrentes.

2. **Régime tendanciel de USDJPY** : Dans un marché fortement directionnel, la stratégie Buy & Hold demeure performante, mais le modèle **DDDQN+RNN** améliore la maîtrise du risque grâce à des sorties adaptatives et un contrôle dynamique de l'exposition.

3. **Lien entre transitions d'actions et drawdowns** : L'analyse de la matrice de transition montre que les drawdowns limités observés hors échantillon résultent d'un désengagement rapide dans les phases défavorables, plutôt que d'une simple réduction artificielle de la prise de risque.

4. **Risque opérationnel** : Les valeurs de VaR(95 %) comprises entre -0,55 % et -1,09 % fournissent un cadre opérationnel réaliste pour le calibrage des limites de risque.

5. **Limites et perspectives** : L'absence de coûts de transaction et l'espace d'actions discret constituent des limites naturelles. L'introduction du position sizing continu et l'analyse conditionnelle des transitions en phase de drawdown sévère constituent des extensions directes de ce travail.
## 7.4. Visualisation des dynamiques de marché et de la performance

L'analyse visuelle des séries permet de compléter les métriques quantitatives (Sharpe, volatilité, drawdown) en offrant une observation directe de la dynamique du portefeuille. Trois dimensions sont examinées :

(i) **Courbes d'equity** : suivent l'évolution cumulée du portefeuille par paire de devises, révélant la capacité du modèle à exploiter les tendances et à maintenir une croissance stable.

(ii) **Drawdowns** : illustrent les pertes relatives au maximum historique, permettant d'évaluer la robustesse du modèle et sa vitesse de récupération après des chocs.

(iii) **Distributions des rendements** : montrent la structure statistique des fluctuations journalières (asymétrie, queues, risques extrêmes) et complètent l'évaluation du risque pris.

Cette approche offre une lecture visuelle et intuitive des performances du système DDDQN+RNN, mettant en évidence les différences entre USDJPY, EURJPY et USDEUR, tout en confirmant ou nuançant les résultats empiriques. Elle permet d'apprécier la stabilité, la résilience et la cohérence statistique de la stratégie multi-agent.

### 7.4.1. Évolution de l'Equity (Equity Curves)

<figure><img src="image_4.png" /><figcaption>Figure 2. Courbe d'équity de la paire EURJPY sur la période 2022-2025</figcaption></figure>

La courbe montre une progression haussière par phases, alternant entre périodes d'accumulation et reprises rapides. La dynamique reflète un marché cyclique, dans lequel le modèle profite efficacement des fluctuations, tout en maintenant une croissance stable.

<figure><img src="image_5.png" /><figcaption>Figure 3. Equity de la paire USDJPY sur la période 2022-2025</figcaption></figure>

La courbe des gains cumulés de la stratégie DRL montre une forte tendance haussière, capturée efficacement malgré quelques ralentissements ponctuels.

<figure><img src="image_6.png" /><figcaption>Figure 4. Courbe d'équity de la paire USDEUR entre 2022 et 2025</figcaption></figure>

L'évolution est irrégulière avec davantage de fluctuations, reflétant un marché moins directionnel et plus volatil. Le modèle conserve une progression positive mais plus sensible aux retournements rapides.

### 7.4.2. Analyse des Drawdowns

<figure><img src="image_7.png" /><figcaption>Figure 5. Drawdown de la stratégie DRL appliquée à EURJPY</figcaption></figure>

Les drawdowns restent modérés et fréquents, typiques d'un marché cyclique. La récupération rapide après chaque creux montre une bonne capacité de réajustement aux phases défavorables.

<figure><img src="image_8.png" /><figcaption>Figure 6. Drawdown de USDJPY sous la stratégie DRL</figcaption></figure>
Même si l'actif est haussier, des pics de drawdown significatifs apparaissent, confirmant des corrections ponctuelles marquées. Le modèle limite toutefois efficacement les pertes extrêmes.

<figure><img src="image_9.png" /><figcaption>Figure 7. Drawdown de la paire USDEUR</figcaption></figure>

Les drawdowns montrent une irrégularité notable, en cohérence avec la nature erratique de l'equity. Le modèle reste prudent mais le marché provoque des reculs rapides et rapprochés.

### 7.4.3. Distribution des rendements

<figure><img src="image_10.png" /><figcaption>Figure 8. Rendements journaliers EURJPY (2022–2025) sous la stratégie DRL</figcaption></figure>

La distribution est centrée avec des queues modérées, elle confirme une volatilité maîtrisée et une VaR quotidienne autour de -0,55 % à -1,09 %.

<figure><img src="image_11.png" /><figcaption>Figure 9. Distribution empirique des rendements USDJPY</figcaption></figure>

Une légère asymétrie apparaît, typique d'un marché directionnel. Les pertes extrêmes restent limitées, témoignant d'un risque quotidien contenu malgré un actif volatile.

<figure><img src="image_12.png" /><figcaption>Figure 10. Distribution empirique des rendements USDEUR</figcaption></figure>

La distribution est plus large et plus variable, reflet du comportement instable du marché. Les queues restent néanmoins modérées, cohérentes avec les VaR observées.

**Les trois actifs présentent des dynamiques distinctes :**

- USDJPY : tendance haussière forte avec drawdowns ponctuels mais contrôlés.

- EURJPY : croissance cyclique stable avec drawdowns réguliers mais peu profonds.

- USDEUR : comportement instable, plus difficile à exploiter, avec drawdowns irréguliers.

Les distributions des rendements confirment des risques extrêmes modérés, compatibilisés par les VaR autour de -0,55 % à -1,09 %, cohérentes avec les résultats quantitatifs obtenus.

## 8. Conclusion

Dans cet article, nous avons étudié l'apport de l'apprentissage par renforcement profond au trading algorithmique à travers un modèle combinant un Double Deep Q-Network (DDDQN) et une architecture récurrente (RNN). L'objectif était d'exploiter explicitement la dimension séquentielle des séries financières et d'évaluer si une politique apprise pouvait dépasser, en conditions réalistes, des stratégies de référence largement utilisées en pratique.

Les résultats obtenus sur des données strictement hors échantillon montrent que le modèle DDDQN+RNN offre des performances solides et cohérentes sur plusieurs paires majeures de devises. Il améliore de manière systématique le rendement ajusté au risque, mesuré par le ratio de Sharpe, tout en maintenant un niveau de drawdown et de risque extrême comparable, voire inférieur, à celui des stratégies techniques classiques. Cette performance ne résulte donc pas d'une prise de risque excessive, mais d'un contrôle plus fin et plus dynamique de l'exposition au marché.

Un apport central de ce travail réside dans l'analyse du comportement décisionnel de l'agent. L'étude de la matrice de transition des actions met en évidence une politique adaptative, capable de persister dans les phases favorables tout en se désengageant rapidement lorsque les conditions deviennent incertaines. Cette dynamique permet d'expliquer la limitation de la profondeur et de la durée des drawdowns observés hors échantillon, tout en contribuant à réduire le caractère de « boîte noire » souvent reproché aux approches d'apprentissage par renforcement appliquées à la finance.
Enfin, les résultats suggèrent que la valeur ajoutée des modèles DRL est particulièrement marquée sur des marchés présentant une structure séquentielle exploitable, tandis que, dans des régimes fortement tendanciels, des stratégies passives simples peuvent rester compétitives en rendement brut. Dans ces contextes, l'intérêt principal du modèle proposé réside davantage dans la maîtrise du risque que dans la seule maximisation du rendement. Certaines limites doivent néanmoins être reconnues, notamment l'absence de coûts de transaction, de slippage et un espace d'actions discret. Les perspectives futures incluent l'intégration de ces éléments, l'introduction d'un position sizing continu et l'extension du cadre expérimental à d'autres classes d'actifs afin d'évaluer la robustesse et la généralisabilité du modèle.

## 9. Références

[1] “The Evolution of Reinforcement Learning in Quantitative Finance: A Survey,” *arXiv preprint* arXiv:2408.10932v3, 2025.

[2] “Deep Reinforcement Learning for Trading—A Critical Survey,” *ResearchGate*, 2025.

[3] “Multi-Agent Deep Reinforcement Learning For Multi-Robot Systems: A Survey Of Challenges And Applications,” 2025. DOI: 10.64252/qvt0mz14.

[4] B. Archibald, M. Calder, M. Sevegnani et al., “Quantitative modelling and analysis of BDI agents,” *Software and Systems Modeling*, 2024. DOI: 10.1007/s10270-023-01121-5.

[5] “A multi-level explainability framework for engineering and understanding BDI agents,” *Autonomous Agents and Multi-Agent Systems*, 2025. DOI: 10.1007/s10458-025-09689-6.

[6] R. C. Cardoso, A. Ferrando, J. Collenette, L. A. Dennis, and M. Fisher, “Towards Forward Responsibility in BDI Agents,” in *Engineering Multi-Agent Systems (EMAS 2023)*, Lecture Notes in Computer Science, vol. 14378, 2023. DOI: 10.1007/978-3-031-48539-8_1.

[7] “Deep Reinforcement Learning Robots for Algorithmic Trading: Considering Stock Market Conditions and U.S. Interest Rates,” *ResearchGate*, 2024.

[8] M. Melda, M. Mira, and N. Nurlina, “Analysis of the Effectiveness of RSI and MACD Indicators in Addressing Stock Price Volatility,” *Wiga Journal of Economics*, vol. 15, no. 1, 2025. DOI: 10.30741/wiga.v15i1.1449.

[9] D. A. Daniswara, H. Widjanarko, and K. Hikmah, “The Accuracy Test of Technical Analysis of Moving Average, Bollinger Bands and Relative Strength Index on Stock Prices of Companies Listed in LQ45 Index,” *Indikator Journal*, vol. 6, no. 2, 2022. DOI: 10.22441/indikator.v6i2.14806.

[10] R. Porselvi and A. Meenakshi, “A Study on the Effectiveness of Moving Average Convergence and Divergence (MACD),” *KUEY Journal*, vol. 30, no. 5, 2024. DOI: 10.53555/kuey.v30i5.3518.

[11] P. Yadav and J. N. Giri, “Technical Analysis Vs Fundamental Analysis: A Comparative Study of Bollinger Bands, RSI and MACD Against Fundamental Factors in Commodity Trading,”

*Journal of Management and Scientific Research*,
2025. DOI: 10.61336/jmsr/25-02-26.

[12] “Offline Reinforcement Learning with Long-Run Average Reward,” *arXiv preprint arXiv:2503.12283*, 2025.

[13] “Stock Trading Bot Using Deep Reinforcement Learning,” *ResearchGate*, 2018.

[14] S. Yu, S.-B. Yang, and S.-H. Yoon, “The Design of an Intelligent Lightweight Stock Trading System Using Deep Learning Models: Employing Technical Analysis Methods,” *Systems*, vol. 11, no. 9, 2023. DOI: 10.3390/systems11090470.

[15] V. Dogra et al., “Un processus complet de système de classification de texte utilisant des modèles NLP de pointe,” *Computational Intelligence and Neuroscience*, vol. 2022, Art. no. e1883698, June 2022. DOI: 10.1155/2022/1883698.

[16] T. Guida, *Big Data et Machine Learning dans l'investissement quantitatif*, 1st ed., John Wiley & Sons, 2019. [Consulté le 5 octobre 2025, 9h23].

[17] S. Chung et al., “Comparaison des applications de traitement du langage naturel (TALN) dans la construction et l'informatique à l'aide d'éléments de rapport préférés pour les revues systématiques (PRISMA),” *Automation in Construction*, vol. 154, Art. no. 105020, Oct. 2023. DOI: 10.1016/j.autcon.2023.105020.

[18] D. Piau, *Processus markoviens*, Université Joseph Fourier, M2R Mathématiques, 2006–2007. [Consulté le 5 octobre 2025, 9h23].

[19] G. A. Rummery and M. Niranjan, “On-line Q-learning using connectionist systems,” University of Cambridge, Technical Report CUED/F-INFENG/TR 166, 1994. [Consulté le 10 septembre 2025, 20h15].

[20] I. Chraibi Kaadoud, “Apprentissage de séquences et extraction de règles de réseaux récurrents : application au traçage de schémas techniques,” Thèse de doctorat en informatique, Université de Bordeaux, sous la direction de F. Alexandre, 2018. [Consulté le 10 septembre 2025, 23h00].