— L’algorithme de Dijkstra est utilisé sur le graphe routier modifié pour générer un itinéraire cyclable.

Deux jeux de traces GPS sont utilisés pour créer 2 modèles distincts. Le premier, appelé Véléval, est formé en majorité de trajets domicile/travail à Lyon et à Saint-Etienne. Le deuxième, appelé MonRésoVélo, est *crowdsourcé*. Les traces qu'il contient se situent dans la ville de Montréal. Chaque trace calculée par un des modèles est comparée au chemin le plus court, à un itinéraire calculé par un service commercial comprenant le vélo comme mode de transport et à une trace calculée avec un modèle similaire, mais n'utilisant pas le *clustering*. Les traces créées par les modèles s'approchent plus des traces GPS d'origines que tous les autres types de traces utilisées en comparaison. Cependant, former des *clusters* identifiant correctement des segments de route préférés est primordial à la création de traces simulant correctement le comportement des cyclistes. De plus, choisir un *cluster* identifiant les mauvais segments de route préférés empêche la création de traces se rapprochant du comportement d'un cycliste.

Ce travail s'accompagne de limites. La plus évidente est montrée par la différence de performances entre les 2 modèles finaux. Le modèle utilisant Véléval obtient de très bons résultats à toutes les étapes. Celui utilisant MonRésoVélo est systématiquement moins performant. Cela s'explique par les biais des 2 jeux de données utilisés qui sont diamétralement opposés. En effet, Véléval est majoritairement constitué de trajets domicile/travail effectués par environ 40 cyclistes. Plusieurs traces sont forcément très similaires. Il est logique que l'algorithme de *clustering* trouve facilement des *patterns* dans les données, représentés par les segments de route préférés. Ces segments étant bien définis, les traces basées sur l'expérience créées par le modèle final s'approchent beaucoup des traces GPS d'origines. La similitude entre les traces ainsi que la qualité des *clusters* permet au classifieur d'avoir une bonne précision même sur des traces non utilisées lors de son entraînement. De son côté, MonRésoVélo est constitué de traces créées par un plus grand nombre de cyclistes. Ces cyclistes n'ont de plus pas tous utilisés le vélo avec les mêmes objectifs. Il y a donc forcément moins de *patterns* dans les données, expliquant la moins bonne qualité des *clusters*. La zone dans laquelle les traces sont situées est aussi plus grande. Le classifieur doit donc faire face à plus de zones cyclables possibles en plus des *clusters* de moins bonne qualité. Enfin, la méthode de création des modèles est basée sur des hypothèses formulées dans le contexte d'un cycliste utilisant le vélo pour atteindre une destination. Malgré la suppression des traces faisant de trop gros détour, il est probable qu'un certain nombre de trajets de MonRésoVélo n'aient pas été effectués dans cet objectif. Ces traces se situent donc hors des objectifs du modèle. Malgré ces biais, le modèle entraîné avec MonRésoVélo parvient à créer des traces de meilleure qualité que celles utilisées en comparaison. Cela démontre une certaine robustesse dans la méthode expliquée dans ce chapitre. Les algorithmes d'apprentissage parviennent à trouver certains *patterns* présents dans MonRésoVélo et à les reproduire, même si ceux-ci ne sont présents que dans un sous-ensemble du jeu. Un jeu de données plus représentatif que Véléval, mais formé par des cyclistes utilisant le vélo comme un moyen de transport, pourrait permettre une meilleure évaluation des modèles de choix d'itinéraire implicites. Un jeu provenant d'un BSS pourrait par exemple parfaitement convenir.

Une deuxième limite est l'absence d'explication des comportements simulés. Les choix effectués par les modèles sont faits à partir des représentations implicites qu'ils se font des données, et sont donc par nature difficilement explicables. Un moyen de comprendre ces choix est d'analyser les traces calculées. Cette analyse demande
néanmoins une connaissance préalable du comportement général des cyclistes, ainsi que du secteur dans lequel les traces se situent.

Enfin, les traces GPS possèdent des propriétés temporelles en plus des propriétés spatiales. Seules les propriétés spatiales ont été utilisées dans ce chapitre, dans le but de faciliter l'apprentissage. L'intégration des propriétés temporelles dans de futurs travaux pourraient néanmoins améliorer les performances des algorithmes d'apprentissage.
# Chapitre 4

# Feu de circulation intelligent pour cyclistes

## 4.1 Introduction

La création des modèles de choix d'itinéraire implicites détaillée dans le chapitre précédent a mis en lumière l'utilisation par les cyclistes de segments de route préférés. Une manière d'étendre ces travaux est de s'intéresser à la manière de transformer un segment de route quelconque en segment de route préféré par les cyclistes. La sécurité étant un point important dans le choix d'itinéraire des cyclistes, séparer les flux de vélos et de véhicules motorisés est une manière efficace d'inciter à l'utilisation de certaines routes. Cela se fait classiquement par la construction de pistes cyclables séparées physiquement des voies de voitures. Dans ce chapitre, un feu de circulation séparant les flux de vélos et les flux de véhicules motorisés est développé. Cette solution est moins couteûse en place que la construction de pistes cyclables séparées. Le déploiement d'un tel feu permettrait de plus la sécurisation du passage des vélos aux intersections, celles-ci étant connues pour être des lieux dangereux pour les cyclistes [111]. L'apprentissage par renforcement profond est utilisé pour limiter l'augmentation du temps d'attente des véhicules produite par la sécurisation du feu.

### 4.1.1 Les cyclistes et feux de signalisation

Les cyclistes sont connus pour ne pas toujours respecter les feux rouges. La proportion de cyclistes traversant une intersection lorsque le feu est rouge diffère selon les études. Elle varie de 40 % [112] à 60 % [113] des cyclistes pour les plus récentes observations. Schleinitz et al. [114] ont montré en 2013 que les cyclistes australiens, un pays où l'on roule à gauche, sont plus à même de griller un feu rouge lorsqu'ils tournent à gauche. Les auteurs ne sont pas parvenus à démontrer une augmentation du risque d'accident lorsqu'un cycliste traverse au rouge durant leurs observations. Hollingworth et al. [115] ont montré une petite augmentation du risque d'accident avec blessures chez les cyclistes ne respectant pas les feux rouges. Ils notent cependant que cette augmentation peut être due au comportement général plus risqué des cyclistes le faisant, plus que l'action même de griller un feu rouge. Les intersections contrôlées par feux restent cependant des endroits dangereux pour les cyclistes. Miranda et al. [111] ont étudié en 2011 les occurrences de cyclistes blessés à ce type d'intersection. Leurs résultats suggèrent que la sécurité des cyclistes aux intersections à feux est significativement affectée par le volume de cyclistes et le trafic routier. Plus important, les conflits entre les trajectoires des cyclistes et des véhicules motorisées augmentent significativement les risques de collisions, particulièrement dans le cas
de trajectoires tournant à droite. Cette étude a été menée à Montréal, où les véhicules roulent à droite. Que ce soit au Canada ou en Australie, les comportements dangereux effectués ou subis par les cyclistes augmentent dans le cas de trajectoires n'impliquant pas la traversée d'autres voies. Des solutions existent déjà pour réduire le problème. En France, par exemple, les panneaux M12 permettent aux cyclistes de traverser l'intersection même si le feu est rouge, à condition de laisser la priorité aux véhicules et aux piétons qui ont le feu vert.

La sécurité des cyclistes étant diminuée aux intersections à feux, des expériences tentent de faciliter leur passage. En 2019, Andres et al. [116] ont créé un e-vélo conçu pour permettre aux cyclistes de prendre une vague verte. Une vague verte est une succession de feux synchronisés pour que les véhicules les traversant successivement et à la bonne vitesse arrivent à chacun d'eux pendant une phase verte. Le e-vélo adapte son assistance électrique pour permettre au cycliste de garder la bonne vitesse pendant une vague verte. De manière similaire, Frohlich et al. [117] ont développé en 2016 une application mobile suggérant une plage de vitesse à l'utilisateur pour atteindre le prochain feu de circulation pendant une phase verte. D'autres études ont pour but de modifier les intersections pour les cyclistes. Cela a pour avantage de profiter à tous les cyclistes, et non pas uniquement à ceux possédant le bon équipement. De Angelis et al. [118] ont demandé à différents cyclistes de noter différentes interfaces à des feux de signalisation indiquant si ceux-ci sont dans les temps pour une vague verte. Leurs résultats montrent des différences significatives selon les nationalités. Anagnostopoulos et al. [119] ont eux proposé des feux de signalisations donnant la priorité aux cyclistes en les détectant grâce à leurs smartphones. Ils n'ont cependant pas évalué l'impact d'un tel système sur le trafic des véhicules motorisés.

### 4.1.2 DRL pour le contrôle de feux de signalisation en simulation

Différentes études s'intéressent à l'optimisation d'un ou plusieurs feux de signalisation [120, 121]. L'apprentissage par renforcement profond (DRL pour Deep Reinforcement Learning) a été plusieurs fois utilisé dans ce but. Le DRL est basé sur l'apprentissage par renforcement (RL pour Reinforcement Learning), un domaine de l'apprentissage automatique dans lequel un agent apprend par l'expérience. L'agent évolue dans un environnement durant des épisodes finis ou infinis, et a la possibilité d'effectuer des actions modifiant celui-ci. À chaque étape *t*, l'agent reçoit l'état de son environnement $s_t \in S$ et choisit une action $a_t \in A$, avec $S$ l'ensemble des états de l'environnement possible et $A$ l'ensemble des actions que l'agent peut effectuer. Une fois l'action exécutée, l'agent reçoit le nouvel état de l'environnement $s_{t+1} \in S$ ainsi qu'une récompense $r_t$. $r_t$ est une valeur numérique quantifiant la qualité de l'action effectuée. Le but de l'agent est de développer une politique $\pi$ associant une action à un état $\pi(s) = a$ permettant de maximiser la somme des récompenses $R = \sum_{t=0}^{T} \gamma^t r_t$ avec $\gamma \in [0, 1)$. $\gamma$ est appelé le *discount rate* et pondère l'importance des futures récompenses. Les algorithmes de DRL sont des algorithmes de RL qui utilisent l'apprentissage profond pour choisir les meilleures actions (plus d'explications sont données dans la Section 4.2). Certaines études utilisent le DRL pour modifier le comportement de feux de circulation. Certaines utilisent un cycle prédéfini et utilisent le DRL pour choisir quand effectuer un changement de phase [122, 123, 124]. Dans ces études, l'agent a le choix de rester à la phase actuelle ou de passer à la suivante, avec un temps prédéfini entre 2 décisions. En 2019, Genders et al. [125] ont utilisé un feu avec un cycle prédéfini et des temps de phases vertes
modifiables. À la fin de chaque cycle, l'agent a la possibilité d'augmenter ou de réduire de 5 secondes la durée d'une phase. Le but de l'agent est de trouver la durée de chaque phase permettant de minimiser le temps d'attente des véhicules à l'intersection. Mais le DRL est assez puissant pour apprendre un cycle dynamique, et des études l'ont utilisé dans ce but. Dans celles-ci, l'agent DRL sélectionne la voie à mettre au vert à intervalles réguliers. Celui-ci ne choisit donc non plus seulement le moment de changement des phases, mais aussi l'ordre de celles-ci. Les différences entre ces études résident dans leurs méthodes de comparaison, et dans le paramétrage de leurs simulations. Certains auteurs comparent leur approche DRL à une approche d'apprentissage profond [126] ou à d'autres approches DRL [127]. Plussieurs études se comparent à des méthodes statiques et dynamiques de contrôle de feu de circulation existantes. Wang et al. [128] l'ont par exemple fait en 2019 dans des simulations avec une demande de trafic évoluant de manière arbitraire. Genders et al. [125] ont eux effectué les mêmes comparaisons, mais en simulant des heures de pointes pour tester la robustesse du DRL dans des situations plus réalistes. Cette dernière étude montre que le DRL peut être plus efficace en simulation que certaines méthodes de contrôle de feu déjà déployées.

## 4.1.3 Positionnement

Des expérimentations sont prévues en France pour permettre aux cyclistes atten-
dant à un feu rouge de partir plus tôt que les voitures. Cela permet de séparer les
2 flux le temps que les cyclistes atteignent une vitesse suffisante. L'idée derrière le
travail expliqué dans ce chapitre est d'étendre ce concept et d'ajouter des phases
vertes distinctes pour les cyclistes. Cela permettrait de totalement séparer les flux
de vélos des flux de voitures, comme le ferait une infrastructure physique dédiée.
L'avantage de séparer les flux de cette manière est le coût bien moins important en
termes de place. Cependant, c'est le temps d'attente des véhicules qui serait grande-
ment impacté. En effet, plus de phases vertes signifie des cycles plus longs, et donc
un temps d'attente supérieur entre 2 phases vertes pour toutes les voies. Ce chapitre
propose une méthode de sélection de phase basée sur le DRL, permettant la créa-
tion de phases vertes pour cyclistes avec un impact limité sur le temps d'attente des
véhicules à l'intersection. L'agent contrôle l'ordre ainsi que le moment de change-
ment des phases. Des données de comptages de vélos ainsi que de comptages de
voitures sont utilisées pour comparer cette approche à d'autres déjà déployées dans
un contexte assez réaliste. Ce travail est motivé par l'espoir qu'un tel type d'infra-
structure avec un impact suffisamment modéré sur le temps d'attente favoriserait
un changement modal vers le vélo, augmentant ainsi la sécurité des cyclistes [129].
Dans ce chapitre, 2 agents DRL sont entraînés, chacun utilisant un algorithme DRL
différent. Les 2 algorithmes DRL testés sont d'abord expliqués. Les composantes né-
cessaires pour entraîner les agents sont ensuite définies. Les méthodes de simulation
de l'environnement et d'entraînement des agents sont ensuite décrites. Le meilleur
des 2 agents est retenu, et ses performances en termes de temps d'attente sont com-
parées à celles d'autres méthodes de contrôle de feu de circulation. Enfin, le compor-
tement du feu lorsqu'il est contrôlé par l'agent DRL retenu est expliqué.

## 4.2 Apprentissage par renforcement profond

Une solution à base de DRL est proposée pour limiter l'augmentation du temps d'attente des véhicules causée par l'ajout des phases vertes pour cyclistes. Il existe
différents algorithmes de DRL, pouvant être divisés en 3 catégories. Les algorithmes dits *value-based* ont pour but d'estimer une fonction donnant une valeur à chaque paire état-action, notées $Q(s,a)$. Une phase d'exploration est effectuée durant l'entraînement pour estimer au mieux ces valeurs. La politique $\pi$ est explicite dans ce type d'algorithme. Lorsque l'agent reçoit un état $s$, la politique de celui-ci choisit l'action ayant la plus grande valeur $\pi(s) = \operatorname{argmax}_a Q(s,a)$. Les algorithmes dits *policy-based* estiment eux directement la politique $\pi$. Celle-ci renvoie une distribution de probabilités, et un échantillonnage est effectué pour choisir une action $a$. L'objectif est d'augmenter les probabilités des bonnes actions et de diminuer les probabilités des mauvaises actions, jusqu'à arriver à la politique optimale. Enfin, les algorithmes dits *actor-critic* sont un mix des 2 autres catégories. Une partie *actor* estime la politique $\pi$ et une partie *critic* donne une valeur aux choix que celle-ci effectue. Ces dernières années, les algorithmes *value-based* et *actor-critic* montrent de meilleures performances que les algorithmes *policy-based*. Deux algorithmes récents, un *value-based* et un *actor-critic*, sont expliqués dans cette section puis comparés dans la suite de ce chapitre.

### 4.2.1 Double Dueling Deep Q-Network (3DQN)

3DQN est un algorithme *value-based*. Il est basé sur le *Deep Q-Network*, l'algorithme de DRL ayant permis la démocratisation du domaine.

#### Deep Q-Network

En 2015, Mnih et al. [130] ont développé un algorithme appelé *Deep Q-Network* (DQN) capable d'apprendre des politiques de niveau humain. DQN est basé sur un algorithme d'apprentissage par renforcement appelé *Q-learning* [131]. Le *Q-learning* utilise une fonction $Q: S \times A \rightarrow \mathbb{R}$ pour calculer la valeur d'une paire état-action, appelée Q-valeur. À chaque fois que l'agent choisit une action $a_t$, la Q-valeur $Q(s_t, a_t)$ est mise à jour en utilisant l'équation de Bellman comme suit :

$$Q^{\text{new}}(s_t, a_t) \leftarrow (1 - \alpha) \cdot Q(s_t, a_t) + \alpha \cdot (r_t + \gamma \max_a Q(s_{t+1}, a))$$

avec $\alpha$ le taux d'apprentissage. La politique finale choisit l'action ayant la meilleure Q-valeur. Le DQN utilise un réseau de neurones appelé le Q-réseau pour approximer $Q$. Celui-ci est noté $Q_\theta$, $\theta$ représentant les paramètres (c.-à-d. les poids) du réseau de neurones. Le Q-réseau est entraîné à minimiser la fonction de perte $L$ définie par :

$$L(\theta) = (\mathcal{Y}_t^{\text{DQN}} - Q_\theta(s_t, a_t))^2 \\ \mathcal{Y}_t^{\text{DQN}} = r_t + \gamma \max_{a'} Q_{\theta'}(s_{t+1}, a')$$

$\mathcal{Y}_t^{\text{DQN}}$ est appelée la valeur cible et $\theta'$ représente les paramètres du réseau cible, un second réseau de neurones ayant la même architecture que le Q-réseau. Le réseau cible est uniquement utilisé pour calculer $\mathcal{Y}_t$, car cela est nécessaire à la convergence du Q-réseau. Le réseau cible est mis à jour en direction du Q-réseau régulièrement au cours de l'entraînement.
Double Deep Q-Network

En 2016, van Hasselt et al. [132] ont démontré que l’algorithme DQN souffre d’un biais de surestimation des Q-valeurs et ont proposé une solution inspirée de l’algorithme double Q-learning [133]. Cette solution, appelée Double Deep Q-Network (DDQN) est très similaire à DQN, à l’exception près de la valeur cible qui est cette fois-ci calculée comme suit :

$$
\gamma^{DDQN} = r_t + \gamma Q_{\theta'}(s_{t+1}, \underset{a'}{\operatorname{argmax}} Q_{\theta}(s_{t+1}, a'))
$$

L’algorithme DQN se sert du réseau cible pour choisir et évaluer l’action *a*′ utilisée pour calculer la valeur cible. Dans l’algorithme DDQN en revanche, *a*′ est choisie par le Q-réseau puis évaluée par le réseau cible. Cela réduit la surestimation des Q-valeurs, améliorant ainsi les politiques produites.

Dueling Deep Q-Network

La fonction d'avantage est définie par $A(s,a) = Q(s,a) - V(s)$ où $V(s)$ est appelée la fonction de valeur et représente la récompense moyenne à long terme pouvant être attendu lorsque l'environnement se trouve dans l'état $s$. $A(s,a)$ représente donc l'avantage de choisir $a$ par rapport aux autres actions qu'il est possible de choisir lorsque l'environnement est dans l'état $s$. À partir de cette équation, $Q$ peut être décomposée comme étant la somme de $V(s)$ et $A(s,a)$. L'idée derrière le Dueling Deep Q-Network développé par Wang et al. en 2016 [134] est de décomposer le Q-réseau en 2 flux : $V_\theta(s)$ qui approxime $V(s)$ et $A_\theta(s,a)$ qui approxime $A(s,a)$. Le Q-réseau et le réseau cible sont dès lors définis par :

$$
Q_{\theta}(s_t, a_t) = V_{\theta}(s_t) + (A_{\theta}(s_t, a_t) - \frac{1}{|A|} \sum_{a'} A_{\theta}(s_t, a'))
$$

$$
Q_{\theta'}(s_t, a_t) = V_{\theta'}(s_t) + (A_{\theta'}(s_t, a_t) - \frac{1}{|A|} \sum_{a'} A_{\theta'}(s_t, a'))
$$

avec $\theta$ les paramètres du Q-réseau et $\theta'$ les paramètres du réseau cible. La moyenne des approximations des avantages est soustraite de l'approximation de l'avantage $A(s_t, a_t)$ pour augmenter la stabilité et les performances de l'apprentissage.

Algorithme final

Le Double DQN et le *Dueling DQN* peuvent être combinés pour obtenir le *Double Dueling Deep Q-Network* (3DQN). Le 3DQN est utilisé dans ce chapitre, car celui-ci offre un apprentissage plus stable et plus performant que DQN de manière générale. Quelques détails sur 3DQN sont explicités ici. Ces détails sont valables pour 3DQN mais aussi pour DQN et tous ses dérivés. Dans ces algorithmes, l’agent n’apprend pas après chaque action qu’il effectue. À la place, une mémoire tampon retient les transitions $(s_t, a_t, s_{t+1}, r_t, d)$. Cette transition signifie qu’à l’étape $t$, l’état de l’environnement était $s_t$, que l’agent a choisi l’action $a_t$, qu’il a obtenu une récompense $r_t$ et que cela a fait passer l’environnement dans l’état $s_{t+1}$. $d$ permet de savoir si $s_{t+1}$ est un état final ou pas. L’épisode en cours se termine lorsque l’environnement atteint un état final. La mémoire tampon a une taille finie. Si une nouvelle transition doit être stockée quand celle-ci est pleine, la plus ancienne transition est remplacée par la nouvelle. Durant chaque phase d’apprentissage, l’agent crée un paquet de transitions choisies aléatoirement et calcule la perte $L(\theta)$ de chacune d’elles. La moyenne
des pertes est ensuite utilisée pour modifier le Q-réseau par descente de gradient. Enfin, une politique *ε-greedy* est utilisée pour l'exploration. *ε* est un hyperparamètre dans l'intervalle [0, 1]. Quand l'agent doit choisir une action, les Q-valeurs sont calculées à l'aide du Q-réseau. Un nombre aléatoire *r* ∈ [0, 1] est alors généré. Si *r* < *ε*, l'action est choisie aléatoirement. Sinon, *c* est celle dont la Q-valeur est la plus élevée qui est choisie. *ε* a une valeur haute au début de l'entraînement qui diminue durant celui-ci. Cela permet d'avoir un agent qui explore au départ et exploite ses connaissances à la fin de l'entraînement. La Section 4.5.2 donne plus de détails sur l'implémentation de 3DQN faite pour ce chapitre.

### 4.2.2 Proximal Policy Optimization

En 2017, Schulman et al. [135] ont développé un algorithme nommé Proximal Policy Optimization (PPO). PPO étant un algorithme de type actor-critic, la politique π est directement approximée par un réseau de neurones noté π<sub>θ</sub>. Un problème connu des algorithmes de type actor-critic est que de légères modifications de la politique peuvent entraîner d'importants changements de comportement. Ces changements de comportement peuvent annihiler dans certains cas les performances de l'agent. PPO a été développée pour pallier ce problème de manière moins coûteuse en calcul que la solution utilisée jusqu'alors. De manière générale, PPO apprend plus rapidement de meilleures politiques que les algorithmes développés avant lui. C'est pour cette raison qu'il est utilisé dans ce chapitre. Lorsque PPO est utilisé, la fonction objective de π<sub>θ</sub> est définie par :

$$L_{ac}(\theta) = \min\left(\frac{\pi_{\theta}(a_t|s_t)}{\pi_{\theta_{old}}(a_t|s_t)} A^{\pi_{\theta_{old}}}(s_t, a_t), g(\epsilon, A^{\pi_{\theta_{old}}}(s_t, a_t))\right)$$ $$g(\epsilon, A) = \begin{cases} (1+\epsilon)A & \text{si } A \ge 0 \\ (1-\epsilon)A & \text{sinon} \end{cases}$$

avec *ε* un hyperparamètre de petite valeur, π<sub>θold</sub> une ancienne politique et A<sup>π<sub>θold</sub></sup> une méthode quelconque d'estimation de l'avantage. π<sub>θold</sub>(a<sub>t</sub>|s<sub>t</sub>) est la probabilité renvoyée par π<sub>θ</sub> de choisir l'action a<sub>t</sub> lorsque l'environnement est dans l'état s<sub>t</sub>. π<sub>θold</sub>(a<sub>t</sub>|s<sub>t</sub>) est la probabilité renvoyée par l'ancienne politique. Contrairement à DQN et à ses dérivés, PPO fonctionne avec des trajectoires τ. Une trajectoire est une suite d'actions ayant été faites par l'agent. Lors de l'entraînement, n<sub>tr</sub> trajectoires sont créées en utilisant π<sub>θ</sub> et stockées. k phases d'apprentissages sont ensuite effectuées sur ces trajectoires. Lors de la première phase d'apprentissage, π<sub>θ</sub> et π<sub>θold</sub> sont identiques. L<sub>ac</sub> est calculée pour chaque action des trajectoires, et la moyenne des valeurs permet de modifier π<sub>θ</sub> grâce à une montée de gradient. π<sub>θ</sub>(a|s) / π<sub>θold</sub>(a|s) mesure la distance entre la politique actuelle et l'ancienne politique. A<sup>π<sub>θold</sub></sup>(s<sub>t</sub>, a<sub>t</sub>) permet d'évaluer la pertinence de a<sub>t</sub>. Les modifications de π<sub>θ</sub> sont donc proportionnelles à la distance entre la politique actuelle et la politique ayant généré les trajectoires, ainsi qu'à la qualité des actions choisies. Le terme g(ε, A<sup>π<sub>θold</sub></sup>(s<sub>t</sub>, a<sub>t</sub>)) permet de s'assurer que les modifications de la politique ne sont pas trop brusques. Comme la fonction d'avantage, l'estimation de l'avantage A<sup>π<sub>θold</sub></sup> a besoin d'une fonction de valeur pour être calculée. Celle-ci est approximée par un deuxième réseau de neurones noté V<sub>φ</sub>. V<sub>φ</sub> a comme objectif de minimiser la fonction :

$$L_{cr}(\phi) = (V_{\phi}(s_t) - R_t)^2$$
avec $R_t = \sum_t^T \gamma^t r_t$ la somme pondérée des futures récompenses de la trajectoire. Cette somme est ici calculable, car l'entièreté des trajectoires sont connues. Lors des phases d'entraînements, $L_{cr}$ est calculée pour chaque étape des trajectoires, et la moyenne est utilisée pour modifier $V_φ$ par descente de gradient. L'estimation de l'avantage utilisée dans ce chapitre est la *Generalized Advantage Estimation*, développée par Schulman et al. en 2015 [136].

## 4.3 Approche DRL

Quel que soit l'algorithme utilisé, un agent DRL a besoin de certaines composantes pour approximer une politique optimale. Tout d'abord, un environnement ainsi que les états de celui-ci qui seront envoyés à l'agent doivent être définis. L'agent doit ensuite pouvoir effectuer des actions pour modifier cet environnement, et ces actions doivent être récompensées. Dans cette section, le type d'environnement dans lequel l'agent évolue est d'abord détaillé. Ensuite, les états décrivant cet environnement sont expliqués. Enfin, les actions que l'agent pourra effectuer, ainsi que la fonction de récompense permettant d'évaluer celles-ci sont définies.

### 4.3.1 Environnement

Comme expliqué en Section 4.1.3, le feu de circulation proposé possède des phases vertes pour cyclistes. L'environnement dans lequel l'agent va évoluer est donc une intersection, constituée de plusieurs axes se croisant, et contrôlée par un feu de circulation. Par souci de simplicité, chaque axe est bidirectionnel et possède une voie cyclable par sens. Si toutes les voitures d'un axe sont au vert en même temps (c.-à-d. qu'il n'y a pas de phases vertes spécifiques pour les voitures qui tournent), le feu d'une intersection de *n* axes aura *2n* phases vertes différentes. Par exemple, l'ensemble des phases vertes d'un feu contrôlant une intersection constituée de 2 axes sera $G = \{g_{voitures}^{ax_1}, g_{velos}^{ax_1}, g_{voitures}^{ax_2}, g_{velos}^{ax_2}\}$ avec $g_t^{ax_x}$ signifiant que les véhicules de type *t* sur l'axe $ax_x$ ont le feu vert. Un exemple graphique d'une intersection constituée de 2 axes est montré en Figure 4.1, $ax_1$ étant l'axe Nord-Sud (NS) et $ax_2$ l'axe Est-Ouest (EO).

### 4.3.2 États

Les états envoyés à l'agent doivent condenser les informations pertinentes de l'environnement. Deux types d'informations relatives aux véhicules sont retenus. Premièrement, l'agent doit savoir combien de véhicules sont présents à l'intersection et sur quelles voies ils se situent. La position des véhicules est donc importante. Ensuite, l'agent doit pouvoir faire la différence entre les véhicules qui attendent, ceux qui sont en train de traverser l'intersection et ceux qui sont entre le début de leur voie et l'éventuelle file d'attente sur celle-ci. En effet, plus la file d'attente d'une voie est grande, plus il est nécessaire de lui octroyer une phase verte. La vitesse des véhicules est donc elle aussi importante.

Inspirés par les travaux de Liang et al. [137], les états sont 2 matrices de mêmes dimensions. Elles sont nommées respectivement matrice de position et matrice de vitesse. L'environnement est divisé en cellules de 5 mètres de long. Liang et al. ont utilisé toutes les cellules de l'intersection. Il a été considéré que seules les cellules appartenant à une des voies arrivant à l'intersection sont utiles à la prise de décisions. La dimension des matrices est donc $N \times P$ avec *N* le nombre de voies arrivant à l'intersection et *P* le nombre de cellules que chaque voie contient. La matrice de
position contient le nombre de véhicules qui sont dans chaque case et la matrice de vitesse la moyenne des vitesses de ceux-ci. Ces matrices peuvent être reconstruites grâce à des caméras pointées sur les voies arrivant à l'intersection couplées à des méthodes récentes d'estimation de position et de vitesse de véhicules [138]. Un exemple graphique de la construction d'une matrice de position est montré en Figure 4.1.

<figure><img src="image_35.png" /><figcaption>FIGURE 4.1 – Diagramme de la construction d'une matrice de position à partir du schéma d'une intersection.</figcaption></figure>

### 4.3.3 Actions

Les actions pouvant être effectuées par l'agent doivent modifier le comportement du feu de circulation contrôlant l'intersection. Comme d'autres auteurs [125, 127, 128], l'ensemble des phases vertes G est utilisé comme ensemble d'actions possibles (voir Section 4.3.1). Une phase verte a un temps minimum de 10s. Lorsqu'une phase verte est active depuis 10s, l'agent choisit la future phase verte. Si la phase choisie est différente de la phase actuelle, une phase orange de 4s impliquant toutes les voies au vert jusqu'à la décision démarre. Après cette phase orange, ou directement lors de la décision si la phase choisie est la même que la phase actuelle, la phase sélectionnée par l'agent est activée pour une durée de 10s. Mettre en place des phases vertes qui durent 10s minimum permet de ne pas effectuer de changements de phases trop brutaux pouvant surprendre les véhicules. Cela améliore aussi la stabilité de l'ap-prentissage.

### 4.3.4 Récompenses

Genders et al. [125] font partie des auteurs ayant utilisé G comme ensemble d'actions possibles et ont donc développé une fonction de récompenses fonctionnant avec celui-ci. Les récompenses qu'ils ont utilisé sont adaptées et expliquées ci-dessous.
## Fonction de récompenses

La fonction de récompenses est définie comme :

$$r_t = -(w_{velos} + w_{voitures})^2$$

avec $w_{velos}$ et $w_{voitures}$ respectivement le nombre de vélos en attente et le nombre de voitures en attente. Un véhicule est considéré en attente lorsque sa vitesse est inférieure à 0.5 km/h. Les récompenses sont donc nulles ou négatives, et l'agent doit minimiser le nombre de véhicules en attente pour maximiser la somme de celles-ci. La somme de $w_{velos}$ et $w_{voitures}$ est mise au carré pour faciliter l'entraînement. En effet, la différence entre 2 décisions menant à un nombre important de véhicules attendant sera plus grande, car celui-ci est mis au carré. Cela permet à l'agent de mieux discerner quelle décision est la meilleure, notamment au début de l'entraînement.

## Facteur d'étalement

Les valeurs de la fonction de récompenses pouvant être largement négatives, elles peuvent compromettre la convergence des apprentissages. Genders et al. [125] ont résolu le problème en divisant les récompenses par $r_{max}$ la plus grande récompense calculée. Dans le cadre de ce travail, cette solution permet une convergence de l'agent mais pas la création de politiques performantes. $r_{mean}$, la moyenne de toutes les récompenses calculées, est utilisée à la place. Pendant les entraînements, toutes les récompenses calculées ainsi que le nombre d'actions réalisées par l'agent entraîné sont stockées. $r_{mean}$ est actualisée à la fin de chaque épisode (qui sont détaillés en Section 4.5). Utiliser $r_{mean}$ comme facteur d'étalement incite l'agent à effectuer des actions qui sont en moyenne de meilleures qualités que celles qu'il a effectué jusqu'alors pour maximiser la somme des récompenses. Au fur et à mesure qu'un agent s'améliore, la somme des récompenses augmente, le poussant à faire des choix encore plus pertinents pour améliorer la somme de ses récompenses. Cela lui permet de finir l'entraînement avec une politique performante.

## 4.4 Simulation de l'environnement

Une fois les composantes de l'approche DRL conçues, l'environnement dans lequel l'agent va évaluer doit être simulé. Dans cette section, la méthode de simulation de l'environnement (cyclistes, voitures et feux de signalisation) est présentée. La demande de trafic basée sur des comptages de véhicules est ensuite détaillée.

### 4.4.1 Environnement simulé

SUMO (Simulation of Urban MObility) est un micro-simulateur de trafic permettant de reproduire la dynamique de l'écoulement routier. SUMO est communément utilisé dans les études s'intéressant aux feux de signalisation en simulation. La Figure 4.2 montre une capture d'écran de l'environnement. On y voit une intersection composée de 2 axes se croisant (NS pour Nord-Sud et EO pour Est-Ouest) et contrôlée par un feu de circulation. Chaque route arrivant à l'intersection mesure 150m de long et est constituée d'une voie pour voitures et d'une voie pour vélos. Le feu de circulation proposé a donc 4 phases vertes $G = \{\delta_{voitures}^{NS}, \delta_{velos}^{NS}, \delta_{voitures}^{EO}, \delta_{velos}^{EO}\} \cdot \delta_{velos}^{NS}$ est activé sur la Figure 4.2. Les véhicules apparaissent à l'extrémité d'une des routes arrivant et ont l'extrémité d'une autre route comme destination. Lorsqu'un véhicule est au vert et veut tourner à gauche, il doit donner la priorité aux véhicules arrivant
<figure><img src="image_36.png" /><figcaption>FIGURE 4.2 – Capture d'écran de l'environnement simulé par SUMO.</figcaption></figure>

en face. Cela ajoute du temps d'attente qui n'est pas dû au comportement du feu. De plus, lorsque c'est possible, les véhicules se positionnent au milieu de l'intersection pour laisser les véhicules derrière eux ne désirant pas tourner à gauche les dépasser. SUMO ne permet pas ce comportement, ce qui a pour conséquence de faire attendre tous les véhicules de la voie lorsqu'un véhicule veut tourner à gauche et laisse la priorité. Cela ajoute d'autant plus de temps d'attente à l'échelle de l'intersection qui n'est pas due à la phase verte active. Les véhicules n'ont pas le droit de tourner à gauche pour cette raison. Ceux-ci ont la même probabilité d'avoir comme destination l'une des 2 voies auxquelles ils peuvent accéder sans tourner à gauche.

## 4.4.2 Données de comptage et demande de trafic

La demande de trafic est conçue en fonction d'observations réelles. La ville de Paris met à disposition les données de ces compteurs automatiques de véhicules sur son site d'open data<fnref n="1" />. Différentes agrégations temporelles sont disponibles, allant de l'année jusqu'à l'heure. L'agrégation horaire est utilisée, car c'est la plus précise. Les données de 2 compteurs voitures unidirectionnels ainsi que d'un compteur bidirectionnel de vélos sont collectées. Ces compteurs sont situés sur le boulevard Montparnasse et sont proches les uns des autres (environ 500m). Le boulevard Montparnasse est à double sens, avec 2 voies pour voitures et une voie pour vélo dans chaque direction. Le nombre de voitures comptées est donc divisé par 2, car l'environnement SUMO ne possède qu'une voie pour voiture dans chaque sens. Les données datent du 20 juin 2023, un mardi avec beau temps.

La Figure 4.3 montre la somme des véhicules comptés par heure dans les 2 directions. Des différences entre les distributions de voitures et de vélos sont observables.

<footnote n="1">1. https://opendata.paris.fr/pages/home/</footnote>
Il n'y a quasiment aucun vélo compté la nuit, un nombre relativement stable de vélos comptés entre 10 :00 et 16 :00 et 2 gros pics à 08 :00 et 18 :00, les heures de trajets domicile-travail. Pour les voitures, le nombre diminue pendant toute la nuit avant d'augmenter aux alentours de 06 :00. Le nombre de voitures comptées atteint ensuite un plateau qui dure jusqu'à 17 :00. Le nombre augmente ensuite légèrement avec un pic à 19 :00 avant une diminution qui se poursuit jusqu'à 00 :00. Ces différences dans les distributions démontrent l'importance d'utiliser des données réelles à l'échelle de la journée. L'approche 3DQN doit être capable d'adapter ses décisions aux changements des 2 types de trafic pour être efficace. À noter que ces 2 distributions sont assez proches des distributions de véhicules comptés à l'échelle de la ville montrées en Annexe A. La seule différence notoire est une diminution du nombre de voitures comptées à l'échelle de la ville à 17 :00 qui n'est pas visible sur les données des compteurs de Montparnasse.

La demande de trafic est modélisée par des processus de Poisson. Chaque voie $v$ arrivant à l'intersection a son propre processus $p^v$ qui reproduit la génération. L'intensité $\lambda_{p^v}(t)$ de ce processus à l'instant $t$ est fixée pour chaque heure pour coller aux données de comptage agrégées :

$$ \lambda_{p^v}(t) = \frac{c_{h(t)}^v}{3600} $$

avec $c_{h(t)}^v$ le nombre de véhicules (voitures ou vélos) comptés pendant l'heure $h(t)$ sur la voie $v$.

Pour résumer, l'environnement simule 2 boulevards de Montparnasse se croisant pendant une journée entière. Ces boulevards n'ont qu'une voie pour voitures. Le trafic est synthétisé en extrapolant les données agrégées à l'échelle de l'heure de compteurs de véhicules existants.

## 4.5 Entraînements

Un agent de chaque type (3DQN et PPO) est entraîné. L'entraînement s'effectue dans les mêmes conditions pour les 2 agents. Cette section présente l'architecture des réseaux de neurones entraînés, ainsi que les hyperparamètres utilisés lors de l'entraînement. Les performances de chaque agent pendant l'entraînement sont ensuite détaillées et expliquées.

### 4.5.1 Architecture des réseaux de neurones

Un état est constitué de 2 matrices, pouvant être vues comme 2 images condensant les informations utiles de l'environnement. Les réseaux de neurones des agents doivent donc être capables d'identifier les *patterns* présents dans une image pour traiter correctement les états qu'ils reçoivent. Les réseaux de neurones convolutifs [139] ont montré d'impressionnantes performances dans différents domaines, notamment dans la classification d'images, la reconnaissance d'objets ou encore de visages [140]. Les couches convolutes extraient certaines caractéristiques des images. Une couche convolutive est constituée de masques, qui sont des matrices de petites dimensions. Chaque masque a pour but de trouver un type de *pattern* spécifique dans l'image. Une convolution est effectuée entre les différents masques et l'image. Il y a 3 structures de réseaux de neurones différentes. La première structure est celle du Q-réseau $Q_\theta$ de l'agent 3DQN. Cet agent a aussi besoin d'un réseau cible $Q_{\theta'}$,
<figure><img src="image_37.png" /><figcaption>FIGURE 4.3 – Somme des véhicules comptés par heure dans les 2 directions sur le boulevard Montparnasse le 20 juin 2023.</figcaption></figure>
mais celui-ci a la même structure que le Q-réseau. Les 2 autres structures sont la politique $\pi_{\theta}$ et la fonction de valeur $V_{\phi}$ de l'agent PPO. Celui-ci a aussi besoin d'une ancienne politique $\pi_{\theta_{old}}$, mais celle-ci a la même structure que $\pi_{\theta}$. Tous les réseaux de neurones sont constitués de 2 couches convolutive initiales, ayant 16 filtres de dimension $2 \times 2$. Celles-ci sont systématiquement suivies d'une couche de 128 neurones fully-connected. Les couches de sorties diffèrent selon les réseaux :

- $Q_{\theta}$ et $Q_{\theta'}$ possèdent 2 couches de sorties, respectivement pour la fonction d'avantage et la fonction de valeur

- $\pi_{\theta}$ et $\pi_{\theta_{old}}$ possèdent une couche de sortie suivie de la fonction Softmax permettant d'obtenir des valeurs de sortie dans l'intervalle $[0, 1]$ et dont la somme est égale à 1

- $V_{\phi}$ possèdent une seule couche de sortie

La fonction d'activation ReLU est utilisée après chaque couche, excepté les couches de sortie. La Figure 4.4 résume graphiquement l'architecture du Q-réseau $Q_{\theta}$.

<figure><img src="image_38.png" /><figcaption>FIGURE 4.4 – Diagramme de la structure du Q-réseau.</figcaption></figure>

### 4.5.2 Hyperparamètrage

Les valeurs et explications des hyperparamètres utilisées dans ce chapitre sont montrées dans le Tableau 4.1. Les agents sont entraînés par épisodes. Pendant chaque épisode, les véhicules peuvent apparaître pendant 6 heures simulées (c.-à-d. 3600 x 6 = 21600 étapes). Un épisode s'arrête lorsque tous les véhicules sont apparus et que plus aucun ne subsiste dans l'environnement. Un véhicule disparaît de l'environnement lorsque celui-ci a atteint sa destination, située au bout d'une route quittant l'intersection. L'entraînement s'arrête lorsque que l'agent a choisi *f* actions.

L'agent 3DQN commence par stocker de l'information sans apprendre durant *pt* actions. Une phase d'apprentissage se lance ensuite après chaque épisode. La valeur d'*ε* diminue linéairement chaque fois que l'agent 3DQN choisit une action, et atteint sa valeur finale à la *f*ème action. Les paramètres du réseau cible sont mis à jour en étant remplacés par ceux du Q-réseau toutes les *v* actions.
L'agent PPO s'entraîne sur des trajectoires. Une trajectoire correspond à un épisode entier. *k* phases d'apprentissage sont donc effectuées tous les *n*<sub>tr</sub> épisodes dès le début de l'entraînement.

<table><caption>TABLE 4.1 – Tableau des hyperparamètres.</caption><thead><tr><th>Algorithme</th><th>Paramètre</th><th>Valeur</th><th>Description</th></tr></thead><tbody><tr><td rowspan="8">3DQN<br>(voir Section 4.2.1)</td><td><i>f</i></td><td>1500000</td><td>Nombre d'actions durant l'entraînement.</td></tr><tr><td>Taille de la mémoire tampon</td><td>25000</td><td>Taille maximum de la mémoire tampon.</td></tr><tr><td>Taille des paquets</td><td>128</td><td>Taille des paquets de transitions utilisés pour l'apprentissage.</td></tr><tr><td><i>ε</i> initial</td><td>1</td><td>Valeur d'ε au début de l'entraînement.</td></tr><tr><td><i>ε</i> final</td><td>0.01</td><td>Valeur d'ε à la fin de l'entraînement.</td></tr><tr><td><i>pt</i></td><td>10000</td><td>Nombre d'actions effectuées par l'agent sans avant la première phase d'apprentissage.</td></tr><tr><td><i>γ</i></td><td>0.99</td><td>Discount rate pondérant l'importance des futures récompense.</td></tr><tr><td><i>ν</i></td><td>7500</td><td>Nombre d'actions à effectuer entre 2 mises à jour du réseau cible.</td></tr><tr><td></td><td><i>α</i></td><td>0.001</td><td>Taux d'apprentissage de <i>Q<sub>θ</sub></i>.</td></tr><tr><td rowspan="5">PPO<br>(voir Section 4.2.2)</td><td><i>f</i></td><td>1500000</td><td>Nombre d'actions durant l'entraînement.</td></tr><tr><td><i>k</i></td><td>4</td><td>Nombre de phases d'apprentissage effectuées à la suite.</td></tr><tr><td><i>n<sub>tr</sub></i></td><td>5</td><td>Nombre de trajectoires à stocker entre 2 apprentissages.</td></tr><tr><td><i>γ</i></td><td>0.99</td><td>Discount rate pondérant l'importance des futures récompense.</td></tr><tr><td><i>α</i></td><td>0.0001</td><td>Taux d'apprentissages de <i>π<sub>θ</sub></i> et <i>V<sub>φ</sub></i>.</td></tr></tbody></table>

### 4.5.3 Performances

Les données de chaque épisode effectué durant les entraînements sont sauvegardées. Trois variables sont affichées pour mesurer l'amélioration des politiques au cours de ceux-ci : le temps d'attente moyen des vélos, le temps d'attente des voitures et le temps moyen des véhicules.

#### Agent 3DQN

La Figure 4.5 montre l'évolution des différentes variables pendant l'entraînement de l'agent 3DQN. Il faut un peu moins de 1000 épisodes pour atteindre la *feme* action. Le temps d'attente moyen des vélos est assez bas dès le début de l'entraînement (Figure 4.5a). Celui-ci commence par légèrement augmenter jusqu'à l'épisode 150 puis diminue progressivement jusqu'à l'épisode final. On observe des périodes de stagnation et des périodes de légère baisse, signe que l'agent a du mal à l'améliorer. Le temps d'attente moyen des voitures commence lui bien plus haut (Figure 4.5b), entre 50 et 150 étapes contre 45/50 étapes pour les vélos. On observe encore une fois une
augmentation jusqu'à l'épisode 150. Le temps moyen maximum des voitures est 10 fois plus grand que celui des vélos, avec 800 étapes contre 80. Une nette diminution est ensuite visible. Cette diminution continue jusqu'à l'épisode 500 puis le temps d'attente moyen des voitures est assez stable jusqu'à la fin de l'entraînement, même si celui-ci continue à légèrement réduire. L'évolution du temps d'attente moyen des véhicules (Figure 4.5c) ressemble beaucoup à celle du temps d'attente moyen des voitures. Des différences sont tout de même visibles après l'épisode 500. Le temps d'attente moyen des véhicules est plus variable que celui des voitures, et semble descendre plus bas.

Les différences entre vélos et voitures s'expliquent par la manière dont SUMO les simulent ainsi que par leurs trafics respectifs. Premièrement, SUMO autorise les cyclistes à être plus proches les uns des autres lorsqu'ils sont à l'arrêt (0.5m pour les vélos contre 2.5m pour les voitures). De plus, la longueur des vélos est moins importante que celle des voitures, avec 1.6m contre 5m. Les files de vélos sont donc moins longues que celles des voitures. Même si l'accélération des voitures est plus importante (2.6m/s² contre 1.2m/s²), les vélos sont plus proches du feu lorsque celui-ci passe au vert. Cette différence de point de départ est de plus en plus grande à mesure que le nombre de véhicules dans la file augmente.

Deuxièmement, le trafic de voitures est plus important que le trafic vélos, même après la division par 2 du nombre de voitures (expliquée en Section 4.4.2). Au début de l'entraînement, $\epsilon$ vaut 1. Toutes les phases ont donc la même probabilité d'être choisies par l'agent. Les 10 secondes minimum des phases vertes semblent être suffisantes pour vider les voies vélos, mais pas les voies voitures pour les raisons évoquées précédemment. Certaines voitures doivent donc attendre plusieurs phases vertes pour franchir l'intersection, augmentant significativement le temps d'attente moyen de celles-ci. Après 150 épisodes, les Q-valeurs des phases vertes pour voitures commencent à être suffisamment supérieures à celles des phases vertes pour voies vélos pour que l'agent sélectionne les premières plus souvent. Cela a pour conséquence de faire chuter le temps d'attente moyen des voitures. Le temps d'attente moyen des vélos diminue lui aussi. L'agent semble aussi commencer à sélectionner l'axe ayant le plus de vélos en attente lorsqu'il décide de donner le vert à ce type de véhicules, expliquant la diminution de leur temps d'attente moyen. À mesure que l'entraînement continue, les Q-valeurs s'affinent et la valeur de $\epsilon$ diminue, permettant à l'agent de diminuer le temps d'attente moyen des 2 types de véhicules.

## Agent PPO

La Figure 4.6 montre l'évolution des différentes variables pendant l'entraînement de l'agent PPO. L'évolution de l'apprentissage entre l'agent 3DQN et l'agent PPO est similaire. Cela n'est pas surprenant car les 2 algorithmes ont le même objectif, et doivent l'atteindre dans les mêmes conditions en utilisant les mêmes représentations de leur environnement. Des différences sont tout de même notables. Le temps d'attente moyen des vélos commence aussi par augmenter, mais de manière plus significative (Figure 4.6a). Celui-ci atteint même les 100 étapes lors de plusieurs épi-sodes, là où l'agent 3DQN ne dépasse jamais les 80 étapes. L'augmentation du temps d'attente moyen des vélos arrête d'augmenter aux alentours de l'épisode 200, puis diminue doucement jusqu'à retrouver des valeurs proches de celles du début de l'entraînement. Pour les voitures en revanche, aucune augmentation du temps d'attente moyen n'est observable (Figure 4.6b). Celui-ci commence entre 50 et 250 et ne fait que diminuer au cours de l'entraînement. Cette diminution est progressive,
<figure><img src="image_39.png" /><figcaption>FIGURE 4.5 – Évolution du temps d'attente moyen des véhicules pendant l'entraînement de l'agent 3DQN.</figcaption></figure>
<figure><img src="image_40.png" /><figcaption>FIGURE 4.6 – Évolution du temps d'attente moyen des véhicules pendant l'entraînement de l'agent PPO.</figcaption></figure>
là où l'agent 3DQN voit le temps d'attente moyen des voitures diminuer brusquement aux alentours de l'épisode 150. Le temps d'attente moyen des véhicules suit là encore l'évolution de celui des voitures (Figure 4.6c). Il est donc là encore plus progressif que lors de l'entraînement de l'agent 3DQN, et atteint des valeurs moins élevées.

Les différences d'apprentissage entre les 2 agents sont dues aux fonctionnements de 3DQN et de PPO qui diffèrent. 3DQN commence par une phase d'exploration. Lors de celle-ci, les phases sont choisies aléatoirement, et seules les Q-valeurs des actions choisies sont modifiées. À mesure que l'entraînement avance, les phases sont moins souvent choisies aléatoirement. Cependant, trop peu de Q-valeurs ont été modifiées, et les phases que l'agent choisit non aléatoirement ne sont pas encore pertinentes. Celui-ci peut par exemple trop privilégier une voie, faisant en moyenne plus attendre les véhicules que lorsque le choix est complétement aléatoire. Ce n'est que lorsque assez de Q-valeurs ont été ajustées et qu'ε est assez bas que les performances commencent à s'améliorer. Lors de l'entraînement affiché, cela se produit à l'épisode 150 environ. Le principe de PPO est en revanche de s'éloigner de sa politique actuelle dans la bonne direction par petits pas. La pire politique est donc celle de départ, lorsque la probabilité de choisir chaque action est la même. Cela est visible sur la Figure 4.6c, avec le temps d'attente moyen des véhicules qui ne fait que diminuer en moyenne. Pour arriver à ce résultat, l'agent PPO privilégie les voies voitures, car celles-ci sont plus susceptibles d'augmenter le temps d'attente des véhicules. Cela a pour conséquence de dégrader le temps d'attente moyen des vélos. Ce n'est que lorsque le temps d'attente moyen des voitures est assez bas que l'agent PPO commence à s'améliorer en diminuant le temps d'attente moyen des vélos.

## 4.6 Résultats

Après plusieurs entraînements, il s'avère que les politiques de l'agent 3DQN sont systématiquement meilleures que celles de l'agent PPO, et ce quel que soit l'état du trafic. Seuls les résultats de l'approche 3DQN sont donc décrits. L'approche 3DQN désigne l'utilisation de l'agent 3DQN entraîné pour contrôler le feu de circulation. Pour évaluer l'approche 3DQN, les temps d'attente qu'elle génère sont comparés aux temps d'attente générés par 3 autres méthodes de contrôle de feu. Celles-ci sont expliquées ci-après. Le trafic n'est jamais saturé à la sortie de l'intersection avec les demandes de trafic utilisées. La performance d'une solution est donc le temps passé par les véhicules avant de franchir l'intersection au feu vert. Après l'entraînement de l'agent, des journées entières (3600 × 24 = 86400 étapes) sont simulées et le temps d'attente des véhicules est calculé pour chaque heure. Les temps d'attente générés par l'approche 3DQN sont comparés à ceux générés par 3 approches comparées expliquées dans cette section. Les résultats sont ensuite en 2 parties. La première partie est à l'échelle horaire pour une simulation d'une journée. La deuxième est à l'échelle de la journée, avec des variations de la demande de trafic vélos.

### 4.6.1 Approches de comparaison

L'approche 3DQN est comparée à 3 méthodes de contrôle de feu décrites ci-dessous :

- *statique non sécurisée* : La première approche de comparaison, appelée *non sécurisée* dans la suite, sert de base de référence pour quantifier l'augmentation du temps d'attente de la sécurisation du feu de circulation pour les cyclistes. Le feu de circulation a un cycle statique classique, avec une phase verte de
40s et une phase orange de 4s par axe pour une durée totale de 88s. Les vélos et les voitures traversent l'intersection en même temps.

- *statique sécurisée*: Cette approche est une approche naïve. Elle consiste simplement à ajouter des phases vertes pour les cyclistes, et à les empêcher de traverser en même temps que les voitures. Le feu a donc un cycle statique avec 4 phases vertes de 40s dans l'environnement simulé. Cette approche permet de montrer l'explosion du temps d'attente si la sécurisation du feu pour les cyclistes est implémentée naïvement.

- *actuated*: L'approche *statique sécurisée* sert à démontrer l'importance d'une approche dynamique de changement de phase lors de l'ajout de phases vertes pour cyclistes. Comparer l'approche 3DQN qui est hautement dynamique uniquement à une approche statique ne serait pas acceptable. C'est pourquoi l'approche *actuated* est utilisée, avec un feu sécurisé pour les cyclistes. *actuated* est une méthode de contrôle de feu dynamique communément mise en œuvre en Allemagne. [141]. Un feu de circulation en mode *actuated* possède un détecteur de véhicules sur chacune des voies arrivant à l'intersection, à environ 50m de celle-ci. Le feu a un paramètre *duree*, et chaque phase verte a une durée minimum *minDur* et une durée maximum *maxDur*. Lorsqu'une phase verte débute, le feu attend *minDur* secondes. Si un détecteur sur une voie au vert est activé lorsque les *minDur* secondes sont écoulées, un compte à rebours de *duree* secondes est lancé. Une fois que le compte à rebours atteint 0, le feu passe à la phase suivante de son cycle. Si un détecteur sur une voie au vert détecte un véhicule avant que le compte à rebours n'atteigne 0, celui-ci est réinitialisé à *duree* secondes. Si une phase verte est active depuis *maxDur* secondes, le feu de circulation passe à la phase suivante quel que soit l'état du compte à rebours. Dans l'implémentation d'*actuated* utilisée dans ce chapitre, les 4 phases vertes ont une durée minimum *minDur* de 10s, une durée maximum *maxDur* de 40s et le paramètre *duree* est de 5s. *actuated* est communément utilisé pour tester les performances d'approches DRL pour le contrôle de feux de signalisation [128, 125, 123].

### 4.6.2 Résultats horaires

Pour les résultats horaires, une simulation initiale est lancée avec l'approche 3DQN et la demande de trafic basée sur les données de comptage. Les moments et endroits de génération de tous les véhicules sont sauvegardés. Trois autres simulations sont ensuite lancées avec une approche de comparaison différente. Cela permet d'effectuer la comparaison de performances dans des conditions strictement identiques.

La Figure 4.7 montre les résultats horaires pour une journée. L'axe des abscisses représente l'heure de la journée simulée, allant de 0 à 23. L'axe des ordonnées montre le nombre de véhicules pour la Figure 4.7a et le temps d'attente moyen des véhicules pour la Figure 4.7b. Les courbes de distributions des véhicules ont la même forme que celles montrées en Figure 4.3 sans être parfaitement identiques. Cela est dû à l'aléatoire créé par les processus de Poisson.

L'approche *non sécurisée* est sans surprise l'approche générant le moins de temps d'attente. Contrairement aux autres courbes, l'approche *non sécurisée* est plutôt plate et ne change que très peu selon le trafic. Celui-ci n'est en effet pas assez fort pour saturer les voies arrivant à l'intersection avec cette approche. Tous les véhicules attendant pendant une phase rouge peuvent traverser l'intersection lors de la première phase verte accordée à leurs voies. Ajouter des phases vertes dédiées aux cyclistes
augmente la congestion sur chaque voie, car les voies de voitures et de vélos sur le même axe se vident alors successivement.

La pire approche est logiquement la *statique sécurisée*. Doubler le temps du cycle du feu de circulation fait exploser le temps d'attente des véhicules, car chaque voie doit attendre plus longtemps entre 2 phases vertes. Réduire le temps des phases vertes à 20s augmente encore plus le temps d'attente, avec des voies beaucoup plus saturées. Celles-ci n'ont en effet plus le temps de se vider entièrement pendant une phase verte, obligeant certains véhicules à attendre plusieurs cycles complets avant de traverser l'intersection.

*actuated* fait bien mieux que l'approche *statique sécurisée* quelle que soit l'heure de la journée. Elle gère les 2 doubles pics de voitures et vélos à 08:00 et 19:00 beaucoup plus facilement, avec seulement une légère augmentation de temps d'attente. Les durées des phases vertes étant adaptées selon le trafic, les voies sont peu saturées. De plus, le temps perdu à laisser une voie vide au vert est grandement réduit.

L'approche 3DQN fait encore mieux que l'approche *actuated*, avec un temps d'attente moyen inférieur à quasiment toutes les heures. Le gain de temps d'attente est plus grand durant les heures à faible trafic. C'est logique, car *actuated* est moins efficace lorsque les voies sont vides ou presque. En effet, quelles que soient les conditions de trafic, le feu de circulation en mode *actuated* effectue le même cycle, et doit attendre 10s minimum pour chaque phase verte. 3DQN est capable de détecter les véhicules et de choisir la phase verte la plus adaptée en conséquence. Mais à mesure que les voies se remplissent, l'ordre est de moins en moins important au profit du moment de changement de phases. L'approche 3DQN étant capable de gérer les 2, elle reste meilleure qu'*actuated* durant les heures de fort trafic, mais l'écart entre les 2 approches diminue. Les performances de l'approche 3DQN sont les plus proches de celles de l'approche *non sécurisée*. Il est cependant important de noter que ses performances sont meilleures lorsque le trafic est faible.

À l'échelle de la journée, ajouter des phases vertes spécifiques aux cyclistes multiplie le temps d'attente moyen des véhicules par 4.35 en utilisant l'approche naïve *statique sécurisée*, par 1.69 en utilisant l'approche *actuated* et par 1.55 en utilisant l'approche 3DQN. Travailler avec un trafic plus important permettrait certainement d'atteindre le taux de saturation de l'approche *non sécurisée*, diminuant ainsi ses performances. Cependant, cette saturation serait d'autant plus présente lors de l'ajout des phases vertes pour cyclistes. Cela dégraderait les performances des autres approches, et pourrait même compromettre l'apprentissage de l'agent 3DQN.

### 4.6.3 Robustesse aux changements du trafic vélos

L'approche 3DQN limite l'augmentation du temps d'attente moyen des véhicules lors d'une journée avec un trafic similaire à celui vu par l'agent pendant son entraînement. Cependant, le choix d'utiliser son vélo ou non est fortement corrélu avec la météo. La demande de trafic étant basée sur des données récupérées pendant une journée ensoleillée, le nombre de cyclistes serait sûrement moins important un jour de pluie. À l'inverse, le but de sécuriser un feu de circulation est de permettre aux cyclistes d'être plus en sécurité. Le déploiement d'une telle infrastructure pourrait attirer des cyclistes, augmentant ainsi le trafic vélo. La robustesse de l'approche 3DQN aux changements de trafic vélo apparaît dès lors comme un point important à vérifier. Un coefficient multiplicateur allant de 0.5 à 1.5 avec un pas de 0.1 est défini. Le nombre de vélos comptés chaque heure est multiplié par ce coefficient pour faire varier linéairement le trafic vélo de 50% à 150% du trafic observé par le compteur de Paris. Cinq simulations initiales (c.-à-d. avec le feu contrôlé avec l'approche 3DQN)
<figure><img src="image_41.png" /><figcaption>(A) Nombre de véhicules par heure.</figcaption></figure>

<figure><img src="image_42.png" /><figcaption>(B) Temps d'attente moyen par heure.</figcaption></figure>

FIGURE 4.7 – Résultats d'une simulation d'un jour.
sont lancées pour chaque demande de trafic vélos. Une simulation de comparaison est ensuite exécutée par simulation initiale avec *actuated*. *actuated* est choisie pour comparaison car c'est l'approche sécurisée montrant les meilleures performances après 3DQN. Les heures de la nuit n'étant pas les plus intéressantes à cause d'une intensité trafic trop peu élevée, les résultats montrés ne concernent que les heures entre 6h et 20h.

La Figure 4.8 montre le nombre de véhicules (4.8a) et la somme des temps d'attente de tous les véhicules (4.8b) pour chaque coefficient multiplicateur. Logiquement, le nombre de voitures par simulation est stable et le nombre de vélos augmenté linéairement. La somme des temps d'attente générés par 3DQN commence plus bas que celle des temps d'attente générés par *actuated*. Les 2 augmentent progressivement, et se rejoignent lorsque le coefficient atteint 1.5. Lorsque le coefficient vaut 1.5, 3DQN fait davantage attendre les véhicules qu'*actuated*.

Cela est consistant avec les résultats horaires. Moins il y a de véhicules à l'intersection, plus la probabilité que l'approche *actuated* laisse une voie vide au vert est importante à cause de son cycle statique et de son temps de phase verte minimum. Cela favorise 3DQN qui est plus dynamique. Ces résultats montrent tout de même que 3DQN est capable de s'adapter à une baisse de trafic vélo. Celle-ci ne semble pas avoir d'impact significatif sur les prises de décisions de l'agent. Cette capacité d'adaptation est sûrement due aux variétés de demande de trafic auquel l'agent doit faire face pendant son entraînement. La demande de trafic varie en effet beaucoup durant les journées simulées, avec des heures de la nuit au trafic très faible. Les performances de 3DQN sont aussi assez stables lorsque le trafic vélo augmente. La somme des temps d'attente augmenté logiquement, car plus de vélos à l'intersection signifie un plus grand besoin d'activation des phases vertes spécifiques aux voies vélos. Cela impacte le temps d'attente de tous les véhicules à l'intersection, qui doivent davantage attendre entre 2 phases vertes. Cependant, la différence de performances entre 3DQN et *actuated* diminue à mesure que le coefficient augmente. La première raison à ce constat est que les performances *de* *actuated* sont meilleures lorsqu'il y a plus de véhicules à l'intersection (explications en Section 4.6.2). Mais les décisions de l'agent 3DQN sont aussi probablement moins pertinentes à mesure que le trafic vélo augmente. En effet, plus le trafic vélo s'éloigne de celui utilisé pendant l'entraînement, plus la probabilité que l'agent reçoive un état qu'il n'a pas l'habitude de gérer est importante. Cette situation peut mener l'agent à prendre une décision peu pertinente, augmentant la saturation des voies et provoquant une situation qu'il est encore moins capable de gérer. Cela explique aussi l'écart de performances entre les simulations qui est plus élevé lorsque le coefficient atteint 1.5. L'approche 3DQN apparaît donc robuste aux changements du trafic vélos, tant que le trafic varie entre 50% et 140% de celui utilisé pendant l'entraînement.

Pour aller plus loin, la Figure 4.9 montre le temps d'attente moyen des vélos (4.9a) et des voitures (4.9b). Pour *actuated*, le temps d'attente moyen des 2 types de véhicules évolue de manière similaire, avec une légère augmentation linéaire à mesure que le coefficient augmente. Ce constat n'est pas le même pour 3DQN. Pour les voitures, l'augmentation est plutôt linéaire, mais plus prononcée. Le temps d'attente moyen des voitures généré par 3DQN dépasse d'ailleurs celui généré par *actuated* lorsque le coefficient atteint 1.1. Pour les vélos, le temps d'attente moyen généré par 3DQN est plus stable et diminue même jusqu'à ce que le coefficient multiplicateur atteigne 1.1. Après cela, il augmente, mais ne dépasse jamais celui *de* *actuated*. C'est une surprise, car il était attendu que les temps d'attente moyens des 2 types de véhicules évoluent de la même manière que la somme des temps d'attente de la Figure
<figure><img src="image_43.png" /><figcaption>FIGURE 4.8 – Nombre de véhicules et sommes des temps d'attentes entre selon le coefficient multiplicateur du trafic vélo (de 6h à 20h).</figcaption></figure>
4.8. À la place, le temps d'attente moyen des voitures augmente de manière plus forte, permettant aux vélos de moins attendre. Ce résultat peut s'expliquer par les différences entre les vélos et les voitures dans SUMO (détaillées en Section 4.5), ou par le comportement de l'agent 3DQN qui privilégie les voies vélos lors de ses choix. Une analyse du comportement du feu avec les 2 approches est nécessaire pour dé-partager ces hypothèses.

<figure><img src="image_44.png" /><figcaption>FIGURE 4.9 – Temps d'attente moyen des véhicules selon le coefficient multiplicateur du trafic vélo (de 6h à 20h).</figcaption></figure>

## 4.7 Analyse du comportement du feu

L'approche 3DQN permet bien de limiter l'augmentation du temps d'attente causée par la sécurisation du feu pour les cyclistes. Cependant, lorsque le trafic vélo augmente, c'est le temps d'attente des voitures qui est le plus impacté par les choix de l'agent. Il est nécessaire d'étudier le comportement du feu pour comprendre les causes de ce phénomène. Pour ce faire, une analyse à l'échelle de la journée entière ainsi qu'à l'échelle d'une heure de pointe sont effectuées. *actuated* est encore une
fois utilisée en comparaison, car c'est l'approche la plus similaire et ayant les performances les plus proches de 3DQN. Les simulations effectuées en Section 4.6.2 sont réutilisées.

### 4.7.1 Journée entière

La première partie de cette analyse est à l'échelle de la journée entière. La Figure 4.10 montre le nombre d'étapes passées en phase verte ainsi qu'en phase orange par type de voies sur chacun des axes. L'approche *actuated* ayant un cycle statique, le nombre de phases orange entre 2 types de voies ne peut différer que de 1. Lors de la simulation de test, *actuated* venait de finir un cycle lorsque celle-ci s'est arrêté, car le temps passé en phase orange est identique pour toutes les voies (Figure 4.10a). Les voies vélos sont restées aux alentours de 13700 étapes en phase verte et les voies voitures aux alentours de 19500 étapes. La similitude entre les temps passés en phase verte des voies du même type n'est pas surprenante, car les demandes de trafic des 2 axes sont basées sur le même comptage de véhicules. Les différences entre les voies vélos et les voies voitures sont proportionnelles aux différences de trafic entre les 2 types de véhicules. Plus il y a de véhicules, plus le détecteur en amont du feu sera déclenché et augmentera la durée de la phase verte. Les vélos étant moins nombreux que les voitures, il est logique que l'approche *actuated* leur attribue moins de temps en phase verte.

Pour l'approche 3DQN (Figure 4.10b), le nombre d'étapes passées en phase orange est autour de 6000 pour toutes les voies sauf celles pour vélos l'axe Est-Ouest. Cela signifie que l'agent 3DQN choisit peu ces voies lors de ces décisions. Le faible nombre d'étapes passées en phase verte confirme que les voies vélos de cet axe sont délaisées par l'agent, car celui-ci ne prolonge pas les phases vertes qu'il leurs octroie. Celles-ci ont d'ailleurs le plus faible nombre d'étapes passées en phase verte, quelle que soit l'approche. Pour compenser, l'agent permet aux vélos de l'axe Nord-Sud de très souvent franchir l'intersection. Ce sont d'ailleurs les voies vélos sur cet axe qui bénéficient du plus d'étapes passées en phase verte, quelle que soit l'approche. Ces voies passent aussi moins de temps à l'orange que les voies pour voitures avec 3DQN, montrant que l'agent prolonge les phases vertes qu'il leurs octroie. Pour les voies voitures, le temps passé en phase verte est plus faible avec 3DQN qu'avec *actuated*. Cela est étonnant au vu des différences de trafic entre voitures et vélos. Le comportement de l'agent peut cependant s'expliquer. La récompense est liée au nombre de véhicules attendant à l'intersection. L'agent apprend donc à minimiser le nombre de véhicules qui attend. Celui-ci doit cependant choisir une phase chaque fois que cela lui est demandé. Il arrive, pendant les périodes de faible trafic, que sa décision n'ait pas d'effet sur le nombre de véhicules en attente. Cela se produit lorsque l'intersection est vide ou que seuls quelques véhicules assez éloignés sont en approche. Le cas échéant, l'agent a besoin d'une phase "par défaut". Lors de l'entraînement affiché, cette phase est celle des voies vélos de l'axe Nord-Sud. Cela signifie que les vélos sur cet axe sont privilégiés lorsque le trafic commence à augmenter. Comme vu en Section 4.5, ce sont les voitures qui sont les plus susceptibles d'attendre au vu de leurs caractéristiques en simulation et des demandes de trafic utilisées. L'agent doit donc compenser en partageant une majorité du temps restant entre les voies voitures des 2 axes, délaissant les voies vélos de l'axe Est-Ouest.
<figure><img src="image_45.png" /><figcaption>FIGURE 4.10 – Nombre d'étapes passées en phase verte et orange par voie durant une simulation d'un jour.</figcaption></figure>

## 4.7.2 Heure de pointe

Pour étudier le comportement du feu plus en détail, la Figure 4.11 montre la chronologie des phases pour chaque type de voies des 2 axes durant une heure de pointe. L'heure choisie est 19h, celle-ci ayant le trafic le plus important avec un total de 1799 véhicules. Les phases orange sont affichées, mais sont peu visibles en raison de leur courte durée. Sans surprise, les phases vertes s'enchaînent à intervalles réguliers avec l'approche *actuated* (Figure 4.11a). Les différences entre les types de voies tiennent à l'épaisseur des bandes vertes, proportionnelle au temps de la phase. Tout comme sur la Figure 4.10a, on observe que le comportement du feu est quasi identique entre voies pour même type de véhicules. Les phases vertes pour voitures sont plutôt longues tout au long de l'heure, avec quelques exceptions probablement dues à l'aléatoire des processus de Poisson. Les phases vertes des voies vélos sont beaucoup plus fines, conséquence d'un trafic plus faible.

L'approche 3DQN adopte un comportement opposé. Les phases vertes sont irrégulières et dans la majorité des cas très courtes. Les voies pour voitures de l'axe Est-Ouest sont celles avec le plus de bandes épaisses, mais celles-ci restent minoritaires. Quelques rares phases vertes plus longues sont aussi visibles pour les voies voitures et vélos de l'axe Nord-Sud. L'agent accorde environ le même nombre de phases vertes aux voies pour voitures des 2 axes. Les voies pour voitures Est-Ouest passent donc un peu plus d'étapes en phase verte, car les phases qui leur sont accordées sont plus souvent plus longues. Cela est cohérent avec l'analyse de la journée entière, avec 17830 étapes passées en phase verte pour les voies voitures Est-Ouest contre 17070 pour les voies voitures Nord-Sud (Figure 4.10b). Les voies voitures ont cependant plus de temps en phases vertes que les voies vélos sur l'axe Nord-Sud. Cela n'est pas en adéquation avec les résultats à l'échelle de la journée, mais confirme en partie la théorie de la phase "par défaut". En effet, si les voies voitures ont plus de phases vertes que les voies vélos Nord-Sud pendant les heures de pointe, mais que l'inverse se produit à l'échelle de la journée, cela signifie que le déséquilibre est en faveur des voies vélos Nord-Sud pendant les heures creuses. Cependant, cela n'explique pas les différences entre les voies vélos des 2 axes pendant l'heure de pointe. Les voies pour vélos de l'axe Est-Ouest ont beaucoup moins de phases vertes que celles de l'axe Nord-Sud malgré un trafic très similaire. Cela découle probablement des couches convolutive de Q-réseau. Celles-ci ont en effet pour but de repérer les patterns importants dans les états qui sont envoyés à l'agent. La gestion des voitures
<figure><img src="image_46.png" /><figcaption>FIGURE 4.11 – Chronologie des phases par voie de 19h à 20h.</figcaption></figure>
étant prioritaire à celle des vélos pour minimiser le temps d'attente, les couches convolutive doivent donner plus d'importance aux informations représentant les voies voitures. Le Q-réseau interprète donc un environnement sans véhicule et un environnement sans voiture et avec vélos de manière similaire, l'incitant à prendre la même décision dans les 2 cas. Celui-ci privilégiant les voies vélos Nord-Sud lors des heures creuses, il le fait donc aussi lorsque peu de voitures sont présentes à l'intersection en heure de pointe.

## 4.8 Conclusion et discussion

Dans ce chapitre, un feu de circulation permettant aux cyclistes de traverser une intersection de manière sécurisée lors de phases vertes dédiées est proposé. Les résultats montrent qu'adapter le comportement du feu au trafic en temps réel grâce au DRL permet de réduire l'augmentation du temps d'attente créée par ces nouvelles phases vertes. Un agent 3DQN est capable de contrôler ce type de feu de manière efficace avec différentes intensités de trafic. Cela lui permet d'absorber les fluctuations de trafic durant une journée typique. Les performances de l'agent restent stables lors de modifications modérées du trafic vélos. Cependant, l'analyse du comportement du feu lorsque celui-ci est contrôlé par l'agent 3DQN montre un biais de préférence pour les vélos sur l'axe Nord-Sud. Les voitures sont plus nombreuses, et mettent plus de temps à atteindre l'intersection lorsque la file d'attente s'étend. L'agent décide tout de même d'accorder plus de phases vertes aux vélos sur l'axe Nord-Sud qu'aux voitures de manière générale. Bien que contrintuitif, ce comportement n'empêche pas l'agent de moins faire attendre les véhicules à l'intersection qu'une approche dynamique déjà déployée. Ce biais poserait tout de même un problème dans l'éventualité du déploiement d'une telle infrastructure. Inciter l'agent à ne pas effectuer la même action successivement trop de fois pourrait réduire ce biais. Cela demanderait une modification de la fonction de récompenses, ou une nouvelle conception des actions pouvant être effectuées par l'agent.

Ce travail s'accompagne aussi d'autres limites. Bien que des données réelles de comptage soient utilisées pour simuler le trafic, celui-ci est modélisé par des processus de Poisson. Ces processus constituent une simplification peu réaliste de la demande de trafic. Dans le même souci de réalisme, les véhicules dans les simulations utilisent le comportement par défaut de SUMO. Ce comportement est un comportement idéal, respectant à la lettre toutes les règles du trafic. Des simulations comprenant des trafics et des comportements individuels plus réalistes doivent être conduites avant un éventuel déploiement. Ces premiers résultats sont tout de même concluants. Une perspective intéressante de ce travail serait d'étudier la distribution des véhicules en sortie d'intersection, puis d'entraîner un autre agent DRL à partir de celles-ci. Cela permettrait de chaîner plusieurs feux chacun contrôlés par un agent DRL dans le but de créer des vagues vertes optimisées en temps réel.

Au vu des résultats mitigés de l'agent PPO, il est aussi possible qu'un autre algorithme de DRL puisse faire mieux que l'agent 3DQN entraîné dans ce chapitre. Le *Rainbow DQN* [142], un 3DQN avec des améliorations augmentant de manière générale les performances des politiques créées, serait par exemple intéressant à tester.
# Chapitre 5

# Conclusion

L'augmentation du nombre de cyclistes en ville a permis la multiplication des données décrivant leurs comportements. Dans cette thèse, ces données sont utilisées dans le but de créer des outils innovants d'aide aux politiques urbaines d'incitation au cyclisme.

## 5.1 Résumé

Dans un premier temps, les principales sources de données comportementales de cyclistes sont présentées. Elles sont au nombre de 4 : les réponses à des questionnaires de préférences, les systèmes de vélos en libre-service, les capteurs GPS et les compteurs de vélos. Ces sources de données sont étudiées par le biais de 4 caractéristiques : l'accessibilité, la compatibilité avec les méthodes d'apprentissage, le degré d'informations sur les comportements individuels et les problématiques auxquelles elles permettent de répondre dans la littérature scientifique. Au terme de cette étude, 2 jeux de traces GPS sont retenus pour la génération d'itinéraires cyclables.

Une méthode de création de modèles de choix d'itinéraire implicites est ensuite développée autour de ces jeux de données. Après une analyse tant qualitative que quantitative des jeux, un algorithme d'apprentissage non supervisé est choisi pour regrouper les traces autour de segments préférés des cyclistes ayant généré les jeux. Une métrique de distance ainsi qu'une méthode de paramétrage sont développées pour cela. Les clusters ainsi créés permettent de démontrer l'existence de ces segments de route préférés ainsi que de les identifier. Une pondération de graphe routier utilisant un cluster est ensuite effectué pour permettre la génération de chemins privilégiant un groupe de segments de route préférés. Un réseau de neurones profond permettant de traiter des données séquentielles est ensuite proposé pour affilier un chemin le plus court entre une origine et une destination à un cluster. Toutes ces composantes assemblées constituent un modèle de choix d'itinéraire implicite permettant la génération d'itinéraires cyclables. Ces itinéraires sont de meilleures qualités que ceux proposés par des services commerciaux.

Le développement de modèles de choix d'itinéraire implicites a mis en lumière l'utilisation hétérogène des segments de routes par les cyclistes en ville. Les préférences des cyclistes ont largement été étudiées et la sécurité sur leurs trajets est une des caractéristiques principales recherchées. Séparer les flux de vélos des flux de véhicules motorisés est une manière efficace de sécuriser les cyclistes. Cela se fait classiquement par la construction de pistes cyclables séparées des voies voitures, coûteuses en place. Une séparation virtuelle des flux est proposée. Celle-ci tire profit des possibilités offertes par les feux de signalisation. Un feu ayant des phases vertes
spécifiques pour les cyclistes est proposé. Celui-ci, si implémenté naïvement, fait exploser le temps d'attente à l'intersection. Une solution à base d'apprentissage par renforcement est proposée pour limiter le coût en temps d'attente de l'implémentation d'un tel feu. Cette solution est testée dans des simulations utilisant des données de compteurs de véhicules pour générer le trafic. L'apprentissage par renforcement surpasse les performances d'une méthode de contrôle de feu de signalisation dynamique déjà déployée.

## 5.2 Discussion et perspectives

Le choix des sources de données ainsi que celui de les utiliser individuellement sont justifiés dans le Chapitre 2. Ces choix structurant cette thèse, il est intéressant d'y revenir un instant. Les avancées de l'intelligence artificielle dans le traitement de texte, notamment grâce aux grands modèles de langages, pourraient permettre un traitement plus rapide des réponses aux questionnaires de préférences. Cela rend envisageable le déploiement de questionnaires à plus grande échelle, limitant le biais de représentativité des personnes interrogées. Cependant, les algorithmes d'apprentissage sont dans ce cas de figure entraîné au préalable, et non sur les données comportementales récupérées à l'aide des questionnaires. L'innovation voulue des outils développés au cours de cette thèse réside dans les représentations implicites que se font les algorithmes d'apprentissage de données comportementales de cyclistes. Pour les modèles implicites, ces représentations servent à faire correspondre un chemin le plus court à certains segments préférés. Pour le feu de circulation intelligent, elles permettent de prendre des décisions minimisant le temps d'attente des véhicules. Le seul moyen trouvé dans la littérature d'entraîner un algorithme d'apprentissage sur des réponses de questionnaires de préférences est d'utiliser une régression, avec des variables choisies explicitement décrivant les réponses. La sélection explicite des variables remplace alors les représentations implicites. Les questionnaires de préférences n'ont pour cette raison pas pu être utilisés au cours de celle-ci.

Les systèmes de vélos en libre-service fournissent eux des données facilement utilisables pour entraîner des outils d'apprentissage. Celles-ci ont l'avantage d'être systématiques et donc plus représentatives que les jeux de traces GPS contributifs, tout comme les données des compteurs vélos. L'utilisation des données de compteurs vélos s'est seulement avérée plus pertinente lorsqu'il a été décidé de s'intéresser à la simulation d'un feu de signalisation. Entraîner des outils d'apprentissage à l'aide de données de systèmes de vélos en libre-service pourrait permettre d'autres innovations que celles décrites dans cette thèse. On peut par exemple imaginer un système d'inférence de quantité de cyclistes dans différentes zones de la ville, utilisant le nombre de vélos BSS en circulation et les stations dans lesquelles ils ont été empruntés. Être capable de quantifier en temps réel l'utilisation d'une zone par les cyclistes pourrait permettre aux villes de s'adapter, en offrant plus de feux verts aux axes les plus utilisés par ceux-ci notamment.

Enfin, il existe d'autres sources de données qui n'ont pas été prises en compte dans cette thèse, car moins utilisées dans la littérature. Les caméras de surveillance en sont un exemple. Un traitement agrégé des flux de celles-ci permettrait la récupération de données comportementales respectant la vie privée des cyclistes. Ces données offriraient de nouvelles opportunités de travailler sur la compréhension du comportement des cyclistes.
Les modèles de choix d'itinéraire implicites créés dans le Chapitre 3 ont l'avantage de pouvoir générer des itinéraires cyclables. Ils ont cependant l'inconvénient de ne pas pouvoir expliquer les choix effectués lors de cette génération. L'intelligence artificielle explicable (XAI pour *eXplainable Artificial Intelligence*) est un domaine de recherche visant à rendre les décisions prises par les outils d'apprentissage plus compréhensibles et transparents. La *layer wise relevance propagation* pourrait être utilisé pour comprendre quelles parties des chemins le plus court utilisés en entrée sont importantes dans la prise de décision du réseau de neurones. Cela permettrait de comprendre quelles zones de la ville sont évitées par les cyclistes, et quelles zones ceux-ci choisissent à la place. Une autre manière d'expliciter les choix effectués par les modèles de choix d'itinéraire serait d'étudier les segments de route préférés identifiés, en comparant leurs caractéristiques dominantes à des modèles de choix d'itinéraire discrets existants.

D'autre part, les modèles de choix d'itinéraire implicites créent des itinéraires plus proches du comportement réel des cyclistes que ceux générés par une solution commercialisée. Un modèle créé à partir d'un large jeu de traces GPS pourrait aboutir à la création d'une solution commerciale de génération d'itinéraires cyclables, si ces performances sont proches de celles des modèles développés durant cette thèse.

On observe déjà l'utilisation de feux de signalisation pour sécuriser le passage des cyclistes dans certaines villes de France. Cela se matérialise par la mise en place de panneaux permettant aux cyclistes de traverser certaines voies de certaines intersections lorsque leur feu est au rouge. Des expérimentations permettant aux cyclistes de démarrer plus tôt que les voitures sont aussi prévues. Séparer les flux de vélos des flux de voitures paraît donc être une idée d'actualité. L'agent DRL entraîné a démontré sa robustesse face à une modification du trafic de vélos. La robustesse de l'approche DRL face à des comportements humains ne respectant pas complètement la signalisation ou le Code de la route doit cependant être testé avant un éventuel déploiement. D'autre part, l'état de l'intersection reçu par l'agent était toujours exact lors des expériences menées, car celui-ci est donné par le simulateur. Une réflexion sur la manière de compter les véhicules et de mesurer leurs vitesses doit tout d'abord être menée. Ensuite, quelle que soit la méthode retenue, celle-ci risque de commettre des erreurs de mesure. La robustesse de l'approche DRL face à ce type d'erreurs doit donc aussi être testé. Une manière de faire pourrait être de rajouter manuellement des erreurs dans les états envoyés à l'agent, en utilisant une loi normale centrée pour rajouter du bruit lors du calcul de ceux-ci. Les états bruités pourraient être envoyés lors des tests dans un premier temps, puis utilisés pendant l'entraînement de l'agent ensuite.

Si l'approche DRL s'avère robuste au terme de ces expériences, il serait intéressant de chainer plusieurs feux de ce type dans le but de créer des pistes cyclables virtuelles. Ces pistes permettraient aux cyclistes de traverser plusieurs intersections de suite sans être confrontés aux flux de véhicules motorisés. De telles pistes cyclables installées dans une stratégie d'urbanisme tactique permettrait de mesurer l'attrait des cyclistes pour une nouvelle infrastructure sur une voie précise. Cela aiderait les décideurs politiques à mesurer la pertinence de l'installation d'une piste cyclable physique sur celle-ci. Enfin, le déploiement d'un tel feu pourrait s'accompagner d'une étude du comportement des cyclistes à l'intersection pour déceler
d'éventuelles modifications dans celui-ci, en termes de non-respect du feu rouge notamment.
Annexe A

Distribution des véhicules comptés
à Paris

<figure><img src="image_47.png" /><figcaption>(A) Nombre de vélos par heure.</figcaption></figure>

<figure><img src="image_48.png" /><figcaption>(B) Nombre de voitures par heure.</figcaption></figure>

FIGURE A.1 – Somme des véhicules comptés dans la ville de Paris le 20 juin 2023.
Bibliographie

[1] Timothy R. WOJAN et Karen S. HAMRICK. « Can Walking or Biking to Work Really Make a Difference? Compact Development, Observed Commuter Choice and Body Mass Index ». en. In : PLOS ONE 10.7 (juill. 2015), e0130903. ISSN : 1932-6203. DOI : 10.1371/journal.pone.0130903. URL : https://journals.plos.org/plosone/article?id=10.1371/journal.pone.0130903 (visité le 04/03/2021).

[2] Louise-Ann LEYLAND et al. « The effect of cycling on cognitive function and well-being in older adults ». en. In : PLOS ONE 14.2 (fév. 2019). Sous la dir. de Maria Francesca PIACENTINI, e0211779. ISSN : 1932-6203. DOI : 10.1371/journal.pone.0211779. URL : https://dx.plos.org/10.1371/journal.pone.0211779 (visité le 02/03/2021).

[3] Yongping ZHANG et Zhifu MI. « Environmental benefits of bike sharing : A big data-based analysis ». In : Applied Energy 220 (juin 2018), p. 296-301. ISSN : 03062619. DOI : 10.1016/j.apenergy.2018.03.101. URL : https://linkinghub.elsevier.com/retrieve/pii/S0306261918304392 (visité le 05/03/2021).

[4] Ralph BUEHLER et al. « Reducing car dependence in the heart of Europe : lessons from Germany, Austria, and Switzerland ». In : Transport Reviews 37.1 (2 jan. 2017), p. 4-28. ISSN : 0144-1647, 1464-5327. DOI : 10.1080/01441647.2016.1177799. URL : https://www.tandfonline.com/doi/full/10.1080/01441647.2016.1177799 (visité le 09/11/2023).

[5] Jordi HONEY-ROSÉS et al. « The impact of COVID-19 on public space : an early review of the emerging questions – design, perceptions and inequities ». In : Cities & Health 5 (sup1 21 juill. 2021), S263-S279. ISSN : 2374-8834, 2374-8842. DOI : 10.1080/23748834.2020.1780074. URL : https://www.tandfonline.com/doi/full/10.1080/23748834.2020.1780074 (visité le 09/11/2023).

[6] Robert CERVERO, Benjamin CALDWELL et Jesus CUELLAR. « Bike-and-Ride : Build It and They Will Come ». In : Journal of Public Transportation 16.4 (déc. 2013), p. 83-105. ISSN : 1077-291X, 2375-0901. DOI : 10.5038/2375-0901.16.4.5. URL : http://scholarcommons.usf.edu/jpt/vol16/iss4/5/ (visité le 26/07/2023).

[7] Pablo VERA-VILLARROEL et al. « Perception of Safety and Liking Associated to the Colour Intervention of Bike Lanes : Contribution from the Behavioural Sciences to Urban Design and Wellbeing ». en. In : PLOS ONE 11.8 (août 2016). Sous la dir. d'Yanguang CHEN, e0160399. ISSN : 1932-6203. DOI : 10.1371/journal.pone.0160399. URL : https://dx.plos.org/10.1371/journal.pone.0160399 (visité le 04/03/2021).
[8] Heike MARQUART, Uwe SCHLINK et Maximilian UEBERHAM. « The planned and the perceived city : A comparison of cyclists' and decision-makers' views on cycling quality ». In : *Journal of Transport Geography* 82 (jan. 2020), p. 102602.
ISSN : 09666923. DOI : 10.1016/j.jtrangeo.2019.102602. URL : https://linkinghub.elsevier.com/retrieve/pii/S0966692319303825 (visité le 09/11/2023).

[9] Wei LU, Darren M. SCOTT et Ron DALUMPINES. « Understanding bike share cyclist route choice using GPS data : Comparing dominant routes and shortest paths ». en. In : *Journal of Transport Geography* 71 (juill. 2018), p. 172-181.
ISSN : 09666923. DOI : 10.1016/j.jtrangeo.2018.07.012. URL : https://linkinghub.elsevier.com/retrieve/pii/S0966692318300875 (visité le 04/03/2021).

[10] Nebiyou Y. TILAHUN, David M. LEVINSON et Kevin J. KRIZEK. « Trails, lanes, or traffic : Valuing bicycle facilities with an adaptive stated preference survey ». In : *Transportation Research Part A : Policy and Practice* 41.4 (mai 2007), p. 287-301.
ISSN : 09658564. DOI : 10.1016/j.tra.2006.09.007. URL : https://linkinghub.elsevier.com/retrieve/pii/S096585640600108X (visité le 09/02/2023).

[11] Solveig NORDENGEN et al. « National Trends in Cycling in Light of the Norwegian Bike Traffic Index ». In : *International Journal of Environmental Research and Public Health* 18.12 (8 juin 2021), p. 6198.
ISSN : 1660-4601. DOI : 10.3390/ijerph18126198. URL : https://www.mdpi.com/1660-4601/18/12/6198 (visité le 08/02/2023).

[12] Hua ZHANG, Susan A. SHAHEEN et Xingpeng CHEN. « Bicycle Evolution in China : From the 1900s to the Present ». In : *International Journal of Sustainable Transportation* 8.5 (3 sept. 2014), p. 317-335.
ISSN : 1556-8318, 1556-8334. DOI : 10.1080/15568318.2012.699999. URL : http://www.tandfonline.com/doi/abs/10.1080/15568318.2012.699999 (visité le 09/11/2023).

[13] Konstantinos LIAKOS et al. « Machine Learning in Agriculture : A Review ». In : *Sensors* 18.8 (14 août 2018), p. 2674.
ISSN : 1424-8220. DOI : 10.3390/s18082674. URL : http://www.mdpi.com/1424-8220/18/8/2674 (visité le 10/11/2023).

[14] Christian SALIM et Nathalie MITTON. « K-predictions based data reduction approach in WSN for smart agriculture ». In : *Computing* 103.3 (mars 2021), p. 509-532.
ISSN : 0010-485X, 1436-5057. DOI : 10.1007/s00607-020-00864-z.
URL : http://link.springer.com/10.1007/s00607-020-00864-z (visité le 27/11/2023).

[15] Rahul C. DEO. « Machine Learning in Medicine ». In : *Circulation* 132.20 (17 nov. 2015), p. 1920-1930.
ISSN : 0009-7322, 1524-4539. DOI : 10.1161/CIRCULATIONAHA.115.001593. URL : https://www.ahajournals.org/doi/10.1161/CIRCULATIONAHA.115.001593 (visité le 10/11/2023).

[16] Aziliz LE GLAZ et al. « Machine Learning and Natural Language Processing in Mental Health : Systematic Review ». In : *Journal of Medical Internet Research* 23.5 (4 mai 2021), e15708.
ISSN : 1438-8871. DOI : 10.2196/15708. URL : https://www.jmir.org/2021/5/e15708 (visité le 27/11/2023).
[17] Abhishek SONI et al. « Design of a Machine Learning-Based Self-driving Car ». In: *Machine Learning for Robotics Applications*. Sous la dir. de Monica BIANCHINI et al. T. 960. Singapore : Springer Singapore, 2021, p. 139-151. ISBN : 9789811605970 9789811605987. DOI : 10.1007/978-981-16-0598-7_11. URL : https://link.springer.com/10.1007/978-981-16-0598-7_11 (visité le 10/11/2023).

[18] Pierre-Antoine LAHAROTTE, Romain BILLOT et Nour Eddin EL FAOUZI. « Detection of non-recurrent road traffic events based on clustering indicators ». In: *ESANN'17 : European Symposium on Artificial Neural Networks, Computational Intelligence and Machine Learning*. ESANN'17 : European Symposium on Artificial Neural Networks, Computational Intelligence and Machine Learning, Bruges, BELGIQUE, 26-/04/2017 - 28/04/2017. Bruges, Belgium, avr. 2017, p. -. URL: https://hal.science/hal-01802649.

[19] David SILVER et al. « Reward is enough ». In: *Artificial Intelligence* 299 (2021), p. 103535.

[20] Xiaojin Jerry ZHU. « Semi-supervised learning literature survey ». In: (2005).

[21] Richard S SUTTON et Andrew G BARTO. *Reinforcement learning : An introduction*. MIT press, 2018.

[22] Alex KRIZHEVSKY, Ilya SUTSKEVER et Geoffrey E HINTON. « ImageNet Classification with Deep Convolutional Neural Networks ». In: *Advances in Neural Information Processing Systems*. Sous la dir. de F. PEREIRA et al. T. 25. Curran Associates, Inc., 2012. URL: https://proceedings.neurips.cc/paper_files/paper/2012/file/c399862d3b9d6b76c8436e924a68c45b-Paper.pdf.

[23] Ali Bou NASSIF et al. « Speech Recognition Using Deep Neural Networks : A Systematic Review ». In: *IEEE Access* 7 (2019), p. 19143-19165. ISSN : 2169-3536. DOI : 10.1109/ACCESS.2019.2896880. URL : https://ieeexplore.ieee.org/document/8632885/ (visité le 10/11/2023).

[24] Tomas MIKOLOV et al. « Recurrent neural network based language model. » In: *Interspeech*. T. 2. 3. Makuhari. 2010, p. 1045-1048.

[25] Lucas MAGNANA, Herve RIVANO et Nicolas CHIABAUT. « Implicit GPS-based bicycle route choice model using clustering methods and a LSTM network ». In: *PLOS ONE* 17.3 (17 mars 2022). Sous la dir. de Jinjun TANG, e0264196. ISSN : 1932-6203. DOI : 10.1371/journal.pone.0264196. URL : https://dx.plos.org/10.1371/journal.pone.0264196 (visité le 06/06/2022).

[26] Lucas MAGNANA, Hervé RIVANO et Nicolas CHIABAUT. « A DRL solution to help reduce the cost in waiting time of securing a traffic light for cyclists. » working paper or preprint. Nov. 2023. URL: https://inria.hal.science/hal-04300866.

[27] Matthieu ADAM et al. « Susciter la parole des cyclistes : traces GPS et vidéos au service de l'entretien ». In: (2020). DOI : 10.26151/ESPACESTEMPS.NET-Z2WH-1074. URL: https://www.esacestemps.net/articles/susciter-la-parole-des-cyclistes-traces-gps-et-videos-au-service-de-entretien/ (visité le 24/03/2023).

[28] Gustavo ROMANILLOS et al. « Big Data and Cycling ». In: *Transport Reviews* 36.1 (2 jan. 2016), p. 114-133. ISSN : 0144-1647, 1464-5327. DOI : 10.1080/01441647.2015.1084067. URL : http://www.tandfonline.com/doi/full/10.1080/01441647.2015.1084067 (visité le 09/01/2023).
[29] Bandhan Bandhu MAJUMDAR et Sudeshna MITRA. « Analysis of bicycle route-related improvement strategies for two Indian cities using a stated preference survey ». In : *Transport Policy* 63 (avr. 2018), p. 176-188. ISSN : 0967070X. DOI : 10.1016/j.tranpol.2017.12.016. URL : https://linkinghub.elsevier.com/retrieve/pii/S0967070X16306977 (visité le 14/02/2023).

[30] Xuefeng LI et al. « Social Factors Influencing the Choice of Bicycle : Difference Analysis among Private Bike, Public Bike Sharing and Free-Floating Bike Sharing in Kunming, China ». In : *KSCE Journal of Civil Engineering* 23.5 (mai 2019), p. 2339-2348. ISSN : 1226-7988, 1976-3808. DOI : 10.1007/s12205-019-2078-7. URL : http://link.springer.com/10.1007/s12205-019-2078-7 (visité le 09/02/2023).

[31] Ricardo HURTUBIA, Rodrigo MORA et Felipe MORENO. « The role of bike sharing stations in the perception of public spaces : A stated preferences analysis ». In : *Landscape and Urban Planning* 214 (oct. 2021), p. 104174. ISSN : 01692046. DOI : 10.1016/j.landurbplan.2021.104174. URL : https://linkinghub.elsevier.com/retrieve/pii/S0169204621001377 (visité le 09/02/2023).

[32] Monique A. STINSON et Chandra R. BHAT. « Commuter Bicyclist Route Choice : Analysis Using a Stated Preference Survey ». In : *Transportation Research Record : Journal of the Transportation Research Board* 1828.1 (jan. 2003), p. 107-115. ISSN : 0361-1981, 2169-4052. DOI : 10.3141/1828-13. URL : http://journals.sagepub.com/doi/10.3141/1828-13 (visité le 09/02/2023).

[33] Brian CAULFIELD, Elaine BRICK et Orla Thérèse MCCARTHY. « Determining bicycle infrastructure preferences – A case study of Dublin ». In : *Transportation Research Part D : Transport and Environment* 17.5 (juill. 2012), p. 413-417. ISSN : 13619209. DOI : 10.1016/j.trd.2012.04.001. URL : https://linkinghub.elsevier.com/retrieve/pii/S1361920912000363 (visité le 09/02/2023).

[34] J. D. HUNT et J. E. ABRAHAM. « Influences on bicycle use ». In : *Transportation* 34.4 (25 juin 2007), p. 453-470. ISSN : 0049-4488, 1572-9435. DOI : 10.1007/s11116-006-9109-1. URL : http://link.springer.com/10.1007/s11116-006-9109-1 (visité le 04/03/2021).

[35] Ipek N. SENER, Naveen ELURU et Chandra R. BHAT. « An analysis of bicycle route choice preferences in Texas, US ». In : *Transportation* 36.5 (sept. 2009), p. 511-539. ISSN : 0049-4488, 1572-9435. DOI : 10.1007/s11116-009-9201-4. URL : http://link.springer.com/10.1007/s11116-009-9201-4 (visité le 04/03/2021).

[36] Bibhas Kumar DEY et al. « Accommodating exogenous variable and decision rule heterogeneity in discrete choice models : Application to bicyclist route choice ». In : *PLOS ONE* 13.11 (30 nov. 2018). Sous la dir. de Baogui XIN, e0208309. ISSN : 1932-6203. DOI : 10.1371/journal.pone.0208309. URL : https://dx.plos.org/10.1371/journal.pone.0208309 (visité le 25/02/2021).

[37] Christopher M. MONSERE, Nathan W. MCNEIL et Rebecca L. SANDERS. « User-Rated Comfort and Preference of Separated Bike Lane Intersection Designs ». In : *Transportation Research Record : Journal of the Transportation Research Board* 2674.9 (sept. 2020), p. 216-229. ISSN : 0361-1981, 2169-4052. DOI : 10.1177/0361198120927694. URL : http://journals.sagepub.com/doi/10.1177/0361198120927694 (visité le 09/02/2023).
[38] SINGHVI et al. *Predicting Bike Usage for New York City's Bike Sharing System*. 2015.

[39] Lei LIN, Zhengbing HE et Srinivas PEETA. « Predicting station-level hourly demand in a large-scale bike-sharing network : A graph convolutional neural network approach ». In : *Transportation Research Part C : Emerging Technologies* 97 (déc. 2018), p. 258-276. ISSN : 0968090X. DOI : 10.1016/j.trc.2018.10.011. URL : https://linkinghub.elsevier.com/retrieve/pii/S0968090X18300974 (visité le 09/03/2021).

[40] Yan PAN et al. « Predicting bike sharing demand using recurrent neural networks ». In : *Procedia Computer Science* 147 (2019), p. 562-566. ISSN : 18770509. DOI : 10.1016/j.procs.2019.01.217. URL : https://linkinghub.elsevier.com/retrieve/pii/S1877050919302364 (visité le 07/09/2021).

[41] Tae San KIM, Won Kyung LEE et So Young SOHN. « Graph convolutional network approach applied to predict hourly bike-sharing demands considering spatial, temporal, and global effects ». In : *PLOS ONE* 14.9 (16 sept. 2019). Sous la dir. d'Yossiri ADULYASAK, e0220782. ISSN : 1932-6203. DOI : 10.1371/journal.pone.0220782. URL : https://dx.plos.org/10.1371/journal.pone.0220782 (visité le 25/02/2021).

[42] Yexin LI et Yu ZHENG. « Citywide Bike Usage Prediction in a Bike-Sharing System ». In : *IEEE Transactions on Knowledge and Data Engineering* 32.6 (1er juin 2020), p. 1079-1091. ISSN : 1041-4347, 1558-2191, 2326-3865. DOI : 10.1109/TKDE.2019.2898831. URL : https://ieeexplore.ieee.org/document/8640047/ (visité le 03/02/2023).

[43] Zidong YANG et al. « Mobility Modeling and Data-Driven Closed-Loop Prediction in Bike-Sharing Systems ». In : *IEEE Transactions on Intelligent Transportation Systems* 20.12 (déc. 2019), p. 4488-4499. ISSN : 1524-9050, 1558-0016. DOI : 10.1109/TITS.2018.2886456. URL : https://ieeexplore.ieee.org/document/8606241/ (visité le 07/09/2021).

[44] Yexin LI et al. « Traffic prediction in a bike-sharing system ». In : *Proceedings of the 23rd SIGSPATIAL International Conference on Advances in Geographic Information Systems*. SIGSPATIAL'15 : 23rd SIGSPATIAL International Conference on Advances in Geographic Information Systems. Seattle Washington : ACM, 3 nov. 2015, p. 1-10. ISBN : 9781450339674. DOI : 10.1145/2820783.2820837. URL : https://dl.acm.org/doi/10.1145/2820783.2820837 (visité le 05/03/2021).

[45] Yi AI et al. « A deep learning approach on short-term spatiotemporal distribution forecasting of dockless bike-sharing system ». In : *Neural Computing and Applications* 31.5 (1er mai 2019), p. 1665-1677. ISSN : 1433-3058. DOI : 10.1007/s00521-018-3470-9. URL : https://doi.org/10.1007/s00521-018-3470-9 (visité le 02/09/2021).

[46] Chengcheng XU, Junyi JI et Pan LIU. « The station-free sharing bike demand forecasting with a deep learning approach and large-scale datasets ». In : *Transportation Research Part C : Emerging Technologies* 95 (oct. 2018), p. 47-60. ISSN : 0968090X. DOI : 10.1016/j.trc.2018.07.013. URL : https://linkinghub.elsevier.com/retrieve/pii/S0968090X18306764 (visité le 09/03/2021).
[47] Miriam RICCI. « Bike sharing : A review of evidence on impacts and processes of implementation and operation ». In : *Research in Transportation Business & Management* 15 (juin 2015), p. 28-38. ISSN : 22105395. DOI : 10.1016/j.rtbm.2015.03.003. URL : https://linkinghub.elsevier.com/retrieve/pii/S2210539515000140 (visité le 30/01/2023).

[48] Lu-Yi QIU et Ling-Yun HE. « Bike Sharing and the Economy, the Environment, and Health-Related Externalities ». In : *Sustainability* 10.4 (11 avr. 2018), p. 1145. ISSN : 2071-1050. DOI : 10.3390/su10041145. URL : http://www.mdpi.com/2071-1050/10/4/1145 (visité le 30/01/2023).

[49] Xiaolu ZHOU. « Understanding Spatiotemporal Patterns of Biking Behavior by Analyzing Massive Bike Sharing Data in Chicago ». In : *PLOS ONE* 10.10 (7 oct. 2015). Sous la dir. d'Yanguang CHEN, e0137922. ISSN : 1932-6203. DOI : 10.1371/journal.pone.0137922. URL : https://dx.plos.org/10.1371/journal.pone.0137922 (visité le 25/02/2021).

[50] Longbiao CHEN et al. « Understanding bike trip patterns leveraging bike sharing system open data ». In : *Frontiers of Computer Science* 11.1 (fév. 2017), p. 38-48. ISSN : 2095-2228, 2095-2236. DOI : 10.1007/s11704-016-6006-4. URL : http://link.springer.com/10.1007/s11704-016-6006-4 (visité le 07/09/2021).

[51] Ezgi EREN et Volkan Emre UZ. « A review on bike-sharing : The factors affecting bike-sharing demand ». In : *Sustainable Cities and Society* 54 (mars 2020), p. 101882. ISSN : 22106707. DOI : 10.1016/j.scs.2019.101882. URL : https://linkinghub.elsevier.com/retrieve/pii/S2210670719312387 (visité le 30/01/2023).

[52] Jiawei ZHANG et al. « Bicycle-Sharing System Analysis and Trip Prediction ». In : *2016 17th IEEE International Conference on Mobile Data Management (MDM)*. 2016 17th IEEE International Conference on Mobile Data Management (MDM). Porto : IEEE, juin 2016, p. 174-179. ISBN : 9781509008834. DOI : 10.1109/MDM.2016.35. URL : http://ieeexplore.ieee.org/document/7517792/ (visité le 05/03/2021).

[53] Brian CAULFIELD et al. « Examining usage patterns of a bike-sharing scheme in a medium sized city ». In : *Transportation Research Part A : Policy and Practice* 100 (juin 2017), p. 152-161. ISSN : 09658564. DOI : 10.1016/j.tra.2017.04.023. URL : https://linkinghub.elsevier.com/retrieve/pii/S0965856416304141 (visité le 03/09/2021).

[54] Leonardo CAGGIANI, Rosalia CAMPOREALE et Michele OTTOMANELLI. « A real time multi-objective cyclists route choice model for a bike-sharing mobile application ». In : *2017 5th IEEE International Conference on Models and Technologies for Intelligent Transportation Systems (MT-ITS)*. 2017 5th IEEE International Conference on Models and Technologies for Intelligent Transportation Systems (MT-ITS). Naples, Italy : IEEE, juin 2017, p. 645-650. ISBN : 9781509064847. DOI : 10.1109/MTITS.2017.8005593. URL : http://ieeexplore.ieee.org/document/8005593/ (visité le 03/03/2021).

[55] Hongmian GONG et al. « A GPS/GIS method for travel mode detection in New York City ». In : *Computers, Environment and Urban Systems* 36.2 (mars 2012), p. 131-139. ISSN : 01989715. DOI : 10.1016/j.compenvurbsys.2011.05.003. URL : https://linkinghub.elsevier.com/retrieve/pii/S0198971511000536 (visité le 15/03/2023).
[56] Nadine SCHÜSSLER et Kay W. AXHAUSEN. « Identifying trips and activities and their characteristics from GPS raw data without further information ». In : (2008), 28 p. DOI : 10.3929/ETHZ-A-005589980. URL : http://hdl.handle.net/20.500.11850/9471 (visité le 15/03/2023).

[57] Li SHEN et Peter R. STOPHER. « Review of GPS Travel Survey and GPS Data-Processing Methods ». In : *Transport Reviews* 34.3 (4 mai 2014), p. 316-334. ISSN : 0144-1647, 1464-5327. DOI : 10.1080/01441647.2014.903530. URL : http://www.tandfonline.com/doi/abs/10.1080/01441647.2014.903530 (visité le 15/03/2023).

[58] Wendy BOHTE et Kees MAAT. « Deriving and validating trip purposes and travel modes for multi-day GPS-based travel surveys : A large-scale application in the Netherlands ». In : *Transportation Research Part C : Emerging Technologies* 17.3 (juin 2009), p. 285-297. ISSN : 0968090X. DOI : 10.1016/j.trc.2008.11.004. URL : https://linkinghub.elsevier.com/retrieve/pii/S0968090X08000909 (visité le 15/03/2023).

[59] Adrian C. PRELIPCEAN, Gyözö GIDÓFALVI et Yusak O. SUSILO. « Transportation mode detection – an in-depth review of applicability and reliability ». In : *Transport Reviews* 37.4 (4 juill. 2017), p. 442-464. ISSN : 0144-1647, 1464-5327. DOI : 10.1080/01441647.2016.1246489. URL : https://www.tandfonline.com/doi/full/10.1080/01441647.2016.1246489 (visité le 15/03/2023).

[60] Sven LISSNER et Stefan HUBER. « Facing the needs for clean bicycle data – a bicycle-specific approach of GPS data processing ». In : *European Transport Research Review* 13.1 (déc. 2021), p. 8. ISSN : 1867-0717, 1866-8887. DOI : 10.1186/s12544-020-00462-2. URL : https://etrr.springeropen.com/articles/10.1186/s12544-020-00462-2 (visité le 21/02/2023).

[61] Kaiyue ZANG et al. « Assessing and Mapping of Road Surface Roughness based on GPS and Accelerometer Sensors on Bicycle-Mounted Smartphones ». In : *Sensors* 18.3 (19 mars 2018), p. 914. ISSN : 1424-8220. DOI : 10.3390/s18030914. URL : http://www.mdpi.com/1424-8220/18/3/914 (visité le 21/02/2023).

[62] Federico RUPI, Cristian POLIZIANI et Joerg SCHWEIZER. « Data-driven Bicycle Network Analysis Based on Traditional Counting Methods and GPS Traces from Smartphone ». In : *ISPRS International Journal of Geo-Information* 8.8 (25 juill. 2019), p. 322. ISSN : 2220-9964. DOI : 10.3390/ijgi8080322. URL : https://www.mdpi.com/2220-9964/8/8/322 (visité le 21/02/2023).

[63] Muhammad GHANAYIM et Shlomo BEKHOR. « Modelling bicycle route choice using data from a GPS-assisted household survey ». In : *European Journal of Transport and Infrastructure Research* (1er avr. 2018), Vol 18 No 2 (2018). DOI : 10.18757/EJTIR.2018.18.2.3228. URL : https://journals.open.tudelft.nl/ejtir/article/view/3228 (visité le 21/02/2023).

[64] Danique TON et al. « How Do People Cycle in Amsterdam, Netherlands ? : Estimating Cyclists’ Route Choice Determinants with GPS Data from an Urban Area ». In : *Transportation Research Record* 2662.1 (1er jan. 2017), p. 75-82. ISSN : 0361-1981. DOI : 10.3141/2662-09. URL : https://doi.org/10.3141/2662-09 (visité le 30/09/2021).
[65] Dillon T. FITCH et Susan L. HANDY. « Road environments and bicyclist route choice : The cases of Davis and San Francisco, CA ». In : *Journal of Transport Geography* 85 (mai 2020), p. 102705. ISSN : 09666923. DOI : 10.1016/j.jtrangeo.2020.102705. URL : https://linkinghub.elsevier.com/retrieve/pii/S0966692319303394 (visité le 08/09/2021).

[66] Darren M. SCOTT, Wei LU et Matthew J. BROWN. « Route choice of bike share users : Leveraging GPS data to derive choice sets ». In : *Journal of Transport Geography* 90 (jan. 2021), p. 102903. ISSN : 09666923. DOI : 10.1016/j.jtrangeo.2020.102903. URL : https://linkinghub.elsevier.com/retrieve/pii/S0966692320309807 (visité le 08/09/2021).

[67] Maëlle ZIMMERMANN, Tien MAI et Emma FREJINGER. « Bike route choice modeling using GPS data without choice sets of paths ». In : *Transportation Research Part C : Emerging Technologies* 75 (fév. 2017), p. 183-196. ISSN : 0968090X. DOI : 10.1016/j.trc.2016.12.009. URL : https://linkinghub.elsevier.com/retrieve/pii/S0968090X16302637 (visité le 04/03/2021).

[68] Bahar DADASHOVA et al. « Estimation of Average Annual Daily Bicycle Counts using Crowdsourced Strava Data ». In : *Transportation Research Record : Journal of the Transportation Research Board* 2674.11 (nov. 2020), p. 390-402. ISSN : 0361-1981, 2169-4052. DOI : 10.1177/0361198120946016. URL : http://journals.sagepub.com/doi/10.1177/0361198120946016 (visité le 08/02/2023).

[69] Thomas NOSAL et Luis F. MIRANDA-MORENO. « The effect of weather on the use of North American bicycle facilities : A multi-city analysis using automatic counts ». In : *Transportation Research Part A : Policy and Practice* 66 (août 2014), p. 213-225. ISSN : 09658564. DOI : 10.1016/j.tra.2014.04.012. URL : https://linkinghub.elsevier.com/retrieve/pii/S0965856414000998 (visité le 08/02/2023).

[70] Daniel J FAGNANT et Kara KOCKELMAN. « A direct-demand model for bicycle counts : the impacts of level of service and other factors ». In : *Environment and Planning B : Planning and Design* 43.1 (jan. 2016), p. 93-107. ISSN : 0265-8135, 1472-3417. DOI : 10.1177/0265813515602568. URL : http://journals.sagepub.com/doi/10.1177/0265813515602568 (visité le 08/02/2023).

[71] Peter SCHMIEDESKAMP et Weiran ZHAO. « Estimating Daily Bicycle Counts in Seattle, Washington, from Seasonal and Weather Factors ». In : *Transportation Research Record : Journal of the Transportation Research Board* 2593.1 (jan. 2016), p. 94-102. ISSN : 0361-1981, 2169-4052. DOI : 10.3141/2593-12. URL : http://journals.sagepub.com/doi/10.3141/2593-12 (visité le 08/02/2023).

[72] Jillian STRAUSS, Luis F. MIRANDA-MORENO et Patrick MORENCY. « Mapping cyclist activity and injury risk in a network combining smartphone GPS data and bicycle counts ». In : *Accident Analysis & Prevention* 83 (oct. 2015), p. 132-142. ISSN : 00014575. DOI : 10.1016/j.aap.2015.07.014. URL : https://linkinghub.elsevier.com/retrieve/pii/S0001457515300233 (visité le 24/03/2023).

[73] Kristiann C. HEESCH et Michael LANGDON. « The usefulness of GPS bicycle tracking data for evaluating the impact of infrastructure change on cycling behaviour : GPS bicycle tracking data in evaluating cycling behaviour ». In : *Health Promotion Journal of Australia* 27.3 (déc. 2016), p. 222-229. ISSN : 10361073. DOI : 10.1071/HE16032. URL : http://doi.wiley.com/10.1071/HE16032 (visité le 20/03/2023).
[74] Jillian STRAUSS et al. « Cyclist deceleration rate as surrogate safety measure in Montreal using smartphone GPS data ». In : *Accident Analysis & Prevention* 99 (fév. 2017), p. 287-296. ISSN : 00014575. DOI : 10.1016/j.aap.2016.11.019. URL : https://linkinghub.elsevier.com/retrieve/pii/S0001457516304328 (visité le 24/03/2023).

[75] Chen CHEN et al. « Using bicycle app data to develop Safety Performance Functions (SPFs) for bicyclists at intersections : A generic framework ». In : *Transportation Research Part A : Policy and Practice* 132 (fév. 2020), p. 1034-1052. ISSN : 09658564. DOI : 10.1016/j.tra.2019.12.034. URL : https://linkinghub.elsevier.com/retrieve/pii/S0965856418308255 (visité le 20/03/2023).

[76] Bahar DADASHOVA et Greg P. GRIFFIN. « Random parameter models for estimating statewide daily bicycle counts using crowdsourced data ». In : *Transportation Research Part D : Transport and Environment* 84 (juill. 2020), p. 102368. ISSN : 13619209. DOI : 10.1016/j.trd.2020.102368. URL : https://linkinghub.elsevier.com/retrieve/pii/S1361920920305551 (visité le 20/03/2023).

[77] Nathalie MITTON et Herve RIVANO. « On the use of city bikes to make the city even smarter ». In : 2014 International Conference on Smart Computing Workshops. 2014 International Conference on Smart Computing Workshops (SMART-COMP Workshops). Hong Kong : IEEE, nov. 2014, p. 3-8. ISBN : 9781479964475. DOI : 10.1109/SMARTCOMP-W.2014.7046675. URL : http://ieeexplore.ieee.org/document/7046675/ (visité le 27/11/2023).

[78] Suresh K. LODHA et al. « Visualization of spatio temporal GPS uncertainty within a GIS environment ». In : AeroSense 2002. Sous la dir. de Nickolas L. FAUST, James L. KURTZ et Robert TREBITS. Orlando, FL, 30 juill. 2002, p. 216-227. DOI : 10.1117/12.488302. URL : http://proceedings.spiedigitallibrary.org/proceeding.aspx?articleid=888733 (visité le 08/06/2023).

[79] S. LISSNER et al. « GPS-data in bicycle planning : "Which cyclist leaves what kind of traces?" Results of a representative user study in Germany ». In : *Transportation Research Interdisciplinary Perspectives* 7 (sept. 2020), p. 100192. ISSN : 25901982. DOI : 10.1016/j.trip.2020.100192. URL : https://linkinghub.elsevier.com/retrieve/pii/S2590198220301032 (visité le 21/02/2023).

[80] Danique TON et al. « Evaluating a data-driven approach for choice set identification using GPS bicycle route choice data from Amsterdam ». In : *Travel Behaviour and Society* 13 (oct. 2018), p. 105-117. ISSN : 2214367X. DOI : 10.1016/j.tbs.2018.07.001. URL : https://linkinghub.elsevier.com/retrieve/pii/S2214367X18300292 (visité le 21/02/2023).

[81] Alessandro CRIVELLARI et Euro BEINAT. « LSTM-Based Deep Learning Model for Predicting Individual Mobility Traces of Short-Term Foreign Tourists ». In : *Sustainability* 12.1 (1er jan. 2020), p. 349. ISSN : 2071-1050. DOI : 10.3390/su12010349. URL : https://www.mdpi.com/2071-1050/12/1/349 (visité le 16/04/2020).

[82] Kyuhyun LEE et Ipek Nese SENER. « Strava Metro data for bicycle monitoring : a literature review ». In : *Transport Reviews* 41.1 (2 jan. 2021), p. 27-47. ISSN : 0144-1647, 1464-5327. DOI : 10.1080/01441647.2020.1798558. URL : https://www.tandfonline.com/doi/full/10.1080/01441647.2020.1798558 (visité le 08/02/2023).
[83] Kristiann C. HEESCH et al. « Evaluation of the Veloway 1 : A natural experiment of new bicycle infrastructure in Brisbane, Australia ». In : *Journal of Transport & Health* 3.3 (sept. 2016), p. 366-376. ISSN : 22141405. DOI : 10.1016/j.jth.2016.06.006. URL : https://linkinghub.elsevier.com/retrieve/pii/S2214140516301748 (visité le 20/03/2023).

[84] Yeran SUN et Amin MOBASHERI. « Utilizing Crowdsourced Data for Studies of Cycling and Air Pollution Exposure : A Case Study Using Strava Data ». In : *International Journal of Environmental Research and Public Health* 14.3 (8 mars 2017), p. 274. ISSN : 1660-4601. DOI : 10.3390/ijerph14030274. URL : http://www.mdpi.com/1660-4601/14/3/274 (visité le 20/03/2023).

[85] Kyuhyun LEE et Ipek SENER. « Understanding Potential Exposure of Bicyclists on Roadways to Traffic-Related Air Pollution : Findings from El Paso, Texas, Using Strava Metro Data ». In : *International Journal of Environmental Research and Public Health* 16.3 (29 jan. 2019), p. 371. ISSN : 1660-4601. DOI : 10.3390/ijerph16030371. URL : http://www.mdpi.com/1660-4601/16/3/371 (visité le 20/03/2023).

[86] Walter MUSAKWA et Kadibetso M. SELALA. « Mapping cycling patterns and trends using Strava Metro data in the city of Johannesburg, South Africa ». In : *Data in Brief* 9 (déc. 2016), p. 898-905. ISSN : 23523409. DOI : 10.1016/j.dib.2016.11.002. URL : https://linkinghub.elsevier.com/retrieve/pii/S235234091630662X (visité le 20/03/2023).

[87] Zijing LIN et Wei "David" FAN. « Bicycle Ridership Using Crowdsourced Data : Ordered Probit Model Approach ». In : *Journal of Transportation Engineering, Part A : Systems* 146.8 (août 2020), p. 04020076. ISSN : 2473-2907, 2473-2893. DOI : 10.1061/JTEPBS.0000399. URL : https://ascelibrary.org/doi/10.1061/JTEPBS.0000399 (visité le 20/03/2023).

[88] Ben JESTICO, Trisalyn NELSON et Meghan WINTERS. « Mapping ridership using crowdsourced cycling data ». In : *Journal of Transport Geography* 52 (avr. 2016), p. 90-97. ISSN : 09666923. DOI : 10.1016/j.jtrangeo.2016.03.006. URL : https://linkinghub.elsevier.com/retrieve/pii/S0966692316301168 (visité le 20/03/2023).

[89] Stefan HUBER et Sven LISSNER. « Disaggregation of aggregate GPS-based cycling data – How to enrich commercial cycling data sets for detailed cycling behaviour analysis ». In : *Transportation Research Interdisciplinary Perspectives* 2 (sept. 2019), p. 100041. ISSN : 25901982. DOI : 10.1016/j.trip.2019.100041. URL : https://linkinghub.elsevier.com/retrieve/pii/S2590198219300417 (visité le 22/03/2023).

[90] Matthieu ADAM et al. « Conducting Interviews with Maps and Videos to Capture Cyclists’ Skills and Expertise ». In : *Becoming Urban Cyclists : From Socialization to Skills*. Sous la dir. de Matthieu ADAM et Nathalie ORTAR. University of Chester Press, jan. 2022, p. 18-43. URL : https://hal.science/hal-03552634.

[91] Jillian STRAUSS et Luis F. MIRANDA-MORENO. « Speed, travel time and delay for intersections and road segments in the Montreal network using cyclist Smartphone GPS data ». In : *Transportation Research Part D : Transport and Environment* 57 (déc. 2017), p. 155-171. ISSN : 13619209. DOI : 10.1016/j.trd.2017.09.001. URL : https://linkinghub.elsevier.com/retrieve/pii/S1361920916300736 (visité le 24/03/2023).
[92] Sirisha KOTHURI et al. « Bicycle and Pedestrian Counts at Signalized Intersections Using Existing Infrastructure : Opportunities and Challenges ». In : *Transportation Research Record : Journal of the Transportation Research Board* 2644.1 (jan. 2017), p. 11-18. ISSN : 0361-1981, 2169-4052. DOI : 10.3141/2644-02. URL : http://journals.sagepub.com/doi/10.3141/2644-02 (visité le 08/02/2023).

[93] Emily Hentz LEISTER et al. « Understanding bike share reach, use, access and function : An exploratory study ». In : *Sustainable Cities and Society* 43 (nov. 2018), p. 191-196. ISSN : 22106707. DOI : 10.1016/j.scs.2018.08.031. URL : https://linkinghub.elsevier.com/retrieve/pii/S2210670718307893 (visité le 03/04/2023).

[94] Yves VAN DE VYVERE. « Les modèles de choix discret en géographie : une introduction ». In : *L'Espace géographique* 24.1 (1995), p. 1-10. ISSN : 0046-2497. DOI : 10.3406/spgeo.1995.3341. URL : https://www.persee.fr/doc/spgeo_0046-2497_1995_num_24_1_3341 (visité le 07/11/2023).

[95] Joseph BROACH, Jennifer DILL et John GLIEBE. « Where do cyclists ride? A route choice model developed with revealed preference GPS data ». In : *Transportation Research Part A : Policy and Practice* 46.10 (déc. 2012), p. 1730-1740. ISSN : 09658564. DOI : 10.1016/j.tra.2012.07.005. URL : https://linkinghub.elsevier.com/retrieve/pii/S0965856412001164 (visité le 13/10/2023).

[96] J G WARDROP et J I WHITEHEAD. « Correspondence. some theoretical aspects of road traffic research. » In : *Proceedings of the Institution of Civil Engineers* 1.5 (oct. 1952), p. 767-768. DOI : 10.1680/ipeds.1952.11362. URL : https://www.icevirtuallibrary.com/doi/10.1680/ipeds.1952.11362 (visité le 12/05/2021).

[97] Antonio LIMA et al. « Understanding individual routing behaviour ». In : *Journal of The Royal Society Interface* 13.116 (mars 2016), p. 20160021. DOI : 10.1098/rsif.2016.0021. URL : https://royalsocietypublishing.org/doi/10.1098/rsif.2016.0021 (visité le 12/05/2021).

[98] David H DOUGLAS et Thomas K PEUCKER. « ALGORITHMS FOR THE REDUCTION OF THE NUMBER OF POINTS REQUIRED TO REPRESENT A DIGITIZED LINE OR ITS CARICATURE ». In : *Cartographica : The International Journal for Geographic Information and Geovisualization* 10.2 (1er déc. 1973), p. 112-122. ISSN : 0317-7173, 1911-9925. DOI : 10.3138/FM57-6770-U75U-7727. URL : https://utpjournals.press/doi/10.3138/FM57-6770-U75U-7727 (visité le 11/10/2023).

[99] Paul JACCARD. « Distribution de la Flore Alpine dans le Bassin des Dranses et dans quelques régions voisines. » In : *Bulletin de la Societe Vaudoise des Sciences Naturelles* 37 (jan. 1901), p. 241-72. DOI : 10.5169/seals-266440.

[100] Charles F. F. KARNEY. « Algorithms for geodesics ». In : *Journal of Geodesy* 87.1 (jan. 2013), p. 43-55. ISSN : 0949-7714, 1432-1394. DOI : 10.1007/s00190-012-0578-z. URL : http://link.springer.com/10.1007/s00190-012-0578-z (visité le 15/09/2023).

[101] Osama ABU ABBAS. « Comparisons Between Data Clustering Algorithms ». In : *Int. Arab J. Inf. Technol.* 5 (juill. 2008), p. 320-325.

[102] Martin ESTER et al. « A density-based algorithm for discovering clusters in large spatial databases with noise ». In : *kdd*. T. 96. 34. 1996, p. 226-231.
[103] Leonard KAUFMAN et Peter J. ROUSSEEUW. *Finding Groups in Data: An Introduction to Cluster Analysis*. en. 1re éd. Wiley Series in Probability and Statistics. Wiley, mars 1990. ISBN: 9780471878766 9780470316801. DOI: 10.1002/9780470316801. URL: https://onlinelibrary.wiley.com/doi/book/10.1002/9780470316801 (visité le 28/02/2024).

[104] Edward W FORGY. « Cluster analysis of multivariate data : efficiency versus interpretability of classifications ». In : *biometrics* 21 (1965), p. 768-769.

[105] Y. BENGIO, P. SIMARD et P. FRASCONI. « Learning long-term dependencies with gradient descent is difficult ». In : *IEEE Transactions on Neural Networks* 5.2 (mars 1994), p. 157-166. ISSN: 1045-9227, 1941-0093. DOI: 10.1109/72.279181. URL : https://ieeexplore.ieee.org/document/279181/ (visité le 08/04/2021).

[106] Sepp HOCHREITER. « The Vanishing Gradient Problem During Learning Recurrent Neural Nets and Problem Solutions ». en. In : *International Journal of Uncertainty, Fuzziness and Knowledge-Based Systems* 06.02 (avr. 1998), p. 107-116. ISSN : 0218-4885, 1793-6411. DOI : 10.1142/S0218488598000094. URL : https://www.worldscientific.com/doi/abs/10.1142/S0218488598000094 (visité le 06/04/2021).

[107] Sepp HOCHREITER et Jürgen SCHMIDHUBER. « Long Short-Term Memory ». en. In : *Neural Computation* 9.8 (nov. 1997), p. 1735-1780. ISSN : 0899-7667, 1530-888X. DOI : 10.1162/neco.1997.9.8.1735. URL : https://direct.mit.edu/neco/article/9/8/1735-1780/6109 (visité le 08/04/2021).

[108] Kunihiko FUKUSHIMA. « Visual feature extraction by a multilayered network of analog threshold elements ». In : *IEEE Transactions on Systems Science and Cybernetics* 5.4 (1969), p. 322-333.

[109] Diederik P. KINGMA et Jimmy BA. « Adam : A Method for Stochastic Optimization ». In : (2014). DOI : 10.48550/ARXIV.1412.6980. URL : https://arxiv.org/abs/1412.6980 (visité le 28/09/2023).

[110] Geoffrey E. HINTON et al. « Improving neural networks by preventing co-adaptation of feature detectors ». In : (2012). DOI : 10.48550/ARXIV.1207.0580. URL : https://arxiv.org/abs/1207.0580 (visité le 02/10/2023).

[111] Luis F. MIRANDA-MORENO, Jillian STRAUSS et Patrick MORENCY. « Disaggregate Exposure Measures and Injury Frequency Models of Cyclist Safety at Signalized Intersections ». In : *Transportation Research Record : Journal of the Transportation Research Board* 2236.1 (jan. 2011), p. 74-82. ISSN : 0361-1981, 2169-4052. DOI : 10.3141/2236-09. URL : http://journals.sagepub.com/doi/10.3141/2236-09 (visité le 24/07/2023).

[112] Katja SCHLEINITZ et al. « (E-)Cyclists running the red light – The influence of bicycle type and infrastructure characteristics on red light violations ». In : *Accident Analysis & Prevention* 122 (jan. 2019), p. 99-107. ISSN : 00014575. DOI : 10.1016/j.aap.2018.10.002. URL : https://linkinghub.elsevier.com/retrieve/pii/S0001457518307590 (visité le 24/07/2023).

[113] Matthew RICHARDSON et Brian CAULFIELD. « Investigating traffic light violations by cyclists in Dublin City Centre ». In : *Accident Analysis & Prevention* 84 (nov. 2015), p. 65-73. ISSN : 00014575. DOI : 10.1016/j.aap.2015.08.011. URL : https://linkinghub.elsevier.com/retrieve/pii/S0001457515300440 (visité le 24/07/2023).
[114] Marilyn JOHNSON et al. « Why do cyclists infringe at red lights? An investigation of Australian cyclists' reasons for red light infringement ». In : *Acident Analysis & Prevention* 50 (jan. 2013), p. 840-847. ISSN : 00014575. DOI : 10.1016/j.aap.2012.07.008. URL : https://linkinghub.elsevier.com/retrieve/pii/S000145751200262X (visité le 24/07/2023).

[115] Milo A. HOLLINGWORTH, Alice J.L. HARPER et Mark HAMER. « Risk factors for cycling accident related injury : The UK Cycling for Health Survey ». In : *Journal of Transport & Health* 2.2 (juin 2015), p. 189-194. ISSN : 22141405. DOI : 10.1016/j.jth.2015.01.001. URL : https://linkinghub.elsevier.com/retrieve/pii/S221414051500002X (visité le 25/07/2023).

[116] Josh ANDRES et al. « "Co-riding With My eBike to Get Green Lights" ». In : *Proceedings of the 2019 on Designing Interactive Systems Conference*. DIS '19 : Designing Interactive Systems Conference 2019. San Diego CA USA : ACM, 18 juin 2019, p. 1251-1263. ISBN : 9781450358507. DOI : 10.1145/3322276.3322307. URL : https://dl.acm.org/doi/10.1145/3322276.3322307 (visité le 24/07/2023).

[117] Sven FRÖHLICH et al. « BikeNow : a pervasive application for crowdsourcing bicycle traffic data ». In : *Proceedings of the 2016 ACM International Joint Conference on Pervasive and Ubiquitous Computing : Adjunct*. UbiComp '16 : The 2016 ACM International Joint Conference on Pervasive and Ubiquitous Computing. Heidelberg Germany : ACM, 12 sept. 2016, p. 1408-1417. ISBN : 9781450344623. DOI : 10.1145/2968219.2968419. URL : https://dl.acm.org/doi/10.1145/2968219.2968419 (visité le 28/10/2022).

[118] Marco DE ANGELIS et al. « Green wave for cyclists : Users' perception and preferences ». In : *Applied Ergonomics* 76 (avr. 2019), p. 113-121. ISSN : 00036870. DOI : 10.1016/j.apergo.2018.12.008. URL : https://linkinghub.elsevier.com/retrieve/pii/S0003687018307385 (visité le 24/07/2023).

[119] Theodoros ANAGNOSTOPOULOS et al. « Cyclist-aware traffic lights through distributed smartphone sensing ». In : *Pervasive and Mobile Computing* 31 (sept. 2016), p. 22-36. ISSN : 15741192. DOI : 10.1016/j.pmcj.2016.01.012. URL : https://linkinghub.elsevier.com/retrieve/pii/S1574119216000249 (visité le 28/10/2022).

[120] Pietro GRANDINETTI, Carlos Canudas-de WIT et Federica GARIN. « Distributed Optimal Traffic Lights Design for Large-Scale Urban Networks ». In : *IEEE Transactions on Control Systems Technology* 27.3 (mai 2019), p. 950-963. ISSN : 1063-6536, 1558-0865, 2374-0159. DOI : 10.1109/TCST.2018.2807792. URL : https://ieeexplore.ieee.org/document/8307762/ (visité le 27/11/2023).

[121] Willy Carlos TCHUITCHEU, Christophe BOBDA et Md Jubaer Hossain PANTHO. « Internet of smart-cameras for traffic lights optimization in smart cities ». In : *Internet of Things* 11 (sept. 2020), p. 100207. ISSN : 25426605. DOI : 10.1016/j.iot.2020.100207. URL : https://linkinghub.elsevier.com/retrieve/pii/S2542660520300433 (visité le 27/11/2023).

[122] Yisheng Lv LI LI et Fei-Yue WANG. « Traffic signal timing via deep reinforcement learning ». In : *IEEE/CAA Journal of Automatica Sinica* 3.3 (10 juill. 2016), p. 247-254. ISSN : 2329-9266, 2329-9274. DOI : 10.1109/JAS.2016.7508798. URL : http://ieeexplore.ieee.org/document/7508798/ (visité le 02/02/2023).
[123] Kai Liang TAN et al. « Deep Reinforcement Learning for Adaptive Traffic Signal Control ». In: *arXiv.org perpetual, non-exclusive license* (2019). DOI: 10.48550/ARXIV.1911.06294. (Visité le 27/07/2023).

[124] Hua WEI et al. « IntelliLight : A Reinforcement Learning Approach for Intelligent Traffic Light Control ». In : *Proceedings of the 24th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining* (19 juill. 2018), p. 2496-2505. DOI: 10.1145/3219819.3220096. (Visité le 06/01/2023).

[125] Wade GENDERS et Saiedeh RAZAVI. « Asynchronous n-step Q-learning adaptive traffic signal control ». In : *Journal of Intelligent Transportation Systems* 23.4 (4 juill. 2019), p. 319-331. ISSN : 1547-2450, 1547-2442. DOI : 10.1080/15472450.2018.1491003. URL : https://www.tandfonline.com/doi/full/10.1080/15472450.2018.1491003 (visité le 02/02/2023).

[126] Wade GENDERS et Saiedeh RAZAVI. « Using a Deep Reinforcement Learning Agent for Traffic Signal Control ». In: *arXiv.org perpetual, non-exclusive license* (2016). DOI: 10.48550/ARXIV.1611.01142. (Visité le 01/02/2023).

[127] Seyed Sajad MOUSAVI, Michael SCHUKAT et Enda HOWLEY. « Traffic light control using deep policy-gradient and value-function-based reinforcement learning ». In : *IET Intelligent Transport Systems* 11.7 (sept. 2017), p. 417-423. ISSN: 1751-9578, 1751-9578. DOI: 10.1049/iet-its.2017.0153. URL: https://onlinelibrary.wiley.com/doi/10.1049/iet-its.2017.0153 (visité le 06/01/2023).

[128] Song WANG et al. « Deep Reinforcement Learning-Based Traffic Signal Control Using High-Resolution Event-Based Data ». In : *Entropy* 21.8 (29 juill. 2019), p. 744. ISSN: 1099-4300. DOI: 10.3390/e21080744. URL: https://www.mdpi.com/1099-4300/21/8/744 (visité le 02/02/2023).

[129] Rune ELVIK. « The non-linearity of risk and the promotion of environmentally sustainable transport ». In : *Accident Analysis & Prevention* 41.4 (juill. 2009), p. 849-855. ISSN : 00014575. DOI : 10.1016/j.aap.2009.04.009. URL : https://linkinghub.elsevier.com/retrieve/pii/S0001457509000876 (visité le 25/07/2023).

[130] Volodymyr MNIH et al. « Human-level control through deep reinforcement learning ». In : *Nature* 518.7540 (26 fév. 2015), p. 529-533. ISSN : 0028-0836, 1476-4687. DOI : 10.1038/nature14236. URL : https://www.nature.com/articles/nature14236 (visité le 07/07/2023).

[131] Christopher J. C. H. WATKINS et Peter DAYAN. « Q-learning ». In : *Machine Learning* 8.3 (mai 1992), p. 279-292. ISSN : 0885-6125, 1573-0565. DOI : 10.1007/BF00992698. URL : http://link.springer.com/10.1007/BF00992698 (visité le 07/07/2023).

[132] Hado van HASSELT, Arthur GUEZ et David SILVER. « Deep Reinforcement Learning with Double Q-learning ». In : *Proceedings of the AAAI conference on artificial intelligence* (2015). (Visité le 07/07/2023).

[133] Hado HASSELT. « Double Q-learning ». In : sous la dir. de J. LAFFERTY et al. T. 23. Curran Associates, Inc., 2010.

[134] Ziyu WANG et al. « Dueling Network Architectures for Deep Reinforcement Learning ». In: sous la dir. de Maria Florina BALCAN et Kilian Q. WEINBERGER. T. 48. *Proceedings of Machine Learning Research*. New York, New York, USA : PMLR, juin 2016, p. 1995-2003. URL: https://proceedings.mlr.press/v48/wangf16.html.
[135] John SCHULMAN et al. « Proximal Policy Optimization Algorithms ». In : (2017). DOI : 10.48550/ARXIV.1707.06347. URL : https://arxiv.org/abs/1707.06347 (visité le 27/10/2023).

[136] John SCHULMAN et al. « High-Dimensional Continuous Control Using Generalized Advantage Estimation ». In : (2015). DOI : 10.48550/ARXIV.1506.02438. URL : https://arxiv.org/abs/1506.02438 (visité le 27/10/2023).

[137] Xiaoyuan LIANG et al. « A Deep Reinforcement Learning Network for Traffic Light Cycle Control ». In : *IEEE Transactions on Vehicular Technology* 68.2 (fév. 2019), p. 1243-1253. ISSN : 0018-9545, 1939-9359. DOI : 10.1109/TVT.2018.2890726. URL : https://ieeexplore.ieee.org/document/8600382/ (visité le 06/01/2023).

[138] Alexander A S GUNAWAN, Deasy Aprilia TANJUNG et Fergyanto E. GUNAWAN. « Detection of Vehicle Position and Speed using Camera Calibration and Image Projection Methods ». In : *Procedia Computer Science* 157 (2019), p. 255-265. ISSN : 18770509. DOI : 10.1016/j.procs.2019.08.165. URL : https://linkinghub.elsevier.com/retrieve/pii/S187705091931083X (visité le 20/07/2023).

[139] Y. LECUN et al. « Backpropagation Applied to Handwritten Zip Code Recognition ». In : *Neural Computation* 1.4 (déc. 1989), p. 541-551. ISSN : 0899-7667, 1530-888X. DOI : 10.1162/neco.1989.1.4.541. URL : https://direct.mit.edu/neco/article/1/4/541-551/5515 (visité le 11/10/2023).

[140] Zewen LI et al. « A Survey of Convolutional Neural Networks : Analysis, Applications, and Prospects ». In : *IEEE Transactions on Neural Networks and Learning Systems* 33.12 (déc. 2022), p. 6999-7019. ISSN : 2162-237X, 2162-2388. DOI : 10.1109/TNNLS.2021.3084827. URL : https://ieeexplore.ieee.org/document/9451544/ (visité le 11/10/2023).

[141] Werner BRILON et Wolf LAUBERT. « Priority for public transit in Germany ». In : *Journal of Advanced Transportation* 28.3 (sept. 1994), p. 313-340. ISSN : 01976729, 20423195. DOI : 10.1002/atr.5670280309. URL : https://onlinelibrary.wiley.com/doi/10.1002/atr.5670280309 (visité le 27/07/2023).

[142] Matteo HESSEL et al. *Rainbow : Combining Improvements in Deep Reinforcement Learning*. 6 oct. 2017. arXiv : 1710.02298 [cs]. URL : http://arxiv.org/abs/1710.02298 (visité le 31/10/2023).
FOLIO ADMINISTRATIF

THESE DE L'INSA LYON, MEMBRE DE L'UNIVERSITE DE LYON

NOM : MAGNANA
(avec précision du nom de jeune fille, le cas échéant)

DATE de SOUTENANCE : 14/02/2024

Prénoms : Lucas René André

TITRE : Algorithmes d'apprentissage et données comportementales pour la création d'outils innovants d'incitation au cyclisme

NATURE : Doctorat

Numéro d'ordre : 2024ISAL0019

Ecole doctorale : InfoMaths

Spécialité : Informatique

RESUME : L'augmentation de l'utilisation du vélo comme mode de transport est essentielle pour diminuer la congestion ainsi que la pollution dans les villes. Le développement de nouvelles technologies ainsi qu'une prise de conscience des dangers du dérèglement climatique ont permis entre autres une augmentation du nombre de cyclistes dans les villes au cours des 20 dernières années. Cela s'est naturellement accompagné de nouveaux moyens de récupérer des données comportementales de cyclistes, diversifiant et multipliant les jeux de données existants. Ces données peuvent être utilisées pour affiner les politiques urbaines visant à augmenter la part modale du vélo dans les transports urbains. L'objectif de cette thèse est d'utiliser certaines données comportementales de cyclistes ainsi que des algorithmes récents d'intelligence artificielle pour créer des outils innovants d'aide aux politiques urbaines d'incitation au cyclisme. Dans un premier temps, un état de l'art des différentes sources de données de comportements de cyclistes est dressé. Cet état de l'art permet de se rendre compte de la diversité ainsi que du nombre de jeux de données, mais aussi des difficultés d'utilisation accompagnant chaque source. Cet état de l'art est aussi l'occasion de justifier les sources de données utilisées ensuite. Dans un second temps, une méthode de création de modèles de choix d'itinéraire implicites est développée à partir de traces GPS. Les modèles créés avec cette méthode permettent de générer un itinéraire cyclable à partir d'une origine et d'une destination. Le développement d'un modèle commence par l'identification des segments de route préférés par les cyclistes ayant généré les traces GPS. Un réseau de neurones artificiels choisi ensuite un groupe de segments de route préférés pertinents à partir d'une origine et d'une destination. Une pondération de graphe routier est ensuite effectuée à l'aide des segments de route sélectionnés pour générer un itinéraire cyclable. Les modèles créés permettent de créer des itinéraires plus proches de comportements réels de cyclistes lorsque comparés à d'autres méthodes de génération d'itinéraires. Enfin, un feu de signalisation intelligent permettant de sécuriser le passage des cyclistes à l'intersection qu'il régule est développé. L'utilisation de l'intelligence artificielle permet de séparer les flux de vélos et de véhicules motorisés en limitant l'impact sur le trafic à l'intersection. Les simulations dans lesquelles ce feu est testé ont un volume de trafic de voitures et de vélos réaliste grâce à l'utilisation de données de compteurs. La méthode d'apprentissage utilisée pour la régulation surpasse les performances d'autres méthodes de gestion de feu utilisées en comparaison.

MOTS-CLÉS : Algorithmes d'apprentissage, mobilités urbaines, cyclistes, itinéraires, feu de circulation

Laboratoire (s) de recherche : CITI

Directeur de thèse : Hervé RIVANO

Président de jury :

Composition du jury :

DUCOURTHIAL Bertrand
MITTON Nathalie
BILLOT Romain
GARIN Federica
GARCIA Christophe
ROCHE Stéphane
RIVANO Hervé
CHIABAUT Nicolas

Professeur des Universités
Directrice de Recherche
Habilité à Diriger des Recherches
Chargée de Recherche
Professeur des Universités
Professeur des Universités
Professeur des Universités
Directeur des Nouvelles Mobilités

Heudiasyc
INRIA Lille-Nord Europe
IMT Atlantique
INRIA Grenoble
INSA Lyon
Université Laval
INSA Lyon
Département de la Haute-Savoie

Président
Rapportrice
Rapporteur
Examinatrice
Examinateur
Examinateur
Directeur de thèse
Co-directeur de thèse