Tout commence par l’interaction de l’agent avec l’environnement. Il effectue des actions en fonction de sa politique actuelle, observe l’état résultant de l’environnement, et reçoit une récompense ou une pénalité. Ces interactions génèrent des trajectoires de données, qui sont ensuite utilisées pour mettre à jour la politique de l’agent. Une fois les trajectoires de données collectées, l’agent calcule les avantages via une mesure de la performance relative de chaque action par rapport à la valeur prédite. Cette étape lui permet de déterminer quelles actions ont contribué positivement ou négativement à la récompense obtenue par l’agent. Selon le résultat, la politique est mise à jour à l’aide d’algorithmes comme la descente de gradient stochastique. Le but est de maximiser la probabilité des actions les plus avantageuses. Toutefois, la contrainte de proximité limite les changements de politiques à un certain seuil. Le processus itératif est répété plusieurs fois, permettant à l’agent de s’ajuster progressivement à son environnement et d’apprendre des politiques plus efficaces au fil du temps.