C’est en 2017 que l’article « Proximal Policy Optimization Algorithms » a été publié par les chercheurs John Schulman, Filip Wolski, Prafulla Dhariwal, Alec Radford et Oleg Klimov d’OpenAI. Leur objectif était de surmonter les limites des algorithmes de Reinforcement Learning existants, notamment en termes de stabilité de l’entraînement et de gestion des espaces d’action complexes. Lors de l’optimisation des politiques dans le Reinforcement Learning, les mises à jour trop agressives peuvent en effet compromettre l’entraînement. Or, le PPO introduit une nouvelle notion dans ce processus : la proximité. Ceci permet de s’assurer que les mises à jour ne soient pas trop éloignées des politiques précédentes.