Planification Optimiste pour Systèmes Déterministes

Dans le domaine de l'apprentissage par renforcement, la planifi ation dans les processus de decisions markoviens est une approche en ligne utilisee pour controler un systeme dont on possede un modele generatif. Nous nous proposons d'adresser ce probleme dans le cas deterministe avec espace d'action discret ou continu. Cette these s'attache au chapitre 2 a presenter succinctement les processus de decision markoviens puis l'apprentissage par renforcement. Nous presentons en particulier trois algorithmes centraux que sont l'iteration de la valeur, l'iteration de la politique et le Q-Learning. Au chapitre 3, nous expliquons l'approche de la planifi cation dans les processus de decision markoviens pour controler des systemes en ligne. Ainsi, nous supposons posseder un modele generatif d'un systeme a controler et nous l'utilisons pour decider, a chaque pas de temps du systeme a controler, de l'action a lui appliquer en vue de le faire transiter dans un etat maximisant la somme future des recompenses depreciees. Nous considerons un modele generatif comme une boite noire, laquelle etant donnee un etat et une action, nous retourne un etat successeur ainsi qu'une recompense associee. L'approche optimiste est detaillee dans sa philosophie et dans son application a la resolution du dilemme exploration-exploitation au travers de di fferentes techniques presentes dans la litterature. Nous presentons di fferents algorithmes issus de la litterature et s'appliquant dans le cadre de la plani fication dans les processus de decision markoviens. Nous nous concentrons en particulier sur les algorithmes effectuant une recherche avant par construction d'un arbre des possibilites look-ahead tree en anglais. Les algorithmes sont presentes et mis en relation les uns avec les autres. L'algorithme de recherche du plus court chemin dans un graphe A est presente en vue d'etre relie a notre premiere contribution, l'algorithme de plani fication optimiste. Nous detaillons cette premiere contribution au chapitre 4. Dans un premier temps, nous presentons en detail le contexte de la planification sous contrainte de ressources computationnelles ainsi que la notion de regret. Dans un second temps, l'algorithme de plani cation uniforme est presente et son regret est analyse pour obtenir une base comparative avec l'algorithme de plani cation optimiste. Enfi n, celui-ci est presente et son regret est analyse. L'analyse est etendue a une classe de problemes de finie par la proportion de chemins -optimaux, permettant ainsi d'etablir une borne superieure sur le regret de l'algorithme de plani cation optimiste meilleure que celle de l'algorithme de plani cation uniforme dans le pire des cas. Des experimentations sont menees pour valider la theorie et chi rer les performances de l'algorithme de plani cation optimiste par le biais de problemes issus de la litterature comme le cart-pole, l'acrobot ou le mountain car et en comparaison a l'algorithme de plani cation uniforme, a l'algorithme UCT ainsi qu'a l'algorithme de recherche aleatoire. Nous verrons que, comme suggere par la de nition de la borne superieure sur son regret, l'algorithme de plani cation optimiste est sensible au facteur de branchement ce qui nous mene a envisager le cas ou l'espace d'action est continu. Ceci fait l'objet de nos deux autres contributions au chapitre 5. Notre deuxieme contribution est l'algorithme de plani cation lipschitzienne reposant sur une hypothese de regularite sur les recompenses menant a supposer que la fonction de transition et la fonction recompense du processus de decision markovien modelisant le systeme a controler sont lipschitziennes. De cette hypothese, nous formulons une borne sur un sous-ensemble de sousespaces de l'espace d'action continu nous permettant de l'explorer par discr etisations successives. L'algorithme demande cependant la connaissance de la constante de Lipschitz associee au systeme a controler. Des experimentations sont menees pour evaluer l'approche utilisee pour diff erentes constantes de Lipschitz sur des problemes de la litterature comme le cart-pole, l'acrobot ou la levitation magnetique d'une boule en acier. Les resultats montrent que l'estimation de la constante de Lipschitz est diffi cile et ne permet pas de prendre en compte le paysage local des recompenses. Notre troisieme contribution est l'algorithme de plani cation sequentielle decoulant d'une approche intuitive ou une sequence d'instances d'un algorithme d'optimisation globale est utilisee pour construire des sequences d'actions issues de l'espace d'action continu. Des experimentations sont menees pour evaluer cet approche intuitive pour diff erents algorithmes d'optimisation globale sur des problemes de la litterature comme le cart-pole, le bateau ou le nageur. Les resultats obtenus sont encourageants et valident l'approche intuitive. Finalement, nous concluons en resumant les di erentes contributions et en ouvrant sur de nouvelles perspectives et extensions.