Notes de cours de commande optimale stochastique

Ces notes correspondent au cours oral d'introduction à la commande stochastique  donné dans le cadre du DEA MMME  de PARIS 1 DE 1999 À 2007 (11 séances de 2h).    Le cours est composé de deux parties. La première partie est consacrée à la commande optimale des chaînes de Markov à états finis en observation complète et incomplète. C'est le cadre auquel se ramène la résolution numérique des problèmes commande stochastique des équations différentielles stochastiques très utilisées en finance.   Ce problème de commande se ramène à la résolution numérique d'équations dites de la programmation dynamique ou de Bellman qui correspondent dans le cas discret et stochastique aux équations d'Hamilton Jacobi de la mécanique classique.  Dans la deuxième partie,le cas déterministe discret est étudié plus précisément. Dans ce cas les équations de la programmation dynamiques sont linéaires à condition de se placer dans la bonne algèbre (l'algèbre maxplus). Après une discussion de cette algèbre maxplus,une dualité entre le calcul des probabilités et l'optimisation  est obtenue grâce à ce changement d'algèbre. Par cette dualité les équations de Kolmogorov deviennent  les équations de Bellman.  Enfin il est indiqué brièvement que la dynamique de certains systèmes à événements discrets importants dans le domaine de la productique sont des équations de type Bellman déterministes donc linéaires dans l'algèbre maxplus.

Disciplines : Control theory
Mots-clés : commande optimale,chaîne Markov,équation Kolmogorov,commande linéaire quadratique gaussienne,équation différentielle stochastique,équation dérivée partielle,programmation dynamique,algèbre maxplus,système linéaire,graphe d'événement,chaîne Bellman,fuscia
Type de document : texte
Type de ressource : lecture
Niveau : higher education,master,bac+5,doctorat
Publics visés : learner,teacher
Activité induite : apprendre,rechercher
Proposition d'utilisation : Un cours écrit plus détaillé mais plus difficile et abordant d'autres aspects de la commande stochastique est également disponible à l'adresse : http://www-rocq.inria.fr/metalau/quadrat/ComSto0.9.pdf.
Auteurs ou éditeurs : Jean-Pierre Quadrat,Institut national de recherche en informatique et automatique,Pierre Girardeau